هوش مصنوعی رخشای Rakhshai

ما در شرکت آریاهامان مهرپارسه تحقیقات اولیه خود را در سال 1399 با Apache Kafka برای جمع آوری و تحلیل اولیه دیتا آغاز کردیم.

مهمترین دغدغه ما در بحث آموزشی(Data Learning) برای مدل های شبکه های عصبی یادگیری خودمان، جمع آوری دیتا بوده و هست که ابتدای امر از سورس های منبع باز متنی مرجع و دیتاهای متنی در دسترس شرکت استفاده کردیم.

سامانهٔ زبانی رخشای ( هوش مصنوعی پردازش متنی زال) بر پایهٔ معماری Mixture-of-Experts طراحی شده است. در این معماری و با درگاه‌گذاری توکن‌به‌توکن، به‌طور میانگین حدود ۱۳ میلیارد پارامترِ فعال به‌ازای هر توکن به‌کار گرفته می‌شود، در حالی‌که شمارِ کلِ پارامترهای مدل حدود ۴۷ میلیارد است. داده‌های آموزشی عمدتاً از وبِ عمومیِ پالایش‌شده گردآوری شده و برای ارتقای کیفیت و کارایی، از Knowledge Distillation با «مدل‌های بزرگتر پردازش متنی برتر در بستر آنلاین » و نیز آموزش نظارت‌شده بهره گرفته شده است.