کردی، لری، بلوچی، لکی و گیلکی؛ زبان‌هایی که در عصر هوش مصنوعی برای بقا به داده نیاز دارند

به گزارش پیوست، زبان‌هایی می‌توانند وارد مدل‌های هوش مصنوعی شوند که مجموعه‌ای از منابع فنی مانند پیکره‌های متنی، داده‌های گفتاری، فرهنگ لغت دیجیتال و منابع آموزشی را داشته باشند. فقدان این زیرساخت‌ها باعث می‌شود یک زبان زنده، در محیط‌های جدید فناوری حضور محدودی داشته باشد.

پردازش زبان طبیعی (NLP) بر پایه یادگیری از داده‌های زبانی عمل می‌کند. مدل‌های زبانی بزرگ مانند GPT و BERT با تحلیل حجم گسترده‌ای از متن، الگوهای واژگانی، نحوی و معنایی زبان را استخراج می‌کنند. با این حال، پژوهش‌های حوزه تعامل انسان و ماشین نشان می‌دهد که توانایی تولید متن الزاما به معنای درک کامل زبان نیست. این مساله برای زبان‌هایی که منابع دیجیتال محدودتری دارند، پیچیده‌تر است زیرا داده کافی برای ساخت مدل، ارزیابی عملکرد و توسعه ابزارهای کاربردی وجود ندارد.

بر اساس برآوردهای موجود، زبان فارسی با حدود ۵۰.۴ میلیون گویشور، بزرگ‌ترین زبان ایرانی است. در کنار آن، کردی با حدود ۵.۵۹ میلیون، گیلکی با حدود ۲.۴ میلیون، مازندرانی با حدود ۲.۳۴ میلیون، بلوچی با حدود ۱.۹۲ میلیون، لری با حدود ۱.۷ میلیون و لکی با حدود یک میلیون گویشور قرار دارند. فاصله میان این زبان‌ها اما در حوزه فناوری زبان، بسیار بیشتر از فاصله جمعیتی آنهاست.

داده مناسب برای آموزش ماشین وجود ندارد

دیجیتال یک زبان به میزان «قابل پردازش بودن» آن وابسته شده است. زبان‌هایی که دارای منابع ساختاریافته هستند، می‌توانند سریع‌تر وارد ابزارهایی مانند ترجمه ماشینی، دستیارهای صوتی، موتورهای جست‌وجو و سامانه‌های آموزشی هوشمند شوند.

مطالعات حوزه پردازش زبان طبیعی نشان می‌دهد که عملکرد مدل‌ها به شدت تحت تأثیر حجم و کیفیت داده آموزشی قرار دارد. تفاوت عملکرد میان زبان‌ها در مطالعات تجربی نیز مشاهده شده است. در یک مطالعه مشخص شد عملکرد مدل‌ها برای زبان انگلیسی ۸۸ درصد، اسپانیایی ۶۲ درصد، ماندارین ۵۸ درصد و عربی ۵۴ درصد بوده است. این اعداد نشان می‌دهند کیفیت عملکرد AI میان زبان‌ها یکسان نیست. در نتیجه، داشتن جمعیت بزرگ به تنهایی تضمین‌کننده حضور یک زبان در فناوری نیست.

ایران فقط فارسی نیست

زبان‌های ایرانی یکی از شاخه‌های خانواده بزرگ هندواروپایی هستند که زبان‌هایی مانند فارسی، کردی، بلوچی، لری، گیلکی و بسیاری دیگر در این گروه قرار می‌گیرند. همان‌طور که زبان‌های فرانسوی، اسپانیایی و ایتالیایی با وجود تعلق به کشورهای مختلف، در خانواده زبان‌های رومی دسته‌بندی می‌شوند.

زبان‌های ایرانی در زبان‌شناسی معمولا به دو شاخه اصلی ایرانی غربی و ایرانی شرقی تقسیم می‌شوند. این تقسیم‌بندی بر اساس ویژگی‌های تاریخی، آوایی و دستوری زبان‌ها شکل گرفته و ارتباط مستقیمی با مرزهای سیاسی امروز ندارد. برای نمونه کردی در ایران، عراق، ترکیه و سوریه، بلوچی در ایران، پاکستان و افغانستان و فارسی در ایران، افغانستان و تاجیکستان کاربرد دارد. از سوی دیگر، همه زبان‌هایی که در داخل مرزهای ایران امروز استفاده می‌شوند الزاما از خانواده زبان‌های ایرانی نیستند؛ برای مثال زبان‌های ترکی، عربی و برخی زبان‌های دیگر نیز در ایران رواج دارند اما از نظر زبان‌شناختی در خانواده‌های دیگری قرار می‌گیرند.

تجربه زبان فارسی برای ورود به AI

در میان زبان‌های ایرانی، فارسی بیشترین فاصله را از سایر زبان‌ها در حوزه زیرساخت دیجیتال دارد. این تفاوت نتیجه انباشت چند دهه تولید محتوای دیجیتال، فعالیت دانشگاهی، توسعه نرم‌افزارهای زبانی و ایجاد مجموعه داده‌های پردازشی است.

فارسی دارای مجموعه‌هایی مانند ParsBERT و FarsTail و همچنین منابع گفتاری مانند DeepMine است. دیتاست DeepMine یکی از نمونه‌های مهم زیرساخت داده برای فارسی است که شامل بیش از ۱۸۵۰ گوینده، حدود ۵۴۰ هزار فایل صوتی و بیش از ۴۸۰ ساعت داده گفتاری رونویسی‌شده است. تجربه فارسی نشان می‌دهد حتی یک زبان با ده‌ها میلیون کاربر نیز برای ورود به فناوری هوش مصنوعی به سرمایه‌گذاری گسترده در تولید داده نیاز دارد.

کردی با چالش فنی و پراکندگی داده

کردی یکی از مهم‌ترین زبان‌های ایرانی از نظر تعداد گویشور و گستره جغرافیایی است. این زبان در ایران، عراق، ترکیه و سوریه استفاده می‌شود و گونه‌های اصلی آن شامل کرمانجی، سورانی و دیگر گونه‌های منطقه‌ای است. با وجود جمعیت قابل توجه گویشوران، وضعیت منابع فناوری زبان کردی با زبان‌های بزرگ جهانی فاصله زیادی دارد.

یکی از شاخص‌های قابل اندازه‌گیری این فاصله، حجم منابع زبانی موجود برای پردازش رایانه‌ای است. برای نمونه، یک پیکره پژوهشی برای کردی سورانی شامل ۳۱ کتاب آموزشی، حدود ۶۹۳ هزار توکن و ۱۱۰ هزار واژه متمایز ایجاد شده است. این حجم داده برای توسعه ابزارهای پایه NLP ارزشمند است، اما در مقایسه با منابعی که برای زبان‌های اصلی فناوری وجود دارد، همچنان محدود محسوب می‌شود.

یکی از چالش‌های مهم کردی، مساله تنوع گونه‌ها و خط نوشتاری است. کردی کرمانجی عمدتا با خط لاتین نوشته می‌شود، در حالی که کردی سورانی از خط عربی اصلاح‌شده استفاده می‌کند. این تفاوت باعث می‌شود داده‌های زبانی در چند مسیر جداگانه تولید شوند و ایجاد مدل‌های یکپارچه دشوارتر شود.

ترکی آذری و تبدیل حضور اجتماعی به حضور دیجیتال

ترکی آذری یکی از پرگویشورترین زبان‌های مورد استفاده در ایران است و به دلیل جمعیت گسترده گویشوران، از نظر تولید محتوای فرهنگی و رسانه‌ای وضعیت متفاوتی با بسیاری از زبان‌های محلی ایران دارد.

ترکی آذری در مقایسه با بسیاری از زبان‌های کوچک‌تر ایران منابع دیجیتال بیشتری دارد، اما همچنان با فاصله قابل توجهی نسبت به زبان‌های اصلی فناوری مانند انگلیسی، فارسی یا ترکی استانبولی مواجه است. تفاوت‌ میان گونه‌های مختلف ترکی، تفاوت در خط و پراکندگی منابع میان کشورهای مختلف، از چالش‌های توسعه مدل‌های زبانی برای این زبان است. وضعیت ترکی آذری نشان می‌دهد که حتی زبان‌هایی با میلیون‌ها گویشور نیز بدون سرمایه‌گذاری در ایجاد داده و زیرساخت NLP نمی‌توانند به شکل کامل در فناوری‌های هوش مصنوعی، از ترجمه ماشینی تا دستیارهای صوتی، حضور پیدا کنند.

بلوچی نمونه یک زبان زنده بدون زیرساخت فناورانه

بلوچی یکی از زبان‌های ایرانی با گستره جغرافیایی وسیع است که در ایران، پاکستان و افغانستان استفاده می‌شود. برآوردها تعداد گویشوران آن را حدود ۸ تا ۱۰ میلیون نفر اعلام می‌کنند. با این حال، میزان توسعه منابع دیجیتال و ابزارهای پردازش زبان بلوچی با اندازه جامعه زبانی آن تناسب ندارد.

یکی از مسائل اصلی بلوچی، وضعیت منابع نوشتاری و استانداردسازی است. این زبان در مناطق مختلف با شیوه‌های نوشتاری متفاوتی استفاده می‌شود و بخشی از محتوای آن در قالب‌های غیرساختاریافته قرار دارد. برای توسعه مدل‌های زبانی، صرف وجود متن کافی نیست؛ داده‌ها باید قابل پردازش، دسته‌بندی و استانداردسازی باشند.

وضعیت بلوچی نمونه‌ای از یک مساله گسترده‌تر در زبان‌های کم‌منبع است یعنی جامعه زبانی ممکن است بزرگ باشد، اما اگر داده‌های دیجیتال قابل استفاده تولید نشده باشد، این زبان در چرخه توسعه فناوری حضور محدودی خواهد داشت.

گیلکی و مازندرانی؛ حلقه مفقوده داده در ادبیات محلی

گیلکی و مازندرانی از زبان‌های ایرانی شمالی هستند که هر کدام میلیون‌ها گویشور دارند. این زبان‌ها دارای سابقه ادبی، فرهنگی و شفاهی گسترده‌ای هستند، اما بخش مهمی از این میراث در قالب منابع دیجیتال استاندارد برای فناوری زبان ثبت نشده است.

بخش قابل توجهی از داده‌های این زبان‌ها در قالب گفت‌وگوهای روزمره، موسیقی، ادبیات شفاهی و محتوای شبکه‌های اجتماعی وجود دارد. این نوع داده برای جامعه انسانی قابل استفاده است، اما برای آموزش مدل‌های هوش مصنوعی نیازمند تبدیل به مجموعه داده‌های ساختاریافته، برچسب‌گذاری و پردازش است.

تفاوت میان «وجود داده» و «وجود داده قابل استفاده برای AI» یکی از مهم‌ترین شکاف‌های این حوزه است. یک زبان ممکن است در جامعه فعال باشد، اما در سامانه‌های تشخیص گفتار، ترجمه ماشینی یا مدل‌های زبانی حضور نداشته باشد.

لری و لکی؛ زبان‌هایی با میراث شفاهی گسترده

لری و لکی نمونه‌هایی از زبان‌های ایرانی هستند که بخش قابل توجهی از کاربرد روزمره آنها در حوزه گفتار اتفاق می‌افتد. برآوردها تعداد گویشوران لری را چند میلیون نفر و لکی را حدود یک تا دو میلیون نفر اعلام می‌کنند، اما منابع دیجیتال آنها نسبت به جمعیتشان محدود است.

یکی از چالش‌های اصلی این زبان‌ها، نبود استاندارد نوشتاری فراگیر و وابستگی بخش زیادی از محتوای مکتوب به خط فارسی است. برای مدل‌های هوش مصنوعی، تشخیص تفاوت میان فارسی و گونه‌های نزدیک زبانی یا تشخیص ویژگی‌های مستقل یک زبان، نیازمند داده آموزشی کافی است. نبود چنین داده‌هایی باعث می‌شود بخش مهمی از تنوع زبانی در داده‌های آموزشی مدل‌ها ناپدید شود.

ماشین‌ها فقط واژه‌ها را یاد می‌گیرند

حتی افزایش حجم داده به تنهایی مساله را حل نمی‌کند. زبان یک سیستم صرفا واژگانی نیست؛ معنا در بسیاری از موارد به زمینه اجتماعی، رابطه میان افراد، لحن و دانش فرهنگی وابسته است.

مطالعات انجام‌شده درباره چت‌بات‌های هوش مصنوعی نشان می‌دهد مدل‌ها در تولید متن منسجم، ساختار دستوری و سازمان‌دهی اطلاعات عملکرد بالایی دارند، اما در حوزه‌هایی مانند سازگاری با زمینه، درک نشانه‌های اجتماعی و تولید زبان طبیعی مشابه انسان محدودیت دارند. مرور ۱۵ مطالعه درباره الگوهای زبانی چت‌بات‌ها نشان می‌دهد پاسخ‌های AI معمولا از نظر ساختاری منسجم هستند، اما در عمق عاطفی و سازگاری ضعف دارند.

این مساله برای زبان‌های محلی اهمیت بیشتری دارد، زیرا بخش قابل توجهی از معنای آنها در عناصر غیررسمی زبان، اصطلاحات، ضرب‌المثل‌ها و کاربردهای اجتماعی شکل می‌گیرد. پژوهش‌های حوزه تعامل انسان و ماشین نشان می‌دهند سیستم‌های فعلی در تشخیص کنایه، طنز، عبارات اصطلاحی و معانی غیرمستقیم همچنان با مشکل مواجه‌اند.

بنابراین چالش زبان‌های ایرانی در عصر AI فقط این نیست که آیا متنی به این زبان‌ها وجود دارد یا نه؛ مساله این است که آیا داده موجود می‌تواند ویژگی‌های واقعی آن زبان را به ماشین منتقل کند یا خیر.

AI و خطر شکل‌گیری شهروندان درجه دو زبانی

بسیاری از تعاملات آینده میان شهروندان و ابزارهای فناورانه، از آموزش شخصی‌سازی‌شده و دستیارهای هوشمند تا خدمات عمومی و سامانه‌های سلامت از طریق زبان انجام خواهد شد. در چنین شرایطی، مساله زبان‌های کم‌منبع صرفا یک موضوع فرهنگی یا میراثی نیست. اگر یک زبان در سامانه‌های هوشمند حضور نداشته باشد، کاربران آن زبان در بسیاری از کاربردهای آینده ناچار خواهند بود از زبان دیگری استفاده کنند.

ورود زبان‌های ایرانی به عصر هوش مصنوعی نیازمند ایجاد زیرساخت داده است. تجربه زبان‌هایی که در سال‌های اخیر توانسته‌اند وارد ابزارهای دیجیتال شوند، نشان می‌دهد نخستین مرحله نه ساخت مدل‌های بزرگ، بلکه جمع‌آوری و سازمان‌دهی داده است.

برای زبان‌های ایرانی، ایجاد پیکره‌های متنی، ثبت داده‌های صوتی، دیجیتال‌سازی کتاب‌ها و منابع دانشگاهی، ایجاد فرهنگ‌های لغت دیجیتال و جمع‌آوری نمونه‌های گفتاری می‌تواند پایه توسعه ابزارهای آینده باشد. بسیاری از زبان‌های محلی ایران منابع فرهنگی و شفاهی گسترده‌ای دارند، اما این منابع هنوز به شکل داده قابل استفاده برای مدل‌های هوش مصنوعی تبدیل نشده‌اند.

بانک داده زبان‌های ایران و اولویت حکمرانی AI

در ایران، مساله اصلی فقط کمبود ابزارهای هوش مصنوعی نیست؛ پیش از آن، کمبود داده‌های استاندارد درباره بخشی از زبان‌های موجود کشور است. بدون ایجاد سازوکار مشخص برای جمع‌آوری، نگهداری و دسترس‌پذیر کردن داده‌های زبانی، توسعه فناوری برای بسیاری از زبان‌های ایرانی به پروژه‌های پراکنده و محدود باقی خواهد ماند.

در عصر AI، تنوع زبانی زمانی می‌تواند حفظ شود که از مرحله میراث فرهنگی عبور کند و به عنوان بخشی از زیرساخت فناوری کشور دیده شود. زبان‌هایی که امروز داده دیجیتال ندارند، ممکن است فردا در مهم‌ترین لایه‌های ارتباط انسان و ماشین حضور نداشته باشند.