في بلدٍ غنيٍّ بالتنوع الثقافي واللغوي كالهند، يبدأ بناء ذكاء اصطناعي شامل بجمع مجموعات بيانات تمثيلية عالية الجودة. هذه هي الرؤية الكامنة وراء مشروع فاني ، وهو مبادرة واسعة النطاق مفتوحة المصدر بقيادة آرت بارك ، والمعهد الهندي للعلوم في بنغالورو ، وجوجل ، تهدف إلى إتاحة الفرصة للتعبير عن كل لغة ولهجة هندية.
الهدف الطموح؟ جمع أكثر من 150,000 ساعة من الكلام وأكثر من 15,000 ساعة من النصوص المكتوبة من مليون شخص في 773 منطقة في الهند.
وباعتبارها واحدة من الموردين الرئيسيين لهذه المهمة الوطنية، لعبت شركة Shaip دورًا محوريًا في تنظيم بيانات الكلام التلقائي، والنسخ، وجمع البيانات الوصفية - مما وضع الأساس لتقنيات صوتية عادلة تمثل الهند الحقيقية حقًا.
الرؤية وراء مشروع فاني
يهدف مشروع فاني إلى سد فجوة الإدماج في مجال الذكاء الاصطناعي من خلال إنشاء أكبر مجموعة بيانات متعددة الوسائط واللغات ومفتوحة المصدر في الهند. تُعد هذه البيانات أساسية لتطوير أنظمة دقيقة للتعرف على الكلام والترجمة والذكاء الاصطناعي التوليدي باللغات الهندية الأصلية، والتي لا تحظى الكثير منها بتمثيل كافٍ في الأنظمة التقنية العالمية.
تتمثل الرؤية طويلة المدى في تعزيز التطبيقات المؤثرة في:
- قطاع الرعاية الصحية - الطب عن بعد القائم على الصوت
- قطاع التعليم - منصات التعلم العامية
- الحكم - واجهات محادثة لخدمات المواطنين
- سهولة الوصول والشمولية - أدوات صوتية للمستخدمين ذوي القدرات المختلفة
- الاستجابة للكارثة - التواصل في الوقت الحقيقي باللهجات المحلية
كيف ساعد شايب في بناء أكبر مجموعة بيانات مفتوحة المصدر للكلام في الهند لمشروع فاني
أُسندت إلى شيب مهمة جمع 8,000 ساعة من الكلام التلقائي و 800 ساعة من النصوص المكتوبة التي تم التحقق منها يدويًا . وشملت مسؤولياتنا تسجيل المتحدثين، والتقاط الصوت، ووضع علامات البيانات الوصفية، وتنسيق عملية النسخ، ومراقبة الجودة.
8,000 ساعة من البيانات الصوتية العفوية
تسجيلات لأكثر من 400 متحدث أصلي لكل منطقة، يمثلون فئات عمرية وجنسية ولهجات متنوعة.
80 منطقة، مشمولة
التوجيه القائم على الصور لضمان الكلام الطبيعي والسياقي
وهذا ما جعل نهجنا فريدًا:
التنوع على مستوى المنطقة
جمعنا تسجيلات من 80 مقاطعة موزعة على ولايات مثل بيهار، وأوتار براديش، وكارناتاكا، وغرب البنغال، وماهاراشترا. ساهمت كل مقاطعة بـ 100 ساعة من البيانات الصوتية، مما ساهم في تحقيق التوازن الإقليمي. أشركنا متحدثين أصليين، مما ضمن تمثيل اللهجات واللهجات الإقليمية التي غالبًا ما تُغفل في قواعد بيانات الذكاء الاصطناعي السائدة.
التمثيل اللغوي والديموغرافي
جمعنا تسجيلات من 80 مقاطعة موزعة على ولايات مثل بيهار، وأوتار براديش، وكارناتاكا، وغرب البنغال، وماهاراشترا. ساهمت كل مقاطعة بـ 100 ساعة من البيانات الصوتية، مما ساهم في تحقيق التوازن الإقليمي. أشركنا متحدثين أصليين، مما ضمن تمثيل اللهجات واللهجات الإقليمية التي غالبًا ما تُغفل في قواعد بيانات الذكاء الاصطناعي السائدة.
الكلام الموجه بالصور
لتحفيز المفردات العفوية والطبيعية، عُرض على المشاركين ما بين 45 و90 صورة في كل جلسة، وطُلب منهم وصفها. طُلب من المشاركين استخدام صور متنوعة - من رموز ثقافية إلى أشياء يومية - لاستحضار استجابات طبيعية وعفوية بلغتهم الأم. ضمن هذا أن تعكس التسجيلات الكلام الواقعي والسياقي، وهو أمر أساسي لتدريب أنظمة معالجة اللغة الطبيعية المتقدمة.
معايير النسخ عالية الجودة
تم نسخ 10% فقط من بيانات الكلام، أي ما يعادل 800 ساعة. أجرى لغويون محليون عمليات النسخ ضمن دائرة نصف قطرها 20-50 كيلومترًا من المتحدث، مما يضمن الإلمام باللهجات والفروق الدقيقة. وضمن فحص الطبقة الثانية معدل خطأ في الكلمات أقل من 5%.
ضمان الجودة الصارم
كان لا بد من أن تلبي بيانات الصوت معايير عالية: لا ضوضاء خلفية، ولا صدى، ولا اهتزازات هاتفية، ولا تشوهات. سُجِّل الصوت في بيئات هادئة وخالية من الصدى. خضعت الملفات لمراجعة دقيقة لضمان استيفاء معايير وضوح الكلام، ومستويات الضوضاء، ودقة البيانات الوصفية، والتحقق من هوية المتحدث. كان لا بد من دقة وسم البيانات الوصفية في جميع الملفات، وفحص جميع التسجيلات للتأكد من محاذاة المتحدث والموقع.
التحديات التي حللناها
- الخدمات اللوجستية عن بعد - إدارة الفرق عبر 80 منطقة
- تنوع المتحدثين - دمج أكثر من 32,000 متحدث معتمد في مواقع نائية
- الحساسية الثقافية - احترام العادات واللهجات المحلية
- تكامل البيانات - تلبية معايير الجودة والامتثال
- ضبط الجودة - عبر سياقات لغوية وثقافية متعددة
يعود نجاحنا إلى التخطيط الدقيق، والتحقق من صحة التكنولوجيا، والشراكات مع الفرق المحلية التي فهمت الفروق الثقافية لكل منطقة.
التأثير والتطبيقات
لم تُسرّع مساهمة شايب تقدم مشروع فاني فحسب، بل أرست أيضًا أسس الذكاء الاصطناعي الشامل في الهند. تُستخدم مجموعة بيانات الكلام المُنسّقة بالفعل لبناء نماذج الذكاء الاصطناعي وضبطها بدقة من أجل:
- المساعدون الصوتيون العاميون
- محركات الترجمة الإقليمية
- أدوات التواصل المتاحة للأشخاص ذوي الإعاقة البصرية
- منصات التعليم الإلكتروني المدعومة بالذكاء الاصطناعي للطلاب في المناطق الريفية
- الطب عن بعد في المناطق الريفية
- خدمات المواطنين القائمة على الصوت
- الترجمة والنسخ في الوقت الفعلي
خاتمة
يُمثل مشروع فاني خطوة جريئة نحو ذكاء اصطناعي شامل ومتاح للجميع، وتتشرف شركة شايب بالمساهمة الفعّالة في تأسيسه. ويؤكد عمل شايب في مشروع فاني التزامنا ببناء أنظمة ذكاء اصطناعي أخلاقية وشاملة، ترتكز على التنوع والتمثيل. ومع جمع أكثر من 8,000 ساعة من الكلام وتفريغ 800 ساعة منها، نفخر بمساهمتنا في أحد أكثر مشاريع الإدماج الرقمي ريادةً في الهند.
مع استمرار مشروع Vaani في تحقيق هدفه الأكبر المتمثل في جمع أكثر من 150,000 ألف ساعة من البيانات، فإننا على أهبة الاستعداد لدعم الحدود التالية للابتكار في مجال الذكاء الاصطناعي الذي يتحدث إلى كل هندي ويتحدث نيابة عنه.
هل ترغب في التعاون معنا لبناء ذكاء اصطناعي يفهم العالم الحقيقي؟ www.shaip.com
