دراسة الحالة: التعرف التلقائي على الكلام
تم جمع أكثر من 8 آلاف ساعة صوتية، و800 ساعة مكتوبة لتقنية الصوت متعددة اللغات
المقدمة
كانت الهند بحاجة إلى منصة تركز على إنشاء مجموعات بيانات متعددة اللغات وحلول تكنولوجيا اللغة القائمة على الذكاء الاصطناعي من أجل تقديم الخدمات الرقمية باللغات الهندية. لإطلاق هذه المبادرة، عقدت The Client شراكة مع Shaip لجمع اللغة الهندية ونسخها لبناء نماذج كلام متعددة اللغات.
الصوت
التحديات
لمساعدة العميل في وضع خارطة طريق تقنية الكلام للغات الهندية، احتاج الفريق إلى جمع كميات كبيرة من بيانات التدريب، وتقسيمها، وكتابة نصوصها لبناء نموذج ذكاء اصطناعي. وكانت المتطلبات الأساسية للعميل كما يلي:
جمع البيانات
- احصل على 8000 ساعة من بيانات التدريب من المواقع النائية في الهند
- المورد لجمع الكلام العفوي من الفئات العمرية من 20-70 سنة
- ضمان وجود مزيج متنوع من المتحدثين حسب العمر والجنس والتعليم واللهجات
- يجب أن يكون كل تسجيل صوتي 16 كيلو هرتز على الأقل مع 16 بت/عينة.
نسخ البيانات
اتبع إرشادات النسخ التفصيلية حول الأحرف والرموز الخاصة، والتهجئة والقواعد، والأحرف الكبيرة، والاختصارات، والاختصارات، والحروف المنطوقة الفردية، والأرقام، وعلامات الترقيم، والمختصرات والأحرف الأولية، والكلام غير المتقن، والكلام غير المفهوم، واللغات غير المستهدفة، وغير الكلام
فحص الجودة وردود الفعل
ستخضع جميع التسجيلات لتقييم الجودة والتحقق من صحتها، وسيتم تسليم تسجيلات الكلام التي تم التحقق من صحتها فقط
الحلول
من خلال فهمنا العميق للذكاء الاصطناعي للمحادثة، ساعدنا العميل على جمع البيانات الصوتية ونسخها مع فريق من جامعي الخبراء واللغويين والمعلقين لبناء مجموعة كبيرة من البيانات الصوتية من المناطق النائية في الهند.
شمل نطاق عمل Shaip، على سبيل المثال لا الحصر، الحصول على كميات كبيرة من بيانات التدريب الصوتي، ونسخ البيانات وتسليم ملفات JSON المقابلة التي تحتوي على البيانات الوصفية [لكل من المتحدثين والناسخين. لكل متحدث، تتضمن البيانات الوصفية معرف مكبر الصوت مجهول الهوية، وتفاصيل الجهاز، والمعلومات الديموغرافية مثل الجنس والعمر والتعليم، إلى جانب الرمز السري والحالة الاجتماعية والاقتصادية واللغات المنطوقة وسجل مدة إقامتهم طوال حياتهم. بالنسبة لكل ناسخ، تتضمن البيانات معرف ناسخ مجهول المصدر، وتفاصيل ديموغرافية مشابهة للمتحدثين، ومدة تجربة النسخ، وتقسيم شامل للغات التي يمكنهم القراءة والكتابة والتحدث بها.
جمع شيب 8000 ساعة من البيانات الصوتية/الكلام التلقائي على نطاق واسع، وقام بتفريغ 800 ساعة منها مع الحفاظ على مستويات الجودة المطلوبة لتدريب تقنية الكلام على المشاريع المعقدة. وقد تم الحصول على نموذج موافقة صريحة من كل مشارك. استند جمع الكلام التلقائي إلى صور قدمتها الجامعة. من بين 3500 صورة، 1000 صورة عامة و 2500 صورة تتعلق بثقافة المنطقة ومهرجاناتها، وما إلى ذلك. وتصور الصور مجالات متنوعة مثل محطات القطار والأسواق والطقس وغيرها.
جمع البيانات
| الولايه او المحافظه | المناطق | ساعات الصوت | النسخ (ساعات) |
|---|---|---|---|
| ولاية بيهار | ساران، إيست تشامباران، جوبالجانج، سيتامارهي، ساماستيبور، داربهانجا، مادبورا، بهاجالبور، جايا، كيشانجانج، فايشالي، لاكيساراي، ساهارسا، سوبول، أراريا، بيجوساراي، جاهاناباد، بورنيا، مظفربور، جاموي. | 2000 | 200 |
| ولاية اوتار براديش | ديوريا، فاراناسي، جوراخبور، غازيبور، مظفرناجار، إيتا، هاميربور، جيوتيبا فول ناجار، بودون، جالون | 1000 | 100 |
| راجستان | ناجور، شورو | 200 | 20 |
| أوتارانتشال | تيهري جارهوال، أوتاركاشي | 200 | 20 |
| تشهاتيسجاره | بيلاسبور، رايجاره، كابيردام، سارجوجا، كوربا، جاشبور، راجناندجاون، بالرامبور، باستار، سوكما | 1000 | 100 |
| ولاية البنغال الغربية | باشيم مدينيبور، مالدا، جالبايجوري، بوروليا، كولكاتا، جارجرام، شمال 24 بارجاناس، داكشين ديناجبور | 800 | 80 |
| جهارخاند | Sahebganj ، جمتارا | 200 | 20 |
| أندرا براديش | جونتور، شيتور، فيساخاباتنام، كريشنا، أنانتابور، سريكاكولام | 600 | 60 |
| تيلانجانا | كريمناجار، نالجوندا | 200 | 20 |
| غوا | شمال وجنوب جوا | 100 | 10 |
| كارناتاكا | داكشين كانادا، جولبارجا، درواد، بيلاري، ميسور، شيموجا، بيجابور، بلجاوم، رايتشور، تشامراجناجار | 1000 | 100 |
| ماهاراشترا | سيندودورج، دهول، ناجبور، بيون، أورانجاباد، تشاندرابور، سولابور | 700 | 70 |
| الإجمالي | 8000 | 800 | |
إرشادات عامة
شكل
- الصوت عند 16 كيلو هرتز، 16 بت/عينة.
- قناة واحدة.
- الصوت الخام دون تحويل الترميز.
الطراز
- كلام عفوي.
- الجمل مبنية على الصور المقدمة من الجامعة. من بين 3500 صورة، هناك 1000 صورة عامة و2500 تتعلق بالثقافة الخاصة بالمنطقة والمهرجانات وما إلى ذلك. تصور الصور مجالات مختلفة مثل محطات القطار والأسواق والطقس والمزيد.
خلفية التسجيل
- تم التسجيل في بيئة هادئة وخالية من الصدى.
- لا توجد اضطرابات في الهاتف الذكي (الاهتزاز أو الإشعارات) أثناء التسجيل.
- لا توجد تشوهات مثل القطع أو تأثيرات المجال البعيد.
- الاهتزازات الصادرة عن الهاتف غير مقبولة؛ تكون الاهتزازات الخارجية مقبولة إذا كان الصوت واضحًا.
مواصفات المتحدث
- الفئة العمرية من 20 إلى 70 سنة مع التوزيع المتوازن بين الجنسين لكل منطقة.
- الحد الأدنى من الناطقين بها 400 في كل منطقة.
- يجب على المتحدثين استخدام لغتهم/لهجتهم الأصلية.
- نماذج الموافقة إلزامية لجميع المشاركين.
فحص الجودة وضمان الجودة الحرجة
تعطي عملية ضمان الجودة الأولوية لضمان الجودة للتسجيلات الصوتية والنسخ الصوتي. تركز معايير الصوت على فترات الصمت الدقيقة ومدة المقطع ووضوح المتحدث الواحد والبيانات الوصفية التفصيلية بما في ذلك العمر والحالة الاجتماعية والاقتصادية. تؤكد معايير النسخ على دقة العلامة، وصحة الكلمة، وتفاصيل المقطع الصحيحة. وينص معيار القبول على أنه إذا فشلت أكثر من 20% من مجموعة الصوت في هذه المعايير، فسيتم رفضها. بالنسبة للتناقضات التي تقل عن 20%، يلزم استبدال التسجيلات بملفات تعريف مماثلة.
نسخ البيانات
تؤكد إرشادات النسخ على الدقة والنسخ الحرفي فقط عندما تكون الكلمات واضحة ومفهومة؛ يتم وضع علامة على الكلمات غير الواضحة على أنها [غير واضح] أو [غير مسموع] بناءً على المشكلة. يتم وضع علامة على حدود الجملة في الصوت الطويل ، ولا يسمح بإعادة الصياغة أو تصحيح الأخطاء النحوية. يغطي النسخ الحرفي الأخطاء، العامية، والتكرار ولكنه يتجاهل البدايات الخاطئة، وأصوات الحشو، والتلعثم. يتم نسخ أصوات الخلفية والأمامية باستخدام علامات وصفية، بينما تتبع أسماء العلم والعناوين والأرقام قواعد النسخ المحددة. يتم استخدام تسميات المتحدث لكل جملة، ويتم الإشارة إلى الجمل غير المكتملة.
سير عمل المشروع
يصف سير العمل عملية النسخ الصوتي. يبدأ الأمر بإعداد المشاركين وتدريبهم. يقومون بتسجيل الصوت باستخدام تطبيق يتم تحميله على منصة ضمان الجودة. يخضع هذا الصوت لفحوصات الجودة والتجزئة التلقائية. يقوم الفريق الفني بعد ذلك بإعداد المقاطع للنسخ. بعد النسخ اليدوي، هناك خطوة لضمان الجودة. يتم تسليم النسخ إلى العميل، وفي حالة قبولها، يعتبر التسليم كاملاً. إذا لم يكن الأمر كذلك، يتم إجراء المراجعات بناءً على ملاحظات العملاء.
نتيجة
ستمكن البيانات الصوتية عالية الجودة من اللغويين الخبراء عملائنا من تدريب وبناء نماذج التعرف على الكلام متعددة اللغات بدقة بمختلف اللغات الهندية بلهجات مختلفة في الوقت المحدد. يمكن استخدام نماذج التعرف على الكلام من أجل:
- التغلب على حاجز اللغة من أجل الإدماج الرقمي من خلال ربط المواطنين بالمبادرات بلغتهم الأم.
- يعزز الحوكمة الرقمية
- محفز لتشكيل نظام بيئي للخدمات والمنتجات باللغات الهندية
- المزيد من المحتوى الرقمي المحلي في مجالات المصلحة العامة ، لا سيما الحوكمة والسياسات
نحن منبهرون بخبرة شركة شايب في مجال الذكاء الاصطناعي التفاعلي. لقد كانت مهمة معالجة 8000 ساعة من البيانات الصوتية، بالإضافة إلى 800 ساعة من النصوص المكتوبة من 80 منطقة متنوعة، مهمةً جبارةً بكل المقاييس. إن فهم شايب العميق لتفاصيل هذا المجال الدقيقة هو ما مكّن من إنجاز هذا المشروع الصعب بنجاح. إن قدرتهم على إدارة هذا الكم الهائل من البيانات بسلاسة والتعامل معه بكفاءة عالية، مع ضمان أعلى مستويات الجودة، أمرٌ جدير بالثناء.
