تخيّل أنك تتحدث مع صديق عبر مكالمة فيديو. أنت لا تسمع كلماته فحسب، بل ترى تعابيره وإيماءاته، وحتى الأشياء الموجودة في خلفيته. هذا المزيج من أساليب التواصل المتعددة هو ما يجعل المحادثة أكثر ثراءً وإنسانية وفعالية.
يتجه الذكاء الاصطناعي في الاتجاه نفسه. فبدلاً من الاعتماد على النصوص فقط، تحتاج الأنظمة المتقدمة إلى دمج النصوص والصور والصوت، وأحيانًا الفيديو، لفهم الآخرين والاستجابة لهم بشكل أفضل. ويكمن جوهر هذا التطور في مجموعة بيانات المحادثات متعددة الوسائط ، وهي عبارة عن مجموعة منظمة من الحوارات المُثرية بمدخلات متنوعة.
يستكشف هذا المقال ماهية هذه المجموعات من البيانات، وأهميتها، وكيف تساهم الأمثلة الرائدة في العالم في تشكيل مستقبل مساعدي الذكاء الاصطناعي، ومحركات التوصية، والأنظمة الذكية عاطفياً.
ما هي مجموعة بيانات المحادثات المتعددة الوسائط؟
مجموعة بيانات المحادثات متعددة الوسائط هي مجموعة من بيانات الحوار حيث قد يتضمن كل حوار أكثر من مجرد نص. ويمكن أن تجمع بين:
النص (الكلمات المنطوقة أو المكتوبة)
الصور (الصور المشتركة أو الصور المرجعية)
الصوت (النبرة، أو عاطفة الكلام، أو الإشارات الخلفية)
فيديو (إيماءات، تعابير الوجه)
تشبيه: تخيل الأمر كمشاهدة فيلم بصوت وترجمة. لو كان لديك وضع واحد فقط، لكانت القصة غير مكتملة. لكن مع الوضعين، يكون السياق والمعنى أوضح بكثير.
👉 للحصول على تعريفات واضحة لمفاهيم الذكاء الاصطناعي المتعدد الوسائط، راجع مدخل قاموسنا المتعدد الوسائط.
مجموعات بيانات المحادثة متعددة الوسائط التي يجب معرفتها (المنافسة)
1. Choose Muse - مجموعة بيانات التوصيات المحادثة
يسلط الضوء على: حوالي ٧٠٠٠ محادثة توصية أزياء، ٨٣,١٤٨ عبارة. أُنشئت بواسطة وكلاء متعددي الوسائط، استنادًا إلى سيناريوهات واقعية.
حالة الاستخدام: مثالي لتدريب مصممي الذكاء الاصطناعي أو مساعدي التسوق.
2. MMDialog - بيانات حوارات مفتوحة النطاق ضخمة
يسلط الضوء على: ١٫٠٨ مليون حوار، ١٫٥٣ مليون صورة، تغطي ٤١٨٤ موضوعًا. إحدى أكبر مجموعات البيانات متعددة الوسائط المتاحة.
حالة الاستخدام: ممتاز للذكاء الاصطناعي للأغراض العامة، من المساعدين الافتراضيين إلى روبوتات الدردشة مفتوحة النطاق.
3. DeepDialogue – محادثات غنية عاطفياً (2025)
يسلط الضوء على: ٤٠,١٥٠ حوارًا متعدد الأدوار، ٤١ مجالًا، ٢٠ فئة عاطفية. يُركّز على تتبّع التطوّر العاطفي.
حالة الاستخدام: تصميم وكلاء دعم الذكاء الاصطناعي المتعاطفين أو رفقاء الصحة العقلية.
4. MELD - التعرف على المشاعر المتعددة الوسائط في المحادثة
يسلط الضوء على: أكثر من ١٣٠٠٠ عبارة من حوارات مسلسل تلفزيوني متعدد الأطراف (مثل مسلسل "الأصدقاء")، مُثراة بالصوت والصورة. تتضمن الكلمات مشاعر مثل الفرح والغضب والحزن.
حالة الاستخدام: أنظمة واعية بالعاطفة لكشف المشاعر أثناء المحادثة والاستجابة لها.
5. مينت ريك 2.0 - معيار التعرف على النوايا متعدد الوسائط
يسلط الضوء على: ١٢٤٥ حوارًا، ١٥٠٤٠ عينة، مع تصنيفات ضمن النطاق (٩٣٠٤) وخارجه (٥٧٣٦). يتضمن تصنيفًا متعدد الأطراف للسياق والنوايا.
حالة الاستخدام: غرس فهم قوي لنوايا المستخدم وتحسين سلامة المساعد ووضوحه.
6. MMD (حوارات متعددة الوسائط) - محادثات تسوق واعية بالمجال
يسلط الضوء على: أكثر من ١٥٠ ألف جلسة بين المتسوقين والوكلاء. تتضمن تبادل النصوص والصور في سياق البيع بالتجزئة.
حالة الاستخدام: بناء روبوتات الدردشة متعددة الوسائط للبيع بالتجزئة أو واجهات التوصية بالتجارة الإلكترونية.
جدول المقارنة
| بيانات | المقياس / الحجم | أشكال | قوة | تحديد |
|---|---|---|---|---|
| Choose Muse | ~7 آلاف تحويلة؛ 83 ألف عبارة | نص + صورة | توصية الموضة محددة | مجال محدد (الموضة) |
| حوار MMDialog | 1.08 مليون تحويلة؛ 1.53 مليون صورة | نص + صورة | تغطية واسعة النطاق للموضوع | التعامل المعقد |
| حوار عميق | 40 ألف تحويلة، 20 عاطفة | نص + صورة | تطور العاطفة والتعاطف | أحدث وأقل اختبارًا |
| ميلد | 13 ألف عبارة | نص + فيديو/صوت | تصنيف المشاعر متعدد الأطراف | أصغر، محدود النطاق |
| مينت ريك 2.0 | 15 ألف عينة | نص + متعدد الوسائط | اكتشاف النية خارج النطاق | التركيز على القصد الضيق |
| MMD | 150 ألف جلسة تسوق | نص + صورة | حوارات خاصة بالتجزئة | مجال البيع بالتجزئة فقط |
لماذا هذه المجموعات من البيانات مهمة
تساعد مجموعات البيانات الغنية هذه أنظمة الذكاء الاصطناعي على:
- تفهم السياق وراء الكلمات- مثل الإشارات البصرية أو العاطفة.
- قم بإعداد التوصيات بما يتناسب مع الواقع (على سبيل المثال، Choose Muse).
- بناء أنظمة متعاطفة أو واعية عاطفياً (حوار عميق, ميلد).
- اكتشاف نية المستخدم بشكل أفضل والتعامل مع الاستعلامات غير المتوقعة (مينت ريك 2.0).
- خدمة واجهات المحادثة في بيئات البيع بالتجزئة (MMD).
في شركة Shaip ، نقوم بتمكين الشركات من خلال تقديم خدمات جمع البيانات متعددة الوسائط والتعليق عليها بجودة عالية - مما يدعم الدقة والثقة والعمق في أنظمة الذكاء الاصطناعي.
القيود والاعتبارات الأخلاقية
وتجلب البيانات المتعددة الوسائط أيضًا تحديات:
تحيز المجال: العديد من مجموعات البيانات خاصة بالموضة أو البيع بالتجزئة أو العاطفة.
تكلفة إضافية للتعليقات التوضيحية: إن تصنيف المحتوى متعدد الوسائط يتطلب موارد كثيرة.
مخاطر الخصوصية: يتطلب استخدام الفيديو أو الصوت موافقة صارمة ومعالجة أخلاقية.
مخاوف تتعلق بإمكانية التعميم: قد تفشل النماذج المدربة على مجموعات بيانات ضيقة في سياقات أوسع.
يتصدى شيب لهذا الأمر من خلال التوريد المسؤول وخطوط أنابيب التعليقات التوضيحية المتنوعة.
خاتمة
إن ظهور مجموعات بيانات المحادثات متعددة الوسائط يحول الذكاء الاصطناعي من روبوتات نصية فقط إلى أنظمة يمكنها الرؤية والشعور والفهم في السياق.
من منطق التوصيات الأنيق في Muse إلى اتساع نطاق MMDialog وتطور النوايا في MIntRec2.0 ، تعمل هذه الموارد على تغذية الذكاء الاصطناعي الأكثر ذكاءً وتعاطفًا.
في شركة Shaip ، نساعد المؤسسات على التنقل في مشهد مجموعات البيانات - من خلال صياغة بيانات متعددة الوسائط عالية الجودة وذات مصادر أخلاقية لبناء الجيل القادم من الأنظمة الذكية.
ما هي مجموعة بيانات المحادثات المتعددة الوسائط؟
مجموعة بيانات يتم فيها ربط الحوارات بالصورة أو الصوت أو الفيديو لتوفير سياق أكثر ثراءً.
ما هي مجموعة البيانات التي تدعم الفهم العاطفي؟
يركز DeepDialogue على تطور المشاعر؛ ويتضمن MELD تفاعلاً متعدد الأطراف مصنفًا حسب المشاعر.
ما هو الأفضل للذكاء الاصطناعي مفتوح المجال؟
يُعد برنامج MMDialog ، الذي يحتوي على أكثر من مليون محادثة ومواضيع متنوعة، مثاليًا للمساعدين ذوي الأغراض العامة.
ما هي مجموعة البيانات التي تساعد في اكتشاف النية؟
يتضمن MIntRec2.0 خاصية الكشف عن العناصر الخارجة عن النطاق وتصنيف النوايا الدقيق لأنظمة المؤسسات القوية.
هل هذه المجموعات من البيانات خاصة بمجال معين؟
نعم. العديد منها متخصص - الموضة ( Muse )، والعواطف ( DeepDialogue ، MELD )، وتجارة التجزئة ( MMD )، وما إلى ذلك - مما قد يحد من التعميم عبر التطبيقات.
