توسيع نطاق الذكاء الاصطناعي الفيزيائي والروبوتات الشبيهة بالبشر باستخدام 10 آلاف ساعة من بيانات الحركة من المحاكاة إلى الواقع
كيف قدم Shaip 10,000 ساعة من بيانات التقاط الحركة في الواقع الافتراضي المتمركزة حول الذات عبر 4,000 مشارك، و100 مهمة، وأكثر من 5 بيئات واقعية - تم بناؤها كخط أنابيب بيانات تدريب الذكاء الاصطناعي المادي من الدرجة الإنتاجية للروبوتات البشرية من المحاكاة إلى الواقع.
نظرة عامة على المشروع
مع انتقال الذكاء الاصطناعي الفيزيائي والروبوتات الشبيهة بالبشر إلى مرحلة النشر في العالم الحقيقي، احتاج العميل إلى إطار عمل قابل للتطوير لجمع 10,000 ساعة من بيانات حركة الواقع الافتراضي القائمة على المهام عبر بيئات متنوعة مع معايرة وتنفيذ وضمان جودة متسقة.
قام شايب ببناء خط أنابيب عمليات البيانات من البداية إلى النهاية والذي يغطي إعداد المشهد، ورسم خرائط QR، وتتبع خمسة مستشعرات، وتدريب المشاركين، والتقاط مُدار، وسير عمل المراجعة لدعم 100 مهمة محددة من قبل العميل وتقديم مجموعات بيانات الذكاء الاصطناعي المجسدة الجاهزة للنموذج على نطاق واسع.
إحصائيات أساسية
المشاركون
~ 4,000
حجم البيانات
10,000 ساعة صالحة
التغطية البيئية
مكتب، منزل، مصنع، مقهى، مستودع، إلخ.
الخط الزمني
1 الشهر
التحديات
- توسيع نطاق جمع بيانات الحركة من سير العمل التجريبي الخاضع للتحكم إلى 10,000 ساعة، بيئات متعددة برنامج.
- الحفاظ على دقة تتبع ثابتة عبر مشاهد واقعية متنوعة وإعدادات مختلفة للمشاركين.
- ضمان استيفاء كل جلسة لمتطلبات صارمة لـ التحكم في إصدار ملف APK، وإعداد الشبكة المشتركة، وتسجيل الشاشة، وربط المستشعرات.
- إدارة 100 مهمة يحددها العميل عبر فئات مثل التنقل، والتلاعب بالأشياء، والتفاعل المنزلي، والتفاعل المكتبي، وسير العمل المادي متعدد الخطوات - كل منها يتطلب إعداد المشهد بشكل صحيح، ووضع الأشياء، واستعداد المشاركين، والتحقق بقيادة المشرف.
- تحويل الجلسات الخام إلى مخرجات جاهزة للنمذجة من خلال عمليات ضمان الجودة المتكررة، ومعالجة إعادة التصوير، وسير عمل مراجعة التحميل.
الحلول
استراتيجية التحصيل
قام شيب بتصميم إطار عمل قابل للتوسع لجمع البيانات لـ 10,000 ساعة صالحة بيانات حركة الواقع الافتراضي، يتم تسليمها على دفعات بناءً على مراحل محددة. استنادًا إلى نسبة تخطيط المصدر لـ 3-5 مشاركين لكل 10 ساعات صالحة، ويتوسع البرنامج الكامل إلى ما يقدر بـ 3,000–5,000 مشاركين، مع حوالي 4,000 مشارك تُستخدم كنقطة منتصف للتخطيط.
إدارة البيئة والمشاهد
تم التعامل مع كل موقع تصوير كمشهد منظم. قام شايب بتوثيق البيئة باستخدام تصوير الغرفة بزاوية واسعة، وضبط المشاهد في نظام الإدارة، وتنسيق مراجعة العميل، وتصدير ملفات PDF للمشاهد لتحديد مواقعها الفعلية. وقد ضمن ربط المشاهد برمز الاستجابة السريعة (QR) إمكانية ربط كل بيئة واقعية بسياق التسجيل الصحيح بشكل موثوق.
جاهزية الجهاز والتطبيق
قام Shaip بتوحيد الجاهزية التقنية من خلال ضمان اتصال سماعة الواقع الافتراضي وجهاز المراقبة بنفس الشبكة، والتحكم في تدفق تثبيت/تحديث ملفات APK، وتمكين تسجيل الشاشة عبر المتصفح لضمان رؤية المشرف طوال الجلسة.
تتبع الحركة والمعايرة
قبل كل جلسة، تم ربط جميع أجهزة تتبع الحركة الخمسة والتحقق من صحتها. كان إجراء المعايرة إلزاميًا لكل مشارك، بما في ذلك فحوصات محاذاة الصورة الرمزية، وتعديل الأرضية، وإعداد حدود مخصصة لضمان التقاط دقيق لحركة الجسم بالكامل داخل مساحة النشاط القابلة للتسجيل.
تنفيذ المهام والإشراف عليها
تلقى المشاركون إرشاداتٍ خلال التحضير للمهام الخاصة بكل مشهد والتدريب عليها قبل التسجيل. راقب المشرفون التسجيل عبر شاشة العرض، وتحققوا من دقة المهام ووضوح الحركة، ولم ينتقلوا إلى التسجيل المباشر إلا بعد أن استوفى أداء المستشعرات وحركة المشاركين معايير الجودة المطلوبة. تم تنفيذ بدء/إيقاف التسجيل وفقًا لتسلسل الإيماءات المحدد.
ضمان الجودة ومخرجات جاهزة للنموذج
بعد التسجيل، تم تحميل الجلسات في سجلّ المراجعة. قام شايب بالتحقق من وضوح الحركة، وصحة المهمة، ومحاذاة المشهد، ودقة المستشعرات، مع إلغاء أو إعادة تسجيل المقاطع غير الصالحة للاستخدام عند الحاجة. وقد أدى ذلك إلى مسار أكثر موثوقية نحو مجموعات بيانات جاهزة للتعليق، ومُدققة من قِبل فريق ضمان الجودة، وجاهزة للنمذجة، وذلك لتدريب الذكاء الاصطناعي والروبوتات.
نطاق المشروع
| نوع مجموعة البيانات | المشاركون | مستوى التسجيل | البيئات | حجم المهمة | إعداد الالتقاط | الخط الزمني |
|---|---|---|---|---|---|---|
| التقاط الحركة بتقنية الواقع الافتراضي المتمركزة حول الذات | ~ 4,000 | 10,000 ساعة صالحة | المكتب، المنزل، المقهى، المصنع، المستودع، وبيئات أخرى من العالم الحقيقي | 100 مهمة يحددها العميل | سماعة رأس للواقع الافتراضي + 5 أجهزة تتبع الحركة | 1 الشهر |
نتائج
- تم إنشاء إطار عمل قابل للتطوير لعمليات البيانات لـ 10,000 ساعة من بيانات تدريب الذكاء الاصطناعي الفيزيائي
- موحدة إدارة المشهد، ورسم الخرائط باستخدام رمز الاستجابة السريعة، ومعايرة خمسة مستشعرات عبر البيئات الموزعة
- تحسين اتساق عملية التجميع من خلال بروفة مُدارة، ومراجعة تسجيل الشاشة في الوقت الفعلي، وضمان الجودة على مستوى الجلسة
- يمكن لمستخدمي تطبيق Smart Spaces مع Google Wallet الاستفادة من دخول محمول دون لمس مع أي قارئ HID® Signo™ مُمكَّن بتقنية NFC. مخرجات تم التحقق من صحتها وفقًا للمهمة، وجاهزة للتعليق. لتطوير نماذج الذكاء الاصطناعي المجسد والمحاكاة والروبوتات في المراحل اللاحقة
- عززت قدرات العميل خط أنابيب البيانات من المحاكاة إلى الواقع مع تقنية التقاط الحركة الذاتية عالية الجودة
من بيئات متنوعة من العالم الحقيقي
بشكل عام، ساعد شايب في تحويل متطلبات التقاط الواقع الافتراضي المعقدة إلى مسار بيانات منظم وجاهز للإنتاج - مسار قادر على دعم الذكاء الاصطناعي المادي، والذكاء المجسد، والروبوتات الشبيهة بالبشر مبادرات تتميز باتساق أكبر، وإمكانية تتبع أفضل، ونطاق أوسع.
ساعدنا شيب في بناء البنية التحتية لعمليات البيانات لخارطة طريق الذكاء الاصطناعي الفيزيائي لدينا. وقد قام فريقهم بتنظيم عملية التقاط الحركة في بيئات متعددة، وإدارة المشاركين، وإعداد المشهد، والمعايرة، وضمان الجودة - مما مكننا من إنشاء مجموعات بيانات جاهزة للنمذجة تدعم التعلم من المحاكاة إلى الواقع للذكاء الاصطناعي المجسد والروبوتات الشبيهة بالبشر.
