شرح عناصر المشهد الداخلي لروبوتات الخدمة والذكاء الاصطناعي المجسد - دراسة حالة
كيف قدمت Shaip شرحًا شاملاً للمشاهد الداخلية لشركة رائدة في مجال ابتكار الروبوتات - اكتشاف وتصنيف كل كائن في بيئات الغرف باستخدام علامات العلاقات المكانية - تم بناؤها كمجموعة بيانات من الدرجة الإنتاجية للذكاء الاصطناعي للإدراك والملاحة الروبوتية في المنازل والمكاتب والمستودعات ومرافق الرعاية الصحية.
نظرة عامة على المشروع
مع انتقال الروبوتات إلى النشر في العالم الحقيقي في المنازل والمكاتب والمستودعات والمستشفيات، احتاج العميل إلى مسار تعليق شامل قادر على تصنيف كل كائن مرئي في المشاهد الداخلية المزدحمة - مع ثراء السمات الكافي لمهام التفاعل الروبوتي.
قام شايب ببناء خط أنابيب التعليقات التوضيحية من البداية إلى النهاية والذي يغطي تجزئة المربع المحيط والمضلع، وإدراج الكائنات الكثيفة، ووضع علامات العلاقات المكانية، ومعالجة الأسطح العاكسة - مما ينتج عنه مجموعات بيانات جاهزة للنموذج من أجل الإدراك الروبوتي والملاحة والتفاعل بين الإنسان والبيئة.
إحصائيات أساسية
كائنات / صورة
100
التصنيفات
كثيف
طرق
صندوق + مضلع
طبقات السمات
4
التحديات
- حاشية كل جسم مرئي في صور الغرف المزدحمة للغاية - المئات في كل إطار
- اختيار الطريقة الصحيحة — المربع المحيط مقابل تجزئة المضلع — بناءً على تعقيد الكائن
- بما فيه الأشياء الصغيرة مثل المفاتيح والمقابس والعناصر الزخرفية الضرورية للتفاعل الروبوتي
- طريقة التعامل الأسطح العاكسة (مرايا، طاولات زجاجية) بدون تعليقات وهمية
- علامات العلاقات المكانية وحالات الكائنات للذكاء الاصطناعي الروبوتي الواعي بالسياق
الحلول
تضمين شامل للأشياء
تم وضع تعليقات توضيحية فردية على كل عنصر مرئي داخل كل صورة غرفة عبر مجموعة واسعة من الفئات - الأثاث (الكراسي، والطاولات، والأرائك، والأسرة، والرفوف)، والأجهزة (أجهزة التلفزيون، والثلاجات، وأفران الميكروويف، والمصابيح)، والأغراض الشخصية (الحقائب، والكتب، والزجاجات، والملابس)، والعناصر الهيكلية (الأبواب، والنوافذ، والجدران، والأرضيات)، والأشياء الصغيرة (أجهزة التحكم عن بعد، والأكواب، والأطباق، ولوحات المفاتيح، والمفاتيح، والمقابس).
اختيار الطريقة لكل كائن
تم تصنيف العناصر بدقة باستخدام مربعات إحاطة أو تجزئة مضلعة، وذلك حسب شكل العنصر ومدى تعقيده. استُخدمت المربعات للعناصر المستطيلة المنتظمة، بينما استُخدمت المضلعات للعناصر ذات الأشكال العضوية والعناصر المتراصة بإحكام حيث تتداخل المربعات بشكل مفرط. وقد ضمن هذا الاختيار لكل عنصر على حدة حدودًا واضحة حتى في المشاهد المزدحمة.
تحديد العلاقات المكانية
تم إثراء كل عنصر مُعَلَّم بخصائص تشمل حالة العنصر (مفتوح أو مغلق للأبواب والأدراج)، وعلامات العلاقات المكانية التي تُشير إلى القرب والموقع بالنسبة للعناصر الأخرى، وحالة الحجب، وحالة العنصر. تُمكّن طبقة الذكاء المكاني هذه أنظمة الذكاء الاصطناعي الروبوتية من فهم السياق، وليس مجرد اكتشاف العناصر.
تغطية شاملة للأشياء الصغيرة والتفاعلات
اتبع الباحثون معايير صارمة لتصنيف كل عنصر مرئي بغض النظر عن حجمه، بما في ذلك العناصر الصغيرة مثل المفاتيح والمقابس والأشياء الزخرفية التي تُعدّ أساسية لمهام التفاعل الروبوتي. غالبًا ما تحدد هذه العناصر قدرة الروبوت على إنجاز مهمته، لذا لم يكن من الممكن تجاهلها.
معالجة الأسطح العاكسة
تطلّبت الأسطح العاكسة، كالمرايا والطاولات الزجاجية، معالجة خاصة لتجنب التعليقات المكررة أو الوهمية. وقد حدّدت إرشاداتٌ مُحدّدة ما إذا كان سيتمّ تصنيف الأجسام المنعكسة بشكل منفصل، أو تجاهلها، أو وضع علامة عليها، وذلك لضمان عدم تعلّم النماذج اللاحقة من التعليقات المُحمّلة بالبيانات الخاطئة.
نطاق المشروع
| نوع مجموعة البيانات | تغطية | طرق | التصنيفات | السمات | تعامل خاص |
|---|---|---|---|---|---|
| شرح عناصر المشهد الداخلي | كل جسم مرئي | صندوق + مضلع | الأثاث، والأجهزة المنزلية، والأغراض الشخصية، والهياكل، والقطع الصغيرة | 4 طبقات (الحالة، المكانية، الحجب، الشرط) | قواعد الأسطح العاكسة |
نتائج
- تم إنشاء مسار التعليقات التوضيحية الكثيفة للكائنات للإدراك الروبوتي الداخلي
- موحدة اختيار الطريقة لكل كائن بين المربعات المحيطة وتقسيم المضلعات
- تسليم تحديد العلاقات المكانية تمكين الذكاء الاصطناعي الروبوتي الواعي بالسياق
- نفذت معالجة الأسطح العاكسة لمنع التعليقات الوهمية
- تم تمكين العميل المنزل، والمستودع، ومتاجر البيع بالتجزئة، ومرافق الرعاية الصحية نشر الذكاء الاصطناعي في مجال الروبوتات
بشكل عام، ساعد Shaip في تحويل متطلبات التعليق الداخلي الكثيفة بالأشياء إلى مسار منظم وجاهز للإنتاج - وهو مسار قادر على دعم الملاحة الروبوتية، وأتمتة الالتقاط والوضع، ومراقبة البيئة الذكية، والتفاعل بين الإنسان والروبوت عبر بيئات النشر الداخلية المتنوعة.
قام برنامج Shaip بتصنيف الغرف بالطريقة التي تراها بها روبوتاتنا - كل شيء، كل علاقة، كل تفصيل صغير مهم. واهتمامهم بالمفاتيح والمقابس والأسطح العاكسة يعني أن نموذج الإدراك لدينا لم يتعثر في الأشياء التي تتجاهلها معظم مجموعات البيانات.
