تُعدّ عملية تحديد وضعية اليد عمليةً لتصنيف كيفية تحرك اليد وأصابعها في كل إطار من الفيديو، ما يُمكّن الروبوتات من تعلّم مهاراتٍ دقيقةٍ تُحاكي التلاعب البشري. تستطيع الروبوتات الحالية المشي والتدحرج والإمساك بصندوق، لكنّها لا تزال تُعاني من صعوبةٍ في الأمور البسيطة، مثل زرّ قميص، وتمرير سلك، والتقاط حبة عنب دون سحقها. في شركة Shaip، نُلاحظ هذا يوميًا: فالجزء الأصعب في الذكاء الاصطناعي الفيزيائي لا يكمن في تعليم الروبوت الحركة، بل في تعليم يديه كيفية التصرّف . وهذا يعتمد بشكلٍ أساسي على جودة بيانات وضعية اليد المُستخدمة.
يتناول هذا المقال موضوع اليدين بالتفصيل. إذا كنت ترغب في الحصول على الصورة الأوسع أولاً، فابدأ بدليلنا حول بيانات تدريب الروبوتات ومجموعات بيانات التلاعب - هذا هو فصل البراعة في تلك القصة.
لماذا تُعدّ البراعة هي العائق الحقيقي في معالجة الروبوتات؟
تُشكّل البراعة اليدوية العائق الرئيسي، لأنّ الحركة العامة تُحلّ إلى حدّ كبير، بينما لا تزال دقة التحكم بالأصابع غير مُتاحة. يُمكن تعليم الروبوت الوصول إلى ماسك وإغلاقه، لكن تعليمه لفّ قلم بين إصبعين، أو إعادة إمساك مفك براغي أثناء أداء مهمة ما، يُمثّل تحديًا مختلفًا تمامًا، ويعتمد كليًا على بيانات تُسجّل كيفية تحرّك الأصابع فعليًا.
إليكم الطريقة البسيطة التي نشرح بها ذلك للعملاء:
- الحركة والإمساك الخشن — يعمل بشكل جيد في الغالب. البيانات متوفرة بكثرة.
- التلاعب الدقيق متعدد الأصابع — لا يعمل في الغالب. البيانات شبه معدومة.
- الفجوة — أمثلة تدريبية تسجل ما فعله كل إصبع، وبأي ترتيب، ومتى لمس الجسم.
هذا السطر الأخير هو بالضبط ما ينتج عن عملية تحديد وضعية اليد. فبدونها، يستطيع الروبوت التعرف على رباط الحذاء لكنه لا يعرف كيف يربطه.
ما هو تحديد وضعية اليد بالضبط؟
يُعدّ تحديد وضعية اليد أحد أشكال تحديد النقاط الرئيسية، حيث يتمّ تحديد مفاصل اليد - مفاصل الأصابع، وأجزاء الأصابع، وأطراف الأصابع، والمعصم - وتتبّعها عبر كل إطار من المقطع. يحوّل هذا الأسلوب الفيديو العادي لليد إلى سجلّ واضح ومنظم للحركة، يمكن للنموذج الاستفادة منه.
عملياً، تقوم فرقنا بتصنيف أربعة أشياء على كل يد:
- هيكل اليد — مجموعة متسقة من النقاط عبر الأصابع والمعصم (عادةً ما تكون تخطيطًا من 20 نقطة أو أكثر).
- حركة مشتركة — كيف تنحني تلك النقاط وتدور مع تطور المهمة.
- الحركة مع مرور الوقت — المسار السلس لكل نقطة من الإطار الأول إلى الأخير، وليس مجرد لقطات معزولة.
- لحظات التواصل — اللحظات الدقيقة التي يلمس فيها الإصبع شيئًا ما، أو يمسكه، أو يتركه.
يكمن العنصر الرابع في براعة الحركة. يستطيع أي شخص تحديد مكان اليد؛ لكن القيمة تكمن في فهم كيفية ووقت حدوث ذلك.
كيف يختلف شرح البراعة عن شرح النقاط الرئيسية القياسي؟
تُعتبر عملية تحديد نقاط الحركة (البراعة) أكثر دقةً وفعاليةً من عملية تحديد نقاط المفاتيح التقليدية. فبينما تُجيب عملية تحديد نقاط المفاتيح التقليدية على سؤال "أين اليد؟"، تُجيب عملية تحديد نقاط الحركة على سؤال "ماذا فعل كل إصبع، وبأي ترتيب، ومتى لامس الأشياء؟" - وهو المعيار الوحيد الذي يُمكن لنموذج التلاعب أن يتدرب عليه فعلياً.
يظهر الفرق بوضوح عند النظر إلى الصورة جنباً إلى جنب:
| ما نقوم بتسميته | شرح النقاط الرئيسية القياسي | شرح وضعية اليد بمستوى البراعة |
|---|---|---|
| التفاصيل | موضع اليد، لكل إطار | حركة كاملة للأصابع، في كل إطار |
| عمق | مسطح، ثنائي الأبعاد | ثلاثي الأبعاد - كيف تتحرك المفاصل في الفضاء |
| الوقت: | إطارًا بإطار، مستقل | حركة واحدة سلسة ومتواصلة |
| الإتصال | نادرًا ما يتم تصنيفها | امسك، المس، ثم ارفع. |
| إنسداد | غالبًا ما يتم تخطيها | تم استنتاجها وتعبئتها بعناية |
| ما هو جيد ل | الإيماءات، تتبع حركة اليد | تعليم الروبوتات كيفية التلاعب |
العمود الأيمن هو ما نبنيه في شركة Shaip، لأنه العمود الوحيد الذي يمكن للروبوت الماهر أن يتعلم منه.
كيف يحوّل التعليق على وضعية اليد الفيديو البشري إلى مهارة روبوتية؟
يُعدّ تحديد وضعية اليد حلقة الوصل بين فيديوهات البشر منخفضة التكلفة وعروض الروبوتات المكلفة. وتُمثّل إعادة التوجيه الخطوة التي تُطابق حركات يد الشخص المُحدّدة مع يد الروبوت، ليصبح العرض البشري قابلاً للتقليد من قِبل الروبوت. تصوير الأشخاص سهل وقابل للتطوير، بينما تصوير عروض الروبوتات الحقيقية بطيء ومكلف، لذا فإنّ الخيار الأمثل هو تعليم الروبوتات من خلالنا.
تبدو آلية العمل التي نتبعها مع العملاء على النحو التالي:
- القيد — التقاط فيديو من منظور الشخص الأول ("ما تراه يداي") لشخص يقوم بمهمة ما.
- علق — قم بتسمية وضعية اليد في كل إطار لاستعادة حركة الأصابع الكاملة.
- إعادة الاستهداف — قم برسم تلك الحركة على يد الروبوت حتى يتمكن من إعادة إنتاج الحركة.
مثال مفيد: لتعليم روبوت مطبخ كيفية كسر بيضة، لا تحتاج إلى ألف روبوت يتدرب. ما تحتاجه هو فيديو واضح ومُصنّف جيدًا لأشخاص يكسرون البيض - فالشرح هو ما يجعل هذا الفيديو قابلاً للتعليم.
أين تُستخدم بيانات التلاعب الماهر فعلياً؟
تُعدّ بيانات مهارة اليد مهمة في أي مكان يتعين على الآلة فيه التعامل مع العالم المادي بعناية. هذا هو القسم الذي تتجاهله معظم العروض التقديمية، لذا يجدر بنا توضيحه بشكل دقيق. خلاصات بيانات وضعية اليد ومهارة اليد:
الروبوتات الشبيهة بالبشر والروبوتات المنزلية - طي الملابس، وتعبئة غسالة الأطباق، والتعامل مع الأشياء اليومية التي تأتي بكل الأشكال.
أتمتة المستودعات ومتاجر البيع بالتجزئة - التقاط سلعة هشة من على الرف دون إتلافها، أو فرز المنتجات المختلطة عن طريق اللمس.
الرعاية الصحية والروبوتات المساعدة - أجهزة إعادة التأهيل والأذرع المساعدة التي يجب أن تتحرك بلطف حول الأشخاص.
التصنيع والإصلاح - استخدام الأدوات، وتوجيه الكابلات، وتجميع الأجزاء الصغيرة حيث لا تكفي قبضة خشنة.
الواقع المعزز/الواقع الافتراضي والأجهزة القابلة للارتداء - التفاعل الطبيعي باليد، والتحكم بالإيماءات، وواجهات تتبع اليد.
القاسم المشترك: كل هذه الأساليب تفشل بدون بيانات تدريبية تلتقط حركات الأصابع الدقيقة. هذه هي الحاجة التي صُمم برنامج Shaip الخاص بالحركة والوضعية والمهارة لتلبيتها.
ما هو حجم بيانات البراعة المطلوبة - وما مدى جودتها؟
الحجم مهم، لكن الجودة أهم. ولتوضيح أهمية الحجم، جمعت إحدى مجموعات البيانات البحثية الرائدة، التي نُشرت عام ٢٠٢٥، ٨٢٩ ساعة من مقاطع الفيديو التي تُظهر التلاعب بالأشياء من منظور الشخص الأول، مع تتبع حركة اليدين في ١٩٤ مهمة يومية ، ووصفها مؤلفوها بأنها أكبر مجموعة بيانات من نوعها في مجال التلاعب الدقيق بالأشياء ( أبحاث التعلم الآلي من آبل، ٢٠٢٥ ). هذا هو الاتجاه الذي يسلكه هذا المجال: بيانات ضخمة، غنية بالمعلومات المصنفة، ومتنوعة المهام.
لكنّ الكمّ الهائل من البيانات وحده لا يكفي لتدريب روبوت جيد. ففي تجربتنا في Shaip، يعود سبب معظم حالات فشل الروبوت في إتقان الحركة إلى جودة البيانات المُصنّفة ، وليس إلى حجم مجموعة البيانات. أما المشاكل الصعبة فهي عملية:
- أصابع خفية — تغطي الأيدي نفسها والأشياء التي تحملها باستمرار.
- أصابع متشابهة — من السهل تصنيف إصبع واحد على أنه الإصبع المجاور له.
- الحركة السريعة — الحركات السريعة تشوش على اللقطات الأكثر أهمية.
- الاتساق مع مرور الوقت — يمكن أن يؤدي ملصق مفصل مهتز واحد إلى إفساد تسلسل الحركة بأكمله.
لهذا السبب، يمر كل مشروع يتعلق بالمهارة في شركة Shaip عبر فرق مدربة بإشراف بشري مباشر، ويخضع لعملية جودة متعددة المراحل - تبدأ بالتحقق الأولي، ثم المعايرة وفقًا لمعايير مرجعية، وأخيرًا مراجعة الإصدار النهائي - مع ضمان اتفاق بين المُعلِّقين وتحديد عتبات قبول خاصة بكل مهمة في كل مشروع. فالبيانات النظيفة أقل تكلفة من روبوت تعلم حركة خاطئة.
كيف يساعد شيب
في شركة Shaip، نتولى العملية برمتها - بدءًا من جمع مقاطع الفيديو من منظور الشخص الأول ومقاطع الفيديو التي تُظهر مهارات المستخدمين، وصولًا إلى تحديد وضعيات اليد ومهاراتها بدقة، وانتهاءً بتوفير بيانات جاهزة لإعادة الاستهداف يمكن لفريقك التدرب عليها. كل ذلك يتم تقديمه تحت مستوى أمان عالٍ (ISO 27001 وSOC 2 Type II) بواسطة فريق عمل مُدار ومُعتمد.
استكشف حلول بيانات التدريب الخاصة بنا للذكاء الاصطناعي الفيزيائي ، وشاهد كيف نقوم بجمع بيانات الفيديو المتمركزة حول الذات للحصول على بيانات البراعة من لقطات الشخص الأول، أو اقرأ دليلنا المصاحب حول ماهية مجموعة البيانات المتمركزة حول الذات.
ما هو شرح وضعية اليد؟
تُعرف عملية تحديد وضعية اليد بأنها عملية تصنيف مفاصل اليد - مفاصل الأصابع، وأجزاء الأصابع، وأطراف الأصابع، والمعصم - في كل إطار من الفيديو. وتُنشئ هذه العملية بيانات منظمة تُعلّم الروبوتات ونماذج الذكاء الاصطناعي كيفية تحرك اليد وتعاملها مع الأشياء بمرور الوقت.
كيف يختلف شرح البراعة عن شرح النقاط الرئيسية القياسي؟
تُحدد التعليقات التوضيحية القياسية للنقاط الرئيسية مكان وجود اليد، إطارًا بإطار، في بُعدين. وتضيف التعليقات التوضيحية للبراعة عمقًا وحركة سلسة بمرور الوقت ولحظات اتصال مُصنفة - مما ينتج بيانات يمكن للروبوت استخدامها فعليًا لتعلم التلاعب الدقيق متعدد الأصابع.
ما المقصود بإعادة الاستهداف في بيانات وضعية اليد؟
تُعيد تقنية إعادة التوجيه رسم حركات يد الشخص المُصنّفة على يد الروبوت، بحيث يصبح العرض البشري حركةً يستطيع الروبوت محاكاتها. هكذا يتم تحويل كميات هائلة من مقاطع الفيديو البشرية إلى بيانات تدريب قيّمة ونادرة للروبوت.
لماذا تحدّ البراعة من قدرات الروبوتات؟
تُحدّ البراعة من قدرات الروبوتات، إذ تُنجز المهام الخشنة كالمشي والإمساك البسيط إلى حد كبير، بينما يفتقر التحكم الدقيق بالأصابع - كإعادة إمساك أداة أو التعامل مع جسم دقيق - إلى بيانات التدريب التي تُحدد كيفية تحرك الأصابع. ويُوفر تصنيف وضعية اليد هذه الإشارة المفقودة.
ما هي الصناعات التي تستخدم بيانات البراعة اليدوية؟
تعتمد الروبوتات الشبيهة بالبشر والروبوتات المنزلية، وأتمتة المستودعات وتجارة التجزئة، والروبوتات الصحية والمساعدة، والتصنيع والإصلاح، والتفاعل اليدوي بتقنية الواقع المعزز/الواقع الافتراضي، جميعها على بيانات البراعة للتعامل مع الأشياء في العالم الحقيقي بأمان ودقة.
هل حجم مجموعة البيانات أم جودة التصنيفات أكثر أهمية؟
كلاهما مهم، لكن جودة التصنيف هي التي تحدد النتيجة عادةً. تساعد مجموعات البيانات الكبيرة، ومع ذلك فإن معظم حالات فشل البراعة تعود إلى تصنيفات يدوية غير متسقة أو غير دقيقة - وهذا هو السبب في أن أزواج Shaip تتوسع مع مراقبة جودة صارمة تتضمن تدخلاً بشرياً.
هل يستطيع تطبيق Shaip جمع وتصنيف مقاطع الفيديو التي تُصوّر اليد من منظور الشخص الأول؟
نعم. يقوم Shaip بجمع وتصنيف مقاطع الفيديو من منظور الشخص الأول ومقاطع الفيديو التي تعرضها البشر، مما ينتج بيانات دقيقة وجاهزة لإعادة الاستهداف لوضعية اليد وفقًا لضوابط ISO 27001 و SOC 2 من النوع الثاني.
