إذا كنت تقوم ببناء نماذج رؤية الكمبيوتر اليوم، فأنت لم تعد تسأل عما إذا كنت بحاجة إلى بيانات الفيديو - بل تسأل عن كيفية جمع بيانات الفيديو الصحيحة دون خلق كابوس يتعلق بالخصوصية أو التحيز أو الجودة.
يشرح هذا الدليل ما يعنيه جمع بيانات الفيديو فعليًا في مشاريع الذكاء الاصطناعي، وكيف يرتبط ذلك بتعليق الفيديو، وأفضل الممارسات التي تميز عمليات النشر الناجحة عن التجارب المكلفة.
ما هو جمع بيانات الفيديو لأغراض الذكاء الاصطناعي؟
في سياق الذكاء الاصطناعي والتعلم الآلي، تعد عملية جمع بيانات الفيديو هي عملية جمع لقطات الفيديو الخام التي سيتم لاحقًا شرحها واستخدامها لتدريب نماذج رؤية الكمبيوتر والتحقق من صحتها واختبارها.
بدلاً من الصور المنفردة، أنت تتعامل مع تسلسلات من الإطارات عبر الزمن . هذه المعلومات الزمنية تُمكّن النماذج من تعلّم أشياء مثل:
- كيف تتحرك الأشياء وتتفاعل (المشاة يعبرون، المتسوقون يسيرون، الآلات في حالة حركة)
- كيف تتطور المشاهد (نهارًا مقابل ليلًا، مطرًا مقابل شمس ساطعة، حركة مرور منخفضة مقابل حركة مرور عالية)
- كيف تتكشف الأحداث (السقوط، الإيماءات، تغيير المسار، السرقة، عمليات التسليم، إلخ).
في الواقع العملي، لا يتم جمع بيانات الفيديو بمعزل عن غيرها أبداً:
- أنت جمع مقاطع فيديو في سياقات محددة.
- أنت علق تلك المقاطع (الكائنات، الإجراءات، الأحداث، المناطق، الطوابع الزمنية).
- أنت مراجعة وتدقيق ثم يتم إدخال التصنيفات في مسارات التدريب.
إذا كانت الخطوة الأولى فوضوية، فإن الخطوتين الثانية والثالثة تصبحان بطيئتين ومكلفتين للغاية - ويصل مستوى دقة النموذج إلى حد معين.
لماذا أصبح جمع بيانات الفيديو أكثر أهمية من أي وقت مضى؟
تعتمد معظم حالات استخدام الذكاء الاصطناعي في العالم الحقيقي الآن على المشاهد المتواصلة بدلاً من اللقطات الثابتة:
تحتاج المركبات ذاتية القيادة وأنظمة مساعدة السائق المتقدمة إلى فهم الحركة وتدفق حركة المرور والأحداث النادرة "الحالات الشاذة".
تستخدم تجارة التجزئة الذكية الفيديو لاكتشاف الطوابير، ومراقبة الرفوف، وتقليل الفاقد.
تستفيد الرعاية الصحية من البث المباشر الشبيه بالفيديو (التنظير الداخلي، الموجات فوق الصوتية، تحليل المشية) لدعم التشخيص والفرز.
تعتمد السلامة الصناعية والروبوتات على المراقبة المستمرة لأماكن العمل، والتفاعلات بين الإنسان والروبوت، والمخاطر.
| البعد | وكيل منظمة العفو الدولية | الذكاء الاصطناعي التوليدي |
|---|---|---|
| الهدف الأساسي | إكمال المهام متعددة الخطوات وسير العمل بشكل مستقل | إنشاء محتوى عالي الجودة (نص، كود، وسائط) |
| المدخلات النموذجية | الهدف بالإضافة إلى السياق (على سبيل المثال، "تجديد العقد X") | موجه (على سبيل المثال، "اكتب بريدًا إلكترونيًا حول Y") |
| الناتج النموذجي | الإجراءات المتخذة بالإضافة إلى الحالة المحدثة عبر الأنظمة | محتوى جديد (نص، صور، كود، الخ.) |
| التركيز على البيانات | سجلات التفاعل في الوقت الفعلي، وتتبعات الأدوات، والأحداث | مجموعات بيانات كبيرة ومنسقة وضبط دقيق خاص بالمجال |
| التقييم | إنجاز المهام، والكفاءة، والسلامة، والالتزام بالسياسة | التماسك، والواقعية، والأسلوب، والسمية |
| تزيين | التنسيق، وأطر العمل متعددة الوكلاء، والمراقبة | الهندسة السريعة، RAG، الضبط الدقيق |
الصورة الثابتة أشبه بإطار واحد من فيلم - مفيدة، لكنها تفتقر إلى ترابط السبب والنتيجة. أما الفيديو فيُظهر لنموذجك المشهد كاملاً، قبل وأثناء وبعد.
الأساليب الأساسية لجمع بيانات الفيديو
يمكنك اعتبار أساليب جمع بيانات الفيديو بمثابة مجموعة أدوات. تجمع معظم البرامج المتطورة بين عدة أساليب.
مجموعة فيديوهات من مصادر جماعية
تقوم بتجنيد مجموعة موزعة من المساهمين - غالبًا عبر منصة متخصصة - لالتقاط مقاطع الفيديو على أجهزتهم الخاصة وتحميلها وفقًا لتعليمات مفصلة.
الأفضل عندما تحتاج إلى:
- البيئات الطبيعية (المنازل، الشوارع، المكاتب، المركبات)
- تنوع التركيبة السكانية والظروف
- التوسع السريع عبر المناطق الجغرافية
المميزات:
- يتوسع بسرعة عبر البلدان والأجهزة
- مثالي للتنوع وتغطية الحالات الاستثنائية
المفاضلات:
- تباين الأجهزة (كاميرات مختلفة، دقة عرض مختلفة، معدلات إطارات مختلفة)
- يتطلب الأمر تعليمات قوية، وتحققًا من الصحة، وضمانًا للجودة لتجنب البيانات المشوشة.
مجموعة في الموقع أو الاستوديو
هنا، أنت تتحكم في البيئة - استوديو أو مختبر أو منشأة آمنة - ويقوم فريقك أو شريك بتوجيه المشاركين والمشاهد.
الأفضل عندما تحتاج إلى:
- الإضاءة الدقيقة، وزوايا الكاميرا، أو إعدادات المستشعرات
- سيناريوهات حساسة (التقاط البيانات البيومترية، الرعاية الصحية، البيئات الخاضعة للتنظيم)
- شروط قابلة للتكرار للمقارنة المعيارية
مثال: التقاط مقاطع فيديو عالية الدقة للوجه من زوايا وتعبيرات مختلفة تحت إضاءة محددة لتدريب أو اختبار اكتشاف التزييف أو التزييف العميق.
العمليات الميدانية والتقاط الصور في الموقع
بالنسبة للبيئات المعقدة مثل الطرق والمستودعات والمستشفيات أو البنية التحتية ، يقوم فريق بتنفيذ العمليات الميدانية - تجهيز المركبات أو المساحات بالكاميرات وأجهزة الاستشعار، وتخطيط المسارات، والتقاط الفيديو في ظل سيناريوهات محددة.
هذه الطريقة هي:
- تتطلب جهوداً لوجستية كبيرة (تصاريح، معدات، سلامة، تخطيط مسارات)
- يُعدّ أمراً بالغ الأهمية للقيادة الذاتية، والمدن الذكية، والخدمات اللوجستية، والروبوتات الصناعية.
المصادر الآلية أو التي تم جمعها أو الأرشيفية
في بعض الأحيان يكون لديك إمكانية الوصول إلى أرشيفات الفيديو الموجودة (كاميرات المراقبة، وكاميرات الجسم، والمحتوى الذي أنشأه المستخدم بموجب ترخيص، ولقطات الاختبار الداخلية) أو استخدام الأتمتة (مثل استخراج البيانات من الويب) لجمعها من منصات خارجية.
على الرغم من قوتها، إلا أن هذا هو المكان الذي تصبح فيه الخصوصية والترخيص والأخلاقيات أموراً لا تقبل المساومة:
- هل امتلك أو رخص بشكل صحيح اللقطات؟
- هل يُسمح لك باستخدامه لـ تدريب الذكاء الاصطناعىليس مجرد مشاهدة؟
- هل يحتوي على البيانات الشخصية ما الذي يؤدي إلى تفعيل اللائحة العامة لحماية البيانات (GDPR) أو قانون خصوصية المستهلك في كاليفورنيا (CCPA) أو اللوائح القطاعية؟
ولهذا السبب تتبنى العديد من الفرق أدلة عمل أخلاقية لمصادر البيانات وتفضل مجموعات البيانات المصممة خصيصًا والتي تمت الموافقة عليها على عمليات جمع البيانات الانتهازية.
التحديات الرئيسية في جمع بيانات الفيديو
1. الخصوصية والموافقة والتنظيم
يحتوي الفيديو على معلومات شخصية حساسة (PII) - كالوجوه ولوحات السيارات والمواقع والسلوك. في مناطق مثل الاتحاد الأوروبي، يعامل نظام حماية البيانات العامة (GDPR) مقاطع الفيديو التي تظهر فيها أشخاص يمكن التعرف عليهم كبيانات شخصية، مع وجود قواعد صارمة بشأن الغرض والتقليل والاحتفاظ والموافقة.
الأسئلة الرئيسية التي يجب الإجابة عليها:
- هل لديك موافقة مسبقة عند الحاجة؟
- هل يتم إبلاغ الأشخاص المعنيين بشكل واضح بشأن كيف و لماذا هل سيتم استخدام الفيديو الخاص بهم؟
- ما هي مدة الاحتفاظ بالفيديوهات الأصلية، ومن يمكنه الوصول إليها؟
2. التحيز والتمثيل
إذا كانت مجموعة بيانات الفيديو الخاصة بك تمثل بشكل مفرط بعض الفئات الديموغرافية أو المواقع أو الظروف ، فقد يكون أداء نموذجك ضعيفًا - أو يفشل - في السياقات الممثلة تمثيلاً ناقصًا، وأحيانًا يكون لذلك آثار خطيرة على السلامة.
الأخطاء الشائعة:
- لقطات حضرية فقط، بدون مشاهد ريفية
- هناك نقص في تمثيل بعض الفئات العمرية، أو ألوان البشرة، أو أنماط الملابس.
- ضوء النهار كامل، لا ليل، لا مطر، ولا ثلج
يجب تصميم التنوع في خطة جمعك، وليس إضافته كفكرة لاحقة.
3. جودة البيانات وتناسقها
حتى عندما يكون لديك بيانات فيديو "كافية"، فإن مشاكل الجودة مثل:
- ضبابية الحركة
- إضاءة ضعيفة
- دقة منخفضة أو معدلات إطارات غير متناسقة
- الحجب والمناظر الجزئية
قد يحد ذلك من أداء النموذج. تحدد البرامج عالية الأداء معايير قبول جودة الفيديو وتفرضها على جميع المساهمين وطرق جمع البيانات.
4. الحجم والتخزين والحوكمة
حجم الفيديو كبير جدًا ، إذ يصل حجمه عادةً إلى عشرات أو مئات التيرابايت لكل مشروع. وبدون إدارة فعّالة، ينتهي بك الأمر إلى:
- لقطات مكررة
- أصل غير معروف ("من أين أتى هذا المقطع؟")
- مخاطر الامتثال (الاحتفاظ غير المُتتبَّع، والتحكم غير الواضح في الوصول)
وهنا تبرز أهمية إدارة البيانات، والفهرسة، والبيانات الوصفية، و"مجموعات البيانات الذهبية".
أفضل الممارسات لجمع بيانات الفيديو (مع جدول مقارنة)
فكّر في جمع بيانات الفيديو على أنه تصميم لخط إنتاج ، وليس مجرد "تسجيل بعض المقاطع".
1. ابدأ من النموذج وحالة الاستخدام
قبل تشغيل أي كاميرا، حدد ما يلي:
- الهدف مهمة (على سبيل المثال، اكتشاف المركبات، اكتشاف السقوط، تحليلات الرفوف)
- الهدف بيئة (داخلي/خارجي، ارتفاع الكاميرا، كاميرا ثابتة مقابل كاميرا متحركة)
- مقاييس النجاح (الدقة/الاستدعاء، تحمل النتائج الإيجابية الخاطئة، زمن الاستجابة)
- حالات الحافة الأمور التي تهمك (سوء الأحوال الجوية، الانسدادات، المشاة المحجوبين)
هذا يحدد كمية ونوع الفيديو الذي تحتاجه.
2. كتابة مواصفات بيانات واضحة وبروتوكولات جمع البيانات
ترجم حالة الاستخدام إلى مواصفات مجموعة :
- أنواع الكاميرات ودقتها
- إعدادات معدل الإطارات والضغط
- المواقع، والزوايا، والمسارات
- مدة كل مشهد، وعدد المشاركين
- البيانات الوصفية المطلوبة (الطابع الزمني، نظام تحديد المواقع العالمي، علامات السيناريو)
تصبح هذه المواصفات بمثابة "السيناريو" الذي يتبعه جامعو البيانات، سواء كانوا من خلال التعهيد الجماعي أو في الميدان.
3. اخبز في خصوصية والتزام من اليوم الأول
باتباع إرشادات مثل أفضل ممارسات جوجل لجمع البيانات والأطر التي تركز على الخصوصية، خطط للخصوصية في صلب العملية، وليس كعملية تنظيف لاحقة:
- نماذج الموافقة وأوراق معلومات المشاركين
- تشويش أو إخفاء الوجوه/لوحات الترخيص عند الحاجة
- تقليل البيانات (فقط ما هو مطلوب للتدريب)
- حدود الاحتفاظ وعمليات الحذف الآمنة
- ضوابط الوصول القائمة على الأدوار للقطات الخام
4. تصميم يراعي التنوع ويخفف من التحيز
أثناء التخطيط، حدد أهداف التغطية الخاصة بك بشكل واضح :
- البيانات الديموغرافية (الفئات العمرية، ألوان البشرة، أنواع الجسم)
- البيئات (الجغرافيا، الداخلية/الخارجية، الحضرية/الريفية)
- الظروف (الإضاءة، الطقس، وقت اليوم)
ثم تأكد من أن حصص جمعك تعكس هذا المزيج، وقم بتتبعه أثناء تقدمك.
5. دمج جمع مقاطع الفيديو مع أفضل ممارسات إضافة التعليقات التوضيحية على الفيديو
ينبغي التعامل مع عملية جمع البيانات والتعليق على الفيديو كعملية واحدة :
- استخدم متسقًا تصنيف الأنطولوجيات عند تحديد نطاق المجموعة (ما هي الفئات والسمات والأحداث التي ستضيف إليها التعليقات التوضيحية).
- التقاط لقطات تجعل إضافة التعليقات التوضيحية أمراً ممكناً (رؤية جيدة للأشياء، بدون حجب منهجي).
- استعمل الإنسان في الحلقة عمليات التحقق، وضمان الجودة متعدد الطبقات، وخبراء المجال للتحقق من صحة التصنيفات في المجالات المعقدة (الرعاية الصحية، الصناعية).
6. وضع خطة لإدارة البيانات وحوكمتها بشكل فعّال
على الأقل، قم بتحديد:
- قانوني كتالوج مجموعات البيانات مع الإصدارات (v1، v2، إلخ).
- معايير البيانات الوصفية (معلومات المستشعر، السيناريو، الموقع، علامات الموافقة)
- تتبع شفاف لسلسلة كل مقطع فيديو: من قام بتصويره، ومتى، وبموجب أي عقد.
- عملية للترويج "مجموعات البيانات الذهبية" تُستخدم في اختبارات القياس المعياري واختبارات الانحدار
7. مقارنة بين جمع البيانات من مصادر غير منتظمة وجمع البيانات المنظمة من الفيديو
| البعد | لقطات مُلتقطة / مُجمّعة | برنامج جمع بيانات منظم وموافق عليه |
|---|---|---|
| الشؤون القانونية والترخيص | غالباً ما يكون الأمر غير واضح، ومحفوفاً بالمخاطر بالنسبة للتدريب | بنود صريحة بشأن الحقوق والاستخدام |
| الخصوصية والموافقة | يصعب إثبات ذلك؛ المعلومات الشخصية شائعة | الموافقة الموثقة والتقليل |
| التغطية والتحيز | كل ما يقدمه لك الإنترنت | صُممت خصيصاً لتوفير التغطية والإنصاف |
| البيانات الوصفية وسلسلة النسب | متفرق، غير موثوق | بيانات وصفية غنية، أصل قابل للتتبع |
| الاستدامة على المدى الطويل | هش؛ قد تختفي المصادر | قابلة للتكرار والتمديد بمرور الوقت |
بالنسبة لحالات الاستخدام الحساسة للسلامة أو الخاضعة للتنظيم، عادة ما يفوز النهج المنظم - خاصة عندما تحتاج إلى اجتياز عمليات التدقيق أو تلبية معايير حوكمة الذكاء الاصطناعي الداخلية.
تطبيقات وحالات استخدام واقعية
المركبات ذاتية القيادة وأنظمة مساعدة السائق المتقدمة (ADAS)
تعتمد أنظمة القيادة الذاتية وأنظمة مساعدة السائق بشكل كبير على مشاهد الطريق المستمرة للتعلم:
- اكتشاف المسارات وحدود الطرق
- المشاة، وراكبو الدراجات، والمركبات الأخرى
- أحداث نادرة مثل الحوادث الوشيكة والحوادث والسلوك غير المعتاد
هنا، تُعد العمليات الميدانية ودمج أجهزة الاستشعار (الفيديو + LiDAR + الرادار) مهمة، إلى جانب الجغرافيا والظروف شديدة التنوع.
البيع بالتجزئة والدفع الذكي
يستخدم تجار التجزئة جمع بيانات الفيديو من أجل:
- عدّ الأشخاص وأطوال الطوابير
- راقب مدى توفر المنتجات والفراغات الموجودة على الرفوف
- الكشف عن السلوك المشبوه (مثل إخفاء الأشياء)
تصبح قواعد الخصوصية واللافتات بالغة الأهمية، إلى جانب التمويه الانتقائي والتحكم في الوصول.
فيديو الرعاية الصحية والطبية
تشمل تطبيقات الرعاية الصحية ما يلي:
- تحليل فيديو التنظير الداخلي وتنظير القولون
- تحليل الحركة بالموجات فوق الصوتية
- تتبع مشية المريض وحركة إعادة التأهيل
وهنا تكمن أهمية وجود خبراء متخصصين في المجال، والحصول على موافقة صارمة، وإخفاء الهوية، وهي أمور لا تقبل المساومة - وهنا تبرز أهمية خبرة شايب في مجال البيانات الطبية وإخفاء الهوية.
السلامة الصناعية والروبوتات
شاشات الرؤية الحاسوبية:
- الالتزام بمعدات الوقاية الشخصية (الخوذات، والسترات الواقية، والنظارات الواقية)
- سلوكيات غير آمنة بالقرب من الآلات
- الملاحة الروبوتية وتجنب العوائق
هنا، يرتبط جمع بيانات الفيديو ارتباطًا وثيقًا بلوائح السلامة والتحقيق في الحوادث.
كيف يتعامل شيب مع جمع بيانات الفيديو والتعليق عليها
تعمل شركة Shaip كشريك بيانات تدريب شامل للذكاء الاصطناعي القائم على الفيديو:
- فيديو مخصص جمع البيانات: توفير مجموعات بيانات فيديو عالية الجودة وموافقة المستخدمين من أكثر من 60 منطقة جغرافية لحالات استخدام مثل التعرف على الوجوه، وتحليلات البيع بالتجزئة، وأنظمة مساعدة السائق المتقدمة (ADAS).
- فيديو خدمات التعليقات التوضيحية: وضع علامات على كل إطار على حدة للأشياء والإجراءات والأحداث باستخدام تقنيات مثل المربعات المحيطة والمضلعات والنقاط الرئيسية والتتبع.
- ضمان الجودة بمشاركة الإنسان: عمليات فحص الجودة متعددة الطبقات، ومراجعة الخبراء المتخصصين في المجالات الحساسة، وحلقات التغذية الراجعة المستمرة.
خاتمة
لم يعد جمع بيانات الفيديو مجرد "تسجيل بعض اللقطات". بل أصبح مسارًا مصممًا ومنظمًا يجب أن يوازن بين:
- تغطية غنية ومتنوعة للنماذج القوية
- ضمانات قوية للخصوصية والامتثال
- قابلية التوسع التشغيلي والتحكم في التكاليف
- تكامل وثيق مع التعليقات التوضيحية للفيديو وضمان الجودة
المنظمات التي تتعامل مع جمع بيانات الفيديو كقدرة استراتيجية - وليس كفكرة لاحقة - تقوم بشحن أنظمة رؤية حاسوبية أكثر أمانًا ودقة بشكل أسرع.
إذا كنت تستكشف جمع بيانات الفيديو أو تتطلع إلى توسيع نطاق الجهود الحالية، فإن الشراكة مع مزود مثل Shaip يمكن أن تساعدك في الجمع بين الجمع العالمي والتعليقات التوضيحية من قبل الخبراء وضمان الجودة الصارم في سير عمل واحد موثوق به.
ما مقدار بيانات الفيديو التي أحتاجها لتدريب نموذج الذكاء الاصطناعي؟
لا يوجد رقم محدد؛ فالأمر يعتمد على مدى تعقيد المهمة وتنوع البيئة . بالنسبة للمهام المحددة والمضبوطة، قد تكفي آلاف المقاطع القصيرة؛ أما بالنسبة للقيادة الذاتية أو تجارة التجزئة على مستوى الدولة، فقد تحتاج إلى آلاف الساعات في ظروف متنوعة. ركز أولاً على التغطية والتنوع ، ثم زد الكمية حسب الحاجة.
هل أحتاج دائمًا إلى فيديو جديد، أم يمكنني إعادة استخدام لقطات موجودة؟
يمكنك بالتأكيد إعادة استخدام الأرشيفات الموجودة (كاميرات المراقبة، مقاطع الفيديو التجريبية، اللقطات التاريخية) إذا:
- لديك الحقوق القانونية لاستخدامها في تدريب الذكاء الاصطناعي.
- إنها تناسبك حالة الاستخدام والبيئة الحالية.
- إنهم يلتقون بك الجودة والتنوع المتطلبات.
ومع ذلك، بالنسبة للمنتجات الجديدة، غالباً ما تحتاج إلى مجموعات بيانات حديثة ومصممة خصيصاً لتغطية الحالات الشاذة والظروف الحديثة.
ما الفرق بين جمع بيانات الفيديو وشرح الفيديو؟
- جمع بيانات الفيديو حوالي التقاط اللقطات الخام في ظل الظروف المناسبة.
- شرح بالفيديو حوالي تصنيف الأشياء والإجراءات والأحداث في تلك اللقطات حتى تتمكن العارضات من التعلم منها.
في سير العمل الناضج، يتم تصميمها معًا: تقوم بجمع مقاطع فيديو يسهل شرحها وتكون ذات مغزى.
كيف أحمي الخصوصية عند جمع بيانات الفيديو؟
تشمل الممارسات الأساسية ما يلي:
- الحصول عليها موافقة مسبقة حيثما ينطبق ذلك
- تقليل المعلومات الشخصية الملتقطة (أو تشويشها/إخفائها)
- اتباع اللوائح مثل GDPR لأغراض التخزين والاحتفاظ والتحكم في الوصول
- باستخدام بنية تحتية آمنة، وتشفير، ونظام وصول صارم قائم على الأدوار
إن العمل مع شركاء ذوي خبرة ممن لديهم عمليات تصميم تراعي الخصوصية يقلل المخاطر بشكل كبير.
متى يجب عليّ العمل مع متخصص مثل شايب بدلاً من جمع مقاطع الفيديو داخلياً؟
فكّر في شريك عندما:
- تحتاج تغطية عالمية أو فئات سكانية محددة
- أنت في صناعة منظمة (الرعاية الصحية، التمويل، السيارات)
- أنت تفتقر إلى القدرة الداخلية على جمع البيانات وتصنيفها على نطاق واسع.
- تريد الجودة والحوكمة الشاملةليس مجرد لقطات خام.
بإمكان المختص مساعدتك في تجنب الأخطاء المكلفة مع تسريع وقت الإنتاج.
