الدليل النهائي لتعليق الصور لرؤية الكمبيوتر: التطبيقات والأساليب والفئات

الآن، دعونا نتناول كل طريقة بطريقة مفصلة.

تصنيف الصور

تصنيف الصور هو عملية تحديد تصنيف أو فئة لصورة كاملة بناءً على محتواها. على سبيل المثال، إذا كانت لديك صورة تُركّز بشكل رئيسي على كلب، فسيتم تصنيفها بـ "كلب".

في عملية شرح الصورة، غالبًا ما يتم استخدام تصنيف الصورة كخطوة أولى قبل الشروح الأكثر تفصيلاً مثل اكتشاف الكائنات أو تقسيم الصورة، حيث يلعب دورًا حاسمًا في فهم الموضوع العام للصورة.

على سبيل المثال، إذا كنت تريد إضافة تعليقات توضيحية إلى المركبات لتطبيقات القيادة الذاتية، فيمكنك اختيار الصور المصنفة على أنها "مركبات" وتجاهل الباقي. وهذا يوفر الكثير من الوقت والجهد من خلال تضييق نطاق الصور ذات الصلة لمزيد من التعليقات التوضيحية التفصيلية للصورة.

يمكنك اعتبار الأمر بمثابة عملية فرز حيث تقوم بوضع الصور في صناديق مختلفة مُسمّاة بناءً على الموضوع الرئيسي للصورة، والذي ستستخدمه بعد ذلك لإضافة تعليقات توضيحية أكثر تفصيلاً.

نقاط رئيسية هي:

• الفكرة هي معرفة ما تمثله الصورة بأكملها بدلاً من تحديد موقع كل كائن.
• تتضمن الطريقتان الأكثر شيوعًا لتصنيف الصور التصنيف الخاضع للإشراف (باستخدام بيانات التدريب المصنفة مسبقًا) والتصنيف غير الخاضع للإشراف (اكتشاف الفئات تلقائيًا).
• بمثابة الأساس للعديد من مهام رؤية الكمبيوتر الأخرى.

كشف الكائن

بينما يُخصص تصنيف الصور تسميةً للصورة بأكملها، فإن كشف الأجسام يتقدم خطوةً أبعد من خلال اكتشافها وتوفير معلومات عنها. بالإضافة إلى كشف الأجسام، يُخصص أيضًا تسميةً لفئة (مثل "سيارة"، "شخص"، "إشارة توقف") لكل مربع مُحدد، مُشيرًا إلى نوع الجسم الذي تحتويه الصورة.

لنفترض أن لديك صورة شارعٍ بأشياءَ متنوعة، كالسيارات والمشاة وإشارات المرور. إذا استخدمتَ تصنيف الصور هناك، فسيتم تصنيفها كـ"مشهد شارع" أو ما شابه.

ومع ذلك، فإن اكتشاف الكائنات من شأنه أن يذهب إلى خطوة أبعد من ذلك ويرسم مربعات حدودية حول كل سيارة، وكل مشاة، وعلامة مرور، وبالتالي عزل كل كائن ووضع علامة على كل واحد منها باستخدام وصف ذي معنى.

نقاط رئيسية هي:

• يرسم المربعات المحيطة بالكائنات المكتشفة ويعين لها تسمية فئة.
• يخبرك بالأشياء الموجودة ومكان وجودها في الصورة.
• تتضمن بعض الأمثلة الشائعة لاكتشاف الكائنات R-CNN وFast R-CNN وYOLO (أنت تنظر مرة واحدة فقط) وSSD (كاشف اللقطة الواحدة).

التجزئة

تقسيم الصورة هو عملية تقسيم الصورة إلى أجزاء متعددة أو مجموعات من البكسلات (المعروفة أيضًا بالبكسلات الفائقة) بحيث يمكنك تحقيق شيء أكثر أهمية وأسهل في التحليل من الصورة الأصلية.

هناك ثلاثة أنواع رئيسية من تجزئة الصور، كل منها مخصص لاستخدام مختلف.

1. التجزئة الدلالية

   إنها إحدى المهام الأساسية في مجال الرؤية الحاسوبية، حيث تُقسّم الصورة إلى عدة أجزاء، وتُربط كل جزء بتصنيف دلالي أو فئة. بخلاف تصنيف الصور، حيث تُعيّن تصنيفًا واحدًا للصورة بأكملها، يُتيح لك التجزئة الدلالية تعيين تصنيف دلالي لكل بكسل في الصورة، ما يُنتج نتائج مُحسّنة مقارنةً بتصنيف الصور.

   الهدف من التجزئة الدلالية هو فهم الصورة على المستوى الحبيبي من خلال إنشاء حدود أو محيطات لكل كائن أو سطح أو منطقة على مستوى البكسل بدقة.

   نقاط رئيسية هي:

   • نظرًا لأنه يتم تجميع كافة وحدات البكسل الخاصة بالفئة معًا، فلا يمكن التمييز بين مثيلات مختلفة من نفس الفئة.
   • يمنحك رؤية "شاملة" من خلال تسمية جميع وحدات البكسل، لكنه لا يفصل الكائنات الفردية.
   • في معظم الحالات، تستخدم الشبكات التلافيفية بالكامل (FCNs) التي تنتج خريطة تصنيف بنفس دقة الإدخال.

2. تجزئة المثيل

   تتجاوز عملية تقسيم المثيلات عملية التقسيم الدلالي من خلال عدم تحديد الكائنات فحسب، بل وتقسيم كل كائن فردي ورسم حدوده بدقة أيضًا، وهو ما يمكن أن تفهمه الآلة بسهولة.

   في تجزئة المثيل، مع اكتشاف كل كائن، توفر الخوارزمية مربعًا محيطًا، وتسمية فئة (على سبيل المثال، شخص، سيارة، كلب)، وقناع بكسل يوضح الحجم والشكل الدقيق لهذا الكائن المحدد.

   إنها أكثر تعقيدًا مقارنة بالتجزئة الدلالية، حيث يكون الهدف هو تسمية كل بكسل بفئة دون فصل الكائنات المختلفة من نفس النوع.

   نقاط رئيسية هي:

   • يحدد ويفصل بين الكائنات الفردية عن طريق إعطاء كل منها تسمية فريدة.
   • يركز بشكل أكبر على الأشياء القابلة للعد ذات الأشكال الواضحة، مثل الأشخاص والحيوانات والمركبات.
   • ويستخدم قناعًا منفصلاً لكل كائن بدلاً من استخدام قناع واحد لكل فئة.
   • يستخدم في الغالب لتوسيع نماذج اكتشاف الكائنات مثل Mask R-CNN من خلال فرع تجزئة إضافي.

3. تجزئة Panoptic

   يجمع تجزئة Panoptic بين إمكانيات التجزئة الدلالية وتجزئة المثيلات. أفضل جزء من استخدام التجزئة البانوبتيكية هو تعيين تسمية دلالية ومعرف مثيل لكل بكسل في الصورة، مما يمنحك تحليلاً كاملاً للمشهد بأكمله دفعة واحدة.

   يُطلق على مخرجات التجزئة البانوبتيكية اسم خريطة التجزئة، حيث يتم تصنيف كل بكسل باستخدام فئة دلالية ومعرف مثيل (إذا كان البكسل ينتمي إلى مثيل كائن) أو void (إذا كان البكسل لا ينتمي إلى أي مثيل).

   ولكن هناك بعض التحديات أيضًا. يتطلب هذا من النموذج تنفيذ المهمتين في آنٍ واحد، وحل التعارضات المحتملة بين التنبؤات الدلالية وتنبؤات المثيلات، مما يتطلب موارد نظام أكبر، ويُستخدم فقط عندما تكون كلٌّ من الدلالات والمثيلات مطلوبة مع قيود زمنية.

   نقاط رئيسية هي:

   • يقوم بتعيين تسمية دلالية ومعرف مثيل لكل بكسل.
   • مزيج من السياق الدلالي والكشف على مستوى المثيل.
   • بشكل عام، يتضمن استخدام نماذج تجزئة دلالية ومثالية منفصلة مع عمود فقري مشترك.

   فيما يلي رسم توضيحي بسيط يشير إلى الفرق بين التجزئة الدلالية، وتجزئة المثيلات، والتجزئة البانوبتيكية: