تعريف
التدريب المسبق هو التدريب الأولي لنموذج التعلم الآلي على مجموعات بيانات عامة كبيرة قبل الضبط الدقيق لمهام محددة.
الهدف
الهدف هو توفير نماذج ذات تمثيلات واسعة النطاق يمكن نقلها إلى مهام متعددة، مما يقلل من متطلبات البيانات والحوسبة للتكيف اللاحق.
أهمية
- الأساس لماجستير القانون الحديث ونماذج الرؤية.
- تحسين الأداء عبر المهام المتنوعة.
- مكلفة من حيث البيانات والحسابات.
- يتطلب تنظيمًا دقيقًا لمجموعة البيانات لتجنب التحيز.
كيف تعمل هذه التقنية؟
- جمع مجموعات ضخمة من البيانات العامة (النصوص والصور).
- تحديد مهام التعلم غير الخاضعة للإشراف أو ذاتية الإشراف.
- قم بتدريب النماذج لتعلم الميزات العامة.
- احتفظ بالأوزان التي تم تدريبها مسبقًا لإعادة استخدامها.
- إجراء ضبط دقيق على مجموعات البيانات الأصغر الخاصة بالمهام.
أمثلة (العالم الحقيقي)
- تم تدريب BERT مسبقًا على ويكيبيديا وBooksCorpus.
- تم تدريب CLIP على أزواج الصورة والنص.
- نماذج GPT مدربة مسبقًا على نصوص الإنترنت واسعة النطاق.
المراجع / قراءات إضافية
- ديفلين وآخرون. "BERT: التدريب المسبق للمحولات ثنائية الاتجاه العميقة". NAACL 2019.
- رادفورد وآخرون. "نماذج اللغة تُعدّ متعلمين محدودي الخبرة". NeurIPS 2020.
- تقرير فني عن OpenAI GPT-4.
