الضبط الدقيق الفعال للمعلمات (PEFT)

تعريف

الضبط الدقيق الفعال للمعلمات (PEFT) هو تقنية لتكييف النماذج الكبيرة المدربة مسبقًا مع المهام الجديدة عن طريق تحديث مجموعة فرعية صغيرة فقط من المعلمات بدلاً من النموذج بأكمله.

الهدف

الهدف هو تقليل تكلفة الحوسبة واحتياجات التخزين مع الحفاظ على أداء قوي للمهام.

أهمية

• يجعل الضبط الدقيق ممكنًا للمؤسسات التي لا تمتلك موارد ضخمة.
• يقلل من البصمة الكربونية مقارنة بالتدريب النموذجي الكامل.
• يسمح بالتبديل الفعال للمهام في الإنتاج.
• متعلق بطرق مثل LoRA والمحولات.

كيف تعمل هذه التقنية؟

1. حدد نموذجًا أساسيًا كبيرًا تم تدريبه مسبقًا.
2. تحديد مجموعات فرعية من المعلمات (على سبيل المثال، المحولات ذات الرتبة المنخفضة).
3. قم بتدريب هذه المجموعات الفرعية فقط على بيانات المهمة المستهدفة.
4. الحفاظ على المعلمات الأخرى مجمدة.
5. النشر مع الحد الأدنى من النفقات العامة للموارد.

أمثلة (العالم الحقيقي)

• LoRA (التكيف ذو الرتبة المنخفضة): يستخدم على نطاق واسع في الضبط الدقيق لـ LLMs.
• مكتبة Hugging Face PEFT: مجموعة أدوات فعالة للضبط الدقيق.
• بحث جوجل: محولات لمهام معالجة اللغة الطبيعية متعددة اللغات.

المراجع / قراءات إضافية

• هو وآخرون. "LoRA: التكيف منخفض الرتبة لنماذج اللغة الكبيرة". arXiv.
• هولسبي وآخرون. "التعلم الانتقالي الفعال للمعلمات لمعالجة اللغة الطبيعية". ACL.
• توثيق وجه العناق PEFT.