مخاطر موردي بيانات الذكاء الاصطناعي

ما الذي تعلمه الشركات من توقف شركة ميتا-ميركور عن التعامل مع مخاطر موردي بيانات الذكاء الاصطناعي؟

وقد سلطت التقارير الأخيرة التي تفيد بأن شركة Meta أوقفت العمل مع شركة Mercor بعد أن كشفت Mercor عن حادثة أمنية مرتبطة بمشروع LiteLLM مفتوح المصدر الضوء على جزء من مجموعة الذكاء الاصطناعي لا تزال العديد من المؤسسات تقلل من شأنه: طبقة البيانات وسير العمل التي تقف وراء تدريب النموذج وتقييمه.

بالنسبة لفرق الذكاء الاصطناعي في المؤسسات، يتجاوز الدرس الحقيقي مجرد شركة ناشئة أو اختراق واحد. إنه تذكير بأن برامج الذكاء الاصطناعي لا تتمتع بالمرونة إلا بقدر ما يتمتع به الموردون والأدوات وقنوات البيانات وضوابط الحوكمة التي تدعمها. عندما تعتمد المؤسسات على شركاء خارجيين لجمع البيانات أو تصنيفها أو تقييمها أو سير عمل الخبراء، سرعان ما يتحول خطر المورد إلى خطر على النموذج. هذا الإطار الأوسع ذو أهمية خاصة الآن، لأن شركة ميركور صرحت بأنها واحدة من آلاف الشركات المتضررة من هجوم على سلسلة التوريد مرتبط ببرنامج LiteLLM، وأنها أطلقت تحقيقًا مدعومًا بالأدلة الجنائية الرقمية.

لماذا باتت مخاطر موردي الذكاء الاصطناعي أقرب إلى مخاطر النماذج؟

نادراً ما تكون سلسلة توريد الذكاء الاصطناعي الحديثة بسيطة. قد تتضمن عملية سير عمل واحدة مزودي بيانات خارجيين، وفرق تصنيف، وشبكات متعاقدين، وواجهات برمجة تطبيقات، وبرمجيات وسيطة مفتوحة المصدر، ومسارات قياس الأداء، وبيئات داخلية للضبط الدقيق أو التقييم. إذا تعطلت طبقة واحدة، فإن التأثير لا يقتصر على وقت التشغيل، بل قد يؤثر على المطالبات الخاصة، وبيانات تعريف سير العمل، ومنطق قياس الأداء، ومعلومات العملاء، أو عمليات التقييم الداخلية. تُعد قصة شركة ميركور تذكيراً مهماً بأن السرعة بدون حوكمة قد تُؤدي إلى هشاشة خفية.

تحتاج المؤسسات إلى نموذج أقوى للعناية الواجبة بموردي الذكاء الاصطناعي

تحتاج الشركات إلى نموذج أقوى للعناية الواجبة بموردي الذكاء الاصطناعي ينبغي أن تتجاوز عملية مراجعة موردي الذكاء الاصطناعي الناضجة مجرد تقديم تجربة رائدة ناجحة أو وعد بالتسليم السريع. بل يجب أن تشمل فحص مصدر البيانات، وضوابط الوصول، ومعالجة البيانات، والمراجعة البشرية، وإمكانية التدقيق، والاحتفاظ بالبيانات، وحذفها، والاستجابة للحوادث.

يتزايد الضغط على موردي بيانات الذكاء الاصطناعي. لم تعد المؤسسات تقيّم الشركاء بناءً على السرعة أو الحجم فقط، بل على مدى قدرتهم على دعم خطوط نقل البيانات الموثوقة، والجودة القابلة للقياس، والعمليات الآمنة والمتوافقة مع المعايير.

ينبغي أن يشمل تقييم البائع أكثر من مجرد الطبقة السطحية

من أهم الدروس المستفادة من حادثة ميركور أن المخاطر كانت مرتبطة باختراق سلسلة التوريد الذي شمل شركة LiteLLM، وليس مجرد قصة بسيطة عن "تعرض مورد للاختراق". في مجال الذكاء الاصطناعي، تتسع دائرة المخاطر لتشمل طبقات التنسيق، والموصلات، وأدوات التقييم، والبرمجيات الوسيطة. حتى المورد الذي يبدو آمناً قد يُعرّض الأنظمة اللاحقة للخطر إذا لم تُدار هذه التبعيات بشكل جيد.

جودة البيانات وحوكمتها أمران لا ينفصلان

تتصدر الإخفاقات الأمنية عناوين الأخبار، لكن ضعف الحوكمة قد يكون مكلفًا بنفس القدر حتى بدون حدوث اختراق. فالتعليمات غير الواضحة، والتسميات غير المتسقة، والتعامل الغامض مع الحالات الشاذة، وعدم توثيق سلسلة بيانات المجموعة، كلها عوامل تؤدي إلى تدهور أداء النموذج بمرور الوقت.

لهذا السبب، تُولي فرق الذكاء الاصطناعي المتطورة اهتمامًا متزايدًا بكيفية تنظيم المراجعة البشرية، وكيفية قياس الجودة، وكيفية توثيق قرارات مجموعات البيانات. ويؤكد المحتوى العام لشركة Shaip على هذا التوجه نفسه من خلال سير عمل الجودة الذي يُشرك العنصر البشري ، وإرشادات جمع بيانات الذكاء الاصطناعي ، وخدمات بيانات التدريب الخاصة بمجالات محددة في مجال إدارة التعلم.

قم ببناء الذكاء الاصطناعي على بيانات يمكنك الوثوق بها

إذا كان فريقك يعيد تقييم كيفية الحصول على بيانات التدريب والتقييم والتحقق من صحتها وإدارتها، فاستكشف نهج شايب في بيانات الذكاء الاصطناعي الموثوقة, خدمات ماجستيرو الأمان والامتثال.

ما الذي يجب على الشركات أن تسأله لأي مورد بيانات الذكاء الاصطناعي الآن؟

ما الذي يجب على الشركات أن تسأله لأي مورد لبيانات الذكاء الاصطناعي الآن؟ ينبغي أن يكون شريك البيانات القوي في مجال الذكاء الاصطناعي قادراً على الإجابة عن أسئلة كهذه بوضوح:

كيف يتم الحصول على البيانات، وترخيصها، والتحقق من صحتها، وإدارتها؟

ينبغي أن يكون البائع الموثوق قادراً على شرح مصدر البيانات، وممارسات جمعها، ومعايير التوثيق، وإجراءات الموافقة، وقواعد الاحتفاظ بها. ويركز دليل المشتري العام الصادر عن منظمة Shaip بشدة على مصدر البيانات، وضمان الجودة، وممارسات جمع البيانات المتوافقة مع القوانين.

ما هي ضوابط الجودة البشرية المطبقة؟

تحتاج المؤسسات إلى أكثر من مجرد "لدينا نظام ضمان الجودة". إنها تحتاج إلى مراجعة متعددة المستويات، وقرارات واضحة، ودقة قابلة للقياس، وآليات للتغذية الراجعة. وتؤكد المواد العامة التي نشرها شيب على أهمية مراجعة الخبراء والتقييم البشري في سير عمل برامج الماجستير في القانون.

ما هي الأدوات مفتوحة المصدر وأدوات الطرف الثالث التي تدخل في سير العمل؟

إذا لم يستطع المورّد شرح بنية التبعيات الخاصة به، فهذه مشكلة في الحوكمة. وقصة شركة ميركور توضح السبب.

ما هي الأدلة التي تدعم الامتثال والاستعداد للتدقيق؟

يحتاج الوضع الأمني ​​إلى دليل، لا إلى مجرد شعارات. تُبرز شركة Shaip علنًا معايير ISO 27001:2022 وHIPAA وSOC 2 على صفحة الامتثال الخاصة بها.

الوجبات الجاهزة النهائية

إن توقف شركة ميتا-ميركور ليس مجرد خبر عابر، بل هو مؤشر على نضوج عمليات شراء الذكاء الاصطناعي. لم يعد السؤال الأساسي مقتصراً على ما إذا كان بإمكان المورد مساعدتك على تسريع وتيرة العمل، بل أصبح السؤال الأهم هو ما إذا كان بإمكانه تحقيق ذلك دون المساس بالحوكمة أو جودة البيانات أو ثقة المؤسسة.

تساعد شركة Shaip المؤسسات على بناء خطوط أنابيب ذكاء اصطناعي أقوى من خلال بيانات تدريب الذكاء الاصطناعي ، والخدمات التي تركز على إدارة التعلم، والأمن والامتثال الجاهز للمؤسسات.

إن مخاطر موردي بيانات الذكاء الاصطناعي هي المخاطر التشغيلية والأمنية والامتثال والجودة التي يقدمها مقدمو الخدمات الخارجيون المشاركون في جمع بيانات الذكاء الاصطناعي أو شرحها أو تقييمها أو أدوات سير العمل.

لأن عمليات الذكاء الاصطناعي غالباً ما تعتمد على مكتبات مفتوحة المصدر، وطبقات تنسيق، وموصلات تنقل البيانات الحساسة بين الأنظمة. ويمكن أن يؤثر ضعف أحد هذه المكونات على مسار العمل بأكمله.

ينبغي على المؤسسات تقييم مصادر البيانات، وضمان الجودة البشرية، وضوابط الوصول، وإمكانية التدقيق، وأدلة الامتثال، وشفافية التبعيات، والاستعداد للاستجابة للحوادث. وتعكس إرشادات المشتري العامة وصفحات الامتثال الخاصة بشركة Shaip هذه الأولويات.

لأن المهام الغامضة أو الحساسة للمجال لا تزال تتطلب حُكمًا وسياقًا ومساءلة. ويُؤطِّر توجيه شيب العام بشأن HITL المراجعة البشرية كنقطة تحكم أساسية في جودة البيانات.

هل أعجبك هذا المقال؟ تابع شيب على لينكدإن للمزيد من التحديثات.

شارك الاجتماعية