أجرى Microsoft Defender Research وفريق Microsoft AI Red Team دراسات تركز على هجمات سلسلة التوريد بعد التدريب التي تستهدف وكلاء ترميز الذكاء الاصطناعي. حدد البحث نوعين رئيسيين من الهجمات: تسميم البيانات وتسميم النماذج.
يتضمن تسميم البيانات تضمين أمثلة مصممة داخل مجموعة بيانات التعديل، مما يتسبب في تعلم نموذج الذكاء الاصطناعي سلوكيات شرطية غير آمنة. أظهرت هذه الطريقة معدل نجاح يقارب 78% على الحزم الموزعة، مما يشير إلى خطر كبير.
يحدث تسميم النماذج عندما يتحكم الخصم في عملية التدريب قبل توزيع نقطة التحقق ذات الوزن المفتوح. تراوح معدل النجاح لتسميم النماذج على المستودعات غير المرئية بين 84.1% و94.8%، مما يبرز الإمكانية للتأثير الواسع النطاق.
يستغل كلا النوعين من التسميم الثقة الموضوعة في القطع الأثرية بعد التدريب، مما قد يؤدي إلى قيام وكلاء الذكاء الاصطناعي بأفعال غير آمنة. تؤكد الدراسات على أهمية تنفيذ ضوابط على خطوط بيانات التدريب واعتماد النماذج لتخفيف هذه المخاطر.
كما كشف البحث عن أمثلة خطيرة لاستدعاء الأدوات في مجموعات البيانات المفتوحة المصدر الشهيرة، والتي يمكن أن تؤدي إلى أفعال غير آمنة من قبل نماذج الذكاء الاصطناعي. قد يقوم المهاجمون بإدخال مجموعات بيانات مسمومة عبر قنوات سلسلة التوريد الموثوقة أو المنتديات العامة.