تعرف على GPT-Red: برنامج OpenAI المتخصص في مجال القرصنة LLM والذي تم تصميمه لجعل نماذجه أكثر أمانًا
نظرًا لأن LLMs أصبحت أكثر تعقيدًا ويتم استخدامها في مجموعة متنوعة من المهام – خاصة في شكل وكلاء، يمكنهم التفاعل مع ملفات الكمبيوتر ومواقع الويب ورموز الطرف الثالث بالإضافة إلى وكلاء آخرين – فمن الصعب على فرق من الأشخاص بمفردهم مواكبة جميع أنواع الهجمات التي قد تحدث. يقول نيخيل كاندبال، عالم الأبحاث في OpenAI، الذي شارك في إنشاء GPT-Red: “إن سطح الخطر ينمو وينمو أيضًا نصف قطر الانفجار”. قامت OpenAI ببناء GPT-Red لإثبات عملية اختبار السلامة الخاصة بها في المستقبل. يقول ديلان هون، عالم الأبحاث في الشركة والشريك المشارك في إنشاء GPT-Red: “مع توفر المزيد من النماذج القادرة، سنكون قد صممنا بالفعل النظام الذي يمكنه اكتشاف أنماط جديدة للهجوم”. ويقول الباحثون إنهم توصلوا بالفعل إلى أنواع جديدة من الهجمات لم يتم رؤيتها من قبل. ركزت OpenAI معظم جهودها على نوع من الهجوم يُعرف باسم الحقن الفوري، حيث يقوم المتسلل بتمرير تعليمات LLM لجعله يفعل أشياء لا يريد المطورون أو المستخدمون القيام بها، مثل نسخ المعلومات السرية، أو تخريب قاعدة التعليمات البرمجية الخاصة بالشركة، أو توليد مخرجات محرجة أو ضارة. من الناحية النظرية، يمكن إخفاء هذه التعليمات في أي نص قد يواجهه ماجستير إدارة الأعمال – في التعليمات البرمجية أو على موقع ويب، على سبيل المثال. تدريب دوجو لبناء GPT-Red، أخذ باحثو OpenAI شهادة ماجستير في القانون لم يتم تدريبها كهاكر وقاموا بإعدادها فيما يعرف بحلقة التشغيل الذاتي مع العديد من النماذج الأخرى. كان هدفها محاولة مهاجمة النماذج الأخرى. كان هدفهم محاولة الدفاع عن أنفسهم. على مدار العديد من جولات اللعب، أصبح GPT-Red أفضل فأفضل في مهاجمة أصحاب LLM الآخرين، وأصبح هؤلاء LLMs أفضل فأفضل في صد الهجمات. تم إجراء التدريب في نوع من دوجو صممته OpenAI لتقليد مجموعة من السيناريوهات التي قد يتم فيها نشر ماجستير إدارة الأعمال في العالم الحقيقي، بما في ذلك تصفح الويب، وقراءة رسائل البريد الإلكتروني أو تطبيقات التقويم، وتحرير التعليمات البرمجية. عندما تكتشف GPT-Red نوعًا جديدًا من الهجمات، فإنها تستكشف عدة إصدارات مختلفة منه للعثور على الإصدار الأكثر كفاءة لسيناريوهات محددة. يقول هون: “بالمقارنة مع أعضاء الفريق الأحمر البشري، فإن النموذج جيد جدًا جدًا في العثور على ما سيعمل بالضبط، وما هو الأكثر فعالية على وجه التحديد”. “إنها مثابرة للغاية في التعمق في الهجوم الذي اكتشفته.” على وجه الخصوص، تدعي OpenAI أن GPT-Red عثر على نوع من هجوم الحقن السريع الذي لم يشاهده الباحثون من قبل، والذي يسمونه سلسلة فكرية مزيفة. سلسلة الأفكار هي نوع من المذكرات التي يقوم فيها ماجستير إدارة الأعمال بتدوين ملاحظات لنفسه وتتبع النتائج الجزئية أثناء حل المشكلات. وجدت GPT-Red طريقة لإدخال إدخال مزيف في سلسلة أفكار نموذج آخر من شأنها خداع هذا النموذج للعمل بناءً على معلومات مخادعة. يقول كريس تشوكيت-تشو، وهو عالم أبحاث آخر في الفريق: “يبدو الأمر كما لو أنني أخبرتك أن 1+1=3 وأنك قد تحققت من ذلك بالفعل”. “النموذج يشبه، “أوه، حسنًا، بالطبع،” وهو يلفظ 3 فقط.”
تم النشر: 2026-07-15 18:09:00
مصدر: www.technologyreview.com
