وصفت OpenAI هجوم Hugging Face بأنه غير مسبوق. لكننا كنا هنا من قبل.
قالت شركة OpenAI إن الحدث كان غير مسبوق، وكان كذلك بالفعل من نواحٍ عديدة. كانت هذه هي المرة الأولى، خارج نطاق المحاكاة، التي يهرب فيها حاملو LLM مما كان يُعتقد أنه صندوق حماية آمن، ويصلون إلى الإنترنت المفتوح، ويهاجمون منظمة غير ذات صلة. إنها بمثابة دعوة للاستيقاظ توضح مدى جودة أحدث برامج LLM في العثور على نقاط الضعف في برامج العالم الحقيقي واستغلالها مع القليل من التوجيه البشري أو بدونه. ولكن في الوقت نفسه، ما فعلته نماذج OpenAI هو شيء فعلته هذه التكنولوجيا لسنوات. أعطِ النموذج هدفًا، وفي كثير من الأحيان سيحقق هذا الهدف بطرق غير متوقعة، وسيجد ثغرات تبدو وكأنها غش. وقد قامت شركة OpenAI نفسها بدراسة هذا السلوك. قبل عقد من الزمن، شاركت نتائج تجربة تم فيها تكليف نموذج بالتغلب على لعبة فيديو تسمى CoastRunners. يعتبر اللاعبون البشريون أن طريقة القيام بذلك هي من خلال سباق القارب عبر سلسلة من الأعلام حتى خط النهاية، وجمع النقاط مقابل كل علم تضربه. اكتشف نموذج OpenAI أنه يمكنك الحصول على درجة عالية من خلال الدوران في دائرة وضرب نفس الأعلام الثلاثة مرارًا وتكرارًا. وكانت هناك العشرات من الأمثلة المماثلة من الباحثين منذ ذلك الحين. سوف يجد الذكاء الاصطناعي دائمًا طريقة. كتب OpenAI في تدوينة حول تجربة CoastRunners في عام 2016: “على الرغم من اشتعال النيران بشكل متكرر، والاصطدام بقوارب أخرى، والسير في الاتجاه الخاطئ على المسار، تمكن وكيلنا من تحقيق درجة أعلى باستخدام هذه الإستراتيجية مما هو ممكن من خلال إكمال المسار بالطريقة العادية”. “على الرغم من أن هذا النوع من السلوك غير ضار وممتع في سياق لعبة فيديو، إلا أنه يشير إلى مشكلة أكثر عمومية… للقيام به.” لم أستطع منع نفسي من التفكير في CoastRunners عندما قرأت منشور مدونة OpenAI حول هجوم Hugging Face: “تشير جميع الأدلة إلى أن النماذج كانت شديدة التركيز على إيجاد حل لـ ExploitGym، وذهبت إلى أقصى الحدود لتحقيق هدف اختبار ضيق إلى حد ما … بعد الوصول إلى الإنترنت، استنتجت النماذج أن Hugging Face من المحتمل أن تستضيف نماذج ومجموعات بيانات وحلول لـ ExploitGym. وبمعرفة ذلك، بحث النموذج عن طرق للوصول إلى المعلومات السرية ونجح في العثور عليها التي يمكن استخدامها للغش في التقييم.” لم تكن أخبار الأسبوع الماضي تتعلق بالذكاء الاصطناعي المارق، على الرغم من العناوين الرئيسية. كان الأمر يتعلق بالنماذج التي تحقق الهدف الذي تم منحه لها: البحث عن طرق لاستغلال نقاط الضعف في البرامج. إن حقيقة أن تلك النماذج تصرفت بعد ذلك بطريقة لم تتوقعها شركة OpenAI ليس مفاجئًا. لكن الأمر مثير للقلق. وبالعودة إلى عام 2016، قالت شركة OpenAI ما يلي عن روبوتها CoastRunners: “على نطاق أوسع، فهو يتعارض مع المبدأ الهندسي الأساسي المتمثل في أن الأنظمة يجب أن تكون موثوقة ويمكن التنبؤ بها”. وبعد مرور عقد من الزمن، لا تزال هذه المبادئ الهندسية الأساسية بدون إذن.
تم النشر: 2026-07-27 19:00:00
مصدر: www.technologyreview.com
