تدعي شركة ناشئة أنها اخترقت عنق الزجاجة الذي يعيق الحصول على ماجستير إدارة الأعمال
لن تحل SubQ محل النماذج العليا الموجودة في جميع المجالات، ولكنها يمكن أن توفر زيادات هائلة في السرعة بجزء صغير من التكلفة النموذجية لمهام معينة. ومع ذلك، يصر Subquadratic على أن اختراقه يمكن أن يغير كيفية بناء LLMs على المدى الطويل. ويقول جوستين دانجل، المؤسس المشارك للشركة ومديرها التنفيذي: “نأمل أن نبدأ عصرًا جديدًا من الكفاءة”. “لا نعتقد أن أي شخص سوف يقوم بالبناء على المحولات في غضون سنوات قليلة.” انتباه! لفهم سبب أهمية مطالبات Subquadratic، دعنا نتعمق في كيفية عمل معظم LLMs. الآلية الرئيسية داخل LLM هي نوع من الشبكات العصبية تسمى المحول، والتي تدير عملية تعرف باسم الاهتمام الكثيف. عادةً ما تقوم LLMs اليوم بربط محولات متعددة معًا. (الورقة التأسيسية لعصر LLM، التي نشرها باحثون في Google في عام 2017، كانت بعنوان “الانتباه هو كل ما تحتاجه”.) يعمل الاهتمام الكثيف على النحو التالي: عندما يعالج المحول جزءًا من النص، فإنه يقوم أولاً بتشفير كل كلمة (أو جزء من الكلمة، المعروف باسم الرمز المميز) برقم. لالتقاط معنى النص الكامل، يقوم بعد ذلك بضرب كل من هذه الأرقام مع كل رقم آخر لذلك النص. على سبيل المثال، جزء من النص يبلغ طوله 10000 كلمة من شأنه أن يؤدي إلى ما يقرب من 50 مليون عملية مضاعفة فردية. هذا كثير من الحسابات والسبب الرئيسي في أن LLMs هم خنازير السلطة سيئة السمعة. يقول دانجيل: “إذا كنت تريد تلخيص رواية غاتسبي العظيم، عليك أن تنظر إلى الكلمة الأولى والكلمة الأخيرة معًا، ثم عليك أن تنظر إلى كل مجموعة أخرى”. ومع زيادة طول النص، يرتفع عدد الحسابات بشكل كبير. وذلك لأن كل رقم إضافي يجب أن يُضرب في جميع الأرقام السابقة الأخرى. مضاعفة عدد الكلمات، يؤدي إلى مضاعفة عدد العمليات الحسابية أربع مرات تقريبًا، وهو معدل زيادة يُعرف باسم التوسع التربيعي. (يمكنك تصور ذلك بنفسك: ارسم دائرة وحدد نقاطًا حول حافتها. كل نقطة هي رمز. ثم ارسم خطوطًا بين أزواج من النقاط لتمثيل مضاعفة هاتين الرمزتين. الدائرة التي تحتوي على خمس نقاط سيكون لها 10 خطوط تعبرها. اجعلها 10 نقاط وسيكون لديك 45 خطًا، و20 نقطة وسيكون لديك 190 خطًا، وهكذا.) خفض التكاليف الحل الذي تقدمه Subquadratic هو تخلص من الاهتمام الكثيف، وهو العملية الأساسية للمحول، لصالح ما يعرف بالانتباه المتناثر، والذي يقلل عدد الحسابات المطلوبة. بدلاً من ضرب الرقم المخصص لكل رمز في كل رقم آخر، يختار الاهتمام المتناثر فقط بعض الأرقام المراد ضربها. الفكرة هي أنه ليست كل العلاقات بين الكلمات في جزء من النص مهمة.
تم النشر: 2026-06-19 11:40:00
مصدر: www.technologyreview.com
