كشفت تقارير تقنية متخصصة في قطاع الذكاء الاصطناعي عن فجوة كبيرة بين الحجم الفعلي لنماذج اللغات الكبيرة والموارد الفعلية المطلوبة لإعادة تدريبها أو ضبطها دقيقاً. وفي هذا السياق، تبين أن ضبط نموذج لغوي يحتوي على سبعة مليارات معلم، والذي لا يتجاوز حجمه الفعلي أربعة عشر جيجابايت عند تشغيله بتنسيق النقطة العائمة ذو الستة عشر بت، يتطلب في الواقع سعة ذاكرة وصول عشوائي رسومية هائلة تصل إلى مئة واثني عشر جيجابايت. يسلط هذا الاكتشاف الضوء على التحديات والمغالطات الشائعة بين المطورين الذين يفترضون أن متطلبات الذاكرة لعملية الضبط الدقيق تتماشى بشكل مباشر مع الحجم الأساسي للملف البرمجي للنموذج.
وتشير التفاصيل التقنية إلى أن عملية الضبط الدقيق للنماذج الذكية تستهلك موارد تفوق بكثير مجرد تحميل أوزان النموذج الأصلي في الذاكرة. فعند البدء في عمليات التدريب والضبط، يتوجب على النظام تخزين أوزان النموذج، بالإضافة إلى تدرجات الأوزان، وحالات المُحسِّن البرمجي، وتنشيطات الطبقات المختلفة للشبكة العصبية خلال عملية التمرير الأمامي والخلفي. هذا التراكم للملفات المؤقتة والبيانات الحسابية يضاعف الاحتياج الفعلي للذاكرة عدة مرات؛ حيث يستحوذ المحسن وحده، مثل نظام آدام، على جزء ضخم من هذه السعة لضمان استقرار العمليات الحسابية وتحديث المعاملات بدقة، مما يجعل تشغيل هذه العمليات على الأجهزة الاستهلاكية العادية أمراً شبه مستحيل دون اللجوء إلى تقنيات ضغط متطورة أو توزيع الأعباء الحسابية.
تكمن أهمية هذه البيانات في إعادة صياغة توقعات الشركات الناشئة والمطورين المستقلين الذين يسعون لتطوير حلول ذكاء اصطناعي مخصصة داخلياً. إن الفارق الشاسع بين حجم النموذج البالغ أربعة عشر جيجابايت ومتطلبات التدريب التي تتجاوز مئة جيجابايت يفرض قيوداً اقتصادية وتقنية صارمة، مما يدفع قطاع البرمجة نحو تبني استراتيجيات بديلة مثل الضبط الدقيق منخفض الرتبة أو استخدام الحوسبة السحابية المشتركة. وعلى المدى الطويل، من المتوقع أن تحفز هذه المعطيات ابتكار خوارزميات أكثر كفاءة لتقليل استهلاك الطاقة والذاكرة، مما يسهم في إضفاء الطابع الديمقراطي على تقنيات الذكاء الاصطناعي وتسهيل الوصول إليها دون الحاجة إلى بنية تحتية فائقة التكلفة.
المصدر: وكالات