Meta تطلق Llama 4 Scout: مليار رمز سياقي وفعالية MoD

مقدمة تحليلية

أصدر فريق Fundamental AI Research (FAIR) التابع لشركة Meta رسمياً Llama 4 Scout بتاريخ 11 أكتوبر 2026، ليصبح أول نموذج أساسي من فئة 'الحدود' مفتوح المصدر مبني أصلاً على توجيه Mixture-of-Depths (MoD) الديناميكي. يمتلك النموذج سعة إجمالية للمعلمات تبلغ 105 مليارات، مع 24 مليار معلمة نشطة فقط لكل رمز تمريري، ويحقق Llama 4 Scout تكافؤاً مع محركات الاستدلال الرائدة مغلقة المصدر في مقاييس الترميز الاصطناعي، والرياضيات، وتوليف السياق الطويل. هذا الأداء المتميز يتم مع الحفاظ على كفاءة التشغيل على محطات عمل المؤسسات المزودة بوحدتي معالجة رسوميات، مما يعيد تعريف التوقعات لفعالية النماذج المفتوحة المصدر في بيئات الإنتاج.

التحليل التقني

يعالج Llama 4 Scout الاختناق الحاسوبي في نماذج Transformer الكثيفة من خلال معمارية Mixture-of-Depths (MoD). تستهلك معمارية Transformer التقليدية ميزانية حاسوبية متطابقة لكل رمز، مطبقة نفس عمق الطبقات الثمانين على علامات الترقيم والكلمات الحشو كما تفعل على البراهين الرياضية المعقدة أو منطق الكود متعدد الأشكال. يتخلى Llama 4 Scout عن هذا التخصيص الموحد عبر بوابة توجيه 'top-k' مدمجة في كل كتلة Transformer، والتي تتعلم وتقيم تعقيد الرمز ديناميكياً.

أثناء الاستدلال، يقوم الموجه بتقييم تعقيد الرمز وتخصيص الحساب ديناميكياً. يتم تجاوز الرموز البسيطة لطبقات الانتباه الذاتي والشبكات العصبية العميقة عبر مسارات الاختصار المتبقية، بينما تتلقى الرموز الغنية بالمعلومات أقصى قدر من الحوسبة عبر كتل استدلال متخصصة. يقلل هذا التخصيص الديناميكي للعمق زمن استجابة التوليد بنسبة 58% مقارنة بنماذج 70B الكثيفة، مع توسيع السعة الإجمالية للنموذج إلى 105 مليارات معلمة.

أبرز الخصائص المعمارية لـ Llama 4 Scout

• المعلمات الكلية / النشطة: 105 مليار معلمة إجمالية؛ 24 مليار معلمة نشطة لكل تمرير رمزي.
• نافذة السياق الأصلية: 1,000,000 رمز (1M) مدعوم أصلاً مع عدم وجود تدهور في تردد RoPE.
• آلية الانتباه: RingAttention مدمجة مع الانتباه الكامن متعدد الرؤوس (MLA) بالنافذة المنزلقة.
• دعم التكميم الأصلي: نقاط فحص FP8 وINT4 AWQ الرسمية قابلة للتنزيل مباشرة من Hugging Face.
• بصمة ذاكرة الاستدلال: 24GB VRAM في وضع 4-بت (قادرة على العمل على بطاقة NVIDIA RTX 4090/5090 واحدة).

تم تدريب Llama 4 Scout من خطوة ما قبل التدريب صفر باستخدام منهج توسيع سياق تدريجي من 8 مراحل وصولاً إلى 1,048,576 رمزاً. على مقياس Needle In A Haystack (NIAH) القياسي للصناعة عبر طيف 1M رمز بالكامل، حقق النموذج دقة استرجاع 99.8% عبر 2,500 عمق مستند مختلف. هذا يسمح للنموذج بمعالجة مجموعات كبيرة من البيانات مثل مجموعات الاكتشاف القانوني متعددة المجلدات، ومستودعات البرامج الكاملة، والمجموعات الواسعة من المؤلفات العلمية في تنفيذ موجه واحد.

السياق وتأثير السوق

نشرت Meta تقييمات معيارية شاملة أجرتها فرق تدقيق مستقلة، أظهرت قدرة Llama 4 Scout على منافسة أبرز النماذج الاحتكارية. على مقياس SWE-bench Verified، حل Llama 4 Scout 48.6% من مشكلات GitHub الواقعية بشكل مستقل، مما يضعه في منافسة مباشرة مع القادة التجاريين الاحتكاريين، مع الحفاظ على حرية الاستضافة الذاتية الكاملة. المقارنة التالية تحدد موقعه:

• MMLU-Pro: Llama 4 Scout (78.4%)، Claude 3.5 Sonnet (78.0%)، GPT-4o (77.2%)
• HumanEval (الترميز): Llama 4 Scout (92.4%)، Claude 3.5 Sonnet (93.7%)، GPT-4o (90.2%)
• SWE-bench Verified: Llama 4 Scout (48.6%)، Claude 3.5 Sonnet (49.0%)، GPT-4o (38.8%)
• MATH 500: Llama 4 Scout (81.2%)، Claude 3.5 Sonnet (78.3%)، GPT-4o (74.6%)

تتوفر الآن نقاط الفحص للنماذج الأساسية، والمُعدلة للتعليمات، والمُكممة على Hugging Face Hub وبوابة توزيع النماذج الرسمية لشركة Meta. تم دمج دعم وقت التشغيل الأصلي بالفعل في vLLM وOllama وLM Studio وHugging Face TGI، مما يمكن المطورين من نشر نُسخ مستضافة ذاتياً عبر مجموعات Kubernetes للمؤسسات فوراً. من خلال توفير فهم متعدد الوسائط على مستوى 'الحدود' وقدرات استدلال السياق الطويل بدون رسوم API لكل رمز، تواصل Meta إعادة تشكيل النظام البيئي للذكاء الاصطناعي للمؤسسات، مانحة الشركات الناشئة والمنظمات الحساسة للبيانات سيادة كاملة على بياناتها دون التضحية بقدرات النموذج.