Nvidia: الرياضيات الخطية تبدّل ذاكرة تخزين AI المؤقتة بكفاءة 25x

مقدمة تحليلية

كشفت Nvidia، في 21 أغسطس 2026، عن تقنية "cross-model KV cache transfer"، حلٍّ يستبدل إعادة حساب المحادثات بالكامل بين نماذج الذكاء الاصطناعي بخطوات رياضية خطية بسيطة. تواجه أنظمة الذكاء الاصطناعي الوكيلة (agentic AI) تحدياً كبيراً عند تبادل المهام بين النماذج الصغيرة والكبيرة، حيث تضطر النماذج المستقبِلة لإعادة حساب المحادثة من الصفر، مما يرفع التكاليف التشغيلية بشكل حاد ويزيد من زمن الاستجابة (latency). هذه العملية تمثل عنق زجاجة رئيسياً للمؤسسات التي تبني سلاسل عمل طويلة الأمد ومتعددة نماذج اللغة الكبيرة (multi-LLM workflows). أثبتت التجربة أن التقنية الجديدة، على أزواج النماذج المتوافقة، تعمل أسرع بما يتراوح بين 2.7 و25 مرة من إعادة الحساب التقليدية، مع الاحتفاظ بما يصل إلى 98% من دقة النموذج الهدف المستقلة.

يوفر هذا النهج ترشيداً مادياً ملموساً للموارد، مستهدفاً بشكل مباشر أحد أغلى التحديات في نشر الذكاء الاصطناعي على نطاق واسع.

التحليل التقني

تكمن المشكلة الأساسية في كيفية تعامل نماذج اللغة الكبيرة مع الذاكرة. عند تلقي مطالبة، ينفذ النموذج أولاً مرحلة "prefill"، وهي تمريرة أمامية أولية تحسب المفاتيح والقيم (keys and values) لجميع الرموز المدخلة وتعبئ ذاكرة التخزين المؤقت للمفتاح-القيمة (KV cache). بعد ذلك، يدخل مرحلة "decode"، حيث يحسب ويولد الرموز التالية في التسلسل. خلال هذه المرحلة، يقرأ النموذج من ذاكرة التخزين المؤقت KV للتنبؤ بالرموز الجديدة واحداً تلو الآخر، متجاوزاً الحاجة إلى إعادة تقييم سجل المحادثة بالكامل لكل رمز جديد.

في المحادثات متعددة الأدوار أو الجلسات الوكيلية طويلة الأمد، يصبح السياق أطول تدريجياً. وبما أن التكلفة الحسابية لمرحلة Prefill تتناسب طردياً مع حجم النموذج وطول الإدخال، فإن معالجة هذه الجلسات الطويلة تصبح باهظة بشكل متزايد وتتسبب في زمن استجابة كبير إذا تم إبطال ذاكرة التخزين المؤقت KV. يحدث هذا الإبطال كلما حاول نظام الذكاء الاصطناعي تبديل النماذج في منتصف الجلسة، مثل توجيه خطوة استدلال معقدة إلى نموذج أكبر أو الانتقال إلى نموذج أصغر لتوفير التكاليف. بما أن نماذج اللغة الكبيرة المختلفة لها معماريات مختلفة، فإنها تتوقع مدخلات ذاكرة التخزين المؤقت الخاصة بها بتنسيقات مختلفة.

ونتيجة لذلك، فإن أي تبديل للنموذج يجبر النموذج المستقبِل على إعادة دفع تكلفة Prefill بالكامل من الصفر لإعادة حساب ذاكرة التخزين المؤقت KV للسياق المتراكم.

نظام Mapper ثلاثي الطبقات

درس باحثو Nvidia كيفية تحويل ذاكرة التخزين المؤقت KV لنموذج واحد إلى التنسيق المتوقع لنموذج آخر دون إعادة تشغيل مرحلة Prefill. يتيح هذا النقل فوائد في اتجاهين: النقل من نموذج صغير إلى كبير يرفع جودة المخرجات، بينما النقل من كبير إلى صغير يقلل تكاليف الحوسبة. على سبيل المثال، يمكن لنموذج صغير ورخيص أن يتعامل مع الأجزاء الروتينية من سير العمل الوكيلي، ثم تُنقل ذاكرة التخزين المؤقت KV إلى نموذج أكبر لحل مشكلة استدلال معقدة. في الاتجاه المعاكس، يمكن لنموذج كبير أن يعالج مطالبة نظام معقدة أو يلخص ملف PDF كثيفاً في بداية الجلسة، ثم تُنقل ذاكرة التخزين المؤقت KV إلى نموذج أصغر وأكثر اقتصادية للتعامل مع الأدوار الحوارية المتتالية.

النتائج الأساسية للدراسة هي أن بنية ذاكرة التخزين المؤقت KV بين النماذج خطية بشكل كبير، مما يسمح بإجراء عملية التعيين باستخدام حيل جبرية بسيطة بدلاً من تدريب شبكات عصبية عميقة مكلفة. عند تجربة نقل ذاكرة التخزين المؤقت KV من نموذج Qwen3 ذي 14 مليار معلمة إلى إصدار 32 مليار معلمة، اكتشف الباحثون أن التعيين الخطي البسيط من طبقة مصدر إلى طبقة هدف يمكن أن يستعيد 56% من تباين مفاتيح الهدف و32% من تباين قيمه. وعند دمج عدة طبقات مصدر، ارتفعت هذه الأرقام إلى 79% و65% على التوالي.

ولترجمة هذه العلاقة الخطية إلى نظام عملي، صمم الباحثون أداة تعيين (mapper) من نوع "closed-form per-head ridge" بثلاثة مكونات رئيسية:

• Per-head ridge regression: بدلاً من استخدام التعلم العميق المعقد، يتم تكييف انحدار خطي بسيط باستخدام مجموعة معايرة صغيرة تضم بضع مئات من تسلسلات النص. تحل هذه التقنية مشكلة "خط أفضل مطابقة" (line-of-best-fit) الكلاسيكية بشكل مستقل لكل رأس اهتمام (attention head).
• Cross-layer source selection: بما أن النماذج المصدر والهدف لها أعداد مختلفة من الطبقات، تقوم أداة التعيين بتقييم واختيار طبقات المصدر الأكثر تنبؤية لتغذية كل طبقة هدف محددة. بهذه الطريقة، يختار النظام فقط الأجزاء الأكثر فائدة من الذاكرة من النموذج القديم لبناء ذاكرة النموذج الجديد.
• Content-space mapping: قبل ترجمة البيانات، تزيل أداة التعيين تشفيرات RoPE (Rotary Position Embedding)، وهي آلية قياسية تطبق دوراناً رياضياً يعتمد على الموضع على البيانات لفهم ترتيب الرموز. يساعد تجريد قيم RoPE على تعميم أداة التعيين لتسلسلات أطول من بيانات التدريب الخاصة بها.

لاختبار فعالية التقنية، تم تقييم خط أنابيب النقل عبر ست عائلات من النماذج ذات "Matched-KV" (أي التي تشترك في عدد رؤوس KV وأبعاد كل رأس، وهو أمر نموذجي لنماذج مختلفة الأحجام ضمن نفس العائلة). شملت عائلات النماذج Qwen3، Llama 3.1، وMinistral 3، مع اختبارات نقل ذاكرة التخزين المؤقت KV عبر أحجام مختلفة تتراوح من 3 مليارات إلى 70 مليار معلمة، بما في ذلك قفزة هائلة في المعلمات بمقدار 8.8x من Llama 3.1 8B إلى 70B.

تم تقييم النماذج على خمسة معايير دقة أساسية (ARC-Challenge، HellaSwag، WinoGrande، MMLU، وGSM8K)، بالإضافة إلى تشوش نمذجة اللغة (perplexity) على WikiText-2 ومهمة محادثة متعددة الأدوار تسمى CoQA. استخدم الباحثون مجموعة بيانات معايرة صغيرة تضم 500 تسلسل نصي فقط، كل منها 1,024 رمزاً، لتكييف أداة التعيين الخطي. احتفظت أداة التعيين الخطية السريعة والجاهزة (closed-form linear ridge mapper) بنسبة 73% إلى 98% من دقة Prefill المستقلة للنموذج الهدف لأربعة من الأزواج الستة التي تم اختبارها، بما في ذلك القفزة الهائلة من Llama 3.1 8B إلى 70B، والتي احتفظت بنسبة 72.8% من دقة الهدف. علاوة على ذلك، تعمل أداة التعيين أسرع بما يتراوح بين 2.7 و25 مرة من إعادة Prefill التقليدية. على سبيل المثال، عند ترجمة ذاكرة تخزين مؤقت KV بحجم 32,768 رمزاً من نموذج Qwen3 14B إلى نموذج 32B، استغرق النقل 278 مللي ثانية فقط، مقارنةً بقرابة 7 ثوانٍ لإعادة Prefill القياسية. أظهر النظام أيضاً استقراراً عالياً في المهام التي تمتد على عدة خطوات؛ ففي المحادثات متعددة الأدوار، ظل الانجراف أو فقدان الدقة بين خط الأساس للنموذج الهدف وذاكرة التخزين المؤقت المنقولة صغيراً بشكل لا يصدق عبر 10 أدوار.

ومع ذلك، واجه النهج الخطي المباشر قيوداً على أزواج نماذج محددة. فبالنسبة لاثنين من تكوينات Ministral، تدهورت دقة أداة التعيين الخطية بشكل حاد لأن التكييف الخطي البسيط فشل في الاستقراء خارج بيانات المعايرة. لمعالجة هذا، استبدل الباحثون أداة التعيين الخطية بشبكة عصبية متعددة الطبقات (MLP) غير خطية بوجود طبقتين مخفيتين من 1,024 وحدة تم تدريبها على نفس البيانات، مما أضاف تعقيداً وضريبة تدريب للإعداد، لكنه استعاد الدقة إلى أكثر من 90%.

السياق وتأثير السوق

تُعد تقنية نقل ذاكرة التخزين المؤقت بين النماذج جزءاً من دفعة أوسع على مستوى الصناعة لحل مشكلة عنق الزجاجة في ذاكرة التخزين المؤقت KV، التي برزت كأحد العقبات الرئيسية أمام توسيع نطاق الذكاء الاصطناعي على مستوى الشركات. مع دفع المطورين لنماذج اللغة الكبيرة لمعالجة مستندات ضخمة أو قواعد بيانات ضخمة وتنفيذ مهام استدلال طويلة الأمد، أصبحت إدارة طبقة الذاكرة هذه لا تقل أهمية عن النماذج نفسها. خلال العام الماضي، هاجم الباحثون مشكلة الحوسبة والذاكرة هذه من زوايا متعددة.

على سبيل المثال، قدمت Nvidia مؤخراً تقنية "dynamic memory sparsification" (DMS)، التي تستبعد بذكاء الرموز الأقل أهمية من ذاكرة التخزين المؤقت KV لخفض تكاليف الاستدلال بما يصل إلى 8 أضعاف دون فقدان الدقة. تركز مقاربات أخرى على ضغط البيانات بشكل مكثف؛ حيث طور باحثو MIT تقنية ضغط جبري تسمى "Attention Matching"، والتي تضغط ذاكرة التخزين المؤقت KV بمقدار 50 مرة دون تدهور الجودة. وبالمثل، قدمت Nvidia تقنية "KV Cache Transform Coding" (KVTC)، التي تستعير مفاهيم ضغط الوسائط لتقليص الذاكرة بمقدار 20 مرة دون تغيير أوزان النموذج الأساسي. علاوة على الضغط، يهاجم الباحثون أيضاً الحمل الحسابي لاسترجاع الذاكرة. تعمل المُحسّنات مثل "IndexCache" على تجريد حسابات الطبقة الزائدة لتقديم زمن وصول للرمز الأول أسرع بمقدار 1.82 مرة في تطبيقات السياق الطويل. كما تعمل نماذج مثل DeepSeek وسلسلة GLM على تحسين ذاكرة التخزين المؤقت KV من خلال ابتكارات معمارية. أمس، كان إعادة الحساب الكامل للـ KV cache هو المعيار القياسي في عمليات تبديل النماذج، مكلفاً ومهدراً. اليوم، توفر Nvidia حلاً يغير المعادلة، مقللاً هذا الهدر بشكل جذري وواضعاً ضغطاً مباشراً على أي حلول بديلة تتطلب إعادة تدريب مكلفة أو لا تحقق نفس الكفاءة في استغلال الذاكرة.

رؤية Glitch4Techs

إن تقديم Nvidia لتقنية نقل ذاكرة التخزين المؤقت KV ليس مجرد تحسين، بل هو ضرورة تشغيلية حاسمة. لا يمكن الاستمرار في تحمل التكلفة الباهظة لإعادة حساب السياق بالكامل عند تبديل نماذج الذكاء الاصطناعي، خاصة مع تزايد تعقيد وتوسع الأنظمة الوكيلية. تمثل هذه التقنية تقدماً ملموساً في خفض النفقات التشغيلية لمهام الذكاء الاصطناعي طويلة الأمد ومتعددة النماذج. ومع ذلك، لا يمكن تجاهل أن الحل الخطي المباشر واجه قيوداً على تكوينات Ministral محددة، مما تطلب اللجوء إلى شبكة عصبية متعددة الطبقات (MLP) غير خطية لاستعادة الدقة إلى ما فوق 90%.

هذا التفصيل يعني أن الحل ليس "عصا سحرية" قابلة للتطبيق عالمياً دون تضحيات. فبينما يمكن للرياضيات الخطية أن توفر كفاءة هائلة في سيناريوهات عديدة، فإن الحاجة إلى أدوات تعيين غير خطية في حالات معينة تضيف طبقة من التعقيد والتكلفة التدريبية التي قد تقلل من الفائدة الإجمالية في تلك السياقات. هذا تطور حاسم، لا ترف، لكنه ليس خالياً من الاستثناءات التي يجب على المهندسين أخذها في الاعتبار.