الخلاصة
- أطلقت آي بي إم نموذجين تجريبيين من Granite 4.1 بلغة ترميز LLMON تفصل التعليمات عن البيانات.
- يتجنب النموذج هجمات حقن أكثر بـ47% من أفضل نموذج حدودي مختبَر على معيار OPI.
- يستهدف الحل ثغرة تهدد وكلاء الذكاء الاصطناعي الذين يقرؤون وثائق ونتائج أدوات من مصادر غير موثوقة.
خبر:
صار بإمكان المطورين تجربة نموذجين من Granite تعلّما معاملة الوثائق ونتائج الأدوات مادة للقراءة لا أوامر للتنفيذ، وهو ما يسد الباب الذي يدخل منه حقن الأوامر إلى وكلاء الذكاء الاصطناعي. ونشرت آي بي إم النموذجين بحجمي 3 و8 مليارات معامل مع لغة ترميز جديدة اسمها LLMON. والإصدار معاينة تجريبية للتقييم لا للإنتاج.
تفصيل:
- اللغة الجديدة: LLMON لغة ترميز شبيهة بـXML صُممت للنماذج اللغوية، وتضع كل جزء من السياق داخل وسم له معنى تحيط به فواصل من رموز خاصة محجوزة. وتربط معرّفات فريدة وكتلة تسمى exec كل تعليمة بالبيانات التي تعمل عليها، كما تُمرَّر المعاملات إلى دالة في البرمجة.
- لماذا ليس JSON: يرى فريق آي بي إم أن صيغة JSON صُممت للمحلّلات البرمجية لا للنماذج اللغوية، وأن فواصل LLMON رموز منفصلة تسهّل على النموذج تتبع حدود كل جزء وتداخله. ولا تستبدل اللغة قوالب المحادثة، بل تضيف إليها تسمية أجزاء الدور بين تعليمة وبيانات ومتطلب.
- السلوك المتعلَّم: دُرّب النموذجان على اعتبار التعليمات الواصلة عبر كتلة exec وحدها المرجع، ومعاملة الوثائق ومخططات الأدوات ونتائجها مادة تُقرأ، وتجاهل أي مقطع لا تشير إليه الكتلة. ووصف الكتّاب ذلك بأنه سلوك اكتسبه النموذج بالتدريب، لا ضمان تفرضه البنية على كل مدخل.
- نتائج الحقن: قاس الفريق الصمود على ثلاثة معايير هي OPI وASB وStruQ. وعلى OPI تجنّب LLMON هجمات أكثر بنسبة 47% من أفضل نموذج حدودي اختُبر، و95% أكثر من أفضل نموذج مفتوح المصدر. وانخفضت نسب نجاح الهجوم إلى ما يقارب الصفر في بعض المعايير.
- القدرات العامة: قال الفريق إن النموذجين يحافظان على أداء مكافئ لنموذج Granite 4.1 Instruct في فئات المعايير القياسية، أي أن تحسين الصمود لم يُدفع ثمنه من القدرات الأخرى. ولم يتضمن المقال أرقاماً تفصيلية لتلك المقارنة، واكتفى بالرسوم البيانية لنتائج الحقن.
- طريقة التدريب: انطلق التدريب من نقاط Granite 4.1 الأساسية لا من نماذج التعليمات، وأُضيفت 6 فواصل إلى المرمّز رموزاً محجوزة. وأعيدت صياغة بيانات الضبط بـLLMON مع كتل تمويه، ثم مرّ النموذج بخمس مراحل GRPO ومرحلة DPO على 1,000 زوج تفضيل مبنية من محاولات حقن.
- ما أتيح: نشرت آي بي إم مع النموذجين مستودعاً على غيت هاب يضم أدوات ومحوّلات من JSON إلى LLMON وأمثلة وقوالب، ودعماً أصلياً في مكتبة Mellea، وعرضاً لتصوّر الانتباه على هاغينغ فيس. ويستطيع المستخدمون تعريف وسومهم الخاصة وضبط محوّل LoRA عليها لمهامهم.
- حدود الإصدار: تغطي الاختبارات الحقن الثابت فقط، وقال الفريق إن الهجمات التكيفية الممتدة عبر أدوار محادثة متعددة ما زالت قيد العمل. ووصف الإصدار بأنه معاينة تجريبية: “جاهزة للاستكشاف والتقييم لكن ليس للإنتاج”، وطلب الملاحظات عبر نقاشات غيت هاب، وأحال إلى ورقتين بحثيتين على arXiv.