EN AR
EN

أنثروبيك تختبر حلم الوكلاء فترفع دقة ويكي داخلية من 13% إلى 48%

Nicole Jeffrey

الخلاصة

  1. أنثروبيك تنشر بحثاً يقسّم ذاكرة الوكلاء إلى ملاحظات وحكم بالأهمية ومرحلة حلم تراجع الملاحظات وتصحّحها في وقت الخمول.
  2. التجارب شملت معيار CL-Bench 1.0 ولعبة بوكيمون ريد وأرشيف شركة ستينلس البالغ نحو 350 ألف ملف داخلي.
  3. النتيجة تقلب قاعدة شائعة: قواعد الحفظ الثابتة أضعفت النماذج القوية، والأفضل تحديد غاية الذاكرة وترك الحكم للنموذج.

خبر:

ترتفع دقة ويكي يبنيها وكلاء Claude من 13% إلى 48% من معايير التصحيح حين تتوسع مرحلة الحلم من جلستين إلى 128 جلسة، بحسب بحث نشرته أنثروبيك في 6 نوفمبر عن مكوّنات ذاكرة الوكلاء. البحث، بتوقيع لانس مارتن، يعرّف الذاكرة بأنها معرفة يكتسبها الوكيل من التجربة وتبقى بين الجلسات نصاً مقروءاً، ويستثني تعديل الأوزان والتعلم داخل المحادثة الواحدة وملخصات الضغط.

تفصيل:

  • تعريف الذاكرة: يحصر البحث ذاكرة الوكيل في المعرفة المكتسبة من التجربة والمحفوظة بين الجلسات سياقاً مقروءاً، ويخرج من التعريف تغيير أوزان النموذج والتعلم داخل السياق في محادثة واحدة وملخصات الضغط. والمكوّنات ثلاثة: ملاحظات الذاكرة، والحكم بالأهمية فيما يستحق الحفظ، والحلم بوصفه مراجعة خلفية في وقت الخمول تعيد تنظيم الملاحظات وتصحّحها.
  • تدرّج النماذج: على معيار CL-Bench 1.0، حيث تبدأ كل مسألة جلسة جديدة ولا يبقى سوى مجلد الذاكرة، كتب Sonnet 4.6 نظريات غير مختبرة مبعثرة في ملفات، وجمع Opus 4.7 الملاحظات في وثيقة مرجعية واحدة وميّز المؤكد من غير المؤكد، وكان Opus 5 أول من أغلق حلقة التعلم بقاعدة ودليل تحقق وتحذير من الفخاخ.
  • قواعد الحفظ تضر: إخبار Opus 4.7 وOpus 5 بوجود مجلد ذاكرة أعطى مكسباً ملحوظاً، لكن قاعدة تسجيل الإخفاقات فقط أزالت معظم المكسب، وخلاصة البحث أن يُحدَّد ما الذاكرة له لا كيف تُستخدم. أما Sonnet 4.6 فكان يهمل قراءة ذاكرته، وحثّه على القراءة أولاً واختبار نظرياته ضاعف نتيجته تقريباً.
  • اختبار بوكيمون: عند الخطوة 10 آلاف تقريباً كان Sonnet 3.7 قد كتب 413 ملفاً في 225 مجلداً وحصل على شارة واحدة، وأمضى 17 خطوة ينشئ 6 ملفات ويحذف 9 دون أي حركة في اللعبة. في المقابل كتب Fable 5 تسعة ملفات في مجلدين مع لوحة global.md وحصل على 4 شارات، وأنهى Opus 5.5 اللعبة بمجلد صغير يتتبع هدفه.
  • الحلم تصحيحاً: سجّل Claude موقع مركز البوكيمون في الجهة الخطأ وسقط من حافة باتجاه واحد 3 مرات وعلق. مراجعة الملاحظة أمام نص الجلسة الأصلي صحّحتها فوصل إلى مدينة سيروليان، ومن دونها انتهى في بيوتر. ويعدّ البحث النص الأصلي الحقيقة المرجعية ويشترط الاحتفاظ بالنصوص، ونشرت أنثروبيك سير عمل للحلم في Cookbook.
  • أرشيف ستينلس: على نحو 350 ألف ملف داخلي تعادل نحو 420 مليون رمز من شركة ستينلس التي استحوذت عليها أنثروبيك في مايو، رفع الجمع بين البحث والويكي النتيجة إلى 61% مقابل 53% للبحث وحده، ووفّر نحو 20 ألف رمز لكل سؤال. وفي 24 سؤالاً عن اندماج متعدد الوثائق سجّل الويكي 87% مقابل 73% للبحث.
  • حدود الفائدة: المهام المعتمدة على وثيقة واحدة لم تُظهر مكسباً واضحاً للويكي، وفي إحدى المهام نما الويكي حتى فاق حجم الوثائق المصدر. والملاحظات المرفوعة إلى الطبقة العليا تُحمَّل في كل جلسة فتستهلك الرموز، والملاحظة الخاطئة فيها تنتقل إلى كل الجلسات، وذاكرة Claude Code التلقائية تقرأ أول 200 سطر أو 25 كيلوبايت فقط من MEMORY.md.
  • وكلاء متوازون: حين كتب عدة وكلاء جدولاً مشتركاً لبنود العقود تداخلت كتاباتهم فأصاب الويكي 41 حقيقة من 57 أي 72%. وبعد تحسين التعليمات بتخصيص وكيل واحد لكل صفحة عقد مع اقتباس البنود حرفياً أصاب 57 من 57. ويقرّ البحث بأن تقييماته لم تشمل مستودعات البرمجة، وبأن الحلم يستهلك حوسبة ووتيرته متروكة للمستخدم.

ماذا تقرأ بعد ذلك