الخلاصة
- أطلقت سيمي أناليسيس مقياس GDPx لاختبار وكلاء الذكاء الاصطناعي في 206 مهام عبر 11 مجالاً مهنياً.
- تصدّر Claude Opus 5.5 بنسبة 12.0%، تلاه Gemini 4 Carbon بـ10.9% ثم GPT-6 Astra بـ9.6%.
- يقيس المقياس عملاً تفاعلياً في بيئات واقعية يصل إلى 8 ساعات للمهمة، لا أسئلة مكتملة السياق.
خبر:
تصدّر Claude Opus 5.5 من أنثروبيك أول ترتيب لمقياس GDPx بنسبة 12.0%، في اختبار يضع وكلاء الذكاء الاصطناعي أمام مهام مهنية تفاعلية تصل مدة الواحدة منها إلى 8 ساعات. أطلقت سيمي أناليسيس المقياس في 2 نوفمبر 2026 بإصدار أول يضم 206 مهام و13 نموذجاً. وجاء Gemini 4 Carbon ثانياً بنسبة 10.9%، بتكلفة 16.29 دولاراً للمهمة.
تفصيل:
- المجالات: يغطي المقياس 11 مجالاً: تصميم الرقائق، والأمن السيبراني، والأحياء، والتمويل، والقانون، والتداول الكمي، والتحسين الذاتي التكراري، وتصميم العتاد، وعلوم المواد، والمواءمة، وهندسة البرمجيات. واستبعدت الشركة عمداً الحكومة والعقارات والتأمين، إذ تقدّر أن أول تريليون دولار من إيرادات الذكاء الاصطناعي سيتركز في قطاعات قليلة.
- الترتيب: جاء Claude Opus 5.5 أولاً بنسبة 12.0%، ثم Gemini 4 Carbon بنسبة 10.9%، وGPT-6 Astra بنسبة 9.6%، وMuse Wonder Full من ميتا بنسبة 9.0%. وحلّ GLM 5.3 من Z.ai في المرتبة 13 والأخيرة بنسبة 2.7%، من أصل 13 نموذجاً شملها الإصدار الأول.
- التكلفة: بلغ متوسط تكلفة المهمة الواحدة لـClaude Opus 5.5 نحو 51.41 دولاراً، بمتوسط 548 ألف رمز ناتج. وسجّل GPT-6 Astra أعلى تكلفة بين النماذج الثلاثة الأولى عند 53.99 دولاراً للمهمة، بينما اكتفى Gemini 4 Carbon بـ16.29 دولاراً.
- بيئة العمل: يعمل كل نموذج بأداة مختبره متى توفرت: Claude Code لـOpus 5.5، وCodex لـGPT-6 Astra، وAntigravity لـGemini 4 Carbon، مع OpenCode بديلاً للبقية. وتحمل كل مهمة بيئة واقعية، فمهام التمويل مثلاً تبدأ من غرفة بيانات بنحو 4,000 ملف لصفقة ملكية خاصة حقيقية مجهّلة الهوية.
- التصحيح: تحتسب النتيجة متوسط نجاح المحاولة الأولى عبر 3 محاولات، بوزن متساوٍ لكل مجال، وتُصحح كل مهمة بطريقتها ثنائياً أو تدريجياً. وسجّلت النماذج كلها صفراً في التمويل والقانون بالتصحيح الثنائي، فنشرت الشركة لهذين المجالين متوسط الدرجات الجزئية بدلاً منه.
- أثر السلامة: قالت الشركة إن مصنّفات السلامة خفضت نتائج Opus 5.5 وGPT-6 Astra في الأمن السيبراني والأحياء والمواءمة. وفي ترتيب معدّل من 8 مجالات دون هذه الثلاثة، يتقدم GPT-6 Astra بفارق 0.1 نقطة مئوية، ويتراجع Gemini 4 Carbon إلى المرتبة الخامسة.
- خلف GDPval: تقدّم سيمي أناليسيس GDPx خلفاً لمقياس GDPval الذي أصدرته أوبن إيه آي، وتنتقد الأخير لأن مهامه غير تفاعلية وتضع السياق كله في الطلب، ولأن نسبة اتفاق الخبراء فيه 71%. وبنت الشركة المهام مع 14 شريك بيانات متخصصاً، بينهم LatchBio في الأحياء.
- ضبط الجودة: اشترطت الشركة أن تجتاز مهام الشركاء فحص جودة آلياً من المحاولة الأولى. وتقول إن الفحص نفسه يصنّف نحو 50% من مهام مقياس Terminal Bench 4.0 معطوبة. وفي التداول الكمي، جاءت 70 من 111 محاولة مصححة دون الاستراتيجية المرجعية، ولم يحل أي نموذج مهمة aapl-target-winsorization العامة.
ماذا بعد؟
تعتزم سيمي أناليسيس إصدار نسخة جديدة من GDPx كل 3 إلى 6 أشهر بوصفه مقياساً حياً، وفتحت باب المشاركة لشركات البيانات والمختبرات.
