الخلاصة
- أوبن إيه آي كشفت Performance Factory، نظاماً داخلياً يشغّل وكلاء Codex للتحقيق في تراجع أداء ChatGPT واقتراح الإصلاح والتحقق منه.
- في 3 أشهر تابع النظام أكثر من 1,700 تحقيق وحدد السبب الجذري لأكثر من 600 حالة، والمهندس يراجع ويقرر الدمج.
- هندسة الأداء من التشخيص إلى التحقق تنتقل إلى وكلاء، والشركة تدرس نشر الإصلاحات منخفضة الخطر بلا إنسان في الحلقة.
خبر:
تشغّل أوبن إيه آي منذ أكثر من 3 أشهر نظاماً داخلياً اسمه Performance Factory يوكل إلى وكلاء Codex التحقيق في تنبيهات تراجع أداء ChatGPT وتحديد سببها الجذري واقتراح إصلاحها، ثم التحقق من تعافي الأداء بعد نشر الإصلاح. تابع النظام أكثر من 1,700 تحقيق وحدد السبب الجذري لأكثر من 600 حالة، بمعدل 17 تحقيقاً آلياً يومياً، فيما يبقى قرار الدمج للمهندسين.
تفصيل:
- الأرقام: خلال ما يزيد قليلاً على 3 أشهر تابع مسار الانحدار Regression Workflow أكثر من 1,700 تحقيق وحدد السبب الجذري لأكثر من 600 حالة. وفي مراجعة يدوية لـ100 اقتراح سبب جذري قُدّر 70% منها دقيقاً، فيما احتاج 30% إلى تنقيح إضافي أو لم يثبت العلاقة السببية كاملة. الشركة لم تنشر أرقاماً عن زمن الاستجابة أو الكلفة.
- مراحل العمل: يفتح التنبيه مهمة، فيعود الوكيل في البيانات إلى لحظة تراجع المقياس، ويقارن مجموعات الطلبات المتأثرة وغير المتأثرة، ثم يفحص عمليات النشر وأعلام الميزات ويقرأ الكود ويستعين بالسجلات والمسارات لاختبار تفسيره، قبل أن يقترح إصلاحاً يراجعه مهندس بشري ويقرر دمجه.
- المراجعة العكسية: تحاول جلسة Codex منفصلة نقض كل تشخيص مقترح وكل إصلاح. في إحدى الحالات ربط وكيل فشل محادثات ChatGPT بأخطاء تنزيل الصور، فلاحظ المراجع أن خدمة داخلية لتحديد مواقع الملفات كانت قد تعافت بينما استمر فشل طلبات الصور، فأعاد فتح التحقيق من جديد.
- دور المهندس: بعد اجتياز التشخيص المراجعة ينفّذ Codex الإصلاح ويفتح طلب دمج مع تقرير مولّد آلياً يضم ملخص الانحدار وأثره وسببه الجذري والإصلاح المقترح، مع سلاسل زمنية للمقاييس ومخططات CPU والمسارات. المهندس يراجع ويقرر الدمج، وإن علّق على الطلب يُستدعى وكيل لمعالجة تعليقاته.
- التحقق بعد النشر: يفحص وكيل عودة الأداء إلى خط الأساس بعد نشر الإصلاح. إن تعافى كلياً أُغلقت المهمة؛ وإن تعافى جزئياً أُغلقت المهمة الأصلية وفُتحت أخرى للتباطؤ المتبقي؛ وإن لم يتحسن الأداء سُجّل ذلك وأُعيد الانحدار إلى مرحلة التحقيق من جديد.
- البنية: أربعة مكونات: خدمة مهام بمسارات عمل قابلة للضبط بملفات إعداد ونصوص Markdown لكل حالة، وحلقة توزيع تبدأ دورات Codex للمهام الجاهزة، وواجهة داخلية تشغّل الدورات في بيئة سحابية داخل شبكة الشركة بوصول إلى المستودعات وأدوات المراقبة، واشتراكات توقظ المهمة عند تعليق مراجعة أو فشل اختبار أو اكتمال نشر. الوكلاء يعملون بهوية خدمة محدودة الصلاحيات.
- الإصلاح الذاتي والتقييم: يراجع وكيل يومياً رسائل التشغيلات الأخيرة وسجلاتها بحثاً عن أعطال الأدوات والوصول، وينشئ مهمة إصلاح حين يعيق خطأ واحد عدة تحقيقات. وتُختبر التحقيقات رجعياً على حوادث إنتاج سابقة بمحقق Codex جديد لكل حالة مع حجب الإجابات، وتُقيَّم بتوقيت البداية والحجم والطلبات المتأثرة وترتيب الأسباب.
- الخلفية: قبل Codex راكم الفريق أكثر من 30 أداة أداء، ومرّ بمراحل من التحقيق اليدوي إلى مهارة مشتركة باسم perf-forensics تحفظ منهجية التحقيق، ثم تحقيقات سحابية تنشر نتائجها في Slack. وكتب المؤلفان أوكاي زد وسايرس فوربس أن “Codex يساعدنا أصلاً على بناء ChatGPT أسرع، والآن يساعدنا على إبقائه سريعاً”.
- الخطوات التالية: تعمل الشركة على رصد التباطؤ قبل التنبيهات بمقارنة ملفات CPU والذاكرة والمسارات بين الإصدارات، ومهارة لضبط حجم الخدمات، واختبارات أداء اصطناعية تقيس الإصلاح قبل المراجعة، وتدرس ما إذا كان يمكن نشر الإصلاحات منخفضة الخطر بلا إنسان في الحلقة. النظام داخلي ولم تُعلن إتاحته للعملاء.
ماذا بعد؟
ما إذا كانت أوبن إيه آي ستنشر إصلاحات منخفضة الخطر بلا مراجعة بشرية كما قالت إنها تدرسه، وما إذا كانت ستتيح مسارات Performance Factory خارج أنظمتها الداخلية.