الخلاصة
- أوبن إيه آي أعلنت تفكيك حملة منسقة استهدفت استخراج الاستدلال المحمي من نماذجها خلال يوليو.
- الشركة نسبت نواة النشاط إلى أفراد مرتبطين بشركة مونشوت إيه آي، مطوّرة نموذج كيمي.
- الشركة قدّرت أن التقطير العدائي يحمل مخاطر على السلامة والأمن القومي، وأنه تحدٍ يتجاوزها.
خبر:
حملة منسقة لاستخراج الاستدلال المحمي من نماذج الذكاء الاصطناعي تم تفكيكها بالكامل بحلول 28 يوليو، بحسب بيان أمني نشرته أوبن إيه آي. الشركة قالت إن النشاط بدأ في الأول من يوليو بحجم منخفض قبل أن يرتفع إلى ذروة في 24 و25 منه. وأضافت أنها نسبت نواة هذا النشاط إلى أفراد مرتبطين بشركة مونشوت إيه آي الصينية.
تفصيل:
- طبيعة النشاط: وفق أوبن إيه آي، النشاط يتطابق مع ما تسميه التقطير العدائي، أي الاستخدام المنهجي وغير المصرح به لمخرجات نموذج أو استدلاله لتدريب نموذج آخر أو إعادة إنتاج قدراته. والاستدلال المحمي هو السجل الداخلي الذي يعمل عبره النموذج على المهمة قبل إنتاج الجواب النهائي.
- الأرقام: الشركة قالت إن النشاط بدأ في الأول من يوليو بحجم منخفض، ثم سجّل ارتفاعات حادة في 24 و25 يوليو بلغت 16 ألف طلب استخدمت نمط استخراج ذا صلة، صادرة عن أكثر من 4 آلاف مستخدم. والتحقيق اللاحق حدد نشاطاً مرتبطاً عبر مجموعة تضم أكثر من 15 ألف مستخدم.
- ما لم يحدث: البيان شدد على أن المشغّلين لم يخترقوا التشفير ولم يخترقوا أي قاعدة بيانات ولم يحصلوا على وصول مباشر إلى محادثات المستخدمين المخزّنة. وبدلاً من ذلك تلاعبوا بتفاعلات النماذج بما يجعل الاستدلال المحمي قابلاً لإعادة الإظهار بصيغ مرئية لمُقدّم الطلب، بصورة منسقة وواسعة خالفت شروط الخدمة.
- أسلوب الاستخراج: أوبن إيه آي قالت إنها رصدت محاولات بأساليب جديدة، منها نسخ استدلال مشفّر من محادثة ثم مطالبة النموذج في محادثة أخرى بفك تشفيره ونسخ المحتوى المخفي. وأضافت أن باحثين أمنيين مستقلين أبلغوها عبر الإفصاح المسؤول عن ثغرات متصلة تشمل العمل عبر النماذج وضغط المحادثات.
- النسبة والتحفّظ: الشركة قالت إنه ليس واضحاً ما إذا كان كل المشغّلين الذين رصدتهم في تلك الفترة ينطلقون من جهة واحدة. ومع ذلك نسبت نواة أساسية من النشاط إلى أفراد مرتبطين بمونشوت إيه آي، مطوّرة نموذج كيمي. ولم يرد في البيان موقف لمونشوت إيه آي.
- المخاطر المعلنة: أوبن إيه آي قدّرت أن التقطير العدائي يشكّل مخاطر على السلامة والأمن القومي، لأن الاستدلال المستخرج قد يُستخدم لتدريب نموذج آخر دون الحفاظ على ضمانات السلامة المطبقة على المخرجات الأصلية. وأضافت أن التقطير على نطاق واسع قد يسرّع نقل القدرات المتقدمة دون استثمار مماثل في السلامة.
- الإجراءات: الشركة قالت إنها حظرت أو قيّدت حسابات احتيالية، وشدّدت ضوابط التسجيل والبنية التحتية، ووسّعت المراقبة على الشبكات المرتبطة. وأضافت أنها عززت حماية الاستدلال المخفي عبر المستخدمين ومساحات العمل والمؤسسات وعائلات النماذج، وأغلقت مساراً كان يتيح لمن يملك استدلالاً مشفّراً لمستخدم آخر إعادة تشغيله واستعادة مضمونه.
- التنسيق الصناعي: البيان أوضح أن أوبن إيه آي شاركت معلومات عن هذا التلاعب مع شركاء في القطاع عبر منتدى النماذج الرائدة، وكذلك عبر قنوات حكومية مخصصة لتبادل المعلومات. وأكدت أن هذا التلاعب ليس ثغرة خاصة بنماذجها وحدها، بل تحدٍ أمني مشترك يستلزم تنسيقاً على مستوى الصناعة.
خلفية:
التقطير أسلوب معروف لنقل قدرات نموذج كبير إلى نموذج أصغر عبر مخرجاته. والجديد هنا، بحسب أوبن إيه آي، أنه استهدف الاستدلال الداخلي المحمي الذي يُحتجب عادة عن الجواب النهائي، وبحجم منسق لا فردي.
بين السطور:
ثلاث إشارات تستحق القراءة: الشركة فصلت بين الاختراق التقني وبين التلاعب بالتفاعلات، وهو ما ينقل القضية من خانة الثغرة الأمنية إلى خانة إنفاذ شروط الخدمة. ثم إنها أبقت نسبتها جزئية ومحدودة بنواة النشاط، لا بالحملة كلها. وربط الأمن القومي بتوفير كلفة السلامة يضع الملف في سياق تنافسي يتجاوز حادثة واحدة.
ماذا بعد؟
أوبن إيه آي قالت إنها تتوقع محاولات أكثر تطوراً مستقبلاً، وإن ردها سيتركز على حماية تقنية أقوى ضد الاستخراج، وكشف وإنفاذ أفضل ضد الحملات المنسقة، وتبادل أعمق للمعلومات مع الصناعة والحكومات.
