EN AR
EN

آبل تطلق نموذج FastFrames لتوليد الفيديو بترخيص بحثي فقط

Tamara khadrah

الخلاصة

  1. آبل تطرح FastFrames-L بـ14 مليار معامل ونسخة أصغر بـ1.3 مليار لتوليد الفيديو من النص.
  2. النموذجان يولّدان فيديو بدقة 480p بزمن استجابة تفاعلي، وفق بطاقة النموذج على هاغينغ فيس.
  3. الترخيص يقصر الاستخدام على البحث ويستبعد المنتجات والخدمات التجارية.

خبر:

أطلقت آبل نموذجين لتوليد الفيديو من النص، FastFrames-L بـ14 مليار معامل وFastFrames-S بـ1.3 مليار، وكلاهما نموذج انتشار سببي من خطوتين يولّد فيديو بدقة 480p بزمن استجابة تفاعلي بحسب بطاقة النموذج على هاغينغ فيس. ويشمل الإصدار نقاط تحقق جاهزة وسكربتات توليد وتقييم وعرضاً تفاعلياً. ترخيص النموذج يحصر الاستخدام في البحث.

تفصيل:

  • الترخيص: ترخيص النموذج يقصر الاستخدام على الأغراض البحثية ويستبعد المنتجات والخدمات التجارية. وتحتفظ شفرة وأوزان LingBot-World v2 بترخيصها الأصلي CC BY-NC-SA 4.0، بينما تخضع بقية شفرة FastFrames لترخيص آبل للشفرة النموذجية.
  • طريقة البناء: بحسب بطاقة النموذج، قطّرت آبل نموذج Wan2.1-14B إلى نموذج سببي من خطوتين باستخدام وصفة التدريب Causal Forcing++، ثم درّبت مفكك بكسل وشبكة لتحسين ذاكرة المفتاح والقيمة.
  • نقاط التحقق: تشمل النسخ المنشورة معلّماً سببياً مدرَّباً على تمثيلات كامنة ولّدها Wan2.1-14B، ونموذجاً مقطَّراً بالاتساق، وآخر مقطَّراً بطريقة DMD، إضافة إلى المولّد النهائي والشبكات المرافقة له.
  • النسخة الأصغر: في FastFrames-S أبقت آبل المولّد العامل إطاراً بإطار من خطوتين مجمَّداً ودرّبت الشبكات المحيطة به. وتذكر بطاقة النموذج أن الشفرة والنماذج تبني على مشاريع سابقة هي Wan2.1 وSelf-Forcing وCausal Forcing++.
  • مواصفات الإخراج: أمر التوليد المعروض لـFastFrames-S ينتج فيديو بأبعاد 832 في 480 بكسل، و81 إطاراً بمعدل 16 إطاراً في الثانية. ويمكن ضبط السكربت نفسه للعمل مع FastFrames-L، فيما يتوفر سكربت منفصل لتوليد أكثر من 20 فيديو معروضة على صفحة المشروع.
  • الأرقام الزمنية: تعرض آبل مثالاً لتوزيع الزمن في FastFrames-S بدقة 480p على وحدة معالجة رسومية واحدة مع ذاكرة كاملة: 35.4 مللي ثانية إجمالاً، منها 16.1 و16.2 مللي ثانية لتقييمي محوّل الانتشار، و2.2 مللي ثانية لتحسين الذاكرة، و0.9 مللي ثانية لمفكك البكسل.
  • حدود القياس: هذه الأرقام الزمنية مذكورة في بطاقة النموذج للنسخة الصغيرة FastFrames-S فقط، ولم تُنشر قيم مقابلة لـFastFrames-L البالغ 14 مليار معامل.
  • متطلبات التشغيل: يتطلب الإعداد نظام لينكس x86-64 ووحدة معالجة رسومية من إنفيديا ومشغّلاً متوافقاً مع CUDA 12.8، إلى جانب FastFrames وأوزان طرف ثالث. ويوفر الإصدار أوامر لقياس زمن الاستجابة وتعليمات لإعادة إنتاج درجات الجودة والدلالة والمجموع عبر VBench.
  • العرض التفاعلي: يتضمن الإصدار نسخة محسّنة من نموذج LingBot بـ1.3 مليار معامل للتحكم المشروط بحركة الكاميرا. وتقول آبل إنها أسرع 16 مرة من النموذج الرسمي وتتيح تحكماً انسيابياً، ويمكن تشغيل العرض التفاعلي بوحدة معالجة رسومية واحدة أو ثماني وحدات.

بين السطور:

حصر الاستخدام في البحث واشتراط ترخيص آبل للشفرة النموذجية يضعان الإصدار خارج مسار المنتجات التجارية، رغم أن أرقام الزمن المعلنة عند 35.4 مللي ثانية للنسخة الصغيرة تشير إلى توجه نحو التوليد التفاعلي. وغياب أرقام زمنية مقابلة للنسخة الأكبر يترك كلفة تشغيل FastFrames-L بلا مرجع معلن.

ماذا بعد؟

المؤشرات القابلة للمتابعة: نشر أرقام زمن استجابة لـFastFrames-L، ودرجات VBench التي يعيد الباحثون إنتاجها، وأي تعديل لاحق على شروط الترخيص يتيح استخداماً تجارياً.

ماذا تقرأ بعد ذلك