لقد غيرت نماذج الانتشار قواعد اللعبة في النمذجة التوليدية للعديد من أنواع البيانات المختلفة. ومع ذلك، يكون الضبط الدقيق مطلوبًا أحيانًا
أعلنت جوجل عن أداة DeepMind لتعزيز نشر الذكاء الاصطناعي في التطبيقات العملية مثل إنشاء رسومات مقبولة جماليًا من أوصاف النص لتحسين المحاذاة وجودة الصورة، تستخدم نماذج نشر النص إلى الصورة طرقًا مثل التوجيه الخالي من المصنفات ومجموعات البيانات المنسقة مثل LAION Aesthetics.
باستخدام تقنية تسمى “أخذ عينات الانتشار”، يقدم مؤلفو هذه الدراسة نهجًا مباشرًا وسريعًا لضبط المكافآت القائمة على التدرج. يصفون فكرة الضبط الدقيق للمكافأة المباشرة (DRaFT)، والتي تتكرر بشكل متكرر عبر رسم بياني حسابي مكون من 50 خطوة يمثل سلسلة أخذ العينات الكاملة. بدلاً من تغيير جميع معلمات النموذج، يستخدمون أساليب فحص التدرج لإدارة الذاكرة والتكاليف الحسابية بكفاءة، كما يقومون بتحسين أوزان LoRA.
بالإضافة إلى ذلك، يقدم المؤلفون تحسينات على نهج DRaFT لتعزيز فعاليته وأدائه. وهي تبدأ بصيغة DRaFT-K، والتي، من أجل حساب التدرج من أجل الضبط الدقيق، تقيد الانتشار العكسي على أحدث خطوات أخذ العينات K
نظرًا لأن الانتشار العكسي الكامل يمكن أن يسبب مشاكل في توسيع التدرجات، تظهر النتائج التجريبية أن استراتيجية التدرج المنخفض هذه تتفوق بشكل كبير على الانتشار العكسي الكامل بنفس القدر من خطوات التدريب.
يقدم المؤلفون أيضًا DRaFT-LV، وهو البديل من DRaFT-1 الذي يتوسط عينات ضوضاء عديدة لإنتاج تقديرات تدرج أقل تباينًا.
قام فريق البحث بتطبيق DRaFT في Stable Diffusion 1.4 واختبره باستخدام عدة أنواع من التعزيزات ومطالبات الاتجاه. تفوقت تقنياتهم القائمة على التدرج على خطوط الأساس للضبط الدقيق المستندة إلى RL بشكل كبير من حيث الكفاءة. عند تحسين نتائج LAION Aesthetics Classifier، على سبيل المثال، تمكنوا من التفوق على خوارزميات RL بمعامل يزيد عن 200.
كان أحد البدائل التي اقترحوها، ويسمى DRaFT-LV، فعالاً بشكل غير عادي، حيث يتعلم بمعدل أسرع مرتين تقريبًا من الطريقة السابقة المعروفة باسم ReFL، والتي تعتمد على التدرجات. لقد أظهروا أيضًا مرونة DRaFT من خلال دمج نماذج DRaFT مع النماذج المدربة مسبقًا وتغيير أوزان LoRA عن طريق الخلط أو القياس.
في الختام، توفر نماذج النشر الدقيقة بشكل واضح على المكافآت القابلة للتمييز خيارًا قابلاً للتطبيق لتعزيز تقنيات النمذجة التوليدية، مع آثار على التطبيقات التي تشمل الصور والنصوص والمزيد. سيجد الباحثون والممارسون في مجالات التعلم الآلي والنمذجة التوليدية أنه مفيد بسبب كفاءته وقدرته على التكيف وفعاليته.
