👎🏾 🤵🏻 🍲 اختبار ruGPT-3 لمشاكل جديدة 👐🏿 💘 🎅🏽

أنظمة التوصية من البداية وروبوتات الدردشة والمزيد

بعد أن انغمسنا في هاوية البيانات النصية ، قمنا في أكتوبر من هذا العام بتدريب نماذج ruGPT-3 - نماذج للغة الروسية على أساس الهندسة المعمارية من OpenAI. لكن ما الذي تستطيع هذه النماذج فعله؟ في هذه المقالة ، سنجمع الأمثلة الأولى لتطبيق النموذج - ونجرب نماذج جديدة.

نقدم النتائج الأولى لأكبر نموذج المدربين، ruGPT 3 كبير، وضعت بالتعاون مع SberDevices ، Sber.AI و فرق SberCloud . دعنا نستكشف حدود تطبيقه معك.

هذا العام في AI Journey ، قمنا بإعداد مسابقة للتطبيقات ruGPT-3 - أي حل باستخدام نموذج ، تم تقييمه على ثلاثة مستويات - يمكن تقديم الابتكار والمشاركة العاطفية وقابلية تطبيق الأعمال إلى المسار الصحيح.

المفسد:

1 مليون روبل في المقام الأول

كيف تعيد تدريب النموذج لمهمة جديدة؟

النماذج ورموزها موجودة في مستودع sberbank-ai : يمكنك استخدام مكتبة المحولات أو Megatron-LM.

في هذه المقالة ، أقدم أمثلة باستخدام وجه العناق / المحولات - يتم تقديم رمز الحالات هنا:

صقل Colab محمول نماذج
مجرد توليد كمبيوتر محمول Colab

بطاقات النماذج في مكتبة المحولات: كبير متوسط صغير

عند تشغيل البرنامج النصي للإنشاء ، يكون من الأسهل القيام بتشغيل الكل - ثم الانتظار قليلاً أثناء تحميل النموذج.

سيطلب منك النص الموجود في الخلية الأخيرة إدخال بداية النص - بذري المفضل: "اكتشف العلماء البرازيليون نوعًا نادرًا من حيدات القرن القزم التي تعيش في غرب جوتلاند." حصلنا على : ruGPT-3 Small يناسب كمبيوتر محمول Colab ، لذلك من الأفضل استخدام بطاقات تزيد عن 14 جيجابايت.

ruGPT-3 Small:       ,    .    Agence France-Presse. ,   Pygmaliona (. Pygmaliona pygmalioni),         .     30 ,   —  1 .     .     ,      .

بالمناسبة ، طوال مدة المسابقة ، نمنح المشاركين في المسار إمكانية الوصول إلى مرافق Christofari!

للمشاركين في مسار ruGPT-3 ، خصصنا 100 حساب - في كل حساب 1 GPU Tesla V100-SXM3 32 Gb مجانًا أثناء المنافسة.

كيف أحصل على حساب؟

1) سجل في المسار ruGPT-3 (AI 4 Humanities) ods.ai/tracks/aij2020

2) اكتب رسالة قصيرة باسم فريقك والمهمة إلى AIJ_ruGPT-3@sberbank.ru

لقطات قليلة مقابل الضبط الدقيق

في حالة النماذج التوليدية الكبيرة مثل البنى الشبيهة بـ GPT ، هناك عدة طرق "للتعامل معها".

: «» — . (GPT-3 ), . ( « → ») .
: , « » (. «prompt engineering» — , , .

?

قد يكون إعادة تدريب الطرز الكبيرة مكلفًا للغاية ، لذا تتيح لك طريقة "الاتصال" هذه تجنب ذلك. يكمن جوهر برمجة البذور في اختيار مثل هذه الأمثلة المعدة والبدايات للتوليد ، بحيث ينتج النموذج ما هو مطلوب بالضبط.

باختيار المعلمات الفائقة "للبذور" والمولدات (درجة الحرارة ، top_n ، top_k) ، يمكنك تحقيق إجابات مقبولة تمامًا بسبب التدريب الأولي للنموذج فقط.

مثال على بذرة مع مثال واحد ووصف المشكلة.

سنختبر كلتا الطريقتين عمليًا - سنحاول حل المشكلات الشائعة من البداية ، والمشكلات المحددة - لحلها من خلال تدريب إضافي.

أنظمة التوصية

لنقم بعمل نظام توصية بدون تدريب: سنرسل إلى ruGPT-3 معلومات كبيرة حول تفضيلات المستخدم في شكل نص ، وسنراقب كيف يستمر النموذج في ذلك. يمكننا إنشاء العديد من الخيارات مرة واحدة للحصول على مزيد من التوصيات.

التوصيات: فيلم ليس سيئا! يبدو أن الأفلام على الأقل قد تم إنشاؤها وفقًا للبذرة. بما أنني لست متذوقًا للسينما السوفيتية ، لم أكن أعرف حتى فيلم "ثلاثة زائد اثنين" ، لكنه كذلك. بالنسبة للجيل ، استخدمنا الاختراقات التالية - قدمنا نصًا مع اقتباس مفتوح لإجبار النموذج على إنشاء أسماء مناسبة ، وكذلك قطع كل ما هو غير ضروري بعد الجملة الأولى. توصيات الموسيقى:

:    — “”, “”, “
      

        
        
        
      

    
ruGPT-3 Large:    — “”, “”, “ ”, “  ”, “ ”.
      

        
        
        
      

    
ruGPT-3 Large:    — “”, “”, “  ”, “”, “” (, ,  ,   ).
      

        
        
        
      

    
ruGPT-3 Large:    — “”, “”, “”  .”

:    : “ ”, “
      

        
        
        
      

    
ruGPT-3 Large:    : “ ”, “  ”  “ ”.
      

        
        
        
      

    
ruGPT-3 Large:    : “ ”, “  ”.
      

        
        
        
      

    
ruGPT-3 Large:    : “ ”, “  ”, “ ”  .

: “ ,   “ ”,    “ #( ,    )
      

        
        
        
      

    
ruGPT-3 Large:  ,   “ ”,    “”  “”. 
      

        
        
        
      

    
ruGPT-3 Large:  ,   “ ”,    “”  “  ”. 
      

        
        
        
      

    
ruGPT-3 Large:  ,   “ ”,    “”, “ ”, “ ”, “”  “”.

تختلف النتائج طوال الوقت - يمكنك إنشاء متغيرات N واستخراج جميع أسماء المجموعات وتجميع عداد الأكثر شيوعًا - voila ، نظام توصية من البداية.

توليد المراجعات

لنأخذ مهمة أكثر صعوبة - لنجعل النموذج يقلد شخصًا في المناقشات أو المتاجر: كما ترى ، بالنسبة للمواضيع المنتشرة على الإنترنت ، يمكن للنموذج إنشاء نصوص متماسكة بدون تدريب. ولكن أين لا توجد طريقة بدون تدريب إضافي؟ هناك 3 حالات من هذا القبيل:

: “   .
      

        
        
        
      

    
 - ”
      

        
        
        
      

    
ruGPT-3 Large: “   .
      

        
        
        
      

    
 -   .    ,   .”

: “    .
      

        
        
        
      

    
   ”
      

        
        
        
      

    
ruGPT-3 Large: “    .
      

        
        
        
      

    
       .
      

        
        
        
      

    
         ,           .
      

        
        
        
      

    
 ,    ,      .   ,   ,         .”

:    .
      

        
        
        
      

    
 "1+1"
      

        
        
        
      

    
ruGPT-3 Large:    .
      

        
        
        
      

    
 "1+1" —  ,       .     .       .      .      " ",         .

تنسيق البيانات المعقد - إذا فقدت الجودة أثناء الإنشاء بدون تدريب بسبب التوليد بتنسيق خاطئ - مشكلة NER ، إنشاء الكود ، الحسابات الرمزية ، إلخ ؛
, — QA , , , ;
, , , — , .

StackOverflow

دعنا نرفع مستوى التعقيد: قم بتنزيل الملف الروسي [stack overflow] (https://ru.stackoverflow.com/) وحاول إنشاء نظام أسئلة وأجوبة. هل سنتمكن من تعلم أسلوب الإجابات والمعرفة ولغات البرمجة المتعددة على الفور؟ ليس من السهل الحصول على نتيجة جيدة في مشكلة تاوكي على الفور ، ولكن يمكننا الاستمتاع - أكثر من 5 فترات تعلم النموذج إعادة إنتاج الأسلوب ، مما أدى إلى ارتباك شديد في المحتوى. لكنني تعلمت روابط الوثائق جيدًا - وهي نتيجة جيدة جدًا لمدة 5 عصور من التعلم.

صيغة التدريب: نقدم نصوص الأسئلة وأفضل الإجابات بالصيغة Q: "blabla" A: "blabla". (في الواقع لا توجد مكتبة من هذا القبيل ، فقد أنشأ النموذج رابطًا للوثائق)

Q:         python?   
      

        
        
        
      

    
A:     : push.log("Shalom"). 
      

        
        
        
      

    
       -  ,    .         
      

        
        
        
      

    
set.log()**) 
      

        
        
        
      

    
rGet = puts.random(extents) log.findIndex(puts.current) void join($window, command='unsetMainServer onManager') } 
      

        
        
        
      

    
  ,

Q:         python?   
      

        
        
        
      

    
A: import pycode as pyc; 
      

        
        
        
      

    
//             (   href=https://docs.python.org/3/library/pycode.html )

لمثل هذه المهام ، يمكنك إدخال وسيطات إضافية - على سبيل المثال ، اسم القسم / الموضوع / لغة البرمجة ، التي تريد الإجابة عنها ، وتدريب النموذج على بيانات النموذج {"المعلمة": "القيمة" ، "السؤال": "text_question" ، "الإجابة": "Answer_text"}.

فيما يتعلق بكل من الكود والنص ، لدينا ملف على الفور - ربما يقوم شخص ما بعمل أفضل في المسار؟ توجد بالفعل تطبيقات ناجحة جدًا على نموذج اللغة الإنجليزية مع رمز: كتابة كود html لعناصر صفحة الويب ، وإنشاء قوالب Figma.

جرب لغات أخرى! Twitter والمزيد

اللغة الأساسية لتدريس النموذج هي اللغة الروسية ، ولكن هل يمكن استخدام النموذج في مهام متعددة اللغات؟ دائمًا ما تقع بعض اللغات الأخرى في عينة التدريب من الويب ، لذلك هناك أمل. يُظهر النهج المباشر مع البذور أن النموذج يعرف القليل عن النموذج الإنجليزي: حسنًا ، تقريبًا: في بعض الأحيان لا يعمل على الإطلاق: لماذا لا تتمرن على بيانات إنجليزية بحتة: لقد أخذت مجموعة بيانات تصنيف نص تويتر من مسابقة Kaggle. بعد 5 فترات من 5 آلاف تعليق أول (20 دقيقة في كولاب ) ، حصلنا على جيل مقبول تمامًا من التعليقات شديدة السمية باللغة الإنجليزية:

ruGPT-3 Large: 
      

        
        
        
      

    
 —> cat
      

        
        
        
      

    
 —> dog
      

        
        
        
      

    
 —> pear
      

        
        
        
      

    
 —> coder

Context >>> Is it
      

        
        
        
      

    
ruGPT-3 Small: Is it's the case that #Microsoft is using #SAP to manage #Microsoft’s business?
      

        
        
        
      

    

      

        
        
        
      

    
Context >>> It is
      

        
        
        
      

    
ruGPT-3 Small: It is the only one that I've been trying to do. Siri is on the verge of death, and I'm not aware of why she has to be on the verge.
      

        
        
        
      

    

      

        
        
        
      

    
Context >>> Why
      

        
        
        
      

    
ruGPT-3 Small: Why do I go here? I'm wondering if I can use the #Microsoft Windows 8 Pro for the #WindowsPhone phone? Thanks!

أنظمة الحوار

بالفعل ، بدون تدريب مسبق ، يعمل تطبيق النموذج على أنظمة الحوار بشكل جيد: يمكن للنموذج أداء وظيفة الدردشة (التحدث عن لا شيء) ، والدردشة بحرية حول مواضيع مختلفة. من خلال التدريب الإضافي على سيناريوهات ومجالات محددة ، يمكنك تنفيذ تطبيقات الأعمال.

المثال أدناه هو مثال لحوار بدون تدريب ، حول موضوع ضيق التركيز - دعم مزود الإنترنت.

البذر: أول سطرين - جيل آخر. بالطبع ، بدون تدريب مسبق ، لا يمتلك النموذج فكرة واضحة عن البرامج النصية ونصوص متخصصي الدعم ، ومع ذلك ، حتى هذه البداية الباردة تُظهر بالفعل الطريقة القياسية "لمعرفة ما حدث - التسكع - إعادة توجيه المكالمة". يمكنك تذكر الكلاسيكيات:

User1: ,  !   ?
      

        
        
        
      

    
User2:     . 
      

        
        
        
      

    
User1:    ?
      

        
        
        
      

    
User2:    500
      

        
        
        
      

    
User1:  ?
      

        
        
        
      

    
User2:   . ..  .       
      

        
        
        
      

    
User1:    ?
      

        
        
        
      

    
User2:      . ,    - ...
      

        
        
        
      

    
User1:  ,   , ,  ,     ?
      

        
        
        
      

    
User2:       
      

        
        
        
      

    
User1: ,     .       ,      .
      

        
        
        
      

    
User2:  ,    .    .
      

        
        
        
      

    
User1:       .   , , .
      

        
        
        
      

    
User2:  , ,    ?
      

        
        
        
      

    
User1:   ?
      

        
        
        
      

    
User2:    .             .
      

        
        
        
      

    
User1:  ?
      

        
        
        
      

    
User2: 
      

        
        
        
      

    
User1:      .            .
      

        
        
        
      

    
User1: ,     .  - .
      

        
        
        
      

    
User2: ,       .
      

        
        
        
      

    
User1: 
      

        
        
        
      

    
User2:

User1:   «»,  656, , .
      

        
        
        
      

    
User2:    ,  766—1669,      :     , ,    , , ,       , ?
      

        
        
        
      

    
User1:     1 .       ,       ,      .
      

        
        
        
      

    
User2:   , , ,    -     ?
      

        
        
        
      

    
User1: ,   1    .  ,    -     ,      ,        ,   .    .
      

        
        
        
      

    
User2:   ,     , ,   , - .
      

        
        
        
      

    
User1: .
      

        
        
        
      

    
User2:  ,   ?
      

        
        
        
      

    
User1:  ,   , .
      

        
        
        
      

    
User2: , ,  .

بشكل عام ، "عليك أن تتحلى بالصبر". حتى أن النموذج تذكر أن اسم User1 هو Dmitry ، ودعه المستخدم 2 وفقًا لذلك.

بدلا من الاستنتاج

لمواصلة تطوير اتجاه النماذج التوليدية وتحسين البنى في مشاكل البرمجة اللغوية العصبية ، من الضروري دائمًا فهم حدود قابلية تطبيق تقنية معينة - وأهميتها.

الآن ، مع كل إصدار من البنى المماثلة - المصلح ، Longformer ، BigBird ، إلخ. - ننظر إلى النماذج الكبيرة المدربة مسبقًا بطريقة جديدة نوعًا ما ، مما يشكل تحديات جديدة لهم.

بالإضافة إلى الحالات المذكورة أعلاه ، يمكن بالتأكيد تطبيق ruGPT-3 ومفيد في ممارسات مثل:

زيادة البيانات النصية لمهام ML
نماذج الحوار لأتمتة
المهام الجمع توليدي
إعادة الكتابة ، وتوليد الأخبار ، والملاحظات الرياضية على أساس المعلومات المنظمة.

نأمل أن تفيد العروض التوضيحية والنماذج المجتمع - وستكون ممتعًا!

وبالطبع نحن في انتظار قراراتكم بشأن مسار ruGPT-3 حتى نهاية 22 نوفمبر!

اختبار ruGPT-3 لمشاكل جديدة