بعد الانغماس في موضوع DL NLP ، صادفت مستودعًا مثيرًا للاهتمام على الإنترنت . هذا لا يكفي - GPT-2 الروسية ! حسنًا ، هذا هو يتحدث الروسية. وليس بعض 117 مترًا صغيرًا ، ولكن 1250 مترًا ، وهو بالفعل خطير للغاية. قام المؤلف بالكثير من العمل على تكييف النموذج الأصلي وإعداد مجموعة المواد للتدريب. وأعتقد أن التدريب بحد ذاته استغرق الكثير من الوقت والقوة. بشكل عام ، فيما يتعلق بالرفيق L4RZ ! أخطط لمتابعة خطاه وتدريب النظام على حالتي (التي أنا حاليًا بصدد التحضير لها) - لحسن الحظ ، ترك المؤلف تعليمات مفصلة إلى حد ما حول كيفية التعامل مع مثل هذه المهمة واسعة النطاق ... سأقدم تقريرًا عن النتائج! ؛)
في غضون ذلك ، من أجل المتعة فقط ، أقترح على الجمهور بعض التجارب مع النظام ، بناءً على المنشور حول المبرد GPT-3 (على الرغم من أن المؤلف ، من الواضح ، لا يعتبر GPT-3 شيئًا مميزًا هناك). من ناحية ، النظام المعروض هنا أبسط بكثير من GPT-3 ، ومن ناحية أخرى ، لا يزال نموذجًا مدربًا باللغة الروسية! أعتقد أنه مضحك.
تنصل. يتم تحديد النتائج إلى حد كبير من خلال المجموعة التي تعلمت الشبكة منها. إليك ما يقوله المؤلف عن ذلك: لقد ألغيت موقعين من مواقع الصحافة الروسية ، وحللت HTML باستخدام beautifulsoup4 وحفظت النصوص المحللة بالإضافة إلى البيانات الوصفية (الرؤوس ، TL ، DRs ، الطوابع الزمنية) لمزيد من الفرز والمعالجة اللاحقة في PKLs ... من أجل دفع الأشياء علاوة على ذلك ، تم زيادة مجموعة البيانات 4 جيجا بايت (415 مليونًا) باستخدام 3 جيجا بايت من المعجبين المرشح ، ليصبح 7 جيجا بايت واحد (862 مليون توكن).
التقنية التجريبية بسيطة: أشغل الشبكة ثلاث مرات بنفس المدخلات. يتم تمييز إخراج الشبكة بخط غامق... لم أقم بإجراء أي تعديلات ، باستثناء التعديلات التجميلية البحتة - مثل المسافات المفقودة (التي تم حذفها بسبب تداخلي في الكود *). التجارب بشكل عام تكرر تلك الموصوفة في المقالة حول GPT-3 ، وقررت عدم التعليق عليها بأي شكل من الأشكال ... ؛)
التجربة 1
. >>>تصب لنفسك كوبًا من عصير التوت البري ، ولكن بعد ذلك تضيف ملعقة صغيرة من عصير العنب إليه. يبدو بخير. تحاول شمه ، لكن لديك نزلة برد ، لذلك لا تشم. أنت عطشان جدا. لذلك تشرب القهوة مع العسل والسكر.>>> جديد
تصب لنفسك كوبًا من عصير التوت البري ، ولكن بعد ذلك تضيف ملعقة صغيرة من عصير العنب إليه. يبدو بخير. تحاول شمه ، لكن لديك نزلة برد ، لذلك لا تشم. أنت عطشان جدا. لذلك تصب لنفسك القهوة مرة أخرى. تشعر بالغثيان. لا حرج في ذلك ، فأنت لا تعرف كيف تشربه على أي حال. تشعر بشيء سيء للغاية ، لكن لا أحد يهتم بك.>>> جديد
تصب لنفسك كوبًا من عصير التوت البري ، ولكن بعد ذلك تضيف ملعقة صغيرة من عصير العنب إليه. يبدو بخير. تحاول شمه ، لكن لديك نزلة برد ، لذلك لا تشم. أنت عطشان جدا. لذلك تستمر في تناول الطعام إذا أردت ، لكن لا تعرف كيف يبدو.
التجربة رقم 2
. >>>لقد نظمت حفلة صغيرة. تريد أن تقدم العشاء في غرفة المعيشة. طاولة غرفة الطعام أوسع من المدخل ، وسيتعين عليك شرب كوب من الحليب الساخن لنقله إلى غرفة المعيشة .>>> جديد
لقد استضفت حفلة صغيرة. تريد أن تقدم العشاء في غرفة المعيشة. طاولة غرفة الطعام أوسع من المدخل وتتخذ بضع خطوات للانتقال إلى غرفة المعيشة .>>> جديد
لقد استضفت حفلة صغيرة. تريد أن تقدم العشاء في غرفة المعيشة. طاولة غرفة الطعام أوسع من المدخل ، ويستغرق نقلها إلى غرفة المعيشة الكثير من العمل.
التجربة رقم 3
. >>>أنت محامي دفاع وتحتاج إلى الذهاب إلى المحكمة اليوم. أثناء ارتداء الملابس في الصباح ، تجد أن بنطال بدلتك متسخ جدًا. ومع ذلك ، فإن جذوع السباحة الخاصة بك نظيفة وأنيقة للغاية. هذه سروال سباحة راقٍ من فرنسا وهبته لك إيزابيل في عيد ميلادك. هل تقرر ما ترتديه للمحاكمة ؟>>> جديد
آه أجل*
أنت محامي دفاع وتحتاج إلى الذهاب إلى المحكمة اليوم. أثناء ارتداء الملابس في الصباح ، تجد أن السراويل من بدلتك متسخة جدًا. ومع ذلك ، فإن جذوع السباحة الخاصة بك نظيفة وأنيقة للغاية. هذه سروال سباحة راقٍ من فرنسا وهبته لك إيزابيل في عيد ميلادك. عليك أن تقرر ما ترتديه للمحاكمة . إذا كنت لا تحب شيئًا ما ، خذ معك ملابس من خزانة ملابسك.>>> جديد
أنت محامي دفاع وتحتاج إلى الذهاب إلى المحكمة اليوم. أثناء ارتداء الملابس في الصباح ، تجد أن السراويل من بدلتك متسخة جدًا. ومع ذلك ، فإن جذوع السباحة الخاصة بك نظيفة وأنيقة للغاية. هذه سروال سباحة راقٍ من فرنسا وهبته لك إيزابيل في عيد ميلادك. هل تقرر ما ترتديه للمحاكمة ؟
- لدي العديد من الأسئلة للمحامي.
التجربة رقم 4
. >>>بالأمس تركت ملابسي في المغسلة ، واليوم لا زلت بحاجة لاستلامها. اين ملابسي؟>>> جديد
- أيها الأحمق ، أحتاج إلى إعادته ، ولا أفعل كل شيء هناك حسب الخطة.
بالأمس تركت ملابسي في المغسلة ، واليوم لا زلت بحاجة لاستلامها. اين ملابسي؟>>> جديد
- لا ، لا أعرف ما هي هذه الأشياء ، لكن يمكنني دائمًا أخذ واحدة ، وهذا ليس دائمًا ممتعًا.
بالأمس تركت ملابسي في المغسلة ، واليوم لا زلت بحاجة لاستلامها. اين ملابسي؟
- حسنا. أجبته "لن أزعجه".
التجربة رقم 5
. >>>ذهبت جانيت وبيني إلى المتجر لشراء هدية لجاك. قالت جانيت ، "سأشتري جاك قمة." تقول بيني: "لا تشتري جاك أعلى". "لديه قمة. سيحصل عليه مني عندما نختاره ، وإذا لم تشتري جاك ، فسوف تبيع جاك.>>> جديد
ذهبت جانيت وبيني إلى المتجر لشراء هدية لجاك. قالت جانيت ، "سأشتري جاك قمة." تقول بيني: "لا تشتري جاك أعلى". "لديه قمة. سيحصل على قطعته من جاك.>>> جديد
ذهبت جانيت وبيني إلى المتجر لشراء هدية لجاك. قالت جانيت ، "سأشتري جاك قمة." تقول بيني: "لا تشتري جاك أعلى". "لديه قمة. سوف يتلقى . أنا سأخذه. هو دائما هناك. ولن أبيع. فقط على عكس جاك. لا يهتم بما لم يرضيه بذلك. لن يشتري أي شيء غير شراء نفسه.
التجربة رقم 6
. >>>في الحفلة ، سكبت لنفسي كوبًا من عصير الليمون ، لكنه كان حامضًا جدًا ، لذا أضفت القليل من السكر. لم تكن هناك ملعقة في متناول اليد ، لذلك حرّكت المشروب بسيجارة. لكن تبين أن هذه كانت فكرة سيئة للغاية ، لأنني كنت أشرب الخمر لفترة طويلة. واو ، يا له من طعم رائع!>>> جديد
في الحفلة ، سكبت لنفسي كوبًا من عصير الليمون ، لكنه كان حامضًا جدًا ، لذا أضفت بعض السكر. لم تكن هناك ملعقة في متناول اليد ، لذلك حرّكت المشروب بسيجارة. لكن تبين أن هذه كانت فكرة سيئة للغاية ، لأن عصير الليمون منعني من الشرب.>>> جديد
في الحفلة ، سكبت لنفسي كوبًا من عصير الليمون ، لكنه كان حامضًا جدًا ، لذا أضفت القليل من السكر. لم تكن هناك ملعقة في متناول اليد ، لذلك حرّكت المشروب بسيجارة. لكن تبين أن هذه كانت فكرة سيئة للغاية لأن الجو كان حارًا جدًا ، لذلك بدأت أشرب من حلقي.
التجربة رقم 7
. >>>, . – .* استطرادا غنائي صغير. لم يعجبني GPT-2 مع إنشاء نصوص غير محدودة (نصف صفحة في كل مرة) ، كما كان في المصدر. وقمت بتخفيض الإخراج إلى الحد الأدنى ، لكنني جعلت من الممكن الاستمرار بشكل متكرر (عندما يتم إدخال الإخراج السابق في الإدخال). وهكذا ، أنا أغش قليلا ، لأن أنا بنفسي أحدد متى يمكنك / يجب أن تتوقف. في هذه الحالة ، قدمت الشبكة بالفعل نتيجة يمكن تفسيرها ببعض الامتداد كإجابة (وإن كانت متناقضة) ، ولكن إذا واصلنا الاستنتاج ، إذن ... احكم بنفسك:
1. , . . , , . . .
) .
) .
: 2. )
الإجابة الصحيحة:>>> جديد
2. أ) كل شيء آخر ليس من الضروري معرفته.
3. ب) التبعية.
4. على أي أساس تريد أن تشربه؟
…>>> جديد
الجواب الصحيح: هذه مواد سامة.
...
الإجابة الصحيحة هي: "كل شيء جاهز".
بالنسبة إلى هذه sim ، الجميع ...
ملاحظة: إذا أخبرك المجتمع أين يمكنك وضع نموذج 5 جيجا بايت (بحيث يكون متاحًا بشيء مثل wget ) - سأضيف رابطًا إلى دفتر ملاحظات Colab إلى المقالة وأي شخص يريد أن يقود النظام مباشرة ... ) وبعد ذلك ، أخشى أن "الاستضافة" في منزلي لن تصمد أمام تأثير habr. في غضون ذلك ، يمكنني تجربة ما يحدث للنص كمدخل ، إذا كان أي شخص مهتمًا!
تحديث: المجتمع الذي يمثلهجريجوروفأجابت ، لذلك ها هي المفكرة الموعودة ! الآن يمكنك تجربة نفسك ، قارن مع الأصل (رابط من المنشورديزرت فلو الشبكة العصبية GPT-2 من OpenAI. بداية سريعة ) وربما استخلاص بعض الاستنتاجات. ؛) على سبيل المثال: هل اللغة مهمة عند تدريس نموذج اللغة؟
تعليق المؤلف : مرحبًا ،
نعم ، بالطبع ، لا أمانع - وإلا فلن أقوم بتحميل النموذج هنا.
>>> هل اللغة مهمة عند تدريس نموذج لغوي؟
بالطبع هو كذلك - لقد لاحظت أن النماذج التي تحتوي على عدد صغير من المعلمات تعمل بشكل أسوأ مع اللغة الروسية. أفترض أن هذا يرجع إلى دلالات أكثر تعقيدًا (أقل رسمية) للغة الروسية مقارنة باللغة الإنجليزية ؛ لقد كتبت عنها في كتابتي. أيضًا ، فإن طريقة نقل الحوارات المعتمدة باللغة الروسية ، عندما تبدأ كل نسخة متماثلة على سطر جديد وتسبقها شرطة ، دون تحديد من تنتمي هذه النسخ المتماثلة ، لا تساعد النموذج على الإطلاق في التعرف على بنية الحوار بشكل صحيح (بالإضافة إلى صعوبة التدريب ، لأن النموذج يتعلم هيكلة أي نصوص مثل الطريقة - يتم ملاحظة نفس التأثير عند تسرب أي ترميز إلى بيانات التدريب).
نقطة أخرى فاتني (بدت واضحة بالنسبة لي) - إذا كنت تريد عمل دقة لهذا النموذج ، فأنت بحاجة إلى استخدام قاموس الجملة (sp. *) الذي يأتي مع النموذج.
أيضًا ، عند تدريب 1250 مليونًا ، تم استخدام الأخبار والصحافة بشكل أساسي ، وبعد ذلك قصص المعجبين ، وهو ما ينعكس في طبيعة النتائج.