مصدر الصورة
ثورتان في معالجة اللغة الطبيعية
ارتبطت الثورة الأولى في البرمجة اللغوية العصبية (NLP) بنجاح النماذج التي تستند إلى تمثيلات المتجهات لدلالات اللغة ، والتي تم الحصول عليها باستخدام طرق التعلم غير الخاضعة للإشراف. بدأ ازدهار هذه النماذج بنشر نتائج توماس ميكولوف ، طالب الدكتوراه يوشوا بينجيو (أحد الآباء المؤسسين للتعليم العميق الحديث ، الحائز على جائزة تورينج)) ، وظهور أداة word2vec الشعبية. بدأت الثورة الثانية بتطوير آليات الانتباه في الشبكات العصبية المتكررة ، مما أدى إلى فهم أن آلية الانتباه مكتفية ذاتيًا ويمكن استخدامها بدون الشبكة المتكررة نفسها. يسمى نموذج الشبكة العصبية الناتج "المحول". تم تقديمه إلى المجتمع العلمي في عام 2017 في مقال بعنوان "الانتباه هو كل ما تحتاجه " كتبه مجموعة من الباحثين من Google Brain و Google Research. أدى التطور السريع للشبكات القائمة على المحولات إلى نماذج لغة عملاقة مثل OpenAI's Generative Generative Pre- المدرب Transformer 3 (GPT-3)قادر على حل العديد من مشاكل البرمجة اللغوية العصبية بكفاءة.
يتطلب الأمر موارد حاسوبية كبيرة لتدريب نماذج المحولات العملاقة. لا يمكنك فقط أخذ بطاقة رسومات حديثة وتدريب مثل هذا النموذج على جهاز الكمبيوتر المنزلي. في منشور OpenAI الأصلي ، تم تقديم 8 أنواع مختلفة من النموذج ، وإذا أخذت أصغرها (GPT-3 Small) مع 125 مليون معلمة وحاولت تدريبها باستخدام بطاقة فيديو احترافية NVidia V100 مزودة بنوى موتر قوية ، فسيستغرق الأمر حوالي ستة أشهر. إذا أخذنا أكبر نسخة من النموذج مع 175 مليار معلمة ، فإن النتيجة يجب أن تنتظر ما يقرب من 500 عام. تكلفة تدريب الإصدار الأكبر من النموذج على معدلات الخدمات السحابية التي توفر أجهزة حوسبة حديثة للإيجار ،يتجاوز المليار روبل (ولا يزال هذا خاضعًا لمقياس الأداء الخطي مع زيادة عدد المعالجات المعنية ، وهو أمر لا يمكن تحقيقه من حيث المبدأ).
تحيا أجهزة الكمبيوتر العملاقة!
من الواضح أن مثل هذه التجارب متاحة فقط للشركات التي لديها موارد حاسوبية كبيرة. لحل مثل هذه المشكلات ، في عام 2019 ، شغّل سبيربنك الكمبيوتر العملاق كريستوفاري ، الذي احتل المرتبة الأولى في الأداء بين أجهزة الكمبيوتر العملاقة المتوفرة في بلدنا. 75 عقدة حسابية DGX-2 (تحتوي كل منها على 16 بطاقة NVidia V100 ) متصلة بواسطة ناقل فائق السرعة يعتمد على تقنية Infinibandتسمح لك بتدريب GPT-3 Small في بضع ساعات فقط. ومع ذلك ، حتى بالنسبة لمثل هذه الآلة ، فإن مهمة تدريب متغيرات النماذج الأكبر ليست تافهة. أولاً ، يشارك جزء من الجهاز في تدريب نماذج أخرى مصممة لحل المشكلات في مجال رؤية الكمبيوتر والتعرف على الكلام والتوليف والعديد من المجالات الأخرى التي تهم العديد من الشركات من نظام سبيربنك البيئي. ثانيًا ، عملية التعلم نفسها ، والتي تستخدم في نفس الوقت العديد من العقد الحسابية في موقف لا تتناسب فيه أوزان النموذج مع ذاكرة بطاقة واحدة ، هي بالأحرى غير قياسية.
بشكل عام ، وجدنا أنفسنا في موقف لم يكن فيه توزيع الشعلة ، كما هو مألوف لدى الكثيرين ، مناسبًا لأغراضنا. لم يكن لدينا الكثير من الخيارات ، لذلك لجأنا إلى التطبيق "الأصلي" لـ NVidia Megatron-LMومن بنات أفكار Microsoft الجديدة - DeepSpeed ، والتي تطلبت إنشاء حاويات مخصصة لرسو السفن على Christophari ، والتي ساعدنا بها زملاؤنا من SberCloud على الفور . DeepSpeed ، أولاً وقبل كل شيء ، أعطانا أدوات ملائمة للتدريب الموازي للنموذج ، أي نشر نموذج واحد على عدة وحدات معالجة رسومات وتقسيم المحسن بين وحدات معالجة الرسومات. يتيح لك ذلك استخدام دفعات أكبر ، بالإضافة إلى نماذج القطارات التي يزيد وزنها عن 1.5 مليار وزن بدون جبل من التعليمات البرمجية الإضافية.
من المثير للدهشة أن التكنولوجيا على مدى نصف القرن الماضي أثناء تطويرها قد وصفت الجولة التالية من الحلزون - يبدو أن عصر الحواسيب المركزية (أجهزة الكمبيوتر القوية ذات الوصول الطرفي) قد عاد. لقد اعتدنا بالفعل على حقيقة أن أدوات التطوير الرئيسية هي جهاز كمبيوتر شخصي مخصص للاستخدام الحصري من قبل المطور. في أواخر الستينيات وأوائل السبعينيات من القرن الماضي ، كانت تكلفة الساعة من تشغيل الكمبيوتر الرئيسي تعادل تقريبًا أجر شهر كامل لمشغل الكمبيوتر! يبدو أن هذه الأوقات قد ولت إلى الأبد وأصبح "الحديد" إلى الأبد أرخص من وقت العمل. ومع ذلك ، يبدو أن الأجهزة قد حققت عودة رائعة. تشبه الحياة اليومية لأخصائي التعلم الآلي الحديث مرة أخرى الحياة اليومية لساشا بريفالوف من قصة الأخوين ستروغاتسكي "الاثنين يبدأ يوم السبت"، مع الاختلاف الوحيد أن مكان "Aldan" في حالتنا هو "Christofari" ، ويتم تنفيذ دور السحر والشعوذة بواسطة أساليب التعلم العميق.
من تجربة SberDevices
في كثير من الأحيان في الماضي ، كان علينا أن نتعلم نماذج أخرى تعتمد على المحولات - هؤلاء ورثة متنوعون لـ BERT ، ونماذج فك التشفير ، مثل T5 من Google . مساعدين افتراضيين تم إنشاؤه بواسطة SberDevices للأسطح المختلفة ، بدءًا من أحدث SberBox و SberPortalوانتهاءً بتطبيق Sberbank Online المألوف ، يستخدمون عدة نماذج متشابهة في عملهم لحل المشكلات المختلفة أثناء التواصل مع المستخدم. على سبيل المثال ، يستخدم المساعد الافتراضي Joy نموذج GPT-2 Medium في وضع الدردشة ، ومدربًا على مجموعة كبيرة من الأدب الروسي ، ومدربًا على مجموعة بيانات حوار خاصة ومجهزًا بآلية تصنيف خاصة مصممة لتحديد الإجابات الأكثر إثارة للاهتمام. مثل هذه النماذج قادرة على إجراء محادثة مع المستخدم ، وليس اختيار إشارات من مكتبة معدة مسبقًا للإجابات ، ولكنها تصنع عبارات خاصة بها "على الطاير" ، مما يجعل التواصل معهم أكثر تنوعًا وتسلية.
بالطبع ، لا يمكن استخدام مثل هذا "الثرثرة" بدون بعض التأمين في شكل نظام من العناصر الدقيقة (قواعد مصممة لتوفير إجابات محكومة لبعض الأسئلة الأكثر حساسية) ونموذج منفصل مصمم لتفادي الأسئلة الاستفزازية ، ولكن حتى في مثل هذا الشكل المحدود "الثرثرة" "التوليدية" قادرة على رفع مزاج محاوره بشكل ملحوظ.
باختصار ، كانت خبرتنا في تدريس نماذج المحولات الكبيرة مفيدة عندما قررت إدارة Sberbank تخصيص موارد الحوسبة لمشروع بحث لتدريب GPT-3. يتطلب مثل هذا المشروع تضافر جهود عدة وحدات في وقت واحد. من جانب SberDevices ، تم أخذ الدور القيادي في هذه العملية من قبل قسم أنظمة التعلم الآلي التجريبية (بمشاركة عدد من الخبراء من فرق أخرى) ، ومن جانب Sberbank.AI - من قبل فريق AGI NLP . انضم زملاؤنا من SberCloud ، الذين يدعمون كريستوفاري ، بنشاط أيضًا إلى المشروع.
تمكنا مع زملائنا من فريق AGI NLP من تجميع الإصدار الأول من مجموعة تدريب اللغة الروسية بحجم إجمالي يزيد عن 600 جيجابايت. يتضمن مجموعة ضخمة من الأدب الروسي ، ولقطات من ويكيبيديا الروسية والإنجليزية ، ومجموعة من لقطات الأخبار ومواقع الأسئلة والأجوبة ، وأقسام عامة من Pikabu ، ومجموعة كاملة من المواد من بوابة العلوم الشعبية 22century.ru والبوابة المصرفية banki.ru ، بالإضافة إلى مجموعة Omnia Russica . بالإضافة إلى ذلك ، نظرًا لأننا أردنا تجربة القدرة على التعامل مع رمز البرنامج ، فقد قمنا بتضمين لقطات من github و StackOverflow في مجموعة التدريب.... قام فريق AGI NLP بالكثير من العمل على تنظيف البيانات وإلغاء البيانات المكررة ، بالإضافة إلى إعداد مجموعات للتحقق من صحة النموذج واختباره. إذا كانت نسبة اللغة الإنجليزية إلى اللغات الأخرى في المجموعة الأصلية المستخدمة بواسطة OpenAI هي 93: 7 ، ففي حالتنا تكون نسبة اللغة الروسية إلى اللغات الأخرى تقريبًا 9: 1.
اخترنا معمارية GPT-3 المتوسطة (350 مليون معلمة) و GPT-3 الكبيرة (760 مليون معلمة) كأساس للتجارب الأولى. عند القيام بذلك ، قمنا بتدريب النموذج كما هو الحال مع كتل المحولات المتناوبة مع القليلوآليات ونماذج الانتباه الكثيف التي تم فيها إكمال جميع كتل الانتباه. الحقيقة هي أن العمل الأصلي من OpenAI يتحدث عن تشذير الكتل ، لكنه لا يقدم تسلسلها المحدد. إذا اكتملت جميع كتل الانتباه في النموذج ، فإنها تزيد من التكلفة الحسابية للتدريب ، ولكنها تضمن استغلال الإمكانات التنبؤية للنموذج بالكامل. حاليًا ، يدرس المجتمع العلمي بنشاط نماذج مختلفة من الاهتمام ، مصممة لتقليل التكاليف الحسابية لنماذج التدريب وزيادة الدقة. في وقت قصير ، اقترح الباحثون أداة طويلة ، ومصلح ، ومحول مع مدى انتباه تكيفي.، محول الضغط ، محول blockwise ، BigBird ، linformer وعدد من نماذج أخرى مماثلة. نحن أيضًا نجري بحثًا في هذا المجال ، في حين أن النماذج المكونة من كتل كثيفة فقط هي نوع من المعايير التي تسمح لنا بتقييم درجة الانخفاض في دقة الإصدارات "المتسارعة" المختلفة من النموذج.
مسابقة "AI 4 Humanities: ruGPT-3"
هذا العام ، في إطار رحلة الذكاء الاصطناعي ، نظم فريق Sberbank.AI مسابقة AI 4 Humanities: ruGPT-3. كجزء من الاختبار الشامل ، يُدعى المشاركون إلى إرسال نماذج أولية من الحلول لأي مشكلة تجارية أو اجتماعية تم إنشاؤها باستخدام نموذج ruGPT-3 مدرب مسبقًا. المشاركون في الترشيح الخاص "AIJ Junior" مدعوون لإيجاد حل لتوليد مقالات ذات مغزى في أربعة مواضيع إنسانية (اللغة الروسية ، والتاريخ ، والأدب ، والدراسات الاجتماعية) من مستوى الصف الحادي عشر (USE) على أساس ruGPT-3 على أساس ruGPT-3 لموضوع / نص معين من المهمة.
بالنسبة لهذه المسابقات على وجه الخصوص ، قمنا بتدريب ثلاثة إصدارات من طراز GPT-3: 1) GPT-3 Medium ، 2) GPT-3 كبير مع كتل محولات متفرقة وكثيفة ، 3) أقوى GPT-3 كبير ، يتكون من كتل كثيفة. مجموعات البيانات التدريبية والرموز المميزة متطابقة لجميع الطرز - تم استخدام رمز BBPE المميز ومجموعة بياناتنا الكبيرة 1 المخصصة بحجم 600 غيغابايت (تم تقديم تكوينها في النص أعلاه).
جميع النماذج الثلاثة متاحة للتنزيل في مستودع المنافسة.
فيما يلي بعض الأمثلة الممتعة لكيفية عمل النموذج الثالث:
كيف ستغير نماذج مثل GPT-3 عالمنا؟
من المهم أن نفهم أن نماذج مثل GPT-1/2/3 ، في الواقع ، تحل مشكلة واحدة بالضبط - تحاول التنبؤ بالرمز المميز التالي (عادةً كلمة أو جزء منه) في تسلسل النماذج السابقة. هذا النهج يجعل من الممكن استخدام البيانات "غير المسماة" للتدريب ، أي بدون إشراك "مدرس" ، ومن ناحية أخرى ، فإنه يسمح بحل مجموعة واسعة من المشكلات من مجال البرمجة اللغوية العصبية. في الواقع ، في نص الحوار ، على سبيل المثال ، يكون الرد-الرد استمرارًا لتاريخ الاتصال ، في عمل خيالي - يتابع نص كل فقرة النص السابق ، وفي جلسة الأسئلة والأجوبة ، يتبع نص الإجابة نص السؤال. ونتيجة لذلك ، يمكن للنماذج ذات السعة الكبيرة حل العديد من هذه المشكلات دون تدريب إضافي خاص - فهي تحتاج فقط إلى أمثلة تتناسب مع "سياق النموذج"الذي يحتوي على GPT-3 مثير للإعجاب - ما يصل إلى 2048 رمزًا مميزًا.
GPT-3 ليست قادرة فقط على إنشاء نصوص (بما في ذلك القصائد والنكات والمحاكاة الساخرة الأدبية) ، ولكن أيضًا تصحيح الأخطاء النحوية وإجراء الحوارات وحتى (OUT OF STATE!) كتابة أكثر أو أقل من كود البرنامج ذي المعنى. يمكن العثور على العديد من الاستخدامات المثيرة للاهتمام لـ GPT-3 على موقع الباحث المستقل Gwern Branwen. برانوين ، الذي يطور فكرة عبر عنها أندريه كارباثي في تغريدة مزحة ، يطرح سؤالًا مثيرًا للاهتمام: هل نشهد ظهور نموذج برمجة جديد؟
إليكم نص تغريدة كارباتي الأصلية:
"أحب فكرة البرنامج 3.0. تنتقل البرمجة من إعداد مجموعات البيانات إلى إعداد الاستعلامات التي تسمح لنظام التعلم التلوي "بفهم" المهمة التي يحتاج إلى إنجازها. LOL "[أحببت فكرة البرنامج 3.0. انتقال البرمجة من تنظيم مجموعات البيانات إلى تنسيق المطالبات لجعل المتعلم الفوقي "يحصل" على المهمة التي من المفترض أن يقوم بها. لول].
كتب برانوين وهو يطور فكرة كارباتي:
« GPT-3 [ ] , : , , , ( GPT-2); , , , [prompt], , , «» - , , . , , «» «», GPT-3 . « » , : , , , , , , , , , ».
نظرًا لأن نموذجنا "رأى" github و StackOverflow في عملية التعلم ، فهو قادر تمامًا على كتابة التعليمات البرمجية (أحيانًا لا تخلو من المعنى العميق جدًا):
ماذا بعد
هذا العام سنواصل العمل على نماذج المحولات العملاقة. ترتبط الخطط الإضافية بالتوسع الإضافي وتنظيف مجموعات البيانات (ستشمل ، على وجه الخصوص ، لقطات من خدمة ما قبل الطباعة arxiv.org للمنشورات العلمية ومكتبة أبحاث PubMed المركزية ومجموعات بيانات الحوار المتخصصة ومجموعات البيانات حول المنطق الرمزي) ، وزيادة حجم النماذج المدربة ، وكذلك استخدام رمز مميز محسن.
نأمل أن يؤدي نشر النماذج المدربة إلى تحفيز عمل الباحثين والمطورين الروس الذين يحتاجون إلى نماذج لغوية فائقة القوة ، لأنه على أساس ruGPT-3 يمكنك إنشاء منتجات أصلية خاصة بك وحل مختلف المشكلات العلمية والتجارية. جرب استخدام نماذجنا ، وجربها وتأكد من مشاركتها مع كل النتائج التي تحصل عليها. التقدم العلمي يجعل عالمنا أفضل وأكثر إثارة للاهتمام ، فلنعمل على تحسين العالم معًا!