اليوم لدينا محادثة مادية وتقنية مع ميخائيل بورتسيف ، رئيس مختبر الشبكات العصبية في MIPT. تشمل اهتماماته البحثية نماذج تعلم الشبكة العصبية ، والأنظمة العصبية المعرفية والهجينة العصبية ، وتطور الأنظمة التكيفية والخوارزميات التطورية ، وأجهزة التحكم العصبية والروبوتات. سيتم مناقشة كل هذا.
- كيف بدأ تاريخ مختبر الشبكات العصبية والتعلم العميق في Phystech؟
- في عام 2015 ، شاركت في مبادرة وكالة المبادرات الاستراتيجية (ASI) المسماة "أسطول الاستشراف" - وهي عبارة عن منصة متعددة الأيام للمناقشة في إطار المبادرة الفنية الوطنية. كان الموضوع الرئيسي يتعلق بالتقنيات التي يجب تطويرها حتى تظهر الشركات في روسيا مع إمكانية تولي مناصب قيادية في الأسواق العالمية. كانت الرسالة الرئيسية هي أنه من الصعب للغاية الدخول إلى الأسواق المشكلة ، لكن التقنيات تفتح مناطق جديدة وأسواقًا جديدة ، ويجب علينا الدخول إليها تحديدًا.
وهكذا أبحرنا على متن سفينة بمحرك على طول نهر الفولغا وناقشنا التقنيات التي يمكن أن تساعد في إنشاء مثل هذه الأسواق وكسر الحواجز التكنولوجية الحالية. وفي هذا النقاش حول المستقبل ، نما موضوع المساعدين الشخصيين. من الواضح أننا بدأنا بالفعل في استخدامها - Alexa و Alice و Siri ... وكان من الواضح أن هناك حواجز تقنية في التفاهم بين البشر وأجهزة الكمبيوتر. من ناحية أخرى ، تراكمت الكثير من التطورات البحثية ، على سبيل المثال في مجال التعلم المعزز ، في معالجة اللغة الطبيعية. وأصبح من الواضح أن العديد من المهام الصعبة يتم حلها بشكل أفضل بمساعدة الشبكات العصبية.
وكنت أقوم للتو بإجراء بحث حول خوارزميات الشبكة العصبية. استنادًا إلى نتائج مناقشات أسطول الاستشراف ، قمنا بصياغة مفهوم مشروع تطوير التكنولوجيا في المستقبل القريب ، والذي تم تحويله لاحقًا إلى مشروع iPavlov. كانت هذه بداية تفاعلي مع Phystech.
بمزيد من التفصيل ، قمنا بصياغة ثلاث مهام. البنية التحتية - إنشاء مكتبة مفتوحة لإجراء حوارات مع المستخدم. والثاني هو إجراء بحث في معالجة اللغة الطبيعية. بالإضافة إلى حل مشاكل العمل المحددة .
عمل سبيربنك كشريك ، وتم تشكيل المشروع نفسه تحت جناح المبادرة الفنية الوطنية.
, 2015 -: deephack.me — , , - , . Open Data Science.
في بداية عام 2018 ، نشرنا أول مستودع لمكتبتنا المفتوحة DeepPavlov ، وعلى مدار العامين الماضيين ، شهدنا نموًا مطردًا في مستخدميه (يركز على الروسية والإنجليزية): لدينا حوالي 50٪ من التركيبات من الولايات المتحدة الأمريكية ، و 20-30٪ من روسيا. بشكل عام ، اتضح أنه مشروع مفتوح المصدر ناجح إلى حد ما.
نحن لا نطور فقط بل نحاول أيضًا المساهمة في جدول أعمال البحث العالمي حول الذكاء الاصطناعي للمحادثة. إدراكًا للحاجة إلى المنافسة الأكاديمية في هذا المجال ، أطلقنا سلسلة تحديات الذكاء الاصطناعي للمحادثة كجزء من NeuIPS ، مؤتمر التعلم الآلي الرائد.
علاوة على ذلك ، نحن لا ننظم المسابقات فحسب ، بل نشارك أيضًا. لذلك ، شارك فريق مختبرنا العام الماضي في مسابقة من أمازون تسمى جائزة Alexa - لإنشاء روبوت محادثة يهتم الشخص بالتحدث معه لمدة 20 دقيقة.
ستبدأ المسابقة التالية في نوفمبر.
هذه مسابقة جامعية ، وكان جوهر المشاركين هو الطلاب وموظفي الجامعة. كان هناك 350 فريقًا إجمالاً ، سبعة تم اختيارهم للأفضل وثلاثة مدعوون بناءً على نتائج العام الماضي - لقد وصلنا إلى القمة.
أجرى نظام الحوار الخاص بنا حوالي 100 ألف حوار مع مستخدمين في الولايات المتحدة وفي النهاية حصل على تصنيف حوالي 3.35-3.4 من 5 ، وهو أمر جيد جدًا. يشير هذا إلى أننا تمكنا من تشكيل فريق عالمي المستوى في MIPT في وقت قصير إلى حد ما.
الآن يقوم المختبر بتنفيذ مشاريع مع شركات مختلفة ، بما في ذلك Huawei و Sberbank. مشاريع في اتجاهات مختلفة: AutoML ، نظرية الشبكة العصبية ، وبالطبع اتجاهنا الرئيسي - البرمجة اللغوية العصبية.
- حول المهام التي كانت صعبة في السابق على التعلم الآلي: لماذا بدأ التعلم العميق في حل هذه المشكلات؟
- من الصعب القول. سأصف الآن حدسي بطريقة مبسطة قليلاً. النقطة المهمة هي أنه إذا كان النموذج يحتوي على الكثير من المعلمات ، فمن المدهش أنه يمكن تعميم النتائج جيدًا على البيانات الجديدة. بمعنى أن عدد المعلمات يمكن أن يتناسب مع عدد الأمثلة. لنفس السبب ، قاوم ML الكلاسيكي ضغط الشبكات العصبية - يبدو أنه لا ينبغي أن يأتي أي شيء جيد منه في هذه الحالة.
صعود المعلمات في نماذج التعلم العميق ( المصدر ) من
المستغرب أنها ليست كذلك. أظهر Ivan Skorokhodov من مختبرنا ( .pdf ) أنه يمكن العثور على أي نمط ثنائي الأبعاد تقريبًا في مساحة وظيفة فقدان الشبكة العصبية.
يمكنك تحديد مستوى بحيث تتوافق كل نقطة على هذا المستوى مع مجموعة واحدة من معلمات الشبكة العصبية. وسيتوافق خسارتهم مع نمط تعسفي ، وبالتالي ، يمكنك التقاط مثل هذه الشبكات العصبية بحيث تقع مباشرة في هذه الصورة.
نتيجة مضحكة جدا. يشير هذا إلى أنه حتى مع هذه القيود السخيفة ، يمكن للشبكة العصبية أن تتعلم المهمة الموكلة إليها. هذا عن الحدس هنا ، نعم.
أمثلة على أنماط من مقال إيفان سكوروخودوف
- في السنوات الأخيرة ، لوحظ تقدم كبير في مجال التعلم العميق ، ولكن هل الأفق مرئي بالفعل حيث سندفن أنفسنا في حدود المؤشرات؟
النمو في حجم نماذج الذكاء الاصطناعي والموارد التي تستهلكها (المصدر: openai.com/blog/ai-and-compute/ )
- في البرمجة اللغوية العصبية لدينا ، لم يتم الشعور بالحد بعد ، على الرغم من أنه يبدو ، على سبيل المثال ، في التعلم المعزز ، أن شيئًا ما قد بدأ بالفعل زلة. أي أنه لم تكن هناك تغييرات نوعية على مدى العامين الماضيين. كان هناك ازدهار كبير من Atari إلى AlphaGo مع التهجين باستخدام Monte Carlo Tree Search ، ولكن الآن لا يوجد اختراق فوري.
ولكن في البرمجة اللغوية العصبية ، يكون العكس هو الآخر: الشبكات المتكررة ، والشبكات التلافيفية ، وأخيراً ، بنية المحولات و GPT نفسها ( أحد أحدث نماذج المحولات وأكثرها إثارة للاهتمام ، وغالبًا ما تستخدم لإنشاء النصوص - ملاحظة المؤلف) هو بالفعل تطور شامل بحت. وبعد ذلك يبدو أنه لا يزال هناك هامش لتحقيق شيء جديد. لذلك ، في البرمجة اللغوية العصبية ، فإن الشريط من أعلى غير مرئي بعد. على الرغم من أنه يكاد يكون من المستحيل التنبؤ بأي شيء هنا.
- إذا تخيلنا تطور اللغات والأطر للتعلم الآلي ، فانتقلنا من الكتابة (المشروط) في numpy الخالص ، scikit-Learn إلى tensorflow ، keras - نمت مستويات التجريد. ما التالي بالنسبة لنا؟
— , : - . , , low level high level code: numpy . , , NLP : .
- Tensorflow / Pytorch — : .
- : NLP- — DeepPavlov.
- : — DeepPavlov Dream .
- نظام للتبديل بين المهارات / خطوط الأنابيب ، بما في ذلك وكيل DeepPavlov الخاص بنا.
تكديس تقنيات الذكاء الاصطناعي للمحادثة
تتطلب التطبيقات والمهام المختلفة مرونة مختلفة في الأدوات ، وبالتالي لا أعتقد أن أي عناصر من هذا التسلسل الهرمي ستختفي. سيتطور كل من الأنظمة منخفضة المستوى وعالية المستوى عند الحاجة. على سبيل المثال ، المكتبات المرئية غير المتوفرة للمبرمجين ، ولكن أيضًا المكتبات منخفضة المستوى للمطورين لن تذهب إلى أي مكان.
- هل يتم إجراء التجارب الاجتماعية الآن عن طريق القياس مع اختبار تورينج الكلاسيكي ، حيث يجب على الناس فهم ما إذا كانت الشبكة العصبية أمامهم أم شخصًا؟
- يتم إجراء مثل هذه التجارب بانتظام. في تحدي Alexa ، كان على الشخص تقييم جودة المحادثة دون معرفة ما إذا كان يتحدث إلى روبوت أو شخص. حتى الآن ، من وجهة نظر محادثة مباشرة ، فإن الفرق بين الآلة والشخص كبير ، لكنه يتناقص كل عام. بالمناسبة ، مقالنا حول هذا صدر للتو في مجلة AI.
خارج المجتمع العلمي ، يتم ذلك بانتظام. في الآونة الأخيرة ، قام شخص ما بتدريب نموذج GPT ، وإنشاء حساب Twitter لها ، وبدأ في نشر الردود. اشترك الكثير من الأشخاص ، واكتسب الحساب شهرة ، ولم يعرف أحد أنه شبكة عصبية.
مثل هذا التنسيق القصير ، كما هو الحال على Twitter ، عندما تكون الصياغات عامة و "عميقة" ، يناسب نظام استدلال الشبكة العصبية تمامًا.
- ما المجالات التي تعتبرها واعدة ، حيث تتوقع قفزة؟
- ( يضحك .) يمكنني القول أنه في توحيد كل الاتجاهات المفضلة لدي ، ستكون هناك قفزة. سأحاول أن أصف بمزيد من التفصيل في إطار الإشكالية. لدينا نماذج GPT الحالية القائمة على المحولات - ليس لها أي غرض في الحياة ، فهي تولد نصًا شبيهًا بالبشر ، بلا هدف تمامًا. ولا يمكنهم ربطه بالوضع والأهداف في سياق العالم نفسه.
وإحدى الطرق هي إنشاء ارتباط لرؤية منطقية للعالم بـ GPT ، والتي قرأت الكثير ، والكثير من النصوص ، وفيها بالفعل ، هناك بالفعل العديد من الروابط المنطقية. على سبيل المثال ، من خلال التهجين مع ويكي بيانات (هذا رسم بياني يصف المعرفة حول العالم ، وفي الجزء العلوي منها مقالات ويكيبيديا).
إذا تمكنا من ربط الاثنين بحيث يمكن لـ GPT استخدام قاعدة المعرفة ، فسيكون ذلك قفزة إلى الأمام.
النهج الثاني لمشكلة انعدام الهدف في نماذج البرمجة اللغوية العصبية يعتمد على دمج فهم الأهداف البشرية فيها. إذا كان لدينا نموذج يمكنه قيادة نموذج لغة توليدي مرتبط برسم بياني معرفي ، فيمكننا تدريبه لمساعدة الشخص على تحقيق أهدافه. ويجب أن يفهم هذا المساعد الشخص من خلال البرمجة اللغوية العصبية ، وأهداف الشخص والوضع - ثم يحتاج إلى التخطيط للإجراءات. وفي التخطيط ، يعمل التعلم المعزز بشكل أفضل.
كيفية دمج كل هذا وتحسينه هو سؤال مفتوح.
وآخرها هو البحث عن معماريات الشبكة العصبية. عندما ، على سبيل المثال ، باستخدام المناهج التطورية ، فإننا نبحث في فضاء البنى الأفضل لمهمة معينة. لكن كل هذا لن يتم تحديده اليوم - فهناك مساحة كبيرة للبحث.
من الأخبار السارة: تتطور الأجهزة بسرعة كبيرة ، وربما سيسمح لنا هذا خلال 5-10 سنوات بدمج نماذج لغة الشبكة العصبية والرسوم البيانية المعرفية والتعلم المعزز. وبعد ذلك سيكون لدينا قفزة نوعية في فهم الإنسان من خلال الآلة.
بمساعدة مثل هذا المساعد ، سيكون من الممكن إطلاق حل المهام الأخرى: تحليل الصور ، تحليل السجلات الطبية أو الوضع الاقتصادي ، اختيار البضائع.
لذلك ، أود أن أقول إنه من وجهة نظر علمية ، في السنوات الخمس المقبلة سنشهد تطورًا سريعًا في مجال التهجين - هناك الكثير من المهام الرائعة.
يا رفاق ، سيكون نقص الموظفين هائلاً ، وهناك فرصة كبيرة للحصول على نتائج جديدة ومثيرة للاهتمام ، وكذلك للتأثير على تطوير الصناعة. كن على اتصال - عليك أن تغتنم اللحظة!( يدعم المؤلف هذه الإجابة بنشاط ، لأنه يتعامل مع مثل هذه الأنظمة فقط ) .
- كيف تبدأ الغوص في التعلم العميق؟
- أسهل طريقة ، كما يبدو لي ، هي أخذ دورة في مدرسة التعلم العميق : في البداية كانت مخصصة لطلاب المدارس الثانوية ، لكنها ستكون مناسبة تمامًا للطلاب. بشكل عام ، هذه مهمة عظيمة ، لقد ساعدت في تحديد المواعيد وإلقاء محاضرات تمهيدية هناك.
أوصي أيضًا بمشاهدة الدورات التمهيدية من الجامعات ، والقيام بالمهام - هناك الكثير من الأشياء على الإنترنت. أفضل أدوات "اللعب" هي Colab من Google ، وهناك الملايين من الأمثلة على المهام ، يمكنك فهم وتشغيل أحدث الحلول - دون تثبيت أي برنامج على جهاز الكمبيوتر الخاص بك على الإطلاق.
هناك طريقة أخرى للتنافس على Kaggle. وانضم أيضًا إلى Open Data Science - مجتمع ناطق بالروسية لعلوم البيانات، حيث توجد العديد من قنوات التعلم العميق. يوجد دائمًا أشخاص هناك على استعداد للمساعدة في تقديم المشورة والرموز.
هذه هي الطرق الرئيسية.
معرف القائد : الأصدقاء ، بالنسبة للاختيار الذي تم إطلاقه الآن للمسرع للترويج لمشاريع الذكاء الاصطناعي ، فقد فكرنا في خيار تسجيل الدخول للمطورين المستقلين. لا ، هذا لا يغير الشروط الأساسية التي بموجبها تشارك الفرق فقط في التدريب المكثف. لكن لدينا الكثير من الأسئلة من الأفراد الذين ليس لديهم مشروعهم الخاص الآن ، لكنهم يرغبون في المشاركة (وهؤلاء ليسوا مبرمجين فقط ، فالمصممين لديهم اهتمام كبير بمشاريع الذكاء الاصطناعي). ووجدنا حلاً: سنساعد في جمع فريق وأشخاص متشابهين في التفكير من خلال هاكاثون مجاني عبر الإنترنت . سيبدأ في 10 أكتوبر الساعة 12:00 وينتهي بعد يوم واحد بالضبط. على ذلك ، سيقوم الروبوت بتوزيعك على فرق ، وبعد ذلك ، تحت قيادته ، ستمر بالمراحل الرئيسية لتطوير المشروع وتقديمه إلى Archipelago 20.35. جميع التفاصيل في حسابك الشخصي ، ما عليك سوى التسجيل في الوقت المناسب.
