ركود تعلم الآلة. العديد من المهام لن تحل ابدا؟

كانت السنوات الأخيرة من التعلم العميق عبارة عن سلسلة متواصلة من الإنجازات: من هزيمة الأشخاص في لعبة Go إلى الريادة العالمية في التعرف على الصور والتعرف على الصوت وترجمة النصوص وغيرها من المهام. لكن هذا التقدم ترافق مع زيادة لا تشبع في الشهية لقوة الحوسبة. نشرت مجموعة من العلماء من معهد ماساتشوستس للتكنولوجيا وجامعة يونس (كوريا) وجامعة برازيليا تحليلاً تلويًا لـ 1058 ورقة علمية حول التعلم الآلي . يظهر بوضوح أن التقدم في التعلم الآلي (ML) هو مشتق من قوة الحوسبة للنظام . لطالما حد أداء الكمبيوتر من وظائف ML ، ولكن الآن احتياجات نماذج ML الجديدة تنمو بشكل أسرع بكثير من أداء الكمبيوتر.



توضح الدراسة أن التطورات في التعلم الآلي هي في الواقع أكثر قليلاً من مجرد نتيجة لقانون مور. ولهذا السبب ، لن يتم حل العديد من مشكلات ML بسبب القيود المادية للكمبيوتر.



قام الباحثون بتحليل الأوراق العلمية حول تصنيف الصور (ImageNet) ، والتعرف على الأشياء (MS COCO) ، والإجابة على الأسئلة (SQuAD 1.1) ، والتعرف على الكيانات المسماة (COLLN 2003) ، والترجمة الآلية (WMT 2014 En-to-Fr).





^{استعلامات الحوسبة ML ، مقياس السجل تبين أن}



التقدم في جميع المجالات الخمسة يعتمد بشكل كبير على زيادة قوة الحوسبة. يوضح استقراء هذه العلاقة أن التقدم في هذه المجالات أصبح سريعًا غير مستدام اقتصاديًا وتقنيًا وبيئيًا. وبالتالي ، سيتطلب المزيد من التقدم في هذه التطبيقات طرقًا أكثر كفاءة من الناحية الحسابية.





^{تحسين الأداء في مهام التعلم الآلي المختلفة كدالة للقوة الحسابية لنموذج التعلم (في gigaflops)}

لماذا يعتمد التعلم الآلي على القوة الحسابية

هناك أسباب مهمة للاعتقاد بأن التعلم العميق يعتمد بطبيعته على الحساب أكثر من الأساليب الأخرى. على وجه الخصوص ، بسبب دور hyperparametrization وكيف يتم توسيع نطاق النظام ، عند استخدام بيانات تدريب إضافية لتحسين جودة النتيجة (على سبيل المثال ، لتقليل معدل أخطاء التصنيف ، جذر متوسط ​​الخطأ التربيعي للانحدار ، وما إلى ذلك).



لقد ثبت أن المعالجة المفرطة توفر مزايا كبيرة ، أي تنفيذ الشبكات العصبية بمعلمات أكثر من عدد نقاط البيانات المتاحة للتدريب عليها. كلاسيكيا ، هذا من شأنه أن يؤدي إلى فرط تجهيز. لكن تقنيات تحسين التدرج العشوائي توفر تأثيرًا منظمًا على حساب التوقف المبكر ، مما يضع الشبكات العصبية في وضع الاستيفاء حيث تتناسب بيانات التدريب تمامًا تقريبًا ، مع الحفاظ على تنبؤات معقولة عند النقاط الوسيطة. مثال على الشبكات واسعة النطاق ذات المعالجة الفائقة هو أحد أفضل أنظمة التعرف على الأنماط NoisyStudent ، التي تحتوي على 480 مليون معلمة لـ 1.2 مليون نقطة بيانات ImageNet.



تكمن مشكلة المعالجة المفرطة في أن عدد معلمات التعلم العميق يجب أن ينمو مع زيادة عدد نقاط البيانات. نظرًا لأن تكلفة تدريب نموذج التعلم العميق تتناسب مع ناتج عدد المعلمات وعدد نقاط البيانات ، فإن هذا يعني أن المتطلبات الحسابية تنمو على الأقل بمقدار مربع عدد نقاط البيانات في نظام مفرط الباراميتريزيد. لا يقدّر القياس التربيعي بشكل كافٍ مدى السرعة التي تحتاجها شبكات التعلم العميق للنمو ، نظرًا لأن كمية بيانات التدريب يجب أن تتسع بشكل أسرع بكثير من الخطي من أجل الحصول على تحسينات في الأداء الخطي.



ضع في اعتبارك نموذجًا توليديًا ، يحتوي على 10 قيم غير صفرية من أصل 1000 ممكن ، وفكر في أربعة نماذج لمحاولة اكتشاف هذه المعلمات:

• : 10
  
  
• : 9 1
  
  
• : 1000 ,
  
  
• : , 1000 , ()

^{تأثير تعقيد النموذج وتنظيمه على أداء النموذج (يُقاس على أنه سجل سالب ₁₀ متوسط ​​الجذر المعياري للخطأ التربيعي مقابل المتنبئ الأمثل) وعلى المتطلبات الحسابية التي يبلغ متوسطها أكثر من 1000 محاكاة لكل حالة ؛ أ) متوسط ​​الإنتاجية مع زيادة أحجام العينات ؛ ب) متوسط ​​الحساب المطلوب لتحسين الأداء}



يلخص هذا الرسم البياني المبدأ الذي حدده Andrew Ng: تعمل طرق التعلم الآلي التقليدية بشكل أفضل على البيانات الصغيرة ، لكن نماذج ML المرنة تعمل بشكل أفضل على البيانات الضخمة. من الظواهر الشائعة للنماذج الرشيقة أنها تتمتع بإمكانيات أعلى ، ولكنها تتمتع أيضًا بقدر أكبر من البيانات والاحتياجات الحسابية.



يمكننا أن نرى أن التعلم العميق يعمل بشكل جيد لأنه يستخدم hyperparametrization لإنشاء نموذج مرن للغاية وتنظيم (ضمني) لتقليل تعقيد العينة إلى مستويات مقبولة. ومع ذلك ، في الوقت نفسه ، يعد التعلم العميق أكثر كثافة من الناحية الحسابية من النماذج الأكثر كفاءة. وبالتالي ، فإن زيادة مرونة ML يعني الاعتماد على كميات كبيرة من البيانات والحسابات.

الحدود الحسابية

لطالما حد أداء الكمبيوتر من قوة أنظمة ML.



على سبيل المثال ، وصف فرانك روزنبلات أول شبكة عصبية ثلاثية الطبقات في عام 1960. كان من المأمول أن "توضح إمكانيات استخدام البيرسبترون كأداة للتعرف على الأنماط". لكن روزنبلات وجد أنه "مع زيادة عدد الاتصالات على الشبكة ، سرعان ما يصبح الحمل على جهاز كمبيوتر رقمي نموذجي مفرطًا". في وقت لاحق من عام 1969 ، أوضح مينسكي وبابيرت قيود الشبكات ثلاثية الطبقات ، بما في ذلك عدم القدرة على تعلم وظيفة XOR بسيطة. لكنهم لاحظوا حلاً محتملاً: "وجد المجربون طريقة ممتعة للتغلب على هذه الصعوبة من خلال إدخال سلاسل أطول من الوحدات الوسيطة" (أي من خلال بناء شبكات عصبية أعمق). على الرغم من هذا الحل المحتمل ، فقد تم التخلي عن الكثير من العمل الأكاديمي في هذا المجال.لأنه في ذلك الوقت لم يكن هناك ما يكفي من قوة الحوسبة.



في العقود التي تلت ذلك ، أدت التحسينات في الأجهزة إلى مكاسب في الأداء بلغت حوالي 50000 مرة ، وزادت الشبكات العصبية بشكل متناسب من احتياجاتها الحسابية ، كما هو موضح في KDPV. نظرًا لأن الزيادة في قوة الحوسبة بمقدار دولار واحد تتطابق تقريبًا مع قوة الحوسبة لكل شريحة ، ظلت التكاليف الاقتصادية لتشغيل مثل هذه النماذج مستقرة إلى حد كبير بمرور الوقت.



على الرغم من هذا التسريع الكبير لوحدة المعالجة المركزية ، كانت نماذج التعلم العميق لا تزال بطيئة للغاية بالنسبة للتطبيقات واسعة النطاق في عام 2009. أجبر هذا الباحثين على التركيز على نماذج أصغر أو استخدام أمثلة تدريب أقل.



كانت نقطة التحول هي نقل التعلم العميق إلى وحدة معالجة الرسومات ، والتي أعطت التسارع على الفور5-15 مرة ، والتي بحلول عام 2012 نمت إلى 35 مرة مما أدى إلى فوز مهم لـ AlexNet في مسابقة Imagenet لعام 2012 . لكن التعرف على الصور كان فقط المعيار الأول الذي فازت فيه أنظمة التعلم العميق. سرعان ما فازوا في اكتشاف الكائنات ، والتعرف على الكيانات المسماة ، والترجمة الآلية ، والإجابة على الأسئلة ، والتعرف على الكلام.



أدى إدخال التعلم العميق على وحدات معالجة الرسومات (ثم ASICs) إلى اعتماد هذه الأنظمة على نطاق واسع. لكن مقدار قوة الحوسبة في أنظمة ML الحديثة نما بشكل أسرع ، حوالي 10 مرات في السنة من 2012 إلى 2019. هذه السرعة أسرع بكثير من التحسن العام من الانتقال إلى وحدات معالجة الرسومات ، أو المكسب المتواضع من اللحظات الأخيرة لقانون مور ، أو من زيادة كفاءة تدريب الشبكات العصبية.



وبدلاً من ذلك ، جاءت المكاسب الرئيسية في كفاءة التعلم الآلي من تشغيل النماذج على فترات زمنية أطول على المزيد من الأجهزة. على سبيل المثال ، في عام 2012 ، تدربت AlexNet على وحدتي معالجة رسوميات لمدة 5-6 أيام ، وفي عام 2017 ، تدربت ResNeXt-101 على ثماني وحدات معالجة رسومية لأكثر من 10 أيام ، وفي عام 2019 ، تدربت شركة NoisyStudent على حوالي ألف وحدة معالجة رسومات (TPU) لمدة 6 أيام. مثال متطرف آخر هو نظام الترجمة الآلية Evolved Transformer ، والذي استخدم أكثر من 2 مليون ساعة من GPU في التدريب ، والتي كلفت ملايين الدولارات.



يعد توسيع نطاق حسابات التعلم العميق عن طريق زيادة ساعات الأجهزة أو المزيد من الرقائق مشكلة على المدى الطويل. لأنه يعني ضمناً أن التكاليف تقيس بنفس معدل الزيادات في قوة الحوسبة ، وهذا يجعل من المستحيل تحقيق المزيد من النمو بسرعة.

مستقبل

استنتاج محزن مما سبق.



يوضح الجدول التالي مقدار القوة الحسابية وتكلفة النظام التي ستحقق أهدافًا معينة في مشاكل تعلم الآلة ، إذا استقرينا من النماذج الحالية. سيتم تشغيل مهام التعلم الآلي على أقوى أجهزة الكمبيوتر العملاقة. يعتقد مؤلفو العمل العلمي أن متطلبات الأهداف المحددة لن تتحقق . على الرغم من أنهم يفكرون في الخيارات الممكنة نظريًا لتحقيقها: تحسين الكفاءة دون زيادة الأداء ، ومسرعات الأجهزة مثل TPU و FPGA ، والحوسبة العصبية ، والحوسبة الكمومية وغيرها ، لا تسمح لك أي من هذه التقنيات (حتى الآن) بالتغلب على الحدود الحسابية لـ ML.

. .