أزمة التكاثر في أبحاث الذكاء الاصطناعي

يهيمن عمالقة التكنولوجيا على أبحاث الذكاء الاصطناعي ، لكن الخط الفاصل بين الاختراقات الحقيقية وإعلانات المنتجات التجارية يتلاشى تدريجياً. يعتقد بعض العلماء أن الوقت قد حان لوقف هذا.

في الشهر الماضي ، نشرت مجلة Nature مراجعة مسيئة وقعها 31 عالمًا. لم تعجبهم دراسة Google Health التي ظهرت سابقًا في نفس المجلة. في ذلك ، وصفت Google النتائج الناجحة لاختبار الذكاء الاصطناعي (AI) الذي بحث عن علامات سرطان الثدي في الصور الطبية. يجادل النقاد بأن فريق Google قدم القليل جدًا من المعلومات حول الشفرة وتقدم الاختبار بحيث بدت الدراسة أشبه بوصف ترويجي لتقنية خاصة مغلقة.



يقول بنجامين هايبي كاينز ، كبير المراجعين الذي يدرس الجينوميات الحاسوبية في جامعة تورنتو: "لم نتمكن من تحملها أكثر من ذلك". "ولا يتعلق الأمر بهذه الدراسة بالذات - لقد لاحظنا اتجاهًا مشابهًا لسنوات عديدة متتالية ، وهذا يزعجنا حقًا."



تعد هايبي كاينز وزملاؤها من بين عدد متزايد من العلماء الذين يقاومون النقص الواضح في الشفافية في أبحاث الذكاء الاصطناعي. يقول: "بعد مشاهدة هذا العمل من Google ، أدركنا أن هذا كان مجرد مثال آخر لسلسلة من المنشورات المتحمسة في مجلة تحظى باحترام كبير لا علاقة لها بالعلوم". - هذا إعلان عن التكنولوجيا الرائعة. لا يمكننا فعل أي شيء حيال ذلك ".



يعتمد العلم على الثقة ، بما في ذلك الكشف عن تفاصيل كيفية إجراء البحث بتفاصيل كافية للآخرين لتكرار نتائجهم والتحقق من صحتها. هذه هي الطريقة التي يصحح بها العلم نفسه ويستأصل النتائج غير المؤكدة. تسمح القابلية للتكاثر للآخرين ببناء عملهم على تلك النتائج ، مما يساعد على دفع مجال المعرفة إلى الأمام. العلم ، الذي لا يمكن إعادة إنتاجه ، يجد نفسه على هامش التاريخ.



على الأقل من الناحية النظرية. من الناحية العملية ، هناك القليل من الدراسات التي يمكن استنساخها بالكامل ، لأن معظم الباحثين يهتمون بالحصول على نتائج جديدة أكثر من تكرار النتائج القديمة. ومع ذلك ، في مجالات مثل علم الأحياء والفيزياء وعلوم الكمبيوتر ، يتوقع الباحثون أن يقدم المؤلفون معلومات كافية لمشاركتها بحيث يمكن تكرار هذه التجارب - حتى لو كان ذلك نادرًا.

مبتدئ طموح

يتم تأنيب الذكاء الاصطناعي لعدة أسباب. أولاً ، إنه مبتدئ. لقد أصبح علمًا تجريبيًا في السنوات العشر الماضية ، كما يقول جويل بينيو ، عالم الكمبيوتر في Facebook AI Research وجامعة McGill ، المؤلف المشارك للشكوى. تقول: "في البداية كان مجالًا نظريًا بحتًا ، لكننا الآن نجري المزيد والمزيد من التجارب". "والتزامنا بمنهجية صارمة يتخلف عن طموح تجاربنا."



هذه ليست مجرد مشكلة أكاديمية. يجعل الافتقار إلى الشفافية من المستحيل اختبار نماذج وتقنيات الذكاء الاصطناعي الجديدة بشكل صحيح من أجل الموثوقية وغياب التشويه والأمان. ينتقل الذكاء الاصطناعي بسرعة من مختبرات الأبحاث إلى العالم الحقيقي ، مما يؤثر بشكل مباشر على حياة الناس. ومع ذلك ، يمكن لنماذج التعلم الآلي (ML) التي تعمل بشكل جيد في المختبر أن تتعطل في العالم الحقيقي ، مما قد يؤدي إلى عواقب وخيمة. ستكشف إعادة إنتاج نتائج التجارب التي أجراها باحثون مختلفون في ظروف مختلفة عن المشكلات المحتملة بسرعة أكبر ، مما سيجعل الذكاء الاصطناعي أكثر موثوقية للجميع.



يعاني الذكاء الاصطناعي بالفعل من مشكلة "الصندوق الأسود": في بعض الأحيان يكون من المستحيل تحديد كيف أو لماذا ينتج نموذج ML هذه النتيجة بالضبط. إن الافتقار إلى الشفافية في البحث يزيد الأمور سوءًا. تتطلب النماذج الكبيرة أكبر عدد ممكن من المراقبين حتى يتمكن المزيد من الأشخاص من تجربة عملهم وفهمه. هذه هي الطريقة التي يمكنك بها جعل استخدام الذكاء الاصطناعي في الرعاية الصحية أكثر أمانًا ، وفي النظام العام أكثر عدلاً ، وفي غرف الدردشة أكثر تهذيبًا.



يعيق الاستنساخ الطبيعي للذكاء الاصطناعي عدم وجود ثلاثة أشياء: الكود والبيانات والأجهزة. حالة الذكاء الاصطناعي لعام 2020"وجد تحليل سنوي تم التحقق منه من قبل المستثمرين Nathan Benaich و Ian Hogarth أن 15٪ فقط من أبحاث الذكاء الاصطناعي تشترك في الكود. من المرجح أن يسيء الباحثون في الصناعة السلوك أكثر من علماء الجامعات. وعلى وجه الخصوص ، تم تسليط الضوء على شركات OpenAI في التقرير. و DeepMind ، وهما الأقل احتمالًا لمشاركة التعليمات البرمجية الخاصة بهما.



يتم الشعور بنقص الأدوات اللازمة للتكرار بشكل أكثر حدة عندما يتعلق الأمر بعاملي الذكاء الاصطناعي - البيانات والأجهزة. غالبًا ما يتم الاحتفاظ بالبيانات في أيدٍ خاصة - على سبيل المثال ، البيانات التي يجمعها Facebook عن مستخدميها - أو تكون حساسة ، كما هو الحال مع السجلات الطبية. يقوم عمالقة التكنولوجيا بإجراء المزيد والمزيد من الأبحاث حول مجموعات الكمبيوتر الضخمة والمكلفة للغاية والتي لا يستطيع الوصول إليها سوى عدد قليل من الجامعات أو الشركات الصغيرة.



على سبيل المثال ، تدريب مولد لغة GPT-3 ، وفقًا لبعض التقديرات، تكلف OpenAI ما بين 10 إلى 12 مليون دولار - وهذا فقط إذا أخذنا في الاعتبار أحدث طراز ، دون مراعاة التكلفة أو تطوير النماذج الأولية وتدريبها. يقول بينايش ، مؤسس شركة رأس المال الاستثماري الناشئة في منظمة العفو الدولية Air Street Capital: "عندئذ يمكن زيادة هذا الرقم على الأرجح بمقدار أو اثنين". ويقول إن نسبة ضئيلة من شركات التكنولوجيا الكبيرة تستطيع تحمل ذلك: "لا يمكن لأي شخص آخر تخصيص مثل هذه الميزانيات الضخمة لمثل هذه التجارب".





سؤال افتراضي: يمكن لبعض الأشخاص الوصول إلى GPT-3 والبعض الآخر لا. ماذا يحدث عندما نرى عملًا جديدًا ناشئًا حيث يستخدم الأشخاص خارج مشروع OpenAI GPT-3 للحصول على أفضل النتائج؟

والمشكلة الرئيسية هي: هل تختار شركة OpenAI الباحثين الفائزين والخاسرين؟



سرعة التقدم مذهلة. يتم نشر آلاف الأعمال كل عام. ومع ذلك ، إذا كنت لا تعرف بمن تثق ، فمن الصعب للغاية تعزيز تنمية هذا المجال. يسمح النسخ المتماثل للباحثين الآخرين بالتحقق من أن المؤلفين لم يتطابقوا يدويًا مع أفضل النتائج وأن التقنيات الجديدة تعمل بالفعل كما هو موصوف. يقول بينو: "تزداد صعوبة التمييز بين النتائج الموثوقة والباقي".



ما الذي يمكن القيام به هنا؟ مثل العديد من الباحثين الآخرين في مجال الذكاء الاصطناعي ، يقسم Pigno وقته بين الجامعة ومختبرات الشركات. في السنوات الأخيرة ، أثرت بنشاط في نظام نشر أبحاث الذكاء الاصطناعي. على سبيل المثال ، ساعدت في العام الماضي في الترويج لقائمة العناصر التي يجب على الباحثين التأكد منها في ورقة مقدمة إلى أحد أكبر مؤتمرات الذكاء الاصطناعي ، وهو NeurIPS. يتضمن رمز ووصف تفصيلي للتجارب.

التكاثر هو قيمة في حد ذاته

ساعد Pinho أيضًا في إطلاق العديد من مسابقات التكرار التي يحاول فيها الباحثون تكرار نتائج الباحثين المنشورين. يختار المشاركون الأوراق المقبولة في المؤتمرات ويتنافسون مع بعضهم البعض بإجراء تجارب بناءً على المعلومات المقدمة. صحيح أنهم لا يتلقون سوى التقدير كمكافأة.



لا يؤدي الافتقار إلى الحافز إلى انتشار مثل هذه الممارسات في جميع مجالات البحث ، وليس فقط في مجال الذكاء الاصطناعي. التكاثر أمر ضروري ، لكن لا يتم تشجيعه بأي شكل من الأشكال. أحد الحلول لهذه المشكلة هو إشراك الطلاب في هذا العمل. في العامين الماضيين ، نظمت روزماري كي ، دكتوراه من Mila ، وهو معهد أبحاث في مونتريال أسسه يوشوا بنجيو ، مسابقة استنساخ، في إطاره يحاول الطلاب إعادة إنتاج الأبحاث المقدمة إلى NeurIPS في إطار التدريب. تتم مراجعة بعض المحاولات الناجحة ونشرها في ReScience.



يقول كي: "إن إعادة إنتاج عمل شخص آخر من الصفر يتطلب الكثير من الجهد". "تكافئ مسابقة إعادة الإنتاج هذا الجهد وتكرم الأشخاص الذين يؤدون أداءً جيدًا." ويتحدث كي وآخرون عن هذه المحاولات في مؤتمرات الذكاء الاصطناعي ، وينظمون ورش عمل لتشجيع الباحثين على إضافة الشفافية إلى عملهم. وفي هذا العام ، وسع بينهو وكي مسابقتهما إلى أكبر سبعة مؤتمرات للذكاء الاصطناعي ، بما في ذلك ICML و ICLR.



مشروع آخر لتعزيز الشفافية يسمى أوراق مع رمز. تم تنظيمه من قبل الباحث في الذكاء الاصطناعي روبرت ستوينك عندما كان يعمل في جامعة كامبريدج. يعمل الآن هو وبينهو معًا على Facebook. تم إطلاق المشروع لأول مرة كموقع ويب مستقل حيث يمكن للباحثين ربط عملهم بالشفرة التي استخدموها. هذا العام ، دخل المشروع في شراكة مع خادم arXiv preprint الشهير. منذ تشرين الأول (أكتوبر) ، تحتوي جميع أعمال التعلم الآلي المنشورة على arXiv على قسم "أوراق مع رمز" ، حيث يوجد رابط إلى الكود الذي يكون مؤلفو العمل جاهزين لنشره. الهدف من المشروع هو جعل توزيع مثل هذا الرمز هو القاعدة.



هل تؤثر هذه المحاولات على أي شيء؟ وجد Pigno أنه في العام الماضي ، عندما تم إصدار قائمة المتطلبات الأساسية ، زاد عدد الأوراق المقدمة بشفرة المقدمة إلى مؤتمر NeurIPS من 50٪ إلى 75٪. يقول الآلاف من المراجعين إنهم استخدموا الكود لتقييم الطلبات المقدمة. عدد المشاركين في مسابقة استنساخ آخذ في الازدياد.

الشر في التفاصيل

ولكن هذا هو مجرد بداية. يشير Haibe-Kains إلى أن الشفرة وحدها لا تكفي في كثير من الأحيان لإعادة إجراء التجربة. لبناء نماذج الذكاء الاصطناعي ، عليك إجراء العديد من التغييرات الصغيرة - إضافة معلمة هناك ، القيمة هنا. أي من هؤلاء يمكن أن يجعل نموذج العمل لا يعمل. بدون بيانات وصفية تصف كيفية تدريب النماذج وضبطها ، يمكن أن يكون الرمز عديم الفائدة. يقول: "إن الشيطان حقًا في الأشياء الصغيرة".



كما أنه ليس من الواضح دائمًا الرمز الذي يجب توزيعه تستخدم العديد من المعامل برامج خاصة لتشغيل النماذج. في بعض الأحيان يكون هذا برمجيات احتكارية. كما أنه من الصعب أحيانًا تحديد أي جزء من الكود تريد مشاركته ، كما تقول هايبي كاينز.



لا يهتم بينهو بشكل خاص بهذه العقبات. وتقول: "هناك الكثير مما يمكن توقعه من توزيع الكود". تعد مشاركة البيانات أكثر صعوبة ، ولكن هناك حلول. إذا كان الباحثون غير قادرين على مشاركة البيانات ، فيمكنهم تقديم إرشادات حول كيفية جمع مجموعة البيانات المناسبة بأنفسهم. أو يمكنك الترتيب لعدد صغير من المراجعين للوصول إلى البيانات والتحقق من صحة النتائج لأي شخص آخر ، كما يقول خيب-كين.



أكبر مشكلة مع الجهاز. تدعي DeepMind أن المشاريع الكبيرة مثل AlphaGo أو GPT-3 ، والتي تنفق عليها المعامل الكبيرة الأموال ، ستفيد الجميع في النهاية. يتعذر على الباحثين الآخرين الوصول إليه في المراحل المبكرة ، غالبًا ما يصبح الذكاء الاصطناعي ، الذي يتطلب قوة حوسبة ضخمة ، أكثر كفاءة ويمكن الوصول إليه أثناء التطوير. قال Koray Kavukchuoglu ، نائب رئيس الأبحاث في DeepMind: "تفوقت AlphaGo Zero على سابقتها ، AlphaGo ، باستخدام قوة حوسبة أقل بكثير".



من الناحية النظرية ، هذا يعني أنه حتى إذا تم إعادة إنتاج الدراسة في وقت متأخر ، فسيظل ذلك ممكنًا. يلاحظ Kavukchuoglu أن Jean-Carlo Pascutto ، وهو مبرمج بلجيكي في Mozilla يكتب الشطرنج ويذهب إلى البرامج في أوقات فراغه ، كان قادرًا على تكرار نسخة مختلفة من AlphaGo Zero تسمى Leela Zero باستخدام الخوارزميات الموضحة في أوراق DeepMind. يعتقد Pigno أيضًا أن الدراسات الرئيسية مثل AlphaGo و GPT-3 نادرة. وتقول إن معظم أبحاث الذكاء الاصطناعي تعمل على أجهزة الكمبيوتر المتاحة للمختبر العادي. وهذه المشكلة ليست مقصورة على الذكاء الاصطناعي. يشير بينهو وبينيهوم إلى فيزياء الجسيمات ، حيث لا يمكن إجراء بعض التجارب إلا على معدات باهظة الثمن مثل مصادم الهادرون الكبير.



ومع ذلك ، يتم إجراء تجارب الفيزياء في LHC من قبل العديد من المختبرات معًا. وعادة ما يتم إجراء تجارب الذكاء الاصطناعي الكبيرة على المعدات التي تملكها وتسيطر عليها الشركات الخاصة. لكن بينهو يقول إن هذا يتغير أيضًا. على سبيل المثال ، تقوم Compute Canada بتجميع مجموعات الحوسبة لتمكين الجامعات من إجراء تجارب الذكاء الاصطناعي الكبيرة. بعض الشركات ، بما في ذلك Facebook ، تمنح الجامعات وصولاً محدودًا إلى أجهزتها. تقول: "لم يتم حل الوضع بالكامل". لكن بعض الأبواب بدأت تفتح ".





, . . Google, , Nature , , Google - .

: , , ( ). . .



شكوك هايبي كين. عندما طلب من فريق Google Health مشاركة الرمز من تشخيص السرطان الخاص به ، قيل له أن الرمز لا يزال بحاجة إلى مزيد من الاختبارات. يكرر الفريق هذا العذر نفسه في رد رسمي على انتقادات هايبي كاينز ، التي نُشرت أيضًا في دورية Nature. "سنخضع برامجنا لاختبارات صارمة قبل استخدامها في بيئة سريرية ، والعمل مع المرضى ومقدمي الخدمات والمنظمين لجعل كل شيء يعمل بكفاءة وأمان." ذكر الباحثون أيضًا أنه لا يُسمح لهم بمشاركة جميع البيانات الطبية التي يستخدمونها.



يقول خيبة كاينز إن هذا لن ينجح. "إذا كانوا يريدون صنع منتج تجاري من هذا ، فأنا أفهم لماذا لا يريدون الكشف عن جميع المعلومات." ومع ذلك ، فهو يعتقد أنه إذا نشرت في مجلة علمية أو في مؤتمر ، فمن واجبك نشر كود يمكن للآخرين تشغيله. في بعض الأحيان يكون من الممكن إصدار نسخة مدربة لنا ببيانات أقل ، أو باستخدام أجهزة أقل تكلفة. قد تكون النتائج أسوأ ، لكن يمكن للناس العبث بها. "الخط الفاصل بين تصنيع المنتجات التجارية والبحث يتلاشى باستمرار" ، حسب قول هايبي-كين. "أعتقد أن مجال الخبرة هذا سيخسر في النهاية."

من الصعب التخلي عن عادات البحث

إذا تعرضت الشركات لانتقادات بسبب نشرها لأعمالها ، فلماذا تهتم بها؟ جزء منه ، بالطبع ، يتعلق بالعلاقات العامة. ومع ذلك ، هذا مطلوب في الغالب لأن أفضل المعامل التجارية مليئة بالباحثين الجامعيين. إلى حد ما ، تتشكل ثقافة أماكن مثل Facebook AI Research و DeepMind و OpenAI من خلال العادات الأكاديمية التقليدية. أيضًا ، تستفيد شركات التكنولوجيا من المشاركة في مجتمع البحث الأوسع. تعتمد جميع مشاريع الذكاء الاصطناعي الكبيرة في المختبرات الخاصة على مجموعة متنوعة من النتائج من الأبحاث المنشورة. وقد استخدم عدد قليل من باحثي الذكاء الاصطناعي أدوات تعلم الآلة مفتوحة المصدر مثل PyTorch على Facebook أو TensorFlow من Google.



كلما تم إجراء المزيد من الأبحاث في شركات التكنولوجيا العملاقة ، سيتعين إجراء المزيد من المقايضات بين متطلبات العمل والبحث. السؤال هو كيف سيتعامل الباحثون مع هذه المشاكل. تود Haibe-Kains أن تقوم مجلات مثل Nature بتقسيم منشوراتها إلى تيارات منفصلة - بحث قابل للتكرار وعرض للتقدم التكنولوجي.



بينهو أكثر تفاؤلا بشأن المستقبل. تقول: "لم أكن لأعمل في Facebook إذا لم يكن ذلك من أجل نهج مفتوح للبحث".



تصر مختبرات الشركات الأخرى أيضًا على الالتزام بالانفتاح. يقول Kavukchuoglu: "يتطلب العمل العلمي دراسة متأنية وقابلية للتكرار من جانب باحثين آخرين". "هذا جزء مهم من نهجنا البحثي في ​​DeepMind."



يقول كايلا وود ، المتحدث باسم الشركة: "لقد نمت شركة OpenAI إلى شيء مختلف تمامًا عن المختبر التقليدي". "بطبيعة الحال ، تثار لها أسئلة". وتشير إلى أن OpenAI تعمل مع أكثر من 80 منظمة تجارية وأكاديمية من خلال مبادرة الشراكة حول الذكاء الاصطناعي للتفكير في المعايير طويلة المدى لنشر الأبحاث.



يعتقد بينهو أن هناك شيئًا ما فيه. وهي تعتقد أن شركات الذكاء الاصطناعي تُظهر طريقة ثالثة لإجراء الأبحاث ، في مكان ما بين مجري هايبي-كينز. تقارن النتائج الذكية لمختبرات الذكاء الاصطناعي الخاصة بشركات الأدوية - حيث تستثمر الأخيرة المليارات في تطوير الأدوية وتحتفظ بمعظم النتائج لنفسها.



لا يزال يتعين رؤية التأثير طويل المدى للممارسات التي اعتمدها بينهو وآخرون. هل ستتغير العادات بشكل دائم؟ كيف سيؤثر ذلك على استخدام الذكاء الاصطناعي خارج البحث؟ يعتمد الكثير على الاتجاه الذي يسير فيه الذكاء الاصطناعي. سيحافظ الاتجاه نحو النماذج ومجموعات البيانات الأكبر - الذي يتبعه ، على سبيل المثال ، OpenAI - على موقف لن تكون فيه خيارات الذكاء الاصطناعي المتقدمة متاحة لمعظم الباحثين. من ناحية أخرى، والتكنولوجيات الجديدة مثل ضغط نموذج و قليل شوت التعلم يمكن كسر هذا الاتجاه، ويسمح المزيد من الباحثين على العمل مع الأوامر الإدارية أصغر حجما وأكثر كفاءة.



في كلتا الحالتين ، ستستمر الشركات الكبيرة في الهيمنة على أبحاث الذكاء الاصطناعي. وإذا تم القيام بذلك بشكل صحيح ، فلا حرج في ذلك ، كما يقول Pigno: "الذكاء الاصطناعي يغير طريقة عمل مختبرات البحث" المفتاح هو التأكد من أن الجمهور الأوسع لديه فرصة للمشاركة في البحث. لأن الإيمان بالذكاء الاصطناعي ، الذي يعتمد عليه الكثير ، يبدأ في الطليعة.