تظهر الاختبارات أن الذكاء الاصطناعي الشهير لا يزال ضعيفًا في الواقع
منذ أن وصفت شركة أوبن إيه آي لأول مرة نظامها الجديد لتوليد النصوص للذكاء الاصطناعي (AI) GPT-3 في مايو ، كتبت المئات من المنافذ الإخبارية ، بما في ذلك MIT Technology Review ، العديد من المقالات حول النظام وقدراته. تتم مناقشة نقاط قوتها وإمكانياتها بنشاط على Twitter. نشرت صحيفة نيويورك تايمز مقالاً طويلاً حول هذا الموضوع. من المقرر أن تبدأ OpenAI في فرض رسوم على الشركات هذا العام للوصول إلى GPT-3 ، على أمل أن يصبح نظامهم قريبًا العمود الفقري لمجموعة واسعة من منتجات وخدمات الذكاء الاصطناعي.
هل يمكن اعتبار GPT-3 خطوة مهمة نحو الذكاء الاصطناعي للأغراض العامة (ION) - خطوة من شأنها أن تسمح لآلة ، مثل الشخص ، بالتفكير المنطقي على نطاق واسع ، دون الحاجة إلى إعادة تعلم كل مهمة جديدة؟ تغطي ورقة البيانات من OpenAI هذه المشكلة بشكل ضئيل إلى حد ما ، ولكن بالنسبة للعديد من الأشخاص ، تبدو قدرات هذا النظام خطوة مهمة إلى الأمام.
لكننا نشك في ذلك. للوهلة الأولى ، تتمتع GPT-3 بقدرة مذهلة على إنتاج نص يشبه الإنسان. ليس لدينا شك في أنه يمكن استخدامه لتقديم نصوص سريالية من أجل المتعة. قد تظهر تطبيقات تجارية أخرى. لكن الدقة ليست بدلتها القوية. إذا تعمقت أكثر ، يمكنك أن ترى أن شيئًا ما مفقود: على الرغم من أن إخراجها صحيح نحويًا ومثير للإعجاب من وجهة نظر اصطلاحية ، فإن فهمها للعالم يتعارض أحيانًا بشكل خطير مع الواقع ، لذلك لا يمكنك أبدًا الوثوق بما تقوله.
فيما يلي بعض الأمثلة على عدم فهم الذكاء الاصطناعي ، وكلها تنبأ بها أحد مؤلفي هذه المادة في نقد مبكر لـ GPT-3.
أولاً ، تجدر الإشارة إلى أن OpenAI لا تزال لا تمنح الباحثين إمكانية الوصول إلى GPT-3 ، على الرغم من اسم الشركة [ open AI - "open AI" / تقريبًا. ترجمة. ] والحالة غير الربحية للمؤسسة المشرفة. بدلاً من ذلك ، يتجاهل OpenAI ببساطة طلباتنا المستمرة ، على الرغم من أنه منح الصحافة حق الوصول إلى المنتج. لحسن الحظ ، وافق زميلنا ، دوجلاس سمرز-ستاي ، الذي تمكن من الوصول إلى النظام ، بلطف على إجراء بعض التجارب لنا.
يبدو لنا التقارب الواضح لـ OpenAI انتهاكًا خطيرًا للأخلاقيات العلمية وتشويهًا لأهداف المنظمة غير الربحية المرتبطة بهذا المشروع. أجبرنا هذا القرار على قصر تجاربنا على مجموعة صغيرة نسبيًا من الأمثلة ، وكان لدينا وقت أقل للبحث مما أردناه. ويترتب على ذلك أن النظام قد يواجه مشاكل أكثر خطورة لم تتح لنا الفرصة لتمييزها. ولكن حتى مع وجود عينة صغيرة ، يمكن للمرء أن يرى على الفور المشكلات الكبيرة لـ GPT-3 في جميع مجالات التفكير والفهم.
في الأمثلة المذكورة ، يتم تقديم النص بخط عادي ، والطريقة التي يكملها النظام بالخط العريض. التعليقات بخط مائل. يمكن العثور على قائمة كاملة بالتجارب هنا .
التفكير في الموضوعات البيولوجية
, . . , , . . .
.
, GPT-3 , – , , , , Ocean Spray , Cran-Grape.
. . , , . , .
. ( – ) , . , , - . , . , , . , [table saw] – [saw], [table] – , ( ), .
, . , , . . , . , . , , .
« », , GPT-3 , . , . , , .
, . ? .
GPT-3 . GPT-3.
, . : « ». « », — . « . ». « », — .
GPT-3 , , . , « » ( « »). 1972 . 50 , .
, , . , . , . , 145 .
في البداية ، تنبأ GPT-3 بشكل غير صحيح بعواقب تقليب عصير الليمون مع سيجارة ، ثم يقع عمومًا في هراء غير متماسك.
المحزن أن هذا ليس بالشيء الجديد. كان للسلف GPT-3 (GPT-2) نفس نقاط الضعف. كما كتب أحد المؤلفين في فبراير: "في أحسن الأحوال ، يمكن لنظام مثل الشبكة العصبية التي نوقشت على نطاق واسع ، GPT-2 ، الذي يولد القصص وما إلى ذلك بناءً على أجزاء معينة من الجمل ، أن يقول شيئًا يبدو أنه يعكس فهمًا عميقًا. ولكن ، بغض النظر عن مدى إقناع العديد من الأمثلة على عملها ، في الواقع ، فإن كل هذه التمثيلات سريعة الزوال. تظل المعرفة التي جمعتها الشبكات العصبية الحديثة مجزأة وأضيق الحدود. ربما تكون مفيدة ، ومثيرة للإعجاب بالتأكيد ، ولكنها لا يمكن الاعتماد عليها أبدًا ".
منذ ذلك الحين ، لم يتغير شيء يذكر. ساعدت إضافة بيانات جديدة أكبر بمئة مرة من البيانات السابقة ، لكن ليس كثيرًا. أنفق الباحثون ملايين الدولارات على وقت الكمبيوتر لتدريب النظام ، وألقوا 31 شخصًا فيه ، وأطلقوا كمية مذهلة من ثاني أكسيد الكربون في الغلاف الجوي بسبب استهلاك الكهرباء - لكن العيوب الأساسية في GPT لم تختف. النظام ليس له موثوقية ، وفهم السببية ضعيف ، واللامنطقية تنشأ باستمرار. كان لدى GPT-2 مشاكل في التفكير في علم الأحياء ، والفيزياء ، وعلم النفس ، والتفاعلات الاجتماعية ، فضلاً عن الميل إلى أن يكون غير منطقي وغير متسق. يحتوي GPT-3 على نفس الشيء.
زيادة كمية البيانات تقترب بشكل أفضل من اللغة ، لكنها لا تمنحنا ذكاء يمكننا الوثوق به.
سيشير المدافعون عن الإيمان بالذكاء الاصطناعي بالتأكيد إلى أنه من الممكن غالبًا إعادة صياغة هذه المهام بطريقة يجد نظام GPT-3 الحل المناسب. يمكنك ، على سبيل المثال ، الحصول على الإجابة الصحيحة لمشكلة عصائر التوت البري والعنب من GPT-3 إذا أعطيتها البنية التالية كمدخل:
في الأسئلة التالية ، بعض الإجراءات لها عواقب وخيمة وبعضها آمن. مهمتك هي تحديد عواقب استخدام الخلطات المختلفة ومخاطرها.
1. تصب لنفسك كوبًا من عصير التوت البري ، ولكن بعد ذلك تضيف ملعقة صغيرة من عصير العنب إليها. يبدو بخير. تحاول شمه ، لكن لديك نزلة برد ، لذلك لا تشم. أنت عطشان جدا. أنت تشربه.
أ) هذا مزيج خطير.
ب) هذا خليط آمن.
اجابة صحيحة:
تتابع GPT-3 هذا النص بشكل صحيح عن طريق الإجابة: ب) هذا مزيج آمن.
تكمن المشكلة في أنك لا تعرف مسبقًا أي الصياغة ستمنحك الإجابة الصحيحة وأيها لا. أي تلميح للنجاح مفيد للمتفائل. سوف يجادل المتفائلون بأنه نظرًا لأن GPT-3 يعطي الإجابة الصحيحة في بعض الصيغ ، فإن النظام لديه المعرفة اللازمة والقدرة على التفكير - يتم الخلط بينه وبين اللغة. ومع ذلك ، فإن المشكلة ليست في بناء جملة GPT-3 (كل شيء في الترتيب هنا) ، ولكن في الدلالات: النظام قادر على إنتاج الكلمات والجمل الإنجليزية ، ولكن من الصعب تخيل معناها ، ولا يمثل ارتباطها بالعالم الخارجي على الإطلاق.
لفهم سبب ذلك ، من المفيد التفكير فيما تفعله هذه الأنظمة. إنهم لا يكتسبون معرفة بالعالم - بل يكتسبون معرفة بالنص وكيف يستخدم الناس بعض الكلمات مع الآخرين. إنها تفعل شيئًا مثل النسخ واللصق الهائل ، وتجمع معًا أشكال مختلفة من النص الذي رأته ، بدلاً من التعمق في المفاهيم الكامنة وراءه.
في مثال عصير التوت البري ، يواصل GPT-3 النص بعبارة "أنت ميت" ، لأن مثل هذه العبارة غالبًا ما تتبع عبارات مثل "... حتى لا تشم. أنت عطشان جدًا. لذا فأنت تشربه". يمكن لأي شخص ذكي حقًا أن يفعل شيئًا مختلفًا تمامًا: سيصل إلى استنتاج حول الأمان المحتمل لخلط عصير التوت البري مع عصير العنب.
GPT-3 لديها فقط فهم ضيق لكيفية ارتباط الكلمات ببعضها البعض. إنها لا تستخلص أي استنتاجات حول عالم مزدهر وحي من هذه الكلمات. لم تستنتج أن عصير العنب مشروب (على الرغم من أنها يمكن أن تجد ارتباطات لفظية تدعم ذلك). إنها لا تستخلص استنتاجات حول الأعراف الاجتماعية التي تمنع الناس من الذهاب إلى جلسات المحكمة وهم يرتدون ملابس السباحة. إنها تتعلم فقط ارتباطات الكلمات ، ولا شيء أكثر. حلم التجريبي هو اكتساب فهم مفصل للعالم بناءً على بيانات من حواسه ، لكن GPT-3 لن يفعل ذلك ، حتى مع نصف تيرابايت من بيانات الإدخال.
بينما كنا نكتب هذا المقال ، كتب زميلنا الاستعاري سمرز-ستاي إلى أحدنا: "GPT غريب لأنه لا يهتم بالحصول على الإجابة الصحيحة للسؤال المطروح. إنها تبدو وكأنها ممثلة ارتجالية ، تستسلم تمامًا لفنها ، ولا تترك الصورة ، ولكنها لا تغادر المنزل أبدًا ، وقد تلقت جميع المعلومات حول العالم من الكتب. مثل ممثلة مثل هذا ، عندما لا تعرف شيئًا ما ، تتظاهر بأنها تعرف. لن تثق في النصيحة الطبية لممثل مرتجل يلعب دور الطبيب ".
أيضًا ، لا يجب أن تثق في نصيحة GPT-3 بشأن خلط المشروبات أو إعادة ترتيب الأثاث ، أو شرحها لقصة طفلك ، أو المساعدة في العثور على غسيلك. قد تحل مشكلة حسابية بشكل صحيح ، أو قد لا تحلها. إنه يعطي كل أنواع الهراء بشكل جميل ، ولكن حتى مع 175 مليار معلمة و 450 غيغابايت من بيانات الإدخال ، لا يمكن أن يطلق عليه مترجم موثوق في العالم.