احتضن العالم التكنولوجي ضجة جديدة - GPT-3.

نماذج اللغات الضخمة (مثل GPT-3) تفاجئنا أكثر وأكثر بقدراتها. في حين أن ثقة الأعمال بها ليست كافية بعد لتقديمها لعملائها ، فإن هذه النماذج توضح بدايات الذكاء التي ستسرع من تطوير الأتمتة وقدرات أنظمة الحوسبة الذكية دعنا نخرج هالة الغموض من GPT-3 ونكتشف كيف يتعلم وكيف يعمل.

نموذج اللغة المدرب يولد النص. يمكننا أيضًا إرسال بعض النصوص إلى مدخلات النموذج ومعرفة كيف يتغير الإخراج. يتم إنشاء الأخير مما "تعلمه" النموذج خلال فترة التدريب من خلال تحليل كميات كبيرة من النص.

التعلم هو عملية نقل قدر كبير من النص إلى نموذج. بالنسبة لـ GPT-3 ، اكتملت هذه العملية وجميع التجارب التي يمكنك رؤيتها تعمل على النموذج المدرب بالفعل. تشير التقديرات إلى أن التدريب سيستغرق 355 عامًا من GPU (355 عامًا من التدريب على بطاقة رسومات واحدة) وسيكلف 4.6 مليون دولار.

تم استخدام مجموعة بيانات مكونة من 300 مليار رمز نصي لإنشاء أمثلة لتدريب النموذج. على سبيل المثال ، هكذا تبدو ثلاثة أمثلة تدريبية ، مشتقة من جملة واحدة أعلاه.

, , .

( ) .

. , .

.

.

GPT-3 ( , – ).

, — GPT-3, , ( ). – , .

GPT-3 . , , 175 ( ). .

, , .

– , – , .

« Youtube» – 175- .

, , .

GPT-3 2048 – « », 2048 , .

. «robotics» «A»?

:

1. ( ).
2. .
3. .

GPT-3 96 .

? «» « » (deep learning).

1.8 . «». :

, , GTP-2 .

GPT-3 (dense) (sparse) (self-attention).

«Okay human» GPT-3. , . : , . .

React ( ), , => . React , , .

يمكن الافتراض أنه تمت إضافة الأمثلة والأوصاف الأولية إلى مدخلات النموذج ، إلى جانب الرموز المميزة التي تفصل الأمثلة عن النتيجة.

الطريقة التي يعمل بها رائعة. عليك فقط انتظار اكتمال ضبط GPT-3. وستكون الاحتمالات أكثر روعة.

يعمل التغيير والتبديل ببساطة على تحديث أوزان النموذج من أجل تحسين أدائه لمهمة معينة.

المؤلفون

• المؤلف الأصلي - جاي العمار
• ترجمة - إيكاترينا سميرنوفا
• التحرير والتخطيط - سيرجي شكارين