على مدى السنوات القليلة الماضية ، تم إحراز تقدم كبير في مجال معالجة اللغة الطبيعية (NLP) ، حيث حققت نماذج مثل BERT و ALBERT و ELECTRA و XLNet دقة مذهلة في مختلف المهام. أثناء التدريب المسبق ، يتم تشكيل تمثيلات المتجهات على أساس مجموعة واسعة من النصوص (على سبيل المثال ، ويكيبيديا ) ، والتي يتم الحصول عليها عن طريق إخفاء الكلمات ومحاولة التنبؤ بها (ما يسمى نمذجة اللغة المقنعة). تقوم التمثيلات الناتجة بترميز كمية كبيرة من المعلومات حول اللغة والعلاقة بين المفاهيم ، على سبيل المثال ، بين الجراح والمشرط. ثم تبدأ المرحلة الثانية من التدريب - الضبط الدقيق - حيث يستخدم النموذج البيانات التي تم شحذها لمهمة محددة من أجل معرفة كيفية أداء مهام محددة مثل التصنيف باستخدام التمثيلات العامة المدربة مسبقًا . نظرًا لاستخدام هذه النماذج على نطاق واسع في العديد من مشكلات البرمجة اللغوية العصبية ، فمن الأهمية بمكان فهم المعلومات التي تحتوي عليها وكيف تؤثر أي علاقات مكتسبة على نتائج النموذج في تطبيقاته من أجل ضمان امتثالها لمبادئ الذكاء الاصطناعي (AI) .

يستكشف مقال " قياس الارتباطات بين الجنسين في نماذج البرمجة اللغوية العصبية " نموذج بيرت وابن عمه الخفيف ألبرت بحثًا عن العلاقات المتعلقة بالجنس ، ويصوغ عددًا من أفضل الممارسات لاستخدام نماذج اللغة المدربة مسبقًا. يقدم المؤلفون نتائج تجريبية في شكل أوزان النموذج العام ومجموعة البيانات الاستكشافية لإثبات تطبيق أفضل الممارسات وتوفير أساس لمزيد من التحقيق في المعلمات ، وهو ما يتجاوز نطاق هذه الورقة. أيضًا ، يخطط المؤلفون لوضع مجموعة من الأوزان Zari ، والتي يتم فيها تقليل عدد الارتباطات بين الجنسين ، ولكن تظل الجودة عالية في مشكلات البرمجة اللغوية العصبية القياسية.

قياس الارتباطات

من أجل فهم كيف يمكن أن تؤثر الارتباطات في وجهات النظر المدربة مسبقًا على المقاييس في المشكلات التطبيقية ، طبق المؤلفون مجموعة متنوعة من مقاييس التسجيل لدراسة تمثيلات الجنسين. يعتمد أحد هذه الاختبارات على مشكلة حل المرجع ، ومعناه هو قدرة النموذج على فهم سلف الضمير في الجملة. على سبيل المثال ، في الجملة التالية ، يجب أن يتعرف النموذج على أنه يشير إلى ممرضة (في هذه الحالة ، ممرضة) ، وليس مريضًا.

– OntoNotes (Hovy et al., 2006). F1-, ( Tenney et al. 2019). OntoNotes , WinoGender, , , . ( 1) WinoGender , (.. nurse , ). , , , - , .

BERT ALBERT OntoNotes () WinoGender ( ). WinoGender , , .

, (Large) BERT, ALBERT WinoGender, ( 100%) (accuracy) OntoNotes. , . : , . , .. , , , , .

: NLP- ?

• : , , , . , BERT ALBERT 1% , 26% . : , WinoGender , , , , , , (male nurse).
• : , . , , , , . , , - (dropout regularization), : (dropout rate) BERT ALBERT, . , , , .

• : : , , WinoGender - . , OntoNotes ( BERT'), , - , . (. ).

, NLP-, . , . , , , , . , , , .

• — Kellie Webster
• ترجمة - إيكاترينا سميرنوفا
• التحرير والتخطيط - سيرجي شكرين