تقنيات اختبار الإملاء الكلي: ما الذي يمكن تحسينه؟

أنا عضو في لجنة تحكيم التحدي العالمي للذكاء الاصطناعي والبيانات... هذه مسابقة دولية لمطوري التكنولوجيا لحل المشكلات الاجتماعية المختلفة ، مثل مكافحة الفقر ، ومساعدة الأشخاص الذين يعانون من ضعف السمع والبصر ، وتحسين التغذية الراجعة بين الأشخاص والوكالات الحكومية ، وما إلى ذلك. تجري الآن المرحلة الثانية من المسابقة ، وتستمر حتى أكتوبر. كجزء من هذه المرحلة ، نختار أفضل الحلول لمواصلة تنفيذ المشاريع. نظرًا لأننا في ABBYY نعمل كثيرًا مع النصوص ومعناها ، فقد كنت مهتمًا بمراجعة النصوص في إطار مشروع Total Dictation. دعنا نستخدم هذه المشكلة كمثال لمعرفة سبب كون معالجة اللغة الطبيعية من أكثر المجالات التي يتم التقليل من شأنها في التعلم الآلي الحديث ، ودعنا نناقش لماذا ، حتى عندما يتعلق الأمر بفحص الإملاء ، فإن كل شيء "أكثر تعقيدًا قليلاً مما يبدو". وأكثر إثارة للاهتمام بالطبع.



لذا فإن المهمة هي: إنشاء خوارزمية لفحص "الإملاء الكلي". يبدو ، ما الذي يمكن أن يكون أسهل؟ هناك إجابات صحيحة ، وهناك نصوص من المشاركين: خذها وافعلها. الكل يعرف كيف يقارن الخطوط. وهنا يبدأ المثير للاهتمام.

مثل هذه الفواصل المختلفة أو الفاصلة المنقوطة؟

اللغة الطبيعية هي شيء معقد ، وغالبًا ما يكون لها أكثر من تفسير واحد. حتى في مهمة مثل فحص الإملاء (حيث يوجد ، للوهلة الأولى ، الحل الصحيح الوحيد) ، يجب على المرء أن يأخذ في الحسبان منذ البداية أنه إلى جانب خيار المؤلف ، قد تكون هناك خيارات أخرى صحيحة. علاوة على ذلك ، فكر منظمو المسابقة في الأمر: لديهم عدة تهجئات مقبولة. على الأقل في بعض الأحيان. من المهم هنا أنه من غير المحتمل أن يكون المترجمون قادرين على تحديد جميع الخيارات الصحيحة ، لذلك ربما ينبغي على المشاركين في المسابقة التفكير في نموذج تم تدريبه مسبقًا على مجموعة كبيرة من النصوص التي لا تتعلق مباشرة بالإملاء. في النهاية ، اعتمادًا على فهم السياق ، يمكن لأي شخص وضع فاصلة أو عدم وضع فاصلة منقوطة ؛ في بعض الحالات يكون كل شيء ممكنًا: استخدام النقطتين أو الشرطة (أو حتى الأقواس).



حقيقة أنه إملاء وليس مقالًا يحتاج إلى تقييم ليس خطأً ، ولكنه ميزة. تحظى أنظمة تصنيف المقالات التلقائية بشعبية كبيرة في الولايات المتحدة. 21 ولاية تستخدم حلول تدقيق المقالات الآلية لـ GRE. مؤخرًا فقط وجد أن هذه الأنظمة تعطي درجات عالية للنصوص الضخمة التي تستخدم مفردات أكثر تعقيدًا (حتى لو كان النص نفسه لا معنى له). كيف عرفت؟ طور طلاب معهد ماساتشوستس للتكنولوجيا برنامجًا خاصًا لمولد أساسي للغة BS Essay Language (BABEL) ، والذي ينتج تلقائيًا سلاسل من الكلمات المعقدة. صنفت الأنظمة الآلية هذه "المقالات" بدرجة عالية جدًا. إنه لمن دواعي سروري اختبار الأنظمة الحديثة القائمة على التعلم الآلي. مثال آخر ساخن بنفس القدر: الأستاذ السابق في معهد ماساتشوستس للتكنولوجيا Les Perelmanعرضت نظام التقييم الإلكتروني من "خدمات الاختبارات التربوية" ، الذي ينتج ويصنف اختبارات GRE و TOEFL ، للتحقق من مقال 5000 كلمة من نعوم تشومسكي. وجد البرنامج 62 خطأ نحويًا غير موجود و 9 فواصل مفقودة. الخلاصة - الخوارزميات لا تعمل بشكل جيد مع المعنى حتى الآن. لأننا أنفسنا يمكن أن نحدد ماهيته بشكل سيء. إن إنشاء خوارزمية تتحقق من الإملاء له معنى تطبيقي ، لكن هذه المهمة ليست بالبساطة التي تبدو عليها. والنقطة هنا ليست فقط غموض الإجابة الصحيحة ، التي قلتها هنا ، ولكن أيضًا أن الإملاء يمليه شخص ما.

شخصية الديكتاتور

الإملاء عملية معقدة. يمكن أن تؤثر الطريقة التي يقرأ بها "الديكتاتور" النص - كما يطلق منظمو الإملاء الكلي مازحًا أولئك الذين يساعدون في تنفيذه - على الجودة النهائية للعمل. من شأن نظام التدقيق اللغوي المثالي أن يربط نتائج الكتاب بجودة الإملاء باستخدام النص إلى الكلام. علاوة على ذلك ، يتم بالفعل استخدام حلول مماثلة في التعليم. على سبيل المثال ، Third Space Learningهو نظام أنشأه علماء من جامعة كوليدج لندن. يستخدم النظام التعرف على الكلام ، ويحلل كيفية إجراء المعلم للدرس ، وبناءً على هذه المعلومات ، يقدم توصيات حول كيفية تحسين عملية التعلم. على سبيل المثال ، إذا كان المعلم يتحدث بسرعة كبيرة أو ببطء شديد ، بهدوء أو بصوت عالٍ ، فسيرسل إليه النظام إشعارًا تلقائيًا. بالمناسبة ، بناءً على صوت الطالب ، يمكن للخوارزمية تحديد أنه يفقد الاهتمام ويشعر بالملل. يمكن للديكتاتوريين المختلفين التأثير على النتائج النهائية للإملاء لمختلف المشاركين. هناك ظلم يمكن زواله بماذا؟ حق! دكتاتور الذكاء الاصطناعي! توبوا ، أيامنا معدودة. حسنًا ، بجدية ، يمكنك عبر الإنترنت ببساطة إما إعطاء الصوت نفسه للجميع ، أو تقييم جودة "الديكتاتور" في الخوارزمية ، بغض النظر عن مدى إثارة الفتنة. أولئك،الذين تم إملاءهم بشكل أسرع وأقل وضوحًا يمكنهم الاعتماد على نقاط إضافية "للضرر". بطريقة أو بأخرى ، إذا كان لدينا تحويل الكلام إلى نص ، فإن فكرة أخرى تتبادر إلى الذهن.

الروبوت والرجل: من سيكتب الإملاء بشكل أفضل؟

إذا قمنا بعمل التعرف على الصوت في البث ، فغني عن القول إنشاء مشارك افتراضي في الإملاء. سيكون من الرائع مقارنة نجاحات الذكاء الاصطناعي والبشر ، خاصة وأن تجارب مماثلة في تخصصات تعليمية مختلفة يتم تنفيذها بالفعل بنشاط في العالم. لذلك ، في الصين في عام 2017 ، اجتاز الذكاء الاصطناعي امتحان الدولة "gaokao" في مدينة تشنغدو - وهذا شيء يشبه اختبار الدولة الروسية الموحدة. لقد سجل 105 من 150 نقطة ممكنة - أي أنه اجتاز الموضوعات ب "ثلاثة" صلبة. تجدر الإشارة إلى أنه ، كما في مشكلة "الإملاء الكلي" ، كان أصعب شيء بالنسبة للخوارزمية هو فهم اللغة - في هذه الحالة ، اللغة الصينية. في روسيا ، نفذت سبيربنك العام الماضيمسابقات لتطوير خوارزميات لاجتياز الاختبارات في اللغة الروسية. يتألف اختبار الدولة الموحدة من اختبارات ومقال حول موضوع معين. تم تجميع اختبارات الروبوتات بمستوى متزايد من التعقيد وتتألف من ثلاث مراحل: إكمال المهمة مباشرةً ، وإبراز الأمثلة وفقًا للقواعد والصياغة المحددة ، وكذلك تسجيل الإجابة بشكل صحيح.



دعنا نعود إلى مهمة الإملاء من مناقشة "ما الذي يمكن فعله أيضًا".

خريطة الخطأ

من بين أمور أخرى ، يطلب منظمو المسابقة خريطة حرارية للأخطاء. تظهر أدوات مثل خريطة التمثيل اللوني أين وكيف يخطئ الناس ؛ من المنطقي أنهم في كثير من الأحيان يرتكبون أخطاء في الأماكن الصعبة. بهذا المعنى ، بالإضافة إلى التناقض مع الخيارات المرجعية ، يمكنك استخدام خريطة حرارية بناءً على تناقضات المستخدمين الآخرين. من السهل تنفيذ هذا التحقق الجماعي من نتائج بعضنا البعض ، ولكن يمكن أن يحسن جودة التحقق بشكل كبير.



يتم بالفعل جمع إحصائيات مشابهة جزئيًا "الإملاء الكلي" ، ولكنها تتم يدويًا بمساعدة المتطوعين. على سبيل المثال ، بفضل عملهمتعلمنا أن معظم المستخدمين مخطئون في الكلمات "ببطء" ، "أكثر من اللازم" ، "مخطط". لكن جمع مثل هذه البيانات بسرعة وكفاءة يصبح أكثر صعوبة ، وكلما زاد عدد المشاركين في الإملاء. العديد من المنصات التعليمية تستخدم بالفعل أدوات مماثلة. على سبيل المثال ، يستخدم أحد التطبيقات الشائعة لتعلم اللغات الأجنبية مثل هذه التقنيات لتحسين الدروس وتخصيصها. للقيام بذلك ، طوروا نموذجًا تتمثل مهمته في تحليل مجموعات تردد أخطاء ملايين المستخدمين. يساعد هذا في التنبؤ بمدى سرعة نسيان المستخدم لكلمة معينة. يؤخذ في الاعتبار أيضًا تعقيد الموضوع قيد الدراسة.



بشكل عام وكما يقول والدي: "كل المهام مقسمة إلى هراء وصم. هراء هي المهام التي تم حلها بالفعل ، أو لم يبدأ حلها بعد. الأشخاص الصم هم مهام تقوم بحلها في الوقت الحالي ". حتى حول مشكلة التحقق من صحة النص ، يتيح لك التعلم الآلي طرح الكثير من الأسئلة وإنشاء مجموعة من الوظائف الإضافية التي يمكنها تغيير تجربة المستخدم النهائي نوعياً. سنكتشف ما سيفعله المشاركون في التحدي العالمي للذكاء الاصطناعي والبيانات بحلول نهاية العام.