قام علماء بريطانيون بتدريب الذكاء الاصطناعي على تحويل اللغة المنطوقة إلى فيديو باستخدام مترجم لغة إشارة افتراضي. تقوم الخوارزمية بتقييم جودة العمل بشكل مستقل. ستساعد الشبكة العصبية الأشخاص الذين يعانون من ضعف السمع الجزئي أو الكامل على تحسين إدراك المحتوى والشعور بحرية أكبر في المناسبات العامة.
هناك عشرات الملايين من الصم وضعاف السمع في العالم يستخدمون لغة الإشارة كوسيلة أساسية للتواصل. من ناحية أخرى ، في عالم الإنترنت ، يتم حل مشكلة الاتصال للأشخاص ضعاف السمع بمساعدة الترجمة. ولكن من ناحية أخرى ، يجب ترجمة البرامج التعليمية على الإنترنت والتدفقات والمحتويات الأخرى الشائعة الآن إلى لغة الإشارة في الوقت الفعلي. ظل العلماء يبحثون عن هذه المشكلة لفترة طويلة ويبحثون عن حل.
يتطلع الباحثون الآن نحو التكنولوجيا العصبية. في جامعة سوري ، أنشأ المطورون جيلًا جديدًا من خوارزمية ترجمة لغة الإشارة. يحول الذكاء الاصطناعي اللغة المنطوقة إلى حركات للهيكل العظمي البشري. ثم يتم إعطاء الهيكل العظمي شكلاً بشريًا ويتم إنشاء لقطات واقعية. بمساعدة التكنولوجيا ، يمكنك أيضًا إنتاج مقاطع فيديو بناءً على النص.
لماذا هذه الصعوبات ولماذا تعتبر حركة الهيكل العظمي كلها مهمة؟ لغة الإشارة ليست فقط إشارات يد ، إنها تشمل جميع أجزاء الجسم وحتى تعابير الوجه. غالبًا ما ولّدت التقنيات السابقة نماذج ضبابية ، مما أدى إلى تشويه المعاني أو حتى سوء فهم خطاب مترجم لغة الإشارة الافتراضية.
الصورة: ru.freepik.com
كيف تعمل الشبكة العصبية الجديدة
تعتمد الخوارزمية على ما يلي: تأتي إشارة الاستقبال في شكل صوت ، ثم يتم تحويلها إلى نموذج تخطيطي للهيكل العظمي البشري ، والذي يعيد إنتاج الكلام بالإيماءات المناسبة. ثم يتم تغذية تسلسل الأوضاع إلى الشبكة العصبية التلافيفية U-Net. يحول الويب الحركات ويطرح إلى مقاطع فيديو واقعية.
خوارزمية لمترجم لغة إشارة افتراضي
لتحقيق نتائج عالية ، درب العلماء شبكة عصبية باستخدام مقاطع فيديو لمترجمي لغة إشارة حقيقيين.
لتقييم النموذج الناتج ، أجرى المطورون تجارب مع متطوعين. لذلك ، طلبوا منهم مقارنة الطريقة الجديدة مع طرق تحويل الكلام الأخرى المستخدمة سابقًا. من بين 46 شخصًا ، كان 13 شخصًا يتحدثون لغة الإشارة. وأجريت المقارنة على أربعة معايير ، تفوقت الخوارزمية الجديدة لكل منها على الإصدارات السابقة من حيث الجودة.
نتائج دراسة على متطوعين
ليس العلماء البريطانيون فقط
يعمل الباحثون على ترجمة لغة الإشارة منذ بداية القرن. من أشهر المنتجات المترجم الافتراضي المتحرك من شركة IBM . لكن المشروع لم يتم تطويره. بعد عدة سنوات تم تجسيده في نوفوسيبيرسك. يتعرف البرنامج ، الذي ابتكره علماء من مدينة نوفوسيبيرسك الأكاديمية ، على الكلام ، ويحلل المعنى ويترجمه إلى لغة الإشارة. ثم تظهر الصورة الرمزية النص على الشاشة.
مترجم لغة الإشارة بالرسوم المتحركة من مطوري نوفوسيبيرسك
في ذلك الوقت كان يعتقد أن التطوير سيصبح شائعًا مثل مترجم Google. يمكنك الآن اختبار البرنامج في تطبيق Adaptis لمتجر AppStore و Google Play .
لقطة شاشة لتطبيق Adaptis في App Store
قبل بضع سنوات ، طبع العلماء البلجيكيون يدًا ثلاثية الأبعاد يتحكم فيها Arduino والتي تعمل أيضًا كمترجم للغة الإشارة. تم تسمية المشروع باسم ASLAN. يتكون الذراع من 25 قطعة بلاستيكية منفصلة من PLA. في المستقبل ، كانوا يعتزمون إضافة يد أخرى ووجه آلي إليها للتعبير عن المشاعر.
كما أن الترجمة من لغة الإشارة إلى اللغة التي اعتدنا عليها صعبة للغاية. علماء روس من معهد مشاكل الإدارة. V.A. بدأ معهد ترابيزنيكوف لعلوم التحكم التابع للأكاديمية الروسية للعلوم (IPU RAS) منذ بضع سنوات في تطوير مثل هذا الذكاء الاصطناعي. في المستقبل ، كان من المفترض أن يساعد في ترجمة الإيماءات إلى كلمات وعبارات وحروف. أفاد العلماء بعد ذلك أن إنشاء خوارزمية قد يستغرق أكثر من عام.
الصورة: ru.freepik.com سيعتمد
البرنامج الروسي على موقع أنشأه موظف يعاني من ضعف السمع في معهد علوم التحكم التابع لأكاديمية العلوم الروسية. عملت على تطوير موقع Surdoserver لعدة سنوات. في الوقت نفسه أفيد بأن العلماء الروس يعملون على تطبيق "Surdoservice" للهاتف المحمول وسحابة للصم لتبادل المعلومات من قبل الأشخاص ضعاف السمع.
