كيف خطرت لك الفكرة
بدأ كل شيء مع المنشور الذي رأيته حول منصة Maxine الجديدة مع الذكاء الاصطناعي لترقية اتصالات الفيديو من Nvidia ، ومن ميزات هذه المنصة الترجمة الفورية في شكل عناوين ، ويتم تنفيذ هذه الميزة باستخدام إطار عمل من نفس Nvidia يسمى Jarvisتم تصميم هذا الإطار لخدمات المحادثة متعددة الوسائط AI ، مما يوفر أداء GPU في الوقت الفعلي. إن مفهوم الترجمة الفورية هذا هو الذي يشكل الأساس لمنصة الاتصالات الصوتية والمرئية الخاصة بنا. نظرًا لأن هذه منصة جديدة ، يجب أن تحتوي على عدد من الميزات مقارنة بالمنصات الأخرى المماثلة ، لذلك قررنا إضافة صوت إلى هذه العناوين ، وتشكيل ملف تعريف صوت المستخدم وتوليف الكلام ، مع مراعاة نغمة ولون صوت الشخص المتحدث.
الكلام إلى نص أو التعرف على الكلام
هل من الأفضل استخدام Google أم Yandex أم Mozilla؟
تتمتع Google ، مقارنةً بـ Yandex ، بدقة تمييز أكبر ، فقد أجرينا 5 رسائل صوتية تجريبية: 3 باللغة الإنجليزية و 2 باللغة الروسية من خلال Google API وكانت دقة التعرف 100٪ (5/5) ، Yandex 60٪ (3/5). جوجل تدعم 125 لغة ، ياندكس - 3 لغات.
مزايا Mozilla Deepspeech هي دقة التعرف ، حيث تبلغ 92.5٪ ، للمقارنة ، يتعرف الشخص بدقة 94.2٪ ، وبالتالي فإن دقة التعرف على رسائل الاختبار الصوتية كانت 100٪ (5/5) ، والميزة أن هذا المحرك مفتوح المصدر ، بخلاف Google و Yandex. عيب هذا المحرك هو عدد اللغات المعترف بها - الإنجليزية والروسية والفرنسية.
نتيجة لذلك ، وقع الاختيار على Google Speech to Text نظرًا لنسبة عدد اللغات إلى دقة التعرف.
ترجمة نصية
لحل هذه المشكلة ، فإن أول ما يتبادر إلى الذهن هو استخدام واجهة برمجة تطبيقات جاهزة من Google أو Yandex. كانت المشكلة الأولى التي واجهناها هي عدم دقة الترجمة. على سبيل المثال ، ترجمة الجملة "الناس في الصين غير مرئيين على ما يبدو" من الروسية إلى الإنجليزية. مترجم Yandex: "الأشخاص في الصين غير مرئيين على ما يبدو" وترجمة Google: "هناك الكثير من الأشخاص في الصين" ، في هذه الحالة كان أداء Google أفضل.
لا يوجد حاليا حلا سحريا لحل هذه المشكلة. المهمة الرئيسية لهؤلاء المترجمين اليوم هي تعليم الخوارزمية لفهم معنى الجملة / النص. إذا كانت الخوارزمية منطقية ، فستكون الترجمة ذات جودة أفضل بكثير.
أظهرت ترجمة عدد من الجمل المتعلقة بموضوعات الأعمال من خلال Google Translate و Yandex Translator أن Google تقوم بذلك بكفاءة أكبر ، لذلك سنستخدم Google Translate.
تحليل والحصول على ملف تعريف صوتي
للحصول على ملف تعريف صوتي ، نحتاج إلى جمع بعض مجموعة البيانات. نظرًا لأن المهمة تتمثل في تجميع النص المترجم من خلال خطاب المتحدث ، فنحن بحاجة إلى جمع مجموعة بيانات من كل مستخدم. يتم ذلك عن طريق قراءة نص متخصص يحتوي على المجموعة المطلوبة من مجموعات الحروف والتركيبات النحوية وعلامات الترقيم. مدة قراءة النص حوالي 15 دقيقة ، لذلك نحصل على كمية كافية من المعلومات حول خصائص التردد والترنيم لكل مستخدم. يمكن تكرار قراءة النص لتحسين النتائج النهائية.
توليف الكلام مع مراعاة ملف الصوت
إن تركيب كلام شخص ما بلغة لم يتكلمها أبدًا ليس بالمهمة السهلة. للقيام بذلك ، من الضروري جمع مجموعة البيانات الأساسية بمساعدة الأشخاص ثنائيي اللغة الذين سيقرأون أيضًا النص المتخصص ، ثم يقرأون النص المماثل بلغة أخرى ، ثم النصوص الإضافية لتوسيع مجموعة البيانات. بناءً على هذا التدريب والعلاقات المحددة ، سيتم لاحقًا إنشاء كلام المستخدمين بلغة أخرى. أيضًا ، ستساعد الحلول الآلية الموجودة بالفعل لتركيب الكلام بلغات مختلفة في هذه العملية ، نظرًا لأن جمع مجموعة بيانات مستقلة تمامًا بالمقياس المطلوب لا يبدو أنه فعال أو واقعي.
انتاج |
مهمتنا الرئيسية في الوقت الحالي هي دمج ملف تعريف صوتي مع تركيب الكلام ، نظرًا لأن نقل ملف تعريف صوتي إلى لغة أخرى ليس بالمهمة السهلة وتحتاج إلى تدريب شبكة عصبية حتى تفهم كيفية القيام بذلك ، مع وجود مجموعتي بيانات فقط بلغتين مختلفتين ...
أثناء تطوير المشروع ، سنقوم بإصدار منشورات تتعلق بمهام أكثر تحديدًا وطرق حلها.