تستخدم أداة التعرف على الإيماءات الموسيقية القائمة على الذكاء الاصطناعي والتي تم تطويرها في مختبر MIT-IBM Watson AI حركات الجسم للتمييز بين أصوات الآلات الموسيقية الفردية.
الصورة بإذن من الباحثين.
يستخدم الباحثون بيانات النقاط الرئيسية الهيكلية لربط حركات الموسيقيين بالإيقاع الخاص بهم ، مما يسمح للمستمعين بعزل الآلات التي تبدو متشابهة.
الصورة بإذن من الباحثين.
نحن نستمتع بالموسيقى ليس فقط بأذاننا ، ولكن أيضًا بأعيننا ، ونشاهد بامتنان كيف تطير أصابع عازف البيانو فوق المفاتيح ، ويتأرجح عازف الكمان على قمة الأوتار. عندما تكون الأذن غير قادرة على فصل اثنين من الآلات الموسيقية ، فإن أعيننا تساعدنا من خلال مطابقة حركات كل موسيقي مع إيقاع كل جزء.
أداة ذكاء اصطناعي جديدة طورها مختبر MIT-IBM Watson AIيستخدم العيون الافتراضية وآذان الكمبيوتر لفصل الأصوات المتشابهة بحيث يصعب على الشخص التمييز بينها. تم تحسين الآلة على التكرارات السابقة من خلال محاذاة حركات الموسيقيين الفرديين باستخدام نقاط رئيسية في هيكلهم العظمي مع إيقاع الأجزاء الفردية ، مما يسمح للمستمعين بعزل صوت الفلوت الفردي أو الكمان بين العديد من نفس الآلات.
تتراوح الاستخدامات الممكنة للوظيفة من خلط الصوت وزيادة حجم آلة في التسجيل إلى تقليل الارتباك الذي يتسبب في مقاطعة الأشخاص لبعضهم البعض أثناء مؤتمرات الفيديو. سيتم تقديم العمل في مؤتمر التعرف على أنماط رؤية الكمبيوتر هذا الشهر.
قال المؤلف الرئيسي شوانج جانج ، الباحث في مختبر آي بي إم: "النقاط الرئيسية في الجسم توفر معلومات هيكلية قوية" . "نحن نستخدمها هنا لتحسين قدرة الذكاء الاصطناعي على الاستماع وفصل الصوت."
في هذا المشروع وغيره من المشاريع المماثلة ، استخدم الباحثون مسارات صوتية ومرئية متزامنة لإعادة إنشاء الطريقة التي يتعلم بها الناس. يمكن لنظام الذكاء الاصطناعي الذي يتعلم بطرق حسية متعددة التعلم بشكل أسرع ، وببيانات أقل ، ودون الحاجة إلى إضافة اختصارات مزعجة يدويًا إلى كل مشهد في العالم الحقيقي. يقول أنطونيو تورالبا ، الأستاذ بمعهد ماساتشوستس للتكنولوجيا والمؤلف المشارك للدراسة: "نتعلم من كل حواسنا". "المعالجة متعددة الحواس هي رائدة أنظمة الذكاء الاصطناعي والذكاء المتجسد التي يمكنها أداء مهام أكثر تعقيدًا."
هذه الأداة ، التي تستخدم لغة الجسد لفصل الأصوات ، تعتمد على العمل السابق الذي تم فيه استخدام إشارات الحركة في تسلسل الصور. سمح تجسيدها الأول ، PixelPlayer ، بالنقر فوق أداة في فيديو مباشر لجعلها أعلى أو أكثر هدوءًا. يسمح لك تحديث PixelPlayer بالتمييز بين اثنين من الكمان في الثنائي من خلال مطابقة حركات كل موسيقي مع إيقاع جزءهم. يضيف هذا الإصدار الأخير بيانات النقاط الرئيسية (التي يستخدمها محللو الرياضة لتتبع أداء الرياضيين ، لاستخراج المزيد من بيانات الحركة الدقيقة) للتمييز بين الأصوات المتطابقة تقريبًا.
يسلط العمل الضوء على أهمية الإشارات المرئية في تعليم أجهزة الكمبيوتر حتى يتمكنوا من السمع بشكل أفضل ، واستخدام الإشارات الصوتية لمنحهم رؤية أوضح. مثلما تستخدم الدراسة الحالية المعلومات المرئية حول حركات الموسيقي لفصل أجزاء من الآلات الموسيقية ذات الصوت المتشابه ، استخدم العمل السابق الأصوات لفصل الأشياء المتشابهة والحيوانات من نفس النوع.
أظهر Torralba وزملاؤه أن نماذج التعلم العميق المدربة على بيانات الصوت والفيديو المقترنة يمكن أن تتعلم التعرف على الأصوات الطبيعية ، مثل أصوات العصافير أو الأمواج التي تضرب الشاطئ. يمكنهم أيضًا تحديد الإحداثيات الجغرافية لمركبة متحركة من خلال صوت محركها والعجلات التي تتحرك باتجاه الميكروفون أو بعيدًا عنه.
تشير أحدث الأبحاث إلى أن أدوات التتبع الصوتي يمكن أن تكون إضافة مفيدة للسيارات ذاتية القيادة ، حيث تساعد الكاميرات في ظروف الرؤية السيئة. يقول Hang Zhao ، Ph.D.19 ، الذي شارك في البحث في تتبع الحركة والصوت: "يمكن أن تكون أجهزة تعقب الصوت مفيدة بشكل خاص في الليل أو في الأحوال الجوية السيئة ، مما يساعد على تمييز المركبات التي ربما لم يتم تفويتها بطريقة أخرى"
المؤلفون الآخرون لدراسة CVPR للإيماءات الموسيقية هم دان هوانغ وجوشوا تينينباوم من معهد ماساتشوستس للتكنولوجيا.
هذا كل شئ. لمعرفة المزيد حول الدورة ، ندعوك للتسجيل في اليوم المفتوح على الرابط أدناه:
اقرأ أكثر:
كيف علمت جهاز الكمبيوتر الخاص بي للعب Doble باستخدام OpenCV و Deep Learning