يمكنك القراءة ليس فقط على الشفاه أثناء المحادثة ، ولكن أيضًا على اليدين التي ترفرف فوق لوحة المفاتيح. وبالتالي ، من خلال حركات اليدين التي شاهدها المهاجمون أثناء مكالمة الفيديو ، من الممكن تخمين كلمات المرور وكلمات الشفرة المكتوبة على لوحة مفاتيح QWERTY التقليدية. أنشأ
المطورون الأمريكيون خوارزمية خاصة يمكنها قراءة حركات خطوط الكتفين والذراعين للمستخدم الذي يكتب على لوحة المفاتيح وتحليلها ومقارنتها بالأحرف المدخلة. بعد ذلك ، يعد الذكاء الاصطناعي قائمة بالأحرف والأرقام التي ربما تكون مكتوبة ، مما يجعل من الممكن ، على سبيل المثال ، استعادة الأحرف المكتوبة أثناء التفويض. وكل هذا - في الوقت الفعلي تقريبًا ، خلال مؤتمر الفيديو.
هناك طريقة لتحديد الأحرف المكتوبة على لوحة المفاتيح بصوت ضغطات المفاتيح. هذا يتطلب الوصول إلى جهاز الكمبيوتر الهدف. ومع ذلك ، فإن الطريقة غير دقيقة ، حيث تتداخل الضوضاء الطبيعية بشكل كبير مع الإدراك والتحليل. بالإضافة إلى ذلك ، لا يعمل تحليل الشفرات الصوتية مع لوحات المفاتيح ذات ضغطات المفاتيح منخفضة السعة.
تأخذ الخوارزمية ، التي ابتكرها مطورون من جامعة تكساس في سان أنطونيو ، في الاعتبار سرعة الكتابة ، وترتيب استخدام اليدين ، ومراقبة حركتهم ، وحساب العدد المحتمل للأحرف في الكلمة. تتضمن ترسانة التطبيق قاموسًا لأكثر الكلمات شيوعًا المستخدمة ككلمات مرور. وفقًا للباحثين ، فإن إشارة الفيديو أقل عرضة للتشويه من الصوت.
تعمل خوارزمية تحليل وفك تشفير الفيديو على النحو التالي:
- .
- .
- .
- .
- : .
- .
- , .
اختبر الباحثون الخوارزمية في ظل ظروف مختلفة.
في إحدى الحالات ، استخدموا قاموسًا يتكون من 65 ألف كلمة من أكثر الكلمات شيوعًا وأعادوا أكثر 50 كلمة محتملة في مجموعة مختارة. الدقة تعتمد على منصات الويب المستخدمة. تم إدخال أدق الكلمات المتوقعة في Skype. في ظل ظروف مماثلة ، تبين أن هذا كان أكثر دقة بنسبة 3.4٪ من Zoom و 8٪ أكثر دقة من Hangouts.
في حالة أخرى ، أخذوا قاموسًا من 4 آلاف كلمة. لكن 75٪ من الكلمات التي تم إدخالها كانت في قائمة 200 كلمة على الأرجح.
فارق بسيط مثير للاهتمام: يعتمد عمل الخوارزمية بشكل كبير على ملابس الأشخاص. على سبيل المثال ، الأشخاص ذوو الأيدي العارية أكثر عرضة للهجوم. بلغت دقة التعرف على الحروف المدخلة عندما كان المشاركون في التجربة يرتدون ملابس بلا أكمام 81.7٪ مقابل 74.4٪ و 73٪ دقة بأكمام طويلة وقصيرة على التوالي.
يتأثر أسلوب الكتابة ودقة التعرف بنوع لوحة المفاتيح والمسافة بين المفاتيح. ولكن ، كما اتضح فيما بعد ، هذا ليس ضروريًا للدقة. لوحة مفاتيح Logitech أكبر بكثير من Anker ، لكن الدقة متطابقة تقريبًا.
بالإضافة إلى الاختبار في بيئة معملية ، لاحظ المطورون 10 مشاركين في بيئتهم المنزلية النموذجية: سبعة رجال وثلاث نساء. كان لدى جميع المشاركين نفس سرعة الكتابة تقريبًا وهي 3.7 نقرات في الثانية ومعدل خطأ 86.7٪. من أجل نقاء التجربة ، تم تقديم عدد من الشروط المقيدة: مدة المكالمة 30 دقيقة ، وأنشطة الكمبيوتر لمدة عشر دقائق الموصى بها ، إلخ.
وفقًا لنتائج التجربة ، اتضح أنه في المنزل ، لم يستخدم الجميع موضع الكاميرات ، على غرار ظروف المختبر. بالإضافة إلى ذلك ، أثرت دقة مختلفة لكاميرات الويب على دقة المعلومات التي تنتجها الخوارزمية. في إحدى الحالات ، غطى الشعر منطقة الساعد بالكامل ، مما حرم الخوارزمية من القدرة على التحليل. لذلك بشكل عام ، ليس من الصعب الدفاع عن نفسك.
