تقنية البحث عن لون الفيديو بالفيديو

قليلا عن البحث

عندما نتحدث عن البحث ، نتخيل على الفور محرك بحث Google مع نموذج لإدخال سلسلة نصية وعدة مئات من نتائج الروابط إلى الصفحات التي تم العثور عليها. ومع ذلك ، دعونا نفكر في موضوع بحثنا.

ما الذي تبحث عنه؟

• نص
• مستندات
• صفحات HTML
• الصور
• الصوت
• فيديو
• الملفات الثنائية

توجد محركات بحث متخصصة لبعض أنواع البيانات. على سبيل المثال ، هناك مواقع متخصصة في البحث عن ملفات DLL.

البحث عن الفيديو

دعنا نلقي نظرة على العثور على معلومات الفيديو. كيف يمكنك أن تفعل هذا؟ بحتة من الناحية النظرية؟

• طبقا للنص
• بالصورة
• بواسطة مقطع فيديو قصير
• بواسطة جزء صوتي قصير

الوضع الراهن

محركات البحث

• جوجل
• مايكروسوفت
• ياندكس

لقد قمت بتسمية أكبر ثلاثة محركات بحث وكلها تسمح لك بالبحث عن مقاطع الفيديو حسب النص والصور.

عيوب محركات البحث الحديثة

لسوء الحظ ، جميعهم يعانون من المشاكل التالية:

• الاسم الدقيق للفيديو الذي تم العثور عليه غير متاح دائمًا. بدلاً من ذلك ، يمكن تحديد الممثل بشكل صحيح وتقديم صور أخرى له.
• لا توجد إشارة دقيقة للموضع في الفيديو. وهذه معلومات مفيدة للغاية.

نعم إنه كذلك. جربها بنفسك وسترى أنني على حق. محركات البحث عرضة لبعض عدم اليقين. تحقق من لقطة الشاشة أعلاه ، التي تظهر توم هانكس. لا يوجد اسم للفيلم ولا المكان الذي صنع فيه.

صياغة المشكلة

قبل أن نبدأ في حل المشكلة ، دعنا نحاول وصفها. إذن ماذا نريد؟

سرعة تنفيذ الطلب المطلوبة

في الوقت الحاضر ، لن ينتظر أحد بضع دقائق حتى يكتمل طلب البحث. ومع ذلك ، يمكن أن تكون كمية البيانات والحساب بحيث تستغرق بعض الوقت لمعالجة الطلب. عليك التنازل. سنقيد بشكل مشروط وقت تنفيذ استعلام البحث بـ 10 ثوانٍ (± بضع ثوانٍ). هذا ، من ناحية ، سيسمح للمتصفح بعدم قطع الاتصال ، ولكن من ناحية أخرى ، سيعطي الوقت للبرامج النصية لمعالجة المعلومات.

ما مقدار البيانات الموجودة؟

دعونا نفهم ذلك في رؤوسنا.

عدد مقاطع الفيديو

وفقًا لقاعدة بيانات التصوير السينمائي IMDb ، تم تصوير ما يقرب من 2.6 مليون فيلم ، بما في ذلك الحلقات الفردية من البرامج التلفزيونية والرسوم المتحركة والقصيرة. (المعلومات حتى 13 نوفمبر 2018).



بادئ ذي بدء ، دعنا نقتصر على عدد المليون مقطع فيديو تقريبًا. من الواضح أننا لا نحاول حتى أن نتطرق إلى YouTube والخدمات المماثلة الأخرى ، حيث يكون حجم الفيديو أكبر بعدة مرات. والأهم من ذلك ، أن كرة الثلج هذه سوف تنمو فقط.

عدد الإطارات

بعض الأفلام أو حلقات المسلسلات التلفزيونية قصيرة جدًا. هناك 15-20 دقيقة. من ناحية أخرى ، هناك عدد غير قليل من الأفلام يصل طولها إلى ساعتين أو أكثر. بدون مزيد من اللغط ، لنأخذ متوسط ​​مدة الفيديو التي تساوي ساعة واحدة.



تم تصوير عدد كبير من الأفلام بمعدل 24 إطارًا في الثانية ، ولكن هناك أيضًا أفلام أسرع. في الوقت الحاضر ، يمكن للجميع تصوير فيلمهم الخاص ، ويمكن أن يكون معدل الإطارات فيه 60 و 100 و 200 إطارًا في الثانية أو أعلى. كل هذا يتوقف على كاميرا الفيديو ، الكاميرا ، كاميرا الحركة ، الهاتف الذكي ، كاميرا المراقبة بالفيديو ، إلخ. كل ما في أيدينا. ولكن ، لنأخذ أول تقدير تقريبي لمعدل الإطارات لفيديو متوسط ​​يساوي 30 إطارًا في الثانية.



في هذه الحالة ، سيكون متوسط ​​الفيديو:



30 إطارًا في الثانية * 3600 ثانية = 108000 إطار



بالتقريب ، نحصل على أن متوسط ​​الفيديو يبلغ حوالي 100000 إطار.

حجم البيانات

ما هي سعة تخزين المعلومات حول إطار واحد؟ من الواضح أن هذه القيمة تعتمد على الخوارزمية لمقارنة الإطارات في قاعدة البيانات الخاصة بنا بعينة معينة. نحن نستخدم خوارزميتين لمقارنة البيانات. يتطلب أحدهما حوالي 30 بايت لكل إطار ، والآخر حوالي 10 بايت. لنأخذ المتوسط ​​- 20 بايت.



هذا يعني أنه لتخزين معلومات حول مليون مقطع فيديو ، يلزم



1000000 مقطع فيديو * 100000 إطار * 20 بايت = 2،000،000،000،000 بايت



ببساطة ، نحتاج إلى حوالي 2 تيرابايت من أجل وصف جميع إطاراتنا بطريقة أو بأخرى. وهذا ، بشكل عام ، ليس سيئًا للغاية ، لأن هذا القدر من المعلومات يمكن أن يتناسب مع قرص صلب أو قرص SSD حديث. من ناحية أخرى ، يجب تبسيط هذه المعلومات بطريقة ما ، وإلا فإن القراءة البسيطة لـ 2 تيرابايت ستستغرق الكثير من الوقت ، وقد اتفقنا على أن المستخدم لن ينتظر أكثر من 10 ثوانٍ.



حتى لو قرأنا المعلومات من القرص بسرعة 500 ميغا بايت / ثانية ، سنحتاج إلى 2000 ثانية ، أي أكثر من نصف ساعة!

كم عدد الخوادم التي نحتاجها للبحث في وقت محدد؟

إذا افترضنا أننا نقوم بتخزين المعلومات بالتساوي على عدة خوادم ، ففي هذه الحالة ، تقل كمية المعلومات التي تتم معالجتها لإكمال استعلام بحث واحد. على سبيل المثال ، إذا كان لدينا 10 خوادم ، فسيتعين على كل واحد منهم معالجة 2 تيرابايت من المعلومات ، ولكن 200 جيجابايت فقط. أو إذا كان لدينا 100 خادم ، فلن نحتاج إلى معالجة 2 تيرابايت ، ولكن 20 جيجابايت من المعلومات. من حيث المبدأ ، يجب أن يكون المبلغ المحدد كافياً لتشغيل محرك البحث هذا.

كم عدد الطلبات في الثانية التي يمكن لهذا النظام استيعابها؟

من الصعب الإجابة بدقة ، ولكن على الأرجح بحد أقصى عدة عشرات من الطلبات في الثانية.

ما تم إنجازه

أولاً ، قمنا بإجراء بحث عن طريق مقاطع الفيديو. ومع ذلك ، سرعان ما تم تنفيذ البحث عن الصور.

التاريخ

1 يوليو 2019

في هذا اليوم ، تم إصدار الإصدار الأول من حزمة VideoColor. تضمنت ثلاثة أجزاء:

• مدير (فهرسة الفيديو المصدر)
• الخادم (النهاية الخلفية التي تقبل الطلبات وتبحث عن تطابق في قاعدة بيانات الفهرس)
• العميل (تطبيق عميل يسمح لك بتشغيل ملفات AVI وإرسال طلبات البحث إلى الخادم).

مارس 2020

تم إنشاء موقع على شبكة الإنترنت مع القدرة على تحديد مقاطع الفيديو من خلال جزء الفيديو الذي تم تحميله.

14 أبريل 2020

تم إطلاق الإصدار الأول من التطبيق لتعريف الفيديو وتحديد موضع الفيديو الذي يتم تشغيله من خلال التقاط محتويات جزء من شاشة العرض.

23 يونيو 2020

تم إطلاق النسخة الأولى من التطبيق لإضافة فهرس ومعلومات وصفية حول الفيديو إلى قاعدة بيانات الموقع.

البحث عن طريق شظايا الفيديو

الفكرة الرئيسية

سننظر في الفيديو كسلسلة من الصور. ابحث عن متوسط ​​درجات الأحمر والأخضر والأزرق لكل صورة. نحصل على ثلاثة رسوم بيانية مقابل الوقت. لنقم ببناء وحفظ هذه الرسوم البيانية لكل مقطع فيديو نريد فهرسته.







بعد استلام مقطع فيديو لتحديد الهوية ، سنقوم ببناء هذه الرسوم البيانية له. دعونا نقارن الرسوم التي تم الحصول عليها مع تلك المتوفرة بالفعل. بالطبع ، يجب إجراء مقارنات عبر كامل طول كل فيلم أصلي. إذا كان الفرق بين الرسوم البيانية في نقطة معينة أقل من قيمة معينة ، فإننا نعتبر أن المشكلة قد تم حلها.



تجدر الإشارة إلى أن هذا مخطط مبسط. هناك عدة نقاط في سير العمل تختلف عما هو موصوف هنا. لكن ، بشكل عام ، هذه هي الفكرة.

الايجابيات

• . 1 . , 1000 , 2 , 2 .
• . , , .
• 5-10 .
• ( ).
• . . , . , , .

• . .. . , . , . , . , 2- DDR3 1600 12 0,5 . 48 2- .
• ( ) . . , , , .
• . , , . — .
• .

قسّم الصورة الأصلية إلى خلايا جدول M x N. ابحث عن القيمة المتوسطة للمكونات الحمراء والخضراء والزرقاء في كل منطقة. في الواقع ، ستكون مجموعة هذه القيم هي السمة المميزة لهذه الصورة ، والتي من خلالها يمكننا تمييزها جميعًا عن بعضها البعض. نقوم بإدخال هذه الخاصية في قاعدة البيانات مع المؤشر إلى وصف الفيديو (معرف الفيديو) والرقم التسلسلي للإطار في الفيديو. السؤال الوحيد الذي يبقى ، ما هي القيم التي يأخذها M و N؟ أخذنا 5 × 5 ، لكن يمكنك تجربة قيم أخرى. مع القيم الصغيرة لهذه المعلمات ، هناك احتمال أن يكون لدينا العديد من التكرارات ، ومع القيم الكبيرة ، سننفق الكثير من الذاكرة.







ولكن هذا ليس كل شيء. إذا كنت تبحث في المستقبل عن كل هذه الخصائص ، فسوف يستغرق الأمر وقتًا طويلاً لمعالجة كل طلب! كيف تكون؟ يمكنك حساب متوسط ​​قيمة مكونات R و G و B لهذه الصورة ، وبناءً على هذه القيم ، قم بتجميعها في صفيف البيانات. على سبيل المثال: R = 200 ، G = 188 ، B = 212. في هذه الحالة ، ندخل معلومات حول الإطار في القسم المناسب أو نضيف حقلاً إلى الجدول. وعند البحث نحدد هذه المكونات بطريقة مماثلة ونبحث مع مراعاة هذه المعلمات. وبالتالي ، نقوم بتقليل كمية البيانات المقارنة بشكل كبير وتسريع البحث.







لنكون صادقين ، هذا فقط من الناحية النظرية ، من الناحية العملية كل شيء مختلف قليلاً. لكن هذا موضوع لمقال منفصل.

الايجابيات

• حجم البيانات صغير نسبيًا.
• من الممكن تقسيم جميع البيانات إلى مجموعات والبحث حسب المجموعات ، مما يسرع البحث بشكل كبير.
• بخلاف الطريقة السابقة ، لا يتطلب الأمر تخزينًا دائمًا لكميات كبيرة من البيانات في ذاكرة الوصول العشوائي.
• احتمالية منخفضة للخطأ.

سلبيات

• نظرًا لحقيقة أنه بعد تحويل الشفرة ، قد يختلف الفيديو قليلاً عن الأصل ، وأن تشفير JPEG (عند البحث بالصور) يغير الأصل وقد يتم تحديد المجموعة بشكل غير صحيح. يتطلب ذلك إما توسيع نطاق المجموعة (يؤدي إلى انخفاض سرعة البحث) أو استعلامات بحث إضافية (يؤدي أيضًا إلى إبطاء البحث).

أدوات

حتى الآن ، تمت كتابة العديد من التطبيقات ، وأصبح بعضها قديمًا ولم يعد مدعومًا.

البحث عن الفيديو (جانب العميل)

• عبر نموذج ويب على الموقع
• عبر تطبيق "Video Color Capture"

البحث عن الفيديو (الخلفية)

• Video Color Server. : Windows ( ) Linux ( , crontab).

• «Video Color Creator»

• .
• .
• ().
• () .
• - , .

لنفترض أن لديك ملفًا يحمل اسمًا أخرق. شاشة البداية الأولية إما مفقودة (نية المؤلف) أو مقطوعة. ما هذا الفيلم؟ أود أن أقرأ وصف وتعليقات أولئك الذين شاهدوه.

البحث عن الوحدات الإعلانية وقطعها

مثال: لديك مشغل فيديو مكتوب ذاتيًا وتريد أن يرى المستخدمون إعلاناتك الخاصة ، وليس القنوات المركزية ، عند مشاهدة بث الفيديو.

التحقق من أجزاء من الفيديو لاستعارةها من أفلام أخرى (سرقة أدبية)

مثال: إذا كان هناك شك في أن شخصًا ما يستخدم الفيديو الخاص بك (مأخوذ من كوادكوبتر) في الفيديو الخاص به.

تحديد التاريخ الدقيق للنشر واسم العرض (البرنامج) إذا كانت هذه المعلومات مفقودة في إعادة النشر

مثال: أنت تشاهد عرض فيديو مستضاف على موقع غير معروف. قد تعرف حتى اسم العرض ولكن لا تعرف متى تم عرضه. قبل عام أو عامين؟

تحديد موضع أكثر أو أقل دقة للفيديو الجاري تشغيله في حالة بث فيديو مفهرس مسبقًا

مثال: قد يكون هذا مطلوبًا إذا كنت تريد إرفاق تطبيق بفيديو متدفق لشخص آخر يعرض عناوين أو معلومات سياقية أخرى (خرائط ، روابط ، أخبار ، إلخ). أولاً ، هناك التقاط فيديو ، وحساب الفهرس ، وتحديد الفيديو والموقع على الخادم ، ثم يعرض التطبيق المعلومات السياقية في نافذة منفصلة ، متزامنة مع الفيديو الجاري تشغيله.

كيفية استخدام الخدمة

ابحث عن الفيديو من خلال نموذج ويب على الموقع

للقيام بذلك ، تحتاج إلى تحميل مقطع فيديو أو صورة في الحقل المقابل في النموذج.







وتجدر الإشارة إلى أنه في حالة تحميل جزء من الفيديو ، سيتعامل الخادم أولاً مع لوحة القصة للفيديو الذي تم تحميله ومعالجته ، الأمر الذي سيتطلب وقتًا إضافيًا.



تحتوي صفحة النتائج على عنوان الفيلم ، واسم المخرج ، ومعلومات عن بلد المنشأ ، وسنة الإصدار ، والنوع ، وأسماء الممثلين ، ووصفًا موجزًا ​​، وطول الفيديو ، بالإضافة إلى الموضع الموجود في الفيديو ، وروابط لمعلومات إضافية وصورة مجدولة لإطارات من الفيديو.

ابحث عن مقاطع الفيديو باستخدام التطبيق

يعد البحث عن الفيديو باستخدام التطبيق أسرع بكثير ، نظرًا لأن جميع عمليات المعالجة المسبقة تتم من جانب العميل ، ولا يتم إرسال سوى جزء صغير من البيانات الأصلية إلى الخادم. هذا يضع حملًا أقل على القناة ويزيد من سرعة استعلام البحث.

هل يمكنني بمفردي ملء قاعدة بيانات بمعلومات الفهرس لمليون مقطع فيديو؟

على الأرجح لا. من أين يمكنني الحصول على مقاطع الفيديو هذه؟ كيف تضخهم عبر الشبكة؟ من أين تحصل على موارد الحوسبة لمعالجتها؟



ولكن يمكنك إتاحة القاعدة لملءها بواسطة المستخدمين أنفسهم. وقد تم بالفعل تنفيذ هذا. لقد ملأنا قاعدة البيانات بمئة مقطع فيديو ويمكنك التأكد من أن خدمتنا تعمل. يمكنك أيضًا تنزيل وتثبيت تطبيق مجاني لفهرسة مقاطع الفيديو وإضافة وصف ، متبوعًا بتحميل البيانات إلى الخادم. يسمح التطبيق في المستقبل بإجراء بعض العمليات مع البيانات المحملة: حذف الوصف وتحريره والعرض والبحث.







إذا قررت إضافة مقطع الفيديو الخاص بك أو أي مقطع فيديو آخر ، فيرجى التأكد من عدم وجود هذا الفيديو في قاعدة البيانات بعد. يمكنك البحث في التطبيق بالاسم والمخرج وسنة الإنشاء والمعلمات الأخرى.







تعتمد سرعة إنشاء معلومات الفهرس على قوة جهاز الكمبيوتر الخاص بك وخصائص الفيديو نفسه (الدقة ، والترميز ، ومعدل الإطارات). في المتوسط ​​، تستغرق المعالجة بضع دقائق. في الوقت الحالي ، يمكن للمستخدم ملء حقول نص وصف الفيديو.

خطط للمستقبل

• تسريع البحث.
• تحسين دقة البحث.
• البحث عن طريق شظايا الصوت.

سيكمل البحث عن مقاطع الفيديو بأجزاء صوتية قصيرة طريقتي البحث الحاليتين (عن طريق مقاطع الفيديو والصور).

النتيجة

• في هذا المنشور ، راجعنا الحالة الحالية من خلال البحث عن الفيديو.
• تعرفنا على طرق البحث عن الفيديو من خلال مقطع فيديو قصير وصورة.
• تحدثنا عن تطبيق البحث عن فيديو Video Color Capture .
• تم الإشارة إلى تطبيق Video Color Creator للإضافة إلى قاعدة بيانات الفيديو المشتركة لبرنامج AAP .

الروابط

موقع الكتروني

http://www.videocolor.aapsoftware.ru/

يقدم الموقع بحثًا عن طريق مقطع فيديو قصير ، بالإضافة إلى صورة من الفيديو.

التطبيقات

• تطبيق تعريف الفيديو Windows x64 Video Color Capture
• تطبيق Windows x64 لإضافة الفيديو إلى قاعدة بيانات Video Color Creator
• جميع التطبيقات مجانية.

فيديو

• البحث عن الفيديو بالصورة والبحث عن الفيديو عن طريق مقطع فيديو قصير
• ابحث عن فيلم مقطع فيديو
• تعريف الفيديو باستخدام التقاط ألوان الفيديو
• فيديو عمل مع برنامج "Video Color Capture" الإصدار 1.1
• العمل مع برنامج "Video Color Creator" الإصدار 2.0

المنشورات

• تقنية البحث عن لون الفيديو بالفيديو