تحليلات فيديو الكائن في النقل

هناك عدد كبير من المهام حيث يجب إجراء المعالجة ومعالجة المحتوى "على الحافة" ، أي في المنطقة المجاورة مباشرة لمصدر البيانات (الكاميرات). على وجه الخصوص ، ينطبق هذا أيضًا على مهام تحليلات الفيديو الكائني ، على سبيل المثال ، في إطار عمل المشاريع لتحسين البنية التحتية للنقل.



دعونا نفكر في العديد من الحلول المشتركة من شركة التكامل الروسية Larga Group ومطوري أنظمة تحليل الفيديو الكائني ، ComBox Technology .







مهمة:

1. تنفيذ عدادات الركاب في الحافلات لضبط عدد التذاكر المباعة والحصول على إحصائيات ازدحام النقل في سياق المسار.
2. التحكم في السائق (كشف التدخين واستخدام الهواتف المحمولة).

شروط:

1. استدلال الشبكات العصبية وتنفيذ التحليلات "على الحافة" لتقليل حركة المرور وبسبب عدم الاستقرار والتكلفة العالية لقنوات الاتصال.
2. إمكانية الاستخدام المشترك والمنفصل لأجهزة الكشف المختلفة (قابلية التوسع).
3. نقل البيانات لمزيد من المعالجة عبر قنوات الاتصال المتنقلة.

كحل ، استقرنا على AAEON VPC-3350S ، حيث يتميز هذا الجهاز بالخصائص التالية المهمة بالنسبة لنا:

• وحدة LTE مدمجة.
• VPU قابلة للتوسيع باستخدام مسرع Intel MyriadX.
• Intel HD Graphics 500 المتكاملة التي يمكنها استخدام وحدات فك التشفير وأجهزة التشفير لمعالجة تدفقات الفيديو.
• منافذ LAN متعددة للتوصيل المباشر لكاميرات الشبكة دون الحاجة إلى تركيب محول.
• نطاق درجة حرارة تشغيل واسع (-20 + 70).

AAEON VPC-3350S



لننظر في الحالة الأولى للتطبيق المنفصل لأجهزة الكشف. في مجال مشاركة السيارات ، توجد بالفعل عقوبات على شكل غرامات للتدخين في صالونات السيارات المستأجرة. مبلغ الغرامة يختلف من 5 إلى 15 ألف روبل حسب الشركة. بالمقارنة مع تحليلات الفيديو الكائنية وأجهزة استشعار الكشف عن الدخان ، فإن المستشعرات لا تلتقط vapes وغيرها من الأجهزة لمخاليط التدخين ، كما أنها غير حساسة عمليًا عند فتح نوافذ السيارة. لكن هذا لا ينفي حقيقة المخالفة وبالتالي العقوبة القانونية على شكل غرامة وفقًا للعقد.



بالإضافة إلى ذلك ، يمكن تطبيق العديد من الشبكات العصبية (بالتتابع) في وسائل النقل ، مثل اكتشاف التدخين واكتشاف حقيقة / وقت استخدام الهاتف المحمول. من الواضح أنه يجب توسيع نطاق مثل هذه الأنظمة ، على سبيل المثال ، مع دمج تقنيات المعلومات والاتصال بحافلة CAN في السيارة لتتبع استخدام الهواتف فقط عندما تتحرك السيارة ، ولكن هذه بالفعل تفاصيل تكامل.



مثال توضيحي لما نكتشفه على وجه التحديد وما نحصل عليه نتيجة لذلك:











عرض توضيحي على برامج الروبوت في Telegram (إدخال - صورة من كاميرا هاتف ذكي أو من معرض ، إخراج - احتمالية):

• كشف التدخين
• كشف استخدام الهاتف من قبل السائق

على وجه التحديد ، تم تجهيز نسختنا من AAEON VPC-3350S بمعالج Intel Atom x5 E3940. إذا لزم الأمر ، يمكنك أيضًا تثبيت بطاقات التوسيع باستخدام Intel MyriadX ونقل استدلال الشبكات العصبية إلى VPU دون أي تعديلات كبيرة ، حيث يتم استخدام إطار عمل Intel OpenVINO.



دعونا نلقي نظرة على سرعة الاستدلال (FP16) على أجهزة مختلفة ، بما في ذلك وحدة المعالجة المركزية ، iGPU (Intel HD) AAEON VPC-3350 ، VPU Intel Movidius والحلول من الشركات المصنعة الأخرى:





سرعة الاستدلال (FP16) على أجهزة مختلفة ، بما في ذلك وحدة المعالجة المركزية ، iGPU (Intel HD) AAEON VPC -3350 و VPU Intel Movidius وحلول الطرف الثالث



وبالتالي ، في رسومات iGPU لمعالج Intel Atom x5 E3940 ، نحصل على 54 إطارًا في الثانية ، ويكمل جهاز Intel Movidius VPU - 45 إطارًا في الثانية أخرى. للكشف عن التدخين ، يكفي 15 إطارًا في الثانية / كاميرا ، مما يسمح بمعالجة ما يصل إلى 3 سلاسل على رسومات معالج واحد. يجب أيضًا أن يؤخذ في الاعتبار أنه بالإضافة إلى تخصيص الموارد واستخدامها للاستدلال ، من الضروري فك تشفير تدفق RTSP الوارد. دعنا





نلقي نظرة على اختبارات وحدة فك التشفير: اختبار وحدة فك التشفير AAEON VPC 3350



عند أقصى حمل لوحدة المعالجة المركزية والرسومات ، نقوم بفك تشفير 30720 بكسل في 15 إطارًا في الثانية ، أي أننا نحصل على 450 إطارًا لـ 720 بكسل. بالنسبة إلى 1080 بكسل ، هذا يعني حوالي 150 إطارًا.



دعنا نفكر في تكوين المجموعة لاستخدامها في مشاركة السيارة والخطوات الرئيسية لمعالجة البيانات:

1. السيارة مزودة بكاميرات IP مدعومة بشبكة إيثرنت ، PoE (واحدة للسائق أو اثنتين: السائق ، الراكب).
2. , AAEON NVR 3350.
3. .
4. .
5. ( ). . , , 50%, ( ).
6. /.
7. (10 ), . :
   
   
   • ,
   • .
   • معرف السيارة (ثابت GUID)
   • رقم الكاميرا (0 ، 1)
   • نوع الحدث
8. يتم إرسال بيانات الأحداث عند توفر 3G / LTE إلى خادم معالجة البيانات المركزي مع التكامل مع نظام معلومات مشاركة السيارة الحالي لعمليات الفوترة.

لنعد إلى الحالة الثانية لاستخدام AAEON VPC-3350S - الكشف عن الركاب وعدادهم في الحافلات:







مراحل العمل المنجز:

1. الأعمال التحضيرية (اختبار الكاميرات ، واختيار البعد البؤري ، وتحديد شروط حدود المشكلة):
   
   
   • تمييز 600 إطار من كاميرات متعددة بأطوال بؤرية مختلفة
   • تدريب الشبكة العصبية على nVidia GPU ، 10 آلاف خطوة
   • اختبار نموذج مقابل مجموعة بيانات التحقق
   • تحويل نموذج إلى Intel OpenVINO
   • اختبار النموذج الناتج في Intel OpenVINO باستخدام مجموعة بيانات التحقق ، ومقارنة الجودة والسرعة بالنموذج قبل التحويل
   • , (, CPU, VPU)
2. ( + )
3. , 20 .
4. nVidia GPU
5. OpenVINO
7. :
   
   
   • gstreamer/ffserver
   • (, , , )
   • mongoDB/PostgreSQL
   • REST API
8. « »

عملية التعلم مباشرة:







واجهة الحساب الشخصي لمجموعة Larga للعملاء مع عرض تقارير عن حركة الركاب:





واجهة الحساب الشخصي لمجموعة Larga للعملاء مع عرض تقارير حركة الركاب



حساب شخصي للعملاء مع عرض تقارير عن حركة الركاب



عملية الكشف عن الأشخاص في منطقة مدخل الحافلة وتمييز المناطق



خوارزمية عملية العداد:

1. قطع تيار RTSP إلى إطارات
2. كشف الرأس في كل إطار
3. تحليل المسار (إبقاء الرأس في الإطار أثناء الحركة)
4. تحليل اتجاه الحركة بناءً على تسلسل تقاطع 3 مناطق محددة مسبقًا
5. تسجيل الأحداث في قاعدة البيانات المحلية مع مراعاة اتجاه الحركة (دخول / خروج)
6. توفير الوصول عبر REST API إلى أنظمة المعلومات وأنظمة التقارير التابعة لجهات خارجية

نظرًا لافتراض الحل المختلط في البداية لاستدلال الشبكات العصبية (الحافة ومعالجة جزء من البيانات في مركز البيانات) ، سننظر في إيجابيات وسلبيات كلا النهجين:







وبالتالي ، نحصل على الحد الأدنى من تكلفة التدفق في مركز البيانات مع المعالجة المركزية ، ولكن المتطلبات عالية لتوافر قنوات عالية الجودة وسريعة الاتصالات. للحلول المتطورة - تكلفة أعلى ، لكن متطلبات دنيا لقنوات الاتصال ولا توجد متطلبات لحجزها.