تثبيت الفيديو من كاميرا متحركة ، أو كيفية ترجمة كل شيء إلى نظام إحداثيات ثابت

تعمل قدرات رؤية الكمبيوتر (CV) الآن على إعادة تشكيل مشهد سوق حلول السلامة العامة بالكامل. في حين أنه لم يعد من السهل مفاجأة أي شخص بأنظمة المراقبة بالفيديو التقليدية ، ومن الغريب عدم العثور عليها في أي مكان عام ، إلا أن استخدام الذكاء الاصطناعي في هذا المجال لا يزال جديدًا.

نحن نحقق في تطبيق السيرة الذاتية على مختلف مهام أعمال السلامة العامة. في هذا المنشور ، نقدم خيارًا لترجمة الفيديو من كاميرا متحركة إلى نظام إحداثيات ثابت لمزيد من التحليل.

المشروع بأكمله موجود على جيثب .

---

لنفترض أن لدينا نوعًا من الفيديو ونريد إنشاء نظام إحداثيات ثابت له من أجل تقييم موقع الكائنات بالنسبة لبعضها البعض.

لماذا هذا مطلوب؟ في كثير من الأحيان في مهام المراقبة العامة ، يتم تصوير الفيديو الذي يحتاج إلى تحليل بكاميرا متحركة. لهذا السبب ، تنشأ عدة مشاكل في تحديد موضع الكائنات بالنسبة لبعضها البعض:

• ليس من الواضح سبب التغيير في إحداثيات الكائن: الكاميرا أو الكائن نفسه يتحرك ؛
• عند تغيير المشهد بسبب دوران الكاميرا ، يمكن أن تحصل الكائنات المختلفة على نفس الإحداثيات ، حتى لو كانت الكائنات ثابتة.

الشكل 1 - الكائنات المتطابقة لها إحداثيات مختلفة بسبب حركة الكاميرا

من أجل بناء نظام إحداثيات ثابت ، يجب عليك:

1. تحديد أصل الإحداثيات ؛
2. قارن إطارين متتاليين مع بعضهما البعض ؛
3. , , (, , ..).

2 —

:

1. .
2. : , . . . SIFT, SURF ORB. , . , , , .

3 — matching visualization

1. , .

:

• a, e — x y ;
• b, d — ( a e );
• c, f — ;
• g, h — .

, , . (x,y) (x',y') :

:

$$

$$t\cdot(x',y',1)=H\cdot(x,y,1)(1)$$

:

k- .

N — (f₁,..., f_N). . matching points , f_k f_k-1.

:

— ;

(X_k, Y_k)=((x¹_k, y¹_k),…, (xⁿ_k, yⁿ_k)) – n matching points;

(X'_k, Y'_k) =((x'¹_k, y'¹_k),…, (x'ⁿ_k, y'ⁿ_k)) – n matching points ;

(X''_k, Y''_k) =((x''¹_k, y''¹_k),…, (x''ⁿ_k, y''ⁿ_k)) – k — n matching points , f_k-1.

H_k – , f_k-1 f_k.

, .

(X_k, Y_k) (X'_k, Y'_k). f₁ f_k , .. . H_k.

, (H₁,…, H_k-1). H_k (X_k-1, Y_k-1) (X_k, Y_k), , .

3:

3 — ,



, . a :

x¹_k= x¹_k-1 — a, , a : x'¹_k = x¹_k — a, 3. , , .

?

(H₁,…, H_k-1). , 1 k-1 mathcing points f_k-1 . (1), , — .

$$

$$H_{sup}=H_1\cdot(H_2\cdot(H_3...))(2)$$

, , , f_k-1 f_k, : (X_k-1, Y_k-1) (X_k, Y_k) ( (2)), (X'_k-1, Y'_k-1) (X''_k, Y''_k) H_k. , , (x¹_k, y¹_k) (x'¹_k, y'¹_k).

$$

$$t(x',y',1)=H_{sup} \cdot(x,y,1) (3)$$

: , ( , , .. ), - , . .

:

• "" matching points ((x¹_k, y¹_k),… ,(x'ⁿ_k, y'ⁿ_k)),
• H, k- k-1 .
• ((x'¹_k, y'¹_k),… ,(x'ⁿ_k, y'ⁿ_k))
• :
  
  
  • , ;
  • . , ;
  • - ( LENGTH_ACCOUNTED_POINTS len(matching points)), , , , .

, . .

"" , . , , , , . T , . , motion video segmentation.

.

GitHub , .

• evenvizion_component.py
• evenvizion_visualization.py
• compare_evenvizion_with_original_video.py

evenvizion_component.py

, evenvizion_component.py. , json , f_k-1 f_k. , json , . , , .

- , json --path_to_original_coordinate recalculated_coordinates.json , .

json :

{"frame_no": [{"x1": x coordinate, "y1": y coordinate}, ...], ...}

evenvizion_component.py , 3 ( matching and heatmap --show_matches --visualize_fixed_coordinate_system ).

evenvizion_visualization.py compare_evenvizion_with_original_video.py .

README.

, .

:

matching points — matching visualization:

5 — matching visualization

.

, , (heatmap visualization):

6 — heatmap visualization

20 , , . , . : r=sqrt(x²+y²), heatmap_constant , : 0 — , 1 — .

7 — fixed_coordinate_system_visualization

json , , fixed_coordinate_system_visualization ( 7).

evenvizion_visualization.py compare_evenvizion_with_original_video.py , ( ). 8 9 .

8 — visualize_camera_stabilization

9 — original_video_with_EvenVizion

Known issues

N/a . matching points , , 90 , . video motion segmentation, , , static points motion points. — .

. 4 matching points, , 4 , =None. : none_H_processing True, : H_k=H_k-1. False, H — , . .

. . . :

• . , , (, ).
• findHomography() opencv. .

وبالتالي ، نحصل على مكون يسمح لنا بتقدير الموقع الحقيقي للأشياء بالنسبة لبعضها البعض ، لترجمة إحداثيات الكائن إلى نظام ثابت بالنسبة للإطار. لان في هذا الحل ، الشيء الرئيسي هو تقييم تحول الطائرات باستخدام النقاط الرئيسية ، ثم ، كما هو موضح أعلاه ، يمكن حل المشكلة حتى في ظروف التصوير السيئة (حركة الكاميرا الحادة ، الظروف الجوية الصعبة ، التصوير ليلاً ، إلخ).