البيانات التركيبية: تحسين خوارزميات الإدراك وتحسين البحث عن الحدود

من أجل تغطية جميع الحالات المتطورة التي تمت مواجهتها في العالم الحقيقي ، تتطلب أنظمة الاستشعار الحرجة كميات هائلة من البيانات. أحد الأساليب الشائعة لتدريب خوارزميات السيارات ذاتية القيادة هو اختيار بيانات القيادة الحقيقية وتمييزها. في CVPR 2020 ، قال Andrey Karpaty إن Tesla تستخدم أيضًا هذا النهج - سياراتهم تتكيف مع علامات الكائنات عبر الإنترنت. يعد "التغيير والتحكم" أمرًا مهمًا للغاية حيث يعمل المهندسون باستمرار على تكييف المنهجية والمنهجية لتصنيف البيانات ، حيث تواجه السيارات ذاتية القيادة باستمرار سيناريوهات جديدة تحتاج إلى التحليل.



ومع ذلك ، فإن هذا النهج القائم على البيانات له قيود مختلفة بسبب قابلية التوسع وتكاليف جمع البيانات ومقدار الجهد المطلوب لوضع علامات دقيقة على مجموعات البيانات. في هذا النص ، سيناقش الفريق التطبيقي نهج البيانات ذات العلامات التركيبية. هذا النهج يجعل تعلم وتطوير الخوارزميات الهامة للمركبات بدون طيار أسرع وأكثر فعالية من حيث التكلفة.







مثال على البيانات التركيبية للصور من الكاميرات ذات العلامات المرجعية. صورة RGB أصلية (أعلى اليسار) ، إطارات ثنائية الأبعاد (أعلى اليمين) ، علامات دلالية (أسفل اليسار) وإطارات ثلاثية الأبعاد (أسفل اليمين).

النهج الحديث لترميز البيانات والمشاكل ذات الصلة

يوضح الشكل 2 نهجًا نموذجيًا لإنشاء مجموعات بيانات ذات علامات. هذه عملية تستغرق وقتًا طويلاً - اختبار السائقين يقودون المركبات المجهزة بأجهزة استشعار متعددة في الوضع اليدوي أو بدون طيار. خلال هذه الرحلات ، يقوم برنامج خاص مدمج في السيارة بتسجيل بيانات المستشعر الخام ومخرجات البرنامج من وحدات الاستشعار والتحكم والتخطيط. أثناء عملية التطوير ، قد يكون من الضروري إنشاء مركبات خاصة ، لأن المركبات التسلسلية قد تفتقر إلى أجهزة الاستشعار الدقيقة المطلوبة لجمع البيانات. بعد جمع البيانات ، تنشأ المهمة الصعبة المتمثلة في تكوين عينة من البيانات التي سيتم ترميزها. هذا يتطلب اختيار دقيق لأحداث محددة ومثيرة للاهتمام ، وبعد ذلك يتم إرسال مجموعات البيانات إلى الشركات ،تشارك في الترميز (يُنصح بتقليل حجم مجموعة البيانات من أجل الحفظ على ترميزها). يتضمن هذا أحيانًا البحث عن حالات حافة معينة في السجلات (مثل حزمة تطير على الطريق السريع). أيضًا ، قد تكون هناك حاجة إلى إعادة التجميع ووضع العلامات عند تحديث تكوين أي من أجهزة الاستشعار.







2:



في حين أن الترميز قد يكون الطريقة الوحيدة لإعداد البيانات الأولية اللازمة لتدريب خوارزميات القيادة المستقلة ، فإن العيب الرئيسي لهذا النهج هو الاستثمار المطلوب للتوسع بدرجة كافية. قد يحتاج سائقو الاختبار إلى السفر مئات أو آلاف الكيلومترات لاكتشاف أي حالة حافة. Tesla ، على سبيل المثال ، لديها أسطول يضم أكثر من مليون سيارة إنتاج تجمع كميات هائلة من البيانات: علامات التوقف بلغات مختلفة ، ومواقع مختلفة ، والتحقق من صحة البيانات والمزيد - كل ذلك نيابة عن الشركة. لا تمتلك معظم الشركات المصنعة للمعدات الأصلية مركبات كافية لجمع مجموعات البيانات هذه. حتى لو توفرت كميات هائلة من بيانات القيادة ، فلا يوجد ضمان.أن هذه البيانات ستكون متاحة في مجموعات البيانات. في هذه الحالة ، لجمع مثل هذه البيانات ، من الضروري إجراء حملات خاصة ، مما يزيد من تكلفة التطوير ويزيد من الإطار الزمني.



جانب آخر هو توافر وتوافر شروط محددة. في وقت كتابة هذه السطور ، كانت الولايات المتحدة تمر بظروف مناخية قاسية - تتحول السماء إلى اللون البرتقالي (وأحيانًا حمراء) (الشكل 3). إذا لم تكن هناك سيارات في منطقة بها مثل هذه الظروف ، فسيستغرق جمع هذه البيانات سنوات - لتكرار الظروف القاسية. خلاف ذلك ، ستكون مجموعة البيانات متحيزة بسبب حقيقة أنها لا تقدم عينات من هذه الشروط.







الشكل 3: يصعب التنبؤ بالظروف القاسية والتقاطها في مجموعات بيانات المركبات ذاتية القيادة. المصدر: سي بي اس نيوز.



بالإضافة إلى ذلك ، يبحث مطورو السيارات ذاتية القيادة دائمًا عن تصميمات جديدة ، وستكون هناك حاجة إلى بنية تحتية كبيرة لمعالجة البيانات بكفاءة. تفترض العديد من الاستعلامات حول هذه البيانات أن البيانات تحتوي بالفعل على علامات أو ترميز. المشكلة هي أنه إذا لم يتم استخدام هذه الطريقة من قبل ، فقد لا تكون كذلك. أخيرًا ، تكلفة تمييز البيانات مرتفعة جدًا وغالبًا ما يتم تمييز البيانات يدويًا. هناك احتمال كبير للأخطاء وعدم الدقة (على سبيل المثال ، عندما تتداخل إحدى السيارات مع أخرى في الصورة).

استخدام البيانات التركيبية وفوائدها

توفر البيانات التركيبية نهجًا بديلاً أكثر قابلية للتوسع ودقة. على الرغم من أن البيانات التركيبية يتم إنشاؤها من المحاكاة ، إلا أنه يتم توفير معلومات موثوقة (ملصقات المركبات الدلالية أو النصوص على لافتات الطريق) بدقة. يمكن أن توفر المحاكاة أيضًا بيانات دقيقة عن البياض والعمق والانعكاس الخلفي وخشونة كل كائن في المشهد (الشكل 4). بالإضافة إلى ذلك ، تحتوي الكائنات على أقنعة بكسل وتسميات دلالية. كل هذا يسمح لك بإنشاء التعليقات التوضيحية تلقائيًا ، دون الحاجة إلى وسم البيانات يدويًا من أجهزة الاستشعار. بينما قد يتطلب الأمر برنامج استخراج مخصص في العالم الحقيقي لإنشاء تعليقات توضيحية فردية ، فسيكون استثمارًا لمرة واحدة يتيح لك إنشاء فئات تسمية جديدة واستخدامها.







4: . : , , , , .



ميزة أخرى ملحوظة لترميز البيانات التركيبية هي أنه يسمح لك بإنشاء العديد من الأشكال المختلفة لنفس المشهد دون الحاجة إلى السفر حول العالم والاعتماد على الحظ. تتيح لك البيانات التركيبية أيضًا التركيز على كائنات محددة تهم المطورين. مع إعداد الخوارزميات الصحيحة ، يمكن محاكاة الملايين من متغيرات لافتات الطريق في غضون ساعات. قد تشمل هذه الخيارات ظروف الإضاءة المختلفة ، ووضع الأشياء ، والعوائق والأضرار المختلفة (الصدأ ، بقع الزيت ، الكتابة على الجدران). وبالتالي ، يمكن للبيانات التركيبية أن تكمل البيانات المأخوذة من العالم الحقيقي. يمكن استخدام أحداث العالم الحقيقي المركبة كنقطة انطلاق يتم من خلالها إنشاء آلاف الأشكال المختلفة للمشهد الأصلي.



التنوع مهم أيضًا من وجهة نظر جغرافية. من أجل تلبية علامات الطرق الأجنبية مع تعديلات محددة مستخدمة في كل دولة ، ستحتاج مركبات الاختبار إلى السفر إلى تلك البلدان. أيضًا ، يمكن لسيارة اختبارية أن تقطع مئات الكيلومترات للعثور على بعض علامات الطريق المحددة ، ولكن في النهاية اتضح أن حافلة مدرسية كانت مسدودة نصفها. يمكن التحايل على كل هذه الصعوبات عن طريق إنشاء المشاهد الضرورية على الفور باستخدام مجموعات البيانات التركيبية (الشكل 5). نظرًا لحقيقة أنه يمكن إنشاء مجموعة واسعة من السيناريوهات على أساس البيانات التركيبية ، يمكن اختبار الخوارزميات في العديد من الحالات المتطورة (الشكل 6).يصف هذا المنشور كيف تستخدم Kodiak Robotics (التي تتعامل مع الشاحنات ذاتية القيادة) المحاكاة الاصطناعية لتدريب الخوارزميات والاختبارات - فهي تتحقق من أن نظام Kodiak Driver الخاص بها يتعامل بشكل مناسب مع حالات اختبار الحافة المختلفة.











الشكل 5: أمثلة على علامات الطرق المختلفة في أوروبا والولايات المتحدة







الشكل 6: تعديل ظروف الطريق والعلامات في البيانات التركيبية



حالة استخدام مهمة أخرى: الحصول على عينات بيانات مرجعية لا يمكن جمعها من أجهزة الاستشعار أو إضافتها يدويًا. مثال نموذجي هو استخراج عمق دقيق من كاميرا بها عدسة واحدة أو أكثر. لا تخبرنا بيانات العالم الحقيقي بعمق كل بكسل فردي ، ومن المستحيل حسابه بدقة أو تمييزه يدويًا.

متطلبات البيانات التركيبية

بيانات جهاز الاستشعار



لكي يكون ترميز البيانات التركيبية مفيدًا من حيث خوارزميات الاختبار والتدريب للمركبات ذاتية القيادة ، يجب أن تفي البيانات الواردة من أجهزة الاستشعار المحاكاة والتعليقات التوضيحية بمعايير معينة. كما كتبنا سابقًا في المنشور حول نمذجة أجهزة الاستشعار ، يجب إنشاء مجموعات البيانات الكبيرة من أجهزة الاستشعار الاصطناعية المستخدمة في تطوير المركبات غير المأهولة بسعر رخيص وسريع (في غضون أيام قليلة). أيضًا ، يجب تصميم أجهزة الاستشعار الاصطناعية مع مراعاة المبادئ الفيزيائية الأساسية المتأصلة في أنواع معينة من أجهزة الاستشعار. العامل الأكثر أهمية هو مستوى دقة النماذج التي تم إنشاؤها. هناك مفاضلة بين فجوة الاحتمال (كيف ترى الخوارزميات بشكل مختلف البيانات الحقيقية مقابل البيانات التركيبية) وسرعة جمع البيانات.يمكن أن تختلف هذه الفجوة وفقًا لنوع المستشعر الذي تمت محاكاته والأشياء المحيطة والظروف البيئية. من المهم أيضًا أن تكون قادرًا على تحديد هذه الفجوة واستخدام التقدير الناتج لتشكيل استراتيجية لاستخدام البيانات التركيبية. كمثال ، ألق نظرة على الشكل 7 ، الذي يوضح كيفية استجابة نموذج الليدار للطريق الرطب. في الصورة ، يمكنك أن ترى كيف يتفاعل الليدار لإرجاع الإشارات على مستوى الأرض والرش من المركبات المجاورة.في الصورة ، يمكنك أن ترى كيف يتفاعل الليدار لإرجاع الإشارات على مستوى الأرض والرش من المركبات المجاورة.في الصورة ، يمكنك أن ترى كيف يتفاعل الليدار مع ملاحظات مستوى الأرض والرش من المركبات المحيطة به.







7:







جانب آخر مهم ينشأ عند العمل مع البيانات التركيبية هو تنوع الوسائط والمواد الموجودة في هذه الوسائط. يجب إنشاء البيئات بسرعة من الخرائط والبيانات الحقيقية - كما هو موضح في الشكل 8. تعتمد القدرة على إنشاء مثل هذه البيئات بسرعة على تقنيات التوليد الإجرائي. تعد القدرة على نمذجة أي منطقة جغرافية من جميع أنحاء العالم ميزة أخرى مذهلة للبيانات التركيبية على البيانات الحقيقية. ومع ذلك ، في حين أنه من السهل إنشاء مواقع مختلفة ، إذا تم تكوين الطرق بشكل خاطئ ، فيمكن تكرار المناطق والبيانات. حاليًا ، هناك جانب مهم جدًا في هذا المجال وهو إيجاد العلاقة بين تكرار البيانات وانعكاس تنوع العالم الحقيقي. يجب أن يؤخذ التنوع في الاعتبار على المستوى الكلي (مقدار تغير سطح الطريق على جزء كيلومتر من المسار) ،وعلى المستوى الجزئي (على سبيل المثال ، كيف يمكن أن تختلف المواد المختلفة للبيئة).



تمت مناقشة أهمية المواد في تقديم بيئات قابلة للتصديق ماديًا في منشور سابق ، على الرغم من أن القوام الذي يتكون منه هذه المواد عادةً ما يكون عبارة عن مسح للأسطح الحقيقية. يمكن أن يكون إنشاء مجموعات وأشكال مختلفة من هذه المواد لإضافة التنوع إلى البيانات التي تم إنشاؤها أمرًا بالغ الأهمية في كل من خوارزميات التدريب واختبارها.







الشكل 8: بيئة حضرية عالية الجودة متولدة من الناحية الإجرائية.



التعليقات



التوضيحية تعتمد متطلبات التعليقات التوضيحية على البيانات على حالات الاستخدام والخوارزميات. يتم عرض أنواع التعليقات التوضيحية للبيانات المأخوذة من العالم الحقيقي في الجدول 1.







الجدول 1: أنواع التعليقات التوضيحية لبيانات العالم الحقيقي



في حالة البيانات التركيبية ، تتوفر معلومات أكثر موثوقية لإنشاء تعليقات توضيحية مماثلة يمكن التقاطها في البيانات المجمعة. يتم أيضًا إعادة إنتاج البيانات الأساسية بدقة نقطة / بكسل. أخيرًا ، يمكن معالجة بيانات المستشعر والشروح في أي إطار مرجعي (العالم ، والنظام نفسه ، ومستشعر منفصل ، وما إلى ذلك).



يوضح الجدول 2 الأنواع القياسية من التعليقات التوضيحية للبيانات الناتجة عن النمذجة. بالإضافة إلى ذلك ، يمكن تخصيص العديد من التنسيقات وأنواع البيانات بشكل أكبر.







الجدول 2: أنواع التعليقات التوضيحية للبيانات التركيبية



يؤدي استخدام كل أنواع البيانات المرجعية الإضافية هذه إلى تسريع تطوير الخوارزمية بشكل كبير. إن الحجم الهائل للبيانات وجودة وحجم البيانات المتاحة تمكن المهندسين من اتخاذ القرارات بشكل أسرع.







الشكل 9: بيانات تركيبية مشروحة تظهر مربعات ثنائية الأبعاد مثالية للبكسل

---

• أول نظام تحكم تسلسلي روسي لمحرك مزدوج الوقود مع فصل وظيفي لوحدات التحكم
• في السيارة الحديثة ، يوجد عدد من سطور التعليمات البرمجية أكثر من ...
• دورات مجانية عبر الإنترنت في السيارات والفضاء والروبوتات والهندسة (+50)
• ماكينزي: إعادة التفكير في البرمجيات وهندسة الإلكترونيات في السيارات