اسمي الكسندرا تساريفا. أعمل أنا وزملائي في مشاريع في مجال رؤية الكمبيوتر في مركز التعلم الآلي لأنظمة المعلومات النفاثة. أود أن أشارك خبرتنا في تطوير وتنفيذ المشاريع في مجال رؤية الكمبيوتر.
في هذه المقالة سوف أتحدث عن كيف أن عملية عمل أخصائي البيانات في مشروع ما لا تبدو من وجهة نظر "روحية" ، وفي الواقع ، وجهة نظر معنية بالبيانات ، ولكن أكثر من منظور تنظيمي. وآمل أن يتبع هذا المنشور عدة مقالات أخرى وأن يكون قادرًا على كتابة سلسلة صغيرة.
سأدلي بنقطتين مهمتين على الفور:
- تنطبق هذه الخطوات على أي مشروع مجموعة بيانات تقريبًا. لكن بعض اللحظات ناتجة عن تأثير الضجيج حول السيرة الذاتية ، وبعض مجد "الرصاصة الفضية" في رؤية الكمبيوتر ورغبة العميل في "الحصول عليها مع الشبكة العصبية".
- , , — , - . , , ( , ..) , — - .
: ?
عندما يقرر العميل أنه بحاجة إلى خبراء بيانات ونوع من الذكاء الاصطناعي الذي سيساعده ، أولاً وقبل كل شيء ، فإنه يحتاج إلى فهم المشكلة التي سيحلها. في هذه المرحلة ، يعمل مُصمم البيانات بمثابة "محلل نفسي" للبيانات ويسأل بالتفصيل عن البيانات والقيود الخارجية من وجهة نظر الأعمال والمشكلات التي يرغب المرء في حلها في عالم مثالي. غالبًا ما يعرف العميل بالفعل كل شيء عن المهمة المستقبلية - ما عليك سوى مساعدته على فهم هذه المعرفة وإضفاء الطابع الرسمي عليها (فهم عالم بياناته الداخلي ، وأحيانًا - والتعامل مع خصائصه المميزة).
بالطبع ، تعد رؤية الكمبيوتر مجالًا مثيرًا للاهتمام للغاية ، فهناك دائمًا شيء يجب الاعتماد عليه والقيام به بيديك. لكن كل هذا مكلف للغاية - سواء من حيث ساعات التطوير أو من حيث تكلفة المتخصصين أو من حيث المعدات المطلوبة لهم. لا يسعنا إلا أن نتساءل عما إذا كان الحل الأمثل للمشكلة يتطلب حقًا السيرة الذاتية. ربما توجد أدوات أخرى للتعلم الآلي أكثر ملاءمة ويمكنها حل المشكلة بشكل أفضل مع وقت تطوير أقصر ودقة أعلى؟
سأريكم الفكرة بمثال بسيط. أراد أحد بائعي التجزئة تنفيذ التعرف على صورة الدوائر التلفزيونية المغلقة لتتبع عدد الأشخاص الذين يصطفون في طابور عند الخروج. قد تبدو مهمة واضحة - يوجد أرشيف فيديو ، حتى أن هناك شبكات عصبية مُدرَّبة مسبقًا - "عدادات". وقع على الجدول ، افعل ذلك.
ولكن من محادثة مع بائع التجزئة ، يتعلم عامل البيانات أن المهمة لا تتعلق بالحمل على أمين الصندوق في لحظة معينة من الوقت. لا تتمثل المهمة العالمية في استدعاء الموظفين غير الضروريين لاستبدالهم ، ولكن في نفس الوقت تجنب قوائم الانتظار. لدى بائع التجزئة قاعدة بيانات كبيرة توضح عدد العملاء الذين زاروا المتجر (إذا رأيت البائعين ينحني فوق الإطارات عند الخروج من المتجر ، فقد رأيت أبسط تطبيق لمثل هذا العداد) ، وبيانات عن المشتريات من الخروج ... وفي الواقع ، المهمة ليست كذلك عد الناس في طابور ، وتوقع العبء على الصرافين وتحسين جدول عملهم.
يمكنك بالطبع حلها عن طريق عد الأشخاص في مقاطع الفيديو المؤرشفة. لكن البيانات المجدولة عادة ما يتم تخزينها بشكل أعمق وأسهل في المعالجة. من الإنصاف تقديم بديل - ربما سمع العميل فقط عن حقيقة أن السيرة الذاتية مبهرة.
لذلك ، في المرحلة الأولى ، نتأكد من أن المشكلة التي يريد العميل حلها هي في الحقيقة مشكلة رؤية آلية ، وأن هذه التكنولوجيا هي الأنسب لحلها.
الخطوة الثانية: كيف سنحل مشكلة السيرة الذاتية ونقيّم نجاح الحل؟
المرحلة الثانية هي صياغة مشكلة رياضية واختيار المقاييس.
هل هناك أي حلول معروفة ، شبكات عصبية ، يمكنها حل هذه المشكلة؟ ربما منتج محاصر؟ إذا كانت المهمة جديدة - ربما هناك منشورات يمكننا الاعتماد عليها وتقدير أولي للجودة التي يمكن تحقيقها؟
في هذه المرحلة ، نناقش مقاييس حل المشكلة من وجهة نظر عملنا ، كأخصائيي بيانات ، ومن وجهة نظر العميل ، في سياق حل مشكلة العمل.
يبدأ العمل مع البيانات أحيانًا في وقت واحد بالاتفاق على الحل والمقاييس ، ولكن من أجل الراحة ، سنخصصها في خطوة منفصلة.
الخطوة الثالثة: استكشاف وفهم بياناتنا
من المهم للغاية تقييم ما إذا كانت لدينا بيانات كافية لحل المهمة المطروحة. من الواضح أنه سيتم رفض مجموعات البيانات الصغيرة حتى في مرحلة الإعداد ، ولكن في عملية التعرف على مشكلة العمل ، قد تظهر فروق دقيقة جديدة. تختلف المواقف: يمكن أن يكون لدينا 1000 صورة ، 10 منها فقط تنتمي إلى الفئة المطلوبة ، ولن تساعدنا أي تقنيات رؤية آلية سرية.
ربما نفهم على الفور أنه ليس من الصعب جعل مجموعة البيانات الحالية أفضل - مطالبة الموظفين بتصوير أشياء أكثر مما يتم تصويره بشكل روتيني ، لجمع بعض البيانات الإضافية من خلال الاستعانة بمصادر خارجية أو مجموعات البيانات المفتوحة.
في نفس المرحلة ، يتم ملاحظة العيوب فيما يتعلق بالتعلم النموذجي المستقبلي ، ويمكن للعديد منها أن يعيدنا إلى الخطوة عندما نعيد مناقشة قابلية حل المشكلة الأساسية. المثال الأكثر شيوعًا هو انخفاض التنوع في البيانات ، أو التمثيل الناقص لأحد الفئات. من الممكن التنافس على زيادة التنوع باستخدام تقنيات التعزيز المختلفة ، لكن هذا لا يسمح لنا دائمًا بجعل نموذج جاهزًا للعالم الحقيقي. ومع ذلك ، إذا بدا لنا أننا قادرون على التعامل مع الصعوبات في البيانات ، فإن الخطوة الرابعة هي الإنقاذ.
الخطوة الرابعة: تطوير نموذج أولي
في هذه المرحلة ، لا نتحدث عن نموذج جاهز للتنفيذ ، ولكن عن نموذج أولي سيجيب علينا وعلى العميل عندما يُسأل عما إذا كان الأمر يستحق الاستمرار في العمل في هذا الاتجاه ، وما إذا كانت النتيجة المحتملة تلبي التوقعات (توقعاتنا ، والأهم من ذلك ، العميل). بعد العمل مع البيانات ، نبدأ في تطوير نموذج تجريبي وتقييم جودته. بعض الأشياء الواضحة: في هذه المرحلة ، يتم التحقق من صحة النموذج مقابل مجموعة بيانات مؤجلة. الخياران الرئيسيان هما الصور التي وضعناها جانبًا ، أو الصور التي كتبها عميلنا أثناء عملنا في المشروع.
مدة العمل في المشروع في المرحلة التجريبية لتطوير نموذج أولي لا تقل عن شهر. خلال هذا الوقت ، في معظم الحالات ، يمكن للعميل تجميع البيانات للاختبار. يعد هذا اختبارًا جيدًا لعلامات البيانات لمعرفة مدى جدية حل المشكلة: إذا أخذنا بيانات لم نرها من قبل ، فإننا نتحقق من كيفية تعميم نموذجنا وما إذا كان يناسب الإجابات على مجموعة بيانات التحقق (والتي ، بالطبع ، مؤجلة أيضًا. لكن فات الأوان لمعرفة أن كل شيء قد تغير في العالم الحقيقي منذ ذلك الحين ، سيكون من العار تمامًا).
من ناحية أخرى ، في لحظة تلقي مجموعة البيانات المؤجلة ، يمكننا معرفة مدى استقرار الكائنات التي تقع في مجال اهتمامات عميل المشروع (وهذا ينطبق أيضًا على العملاء الداخليين) وتتوافق مع العينة المستخدمة للتدريب والتحقق من صحة النموذج. بعد كل شيء ، مثل هذا الموقف ممكن تمامًا: يتم تنفيذ رؤية الكمبيوتر كمشروع كبير لرقمنة كل شيء وكل شخص ، وفي نفس المرحلة تحدث تغييرات مهمة في مصدر البيانات (على سبيل المثال ، تمت إعادة بناء الناقل الرئيسي بالكامل ، وتغيرت الصور القادمة منه بشكل أساسي).
يساعد تحليل نتائج الطيار في تحديد مصير المشروع في المستقبل. قد يتضح أن العميل لديه متطلبات عالية جدًا لمستوى الدقة: على سبيل المثال ، يجب أن تكون 99٪ من الإجابات صحيحة ، وفي الخطوات السابقة بدا لنا أن هذا يمكن تحقيقه بشكل أساسي. ولكن في التجربة ، حققنا دقة تصل إلى 93٪ ، وبالطبع لا يمكننا أن نعدك بتحقيق مكاسب بنسبة 6٪. من المنطقي مناقشة الخيارات المتاحة لتطوير المشروع مع النتائج التجريبية المتاحة مع العميل - حول جمع بيانات إضافية ، أو تقليل القياس المطلوب ، أو حتى تجميد المشروع حتى حدوث اختراقات جديدة في مجال السيرة الذاتية.
يمكن عرض الخطوات الأربع الأولى بالرسم التخطيطي التالي:
يستغرقون وقتًا أقل بكثير من التطوير الفعلي. ومع ذلك ، يتم تحديد النجاح المستقبلي للمشروع - إلى أي مدى سيلبي توقعات العميل ويحل مشكلته حقًا.
الخطوة الخامسة: افعل الباقي ؛)
سيبدو المشروع بأكمله ، من تأكيد المفهوم إلى الحل المنفذ ، كما يلي:
خطة وشروط تطوير المشروع تقريبية. في المشاريع الحقيقية ، تظهر دائمًا فروق دقيقة مختلفة ، نظرًا لأن البيانات تختلف من شخص لآخر ، يتم جمعها بسرعات مختلفة ، ويمكن أن تكون مرحلة إدخال رؤية الكمبيوتر داخل الشركة نفسها مختلفة تمامًا اعتمادًا على ما يتم التخطيط للتكامل معه ، ومن يقوم بإجراء ذلك ، وما إلى ذلك. .P. بعد كل شيء ، هذا شيء واحد عندما يتعلق الأمر بتثبيت نظام تحديد هوية للموظفين الذين يدخلون المكتب بناءً على تسجيلات من كاميرات المراقبة لفترة طويلة من الزمن: يمكننا البدء على الفور في العمل معهم. إنها مسألة أخرى إذا كان لدينا عدد قليل من الصور النموذجية التي سنقدم بها إثباتًا للمفهوم - سوف نتحقق مما إذا كانت المشكلة قد تم حلها من حيث المبدأ ، والمدة التي سيستغرقها جمع مجموعة بيانات كاملة ، لا نعرف.
وبالتالي ، تُظهر الشريحة إطارًا زمنيًا تقريبيًا للغاية لمشروع مجرد في فراغ ، لكنني أعتقد أنه من المفيد معرفة أن الدورة الكاملة من إثبات المفهوم إلى التنفيذ والتنفيذ تستغرق حوالي عام. يمكن أن تزيد هذه المصطلحات للمهام المعقدة ، وتنخفض في حالة ما إذا كان الحل "خارج الصندوق" هو الأفضل أو كانت المشكلة معروفة جيدًا ولا تتطلب عملًا بحثيًا.