الشبكات العصبية: من أين تحصل على البيانات من أجل التعلم الجيد للخوارزميات؟

مرحبا هبر! اسمي أليسا نيفيكينا وأنا أعمل في شركة ناشئة من بيلاروسيا SmartCoders. نحن منخرطون في تطوير الشبكات العصبية والحلول القائمة على الذكاء الاصطناعي للأعمال. كان هذا المنشور نتيجة لأفكار عميقة حول ميزات تطوير المشاريع باستخدام التعلم الآلي ، بالإضافة إلى نماذج تسييل هذه التقنيات. إذا كنت قد عملت بالفعل مع منظمة العفو الدولية أو تخطط للقيام بذلك ، فأنا أدعوك للانضمام إلى المناقشة.

يتم تحديد تطوير الذكاء الاصطناعي من خلال الخوارزميات المضمنة في الشبكة العصبية. ومع ذلك ، لا يمكن التحقق منها إلا بالاعتماد على كميات كبيرة من البيانات. إذا كنا نتحدث عن نظام قيد التشغيل بالفعل اجتاز معمودية النار على الأقل في إحدى الشركات ، فكل شيء واضح. ولكن ماذا تفعل عندما تحتاج الشبكة العصبية إلى بيانات "مثل الهواء" لإثبات صلاحيتها؟

بدأنا العمل كمقاولين في مشاريع مختلفة ، وتنفيذ مهام العميل. هذه هي الطريقة التي ظهر بها الحل لمشروع "راتب 2.me" ، والذي يساعد في تحديد الراتب الحقيقي لعامل تكنولوجيا المعلومات في موسكو وكييف ومينسك والعديد من المدن الأوروبية.

ولكن من أجل المطالبة بالعالمية ، تفتقر هذه التقنيات إلى التعلم الآلي على مجموعات البيانات الحالية.

أين يمكنني الحصول على بيانات للتعلم الآلي؟

في مرحلة تطوير الخوارزميات نفسها ، يمكنك استخدام نوع من مجموعات البيانات التركيبية. ومع ذلك ، هذا لا يكفي لتحسين وظائف الذكاء الاصطناعي. نحتاج إلى مجموعات بيانات حية للعثور على حالات الزاوية ، والتحقق من سلوك الخوارزميات في عينات مختلفة ، وما إلى ذلك. لكن تبين أن الحصول على مثل هذه المجموعة ليس بهذه السهولة ، لأن:

الجميع يخاف من خصوصية البيانات

على الرغم من حقيقة أنه من أجل اختبار الذكاء الاصطناعي ، فإن البيانات مجهولة المصدر التي لا تحتوي على أي معلومات شخصية كافية ، تخشى الشركات فرض عقوبات من المنظمين على نقل قواعد عملائهم ، وقليل جدًا من الأشخاص يمكنهم إصدار مجموعة بيانات غير شخصية. يجب طهيه ، لكن لا يوجد من يفعل ذلك.

هناك مشكلة عدم الثقة

مشكلة أخرى هي عدم الثقة. ماذا لو أتينا بالذكاء الاصطناعي الخاص بنا نيابة عن المنافسين؟ سيسمحون لنا بالدخول ، ودعونا نعمل مع البيانات ، وستنتهي قاعدة البيانات في الأيدي الخطأ.

أي مبلغ من المال اليسار

أخيرًا ، يتطلب اختبار الذكاء الاصطناعي أموالًا. ولكن إذا لم يكن التأثير واضحًا ، فلا توجد أموال في الميزانية لتنفيذ وتطوير الذكاء الاصطناعي. تواصل الشركة العمل كما فعلت.

ماذا أفعل؟

, “” . , , . -, , . — , , . “ ”.

,

• - , . , , , . ?
• , , , , . - . , . , ?
• , . , , , “” .

, . , , fine tuning .

, , . , , , . .