لنبدأ بأبسط طريقة - لنحاول الصيد بأيدينا. نفتح قاعدة بيانات للبضائع من المشتريات ونبدأ في البحث عن منتج مماثل. هناك احتمالات كبيرة ألا نلتقط أي شيء بحلول المساء.
دعنا نحاول بطريقة ما تصفية قاعدة البضائع من المشتريات. يتم تعيين رمز OKPD2 لكل عنصر في المشتريات. يعتبر مصنف عموم روسيا للمنتجات حسب النشاط الاقتصادي رمزًا يحتوي على معلومات حول منتج.
على سبيل المثال:
الآن لدينا صنارة صيد ، أصبحت أفضل قليلاً ، لكن لسبب ما لا تريد الأسماك أن تعلق على الخطاف.
لا تنزعج ، نحن نستخدم الطعم. نحن بحاجة إلى إيجاد طريقة لتحديد المنتجات المماثلة تلقائيًا داخل OKPD2 واحد. للقيام بذلك ، تحتاج إلى تقديم المعنى الدلالي لوصف المنتج في شكل موتر. لمعالجة المعلومات ، تحتاج إلى تحويلها إلى تنسيق رقمي. للقيام بذلك ، سنستخدم آلية خاصة لترجمة الكلمات إلى مساحة متجه Word2Vec ، والتي تترجم الكلمة إلى سلسلة من الأرقام ذات الحجم المحدد ، تسمى المتجه أو الموتر. Word2Vec هو نموذج تم تدريبه خصيصًا لفهم المعنى الدلالي للكلمة. يجب تحويل المنتجات من قاعدة البيانات التي لها نفس OKPD2 إلى موترات. رائع ، لدينا الآن أحد منتجات الموتر الخاصة بنا ومجموعة من موتر المنتجات الأخرى.
سنبحث عن أقرب منتج عن طريق مسافة جيب التمام ، فكلما كان المنتج من قاعدة البيانات مشابهًا لمنتجنا ، كلما كانت مسافة جيب التمام أصغر. نختار منتجًا بحد أدنى لمسافة جيب التمام وسيكون هذا هو السمك المرغوب.
دعنا نحلل الطريقة الموضحة في الممارسة. لنبدأ بتحويل وصف المنتج إلى موتر. أولاً ، وصف المنتج مرمز ، أي أنه مقسم إلى كلمات منفصلة. لتحويل الكلمات إلى معناها الدلالي ، تم استخدام Word2Vec مُدرَّب مسبقًا بأبعاد 100 (أي ، يتم تمثيل الكلمة بمجموعة من 100 رقم).
لدينا مجموعة من حفلات الزفاف. لحساب مسافة جيب التمام ، من الضروري حساب التمثيل المتجه للنص بأكمله الذي يحتوي على وصف المنتج. إن أبسط طريقة للتنفيذ هي أخذ المتوسط بين جميع عمليات دمج كلمات الوصف ، بينما سيتم تشويه المعنى الدلالي للمنتج ، لكن هذا ليس بالغ الأهمية لحل هذه المشكلة.
بعد أن نقوم بترجمة منتجنا وجميع المنتجات التي لها نفس OKPD إلى حفلات الزفاف ، فإن الخطوة التالية هي حساب مسافة جيب التمام بينهما.
كما ترى في الرسم البياني أدناه ، فإن أقرب شيء إلى منتج "السمكة الكبيرة" هو منتجات "سمك السلمون الضخم" و "السمكة الذهبية".
وبالتالي ، يمكن افتراض أن سعر سمكة كبيرة يقع في النطاق بين أسعار سمكة ذهبية وسمكة سلمون ضخمة. تم الحصول على النتائج التالية على بيانات حقيقية:
في بعض الأحيان قد لا تعمل هذه الطريقة بشكل جيد. على سبيل المثال ، في قاعدة بيانات المنتجات لن يكون هناك منتج مشابه لمنتجنا. بعد ذلك ستكون الأسماك التي تم صيدها صغيرة جدًا ، وستعيد الوحدة نطاقًا فارغًا.
الطريقة الأخيرة التي سننظر فيها ستكون الصيد بالشباك. سيستخدم Yandex كشبكة. يتكون الطلب من وصف المنتج ، ويتم اختيار أول 20 إجابة لمزيد من التحليل. ليس من المنطقي أن تأخذ الإجابات التالية ، لأن صلتها مشكوك فيها. يتم إرسال نصوص أول 20 إجابة إلى مكتشف الأسعار. يختار النموذج الأسعار من الردود ويشكل نطاقًا سعريًا منها. تدخل الكثير من الأسماك المختلفة في شبكة الصيد ، لذا فإن النطاق السعري صاخب جدًا. للتصفية ، دعنا نتخلص من القيم المتطرفة. إذا تم توزيع الأسعار التي تم الحصول عليها بشكل طبيعي ، فيمكن الاحتفاظ بنسبة 68 في المائة فقط من الأسعار. بمعنى ، دعونا نترك الأسعار التي تقع في النطاق بين الفرق بين متوسط جميع الأسعار والانحراف المعياري ، ومجموع المتوسط والانحراف المعياري. هكذا تبدو أسعار المنتج في Yandex:
كل طرق الصيد المدروسة لها مزاياها وعيوبها. يتم اختيار الخيار الأفضل من قبل كل صياد وفقًا لمتطلبات الدقة والوقت. صيد سعيد!