يكتشف علماء البيانات ما يهتم به الناس وما ينفقون الأموال عليه
في سياق البحث عن مختلف الجماهير ، يلاحظ علماء البيانات كلاً من الحقائق الطبيعية والمفاجئة التي تميز المجتمع من حولنا بوضوح. في هذا المقال سوف أتحدث عن تلك الفضول والحالات غير العادية التي لاحظتها عند أداء المهام المتعلقة بتحليل التدقيق ، والبحث عن اهتمامات مستخدمي الإنترنت وشراء سلوكيات المجموعات الاجتماعية المختلفة.
ما هي السمات الاجتماعية التي تم تحديدها من خلال استخدام نماذج التعلم الآلي؟ ماذا نعرف عن العملاء؟
ملف العميل على الشيك؟ سهل!
أعمل كمحلل بيانات في CleverDATA وعادة ما أواجه المهام التالية: تصنيف البيانات الأولية ، وتحليل التدقيق وبناء نماذج متشابهة (LaL) عندما يكون للعميل جمهوره الخاص ويريد العثور على جمهور مشابه. هناك طلب كبير على العديد من الحملات الإعلانية عبر الإنترنت.
لدينا 1DMC DATA Exchange ، حيث يمكن للأعضاء إثراء بياناتهم واستثمارها. يحتوي على بيانات غير شخصية من نوعين ، مجمعة في سمات تصنيفنا - عمليات الشراء عبر الإنترنت ودفق النقر ، أي تسلسل زيارات الصفحة التي تمكنا من تتبعها. يفي تنسيق البيانات بمعيار اللائحة العامة لحماية البيانات الأوروبية لحماية البيانات الشخصية.
سمات تصنيفنا هي حقائق ملكية الشيء أو وجود مصلحة معينة في شخص ما. هذه معلومات ثنائية - إما هناك أم لا.
فيما يلي بعض الأمثلة على سمات التصنيف الخاصة بنا:
من أهم المهام تجميع بيانات المورد الخام في سمات التصنيف ، أي مهمة التصنيف.
أحتاج إلى استخلاص استنتاجات بشأن مشتريات الأشخاص حول أسلوب حياتهم ووجود أشياء معينة (بشروط ، قد يشير التحقق من طراز رود رود ذي العلامة التجارية إلى أن المشتري هو مالك دراجة نارية من طراز Harley-Davidson) أو تحديد الاهتمام المحتمل بالمشتريات من من خلال صفحات الإنترنت التي يزورونها. سيتم بعد ذلك استخدام هذه المعلومات للإعلان المستهدف.
في سياق عملي ، تظهر السلاسل التالية:
- تحقق - نماذج الذكاء الاصطناعي الخاصة بي - ملف تعريف المشتري ؛
- انقر فوق تيار - نماذج الذكاء الاصطناعي الخاصة بي - ملف تعريف زائر الموقع.
ستعمل الأداة التي نستخدمها في CleverDATA تلقائيًا على إنشاء مصنف ثنائي لأي سمة في تصنيفنا. من اسم سمة التصنيف (مالك سمة دراجة نارية المروحية) ، ننتهي بمصنف ثنائي تم تقييمه تلقائيًا بالفعل (سواء كان النموذج جيدًا أو تحتاج التحليلات إلى التحسين) ، وهو قادر على تحديد وجود أو عدم وجود مثل هذا العنصر في الشخص عن طريق التحقق. يمكنك قراءة المزيد عن هذا في مقالتنا على Habré .
عند تصنيف الشيكات ، تحتاج إلى أداة تسمح لك بفصل الشيكات المتشابهة في الكلمات عن الشيكات المتشابهة في المعنى. لذلك ، قمت بطريقة ما ببناء نموذج لجذب الاهتمام بدورات إعادة التدريب الاحترافية. وقد حددت الشيك لشراء كتاب الأطفال باولو كوسي ، دورة في الدروس السحرية للقطط الشائعة ، باعتباره اهتمامًا بالموضوع. هذا ، بالطبع ، خطأ مضحك. بالمناسبة ، علمت بوجود الكتاب من هذا الشيك.
لتجنب مثل هذه الفضول ، استخدمنا نماذج اللغة لتقييم المصنفات الثنائية الناتجة وقطع تلك الأمثلة المتشابهة في الكلمات ، ولكن ليس في المعنى.
من وقت لآخر ، يجب أن أبحث في الإيصالات بعيني من أجل العثور على بعض التطابقات الخاطئة وبالتالي أتمتة البحث عن مثل هذه الاتصالات التي تم إنشاؤها عن طريق الخطأ. قد يكون من المفيد الوصول إلى جوهر الأمر ، لأنه ربما ستسمح لي حالة واحدة غير مفهومة بتحسين العملية برمتها.
على مدار عملي بالكامل ، جمعت مجموعة كاملة من اختبارات اللغز التي لم أتمكن من تصنيفها فحسب ، بل حتى فك تشفير ما اشتراه المشتري بالضبط. أشارك بانتظام هذه الحالات المسلية مع زملائي وحتى أنني بدأت عمود "نكات الذكاء الاصطناعي".
الدليل الأكثر شيوعًا هو الإشارة في التحقق من عنوان الكتاب بدون اسم المنتج. هذا بالضبط ما نراه في حالة "سحر قطة عادية". وما هي المشتريات المسجلة في الشيك "سياج نوفوسيبيرسك 1029 روبل". و "عقد صندوق 5000 روبل." ما زلت لا أفهم. أقبل نسخك في التعليقات على هذه المقالة.
بعد ذلك ، دعنا ننتقل إلى تصنيف تدفق النقر.
الملف الشخصي للعميل من خلال تحركاته على الموقع
تم تقديم نظام تصنيف تيار النقر من قبلنا في عام 2019 ، والذي كان غنيًا بالاختراقات في مجال معالجة اللغة الطبيعية (NLP). واحدة من أكثر الاختراعات شهرة ونجاحًا في هذا المجال هي شبكة BERT ( تمثيلات التشفير ثنائية الاتجاه من المحولات ). لذلك سيكون هناك القليل من بيرتولوجي في المستقبل.
من اسم السمة ، باستخدام نموذج اللغة الاحتمالية ، نحصل على قائمة مكثفة (موسعة مع المرادفات) من الاستعلامات التي نزحف إليها (نرسلها إلى محرك بحث ونجمع نتائج البحث) ، والتي نحصل منها على عينة التدريب. دعنا نوجهها باستخدام نموذج لغة BERT المدروس مسبقًا. باستخدام الزخارف التي تم الحصول عليها (ناقلات) ، نقوم بتدريب المصنف (مع وظيفة الخسارة الثلاثية).
كيف يعمل التنبؤ؟
نأخذ عنوان url للصفحة ، ونجمع معلومات نصية (عنوان الصفحة ووصفها). بمساعدة BERT ، نحصل على تمثيل متجه لهذه النصوص. ثم يتم إدخال هذه المتجهات في النموذج وعند الإخراج نحصل على سمة يمكننا الرجوع إليها في الصفحة.
بشكل عام ، هذا النظام ناجح للغاية ، كل الحالات المضحكة التي صادفتها هي استثناءات وليست القاعدة. لكنني أحاول أن أهتم بهم كثيرًا ، لأن الخطأ الصغير يمكن أن يؤدي إلى عواقب غير سارة كبيرة ، حيث يمر قدر هائل من البيانات عبر النظام.
أظهرت البيانات التي أجريتها عبر الإنترنت أن الناس يقرؤون المزيد على الإنترنت. اتضح أن هذا أحد الموضوعات الشائعة جدًا - علم التنجيم وقراءة الطالع وما إلى ذلك.
تمت زيارة هذه الصفحات المحددة (عناوين url ، وليس المجالات) من قبل أكثر من 5000 ألف شخص (معرفات فريدة) يوميًا. لقد أدهشني بشكل خاص الموقع المخصص لعلم التنجيم القط والكشف عن العلاقة بين شخصية الحيوان وعلامة البروج الخاصة به.
يعرف الجميع عن كلمات الإيقاف وعادة ما يقومون بربط القواميس أو التصفية حسب الترددات دون التعمق في تفاصيل النصوص. في البداية ، قمت أيضًا بربط القواميس الخاصة بي. لم تكن النتيجة مرضية: تم تصنيف موقع الوصفات بدون استخدام المخبوزات كخاصية ذات أهمية في الخبز (الخبز المنزلي). وهذا يرجع إلى حقيقة أن جميع الجسيمات السالبة كانت موجودة في قاموس توقف الكلمات.
باستخدام مثالي ، أحث زملائي على قراءة القواميس بعناية التي تقوم بتصفية بياناتك بها.
مشكلة شائعة أخرى هي أن الناس غالبًا ما يستخدمون لغة ساخرة ، والتي تؤدي ، أثناء مرحلة الزحف ، إلى عبارات مضحكة في عنوان ووصف الصفحات المتعلقة باستفسارات معينة على الإنترنت. على سبيل المثال ، يمكن للنموذج ربط فطائر اللحم والاهتمام بنظام غذائي نباتي. يبدو لي أن هذا يمكن تفسيره من خلال كثرة التعليقات على المقالات حول موضوع النباتية بروح "كيف تعيش بدون فطائر اللحم؟"
والآن دقيقة من الفكاهة السوداء في قسمنا "نكات الذكاء الاصطناعي": ربط النموذج مناقشة تقنين القتل الرحيم مع الاهتمام بشراء منزل ، ومغني الراب تيماتي مع السيرك. اضطررت إلى الزحف إلى البيانات وإعادة تحديد الفصل يدويًا.
هناك إعدادات لا يمكننا السيطرة عليها ، فهي تعتمد على المجتمع الذي نعيش فيه. ثم تختلط الجريمة بالكوميديا والعلاقات الأسرية.
وهناك أيضًا حالات مثيرة للجدل عندما لا تعرف حتى ما إذا كان الأمر يستحق توبيخ النموذج وإعادة تصميم شيء ما ، أو محاربة الأخطاء ، أو ترك كل شيء كما هو.
من الممكن أن يؤدي استلام الطرود إلى مخاطر تجارية
يمكن العثور على أي شيء في لوحة الإعلانات.
ابحث عن جمهور مشابه
الكتلة التالية من المهام التي يتعين علي ، كمحلل ، حلها هي Audiene Research / Look-alike النمذجة. يريد العميل ، كقاعدة عامة ، بعض المعرفة الجديدة عن الجمهور ، والتي من شأنها أن تساعده في إقامة اتصال معها. ولكن حتى لو لم تتم صياغة طلبه بشكل واضح ، فإننا نحاول دائمًا مساعدته ، وننجح في معظم الحالات.
هنا لديك خيار ما إذا كنت تريد التركيز على أبحاث الجمهور ، أي على الرؤى الداخلية (التحليل الذكي للجمهور) ، أو على نموذج مشابه ، والذي سيسمح لك بعد ذلك بتسريع جمهور التبادل لدينا والعثور على العملاء المحتملين بناءً على البيانات الداخلية للعميل حول الجمهور المستهدف. يُفهم الجمهور على أنه مجموعة من المعرفات المشفرة (أرقام الهواتف أو عناوين البريد الإلكتروني أو معرف الإنترنت). أذكرك بأننا لا نتعامل مع البيانات بشكل مفتوح ، فنحن نلتزم بجميع قواعد القانون.
لذلك ، يمكننا عبور العديد من المعرفات المشفرة مع التبادل ومعرفة سلوك الشراء أو تدفق النقرات الخاصة بهم. نحن نقوم بالتجميع لأي جمهور مستهدف وأي مهمة. بعد أن قام النموذج بتجميع الأشخاص وفقًا لسلوكهم الشرائي ، رأيت بطريقة ما مجموعة تتكون فقط من الأشخاص الذين يراهنون على الرياضة ولم يعودوا يشترون أي شيء عبر الإنترنت. على الرغم من أنه من الممكن أن يكون لديهم نوعًا من الحسابات المنفصلة لأغراض صناعة الكتب.
هنا لقطة من هذه المجموعة.
حالة "امومة سعيدة"
بالنسبة لحملة إعلانية لعلامة تجارية مشهورة من الحفاضات ، كان من الضروري إجراء بحث للجمهور والعثور على نساء في الثلث الثالث من الحمل - اقترح العميل أنه من الثلث الثالث من الحمل يجب الإعلان عن المنتج حتى يشتريه معظم الجمهور.
في بداية التحليل ، كان وصف ظروف حياة المرأة الحامل يشبه الصورة المثالية: أسرة شابة بها حيوانات أليفة ، عشية ولادة طفل ، تجهز السكن.
تمتلك النساء من مجموعات مختلفة أدوات من ماركات مختلفة ، ويفضلن ماركات مختلفة من منتجات النظافة ، وبشكل عام كل شيء على ما يرام. انظر بنفسك.
25.5٪ من المعرّفات -
مشتري Huggies Elite Soft - أقل عرضة بثلاث مرات لشراء Pampers و 7 مرات أقل احتمالًا لشراء منتجات Lovular. يستخدمون منتجات ماركة Peligrin. مع احتمال كبير (0.6) يكون آباء البنات. إنهم يميلون إلى الدفع مقابل المرافق عبر الإنترنت. يميل
25.5٪ من المعرّفات
إلى الدفع مقابل خدمات الاتصال والتأمين عبر الإنترنت. مع احتمال كبير (0.6) هم من أصحاب الكلاب. اشتري منتجات هيلين هاربر. من بين الأجهزة الإلكترونية الاستهلاكية ، يتم التعبير عن العلامة التجارية Xiaomi.
17.5٪ من المعرفات
مستخدمو Ozon Premium. إنهم يشترون معدات العناية بالطفل من Philips Avent ويهتمون بمعدات الكي والتركيبات.
انتباه ، نصيحة للمستقبل: احترس من العروض الترويجية / العلامات التجارية التي تخلق ضوضاء في الحجم الإجمالي للبيانات.
تبين أن وضع Ozon Premium في العديد من مجموعاتنا هو أحد السمات المميزة. لكن استهداف جمهور مشتري الحفاضات المحتملين فقط من أجل Ozon Premium هو أمر غير منطقي. لذلك اضطررت إلى إزالة الحالة من جميع البيانات. نعم ، لقد خفضت المقاييس ، لكن في نفس الوقت زادت من كفاية النموذج. في المقام الأول كانت سلع الأطفال حديثي الولادة ، وليس المكانة الشعبية المروجة. لقد كانت تجربة علمتني قطع البضائع التي كانت مهمة للغاية بالنسبة للنموذج.
بالنسبة للنمذجة المتشابهة ، تكمن فكرة بناء العديد من المصنفات البسيطة للجمهور المستهدف (الفئة 1) والمعممة (الفئة 0) على السطح من أجل إبراز الجمهور المستهدف.
على سبيل المثال ، لنأخذ مشتريات الجمهور المستهدف وعشرة أضعاف حجم الملفات الشخصية العشوائية. نأتي بهذه المعلومات في تسلسل عمليات الشراء. ثم نعمل مع النصوص الناتجة (المعالجة المسبقة): نزيل جميع الكلمات عالية التردد وغير المفيدة ، ونعيد الباقي إلى الشكل الأولي. بعد ذلك ، نقوم ببناء مصنفات بسيطة للعديد من العائلات المختلفة - الخطية (الخطي SVC ، الانحدار اللوجستي) ، "الخشبية" (RandomForest) ، إلخ - وقياس أهمية الميزة ، أي أهمية أي كلمات وفقًا للنماذج. لقد وجدت قيمًا حدية ، فوقها أهمية هذه العلامات غير كافية ، أي أن الإشارة صاخبة جدًا. قبل بناء شيء آليًا ، عليك تطبيق الفطرة السليمة وطريقة النظرة الدقيقة عدة مرات لجمع الإحصاءات الداخلية وفهم الطرق التي تعمل والتي لا تعمل.
قمنا بفحص مجموعات ذات صورة شاعرية عشية ولادة طفل ، ولكن تم أيضًا تتبع قصص حياة أخرى. على سبيل المثال ، في إحدى المجموعات ، من المرجح جدًا أن يكون لدى المشترين المحتملين لحفاضات الأطفال حديثي الولادة (0.65) حساب على موقع مواعدة. هذا ليس بيانًا لا أساس له ، فهم يدفعون مقابل الخدمات على هذه المواقع.
من أجل "العمل" ، يجب عليك دائمًا تفسير المعرفة الجديدة ، ولكن هذه المرة لا أريد البحث عن القصة الداخلية على الإطلاق - الجميع يعرف عن سوء الأحوال الاجتماعية واضطراب الحياة اليومي في بلدنا.
دعني أذكرك أنه كجزء من هذه الحالة ، قمنا بإجراء بحث عن الجمهور بأكمله الذي كان مهتمًا بشراء حفاضات الأطفال حديثي الولادة. واتضح ليس فقط النساء في الثلث الثالث من الحمل.
أطلقت على مجموعة منفصلة اسم "Sunday Dads" - ممثلوها هم من مشجعي كرة القدم ، وعشاق السيارات المتحمسين ، وشراء مكونات لسيارات Sparco ومن وقت لآخر يشترون سلع Chupa Chups.
والانتباه الآن ، السؤال: هل يستحق حذف "آباء الأحد" إذا لم يكونوا مرتبطين بالجمهور المستهدف المحدد أصلاً؟ غالبًا ما أطرح هذا السؤال على مديري المشاريع ، ويتم إعادة التفكير في المهمة. ربما لا نحتاج حقًا إلى جمهور مستهدف محدد ، ولكن كل شخص يمكنه أن يصبح مشتريًا للمنتج. في حالتنا ، هؤلاء هم آباء وأجداد وإخوة وأخوات وصديقات لامرأة في حالة مخاض ومستعدة لرعاية الطفل. الجواب الذي يجب اعتبار الجمهور هو الهدف هو لممثلي الأعمال.
حالة "رواد الأعمال الأفراد"
الحالة التالية ، التي سأخبركم عنها ، هي Audience Research للجمهور المستهدف "رواد الأعمال الأفراد" الذين فتحوا حسابًا جاريًا في أحد البنوك المعروفة.
يمكن رؤية الاختلافات الرئيسية بين هؤلاء الأشخاص وجمهور التبادل بوضوح في مشترياتهم. الأمر الأكثر وضوحًا هو دفع الإتاوات (10-15٪ من الملفات الشخصية) ، والخدمات الأمنية وفواتير الخدمات للمباني غير السكنية. من بين العلامات غير المباشرة التي تشير إلى رواد الأعمال شراء قطعة إضافية من الأمتعة أثناء الرحلات الجوية (في 15-20٪ من الحالات). في الحجم الكامل للشيكات ، يتكون جزء كبير من كتب في علم النفس ومعرفة الذات وتطوير الذات وورش عمل حول التواصل مع المرؤوسين وأدب التوجيه.
بمساعدة أهمية ميزة LaL ، حصلنا على إشارات غير مباشرة للجمهور المستهدف: النقل الجوي ، شراء مكنسة كهربائية روبوتية ، آلة صنع القهوة ، هاتف Honor الذكي ، توصيل الزهور ، دفع أقساط التأمين. هذه الحالة هي واحدة من تلك الحالات الرائعة حيث تعطينا الآلات نتيجة سهلة التفسير.
الأشخاص المشغولون يشترون الروبوتات المنزلية. لا يمكن لأي مكتب الاستغناء عن ماكينات القهوة. يمكن أيضًا ربط توصيل الزهور ورحلات الطيران المتكررة =).
حالة "اصحاب السيارات"
كانت إحدى العلامات التجارية المعروفة للسيارات في قطاع السعر "فوق المتوسط" مقتنعة تمامًا بأن عملائها كانوا أشخاصًا استثنائيين تمامًا وأرادوا معرفة عاداتهم وتفضيلاتهم.
يتداخل هذا الجمهور المستهدف بشكل كبير مع الحالة السابقة ("رواد الأعمال الفرديون"). لكن ليس كل رواد الأعمال الأفراد يشترون هذه العلامة التجارية من السيارات.
اتضح أن فكرة العميل عن تفرد العملاء مبالغ فيها إلى حد كبير. نعم ، الجمهور لا يتطابق مع الجمهور العادي ، ولكن في بعض التفاصيل فقط ، على سبيل المثال ، يفضل سائقي السيارات شراء شاي النخبة (300 روبل أغلى) وينفقون عمومًا على الجمال والجمال أكثر من الإنفاق الوظيفي والعملي.
يتم هنا توضيح الفرق بين الجمهور المستهدف ومتوسط جمهور المشترين من حيث التأثير ، أي بنسبة تجاوز متوسط سعر المنتج في الجمهور المدروس نفس القيمة في الجمهور المتوسط (lift_price). كما ترون ، يتم إنفاق النفقات الرئيسية على المتعة.
نحن دائما نختبر الفرضيات بنزاهة وحيادية. من المتوقع تمامًا أنه في بعض الأحيان لا تدعم البيانات التي تم الحصول عليها فرضية العميل حول حصرية جمهوره. لا يوجد ما يدعو للقلق ، فهو يحتاج فقط إلى فرضية جديدة وبحث جديد.
في الختام ، سأقول أنه في عملي استرشد بمبدأ "الهدوء الروتيني". وانصحكم.
مع مثل هذه المجموعة المتنوعة من البيانات ، من الضروري توخي الحذر الشديد والاهتمام بالأشياء الصغيرة ، لأن أي استثناء للوهلة الأولى قد يتحول لاحقًا إلى القاعدة ويمكننا الحصول على العديد من النتائج الخاطئة.
لذلك ، إذا لم أكن قد رأيت ما يشير إليه نموذج "عدم الخبز" الخاص بي إلى "الخبز" ، فإن نظام "التسريب" قد دخل حيز الإنتاج. لذلك لا تهمل الروتين: إذا قضيت نصف ساعة في التحقق من عينيك ، يمكنك النوم جيدًا - لن يرتكب النموذج أخطاء.
