أخطاء تصميم اختبار A / B التي اعتقدت أنني لن أرتكبها أبدًا

عند إطلاق تجاربي الأولى ، اعتقدت أن كل هذه "الأخطاء الثلاثة / الخمسة / السبعة الأكثر شيوعًا" ، والتي قرأت عنها في مقالات واستمعت إليها في المؤتمرات - بالتأكيد ليست عني. علاوة على ذلك ، تم تصميم الاختبار بمساعدة نموذج بحث كبير جميل اعتمدته الشركة.







لكن من الناحية العملية ، كانت المزالق في انتظارك. لنتحدث عما يمكن أن يحدث إذا قمت بتعديل التصميم قليلاً أو فاتتك ملء القالب الخاص بك. وكيفية اصلاحها كلها



كنت أرغب في إفادة المستخدمين الجدد ، لكنهم بطبيعة الحال لم يتصرفوا على النحو المنشود



أداة المبيعات الأساسية في Skyeng عبارة عن فيديو تعليمي تمهيدي مجاني مع مسؤول الجلسة. نقوم بإجراء الدروس على منصتنا ، ويحدث أن يحاول الطالب الاتصال بمكالمة ، ولكن لم يتم التقاط ميكروفونه أو الكاميرا الخاصة به





يمكن أن يحدث هذا لعشرات الأسباب - من مسكليك تافه على إشعار في المتصفح (كما في هذه الصورة) إلى حالات غريبة تمامًا: على سبيل المثال ، بمجرد أن حاول شخص العمل من Tesla ، وهناك برامجه الخاصة التي لا ندعمها.



إذا لم تتمكن من حل المشكلة بسرعة ، فسيحدث انهيار فني للدرس التمهيدي:



  • يظل الطالب سلبيًا ،
  • توقف درس المعلم ،
  • تفقد المدرسة التحويل إلى الدفع هنا والآن (هذا هو المقياس الرئيسي لقسمنا) ، وتعوض مشاركة المعلم في الدرس وتبدأ عملية نقل الدرس.


الكل يعاني. لذلك ، بدأنا العام الماضي مجموعة من المشاريع للحد من الاضطرابات التقنية. تم اختبار كل فكرة: أراد النشاط التجاري فهم ما إذا كانت الميزة تعمل وما إذا كان سيتم تعويض تكاليف دعمها.





كان أحد الحلول التي كان لا بد من وضعها في الاختبار هو مهمة فحص المعدات. في الأصل كانت أداة ، وهنا شاشاتها الرئيسية.



الفكرة بسيطة: لا تنتظر لحظة دخول الدرس ، ولكن ادعُ الطالب للتحقق من الكاميرا والميكروفون مسبقًا - عندما يغادر أحد التطبيقات للتدريب. إذا حدث خطأ ما ، فسنصدر تذكرة للدعم الفني ، وسيكون أمام الرجال عدة ساعات لحل المشكلة.



عندما قسمت المستخدمين إلى اختبار وتحكم ، توقعت أن ينقر الأشخاص في مجموعة الاختبار على الأداة ويكملون المهمة. ما الخطأ الذي يمكن أن يحدث؟



في المجموعة الضابطة ("أ") سار كل شيء كالمعتاد - ترك الأشخاص تطبيقًا وشرعوا في أعمالهم. ولكن بعد الاختبار ، رأينا أن النسبة المئوية للأعطال الفنية في المجموعتين "أ" و "ب" كانت مماثلة لمائة بالمائة. حسنًا ، كلهم ​​في مجموعة الاختبار اجتازوا المهمة ، لكن ذلك لم يساعد ، أو لم يدخل أحد؟ لم نكن نعرف - لم يكن هناك قطع الأشجار.



اندمجت المرحلتان في واحدة واتضح أننا لا نستطيع الفصل بينهما. اضطررت إلى إعادة الاختبار وتسجيل المرحلة الرئيسية "دخلت المهمة". اكتشفنا أن حوالي 10٪ من المستخدمين قاموا بتسجيل الدخول إليه. لم تكن هناك زيادة كبيرة في المقياس: لقد غرق البحث في النسيان ، وتم إنشاء فحص المعدات نفسه في النهاية أثناء عملية إعادة التصميم العالمية. والآن أتحقق في البداية مما إذا كانت لدي بيانات حول جميع المراحل الرئيسية للقمع.



« - ?». ,



بالإضافة إلى المشكلات الفنية ، في بعض الأحيان لا يظهر الطالب ببساطة في هذا الدرس التمهيدي المجاني للغاية - لأنه أفرط في النوم ، وطار من رأسه ، وتم نقل شيء ما ، وما إلى ذلك.



لذلك ، قبل كل درس ، يحتاج المنهجي إلى إيجاد طالب مستعد للاتصال: لهذا ، يمنحه النظام عدة جهات اتصال ، ويتصل بهم المعلم. هذا "يأكل" 12-15٪ من الوقت الذي يمكن أن يقضيه الشخص في شيء أكثر فائدة أو متعة.



يبدو أنها فرصة جيدة للأتمتة - دع الروبوت يستدعي. لكننا نحتاج إلى اختبار A / B: بعد كل شيء ، يمكن لبعض الأشخاص ، بعد سماع الروبوت ، إنهاء المكالمة. احتمال فقدان شيء ما واضح. أجرينا الاختبار وفي البداية سار كل شيء على ما يرام بشكل مدهش ، لكن ... لقد خذلنا الكمال.



في عدد من السيناريوهات ، كان على الروبوت تحويل المكالمات إلى عامل بشري: على سبيل المثال ، إذا أراد طالب إلغاء درس ، كان على المشغل إجراء تغييرات على CRM. وأحيانًا يصادف الروبوت للتو محاورين ثرثارة - لم يتم تصميم النظام للتعرف الجاد على الكلام ودعم الحوار ، وهنا أيضًا ، كان من الضروري توصيل شخص ما.



أردنا أن نجعل تجربة المستخدم سلسة قدر الإمكان.



لذلك ، قررنا تحويل هذه المكالمات على الفور إلى خط الهاتف الوارد. حتى لو لم يكن السؤال عاجلاً. قال أخصائيو المنهجية في نفس الحالات: "سيتم استدعاؤك في غضون 3-5 دقائق لإعادة تعيين الدرس. وكان لدى المشغلين الوقت لتوزيع عبء العمل ومساعدة الجميع.



لم يتمكن المشغلون من الاتفاق مع الروبوت ، وقام بعمل طفرات مع عدة مكالمات عاجلة في الدقيقة. تبين أن الدائرة غير قابلة للتطوير.





في لحظات الذروة ، كان الوضع يشبه لعبة كلاسيكية) بالنسبة للصورة ، وذلك بفضل ويكيبيديا ومساهمها perepelin30 .



عدنا إلى المخطط الذي استخدمه الميثوديون - إذا أعرب شخص ما بوضوح عن طلب النقل ، فإن الروبوت سيرد "سوف نتصل بك مرة أخرى". تم نقل القضايا العاجلة فقط على الفور إلى المشغلين. بعد هذه التغييرات ، كان لا بد من تشغيل الاختبار مرة أخرى ، حيث يمكن أن يؤثر التغيير على المقاييس الرئيسية. والآن ، قبل كل تجربة ، نطرح السؤال: "حسنًا ، إذا سارت الأمور على ما يرام ، هل يمكننا طرحها؟"





تم إجراء الاختبار ، والتحقق من أن كل شيء يسير على ما يرام ، وذهب إلى مجموعة من المهام الحالية



لدى Skyeng جمهور رائع ومتزايد - أطفال يدرسون الرياضيات واللغة الإنجليزية معنا. لكن لا يمكننا إجراء درس تمهيدي للطفل إذا لم يكن والديه حاضرين. لا يمكننا قانونيا. لذلك ، إذا اتصل الطفل بمفرده ، فإن الدرس ينقطع. ثم تعرف: سلبي ، إعادة تسجيل ، وهكذا.



ودائمًا ما كان يتم تحذير الآباء من هذا الأمر شفهيًا ، عند الاتصال ، حيث تم الاتفاق على وقت الدرس. لكن الوقت مر من الدعوة إلى الدرس ، وبالطبع لم يتذكر الجميع هذا الاتفاق.





ثم جاء الحل: لنرسل رسالة تذكير عبر الرسائل القصيرة. ذهب مثل هذا النص تقريبًا إلى الوالد بالقرب من وقت الدرس التمهيدي.



لا تعني زيادة عدد الدروس التمهيدية دون انقطاع زيادة في التحويل إلى الدفع. تحتاج إلى تقدير عائد الاستثمار. للقيام بذلك ، دعنا نجري تجربة:



  • سنقسم عشوائيًا جميع طلبات إحالة الأطفال إلى مجموعتين ،
  • لن نرسل أي شيء إلى أولياء الأمور في المجموعة الأولى - لديهم تدفق منتظم ،
  • سيتم إرسال رسائل تذكير إلى أولياء الأمور في مجموعة أخرى: 24 و 1-2 ساعة قبل بدء الدرس.


بدأنا الاختبار ، وأجرينا الفحص في اليوم الأول - وذهبنا لتنظيف معدل الدوران.



بعد أسبوعين ، نظرت إلى لوحة القيادة - وهناك ، إلى جانب مجموعات الاختبار والتحكم ، هناك بعض المستخدمين الآخرين.





إذا أردنا قسمة 50 على 50 ، فإن التمثيل البياني الأحمر يوضح بوضوح حدوث خطأ ما.



اتضح أن اللوم كان خطأ عاديًا: كان هناك خطأ ما في الأحداث ، لم يكن الجميع يرسل الرسائل القصيرة على المشغلات. تم إصلاح الخطأ ، ولكن كان لا بد من إعادة الاختبار: في النهاية ، حتى إذا كان لديك تصميم الاختبار الصحيح ، مع جميع القوالب المملوءة ، وما إلى ذلك ، فإن هذا لا يعني أن الاختبار سيعمل بسلاسة. ويجب أن تنظر في الأمر قدر الإمكان.



ملاحظة : آمل حقًا أن يساعد هذا النص شخصًا ما على ارتكاب أخطاء أقل في اختباراته. على الأرجح سيكون لديك أو لديك بالفعل حالات مضحكة خاصة بك: سيكون رائعًا إذا شاركتها يومًا ما!



pps يستند هذا المنشور إلى تقرير في RnDTech لمجتمع Rostov IT - إذا كنت تعيش في مكان ما في جنوب البلاد ، فقم بالانضمام ، فالرجال يقومون بخطوة رائعة.



All Articles