تصنيف علامات الأبراج بين عظماء الناس في العالم

ذات مرة كنا نفكر في ترتيب علامات الأبراج بين الناس العظماء. لقد أكملنا المهمة وقدمنا ​​النتائج إلى حكمك.



ألاحظ بحزن أن الميزان (هذا أنا!) في المركز الأخير ... على الرغم من أنه ، وفقًا للبيانات ، يبدو لي أن هناك حالات شاذة. الميزان الصغير بطريقة ما مثير للريبة!

الجزء 1. تحليل البيانات الأولية والحصول عليها

Wikipedia قائمة قوائم القوائم

عند الإخراج تحتاج إلى قاعدة بالاسم الكامل + تاريخ الميلاد + (إذا كانت هناك أي علامات أخرى - على سبيل المثال ، m / f ، البلد ، إلخ) هناك واجهة برمجة تطبيقات .



لقد تبين أن هذا الموقع قد تم كشطه (حصاد ​​/ الحصول على / استخراج (استخراج) / جمع البيانات التي تم الحصول عليها من موارد الويب) باستخدام مكتبة Python Scrapy.



يتم

الحصول أولاً على روابط التعليمات التفصيلية (أوراق بها أشخاص من ويكيبيديا ، ثم بيانات).



في حالات أخرى ، تم تحليلهم بنجاح بهذه الطريقة .



النتيجة: ملف BD wiki.zip

الجزء 2. حول المعالجة المسبقة (بواسطة ستانيسلاف كوستينكوف - جهات الاتصال أدناه)

يواجه العديد من الأشخاص تعقيد معالجة بيانات الإدخال. لذلك كان من الضروري في هذه المهمة سحب بيانات المواليد من أكثر من 42 ألف مقال ، وإذا أمكن ، تحديد بلد الميلاد. من ناحية ، هذه مهمة حسابية بسيطة ، ومن ناحية أخرى ، لا تسمح أدوات أنظمة Excel & BI بتنفيذها "بشكل مباشر".



في مثل هذه اللحظة ، تنقذ لغات البرمجة (Python ، R) ، ويتم إطلاقها في معظم أنظمة ذكاء الأعمال. تجدر الإشارة إلى أنه ، على سبيل المثال ، في Power BI ، هناك حد 30 دقيقة لتنفيذ نص (برنامج) في Python. لذلك ، تتم العديد من عمليات المعالجة "الثقيلة" قبل إطلاق أنظمة ذكاء الأعمال ، على سبيل المثال ، في بحيرة بيانات.

كيف تم حل المشكلة

أول شيء فعلته بعد التنزيل والتحقق من القيم غير الصحيحة هو تحويل كل مقالة إلى قائمة كلمات.



في هذه المهمة ، كنت محظوظًا باللغة الإنجليزية. تتميز هذه اللغة بشكل صارم لبناء الجملة ، مما سهل البحث عن تاريخ الميلاد إلى حد كبير. الكلمة الأساسية هنا هي "ولد" ، ثم تبحث وتحلل ما بعدها.



من ناحية أخرى ، تم أخذ جميع المقالات من مصدر واحد ، مما جعل المهمة أسهل أيضًا. جميع المقالات لها نفس البنية والسرعة تقريبًا.



علاوة على ذلك ، كانت جميع السنوات مكونة من 4 أحرف ، وكانت جميع التواريخ من 1 إلى 2 حرفًا ، وكانت الأشهر نصية. لم يكن هناك سوى 3-4 اختلافات محتملة في تهجئة تاريخ الميلاد ، والتي تم حلها بمنطق بسيط. يمكن أيضًا تحليلها من خلال التعبيرات النمطية.

لم يتم تحسين الكود الحقيقي (لم يتم تعيين مثل هذه المهمة ، ربما توجد عيوب في أسماء المتغيرات).



وفقًا لتوقعات الدولة ، كنت محظوظًا لأن أجد جدولًا لمراسلات الدول والجنسيات. عادة ، المقالات لا تصف البلد ، بل تصف الانتماء إليه. على سبيل المثال ، روسيا - الروسية. لذلك ، بحثنا عن تكرارات الجنسيات ، ولكن نظرًا لأنه قد يكون هناك أكثر من 5 جنسيات مختلفة في مقال واحد ، فقد وضعت فرضية أن الكلمة المرغوبة ستكون أقرب ما يمكن إلى الكلمة الرئيسية "حرق". وبالتالي ، كان المعيار هو - الحد الأدنى لمسافة المؤشر بين الكلمات الضرورية في المادة. ثم تمت إعادة تسمية سطر واحد من جنسية إلى دولة.

ما لم يتم فعله

في المقالات ، تحتوي العديد من الكلمات على القمامة ، أي أن جزءًا من الشفرة كان مرتبطًا بالكلمة ، أو تم دمج كلمتين معًا. لذلك ، لم يتم التحقق من احتمال العثور على القيم المرغوبة في مثل هذه الكلمات. يمكنك تنظيف هذه الكلمات باستخدام خوارزميات التشابه.



لم يتم تحليل الكيانات التي تنتمي إليها الكلمة الأساسية "نسخ". كانت هناك عدة أمثلة حيث كانت الكلمة الرئيسية مرتبطة بميلاد الأقارب. كانت هذه الأمثلة لا تذكر. يمكن إرجاع هذه الأمثلة إلى حقيقة أن الكلمة الرئيسية بعيدة كل البعد عن بداية المقال. يمكنك حساب النسب المئوية للبحث عن كلمة أساسية وتحديد معيار القطع.

بضع كلمات حول فائدة المعالجة المسبقة عند تنظيف البيانات

هناك حالات شائعة يمكننا فيها تخمين بالضبط ما يجب أن يكون مكان الفجوات. ولكن هناك حالات ، على سبيل المثال ، هناك إغفالات على أساس جنس مشتري المتجر وهناك بيانات عن مشترياته. لا توجد تقنيات قياسية لحل هذه المشكلة في أنظمة ذكاء الأعمال ، ولكن في نفس الوقت ، على مستوى المعالجة المسبقة ، يمكنك إنشاء نموذج "خفيف" ومشاهدة الخيارات المختلفة لملء الفجوات. هناك خيارات تعبئة تعتمد على خوارزميات تعلم الآلة البسيطة. وهو يستحق الاستخدام. فإنه ليس من الصعب.

الكود المصدري (Python) متاح على الرابط

النتيجة: file out_data_fin.xls



Stanislav Kostenkov / CBS Consulting (Izhevsk ، روسيا) staskostenkov@gmail.com

الجزء 3. تطبيق Qlik Sense

ثم تم تقديم تطبيق كلاسيكي ، حيث تم الكشف عن بعض الحالات الشاذة في مجموعة البيانات:

• كان من المنطقي اختيار عقود فقط من 1920-1980 ؛
• في بلدان مختلفة ، كان هناك قادة مختلفون وفقًا لعلامات برجك ؛
• أهم العلامات: السرطان ، الحمل ، الجوزاء ، الثور ، الجدي.

جميع البيانات (مجموعة البيانات ، البيانات الأولية ، التي يتلقاها تطبيق Qlik Sense لتحليل البيانات) موجودة بالإشارة .