هل ML مفيد حقًا لتقليل ضوضاء التنبيه؟ ندرس بمثال طريقة واحدة

خلفية

على مدار العامين الماضيين ، تم تحريك سوق أنظمة المراقبة بسبب اختصار AIOps. بدأ جميع البائعين في متابعة استخدام الذكاء الاصطناعي في أنظمتهم المعقدة والمكلفة. المصطلحات "تحليل السبب الجذري" ، "الارتباط" ، "أدوات ML" ، "اكتشاف الشذوذ" ، "التنبؤ بالحادث" ، "الحد من الضوضاء" يتم تسويتها بشكل شامل وربما إلى الأبد على مواد التسويق والمواقع الإلكترونية لأنظمة المراقبة المختلفة.

كما نعلم ، فإن الكتيبات الإعلانية شيء ، لكن هندسة الحياة اليومية شيء آخر. على الأرجح ، يواجه الكثيرون موقفًا اصطدمت فيه وعود بائعي بعض الابتكارات التكنولوجية ، مثل تيتانيك بجبل جليدي ، مع ممارسة التنفيذ ، خاصة في بيئة تكنولوجيا المعلومات المعقدة للشركات الكبيرة. لذلك ، نظرت في البداية بشك كبير ولم أشارك الإثارة حول هذا الموضوع. خاصة عندما تكون هناك حلول الخرسانة المسلحة مثل Zabbix و Prometheus و Elastic. لكن HYIP HYIP ، شكوك متشككة ، وما زلنا مهندسين ويجب علينا فحص ودراسة كل شيء عمليًا ، وعدم طرح سؤال حول الإيمان / عدم الإيمان بـ "الزر السحري" من البائعين البارزين والشركات الناشئة الواعدة. وهكذا ، بعد عرض تقديمي آخر من شركة التكامل ووعود لكثير من المال "السماء على أرضنا الخاطئة لمهندسي العمليات" ، قمنا بتجميع مجموعة مبادرة صغيرةمن قرر "الشعور" بما يدور حوله سحر الذكاء الاصطناعي والتعلم الآلي في ممارستنا. وهكذا ، وُلدت المواد وحتى مشروع صغير للحيوانات الأليفة ، وأود أن أشارككم فيه.

— , . . - . : -. — “ ”, .. , “ ”, . — “ ”.

ML- . , . - , .

. HTTP- . “”, . , downdetector , , , ;)

2020-10-14 14:00 +03:00 38 ( ), .. [2020-10-12 23:00:00 +03:00 – 2020-10-14 14:00 +03:00]. : 3612.

(threshold), , 0, 1, 179 . (. . 1: . UTC. ,

).

. 1. . UTC. , — .

, 3- , 44 (. . 2). 4 . “0110010011101010…”, , , % ( 1 ), - .

. 2. 3- . , — .

“” : - , . - , . , AI/ML.

ML?

, , Data Scientist . , , -, , 3- :

1. . — , .
2. , , , .
3. , , "" . .. " " , , .

DetectIidSpike ML.NET. : . , . "" , . .

DetectIidSpike :

• confidence — [0, 100]. , , , , ;
• pvalueHistoryLength — p-value. - " ", .

, . HTTP- , .. . . - . , .. 5 : . , , .. . (, ), "", .

“”. , , , (), «» ( ). 5 . , websockets , . , ( kubernetes ).

(confidence: 95, pvalueHistoryLength: 5), 36 . , , .. . , 24 . (, ).

. 3. (confidence: 95, pvalueHistoryLength: 5) , —

(. 3), , . , , ( ).

. 4 pvalueHistoryLength=12 confidence: 98. : 14 .

. 4. (confidence: 98, pvalueHistoryLength: 12)

, DetectIidSpike (24 44) 3 , 7,5 (24 179) . , , . , ML . , :)

P.S.: ML, -, . .

PPS: أدناه ، سأقدم بضع لقطات شاشة أخرى من مشروع الحيوانات الأليفة الخاص بنا مع البيانات الحقيقية للفحوصات التي تم إجراؤها والعناصر الشاذة الناتجة. يمكنك معرفة مدى كفاءة أو عدم فعالية (لمن كيف) تعمل الخوارزمية (الدائرة الصفراء - الحالات الشاذة في الفاصل الزمني المحدد).