في عام 2012 ، بدأنا في صنع منتج جديد كبير ليحل محل MaxPatrol 8 . داخل الشركة ، حصل على لقب MaxPatrol X. بحلول ذلك الوقت ، كان لدينا فهم أنه من الممكن صنع منتج جديد نوعيًا فقط من خلال تغيير نهج حل المشكلة تمامًا. ارتبط النهج بأفكار جمع وتحليل شامل للمعلومات حول كل ما يحدث في البنية التحتية لتكنولوجيا المعلومات (تحليل تكوين العقد ، تكوين الشبكة ، تحليل ما يحدث في الشبكة - أي تحليل حركة المرور - وعلى العقدة - أي تحليل السجلات). من الحاجة إلى جمع السجلات وتحليلها ، في الواقع ، وُلد SIEM. للاحتفال بالذكرى السنوية الخامسة لشركة MaxPatrol SIEM ، التي دخلت السوق في عام 2015 ، قررنا أن نحكي قصة التطور.
في سياق أحد المشاريع في عام 2013 ، بدأت مبادئ بنية معالجة البيانات التي نحتاجها في الظهور. الجمع والتطبيع والارتباط والتخزين. تم اختيار نهج MITER CEE (الموضوع - الإجراء - الكائن - الحالة) كأساس للتطبيع ، والذي بدا في ذلك الوقت صحيحًا ومثيرًا للاهتمام. لكن المستقبل أظهر أن الأحداث الحقيقية لا تتناسب دائمًا بشكل مثالي مع السرير Procrustean للنهج الأكاديمي لـ CEE.
الخطوات الأولى والأخطاء الأولى
سيكون هناك العديد من الأسماء غير المفهومة في هذه الفقرة ، لكننا قررنا أن نقول لك الحقيقة كاملة ، وبالتالي نتحملها :)
تمت كتابة الإصدارات الأولى من مكونات خط أنابيب معالجة الأحداث بلغة Python ، وتم تخزين الأحداث في MongoDB. كانت الإنتاجية بضع مئات فقط من EPS. في عام 2014 ، قمنا بدمج تطوراتنا في جمع السجلات مع MaxPatrol X. وأخيرًا ، قمنا بالتبديل إلى RabbitMQ كناقل لتبادل البيانات - بين مكونات MaxPatrol X الكبير وداخل خط أنابيب SIEM. قمنا بتوسيع وظائف مهام جمع البيانات من إجراء عمليات المسح إلى جمع الأحداث واستقرنا على Elasticsearch كمخزن الحدث الرئيسي. تم تطوير نظام فرعي منفصل للعمل مع الحوادث ، والذي تمت إضافته إلى نظام جمع الأحداث ومعالجتها وتخزينها ، مما جعل المشروع أقرب إلى أنظمة SIEM التقليدية. ظهرت المجموعة الأولى من التقارير المثبتة مسبقًا ، وتم استخدام مكون FastReport القياسي باعتباره "المحرك".لا تزال بعض هذه التقارير متوفرة في المنتج.
- . Elasticsearch « », . Elasticsearch (2.x) , . , . , Elasticsearch. « » JSON . .
,
PoC 2015 , SIEM: , «» . . , , — . . .
( , ) SIEM . , , . , :)
, : « » , , . « » Redis PoC PT Network Attack Discovery, . «», network traffic analysis (NTA), asset management (AM), vulnerability management (VM) SIEM.
( , : Redis, MongoDB, MS SQL, Elasticsearch, PostgreSQL, InfluxDB). — - . 2015 2016 , , «» — , .
2016 12 (2.0). , , , , , , — «» , , ;) — . , SIEM-.
. , , . , - , « ». . , .
. , , Positive Technologies, . , ( , , ). SIEM, . (, !).
. , , . , , (, ). SIEM, (, , ), - (, , , , , , . .). , , , . , , , — . ( ) , . , . , , , , ArcSight ( HP, Micro Focus) IBM QRadar — 300–400. , , . , : « 300 , 20, "1C", "" ».
, MaxPatrol SIEM SIEM-. , , , , , , .
« »; 2016–2017 . 13–15 : , . Python ++, , , , . , (watchdog) .
16 . . SIEM 2015 , ArcSight ( Positive Hack Days 2016 300 ), IBM QRadar , . IT- Splunk, : IT-, SIEM, , , , ( , , , , Splunk ).
2017 , , , — , . , . Endpoint Monitor (Kernel Mode driver), sysmon. DPI (Deep Packet Inspection) PT Network Attack Discovery Network Sensor . PT MultiScanner, PT Network Attack Discovery, MaxPatrol SIEM . «» (. 1).
, . , . -, , 2018 — . 18 (4.0) 19 , . , . asset management . , : , . «» , , , . - .
MaxPatrol SIEM , SIEM ( ), — SIEM , . PHDays, , . , , SIEM- — 10–20% , , ( , ). — . ( ), , , , , SIEM- . , YARA- ? 2018 MaxPatrol SIEM . 2017-: - WannaCry, ( Git , ). NotPetya Bad Rabbit, , PT Expert Security Center -. PT ESC , , , - , , 2018 .
asset management — , , , , . - , ( firewall, , , , , ).
, 2018 PT Knowledge Base . , (. 2). , key value Redis , in-memory. , SIEM , , , .
, . TI- (threat intelligence) MS SQL PostgreSQL. very large enterprise , .
2019 21 (5.0) 21.1 , . , -10 SIEM- . 21.1 OEM- , SIEM, , . asset grids.
Solar JSOC. SIEM- , , . . , , , , , . 2019 . , , . MaxPatrol SIEM 23 .
, 2020 : , Elasticsearch 7.x, , , .
MaxPatrol SIEM , . , . : IDC, MaxPatrol SIEM, ArcSight QRadar 25% ( , 30%). . : , SIEM-, , , , , . .
: , Positive Technologies
, , , .