كيف تساعد ELK مهندسي الأمن في مكافحة هجمات مواقع الويب والنوم جيدًا

يتولى مركز الدفاع السيبراني الخاص بنا مسؤولية تأمين البنية التحتية لشبكة الإنترنت للعملاء ومكافحة الهجمات على مواقع العملاء. نحن نستخدم FortiWeb Web Application Firewalls (WAF) للدفاع ضد الهجمات. ولكن حتى أروع WAF ليس حلاً سحريًا ولا يحمي "خارج الصندوق" من الهجمات المستهدفة. 



لذلك ، بالإضافة إلى WAF ، نستخدم ELK . يساعد على جمع جميع الأحداث في مكان واحد ، ويجمع الإحصاءات ويصورها ويسمح لنا برؤية الهجوم المستهدف في الوقت المناسب.



اليوم سوف أخبركم بمزيد من التفصيل كيف عبرنا "شجرة عيد الميلاد" مع WAF وماذا جاء منها.

قصة هجوم واحد: كيف سار كل شيء قبل التحول إلى ELK

في السحابة الخاصة بنا ، قام العميل بنشر التطبيق خلف WAF الخاص بنا. من 10000 إلى 100000 مستخدم متصل بالموقع يوميًا ، بلغ عدد الاتصالات 20 مليونًا يوميًا. كان 3-5 منهم من مجرمي الإنترنت وحاولوا اختراق الموقع. 



قام FortiWeb بحظر نموذج القوة الغاشمة العادي من عنوان IP واحد بسهولة تامة. كان عدد الزيارات إلى الموقع في الدقيقة أعلى من عدد المستخدمين الشرعيين. لقد أنشأنا للتو عتبات النشاط من عنوان واحد وصدنا الهجوم.



يكون التعامل مع "الهجمات البطيئة" أكثر صعوبة عندما يتصرف المهاجمون ببطء ويتنكرون كعملاء منتظمين. يستخدمون العديد من عناوين IP الفريدة. لم يكن مثل هذا النشاط يشبه القوة الغاشمة الهائلة لـ WAF ، وكان من الصعب تعقبه تلقائيًا. وكان هناك أيضًا خطر حظر المستخدمين العاديين. لقد بحثنا عن علامات أخرى للهجوم ووضعنا سياسة لحظر عناوين IP تلقائيًا بناءً على هذه السمة. على سبيل المثال ، كان للعديد من الجلسات غير الشرعية حقول مشتركة في عناوين طلب http. غالبًا ما اضطررت إلى البحث يدويًا عن هذه الحقول في سجلات أحداث FortiWeb. 



اتضح أنها طويلة وغير مريحة. في وظيفة FortiWeb القياسية ، يتم تسجيل الأحداث في نصوص في 3 سجلات مختلفة: الهجمات المكتشفة ، ومعلومات حول الطلبات ، ورسائل النظام حول تشغيل WAF. يمكن أن تحدث العشرات أو حتى المئات من أحداث الهجوم في دقيقة واحدة.



ليس كثيرًا ، ولكن عليك التسلق يدويًا عبر العديد من السجلات والتكرار عبر العديد من الأسطر: 





في سجل الهجوم ، نرى عناوين المستخدمين وطبيعة النشاط. 

 

لا يكفي مسح جدول السجل. للعثور على المعلومات الأكثر إثارة للاهتمام والمفيدة حول طبيعة الهجوم ، تحتاج إلى إلقاء نظرة داخل حدث معين:





تساعد الحقول المميزة في اكتشاف "هجوم بطيء". المصدر: لقطة شاشة من موقع Fortinet . 



حسنًا ، المشكلة الأكثر أهمية هي أن متخصص FortiWeb فقط يمكنه اكتشاف ذلك. إذا استمر في مراقبة الأنشطة المشبوهة في الوقت الفعلي أثناء ساعات العمل ، فقد يتأخر التحقيق في الحوادث الليلية. عندما لم تنجح سياسات FortiWeb لسبب ما ، لم يتمكن مهندسو النوبات الليلية المناوبون من تقييم الموقف دون الوصول إلى WAF واستيقظوا متخصص FortiWeb. بحثنا في السجلات لعدة ساعات ووجدنا لحظة الهجوم. 



مع مثل هذه الكميات من المعلومات ، من الصعب فهم الصورة الكبيرة في لمحة والتصرف بشكل استباقي. ثم قررنا جمع البيانات في مكان واحد لتحليل كل شيء بشكل مرئي ، والعثور على بداية الهجوم ، وتحديد اتجاهه وطريقة صده. 

ماذا اخترت من

بادئ ذي بدء ، نظرنا إلى الحلول المستخدمة بالفعل ، حتى لا نضاعف الكيانات دون داع.



كان واحدا من الخيارات الأولى Nagios ، والتي نستخدمها لمراقبة البنية التحتية والهندسة ، البنية التحتية للشبكة ، والتنبيه حول حالات الطوارئ. يستخدمه ضباط الأمن أيضًا لإخطار الحاضرين في حالة وجود حركة مرور مشبوهة ، لكنه لا يعرف كيفية جمع السجلات المتناثرة وبالتالي يختفي. 



كان هناك خيار لتجميع كل شيء باستخدام MySQL و PostgreSQL أو قاعدة بيانات ارتباطية أخرى. ولكن من أجل سحب البيانات ، كان عليك نحت التطبيق الخاص بك. 



تستخدم شركتنا أيضًا FortiAnalyzer كمجمع سجلات .من Fortinet. لكن في هذه الحالة ، لم يكن لائقًا أيضًا. أولاً ، تم تصميمه أكثر للعمل مع جدار حماية FortiGate . ثانيًا ، كانت العديد من الإعدادات غير متوفرة ، وكان التفاعل معها يتطلب معرفة ممتازة باستعلامات SQL. وثالثًا ، سيؤدي استخدامه إلى زيادة تكلفة الخدمة بالنسبة للعميل.   



هكذا توصلنا إلى المصدر المفتوح في شخص ELK . 

لماذا تختار ELK 

ELK هي حزمة برامج مفتوحة المصدر:

• Elasticsearch هي قاعدة بيانات سلاسل زمنية تم إنشاؤها للتو للعمل مع كميات كبيرة من النصوص ؛
  
  
• Logstash هو محرك لجمع البيانات يمكنه تحويل السجلات إلى التنسيق المطلوب ؛ 
  
  
• Kibana هو متخيل جيد بالإضافة إلى واجهة ودية للغاية لإدارة Elasticsearch. يمكنك استخدامه لإنشاء رسوم بيانية يمكن للمهندسين المناوبين مشاهدتها ليلاً. 
  
  

عتبة دخول ELK ليست عالية. جميع الميزات الأساسية مجانية. ما هو مطلوب للسعادة.

كيف وضعت كل ذلك في نظام واحد؟

شكلنا مؤشرات وتركنا المعلومات الضرورية فقط . قمنا بتحميل جميع مجلات FortiWEB الثلاث في ELK - كان الناتج عبارة عن فهارس. هذه ملفات تحتوي على جميع السجلات التي تم جمعها لفترة ، على سبيل المثال ، يوم واحد. إذا تصورناها على الفور ، فسنرى فقط ديناميات الهجمات. للحصول على التفاصيل ، تحتاج إلى "الوقوع" في كل هجوم وإلقاء نظرة على الحقول المحددة.







أدركنا أننا نحتاج أولاً إلى إعداد تحليل للمعلومات غير المنظمة. لقد أخذنا الحقول الطويلة كسلاسل مثل "رسالة" و "عنوان URL" وقمنا بتحليلها للحصول على مزيد من المعلومات لاتخاذ القرارات. 

, .   - . , 2 . 

بعد التحليل ، بدأوا في البحث عن المعلومات التي يجب تخزينها وتصورها. لم يكن من المستحسن ترك كل شيء في المجلة: كان حجم فهرس واحد كبيرًا - 7 جيجابايت. استغرق ELK وقتًا طويلاً لمعالجة الملف. ومع ذلك ، لم تكن كل المعلومات مفيدة. تم تكرار شيء ما واستغرق مساحة إضافية - كان من الضروري التحسين. 



في البداية ، مررنا للتو عبر الفهرس وأزلنا الأحداث غير الضرورية. اتضح أنه أكثر إزعاجًا وأطول من العمل مع المجلات على FortiWeb نفسه. الميزة الوحيدة من "شجرة عيد الميلاد" في هذه المرحلة هي أننا كنا قادرين على تصور فترة كبيرة من الوقت على شاشة واحدة. 



لم ييأس ، واصلنا أكل الصباردراسة ELK واعتقد أننا سنكون قادرين على استخراج المعلومات اللازمة. بعد محو الفهارس ، بدأنا في تصور ما هو. هذه هي الطريقة التي انتهينا بها إلى لوحات معلومات كبيرة. أدوات مطعون - بشكل واضح وأنيق ، YOLKa حقيقي! 







تم تسجيل لحظة الهجوم . الآن كان من الضروري فهم كيف تبدو بداية الهجوم على الرسم البياني. للعثور عليه ، نظرنا في ردود الخادم للمستخدم (رموز الإرجاع). كنا مهتمين باستجابات الخادم باستخدام الرموز التالية (rc): 







إذا بدأ شخص ما في مهاجمة الموقع ، فإن نسبة الرموز تتغير: 

• 400 , 200 , - . 
  
  
• 0 , FortiWeb «» . 
  
  
• 500, IP- – . 
  
  

بحلول الشهر الثالث ، أنشأنا لوحة تحكم لتتبع هذا النشاط.







من أجل عدم مراقبة كل شيء يدويًا ، قمنا بإعداد التكامل مع Nagios ، الذي استطلع ELK على فترات منتظمة. إذا سجل تحقيق قيم العتبة بواسطة الرموز ، فإنه يرسل إخطارًا إلى ضباط المناوبة بشأن النشاط المشبوه. 



4 رسوم بيانية مجمعة في نظام المراقبة . الآن كان من المهم أن نرى على الرسوم البيانية اللحظة التي لا يتم فيها منع الهجوم ويكون هناك حاجة لتدخل المهندس. على 4 رسوم بيانية مختلفة ، كانت عيننا غير واضحة. لذلك ، قمنا بدمج الرسوم البيانية وبدأنا في مراقبة كل شيء على شاشة واحدة.



أثناء المراقبة ، شاهدنا كيف تغيرت الرسوم البيانية ذات الألوان المختلفة. دفقة حمراء تشير إلى أن الهجوم قد بدأ ، بينما تشير الرسوم البيانية البرتقالية والزرقاء إلى رد فعل FortiWeb:





كل شيء على ما يرام هنا: كانت هناك موجة من النشاط "الأحمر" ، ولكن FortiWeb تعاملت معها ولم يعد جدول الهجوم شيئًا.



قمنا أيضًا برسم مثال على رسم بياني لأنفسنا يتطلب التدخل:





هنا نرى أن FortiWeb زاد النشاط ، لكن الرسم البياني للهجوم الأحمر لم ينخفض. تحتاج إلى تغيير إعدادات WAF.



أصبح التحقيق في الحوادث الليلية أسهل أيضًا. يُظهر الرسم البياني على الفور اللحظة التي يحين فيها وقت الدفاع عن الموقع. 





هذا ما يحدث أحيانًا في الليل. الرسم البياني الأحمر - بدأ الهجوم. أزرق - نشاط FortiWeb. لم يتم صد الهجوم بشكل كامل ، لذلك اضطررنا للتدخل.

إلى أين نحن ذاهبون

الآن نقوم بتدريب المسؤولين المناوبين للعمل مع ELK. يتعلم الحاضرون تقييم الموقف على لوحة القيادة واتخاذ قرار: حان الوقت للتصعيد إلى أخصائي FortiWeb ، أو سيكون هناك سياسات WAF كافية لصد الهجوم تلقائيًا. بهذه الطريقة نقوم بتقليل عبء العمل على مهندسي أمن المعلومات في الليل ونقسم الأدوار في الدعم على مستوى النظام. يظل الوصول إلى FortiWeb في مركز الدفاع السيبراني فقط ، ويقومون فقط بإجراء تغييرات على إعدادات WAF عند الحاجة الملحة.



نحن نعمل أيضًا على إعداد التقارير للعملاء. نخطط أن تكون البيانات المتعلقة بديناميكيات عمل WAF متاحة في الحساب الشخصي للعميل. ELK ستجعل الوضع أكثر شفافية دون الحاجة إلى الذهاب إلى WAF نفسها.



إذا أراد العميل مشاهدة الحماية الخاصة به في الوقت الفعلي ، فستكون ELK في متناول اليد أيضًا. لا يمكننا منح حق الوصول إلى WAF ، لأن تدخل العميل في العمل يمكن أن يؤثر على الآخرين. ولكن يمكنك رفع ELK منفصلة ومنحها "للعب". 



هذه هي السيناريوهات لاستخدام "شجرة عيد الميلاد" التي جمعناها مؤخرًا. شارك بأفكارك حول هذا الأمر ولا تنس تكوين كل شيء بشكل صحيح لتجنب التسرب من قواعد البيانات.