طبخ DRP - لا تنسى النيزك

حتى أثناء الكارثة ، هناك دائمًا وقت لتناول كوب من شاي



DRP (خطة التعافي من الكوارث) - قطعة مثالية لا تحتاجها أبدًا. ولكن إذا كان القنادس يهاجرون فجأة خلال موسم التزاوج من خلال ألياف العمود الفقري أو قام المسؤول المبتدئ بإسقاط القاعدة الإنتاجية ، فأنت بالتأكيد تريد أن تتأكد من أنه سيكون لديك خطة مسبقة الصنع لما يجب فعله مع هذه الفوضى.



بينما يبدأ العملاء في حالة من الذعر بقطع هواتف الدعم الفني الخاصة بهم ، يبحث المبتدئون عن السيانيد ، تفتح الظرف الأحمر بحكمة وتبدأ في ترتيب كل شيء.



في هذا المنشور ، أرغب في مشاركة التوصيات حول كيفية كتابة DRP وما يجب أن يحتوي عليه. سننظر أيضًا في الأشياء التالية:

1. دعونا نتعلم كيف نفكر مثل الشرير.
2. دعونا نلقي نظرة على فوائد فنجان الشاي خلال نهاية العالم.
3. سوف نفكر في هيكل DRP مناسب
4. دعونا نرى كيفية اختباره.

بالنسبة للشركات التي يمكن أن تكون مفيدة

من الصعب جدًا رسم الخط عندما يبدأ قسم تكنولوجيا المعلومات في الحاجة إلى هذه الأشياء. أود أن أقول إنك تضمن أنك بحاجة إلى DRP إذا:

• سيؤدي إيقاف الخادم أو التطبيق أو فقدان بعض القواعد إلى خسائر كبيرة في العمل ككل.
• لديك قسم كامل لتكنولوجيا المعلومات. بمعنى إدارة على شكل وحدة كاملة للشركة ، بميزانيتها الخاصة ، وليس مجرد عدد قليل من الموظفين المتعبين الذين يقومون بوضع شبكة وتنظيف الفيروسات وإعادة تزويد الطابعات بالوقود.
• لديك ميزانية واقعية للتكرار الجزئي على الأقل في حالة الطوارئ.

عندما يطلب قسم تكنولوجيا المعلومات لأشهر ما لا يقل عن اثنين من محركات الأقراص الصلبة لخادم قديم للنسخ الاحتياطي ، فمن غير المحتمل أن تكون قادرًا على تنظيم نقل كامل لخدمة سقطت إلى السعة الاحتياطية. على الرغم من أن الوثائق هنا لن تكون زائدة عن الحاجة.

التوثيق مهم

ابدأ بالوثائق. لنفترض أن خدمتك تستند إلى نص برل تمت كتابته قبل ثلاثة أجيال من المسؤولين ، ولا أحد يعرف كيف يعمل. الديون الفنية المتراكمة وعدم وجود وثائق سوف تصيبك حتما ليس فقط في الركبة ، ولكن أيضًا في أطراف أخرى ، إنها مسألة وقت.



بعد أن يكون لديك وصف جيد لمكونات الخدمة في متناول اليد ، اعرض إحصائيات الأعطال. من شبه المؤكد أنها ستكون نموذجية تمامًا. على سبيل المثال ، لديك قرص ممتلئ من وقت لآخر ، مما يؤدي إلى فشل العقدة قبل تنظيفه يدويًا. أو تصبح خدمة العميل غير متاحة بسبب حقيقة أن شخصًا ما نسي تجديد الشهادة مرة أخرى ، ولم يستطع Let's Encrypt أو لم يرغب في تكوينها.

أفكار مثل المخرب

الجزء الأصعب هو توقع الحوادث التي لم تحدث من قبل ، ولكن من المحتمل أن يؤدي ذلك إلى قتل خدمتك تمامًا. هنا عادة نلعب دور الأشرار مع الزملاء. خذ الكثير من القهوة وشيء لذيذ ، واحبس نفسك في غرفة اجتماعات. فقط تأكد من أنك في نفس غرفة الاجتماعات قد أغلقت المهندسين الذين رفعوا الخدمة المستهدفة بأنفسهم أو يعملون معها بانتظام. بعد ذلك ، سواء على السبورة أو على الورق ، تبدأ في رسم كل الأهوال المحتملة التي يمكن أن تحدث لخدمتك. ليس من الضروري التفصيل إلى منظف معين وسحب الكابلات ، يكفي النظر في سيناريو "انتهاك سلامة الشبكة المحلية".



عادةً ما تندرج معظم حالات الطوارئ النموذجية في الأنواع التالية:

• فشل في الشبكة
• فشل خدمات نظام التشغيل
• فشل التطبيق
• فشل الحديد
• فشل المحاكاة الافتراضية

ما عليك سوى استعراض كل عرض ومعرفة ما ينطبق على خدمتك. على سبيل المثال ، قد يتعطل برنامج Nginx الخفي ولا يرتفع - وهذا فشل من جانب نظام التشغيل. من الحالات النادرة التي تجعل تطبيق الويب الخاص بك غير قابل للاستخدام هو فشل البرنامج. أثناء العمل خلال هذه المرحلة ، من المهم العمل على تشخيص المشكلة. كيفية التمييز بين الواجهة المعلقة في المحاكاة الافتراضية وبين سقوط tsiska وانهيار الشبكة ، على سبيل المثال. من المهم العثور بسرعة على المسؤولين والبدء في سحب ذيلهم حتى يتم إصلاح الحادث.



بعد تدوين المشكلات النموذجية ، نسكب المزيد من القهوة ونبدأ في التفكير في أغرب السيناريوهات عندما تبدأ بعض المعايير في تجاوز النطاق الطبيعي. على سبيل المثال:

• ماذا يحدث إذا تحرك الوقت على العقدة النشطة للوراء دقيقة واحدة مقارنة بالآخرين في الكتلة؟
• واذا مضى الوقت الى الامام واذا ب 10 سنوات؟
• ماذا يحدث إذا فقدت العقدة العنقودية شبكتها فجأة أثناء المزامنة؟
• ماذا يحدث إذا لم تشترك عقدتان في القيادة بسبب العزلة المؤقتة لبعضهما البعض عبر الشبكة؟

يساعد النهج العكسي كثيرًا في هذه المرحلة. خذ أكثر أعضاء الفريق عنادًا بخيال مريض وقم بتكليفه بمهمة تنظيم عملية تخريب في أسرع وقت ممكن ، مما يؤدي إلى توقف الخدمة. إذا كان من الصعب تشخيصه ، فهذا أفضل. لن تصدق الأفكار الغريبة والرائعة التي يتوصل إليها المهندسون إذا أعطيتهم فكرة لكسر شيء ما. وإذا وعدتهم بالفعل بمقعد اختبار لهذا ، فهذا جيد جدًا.

ما هو برنامج DRP الخاص بك ؟!

إذن لقد حددت نموذج التهديد. كما تم أخذ السكان المحليين ، الذين قطعوا كابلات الألياف الضوئية بحثًا عن النحاس ، والرادار العسكري ، الذي يسقط خط الترحيل اللاسلكي بدقة يوم الجمعة الساعة 4:46 مساءً ، في الاعتبار. الآن نحن بحاجة إلى فهم ما يجب القيام به مع كل هذا.



مهمتك هي كتابة المظاريف الحمراء للغاية التي سيتم فتحها في حالة الطوارئ. توقع على الفور أنه عندما (ليس إذا!) كل شيء على ما يرام ، فقط المتدرب الأقل خبرة سيكون في الجوار ، وستتأرجح يداه بعنف من رعب ما يحدث. شاهد كيف يتم تنفيذ ملصقات الطوارئ في المكاتب الطبية. على سبيل المثال ، ما يجب القيام به في حالة صدمة الحساسية. يعرف الطاقم الطبي جميع البروتوكولات عن ظهر قلب ، ولكن عندما يبدأ شخص بجانبه في الموت ، فغالبًا ما يتمسك الجميع بلا حول ولا قوة بكل شيء. للقيام بذلك ، توجد تعليمات واضحة على الحائط بعناصر مثل "افتح عبوة هذا" و "حقن الكثير من وحدات الدواء عن طريق الوريد".

من الصعب التفكير في حالة الطوارئ! يجب أن تكون هناك تعليمات بسيطة للتحليل بواسطة الحبل الشوكي.

يتكون DRP الجيد من بضع كتل بسيطة:

1. . , .
2. — , systemctl status servicename .
3. . SLA — .
4. , .

تذكر أن DRP يبدأ عندما تفشل الخدمة تمامًا وينتهي به الأمر إلى إعادة البناء ، حتى مع انخفاض الكفاءة. لا يجب أن يؤدي فقدان الحجز ببساطة إلى تنشيط DRP. يمكنك أيضًا إضافة كوب من الشاي إلى DRP. بجدية. وفقًا للإحصاءات ، فإن العديد من الحوادث الناتجة عن غير سارة تصبح كارثية نظرًا لحقيقة أن الموظفين في حالة ذعر يندفعون لإصلاح شيء ما ، وفي نفس الوقت يقتلون العقدة الحية الوحيدة بالبيانات أو ينتهي بهم الأمر في النهاية من التجمع. عادةً ما تمنحك 5 دقائق لكوب من الشاي بعض الوقت لتهدأ وتحلل ما يحدث.



لا تخلط بين DRP وجواز سفر النظام! لا تفرط في تحميله ببيانات غير ضرورية. فقط اجعل من الممكن استخدام الارتباطات التشعبية بسرعة وسهولة للانتقال إلى القسم المطلوب من الوثائق وقراءة تنسيق موسع حول الأقسام الضرورية لبنية الخدمة. وفي DRP نفسه ، لا توجد سوى إرشادات مباشرة حول مكان وكيفية الاتصال بأوامر محددة للنسخ واللصق.

كيف تختبر بشكل صحيح

تأكد من أن أي شخص مسؤول قادر على إكمال جميع النقاط. في اللحظة الأكثر أهمية ، قد يتضح أن المهندس ليس لديه حقوق الوصول إلى النظام المطلوب ، أو لا توجد كلمات مرور للحساب المطلوب ، أو أنه ليس لديه فكرة عما يعنيه "الاتصال بوحدة تحكم إدارة الخدمة من خلال وكيل في المكتب الرئيسي". يجب أن تكون كل نقطة بسيطة للغاية.



خطأ - "انتقل إلى الظاهرية وأعد تشغيل العقدة الميتة"

تصحيح - "اتصل عبر واجهة الويب بـ Virt.example.com ، في قسم العقد ، أعد تشغيل العقدة التي تسبب الخطأ."



تجنب الغموض. تذكر المتدرب الخائف.



تأكد من اختبار DRP. هذه ليست مجرد خطة للتنفيذ - إنها خطة ستسمح لك ولعملائك بالخروج بسرعة من موقف حرج. من الأفضل القيام بذلك عدة مرات:

• يعمل خبير والعديد من المتدربين على منصة اختبار تحاكي خدمة حقيقية قدر الإمكان. يقوم الخبير بتقسيم الخدمة بطرق مختلفة ويمنح المتدربين فرصة استعادتها وفقًا لـ DRP. يتم تسجيل جميع المشاكل والغموض في التوثيق والأخطاء. بعد تدريب المتدربين ، يتم استكمال وتبسيط DRP في أماكن غامضة.
• . . , , , . 10 , .
• . , . , , DRP .

1. , , .
2. , .
3. , , .
4. .
5. .
6. DRP . , . .
7. DRP.
8. DRP.
9. . .