اتجاهات صناعة التخزين كبير السعة

سنتحدث اليوم عن كيفية تخزين البيانات بشكل أفضل في عالم تنتج فيه شبكات الجيل الخامس وماسحات الجينوم والسيارات ذاتية القيادة بيانات يوميًا أكثر مما أنتجته البشرية كلها في الفترة التي سبقت الثورة الصناعية.









عالمنا يولد المزيد والمزيد من المعلومات. جزء منه سريع الزوال ويتم فقده بالسرعة التي يتم جمعها بها. يجب تخزين الآخر لفترة أطول ، بينما الآخر مصمم "لقرون" - على الأقل هكذا نراه من الوقت الحاضر. تستقر تدفقات المعلومات في مراكز البيانات بهذه السرعة بحيث يصبح أي نهج جديد أو أي تقنية مصممة لتلبية هذا "الطلب" اللامتناهي عفا عليها الزمن بسرعة.

40 عامًا من تطوير أنظمة التخزين الموزعة

ظهرت أول مخازن متصلة بالشبكة بالشكل المعتاد في الثمانينيات. لقد صادف الكثير منكم NFS (نظام ملفات الشبكة) أو AFS (نظام ملفات أندرو) أو Coda. بعد عقد من الزمن ، تغيرت الموضة والتكنولوجيا ، وأفسحت أنظمة الملفات الموزعة المجال لأنظمة التخزين العنقودية القائمة على GPFS (نظام الملفات العامة المتوازي) ، CFS (أنظمة الملفات العنقودية) و StorNext. كأساس ، تم استخدام مخازن الكتلة للهندسة المعمارية الكلاسيكية ، وعلى رأسها تم إنشاء نظام ملفات واحد باستخدام طبقة برامج. لا تزال هذه الحلول وما شابهها قيد الاستخدام ، وتحتل مكانتها الخاصة وهي مطلوبة بشدة.



في مطلع الألفية ، تغير نموذج التخزين الموزع إلى حد ما ، وتولت الأنظمة ذات بنية SN (Shared-Nothing) الصدارة. كان هناك انتقال من التخزين العنقودي إلى التخزين على عقد منفصلة ، والتي ، كقاعدة عامة ، كانت خوادم كلاسيكية مع برامج توفر تخزينًا موثوقًا ؛ بناءً على هذه المبادئ ، يتم إنشاء HDFS (نظام الملفات الموزعة Hadoop) و GFS (نظام الملفات العالمي).



أقرب إلى العقد الأول من القرن الحادي والعشرين ، تنعكس المفاهيم الكامنة وراء التخزين الموزع بشكل متزايد في المنتجات التجارية الكاملة مثل VMware vSAN و Dell EMC Isilon و Huawei OceanStor.... لم تعد الأنظمة الأساسية المذكورة مجتمعًا من المتحمسين ، بل هي عبارة عن بائعين محددين مسؤولين عن وظائف ودعم وخدمة المنتج وضمان مزيد من تطويره. هذه الحلول هي الأكثر طلبًا في العديد من المجالات.

مشغلي الاتصالات

ربما يكون مشغلو الاتصالات من أقدم مستهلكي أنظمة التخزين الموزعة. يوضح الرسم التخطيطي مجموعات التطبيقات التي تنتج الجزء الأكبر من البيانات. OSS (أنظمة دعم العمليات) و MSS (خدمات دعم الإدارة) و BSS (أنظمة دعم الأعمال) هي ثلاث طبقات برمجية تكميلية مطلوبة لتوفير الخدمة للمشتركين ، وإعداد التقارير المالية للمزود والدعم التشغيلي لمهندسي المشغل.



في كثير من الأحيان ، يتم خلط بيانات هذه الطبقات بقوة مع بعضها البعض ، ومن أجل تجنب تراكم النسخ غير الضرورية ، يتم استخدام المخازن الموزعة ، والتي تجمع كامل كمية المعلومات الواردة من شبكة العمل. يتم دمج المخازن في مجمع مشترك تشير إليه جميع الخدمات.



تُظهر حساباتنا أن الانتقال من أنظمة التخزين الكلاسيكية إلى أنظمة التخزين المحظورة يتيح لك توفير ما يصل إلى 70٪ من الميزانية فقط بسبب التخلي عن أنظمة التخزين المتطورة المخصصة واستخدام الخوادم التقليدية للهندسة المعمارية الكلاسيكية (عادةً x86) ، والتي تعمل جنبًا إلى جنب مع البرامج المتخصصة. بدأ المشغلون الخلويون منذ فترة طويلة في شراء مثل هذه الحلول بكميات كبيرة. على وجه الخصوص ، يستخدم المشغلون الروس مثل هذه المنتجات من Huawei منذ أكثر من ست سنوات.



نعم ، لا يمكن تنفيذ عدد من المهام باستخدام الأنظمة الموزعة. على سبيل المثال ، مع زيادة متطلبات الأداء أو التوافق مع البروتوكولات الأقدم. ولكن يمكن تحديد موقع 70٪ على الأقل من البيانات التي يعالجها المشغل في تجمع موزع.

القطاع المصرفي

يوجد في أي بنك العديد من أنظمة تكنولوجيا المعلومات المختلفة ، من المعالجة إلى النظام المصرفي الآلي. تعمل هذه البنية التحتية أيضًا مع قدر هائل من المعلومات ، في حين أن معظم المهام لا تتطلب أداءً متزايدًا وموثوقية لأنظمة التخزين ، على سبيل المثال ، التطوير والاختبار وأتمتة العمليات المكتبية ، وما إلى ذلك ، هنا ، استخدام أنظمة التخزين الكلاسيكية ممكن ، ولكن كل عام يكون أقل ربحًا. بالإضافة إلى ذلك ، في هذه الحالة ، لا توجد مرونة في استخدام موارد التخزين ، والتي يتم حساب أدائها من الحمولة القصوى.



عند استخدام أنظمة التخزين الموزعة ، يمكن تحويل عقدها ، التي هي في الواقع خوادم عادية ، في أي وقت ، على سبيل المثال ، إلى مزرعة خوادم واستخدامها كمنصة حاسوبية.

بحيرات البيانات

يوضح الرسم البياني أعلاه قائمة المستهلكين النموذجيين لخدمات بحيرة البيانات . يمكن أن تكون هذه خدمات حكومية إلكترونية (على سبيل المثال ، "Gosuslugi") ، ومؤسسات رقمية ، وهياكل مالية ، وما إلى ذلك ، وكلها بحاجة إلى العمل مع كميات كبيرة من المعلومات غير المتجانسة.



إن تشغيل أنظمة التخزين الكلاسيكية لحل مثل هذه المشكلات غير فعال ، نظرًا لأن كلا من الوصول عالي الأداء إلى قواعد البيانات المحظورة والوصول المنتظم إلى مكتبات المستندات الممسوحة ضوئيًا المخزنة ككائنات مطلوبة. على سبيل المثال ، يمكن ربط نظام الطلبات عبر بوابة الويب هنا. لتنفيذ كل هذا على منصة تخزين كلاسيكية ، ستحتاج إلى مجموعة كبيرة من المعدات للقيام بمهام مختلفة. قد يغطي نظام تخزين عالمي أفقي جميع المهام المذكورة سابقًا: تحتاج فقط إلى إنشاء عدة مجموعات بخصائص تخزين مختلفة.

مولدات المعلومات الجديدة

يتزايد حجم المعلومات المخزنة في العالم بنحو 30٪ سنويًا. هذه أخبار جيدة لبائعي وحدات التخزين ، ولكن ما هو المصدر الرئيسي لهذه البيانات ، وسيظل كذلك؟



قبل عشر سنوات ، أصبحت الشبكات الاجتماعية مثل هذه المولدات ، الأمر الذي تطلب إنشاء عدد كبير من الخوارزميات الجديدة ، وحلول الأجهزة ، وما إلى ذلك. الآن هناك ثلاثة محركات رئيسية للنمو في أحجام التخزين. الأول هو الحوسبة السحابية. حاليًا ، تستخدم حوالي 70٪ من الشركات الخدمات السحابية بطريقة أو بأخرى. يمكن أن تكون هذه أنظمة البريد الإلكتروني والنسخ الاحتياطية والكيانات الافتراضية الأخرى.

المحرك الثاني هو شبكات الجيل الخامس. هذه سرعات جديدة وأحجام جديدة لنقل البيانات. نتوقع أن يؤدي اعتماد شبكة الجيل الخامس على نطاق واسع إلى انخفاض الطلب على بطاقات الذاكرة المحمولة. بغض النظر عن حجم الذاكرة الموجودة في الهاتف ، فإنه لا يزال ينفد ، وإذا كانت هناك قناة 100 ميغا بايت في الأداة الذكية ، فلا داعي لتخزين الصور محليًا.



تشمل المجموعة الثالثة من أسباب الطلب المتزايد على أنظمة التخزين التطور السريع للذكاء الاصطناعي ، والانتقال إلى تحليلات البيانات الضخمة ، والاتجاه نحو أتمتة عالمية لكل ما هو ممكن.



من سمات "المرور الجديد" عدم تنظيمها... نحتاج إلى تخزين هذه البيانات دون تحديد تنسيقها. مطلوب فقط للقراءة اللاحقة. على سبيل المثال ، سيبحث نظام التسجيل المصرفي لتحديد حجم القرض المتاح في الصور التي نشرتها على الشبكات الاجتماعية ، وتحديد ما إذا كنت غالبًا ما تذهب إلى البحر وفي المطاعم ، وفي نفس الوقت دراسة مقتطفات من مستنداتك الطبية المتاحة له. هذه البيانات ، من ناحية ، شاملة للجميع ، ومن ناحية أخرى ، تفتقر إلى التوحيد.

محيط من البيانات غير المهيكلة

ما هي المشاكل التي ينطوي عليها ظهور "البيانات الجديدة"؟ أهمها ، بالطبع ، هو كمية المعلومات نفسها ووقت التخزين المقدر. تولد السيارة الحديثة المستقلة بدون سائق وحده ما يصل إلى 60 تيرابايت من البيانات كل يوم من جميع أجهزة الاستشعار والآليات. لتطوير خوارزميات حركة جديدة ، يجب معالجة هذه المعلومات في نفس اليوم ، وإلا فإنها ستبدأ في التراكم. علاوة على ذلك ، يجب تخزينه لفترة طويلة جدًا - عشرات السنين. عندها فقط في المستقبل سيكون من الممكن استخلاص استنتاجات بناءً على عينات تحليلية كبيرة.



ينتج جهاز التسلسل الجيني الفردي حوالي 6 تيرابايت في اليوم. والبيانات التي تم جمعها بمساعدتها لا تعني الحذف على الإطلاق ، أي افتراضيًا ، يجب تخزينها إلى الأبد.



أخيرًا ، كل نفس شبكات الجيل الخامس. بالإضافة إلى المعلومات المرسلة الفعلية ، تعد هذه الشبكة نفسها مصدرًا ضخمًا للبيانات: سجلات الإجراءات ، وسجلات المكالمات ، والنتائج الوسيطة للتفاعلات من آلة إلى آلة ، إلخ.



كل هذا يتطلب تطوير أساليب وخوارزميات جديدة لتخزين المعلومات ومعالجتها. وتظهر مثل هذه الأساليب.

تقنيات عصر جديد

هناك ثلاث مجموعات من الحلول المصممة لمواكبة المتطلبات الجديدة لأنظمة التخزين: إدخال الذكاء الاصطناعي ، والتطور التقني لوسائط التخزين ، والابتكارات في مجال هندسة النظم. لنبدأ بالذكاء الاصطناعي.







في حلول Huawei الجديدة ، يتم استخدام الذكاء الاصطناعي بالفعل على مستوى التخزين نفسه ، وهو مزود بمعالج AI الذي يسمح للنظام بتحليل حالته بشكل مستقل والتنبؤ بالفشل. إذا كان نظام التخزين متصلاً بسحابة خدمة تتمتع بقدرات حسابية كبيرة ، يمكن للذكاء الاصطناعي معالجة المزيد من المعلومات وتحسين دقة فرضياته.



بالإضافة إلى حالات الفشل ، فإن مثل هذا الذكاء الاصطناعي قادر على التنبؤ بأحمال الذروة المستقبلية والوقت المتبقي حتى نفاد السعة. يتيح لك ذلك تحسين الأداء وقياس النظام حتى قبل حدوث أي أحداث غير مرغوب فيها.







الآن حول تطور ناقلات البيانات. تم تصنيع محركات الأقراص المحمولة الأولى باستخدام تقنية SLC (خلية أحادية المستوى). كانت الأجهزة التي تعتمد عليها سريعة وموثوقة ومستقرة ، لكنها كانت ذات سعة صغيرة ومكلفة للغاية. تم تحقيق الزيادة في الحجم وخفض السعر من خلال بعض التنازلات الفنية ، مما أدى إلى تقليل السرعة والموثوقية والعمر الافتراضي للمحركات. ومع ذلك ، فإن هذا الاتجاه لم يؤثر على أنظمة التخزين نفسها ، والتي ، بسبب التعديلات المعمارية المختلفة ، بشكل عام ، أصبحت أكثر إنتاجية وأكثر موثوقية.



لكن لماذا احتجت لأنظمة تخزين فلاش بالكامل؟ ألم يكن كافيًا استبدال محركات الأقراص الثابتة القديمة في نظام مستخدم بالفعل بمحركات أقراص صلبة جديدة من نفس الشكل؟ استغرق الأمر هذا من أجل الاستخدام الفعال لجميع موارد محركات الأقراص ذات الحالة الصلبة الجديدة ، والتي كانت ببساطة مستحيلة في الأنظمة القديمة.



على سبيل المثال ، طورت Huawei مجموعة من التقنيات لمواجهة هذا التحدي ، أحدها FlashLink ، الذي يزيد من تفاعلات وحدة التحكم في القرص.



أتاح التحديد الذكي لتحليل البيانات إلى تدفقات متعددة والتعامل مع عدد من الظواهر غير المرغوب فيها مثل WA (تضخيم الكتابة). في الوقت نفسه ، خوارزميات استرداد جديدة ، ولا سيما RAID 2.0+، زادت من سرعة إعادة البناء ، مما قلل من وقتها إلى قيم تافهة تمامًا.



فشل ، اكتظاظ ، "جمع القمامة" - هذه العوامل لم تعد تؤثر على أداء نظام التخزين بفضل التعديل الخاص لوحدات التحكم.







ويستعد تخزين البيانات المحظورة لـ NVMe . تذكر أن المخطط الكلاسيكي لتنظيم الوصول إلى البيانات يعمل على النحو التالي: وصل المعالج إلى وحدة تحكم RAID عبر ناقل PCI Express. وهذا بدوره يتفاعل مع الأقراص الميكانيكية عبر SCSI أو SAS. أدى استخدام NVMe على الواجهة الخلفية إلى تسريع العملية برمتها بشكل كبير ، ولكن كان له عيب واحد: يجب أن تكون محركات الأقراص متصلة مباشرة بالمعالج من أجل توفير وصول مباشر إلى الذاكرة.



المرحلة التالية من تطوير التكنولوجيا التي نشهدها الآن هي استخدام NVMe-oF (NVMe على الأقمشة). بالنسبة لتقنيات كتلة Huawei ، فهي تدعم بالفعل طريقة FC-NVMe (NVMe عبر القناة الليفية) ، وعلى نهج NVMe over RoCE (RDMA عبر إيثرنت المتقاربة). نماذج الاختبار تعمل بشكل جيد ؛ هناك عدة أشهر متبقية قبل عرضها الرسمي. لاحظ أن كل هذا سيظهر أيضًا في الأنظمة الموزعة ، حيث سيكون هناك طلب كبير على "إيثرنت بلا خسارة".







هناك طريقة إضافية لتحسين عمل التخزين الموزع وهي الرفض الكامل لعكس البيانات. لم تعد حلول Huawei تستخدم نسخ n ، كما هو الحال في RAID 1 المعتاد ، وتتحول تمامًا إلى آلية EC(محو الترميز). تحسب الحزمة الرياضية الخاصة كتل التحكم على فترات منتظمة ، مما يسمح لك باستعادة البيانات الوسيطة في حالة فقدانها.



أصبحت آليات إلغاء البيانات المكررة والضغط إلزامية. إذا كنا في أنظمة التخزين الكلاسيكية مقيدون بعدد المعالجات المثبتة في وحدات التحكم ، ففي أنظمة التخزين الموزعة على نطاق واسع ، تحتوي كل عقدة على كل ما تحتاجه: الأقراص والذاكرة والمعالجات والتوصيل البيني. هذه الموارد كافية لإزالة البيانات المكررة والضغط ليكون لها تأثير ضئيل على الأداء.



وحول طرق تحسين الأجهزة. هنا ، كان من الممكن تقليل الحمل على المعالجات المركزية بمساعدة دوائر دقيقة إضافية مخصصة (أو كتل مخصصة في المعالج نفسه) ، والتي تلعب دور TOE(TCP / IP Offload Engine) أو تولي المشكلات الرياضية الخاصة بـ EC وإلغاء المضاعفات والضغط.







تتجسد الأساليب الجديدة لتخزين البيانات في بنية مفصلة (موزعة). في أنظمة التخزين المركزية ، يوجد مصنع خادم متصل عبر القناة الليفية بشبكة SAN مع عدد كبير من المصفوفات. عيوب هذا النهج هي صعوبة توسيع نطاق وتوفير مستويات خدمة مضمونة (الأداء أو الكمون). تستخدم الأنظمة شديدة التقارب نفس المضيفين لتخزين المعلومات ومعالجتها. يوفر هذا قابلية توسع غير محدودة تقريبًا ، ولكنه يستلزم تكاليف عالية للحفاظ على تكامل البيانات.



على عكس ما ورد أعلاه ، تشير العمارة المصنفة إلى فصل النظام إلى نسيج محسوب ونظام تخزين أفقي . يوفر هذا مزايا كل من البنيتين ويسمح لك بالتوسع إلى أجل غير مسمى فقط للعنصر الذي يفتقر إلى الأداء.

من التكامل إلى التقارب

تتمثل المهمة الكلاسيكية ، التي نمت أهميتها فقط على مدار الخمسة عشر عامًا الماضية ، في الحاجة إلى توفير تخزين جماعي ، والوصول إلى الملفات ، والوصول إلى الكائنات ، وتشغيل المزرعة للبيانات الضخمة ، وما إلى ذلك. يمكن أيضًا أن يكون الكرز الموجود على الكعكة ، على سبيل المثال ، نظام نسخ احتياطي لشريط مغناطيسي.



في المرحلة الأولى ، كان من الممكن فقط توحيد إدارة هذه الخدمات. تم إقفال أنظمة التخزين غير المتجانسة في بعض البرامج المتخصصة التي من خلالها قام المسؤول بتخصيص الموارد من التجمعات المتاحة. ولكن نظرًا لأن هذه المجمعات كانت مختلفة في الأجهزة ، كان ترحيل الحمولة بينها أمرًا مستحيلًا. على مستوى أعلى من التكامل ، تم الدمج على مستوى البوابة. إذا كان هناك وصول ملف مشترك ، فيمكن منحه من خلال بروتوكولات مختلفة.



تتضمن طريقة التقارب الأكثر تقدمًا المتاحة لنا الآن إنشاء نظام هجين عالمي. بالضبط ما يجب أن يكون OceanStor 100D الخاص بنا . تستخدم إمكانية الوصول نفس موارد الأجهزة ، مقسمة منطقيًا إلى مجموعات مختلفة ، مع السماح بترحيل عبء العمل. كل هذا يمكن القيام به من خلال وحدة تحكم إدارة واحدة. بهذه الطريقة ، تمكنا من تنفيذ مفهوم "مركز بيانات واحد - نظام تخزين واحد".







تحدد تكلفة تخزين المعلومات الآن العديد من القرارات المعمارية. وبينما يمكن وضعه في المقدمة بأمان ، فإننا نناقش التخزين المباشر مع الوصول النشط اليوم ، لذلك يجب أيضًا مراعاة الأداء. التوحيد خاصية أخرى مهمة للأنظمة الموزعة من الجيل التالي. بعد كل شيء ، لا أحد يريد التحكم في العديد من الأنظمة المتباينة من وحدات تحكم مختلفة. تتجسد كل هذه الصفات في السلسلة الجديدة من منتجات Huawei OceanStor Pacific .

تخزين ضخم لجيل جديد

يفي OceanStor Pacific بمتطلبات الموثوقية على مستوى "ستة تسعة" (99.9999٪) ويمكن استخدامه لإنشاء مراكز بيانات من فئة HyperMetro. بمسافة تصل إلى 100 كيلومتر بين مركزي بيانات ، تُظهر الأنظمة تأخيرًا إضافيًا قدره 2 مللي ثانية ، مما يجعل من الممكن بناء أي حلول مقاومة للكوارث على أساسها ، بما في ذلك تلك التي تحتوي على خوادم النصاب.







تُظهر المنتجات في السلسلة الجديدة براعة البروتوكول. يدعم OceanStor 100D بالفعل وصول الحظر والوصول إلى الكائنات والوصول إلى Hadoop. سيتم تنفيذ الوصول إلى الملفات في المستقبل القريب. ليست هناك حاجة للاحتفاظ بنسخ متعددة من البيانات إذا كان من الممكن تسليمها من خلال بروتوكولات مختلفة.







يبدو ، ما علاقة مفهوم "الشبكة غير المنقوصة" بالتخزين؟ الحقيقة هي أن أنظمة التخزين الموزعة مبنية على أساس شبكة سريعة تدعم الخوارزميات المناسبة وآلية RoCE. يساعد نسيج AI المدعوم من مفاتيحنا على زيادة سرعة الشبكة وتقليل زمن الوصول . يمكن أن تصل مكاسب أداء التخزين مع تنشيط AI Fabric إلى 20٪.







ما هي عقدة التخزين الموزعة الجديدة OceanStor Pacific؟ يتضمن حل 5U 120 محركًا ويمكن أن يحل محل ثلاث عقد كلاسيكية ، مما يوفر أكثر من ضعف مساحة الرف. بسبب رفض تخزين النسخ ، تزداد كفاءة محركات الأقراص بشكل كبير (تصل إلى + 92٪).



لقد اعتدنا على حقيقة أن التخزين المعرف بالبرمجيات هو برنامج خاص مثبت على خادم كلاسيكي. ولكن الآن يتطلب هذا الحل المعماري عقدًا خاصة لتحقيق المعلمات المثلى. يتكون من خادمين يعتمدان على معالجات ARM ، يديران مجموعة من محركات الأقراص مقاس 3 بوصات.







هذه الخوادم غير مناسبة للحلول شديدة التقارب. أولاً ، هناك عدد قليل من تطبيقات ARM ، وثانيًا ، من الصعب الحفاظ على توازن الحمل. نقترح الانتقال إلى التخزين المنفصل: تعمل مجموعة الحوسبة ، ممثلة بخوادم كلاسيكية أو على حامل ، بشكل منفصل ، ولكنها تتصل بعُقد تخزين OceanStor Pacific ، والتي تؤدي أيضًا مهامها المباشرة. وهو يبرر نفسه.



على سبيل المثال ، استخدم حل تخزين البيانات الضخمة التقليدي المتقارب للغاية والذي يشغل 15 رفًا للخادم. من خلال فصل عبء العمل بين خوادم الحوسبة المنفصلة وعقد التخزين OceanStor Pacific ، وفصلها عن بعضها البعض ، سيتم خفض عدد الرفوف المطلوبة إلى النصف! هذا يقلل من تكلفة تشغيل مركز البيانات ويقلل من التكلفة الإجمالية للملكية. في عالم ينمو فيه حجم المعلومات المخزنة بنسبة 30٪ سنويًا ، لا تتناثر هذه المزايا.

***

يمكنك الحصول على مزيد من المعلومات حول حلول وسيناريوهات Huawei لاستخدامها على موقعنا الإلكتروني أو عن طريق الاتصال بممثلي الشركة مباشرة.