علم الفلك والبيانات الضخمة والسحب - كيف تساعد التكنولوجيا في دراسة الكون

كيف يعمل علماء الفلك عادة؟ يتفقون مع المرصد على تاريخ ووقت استخدام التلسكوب ، وفي اليوم المحدد يقومون بإجراء الملاحظات ، وتحميل البيانات المجمعة. ولكن نظرًا لحقيقة أن التلسكوبات تولد المزيد والمزيد من المعلومات المفيدة ، تتوقف الطرق التقليدية عن العمل. ووجد العلماء طريقة للخروج باستخدام تقنيات السحابة. يوضح Cloud4Y كيف يعمل Stargazers الآن.



يمكن لمرصد فيرا روبين في تشيلي جمع 20 تيرابايت من البيانات في الليلة. هذا يرجع إلى حد كبير إلى موقعه الجيد. يقع تلسكوب المرآة واسع الزاوية البحثي على ارتفاع 2715 مترًا على قمة إل بينون (شمال تشيلي). يعتبر تصميم التلسكوب فريدًا من حيث أنه يتمتع بمجال رؤية واسع جدًا: قطر 3.5 درجة أو 9.6 درجة مربعة. بالمقارنة ، يمكن رؤية كل من الشمس والقمر من الأرض كأجسام بقياس 0.5 درجة أفقيًا أو 0.2 درجة مربعة. إلى جانب الفتحة الكبيرة ، يتيح ذلك لها الحصول على قوة تجميع عالية للغاية. بمعنى آخر ، التلسكوب قادر على الحصول على البيانات من مناطق شاسعة من السماء في نفس الوقت. من المقرر استلام أول ضوء "هندسي" في مايو 2021 ، والنظام بأكمله - في أكتوبر 2021 ، وفي أكتوبر 2022 لبدء التشغيل الكامل



20 تيرابايت هي تقريبا نفس مسح Sloan Digital Sky الذي يقدم أكثر الخرائط ثلاثية الأبعاد تفصيلا للكون ، والذي يجمع كل البيانات من 2000 إلى 2010. لكن هذا ليس كل شيء. و مشروع كيلومتر مربع صفيف ، الذي من المقرر أن يبدأ العمل في عام 2020، سوف يزيد هذا الحجم من قبل عامل من 100، إلى 2 بيتابايت في اليوم الواحد (عندما تصل القدرة القصوى في 2028). وستنتج معدات الجيل التالي (ngVLA) ، وفقًا لرؤساء المراصد ، مئات البيتابايتات.



ليس من السهل معالجة مثل هذه الكميات من البيانات. لا يمكنك فقط تنزيلها وتخزينها في مكان ما. كما أن إنشاء دعم لموارد الحوسبة المحلية للعمل مكلف للغاية. وفقًا لبعض التقديرات ، فإن تكلفة تنظيم البنية التحتية لتكنولوجيا المعلومات من البداية والحفاظ على الموظفين اللازمين لدعم مرصد Vera Rubin قد تصل إلى 150 مليون دولار على مدى 10 سنوات. لذلك تحول علماء الفلك من تشيلي ، مثل العديد من زملائهم ، إلى السحابة. وإليكم الاستنتاجات التي توصلوا إليها بالفعل.

الاستثمار في قوة الحوسبة مفيد للعلم

لا يكفي نقل البيانات إلى السحابة ؛ يجب أن يكون الباحثون قادرين على التفاعل معها. بدلاً من نموذج العمل التقليدي ، عندما يقوم علماء الفلك بنقل البيانات إلى أجهزة الكمبيوتر الخاصة بهم ، يقومون الآن بتنزيل التعليمات البرمجية الخاصة بهم للعمل مع البيانات المتوفرة في السحابة. بفضل توفر الوصول عبر الإنترنت إلى النظام الأساسي العلمي للمرصد (دفاتر Jupyter للبرمجة في Python و Julia و R وما إلى ذلك ، وواجهات برمجة التطبيقات (APIs) لتحليل البيانات وعرضها والبحث عنها) ، يمكن للمستخدمين كتابة وتشغيل كود Python للتحليل عن بعد لكل شيء مجموعة بيانات المرصد على الخوادم المستضافة في المركز الوطني لتطبيقات الحوسبة الفائقة في أوربانا ، إلينوي. ولست بحاجة إلى تنزيل أي شيء على جهاز الكمبيوتر الخاص بك.



في فروع العلم الأخرى ، هذا النهج فعال للغاية. على سبيل المثال ، مشروع Pangeo ، وهو عبارة عن منصة لتحليل البيانات الضخمة لعلوم الأرض ، جعل بيتابايت من البيانات المناخية عامة وقابلة للحساب ، مما يسهل على الباحثين التعاون.

مناسب حتى عند العمل بدون بيانات ضخمة

تقول إيفلينا مومشيفا ، التي تعمل مع تلسكوب فضائي في بالتيمور بولاية ماريلاند ، إنها واجهت حالات استفادت فيها المشاريع التي تستخدم بيانات متوسطة الحجم فقط من الحوسبة السحابية. فقط لأن الباحثين كانوا قادرين على الوصول إلى موارد أفضل بكثير من أداء أجهزة الكمبيوتر المحمولة الخاصة بهم. والمهم بتكلفة منخفضة نسبيًا. ويقدم بعض موفري السحابة موارد مجانية للأغراض التعليمية.



في عام 2015 ، لم يكن لدى مومشيفا وزملاؤها سوى خادم ثماني النواة لمشروع 3D-HST الخاص بهم ، والذي حلل البيانات من تلسكوب هابل الفضائي لفهم القوى التي تشكل المجرات في الكون البعيد. كانت الموارد شحيحة وتحولوا إلى السحبأخذ خمس آلات 32 نواة. لماذا ا؟ ولكن لأنه بعد الحسابات الأولية اتضح أن التحليل على أجهزتنا الخاصة سيستغرق ثلاثة أشهر على الأقل. مع موفر السحابة ، استغرق الأمر خمسة أيام وأقل من 1000 دولار. "

السعر ليس كل شيء

لن يتم قريبًا الخلافات حول ما إذا كانت الخدمات السحابية أرخص مقارنة بالبنية التحتية لتكنولوجيا المعلومات الخاصة بها ، إذا تراجعت. كلا الجانبين لديهما حجج قوية. على سبيل المثال ، خلص تقرير وزارة الطاقة الأمريكية لعام 2011 عن الحوسبة السحابية من قبل ماجلان إلى أن مراكز الحوسبة التابعة للإدارة أرخص عمومًا من استئجار الخدمات السحابية. ومع ذلك ، فقد تدفق الكثير من المياه تحت الجسر منذ ذلك الوقت ، وتغيرت التقنيات بشكل كبير.



تحسين العمل مع الخدمات السحابية ، وفقًا لجامعة واشنطن ، يمكن أن يوازن هذه الاختلافات. تمكن الباحثون من إثبات أن تجربة السحابة البالغة 43 دولارًا كانت 6 دولارات فقط بعد بضعة أشهر من العمل وتحسين التكلفة. حسبوا أيضًا أن إكمال نفس المهام في وقت مماثل باستخدام مواردهم الخاصة سيكلف الفريق حوالي 75000 دولار (للأجهزة والكهرباء وأجور الموظفين) ، بينما يجب أن تكون الخوادم نشطة 87٪ من الوقت لمدة ثلاث سنوات.



غالبًا ما يؤثر توفير الوقت على عملية صنع القرار. عندما تستغرق البنية التحتية لتكنولوجيا المعلومات لديك تسعة أشهر لمعالجة بياناتك ، وتستغرق السحابة شهرًا واحدًا فقط ، وبنفس المال تقريبًا ، يصبح هذا الفارق البالغ ثمانية أشهر مثيرًا للاهتمام.



يقول علماء الفلك إنهم لا يرغبون في العبور إلى جانب واحد. على العكس من ذلك ، فإن استخدام البنية التحتية المحلية للمهام اليومية و "السحب" - للحوسبة المعقدة - هو النموذج الأمثل للعديد من مراكز البحث.

توحيد البيانات يفتح آفاقًا جديدة

الشيء الآخر الذي يحبه علماء الفلك كثيرًا هو القدرة على الجمع بين مجموعات بيانات ضخمة متعددة. يمكن أن يوفر الجمع بينهما بعض المعلومات التي لن تكون واضحة لكل مجموعة على حدة. وهذا يعني أنه كلما زاد عدد المعلومات التي يجمعها علماء الفلك معًا ، أصبحت أكثر فائدة.



مستوحى من مشروع NIH Data Commons، حيث يقوم العلماء بتخزين وتبادل البيانات والبرامج الطبية الحيوية والسلوكية ، يخطط الباحثون لإنشاء Astronomy Data Commons. نشر العلماء في جامعة واشنطن بالفعل مجموعة بيانات واحدة تسمى مرفق زويكي العابر ، والتي تتضمن 100 مليار عملية رصد لما يقرب من ملياري جرم سماوي. إذا كان هذا العمل مفيدًا ، فقد يحذو علماء فلك آخرون حذوه. ثم سيتم إنشاء نظام بيئي فلكي كامل ، لا يمكن إلا أن نحلم بإمكانياته.

لا يكفي الانتقال إلى السحابة ، فأنت بحاجة إلى معرفة كيفية استخدامها

للعمل مع البيانات في السحابة ، يحتاج المستخدمون إلى إنشاء حساب ، واختيار أحد الخيارات العديدة للتفاعل مع المعلومات ، وتثبيت البرامج الخاصة بهم (غالبًا ما تكون مكتوبة ذاتيًا أو مخصصة). علاوة على ذلك ، قم بتهيئة كل شيء بحيث يمكن تشغيل البرنامج على عدة أجهزة في نفس الوقت. الأخطاء لا مفر منها ، ويمكن أن تكلف الباحثين ثمناً باهظاً ، مما يثبط أي اهتمام بالتكنولوجيا السحابية. كانت هناك حالة عندما "أحرق" طلاب الدراسات العليا غير الأكفاء ألفي ساعة من وقت المعالج من أجل لا شيء. لذلك ، يُنصح العلماء بالتدرب أولاً على "القطط" ، وإطلاق مشاريع تجريبية صغيرة باستخدام بنيتهم ​​التحتية الخاصة.



من المهم أيضًا عدم نسيان متطلبات السلامة. على الرغم من أن الخصوصية والأمان في السحابة أفضل من الموارد المحلية ، إلا أن إنشاء بنية أساسية سحابية يمكن أن يمثل تحديًا. وسيؤدي خطأ المبرمج عديم الخبرة إلى حقيقة أن بياناتك ستكون متاحة للعالم بأسره. عند استخدام مجمع تكنولوجيا المعلومات الخاص بنا ، يتم التحكم في مثل هذه المشكلات بشكل أكثر إحكامًا. وفي السحابة ، يكون من السهل الخطأ إذا لم تستمع إلى توصيات الخبراء الفنيين لدى المزود.



بشكل عام ، فإن رغبة علماء الفلك في استخدام الموارد السحابية لدراسة الأنظمة النجمية ، وبناء نماذج لتشكيل الأكوان وتخزين "بحيرات البيانات" أمر مفهوم. لطالما تُركت الحوسبة الثقيلة تحت رحمة المعدات في مراكز البيانات. لقد غيرت المنصات السحابية العلم والأعمال بشكل كبير ، وأصبحت أداة مهمة لتطوير الفكر البشري. الشيء الرئيسي هو استخدام هذه الأداة بشكل صحيح.



ما الأشياء الأخرى المثيرة للاهتمام في مدونة Cloud4Y



← افعلها بنفسك ، أو كمبيوتر من يوغوسلافيا

← ستنشئ وزارة الخارجية الأمريكية جدار الحماية الرائع الخاص بها

← الذكاء الاصطناعي يغني عن الثورة

← ما هي هندسة الكون؟

← بيض عيد الفصح على الخرائط الطبوغرافية لسويسرا



اشترك في قناة Telegram الخاصة بنا ، حتى لا تفوتك مقالة أخرى. لا نكتب أكثر من مرتين في الأسبوع وفقط عن العمل.