أصدرت مؤسسة Apache Software Foundation إصدارًا جديدًا لمنصتها - Apache Hadoop 3.3.0 . لقد مر عام ونصف منذ آخر تحديث. النظام الأساسي نفسه هو أداة لتنظيم المعالجة الموزعة لكميات كبيرة من البيانات باستخدام MapReduce. يتضمن Hadoop مجموعة من الأدوات المساعدة والمكتبات وأطر العمل لتطوير وتنفيذ البرامج الموزعة التي يمكن تشغيلها على مجموعات من آلاف العقد.
بالنسبة لبرنامج Hadoop ، تم إنشاء نظام ملفات مخصص Hadoop Distributed File System (HDFS) ، والذي يوفر نسخًا احتياطيًا للبيانات وتحسين تطبيقات MapReduce. يهدف HDFS إلى تخزين الملفات الكبيرة الموزعة بين العقد الفردية لمجموعة الحوسبة. بفضل قدراته ، يتم استخدام Hadoop من قبل أكبر الشركات والمؤسسات. حتى أن Google منحت Hadoop الحق في استخدام التقنيات التي تؤثر على براءات الاختراع المتعلقة بطريقة MapReduce.
بشكل عام ، نلتقي Apache Hadoop 3.3.0 .
فيما يلي قائمة بأهم التغييرات في الإصدار الجديد:
- دعم الأنظمة الأساسية القائمة على ARM (بالمناسبة ، لدى Selectel خوادم ARM ؛ إليك رابط إذا كنت تريد المحاولة).
- Protobuf (Protocol buffers) 3.7.1. Protobuf .
- S3A Delegation Token (), 404, S3guard .
- ABFS.
- Java 11.
- Tencent Cloud COS, COS.
- DNS Resolution, DNS . , .
- YARN (Yet Another Resource Negotiator) .
- تمت إضافة دعم لجدولة حاويات OPPORTUNISTIC للتشغيل من خلال إدارة الموارد .
نظرًا لحقيقة أن Hadoop يتطور بنشاط ، فإن سوق الحلول القائمة عليه ينمو بسرعة. إذا كان حجم السوق في عام 2019 حوالي 1.7 مليار دولار ، فوفقًا للخبراء ، سيصل بحلول عام 2024 إلى 9.4 مليار
دولار.الآن Hadoop تحتل المرتبة الأولى بين مستودعات Apache من حيث عدد التغييرات. يبلغ حجم كود المنصة حوالي 4 ملايين سطر. أكبر المستودعات هي Netflix و Twitter و Facebook.