تحليلات
ميزات AWS Lake Formation الجديدة (معاينة)
تتوفر ميزات AWS Lake Formation الجديدة مثل المعاملات والأمان على مستوى الصف وتحسينات الأداء للمعاينة. تعمل الوظيفة من خلال واجهات برمجة تطبيقات جديدة ومفتوحة وعامة لتحديث بحيرات البيانات والوصول إليها.
يتم تنفيذ المعاملات باستخدام "الجداول الخاضعة للتحكم" ، وهو نوع جديد من الجداول يعتمد على Amazon S3 الذي يدعم معاملات ACID. تعمل المعاملات على تبسيط البرامج النصية لتحويل البيانات (ETL) وتمكين مستخدمين مختلفين من إضافة وحذف وتعديل السجلات في جداول مختلفة مُدارة في نفس الوقت وبضمان.
يقوم AWS Lake Formation تلقائيًا بضغط وتحسين تخزين الجدول المُدار في الخلفية لتحسين الأداء عند الاستعلام عن البيانات.
مزيد من التفاصيل هنا
الانزياح الأحمر
عقد RA3.xlplus وإعلانات إضافية لـ Amazon Redshift
RA3.xlplus هو ثالث وأصغر نوع عقدة في عائلة RA3. يسمح لك RA3 بتوسيع نطاق الحوسبة والتخزين بشكل منفصل ، مما يوسع خيارات الحوسبة لمجموعات Amazon Redshift.
مزيد من التفاصيل هنا
القدرة على نقل مجموعة بين مناطق توافر الخدمات (AZ)
تعمل ميزة مجموعة النقل على نقل مجموعة إلى منطقة أزيد أخرى في خطوة واحدة دون الحاجة إلى إجراء تغييرات على التطبيق. عندما يتم نقل كتلة إلى منطقة أفرز مختلفة ، سيكون للكتلة الجديدة نفس نقطة النهاية حتى تتمكن التطبيقات من الاستمرار في العمل دون تغيير. الميزة مجانية ومتوفرة لمجموعات RA3.
مزيد من التفاصيل هنا
التحسين التلقائي للجدول
يراقب "تحسين الجدول التلقائي" باستمرار كيفية تفاعل الاستعلامات مع الجداول ويستخدم التعلم الآلي لتحديد أفضل مفاتيح الفرز والتوزيع لتحسين أداء الاستعلام عبر المجموعة.
مزيد من التفاصيل هنا
مشاركة البيانات بين مجموعات Amazon Redshift (معاينة)
تتوفر ميزة مشاركة البيانات الجديدة في Amazon Redshift للتجربة ، والتي تتيح لك مشاركة البيانات بشكل آمن وسهل بين مجموعات Redshift في الوقت الفعلي. تتيح لك مشاركة البيانات تبسيط معالجة البيانات وزيادة الإنتاجية وتقليل التكاليف - كل ما اعتدت عليه داخل مجموعة Redshift واحدة متاح الآن في مجموعات متعددة أثناء العمل على البيانات.
باستخدام مخزن بيانات مُدار منفصل عن عقد الحوسبة لعائلة RA3 ، من الممكن الحصول على وصول فوري وعالي الأداء إلى البيانات من مجموعات متعددة دون الحاجة إلى نسخها أو نقلها. يتم أيضًا استبعاد قراءة البيانات القديمة - تعمل جميع المجموعات على نسخة واحدة محدثة دائمًا من البيانات ، مع جميع التغييرات الأخيرة. لا توجد تكلفة إضافية لمشاركة البيانات عبر مجموعات Amazon Redshift.
مزيد من التفاصيل هنا
Amazon Redshift و Amazon RDS لقواعد بيانات MySQL و Amazon Aurora MySQL للاستعلامات الموحدة (ما قبل الإصدار)
تمكّنك استعلامات Amazon Redshift الموحدة من توصيل البيانات من قواعد بيانات المعاملات لذكاء الأعمال وتطبيقات إعداد التقارير للتحليلات التشغيلية. يقوم Amazon Redshift Optimizer بإلغاء تحميل وتوزيع بعض الحسابات على قواعد البيانات البعيدة لتسريع الأداء عن طريق تقليل حركة مرور الشبكة. اليوم ، نحن بصدد توسيع إمكانات الاستعلام الموحدة في Amazon RDS لـ MySQL و Amazon Aurora لـ MySQL. الوظيفة متاحة للمعاينة.
دعم JSON المدمج (معاينة)
نقدم اليوم دعم JSON الأصلي والبيانات شبه المهيكلة في Amazon Redshift للمعاينة. يتم استخدام نوع بيانات جديد "SUPER" للتخزين ، مما يسمح لك بتخزين البيانات شبه المنظمة في جداول Redshift. إضافة دعم للغة استعلام PartiQL للاستعلام عن هذه البيانات ومعالجتها.
مزيد من التفاصيل هنا
معاينة Amazon EMR Studio
تم الإعلان عن Amazon EMR Studio ، وهو IDE قائم على Jupyter. وهو يدعم المصادقة مع مزودي خدمة الدخول الموحد (SSO) للشركات ويمكّن المحللين ومهندسي البيانات من تطوير تطبيقات تحليلية وأنظمة معالجة البيانات في R و Python و Scala و PySpark تتوفر أيضًا Spark UI و YARN Timeline Service لتسهيل تصحيح الأخطاء. سيتم تشغيل أجهزة الكمبيوتر المحمولة EMR Studio على مجموعات EMR الحالية ، أو إطلاق أجهزة جديدة باستخدام قوالب CloudFormation الجاهزة لـ EMR.
التفاصيل هنا
Amazon EMR على Amazon EKS
من خلال نشر EMR ( Amazon EMR على Amazon EKS ) ، يمكن للعملاء أتمتة إنشاء وإدارة أطر عمل البيانات الكبيرة مفتوحة المصدر المدعومة من Amazon EKS. يمكن للعملاء الآن تشغيل تطبيقات Spark بالاقتران مع أنواع أخرى من التطبيقات ضمن نفس مجموعة EKS واكتساب تحسينات في استخدام الموارد وسهولة إدارة البنية التحتية.
تقوم Amazon EMR بتعبئة تطبيقك تلقائيًا في حاوية بيانات كبيرة وتوفر موصلات جاهزة للتكامل مع خدمات AWS الأخرى. بعد ذلك ، تنشر EMR التطبيق إلى مجموعة EKS وتدير التسجيل والمراقبة. مع EMR على EKS ، يمكنك الحصول على 3 أضعاف الأداءباستخدام وقت تشغيل Spark المحسّن للأداء المضمّن في EMR مقابل Apache Spark القياسي على EKS.
مزيد من التفاصيل هنا
الشبكات
محلل قابلية الوصول VPC
تتيح لك خدمة VPC Reachability Analyzer الجديدة تشخيص مدى توفر الشبكة بين نقطتي مرور (نقاط نهاية) دون الحاجة إلى إرسال حزم الشبكة. تقرأ الخدمة تكوين جميع الموارد في VPC وتستخدم الاستدلال التلقائي لتحديد مسارات حركة مرور الشبكة المتاحة. يقوم بتحليل جميع مسارات حركة المرور الممكنة داخل الشبكة دون إرسال حزم الشبكة. لمعرفة المزيد حول كيفية عمل خوارزميات التحليل الآلي ، راجع جلسة re: Invent أو اقرأ هذا المستند .
مزيد من التفاصيل هنا
AWS Transit Gateway Connect
تُستخدم شبكات SD-WAN المتراكبة (شبكات المنطقة الواسعة المعرفة بالبرمجيات) لتوصيل المكاتب أو مراكز البيانات عبر الإنترنت العام. البنية التحتية السحابية مطلوبة الآن للاتصال بنفس الشبكات. غالبًا ما يتم استخدام AWS Transit Gateway على حافة الشبكة لتوصيل شبكاتهم بالعمود الفقري لـ AWS.
ومع إضافة وظائف AWS Transit Gateway Connect ، توجد طريقة سهلة لتوسيع البنية التحتية لشبكة SD-WAN في سحابة AWS. بدلاً من أنفاق IPsec VPN المتعددة بين عبّارة العبور وأجهزة شبكة SD-WAN ، يستخدم Transit Gateway Connect أنفاق GRE. كما أنه يدعم توجيه BGP الديناميكي ، ويتكامل مع خدمة مراقبة AWS Transit Gateway Network Manager ومجموعة من حلول الشركاء .
كل هذا يبسط تصميم الشبكة ، ويحسن الأداء ، ويسهل توسيع شبكات SD-WAN إلى AWS.
مزيد من التفاصيل هنا
دعم IGMP في AWS Transit Gateway
تقدم AWS Transit Gateway دعم بروتوكول إدارة مجموعة الإنترنت (IGMP) ، مما يسهل إدارة التطبيقات التي تستخدم بث IP متعدد.
استخدم العملاء سابقًا AWS Transit Gateway لتشغيل تطبيقات البث المتعدد في السحابة. الآن مع دعم IGMP ، أصبح من السهل توسيع نطاق عضوية مجموعة البث المتعدد وإدارتها. لم تعد بحاجة إلى تكوين مجموعات البث المتعدد الثابتة والمصادر والمصارف ، تضيف Transit Gateway تلقائيًا أعضاء المجموعة وتزيلهم باستخدام IGMP.
IGMP هو معيار مفتوح وتعتمد عليه العديد من تطبيقات البث المتعدد. أصبح من السهل الآن ترحيلهم إلى السحابة.
مزيد من التفاصيل هنا
جلسة Twitch باللغة الروسية
ستتم مناقشة جميع الأخبار في مجال التحليلات والبنية التحتية للشبكة اليوم في بث نشل باللغة الروسية. اختار مهندسو حلول AWS الرائدون كل الأشياء الأكثر إثارة للاهتمام ، وقد جربوا الكثير بالفعل وسيتبادلون الآن انطباعاتهم عن المنتجات الجديدة والإجابة على جميع أسئلتك. إذا لم تكن متصلا تيارات حتى الآن - و صلة للتسجيل . بالمناسبة ، يمكنك مشاهدة تسجيلات التدفقات السابقة باللغة الروسية في التغريدة ، إذا فاتتك.
الأخبار السابقة من AWS re: Invent 2020:
AWS re: Invent. أهم الإعلانات لليوم الأول (Andy Jassy، Business Applications)
AWS re: Invent. AWS re: Invent 2020 Keynotes - الإعلانات الرئيسية لليوم الأول للتعلم الآلي (التخزين)