- جهاز من مجموعة السجلات ، والذي يسمح لنا بفهم ما يحدث للمدفوعات والمعاملات (وكذلك بشكل عام مع المكونات والخدمات) ؛
- عمل مهندسي البيانات في التعلم الآلي ؛
- تنفيذ وتحويل CI / CD.
نحن نشارك تجربة قيمة حتى لا ترتكب أخطاءنا. نأمل أن تكون مفيدة!
أشعل النار لدينا هو مفتاح نجاحك
مكسيم أوغريزكوف ، مسؤول النظام الأول
. سيتناول الحديث معالجة سجلات العديد من مراكز البيانات مع إمكانية الوصول من خلال واجهة واحدة. دعونا نناقش أسباب وعواقب ترقية الكتلة. سأخبرك عن نقل تسليم السجلات من أنظمة وبيئات مختلفة ، وأين علاقة Apache Kafka بذلك. وأيضًا لماذا لا نستخدم logstash وكيفية "إرفاق" مجموعة بطلب واحد في Kibana.
1:17 عن ماذا سيكون الحديث: مجموعة من السجلات
1:43 كيف تدخل السجلات إلى الكتلة؟
3:50 لماذا اخترنا Apache Kafka
5:02 Rsyslog: مزايا الاستخدام
9:00 أين يتم تخزين السجلات من DC مختلفة؟
12:08ماذا لو كانت كمية البيانات كبيرة جدًا؟
14:00 تحديث الكتلة.
20:30 لدينا أشعل النار والحلول
22:35 وغاريتمية محولة
24:25 طلب السائبة
26:28 Opendistro-برفومنس محلل
28:28 مؤشر تصغير حجم
29:49 Librdkafka
31:37 ملخص: ما مثل تبدو مجموعة لدينا الآن
مهندسو البيانات في تعلم الآلة
Evgeny Vinogradov ، رئيس قسم تطوير مخازن البيانات
قصة حول كيف يبدو العمل الصناعي في التجارب في تعلم الآلة - ما هي المشاكل التي يتم حلها على مستوى النموذج ، والتي هي فقط على مستوى البيانات ، وكيفية ضمان عملية تعلم محكومة.
1:40 حول المتحدث
2:41 من يشارك في مشاريع DS؟
8:30 ما هو مشروع علوم البيانات؟
14:15 ترتيب الإجراءات في مشروع DS
15:42 عملية جمع مجموعة البيانات
20:26 كيف
يعمل كل شيء في Apache Kafka 29:10 ماذا يحدث بعد جمع
مجموعة البيانات 29:21كيف تختار النموذج؟
30:40 أمثلة على المشكلات التي يمكن لمهندس بيانات حلها
34:38 ما هي التقنيات التي يعمل عليها كل هذا؟
35:03 استنتاجات التقرير
CI / CD لمهندس البيانات: ذهابًا وإيابًا
أنتون سبيرين ، كبير مطوري BI
Report حول تنفيذ مبادئ CI / CD في تطوير BI والأهداف وتحويلها والتغلب على الصعوبات.
2:00 استعلام عن المتحدث
2:44 وصف المشكلة
4:28 من هو مهندس البيانات؟
5:43 CI / CD - ما هو عمل المهندس؟
6:55 المزيد عن المكدس وأنظمة المعلومات
8:00 نقطة البداية: حيث بدأنا
10:34 المرحلة الأولى من التغييرات
15:50 يبدو أن كل شيء على ما يرام ، لكن ... المرحلة الثانية من التحسينات
19:01 تقريبًا عرض توضيحي: JenkinsFile، Pipelines
20:44 ماذا حصلنا عند المخرج؟
22:43 كم من الوقت استغرقت؟ نشر الإحصائيات
23:37 تحدياتنا وما كان يمكن القيام به بشكل مختلف. خطط مستقبلية
جميع التقارير من مؤتمر YuMoneyDay الكبير لتكنولوجيا المعلومات . مواد حول PM والاختبار وتطوير الأجهزة المحمولة في الطريق.