SmartData 2020: مؤتمر حول هندسة البيانات

إذا كان منصبك مهندس بيانات ، فربما تكون قد واجهت تحيزًا هجوميًا للمعلومات. يتم تغطية موضوع علم البيانات بنشاط ، وهناك العديد من المواد المفيدة حوله. وأنت تعمل في مجال ذي صلة ، حيث تثار أيضًا العديد من الأسئلة المهمة ، ولكن لا يُقال كثيرًا عن هذه الأسئلة.

, , 9-12 SmartData. - : data scientists, - , .

- , , . , , , .

, 2017- « SmartData», 2018- SmartData. : « , , ». : !

, , . , , . , data science, :

, , , . , : « , , , - …»

, SmartData 2020? , , . , :

Streaming

• Flink
• Spark
• Kafka

, , noSQL, SMP/MPP- DWH:

• Hive, Impala, Presto, Vertica, ClickHouse, Cassandra
• Teradata, Redshift, GreenPlum, exadata
• MSSQL, PostgreSQL
• MongoDB, DynamoDB
• S3, ADLS, GCS, HDFS

DWH

• Ad-hoc reporting
• Hadoop

Data governance

• Data security
  
  
  • Data quality
  • Metadata catalog management
  • Master data management

ETL

• Spark
  
  
  • Hadoop MapReduce
  • Sqoop
  • Performance analysis and optimization

MLOps

• Airflow, NiFi, Luigi, Azkaban, Oozie etc
  
  
  • MLflow

• 
  
  
  • - , data engineer
  • CI/CD

^SmartData

, SmartData — . ?

• , , «-» « ». , , , . : , , .

  
  
  

• , , . .

  
  
  

• , -. . : , 3-4 . .

  
  
  

• , - , 3-4 : . , - «», ( - ). , «» , !

  
  
  

Call to action

? :

1. — . , , .
2. , — , .
3. IT, : «full pass», SmartData, 7 . .

SmartData!