قاعدة البيانات. الاتجاهات العالمية في روسيا

هذه المقالة ليست إجابة على العديد من الأسئلة حول قواعد البيانات (DB) وأنظمة إدارة قواعد البيانات (DBMS). كمؤلف ، أعبر عن رأيي الخاص حول الاتجاهات ، محاولًا الاعتماد على مؤشرات وإحصاءات محايدة ، وما إلى ذلك ، ولكن مع ذكر تجربتي الخاصة كمثال. أنا لست ممثلاً مشاركًا لأي شركة وأعبر عن وجهة نظري بناءً على تجربتي لأكثر من 25 عامًا من العمل مع أنظمة إدارة قواعد البيانات المختلفة ، بما في ذلك تلك التي أنشأتها بيدي. لا يوجد الكثير من المبرمجين والمهندسين المعماريين ذوي الخبرة الذين يعرفون كل المصطلحات والتقنيات والمزالق وأين تتجه الحركة. الموضوع ضخم حقًا ، لذا لا يمكن الكشف عن المستوى الأعلى من المعلومات في إطار مقال واحد. ما لم يصادف شخص ما نظام إدارة قواعد البيانات (DBMS) المفضل لديه أو ما لا يصدق بالإضافة إلى ذلك الجدير بالذكر ،ثم أطلب منك الإشارة في التعليقات وبالتالي استكمال الصورة العامة ، والتي ستساعد الآخرين على فهم وفهم مجال الموضوع بشكل أفضل. اذهب!

نظم إدارة قواعد البيانات مفتوحة المصدر مقابل نظم إدارة قواعد البيانات التجارية

 بادئ ذي بدء ، سأقدم رسمًا بيانيًا من الموقع ، db-engines.com ، وفقًا لمشاعري ، إنه جيد في تتبع اتجاهات قاعدة البيانات. كان هذا الرسم البياني هو الذي أضاف الرغبة في كتابة مقال عن الوضع الحالي. عندما نقول عبارة "قاعدة بيانات" ، في الواقع ، فإننا غالبًا ما نعني نظام إدارة قاعدة بيانات محدد (DBMS) ، لذلك إذا كان النص يحتوي على قاعدة بيانات بدلاً من DBMS ، فهذا يرجع إلى هذه العادة. 

 

نظم إدارة قواعد البيانات مفتوحة المصدر - لقد استوعبت أنظمة إدارة قواعد البيانات مفتوحة المصدر نظم إدارة قواعد البيانات التجارية المغلقة المصدر. المصدر المفتوح 49.98٪ مقابل 50.02٪ التجاري. نتيجة عام 2020 هي اللحظة التي يمكن فيها القول إن المصدر المفتوح ليس أقل شعبية. كما ترى ، فإن هذا الموقف لم يظهر فجأة. لا يتم الحساب على الرسم البياني بنسبة عددية ، ولكن بالنقاط التي تكتسبها أنظمة معينة.

  . Microsoft Access , COBOL , . , IBM DB2 . 10 – 75% . 10 .

Open Source , , Oracle, MS SQL, IBM DB2 , . . enterprise licenses ( ) . , 4 16 - 64 .

MS SQL - 439 936$

Oracle - 1 368 000$

, , , , , . .

2019 2020 AMD , EPYC, , , . AMD 64 - . ? . . AMD , Oracle, Microsoft . Microsoft SQL Server Linux, . IBM DB2 .

( « ») , , Open Source . .

, . , :  (Microsoft), (Oracle), . 10 Forbes , (Amazon RDS), (Google Bigtable).

open source . , , , . , , , , , , . , .

MySQL open source 1 .$,  Sun Microsystem, Oracle. MySQL MariaDB. , . MariaDB 12 .

, , , , , , . open source , , Facebook c MySQL. open source , . 10 SQLite -   . -, .

: , 70-80 , Oracle, , , , .. .

, , . () ( ), . , – , , . open source. ClickHouse, Tarantool, PostgreSQL .., . . , , , « ».

open source . , Oracle . « » Open Source.   , , PostgreSQL, MySQL, SQLite, MongoDB .

, open source commercial, online , , .. online vs. offline.

online offline

2 , - , - . .

, , , ( ) ( ), Windows . WISA (Windows, IIS, MS SQL, ASP.Net). WISA, , StackOverflow. , LAMP (Linux Apache MySQL PHP). , , Windows . .

 

 

, . , , .. ( ) , ERP, CRM SAP, Microsoft Dynamics NAV AX, 1C . , , Oracle, MS SQL, IBM DB2.

10 , 2 Microsoft Alphabet (Google). . . , .. 2020 .

  . , , , . 113 . 20. open source , . - () , open source. , , .

- online . , .

, . RDBMS – . ¼ , .

 

 

,    MS SQL(Oracle) MongoDB, Redis, MySQL, ClickHouse, ElasticSearch ..

:

Relational: , . 2- , . . 2 – (Key). , , SQL (Structured Query Language), . . 2- .

Document stores:

, . . , . MongoDB – JSON (Java Script Object Notation). BSON (Binary JSON), , .

( )

 

.

 

 

Key-Value : NoSQL - , - . , , . – Redis. , . , . , , . , 1 IP . IP, +1. , (). TTL X .

 

Search Engines: – . c ID (, , ..) , , , . . , , , , , , , .     ElasticSearch , ELK (. ) ElasticSearch+Logstash+Kibana , , .

Wide column stores: Key-Value . , . .

– Cassandra, HBase.

Graph : , , . () (). .

(), - () . ,  —  , . 18 , . - Neo4j.

Columnstore

db-engines , , . , . , , . , . ClickHouse, Vertica. ClickHouse.

ClickHouse . , .

 

Multi-model databases

               , . , , . «multi-model». multi-model NoSQL . - , .

SQL vs NoSQL

               NoSQL 10 2009 « ». , + SQL NoSQL, , . . , , . , , , , , , , .. . , , , , , ..

               , , 10 .

 

  , 0- 1 Gb , . 100-200 .

SQL 10 100 . , , , , , . , . , .

, NoSQL , , SQL, . , NoSQL   - , , .

NoSQL . .

A SQL – Structured Query Language – ? 1970- , , . , (features - ), SQL, , ,   SQL. SQL , . , NoSQL , SQL. , MongoDB Studio3T, SQL MongoDB, MongoDB SQL . ClickHouse Tarantool ( ) SQL . NoSQL SQL, , join-, , NULL ..

Cloud DBs vs DBs

. . . , , . , – . , , , .

Gartner 5 2 .

  BPaaS IaaS. . AWS , Microsoft , Alibaba , .

   (DBaaS) , , .

:

1. , , , . , CPU, RAM, SSD(HDD) , .

   
   
   
   
   

2. , . . , , , , , , ..

   
   
   
   
   

3. , , . , , . , , , , Mb. AWS Azure . NASA, , . .

   
   
   
   
   

4. . , , . .   , , . Gb, , .

   
   
   
   
   

5. , - , . , . .

   
   
   
   
   

6.   , , . , Alibaba , 12 - , .

   
   
   
   
   

7. , ,   IP . .

   
   
   
   
   

8. . , . .

   
   
   
   
   

., SberCloud, . , , . , Microsoft, Google, .

: , , , . c .

, , , . . .

, , .

OLTP vs OLAP

Online Transaction Processing (OLTP): , , , .. . , . OLTP – . , OLTP.

, Online Analytical Processing (OLAP). OLAP , . , , , . OLAP , , . Data Scientist. , . SQL, Python, R, , ..

OLAP OLTP, . OLAP , . OLAP , , SIMD (single instruction, multiple data) , 1 , .

, . , , . , , NVidia Tesla.

SSD vs HDD vs Storage vs Tape vs Other

.

  2020 , SSD HDD. , . , , , . . SSD, HDD . HDD , . 1000 , HDD. OLTP HDD. SSD c 6000 IOPS ( ), NVME , , .

HDD OLAP , , . 1 – . HDD SSD 1 .

SSD HDD . . SSD HDD, ,   , SLC MLC, , TLC QLC, . . SSD 1Tb 1000$ - . , , , . SSD HDD, . SSD .

 

- SSD – 2.5 , PCI-X , U.2– M.2, . SSD – NVME.

Storage – () - , . , . – , 10 . . – , . . , . AllFlash – HDD SSD.

EMC DELL . Huawei . , .

Intel Optane (3D Xpoint) – , , , SSD. - . SSD+NVME /. Optane SSD, RAID .

RAID – , . . , RAID . OLTP RAID10.

Tape – . , 2020 . , . , . , , . , .

  

– , . , , .., . . . .

: Horizontal scaling vs Vertical Scaling.

, 10-15 . 2000-x Oracle, Microsoft, IBM , , Web API, , 2000-x   , ( ) . CPU, , , .. . , .

, , , . , , . , , .

, . : , , . . , . , . , . . , hash , . ().

 

, 8 , , 4 , 2 , . , 2 8 10 . : , .. 2-3 , . .

2 2 , , , , ,   .

: , , , . , .

- High Availability.  Master-master, master-slave.

               High Availability– . .   . , , . : , , , ..

                 , , , RAID . , , , , , .

  online , . . – , , .

. , , -. Slave- , . Master-Slave.

              

 

               , . , , .  , , master , . Master-Master. master slave .

 

 

 

, .

, , , . , , . master , , slave master, . , , . , , . , .

. . , .

Online maintenance - online alter

24/7/365 – , 24 , 7 365 . (maintenance). , , , , . , , , , , . , , , .

               . , ? . , , , . , , . . , .

  , . , , , , . , , , , , . – , . , .

, , % . .

: – SQL, , , , , , product-    ..

  , , , DataGrip JetBrains ( Kotlin, ReSharper, GoLand ..) . , .

               , . , - , . , , , . . , . , , , .

, . , , , , , SQL . , - . , . , Flashback Data Archive, Temporal history, Change Tracking, Data Audit ..

, , . , , , , , , , , . 

-

, . , . , , , , , . , .

-  - , . -. , (, -) - , , , .. , . , , , , , , .. - , -.

, - , .. .

 

              

  , , ClickHouse . - , .

JSON

  NuGet- Micrsoft Visual Studio C# - JSON (JavaScript Object Notation). , , Microsoft, XML. JSON , , JSON   .

In Memory 

RAM . , . , . . -, .

- In-Memory , , ,  Tarantool.

, . , .. OLAP . , , , , CPU.   , .

(temporary)

, , . , . , , , . , , .

MapReduce

Google . Map – Reduce – . Apache Hadoop Spark – , HDFS . Hive, SQL. .

               , . , . , .. Hive , .

. ? , , . (spatial index) R-tree .

Graph data

. .

. . - , ,   , . , - .

   , . , . , . , , , , , .. . , , . - . , . . (), - .

GPU, NPU (Neural Processing Unit), Google TPU (Tensor Processing Unit)

  - . , GPU NPU , , GPU NPU , ( ) . . DPU (Data Processing Unit) – , . .

Community

  , , . , – . . StackOverflow.com , . . KnowledgeBase.

, , , , . % - (holy war - ). , . . Oracle IBM DB2 – .

  : . OpenSource Commercial , . Online . . SQL. -. , . , .   , .