ماذا تفعل عندما يموت الخادم الرئيسي PostgreSQL تحت الحمل؟
غالبًا ما يكون هناك موقف عندما لا تدعم قاعدة البيانات الحمل الحالي ولا يساعد القياس الرأسي للأجهزة. هل تريد تغيير PostgreSQL إلى قاعدة بيانات مختلفة أو إعادة تصميم بنية التطبيق والتخلي عن نظام إدارة قواعد البيانات؟
دعني أقدم نفسي.
. Postgres. Data Egret. DBA . Postgres. , , .
. . Postgres – open source , , , . . . .
– - , . , , , . .
– . , . . .
, , . 50 000 - – Postgres. – 20 000-30 000. . , , , - .
, CPU. , , CPU , , .
. , 20 000 . .
, . , .
. , Postgres, , . , , , , , . . , . , , . . . .
, . . 40 000 , .
, , . , , - , . , . Postgres.
– , . , 10-20 .
, , . , - .
, – , idle in transaction.
Idle in transaction – , transaction id . : , . . , .
, , , .
, pool connections. pool connections, : Hibernate , Python . , , . .
, , . PgBouncer Odyssey, , .
- . .
, . , , . , , - , .
, . 100 % .
50 % . - , , , 80 % 90 % . ? , , , . , , - , , . . , . , . - , . RDBMS . RDBMS - -, , , , . – - , -, .
, 50 % . , , . , , , , , -. , 10 , , 10 . , , . - , , 50 % .
– , . , , , 10 , . . , , , . , , , , . , , . , , , , .
, . , .
- , , . ID, ID . , , . Postgres , . , . . JSON, , JSON, JSON. JSON – , , Postgres.
- . . JSON - , , JSON. , , . - , - , . . , . , , , . , , , - - . , . , . . . .
. – , . . , , . , , - . ORM, . , 1 , 200 . . , , 20 , , , , - . . . , , , , . Postgres, , , , .
, DISTINCT n*JOIN. , DISTINCT GROUP BY , , - . , JOIN, JOIN , . . , , , , . , JOIN . , . - , DISTINCT, . - , 10 . – , , .
– COUNT, MAX, MIN, SUM , . , . , , 5 . 5 , , - – , - . , , , .
, . WHERE id IN SELECT . . EXISTS (SELECT…). . SELECT - , . , .
LEFT JOIN , EXISTS (SELECT…) , LEFT JOIN. ? LEFT JOIN , . EXISTS. . . , LEFT JOIN, EXISTS, , .
—
. , . . , , - -, , - , , , , -, . . , , . , , Postgres. , . , superuser. , . , . -, - . . , . cron. report . , - , - , , , , . . - , .
, Postgres. . . , . . RabbitMQ, ZeroMQ, Kafka. , , . DBA , . . , . . . , , .
- PgQ – , , . , , . PgQ , microsoft’ .
. - .
- , - , idle- . , . Postgres . 100-200-300 – , . 1 000 – , pools . idle-, . , , .
- – PgBouncer transaction . . . prepared statements . set- PgBouncer. , , , . , , , , , . . , Odyssey PgBouncer .
. ? , , wraparound vacuum, vacuum, .
- . - , , . . - . : , . , 99 % . 1 %. , , . . , – .
- (). «», . - – . . , . .
, , 100 % . , . - . , , . .
- , , , , , , - Data Lake, Big Data. . . , , . , . , . . .
? , .
, , , , . - , web-. , , . . - ID, - JOIN. -.
, . , .
. , . . , . , . , Fault Tolerance, . . , . , .
. ? , , COUNT, MAX, MIN, . . , , . , , , . , .
? - . , . . . , .
, – max_streaming_delay, . , – , . , .
, , -, , , . . , , , . . , . , . .
? . , , - . , . , max_streaming_delay. , . , , . .
, - -, . , . , .
? , , . , -, , latency. latency – 10-20 . .
, . , . , .
. , . , , , , .
«() »? . . bloat . . - . - , , .
, Postgres?
Max_standby_streaming_delay – . , , , . . , . , . . , , , . . , . . , . , .
Hot_standby_feedback – - - . , , . , . , . – .
hot_standby_feedback , , , , .
synchronous_standby_names. , , . . . , – , . , , , , . . , - , . , , .
– max_standby_streaming_delay, . – , .
, Postgres, . . .
- . , , . , . . - , , -. -. , - .
, , , , . . , .
. , -, , -, , -. , : . , . , . , , .
, delayed . recovery.conf Postgres , , , . -.
? deploy. , , - , , . delayed , .
. . , deploy. , , , – . , .
. , . , . , .
. , , .
, ! WAL . , , , , - ? , .
, . . . , , . . - , , - , . . , - . , . . WAL . - . .
?
-, . , . . . . , WAL-G, - . , , , - , . , , . .
!
! ! . , – PgBouncer ? ? per_request ? . . , , PgBouncer , PgBouncer – ?
, . transaction PgBouncer -. . . - - idle-, , . , , . . , , - , . , , , , . , , , , .
. . ?
PgBouncer . . PgBouncer . . , . , .
!
, ! ! , , , . . ?
– .
, 100 % ?
, , - . WAL-, - , . . . . , .
- ?
. , . , . . . .
!
, ! . , . , . - . failover? . . – ? ?
, , tools, auto_failover Postgres , - , - . , . . - , . . , . , WAL . -. , auto_failover, . , .
!
- , ? , , , - .
. instance Postgres . , . , : , , . , . . , . . – , , .
! ! , COUNT, - ? , , ?
COUNT, , -, – ? , , , . , , 10 . COUNT . , 10 5 . 10 . – ? . , 3-5 .
-, .
. COUNT 100 000 , 100 000 5 100 000 , , , COUNT . . , - , . .
, , !
, ! , . . , ? PgBouncer - , instance , instance? - , ?
. . , - . - , , . ? SELECT, . ? , ? , , , . , , . . . , , . . , .
? Discovery, . , . , , . .
, ! , , , , , , - . , ? , .
PgPool , , .
, !