Kubernetes لمن هم فوق سن الثلاثين.نيكولاي سيفكو (2018)

في مرحلة ما ، أدركنا في okmeter.io أننا نحتاج أيضًا إلى k8s في الإنتاج ، على الرغم من أننا لا نملك حتى CI / CD ، ولكن هناك مهمة لمشاركة تجمع خادم مشترك بين التطبيقات ومن السهل جدًا إضافة قدرات إلى المجموعة. في الوقت نفسه ، كان هناك عدد من الظروف التي أدت إلى تعقيد تنفيذ k8s:

• نحن نهتم كثيرًا بالتسامح مع الخطأ (نحن لا نجر التقنيات الجديدة إلى المنتج حتى نفهمها بمستوى كافٍ) ؛
• لدينا خدمات ذات أوقات استجابة أقل من 10 مللي ثانية ؛
• لدينا عدد قليل جدًا من الموارد البشرية لهذه المهمة (تعلم 10 مصطلحات جديدة جيدة ، 50 - لم تعد).

: 2018 , issue .

. Okmeter.io. . , . , . .

?

, , , , – .

Kubernetes.

.

Okmeter.io. :

• , , , auto discovery.
• , .

:

• , , . . , . Python Go.
• - , . Kafka, Cassandra, Elasticsearch, PostgreSQL.
• . , , latency. .
• DevOps , CI/CD, pipeline. , .
• . , ( ), . , . read , . . , , .
• , , , , – , 2 , , , .
• .

, .

Google App Engine. . , . .

, , . , latency . .

, - . . Cassandra, Elasticsearch, Go Python.

, Elasticsearch.

, Elasticsearch , , CPU. Python.

. , Go stateless, , -, , , CPU - .

, . , , .

?

• Ansible , , , , server -> roles . .
• , . Ansible , , . , , , .
• , Ansible, , , . – playbooks . , , playbooks production. , , . , .

, , instance, ?

• inventory. , - - .
• . , , . , . .

, , , .

• , Kubernetes , . , .
• , , . . , , , , , , .
• , . . Request + Limit – , .

Kubernetes. . . . , , . , , , instances. , OOM killer, , . , , .

, , , . .

, health checks , . , , .

Ansible . Ansible? , , . , . Ansible, , .

Kubernetes, , . - . , , over kill.

, ? :

• — , , .
• – Ansible , , Kubernetes .

Kubernetes , Ansible? Kubernetes apply, , , . . -, , . , – , .

, ? - ? , . , pod. , , Ansible. , , .

? service discovery. , . nginx, upstream’. . . . . , , service discovery. . Kubernetes.

, . , , . - , . DNS, ETCD. , , . .

, , , , . , readiness/ liveness-. , , curl, , Kubernetes .

? , pull . , , . pod, IP, . pull . , . , , .

, , pod . , , . graceful shutdown . . , .

. , RequestID, tracing, , , . , pod – , .

– . Kubernetes, , , L2 , , .

, , ? , 20 , . ? . bgp. , bgp. bgp 10 ?

Kubernetes , service discovery iptables , . . daemon, iptables. , . , , , , .

. 20 , . iptables , .

, , . IP pod’ IP . , . SR-IOV. , 128 . switch . . , , .

, . . , -, , , . - . flannel host-gw. 24- . , , -. , .

iptables kube-proxy, , iptables Kubernetes. Google , . . headless services .

?

• , K8s .
• , , CI/CD.
• . . . , ? , .
• production .

, :

• , K8s. docker , , Python. Go – . , docker . .
• docker . Ansible docker: « , , ».
• , . .

. , - etcd, ConfigMap, . , . , reconfig. , .

Helm . , .

, Helm. update/ rollback pod’, immutable ConfigMap, . , , , , , rolling update, , . , . . , production , . ConfigMap, ConfigMag.

, , – .

– , . - . pod, , immutable. , . , Helm.

. Go- , YAML . , - , -. YAML, . – .

Python Django . Settings.py – . settings . .

, , , K8s stateful . , : Cassandra, Kafka. -, , .

, , Ansible. Ansible , - K8s . ?

Kubernetes – Ansible playbook. . . playbook, , , K8s.

production - - .

. request/ limit.

, , . CPU . . , pod’ . , - , CPU.

, . , , - , OOM Killer . , 100 , .

– deployments - . , , selector , pod deployments. OOM Killer , . . deployment , . , .

- - . , – . K8s back-off. . .

, , , …, back-off .

, rollout, . . , . , , . . . . , .

, , , iptables headless. ? selector, pod’, . pod’ readiness probe, . endpoint, , . . endpoint – pod’.

IP . IP, pod.

IP. , . , iptables , upstream, .

DNS-.

? , pod. readiness probe kubelet . . , kubelet’ apiserver.

kube-proxy . kube-proxy . , .

?

• Probes . , , .
• . 10 000 rps, , .
• . Kubelet -> apiserver -> kube-proxy-> iptables. , .
• , kubelet apiserver? kube-proxy iptables? , .
• , iptables pod, . , , . retries.

, headless service – , .

. etcd, apiserver, DNS.

envoy, L7, retry. http, retry , . , , application level . , ? Envoy.

. envoy. DNS. K8s DNS, endpoints. , . , .

envoy DeamonSet, , sidecar container. ? - .

envoy, -, , , pod’ . . . rolling-update. - , , pod .

. . . envoy nginx -t. . , : «, ». . , pod’ .

, sidecar . envoy , .

. envoy. , resolve , , 3 DNS. , envoy resolve. . . . , health check, retry.

, service mesh . service mesh, . . , .

- , GitHub , . envoy. , istio , . .

ingress-. IP, K8s-. K8s, , .

DaemonSet envoy, . DaemonSet – . IP , DaemonSet, IP - . . 3 - 4, 5, 10 upstream .

DaemonSet rolling .

ingress controller, , nginx - ingress K8s. , . . , , envoy, DaemonSet, ingress controller. . DaemonSet, . ingress.

, . .

Kubespray – , , 20 K8s-.

, , , , . , , .

playbook .

?

etcd c apiserver’. . full mesh.

, Kubelet …, . , , . . pod , . , .

CoreDNS. deployment. deployment, iptables, .

iptables, DNS deployment DaemonSet. , , . DNS , -, .

3 + N . , , . , Ansible. , .

Stateful- , , . .

, Kafka 4 10 . Kubelet , . , overbooked .

, , flannel . pod’. . 1/0. pod’ . . . . . , .

, , . , , , egress, , . flannel NAT. pod’ .

, . NAT.

• . .
• , . , .
• - . . , , . , - , . 3 , , , , .
• , Kubernetes, , . , , .

Kubernetes .

Kubernetes .

, . !

:

, ! follower, , , , Kubernetes, - ? Kubernetes ?

, , Kubernetes . , . , . . , .

, , , , , , , , . , service discovery . , , , , .

! Stateful- , . HA ? HAProxy K8s?

Cassandra . , , . . endpoints IP , .

Postgres?

Postgres . Postgres’ , . . , . , , . Postgres - . , , -, . Postgres , .

, ! ! latency. , , latency . , ?

. . . iptables , . iptables, . , , .

20 . - ?

flannel .

, , Open vSwitch ?

أنا فقط أخاف من هذه الكلمات. لقد قمنا بمراقبة K8s ، وكان علينا عمل منصة اختبار على الأجهزة الافتراضية من أجل عمل عرض توضيحي للمراقبة. هناك ، بشكل افتراضي ، نشر Kubespray كاليكو. إنه يعمل ، لكنني لا أفهم كيف يعمل. لم نقم بإجراء أي معايير هناك ، ولا أعرف كيف يعمل. وكيف سينكسر ، لا أعرف. أعرف كيف سيتكسر الفانيلا ، أنا جاهز لذلك. وكيف ستتعطل جميع المكونات الإضافية الـ 19 الأخرى ، لا أعرف.

هذا السؤال مثير للاهتمام من حيث حماية البيانات من أجل فصل شبكة آمنة عن شبكة غير آمنة.

نحن محظوظون في هذا الصدد ، ليس لدينا شيء من هذا القبيل.

انت محظوظ جدا.

حتى ترنك!