連結：https://www.cnblogs.com/hahaha111122222/p/15592876.html

一般情況下 Kubernetes 可以透過 ReplicaSet 以一個 Pod 模板建立多個 pod 副本，但是它們都是無狀態的，任何時候它們都可以被一個全新的 pod 替換。然而有狀態的 pod 需要另外的方案確保當一個有狀態的 pod 掛掉後，這個 pod 例項需要在別的節點上重建，但是新的例項必須與被替換的例項擁有相同的名稱、網路標識和狀態。這就是 Statefulset 管理 pod 的手段。

對於容器叢集，有狀態服務的挑戰在於，通常叢集中的任何節點都並非100%可靠的，服務所需的資源也會動態地更新改變。當節點由於故障或服務由於需要更多的資源而無法繼續執行在原有節點上時，叢集管理系統會為該服務重新分配一個新的執行位置，從而確保從整體上看，叢集對外的服務不會中斷。若採用本地儲存，當服務漂移後資料並不會隨著服務轉移到新的節點，重啟服務就會出現資料丟失的困境。

本文目的是透過一個 mysql 的主從叢集搭建，深入瞭解 kubernetes 的 statfulset 管理。為了降低實驗的外部依賴，儲存層面上，我採用的是本地儲存，當然生產上不建議這樣做，生產環境的儲存推薦官方介紹到的的 gce、nfs、ceph等儲存方案，因為這些方案支援動態供給的特性，允許開發人員透過 pvc 的定義，快速實現資料有效儲存，所以你絕不應該把一個宿主機上的目錄當作 PV 使用，只是本文用於實驗需要，採用 Local Persistent Volume 的手段，目的只是為了驗證 Statefulset 的狀態管理功能。

實驗環境

kubernetes Master
kubernetes Node（測試演示，所有的副本都會在其上執行）
kubernetes DNS 服務已開啟

實驗目的

搭建一個主從複製（Master-Slave）的 MySQL 叢集
從節點可以水平擴充套件
所有的寫操作只能在主節點上執行
讀操作可以在主從節點上執行
從節點能同步主節點的資料

本地儲存原理

為了快速搭建測試環境，我們這裡使用了本地儲存，也就是說，使用者希望 Kubernetes 能夠直接使用宿主機上的本地磁碟目錄，而不依賴於遠端儲存服務，來提供持久化的容器 Volume。不過這裡有個難點：我們把儲存固定在一個節點上，但是pod在排程的時候，是飄來飄去的，怎麼能讓pod透過pvc也能固定在pv上？

給這個 Pod 加上一個 nodeAffinity 行不行？

當然行，但是這變相破壞了開發人員對資源物件的定義規範了，開發人員應該不需要時刻考慮排程的細節。排程的改動應該交給運維就行。所以我們為了實現本地儲存，我們採用了延遲繫結的方法。方法很簡單，我們都知道 storageclass 一般由運維人員設計，我們只需要在storageclass 指定 no-provisioner。這是因為 Local Persistent Volume 目前尚不支援 Dynamic Provisioning，所以它沒辦法在使用者建立 PVC 的時候，就自動創建出對應的 PV。與此同時，這個 StorageClass 還定義了一個 volumeBindingMode=WaitForFirstConsumer 的屬性。它是 Local Persistent Volume 裡一個非常重要的特性，即：延遲繫結

kind:StorageClassapiVersion:storage.k8s.io/v1metadata:name:local-storageprovisioner:kubernetes.io/no-provisionervolumeBindingMode:WaitForFirstConsumer

實驗步驟

一、先在node （實驗用的node節點IP是172.31.170.51 ）節點上，預先分配幾個pv (不建議在生產上這樣操作)

01-persistentVolume-1.yaml

apiVersion:v1kind:PersistentVolumemetadata:name:example-mysql-pvspec:capacity:storage:15GivolumeMode:FilesystemaccessModes:-ReadWriteOncepersistentVolumeReclaimPolicy:DeletestorageClassName:local-storagelocal:path:/data/svr/projects/mysqlnodeAffinity:required:nodeSelectorTerms:-matchExpressions:-key:kubernetes.io/hostnameoperator:Invalues:-172.31.170.51

01-persistentVolume-2.yaml

apiVersion:v1kind:PersistentVolumemetadata:name:example-mysql-pv-2spec:capacity:storage:15GivolumeMode:FilesystemaccessModes:-ReadWriteOncepersistentVolumeReclaimPolicy:DeletestorageClassName:local-storagelocal:path:/data/svr/projects/mysql2nodeAffinity:required:nodeSelectorTerms:-matchExpressions:-key:kubernetes.io/hostnameoperator:Invalues:-172.31.170.51

01-persistentVolume-3.yaml

apiVersion:v1kind:PersistentVolumemetadata:name:example-mysql-pv-3spec:capacity:storage:15GivolumeMode:FilesystemaccessModes:-ReadWriteOncepersistentVolumeReclaimPolicy:DeletestorageClassName:local-storagelocal:path:/data/svr/projects/mysql3nodeAffinity:required:nodeSelectorTerms:-matchExpressions:-key:kubernetes.io/hostnameoperator:Invalues:-172.31.170.51

記住，這是在生產上不推薦的做法，我只是實驗用途才這樣手動預先建立，正規的做法應該透過storageclass採用 Dynamic Provisioning，而不是 Static Provisioning 機制生產PV。

kubectl apply -f 01-persistentVolume-{1..3}.yamlpersistentvolume/example-mysql-pv1 createdpersistentvolume/example-mysql-pv2 createdpersistentvolume/example-mysql-pv3 created

二、建立 StorageClass

02-storageclass.yaml

kind:StorageClassapiVersion:storage.k8s.io/v1metadata:name:local-storageprovisioner:kubernetes.io/no-provisionervolumeBindingMode:WaitForFirstConsumer

執行建立

kubectl apply -f 02-storageclass.yamlstorageclass.storage.k8s.io/local-storage created

三、建立Namespace

03-mysql-namespace.yaml

apiVersion:v1kind:Namespacemetadata:name:mysqllabels:app:mysql

執行建立

kubectl apply -f 03-mysql-namespace.yamlnamespace/mysql created

四、使用 ConfigMap 為 Master/Slave 節點分配不同的配置檔案

04-mysql-configmap.yaml

apiVersion:v1kind:ConfigMapmetadata:name:mysqlnamespace:mysqllabels:app:mysqldata:master.cnf:|    # Master配置    [mysqld]    log-bin=mysqllog    skip-name-resolveslave.cnf:|    # Slave配置    [mysqld]    super-read-only    skip-name-resolve    log-bin=mysql-bin    replicate-ignore-db=mysql

建立執行

kubectl apply -f 04-mysql-configmap.yamlconfigmap/mysql created

五、建立mysql密碼Secret

05-mysql-secret.yaml

apiVersion:v1kind:Secretmetadata:name:mysql-secretnamespace:mysqllabels:app:mysqltype:Opaquedata:password:MTIzNDU2# echo -n "123456" | base64

建立執行

kubectl apply -f 05-mysql-secret.yamlsecret/mysql-secret created

六、使用 Service 為 MySQL 提供讀寫分離

06-mysql-services.yaml

apiVersion:v1kind:Servicemetadata:name:mysqlnamespace:mysqllabels:app:mysqlspec:ports:-name:mysqlport:3306clusterIP:Noneselector:app:mysql---apiVersion:v1kind:Servicemetadata:name:mysql-readnamespace:mysqllabels:app:mysqlspec:ports:-name:mysqlport:3306selector:app:mysql

使用者所有寫請求，必須以 DNS 記錄的方式直接訪問到 Master 節點，也就是 mysql-0.mysql 這條 DNS 記錄。

使用者所有讀請求，必須訪問自動分配的 DNS 記錄可以被轉發到任意一個 Master 或 Slave 節點上，也就是 mysql-read 這條 DNS 記錄

kubectl apply -f 06-mysql-services.yaml$ kubectl get svc -n mysqlNAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)    AGEmysql        ClusterIP   None<none>3306/TCP   20smysql-read   ClusterIP   10.0.0.63<none>3306/TCP   20s

七、使用 StatefulSet 搭建 MySQL 主從叢集

mysql-statefulset.yaml

apiVersion:apps/v1kind:StatefulSetmetadata:name:mysqlnamespace:mysqllabels:app:mysqlspec:selector:matchLabels:app:mysqlserviceName:mysqlreplicas:2template:metadata:labels:app:mysqlspec:initContainers:-name:init-mysqlimage:mysql:5.7env:-name:MYSQL_ROOT_PASSWORDvalueFrom:secretKeyRef:name:mysql-secretkey:passwordcommand:-bash-"-c"-|          set -ex          # 從 Pod 的序號，生成 server-id          [[ $(hostname) =~ -([-9]+)$ ]] || exit 1          ordinal=${BASH_REMATCH[1]}          echo [mysqld] > /mnt/conf.d/server-id.cnf          # 由於 server-id 不能為 ，因此給 ID 加 100 來避開它          echo server-id=$((100 + $ordinal)) >> /mnt/conf.d/server-id.cnf          # 如果 Pod 的序號為 ，說明它是 Master 節點，從 ConfigMap 裡把 Master 的配置檔案複製到 /mnt/conf.d 目錄下          # 否則，複製 ConfigMap 裡的 Slave 的配置檔案          if [[ ${ordinal} -eq  ]]; then            cp /mnt/config-map/master.cnf /mnt/conf.d          else            cp /mnt/config-map/slave.cnf /mnt/conf.d          fivolumeMounts:-name:confmountPath:/mnt/conf.d-name:config-mapmountPath:/mnt/config-map-name:clone-mysqlimage:gcr.io/google-samples/xtrabackup:1.0env:-name:MYSQL_ROOT_PASSWORDvalueFrom:secretKeyRef:name:mysql-secretkey:passwordcommand:-bash-"-c"-|          set -ex          # 複製操作只需要在第一次啟動時進行，所以資料已經存在則跳過          [[ -d /var/lib/mysql/mysql ]] && exit           # Master 節點（序號為 ）不需要這個操作          [[ $(hostname) =~ -([-9]+)$ ]] || exit 1          ordinal=${BASH_REMATCH[1]}          [[ $ordinal ==  ]] && exit           # 使用 ncat 指令，遠端地從前一個節點複製資料到本地          ncat --recv-only mysql-$(($ordinal-1)).mysql 3307 | xbstream -x -C /var/lib/mysql          # 執行 --prepare，這樣複製來的資料就可以用作恢復了          xtrabackup --prepare --target-dir=/var/lib/mysqlvolumeMounts:-name:datamountPath:/var/lib/mysqlsubPath:mysql-name:confmountPath:/etc/mysql/conf.dcontainers:-name:mysqlimage:mysql:5.7env:#        - name: MYSQL_ALLOW_EMPTY_PASSWORD#          value: "1"-name:MYSQL_ROOT_PASSWORDvalueFrom:secretKeyRef:name:mysql-secretkey:passwordports:-name:mysqlcontainerPort:3306volumeMounts:-name:datamountPath:/var/lib/mysqlsubPath:mysql-name:confmountPath:/etc/mysql/conf.dresources:requests:cpu:500mmemory:1GilivenessProbe:exec:command: ["mysqladmin", "ping", "-uroot", "-p${MYSQL_ROOT_PASSWORD}"]initialDelaySeconds:30periodSeconds:10timeoutSeconds:5readinessProbe:exec:command: ["mysqladmin", "ping", "-uroot", "-p${MYSQL_ROOT_PASSWORD}"]initialDelaySeconds:5periodSeconds:2timeoutSeconds:1-name:xtrabackupimage:gcr.io/google-samples/xtrabackup:1.0ports:-name:xtrabackupcontainerPort:3307env:-name:MYSQL_ROOT_PASSWORDvalueFrom:secretKeyRef:name:mysql-secretkey:passwordcommand:-bash-"-c"-|          set -ex          cd /var/lib/mysql          # 從備份資訊檔案裡讀取 MASTER_LOG_FILE 和 MASTER_LOG_POS 這 2 個欄位的值，用來拼裝叢集初始化 SQL          if [[ -f xtrabackup_slave_info ]]; then            # 如果 xtrabackup_slave_info 檔案存在，說明這個備份資料來自於另一個 Slave 節點            # 這種情況下，XtraBackup 工具在備份的時候，就已經在這個檔案裡自動生成了 "CHANGE MASTER TO" SQL 語句            # 所以，只需要把這個檔案重新命名為 change_master_to.sql.in，後面直接使用即可            mv xtrabackup_slave_info change_master_to.sql.in            # 所以，也就用不著 xtrabackup_binlog_info 了            rm -f xtrabackup_binlog_info          elif [[ -f xtrabackup_binlog_info ]]; then            # 如果只是存在 xtrabackup_binlog_info 檔案，說明備份來自於 Master 節點，就需要解析這個備份資訊檔案，讀取所需的兩個欄位的值            [[ $(cat xtrabackup_binlog_info) =~ ^(.*?)[[:space:]]+(.*?)$ ]] || exit 1            rm xtrabackup_binlog_info            # 把兩個欄位的值拼裝成 SQL，寫入 change_master_to.sql.in 檔案            echo "CHANGE MASTER TO MASTER_LOG_FILE='${BASH_REMATCH[1]}',\                  MASTER_LOG_POS=${BASH_REMATCH[2]}" > change_master_to.sql.in          fi          # 如果存在 change_master_to.sql.in，就意味著需要做叢集初始化工作          if [[ -f change_master_to.sql.in ]]; then            # 但一定要先等 MySQL 容器啟動之後才能進行下一步連線 MySQL 的操作            echo "Waiting for mysqld to be ready（accepting connections）"            until mysql -h 127.0.0.1 -uroot -p${MYSQL_ROOT_PASSWORD} -e "SELECT 1"; do sleep 1; done            echo "Initializing replication from clone position"            # 將檔案 change_master_to.sql.in 改個名字            # 防止這個 Container 重啟的時候，因為又找到了 change_master_to.sql.in，從而重複執行一遍初始化流程            mv change_master_to.sql.in change_master_to.sql.orig            # 使用 change_master_to.sql.orig 的內容，也就是前面拼裝的 SQL，組成一個完整的初始化和啟動 Slave 的 SQL 語句            mysql -h 127.0.0.1 -uroot -p${MYSQL_ROOT_PASSWORD} << EOF          $(< change_master_to.sql.orig),            MASTER_HOST='mysql-0.mysql.mysql',            MASTER_USER='root',            MASTER_PASSWORD='${MYSQL_ROOT_PASSWORD}',            MASTER_CONNECT_RETRY=10;          START SLAVE;          EOF          fi          # 使用 ncat 監聽 3307 埠。          # 它的作用是，在收到傳輸請求的時候，直接執行 xtrabackup --backup 命令，備份 MySQL 的資料併發送給請求者          exec ncat --listen --keep-open --send-only --max-conns=1 3307 -c \            "xtrabackup --backup --slave-info --stream=xbstream --host=127.0.0.1 --user=root --password=${MYSQL_ROOT_PASSWORD}"volumeMounts:-name:datamountPath:/var/lib/mysqlsubPath:mysql-name:confmountPath:/etc/mysql/conf.dvolumes:-name:confemptyDir: {}-name:config-mapconfigMap:name:mysqlvolumeClaimTemplates:-metadata:name:dataspec:accessModes:-"ReadWriteOnce"storageClassName:local-storageresources:requests:storage:3Gi

整體的statefulset有兩個replicas，一個Master, 一個Slave，然後使用 init-mysql 這個 initContainers 進行配置檔案的初始化。接著使用 clone-mysql 這個 initContainers 進行資料的傳輸；同時使用 xtrabackup 這個 sidecar 容器進行SQL初始化和資料傳輸功能

建立 StatefulSet

kubectl apply -f 07-mysql-statefulset.yaml$ kubectl get po -n mysqlNAME      READY   STATUS    RESTARTS   AGEmysql-02/2Running70smysql-1/2     Pending             5s

可以看到，StatefulSet 啟動成功後，會有兩個Pod執行。

接下來，我們可以嘗試向這個MySQL叢集發起請求，執行一些SQL操作來驗證它是否正常

服務驗證

驗證主從狀態

kubectl-nmysqlexecmysql-1-cmysql--bash-c"mysql -uroot -p123456 -e 'show slave status \G'"mysql: [Warning] Usingapasswordonthecommandlineinterfacecanbeinsecure.***************************1.row***************************Slave_IO_State:WaitingformastertosendeventMaster_Host:mysql-0.mysql.mysqlMaster_User:rootMaster_Port:3306Connect_Retry:10Master_Log_File:mysqllog.000003Read_Master_Log_Pos:154Relay_Log_File:mysql-1-relay-bin.000002Relay_Log_Pos:319Relay_Master_Log_File:mysqllog.000003Slave_IO_Running:YesSlave_SQL_Running:YesReplicate_Do_DB:Replicate_Ignore_DB:mysqlReplicate_Do_Table:Replicate_Ignore_Table:Replicate_Wild_Do_Table:Replicate_Wild_Ignore_Table:Last_Errno:0Last_Error:Skip_Counter:0Exec_Master_Log_Pos:154Relay_Log_Space:528Until_Condition:NoneUntil_Log_File:Until_Log_Pos:0Master_SSL_Allowed:NoMaster_SSL_CA_File:Master_SSL_CA_Path:Master_SSL_Cert:Master_SSL_Cipher:Master_SSL_Key:Seconds_Behind_Master:0Master_SSL_Verify_Server_Cert:NoLast_IO_Errno:0Last_IO_Error:Last_SQL_Errno:0Last_SQL_Error:Replicate_Ignore_Server_Ids:Master_Server_Id:100Master_UUID:1bad4d64-6290-11ea-8376-0242ac113802Master_Info_File:/var/lib/mysql/master.infoSQL_Delay:0SQL_Remaining_Delay:NULLSlave_SQL_Running_State:Slavehasreadallrelaylog;waitingformoreupdatesMaster_Retry_Count:86400Master_Bind:Last_IO_Error_Timestamp:Last_SQL_Error_Timestamp:Master_SSL_Crl:Master_SSL_Crlpath:Retrieved_Gtid_Set:Executed_Gtid_Set:Auto_Position:0Replicate_Rewrite_DB:Channel_Name:Master_TLS_Version:

接下來，我們透過Master容器建立資料庫和表、插入資料庫

kubectl -n mysql exec mysql- -c mysql -- bash -c "mysql -uroot -p123456 -e 'create database test’"kubectl -n mysql exec mysql- -c mysql -- bash -c "mysql -uroot -p123456 -e 'use test;create table counter(c int);’"kubectl -n mysql exec mysql- -c mysql -- bash -c "mysql -uroot -p123456 -e 'use test;insert into counter values(123)’"

然後，我們觀察Slave節點是否都同步到資料了

kubectl -n mysql exec mysql-1-c mysql -- bash -c"mysql -uroot -p123456 -e 'use test;select * from counter’"c123

當看到輸出結果，主從同步正常了

擴充套件從節點

在有了 StatefulSet 以後，你就可以像 Deployment 那樣，非常方便地擴充套件這個 MySQL 叢集，比如

kubectl -n mysql scale statefulset mysql -—replicas=3$ kubectl get po -n mysqlNAME      READY   STATUS    RESTARTS   AGEmysql-2/2Running22mmysql-12/2Running22mmysql-22/2Running20s