【導(dǎo)讀】新年快樂！本文介紹了etcd集群的工作原理和高可用技術(shù)細(xì)節(jié)。

etcd 簡介

coreos 開發(fā)的分布式服務(wù)系統(tǒng)，內(nèi)部采用 raft 協(xié)議作為一致性算法。作為服務(wù)發(fā)現(xiàn)系統(tǒng)，有以下的特點(diǎn)：

簡單：安裝配置簡單，而且提供了 HTTP API 進(jìn)行交互，使用也很簡單

安全：支持 SSL 證書驗(yàn)證

快速：根據(jù)官方提供的 benchmark 數(shù)據(jù)，單實(shí)例支持每秒 2k+ 讀操作

可靠：采用 raft 算法，實(shí)現(xiàn)分布式系統(tǒng)數(shù)據(jù)的可用性和一致性

etcd 目前默認(rèn)使用 2379 端口提供 HTTP API 服務(wù)，2380 端口和 peers（集群內(nèi)其他節(jié)點(diǎn)）通信

雖然 etcd 也支持單點(diǎn)部署，但是在生產(chǎn)環(huán)境中推薦集群方式部署，一般 etcd 節(jié)點(diǎn)數(shù)會選擇 3、5、7。etcd 會保證所有的節(jié)點(diǎn)都會保存數(shù)據(jù)，并保證數(shù)據(jù)的一致性和正確性。

工作原理

每個 etcd cluster 都是有若干個 member 組成的，每個 member 是一個獨(dú)立運(yùn)行的 etcd 實(shí)例，單臺機(jī)器上可以運(yùn)行多個 member。

在正常運(yùn)行的狀態(tài)下，集群中會有一個 leader，其余的 member 都是 followers。leader 向 followers 同步日志，保證數(shù)據(jù)在各個 member 都有副本。leader 還會定時向所有的 member 發(fā)送心跳報文，如果在規(guī)定的時間里 follower 沒有收到心跳，就會重新進(jìn)行選舉。

客戶端所有的請求都會先發(fā)送給 leader，leader 向所有的 followers 同步日志，等收到超過半數(shù)的確認(rèn)后就把該日志存儲到磁盤，并返回響應(yīng)客戶端。

每個 etcd 服務(wù)有三大主要部分組成：raft 實(shí)現(xiàn)、WAL 日志存儲、數(shù)據(jù)的存儲和索引。WAL 會在本地磁盤（就是之前提到的 --data-dir）上存儲日志內(nèi)容（wal file）和快照（snapshot）。

集群規(guī)劃

nameIPHOSTNAME

etcd01192.168.255.131master1

etcd02192.168.255.132master2

etcd03192.168.255.133master3

安裝

在安裝和啟動 etcd 服務(wù)的時候，各個節(jié)點(diǎn)需要知道集群中其他節(jié)點(diǎn)的信息（一般是 ip 和 port 信息）。根據(jù)你是否可以提前知道每個節(jié)點(diǎn)的 ip，有幾種不同的啟動方案：

靜態(tài)配置：在啟動 etcd server 的時候，通過 --initial-cluster 參數(shù)配置好所有的節(jié)點(diǎn)信息

etcd動態(tài)發(fā)現(xiàn)：通過已有的etcd集群作為數(shù)據(jù)交互點(diǎn)，然后在擴(kuò)展新的集群時實(shí)現(xiàn)通過已有集群進(jìn)行服務(wù)發(fā)現(xiàn)的機(jī)制。比如官方提供的：discovery.etcd.io

DNS動態(tài)發(fā)現(xiàn)： 通過DNS查詢方式獲取其他節(jié)點(diǎn)地址信息。

一般生產(chǎn)環(huán)境都是使用靜態(tài)配置，我們這里也采用這種方法。并配置 SSL來保證通信安全。

1、安裝cfssl

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64

wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64

chmod +x cfssl_linux-amd64 cfssljson_linux-amd64

mv cfssl_linux-amd64 /usr/local/bin/cfssl

mv cfssljson_linux-amd64 /usr/local/bin/cfssljson

2、創(chuàng)建ca證書，客戶端，服務(wù)端，節(jié)點(diǎn)之間的證書

Etcd屬于server ，etcdctl 屬于client，二者之間通過http協(xié)議進(jìn)行通信。

ca證書 自己給自己簽名的權(quán)威證書，用來給其他證書簽名

server證書 etcd的證書

client證書 客戶端，比如etcdctl的證書

peer證書 節(jié)點(diǎn)與節(jié)點(diǎn)之間通信的證書

1） 創(chuàng)建目錄

mkdir -p /etc/etcd/pki

cd /etc/etcd/pki

cfssl print-defaults config 》 ca-config.json

cfssl print-defaults csr 》 ca-csr.json

2） 創(chuàng)建ca證書

修改ca-config.json

server auth表示client可以用該ca對server提供的證書進(jìn)行驗(yàn)證

client auth表示server可以用該ca對client提供的證書進(jìn)行驗(yàn)證

{

“signing”： {

“default”： {

“expiry”： “43800h”

}，

“profiles”： {

“server”： {

“expiry”： “43800h”，

“usages”： ［

“signing”，

“key encipherment”，

“server auth”，

“client auth”

］

}，

“client”： {

“expiry”： “43800h”，

“usages”： ［

“signing”，

“key encipherment”，

“client auth”

］

}，

“peer”： {

“expiry”： “43800h”，

“usages”： ［

“signing”，

“key encipherment”，

“server auth”，

“client auth”

］

}

}

}

}

創(chuàng)建證書簽名請求ca-csr.json

{

“CN”： “etcd”，

“key”： {

“algo”： “rsa”，

“size”： 2048

}

}

生成CA證書和私鑰

# cfssl gencert -initca ca-csr.json | cfssljson -bare ca

# ls ca*

ca-config.json ca.csr ca-csr.json ca-key.pem ca.pem

3） 生成客戶端證書

vim client.json

{

“CN”： “client”，

“key”： {

“algo”： “ecdsa”，

“size”： 256

}

}

生成

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=client client.json | cfssljson -bare client -

# ls ca*

ca-config.json ca.csr ca-csr.json ca-key.pem ca.pem client-key.pem client.pem

4） 生成server，peer證書

vim etcd.json

{

“CN”： “etcd”，

“hosts”： ［

“127.0.0.1”，

“192.168.255.131”，

“192.168.255.132”，

“192.168.255.133”

］，

“key”： {

“algo”： “ecdsa”，

“size”： 256

}，

“names”： ［

{

“C”： “CN”，

“L”： “SH”，

“ST”： “SH”

}

］

}

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=server etcd.json | cfssljson -bare server

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=peer etcd.json | cfssljson -bare peer

3、安裝etcd二進(jìn)制文件

wget https://github.com/coreos/etcd/releases/download/v3.1.5/etcd-v3.1.5-linux-amd64.tar.gz

tar -xvf etcd-v3.1.5-linux-amd64.tar.gz

mv etcd-v3.1.5-linux-amd64/etcd* /usr/local/bin

4、service配置文件

vim /usr/lib/systemd/system/etcd.service， 三臺機(jī)器配置不一樣，需要替換為相應(yīng)的IP和name。

［Unit］

Description=Etcd Server

After=network.target

After=network-online.target

Wants=network-online.target

Documentation=https://github.com/coreos

［Service］

Type=notify

WorkingDirectory=/var/lib/etcd

ExecStart=/usr/local/bin/etcd

--data-dir=/var/lib/etcd

--name=master1

--cert-file=/etc/etcd/pki/server.pem

--key-file=/etc/etcd/pki/server-key.pem

--trusted-ca-file=/etc/etcd/pki/ca.pem

--peer-cert-file=/etc/etcd/pki/peer.pem

--peer-key-file=/etc/etcd/pki/peer-key.pem

--peer-trusted-ca-file=/etc/etcd/pki/ca.pem

--listen-peer-urls=https://192.168.255.131:2380

--initial-advertise-peer-urls=https://192.168.255.131:2380

--listen-client-urls=https://192.168.255.131:2379，http://127.0.0.1:2379

--advertise-client-urls=https://192.168.255.131:2379

--initial-cluster-token=etcd-cluster-0

--initial-cluster=master1=https://192.168.255.131:2380，master2=https://192.168.255.132:2380，master3=https://192.168.255.133:2380

--initial-cluster-state=new

--heartbeat-interval=250

--election-timeout=2000

Restart=on-failure

RestartSec=5

LimitNOFILE=65536

［Install］

WantedBy=multi-user.target

配置參數(shù)的含義

--name：方便理解的節(jié)點(diǎn)名稱，默認(rèn)為 default，在集群中應(yīng)該保持唯一，可以使用 hostname

--data-dir：服務(wù)運(yùn)行數(shù)據(jù)保存的路徑，默認(rèn)為 ${name}.etcd

--snapshot-count：指定有多少事務(wù)（transaction）被提交時，觸發(fā)截取快照保存到磁盤

--heartbeat-interval：leader 多久發(fā)送一次心跳到 followers。默認(rèn)值是 100ms

--eletion-timeout：重新投票的超時時間，如果 follow 在該時間間隔沒有收到心跳包，會觸發(fā)重新投票，默認(rèn)為 1000 ms

--listen-peer-urls：和集群內(nèi)其他節(jié)點(diǎn)通信的地址， http://ip:2380，如果有多個，使用逗號分隔。需要所有節(jié)點(diǎn)都能夠訪問，所以不要使用 localhost！

--listen-client-urls：節(jié)點(diǎn)與客戶端通信的地址，比如 http://ip:2379，http://127.0.0.1:2379，客戶端會連接到這里和 etcd 交互

--advertise-client-urls：對外通告的該節(jié)點(diǎn)客戶端監(jiān)聽地址，http://ip:2379，這個值會通知集群中其他節(jié)點(diǎn)

--initial-advertise-peer-urls：節(jié)點(diǎn)與其他節(jié)點(diǎn)通信的地址，會通告給集群的其他成員。這個地址用來傳輸集群數(shù)據(jù)。因此這個地址必須是可以被集群中所有的成員訪問http://ip:2380

--initial-cluster：集群中所有節(jié)點(diǎn)的信息，格式為 node1=http://ip1:2380，node2=http://ip2:2380，…。注意：這里的 node1 是節(jié)點(diǎn)的 --name 指定的名字；后面的 ip1:2380 是 --initial-advertise-peer-urls 指定的值

--initial-cluster-state：新建集群的時候，這個值為 new；假如已經(jīng)存在的集群，這個值為 existing

--initial-cluster-token：創(chuàng)建集群的 token，這個值每個集群保持唯一。這樣的話，如果你要重新創(chuàng)建集群，即使配置和之前一樣，也會再次生成新的集群和節(jié)點(diǎn) uuid；否則會導(dǎo)致多個集群之間的沖突，造成未知的錯誤

所有以--initial 開頭的配置都是在 bootstrap（引導(dǎo)） 集群的時候才會用到，后續(xù)節(jié)點(diǎn)重啟時會被忽略。

5、創(chuàng)建存放etcd數(shù)據(jù)的目錄，啟動 etcd

mkdir /var/lib/etcd

systemctl daemon-reload && systemctl enable etcd && systemctl start etcd && systemctl status etcd

6、驗(yàn)證是否成功

在任意一臺機(jī)器（無論是不是集群節(jié)點(diǎn)，前提是需要有etcdctl工具和ca證書，server證書）上執(zhí)行如下命令：

［root@master1］ /etc/etcd/pki$ etcdctl --ca-file=/etc/etcd/pki/ca.pem --cert-file=/etc/etcd/pki/server.pem --key-file=/etc/etcd/pki/server-key.pem --endpoints=https://192.168.255.131:2379 cluster-health

2019-01-27 2026.909601 I | warning： ignoring ServerName for user-provided CA for backwards compatibility is deprecated

2019-01-27 2026.910165 I | warning： ignoring ServerName for user-provided CA for backwards compatibility is deprecated

member 5d7a44f5c39446c1 is healthy： got healthy result from https://192.168.255.132:2379

member e281e4e43dceb752 is healthy： got healthy result from https://192.168.255.133:2379

member ea5e4f12ed162d4b is healthy： got healthy result from https://192.168.255.131:2379

cluster is healthy

如果你沒有指定證書，會報如下錯誤

client： etcd cluster is unavailable or misconfigured; error #0： x509： certificate signed by unknown authority

查看集群成員

［root@master1］ /etc/etcd/pki$ etcdctl --ca-file=/etc/etcd/pki/ca.pem --cert-file=/etc/etcd/pki/server.pem --key-file=/etc/etcd/pki/server-key.pem --endpoints=https://192.168.255.131:2379 member list

2019-01-27 2246.914338 I | warning： ignoring ServerName for user-provided CA for backwards compatibility is deprecated

5d7a44f5c39446c1： name=master2 peerURLs=https://192.168.255.132:2380 clientURLs=https://192.168.255.132:2379 isLeader=false

e281e4e43dceb752： name=master3 peerURLs=https://192.168.255.133:2380 clientURLs=https://192.168.255.133:2379 isLeader=false

ea5e4f12ed162d4b： name=master1 peerURLs=https://192.168.255.131:2380 clientURLs=https://192.168.255.131:2379 isLeader=true

etcd的使用

HTTP API

etcd 對外通過 HTTP API 對外提供服務(wù)，這種方式方便測試（通過 curl 或者其他工具就能和 etcd 交互），也很容易集成到各種語言中（每個語言封裝 HTTP API 實(shí)現(xiàn)自己的 client 就行）。

etcdctl 命令行工具

除了 HTTP API 外，etcd 還提供了 etcdctl 命令行工具和 etcd 服務(wù)交互。這個命令行用 go 語言編寫，也是對 HTTP API 的封裝，日常使用起來也更容易。

總結(jié)

etcd 默認(rèn)只保存 1000 個歷史事件，所以不適合有大量更新操作的場景，這樣會導(dǎo)致數(shù)據(jù)的丟失。etcd 典型的應(yīng)用場景是配置管理和服務(wù)發(fā)現(xiàn)，這些場景都是讀多寫少的。

相比于 zookeeper，etcd 使用起來要簡單很多。不過要實(shí)現(xiàn)真正的服務(wù)發(fā)現(xiàn)功能，etcd 還需要和其他工具（比如 registrator、confd 等）一起使用來實(shí)現(xiàn)服務(wù)的自動注冊和更新。一般etcd大多用于配置管理的場景，比如kubernetes。

目前 etcd 還沒有圖形化的工具。

原文標(biāo)題：快速搭建高可用 ETCD 集群

文章出處：【微信公眾號：Linux愛好者】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq