背景知識
ElasticSearch(下文簡稱ES)集群中,每一臺服務器都有自己的角色,有一部分服務器可以設定為候選Master(至少是3臺),也就是說這些服務器已經具備成為Master角色的能力,但是具體誰最終成為Master是要通過選舉才可以。
在ES配置文件里,有兩個參數來決定該節點是否是候選Master或者Data節點,如果想讓某個節點只作為Data節點,那么需要將node.master設置為false,而node.data設置為true:
node.master: true/false node.data: true/false
上圖是一個ES集群的示意圖,其中NodeA是當前集群的Master,NodeB和NodeC是Master的候選節點,其中NodeA和NodeB同時也是數據節點(DataNode),此外,NodeD是一個單純的數據節點,Node_E是一個proxy節點。每個Node會跟其他所有Node建立連接。
節點發現
ES服務啟動后,首先要通過節點發現功能加入集群。ZenDiscovery是ES自己實現的一套用于節點發現和選主等功能的模塊,沒有依賴Zookeeper等工具。 簡單來說,節點發現依賴以下配置:
discovery.seed_hosts: ["192.168.222.101", "192.168.222.102", "192.168.222.103"]這個配置可以看作是,在本節點到每個discovery.sedd_hosts中的節點建立一條關聯線,當整個集群所有的node形成一個聯通圖時,所有節點都可以知道集群中有哪些節點存在了。
Master選舉
上面提到,集群中可能會有多個候選Master節點,此時就要進行Master選舉,保證只有一個當選Master。如果有多個節點當選為Master,則集群會出現腦裂,腦裂會破壞數據的一致性,導致集群行為不可控,產生各種非預期的影響。
腦裂示意圖
為了避免產生腦裂,ES采用了常見的分布式系統思路,保證選舉出的master被多數派(quorum)的候選Master節點認可,以此來保證只有一個Master。這個quorum通過以下配置進行配置:
discovery.zen.minimum_master_nodes: 2這個配置對于整個集群非常重要。
誰發起Master選舉
Master選舉是由候選Master節點發起,當一個候選Master節點發現滿足以下條件時就會發起選舉:
該候選Master節點的當前狀態不是Master;
該候選Master節點通過ZenDiscovery模塊的ping操作詢問其已知的集群其他節點,沒有任何節點連接到Master;
包括本節點在內,當前已有超過minimum_master_nodes個節點沒有連接到Master。
簡單講,就是當一個候選Master節點發現包括自己在內的多數候選Master節點認為集群沒有Master時,就可以發起Master選舉。
如何選舉
ES Master選舉有一套自己的算法,該算法是基于一種稱為“狀態機復制”的機制。狀態機復制的基本原理是,在一個分布式系統中,每個節點都有一份當前的狀態,并且每個節點都可以獨立決定自己是否被選舉為Master節點。在ES集群中,每個節點都會比較當前節點和其他節點的狀態,如果當前節點的狀態最新,則當前節點將被選為Master節點。
ES的選舉工作流程大致如下:
① 首先,所有候選Master節點都會比較自己的狀態,如果自己的狀態最新,則發起投票;
② 其他節點收到投票后,也會比較自己的狀態,如果自己的狀態最新,則會再次發起投票;
③ 當某個節點收到來自其他節點的投票,且自己的狀態最新時,則會將自己的狀態發送給其他節點,并同意自己被選為Master節點;
④ 其他節點收到來自Master節點的狀態后,會將自己的狀態更新,同意將Master節點選為Master節點(有點繞口);
⑤ 一旦Master節點確定,其他節點就會向Master節點發送心跳包,以確保Master節點的活動狀態;
⑥ 如果Master節點失去連接,則其他節點會開始新的投票,以確定新的Master節點。
按照上述流程,我們描述一個簡單的場景來幫助大家理解:
假如集群中有3個候選Master節點,分別為Node_A、 Node_B、 Node_C。三個節點都認為當前沒有Master,于是都各自發起選舉。
假如此時Node_A的狀態最新,所以選舉結果都為Node_A。于是Node_A開始等選票,Node_B、Node_C都向Node_A發起投票,當Node_A接收到第一次投票(假如是Node_B發起的)時,加上它自己的一票,就獲得了兩票了(超過半數),于是Node_A成為Master。
有一點要說明,對于ES集群來說,當Master節點確立時,它就會等待其它節點join自己成為一個集群了,當所有其它非Master節點全部join到Master時,集群才算徹底創建完成。
審核編輯:劉清
-
服務器
+關注
關注
12文章
9255瀏覽量
85754 -
MASTER
+關注
關注
0文章
104瀏覽量
11301
原文標題:你知道ElasticSearch是如何進行master選舉的嗎
文章出處:【微信號:aming_linux,微信公眾號:阿銘linux】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論