摘要：?國際知名開源社區(qū)Linux基金會主辦的開源大會LinuxCon + ContainerCon + CloudOpen China 2018(LC3)于6月25日在北京開幕。今年阿里云作為白金合作伙伴亮相本次中國開源盛會，這篇文章是網(wǎng)絡(luò)團隊分享系列第三篇。

國際知名開源社區(qū)Linux基金會主辦的開源大會LinuxCon + ContainerCon + CloudOpen China 2018(LC3)于6月25日在北京開幕。今年阿里云作為白金合作伙伴亮相本次中國開源盛會，這篇文章是網(wǎng)絡(luò)團隊分享系列第三篇。

摘要：這篇文章介紹了阿里云網(wǎng)絡(luò)團隊在做網(wǎng)絡(luò)分析方向上的一些實踐，包括了如何基于實時計算搭建整個平臺以及其中重點解決的幾個場景。

主講人：呂彪 阿里云高級技術(shù)專家

主題：JStorm based Network Analysis Platform

分論壇：Network & Orchestration

項目背景

隨著阿里云的快速發(fā)展，目前其業(yè)務(wù)已經(jīng)覆蓋全球18個region，服務(wù)了超過100多萬的客戶。不僅如此，阿里云還支撐了像雙11這樣的活動，對它的彈性，調(diào)度，以及穩(wěn)定性都有很大的挑戰(zhàn)。而在網(wǎng)絡(luò)業(yè)務(wù)發(fā)展的背后是越來越復(fù)雜網(wǎng)絡(luò)技術(shù)體系，比如SDN，現(xiàn)在整個阿里云網(wǎng)絡(luò)全部SDN化了，所有的云網(wǎng)絡(luò)設(shè)備都完全通過我們從業(yè)務(wù)到北向以及南向的API進行管理和配置，而網(wǎng)絡(luò)本身也劃分為Overlay和Underlay，Underlay這塊主要是物理的交換機，路由器，Overlay這塊為用戶提供了彈性，靈活的各種虛擬網(wǎng)絡(luò)功能；然后我們還有NFV, RDMA, SD-WAN等等。 整個網(wǎng)絡(luò)變得越來越復(fù)雜 。

讓網(wǎng)絡(luò)更加簡單

雖然我們有這么復(fù)雜的技術(shù)體系，有這么大規(guī)模的挑戰(zhàn)，我們還是希望我們的網(wǎng)絡(luò)能更穩(wěn)定，更簡單，更好用的。我們希望每一次網(wǎng)絡(luò)的升級都是用戶無感的，當任何設(shè)備出現(xiàn)問題時我們能提前用戶發(fā)現(xiàn)問題，并且能非常精確得定位到出問題的節(jié)點，最后，我們希望我們對網(wǎng)絡(luò)有非常豐富，多維度的了解，這對我們自己以及用戶在運維和運營這張網(wǎng)絡(luò)時非常有幫助。Network as a Service，我們希望我們的網(wǎng)絡(luò)能像簡單靈活的服務(wù)一樣，需要的時候就能連接上。

如何做到網(wǎng)絡(luò)的規(guī)模在這樣持續(xù)增長的情況下仍然能夠保持簡單，高效。自動化肯定是需要做的，但是在自動化的基礎(chǔ)上我們希望能讓系統(tǒng)承擔更多的事情，把更多決策閉環(huán)掉，并且在整個網(wǎng)絡(luò)生命周期中減少人的干預(yù)，讓另一套系統(tǒng)而不是我們用戶和網(wǎng)絡(luò)運維人員去和控制器打交道。我們的用戶和網(wǎng)絡(luò)運維人員是如何做決策的呢，他們依賴的是數(shù)據(jù)。基于這些數(shù)據(jù)以及他們的判斷來形成決策，所以數(shù)據(jù)是組成這個閉環(huán)的最后一個環(huán)節(jié)。右圖里就是我們目前的設(shè)想，基于各種網(wǎng)絡(luò)運行過程中生成的數(shù)據(jù)系統(tǒng)自動化的生成策略，這些策略提交給控制器形成對網(wǎng)絡(luò)的配置管理，網(wǎng)絡(luò)在過程中又會產(chǎn)生新的數(shù)據(jù)。在這個系統(tǒng)上我們完成從網(wǎng)絡(luò)更新，網(wǎng)絡(luò)監(jiān)控，網(wǎng)絡(luò)畫像，網(wǎng)絡(luò)診斷，以及異常恢復(fù)等多個場景的閉環(huán)。

齊天-基于JStorm的網(wǎng)絡(luò)分析平臺

按照這個思路，我們設(shè)計并實現(xiàn)了一套網(wǎng)絡(luò)分析平臺，我們給這套平臺取了一個很好聽的名字，叫齊天，希望能從天空的角度去看我們整張網(wǎng)絡(luò)。

整個平臺大致可以分為三層，最底下這一層是數(shù)據(jù)源，包括了來自網(wǎng)絡(luò)設(shè)備和業(yè)務(wù)服務(wù)采集出來的各種數(shù)據(jù)。往上是我們的實時數(shù)據(jù)分析層，從左往右看，第一個是我們的基礎(chǔ)數(shù)據(jù)分析，包括將DB數(shù)據(jù)清洗，ETL，通用的數(shù)學(xué)計算，基礎(chǔ)數(shù)據(jù)分析是右邊所有數(shù)據(jù)分析的前提，它將原始 的數(shù)據(jù)轉(zhuǎn)換為格式標準的數(shù)據(jù) 。第二個是我們的網(wǎng)絡(luò)監(jiān)控分析，用于發(fā)現(xiàn)網(wǎng)絡(luò)當中的可疑異常。它分為三個部分，監(jiān)控策略，網(wǎng)絡(luò)事件，和異常通知。分別消費基礎(chǔ)數(shù)據(jù)，初級網(wǎng)絡(luò)異常，以及融合網(wǎng)絡(luò)事件，最終產(chǎn)生可疑事件記錄和告警。第三個是我們的網(wǎng)絡(luò)診斷，用于發(fā)現(xiàn)問題時定位具體問題原因的。它能對每個數(shù)據(jù)報文進行處理和分析，并且計算出來報文的流量路徑，并找到這條路徑上出問題的網(wǎng)絡(luò)設(shè)備以及具體問題的原因。第四個是我們的網(wǎng)絡(luò)調(diào)度，這一部分目前最重要一個用途還是在出現(xiàn)故障時流量調(diào)度策略來恢復(fù)故障 。最后一個是我們的網(wǎng)絡(luò)畫像，它用于我們網(wǎng)絡(luò)資源的規(guī)劃和調(diào)度，也用于我們產(chǎn)品成本和營收的核算 。整個實時分析層是基于JStorm引擎開發(fā)的，它并不是一個獨立的應(yīng)用，而是眾多JStorm任務(wù)的集合。

最上面是我們數(shù)據(jù)分析的輸出，這里我們有流式的數(shù)據(jù)輸出，也支持API的數(shù)據(jù)提取。這兩者主要是對接其他的系統(tǒng)，比如我們的SDN控制器會消費齊天產(chǎn)生的策略數(shù)據(jù)，用于管理和配置網(wǎng)絡(luò)設(shè)備，但對于我們的研發(fā)，售后來說他們需要更直觀的數(shù)據(jù)呈現(xiàn) 。最后是我們開發(fā)的一個釘釘機器人，你可以問他最近某個集群的告警情況，也可以問某個用戶實例的運行情況。這個機器人也有一個好聽的名字，叫大圣，所以和我們平臺的名字連在一起就是齊天大圣。接下來我會自下而上的分別從數(shù)據(jù)來源，分析性能，實時監(jiān)控，網(wǎng)絡(luò)診斷，智能調(diào)度以及多維度網(wǎng)絡(luò)畫像為大家深入介紹整個平臺。

實時網(wǎng)絡(luò)監(jiān)控

齊天的整個監(jiān)控體系是基于JStorm的流計算引擎開發(fā)的。還是從數(shù)據(jù)流的角度來看一下整個系統(tǒng)怎么處理的。最左邊仍然是網(wǎng)絡(luò)設(shè)備，它采集到的原始數(shù)據(jù)經(jīng)過一些基本的ETL以及聚合之后變成了包含多維度信息以及網(wǎng)絡(luò)流量信息流數(shù)據(jù)，這份數(shù)據(jù)會被我們的一個被稱為監(jiān)控策略任務(wù)的JStorm Topology消費，監(jiān)控策略任務(wù)會包含各種監(jiān)控策略，每一種策略會從不同維度去識別異常。目前我們支持三種策略，指標波動，區(qū)間預(yù)測，以及事件統(tǒng)計。?說完了策略，那么后面緊跟著的就是一個被稱為事件合并的JStorm任務(wù)。這個任務(wù)的作用是把策略任務(wù)產(chǎn)生的各種事件按用戶以及網(wǎng)絡(luò)拓撲的維度合并。?實時監(jiān)控的最后一個環(huán)節(jié)是通知中心，這里主要是根據(jù)不同類型，不同嚴重程度的網(wǎng)絡(luò)事件進行不同方式的通知，目前支持郵件，短信，應(yīng)用消息等。每一個通知會非常清晰的描述出來問題的時間和影響范圍，幫助研發(fā)做判斷。

?

基于流計算的網(wǎng)絡(luò)診斷

接下來我們來看看齊天是如何基于流計算來做網(wǎng)絡(luò)診斷的。當用戶的流量出現(xiàn)異常的時候，曾經(jīng)是通過抓包或者traceroute等工具去定位，但是這種方式一方面效率低，另一方面在Overlay網(wǎng)絡(luò)下很難達到效果。為此，我們的網(wǎng)絡(luò)設(shè)備利用報文染色的方法，將染色后的報文采集到SLS日志中，再由JStorm任務(wù)來分析這些報文，最終可以定位出來導(dǎo)致問題的設(shè)備節(jié)點。

智能網(wǎng)絡(luò)調(diào)度

如何恢復(fù)出現(xiàn)問題的網(wǎng)絡(luò)就是我們下一個系統(tǒng)需要去解決的事情。目前的網(wǎng)絡(luò)問題主要以服務(wù)器上虛擬機出現(xiàn)的網(wǎng)絡(luò)異常和我們的分布式虛擬網(wǎng)關(guān)異常為主，當前者出現(xiàn)問題時我們需要快速的定位出來可以遷移的目標服務(wù)器，然后快速將虛擬機遷移過去，后者出現(xiàn)問題時我們需要快速定位出來可以引流的新的虛擬網(wǎng)關(guān)組，并把流量引導(dǎo)過去。虛擬機的遷移是一個綜合評估體系，作為網(wǎng)絡(luò)我們會提供可選的交換機及服務(wù)器給虛擬機調(diào)度系統(tǒng)做決策。而虛擬網(wǎng)關(guān)的流量遷移是網(wǎng)絡(luò)內(nèi)部閉環(huán)的邏輯 。

多維度網(wǎng)絡(luò)畫像

最后一塊是我們的多維度網(wǎng)絡(luò)畫像，它其實有兩部分組層，一部分是實時計算，這里在JStorm上完成的，另一塊是離線計算，我們基于Max-Compute開發(fā)的一些離線分析任務(wù)進行最后的多維度網(wǎng)絡(luò)畫像。網(wǎng)絡(luò)畫像是我們進行網(wǎng)絡(luò)產(chǎn)品運營的重要手段。在這個平臺里，我們結(jié)合了產(chǎn)品的售賣，資源的消耗，實際的成本以及用戶畫像來幫助我們每個產(chǎn)品做運營上的決策。比如分析用戶的資源部署情況，了解我們和運營商直接的網(wǎng)絡(luò)成本使用情況等。

總結(jié)

以上是目前齊天平臺所提供的服務(wù)，而接下來我們會在智能分析上進一步演進，讓我們更快的了解狀況，更精確得定位原因，更智能的調(diào)度流量。 這會讓阿里云網(wǎng)絡(luò)的變得更聰明，更高效，幫助我們實現(xiàn)讓我們網(wǎng)絡(luò)更簡單的使命。