狂歡背后的技術(shù)棧網(wǎng)上輕松購(gòu)物體驗(yàn)實(shí)際上是背后復(fù)雜的技術(shù)組成的，這是一個(gè)簡(jiǎn)化的通用電商系統(tǒng)架構(gòu)，由很多產(chǎn)品和業(yè)務(wù)組件組成。

圖2 簡(jiǎn)化電商系統(tǒng)架構(gòu)

這些業(yè)務(wù)組件核心系統(tǒng)今年100%上云，底層承載的技術(shù)就是阿里云的計(jì)算，存儲(chǔ)，網(wǎng)絡(luò)，數(shù)據(jù)庫(kù)等等一系列產(chǎn)品和解決方案。 因?yàn)樘幚砹糠浅＞薮螅@些業(yè)務(wù)產(chǎn)品、組件和模塊之間會(huì)采用分布式部署方式，產(chǎn)品與產(chǎn)品、組件與組件、模塊和模塊之間會(huì)存在海量的通信要求，承載這個(gè)通信要求的技術(shù)平臺(tái)就是阿里云網(wǎng)絡(luò)的飛天洛神平臺(tái)。

什么是飛天洛神阿里云的技術(shù)平臺(tái)叫飛天操作體系，其目標(biāo)是將一個(gè)數(shù)據(jù)中心，乃至遍布全球的多個(gè)數(shù)據(jù)中心變成一臺(tái)計(jì)算機(jī)，對(duì)內(nèi)管理數(shù)據(jù)中心的服務(wù)器和各種物理資源和設(shè)施，對(duì)外統(tǒng)一的提供公共服務(wù)和對(duì)應(yīng)的編程接口。

圖3 阿里云飛天操作系統(tǒng)

飛天操作系統(tǒng)的內(nèi)核提供最基礎(chǔ)的系統(tǒng)服務(wù)，是對(duì)基礎(chǔ)資源的虛擬化，核心是計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源的虛擬化，其中虛擬網(wǎng)絡(luò)服務(wù)（如虛擬專(zhuān)有網(wǎng)絡(luò)VPC，SDN控制器，負(fù)載均衡網(wǎng)元等）是由洛神平臺(tái)提供，總結(jié)一句話(huà)，洛神是阿里云飛天操系統(tǒng)內(nèi)核的核心組件，提供了云計(jì)算網(wǎng)絡(luò)的全部功能。

飛天洛神特點(diǎn)洛神伴隨著阿里云飛天系統(tǒng)誕生，到目前已經(jīng)有10年的歷史，支撐了阿里云20個(gè)region，數(shù)百萬(wàn)級(jí)別虛擬機(jī)之間的如絲般順滑的訪問(wèn)體驗(yàn)，這些與洛神10年來(lái)的技術(shù)沉淀息息相關(guān)。

全自研 目前阿里云網(wǎng)絡(luò)有業(yè)界最豐富的產(chǎn)品，從使用場(chǎng)景角度分為云上網(wǎng)絡(luò)、跨地域網(wǎng)絡(luò)、混合云網(wǎng)絡(luò)和智能網(wǎng)絡(luò)。

圖4 阿里云業(yè)界最豐富的云網(wǎng)絡(luò)產(chǎn)品

這些豐富產(chǎn)品基于洛神平臺(tái)開(kāi)發(fā)，核心業(yè)務(wù)代碼全自研，到目前為止，已經(jīng)達(dá)到數(shù)百萬(wàn)行，不管是底層的軟件系統(tǒng)，還是硬件設(shè)備形態(tài)，其技術(shù)方案、業(yè)務(wù)邏輯完全自主設(shè)計(jì)和開(kāi)發(fā)，所以阿里云的虛擬交換機(jī)也稱(chēng)為AVS（Ali Virtual Switch），從轉(zhuǎn)發(fā)表項(xiàng)設(shè)計(jì)，至報(bào)文處理，都不同于業(yè)界開(kāi)源的OVS（Open Virtual Switch）。

軟件定義網(wǎng)絡(luò)

從洛神誕生的第一天起，阿里云的網(wǎng)絡(luò)架構(gòu)遵循軟件定義網(wǎng)絡(luò)的理念，管控和轉(zhuǎn)發(fā)分離，網(wǎng)元只負(fù)責(zé)數(shù)據(jù)轉(zhuǎn)發(fā)，管理配置以及表項(xiàng)由SDN網(wǎng)絡(luò)控制器生成和下發(fā)。

圖5 阿里云軟件定位網(wǎng)絡(luò)架構(gòu)

轉(zhuǎn)發(fā)網(wǎng)元不管是軟件方式，還是硬件方式，都支持可編程，所有業(yè)務(wù)邏輯都是通過(guò)軟件代碼實(shí)現(xiàn)，兼容SDN控制器之間自定義通道通信協(xié)議，軟硬件一體化，兼容可擴(kuò)展性。

海量規(guī)模 阿里云目前有數(shù)百萬(wàn)的公有云租戶(hù)，還有阿里集團(tuán)這種超大規(guī)模的用戶(hù)，通過(guò)海量的虛擬機(jī)協(xié)同完成豐富的業(yè)務(wù)。量變引起質(zhì)變，洛神平臺(tái)要支持這些海量租戶(hù)，海量虛擬機(jī)之間的網(wǎng)絡(luò)通信，網(wǎng)元的管理，表項(xiàng)下發(fā)性能，數(shù)據(jù)轉(zhuǎn)發(fā)性能不是小規(guī)模網(wǎng)絡(luò)可以相比擬的。目前實(shí)際運(yùn)行環(huán)境，洛神已經(jīng)支持單租戶(hù)超過(guò)10W+虛擬機(jī)實(shí)例、單租戶(hù)100G+公網(wǎng)帶寬、單租戶(hù)20T+混合云帶寬。

飛天洛神如何支撐雙11“不是任何一朵云都能撐得住雙11”，阿里集團(tuán)核心系統(tǒng)首次100%運(yùn)行在公共云上，54.4萬(wàn)筆/秒的訂單峰值，970PB的單日數(shù)據(jù)處理量是承載在虛擬化的分布式系統(tǒng)上的，分布式節(jié)點(diǎn)之間的通信，依賴(lài)的就是底層的云網(wǎng)絡(luò)基礎(chǔ)設(shè)施，就是洛神平臺(tái)提供的能力。 雙11對(duì)云網(wǎng)絡(luò)，對(duì)云網(wǎng)絡(luò)的技術(shù)平臺(tái)洛神有哪些具體的挑戰(zhàn)，洛神如何支撐的呢，讓我們一一揭秘。

超大規(guī)模 阿里集團(tuán)核心業(yè)務(wù)全面上云，隨之而來(lái)的最大的挑戰(zhàn)超大規(guī)模。2018年雙11云上單個(gè)VPC的規(guī)模已經(jīng)接近10w，今年還需要成倍增加，達(dá)到單VPC 30w的規(guī)模，業(yè)界有如此規(guī)模的用戶(hù)屈指可數(shù)，基本集中在個(gè)別超大規(guī)模互聯(lián)網(wǎng)公司，但不管是否自身就是公有云提供商，都沒(méi)有將自己的核心業(yè)務(wù)部署在公有云上，所以單個(gè)VPC支撐如此規(guī)模的虛擬化實(shí)例，沒(méi)有先例。同時(shí)在轉(zhuǎn)發(fā)帶寬的要求上，去年整個(gè)云上公網(wǎng)和跨域出口流量5Tbps左右，今年這個(gè)流量增長(zhǎng)到了數(shù)十Tbps。

網(wǎng)絡(luò)設(shè)備邏輯上包括管控和數(shù)據(jù)轉(zhuǎn)發(fā)兩個(gè)組成部分，首先在管控層面，集中式的SDN控制器使用傳統(tǒng)方式，轉(zhuǎn)發(fā)表項(xiàng)的下發(fā)性能會(huì)很低，結(jié)果會(huì)導(dǎo)致虛擬實(shí)例的上線速度很慢，影響業(yè)務(wù)開(kāi)通效率，包括業(yè)務(wù)切換效率。洛神的管控系統(tǒng)采用集群和分層架構(gòu)，集中能力提升的同時(shí)，將大量虛擬實(shí)例上線的處理下層，大大提升管控配置和表項(xiàng)的處理性能。

圖6 洛神分層管控架構(gòu)

數(shù)據(jù)轉(zhuǎn)發(fā)層面，洛神提供了軟硬件一體化的技術(shù)架構(gòu)，虛擬交換機(jī)在傳統(tǒng)DPDK架構(gòu)基礎(chǔ)上進(jìn)行了升級(jí)，支持可編程硬件實(shí)現(xiàn)的快速轉(zhuǎn)發(fā)。

圖7 基于可編程硬件的洛神虛擬交換機(jī)

基于可編程硬件的虛擬交換機(jī)相對(duì)于傳統(tǒng)軟件虛擬交換機(jī)，轉(zhuǎn)發(fā)性能提升達(dá)到10倍左右，時(shí)延降低1倍以上。公網(wǎng)和跨域帶寬的快速增加，也對(duì)DPDK虛擬網(wǎng)關(guān)的性能提出了極大挑戰(zhàn)，一方面是設(shè)備規(guī)模的增加，導(dǎo)致管理復(fù)雜度，供應(yīng)成本的增加，另外CPU單核能力的約束，無(wú)法支撐某些突發(fā)和大帶寬單流的場(chǎng)景，影響其它正常流量的通信。

圖8 阿里云洛神軟硬件一體網(wǎng)關(guān)

在虛擬網(wǎng)關(guān)上，通過(guò)技術(shù)架構(gòu)的升級(jí)，支持軟硬件一體化的硬件網(wǎng)關(guān)，業(yè)務(wù)邏輯通過(guò)可編程的P4語(yǔ)言實(shí)現(xiàn)，對(duì)外接口兼容軟件虛擬化網(wǎng)關(guān)，實(shí)現(xiàn)統(tǒng)一的擴(kuò)展性。可編程硬件網(wǎng)關(guān)相對(duì)于傳統(tǒng)X86軟件架構(gòu)，轉(zhuǎn)發(fā)性能提升數(shù)十倍，同時(shí)有效避免了大帶寬單流對(duì)單個(gè)CPU core的沖擊，整個(gè)雙11期間的流量洪峰在整個(gè)洛神軟硬件一體化架構(gòu)下，呈現(xiàn)出來(lái)的是“涓涓細(xì)流”。

穩(wěn)、穩(wěn)、穩(wěn) 阿里集團(tuán)核心業(yè)務(wù)100%運(yùn)行在公有云上，穩(wěn)定性是第一要素，容不得半點(diǎn)差錯(cuò)，不僅僅單個(gè)節(jié)點(diǎn)的穩(wěn)定性要做到極致，整個(gè)網(wǎng)絡(luò)架構(gòu)，解決方案層面也要保證絕對(duì)的穩(wěn)定，做到多重防護(hù)，萬(wàn)無(wú)一失。洛神平臺(tái)，架構(gòu)層面保證網(wǎng)絡(luò)通信的穩(wěn)定性，業(yè)務(wù)按AZ（Available Zone）部署，公網(wǎng)和跨域訪問(wèn)的網(wǎng)關(guān)在可用區(qū)內(nèi)集群部署，避免單點(diǎn)故障的影響，同時(shí)在可用區(qū)之間互為備份，避免可用區(qū)的故障。

圖9 洛神網(wǎng)關(guān)類(lèi)設(shè)備可靠性部署架構(gòu)

復(fù)雜流量模型 整個(gè)阿里巴巴經(jīng)濟(jì)體的業(yè)務(wù)系統(tǒng)非常復(fù)雜，不僅僅包括電商購(gòu)物系統(tǒng)，還包括螞蟻支付系統(tǒng)，還有大數(shù)據(jù)分析系統(tǒng)，菜鳥(niǎo)物流體系等等，不同的系統(tǒng)對(duì)網(wǎng)絡(luò)通信需求的要求也不相同，業(yè)務(wù)流量的優(yōu)先級(jí)也不一樣，有些對(duì)延時(shí)敏感，有些對(duì)帶寬要求高，有些對(duì)丟包敏感，這些紛繁復(fù)雜的業(yè)務(wù)如何在統(tǒng)一的底層云網(wǎng)絡(luò)中承載，對(duì)云網(wǎng)絡(luò)的技術(shù)平臺(tái)洛神提出了區(qū)別普通公有云租戶(hù)的不同挑戰(zhàn)。以阿里集團(tuán)在線業(yè)務(wù)和離線業(yè)務(wù)為例，離線業(yè)務(wù)主要就、是大數(shù)據(jù)，熟悉的人可能都比較清楚，大數(shù)據(jù)的出名的流量大戶(hù)，經(jīng)常會(huì)有一些突發(fā)的流量將物理網(wǎng)絡(luò)的帶寬占滿(mǎn)，導(dǎo)致丟包，而在線業(yè)務(wù)一般流量不大，但對(duì)時(shí)延和丟包敏感。這就要求云網(wǎng)絡(luò)支持流量等級(jí)區(qū)分，擁塞是優(yōu)先丟棄低優(yōu)先級(jí)的流量，保證離線和在線業(yè)務(wù)的和諧共處。

圖10 業(yè)務(wù)對(duì)網(wǎng)絡(luò)的差異需求

云網(wǎng)絡(luò)洛神平臺(tái)支持不同業(yè)務(wù)的QoS，對(duì)于大帶寬、丟包非敏感業(yè)務(wù)，設(shè)置通信報(bào)文低優(yōu)先級(jí)，突發(fā)流量不會(huì)導(dǎo)致高優(yōu)先級(jí)報(bào)文被丟棄，復(fù)雜的流量模型也能“和平共處”。

高效運(yùn)維 物理規(guī)律決定了沒(méi)有100%可靠的網(wǎng)絡(luò)，一方面阿里云網(wǎng)絡(luò)追求最高的可靠性，一方面遵循沒(méi)有永遠(yuǎn)不失效的單點(diǎn)邏輯這個(gè)規(guī)律，故障一定會(huì)發(fā)生，無(wú)法避免，但需要有故障發(fā)生時(shí)快速恢復(fù)，快速定位的能力，在雙11之前的各種壓測(cè)和故障演練之中，洛神平臺(tái)不斷的錘煉網(wǎng)絡(luò)運(yùn)維能力，做到故障快速監(jiān)控，快速恢復(fù)，快速定位。阿里云網(wǎng)絡(luò)洛神平臺(tái)的運(yùn)維，運(yùn)營(yíng)平臺(tái)，內(nèi)部叫齊天系統(tǒng)，這是一個(gè)分布式，大數(shù)據(jù)智能化運(yùn)維系統(tǒng)，通過(guò)大數(shù)據(jù)，AI分析能力，集合阿里云海量數(shù)據(jù)，實(shí)現(xiàn)故障的快速定位和逃逸。

圖11 阿里云齊天智能網(wǎng)絡(luò)系統(tǒng)架構(gòu)

通過(guò)底層網(wǎng)絡(luò)網(wǎng)絡(luò)和虛擬網(wǎng)絡(luò)數(shù)據(jù)流，日志，設(shè)備狀態(tài)等等數(shù)據(jù)信息，通過(guò)以blink為底座的大數(shù)據(jù)分析平臺(tái)，在業(yè)務(wù)方感知故障之前，快速判斷網(wǎng)絡(luò)的監(jiān)控狀態(tài)，以及快速識(shí)別故障的根因，實(shí)現(xiàn)故障的自動(dòng)逃逸。同時(shí)每種典型故障，都錄入到日常故障演練中，做到網(wǎng)絡(luò)運(yùn)維的真正高效，隨時(shí)可用。智能的網(wǎng)絡(luò)，也是阿里云洛神平臺(tái)保障雙11業(yè)務(wù)的一個(gè)利器，為雙11的平穩(wěn)保駕護(hù)航。

洛神還在不停的進(jìn)步，從最初的洛神1.0 DPDK網(wǎng)元演進(jìn)洛神2.0軟硬件一體化網(wǎng)元，網(wǎng)絡(luò)能力有了質(zhì)的提升，支撐了阿里集團(tuán)核心業(yè)務(wù)的100%上云，未來(lái)在彈性、開(kāi)放能力上會(huì)更進(jìn)一步，提供給用戶(hù)更加美好的體驗(yàn)。