今年春節期間,本應闔家團圓,但一場疫情讓全國人民繃緊了神經。伴隨著各地封城,有些工作人員仍奮戰在一線。
1月28日,大年初四,騰訊云團隊接到武漢市政務服務和大數據管理局電話,然后頓時進入“戰備”狀態。
由于與政府溝通需求非常多,團隊成員幾乎天天都要出門開會,以快速推進整合騰訊的醫療資源和健康服務。
而為應對激增的數據流,自1月29日起,騰訊云日均擴容云主機近1.5萬臺,八天總擴容超過10萬臺云主機,共涉及超百萬核的計算資源投入。
但在如此超高強度投入背后,是一群人的不眠不休。
據悉,很多騰訊云團隊成員基本都是凌晨三四點才回家、早上八九點又出門。其中有的人主動和家人隔離開,自己睡一間房。
2月7日早上,“武漢戰疫”小程序上線時,一位加班多天的團隊成員聽到女兒突然發燒了?!巴炅?,我把我女兒害了”。但好在是虛驚一場。
整體上,疫情期間,騰訊云支持了全國100多個城市的健康碼、防疫小程序等項目的快速上線和穩定運行,服務民眾數億,日均被調用數十億次。
與此同時,騰訊云還在全國各地的遠程辦公中發揮了重要作用。
2月3日,星期一,即春節后第一個開工的早晨。剛剛到8點,國內幾乎所有的遠程辦公軟件都崩了。
于是,在深圳騰訊會議“特別作戰室”中,很快聚集了有海量服務經驗的專家。
在徹夜鏖戰下,技術專家們一起用代碼攻克了多個高并發痛點。此后,不管行業其它軟件怎么“抖動”,騰訊會議再沒有崩過。
另外,為助力全球疫情防控,騰訊云也動作不斷。
比如騰訊健康新冠疫情模塊國際版的源代碼在Github對外開源;與臉書等共同發起了一項“全球開發者‘馬拉松’比賽”;通過企業微信為機構搭建“全球一線醫生交流平臺”。
而基于能在極端環境下“打勝仗”以及在國內外踐行“科技向善”,騰訊云在國際上受到了廣泛認可。
3月30日,騰訊成為聯合國全球合作伙伴,將為聯合國成立75周年提供全面技術方案。
其中騰訊會議、企業微信將為史上最大規模的全球對話提供遠程會議服務,在線舉辦數千場會議活動。
這意味著,騰訊云擊敗了一眾國內外強力對手。那么,騰訊云憑什么?
首先,這得益于騰訊在全球高覆蓋率的會議客戶端、數據中心,以及自研的領先音視頻實時通信和同傳技術。
但更重要的是,在核心系統支持上,騰訊會議遠程辦公采用的是TDSQL分布式數據庫。
整體上,經過今年疫情健康碼、防疫小程序、騰訊會議以及微信支付等高并發場景磨煉,TDSQL數據庫已能輕松應用對PB級的海量數據場景,并且在高可用、水平擴展等方面表現突出。
那么,騰訊云TDSQL數據庫是如何煉成的?
01起風
上世紀九十年代,數據庫發展處于萌生狀態。1995年,瑞典公司MySQL AB大步向前,發布了自研的MySQL數據庫系統。
在接下來的兩年中,MySQL被移植到不同的平臺,同時加入了不少新的特性。到1998時,MySQL能夠運行在10多種操作系統之上。
千禧年之際,MySQL AB推出了MySQL 4.0 Alpha版本。這一版本解決了不支持事務操作、子查詢、集成存儲引擎等缺陷,而且在公開測試中已非常穩定。
此后,MySQL一時風頭無倆,并逐步崛起成為全球最大的開源數據庫。而這一動向被剛剛起步的國內互聯網企業捕捉到了。
2002年,鑒于計費產品處于起步階段,騰訊的技術團隊選擇完全基于開源MySQL構建其數據庫體系。
然而,隨著公司業務突飛猛進,計費等敏感業務需應對更高要求的可用性、核心數據不丟失、核心交易數據一致等問題。
于是,2007年,騰訊數據庫團隊自研了一款數據庫產品,即TDSQL的前身。而這款數據庫極大支撐了當時的開放平臺浪潮。
比如2008年,一家叫做“五分鐘”的公司制作了一款名叫“開心農場”的游戲,然后一度掀起全民“偷菜”熱潮。
在開心農場用戶破億、日活躍玩家達數千萬時,幾乎“家家戶戶”都定好鬧鐘,凌晨兩三點爬起來在QQ空間“收菜”,而且樂此不疲。
為保障運行穩定,騰訊啟動了一個7*24高可用數據庫服務項目。但一遇到高并發情況時,服務器還是很容易“掉線”,然后留下一群玩家瘋狂吐槽。
然而,轉機很快來臨。
2010年,騰訊正式宣布開放戰略,下定決心把自身技術和產品全面對外開放。
此后,在QQ空間開放平臺上,游戲開發者、應用開發者從初步試探,到逐步認可,再到蜂擁而至。
與此同時,騰訊的社交、QQ支付、廣告等能力也在更多應用生態中生根發芽。這時騰訊數據庫支撐的“騰訊計費”,已實現超高并發和超短時延。
但在社交游戲風靡下,服務器和數據庫的需求也應聲飛漲。為支持用戶“偷菜”,騰訊曾在短短一個月內,就額外采購和上架了幾千臺服務器。
在成本不斷增加下,騰訊也開始對模糊的“云服務”架構進行前沿探討,并于當年正式成立了十幾人的云平臺部。
可沒想到在一些爆款游戲推動下,2010年底,騰訊開放平臺上已有近3000家客戶,應用場景也越來越廣泛。
不過,當時騰訊選用的數據庫方案,在技術層與業務層耦合比較深,無法很好的為合作伙伴提供服務。
于是,技術團隊又開始研發一款金融級數據庫,以解決高可用、數據一致性、水平伸縮等問題,而讓業務系統只需要關注業務邏輯。
2012年,騰訊基于“開源定制化+自研”策略,構建出更加通用的數據庫產品,并正式命名為TDSQL。
此后,騰訊開始在內部規模推廣使用TDSQL數據庫,比如應用在“騰訊充值”、“米大師”等。
起初,騰訊一直沒有將TDSQL數據庫對外做商業化。但兩年后,這一局面發生了變化。
02云涌
在移動互聯網發展大潮下,數據開始迸發式增長。而伴隨著云計算的迅速發展及概念普及,互聯網企業逐漸紛紛上“云”。
時至2014年上半年,騰訊的云業務開始起量,并與富途證券、泰康保險等公司陸續達成了合作。但這些合作仍然是比較“淺層”的互聯網業務,不涉及核心系統的改動。
可很快,騰訊云TDSQL數據庫就迎來了首次證明自己的重要機會。
2014年9月,騰訊技術工程事業群(TEG)發出一則信息:騰訊投資的微眾銀行拿到了牌照,經過內部討論,決定讓整個銀行的系統都使用云和分布式架構!
緊接著,騰訊高層傳達CEO馬化騰的要求,“不惜一切代價支持微眾銀行?!?/p>
根據開發時間表,微眾銀行的分布式核心架構最晚在12月底就要上線。
然而,首先在時間節點上,當時只剩三個月,而且中間還有一個“漫長”的國慶節假期。
其次,在成員幾乎都是“小白”情況下,團隊既要把騰訊公有云的技術變成銀行內部使用的私有云,又要把一個互聯網基因的云改造成符合國家監管的、適合金融行業的云。
另外,由于監管要求“銀行必須使用完全屬于自己的數據中心”,團隊還需要把騰訊云的數據中心拆分出來,裝進微眾銀行的機房。
于是,有團隊成員吐槽,“這種難度相當于一個只做過民用汽車的工廠來做一輛坦克?!?/p>
但所幸的是,騰訊此前有十幾年增值業務、計費業務、Q幣之類的實戰磨練,TDSQL數據庫已足夠“堅挺”。
因此,技術人員只要加以部分優化改造,就能基本滿足金融級別的要求。這最終幫助騰訊云團隊贏下了與時間的賽跑。
2014年12月20日,在微眾銀行的機房里,銀行級私有云順利運轉。隨即,微眾銀行馬不停蹄地部署分布式軟件系統。
這使得微眾銀行成為全球首家采用分布式數據庫解決方案的銀行。
而通過使用TDSQL數據庫,微眾銀行運維表現出色。比如2018年每個賬戶每年的IT運維成本降至3.6元,僅是傳統銀行的1/10。
目前,微眾銀行的數據庫實例個數已達2000以上,整體數據庫規模達到PB級容量,承載了數百個銀行核心系統,日金融交易峰值達到3.6億次以上。
不過,微眾銀行畢竟是自家產品,即便騰訊云順利“拿下”在行業說服力也不夠。等待騰訊云要攻下的,是更高的“山頭”。
伴隨著國內政府職能的數字化演進,騰訊云不久后又獲得了首次大展拳腳的機會。
2017年,數字廣東要組建“敢死隊”,并選擇TDSQL作為核心系統數據庫。
要知道,此前政府為數字廣東至少投入了上千人。而騰訊云的技術團隊介入后,最開始只有二十多個人。
當時騰訊云團隊面臨的真實寫照是,“深入敵后、孤軍作戰、沒有后援,而且務必要打勝仗”。
但面對騰訊云乃至廣東省數字改革的“一號工程”,團隊成員每天加班加點不在話下,深夜兩三點回到家、第二天一早又準點出現也是家常便飯。
在項目攻堅的非常重要關頭,由于已經太久沒看到自己的丈夫,一位員工的家屬找到了辦公室,重重地把一紙離婚協議書拍在了桌子上…
最終,經過一年多全力投入,騰訊云團隊助力廣東建成了“數字政府”。
此后,廣東省政府的網上能力從2016年的全國第九,快速提升到了2018年的全國第一。
03破浪
近年來,云計算的發展已經日新月異,同時不斷滲透各產業互聯網領域。這催化出新的巨大發展機遇。
因此,嗅覺靈敏的國內外科技企業,紛紛加碼布局云計算。而長期主攻C端市場的騰訊,也在醞釀一場大變革。
2018年9月,騰訊高層破天荒的開了整整三天閉門會。所有人上交手機后,圍著桌子坐成一個圓圈。每人半小時發言,闡述自己的業務構想。
會議最后,騰訊總辦決定開展公司史上第三次組織架構變革。而其中十分重要的內容之一,就是成立云與智慧產業事業群(CSIG)。
這是騰訊成立20年來,第一次出現完全面向B端的大業務單元。
而作為CSIG的旗艦業務,騰訊云無疑是騰訊To B進展最重要的風向標,而TDSQL數據庫是騰訊云的堅實軟件“底座”。
對騰訊云來說,要在產業物聯網上有所建樹,就要把最硬的“骨頭”啃下來,即傳統銀行金融行業。
盡管舊有的習慣、理念和模式帶來負面影響,但在“ALL IN產業互聯網”的決心和積極推進執行情況下,騰訊云逐步實現了破局。
2019年2月,騰訊云采用TDSQL數據庫,傾全力在短短40多天內,幫助建設銀行快速搭建出了一個符合公有云標準的金融級生態云平臺——“建行云”。
在驗收后,建設銀行即與騰訊簽署戰略合作協議,宣布共同搭建金融科技創新平臺。
“建行云”的標桿價值便決定,這只是騰訊云的一個開始。緊接著,中國人保、中國平安、深交所旗下深證通等等,紛紛與騰訊云達成了戰略合作。
但這些合作仍然停留在“淺層”的互聯網金融及外圍業務上,沒有觸達“牽一發而動全身”的核心系統。
不過,騰訊云很快就啃下了那塊最硬的“骨頭”。
2019年8月16日下午6點,農商行第一股張家港行掛牌停業,進行數據庫系統升級。
升級緣由是其Sybase數據庫早已出現舊架構的瓶頸,高峰時段無法滿足用戶請求量。
這次張家港行的升級方案,一改過往國內傳統銀行都采用外國產品的境況,而選擇了騰訊云TDSQL數據庫解決方案。
僅48小時后,張家港行完成了數據庫割接,最終將銀行核心系統跑在騰訊云TDSQL數據庫上。這是國內銀行傳統核心系統首次應用國產分布式數據庫。
而通過這次升級,張家港行綜合成本降低75%以上。但成本降低只是一方面,效率提升更為明顯。
TDSQL核心數據庫可讓張家港行實現高頻賬戶類交易耗時在300毫秒之內,查詢類交易耗時在100毫秒之內,20秒內可以完成一萬筆批量代發代扣業務。
此外,在實測中,TDSQL數據庫負載均保持在10%以下,余量可以滿足張家港行未來五到十年業務發展需求。
對于騰訊云的最終“登頂”,有業內人士認為:這是一次對于中國銀行業的標志性事件。
而回過頭看,從微眾銀行到數字廣東,從建設銀行到張家港農商銀行,騰訊云有自己的夢想,并且在這條十分艱難的道路上無聲堅守、勇敢攀登。
04升維
在數據爆炸式增長的當前時代,傳統數據庫已經越來越不能適應云在擴展性、可靠性和規?;膬瀯荨?/p>
因此,數據庫正朝著“云+數據庫”的方向演進。
據調研機構Gartner的數據,2021年,云數據庫在整體數據庫市場中的占比將首次達到50%。到2023年時,這個比例會進一步升至75%。
然而,在云數據庫迅速發展同時,云原生數據庫正成為重要的發展趨勢。
所謂云原生數據庫,可以理解為傳統的數據庫搬到云提供云數據庫服務,是一種搬家模式,而云原生數據庫提供的是一種“拎包入住”的方式。
騰訊云副總裁李綱指出,“云數據庫的發展,目前正在經歷從第一階段數據庫上云,到第二階段從云數據庫到云原生數據庫的變革?!?/p>
于是,為讓用戶更方便的“拎包入住”,12月19日,騰訊云發布八款云原生系列產品,聚焦企業不同使用場景。
其中,TDSQL Serverless是重頭戲之一。
作為國內首款云原生MySQL數據庫,TDSQL Serverless能為騰訊云上超過100萬的企業和開發者提供一站式云數據庫服務。
據悉,騰訊云原生數據庫三大特點是融合、自治、效用,能對數據庫進行全生命周期智能自治管理的優化與調優,及實現按真實使用量計費的商業模式。
由于計算存儲均按使用計費、不用不付費,TDSQL Serverless相比7×24全時運轉的數據庫,使用成本降低達70%。
當然,云原生并不是數據庫的唯一發展趨勢。
目前,國內新基建、產業互聯網不斷推進,加快了云與數據庫跨技術邊界的超融合發展速度。
預計2021年,中國超融合市場的增長率將達到25%。總體上,超融合市場仍處于成長期,將在明年競爭更為激烈。
具體而言,數據庫的超融合包括,底層多模多引擎、開發者接口以及軟硬一體交付和全鏈路生態的融合。
另一方面,在云計算、數據庫行業一定程度陷入同質化競爭情況下,企業樹立高品質發展路線、實行品牌戰略升級,在客觀上也已變得越來越重要。
于是,騰訊云又籌劃了一場新的變革。
12月24日,騰訊云正式宣布其數據庫品牌TDSQL的全新戰略升級計劃及未來發展戰略。
未來,騰訊云的TDSQL、TBase、CynosDB三大產品線將統一升級為“騰訊云企業級分布式數據庫TDSQL”。
在整體云原生架構的基礎之上升級后的騰訊云TDSQL品牌將涵蓋多引擎融合的完整數據庫產品體系。
其中包括,金融級分布式產品序列TDSQL,可應用于百P級復雜場景的分析型序列TDSQL-A,以及單體實例可支撐百T百萬QPS的云原生序序列TDSQL-C等。
目前,騰訊數據庫共有20多款產品,每年有超過1000次產品升級迭代,服務1000多家政府客戶和2000多家金融客戶。
為解決多引擎共存下對云數據庫的開發與應用選擇帶來的挑戰,騰訊云將通過AI智能調度及Serverless等方案,來徹底實現多引擎的統一標準化服務。
此外,為與合作伙伴協力建設全面開放的國產數據庫生態體系,騰訊云還發布了“國產數據庫加速器產業聯盟計劃”,并成立了數據庫合作生態扶持基金。
對于將來布局,騰訊云總裁邱躍鵬表示,騰訊云將會在數據庫的賽道上持續加碼。
“同時整合騰訊在QQ、微信等服務十幾億C端用戶的能力、經驗、資源,為B端客戶持續提供好用、易用、安全的數據庫產品?!?/p>
顯而易見,在不斷完成行業應用縱向升級和橫向“擴幅”的騰訊云,如今又在積極推動應用“升維”。
05遠征
正如MySQL最初發布時,曾不受Oracle等數據庫用戶待見一樣。作為入局產業互聯網的新“選手”,曾有人詬病騰訊的ToC“基因”太濃。
但是,騰訊云通過不斷的努力實踐證明:如果你相信基因,就應該相信進化。
在短短六年時間內,騰訊云TDSQL數據庫已先后完成互聯網企業、民生政務、傳統行業應用、金融核心業務幾個階段的應用“闖關”。
與此同時,在戰略調整及TDSQL數據庫支撐下,騰訊云的規模正在迅速壯大,甚至一些券商預測云服務馬上將成為騰訊新的支柱板塊。
回顧過往,騰訊云所取得的成績也充分說明:做企業服務與做用戶產品并不相矛盾沖突,過去積累的經驗同樣可以成為新業務的養分。
在曾經的數字廣東項目上,騰訊云研發團隊的攻堅微信群名口號,包括“血戰溫泉關”、“突破天險臘子口”、“騎兵連進攻”、“野狼團”等。
這些名字更像是研發人員“走夜路唱歌”,給自己壯膽打氣。因為在孤獨和迷茫的“遠征”上,往往需要的是一份由衷信念。
最終結果是,數字廣東項目成功落地,為騰訊云在政務行業立下了毋庸置疑的口碑。此后,也很少有人再說騰訊沒有To B基因了。
這對騰訊云乃至國產數據庫的發展來說,都是一個好的開始。因為數據庫作為核心基礎技術之一,對于國家金融和信息產業等有重要意義。
而在數據庫安全可控發展趨勢下,國內企業和科研機構歷經十數年的研發演進,已獲得不少里程碑式發展。
比如11月發布的Gartner數據庫魔力象限報告中,包括騰訊在內的國產數據庫廠商占據三席。這標志著國內數據庫發展進入全新階段。
未來,隨著更緊密的產學研結合、科技與傳統產業融合,安全可控的國產數據庫將獲得進一步發展。
不過眼下挑戰也仍有很多,其中包括國產數據庫在技術、人才、工業生態及商業化推進等各方面,都還有待完善和提高。
另外,國外廠商仍占據我國數據庫市場80%以上份額。在主流的關系型數據庫市場中,四家國外廠商共計占六成。
由于數據庫是一個需要下游配套的復雜系統,Oracle、IBM多年來大舉收購了ERP等下游行業公司,建立起完整的生態系統。而各種辦公系統都依托他們獨自開發,互不兼容。
因此,騰訊云TDSQL等國產數據庫面臨的最大挑戰,大抵就是在技術破局后,如何搭建自己的生態系統。
企業自身的艱苦奮斗固然重要,但在歷史進程中選對立場,有時才是決定性因素。
目前,云計算無疑已經走在時代前沿,任何有互聯網野心的企業,幾乎都在紛紛轉投分布式云數據庫。
亞馬遜、谷歌等數據庫新玩家,正在憑借云+分布式數據庫不斷侵吞甲骨文的地盤。而在國內,騰訊等互聯網企業正在全面進軍數據庫基礎技術領域。
毫無疑問,騰訊云的“遠征”,已經揚帆起航。
原文標題:一朵云的“乘風破浪”
文章出處:【微信公眾號:科工力量】歡迎添加關注!文章轉載請注明出處。
責任編輯:haq
-
云計算
+關注
關注
39文章
7852瀏覽量
137662 -
騰訊
+關注
關注
7文章
1664瀏覽量
49527 -
騰訊云
+關注
關注
0文章
214瀏覽量
16824
原文標題:一朵云的“乘風破浪”
文章出處:【微信號:guanchacaijing,微信公眾號:科工力量】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論