當(dāng)前我們邁入了全面的數(shù)字經(jīng)濟時代,一切都變得智能起來。
因智能而簡單,一切都變得容易起來。就如阿里巴巴一樣,讓天下沒有難做的生意,成就了一個橫跨商業(yè)、金融、物流、大數(shù)據(jù)、云計算等各個領(lǐng)域的獨特數(shù)字經(jīng)濟體,令全球矚目。
“大數(shù)據(jù)好比石油,算力好比發(fā)動機,云原生企業(yè)級數(shù)據(jù)湖就好比一輛F1,有機融合了大數(shù)據(jù)與算力,助力企業(yè)用戶與互聯(lián)網(wǎng)用戶奔馳在遼闊的應(yīng)用大地。”
來自阿里云智能存儲產(chǎn)品資深總監(jiān)陳起鯤(Alex)的一個很有意思的比喻,讓大家對數(shù)據(jù)湖有了新的好奇。
早在十年前紐約Hadoop World大會上就誕生的數(shù)據(jù)湖概念,現(xiàn)在企業(yè)全面實現(xiàn)智慧化、數(shù)智化轉(zhuǎn)型,為什么還需要數(shù)據(jù)湖?
重新認識數(shù)據(jù)湖,從互聯(lián)網(wǎng)到企業(yè)級的演進
我們要重新認識數(shù)據(jù)湖,不妨簡單捋一捋數(shù)據(jù)湖的前世今生。
在2000年之前的數(shù)據(jù)庫時代,以IBM+Oracle+EMC為“鐵三角”面向大型制造業(yè)、銀行等內(nèi)部系統(tǒng),傳統(tǒng)數(shù)據(jù)庫的處理能力有限,而且價格還高昂。
隨著2000年后互聯(lián)網(wǎng)的蓬勃發(fā)展,由Google帶出來了影響頗深的GFS、BigTable和MapReduce,讓業(yè)界清楚了分布式存儲、調(diào)度與計算模型的樣子。阿里巴巴飛天系統(tǒng)也成為分布式技術(shù)體系中的一員,突破傳統(tǒng)數(shù)據(jù)庫的藩籬,開始實現(xiàn)數(shù)據(jù)庫的低成本大規(guī)模擴張。
2010年,Pentaho創(chuàng)始人兼CTO詹姆斯·狄克遜(James Dixon)首次提出數(shù)據(jù)湖概念,Pentaho同期發(fā)布了開源框架的Hadoop第一版。
在這個時期,企業(yè)級存儲領(lǐng)域的IBM、EMC等也推出了數(shù)據(jù)湖解決方案,其核心基于分布式文件系統(tǒng)建立的數(shù)據(jù)存儲方式,橫向擴展比較強大,實現(xiàn)了集中統(tǒng)一管理,但是在云原生方面沒有天然的優(yōu)勢。
與此同時,基于HDFS系統(tǒng)帶來的Hadoop和Spark開源生態(tài)構(gòu)建,在一定程度上推進了企業(yè)數(shù)據(jù)湖的進程。后期EMR開源數(shù)據(jù)湖,實現(xiàn)云上托管Hadoop數(shù)據(jù)湖架構(gòu),只是存儲和計算一直耦合在一起,在穩(wěn)定性、擴展性、成本經(jīng)濟性方面依然受限,難以深入企業(yè)級行業(yè)用戶。
一方面,來自開源軟件本身能力的限制, 傳統(tǒng)數(shù)據(jù)湖技術(shù)無法滿足企業(yè)用戶在數(shù)據(jù)規(guī)模、存儲成本、 查詢性能以及彈性計算架構(gòu)升級等方面的需求, 也無法達到數(shù)據(jù)湖架構(gòu)的理想目標(biāo)。
另一方面,在這個時期,企業(yè)用戶有了更高的要求,需要更低廉的數(shù)據(jù)存儲成本、更精細的數(shù)據(jù)資產(chǎn)管理、可共享的數(shù)據(jù)湖元數(shù)據(jù)、 更實時的數(shù)據(jù)更新頻率以及更強大的數(shù)據(jù)接入工具。
在云原生數(shù)據(jù)湖還沒有出現(xiàn)之前,這都屬于數(shù)據(jù)湖1.0階段。
隨著云原生時代的到來,借助公共云的基礎(chǔ)設(shè)施,將數(shù)據(jù)湖平臺的優(yōu)勢更廣泛地展現(xiàn)了出來,用戶的技術(shù)選擇也更為豐富。HDFS也逐漸被更強大的云存儲系統(tǒng)如對象存儲OSS所取代,對象存儲OSS成為了數(shù)據(jù)湖的存儲基礎(chǔ)設(shè)施。對象存儲OSS的99.995%的可用性SLA、海量擴展能力、冷熱存儲類型、RESTful訪問、HDFS兼容以及計算引擎生態(tài)融合,給客戶帶來新的價值,包括:存儲更加穩(wěn)定可靠、海量數(shù)據(jù)規(guī)模支持、數(shù)據(jù)冷熱分層成本優(yōu)化、在線應(yīng)用通過RESTful API直接寫入數(shù)據(jù)即可被計算引擎分析,無需數(shù)據(jù)遷移。
數(shù)據(jù)湖的引擎也豐富起來,包括了之前Hadoop和Spark的生態(tài)引擎、公共云廠商的數(shù)據(jù)湖引擎。在統(tǒng)一元數(shù)據(jù)服務(wù)模式下,升級之后的數(shù)據(jù)湖架構(gòu)由一個核心存儲系統(tǒng)+多個引擎共同構(gòu)成。
基于此, 阿里云也推出了云原生數(shù)據(jù)湖體系,由對象存儲OSS、 數(shù)據(jù)湖構(gòu)建Data Lake Formation、 E-MapReduce、Data Lake Analytics等產(chǎn)品強強組合,實現(xiàn)了存儲與計算分離的創(chuàng)新架構(gòu),立足企業(yè)用戶生產(chǎn)環(huán)境需求,整體構(gòu)建湖存儲、湖加速、湖管理、湖計算的云原生數(shù)據(jù)湖解決方案。
從而,阿里云的云原生數(shù)據(jù)湖體系的正式建立,也標(biāo)志著數(shù)據(jù)湖發(fā)展進入2.0階段。數(shù)據(jù)湖2.0最大的變化就是對于行業(yè)定位有了新的內(nèi)涵,開始聚焦在新型互聯(lián)網(wǎng)應(yīng)用承載生產(chǎn)環(huán)境的創(chuàng)新架構(gòu),而不再是僅僅面向分析環(huán)境,同時以PB、EB級存儲規(guī)模為基礎(chǔ),實現(xiàn)統(tǒng)一元數(shù)據(jù)服務(wù),擁有加速引擎、分析引擎等多種能力。
事實上,來自互聯(lián)網(wǎng)數(shù)據(jù)、移動數(shù)據(jù)、社交媒體數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)的規(guī)模,遠遠大于傳統(tǒng)數(shù)據(jù)中心產(chǎn)生的數(shù)據(jù),數(shù)據(jù)湖在公有云廠商領(lǐng)域逐漸發(fā)揮出更大的行業(yè)影響與輻射力,從互聯(lián)網(wǎng)發(fā)展起來的數(shù)據(jù)湖逐漸進入企業(yè)用戶核心的生產(chǎn)環(huán)境,必然在大數(shù)據(jù)時代發(fā)揮出前所未有的作用。
因此,阿里云推出的業(yè)內(nèi)首個云原生企業(yè)級數(shù)據(jù)湖解決方案,有著非常重要的行業(yè)引領(lǐng)性。既可以提供EB級數(shù)據(jù)存儲與分析能力,又可以一站式實現(xiàn)湖存儲、湖加速、湖管理、湖計算的數(shù)據(jù)湖整體構(gòu)建,助力企業(yè)的數(shù)據(jù)挖掘與分析。因此,對于人工智能、物聯(lián)網(wǎng)、自動駕駛等擁有海量數(shù)據(jù)場景的新興行業(yè),有著非常大的吸引力。
釋放數(shù)據(jù)價值,數(shù)據(jù)湖2.0帶給企業(yè)十大好處
有了對數(shù)據(jù)湖的前世今生的了解,自然對數(shù)據(jù)湖的定義也就更為明確了。相對來說,在《云原生數(shù)據(jù)湖解決方案藍皮書》(Alibaba Cloud Data lake storage solution)中的一段說明比較適合當(dāng)下數(shù)據(jù)湖的普遍發(fā)展情況。
數(shù)據(jù)湖的核心定義就是一個存儲平臺,就是一種以集中式存儲各種類型數(shù)據(jù),提供彈性的容量和吞吐能力,能夠覆蓋廣泛的數(shù)據(jù)源,支持多種計算與處理分析引擎,并可以直接對數(shù)據(jù)進行訪問的統(tǒng)一存儲平臺。
那問題就來了,數(shù)據(jù)湖發(fā)展到現(xiàn)在,到底可以為企業(yè)用戶帶來哪些好處?
在阿里云等公共云廠商的推動下,數(shù)據(jù)湖已經(jīng)發(fā)展到了2.0階段,備受業(yè)界矚目的云原生數(shù)據(jù)湖優(yōu)勢突出,帶給了企業(yè)用戶十大好處,值得一看。
一是,針對數(shù)據(jù)價值挖掘有著更強大的功能。在實現(xiàn)數(shù)據(jù)分析、機器學(xué)習(xí),數(shù)據(jù)訪問和管理等細粒度的授權(quán)、審計方面,數(shù)據(jù)湖的發(fā)揮更為淋漓盡致。
二是,消除了數(shù)據(jù)孤島的現(xiàn)象,沒有數(shù)據(jù)格式類型的限制,所有數(shù)據(jù)皆可以流入數(shù)據(jù)湖。用戶的數(shù)據(jù)產(chǎn)生后,可以按照數(shù)據(jù)的原始內(nèi)容和屬性,直接存儲到數(shù)據(jù)湖,無需在數(shù)據(jù)流入數(shù)據(jù)湖之前對數(shù)據(jù)進行任何的加工或結(jié)構(gòu)化處理。
三是,滿足用戶大規(guī)模數(shù)據(jù)存儲的彈性擴容。支持當(dāng)前用戶復(fù)雜的數(shù)據(jù)類型,包括結(jié)構(gòu)化數(shù)據(jù),如關(guān)系型數(shù)據(jù)庫中的表;半結(jié)構(gòu)化數(shù)據(jù),如CSV、JSON 、XML、日志等;非結(jié)構(gòu)化數(shù)據(jù),如電子郵件、文檔、PDF、圖形、音頻、視頻等。數(shù)據(jù)湖都可以實現(xiàn)PB級、EB級的大規(guī)模存儲部署。
四是,實現(xiàn)了計算與存儲分離。針對業(yè)界公認的未來大方向,存儲與計算分離架構(gòu)提供了獨立的擴展性,可以做到數(shù)據(jù)入湖的同時,計算引擎按需擴容,更關(guān)鍵的是存算分離解耦方式帶來了更好的性價比。需要指出的是,數(shù)據(jù)湖所說的計算存儲分離不是數(shù)據(jù)處理分析引擎和磁盤在不同主機上,而是數(shù)據(jù)內(nèi)容存儲和數(shù)據(jù)處理分析引擎的分離。
五是,數(shù)據(jù)合規(guī)加密,提升了數(shù)據(jù)安全性。以阿里云企業(yè)級云原生數(shù)據(jù)湖為例,實現(xiàn)了端到端加密,本地數(shù)據(jù)加密后再傳輸?shù)皆粕希缓髷?shù)據(jù)落盤再加密,實現(xiàn)了云上全鏈路的加密模式,同時集成國密。在數(shù)據(jù)加密的基礎(chǔ)上,針對用戶內(nèi)部人員的操作日志都留存,統(tǒng)一的權(quán)限管理,強化了操作合規(guī)性與規(guī)范化。
六是,基于云存儲系統(tǒng)的基礎(chǔ)架構(gòu),高可靠性突出。比如作為企業(yè)級云原生數(shù)據(jù)湖的統(tǒng)一存儲層,阿里云對象存儲OSS基于12個9的持久性設(shè)計,提供最高99.995%的可用性SLA,可存儲任意規(guī)模的數(shù)據(jù),可對接業(yè)務(wù)應(yīng)用、各類計算分析平臺,完全滿足企業(yè)用戶基于OSS構(gòu)建云原生的數(shù)據(jù)湖。
七是,更低的TCO帶來了更好的經(jīng)濟性,相對于HDFS分布式文件系統(tǒng)(Hadoop Distributed File System)來說,公共云的存儲系統(tǒng)有著更好的成本效應(yīng)。比如阿里云的OSS可以存儲海量小文件,通過冷熱分層、高密度存儲、高壓縮率算法等創(chuàng)新技術(shù)的結(jié)合,極大降低單位存儲成本,阿里云OSS歸檔存儲列表價格為0.033元/GB。
八是,實現(xiàn)計算引擎的云原生化,基于OSS數(shù)據(jù)源的EMR大數(shù)據(jù)計算環(huán)境,結(jié)合Hive、Spark等分析引擎,可以更好地利用彈性計算資源,體現(xiàn)出計算彈性的價值。
九是,實現(xiàn)更好的數(shù)據(jù)開發(fā)與治理能力,數(shù)據(jù)湖結(jié)合云上的數(shù)據(jù)開發(fā)治理平臺DataWorks,可以很好地應(yīng)對數(shù)據(jù)湖的元數(shù)據(jù)治理、數(shù)據(jù)集成、數(shù)據(jù)開發(fā)等問題,提升企業(yè)數(shù)據(jù)開發(fā)與治理的敏捷性與創(chuàng)新力。
十是,助力企業(yè)用戶業(yè)務(wù)發(fā)展的決策,有著更直接的意義與效果。依托數(shù)據(jù)湖生命周期重要組成部分,即:數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)分析和數(shù)據(jù)存儲,不僅可以應(yīng)對多樣化數(shù)據(jù)爆發(fā)式增長,同時可以從中獲得數(shù)據(jù)價值的更好洞察,幫助組織或企業(yè)做出更多靈活的、有利于業(yè)務(wù)成長的決策。
隨著大數(shù)據(jù)與云計算技術(shù)發(fā)展的推動,數(shù)據(jù)湖(Data Lake)被大家越來越接受的同時,也帶來了大家對數(shù)據(jù)湖價值的全新認識。十大好處,可能還不能完全概括完數(shù)據(jù)湖的優(yōu)勢。
構(gòu)建開放、靈活、可擴展的企業(yè)級統(tǒng)一數(shù)據(jù)管理和分析平臺,數(shù)據(jù)湖將企業(yè)內(nèi)、外部數(shù)據(jù)隨需關(guān)聯(lián),打破了數(shù)據(jù)的系統(tǒng)界限。這對于處在數(shù)字化轉(zhuǎn)型關(guān)鍵時期的任何企業(yè)來說,都是非常重要而有意義的選擇。
與傳統(tǒng)大數(shù)據(jù)解決方案不同的是,云原生數(shù)據(jù)湖基于下一代數(shù)據(jù)湖架構(gòu),可直接接入業(yè)務(wù)生產(chǎn)中心,如業(yè)務(wù)系統(tǒng)中的原始數(shù)據(jù)、日志數(shù)據(jù)等。數(shù)據(jù)可通過互聯(lián)網(wǎng)直接入湖,無需經(jīng)過中間處理,提升業(yè)務(wù)效率100%,驅(qū)動企業(yè)IT系統(tǒng)實現(xiàn)從成本中心轉(zhuǎn)型為創(chuàng)新中心。
就此,阿里云的云原生企業(yè)級數(shù)據(jù)湖解決方案采用了存儲計算分離架構(gòu),基于阿里云對象存儲OSS構(gòu)建,并與阿里云數(shù)據(jù)湖分析Data Lake Analytics(DLA)、數(shù)據(jù)湖構(gòu)建Data Lake Formation(DLF)、E-MapReduce(EMR)等計算引擎無縫對接,兼容豐富的開源計算引擎生態(tài),可滿足大數(shù)據(jù)系統(tǒng)統(tǒng)一存儲、海量數(shù)據(jù)規(guī)模,更可靠、更靈活、更安全。
阿里云對于數(shù)據(jù)湖的“企業(yè)級”定義,在于數(shù)據(jù)湖從企業(yè)用戶某個部門的分析引擎定位,成為了生產(chǎn)環(huán)境中的大數(shù)據(jù)“基石”。
行業(yè)落地開啟“加速度”,數(shù)據(jù)湖的to B春天來了
當(dāng)前,對于任何一個企業(yè)的數(shù)字化轉(zhuǎn)型和可持續(xù)發(fā)展來說,數(shù)據(jù)湖起著至關(guān)重要的作用已經(jīng)得到了眾多行業(yè)的認同。
一方面,利用數(shù)據(jù)湖智能分析、數(shù)據(jù)可視化等技術(shù),實現(xiàn)了數(shù)據(jù)共享、日常報表自動生成、快速和智能分析,滿足企業(yè)各級數(shù)據(jù)分析應(yīng)用需求。
另一方面,深度挖掘數(shù)據(jù)價值,助力企業(yè)數(shù)字化轉(zhuǎn)型落地。實現(xiàn)了數(shù)據(jù)的目錄、模型、標(biāo)準(zhǔn)、認責(zé)、安全、可視化、共享等管理,實現(xiàn)數(shù)據(jù)集中存儲、處理、分類與管理,實現(xiàn)報表生成自動化、數(shù)據(jù)分析敏捷化、數(shù)據(jù)挖掘可視化,實現(xiàn)數(shù)據(jù)質(zhì)量評估、落地管理流程。
全球云觀察分析認為,基于云原生的優(yōu)勢,企業(yè)級云原生數(shù)據(jù)湖帶來的行業(yè)變革,將會是一個持久的、深入的過程。
目前來看,阿里云的云原生數(shù)據(jù)湖,已經(jīng)在多個行業(yè)中實現(xiàn)了廣泛落地,這在很大程度上為企業(yè)級行業(yè)領(lǐng)域的數(shù)據(jù)湖落地開啟了“加速度”。
從當(dāng)前阿里云數(shù)據(jù)湖的最佳實踐總結(jié)來看,可以為企業(yè)行業(yè)領(lǐng)域提供主要五大解決方案,包括了基于EMR開源生態(tài)和云原生服務(wù)構(gòu)建數(shù)據(jù)湖、云原生數(shù)據(jù)湖分析(DLA)方案、構(gòu)建分層模式混合數(shù)據(jù)湖、海量數(shù)據(jù)交互式查詢解決方案,以及基于數(shù)據(jù)湖打造機器學(xué)習(xí)能力。
在廣告行業(yè),針對精準(zhǔn)投放質(zhì)量,通過什么渠道推廣給什么類型的人,通過數(shù)據(jù)湖的分析引擎來實現(xiàn)。
比如Yeahmobi是一家技術(shù)驅(qū)動發(fā)展的國際化智能營銷服務(wù)公司,致力于為客戶提供精準(zhǔn)的全球營銷推廣服務(wù)。針對Yeahmobi在全球業(yè)務(wù)中需要統(tǒng)一治理數(shù)據(jù)資產(chǎn),同時需要提供高并發(fā)、高彈性的存儲服務(wù)需求,Yeahmobi基于阿里云構(gòu)建了一站式的數(shù)據(jù)湖解決方案。
Yeahmobi每天執(zhí)行上百個按量超大規(guī)模EMR集群,數(shù)據(jù)量讀取超百TB,支撐全球計算分析業(yè)務(wù)。通過基于阿里云數(shù)據(jù)湖解決方案的數(shù)據(jù)采集、數(shù)據(jù)存儲和數(shù)據(jù)分析的全周期模式,助力Yeahmobi實現(xiàn)了時間、成本、安全、計算效率等方面的改善,使得綜合運行成本降低大約 50%。
在智慧教育行業(yè),數(shù)字化的教育通過AI分析,對教室講課的語速、學(xué)生表情、大家反應(yīng)等情況產(chǎn)生的數(shù)據(jù)來優(yōu)化教育效果。
比如流利說是世界領(lǐng)先的科技驅(qū)動的教育公司,作為智能教育的倡行者,流利說擁有一支業(yè)內(nèi)領(lǐng)先的人工智能團隊,經(jīng)過多年積累,流利說已擁有巨型的“中國人英語語音數(shù)據(jù)庫”,累積實現(xiàn)記錄大約37億分鐘的對話和504億句錄音。針對流利說日常業(yè)務(wù)對云服務(wù)的彈性、穩(wěn)定性和大算力的極高要求,阿里云為流利說量身定制了一站式數(shù)據(jù)湖解決方案。通過阿里云OSS直接存儲原始音頻數(shù)據(jù),極大的簡化了業(yè)務(wù)架構(gòu),并能快速對接阿里云 EMR 構(gòu)建的大數(shù)據(jù)計算集群,包括 Hive、Spark、Presto在內(nèi)的多種大數(shù)據(jù)計算引擎。
通過阿里云為流利說量身打造的數(shù)據(jù)湖解決方案,解決了流利說多種應(yīng)用的各類數(shù)據(jù)的統(tǒng)一存儲,幫助流利說構(gòu)建數(shù)據(jù)規(guī)模高達上千億的“中國人英語語音數(shù)據(jù)庫”。使用阿里云構(gòu)建的數(shù)據(jù)湖,可以充分發(fā)揮計算與解耦 合架構(gòu)的優(yōu)點,結(jié)合阿里云ECS彈性實例和K8S,根據(jù)實際業(yè)務(wù)需求,動態(tài)擴展、縮減對應(yīng)計算資源,無須按 照業(yè)務(wù)峰值常駐計算資源,這種靈活的使用模式,能夠幫助流利說最大程度地優(yōu)化成本。
在智慧制造行業(yè),有哪些產(chǎn)品更適合用戶的需求,如汽車行業(yè)的汽車顏色、車型、配件等哪些適合用戶的喜好,通過數(shù)字化分析來優(yōu)化汽車創(chuàng)新設(shè)計,打通供應(yīng)鏈給用戶更多個性化選擇。
比如某太陽能整體解決方案提供商通過大數(shù)據(jù)整合能力,來提升制造良品率。基于阿里云數(shù)據(jù)湖構(gòu)建了整套大數(shù)據(jù)解決方案,所有數(shù)據(jù)采集后統(tǒng)一存儲到阿里云OSS,通過細粒度級訪問控制能力有效保護生產(chǎn)數(shù)據(jù),集成加密技術(shù),使得所有制造過程誕生的數(shù)據(jù)能夠獲得在數(shù)據(jù)湖上的有效保護,并且達到工業(yè)大數(shù)據(jù)安全管理的核心目標(biāo):“看得見、控得住、管得好”。
與此同時,結(jié)合人工智能算法實現(xiàn)深度學(xué)習(xí)應(yīng)用,通過關(guān)聯(lián)參數(shù)的組合,分析出與影響良品率、光電轉(zhuǎn)化率的關(guān)鍵參數(shù),進一步獲得生成工藝的優(yōu)化,讓良品率提升超過5%。通過對海量采集數(shù)據(jù)的分析,結(jié)合工藝參數(shù)模型,實現(xiàn)設(shè)備異常及工藝參數(shù)異常的提前預(yù)警,實現(xiàn)整個生產(chǎn)過程的主動式管理,最終在光電轉(zhuǎn)換效率方面獲得整體提升。
在智慧出行的行業(yè),某智能出行產(chǎn)品公司通過大數(shù)據(jù)方案,不斷優(yōu)化車輛的管理運維。借助車輛智能傳感器,感應(yīng)車輛實時信息,通過阿里云日志服務(wù)SLS采集后,將數(shù)據(jù)匯聚存儲到阿里云數(shù)據(jù)湖。通過海量的騎行數(shù)據(jù)、地理位置信息和車輛運行狀態(tài)信息,動態(tài)調(diào)整部署車輛的區(qū)域,補充新車輛,及時定位出有問題的車輛進行修理和更換,保障用戶的騎行體驗。
通過大數(shù)據(jù)的賦能,能夠根據(jù)各個區(qū)域不同的使用特點,制定不同的投放策略,達到車輛資源充分使用率、增加有效投放。通過數(shù)據(jù)湖的使用,不同類型車輛的采集信息都可以采用先入湖、后處理的方式,讓設(shè)備的更新、升級更為簡單,阿里云數(shù)據(jù)湖支持互聯(lián)網(wǎng)訪問的特性,大幅度簡化了物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)存儲路徑,無需借助其他中間系統(tǒng)幫助。
在游戲行業(yè),某國內(nèi)某知名社交游戲公司通過數(shù)據(jù)湖構(gòu)建的大數(shù)據(jù)方案,提升玩家的留存率。基于阿里云數(shù)據(jù)湖方案,通過日志服務(wù)SLS,將全球數(shù)據(jù)實時投遞到數(shù)據(jù)湖中的OSS,統(tǒng)一存儲與管理。借助OSS海量彈性能力的冷熱分層,通過EMR和DLA搭建存算分離的大數(shù)據(jù)架構(gòu),實現(xiàn)千萬日活的玩家鏈路、智能推薦、實時分析、實時渠道統(tǒng)計、精細化運營,并獲得了30%的用戶留存率。
在智慧營銷行業(yè),AddNewer加和科技是國內(nèi)商業(yè)智能解決方案提供商,幫助企業(yè)實現(xiàn)數(shù)字智慧在運營和決策層面的應(yīng)用,助力產(chǎn)業(yè)的效率升級和多行業(yè)間的跨界融合。針對加和科技在數(shù)據(jù)一源多用、快速分析、多級存儲等方面的需求,阿里云從數(shù)據(jù)存儲層、計算層和應(yīng)用層為切入點,為加和科技構(gòu)建了一站式的數(shù)據(jù)湖解決方案。
從完美支撐了加和ReachMax日均150億條,近2000列的數(shù)據(jù)分析和大量的臨時數(shù)據(jù)統(tǒng)計需求,幫助加和科技高達50億元人民幣流量決策和分析服務(wù)。利用數(shù)據(jù)湖解決方案的多進多出、分層計費和全類型備份的能力,幫助加和大幅簡化了數(shù)據(jù)存儲和應(yīng)用的復(fù)雜度,相比之前自建的解決方案, 需求的平均成本降低 30%。
在智慧金融行業(yè),上海數(shù)禾信息科技有限公司以大數(shù)據(jù)和技術(shù)為驅(qū)動,為金融機構(gòu)提供高效的智能零售金融解決方案,服務(wù)銀行、信托、消費金融公司、保險、小貸公司等持牌金融機構(gòu),提供營銷獲客、風(fēng)險防控、運營管理等服務(wù)。針對數(shù)禾科技在日常業(yè)務(wù)中面臨到的數(shù)據(jù)統(tǒng)一存儲和治理、計算性能和高彈性的需求,阿里云為其搭建了統(tǒng)一的數(shù)據(jù)湖解決方案。
采用阿里云數(shù)據(jù)湖解決方案后,數(shù)禾科技做到了全面記錄、全面是實時化、全面治理、場景驅(qū)動和安全合規(guī)的數(shù) 據(jù)管理之道。幫助數(shù)禾科技真正實現(xiàn)數(shù)據(jù)驅(qū)動業(yè)務(wù)發(fā)展,真正地實現(xiàn)一切業(yè)務(wù)數(shù)據(jù)化,以及一切數(shù)據(jù)業(yè)務(wù)化。
目前,已有多個行業(yè)的幾千家企業(yè)在阿里云上構(gòu)建了云數(shù)據(jù)湖。隨著企業(yè)級云原生數(shù)據(jù)方案的推進,數(shù)據(jù)湖的行業(yè)落地必然開啟了“加速度”,這也預(yù)示著數(shù)據(jù)湖的to B春天來了。
阿里云智能存儲產(chǎn)品資深總監(jiān)陳起鯤分析指出,當(dāng)前,對于大數(shù)據(jù)用戶來說,大數(shù)據(jù)分析成是其業(yè)務(wù)核心,而算法的產(chǎn)生成為了最新的核心資產(chǎn),以云原生數(shù)據(jù)湖構(gòu)建的大數(shù)據(jù)引擎也就順理成章地成為了用戶的生產(chǎn)環(huán)境。
由此,企業(yè)用戶也從數(shù)字化轉(zhuǎn)型升級到數(shù)智化轉(zhuǎn)型,需要在數(shù)據(jù)分析上有著本質(zhì)的提升,其中需要構(gòu)建創(chuàng)新算法,而基礎(chǔ)的基礎(chǔ)就需要大數(shù)據(jù)引擎,即數(shù)據(jù)湖。大數(shù)據(jù)分析與生產(chǎn)環(huán)境深入融合,讓云原生數(shù)據(jù)湖正式在企業(yè)級領(lǐng)域中發(fā)揮出舉足輕重的作用。
有了企業(yè)級云原生數(shù)據(jù)湖之后,to B的一切也都變得更加智能起來。
責(zé)任編輯:gt
-
制造業(yè)
+關(guān)注
關(guān)注
9文章
2248瀏覽量
53667 -
阿里巴巴
+關(guān)注
關(guān)注
7文章
1618瀏覽量
47353 -
阿里云
+關(guān)注
關(guān)注
3文章
969瀏覽量
43155
發(fā)布評論請先 登錄
相關(guān)推薦
評論