摘要

我們將從大數(shù)據(jù)的概念、核心技術(shù)、特點(diǎn)、通用應(yīng)用這4個方面對大數(shù)據(jù)進(jìn)行闡述。

01 大數(shù)據(jù)概念

數(shù)據(jù)發(fā)展推動科技進(jìn)步，海量數(shù)據(jù)給數(shù)據(jù)分析帶來了新的機(jī)遇和挑戰(zhàn)。大數(shù)據(jù)是一種強(qiáng)大到在獲取、存儲、管理、分析方面遠(yuǎn)遠(yuǎn)超出傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和較低的價值密度這四大特征。

于是，我們需要新的處理模式來實現(xiàn)更強(qiáng)的數(shù)據(jù)處理能力以應(yīng)對多樣化的信息資產(chǎn)。

大數(shù)據(jù)技術(shù)追求的不是精確性的樣本數(shù)據(jù)，而是面向全體的數(shù)據(jù)，這部分?jǐn)?shù)據(jù)可能是不精確的、非結(jié)構(gòu)化的，但大數(shù)據(jù)技術(shù)正是利用這些之前未被利用的數(shù)據(jù)，創(chuàng)造新的價值。

從海量數(shù)據(jù)中獲得的數(shù)據(jù)處理結(jié)果可能是超乎我們的認(rèn)知邏輯的，但是我們并不需要理解結(jié)果背后的因果關(guān)系。簡言之，我們需要用相關(guān)思維替代因果思維。

02 大數(shù)據(jù)核心技術(shù)

大數(shù)據(jù)在信息系統(tǒng)的生命周期中，從數(shù)據(jù)源到最終產(chǎn)生有價值的可視化信息，主要經(jīng)歷6個步驟，分別是數(shù)據(jù)收集、數(shù)據(jù)存儲、資源管理與服務(wù)協(xié)調(diào)、計算框架確定、數(shù)據(jù)分析和數(shù)據(jù)可視化，此過程涵蓋了海量分布式系統(tǒng)、數(shù)據(jù)庫、并行計算框架、數(shù)據(jù)挖掘等方面的技術(shù)。

圖2-1羅列了大數(shù)據(jù)技術(shù)中各個步驟目前所對應(yīng)的主流技術(shù)體系，大數(shù)據(jù)的相關(guān)技術(shù)日新月異、層出不窮，由于篇幅限制，不再一一列舉。

▲圖2-1 大數(shù)據(jù)的主流技術(shù)體系

03 大數(shù)據(jù)特點(diǎn)

大數(shù)據(jù)具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和較低的價值密度這四大特征，下面將分別進(jìn)行詳細(xì)闡述。

1. 海量的數(shù)據(jù)規(guī)模（Volume）

大數(shù)據(jù)所采集、存儲和計算的數(shù)據(jù)規(guī)模都非常大。隨著互聯(lián)網(wǎng)的廣泛應(yīng)用，使用互聯(lián)網(wǎng)的人和企業(yè)等增多，數(shù)據(jù)的創(chuàng)造者變多，數(shù)據(jù)量呈幾何級增長。近年來，隨著數(shù)據(jù)維度變多、數(shù)據(jù)類型增加、數(shù)據(jù)的描述能力增強(qiáng)，數(shù)據(jù)可以傳達(dá)的信息也越來越多，越來越準(zhǔn)確。

2. 快速的數(shù)據(jù)流轉(zhuǎn)（Velocity）

大數(shù)據(jù)不僅增長速度快，處理速度也快，有很強(qiáng)的時效性。在信息時代，人成為網(wǎng)絡(luò)的核心，每個人每天都在制造新的數(shù)據(jù)，這些數(shù)據(jù)再被相應(yīng)的機(jī)構(gòu)如政府、互聯(lián)網(wǎng)企業(yè)、銀行、電信運(yùn)營商等收集，形成了一個個龐大的數(shù)據(jù)體系。

面對如此龐大的數(shù)據(jù)體系，處理數(shù)據(jù)并得到結(jié)果的速度越快，數(shù)據(jù)的時效性就越強(qiáng)，價值就越高——而大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)挖掘最大的區(qū)別也在于此，大數(shù)據(jù)更強(qiáng)調(diào)數(shù)據(jù)處理的實時性和時效性。

3. 多樣的數(shù)據(jù)類型（Variety）

大數(shù)據(jù)的種類和來源多樣化，多樣的數(shù)據(jù)為數(shù)據(jù)處理帶來了挑戰(zhàn)。在數(shù)據(jù)結(jié)構(gòu)上，大數(shù)據(jù)可以分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；在具體形式上，大數(shù)據(jù)可以分為視頻、音頻、圖像、博客、社交網(wǎng)絡(luò)、互聯(lián)網(wǎng)搜索等。大數(shù)據(jù)迎接的挑戰(zhàn)就是要針對這些結(jié)構(gòu)不一、形式多樣的數(shù)據(jù)，挖掘其中的相關(guān)性。而這些前所未有的、來自各個領(lǐng)域的、不同形式的數(shù)據(jù)，賦予了大數(shù)據(jù)強(qiáng)大的威力。

4. 較低的價值密度（Value）

大數(shù)據(jù)的價值密度相對較低。數(shù)據(jù)的價值密度和數(shù)據(jù)的規(guī)模呈反相關(guān)，數(shù)據(jù)的規(guī)模越大，數(shù)據(jù)的價值密度越低。大數(shù)據(jù)最大的價值即在于從大量低價值密度數(shù)據(jù)中挖掘出對分析和預(yù)測等有價值的信息。

相較于傳統(tǒng)數(shù)據(jù)挖掘利用結(jié)構(gòu)化的數(shù)據(jù)類型，大數(shù)據(jù)把目光也投向了非結(jié)構(gòu)化的、非抽樣的、包含全體的數(shù)據(jù)類型。這為大數(shù)據(jù)帶來了更多的有效信息，但同時也增加了大量無價值的甚至是錯誤的信息。

04 大數(shù)據(jù)的通用應(yīng)用

大數(shù)據(jù)已經(jīng)滲透到了全世界市場中的各個領(lǐng)域，彰顯著巨大的價值，其在各個領(lǐng)域的詳細(xì)應(yīng)用情況如下。

1. 金融領(lǐng)域

大數(shù)據(jù)在金融領(lǐng)域應(yīng)用廣泛，如針對個人的信貸風(fēng)險評估，銀行根據(jù)用戶的刷卡、轉(zhuǎn)賬、微信評論等數(shù)據(jù)有針對性地推送廣告；理財軟件通過大數(shù)據(jù)為客戶有針對性地推薦理財產(chǎn)品。總結(jié)來說，大數(shù)據(jù)在金融領(lǐng)域的應(yīng)用可以概括為精準(zhǔn)營銷、風(fēng)險控制、效率提升、決策支持。

2. 醫(yī)療領(lǐng)域

醫(yī)療行業(yè)擁有大量的病例、檢測記錄、藥物記錄、治療結(jié)果記錄等，這些數(shù)據(jù)中蘊(yùn)含著巨大的價值，如果可以加以利用，將對醫(yī)療界產(chǎn)生不可估量的影響。疾病確診和因人而異的治療方案設(shè)定是醫(yī)療領(lǐng)域的重大問題，大數(shù)據(jù)可以幫助建立針對疾病特點(diǎn)、病人狀況以及治療方案的數(shù)據(jù)庫，為人類健康貢獻(xiàn)巨大的力量。

3. 生物領(lǐng)域

各國研究人員正如火如荼地推進(jìn)著人類基因組計劃，這促進(jìn)了生物數(shù)據(jù)的爆發(fā)式增長。基因檢測可以幫助人們對自己現(xiàn)在的以及未來的健康狀況有更深刻、全面的認(rèn)識，甚至可以幫助父母在寶寶出生前就對其健康狀況進(jìn)行檢測。因此，人類基因組計劃是未來人類戰(zhàn)勝疾病的重要工具。

大數(shù)據(jù)可以整合已有的人類基因的檢測結(jié)果并進(jìn)行分析，加速人類基因組研究的進(jìn)程。

4. 零售領(lǐng)域

零售行業(yè)可以利用大數(shù)據(jù)了解顧客的消費(fèi)偏好和趨勢，用以商品的精準(zhǔn)營銷和相關(guān)產(chǎn)品的精準(zhǔn)推銷，降低運(yùn)營成本，提高進(jìn)貨管理和過期產(chǎn)品管理效率。大數(shù)據(jù)可以幫助零售商預(yù)測消費(fèi)者需求趨勢，更高效地提高供應(yīng)鏈滿足需求的能力。對大數(shù)據(jù)帶來的潛在信息的挖掘和有效利用，將成為未來零售領(lǐng)域的必爭之地。

5. 電商領(lǐng)域

電商行業(yè)的數(shù)據(jù)集中、數(shù)據(jù)規(guī)模大，可以利用大數(shù)據(jù)在很多方面進(jìn)行有效信息的分析提取，如用戶消費(fèi)趨勢、地域消費(fèi)特點(diǎn)等。

電商領(lǐng)域中的大數(shù)據(jù)應(yīng)用已經(jīng)頗具規(guī)模，電商也是最早利用大數(shù)據(jù)進(jìn)行精準(zhǔn)營銷的行業(yè)。電商可以根據(jù)顧客消費(fèi)習(xí)慣提前備貨以提高商品送達(dá)效率，還可以通過對客戶瀏覽、收藏、加入購物車和購買記錄等數(shù)據(jù)的分析，對用戶進(jìn)行有效的商品推薦，提高銷量。

關(guān)于作者：王健宗，博士，某大型金融集團(tuán)科技公司資深人工智能總監(jiān)、高級工程師，中國計算機(jī)學(xué)會大數(shù)據(jù)專家委員會委員、高級會員，美國佛羅里達(dá)大學(xué)人工智能博士后，曾任美國萊斯大學(xué)電子與計算機(jī)工程系研究員、美國惠普公司高級云計算解決方案專家。何安珣，某大型金融集團(tuán)科技公司高級算法工程師，中國計算機(jī)學(xué)會會員，中國計算機(jī)學(xué)會青年計算機(jī)科技論壇（YOCSEF深圳）委員。擁有豐富的金融智能從業(yè)經(jīng)驗，主要研究金融智能系統(tǒng)框架搭建、算法研究和模型融合技術(shù)等，致力于推動金融智能的落地應(yīng)用與價值創(chuàng)造。李澤遠(yuǎn)，某大型金融集團(tuán)科技公司高級人工智能產(chǎn)品經(jīng)理，中國計算機(jī)學(xué)會會員，長期致力于金融智能的產(chǎn)品化工作，負(fù)責(zé)技術(shù)服務(wù)類的產(chǎn)品生態(tài)搭建與實施推進(jìn)。

責(zé)任編輯：lq