中國信息化百人會學術委員、中國工程院院士李國杰認為，目前大數據技術還不成熟，面對海量、異構、動態變化的數據，傳統的數據處理和分析技術難以應對，現有的數據處理系統實現大數據應用的效率較低，成本和能耗較大，而且難以擴展，這些挑戰大多來自數據本身的復雜性、計算的復雜性和信息系統的復雜性。李國杰認為，發展大數據不要一味追求“數據規模大”，不要“技術驅動”，要“應用為先”，不能拋棄“小數據”方法，同時要高度關注構建大數據平臺的成本。

大數據技術和人類探索復雜性的努力有密切關系。20世紀70年代，新三論（耗散結構論、協同論、突變論）的興起對幾百年來貫穿科學技術研究的還原論發起了挑戰。1984年蓋爾曼等3位諾貝爾獎得主成立以研究復雜性為主的圣菲研究所，提出超越還原論的口號，在科技界掀起了一場復雜性科學運動。雖然雷聲很大，但30年來并未取得預期的效果，其原因之一可能是當時還沒有出現解決復雜性的技術。

集成電路、計算機與通信技術的發展大大增強了人類研究和處理復雜問題的能力。大數據技術將復雜性科學的新思想發揚光大，可能使復雜性科學得以落地。復雜性科學是大數據技術的科學基礎，大數據方法可以看作復雜性科學的技術實現。大數據方法為還原論與整體論的辯證統一提供了技術實現途徑。大數據研究要從復雜性研究中吸取營養，從事數據科學研究的學者不但要了解20世紀的“新三論”，可能還要學習與超循環、混沌、分形和元胞自動機等理論有關的知識，擴大自己的視野，加深對大數據機理的理解。

大數據技術還不成熟，面對海量、異構、動態變化的數據，傳統的數據處理和分析技術難以應對，現有的數據處理系統實現大數據應用的效率較低，成本和能耗較大，而且難以擴展。這些挑戰大多來自數據本身的復雜性、計算的復雜性和信息系統的復雜性。

1數據復雜性引起的挑戰

圖文檢索、主題發現、語義分析、情感分析等數據分析工作十分困難，其原因是大數據涉及復雜的類型、復雜的結構和復雜的模式，數據本身具有很高的復雜性。目前，人們對大數據背后的物理意義缺乏理解，對數據之間的關聯規律認識不足，對大數據的復雜性和計算復雜性的內在聯系也缺乏深刻理解，領域知識的缺乏制約了人們對大數據模型的發現和高效計算方法的設計。形式化或定量化地描述大數據復雜性的本質特征及度量指標，需要深入研究數據復雜性的內在機理。人腦的復雜性主要體現在千萬億級的樹突和軸突的鏈接，大數據的復雜性主要也體現在數據之間的相互關聯。理解數據之間關聯的奧秘可能是揭示微觀到宏觀“涌現”規律的突破口。大數據復雜性規律的研究有助于理解大數據復雜模式的本質特征和生成機理，從而簡化大數據的表征，獲取更好的知識抽象。為此，需要建立多模態關聯關系下的數據分布理論和模型，理清數據復雜度和計算復雜度之間的內在聯系，奠定大數據計算的理論基礎。

2計算復雜性引起的挑戰

大數據計算不能像處理小樣本數據集那樣做全局數據的統計分析和迭代計算，在分析大數據時，需要重新審視和研究它的可計算性、計算復雜性和求解算法。大數據樣本量巨大，內在關聯密切而復雜，價值密度分布極不均衡，這些特征對建立大數據計算范式提出了挑戰。對于PB級的數據，即使只有線性復雜性的計算也難以實現，而且，由于數據分布的稀疏性，可能做了許多無效計算。

傳統的計算復雜度是指某個問題求解時需要的時間空間與問題規模的函數關系，所謂具有多項式復雜性的算法是指當問題的規模增大時，計算時間和空間的增長速度在可容忍的范圍內。傳統科學計算關注的重點是，針對給定規模的問題，如何“算得快”。而在大數據應用中，尤其是流式計算中，往往對數據處理和分析的時間、空間有明確限制，比如網絡服務如果回應時間超過幾秒甚至幾毫秒，就會丟失許多用戶。大數據應用本質上是在給定的時間、空間限制下，如何“算得多”。從“算得快”到“算得多”，考慮計算復雜性的思維邏輯有很大的轉變。所謂“算得多”并不是計算的數據量越大越好，需要探索從足夠多的數據，到剛剛好的數據，再到有價值的數據的按需約簡方法。

基于大數據求解困難問題的一條思路是放棄通用解，針對特殊的限制條件求具體問題的解。人類的認知問題一般都是NP難問題，但只要數據充分多，在限制條件下可以找到十分滿意的解，近幾年自動駕駛汽車取得重大進展就是很好的案例。為了降低計算量，需要研究基于自舉和采樣的局部計算和近似方法，提出不依賴于全量數據的新型算法理論，研究適應大數據的非確定性算法等理論。

3系統復雜性引起的挑戰

大數據對計算機系統的運行效率和能耗提出了苛刻要求，大數據處理系統的效能評價與優化問題具有挑戰性，不但要求理清大數據的計算復雜性與系統效率、能耗間的關系，還要綜合度量系統的吞吐率、并行處理能力、作業計算精度、作業單位能耗等多種效能因素。針對大數據的價值稀疏性和訪問弱局部性的特點，需要研究大數據的分布式存儲和處理架構。

大數據應用涉及幾乎所有的領域，大數據的優勢是能在長尾應用中發現稀疏而珍貴的價值，但一種優化的計算機系統結構很難適應各種不同的需求，碎片化的應用大大增加了信息系統的復雜性，像昆蟲種類一樣多（500多萬種）的大數據和物聯網應用如何形成手機一樣的巨大市場，這就是所謂“昆蟲綱悖論”。為了化解計算機系統的復雜性，需要研究異構計算系統和可塑計算技術。

大數據應用中，計算機系統的負載發生了本質性變化，計算機系統結構需要革命性的重構。信息系統需要從數據圍著處理器轉改變為處理能力圍著數據轉，關注的重點不是數據加工，而是數據的搬運；系統結構設計的出發點要從重視單任務的完成時間轉變到提高系統吞吐率和并行處理能力，并發執行的規模要提高到10億級以上。構建以數據為中心的計算系統的基本思路是從根本上消除不必要的數據流動，必要的數據搬運也應由“大象搬木頭”轉變為“螞蟻搬大米”。

發展大數據應避免的誤區

1不要一味追求“數據規模大”

大數據主要難點不是數據量大，而是數據類型多樣、要求及時回應和原始數據真假難辨。現有數據庫軟件解決不了非結構化數據，要重視數據融合、數據格式的標準化和數據的互操作。采集的數據往往質量不高是大數據的特點之一，但盡可能提高原始數據的質量仍然值得重視。腦科學研究的最大問題就是采集的數據可信度差，基于可信度很差的數據難以分析出有價值的結果。

一味追求數據規模大不僅會造成浪費，而且效果未必很好。多個來源的小數據的集成融合可能挖掘出單一來源大數據得不到的大價值。應多在數據的融合技術上下功夫，重視數據的開放與共享。所謂數據規模大與應用領域有密切關系，有些領域幾個PB的數據未必算大，有些領域可能幾十TB已經是很大的規模。

發展大數據不能無止境地追求“更大、更多、更快”，要走低成本、低能耗、惠及大眾、公正法治的良性發展道路，要像現在治理環境污染一樣，及早關注大數據可能帶來的“污染”和侵犯隱私等各種弊端。

2不要“技術驅動”，要“應用為先”

新的信息技術層出不窮，信息領域不斷冒出新概念、新名詞，估計繼“大數據”以后，“認知計算”、“可穿戴設備”、“機器人”等新技術又會進入炒作高峰。我們習慣于跟隨國外的熱潮，往往不自覺地跟著技術潮流走，最容易走上“技術驅動”的道路。實際上發展信息技術的目的是為人服務，檢驗一切技術的唯一標準是應用。我國發展大數據產業一定要堅持“應用為先”的發展戰略，堅持應用牽引的技術路線。技術有限，應用無限。各地發展云計算和大數據，一定要通過政策和各種措施調動應用部門和創新企業的積極性，通過跨界的組合創新開拓新的應用，從應用中找出路。

3不能拋棄“小數據”方法

流行的“大數據”定義是：無法通過目前主流軟件工具在合理時間內采集、存儲、處理的數據集。這是用不能勝任的技術定義問題，可能導致認識的誤區。按照這種定義，人們可能只會重視目前解決不了的問題，如同走路的人想踩著自己身前的影子。其實，目前各行各業碰到的數據處理多數還是“小數據”問題。我們應重視實際碰到的問題，不管是大數據還是小數據。

統計學家們花了200多年，總結出認知數據過程中的種種陷阱，這些陷阱不會隨著數據量的增大而自動填平。大數據中有大量的小數據問題，大數據采集同樣會犯小數據采集一樣的統計偏差。Google公司的流感預測這兩年失靈，就是由于搜索推薦等人為的干預造成統計誤差。

大數據界流行一種看法：大數據不需要分析因果關系、不需要采樣、不需要精確數據。這種觀念不能絕對化，實際工作中要邏輯演繹和歸納相結合、白盒與黑盒研究相結合、大數據方法與小數據方法相結合。

4要高度關注構建大數據平臺的成本

目前全國各地都在建設大數據中心，呂梁山下都建立了容量達2 PB以上的數據處理中心，許多城市公安部門要求存儲3個月以上的高清監控錄像。這些系統的成本都非常高。數據挖掘的價值是用成本換來的，不能不計成本，盲目建設大數據系統。什么數據需要保存，要保存多少時間，應當根據可能的價值和所需的成本來決定。大數據系統技術還在研究之中，美國的E級超級計算機系統要求能耗降低1000倍，計劃到2024年才能研制出來，用現在的技術構建的巨型系統能耗極高。

我們不要攀比大數據系統的規模，而是要比實際應用效果，比完成同樣的事消耗更少的資源和能量。先抓老百姓最需要的大數據應用，因地制宜發展大數據。發展大數據與實現信息化的策略一樣：目標要遠大、起步要精準、發展要快速。