大數據概念

　　大數據是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。 大數據技術的戰略意義不在于掌握龐大的數據信息，而在于對這些含有意義的數據進行專業化處理。換言之，如果把大數據比作一種產業，那么這種產業實現盈利的關鍵，在于提高對數據的“加工能力”，通過“加工”實現數據的“增值”

　　隨著云時代的來臨，大數據（Big data）也吸引了越來越多的關注。《著云臺》的分析師團隊認為，大數據（Big data）通常用來形容一個公司創造的大量非結構化數據和半結構化數據，這些數據在下載到關系型數據庫用于分析時會花費過多時間和金錢。大數據分析常和云計算聯系到一起，因為實時的大型數據集分析需要像MapReduce一樣的框架來向數十、數百或甚至數千的電腦分配工作。

　　大數據結構

　　大數據包括結構化、半結構化和非結構化數據，非結構化數據越來越成為數據的主要部分。據IDC的調查報告顯示：企業中80%的數據都是非結構化數據，這些數據每年都按指數增長60%。［7］ 大數據就是互聯網發展到現今階段的一種表象或特征而已，沒有必要神話它或對它保持敬畏之心，在以云計算為代表的技術創新大幕的襯托下，這些原本看起來很難收集和使用的數據開始容易被利用起來了，通過各行各業的不斷創新，大數據會逐步為人類創造更多的價值。

　　其次，想要系統的認知大數據，必須要全面而細致的分解它，著手從三個層面來展開：

　　第一層面是理論，理論是認知的必經途徑，也是被廣泛認同和傳播的基線。在這里從大數據的特征定義理解行業對大數據的整體描繪和定性；從對大數據價值的探討來深入解析大數據的珍貴所在；洞悉大數據的發展趨勢；從大數據隱私這個特別而重要的視角審視人和數據之間的長久博弈。

　　第二層面是技術，技術是大數據價值體現的手段和前進的基石。在這里分別從云計算、分布式處理技術、存儲技術和感知技術的發展來說明大數據從采集、處理、存儲到形成結果的整個過程。

　　第三層面是實踐，實踐是大數據的最終價值體現。在這里分別從互聯網的大數據，政府的大數據，企業的大數據和個人的大數據四個方面來描繪大數據已經展現的美好景象及即將實現的藍圖。

　　大數據特點

　　大數據分析相比于傳統的數據倉庫應用，具有數據量大、查詢分析復雜等特點。《計算機學報》刊登的“架構大數據：挑戰、現狀與展望”一文列舉了大數據分析平臺需要具備的幾個重要特性，對當前的主流實現平臺——并行數據庫、MapReduce及基于兩者的混合架構進行了分析歸納，指出了各自的優勢及不足，同時也對各個方向的研究現狀及作者在大數據分析方面的努力進行了介紹，對未來研究做了展望。

　　大數據的4個“V”，或者說特點有四個層面：第一，數據體量巨大。從TB級別，躍升到PB級別；第二，數據類型繁多。前文提到的網絡日志、視頻、圖片、地理位置信息等等。第三，數據的來源，直接導致分析結果的準確性和真實性。若數據來源是完整的并且真實最終的分析結果以及決定將更加準確。第四，處理速度快，1秒定律。最后這一點也是和傳統的數據挖掘技術有著本質的不同。業界將其歸納為4個“V”——Volume（大量）、Velocity（高速）、Variety（多樣）、Veracity（真實性）

　　從某種程度上說，大數據是數據分析的前沿技術。簡言之，從各種各樣類型的數據中，快速獲得有價值信息的能力，就是大數據技術。明白這一點至關重要，也正是這一點促使該技術具備走向眾多企業的潛力。

　　大數據技術十大核心原理

　　1.數據核心原理：從“流程”核心轉變為“數據”核心

　　大數據時代，計算模式也發生了轉變，從“流程”核心轉變為“數據”核心。Hadoop體系的分布式計算框架已經是“數據”為核心的范式。非結構化數據及分析需求，將改變IT系統的升級方式：從簡單增量到架構變化。大數據下的新思維——計算模式的轉變。

　　科學進步越來越多地由數據來推動，海量數據給數據分析既帶來了機遇，也構成了新的挑戰。大數據往往是利用眾多技術和方法，綜合源自多個渠道、不同時間的信息而獲得的。為了應對大數據帶來的挑戰，我們需要新的統計思路和計算方法。

　　2.據價值原理：有功能是價值轉變為數據是價值

　　大數據真正有意思的是數據變得在線了，這個恰恰是互聯網的特點。非互聯網時期的產品，功能一定是它的價值，今天互聯網的產品，數據一定是它的價值。

　　數據能告訴我們，每一個客戶的消費傾向，他們想要什么，喜歡什么，每個人的需求有哪些區別，哪些又可以被集合到一起來進行分類。大數據是數據數量上的增加，以至于我們能夠實現從量變到質變的過程。

　　3.全樣本原理：從抽樣轉變為需要全部數據樣本

　　需要全部數據樣本而不是抽樣，你不知道的事情比你知道的事情更重要，但如果現在數據足夠多，它會讓人能夠看得見、摸得著規律。

　　數據這么大、這么多，所以人們覺得有足夠的能力把握未來，對不確定狀態的一種判斷，從而做出自己的決定。這些東西我們聽起來都是非常原始的，但是實際上背后的思維方式，和我們今天所講的大數據是非常像的。

　　4.關注效率原理：由關注精確度轉變為關注效率

　　關注效率而不是精確度，大數據標志著人類在尋求量化和認識世界的道路上前進了一大步，過去不可計量、存儲、分析和共享的很多東西都被數據化了，擁有大量的數據和更多不那么精確的數據為我們理解世界打開了一扇新的大門。大數據能提高生產效率和銷售效率，原因是大數據能夠讓我們知道市場的需要，人的消費需要。大數據讓企業的決策更科學，由關注精確度轉變為關注效率的提高，大數據分析能提高企業的效率。

　　競爭是企業的動力，而效率是企業的生命，效率低與效率高是衡量企來成敗的關鍵。一般來講，投入與產出比是效率，追求高效率也就是追求高價值。手工、機器、自動機器、智能機器之間效率是不同的，智能機器效率更高，已能代替人的思維勞動。智能機器核心是大數據制動，而大數據制動的速度更快。在快速變化的市場，快速預測、快速決策、快速創新、快速定制、快速生產、快速上市成為企業行動的準則，也就是說，速度就是價值，效率就是價值，而這一切離不開大數據思維。