在搭建大數據分析平臺之前,要先明確業務需求場景以及用戶的需求,通過大數據分析平臺,想要得到哪些有價值的信息,需要接入的數據有哪些,明確基于場景業務需求的大數據平臺要具備的基本功能,來決定平臺搭建過程中使用的大數據處理工具和框架。
大數據分析平臺自下而上一般分為三個部分,分別為:數據層、大數據采集與存儲、數據分析及展示。
(1)數據層,針對不同系統進行分析,制定系統數據采集范圍與目標,收集各個業務系統產生的各類數據,將各種結構化和非結構化數據進行整合,為大數據的分析提供支撐。
(2)大數據采集與存儲旨在為各類異構數據研制適配接口,與其他各系統對接,并為數據提供適配、轉換、存儲等基本管理功能,基本步驟包括:
數據抽取:針對大數據分析平臺需要采集的各類數據,分別有針對性地研制適配接口。對于已有的信息系統,研發對應的接口模塊與各信息系統對接,不能實現數據共享接口的系統通過ETL工具進行數據采集,支持多種類型數據庫,按照相應規范對數據進行清洗轉換,從而實現數據的統一存儲管理。
數據預處理:為使大數據分析平臺能更方便對數據進行處理,同時為了使得數據的存儲機制擴展性、容錯性更好,需要把數據按照相應關聯性進行組合,并將數據轉化為文本格式,作為文件存儲下來。
數據存儲:為了提升數據存儲的擴展性和容錯性,采用主流的大數據框架對各類數據統一進行文本化存儲,數據按相應規則存儲,實現每日保存一套完整數據文件集,形成數據倉庫。
(3)數據分析和展示是核心業務層,通過數據報表工具,根據需求制定多樣的,針對性的數據報表。針對存儲的數據進行數據處理、算法運行、結果轉換操作,將結果保存為報表文件,每日形成的報表文件集。報表展現系統將生成的報表文件以可視化方式進行展現。
系統架構應高安全性、易擴展性,能夠支持各類主流開發語言,并提供豐富的接口。同時能夠支持結構化和非結構化數據的存儲和應用。通過建立物聯網應用,實現對物品、人員、安全等各方面管理的強大支撐,提升管理質量的同時積累大量管理數據和行為數據。
大數據分析平臺是企業一體化的大數據分析與應用平臺,為企業提供大數據分析與決策。
建設大數據分析平臺以安全、可擴展、靈活性為原則,把某些有業務聯系的單圖組織成一個數據可視化的模塊,用來反映業務各方面的數據情況,它從多種數據源獲取數據,實現支持多維度篩選的交互式界面。
大數據分析平臺由哪些部分組成.中琛魔方大數據分析平臺表示大數據分析處理平臺(zcmorefun.com)就是整合當前主流的各種具有不同側重點的大數據處理分析框架和工具,實現對數據的挖掘和分析。一個大數據分析平臺涉及到的組件眾多,如何將其有機地結合起來,完成海量數據的挖掘是一項復雜的工作。
責任編輯:gt
-
接口
+關注
關注
33文章
8610瀏覽量
151213 -
大數據
+關注
關注
64文章
8892瀏覽量
137456
發布評論請先 登錄
相關推薦
評論