Intel開源了基于Apache Spark的分布式深度學習框架BigDL。BigDL借助現有的Spark集群來運行深度學習計算,并簡化存儲在Hadoop中的大數據集的數據加載。
BigDL適用的應用場景主要為以下三種:
1、直接在Hadoop/Spark框架下使用深度學習進行大數據分析(即將數據存儲在HDFS、HBase、Hive等數據庫上);
2、在Spark程序中/工作流中加入深度學習功能;
3、利用現有的 Hadoop/Spark 集群來運行深度學習程序,然后將代碼與其他的應用場景進行動態共享,例如ETL(Extract、Transform、Load,即通常所說的數據抽取)、數據倉庫(data warehouse)、功能引擎、經典機器學習、圖表分析等。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
數據存儲
+關注
關注
5文章
971瀏覽量
50909 -
AI
+關注
關注
87文章
30894瀏覽量
269085 -
深度學習
+關注
關注
73文章
5503瀏覽量
121162
發布評論請先 登錄
相關推薦
用Linux和Apache Hadoop進行云計算
用Linux和Apache Hadoop進行云計算使用Linux 和 Hadoop 進行分布式計算介紹Hadoop 框架.
發表于 03-31 15:23
?12次下載
基于Spark和BigDL的深度學習技術的案例解析
本文主要分享英特爾和京東在基于Spark和BigDL的深度學習技術在搭建大規模圖片特征提取框架上的實戰經驗。 圖像特征提取被廣泛地應用于相似圖片檢索,去重等。在使用BigDL框架(下文即將提到)之前
發表于 12-05 16:14
?2854次閱讀
第1部分:如何將Bigdl部署為DOCKER容器或虛擬機
Step by step tutorial to get started with BigDL on Apache Spark*
第4部分:BIGDL的長短記憶和遞歸神經網絡
In this video, we will take a look at Long Short Term Memory (LSTM) and Recurrent neural network (RNN) with BigDL.
第2部分:構建具有BIGDL的基本神經網絡模型
Step by step tutorial to build a basic neural network model, train and evaluate the model – all with BigDL on Apache Spark*
Apache Ignite上的TensorFlow!分布式內存數據源
另一個基準測試表明 Ignite Dataset 如何與分布式 Apache Ignite 集群協作。這是 Apache Ignite 作為 HTAP 系統的默認用例,它使您能夠在每秒 10 Gb 的網絡集群上為單個客戶端實現每
Apache與Weblogic的整合
Apache與Weblogic的整合(電源技術論文錄用后可以改作者嗎)-Apache與Weblogic的整合? ? ? ? ? ? ? ? ? ? ? ?
發表于 08-31 11:24
?7次下載
Apache2+tomcat5.5集群及Apache負載均衡配置實例
Apache2+tomcat5.5集群及Apache負載均衡配置實例(新星電源技術有限公司)-Apache2+tomcat5.5集群及Apache負載均衡配置實例? ? ?
發表于 08-31 12:16
?2次下載
物聯網數據上云,正好才是真的好 | Apache Edgent邊緣計算介紹
實時流數據處理框架Apache Edgent項目前身是Apache Quarks,是IBM于2016年捐贈給Apache軟件基金會的開源項目。
發表于 02-07 12:35
?6次下載
Apache Doris正式成為 Apache 頂級項目
全球最大的開源軟件基金會 Apache 軟件基金會(以下簡稱 Apache)于美國時間 2022 年?6 月 16 日宣布,Apache Doris 成功從 Apache 孵化器畢業,
什么是Apache日志?Apache日志分析工具介紹
Apache Web 服務器在企業中廣泛用于托管其網站和 Web 應用程序,Apache 服務器生成的原始日志提供有關 Apache 服務器托管的網站如何處理用戶請求以及訪問您的網站時經常遇到的錯誤的重要信息。
評論