基于Hadoop的數(shù)據(jù)驅(qū)動(dòng)的并行增量算法
推薦 + 挑錯(cuò) + 收藏(0) + 用戶評(píng)論(0)
針對(duì)傳統(tǒng)支持向量機(jī)(SVM)算法難以處理大規(guī)模訓(xùn)練數(shù)據(jù)的困境,提出一種基于Hadoop的數(shù)據(jù)驅(qū)動(dòng)的并行增量Adaboost-SVM算法(PIASVM)。利用集成學(xué)習(xí)策略,局部分類器處理一個(gè)分區(qū)的數(shù)據(jù),融合其分類結(jié)果得到組合分類器;增量學(xué)習(xí)中用權(quán)值刻畫樣本的空間分布特性,對(duì)樣本進(jìn)行迭代加權(quán),利用遺忘因子實(shí)現(xiàn)新增樣本的選擇及歷史樣本的淘汰;采用基于HBase的控制器組件用以調(diào)度迭代過程,持久化中間結(jié)果并減小MapReduce原有框架迭代過程中的帶寬壓力。多組實(shí)驗(yàn)結(jié)果表明,所提算法具有優(yōu)良的加速比、擴(kuò)展率和數(shù)據(jù)伸縮度,在保證分類精度的基礎(chǔ)上提高了SVM算法對(duì)大規(guī)模數(shù)據(jù)的處理能力。
非常好我支持^.^
(0) 0%
不好我反對(duì)
(0) 0%
下載地址
基于Hadoop的數(shù)據(jù)驅(qū)動(dòng)的并行增量算法下載
相關(guān)電子資料下載
- STM32串口通信入門!附通信編程示例 468
- 如何確保Molex莫仕的NPD采購(gòu)效率 327
- 嘉興海棠電子:環(huán)保與創(chuàng)新并行的網(wǎng)線行業(yè)領(lǐng)軍者 83
- 精益思維賦能可穿戴設(shè)備:創(chuàng)新與效率并行的未來科技新篇章 122
- 普渡機(jī)器人入駐宜家 為顧客帶來科技與舒適并行的購(gòu)物方式 449
- 并行連接的SiC MOSFET可以帶來更多電力 501
- 高速信息傳輸使用串行還是并行 325
- 串行傳輸和并行傳輸?shù)膮^(qū)別,各用于什么場(chǎng)合 866
- 串行加法器和并行加法器的區(qū)別? 709
- 中軟國(guó)際咨詢助力制造行業(yè)央企,激活數(shù)據(jù)驅(qū)動(dòng)的決策引擎 172