機(jī)器學(xué)習(xí)算法的分類是棘手的，有幾種合理的分類，他們可以分為生成/識(shí)別，參數(shù)/非參數(shù)，監(jiān)督/無(wú)監(jiān)督等。

例如，Scikit-Learn的文檔頁(yè)面通過(guò)學(xué)習(xí)機(jī)制對(duì)算法進(jìn)行分組。這產(chǎn)生類別如：1，廣義線性模型，2，支持向量機(jī)，3，最近鄰居法，4，決策樹(shù)，5，神經(jīng)網(wǎng)絡(luò)，等等…

但是，從我們的經(jīng)驗(yàn)來(lái)看，這并不總是算法分組最為實(shí)用的方法。那是因?yàn)閷?duì)于應(yīng)用機(jī)器學(xué)習(xí)，你通常不會(huì)想，“今天我要訓(xùn)練一個(gè)支持向量機(jī)！”相反，你心里通常有一個(gè)最終目標(biāo)，如利用它來(lái)預(yù)測(cè)結(jié)果或分類觀察。

所以在機(jī)器學(xué)習(xí)中，有一種叫做“沒(méi)有免費(fèi)的午餐”的定理。簡(jiǎn)而言之，它的意思就是說(shuō)沒(méi)有任何一種算法可以完美地解決每個(gè)問(wèn)題，這對(duì)于監(jiān)督式學(xué)習(xí)（即預(yù)測(cè)性建模）尤其重要。

例如，你不能說(shuō)神經(jīng)網(wǎng)絡(luò)總是比決策樹(shù)好，反之亦然。有很多因素在起作用，比如數(shù)據(jù)集的大小和結(jié)構(gòu)。因此，您應(yīng)該為您的問(wèn)題嘗試許多不同的算法，同時(shí)使用數(shù)據(jù)的“測(cè)試集”來(lái)評(píng)估性能并選擇優(yōu)勝者。

當(dāng)然，你嘗試的算法必須適合你的問(wèn)題，這就是選擇正確的機(jī)器學(xué)習(xí)算法的重要性之所在。打個(gè)比方，如果你需要清理你的房子，你可以使用真空吸塵器，掃帚或拖把，但是你不會(huì)拿出一把鏟子然后開(kāi)始挖掘。

因此，我們想要介紹另一種分類算法的方法，即通過(guò)機(jī)器學(xué)習(xí)所負(fù)責(zé)的任務(wù)來(lái)分類。

機(jī)器學(xué)習(xí)的任務(wù)

1.回歸

回歸是一種用于建模和預(yù)測(cè)連續(xù)數(shù)值變量的監(jiān)督學(xué)習(xí)任務(wù)。例如預(yù)測(cè)房地產(chǎn)價(jià)格，股價(jià)變動(dòng)或?qū)W生考試分?jǐn)?shù)。

回歸任務(wù)的特征是具有數(shù)字目標(biāo)變量的標(biāo)記數(shù)據(jù)集。換句話說(shuō)，對(duì)于每個(gè)可用于監(jiān)督算法的觀察結(jié)果，您都有一些“基于事實(shí)”的數(shù)值。

1.1。 （正則化）線性回歸

線性回歸是回歸任務(wù)中最常用的算法之一。它最簡(jiǎn)單的形式是試圖將一個(gè)直的超平面整合到你的數(shù)據(jù)集中（即當(dāng)你只有兩個(gè)變量的時(shí)候，你只能得到一條直線）。正如您可能猜到的那樣，當(dāng)數(shù)據(jù)集的變量之間存在線性關(guān)系時(shí)，它的效果是非常好的。

實(shí)際上，簡(jiǎn)單的線性回歸經(jīng)常被正則化的同類算法（LASSO，Ridge和Elastic-Net）所忽略。正則化是一種懲罰大系數(shù)的技術(shù)，以避免過(guò)度擬合，它應(yīng)該調(diào)整其懲罰的力度。

優(yōu)點(diǎn)：線性回歸可以直觀地理解和解釋，并且可以正則化以避免過(guò)度擬合。另外，使用隨機(jī)梯度下降的新數(shù)據(jù)可以很容易地更新線性模型。

缺點(diǎn)：當(dāng)存在非線性關(guān)系時(shí)，線性回歸表現(xiàn)不佳。它們本身并不具有足夠的靈活性來(lái)捕捉更為復(fù)雜的模式，對(duì)于添加正確的交互作用項(xiàng)或者多項(xiàng)式來(lái)說(shuō)可能會(huì)非常棘手和耗時(shí)。

實(shí)現(xiàn)：Python/ R

1.2。回歸樹(shù)（集成）

回歸樹(shù)（決策樹(shù)的一種）是通過(guò)將數(shù)據(jù)集反復(fù)分割成單獨(dú)的分支來(lái)實(shí)現(xiàn)分層化學(xué)習(xí)，從而最大化每個(gè)分割信息的增益效果。這種分支結(jié)構(gòu)允許回歸樹(shù)自然地學(xué)習(xí)非線性關(guān)系。

隨機(jī)森林（RF）和梯度增強(qiáng)樹(shù)（GBM）等集成方法結(jié)合了許多單獨(dú)樹(shù)的特性。我們不會(huì)在這里介紹他們的基本機(jī)制，但是在實(shí)踐中，隨機(jī)森林通常表現(xiàn)地非常好，而梯度增強(qiáng)樹(shù)則很難調(diào)整，但是后者往往會(huì)有更高的性能上限。

優(yōu)點(diǎn)：回歸樹(shù)可以學(xué)習(xí)非線性關(guān)系，并且對(duì)異常值相當(dāng)敏銳。在實(shí)踐中，回歸樹(shù)也表現(xiàn)地非常出色，贏得了許多經(jīng)典（即非深度學(xué)習(xí)）的機(jī)器學(xué)習(xí)比賽。

缺點(diǎn)：無(wú)約束的單個(gè)樹(shù)很容易過(guò)擬合，因?yàn)樗鼈兛梢员３址种е钡剿鼈冇涀×怂械挠?xùn)練數(shù)據(jù)。但是，這個(gè)問(wèn)題可以通過(guò)使用集成的方式來(lái)緩解。

實(shí)現(xiàn)：隨機(jī)森林 - Python / R，梯度增強(qiáng)樹(shù) - Python / R

1.3。深度學(xué)習(xí)

深度學(xué)習(xí)是指能學(xué)習(xí)極其復(fù)雜模式的多層神經(jīng)網(wǎng)絡(luò)。他們使用輸入和輸出之間的“隱藏層”來(lái)模擬其他算法難以學(xué)習(xí)的數(shù)據(jù)中介碼。

他們有幾個(gè)重要的機(jī)制，如卷積和丟棄，使他們能夠有效地從高維數(shù)據(jù)中學(xué)習(xí)。然而，與其他算法相比，深度學(xué)習(xí)仍然需要更多的數(shù)據(jù)來(lái)訓(xùn)練，因?yàn)檫@些模型需要更多的參數(shù)來(lái)實(shí)現(xiàn)其更準(zhǔn)確的推測(cè)。

優(yōu)點(diǎn)：深度學(xué)習(xí)是在諸如計(jì)算機(jī)視覺(jué)和語(yǔ)音識(shí)別等領(lǐng)域內(nèi)，目前可以被利用的最先進(jìn)的方法。深度神經(jīng)網(wǎng)絡(luò)在圖像，音頻和文本數(shù)據(jù)上表現(xiàn)地非常出色，可以輕松地使用成批量的傳播方法來(lái)更新數(shù)據(jù)。它的體系結(jié)構(gòu)（即層的數(shù)量和結(jié)構(gòu)）可以適應(yīng)許多類型的問(wèn)題，并且它們的隱藏層減少了對(duì)特征工程的需要。