卷積網(wǎng)絡(luò)的部署通常在固定資源的情況下進(jìn)行，如果想要提高精度就需要更多的資源來部署更大、更深的網(wǎng)絡(luò)。實(shí)際應(yīng)用中，人們可以把ResNet-18拓展到ResNet-200增加層數(shù)提高精度，谷歌近期提出的GPipe也利用提升規(guī)模的方法在ImageNet上實(shí)現(xiàn)了84.3%的top-1精度。

Gpipe模型與ResNet不同規(guī)模的模型

對(duì)于擴(kuò)大模型的規(guī)模，通常的做法是增加卷積網(wǎng)絡(luò)的深度或?qū)挾龋蛘呃酶蟮妮斎敕直媛蕘碛?xùn)練和測(cè)評(píng)。雖然能夠大幅度提升精度，但需要復(fù)雜的手工調(diào)校來進(jìn)行優(yōu)化。

那么我們能不能找到一種更為通用的方法來使擴(kuò)大CNNs的規(guī)模以得到更好的精度和速度呢？谷歌在今年的ICML會(huì)議上給出了一種可行的解決方案。研究中提出了一種名為EfficientNet，通過簡單高效地混合系數(shù)來結(jié)構(gòu)化地?cái)U(kuò)大CNNs的規(guī)模。與先前提高網(wǎng)絡(luò)維度參數(shù)不同，這種新的方法不會(huì)去調(diào)整寬度、深度和分辨率，而是利用固定的規(guī)模系數(shù)集均勻化地對(duì)每個(gè)維度進(jìn)行擴(kuò)增。

基于這種規(guī)模化方法和自動(dòng)機(jī)器學(xué)習(xí)，研究人員開發(fā)出了新的網(wǎng)絡(luò)家族EfficientNets，不僅在精度上超過了前輩，更在效率上有了10倍的提升。

混合模型規(guī)模化—擴(kuò)大CNNs規(guī)模的好方法

研究人員首先系統(tǒng)地分析了不同維度上的規(guī)模化對(duì)于模型的影響。

在深度、寬度和分辨率等維度上記性擴(kuò)充后的模型效果提升，但單個(gè)維度在達(dá)到80%后很快趨近于飽和。

分別對(duì)于不同的維度進(jìn)行規(guī)模化后，研究人員發(fā)現(xiàn)對(duì)于網(wǎng)絡(luò)寬度、深度和圖像分辨率等所有維度的平衡下對(duì)于模型的表現(xiàn)提升最好。所以混合而不是單一的改變模型的規(guī)模是提升性能的較好選擇。混合規(guī)模化方法的第一步是進(jìn)行柵格搜索，在固定資源限制的條件下尋找不同規(guī)模維度下的關(guān)系。這將為不同的維度尋找適宜的規(guī)模化系數(shù)來實(shí)現(xiàn)最好的效果。隨后利用這些搜索到的系數(shù)來對(duì)基準(zhǔn)網(wǎng)絡(luò)進(jìn)行擴(kuò)充，在給定的計(jì)算資源和模型大小下實(shí)現(xiàn)目標(biāo)模型。

上圖顯示了不同規(guī)模化的方法，與先前的方法不同，新提出的混合規(guī)模化方法在所有的維度上進(jìn)行了規(guī)模化提升。

實(shí)驗(yàn)表明這種混合規(guī)模化方法比mobileNet(+1.4%)和ResNet(+0.7%)都有提升。

EfficientNet架構(gòu)

前述的模型在規(guī)模化的時(shí)候依然高度依賴于基礎(chǔ)網(wǎng)絡(luò)模型。所以為了更好的提高模型的表現(xiàn)，研究人員提出了新型基準(zhǔn)網(wǎng)絡(luò)模型。利用自動(dòng)機(jī)器學(xué)習(xí)框架來進(jìn)行神經(jīng)架構(gòu)搜索，同時(shí)優(yōu)化了精度和效率(FLOPS)。

最終的架構(gòu)類似MobileNetV2和MnasNet，使用了移動(dòng)反轉(zhuǎn)瓶頸卷積結(jié)構(gòu)(mobile inverted bottleneck)，但在規(guī)模上有些許擴(kuò)大。基于這一基礎(chǔ)網(wǎng)絡(luò)，研究人員利用不同的擴(kuò)充方式得到了規(guī)模化的網(wǎng)絡(luò)家族EfficientNets。

簡單的基準(zhǔn)模型更容易擴(kuò)展和規(guī)模化

EfficientNet的表現(xiàn)

為了測(cè)試模型的性能，研究人員在ImageNet上對(duì)現(xiàn)有的先進(jìn)模型與EfficientNet進(jìn)行了比較，結(jié)果表明EfficientNet在精度和效率上都超過了現(xiàn)有的模型，甚至在相同精度下將模型參數(shù)和操作減小了一個(gè)數(shù)量級(jí)。

在下圖中可以看到，在左上角的高精度區(qū)域，B7型EfficientNet在ImageNet上達(dá)到了84.4%的top-1精度和97.1%的top-5精度，但與先前的GPipe相比在CPU上的運(yùn)行使用的參數(shù)減小了8.4倍同時(shí)速度提升了6.1倍。與廣泛使用的ResNet-50相比，相同參數(shù)的情況下提升了6.3%的top-1精度。

結(jié)果顯示了新的模型家族在精度與效率上的優(yōu)勢(shì)。

此外，為了驗(yàn)證模型的其他數(shù)據(jù)集上的表現(xiàn)，研究人員還將模型遷移到了CIFAR-100和Flowers上，EfficientNet在參數(shù)減少一個(gè)數(shù)量級(jí)（21x）的情況下在8個(gè)測(cè)試數(shù)據(jù)集中的5個(gè)上取得了最好的精度，證明了這一方法具有穩(wěn)定的泛化能力。這種新的模型有望成為計(jì)算機(jī)視覺任務(wù)的新基準(zhǔn)，研究人員開源了所有的代碼，同時(shí)可以看在這里找到基于TPU的加速實(shí)現(xiàn)