圖 1 吳雙（左側(cè)）和李國(guó)齊（右側(cè)）- 被錄用文章的兩位作者

清華大學(xué)類腦計(jì)算研究中心博士生吳雙的論文被 ICLR2018 收錄并在會(huì)上做口頭報(bào)告。迄今為止，這是中國(guó)作為第一署名單位里唯一一篇被 ICLR 會(huì)議收錄的口頭報(bào)告文章。該報(bào)告主要探討如何實(shí)現(xiàn)對(duì)全離散化深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和推理，便于部署到嵌入式設(shè)備中。

ICLR 是深度學(xué)習(xí)領(lǐng)域的頂會(huì)，更被譽(yù)為深度學(xué)習(xí)的“無冕之王”，得到了 google, Facebook, DeepMind, Amazon，IBM 等眾多高科技公司的高度關(guān)注和參與。ICLR2018 于當(dāng)?shù)貢r(shí)間 2018 年 4 月 30 日在加拿大溫哥華會(huì)展中心召開，為期 4 天。本次大會(huì)的主席是深度學(xué)習(xí)領(lǐng)域三巨頭中的 Yoshua Bengio（蒙特利爾大學(xué)）和 Yann LeCun （紐約大學(xué) & Facebook），本次大會(huì)收到一千多篇投稿文章，其中僅有 23 篇被收錄為本次會(huì)議的口頭報(bào)告文章。

吳雙同學(xué)的報(bào)告題目為 “Training and Inference with Integers in Deep Neural Networks”。

離散化架構(gòu) WAGE，訓(xùn)練推理合二為一

該報(bào)告主要探討如何實(shí)現(xiàn)對(duì)全離散化深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和推理，便于部署到嵌入式設(shè)備中。

在深度學(xué)習(xí)領(lǐng)域，高精度意味著大面積、高功耗，從而導(dǎo)致高成本，這背離了嵌入式設(shè)備的需求，因此硬件加速器和神經(jīng)形態(tài)芯片往往采用低精度的硬件實(shí)現(xiàn)方式。在低精度的算法研究方面，之前的工作主要集中在對(duì)前向推理網(wǎng)絡(luò)的權(quán)重值和激活值的縮減，使之可以部署在硬件加速器和神經(jīng)形態(tài)芯片上；而網(wǎng)絡(luò)的訓(xùn)練還是借助于高精度浮點(diǎn)實(shí)現(xiàn)（GPU）。這種訓(xùn)練和推理的分離模式往往導(dǎo)致需要耗費(fèi)大量的額外精力，對(duì)訓(xùn)練好的浮點(diǎn)網(wǎng)絡(luò)進(jìn)行低精度轉(zhuǎn)換，這不僅嚴(yán)重影響了神經(jīng)網(wǎng)絡(luò)的應(yīng)用部署，更限制了在應(yīng)用端的在線改善。

為應(yīng)對(duì)這種情況，本文提出了一種聯(lián)合的離散化架構(gòu) WAGE，首次實(shí)現(xiàn)了將離散化神經(jīng)網(wǎng)絡(luò)的反向訓(xùn)練過程和前向推理合二為一。具體來說就是將網(wǎng)絡(luò)權(quán)重、激活值、反向誤差、權(quán)重梯度用全用低精度整形數(shù)表達(dá)，在網(wǎng)絡(luò)訓(xùn)練時(shí)去掉難以量化的操作及操作數(shù)（比如批歸一化等），從而實(shí)現(xiàn)整個(gè)訓(xùn)練流程全部用整數(shù)完成。

在數(shù)據(jù)集實(shí)測(cè)中，WAGE 的離散化方法能夠有效的提高測(cè)試精度。由于該方法能夠同時(shí)滿足深度學(xué)習(xí)加速器和神經(jīng)形態(tài)芯片的低功耗和反向訓(xùn)練需求，更使之具備高效地在線學(xué)習(xí)的能力，對(duì)未來多場(chǎng)景、多目標(biāo)的可遷移、可持續(xù)學(xué)習(xí)的人工智能應(yīng)用將大有裨益。

WAGE框架將訓(xùn)練和推理中的所有層中的權(quán)重（ weights ，W），激活值（ activations ，A），梯度（ gradients ，G）和誤差（ errors ，E）限制為低位整數(shù)。首先，對(duì)于操作數(shù)，應(yīng)用線性映射和方向保持移位來實(shí)現(xiàn)三元權(quán)重，用于激活和梯度累加的8位整數(shù)。其次，對(duì)于操作，批歸一化由一個(gè)常數(shù)因子取代。用于微調(diào)的其他技術(shù)（如具有動(dòng)量和L2正則化的SGD優(yōu)化器）可以簡(jiǎn)化或放棄，性能的下降很小。考慮到整體雙向傳播，我們完全簡(jiǎn)化了累積比較周期的推理，并分別訓(xùn)練到具有對(duì)齊操作的低位乘法累加（MAC）周期。

所提出的框架在MNIST，CIFAR10，SVHN，ImageNet數(shù)據(jù)集上進(jìn)行評(píng)估。相對(duì)于只在推理時(shí)離散權(quán)重和激活的框架，WAGE具有可比的準(zhǔn)確性，并且可以進(jìn)一步減輕過擬合。WAGE為DNN生成純粹的雙向低精度整數(shù)數(shù)據(jù)流，可以將其用于專門硬件的訓(xùn)練和推理。我們?cè)贕itHub上發(fā)布了代碼。

圖1

圖2：WAGE的量化方法

實(shí)現(xiàn)細(xì)節(jié)

MNIST：采用LeNet-5的一個(gè)變體。WAGE中的學(xué)習(xí)率η在整個(gè)100個(gè)epochs中保持為1。我們報(bào)告了測(cè)試集上10次運(yùn)行的平均準(zhǔn)確度。

SVHN＆CIFAR10：錯(cuò)誤率的評(píng)估方式與MNIST相同。

ImageNet：使用AlexNe模型在ILSVRC12數(shù)據(jù)集上評(píng)估WAGE框架。

表1：WAGE及其他方法在多個(gè)數(shù)據(jù)集上的測(cè)試或驗(yàn)證錯(cuò)誤率（％）

圖3：訓(xùn)練曲線

結(jié)論和未來工作

這項(xiàng)工作的目標(biāo)是展示在DNN中應(yīng)用低位整數(shù)訓(xùn)練和推理的潛力。與FP16相比，8-bit整數(shù)運(yùn)算不僅會(huì)降低IC設(shè)計(jì)的能耗和面積成本（約5倍，見Table 5），還會(huì)減少訓(xùn)練期間內(nèi)存訪問成本和內(nèi)存大小要求，這將大大有利于具有現(xiàn)場(chǎng)學(xué)習(xí)能力的的移動(dòng)設(shè)備。這個(gè)工作中有一些沒有涉及到的點(diǎn)，未來的算法開發(fā)和硬件部署還有待改進(jìn)或解決。

表5

WAGE使DNN的純低位整數(shù)數(shù)據(jù)流進(jìn)行訓(xùn)練和推理得以實(shí)現(xiàn)。我們引入一種新的初始化方法和分層常數(shù)比例因子來取代批歸一化，這是網(wǎng)絡(luò)量化的一個(gè)難點(diǎn)。此外，還探討了誤差計(jì)算和梯度累積的位寬要求。實(shí)驗(yàn)表明，我們可以量化梯度的相對(duì)值，并且在反向傳播中丟棄大多數(shù)小值及其數(shù)量級(jí)。雖然為了穩(wěn)定收斂和最終的精度，權(quán)重更新的積累是必不可少的，但仍然可以在訓(xùn)練中進(jìn)一步減少壓縮和內(nèi)存消耗。WAGE在多個(gè)數(shù)據(jù)集實(shí)現(xiàn)了最高精度。通過微調(diào)、更有效的映射、批歸一化等量化方法，對(duì)增量工作有一定的應(yīng)用前景。總而言之，我們提出了一個(gè)沒有浮點(diǎn)表示的框架，并展示了在基于整數(shù)的輕量級(jí)ASIC或具有現(xiàn)場(chǎng)學(xué)習(xí)能力的FPGA上實(shí)現(xiàn)離散訓(xùn)練和推理的潛力。