電信營(yíng)業(yè)廳 APP 作為中國(guó)電信在線服務(wù)的入口級(jí)應(yīng)用，我們的開(kāi)發(fā)團(tuán)隊(duì)通過(guò) TensorFlow 與人工智能 AI 技術(shù)有了親密的接觸。

人工智能這個(gè)領(lǐng)域我們以前從未探索過(guò)，甚至參與項(xiàng)目開(kāi)發(fā)的工程師都是由 Android 開(kāi)發(fā)轉(zhuǎn)型而來(lái)，所以本文將以機(jī)器學(xué)習(xí)小白的視角談一談我們?nèi)绾问褂?TensorFlow 實(shí)現(xiàn)人工智能，以及我們的心路歷程。

為了提升體驗(yàn)，讓用戶(hù)在充值這個(gè)最常用功能中感受一下所謂的黑科技，我們?cè)?2016 年啟動(dòng)了充值卡掃描項(xiàng)目，希望用戶(hù)打開(kāi)攝像頭對(duì)準(zhǔn)充值卡密碼輕松一掃即可完成充值。其核心 OCR 識(shí)別算是比較古老的研究領(lǐng)域，充值卡密碼是數(shù)字加空格的組合，想想應(yīng)該不難。

我們當(dāng)時(shí)使用的方案，大概如下圖的過(guò)程：

最終效果當(dāng)然是不太理想，充值卡與名片文檔不同，密碼區(qū)域刮開(kāi)的大小因人而異、噪點(diǎn)非常不規(guī)則、掃描時(shí)手的抖動(dòng)會(huì)增加錯(cuò)誤的發(fā)生等等因素，加上我們沒(méi)有在 OCR 領(lǐng)域的經(jīng)驗(yàn)積累，最終沒(méi)能達(dá)到良好的用戶(hù)體驗(yàn)而不得不擱淺。但是在隨后的日子里，我們與 TensorFlow 結(jié)下了不解情緣。

在 2017 年谷歌開(kāi)發(fā)者大會(huì)上我們了解到，谷歌人工智能底層的技術(shù)已經(jīng)開(kāi)源化，TensorFlow 的推出是為了讓普通開(kāi)發(fā)者將關(guān)注點(diǎn)從 “如何造輪子” 轉(zhuǎn)移到 “輪子的花紋和樣式” 上來(lái)，現(xiàn)場(chǎng)由谷歌工程師 Anna 全程用中文為大家介紹這個(gè)框架，她的演講很贊，為了不錯(cuò)過(guò)每一個(gè)細(xì)節(jié)我聽(tīng)得很仔細(xì)很投入。

從大會(huì)回來(lái)之后，我們推翻重來(lái)并改變了思路：搭建一個(gè)神經(jīng)網(wǎng)絡(luò)讓它學(xué)會(huì)認(rèn)識(shí)電信充值卡。

end2end learning：

神經(jīng)網(wǎng)絡(luò)思想給我們帶來(lái)了徹底的改變，所謂 end2end 模型是要通過(guò)這個(gè)模型輸入圖片直接獲得結(jié)果數(shù)字。這種方式，不再需要手工處理圖片的特征，任何部分的誤差，都作為整體的一部分，通過(guò)神經(jīng)網(wǎng)絡(luò)的反向傳播都能得到修正。

seq2seqlearning：

seq2seq 是一種 Encoder–Decoder 結(jié)構(gòu)的網(wǎng)絡(luò)，它的輸入是一個(gè)序列，輸出也是一個(gè)序列， Encoder 中將一個(gè)可變長(zhǎng)度的信號(hào)序列變?yōu)楣潭ㄩL(zhǎng)度的向量表達(dá)，Decoder 將這個(gè)固定長(zhǎng)度的向量變成可變長(zhǎng)度的目標(biāo)的信號(hào)序列。這種結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)常用于語(yǔ)音識(shí)別，也可以用于不定長(zhǎng)文字的 OCR 識(shí)別。對(duì)于我們的項(xiàng)目而言 Encoder 輸入是 200*30 大小的圖像，Decoder 是可變長(zhǎng)度的數(shù)字加空格組合。

神經(jīng)網(wǎng)絡(luò)搭建：CNN+LSTM+CTC

這是個(gè)成熟且先進(jìn)的神經(jīng)網(wǎng)絡(luò)架構(gòu)，我們?cè)诜治鰧W(xué)習(xí)了許多科學(xué)界論文后選定了這個(gè)方案，CNN 卷積神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)抓取圖片特征，LSTM 長(zhǎng)短期記憶網(wǎng)絡(luò)負(fù)責(zé)對(duì)字符的識(shí)別，CTC 算法對(duì)結(jié)果進(jìn)行對(duì)齊優(yōu)化。這個(gè)方案有很多優(yōu)秀的TF項(xiàng)目可以參考，使用 TF 實(shí)現(xiàn)其網(wǎng)絡(luò)結(jié)構(gòu)也非常方便，這使我們更快更容易的著手開(kāi)發(fā)工作。

在我們剛接觸神經(jīng)網(wǎng)絡(luò)的時(shí)候，看到某位大神曾經(jīng)說(shuō)過(guò) “深度學(xué)習(xí)框架是一個(gè)煉丹爐”，這句話形容的恰到好處，使我們更直觀的理解機(jī)器學(xué)習(xí)的過(guò)程，如今我們已經(jīng)有了這煉丹爐和配方（TensorFlow、網(wǎng)絡(luò)結(jié)構(gòu)方案），下一步的關(guān)鍵是數(shù)據(jù)。數(shù)據(jù)的質(zhì)量和數(shù)量直接影響模型的識(shí)別效果，由于沒(méi)有足夠的實(shí)體卡樣本，我們使用程序模擬需要的圖片，要盡量做得真實(shí)、包含盡可能多的特征才行。先從一張簡(jiǎn)單的充值卡入手，我們的取景框?qū)⒔裹c(diǎn)縮小到 200*30 這么大的區(qū)域里：

通過(guò)不斷訓(xùn)練、對(duì)比模型識(shí)別識(shí)別結(jié)果，將模型沒(méi)有學(xué)習(xí)到的特征加入進(jìn)來(lái)，我們得到了下面的數(shù)據(jù)優(yōu)化路線：

基礎(chǔ)版本：

傾斜、變形、位移：

不同的字體：

模擬未干凈效果，加入隨機(jī)噪點(diǎn)：

強(qiáng)光：

弱光：

抖動(dòng)模糊：

以上特征隨機(jī)組合出現(xiàn)，且力度在一定區(qū)間內(nèi)隨機(jī)取值，生成的訓(xùn)練數(shù)據(jù)集 30 萬(wàn)，測(cè)試數(shù)據(jù)集 1 萬(wàn)：

接下來(lái)是機(jī)器訓(xùn)練的過(guò)程，這個(gè)階段最磨煉心性，機(jī)器在學(xué)習(xí)人也在成長(zhǎng)。分享一點(diǎn)心得：

1、我們能夠總結(jié)這段經(jīng)驗(yàn)是源于上百次的訓(xùn)練記錄，詳細(xì)記錄每次訓(xùn)練的筆記是一個(gè)好習(xí)慣。

2、每次只調(diào)整網(wǎng)絡(luò)參數(shù)或只修改數(shù)據(jù)特征，這樣方便比較結(jié)果。

3、善于運(yùn)用TensorBoard使你更直觀的查看網(wǎng)絡(luò)結(jié)構(gòu)，了解訓(xùn)練過(guò)程。我們保留了 TB 的全部訓(xùn)練日志，通過(guò)訓(xùn)練曲線對(duì)比不同超參數(shù)對(duì)訓(xùn)練結(jié)果的影響是非常方便的。

最后是方案的選型，我們一開(kāi)始青睞于 TF Lite 的小巧、靈活，但是當(dāng)時(shí) TF Lite 還不支持 LSTM 算子，將來(lái)我們會(huì)再?lài)L試使用 TF Lite，因?yàn)槎藗?cè)人工智能應(yīng)該是未來(lái)的主流。 考慮到我們的圖片只有 200*30 的像素大小，實(shí)際傳輸不太消耗網(wǎng)絡(luò)，所以 TF Serving 作為最終方案，實(shí)際上效果也確實(shí)不錯(cuò)。

方案

TF Lite

TF Mobile

TF Serving ?

優(yōu)點(diǎn)

1、體積小：大概 300K。

1、支持全部神經(jīng)網(wǎng)絡(luò)算子。

2、性能優(yōu)秀。

1、客戶(hù)端輕量操作。

2、一切云端可控制，包括模型更新等。

3、支持高并發(fā)訪問(wèn)

缺點(diǎn)

1、當(dāng)時(shí)缺少 LSTM 算子

1、體積較大，估計(jì) AndroidSDK大概 5M 左右。

2、需考慮模型更新方案。

3、需考慮適配，安卓低版本機(jī)器不支持。

1、識(shí)別性能受網(wǎng)絡(luò)速度影響。

最終的效果：逆光、抖動(dòng)、數(shù)字嚴(yán)重遮擋依然可以輕松識(shí)別！

模型訓(xùn)練的成功率為 99.3% ，完成一次識(shí)別的耗時(shí) 0.05 秒，達(dá)到這樣的效果，讓我們非常驚喜、興奮！用戶(hù)體驗(yàn)之后反響也非常不錯(cuò)！能夠做到這些得益于優(yōu)秀的 TensorFlow 機(jī)器學(xué)習(xí)框架、先進(jìn)的神經(jīng)網(wǎng)絡(luò)解決方案，這讓我想起 2007 年剛接觸 Android 系統(tǒng)時(shí)的感受：不再需要考慮設(shè)備底層代碼的編寫(xiě)極大的降低了開(kāi)發(fā)者的門(mén)檻，正如今天 TF 帶給我們的一樣，入門(mén)級(jí)玩家也可以使用人工智能技術(shù)。

最后向一直堅(jiān)持做機(jī)器學(xué)習(xí)的開(kāi)發(fā)者們致敬：你們的堅(jiān)持和分享精神使我們更快的掌握和使用這項(xiàng)技術(shù)，相信在我們共同努力下人工智能領(lǐng)域?qū)⒉粩嗤黄疲邕@條曲線一樣歷經(jīng)磨練守得云開(kāi)見(jiàn)月明。