人臉識別的理解：人臉識別(Face Recognition)是一種依據人的面部特征(如統計或幾何特征等)，自動進行身份識別的一種生物識別技術，又稱為面像識別、人像識別、相貌識別、面孔識別、面部識別等。通常我們所說的人臉識別是基于光學人臉圖像的身份識別與驗證的簡稱。

一、發展與市場

??

1、人臉識別的發展簡史：

第一階段（1950s—1980s）初級階段：

人臉識別被當作一個一般性的模式識別問題，主流技術基于人臉的幾何結構特征。這集中體現在人們對于剪影（Profile）的研究上，人們對面部剪影曲線的結構特征提取與分析方面進行了大量研究。人工神經網絡也一度曾經被研究人員用于人臉識別問題中。較早從事 AFR 研究的研究人員除了布萊索（Bledsoe）外還有戈登斯泰因（Goldstein）、哈蒙（Harmon）以及金出武雄(Kanade Takeo)等。總體而言，這一階段是人臉識別研究的初級階段，非常重要的成果不是很多，也基本沒有獲得實際應用。

第二階段（1990s）高潮階段：

這一階段盡管時間相對短暫，但人臉識別卻發展迅速，不但出現了很多經典的方法，例如Eigen Face, Fisher Face和彈性圖匹配；并出現了若干商業化運作的人臉識別系統，比如最為著名的 Visionics（現為 Identix）的 FaceIt 系統。 從技術方案上看， 2D人臉圖像線性子空間判別分析、統計表觀模型、統計模式識別方法是這一階段內的主流技術。

第三階段（1990s末~現在）

人臉識別的研究不斷深入，研究者開始關注面向真實條件的人臉識別問題，主要包括以下四個方面的研究：1）提出不同的人臉空間模型，包括以線性判別分析為代表的線性建模方法，以Kernel方法為代表的非線性建模方法和基于3D信息的3D人臉識別方法。2）深入分析和研究影響人臉識別的因素，包括光照不變人臉識別、姿態不變人臉識別和表情不變人臉識別等。3）利用新的特征表示，包括局部描述子（Gabor Face, LBP Face等）和深度學習方法。4）利用新的數據源，例如基于視頻的人臉識別和基于素描、近紅外圖像的人臉識別。

二、市場研究

1、全球人臉識別市場

前瞻根據人臉識別行業發展現狀；到2016年，全球生物識別市場規模在127.13億美元左右，其中人臉識別規模約26.53億美元，占比在20%左右。預計到2021年，全球人臉識別市場預計將達到63.7億美元，按預計期間的復合增長率達17.83％。

2、中國人臉識別市場

前瞻根據人臉識別行業發展現狀，估算我國人臉識別市場規模約占全球市場的10%左右。2010-2016年，我國人臉識別市場規模逐年增長，年均復合增長率達27%。2016年，我國人臉識別行業市場規模約為17.25億元，同比增長27.97%，增速較上年上升4.64個百分點。

3、國內主要玩家分布

1）中國部分人臉識別公司（排名不分先后）

2） 四大獨角獸介紹及對比細分領域

（1）曠視科技：

2014年，獲阿里巴巴旗下螞蟻金服投資，主攻金融和監控兩大行業，有子公司曠視智安；團隊成員除了幾名來自清華校友外，還有來自美國哥倫比亞大學、英國牛津大學和美國南加州大學的科研及開發人員，截至目前核心員工僅有百余人。

在金融、安防、零售領域分別開始了商業化探索成功發育出Face++Financial，Face++Security，Face++BI等垂直人臉驗證解決方案，主要將人臉識別應用在互聯網產品上，自己做研發，在美圖秀秀、淘寶等互聯網領域得到良好的應用，在金融領域的市場一直占據沙發前排陣營；2017年獲得33億元C+輪融資，最后選擇通過計算機視覺技術與NLP技術的結合，制造出能“識別萬物”的智能機器人，提供硬件模組，里面內置他們家的算法。目前正在準備啟動IPO的步伐，VIE架構讓他們得以繞過A股，不用達到連續三年盈利的標準實現快速上市。

（2）商湯科技：

SenseTime（商湯科技），獲IDG資本投資，主攻金融、移動互聯網、安防監控三大行業；由香港中文大學的湯曉歐院士創建，“商湯”中的湯指的就是湯曉歐本人，湯曉鷗及其研究團隊所開發的DeepID算法率先將深度學習應用到人臉識別上，在技術指標上實現了新的突破。主要案例是圍繞各個美化軟件與直播平臺制作人臉貼圖，重點強化了人臉識別的關鍵點檢測及跟蹤技術。

團隊有300多號，也從當初toC轉向toB領域；成立于2014年的商湯科技選擇另辟蹊徑，選擇用“四大美女”這個話題讓人們躁動起來，到最后四大美女走了三個；商湯的網絡都是自己設計的，這樣對于深度學習網絡的掌控力就會更強，提供SaaS服務的同時，可以通過SaaS把背后的數據拿到，再進行更多更細致的分析再次提升服務質量。

（3）云從科技：

2015年4月，周曦拿到戰略投資成立云從科技，同年針對金融和銀行業推出了40多種解決方案，包含從算法、產品、銷售、售后的全產業鏈打造，針對農行、建行、交行、中行及多地公安提供定制化服務。團隊成員除了來自中科大的校友外，還來自中國科學院各大研究所、UIUC、IBM、NEC、MicroSoft等全球頂尖學府及研究機構。

截止2016年11月，成立一年半，研發團隊擴展為200余名，核心產品是人臉識別系統及IBIS集成生物識別平臺，還具備3D模型、紅外活體、靜默活體等技術，可根據場景需求自由調節。選擇連接硬件、開發與技術，屬于全產業鏈模式，因為人臉識別系統多數情況下需要深度定制，只有這樣，才能在客戶提出需求的情況下迅速反饋，修改，統一用戶體驗。

（4）依圖科技：

2012 年九月，朱瓏與他的好友林晨曦在創立依圖科技，這家從事人工智能創新性研究的創企從圖像識別入手，首先與全國省市級公安系統合作，對車輛品牌、型號等進行精準識別，隨后擴展到人像識別，通過靜態人像比對技術和動態人像比對技術，協助公安系統進行人員身份核查、追逃、監控、關系挖掘等。

發展近 6年，依圖科技的產品已經應用到全國二十多個省市地區的安防領域，安防領域之外，依圖也進入智慧城市領域和健康醫療領域，它要協助政府構建"城市大腦"，也希望將醫療領域的巨大知識鴻溝縮小，改善醫患體驗。

（5）細分領域對比表

（6）主要客戶對比

4、商業模式

1）人臉識別商業模式設計步驟

2）人臉識別盈利模式

三、人臉識別的流程及主要技術

1、人臉識別系統組成

2、人臉識別的一般流程：

1）人臉采集：

（1）簡介：

不同的人臉圖像通過攝像鏡頭采集得到，比如靜態圖像、動態圖像、不同的位置、不同表情等，當采集對象在設備的拍攝范圍內時，采集設備會自動搜索并拍攝人臉圖像。

（2）人臉采集的主要影響因素：

圖像大小：人臉圖像過小會影響識別效果，人臉圖像過大會影響識別速度。非專業人臉識別攝像頭常見規定的最小識別人臉像素為60*60或100*100以上。在規定的圖像大小內，算法更容易提升準確率和召回率。圖像大小反映在實際應用場景就是人臉離攝像頭的距離。

圖像分辨率：越低的圖像分辨率越難識別。圖像大小綜合圖像分辨率，直接影響攝像頭識別距離。現4K攝像頭看清人臉的最遠距離是10米，7K攝像頭是20米。

光照環境：過曝或過暗的光照環境都會影響人臉識別效果。可以從攝像頭自帶的功能補光或濾光平衡光照影響，也可以利用算法模型優化圖像光線。

模糊程度：實際場景主要著力解決運動模糊，人臉相對于攝像頭的移動經常會產生運動模糊。部分攝像頭有抗模糊的功能，而在成本有限的情況下，考慮通過算法模型優化此問題。

遮擋程度：五官無遮擋、臉部邊緣清晰的圖像為最佳。而在實際場景中，很多人臉都會被帽子、眼鏡、口罩等遮擋物遮擋，這部分數據需要根據算法要求決定是否留用訓練。

采集角度：人臉相對于攝像頭角度為正臉最佳。但實際場景中往往很難抓拍正臉。因此算法模型需訓練包含左右側人臉、上下側人臉的數據。工業施工上攝像頭安置的角度，需滿足人臉與攝像頭構成的角度在算法識別范圍內的要求。

2）人臉檢測：

（1）簡介：

在圖像中準確標定出人臉的位置和大小，并把其中有用的信息挑出來（如直方圖特征、顏色特征、模板特征、結構特征及Haar特征等），然后利用信息來達到人臉檢測的目的。

（2）人臉關鍵點檢測（人臉對齊）：

自動估計人臉圖片上臉部特征點的坐標。

（3）主流方法：

基于檢測出的特征采用Adaboost學習算法（一種用來分類的方法，它把一些比較弱的分類方法合在一起，組合出新的很強的分類方法）挑選出一些最能代表人臉的矩形特征（弱分類器），按照加權投票的方式將弱分類器構造為一個強分類器，再將訓練得到的若干強分類器串聯組成一個級聯結構的層疊分類器，有效地提高分類器的檢測速度。

最近人臉檢測算法模型的流派包括三類及其之間的組合：viola-jones框架（性能一般速度尚可，適合移動端、嵌入式上使用），dpm（速度較慢），cnn（性能不錯）。

3）人臉圖像預處理：

（1）簡介：

基于人臉檢測結果，對圖像進行處理并最終服務于特征提取的過程。

（2）原因：

系統獲取的原始圖像由于受到各種條件的限制和隨機干擾，往往不能直接使用，必須在圖像處理 的早期階段對它進行灰度矯正、噪聲過濾等圖像預處理。

（3）主要預處理過程：

人臉對準（得到人臉位置端正的圖像），人臉圖像的光線補償，灰度變換、直方圖均衡化、歸一 化（取得尺寸一致，灰度取值范圍相同的標準化人臉圖像），幾何校正、中值濾波（圖片的平滑操作以消除噪聲）以及銳化等。

4）人臉特征提取：

（1）簡介：

人臉識別系統可使用的特征通常分為視覺特征、像素統計特征、人臉圖像變換系數特征、人臉圖像代數特征等。人臉特征提取就是針對人臉的某些特征進行的，也稱人臉表征，它是對人臉進行特征建模的過程

（2）人臉特征提取的方法：

1、基于知識的表征方法（主要包括基于幾何特征法和模板匹配法）：

根據人臉器官的形狀描述以及它們之間的距離特性來獲得有助于人臉分類的特征數據，其特征分量通常包括特征點間的歐氏距離、曲率、和角度等。人臉由眼睛、鼻子、嘴、下巴等局部構成，對這些局部和他們之間結構關系的幾何描述，可作為識別人臉的重要特征，這些特征被稱為幾何特征。

2、基于代數特征或統計學習的表征方法：

基于代數特征方法的基本思想是將人臉在空域內的高維描述轉化為頻域或者其他空間內的低維描述，其表征方法為線性投影表征方法和非線性投影表征方法。

基于線性投影的方法主要有主成分分析法或稱K-L變化、獨立成分分析法和Fisher線性判別分析法。非線性特征提取方法有兩個重要的分支：基于核的特征提取技術和以流形學習為主導的特征提取技術。

5）匹配與識別：

提取的人臉特征值數據與數據庫中存貯的特征模板進行搜索匹配，通過設定一個閾值，將相似度與這一閾值進行比較，來對人臉的身份信息進行判斷。

3、人臉識別的主要方法

1）Eigen Face（特征臉）

MIT實驗室的特克（Turk）和潘特（Pentland）提出的“特征臉”方法無疑是這一時期內最負盛名的 人臉識別方法。其后的很多人臉識別技術都或多或少與特征臉有關系，現在特征臉已經與歸一化的協相關 量(Normalized Correlation)方法一道成為人臉識別的性能測試基準算法。

blog.csdn.net/zizi7/art（人臉識別特征臉算法文檔）

2）Fisher Face（漁夫臉）：

貝爾胡米爾（Belhumeur）等提出的 Fisherface 人臉識別方法是這一時期的另一重要成果。該方法 首先采用主成分分析（PCA）對圖像表觀特征進行降維。在此基礎上，采用線性判別分析（LDA）的方法 變換降維后的主成分以期獲得“盡量大的類間散度和盡量小的類內散度”。該方法目前仍然是主流的人臉 識別方法之一，產生了很多不同的變種，比如零空間法、子空間判別模型、增強判別模型、直接的 LDA 判 別方法以及近期的一些基于核學習的改進策略。

https://blog.csdn.net/zizi7/article/details/52999432（Fisher Face算法文檔）

3）EGM（彈性圖匹配）

其基本思想是用一個屬性圖來描述人臉：屬性圖的頂點代表面部關鍵特征點，其屬性為相應特征點處 的多分辨率、多方向局部特征——Gabor變換12特征，稱為Jet；邊的屬性則為不同特征點之間的幾何 關系。對任意輸入人臉圖像，彈性圖匹配通過一種優化搜索策略來定位預先定義的若干面部關鍵特征點， 同時提取它們的Jet特征，得到輸入圖像的屬性圖。最后通過計算其與已知人臉屬性圖的相似度來完成識 別過程。該方法的優點是既保留了面部的全局結構特征，也對人臉的關鍵局部特征進行了建模。

blog.csdn.net/real_myth（彈性圖匹配算法文檔）

4）基于幾何特征的方法

幾何特征可以是眼、鼻、嘴等的形狀和它們之間的幾何關系（如相互之間的距離）。這些算法識別速 度快，需要的內存小，但識別率較低。

5）基于神經網絡的方法

神經網絡的輸入可以是降低分辨率的人臉圖像、局部區域的自相關函數、局部紋理的二階矩等。這類方法同樣需要較多的樣本進行訓練，而在許多應用中，樣本數量是很有限的。

6）基于線段Hausdorff 距離(LHD) 的方法

心理學的研究表明，人類在識別輪廓圖（比如漫畫）的速度和準確度上絲毫不比識別灰度圖差。LHD是基于從人臉灰度圖像中提取出來的線段圖的，它定義的是兩個線段集之間的距離，與眾不同的是，LHD并不建立不同線段集之間線段的一一對應關系，因此它更能適應線段圖之間的微小變化。實驗結果表明，LHD在不同光照條件下和不同姿態情況下都有非常出色的表現，但是它在大表情的情況下識別效果不好。

7）基于支持向量機(SVM) 的方法

近年來，支持向量機是統計模式識別領域的一個新的熱點，它試圖使得學習機在經驗風險和泛化能力上達到一種妥協，從而提高學習機的性能。支持向量機主要解決的是一個2分類問題，它的基本思想是試圖把一個低維的線性不可分的問題轉化成一個高維的線性可分的問題。通常的實驗結果表明SVM有較好的識別率，但是它需要大量的訓練樣本（每類300個），這在實際應用中往往是不現實的。而且支持向量機訓練時間長，方法實現復雜，該函數的取法沒有統一的理論。

4、技術發展方向

1）結合三維信息：二維和三維信息融合使特征更加魯棒

2）多特征融合：單一特征難以應對復雜的光照和姿態變化

3）大規模人臉比對：面向海量數據的人臉比對與搜索

4）深度學習：在大數據條件下充分發揮深度神經網絡強大的學習能力

5、人臉識別數據庫

1）Yale人臉數據庫

2）ORL人臉數據庫

3）CMU PIE人臉數據庫

4）FERET人臉數據庫

5）MIT數據庫

6）BANCA人臉數據庫

7）CAS-PEAL人臉數據庫

8）JAFE表情數據庫

9）Cohn-Kanade表情數據庫

10）MMI表情數據庫

6、技術指標

1）人臉檢測中的關鍵指標：

例子：在攝像頭某張抓拍圖像中，一共有100張人臉，算法檢測出80張人臉，其中75張是真實人臉，5 張是把路標誤識為人臉。

1、檢測率：識別正確的人臉/圖中所有的人臉。檢測率越高，代表檢測模型效果越好。

2、誤檢率：識別錯誤的人臉/識別出來的人臉。誤檢率越低，代表檢測模型效果越好。

3、漏檢率：未識別出來的人臉/圖中所有的人臉。漏檢率越低，代表檢測模型效果越好。

4、速度：從采集圖像完成到人臉檢測完成的時間。時間約短，檢測模型效果越好。

在這個實際案例中：檢測率=75/100 誤檢率=5/80 漏檢率=（100-75）/100

2）人臉識別中的關鍵指標：

1000張樣本圖片里，共600張正樣本。相似度為0.9的圖片一共100張，其中正樣本為99張。雖然0.9閾值的正確率很高，為99/100；但是0.9閾值正確輸出的數量確很少，只有99/600。這樣很容易發生漏識的情況。

1、精確率（precision）：識別為正確的樣本數/識別出來的樣本數=99/100

2、召回率（recall）：識別為正確的樣本數/所有樣本中正確的數=99/600

3、錯誤接受率/認假率/誤識率（FARFalse Accept Rate）：

1、定義：指將身份不同的兩張照片，判別為相同身份，越低越好

2、FAR = NFA / NIRA

3、式中 NIRA 代表的是類間測試次數，既不同類別間的測試次數，打比方如果有1000個識別 模型，有1000個人要識別，而且每人只提供一個待識別的素材，那 NIRA=1000*(1000-1) 。NFA是錯誤接受次數。

4、FAR決定了系統的安全性，FRR決定了系統的易用程度，在實際中，FAR對應的風險遠遠高于FRR，因此，生物識別系統中，會將FAR設置為一個非常低的范圍，如萬分之一甚至百萬分之一，在FAR固定的條件下，FRR低于5%，這樣的系統才有實用價值。

4、錯誤拒絕率/拒真率/拒識率（FRR False Reject Rate）：

1、定義：指將身份相同的兩張照片，判別為不同身份，越低越好

2、FRR = NFR / NGRA

3、上式中NFR是類內測試次數，既同類別內的測試次數，打比方如果有1000個識別模型， 有1000個人要識別， 而且每人只提供一個待識別的素 材，那 NIRA=1000，如果每個人提供N張圖片，那么 NIRA=N*1000 。NFR是錯誤拒絕次數。

四、行業應用

1、人臉識別（FR）+其他行業

1）FR+金融：

（1）實名認證：

金融機構傳統上使用人工肉眼判斷、短信驗證、綁定銀行卡等手段進行實名認證。這些傳統手段存在準確率不高、客戶體驗較差、成本高等問題，對金融企業業務發展造成了巨大的困擾。基于人臉識別的實名認證方式具有準確率高（一億人中才存在兩人長相相同）、客戶體驗好（認證速度快、客戶操作少）、成本低（相較于傳統認證方式）的優點，已被眾多領先金融企業所采用。

（2）人臉識別在銀行遠程開戶上的應用：

在遠程開戶時，金融機構可以通過智能終端在線上進行身份鑒權驗證，使用人臉識別技術開戶可以極大提升業務辦理的安全性、時效性，并節省大量人力；

（3）刷臉取款：

在這方面人臉取代了銀行卡，只需要人臉+密碼即可完成取款。在前兩個方面，人臉識別技術已經被國內各大銀行廣泛采用，刷臉取款方面，農行和招行搶先一步在ATM上線了刷臉取款功能。

2）FR+醫療：

（1）重點應用：

1、打擊涉醫犯罪，確保就診安全。

建立有針對性的涉醫犯罪人員布控庫，與屬地公安部門配合，進行實時布控。

2、管控職務犯罪，控制不當競爭。

對進入醫院診療區域的醫藥代表進行管控，協助解決藥品流通領域經營不規范、競爭失序等問題。

3、杜絕職業醫鬧，保護人身安全。

打擊頻繁出現的職業醫鬧，提高事件的響應速度，從被動響應變為主動預防。

4、規范就診流程，和諧醫患關系。

重點防范黃牛、醫托等干擾正常就診秩序的特殊人群。

5、加強監管力度，維護醫保基金。

實現就診病人與醫保信息庫中身份證照的比對，杜絕冒用醫保卡的現象。

6、易肇事肇禍嚴重精神障礙患者管控。

結合“雪亮工程”，確保嚴重精神障礙患者流入地、流出地發現管控到位。

（2）人臉識別在醫療行業的應用突破基于三點：

1、獲取到目標對象的信息：

因為行政體系不同，醫療行業想獲取到目標對象信息存在較大困難，需相關行政單位進行關鍵的協調工作。目標對象信息包含但不局限于：人臉照片、人像照片、人員基本信息、人員動態等。

2、人臉識別的算法進一步提升：

目前的人臉識別算法的精度已經達到了相當高的水準，誤報、漏報均已控制在可接受范圍；更近一步的算法，可以從非結構化的視頻/圖片中獲取更多的價值信息，從更多地維度來實現不同的應用。

3、管理者思維和水平的提升：

人工智能、人臉識別是革命性顛覆性的技術，可以給醫療行業帶來巨大的提升。如何將人臉識別真正應用到醫療行業的各方各面需要管理者與技術提供方一起拓展思維、共同努力。

（3）人臉識別在醫療行業的前景：

1、對接公安視頻監控、醫警聯動平臺：

系統滿足公安現有標準要求，后續可與公安機關視頻監控、醫警聯動等平臺進行無縫對接，將報警信息及關聯的視頻、圖片推送給轄區派出所，實現聯動。

2、人臉身份查證：

輸入目標人員照片，即可知道此人身份及其是否屬于重點管控人員，是否曾經來過醫院，及其出現時間、頻次。可用于篩查可疑人員，找到其活動規律。

3、人員軌跡回放：

輸入目標人員照片，即可查詢此人是否來過醫院，到過哪些地方。此功能可還原特定人員的行動軌跡，用于嫌疑人行為研判和事后取證。

4、對接門禁系統：

與門禁系統對接，預留刷臉開門、人臉考勤等高級功能，方便辦公區、手術室、藥品庫、住院部等區域的出入管理。

5、對接刷卡系統：

與二代證、醫保卡等刷卡系統對接，將采集的人臉照片與證件上存儲的照片進行比對，驗證刷卡人的真實身份。

3）FR+新零售：

（1）應用人臉識別的優勢

1、為重點客戶畫像：

幫助賣家獲得顧客和潛在顧客更精準的信息，構建用戶畫像。可以安裝在超市、商場、門店等入口，統計每天進入門店的人數、大致年齡和性別等;另一種可以安裝在貨架上，分析客戶的關注點和消費習慣等。通過大數據分析挖掘回頭客，提升客戶提袋率和VIP轉化率；

2、為零售商降本增益：

以智能化系統來代替人工，以人臉識別系統連接支付端來代替收銀員，能跟快實現零售店的導流和商品人流分析等。

3、減少突發事件的產生：

門店遇到商品失竊的突發事件，通過對所獲數據的分析，也可以將不良客戶拉入“黑名單”或是降低其信用水平。

4、完美連接線上線下：

識別系統獲得的用戶偏好還能反哺線上，將所得數據通過線上反饋給廠商，助力于廠商更全面地了解消費者需求，進而精準地研發產品，設計營銷策略。這些都是完美實現新零售“打通線上線下”內在要求的極佳方式。

（2）人臉識別的安全隱患：

1、人臉特征容易被復制：

眾所周知，破解密碼的最常用手段是復制，通過竊取數字密碼以及套取指紋來解密的案例己經不勝枚舉。與記錄在大腦中或其他介質上面的數字密碼相比，暴露在外面的人臉更容易被復制。通過拍照完全可以獲得一個人的臉部特征并進行復制，利用整容技術或者用照片識別等欺詐的方法可以騙過人臉支付系統。

2、個人信息泄露問題。

在科技發達的今天，人們似乎很輕易就可以通過無孔不入的渠道查到消費者的各種信息。而對于刷臉支付來講，像人臉特征這種人體密碼一旦交給別人保管，個人信息的安全系數將如何確保？獲取用戶的面部特征是否會涉及到個人隱私？基于面部掃描系統的支付在普遍應用之后會不會帶來基于位置服務造成的個人行蹤泄露？

4）FR+安防：

（1）智慧城市的基礎

1、視頻分析：

基于視頻中的人臉照片進行遠距離、快速、無接觸式的重點人員布控預警。讓應用于車站、機場、地鐵等重點場所和大型商場超市等人群密集的公共場所視頻監控系統能夠對視頻圖像進行采集、自動分析、抓取人臉實時比對，主動在監控場景中識別重點關注人員，實現重點人員的布控和識別。

2、重要場所的布控：

對機場、車站、港口、地鐵重點場所和大型商超等人群密集公共場所進行布控，以達到對一些重點人員的排查，抓捕逃犯等目的。

3、靜態庫或身份庫的檢索：

對常住人口、暫住人口的人臉圖片進行預先建庫，通過輸入各種渠道采集的人臉圖片，能夠進行比對和按照相似度排序，進而獲悉輸入人員的身份或者其他關聯信息，此類應用存在兩種擴展形式，單一身份庫自動批量比對并發現疑似的一個人員具有兩個或以上身份信息的靜態庫查重，兩個身份庫之間自動交叉比對發現交集數據的靜態庫碰撞。

4、動態庫或抓拍庫的檢索：

對持續采集的各攝像頭點位的抓拍圖片建庫，通過輸入一張指定人員的人臉圖片，獲得其在指定時間范圍和指定攝像頭點位出現的所有抓拍記錄，方便快速瀏覽，當攝像頭點位關聯GIS系統，則可以進一步的按照時間順序排列檢索得到的抓拍記錄，并繪制到GIS上，得到人員運動的軌跡。

（2）反恐行動的助力

現在新疆、西藏等城市都將人臉識別作為基礎設施建設領域的投資重點，由于人員復雜、居住人口相對混亂等因素，這些城市成為了恐怖襲擊等違法犯罪行為的高發場所。而人臉識別技術采用人臉檢測算法、人臉跟蹤算法、人臉質量評分算法以及人臉識別算法。實現城市居住人員人臉的抓拍采集、建模存儲，實時黑名單比對報警和人臉后檢索等功能。能及時在危險發生之前制止。

（3）兒童安全的保鏢

近年來兒童拐賣活動越來越猖獗，為了更好的保護兒童安全，有些幼兒園、小學在門口已經安裝上了面部識別系統。系統采用人臉識別加IC/ID卡(非接觸式智能卡) 雙重認證：每一位幼兒在入學注冊時進行相關登記：資料、面像、IC/ID卡號、接送者、接送者面像。

每次入園時刷卡進行報道，放學時刷卡并進行接送家長人臉認證，如果認證失敗拍照后即報警通知管理員，如果認證成功即拍照放行。不論識別成功與否，系統都會記錄下被識別者圖像。每一次接送都有詳細的時間、接送人員的照片可供查詢。另外系統提供短信提示的擴展功能，家長可在手機上看到人臉識別認證時所拍的照片，從而監控到接送這個過程，從其中一個重要源頭杜絕了兒童被拐的可能性。

（4）智慧酒店的管理

以前開房登記流程是：接待人員問詢——身份證掃描確認——支付押金——選房層發房卡——打印紙質票據，這些流程非常繁雜，尤其是身份認證耗時最長，若遇到團隊入住情況則更為復雜，身份證識別設備可能會因高頻使用出現故障，而急于進房間休息的顧客卻只能在前臺等待手續完成，客戶體驗非常糟糕。

人臉識別技術就能很好的解決這一難題，幫助酒店實現系統化業務管理和一站式共享解決方案。智慧酒店的安防系統利用人臉識別技術，當顧客走到前臺時系統已經自動根據顧客被攝像頭捕捉到的影像調取顧客身份核對。整個驗證核對過程簡單、快速且實現了自動化，更大幅降低了人工識別造成的誤差。而且，針對酒店VIP客人，系統可實時對比酒店大堂的攝像頭影像和登記在酒店基礎系統中的VIP面部數據，當VIP客人到達時，酒店可第一時間提供個性化周到服務，提高客戶的滿意度。

5）FR+公安

（1）尋人尋親：

對老百姓或其他業務部門提供的照片，直接送入系統進行比對、檢索、篩選，最后人工確認。

（2）派出所擋獲違法人員：

對派出所擋獲的人員，登記筆錄，對于其中一些少數民族、聾啞人或保持沉默者等無法查證身份的人員，可拍攝照片送入各種照片庫中比對，排查涉及大案要案人員，以免漏網；或查證其前科，累計處理。

（3）查證無名尸源：

需要查證無名尸源時，先拍攝正面照片，送入計算機，如果照片閉眼、破損或變形，可用人像合成系統或人工繪制一幅標準照，送入比對系統比對查證。

（4）目擊者描述排查：

獲得現場目擊者對嫌疑人的形象描述后，可用人像合成系統進行排查。

（5）視頻監控照片：

一般監控系統針對場景，得到的涉案嫌疑人的圖像都有模糊、偏轉、逆側光等質量不佳問題，這時需要根據圖像用人像合成系統或人工繪制一幅標準照，送入照片比對系統比對查證。

（6）公共場所集會：

在政府、球場等公共場所，時常會有人員滋事，此時公安民警不便直接帶人處理，可以采用長焦攝像機拍攝特寫鏡頭，如果效果不夠好可以用人像合成系統修正，送入比對系統比對查證。

（7）一代/二代居民身份證識別：

根據犯罪人員的身份證照片信息，與系統照片庫中的信息資料進行比對，提取出與證件上照片相似的人員信息，能充分利用現有的二代身份證照片資源，為公安部門的工作提供高效有利的幫助。

（8）其他應用：

常住人口的比對查詢、暫住人口的比對查詢、重點人口的比對查詢、CCIC在逃人員的比對查詢等。

6）FR+商業場景：

（1）訪客登記：訪客到訪公司，于平板電腦進行訪客信息登記，由攝像頭自動抓取人臉，通過系統打印出 訪客貼紙；

（2）識別迎賓：公司員工，貴賓進入公司入口，攝像頭能識別到訪人員，實現門禁功能管理；

（3）人臉識別考勤：通過入口處的前臺平板電腦進行人臉識別考勤，也可通過手機端進行人臉識別考；

（4）智能生活：較多的園區、樓宇需要人臉門禁系統，人員進出快速通行，便于管理住戶、訪客的進出記 錄；

（5）智慧教育：為嚴防替考事件的發生，確保考試安全，人臉識別可加強考試入場環節的考生身份認證， 并有效實現智能視頻監考、作弊防控等；

（6）智慧商場：利用人臉識別技術追蹤并分析商場內的人流屬性，人群分布等。

2、FR的部分應用

1）人臉檢測跟蹤

1、應用：

商場客流跟蹤分析，地鐵、火車站、會場、機場等場所的可疑人員的跟蹤檢測，體育賽事的現場監控等。

2、難點：

多人臉跟蹤、遠場識別人臉、背景復雜、低質量圖片人臉識別（算法預處理），還有側臉（3D重建人物全面），遮擋，模糊，表情變化、強弱光（多特征融合增強抗干擾力）等各種實際環 境。

3、建議：遠場識別（可依據距離識別）、背景復雜（可虛化無關場景，凸顯主角）。

2）人臉關鍵點定位

1、應用：

可用于圖片的合成、動態圖片的分析（直播行業鑒黃、鑒暴），通過關鍵點分析人臉表情情緒。

2、難點：大角度側臉，表情變化、遮擋、模糊、明暗等，動靜態關鍵點捕捉。

3、建議：對模糊部位可進行平滑處理，根據眼睛、嘴的特點建立不同的區域塊等。

3）人臉身份認證

1、應用：

關鍵性應用（金融身份認證、海關檢查、火車站和機場等進站），非關鍵性應用（智慧小區居民進出、辦公大樓進出、公司單位上班打卡等）

2、難點：

年輕時的證件照和本人識別匹配、戴眼鏡和未戴眼鏡、側臉和正臉、表情、背景干擾、整容后、雙胞胎及長相類似等。

3、建議：

可基于三維人像分析避免認證時的假冒，動作分析等。（曠視的難以區分蠟像、海報和真人）

4）人臉屬性（性別、年齡、種族、表情、飾品、胡須、面部動作狀態

（1）人臉表情識別（Face expression recognition 簡稱FER）

1、普遍認為人類主要有六種基本情感：

憤怒（anger）、高興（happiness）、悲傷（sadness）、驚訝（surprise）、厭惡（disgust）、恐懼（fear）。而大多數表情識別是基于這六種情感及其拓展情緒實現的

2、主要困難點是：

a）表情的精細化程度劃分：每種情緒最微弱的表現是否需要被分類。分類的界限需要產品給出評估規則。

b）表情類別的多樣化：是否還需要補充其他類別的情緒，六種情緒在一些場景下遠不能變現人類的真實 情緒。因此除了基本表情識別外，還有精細表情識別、混合表情識別、非基本表情識別等細致領域的研究。

c）缺少魯棒性

（2）人臉性別識別

性別分類是一個典型的二類問題，人臉性別分類問題需要解決的兩個關鍵問題是人臉特征提取和分類器的選擇。人臉性別識別其實僅能識別到人臉外貌更偏向于女性還是男性，很難對女生男相、男生女相進行正確判斷。

（3）人臉年齡識別

1、難點：

單人的不同年齡段識別和多人的不同年齡段識別，人臉年齡識別常和人臉識別進行組合識別，能更正確的判斷在一定年限內“是否是一個人”的問題；除了以上內容，還有是否戴眼鏡、頭發長度、膚色等。

2、建議：

識別年齡無變化的人臉用分類即可，而對年齡變化的人臉識別方法是通過年齡模擬，將測試圖像和查詢庫中的圖像變換到某一共同的年年齡，從而去除年齡不同的影響，使識別在年齡相同的人臉圖像進行。

（4）人臉屬性的應用：

根據物理屬性（性別、年齡、種族、眼鏡顏值等）可用于廣告定向投放、個性化智能推薦、顧客分析、婚戀交友等；化學屬性（面部動作、情緒等）可用于即時視頻社交、圖片合成、圖片美化等。

（5）識別建議：人臉屬性分析時，可利用K-近鄰算法匹配云端庫里的類似照片后再對相似屬性進行分析。

5）人臉聚類

（1）應用：個性化相冊管理、照片分享社交、婚戀交友相似臉型匹配推薦興趣社交等。

（2）難點：角度、光線、發型、相似臉型等干擾分類。

（3）建議：可基于一張正臉照片，將其他照片進行依次比對分析后再分類等（智能相冊、婚戀社交）。

6）真人檢測

（1）應用：銀行開戶驗證、車站、機場、公司打卡等。

（2）難點：2D和3D的識別檢測、真人與蠟像、硅膠假冒人臉識別、照片和真人識別檢測驗證等。

（3）建議：可基于三維人像分析避免認證時的假冒等，動態識別驗證以區分假象（曠視的難以區分蠟像、海報和真人）。

7）人像美顏/美妝

（1）應用：興趣社交、婚戀交友、圖像合成、個性化用品推薦和廣告投放等。

（2）難點：美顏與一般濾鏡效果的區別、美顏后的自然效果等。

（3）建議：基于數據集的算法更新迭代。

8）人體關鍵點（CPM、DeeperCut）

（1）應用：關鍵動作抓拍、人體姿態估計、舞蹈難度評定。

（2）難點：多目標關鍵點定位、關鍵點遮擋、光線強弱等。

（3）建議：關鍵點遮擋（分塊處理、三維構建找尋關鍵點）

3、FR的商業化

1）從時間上看商業化的不同階段

2)從業務場景上看

（1）場景關鍵點

1、盤子夠大，支撐公司發展

2、數據回流，為公司所用

3、高頻使用，需求占比高

4、可在行業中復制

3）垂直行業人臉解決方案（地產行業為例）

（1）地產行業分布

1、商業地產：辦公樓宇+園區廠區+商業零售+酒店

2、住宅地產：生活小區+公寓

（2）地產行業的市場規模

（3）演變方向及客戶痛點

1、視頻監控：

傳統視頻監控廠家正在進行智能化轉型，從原先的“監控”視頻，到現在的“讀懂”視頻當中的人、 車、物、事；

2、門禁控制：

傳統門禁控制領域價值鏈低，所有廠家正在尋求新的方式來轉型，絕大部分都在生物識別方式上進行 摸索；

人臉識別面板機、閘機及其它通行道閘雨后春筍般出現；

3、樓宇對講：

普通樓宇對講功能已無法滿足使用要求，結合人臉識別功能的門禁系統需求越來越多；

4、防盜告警：

通過智能化手段，達到降本增效目的，已成為防盜告警、巡更檢查等功能的重點迭代方向；

5、可視化系統：

降低非專業人士的使用難度，使得多方數據為“我”所用，為多種決策提供依據；

信息孤島問題亟待解決，萬物互聯已是所有廠家達成的共識。

6、信息孤島問題（痛點）：

(1) 智能化系統種類繁多，系統之間無法實現無縫連接，綜合管理難度大，效率低；

(2) 智能化子系統數據采集離散，標準不一，數據價值大打折扣，無法為管理提供決策依據和幫助；

(3) 各子系統依靠人工管理，人員配備要求高、勞動強度大，人工成本居高不小；

(4) 絕大多數B端客戶不懂具體業務或細節，需要具象化、可視化系統呈現。

（4）建設步驟及架構

1、步驟：

第一步：人員通信管理

基于人員通行管理的平臺系統（功能性產品+后臺系統管理）

員工、VIP、訪客、陌生人、黑名單等人員權限管理；

第二步：傳感網絡融合

CCTV、車輛等；

基于“人員”、“車”、“監控”的三位一體智慧建筑場景應用；

其他子系統模塊鏈接，形成整體傳感網絡，智能物聯；

第三步：商業地產+新零售

人員、車輛、CCTV三功能在工作+消費場景融合；

構建以人為核心的商業綜合體運營方案

2、整體IoT架構

（5）影響因素與優化方案

1、決定監控系統性能的幾個主要因素：

1）模板庫的人數：不宜大，包含關鍵人物即可；

2）經過攝像頭的人數：同時出現在攝像頭的人數決定了單位時間里的比對次數；

3）報警反饋時間：實時性越強，對系統性能要求越高；

4）攝像頭采集幀數：幀數越高，人員經過攝像頭前采集的次數越多，比對的次數也越多。

2、實戰中的優化方案：

1）使用更先進的高清攝像頭（3-5百萬）；

2）室內均勻光線，或室外白天，無側光和折射光；

3）人群面向同樣的方向，朝向相機的方向運動；

4）恰當的監控點，如走廊、巷子或安檢門/閘機口等（不要一群人同時出現）；

5）相機與人臉的角度小于20度。

4）頂尖公司的應用舉例

（1）Google：2011年07月 谷歌收購人臉識別軟件公司PittPatt

（2）Facebook：2012年6月 Facebook收購以色列臉部識別公司Face.com

（3） 微軟：2012年6月 微軟亞洲研究院發布人臉檢測算法，面部識別系統

（4）網易：2012年5月，網易人臉識別系統全國公測，用于郵箱登陸

（5）百度：2012年12月 百度推出人臉識別，基于圖像的全網人臉搜索

（6）阿里：2015年11月，在推出支付寶刷臉認證付款

（7）騰訊：2012年下半年，成立優圖項目組