科大訊飛A.I.研究院聯合中科大語音及語言信息處理國家工程實驗室（NELSLIP）（以下統稱為訊飛-中科大聯合團隊）在近期舉辦的計算機視覺頂級會議CVPR 2019和文檔分析與識別頂級會議ICDAR 2019上的多項評測任務中獲得冠軍：

1.在計算機視覺與模式識別國際會議（CVPR 2019）舉辦的物體檢測挑戰賽DIW 2019（Detection in the Wild challenge Workshop 2019）上取得Objects365 Tiny Track第一，Objects365 Full Track第三的佳績；

2.在文檔分析與識別國際會議（ICDAR 2019）舉辦的多項賽事中，包攬手寫數學公式識別挑戰賽CROHME（Competition on Recognition of Handwritten Mathematical Expressions）全部兩項任務以及場景文本視覺問答挑戰賽ST-VQA（Scene Text Visual Question Answering）挑戰賽上全部三項任務冠軍，此外還取得了街景招牌中文文本識別挑戰賽ReCTS（Reading Chinese Text on Signboard）單字識別任務冠軍。

這一系列的佳績標志著科大訊飛在計算機視覺領域的積累日益深厚，始終保持著先進的水平和探索的步伐。

DIW2019挑戰賽

DIW 2019挑戰賽由曠視科技與北京智源人工智能研究院共同舉辦，該項賽事吸引了包括騰訊、百度、字節跳動等300多支隊伍參賽，其所采用的Objects365數據集包含63萬張圖像，高達1000萬人工標注框，覆蓋365個日常物體類別，堪稱最大通用物體檢測數據集。

相比于大家熟知的ImageNet和COCO數據集，Objects365數據集更貼近自然場景，覆蓋更多的類別并且提供了更密集的標注，由于數據分布極度不均衡，因此極大增加了比賽的難度，對算法提出了更高的要求。

作為計算機視覺的兩項基礎任務，物體檢測和分割一直以來是業界主流的研究方向。科大訊飛團隊在2018年10月刷新了國際自動駕駛權威評測Cityscapes全部兩項子任務（駕駛場景語義分割和實例分割）的世界紀錄。

在本次DIW2019比賽中，訊飛-中科大聯合團隊在以往視覺技術積累的基礎上，針對該項任務中物體尺度多樣性和樣本數量分布不均衡的特點，對物體檢測的經典框架Faster-RCNN進行針對性改進：混合樣本數據增強策略提升網絡的泛化能力；多級可變形卷積使得網絡的感受野能夠更加適應相應尺度下的候選框；級聯檢測方案逐步提升了候選框的質量。此外針對更具挑戰性的Tiny Track任務（樣本數量小），遷移Objects365 Full Track模型提升Objects365 Tiny Track的性能，并融合兩個賽道模型進一步提升了Full Track的檢測效果。

物體檢測和分割在工業界同樣具有廣泛的應用前景，科大訊飛在這兩項基礎任務上的技術積累不僅確保團隊在各項賽事中持續保持競爭力，也為應用落地提供了扎實的技術保障，無論是訊飛翻譯機中的圖文識別，醫療影像領域中的輔助診斷，以及視頻結構化技術中的視頻理解等，都蘊含著科大訊飛對核心技術的不懈追求和對應用落地的堅定決心。

CROHME 挑戰賽

在2018年的ICPR MTWI圖文識別挑戰賽中科大訊飛A.I.研究院包攬了全部三項任務的冠軍，充分說明了科大訊飛在自然場景文字識別技術上的領先性。本次訊飛-中科大聯合團隊選擇挑戰難度更高的手寫數學公式識別任務CROHME。該項賽事由美國羅切斯特理工學院（Rochester Institute of Technology）負責承辦，吸引了MyScript、三星、 WIRIS（MathType）、中科院自動化所、中山大學等多家在手寫數學公式識別領域著名的國內外研究機構參與。

訊飛-中科大聯合團隊參加了在線手寫數學公式識別（Online Handwritten Mathematical Expressions Recognition）和離線手寫數學公式識別（Offline Handwritten Mathematical Expressions Recognition）的兩項主要任務，這兩項任務的不同之處在于，前者的輸入為手寫數學公式的筆劃軌跡，它記錄了筆劃書寫的先后順序，常應用于實時的在線手寫識別應用場景，在線手寫識別系統需要采集用戶在手機、平板等在線化輸入設備上書寫的字符軌跡作為系統輸入；后者的輸入則為手寫數學公式的圖像，常應用于拍照、掃描等離線手寫識別應用場景，該場景下用戶只需要將手寫字符的照片送入離線手寫識別系統中即可完成分析與識別。

在線數學公式（手寫軌跡）

離線數學公式（靜態圖像）

CROHME 2019使用的數據集是由美國羅切斯特理工學院收集和標注的手寫數學公式，其中訓練集共9993個，驗證集共986個，測試集共1199個，此次比賽不僅要求參賽系統識別出公式中的每個字符，還要求參賽系統給出被識別的字符之間的位置關系，因此，相比于常規OCR任務，該任務的難點在于：

1)位置關系

位置關系不再只是常規OCR任務中單一的左右或者上下的關系，還存在垂直、包含、上下標等多種結構關系以及這些結構關系之間的組合嵌套；

2)字符尺寸

數學公式中的字符尺寸差異較常規OCR任務更大；

3)書寫風格

書寫者的書寫風格會使得某些不同字符之間容易產生混淆，且同樣的字符由不同書寫者書寫，不僅字符形態差異可能會很大，對于在線任務來說，其筆劃軌跡的順序也有可能會不一致；

科大訊飛在手寫文字識別領域已深耕多年。與將字符識別和位置關系識別分別建模的傳統數學公式識別思路不同，科大訊飛使用的參賽系統正是借鑒了手寫文字識別技術中基于空間注意力機制的Encoder-Decoder思想，實現了數學公式的字符和位置關系的端到端識別，同時提出了多尺度空間注意力機制以解決由字符尺寸差異較大帶來的識別字符丟失問題。此外，針對不同書寫者書寫風格迥異的問題，提出了空間注意力引導機制和時間注意力機制，從空間和時間兩個維度上提升注意力的準確度，最后融合了多種不同模態的信息提升了系統最終決策的效果。

基于雄厚的人工智能核心技術，科大訊飛在應用領域正積極落地。特別在教育領域，以行業領先的高精準手寫識別技術、智能評測技術為典型應用代表的智能評卷系統，目前已經在CET、多地中高考中實現了人機結合的智能輔助評分新方式，最大限度的保證了評卷質量。同時，在日常教學環節中，基于對每一個學生個體作業練習測試的精準識別和深度數據挖掘，科大訊飛形成了以數據驅動方式實現的個性化精準教學。通過圖文識別、智能評測分析每個學生的知識掌握薄弱環節，針對性地實現個性化學習推薦，讓每個孩子回家后有針對自己能力水平的不同家庭作業，讓每個老師有更多的時間推動因材施教。

ST-VQA挑戰賽

ST-VQA（Scene Text Visual Question Answering）是由CVC（Computer Vision Center）舉辦的一項視覺問答挑戰賽，要求算法能夠像人類一樣解析圖像中實體之間的關系，并正確地回答出問題。這一方面對算法的圖像檢測和分割等前端技術提出了要求；另一方面還需要算法具備多模態數據融合、理解和推理的能力，是未來人工智能的發展方向之一。

如在下圖的場景中為了找出藍色公交車的目的地，首先需要正確地識別出藍色公交車的位置，并推理出公交車的目的地顯示在公交車前方的電子顯示屏上，最后需要算法識別出電子顯示屏上的內容。

ST-VQA比賽總共分為三個任務，分別為Task1-Strongly Contextualized、Task2-Weakly Contextualized和Task3-Open Dictionary，這三項任務的不同之處在于Task1會對每張圖像給定一個候選詞表，Task2會對整個數據集給定一個候選詞表，而Task3則沒有額外的詞表用于輔助答案的預測。這三個任務的難度逐漸增加，訊飛-中科大聯合團隊參加了全部三項比賽，并包攬冠軍。

針對于此次參加的ST-VQA任務，訊飛-中科大聯合團隊將模型分為視覺理解前端模型和視覺推理后端模型。文本檢測和物體檢測模型作為前端模型從圖像中提取出有效實體，此外針對數據集中的語料少的問題，借鑒了科大訊飛在SQuAD2.0評測任務上采用無監督預訓練模型的思想并加以改進，成功融入到了前端模塊中。

在后端網絡的設計上，團隊設計了相應的Encoder-Decoder模型用于融合上述從圖像中提取得到的實體信息和問題數據并預測出答案，此外在Encoder-Decoder模型的設計過程中融合了多任務的設計思想，使其能夠兼容三項任務，從而使得這三項任務能夠同時訓練，相互提升。參加ST-VQA比賽，是訊飛在視覺理解以及多模態數據融合方面的前瞻性探索，比賽中使用的技術為公司未來在多模態交互方面的發展打下了基礎。

作為亞太地區知名的智能語音與人工智能上市公司，圍繞著訊飛超腦，科大訊飛一直秉承技術頂天、產品落地的戰略理念，在核心技術上不斷創新。基于此，科大訊飛在智能語音、自然語言處理等領域碩果累累，也在視覺場景理解領域獲得長足進步，并且積極推動相關賽道技術落地，在教育、醫療、政法等業務上已經取得了很好的成效。未來，訊飛將全面持續推進核心技術的優化迭代與落地應用，努力踐行用人工智能建設美好世界的公司使命。