4月8日，阿里達摩院宣布自主研發出用于車載攝像頭的ISP處理器，保障自動駕駛車輛在夜間擁有更好的“視力”，“看”得更清晰，從而大幅提升自動駕駛安全性。這款ISP處理器的背后技術是達摩院獨有的3D降噪和圖像增強算法。目前，該處理器已經用于自動駕駛物流車，路測性能達到業界領先水平。

ISP處理器是攝像頭的關鍵組件，阿里達摩院進入這個領域的邏輯是什么？

什么是ISP？

ISP是圖像信號處理器（Image Signal Processor）的簡稱，目前已經被廣泛應用于我們每個人的智能手機當中。大家都知道現在有海量的嵌入式設備都帶攝像頭，近至我們的智能手機、很多的大眾消費級的顯示器，當然也包含正在研發當中的智能駕駛系統，以及各種公共場所上的監控設備，遠至在近地軌道上運行的眾多微型衛星，可以說圖像信號的獲取和處理是一個極為廣泛存在的需求。圖像信號處理器能夠對攝像頭拍攝到的畫面做不同程度的分析，并對畫面做不同程序的增強和改善。

以現在的智能手機為例，大家幾乎每天都會使用自己的智能手機來拍照，而現在的各家智能手機廠商，都并不直接研發攝像頭模組，都是采購歐菲光，索尼等第三方廠商的攝像頭模組，有時候不同的智能手機用了同一個廠家、同一個型號的攝像頭，但是照片呈現出來的質量仍然有非常明顯的不同，這很大程度上就是因為各家廠商使用的ISP的好壞導致的。

對于大家比較熟悉的智能手機日常拍照的場景，手機芯片內置的ISP會進行自動人臉對焦，自動白平衡，自動色調映射等一系列功能，這其中有很多講究，都會直接影響到最終照片質量，例如ISP的自動圖像銳化，如果銳化太多，則照片會有比較明顯的“扎眼”的感覺（因為照片中絕大多數物體邊緣都被優化的太過于銳利），如果銳化太少，則照片整體會有一種朦朧感，給人的感受是這個手機的拍照系統捕捉細節的能力不足。而眾多消費者們每天拍照的場景條件千奇百怪五花八門，沒有一種自動銳化技術是放之四海皆準的，ISP必須能夠自動地檢測識別場景中的一些特征來決定銳化進行到何種程度。這類ISP研發中的難點反應到產品上，就是大家經常會爭論的各家智能手機拍照系統的“出片風格”、“出片質量”了。

為什么自動駕駛需要ISP？

在當前流行的在自動駕駛系統構架設計中，總的來說一般都會有一個很強的人工智能系統，去判斷拍照系統傳回的當前場景信息，例如當前場景存在哪些車輛，行人，障礙物，估計速度，估計距離等等。讓這個人工智能系統要想實現高度準確判斷的前提，是拍照系統傳回的當前場景信息盡可能準確無誤。

可以說相比手機這樣的大眾消費品，自動駕駛更加需要ISP。因為對于手機來說，ISP只是決定照片質量的好壞，無非是一個觀感問題，而在高速運動的車輛上，如果ISP不能準確地將場景特征暴露給后繼系統部件，導致的結果就可能會是災難性的。

例如，由于車輛會處在高速運動當中，所以攝像頭拍攝到的照片往往會帶有一定的“拖尾”或者“重影”，這對于圖像處理系統中的后繼算法去識別物體特征是不利的，因此ISP的重要職責之一就是減少這種“拖尾”和“重影”。這在ISP當中是一個非常重要的子領域叫做“運動估計”。

再例如，如果是在夜間行車，那么由于當前攝像頭傳感器技術的限制，夜間的成像往往會暴露比日間成像更多的問題，攝像頭傳感器為了捕捉更多的場景細節，就不得不延長曝光時間，提高進光量，但這樣一來又會帶來明顯的噪點。例如在這組對比圖片中，左圖經過處理后明顯暴露出了更多的場景信息，樹木，草地的細節和邊緣都更加清晰銳利，但與此同時在背景的夜空中，在遠處的建筑上，都存在著更多的噪點。

再考慮到自動駕駛系統中應用的電子元器件還有經過車規級驗證，難度又更上一層樓。據筆者所知，一些車規級電子元器件需要耐受125度的工作溫度，而一般大眾消費級市場上的芯片，例如Intel的CPU，只要求100度，接近這個溫度就會觸發過熱保護，電腦會自動掉電重啟。與此同時車規級芯片對可靠性也有額外要求，因此可以毫不夸張地說，ISP在整個自動駕駛系統中的地位是至關重要的，ISP的研發也是非常具有技術含量和挑戰性的一個領域。

達摩院為什么要自研ISP？

經過20年的發展，阿里從一家電商公司發展成為一家科技巨頭公司，并且今天已經開始扮演全社會數字經濟的基礎設施。今天的阿里不僅在業務范圍上進行橫向擴張，同時在業務深度上也在進行縱向擴張。所以我們看到過去幾年里，阿里進入了芯片等基礎研研究領域，成立了達摩院，設立了平頭哥半導體公司，并且在量子計算等很多前沿的領域展開研究。

自動駕駛毫無疑問是未來十年中可能帶來顛覆性變化的賽道，阿里沒有理由缺席，更不要說阿里的很多業務場景也需要自動化升級。而頂級的自動駕駛系統，必然是軟件-硬件的配合（人工智能算法 + 傳感器），同樣也有硬件-硬件間的配合（多傳感器融合）。

理想的自動駕駛系統需要在復雜的道路光線環境/惡劣天氣環境下仍然可以得到滿足深度學習算法所需要的圖像數據，這需要算法設計和硬件設計之間的相互配合，與此同時，預知圖像傳感器的曝光時間極其重要，可以保證雷達掃描到某一位置時刻同時觸發圖像傳感器曝光，這需要硬件與硬件之間的相互配合。因此達摩院選擇了自研ISP去追求這一極致。

從目前接觸到的評測結果來看，達摩院的自研ISP已經毫無疑問地躋身業界一流水平，經過自研ISP與深度學習算法的互相配合，夜間場景的識別準確率提升了十個百分點。不要小瞧這十個百分點的提升，這背后有深層算法的創新，對于提升自動駕駛設備的感知能力有著巨大的提升作用。

阿里的戰略

觀察一家企業的戰略，需要一個長時段的維度。從這個角度出發，阿里自研ISP處理器，可能是阿里“芯”戰略的關鍵一步。

阿里已經先后發布了自研RISCV CPU，自研AI加速芯片，再加上自研ISP處理器的面世，一顆片上系統芯片（SoC）需要的幾大件都擺到了臺面上。

所以，現在這幾個大件已經可以很明顯地拼出阿里在芯片戰略領域的初步輪廓：阿里將會拿出自研的AliSoC，進一步地與同樣正在深耕硬件領域的Google，Amazon等國際頂級廠商展開更多競爭。

十年前的阿里，大眾認知里還只有電商淘寶。差不多五年前，大家認知里加上了金融（支付寶），拉近到三年前，大家又接納了阿里云計算。從達摩院宣布成立到現在短短幾年時間，阿里又在極度依賴技術積累的核心硬件領域開始彎道超車，可能用不了幾年，大家又會接納阿里成了一家成功的芯片公司，一家擁有核心技術的新經濟基礎設施公司。

唯一不變的是變化。且待阿里“芯”光燦爛。

達摩院自研ISP處理器，使得車載攝像頭在白天和夜間的圖像識別能力大幅提升。根據達摩院自動駕駛實驗室的路測結果顯示，使用達摩院ISP處理器，車載攝像頭在夜間這個最富有挑戰的場景下，圖像物體檢測識別能力比業內主流處理器有10%以上的提升，原本模糊不清的標注物也得以清晰識別。

“車載攝像頭圖像質量的大幅提升，提高了自動駕駛的檢測識別能力，進一步保障了自動駕駛的安全性。”達摩院自動駕駛實驗室高級技術專家廣瞻指出，通過達摩院獨有的3D降噪和圖像增強算法，達摩院ISP處理器幫助扮演自動駕駛車輛“眼睛”角色的攝像頭，有了更好的“視力”，夜間環境下看得更清晰。

行業專家指出，由于成本較低，并且技術成熟，車載攝像頭成為自動駕駛市場上應用最廣泛的傳感器。性能強大的ISP處理器，將提升自動駕駛產業鏈的智能化水平。

一 解構達摩院 ISP 處理器技術

每當杭州夜色降臨，來自達摩院自動駕駛實驗室的無人車便上路，這些搭載著阿里自研 ISP 芯片的車輛在夜路上逐步優化升級。所謂 ISP （Image Signal Processor），即圖像信號處理器，是車載攝像頭的重要構成組件，主要作用是對前端圖像傳感器 CMOS 輸出的信號進行運算處理。ISP 處理器一般運用在安防，自動駕駛，手機、相機等領域，在手機、相機等傳統領域中，一般用作拍照，對實時性要求不高，在這種情況下，往往可以采取例如夜間長曝光時間的方法來達到較好的拍攝效果。而在安防領域，場景往往是固定的，背景不涉及到運動，但自動駕駛場景全天候都處在運動狀態中，此外，自動駕駛尤其注重安全，因此，對于圖像質量、數據傳輸和處理速度要求較高，需達到實時性要求。達摩院自動駕駛實驗室，高級技術專家 丁虎平（廣瞻）向機器之心介紹，目前白天場景 ISP 芯片表現良好，但在夜間、陰天、道路光線復雜、天氣惡劣等極端情況下，ISP 芯片需要路測去發現并解決問題。根據達摩院自動駕駛實驗室的路測結果顯示，使用達摩院 ISP 處理器，車載攝像頭在夜間這個最富挑戰的場景下，圖像識別能力比業內主流 ISP 處理器有 10% 以上的大幅度提升，原本模糊不清的標志物也得以清晰識別，降低漏檢、誤檢的可能。

測試顯示，達摩院 ISP 處理器 （左） 能夠識別更多的標志物車載攝像頭圖像識別能力的大幅提升，進一步保障了自動駕駛的安全性，背后的技術是達摩院獨有的 3D 降噪和圖像增強算法。

達摩院ISP處理器路測效果3D 降噪技術是由原先傳統的 2D 技術升級，即在原有的幀內降噪的基礎上，增加了幀與幀之間降噪的功能，使圖像明暗部分的細節都更加清晰、更接近人眼看到的實際效果，運動估計是 3D 降噪的重要環節，精準的運動估計可以最大程度減小場景中運動物體因為幀間降噪引入的運動拖尾。達摩院在此基礎上，同時對圖像的噪聲水平進行準確估計，通過噪聲估計用以指導降噪強度，在保證降噪效果的同時最大程度保留物體結構以及邊緣信息。在圖像增強方面，達摩院針對夜間場景，引入局部對比度增強處理，在控制曝光時間的同時，對圖像局部進行對比度拉伸，既保證整體圖像結構和細節，又可以減輕因長曝光引起的運動模糊。丁虎平向機器之心介紹道，局部對比度增強處理是達摩院在圖像增強上的特色，與整體圖像增強不同的是，它將圖像分割成若干區域，針對局部區域的灰度特征進行增強處理。他表示，目前在車規級圖像處理器領域，該款芯片處于業界一流水平。

二 自動駕駛領域「后發者」阿里

早在 2014 年左右，彼時阿里巴巴在智能汽車領域的布局還較為保守——希望首先給汽車加裝智能操作系統，讓其具備智能操控、感知、服務等能力，相對成熟后再發力自動駕駛。阿里一直在自主研發車載操作系統 AliOS，這一操作系統為斑馬智行以及榮威系列互聯網汽車提供了支持。2014 年，AliOS 與上汽深度合作，2015 年，斑馬網絡由阿里巴巴集團和上汽共同發起的智聯網汽車基金投資成立，斑馬智行便是由斑馬網絡所打造的基于 AliOS 的智聯網汽車開放平臺；2016 年 7 月，阿里同上汽合作發布了「全球首款量產互聯網 SUV」榮威 RX5，基于 AliOS 打造的斑馬智行系統也首次出現在大眾面前；

榮威 RX5 中控搭載 斑馬智行系統2017 年 12 月，阿里和福特汽車正式簽署戰略合作，雙方依托阿里達摩院對前沿基礎科技的研究，整合云計算、人工智能等技術，通過 AliOS 操作系統與汽車的結合，提升駕駛體驗。除了在車聯網領域的發力，阿里在 2015 年年底起，也開始了在自動駕駛領域的布局。至今，經過四年多的打磨，現階段阿里達摩院自動駕駛實驗室聚焦在末端無人物流的場景，并已經將無人配送車產品逐步落地在大學校園。雖然相比百度，騰訊，阿里的自動駕駛路線「姍姍來遲」，但好在阿里的技術的場景積淀較為豐厚。對于自動駕駛而言，環境感知、高精度定位、決策規劃、智能控制等都是必備技術，這也是達摩院自動駕駛團隊布局的方向。談道為何從 ISP 芯片角度切入研發，丁虎平向機器之心表示，從自動駕駛視覺場景角度看，ISP 要實現的是在復雜的道路光線環境/惡劣天氣環境下仍然可以得到滿足深度學習算法所需要的圖像數據；從傳感器融合角度，預知圖像傳感器的曝光時間極其重要，可以保證雷達掃描到某一位置時刻同時觸發圖像傳感器曝光；而當前市面上已有的車規級圖像處理器圖像處理效果不能滿足自動駕駛深度學習算法的這些需求。而這款自研芯片正是達摩院在環境感知上的研究突破，它可以解決現有硬件方案性能不足的問題，進一步提升自動駕駛系統的安全性。ISP 處理器就是達摩院在環境感知上的研究突破，它可以解決現有硬件方案低照度場景圖像質量不足的問題，進一步提升自動駕駛系統的安全性。此外，在丁虎平看來，阿里巴巴經濟體擁有豐富的物流場景，例如淘寶、天貓、餓了么、盒馬等這些業務都離不開物流配送，加之菜鳥本身也是一個智慧物流平臺，這為自動駕駛研發團隊提供了大量場景經驗。目前，達摩院 ISP 處理器已在自動駕駛物流車業務場景落地，未來可能會落地新零售如自動收銀機、智能家具等場景，據丁虎平介紹，當遷移到相關場景時，需要對 ISP 處理器相關模塊或算法進行定制化即可。ISP 處理器除了對自身業務的促進，對于行業來講意義也不小，據高工智能產業研究院 （GGII） 研究院預估，攝像頭隨著 ADAS 滲透率的提升，市場規模由 2016 年的 20 億元增長到 2020 年的 58 億元，年復合增長率為 30%，搭載于其中的 ISP 處理器對于整個自動駕駛行業而言無疑有著重要推動作用。據機器之心了解，當前，該款芯片主要用于自動駕駛物流車的相機系統中，未來是否出售或者 license IP 給其他廠商要遵循集團的相關政策。

三 從玄鐵到 ISP 處理器達摩院的布局之道

2018 年 9 月，阿里巴巴宣布合并中天微、達摩院團隊，成立平頭哥半導體芯片公司。中天微成立于 2001 年，旨在發展 32 位高性能低功耗嵌入式 CPU、以芯片架構授權為核心業務的集成電路設計公司，2018 年 4 月被阿里全資收購；達摩院是阿里在全球多點設立的科研機構，立足基礎科學技術的研究，成立于 2017 年 10 月。成立至今，平頭哥已發布基于 RISC-V 的處理器 IP Core 玄鐵 910、SoC 芯片平臺「無劍」和含光 800 芯片。

平頭哥發布 AI 芯片—含光 8002019 年 10 月，平頭哥宣布開源低功耗微控制芯片（MCU）設計平臺，其中包含處理器、基礎接口 IP、操作系統、軟件驅動和開發工具等模塊，搭載基于 RISC-V 架構的玄鐵 902 處理器，能提供 UART、SPI、I2C 等多種 IP 及驅動，還可讓用戶快速集成、驗證，減少基礎模塊開發成本。阿里旗下的業務涵蓋電商、物流、云計算、大數據等等。用戶規模龐大，圖像視頻分析、搜索等各種業務場景都亟待 AI 專用芯片，其中圖像和視頻對算力的需求尤其大，這為阿里研發 AI 芯片提供了絕佳平臺。

此前平頭哥接連推出的玄鐵、無劍、含光都是芯片領域的不同產品，玄鐵解決指令集、算法等架構問題，無劍是一個芯片開發平臺，它提供芯片開發的基礎設施，含光 800 是平頭哥真正意義的第一款 AI 芯片。

而此次推出的 ISP 是車載圖像處理器，主要用于自動駕駛場景。除了應用場景不同，玄鐵 910、無劍 SoC 平臺可以幫助其它企業研發定制芯片，含光 800 則是云端 AI 推理芯片，目前都已經完成市場對外輸出。

據丁虎平透露，達摩院這一款 ISP 處理器目前首先滿足自身自動駕駛業務需求，未來對外輸出形式尚未確定，「也有可能成為 SoC 芯片的一部分」，丁虎平補充說道。

責任編輯：gt