2019年7月5日，由博聞創意和CCIA智能網聯專委會、佐智汽車舉辦的「2019中國汽車互聯與車路協同大會」在深圳舉行。中科慧眼CMO邱田先生在會上發表了題為“雙目視覺相機的產品落地化” 的演講。

各位佐智汽車的朋友們，很高興中科慧眼又在這里和大家見面了，我是中科慧眼的邱田，在公司負責產品營銷。我相信在座的朋友對中科慧眼并不陌生，但是我是第一次站在佐智汽車的平臺上跟大家做討論和分享，首先我要感謝佐智汽車給我這個平臺，同時我也非常榮幸地在這里跟朋友們一起分享和討論我們的產品，謝謝在座的各位朋友。

在雙目相機領域是非常煎熬和糾結的，煎熬來自哪里呢？大家可以知道雙目立體視覺不管從算法和軟件，還是從硬件，包括結構，以及結構件的質量，到最后的標定，都是非常龐雜的系統。作為銷售來說，在這個過程中是非常煎熬的，我們當然希望我們的產品能夠盡快地推向市場，但是在產品落地的同時，我們還要經過大量的測試與技術團隊的支持，才能達到最終的可靠性和穩定性，所以這個過程是非常煎熬的。糾結是在哪里呢？這么好的一個東西做出來以后，我們發現市場對雙目立體視覺的認知是比較陌生的，我們就必須在市場和產品中間找一個平衡點。我們當然是希望我們用心做出來的產品，能夠得到市場的接受，同時能夠得到好的回報，這是我們做銷售的本質。所以在這里面就很糾結了，必須找一個平衡點。我們在這個煎熬和糾結的過程中，始終不言放棄，終于有所小成，有幸給大家來講雙目立體視覺產品的量產化落地。我講得合理的地方，也希望在座的朋友給予支持和鼓勵，如果有講得不準確的地方，也請大家海涵指正。

中科慧眼成立于2014年10月，我們是國內率先在雙目立體視覺領域做研究和開發的企業，同時我們也是國家高新技術企業，也是中關村的前沿科技企業。很榮幸我們在2017年成為了百度阿波羅的生態成員，也是到目前為止阿波羅基金投資的唯一一家智能視覺傳感器公司。從2014年到現在，這么多年來，我們從自動駕駛的L4、L5做到了前面的智能駕駛的L3，再做到前面的L2、L1。可能有朋友會問，你是說反了吧，為什么從難的做到簡單的，而不是從簡單的做到難的？但是我們公司的發展路徑確實是這樣，我們最先做了一系列L4到L5級別自動駕駛的產品。經過這么長時間的磨練，我們公司的產品可以覆蓋L0到L5智能駕駛各個階段需求，同時我們公司也申請或獲得百余項專利授權，基本上覆蓋了雙目視覺這個方向的大部分的專利點。

以上是雙目視覺的基本原理。我相信在座的朋友如果聽過中科慧眼的CTO崔博士和COO孟總的介紹，可能對雙目立體視覺的原理是非常清楚的，而且在網上各種技術帖，以及我們的宣傳材料，都能了解到雙目立體視覺的基本原理，所以我就不花過多的時間贅述。做銷售來說，我們是希望用最簡單、最通俗易懂的語言讓大家了解我們的產品，這樣我們就圈重點。

雙目視覺無需建模就可直接由立體點云提取障礙物，利用視差精準測距而非識別后估距，并可利用單路圖像識別障礙物類型，形成高質量的單雙目融合感知數據。

雙目視覺既有類似激光雷達的高密度點云的特點，又具備視覺識別的能力。

在雙目視覺的基礎上，我們可以用更簡單、更通俗易懂的辦法讓大家了解我們的雙目產品，你可以把它近似理解為100米以內的一個千線激光雷達加彩色相機。

可能很多朋友會問，你們這個雙目相機有這么牛嗎？我說幾個場景，你們能不能搞定？第一，大雪天，前面白茫茫一片，能搞定嗎？確實搞不定。不光是大雪天，如果是一個白墻放在我們面前，沒有任何紋理的話，我們也是搞不定的。那你又會問，其它的極端天氣呢，比如說大雨、大霧，你們能搞定嗎？非常抱歉，我們還是搞不定，因為我們是可見光的視覺，我們的能力和人眼是差不多的，這種情況下我們只能說你盡量少開車或者是不開車。又有一個問題，如果有玻璃，你能識別嗎？玻璃是通透的，如果沒有任何反光，也沒有任何機理的情況下，我們也是搞不定的。當然，我們用任何一個傳感器，都有它的優勢和劣勢，我希望咱們利用雙目相機的優勢。

大家可以看到雙目視覺其實在很早的時候就在歐美以及日本，都運用在車載上了。從1999年開始，斯巴魯就已經搭載了最早的一個雙目相機，當時是日立給它做的。到2016年的時候，寶馬、奔馳、捷豹路虎都在他們最高配的車型上搭載了雙目視覺。從2016年到現在，大家可以看到雙目立體視覺的發展趨勢是從頂配的高端車型慢慢向中端甚至低端的車型覆蓋。這里面說明兩個問題，第一是大家對主動安全的意識有提升，第二是在車載視覺傳感器的領域，大家開始慢慢接受雙目的傳感器。

目前博世、大陸、日立、奧托立夫、電裝這些大企業都在研發、采用，以及加快腳步推行他們的雙目視覺產品。

上圖中日立裝在斯巴魯上的雙目相機，它的基線是比較長的。另外，博世為捷豹路虎提供雙目相機，大陸為寶馬提供雙目相機，奧托立夫為奔馳提供雙目模組，他們做得都是非常好的。

在這個大環境下，中科慧眼也推出了我們的全車規的雙目模組，我們給它取名叫巖石城。

下面是我們和主流的車規級雙目立體相機參數的對比。

表中，雙目相機的距離，我們稱之為基線。雙目相機離得越遠，基線越長，就可能看得越遠。但是有個弊端，雙目相機看得越遠，近距離的盲區就可能越大。我們根據國人的駕駛習慣，還有國內的路況，選擇了一個折中的方案，我們做了12厘米基線的雙目模組，在2米至100米的范圍內，最大測距誤差3%。

下圖是雙目視覺的左右相機成像數據，還有的立體匹配視差的偽彩色圖像，冷色系表示遠，暖色系表示近，每一個像素都有一個距離值，最終就形成這樣一個深度圖，這就是從實景成像到深度圖的轉換過程。

上面是我們的一個路測視頻，可以看到這里面過馬路的人和非機動車，可以直接通過深度圖做出較好的障礙物分割。我們都知道單目視覺是建立在數據庫基礎上的，比如說針對行人，需要把他們的樣本拍攝下來，他的正面、側面，等各個姿態的圖像，以供視覺訓練建模。在實際應用場景成像中如果有行人出現，系統就可能識別出行人目標，并通過行人的圖像大小估算距離，這是單目視覺的大致原理。雙目視覺的原理是可以不依賴先驗數據庫，直接通過深度圖像做環境分割。我們所謂的分割是說，我們提取了這個點云圖，以地面為界，與地面接觸的成一定距離聚類的區域，我們稱為障礙物。所謂的障礙物，在車輛安全這一塊，我們都是不建議去碰撞的，而且它是針對所有的物體，我不需要認識他是誰，我只需要判定他是否是危險的障礙物。

我們的雙目測距的方式有兩種，一種是基于面的測距，一種是基于邊的測距。基于面的測距，我們大部分是針對無人駕駛或者自動駕駛的車輛，比如說百度的阿波龍無人駕駛車，還有無人送貨車，基本上都是用的上面這種基于面提取的點云圖。還有一種是基于邊匹配的，這是我們基于邊的一個點云圖。我們希望下面的這個數據用于智能駕駛或者輔助駕駛。基于面的點云非常稠密，需要的計算量更大。

剛才我大致回顧了一下我們雙目立體相機的原理，包括它中間的一些數據，包括它的一些測距流程，看看我們的雙目相機大致能用到哪些領域呢？后面講的就是我們市場化的一些領域。第一是支持二次開發的雙目立體相機模組，可以利用我們的雙目相機點云，做這樣一些應用，包括有無人送貨車、環衛車、無人巴士，還有和JMC合作的無人輕客車。可以看到我們所運用的場景和領域是比較廣的，它不僅僅是針對正規車輛，像這些特種車輛，只要是要實行無人化，或者是實行自動駕駛，都會用到我們的雙目傳感器。

后面還有一些更特殊的領域，這些領域可能有的大家都接觸不到，但是我們是很了解的。下圖中第一個水質監測船，以后中國的內海地區大概一到兩公里都會布置一艘水質檢測船，因為現在大家對環境污染這一塊是很在意的。第二個是無人駕駛的收割機，是用在大的農場的。還有無人駕駛的火車，以及無人駕駛警察巡檢車，它也是固定路線、固定拍照的。我們講到火車自動駕駛的時候，大家可能會說，你這是吹牛的吧，火車怎么自動駕駛？你們可以看到這種火車不是通常意義上的火車，它的一是在大的站場里面的火車，比如說鋼鐵廠、煤廠，它是固定路線，來回運動的，它就是把煤從這邊搬到那邊，把鋼材從這邊搬到那邊，所以它是固定路線的，又是固定速度的。在鋼鐵和煤廠的環境下，是不適合人在里面去操作的，對人的健康是有一定影響的，所以他們現在在利用能落地的高科技的東西，把它做成自動駕駛。

這是我們針對上面所說的各種項目做的各種雙目相機。最后這個已經是一個四目相機，這是我們下一代會推的，因為慢慢的自動駕駛汽車上路了，它就必須要識別車牌、速度、紅綠燈，通過四目相機可以識別。前面是我們的雙目相機，就是針對剛才我講到的那些不同項目的車型、不同種類的車型開發的立體相機。這里面會牽涉到一個非常重要的能力，就是工業設計的能力，在不同項目的開發中，它的重要性是不可替代的，因為它會了解它的使用環境，包括雙目相機的結構設計，包括搭配它這個產業的外觀，讓客戶第一眼能夠看到我們的產品是專業的，也是符合他的產品氣質的。

從下圖大家可以看到不同焦距、不同視角，適應不同車速的應用場景。最小的3毫米、4毫米焦距的相機，大部分是針對室內的，比如說AGV、室內機器人，在低速狀態下使用。6毫米到8毫米焦距的是針對一些中速度的無人駕駛場景，比如說阿波龍，用的就是6毫米焦距。10到12毫米焦距就是運用于自動駕駛這個常規場景上的焦距。到25毫米焦距的時候，就是應用在一些非常快速的領域，比如說快速列車，應用在很快的速度場景下。

前面講的都是我們的雙目相機應用于各種自動駕駛、無人駕駛領域的場景，接下來就是稍微接地氣一點的，也是在座的各位比較關注的品類，我們叫AEB。

AEB簡單來說就是汽車的自動剎車，它有一個自動控制的功能在里面。交通部在今年3月份提出了一個1242的指導性文件，可能在座的很多人都知道這個協議。在AEB這個系統上我要講的是什么呢？可能之前大家做的更多的是輔助駕駛，它包括語音提示、圖像警示，沒有牽扯到對本車的干預，所以在行駛過程中，大家可能覺得有一點，就是我們的產品剛裝上去一個月的時候，你會覺得好像有點用，因為它的報警聲，你會覺得好像前面是有狀況了，我要看一下。但是當你用上三個月以后，你就已經習慣了它的聲音，不覺得這是一個警示音，而且你的語音做得越好聽，就越容易忽略。在AEB這個場景下，只是提示音就行不通了。只是提示的話，駕駛者看見了就看見了，我看不見你也不能怪我。所以在之前的ADAS這個領域，大家都是在預警、提示，當我們出現疲勞駕駛的時候，特別是針對大客車、大貨車，在疲勞駕駛的時候，你提示他是沒太多作用的，必須加入主動的干預，所以我們就推出了主動控制類別的產品，叫自動緊急剎車系統。

左邊上面是我們的實景圖，下面是錄屏的點云圖，可以看到上面的實景和下面的區別。第二幅是我們夜測的視頻，可以看到我們的相機識別是非常明朗化的。第三個視頻是我們在模擬一個非標物體突然沖到路中間的時候，我們的AEB的表現，你可以把它認為是一個異形物體，因為這個并不像人。最后這個視頻是我們拿了一個模特站在路中間，也是測試我們的雙目相機對它的識別。所以我一直強調的是，咱們的雙目立體相機是不用針對標準物體，我針對非標物體也是可以判別的，因為在剎車這個領域，比如說路中間一個石頭、一個草叢、一個灌木叢，包括是一棵樹，或者是一個沙發擺在路中間，有很多傳感器是不認識它的，剎車就不會做得很精準，雙目能完美地解決這樣一個問題，我們會通過所有的點云圖像，提取的障礙物是非標的。

下面是在福建的公交車上安裝的我們的產品，我們目前在寧波、福建、杭州都有列裝在公交車上，用戶的體驗非常好。

右圖這是我們應用于商用車的產品，是我們的二代產品，叫獵戶座。

我們的產品還能用到一些特種市場。大家可以看到這樣一個場景，我抓一個房車的應用會比較有代表性。大家知道現在的年輕人，包括90后甚至00后，他們不再滿足于去一個固定的景點旅游，他們現在比較流行找一些他自己喜歡的地方，約好幾個朋友一起開著房車出去旅游，這是未來慢慢會形成的一種比較流行的旅游方式，因為他既可以自己選景點，而且又解決了住宿的問題，并且在野外，大家一起吃吃燒烤，這種場景想想都覺得挺美好的。但是這里面會有一個什么問題呢？一般的房車都是租賃的，你不可能為了自己去旅游而買一輛房車放在家里，因為你平時也不怎么開，所以大部分的房車，都是做的租賃市場。租賃市場會牽扯到一個問題，我們開慣了小車的情況下，再去開房車，對于房車的車寬車高，你沒有專業的判斷能力。你開慣了小車，不會在意它會不會撞到限高桿、會不會撞到橋墩。在這種情況下，就很容易發生圖中這樣的事故。但是作為房車來說，這種事故是絕對要杜絕的，因為一般房車上面這個部分都是床，可能自己的小孩或者妻子在上面，要么在睡覺，要么在玩，你如果一旦撞上去，我相信這個旅途是不會愉快的。針對這樣一個運行的痛點，我們也做了一個特殊的雙目相機，我們叫睿目S1。

（視頻播放）這是剛剛在杭州發生的一個事故，一個大的貨柜車，上面有一個人行天橋，在沒有限高的警示下，不覺得這是個問題，它就直接開過去了，大家可以看到這個天橋被撞掉下來了。在這個場景下，如果之前有報警，就可能不會法身這樣的悲劇。這還是一個非典型的事件。剛才我們講的房車領域，那是很典型的一個事件。因此我們在限高這個領域做了我們的產品，叫睿目S1。

為什么限高這個事情這么令人頭疼呢？第一是毫米波雷達或者是單目相機，它沒法做這么多分類。限高桿在不同的地方形態各異，有的是橋洞，有的是這種小桿，有的是一個大的鐵塊，而且這種一般是在一些偏遠一點的地方，一般高一點的車輛在這種地方是過不去的，通過我們這個產品，可以避免車輛撞上限高桿。我們這個產品現在在多家商用車公司做了前裝定點，這個是非常剛性的一個需求。

車載雙目相機的研發過程是非常艱辛的，我們從2014年成立到現在，用了5年的時間，終于進入了能量產化落地的階段，我們能找到這些市場，把我們的產品運用到解決生活中的問題上，我們也是比較開心的，當然這個過程也是比較煎熬的。車載雙目相機的性價比是比較高的，而且市場前景是非常廣大的，所以我也希望在座的朋友們給予中科慧眼更多的支持和鼓勵，中科慧眼在雙目這個領域會一直做下去，而且會做得更好，盡可能多地解決我們生活中的很多問題。