3月20-21日，由佐思產(chǎn)研、佐智汽車主辦，地平線、TTTech、魔智、海信網(wǎng)絡(luò)科技、晶眾股份、芯侖光電、PLK、中科慧眼等單位支持的2018第三屆ADAS與自動駕駛國際論壇在上海銀星皇冠假日酒店舉辦。超過400多位嘉賓參加了本次論壇，深圳市自行科技有限公司總經(jīng)理關(guān)艷峰博士發(fā)表了《基于FPGA平臺的安全自動駕駛解決方案》的主題演講。

深圳市自行科技有限公司總經(jīng)理關(guān)艷峰

關(guān)艷峰：我從第一屆就參加了佐思的ADAS自動駕駛論壇了，今年是第三屆。在第一屆自動駕駛論壇，還沒有人講FPGA，今天看到越來越人在關(guān)注FPGA。

自行科技定位在智能汽車電子領(lǐng)域，主要提供ADAS和自動駕駛的核心模組和系統(tǒng)，主要面向感知和定位。目前我們提供的產(chǎn)品主要是基于單目視覺的ADAS和車內(nèi)駕駛監(jiān)控系統(tǒng)、以及身份識別系統(tǒng)等。我們的產(chǎn)品已經(jīng)在前裝乘用車開始商用，我們現(xiàn)在有兩個研發(fā)中心，第三個正在建。

自行科技的產(chǎn)品定位，是以深度學(xué)習(xí)、視覺和FPGA三個主要因素來打造前裝可量產(chǎn)的核心模組和系統(tǒng)，把深度學(xué)習(xí)作為系統(tǒng)的算法核心，把FPGA作為硬件核心或者計算核心，以視覺融合其他傳感器作為它的感知核心。

我去年提到三個問題，性能、價格、功耗。我們花了24個月優(yōu)化基于FPGA平臺的ADAS及自動駕駛解決方案和產(chǎn)品。例如，如何滿足自動駕駛需要的大量計算，可靠性，還有對性能的要求，包括幀率，至少20幀以上。今年通過跟Tier 1、車廠的接觸，壓力轉(zhuǎn)到安全上。因為即使其他方面都好，軟件算法不安全，硬件不安全，整個系統(tǒng)不安全，依然沒有用。所以，我今天的演講強調(diào)基于FPGA平臺的產(chǎn)品安全性問題。

從去年5月份到現(xiàn)在一年的時間，我們都在做著如何提升FPGA平臺上的核心模組的安全性的相關(guān)工作。因為我們既做車內(nèi)又做車外，不論自動駕駛還是輔助駕駛，在L5之前都處于人車共駕的狀態(tài)，不能只提升外部環(huán)境的感知，而忽視駕駛員的感知，這兩款產(chǎn)品都在優(yōu)化。

未來我們還要繼續(xù)加深L3級別自動駕駛感知模組的研究。市場定位上我們是Tier 2，和很多Tier 1合作。在前裝乘用車方面，和某GlobalTier 1合作的一款產(chǎn)品達到相當(dāng)高的水平，進入了全球體系，今年Q2要量產(chǎn)。新能源車ADAS的量產(chǎn)會在2019年。

關(guān)于安全，主要涉及幾個方面，例如，功能安全，信息安全等。

安全的基礎(chǔ)在哪里？自動駕駛系統(tǒng)功能安全首當(dāng)其沖，這是整個業(yè)界三到五年內(nèi)要解決的問題，之后是信息安全。但需要在基礎(chǔ)性工作做好的前提下，才能談功能安全或者信息安全。

安全基礎(chǔ)工作包括同步問題，如傳感器的同步、人車的同步；失效問題，如硬件失效、軟件失效和算法失效。大家一直都在質(zhì)疑這個問題，深度學(xué)習(xí)是一個黑盒子，如果算法失效了怎么辦？

同步問題

關(guān)于傳感器同步，我們都有一個共識，需要同時獲得外部環(huán)境信息，否則會失去它的價值，導(dǎo)致錯誤的判斷。要保證同時獲取信息，在安全的基礎(chǔ)系統(tǒng)架構(gòu)上，大多數(shù)同行會選擇帶操作系統(tǒng)的處理器。不是說這種處理器不好，而是它在處理傳感器同步的時候基本上是指令觸發(fā)的，指令觸發(fā)很難控制精準(zhǔn)的采樣時間，延時相對較大且不足夠穩(wěn)定。而FPGA不基于操作系統(tǒng)，是電平觸發(fā)，延時小且控制精準(zhǔn)。

FPGA分為兩部分，一部分是純邏輯，可直接發(fā)出指令，操控傳感器獲取目標(biāo)信息。不同距離的傳感器，從高速到低速不同的速度范圍，傳感器工作不同，如何在傳感器之間的切換過程實現(xiàn)同步？這有很多具體的約束和要求。

另外一部分是人車同步。在發(fā)生交通事故時，是不是駕駛員注意力不夠集中，或者過度依賴自動駕駛系統(tǒng)，這在L4之前都是一個非常重要的問題，所以駕駛員狀態(tài)的實時感知和車外環(huán)境的實時感知必須同步，不同步會導(dǎo)致危險。車內(nèi)車外兩個攝像頭要達到同樣的等級，才能提供相應(yīng)的功能。

關(guān)于功能安全的問題，它的核心問題就是在評價指標(biāo)，危險和風(fēng)險，它有固定的評價流程。有相應(yīng)的軟件、硬件和算法方案后，要做功能安全性驗證和失效分析。

失效問題

硬件的失效問題很關(guān)鍵，譬如傳感器失效。一套系統(tǒng)有多個傳感器，實際上任何一個傳感器離最終的安全要求都是有差距的。一方面要通過傳感器融合提升單一傳感器的能力，另一方面通過融合使整體感知決策能力更加可靠。

多種傳感器淺度融合，是最簡單的融合算法，但它并未改變單一傳感器的感知能力，我們希望通過深度融合，使得各個單一傳感器得感知能力得到進一步得提升，從而提升整體感知決策得可靠度，這是未來傳感器融合的核心問題。

淺度融合解決不了這個問題，所以做深度融合，這就需要硬件底層的支持，比如是否開放傳感器的RawData。

講到軟件失效，3天造車，5天出Demo方式的軟件架構(gòu)，是量產(chǎn)不了的。采用開源的代碼或系統(tǒng)，也是量產(chǎn)不了的。對于軟件中的底層驅(qū)動，中間件、操作系統(tǒng)，如何去設(shè)計、開發(fā)、驗證都需要大量的工作，開發(fā)周期長，成本高，但這是量產(chǎn)的基礎(chǔ)。

舉個例子，要滿足ISO26262的軟件安全要求，軟件開發(fā)中的指針不能隨便用，有的程序開發(fā)得很快，用了很多指針，二級指針是禁用的。一些嵌套迭代是不能用的，用了就有可能降低軟件的穩(wěn)定性。所以基于可量產(chǎn)的安全的軟件架構(gòu)是必須的，在有安全保證的架構(gòu)基礎(chǔ)上，軟件才可能安全，這也需要經(jīng)過專業(yè)機構(gòu)的評估，就像硬件的EMC測試一樣。

算法失效有很多種，尤其對以視覺為主的算法，光線的影響是最嚴(yán)重的。我們從兩個方面去看，車內(nèi)、車外。車內(nèi)我們是否能夠解決被遮擋、強光、陰陽臉、白天、晚上等各種場景。我們在這些場景下做了足夠評估才能說明算法是可靠的。

我們的FPGA硬件已經(jīng)迭代了30個月，算法迭代的時間更長。有些環(huán)境下，人的肉眼都很難區(qū)別，靠算法如何去解決？

語義分割算法的失效，最怕的是車道線出問題。車道線有問題，會導(dǎo)致連鎖問題，連續(xù)失效。我們在FPGA上面實現(xiàn)超30幀語義解析，可以大大提高可靠性。

信息安全

信息安全方面，傳感器可能面臨的攻擊，最大的兩類是信號干擾和樣本欺騙。信號干擾主要是針對傳感器的強電磁干擾，另一種是本體干擾，會降低信噪比和信號精度。

從視覺來講，如何對抗樣本欺騙很重要，因為客觀環(huán)境造成和人為制造的虛假樣本普遍存在，就需要提高系統(tǒng)性能來對抗樣本的欺騙。客戶問我最多的就是，你們?nèi)绾稳ッ鎸θ似っ婢叩钠垓_，這需要很多技術(shù)去解決。

信息安全，還包括來自于車內(nèi)網(wǎng)絡(luò)和車聯(lián)網(wǎng)的入侵。

最后，我想和諸位朋友分享一下自行科技的車內(nèi)外ADAS功能演進和平臺演進。

功能演進

我們會一直關(guān)注車內(nèi)DMC及車外ADAS的功能演進，及兩者的協(xié)同與聯(lián)動。尤其是車內(nèi)DMC部分，我們從基礎(chǔ)的疲勞預(yù)警、身份識別、行為檢測，逐步發(fā)展到視線追蹤、表情識別等高級功能，為未來的智能座艙、個性化配置及L3級自動駕駛駕駛員接管等功能提供魯棒豐富的感知信息，并和車外ADAS功能協(xié)同工作，為駕駛員提供更加安全、精準(zhǔn)與人性化的服務(wù)。我們也會不斷升級和擴充我們的車內(nèi)外傳感器組合，來匹配不同階段的功能演進。

平臺演進

不同階段的功能計算復(fù)雜度不同，對于硬件平臺的需求也不相同，具體表現(xiàn)在計算力、計算架構(gòu)、平臺靈活性與可擴展性等。為此，自行科技的硬件平臺演進路線是以XilinxZynq系列為代表的FPGA平臺為主，配合高性價比的MPSoC，通過逐步提升算力，滿足各個階段不同等級的ADAS功能、性能、車規(guī)、安規(guī)方面的需求。