專業級AVM全景+ADAS解決方案
S32V234高性能汽車電子處理器是S32V230系列的成員,該器件專為視覺和傳感器融合領域的安全計算密集型應用而設計。這是首款具備自動輔助駕駛自主型汽車所需的可靠性和安全性的汽車視覺片上系統(SoC)。飛思卡爾的S32V230微處理器是SafeAssure計劃的一部分,其設計旨在滿足嚴格的ISO 26262功能安全標準,能夠達到以每十億件為單位衡量的汽車級質量指標。
功能定義及性能指標
針對ISO 26262 ASIL B應用
4個ARM Cortex-A53內核,運行頻率1GHz
兩個APEX-2圖像識別引擎(采用Open CL編寫)
硬件安全加密
3D GPU (Vivante GC3000)
MIPI CSI2和并行圖像傳感器接口
4MB片上系統RAM
用于HDR、顏色轉換、色調映射等的嵌入式圖像信號處理
-40C至125C (節點工作溫度)
采用17 x 17 FC-BGA封裝
影像式先進駕駛輔助系統(ADAS)的開發,不僅須采用符合AEC-Q100與ISO26262認證的特定應用處理器,更要搭配高效能電腦視覺演算法,方能達到精準的物體辨識效果,同時符合車規等級可靠性與安全性要求。
搭載鏡頭的汽車系統日漸流行。各種中級轎車和入門級轎車紛紛加入該行列,以實現車道偏離報警和交通標志識別系統。事實上,據IHS汽車半導體研究報告分析,至2020年,車載鏡頭感測器市場將以每年超過一億顆的數量增長。
歐盟新車安全評鑒協會(Euro NCAP)在其中起著重要作用。自2016年起,汽車制造商將有望搭載新型系統,用以偵測和避免與行人的碰撞(圖1)。這就是所謂的半自動功能,基于鏡頭和雷達的技術,因其可識別行人并實施剎車功能,甚至操縱汽車轉向,以避免碰撞事故發生,因此歐盟新車評鑒協會的五星安全認證將是觸手可及(圖2)。
圖1汽車搭載新型系統,將可偵測與避免和行人碰撞。
半自動駕駛軟體須強健/可靠/安全
圖2搭載鏡頭、雷達技術的車輛,可辨識行人并控制車輛煞車或轉向。
然而,真正的挑戰是如何滿足汽車級應用的高品質以及安全性需求。對于保護人身安全的系統而言,如果在這些重要方面有所妥協,將是無法容忍的致命缺陷。具體來講,這也就意味著基于鏡頭的安全系統須能滿足AEC-Q100的長期可靠性需求;也必須滿足ISO26262汽車功能安全標準要求;此外,還須保證適當的硬體安全等級,以防止惡意軟體攻擊和IP盜取情況發生。
目前,業界共同面臨的一個嚴峻挑戰是,如何開發出一款既能滿足上述三個基本要求,又能提供卓越應用效能的解決方案。事實上,如果無法安全、穩固地部署高度復雜的進階駕駛員輔助系統(ADAS)應用,就無法看到自動駕駛汽車的廣泛普及。
基于鏡頭的ADAS應用包括嵌入式硬體和軟體解決方案,飛思卡爾(Freescale)與東軟汽車電子(Neusoft Automotive)攜手合作,結合高品質汽車微控制器與尖端汽車視覺軟體提供強健、可靠、安全的半自動功能。
為打造一款開放、靈活的解決方案,飛思卡爾S32V234系列產品采用多個特定程式設計應用加速器,每個加速器都面向ADAS應用所需處理管道的一個特定領域。為執行典型鏡頭資料預處理,該平臺采用一個可程式設計影像訊號處理(ISP)模組,用以執行電腦視覺處理任務,如梯度方向長條圖(HOG)的整個或部分影像處理。
因采用IP提供商CogniVue的APEX2引擎中的兩個實例,傳統電腦視覺演算法得以加速提升。APEX2引擎是一個大規模的平行系統,包含六十四個針對視覺處理優化的計算引擎。此外,APEX2引擎由名為APEX核心框架(ACF)的軟體層支援,使應用開發人員可以遠離大部分底層復雜工作。
視覺處理要求非線性程式流或浮點數運算。S32V234系列方案提供四個ARM Cortex-A53內核,支援9200DhrystoneMIPS的通用精簡指令集(RISC)效能需求。全部四核都包括單指令多資料擴展NEON,以進一步提升特定演算法效能。
為呈現一款令人矚目且主要針對環視應用的圖形化人機介面(HMI),該系列方案還支援高效能圖形處理單元,以滿足OpenGL ES3.0、OpenVG 1.1和OpenCL 1.2等Khronos標準。
來自Vivante的產生實體GC3000圖形處理器(GPU)可達到1.2GPixels/sec的圖元速率和200M Triangles/sec的幾何速率。其GPU著色器可提供高達39GFLOP/sec的效能。
為了提供將輸入資料填入不同加速器所需的記憶體頻寬,飛思卡爾采用層級記憶體結構,旨在保證晶片系統上最多數量的資料傳輸。采用這一結構有兩個目的:減少外部記憶體元件的數量;減少晶片間訊號傳輸的功耗,這同時也是ADAS考慮的兩個主要成本因素。采用這一技術毋須增加成本,即可實現50GB/sec左右的記憶體頻寬。
這組高度程式設計化的特定應用處理器和相應的記憶體子系統可通過各種手段達到ISO26262標準的要求。為以最有效的方式使用現有可用硬體,設計目標必須避免重要資源的重置,且不影響安全性。因此,須引入額外掛鉤(Hook)以實現所需的故障覆蓋率,某些情況下要通過軟硬體的智慧組合來實現,從而使晶片系統滿足ASILB應用的需求,而不影響RISC平臺上9.2K DMIPS的計算能力。
為保證ECU以及S32V234系列產品上運行軟體的安全性,ECU采用一款經過現場驗證的安全模組,以確保運行軟體的可靠性并保護軟體IP。加密服務引擎(CSE)安全模組符合HIS SHEAPI規格的要求。
S32V234系列產品的技術細節充分驗證,要實現此類精密且功能強大的ADAS,須事前做很多工作。為更加高效利用平臺系統,飛思卡爾的合作夥伴--Greenhills,提供一款經過安全認證的INTEGRITY即時操作系統(RTOS),以滿足平臺需求。在應用方面,飛思卡爾的另一合作夥伴東軟集團(600718,股吧),已開始將其經過現場驗證的演算法移植到平臺系統,一旦就緒,這個平臺系統即可快速上市。
東軟研發基于視覺的ADAS演算法。目前,已有超過七十位軟體工程師致力于ADAS的開發,為復雜交通環境中視覺目標檢測和環境感知提供高精度、穩定可靠的軟體解決方案。全套軟體演算法將支援所有視覺ADAS功能,如行人檢測、車道偏離報警(LDW)、交通標志識別(TSR)、運動目標檢測(MOD)和盲點檢測(BSD)。在亞洲,LDW、TSR和MOD已被OEM和一級市場廣泛采納和應用。
加強視覺/提高靈活度ADAS更趨完善
軟體發展面臨的三大挑戰:可靠性、靈活性和可行性。ADAS功能設計日趨安全,如今,功能和連接的安全需求已眾所周知,而滿足這些需要則是必備條件。功能性軟體不僅要提供穩健、精確的目標和環境識別能力(在各種不同交通環境和燈光條件下),同時必須滿足即時性需求。
軟體設計人員經常會面臨兩難境地,一方面必須采用更加先進的分類方法(如機器學習、神經網路等),以實現不同的識別方式,最終提升應用的效能;另一方面,這樣卻不可避免地會給即時實作帶來額外負擔。因此,設計人員必須綜合考慮各方面因素,巧妙地設計出最佳的軟體解決方案。開發或提供ADAS的所有OEM和一級市場均采用類似的名稱來命名相同的功能(表1)。然而,沒有任何兩個解決方案是完全相同的,每個客戶都會根據自身的特定需求提出不同的規格要求;此外,也沒有完全相同的專案環境,其應用必須考慮不同的硬體環境和安裝位置。
軟體設計必須具有足夠的靈活性,以支援不同類型和解析度的鏡頭設備,并能夠識別多類型目標。軟體解決方案必須易于配置,且能夠執行功能定制、當地語系化和自訂服務,同時不會降低軟體品質。
最后,ADAS軟體還必須滿足可行性要求。軟體采用的演算法必須易于實作且穩定執行,至少可保證幾百小時連續工作。同時,設計人員還必須考慮低功耗、異常情況容忍度和錯誤檢測等功能特性,因此,ADAS功能的開發成為了一項高度復雜、富有挑戰性的任務。
應對ADAS開發挑戰的關鍵因素,不僅在于采用尖端的硬體設備和使用先進的電腦視覺演算法,二者的完美結合才是最佳的解決方案。在S32V產品設計的早期階段,飛思卡爾和東軟曾密切進行技術交流。
為提供最佳的硬體設備支援以加速ADAS演算法的潛在并行性,兩家公司研究了ADAS演算法的不同類型(任務并行、資料并行、管道并行)和并行等級(任務級并行、回圈級并行、指令級并行)。
最終總結出超過十種重要的計算模式,其中六種最為耗時。基于上述的研究成果,S32V產品最終提供并整合了不同種類的計算單元。ADAS軟體解決方案的總體輪廓架構已經形成:多層軟體管道、適用于低階影像處理的ISP、適用于中級特征提取的APEX2,以及用于進階協調和資訊融合的CPU。
隨著飛思卡爾在2013年推出FPGA模擬技術,各種重要演算法,包括積分影像計算、目標特征提取和分類,均得到優化。預期至S32V產品上市,關鍵演算法的速度將是目前的20倍。
在ADAS軟體研究和開發過程中,選用資深開發團隊,以及高品質開發流程至為重要。演算法必須明確地聲明其所需的資源、驗證條件,以及異常和故障行為。自研究階段初始,演算法就要確保基本軟體模組的自完整性、獨立性和靈活性。 完整的軟體架構包括了硬體隱藏層、感知層、決策層和HMI層。感知層是其中的關鍵部分。
基于ISP或APEX2的關鍵優化演算法有序寄存于感知層。以上所有因素均為ADAS解決方案的最終成型奠定了堅實基礎,使該解決方案能夠滿足汽車級高可靠性標準,如ISO26262。
東軟的目標是與合作夥伴緊密合作,最終提供具有ADAS功能的開放式解決方案。OEM和一級市場能夠選擇不同類型和數量的鏡頭感測器,并選擇不同的ADAS功能特性組合。
這種方式不僅保證ADAS解決方案的安全性和可靠性,價格也極具競爭力。目前東軟已成功將重要演算法移植到S32V的FPGA模擬器中,包括車道偏離報警、行人檢測和交通標志識別。下一步,該公司將推出基于S32V的視覺解決方案,支援車輛行駛的前視、后視和環視ADAS功能,包括盲點檢測、交通燈識別、行動目標檢測以及環視輔助系統。未來也將不斷致力于打造一個更加安全、便捷及舒適的交通環境。
模塊接口:
1.I2C*3
2.Dual-QuadSPINORFLASHorHYPERFLASH*1
3.CANConnections*2
4.RGBDCU*1
5.FlexRAY*2
6.MIPI-CSI*2
7.ETHERNET*1
8.SPI*3
9.ADC0*8
10.UART*2
11.Mini-PCIE*1
12.3.3V供電
-
傳感器
+關注
關注
2552文章
51288瀏覽量
755160 -
雷達
+關注
關注
50文章
2955瀏覽量
117755 -
adas
+關注
關注
309文章
2189瀏覽量
208747
發布評論請先 登錄
相關推薦
評論