據(jù)麥姆斯咨詢介紹，隨著全球汽車制造商開發(fā)出更多配備Level 2或更高級(jí)別自動(dòng)駕駛功能（但仍不能忽視人工監(jiān)督）的車輛，汽車產(chǎn)業(yè)對(duì)車內(nèi)監(jiān)控系統(tǒng)的需求越來(lái)越多。車內(nèi)監(jiān)控系統(tǒng)的設(shè)計(jì)目的主要是關(guān)注駕駛員行為，確保他們能夠集中注意力，并在需要時(shí)收回對(duì)自動(dòng)駕駛汽車的控制權(quán)。

全球汽車制造商采用的一個(gè)解決方案是在他們的車輛上增加一套駕駛員監(jiān)控系統(tǒng)（DMS）。近期，PathPartner利用4D成像雷達(dá)和攝像頭融合技術(shù)開發(fā)出一款DMS的擴(kuò)展系統(tǒng)——乘客監(jiān)控系統(tǒng)（OMS），進(jìn)一步提升了安全性、舒適性和便捷性。

PathPartner成立于2006年，是一家專業(yè)的產(chǎn)品工程服務(wù)公司，為汽車、消費(fèi)電子、通信、醫(yī)療和物聯(lián)網(wǎng)領(lǐng)域的客戶提供從概念到量產(chǎn)的服務(wù)。通過(guò)圍繞深度學(xué)習(xí)、計(jì)算機(jī)視覺、多媒體、圖像和物聯(lián)網(wǎng)構(gòu)建的創(chuàng)新技術(shù)，為客戶解決了復(fù)雜的業(yè)務(wù)挑戰(zhàn)，加快產(chǎn)品上市時(shí)間。PathPartner的業(yè)務(wù)遍及全球，在印度班加羅爾和科欽、德國(guó)法蘭克福和美國(guó)硅谷設(shè)有研發(fā)中心。

PathPartner負(fù)責(zé)研發(fā)的副總裁Vinay MK表示：“將攝像頭和毫米波雷達(dá)結(jié)合在一起，可以在低光、嘈雜的環(huán)境下顯著提高檢測(cè)精度。我們采用的攝像頭具有近紅外照明，可以在不同的照明條件下實(shí)現(xiàn)可靠的性能。”

4D成像雷達(dá)如何工作？

4D成像雷達(dá)代表著下一代毫米波雷達(dá)技術(shù)。它的工作原理類似具有閃光燈的照相機(jī)，在拍攝前利用毫米波（一種不可見的電磁波）瞬間照射目標(biāo)物體。在傳統(tǒng)照相機(jī)中，閃光燈發(fā)射出可見光，以實(shí)現(xiàn)在低光照條件下的目標(biāo)捕捉。而4D成像雷達(dá)則通過(guò)天線接收毫米波，使用靜態(tài)隨機(jī)存取存儲(chǔ)器（SRAM）記錄目標(biāo)圖像。

4D成像雷達(dá)探測(cè)目標(biāo)的圖像猶如“點(diǎn)云”，可顯示車輛中人員或物體的尺寸、形狀、位置和移動(dòng)等信息。從這些雷達(dá)圖像中，可以利用深度學(xué)習(xí)算法來(lái)識(shí)別它們是什么。當(dāng)作為駕駛員或乘客監(jiān)控系統(tǒng)的一部分時(shí)，PathPartner的4D成像雷達(dá)技術(shù)可用于檢測(cè)汽車內(nèi)部的細(xì)微運(yùn)動(dòng)，甚至是人和動(dòng)物的呼吸，例如在毛毯下熟睡的兒童或有寵物的地方。

三種類型的汽車?yán)走_(dá)系統(tǒng)

汽車?yán)走_(dá)系統(tǒng)可以根據(jù)探測(cè)范圍分為三種類型：近程雷達(dá)、中程雷達(dá)、遠(yuǎn)程雷達(dá)。例如，近程雷達(dá)可以探測(cè)到距離車輛30米遠(yuǎn)的物體。近程雷達(dá)通常放置在車輛的后角，以支持盲點(diǎn)檢測(cè)、追尾警告、交叉路口警報(bào)和泊車輔助。

中程雷達(dá)探測(cè)30米至80米范圍內(nèi)的目標(biāo)物體，遠(yuǎn)程雷達(dá)探測(cè)距離大于80米的目標(biāo)物體。遠(yuǎn)程雷達(dá)用于汽車安全系統(tǒng)，如自動(dòng)緊急制動(dòng)（AEB）和自適應(yīng)巡航控制（ACC）。

Pathparter駕駛員和乘客監(jiān)控系統(tǒng)中使用的毫米波雷達(dá)具有較小的波長(zhǎng)、更高的分辨率和精度，因此能夠更好地區(qū)分兩個(gè)目標(biāo)。這款毫米波雷達(dá)由于其體積小、性能強(qiáng)勁，獲得汽車制造商的青睞。

PathPartner駕駛員和乘客監(jiān)控系統(tǒng)

基于毫米波雷達(dá)的駕駛員和乘客監(jiān)控

我們與PathPartner負(fù)責(zé)研發(fā)的副總裁Vinay MK進(jìn)行了更深入的交流，他進(jìn)一步解釋了公司在駕駛員和乘客監(jiān)控系統(tǒng)中使用的底層技術(shù)。他還解釋了基于攝像頭的監(jiān)控和使用4D成像雷達(dá)的監(jiān)控之間的主要區(qū)別。

Vinay MK介紹說(shuō)：“基于攝像頭的監(jiān)控系統(tǒng)可以檢測(cè)到安全帶的正確使用和乘客的身高，這兩項(xiàng)都是安全氣囊正確打開的關(guān)鍵要素。基于攝像頭的監(jiān)控系統(tǒng)可以用來(lái)監(jiān)控駕駛員的活動(dòng)，比如抽煙、打電話、吃飯、喝酒、玩手機(jī)、分心、睡覺等，它還可以探測(cè)到某些物體的存在，例如空的嬰兒座椅、懸掛的外套等。”

“4D成像雷達(dá)系統(tǒng)可以在低光照條件下完美地補(bǔ)充基于攝像頭的監(jiān)控系統(tǒng)。”Vinay MK表示，“60GHz成像雷達(dá)系統(tǒng)有足夠的分辨率來(lái)探測(cè)嬰兒和成人呼吸頻率的差異。結(jié)合攝像頭和成像雷達(dá)的數(shù)據(jù)，在低光照條件下可以顯著提高檢測(cè)精度。”

“如果嬰兒在被毛毯覆蓋的嬰兒座椅之中，那么只有通過(guò)毫米波雷達(dá)系統(tǒng)才有可能探測(cè)并識(shí)別。”Vinay MK說(shuō)，“在駕駛員和乘客監(jiān)控系統(tǒng)中使用4D成像雷達(dá)的一個(gè)主要原因是準(zhǔn)確檢測(cè)停放車輛中的小孩。”

根據(jù)一份美國(guó)國(guó)家安全委員會(huì)報(bào)告稱，每年平均有39名15歲以下的小孩在被遺留在車內(nèi)后死于中暑。因此，美國(guó)國(guó)會(huì)于2019年制定了《Hot Cars Act》法案，要求美國(guó)交通運(yùn)輸部（DOT）強(qiáng)制要求所有新車配備兒童存在檢測(cè)系統(tǒng)，例如PathPartner開發(fā)的駕駛員和乘客監(jiān)控系統(tǒng)。

為了滿足汽車制造商的處理需求，PathPartner駕駛員和乘客監(jiān)控算法已被移植到NextChip的Apache4上。Apache4是一款用于汽車高級(jí)輔助駕駛系統(tǒng)（ADAS）視覺系統(tǒng)的預(yù)處理器。據(jù)Nextchip稱，Apache4包括專用的圖像處理加速器子系統(tǒng)和優(yōu)化的軟件，可以減少多達(dá)70%的計(jì)算需求。

NextChip預(yù)處理器Apache4

Vinay MK說(shuō)：“Apache4預(yù)處理器以高度集成的方式提供先進(jìn)圖像處理。與傳統(tǒng)基于向量的分類器相比，其先進(jìn)的算法可提供更高的檢測(cè)率，使其成為歐洲NCAP大眾市場(chǎng)采用的非常經(jīng)濟(jì)實(shí)惠的駕駛員和乘客監(jiān)控解決方案。”

據(jù)麥姆斯咨詢此前報(bào)道，全球領(lǐng)先的芯片制造商高通（Qualcomm）與PathPartner展開合作，并在2019年CES上展出的概念車中集成了PathPartner駕駛員和乘客監(jiān)控系統(tǒng)，引起了廣泛關(guān)注。今年1月，PathPartner宣布推出基于高通QCS605片上系統(tǒng)（SoC）的PT605模組和智能相機(jī)參考設(shè)計(jì)套件。

PathPartner駕駛員和乘客監(jiān)控系統(tǒng)是圍繞多個(gè)小型卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型與自適應(yīng)機(jī)器學(xué)習(xí)模塊結(jié)合而設(shè)計(jì)的。該公司表示，由于采用了這種混合架構(gòu)，4D成像雷達(dá)技術(shù)可以利用高通提供的DSP，以非常低的占用空間處理60幀/秒的數(shù)據(jù)。

PathPartner表示，其高性能PT605模組和智能相機(jī)參考設(shè)計(jì)套件與公司的設(shè)備工程服務(wù)相結(jié)合，還使設(shè)備制造商能夠滿足汽車行業(yè)以外對(duì)4D成像雷達(dá)日益增長(zhǎng)的需求，包括對(duì)支持人工智能的攝像頭和物聯(lián)網(wǎng)設(shè)備的需求。

“我們的攝像頭具有近紅外照明，可在不同的照明條件下實(shí)現(xiàn)可靠的性能。攝像頭模塊和處理單元通過(guò)高端汽車級(jí)FAKRA連接器連接，提供安裝靈活性和小外形尺寸攝像頭。”Vinay MK介紹說(shuō)。

FAKRA（Fachkreis Automobil）是由德國(guó)開發(fā)的汽車級(jí)連接器的行業(yè)標(biāo)準(zhǔn)，可以在高達(dá)6GHz的頻率下運(yùn)行，并且具有很高的可靠性。這些類型的連接器通常用于連接無(wú)線成像和視頻設(shè)備。

Vinay MK繼續(xù)說(shuō)：“美國(guó)硅谷公司Cadence提供的硬件也支持我們的駕駛員和乘客監(jiān)控系統(tǒng)。Cadence是一家高性能DSP和卷積神經(jīng)網(wǎng)絡(luò)（CNN）加速器供應(yīng)商，在汽車處理器方面取得了成功。通過(guò)將我們的駕駛員和乘客監(jiān)控算法和模型移植到Cadence處理器上，我們已經(jīng)為汽車原始設(shè)備制造商（OEM）做好了試驗(yàn)準(zhǔn)備。”

Cadence的Tensilica Vision DSP成像產(chǎn)品（PathPartner駕駛員和乘客監(jiān)控系統(tǒng)已經(jīng)采用）旨在運(yùn)行用于成像和計(jì)算視覺的復(fù)雜算法，包括目標(biāo)對(duì)象和人臉的識(shí)別與跟蹤、低光圖像增強(qiáng)、數(shù)字縮放、手勢(shì)識(shí)別等。Tensilica系列還為運(yùn)行AI驅(qū)動(dòng)的軟件提供出色的性能，這也是PathPartner選擇它的另一個(gè)原因。

PathPartner強(qiáng)大的駕駛員和乘客監(jiān)控機(jī)器學(xué)習(xí)算法也在英特爾（Intel）Apollo Lake處理器以及恩智浦（NXP）IMX8x汽車級(jí)處理器上進(jìn)行了應(yīng)用展示。

Vinay MK在去年的一次采訪中對(duì)《汽車新聞》雜志說(shuō)道：“我們的駕駛員和乘客監(jiān)控系統(tǒng)正被部署在印度班加羅爾的卡車和貨車上。由于能夠在1.2GHz四核處理器上移植計(jì)算密集型算法，我們得到了來(lái)自汽車Tier 1廠商的令人鼓舞的反饋。”

在自動(dòng)駕駛汽車能夠在沒有人為干預(yù)的情況下安全地駕駛車輛之前（預(yù)計(jì)還有很多年），PathPartner等公司正在制定有效的解決方案，以確保車輛處于自動(dòng)駕駛模式下運(yùn)行時(shí)，監(jiān)控駕駛員行為，同時(shí)防止兒童或?qū)櫸餆o(wú)意中被遺棄在車?yán)铩?br />
根據(jù)Market Insights展望，長(zhǎng)期來(lái)看，駕駛員和乘客監(jiān)控系統(tǒng)的需求在汽車行業(yè)將大幅增長(zhǎng)，特別是如果通過(guò)法規(guī)要求所有乘用車都需要安裝駕駛員監(jiān)控系統(tǒng)，例如美國(guó)銷售的乘用車都必須配備安全氣囊（駕駛員和乘客都需要）和倒車攝像頭。

PathPartner還與一家領(lǐng)先的汽車Tier 1供應(yīng)商建立了戰(zhàn)略伙伴關(guān)系，該供應(yīng)商的重點(diǎn)是在移動(dòng)領(lǐng)域開發(fā)先進(jìn)的視覺系統(tǒng)。PathParter拒絕在現(xiàn)階段透露該公司名稱。不過(guò)，Vinay MK證實(shí)，兩家公司正在共同開發(fā)一款基于攝像頭和毫米波雷達(dá)的駕駛員和乘客監(jiān)控ECU，以支持系統(tǒng)的處理要求。“我們繼續(xù)與汽車Tier 1供應(yīng)商合作，并在適當(dāng)?shù)臅r(shí)候披露他們的名稱。”Vinay MK介紹說(shuō)，“PathPartner的戰(zhàn)略合作伙伴將在汽車級(jí)ECU上集成其乘員監(jiān)控系統(tǒng)（OMS）和駕駛員監(jiān)控系統(tǒng)（DMS）算法。”

AI應(yīng)用：利用邊緣計(jì)算代替云計(jì)算

PathPartner還使用邊緣計(jì)算來(lái)處理傳感器數(shù)據(jù)，而不是將數(shù)據(jù)發(fā)送到云服務(wù)進(jìn)行處理，因?yàn)檫@會(huì)增加延遲。對(duì)于汽車行業(yè)，邊緣計(jì)算可以提供更高的安全級(jí)別，并減少對(duì)蜂窩網(wǎng)絡(luò)傳輸數(shù)據(jù)的依賴——對(duì)于安全性至關(guān)重要的汽車系統(tǒng)而言，這種方法并不總是足夠可靠。

PathPartner營(yíng)銷、業(yè)務(wù)開發(fā)和銷售副總裁Ramshisor Korada解釋說(shuō)：“由于對(duì)數(shù)據(jù)隱私、通信延遲和不可靠連接的擔(dān)憂日益增加，將AI工作負(fù)載從云轉(zhuǎn)移到設(shè)備上的情況正在上升。”設(shè)備制造商正在擁抱這一改變，并帶來(lái)智能物聯(lián)網(wǎng)設(shè)備的下一波創(chuàng)新，例如用于視頻監(jiān)控、儀表板攝像頭、無(wú)人機(jī)、視頻會(huì)議等。”

當(dāng)然，駕駛員監(jiān)控系統(tǒng)與現(xiàn)有汽車ADAS集成還面臨著一些挑戰(zhàn)。因?yàn)轳{駛員監(jiān)控系統(tǒng)需要與汽車的其他控制系統(tǒng)（包括制動(dòng)和轉(zhuǎn)向系統(tǒng)）以及AI動(dòng)力感知系統(tǒng)進(jìn)行一定程度的集成設(shè)計(jì)，從而真正實(shí)現(xiàn)“人車合一“。

除了開發(fā)駕駛員和乘客監(jiān)控系統(tǒng)，PathPartner還為所有主要的汽車Tier 1供應(yīng)商提供先進(jìn)的軟件集成、驗(yàn)證和測(cè)試服務(wù)。該公司最近獲得了一家歐洲Tier 1供應(yīng)商的車內(nèi)占用檢測(cè)系統(tǒng)的投產(chǎn)訂單。

Vinay MK預(yù)測(cè)，汽車行業(yè)的首要重點(diǎn)將是低成本集成駕駛員監(jiān)控系統(tǒng)，它可以處理大多數(shù)監(jiān)控條件。對(duì)于汽車制造商來(lái)說(shuō)，需要在性能和成本之間進(jìn)行權(quán)衡。他還預(yù)測(cè)，由于成本的原因，大規(guī)模部署的首款駕駛員監(jiān)控系統(tǒng)甚至可能不支持視線檢測(cè)。Vinay MK還表示：“像我們這樣的初創(chuàng)公司專注于先進(jìn)的功能和復(fù)雜的模型，也必須經(jīng)歷很長(zhǎng)的孕育期。”

責(zé)任編輯：lq