在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

感知系統(tǒng)基本介紹

jf_78858299 ? 來(lái)源:焉知汽車 ? 作者:焉知汽車 ? 2023-05-17 10:51 ? 次閱讀

感知系統(tǒng)基本介紹

Perception(感知)系統(tǒng)是以多種傳感器的數(shù)據(jù)與高精度地圖的信息作為輸入,經(jīng)過(guò)一系列的計(jì)算及處理,對(duì)自動(dòng)駕駛車的周圍環(huán)境精確感知的系統(tǒng)。

它能夠?yàn)橄掠文K提供豐富的信息,包括障礙物的位置、形狀、類別及速度信息,也包括對(duì)一些特殊場(chǎng)景的語(yǔ)義理解(例如施工區(qū)域,交通信號(hào)燈及交通路牌等)。

感知系統(tǒng)的構(gòu)成與子系統(tǒng)

傳感器: 涉及到傳感器的安裝,視場(chǎng)角,探測(cè)距離,數(shù)據(jù)吞吐,標(biāo)定精度,時(shí)間同步等。因?yàn)樽詣?dòng)駕駛使用的傳感器比較多,時(shí)間同步的解決方案至關(guān)重要。

目標(biāo)檢測(cè)及分類: 為了保證自動(dòng)駕駛的安全,感知系統(tǒng)需要達(dá)到近似百分之百的召回率及非常高的準(zhǔn)確率。目標(biāo)檢測(cè)及分類往往會(huì)涉及到深度學(xué)習(xí)方面的工作,包括3D點(diǎn)云及2D Image(圖片)上的物體檢測(cè)及多傳感器深度融合等。

多目標(biāo)追蹤: 跟進(jìn)多幀的信息計(jì)算并預(yù)測(cè)障礙物的運(yùn)動(dòng)軌跡。

場(chǎng)景理解: 包括交通信號(hào)燈,路牌,施工區(qū)域,以及特殊類別,比如校車,警車。

機(jī)器學(xué)習(xí)分布式訓(xùn)練基礎(chǔ)架構(gòu)及相關(guān)評(píng)價(jià)系統(tǒng)

數(shù)據(jù): 大量的標(biāo)注數(shù)據(jù),這里包括3D點(diǎn)云數(shù)據(jù)及2D的圖片數(shù)據(jù)等。

傳感器詳解

目前自動(dòng)駕駛應(yīng)用的傳感器主要分為三類:激光雷達(dá)(LiDAR),相機(jī)(Camera),毫米波雷達(dá)(Radar)。

開頭提到,感知系統(tǒng)的輸入為多種傳感器數(shù)據(jù)和高精地圖,而上圖展示了感知系統(tǒng)物體檢測(cè)的輸出結(jié)果,即能夠檢測(cè)車輛周圍的障礙物,如車輛、行人、自行車等,同時(shí)結(jié)合高精度地圖,感知系統(tǒng)也會(huì)對(duì)周邊的Background(環(huán)境背景)信息進(jìn)行輸出。

如上圖所示,綠顏色的塊狀代表一輛乘用車,橙色代表一輛摩托車,黃色代表一位行人,灰色則是檢測(cè)到的環(huán)境信息,如植被。

感知系統(tǒng)結(jié)合多幀的信息,還能對(duì)運(yùn)動(dòng)的行人和車輛的速度、方向、軌跡預(yù)測(cè)等進(jìn)行精確的輸出。

傳感器配置

與多傳感器深度融合

了解了關(guān)于感知系統(tǒng)從輸入到輸出的大致介紹,接下來(lái),我簡(jiǎn)要介紹一下小馬智行第三代自動(dòng)駕駛系統(tǒng)PonyAlpha的傳感器安裝方案以及多傳感器深度融合的解決方案。

傳感器安裝方案

目前PonyAlpha傳感器安裝方案的感知距離能夠覆蓋車周360度、范圍200米以內(nèi)。

具體來(lái)看,這套方案用到了3個(gè)激光雷達(dá),在車的頂部和兩側(cè)。同時(shí),通過(guò)多個(gè)廣角的攝像頭來(lái)覆蓋360度的視野。遠(yuǎn)處的視野方面,前向的毫米波雷達(dá)以及長(zhǎng)焦相機(jī)將感知距離擴(kuò)到200米的范圍,使其可以探測(cè)到更遠(yuǎn)處的物體信息。這套傳感器配置能保證我們的自動(dòng)駕駛車輛在居民區(qū)、商業(yè)區(qū)、工業(yè)區(qū)這樣的場(chǎng)景進(jìn)行自動(dòng)駕駛。

多傳感器深度融合解決方案

多傳感器深度融合的基礎(chǔ)

多傳感器深度融合的方案首要解決的是將不同的傳感器的數(shù)據(jù)標(biāo)定到同一個(gè)坐標(biāo)系里,包括了相機(jī)的內(nèi)參標(biāo)定,激光雷達(dá)到相機(jī)的外參標(biāo)定,毫米波雷達(dá)到GPS的外參標(biāo)定等等。

傳感器融合重要前提是使標(biāo)定精度達(dá)到到極高水平,不論對(duì)于結(jié)果層面的傳感器融合還是元數(shù)據(jù)層面的傳感器融合,這都是必要的基礎(chǔ)。

圖片

通過(guò)上圖你會(huì)發(fā)現(xiàn),我們的感知系統(tǒng)將3D的激光點(diǎn)云精準(zhǔn)地投射到影像上,可見傳感器標(biāo)定的精度是足夠高的。

不同傳感器的標(biāo)定方案

整個(gè)傳感器標(biāo)定的工作基本上已做到完全自動(dòng)化的方式。

圖片

首先是 相機(jī)內(nèi)參的標(biāo)定 (上圖) ,這是為了修正由相機(jī)自身特性導(dǎo)致的圖像扭曲等。相機(jī)內(nèi)參的標(biāo)定平臺(tái)使每一個(gè)相機(jī)能夠在兩到三分鐘之內(nèi)完成傳感器的標(biāo)定。

圖片

其次是 激光雷達(dá)與GPS/IMU的外參標(biāo)定(上圖) ,激光雷達(dá)的原始數(shù)據(jù)是基于雷達(dá)坐標(biāo)系,因此我們需要將點(diǎn)由雷達(dá)坐標(biāo)系轉(zhuǎn)換為世界坐標(biāo)系,這就涉及到激光雷達(dá)與GPS/IMU相對(duì)位置關(guān)系的計(jì)算。我們的標(biāo)定工具在室外通過(guò)優(yōu)化的方案,能夠快速找到最優(yōu)的位置關(guān)系。

圖片

第三是 相機(jī)到激光雷達(dá)的融合(上圖) 。激光雷達(dá)的感知環(huán)境是360度旋轉(zhuǎn)的方式,每旋轉(zhuǎn)一周是100毫秒,而相機(jī)是某一瞬時(shí)曝光,為了保證相機(jī)的曝光與激光雷達(dá)的旋轉(zhuǎn)保證同步,需要對(duì)二者進(jìn)行時(shí)間同步,即通過(guò)Lidar來(lái)觸發(fā)相機(jī)曝光。比如說(shuō),可以通過(guò)激光雷達(dá)的位置信息來(lái)觸發(fā)對(duì)應(yīng)位置相機(jī)的曝光時(shí)間,以達(dá)到相機(jī)與激光雷達(dá)的精確同步。

3D(激光雷達(dá))和2D(相機(jī))彼此互補(bǔ),二者更好的融合可使得感知得到更精確的輸出。

圖片

最后是 毫米波雷達(dá)(Radar)與GPS/IMU的標(biāo)定(上圖) ,同樣是將Radar數(shù)據(jù)由Local(本地)坐標(biāo)系將其轉(zhuǎn)換到世界坐標(biāo)系,我們將通過(guò)真實(shí)的3D環(huán)境來(lái)計(jì)算Radar與GPS/IMU的相對(duì)位置關(guān)系。好的標(biāo)定結(jié)果能夠保證感知系統(tǒng)給出200米距離以內(nèi)障礙車的車道信息(如位于車道內(nèi)或壓車道線等)等。

車載感知系統(tǒng)架構(gòu)

那么車載感知系統(tǒng)架構(gòu)是什么樣的?它的解決方案又是什么?

圖片

上圖展示了整個(gè)車載感知系統(tǒng)的架構(gòu)。首先激光雷達(dá)、相機(jī)、毫米波雷達(dá)三種傳感器數(shù)據(jù)須進(jìn)行時(shí)間同步,將所有的時(shí)間誤差控制在毫秒級(jí)。結(jié)合傳感器數(shù)據(jù),感知系統(tǒng)以幀為基礎(chǔ)(frame-based)進(jìn)行檢測(cè)(detection)、分割(segmentation)、分類(classification)等計(jì)算,最后利用多幀信息進(jìn)行多目標(biāo)跟蹤,將相關(guān)結(jié)果輸出。這個(gè)過(guò)程中將涉及到多傳感器深度融合和深度學(xué)習(xí)相關(guān)的技術(shù)細(xì)節(jié),我這里不做過(guò)多的討論。

感知系統(tǒng)的解決方案應(yīng)保證以下五點(diǎn):

◆ 首先是安全,保證近乎百分之百的檢測(cè)(Detection)召回率(Recall)。

◆ 精度(Precision)要求非常高,如果低于某個(gè)閾值,造成False Positive(誤報(bào)),會(huì)導(dǎo)致車輛在自動(dòng)駕駛狀態(tài)下行駛得非常不舒適。

◆ 盡量輸出所有對(duì)行車有幫助的信息,包括路牌,交通信號(hào)燈及其它場(chǎng)景理解的信息。

**◆ **保證感知系統(tǒng)的高效運(yùn)行,能夠近實(shí)時(shí)處理大量的傳感器數(shù)據(jù)。

**◆ **可擴(kuò)展性(Scalability)也很重要。深度學(xué)習(xí)(Deep learning)依賴大量數(shù)據(jù),其訓(xùn)練模型的泛化能力對(duì)于感知系統(tǒng)非常重要。未來(lái),我們希望模型(model)和新算法有能力適配更多的城市和國(guó)家的路況。

感知技術(shù)的挑戰(zhàn)

感知精度與召回率相平衡的挑戰(zhàn)

圖片

通過(guò)3D點(diǎn)云數(shù)據(jù)(上圖),能夠看到此時(shí)對(duì)應(yīng)的感知原始數(shù)據(jù)。

這里挑戰(zhàn)是,經(jīng)過(guò)計(jì)算處理后,感知系統(tǒng)需要在這樣環(huán)境下輸出所有障礙物的正確的分割(segmentation)結(jié)果和障礙物類別。

除了繁忙的十字路口,感知系統(tǒng)在處理一些特殊的或者惡劣的天氣條件,也面臨不小挑戰(zhàn)。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 傳感器
    +關(guān)注

    關(guān)注

    2552

    文章

    51233

    瀏覽量

    754705
  • 感知系統(tǒng)
    +關(guān)注

    關(guān)注

    1

    文章

    71

    瀏覽量

    15965
  • 自動(dòng)駕駛
    +關(guān)注

    關(guān)注

    784

    文章

    13869

    瀏覽量

    166608
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    感知農(nóng)業(yè)】溫室環(huán)境云感知終端

    本帖最后由 wangjiamin2014 于 2015-1-9 12:02 編輯 項(xiàng)目名稱: 溫室環(huán)境云感知終端團(tuán)隊(duì)名稱:感知農(nóng)業(yè)團(tuán)隊(duì)成員:張馨作品演示作品介紹當(dāng)前,我國(guó)發(fā)展現(xiàn)代農(nóng)業(yè)面臨著資源
    發(fā)表于 12-31 10:50

    最基礎(chǔ)的電感知識(shí),介紹最常用的一些電感知識(shí)。

    ` 本帖最后由 szckcoil 于 2016-7-7 10:45 編輯 最基礎(chǔ)的電感知識(shí),介紹最常用的一些電感知識(shí)。`
    發(fā)表于 03-30 15:18

    全高級(jí)駕駛員的感知系統(tǒng)

    道路安全從摩爾定律中受益良多,處理能力的提升以及 CMOS 圖像傳感器 (CIS) 和其他傳感器技術(shù)的發(fā)展,讓車輛制造商得以推出高級(jí)駕駛員感知系統(tǒng) (ADAS)。ADAS 能增強(qiáng)駕駛員對(duì)周邊環(huán)境的感知,減少發(fā)生碰撞的概率。部分
    發(fā)表于 05-13 08:12

    智能駕駛?cè)繑?shù)據(jù)感知及分析系統(tǒng)

    經(jīng)緯恒潤(rùn)智能駕駛開發(fā)、測(cè)試評(píng)估平臺(tái)——智能駕駛?cè)繑?shù)據(jù)感知及分析系統(tǒng)
    發(fā)表于 12-31 06:56

    壓縮感知技術(shù)在未來(lái)移動(dòng)通信系統(tǒng)中的應(yīng)用是什么?

    壓縮感知的技術(shù)原理是什么?壓縮感知技術(shù)在未來(lái)移動(dòng)通信系統(tǒng)中的應(yīng)用是什么?
    發(fā)表于 05-24 06:45

    有關(guān)物聯(lián)網(wǎng)感知層IPv6協(xié)議標(biāo)準(zhǔn)化的動(dòng)態(tài)介紹

    本文介紹了物聯(lián)網(wǎng)感知層IPv6協(xié)議標(biāo)準(zhǔn)化的動(dòng)態(tài),概括了相關(guān)技術(shù)標(biāo)準(zhǔn)的主要內(nèi)容以及應(yīng)用發(fā)展?fàn)顩r。
    發(fā)表于 06-07 07:19

    感知系統(tǒng)性能評(píng)估分析解決方案 精選資料分享

    智能駕駛的快速發(fā)展離不開感知系統(tǒng)性能的提升,同時(shí)感知系統(tǒng)性能的優(yōu)劣也制約著智能駕駛方案的實(shí)際落地。在感知
    發(fā)表于 07-27 06:45

    如何去實(shí)現(xiàn)一種基于物聯(lián)網(wǎng)感知的家居人體健康狀況檢測(cè)系統(tǒng)設(shè)計(jì)

    為什么要設(shè)計(jì)一種基于物聯(lián)網(wǎng)感知的家居人體健康狀況檢測(cè)系統(tǒng)?如何去實(shí)現(xiàn)一種基于物聯(lián)網(wǎng)感知的家居人體健康狀況檢測(cè)系統(tǒng)設(shè)計(jì)?
    發(fā)表于 10-20 06:23

    藍(lán)牙感知系統(tǒng)設(shè)計(jì)

    以環(huán)繞智能與嵌入式系統(tǒng)項(xiàng)目為依托,針對(duì)環(huán)繞智能系統(tǒng)中對(duì)用戶身份 感知的需求,將藍(lán)牙技術(shù)作為實(shí)現(xiàn)用戶無(wú)縫感知的手段,設(shè)計(jì)了環(huán)繞智能環(huán)境下 的藍(lán)牙身份
    發(fā)表于 04-14 14:52 ?106次下載
    藍(lán)牙<b class='flag-5'>感知</b><b class='flag-5'>系統(tǒng)</b>設(shè)計(jì)

    仿人機(jī)器人驅(qū)動(dòng)和感知系統(tǒng)介紹及關(guān)節(jié)控制器的控制算法分析

    仿人機(jī)器人的研制開始于上世紀(jì)60年代末,只有三十多年的歷史。1968年,美國(guó)的通用電氣公司試制了一臺(tái)叫Rig的操縱型雙足步行機(jī)器人機(jī)械。它只有踝和髖兩個(gè)關(guān)節(jié),操縱者靠力反饋感覺來(lái)保持機(jī)器平衡,從而揭開了仿人機(jī)器人研制的序幕。 1968年,日本早稻田大學(xué)加藤一郎教授在日本首先展開了雙足機(jī)器人的研制工作【6。。1969年研制出WAP.1平面自由度步行機(jī)。該機(jī)器人具有六個(gè)自由度,每條腿有髖、膝、踝三個(gè)關(guān)節(jié)。利用人造橡膠肌肉為關(guān)節(jié),通過(guò)
    發(fā)表于 09-16 10:14 ?20次下載

    無(wú)人駕駛系統(tǒng)的基本結(jié)構(gòu):感知,規(guī)劃和控制

    本文介紹了無(wú)人駕駛系統(tǒng)的基本結(jié)構(gòu),無(wú)人駕駛軟件系統(tǒng)通常被劃分為三層:感知,規(guī)劃和控制。
    的頭像 發(fā)表于 08-06 10:56 ?1.8w次閱讀
    無(wú)人駕駛<b class='flag-5'>系統(tǒng)</b>的基本結(jié)構(gòu):<b class='flag-5'>感知</b>,規(guī)劃和控制

    詳解智能汽車車身感知系統(tǒng)

    本文主要針對(duì)車身感知定位系統(tǒng)進(jìn)行介紹,車身感知主要是感知車輛位置、行駛速度、姿態(tài)方位等信息,下文分別介紹
    的頭像 發(fā)表于 05-17 10:35 ?1635次閱讀
    詳解智能汽車車身<b class='flag-5'>感知</b><b class='flag-5'>系統(tǒng)</b>

    網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)介紹

    本文提出一種基于鴻鵠數(shù)據(jù)平臺(tái)(炎凰數(shù)據(jù)推出的免費(fèi)社區(qū)版一站式異構(gòu)數(shù)據(jù)分析平臺(tái),以下簡(jiǎn)稱鴻鵠)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)系統(tǒng)借助鴻鵠讀時(shí)建模、時(shí)序處理、數(shù)據(jù)搜索等高效靈活的超大數(shù)據(jù)存儲(chǔ)和分析處理能力
    的頭像 發(fā)表于 05-17 11:06 ?4602次閱讀
    網(wǎng)絡(luò)安全態(tài)勢(shì)<b class='flag-5'>感知</b><b class='flag-5'>系統(tǒng)</b><b class='flag-5'>介紹</b>

    自動(dòng)駕駛中基于網(wǎng)格的交通場(chǎng)景感知介紹

    本文介紹了自動(dòng)駕駛中基于網(wǎng)格的交通場(chǎng)景感知:研究綜述。基于網(wǎng)格的感知是移動(dòng)機(jī)器人感知和導(dǎo)航的關(guān)鍵領(lǐng)域。
    發(fā)表于 08-03 11:51 ?570次閱讀
    自動(dòng)駕駛中基于網(wǎng)格的交通場(chǎng)景<b class='flag-5'>感知</b><b class='flag-5'>介紹</b>

    智能感知系統(tǒng)的組成主要包含哪些

    系統(tǒng)的組成主要包括感知模塊、數(shù)據(jù)處理模塊、決策模塊和執(zhí)行模塊。下面將詳細(xì)介紹這些模塊。 感知模塊是智能感知
    的頭像 發(fā)表于 12-01 15:26 ?5103次閱讀
    主站蜘蛛池模板: 18性夜影院午夜寂寞影院免费| 国产亚洲一区二区在线观看| 综合一个色| 国产三级在线观看免费| 亚洲国产福利精品一区二区| 国产成人精品三级| 色噜噜狠狠狠综合曰曰曰| 国产精品夜夜春夜夜| 欧美高清一区二区| 亚洲аv电影天堂网| 精品国产一区二区三区成人| 欧日韩美香蕉在线观看| 色爱综合区五月小说| 国产女人伦码一区二区三区不卡| 男男宿舍高h炒肉bl| 天天做天天爱天天爽天天综合| 特黄特色的视频免费播放| japanese色系tube日本护士| 欧美精品video| 精品视频一区二区三区| 丁香六月综合激情| 高清一级片| 奇米影视7777久久精品| 色综合天天射| 真实女人寂寞偷人视频| 福利影院在线| 久色tv| 日本xxxx69| 日本免费在线视频| 深夜动态福利gif动态进| 免费人成网ww777kkk手机| 国产精品久久久亚洲456 | 婷婷久久综合九色综合九七| 69国产成人精品午夜福中文| 天天艹| 天天干夜夜爱| 射久久| 国产精品视频久久久| 乱色伦图片区| 国产黄大片在线观看| 久久99热精品免费观看k影院|