自動(dòng)駕駛里面很重要的就是估計(jì)和預(yù)測交通情況。預(yù)測的來源就是路上各種物體的姿態(tài)和速度歷史，高級(jí)的預(yù)測會(huì)包括可能的行動(dòng)軌跡。

對(duì)于車輛本身來說，其駕駛動(dòng)作分析離不開動(dòng)力學(xué)理論（kinematic，dynamic），周圍的障礙物，同時(shí)還有道路行駛的路況（坡度，曲率）和規(guī)則（紅綠燈，限速牌，車道線，交叉路口等等）。所有這些因素組合一起就能體現(xiàn)交通參與者的行為模式，而學(xué)習(xí)這些行為模型就是自動(dòng)駕駛掌握老司機(jī)技術(shù)的必然之路。

一共兩件事，一是對(duì)其他車輛的駕駛行為預(yù)測，二是司機(jī)駕駛行為建模以便學(xué)習(xí)模仿這種技術(shù)。在ADAS層次，基于錯(cuò)誤的駕駛操作危險(xiǎn)預(yù)測，可以對(duì)司機(jī)的不良行為警告，這不是這里的討論范圍。

駕駛行為建模（DBM，driver behavior modeling）目的就是預(yù)測駕駛動(dòng)作，預(yù)測駕駛員心思，還有環(huán)境因素，如下圖所示：各種傳感器和車載控制器CAN數(shù)據(jù)作為輸入，預(yù)處理算法過濾數(shù)據(jù)，然后給各種應(yīng)用提供預(yù)測模型。

以換車道為例吧，建模方法可以分成微觀模型，宏觀模型（交通流）和二者混合模型。微觀模型又可以細(xì)分為基于規(guī)則模型，基于（概率）選擇模型，AI模型和基于激勵(lì)模型，見下圖。

這些微觀模型的各個(gè)方法在決策（decision），理由（reason），目標(biāo)車道選擇（target lane selection），可接受間距（gap），駕駛習(xí)慣（drivers variability）比如激進(jìn)或者溫和 （aggressive or mild）等方面有各自的特色，如下面表格的總結(jié)。

規(guī)則法主要是基于Gipps模型建立包含一系列固定條件的決策樹，輸出是二值選擇；也有基于其他的，比如游戲理論的方法；

選擇法主要是采用概率模型，最大似然估計(jì)給出操作；

AI法需要車輛的行駛數(shù)據(jù)來訓(xùn)練NN模型；

激勵(lì)法會(huì)考慮車道的吸引度和風(fēng)險(xiǎn)安全標(biāo)準(zhǔn)，也可以加入禮貌之類的個(gè)性化因素。

各自的優(yōu)缺點(diǎn)對(duì)比：

規(guī)則法建模簡單，決策的變量少；難處是參數(shù)調(diào)節(jié)，判決只能二值；

選擇法決定來自于其概率計(jì)算，獲取最大的益處；問題是概率如何計(jì)算選擇的益處；

AI法是根據(jù)司機(jī)駕駛的數(shù)據(jù)，優(yōu)化模型參數(shù)；但數(shù)據(jù)量要求大，函數(shù)復(fù)雜度高；

激勵(lì)法參數(shù)少，有駕駛風(fēng)格選項(xiàng)可以考慮；但是交通擁擠的時(shí)候動(dòng)機(jī)不清楚。

研究DBM，必然涉及道路網(wǎng)絡(luò)建模（RNM，road network modeling），即道路的拓?fù)浣Y(jié)構(gòu)?；旧希缆?a target="_blank">信息包括多個(gè)分級(jí)結(jié)構(gòu)，如regional road network–road–road segment–carriageway–lane。

車道（Lane）是最基本的道路單位，而行車道（carriageway）是同一方向和類似交通性質(zhì)的車道合并而成，如圖所示。

而這個(gè)是十字路口的行車道網(wǎng)絡(luò)結(jié)構(gòu)。

建立一個(gè)道路網(wǎng)絡(luò)和拓?fù)浣Y(jié)構(gòu)可以像下圖一樣。

除了道路網(wǎng)絡(luò)，DBM也需要考慮車輛模型，下圖是一個(gè)車輛種類劃分的分級(jí)模型。

下面選幾篇論文分析一下做駕駛行為建模及其預(yù)測的研究工作。

這一篇文章是講述如何針對(duì)不同場景預(yù)測駕駛行為：“A Scenario-Adaptive Driving Behavior Prediction Approach to Urban Autonomous Driving“。

因?yàn)槌鞘薪煌▓鼍敖?jīng)常變化，需要在駕駛行為預(yù)測時(shí)候考慮對(duì)場景的自適應(yīng)性。首先需要設(shè)計(jì)一個(gè)場景模型庫，稱為ontology，如下圖：包括兩個(gè)分支，一是Entity，二是Attribute；Entity包括4個(gè)部分：

MapEntity。它包括兩個(gè)部分，即AreaEntity和PointEntity。前者表示道路的一個(gè)區(qū)域，包括RoadPart，SideWalk，Junction，Segment和Lane。后者表示道路剩下的部分，包括TrafficSign，LaneMarker，StopLine。

ObstacleEntity。包括靜態(tài)和運(yùn)動(dòng)的。

EgoEntity。自身車的部分，VehicleType，EquippedSensors等等。

Environment。包括Weather，LightingConditions和RoadSurfaceConditions。

Attributes 描述位置，區(qū)域范圍和限制類型。包括Position，Perimeter和ConnectedRestriction。下圖是一個(gè)道路基于此ontology的分解：

回頭看，該駕駛行為預(yù)測方法的系統(tǒng)框架如圖描述：存在兩個(gè)工作模式，在線和離線。

在離線模式，從數(shù)字地圖中提取道路信息，并根據(jù)上面的ontology模型進(jìn)行描述；先從典型的交通場景里提取數(shù)據(jù)用于學(xué)習(xí)駕駛行為的連續(xù)特征；每個(gè)駕駛模型通過一個(gè)HMM學(xué)習(xí)；基于先驗(yàn)知識(shí)（交通規(guī)則，駕駛經(jīng)驗(yàn)）定義候選行為模型，輸入特征，以及每個(gè)模型的先驗(yàn)知識(shí)概率，構(gòu)成語義規(guī)則；所有這些規(guī)則存于知識(shí)庫。

在線模式下，將知識(shí)庫的所有學(xué)習(xí)的模型和語義規(guī)則在初始化裝入內(nèi)存，然后每個(gè)候選行為模型會(huì)計(jì)算其似然值，結(jié)合先驗(yàn)概率得到行為標(biāo)簽（tag）。

最后駕駛行為的預(yù)測方法如圖：對(duì)應(yīng)行為集合的一組HMM已經(jīng)離線學(xué)習(xí)完成，現(xiàn)在輸入實(shí)時(shí)的感知器數(shù)據(jù)，那么對(duì)于每個(gè)車輛，基于規(guī)則的推理模塊會(huì)計(jì)算產(chǎn)生其候選模型，而HMM中的Forward算法就能估計(jì)每個(gè)所選模型的擬合程度，即最大后驗(yàn)估計(jì)。

這里給出一個(gè)實(shí)驗(yàn)例子：

其中 (a) 是場景推理結(jié)果， (b) 不同行為似然值，(c) 駕駛行為預(yù)測界面。

北卡的駕駛行為預(yù)測的工作，兩篇論文：

第一篇是規(guī)劃算法AutonoVi，以支持滿足交通約束的無人駕駛動(dòng)態(tài)機(jī)動(dòng)（dynamic maneuvers）：“AutonoVi: Autonomous Vehicle Planning with Dynamic Maneuvers and Traffic Constraints”。

其中機(jī)動(dòng)包括拐彎，換道和剎車等動(dòng)作，要求遵守各種交通規(guī)則（路口紅燈/stop牌停車）和避撞（行人，車輛，自行車）。下圖是算法流水線圖：

路徑規(guī)劃在前，按車道駕駛和交通生成一個(gè)引導(dǎo)軌跡，以及一串候選控制輸入（PID控制器）。這些控制會(huì)以數(shù)據(jù)驅(qū)動(dòng)的車輛動(dòng)力建模和控制障礙物理論（Control Obstacle）的無碰撞導(dǎo)航為標(biāo)準(zhǔn)評(píng)估，最后剩下的軌跡再通過優(yōu)化算法（Path，Comfort，Maneuver，Proximity等為開銷）決定最佳控制信號(hào)。

車輛的行為描述為有限狀態(tài)機(jī)（FSM），如下圖：

軌跡規(guī)劃要計(jì)算一組沿著車道中心等時(shí)間間隔的waypoints。如圖給出一個(gè)計(jì)算引導(dǎo)路徑的例子：(a)偏離中心被平滑引回；(b) 突然改變前進(jìn)方向；(c)換道，離開和目標(biāo)車道的waypoints加權(quán)平均。

第二篇討論如何從車輛軌跡分析駕駛行為并用于自動(dòng)駕駛："Identifying Driver Behaviors using Trajectory Features for Vehicle Navigation"。

算法的框架如圖：

其中定義一個(gè)模塊叫Trajectory to Driver Behavior Mapping (TDBM)，有6種駕駛員行為定義和分析，主要衍生于兩種基本模式Aggressiveness 和Carefulness，定義如下。

其中0-5是駕駛行為測度，6-9是注意（attention）測度。

很重要的一點(diǎn)是，作者定義了一組軌跡的特征，以此形成軌跡到行為的映射，10個(gè)候選特征見下表，其中綠色部分就是用來計(jì)算行為測度的，藍(lán)色是用來一起計(jì)算行為測度和注意測度。

選擇特征的方法是基于LASSO分析，映射關(guān)系最終是矩陣形式。應(yīng)用在自動(dòng)駕駛時(shí)，選擇了前面提到的AutonoVi規(guī)劃算法。

Uber Toronto最近的駕駛預(yù)測工作，有兩篇論文

"Fast and Furious: Real Time End-to-End 3D Detection, Tracking and Motion Forecasting with a Single Convolutional Net"

"IntentNet: Learning to Predict Intention from Raw Sensor Data"

第一篇論文介紹一種將目標(biāo)檢測工作和預(yù)測合為一體的系統(tǒng)FAF，如圖所示：

這里數(shù)據(jù)是激光雷達(dá)的點(diǎn)云，利用它的鳥瞰投影作為模型輸入。其實(shí)預(yù)測部分才是我們感興趣的，當(dāng)然三合一的NN模型是新穎的方式。模型輸入多幀數(shù)據(jù)構(gòu)成4-D張量，利用3-D卷積做預(yù)測。下圖是運(yùn)動(dòng)預(yù)測的示意圖（t, t+1, ...,t+n-1):

第二篇論文在此基礎(chǔ)上，定義意向（intent）是一個(gè)高級(jí)行為和連續(xù)的軌跡的組合，提出了一個(gè)預(yù)測意向的模型IntentNet。看看模型的輸入，輸出和模型結(jié)構(gòu)的介紹：

輸入如上圖，左邊是點(diǎn)云鳥瞰投影，右邊是靜態(tài)地圖部分，包括道路，車道，十字路口，交通牌和紅綠燈等。

下圖是輸出部分：綠色是groundtruth，粉色是預(yù)測的結(jié)果，箭頭表示意向分?jǐn)?shù)，針對(duì)定義的8種行為類型而言，即保持車道，左轉(zhuǎn)，右轉(zhuǎn)，換左道，換右道，停止，泊車和其他。

下圖是模型結(jié)構(gòu)：一種后融合方法。

其中一些模型細(xì)節(jié)：

關(guān)于學(xué)習(xí)駕駛行為的工作，先介紹一篇相對(duì)舊的文章，是普林斯頓大學(xué)X教授研究組的：“DeepDriving: Learning Affordance for Direct Perception in Autonomous Driving“。

這個(gè)圖對(duì)E2E學(xué)習(xí)“老”司機(jī)駕駛的方法進(jìn)行劃分：mediated perception，分析觀測場景得到駕駛決策；behavior reflex 直接映射傳感器數(shù)據(jù)（圖像為例）到駕駛動(dòng)作，有些類似特斯拉提出的Autopilot software 2.0；第三種方法，direct perception，作者定義affordance，標(biāo)記一些如車輛相對(duì)道路的角度，到車道線的距離，和相鄰車輛的距離等，這些信息由感知得到，然后映射到駕駛動(dòng)作。

沿著Affordance這個(gè)思路，看看最近蘇黎世ETH的駕駛行為學(xué)習(xí)工作：“Conditional Affordance Learning for Driving in Urban Environments“。

為了和模擬學(xué)習(xí)或條件性模擬學(xué)習(xí)區(qū)別開，作者稱自己的方法為Conditional Affordance Learning (CAL) 。上圖所示，輸入的除了傳感器的數(shù)據(jù)（視頻為例），還有一些高級(jí)方向性的信號(hào)，即“直行“，”左行“和”右行“之類的行為類別。

下圖給出系統(tǒng)的框圖：模型訓(xùn)練出來一組駕駛行為Affordance，送入車輛控制器。

定義的Affordance見左下表：分類取決于種類（連續(xù)/離散）和條件性（紅綠燈，限速）。

文中定義了6個(gè)危險(xiǎn)事件：駕駛車道錯(cuò)誤，車上行人道，闖紅燈，車相撞，撞行人，和撞靜態(tài)物體。訓(xùn)練在開源仿真模擬軟件Carla進(jìn)行，測試也是。

加州伯克利分校的這個(gè)工作是通過模擬學(xué)習(xí)（Imitation Learning）方法得到一個(gè)集成規(guī)劃和控制的框架，結(jié)合了機(jī)器學(xué)習(xí)和優(yōu)化理論的兩層分級(jí)結(jié)構(gòu)：“A Fast Integrated Planning and Control Framework for Autonomous Driving via Imitation Learning“ 。

這個(gè)框架的第一層是policy layer，通過NN學(xué)習(xí)長期的最優(yōu)MPC駕駛策略，第二層是execution layer，主要跟蹤上一層policy layer生成的參考軌跡（reference trajectory），是一個(gè)保證短期安全和可行性的基于優(yōu)化的短期控制器。特別提出的一點(diǎn)，第一層采用在線模擬學(xué)習(xí)，其中借用了dataset aggregation（DAgger）的方法，可以快速連續(xù)地改進(jìn)policy layer。

下圖是整個(gè)分級(jí)二層結(jié)構(gòu)：包括感知，決策，規(guī)劃控制等模塊。它不是一個(gè)E2E的模擬學(xué)習(xí)方法，其實(shí)包括感知在內(nèi)的E2E機(jī)器學(xué)習(xí)框架是比較risky的，以前也提過這種corner case太多。

下圖是定義的Sampled DAgger，用在policy layer的模擬學(xué)習(xí)：

跟以前的DAgger相比，Sampled DAgger的數(shù)據(jù)效率更高。

另外，論文里做了對(duì)學(xué)習(xí)的policy泛化處理，可以用在復(fù)雜的駕駛場景，下圖是一個(gè)多車道的駕駛場景：

泛化就是將一個(gè)連續(xù)駕駛的問題降為一系列的抽象場景，而每個(gè)抽象場景能直接應(yīng)用學(xué)習(xí)的policy模型來求解。

谷歌WayMo的最新文章介紹通過駕駛數(shù)據(jù)模擬學(xué)習(xí)駕駛策略：“ChauffeurNet: Learning to Drive by Imitating the Best and Synthesizing the Worst“。

該文反對(duì)純粹地模擬所有數(shù)據(jù)，而是在模擬損失上附加一些損失（比如碰撞，離開路和幾何上軌跡的不光滑等）來懲罰不期望出現(xiàn)的事件和鼓勵(lì)進(jìn)步，這些擾動(dòng)增強(qiáng)了模型的魯棒性。實(shí)驗(yàn)中表明ChauffeurNet模型可以處理復(fù)雜的情況。

以下圖是模型的輸入-輸出：地圖，交通燈，限速，路徑，自身位置和姿態(tài)，其他車輛/行人/自行車的位置和姿態(tài)和自身姿態(tài)的過去軌跡，作為輸入，而輸出是自身的下一個(gè)姿態(tài)。

駕駛模型包括幾個(gè)部分，如下圖：FeatureNet，AgentRNN，Road Mask Net，PerceptionRNN。

更詳細(xì)的描述可以見下圖：那些輸入先進(jìn)入FeatureNet輸出Feature，然后再進(jìn)入AgentRNN來預(yù)測駕駛軌跡的下一個(gè)位置，車身的heatMap，迭代次數(shù)，以前預(yù)測的Memory（單通道圖像，是一個(gè)疊加型內(nèi)存，每次迭代會(huì)在預(yù)測位置加一），和上次迭代預(yù)測的車身heatMap。

整個(gè)軟件系統(tǒng)框圖如下：

實(shí)驗(yàn)中特意提到有一個(gè)路旁停車被成功地繞開的例子。

總的看，駕駛行為的學(xué)習(xí)以及對(duì)其他車輛駕駛的預(yù)測都是目前比較關(guān)鍵的問題，如果感知的一些不足，可以說是一些失誤，能不能被行為模型看成噪聲或者干擾而成功忽略和“屏蔽”，那么就是自動(dòng)駕駛模塊化的研發(fā)過程中成功的進(jìn)步。但目前的實(shí)驗(yàn)，還不能證明這一點(diǎn)，主要是數(shù)據(jù)不夠，而且駕駛模型中ontology也不完備。

另外大家也認(rèn)為感知和規(guī)劃應(yīng)該被看成一個(gè)整體，所以研發(fā)的次序應(yīng)該是在感知和規(guī)劃+控制的交替中前進(jìn)，感知的進(jìn)步會(huì)驅(qū)使駛決策模型的更新。