2019年5月13日，國(guó)際人工智能聯(lián)合會(huì)議（IJCAI）2019發(fā)布了一篇題為Randomized Adversarial Imitation Learning的論文。該文介紹了一種基于自動(dòng)駕駛的隨機(jī)對(duì)抗性模仿學(xué)習(xí)（Randomized Adversarial Imitation Learning，RAIL）。該方法模擬了配備先進(jìn)傳感器的自動(dòng)駕駛汽車的協(xié)調(diào)過程，通過自由派生優(yōu)化決策系統(tǒng)進(jìn)而協(xié)調(diào)諸如智能巡航控制（SCC）和車道保持（LKS）等ADAS功能。值得一提的是，該方法在復(fù)雜的多車道高速公路和多智能體環(huán)境下，可以處理激光雷達(dá)數(shù)據(jù)并進(jìn)行決策。

在多車道高速公路環(huán)境中，安全事故往往會(huì)導(dǎo)致道路擁堵或發(fā)生更嚴(yán)重的交通事故。現(xiàn)代自動(dòng)駕駛中呈現(xiàn)的各種ADAS功能具有高度的相互依賴性，需要將其看成一個(gè)單一的綜合體，需要在保證安全的同時(shí)，形成長(zhǎng)期有效的輔助策略顯得尤為重要。本文介紹了一種基于自動(dòng)駕駛的隨機(jī)對(duì)抗性模仿學(xué)習(xí)（Randomized Adversarial Imitation Learning，RAIL）。該方法模擬了配備先進(jìn)傳感器的自動(dòng)駕駛汽車的協(xié)調(diào)過程，通過自由派生優(yōu)化決策系統(tǒng)進(jìn)而協(xié)調(diào)諸如智能巡航控制（SCC）和車道保持（LKS）等ADAS功能。值得一提的是，該方法在復(fù)雜的多車道高速公路和多智能體環(huán)境下，可以處理激光雷達(dá)數(shù)據(jù)并進(jìn)行決策。

基于自動(dòng)駕駛的隨機(jī)對(duì)抗性模仿學(xué)習(xí)（RAIL）法表明，在政策參數(shù)空間內(nèi)的隨機(jī)搜索可以適用于自動(dòng)駕駛政策的模仿學(xué)習(xí)。具體貢獻(xiàn)如下：

（1） 自駕駛機(jī)制是在模仿學(xué)習(xí)的啟發(fā)下提出的，RAIL方法可以成功地模擬專業(yè)駕駛表現(xiàn)；相應(yīng)的靜態(tài)和線性策略可以以相近的速度完成多次換道和超車。

（2） 傳統(tǒng)的模擬學(xué)習(xí)方法對(duì)自動(dòng)駕駛的控制結(jié)構(gòu)復(fù)雜。相比而言，RAIL方法是基于無派生的隨機(jī)搜索，該方法更加簡(jiǎn)單。

（3） RAIL方法開創(chuàng)了應(yīng)用于自主駕駛魯棒駕駛策略的學(xué)習(xí)先河。

圖1 車輛控制系統(tǒng)的簡(jiǎn)化學(xué)習(xí)層次

先來看一下傳統(tǒng)的自動(dòng)駕駛汽車的系統(tǒng)層次結(jié)構(gòu)（如圖1），底層的ADAS控制器直接連接到無人駕駛汽車的激光雷達(dá)傳感器�？刂破鞔_定控制車輛所需的信息，并將已經(jīng)決策好的操作傳遞給機(jī)械部件。作為一個(gè)單一的集成系統(tǒng)，最好有多個(gè)ADAS功能同時(shí)協(xié)作來控制車輛的系統(tǒng)運(yùn)行。

研究動(dòng)機(jī)：在多車道高速公路等有限條件下，主系統(tǒng)通過協(xié)調(diào)ADAS功能，實(shí)現(xiàn)汽車的自動(dòng)駕駛。由于車輛本身與周圍其他車輛、車道或者環(huán)境相互作用、互相交互，通過攝像頭或雷達(dá)等監(jiān)視器，主系統(tǒng)并不能獲取車輛周圍完整的環(huán)境狀態(tài)，只能使用部分局部可見信息。因此，RAIL方法首先將監(jiān)測(cè)代理器建模為一個(gè)（O，A，T，R， γ）數(shù)組，該數(shù)組表示一個(gè)部分可見的馬爾可夫決策過程，其中包含對(duì)自動(dòng)駕駛的連續(xù)觀察和動(dòng)作，還有激光雷達(dá)數(shù)據(jù)的部分觀測(cè)狀態(tài)，用O表示。

狀態(tài)空間：RAIL使用激光雷達(dá)傳感器發(fā)射的N條光束均勻地分布在視場(chǎng)上［wmin，wmax］獲取的數(shù)據(jù)完成矢量觀測(cè)。每個(gè)傳感器數(shù)據(jù)有最大范圍rmax，傳感器返回它遇到的第一個(gè)障礙物與車輛之間的距離，如果沒有檢測(cè)到障礙物，則返回rmax。然后，數(shù)值表示為O＝（O1， ． ． ． ， ON）。進(jìn)而，根據(jù)距離數(shù)據(jù)，可以計(jì)算出障礙物與車輛之間的相對(duì)速度Vr ＝ （V1，…VN）。

操作空間：該策略是一個(gè)高層次的決策者，通過對(duì)高速公路的觀察來確定最優(yōu)的行動(dòng)。假設(shè)自動(dòng)駕駛汽車?yán)�用了ADAS功能，因此，驅(qū)動(dòng)策略的操作激活了每個(gè)ADAS功能。驅(qū)動(dòng)策略定義在離散的動(dòng)作空間。高層次決策可以分解為以下5個(gè)步驟：（1）保持當(dāng)前狀態(tài)；（2）加速速度為velcur＋velacc；（3）減速速度為velcur－veldec；（4）左轉(zhuǎn)；（5）右轉(zhuǎn)。以上操作通過自動(dòng)緊急制動(dòng)（AEB）和自適應(yīng)巡航控制（ACC）完成。

圖2 RAIL結(jié)構(gòu)

RAIL主要是是增強(qiáng)傳統(tǒng)的ARS和GAIL算法。RAIL旨在培訓(xùn)駕駛決策，模仿專業(yè)司機(jī)的規(guī)范操作。汽車被認(rèn)為是一個(gè)代理策略πθ，在多車道高速公路上，車輛收集數(shù)據(jù)后生成小值隨機(jī)噪聲矩陣。該代理根據(jù)生成的噪聲策略與環(huán)境進(jìn)行多次交互，并將結(jié)果收集為樣本軌跡。