RSS 2020 | 在目標(biāo)、動(dòng)力學(xué)和意圖不確定下的隱含信念空間運(yùn)動(dòng)規(guī)劃
該擾動(dòng)方程的推導(dǎo)過(guò)程與標(biāo)準(zhǔn)的DDP 擾動(dòng)方程推導(dǎo)相似,不同點(diǎn)在于其根據(jù)當(dāng)前時(shí)刻不同隱變量z 的置信度b(z) 進(jìn)行了加權(quán)平均,而且在狀態(tài)轉(zhuǎn)換時(shí)不僅考慮了系統(tǒng)狀態(tài)x 的演變,還考慮了獲得不同的觀測(cè)值時(shí)置信度b 的變化。通過(guò)置信度b 進(jìn)行加權(quán)平均的過(guò)程,實(shí)際上就是把后續(xù)分支節(jié)點(diǎn)進(jìn)行合并的過(guò)程。所以利用該方法,就可以從軌跡樹的葉節(jié)點(diǎn)開始,進(jìn)行遞歸操作直至根節(jié)點(diǎn)為止,對(duì)整顆軌跡樹進(jìn)行后向過(guò)程操作。
由于問(wèn)題假設(shè)并未對(duì)狀態(tài)轉(zhuǎn)移模型以及損失函數(shù)的形式進(jìn)行約束,所以Q 的形式一般而言是非線性非凸的。為了沿用凸優(yōu)化的流程,我們需要對(duì)Q 進(jìn)行如下所示的二次近似操作。
此時(shí)我們就可以利用標(biāo)準(zhǔn)的凸優(yōu)化方法對(duì)整顆軌跡樹進(jìn)行優(yōu)化操作了。通過(guò)求解上述擾動(dòng)函數(shù)的二次近似函數(shù)的極小值,我們可以得到當(dāng)前時(shí)刻的最優(yōu)動(dòng)作擾動(dòng),如下。
其中k 和K 分別是該時(shí)刻下開環(huán)控制和反饋控制的增益(具體推導(dǎo)過(guò)程與取值見論文)。
四、實(shí)驗(yàn)及結(jié)果
為了進(jìn)行對(duì)比實(shí)驗(yàn)驗(yàn)證PODDP 算法的效果,論文提出了兩種有實(shí)際意義的baseline 算法:
Probability Weighted DDP (PWDDP):其根據(jù)當(dāng)前時(shí)刻的置信度直接對(duì)所有可能性進(jìn)行加權(quán)平均操作,而不考慮由于不同的未來(lái)觀測(cè)值而產(chǎn)生的軌跡分支;
Maximum Likelihood DDP (MLDDP):其只考慮當(dāng)前時(shí)刻下置信度最高的隱變量,而忽略其他的可能性。這兩種baseline 算法都是常見的POMDP 應(yīng)對(duì)策略。
論文提出了三類不確定性,并為每一類不確定性都設(shè)置了一個(gè)實(shí)驗(yàn)場(chǎng)景:
目標(biāo)函數(shù)不確定 (T-Maze 場(chǎng)景):我們的車輛位于一個(gè)T 字型的道路入口處,希望走到一個(gè)不確定的目標(biāo)地點(diǎn)。該目標(biāo)地點(diǎn)可能是道路的左側(cè),也可能是道路的右側(cè),而車輛必須沿側(cè)道路行駛至靠近分叉口的地方才能夠得到更好的觀測(cè),以確定目標(biāo)所處的位置。
本體系統(tǒng)運(yùn)動(dòng)學(xué)規(guī)律不確定(Muddy Track 場(chǎng)景):我們的車輛在一條泥濘的道路上朝一個(gè)目標(biāo)地點(diǎn)行駛,但右側(cè)的道路有一定的可能性會(huì)更加平滑。而我們的車輛必須在行駛中探索右側(cè)道路是否真的更平滑,從而規(guī)劃出一條最優(yōu)的行進(jìn)路線。
其他個(gè)體意圖不確定 (Lane Change 場(chǎng)景):我們的車輛希望并線到左側(cè)車道,可是那里已經(jīng)有另一輛車了。我們需要時(shí)刻評(píng)估對(duì)方是比較合作禮讓的,還是比較沖動(dòng)激進(jìn)的,進(jìn)而確定應(yīng)該超車并線,還是等待對(duì)方先向前走遠(yuǎn)再并線到它后方。
下圖展示了在三種不同的場(chǎng)景下各個(gè)算法的量化表現(xiàn)。在三種場(chǎng)景下,論文提出的 PODDP 算法的累計(jì)實(shí)際損失函數(shù)值均顯著優(yōu)于另外兩種baseline 算法。
下圖展示了PODDP 算法在三中場(chǎng)景下規(guī)劃出的軌跡樹。
論文還加入了一項(xiàng)額外的實(shí)驗(yàn),以進(jìn)一步展示PODDP 算法優(yōu)化出的軌跡的最優(yōu)性。該實(shí)驗(yàn)沿用了T-Maze 場(chǎng)景,在該場(chǎng)景下從小到大調(diào)整在同一位置的觀測(cè)不確定性的大小規(guī)模,從而對(duì)比不同算法在不同的不確定性規(guī)模下的性能。結(jié)果如下圖所示,可見PODDP 算法在不同的不確定性規(guī)模下均顯著優(yōu)于baseline 算法,而且具有更高的穩(wěn)定性。
五、討 論
這項(xiàng)工作結(jié)合了離散化隱變量和連續(xù)空間下的動(dòng)作軌跡優(yōu)化,提出了一種新的微分動(dòng)態(tài)規(guī)劃變體,可以有效地處理連續(xù)空間下的多模態(tài)不確定性POMDP 問(wèn)題,填補(bǔ)了相關(guān)空白。由于軌跡樹的復(fù)雜度會(huì)隨著觀測(cè)推演的數(shù)量增加而指數(shù)膨脹,所以論文提出了一種層級(jí)PODDP 結(jié)構(gòu),不必在每一個(gè)時(shí)刻都進(jìn)行觀測(cè),以降低運(yùn)算復(fù)雜度,同時(shí)保持了控制輸出的頻率。
值得注意的是,雖然在該論文中設(shè)置的實(shí)驗(yàn)場(chǎng)景均為無(wú)人車應(yīng)用,但是論文提出的PODDP 算法完全可以應(yīng)用在各種不同的機(jī)器人軌跡規(guī)劃和優(yōu)化場(chǎng)景中,處理不同類型的多模態(tài)不確定性。
關(guān)于我“門”
將門是一家以專注于發(fā)掘、加速及投資技術(shù)驅(qū)動(dòng)型創(chuàng)業(yè)公司的新型創(chuàng)投機(jī)構(gòu),旗下涵蓋將門創(chuàng)新服務(wù)、將門技術(shù)社群以及將門創(chuàng)投基金。將門成立于2015年底,創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國(guó)的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成,曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。
將門創(chuàng)新服務(wù)專注于使創(chuàng)新的技術(shù)落地于真正的應(yīng)用場(chǎng)景,激活和實(shí)現(xiàn)全新的商業(yè)價(jià)值,服務(wù)于行業(yè)領(lǐng)先企業(yè)和技術(shù)創(chuàng)新型創(chuàng)業(yè)公司。
將門技術(shù)社群專注于幫助技術(shù)創(chuàng)新型的創(chuàng)業(yè)公司提供來(lái)自產(chǎn)、學(xué)、研、創(chuàng)領(lǐng)域的核心技術(shù)專家的技術(shù)分享和學(xué)習(xí)內(nèi)容,使創(chuàng)新成為持續(xù)的核心競(jìng)爭(zhēng)力。
將門創(chuàng)投基金專注于投資通過(guò)技術(shù)創(chuàng)新激活商業(yè)場(chǎng)景,實(shí)現(xiàn)商業(yè)價(jià)值的初創(chuàng)企業(yè),關(guān)注技術(shù)領(lǐng)域包括機(jī)器智能、物聯(lián)網(wǎng)、自然人機(jī)交互、企業(yè)計(jì)算。在近四年的時(shí)間里,將門創(chuàng)投基金已經(jīng)投資了包括量化派、碼隆科技、禾賽科技、寬拓科技、杉數(shù)科技、迪英加科技等數(shù)十家具有高成長(zhǎng)潛力的技術(shù)型創(chuàng)業(yè)公司。
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
即日-10.29立即報(bào)名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會(huì)
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場(chǎng)仿真助跑新能源汽車
-
11月14日立即報(bào)名>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國(guó)智造CIO在線峰會(huì)
推薦專題
- 1 Intel宣布40年來(lái)最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價(jià)骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國(guó)產(chǎn)AI芯片公司破產(chǎn)!白菜價(jià)拍賣
- 5 具身智能火了,但規(guī)模落地還需時(shí)間
- 6 國(guó)產(chǎn)英偉達(dá)們,抓緊沖刺A股
- 7 三次錯(cuò)失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 8 英特爾賦能智慧醫(yī)療,共創(chuàng)數(shù)字化未來(lái)
- 9 英偉達(dá)的麻煩在后頭?
- 10 將“網(wǎng)紅”變成“商品”,AI“爆改”實(shí)力拉滿
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市