隨著 AI、機(jī)器人技術(shù)的不斷發(fā)展,人們的生活得到了“AI 機(jī)器人們”的各種幫助:大到太空機(jī)器人輔助宇航任務(wù),小到家用掃地機(jī)器人解放我們的雙手,可以說,機(jī)器人在人類生活中充當(dāng)?shù)慕巧�越來越多樣�?/p>

但你知道嗎?目前用于室內(nèi)任務(wù)、尤其是需要與環(huán)境進(jìn)行頻繁交互的機(jī)器人,其視覺靈敏度仍需進(jìn)一步提高——許多機(jī)器人在面對相似物體時,并不能辨別出其中的細(xì)微區(qū)別。

近日,來自德克薩斯大學(xué)阿靈頓分校(University of Texas at Arlington,UTA)的一個研究團(tuán)隊,提出了一種名為 PCGAN 的方法。相關(guān)研究論文以“A Progressive Conditional Generative Adversarial Network for Generating Dense and Colored 3D Point Clouds”為題,發(fā)表在預(yù)印本網(wǎng)站 arXiv 上。

研究人員表示,這是第一個以無監(jiān)督方式生成 3D 點云(3D point cloud)的條件生成對抗網(wǎng)絡(luò)(GAN),該網(wǎng)絡(luò)能夠產(chǎn)生具有多分辨率和精細(xì)細(xì)節(jié)的 3D 彩色點云,以生成利于辨別的物體圖像,這將極有利于機(jī)器人視覺靈敏度的提升。話不多說,先上圖。

圖 | real 列為真實物體的 3D 點云圖像,后列為 PCGAN 產(chǎn)生的的結(jié)果(來源:該論文)

圖像不逼真怎么辦

想象一下,家里的掃地機(jī)器人是如何工作的?一般來說,這類需要與環(huán)境交互的機(jī)器人首先需要在已構(gòu)建的環(huán)境中完成導(dǎo)航任務(wù),這就要求機(jī)器人必須能夠感知環(huán)境情況并實時做出決策,決定當(dāng)前如何與其周圍環(huán)境進(jìn)行交互。

而要想讓機(jī)器人具有這種自我決策能力,科學(xué)家們則需要使用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等方法來訓(xùn)練 Ta 們:通過將收集到的大量圖像數(shù)據(jù)集用作訓(xùn)練數(shù)據(jù),來訓(xùn)練機(jī)器人應(yīng)對各種不同物體或環(huán)境時應(yīng)該做出的正確反應(yīng)。

要實現(xiàn)這一點,一方面一些人會使用手動方法來收集圖像數(shù)據(jù),比如通過使用昂貴的 360 度全景攝像頭來捕獲房屋環(huán)境,或者先拍攝局部圖片再使用各類軟件將單個圖像拼接成房屋全景圖像。但很明顯,這種手動捕獲方法效率太低,無法滿足需要大量數(shù)據(jù)的訓(xùn)練要求。

另一方面,盡管手握數(shù)百萬房的間照片和視頻,但這些數(shù)據(jù)都不是從像掃地機(jī)器人所處的有利位置進(jìn)行拍攝的。于是,嘗試使用以人為中心的視角的圖像來訓(xùn)練機(jī)器人也不可取。

于是,此次的研究小組轉(zhuǎn)向使用一種被稱為生成對抗網(wǎng)絡(luò)的深度學(xué)習(xí)方式來創(chuàng)造足夠逼真的圖像,用來訓(xùn)練機(jī)器人以提高其辨別環(huán)境的能力。

作為生成模型的一種,GAN 的主要結(jié)構(gòu)包括兩個神經(jīng)網(wǎng)絡(luò):生成器(Generator)和判別器(Discriminator)。生成器不斷生成假圖像,判別器則判斷這些圖像的真假。兩個神經(jīng)網(wǎng)絡(luò)就這樣相互競爭,最終形成非常強(qiáng)的制造樣本的能力。一旦經(jīng)過培訓(xùn),這樣的網(wǎng)絡(luò)將能夠創(chuàng)建無數(shù)可能的室內(nèi)或室外環(huán)境,其中放置著多種多樣的桌椅或車輛等物體。這些物件之間的差別將變得很微小,但對于人和機(jī)器人來說,其圖像仍帶有可識別的尺寸和特征。

PCGAN:更清晰的 3D 點云圖像

整個研究小組由 UTA 的計算機(jī)科學(xué)與工程學(xué)系助理教授 William Beksi和他的六名博士學(xué)生組成。參與這項研究的博士生 Mohammad Samiul Arshad 表示:“手動設(shè)計這些對象將耗費大量資源和人力,而如果進(jìn)行適當(dāng)?shù)呐嘤?xùn),生成網(wǎng)絡(luò)就可以在幾秒鐘之內(nèi)完成同樣的任務(wù)�！�
此次研究中的圖像數(shù)據(jù)則通過 3D 點云呈現(xiàn),這是一種透過 3D 掃描器所取得的物體圖像形式,它以點的形式記錄對象,每一個點包含有三維座標(biāo),強(qiáng)度信息(可以反映目標(biāo)物體的材質(zhì)、粗糙度、入射角方向等信息),還可能含有色彩信息(RGB)。

對此,Beksi 解釋道:“我們可以將它們移動到新位置,甚至使用不同的燈光、顏色和紋理,將它們渲染為可在數(shù)據(jù)集中使用的訓(xùn)練圖像。這種方法可能會提供無限的數(shù)據(jù)來訓(xùn)練機(jī)器人�！�

圖 | PCGAN 合成的 3D 點云圖像,飛機(jī)、桌椅等(來源:該論文)

在實驗中,研究人員以 ShapeNetCore 作為數(shù)據(jù)集,ShapeNetCore 是各種對象類的 CAD 模型的集合。他們選擇了椅子、桌子、沙發(fā)、飛機(jī)和摩托車圖像進(jìn)行實驗,以滿足物體形狀的多樣性;并將每個類別的數(shù)量確定為 5 個,以減少訓(xùn)練時間。此外,還消除了所有沒有材料和顏色信息的 CAD 模型。

他解釋說:“我們的模型首先學(xué)習(xí)低分辨率對象的基本結(jié)構(gòu),然后逐步建立高級細(xì)節(jié)。例如對象的各個部分及其顏色之間的關(guān)系——椅子/桌子的腿是相同的顏色而座椅/車頂?shù)念伾珓t截然不同。我們建立層次結(jié)構(gòu)以進(jìn)行完整的合成場景生成,這對于機(jī)器人技術(shù)將非常有用�！�

他們?yōu)槊總�類別生成了 5,000 個隨機(jī)樣本,并使用多種不同的方法進(jìn)行了評估。他們使用該領(lǐng)域的各種常用指標(biāo)評估了點云的幾何形狀和顏色。結(jié)果表明,PCGAN 能夠為不同種類的對象類別合成高質(zhì)量的點云。

One small step

盡管 PCGAN 的確優(yōu)于一些傳統(tǒng)的樣本訓(xùn)練方法,但正如 Beksi 所說:“此次研究只是朝最終目標(biāo)邁出的一小步,我們的最終目標(biāo)是生成足夠逼真的室內(nèi)全景圖,以提高機(jī)器人的感知能力�！�

此外,Beksi 還正在研究另一個問題——Sim2real。Sim2real 著眼于如何通過捕捉場景的物理特性(摩擦,碰撞,重力)以及使用射線或光子追蹤來量化細(xì)微差異,并使仿真圖像更加逼真。

他說:“如果是由于增加分辨率而包含更多的點和細(xì)節(jié),那么代價就是計算成本的增加�！� 除計算需求外,Beksi 還需要大量存儲來進(jìn)行研究。研究團(tuán)隊每秒產(chǎn)生數(shù)百兆的數(shù)據(jù),每個點云大約有 100 萬個點,因此,這些訓(xùn)練數(shù)據(jù)集非常龐大,需要大量的存儲空間。

接下來,Beksi 團(tuán)隊希望將軟件部署在機(jī)器人上,并查看它與模擬真實的領(lǐng)域之間還存在何種差距。當(dāng)然,盡管要擁有真正強(qiáng)大的、可以長時間自主運行的機(jī)器人還有很長一段路要走,但研究人員的工作必將有益于多個領(lǐng)域,比如醫(yī)療保健、制造業(yè)和農(nóng)業(yè)等。