傳感器系統(tǒng)開發(fā)商FLIR公司近日發(fā)布了自動駕駛開源熱傳感器數(shù)據(jù)集，該數(shù)據(jù)集匯集了10，000多個白天和夜間場景的注釋熱圖像，熱成像傳感器可以檢測行人，動物和其他車輛，最大距離可達(dá)到傳統(tǒng)前燈照明的四倍。該傳感器的應(yīng)用將有助于駕駛員或未來的自動駕駛車輛在黑暗，太陽眩光，霧，煙和霧霾等具有挑戰(zhàn)性的環(huán)境中看得更遠(yuǎn)。

近日，美國俄勒岡州的傳感器系統(tǒng)開發(fā)商 FLIR Systems Inc． 宣布推出一款開源機(jī)器學(xué)習(xí)熱數(shù)據(jù)集，專為高級駕駛輔助系統(tǒng)（ADAS）和自動駕駛汽車研究人員，開發(fā)人員和汽車制造商而設(shè)計(jì)，該數(shù)據(jù)集匯集了10，000多個白天和夜間場景的注釋熱圖像。

什么是熱成像傳感器？

智車科技曾在《紅外熱像儀結(jié)合機(jī)器學(xué)習(xí)助力自動駕駛安全，或是未來發(fā)展方向之一》一文中提到，熱像儀又稱紅外熱像儀，是利用紅外探測器和光學(xué)成像物鏡接受被測目標(biāo)的紅外輻射能量分布圖形反映到紅外探測器的光敏元件上，從而獲得紅外熱像圖，這種熱像圖與物體表面的熱分布場相對應(yīng)。通俗地講熱像儀就是將物體發(fā)出的不可見紅外能量轉(zhuǎn)變?yōu)榭梢姷臒釄D像。熱圖像的上面的不同顏色代表被測物體的不同溫度。紅外熱像儀是可通過光電轉(zhuǎn)換、電信號處理等手段，將目標(biāo)物體的溫度分布圖像轉(zhuǎn)換成視頻圖像的設(shè)備。

熱像儀可通過識別行人、動物以及周圍環(huán)境發(fā)出的熱量，形成物體輪廓圖像，進(jìn)而幫助司機(jī)發(fā)現(xiàn)行駛過程中的危險。

目前自動駕駛感知的局限性

目前自動駕駛感知一般都用激光雷達(dá)（LiDAR）、雷達(dá)和攝像頭等，這些傳感器的感知距離有限，而且對行人、動物等識別容易出現(xiàn)差錯，需要人類駕駛員隨時準(zhǔn)備接管控制車輛，要實(shí)現(xiàn)3－5級的自動駕駛，車輛需要更大數(shù)量和更強(qiáng)功能的傳感器。

雷達(dá)傳感器可以檢測遠(yuǎn)處的物體，但卻無法識別該物體。攝像頭可以很有效地確定物體是什么，但僅能在較近的范圍內(nèi)起作用，而且在夜間等感光能力差的時候，容易出現(xiàn)誤識別（比如Uber事件）。雷達(dá)傳感器和攝像頭融合方案，可以為自動駕駛車輛提供更完整的檢測和覆蓋范圍，但仍需有強(qiáng)大的冗余備份。

目前的傳感技術(shù)都存在感知問題。CMOS攝像頭、雷達(dá)和LiDAR無法在動態(tài)照明或惡劣天氣條件下發(fā)揮作用。（來源：面包板社區(qū)）

在ADAS環(huán)境中，感應(yīng)熱紅外輻射或熱量的能力為現(xiàn)有傳感器技術(shù)提供了互補(bǔ)和獨(dú)特的優(yōu)勢。當(dāng)前的自動駕駛和自動駕駛解決方案使用各種傳感器來收集汽車周圍環(huán)境的信息，但它們都有缺點(diǎn)，在與熱成像結(jié)合使用時解決。作為目前汽車行業(yè)唯一的汽車級無源紅外傳感器，F(xiàn)LIR傳感器應(yīng)用于眾多車輛，包括通用汽車，標(biāo)致，梅賽德斯，奧迪和寶馬制造的車輛，以及售后系統(tǒng)�？梢詸z測行人，動物和其他車輛，熱傳感器的最大距離可達(dá)到傳統(tǒng)前燈照明的四倍。熱成像有助于駕駛員和未來的自動駕駛車輛在黑暗，太陽眩光，霧，煙和霧霾等具有挑戰(zhàn)性的環(huán)境中看得更遠(yuǎn)。

FIR技術(shù)方案

據(jù)面包板社區(qū)介紹，F(xiàn)IR熱攝像頭使用遠(yuǎn)紅外光波來檢測物體自然發(fā)出的熱量（熱輻射）的差異，并將該數(shù)據(jù)轉(zhuǎn)換成圖像，可以掃描可見光以上的紅外光譜，因此可以檢測到一般攝像頭／雷達(dá)／LiDAR無法察覺的物體。帶有FIR的VGA熱傳感器對于高對比度成像具有0．05攝氏度的靈敏度，可以檢測到200米距離遠(yuǎn)的行人。FIR傳感器將能夠以30或60fps的速度跟蹤行人，并檢測前方道路。

FIR傳感器產(chǎn)生新的信息，可提高分割能力，并提供對車輛周圍環(huán)境的準(zhǔn)確分析

除了捕獲物體或材料的溫度之外，F(xiàn)IR攝像頭還可以捕獲物體的發(fā)射率——它是如何有效地散發(fā)熱量的。由于每個物體具有不同的發(fā)射率，因此FIR攝像頭可以感測其路徑中的任何物體。有了這些信息，攝像頭就可以創(chuàng)建一個可以獨(dú)立并安全運(yùn)行的道路視覺圖畫。

在低光靈敏度下幾種最先進(jìn)的攝像頭對比，采用FIR方案的Viper可以檢測到其他傳感技術(shù)無法檢測到的物體

憑借這項(xiàng)先進(jìn)的技術(shù)，F(xiàn)IR攝像頭可以克服復(fù)雜的天氣和照明條件帶來的障礙，而這是目前其他傳感技術(shù)無法克服的。

開源熱數(shù)據(jù)集

這是首款包含汽車，其他車輛，人員，自行車和狗的注釋的熱數(shù)據(jù)集，它能夠使開發(fā)人員使用FLIR汽車開發(fā)套件（ADKTM）開始測試并優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)（CNN）算法。當(dāng)它與普通可見光攝像機(jī)，激光雷達(dá)和雷達(dá)相結(jié)合時，熱傳感器數(shù)據(jù)與機(jī)器學(xué)習(xí)相結(jié)合，有助于創(chuàng)建更全面和冗余的系統(tǒng)，用于識別和分類道路物體，尤其是行人和其他生物。

“這個免費(fèi)的開源數(shù)據(jù)集，它為汽車界提供了一個重要的機(jī)會，使ADAS和自動駕駛汽車在各種條件下更具魯棒性�！盕LIR業(yè)務(wù)總裁說。“此外，最近引人注目的自動駕駛相關(guān)事故，顯示出對經(jīng)濟(jì)實(shí)惠的智能熱傳感器的明確需求。憑借數(shù)百萬自動駕駛汽車的潛力，F(xiàn)LIR熱傳感器成本將大幅降低，這將鼓勵大規(guī)模采用并最終實(shí)現(xiàn)更安全的自動駕駛汽車�！�

該數(shù)據(jù)集包括日間和夜間場景，包含汽車和其他車輛以及人員，自行車和狗的注釋。圖像可用于訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（CNN）來識別這些對象。FLIR表示，將熱圖像與激光雷達(dá)，雷達(dá)和可見光相機(jī)相結(jié)合可以創(chuàng)建更強(qiáng)大的算法，能夠更輕松地識別物體 ——特別是人和動物。

車道線清晰，在夜間具有挑戰(zhàn)性的照明條件下，ADK與可見相機(jī)的對比

最新的FLIR ADK與NVIDIA DRIVE汽車平臺的開發(fā)者生態(tài)系統(tǒng)兼容。ADK采用高分辨率FLIR Boson，配備Intel Movidius Myriad 2視覺處理單元，是FLIR唯一的熱像儀模塊，采用先進(jìn)的低功耗多核視覺處理器，結(jié)構(gòu)緊湊，堅(jiān)固耐用汽車使用所需的包裝。

隨著世界向自動駕駛汽車邁進(jìn)，這種熱傳感器的應(yīng)用可能將有助于汽車行業(yè)將自動駕駛汽車所需的可靠性和冗余性。