據(jù)外媒報(bào)道，華盛頓大學(xué)（UW）的信息處理實(shí)驗(yàn)室（Information Processing Lab，IPL）開(kāi)發(fā)出基于攝像頭和雷達(dá)的融合傳感器盒，可以像行車(chē)記錄儀一樣安裝在車(chē)輛中。目前，基于雷達(dá)的感知解決方案尚未實(shí)現(xiàn)商業(yè)化。
圖片來(lái)源：華盛頓大學(xué)
IPL研究人員表示，除了純攝像頭視覺(jué)（例如特斯拉的FSD）和激光雷達(dá)的光檢測(cè)（例如Waymo的自動(dòng)駕駛出租車(chē)）之外，基于雷達(dá)的檢測(cè)和跟蹤更具成本效益和魯棒性。
該研究項(xiàng)目由華盛頓大學(xué)ECE教授Hwang Jenq-neng負(fù)責(zé)，思科（Cisco）贊助， IPL的研究人員開(kāi)展。2019-2022年在華盛頓大學(xué)擔(dān)任項(xiàng)目負(fù)責(zé)人的Yizhou Wang博士表示，即使在暴雨和大雪等極端天氣條件下，基于雷達(dá)的感知也更加穩(wěn)健。
與需要大量人工標(biāo)注和資本投資來(lái)訓(xùn)練AI模型的特斯拉純攝像頭視覺(jué)相比，Wang教授稱(chēng)雷達(dá)更穩(wěn)健且更具成本效益，因?yàn)樗梢詼y(cè)量車(chē)輛與物體之間的 3D距離，檢測(cè)運(yùn)動(dòng)物體的速度，并能穿透非金屬材料，在惡劣天氣條件下獲得比激光雷達(dá)更清晰的圖像。鑒于2D攝像頭感知無(wú)法測(cè)量距離，分辨率非常高并能顯示物體準(zhǔn)確相對(duì)位置的激光雷達(dá)無(wú)法檢測(cè)速度。
強(qiáng)大的聯(lián)邦A(yù)I模型
Wang的研究團(tuán)隊(duì)沒(méi)有使用激光雷達(dá)來(lái)構(gòu)建AI模型的基礎(chǔ)，也沒(méi)有使用大量人力來(lái)進(jìn)行注釋?zhuān)鞘褂梅謩e從攝像頭和雷達(dá)傳感器收集的數(shù)據(jù)作為地面實(shí)況來(lái)訓(xùn)練每個(gè)網(wǎng)絡(luò)，因此能夠產(chǎn)生弱監(jiān)督的聯(lián)邦A(yù)I學(xué)習(xí)模型。
該融合感知解決方案基于攝像頭的經(jīng)典視覺(jué)圖像和雷達(dá)的3D信息，而不是人類(lèi)的監(jiān)督標(biāo)注，且聯(lián)合AI訓(xùn)練使該解決方案比其他解決方案更強(qiáng)大。
負(fù)責(zé)為該項(xiàng)目部署融合傳感器的碩士生Andy Cheng表示，該融合傳感器獨(dú)立運(yùn)行，因此每個(gè)系統(tǒng)也可作為備份系統(tǒng)（也稱(chēng)為冗余）。
例如，當(dāng)有暴風(fēng)雪時(shí)，雷達(dá)網(wǎng)絡(luò)的性能優(yōu)于攝像頭網(wǎng)絡(luò)，并且可以單獨(dú)完成檢測(cè)和跟蹤，因?yàn)槔走_(dá)網(wǎng)絡(luò)已通過(guò)聯(lián)邦學(xué)習(xí)進(jìn)行了適當(dāng)?shù)挠?xùn)練。
融合傳感商業(yè)化的局限性
然而，根據(jù)Wang和Cheng的說(shuō)法，由于基于雷達(dá)的檢測(cè)解決方案仍存在局限性，因此重建3D雷達(dá)圖像，以及預(yù)處理雷達(dá)生成的包括幅度、相位和相位差等原始數(shù)據(jù)仍然面臨挑戰(zhàn)。
預(yù)處理會(huì)減慢整個(gè)系統(tǒng)的速度，如果系統(tǒng)要在實(shí)際流量中應(yīng)用，任何延遲都可能會(huì)導(dǎo)致事故發(fā)生。Wang教授表示有兩種方法可以減少處理所需的時(shí)間。
Wang表示：“首先，原始數(shù)據(jù)的可視化可以寫(xiě)入硬件，這需要更高的計(jì)算能力和超低延遲。其次，雷達(dá)生成的原始數(shù)據(jù)可以通過(guò)一種新的、更強(qiáng)大的神經(jīng)網(wǎng)絡(luò)進(jìn)行可視化，可以直接將其用作輸入。”最終，雷達(dá)檢測(cè)和攝像頭檢測(cè)的綜合結(jié)果將使自動(dòng)駕駛更加安全。
Wang指出，自動(dòng)駕駛在安全性上不能妥協(xié)，基于融合傳感器的感知方案比單純的視覺(jué)系統(tǒng)更能保障駕駛者的安全。相對(duì)價(jià)格低廉并提供3D信息的雷達(dá)在自動(dòng)駕駛汽車(chē)領(lǐng)域潛力巨大。
