5月7日消息，繼向ARCore添加深度API之后，谷歌繼續(xù)使用谷歌Pixel 4智能手機探索實時3D深度感測。

據(jù)悉，谷歌開發(fā)了實時紅外（IR）有源立體深度傳感器uDepth，旨在設(shè)計精確且具有度量的標(biāo)準(zhǔn)。這個想法是為了在Pixel 4手機的面部解鎖功能下在高速和黑暗中工作。此外，它可以幫助身份驗證系統(tǒng)識別用戶，同時還可以防止欺騙攻擊，它還能夠?qū)φ掌M行事后潤色、基于深度的場景分割、背景模糊、人像效果和3D照片。該系統(tǒng)既生成30Hz的深度流，又生成平滑的、經(jīng)過后期處理的深度圖，以用于攝影后捕獲效果，例如用于社交媒體的散景和3D照片。

為了實現(xiàn)這一目標(biāo)，Google訓(xùn)練了一種端到端的深度學(xué)習(xí)架構(gòu)，該架構(gòu)增強了uDepth的原始數(shù)據(jù)，使用RGB圖像、人物分割和原始深度的組合推斷出完整、密集的3D深度圖。此外，該公司還將Pixel 4手機與一個體積捕捉系統(tǒng)的燈光和攝像頭同步，該系統(tǒng)可以生成接近真實感的人體模型。該系統(tǒng)由一個測地線球體、331個定制彩色LED燈、一組高分辨率攝像機和一組定制高分辨率深度傳感器組成，它有助于生成結(jié)合真實圖像和從Pixel 4攝像機視角合成渲染的訓(xùn)練數(shù)據(jù)。

uDepth軟件主管Michael Schoenberg和uDepth硬件/系統(tǒng)主管Adarsh Kowdle在一個描述該技術(shù)的博客上寫道：“當(dāng)一部手機出現(xiàn)嚴(yán)重下降時，它可能導(dǎo)致立體攝像機的出廠校準(zhǔn)偏離攝像機的實際位置。為了確保在實際使用中獲得高質(zhì)量的結(jié)果，uDepth系統(tǒng)是自校準(zhǔn)的。計分程序評估每個深度圖像是否有誤校準(zhǔn)的跡象，并建立對設(shè)備狀態(tài)的信心。如果檢測到校準(zhǔn)錯誤，則從當(dāng)前場景重新生成校準(zhǔn)參數(shù)，這是一條由特征檢測和對應(yīng)、亞像素細(xì)化（利用點輪廓）和束調(diào)整組成的管道?！?

雖然智能手機的面部解鎖功能可能還與商業(yè)和專業(yè)領(lǐng)域無關(guān)，但這項技術(shù)的進步展示了深度傳感器在未來3D應(yīng)用中的潛力。深度感測為開發(fā)人員和用戶提供了確定場景的3D信息的能力，在智能手機上使用深度傳感器不僅可以幫助攝影，還可以幫助增強現(xiàn)實、3D掃描應(yīng)用程序等。與其隨身攜帶一臺大型3D手持掃描儀，不如將它放在口袋里。