近兩年的趨勢預(yù)測中，似有許多媒體資料和分析機構(gòu)提到了ToF(Time of Flight)技術(shù)的即將爆發(fā)，但卻似乎又后勁乏力的消息。比如有人認為掣肘ToF發(fā)展的主因是應(yīng)用場景受限，所以ToF迄今似乎都沒有什么驚人的市場爆發(fā)現(xiàn)象。

在本文中，我們不想刻意琢磨統(tǒng)計機構(gòu)的數(shù)據(jù)，而是嘗試從ToF技術(shù)本身的原理，及其在手機市場的應(yīng)用出發(fā)，來探討這些年有關(guān)ToF技術(shù)的傳言是否可靠，尤其是在今年新版蘋果iPad Pro面世以后，后置新增的那個LiDAR模塊是否有機會帶動ToF技術(shù)發(fā)展;且包括華為手機在內(nèi)的不少智能手機已經(jīng)連續(xù)數(shù)年將ToF模組應(yīng)用于前攝。

2015年ToF在手機上的發(fā)展

如果用簡單的話來解釋ToF，無非就是飛行時間(Time of Flight)。從我們翻閱的資料來看，ToF并不限于光學(xué)領(lǐng)域，利用微波、超聲波的“飛行時間”來計算對象距離的，都可以認為是ToF技術(shù)的應(yīng)用。那么實際上普通的微波雷達也可說是應(yīng)用了ToF技術(shù)的典型設(shè)備。如此，ToF涵蓋的技術(shù)領(lǐng)域也就變得非常廣，而且ToF存在的歷史又可以往前推幾十年。

若將ToF限制在光學(xué)測距范疇，則ToF也就特指“光的飛行時間”，這也是目前我們對于ToF的狹義理解方式，或者特指“ToF攝像頭”。相對簡單的解釋是：若要測得ToF模組與場景中某個對象(或某個點)的距離，則由ToF模組的光源向該對象發(fā)出光(子)。光在發(fā)出后抵達該對象，并反射回來，由ToF模組的傳感器獲得。計量此間“光的飛行時間”，在光速已知的前提下，即可得到距離數(shù)據(jù)，如圖1所示。

圖1

這是個十分簡化的模型，但也基本闡述了ToF技術(shù)的核心。而且它也至少透露了ToF模組在硬件實現(xiàn)上，至少需要包括發(fā)射端和接收端，當然另外還需要處理信號的芯片、算法與軟件。

近兩年ToF話題火熱的主因，似乎是3D感知、3D視覺應(yīng)用的崛起。典型的如iPad Pro所用的后置LiDAR激光雷達。這在我們探討的ToF范疇內(nèi)，如果不考慮汽車LiDAR這種能量級別，則iPad Pro的ToF應(yīng)用已經(jīng)相對高級和復(fù)雜，看起來和消費用戶的距離似乎也稍遠。在談這種技術(shù)之前，不妨先看看更早以及更貼近生活的ToF應(yīng)用。

手機對于“測距”的典型需求是前面板的距離感應(yīng)：這是多年前功能機時代就存在的特性，即通過距離感應(yīng)，在接打電話時，耳朵貼近屏幕就讓屏幕自動熄屏。早年的距離感應(yīng)只通過簡單的一個光電二極管實現(xiàn)，這種簡單的方案在某些場景下會失效，因為它是通過測定外部亮度級變化實現(xiàn)所謂的“距離感應(yīng)”的。

從2015年前后，主動光學(xué)測距開始應(yīng)用到手機上：這種測距系統(tǒng)結(jié)合了一枚LED，與光傳感器。LED會主動發(fā)光，如果傳感器獲取到的反射光強度超過預(yù)設(shè)的閾值，手機就熄屏。這幾乎可以認為是ToF的雛形了，iPhone 6s時代已經(jīng)在采用這種技術(shù)。從TechInsights的拆解分析來看，iPhone 7真正落實了ToF傳感器：即不再依賴于反射光強度級變化，而開始計量來自激光二極管的光子飛行時間。

更早將ToF模組應(yīng)用于前面板的手機，可追溯至2014年的LG G3、黑莓Passport等。TechInsights的顯微拆解顯示，當時這些手機普遍開始應(yīng)用意法半導(dǎo)體的早期VL6180方案。從分析來看，這是一個三合一的光學(xué)模組，其中包含了距離傳感器、環(huán)境光傳感器，以及VCSEL光源(垂直腔面發(fā)射激光器)。

圖2，來源：TechInsights

尤為值得一提的是，其中的距離傳感器實質(zhì)是SPAD(單光子雪崩二極管)構(gòu)成的——有關(guān)SPAD后文還會更具體地提及。至少，這顆模組里就已經(jīng)有了完整的ToF發(fā)射端和接收端。2016年意法半導(dǎo)體發(fā)布VL53L0，其中去除了環(huán)境光傳感器，SPAD陣列也發(fā)生了變化。雖然從現(xiàn)有拆解資料并不能確定，不過iPhone 7的前置光學(xué)模組實際上和VL53L0非常相似，只是更緊湊(圖2)。

在此，這顆ToF模組實際扮演的角色可能至少包括了距離感應(yīng)，以及應(yīng)用于前置攝像頭的精準測距(對焦)。當時意法半導(dǎo)體在宣傳資料中也有特別提及“第二代激光測距傳感器”VL53L0X，是“世界上最小的飛行時間測距傳感器”。意法半導(dǎo)體的ToF方案選擇的皆為SPAD技術(shù)，如最新VL53L1、V53L3以及VL53L5相較更早的產(chǎn)品提供相對更遠的測距能力和更具彈性的軟件配置。目前的很多手機和消費電子產(chǎn)品，多見意法半導(dǎo)體的激光對焦方案。

意法半導(dǎo)體大中華區(qū)及南亞區(qū)影像事業(yè)部技術(shù)市場經(jīng)理張程怡表示：“過去5、6年時間，意法半導(dǎo)體的ToF傳感器出貨量超過了10億，應(yīng)用到了超過150款手機攝像頭中;另外當然還有消費級、工業(yè)級應(yīng)用，如平板、投影儀、機器人、閘機等?！?

到此便不難發(fā)現(xiàn)，ToF在電子科技領(lǐng)域，乃至窄化到移動設(shè)備方向的應(yīng)用，就不僅是這兩年才出現(xiàn)的。如手機的距離感應(yīng)，攝像頭激光對焦這些前兩年的熱點，實則都是ToF的典型應(yīng)用。我們認為，ToF技術(shù)這兩年又熱起來，大致與消費市場的再炒作有關(guān);所謂的“應(yīng)用場景受限”“后勁乏力”從以上探討看來，也屬于絕對的偽命題，因為這片市場本來就非常繁榮。“從整個市場的角度來看，它和生活很接近，對于ToF效果的爭議，幾年前也早就結(jié)束了，現(xiàn)在大家都很認可?！睆埑题f。

在這種ToF光學(xué)測距的“單點”之外，這兩年ToF的火熱更來自于當這些“單點”形成多點，甚至到“面”和深度圖(depth map)的時候，它在3D感知，以及對計算攝影的輔助。華為P/Mate系列手機、蘋果iPad Pro平板即是其后的典型應(yīng)用。這可能才是更多人關(guān)注的話題。

由點到面的ToF

在談今年移動設(shè)備ToF發(fā)展前，有必要將ToF技術(shù)在光學(xué)測距技術(shù)中的存在位置做個梳理。這里我們主體上采用2001年 Optical Engineering(《光學(xué)工程》)一書中的分類方法，如下圖所示。

圖3，光學(xué)測距技術(shù)的分類，來源：T. Bosch, Laser ranging: a critical review of usual techniques for distance measurement, Optical Engineering

光學(xué)測距的方法整體上分成主動和被動兩種。其中被動(Passive)包括了立體視覺(Stereoscopy，比如人們常說的“雙攝測距”)、聚焦合成(Depth-from-Focus，典型的類似技術(shù)比如光場相機);而ToF被歸類到主動光學(xué)測距技術(shù)中——主動技術(shù)還包括了三角測量(Triangulation，典型的如iPhone中Face ID的結(jié)構(gòu)光)、干涉量度分析法(interferometry)。

值得一提的是，這個分類方法或許仍然不夠全面。比如在不同切分維度中，三角測量這種方法本身就可以分成主動和被動兩種，雙攝測距的立體視覺就屬于被動三角測距方案。再比如說在被動光學(xué)測距技術(shù)分類上，在深度方面做文章的不僅有depth from focus，還有depth from motion、depth from shape等。由于篇幅限制，我們無法展開探討各種技術(shù)的優(yōu)劣。這部分內(nèi)容將在我們未來發(fā)布的ToF行業(yè)與技術(shù)報告中更具體地闡述。

由于ToF技術(shù)這兩年異常受關(guān)注，ToF測距大方向分成dToF(直接ToF)與iToF(間接ToF)兩類也逐漸被更多的人所知。前文提到的ToF簡化版原理，以及意法半導(dǎo)體的這類方案實際上說的就是dToF，即發(fā)射端發(fā)射一個激光脈沖，在碰到場景中的對象后反射，回到接收端的傳感器——或者說光電探測器。此間就有個“計時器”電路用于測量時間。從原理上來說，dToF是一種十分直接的技術(shù)。不過由于這種技術(shù)對于光電探測器、光源和時間檢測相關(guān)電路有著很高的技術(shù)要求，所以其實現(xiàn)相對比較晚。

也因此dToF所用的傳感器常見APD(雪崩光電二極管)——這種二極管有著較高的增益和量子效率，采用APD比較典型的ToF圖像傳感器廠商有松下。傳統(tǒng)的圖像傳感器，在單光子進入到像素中以后一般僅轉(zhuǎn)為單電子，在光信號比較弱的時候，就有感光能力的問題。簡單地說，APD傳感器是實現(xiàn)電子倍增。

就脈沖調(diào)制光的方案來看，可采用較低工作周期的照明，主動照明光可以短脈沖寬度以及高峰值輸出功率，同時兼顧人眼安全。由于峰值功率較高、SBNR(signal-to-background-noise ratio)也就極大提升，探測距離也就可以比較遠;而且APD可以避免多徑干擾之類的問題。不過APD像素尺寸一般也非常大，要實施像素大陣列，或者說高像素也就很有挑戰(zhàn)。很多選擇APD像素的ToF裝置也因此需要有包含機械動作的掃描。這就不屬于我們要探討的移動設(shè)備或者手機范疇了。

圖4，SPAD橫截面，來源：Wikipedia

dToF方案里另一個比較有代表性的傳感器技術(shù)是前文就提到的SPAD(單光子雪崩二極管)，它和APD的差別在于：它比APD更敏感，一個光生載流子就能觸發(fā)大量雪崩電流;另外APD的dToF方案里，TDC(time-to-digital converter)的觸發(fā)信號是由一個互阻抗放大器(TIA)產(chǎn)生的，而SPAD一般能夠直接產(chǎn)生數(shù)字觸發(fā)信號，也就是所謂的像素內(nèi)TDC(in-pixel TDC)。SPAD相比APD得以實現(xiàn)小像素尺寸，而且與CMOS全兼容，SPAD像素陣列芯片級高度集成也就可行了。除了更低的時間抖動，單光子檢測屬性讓脈沖寬度很短，輸出功率也就可以比較高，SBNR自然可以更高。

圖5

在我們常說的LiDAR固態(tài)方案里，實施SPAD光電探測器，主動光源通過diffuser器件實現(xiàn)光線的漫射，而不需要真正的機械掃描動作，dToF就能實現(xiàn)并行的每個像素測量，以實現(xiàn)3D感知，從過去ToF僅用于單點測距，到如今3D視覺、建模這樣的應(yīng)用(圖5)。當然APD技術(shù)實際上也在發(fā)展中，比如松下今年才發(fā)布了一種名為VAPD(垂直堆棧APD)的技術(shù)，以實現(xiàn)像素的小型化，能夠?qū)崿F(xiàn)遠距離、高測距精度和更高的像素。

只不過由于SPAD傳感器包括淬火電路在內(nèi)的各種電路仍然比較復(fù)雜，如TDC需要占到很大的片上尺寸，像素也不可能做到像傳統(tǒng)攝像頭CIS圖像傳感器那么小——這些都是限制如今dToF傳感器尺寸的原因。

圖6，來源：TechInsights

從TechInsights近期公布的消息來看，iPad Pro 2020應(yīng)用的LiDAR傳感器可能來自索尼(但索尼已公開的DepthSense 3D Sensor似乎只有iToF方案)，尺寸是18.0mm2，單像素大小10μm，分辨率具體為3萬像素(圖6)。雖然我們無法明確這顆傳感器具體所用的是何種像素工藝及結(jié)構(gòu)，但考慮到iPad成像模組的大小，這個像素數(shù)量在dToF類別中應(yīng)該已經(jīng)相當高了。iFixit公布的拆解視頻中，也提到其LiDAR紅外照明點的密度也遠低于前置結(jié)構(gòu)光的Face ID——這當然也是必然的。

從iPhone 7到iPad Pro 2020的發(fā)展，實則就是ToF從測距到3D感知的發(fā)展史，僅在短短的這些年間。

當然不止是蘋果，LG、黑莓、華為等一眾手機廠商實際也早就開始應(yīng)用ToF方案了。華為Mate 20 Pro手機在距離感應(yīng)方案上就應(yīng)用了來自ams的ToF模組。從System Plus Consulting的拆解來看，這款手機的前置成像模組中包含了一個來自ams的128像素SPAD光電探測器，像素尺寸15μm;當然還有VCSEL光源。

比較有趣的是Mate 20 Pro的前置光學(xué)模組中的3D感知系統(tǒng)實際并不僅有ToF。主要用于面部識別的應(yīng)該是個典型的結(jié)構(gòu)光模組，其中的VCSEL激光光源都有兩個，分別用于點陣投射器(DOT projector)和泛光照明器(flood illuminator)，而且來自不同的供應(yīng)商。當然這是題外話了。

3D感知正在普及的iToF

到了華為P30 Pro，后攝方案中也開始應(yīng)用ToF技術(shù)，整體方案來自索尼。這應(yīng)該是個iToF方案，圖像傳感器相對常規(guī)，像素尺寸10μm，4.7萬像素;用于泛光照明的VCSEL光源來自Lumentum。

像iPad Pro那樣在小尺寸移動設(shè)備上選擇dToF做較大范圍的3D檢測，現(xiàn)在看來似乎仍是個比較奢侈的方案。因為如前文所述，dToF原理雖然直接，而且更為精確，但它對各組件的時間抖動要求是比較高的，且要求更大的輸出功率。相對的iToF精度更低，卻更容易實現(xiàn)高幀率，對各部分組件的技術(shù)要求也會相對低一些。

圖7，iToF方案中的cwToF連續(xù)波方法，來源：ADI

回顧圖3光學(xué)測距技術(shù)的分類，我們認為這個分類方法在針對iToF的分類上可能也是不夠全面的。參照ADI和英飛凌的官方資料都將iToF分類為pToF(基于脈沖的ToF)和cwToF(連續(xù)波ToF，圖7)。或許cwToF還可以進一步細分，即調(diào)頻連續(xù)波和調(diào)幅連續(xù)波。cwToF是由光源發(fā)出周期性調(diào)制信號，接收端檢測反射光的相位偏移;而pToF則是由光源發(fā)出一系列的短脈沖，接收端的傳感器會有個電子快門——電子快門在一系列短時間窗口中捕獲反射光。這兩者也各有自身的優(yōu)勢和缺點。比如ADI就在自家pToF方法中，選擇配備CCD傳感器，而非CMOS，這對于實現(xiàn)小像素、更高分辨率，和全局曝光實現(xiàn)快速移動目標檢測都有優(yōu)勢。

需要注意的是，本文探討ToF模組時，更偏向于探討接收端的傳感器部分，VCSEL屬于發(fā)射端。如前文所述，dToF對于發(fā)射端和接收端都提出了很高的要求。ams業(yè)務(wù)發(fā)展總監(jiān)徐冰博士也確認道：“ToF的發(fā)射和接收技術(shù)要求都很高，特別是用于dToF的應(yīng)用?！盿ms高級市場經(jīng)理蔡鄭志強也告訴我們，VCSEL發(fā)射器在整個系統(tǒng)設(shè)計中尤其關(guān)鍵，均勻性、發(fā)散角、溫飄等因素都很重要;而且由于小型化需求，更對散熱等問題提出了更高的技術(shù)要求。

且整個ToF模組也不僅限于這兩個部分，另外還至少包含接收端鏡頭、發(fā)射端diffuser在內(nèi)的光學(xué)組件，以及可能包括像ADI這樣獨立于傳感器之外的模擬前端芯片，用于數(shù)字化和輸出深度數(shù)據(jù)(如圖8)，便于快速獲取整體圖像深度信息。

圖8，pToF方法中，位于CCD傳感器之后的ADI前端處理芯片，來源：ADI

當然我們沒有必要仔細去研究某個產(chǎn)品具體應(yīng)用了何種方法，這里我們看一個相對有代表性的iToF方案：LG G8 ThinQ手機。這款手機的ToF攝像頭采用的是英飛凌/pmd的REAL3圖像傳感器。整體解決方案由英飛凌/pmd設(shè)計，模組主要包括了REAL3圖像傳感器(近紅外傳感器)以及一個泛光照明器——即VCSEL die來自ams。

System Plus Consulting的拆解報告顯示，這顆傳感器的分辨率為224x172(約3.9萬像素);相較2016年應(yīng)用于聯(lián)想Phab2Pro的同分辨率傳感器，尺寸縮減了40%——這大概也能說明移動設(shè)備上ToF攝像頭模塊正在變小，像素正在變小的趨勢;另外，VCSEL激光die部分實則也有12%的體積縮減(圖9)。

圖9，LG G8 ThinQ的ToF攝像頭模組中的VCSEL die，來源：System Plus Consulting

與前些年手機將ToF應(yīng)用于距離感應(yīng)、激光對焦一樣，如今實現(xiàn)3D感知的ToF的確越來越成為手機的標配。到這里，即便不觀察市場規(guī)模的增長數(shù)據(jù)，我們也基本可以確認，ToF從來不存在所謂的“應(yīng)用場景受限”或者前景未知的困惑，手機的ToF市場一直都發(fā)展得不錯。

拋開測距不談，3D ToF在手機上的應(yīng)用至少包括了面部識別(即便或許精度不及結(jié)構(gòu)光)、掌紋識別、隔空手勢識別，以及配合計算機成像用于判斷場景深度，并配合做到模擬淺景深——也就是模擬單反那樣的背景虛化，其準確性會遠高于雙攝這樣的立體視覺方案。

另外，在移動設(shè)備上搭載ToF攝像頭，還可進一步促成AR現(xiàn)實增強技術(shù)的發(fā)展，這也是市場對iPad Pro搭載LiDAR的一個預(yù)判。iOS生態(tài)的AR開發(fā)無需多言，Android平臺的ARCore實際上是值得一談的。這兩年一直有傳言說，谷歌很快就要為ARCore引入ToF的原生支持。這則消息到去年Google I/O似乎還未有成型，不過在去年12月更新的ARCore API版本中，谷歌的新聞稿提及，“有專門攝像頭即ToF傳感器的設(shè)備，將能夠獲得更好、更精準的體驗?！?

手機之外的更多應(yīng)用

受限于篇幅，我們只能以梗概的方式談手機ToF的應(yīng)用，有關(guān)ToF系統(tǒng)的技術(shù)點仍有很多問題未曾涉及。比如在不同的應(yīng)用場景中采用ToF技術(shù)有各自的挑戰(zhàn)，如對手機而言，空間限制是個重要因素。英飛凌電源與傳感系統(tǒng)事業(yè)部大中華區(qū)射頻及傳感器部門總監(jiān)麥正奇告訴我們：“在像素尺寸縮小，分辨率提高的情況下，如何保證低功耗的要求，是英飛凌和技術(shù)開發(fā)合作伙伴pmd technologies攜手，在相關(guān)不同的設(shè)計層級，對REAL3 ToF產(chǎn)品進行優(yōu)化的方向。”

圖10，來源：英飛凌

以及我們采訪的數(shù)家ToF企業(yè)均提及ToF模組紅外傳感器技術(shù)難點中的背光干擾抑制，SPAD在這方面理論上本身應(yīng)該是有天然優(yōu)勢的。對于iToF來說，戶外場景下ToF攝像頭面對十分明亮的背景光，對畫面主體的距離測量會產(chǎn)生不良影響(過曝?zé)o法提供深度信息)。

比如英飛凌在傳感器中“采用專有SBI(背景干擾抑制)電路，這是一種像素內(nèi)電路技術(shù)，旨在克服各種光照條件帶來的影響。”麥正奇說。SBI背光抑制專利似乎一直都是英飛凌對外的宣傳重點，實現(xiàn)據(jù)說提升“近20倍的動態(tài)范圍”(圖10)。ADI系統(tǒng)應(yīng)用工程經(jīng)理李佳也表示，ADI的ToF技術(shù)方案“可支持940nm光源，并且每個像素都有獨特的背景照明抑制電路?！?

對于ToF，在手機市場之外，我們也有必要探討其發(fā)展前景。徐冰博士說：“市場是需要時間去接收和驗證的，ams對于自身的3D技術(shù)有著充分的信心。”“ams的ToF相關(guān)產(chǎn)品主要應(yīng)用方向是手機市場、車載市場，安全和支付領(lǐng)域?！?

麥正奇則表示：“盡管智能手機絕對是ToF傳感器非常吸引人的一個應(yīng)用，但其實ToF技術(shù)已經(jīng)在游戲機、智能汽車、智能家居、工業(yè)領(lǐng)域和虛擬現(xiàn)實眼鏡中得到了應(yīng)用，還有很多潛在的應(yīng)用。”

意法半導(dǎo)體的態(tài)度也很明確，張程怡說：“過去5年，到今天以及未來，我們還是相當側(cè)重在消費電子市場，除了像是智能手機的自動對焦，從應(yīng)用來分還有已經(jīng)發(fā)展起來且在持續(xù)發(fā)展的投影儀的自動對焦?！薄暗诙鞘褂谜叩臋z驗：今年的情況很特殊，我們也發(fā)現(xiàn)在檢測體溫、閘機管制這些場景應(yīng)用中，ToF也有很大的需求;還有像是智能家居面板，商用電腦、兒童教育面板等?！薄暗谌糠?，我們還側(cè)重在障礙物檢測，像是家用掃地機器人、酒店展館的服務(wù)機器人等;工廠里的機器人避障也需要使用。”

ADI在針對非消費市場中，“我們認為下面這些領(lǐng)域ToF可以快速導(dǎo)入：智能建筑領(lǐng)域、用于人臉識別的身份安全驗證、汽車倒車影像應(yīng)用、確保工業(yè)自動化操作的安全性、AGV(自動導(dǎo)航車輛)等自動駕駛車輛?！崩罴驯硎?。顯然，無論是測距還是3D感知，ToF技術(shù)的發(fā)展都是相當有序的，無論是移動設(shè)備，還是其他領(lǐng)域。