導讀:3D sensing是智能手機創(chuàng)新的趨勢之一,當前正加速向中低端手機滲透。
dToF開啟深度信息的新未來
3D sensing是智能手機創(chuàng)新的趨勢之一,當前正加速向中低端手機滲透。目前實現(xiàn)3D sensing共有三種技術(shù),分別為雙目立體成像、結(jié)構(gòu)光和ToF,目前已經(jīng)比較成熟的方案是結(jié)構(gòu)光和ToF。其中結(jié)構(gòu)光方案最為成熟,已經(jīng)大規(guī)模應用于工業(yè)3D視覺,ToF則憑借自身優(yōu)勢成為在移動端較被看好的方案。
ToF的多場景應用呈現(xiàn)出了比結(jié)構(gòu)光更為廣闊的發(fā)展前景。作用距離的劣勢限制結(jié)構(gòu)光的應用,ToF技術(shù)則彌補了距離上的缺陷,可以被應用于包含3D人臉識別、3D建模以及手勢識別、體感游戲、AR/VR在內(nèi)的更多場景中,能夠為智能手機帶來更娛樂性和實用性的體驗。此外,相比結(jié)構(gòu)光技術(shù),ToF的模組復雜度低,堆疊簡單,可以做到非常小巧且堅固耐用,在屏占比不斷提高的外觀趨勢下,更得到手機廠商的青睞。
ToF(Time of Flight),通過測量發(fā)射光與反射光的飛行時間計算出光源與物體之間的距離,本質(zhì)上是時間維度測量。根據(jù)測距的方式不同,目前存在兩種ToF技術(shù)路線:iToF(間接飛行時間,indirect-ToF)和dToF(直接飛行時間,direct-ToF)。dToF直接測量飛行時間,原理是通過直接向測量物體發(fā)射光脈沖,并測量反射光脈沖和發(fā)射光脈沖之間的時間間隔,得到光的飛行時間,從而直接計算待測物體的深度。iToF則是通過發(fā)射特定頻率的調(diào)制光,檢測反射調(diào)制光和發(fā)射的調(diào)制光之間的相位差,測量飛行時間。
iToF間接測量飛行時間,具備低成本、較高分辨率優(yōu)勢,適用于短距離測距。iToF原理為把發(fā)射的光調(diào)制成一定頻率的周期型信號,測量該發(fā)射信號與到達被測量物反射回接收端時的相位差,間接計算出飛行時間。由于iToF sensor的pixel相對較小,可實現(xiàn)相對高圖像分辨率。但iToF問題在于的測距精度的實現(xiàn)限制了最大測距距離,從原理上看,調(diào)制頻率越高則測距精度越好,高調(diào)制頻率意味著對應的測距距離不能太大,并且環(huán)境光會對電路產(chǎn)生干擾。因此目前iToF主要應用在手機面部識別、手勢識別等測距距離較短的場景中。
iToF傳感器電路相對簡單,難點主要在深度算法,安卓陣營自2018年引入iToF并推動其主流化。目前如三星、華為、OPPO、vivo等品牌均有在中高端機型中配臵,除此之外,iToF在物體識別,3D重建以及行為分析等應用場景中能夠重現(xiàn)場景中更多的細節(jié)信息,因此還被廣泛應用于機器人、新零售等領(lǐng)域。
dToF直接測量飛行時間,具備低功耗、抗干擾等優(yōu)勢,適用于對測距精度要求高的較遠距離測距場景。dToF原理為向被測物體發(fā)射光脈沖,通過對反射和發(fā)射光脈沖時間間隔的測量,直接計算待測物體的深度。測距原理使得dTOF測量精度不會因距離增大而降低,功耗更低同時對環(huán)境光的抗干擾能力更強。
dToF深度算法相對簡單,難點在于用以實現(xiàn)較高精度的SPAD。dToF要檢測光脈沖信號(納秒甚至皮秒級),因而對光的敏感度要求會很高,因此接收端通常選擇SPAD(單光子雪崩二極管)或者APD(雪崩光電二極管)這類傳感器來實現(xiàn),集成度弱于普通的CMOS圖像傳感器,像素尺寸一般大于10μm,從而分辨率通常較差,成本更高。SPAD是dTOF技術(shù)的核心,技術(shù)難度大且制作工藝復雜,目前世界上極少廠家具備量產(chǎn)能力,集成難度很高難以小型化應用在手機等小型消費電子上,因而除傳統(tǒng)熱門應用領(lǐng)域車載LiDAR之外,消費電子領(lǐng)域目前僅有蘋果一家實現(xiàn)商用(iPad Pro首次搭載)。
未來TOF會向更高集成度、更小的傳感器尺寸、更高分辨率發(fā)展。目前傳統(tǒng)的CIS單像素尺寸最小可達到0.7μm,而目前0.6μm也已經(jīng)在研發(fā)中。但ToF傳感器更要求單像素獲取信號的能力,因而需要更大的單像素尺寸;dToF傳感器電路設計比較復雜,需占據(jù)較大的片上尺寸;iTOF像素尺寸則需暫時讓步于更高的集光效率。種種原因使得ToF圖像傳感器的小型化存在一定困難。
半導體工藝改進將有望實現(xiàn)TOF傳感器小型化。ToF傳感器廠商通過半導體工藝方案的改進,如背照式(BSI)、堆棧式(Stacked)CMOS等技術(shù),將原本位于光電二極管上方的布線層移至下方,以及將光電轉(zhuǎn)換器、電子倍增器(electron multipier)這些部分垂直堆疊,增大像素開口率,同時減小像素尺寸。目前根據(jù)松下最新的研究成果,dToF傳感器也可以用CMOS工藝實現(xiàn),集成度已經(jīng)在數(shù)量級上逼近iToF方案。
目前ToF技術(shù)低分辨率的固有缺陷仍然存在,未來有望隨技術(shù)更迭而實現(xiàn)突破。目前ToF測量精度量級仍然相較結(jié)構(gòu)光方案落后,但近兩年其傳感器分辨率已經(jīng)在提升。iToF方面,英飛凌面向消費市場的一般REAL3?傳感器(iToF)也達到了3.8萬像素,2019年推出的IRS2771C則達到15萬像素;dToF方面,例如iPad Pro 2020的LiDAR分辨率達到了3萬像素;另外TDC電路設計進步也逐步提升著CMOS電路中的TDC時間分辨率精度,有望帶來dToF的分辨率的提升。
ToF未來最有潛力的應用在AR領(lǐng)域
目前手機是ToF在消費電子中的主要應用領(lǐng)域,隨著市場對3D視覺與識別技術(shù)的興趣日益濃厚,頭部終端廠商推動TOF技術(shù)在3D感知和成像方向上不斷拓展,我們看到TOF技術(shù)在智能手機端加速滲透,TOF的使用進一步豐富著3D sensing的應用場景。伴隨AR/VR的發(fā)展,ToF有望成為智能手機攝像頭的下一個風口。
ToF助力消費級AR普及。ToF技術(shù)的應用亦是AR、VR時代的催化劑??紤]到ToF的兩個獨特的優(yōu)點——作用距離長、刷新率高,存在遠距離3D測距需求的AR/VR是最能體現(xiàn)TOF優(yōu)勢的功能之一。3D攝像頭技術(shù)提供的手勢識別功能將成為未來AR/VR領(lǐng)域的核心交互手段。目前各大廠商推出的VR設備大都需要控制器,游戲控制器的優(yōu)勢在于控制反饋及時、組合狀態(tài)多。
根據(jù)Markets and Markets,2019年全球AR市場規(guī)模達到107億美元,預計到2024年將達到727億美元,復合增長率達46.6%。過去幾年中,以Facebook、英特爾、高通和三星為代表的公司在AR領(lǐng)域進行了大量投資,推動了全球AR市場的快速增長。中國AR市場規(guī)模預計在2024年將達到約59億美元,從下游應用來看,工業(yè)應用占比最大,約占42%,其次是汽車(18%),零售(15%)以及航空與國防(10%)等。
AR室內(nèi)設計。2020款iPad Pro使用了dToF LiDAR技術(shù),通過這一技術(shù)可以獲得3D空間的深度信息,建立詳細的室內(nèi)環(huán)境空間數(shù)據(jù),模擬出擺放了新家具后的情況。宜家的IKEA Place應用,利用AR讓家居產(chǎn)品的外觀和在家中的擺放效果直接呈現(xiàn)在用戶眼前。
醫(yī)療學習。Complete Anatomy是一款教醫(yī)學院學生通過虛擬技術(shù)了解心臟、實時肌肉運動、神經(jīng)系統(tǒng)等人體結(jié)構(gòu)的軟件,在2020款iPad Pro上可以使用這一軟件,它將幫助專業(yè)人士更準確的評估病人的身體運動情況,為未來醫(yī)學發(fā)展帶來更多可能性。
3D攝像頭技術(shù)提供的手勢識別功能將成為未來AR/VR領(lǐng)域的核心交互手段。目前各大廠商推出的VR設備大都需要控制器,游戲控制器的優(yōu)勢在于控制反饋及時、組合狀態(tài)多。以HoloLens為例,就擁有一組四個環(huán)境感知攝像頭和一個深度攝像頭,環(huán)境感知攝像頭用于人腦追蹤,深度攝像頭用于輔助手勢識別并進行環(huán)境的三維重構(gòu)。
拍照虛化。ToF具備更好的景深信息采集功能,加入智能手機后攝模組后,能夠?qū)崿F(xiàn)快速、遠距離獲取更高精度的深度圖(depth map),從而完成較結(jié)構(gòu)光范圍更大的3D建模,而且由于自帶紅外光源,其在暗光環(huán)境下獲得的景深信息同樣準確。因此,有TOF攝像頭參與的成像在虛化效果上會更加真實,富有層次。華為2019年發(fā)布的旗艦機P30 Pro在后臵3D成像與感知模組中加入ToF鏡頭輔助,ToF鏡頭獲取的更多景深信息加強背景虛化功能,相比雙目視覺更加精準,使得得到的圖像虛化邊緣更加清晰、更具表現(xiàn)力。
手勢識別。目前不少手機具備的懸浮手勢識別功能,不用直接接觸手機屏幕,僅借由前臵ToF的對手勢的3D感知,通過如在手機前揮揮手這樣簡單的操作來實現(xiàn)翻頁、滾屏等普通操作。體感游戲相比前者更具交互性,通過TOF技術(shù)能夠采集到被拍攝人的身體深度信息,捕捉和采集身體的動作,進行手勢判定,控制預制的3D建模人偶的形象和動作,實現(xiàn)真人和3D虛擬形象跟隨,用身體、動作和手勢做游戲交互。
ToF技術(shù)的應用是AR、VR時代的催化劑??紤]到ToF的兩個獨特的優(yōu)點——作用距離長、刷新率高,存在遠距離3D測距需求的AR/VR是最能體現(xiàn)TOF優(yōu)勢的功能之一。3D攝像頭技術(shù)提供的手勢識別功能將成為未來AR/VR領(lǐng)域的核心交互手段。
dTOF技術(shù)的應用有望推動AR內(nèi)容的完善,加速消費級AR普及。蘋果2017年便針對開發(fā)者們發(fā)布了用于iOS設備上AR應用開發(fā)的ARKit開發(fā)工具,2020年發(fā)布的iPad Pro為消費電子設備首次搭載dToF模組,可視為蘋果針對5G時代AR領(lǐng)域的進一步布局。iPad Pro搭載的LiDAR(激光雷達掃描儀),采用Sony 3萬像素10μm dTOF圖像傳感器,SPAD陣列的探測器,并集成了Lumentum的VCSEL芯片和TI的VCSEL驅(qū)動芯片,能達到ps級時間分辨率,可實現(xiàn)5米范圍內(nèi)的3D感知與成像,具備更快的AR建模速度、更高的測量精度和更少的抖動、錯位。
Sony的dTOF方案首次采用3D堆疊工藝,像素內(nèi)連接通過混合鍵合互連技術(shù)將探測器晶圓和邏輯電路晶圓鍵合實現(xiàn),同時,深溝槽隔離(Deep trench isolation)也被應用,充滿金屬的溝槽完全隔離了像素。從而有效控制了dTOF傳感器的尺寸,使其成功的應用在iPad這類小型消費電子設備中。
目前iPad Pro的LiDAR共呈現(xiàn)出三種典型場景的應用。AR測量、AR游戲和AR裝修設計。
AR測量:LiDAR可以快速計算人的身高,并展現(xiàn)垂直和邊緣引導線。通過開發(fā)者開發(fā)的app可實現(xiàn)對物體尺寸、建筑物更精細的測量。
AR游戲:LiDAR通過對周圍真實環(huán)境的掃描和快速獲得深度信息能力,為AR游戲開辟了更廣闊的設計空間。如官網(wǎng)展示的《熾熱熔巖(Hot Lava)》電子游戲,可以把客廳變成一個虛擬的熔巖環(huán)境,游戲中的玩家可以跳到家具上以此來避開模擬中的地板熔巖。iPad Pro上市后帶動開發(fā)者不斷豐富iOS平臺上AR游戲內(nèi)容,也使一些原有的AR游戲因為玩法升級而更具有生命力。
AR裝修:iOS上的Shapr3D app,借助LiDAR對房間進行掃描創(chuàng)建3D模型,用戶可以對該模型展開編輯或添加新對象,使用AR可以查看實際房間在編輯后的虛擬效果,幫助用戶在裝修動工前更真切體驗設計效果。宜家Place應用同樣可以通過掃描一個房間獲得與之匹配的家具推薦,然后使用AR查看家具擺放效果。
dTOF在iPad Pro上的應用,可以視為蘋果打通AR生態(tài)硬件基礎的第一步。未來蘋果通過技術(shù)改進和突破,有望將dTOF引入手機端以及更多地AR設備,促進AR硬件設備的發(fā)展同時,也激發(fā)設計師基于dTOF的特性開發(fā)如建筑、教育、醫(yī)療等更多場景的AR內(nèi)容應用,推動AR應用生態(tài)持續(xù)完善。
華為河圖(Cyberverse)定義地球級XR應用(包括VR、AR、MR等擴展現(xiàn)實技術(shù)),將AR應用拓展到更廣闊的數(shù)字世界。華為河圖(Cyberverse)被定義用來提供地球級的虛擬現(xiàn)實融合服務的數(shù)字平臺,華為AR地圖是其推出的第一個商業(yè)產(chǎn)品,主要功能包括AR實景導航、全息信息展示、虛實融合拍照及其他虛擬活動等。全場景空間計算能力是河圖的核心,這一能力所需的宏觀地圖可以使用衛(wèi)星定位,而室內(nèi)及一些微觀場所的建模定位則依賴智能手機的3D Sensing來完成。目前華為P40系列機型已經(jīng)能夠支持華為AR地圖。
下一波移動終端創(chuàng)新將圍繞AR進行革命性創(chuàng)新。AR/VR開發(fā)平臺的搭建和完善,及增強現(xiàn)實內(nèi)容市場的蓬勃發(fā)展,必然會推動TOF產(chǎn)業(yè)的發(fā)展。TOF有望接力結(jié)構(gòu)光,從生物感知到虛擬現(xiàn)實,從人臉識別到3D建模,帶來產(chǎn)業(yè)端升級和用戶體驗優(yōu)化,前臵人臉識別+后臵虛擬現(xiàn)實功能可能成為手機的下一個形態(tài)。伴隨AR/VR的發(fā)展,ToF有望成為5G時代智能手機攝像頭的下一個風口。
下一波創(chuàng)新性革命,TOF市場空間巨大
下一波移動終端創(chuàng)新將圍繞AR進行革命性創(chuàng)新。隨著增強現(xiàn)實內(nèi)容市場的蓬勃發(fā)展,內(nèi)容廠商不斷推動AR/VR開發(fā)平臺的發(fā)展,必然會推動TOF產(chǎn)業(yè)的發(fā)展。TOF有望接力結(jié)構(gòu)光,從生物感知到虛擬現(xiàn)實,從人臉識別到3D建模,帶來產(chǎn)業(yè)端升級和用戶體驗優(yōu)化,前臵人臉識別+后臵虛擬現(xiàn)實功能可能成為手機的下一個形態(tài)。伴隨AR/VR的發(fā)展,ToF有望成為智能手機攝像頭的下一個風口。
我們看到2019年3D感測手機大多集中在高端機等旗艦機型,結(jié)構(gòu)光以蘋果為代表,自iPhoneX后的機型都已經(jīng)搭載結(jié)構(gòu)光功能,而華為搭載TOF的機型數(shù)量最多。根據(jù)Yole的預測數(shù)據(jù)也顯示,全球3D成像和傳感器的市場規(guī)模在2016–2022年的CAGR為38%,2017年市場規(guī)模18.3億美元,2022年將超過90億美元。其中,消費電子是增速最快的應用場,2016–2022年的CAGR高達160%,到2022年消費電子市場規(guī)模將超過60億美元。
從出貨量上來看,我們預測智能手機3D感測需求將從2017年的4000萬部增加至2019年的2億部以上,其中2019年的ToF機型還主要集中在幾款高端旗艦機,從2020年開始TOF的出貨量將進一步爆發(fā),在整體3D感應中占比有望達到40%。
我們預測2019/2020年TOF的出貨量為7760萬/1.6億部,同比大幅增長747%/108%。
BOM比較:TOF或更具成本優(yōu)勢
我們預計ToF和結(jié)構(gòu)光的BOM成本大約為12~15美元和20美元,相比之下TOF更具有成本優(yōu)勢。以iPhone X為例,結(jié)構(gòu)光技術(shù)的解決方案包括三個子模塊(點投影儀,近紅外攝像機和泛光照明器+接近傳感器),而ToF解決方案則將三個集成到一個模塊中,可以將包裝成本降低。
我們預計在這個TOF模組中,芯片的成本仍占主要的部分,大約占到整體BOM的28%~30%。
深度解析3D Sensing攝像頭產(chǎn)業(yè)鏈
目前TOF或結(jié)構(gòu)光的3D感知技術(shù)均為主動感知,因此3D攝像頭產(chǎn)業(yè)鏈與傳統(tǒng)攝像頭產(chǎn)業(yè)鏈相比主要新增加紅外光源、紅外傳感器和光學組件等部分。通過對已經(jīng)上市的主流3D攝像頭產(chǎn)品進行拆解分析,3D攝像頭產(chǎn)業(yè)鏈可以被分為:
1、上游:紅外傳感器、紅外光源、光學組件、光學鏡頭以及CMOS圖像傳感器。
2、中游:傳感器模組、攝像頭模組、光源代工、光源檢測以及圖像算法。
3、下游:終端廠商以及應用。
TOF和結(jié)構(gòu)光二者雖然原理不同,但其所需要的核心部件基本相同,TOF中的核心部件包括發(fā)射端的VCSEL光源、Diffuser等,接收端的鏡頭、窄帶濾光片、近紅外CMOS等。
參考資料來自:國盛證券、馭勢資本研究所