技術(shù)
導(dǎo)讀:所謂高感光范圍的“人造視網(wǎng)膜”,核心是利用電荷陷阱態(tài)對(duì)電子的捉放效應(yīng)以及二硫化鉬本身的“時(shí)間 —— 抑制激勵(lì)”作用,從而達(dá)到人為控制感光半導(dǎo)體電導(dǎo)率的目的。
脫口秀演員搞自動(dòng)駕駛?不但搞出了成果,還被 Nature 在研究亮點(diǎn)(RESEARCH HIGHLIGHT)專(zhuān)欄報(bào)道!
香港理工大學(xué)博士后、深圳某脫口秀俱樂(lè)部現(xiàn)役演員廖付友年初八在《自然?電子》上以一作身份發(fā)表名為 Bioinspired in-sensor visual adaptation for accurate perception 的文章。文章介紹了一種新型傳感器,模仿了人類(lèi)視網(wǎng)膜工作原理,有效感知范圍達(dá)到 199dB。
這是什么概念?現(xiàn)在絕大部分智能汽車(chē)上的自動(dòng)駕駛系統(tǒng)在弱光、雨雪條件下能力大打折扣,主要原因之一就是常用的硅基 CMOS 圖像傳感器通常只有 70dB 的感知范圍,遠(yuǎn)低于自然場(chǎng)景的光強(qiáng)變化范圍。而新的類(lèi)視網(wǎng)膜傳感器,直接將感知范圍提升 1 萬(wàn)億倍!大大增強(qiáng)自動(dòng)駕駛在感知端的準(zhǔn)確性。
而且這位業(yè)余說(shuō)脫口秀的廖付友,已被華為收編,確定即將入職繼續(xù)從事半導(dǎo)體研究。
有效感光范圍提升 1 萬(wàn)億倍!
在地球普遍環(huán)境中,自然光強(qiáng)度的分布超過(guò) 280dB,遠(yuǎn)超民用級(jí)別 CMOS 感光元件的 70dB 范圍。
具體到自動(dòng)駕駛上,且不論算法性能,攝像頭捕捉的圖像數(shù)據(jù)有效范圍就大大縮小,不但是弱光會(huì)影響識(shí)別,強(qiáng)光也不行。比人眼強(qiáng),但應(yīng)付自然光還是不夠。
從這個(gè)角度看,也能理解特斯拉代表的純視覺(jué)自動(dòng)駕駛路線,和國(guó)內(nèi)廠商走的激光雷達(dá) + 視覺(jué)混合路線的緣由。一個(gè)是死磕算法提高圖像識(shí)別準(zhǔn)確度,另一個(gè)是通過(guò)雷達(dá)點(diǎn)云圖彌補(bǔ)圖像數(shù)據(jù)的不足。手段不同,但問(wèn)題根源都在圖像捕捉的限制。
而廖付友博士所在的香港理工大學(xué)團(tuán)隊(duì),利用二硫化鉬作為基礎(chǔ)材料,模仿人類(lèi)視網(wǎng)膜的工作原理,設(shè)計(jì)出了一種新的光傳感器,能夠有效感知 199dB 范圍的光線。
在實(shí)驗(yàn)中,科研人員分別于弱光和強(qiáng)光背景下映出數(shù)字“8”,再由環(huán)境光照射背景板:
之后,將感光信號(hào)輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別:
實(shí)驗(yàn)結(jié)果表明,ANN 網(wǎng)絡(luò)對(duì)于數(shù)字“8”的識(shí)別準(zhǔn)確度穩(wěn)定在 97% 左右,同等條件下使用 CMOS 傳感器的系統(tǒng)幾乎無(wú)法識(shí)別。
上圖中有目標(biāo)識(shí)別率有明顯的隨時(shí)間漸變的趨勢(shì),這就是所謂“類(lèi)視網(wǎng)膜”的核心?;诙蚧f的感光陣列無(wú)論對(duì)于弱光還是強(qiáng)光都會(huì)隨時(shí)間適應(yīng),就像人眼會(huì)逐漸適應(yīng)光照強(qiáng)度一樣。輸出的圖像信號(hào)也會(huì)從剛開(kāi)始的一團(tuán)黑或白逐漸清晰顯出目標(biāo)特征。
好了,我知道你們想搞清楚 1 萬(wàn)億倍是怎么來(lái)的,但首先還要解釋一下光功率的概念。dB 是指光功率的單位,表示光在單位時(shí)間內(nèi)所做的功。簡(jiǎn)單理解,光功率大小直接反映了光照的強(qiáng)弱。
一般光功率單位常用為毫瓦 (mw) 和分貝毫瓦 (dBm),其中兩者關(guān)系為:1mw=0dBm。但工程學(xué)中,dB 是一個(gè)純計(jì)數(shù)單位,代表兩個(gè)功率的比值大小,具體數(shù)值為 10*log (A / B)。也就是說(shuō),工程上 dB 只有加減,實(shí)際代表了兩個(gè)功率相除,得出的結(jié)果是增益或減益的倍數(shù)。
所以按照這樣計(jì)算,港理工團(tuán)隊(duì)的新型類(lèi)視網(wǎng)膜傳感器,有效工作范圍比傳統(tǒng) CMOS 圖像傳感器提升了 129dB,也就是至少提升 1012 倍。1 萬(wàn)億倍!會(huì)說(shuō)脫口秀的科研人員果然強(qiáng)。
提升 1 萬(wàn)億倍如何實(shí)現(xiàn)?
人眼的光接收細(xì)胞感知范圍比較有限,只有 40dB。但是人眼的視覺(jué)適應(yīng)功能讓我們可以感知和識(shí)別不同光照條件下的各種物體,哪怕是快速在明暗差別很大環(huán)境中轉(zhuǎn)換。
人眼應(yīng)對(duì)光線明暗變化的機(jī)制,關(guān)鍵是水平細(xì)胞和光接收細(xì)胞的結(jié)構(gòu)。
其中,視錐細(xì)胞在強(qiáng)光條件下敏感度更高,視桿細(xì)胞在暗光條件下敏感度更高。所以光照條件發(fā)生變化時(shí),視網(wǎng)膜的水平細(xì)胞會(huì)控制感光點(diǎn)在視錐和視桿細(xì)胞之間的轉(zhuǎn)換、以及光色素的產(chǎn)生和消失來(lái)適應(yīng)。
基于此,團(tuán)隊(duì)研發(fā)出一種基于二硫化鉬底柵光電晶體管陣列的仿生視覺(jué)適應(yīng)傳感器。
在二硫化鉬表面,科研人員有意引入電荷陷阱態(tài),使得光信息的存儲(chǔ)成為可能。
(電荷陷阱態(tài):電子被不飽和鍵所捕獲。)
而通過(guò)調(diào)節(jié)柵極電壓,這陷阱態(tài)可以捕獲或釋放通道的電子。
(通道:施加電壓后,電子會(huì)被排斥或吸引從而形成翻轉(zhuǎn)層,導(dǎo)通半導(dǎo)體源級(jí)和汲極,形成通道。)
在不同的柵極電壓下,通道的電子可以被捕獲或釋放,這就可以定量地動(dòng)態(tài)調(diào)節(jié)器件的電導(dǎo)率。所以光線強(qiáng)弱變化時(shí),只需要調(diào)節(jié)柵極電壓就能實(shí)現(xiàn)感光元件的范圍調(diào)整。
另外,二硫化鉬材料本身具有獨(dú)特性質(zhì),根據(jù)柵極電壓不同,會(huì)隨時(shí)間對(duì)電流產(chǎn)生激勵(lì)或抑制作用。這一點(diǎn)正好模擬了視網(wǎng)膜光色素的產(chǎn)生和消失。
所謂高感光范圍的“人造視網(wǎng)膜”,核心是利用電荷陷阱態(tài)對(duì)電子的捉放效應(yīng)以及二硫化鉬本身的“時(shí)間 —— 抑制激勵(lì)”作用,從而達(dá)到人為控制感光半導(dǎo)體電導(dǎo)率的目的。
在把這項(xiàng)技術(shù)應(yīng)用到自動(dòng)駕駛的視覺(jué)傳感器中,無(wú)需經(jīng)過(guò)后端圖像處理器或云端信息處理,就能大大提升了系統(tǒng)的信息處理效率和識(shí)別準(zhǔn)確度。
另外人臉識(shí)別也是一個(gè)重要應(yīng)用場(chǎng)景,無(wú)論是白天的強(qiáng)光還是夜間的黑暗,視覺(jué)傳感器能根據(jù)背景光強(qiáng)度,去調(diào)節(jié)光靈敏度從而準(zhǔn)確識(shí)別人臉。
在太空探測(cè)領(lǐng)域,把具有視覺(jué)適應(yīng)功能的視覺(jué)傳感器應(yīng)用在探測(cè)設(shè)備上,除了正常光照條件下的感知外,還可以在極端光照條件下(極弱或者極強(qiáng)光)探測(cè)外界環(huán)境和識(shí)別目標(biāo)。
作者介紹
一作廖付友,博士畢業(yè)于復(fù)旦大學(xué),目前在香港理工大學(xué)做博士后。主要研究方向?yàn)榘雽?dǎo)體器件與工藝。他已經(jīng)確定將入職華為,繼續(xù)半導(dǎo)體方面研究。
廖付友除了是一名科研工作者,還是一名業(yè)余脫口秀演員,在深圳某俱樂(lè)部駐場(chǎng)演出。
本文通訊作者柴揚(yáng)副教授,博士畢業(yè)于香港科技大學(xué)。主要從事低維材料的電子器件及其在能源領(lǐng)域應(yīng)用的研究工作,其主要研究方向包括低維材料的可控生長(zhǎng)與電子器件,能量轉(zhuǎn)換與存儲(chǔ),以及柔性電子器件。
論文地址:
https://www.nature.com/ articles / s41928-022-00713-1