豆瓣高分美劇《了不起的麥瑟爾夫人》故事背景為 20 世紀(jì) 50、60 年代，女主爸爸是在哥倫比亞大學(xué)擔(dān)任終身教授的數(shù)學(xué)家，當(dāng)他得知女兒兼職脫口秀演員時(shí)，十分震驚和不解。
幾十年后的今天，在中國(guó)香港“卻有”一位科學(xué)家在兼職脫口秀，他就是即將加入華為公司的香港理工大學(xué)博士后廖付友。
圖 | 論文第一作者廖付友博士表演脫口秀（來(lái)源：廖付友）
其研究方向是半導(dǎo)體器件與工藝，2022 年大年初三，廖付友和導(dǎo)師港理工應(yīng)用物理系教授柴揚(yáng)，在 Nature Electronics 發(fā)了一篇論文。
圖 | 相關(guān)論文（來(lái)源：Nature Electronics）
農(nóng)歷大年初八，Nature 官網(wǎng)以研究亮點(diǎn)（RESEARCH HIGHLIGHT）形式報(bào)道了這一工作，其上寫道：“適應(yīng)各種光強(qiáng)度半導(dǎo)體的器件，或可用于自動(dòng)駕駛汽車和工業(yè)生產(chǎn)線?！?
圖 | Nature 官網(wǎng)研究亮點(diǎn)報(bào)道（來(lái)源：Nature 官網(wǎng)）
模擬人眼視網(wǎng)膜，研發(fā)仿生視覺(jué)適應(yīng)傳感器
該工作的背景在于，在人類生活環(huán)境中，從烈日當(dāng)空的正午、到伸手不見(jiàn)五指的漆黑夜晚，自然光的強(qiáng)度分布非常廣。如何在不同光照條件下準(zhǔn)確提取外部環(huán)境的信息，是一個(gè)基礎(chǔ)科學(xué)問(wèn)題，具有非常實(shí)際應(yīng)用的意義。
隨著機(jī)器視覺(jué)的發(fā)展、及其在自動(dòng)駕駛和實(shí)時(shí)視頻分析等領(lǐng)域的應(yīng)用，高分辨率、高圖像捕獲速度成為視覺(jué)傳感器的必備能力，具體體現(xiàn)為良好的穩(wěn)定性、以及寬感知范圍，即在不同光照強(qiáng)度下感知目標(biāo)的能力。
據(jù)悉，地球上自然光強(qiáng)度的分布超過(guò) 280dB，因此對(duì)于正確感知環(huán)境來(lái)說(shuō)，在不同光照下準(zhǔn)確捕獲圖像尤為重要。這就要求光電器件在弱光、以及亮光照明下，必須準(zhǔn)確捕捉和感知細(xì)節(jié)。
目前，市場(chǎng)上主流的硅基 CMOS（互補(bǔ)金屬氧化物半導(dǎo)體，Complementary metal Oxide Semiconductor）圖像傳感器通常只有 70dB 的感知范圍，遠(yuǎn)低于自然場(chǎng)景的光強(qiáng)變化范圍。
為實(shí)現(xiàn)較寬的感知范圍，此前有學(xué)者探索過(guò)控制光學(xué)孔徑、使用液態(tài)透鏡、調(diào)節(jié)曝光時(shí)間、以及后端去噪算法等方法，但這些方法通常需要復(fù)雜的硬件和軟件資源。
因此非常有必要在傳感器終端發(fā)展出一種具有視覺(jué)適應(yīng)功能和寬感知范圍的光電器件，從而改善機(jī)器視覺(jué)的功能、降低硬件復(fù)雜性、并提升高圖像識(shí)別效率。
相比硅基光電探測(cè)器，人眼的光接收細(xì)胞感知范圍比較有限只有 40dB，但是人眼的視覺(jué)適應(yīng)功能讓我們可以感知和識(shí)別不同光照條件下的各種物體，哪怕是從較暗環(huán)境、轉(zhuǎn)換到較亮環(huán)境中。
（來(lái)源：Nature Electronics）
人眼的視覺(jué)適應(yīng)機(jī)制，依賴于每個(gè)光接收細(xì)胞在不同光照條件下光靈敏度的動(dòng)態(tài)調(diào)節(jié)，其調(diào)節(jié)原理是在不同光照條件下，水平細(xì)胞控制視錐和視桿細(xì)胞之間的轉(zhuǎn)換、以及光色素的產(chǎn)生和消失。
在該工作中，柴揚(yáng)和團(tuán)隊(duì)研發(fā)出一種基于底柵光電晶體管陣列的仿生視覺(jué)適應(yīng)傳感器。該器件模擬了水平細(xì)胞和光接收細(xì)胞的結(jié)構(gòu)，具有視覺(jué)亮適應(yīng)和暗適應(yīng)的功能，有效感知范圍達(dá)到 199dB。
利用這款傳感器，可在不借助大體積光學(xué)組件、以及復(fù)雜外圍電路和后端信號(hào)處理的條件下，實(shí)現(xiàn)視覺(jué)適應(yīng)功能和寬感知范圍。
（來(lái)源：Nature Electronics）
柴揚(yáng)表示，其團(tuán)隊(duì)在 5 年前就已開(kāi)展光電存儲(chǔ)器的研究，這種新型器件能將光傳感與光信息處理的功能在單一器件中完成。
2018 年，該團(tuán)隊(duì)發(fā)表了第一篇關(guān)于將光傳感器與邏輯信息處理集成的論文[2]。隨后，在此研究基礎(chǔ)上進(jìn)一步開(kāi)展，2019 年柴揚(yáng)等人設(shè)計(jì)并利用光控阻變隨機(jī)存儲(chǔ)器實(shí)現(xiàn)了圖像感知和圖像預(yù)處理的功能[3]。
在 2020 年，他們又率先提出近傳感器和傳感器內(nèi)計(jì)算的方法[4,5]。人眼視網(wǎng)膜可以感知外界光信號(hào)，并根據(jù)光照強(qiáng)度自動(dòng)調(diào)節(jié)光接收細(xì)胞的靈敏度，從而適應(yīng)不同的背景光強(qiáng)度，這便是視網(wǎng)膜的視覺(jué)適應(yīng)功能。
（來(lái)源：Nature Electronics）
例如，去電影院的時(shí)候，從明亮大廳走進(jìn)黑暗電影廳時(shí)，剛開(kāi)始眼前一片漆黑，過(guò)段時(shí)間后才能看清周圍環(huán)境，這便是視覺(jué)暗適應(yīng)過(guò)程。
而在剛看完電影從電影院走出來(lái)后，假如走在陽(yáng)光下會(huì)覺(jué)得很刺眼，要等一會(huì)才能看清周圍的景物，這一過(guò)程叫視覺(jué)亮適應(yīng)，這和視覺(jué)暗適應(yīng)過(guò)程正好相反。
受到視網(wǎng)膜結(jié)構(gòu)和功能的啟發(fā)，柴揚(yáng)開(kāi)始研究具備視覺(jué)適應(yīng)功能的仿生視覺(jué)傳感器。
他說(shuō)，雖然此前也有類似工作的少量報(bào)道，但往往只能實(shí)現(xiàn)視覺(jué)亮適應(yīng)功能，并不能模擬視網(wǎng)膜的暗適應(yīng)過(guò)程，距離完整的視覺(jué)適應(yīng)功能還有較大距離，最主要原因在于很難讓同一個(gè)光電器件同時(shí)擁有光電增強(qiáng)和光電抑制這兩種相反的特性。
為解決這一難題，該團(tuán)隊(duì)設(shè)計(jì)了光電晶體管型的視覺(jué)傳感器，通過(guò)施加不同的柵極電壓的來(lái)控制器件視覺(jué)亮適應(yīng)和暗適應(yīng)程度，從而模擬視網(wǎng)膜中光接收細(xì)胞和水平細(xì)胞的結(jié)構(gòu)和功能，最終制備出仿生視覺(jué)適應(yīng)傳感器。
有潛力用于自動(dòng)駕駛、人臉識(shí)別和太空探測(cè)
柴揚(yáng)介紹稱，該成果有潛力應(yīng)用于自動(dòng)駕駛、人臉識(shí)別和太空探測(cè)。在自動(dòng)駕駛領(lǐng)域當(dāng)汽車突然進(jìn)入非常暗或非常亮的環(huán)境中時(shí)，視覺(jué)傳感器可根據(jù)光照條件在傳感端，實(shí)現(xiàn)光靈敏度的調(diào)節(jié)，進(jìn)而準(zhǔn)確感知圖像。這樣的好處在于，無(wú)需經(jīng)過(guò)后端圖像處理器或云端信息處理，大大提升了系統(tǒng)的信息處理效率。
人臉識(shí)別也是一個(gè)重要應(yīng)用場(chǎng)景，當(dāng)室外攝像頭工作時(shí)，晝夜光強(qiáng)變化范圍大，無(wú)論是白天的強(qiáng)光還是夜間的黑暗，視覺(jué)傳感器能根據(jù)背景光強(qiáng)度，去調(diào)節(jié)光靈敏度從而準(zhǔn)確識(shí)別人臉。
在太空探測(cè)領(lǐng)域，太空中或一些星球上的光強(qiáng)分布范圍很廣，把具有視覺(jué)適應(yīng)功能的寬感知范圍視覺(jué)傳感器應(yīng)用在探測(cè)設(shè)備上，除了正常光照條件下的感知外，還可以在極端光照條件下（極弱或者極強(qiáng)光）探測(cè)外界環(huán)境和識(shí)別目標(biāo)。
這時(shí)，假如在機(jī)器人中使用具有視覺(jué)適應(yīng)功能的仿生視覺(jué)傳感器，將進(jìn)一步提升機(jī)器人視覺(jué)系統(tǒng)的智能程度。
（來(lái)源：Nature Electronics）
對(duì)于后續(xù)計(jì)劃，柴揚(yáng)表示盡管此次展示了仿生視覺(jué)適應(yīng)傳感器的概念，并且具有較大的感知范圍，但是視覺(jué)適應(yīng)速度也和人眼的適應(yīng)速度相當(dāng)，因此要想應(yīng)用在實(shí)際產(chǎn)品中，還有一系列問(wèn)題需要解決。
柴揚(yáng)曾表示其目標(biāo)是“開(kāi)發(fā)未來(lái)可廣泛應(yīng)用于半導(dǎo)體行業(yè)的器件結(jié)構(gòu)”。該團(tuán)隊(duì)的后續(xù)計(jì)劃主要有四方面：其一，進(jìn)一步提升器件的視覺(jué)適應(yīng)速度，以實(shí)現(xiàn)微妙到幾十微秒量級(jí)；其二，進(jìn)一步降低器件功耗，把器件現(xiàn)有功耗再降低 10 倍以上；其三，實(shí)現(xiàn)更大規(guī)模的器件陣列制備，近期目標(biāo)是 100×100；其四，實(shí)現(xiàn)異質(zhì)集成，將仿生視覺(jué)適應(yīng)傳感器和硅基控制電路集成在一起。
（來(lái)源：Nature Electronics）
另?yè)?jù)悉，該團(tuán)隊(duì)的科研成果還曾受到香港特區(qū)行政長(zhǎng)官林鄭月娥的關(guān)注。2021 年 7 月，香港特區(qū)行政長(zhǎng)官林鄭月娥前來(lái)香港理工大學(xué)參觀訪問(wèn)，柴揚(yáng)科研團(tuán)隊(duì)通過(guò)實(shí)物演示和講解的方式，向特首介紹了仿生視覺(jué)適應(yīng)傳感器。聽(tīng)完介紹后，林鄭月娥非常感興趣，并詢問(wèn)了該成果的應(yīng)用前景和產(chǎn)業(yè)化問(wèn)題，最后鼓勵(lì)他們做出更多的成果。
放棄春節(jié)休息，大年初一堅(jiān)持科研
據(jù)悉，此次發(fā)表發(fā)論文項(xiàng)目始于 2020 年，當(dāng)時(shí)香港的新冠疫情非常嚴(yán)重，論文第一作者廖付友冒著疫情逆向而行來(lái)到香港加入柴揚(yáng)團(tuán)隊(duì)。
圖 | 柴揚(yáng)團(tuán)隊(duì)于 2021 年 4 月在香港太平山頂合影
（左一為論文第一作者廖付友博士，左四為論文通訊作者柴揚(yáng)老師）
在香港隔離結(jié)束后，廖付友立馬全身心投入研究，在最初幾個(gè)月，實(shí)驗(yàn)進(jìn)展并不順利，早期實(shí)驗(yàn)方案均以失敗告終。團(tuán)隊(duì)成員一起反復(fù)討論找出問(wèn)題所在，重新設(shè)計(jì)方案之后，一步一步取得新進(jìn)展。
2021 年農(nóng)歷大年三十，該團(tuán)隊(duì)收到了韓國(guó)合作方安炯炫（Jong Hyun Ahn）郵寄的最新樣品。2021 年農(nóng)歷正月初一到初四春節(jié)假期時(shí)間，廖付友放棄休假，每天從早上 8 點(diǎn)到晚上 10 點(diǎn)連續(xù)測(cè)試四天，取得了更多的進(jìn)展。
柴揚(yáng)表示，廖付友生性樂(lè)觀，善于把團(tuán)隊(duì)成員揉合在一起，并能與外部合作者有效溝通，為團(tuán)隊(duì)起到了不可替代的傳幫帶的作用。
在科研以外，廖付友興趣愛(ài)好廣泛，曾考取 IFBB（International Federation of Bodybuilding and Fitness，國(guó)際健美聯(lián)合會(huì)）健身教練證書(shū)和IBFA（International Body Resistance And Fitness Training Association，國(guó)際身體阻力與體適能訓(xùn)練協(xié)會(huì)）營(yíng)養(yǎng)師證書(shū)，經(jīng)常給課題組成員科普健身知識(shí)，給團(tuán)隊(duì)塑造出強(qiáng)身健體的氛圍。
此外如前文所述，廖付友還是深圳某脫口秀俱樂(lè)部的兼職演員，擅長(zhǎng)將科研生活改編成段子。平日里，他風(fēng)趣幽默的說(shuō)話方式給課題組的日常生活帶了一些樂(lè)趣。
對(duì)于未來(lái)的職業(yè)發(fā)展，廖付友表示，博后結(jié)束后將會(huì)加入上海華為技術(shù)有限公司，繼續(xù)從事半導(dǎo)體器件與工藝方面的研發(fā)工作，希望自己這些年的研究經(jīng)驗(yàn)可以繼續(xù)在工業(yè)界發(fā)光發(fā)熱。
