索尼近日宣布即將推出兩款A(yù)I圖像傳感器,型號(hào)為IMX500和IMX501,號(hào)稱(chēng)具備智能視覺(jué)的“全球首款A(yù)I圖像傳感器”。索尼方面表示,這兩款CMOS圖像傳感器首批目標(biāo)是零售商和工業(yè)客戶(hù),比如亞馬遜Go無(wú)人商店,其他應(yīng)用場(chǎng)景包括訪客統(tǒng)計(jì)、交通狀況和人流量熱圖繪制等,未來(lái)將把IMX500打造成一個(gè)簡(jiǎn)單的單應(yīng)用設(shè)備,即專(zhuān)門(mén)應(yīng)對(duì)復(fù)雜和多樣化任務(wù)的專(zhuān)用AI硬件,具備處理和分析更復(fù)雜任務(wù)的能力,而不僅局限于運(yùn)行基礎(chǔ)算法。
緊接著,索尼和微軟宣布他們將為共同的客戶(hù)開(kāi)發(fā)解決方案。據(jù)了解,索尼將在IMX500嵌入微軟的Azure AI,從而在智能相機(jī)和其他設(shè)備的圖像中提取有效信息。
推動(dòng)業(yè)務(wù)領(lǐng)域轉(zhuǎn)型,開(kāi)發(fā)全新業(yè)務(wù)領(lǐng)域
這是索尼在AI領(lǐng)域交上的第一份作業(yè)。去年11月,索尼宣布成立索尼AI,以推動(dòng)AI的基礎(chǔ)研究和開(kāi)發(fā),當(dāng)時(shí)索尼方面就曾表示將在影像和傳感解決方案上推動(dòng)所有現(xiàn)有業(yè)務(wù)領(lǐng)域的轉(zhuǎn)型,并開(kāi)發(fā)全新的業(yè)務(wù)領(lǐng)域。
索尼業(yè)務(wù)與創(chuàng)新副總裁Mark Hanson表示,這款A(yù)I圖像傳感器將不會(huì)應(yīng)用到手機(jī)設(shè)備中,目標(biāo)人群為零售商與工業(yè)用戶(hù)。目前,IMX500已經(jīng)出貨給索尼的合作伙伴,而MX501將會(huì)在6月份出貨。
業(yè)內(nèi)人士分析認(rèn)為,索尼是想通過(guò)這項(xiàng)技術(shù)擺脫對(duì)手機(jī)等消費(fèi)電子市場(chǎng)的依賴(lài),向具有更廣闊前景的產(chǎn)業(yè)互聯(lián)網(wǎng)進(jìn)軍。據(jù)悉,盡管市場(chǎng)的不確定性猶存,但索尼仍然計(jì)劃將其傳感解決方案業(yè)務(wù)占芯片業(yè)務(wù)的比重從4%提高到2026年的30%。
索尼在圖像傳感器領(lǐng)域長(zhǎng)期保持領(lǐng)先優(yōu)勢(shì),日本調(diào)研公司Techno Systems Research(TSR)2019年CMOS圖像傳感器市場(chǎng)報(bào)告顯示,索尼以49.1%的份額排名第一。索尼選擇與AI技術(shù)相結(jié)合,一是為繼續(xù)領(lǐng)跑圖像傳感器領(lǐng)域,二是為拓展自身業(yè)務(wù)版塊,同時(shí)提高其產(chǎn)品技術(shù)能力。
“索尼將AI技術(shù)集成于CMOS圖像傳感器的難度之一是需要利用3D堆疊技術(shù)(例如3D-IC TSV方案)實(shí)現(xiàn)邏輯電路芯片(包括計(jì)算和存儲(chǔ)功能)與像素陣列芯片(感光功能)的三維集成?!丙溎匪棺稍?xún)CEO王懿在接受《中國(guó)電子報(bào)》記者采訪時(shí)說(shuō)道。
3D堆疊技術(shù)核心包括晶圓級(jí)鍵合、層間互聯(lián)技術(shù)——硅通孔(TSV)等。索尼在2017年發(fā)布了CMOS圖像傳感器IMX400,它采用了業(yè)界先進(jìn)的三層堆疊結(jié)構(gòu)——像素芯片+DRAM(存儲(chǔ)芯片)+ISP(圖像處理芯片),意味著索尼在計(jì)算及存儲(chǔ)芯片集成于CMOS圖像傳感器上已經(jīng)具備一定實(shí)力。
圖像傳感器集成AI技術(shù)有何提升
圖像傳感器作為攝像頭模組的核心部件,伴隨電子產(chǎn)品對(duì)“視覺(jué)”功能的逐年遞增,而成為業(yè)界關(guān)注的焦點(diǎn)。那么圖像傳感器集成AI技術(shù)相比傳統(tǒng)傳感器有何提升?又有哪些技術(shù)難點(diǎn)?
王懿認(rèn)為,將AI技術(shù)集成于CMOS圖像傳感器,可以讓“傳統(tǒng)傳感器”升級(jí)為“智能傳感器”,同時(shí)“邊緣計(jì)算”也演變?yōu)椤皞鞲衅鞫擞?jì)算”,通過(guò)將數(shù)據(jù)處理過(guò)程“前置”至傳感器端,應(yīng)用開(kāi)發(fā)者能夠?qū)崿F(xiàn)更快的處理速度、更高的系統(tǒng)效率、更好的隱私保護(hù),并降低數(shù)據(jù)傳輸延遲、節(jié)省系統(tǒng)功耗、減少網(wǎng)絡(luò)帶寬需求,以及降低系統(tǒng)硬件的實(shí)現(xiàn)成本,從而從“傳感器端”實(shí)現(xiàn)智能硬件及物聯(lián)網(wǎng)的創(chuàng)“芯”和創(chuàng)新。
賽迪顧問(wèn)人工智能產(chǎn)業(yè)研究中心副總經(jīng)理鄒德寶認(rèn)為,該圖像傳感器由像素芯片和邏輯芯片組成的配置,能夠輸出元數(shù)據(jù)(圖像數(shù)據(jù)的語(yǔ)義信息),減少數(shù)據(jù)量并解決隱私問(wèn)題,并能提高精度,將成為邊緣AI領(lǐng)域的理想選擇。
賽迪智庫(kù)集成電路研究所研究員麻堯斌博士向記者指出,從電路設(shè)計(jì)來(lái)說(shuō),AI圖像傳感器配備了具有AI圖像分析和處理功能的邏輯芯片,電路實(shí)現(xiàn)功能的增加將使得邏輯層的設(shè)計(jì)復(fù)雜度提高。從生產(chǎn)工藝來(lái)說(shuō),索尼通過(guò)晶圓減薄、Cu-Cu連接和堆疊晶圓等技術(shù)(Wafer-on-Wafer,WoW)來(lái)構(gòu)建芯片,其中堆疊晶圓包含帶有光敏像素芯片的晶圓和DSP、ISP和內(nèi)存等電路的晶圓,工藝復(fù)雜度將顯著提升,同時(shí)具備DSP功能的邏輯層可能會(huì)采用更高的工藝制程。
索尼 CMOS圖像傳感器+微軟Azure AI碰撞火花
索尼方面表示,將在IMX500中嵌入微軟的Azure AI,從而在智能相機(jī)和其它設(shè)備的圖像中提取有效信息。同時(shí),開(kāi)發(fā)管理智能相機(jī)的APP,并采用Azure的IOT和感知服務(wù)完善IMX500傳感器,為企業(yè)級(jí)客戶(hù)擴(kuò)展視頻分析的范圍和能力。
“AI圖像傳感器使在高速AI處理下進(jìn)行實(shí)時(shí)對(duì)象跟蹤等應(yīng)用成為可能,同時(shí)根據(jù)用戶(hù)的要求可以選擇不同的AI模型對(duì)數(shù)據(jù)進(jìn)行提取?!甭閳虮笙蛴浾咧赋觯@些特點(diǎn)將讓AI圖像傳感器未來(lái)在工業(yè)、零售業(yè)和汽車(chē)等行業(yè)得到應(yīng)用,具體可用于倉(cāng)庫(kù)庫(kù)存檢測(cè)、人流監(jiān)控、駕駛行為監(jiān)控等應(yīng)用場(chǎng)景。