機(jī)器視覺是人工智能正在快速發(fā)展的一個分支。簡單說來,機(jī)器視覺就是用機(jī)器代替人眼來做測量和判斷。但由于機(jī)器視覺是一門交叉學(xué)科,涉及數(shù)字圖像處理技術(shù)、模式識別、自動控制、照明、人機(jī)界面等多個領(lǐng)域。因此,很難給機(jī)器視覺下一個準(zhǔn)確的定義。
制造工程學(xué)會(SME)和機(jī)器人工業(yè)協(xié)會(RIA)將機(jī)器視覺定義為:機(jī)器視覺利用光學(xué)和非接觸式傳感器自動獲取和解釋真實(shí)物體的圖像,以獲取有用的信息來控制機(jī)器的運(yùn)動或過程控制。
在機(jī)器視覺系統(tǒng)中,其基本工作流程為:首先照明光源發(fā)出的光照射在被測物體上;然后再通過鏡頭成像后由相機(jī)捕獲;隨后,由圖像采集卡收集并經(jīng)計(jì)算機(jī)處理;最后,以預(yù)先設(shè)計(jì)的圖像形式顯示在計(jì)算機(jī)屏幕上,如圖1所示。在這其中,機(jī)器視覺成像系統(tǒng)的成像質(zhì)量決定了整體機(jī)器視覺系統(tǒng)的檢測精度,發(fā)揮著極為重要的作用。
圖1 機(jī)器視覺系統(tǒng)工作流程示意圖
機(jī)器視覺成像的一個重要特點(diǎn)是從圖像中獲取目標(biāo)的信息,傳統(tǒng)視覺成像主要依賴于2D視覺技術(shù):根據(jù)灰度或彩色圖像中的像素灰度特征獲取目標(biāo)中物體的紋理、形狀、位置、尺寸和方向等信息。但隨著當(dāng)前“智能制造”技術(shù)對機(jī)器視覺性能的要求逐漸增高,2D視覺技術(shù)的局限性愈發(fā)明顯,迫切需要3D視覺成像技術(shù)的發(fā)展及應(yīng)用。
目前,3D視覺成像技術(shù)主要依賴于飛行時間法(TOF)、結(jié)構(gòu)光法、立體視覺法、三角測量法和調(diào)頻連續(xù)波(FMCW)法等實(shí)現(xiàn)對目標(biāo)3D信息的感知和收集。
一、TOF法
TOF法的基本工作原理為利用光飛行的時間差來獲取物體的深度:探測系統(tǒng)與光源同時啟動,發(fā)射的光脈沖經(jīng)目標(biāo)物體后反射回探測中并由探測系統(tǒng)直接存儲往返時間,最后根據(jù)時間和光速的關(guān)系求得與目標(biāo)物體之間的距離。
這種測試方法也稱為直接TOF法(D-TOF),通常適用于單點(diǎn)測距系統(tǒng),與掃描技術(shù)相結(jié)合便可實(shí)現(xiàn)3D視覺成像。
圖2 PMD公司的工業(yè)TOF相機(jī)以及基于TOF法的自動導(dǎo)引叉車示意圖
TOF成像可用于大視野、遠(yuǎn)距離、低精度、低成本的3D圖像采集。其特點(diǎn)是:檢測速度快、視野范圍較大、工作距離遠(yuǎn)、價(jià)格便宜,但精度低,易受環(huán)境光的干擾。
二、結(jié)構(gòu)光法
結(jié)構(gòu)光投影3D成像目前是機(jī)器人3D視覺感知的主要方式,結(jié)構(gòu)光成像系統(tǒng)是由若干個投影儀和相機(jī)組成,如圖3所示,常用的結(jié)構(gòu)形式有:單投影儀單相機(jī)、單投影儀-雙相機(jī)、單投影儀多相機(jī)、單相機(jī)-雙投影儀和單相機(jī)多投影儀等典型結(jié)構(gòu)形式。
圖3 基于紅外結(jié)構(gòu)光的深度相機(jī):Astra Stereo S U3
結(jié)構(gòu)光投影3D成像的基本工作原理是:利用計(jì)算機(jī)生成結(jié)構(gòu)光圖案或用特殊的光學(xué)裝置產(chǎn)生結(jié)構(gòu)光,經(jīng)過光學(xué)投影系統(tǒng)投射至被測物體表面,然后采用圖像獲取設(shè)備(如CCD或CMOS相機(jī))采集被物體表面調(diào)制后發(fā)生變形的結(jié)構(gòu)光圖像,利用圖像處理算法計(jì)算圖像中每個像素點(diǎn)與物體輪廓上點(diǎn)的對應(yīng)關(guān)系;最后通過系統(tǒng)結(jié)構(gòu)模型及其標(biāo)定技術(shù),計(jì)算得到被測物體的三維輪廓信息,如圖4所示。根據(jù)結(jié)構(gòu)光投影次數(shù)劃分,結(jié)構(gòu)光投影3D成像可以分成單次投影3D成像和多次投影3D成像方法。
圖4 結(jié)構(gòu)光投影3D成像的基本工作原理圖
其中,單次投影3D成像方法曝光和測量時間短,抗振動性能好,適合機(jī)器人實(shí)時運(yùn)動引導(dǎo)和手眼機(jī)器人等需要對運(yùn)動物體進(jìn)行3D成像的應(yīng)用。但該方法景深較低,無法在大視場情況下獲得較高的垂直空間分辨率。
而多次投影3D成像方法恰能實(shí)現(xiàn)較高的空間分辨率,能有效解決目標(biāo)表面斜率階躍變化的問題,但也具有相應(yīng)的不足之處:抗振動性能較差,無法準(zhǔn)確的測量連續(xù)運(yùn)動的物體;測量精度對投影儀、相機(jī)的環(huán)境變化敏感;實(shí)時性相對較差。
三、立體視覺法
立體視覺字面意思是用一只眼睛或兩只眼睛感知三維結(jié)構(gòu),一般情況下是指從不同的視點(diǎn)獲取兩幅或多幅圖像重構(gòu)目標(biāo)物體3D結(jié)構(gòu)或深度信息。目前立體視覺3D成像方法可以分為單目視覺、雙目視覺、多(目)視覺和光場3D成像等,其中最為典型的便是雙目立體視覺3D成像。
圖5 Intel實(shí)感深度攝像頭D455示意圖及內(nèi)部結(jié)構(gòu)圖
雙目立體視覺方法是利用兩個相機(jī)從兩個不同的視點(diǎn)對同一個目標(biāo)物體獲得兩個視點(diǎn)圖像,然后計(jì)算兩個視點(diǎn)圖像的視差以此獲得目標(biāo)物體的3D深度信息,如圖6所示,該計(jì)算過程一般分為以下四個步驟:圖像畸變矯正、立體圖像校對、圖像配準(zhǔn)和三角法重投影視差圖計(jì)算。
圖6 雙目立體視覺工作原理示意圖
這種雙目立體視覺3D成像的方法是被動視覺成像的一種,比較依賴于機(jī)接收到的由目標(biāo)場景產(chǎn)生的光輻射信息,已成功應(yīng)特定條件下的3D測量場景,但場景應(yīng)用有限,對場景要求較高,比如:目標(biāo)場景光輻射動態(tài)范圍較小且無遮擋、目標(biāo)物體表面光滑或紋理清晰、幾何規(guī)則明顯等。
四、三角測量法
激光三角測量法已經(jīng)存在了數(shù)十年,且目前仍然被廣泛使用,其主要作用是測量目標(biāo)物體上單個點(diǎn)的準(zhǔn)確深度。
其工作原理是利用激光光源、目標(biāo)物體和相機(jī)定義一個空間三角形,并通過確定三者之間的相交角度來計(jì)算目標(biāo)物體單個點(diǎn)的3D坐標(biāo)信息,如圖7所示。在此基礎(chǔ)上,將其與線掃描技術(shù)和面掃描技術(shù)相結(jié)合便可實(shí)現(xiàn)2D和3D的測量。
圖7 三角測量法工作原理示意圖
三角測量法具有非常高的分辨率和測量精度,其分辨率可擴(kuò)展到毫米及微米級別,但在實(shí)際應(yīng)用中受相機(jī)和激光光源橫向距離的限制,并且測量時間較長,僅適用于較短的距離的測量。
五、FMCW法
FMCW法也稱為相干3D成像法,是通過一系列連續(xù)調(diào)制(如正弦調(diào)制、平方幅度調(diào)制等)的出射激光或LED發(fā)射探測光,經(jīng)目標(biāo)物體反射后,根據(jù)發(fā)射和接收信號之間的調(diào)制幅度的相移來獲得物體距離等信息。
相比于TOF法,F(xiàn)MCW法不依賴于光脈沖的飛行之間和發(fā)射光的幅度和功率,而是依賴于窄線寬激光器與相干接收器耦合產(chǎn)生的低功率頻率啁啾,具有更高的靈敏度、精度和準(zhǔn)確度,并且具有較為優(yōu)異的抗干擾性,但由于確定相移需要更長的測量和積分時間,且由于相移重復(fù)回產(chǎn)生距離歧義的問題,因此該方法僅適用于短距離的測量。
圖8 SiLC Technologies的“4D + Vision Chip”FMCW激光雷達(dá)傳感器示意圖
總結(jié)
隨著對機(jī)器視覺系統(tǒng)的研究和探索,它已經(jīng)在制造業(yè)生產(chǎn)、日常生活、以及醫(yī)療健康等方面扮演者越來越重要的角色,極大地提高了現(xiàn)有的生產(chǎn)力和自動化水平,必將是我國智能制造中亟需發(fā)展和研究的項(xiàng)目。
但該系統(tǒng)較為復(fù)雜,涉及多個學(xué)科的交叉,比如光學(xué)成像、圖像處理、自動化、控制等。因此必將出現(xiàn)大量的學(xué)科交叉問題及瓶頸,而如何在其中探索出高準(zhǔn)確性、實(shí)時性和強(qiáng)魯棒性等性能的復(fù)合方案將是研究者和應(yīng)用企業(yè)追尋及探索的方向。