機器視覺是人工智能正在快速發(fā)展的一個分支。簡單說來,機器視覺就是用機器代替人眼來做測量和判斷。但由于機器視覺是一門交叉學科,涉及數(shù)字圖像處理技術、模式識別、自動控制、照明、人機界面等多個領域。因此,很難給機器視覺下一個準確的定義。
制造工程學會(SME)和機器人工業(yè)協(xié)會(RIA)將機器視覺定義為:機器視覺利用光學和非接觸式傳感器自動獲取和解釋真實物體的圖像,以獲取有用的信息來控制機器的運動或過程控制。
在機器視覺系統(tǒng)中,其基本工作流程為:首先照明光源發(fā)出的光照射在被測物體上;然后再通過鏡頭成像后由相機捕獲;隨后,由圖像采集卡收集并經(jīng)計算機處理;最后,以預先設計的圖像形式顯示在計算機屏幕上,如圖1所示。在這其中,機器視覺成像系統(tǒng)的成像質(zhì)量決定了整體機器視覺系統(tǒng)的檢測精度,發(fā)揮著極為重要的作用。
圖1 機器視覺系統(tǒng)工作流程示意圖
機器視覺成像的一個重要特點是從圖像中獲取目標的信息,傳統(tǒng)視覺成像主要依賴于2D視覺技術:根據(jù)灰度或彩色圖像中的像素灰度特征獲取目標中物體的紋理、形狀、位置、尺寸和方向等信息。但隨著當前“智能制造”技術對機器視覺性能的要求逐漸增高,2D視覺技術的局限性愈發(fā)明顯,迫切需要3D視覺成像技術的發(fā)展及應用。
目前,3D視覺成像技術主要依賴于飛行時間法(TOF)、結(jié)構光法、立體視覺法、三角測量法和調(diào)頻連續(xù)波(FMCW)法等實現(xiàn)對目標3D信息的感知和收集。
一、TOF法
TOF法的基本工作原理為利用光飛行的時間差來獲取物體的深度:探測系統(tǒng)與光源同時啟動,發(fā)射的光脈沖經(jīng)目標物體后反射回探測中并由探測系統(tǒng)直接存儲往返時間,最后根據(jù)時間和光速的關系求得與目標物體之間的距離。
這種測試方法也稱為直接TOF法(D-TOF),通常適用于單點測距系統(tǒng),與掃描技術相結(jié)合便可實現(xiàn)3D視覺成像。
圖2 PMD公司的工業(yè)TOF相機以及基于TOF法的自動導引叉車示意圖
TOF成像可用于大視野、遠距離、低精度、低成本的3D圖像采集。其特點是:檢測速度快、視野范圍較大、工作距離遠、價格便宜,但精度低,易受環(huán)境光的干擾。
二、結(jié)構光法
結(jié)構光投影3D成像目前是機器人3D視覺感知的主要方式,結(jié)構光成像系統(tǒng)是由若干個投影儀和相機組成,如圖3所示,常用的結(jié)構形式有:單投影儀單相機、單投影儀-雙相機、單投影儀多相機、單相機-雙投影儀和單相機多投影儀等典型結(jié)構形式。
圖3 基于紅外結(jié)構光的深度相機:Astra Stereo S U3
結(jié)構光投影3D成像的基本工作原理是:利用計算機生成結(jié)構光圖案或用特殊的光學裝置產(chǎn)生結(jié)構光,經(jīng)過光學投影系統(tǒng)投射至被測物體表面,然后采用圖像獲取設備(如CCD或CMOS相機)采集被物體表面調(diào)制后發(fā)生變形的結(jié)構光圖像,利用圖像處理算法計算圖像中每個像素點與物體輪廓上點的對應關系;最后通過系統(tǒng)結(jié)構模型及其標定技術,計算得到被測物體的三維輪廓信息,如圖4所示。根據(jù)結(jié)構光投影次數(shù)劃分,結(jié)構光投影3D成像可以分成單次投影3D成像和多次投影3D成像方法。
圖4 結(jié)構光投影3D成像的基本工作原理圖
其中,單次投影3D成像方法曝光和測量時間短,抗振動性能好,適合機器人實時運動引導和手眼機器人等需要對運動物體進行3D成像的應用。但該方法景深較低,無法在大視場情況下獲得較高的垂直空間分辨率。
而多次投影3D成像方法恰能實現(xiàn)較高的空間分辨率,能有效解決目標表面斜率階躍變化的問題,但也具有相應的不足之處:抗振動性能較差,無法準確的測量連續(xù)運動的物體;測量精度對投影儀、相機的環(huán)境變化敏感;實時性相對較差。
三、立體視覺法
立體視覺字面意思是用一只眼睛或兩只眼睛感知三維結(jié)構,一般情況下是指從不同的視點獲取兩幅或多幅圖像重構目標物體3D結(jié)構或深度信息。目前立體視覺3D成像方法可以分為單目視覺、雙目視覺、多(目)視覺和光場3D成像等,其中最為典型的便是雙目立體視覺3D成像。
圖5 Intel實感深度攝像頭D455示意圖及內(nèi)部結(jié)構圖
雙目立體視覺方法是利用兩個相機從兩個不同的視點對同一個目標物體獲得兩個視點圖像,然后計算兩個視點圖像的視差以此獲得目標物體的3D深度信息,如圖6所示,該計算過程一般分為以下四個步驟:圖像畸變矯正、立體圖像校對、圖像配準和三角法重投影視差圖計算。
圖6 雙目立體視覺工作原理示意圖
這種雙目立體視覺3D成像的方法是被動視覺成像的一種,比較依賴于機接收到的由目標場景產(chǎn)生的光輻射信息,已成功應特定條件下的3D測量場景,但場景應用有限,對場景要求較高,比如:目標場景光輻射動態(tài)范圍較小且無遮擋、目標物體表面光滑或紋理清晰、幾何規(guī)則明顯等。
四、三角測量法
激光三角測量法已經(jīng)存在了數(shù)十年,且目前仍然被廣泛使用,其主要作用是測量目標物體上單個點的準確深度。
其工作原理是利用激光光源、目標物體和相機定義一個空間三角形,并通過確定三者之間的相交角度來計算目標物體單個點的3D坐標信息,如圖7所示。在此基礎上,將其與線掃描技術和面掃描技術相結(jié)合便可實現(xiàn)2D和3D的測量。
圖7 三角測量法工作原理示意圖
三角測量法具有非常高的分辨率和測量精度,其分辨率可擴展到毫米及微米級別,但在實際應用中受相機和激光光源橫向距離的限制,并且測量時間較長,僅適用于較短的距離的測量。
五、FMCW法
FMCW法也稱為相干3D成像法,是通過一系列連續(xù)調(diào)制(如正弦調(diào)制、平方幅度調(diào)制等)的出射激光或LED發(fā)射探測光,經(jīng)目標物體反射后,根據(jù)發(fā)射和接收信號之間的調(diào)制幅度的相移來獲得物體距離等信息。
相比于TOF法,F(xiàn)MCW法不依賴于光脈沖的飛行之間和發(fā)射光的幅度和功率,而是依賴于窄線寬激光器與相干接收器耦合產(chǎn)生的低功率頻率啁啾,具有更高的靈敏度、精度和準確度,并且具有較為優(yōu)異的抗干擾性,但由于確定相移需要更長的測量和積分時間,且由于相移重復回產(chǎn)生距離歧義的問題,因此該方法僅適用于短距離的測量。
圖8 SiLC Technologies的“4D + Vision Chip”FMCW激光雷達傳感器示意圖
總結(jié)
隨著對機器視覺系統(tǒng)的研究和探索,它已經(jīng)在制造業(yè)生產(chǎn)、日常生活、以及醫(yī)療健康等方面扮演者越來越重要的角色,極大地提高了現(xiàn)有的生產(chǎn)力和自動化水平,必將是我國智能制造中亟需發(fā)展和研究的項目。
但該系統(tǒng)較為復雜,涉及多個學科的交叉,比如光學成像、圖像處理、自動化、控制等。因此必將出現(xiàn)大量的學科交叉問題及瓶頸,而如何在其中探索出高準確性、實時性和強魯棒性等性能的復合方案將是研究者和應用企業(yè)追尋及探索的方向。