本發(fā)明屬于智能非接觸測控技術(shù)領(lǐng)域，涉及一種基于雙目立體視覺和點(diǎn)激光測距的物流貨物體積的非接觸測量方法。

背景技術(shù)：

計(jì)算機(jī)雙目立體視覺技術(shù)的原理是從不同視角兩臺攝像機(jī)分別獲取的兩幅圖像進(jìn)行特征成像點(diǎn)的精確匹配，進(jìn)而找到空間物體點(diǎn)在左右圖像上所對應(yīng)的準(zhǔn)確投影像素點(diǎn)，以便利用三角測量原理來計(jì)算得到空間物體上物體點(diǎn)的坐標(biāo)，這樣就能得到這個(gè)物體尺寸、姿態(tài)和空間位置信息。在測量方面，計(jì)算機(jī)視覺系統(tǒng)技術(shù)具有非接觸、精度高、速度快等優(yōu)點(diǎn)，能夠輕松地得到其測量結(jié)果，相比于使用游標(biāo)尺等傳統(tǒng)方式進(jìn)行測量在感知廣度和效率方面更加能滿足人們的需求，而且具有成本低廉、容易安裝調(diào)試，操作方便，能夠海量感知對象和處理信息，不受人為因素影響等優(yōu)點(diǎn)，且能在各種復(fù)雜環(huán)境條件下工作，甚至不需要人工操作，可以在遠(yuǎn)程條件下完成自動進(jìn)行，很好的克服傳統(tǒng)測量技術(shù)，以及機(jī)械測量臂、三坐標(biāo)測量機(jī)、電子經(jīng)緯儀、雷達(dá)測距儀等新式測量設(shè)備要求嚴(yán)格的作業(yè)流程，操作復(fù)雜，測量效率不高，價(jià)格昂貴、維修等困難和問題。

但在計(jì)算機(jī)利用雙目立體視覺技術(shù)的圖像匹配中一般用到的灰度窗口匹配方法在進(jìn)行視差不連續(xù)或細(xì)節(jié)不豐富的圖像匹配時(shí)存在較大的誤差；因要搜索整幅圖像，來進(jìn)行灰度相似性計(jì)算，所以計(jì)算量很大，處理速度很慢；因?yàn)閷z像機(jī)鏡頭畸變也比較敏感，很容易受到光照和噪聲的影響干擾，算法魯棒性比較差。而利用極線約束下的圖像匹配也存在當(dāng)圖像待匹配點(diǎn)與對應(yīng)的圖像極線上好幾個(gè)圖像點(diǎn)的灰度相關(guān)系數(shù)都很接近時(shí)，會發(fā)生匹配出的右圖像匹配點(diǎn)并不是真正的空間物體點(diǎn)形成的成像點(diǎn)，出現(xiàn)誤匹配；因光照和噪聲等原因?qū)е碌幕叶茸兓?，圖像中某條極線上的待匹配特征點(diǎn)在相關(guān)圖像中的對應(yīng)極線上找不到對應(yīng)的匹配點(diǎn)，因而形成漏匹配；當(dāng)圖像中某條極線上有好幾個(gè)待匹配點(diǎn)與相關(guān)圖像對應(yīng)極線上的同一個(gè)圖像點(diǎn)的灰度相關(guān)系數(shù)都很接近時(shí)，也會造成誤匹配情況。

而另一方面，當(dāng)前物流業(yè)在國內(nèi)快速發(fā)展，如何能夠快速準(zhǔn)確對物流貨物和包裹進(jìn)行非接觸測量已成為難點(diǎn)。物流貨物、快遞包裹種類多，變化大，大小不固定，事先可預(yù)測性小，而且量都非常大，人工難以應(yīng)付，常常造成物流業(yè)“大塞車”，針對物流快遞業(yè)的特點(diǎn)和存在的這些情況，本發(fā)明進(jìn)行了深入研究，設(shè)計(jì)了結(jié)合點(diǎn)激測距的規(guī)則貨物物體的非接觸測量方法，目標(biāo)代替人工進(jìn)行規(guī)則貨物和包裹的測量，提高物流企業(yè)的效率。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明針對以上問題的提出研制的一種基于計(jì)算機(jī)雙目立體視覺技術(shù)和點(diǎn)激光測距技術(shù)的物流貨物體積的非接觸測量方法。

本發(fā)明的技術(shù)方案如下：

一種基于計(jì)算機(jī)雙目立體視覺和點(diǎn)激光測距的物流貨物體積的非接觸測量方法，該非接觸測量方法由兩個(gè)型號相同的攝像機(jī)、一個(gè)由計(jì)算機(jī)控制的點(diǎn)激光測距器、一臺計(jì)算機(jī)組成測量控制系統(tǒng)；將相同型號的兩臺攝像機(jī)光軸互相平行與物流傳輸帶垂直、光心連線與物流傳輸帶平行設(shè)置，將點(diǎn)激光測距器的激光源點(diǎn)位置于兩攝像機(jī)光心連線中點(diǎn)位置，點(diǎn)激光方向與攝像機(jī)光軸平行配置。兩臺攝像機(jī)焦距為f，光心連線，也就是基線的距離為b。點(diǎn)激光源點(diǎn)距離物流傳輸帶的高度為h，點(diǎn)激光源測量的距離為d。以左攝像機(jī)光心作為原點(diǎn)，左攝像機(jī)主光軸為z軸，基線為x軸，y軸垂直于x軸和y軸，建立測量空間坐標(biāo)系，對貨物物體進(jìn)行測量。

其具體步驟為：

步驟一:使用相應(yīng)的方法對攝像機(jī)進(jìn)行標(biāo)定，得到攝像機(jī)的內(nèi)外部參數(shù)和圖像極線校正變換矩陣，如張正友平板標(biāo)定法、兩步定標(biāo)法等攝像機(jī)標(biāo)定方法。

步驟二：在物流貨物測量區(qū)采集建立背景圖像，如傳輸帶上沒有貨物物體時(shí)，使用左右攝像機(jī)采集建立背景圖像。

步驟三：點(diǎn)激光測距器自動對傳輸帶上物流進(jìn)行檢測。如果有貨物時(shí)，則系統(tǒng)自動控制左右攝像機(jī)拍攝貨物的圖像，并記錄相關(guān)數(shù)據(jù)。

步驟四：對左右攝像機(jī)拍攝的圖像進(jìn)行圖像預(yù)處理，如進(jìn)行灰度處理、數(shù)字剪影、閥值分割、去噪處理，以便利于后面步驟中對圖像中特征點(diǎn)的提取。

步驟五:在預(yù)處理后的左右圖像中搜索提取圖像特征點(diǎn)和貨物物體各頂點(diǎn)；

步驟六:進(jìn)行左右圖像匹配計(jì)算，得到準(zhǔn)確的圖像匹配點(diǎn)對；

步驟七:利用三維還原技術(shù)進(jìn)行貨物物體上表面各頂點(diǎn)的空間坐標(biāo)三維還原，利用還原出的各頂點(diǎn)的空間坐標(biāo)，對貨物物體進(jìn)行外形尺寸和體積計(jì)算。

由于采用了上述技術(shù)方案，本發(fā)明提供的非接觸測量的方法，引入點(diǎn)激光測距輔助手段，利用點(diǎn)激光測距器得到的貨物物體測量點(diǎn)位上的深度、距離初始點(diǎn)的距離與圖像上點(diǎn)坐標(biāo)之間的對應(yīng)關(guān)系，建立起了左右攝像機(jī)所拍攝圖像的幾何投影關(guān)聯(lián)關(guān)系，并定位和設(shè)立左右圖像中對應(yīng)特征點(diǎn)的幾何投影相關(guān)性區(qū)域，在設(shè)立的對應(yīng)特征點(diǎn)的幾何投影相關(guān)區(qū)域中來進(jìn)行左右圖像特征點(diǎn)的圖像立體匹配，同時(shí)只需要對左圖像進(jìn)行全幅特征點(diǎn)提取，大大縮小圖像匹配搜索的范圍，降低運(yùn)算量，克服了局部窗口的圖像匹配中要對兩幅圖像所有點(diǎn)進(jìn)行搜索匹配計(jì)算和基于極線約束的圖像匹配中必須對對應(yīng)極線上的點(diǎn)逐個(gè)查找造成的運(yùn)算量大、效率不高和存在多點(diǎn)匹配的問題。而對于因特征點(diǎn)的提取存在的誤差、貨物物體本身表面或棱線不平整和圖像受到光照、噪聲點(diǎn)的影響等因素造成的待匹配點(diǎn)在右圖像上找不到匹配點(diǎn)的情況，則定義幾何投影相關(guān)點(diǎn)作為匹配點(diǎn)，解決了匹配漏點(diǎn)而不能計(jì)算還原空間物體點(diǎn)的問題，從而在利用雙目立體視覺的系統(tǒng)特性對空間物體點(diǎn)的坐標(biāo)位置進(jìn)行還原時(shí)，解決了其存在的空間點(diǎn)還原問題解唯一性的問題，避免了其圖像匹配過程中的誤匹配和漏匹配的問題，大大提高了圖像立體匹配的有效性和精確性，從而提高了雙目立體視覺系統(tǒng)的測量中的精度和速度。該方法測量的高效性在一定程度上能夠滿足物流業(yè)對貨物和包裹在線測量的實(shí)時(shí)性要求，可以部分代替人工工作。

附圖說明

為了更清楚的說明本發(fā)明的實(shí)施例或現(xiàn)有技術(shù)的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖做一簡單地介紹。

圖1為基于雙目立體視覺和點(diǎn)激光測距的物流貨物非接觸測量模型圖

圖2為基于雙目立體視覺和點(diǎn)激光測距的物流貨物非接觸測量原理圖

圖3為基于雙目立體視覺和點(diǎn)激光測距的左右匹配圖像相關(guān)原理圖

圖4為非接觸測量物流貨物物體測量執(zhí)行流程圖

具體實(shí)施方式

為使本發(fā)明的實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚完整的描述：

利用雙目立體視覺系統(tǒng)和點(diǎn)激光測距進(jìn)行物流貨物物體三維測量算法執(zhí)行過程如下：

步驟一:使用相應(yīng)的方法，如張正友平板標(biāo)定法、Tsai兩步標(biāo)定法等攝像機(jī)標(biāo)定方法，對攝像機(jī)進(jìn)行標(biāo)定，得到攝像機(jī)的內(nèi)外部參數(shù)和圖像極線校正變換矩陣。

未測量前通過進(jìn)行攝像機(jī)標(biāo)定來得到攝像機(jī)的內(nèi)外部參數(shù)，同時(shí)計(jì)算求解出左右攝像機(jī)圖像極線校正用的變換矩陣并保存于一個(gè)表中，測量時(shí)攝像機(jī)參數(shù)不變，相對位置也不改變，采集的圖像對之間的極線幾何關(guān)系也不會變，也就不需要重復(fù)計(jì)算變換矩陣，所以可以在正式開始測量時(shí)快速進(jìn)行圖像校正。

步驟二：在物流貨物測量區(qū)采集建立背景圖像，如物流傳輸帶上沒有貨物物體時(shí)，使用左右攝像機(jī)采集建立背景圖像。

采集建立背景圖像，在步驟四對貨物圖像進(jìn)行預(yù)處理時(shí)，將其作為參照背景幀，與貨物進(jìn)行差分處理，以從整幅圖像中提取和分離出貨物圖像。

步驟三：點(diǎn)激光測距器自動對傳輸帶上的物流進(jìn)行檢測。如果有貨物時(shí)，則系統(tǒng)自動控制左右攝像機(jī)拍攝貨物的圖像，并記錄相關(guān)數(shù)據(jù)。

具體過程如下：放置貨物的物流傳輸帶在電機(jī)控制下以速度α從右向左運(yùn)動，物體放置在物流傳輸帶時(shí)會被軌道帶動也從右向左移動。

在物流傳輸帶帶動貨物向左移動時(shí)，在系統(tǒng)控制下點(diǎn)激光測距器連續(xù)工作，對物流傳輸帶上的狀態(tài)進(jìn)行檢測，當(dāng)貨物和包裹一到達(dá)點(diǎn)激光測量點(diǎn)位時(shí)，點(diǎn)激光測距器測量數(shù)據(jù)發(fā)生跳變，得到d＜h，就可以知道點(diǎn)激光正打到了貨物物體上，設(shè)此時(shí)點(diǎn)為初始點(diǎn)D，此時(shí)觸發(fā)系統(tǒng)控制左右兩攝像機(jī)拍攝圖像。

在貨物移動過程中利用點(diǎn)激光測距器對貨物物體連續(xù)進(jìn)行測距，同時(shí)實(shí)時(shí)記錄：點(diǎn)激光源與光點(diǎn)所在的貨物物體上的位置的距離值d，及計(jì)算得到的當(dāng)前激光點(diǎn)與測量初始點(diǎn)D之間的距離l(l＝α×t，α為物流傳輸帶的速度，t為運(yùn)行時(shí)間)，以及根據(jù)當(dāng)前激光點(diǎn)所在貨物上的位置計(jì)算得到的其在攝像機(jī)所拍攝圖像上的虛擬成像點(diǎn)的縱坐標(biāo)y。

當(dāng)點(diǎn)激光測距器當(dāng)前測到d＝h的時(shí)候，就是貨物物體離開測量區(qū)域的時(shí)候，一次測量結(jié)束。

其中,當(dāng)前激光測量點(diǎn)的虛擬成像點(diǎn)的縱坐標(biāo)y計(jì)算方式如下：

而從模型運(yùn)行特點(diǎn)知道只要貨物物體邊緣任一點(diǎn)被點(diǎn)激光測到時(shí)，系統(tǒng)就會控制攝像機(jī)拍攝當(dāng)前物體，因?yàn)辄c(diǎn)激光和兩臺攝像機(jī)都是垂直設(shè)置且點(diǎn)激光處在和兩臺攝像機(jī)的光心連線上，所以當(dāng)攝像機(jī)拍攝圖像時(shí)，點(diǎn)激光測量起點(diǎn)D點(diǎn)位置必然處于圖像坐標(biāo)系下的x軸上。

而貨物物體在向前運(yùn)動時(shí)，點(diǎn)激光當(dāng)前的測量點(diǎn)M的成像點(diǎn)M'始終處于圖像坐標(biāo)系的x軸上，貨物物體上的測量初始點(diǎn)D點(diǎn)的當(dāng)前成像點(diǎn)D'的坐標(biāo)跟著貨物物體運(yùn)動方向運(yùn)動，D'M'是連續(xù)變化的。而這個(gè)過程可以看成D點(diǎn)的當(dāng)前成像點(diǎn)D'始終處在圖像坐標(biāo)系的x軸上，而點(diǎn)激光當(dāng)前的測量點(diǎn)M有個(gè)的虛擬成像點(diǎn)(假設(shè)為M″)在攝像機(jī)拍攝的圖像上與物體運(yùn)動相反的方向上做速率相同的連續(xù)運(yùn)動。而D'M'的長度實(shí)際上等于點(diǎn)M在圖像上的虛擬成像點(diǎn)M″距離x坐標(biāo)軸的長度，也就是M點(diǎn)的虛擬成像點(diǎn)M″的y坐標(biāo)值。又因貨物在水平傳輸臺上移動過程中，其上的所有物點(diǎn)的z坐標(biāo)方向上的坐標(biāo)值是近似不變的，所以，點(diǎn)激光對貨物的測距過程可以映射成光點(diǎn)在貨物測量起點(diǎn)拍攝的左右兩幅圖像上的移動過程。

如圖2所示，設(shè)點(diǎn)激光當(dāng)前測量點(diǎn)為M(x,y)，DM＝l，CM'＝f，CM＝d，從圖中三角形CD'M'和CDM的相似關(guān)系，可以得到D'M'＝fl/d。所以而M點(diǎn)在距離D點(diǎn)為l的時(shí)候，其對應(yīng)的虛擬成像點(diǎn)M″的y坐標(biāo)值就為y＝fl/d。

步驟四:對左右攝像機(jī)拍攝的圖像進(jìn)行圖像預(yù)處理，如進(jìn)行灰度處理、數(shù)字剪影、閥值分割、去噪處理，以便利于后面步驟中對圖像中特征點(diǎn)的提取。

①對這左右攝像機(jī)拍攝的兩幅圖像進(jìn)行灰度均衡預(yù)處理得到灰度直方圖。

②利用預(yù)存的背景圖像對含有貨物的兩幅圖像進(jìn)行數(shù)字剪影和閾值分割處理，得到只留下貨物物體圖像的二值化圖像；

③對二值化圖像作去噪聲處理，將干擾點(diǎn)排除后得到干凈的二值化圖像。

步驟五:在預(yù)處理后的左右圖像中搜索提取圖像特征點(diǎn)和貨物物體各頂點(diǎn)。

①利用步驟一中求取的圖像極限校正變換矩陣，對預(yù)處理后的左右圖像進(jìn)行極線校正處理；

②利用特征提取算法，如Harris、SIFT等特征提取算法，對預(yù)處理后的左圖像進(jìn)行特征提取，得到貨物物體特征點(diǎn)集合；

③從特征點(diǎn)集合數(shù)組中搜索和找出計(jì)算體積需要的貨物物體上表面的各個(gè)頂點(diǎn)作為待匹配點(diǎn)；

步驟六:進(jìn)行左右圖像匹配計(jì)算，得到準(zhǔn)確的圖像匹配點(diǎn)對。

①首先，建立左右圖像特征點(diǎn)幾何投影關(guān)聯(lián)關(guān)系；

如圖3，假設(shè)貨物上有一當(dāng)前激光測量點(diǎn)M，過點(diǎn)M的平行于基線的線上有一物點(diǎn)P，根據(jù)平行式雙目立體視覺系統(tǒng)中空間物體上點(diǎn)與兩臺攝像機(jī)成像平面幾何關(guān)系分析，可知當(dāng)前激光測量點(diǎn)M所在的平行于基線的線上的所有點(diǎn)相對于基線的距離值是相同的，也就是其在z坐標(biāo)方向上的深度d都是相同的。而前激光測量點(diǎn)M的深度d也就是點(diǎn)激光源點(diǎn)測到點(diǎn)M在貨物物體上位置點(diǎn)的距離值，所以，當(dāng)通過點(diǎn)激光測距器得到點(diǎn)M的深度d時(shí)，也就是知道了物點(diǎn)P的深度值是d。從而可計(jì)算出物點(diǎn)P在左右攝像機(jī)成像面上的對應(yīng)成像點(diǎn)在x方向上的視差s的值bf/d，根據(jù)左圖像上的待匹配點(diǎn)的坐標(biāo)(x_l,y_l)，便能立刻定位出右圖像上的與之對應(yīng)的匹配點(diǎn)的位置，坐標(biāo)為(x_l-s,y_l)，設(shè)定其為幾何投影相關(guān)點(diǎn)。這樣就能建立起左右圖像上的匹配點(diǎn)對的幾何投影坐標(biāo)關(guān)聯(lián)關(guān)系，完成左右圖像上匹配點(diǎn)對的初步定位匹配。

②其次，定位右圖像中的幾何投影相關(guān)區(qū)域；

因極線約束和特征點(diǎn)的提取存在的誤差、貨物物體本身表面或棱線不平整和圖像受到光照、噪聲點(diǎn)的影響等因素，右圖像上的幾何投影相關(guān)點(diǎn)位置上的點(diǎn)不一定是真實(shí)的匹配點(diǎn)，所以需要在右圖像上以幾何投影相關(guān)點(diǎn)之位置處，并以幾何投影相關(guān)點(diǎn)為中心取一個(gè)小的區(qū)域，定義為左圖像中待匹配點(diǎn)的幾何投影相關(guān)區(qū)域，將該區(qū)域中的特征點(diǎn)與左圖像上待匹配點(diǎn)進(jìn)行相似度計(jì)算，從而找到待匹配點(diǎn)的真實(shí)匹配點(diǎn)。幾何投影相關(guān)區(qū)域一般取25×25像素左右即可。

③最后，進(jìn)行左右圖像相似性匹配計(jì)算，得到真實(shí)匹配點(diǎn)。

利用ZNCC或ZSSD等相似度計(jì)算算法，對左圖像上的待匹配點(diǎn)，在以與其對應(yīng)的右圖像上的匹配點(diǎn)為中心的幾何投影相關(guān)區(qū)域內(nèi)的特征點(diǎn)進(jìn)行灰度相似性匹配計(jì)算，找到相似度最大的某個(gè)灰度窗口，其坐標(biāo)位置就是左圖像待匹配點(diǎn)對應(yīng)的右圖像匹配點(diǎn)的精確位置坐標(biāo)，從而得到了待匹配點(diǎn)的實(shí)際匹配點(diǎn)。而當(dāng)精確相似度計(jì)算后，沒有找到匹配點(diǎn)時(shí)，就強(qiáng)制將左圖像在右圖像上的幾何投影相關(guān)點(diǎn)作為匹配點(diǎn)。

步驟七:利用三維還原技術(shù)進(jìn)行貨物物體上表面的各頂點(diǎn)的空間坐標(biāo)三維還原，利用還原出的各頂點(diǎn)點(diǎn)的三維坐標(biāo)，對貨物物體進(jìn)行外形尺寸和體積計(jì)算。

當(dāng)?shù)玫截浳镂矬w上表面各頂點(diǎn)(如圖1中的貨物上表面各角頂點(diǎn)A,B,C,D)的在左右攝像機(jī)成像平面上的精確匹配成像點(diǎn)時(shí)，利用雙目立體視覺技術(shù)基于的三角測量原理(也稱為立體視差原理)，就可以計(jì)算出這些點(diǎn)的準(zhǔn)確三維空間坐標(biāo)，繼而就能計(jì)算貨物的尺寸等信息。