專利名稱：大型料場料堆視覺測量方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種非接觸測量方法，具體是一種大型料場料堆視覺測量方法。
背景技術(shù)：
至今為止，鋼鐵、化工、電廠等企業(yè)所擁有的大型原料場的堆取料操作與進(jìn)出料規(guī) 劃，基本上還是依靠以人工操作為主的管理與施工模式，因此極大程度地影響了這些企業(yè) 的整體自動化和信息化技術(shù)水平的提升。由于此類料場中所堆放的原料均為散裝物質(zhì)，如鐵礦沙、焦炭、石灰等，在生產(chǎn)過 程中，其體積量始終處于一種動態(tài)變化狀態(tài)，一般情況下，企業(yè)對這些原料的庫存量丈量及 其動態(tài)管理均依靠人工測量的方法進(jìn)行，效率低下，每隔一定時間還要停機進(jìn)行人工測量 影響企業(yè)生產(chǎn)的連續(xù)性。因此，要實現(xiàn)料場的自動化管理勢必首先實現(xiàn)料場的數(shù)字化技術(shù)， 而料場數(shù)字化技術(shù)的關(guān)鍵點又在于如何實現(xiàn)料場體積的自動丈量和動態(tài)觀測。在現(xiàn)有技術(shù) 中已經(jīng)開始采用激光測距技術(shù)實現(xiàn)對料場體積的自動丈量和動態(tài)觀測，由于激光技術(shù)在該 領(lǐng)域的應(yīng)用存在裝置復(fù)雜、對工作環(huán)境要求苛刻、價格高昂等條件限制，使得該技術(shù)的推廣 有著很大的局限性?；跈C器視覺的測量技術(shù)是當(dāng)前的一種新興技術(shù)，但是由于其技術(shù)尚 不完善，加之在料場數(shù)字化系統(tǒng)中的應(yīng)用尚無先例，因此沒有現(xiàn)成的成熟技術(shù)可以借鑒。經(jīng)對現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，中國發(fā)明專利號200510026200. 5公開了一種料 場測量的計算機視覺系統(tǒng)自動測量的方法，該發(fā)明對選定的原料料堆設(shè)計CCD攝像機布 局，CCD攝像機所采集到的圖像信號經(jīng)由視頻電纜與圖像采集卡輸至圖像處理前端；圖像 處理前端中圖像處理軟件對圖像信號實時進(jìn)行背景淡化與邊緣提取處理，完成圖像的數(shù)字 化信息表達(dá)；圖像處理前端數(shù)字化表達(dá)的信息通過IEEE1394協(xié)議接口與上位計算機連接， 實現(xiàn)圖像處理前端與上位計算機的信息交互；上位計算機對圖像的數(shù)字化表達(dá)信息進(jìn)行再 加工，求取公共角點重構(gòu)對象的三維圖像，與此同時運算輸出料堆的空間幾何尺度測量結(jié) 果。可以肯定，該發(fā)明技術(shù)方法在實現(xiàn)料場的計算機自動測量過程是有效的，但是，該技術(shù) 過于依靠“CCD攝像機布局，滿足作為高位視覺采集點，采集料堆全景圖像”進(jìn)行對料場圖像 信息的采集；同時，該發(fā)明尚不具備對圖像畸變等影響因素自動消除能力。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種大型料場料堆視覺測量方法，該測量方法基于機器視 覺的料場體積測量方法，利用料場現(xiàn)有的堆取料機行走機構(gòu)，在堆取料機作業(yè)過程中自動 完成料場圖像采集與處理，最終實現(xiàn)料堆體積的精確計算。一種大型料場料堆視覺測量方法，包括以下步驟步驟一、構(gòu)建料場視覺測量系統(tǒng)，由第一雙目視覺子系統(tǒng)、第二雙目視覺子系統(tǒng)和 服務(wù)器三部分組成，服務(wù)器的圖像信息處理模塊接收第一雙目視覺子系統(tǒng)、第二雙目視覺 子系統(tǒng)的信號后進(jìn)行處理和運算后輸出最終對圖像信息的識別、理解和測量結(jié)果；步驟二、安裝雙目視覺子系統(tǒng)，將第一雙目視覺子系統(tǒng)安裝于堆料機靠近料堆一側(cè)機架上，將第二雙目視覺子系統(tǒng)安裝于取料機靠近料堆一側(cè)機架上，第一和第二雙目視 覺子系統(tǒng)中的兩個CCD攝像機的安裝應(yīng)該遵循兩個攝像機的光心處于同一水平面并且兩 個光軸與兩光心連線形成一個等腰三角形；步驟三、建立C⑶攝像機幾何模型，包括世界坐標(biāo)系與攝像機坐標(biāo)系的變換、理 想透視投影變換、歸一化虛平面圖像坐標(biāo)系中圖像畸變矯正數(shù)學(xué)模型、歸一化虛平面圖像 坐標(biāo)系畸變點坐標(biāo)到計算機圖像坐標(biāo)系的轉(zhuǎn)換，最后獲得從世界坐標(biāo)系到計算機圖像坐標(biāo) 系的映射關(guān)系方程；步驟四、CCD攝像機參數(shù)標(biāo)定，包括內(nèi)部參數(shù)和外部參數(shù)，采用分步標(biāo)定方法，先標(biāo) 定圖像的縱橫比和主點坐標(biāo)，再利用徑向平行約束，求解大部分的外部參數(shù)，最后再引入畸 變模型，線性求解內(nèi)部參數(shù)和平移量；步驟五、圖像采集，兩個雙目視覺子系統(tǒng)分別隨著堆取料機的行走在線采集料堆 及料場圖像；每一個雙目視覺子系統(tǒng)在每一個采樣時刻能夠通過其中的兩個CCD攝像機同 時采集兩幅圖像，在前端信號處理器中保存圖像序列，并將該兩幅圖像經(jīng)過預(yù)處理后，同時 接受由遠(yuǎn)程控制程序控制指令要求堆取料機上的前端信號處理器向上位服務(wù)器傳送數(shù)字 圖像；服務(wù)器在每一個采樣時刻能夠同時接收到四幅圖像，包括來自第一、第二雙目視覺子 系統(tǒng)的各兩幅圖像，每兩幅圖像又分左、右兩幅圖像，在整個采樣期間，所有采集到的圖像 分別形成第一、第二雙目視覺子系統(tǒng)的兩組左右視圖對序列；步驟六、圖像處理，消除圖像畸變，由計算機圖像坐標(biāo)系像素點坐標(biāo)(u，ν)通過歸 一化虛平面圖像坐標(biāo)系畸變點坐標(biāo)到計算機圖像坐標(biāo)系的轉(zhuǎn)換方程計算求取對應(yīng)點(U，V) 在歸一化虛平面圖像坐標(biāo)系畸變點坐標(biāo)(Xd，yd)，再將(Xd，yd)的值輸至代入歸一化虛平面 圖像坐標(biāo)系中圖像畸變矯正數(shù)學(xué)模型進(jìn)行求逆運算，因此求得矯正畸變后的歸一化虛平面 圖像坐標(biāo)系理想點坐標(biāo)(xu，yu)，再由理想點坐標(biāo)(xu，yu)替代(xd，yd)的值代入歸一化虛 平面圖像坐標(biāo)系中圖像畸變矯正數(shù)學(xué)模型求出對應(yīng)點(u，ν)新的坐標(biāo)值，即新的像素點位 置；計算機圖像坐標(biāo)系中的所有像素點坐標(biāo)(u，ν)逐一經(jīng)過上述計算過程后，就能夠獲得 像素點在畫面上的理想排列，即真實景物圖像的恢復(fù)，或者說，獲得一幅反映真實景物的理 想圖像；步驟七、角點的尋找與匹配，在采樣圖像中尋找若干個角點作為代表最具特征的 邊緣點，采用基于圖像灰度的角點檢測算法，主要通過計算曲率及梯度來達(dá)到檢測角點的 目的；針對已經(jīng)尋找出來的角點在外極線約束的指導(dǎo)下在左、右視圖中尋找與之最為匹配 的點；實際操作過程需要從左、右視圖的數(shù)字圖像中取得足夠多的立體角點；步驟八、物點三維坐標(biāo)值的確定，在左、右視圖中相互匹配的角點坐標(biāo)(Ul，V1), (ur, Vr)通過從世界坐標(biāo)系到計算機圖像坐標(biāo)系的映射關(guān)系方程能夠轉(zhuǎn)換為對應(yīng)的世界坐 標(biāo)(XW1，YW1，Zwl)和(Xft，Yft，Zft)，采用求取兩條直線公垂線中值的方法最后獲得物點空間坐 標(biāo)的最優(yōu)近似；步驟九、在世界坐標(biāo)系中進(jìn)行曲面插值并建立高度圖，對圖像在全黑背景之上顯 示的有限個離散像素點，必須在相鄰離散點之間采用貝賽爾曲面插值算法進(jìn)行插值以形成 一個接近實際的連續(xù)高度圖；這個高度圖作為圖像處理系統(tǒng)的主要結(jié)果，包含了關(guān)于料場 的全部信息以便用于后續(xù)的深層分析和數(shù)據(jù)庫的數(shù)據(jù)存儲；步驟十、體積測量，首先，定義“空地”，即未堆料的地面高度，從頭至尾尋找空地，根據(jù)空地連續(xù)出現(xiàn)的位置判斷應(yīng)該將料場劃分為幾個料堆，并排除很小的起伏造成的偽料 堆和雜訊，得到每一個料堆的起始和終止的位置；其次，從料場高度圖中截取出料堆高度個 圖；令高度圖中某一個像素的灰度值所代表的實際高度為該處料堆的體積可以看成由 有限個高度為h”底面積為δ i的微長方體累加而成(i為參與計算的像素點，i = 1，2，K， η, η為參與計算的像素點總數(shù))，因此，所有幾何不規(guī)則的料堆體積V均可按照如下公式計
算 7 = 1>Α。
/=1所述的構(gòu)建料場視覺測量系統(tǒng)中每個雙目視覺子系統(tǒng)，包括兩個CCD攝像機、圖 像采集卡、前端信號處理器、兩個光電轉(zhuǎn)換器和光纖；左、右CCD攝像機在采樣時刻將所采 集到的左、右視圖并行輸入至圖像采集卡；圖像采集卡將原始圖像轉(zhuǎn)換成數(shù)字圖像信號并 輸至前端信號處理器；前端信號處理器對數(shù)字圖像進(jìn)行去除噪聲和強化預(yù)處理；經(jīng)過預(yù)處 理后的數(shù)字圖像信號經(jīng)第一個光電轉(zhuǎn)換器將電信號轉(zhuǎn)換成光信號，光信號通過光纖傳輸?shù)?第二個光電轉(zhuǎn)換器；第二個光電轉(zhuǎn)換器再將圖像光信號轉(zhuǎn)換成電信號，最后，電信號通過服 務(wù)器的輸入接口輸入至服務(wù)器的圖像信息處理模塊；第一、第二雙目視覺子系統(tǒng)分別將各 自采集到的左、右視圖模擬信號并行輸至本子系統(tǒng)中的圖像采集卡，圖像采集卡將圖像模 擬信號轉(zhuǎn)換成數(shù)字圖像信號并輸至前端信號處理器，前端信號處理器對數(shù)字圖像進(jìn)行去除 噪聲和強化預(yù)處理，經(jīng)過預(yù)處理后的數(shù)字圖像信號經(jīng)第一個光電轉(zhuǎn)換器將電信號轉(zhuǎn)換成光 信號，光信號通過光纖傳輸?shù)降诙€光電轉(zhuǎn)換器，第二個光電轉(zhuǎn)換器再將圖像光信號轉(zhuǎn)換 成電信號，最后，電信號通過服務(wù)器的第一輸入接口輸入至服務(wù)器的圖像信息處理模塊，服 務(wù)器將數(shù)字圖像信號進(jìn)行處理和運算后輸出最終對圖像信息的識別、理解和測量結(jié)果。所述的CXD攝像機參數(shù)標(biāo)定，具體如下CXD攝像機需要標(biāo)定的外部參數(shù)包括R和t，即
rIrIr3
[I^ t]=r4rSr6Jl,8r9共12個，但因R為單位正交矩陣，必須滿足6個正交約束，故實際上只有6個外部 參數(shù)需要標(biāo)定；內(nèi)部參數(shù)包括f、‘ Sx和cx、Cy，共5個；首先確定圖像的縱橫比，垂直拍攝一個圓環(huán)，然后計算其在水平方向和垂直方向 上的像素直徑比即為縱橫比Sx ；其次用相機的不同焦距拍攝同一景物，然后計算其縮放中心得到主點坐標(biāo)(cx， cy)；最后通過設(shè)定過渡參數(shù)求解R和tx、ty，然后根據(jù)R的正交性計算得到有效焦距f、 徑向畸變系數(shù)h和平移量tz。所述在世界坐標(biāo)系中進(jìn)行曲面插值并建立高度圖，具體如下對圖像在全黑背景之上顯示足夠多的離散像素點，如1400個，在相鄰離散點之間 采用貝賽爾曲面插值算法進(jìn)行插值以形成一個接近實際的連續(xù)高度圖，該高度圖作為圖像 處理系統(tǒng)的主要結(jié)果，包含了關(guān)于料場的全部信息以便用于后續(xù)的深層分析和數(shù)據(jù)庫的數(shù) 據(jù)存儲，高度圖是一個平面灰度圖像，水平方向和世界坐標(biāo)系的χ軸方向一致，豎直方向和
7Z軸方向一致，某個點的像素灰度(0 255)和該點的高度(Y分量)成正比，將最低點0米 對應(yīng)于0(全黑)，最高點16米作為255 (全白)，中間的高度對應(yīng)于相應(yīng)的灰色；每一個像素代表一個面積，對應(yīng)整幅圖像就代表著一個特定長X寬的原料場， 如像素代表0. 5X0. 5m2，一個1440X96pixel的圖像就代表720mX48m的一個完整料場， 其中的任何一點對應(yīng)著相應(yīng)的位置高度；數(shù)字圖像以BMP格式進(jìn)行存放以供下一步的分析，以及用于數(shù)據(jù)庫管理系統(tǒng)的信 息交互。所述體積測量，具體如下①定義高度低于0. 5米的被定義為“空地”，即未堆料；首先從頭至尾尋找空地， 根據(jù)空地連續(xù)出現(xiàn)的位置判斷應(yīng)該將料場劃分為幾個料堆，同時排除很小的起伏造成的偽 料堆和雜訊，得到每一個料堆的起始和終止的位置；②從料場高度圖中截取出包含要求計算料堆的矩形個圖，令高度圖中某一個像素 的灰度值所代表的實際高度為Iii、底面積為δρ 為參與計算的像素點，i = l，2，K，n，n為
參與計算的像素點總數(shù)，因此，所有幾何不規(guī)則的料堆體積V均可按照公式K = 計算，
/=1
η
當(dāng)δ i = const = 0. 25m2時，還可以直接表達(dá)為廠=0.25’
(=1當(dāng)定義0. 5m以下為“空地”時，以包含料堆的矩形底面區(qū)域進(jìn)行體積運算，公式還
可以表達(dá)為義=《…ΥΣΚ-0.5πι^η，式中，hkl為第k列、第1行的像素點對應(yīng)高度，k
L ι k_
=1,2, K, η, η為像素總列數(shù)，1 = 1，2，K，m，m為像素總行數(shù)，dx、dy分別為像素點行向與 列向的間隔所對應(yīng)的實際距離，單位為m。本發(fā)明的視覺測量方法采用料場網(wǎng)格高度圖的方法建立料堆體積
計算公式κ= 《Α，并在定義“空地”的條件下，將運算進(jìn)一步簡潔表達(dá)為 /=1
m η
V 二 dxdy YYjHkl-OSmxn實現(xiàn)料堆和料場體積的精確計算；自動消除了廣角鏡頭引起
I k_
的圖像畸變，能對左、右視圖自動進(jìn)行角點的精確匹配，利用圖像數(shù)據(jù)變換關(guān)系自動生成物 點的三維空間坐標(biāo)，優(yōu)化立體角點分布、構(gòu)建世界坐標(biāo)系高度圖，使得幾何不規(guī)則料堆也能 簡捷、直觀地實現(xiàn)其體積的精確計算。


圖1為攝像機幾何模型圖；圖2為外極幾何圖；圖3為雙目視覺系統(tǒng)中左、右CXD攝像頭水平安裝圖；圖4為左、右CXD攝像機在堆、取料機上的工作狀態(tài)圖。圖中11第一左C⑶攝像機、12第一右C⑶攝像機、21第二左C⑶攝像機、22第二 右CXD攝像機。
具體實施例方式下面結(jié)合附圖對本發(fā)明的實施例作詳細(xì)說明本實施例在以本發(fā)明技術(shù)方案為前 提下進(jìn)行實施，給出了詳細(xì)的實施方式和具體的操作過程，但本發(fā)明的保護范圍不限于下 述的實施例。如圖1所示，實施例中采用的攝像機幾何模型①計算機圖像坐標(biāo)系OuvUV 原點Ouv位于CXD圖像平面的左上角，u和ν分別表示 像素位于數(shù)組的列數(shù)和行數(shù)，單位為Pixel (像素)。②物理圖像坐標(biāo)系oxy 原點(即主點ο)定義在攝像機光軸與物理圖像平面的交 點，X、y軸分別與U、ν軸平行。pu(xu，yu)表示針孔模型下P點的理想圖像坐標(biāo)，pd(xd, yd) 是由透鏡徑向畸變引起的偏離Pu(xu，yu)的實際圖像坐標(biāo)。③攝像機坐標(biāo)系0。X。y。z。原點O。定義在攝像機的光心，x。、yc軸分別平行于x、y 軸，zc軸與光軸重合。o。o為攝像機的有效焦距f，(χ。，yc, zc)表示物點P在攝像機坐標(biāo)系 下的三維坐標(biāo)。④世界坐標(biāo)系OwXwYwZw 根據(jù)具體環(huán)境來定，(Xw，Yff, Zff)表示物點P在世界坐標(biāo)系 下的三維坐標(biāo)。如圖2所示，所述的外極幾何約束，即針對雙目視覺系統(tǒng)從兩個角度觀測同一個 點，尋求兩個成像點之間的外極線約束的相關(guān)幾何學(xué)問題，被稱為外極幾何。圖中，左、右攝 像機交叉擺放，P為左攝像機和右攝像機觀測的同一個三維點，OpOr分別為左、右攝像機的 光心；P點在左、右攝像機的歸一化虛成像平面上的成像點分別Sp1 [X1 Y1yr 1]T Wp^分別為左、右像面上的外極中心，對于共同觀測點P的左、右兩條外極線分別通過 點 P” ex 禾口 Pr、er。本實施例包括如下具體步驟步驟一、構(gòu)建料場視覺測量系統(tǒng)由第一雙目視覺子系統(tǒng)、第二雙目視覺子系統(tǒng)和服務(wù)器三部分組成料場視覺測量 系統(tǒng)。每個雙目視覺子系統(tǒng)，包括兩個CCD攝像機、圖像采集卡、前端信號處理器、兩個光 電轉(zhuǎn)換器和光纖。左、右CCD攝像機在采樣時刻將所采集到的左、右視圖并行輸入至圖像采 集卡；圖像采集卡將原始圖像轉(zhuǎn)換成數(shù)字圖像信號并輸至前端信號處理器；前端信號處理 器對數(shù)字圖像進(jìn)行去除噪聲和強化等預(yù)處理；經(jīng)過預(yù)處理后的數(shù)字圖像信號經(jīng)第一個光電 轉(zhuǎn)換器將電信號轉(zhuǎn)換成光信號，光信號通過光纖傳輸?shù)降诙€光電轉(zhuǎn)換器；第二個光電轉(zhuǎn) 換器再將圖像光信號轉(zhuǎn)換成電信號，最后，電信號通過服務(wù)器的輸入接口輸入至服務(wù)器的 圖像信息處理模塊。第一、第二雙目視覺子系統(tǒng)分別將各自采集到的左、右視圖模擬信號并行輸至本 子系統(tǒng)中的圖像采集卡，圖像采集卡將圖像模擬信號轉(zhuǎn)換成數(shù)字圖像信號并輸至前端信號 處理器，前端信號處理器對數(shù)字圖像進(jìn)行去除噪聲和強化等預(yù)處理，經(jīng)過預(yù)處理后的數(shù)字 圖像信號經(jīng)第一個光電轉(zhuǎn)換器將電信號轉(zhuǎn)換成光信號，光信號通過光纖傳輸?shù)降诙€光電 轉(zhuǎn)換器，第二個光電轉(zhuǎn)換器再將圖像光信號轉(zhuǎn)換成電信號，最后，電信號通過服務(wù)器的第一 輸入接口輸入至服務(wù)器的圖像信息處理模塊，服務(wù)器將數(shù)字圖像信號進(jìn)行處理和運算后輸 出最終對圖像信息的識別、理解和測量結(jié)果。 步驟二、安裝雙目視覺子系統(tǒng)
如圖3所示，第一雙目視覺子系統(tǒng)安裝于堆料機靠近料堆一側(cè)機架上，第二雙目 視覺子系統(tǒng)安裝于取料機靠近料堆一側(cè)機架上，第一和第二雙目視覺子系統(tǒng)中的兩個CCD 攝像機的安裝應(yīng)該遵循兩個攝像機的光心處于同一水平面原則和兩個光軸與兩光心連線 形成一個等腰三角形原則。如圖4所示，第一雙目視覺子系統(tǒng)中的左、右CXD攝像機11、12安裝在堆料機上， 兩者之間的幾何關(guān)系確定方法如下①第一左CXD攝像機11與第一右CXD攝像機12之間的水平間距，即兩者的攝像 機坐標(biāo)系原點之間距離根據(jù)堆料機平臺最大可延伸寬度大約在20m左右，因此可以確定 兩個鏡頭水平間距為20m。②鏡頭垂直方向角根據(jù)料堆為16m高、像頭的垂直位置離料腳的縱向距離約為 4m、料堆的安息角為26°、堆料機的固定平臺最高可利用高度約為6m，鏡頭只能安裝于6m 高度的平臺上，垂直視場的上邊緣線與料場斜坡面平行，垂直視場的下邊緣線與料場底線 的交點距離鏡頭垂直點大約在2. 926m左右，因此可以預(yù)算出鏡頭的下俯視角為19°。③鏡頭水平方向角度按照立體視覺的一般規(guī)律，雙目視覺器中的兩個攝像機和 所測量的物點應(yīng)該組成一個等腰三角形的原則，根據(jù)上述水平間距和鏡頭垂直方向角，堆 料機上鏡頭水平方向角度為32°。第二雙目視覺子系統(tǒng)中的左、右CXD攝像機21、22安裝在取料機上，兩者之間的幾 何關(guān)系確定方法如下①第二左CXD攝像機21與第二右CXD攝像機22之間的水平間距，即兩者的攝像 機坐標(biāo)系原點之間距離根據(jù)取料機平臺最大可延伸寬度大約在IOm左右，受其所限，只能 確定兩個鏡頭水平間距為10m。②鏡頭垂直方向角與堆料機上的一樣。③鏡頭水平方向角度按照立體視覺的一般規(guī)律，雙目視覺器中的兩個攝像機和 所測量的物點應(yīng)該組成一個等腰三角形的原則，根據(jù)上述水平間距和鏡頭垂直方向角，取 取料機上鏡頭水平方向角度為17.35°。 步驟三、建立CXD攝像機幾何模型全部幾何模型包括1)世界坐標(biāo)系與攝像機坐標(biāo)系的變換，用旋轉(zhuǎn)矩陣R和平移向量t來描述

權(quán)利要求
一種大型料場料堆視覺測量方法，其特征是，包括以下步驟步驟一、構(gòu)建料場視覺測量系統(tǒng)，由第一雙目視覺子系統(tǒng)、第二雙目視覺子系統(tǒng)和服務(wù)器三部分組成，服務(wù)器的圖像信息處理模塊接收第一雙目視覺子系統(tǒng)、第二雙目視覺子系統(tǒng)的信號后進(jìn)行處理和運算后輸出最終對圖像信息的識別、理解和測量結(jié)果；步驟二、安裝雙目視覺子系統(tǒng)，將第一雙目視覺子系統(tǒng)安裝于堆料機靠近料堆一側(cè)機架上，將第二雙目視覺子系統(tǒng)安裝于取料機靠近料堆一側(cè)機架上，第一和第二雙目視覺子系統(tǒng)中的兩個CCD攝像機的安裝應(yīng)該遵循兩個攝像機的光心處于同一水平面并且兩個光軸與兩光心連線形成一個等腰三角形；步驟三、建立CCD攝像機幾何模型，包括世界坐標(biāo)系與攝像機坐標(biāo)系的變換、理想透視投影變換、歸一化虛平面圖像坐標(biāo)系中圖像畸變矯正數(shù)學(xué)模型、歸一化虛平面圖像坐標(biāo)系畸變點坐標(biāo)到計算機圖像坐標(biāo)系的轉(zhuǎn)換，最后獲得從世界坐標(biāo)系到計算機圖像坐標(biāo)系的映射關(guān)系方程；步驟四、CCD攝像機參數(shù)標(biāo)定，包括內(nèi)部參數(shù)和外部參數(shù)，采用分步標(biāo)定方法，先標(biāo)定圖像的縱橫比和主點坐標(biāo)，再利用徑向平行約束，求解大部分的外部參數(shù)，最后再引入畸變模型，線性求解內(nèi)部參數(shù)和平移量；步驟五、圖像采集，兩個雙目視覺子系統(tǒng)分別隨著堆取料機的行走在線采集料堆及料場圖像；每一個雙目視覺子系統(tǒng)在每一個采樣時刻能夠通過其中的兩個CCD攝像機同時采集兩幅圖像，在前端信號處理器中保存圖像序列，并將該兩幅圖像經(jīng)過預(yù)處理后，同時接受由遠(yuǎn)程控制程序控制指令要求堆取料機上的前端信號處理器向上位服務(wù)器傳送數(shù)字圖像；服務(wù)器在每一個采樣時刻能夠同時接收到四幅圖像，包括來自第一、第二雙目視覺子系統(tǒng)的各兩幅圖像，每兩幅圖像又分左、右兩幅圖像，在整個采樣期間，所有采集到的圖像分別形成第一、第二雙目視覺子系統(tǒng)的兩組左右視圖對序列；步驟六、圖像處理，消除圖像畸變，由計算機圖像坐標(biāo)系像素點坐標(biāo)(u，v)通過歸一化虛平面圖像坐標(biāo)系畸變點坐標(biāo)到計算機圖像坐標(biāo)系的轉(zhuǎn)換方程計算求取對應(yīng)點(u，v)在歸一化虛平面圖像坐標(biāo)系畸變點坐標(biāo)(xd，yd)，再將(xd，yd)的值輸至代入歸一化虛平面圖像坐標(biāo)系中圖像畸變矯正數(shù)學(xué)模型進(jìn)行求逆運算，因此求得矯正畸變后的歸一化虛平面圖像坐標(biāo)系理想點坐標(biāo)(xu，yu)，再由理想點坐標(biāo)(xu，yu)替代(xd，yd)的值代入歸一化虛平面圖像坐標(biāo)系中圖像畸變矯正數(shù)學(xué)模型求出對應(yīng)點(u，v)新的坐標(biāo)值，即新的像素點位置；計算機圖像坐標(biāo)系中的所有像素點坐標(biāo)(u，v)逐一經(jīng)過上述計算過程后，就能夠獲得像素點在畫面上的理想排列，即真實景物圖像的恢復(fù)，或者說，獲得一幅反映真實景物的理想圖像；步驟七、角點的尋找與匹配，在采樣圖像中尋找若干個角點作為代表最具特征的邊緣點，采用基于圖像灰度的角點檢測算法，主要通過計算曲率及梯度來達(dá)到檢測角點的目的；針對已經(jīng)尋找出來的角點在外極線約束的指導(dǎo)下在左、右視圖中尋找與之最為匹配的點；實際操作過程需要從左、右視圖的數(shù)字圖像中取得足夠多的立體角點；步驟八、物點三維坐標(biāo)值的確定，在左、右視圖中相互匹配的角點坐標(biāo)(ul，vl)、(ur，vr)通過從世界坐標(biāo)系到計算機圖像坐標(biāo)系的映射關(guān)系方程能夠轉(zhuǎn)換為對應(yīng)的世界坐標(biāo)(XWl，YWl，ZWl)和(XWr，YWr，ZWr)，采用求取兩條直線公垂線中值的方法最后獲得物點空間坐標(biāo)的最優(yōu)近似；步驟九、在世界坐標(biāo)系中進(jìn)行曲面插值并建立高度圖，對圖像在全黑背景之上顯示的有限個離散像素點，必須在相鄰離散點之間采用貝賽爾曲面插值算法進(jìn)行插值以形成一個接近實際的連續(xù)高度圖；這個高度圖作為圖像處理系統(tǒng)的主要結(jié)果，包含了關(guān)于料場的全部信息以便用于后續(xù)的深層分析和數(shù)據(jù)庫的數(shù)據(jù)存儲；步驟十、體積測量，首先，定義“空地”，即未堆料的地面高度，從頭至尾尋找空地，根據(jù)空地連續(xù)出現(xiàn)的位置判斷應(yīng)該將料場劃分為幾個料堆，并排除很小的起伏造成的偽料堆和雜訊，得到每一個料堆的起始和終止的位置；其次，從料場高度圖中截取出料堆高度個圖；令高度圖中某一個像素的灰度值所代表的實際高度為hi，該處料堆的體積可以看成由有限個高度為hi、底面積為δi的微長方體累加而成(i為參與計算的像素點，i＝1，2，K，n，n為參與計算的像素點總數(shù))，因此，所有幾何不規(guī)則的料堆體積V均可按照如下公式計算F2009100541302C0000021.tif
2.根據(jù)權(quán)利要求1所述的大型料場料堆視覺測量方法，其特征是，所述的構(gòu)建料場視 覺測量系統(tǒng)中每個雙目視覺子系統(tǒng)，包括兩個CCD攝像機、圖像采集卡、前端信號處理器、 兩個光電轉(zhuǎn)換器和光纖；左、右CCD攝像機在采樣時刻將所采集到的左、右視圖并行輸入至 圖像采集卡；圖像采集卡將原始圖像轉(zhuǎn)換成數(shù)字圖像信號并輸至前端信號處理器；前端信 號處理器對數(shù)字圖像進(jìn)行去除噪聲和強化預(yù)處理；經(jīng)過預(yù)處理后的數(shù)字圖像信號經(jīng)第一個 光電轉(zhuǎn)換器將電信號轉(zhuǎn)換成光信號，光信號通過光纖傳輸?shù)降诙€光電轉(zhuǎn)換器；第二個光 電轉(zhuǎn)換器再將圖像光信號轉(zhuǎn)換成電信號，最后，電信號通過服務(wù)器的輸入接口輸入至服務(wù) 器的圖像信息處理模塊；第一、第二雙目視覺子系統(tǒng)分別將各自采集到的左、右視圖模擬信 號并行輸至本子系統(tǒng)中的圖像采集卡，圖像采集卡將圖像模擬信號轉(zhuǎn)換成數(shù)字圖像信號并 輸至前端信號處理器，前端信號處理器對數(shù)字圖像進(jìn)行去除噪聲和強化預(yù)處理，經(jīng)過預(yù)處 理后的數(shù)字圖像信號經(jīng)第一個光電轉(zhuǎn)換器將電信號轉(zhuǎn)換成光信號，光信號通過光纖傳輸?shù)?第二個光電轉(zhuǎn)換器，第二個光電轉(zhuǎn)換器再將圖像光信號轉(zhuǎn)換成電信號，最后，電信號通過服 務(wù)器的第一輸入接口輸入至服務(wù)器的圖像信息處理模塊，服務(wù)器將數(shù)字圖像信號進(jìn)行處理 和運算后輸出最終對圖像信息的識別、理解和測量結(jié)果。
3.根據(jù)權(quán)利要求1所述的大型料場料堆視覺測量方法，其特征是，所述的CCD攝像機參 數(shù)標(biāo)定，具體如下CXD攝像機需要標(biāo)定的外部參數(shù)包括R和t，即rI rI r3 K[R t]= r4 r5 r6 ty Jl "8 ,9 tz _共12個，但因R為單位正交矩陣，必須滿足6個正交約束，故實際上只有6個外部參數(shù) 需要標(biāo)定；內(nèi)部參數(shù)包括f、kp sx和cx、cy，共5個；首先確定圖像的縱橫比，垂直拍攝一個圓環(huán)，然后計算其在水平方向和垂直方向上的 像素直徑比即為縱橫比sx;其次用相機的不同焦距拍攝同一景物，然后計算其縮放中心得到主點坐標(biāo)(cx，cy)；最后通過設(shè)定過渡參數(shù)求解R和tx、ty，然后根據(jù)R的正交性計算得到有效焦距f、徑向畸變系數(shù)&和平移量tz。
4.根據(jù)權(quán)利要求1 3中任意一權(quán)利要求所述的大型料場料堆視覺測量方法，其特征 是，所述在世界坐標(biāo)系中進(jìn)行曲面插值并建立高度圖，具體如下對圖像在全黑背景之上顯示足夠多的離散像素點，如1400個，在相鄰離散點之間采用 貝賽爾曲面插值算法進(jìn)行插值以形成一個接近實際的連續(xù)高度圖，該高度圖作為圖像處理 系統(tǒng)的主要結(jié)果，包含了關(guān)于料場的全部信息以便用于后續(xù)的深層分析和數(shù)據(jù)庫的數(shù)據(jù)存 儲，高度圖是一個平面灰度圖像，水平方向和世界坐標(biāo)系的X軸方向一致，豎直方向和Z軸 方向一致，某個點的像素灰度(0 255)和該點的高度(Y分量)成正比，將最低點0米對 應(yīng)于0(全黑)，最高點16米作為255 (全白)，中間的高度對應(yīng)于相應(yīng)的灰色；每一個像素代表一個面積，對應(yīng)整幅圖像就代表著一個特定長X寬的原料場，如像 素代表0. 5X0. 5m2，一個1440X96pixel的圖像就代表720mX48m的一個完整料場，其中的 任何一點對應(yīng)著相應(yīng)的位置高度；數(shù)字圖像以BMP格式進(jìn)行存放以供下一步的分析，以及用于數(shù)據(jù)庫管理系統(tǒng)的信息交互。
5.根據(jù)權(quán)利要求1 3中任意一權(quán)利要求所述的大型料場料堆視覺測量方法，其特征 是，所述體積測量，具體如下①定義高度低于0.5米的被定義為“空地”，即未堆料；首先從頭至尾尋找空地，根據(jù) 空地連續(xù)出現(xiàn)的位置判斷應(yīng)該將料場劃分為幾個料堆，同時排除很小的起伏造成的偽料堆 和雜訊，得到每一個料堆的起始和終止的位置；②從料場高度圖中截取出包含要求計算料堆的矩形個圖，令高度圖中某一個像素的灰 度值所代表的實際高度為hp底面積為δ” i為參與計算的像素點，i = 1，2，K，η，η為參與計算的像素點總數(shù)，因此，所有幾何不規(guī)則的料堆體積ν均可按照公式
全文摘要
本發(fā)明涉及的是一種非接觸測量方法，具體是一種大型料場料堆視覺測量方法。一種大型料場料堆視覺測量方法，包括以下步驟1)構(gòu)建料場視覺測量系統(tǒng)，2)安裝雙目視覺子系統(tǒng)，3)建立CCD攝像機幾何模型，4)CCD攝像機參數(shù)標(biāo)定，5)圖像采集，6)圖像處理，7)角點的尋找與匹配，8)物點三維坐標(biāo)值的確定，9)在世界坐標(biāo)系中進(jìn)行曲面插值并建立高度圖，10)體積測量。本發(fā)明的視覺測量方法自動消除了廣角鏡頭引起的圖像畸變，能對左、右視圖自動進(jìn)行角點的精確匹配，利用圖像數(shù)據(jù)變換關(guān)系自動生成物點的三維空間坐標(biāo)，優(yōu)化立體角點分布、構(gòu)建世界坐標(biāo)系高度圖，使得幾何不規(guī)則料堆也能簡捷、直觀地實現(xiàn)其體積的精確計算。
文檔編號G01F22/00GK101936761SQ200910054130
公開日2011年1月5日 申請日期2009年6月30日 優(yōu)先權(quán)日2009年6月30日
發(fā)明者華逸倫, 姜偉忠, 應(yīng)俊豪, 張文鋼, 張秀彬, 李俊峰, 楊迪, 陳小雨, 韓明明, 高翔 申請人:寶山鋼鐵股份有限公司;上海交通大學(xué)