1.一種基于鄰域塊匹配提高三維重建點云稠密程度的方法,其特征在于,所述基于鄰域塊匹配提高三維重建點云稠密程度的方法包括以下步驟:
步驟一,使用基于圖像序列的三維重建算法得到粗糙且稀疏的物體點云,得到每一幀圖像拍攝時相機在三維空間中的變換矩陣;
步驟二,再次對原始圖像進行處理,使用基于鄰域的塊匹配算法,對圖像中進行稠密特征匹配;
步驟三,接下來根據得到的相機在空間中的位置,對得到的稠密特征點對進行合法性檢驗,并將符合要求的特征點映射到三維點云中對應的位置;
步驟四,使用基于物體輪廓的外點刪除算法對得到的點云進行一次外點過濾,并進行一次顏色重映射,得到最終質量遠好于原始點云的稠密點云。
2.如權利要求1所述的基于鄰域塊匹配提高三維重建點云稠密程度的方法,其特征在于,所述基于鄰域塊匹配提高三維重建點云稠密程度的方法具體包括以下步驟:
第一步,使用繞拍圖像序列進行傳統的三維重建;
第二步,選取相鄰的圖像進行基于鄰域的塊匹配的稠密特征生成算法,確定鄰域步長n,即每幅圖像會與其左右各兩幅圖像進行稠密特征的計算;
第三步,確定相鄰圖像匹配的步長n后,遍歷整個圖像序列,以每一幅圖像為基準圖像,與其后方的n幀圖像進行基于鄰域的塊匹配算法;在原始圖像中,沿行和列方向每隔多少個像素點取一個點作為需要進行匹配的特征點,用于基于塊匹配的特征計算;
第四步,確定采樣率r后,對于每一對需要進行匹配特征的圖像(P1,P2)即得到了需要計算的P1中的匹配點集Pt;遍歷Pt中所有的特征點,以每一個特征點為中心,在其周圍選取X*Y大小的圖像塊,使用插值算法將其行列都擴充為原先的8倍,記為Isrc;在P2中,以同樣的坐標點為中心,選取M*N大小的圖像塊,同樣使用插值算法將其行列都擴充為原先的8倍,記為Idist;
第五步,當Idist圖像塊大小足夠大時,能夠找到圖像塊Isrc所對應的圖像塊Imatch;此時圖像塊Imatch的中心在圖P2中的位置也就是構造圖像塊Isrc時所用的特征點在圖像P2上對應的匹配點;
第六步,完成特征匹配后,得到了需要的圖相對之間的稠密特征對;對于圖像序列中的每一幀,將和它進行過特征匹配計算的圖像記作P2;將拍攝P1和P2時的相機光心位置分別記作C1和C2;遍歷P1的特征點集Pt中所有的特征點的位置,在三維空間中的相平面上找到它所在的位置Pt1;同時找到Pt1在圖像P2上的匹配點在三維空間中相平面上的位置Pt2’;并在三維空間中做射線C1Pt1’以及C2Pt2’;得到射線L1和L2;
第七步,對于得到的射線L1與L2來說,如果匹配點對Pt1與Pt2是正確的匹配點,那么L1與L2在空間中應該相交在物體模型的對應點上;設置一個閾值T,當這兩條異面直線之間的最近點之間的距離小于T時,這一對匹配點是合法的匹配點對;
第八步,對于得到的合法匹配點對,若所做射線L1與L2交于一點,則將交點作為新的特征點補充進初始點云中;若L1與L2為最近點距離小于閾值T的異面直線;則取L1和L2的最近點對的中點位置作為新的三維點加入初始點云中;
第九步,進行基于物體輪廓的雜點濾除,對于每一幀圖像,提取物體輪廓,通過得到的相機變換矩陣,將點云反投影至三維空間中相平面的位置,將輪廓區(qū)域內的點保留;而反投影過后,在任意一幀中,出現在物體輪廓外部的點,都將其從點云刪除;
第十步,把點云反投影到每一幀在空間中的相平面,記錄相平面上每一像素點在反投影時距離它最近的點云中的點,將圖像上該像素點的像素值賦值給這個離他最近的點云中的點,從而完成點云顏色的重映射。
3.如權利要求2所述的基于鄰域塊匹配提高三維重建點云稠密程度的方法,其特征在于,所述相機變換矩陣包括了相機光心位置相對于世界坐標系原點的旋轉和平移即[R|T],其中R為旋轉矩陣,T為平移向量。
4.如權利要求2所述的基于鄰域塊匹配提高三維重建點云稠密程度的方法,其特征在于,所述步驟二中使用每兩幀之間旋轉5°的拍攝方式,使用的步長為2。
5.如權利要求2所述的基于鄰域塊匹配提高三維重建點云稠密程度的方法,其特征在于,所述步驟三中使用每隔2行2列取一個像素點的采樣率;選取的像素點數目和算法的時間開銷成正比。
6.如權利要求2所述的基于鄰域塊匹配提高三維重建點云稠密程度的方法,其特征在于,所述步驟四中M和N的值分別需要大于X和Y;使用X,Y為40,M和N為80的參數設置。
7.如權利要求2所述的基于鄰域塊匹配提高三維重建點云稠密程度的方法,其特征在于,所述步驟五中,計算位置(x,y)相關系數R的公式如下:
其中:
其中,T代表圖像Isrc,I代表圖像Idist。
8.如權利要求2所述的基于鄰域塊匹配提高三維重建點云稠密程度的方法,其特征在于,所述步驟六中,在每一幀的相平面上尋找特征點時,需要使用相機的變換矩陣[R|T],拍照的焦距為f,某一幀F中,特征點的位置在圖像上為(x,y),其旋轉平移矩陣為[R|T],則其在世界坐標系中的三維坐標計算公式如下:
9.如權利要求2所述的基于鄰域塊匹配提高三維重建點云稠密程度的方法,其特征在于,所述步驟七中,設置的認為兩射線L1與L2合法的閾值為1e-2;
所述步驟八中,參數k是5;
所述步驟九中,將點云反投影到第i幀的相平面的方法需要使用相機的變換矩陣[R|T];點云中一點(X,Y,Z),其投影在第i幀中的坐標(u,v)的計算公式為:
其中,f為第i幀的焦距;
所述步驟十中,若多個相平面都將其中的某個點的像素映射到點云中的一個點Pt,則Pt的RGB取這幾個平面的對應點的像素均值。
10.一種應用權利要求1~9任意一項所述基于鄰域塊匹配提高三維重建點云稠密程度的方法的計算機視覺系統。