技術特征:1.一種時空結合的散斑三維成像方法,其特征在于,包括:
從預置時間序列中選取時間節(jié)點,并從選取的所述時間節(jié)點開始獲取左、右成像裝置分別輸出的一組左散斑圖像序列和一組右散斑圖像序列,其中所述左散斑圖像序列和所述右散斑圖像序列中包含的圖像的數(shù)量相同;
對所述左散斑圖像序列和所述右散斑圖像序列進行時間相關運算,以在所述右散斑圖像序列中確定整像素級對應點;
根據(jù)所述整像素級對應點、空間相關函數(shù)以及所述左散斑圖像序列中各左散斑圖像的像素點坐標,對所述右散斑圖像序列中每幀右散斑圖像進行亞像素對應點搜索運算,得到亞像素對應點;
根據(jù)所述亞像素對應點的時間平均運算算出待三維重建的對應點;
在所述時間節(jié)點上通過所述待三維重建的對應點進行三維重建。
2.根據(jù)權利要求1所述的方法,其特征在于,所述對所述左散斑圖像序列和所述右散斑圖像序列進行時間相關運算,以在所述右散斑圖像序列中確定整像素級對應點包括:
根據(jù)時間相關計算公式對所述左散斑圖像序列和所述右散斑圖像序列進行時間相關運算,以在右散斑圖像序列中確定所述左散斑圖像序列中各像素點對應的對應點,其中所述時間相關計算公式為:
其中,Xi,j,t表示為左成像裝置圖像平面點(i,j)在第t幅左散斑圖像的灰度值,X′i′,j′,t表示右成像裝置圖像平面內(nèi)對應點(i′,j′)在第t幅右散斑圖像的灰度值,和分別表示左、右成像裝置圖像平面內(nèi)點(i,j)和對應點(i′,j′)在k幅所述左散斑圖像序列的灰度平均值和在k幅所述右散斑圖像序列的灰度平均值,其中k為大于或等于2;
在通過所述時間相關計算公式的計算結果值中選取最大值對應的對應點作為整像素級對應點。
3.根據(jù)權利要求2所述的方法,其特征在于,所述根據(jù)所述整像素級對應點、空間相關函數(shù)以及所述左散斑圖像序列中各左散斑圖像的像素點坐標,對所述右散斑圖像序列中每幀右散斑圖像進行亞像素對應點搜索運算,得到亞像素對應點包括:
在所述左散斑圖像序列中各左散斑圖像內(nèi)創(chuàng)建窗口大小為(2wm+1)×(2wm+1)的參考子窗口;
將二階視差模型下的非線性空間相關函數(shù)w(s)作為N-R迭代運算的待優(yōu)化函數(shù);
其中,為所述左散斑圖像上所述參考子窗口內(nèi)像素點灰度平均值,為所述右散斑圖像上參考子窗口內(nèi)像素點灰度平均值,pR(uR,vR)為左散斑圖像所述參考子窗口內(nèi)像素點pR的灰度值,pG(uG,vG)為待匹配的右散斑圖像上的對應點pG的灰度值;
按照預置迭代步數(shù),并根據(jù)N-R迭代運算公式進行迭代運算,確定最后一次迭代運算算出的相關函數(shù)值sN為結果值,其中,
其中,N的取值范圍為大于或等于1的整數(shù);初始狀態(tài)下,N取值為1,則s0為預置迭代初始估計值;▽w(sN-1)為相關函數(shù)在sN-1處的梯度值,▽▽w(sN-1)為相關函數(shù)在sN-1處的二次偏導,M表示s參數(shù)的個數(shù);
根據(jù)所述結果值和二階視差模型算出所述亞像素對應點。
4.根據(jù)權利要求2所述的方法,其特征在于,所述根據(jù)所述整像素級對應點、空間相關函數(shù)以及所述左散斑圖像序列中各左散斑圖像的像素點坐標,對所述右散斑圖像序列中每幀右散斑圖像進行亞像素對應點搜索運算,得到亞像素對應點包括:
在所述左散斑圖像序列中各左散斑圖像內(nèi)創(chuàng)建窗口大小為(2wm+1)×(2wm+1)的參考子窗口;
將二階視差模型下的非線性空間相關函數(shù)w(s)作為N-R迭代運算的待優(yōu)化函數(shù);
其中,為所述左散斑圖像上所述參考子窗口內(nèi)像素點灰度平均值,為所述右散斑圖像上參考子窗口內(nèi)像素點灰度平均值,pR(uR,vR)為左散斑圖像所述參考子窗口內(nèi)像素點pR的灰度值,pG(uG,vG)為待匹配的右散斑圖像上的對應點pG的灰度值;
根據(jù)N-R迭代運算公式進行迭代運算,算出相關函數(shù)值sN,其中,
其中,N的取值范圍為大于或等于1的整數(shù);初始狀態(tài)下,N取值為1,則s0為預置迭代初始估計值;▽w(sN-1)為相關函數(shù)在sN-1處的梯度值,▽▽w(sN-1)為相關函數(shù)在sN-1處的二次偏導,M表示s參數(shù)的個數(shù);
根據(jù)算出的相關函數(shù)值sN和二階視差模型算出坐標值,并對相鄰兩次迭代運算算出的相關函數(shù)值sN對應的坐標值求差,算出差值;
若所述差值小于預置閾值,則停止迭代運算,并將最后一次迭代運算算出的相關函數(shù)值sN對應的坐標值作為所述亞像素對應點。
5.根據(jù)權利要求3或4所述的方法,其特征在于,所述根據(jù)所述亞像素對應點的時間平均運算算出待三維重建的對應點包括:
對所述亞像素對應點PtG(i′,j′)進行時間平均運算,算出所述待三維重建的對應點
6.一種時空結合的散斑三維成像裝置,其特征在于,所述裝置包括:
獲取模塊,用于從預置時間序列中選取時間節(jié)點,并從選取的所述時間節(jié)點開始獲取左、右成像裝置分別輸出的一組左散斑圖像序列和一組右散斑圖像序列,其中所述左散斑圖像序列和所述右散斑圖像序列中包含的圖像的數(shù)量相同;
對應點搜索模塊,用于對所述左散斑圖像序列和所述右散斑圖像序列進行時間相關運算,以在所述右散斑圖像序列中確定整像素級對應點;
以及,根據(jù)所述整像素級對應點、空間相關函數(shù)以及所述左散斑圖像序列中各左散斑圖像的像素點坐標,對所述右散斑圖像序列中每幀右散斑圖像進行亞像素對應點搜索運算,得到亞像素對應點;
以及,根據(jù)所述亞像素對應點的時間平均運算算出待三維重建的對應點;
三維重建模塊,用于在所述時間節(jié)點上通過所述待三維重建的對應點進行三維重建。
7.根據(jù)權利要求6所述的裝置,其特征在于,所述對應點搜索模塊還用于執(zhí)行以下步驟:
根據(jù)時間相關計算公式對所述左散斑圖像序列和所述右散斑圖像序列進行時間相關運算,以在右散斑圖像序列中確定所述左散斑圖像序列中各像素點對應的對應點,所述時間相關計算公式為:
其中,Xi,j,t表示為左成像裝置圖像平面點(i,j)在第t幅左散斑圖像的灰度值,X′i′,j′,t表示右成像裝置圖像平面內(nèi)對應點(i′,j′)在第t幅右散斑圖像的灰度值,和分別表示左、右成像裝置圖像平面內(nèi)點(i,j)和對應點(i′,j′)在k幅所述左散斑圖像序列的灰度平均值和在k幅所述右散斑圖像序列的灰度平均值,其中k為大于或等于2;
在通過所述時間相關計算公式的計算結果值中選取最大值對應的對應點作為整像素級對應點。
8.根據(jù)權利要求7所述的裝置,其特征在于,所述對應點搜索模塊還用于執(zhí)行以下步驟:
在所述左散斑圖像序列中各左散斑圖像內(nèi)創(chuàng)建窗口大小為(2wm+1)×(2wm+1)的參考子窗口;
將二階視差模型下的非線性空間相關函數(shù)w(s)作為N-R迭代運算的待優(yōu)化函數(shù);
其中,為所述左散斑圖像上所述參考子窗口內(nèi)像素點灰度平均值,為所述右散斑圖像上參考子窗口內(nèi)像素點灰度平均值,pR(uR,vR)為左散斑圖像所述參考子窗口內(nèi)像素點pR的灰度值,pG(uG,vG)為待匹配的右散斑圖像上的對應點pG的灰度值;
按照預置迭代步數(shù),并根據(jù)N-R迭代運算公式進行迭代運算,確定最后一次迭代運算算出的相關函數(shù)值sN為結果值,其中,
其中,N的取值范圍為大于或等于1的整數(shù);初始狀態(tài)下,N取值為1,則s0為預置迭代初始估計值;▽w(sN-1)為相關函數(shù)在sN-1處的梯度值,▽▽w(sN-1)為相關函數(shù)在sN-1處的二次偏導,M表示s參數(shù)的個數(shù);
根據(jù)所述結果值和二階視差模型算出所述亞像素對應點。
9.根據(jù)權利要求7所述的裝置,其特征在于,所述對應點搜索模塊還用于執(zhí)行以下步驟:
在所述左散斑圖像序列中各左散斑圖像內(nèi)創(chuàng)建窗口大小為(2wm+1)×(2wm+1)的參考子窗口;
將二階視差模型下的非線性空間相關函數(shù)w(s)作為N-R迭代運算的待優(yōu)化函數(shù);
其中,為所述左散斑圖像上所述參考子窗口內(nèi)像素點灰度平均值,為所述右散斑圖像上參考子窗口內(nèi)像素點灰度平均值,pR(uR,vR)為左散斑圖像所述參考子窗口內(nèi)像素點pR的灰度值,pG(uG,vG)為待匹配的右散斑圖像上的對應點pG的灰度值;
根據(jù)N-R迭代運算公式進行迭代運算,算出相關函數(shù)值sN,其中,
其中,N的取值范圍為大于或等于1的整數(shù);初始狀態(tài)下,N取值為1,則s0為預置迭代初始估計值;▽w(sN-1)為相關函數(shù)在sN-1處的梯度值,▽▽w(sN-1)為相關函數(shù)在sN-1處的二次偏導,M表示s參數(shù)的個數(shù);
根據(jù)算出的相關函數(shù)值sN和二階視差模型算出坐標值,并對相鄰兩次迭代運算算出的相關函數(shù)值sN對應的坐標值求差,算出差值;
若所述差值小于預置閾值,則停止迭代運算,并將最后一次迭代運算算出的相關函數(shù)值sN對應的坐標值作為所述亞像素對應點。
10.根據(jù)權利要求8或9所述的裝置,其特征在于,
所述對應點搜索模塊,還用于對所述亞像素對應點PtG(i′,j′)進行時間平均運算,算出所述待三維重建的對應點