亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

時空結合的散斑三維成像方法及裝置與流程

文檔序號:12787388閱讀:來源:國知局

技術特征:

1.一種時空結合的散斑三維成像方法,其特征在于,包括:

從預置時間序列中選取時間節(jié)點,并從選取的所述時間節(jié)點開始獲取左、右成像裝置分別輸出的一組左散斑圖像序列和一組右散斑圖像序列,其中所述左散斑圖像序列和所述右散斑圖像序列中包含的圖像的數(shù)量相同;

對所述左散斑圖像序列和所述右散斑圖像序列進行時間相關運算,以在所述右散斑圖像序列中確定整像素級對應點;

根據(jù)所述整像素級對應點、空間相關函數(shù)以及所述左散斑圖像序列中各左散斑圖像的像素點坐標,對所述右散斑圖像序列中每幀右散斑圖像進行亞像素對應點搜索運算,得到亞像素對應點;

根據(jù)所述亞像素對應點的時間平均運算算出待三維重建的對應點;

在所述時間節(jié)點上通過所述待三維重建的對應點進行三維重建。

2.根據(jù)權利要求1所述的方法,其特征在于,所述對所述左散斑圖像序列和所述右散斑圖像序列進行時間相關運算,以在所述右散斑圖像序列中確定整像素級對應點包括:

根據(jù)時間相關計算公式對所述左散斑圖像序列和所述右散斑圖像序列進行時間相關運算,以在右散斑圖像序列中確定所述左散斑圖像序列中各像素點對應的對應點,其中所述時間相關計算公式為:

其中,Xi,j,t表示為左成像裝置圖像平面點(i,j)在第t幅左散斑圖像的灰度值,X′i′,j′,t表示右成像裝置圖像平面內(nèi)對應點(i′,j′)在第t幅右散斑圖像的灰度值,分別表示左、右成像裝置圖像平面內(nèi)點(i,j)和對應點(i′,j′)在k幅所述左散斑圖像序列的灰度平均值和在k幅所述右散斑圖像序列的灰度平均值,其中k為大于或等于2;

在通過所述時間相關計算公式的計算結果值中選取最大值對應的對應點作為整像素級對應點。

3.根據(jù)權利要求2所述的方法,其特征在于,所述根據(jù)所述整像素級對應點、空間相關函數(shù)以及所述左散斑圖像序列中各左散斑圖像的像素點坐標,對所述右散斑圖像序列中每幀右散斑圖像進行亞像素對應點搜索運算,得到亞像素對應點包括:

在所述左散斑圖像序列中各左散斑圖像內(nèi)創(chuàng)建窗口大小為(2wm+1)×(2wm+1)的參考子窗口;

將二階視差模型下的非線性空間相關函數(shù)w(s)作為N-R迭代運算的待優(yōu)化函數(shù);

<mrow> <mi>w</mi> <mrow> <mo>(</mo> <mi>s</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>1</mn> <mo>-</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mrow> <mo>(</mo> <mfrac> <mrow> <msup> <mi>p</mi> <mi>R</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>R</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>R</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>R</mi> </msup> </mrow> <msqrt> <mrow> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mrow> <mo>&lsqb;</mo> <msup> <mi>p</mi> <mi>R</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>R</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>R</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>R</mi> </msup> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> <mo>-</mo> <mfrac> <mrow> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>G</mi> </msup> </mrow> <msqrt> <mrow> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mrow> <mo>&lsqb;</mo> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>G</mi> </msup> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>,</mo> </mrow>

其中,為所述左散斑圖像上所述參考子窗口內(nèi)像素點灰度平均值,為所述右散斑圖像上參考子窗口內(nèi)像素點灰度平均值,pR(uR,vR)為左散斑圖像所述參考子窗口內(nèi)像素點pR的灰度值,pG(uG,vG)為待匹配的右散斑圖像上的對應點pG的灰度值;

按照預置迭代步數(shù),并根據(jù)N-R迭代運算公式進行迭代運算,確定最后一次迭代運算算出的相關函數(shù)值sN為結果值,其中,

<mrow> <mo>&dtri;</mo> <mi>w</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mi>N</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msub> <mrow> <mo>&lsqb;</mo> <mrow> <mo>(</mo> <mfrac> <mrow> <msup> <mi>p</mi> <mi>R</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>R</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>R</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>R</mi> </msup> </mrow> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>R</mi> </msup> </mfrac> <mo>-</mo> <mfrac> <mrow> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>G</mi> </msup> </mrow> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>G</mi> </msup> </mfrac> <mo>)</mo> </mrow> <mo>&CenterDot;</mo> <mfrac> <mn>1</mn> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>G</mi> </msup> </mfrac> <mo>&CenterDot;</mo> <mfrac> <mrow> <mo>&part;</mo> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&part;</mo> <msub> <mi>s</mi> <mi>i</mi> </msub> </mrow> </mfrac> <mo>&rsqb;</mo> </mrow> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mi>M</mi> </mrow> </msub> <mo>,</mo> </mrow>

<mrow> <mo>&dtri;</mo> <mo>&dtri;</mo> <mi>w</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mi>N</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mo>-</mo> <mn>1</mn> </mrow> <msup> <mrow> <mo>(</mo> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mfrac> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msub> <mrow> <mo>(</mo> <mfrac> <mrow> <mo>&part;</mo> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&part;</mo> <msub> <mi>s</mi> <mi>i</mi> </msub> </mrow> </mfrac> <mo>&CenterDot;</mo> <mfrac> <mrow> <mo>&part;</mo> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&part;</mo> <msub> <mi>s</mi> <mi>j</mi> </msub> </mrow> </mfrac> <mo>)</mo> </mrow> <mtable> <mtr> <mtd> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mi>M</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mi>M</mi> </mrow> </mtd> </mtr> </mtable> </msub> <mo>,</mo> </mrow>

<mrow> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>R</mi> </msup> <mo>=</mo> <mfrac> <mn>1</mn> <msup> <mrow> <mo>(</mo> <mn>2</mn> <msub> <mi>w</mi> <mi>m</mi> </msub> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mfrac> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mi>p</mi> <mi>R</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>R</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>R</mi> </msup> <mo>)</mo> </mrow> <mo>,</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>G</mi> </msup> <mo>=</mo> <mfrac> <mn>1</mn> <msup> <mrow> <mo>(</mo> <mn>2</mn> <msub> <mi>w</mi> <mi>m</mi> </msub> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mfrac> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mo>,</mo> </mrow>

<mrow> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>R</mi> </msup> <mo>=</mo> <msqrt> <mrow> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mrow> <mo>&lsqb;</mo> <msup> <mi>p</mi> <mi>R</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>R</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>R</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>R</mi> </msup> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>,</mo> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>G</mi> </msup> <mo>=</mo> <msqrt> <mrow> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mrow> <mo>&lsqb;</mo> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>G</mi> </msup> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>,</mo> </mrow>

其中,N的取值范圍為大于或等于1的整數(shù);初始狀態(tài)下,N取值為1,則s0為預置迭代初始估計值;▽w(sN-1)為相關函數(shù)在sN-1處的梯度值,▽▽w(sN-1)為相關函數(shù)在sN-1處的二次偏導,M表示s參數(shù)的個數(shù);

根據(jù)所述結果值和二階視差模型算出所述亞像素對應點。

4.根據(jù)權利要求2所述的方法,其特征在于,所述根據(jù)所述整像素級對應點、空間相關函數(shù)以及所述左散斑圖像序列中各左散斑圖像的像素點坐標,對所述右散斑圖像序列中每幀右散斑圖像進行亞像素對應點搜索運算,得到亞像素對應點包括:

在所述左散斑圖像序列中各左散斑圖像內(nèi)創(chuàng)建窗口大小為(2wm+1)×(2wm+1)的參考子窗口;

將二階視差模型下的非線性空間相關函數(shù)w(s)作為N-R迭代運算的待優(yōu)化函數(shù);

<mrow> <mi>w</mi> <mrow> <mo>(</mo> <mi>s</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>1</mn> <mo>-</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mrow> <mo>(</mo> <mfrac> <mrow> <msup> <mi>p</mi> <mi>R</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>R</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>R</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>R</mi> </msup> </mrow> <msqrt> <mrow> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mrow> <mo>&lsqb;</mo> <msup> <mi>p</mi> <mi>R</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>R</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>R</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>R</mi> </msup> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> <mo>-</mo> <mfrac> <mrow> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>G</mi> </msup> </mrow> <msqrt> <mrow> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mrow> <mo>&lsqb;</mo> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>G</mi> </msup> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>,</mo> </mrow>

其中,為所述左散斑圖像上所述參考子窗口內(nèi)像素點灰度平均值,為所述右散斑圖像上參考子窗口內(nèi)像素點灰度平均值,pR(uR,vR)為左散斑圖像所述參考子窗口內(nèi)像素點pR的灰度值,pG(uG,vG)為待匹配的右散斑圖像上的對應點pG的灰度值;

根據(jù)N-R迭代運算公式進行迭代運算,算出相關函數(shù)值sN,其中,

<mrow> <mo>&dtri;</mo> <mi>w</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mi>N</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msub> <mrow> <mo>&lsqb;</mo> <mrow> <mo>(</mo> <mfrac> <mrow> <msup> <mi>p</mi> <mi>R</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>R</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>R</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>R</mi> </msup> </mrow> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>R</mi> </msup> </mfrac> <mo>-</mo> <mfrac> <mrow> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>G</mi> </msup> </mrow> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>G</mi> </msup> </mfrac> <mo>)</mo> </mrow> <mo>&CenterDot;</mo> <mfrac> <mn>1</mn> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>G</mi> </msup> </mfrac> <mo>&CenterDot;</mo> <mfrac> <mrow> <mo>&part;</mo> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&part;</mo> <msub> <mi>s</mi> <mi>i</mi> </msub> </mrow> </mfrac> <mo>&rsqb;</mo> </mrow> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mi>M</mi> </mrow> </msub> <mo>,</mo> </mrow>

<mrow> <mo>&dtri;</mo> <mo>&dtri;</mo> <mi>w</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mi>N</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mo>-</mo> <mn>1</mn> </mrow> <msup> <mrow> <mo>(</mo> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mfrac> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msub> <mrow> <mo>(</mo> <mfrac> <mrow> <mo>&part;</mo> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&part;</mo> <msub> <mi>s</mi> <mi>i</mi> </msub> </mrow> </mfrac> <mo>&CenterDot;</mo> <mfrac> <mrow> <mo>&part;</mo> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&part;</mo> <msub> <mi>s</mi> <mi>j</mi> </msub> </mrow> </mfrac> <mo>)</mo> </mrow> <mtable> <mtr> <mtd> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mi>M</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mi>M</mi> </mrow> </mtd> </mtr> </mtable> </msub> <mo>,</mo> </mrow>

<mrow> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>R</mi> </msup> <mo>=</mo> <mfrac> <mn>1</mn> <msup> <mrow> <mo>(</mo> <mn>2</mn> <msub> <mi>w</mi> <mi>m</mi> </msub> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mfrac> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mi>p</mi> <mi>R</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>R</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>R</mi> </msup> <mo>)</mo> </mrow> <mo>,</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>G</mi> </msup> <mo>=</mo> <mfrac> <mn>1</mn> <msup> <mrow> <mo>(</mo> <mn>2</mn> <msub> <mi>w</mi> <mi>m</mi> </msub> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mfrac> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mo>,</mo> </mrow>

<mrow> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>R</mi> </msup> <mo>=</mo> <msqrt> <mrow> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mrow> <mo>&lsqb;</mo> <msup> <mi>p</mi> <mi>R</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>R</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>R</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>R</mi> </msup> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>,</mo> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>G</mi> </msup> <mo>=</mo> <msqrt> <mrow> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mrow> <mo>&lsqb;</mo> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>G</mi> </msup> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>,</mo> <mo>,</mo> </mrow>

其中,N的取值范圍為大于或等于1的整數(shù);初始狀態(tài)下,N取值為1,則s0為預置迭代初始估計值;▽w(sN-1)為相關函數(shù)在sN-1處的梯度值,▽▽w(sN-1)為相關函數(shù)在sN-1處的二次偏導,M表示s參數(shù)的個數(shù);

根據(jù)算出的相關函數(shù)值sN和二階視差模型算出坐標值,并對相鄰兩次迭代運算算出的相關函數(shù)值sN對應的坐標值求差,算出差值;

若所述差值小于預置閾值,則停止迭代運算,并將最后一次迭代運算算出的相關函數(shù)值sN對應的坐標值作為所述亞像素對應點。

5.根據(jù)權利要求3或4所述的方法,其特征在于,所述根據(jù)所述亞像素對應點的時間平均運算算出待三維重建的對應點包括:

對所述亞像素對應點PtG(i′,j′)進行時間平均運算,算出所述待三維重建的對應點

6.一種時空結合的散斑三維成像裝置,其特征在于,所述裝置包括:

獲取模塊,用于從預置時間序列中選取時間節(jié)點,并從選取的所述時間節(jié)點開始獲取左、右成像裝置分別輸出的一組左散斑圖像序列和一組右散斑圖像序列,其中所述左散斑圖像序列和所述右散斑圖像序列中包含的圖像的數(shù)量相同;

對應點搜索模塊,用于對所述左散斑圖像序列和所述右散斑圖像序列進行時間相關運算,以在所述右散斑圖像序列中確定整像素級對應點;

以及,根據(jù)所述整像素級對應點、空間相關函數(shù)以及所述左散斑圖像序列中各左散斑圖像的像素點坐標,對所述右散斑圖像序列中每幀右散斑圖像進行亞像素對應點搜索運算,得到亞像素對應點;

以及,根據(jù)所述亞像素對應點的時間平均運算算出待三維重建的對應點;

三維重建模塊,用于在所述時間節(jié)點上通過所述待三維重建的對應點進行三維重建。

7.根據(jù)權利要求6所述的裝置,其特征在于,所述對應點搜索模塊還用于執(zhí)行以下步驟:

根據(jù)時間相關計算公式對所述左散斑圖像序列和所述右散斑圖像序列進行時間相關運算,以在右散斑圖像序列中確定所述左散斑圖像序列中各像素點對應的對應點,所述時間相關計算公式為:

其中,Xi,j,t表示為左成像裝置圖像平面點(i,j)在第t幅左散斑圖像的灰度值,X′i′,j′,t表示右成像裝置圖像平面內(nèi)對應點(i′,j′)在第t幅右散斑圖像的灰度值,分別表示左、右成像裝置圖像平面內(nèi)點(i,j)和對應點(i′,j′)在k幅所述左散斑圖像序列的灰度平均值和在k幅所述右散斑圖像序列的灰度平均值,其中k為大于或等于2;

在通過所述時間相關計算公式的計算結果值中選取最大值對應的對應點作為整像素級對應點。

8.根據(jù)權利要求7所述的裝置,其特征在于,所述對應點搜索模塊還用于執(zhí)行以下步驟:

在所述左散斑圖像序列中各左散斑圖像內(nèi)創(chuàng)建窗口大小為(2wm+1)×(2wm+1)的參考子窗口;

將二階視差模型下的非線性空間相關函數(shù)w(s)作為N-R迭代運算的待優(yōu)化函數(shù);

<mrow> <mi>w</mi> <mrow> <mo>(</mo> <mi>s</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>1</mn> <mo>-</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mrow> <mo>(</mo> <mfrac> <mrow> <msup> <mi>p</mi> <mi>R</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>R</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>R</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>R</mi> </msup> </mrow> <msqrt> <mrow> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mrow> <mo>&lsqb;</mo> <msup> <mi>p</mi> <mi>R</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>R</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>R</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>R</mi> </msup> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> <mo>-</mo> <mfrac> <mrow> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>G</mi> </msup> </mrow> <msqrt> <mrow> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mrow> <mo>&lsqb;</mo> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>G</mi> </msup> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>,</mo> </mrow>

其中,為所述左散斑圖像上所述參考子窗口內(nèi)像素點灰度平均值,為所述右散斑圖像上參考子窗口內(nèi)像素點灰度平均值,pR(uR,vR)為左散斑圖像所述參考子窗口內(nèi)像素點pR的灰度值,pG(uG,vG)為待匹配的右散斑圖像上的對應點pG的灰度值;

按照預置迭代步數(shù),并根據(jù)N-R迭代運算公式進行迭代運算,確定最后一次迭代運算算出的相關函數(shù)值sN為結果值,其中,

<mrow> <mo>&dtri;</mo> <mi>w</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mi>N</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msub> <mrow> <mo>&lsqb;</mo> <mrow> <mo>(</mo> <mfrac> <mrow> <msup> <mi>p</mi> <mi>R</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>R</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>R</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>R</mi> </msup> </mrow> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>R</mi> </msup> </mfrac> <mo>-</mo> <mfrac> <mrow> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>G</mi> </msup> </mrow> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>G</mi> </msup> </mfrac> <mo>)</mo> </mrow> <mo>&CenterDot;</mo> <mfrac> <mn>1</mn> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>G</mi> </msup> </mfrac> <mo>&CenterDot;</mo> <mfrac> <mrow> <mo>&part;</mo> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&part;</mo> <msub> <mi>s</mi> <mi>i</mi> </msub> </mrow> </mfrac> <mo>&rsqb;</mo> </mrow> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mi>M</mi> </mrow> </msub> <mo>,</mo> </mrow>

<mrow> <mo>&dtri;</mo> <mo>&dtri;</mo> <mi>w</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mi>N</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mo>-</mo> <mn>1</mn> </mrow> <msup> <mrow> <mo>(</mo> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mfrac> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msub> <mrow> <mo>(</mo> <mfrac> <mrow> <mo>&part;</mo> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&part;</mo> <msub> <mi>s</mi> <mi>i</mi> </msub> </mrow> </mfrac> <mo>&CenterDot;</mo> <mfrac> <mrow> <mo>&part;</mo> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&part;</mo> <msub> <mi>s</mi> <mi>j</mi> </msub> </mrow> </mfrac> <mo>)</mo> </mrow> <mtable> <mtr> <mtd> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mi>M</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mi>M</mi> </mrow> </mtd> </mtr> </mtable> </msub> <mo>,</mo> </mrow>

<mrow> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>R</mi> </msup> <mo>=</mo> <mfrac> <mn>1</mn> <msup> <mrow> <mo>(</mo> <mn>2</mn> <msub> <mi>w</mi> <mi>m</mi> </msub> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mfrac> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mi>p</mi> <mi>R</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>R</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>R</mi> </msup> <mo>)</mo> </mrow> <mo>,</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>G</mi> </msup> <mo>=</mo> <mfrac> <mn>1</mn> <msup> <mrow> <mo>(</mo> <mn>2</mn> <msub> <mi>w</mi> <mi>m</mi> </msub> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mfrac> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mo>,</mo> </mrow>

<mrow> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>R</mi> </msup> <mo>=</mo> <msqrt> <mrow> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mrow> <mo>&lsqb;</mo> <msup> <mi>p</mi> <mi>R</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>R</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>R</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>R</mi> </msup> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>,</mo> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>G</mi> </msup> <mo>=</mo> <msqrt> <mrow> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mrow> <mo>&lsqb;</mo> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>G</mi> </msup> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>,</mo> </mrow>

其中,N的取值范圍為大于或等于1的整數(shù);初始狀態(tài)下,N取值為1,則s0為預置迭代初始估計值;▽w(sN-1)為相關函數(shù)在sN-1處的梯度值,▽▽w(sN-1)為相關函數(shù)在sN-1處的二次偏導,M表示s參數(shù)的個數(shù);

根據(jù)所述結果值和二階視差模型算出所述亞像素對應點。

9.根據(jù)權利要求7所述的裝置,其特征在于,所述對應點搜索模塊還用于執(zhí)行以下步驟:

在所述左散斑圖像序列中各左散斑圖像內(nèi)創(chuàng)建窗口大小為(2wm+1)×(2wm+1)的參考子窗口;

將二階視差模型下的非線性空間相關函數(shù)w(s)作為N-R迭代運算的待優(yōu)化函數(shù);

<mrow> <mi>w</mi> <mrow> <mo>(</mo> <mi>s</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>1</mn> <mo>-</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mrow> <mo>(</mo> <mfrac> <mrow> <msup> <mi>p</mi> <mi>R</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>R</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>R</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>R</mi> </msup> </mrow> <msqrt> <mrow> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mrow> <mo>&lsqb;</mo> <msup> <mi>p</mi> <mi>R</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>R</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>R</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>R</mi> </msup> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> <mo>-</mo> <mfrac> <mrow> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>G</mi> </msup> </mrow> <msqrt> <mrow> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mrow> <mo>&lsqb;</mo> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>G</mi> </msup> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>,</mo> </mrow>

其中,為所述左散斑圖像上所述參考子窗口內(nèi)像素點灰度平均值,為所述右散斑圖像上參考子窗口內(nèi)像素點灰度平均值,pR(uR,vR)為左散斑圖像所述參考子窗口內(nèi)像素點pR的灰度值,pG(uG,vG)為待匹配的右散斑圖像上的對應點pG的灰度值;

根據(jù)N-R迭代運算公式進行迭代運算,算出相關函數(shù)值sN,其中,

<mrow> <mo>&dtri;</mo> <mi>w</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mi>N</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msub> <mrow> <mo>&lsqb;</mo> <mrow> <mo>(</mo> <mfrac> <mrow> <msup> <mi>p</mi> <mi>R</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>R</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>R</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>R</mi> </msup> </mrow> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>R</mi> </msup> </mfrac> <mo>-</mo> <mfrac> <mrow> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>G</mi> </msup> </mrow> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>G</mi> </msup> </mfrac> <mo>)</mo> </mrow> <mo>&CenterDot;</mo> <mfrac> <mn>1</mn> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>G</mi> </msup> </mfrac> <mo>&CenterDot;</mo> <mfrac> <mrow> <mo>&part;</mo> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&part;</mo> <msub> <mi>s</mi> <mi>i</mi> </msub> </mrow> </mfrac> <mo>&rsqb;</mo> </mrow> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mi>M</mi> </mrow> </msub> <mo>,</mo> </mrow>

<mrow> <mo>&dtri;</mo> <mo>&dtri;</mo> <mi>w</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mi>N</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mo>-</mo> <mn>1</mn> </mrow> <msup> <mrow> <mo>(</mo> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mfrac> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msub> <mrow> <mo>(</mo> <mfrac> <mrow> <mo>&part;</mo> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&part;</mo> <msub> <mi>s</mi> <mi>i</mi> </msub> </mrow> </mfrac> <mo>&CenterDot;</mo> <mfrac> <mrow> <mo>&part;</mo> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&part;</mo> <msub> <mi>s</mi> <mi>j</mi> </msub> </mrow> </mfrac> <mo>)</mo> </mrow> <mtable> <mtr> <mtd> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mi>M</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mi>M</mi> </mrow> </mtd> </mtr> </mtable> </msub> <mo>,</mo> </mrow>

<mrow> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>R</mi> </msup> <mo>=</mo> <mfrac> <mn>1</mn> <msup> <mrow> <mo>(</mo> <mn>2</mn> <msub> <mi>w</mi> <mi>m</mi> </msub> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mfrac> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mi>p</mi> <mi>R</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>R</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>R</mi> </msup> <mo>)</mo> </mrow> <mo>,</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>G</mi> </msup> <mo>=</mo> <mfrac> <mn>1</mn> <msup> <mrow> <mo>(</mo> <mn>2</mn> <msub> <mi>w</mi> <mi>m</mi> </msub> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mfrac> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mo>,</mo> </mrow>

<mrow> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>R</mi> </msup> <mo>=</mo> <msqrt> <mrow> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mrow> <mo>&lsqb;</mo> <msup> <mi>p</mi> <mi>R</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>R</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>R</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>R</mi> </msup> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>,</mo> <msup> <mover> <mi>&sigma;</mi> <mo>~</mo> </mover> <mi>G</mi> </msup> <mo>=</mo> <msqrt> <mrow> <munderover> <mi>&Sigma;</mi> <mrow> <mi>u</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <munderover> <mi>&Sigma;</mi> <mrow> <mi>v</mi> <mo>=</mo> <mo>-</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> </munderover> <msup> <mrow> <mo>&lsqb;</mo> <msup> <mi>p</mi> <mi>G</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mi>G</mi> </msup> <mo>,</mo> <msup> <mi>v</mi> <mi>G</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mover> <mi>p</mi> <mo>&OverBar;</mo> </mover> <mi>G</mi> </msup> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>,</mo> <mo>,</mo> </mrow>

其中,N的取值范圍為大于或等于1的整數(shù);初始狀態(tài)下,N取值為1,則s0為預置迭代初始估計值;▽w(sN-1)為相關函數(shù)在sN-1處的梯度值,▽▽w(sN-1)為相關函數(shù)在sN-1處的二次偏導,M表示s參數(shù)的個數(shù);

根據(jù)算出的相關函數(shù)值sN和二階視差模型算出坐標值,并對相鄰兩次迭代運算算出的相關函數(shù)值sN對應的坐標值求差,算出差值;

若所述差值小于預置閾值,則停止迭代運算,并將最后一次迭代運算算出的相關函數(shù)值sN對應的坐標值作為所述亞像素對應點。

10.根據(jù)權利要求8或9所述的裝置,其特征在于,

所述對應點搜索模塊,還用于對所述亞像素對應點PtG(i′,j′)進行時間平均運算,算出所述待三維重建的對應點

當前第2頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1