專利名稱：一種基于雙目立體視覺多視角的物體表面重建方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計算機視覺測量技術(shù)領(lǐng)域，具體涉及一種基于雙目立體視覺多視角的物體表面重建方法及裝置。
背景技術(shù)：
雙目立體視覺是計算機視覺中的一個重要研究領(lǐng)域，即直接模擬人類雙眼處理景物的方式，對空間點進行立體定位，有適用性廣，方法簡單等特點?；谟嬎銠C視覺的雙目立體測量系統(tǒng)是一個高效率的物體表面三維信息獲取工具，在各個領(lǐng)域有廣泛的應(yīng)用前景。如在工業(yè)檢測領(lǐng)域，應(yīng)用該技術(shù)可以對三維物體的形貌測量，可以檢測出物體表面是否變形，為確定零件的質(zhì)量提供判斷的依據(jù)；在文物保護領(lǐng)域，應(yīng)用該技術(shù)能將真實文物古跡的三維幾何信息都記錄下來，那么這些文物古跡的數(shù)字模型就可以永久地保存下來。
雙目立體測量系統(tǒng)包括供待測物體放置的轉(zhuǎn)盤、左右兩臺攝像機和與攝像機連接的計算機；在雙目立體測量系統(tǒng)中為了降低像素匹配難度，通常利用投影儀向物體投射一系列格雷碼等編碼的光條圖像，將鄰域窗從空間域擴展到時空域，但這樣得到的深度圖像數(shù)據(jù)含有較強的條紋模式?；谟嬎銠C立體視覺的雙目立體測量系統(tǒng)涉及到對物體三維表面進行重建，而重建過程中的對物體表面采樣點的配準是一個關(guān)鍵步驟。物體三維表面采樣點的配準方法分有被動式和主動式兩類。主動式方法是指在各個視角的深度圖像數(shù)據(jù)采集時就主動地去記錄可以導(dǎo)出各觀察角度互相位置的信息，這種方法往往需要精密昂貴的移位裝置，或者需要物體表面有明顯的可以提取的特征等諸多不方便的地方。被動式方法是指從兩兩視角三維曲面數(shù)據(jù)本身信息中提取相互之間的旋轉(zhuǎn)平移關(guān)系，并將其對齊至同一坐標系中。Besl等人在標題為A method of registration of3D shape (IEEE Trans. PAMI，1992，14 (2) :239-256)的文章中提出的迭代最近點(ICP)算法就是一種比較典型的被動式方法；但該方法若所給初值不當(dāng)，算法將會陷入局部最小，造成迭代不能收斂到正確的結(jié)果；另一方面，ICP算法是一個迭代的過程，每一次迭代的過程都要確定對應(yīng)點，算法的大部分時間是在尋找對應(yīng)點，這樣的ICP算法速度往往受到很大的限制。

發(fā)明內(nèi)容
針對現(xiàn)有技術(shù)所存在的上述技術(shù)缺陷，本發(fā)明提供了一種基于雙目立體視覺多視角的物體表面重建方法及裝置，能夠解決配準過程陷入局部最小，配準結(jié)果錯誤等問題，提高重建生成的三維深度數(shù)據(jù)圖像的質(zhì)量。一種基于雙目立體視覺多視角的物體表面重建方法，包括如下步驟(I)構(gòu)建由左攝像機和右攝像機構(gòu)成的雙目立體視覺系統(tǒng)，并建立攝像機坐標系；對所述的雙目立體視覺系統(tǒng)進行標定，得到系統(tǒng)的標定參數(shù)；所述的攝像機坐標系為左攝像機坐標系或右攝像機坐標系；所述的標定參數(shù)包括左攝像機坐標系的內(nèi)參數(shù)和外參數(shù)、右攝像機坐標系的內(nèi)參數(shù)和外參數(shù)以及左攝像機坐標系與右攝像機坐標系的旋轉(zhuǎn)矩陣和平移向量；(2)利用投影儀向處于轉(zhuǎn)盤上的物體投射光條圖像，并使左攝像機和右攝像機對物體進行多視角攝像，獲得若干張物體圖像；根據(jù)這些物體圖像以及所述的標定參數(shù)求得物體表面的三維空間信息；物體表面的三維空間信息包含各視角下物體表面所有采樣點在攝像機坐標系下的坐標；(3)建立轉(zhuǎn)盤坐標系，計算轉(zhuǎn)盤的轉(zhuǎn)軸的三維空間信息；轉(zhuǎn)軸的三維空間信息包含轉(zhuǎn)軸在攝像機坐標系下的方向以及轉(zhuǎn)軸上的一點在攝像機坐標系下的坐標；(4)根據(jù)轉(zhuǎn)軸的三維空間信息計算出轉(zhuǎn)盤坐標系與攝像機坐標系的旋轉(zhuǎn)矩陣和平移向量，進而對物體表面的三維空間信息進行配準；
(5)對物體表面配準后的三維空間信息進行數(shù)據(jù)融合，得到物體的三維表面重建模型。光條圖像的光條編碼模式可基于格雷碼、Sawtooth(鋸齒)碼等。優(yōu)選地，所述的光條圖像的光條編碼模式基于格雷碼。雙目區(qū)域匹配最大的弱點就是對于空間物體無紋理區(qū)域，或者紋理信息重復(fù)的區(qū)域，匹配難度較大；采用基于格雷碼的光條編碼模式可以較好地解決這個問題。優(yōu)選地，所述的步驟(2)中，使左攝像機和右攝像機對物體進行多視角攝像的過程為首先，對當(dāng)前轉(zhuǎn)盤上的物體進行攝像，獲得一組物體圖像；然后，使轉(zhuǎn)盤沿一方向每旋轉(zhuǎn)360/n度后，對物體進行攝像，直至轉(zhuǎn)盤旋轉(zhuǎn)完一周，共獲得n組物體圖像；n為視角個數(shù)且為大于4的自然數(shù)；每組物體圖像中包含由左攝像機和右攝像機分別采集到的多張物體圖像，且左攝像機采集到的物體圖像與右攝像機采集到的物體圖像數(shù)量相同。通過這種方法就可以完整的獲得物體全方位的點信息。優(yōu)選地，所述的步驟(3)中，計算轉(zhuǎn)軸在攝像機坐標系下的方向的過程如下a.在轉(zhuǎn)盤上設(shè)立棋盤格，利用左攝像機對棋盤格進行多視角攝像，每個視角采集一張棋盤格圖像，獲得多張棋盤格圖像；b.根據(jù)多張棋盤格圖像以及標定參數(shù)計算出各視角下棋盤格上所有交叉點在攝像機坐標系下的坐標；c.根據(jù)各視角下每個交叉點在攝像機坐標系下的坐標，確定每個交叉點所對應(yīng)的旋轉(zhuǎn)平面，進而計算每個旋轉(zhuǎn)平面在攝像機坐標系下的法向；d.對所有交叉點對應(yīng)的法向求平均，則求得的平均法向即為轉(zhuǎn)軸在攝像機坐標系下的方向。獲得多個法向后求平均可以較好地避免個別數(shù)據(jù)點出現(xiàn)很大偏差，進而影響最終求解結(jié)果的問題。優(yōu)選地，所述的步驟(3)中，計算轉(zhuǎn)軸上的一點在攝像機坐標系下的坐標的過程如下a.在轉(zhuǎn)盤上設(shè)立棋盤格，利用左攝像機對棋盤格進行多視角攝像，每個視角采集一張棋盤格圖像，獲得多張棋盤格圖像；b.根據(jù)多張棋盤格圖像以及標定參數(shù)計算出各視角下棋盤格上所有交叉點在攝像機坐標系下的坐標；c.根據(jù)各視角下每個交叉點在攝像機坐標系下的坐標，確定每個交叉點所對應(yīng)的旋轉(zhuǎn)圓弧，進而計算每個旋轉(zhuǎn)圓弧的圓心在攝像機坐標系下的坐標；d.對所有交叉點對應(yīng)的圓心的坐標求平均，則求得的平均坐標即為轉(zhuǎn)軸上的一點在攝像機坐標系下的坐標。棋盤格點圍繞轉(zhuǎn)軸旋轉(zhuǎn)，因此可以計算每個旋轉(zhuǎn)圓弧的圓心即為轉(zhuǎn)軸上的一點，這種方法是獲取轉(zhuǎn)軸上一點最為簡單的一種方法。進一步優(yōu)選地，利用左攝像機對棋盤格進行多視角攝像的方法為首先，對當(dāng)前轉(zhuǎn)盤上的棋盤格進行攝像，獲得一張棋盤格圖像；然后，使轉(zhuǎn)盤沿一方向每旋轉(zhuǎn)e/m度后，對棋盤格進行攝像，直至轉(zhuǎn)盤旋轉(zhuǎn)完e度，共獲得m張棋盤格圖像；m為大于3的自然數(shù)，0 為棋盤可見視角。在棋盤可見視角內(nèi)拍照能使棋盤格都在左攝像機的視場內(nèi)，因此在棋盤格點信息可以全部提取用來進一步計算。進一步優(yōu)選地，計算每個旋轉(zhuǎn)圓弧的圓心在攝像機坐標系下的坐標的過程如下I)根據(jù)各視角下每個交叉點在攝像機坐標系下的坐標，確定每個交叉點所對應(yīng)的旋轉(zhuǎn)平面，進而計算每個旋轉(zhuǎn)平面在攝像機坐標系下的法向；2)對所有交叉點對應(yīng)的法向求平均，則求得的平均法向即為轉(zhuǎn)軸在攝像機坐標系下的方向；3)根據(jù)轉(zhuǎn)軸在攝像機坐標系下的方向，將各視角下每個交叉點在攝像機坐標系下的坐標轉(zhuǎn)換為在轉(zhuǎn)盤坐標系下的坐標；4)根據(jù)各視角下每個交叉點在轉(zhuǎn)盤坐標系下的坐標，確定每個交叉點所對應(yīng)的旋轉(zhuǎn)圓弧，進而計算每個旋轉(zhuǎn)圓弧的圓心在轉(zhuǎn)盤坐標系下的坐標；5)根據(jù)轉(zhuǎn)軸在攝像機坐標系下的方向，將每個交叉點對應(yīng)的圓心在轉(zhuǎn)盤坐標系下的坐標轉(zhuǎn)換為在攝像機坐標系下的坐標。將各視角下每個交叉點在攝像機坐標系下的坐標轉(zhuǎn)換為在轉(zhuǎn)盤坐標系下的坐標后，交叉點坐標可以從三維變換至二維，可以利用平面擬合圓的方法獲得旋轉(zhuǎn)圓弧的圓心，這種方法比直接在三維情況下求解簡單很多。所述的步驟(4)中，根據(jù)以下算式計算轉(zhuǎn)盤坐標系與攝像機坐標系的平移向量；
X = n k + X
pXcP = [xp, yp, zp]T < yp = nyk + yc =Of= (nx, ny, nz) C = [xc, yc, zj
z = n k + z
L P 2C其中P為轉(zhuǎn)盤坐標系與攝像機坐標系的平移向量，F(xiàn)為轉(zhuǎn)軸在攝像機坐標系下的方向，C為轉(zhuǎn)軸上的一點在攝像機坐標系下的坐標。所述的步驟(4)中，計算轉(zhuǎn)盤坐標系與攝像機坐標系的旋轉(zhuǎn)矩陣的過程如下a.使轉(zhuǎn)盤坐標系的Y軸與攝像機坐標系的Y軸對齊，計算出基于Y軸對齊的旋轉(zhuǎn)矩陣Ry ；b.使轉(zhuǎn)盤坐標系的X軸與攝像機坐標系的X軸對齊，計算出基于X軸對齊的旋轉(zhuǎn)矩陣Rx ；c.根據(jù)算式R = RxRy,計算出轉(zhuǎn)盤坐標系與攝像機坐標系的旋轉(zhuǎn)矩陣R。所述的步驟(4)中，根據(jù)以下算式對物體表面的三維空間信息進行配準；

權(quán)利要求
1.一種基于雙目立體視覺多視角的物體表面重建方法，包括如下步驟 (1)構(gòu)建由左攝像機和右攝像機構(gòu)成的雙目立體視覺系統(tǒng)，并建立攝像機坐標系；對所述的雙目立體視覺系統(tǒng)進行標定，得到系統(tǒng)的標定參數(shù)； (2)利用投影儀向處于轉(zhuǎn)盤上的物體投射光條圖像，并使左攝像機和右攝像機對物體進行多視角攝像，獲得若干張物體圖像；根據(jù)這些物體圖像以及所述的標定參數(shù)求得物體表面的三維空間信息； (3)建立轉(zhuǎn)盤坐標系，計算轉(zhuǎn)盤的轉(zhuǎn)軸的三維空間信息；轉(zhuǎn)軸的三維空間信息包含轉(zhuǎn)軸在攝像機坐標系下的方向以及轉(zhuǎn)軸上的一點在攝像機坐標系下的坐標； (4)根據(jù)轉(zhuǎn)軸的三維空間信息計算出轉(zhuǎn)盤坐標系與攝像機坐標系的旋轉(zhuǎn)矩陣和平移向量，進而對物體表面的三維空間信息進行配準； (5)對物體表面配準后的三維空間信息進行數(shù)據(jù)融合，得到物體的三維表面重建模型。
2.根據(jù)權(quán)利要求I所述的基于雙目立體視覺多視角的物體表面重建方法，其特征在于所述的光條圖像的光條編碼模式基于格雷碼。
3.根據(jù)權(quán)利要求I所述的基于雙目立體視覺多視角的物體表面重建方法，其特征在于所述的步驟(2)中，利用左攝像機和右攝像機對物體進行多視角攝像的過程為首先，對當(dāng)前轉(zhuǎn)盤上的物體進行攝像，獲得一組物體圖像；然后，使轉(zhuǎn)盤沿一方向每旋轉(zhuǎn)360/n度后，對物體進行攝像，直至轉(zhuǎn)盤旋轉(zhuǎn)完一周，共獲得n組物體圖像； n為視角個數(shù)且為大于4的自然數(shù)；每組物體圖像中包含由左攝像機和右攝像機分別采集到的多張物體圖像，且左攝像機采集到的物體圖像與右攝像機采集到的物體圖像數(shù)量相同。
4.根據(jù)權(quán)利要求I所述的基于雙目立體視覺多視角的物體表面重建方法，其特征在于所述的步驟(3)中，計算轉(zhuǎn)軸在攝像機坐標系下的方向的過程如下 a.在轉(zhuǎn)盤上設(shè)立棋盤格，利用左攝像機對棋盤格進行多視角攝像，每個視角采集一張棋盤格圖像，獲得多張棋盤格圖像； b.根據(jù)多張棋盤格圖像以及標定參數(shù)計算出各視角下棋盤格上所有交叉點在攝像機坐標系下的坐標； c.根據(jù)各視角下每個交叉點在攝像機坐標系下的坐標，確定每個交叉點所對應(yīng)的旋轉(zhuǎn)平面，進而計算每個旋轉(zhuǎn)平面在攝像機坐標系下的法向； d.對所有交叉點對應(yīng)的法向求平均，則求得的平均法向即為轉(zhuǎn)軸在攝像機坐標系下的方向。
5.根據(jù)權(quán)利要求I所述的基于雙目立體視覺多視角的物體表面重建方法，其特征在于所述的步驟(3)中，計算轉(zhuǎn)軸上的一點在攝像機坐標系下的坐標的過程如下 a.在轉(zhuǎn)盤上設(shè)立棋盤格，利用左攝像機對棋盤格進行多視角攝像，每個視角采集一張棋盤格圖像，獲得多張棋盤格圖像； b.根據(jù)多張棋盤格圖像以及標定參數(shù)計算出各視角下棋盤格上所有交叉點在攝像機坐標系下的坐標； c.根據(jù)各視角下每個交叉點在攝像機坐標系下的坐標，確定每個交叉點所對應(yīng)的旋轉(zhuǎn)圓弧，進而計算每個旋轉(zhuǎn)圓弧的圓心在攝像機坐標系下的坐標； d.對所有交叉點對應(yīng)的圓心的坐標求平均，則求得的平均坐標即為轉(zhuǎn)軸上的一點在攝像機坐標系下的坐標。
6.根據(jù)權(quán)利要求4或5所述的基于雙目立體視覺多視角的物體表面重建方法，其特征在于利用左攝像機對棋盤格進行多視角攝像的方法為首先，對當(dāng)前轉(zhuǎn)盤上的棋盤格進行攝像，獲得一張棋盤格圖像；然后，使轉(zhuǎn)盤沿一方向每旋轉(zhuǎn)e /m度后，對棋盤格進行攝像，直至轉(zhuǎn)盤旋轉(zhuǎn)完e度，共獲得m張棋盤格圖像；m為視角個數(shù)且為大于3的自然數(shù)，0為棋盤可見視角。
7.根據(jù)權(quán)利要求5所述的基于雙目立體視覺多視角的物體表面重建方法，其特征在于計算每個旋轉(zhuǎn)圓弧的圓心在攝像機坐標系下的坐標的過程如下 .1)根據(jù)各視角下每個交叉點在攝像機坐標系下的坐標，確定每個交叉點所對應(yīng)的旋轉(zhuǎn)平面，進而計算每個旋轉(zhuǎn)平面在攝像機坐標系下的法向； .2)對所有交叉點對應(yīng)的法向求平均，則求得的平均法向即為轉(zhuǎn)軸在攝像機坐標系下的方向； .3)根據(jù)轉(zhuǎn)軸在攝像機坐標系下的方向，將各視角下每個交叉點在攝像機坐標系下的坐標轉(zhuǎn)換為在轉(zhuǎn)盤坐標系下的坐標； .4)根據(jù)各視角下每個交叉點在轉(zhuǎn)盤坐標系下的坐標，確定每個交叉點所對應(yīng)的旋轉(zhuǎn)圓弧，進而計算每個旋轉(zhuǎn)圓弧的圓心在轉(zhuǎn)盤坐標系下的坐標； .5)根據(jù)轉(zhuǎn)軸在攝像機坐標系下的方向，將每個交叉點對應(yīng)的圓心在轉(zhuǎn)盤坐標系下的坐標轉(zhuǎn)換為在攝像機坐標系下的坐標。
8.根據(jù)權(quán)利要求I所述的基于雙目立體視覺多視角的物體表面重建方法，其特征在于所述的步驟(4)中，根據(jù)以下算式計算轉(zhuǎn)盤坐標系與攝像機坐標系的平移向量；X = n k + XpXcP = [xp, yp, Zp]T< yp = nyk + yc =Of= (nx, ny, nz)C = [xc, Yc, Zc] z = n k + z L P zc 其中P為轉(zhuǎn)盤坐標系與攝像機坐標系的平移向量，F(xiàn)為轉(zhuǎn)軸在攝像機坐標系下的方向，C為轉(zhuǎn)軸上的一點在攝像機坐標系下的坐標。
9.根據(jù)權(quán)利要求I所述的基于雙目立體視覺多視角的物體表面重建方法，其特征在于所述的步驟(4)中，計算轉(zhuǎn)盤坐標系與攝像機坐標系的旋轉(zhuǎn)矩陣的過程如下 a.使轉(zhuǎn)盤坐標系的Y軸與攝像機坐標系的Y軸對齊，計算出基于Y軸對齊的旋轉(zhuǎn)矩陣Ry ； b.使轉(zhuǎn)盤坐標系的X軸與攝像機坐標系的X軸對齊，計算出基于X軸對齊的旋轉(zhuǎn)矩陣Rx; C.根據(jù)算式R = RxRy,計算出轉(zhuǎn)盤坐標系與攝像機坐標系的旋轉(zhuǎn)矩陣R。
10.一種基于雙目立體視覺多視角的物體表面重建裝置，包括 用于供物體放置的轉(zhuǎn)盤； 用于驅(qū)動轉(zhuǎn)盤旋轉(zhuǎn)的電機； 用于向轉(zhuǎn)盤上的物體投射光條圖像的投影儀； 用于對轉(zhuǎn)盤上的物體進行攝像的雙目立體視覺系統(tǒng)，所述的雙目立體視覺系統(tǒng)由左攝像機和右攝像機構(gòu)成； 與電機、投影儀、左攝像機和右攝像機連接的計算機； 其特征在于所述的計算機包括 圖像存儲模塊，用于存儲所述的光條圖像以及左攝像機和右攝像機采集到的物體圖像； 系統(tǒng)標定模塊，用于根據(jù)所述的物體圖像對雙目立體視覺系統(tǒng)進行標定，得到標定參數(shù)； 雙目重建模塊，用于根據(jù)所述的標定參數(shù)對物體圖像進行重建，得到物體表面的三維空間信息； 信息配準模塊，用于對物體表面的三維空間信息進行配準； 數(shù)據(jù)融合模塊，用于對物體表面配準后的三維空間信息進行數(shù)據(jù)融合，得到物體的三維表面重建模型； 人機界面模塊，用于顯示物體的三維表面重建模型，并接收用戶輸入的指令信息以對上述除圖像存儲模塊以外的各模塊以及電機進行參數(shù)設(shè)定。
全文摘要
本發(fā)明公開了一種基于雙目立體視覺多視角的物體表面重建方法，包括(1)構(gòu)建雙目立體視覺系統(tǒng)，并對系統(tǒng)進行標定；(2)對物體多視角攝像，獲得物體表面三維空間信息；(3)計算轉(zhuǎn)軸的三維空間信息；(4)計算旋轉(zhuǎn)矩陣和平移向量，對物體表面三維空間信息進行配準；(5)對物體表面進行重建。本發(fā)明還公開了一種基于雙目立體視覺多視角的物體表面重建裝置，包括轉(zhuǎn)盤、電機、投影儀、左攝像機、右攝像機和計算機。本發(fā)明能夠解決傳統(tǒng)基于ICP算法的重建方法在配準過程中陷入局部最小，配準結(jié)果錯誤等問題，且能提高重建生成的三維深度數(shù)據(jù)圖像的質(zhì)量，整個過程較為簡單，計算量小。
文檔編號G06T9/00GK102663753SQ20121010739
公開日2012年9月12日 申請日期2012年4月12日 優(yōu)先權(quán)日2012年4月12日
發(fā)明者李懷澤, 沈會良, 程岳 申請人:浙江大學(xué)