專利名稱：一種基于多深度圖的非剛體三維重建方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，特別涉及一種基于多深度圖的非剛體三維重建方法及系統(tǒng)。
背景技術(shù)：
三維重建是計(jì)算機(jī)視覺領(lǐng)域的重點(diǎn)問題。高質(zhì)量的三維模型在影視娛樂、文物保護(hù)、機(jī)械加工等各個(gè)領(lǐng)域都有著重要的應(yīng)用價(jià)值。但是高質(zhì)量三維模型的獲取通常依靠?jī)r(jià)格昂貴的激光掃描儀實(shí)現(xiàn)，雖然精度得以保證，但是也存在著兩個(gè)缺點(diǎn):第一、激光掃描儀在掃描過程中要求被掃物體絕對(duì)靜止，微小的移動(dòng)就會(huì)導(dǎo)致掃描結(jié)果存在明顯的誤差；第二，激光掃描儀價(jià)格不菲，很難普及從而擴(kuò)大民用價(jià)值。

發(fā)明內(nèi)容
本發(fā)明旨在至少解決上述技術(shù)問題之一。為此，本發(fā)明的一個(gè)目的在于提出一種基于多深度圖的非剛體三維重建方法。該方法求解準(zhǔn)確魯棒，消除了累加誤差所會(huì)帶來的影響，且運(yùn)行速度快，擁有廣闊的應(yīng)用前本發(fā)明的另一目的在于提出一種基于多深度圖的非剛體三維重建系統(tǒng)。為了實(shí)現(xiàn)上述目的，本發(fā)明第一方面的實(shí)施例提出了一種基于多深度圖的非剛體三維重建方法，包括以下步驟:對(duì)非剛體以不同角度和不同姿態(tài)進(jìn)行深度圖拍攝以得到多個(gè)深度圖；將每個(gè)深度圖變換為一組三維點(diǎn)云，并獲取多組三維點(diǎn)云之間的多個(gè)匹配點(diǎn)對(duì)；對(duì)每個(gè)匹配點(diǎn)進(jìn)行位置變換，并求取所述位置變換后的每個(gè)匹配點(diǎn)對(duì)應(yīng)的變換參數(shù)；對(duì)所有變換參數(shù)進(jìn)行拼接，并根據(jù)拼接結(jié)果建立能量函數(shù)；以及對(duì)所述能量函數(shù)進(jìn)行求解，以根據(jù)求解結(jié)果重建所述非剛體的三維模型。根據(jù)本發(fā)明實(shí)施例的基于多深度圖的非剛體三維重建方法，利用深度相機(jī)對(duì)同一非剛性物體不同角度、不同姿態(tài)拍攝采集到的深度圖，并基于上述深度圖完成對(duì)非剛體的三維幾何建模的功能。該方法需求的輸入信息簡(jiǎn)單易采集，并可得到高精度的完整三維模型。該方法求解準(zhǔn)確魯棒，消除了累加誤差所會(huì)帶來的影響。另外，該方法簡(jiǎn)單易行，且運(yùn)行速度快，擁有廣闊的應(yīng)用前景，可以在普通PC機(jī)或工作站等硬件系統(tǒng)上實(shí)現(xiàn)。另外，根據(jù)本發(fā)明上述實(shí)施例的基于多深度圖的非剛體三維重建方法還可以具有如下附加的技術(shù)特征:在一些示例中，通過深度相機(jī)對(duì)所述非剛體進(jìn)行拍攝以得到所述多個(gè)深度圖。在一些示例中，所述將每個(gè)深度圖變換為一組三維點(diǎn)云，進(jìn)一步包括:獲取所述深度相機(jī)的內(nèi)參矩陣；根據(jù)所述內(nèi)參矩陣將所述每個(gè)深度圖變換為一組三維點(diǎn)云。在一些示例中，所述變換的變換公式為:pj =其中，U，V為像
素坐標(biāo)，dc(u, V)為第c張深度圖上像素(U，V)位置上的深度值,所述K為內(nèi)參矩陣。在一些示例中，所述對(duì)每個(gè)匹配點(diǎn)進(jìn)行位置變換，并求取所述位置變換后的每個(gè)匹配點(diǎn)對(duì)應(yīng)的變換參數(shù)，進(jìn)一步包括:計(jì)算所述每個(gè)匹配點(diǎn)的旋轉(zhuǎn)矩陣和偏移向量；根據(jù)所述旋轉(zhuǎn)矩陣和偏移向量得到所述每個(gè)匹配點(diǎn)的位置變換方程；根據(jù)所述的位置變換方程得到所述每個(gè)匹配點(diǎn)對(duì)應(yīng)的變換參數(shù)。在一些示例中，所述位置變換方程為:P' =Rp+t,其中,P為匹配點(diǎn),R為旋轉(zhuǎn)矩陣，t為偏移向量。在一些示例中，所述能量函數(shù)為:X=argminxa eEe+a fEf+a nEn,其中，EeS拓?fù)浼s束，Ef為特征約束，En為最近點(diǎn)約束，a e、a f、a ^分別為Ee、Ef和En的權(quán)重系數(shù)。本發(fā)明第二方面的實(shí)施例提供了一種基于多深度圖的非剛體三維重建系統(tǒng)，包括:深度相機(jī)，所述深度相機(jī)用于對(duì)非剛體以不同角度和不同姿態(tài)進(jìn)行深度圖拍攝以得到多個(gè)深度圖；匹配模塊，用于將每個(gè)深度圖變換為一組三維點(diǎn)云，并獲取多組三維點(diǎn)云之間的多個(gè)匹配點(diǎn)對(duì)；變換模塊，用于對(duì)每個(gè)匹配點(diǎn)進(jìn)行位置變換，并求取所述位置變換后的每個(gè)匹配點(diǎn)對(duì)應(yīng)的變換參數(shù)；拼接模塊，用于對(duì)所有變換參數(shù)進(jìn)行拼接，并根據(jù)拼接結(jié)果建立能量函數(shù)；以及三維重建模塊，用于對(duì)所述能量函數(shù)進(jìn)行求解，以根據(jù)求解結(jié)果重建所述非剛體的三維模型。根據(jù)本發(fā)明實(shí)施例的基于多深度圖的非剛體三維重建系統(tǒng)，利用深度相機(jī)對(duì)同一非剛性物體不同角度、不同姿態(tài)拍攝采集到的深度圖，并基于上述深度圖完成對(duì)非剛體的三維幾何建模的功能。該系統(tǒng)需求的輸入信息簡(jiǎn)單易采集，并可得到高精度的完整三維模型。該系統(tǒng)求解準(zhǔn)確魯棒，消除了累加誤差所會(huì)帶來的影響。另外，該系統(tǒng)成本低，且運(yùn)行速度快，擁有廣闊的應(yīng)用前景，可以在普通PC機(jī)或工作站等硬件系統(tǒng)上實(shí)現(xiàn)。本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。


本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中:圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于多深度圖的非剛體三維重建方法的流程圖；以及圖2是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于多深度圖的非剛體三維重建系統(tǒng)的結(jié)構(gòu)圖。
具體實(shí)施例方式下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。在本發(fā)明的描述中，需要理解的是，術(shù)語(yǔ)“中心”、“縱向”、“橫向”、“上”、“下”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”、“內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置 關(guān)系，僅是為了便于描述本發(fā)明和簡(jiǎn)化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對(duì)本發(fā)明的限制。此外，術(shù)語(yǔ)“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對(duì)重要性。
在本發(fā)明的描述中，需要說明的是，除非另有明確的規(guī)定和限定，術(shù)語(yǔ)“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機(jī)械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個(gè)元件內(nèi)部的連通。對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以具體情況理解上述術(shù)語(yǔ)在本發(fā)明中的具體含義。以下結(jié)合附圖描述根據(jù)本發(fā)明實(shí)施例的基于多深度圖的非剛體三維重建方法及系統(tǒng)。圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于多深度圖的非剛體三維重建方法的流程圖。如圖1所示，該方法包括如下步驟:步驟SlOl:對(duì)非剛體以不同角度和不同姿態(tài)進(jìn)行深度圖拍攝以得到多個(gè)深度圖。具體地，可通過深度相機(jī)對(duì)非剛體進(jìn)行拍攝以得到多個(gè)深度圖。即利用深度相機(jī)對(duì)同一非剛性物體(非剛體)以不同角度、不同姿態(tài)進(jìn)行拍攝多個(gè)深度圖，并采集上述多個(gè)深度圖?！げ襟ES102:將每個(gè)深度圖變換為一組三維點(diǎn)云，并獲取多組三維點(diǎn)云之間的多個(gè)匹配點(diǎn)對(duì)。在本發(fā)明的一個(gè)示例中，將每個(gè)深度圖變換為一組三維點(diǎn)云包括:I)獲取深度相機(jī)的內(nèi)參矩陣。2)根據(jù)內(nèi)參矩陣將每個(gè)深度圖變換為一組三維點(diǎn)云。其中，變換的變換公式為:Pc! = /i_1(u,v,c^(u,v))T，其中，U，V為像素坐標(biāo)，dc(u, V)為第c張深度圖上像素(u, V)位置上的深度值，所述K為內(nèi)參矩陣。具體地說，例如:存在Nf張深度圖，則輸入Nf張深度圖d。(U，V)，c=l, 2，-,Nf,給定深度相機(jī)內(nèi)參矩陣K，每張深度圖即可變換為一組三維點(diǎn)云，通過上述變換公式進(jìn)行變換。開始需要用戶手工指定點(diǎn)云間特征點(diǎn)的對(duì)應(yīng)關(guān)系(匹配點(diǎn)對(duì))。這是由于點(diǎn)云特征較少，相同幾何分布的區(qū)域很多，如果利用全自動(dòng)的匹配算法幾乎很難實(shí)現(xiàn)。因此，本發(fā)明實(shí)施例的方法只需要用戶手工指定少量特征對(duì)應(yīng)點(diǎn)，即可實(shí)現(xiàn)后續(xù)準(zhǔn)確高質(zhì)量的三維重建
效果。對(duì)應(yīng)點(diǎn)對(duì)集合表示為:F = Ifi Ifi = (ρΓ,ρ^:' )].，其表示第C巾貞的第m個(gè)點(diǎn)與第c'中貞
的第m'個(gè)點(diǎn)相對(duì)應(yīng)。步驟S103:對(duì)每個(gè)匹配點(diǎn)進(jìn)行位置變換，并求取位置變換后的每個(gè)匹配點(diǎn)對(duì)應(yīng)的變換參數(shù)。作為一個(gè)具體的例子,對(duì)每個(gè)匹配點(diǎn)進(jìn)行位置變換,并求取位置變換后的每個(gè)匹配點(diǎn)對(duì)應(yīng)的變換參數(shù)，進(jìn)一步包括:I)計(jì)算每個(gè)匹配點(diǎn)的旋轉(zhuǎn)矩陣和偏移向量。2)根據(jù)旋轉(zhuǎn)矩陣和偏移向量得到每個(gè)匹配點(diǎn)的位置變換方程。其中，位置變換方程為:p' =Rp+t,其中，P為匹配點(diǎn)，R為旋轉(zhuǎn)矩陣，t為偏移向量。3)根據(jù)的位置變換方程得到每個(gè)匹配點(diǎn)對(duì)應(yīng)的變換參數(shù)。即在上述對(duì)應(yīng)點(diǎn)(匹配點(diǎn)對(duì))指定完成后，即開始全自動(dòng)的將各幀點(diǎn)云開始對(duì)齊拼接。本發(fā)明實(shí)施例的方法通過一種全局聯(lián)合變形拼接方法，可以實(shí)現(xiàn)所有幀點(diǎn)云變換參數(shù)聯(lián)合求解，從而避免了逐幀順序?qū)R會(huì)帶來的積累誤差問題。
具體而言，對(duì)點(diǎn)云中的每個(gè)點(diǎn)P，首先求解其旋轉(zhuǎn)矩陣R和偏移向量t，從而點(diǎn)P變換后的位置為=Rp+t。進(jìn)一步地，為了實(shí)現(xiàn)快速線性求解的要求，本發(fā)明實(shí)施例的方法對(duì)利用指數(shù)映射方法對(duì)變形方程做如下近似:
權(quán)利要求
1.一種基于多深度圖的非剛體三維重建方法，其特征在于，包括以下步驟: 對(duì)非剛體以不同角度和不同姿態(tài)進(jìn)行深度圖拍攝以得到多個(gè)深度圖； 將每個(gè)深度圖變換為一組三維點(diǎn)云，并獲取多組三維點(diǎn)云之間的多個(gè)匹配點(diǎn)對(duì)； 對(duì)每個(gè)匹配點(diǎn)進(jìn)行位置變換，并求取所述位置變換后的每個(gè)匹配點(diǎn)對(duì)應(yīng)的變換參數(shù)； 對(duì)所有變換參數(shù)進(jìn)行拼接，并根據(jù)拼接結(jié)果建立能量函數(shù)；以及 對(duì)所述能量函數(shù)進(jìn)行求解，以根據(jù)求解結(jié)果重建所述非剛體的三維模型。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過深度相機(jī)對(duì)所述非剛體進(jìn)行拍攝以得到所述多個(gè)深度圖。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將每個(gè)深度圖變換為一組三維點(diǎn)云，進(jìn)一步包括: 獲取所述深度相機(jī)的內(nèi)參矩陣； 根據(jù)所述內(nèi)參矩陣將所述每個(gè)深度圖變換為一組三維點(diǎn)云。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述變換的變換公式為: Pr = K-1 (u, V, d c (u, V) )T， 其中，U，V為像素坐標(biāo)，dc (u, V)為第c張深度圖上像素(U，V)位置上的深度值,所述K為內(nèi)參矩陣。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)每個(gè)匹配點(diǎn)進(jìn)行位置變換，并求取所述位置變換后的每個(gè)匹配點(diǎn)對(duì)應(yīng)的變換參數(shù),進(jìn)一步包括: 計(jì)算所述每個(gè)匹配點(diǎn)的旋轉(zhuǎn)矩陣和偏移向量； 根據(jù)所述旋轉(zhuǎn)矩陣和偏移向量得到所述每個(gè)匹配點(diǎn)的位置變換方程； 根據(jù)所述的位置變換方程得到所述每個(gè)匹配點(diǎn)對(duì)應(yīng)的變換參數(shù)。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述位置變換方程為:P' =Rp+t, 其中，P為匹配點(diǎn)，R為旋轉(zhuǎn)矩陣，t為偏移向量。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述能量函數(shù)為: X=argminx a eEe+ a fEf+ α ηΕη, 其中，氏為拓?fù)浼s束，Ef為特征約束，EnS最近點(diǎn)約束，ae、af、a n分別為氏、Ef和En的權(quán)重系數(shù)。
8.一種基于多深度圖的非剛體三維重建系統(tǒng)，其特征在于，包括: 深度相機(jī)，用于對(duì)非剛體以不同角度和不同姿態(tài)進(jìn)行深度圖拍攝以得到多個(gè)深度圖；匹配模塊，用于將每個(gè)深度圖變換為一組三維點(diǎn)云，并獲取多組三維點(diǎn)云之間的多個(gè)匹配點(diǎn)對(duì)； 變換模塊，用于對(duì)每個(gè)匹配點(diǎn)進(jìn)行位置變換，并求取所述位置變換后的每個(gè)匹配點(diǎn)對(duì)應(yīng)的變換參數(shù)； 拼接模塊，用于對(duì)所有變換參數(shù)進(jìn)行拼接，并根據(jù)拼接結(jié)果建立能量函數(shù)；以及三維重建模塊，用于對(duì)所述 能量函數(shù)進(jìn)行 求解，以根據(jù)求解結(jié)果重建所述非剛體的三維模型。
全文摘要
本發(fā)明提出一種基于多深度圖的非剛體三維重建方法，包括以下步驟對(duì)非剛體以不同角度和不同姿態(tài)進(jìn)行深度圖拍攝以得到多個(gè)深度圖；將每個(gè)深度圖變換為一組三維點(diǎn)云，并獲取多組三維點(diǎn)云之間的多個(gè)匹配點(diǎn)對(duì)；對(duì)每個(gè)匹配點(diǎn)進(jìn)行位置變換，并求取位置變換后的每個(gè)匹配點(diǎn)對(duì)應(yīng)的變換參數(shù)；對(duì)所有變換參數(shù)進(jìn)行拼接，并根據(jù)拼接結(jié)果建立能量函數(shù)；對(duì)能量函數(shù)進(jìn)行求解，以根據(jù)求解結(jié)果重建非剛體的三維模型。根據(jù)本發(fā)明的方法，所需輸入信息簡(jiǎn)單易采集，并可得到高精度的完整三維模型。該方法求解準(zhǔn)確魯棒，消除了累加誤差所會(huì)帶來的影響，且運(yùn)行速度快，擁有廣闊的應(yīng)用前景。本發(fā)明還提出了一種基于多深度圖的非剛體三維重建系統(tǒng)。
文檔編號(hào)G06T17/00GK103198523SQ20131015079
公開日2013年7月10日 申請(qǐng)日期2013年4月26日 優(yōu)先權(quán)日2013年4月26日
發(fā)明者戴瓊海, 葉亙之, 劉燁斌 申請(qǐng)人:清華大學(xué)