一種基于隨機(jī)三角形紋理的四維重構(gòu)的方法
【專利摘要】本發(fā)明公開了一種基于隨機(jī)三角形紋理的四維重構(gòu)的方法。一是生成隨機(jī)的三角形紋理，將紋理印到紙、布等對(duì)象的表面上；二是使用標(biāo)定的兩個(gè)同步相機(jī)拍攝變形表面的動(dòng)態(tài)過程，獲得兩個(gè)同步的圖像序列；三是提出一種在圖像上穩(wěn)定地檢測三角形的方法，使用該方法檢測兩個(gè)同步的圖像序列中每個(gè)圖像上的三角形；四是根據(jù)提出的基于全局與局部相結(jié)合的三角形描述符和三角形極線約束方法，匹配第一幀圖像上的三角形，并根據(jù)三角形匹配的結(jié)果將第一幀進(jìn)行三維重建，根據(jù)三維重建的信息生成每個(gè)三角形的局部拓?fù)浣Y(jié)構(gòu)；最后是在兩個(gè)同步的圖像序列中追蹤三角形，根據(jù)第一幀的對(duì)應(yīng)關(guān)系重建所追蹤的當(dāng)前幀，并且利用局部拓?fù)浣Y(jié)構(gòu)檢測并修復(fù)出現(xiàn)的錯(cuò)誤。
【專利說明】—種基于隨機(jī)三角形紋理的四維重構(gòu)的方法【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，具體是涉及ー種基于隨機(jī)三角形紋理的四維重構(gòu)的方法。
技術(shù)背景
[0002]近些年來，在醫(yī)學(xué)領(lǐng)域、力學(xué)領(lǐng)域、動(dòng)畫制作、游戲以及一些其他的虛擬現(xiàn)實(shí)領(lǐng)域，對(duì)于動(dòng)態(tài)變形表面的精確的、生動(dòng)的模擬與可視化的需求越來越迫切。例如在動(dòng)畫或者游戲領(lǐng)域，需要獲取旗幟、窗簾等生動(dòng)而精確的動(dòng)態(tài)過程模型，在力學(xué)領(lǐng)域，需要研究薄膜材料的動(dòng)態(tài)物力特性，這些應(yīng)用都需要獲取動(dòng)態(tài)物體的四維數(shù)據(jù)。這是計(jì)算機(jī)視覺中的ー個(gè)難題，目前比較實(shí)用的方法就是通過攝像機(jī)拍攝動(dòng)態(tài)物體的運(yùn)動(dòng)過程，然后通過圖像處理的手段，來獲取四維數(shù)據(jù)。
[0003]近些年來，也有ー些學(xué)者提出了ー些方法，主要包括兩類:一類是無標(biāo)記的方法，另一類是有標(biāo)記的方法。無標(biāo)記的方法([1]M.Salzmann, R.Hartley, and P.Fua.Convex optimization for deformable surface3-d tracKing.1n Proceedings ofIEEE International Conference on Computer Vision, Rio dejaneiro, Brazil, 2007.,[2]F.Huguet and F.Devernay.A variational method for scene flow estimationfrom stereo sequences.1n Proc.1ntl.Conf.0n Computer Vision, Rio deJaneiro,Brasil,Oct.2007.1EEE.[3]Y.Furukawa and J.Ponce.dense3D motioncapture for human faces.1n IEEE Conference on Computer Vision and PatternRecognition, 2009.CVPR2009, pagesl674 - 1681，2009.)不需要在物體表面印紋理，而是使用自然紋理，使用起來比較方便。但是這種方法往往都是通過優(yōu)化進(jìn)行的，計(jì)算復(fù)雜度高，并且在處理比較長的視頻時(shí)會(huì)有較大的累積誤差，精度不夠，所以在進(jìn)行精確測量時(shí)，這類方法并不實(shí)用。
[0004]有標(biāo)記的方法([4]`S.Park and J.Hodgins.Capturing andanimating skin deformation in human motion.ACM Transactions onGraphics (TOG), 25(3):889, 2006.[5]R.White, A.0bay, and D.Forsyth.Cloth capture.1nACM SIGGRAPH2005Sketches, page37.ACM, 2005.)需要在物體表面印上特殊的紋理，然后根據(jù)算法進(jìn)行匹配和追蹤這些特殊的紋理，從而獲得物體的四維數(shù)據(jù)，這種方法雖然使用起來有點(diǎn)麻煩，但是不會(huì)產(chǎn)生累積誤差，并且精度也會(huì)很高，非常的穩(wěn)定。目前的有標(biāo)記方法中，ー類主要的方法就是在物體表面印彩色編碼的紋理，然后根據(jù)彩色編碼進(jìn)行左右匹配和前后幀的追蹤。但是這種彩色紋理容易受到光照和相機(jī)性能的影響，產(chǎn)生顔色失真，這使得在圖像匹配時(shí)，產(chǎn)生一定的難度，并且不夠準(zhǔn)確。

【發(fā)明內(nèi)容】

[0005]針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明的目的是提出一種魯棒的，沒有累積誤差的動(dòng)態(tài)表面四維重構(gòu)方法。[0006]為達(dá)到上述目的的，本發(fā)明的技術(shù)方案是:ー種基于隨機(jī)三角形紋理的四維重構(gòu)的方法，包含以下步驟:
[0007]步驟1:生成隨機(jī)的三角形紋理；
[0008]步驟2:在圖像上檢測三角形；
[0009]步驟3:匹配第一幀中的三角形，并對(duì)其三維重構(gòu)；
[0010]步驟4:計(jì)算局部三角形拓?fù)洌?br> [0011]步驟5:在圖像序列中追蹤三角形；
[0012]步驟6:基于局部拓?fù)浣Y(jié)構(gòu)檢測錯(cuò)誤與恢復(fù)。
[0013]其中，步驟I所述的生成隨機(jī)的三角形紋理，包含以下步驟: [0014]首先在圖像上生成若干可控的隨機(jī)點(diǎn)；
[0015]然后將生成的隨機(jī)點(diǎn)進(jìn)行三角化，根據(jù)三角化的結(jié)果在黑圖像上使用白色畫三角形的邊；
[0016]最后將三角形圖像轉(zhuǎn)印到物體的表面上。
[0017]步驟2所述的在圖像上檢測三角形，包含以下步驟:
[0018]首先根據(jù)自適應(yīng)的圖像二值化方法，將圖像進(jìn)行二值化，生成二值圖像；
[0019]接著在二值圖像上檢測三角形連通區(qū)域，根據(jù)連通區(qū)域計(jì)算三角形的重心；
[0020]然后只保留連通區(qū)域的邊緣點(diǎn)，其他的點(diǎn)丟掉，在連通區(qū)域的邊緣點(diǎn)中，計(jì)算每個(gè)被檢測點(diǎn)的N個(gè)鄰居，然后計(jì)算該點(diǎn)與其N個(gè)鄰居點(diǎn)分別到重心點(diǎn)的距離，如果該被檢測的點(diǎn)到重心的距離大于其N個(gè)鄰居點(diǎn)到重心的距離，該點(diǎn)就是ー個(gè)三角形的角點(diǎn)。
[0021]步驟3所述的匹配第一幀中的三角形，包含以下步驟:
[0022]首先以每個(gè)三角形的重心為極點(diǎn)，以從重心開始，經(jīng)由三個(gè)頂點(diǎn)的三條射線為極軸，建立三個(gè)極坐標(biāo)系，在姆個(gè)極坐標(biāo)系中建立一個(gè)3X16的48維的直方圖來描述局部三角形的分布情況；對(duì)于每個(gè)48維的直方圖，其徑向增量為r/3，r是ー個(gè)預(yù)先設(shè)定的值，角度增量為^ /8 ；
[0023]接著在每個(gè)極坐標(biāo)系中，根據(jù)局部鄰居三角形的重心相對(duì)于極點(diǎn)的距離，和相對(duì)于極軸的角度，在相應(yīng)的直方圖槽中累加；
[0024]最后將形成的三個(gè)48維的向量按照三角形頂點(diǎn)的順時(shí)針方向集成在一起形成一個(gè)128維的局部三角形描述符，左右圖像便可以根據(jù)三角形描述符進(jìn)行匹配。
[0025]步驟6所述的基于局部拓?fù)浣Y(jié)構(gòu)檢測錯(cuò)誤與恢復(fù)是根據(jù)在第一幀中生成的局部拓?fù)浣Y(jié)構(gòu)信息，檢測每一幀重建的三角形，判斷其是否符合拓?fù)浣Y(jié)構(gòu)；如果有差別，就將該被檢測的三角形列入錯(cuò)誤列表；在錯(cuò)誤列表中的三角形，會(huì)利用局部拓?fù)湫畔⑦M(jìn)行修復(fù)，從而取得較好的四維重建效果。
[0026]所述的局部拓?fù)浣Y(jié)構(gòu)是根據(jù)步驟3第一幀中的三維重構(gòu)結(jié)果生成，其包括每個(gè)空間三角形的鄰居三角形、每個(gè)三角形的三個(gè)邊長、三角形的頂點(diǎn)到鄰居頂點(diǎn)的距離，在重建出第一幀之后，后續(xù)的幀都是通過追蹤兩個(gè)圖像序列中的三角形而得到的。
[0027]模擬的和實(shí)際的實(shí)驗(yàn)表明，利用本發(fā)明的方法能夠穩(wěn)定地獲取四維數(shù)據(jù)，并且非常的精確，能夠有效地用于動(dòng)畫、游戲建模，或者力學(xué)特性的研究。
【專利附圖】

【附圖說明】[0028]圖1:本發(fā)明基于隨機(jī)三角形紋理的四維重構(gòu)的過程圖。
[0029]圖2:生成的隨機(jī)點(diǎn)和隨機(jī)三角形的圖示。
[0030]圖3:在圖像上檢測三角形的過程圖示。
[0031]圖4:從三角形的連通區(qū)域的邊緣中提取三角形三個(gè)頂點(diǎn)的圖示。
[0032]圖5:三角形極線約束的圖示。
[0033]圖6:創(chuàng)建三角形局部描述符的圖示。
【具體實(shí)施方式】
[0034]下面結(jié)合附圖1對(duì)本發(fā)明的內(nèi)容作進(jìn)ー步的詳細(xì)介紹。
[0035]第一歩，生成隨機(jī)的三角形紋理
[0036]首先在黒色的圖像上產(chǎn)生隨機(jī)的點(diǎn)，通過控制產(chǎn)生的點(diǎn)之間的距離，來控制隨機(jī)三角形的大小，以便產(chǎn)生的大小適合的三角形；然后通過三角化的算法對(duì)產(chǎn)生的隨機(jī)點(diǎn)進(jìn)行三角化；最后根據(jù)三角化的結(jié)果在黑色圖像上用白色畫線。具體生成隨機(jī)點(diǎn)和三角形的結(jié)果如圖2所示，具體生成隨機(jī)三角形紋理的算法步驟如下:
[0037]1.設(shè)置隨機(jī)點(diǎn)的生成范圍；
[0038]2.隨機(jī)生成第一個(gè)點(diǎn)并且加到集合ST中；
[0039]3.設(shè)置控制三角形邊長的參數(shù)Dl和D2 ；
[0040]4.do
[0041]5?產(chǎn)生一個(gè)新的隨機(jī)點(diǎn)Pnew ;
[0042]6.計(jì)算從Pnew到集合ST中點(diǎn)的最大距離dmax,和最小距離dmin ；
[0043]7.1f dmin>Dl&&dmax〈D2then ；
[0044]8.將 Pnew 放到 ST 中；
[0045]9.else
[0046]10.丟棄 Pnew ；
[0047]11.until沒有合適的點(diǎn)產(chǎn)生；
[0048]12.對(duì)ST中的所有點(diǎn)進(jìn)行三角化；
[0049]13.根據(jù)三角化的結(jié)果在黒色的圖像上，使用白色的邊畫線；
[0050]14.將生成的紋理轉(zhuǎn)印到物體的表面上。
[0051]第二步，在圖像上檢測三角形
[0052]首先在原始圖像上，使用局部自適應(yīng)二值化的方法進(jìn)行二值化，得到二值圖像。之所以使用局部自適應(yīng)二值化方法，是因?yàn)樵诒砻娴倪\(yùn)動(dòng)過程中會(huì)由于遮擋等原告因引起局部光照的變化，如果使用ー個(gè)固定的域值進(jìn)行二值化，將會(huì)產(chǎn)生錯(cuò)誤。然后，在二值圖像上檢測三角形連通區(qū)域，并計(jì)算三角形連通區(qū)域的重心和連通區(qū)域的邊界點(diǎn)。接下來，檢測三角形的頂點(diǎn)，其具體方法如下:找到每個(gè)邊界點(diǎn)P的N個(gè)鄰居點(diǎn)Pn，并計(jì)算P與Pn到達(dá)重心的距離，如果P點(diǎn)到重心的距離大于它的N個(gè)鄰居到重心的距離，則P是ー個(gè)候選的三角形頂點(diǎn)。這樣便能檢測到所有的候選三角形頂點(diǎn)，但是在這些候選點(diǎn)中，也可能存在噪聲點(diǎn)，如果是噪聲點(diǎn)，必須將其刪除。最后，在所用的候選三角形頂點(diǎn)中，計(jì)算候選頂點(diǎn)中的任意三個(gè)點(diǎn)組成的三角形面積，找到組成三角形的面積最大的三個(gè)點(diǎn)，即為頂點(diǎn)。這樣便可以使用三角形的三個(gè)頂點(diǎn)和ー個(gè)重心來標(biāo)識(shí)三角形?？梢酝ㄟ^這種方法，檢測到圖像序列中每個(gè)圖像上的三角形。見圖3和圖4所示。
[0053]第三歩，匹配第一幀中的三角形，并對(duì)其三維重構(gòu)
[0054]在匹配第一幀中的三角形時(shí)，采用兩種手段:三角形的極線約束，和全局與局部相結(jié)合的三角形描述符。給定左邊圖像上的ー個(gè)三角形，在右邊圖像上存在四條極線，這四條極線分別對(duì)應(yīng)左邊三角形的三個(gè)頂點(diǎn)和ー個(gè)重心，見圖5。首先通過這四條極線過濾掉很多錯(cuò)誤的三角形，保留下可能的三角形集合ST。接下來，創(chuàng)建每個(gè)三角形的全局與局部相結(jié)合的三角形描述符，根據(jù)全局與局部相結(jié)合的三角形描述符可以在集合ST找到精確對(duì)應(yīng)的三角形。全局與局部相結(jié)合的三角形描述符如公式(I)所示:
【權(quán)利要求】
1.ー種基于隨機(jī)三角形紋理的四維重構(gòu)的方法，其特征在于包含以下步驟: 步驟1:生成隨機(jī)的三角形紋理； 步驟2:在圖像上檢測三角形； 步驟3:匹配第一幀中的三角形，并對(duì)其三維重構(gòu)； 步驟4:計(jì)算局部三角形拓?fù)洌? 步驟5:在圖像序列中追蹤三角形； 步驟6:基于局部拓?fù)浣Y(jié)構(gòu)檢測錯(cuò)誤與恢復(fù)。
2.根據(jù)權(quán)利要求1所述的ー種基于隨機(jī)三角形紋理的四維重構(gòu)的方法，其特征在于步驟I所述的生成隨機(jī)的三角形紋理包含以下步驟: 首先在圖像上生成若干可控的隨機(jī)點(diǎn)； 然后將生成的隨機(jī)點(diǎn)進(jìn)行三角化，根據(jù)三角化的結(jié)果在黑圖像上使用白色畫三角形的邊； 最后將三角形圖像轉(zhuǎn)印到物體的表面上。
3.根據(jù)權(quán)利要求1所述的ー種基于隨機(jī)三角形紋理的四維重構(gòu)的方法，其特征在于步驟2所述的在圖像上檢測三角形，包含以下步驟:` 首先根據(jù)自適應(yīng)的圖像二值化方法，將圖像進(jìn)行二值化，生成二值圖像； 接著在二值圖像上檢測三角形連通區(qū)域，根據(jù)連通區(qū)域計(jì)算三角形的重心； 然后只保留連通區(qū)域的邊緣點(diǎn)，其他的點(diǎn)丟掉，在連通區(qū)域的邊緣點(diǎn)中，計(jì)算每個(gè)被檢測點(diǎn)的N個(gè)鄰居，然后計(jì)算該點(diǎn)與其N個(gè)鄰居點(diǎn)分別到重心點(diǎn)的距離，如果該被檢測的點(diǎn)到重心的距離大于其N個(gè)鄰居點(diǎn)到重心的距離，該點(diǎn)就是ー個(gè)三角形的角點(diǎn)。
4.根據(jù)權(quán)利要求1所述的ー種基于隨機(jī)三角形紋理的四維重構(gòu)的方法，其特征在于步驟3所述的匹配第一幀中的三角形包含以下步驟: 首先以每個(gè)三角形的重心為極點(diǎn)，以從重心開始，經(jīng)由三個(gè)頂點(diǎn)的三條射線為極軸，建立三個(gè)極坐標(biāo)系，在每個(gè)極坐標(biāo)系中建立ー個(gè)3 X 16的48維的直方圖來描述局部三角形的分布情況；對(duì)于每個(gè)48維的直方圖，其徑向增量為r/3，r是ー個(gè)預(yù)先設(shè)定的值，角度增量為^ /8 ； 接著在每個(gè)極坐標(biāo)系中，根據(jù)局部鄰居三角形的重心相對(duì)于極點(diǎn)的距離，和相對(duì)于極軸的角度，在相應(yīng)的直方圖槽中累加； 最后將形成的三個(gè)48維的向量按照三角形頂點(diǎn)的順時(shí)針方向集成在一起形成ー個(gè)128維的局部三角形描述符，左右圖像便可以根據(jù)三角形描述符進(jìn)行匹配。
5.根據(jù)權(quán)利要求1所述的ー種基于隨機(jī)三角形紋理的四維重構(gòu)的方法，其特征在于步驟6所述的基于局部拓?fù)浣Y(jié)構(gòu)檢測錯(cuò)誤與恢復(fù)是根據(jù)在第一幀中生成的局部拓?fù)浣Y(jié)構(gòu)信息，檢測每一幀重建的三角形，判斷其是否符合拓?fù)浣Y(jié)構(gòu)；如果有差別，就將該被檢測的三角形列入錯(cuò)誤列表；在錯(cuò)誤列表中的三角形，會(huì)利用局部拓?fù)湫畔⑦M(jìn)行修復(fù)，從而取得較好的四維重建效果。
6.根據(jù)權(quán)利要求1或5所述的ー種基于隨機(jī)三角形紋理的四維重構(gòu)的方法，其特征在于所述的局部拓?fù)浣Y(jié)構(gòu)是根據(jù)權(quán)利要求1步驟3第一幀中的三維重構(gòu)結(jié)果生成，其包括每個(gè)空間三角形的鄰居三角形、每個(gè)三角形的三個(gè)邊長、三角形的頂點(diǎn)到鄰居頂點(diǎn)的距離，在重建出第一幀之后，后續(xù)的幀都是通過追蹤兩個(gè)圖像序列中的三角形而得到的。
【文檔編號(hào)】G06T15/04GK103606183SQ201310554069
【公開日】2014年2月26日 申請(qǐng)日期:2013年11月8日 優(yōu)先權(quán)日:2013年11月8日
【發(fā)明者】史金龍, 劉鎮(zhèn), 王直, 錢強(qiáng), 龐林斌, 白素琴 申請(qǐng)人:江蘇科技大學(xué)