多視角投影與三維注冊聯(lián)合的手繪場景三維建模方法
【專利摘要】一種多視角投影與三維注冊聯(lián)合的手繪場景三維建模方法，先對三維模型庫內(nèi)的所有三維模型進行標準化預(yù)處理：在正多面體各頂點設(shè)置虛擬攝像機，拍攝每個三維模型各角度的投影圖表示其視覺形狀；提取每個模型所有投影圖的視覺特征，依此建立三維模型特征庫。然后，用戶手繪要展現(xiàn)的三維場景的每個三維模型的二維手繪圖及其文字標簽，用攝像機拍攝其圖像和針對圖像區(qū)域進行處理：提取手繪圖視覺特征，并將處理后的文字標簽區(qū)域作為檢索關(guān)鍵字，將手繪圖的視覺特征與三維模型特征庫的三維模型特征進行相似度計算，檢索得到三維場景的三維模型；再用三維注冊算法將相似度最大的三維模型投影到相應(yīng)位置，實現(xiàn)手繪場景的三維建模和三維場景的展現(xiàn)。
【專利說明】多視角投影與三維注冊聯(lián)合的手繪場景三維建模方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種多視角投影與三維注冊聯(lián)合的手繪場景三維建模方法，屬于三維模型檢索和增強現(xiàn)實的【技術(shù)領(lǐng)域】。
【背景技術(shù)】
[0002]隨著三維技術(shù)的發(fā)展，三維模型和三維場景這種更加接近真實世界的三維空間描述方式，在交通、醫(yī)學(xué)及娛樂等多個領(lǐng)域得到了越來越廣泛的應(yīng)用。三維場景的展現(xiàn)，首先要解決的技術(shù)問題是:“如何構(gòu)建三維模型”。但是，構(gòu)建三維模型所需的代價往往十分巨大。而且，隨著三維建模方法的發(fā)展，三維模型相關(guān)應(yīng)用的增加以及互聯(lián)網(wǎng)的快速發(fā)展，可用三維模型的數(shù)量也在飛速增長；這就使得通過現(xiàn)有的三維模型來展現(xiàn)三維場景，已經(jīng)成為近年來的主要發(fā)展趨勢。這樣，上述問題就逐漸演變?yōu)椤叭绾慰焖俣鴾蚀_地找到可用的三維模型”，于是，對三維模型的檢索就變得尤為重要。
[0003]目前基于文本(標簽，關(guān)鍵字)的檢索方法發(fā)展比較成熟，但是，其輸入帶有較強的主觀性，會明顯地影響檢索結(jié)果。而且，基于內(nèi)容的檢索方法是以三維模型作為輸入，并通過模型之間的內(nèi)在特征的相似性進行檢索。因此其檢索結(jié)果更加可靠，也是目前該【技術(shù)領(lǐng)域】的主要研究方向。許多國內(nèi)外知名學(xué)者和科研機構(gòu)都開展了相關(guān)的研究工作，并逐步取得了很多突破性地進展。
[0004]例如:在《谷歌形狀:基于幾何詞語及表達的不變形狀檢索》(“ShapeGoogle: Geometric Words and Expressions for Invariant Shape Retrieval，，發(fā)表于((ACM Transactions on Graphics2011》)文章中，作者將圖像檢索中的視覺詞語和詞袋模型引入到基于實例的二維|吳型檢索中，有效地提聞了檢索效率。
[0005]在《基于超圖分析的三維模型檢索與識別》(“3-D Object Retrieval andRecognition with Hypergraph Analysis，，發(fā)表于《IEEE Transactions on ImagePrOCeSSing2012》)文章中，作者使用超圖分析的方法進行了基于二維視圖的三維模型檢索的研究。
[0006]但是，這些方法也存在著難以獲取檢索所需的輸入模型或輸入視圖等多項缺陷。這些現(xiàn)有技術(shù)的缺陷成為業(yè)內(nèi)科技人員關(guān)注的焦點。
[0007]得到所需的三維模型以后，就可以利用這些三維模型進行三維場景的展現(xiàn)。目前比較常用也比較成熟的方法是在完全虛擬的環(huán)境中將三維模型進行拼接和融合，然后對該環(huán)境進行渲染，以模擬的方式來展現(xiàn)真實世界。然而，隨著應(yīng)用的不斷發(fā)展，現(xiàn)有技術(shù)的展現(xiàn)方法不可避免地暴露出一些不容忽視的問題。例如:由于過度強調(diào)用戶的沉浸感，從而造成系統(tǒng)對現(xiàn)實的隔離。這就產(chǎn)生了三維場景展現(xiàn)方法的新需求，即如何把虛擬物體融合到現(xiàn)實中，并實現(xiàn)用戶與虛擬場景以及現(xiàn)實之間的交互。這些問題都成為業(yè)內(nèi)技術(shù)人員所關(guān)注的新課題。

【發(fā)明內(nèi)容】
[0008]有鑒于此，本發(fā)明的目的是提供一種多視角投影與三維注冊聯(lián)合的手繪場景三維建模方法，該方法從系統(tǒng)易用性和更好的用戶體驗的角度出發(fā)，由用戶手繪所需要展現(xiàn)的三維場景的二維手繪圖。然后以手繪圖內(nèi)容為輸入，基于三維模型的多視角投影來檢索三維場景展現(xiàn)所需的三維模型，實現(xiàn)更好的三維模型復(fù)用。最后通過三維注冊算法將檢索得到的三維模型與用戶手繪的場景融合在一起，完成用戶手繪場景的三維建模，最終得到虛擬與現(xiàn)實相結(jié)合的三維場景的展示，實現(xiàn)用戶與虛擬以及現(xiàn)實之間的交互。
[0009]為了達到上述目的，本發(fā)明提供了一種多視角投影與三維注冊聯(lián)合的手繪場景三維建模方法，其特征在于，該方法包括下述兩個操作步驟的實現(xiàn)階段:
[0010]步驟1，預(yù)處理階段:對三維模型庫內(nèi)的所有三維模型進行標準化預(yù)處理，以使系統(tǒng)預(yù)置的正多面體能將每個三維模型都包圍在內(nèi)；再在正多面體的各個頂點處設(shè)置虛擬攝像機，用于拍攝每個三維模型的各個不同角度的投影圖，表示該三維模型的視覺形狀信息；然后提取每個模型所有投影圖的視覺特征，并依此建立三維模型特征庫；
[0011]步驟2，執(zhí)行處理階段:用戶手繪要展現(xiàn)的三維場景的每個三維模型的二維手繪圖和為每個手繪圖附設(shè)文字標簽，還利用攝像機獲取每個手繪圖及其文字標簽的數(shù)字圖像；再針對這些數(shù)字圖像中的手繪圖及其對應(yīng)的文字標簽的區(qū)域進行處理:采用提取三維模型投影圖視覺特征的相同方法提取手繪圖的視覺特征，并將處理后的文字標簽區(qū)域作為檢索關(guān)鍵字，將手繪圖的視覺特征與三維模型特征庫中的三維模型特征進行相似度計算，檢索得到三維場景所需要的三維模型；最后采用三維注冊算法將相似度最大的三維模型投影到相應(yīng)位置實現(xiàn)手繪場景的三維建模，并最終完成三維場景的展現(xiàn)。
[0012]本發(fā)明多視角投影與三維注冊聯(lián)合的手繪場景三維建模方法是在基于內(nèi)容的三維模型檢索方法基礎(chǔ)上，以用戶手繪的二維手繪圖作為輸入，通過檢索的方式獲取三維場景展現(xiàn)所需的三維模型，并應(yīng)用三維注冊算法在用戶手繪場景的的基礎(chǔ)上加載三維模型，實現(xiàn)用戶與虛擬場景以及現(xiàn)實之間的交互。下面分別從兩方面介紹本發(fā)明方法的優(yōu)點:
[0013]從獲取三維場景展現(xiàn)所需的三維模型的檢索方法上來說，本發(fā)明以最便捷的方式，即二維手繪圖作為檢索的輸入，用戶直接手繪圖形于紙上，既不需要預(yù)先提供相似模型的實例，也不需要用鼠標在復(fù)雜的界面上艱難地繪制圖形，更加符合用戶的使用需求。而且，本發(fā)明的手繪圖中可以包含多個檢索目標，通過對該手繪圖進行拍攝于處理，提取用戶繪制的所有圖形和相關(guān)信息，可以同時實現(xiàn)多個三維模型的檢索。另外，本發(fā)明通過對三維模型庫的預(yù)處理，得到所有三維模型的不同視角的投影圖，采用基于輪廓和基于區(qū)域的特征描述符相結(jié)合的方式提取手繪圖和投影圖的視覺特征，并進行相似度計算，提高了三維模型檢索的精度和速度。
[0014]從三維場景展現(xiàn)的實現(xiàn)方法上說，本發(fā)明通過三維注冊算法直接在攝像機下用戶的手繪場景上加載三維模型，實現(xiàn)虛擬物體與現(xiàn)實場景的融合，解決了虛擬與現(xiàn)實隔離的缺陷，并有效地提高用戶的體驗效果。
[0015]因此，本發(fā)明具有很好的推廣應(yīng)用前景。
【專利附圖】

【附圖說明】
[0016]圖1是本發(fā)明多視角投影與三維注冊聯(lián)合的手繪場景三維建模方法操作步驟流程圖。[0017]圖2是本發(fā)明實施例中包圍人體三維模型的正十二面體示意圖。
[0018]圖3是本發(fā)明實施例中以正十二面體包圍人體三維模型的各個頂點為視角所拍攝的所有三維模型的10個正投影圖示意圖。
[0019]圖4是本發(fā)明實施例中用戶手繪場景中二維手繪圖及其文字標簽的實例圖。
[0020]圖5是本發(fā)明實施例中用戶手繪場景信息處理步驟的流程圖。
[0021]圖6 (a)、(b)、(c)和(d)是本發(fā)明實施例中用戶手繪場景信息處理和提取的分步操作的各個步驟示例圖。
[0022]圖7是本發(fā)明實施例中對已提取的用戶二維手繪圖輪廓進行填充操作的示意圖。
[0023]圖8是本發(fā)明實施例中實現(xiàn)手繪場景三維建模的三維注冊算法的示意圖。
[0024]圖9 (a)、(b)分別是本發(fā)明實施例中最終實現(xiàn)的三維場景的兩個實例圖。
【具體實施方式】
[0025]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面結(jié)合附圖對本發(fā)明作進一步的詳細描述。
[0026]參見圖1，具體介紹本發(fā)明多視角投影與三維注冊聯(lián)合的手繪場景三維建模方法，該方法包括下述依次執(zhí)行操作步驟的兩個階段:
[0027]步驟I，預(yù)處理階段:對三維模型庫內(nèi)的所有三維模型進行標準化預(yù)處理，以使系統(tǒng)預(yù)置的正多面體能將每個三維模型都包圍在內(nèi)；再在正多面體的各個頂點處設(shè)置虛擬攝像機，用于拍攝每個三維模型的各個不同角度的投影圖，表示該三維模型的視覺形狀信息；然后提取每個模型所有投影圖的視覺特征，并依此建立三維模型特征庫。該步驟I包括下列依次執(zhí)行的操作內(nèi)容:
[0028](11)對每個三維模型進行標準化預(yù)處理:
[0029]先將三維模型的中心移至世界坐標系(即絕對坐標系)的原點；每個三維模型的中心坐標是計算該三維模型的正多面體包圍盒得到的:因模型文件存儲的信息是一系列的點、線、面和材質(zhì)，這里不需要材質(zhì)信息，只需讀取所有的點，再分別找出在X、Y和Z三個坐標軸方向上的最小值和最大值，就得到該三維模型的正多面體包圍盒，該包圍盒的中心就是三維模型的中心；由此得到將三維模型移至世界坐標系原點的變換矩陣T’ =(TX，TY, Tz)；
其中，
【權(quán)利要求】
1.一種多視角投影與三維注冊聯(lián)合的手繪場景三維建模方法，其特征在于，該方法包括下述兩個操作步驟的實現(xiàn)階段: 步驟1，預(yù)處理階段:對三維模型庫內(nèi)的所有三維模型進行標準化預(yù)處理，以使系統(tǒng)預(yù)置的正多面體能將每個三維模型都包圍在內(nèi)；再在正多面體的各個頂點處設(shè)置虛擬攝像機，用于拍攝每個三維模型的各個不同角度的投影圖，表示該三維模型的視覺形狀信息；然后提取每個模型所有投影圖的視覺特征，并依此建立三維模型特征庫； 步驟2，執(zhí)行處理階段:用戶手繪其要展現(xiàn)的每個三維模型的二維手繪圖和為每個手繪圖附設(shè)文字標簽，還利用攝像機獲取每個手繪圖及其文字標簽的數(shù)字圖像；再針對這些數(shù)字圖像中的手繪圖及其對應(yīng)的文字標簽的區(qū)域進行處理:采用提取三維模型投影圖視覺特征的相同方法提取手繪圖的視覺特征，并將處理后的文字標簽區(qū)域作為檢索關(guān)鍵字，將手繪圖的視覺特征與三維模型特征庫中的三維模型特征進行相似度計算，檢索得到三維場景所需要的三維模型；最后采用三維注冊算法將相似度最大的三維模型投影到相應(yīng)位置，實現(xiàn)手繪場景的三維建模，并最終完成三維場景的展現(xiàn)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟I包括下列操作內(nèi)容: (11)對每個三維模型進行標準化預(yù)處理: 先將三維模型的中心移至世界坐標系、即絕對坐標系的原點；每個三維模型的中心坐標是計算該三維模型的正多面體包圍盒得到的:因模型文件存儲的信息是一系列的點、線、面和材質(zhì)，這里只需讀取所有的點，再分別找出在X、Y和Z三個坐標軸方向上的最小值和最大值，就得到該三維模型的正多面體包圍盒，該包圍盒的中心就是三維模型的中心；由此得到將三維模型移至世界坐標系原點的變換矩陣T’=(TX，TY，Tz);其中，
3.根據(jù)權(quán)利要求2所述的方法，其特征在于:所述步驟(13)中，為保證縮放后的投影圖不改變?nèi)S模型圖的形狀，要將投影圖的大小以圖形的最大直徑為縮放指數(shù)進行歸一化:通過提取三維模型投影圖的視覺形狀特征，能夠得到每個三維模型投影圖的35個ART描述參數(shù)、10個傅里葉描述參數(shù)、1個偏心率描述參數(shù)和1個圓形性描述參數(shù)； 為減少上述各個描述參數(shù)的存儲空間，將每個描述參數(shù)量化為8位，即量化后的參數(shù)值G=[gXaX255+0.5]，其中，G的數(shù)值范圍是(O~255)，原參數(shù)值g的數(shù)值范圍是(0.0~.1.0)，設(shè)置ART描述參數(shù)的縮放因子a=l，其他描述參數(shù)的縮放因子a=2 ;另外，為簡化計算過程、提高計算效率和加快檢索速度，還建立一個二維查找表，以供不再計算而直接從表中查詢O到255之間各個描述參數(shù)數(shù)值之間的距離:L00k_Up_Table [j] [k] = | j-k |，式中，j和k分別是該二維查找表的橫坐標和縱坐標的數(shù)值，其取值范圍是[0，255];采用上述方法得到的所有三維模型投影圖的視覺特征，就構(gòu)成三維模型特征庫。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟2包括下列操作內(nèi)容: (21)為便于提取每個二維手繪圖的視覺特征，需要將所有手繪圖的圖形都繪制在一個規(guī)則多邊形邊框內(nèi)，形成一個手繪場景；并在每個手繪圖的下方添寫一個文本、即文字標簽，再利用攝像機拍攝獲取手繪圖及其文本的數(shù)字圖像，并對該數(shù)字圖像進行二值化處理和膨脹處理，以便將手繪圖及其文字標簽與背景分割開來，并消除噪聲、連接相鄰區(qū)域和填充孔洞；然后進行兩次輪廓提取，得到?jīng)]有外部干擾和不含孔洞的輪廓，由此提取到手繪圖區(qū)域及其文字標簽區(qū)域；最后將手繪圖及其文字標簽關(guān)聯(lián)起來，并記錄每個手繪圖的位置； (22)根據(jù)步驟(21)處理后的手繪圖區(qū)域，利用步驟(13)的基于圖像的視覺形狀特征提取方法提取手繪圖的視覺特征，以供用于與三維模型投影圖進行比較； (23)將步驟(21)處理后的文字標簽區(qū)域作為檢索關(guān)鍵字，并將手繪圖的視覺特征與步驟(13)提取的三維模型特征庫中的三維模型特征采用相似性計算的方式進行比較； (24)藉由步驟(23)的檢索得到三維場景所需的三維模型后，采用三維注冊算法來實現(xiàn)手繪場景中的三維建模，并最終完成三維場景的展現(xiàn)；所述手繪場景是包含手繪圖及其文字標簽的規(guī)則多邊形邊框；該展現(xiàn)方法的關(guān)鍵是三維注冊算法:先獲取三維空間中物體的準確三維坐標，并由計算機根據(jù)該三維坐標生成虛擬物體，再在攝像機下將其映射到真實三維空間中，實現(xiàn)虛擬物體和真實環(huán)境的融合。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述步驟(23)包括下列操作內(nèi)容: (23a)先利用關(guān)鍵字搜索找到三維模型庫中與手繪圖對應(yīng)的關(guān)鍵字有關(guān)聯(lián)的所有三維模型，然后將手繪圖與三維模型特征庫中每個三維模型的每張投影圖的視覺特征進行比較，并計算兩者相似度； 該相似度表示為兩者之間的距離，且距離越大，相似度越小，距離越小，相似度越大；而視覺特征之間的距離計算公式為
【文檔編號】G06T17/00GK103729885SQ201410026189
【公開日】2014年4月16日 申請日期:2014年1月21日 優(yōu)先權(quán)日:2014年1月21日
【發(fā)明者】馬華東, 劉亮, 盧大瑋, 劉安爾 申請人:北京郵電大學(xué)