三維模型重建方法與系統(tǒng)的制作方法
【技術領域】
[0001]本發(fā)明涉及計算機的視覺技術，更具體的說，涉及一種基于深度相機的三維模型重建方法與系統(tǒng)。
【背景技術】
[0002]利用計算機技術對真實的物體建立模型在各個領域中都有著很重要的意義，例如對人體進行三維模型的重建，能夠在計算機中實現(xiàn)對人體的姿態(tài)、動作、形貌特征進行重建，為后續(xù)的姿態(tài)識別、更換形貌特性等應用提供基礎。
[0003]而現(xiàn)有的三維模型重建過程中，必須通過使用者手動標記關鍵識別點，才能建立出三維模型，操作不便，精度較低。

【發(fā)明內容】

[0004]本發(fā)明針對現(xiàn)有的三維模型重建技術中存在的必須對目標做手工標記的缺陷，提供一種三維模型重建方法與系統(tǒng)，以實現(xiàn)無需對目標做手工標記，即可獲取目標的精確三維模型。
[0005]本發(fā)明解決上述問題的方案是，提供一種三維模型重建方法，包括以下步驟:
[0006]S1、使用至少一個深度相機對目標進行圖像采集，獲得目標的深度圖像；
[0007]S2、對獲得的深度圖像進行預處理；
[0008]S3、根據目標的深度圖獲取密集點云數據，進行目標深度信息點云網格的重建；
[0009]S4、對重建后的多幀深度圖像進行合并、配準，獲得三維模型。
[0010]本發(fā)明的三維模型重建方法，其中步驟SI還包括:
[0011]S11、使用色彩相機與深度相機同步獲取色彩-深度圖像。
[0012]本發(fā)明的三維模型重建方法，其中步驟S2的預處理包括:
[0013]去噪聲處理、平滑處理、前后景分割。
[0014]本發(fā)明的三維模型重建方法，其中步驟S4中，對重建后的多幀深度圖像進行配準的步驟還包括:
[0015]對生成的網格序列進行兩兩局部剛體配準，選取關鍵幀網格，減少運動模糊和數據冗余。
[0016]本發(fā)明的三維模型重建方法，其中步驟S4中，對重建后的多幀深度圖像進行配準的步驟還包括:
[0017]對配準后的所有數據進行曲面融合、補洞。
[0018]本發(fā)明的三維模型重建方法，還包括:
[0019]S5、對獲得的三維模型進行保存，建立三維模型數據庫。
[0020]本發(fā)明還提供一種三維模型重建系統(tǒng)，包括:
[0021]至少一個深度相機，用于對目標進行圖像采集，獲得目標的深度圖像；
[0022]與所述深度相機相連接的圖像處理器，用于對獲得的深度圖像進行預處理；
[0023]與所述圖像處理器相連接的密集點云數據生成器，用于根據目標的深度圖獲取密集點云數據，進行目標深度信息點云網格的重建；
[0024]與所述密集點云數據生成器連接的模型重建器，用于對預處理后的多幀深度圖像進行合并、配準，獲得三維模型。
[0025]本發(fā)明的三維模型重建系統(tǒng)，還包括至少一臺色彩相機，所述色彩相機與深度相機并行連接，用于與深度相機同步獲取色彩-深度圖像。
[0026]本發(fā)明的三維模型重建系統(tǒng)，圖像處理器對圖像進行去噪聲處理、平滑處理、前后景分割。
[0027]本發(fā)明的三維模型重建系統(tǒng)，模型重建器對生成的網格序列進行兩兩局部剛體配準，選取關鍵幀網格，減少運動模糊和數據冗余。
[0028]本發(fā)明的三維模型重建系統(tǒng)，模型重建器對配準后的所有數據進行曲面融合、補洞。
[0029]本發(fā)明的三維模型重建系統(tǒng)，還包括與模型重建器連接的三維模型數據庫，用于對獲得的三維模型進行保存。
[0030]實施本發(fā)明的三維模型重建方法與系統(tǒng)，在建立三維模型的時候，直接通過深度相機進行識別就可以進行模型的建立，無需使用者手動選取圖像中的關鍵識別點，從而提高了獲取三維模型的精度、速度；還通過與色彩相機的配合，實現(xiàn)了單一深度圖像以及色彩-深度圖像的兩種不同識別需要，為使用者提供了更多的選擇。
【附圖說明】
[0031]以下結合附圖對本發(fā)明進行說明，其中:
[0032]圖1為本發(fā)明一則較佳實施例所提供的三維模型重建方法的流程圖；
[0033]圖2為采用本發(fā)明建立網格的示意圖；
[0034]圖3為本發(fā)明一則較佳實施例所提供的三維模型重建系統(tǒng)的功能結構圖；
[0035]圖4為對背包的第一個角度進行拍照后獲得的照片；
[0036]圖5為對圖4的背包進行深度相機拍攝后得到的照片；
[0037]圖6為對背包的第二個角度進行拍照后獲得的照片；
[0038]圖7為對圖6的背包進行深度相機拍攝后得到的照片；
[0039]圖8為對背包的第三個角度進行拍照后獲得的照片；
[0040]圖9為對圖8的背包進行深度相機拍攝后得到的照片；
[0041]圖10是由深度相機產生的陣列型結構光點；
[0042]圖11為背包進行三維模型重建后的效果圖；
[0043]圖12為對杯子的第一個角度進行拍照后的照片；
[0044]圖13為對杯子的第二個角度進行拍照后的照片；
[0045]圖14為對杯子的第三個角度進行拍照后的照片；
[0046]圖15為對圖12的杯子進行深度相機拍攝后得到的照片；
[0047]圖16為對圖13的杯子進行深度相機拍攝后得到的照片；
[0048]圖17為對圖14的杯子進行深度相機拍攝后得到的照片；
[0049]圖18為杯子進行三維模型重建后的效果圖。
【具體實施方式】
[0050]本發(fā)明針對現(xiàn)有的三維模型重建過程中，必須通過使用者手動標記關鍵識別點，才能建立出三維模型，操作不便，精度較低的缺陷，通過特別優(yōu)化有的深度點云建立方式以及網格重建的方式，在不需要使用者手動選取圖像中的關鍵識別點的前提下，就能夠進行圖像的拼接融合，從而實現(xiàn)提高了獲取三維模型的精度、速度的目的。
[0051]現(xiàn)結合附圖和【具體實施方式】對發(fā)明進行詳細說明。
[0052]如圖1所示為本發(fā)明一則較佳實施例所提供的三維模型重建方法的流程圖。在本實施例中，首先進行步驟S1:使用至少一個深度相機對需要進行建模的目標進行多角度、連續(xù)采集，生成多個深度圖。在該步驟中使用的深度相機包括但不限于以下的種類:T0F相機(TimeOf Flight，飛行時間)、結構光、雙目攝像機、激光掃描等等。在本實施例中優(yōu)選使用TOF相機，通過TOF相機向被拍攝物體連續(xù)發(fā)送光脈沖，然后用傳感器接收從物體返回的光，通過探測光脈沖的飛行時間來得到目標物距離，通過的得到距離數據得到深度圖像。
[0053]對于獲得的多個深度圖像，在步驟S2中需要進行預處理，這些預處理的步驟具體包括:去噪聲處理、平滑處理、前后景分割等。由于在初始獲得的深度圖像中通常會將背景、環(huán)境中的非處理目標等攝入，為了能夠精確的將實際的物體在計算機環(huán)境中重建建立出三維模型，通過一些常用的去噪、平滑算法可以獲得目標區(qū)域的圖像。而通過前后景分割的處理，可以將三維建模目標與背景分離，在TOF相機中可以直接通過設定返回的飛行時間閾值將目標從背景圖像中選取出來，此外還可以使用幾種不同的輪廓提取算法，包括分水嶺、種子搜索、背景消減和二值化算法等，在本實施例中優(yōu)選使用種子搜索的輪廓提取方式:首先使用簡單的間值分割前背景確定目標位置，放置輪廓生成種子在估計的目標中心，再通過基于平滑度約束的深度搜索，擴散輪廓，生成精確的深度人像輪廓。再通過形態(tài)學，或采用分水嶺算法可以改善獲取三維模型的輪廓?；趧幼髟趲g的變化總是小于某一程度的假設，結合上一幀的輪廓提取結果，改善和加快當前幀的提取。
[0054]在對圖像進行過預處理之后，進行步驟S3:根據目標的深度圖獲取密集點云數據，進行目標深度信息點云網格的重建。在以往的技術中，建立深度點云進行網格的重建是需要使用者進行手工的選擇關鍵點，是這些選取的關鍵點連接成網格。但是本實施例不使用手工方式，利用獲得深度圖像時本身圖像本身是一組有序的二維點集，它蘊含了其對應的空間點之間的鄰接關系，通過不同的判斷方式確定相鄰的點是否進行拼接。例如在圖2(a)?圖2(g)中給出4個點在建立三角形網格時的7種情形，依據這些點在空間上的距離關系，將相同平面的點，或者是距離在閾值范圍內的點連接成三角形網格。當然，本領域的技術人員依據實際的深度圖像可以建立不同形狀的網格。
[0055]在建立好每一個區(qū)域的網格后，需要將這些網格進行拼接，生成三維模型。在本實施例中的步驟S4操作方式如下:對建立好的所有網格，用{N1; N2......NJ表示，將這些數據的初始位置對齊，按照次序計算每一個網格沿三個坐標軸的位移t與旋轉V, V,r；, r；, r/}，記為變換矩陣!％，采用頂點隨機采樣，基于投影點匹配、點到平面的距離誤差修正等方式對網格Ni,進行計算。
[0056]針對不同的采集對象，可以進行不同的操作:對于運動的物體，計算變換矩陣之間的距離，設定一個閾值，當實際距離偏離閾值的時候，表明運動物體過快，導致圖像模糊，可以將對應的網格幀舍去。即對生成的網格序列進行兩兩局部剛體配準，選取關鍵幀網格，減少運動模糊和數據冗余。
[0057]而對于靜態(tài)物體，在本實施例中采用全局穩(wěn)定采樣以及局部加權的方式，對網格中的相鄰最近的點進行迭代操作，尋找出精確的拼接位置，進行合并、配準，獲得三維模型。
[0058]當然，在上述重建的過程中，需要對網格進行必要的優(yōu)化操作:對配準后的所有數據進行曲面融合、補洞。以便生成的三維模型是一個連續(xù)可靠的圖像。當所有的優(yōu)化操作完成后，就可以將生成的三維模型進行保存。
[0059]較佳的，在本申請中，步驟S4在對拍攝物體進行處理的時候，對物體按照剛體和非剛體進行區(qū)分處理:
[0060]對于剛體，在本申請中使用深度相機中產生的結構光的自身參數進行處理。結構光一般具有周期性排布的特征，例如光斑呈網格狀、點陣狀等，當使用結構光對物體進行掃描的時候，自動將這些網格狀的光斑的交點、點陣狀光斑的點陣作為選取的特征點，自適應地將這些結構光的參數特征點作為合并、配準過程中的標志點。
[0061]而對于非剛體，則采用隨機點的方式選取特征點，當結構光照射在非剛體后，由于非剛體會不斷改變形狀結構，而深度相機在拍攝一幀時無法自動跟隨非剛體進行適配改變，因此采用隨機選取標志點的方式作為合并、配準過程中的標志點。
[0062]但是一般的物體通常不會是完全的剛體或者是完全的非剛體，為此，在本實施例中使用加權的方式將剛體和非剛體結合在一起。
[0063]假設以剛體的進行合并、配置的結果為X，以非剛體進行配準的結果為y，那么采用本發(fā)明進行加權后，得到的對與一般物體的合并配準結果可以表示為: