[0064]z = Ax+By ；
[0065]其中A，B為權重指數(shù)，z為最后得到的配準后結果。
[0066]當該掃描的物體為剛體時，A=LB = O,當掃描的物體為非剛體時則A = 0，B =
1
[0067]對于任意要進行掃描的物體，最多進行兩次關于權重指數(shù)的調整即可得到最吻合的權重指數(shù)數(shù)值，使得配準的結果達到最佳。
[0068]較佳的，在本發(fā)明中，處理使用多臺深度相機進行深度圖像的獲取之外，還可以同時使用色彩相機進行協(xié)同攝像。在拍攝得到深度圖像的同時得到被攝對象的色彩圖，在步驟SI中建立深度圖像的時候直接將深度圖像的數(shù)據(jù)與色彩圖像的數(shù)據(jù)進行關聯(lián)，使得在最后的獲得三維模型時，直接得到與原始被攝目標色彩相同顏色效果。具體的方式有兩種:首先，將深度相機和色彩相機獲得的數(shù)據(jù)直接拼合成一個矩陣，例如深度相機的數(shù)據(jù)用[D]表示，色彩圖像用[RGB]來表示，直接簡單拼合的矩陣為[D，RGB]，在后續(xù)的網格重建過程中，僅僅只對[D]操作，[RGB]的數(shù)據(jù)只是作為跟隨矩陣，不參與運算，直到最后對[D]操作完成后，伴隨其結果，從而生成帶有色彩的三維模型。另一種方式是建立強關聯(lián)的矩陣數(shù)據(jù)[D-RGB]，在對深度圖像操作的同時，也對RGB數(shù)據(jù)進行處理，最后得帶有色彩的三維模型。
[0069]另一方面，本發(fā)明還提供一種用于實現(xiàn)上述三維模型重建的系統(tǒng)，其結構如圖3所示。在該系統(tǒng)中包括至少一個深度相機，用于對目標進行圖像采集，獲得目標的深度圖像；還包括至少一個色彩相機，用于與深度相機協(xié)同拍攝，獲取色彩-深度圖像。與所述深度相機、色彩相機相連接的圖像處理器，用于對獲得的深度圖像進行預處理；與所述圖像處理器相連接的密集點云數(shù)據(jù)生成器，用于根據(jù)目標的深度圖獲取密集點云數(shù)據(jù)，進行目標深度信息點云網格的重建；與所述密集點云數(shù)據(jù)生成器連接的模型重建器，用于對預處理后的多幀深度圖像進行合并、配準，獲得三維模型。
[0070]較佳的，密集點云數(shù)據(jù)生成器、圖像處理器、模型重建器以及三維模型數(shù)據(jù)庫均內置于計算機系統(tǒng)中，由計算機系統(tǒng)完成相關的功能，深度相機和色彩相機分別通過數(shù)據(jù)線或者無線通信的方式與該計算機系統(tǒng)連接，向計算機系統(tǒng)發(fā)送相關的數(shù)據(jù)。
[0071]采用該系統(tǒng)進行三維模型的重建時，首先由深度相機和色彩相機獲得原始的圖像數(shù)據(jù)，發(fā)送到計算機系統(tǒng)中的圖像處理器進行預處理操作。圖像處理器通過相關的圖像算法，對圖像進行去噪聲處理、平滑處理、前后景分割等操作。使得待處理的三維模型與背景相分離，并獲得較為清晰的圖像。
[0072]然后經過圖像處理器預處理的圖像被發(fā)送到密集點云數(shù)據(jù)生成器進行升讀電魚的生成以及網格的重建。在密集點云數(shù)據(jù)生成器中，直接利用深度圖像的信息進行操作，避免了使用者手動選取關鍵點，直接生成精準的三維模型網格。
[0073]對于生成的網格，將發(fā)送到模型重建器中進行三維模型的重建操作，模型重建器針對動態(tài)、靜態(tài)兩種不同的情形，進行分類操作:對于動態(tài)的情形，計算變換矩陣之間的距離，設定一個閾值，當實際距離偏離閾值的時候，表明運動物體過快，導致圖像模糊，可以將對應的網格幀舍去。即對生成的網格序列進行兩兩局部剛體配準，選取關鍵幀網格，減少運動模糊和數(shù)據(jù)冗余。而對于靜態(tài)物體，采用全局穩(wěn)定采樣以及局部加權的方式，對網格中的相鄰最近的點進行迭代操作，尋找出精確的拼接位置，進行合并、配準，獲得三維模型。
[0074]最后將獲得的三維模型發(fā)送到三維模型數(shù)據(jù)庫中進行保存，以便為后續(xù)進行網絡展示使用。
[0075]為了能夠更清楚展示本發(fā)明對實際三維物體重建的過程，以下對一個背包的三維模型重建過程進行詳細描述。首先，對如圖4放置的背包，使用深度相機獲得其對應的深度圖像，如圖5所示。
[0076]為了能夠獲得更為精準的三維模型，通常使用多個角度進行重復操作。例如，將深度相機的拍攝角度進行更換，如圖6、圖8所示，并分別獲得對應的深度圖像，如圖7、圖9所示。此時，即完成了本發(fā)明的步驟SI。
[0077]然后，對于深度圖像進行預處理，這些預處理的步驟具體包括:去噪聲處理、平滑處理、前后景分割等。具體選用的預處理手段依據(jù)具體拍攝的到的深度圖像需求進行選擇。此時，即完成本發(fā)明的步驟S2。
[0078]然后，需要進行步驟S3，根據(jù)目標的深度圖獲取密集點云數(shù)據(jù)，進行目標深度信息點云網格的重建。在本發(fā)明中，可以采用剛體/非剛體兩種方式。對于背包，當放置不動的時候，可以認為其表面沒有隨時間進行改變，可以視為剛體。依據(jù)前述中對于剛體的操作，使用深度相機中產生的結構光的自身參數(shù)進行處理。例如，圖10是常見的由深度相機產生的陣列型結構光點。當這些光點照射在背包上時，將這些點作為深度信息點云網格進行重建。重建的時候參照圖2，對于不同角度的深度圖中，相關性較高的點拼合成一個，并將相關性低的點略去。至此，完成了 3幅背包深度圖的深度信息點云網格的重建。
[0079]然后，對重建后的3個背包的深度圖像進行合并、配準，獲得三維模型。至此，完成步驟S4。
[0080]當然，若考慮背包自身的重量可能會在拍攝的過程中引起形變，也可以將步驟S3中的剛體方式替換成非剛體方式，此時不再使用深度相機中自帶的結構光，而是使用隨機產生的光點點陣作為標志點，進行深度信息點云網格進行重建。重建的時候依然是對于不同角度的深度圖中，相關性較高的點拼合成一個，并將相關性低的點略去。不同點僅在于，需要對隨機點陣中的每一個點與其他所有的點進行迭代運算，確認其相關程度。由于所有點都進行了運算，獲得的結果更為準確。
[0081]由于完全非剛體的隨機點陣的運算較大，為了在運算上節(jié)約時間，通常將剛體、非剛體進行結合，并給與剛體、非剛體適當?shù)臋嘀?假設以剛體的進行合并、配置的結果為X，以非剛體進行配準的結果為y，那么進行加權后，得到的對與背包的合并配準結果可以表示為:
[0082]z = Ax+By ；
[0083]其中A，B為權重指數(shù)，z為最后得到的配準后結果。對于背包，A取值0.85?0.95，B對應選擇0.15?0.05。最終將獲得圖11所示的三維模型。若在步驟SI中同時獲得RGB的彩色圖像，還可以進一步的獲得彩色的三維模型。
[0084]以下再對另一則的實際例子進行說明。首先在3個不同的角度下(圖12?14)獲得關于杯子的深度圖像，如圖15?17所示。
[0085]然后依據(jù)圖10所示的結構光點陣，對杯子建立深度圖的深度信息點云網格。由于杯子是純剛體，可以直接采用深度相機中的結構光進行網格分析。
[0086]完成了 3幅杯子深度圖的深度信息點云網格的重建后，對重建后的3個杯子的深度圖像進行合并、配準，獲得三維模型。進一步優(yōu)化后，獲得如圖18所示的杯子的三維模型。
[0087]本發(fā)明的上述實施例通過深度相機對物體進行拍攝，利用深度圖像中的相關信息智能生成相關的網格，進行模型重建，整個過程無需使用者參與選定，從而加快的模型的建立，提高了建立模型的準確性。
[0088]以上僅為本發(fā)明【具體實施方式】，不能以此來限定本發(fā)明的范圍，本技術領域內的一般技術人員根據(jù)本創(chuàng)作所作的均等變化，以及本領域內技術人員熟知的改變，都應仍屬本發(fā)明涵蓋的范圍。
【主權項】
1.一種三維模型重建方法，其特征在于，包括以下步驟: 51、使用至少一個深度相機對目標進行圖像采集，獲得目標的深度圖像； 52、對獲得的深度圖像進行預處理； 53、根據(jù)目標的深度圖獲取密集點云數(shù)據(jù)，進行目標深度信息點云網格的重建； 54、對重建后的多幀深度圖像進行合并、配準，獲得三維模型。
2.根據(jù)權利要求1所述的三維模型重建方法，其特征在于，所述SI還包括: S11、使用色彩相機與深度相機同步獲取色彩-深度圖像。
3.根據(jù)權利要求1所述的三維模型重建方法，其特征在于。所述步驟S2的預處理包括: 去噪聲處理、平滑處理、前后景分割。
4.根據(jù)權利要求1-3任一所述的三維模型重建方法，其特征在于，所述S4中，對重建后的多幀深度圖像進行配準的步驟還包括: 對生成的網格序列進行兩兩局部剛體配準，選取關鍵幀網格，減少運動模糊和數(shù)據(jù)冗余。
5.根據(jù)權利要求1-3任一所述的三維模型重建方法，其特征在于，所述S4中，對重建后的多幀深度圖像進行配準的步驟還包括: 對配準后的所有數(shù)據(jù)進行曲面融合、補洞。
6.根據(jù)權利要求1-3任一所述的三維模型重建方法，其特征在于，還包括: 55、對獲得的三維模型進行保存，建立三維模型數(shù)據(jù)庫。
7.—種三維模型重建系統(tǒng)，其特征在于，包括: 至少一個深度相機，用于對目標進行圖像采集，獲得目標的深度圖像； 與所述深度相機相連接的圖像處理器，用于對獲得的深度圖像進行預處理； 與所述圖像處理器相連接的密集點云數(shù)據(jù)生成器，用于根據(jù)目標的深度圖獲取密集點云數(shù)據(jù)，進行目標深度信息點云網格的重建； 與所述密集點云數(shù)據(jù)生成器連接的模型重建器，用于對預處理后的多幀深度圖像進行合并、配準，獲得三維模型。
8.根據(jù)權利要求7所述的三維模型重建系統(tǒng)，其特征在于，還包括至少一臺色彩相機，所述色彩相機與深度相機并行連接，用于與深度相機同步獲取色彩-深度圖像。
9.根據(jù)權利要求8所述的三維模型重建系統(tǒng)，其特征在于，所述圖像處理器對圖像進行去噪聲處理、平滑處理、前后景分割。
10.根據(jù)權利要求7-9任一所述的三維模型重建系統(tǒng)，其特征在于，所述模型重建器對生成的網格序列進行兩兩局部剛體配準，選取關鍵幀網格，減少運動模糊和數(shù)據(jù)冗余。
11.根據(jù)權利要求7-9任一所述的三維模型重建系統(tǒng)，其特征在于，所述模型重建器對配準后的所有數(shù)據(jù)進行曲面融合、補洞。
12.根據(jù)權利要求7-9任一所述的三維模型重建系統(tǒng)，其特征在于，還包括與模型重建器連接的三維模型數(shù)據(jù)庫，用于對獲得的三維模型進行保存。
【專利摘要】本發(fā)明涉及一種三維模型重建方法及系統(tǒng)，其中該方法包括以下步驟：S1、使用至少一個深度相機對目標進行圖像采集，獲得目標的深度圖像；S2、對獲得的深度圖像進行預處理；S3、根據(jù)目標的深度圖獲取密集點云數(shù)據(jù)，進行目標深度信息點云網格的重建；S4、對重建后的多幀深度圖像進行合并、配準，獲得三維模型。實施本發(fā)明，無需對目標做手工標記，即可獲取目標的精確三維模型。
【IPC分類】G06T7-00, G06T17-00
【公開號】CN104599314
【申請?zhí)枴緾N201410260791
【發(fā)明人】肖振中, 許宏淮, 劉龍, 黃源浩
【申請人】深圳奧比中光科技有限公司
【公開日】2015年5月6日
【申請日】2014年6月12日