本發(fā)明涉及仿真建模技術(shù)領(lǐng)域，尤其涉及一種花朵開放過程的重建方法及裝置。

背景技術(shù)：

在生物科學(xué)領(lǐng)域，對于花朵開放過程的研究已經(jīng)有了很長的歷史。傳統(tǒng)意義上，這樣的研究依賴于手動記錄下的過程，或者用相機間隔的拍照，然后在圖片上進行測量。這樣的工作流程是繁瑣并且低效的，容易出現(xiàn)測量偏差。

三維(3D)掃描技術(shù)的進步為精確測量花朵開放過程提供了新的機會和方法。3D掃描主要用于對物體空間外形、結(jié)構(gòu)及色彩進行掃描，以獲得物體表面的空間坐標(biāo)。3D掃描的重要意義在于能夠?qū)嵨锏牧Ⅲw信息轉(zhuǎn)換為計算機能直接處理的數(shù)字信號，為實物數(shù)字化提供了相當(dāng)方便快捷的手段。掃描過程中采集的數(shù)據(jù)一般為創(chuàng)建物體幾何表面的點云，這些點可用來插補成物體的表面形狀，越密集的點云可以創(chuàng)建更精確的模型，這個過程稱為三維重建。

三維掃描儀的原始輸出如果受到外界環(huán)境影響會有各種缺陷，包括噪聲、丟失的數(shù)據(jù)和異常值?，F(xiàn)在已經(jīng)有不少方法用于改善相應(yīng)的重構(gòu)模型的質(zhì)量，例如，基于圖片的建模方法以及基于點云的重建方法。其中，基于圖片的建模方法，從大量相同物體不同視角下的圖片中，建立優(yōu)化方程，直接并且同時求解出相機位置和物體的三維坐標(biāo)，這種方法被稱為Structure From Motion。基于點云的重建方法直接從采集到的點云重建出高質(zhì)量網(wǎng)格模型，例如，比較著名的泊松重建方法，用隱式曲面來表達重建的網(wǎng)格，將空間劃分為三個部分：在曲面上、在曲面外部以及在曲面內(nèi)部，通過求解隱式方程得到網(wǎng)格的位置。然而，這些方法都是在假設(shè)掃描對象是靜態(tài)的前提下，通過分解出攝像頭的運動以及合并掃描多視角的數(shù)據(jù)，從而得到完整的重建模型。

隨著3D掃描技術(shù)的日漸成熟，將掃描技術(shù)運用在動態(tài)物體捕捉上的應(yīng)用越來越多，重建技術(shù)例如已經(jīng)廣泛用到人體運動、人臉表情以及其它可變形物體的動態(tài)捕捉上。掃描動態(tài)物體得到的數(shù)據(jù)是記錄了物體變形信息的點云序列，可用于生成完整的網(wǎng)格變形序列。這個過程被稱為四維(4D)重建。常用的方法是用一個與掃描物體幾何性質(zhì)一致的、預(yù)定義好的形狀模板來表示物體形態(tài)。由于掃描的間隔一般很小，物體只有少量的形變，所以能夠在連續(xù)的幀之間建立足夠的特征匹配，從而獲得完整的模板變形序列。

但是花朵是自身幾何特征復(fù)雜、自遮擋嚴(yán)重的物體，現(xiàn)有的3D掃描技術(shù)并不能獲得花朵完整的物體數(shù)據(jù)。同時，花朵開放過程中，花朵的變形比較復(fù)雜，無法建立有效的特征匹配關(guān)系。針對類似于花朵這樣的物體，擁有復(fù)雜的幾何形態(tài)，自遮擋嚴(yán)重的情況下，目前尚未提出比較精確逼真的4D重建技術(shù)。

植物的建模一直備受計算機圖形學(xué)的關(guān)注。雖然目前可以制作非常逼真的植物，但是我們感興趣的是實際的植物生長過程的狀態(tài)情況，并且分析真正的生長數(shù)據(jù)可以反過來用于重新創(chuàng)建高質(zhì)量幾何形狀或動畫。

對于花朵開放過程，現(xiàn)有的建模方法是基于物理模擬的方法，利用物理模型，尤其是力學(xué)原理，對已有的花瓣模型施加虛擬的力，推動花瓣的變化，從而使整個花朵達到開放的狀態(tài)。然而這種基于物理模擬的方法，并不能真實地反應(yīng)實際的開花過程，花瓣的運動顯得過于簡單和規(guī)整。

技術(shù)實現(xiàn)要素：

本發(fā)明提供了一種花朵開放過程的重建方法及裝置，通過該方法得到的花朵開放過程，相較于現(xiàn)有技術(shù)得到的花朵開放過程，結(jié)果更加逼真精確。

根據(jù)本發(fā)明的一個方面，提供了一種花朵開放過程的重建方法，包括：采集整個花朵開放過程的四維點云數(shù)據(jù)；從所述點云數(shù)據(jù)中選擇一幀包括所有花瓣信息的點云數(shù)據(jù)，并根據(jù)所選點云數(shù)據(jù)創(chuàng)建花朵網(wǎng)格模板，其中所述花朵網(wǎng)格模板包括多個花瓣網(wǎng)格模板；基于所述花朵網(wǎng)格模板與所述點云數(shù)據(jù)的對應(yīng)關(guān)系，驅(qū)動所述花朵網(wǎng)格模板進行網(wǎng)格形變以跟蹤所述點云數(shù)據(jù)，分別得到每一幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板，其中，在網(wǎng)格形變過程中對各花瓣網(wǎng)格模板進行形狀約束、碰撞約束和固定根約束；將得到的所有花朵網(wǎng)格模板按照花朵開放的順序排列，得到花朵開放的動態(tài)過程。

在一個實施例中，基于所述花朵網(wǎng)格模板與所述點云數(shù)據(jù)的對應(yīng)關(guān)系，驅(qū)動所述花朵網(wǎng)格模板進行網(wǎng)格形變以跟蹤所述點云數(shù)據(jù)，分別得到每一幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板，包括：針對所選點云數(shù)據(jù)及其之前的各幀點云數(shù)據(jù)，從后往前逐幀執(zhí)行步驟A1和步驟A2，直到得到所選點云數(shù)據(jù)之前的每一幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板；步驟A1，根據(jù)當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板的幾何特征，對所述當(dāng)前幀點云數(shù)據(jù)的上一幀點云數(shù)據(jù)進行分割，得到花朵網(wǎng)格模板與所述上一幀點云數(shù)據(jù)的對應(yīng)關(guān)系；步驟A2，基于所述上一幀點云數(shù)據(jù)和所述對應(yīng)關(guān)系，對所述當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板進行網(wǎng)格形變，得到與所述上一幀點云數(shù)據(jù)所展現(xiàn)的幾何形態(tài)一致的花朵網(wǎng)格模板；和/或，針對所選點云數(shù)據(jù)及其之后的各幀點云數(shù)據(jù)，從前往后逐幀執(zhí)行步驟B1和步驟B2，直到得到所選點云數(shù)據(jù)之后的每一幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板；步驟B1，根據(jù)當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板的幾何特征，對所述當(dāng)前幀點云數(shù)據(jù)的下一幀點云數(shù)據(jù)進行分割，得到花朵網(wǎng)格模板與所述下一幀點云數(shù)據(jù)的對應(yīng)關(guān)系；步驟B2，基于所述下一幀點云數(shù)據(jù)和所述對應(yīng)關(guān)系，對所述當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板進行網(wǎng)格形變，得到與所述下一幀點云數(shù)據(jù)所展現(xiàn)的幾何形態(tài)一致的花朵網(wǎng)格模板。

在一個實施例中，對于從后往前逐幀處理的情況，根據(jù)當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板的幾何特征，對所述當(dāng)前幀點云數(shù)據(jù)的上一幀點云數(shù)據(jù)進行分割，包括：針對所述上一幀點云數(shù)據(jù)中的每個采集點，分別計算該采集點到所述當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板中每個花瓣網(wǎng)格模板的距離；將該采集點對應(yīng)的距離值由大到小進行排序，選取排在最后的兩個距離值，并計算這兩個距離值的比值；如果比值小于預(yù)設(shè)閾值，確定該采集點屬于最小距離值對應(yīng)的花瓣網(wǎng)格模板；如果比值大于或等于所述預(yù)設(shè)閾值，確定該采集點不屬于任何花瓣網(wǎng)格模板；對于從前往后逐幀處理的情況，根據(jù)當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板的幾何特征，對所述當(dāng)前幀點云數(shù)據(jù)的下一幀點云數(shù)據(jù)進行分割，包括：針對所述下一幀點云數(shù)據(jù)中的每個采集點，分別計算該采集點到所述當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板中每個花瓣網(wǎng)格模板的距離；將該采集點對應(yīng)的距離值由大到小進行排序，選取排在最后的兩個距離值，并計算這兩個距離值的比值；如果比值小于預(yù)設(shè)閾值，確定該采集點屬于最小距離值對應(yīng)的花瓣網(wǎng)格模板；如果比值大于或等于所述預(yù)設(shè)閾值，確定該采集點不屬于任何花瓣網(wǎng)格模板。

在一個實施例中，分別計算該采集點到所述當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板中每個花瓣網(wǎng)格模板的距離，包括：針對每個花瓣網(wǎng)格模板，計算該采集點到該花瓣網(wǎng)格模板中每個頂點的距離，并計算最近距離，將該最近距離作為該采集點到該花瓣網(wǎng)格模板的距離。

在一個實施例中，得到花瓣網(wǎng)格模板與點云數(shù)據(jù)的對應(yīng)關(guān)系，包括：針對每一個花瓣網(wǎng)格模板，計算該花瓣網(wǎng)格模板上的每一個頂點與屬于該花瓣網(wǎng)格模板的每一個采集點之間的匹配概率，花朵網(wǎng)格模板和所有采集點之間的匹配概率用關(guān)聯(lián)矩陣Z表示，關(guān)聯(lián)矩陣Z中的元素Z_ij∈[0,1]；其中，m_i表示花朵網(wǎng)格模板M上的第i個頂點，m_i屬于第k個花瓣網(wǎng)格模板，第k個花瓣網(wǎng)格模板用M^k，Q^k表示與M^k對應(yīng)的點云數(shù)據(jù)，q_j表示點云數(shù)據(jù)Q中的第j個采集點_，p(q_j|m_i)為似然概率_，表示在花朵網(wǎng)格模板M的頂點m_i下觀測點云數(shù)據(jù)Q的采集點q_j的概率。

在一個實施例中，對所述當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板進行網(wǎng)格形變，包括：采用期望最大化迭代算法求解最大后驗估計的能量方程：argmin(-logp(M|Q,Z)-logp(M))；對于從后往前逐幀處理的情況_，求解該能量方程得到所述當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板中各頂點對應(yīng)于上一幀點云數(shù)據(jù)的新位置；對于從前往后逐幀處理的情況，求解該能量方程得到所述當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板中各頂點對應(yīng)于下一幀點云數(shù)據(jù)的新位置；其中，-logp(M|Q,Z)為數(shù)據(jù)項，表示花朵網(wǎng)格模板M與點云數(shù)據(jù)Q之間的符合程度；關(guān)聯(lián)矩陣Z表示花朵網(wǎng)格模板M和所有采集點之間的匹配概率；p(M|Q,Z)為似然概率，表示在花朵網(wǎng)格模板M下觀測點云數(shù)據(jù)Q的概率；-logp(M)為花朵網(wǎng)格模板的先驗項，表示花朵網(wǎng)格模板M自身的約束；p(M)為先驗概率，表示花朵網(wǎng)格模板M自身約束的出現(xiàn)概率。

在一個實施例中，所述數(shù)據(jù)項的表達式為：

-logp(M|Q,Z)＝∑_kw₁D(Q^k,M^k)，其中，w1表示數(shù)據(jù)項的權(quán)重，M^k表示第k個花瓣網(wǎng)格模板，Q^k表示第k個花瓣網(wǎng)格模板M^k對應(yīng)的點云數(shù)據(jù)，D(Q^k,M^k)表示第k個花瓣網(wǎng)格模板M^k與其對應(yīng)的點云數(shù)據(jù)Q^k的距離函數(shù)，m_i表示花朵網(wǎng)格模板M上的第i個頂點，且該頂點屬于第k個花瓣網(wǎng)格模板M^k；q_j表示點云數(shù)據(jù)Q中的第j個采集點，且該采集點屬于Q^k；Z_ij表示網(wǎng)格模板M上的第i個頂點與點云數(shù)據(jù)Q中的第j個采集點之間的匹配概率。

在一個實施例中，所述先驗項包括：形狀約束E_shape、碰撞約束E_collision和固定根約束E_root，其中，所述形狀約束用于對所述花瓣網(wǎng)格模板進行幾何形狀上的約束，所述碰撞約束用于保證各花瓣網(wǎng)格模板之間不發(fā)生交叉碰撞，所述固定根約束用于保證花瓣網(wǎng)格模板擁有固定根底部；

所述先驗項的表達式為：-logp(M)＝E_shape+E_collision+E_root，

在一個實施例中，所述形狀約束E_shape的表達式為：

其中，w₂表示形狀約束的權(quán)重，N(i)表示在花朵網(wǎng)格模板M上與第i個頂點相鄰的頂點集合，c_ij表示第i個頂點和第j個頂點組成的邊的權(quán)重，R_i表示第i個頂點的旋轉(zhuǎn)矩陣，表示頂點m_i形變前的位置，表示頂點m_j形變前的位置，||·||²表示歐式距離。

在一個實施例中，所述碰撞約束E_collision的表達式為：

其中，w₃表示碰撞約束的權(quán)重，S_C表示發(fā)生碰撞的頂點的集合，表示頂點m_i避免碰撞的新位置，||·||²表示歐式距離。

在一個實施例中，所述固定根約束E_root的表達式為：

其中，w₄表示固定根約束的權(quán)重，S_R表示根節(jié)點的集合，表示頂點m_i形變前的位置。

在一個實施例中，采用期望最大化迭代算法求解最大后驗估計的能量方程，包括：針對花朵網(wǎng)格模板的每一個頂點，求解形狀約束中的旋轉(zhuǎn)矩陣R_i以及碰撞約束中頂點m_i避免碰撞的新位置將最大后驗估計的能量方程轉(zhuǎn)化成線性方程，求解頂點的新位置；迭代上述求解過程直至收斂，得到花朵網(wǎng)格模板的新位置。

根據(jù)本發(fā)明的另一個方面，提供了一種花朵開放過程的重建裝置，包括：數(shù)據(jù)采集單元，用于采集整個花朵開放過程的四維點云數(shù)據(jù)；模板創(chuàng)建單元，用于從所述點云數(shù)據(jù)中選擇一幀包括所有花瓣信息的點云數(shù)據(jù)，并根據(jù)所選點云數(shù)據(jù)創(chuàng)建花朵網(wǎng)格模板，其中所述花朵網(wǎng)格模板包括多個花瓣網(wǎng)格模板；驅(qū)動形變單元，用于基于所述花朵網(wǎng)格模板與所述點云數(shù)據(jù)的對應(yīng)關(guān)系，驅(qū)動所述花朵網(wǎng)格模板進行網(wǎng)格形變以跟蹤所述點云數(shù)據(jù)，分別得到每一幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板，其中，在網(wǎng)格形變過程中對各花瓣網(wǎng)格模板進行形狀約束、碰撞約束和固定根約束；展示單元，用于將得到的所有花朵網(wǎng)格模板按照花朵開放的順序排列，得到花朵開放的動態(tài)過程。

在一個實施例中，所述驅(qū)動形變單元包括：第一驅(qū)動模塊，用于針對所選點云數(shù)據(jù)及其之前的各幀點云數(shù)據(jù)，從后往前逐幀觸發(fā)第一分割模塊和第一形變模塊，直到得到所選點云數(shù)據(jù)之前的每一幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板；第一分割模塊，用于根據(jù)當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板的幾何特征，對所述當(dāng)前幀點云數(shù)據(jù)的上一幀點云數(shù)據(jù)進行分割，得到花朵網(wǎng)格模板與所述上一幀點云數(shù)據(jù)的對應(yīng)關(guān)系；第一形變模塊，用于基于所述上一幀點云數(shù)據(jù)和所述對應(yīng)關(guān)系，對所述當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板進行網(wǎng)格形變，得到與所述上一幀點云數(shù)據(jù)所展現(xiàn)的幾何形態(tài)一致的花朵網(wǎng)格模板；第二驅(qū)動模塊，用于針對所選點云數(shù)據(jù)及其之后的各幀點云數(shù)據(jù)，從前往后逐幀觸發(fā)第二分割模塊和第二形變模塊，直到得到所選點云數(shù)據(jù)之后的每一幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板；第二分割模塊，用于根據(jù)當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板的幾何特征，對所述當(dāng)前幀點云數(shù)據(jù)的下一幀點云數(shù)據(jù)進行分割，得到花朵網(wǎng)格模板與所述下一幀點云數(shù)據(jù)的對應(yīng)關(guān)系；第二形變模塊，用于基于所述下一幀點云數(shù)據(jù)和所述對應(yīng)關(guān)系，對所述當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板進行網(wǎng)格形變，得到與所述下一幀點云數(shù)據(jù)所展現(xiàn)的幾何形態(tài)一致的花朵網(wǎng)格模板。

通過本發(fā)明的花朵開放過程的重建方法及裝置，基于采集到的真實的花朵開放過程點云數(shù)據(jù)以及創(chuàng)建的花朵網(wǎng)格模板，以數(shù)據(jù)驅(qū)動的方式進行花朵網(wǎng)格模板的有效網(wǎng)格形變，更新網(wǎng)格頂點的位置，能夠保證模板形變的真實性，同時也能夠保證足夠的自由度，使得形變后的模板最大程度與實際點云數(shù)據(jù)所展現(xiàn)的幾何形態(tài)一致；同時，對花瓣網(wǎng)格模板進行約束，保證模板形狀不發(fā)生非正常的扭曲和結(jié)構(gòu)變化以及花瓣網(wǎng)格之間不發(fā)生交叉碰撞，使得花瓣之間的運動不受彼此的干擾。由此重建出的花朵開放過程，能夠更精確更真實地反應(yīng)花朵開放過程，甚至能與實際花朵開放過程達到一模一樣的視覺效果。

附圖說明

此處所說明的附圖用來提供對本發(fā)明的進一步理解，構(gòu)成本申請的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限定。在附圖中：

圖1是本發(fā)明實施例的花朵開放過程的重建方法的流程圖；

圖2是本發(fā)明實施例的睡蓮的點云數(shù)據(jù)和重建的開放過程的比較示意圖；

圖3是本發(fā)明實施例的花朵開放過程的重建裝置的結(jié)構(gòu)框圖；

圖4是本發(fā)明實施例的金百合的點云數(shù)據(jù)和重建的開放過程的比較示意圖；

圖5是本發(fā)明實施例的單片花瓣的點云數(shù)據(jù)和重建的開放過程的比較示意圖；

圖6是本發(fā)明實施例的花朵開放過程的重建流程示意圖。

具體實施方式

下面結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明的保護范圍。

基于物理模擬生成花朵開放的動畫，并不能真實地反應(yīng)實際的開花過程；而現(xiàn)有的四維重建方法，由于花朵幾何特征復(fù)雜且自遮擋嚴(yán)重，不能直接用于花朵重建花朵開放過程?；ǘ溟_放過程的重建，可以看成多個物體在相互遮擋情況下的跟蹤問題。這不同于人體運動和人臉表情的重建(人體運動和人臉表情的重建過程中模板以及跟蹤的對象往往只有一個，物體之間更不會存在遮擋關(guān)系)。本發(fā)明解決的問題是：當(dāng)多個物體在有顯著遮擋關(guān)系時，如何有效進行模板的跟蹤，從而重建出整個運動過程。

本發(fā)明實施例提供了一種花朵開放過程的重建方法，圖1是本發(fā)明實施例的花朵開放過程的重建方法的流程圖，如圖1所示，該方法包括如下的步驟S101至步驟S104。

步驟S101，采集整個花朵開放過程的四維點云數(shù)據(jù)。

具體的，可以利用現(xiàn)有的3D掃描技術(shù)采集花朵開放過程的四維(4D)點云數(shù)據(jù)。4D點云數(shù)據(jù)與3D數(shù)據(jù)相比，加入了時間信息，即所采集的點云數(shù)據(jù)是一幀一幀的，按照花朵從花苞狀態(tài)到完全開放狀態(tài)的時間過程展現(xiàn)。

步驟S102，從點云數(shù)據(jù)中選擇一幀包括所有花瓣信息的點云數(shù)據(jù)，并根據(jù)所選點云數(shù)據(jù)創(chuàng)建花朵網(wǎng)格模板，其中該花朵網(wǎng)格模板包括多個花瓣網(wǎng)格模板。

花朵自遮擋的存在，使得采集到的點云數(shù)據(jù)會不完整，無法掃描到每一個花瓣所對應(yīng)的點云數(shù)據(jù)，得到的數(shù)據(jù)只能是花朵表面的點云數(shù)據(jù)，而內(nèi)部的結(jié)構(gòu)卻無法得到，例如花朵在花苞狀態(tài)，僅能看到表面的幾個花瓣，存在大量的花瓣缺失，導(dǎo)致采集到的對應(yīng)狀態(tài)的點云數(shù)據(jù)嚴(yán)重丟失。為了提高重建的真實效果，本發(fā)明從所采集的點云數(shù)據(jù)中選擇一幀包含花瓣信息較為完整的點云數(shù)據(jù)，在所選點云數(shù)據(jù)的基礎(chǔ)上，創(chuàng)建花朵網(wǎng)格模板。具體的，可以是人工按照所選點云數(shù)據(jù)和花朵實物創(chuàng)建花朵網(wǎng)格模板，也可以通過預(yù)先編輯好的軟件按照所選點云數(shù)據(jù)創(chuàng)建花朵網(wǎng)格模板，從而得到較為真實合理的花朵網(wǎng)格模板。

由于花朵的幾何形態(tài)比較復(fù)雜，不能簡單的將花朵作為一個整體進行處理。所以本發(fā)明對花朵進行幾何意義上的分割，在創(chuàng)建花朵網(wǎng)格模板時，將花朵網(wǎng)格模板分割為多個花瓣網(wǎng)格模板，以花瓣作為基本單元。

步驟S103，基于花朵網(wǎng)格模板與點云數(shù)據(jù)的對應(yīng)關(guān)系，驅(qū)動花朵網(wǎng)格模板進行網(wǎng)格形變以跟蹤點云數(shù)據(jù)，分別得到每一幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板，其中，在網(wǎng)格形變過程中對各花瓣網(wǎng)格模板進行形狀約束、碰撞約束和固定根約束。

所采集的點云數(shù)據(jù)是花朵開放過程的真實點云序列，連續(xù)幀之間會有微小的動作變化，花朵網(wǎng)格模板是根據(jù)某一幀點云數(shù)據(jù)創(chuàng)建的，為了驅(qū)動模板形變，重建整個花朵開放過程，需要根據(jù)花朵網(wǎng)格模板的幾何特征去分割所采集的點云數(shù)據(jù)，得到模板與真實點云數(shù)據(jù)的對應(yīng)關(guān)系(或稱為匹配關(guān)系)，達到模板和點云數(shù)據(jù)在花瓣層面上的一一對應(yīng)。從而在上述對應(yīng)關(guān)系的基礎(chǔ)上，按照真實點云數(shù)據(jù)一幀一幀的形變，花朵網(wǎng)格模板也能夠進行正確有效的形變，以達到與點云數(shù)據(jù)所展現(xiàn)的幾何形態(tài)一致。

步驟S104，將得到的所有花朵網(wǎng)格模板按照花朵開放的順序排列，得到花朵開放的動態(tài)過程。

通過上述方案，基于采集到的真實的花朵開放過程點云數(shù)據(jù)以及創(chuàng)建的花朵網(wǎng)格模板，以數(shù)據(jù)驅(qū)動的方式進行花朵網(wǎng)格模板的有效網(wǎng)格形變，更新網(wǎng)格頂點的位置，能夠保證模板形變的真實性，同時也能夠保證足夠的自由度，使得形變后的模板最大程度與實際點云數(shù)據(jù)所展現(xiàn)的幾何形態(tài)一致；在該過程中，對花瓣網(wǎng)格模板進行約束，保證模板形狀不發(fā)生非正常的扭曲和結(jié)構(gòu)變化以及花瓣網(wǎng)格之間不發(fā)生交叉碰撞，使得花瓣之間的運動不受彼此的干擾。由此重建出的精確逼真的花朵開放過程，能夠更真實地反應(yīng)花朵開放過程，甚至能與實際花朵開放過程達到一模一樣的視覺效果。

本發(fā)明所解決的問題是從花朵開放的4D點云數(shù)據(jù)上，重建出真實的花朵開放的網(wǎng)格序列。在本發(fā)明中，把上述問題抽象成了一個最大后驗估計的問題，從概率和幾何兩個方面對問題進行了抽象，從而得到花朵網(wǎng)格形變的能量優(yōu)化方程。

花朵網(wǎng)格模板是以花朵開放過程中的某一幀質(zhì)量較好的點云數(shù)據(jù)為基礎(chǔ)創(chuàng)建的，通過這個靜態(tài)的花朵網(wǎng)格模板，基于數(shù)據(jù)向前(花苞狀態(tài))和/或向后(開放狀態(tài))進行模板的形變，重建出真實的花朵開放的動態(tài)過程。

問題的輸入：Q＝Q_1:T，1≤t≤T，其中，t為幀數(shù)，Q為點云數(shù)據(jù)。

問題的輸出：M＝M_1:T，1≤t≤T，其中，M為花朵網(wǎng)格模板，每一朵花都由K個花瓣構(gòu)成，花瓣用M^k表示，1≤k≤K。

本發(fā)明將每一個花瓣網(wǎng)格模板都看成一個高斯混合分布(Gaussian Mixture Models，GMM)，即模板上的每個頂點是一個高斯分布的中心，模板上的所有頂點構(gòu)成了一個混合分布，那么采集到的相對應(yīng)的點云數(shù)據(jù)即為GMM的實際觀測點集，模板的形變就轉(zhuǎn)換成根據(jù)實際觀測到的點云數(shù)據(jù)，推斷模板每個頂點符合該點云數(shù)據(jù)的新位置，同時要保證模板本身的性質(zhì)。因此上述問題就變成了一個最大后驗估計的問題：

argmaxp(Q_t|M_t)p(M_t)

其中，M_t為未知數(shù)，p(Q_t|M_t)表示似然概率，即在當(dāng)前模板M_t下觀測點云Q_t的概率，p(M_t)表示先驗概率，即模板自身的約束出現(xiàn)概率。

由于花朵網(wǎng)格模板的基本單元是花瓣網(wǎng)格模板M^k，但是采集的點云數(shù)據(jù)是沒有分割信息的，所以需要在進行模板形變前，確定每一個花瓣網(wǎng)格模板所對應(yīng)的點云數(shù)據(jù)集合，即對點云數(shù)據(jù)根據(jù)花瓣信息進行分割，獲取每一個花瓣網(wǎng)格模板所對應(yīng)的點云數(shù)據(jù)。然后對于花朵網(wǎng)格模板，采用期望最大化(Expectation Maximization，EM)迭代算法求解最大后驗估計的問題，得到該花朵網(wǎng)格模板的下一個位置，即新模板

圖2是本發(fā)明實施例的睡蓮的點云數(shù)據(jù)和重建的開放過程的比較示意圖，實際采集的睡蓮數(shù)據(jù)超過了100幀，圖2僅示出了具有代表性的6幀數(shù)據(jù)，分別記為t1、t2、t3、t4、t5、t6。

下面結(jié)合圖2說明步驟S103中基于數(shù)據(jù)驅(qū)動花朵網(wǎng)格模板進行網(wǎng)格形變的過程?；谒x點云數(shù)據(jù)在全部點云數(shù)據(jù)中的位置，步驟S103可以包括：方式(1)和/或方式(2)。

(1)針對所選點云數(shù)據(jù)及其之前的各幀點云數(shù)據(jù)，從后往前逐幀執(zhí)行步驟A1和步驟A2，直到得到所選點云數(shù)據(jù)之前的每一幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板。

步驟A1，根據(jù)當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板的幾何特征，對當(dāng)前幀點云數(shù)據(jù)的上一幀點云數(shù)據(jù)進行分割，得到花朵網(wǎng)格模板與上一幀點云數(shù)據(jù)的對應(yīng)關(guān)系，該對應(yīng)關(guān)系即上一幀點云數(shù)據(jù)中的采集點屬于當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板中的哪個花瓣網(wǎng)格模板；

步驟A2，基于上一幀點云數(shù)據(jù)和對應(yīng)關(guān)系，對當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板進行網(wǎng)格形變，得到與上一幀點云數(shù)據(jù)所展現(xiàn)的幾何形態(tài)一致的花朵網(wǎng)格模板。

(2)針對所選點云數(shù)據(jù)及其之后的各幀點云數(shù)據(jù)，從前往后逐幀執(zhí)行步驟B1和步驟B2，直到得到所選點云數(shù)據(jù)之后的每一幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板。

步驟B1，根據(jù)當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板的幾何特征，對當(dāng)前幀點云數(shù)據(jù)的下一幀點云數(shù)據(jù)進行分割，得到花朵網(wǎng)格模板與下一幀點云數(shù)據(jù)的對應(yīng)關(guān)系，該對應(yīng)關(guān)系即下一幀點云數(shù)據(jù)中的采集點屬于當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板中的哪個花瓣網(wǎng)格模板；

步驟B2，基于下一幀點云數(shù)據(jù)和對應(yīng)關(guān)系，對當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板進行網(wǎng)格形變，得到與下一幀點云數(shù)據(jù)所展現(xiàn)的幾何形態(tài)一致的花朵網(wǎng)格模板。

如圖2所示，假設(shè)選取第四幀點云數(shù)據(jù)(t4)創(chuàng)建花朵網(wǎng)格模板(記為M4)。對于第一幀至第三幀點云數(shù)據(jù)(t1至t3)，可以使用方式(1)得到t1、t2、t3對應(yīng)的花朵網(wǎng)格模板M1、M2、M3；對于第五幀和第六幀點云數(shù)據(jù)(t5、t6)，可以使用方式(2)得到t5、t6對應(yīng)的花朵網(wǎng)格模板M5、M6。由此，得到了每一幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板。

具體的，以t4作為當(dāng)前幀點云數(shù)據(jù)，根據(jù)M4的幾何特征，對t3進行分割，得到M4中各花瓣網(wǎng)格模板與t3的對應(yīng)關(guān)系，基于t3和得到的對應(yīng)關(guān)系，對M4進行網(wǎng)格形變，得到t3對應(yīng)的花朵網(wǎng)格模板M3。然后，以t3作為當(dāng)前幀點云數(shù)據(jù)，根據(jù)M3的幾何特征，對t2進行分割，得到M3中各花瓣網(wǎng)格模板與t2的對應(yīng)關(guān)系，基于t2和得到的對應(yīng)關(guān)系，對M3進行網(wǎng)格形變，得到t2對應(yīng)的花朵網(wǎng)格模板M2。以t2作為當(dāng)前幀點云數(shù)據(jù)，根據(jù)M2的幾何特征，對t1進行分割，得到M2中各花瓣網(wǎng)格模板與t1的對應(yīng)關(guān)系，基于t1和得到的對應(yīng)關(guān)系，對M2進行網(wǎng)格形變，得到t1對應(yīng)的花朵網(wǎng)格模板M1。同樣的，以t4作為當(dāng)前幀點云數(shù)據(jù)，得到M5，以t5作為當(dāng)前幀點云數(shù)據(jù)，得到M6。由此得到了全部花朵網(wǎng)格模板M1至M6。

假設(shè)選取t6創(chuàng)建花朵網(wǎng)格模板(記為M6)。對于t1至t5，可以使用方式(1)得到其對應(yīng)的花朵網(wǎng)格模板M1至M5。假設(shè)選取t1創(chuàng)建花朵網(wǎng)格模板(記為M1)，對于t2至t6，可以使用方式(2)得到其對應(yīng)的花朵網(wǎng)格模板M2至M6。選取t1創(chuàng)建花朵網(wǎng)格模板，由于花苞狀態(tài)點云數(shù)據(jù)缺失，因此重建結(jié)果與選取花瓣信息更為完整的點云數(shù)據(jù)所得到的重建結(jié)果相比，逼真效果差一些。

在一個實施例中，點云數(shù)據(jù)分割可以基于點云數(shù)據(jù)到每一個花瓣網(wǎng)格模板的距離所決定。根據(jù)花朵網(wǎng)格模板的幾何特征對點云數(shù)據(jù)進行分割的具體操作如下：

對于從后往前逐幀處理的情況，針對上一幀點云數(shù)據(jù)中的每個采集點，分別計算該采集點到當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板中每個花瓣網(wǎng)格模板的距離；將該采集點對應(yīng)的距離值由大到小進行排序，選取排在最后的兩個距離值，并計算這兩個距離值的比值；如果比值小于預(yù)設(shè)閾值，確定該采集點屬于最小距離值對應(yīng)的花瓣網(wǎng)格模板；如果比值大于或等于預(yù)設(shè)閾值，確定該采集點不屬于任何花瓣網(wǎng)格模板；

對于從前往后逐幀處理的情況，針對下一幀點云數(shù)據(jù)中的每個采集點，分別計算該采集點到當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板中每個花瓣網(wǎng)格模板的距離；將該采集點對應(yīng)的距離值由大到小進行排序，選取排在最后的兩個距離值，并計算這兩個距離值的比值；如果比值小于預(yù)設(shè)閾值，確定該采集點屬于最小距離值對應(yīng)的花瓣網(wǎng)格模板；如果比值大于或等于預(yù)設(shè)閾值，確定該采集點不屬于任何花瓣網(wǎng)格模板。

具體的，分別計算該采集點到當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板中每個花瓣網(wǎng)格模板的距離，包括：針對每個花瓣網(wǎng)格模板，計算該采集點到該花瓣網(wǎng)格模板中每個頂點的距離，并計算最近距離，將該最近距離作為該采集點到該花瓣網(wǎng)格模板的距離。

本實施例中，考慮到如果直接判定采集點屬于最小距離對應(yīng)的花瓣網(wǎng)格模板，可能會出現(xiàn)誤差，因此，加入置信度(即上述預(yù)設(shè)閾值)，如果比值小于預(yù)設(shè)閾值，說明該采集點屬于最小距離對應(yīng)的花瓣網(wǎng)格模板的概率很高，將該采集點分配給該花瓣網(wǎng)格模板；否則，認為該采集點不屬于任何花瓣。由此可以排除不準(zhǔn)確的數(shù)據(jù)，提高點云數(shù)據(jù)分割的準(zhǔn)確性。

在一個實施例中，得到花朵網(wǎng)格模板與點云數(shù)據(jù)的對應(yīng)關(guān)系，包括：針對每一個花瓣網(wǎng)格模板，計算該花瓣網(wǎng)格模板上的每一個頂點與屬于該花瓣網(wǎng)格模板的每一個采集點之間的匹配概率，花朵網(wǎng)格模板和所有采集點之間的匹配概率用關(guān)聯(lián)矩陣Z表示，關(guān)聯(lián)矩陣Z中的元素Z_ij∈[0,1]；

其中，m_i表示花朵網(wǎng)格模板M上的第i個頂點，m_i屬于第k個花瓣網(wǎng)格模板，第k個花瓣網(wǎng)格模板用M^k表示，Q^k表示與M^k對應(yīng)的點云數(shù)據(jù)，q_j表示點云數(shù)據(jù)Q中的第j個采集點，p(q_j|m_i)為似然概率，表示在花朵網(wǎng)格模板M的頂點m_i下觀測點云數(shù)據(jù)Q的采集點q_j的概率。

當(dāng)花朵網(wǎng)格模板與對應(yīng)點云數(shù)據(jù)的關(guān)聯(lián)矩陣求出之后，通過求解最大后驗估計的能量方程更新模板頂點的位置，使模板能更好地與點云數(shù)據(jù)相吻合。

在一個實施例中，對當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板進行網(wǎng)格形變，包括：采用期望最大化迭代算法求解最大后驗估計的能量方程：

argmin(-logp(M|Q,Z)-logp(M)) (2)

其中，-logp(M|Q,Z)為數(shù)據(jù)項，表示花朵網(wǎng)格模板M與點云數(shù)據(jù)Q之間的符合程度；關(guān)聯(lián)矩陣Z表示花朵網(wǎng)格模板M和所有采集點之間的匹配概率；p(M|Q,Z)為似然概率，表示在花朵網(wǎng)格模板M下觀測點云數(shù)據(jù)Q的概率；-logp(M)為花朵網(wǎng)格模板的先驗項，表示花朵網(wǎng)格模板M自身的約束；p(M)為先驗概率，表示花朵網(wǎng)格模板M自身約束的出現(xiàn)概率。

對于從后往前逐幀處理的情況，求解該能量方程得到當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板中各頂點對應(yīng)于上一幀點云數(shù)據(jù)的新位置；對于從前往后逐幀處理的情況，求解該能量方程得到當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板中各頂點對應(yīng)于下一幀點云數(shù)據(jù)的新位置。

數(shù)據(jù)項定義了模板頂點與對應(yīng)點云之間的距離關(guān)系，所以當(dāng)數(shù)據(jù)項越小，模板與點云越接近。數(shù)據(jù)項的表達式為：

-logp(M|Q,Z)＝∑_kw₁D(Q^k,M^k) (3)

其中，w₁表示數(shù)據(jù)項的權(quán)重，M^k表示第k個花瓣網(wǎng)格模板，Q^k表示第k個花瓣網(wǎng)格模板M^k對應(yīng)的點云數(shù)據(jù)，D(Q^k,M^k)表示第k個花瓣網(wǎng)格模板M^k與其對應(yīng)的點云數(shù)據(jù)Q^k的距離函數(shù)，m_i表示花朵網(wǎng)格模板M上的第i個頂點，且該頂點屬于第k個花瓣網(wǎng)格模板M^k；q_j表示點云數(shù)據(jù)Q中的第j個采集點，且該采集點屬于與M^k對應(yīng)的點云數(shù)據(jù)Q^k；Z_ij表示網(wǎng)格模板M上的第i個頂點與點云數(shù)據(jù)Q中的第j個采集點之間的匹配概率。

在模板與點云數(shù)據(jù)吻合的基礎(chǔ)上，為了保證模板自身的形狀不發(fā)生非正常的扭曲和拓撲結(jié)構(gòu)的改變，需要對模板本身添加先驗約束項。先驗項包括：形狀約束E_shape、碰撞約束E_collision和固定根約束E_root，其中，形狀約束用于對花瓣網(wǎng)格模板進行幾何形狀上的約束，碰撞約束用于保證各花瓣網(wǎng)格模板之間不發(fā)生交叉碰撞，固定根約束用于保證花瓣網(wǎng)格模板擁有固定根底部。

先驗項的表達式為：

-logp(M)＝E_shape+E_collision+E_root (4)

為了保證生成的花朵網(wǎng)格模板像真實的花朵，需要對花瓣網(wǎng)格模板進行幾何形狀上的約束，保證模板在形變的過程中，能夠保持網(wǎng)格的質(zhì)量和結(jié)構(gòu)?？梢允褂肁RAP(as-rigid-as-possible)方法，保證網(wǎng)格形變過程中，局部變換要盡可能保持剛性變換。

形狀約束E_shape的表達式為：

其中，w₂表示形狀約束的權(quán)重，N(i)表示在花朵網(wǎng)格模板M上與第i個頂點相鄰的頂點集合，c_ij表示第i個頂點和第j個頂點組成的邊的權(quán)重，R_i表示第i個頂點的旋轉(zhuǎn)矩陣，表示頂點m_i形變前的位置，表示頂點m_j形變前的位置，||·||²表示歐式距離。

花朵網(wǎng)格模板由K個花瓣網(wǎng)格模板組成，在跟蹤點云數(shù)據(jù)形變的過程中花瓣網(wǎng)格模板之間可能會發(fā)生交叉碰撞，這在實際開花過程中是不可能的，所以需要添加碰撞約束，保證不發(fā)生交叉碰撞。

碰撞約束E_collision的表達式為：

其中，w₃表示碰撞約束的權(quán)重，S_C表示發(fā)生碰撞的頂點的集合，表示頂點m_i避免碰撞的新位置，||·||²表示歐式距離。

在求解能量方程時，采用迭代的方式逐漸得到新的頂點位置。在每次迭代之前，都需要對花瓣之間進行碰撞檢測，如果檢測到頂點m_i是碰撞點，則沿著被碰撞的網(wǎng)格的面反向往回走一段距離，得到避免碰撞的新位置

對于所有花瓣而言，底部在花朵開放過程中都是固定不動的，固定根約束E_root的表達式為：

其中，w₄表示固定根約束的權(quán)重，S_R表示根節(jié)點的集合，表示頂點m_i形變前的位置。

在一個實施例中，可以采用局部整體的方法求解式(2)所示的非線性優(yōu)化方程，在局部上，針對花朵網(wǎng)格模板的每一個頂點，求解形狀約束中的旋轉(zhuǎn)矩陣R_i以及碰撞約束中頂點m_i避免碰撞的新位置m_i；在整體上，將最大后驗估計的能量方程轉(zhuǎn)化成線性方程，求解頂點的新位置；迭代上述局部和整體兩個過程直至收斂，得到花瓣網(wǎng)格模板的新位置。對每一幀點云數(shù)據(jù)重復(fù)上述過程，直到完成整個點云數(shù)據(jù)序列的重建。

基于同一發(fā)明構(gòu)思，本發(fā)明實施例還提供了一種花朵開放過程的重建裝置，可以用于實現(xiàn)上述實施例所描述的方法。由于該裝置解決問題的原理與上述方法相似，因此該裝置的實施可以參見上述方法的實施，重復(fù)之處不再贅述。以下所使用的，術(shù)語“單元”或者“模塊”可以實現(xiàn)預(yù)定功能的軟件和/或硬件的組合。盡管以下實施例所描述的系統(tǒng)較佳地以軟件來實現(xiàn)，但是硬件，或者軟件和硬件的組合的實現(xiàn)也是可能并被構(gòu)想的。例如，可用本領(lǐng)域公知的下列技術(shù)中的任一項或他們的組合來實現(xiàn)：具有用于對數(shù)據(jù)信號實現(xiàn)邏輯功能的邏輯門電路的離散邏輯電路，具有合適的組合邏輯門電路的專用集成電路，可編程門陣列(PGA)，現(xiàn)場可編程門陣列(FPGA)等。

圖3是本發(fā)明實施例的花朵開放過程的重建裝置的結(jié)構(gòu)框圖，如圖3所示，該裝置包括：數(shù)據(jù)采集單元31、模板創(chuàng)建單元32、驅(qū)動形變單元33和展示單元34，下面對該結(jié)構(gòu)進行具體說明。

數(shù)據(jù)采集單元31，用于采集整個花朵開放過程的四維點云數(shù)據(jù)；

模板創(chuàng)建單元32，用于從點云數(shù)據(jù)中選擇一幀包括所有花瓣信息的點云數(shù)據(jù)，并根據(jù)所選點云數(shù)據(jù)創(chuàng)建花朵網(wǎng)格模板，其中花朵網(wǎng)格模板包括多個花瓣網(wǎng)格模板；

驅(qū)動形變單元33，用于基于花朵網(wǎng)格模板與點云數(shù)據(jù)的對應(yīng)關(guān)系，驅(qū)動花朵網(wǎng)格模板進行網(wǎng)格形變以跟蹤點云數(shù)據(jù)，分別得到每一幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板，其中，在網(wǎng)格形變過程中對各花瓣網(wǎng)格模板進行形狀約束、碰撞約束和固定根約束；

展示單元34，用于將得到的所有花朵網(wǎng)格模板按照花朵開放的順序排列，得到花朵開放的動態(tài)過程。

通過上述方案，基于采集到的真實的花朵開放過程點云數(shù)據(jù)以及創(chuàng)建的花朵網(wǎng)格模板，以數(shù)據(jù)驅(qū)動的方式進行花朵網(wǎng)格模板的有效網(wǎng)格形變，更新網(wǎng)格頂點的位置，能夠保證模板形變的真實性，同時也能夠保證足夠的自由度，使得形變后的模板最大程度與實際點云數(shù)據(jù)所展現(xiàn)的幾何形態(tài)一致；同時，對花瓣網(wǎng)格模板進行約束，保證模板形狀不發(fā)生非正常的扭曲和結(jié)構(gòu)變化以及花瓣網(wǎng)格之間不發(fā)生交叉碰撞，使得花瓣之間的運動不受彼此的干擾。由此重建出的精確逼真的花朵開放過程，能夠更真實地反應(yīng)花朵開放過程，甚至能與實際花朵開放過程達到一模一樣的視覺效果。

驅(qū)動形變單元33可以包括：第一驅(qū)動模塊、第一分割模塊、第一形變模塊、第二驅(qū)動模塊、第二分割模塊和第二形變模塊。

第一驅(qū)動模塊，用于針對所選點云數(shù)據(jù)及其之前的各幀點云數(shù)據(jù)，從后往前逐幀觸發(fā)第一分割模塊和第一形變模塊，直到得到所選點云數(shù)據(jù)之前的每一幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板；

第一分割模塊，用于根據(jù)當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板的幾何特征，對當(dāng)前幀點云數(shù)據(jù)的上一幀點云數(shù)據(jù)進行分割，得到花朵網(wǎng)格模板與上一幀點云數(shù)據(jù)的對應(yīng)關(guān)系；

第一形變模塊，用于基于上一幀點云數(shù)據(jù)和對應(yīng)關(guān)系，對當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板進行網(wǎng)格形變，得到與上一幀點云數(shù)據(jù)所展現(xiàn)的幾何形態(tài)一致的花朵網(wǎng)格模板；

第二驅(qū)動模塊，用于針對所選點云數(shù)據(jù)及其之后的各幀點云數(shù)據(jù)，從前往后逐幀觸發(fā)第二分割模塊和第二形變模塊，直到得到所選點云數(shù)據(jù)之后的每一幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板；

第二分割模塊，用于根據(jù)當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板的幾何特征，對當(dāng)前幀點云數(shù)據(jù)的下一幀點云數(shù)據(jù)進行分割，得到花朵網(wǎng)格模板與下一幀點云數(shù)據(jù)的對應(yīng)關(guān)系；

第二形變模塊，用于基于下一幀點云數(shù)據(jù)和對應(yīng)關(guān)系，對當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板進行網(wǎng)格形變，得到與下一幀點云數(shù)據(jù)所展現(xiàn)的幾何形態(tài)一致的花朵網(wǎng)格模板。

上述第一驅(qū)動模塊、第一分割模塊、第一形變模塊、第二驅(qū)動模塊、第二分割模塊和第二形變模塊可以是獨立的模塊，各自實現(xiàn)其功能，也可以是集成在一起的模塊。

第一分割模塊具體用于：針對上一幀點云數(shù)據(jù)中的每個采集點，分別計算該采集點到當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板中每個花瓣網(wǎng)格模板的距離；將該采集點對應(yīng)的距離值由大到小進行排序，選取排在最后的兩個距離值，并計算這兩個距離值的比值；如果比值小于預(yù)設(shè)閾值，確定該采集點屬于最小距離值對應(yīng)的花瓣網(wǎng)格模板；如果比值大于或等于預(yù)設(shè)閾值，確定該采集點不屬于任何花瓣網(wǎng)格模板。

第二分割模塊具體用于：針對下一幀點云數(shù)據(jù)中的每個采集點，分別計算該采集點到當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板中每個花瓣網(wǎng)格模板的距離；將該采集點對應(yīng)的距離值由大到小進行排序，選取排在最后的兩個距離值，并計算這兩個距離值的比值；如果比值小于預(yù)設(shè)閾值，確定該采集點屬于最小距離值對應(yīng)的花瓣網(wǎng)格模板；如果比值大于或等于預(yù)設(shè)閾值，確定該采集點不屬于任何花瓣網(wǎng)格模板。

具體的，針對每個花瓣網(wǎng)格模板，可以計算該采集點到該花瓣網(wǎng)格模板中每個頂點的距離，并計算最近距離，將該最近距離作為該采集點到該花瓣網(wǎng)格模板的距離。

在一個實施例中，第一分割模塊和第二分割模塊均包括：第一計算子模塊，用于針對每一個花瓣網(wǎng)格模板，計算該花瓣網(wǎng)格模板上的每一個頂點與屬于該花瓣網(wǎng)格模板的每一個采集點之間的匹配概率，花朵網(wǎng)格模板和所有采集點之間的匹配概率用關(guān)聯(lián)矩陣Z表示，關(guān)聯(lián)矩陣Z中的元素Z_ij∈[0,1]。

其中，其中，m_i表示花朵網(wǎng)格模板M上的第i個頂點，m_i屬于第k個花瓣網(wǎng)格模板，第k個花瓣網(wǎng)格模板用M^k表示，Q^k表示與M^k對應(yīng)的點云數(shù)據(jù)，q_j表示點云數(shù)據(jù)Q中的第j個采集點，p(q_j|m_i)為似然概率，表示在花朵網(wǎng)格模板M的頂點m_i下觀測點云數(shù)據(jù)Q的采集點q_j的概率。

第一形變模塊和第二形變模塊均包括：第二計算子模塊，采用期望最大化迭代算法求解最大后驗估計的能量方程：

argmin(-logp(M|Q,Z)-logp(M))，其中，-logp(M|Q,Z)為數(shù)據(jù)項，表示花朵網(wǎng)格模板M與點云數(shù)據(jù)Q之間的符合程度；關(guān)聯(lián)矩陣Z表示花朵網(wǎng)格模板M和所有采集點之間的匹配概率；p(M|Q,Z)為似然概率，表示在花朵網(wǎng)格模板M下觀測點云數(shù)據(jù)Q的概率；-logp(M)為花朵網(wǎng)格模板的先驗項，表示花朵網(wǎng)格模板M自身的約束；p(M)為先驗概率，表示花朵網(wǎng)格模板M自身約束的出現(xiàn)概率。

對于從后往前逐幀處理的情況，求解該能量方程得到當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板中各頂點對應(yīng)于上一幀點云數(shù)據(jù)的新位置。對于從前往后逐幀處理的情況，求解該能量方程得到當(dāng)前幀點云數(shù)據(jù)對應(yīng)的花朵網(wǎng)格模板中各頂點對應(yīng)于下一幀點云數(shù)據(jù)的新位置。

上述先驗項包括：形狀約束E_shape、碰撞約束E_collision和固定根約束E_root，形狀約束用于對花瓣網(wǎng)格模板進行幾何形狀上的約束，碰撞約束用于保證各花瓣網(wǎng)格模板之間不發(fā)生交叉碰撞，固定根約束用于保證花瓣網(wǎng)格模板擁有固定根底部。數(shù)據(jù)項和先驗項的表達式如上述方法實施例所述，此處不再贅述。

第二計算子模塊具體用于：針對花朵網(wǎng)格模板的每一個頂點，求解形狀約束中的旋轉(zhuǎn)矩陣R_i以及碰撞約束中頂點m_i避免碰撞的新位置m_i，將最大后驗估計的能量方程轉(zhuǎn)化成線性方程，求解頂點的新位置；迭代上述求解過程直至收斂，得到花朵網(wǎng)格模板的新位置。

當(dāng)然，上述模塊劃分只是一種示意劃分，本發(fā)明并不局限于此。只要能實現(xiàn)本發(fā)明的目的的模塊劃分，均應(yīng)屬于本發(fā)明的保護范圍。

利用本發(fā)明的方法，得到金百合和單片花瓣的實際開放過程，圖4是本發(fā)明實施例的金百合的點云數(shù)據(jù)和重建的開放過程的比較示意圖，圖5是本發(fā)明實施例的單片花瓣的點云數(shù)據(jù)和重建的開放過程的比較示意圖，如圖4和圖5所示，經(jīng)過在數(shù)據(jù)上的測試，本發(fā)明能夠有效真實地重建出實際開花的過程。

圖6是本發(fā)明實施例的花朵開放過程的重建流程示意圖，如圖6所示，采集點云數(shù)據(jù)，創(chuàng)建花朵網(wǎng)格模板，基于點云數(shù)據(jù)與花朵網(wǎng)格模板的對應(yīng)關(guān)系，對花朵網(wǎng)格模板進行向前和向后的網(wǎng)格形變，以跟蹤點云數(shù)據(jù)，最終得到花朵的網(wǎng)格序列，重建了真實的花朵開放過程。

綜上所述，本發(fā)明提供的花朵開放過程的重建方法及裝置，與現(xiàn)有的基于物理驅(qū)動的重建方法相比，從原理上采用了完全不同的思想，本發(fā)明采集真實花開過程的4D點云數(shù)據(jù)，基于數(shù)據(jù)驅(qū)動，通過向前跟蹤的方法，從后往前逐漸從開放狀態(tài)跟蹤到花苞狀態(tài)，有效重建出初始狀態(tài)部分花瓣完全不可見等的復(fù)雜形態(tài)，能夠準(zhǔn)確地從高度不完整的數(shù)據(jù)中重建出花朵開放的真實過程。同時，本發(fā)明能夠有效避免花瓣之間的碰撞交叉以及處理數(shù)據(jù)缺失等情況，保證花瓣能正確真實地進行形變。本發(fā)明能夠生成具有真實感的花朵開放過程的動畫，達到幾乎與真實花朵一模一樣的開放效果。

流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個或更多個用于實現(xiàn)特定邏輯功能或過程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分，并且本發(fā)明的優(yōu)選實施方式的范圍包括另外的實現(xiàn)，其中可以不按所示出或討論的順序，包括根據(jù)所涉及的功能按基本同時的方式或按相反的順序，來執(zhí)行功能，這應(yīng)被本發(fā)明的實施例所屬技術(shù)領(lǐng)域的技術(shù)人員所理解。

此外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理模塊中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個模塊中。上述集成的模塊既可以采用硬件的形式實現(xiàn)，也可以采用軟件功能模塊的形式實現(xiàn)。所述集成的模塊如果以軟件功能模塊的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，也可以存儲在一個計算機可讀取存儲介質(zhì)中。上述提到的存儲介質(zhì)可以是只讀存儲器，磁盤或光盤等。

在本說明書的描述中，參考術(shù)語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點包含于本發(fā)明的至少一個實施例或示例中。在本說明書中，對上述術(shù)語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結(jié)合。

以上所述的具體實施例，對本發(fā)明的目的、技術(shù)方案和有益效果進行了進一步詳細說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實施例而已，并不用于限定本發(fā)明的保護范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。