專利名稱：基于3d頭發(fā)模板進行3d頭發(fā)建模的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及三維(3D)頭發(fā)建模技術(shù)，具體說來，涉及一種能夠自動進行3D頭發(fā)建模的有效設(shè)備和方法，其中，利用通過簡單的拍攝裝置(例如，普通相機)捕獲的頭像，基于 3D頭發(fā)模板來進行3D頭發(fā)建模。
背景技術(shù)：
人的頭發(fā)(S卩，發(fā)型)在非真實渲染、人物肖像和數(shù)字人物動畫中是非常重要的部分，頭發(fā)的創(chuàng)建在虛擬形象(avatar)和娛樂應(yīng)用中顯著增強了虛擬角色的真實感。因此， 針對3D角色的頭發(fā)建模是3D計算機圖形和計算機視覺領(lǐng)域的關(guān)鍵問題。這項技術(shù)允許在虛擬/增強現(xiàn)實的環(huán)境中復(fù)制出真實的頭發(fā)外貌。在3D計算機圖形領(lǐng)域中，3D建模是指產(chǎn)生任意三維對象的算術(shù)表示的處理，該處理產(chǎn)生的結(jié)果稱為3D模型。目前的多數(shù)3D頭發(fā)建模主要通過手動來實現(xiàn)模型的創(chuàng)建，這種方式不僅耗費時間，而且需要大量的人為參與。此外，其它典型的3D頭發(fā)建模方式通常需要專門的拍攝設(shè)備(如"HairPhotobooth :Geometirc and Photometirc Acquisition of Real Hairstyles, Paris, Adobe, SIGGRAPH 08”中采用的是非常復(fù)雜的拍攝裝置，包括 16個數(shù)碼相機、150個LED光源以及在大型圓頂蓬上固定的3個DLP投影儀)，在這種方式中，需要拍攝大量的圖像，從而花費相當(dāng)長的時間(如，幾個小時)才可創(chuàng)建出3D頭發(fā)模型。另外，某些頭發(fā)產(chǎn)生方法(如第7609261號美國專利公開的頭發(fā)建模方法)所需要的輸入(如，表面模型、基準(zhǔn)頭發(fā)(guide hairs)和頭發(fā)簇(clump hairs))是難以計算的，并且采用的方式為重復(fù)處理現(xiàn)有的頭發(fā)以在最終的發(fā)型中產(chǎn)生更多的頭發(fā)細節(jié)(由于頭發(fā)是基于同樣的基礎(chǔ)而生成，因此可能會導(dǎo)致頭發(fā)的外觀不真實)，某些發(fā)型產(chǎn)生方法(如第 7418371號美國專利)采用的算法非常復(fù)雜(包括頭發(fā)渲染模塊)，并且需要人為參與到具體的處理過程中。另外需要注意的是，某些針對非頭發(fā)的3D建模方法無法直接應(yīng)用于3D頭發(fā)建模， 這是由人的頭發(fā)本身的特質(zhì)所決定的。具體說來，與其它建模對象相比，頭發(fā)在個體之間的差異更大。換言之，不同的個體可能具有非常類似的臉型或頭部形狀，但是他們的發(fā)型卻各有自己的特色和個性，所表現(xiàn)出的差別也就難以通過簡單的建模方式來體現(xiàn)。因此，可以看出，在現(xiàn)有技術(shù)中，無法基于普通拍攝裝置捕獲的圖像而有效地自動進行3D頭發(fā)建模。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于3D頭發(fā)模板進行3D頭發(fā)建模的設(shè)備和方法，根據(jù)所述3D頭發(fā)建模設(shè)備和方法，能夠利用通過簡單的拍攝裝置(例如，普通相機)捕獲的頭像，基于3D頭發(fā)模板來自動實現(xiàn)有效的3D頭發(fā)建模。根據(jù)本發(fā)明的一方面，提供一種基于3D頭發(fā)模板進行3D頭發(fā)建模的設(shè)備，所述設(shè)備可包括3D頭發(fā)模板庫，用于預(yù)先存儲一個或多個3D頭發(fā)模板；以及3D頭發(fā)模型產(chǎn)生單元，用于接收正視頭發(fā)圖像和3D頭部模型，基于所述正視頭發(fā)圖像的特點并結(jié)合3D頭部模型對由3D頭發(fā)模板庫提供的一個或多個3D頭發(fā)模板進行操作，從而產(chǎn)生真實3D頭發(fā)模
型所述3D頭發(fā)模型產(chǎn)生單元可包括頭發(fā)分類單元，用于接收正視頭發(fā)圖像，基于所述正視頭發(fā)圖像的特點得出所述正視頭發(fā)圖像的發(fā)型類別，并在由3D頭發(fā)模板庫提供的多個3D頭發(fā)模板中找出與所述發(fā)型類別相應(yīng)的3D頭發(fā)模板；以及頭發(fā)校準(zhǔn)單元，用于結(jié)合3D頭部模型對頭發(fā)分類單元找出的3D頭發(fā)模型進行校準(zhǔn)，從而產(chǎn)生真實3D頭發(fā)模型。所述頭發(fā)分類單元可包括頭發(fā)形狀檢測器，用于檢測正視頭發(fā)圖像的頭發(fā)形狀； 邊界細化器，用于對由頭發(fā)形狀檢測器檢測的頭發(fā)形狀進行邊界細化；形狀特征提取器，用于從由邊界細化器細化的頭發(fā)邊界提取形狀特征；分類定義器，用于將3D頭發(fā)模板庫提供的多個3D頭發(fā)模板劃分為多個發(fā)型類別；分類器，用于基于由形狀特征提取器提取的形狀特征來確定所述正視頭發(fā)圖像的發(fā)型類別，并在分類定義器劃分出的多個發(fā)型類別的3D 頭發(fā)模板中找出與所述正視頭發(fā)圖像的發(fā)型類別相應(yīng)的3D頭發(fā)模板。頭發(fā)校準(zhǔn)單元可計算3D頭發(fā)模板所基于的參考頭部模型與3D頭發(fā)模板之間的偏差，然后計算用于使得參考頭部模型變?yōu)?D頭部模型的變換參數(shù)，將計算出的參考頭部模型與3D頭發(fā)模板之間的偏差變換為針對3D頭部模型的偏差，并將變換后的偏差應(yīng)用于3D 頭部模型。頭發(fā)形狀檢測器可通過面部檢測、皮膚顏色建模、頭發(fā)顏色建模、標(biāo)準(zhǔn)圖像處理來輸出頭發(fā)形狀的輪廓。述形狀特征提取器提取的形狀特征可包括頭發(fā)的量、頭發(fā)的對稱性、頭發(fā)分線位置和頭發(fā)的長度。3D頭發(fā)模板庫可預(yù)先存儲應(yīng)用于所有相關(guān)正視頭發(fā)圖像的公共3D頭發(fā)模板，并且所述3D頭發(fā)模型產(chǎn)生單元包括頭發(fā)變形單元，用于接收正視頭發(fā)圖像和3D頭部模型， 基于所述正視頭發(fā)圖像的特點并結(jié)合3D頭部模型對由3D頭發(fā)模板庫提供的公共3D頭發(fā)模板進行變形處理，從而產(chǎn)生真實3D頭發(fā)模型。頭發(fā)變形單元可包括知識數(shù)據(jù)定義器，用于定義公共3D頭發(fā)模板的關(guān)鍵點以及依據(jù)關(guān)鍵點劃分的區(qū)域；頭發(fā)形狀檢測器，用于檢測正視頭發(fā)圖像的頭發(fā)形狀；頭發(fā)劃分器，用于將由頭發(fā)形狀檢測器檢測到的頭發(fā)形狀劃分為普通部分和個性部分，其中，普通部分指示頭發(fā)在不同個體之間比較類似的部分，個性部分指示頭發(fā)在不同個體之間差異較大的部分；發(fā)片近似器，用于對由頭發(fā)劃分器劃分出的個性部分進行近似處理；發(fā)片建模器， 用于對發(fā)片近似器處理后的個性部分的發(fā)片進行3D建模；關(guān)鍵點的2D匹配器，用于結(jié)合 3D頭部模型，將知識數(shù)據(jù)定義器所定義的公共3D頭發(fā)模型的邊界關(guān)鍵點與由頭發(fā)劃分器劃分出的普通部分的邊界進行匹配；關(guān)鍵點的3D確定器，用于基于關(guān)鍵點的2D匹配器所匹配的結(jié)果并結(jié)合3D頭部模型和知識數(shù)據(jù)定義器定義的區(qū)域來確定關(guān)鍵點的3D坐標(biāo)；3D數(shù)據(jù)內(nèi)插器，用于基于由關(guān)鍵點的3D確定器確定的關(guān)鍵點的3D坐標(biāo)，結(jié)合知識數(shù)據(jù)定義器定義的區(qū)域來進行3D數(shù)據(jù)內(nèi)插；模型合成器，用于將發(fā)片建模器輸出的各個3D發(fā)片與3D數(shù)據(jù)內(nèi)插器輸出的內(nèi)插結(jié)果相合成；以及紋理產(chǎn)生器，用于針對模型合成器合成的結(jié)果產(chǎn)生相應(yīng)的紋理，從而產(chǎn)生真實3D頭發(fā)模型。所述關(guān)鍵點可包括與頭發(fā)的外邊界和內(nèi)邊界對應(yīng)的關(guān)鍵點、3D頭發(fā)模板的正視圖中最向前突出的最前方關(guān)鍵點、作為3D頭發(fā)模板后腦上的頭發(fā)中的固定區(qū)域的邊界點的固定線關(guān)鍵點。所述依據(jù)關(guān)鍵點劃分的區(qū)域可包括正視頂端區(qū)域，位于內(nèi)邊界上的關(guān)鍵點與最前方關(guān)鍵點之間；正視前向區(qū)域，位于最前方關(guān)鍵點與外邊界上的關(guān)鍵點之間；過渡區(qū)域， 位于外邊界上的關(guān)鍵點與固定線關(guān)鍵點之間；固定區(qū)域，為3D頭發(fā)模板中除了正視頂端區(qū)域、正視前向區(qū)域和過渡區(qū)域之外的剩余部分。3D數(shù)據(jù)內(nèi)插器可針對不同的區(qū)域采取不同的內(nèi)插方法。頭發(fā)變形單元可用于接收正視頭發(fā)圖像和3D頭部模型，基于所述正視頭發(fā)圖像的特點并結(jié)合3D頭部模型對產(chǎn)生的真實3D頭發(fā)模型進行變形處理，從而輸出變形處理后的真實3D頭發(fā)模型。根據(jù)本發(fā)明的另一方面，提供一種基于3D頭發(fā)模板進行3D頭發(fā)建模的方法，所述方法可包括預(yù)先存儲一個或多個3D頭發(fā)模板；以及接收正視頭發(fā)圖像和3D頭部模型，基于所述正視頭發(fā)圖像的特點并結(jié)合3D頭部模型對一個或多個3D頭發(fā)模板進行操作，從而產(chǎn)生真實3D頭發(fā)模型。接收正視頭發(fā)圖像和3D頭部模型，基于所述正視頭發(fā)圖像的特點并結(jié)合3D頭部模型對一個或多個3D頭發(fā)模板進行操作，從而產(chǎn)生真實3D頭發(fā)模型的步驟可包括接收正視頭發(fā)圖像，基于所述正視頭發(fā)圖像的特點得出所述正視頭發(fā)圖像的發(fā)型類別，并在多個 3D頭發(fā)模板中找出與所述發(fā)型類別相應(yīng)的3D頭發(fā)模板；以及結(jié)合3D頭部模型對找出的3D 頭發(fā)模型進行校準(zhǔn)，從而產(chǎn)生真實3D頭發(fā)模型。得出所述正視頭發(fā)圖像的發(fā)型類別的步驟可包括檢測正視頭發(fā)圖像的頭發(fā)形狀；對檢測的頭發(fā)形狀進行邊界細化；從細化的頭發(fā)邊界提取形狀特征；將提供的多個3D 頭發(fā)模板劃分為多個發(fā)型類別；基于提取的形狀特征來確定所述正視頭發(fā)圖像的發(fā)型類另IJ，并在劃分出的多個發(fā)型類別的3D頭發(fā)模板中找出與所述正視頭發(fā)圖像的發(fā)型類別相應(yīng)的3D頭發(fā)模板。校準(zhǔn)的步驟可包括計算3D頭發(fā)模板所基于的參考頭部模型與3D頭發(fā)模板之間的偏差，然后計算用于使得參考頭部模型變?yōu)?D頭部模型的變換參數(shù)，將計算出的參考頭部模型與3D頭發(fā)模板之間的偏差變換為針對3D頭部模型的偏差，并將變換后的偏差應(yīng)用于3D頭部模型?？赏ㄟ^面部檢測、皮膚顏色建模、頭發(fā)顏色建模、標(biāo)準(zhǔn)圖像處理來輸出頭發(fā)形狀的輪廓。預(yù)先存儲的是可應(yīng)用于所有相關(guān)正視頭發(fā)圖像的公共3D頭發(fā)模板，并且接收正視頭發(fā)圖像和3D頭部模型，基于所述正視頭發(fā)圖像的特點并結(jié)合3D頭部模型對一個或多個3D頭發(fā)模板進行操作，從而產(chǎn)生真實3D頭發(fā)模型的步驟可包括接收正視頭發(fā)圖像和 3D頭部模型，基于所述正視頭發(fā)圖像的特點并結(jié)合3D頭部模型對公共3D頭發(fā)模板進行變形處理，從而產(chǎn)生真實3D頭發(fā)模型。 變形處理可包括定義公共3D頭發(fā)模板的關(guān)鍵點以及依據(jù)關(guān)鍵點劃分的區(qū)域；檢測正視頭發(fā)圖像的頭發(fā)形狀；將檢測到的頭發(fā)形狀劃分為普通部分和個性部分，其中，普通部分指示頭發(fā)在不同個體之間比較類似的部分，個性部分指示頭發(fā)在不同個體之間差異較大的部分；對劃分出的個性部分進行近似處理；對近似處理后的個性部分的發(fā)片進行3D建模；結(jié)合3D頭部模型，將所定義的公共3D頭發(fā)模型的邊界關(guān)鍵點與劃分出的普通部分的邊界進行匹配；基于所匹配的結(jié)果并結(jié)合3D頭部模型和定義的區(qū)域來確定關(guān)鍵點的3D坐標(biāo)； 基于確定的關(guān)鍵點的3D坐標(biāo)，結(jié)合定義的區(qū)域來進行3D數(shù)據(jù)內(nèi)插；將建模后的各個3D發(fā)片與內(nèi)插結(jié)果相合成；以及針對合成的結(jié)果產(chǎn)生相應(yīng)的紋理，從而產(chǎn)生真實3D頭發(fā)模型。


通過下面結(jié)合附圖進行的對實施例的描述，本發(fā)明的上述和/或其它目的和優(yōu)點將會變得更加清楚，其中圖1是示出根據(jù)本發(fā)明示例性實施例的3D頭發(fā)建模設(shè)備的框圖；圖2示出圖1所示的3D頭發(fā)建模設(shè)備中的3D模型產(chǎn)生單元的示例性詳細結(jié)構(gòu)；圖3示出圖2所示的3D模型產(chǎn)生單元中的頭發(fā)分類單元的示例性詳細結(jié)構(gòu)；圖4示出根據(jù)本發(fā)明示例性實施例的利用圖3所示的3D頭發(fā)建模設(shè)備進行3D頭發(fā)建模的方法的流程圖；圖5示出根據(jù)本發(fā)明示例性實施例的頭發(fā)形狀檢測方法的流程圖；圖6示出根據(jù)本發(fā)明示例性實施例在面部檢測到的特征點的位置；圖7示出根據(jù)本發(fā)明示例性實施例用于皮膚顏色建模和頭發(fā)顏色建模的矩形區(qū)域；圖8示出根據(jù)本發(fā)明示例性實施例的檢測出的頭發(fā)形狀的示圖；圖9示出根據(jù)本發(fā)明示例性實施例的細化后的頭發(fā)外邊界的示圖；圖10示出根據(jù)本發(fā)明示例性實施例的利用人體測量信息來采用針對頭部的近似模型的示圖；圖11是示出根據(jù)本發(fā)明示例性實施例的作為頭發(fā)形狀特征的頭發(fā)的量的示圖；圖12示出根據(jù)本發(fā)明示例性實施例的頭發(fā)分線位置的示例；圖13示出根據(jù)本發(fā)明示例性實施例的側(cè)邊頭發(fā)長度的示圖；圖14示出根據(jù)本發(fā)明示例性實施例的與每種特征對應(yīng)的各個發(fā)型；圖15示出根據(jù)本發(fā)明示例性實施例的選擇對應(yīng)3D頭發(fā)模板的示圖；圖16示出根據(jù)本發(fā)明示例性實施例進行3D頭發(fā)模板校準(zhǔn)的示圖；圖17示出圖1所示的3D頭發(fā)建模設(shè)備中的3D模型產(chǎn)生單元的另一示例性詳細結(jié)構(gòu)；圖18示出圖17所示的3D模型產(chǎn)生單元中的頭發(fā)變形單元的示例性詳細結(jié)構(gòu)；圖19示出根據(jù)本發(fā)明另一示例性實施例的利用圖18所示的3D頭發(fā)建模設(shè)備進行3D頭發(fā)建模的方法的流程圖；圖20示出根據(jù)本發(fā)明示例性實施例的公共3D頭發(fā)模板的示圖；圖21到圖23示出圖20所示的公共3D頭發(fā)模板中定義的關(guān)鍵點；圖24示出根據(jù)本發(fā)明示例性實施例的3D頭發(fā)模板依據(jù)關(guān)鍵點所劃分的各個區(qū)域；圖25示出根據(jù)本發(fā)明示例性實施例的頭發(fā)形狀檢測結(jié)果；圖26示出根據(jù)本發(fā)明示例性實施例將頭發(fā)形狀劃分為普通部分和個性部分的示圖27示出根據(jù)本發(fā)明示例性實施例對頭發(fā)的個性部分進行近似的結(jié)果；以及圖28到圖30示出了利用根據(jù)本發(fā)明的3D頭發(fā)建模方法和設(shè)備所得到的3D頭發(fā)模型。
具體實施例方式現(xiàn)將詳細參照本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中，相同的標(biāo)號始終指的是相同的部件。以下將通過參照附圖來說明所述實施例，以便解釋本發(fā)明。圖1是示出根據(jù)本發(fā)明示例性實施例的3D頭發(fā)建模設(shè)備的框圖。如圖1所示，根據(jù)本發(fā)明示例性實施例的3D頭發(fā)建模設(shè)備包括3D頭發(fā)模型產(chǎn)生單元10和3D頭發(fā)模板庫20，其中，3D頭發(fā)模板庫20用于預(yù)先存儲一個或多個3D頭發(fā)模板，3D頭發(fā)模型產(chǎn)生單元 10用于接收正視頭發(fā)圖像和3D頭部模型，基于所述正視頭發(fā)圖像的特點并結(jié)合3D頭部模型對由3D頭發(fā)模板庫20提供的一個或多個3D頭發(fā)模板進行操作，從而產(chǎn)生真實3D頭發(fā)模型。這里，3D頭發(fā)模板可由相關(guān)人員預(yù)先手動設(shè)計好，而3D頭部模型是指正視頭發(fā)圖像的主人公的3D頭部模型。此外，該主人公的正視頭發(fā)圖像完全可以由普通的拍攝設(shè)備(例如，數(shù)碼相機)來獲取。從圖1可以看出，本發(fā)明提出的3D頭發(fā)建模方式主要借助于事先設(shè)計好的3D頭發(fā)模板，即，依據(jù)正視頭發(fā)圖像的特點對所述3D頭發(fā)模板進行處理，同時，在對3D頭發(fā)模板的處理中一并反映出主人公的3D頭部模型的特點，從而能夠在3D頭發(fā)的實際建模中，不需要人為參與而完全自動地進行，這種方式大大簡化了相應(yīng)的計算復(fù)雜度，使得建模處理更加高效?；诒景l(fā)明的上述總體構(gòu)思，可采用各種方式來構(gòu)建具體的3D模型產(chǎn)生單元，以下將參照圖2來描述圖1所示的3D頭發(fā)建模設(shè)備中的3D模型產(chǎn)生單元10的一種示例性詳細結(jié)構(gòu)，其中，所述3D頭發(fā)模型產(chǎn)生單元10包括頭發(fā)分類單元100，用于接收正視頭發(fā)圖像，基于所述正視頭發(fā)圖像的特點得出所述正視頭發(fā)圖像的發(fā)型類別，并在由3D頭發(fā)模板庫20提供的多個3D頭發(fā)模板中找出與所述發(fā)型類別相應(yīng)的3D頭發(fā)模板；頭發(fā)校準(zhǔn)單元 110，用于結(jié)合3D頭部模型對頭發(fā)分類單元100找出的3D頭發(fā)模型進行校準(zhǔn)，從而產(chǎn)生真實3D頭發(fā)模型。至于圖2所示的頭發(fā)分類單元100，可采用各種方式來構(gòu)建其具體結(jié)構(gòu)，圖3示出圖2所示的3D模型產(chǎn)生單元10中的頭發(fā)分類單元100的示例性詳細結(jié)構(gòu)，其中，所述頭發(fā)分類單元100包括頭發(fā)形狀檢測器101，用于檢測正視頭發(fā)圖像的頭發(fā)形狀；邊界細化器 102，用于對由頭發(fā)形狀檢測器101檢測的頭發(fā)形狀進行邊界細化；形狀特征提取器103，用于從由邊界細化器102細化的頭發(fā)邊界提取形狀特征；分類定義器104，用于將3D頭發(fā)模板庫20提供的多個3D頭發(fā)模板劃分為多個發(fā)型類別；分類器105，用于基于由形狀特征提取器103提取的形狀特征來確定所述正視頭發(fā)圖像的發(fā)型類別，并在分類定義器104劃分出的多個發(fā)型類別的3D頭發(fā)模板中找出與所述正視頭發(fā)圖像的發(fā)型類別相應(yīng)的3D頭發(fā)模板。圖4示出根據(jù)本發(fā)明示例性實施例的利用圖3所示的3D頭發(fā)建模設(shè)備進行3D頭發(fā)建模的方法的流程圖。參照圖4，在步驟S100，由頭發(fā)形狀檢測器101檢測正視頭發(fā)圖像的頭發(fā)形狀。這里，可采用對頭發(fā)形狀的自動檢測，例如，在所輸入的正視頭發(fā)圖像是RGB圖像或被轉(zhuǎn)換為RGB圖像的情況下，通過圖5所示的頭發(fā)形狀檢測方法來自動檢測頭發(fā)形狀。參照圖5，在步驟S101，利用主動形狀模型(ASM)方法來檢測面部特征點。例如，可檢測出眼睛和眉毛的位置以及鼻子和下巴的位置。這些特征點的坐標(biāo)可表示為X = [Xl, Y1, ... , xn, yn]，其中，η 是特征點的數(shù)量。圖6示出根據(jù)本發(fā)明示例性實施例在面部檢測到的特征點的位置。這些位置的特征點將被用于進行皮膚顏色建模和頭發(fā)顏色建模。參照回圖5，在步驟S102，進行皮膚顏色建模。具體說來，首先，可針對在大量樣本圖像的皮膚區(qū)中選擇的三個矩形區(qū)域，即，眼睛下方的兩個矩形區(qū)域以及額頭上的一個區(qū)域(如圖7所示)進行皮膚數(shù)據(jù)的訓(xùn)練。例如，可針對上述矩形區(qū)域中的每個像素構(gòu)建皮膚模型<Ei; Si, >，其中，Ei表示像素的顏色(例如，R、G、B分量)平均值，Si表示像素的顏色值的標(biāo)準(zhǔn)差，％表示像素的亮度變化的偏差。通過以上皮膚建模過程，可得出％的統(tǒng)計分布(例如，高斯分布)，從而確定用于判斷是否屬于皮膚像素的％閾值。在步驟S103，對正視頭發(fā)圖像進行頭發(fā)建模。具體說來，假設(shè)頭發(fā)出現(xiàn)在正視圖像的特定區(qū)域，因此，基于檢測的面部特征點來自動確定主要出現(xiàn)頭發(fā)的區(qū)域。例如，圖7 中位于前額和鬟角的三個矩形可被設(shè)置為可能出現(xiàn)頭發(fā)的區(qū)域。針對這三個區(qū)域計算各個像素的顏色平均值和標(biāo)準(zhǔn)差，進而針對每個區(qū)域中的各個像素計算其方差，通過將該方差與％閾值進行比較來確定相關(guān)像素是屬于皮膚還是非皮膚，非皮膚的像素被確定為頭發(fā)像素，從而作為種子用來分別對每個區(qū)域的頭發(fā)顏色進行建模。在步驟S104，對于以上得到的處理結(jié)果進行標(biāo)準(zhǔn)圖像處理。例如，使用諸如蝕圖 (corrosion)或膨脹(dilatation)技術(shù)來填充頭發(fā)區(qū)域中的空洞，從而創(chuàng)建連續(xù)的頭發(fā)區(qū)域。在步驟S105，輸出按照上述方式檢測出的頭發(fā)形狀輪廓，如圖8中所示。參照回圖4，在步驟SlOO檢測出頭發(fā)形狀之后，在步驟S200，由邊界細化器102對由頭發(fā)形狀檢測器101檢測的頭發(fā)形狀進行邊界細化。具體說來，從步驟SlOO產(chǎn)生的頭發(fā)外邊界可能會由于不適當(dāng)?shù)某上駰l件(諸如不良的照明、噪聲和復(fù)雜的背景)而惡化。因此，有必要進行邊界細化處理來調(diào)整邊界的位置?？蓮耐獠枯喞挥谧钭笙路降狞c作為起始點來開始進行邊界細化，首先，選擇外部輪廓上鄰近起始點的一點作為結(jié)束點，然后，在這兩個點之間計算最小代價的搜索路徑(可采用DijkStra算法)，從而得到一條新的路徑， 并將該新的路徑替代原本在所述兩個點之間的邊界部分。接著，將位于新的路徑上的原結(jié)束點作為新的起始點，并且選擇外部輪廓上鄰近該起始點的一點作為新的結(jié)束點，然后，在這兩個點之間再次計算最小代價的搜索路徑并得到一條新的路徑。以此類推，直到外部輪廓上最右下方的點作為結(jié)束點，并進行了相應(yīng)的路徑替換為止。通過上述處理，出現(xiàn)在外部輪廓上的凹形區(qū)域逐步趨近于真實的邊界形態(tài)。改進的效果在圖9中示出，其中，細化后的頭發(fā)外邊界與之前的相比更加平滑和自然。在步驟S300，由形狀特征提取器103從由邊界細化器102細化的頭發(fā)邊界提取形狀特征。具體說來，利用人體測量信息來采用針對頭部的近似模型(見圖10)。如圖10所示，假設(shè)頭部可由2D空間中的橢圓來表示，則兩眼之間的中心點SE(可通過檢測的特征點得出)被用于確定橢圓中心G的位置，其中，G的橫坐標(biāo)與SE相同，G的縱坐標(biāo)位于SE之上，與SE之間的距離為眼睛高度的1.8倍。此外，橢圓的短軸r按照下式來計算r = (eX (151. 1/31. 3)) X0. 5，其中，e 為眼睛的長度。
橢圓的長 軸R按照下式來計算R=1.35Xr。在得到頭部的上述橢圓近似模型之后，可計算以下四種類型的頭發(fā)形狀特征，分別為 頭發(fā)的量該類型的形狀特征主要包括五個值，分別為左側(cè)頭發(fā)量、中間頭發(fā)量、右側(cè)頭發(fā)量、左側(cè)頭發(fā)過渡角、右側(cè)頭發(fā)過渡角。圖11是示出根據(jù)本發(fā)明示例性實施例的作為頭發(fā)形狀特征的頭發(fā)的量的示圖，如圖11所示，內(nèi)邊界與橢圓的交點與橢圓中心的連線將整個頭發(fā)部分劃分為左側(cè)、中間和右側(cè)。其中，左側(cè)頭發(fā)量由左側(cè)區(qū)域中外邊界與內(nèi)邊界之間的距離的平均值來表示，中間頭發(fā)量由中間區(qū)域中外邊界與橢圓弧之間的距離的平均值來表示，右側(cè)頭發(fā)量由右側(cè)區(qū)域中外邊界與內(nèi)邊界之間的距離的平均值來表示。相應(yīng)的過渡角由所述交點與橢圓中心的連線分別與橢圓中線之間的夾角來表示。 頭發(fā)的對稱性該類型的形狀特征主要是指左側(cè)頭發(fā)量與整個頭發(fā)量的比率， 該值反映了頭發(fā)的對稱情況。 頭發(fā)分線位置分線的位置通常通過外邊界的凹陷點和/或內(nèi)邊界的凹陷點來確定。圖12示出根據(jù)本發(fā)明示例性實施例的頭發(fā)分線位置的示例。 頭發(fā)的長度該類型的形狀特征主要包括三個值，分別為計算頭發(fā)的量時所涉及的最大距離值和最小距離值以及側(cè)邊頭發(fā)長度。圖13示出根據(jù)本發(fā)明示例性實施例的側(cè)邊頭發(fā)長度的示圖，所述側(cè)邊頭發(fā)長度指的是眼睛到對應(yīng)的內(nèi)邊界最左下/最右下點之間的垂直高度。在提取了上述頭發(fā)形狀特征之后，可使用這些特征來描述相應(yīng)的發(fā)型類別。此外，對于3D頭發(fā)模板庫20中提供的多個3D頭發(fā)模板，分類定義器104將它們劃分為多個發(fā)型類別。作為示例，可按照以下分類規(guī)則來進行分類具體針對男性的短發(fā)樣式，可定義26種發(fā)型(在此，不考慮長發(fā)和禿頭的情況)。應(yīng)理解，所述26種發(fā)型僅僅作為示例，還可以針對不同的人群劃分出各種發(fā)型類別。對于所述26種發(fā)型，可根據(jù)以下四種特征來進行劃分· S:頭發(fā)分線位置(左、右、中、無)· C 頭發(fā)側(cè)邊角度(圓滑、成角度)· V:頭發(fā)的量(厚、薄)· T 頭發(fā)_皮膚過渡線(高、低)其中，當(dāng)過渡線⑴為低時，特征“頭發(fā)側(cè)邊角度(C)”被忽略不計。因此，針對上述四種特征的不同取值，可定義如下26種發(fā)型對于側(cè)邊分線的情況12種類型=2 (S) X 2 (C) X 2 (V) X (T，高)+2(S) X2(V) X (T，低)對于中間分線的情況10種類型=2 (C，左)X 2 (C，右)X 2 (V) X(T，高)+2(V) X (T，低)沒有分線的情況4種類型=2 (V) X 2 (T)圖14示出根據(jù)本發(fā)明示例性實施例的與每種特征對應(yīng)的各個發(fā)型。在圖14中， (a)表示頭發(fā)分線位置，從左到右依次示出分線位置位于左、右、中以及無分線的情況；(b) 表示頭發(fā)側(cè)邊角度，從左到右依次示出成角度和圓滑的情況；(c)表示頭發(fā)的量，從左到右依次示出頭發(fā)的量為厚和薄的情況；(d)表示頭發(fā)-皮膚過渡線，從左到右依次示出過渡線處于低位和高位的情況。

在步驟S400，由分類器105基于由形狀特征提取器103提取的形狀特征來確定所述正視頭發(fā)圖像的發(fā)型類別，并在分類定義器104劃分出的多個發(fā)型類別的3D頭發(fā)模板中找出與所述正視頭發(fā)圖像的發(fā)型類別相應(yīng)的3D頭發(fā)模板，以進行后續(xù)的校準(zhǔn)處理。圖15 示出根據(jù)本發(fā)明示例性實施例的選擇對應(yīng)3D頭發(fā)模板的示圖。參照圖15，由于發(fā)型類別的對應(yīng)是以2D圖像之間的匹配為基礎(chǔ)來執(zhí)行的，因此，3D頭發(fā)模板庫中的3D頭發(fā)模板被投影為2D形式，此時，將提取的形狀特征與投影后的頭發(fā)模板應(yīng)用于常用的分類機，如，支持向量機(SVM)，從而在多個發(fā)型類別的3D頭發(fā)模板中找出與所述正視頭發(fā)圖像的發(fā)型類別相應(yīng)的3D頭發(fā)模板。在步驟S500，由頭發(fā)校準(zhǔn)單元110結(jié)合3D頭部模型對頭發(fā)分類單元100找出的 3D頭發(fā)模型進行校準(zhǔn)，從而產(chǎn)生真實3D頭發(fā)模型。具體說來，由于在步驟S400中所選擇的3D頭發(fā)模板在事先創(chuàng)建時并沒有參照具體進行頭發(fā)建模的主人公的頭部3D模型，而僅僅是基于參考頭部模型創(chuàng)建的，因此，有必要結(jié)合所述主人公的3D頭部模型對選擇的3D頭發(fā)模板進行校準(zhǔn)。圖16示出根據(jù)本發(fā)明示例性實施例進行3D頭發(fā)模板校準(zhǔn)的示圖。參照圖16，首先，計算參考頭部模型與3D頭發(fā)模板之間的偏差，然后，計算用于使得參考頭部模型變?yōu)?3D頭部模型(通過尺度變換來近似)的變換參數(shù)。然后，將計算出的參考頭部模型與3D頭發(fā)模板之間的偏差變換(例如，尺度變換)為針對3D頭部模型的偏差，并將變換后的偏差應(yīng)用于3D頭部模型(例如，通過現(xiàn)有的“l(fā)aplacian表面編輯”)，從而創(chuàng)建校準(zhǔn)后的3D頭發(fā)模型。通過以上的描述，可以看出，本發(fā)明的3D頭發(fā)建模設(shè)備的示例性實施例能夠利用通過簡單的拍攝裝置(例如，普通相機)捕獲的頭像，基于事先創(chuàng)建的3D頭發(fā)模板來進行 3D頭發(fā)建模。應(yīng)注意，對于頭發(fā)分類單元100的構(gòu)建并不限于圖3示出的具體結(jié)構(gòu)，在了解本發(fā)明基本構(gòu)思的情況下，本領(lǐng)域技術(shù)人員可采用各種方式來實現(xiàn)本發(fā)明的3D頭發(fā)建模設(shè)備。例如，不同的單元可被進一步合并或進一步劃分，或者在統(tǒng)一的處理器中實現(xiàn)。以下將參照圖17來描述圖1所示的3D頭發(fā)建模設(shè)備中的3D模型產(chǎn)生單元10的另一種示例性詳細結(jié)構(gòu)，其中，3D頭發(fā)模板庫20預(yù)先存儲應(yīng)用于所有相關(guān)正視頭發(fā)圖像的公共3D頭發(fā)模板，并且所述3D頭發(fā)模型產(chǎn)生單元10包括頭發(fā)變形單元200，用于接收正視頭發(fā)圖像和3D頭部模型，基于所述正視頭發(fā)圖像的特點并結(jié)合3D頭部模型對由3D頭發(fā)模板庫提供的公共3D頭發(fā)模板進行變形處理，從而產(chǎn)生真實3D頭發(fā)模型。至于圖17所示的頭發(fā)變形單元200，可采用各種方式來構(gòu)建其具體結(jié)構(gòu)，圖18示出圖17所示的3D模型產(chǎn)生單元10中的頭發(fā)變形單元200的示例性詳細結(jié)構(gòu)，其中，頭發(fā)變形單元200包括知識數(shù)據(jù)定義器201，用于定義公共3D頭發(fā)模板的關(guān)鍵點以及依據(jù)關(guān)鍵點劃分的區(qū)域；頭發(fā)形狀檢測器202，用于檢測正視頭發(fā)圖像的頭發(fā)形狀；頭發(fā)劃分器203， 用于將由頭發(fā)形狀檢測器202檢測到的頭發(fā)形狀劃分為普通部分和個性部分，其中，普通部分指示頭發(fā)在不同個體之間比較類似的部分，個性部分指示頭發(fā)在不同個體之間差異較大的部分；發(fā)片近似器204，用于對由頭發(fā)劃分器203劃分出的個性部分進行近似處理；發(fā)片建模器205，用于對發(fā)片近似器204處理后的個性部分的發(fā)片進行3D建模；關(guān)鍵點的2D匹配器208，用于結(jié)合3D頭部模型，將知識數(shù)據(jù)定義器201所定義的公共3D頭發(fā)模型的邊界關(guān)鍵點與由頭發(fā)劃分器203劃分出的普通部分的邊界進行匹配；關(guān)鍵點的3D確定器 209，用于基于關(guān)鍵點的2D匹配器208所匹配的結(jié)果并結(jié)合3D頭部模型和知識數(shù)據(jù)定義器 201定義的區(qū)域來確定關(guān)鍵點的3D坐標(biāo)；3D數(shù)據(jù)內(nèi)插器210，用于基于由關(guān)鍵點的3D確定器209確定的關(guān)鍵點的3D坐標(biāo)，結(jié)合知識數(shù)據(jù)定義器201定義的區(qū)域來進行3D數(shù)據(jù)內(nèi)插； 模型合成器206，用于將發(fā)片建模器205輸出的各個3D發(fā)片與3D數(shù)據(jù)內(nèi)插器210輸出的內(nèi)插結(jié)果相合成；紋理產(chǎn)生器207，用于針對模型合成器206合成的結(jié)果產(chǎn)生相應(yīng)的紋理，從而產(chǎn)生真實3D頭發(fā)模型。圖 19示出根據(jù)本發(fā)明另一示例性實施例的利用圖18所示的3D頭發(fā)建模設(shè)備進行3D頭發(fā)建模的方法的流程圖。參照圖19，在步驟S10，由知識數(shù)據(jù)定義器201定義公共 3D頭發(fā)模板的關(guān)鍵點以及依據(jù)關(guān)鍵點劃分的區(qū)域。具體說來，在該實施例中，3D頭發(fā)模板庫20中只有公共3D頭發(fā)模板，作為示例，對于普通男性的短發(fā)樣式而言，該公共3D頭發(fā)模板如圖20所示，其中，(a)、(b)、(c)示出面部模板上的頭發(fā)部分，(d)示出模板頭發(fā)的紋理。 在該步驟中，知識數(shù)據(jù)定義器201將3D頭發(fā)模板中的某些點定義為關(guān)鍵點，所述關(guān)鍵點如圖21到圖23所示，其中，圖21示出與頭發(fā)的外邊界和內(nèi)邊界對應(yīng)的關(guān)鍵點，圖22示出正視圖中最向前突出的“最前方”關(guān)鍵點，圖23示出作為后腦上的頭發(fā)中的固定區(qū)域的邊界點的“固定線”關(guān)鍵點，這部分關(guān)鍵點的3D坐標(biāo)在建模過程中保持不變。圖21到圖23示出的上述關(guān)鍵點將整個3D頭發(fā)模板劃分為不同的區(qū)域。圖24示出根據(jù)本發(fā)明示例性實施例的3D頭發(fā)模板依據(jù)關(guān)鍵點所劃分的各個區(qū)域。參照圖24，關(guān)鍵點將3D頭發(fā)模型劃分為4個區(qū)域，分別為正視頂端區(qū)域，位于內(nèi)邊界關(guān)鍵點與最前方關(guān)鍵點之間；正視前向區(qū)域，位于最前方關(guān)鍵點與外邊界關(guān)鍵點之間；過渡區(qū)域，位于外邊界關(guān)鍵點與固定線關(guān)鍵點之間；固定區(qū)域，為3D頭發(fā)模板中除了正視頂端區(qū)域、正視前向區(qū)域和過渡區(qū)域之外的剩余部分。在步驟S20，由頭發(fā)形狀檢測器202檢測正視頭發(fā)圖像的頭發(fā)形狀，其中，頭發(fā)形狀檢測器202的構(gòu)造可與圖3中的頭發(fā)形狀檢測器101相同，因此，步驟S20類似于圖4中的步驟S100。圖25示出根據(jù)本發(fā)明示例性實施例的頭發(fā)形狀檢測結(jié)果。參照圖25，在檢測到的邊界形狀中，包括以下項左/右底點，在圖25中用圓圈標(biāo)出；頭發(fā)外邊界，作為頭發(fā)與背景之間的頂部曲線；頭發(fā)內(nèi)邊界，作為頭發(fā)與面部皮膚之間的底部曲線。在步驟S30，由頭發(fā)劃分器203將由頭發(fā)形狀檢測器202檢測到的頭發(fā)形狀劃分為普通部分和個性部分。應(yīng)注意，可采用不同的方式來進行上述劃分。一種可行的方式是計算頭發(fā)內(nèi)邊界的凸包，從而凸包之上為普通部分，剩余部分為個性部分，如圖26中的淺色線條所示。以下將分別針對普通部分和個性部分采取不同的建模處理。在步驟S40，由關(guān)鍵點的2D匹配器208結(jié)合3D頭部模型，將知識數(shù)據(jù)定義器201 所定義的公共3D頭發(fā)模型的邊界關(guān)鍵點與由頭發(fā)劃分器203劃分出的普通部分的邊界進行匹配。具體說來，關(guān)鍵點的2D匹配器208將3D頭發(fā)模板透視地投影為2D圖像。然后， 可分別將3D頭發(fā)模板與2D頭發(fā)邊界的左底點和右底點進行匹配。此后，對于頭發(fā)外邊界 /內(nèi)邊界上的每個3D關(guān)鍵點(如圖21所示)，計算從3D頭部模型的預(yù)定中心點指向2D圖像平面的方向，并沿著這一方向投影到2D圖像平面，從而在2D頭發(fā)邊界上找到與外邊界/內(nèi)邊界關(guān)鍵點對應(yīng)的點。在步驟S50，由關(guān)鍵點的3D確定器209基于關(guān)鍵點的2D匹配器208所匹配的結(jié)果并結(jié)合3D頭部模型和知識數(shù)據(jù)定義器201定義的區(qū)域來確定關(guān)鍵點的3D坐標(biāo)。具體說來，對于內(nèi)邊界關(guān)鍵點，通過將沿上述方向從2D圖像上的對應(yīng)關(guān)鍵點反向透射到與3D頭部模型相交來得到內(nèi)邊界關(guān)鍵點的3D坐標(biāo)。對于外邊界關(guān)鍵點，也采用反向投影的方式，并保持外邊界關(guān)鍵點在3D頭發(fā) 模板中的深度值。對于最前方關(guān)鍵點，它們到達外邊界和內(nèi)邊界的相對位置保持不變，從而來確定其3D坐標(biāo)。對于固定線關(guān)鍵點，它們在3D頭發(fā)模板中的3D坐標(biāo)保持不變。通過以上方式，結(jié)合3D頭部模型而獲得了各個關(guān)鍵點的3D坐標(biāo)。在步驟S60，由3D數(shù)據(jù)內(nèi)插器210基于由關(guān)鍵點的3D確定器209確定的關(guān)鍵點的 3D坐標(biāo)，結(jié)合知識數(shù)據(jù)定義器201定義的區(qū)域來進行3D數(shù)據(jù)內(nèi)插。作為一種優(yōu)選方式，在此，采用不同的方式對各個區(qū)域進行3D數(shù)據(jù)內(nèi)插。對于正視頂端區(qū)域和過渡區(qū)域中的點， 通過簡單的內(nèi)插算法來保持它們相對于外邊界的方向。對于其它點，采用普通的內(nèi)插算法 (例如，徑向基函數(shù)RBF內(nèi)插方法)來進行3D數(shù)據(jù)內(nèi)插。上述方式的好處在于有利于產(chǎn)生頭發(fā)分線效果并同時產(chǎn)生平滑的形狀。以上即完成了對頭發(fā)的普通部分的3D建模。此外，對于頭發(fā)的個性部分，在步驟S70，由發(fā)片近似器204對由頭發(fā)劃分器203劃分出的個性部分進行近似處理。例如，可采用折線擬合算法對個性部分進行近似，從而丟棄個性部分中較小的發(fā)片(patch)。發(fā)片近似的結(jié)果在圖27中示出，參照圖27，通過線段來近似地重新確定內(nèi)邊界。采用三角測量方法將近似后的個性部分表示為一組三角形。在步驟S80，由發(fā)片建模器205對發(fā)片近似器204處理后的個性部分的發(fā)片進行 3D建模，從而確定個性部分中各個點的3D坐標(biāo)，其中，將個性部分的2D點反向投影到3D空間中，計算與面部相交的位置，從而相應(yīng)地確定3D坐標(biāo)。同時，還對于個性部分中的每個點產(chǎn)生紋理坐標(biāo)。實際上，個性部分中的每個發(fā)片作為多邊形被包含在更大的三角形中，該三角形被映射到紋理坐標(biāo)空間。然后，通過保留個性部分中的每個點在正視頭發(fā)圖像上的質(zhì)心坐標(biāo)來產(chǎn)生所述每個點的紋理坐標(biāo)。以上即完成了對頭發(fā)的普通部分的3D建模。在步驟S90，由模型合成器206將發(fā)片建模器205輸出的各個3D發(fā)片與3D數(shù)據(jù)內(nèi)插器210輸出的內(nèi)插結(jié)果相合成，并刪除重復(fù)的點。在步驟S95，由紋理產(chǎn)生器207針對模型合成器206合成的結(jié)果產(chǎn)生相應(yīng)的紋理， 從而產(chǎn)生真實3D頭發(fā)模型。具體說來，利用簡單的光柵算法，基于紋理坐標(biāo)以及投影到二維平面上的圖像位置將正視頭發(fā)圖像映射到紋理坐標(biāo)平面。然后，執(zhí)行紋理組合以將映射的紋理與模板的紋理相結(jié)合。作為優(yōu)選方式，可應(yīng)用普通的彩色校正算法使得頭發(fā)模板的紋理外觀類似于映射的紋理，并將alpha過渡用于合成上述兩種紋理。對于以上示例性實施例，應(yīng)注意，頭發(fā)變形單元200的構(gòu)建并不限于圖18示出的具體結(jié)構(gòu)，在了解本發(fā)明基本構(gòu)思的情況下，本領(lǐng)域技術(shù)人員可采用各種方式來實現(xiàn)本發(fā)明的3D頭發(fā)建模設(shè)備。例如，不同的單元可被進一步合并或進一步劃分，或者在統(tǒng)一的處理器中實現(xiàn)。此外，圖17和圖18的設(shè)備中所使用的公共3D頭發(fā)模板可以是圖2和圖3的設(shè)備中由分類頭發(fā)單元所選擇的與正視頭發(fā)圖像的發(fā)型類別相匹配的3D頭發(fā)模板，從而進一步提高3D頭發(fā)建模的有效性。根據(jù)本發(fā)明的3D頭發(fā)建模設(shè)備和方法，不需要人為參與具體的建模過程，僅依靠簡單的正視頭發(fā)圖像，即可基于預(yù)先創(chuàng)建的3D頭發(fā)模板來進行3D頭發(fā)建模。由于將人的頭發(fā)劃分為普通部分和個性部分，并采取了不同的處理方式，因此，使得能夠在降低計算復(fù)雜度的情況下，利用較為簡單的軟硬件平臺，自動有效地進行3D頭發(fā)建模。圖28到圖30 示出了利用根據(jù)本發(fā)明的3D頭發(fā)建模方法和設(shè)備所得到的3D頭發(fā)模型，其中，運算速度和相似程度都取得了顯著的改善。應(yīng)注意，根據(jù)本發(fā)明示例性實施例的3D頭發(fā)建模方法和設(shè)備可被包括在用于動畫或虛擬形象的生成裝置中，也可應(yīng)用于照片合成裝置、場景生成裝置或其它特技生成裝置。在上述裝置中，除了根據(jù)本發(fā)明示例性實施例的3D頭發(fā)建模設(shè)備之外，還包括相關(guān)對象(諸如動畫、虛擬形象、照片和場景等)的數(shù)據(jù)輸入單元、數(shù)據(jù)分析單元和結(jié)果生成單元之外，由于這些單元均屬于本發(fā)明以外的現(xiàn)有技術(shù)，因此，為了避免對本發(fā)明的主題造成混淆，在此不進行詳細說明。本發(fā)明的以上各個實施例僅僅是示例性的，而本發(fā)明并不受限于此。本領(lǐng)域技術(shù)人員應(yīng)該理解任何涉及利用預(yù)先創(chuàng)建的3D頭發(fā)模板，結(jié)合輸入的正視頭發(fā)圖像和3D頭部圖像來進行3D頭發(fā)建模的方式均落入本發(fā)明的范圍之中。在不脫離本發(fā)明的原理和精神的情況下，可對這些實施例進行改變，其中，本發(fā)明的范圍在權(quán)利要求及其等同物中限定。
權(quán)利要求
1.一種基于3D頭發(fā)模板進行3D頭發(fā)建模的設(shè)備，所述設(shè)備包括 3D頭發(fā)模板庫，用于預(yù)先存儲一個或多個3D頭發(fā)模板；以及3D頭發(fā)模型產(chǎn)生單元，用于接收正視頭發(fā)圖像和3D頭部模型，基于所述正視頭發(fā)圖像的特點并結(jié)合3D頭部模型對由3D頭發(fā)模板庫提供的一個或多個3D頭發(fā)模板進行操作，從而產(chǎn)生真實3D頭發(fā)模型。
2.如權(quán)利要求1所述的設(shè)備，其中，所述3D頭發(fā)模型產(chǎn)生單元包括頭發(fā)分類單元，用于接收正視頭發(fā)圖像，基于所述正視頭發(fā)圖像的特點得出所述正視頭發(fā)圖像的發(fā)型類別，并在由3D頭發(fā)模板庫提供的多個3D頭發(fā)模板中找出與所述發(fā)型類別相應(yīng)的3D頭發(fā)模板；以及頭發(fā)校準(zhǔn)單元，用于結(jié)合3D頭部模型對頭發(fā)分類單元找出的3D頭發(fā)模型進行校準(zhǔn)，從而產(chǎn)生真實3D頭發(fā)模型。
3.如權(quán)利要求2所述的設(shè)備，其中，所述頭發(fā)分類單元包括 頭發(fā)形狀檢測器，用于檢測正視頭發(fā)圖像的頭發(fā)形狀；邊界細化器，用于對由頭發(fā)形狀檢測器檢測的頭發(fā)形狀進行邊界細化； 形狀特征提取器，用于從由邊界細化器細化的頭發(fā)邊界提取形狀特征； 分類定義器，用于將3D頭發(fā)模板庫提供的多個3D頭發(fā)模板劃分為多個發(fā)型類別； 分類器，用于基于由形狀特征提取器提取的形狀特征來確定所述正視頭發(fā)圖像的發(fā)型類別，并在分類定義器劃分出的多個發(fā)型類別的3D頭發(fā)模板中找出與所述正視頭發(fā)圖像的發(fā)型類別相應(yīng)的3D頭發(fā)模板。
4.如權(quán)利要求3所述的設(shè)備，其中，頭發(fā)校準(zhǔn)單元計算3D頭發(fā)模板所基于的參考頭部模型與3D頭發(fā)模板之間的偏差，然后計算用于使得參考頭部模型變?yōu)?D頭部模型的變換參數(shù)，將計算出的參考頭部模型與3D頭發(fā)模板之間的偏差變換為針對3D頭部模型的偏差， 并將變換后的偏差應(yīng)用于3D頭部模型。
5.如權(quán)利要求3所述的設(shè)備，其中，頭發(fā)形狀檢測器通過面部檢測、皮膚顏色建模、頭發(fā)顏色建模、標(biāo)準(zhǔn)圖像處理來輸出頭發(fā)形狀的輪廓。
6.如權(quán)利要求3所述的設(shè)備，其中，所述形狀特征提取器提取的形狀特征包括頭發(fā)的量、頭發(fā)的對稱性、頭發(fā)分線位置和頭發(fā)的長度。
7.如權(quán)利要求1所述的設(shè)備，其中，3D頭發(fā)模板庫預(yù)先存儲應(yīng)用于所有相關(guān)正視頭發(fā)圖像的公共3D頭發(fā)模板，并且所述3D頭發(fā)模型產(chǎn)生單元包括頭發(fā)變形單元，用于接收正視頭發(fā)圖像和3D頭部模型，基于所述正視頭發(fā)圖像的特點并結(jié)合3D頭部模型對由3D頭發(fā)模板庫提供的公共3D頭發(fā)模板進行變形處理，從而產(chǎn)生真實3D頭發(fā)模型。
8.如權(quán)利要求7所述的設(shè)備，其中，頭發(fā)變形單元包括知識數(shù)據(jù)定義器，用于定義公共3D頭發(fā)模板的關(guān)鍵點以及依據(jù)關(guān)鍵點劃分的區(qū)域； 頭發(fā)形狀檢測器，用于檢測正視頭發(fā)圖像的頭發(fā)形狀；頭發(fā)劃分器，用于將由頭發(fā)形狀檢測器檢測到的頭發(fā)形狀劃分為普通部分和個性部分，其中，普通部分指示頭發(fā)在不同個體之間比較類似的部分，個性部分指示頭發(fā)在不同個體之間差異較大的部分；發(fā)片近似器，用于對由頭發(fā)劃分器劃分出的個性部分進行近似處理；發(fā)片建模器，用于對發(fā)片近似器處理后的個性部分的發(fā)片進行3D建模；關(guān)鍵點的2D匹配器，用于結(jié)合3D頭部模型，將知識數(shù)據(jù)定義器所定義的公共3D頭發(fā)模型的邊界關(guān)鍵點與由頭發(fā)劃分器劃分出的普通部分的邊界進行匹配；關(guān)鍵點的3D確定器，用于基于關(guān)鍵點的2D匹配器所匹配的結(jié)果并結(jié)合3D頭部模型和知識數(shù)據(jù)定義器定義的區(qū)域來確定關(guān)鍵點的3D坐標(biāo)；3D數(shù)據(jù)內(nèi)插器，用于基于由關(guān)鍵點的3D確定器確定的關(guān)鍵點的3D坐標(biāo)，結(jié)合知識數(shù)據(jù)定義器定義的區(qū)域來進行3D數(shù)據(jù)內(nèi)插；模型合成器，用于將發(fā)片建模器輸出的各個3D發(fā)片與3D數(shù)據(jù)內(nèi)插器輸出的內(nèi)插結(jié)果相合成；以及紋理產(chǎn)生器，用于針對模型合成器合成的結(jié)果產(chǎn)生相應(yīng)的紋理，從而產(chǎn)生真實3D頭發(fā)模型。
9.如權(quán)利要求8所述的設(shè)備，其中，所述關(guān)鍵點包括與頭發(fā)的外邊界和內(nèi)邊界對應(yīng)的關(guān)鍵點、3D頭發(fā)模板的正視圖中最向前突出的最前方關(guān)鍵點、作為3D頭發(fā)模板后腦上的頭發(fā)中的固定區(qū)域的邊界點的固定線關(guān)鍵點。
10.如權(quán)利要求9所述的設(shè)備，其中，所述依據(jù)關(guān)鍵點劃分的區(qū)域包括正視頂端區(qū)域， 位于內(nèi)邊界上的關(guān)鍵點與最前方關(guān)鍵點之間；正視前向區(qū)域，位于最前方關(guān)鍵點與外邊界上的關(guān)鍵點之間；過渡區(qū)域，位于外邊界上的關(guān)鍵點與固定線關(guān)鍵點之間；固定區(qū)域，為3D 頭發(fā)模板中除了正視頂端區(qū)域、正視前向區(qū)域和過渡區(qū)域之外的剩余部分。
11.如權(quán)利要求8所述的設(shè)備，其中，3D數(shù)據(jù)內(nèi)插器針對不同的區(qū)域采取不同的內(nèi)插方法。
12.如權(quán)利要求3所述的設(shè)備，還包括，頭發(fā)變形單元，用于接收正視頭發(fā)圖像和3D頭部模型，基于所述正視頭發(fā)圖像的特點并結(jié)合3D頭部模型對產(chǎn)生的真實3D頭發(fā)模型進行變形處理，從而輸出變形處理后的真實 3D頭發(fā)模型。
13.—種動畫產(chǎn)生裝置，包括動畫數(shù)據(jù)輸入單元、動畫數(shù)據(jù)分析單元和動畫結(jié)果生成單元，其特征在于還包括如權(quán)利要求1到12中的任何之一所述的基于3D頭發(fā)模板進行3D 頭發(fā)建模的設(shè)備。
14.一種虛擬形象生成裝置，包括虛擬形象數(shù)據(jù)輸入單元、虛擬形象數(shù)據(jù)分析單元和虛擬形象結(jié)果生成單元，其特征在于還包括如權(quán)利要求1到12的任何之一所述的基于3D頭發(fā)模板進行3D頭發(fā)建模的設(shè)備。
15.一種照片合成裝置，包括照片數(shù)據(jù)輸入單元、照片數(shù)據(jù)分析單元和照片結(jié)果生成單元，其特征在于還包括如權(quán)利要求1到12中的任何之一所述的基于3D頭發(fā)模板進行3D 頭發(fā)建模的設(shè)備。
16.一種場景生成裝置，包括場景數(shù)據(jù)輸入單元、場景數(shù)據(jù)分析單元和場景結(jié)果生成單元，其特征在于還包括如權(quán)利要求1到12中的任何之一所述的基于3D頭發(fā)模板進行3D 頭發(fā)建模的設(shè)備。
17.一種基于3D頭發(fā)模板進行3D頭發(fā)建模的方法，所述方法包括預(yù)先存儲一個或多個3D頭發(fā)模板；以及接收正視頭發(fā)圖像和3D頭部模型，基于所述正視頭發(fā)圖像的特點并結(jié)合3D頭部模型對一個或多個3D頭發(fā)模板進行操作，從而產(chǎn)生真實3D頭發(fā)模型。
18.如權(quán)利要求17所述的方法，其中，接收正視頭發(fā)圖像和3D頭部模型，基于所述正視頭發(fā)圖像的特點并結(jié)合3D頭部模型對一個或多個3D頭發(fā)模板進行操作，從而產(chǎn)生真實3D 頭發(fā)模型的步驟包括接收正視頭發(fā)圖像，基于所述正視頭發(fā)圖像的特點得出所述正視頭發(fā)圖像的發(fā)型類另IJ，并在多個3D頭發(fā)模板中找出與所述發(fā)型類別相應(yīng)的3D頭發(fā)模板；以及結(jié)合3D頭部模型對找出的3D頭發(fā)模型進行校準(zhǔn)，從而產(chǎn)生真實3D頭發(fā)模型。
19.如權(quán)利要求18所述的方法，其中，得出所述正視頭發(fā)圖像的發(fā)型類別的步驟包括 檢測正視頭發(fā)圖像的頭發(fā)形狀；對檢測的頭發(fā)形狀進行邊界細化； 從細化的頭發(fā)邊界提取形狀特征； 將提供的多個3D頭發(fā)模板劃分為多個發(fā)型類別；基于提取的形狀特征來確定所述正視頭發(fā)圖像的發(fā)型類別，并在劃分出的多個發(fā)型類別的3D頭發(fā)模板中找出與所述正視頭發(fā)圖像的發(fā)型類別相應(yīng)的3D頭發(fā)模板。
20.如權(quán)利要求19所述的方法，其中，校準(zhǔn)的步驟包括計算3D頭發(fā)模板所基于的參考頭部模型與3D頭發(fā)模板之間的偏差，然后計算用于使得參考頭部模型變?yōu)?D頭部模型的變換參數(shù)，將計算出的參考頭部模型與3D頭發(fā)模板之間的偏差變換為針對3D頭部模型的偏差，并將變換后的偏差應(yīng)用于3D頭部模型。
21.如權(quán)利要求19所述的方法，其中，通過面部檢測、皮膚顏色建模、頭發(fā)顏色建模、標(biāo)準(zhǔn)圖像處理來輸出頭發(fā)形狀的輪廓。
22.如權(quán)利要求17所述的方法，其中，預(yù)先存儲的是應(yīng)用于所有相關(guān)正視頭發(fā)圖像的公共3D頭發(fā)模板，并且接收正視頭發(fā)圖像和3D頭部模型，基于所述正視頭發(fā)圖像的特點并結(jié)合3D頭部模型對一個或多個3D頭發(fā)模板進行操作，從而產(chǎn)生真實3D頭發(fā)模型的步驟包括接收正視頭發(fā)圖像和3D頭部模型，基于所述正視頭發(fā)圖像的特點并結(jié)合3D頭部模型對公共3D頭發(fā)模板進行變形處理，從而產(chǎn)生真實3D頭發(fā)模型。
23.如權(quán)利要求22所述的方法，其中，變形處理包括定義公共3D頭發(fā)模板的關(guān)鍵點以及依據(jù)關(guān)鍵點劃分的區(qū)域； 檢測正視頭發(fā)圖像的頭發(fā)形狀；將檢測到的頭發(fā)形狀劃分為普通部分和個性部分，其中，普通部分指示頭發(fā)在不同個體之間比較類似的部分，個性部分指示頭發(fā)在不同個體之間差異較大的部分； 對劃分出的個性部分進行近似處理； 對近似處理后的個性部分的發(fā)片進行3D建模；結(jié)合3D頭部模型，將所定義的公共3D頭發(fā)模型的邊界關(guān)鍵點與劃分出的普通部分的邊界進行匹配；基于所匹配的結(jié)果并結(jié)合3D頭部模型和定義的區(qū)域來確定關(guān)鍵點的3D坐標(biāo)； 基于確定的關(guān)鍵點的3D坐標(biāo)，結(jié)合定義的區(qū)域來進行3D數(shù)據(jù)內(nèi)插； 將建模后的各個3D發(fā)片與內(nèi)插結(jié)果相合成；以及針對合成的結(jié)果產(chǎn)生相應(yīng)的紋理，從而產(chǎn)生真實3D頭發(fā)模型。
全文摘要
提供一種基于3D頭發(fā)模板進行3D頭發(fā)建模的設(shè)備和方法。所述設(shè)備包括3D頭發(fā)模板庫，用于預(yù)先存儲一個或多個3D頭發(fā)模板；以及3D頭發(fā)模型產(chǎn)生單元，用于接收正視頭發(fā)圖像和3D頭部模型，基于所述正視頭發(fā)圖像的特點并結(jié)合3D頭部模型對由3D頭發(fā)模板庫提供的一個或多個3D頭發(fā)模板進行操作，從而產(chǎn)生真實3D頭發(fā)模型。
文檔編號G06T17/00GK102419868SQ20101050133
公開日2012年4月18日 申請日期2010年9月28日 優(yōu)先權(quán)日2010年9月28日
發(fā)明者萬濤, 孫訊, 張輝, 林和燮 申請人:三星電子株式會社, 北京三星通信技術(shù)研究有限公司