專利名稱：基于基元重組的紋理設(shè)計與合成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種紋理設(shè)計與合成方法，尤其是涉及一種基于基元重組的紋理設(shè)計與合成方法。
背景技術(shù)：
在計算機(jī)視覺和計算機(jī)圖形學(xué)中，紋理是增強(qiáng)物體表面細(xì)節(jié)的重要手段。在繪制大規(guī)模且復(fù)雜場景時，通常需要豐富的紋理來增強(qiáng)場景的真實感。然而，由于采樣區(qū)域的局限性，所獲取的紋理樣圖通常為小塊紋理，難以滿足繪制的需求。為此，必須進(jìn)行大量紋理的生成。目前，最常用的紋理生成技術(shù)包括過程紋理合成和基于樣本的紋理合成。過程紋理合成是一種非常重要的紋理生成技術(shù)，通過對紋理的生成過程進(jìn)行模擬從而產(chǎn)生新的紋理。過程紋理合成效果很好，可以獲得非常逼真的紋理，但不足之處在于對每一類新的紋理，需要調(diào)整參數(shù)和反復(fù)測試，非常不便，有的甚至無法得到有效的參數(shù)。這些缺點降低了過程紋理合成技術(shù)的實用性，使得它只適用于非常有限類別的紋理?；跇颖镜募y理合成是另一種非常重要的紋理生成技術(shù)，它根據(jù)用戶給定的樣本紋理，自動生成一個視覺上與之相似的新紋理?；跇訄D的紋理合成技術(shù)避免了過程紋理合成參數(shù)調(diào)整的繁瑣。這類方法又包括基于像素點的紋理合成和基于塊的紋理合成?；谙袼攸c的紋理合成對于隨機(jī)紋理能產(chǎn)生較好的合成效果，而對于那些結(jié)構(gòu)性較強(qiáng)的規(guī)則/近似規(guī)則紋理，合成效果較不理想。此外，由于窮盡的匹配點搜索方式，合成效率非常低?；趬K的樣圖紋理合成利用紋理鄰域的相關(guān)性能夠達(dá)到較好的合成效果，而且加快了紋理合成速度，擴(kuò)大了紋理的應(yīng)用范圍。然而，現(xiàn)有基于樣本的紋理合成是一個無用戶干預(yù)的全自動合成過程，還不足以通過控制紋理特征的分布、位置和形狀等信息，使得合成過程達(dá)到實時的要求且產(chǎn)生多樣的輸出結(jié)果。因此，還需要一些方法來改進(jìn)現(xiàn)有的紋理合成技術(shù)?；?Texel)是構(gòu)成紋理圖像的基本紋理元素，每個基元是相互獨立的且具有有限空間范圍的個體單元。基元不同于紋理圖像中的單個像素點，或者紋理子塊，主要的特點是基元具有完整的結(jié)構(gòu)特征。通過對基元進(jìn)行操作與控制，一方面可以提高紋理合成的效率；另一方面可以產(chǎn)生多種多樣的新紋理且保持合成紋理中結(jié)構(gòu)特征的一致性?，F(xiàn)有的基于樣本的合成技術(shù)對基元的抽取和控制方法甚少涉及，即使涉及，也是基于樣本的參照信息，如基元在樣本中的分布和類別等。由于需要假定所給樣本紋理中存在可利用的參照信息，這使得合成的輸出結(jié)果通常是單一的。

發(fā)明內(nèi)容
本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于基元重組的紋理設(shè)計與合成方法。本發(fā)明的目的可以通過以下技術(shù)方案來實現(xiàn)一種基于基元重組的紋理設(shè)計與合成方法，其特征在于，包括以下步驟1)基元抽??；
2)基元分類；3)基元分布生成；4)基元放置與變形；5)后處理。所述的步驟1)基元抽取具體為11)針對給定的樣本紋理圖像，首先采用傳統(tǒng)的伽柏小波變換對樣本紋理圖像中的紋理特征進(jìn)行分析；12)然后采用基于紋理特征連續(xù)性的水平集方法對樣本紋理圖像進(jìn)行分割，從而獲得單個的紋理基元。所述的步驟2、基元分類具體為21)對于已抽取的基元，首先獲取每一個基元的邊界輪廓點；22)其次，采用基于形狀上下文的描述子描述每一基元輪廓點的分布情況，通過量化獲得這些輪廓點的特征向量；23)最后，利用這些量化信息，通過比較基元之間的輪廓差異，對所有已抽取基元進(jìn)行分類；所述的步驟幻基元分布生成具體為用戶利用簡筆畫的方式自定義紋理的生成模式，以該模式為基元的初始分布，按照生成模式中提供的生成規(guī)則逐一擴(kuò)展基元的分布，從而在待合成紋理中計算基元的位置以及分配相應(yīng)的基元類別屬性。所述的基元放置與變形具體為41)在待合成紋理中，根據(jù)每一個位置及其相應(yīng)的類別信息在已抽取基元中為這些位置點選擇具有相同類別的最佳匹配基元；42)如果待合成紋理是空白畫布時，則采用直接覆蓋的方法將所選最佳匹配基元放置在每一個位置上；此時，采用基于圖分割的拼接方法處理基元之間的重疊區(qū)域；若待合成紋理是具有背景模式的畫布時，則采用基于均值坐標(biāo)的圖像融合方法放置所有最佳匹配基元。所述的步驟5)后處理具體為針對在基元放置過程中產(chǎn)生的過分重疊和較大的空洞，采用TPS變形技術(shù)改變基元的形狀；如果在待合成紋理中仍然存在空洞，則采用基于樣例的圖像修補(bǔ)方法填補(bǔ)這些空洞。所述的基元抽取將樣本紋理中得所有具有封閉邊界的基元抽取出來，因而在紋理設(shè)計與合成過程中僅需要使用這些抽取的基元，樣本紋理將不再使用。所述的簡筆畫分為兩類，第一類簡筆畫描述基元的規(guī)則分布，第二類簡筆描述基元的隨機(jī)分布第一類簡筆畫中除了需要定義左右生成模式和上下生成模式之外，當(dāng)該類簡筆畫中有多類基元時，需要用戶指定簡筆畫中基元的類別，以及給定不同類別基元之間的排列順序；第二類簡筆畫中點的總個數(shù)由用戶根據(jù)給定畫布的大小給定，點的數(shù)目決定了基元分布的稠密程度。
使用第二類簡筆畫產(chǎn)生基元分布，在對基元位置進(jìn)行調(diào)整過程中需要參照樣本的基元分布，且新生成的基元分布中的基元鄰域與參照樣本紋理的基元分布中的基元鄰域之間通過鄰域比較方法進(jìn)行具體相似性判定度量。用TPS變形技術(shù)改變基元的形狀，從而避免產(chǎn)生過分重疊和較大的空洞，使得新紋理中基元之間的結(jié)構(gòu)是連續(xù)的。與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點本發(fā)明從給定的樣本紋理圖像中進(jìn)行一次基元抽取，之后在紋理設(shè)計和合成過程中將不再需要樣本紋理的參與；紋理的生成不再依賴于樣本紋理提供的參照信息，而是按照一定的生成模式重組已抽取基元及變形基元的方式獲得新紋理。這樣該發(fā)明就很好地解決了紋理合成過程中需要參照樣本紋理的問題，通過用戶可控的處理方式，從而對現(xiàn)有基于樣本紋理的合成方法進(jìn)行了改進(jìn)。


圖1為本發(fā)明詳細(xì)原理框架圖；圖2為實施例中給定的樣本紋理圖像；圖3為對樣本紋理圖像中基元抽取的結(jié)果；圖4為根據(jù)第一類簡筆畫(生成模式)產(chǎn)生的基元分布結(jié)果；圖5為根據(jù)第二類簡筆畫(生成模式)產(chǎn)生的基元分布結(jié)果；圖6為根據(jù)給定的簡筆畫產(chǎn)生的多樣的紋理設(shè)計與合成結(jié)果。
具體實施例方式下面結(jié)合附圖和具體實施例對本發(fā)明進(jìn)行詳細(xì)說明。實施例按照基于基元重組的紋理設(shè)計與合成方案原理框架圖1，可以確定紋理設(shè)計與合成的詳細(xì)步驟如下第一步基元抽取初始化，將給定的樣本紋理圖像轉(zhuǎn)化為灰色圖像，然后采用高斯濾波方法對灰度圖像進(jìn)行平滑，去除圖像中的噪聲。逐行掃描樣本紋理圖像，對以每一個像素點為中心的子塊進(jìn)行紋理特征分析首先，采用傳統(tǒng)的伽柏小波變換(Gabor Wavelet Transform)在多尺度和多方向上進(jìn)行紋理特征統(tǒng)計，獲得變換系數(shù)；其次，計算每個尺度及方向上變換系數(shù)的均值和標(biāo)準(zhǔn)差。最后，獲得每個像素子塊對應(yīng)的紋理特征。在待分割的基元區(qū)域內(nèi)，分別計算初始輪廓上各像素點對應(yīng)的紋理特征向量和初始輪廓所覆蓋區(qū)域內(nèi)的所有像素點對應(yīng)的紋理特征向量，采用基于紋理模式連續(xù)性的水平集圖像分割方法，通過判斷初始輪廓和傳播區(qū)域的紋理特征之間的差異，對初始輪廓進(jìn)行擴(kuò)張傳播。最后，初始輪廓在基元的邊界處停止傳播，從而分割出該基元。按照以上所述過程，可以抽取出樣本紋理中的所有基元。部分已分割的基元如圖3所示。第二步基元分類在基元分類過程中，根據(jù)基元之間的輪廓差異劃分所有已抽取的基元。首先，采用基于形狀上下文的描述子(shape context)量化基元的形狀特征(該種形狀描述子對平移、縮放及旋轉(zhuǎn)變化保持不變性，甚至在幾何變形、遮擋等情況下也是穩(wěn)定的)。選定基元邊界上的某一輪廓點，形狀上下文描述子能夠描述該基元的其余輪廓點相對于當(dāng)前所選輪廓點的分布。其次，使用該基元的所有輪廓點的特征值組成的特征向量描述該基元的形狀。 對于每個基元，按照上述方法獲得基元的輪廓特征向量。最后，通過兩兩比較基元之間其輪廓特征向量的差異，可將差異值小于自定義類別閾值的基元劃分為同一類。第三步基元分布生成本發(fā)明中提供兩種類別的簡筆畫，一類描述基元的規(guī)則分布，另一類描述基元的隨機(jī)分布。這些簡筆畫定義了基元的生成模式。第一類簡筆畫(如圖4所示)可以分解為兩個組成部分左右模式(LR model)和上下模式(UD model)。以第一類簡筆畫作為基元的初始分布，我們按照這兩種定義的生成模式進(jìn)行基元分布的擴(kuò)張，即向初始基元分布中逐一添加新的基元，從而獲得新添加基元的位置。根據(jù)待添加基元的大小以及與臨近已添加基元的相對位置計算待添加基元的位置。如果按照左右模式添加新的基元，通過計算該基元的尺度參數(shù)(yl' ,yr' ,xl'， xr')和區(qū)域參數(shù)(Nly, Nix, Nry, Nrx)，該基元的位置(Py, Px)計算如下
Py = Nry-yr'+l\其中，ov為基元之間的空隙，通常定義ov的取值為一個像素寬度。按照同樣的計算方式，如果按照上下模式添加新的基元，則該基元的位置計算如下\不失一般性，所有待添加的基元都可以按照上述兩種方式計算位置坐標(biāo)值?？梢钥闯觯谝活惡喒P畫的多樣性在于羅列基元從而改變基元的布局，即通過旋轉(zhuǎn)改變基元的方向，通過縮放改變基元的大小以及變換不同類別基元的先后順序。此外，如果提供的簡筆畫中有多類基元，則根據(jù)簡筆畫中基元類別的排列順序確定新添加基元的類別。第二類簡筆畫(如圖5中第一幅圖像所示)則由點的隨機(jī)分布組成。主要是由于基于與基元之間不相鄰接的空間分布關(guān)系。此外，該類簡筆畫的擴(kuò)張在于按照樣本紋理的基元分布調(diào)整初始狀態(tài)下的基元分布。首先，采用洛依德方法(Lloyd's method)計算離散點集的Voronoi圖。由此，產(chǎn)生基元的初始分布(離散點集中的點的總數(shù)目由用戶給定)。 由于產(chǎn)生的基元分布是比較規(guī)則的點的分布，因此，需要進(jìn)一步調(diào)整分布中基元的位置，使得最終獲得的基元分布具有樣本紋理中基元分布的隨機(jī)特性。根據(jù)樣本紋理中基元的分布計算初始分布中各基元的偏移向量，通過平移初始分布中的各基元，從而獲得最終的基元的分布(調(diào)整后的結(jié)果如圖5中第二、三幅圖像所示)?？梢钥闯?，第二類基元分布的多樣性很大程度地依賴于初始離散點集中點的總個數(shù)，通過增加或者減少點的個數(shù)調(diào)整分布的稠密程度。上述兩類簡筆畫最大的區(qū)別在于給定的初始分布和分布擴(kuò)張方式。第一類簡筆畫通常不依賴于樣本紋理的基元分布，而且一旦在簡筆畫中定義了左右生成模式和上下生成模式，則該簡筆畫可以用于多次紋理設(shè)計和合成任務(wù)。然而，第二類簡筆畫的擴(kuò)張階段依賴
7于樣本紋理的基元分布，不同的樣本紋理產(chǎn)生不同的基元分布，且擴(kuò)張過程和基元的放置是相互獨立的。第四步基元放置與變形接下來需要將抽取的基元放置到已生成的基元分布中，即需要在每一個基元的位置上放置合適的基元，從而產(chǎn)生新的紋理。在此，用戶提供指定大小的畫布，包括空白的畫布和具有背景圖案的畫布兩種。根據(jù)基元分布的生成方式進(jìn)行基元的選擇如果由第一類簡筆畫的方法產(chǎn)生基元的分布，則根據(jù)基元位置上的類別屬性從已抽取的基元中選擇具有相同類別的基元；如果由第二類簡筆畫的方法產(chǎn)生基元的分布，則可以從已抽取的基元中進(jìn)行隨機(jī)選擇作為匹配的基元。在確定匹配基元之后，根據(jù)基元在初始分布中的位置確定其在畫布中的位置。將基元放置畫布中時，如果是空白畫布，則直接將基元拷貝至畫布中。此時，需要采用圖分割的方法(graph-cuts method)處理基元之間的重疊區(qū)域；如果是具有背景的畫布，則采用基于均值坐標(biāo)的圖像融合方法放置基元到相應(yīng)位置上。此時，在基元與背景之間能夠產(chǎn)生無縫的自然融合效果。在紋理設(shè)計與合成過程中，由于通過基元的重組產(chǎn)生新的紋理，基元的放置不再符合樣本紋理中基元之間的相鄰關(guān)系。因此，在新紋理中可能產(chǎn)生過分重疊，或者較大的空洞。如果基元的形狀是規(guī)則的，如長方形、正方形等，則可以采用線性變換操作改變基元的大小和方向，從該減輕重疊和空洞的產(chǎn)生。然而，當(dāng)基元的形狀是不規(guī)則的多邊形時，則采用TPS變形技術(shù)改變基元的形狀。首先確定目標(biāo)形狀，使用輪廓點映射方法將當(dāng)前基元的輪廓點與目標(biāo)形狀的輪廓點建立一一對應(yīng)；然后，采用采用TPS變形方法根據(jù)輪廓點的對應(yīng)關(guān)系，變形當(dāng)前基元，使得變形的基元具有給定的目標(biāo)輪廓。此時，保證已放置基元之間的結(jié)構(gòu)一致性。第五步后處理為了進(jìn)一步消除新紋理中可能殘留的空洞，我們采用基元樣例的圖像修補(bǔ)算法使用樣本紋理的信息填補(bǔ)這些空洞。通常情況下，需要在樣本紋理中進(jìn)行窮盡的搜索選擇填補(bǔ)空洞的信息，計算量大且非常耗時。然而，新紋理中空洞處的信息通?？梢钥闯墒腔c基元之間丟失的邊界信息。因此，首先采用顏色量化的方法(color quantization)將樣本紋理分解成多個紋理子塊；然后，使用與基元邊界具有相似顏色的紋理子塊作為空洞信息搜索的樣本圖像，替換原有的樣本紋理，則極大地提高了空洞修補(bǔ)的時間效率。根據(jù)用戶提供的簡筆畫，產(chǎn)生的新的紋理結(jié)果如圖6所示。
權(quán)利要求
1.一種基于基元重組的紋理設(shè)計與合成方法，其特征在于，包括以下步驟1)基元抽取；2)基元分類；3)基元分布生成；4)基元放置與變形；5)后處理。
2.根據(jù)權(quán)利要求1所述的一種基于基元重組的紋理設(shè)計與合成方法，其特征在于，所述的步驟1)基元抽取具體為11)針對給定的樣本紋理圖像，首先采用傳統(tǒng)的伽柏小波變換對樣本紋理圖像中的紋理特征進(jìn)行分析；12)然后采用基于紋理特征連續(xù)性的水平集方法對樣本紋理圖像進(jìn)行分割，從而獲得單個的紋理基元。
3.根據(jù)權(quán)利要求2所述的一種基于基元重組的紋理設(shè)計與合成方法，其特征在于，所述的步驟2、基元分類具體為21)對于已抽取的基元，首先獲取每一個基元的邊界輪廓點；22)其次，采用基于形狀上下文的描述子描述每一基元輪廓點的分布情況，通過量化獲得這些輪廓點的特征向量；23)最后，利用這些量化信息，通過比較基元之間的輪廓差異，對所有已抽取基元進(jìn)行分類；
4.根據(jù)權(quán)利要求3所述的一種基于基元重組的紋理設(shè)計與合成方法，其特征在于，所述的步驟幻基元分布生成具體為用戶利用簡筆畫的方式自定義紋理的生成模式，以該模式為基元的初始分布，按照生成模式中提供的生成規(guī)則逐一擴(kuò)展基元的分布，從而在待合成紋理中計算基元的位置以及分配相應(yīng)的基元類別屬性。
5.根據(jù)權(quán)利要求4所述的一種基于基元重組的紋理設(shè)計與合成方法，其特征在于，所述的基元放置與變形具體為41)在待合成紋理中，根據(jù)每一個位置及其相應(yīng)的類別信息在已抽取基元中為這些位置點選擇具有相同類別的最佳匹配基元；42)如果待合成紋理是空白畫布時，則采用直接覆蓋的方法將所選最佳匹配基元放置在每一個位置上；此時，采用基于圖分割的拼接方法處理基元之間的重疊區(qū)域；若待合成紋理是具有背景模式的畫布時，則采用基于均值坐標(biāo)的圖像融合方法放置所有最佳匹配基兀。
6.根據(jù)權(quán)利要求5所述的一種基于基元重組的紋理設(shè)計與合成方法，其特征在于，所述的步驟幻后處理具體為針對在基元放置過程中產(chǎn)生的過分重疊和較大的空洞，采用TPS變形技術(shù)改變基元的形狀；如果在待合成紋理中仍然存在空洞，則采用基于樣例的圖像修補(bǔ)方法填補(bǔ)這些空洞。
7.根據(jù)權(quán)利要求2所述的一種基于基元重組的紋理設(shè)計與合成方法，其特征在于，所述的基元抽取將樣本紋理中得所有具有封閉邊界的基元抽取出來，因而在紋理設(shè)計與合成過程中僅需要使用這些已抽取的基元，樣本紋理將不再使用。
8.根據(jù)權(quán)利要求4所述的一種基于基元重組的紋理設(shè)計與合成方法，其特征在于，所述的簡筆畫分為兩類，第一類簡筆畫描述基元的規(guī)則分布，第二類簡筆描述基元的隨機(jī)分布第一類簡筆畫中除了需要定義左右生成模式和上下生成模式之外，當(dāng)該類簡筆畫中有多類基元時，需要用戶指定簡筆畫中基元的類別，以及給定不同類別基元之間的排列順序；第二類簡筆畫中點的總個數(shù)由用戶根據(jù)給定畫布的大小給定，點的數(shù)目決定了基元分布的稠密程度。
9.根據(jù)權(quán)利要求8所述的一種基于基元重組的紋理設(shè)計與合成方法，其特征在于，使用第二類簡筆畫產(chǎn)生基元分布，在對基元位置進(jìn)行調(diào)整過程中需要參照樣本的基元分布， 且新生成的基元分布中的基元鄰域與參照樣本紋理的基元分布中的基元鄰域之間通過鄰域比較方法進(jìn)行具體相似性判定度量。
10.根據(jù)權(quán)利要求6所述的一種基于基元重組的紋理設(shè)計與合成方法，其特征在于，過分重疊和較大的空洞用TPS變形技術(shù)改變基元的形狀，使得新紋理中基元之間的結(jié)構(gòu)是連續(xù)的。
全文摘要
本發(fā)明涉及一種基于基元重組的紋理設(shè)計與合成方法，包括以下步驟1)基元抽??；2)基元分類；3)基元分布生成；4)基元放置與變形；5)后處理。與現(xiàn)有技術(shù)相比，本發(fā)明很好地解決了紋理合成過程中需要參照樣本紋理的問題，通過用戶可控的處理方式，從而對現(xiàn)有基于樣本紋理的合成方法進(jìn)行了改進(jìn)。
文檔編號G06T11/20GK102426708SQ20111035053
公開日2012年4月25日 申請日期2011年11月8日 優(yōu)先權(quán)日2011年11月8日
發(fā)明者桂彥, 馬利莊 申請人:上海交通大學(xué)