一種基于筆畫合成的圖像風格遷移合成方法
【專利摘要】本發(fā)明公開了一種基于筆畫合成的圖像風格遷移合成方法，包括以下步驟：步驟(1)，對用戶輸入的目標圖像進行圖像分割，得到一組圖像區(qū)域；步驟(2)，根據(jù)步驟(1)的圖像區(qū)域，對分割后的目標圖像的各區(qū)域進行筆畫設置；步驟(3)，對樣本圖像進行特征分析，進行基于不規(guī)則四邊形的筆畫遷移合成得到結果圖像；步驟(4)，將目標圖的顏色信息傳遞給結果圖，得到保留原圖顏色信息的結果圖。
【專利說明】一種基于筆畫合成的圖像風格遷移合成方法

【技術領域】
[0001]本發(fā)明涉及計算機圖像處理和計算機圖形學【技術領域】，特別是基于筆畫合成的圖像風格遷移合成方法。

【背景技術】
[0002]圖像的風格化繪制已成為非真實感繪制的一個研究熱點，其可以通過對圖像內(nèi)容的識別和解析，依據(jù)多種類型藝術創(chuàng)作的藝術理念和藝術準則，模擬各類藝術風格的手工繪制過程和效果。近年來，國內(nèi)外的研究者從不同的研究角度出發(fā)提出了很多卓有成效的方法，根據(jù)出發(fā)點的不同，概括起來，其中代表性的方法大致可以分為兩類:一類是基于模擬的繪制技術(Simulat1n-based),其致力于模擬真實的繪畫創(chuàng)作過程,通過在畫布上疊加各種顏色、尺寸的筆畫來獲得不同風格的結果圖，如文獻IHertzmann A.Fast PaintTexture.Proceedings of the 2nd internat1nal symposium on Non-photorealisticanimat1n and rendering, 2002.91-96.和文獻2 Zeng K, Zhao M, X1ng C, Zhu S C..Formimage parsing to painterly rendering.ACM Trans.Graph.2009.29 (I), 2:1-2:11.等介紹的，該類方法屬于一種臨摹式的繪制方式，雖然能夠很好的體現(xiàn)繪畫創(chuàng)作過程，但在其繪制框架中，不同風格藝術作品通常由一些封裝好的繪制參數(shù)決定。如果希望得到喜愛的風格，用戶必須對這些繪制參數(shù)的含義有較好的理解，通過反復調(diào)整這些參數(shù)，得到個性化的繪制結果。這對于用戶來說，操作過于復雜。另一類是基于樣本風格遷移的繪制技術(Example-based),它多通過紋理合成的方法模擬給定樣圖的風格特征等,使結果不僅能夠保持目標圖像本身的內(nèi)容還能夠具有樣圖的繪制風格。如文獻3 Lee H., Seo S., Ryoo
S.，et al..Direct1nal texture transfer.Proc.Non-photorealistic Animat1n andRendering.ACM 2010.43-48.和文獻 4 Huang H.，Zang Y.，Li C.F., Example-basedpainting guided by color features.The Visual Computer.2010, 26(6-8):933.等介紹的，該類方法通過為用戶提供各種不同類型的已有風格模板，將用戶選擇的樣本風格迀移到目標圖像上。
[0003]基于模擬的繪畫技術主要從筆畫屬性定義、筆畫布置策略以及筆畫方向設計三方面來模仿畫家的創(chuàng)作過程。在發(fā)展初期，對筆畫的定義以及筆畫布置策略的設計成為諸多研究關注的重點，如何自動布置筆畫、渲染筆畫是這方面的主要研究工作；隨著這二個方面研究的逐漸成熟，如何生成更自然、逼真的藝術作品漸漸成為研究者追求的新目標，而由于筆畫的方向在視覺上的顯著性，模擬更自然、更貼近現(xiàn)實藝術作品的筆畫走向，逐漸也成為了新的研究熱點?；谀M的繪畫技術屬于一種臨摹式的繪制方式，雖然能夠很好的體現(xiàn)繪畫創(chuàng)作過程，但在其繪制框架中，不同風格藝術作品通常由一些封裝好的繪制參數(shù)決定。如果希望得到喜愛的風格，用戶必須對這些繪制參數(shù)的含義有較好的理解，通過反復調(diào)整這些參數(shù)，得到個性化的繪制結果。這對于用戶來說，操作過于復雜。
[0004]基于樣本風格遷移的繪制技術通過為用戶提供各種不同類型的已有風格模板，讓計算機照著這個模板風格進行繪制，通過不同的學習模板和學習方法，用戶被允許對作品進行更廣泛的設計。


【發(fā)明內(nèi)容】

[0005]發(fā)明目的:本發(fā)明所要解決的技術問題是針對現(xiàn)有技術的不足，提供一種基于筆畫合成的圖像風格遷移合成方法。
[0006]技術方案:為了解決上述技術問題，本發(fā)明公開了一種基于筆畫合成的圖像風格遷移合成方法，該方法用于將樣本圖像的風格遷移到目標圖像上，得到結果圖像，包括以下步驟:
[0007]步驟(I)，對用戶輸入的目標圖像進行圖像分割；
[0008]步驟(2)，根據(jù)步驟(I)的分割結果，對分割后的目標圖像的各區(qū)域進行筆畫設置；
[0009]步驟(3)，對樣本圖像進行特征分析，進行基于不規(guī)則四邊形的筆畫遷移合成；
[0010]步驟(4)，將目標圖的顏色信息傳遞給結果圖，得到保留原圖顏色信息的結果圖。
[0011]本發(fā)明步驟(2)中，根據(jù)對目標圖像進行圖像分割的結果，對分割后的目標圖像的各區(qū)域進行筆畫設置，具體步驟為:
[0012]步驟(21)，根據(jù)目標圖像的圖像分割結果和求得的各區(qū)域的輪廓情況，對區(qū)域邊界筆畫進行設置；
[0013]步驟(211)，設置區(qū)域邊界筆畫方向；
[0014]步驟(212)，設置區(qū)域邊界筆畫寬度；
[0015]步驟(213)，設置區(qū)域邊界筆畫長度；
[0016]步驟(22)，根據(jù)目標圖像的圖像分割結果和求得的各區(qū)域的輪廓情況，對區(qū)域內(nèi)部筆畫進行設置；
[0017]步驟(221)，設置區(qū)域內(nèi)部筆畫方向；
[0018]步驟(222),設置區(qū)域內(nèi)部筆畫寬度；
[0019]步驟(223),設置區(qū)域內(nèi)部筆畫長度。
[0020]本發(fā)明步驟(3)中，用戶選擇不同的區(qū)域作為輸入并進行基于筆畫的遷移合成。首先對輸入的樣本圖像進行特征分析，以獲得高層風格信息，然后將待合成的空筆畫分割為多個不規(guī)則的四邊形，利用所得特征將筆畫遷移合成問題轉(zhuǎn)化為各四邊形的在樣圖中的匹配搜索問題，建立一個一致性衡量問題的能量方程，并根據(jù)相似塊偏移量統(tǒng)計方法優(yōu)化此能量方程，求解出能量最小值，以完成各空筆畫的優(yōu)化合成，具體步驟為:
[0021]步驟(31)，對選定的樣本進行高層特征的分析，分析選定樣本的筆畫走向、紋理特征以及顏色特征等；
[0022]步驟(32)，基于不規(guī)則四邊形對空筆畫進行優(yōu)化遷移合成；
[0023]步驟(321)，根據(jù)已求得的筆畫寬度和長度等信息，將各待合成的空筆畫分割為多個不規(guī)則的四邊形；
[0024]步驟(322)，構建合成優(yōu)化函數(shù)，根據(jù)樣本圖像的筆畫走向、紋理特征以及顏色特征為每個四邊形在樣本圖像上尋找匹配的四邊形，將搜索匹配問題作為一致性衡量問題處理；具體為:
[0025]計算第i個待合成四邊形Pi的筆畫走向與水平方向的夾角a i ;計算樣本圖像的筆畫走向與水平方向的夾角β，將樣本圖像以右上角為旋轉(zhuǎn)中心按逆時針旋轉(zhuǎn)(c^-β)度。為每個四邊形在旋轉(zhuǎn)后的樣本圖像中搜索紋理特征LBP值和顏色特征RGB值最優(yōu)匹配的四邊形。搜素匹配過程可以看作為一致性衡量(coherence measure)問題。
[0026]所述能量方程為:
[0027]^vuhere = [ mill — R\\

Box€SK~il
[0028]其中，為一致性衡量的量度值，S為步驟(32)中定義的空筆畫，Ω為用戶選定的樣本區(qū)域，Box為連接相鄰四邊形的三角區(qū)域，R為在Ω內(nèi)搜索到的與Box的匹配區(qū)域；
[0029]步驟(323)，根據(jù)相似塊偏移量統(tǒng)計思想，優(yōu)化步驟(322)中能量方程；
[0030]所述能量方程為:
[00311 ifIVhere = Σ.1)—伽.V(X + off set j 川 2

χΖ^?ββ%€?￡--
[0032]其中，S為步驟(32)中定義的空筆畫，Ω為用戶選定的樣本區(qū)域，offset為偏移量，Offseti是第i個三角區(qū)域Box(X)和其最優(yōu)匹配區(qū)域Box(X+offsetJ之間的偏移量，Box (X)為中心在坐標X，大小為3*3的三角區(qū)域；
[0033]對所有設定的空筆畫采用上述步驟優(yōu)化合成后，便可完成目標圖像的風格遷移，得到結果圖像。
[0034]本發(fā)明步驟(4)包括以下步驟:
[0035]步驟(41)，根據(jù)全局色彩傳遞方法，將目標圖像的顏色信息傳遞給結果圖像，得到保留原圖顏色信息的結果圖像。具體為:
[0036]全局色彩傳遞方法為將目標圖的整體顏色統(tǒng)計信息傳輸至結果圖，達到改變結果圖
[0037]色彩的目的。本實施中，首先計算目標圖S和結果圖T所有像素在1，α，β三個通道的均值Γ，as, βΜ\ Qt, f以及目標圖和結果圖的標準差σ Λ σ as，σ /，O1S σ /，σ / ;然后從目標圖中移走均值，將剩余部分按照標準差的比值縮放，最后加入結果圖的均值得到保留原圖顏色信息的結果圖像，其變換公式為:
[0038]I* = ( σ χ7 σ 嚴)I，+It
[0039]a* = ( σ a V σ a s) a J + a 1
[0040]β* = (σ //σ /) β，+ ^t
[0041]I， = 10-1s
[0042]a，= a 0- a s
[0043]β，= β 0-β s
[0044]其中，1。，α0, β。為結果圖單個像素在1，a , β三個通道的初始值。1*，a *，β *為結果圖單個像素變換后新的值。
[0045]有益效果:本發(fā)明的圖像風格遷移合成方法與現(xiàn)有圖像風格遷移合成方法相比優(yōu)點在于:用戶可將輸入樣圖作為調(diào)色板，根據(jù)自己的喜好以筆畫為構造元素完成目標圖像的風格遷移；在輸入任意形狀、大小樣本的情況下，在無需對樣本進行形變等特殊處理前提下，通過分析和提取樣圖表達的高層風格特征，便能夠自動合成連續(xù)、無縫、隨機性強，并具有輸入樣本特征的平滑筆畫曲線。

【專利附圖】

【附圖說明】
[0046]下面結合附圖和【具體實施方式】對本發(fā)明做更進一步的具體說明，本發(fā)明的上述和/或其他方面的優(yōu)點將會變得更加清楚。
[0047]圖1為本發(fā)明空筆畫分割示意圖。
[0048]圖2為本發(fā)明主要流程圖。
[0049]圖3a和圖3b為實施例輸入樣本圖像以及目標圖像示意圖。
[0050]圖4為風格遷移合成結果示意圖。
[0051]圖5為合成結果示意圖。

【具體實施方式】
[0052]本發(fā)明涉及一種圖像風格遷移合成方法，該方法將輸入的樣圖作為調(diào)色板，并對其進行風格特征的分析，然后利用所得特征將筆畫遷移合成問題轉(zhuǎn)化為各四邊形的在樣圖中的匹配搜索問題，建立一個一致性衡量問題的能量方程，并根據(jù)相似塊偏移量統(tǒng)計方法優(yōu)化此能量方程，求解出能量最小值，以完成目標圖指定區(qū)域內(nèi)所求得的筆畫曲線的風格遷移合成，再將目標圖的顏色信息傳遞給結果圖，最終所得結果即為與樣圖有相同繪畫風格的結果圖。本發(fā)明的方法能夠高效、自動地完成目標圖像的個性化藝術風格遷移。
[0053]如圖1所示，本發(fā)明中:對于空筆畫的分割，將各待合成的空筆畫分割為多個四邊形，定義當前待合成空筆畫S，求得S沿筆畫方向內(nèi)外二條輪廓線T和B，沿內(nèi)外二條輪廓線等距離采樣，將待合成空筆畫S分割成多個小四邊形，定義所分割的四邊形為Pi,則其坐標可定義為((Txi，Tyi)，(Bxi, Byi), (Txi+1，Tyi+1)，(Bxi+1，Byi+1))，其中 Ixi = i，yi = i}。
[0054]如圖2所示，本發(fā)明包括以下步驟:
[0055]步驟(I)，對用戶輸入的目標圖像進行圖像分割；
[0056]步驟(2)，根據(jù)步驟⑴的分割結果，對分割后的目標圖像的各區(qū)域進行筆畫設置；
[0057]步驟(3)，對樣本圖像進行特征分析，進行基于不規(guī)則四邊形的筆畫遷移合成；
[0058]步驟(4)，將目標圖的顏色信息傳遞給結果圖，得到保留原圖顏色信息的結果圖。
[0059]更具體地說，本發(fā)明對用戶輸入的目標圖像和樣本圖像，采用基于筆畫合成的遷移合成方法將樣本圖像的風格傳遞到目標圖像上。首先用戶輸入目標圖像，對目標圖像進行圖像分割。是對分割所得的目標圖像各區(qū)域進行筆畫設置，根據(jù)分割所得區(qū)域信息求取各筆畫的方向、大小和長度等描述信息。對設定的筆畫進行風格遷移合成。將具有一定風格的輸入樣本圖像作為調(diào)色板，用戶在樣圖上選取任意區(qū)域作為筆畫合成的輸入模式，對用戶選取的區(qū)域或邊界進行了高層的特征分析。利用所獲得的風格樣圖特征，基于合成思想，通過設定合理的優(yōu)化函數(shù)實現(xiàn)了各筆畫的風格遷移。將目標圖的顏色信息傳遞給結果圖，得到保留原圖顏色信息的結果圖。
[0060]實施例
[0061]下面根據(jù)實施例說明本發(fā)明的各個步驟。
[0062]步驟(I)，對用戶輸入的目標圖像進行圖像分割。
[0063]對圖3b所示的輸入目標圖像，本實施例釆用文獻5 Limj Joseph J.，C.Lawrence Zitnickj and P1tr Dollar."Sketch tokens: A learned mid-levelrepresentat1n for contour and object detect1n."Computer Vis1n and PatternRecognit1n(CVPR)，2013 IEEE Conference on.1EEE, 2013.提出的方法對目標圖像進行圖像分割。
[0064]步驟(2)，根據(jù)步驟⑴的分割結果，對分割后的目標圖像的各區(qū)域進行筆畫設置。
[0065]本實施例根據(jù)目標圖像的分割結果，在各區(qū)域邊界以及區(qū)域內(nèi)鋪設了相應筆畫。本實施例定義筆畫為S，將其設為沿區(qū)域紋理走向Θ所確定的具有一定弧度的曲線，同時該曲線還具有一定寬度W、長度I以及相應的紋理信息t?？蓪⒛M的相應筆畫定義為如下形式 S= ( Θ，W，1，t)。
[0066]步驟(21)根據(jù)目標圖像的圖像分割結果和求得的各區(qū)域的輪廓情況，對區(qū)域邊界筆畫進行設置。
[0067]本實施例對目標圖像進行區(qū)域分割后，根據(jù)求得的各區(qū)域的輪廓情況可以設置筆畫的各個屬性值。
[0068]步驟(211)設置區(qū)域邊界筆畫方向。
[0069]本實施例采用sketch tokens分割方法對目標圖像進行區(qū)域分割，易求得各區(qū)域的輪廓情況，因此將邊界筆畫方向Θ設為所求區(qū)域輪廓走向。
[0070]步驟(212)設置區(qū)域邊界筆畫寬度。
[0071]本實施例筆畫寬度w將根據(jù)用戶需求進行設定，本文通過實驗將邊界筆畫寬度設為5-6像素，因為筆畫寬度選取太小將不利于筆畫合成，選取太大則會使邊界過于明顯，整體效果將不協(xié)調(diào)。
[0072]步驟(213)設置區(qū)域邊界筆畫長度。
[0073]本實施例筆畫長度I為區(qū)域輪廓長度。
[0074]步驟(22)根據(jù)目標圖像的圖像分割結果和求得的各區(qū)域的輪廓情況，對區(qū)域內(nèi)部筆畫進行設置。
[0075]本實施例還需設置區(qū)域內(nèi)部的筆畫信息，同樣需設置筆畫方向Θ、筆畫寬度w以及筆畫長度I等信息。
[0076]步驟(221)設置區(qū)域內(nèi)部筆畫方向。
[0077]本實施例借助所求得的矢量場方向Θ來設置筆畫方向。對掃描線進行一定的形變，增加曲線模擬的控制點，進而通過3次B樣條擬合來模擬藝術家繪制時候線條的自然弧度。
[0078]步驟(222)設置區(qū)域內(nèi)部筆畫寬度。
[0079]原理上用戶可以設定任意寬度的筆畫，但由于所設定的筆畫寬度，將影響各區(qū)域內(nèi)的筆畫覆蓋情況以及后續(xù)的筆畫遷移合成計算。如筆畫寬度過小則各區(qū)域覆蓋筆畫將過多，這不利于后續(xù)基于樣圖的筆畫遷移合成計算；如筆畫寬度過大則各區(qū)域覆蓋筆畫將過少，這將導致后續(xù)基于樣圖的筆畫遷移合成結果的隨機性降低。本實施例將筆畫寬度w設定為14-20像素之間。
[0080]步驟(223)設置區(qū)域內(nèi)部筆畫長度。
[0081]本實施例筆畫的長度與所需覆蓋的區(qū)域相關，當利用上述筆畫方向來確定生成筆畫走向后，所擬合的形變掃描線將不能超過所需覆蓋的區(qū)域邊界，因此在區(qū)域內(nèi)的擬合曲線長度I既為當前筆畫的長度。
[0082]步驟(3)用戶在如圖3a所示的樣本圖像中選擇不同的區(qū)域作為輸入并進行基于筆畫的遷移合成。首先對輸入的樣本圖像進行特征分析，以獲得高層風格信息，然后基于所求特征，沿所求得的各空筆畫曲線進行優(yōu)化合成。
[0083]步驟(31)，對選定的樣本進行高層特征的分析，分析選定樣本的筆畫走向、紋理特征以及顏色特征等。
[0084]很多風格的形成與筆畫走向、紋理特征以及顏色特征這些高層特征相關，合理利用這些高層特征將能更好的表達樣圖原有風格。本實施例在進行筆畫遷移合成前，對選定的樣本進行了高層特征的分析。
[0085]步驟(32)，基于不規(guī)則四邊形對空筆畫進行優(yōu)化遷移合成。
[0086]步驟(321)，根據(jù)已求得的筆畫寬度和長度等信息，將各待合成的空筆畫分割為多個不規(guī)則的四邊形。
[0087]步驟(322)，構建合成優(yōu)化函數(shù)，根據(jù)選定樣本的筆畫走向、紋理特征以及顏色特征為每個四邊形在樣本圖像上尋找匹配的四邊形，將搜索匹配問題轉(zhuǎn)化為一致性衡量問題。
[0088]步驟(323)，根據(jù)相似塊偏移量統(tǒng)計思想，優(yōu)化步驟(322)。
[0089]本實施例將各待合成的空筆畫如圖1所示分割為一些不規(guī)則的四邊形，圖1為當前待合成空筆畫S,我們知道該筆畫的方向為Θ，寬度為w,長度為I ;我們很容易求得S延筆畫方向Θ內(nèi)外二條輪廓線T和B，延內(nèi)外二條輪廓線等距離采樣，便可將待合成空筆畫S分割成多個小四邊形，設所分割的四邊形為Pi，則其坐標可定義為((Txi，Tyi), (Bxi,Byi), (Txi+1, Tyi+1), (Bxi+1, Byi+1)),其中(Xi = i, Yi = i} o
[0090]為保持原樣本的連續(xù)性，本實施例采用類似于紋理合成思想，要求塊與塊之間具有一定的重疊，為便于后續(xù)的匹配搜索，通過相鄰四邊形邊界來確定重疊區(qū)域，以相鄰塊之間的邊界為對角線生成連接二個小四邊形的三角形Box，首先，由于已知分割所得各四邊形的坐標信息，則很容易求得當三角形Box的坐標；另外，該三角形連接二個四邊形，通過其進行匹配搜索將能保持合成區(qū)域的連續(xù)性。搜素匹配過程可以看作為一致性衡量(coherence measure)問題,可將當前筆畫求取的能量方程定義為
「00911 “(vhere = [ mil! j--/?| |
L JIrtV6S(I)
[0092]其中，S為步驟(32)中定義的空筆畫，Ω為用戶選定的樣本區(qū)域，Box為連接相鄰四邊形的三角區(qū)域，R為在Ω內(nèi)搜索到的與Box的匹配區(qū)域。
[0093]有了上述能量方程，可以采用多種方法對其進行優(yōu)化。本實施例利用塊偏移思想能很好解決上述問題，只用少量的塊偏移就可以反映出圖像的特征分布情況，所以可以用來實現(xiàn)本文的匹配遷移過程。本實施例結合需解決問題的特點，進行改進，可將優(yōu)化后的能量方程定義為γππγμ? ^cohere =niiU |.βο,\ (A ) ^ (X + <\f f Al
[0094]￡Ts0.tfseteil^
[0095]其中，S為步驟(32)中定義的空筆畫，Ω為用戶選定的樣本區(qū)域，offset為偏移量，Offseti是Box (X)和其最優(yōu)匹配塊Box (X+offSeti)之間的偏移量，Box (X)為中心在X，大小為3*3的塊。
[0096]在定義該能量方程后，本實施例為對于每個Box的最優(yōu)匹配塊將根據(jù)偏移量分布情況在用戶選定的樣本中獲得。另外，根據(jù)所求得的每個Box坐標以及要合成四邊形坐標之間的關系，能夠很容易確定最終四邊形區(qū)域內(nèi)的信息。各四邊形合成完畢后，就可以獲得完整的筆畫傳遞結果。完成所有筆畫的遷移合成結果如圖4所示。
[0097]步驟(4)將目標圖的顏色信息傳遞給結果圖，得到保留原圖顏色信息的結果圖。
[0098]本實施例采用的顏色信息為樣圖中原有的信息，所以遷移后的圖片將不具有原圖的顏色信息，而為了表現(xiàn)原圖的顏色信息，我們還需將顏色進行遷移，顏色傳遞具體步驟如下:
[0099]步驟(41)，根據(jù)全局色彩傳遞方法，將目標圖像的顏色信息傳遞給結果圖像，得到保留原圖顏色信息的結果圖像如圖5所示。
[0100]全局色彩傳遞方法為將目標圖的整體顏色統(tǒng)計信息傳輸至結果圖，達到改變結果圖色彩的目的。本實施中，首先計算目標圖和結果圖各個通道的均值，目標圖和結果圖的標準差；然后從目標圖中移走均值，將剩余部分按照標準差的比值縮放，最后加入結果圖的均值得到保留原圖顏色信息的結果圖像。
[0101]下面將具體介紹算法每步的細節(jié):
[0102]匹配搜索過程。本實施例合成過程相當于為每個四邊形在樣本圖像上尋找匹配的四邊形。由于待合成的筆畫為曲線為了在保持紋理連續(xù)的前提下，獲得與目標圖原紋理方向一致的繪制筆畫，需在每合成一個四邊形時，將所選取的樣本筆畫延目標圖像的紋理走向進行旋轉(zhuǎn)，以保持樣本筆畫走向與筆畫曲線走向一致。對于當前要合成的四邊形Pi，我們首先計算所求得的筆畫走向與水平方向的夾角，記為CIi ;然后為使樣本筆畫隨該角度進行旋轉(zhuǎn)變化，我們還需求取樣本筆畫紋理走向與水平線的傾斜角度β，該角度為樣本筆畫在原樣圖中最初方向與水平線的夾角；最后為使樣本筆畫走向與筆畫曲線走向一致，我們將樣本筆畫以右上角為旋轉(zhuǎn)中心按逆時針旋轉(zhuǎn)(α「β)度，該旋轉(zhuǎn)后的樣本即為當前待合成四邊形Pi接下來要完成匹配搜索的樣本。我們對曲率變化比較大的筆畫，為獲得符合視覺效果的結構，對每一待合成四邊形都需進行上述操作。
[0103]相似塊偏移量統(tǒng)計。相似塊偏移量統(tǒng)計基本思想為:先通過基于一定大小塊來全局搜索各塊匹配情況，再統(tǒng)計匹配塊之間的偏移情況，最后利用這些塊偏移量完成快速的圖像修復。因為他們通過大量實驗證明圖像中的塊偏移具有稀疏特性，并且用來求取偏移量的塊大小不影響最終所獲得的偏移量分布，另外只用少量的塊偏移就可以反映出圖像的特征分布情況，所以可以用來實現(xiàn)本實施例的匹配遷移過程。原方法求取各塊之間的匹配時只采用每塊中所包含像素點的顏色信息進行計算，對樣圖風格影響因素不僅包括顏色信息，還包括方向、紋理等高層信息，本實施例在塊匹配搜索過程中考慮上述二個因素，進行了如下改進:搜索方向為在用戶選定樣本上所求得的矢量場方向；求取塊之間匹配程度時，將所求的各像素點的紋理特征作為一維特征與顏色特征一起參與計算。
[0104]形成筆畫遷移合成結果。在實際的合成過程中，還需注意以下二點。I)遷移合成目標圖像邊界筆畫時，當邊界為封閉曲線，所以在遷移合成筆畫最后一個四邊形時，我們采用2個Box來確定當前四邊形區(qū)域內(nèi)信息，本實施例將根據(jù)最后四邊形左右二條邊來設定相應的Box，并利用其進行搜素。2)遷移合成目標圖像區(qū)域筆畫時，采用從左向右、從上到下的合成順序來合成筆畫，為了保持筆畫的連續(xù)性，在遷移合成中間筆畫時，也要采用2個Box來確定當前四邊形區(qū)域內(nèi)信息，即當前合成區(qū)域信息要由與其相鄰的已合成完二個區(qū)域信息來確定。合成四邊形區(qū)域時，本實施例將利用該四邊形的上邊界和左邊界來確定對應的Box，進行匹配搜索。
[0105]本發(fā)明提供了一種基于筆畫合成的圖像風格遷移合成方法，具體實現(xiàn)該技術方案的方法和途徑很多，以上所述僅是本發(fā)明的優(yōu)選實施方式，應當指出，對于本【技術領域】的普通技術人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發(fā)明的保護范圍。本實施例中未明確的各組成部分均可用現(xiàn)有技術加以實現(xiàn)。
【權利要求】
1.一種基于筆畫合成的圖像風格遷移合成方法，其特征在于，包括以下步驟: 步驟(I)，對用戶輸入的目標圖像進行圖像分割，得到一組圖像區(qū)域； 步驟(2)，根據(jù)步驟(I)的圖像區(qū)域，對分割后的目標圖像的各區(qū)域進行筆畫設置；步驟(3)，對樣本圖像進行特征分析，進行基于不規(guī)則四邊形的筆畫遷移合成得到結果圖像； 步驟(4)，將目標圖的顏色信息傳遞給結果圖，得到保留原圖顏色信息的結果圖。
2.根據(jù)權利要求1所述的一種基于筆畫合成的圖像風格遷移合成方法，其特征在于， 步驟(2)中具體步驟為: 步驟(21)，根據(jù)目標圖像的各區(qū)域和各區(qū)域的區(qū)域邊界，對區(qū)域邊界筆畫進行設置； 步驟(211)，用戶設置區(qū)域邊界筆畫方向； 步驟(212)，用戶設置區(qū)域邊界筆畫寬度； 步驟(213)，用戶設置區(qū)域邊界筆畫長度； 步驟(22)，根據(jù)目標圖像的圖像分割結果和求得的各區(qū)域的輪廓情況，對區(qū)域內(nèi)部筆畫進行設置； 步驟(221)，用戶設置區(qū)域內(nèi)部筆畫方向； 步驟(222)，用戶設置區(qū)域內(nèi)部筆畫寬度； 步驟(223)，用戶設置區(qū)域內(nèi)部筆畫長度。
3.根據(jù)權利要求2所述的一種基于筆畫合成的圖像風格遷移合成方法，其特征在于，步驟(3)中，用戶選擇不同的區(qū)域作為輸入并進行基于筆畫的遷移合成；首先對輸入的樣本圖像進行特征分析，以獲得高層風格特征，然后將待合成的空筆畫分割為多個不規(guī)則的四邊形，利用所得高層風格特征將筆畫遷移合成問題轉(zhuǎn)化為各四邊形的在樣圖中的匹配搜索問題，建立一個一致性衡量問題的能量方程，并根據(jù)相似塊偏移量統(tǒng)計方法優(yōu)化此能量方程，求解出能量最小值，以完成各空筆畫的優(yōu)化合成，具體步驟為: 步驟(31)，對樣本圖像進行高層特征的分析，分析選定樣本的筆畫走向、紋理特征以及顏色特征； 步驟(32)，基于不規(guī)則四邊形對空筆畫進行優(yōu)化遷移合成； 步驟(321)，根據(jù)步驟(2)得到的筆畫寬度和長度，將各待合成的空筆畫分割為兩個以上不規(guī)則的四邊形； 步驟(322)，構建合成優(yōu)化函數(shù)，根據(jù)樣本圖像的筆畫走向、紋理特征以及顏色特征為每個四邊形在樣本圖像上尋找匹配的四邊形，將搜索匹配問題作為一致性衡量問題處理；所述能量方程為:
(ivahere = ￡ mill !|Λ?ν -1?| |2
UrtVGS^fcil， 其中，為一致性衡量的量度值，S為步驟(321)中定義的空筆畫，Ω為用戶選定的樣本圖像區(qū)域，Box為連接相鄰四邊形的三角區(qū)域，R為在Ω內(nèi)搜索到的與Box的匹配區(qū)域； 步驟(323)，根據(jù)相似塊偏移量統(tǒng)計方法，優(yōu)化步驟(322)中能量方程； 所述優(yōu)化能量方程為:
^cohere = Tl mm 1 \B<niX ) _ Bd\(X + "/7—ΛΠ/)|Γ
Χ€5ο/ρα￡￡?.--., 其中，offset為偏移量，Offseti是第i個三角區(qū)域Box(X)和其最優(yōu)匹配區(qū)域Box (X+offSeti)之間的偏移量，Box (X)為中心在坐標X，大小為3*3的三角區(qū)域； 對所有設定的空筆畫采用上述步驟優(yōu)化合成后，便完成目標圖像的風格遷移，得到結果圖像。
4.根據(jù)權利要求3所述的一種基于筆畫合成的圖像風格遷移合成方法，其特征在于，步驟⑷包括以下步驟: 步驟(41)，根據(jù)全局色彩傳遞方法，將目標圖像的顏色信息傳遞給結果圖像，得到保留原圖顏色信息的結果圖像。
【文檔編號】G06K9/00GK104239855SQ201410446767
【公開日】2014年12月24日 申請日期:2014年9月3日 優(yōu)先權日:2014年9月3日
【發(fā)明者】張巖, 繆崢, 鄭智斌, 孫正興 申請人:南京大學