本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，更具體地，涉及一種圖像的風(fēng)格化重建方法及裝置。

背景技術(shù)：

目前，隨著真實圖像的模擬技術(shù)的日益成熟，非真實感渲染圖像的模擬也開始受到各方學(xué)者的關(guān)注。

圖像的風(fēng)格化處理屬于非真實感圖像渲染(non-photorealisticrendering,npr)范疇，是指通過計算機(jī)技術(shù)將一張普通的圖像處理成具有不同風(fēng)格的圖像，近十幾年更是引起了廣泛關(guān)注和應(yīng)用，例如油畫、水彩畫、卡通、素描等。

一直以來，有許多學(xué)者試圖將圖像樣式從一個圖像轉(zhuǎn)移到另一個圖像，但是存在紋理傳輸問題。而對于這種紋理合成，需要使用強(qiáng)大的非參的算法，雖然這些算法獲得了顯著的結(jié)果，但是仍然存在一個基本的限制：僅使用目標(biāo)圖像的低級圖像特征來影響紋理傳輸，得到的目標(biāo)圖像看上去像是兩個圖像的內(nèi)容結(jié)合，而不是風(fēng)格的遷移。另外，現(xiàn)有的圖像風(fēng)格化重建方法只能將某種特定風(fēng)格的圖像重建為另一種特定風(fēng)格的圖像，圖像重建的通用性較差。

技術(shù)實現(xiàn)要素：

本發(fā)明提供一種克服上述問題或者至少部分地解決上述問題的圖像的風(fēng)格化重建方法及裝置。

根據(jù)本發(fā)明的一個方面，提供一種圖像的風(fēng)格化重建方法，包括：

s1，基于多對相同場景的源風(fēng)格圖像，提取每一個源風(fēng)格圖像的不同種類的風(fēng)格特征數(shù)據(jù)形成第一風(fēng)格特征圖，以獲得第一風(fēng)格特征圖集合；

基于一個待處理圖像，利用卷積神經(jīng)網(wǎng)絡(luò)vgg-19獲得第一內(nèi)容特征圖集合；

s2，基于所述第一風(fēng)格特征圖集合、所述第一內(nèi)容特征圖集合及隨機(jī)給定的噪聲圖，利用卷積神經(jīng)網(wǎng)絡(luò)vgg-19獲得所述待處理圖像的風(fēng)格化圖像。

根據(jù)本發(fā)明的另一個方面，還提供一種圖像的風(fēng)格化重建裝置，包括特征模塊和輸出模塊；

所述特征模塊，用于基于多對相同場景的源風(fēng)格圖像，提取每一個源風(fēng)格圖像的不同種類的風(fēng)格特征數(shù)據(jù)形成第一風(fēng)格特征圖，以獲得第一風(fēng)格特征圖集合；基于一個待處理圖像，利用卷積神經(jīng)網(wǎng)絡(luò)vgg-19獲得第一內(nèi)容特征圖集合；

所述輸出模塊，基于所述第一風(fēng)格特征圖集合、所述第一內(nèi)容特征圖集合及隨機(jī)給定的噪聲圖，利用卷積神經(jīng)網(wǎng)絡(luò)vgg-19獲得所述待處理圖像的風(fēng)格化圖像

本發(fā)明提出一種圖像的風(fēng)格化重建方法及裝置，通過采集源風(fēng)格圖像的特征數(shù)據(jù)和待處理圖像的內(nèi)容數(shù)據(jù)，并通過隨機(jī)給定的噪聲圖進(jìn)行迭代處理，獲得風(fēng)格和內(nèi)容相融合的風(fēng)格化圖像。本發(fā)明所生成的風(fēng)格化圖像不同于傳統(tǒng)的真實感圖像，而更在于一種藝術(shù)模擬，可以運(yùn)用在旅游景區(qū)中，游客可以將所在遺址的照片與藝術(shù)文化相結(jié)合，生成各種藝術(shù)風(fēng)格的圖像，增加旅游中的樂趣，更多地吸引游客。

附圖說明

圖1為本發(fā)明實施例一種圖像的風(fēng)格化重建方法流程圖；

圖2為本發(fā)明實施例提取風(fēng)格特征和內(nèi)容特征并輸出風(fēng)格圖像的流程示意圖。

具體實施方式

下面結(jié)合附圖和實施例，對本發(fā)明的具體實施方式作進(jìn)一步詳細(xì)描述。以下實施例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。

如圖1所示，一種圖像的風(fēng)格化重建方法，包括：

s1，基于多對相同場景的源風(fēng)格圖像，提取每一個源風(fēng)格圖像的不同種類的風(fēng)格特征數(shù)據(jù)形成第一風(fēng)格特征圖，以獲得第一風(fēng)格特征圖集合；

基于一個待處理圖像，利用卷積神經(jīng)網(wǎng)絡(luò)vgg-19獲取第一內(nèi)容特征圖集合；

s2，基于所述第一風(fēng)格特征圖集合、所述第一內(nèi)容特征圖集合及隨機(jī)給定的噪聲圖，利用卷積神經(jīng)網(wǎng)絡(luò)vgg-19獲得所述待處理圖像的風(fēng)格化圖像。

本實施例提出一種圖像的風(fēng)格化重建方法及裝置，通過采集源風(fēng)格圖像的特征數(shù)據(jù)和待處理圖像的內(nèi)容數(shù)據(jù)，并通過隨機(jī)給定的噪聲圖進(jìn)行迭代處理，獲得風(fēng)格和內(nèi)容相融合的風(fēng)格化圖像。本發(fā)明所生成的風(fēng)格化圖像不同于傳統(tǒng)的真實感圖像，而更在于一種藝術(shù)模擬，可以運(yùn)用在旅游景區(qū)中，游客可以將所在遺址的照片與藝術(shù)文化相結(jié)合，生成各種藝術(shù)風(fēng)格的圖像，增加旅游中的樂趣，更多地吸引游客。

卷積神經(jīng)網(wǎng)絡(luò)(convolutionalneuralnetwork,cnn)是一種前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元，對于大型圖像處理有出色表現(xiàn)。它包括卷積層(alternatingconvolutionallayer)和池層(poolinglayer)。vgg-19是一種深度卷積神經(jīng)網(wǎng)絡(luò)模型，19表示其深度，將訓(xùn)好的模型都在caffe里面可以直接用。

而隨著深層卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，它已經(jīng)產(chǎn)生了強(qiáng)大的計算機(jī)視覺系統(tǒng)，能夠從自然圖像提取出高級的語義信息。這表明可以利用卷積神經(jīng)網(wǎng)絡(luò)來克服前人工作上的不足，利用高級圖像特征來影響紋理傳輸。

具體的，s1中所述不同種類的風(fēng)格特征數(shù)據(jù)包括：顏色變化特征、線條輪廓特征和紋理特征中的至少一種。

提取有效的風(fēng)格特征來描述圖像的藝術(shù)風(fēng)格，是藝術(shù)風(fēng)格研究的一個重要組成部分。對于源風(fēng)格圖像進(jìn)行風(fēng)格特征提取，得到能夠代表該類圖像的風(fēng)格特征，不同的特征具有不同的區(qū)分能力。

本實施例中不同的源風(fēng)格圖像的可以提取不同的風(fēng)格特征數(shù)據(jù)，根據(jù)源風(fēng)格圖像的不同和具體應(yīng)用的需要，可按需提取。本實施例僅以卡通圖像為例來說明，當(dāng)卡通圖像作為源風(fēng)格圖像時，可以提取顏色變化特征和線條輪廓特征。由于卡通圖像通常有比較急劇的明暗對比度，即顏色變化比較劇烈，那么可以提取卡通數(shù)據(jù)集的顏色特征作為卡通圖的一個風(fēng)格特征；另一方面，卡通圖像一般具有比較明顯的邊緣黑線，即有較強(qiáng)的明顯的輪廓感，那么可以提取卡通數(shù)據(jù)集的輪廓線作為卡通圖的另一個風(fēng)格特征。

在一個實施例中，s1中所述獲得第一風(fēng)格特征圖集合具體包括：

基于一個源風(fēng)格圖像，進(jìn)行二值化處理后得到二值化風(fēng)格圖像；從所述二值化風(fēng)格圖像上提取不同種類的風(fēng)格特征數(shù)據(jù)，利用所述風(fēng)格特征數(shù)據(jù)生成第一風(fēng)格特征圖；

基于多對相同場景的源風(fēng)格圖像，生成多個第一風(fēng)格特征圖，獲得第一風(fēng)格特征圖集合a。

本實施例對源風(fēng)格圖像的風(fēng)格特征數(shù)據(jù)不是通過卷積神經(jīng)網(wǎng)絡(luò)來提取，而是通過本實施例方法提取后生成風(fēng)格特征圖集合來供卷積神經(jīng)網(wǎng)絡(luò)進(jìn)一步使用。

本實施例中對一個源風(fēng)格圖像提取不同種類的風(fēng)格特征數(shù)據(jù)，包括顏色變化特征、線條輪廓特征和紋理特征中至少一種；通過一個源風(fēng)格圖像提取風(fēng)格特征后生成一個風(fēng)格特征圖。針對多對相同場景的源風(fēng)格圖像，按照本實施例處理一個源風(fēng)格圖像的方法分別進(jìn)行處理，獲得多個風(fēng)格特征圖，對這些風(fēng)格特征圖進(jìn)行組合后得到風(fēng)格特征圖集合，即第一風(fēng)格特征圖集合a。

在一個實施例中，s1中所述獲得第一內(nèi)容特征圖集合具體包括：

將所述待處理圖像輸入卷積神經(jīng)網(wǎng)絡(luò)vgg-19，獲取多個卷積層的第一特征圖；

基于所述多個卷積層的第一特征圖，進(jìn)行組合后得到第一內(nèi)容特征圖集合。

卷積神經(jīng)網(wǎng)絡(luò)是今年來興起的一種人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)理論相結(jié)合的模式識別方法。起初，卷積神經(jīng)網(wǎng)絡(luò)用于手寫數(shù)字的識別，隨后，國內(nèi)外研究者提出多種卷積神經(jīng)網(wǎng)絡(luò)形式，目前已經(jīng)成為圖像處理領(lǐng)域中的研究熱點之一。

本實施例中待處理圖像的內(nèi)容特征數(shù)據(jù)通過卷積神經(jīng)網(wǎng)絡(luò)vgg-19獲取。待處理圖像經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)vgg-19后，在每一個卷積層都得到一個特征圖，則多個卷積層可以得到多個特征圖，這些特征圖組合后得到第一內(nèi)容特征圖集合p。

如圖2所示，在一個實施例中，所述s2進(jìn)一步包括：

s2.1，將所述隨機(jī)給定的噪聲圖輸入卷積神經(jīng)網(wǎng)絡(luò)vgg-19，獲得多個卷積層的第二特征圖；基于所述多個卷積層的第二特征圖，提取風(fēng)格特征數(shù)據(jù)和內(nèi)容特征數(shù)據(jù)，獲取第二風(fēng)格特征圖集合和第二內(nèi)容特征圖集合；

s2.2，基于所述第一風(fēng)格特征圖集合、所述第一內(nèi)容特征圖集合、第二風(fēng)格特征圖集合和第二內(nèi)容特征圖集合，利用下式獲取風(fēng)格內(nèi)容總損失函數(shù)：

totalloss＝loss(a-g)+loss(p-f)，

其中，a為第一風(fēng)格特征圖集合，g為第二風(fēng)格特征圖集合，p為第一內(nèi)容特征圖集合，f為第二內(nèi)容特征圖集合；

s2.3，基于所述風(fēng)格內(nèi)容總損失函數(shù)，生成所述待處理圖像的風(fēng)格圖像，并利用所述隨機(jī)給定的噪聲圖進(jìn)行輸出。

本實施例中，優(yōu)化目標(biāo)為風(fēng)格內(nèi)容總損失函數(shù)，所述風(fēng)格內(nèi)容總損失函數(shù)由風(fēng)格損失、內(nèi)容損失構(gòu)成。圖像風(fēng)格化的核心是優(yōu)化一張噪聲圖像，最后使得隨機(jī)噪聲圖像x既保持普通圖像的內(nèi)容，又有一定的風(fēng)格圖像的風(fēng)格。

所述風(fēng)格是指所述源風(fēng)格圖像的風(fēng)格特征，所述內(nèi)容是指所述待處理圖像的內(nèi)容特征，通過二者的疊加融合形成一個具有風(fēng)格的圖像；所述隨機(jī)給定的噪聲圖作為待優(yōu)化圖片，用來迭代優(yōu)化，同時又是最后輸出的圖像。

在一個實施例中，基于風(fēng)格內(nèi)容總損失函數(shù)，設(shè)置配置參數(shù)α和β，通過下式調(diào)節(jié)輸出圖像中內(nèi)容和風(fēng)格的比例：

totalloss＝αloss(a-g)+βloss(p-f)，

其中，a為第一風(fēng)格特征圖集合，g為第二風(fēng)格特征圖集合，p為第一內(nèi)容特征圖集合，f為第二內(nèi)容特征圖集合。

本實施例中，通過配置參數(shù)α和β調(diào)節(jié)風(fēng)格內(nèi)容總損失函數(shù)，以調(diào)節(jié)輸出圖像中內(nèi)容和風(fēng)格的比例，即輸出圖像是偏內(nèi)容多一些還是偏風(fēng)格多一些。

在一個實施例中，所述線條輪廓特征通過以下方法獲?。?/p>

對所述源風(fēng)格圖像進(jìn)行灰度處理，獲得灰度圖；

基于所述灰度圖，利用高斯濾波器進(jìn)行平滑處理，獲得平滑圖像；

利用一階偏導(dǎo)有限差分計算所述平滑圖像的邊緣的梯度幅值和方向，對所述梯度幅值進(jìn)行非極大值抑制；基于所述梯度幅值和方向，利用雙閾值算法檢測邊緣，并連接邊緣，獲得線條輪廓特征。

常用的邊緣檢測算子包括robert、prewitt、sobel、laplacian、canny和log等方法。本實施例以卡通圖像為例，一般具有比較明顯的邊緣黑線，即有較強(qiáng)的明顯的輪廓感，可以采用canny邊緣檢測作為源風(fēng)格圖像的輪廓提取方法，通過灰度處理，平滑處理邊緣檢測，通過這樣的處理可以提取源風(fēng)格圖像的線條輪廓。

在邊緣檢測中，選擇兩個閾值，根據(jù)高閾值得到一個邊緣圖像，這樣一個圖像含有很少的假邊緣，但是由于閾值較高，產(chǎn)生的圖像邊緣可能不閉合，為解決這樣一個問題又采用了一個低閾值。

在一個實施例中，利用下式進(jìn)行所述灰度處理：

gray＝(r+g+b)/3，

其中，r、g和b分別為紅色通道、綠色通道和藍(lán)色通道的值，gray為處理后的灰度值。

本發(fā)明實施例卷積神經(jīng)網(wǎng)絡(luò)vgg-19處理是灰度圖像，當(dāng)源風(fēng)格圖像為彩色圖像時，需要對彩色圖像進(jìn)行灰度處理。對一幅彩色圖進(jìn)行灰度化，就是根據(jù)圖像各個通道的采樣值進(jìn)行加權(quán)平均。本實施例以rgb格式的彩圖為例給出了一張灰度化的方法。

在一個實施例中，利用兩個一維高斯核分別兩次加權(quán)實現(xiàn)所述高斯濾波器，或者利用一個二維高斯核一次卷積實現(xiàn)所述高斯濾波器；

所述一維高斯核為確定參數(shù)的一維高斯核函數(shù)，所述一維高斯核函數(shù)通過下式表示：

所述二維高斯核為確定參數(shù)的二維高斯核函數(shù)，所述二維高斯核函數(shù)通過下式表示：

在一個實施例中，根據(jù)圖像灰度值獲取圖像邊緣梯度可使用一階有限差分來進(jìn)行近似，這樣就可以得圖像在x和y方向上偏導(dǎo)數(shù)的兩個矩陣。

canny算法中所采用的卷積算子表達(dá)如下：

本發(fā)明還提供一種圖像的風(fēng)格化重建裝置，包括特征模塊和輸出模塊；

所述特征模塊，用于基于多對相同場景的源風(fēng)格圖像，提取每一個源風(fēng)格圖像的不同種類的風(fēng)格特征數(shù)據(jù)形成第一風(fēng)格特征圖，以獲得第一風(fēng)格特征圖集合；基于一個待處理圖像，利用卷積神經(jīng)網(wǎng)絡(luò)vgg-19獲得第一內(nèi)容特征圖集合；

所述輸出模塊，用于基于所述第一風(fēng)格特征圖集合、所述第一內(nèi)容特征圖集合及隨機(jī)給定的噪聲圖，利用卷積神經(jīng)網(wǎng)絡(luò)vgg-19獲得所述待處理圖像的風(fēng)格化圖像。

本發(fā)明提出了一種圖像的風(fēng)格化重建方法，關(guān)于風(fēng)格特征，可以根據(jù)需要形成多種不同的風(fēng)格形式，比如素描、水墨畫、油畫等，具體實現(xiàn)該技術(shù)方案的方法和途徑有很多；通過采集源風(fēng)格圖像的特征數(shù)據(jù)和待處理圖像的內(nèi)容數(shù)據(jù)，并通過隨機(jī)給定的噪聲圖進(jìn)行迭代處理，獲得風(fēng)格和內(nèi)容相融合的風(fēng)格化圖像。

本發(fā)明采用風(fēng)格特征提取和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，使得最終生成的圖像可以有選擇性的更偏向風(fēng)格還是內(nèi)容，具有很高的靈活性。本發(fā)明所生成的風(fēng)格化圖像不同于傳統(tǒng)的真實感圖像，而更在于一種藝術(shù)模擬，可以運(yùn)用在旅游景區(qū)中，游客可以將所在遺址的照片與藝術(shù)文化相結(jié)合，生成各種藝術(shù)風(fēng)格的圖像，增加旅游中的樂趣，更多地吸引游客。

最后，本發(fā)明的方法僅為較佳的實施方案，并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。