本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種圖像風(fēng)格化重建方法及裝置。

背景技術(shù)：

隨著科技的發(fā)展，人們可以用于圖像采集的設(shè)備越來(lái)越多樣化，對(duì)圖像本身的表現(xiàn)形式的需求也越來(lái)越多樣化。例如，在司法取證過(guò)程中需要把多個(gè)嫌疑人的照片與畫(huà)家根據(jù)目擊證人描述畫(huà)出的素描圖像進(jìn)行比對(duì)以找出犯人，如果直接在素描圖像基礎(chǔ)上生成嫌疑人照片將大大提高疑犯識(shí)別效率；日常拍攝的圖像也常常需要轉(zhuǎn)換為油畫(huà)風(fēng)格的圖像以改善視覺(jué)效果。以上應(yīng)用都旨在實(shí)現(xiàn)圖像在不同表現(xiàn)形式之間的轉(zhuǎn)換，即圖像的風(fēng)格化重建。

圖像風(fēng)格化重建的任務(wù)是給定目標(biāo)域的圖像，如何將輸入圖像轉(zhuǎn)換為與目標(biāo)域一致的圖像。例如，給定一張素描圖像，如何將一張照片轉(zhuǎn)換為對(duì)應(yīng)的素描圖。由于不同域上圖像差異較大，即使是描述同一場(chǎng)景的圖像也同樣存在此差異，因此，如何挖掘不同域圖像的內(nèi)在聯(lián)系是圖像風(fēng)格化重建的關(guān)鍵問(wèn)題。

目前，利用稀疏表示來(lái)學(xué)習(xí)這種映射關(guān)系式近年來(lái)較為熱門(mén)的方法，它的基本模型是認(rèn)為自然信號(hào)(包括圖像)可以用一組事先定義的基信號(hào)(即字典)的線(xiàn)性組合緊致表達(dá)，其中線(xiàn)性系數(shù)是稀疏的，即系數(shù)中大多數(shù)元素為0。稀疏系數(shù)在滿(mǎn)約束條件的同時(shí)還需要非零元素的個(gè)數(shù)盡可能少，也就是需要盡可能稀疏，這是對(duì)圖像信號(hào)的先驗(yàn)約束。大多數(shù)現(xiàn)有算法依賴(lài)于從外部耦合數(shù)據(jù)庫(kù)學(xué)習(xí)不同域圖像的映射關(guān)系，例如，業(yè)內(nèi)人士提出可以事先分別訓(xùn)練對(duì)應(yīng)的高低分辨率的字典，將輸入的低分辨率圖像用低分辨率字典稀疏表示，然后將該稀疏 系數(shù)與對(duì)應(yīng)的高分辨率字典相乘即可得到高分辨率的圖像。現(xiàn)有已經(jīng)使用類(lèi)似的方法訓(xùn)練耦合字典從而解決圖像風(fēng)格轉(zhuǎn)換問(wèn)題。

然而，在實(shí)際應(yīng)用中，這樣的外部數(shù)據(jù)庫(kù)非常有限，更多的情況是沒(méi)有外部訓(xùn)練集的，即無(wú)源的，從而導(dǎo)致基于耦合數(shù)據(jù)庫(kù)的跨域重建方法不再適用。

為此，如何實(shí)現(xiàn)一種無(wú)源的圖像風(fēng)格化重建方法成為當(dāng)前急需解決的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明提供一種圖像風(fēng)格化重建方法及裝置，用以解決現(xiàn)有技術(shù)中圖像風(fēng)格化重建時(shí)無(wú)外部訓(xùn)練集的問(wèn)題。

第一方面，本發(fā)明提供一種圖像風(fēng)格化重建方法，包括：

獲取待轉(zhuǎn)換的輸入圖像的第一邊緣圖像，以及獲取預(yù)定的目標(biāo)風(fēng)格圖像的第二邊緣圖像；

將第一邊緣圖像劃分為r*r大小的第一圖像塊，以及將第二邊緣圖像劃分為r*r大小的第二圖像塊，r為大于1的自然數(shù)；

獲取第一邊緣圖像的每一第一圖像塊的相似圖像塊集合，該每一相似圖像塊集合中的元素為與該第一圖像塊相似的第二圖像塊；

根據(jù)所有的第一圖像塊，獲取輸入圖像字典以及稀疏分解的稀疏系數(shù)；

根據(jù)所有第一圖像塊對(duì)應(yīng)的相似圖像塊集合，獲取目標(biāo)圖像字典；

根據(jù)所述輸入圖像字典、目標(biāo)圖像字典、稀疏分解的稀疏系數(shù)，獲得重建出所述輸入圖像的目標(biāo)風(fēng)格的第三圖像；

采用紋理遷移方式，生成所述輸入圖像的初始化風(fēng)格圖像；

將所述第三圖像和所述初始化風(fēng)格圖像融合，得到用于輸出的所述輸入圖像的重建風(fēng)格化圖像。

可選地，所述獲取待轉(zhuǎn)換的輸入圖像的第一邊緣圖像，以及獲取預(yù)定的目標(biāo)風(fēng)格圖像的第二邊緣圖像，包括：

根據(jù)下述公式一，獲取所述輸入圖像的濾波輸出圖像以及所述目標(biāo)風(fēng)格圖像的濾波輸出圖像；

將所述輸入圖像減去所述輸入圖像的濾波輸出圖像，獲得所述第一邊緣圖像，以及將所述目標(biāo)風(fēng)格圖像減去所述目標(biāo)風(fēng)格圖像的濾波輸出圖像，獲得所述第二邊緣圖像；

其中，h_i＝Σ_jW_i,j(I)g_j 公式一

g為待濾波的圖像，h是濾波后的輸出圖像，I是引導(dǎo)圖像，輸出圖像中i位置的像素值h_i；i和j均為像素編號(hào)；W_i,j為核函數(shù)。

可選地，獲取第一邊緣圖像的每一第一圖像塊的相似圖像塊集合，包括：

根據(jù)下述公式二，確定所述第一邊緣圖像中每一第一圖像塊的相似圖像塊集合；

其中，$Diff(p,q)=\left|\right|p-q|{|}_2^2+\mathrm{\η}\·||\▿p-\▿q|{|}_2^2$ 公式二

Diff(p,q)表示p圖像塊和q圖像塊之間的相似性，p為所述第一邊緣圖像中的第一圖像塊的任一個(gè)，q為所述第二邊緣圖像中的第二圖像塊的任一個(gè)；是梯度算子，η為系統(tǒng)參數(shù)。

可選地，根據(jù)所有的第一圖像塊，獲取輸入圖像字典，包括：

根據(jù)公式三，獲取所述輸入圖像字典；

其中，$D_p=\arg {\min }_{D_p}{\{P-D_p\mathrm{\Γ}\}}_2^2+\mathrm{\λ}\·\left|\right|\mathrm{\Γ}|{|}_1,$ 公式三

根據(jù)所有第一圖像塊對(duì)應(yīng)的相似圖像塊集合，獲取目標(biāo)圖像字典，包括：

根據(jù)公式四，獲取所述目標(biāo)圖像字典；

其中，$D_q=\arg {\min }_{D_q}{\{Q-D_q\mathrm{\Γ}\}}_2^2+\mathrm{\λ}\·\left|\right|\mathrm{\Γ}|{|}_1,$ 公式四

D_p為輸入圖像字典，D_q為目標(biāo)圖像字典，P＝{p₁,p₂,…,p_n}為第一邊緣圖像X中第一圖像塊的集合，Q＝{q₁,q₂,…,q_n}為第二邊緣圖像Y中與P對(duì)應(yīng)的相似圖像塊的集合；Γ表示稀疏系數(shù)。

可選地，根據(jù)所述輸入圖像字典、目標(biāo)圖像字典、稀疏分解的稀疏系數(shù)，獲得重建出所述輸入圖像的目標(biāo)風(fēng)格的第三圖像，包括：

根據(jù)公式五，獲取所述第三圖像

其中，z＝D_qγ 公式五

z為組成所述第三圖像的圖像塊，D_q為目標(biāo)圖像字典，每一個(gè)圖像塊稀疏分解后的系數(shù)為γ。

可選地，將所述第三圖像和所述初始化風(fēng)格圖像融合，得到用于輸出的所述輸入圖像的重建風(fēng)格化圖像，包括：

根據(jù)公式六，獲取用于輸出的所述輸入圖像的重建風(fēng)格化圖像；

其中， 公式六；

z為組成所述第三圖像的圖像塊，z₀為初始化風(fēng)格圖像的圖像塊；α∈(0,1)為加權(quán)系數(shù)。

第二方面，本發(fā)明還提供一種圖像風(fēng)格化重建裝置，包括：

邊緣圖像獲取單元，用于獲取待轉(zhuǎn)換的輸入圖像的第一邊緣圖像，以及獲取預(yù)定的目標(biāo)風(fēng)格圖像的第二邊緣圖像；

圖像塊劃分單元，用于將第一邊緣圖像劃分為r*r大小的第一圖像塊，以及將第二邊緣圖像劃分為r*r大小的第二圖像塊，r為大于1的自然數(shù)；

相似圖像塊獲取單元，用于獲取第一邊緣圖像的每一第一圖像塊的相似圖像塊集合，該每一相似圖像塊集合中的元素為與該第一圖像塊相似的第二圖像塊；

字典獲取單元，用于根據(jù)所有的第一圖像塊，獲取輸入圖像字典以及稀疏分解的稀疏系數(shù)；以及根據(jù)所有第一圖像塊對(duì)應(yīng)的相似圖像塊集合，獲取目標(biāo)圖像字典；

第三圖像獲取單元，用于根據(jù)所述輸入圖像字典、目標(biāo)圖像字典、稀疏分解的稀疏系數(shù)，獲得重建出所述輸入圖像的目標(biāo)風(fēng)格的第三圖像；

初始化風(fēng)格圖像，用于采用紋理遷移方式，生成所述輸入圖像的初始化風(fēng)格圖像；

重建風(fēng)格化圖像獲取單元，用于將所述第三圖像和所述初始化風(fēng)格圖像融合，得到用于輸出的所述輸入圖像的重建風(fēng)格化圖像。

可選地，所述邊緣圖像獲取單元，具體用于：

根據(jù)下述公式一，獲取所述輸入圖像的濾波輸出圖像以及所述目標(biāo)風(fēng)格圖像的濾波輸出圖像；

將所述輸入圖像減去所述輸入圖像的濾波輸出圖像，獲得所述第一邊緣圖像，以及將所述目標(biāo)風(fēng)格圖像減去所述目標(biāo)風(fēng)格圖像的濾波輸出圖像，獲得所述第二邊緣圖像；

其中，h_i＝Σ_jW_i,j(I)g_j 公式一

g為待濾波的圖像，h是濾波后的輸出圖像，I是引導(dǎo)圖像，輸出圖像中i位置的像素值h_i；i和j均為像素編號(hào)；W_i,j為核函數(shù)。

可選地，相似圖像塊獲取單元，具體用于

根據(jù)下述公式二，確定所述第一邊緣圖像中每一第一圖像塊的相似圖像塊集合；

其中，$Diff(p,q)=\left|\right|p-q|{|}_2^2+\mathrm{\η}\·||\▿p-\▿q|{|}_2^2$ 公式二

Diff(p,q)表示p圖像塊和q圖像塊之間的相似性，p為所述第一邊緣圖像中的第一圖像塊的任一個(gè)，q為所述第二邊緣圖像中的第二圖像塊的任一個(gè)；是梯度算子，η為系統(tǒng)參數(shù)。

可選地，字典獲取單元，具體用于

根據(jù)公式三，獲取所述輸入圖像字典；

其中，$D_p=\arg {\min }_{D_p}{\{P-D_p\mathrm{\Γ}\}}_2^2+\mathrm{\λ}\·\left|\right|\mathrm{\Γ}|{|}_1,$ 公式三

根據(jù)所有第一圖像塊對(duì)應(yīng)的相似圖像塊集合，獲取目標(biāo)圖像字典，包括：

根據(jù)公式四，獲取所述目標(biāo)圖像字典；

其中，$D_q=\arg {\min }_{D_q}{\{Q-D_q\mathrm{\Γ}\}}_2^2+\mathrm{\λ}\·\left|\right|\mathrm{\Γ}|{|}_1,$ 公式四

D_p為輸入圖像字典，D_q為目標(biāo)圖像字典，P＝{p₁,p₂,…,p_n}為第一邊緣圖像X中第一圖像塊的集合，Q＝{q₁,q₂,…,q_n}為第二邊緣圖像Y中與P對(duì)應(yīng)的相似圖像塊的集合；Γ表示稀疏系數(shù)。

由上述技術(shù)方案可知，本發(fā)明的圖像風(fēng)格化重建方法及裝置，輸入圖像和目標(biāo)風(fēng)格圖像建立圖像字典，進(jìn)而獲取輸出的所述輸入圖像的重建風(fēng)格化圖像，該方法無(wú)需使用外部數(shù)據(jù)庫(kù)，在稀疏表示的基礎(chǔ)上獲取風(fēng)格化重建圖像，提高了圖像風(fēng)格化重建的性能并擴(kuò)展了應(yīng)用范圍。

附圖說(shuō)明

通過(guò)閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的，而并不認(rèn)為是對(duì)本發(fā)明的限制。而且在整個(gè)附圖中，用相同的參考符號(hào)表示相同的部件。在附圖中：

圖1為本發(fā)明一實(shí)施例提供的圖像風(fēng)格化重建方法的流程示意 圖；

圖2為本發(fā)明一實(shí)施例提供的圖像風(fēng)格化重建方法的示意圖；

圖3為本發(fā)明另一實(shí)施例提供的圖像風(fēng)格化重建裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類(lèi)似的標(biāo)號(hào)表示相同或類(lèi)似的元件或具有相同或類(lèi)似功能的元件。下面通過(guò)參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。

本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非特意聲明，這里使用的單數(shù)形式“一”、“一個(gè)”、“所述”和“該”也可包括復(fù)數(shù)形式。應(yīng)該進(jìn)一步理解的是，本發(fā)明的說(shuō)明書(shū)中使用的措辭“包括”是指存在所述特征、整數(shù)、步驟、操作、元件和/或組件，但是并不排除存在或添加一個(gè)或多個(gè)其他特征、整數(shù)、步驟、操作、元件、組件和/或它們的組。

本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非另外定義，這里使用的所有術(shù)語(yǔ)(包括技術(shù)術(shù)語(yǔ)和科學(xué)術(shù)語(yǔ))，具有與本發(fā)明所屬領(lǐng)域中的普通技術(shù)人員的一般理解相同的意義。還應(yīng)該理解的是，諸如通用字典中定義的那些術(shù)語(yǔ)，應(yīng)該被理解為具有與現(xiàn)有技術(shù)的上下文中的意義一致的意義，并且除非被特定定義，否則不會(huì)用理想化或過(guò)于正式的含義來(lái)解釋。

本發(fā)明實(shí)施例的圖像重建方法在稀疏表示的基礎(chǔ)上研究圖像的無(wú)源風(fēng)格化重建方法，以提高圖像風(fēng)格化重建的性能并擴(kuò)展其應(yīng)用范圍。

圖1示出了本發(fā)明一實(shí)施例提供的圖像風(fēng)格化重建方法的流程示意圖，如圖1所示，本實(shí)施例的圖像風(fēng)格化重建方法包括如下步驟：

101、獲取待轉(zhuǎn)換的輸入圖像的第一邊緣圖像，以及獲取預(yù)定的 目標(biāo)風(fēng)格圖像的第二邊緣圖像；

102、將第一邊緣圖像劃分為r*r大小的第一圖像塊，以及將第二邊緣圖像劃分為r*r大小的第二圖像塊，r為大于1的自然數(shù)；

103、獲取第一邊緣圖像的每一第一圖像塊的相似圖像塊集合，該每一相似圖像塊集合中的元素為與該第一圖像塊相似的第二圖像塊；

104、根據(jù)所有的第一圖像塊，獲取輸入圖像字典以及稀疏分解的稀疏系數(shù)；根據(jù)所有第一圖像塊對(duì)應(yīng)的相似圖像塊集合，獲取目標(biāo)圖像字典；

105、根據(jù)所述輸入圖像字典、目標(biāo)圖像字典、稀疏分解的稀疏系數(shù)，獲得重建出所述輸入圖像的目標(biāo)風(fēng)格的第三圖像；

106、采用紋理遷移方式，生成所述輸入圖像的初始化風(fēng)格圖像；

107、將所述第三圖像和所述初始化風(fēng)格圖像融合，得到用于輸出的所述輸入圖像的重建風(fēng)格化圖像。

應(yīng)說(shuō)明的是，步驟106可為預(yù)先根據(jù)輸入圖像和預(yù)定的目標(biāo)風(fēng)格圖像生成的，也可是在步驟107使用初始化風(fēng)格圖像之前生成的，本實(shí)施例不對(duì)其進(jìn)行限定，可根據(jù)實(shí)際圖像處理過(guò)程進(jìn)行設(shè)置。

舉例來(lái)說(shuō)，前述的步驟101可在具體實(shí)現(xiàn)過(guò)程中采用下述方式實(shí)現(xiàn)：

根據(jù)下述公式一，獲取所述輸入圖像的濾波輸出圖像以及所述目標(biāo)風(fēng)格圖像的濾波輸出圖像；

將所述輸入圖像減去所述輸入圖像的濾波輸出圖像，獲得所述第一邊緣圖像，以及將所述目標(biāo)風(fēng)格圖像減去所述目標(biāo)風(fēng)格圖像的濾波輸出圖像，獲得所述第二邊緣圖像；

其中，h_i＝Σ_jW_i,j(I)g_j 公式一

g為待濾波的圖像，h是濾波后的輸出圖像，I是引導(dǎo)圖像，輸 出圖像中i位置的像素值h_i；i和j均為像素編號(hào)；W_i,j為核函數(shù)。

本發(fā)明實(shí)施例可在稀疏表示的基礎(chǔ)上研究圖像的無(wú)源風(fēng)格化重建方法，該方法可以提高圖像風(fēng)格化重建的性能，并擴(kuò)展其應(yīng)用范圍。

現(xiàn)有技術(shù)中的圖像風(fēng)格化重建方法基于外部數(shù)據(jù)庫(kù)，然而，在實(shí)際應(yīng)用中，圖像的外部訓(xùn)練集非常有限，更多的情況是沒(méi)有外部訓(xùn)練集的即無(wú)源的，從而導(dǎo)致基于耦合訓(xùn)練集的跨域重建方法不適用。

需要說(shuō)明的是，本發(fā)明實(shí)施例主要針對(duì)實(shí)際應(yīng)用中經(jīng)常遇到無(wú)源風(fēng)格轉(zhuǎn)換的情況，即有單個(gè)模板就可以直接生成對(duì)應(yīng)風(fēng)格的其他圖像，典型的應(yīng)用就是照片-素描圖像的轉(zhuǎn)換。

有源風(fēng)格轉(zhuǎn)換的經(jīng)典框架，分為學(xué)習(xí)和合成兩個(gè)階段，對(duì)應(yīng)有源的框架，在學(xué)習(xí)階段，首先需要挖掘不同風(fēng)格的圖像本質(zhì)上相似的內(nèi)容，并在稀疏域上建立不同風(fēng)格圖像之間的映射關(guān)系。在合成階段，利用該映射關(guān)系，可以重建目標(biāo)風(fēng)格圖像的基本結(jié)構(gòu)。

由此，本發(fā)明實(shí)施例可以利用圖像邊緣特征建立圖像塊映射關(guān)系，實(shí)現(xiàn)了無(wú)源單模塊的圖像風(fēng)格化重建，克服了紋理合成無(wú)法保持圖像基本結(jié)構(gòu)的缺點(diǎn)；同時(shí)還可以將傳統(tǒng)的基于學(xué)習(xí)的方法整合進(jìn)來(lái)，適用性較好。

下面結(jié)合圖2和步驟A01至步驟A06對(duì)圖像風(fēng)格化重建方法進(jìn)行詳細(xì)說(shuō)明,。

A01、若目標(biāo)風(fēng)格(如素描、油畫(huà)等)圖像(即目標(biāo)風(fēng)格圖像)為Y，輸入的待轉(zhuǎn)換的圖像(即輸入圖像)為X；對(duì)參考的目標(biāo)圖像和輸入圖像應(yīng)用邊緣濾波器。

令g為待濾波的圖像(對(duì)應(yīng)上述的輸入圖像X)，h是濾波后的輸出圖像，I是引導(dǎo)圖像，那么輸出圖像中i位置的像素值可以表示為以下加權(quán)和：

h_i＝Σ_jW_i,j(I)g_j (1)

其中，i和j均為像素編號(hào)。這里，引導(dǎo)圖像可以直接使用待濾波圖像g。相應(yīng)地，上述公式(1)可變化為：

h_i＝Σ_jW_i,j(g)g_j (1’)

上述公式(1)和公式(1’)核函數(shù)W_i,j是關(guān)于引導(dǎo)圖像的函數(shù),有如下形式：

$W_{i,j}=\frac{1}{|\mathrm{\ω}{|}^2}\underset{k:(i,j)\∈{\mathrm{\ω}}_k}{\Σ}(1+\frac{(I_i-{\mathrm{\μ}}_k)(I_j-{\mathrm{\μ}}_k)}{{\mathrm{\σ}}_k^2+\∈})---\left(2\right)$

在公式(2)中，μ_k和σ_k表示I中r×r大小的窗口ω_k的均值和方差，k是窗口ω_k的中心像素，|ω|表示窗口中的像素個(gè)數(shù)。ε是平滑參數(shù)。

為了驗(yàn)證濾波核(filter kernel)可以保持輸出圖像中的邊緣特征，以一維階躍邊為例。如果I_i和I_j在邊緣的同側(cè)，公式(2)中的(I_i-μ_k)(I_j-μ_k)應(yīng)為正，否則為負(fù)。因此，公式(2)中的項(xiàng)，對(duì)于在邊緣同側(cè)的兩個(gè)像素其值會(huì)較大，對(duì)于在邊緣異側(cè)的兩個(gè)像素其值較小。這樣，通過(guò)不同的權(quán)值即可將邊緣區(qū)域與平坦區(qū)域加以區(qū)分。

由于現(xiàn)有技術(shù)中在內(nèi)容不一致的兩個(gè)單幀圖像之間學(xué)習(xí)映射關(guān)系非常困難。因此，本發(fā)明實(shí)施例中無(wú)源圖像風(fēng)格化重建的解決方案是從僅有的目標(biāo)圖像和輸入圖像中創(chuàng)建耦合圖像庫(kù)作為訓(xùn)練集。也就是說(shuō)，在具體應(yīng)用中，是要在目標(biāo)風(fēng)格圖像Y和輸入圖像X中尋找結(jié)構(gòu)相同風(fēng)格不同的相似圖像塊。例如，通過(guò)邊緣特征可以在有限的參考圖像上建立耦合訓(xùn)練集。

A02、對(duì)于目標(biāo)風(fēng)格圖像Y，利用公式(1’)可以得到濾波后的輸出Y_f。隨后,將Y_f從原始目標(biāo)風(fēng)格圖像Y中減去即可得到第二邊緣圖像，Y_e＝Y(jié)-Y_f。

同樣地,可以得到輸入圖像的第一邊緣圖像X_e。

在第一邊緣圖像和第二邊緣圖像的基礎(chǔ)上，進(jìn)行相似圖像塊的匹配。

目前，均方差(Mean Square Error,MSE)是常用的衡量圖像塊相似性的距離標(biāo)準(zhǔn)，然而，這種逐像素計(jì)算像素差異的相似性衡量方式無(wú)法反映圖像的內(nèi)在結(jié)構(gòu)，尤其這里需要衡量的是邊緣域的圖像塊。因此，本實(shí)施例中采用梯度均方差(Gradient MSE)作為衡量圖像相似性的標(biāo)準(zhǔn)。下述圖像塊可在邊緣圖像中按從左到右，從上到下每次移動(dòng)一個(gè)像素取的圖像塊。

具體地，令p為X_e中的一個(gè)圖像塊，q為Y_e中的一個(gè)圖像塊。那么p和q之間的相似性D(p,q)可以如下計(jì)算:

$Diff(p,q)=\left|\right|p-q|{|}_2^2+\mathrm{\η}\·||\▿p-\▿q|{|}_2^2---\left(3\right)$

其中，是梯度算子，η為系統(tǒng)參數(shù)。

從公式(3)可知，用梯度均方差作為衡量標(biāo)準(zhǔn)同時(shí)考慮了像素值相似性和結(jié)構(gòu)相似性，有利于提現(xiàn)圖像的內(nèi)容匹配特征。

A03、以梯度均方差為標(biāo)準(zhǔn)在邊緣域上匹配不同風(fēng)格之間的相似塊(如相似圖像塊集合)，這樣可以在匹配的相似圖像塊集合上進(jìn)行字典訓(xùn)練，記P＝{p₁,p₂,…,p_n}為輸入圖像X中圖像塊的集合，Q＝{q₁,q₂,…,q_n}為目標(biāo)風(fēng)格圖像Y中與P對(duì)應(yīng)的相似圖像塊的集合。

字典訓(xùn)練學(xué)習(xí)時(shí)，利用稀疏分解在圖像集(目標(biāo)圖像和輸入圖像，例如，素描-照片圖像對(duì))P，Q上訓(xùn)練耦合字典，即：

$D_p=\arg {\min }_{D_p}{\{P-D_p\mathrm{\Γ}\}}_2^2+\mathrm{\λ}\·\left|\right|\mathrm{\Γ}|{|}_1,---\left(4\right)$

$D_q=\arg {\min }_{D_q}{\{Q-D_q\mathrm{\Γ}\}}_2^2+\mathrm{\λ}\·\left|\right|\mathrm{\Γ}|{|}_1,$

其中D_p和D_q是耦合字典，Γ表示稀疏系數(shù)。前述公式(3)中的D表示difference,該處公式(4)中的D表示Dictionary。

本實(shí)施例在訓(xùn)練字典過(guò)程中訓(xùn)練樣本分解得到的稀疏系數(shù)，在訓(xùn)練的時(shí)候是先給一個(gè)初始值，比如一個(gè)全是1的矩陣，然后求出字典D_p，然后再重新求稀疏系數(shù)Γ，如此迭代交替更新。

Γ是下述所有γ的集合，也就是所有稀疏分解后的系數(shù)的集合。

特別地，通過(guò)字典訓(xùn)練，耦合圖像在稀疏域上建立映射關(guān)系。

A04、在字典訓(xùn)練后，可以逐步重建風(fēng)格圖像。

首先，根據(jù)輸入圖像和目標(biāo)風(fēng)格圖像生成初始化風(fēng)格圖像z₀。初始化風(fēng)格圖像的核心是從目標(biāo)風(fēng)格圖像中選取與輸入圖像局部結(jié)構(gòu)一致的圖像塊融合，因此可以采用紋理遷移的方法。紋理遷移指的是將目標(biāo)圖像上的紋理遷移到輸入圖像上，這樣會(huì)得到具有輸入圖像結(jié)構(gòu)但是由目標(biāo)圖像中的圖像塊構(gòu)成的輸出圖像。紋理可以在一定程度上代表風(fēng)格，因此這是生成初始化風(fēng)格圖像的一種可行方式。紋理遷移融合來(lái)自目標(biāo)圖像的像素，初始化的過(guò)程每個(gè)圖像塊都需要滿(mǎn)足特定的響應(yīng)分布。該響應(yīng)分布是同時(shí)由目標(biāo)圖像和輸入圖像決定的，令d₁表示重建圖像塊與目標(biāo)圖像塊低頻部分的差值，d₂表示重建圖像塊與輸入圖像塊的差值，d₁+d₂取值盡可能小就可以保證生成的結(jié)果一方面局部具有目標(biāo)圖像的紋理，另一方面從全局看具有輸入圖像的整體結(jié)構(gòu)。

其次，在初始化的基礎(chǔ)上，添加更多的細(xì)節(jié)信息。這是因?yàn)樵跓o(wú)源圖像風(fēng)格重建的情況下，圖像之間建立的映射關(guān)系僅僅在特征識(shí)別的范圍。因此，需要首先建立圖像塊基本像素分布之間的映射關(guān)系，然后利用稀疏重建等技術(shù)重建高頻細(xì)節(jié)。

A05、在重建階段，將輸入圖像在輸入圖像字典D_p上稀疏分解得 到的稀疏系數(shù)與目標(biāo)圖像字典D_q相乘即可重建出轉(zhuǎn)換后的圖像。更具體地，以一個(gè)輸入圖像塊y為例，其稀疏分解后的系數(shù)為γ，那么轉(zhuǎn)換后的圖像塊z，就可以用z＝D_qγ求出。

γ是每個(gè)圖像塊稀疏系數(shù)，Γ是所有γ的集合，也就是所有稀疏系數(shù)的集合。

令步驟A04中得到的初始化風(fēng)格圖像的圖像塊為z₀，將z₀和z加權(quán)融合即可得到最終的重建圖像

其中，α∈(0,1)為加權(quán)系數(shù)。

因此，本發(fā)明實(shí)現(xiàn)了無(wú)源圖像的風(fēng)格建模與映射，從僅有的目標(biāo)圖像和輸入圖像中創(chuàng)建耦合圖像庫(kù)作為訓(xùn)練集，利用圖像邊緣特征匹配耦合的圖像塊，從而建立圖像塊映射關(guān)系，實(shí)現(xiàn)無(wú)源單模板的圖像風(fēng)格轉(zhuǎn)換，克服無(wú)法保持圖像基本結(jié)構(gòu)的缺點(diǎn)。目前的圖像風(fēng)格化方法均需耦合訓(xùn)練集，考慮無(wú)源的場(chǎng)景這一創(chuàng)新性應(yīng)用也是本發(fā)明的特色之處。

圖3示出了本發(fā)明另一實(shí)施例提供的圖像風(fēng)格化重建裝置的結(jié)構(gòu)示意圖，如圖3所示，本實(shí)施例的圖像風(fēng)格化重建裝置包括：邊緣圖像獲取單元31、圖像塊劃分單元32、相似圖像塊獲取單元33、字典獲取單元34、第三圖像獲取單元35、初始化風(fēng)格圖像36、重建風(fēng)格化圖像獲取單元37；

其中，邊緣圖像獲取單元31，用于獲取待轉(zhuǎn)換的輸入圖像的第一邊緣圖像，以及獲取預(yù)定的目標(biāo)風(fēng)格圖像的第二邊緣圖像；

圖像塊劃分單元32，用于將第一邊緣圖像劃分為r*r大小的第一圖像塊，以及將第二邊緣圖像劃分為r*r大小的第二圖像塊，r為大于1的自然數(shù)；

相似圖像塊獲取單元33，用于獲取第一邊緣圖像的每一第一圖像塊的相似圖像塊集合，該每一相似圖像塊集合中的元素為與該第一圖像塊相似的第二圖像塊；

字典獲取單元34，用于根據(jù)所有的第一圖像塊，獲取輸入圖像字典以及稀疏分解的稀疏系數(shù)；以及根據(jù)所有第一圖像塊對(duì)應(yīng)的相似圖像塊集合，獲取目標(biāo)圖像字典；

第三圖像獲取單元35，用于根據(jù)所述輸入圖像字典、目標(biāo)圖像字典、稀疏系數(shù)，獲得重建出所述輸入圖像的目標(biāo)風(fēng)格的第三圖像；

初始化風(fēng)格圖像36，用于采用紋理遷移方式，生成所述輸入圖像的初始化風(fēng)格圖像；

重建風(fēng)格化圖像獲取單元37，用于將所述第三圖像和所述初始化風(fēng)格圖像融合，得到用于輸出的所述輸入圖像的重建風(fēng)格化圖像。

所述邊緣圖像獲取單元，具體用于：

根據(jù)下述公式一，獲取所述輸入圖像的濾波輸出圖像以及所述目標(biāo)風(fēng)格圖像的濾波輸出圖像；

將所述輸入圖像減去所述輸入圖像的濾波輸出圖像，獲得所述第一邊緣圖像，以及將所述目標(biāo)風(fēng)格圖像減去所述目標(biāo)風(fēng)格圖像的濾波輸出圖像，獲得所述第二邊緣圖像；

其中，h_i＝Σ_jW_i,j(I)g_j 公式一

g為待濾波的圖像，h是濾波后的輸出圖像，I是引導(dǎo)圖像，輸出圖像中i位置的像素值h_i；i和j均為像素編號(hào)；W_i,j為核函數(shù)。

可選地，在一種可能的實(shí)現(xiàn)方式中，相似圖像塊獲取單元33具體用于

根據(jù)下述公式二，確定所述第一邊緣圖像中每一第一圖像塊的相似圖像塊集合；

其中，$Diff(p,q)=\left|\right|p-q|{|}_2^2+\mathrm{\η}\·||\▿p-\▿q|{|}_2^2$ 公式二

Diff(p,q)表示p圖像塊和q圖像塊之間的相似性，p為所述第一邊緣圖像中的第一圖像塊的任一個(gè)，q為所述第二邊緣圖像中的第二圖像塊的任一個(gè)；是梯度算子，η為系統(tǒng)參數(shù)。

在第二種可選的實(shí)現(xiàn)方式中，字典獲取單元34具體用于

根據(jù)公式三，獲取所述輸入圖像字典；

其中，$D_p=\arg {\min }_{D_p}{\{P-D_p\mathrm{\Γ}\}}_2^2+\mathrm{\λ}\·\left|\right|\mathrm{\Γ}|{|}_1,$ 公式三

根據(jù)所有第一圖像塊對(duì)應(yīng)的相似圖像塊集合，獲取目標(biāo)圖像字典，包括：

根據(jù)公式四，獲取所述目標(biāo)圖像字典；

其中，$D_q=\arg {\min }_{D_q}{\{Q-D_q\mathrm{\Γ}\}}_2^2+\mathrm{\λ}\·\left|\right|\mathrm{\Γ}|{|}_1,$ 公式四

D_p為輸入圖像字典，D_q為目標(biāo)圖像字典，P＝{p₁,p₂,…,p_n}為第一邊緣圖像中第一圖像塊的集合，Q＝{q₁,q₂,…,q_n}為第二邊緣圖像中與P對(duì)應(yīng)的相似圖像塊的集合；Γ表示稀疏系數(shù)。

本發(fā)明實(shí)施例中的圖像風(fēng)格化重建裝置，可以靈活應(yīng)用于素描合成，油畫(huà)風(fēng)格合成等圖像風(fēng)格化重建領(lǐng)域，不僅可以滿(mǎn)足實(shí)際應(yīng)用的需求，還可以幫助人們更好的理解人眼視覺(jué)系統(tǒng)特征識(shí)別的機(jī)制。

通過(guò)以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可以通過(guò)硬件實(shí)現(xiàn)，也可以借助軟件加必要的通用硬件平臺(tái)的方式來(lái)實(shí)現(xiàn)?；谶@樣的理解，本發(fā)明的技術(shù)方案可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該軟件產(chǎn)品可以存儲(chǔ)在一個(gè)非易失性存儲(chǔ)介質(zhì)(可以是CD-ROM，U盤(pán)，移動(dòng)硬盤(pán)等)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述的方法。

本領(lǐng)域技術(shù)人員可以理解附圖只是一個(gè)優(yōu)選實(shí)施例的示意圖，附 圖中的模塊或流程并不一定是實(shí)施本發(fā)明所必須的。

本領(lǐng)域技術(shù)人員可以理解實(shí)施例中的系統(tǒng)中的模塊可以按照實(shí)施例描述進(jìn)行分布于實(shí)施例的系統(tǒng)中，也可以進(jìn)行相應(yīng)變化位于不同于本實(shí)施例的一個(gè)或多個(gè)系統(tǒng)中。上述實(shí)施例的模塊可以合并為一個(gè)模塊，也可以進(jìn)一步拆分成多個(gè)子模塊。

以上所述僅是本發(fā)明的部分實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。