本發(fā)明涉及圖像處理、機器學習和深度學習算法領(lǐng)域，特別涉及一種基于圖像語義提取和涂鴉的彩繪畫創(chuàng)作方法。
背景技術(shù)：
對于彩繪從業(yè)者，創(chuàng)作一張新的彩繪畫需要大量的精力和時間，同時還需要對已有的主題方案進行調(diào)整以滿足不同客戶的需求。對于一些彩繪工作室或畫家來說，彩繪畫設(shè)計需要耗費大量的時間，彩繪設(shè)計周期過長成為阻礙業(yè)務(wù)發(fā)展的行業(yè)痛點。而隨著計算機視覺技術(shù)的發(fā)展，圖像融合和風格遷移算法已經(jīng)較為成熟，能夠從多幅圖像上提取風格與關(guān)鍵內(nèi)容，進而智能生成新的圖像。因此利用計算機視覺技術(shù)輔助或加速彩繪畫藝術(shù)設(shè)計不僅可行且迎合實際需求。
技術(shù)實現(xiàn)要素：
本發(fā)明提出一種基于圖像語義提取和涂鴉的彩繪畫創(chuàng)作方法，根據(jù)提取的圖像語義進行涂鴉，進而利用風格遷移技術(shù)生成彩繪畫；本方法只需要畫家進行語義涂鴉后就能自動生成精細風格化的彩繪畫，能大大提高設(shè)計效率，讓畫家減輕壓力，迸發(fā)更多的靈感，解決設(shè)計周期過長的痛點。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：
一種基于圖像語義提取和涂鴉的彩繪畫創(chuàng)作方法，包括：
步驟1，讀取一張語義結(jié)構(gòu)清晰的素材圖mat；基于素材圖mat創(chuàng)建等尺寸的語義圖sem，并計算語義圖sem中每個像素點的顏色；
步驟2，選取語義圖sem上的不同顏色進行涂鴉，獲得一張由多種語義顏色構(gòu)成的涂鴉圖gra；
步驟3，選取一個在imagenet數(shù)據(jù)集上訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型vgg作為圖像風格提取器，分別提取素材圖mat、語義圖sem和涂鴉圖gra的風格特征張量，包括：
以素材圖mat作為輸入，提取vgg第三組第一層的特征值matvgg_3_1和第四組第一層的特征值matvgg_4_1；以語義圖sem作為輸入，同樣提取vgg第三組第一層的特征值semvgg_3_1和第四組第一層的特征值semvgg_4_1；合并兩個特征值張量，獲得維度為[1,height3_1,width3_1,channelmat_3_1+channelsem_3_1]的風格特征張量matsemvgg_3_1和維度為[1,height4_1,width4_1,channelmat_4_1+channelsem_4_1]的風格特征張量matsemvgg_4_1；
以涂鴉圖gra作為輸入，同樣提取vgg第三組第一層的特征值gravgg_3_1和第四組第一層的特征值gravgg_4_1；以隨機值初始化一張與涂鴉圖gra等幅面的生成圖gen，輸入到風格特征提取器vgg中，同樣提取第三組第一層的特征值genvgg_3_1和第四組第一層的特征值genvgg_4_1；合并兩個特征值張量，獲得維度為[1,height3_1,width3_1,channelgra_3_1+channelgen_3_1]的風格特征張量gragenvgg_3_1和維度為[1,height4_1,width4_1,channelgra_4_1+channelgen_4_1]的風格特征張量gragenvgg_4_1；
步驟4，將獲取的風格特征張量matsemvgg_3_1、matsemvgg_4_1、gragenvgg_3_1和gragenvgg_4_1切分成維度為[1,3,3,1]的若干個特征塊；沿著第二和第三個軸，以步幅為1進行切片處理，分別獲得對應(yīng)的特征塊張量patch_matsemvgg_3_1、patch_matsemvgg_4_1、patch_gragenvgg_3_1和patch_gragenvgg_4_1；
步驟5，基于特征塊張量patch_matsemvgg_3_1、patch_matsemvgg_4_1、patch_gragenvgg_3_1和patch_gragenvgg_4_1，定義如下?lián)p失函數(shù)：
其中，ψi(·)表示特征塊張量中第i個特征塊；
在上述損失函數(shù)中，以素材圖mat、語義圖sem、涂鴉圖gra和生成圖gen作為初始輸入，使用迭代法變更生成圖gen的各像素點和各通道的值，獲得最小損失函數(shù)時的最優(yōu)值，最終得到符合需求的彩繪畫genopt。
所述基于素材圖mat創(chuàng)建等尺寸的語義圖sem包括：
令顏色集合c，每種顏色c∈c；語義集合s，每種語義s∈s；
根據(jù)素材圖mat中每個像素點x∈c屬于某種語義的規(guī)則f(a):c->s，以及每個語義對應(yīng)的顏色映射函數(shù)g(b):s->c，則計算得到語義圖sem中每個像素點的顏色為g(f(x))。
所述基于素材圖mat創(chuàng)建等尺寸的語義圖sem還包括：
將素材圖中需要保留的部分標記成背景語義，用一種顏色將背景語義區(qū)域標記出來。
所述步驟2還包括，將所述一種顏色作為背景色來初始化涂鴉圖，并且背景語義的區(qū)域禁止涂鴉其它顏色。
所述得到符合需求的彩繪畫genopt的具體求解流程為：
對損失函數(shù)l求導(dǎo)，通過反向傳播和鏈式求導(dǎo)的法則將梯度傳遞到gen；使用擬牛頓法l-bfgs更新每輪gen的值，快速逼近局部最優(yōu)值；最終得到符合需求的彩繪畫genopt。
本發(fā)明具有如下有益效果：
本發(fā)明根據(jù)提取的圖像語義進行涂鴉，進而利用風格遷移技術(shù)生成彩繪畫；本方法只需要畫家進行語義涂鴉后就能自動生成精細風格化的彩繪畫，能大大提高設(shè)計效率，讓畫家減輕壓力，迸發(fā)更多的靈感，解決設(shè)計周期過長的痛點。
以下結(jié)合附圖及實施例對本發(fā)明作進一步詳細說明，但本發(fā)明的一種基于圖像語義提取和涂鴉的彩繪畫創(chuàng)作方法不局限于實施例。
附圖說明
圖1為本發(fā)明方法的流程圖。
具體實施方式
參見圖1，一種基于圖像語義提取和涂鴉的彩繪畫創(chuàng)作方法，包括如下步驟：
步驟101，提取圖像語義。
(1)選定一幅語義結(jié)構(gòu)清晰的圖片作為素材圖。以肖像彩繪圖為例，一般包含皮膚、毛發(fā)(頭發(fā)、眉毛、胡子等)、眼睛、嘴巴、耳朵、衣服等語義區(qū)域要素；以風景彩繪圖為例，一般包含草地、樹、石頭、河流等語義要素。
(2)基于素材圖mat創(chuàng)建等尺寸的語義圖sem。具體的，令顏色集合c，每種顏色c∈c；語義集合s，每種語義s∈s。根據(jù)素材圖mat中每個像素點x∈c屬于某種語義的規(guī)則f(a):c->s，以及每個語義對應(yīng)的顏色映射函數(shù)g(b):s->c，則計算得到語義圖sem中每個像素點的顏色為g(f(x))。
(3)將素材圖中需要保留的部分標記成背景語義，用一種顏色將背景語義區(qū)域標記出來。
步驟102，語義涂鴉。
選取語義圖sem上的不同顏色進行涂鴉，進而獲得一張由多種語義顏色構(gòu)成的涂鴉圖gra。具體的，以步驟101中將背景語義區(qū)域標記出來的一種顏色作為背景色來初始化涂鴉圖，并且背景語義的區(qū)域禁止涂鴉其它顏色，以保證素材圖中需保留的部分在算法生成過后能夠保留下來，實現(xiàn)局部處理的效果。
步驟103，提取圖片的風格特征。
選擇一個在imagenet數(shù)據(jù)集上訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型vgg作為圖像風格提取器，分別提取素材圖mat、語義圖sem和涂鴉圖gra的風格特征。以素材圖mat作為輸入，提取vgg第三組第一層(第二個池化層后的第一個卷積層)的特征值matvgg_3_1和第四組第一層(第三個池化層后的第一個卷積層)的特征值matvgg_4_1；以語義圖sem作為輸入，同樣提取第三組第一層的特征值semvgg_3_1和第四組第一層的特征值(一般忽略卷積過程，即跳過卷積層只通過采樣層)semvgg_4_1；合并兩個風格特征張量，最后獲得的風格特征張量為matsemvgg_3_1(維度為[1,height3_1,width3_1,channelmat_3_1+channelsem_3_1])和matsemvgg_4_1(維度為[1,height4_1,width4_1,channelmat_4_1+channelsem_4_1])。需要說明的是，特征值張量一般以[batch,heightx_1,widthx_1,channelx_1]四維張量組織，其中batch代表一次性輸入的素材圖mat數(shù)量，由于此算法一次只針對一張素材圖mat，所以batch一定為1，widthx_1表示當前特征圖(featuremap)的寬，heightx_1表示當前特征圖的高，channelx_1表示當前特征通道個數(shù)，x等于3或者4。
以涂鴉圖gra作為輸入，同樣提取第三組第一層和第四組第一層的特征值gravgg_3_1、gravgg_4_1；以隨機值初始化一張與涂鴉圖gra等幅面的生成圖gen，輸入到風格特征提取器vgg中，同樣提取第三組第一層和第四組第一層的特征值genvgg_3_1、genvgg_4_1；合并兩個風格特征張量，最后獲得的風格特征張量為gragenvgg_3_1(維度為[1,height3_1,width3_1,channelgra_3_1+channelgen_3_1])和gragenvgg_4_1(維度為[1,height4_1,width4_1,channelgra_4_1+channelgen_4_1])。
步驟104，將特征向量切分成若干個特征塊。
將獲取的風格特征張量matsemvgg_3_1、matsemvgg_4_1、gragenvgg_3_1、gragenvgg_4_1進行切分成度為[1,3,3,1]的若干個特征塊。沿著第二和第三個軸，即寬和高，步幅為1進行切片處理。令vector維度為[1,height,width,channel]，具體可通過如下方式實現(xiàn)：
forc＝0tochannel-1
fori＝0toheight-3
forj＝0towidth-3
fordi＝0to2
fordj＝0to2
output[c*(height-2)*(width-2)+i*(width-2)+j,di,dj]＝vector[1,i+di,j+dj,c]
經(jīng)過上述處理，分別獲得對應(yīng)的特征塊張量patch_matsemvgg_3_1、patch_matsemvgg_4_1、patch_gragenvgg_3_1、patch_gragenvgg_4_1。
步驟105，基于生成圖gen進行迭代優(yōu)化，獲取彩繪畫輸出圖genopt。
基于步驟104獲得的四個特征塊張量patch_matsemvgg_3_1、patch_matsemvgg_4_1、patch_gragenvgg_3_1、patch_gragenvgg_4_1
定義如下?lián)p失函數(shù)：
其中，ψi(·)表示特征塊張量中第i個特征塊；
具體的，以素材圖mat、語義圖sem、涂鴉圖gra、生成圖gen作為初始輸入，由于mat、sem、gra的值固定，始終不會更改，通過變更生成圖gen的各像素點、各通道的值，使得損失函數(shù)的值得以降低。即優(yōu)化目標為：
最優(yōu)值通過迭代法迭代得到，具體求解流程為：對損失函數(shù)l求導(dǎo)，通過反向傳播、鏈式求導(dǎo)的法則將梯度傳遞到gen，使用擬牛頓法l-bfgs更新每輪gen的值，快速逼近局部最優(yōu)值。最終得到符合需求的彩繪畫genopt。
以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。