一種基于語(yǔ)義的圖像顏色傳輸方法
【專利摘要】基于語(yǔ)義的圖像顏色傳輸方法，輸入為一張參考圖像R和一張目標(biāo)圖像T，輸出為和參考圖像具有相似色彩風(fēng)格的圖O；本發(fā)明主要分為三個(gè)步驟：圖像分割；訓(xùn)練區(qū)域語(yǔ)義標(biāo)記分類器；基于語(yǔ)義的顏色傳輸；改進(jìn)原有的Normalized Cut方法對(duì)目標(biāo)圖像和參考圖像進(jìn)行分割，得到圖像區(qū)域子塊；根據(jù)預(yù)先定義好的語(yǔ)義層次結(jié)構(gòu)，建立圖像區(qū)域級(jí)別的訓(xùn)練集，基于MPEG-7描述符提取區(qū)域的顏色、紋理和形狀特征，訓(xùn)練得到分類器；根據(jù)訓(xùn)練得到的區(qū)域語(yǔ)義分類器，對(duì)目標(biāo)圖像和參考圖像的區(qū)域子塊標(biāo)記，從而將圖像區(qū)域歸入相應(yīng)的語(yǔ)義概念類別，然后在具有相似語(yǔ)義的區(qū)域間傳輸顏色，得到結(jié)果圖像。
【專利說(shuō)明】一種基于語(yǔ)義的圖像顏色傳輸方法

【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明屬于數(shù)字圖像處理領(lǐng)域。

【背景技術(shù)】
[0002] 圖像的顏色傳輸能將參考圖像的顏色傳輸給目標(biāo)圖像，使得目標(biāo)圖像與參考圖像 具有相似的色彩風(fēng)格，即在目標(biāo)圖像不改變它自身所表達(dá)的形狀信息的前提下，學(xué)習(xí)和繼 承了參考圖像的顏色基調(diào)。
[0003] 顏色傳輸方法大致可分為基于統(tǒng)計(jì)的、基于交互的和基于內(nèi)容的傳輸三大類。
[0004]自動(dòng)的顏色傳輸方法通過(guò)匹配參考圖像和目標(biāo)圖像間的顏色統(tǒng)計(jì)信息來(lái)實(shí)現(xiàn)。 Reinhard等人提出的全局顏色傳輸方法（ReinhardE,AdhikhminM,GoochB，etal.Color transferbetweenimages.ComputerGraphicsandApplications, 2001, 21(5) :34-41.) 利用圖像的全局統(tǒng)計(jì)信息將源圖像的顏色傳輸給目標(biāo)圖像。由于全局顏色傳輸方法對(duì)于目 標(biāo)圖像和參考圖像較為相似、顏色統(tǒng)計(jì)信息較為簡(jiǎn)單的圖像取得了較好的效果，但不適用 于場(chǎng)景復(fù)雜的圖像。Tai等人提出的基于區(qū)域的傳輸方法（TaiYW,JiaJ,TangCK.Local colortransferviaprobabilisticsegmentationbyexpectation-maximization[C]. IEEEComputerSocietyConferenceonComputerVisionandPattern Recognition, 2005, 1:747-754.)采用自動(dòng)的圖像分割技術(shù)將圖像分為不同的區(qū)域，找到 區(qū)域間的映射，在對(duì)應(yīng)的區(qū)域間傳輸顏色。NormalizedCut(Ncut)方法（ShiJ,Malik J.Normalizedcutsandimagesegmentation.IEEETransactionsonPatternAnalysis andMachineIntelligence, 2000, 22 (8) :888-905.)是一種基于圖論的分割方法。Ncut的 分割結(jié)果需要對(duì)正則化的權(quán)值矩陣進(jìn)行譜分解求到，若圖像的像素點(diǎn)較多，需要求解大權(quán) 值矩陣的特征值與特征向量，計(jì)算非常費(fèi)時(shí)。由于自動(dòng)計(jì)算得到的區(qū)域間映射關(guān)系可能不 準(zhǔn)確，基于交互的顏色傳輸方法通過(guò)讓用戶繪制swatches或畫筆來(lái)標(biāo)記出參考圖像和目 標(biāo)圖像區(qū)域間的關(guān)聯(lián)，對(duì)于每個(gè)關(guān)聯(lián)對(duì)傳輸顏色?；诮换サ姆椒ɡ糜脩舳x的顏色畫 筆來(lái)確保不同圖像區(qū)域間映射的正確性，但普通用戶如何正確放置合適的畫筆是一個(gè)比較 棘手的問(wèn)題。
[0005] 上述兩類方法只考慮了圖像底層的顏色統(tǒng)計(jì)信息，而忽略了圖像本身的內(nèi) 容。Wu等人提出了基于內(nèi)容的顏色傳輸（FuzhangWu,WeimingDong,YanKong,Xing Mei,Jean-ClaudePaul,XiaopengZhang.Content-BasedColorTransfer.Computer GraphicsForum, 2013, 32(1)，190-203.)，通過(guò)分析圖像高層次的場(chǎng)景內(nèi)容，自動(dòng)抽取前景 物體和背景場(chǎng)景，建立參考圖像和目標(biāo)圖像區(qū)域間的關(guān)聯(lián)，然后對(duì)目標(biāo)圖像重新著色，對(duì)于 不同區(qū)域具有明顯不同的顏色模式的目標(biāo)圖像有較好的傳輸效果。但是該方法僅將圖像分 割成主題區(qū)和背景區(qū)，背景區(qū)包括天、地、天和地中間的區(qū)域三個(gè)部分，對(duì)圖像內(nèi)容的分析 較為簡(jiǎn)單，如果地面區(qū)域、天和地中間的區(qū)域中同時(shí)包含多個(gè)具有獨(dú)立語(yǔ)義的小區(qū)域，該方 法只能大致的根據(jù)區(qū)域的位置分布傳輸顏色，而無(wú)法針對(duì)小區(qū)域的語(yǔ)義進(jìn)行精確的顏色傳 輸。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明要克服現(xiàn)有技術(shù)的上述缺點(diǎn)，提供一種基于語(yǔ)義的圖像顏色傳輸方法，對(duì) 圖像場(chǎng)景進(jìn)行更為細(xì)致的分析，根據(jù)訓(xùn)練得到的區(qū)域語(yǔ)義分類器對(duì)參考圖像和目標(biāo)圖像的 子區(qū)域進(jìn)行標(biāo)記，得到子區(qū)域的語(yǔ)義，在具有相似語(yǔ)義的區(qū)域間傳輸顏色，生成更精確的顏 色傳輸結(jié)果。
[0007] -種基于語(yǔ)義的圖像顏色傳輸方法，輸入為一張參考圖像R和一張目標(biāo)圖像T，輸 出為和參考圖像具有相似色彩風(fēng)格的圖〇 ;本發(fā)明主要分為三個(gè)步驟：圖像分割；訓(xùn)練區(qū)域 語(yǔ)義標(biāo)記分類器；基于語(yǔ)義的顏色傳輸；改進(jìn)原有的NormalizedCut方法對(duì)目標(biāo)圖像和參 考圖像進(jìn)行分割，得到圖像區(qū)域子塊；根據(jù)預(yù)先定義好的語(yǔ)義層次結(jié)構(gòu)，建立圖像區(qū)域級(jí)別 的訓(xùn)練集，基于MPEG-7描述符提取區(qū)域的顏色、紋理和形狀特征，訓(xùn)練得到分類器；根據(jù)訓(xùn) 練得到的區(qū)域語(yǔ)義分類器，對(duì)目標(biāo)圖像和參考圖像的區(qū)域子塊標(biāo)記，從而將圖像區(qū)域歸入 相應(yīng)的語(yǔ)義概念類別，然后在具有相似語(yǔ)義的區(qū)域間傳輸顏色，得到結(jié)果圖像；
[0008] 具體步驟是：
[0009] 步驟1，為了更精確地分割圖像子區(qū)域，本發(fā)明對(duì)NormalizedCut方法進(jìn)行改進(jìn)； 首先提取出圖像的超像素，以超像素作為節(jié)點(diǎn)表示圖結(jié)構(gòu)，然后采用Ncut方法對(duì)超像素進(jìn) 行分割，最后根據(jù)分割子塊的顏色直方圖屬性對(duì)相似區(qū)域合并，得到分割區(qū)域；超像素的圖 結(jié)構(gòu)表示不但包含節(jié)點(diǎn)較少，而且捕獲了圖像的冗余信息；基于超像素的分割不僅能降低 計(jì)算復(fù)雜度，而且能降低分割結(jié)果對(duì)噪聲的敏感程度，比直接對(duì)圖像的像素點(diǎn)分割魯棒性 更強(qiáng)；采用改進(jìn)后的方法分割目標(biāo)圖像和參考圖像；
[0010] 改進(jìn)的Ncut方法包括以下四個(gè)步驟：
[0011] 步驟I. 1 :采用簡(jiǎn)單線性迭代聚類方法聚類得到圖像的超像素，SLIC在分割時(shí)能 保持圖像中物體的邊界，分割速度快、內(nèi)存占用少，生成的超像素具有較好的緊湊性和邊界 貼合度；然后計(jì)算每個(gè)超像素包含的所有像素點(diǎn)在CIELAB空間中的顏色均值和質(zhì)心，用于 表示該超像素；
[0012] 步驟1. 2 :以超像素為節(jié)點(diǎn)，建立帶權(quán)的無(wú)向圖G= {S，E};
[0013] 其中S表示圖中所有超像素點(diǎn)的集合，E為連接兩個(gè)超像素邊的集合；計(jì)算超像素 間的權(quán)重矩陣W;矩陣W的每一項(xiàng)W(i，j)定義為：
[0014]

【權(quán)利要求】
1. 一種基于語(yǔ)義的圖像顏色傳輸方法，輸入為一張參考圖像R和一張目標(biāo)圖像T，輸出 為和參考圖像具有相似色彩風(fēng)格的圖〇 ;本發(fā)明主要分為三個(gè)步驟：圖像分割；訓(xùn)練區(qū)域語(yǔ) 義標(biāo)記分類器；基于語(yǔ)義的顏色傳輸；改進(jìn)原有的NormalizedCut方法對(duì)目標(biāo)圖像和參考 圖像進(jìn)行分割，得到圖像區(qū)域子塊；根據(jù)預(yù)先定義好的語(yǔ)義層次結(jié)構(gòu)，建立圖像區(qū)域級(jí)別的 訓(xùn)練集，基于MPEG-7描述符提取區(qū)域的顏色、紋理和形狀特征，訓(xùn)練得到分類器；根據(jù)訓(xùn)練 得到的區(qū)域語(yǔ)義分類器，對(duì)目標(biāo)圖像和參考圖像的區(qū)域子塊標(biāo)記，從而將圖像區(qū)域歸入相 應(yīng)的語(yǔ)義概念類別，然后在具有相似語(yǔ)義的區(qū)域間傳輸顏色，得到結(jié)果圖像； 具體步驟是： 步驟1，為了更精確地分割圖像子區(qū)域，對(duì)NormalizedCut方法進(jìn)行改進(jìn)；首先提取出 圖像的超像素，以超像素作為節(jié)點(diǎn)表示圖結(jié)構(gòu)，然后采用Ncut方法對(duì)超像素進(jìn)行分割，最 后根據(jù)分割子塊的顏色直方圖屬性對(duì)相似區(qū)域合并，得到分割區(qū)域；超像素的圖結(jié)構(gòu)表示 不但包含節(jié)點(diǎn)較少，而且捕獲了圖像的冗余信息；基于超像素的分割不僅能降低計(jì)算復(fù)雜 度，而且能降低分割結(jié)果對(duì)噪聲的敏感程度，比直接對(duì)圖像的像素點(diǎn)分割魯棒性更強(qiáng)；采用 改進(jìn)后的方法分割目標(biāo)圖像和參考圖像； 改進(jìn)的Ncut方法包括以下四個(gè)步驟： 步驟I. 1 :采用簡(jiǎn)單線性迭代聚類方法聚類得到圖像的超像素，SLIC在分割時(shí)能保持 圖像中物體的邊界，分割速度快、內(nèi)存占用少，生成的超像素具有較好的緊湊性和邊界貼合 度；然后計(jì)算每個(gè)超像素包含的所有像素點(diǎn)在CIELAB空間中的顏色均值和質(zhì)心，用于表示 該超像素； 步驟1. 2 :以超像素為節(jié)點(diǎn)，建立帶權(quán)的無(wú)向圖G= {S，E}; 其中S表示圖中所有超像素點(diǎn)的集合，E為連接兩個(gè)超像素邊的集合；計(jì)算超像素間的 權(quán)重矩陣W;矩陣W的每一項(xiàng)w(i，j)定義為：
w(i，j)度量了兩個(gè)超像素i，j間可信的局部相似性；Xi表示超像素i在CIELAB空間 的顏色均值特征向量，dist(i，j)為兩個(gè)超像素\和h質(zhì)心之間的距離，當(dāng)超像素i和j 的質(zhì)心距離大于給定閾值時(shí)threshold時(shí)，權(quán)重賦值為0,認(rèn)為它們不相似；threshold通常 取70, 〇r為一個(gè)常數(shù)，一般取〇rG[〇? 1，〇? 3]; 步驟1. 3 :采用NormalizedCut方法對(duì)超像素聚類，圖的歸一化割Ncut(As,Bs)定義 為：
CUt(As1Bs)=EiGAs,jeBSw(i.j)； assoc(As,S) =EiGAs；JGsw(i,j) ；assoc(Bs,S) =EiGBs；JGsw(i,j)； 其中As，Bs表示整個(gè)超像素集合S中的一個(gè)子集，且滿足Bs=S-As;assoc(As,S)表 示超像素子集As與整個(gè)超像素集合S的權(quán)重和，assoc(Bs，S)表示超像素子集Bs與整個(gè) 超像素集合S的權(quán)重和，cut(As，Bs)計(jì)算了超像素集合As和Bs之間所有邊的權(quán)值之和； 計(jì)算得到使Ncut值最小的最優(yōu)的分割方案； 步驟I. 4 :計(jì)算分割后區(qū)域的顏色直方圖，根據(jù)區(qū)域直方圖的相似性及相鄰關(guān)系對(duì)分 割區(qū)域進(jìn)行合并，對(duì)兩個(gè)相鄰的且顏色直方圖距離小于給定閾值的區(qū)域進(jìn)行合并； 步驟2,對(duì)于訓(xùn)練區(qū)域語(yǔ)義標(biāo)記分類器步驟： 首先定義一個(gè)語(yǔ)義層次結(jié)構(gòu)圖，將自然場(chǎng)景分為不同的類別；層次性的詞匯組織對(duì)圖 像區(qū)域的語(yǔ)義進(jìn)行了自頂向下的劃分，能減少在標(biāo)記相似區(qū)域時(shí)的歧義，提高標(biāo)記的準(zhǔn)確 性；深色的框表示父類別，每個(gè)父類別下有相應(yīng)的子類別；屬于同一父類別的區(qū)域具有相 似的語(yǔ)義，可以進(jìn)行顏色傳輸；從包含各類別場(chǎng)景的圖片中，分割出相應(yīng)的區(qū)域，進(jìn)行人工 語(yǔ)義標(biāo)記，構(gòu)建得到訓(xùn)練集； 采用MPEG-7描述子中的顏色、紋理和形狀描述子來(lái)表征圖像區(qū)域的色彩、紋理、形狀 特征，將組合后的特征用于訓(xùn)練分類器； 其中采用可伸縮顏色描述子（ScalableColorDescriptor，SO))、顏色布局描述子(ColorLayoutDescriptor，CLD)和顏色結(jié)構(gòu)描述子（ColorStructureDescriptor，CSD) 來(lái)表征色彩特征；可伸縮顏色描述子s⑶測(cè)量了圖像的全局顏色分布情況，用srax(i)表 示區(qū)域X的第i個(gè)SCD特征，系數(shù)個(gè)數(shù)取64 ;顏色結(jié)構(gòu)描述子CSD利用結(jié)構(gòu)元素來(lái)描述圖 像顏色內(nèi)容在空間中的結(jié)構(gòu)關(guān)系，在反映圖像色彩信息的同時(shí)描繪了顏色的空間分布，用 CSDx (i)表示區(qū)域X的第i個(gè)CSD特征，顏色量化等級(jí)參數(shù)取64 ;顏色布局描述子CLD可以 描述任意形狀區(qū)域的顏色空間分布，分別取Y，Cb，Cr三個(gè)分量系數(shù)為6, 3, 3,得到描述子 0^={￥!￡(1)，〇3!￡(1)，0!^)}，乙(1)，〇3 !￡(1)，0上）表示區(qū)域1各顏色分量的第1個(gè)00' 系數(shù)，每個(gè)分量的第一個(gè)值為直流系數(shù)，剩余為交流系數(shù)；綜合三種描述子定義顏色特征的 度量準(zhǔn)則Dcolor=Dsm+DaD+DesD，用歐式距離來(lái)度量SCDXSD特征的相似性，相應(yīng)的距離計(jì) 算公式用Dsm和Desil表示：
采用同質(zhì)紋理描述子（HomogeneousTexturedescriptor，HTD)和邊緣直方圖描述子(EdgeHistogramdescriptor，EHD)來(lái)提取圖像區(qū)域的紋理特征；HTD描述子通過(guò)在頻域中 計(jì)算能量和能量方差來(lái)提供對(duì)紋理的量化描述，用HTDx (i)表示區(qū)域X的第i個(gè)HTD特征， 得到62個(gè)特征；EHD描述子捕獲了邊界的空間分布，當(dāng)紋理不均勻時(shí)，仍然可以提供有效的 邊界描述，用EHDx(i)表示區(qū)域X的第i個(gè)EHD特征，得到一個(gè)具有80個(gè)bin的代表區(qū)域 邊界的直方圖；紋理特征的相似性度量準(zhǔn)則定義為：
采用區(qū)域形狀描述子（RegionShapeDescriptor，RSD)計(jì)算圖像區(qū)域的形狀特征；RSD 描述子既可以表示單個(gè)區(qū)域，也可以描述多個(gè)不相連的區(qū)域，用RSDx(i)表示區(qū)域x的第i個(gè)RSD特征，可得35個(gè)系數(shù)；形狀特征的相似性度量準(zhǔn)則定義為：
對(duì)于訓(xùn)練集中的每個(gè)圖像區(qū)域，計(jì)算得到它們的顏色、紋理和形狀特征，從而計(jì)算圖像
訓(xùn)練得到區(qū)域級(jí)別的語(yǔ)義標(biāo)注分類器； 步驟3,對(duì)于基于語(yǔ)義的顏色傳輸步驟： 將分割得到的參考圖像和目標(biāo)圖像的子區(qū)域作為輸入，采用訓(xùn)練得到的語(yǔ)義標(biāo)注分類 器將每個(gè)區(qū)域歸類到語(yǔ)義層次結(jié)構(gòu)中的一個(gè)類別，從而得到區(qū)域的語(yǔ)義標(biāo)記詞；然后基于 圖2中的語(yǔ)義層次結(jié)構(gòu)圖來(lái)傳輸顏色，即若參考圖像和目標(biāo)圖像中兩個(gè)區(qū)域的語(yǔ)義相同， 則建立區(qū)域映射關(guān)聯(lián)，若語(yǔ)義不相同，但屬于語(yǔ)義層次結(jié)構(gòu)中同一個(gè)深色節(jié)點(diǎn)，則表示它們 有相似的語(yǔ)義，也建立區(qū)域映射關(guān)聯(lián)，在有映射關(guān)聯(lián)的區(qū)域間進(jìn)行顏色傳輸；若目標(biāo)圖像中 的待處理區(qū)域找不到相關(guān)聯(lián)的參考區(qū)域，則保持其顏色不變； 在傳輸顏色時(shí)，對(duì)每個(gè)像素點(diǎn)計(jì)算其屬于目標(biāo)圖像中各個(gè)區(qū)域的概率，根據(jù)概率加權(quán) 求和后得到最終的顏色值，防止在不同區(qū)域連接處出現(xiàn)顏色突變； 令N(x，y)表示點(diǎn)（x，y)鄰域所包含的區(qū)域集合，I(x，y)表示點(diǎn)（x，y)的顏色值，1\表 示目標(biāo)圖像中的一個(gè)區(qū)域i，則點(diǎn)（x，y)屬于Ti區(qū)域的概率FxyS: iPxy=d(I(x,y),Ti)/Z 其中，2=[^1^!^(1(1(叉，7)，1\)是歸一化因子，(1(1(叉，7)，1\)度量了點(diǎn)（叉，7)和區(qū)域Ti之間的距離； 根據(jù)（x，y)點(diǎn)和區(qū)域Ti之間的顏色差異和相鄰程度來(lái)定義其距離：
其中Ui表示區(qū)域T亦顏色均值，（Xi,Yi)表示區(qū)域Ti的質(zhì)心，5C= 0. 05，5S= 4， 用于保證區(qū)域邊界處的平滑； 在計(jì)算得到每個(gè)像素點(diǎn)所屬鄰域區(qū)域的概率后，根據(jù)由相似語(yǔ)義定義的映射關(guān)聯(lián)來(lái)計(jì) 算傳輸后的顏色值：
其中I°(X，y)、IT(X，y)分別表示輸出圖O和目標(biāo)圖T中像素點(diǎn)（x，y)的顏色值， 分別表示參考圖像R和目標(biāo)圖像T中第i個(gè)區(qū)域的顏色均值和方差；巾（?） 代表區(qū)域間的映射關(guān)聯(lián)，即4>(i)表示將目標(biāo)圖像中的第i個(gè)區(qū)域與參考圖像第4>(i)個(gè) 區(qū)域相關(guān)聯(lián)。
【文檔編號(hào)】G06T7/40GK104504734SQ201410472612
【公開日】2015年4月8日 申請(qǐng)日期:2014年9月16日 優(yōu)先權(quán)日:2014年9月16日
【發(fā)明者】范菁, 史曉穎, 董天陽(yáng), 湯穎 申請(qǐng)人:浙江工業(yè)大學(xué)