0037] C、先對人臉細部輪廓進行膨脹處理，再生成Trimap圖像，得到各輪廓圖像的前 景、背景和未知區(qū)域（前景設置為白色、背景設置為黑色、未知區(qū)域設置為灰色）；
[0038] D、根據(jù) Trimap 進行 matting 摳圖；
[0039] 進行matting摳圖的具體步驟如下：
[0040] D-1、對各輪廓圖像的前景或背景進行小規(guī)模的擴展；
[0041] D-2、擴展完成后，對剩余的未知區(qū)域內的每個像素點P，從像素點P出發(fā)，引出m條 路徑，每個路徑之間成360/m的夾角，記錄下每條路徑經(jīng)過的路線中首次遇到的前景點或 背景點，直到超出圖像的邊緣，得到m對前景和背景取樣點；
[0042] 為了算法的穩(wěn)定性，每矩形區(qū)域內（矩形區(qū)域范圍在3X3到9X9之間，區(qū)域越小 精度越高），路徑的起始角度周期性的改變，這樣與像素點P相鄰的未知像素的m條路徑經(jīng) 過的區(qū)域就有著較大的不同，能得到更為有效的結果集。
[0043] D-3、將步驟D-2得到的每個像素點P的m對前景和背景取樣點帶入目標函數(shù)（1)， 將使得目標函數(shù)（1)值最小的一對取樣點作為最佳的前景和背景取樣點，
[0044] Gp (fi； bj) = Dp (fi； bj) eDAp (fi； bj) eAFp (fi) efFp (b^eb； (I)
[0045] 式中：
[0046] :^和b j是前景和背景取樣點；
[0047] Dp況，bp表明使像素點P的nXn鄰域內的色彩失真最小化，3彡η彡9 ;
[0048] Fp況）和Fp如）表明執(zhí)行空間關聯(lián)準貝1J，即前景和背景的取樣應該盡可能的接近 像素點P ;
[0049] e {D, A, f, b}表明對這些指數(shù)中較大的值添加處罰；
[0050] Ap況，bj表明計算出的透明度α 5值關系著像素點P屬于前景的概率，α p的計算 公式如下：
[0051]
【主權項】
1. 一種基于人臉語義分析的人物照片顏色風格轉換方法，其特征在于，包括以下步 驟： (1) 輸入需要被轉換風格的源圖像和作為風格參照的參考圖像； (2) 對參考圖像進行人臉檢測，并根據(jù)檢測結果進行摳圖，得到分離的場景語義信息和 人臉細部語義信息； (3) 對源圖像進行人臉檢測，并根據(jù)檢測結果進行摳圖，得到分離的場景語義信息和人 臉細部語義信息； (4) 根據(jù)參考圖像各語義信息的顏色風格，調整源圖像中的對應語義信息的顏色風 格； (5) 將經(jīng)過步驟（4)調整的源圖像的各語義信息重新拼合，得到目標圖像。
2. 如權利要求1所述的基于人臉語義分析的人物照片顏色風格轉換方法，其特征在 于，步驟（1)中，輸入的參考圖像根據(jù)源圖像的內容自動生成，具體過程包括以下步驟： a、 建立參考圖像數(shù)據(jù)庫； b、 將源圖像與參考圖像數(shù)據(jù)庫內的圖像進行人臉匹配，將與源圖像相似度最大的圖像 作為風格參照的參考圖像。
3. 如權利要求2所述的基于人臉語義分析的人物照片顏色風格轉換方法，其特征在 于，在步驟a建立參考圖像數(shù)據(jù)庫時，即對所有參考圖像數(shù)據(jù)庫內的圖像進行步驟（2)的操 作，并將信息儲存，在步驟（1)中輸入?yún)⒖紙D像時，同時得到該參考圖像的場景語義信息和 人臉細部語義信息。
4. 如權利要求2所述的基于人臉語義分析的人物照片顏色風格轉換方法，其特征在 于，在步驟a建立參考圖像數(shù)據(jù)庫時，利用人臉識別工具，根據(jù)人臉特征，將所有圖像分組， 在步驟b中，先對源圖像進行人臉識別，根據(jù)源圖像的人臉特征，選取具有對應人臉特征的 圖像組內的圖像與源圖像進行人臉匹配。
5. 如權利要求1所述的基于人臉語義分析的人物照片顏色風格轉換方法，其特征在 于，步驟（2)和（3)中，根據(jù)人臉檢測結果，對經(jīng)檢測的圖像進行摳圖操作的具體步驟包 括： A、 根據(jù)人臉檢測，得到各人臉細部特征的關鍵點； B、 將各細部上的關鍵點連線，得到人臉細部輪廓； C、 先對人臉細部輪廓進行膨脹處理，再生成Trimap圖像，得到各輪廓圖像的前景、背 景和未知區(qū)域； D、 根據(jù)Trimap進行matting摳圖； 進行matting摳圖的具體步驟如下： D-1、對各輪廓圖像的前景或背景進行小規(guī)模的擴展； D-2、擴展完成后，對剩余的未知區(qū)域內的每個像素點P，從像素點P出發(fā)，引出m條路 徑，每個路徑之間成360/m的夾角，記錄下每條路徑經(jīng)過的路線中首次遇到的前景點或背 景點，直到超出圖像的邊緣，得到m對前景和背景取樣點； D-3、將步驟D-2得到的每個像素點P的m對前景和背景取樣點帶入目標函數(shù)（1)，將使 得目標函數(shù)（1)值最小的一對取樣點作為最佳的前景和背景取樣點， Gp (fi； bj) = Dp (fi； bj) eDAp (fi； bj) eAFp (fi) efFp (bi)eb； (I) 式中： 4和h是前景和背景取樣點； Dp(fi，bj)表明使像素點P的nXn鄰域內的色彩失真最小化，3彡η彡9 ; Fp(fj和Fp(bj表明執(zhí)行空間關聯(lián)準則，即前景和背景的取樣應該盡可能的接近像素 點P ; e{D，A，f，b}表明對這些指數(shù)中較大的值添加處罰； Ap(fi，bp表明計算出的透明度（^值關系著像素點P屬于前景的概率，α p的計算公式 如下：
式中： α p表示像素點P的alpha值，即透明度； Cp表示像素點P的顏色值； 戶和W分別表示任一一對前景點f JP背景點h的顏色值； 將得到各像素點P的最佳的前景和背景取樣點的數(shù)據(jù)帶入公式（2)，計算得到對應像 素點P的透明度α p值： 對于步驟D-2中，無法得到m對前景和背景取樣點的像素點P，獲取最佳的前景和背景 取樣點以及對應的透明度αρ值的方法如下： 對這類像素點P在s X s鄰域內，將未知區(qū)域內的其他像素點P的最佳的前景和背景取 樣點數(shù)據(jù)帶入公式（3)中，3彡s彡9， Nv(F1,Bj) =II Cp -{avr + (I-^)Bj) \\ (3) 計算使N1^Fi, 最小時，α 5的數(shù)值； 同時獲取Np (Fi, 最小的3~5個像素點Ρ，對這些像素點P的數(shù)據(jù)進行加權平均，得 到數(shù)據(jù)對 g = , @ , g, ); 分別表示前景的平均顏色值和背景點的平均顏色值； ?^2, 分別表示前景點鄰域內的局部顏色變化的平均值和背景點鄰域內的局部顏色 變化的平均值； 再按照公式（4)、（5)和（6)，計算得到的F;、和，作為在步驟D-2中無法得 到m對前景和背景取樣點的像素點P的最佳的前景、背景取樣點和透明度；
D-4、對得到的剩余的未知區(qū)域內的所有像素點P的最佳的前景和背景取樣點以及對 應的透明度^^值進行平滑處理，完成摳圖處理。
6. 如權利要求1所述的基于人臉語義分析的人物照片顏色風格轉換方法，其特征在 于，在步驟（3)中，對得到的源圖像的人臉細部語義信息利用用戶筆觸的交互方式進行精 細摳圖。
7. 如權利要求6所述的基于人臉語義分析的人物照片顏色風格轉換方法，其特征在 于，對得到的源圖像的人臉細部語義信息利用用戶筆觸的交互方式進行精細摳圖的具體方 法如下： i、 通過兩種不同顏色，人為區(qū)分各人臉細部圖像的前景與背景，同時得到未知區(qū)域； ii、 每一個未知區(qū)域Ω中的像素點P表示一個節(jié)點，去連接它周圍四連通域中的節(jié)點 N (p)，用圖結構來表示馬爾可夫隨機場，將未知區(qū)域建模為馬爾可夫隨機場，對馬爾可夫隨 機場中的每一個像素點P進行采樣，得到所有像素點P的前景和背景顏色值，并構建能量方 程⑵，
g和5;表示未知區(qū)域內任一像素點P的前景和背景的顏色值； α p表示像素點P的alpha值，即透明度； Cp表示像素點P的顏色值； g表示(；和- (1 -)%(/，./e (丨，2,…，/V))的距離方差； I... I I表示RGB色彩空間中的歐式距離； 光滑項五? Σ 丨丨- q^N{p) 像素點q表示像素點P在r Xr鄰域內的任一點像素，3 < r < 9 ; 自適應動態(tài)權重; k表示迭代次數(shù)； β表示常數(shù)； e為自然常數(shù)； iii、 將數(shù)據(jù)項和光滑項帶入能量方程，得到公式（8)，將邊界條件帶入公式（8)能夠獲 取圖像matte ;
其中，邊界條件為
3F表示前景區(qū)域，Ω ,表示背景區(qū)域。 定義Ω_?={ρ€Ω|ο^ 2 0.99,C"二;Fp}，保證像素點在中一定屬于前景； 定義Ω?廣{p e Ω|\ < 0.01,C"二By,丨，保證像素點在Ω;中一定屬于背景； iv、 更新Ω》和??，同時利用公式（9)增強FjP B p;
Fjp B 5為像素點P的前景點和背景點； 乂、重復步驟1:1-~，直到〇^和丨〇5都為空； vi、迭代終止，完成收斂。
8. 如權利要求1所述的基于人臉語義分析的人物照片顏色風格轉換方法，其特征在 于，步驟（4)中，根據(jù)參考圖像的顏色風格，調整源圖像的對應語義信息的顏色風格具體步 驟包括： 4-1、把源圖像和參考圖像由RGB色彩空間轉換為Lab色彩空間； 4-2、分別計算源圖像和參考圖像的三個通道的均值和方差； 4-3、對源圖像的每一通道的每個像素點作運算： p = (P-IH1) · ((Vdj+nvmpmdd；^別為源圖像和參考圖像在Lab色彩空間下任一 通道的均值和方差，P為對應像素值； 4-4、把源圖像由Lab色彩空間轉換回RGB色彩空間； 4-5、對轉換回的RGB色彩空間的源圖像作越界檢測矯正處理。
9. 如權利要求1所述的基于人臉語義分析的人物照片顏色風格轉換方法，其特征在 于，步驟（5)中，通過alpha混合將源圖像的各語義信息重新拼合。
【專利摘要】本發(fā)明公開了一種基于人臉語義分析的人物照片顏色風格轉換方法，包括以下步驟：輸入需要被轉換風格的源圖像和作為風格參照的參考圖像；對參考圖像和源圖像進行人臉檢測，并根據(jù)檢測結果進行摳圖，分別得到分離的場景語義信息和人臉細部語義信息；根據(jù)參考圖像各語義信息的顏色風格，調整源圖像中的對應語義信息的顏色風格；將調整后的源圖像的各語義信息重新拼合，得到目標圖像。本發(fā)明將需要被轉換風格的源圖像和作為風格參照的參考圖像的場景語義信息和人臉細部語義信息分離出來，之后進行一一對應的顏色轉換，有效保留了源圖像的內容，準確獲得參考圖像的顏色空間分布，使轉化后的源圖像且具有較強的視覺連貫性。
【IPC分類】G06T5-50, G06T7-00, G06T11-00
【公開號】CN104732506
【申請?zhí)枴緾N201510138193
【發(fā)明人】金小剛, 楊悅
【申請人】浙江大學
【公開日】2015年6月24日
【申請日】2015年3月27日