圖像處理方法及裝置制造方法
【專利摘要】本發(fā)明實(shí)施例提供一種圖像處理方法及裝置。該方法包括：獲取源圖像和目標(biāo)圖像的人臉部分；對(duì)源圖像和目標(biāo)圖像的人臉部分進(jìn)行對(duì)比分析，得到源圖像和目標(biāo)圖像的人臉部分之間的融合線，融合線為源圖像和目標(biāo)圖像的人臉部分眉毛以上區(qū)域中圖像差異最小的像素線，融合線位于人臉部分的眉毛以上的區(qū)域；將源圖像和目標(biāo)圖像的人臉部分以融合線為分界線，分別分割得到對(duì)應(yīng)的第一部分和第二部分，并在目標(biāo)圖像中，將源圖像的人臉部分的第一部分代替目標(biāo)圖像的人臉部分的第一部分，得到處理后的圖像；其中，第一部分為人臉部分中包括鼻子的部分。本發(fā)明實(shí)施例可應(yīng)用于源圖像的人臉替換目標(biāo)圖像的圖像處理中，可提高替換后的圖像處理效果。
【專利說(shuō)明】圖像處理方法及裝置
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明實(shí)施例涉及圖像處理技術(shù)，尤其涉及一種圖像處理方法及裝置。
【背景技術(shù)】
[0002]人臉圖像變形處理是圖像處理的一個(gè)重要方面，廣泛應(yīng)用于醫(yī)療、刑事偵破、人臉圖像合成、三維人臉圖像重建、圖像檢索以及人臉整形等領(lǐng)域，其中，將兩個(gè)人物圖像中的人臉進(jìn)行替換，就是人臉圖像變形中的一種。
[0003]現(xiàn)有方法對(duì)兩個(gè)人臉圖像進(jìn)行替換時(shí)，通常采用圖像融合的方法。電影特技中的過(guò)渡變形方法是:首先，將源圖像和目標(biāo)圖像分別采用相關(guān)的變形算法進(jìn)行變形，然后，將變形后的兩個(gè)圖像融合在一起，得到一個(gè)中間圖像，該中間圖像就是變形處理后的變形圖像。人臉替換常用的方法是將變形后的源圖像中的人臉全部替換成目標(biāo)圖像的人臉，同時(shí)，將目標(biāo)圖像中除人臉之外的部分與源圖像中的相應(yīng)部分進(jìn)行融合，這種變形處理后得到的變形圖像人臉與背景之間的融合較差，導(dǎo)致變形圖像效果差，無(wú)法滿足實(shí)際的人臉圖像變形的需要。
[0004]綜上，現(xiàn)有人臉圖像變形，僅是將人臉部分進(jìn)行簡(jiǎn)單替換，得到的變形圖像中人臉部分與其他部分之間的差異較大，導(dǎo)致人臉圖像變形效果較差。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實(shí)施例提供一種圖像處理方法及裝置，可克服現(xiàn)有人臉圖像變形所存在的人臉圖像變形較差的問(wèn)題，提高人臉圖像變形的處理效果。
[0006]本發(fā)明實(shí)施例的第一方面提供一種圖像處理方法，包括:
[0007]獲取源圖像和目標(biāo)圖像的人臉部分；
[0008]對(duì)所述源圖像和目標(biāo)圖像的人臉部分進(jìn)行對(duì)比分析，得到所述源圖像和目標(biāo)圖像的人臉部分之間的融合線，所述融合線為所述源圖像和目標(biāo)圖像的人臉部分中圖像差異最小的像素線，且所述融合線位于人臉部分的眉毛以上的區(qū)域；
[0009]將所述源圖像和目標(biāo)圖像的人臉部分以所述融合線為分界線，分別分割得到對(duì)應(yīng)的第一部分和第二部分，并在所述目標(biāo)圖像中，將所述源圖像的人臉部分的第一部分代替所述目標(biāo)圖像的人臉部分的第一部分，得到處理后的圖像；
[0010]其中，所述第一部分為人臉部分中包括鼻子的部分。
[0011]結(jié)合第一方面，在第一種可能的實(shí)現(xiàn)方式中，對(duì)所述源圖像和目標(biāo)圖像的人臉部分進(jìn)行對(duì)比分析，得到所述源圖像和目標(biāo)圖像的人臉部分之間的融合線，具體包括:
[0012]獲取所述源圖像和目標(biāo)圖像的人臉部分的眉毛以上的區(qū)域，并將所述區(qū)域作為搜索區(qū)域；
[0013]在所述搜索區(qū)域內(nèi)，將所述源圖像中位于眼睛兩側(cè)的兩個(gè)圖像特征點(diǎn)作為起始點(diǎn)和目標(biāo)點(diǎn)，其中，所述起始點(diǎn)和目標(biāo)點(diǎn)為位于人臉部分的邊界的像素點(diǎn)；
[0014]在所述搜索區(qū)域內(nèi)，采用A*算法，由所述起始點(diǎn)開始到目標(biāo)點(diǎn)結(jié)束，搜索得到所述源圖像和目標(biāo)圖像的人臉部分中圖像差異最小的像素點(diǎn)形成的像素線，所述像素線即為融合線。
[0015]結(jié)合第一方面或第一方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，得到處理后的圖像之后，還包括:
[0016]對(duì)所述處理后的圖像中的各像素RGB值進(jìn)行線性插值，調(diào)整所述處理后的圖像的膚色。
[0017]結(jié)合第一方面或第一方面的第一或第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，所述對(duì)所述源圖像和目標(biāo)圖像的人臉部分進(jìn)行對(duì)比分析，得到所述源圖像和目標(biāo)圖像的人臉部分之間的融合線之前，還包括:
[0018]對(duì)所述源圖像和目標(biāo)圖像的人臉部分進(jìn)行膚色檢測(cè)，將所述源圖像的人臉部分的膚色調(diào)整成與所述目標(biāo)圖像的人臉部分的膚色相同。
[0019]結(jié)合第一方面或第一方面的第一或第二或第三種可能的實(shí)現(xiàn)方式，在第四種可能的實(shí)現(xiàn)方式中，所述獲取源圖像和目標(biāo)圖像的人臉部分，具體包括:
[0020]獲取源圖像和目標(biāo)圖像的人臉區(qū)域；
[0021]在所述源圖像和目標(biāo)圖像的人臉區(qū)域中，確定人臉的眼睛區(qū)域；
[0022]基于所述人臉的眼睛區(qū)域，采用ASM算法，在人臉特征模型庫(kù)中搜索得到所述源圖像和目標(biāo)圖像的人臉的特征點(diǎn)，確定所述源圖像和目標(biāo)圖像的人臉部分，其中，所述人臉特征模型庫(kù)中設(shè)置有人臉的多個(gè)特征點(diǎn)，包括眉毛區(qū)域特征點(diǎn)、眼睛區(qū)域特征點(diǎn)、鼻子區(qū)域特征點(diǎn)、嘴區(qū)域特征點(diǎn)和下顎特征點(diǎn)。
[0023]結(jié)合第一方面或第一方面的第一或第二或第三或第四種可能的實(shí)現(xiàn)方式，在第五種可能的實(shí)現(xiàn)方式中，所述對(duì)所述源圖像和目標(biāo)圖像的人臉部分進(jìn)行對(duì)比分析，得到所述源圖像和目標(biāo)圖像的人臉部分之間的融合線之前，還包括:
[0024]根據(jù)所述源圖像和目標(biāo)圖像的人臉部分中的下顎特征點(diǎn)，將所述源圖像的人臉部分變形成與所述目標(biāo)圖像的人臉部分大小相同。
[0025]結(jié)合第一方面的第五種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述源圖像和目標(biāo)圖像的人臉部分中的下顎特征點(diǎn)，將所述源圖像的人臉部分變形成與所述目標(biāo)圖像的人臉部分大小相同，具體包括:
[0026]根據(jù)所述源圖像和目標(biāo)圖像的人臉部分中的下顎特征點(diǎn)，采用薄板樣條算法將所述源圖像的人臉部分變形成與所述目標(biāo)圖像的人臉部分相同。
[0027]本發(fā)明的第二方面提供一種圖像處理裝置，包括:
[0028]人臉獲取模塊，用于獲取源圖像和目標(biāo)圖像的人臉部分；
[0029]人臉?lè)治瞿K，用于對(duì)所述源圖像和目標(biāo)圖像的人臉部分進(jìn)行對(duì)比分析，得到所述源圖像和目標(biāo)圖像的人臉部分之間的融合線，所述融合線為所述源圖像和目標(biāo)圖像的人臉部分中圖像差異最小的像素線，且所述融合線位于人臉部分的眉毛以上的區(qū)域；
[0030]人臉處理模塊，用于將所述源圖像和目標(biāo)圖像的人臉部分以所述融合線為分界線，分別分割得到對(duì)應(yīng)的第一部分和第二部分，并在所述目標(biāo)圖像中，將所述源圖像的人臉部分的第一部分代替所述目標(biāo)圖像的人臉部分的第一部分，得到處理后的圖像；
[0031]其中，所述第一部分為人臉部分中包括鼻子的部分。
[0032]結(jié)合第二方面，在第一種可能的實(shí)現(xiàn)方式中，所述人臉?lè)治瞿K包括:[0033]搜索區(qū)域獲取單元，用于獲取所述源圖像和目標(biāo)圖像的人臉部分的眉毛以上的區(qū)域，并將所述區(qū)域作為搜索區(qū)域；
[0034]搜索點(diǎn)獲取單元，用于在所述搜索區(qū)域內(nèi)，將所述源圖像中位于眼睛兩側(cè)的兩個(gè)圖像特征點(diǎn)作為起始點(diǎn)和目標(biāo)點(diǎn)，其中，所述起始點(diǎn)和目標(biāo)點(diǎn)為位于人臉部分的邊界的像素點(diǎn)；
[0035]融合線獲取單元，用于在所述搜索區(qū)域內(nèi)，采用A*算法，由所述起始點(diǎn)開始到目標(biāo)點(diǎn)結(jié)束，搜索得到所述源圖像和目標(biāo)圖像的人臉部分中圖像差異最小的像素點(diǎn)形成的像素線，所述像素線即為融合線。
[0036]結(jié)合第二方面或第二方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，所述的圖像處理裝置還包括:
[0037]膚色調(diào)整模塊，用于對(duì)所述處理后的圖像中的各像素RGB值進(jìn)行線性插值，調(diào)整所述處理后的圖像的膚色。
[0038]結(jié)合第二方面或第二方面的第一或第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，所述的圖像處理裝置還包括:
[0039]膚色檢測(cè)調(diào)整模塊，用于對(duì)所述源圖像和目標(biāo)圖像的人臉部分進(jìn)行膚色檢測(cè)，將所述源圖像的人臉部分的膚色調(diào)整成與所述目標(biāo)圖像的人臉部分的膚色相同。
[0040]結(jié)合第二方面或第二方面的第一或第二或第三種可能的實(shí)現(xiàn)方式，在第四種可能的實(shí)現(xiàn)方式中，所述人臉獲取模塊包括:
[0041]人臉區(qū)域獲取單元，用于獲取源圖像和目標(biāo)圖像的人臉區(qū)域；
[0042]眼睛區(qū)域獲取單元，用于在所述源圖像和目標(biāo)圖像的人臉區(qū)域中，確定人臉的眼睛區(qū)域；
[0043]人臉部分確定單元，用于基于所述人臉的眼睛區(qū)域，采用ASM算法，在人臉特征模型庫(kù)中搜索得到所述源圖像和目標(biāo)圖像的人臉的特征點(diǎn)，確定所述源圖像和目標(biāo)圖像的人臉部分，其中，所述人臉特征模型庫(kù)中設(shè)置有人臉的多個(gè)特征點(diǎn)，包括眉毛區(qū)域特征點(diǎn)、眼睛區(qū)域特征點(diǎn)、鼻子區(qū)域特征點(diǎn)、嘴區(qū)域特征點(diǎn)和下顎特征點(diǎn)。
[0044]結(jié)合第二方面或第二方面的第一或第二或第三或第四種可能的實(shí)現(xiàn)方式，在第五種可能的實(shí)現(xiàn)方式中，所述的圖像處理裝置還包括:
[0045]圖像調(diào)整模塊，用于根據(jù)所述源圖像和目標(biāo)圖像的人臉部分中的下顎特征點(diǎn)，將所述源圖像的人臉部分變形成與所述目標(biāo)圖像的人臉部分大小相同。
[0046]結(jié)合第二方面的第五種可能的實(shí)現(xiàn)方式，在第六種可能的實(shí)現(xiàn)方式中，所述圖像調(diào)整模塊，具體用于根據(jù)所述源圖像和目標(biāo)圖像的人臉部分中的下顎特征點(diǎn)，采用薄板樣條算法將所述源圖像的人臉部分變形成與所述目標(biāo)圖像的人臉部分相同。
[0047]綜上，本發(fā)明實(shí)施例提供的圖像處理方法及裝置，在將源圖像中的人臉替換目標(biāo)圖像中的人臉時(shí)，通過(guò)對(duì)源圖像和目標(biāo)圖像的人臉部分進(jìn)行對(duì)比分析，得到兩個(gè)人臉部分之間的圖像差異最小的融合線，并可以該融合線為分界線，進(jìn)行兩個(gè)人臉部分的替換，這樣，目標(biāo)圖像中僅需要替換部分人臉，且替換的部分人臉與目標(biāo)圖像中的其他部分具有較好的拼接效果，目標(biāo)圖像中被代替的人臉部分與其他部分之間的差異較小，提高了圖像的變形處理效果。【專利附圖】

【附圖說(shuō)明】
[0048]圖1為本發(fā)明實(shí)施例一提供的圖像處理方法的流程示意圖；
[0049]圖2為本發(fā)明實(shí)施例二提供的圖像處理方法的流程示意圖；
[0050]圖3為本發(fā)明實(shí)施例三提供的圖像處理方法的流程示意圖；
[0051]圖4為本發(fā)明實(shí)施例四提供的圖像處理裝置的結(jié)構(gòu)示意圖；
[0052]圖5為本發(fā)明實(shí)施例五提供的圖像處理裝置的結(jié)構(gòu)示意圖；
[0053]圖6為本發(fā)明實(shí)施例六提供的圖像處理裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0054]圖1為本發(fā)明實(shí)施例一提供的圖像處理方法的流程示意圖。如圖1所示，本實(shí)施例方法可包括如下步驟:
[0055]步驟101、獲取源圖像和目標(biāo)圖像的人臉部分；
[0056]步驟102、對(duì)源圖像和目標(biāo)圖像的人臉部分進(jìn)行對(duì)比分析，得到源圖像和目標(biāo)圖像的人臉部分之間的融合線，該融合線為源圖像和目標(biāo)圖像的人臉部分眉毛以上區(qū)域中圖像差異最小的像素線，該融合線位于人臉部分的眉毛以上的區(qū)域；
[0057]步驟103、將源圖像和目標(biāo)圖像的人臉部分以融合線為分界線，分別分割得到對(duì)應(yīng)的第一部分和第二部分，并在目標(biāo)圖像中，將源圖像的人臉部分的第一部分代替目標(biāo)圖像的人臉部分的第一部分，得到處理后的圖像，其中，第一部分為人臉部分中包括鼻子的部分。
[0058]本實(shí)施例可應(yīng)用于圖像的人臉變形處理中，具體地，可應(yīng)用于在將源圖像的人臉融合到目標(biāo)圖像的人臉的處理中，在人臉替換時(shí)，可在人臉眉毛以上的區(qū)域內(nèi)，獲得源圖像和目標(biāo)圖像的人臉部分的融合線，并將源圖像的人臉部分中位于融合線以下的區(qū)域，即包括鼻子的區(qū)域代替目標(biāo)圖像中的相應(yīng)區(qū)域，從而得到處理后的圖像。這樣，基于該融合線進(jìn)行兩張圖像的人臉部分的融合時(shí)，由于該融合線為兩個(gè)圖像的人臉中圖像差異最小的像素線，因此，以該融合線進(jìn)行兩個(gè)圖像的拼接(融合)時(shí)，具有較好的拼接效果，得到的人臉可更好的融入目標(biāo)圖像的整個(gè)背景中，使得處理后的圖像中被代替的人臉部分與其他部分之間的差異較小，提高了圖像的變形處理效果。
[0059]本領(lǐng)域技術(shù)人員可以理解，本實(shí)施例中所述的源圖像和目標(biāo)圖像均是指人物圖像，即包括有人臉部分的圖像；其中，所述的人臉部分是指圖像中人臉圖像。
[0060]本發(fā)明實(shí)施例提供的圖像變形處理方法，通過(guò)對(duì)源圖像和目標(biāo)圖像的人臉部分進(jìn)行對(duì)比分析，得到兩個(gè)人臉部分之間的圖像差異最小的融合線，并可以該融合線為分界線，進(jìn)行兩個(gè)人臉部分的替換，這樣，目標(biāo)圖像中僅需要替換部分人臉，且替換的部分人臉與目標(biāo)圖像中的其他部分具有較好的拼接效果，目標(biāo)圖像中被代替的人臉部分與其他部分之間的差異較小，提高了圖像的變形處理效果。
[0061]圖2為本發(fā)明實(shí)施例二提供的圖像處理方法的流程示意圖。本實(shí)施例可基于A*算法進(jìn)行兩個(gè)人臉部分的融合線的確定，具體地，如圖2所示，本實(shí)施例圖像處理方法可包括如下步驟:
[0062]步驟201、獲取源圖像和目標(biāo)圖像的人臉部分；
[0063]步驟202、獲取源圖像和目標(biāo)圖像的人臉部分的眉毛以上的區(qū)域，并將該區(qū)域作為搜索區(qū)域；
[0064]步驟203、在該搜索區(qū)域內(nèi)，將源圖像中位于眼睛兩側(cè)的兩個(gè)圖像特征點(diǎn)作為起始點(diǎn)和目標(biāo)點(diǎn)，其中，該起始點(diǎn)和目標(biāo)點(diǎn)為位于人臉部分的邊界的像素點(diǎn)；
[0065]步驟204、在搜索區(qū)域內(nèi)，采用A*算法，由起始點(diǎn)開始到目標(biāo)點(diǎn)結(jié)束，搜索得到源圖像和目標(biāo)圖像的人臉部分中圖像差異最小的像素點(diǎn)形成的像素線，該像素線即為融合線.[0066]步驟205、將源圖像和目標(biāo)圖像的人臉部分以融合線為分界線，分別分割得到對(duì)應(yīng)的第一部分和第二部分，并在目標(biāo)圖像中，將源圖像的人臉部分的第一部分代替目標(biāo)圖像的人臉部分的第一部分，得到處理后的圖像。
[0067]上述步驟201中，獲取的源圖像和目標(biāo)圖像的人臉部分應(yīng)大小相同，這樣，在步驟202-步驟204中，確定搜索區(qū)域，并在搜索區(qū)域中確定A*算法的起始點(diǎn)和目標(biāo)點(diǎn)時(shí)，才能準(zhǔn)確的找出兩個(gè)人臉部分對(duì)齊位置的邊界像素點(diǎn)。同時(shí)，該起始點(diǎn)和目標(biāo)點(diǎn)可以是確定人臉部分的特征點(diǎn)，例如預(yù)先設(shè)定的位于人臉眼角位置的兩個(gè)特征點(diǎn)，或者靠近眉毛位置等的特征點(diǎn)，該起始點(diǎn)和目標(biāo)點(diǎn)的具體設(shè)定可以根據(jù)需要而設(shè)定或默認(rèn)設(shè)定，通常為位于人眼兩端處于鬢角位置的兩個(gè)特征點(diǎn)。
[0068]上述步驟204中，A*算法是一種求解最短路徑最有效的方法，本實(shí)施例中可將兩個(gè)人臉部分中圖像差異(通常為圖像的灰度差異)最小作為搜索策略，并在設(shè)定的搜索區(qū)域內(nèi)確定上述的融合線。本領(lǐng)域技術(shù)人員可以理解，人臉部分的圖像是由一系列像素點(diǎn)組成，因此，基于A*算法，可以搜索得到從起始點(diǎn)到目標(biāo)點(diǎn)之間的差異最小的像素點(diǎn)集合，該像素點(diǎn)集合構(gòu)成的像素線就是本實(shí)施例所要確定的對(duì)兩張圖像的人臉部分進(jìn)行融合時(shí)的拼接線。其中A*算法的具體處理過(guò)程在此不再贅述。
[0069]上述步驟205中，在以融合線進(jìn)行兩個(gè)人臉部分的劃分時(shí)，為確保將源圖像中的人臉能夠在目標(biāo)圖像中體現(xiàn)，因此，會(huì)將能最好的體現(xiàn)源圖像的人臉的鼻子、嘴巴區(qū)域的部分進(jìn)行替換，而將額頭等部分則保留目標(biāo)圖像中的，從而可在處理后的圖像中，能夠體現(xiàn)源圖像中人臉，同時(shí)該人臉又能更好的融合在目標(biāo)圖像的整個(gè)背景(包括頭發(fā)等)中，使得圖像處理的效果更佳逼真，效果更好。
[0070]本實(shí)施例中，上述步驟205，得到處理后的圖像之后還可包括對(duì)處理后的圖像進(jìn)行膚色調(diào)整的步驟，具體地，可對(duì)處理后的圖像中的各像素RGB值進(jìn)行線性插值，對(duì)處理后的圖像進(jìn)行膚色調(diào)整，使得在處理后的圖像在融合線處可具有更平滑的過(guò)渡，進(jìn)一步地提高圖像處理效果。
[0071]本實(shí)施例中，上述步驟202之前，還可包括對(duì)兩張人臉部分的膚色進(jìn)行調(diào)整的步驟，具體地，可對(duì)步驟201獲得的源圖像和目標(biāo)圖像的人臉部分進(jìn)行膚色檢測(cè)，將源圖像的人臉部分的膚色調(diào)整成與目標(biāo)圖像的人臉部分的膚色相同。這樣，進(jìn)行膚色調(diào)整后的源圖像的人臉部分，替換到目標(biāo)圖像后，可更好的融合到目標(biāo)圖像的整個(gè)背景中，提高圖像處理效果。
[0072]本實(shí)施例中，上述步驟201中獲取源圖像和目標(biāo)圖像的人臉部分具體可包括以下步驟:
[0073]步驟2011、獲取源圖像和目標(biāo)圖像的人臉區(qū)域；
[0074]步驟2012、在源圖像和目標(biāo)圖像的人臉區(qū)域中，確定人臉的眼睛區(qū)域；[0075]步驟2013、基于人臉的眼睛區(qū)域，采用ASM算法，在人臉特征模型庫(kù)中搜索得到源圖像和目標(biāo)圖像的人臉的特征點(diǎn)，確定源圖像和目標(biāo)圖像的人臉部分，其中，人臉特征模型庫(kù)中設(shè)置有人臉的多個(gè)特征點(diǎn)，包括眉毛區(qū)域特征點(diǎn)、眼睛區(qū)域特征點(diǎn)、鼻子區(qū)域特征點(diǎn)、嘴區(qū)域特征點(diǎn)和下顎特征點(diǎn)。
[0076]其中，上述特征模型庫(kù)是通過(guò)活動(dòng)形狀模型(Active Shape Model, ASM)算法得至|J，該人臉特征庫(kù)是通過(guò)ASM訓(xùn)練階段得到的人臉特征點(diǎn)訓(xùn)練集合，且該些特征點(diǎn)是利用微表情正面人臉圖像以固定編號(hào)進(jìn)行手工特征點(diǎn)標(biāo)定出來(lái)的，從而基于該訓(xùn)練得到的特征點(diǎn)就可以建立主動(dòng)形狀模型和局部紋理模型，從而得到平均人臉形狀。因此，基于ASM算法，就可以通過(guò)上述確定的源圖像和目標(biāo)圖像的人臉區(qū)域中的眼睛區(qū)域，來(lái)對(duì)訓(xùn)練得到的平均人臉形狀進(jìn)行縮放、旋轉(zhuǎn)以及平移操作等估計(jì)出源圖像和目標(biāo)圖像的人臉部分，并可確定該人臉部分的各特征點(diǎn)，其中，這些特征點(diǎn)應(yīng)包括眉毛區(qū)域特征點(diǎn)、眼睛區(qū)域特征點(diǎn)、鼻子區(qū)域特征點(diǎn)、嘴區(qū)域特征點(diǎn)和下顎特征點(diǎn)，這些特征點(diǎn)可準(zhǔn)確地確定出人臉部分。
[0077]其中，ASM算法是一種物體形狀描述技術(shù)，可通過(guò)選取一組訓(xùn)練樣本，用一組特征點(diǎn)來(lái)描述樣本的形狀，然后對(duì)各樣本的形狀進(jìn)行配準(zhǔn)(使得形狀盡可能地相似)，對(duì)這些配準(zhǔn)后的形狀向量可利用主分量分析方法進(jìn)行統(tǒng)計(jì)建模，從而得到物體形狀的統(tǒng)計(jì)學(xué)描述。因此，通過(guò)ASM算法建立的模型在新的圖像中搜索物體輪廓，就可以確定新的圖像的輪廓。本實(shí)施例采用ASM算法來(lái)確定人臉特征點(diǎn)時(shí)，使得特征點(diǎn)的定位準(zhǔn)確度、可靠性、魯棒性、速度上均具有較好的效果，提高人臉特征點(diǎn)獲取的準(zhǔn)確性和快速性。
[0078]本實(shí)施中，在上述步驟201中，獲取源圖像和目標(biāo)圖像的人臉部分若要大小相同，具體可根據(jù)上述獲取的源圖像和目標(biāo)圖像的人臉部分中的下顎特征點(diǎn)，將源圖像的人臉部分變形成與目標(biāo)圖像的人臉部分大小相同。具體地，可根據(jù)源圖像和目標(biāo)圖像的人臉部分中的下顎特征點(diǎn)，采用薄板樣條(ThinPlate Splin, TPS)算法將源圖像的人臉部分變形成與目標(biāo)圖像的人臉部分相同。其中，TPS算法是一種插值方法，通過(guò)該算法可尋找一個(gè)通過(guò)所有控制點(diǎn)的彎曲最小的光滑曲面:就像一個(gè)薄鐵板，鐵板表面是光滑的，通過(guò)所給定的幾個(gè)“樣條”(比如木條)來(lái)逼近鐵板，在控制點(diǎn)的約束下，薄板樣條讓平面具有像彎曲的薄鋼板一樣的表面性質(zhì)，即形變總是具有最小的物理彎曲能量，本實(shí)施例中通過(guò)將下顎特征點(diǎn)作為控制點(diǎn)來(lái)利用TPS算法將源圖像的人臉部分便形成與目標(biāo)圖像的人臉部分相同，具有較好的變形效果。
[0079]本實(shí)施例中，通過(guò)薄板樣條算法可使得待處理的兩個(gè)圖像的人臉部分調(diào)整成大小相同，這樣，可便于后續(xù)A*算法進(jìn)行融合線的搜索處理過(guò)程中，可準(zhǔn)確查找得到兩個(gè)人臉部分進(jìn)行融合的最佳融合線。
[0080]為便于對(duì)本發(fā)明實(shí)施例技術(shù)方案的理解，下面將以源圖像和目標(biāo)圖像的具體處理過(guò)程進(jìn)行詳細(xì)說(shuō)明。
[0081]圖3為本發(fā)明實(shí)施例三提供的圖像處理方法的流程示意圖。如圖3所示，本實(shí)施例可包括如下步驟:
[0082]步驟301、對(duì)源圖像和目標(biāo)圖像進(jìn)行預(yù)處理。
[0083]本步驟中，可對(duì)源圖像和目標(biāo)圖像進(jìn)行灰度處理，得到源圖像和目標(biāo)圖像的灰度圖像。同時(shí)，為保證源圖像的圖像質(zhì)量與圖像信息的完整性，將源圖像的大小調(diào)整到目標(biāo)圖像大小。例如，在手機(jī)上實(shí)現(xiàn)圖像處理時(shí)，考慮手機(jī)的實(shí)際效率，可將源圖像和目標(biāo)圖像的高度歸一化為512 (即512像素高度尺寸)。
[0084]其中，對(duì)源圖像和目標(biāo)圖像進(jìn)行灰度處理，可首先判斷目標(biāo)圖像和源圖像是否為彩色圖像，若是則通過(guò)以下轉(zhuǎn)化公式將源圖像和目標(biāo)圖像轉(zhuǎn)為灰度圖像:
[0085]F=0.2989*R+0.5870*G+0.1140*B
[0086]其中，F(xiàn)為輸出的灰度圖像，R、G、B分別表不輸入的紅、綠、藍(lán)彩色分量。
[0087]本實(shí)施例中，通過(guò)對(duì)圖像進(jìn)行灰度處理，可在人臉檢測(cè)、眼睛定位以及搜索融合線的過(guò)程中基于灰度圖像進(jìn)行處理。
[0088]本實(shí)施例中，將源圖像的大小調(diào)整到目標(biāo)圖像大小時(shí)，為減少伸縮導(dǎo)致圖像局部的拉伸或者壓扁而降低圖像質(zhì)量，可通過(guò)先填充后歸一化的方法以保證源圖像的信息的完整性。本實(shí)施例以將兩張圖像歸一化到512進(jìn)行說(shuō)明，具體過(guò)程如下:
[0089](I)計(jì)算源圖像A和目標(biāo)圖像B的寬度與高度比例。
【權(quán)利要求】
1.一種圖像處理方法，其特征在于，包括: 獲取源圖像和目標(biāo)圖像的人臉部分； 對(duì)所述源圖像和目標(biāo)圖像的人臉部分進(jìn)行對(duì)比分析，得到所述源圖像和目標(biāo)圖像的人臉部分之間的融合線，所述融合線為所述源圖像和目標(biāo)圖像的人臉部分眉毛以上區(qū)域中圖像差異最小的像素線，所述融合線位于人臉部分的眉毛以上的區(qū)域； 將所述源圖像和目標(biāo)圖像的人臉部分以所述融合線為分界線，分別分割得到對(duì)應(yīng)的第一部分和第二部分，并在所述目標(biāo)圖像中，將所述源圖像的人臉部分的第一部分代替所述目標(biāo)圖像的人臉部分的第一部分，得到處理后的圖像； 其中，所述第一部分為人臉部分中包括鼻子的部分。
2.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，對(duì)所述源圖像和目標(biāo)圖像的人臉部分進(jìn)行對(duì)比分析，得到所述源圖像和目標(biāo)圖像的人臉部分之間的融合線，具體包括: 獲取所述源圖像和目標(biāo)圖像的人臉部分的眉毛以上的區(qū)域，并將所述區(qū)域作為搜索區(qū)域； 在所述搜索區(qū)域內(nèi)，將所述源圖像中位于眼睛兩側(cè)的兩個(gè)圖像特征點(diǎn)作為起始點(diǎn)和目標(biāo)點(diǎn)，其中，所述起始點(diǎn)和目標(biāo)點(diǎn)為位于人臉部分的邊界的像素點(diǎn)； 在所述搜 索區(qū)域內(nèi)，采用A*算法，由所述起始點(diǎn)開始到目標(biāo)點(diǎn)結(jié)束，搜索得到所述源圖像和目標(biāo)圖像的人臉部分中圖像差異最小的像素點(diǎn)形成的像素線，所述像素線即為融合線。
3.根據(jù)權(quán)利要求1或2所述的圖像處理方法，其特征在于，得到處理后的圖像之后，還包括: 對(duì)所述處理后的圖像中的各像素RGB值進(jìn)行線性插值，調(diào)整所述處理后的圖像的膚色。
4.根據(jù)權(quán)利要求1-3任一所述的圖像處理方法，其特征在于，所述對(duì)所述源圖像和目標(biāo)圖像的人臉部分進(jìn)行對(duì)比分析，得到所述源圖像和目標(biāo)圖像的人臉部分之間的融合線之前，還包括: 對(duì)所述源圖像和目標(biāo)圖像的人臉部分進(jìn)行膚色檢測(cè)，將所述源圖像的人臉部分的膚色調(diào)整成與所述目標(biāo)圖像的人臉部分的膚色相同。
5.根據(jù)權(quán)利要求1-4任一所述的圖像處理方法，其特征在于，所述獲取源圖像和目標(biāo)圖像的人臉部分，具體包括: 獲取源圖像和目標(biāo)圖像的人臉區(qū)域； 在所述源圖像和目標(biāo)圖像的人臉區(qū)域中，確定人臉的眼睛區(qū)域； 基于所述人臉的眼睛區(qū)域，采用ASM算法，在人臉特征模型庫(kù)中搜索得到所述源圖像和目標(biāo)圖像的人臉的特征點(diǎn)，其中，所述人臉特征模型庫(kù)中設(shè)置有人臉的多個(gè)特征點(diǎn)，包括眉毛區(qū)域特征點(diǎn)、眼睛區(qū)域特征點(diǎn)、鼻子區(qū)域特征點(diǎn)、嘴區(qū)域特征點(diǎn)和下顎特征點(diǎn)。
6.根據(jù)權(quán)利要求1-5任一所述的圖像處理方法，其特征在于，所述對(duì)所述源圖像和目標(biāo)圖像的人臉部分進(jìn)行對(duì)比分析，得到所述源圖像和目標(biāo)圖像的人臉部分之間的融合線之前，還包括: 根據(jù)所述源圖像和目標(biāo)圖像的人臉部分中的下顎特征點(diǎn)，將所述源圖像的人臉部分變形成與所述目標(biāo)圖像的人臉部分大小相同。
7.根據(jù)權(quán)利要求6所述的圖像處理方法，其特征在于，所述根據(jù)所述源圖像和目標(biāo)圖像的人臉部分中的下顎特征點(diǎn)，將所述源圖像的人臉部分變形成與所述目標(biāo)圖像的人臉部分大小相同，具體包括: 根據(jù)所述源圖像和目標(biāo)圖像的人臉部分中的下顎特征點(diǎn)，采用薄板樣條算法將所述源圖像的人臉部分變形成與所述目標(biāo)圖像的人臉部分相同。
8.一種圖像處理裝置，其特征在于，包括: 人臉獲取模塊，用于獲取源圖像和目標(biāo)圖像的人臉部分； 人臉?lè)治瞿K，用于對(duì)所述源圖像和目標(biāo)圖像的人臉部分進(jìn)行對(duì)比分析，得到所述源圖像和目標(biāo)圖像的人臉部分之間的融合線，所述融合線為所述源圖像和目標(biāo)圖像的人臉部分中圖像差異最小的像素線，且所述融合線位于人臉部分的眉毛以上的區(qū)域； 人臉處理模塊，用于將所述源圖像和目標(biāo)圖像的人臉部分以所述融合線為分界線，分別分割得到對(duì)應(yīng)的第一部分和第二部分，并在所述目標(biāo)圖像中，將所述源圖像的人臉部分的第一部分代替所述目標(biāo)圖像的人臉部分的第一部分，得到處理后的圖像； 其中，所述第一部分為人臉部分中包括鼻子的部分。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在于，所述人臉?lè)治瞿K包括: 搜索區(qū)域獲取單元，用于獲取所述源圖像和目標(biāo)圖像的人臉部分的眉毛以上的區(qū)域，并將所述區(qū)域作為搜索區(qū)域； 搜索點(diǎn)獲取單元，用于在所述搜索區(qū)域內(nèi)，將所述源圖像中位于眼睛兩側(cè)的兩個(gè)圖像特征點(diǎn)作為起始點(diǎn)和目標(biāo)點(diǎn)，其中，所述起始點(diǎn)和目標(biāo)點(diǎn)為位于人臉部分的邊界的像素占.融合線獲取單元，用于在所述搜索區(qū)域內(nèi)，采用A*算法，由所述起始點(diǎn)開始到目標(biāo)點(diǎn)結(jié)束，搜索得到所述源圖像和目標(biāo)圖像的人臉部分中圖像差異最小的像素點(diǎn)形成的像素線，所述像素線即為融合線。
10.根據(jù)權(quán)利要求8或9所述的圖像處理裝置，其特征在于，還包括: 膚色調(diào)整模塊，用于對(duì)所述處理后的圖像中的各像素RGB值進(jìn)行線性插值，調(diào)整所述處理后的圖像的膚色。
11.根據(jù)權(quán)利要求8-10任一所述的圖像處理裝置，其特征在于，還包括: 膚色檢測(cè)調(diào)整模塊，用于對(duì)所述源圖像和目標(biāo)圖像的人臉部分進(jìn)行膚色檢測(cè)，將所述源圖像的人臉部分的膚色調(diào)整成與所述目標(biāo)圖像的人臉部分的膚色相同。
12.根據(jù)權(quán)利要求8-11任一所述的圖像處理裝置，其特征在于，所述人臉獲取模塊包括: 人臉區(qū)域獲取單元，用于獲取源圖像和目標(biāo)圖像的人臉區(qū)域； 眼睛區(qū)域獲取單元，用于在所述源圖像和目標(biāo)圖像的人臉區(qū)域中，確定人臉的眼睛區(qū)域； 人臉部分確定單元，用于基于所述人臉的眼睛區(qū)域，采用ASM算法，在人臉特征模型庫(kù)中搜索得到所述源圖像和目標(biāo)圖像的人臉的特征點(diǎn)，所述人臉特征模型庫(kù)中設(shè)置有人臉的多個(gè)特征點(diǎn)，包括眉毛區(qū)域特征點(diǎn)、眼睛區(qū)域特征點(diǎn)、鼻子區(qū)域特征點(diǎn)、嘴區(qū)域特征點(diǎn)和下顎特征點(diǎn)。
13.根據(jù)權(quán)利要求8-12任一所述的圖像處理裝置，其特征在于，還包括:圖像調(diào)整模塊，用于根據(jù)所述源圖像和目標(biāo)圖像的人臉部分中的下顎特征點(diǎn)，將所述源圖像的人臉部分變形成與所述目標(biāo)圖像的人臉部分大小相同。
14.根據(jù)權(quán)利要求13所述的圖像處理裝置，其特征在于，所述圖像調(diào)整模塊，具體用于根據(jù)所述源圖像和目標(biāo)圖像的人臉部分中的下顎特征點(diǎn)，采用薄板樣條算法將所述源圖像的人臉部分變形成與所述目標(biāo)圖像的人臉部分相同。
【文檔編號(hào)】G06T5/00GK103839223SQ201210475602
【公開日】2014年6月4日 申請(qǐng)日期:2012年11月21日 優(yōu)先權(quán)日:2012年11月21日
【發(fā)明者】蔡超, 陳梅雙, 孫謙 申請(qǐng)人:華為技術(shù)有限公司, 華中科技大學(xué)