專利名稱：一種肖像畫的自動(dòng)生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)圖像處理技術(shù)領(lǐng)域，特別是計(jì)算機(jī)根據(jù)給定的人臉圖像自動(dòng)生成肖像畫的方法。
背景技術(shù)：
肖像畫是一種非常流行的藝術(shù)表現(xiàn)形式，特別是人臉的肖像可以藝術(shù)化地表現(xiàn)出個(gè)人的面部特性。但是，繪制肖像畫并不是人天生的本領(lǐng)，只有經(jīng)過長期刻苦訓(xùn)練的藝術(shù)家才能繪制出非常逼真的肖像畫。因此，如何讓計(jì)算機(jī)根據(jù)給定的人臉圖像來自動(dòng)生成肖像畫顯然是一個(gè)非常困難和具有挑戰(zhàn)性的課題。
《計(jì)算機(jī)學(xué)報(bào)》第26卷第2期中的文章“基于樣本學(xué)習(xí)的肖像畫自動(dòng)生成算法”，公開了一種肖像畫的自動(dòng)生成方法，該方法的具體步驟為(1)、用一組人臉圖像和對應(yīng)的肖像畫作訓(xùn)練樣本；(2)、在輸入的人臉圖像檢測出各特征點(diǎn)的坐標(biāo)；(3)、根據(jù)人臉各部位特征點(diǎn)的坐標(biāo)定位來獲得人臉結(jié)構(gòu)，通過坐標(biāo)轉(zhuǎn)換找到訓(xùn)練樣本中人臉圖像對應(yīng)的點(diǎn)坐標(biāo)；(4)、根據(jù)訓(xùn)練樣本中人臉圖像和對應(yīng)的肖像畫的對應(yīng)關(guān)系，用迭代采樣的方法從訓(xùn)練樣本中一個(gè)像素一個(gè)像素或一個(gè)區(qū)域一個(gè)區(qū)域采樣合成并輸出人臉肖像畫。
上述肖像畫自動(dòng)生成方法缺陷在于1、由于使用基于像素的采樣方法，速度很慢；2、當(dāng)需輸出另一種風(fēng)格的肖像畫時(shí)，該方法須重新根據(jù)另一種風(fēng)格的訓(xùn)練樣本生成肖像畫，耗時(shí)耗力。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題之一是提供一種運(yùn)行速度快的肖像畫的自動(dòng)生成方法。
本發(fā)明所要解決的技術(shù)問題之二是提供一種人臉肖像畫與輸入的圖像人臉相似度高的肖像畫的自動(dòng)生成方法。
本發(fā)明所要解決的技術(shù)問題之三是提供一種能同時(shí)輸出多種風(fēng)格的肖像畫的自動(dòng)生成方法。
本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案是一種肖像畫的自動(dòng)生成方法，其方法步驟為(1)、建立人臉各部位肖像畫模板庫的步驟；肖像畫模板庫中的各肖像畫模板的存儲(chǔ)結(jié)構(gòu)表中包括人臉部位肖像畫模板、該人臉部位肖像畫模板的編碼、該人臉部位肖像畫模板的各特征點(diǎn)的坐標(biāo)；
(2)、在輸入的人臉圖像檢測出各特征點(diǎn)的坐標(biāo)，并為人臉各部位定位的步驟；(3)、根據(jù)人臉各部位定位對輸入的人臉圖像的各部位進(jìn)行分解的步驟；(4)、將分解后的各部位與肖像畫模板庫中各自對應(yīng)的肖像畫模板部位分別進(jìn)行對比，挑選匹配的模板；(5)、根據(jù)人臉部位肖像畫模板的特征點(diǎn)的坐標(biāo)與輸入的人臉圖像特征點(diǎn)的坐標(biāo)，將匹配好的肖像畫模板變形到各自對應(yīng)人臉各部位位置；(6)、輸出人臉肖像畫。
上述方案中，步驟(4)具體為A、將分解后的各部位圖像特征點(diǎn)組成的形狀，與肖像畫模板庫中各自對應(yīng)的肖像畫模板部位特征點(diǎn)組成的形狀分別進(jìn)行對比，挑選匹配的模板；B、當(dāng)挑選匹配出的肖像畫模板個(gè)數(shù)≥2時(shí)，步驟(6)輸出多個(gè)組合后的人臉肖像畫。
上述方案中，肖像畫模板庫中的各肖像畫模板的存儲(chǔ)結(jié)構(gòu)表中還包括該人臉部位肖像畫模板對應(yīng)的人臉部位圖像模板、該人臉部位圖像模板的各特征點(diǎn)的坐標(biāo)；步驟(4)具體為A、將分解后的各部位圖像特征點(diǎn)組成的形狀，與肖像畫模板庫中各自對應(yīng)的肖像畫模板部位特征點(diǎn)組成的形狀分別進(jìn)行對比，挑選匹配的模板。
B、根據(jù)各挑選匹配肖像畫模板的個(gè)數(shù)作出以下選擇當(dāng)挑選匹配出的肖像畫模板個(gè)數(shù)≥2時(shí)，將分解后的各部位圖像特征點(diǎn)組成的形狀，與挑選匹配出的肖像畫模板庫中各自對應(yīng)的人臉部位圖像模板部位特征點(diǎn)組成的形狀分別進(jìn)行對比，挑選匹配的模板；進(jìn)行下面的步驟；或，當(dāng)挑選匹配的肖像畫模板的個(gè)數(shù)為1時(shí)，直接進(jìn)行下面的步驟。
上述方案中，肖像畫模板庫中的各肖像畫模板的存儲(chǔ)結(jié)構(gòu)表中還包括該人臉部位肖像畫模板對應(yīng)的人臉部位其它形式的肖像畫模板。
上述方案中，人臉各部位肖像畫模板庫包括頭發(fā)肖像畫模板庫、衣服肖像畫模板庫、眉毛肖像畫模板庫、眼睛肖像畫模板庫、鼻子肖像畫模板庫、嘴巴肖像畫模板庫、臉輪廓肖像畫模板庫；步驟(3)將輸入的人臉圖像分解為以下各部位頭發(fā)、衣服、眉毛、眼睛、鼻子、嘴巴、臉輪廓。
本發(fā)明方法中具有建立人臉各部位肖像畫模板庫的步驟，人臉各部位肖像畫模板庫包括人臉部位肖像畫模板、該人臉部位肖像畫模板的編碼、該人臉部位肖像畫模板的各特征點(diǎn)的坐標(biāo)。這樣可將分解后的各部位圖像特征點(diǎn)坐標(biāo)，與肖像畫模板庫中各自對應(yīng)的模板部位特征點(diǎn)坐標(biāo)分別進(jìn)行對比，挑選匹配的模板，因此，該方法的速度快。
本發(fā)明方法還具有以下優(yōu)點(diǎn)1、可將分解后的各部位圖像特征點(diǎn)組成的形狀，與肖像畫模板庫中各自對應(yīng)的模板部位特征點(diǎn)組成的形狀分別進(jìn)行對比，挑選匹配的模板，肖像畫的自動(dòng)生成方法速度快，人臉肖像畫與輸入的圖像人臉相似度高；2、可同時(shí)輸出多個(gè)肖像畫供人們選擇；3、當(dāng)某個(gè)部位挑選匹配的肖像畫模板為多個(gè)時(shí)，可將輸入的人臉該部位圖像與挑選出的肖像畫模板庫中的人臉部位圖像模板進(jìn)行對比，從而進(jìn)一步提高了挑選匹配模板的精度，使得輸出的人臉肖像畫與輸入的圖像人臉相似度大大提高。
4、肖像畫模板庫中的各肖像畫模板的存儲(chǔ)結(jié)構(gòu)表中還包括該人臉部位肖像畫模板對應(yīng)的人臉部位其它形式的肖像畫模板，能同時(shí)輸出多種風(fēng)格的肖像畫的自動(dòng)生成方法。


圖1為本發(fā)明方法實(shí)施例的自動(dòng)生成軟件流程2為存儲(chǔ)結(jié)構(gòu)鏈表的結(jié)構(gòu)示意3為肖像畫模板庫中的各肖像畫模板存儲(chǔ)的人臉部位肖像畫模板和該人臉部位肖像畫模板對應(yīng)的人臉部位圖像模板4為眉毛特征點(diǎn)坐標(biāo)定位及將匹配的肖像畫模板變形到對應(yīng)位置的示意5為肖像畫模板庫中的頭發(fā)肖像畫模板存儲(chǔ)的兩種風(fēng)格的(形式2和形式3)肖像畫模板圖6為本發(fā)明方法輸入圖像與輸出肖像畫的對應(yīng)關(guān)系中a列為輸入圖像，b列為粗線條風(fēng)格肖像畫(形式1)，c列為速寫風(fēng)格肖像畫(形式2)，d列為素描風(fēng)格肖像畫(形式3)，e列為淡彩風(fēng)格肖像畫(形式4)。
圖7為肖像畫與或圖，肖像畫模板庫中各部件是依據(jù)此圖建立的，圖中實(shí)線橢圓為與結(jié)點(diǎn)，虛線橢圓為或結(jié)點(diǎn)，矩形為葉子結(jié)點(diǎn)。
具體實(shí)施例方式
本發(fā)明肖像畫的自動(dòng)生成方法實(shí)施例1，本發(fā)明方法實(shí)施例的自動(dòng)生成的軟件流程如圖1所示，其方法步驟為(1)、建立人臉各部位肖像畫模板庫的步驟；人臉各部位肖像畫模板庫包括頭發(fā)肖像畫模板庫、衣服肖像畫模板庫、眉毛肖像畫模板庫、眼睛肖像畫模板庫、鼻子肖像畫模板庫、嘴巴肖像畫模板庫、臉輪廓肖像畫模板庫。各部位模板庫之間的關(guān)系圖如圖7所示。
如圖2所示，肖像畫模板庫中的各肖像畫模板的存儲(chǔ)結(jié)構(gòu)表中包括編碼、該部位肖像畫模板(形式1)、該部位肖像畫模板(形式1)的各特征點(diǎn)的坐標(biāo)、該部位圖像模板、該部位圖像模板的各特征點(diǎn)的坐標(biāo)、該部位肖像畫模板(形式2)、該部位肖像畫模板(形式3)、該部位肖像畫模板(形式4)。
肖像畫模板庫中的各肖像畫模板存儲(chǔ)的人臉部位肖像畫模板和該人臉部位肖像畫模板對應(yīng)的人臉部位圖像模板如圖3所示。
(2)、輸入圖片，在輸入的人臉圖像檢測出各特征點(diǎn)的坐標(biāo)，并為人臉各部位定位的步驟；輸入圖片提供用戶選擇輸入的圖片并顯示在界面上，后綴名可為.bmp和.jpg等的圖片格式，要求是正面的人臉圖片，最好是證件照。
判斷是否人臉判斷用戶輸入的圖片是不是人臉，不是的話要求用戶重新輸入，是的話給出人臉在圖片當(dāng)中的位置。這里采用的是現(xiàn)有的人臉檢測技術(shù)(AdaBoost)，可供參考文獻(xiàn)P.Viola and M.Jones，“Rapid object detection using a boosted cascade of simple features”，CVPR，2001.
在輸入的人臉圖像檢測出各特征點(diǎn)的坐標(biāo)，并為人臉各部位定位根據(jù)人臉在圖片當(dāng)中的位置，具體定位出眉毛、眼睛、鼻子、嘴巴、臉輪廓的位置。本實(shí)施例用8個(gè)特征點(diǎn)坐標(biāo)定位眉毛，8個(gè)標(biāo)記點(diǎn)定位眼睛，15個(gè)標(biāo)記點(diǎn)定位鼻子，22個(gè)標(biāo)記點(diǎn)定位嘴巴，25個(gè)標(biāo)記點(diǎn)定位臉輪廓。這里我們采用的是現(xiàn)有的人臉特征定位技術(shù)AAM(Active Appearance Models)，可供參考文獻(xiàn)T.F.Cootes，C.J.Taylor，D.Cooper，and J.Graham，“Active shape models-their training andapplication”，Computer Vision and Image Understanding，61(1)38-59，1995.
T.F.Cootes，G.J.Edwards and C.J.Taylor，“Active appearance models”，proceedings ofECCV，1998.
膚色檢測檢測圖片中裸露的皮膚區(qū)域得到其外輪廓并記錄其在圖片當(dāng)中的位置。實(shí)現(xiàn)方法首先將圖片從RGB顏色空間轉(zhuǎn)換到Y(jié)CrCb顏色空間；然后從人臉區(qū)域取出一塊皮膚計(jì)算出各個(gè)顏色分量Y，Cr，Cb的平均值，利用Cr，Cb的平均值在整個(gè)圖片中找到與這兩個(gè)值接近的像素，將這些接近的像素變?yōu)榘咨?，反之變?yōu)楹谏?，這樣我們就得到一個(gè)黑白的二值圖像，皮膚區(qū)域?yàn)榘咨?，其他的為黑色；最后在黑白的二值圖像中找到白色區(qū)域的輪廓并用一組點(diǎn)記錄其坐標(biāo)位置。
背景檢測檢測圖片中背景區(qū)域得到其外輪廓并記錄其在圖片當(dāng)中的坐標(biāo)位置。實(shí)現(xiàn)方法與臉色檢測方法類似，不同的是選取人臉區(qū)域兩側(cè)以外的一塊地方計(jì)算出各個(gè)顏色分量Y，Cr，Cb的平均值。
頭發(fā)檢測
檢測圖片中頭發(fā)區(qū)域得到其外輪廓并記錄其在圖片當(dāng)中的坐標(biāo)位置。實(shí)現(xiàn)方法由于已經(jīng)知道了皮膚區(qū)域和背景區(qū)域，將這兩個(gè)區(qū)域從圖片當(dāng)中分割出去，剩下的就是頭發(fā)和衣服區(qū)域，位于人臉區(qū)域上方的就是頭發(fā)區(qū)域了。
衣服檢測檢測圖片中衣服區(qū)域得到其外輪廓并記錄其在圖片當(dāng)中的坐標(biāo)位置。實(shí)現(xiàn)方法將皮膚區(qū)域，背景區(qū)域和頭發(fā)區(qū)域從圖片當(dāng)中分割出去，剩下的就是衣服區(qū)域。
(3)、根據(jù)人臉各部位定位對輸入的人臉圖像的各部位進(jìn)行分解的步驟；因?yàn)橛肁AM(Active Appearance Models，主動(dòng)外觀模型)定位時(shí)，已經(jīng)知道各個(gè)部件由那些點(diǎn)表示，計(jì)算出那些點(diǎn)的外接矩形并從圖中分割出外接矩形來就能得到各個(gè)部件。
(4)、將分解后的各部位圖像特征點(diǎn)組成的形狀，與肖像畫模板庫中各自對應(yīng)的模板部位特征點(diǎn)組成的形狀分別進(jìn)行對比，挑選匹配的模板，具體為A、將分解后的各部位圖像特征點(diǎn)組成的形狀，與肖像畫模板庫中各自對應(yīng)的肖像畫模板部位特征點(diǎn)組成的形狀分別進(jìn)行對比，挑選匹配的模板。
將定位出的眉毛、眼睛、鼻子、嘴巴和檢測出的頭發(fā)外輪廓，衣服外輪廓與各自相對應(yīng)的模板庫比較，從模板庫中挑選出匹配的模板。其中頭發(fā)，衣服挑選模板和渲染的方法類似，眉毛、眼睛、鼻子、嘴巴挑選模板和渲染的方法類似，以頭發(fā)和眉毛為例介紹其實(shí)現(xiàn)方法。
頭發(fā)挑選模板實(shí)現(xiàn)方法將得到的頭發(fā)外輪廓用一組標(biāo)記點(diǎn)表示形狀，與頭發(fā)模板庫中的每一個(gè)模板形狀(人工標(biāo)注好的一組標(biāo)記點(diǎn))進(jìn)行比較，計(jì)算shape contexts距離，計(jì)算完后按距離從小到大排序，最小的為匹配的模板。頭發(fā)渲染實(shí)現(xiàn)方法采用TPS(Thin PlateSpline)方法將匹配的模板變形到與之對應(yīng)的頭發(fā)外輪廓中。
可供參考文獻(xiàn)S.Belongie，J.Malik，J.Puzicha，”Shape matching and object recognitionusing shape contexts”，PAMI，24(4)509-522，2002.
H.Chui and A.Rangarajan，”A new algorithm for non-rigidpoint matching”，CVPR，2000.
眉毛挑選模板實(shí)現(xiàn)方法將定位出的眉毛的形狀，與眉毛庫中的每一個(gè)模板形狀進(jìn)行比較，計(jì)算shape contexts(形狀上下文)距離，計(jì)算完后按距離從小到大排序，最小的為匹配的模板。眉毛渲染實(shí)現(xiàn)方法采用三角形變的方法將匹配的模板變形到與之對應(yīng)的眉毛外輪廓中。
B、根據(jù)各挑選匹配肖像畫模板的個(gè)數(shù)作出以下選擇當(dāng)挑選匹配出的肖像畫模板個(gè)數(shù)≥2時(shí)，將分解后的各部位圖像特征點(diǎn)組成的形狀，與挑選匹配出的肖像畫模板庫中各自對應(yīng)的人臉部位圖像模板部位特征點(diǎn)組成的形狀分別進(jìn)行對比，挑選匹配的模板；進(jìn)行下面的步驟；或，當(dāng)挑選匹配的肖像畫模板的個(gè)數(shù)為1時(shí)，直接進(jìn)行下面的步驟。
將輸入的人臉該部位圖像與挑選出的肖像畫模板庫中的人臉部位圖像模板進(jìn)行對比的具體方法將定位出的部件從圖片中分割出來并取其高頻部分，與對應(yīng)部件圖像模板庫中的高頻部分進(jìn)行比較，比較時(shí)將定位出的部件與庫中的部件都變形為同一標(biāo)準(zhǔn)形，計(jì)算兩者之間的殘差，計(jì)算完后按殘差大小依次排序，最小的為匹配的模板。
(5)根據(jù)人臉部位肖像畫模板的特征點(diǎn)的坐標(biāo)與輸入的人臉圖像特征點(diǎn)的坐標(biāo)，將匹配好的肖像畫模板變形到各自對應(yīng)人臉各部位位置；(6)、輸出人臉肖像畫。
如圖6所示，這里所用到的庫包含各種風(fēng)格，也就是說同一個(gè)部件有幾種不同風(fēng)格的畫法，當(dāng)挑選到一個(gè)匹配的模板時(shí)，就有幾種不同風(fēng)格的模板與之對應(yīng)，能同時(shí)生成幾種風(fēng)格不同的肖像畫。
本發(fā)明肖像畫的自動(dòng)生成方法實(shí)施例2，其方法與實(shí)施例基本相同，只是步驟(4)具體為A、將分解后的各部位圖像特征點(diǎn)組成的形狀，與肖像畫模板庫中各自對應(yīng)的肖像畫模板部位特征點(diǎn)組成的形狀分別進(jìn)行對比，挑選匹配的模板；B、當(dāng)挑選匹配出的肖像畫模板個(gè)數(shù)≥2時(shí)，步驟(6)輸出多個(gè)組合后的人臉肖像畫。
權(quán)利要求
1.一種肖像畫的自動(dòng)生成方法，其方法步驟為(1)、建立人臉各部位肖像畫模板庫的步驟；肖像畫模板庫中的各肖像畫模板的存儲(chǔ)結(jié)構(gòu)表中包括人臉部位肖像畫模板、該人臉部位肖像畫模板的編碼、該人臉部位肖像畫模板的各特征點(diǎn)的坐標(biāo)；(2)、在輸入的人臉圖像檢測出各特征點(diǎn)的坐標(biāo)，并為人臉各部位定位的步驟；(3)、根據(jù)人臉各部位定位對輸入的人臉圖像的各部位進(jìn)行分解的步驟；(4)、將分解后的各部位與肖像畫模板庫中各自對應(yīng)的肖像畫模板部位分別進(jìn)行對比，挑選匹配的模板；(5)、根據(jù)人臉部位肖像畫模板的特征點(diǎn)的坐標(biāo)與輸入的人臉圖像特征點(diǎn)的坐標(biāo)，將匹配好的肖像畫模板變形到各自對應(yīng)人臉各部位位置；(6)、輸出人臉肖像畫。
2.如權(quán)利要求1所述的方法，其特征在于步驟(4)具體為A、將分解后的各部位圖像特征點(diǎn)組成的形狀，與肖像畫模板庫中各自對應(yīng)的肖像畫模板部位特征點(diǎn)組成的形狀分別進(jìn)行對比，挑選匹配的模板；B、當(dāng)挑選匹配出的肖像畫模板個(gè)數(shù)≥2時(shí)，步驟(6)輸出多個(gè)組合后的人臉肖像畫。
3.如權(quán)利要求1所述的方法，其特征在于肖像畫模板庫中的各肖像畫模板的存儲(chǔ)結(jié)構(gòu)表中還包括該人臉部位肖像畫模板對應(yīng)的人臉部位圖像模板、該人臉部位圖像模板的各特征點(diǎn)的坐標(biāo)；步驟(4)具體為A、將分解后的各部位圖像特征點(diǎn)組成的形狀，與肖像畫模板庫中各自對應(yīng)的肖像畫模板部位特征點(diǎn)組成的形狀分別進(jìn)行對比，挑選匹配的模板。B、根據(jù)各挑選匹配肖像畫模板的個(gè)數(shù)作出以下選擇當(dāng)挑選匹配出的肖像畫模板個(gè)數(shù)≥2時(shí)，將分解后的各部位圖像特征點(diǎn)組成的形狀，與挑選匹配出的肖像畫模板庫中各自對應(yīng)的人臉部位圖像模板部位特征點(diǎn)組成的形狀分別進(jìn)行對比，挑選匹配的模板；進(jìn)行下面的步驟；或，當(dāng)挑選匹配的肖像畫模板的個(gè)數(shù)為1時(shí)，直接進(jìn)行下面的步驟。
4.如權(quán)利要求1所述的方法，其特征在于肖像畫模板庫中的各肖像畫模板的存儲(chǔ)結(jié)構(gòu)表中還包括該人臉部位肖像畫模板對應(yīng)的人臉部位其它形式的肖像畫模板。
5.如權(quán)利要求1所述的方法，其特征在于人臉各部位肖像畫模板庫包括頭發(fā)肖像畫模板庫、衣服肖像畫模板庫、眉毛肖像畫模板庫、眼睛肖像畫模板庫、鼻子肖像畫模板庫、嘴巴肖像畫模板庫、臉輪廓肖像畫模板庫；步驟(3)將輸入的人臉圖像分解為以下各部位頭發(fā)、衣服、眉毛、眼睛、鼻子、嘴巴、臉輪廓。
全文摘要
本發(fā)明涉及一種肖像畫的自動(dòng)生成方法，其方法步驟為(1)建立人臉各部位肖像畫模板庫的步驟；(2)在輸入的人臉圖像檢測出各特征點(diǎn)的坐標(biāo)，并為人臉各部位定位的步驟；(3)根據(jù)人臉各部位定位對輸入的人臉圖像的各部位進(jìn)行分解的步驟；(4)將分解后的各部位與肖像畫模板庫中各自對應(yīng)的肖像畫模板部位分別進(jìn)行對比，挑選匹配的模板；(5)將匹配好的肖像畫模板變形到各自對應(yīng)人臉各部位位置；(6)輸出人臉肖像畫。本發(fā)明方法可將分解后的各部位圖像特征點(diǎn)坐標(biāo)，與肖像畫模板庫中各自對應(yīng)的模板部位特征點(diǎn)坐標(biāo)分別進(jìn)行對比，挑選匹配的模板，因此，該方法的速度快。
文檔編號G06T11/00GK101034481SQ20071005182
公開日2007年9月12日 申請日期2007年4月6日 優(yōu)先權(quán)日2007年4月6日
發(fā)明者朱松純 申請人:湖北蓮花山計(jì)算機(jī)視覺和信息科學(xué)研究院