專利名稱：產(chǎn)生三維漫畫的裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明通常涉及一種產(chǎn)生三維漫畫的裝置和方法，尤其涉及一種采用面部專用的活動(dòng)形狀模型(ASM)技術(shù)精確提取關(guān)于面部特征的特征點(diǎn)信息、基于該特征點(diǎn)信息修改一個(gè)三維多邊形面部基本型、從而產(chǎn)生一個(gè)與用戶面部高度相似的三維漫畫的裝置和方法。
背景技術(shù)：
漫畫通常是具有詼諧、幽默、諷刺等效果的繪畫，具有諸如人物或被人性化的動(dòng)物和植物，包括諸如用戶的好奇心、間接的滿足、某個(gè)人想象的理想人物等感覺(jué)這樣的素材。雖然漫畫主要是作為演藝人員或運(yùn)動(dòng)家的廣告手段，但是目前也被公眾廣泛采用。
另外，雖然漫畫歷來(lái)是由專業(yè)漫畫設(shè)計(jì)者手工繪成，但是當(dāng)公眾也對(duì)漫畫感興趣時(shí)，就開(kāi)發(fā)了能夠創(chuàng)作漫畫的先進(jìn)技術(shù)而不需要專業(yè)漫畫家的幫助。
有一種方法可以作為這些技術(shù)的一個(gè)示例，在該方法中用戶從一個(gè)剪輯好的藝術(shù)數(shù)據(jù)庫(kù)選擇并組合形成眼睛、鼻子、嘴巴等面部輪廓所需的剪好的藝術(shù)樣片，再添加各種配飾、服裝等創(chuàng)作出最后的漫畫。然而，選擇非常類似于用戶自己面部特征的剪好的藝術(shù)樣片是極其困難的，因此這種方法由于缺乏相似性而不能令人滿意。
韓國(guó)專利公開(kāi)號(hào)2000-63391(名稱為“Caricature Creation Method”)公開(kāi)了一種產(chǎn)生漫畫的方法，其中，首先從照片中的面部完成個(gè)完整面部形狀，然后計(jì)算作用于該面部形狀的每個(gè)面部特征的位置、比例和類型，最終從事先為不同大小的面部特征而建立的數(shù)據(jù)庫(kù)中提取面部特征的模型，然后將這些模型組合起來(lái)。然而，在這種方法中，為面部特征提取精確的特征點(diǎn)幾乎是不可能的，因?yàn)橹徊捎昧岁P(guān)于面部尺寸的每個(gè)面部特征的位置的信息。因此難以產(chǎn)生非常象用戶自己面部特征的漫畫。
還有，韓國(guó)專利公開(kāi)號(hào)2000-49421(名稱為“Caricature Creation Systemand Caricature Creation Method Using the System”)公開(kāi)了一種方法，其中一幅照片中由軟件編輯過(guò)的每一部分與一副面部的每一部分所用的漫畫比較，然后該面部需要修改的每一部分被存儲(chǔ)在數(shù)據(jù)庫(kù)中的數(shù)據(jù)替換，從而完成一幅完整面部的漫畫。然而，這種方法受到不可能產(chǎn)生彩色漫畫的限制，因?yàn)樾枰掌木庉嬤^(guò)程，在該過(guò)程中通過(guò)色調(diào)轉(zhuǎn)換由自然色組成的原始數(shù)據(jù)被分成黑色和白色。
另外，韓國(guó)專利公開(kāi)號(hào)2000-64110(名稱“Automatic Caricature CreationApparatus and Method Based On a Facial Image”)公開(kāi)了一種方法，其中通過(guò)采用有參考圖像的輸入面部圖像相應(yīng)點(diǎn)的信息提取面部形狀上的信息，然后根據(jù)被提取的信息再次合成該面部圖像，從而獲得更自然精細(xì)的漫畫圖像。然而，這種方法采取的方案過(guò)于簡(jiǎn)單，它是用一個(gè)準(zhǔn)備好的參考圖像與一幅面部圖像合成，如同韓國(guó)專利公開(kāi)號(hào)2000-63391中那樣，尤其缺乏關(guān)于從面部圖像提取面部特征點(diǎn)的明確說(shuō)明。
前面公開(kāi)的所有內(nèi)容都是指兩維漫畫創(chuàng)作。另外，采用面部模型化技術(shù)創(chuàng)作三維漫畫這一方面的研究目前正在加緊進(jìn)行。
作為一種三維漫畫創(chuàng)作方法，US5960099(名稱“System and Method forCreating a Digitized Likeness of Persons”)公開(kāi)了一種技術(shù)，在該技術(shù)中，利用前面和側(cè)面形狀通過(guò)統(tǒng)計(jì)數(shù)據(jù)估計(jì)面部特征即面部各部分的位置，根據(jù)該估計(jì)產(chǎn)生一個(gè)人物面部表情修改過(guò)的肖像。然而，該技術(shù)存在一個(gè)問(wèn)題，即不能正確找到原始圖像的面部特征，因?yàn)楫?dāng)利用這兩個(gè)前面和側(cè)面面部形狀產(chǎn)生該修改了的人物肖像時(shí)，對(duì)面部特征的估計(jì)需要依賴統(tǒng)計(jì)數(shù)據(jù)。
作為另一種三維漫畫產(chǎn)生技術(shù)，韓國(guó)專利公開(kāi)號(hào)2001-69820(名稱“Method and System for Obtaining a Three-Dimensional Facial Image from aTwo-dimensional Facial Image”)公開(kāi)了一種方法，在該方法中，從正面和側(cè)面照片提取眼睛、鼻子、耳朵、眉毛和面容的輪廓、鼻梁的輪廓和頭發(fā)特征等，然后從三維面部形狀數(shù)據(jù)庫(kù)(聚集許多實(shí)際人物面部)選取與提取的面部特征類似的多三維面部形狀，比如用戶可以選擇與自己面部照片最相像的三維面部形狀。然而，由于該方法是通過(guò)與預(yù)先構(gòu)造出的面部形狀數(shù)據(jù)庫(kù)簡(jiǎn)單比較獲得最接近三維面部形狀，所以它需要修改者獨(dú)立手工修正最后的細(xì)節(jié)。

發(fā)明內(nèi)容
因此，本發(fā)明是針對(duì)現(xiàn)有技術(shù)中存在的上述問(wèn)題而考慮的，其一個(gè)目的是提供一種采用面部專用的活動(dòng)形狀模型(Active Shape Model，ASM)技術(shù)精確提取面部特征的特征點(diǎn)信息、基于該特征點(diǎn)信息修改三維多邊形面部基本型、從而產(chǎn)生與用戶面部高度相似的三維漫畫的裝置和方法。
為了實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于輸入的用戶面部圖像產(chǎn)生三維漫畫的裝置，它包括存儲(chǔ)部件，用來(lái)存儲(chǔ)產(chǎn)生三維漫畫所需的ASM和三維多邊形面部基本型；預(yù)處理部件，用來(lái)從輸入的面部圖像中檢測(cè)眼睛的位置并且將該面部圖像的大小標(biāo)準(zhǔn)化；面部圖像初始位置檢測(cè)部件，用來(lái)從標(biāo)準(zhǔn)化的面部圖像中檢測(cè)面部特征的每一個(gè)初始位置；ASM加載部件，用來(lái)將存儲(chǔ)在存儲(chǔ)部件中的ASM加載在標(biāo)準(zhǔn)化后的面部圖像中以便與檢測(cè)到的初始位置對(duì)應(yīng)；ASM修改部件，用來(lái)修改加載后的ASM以便提取面部特征需要的特征點(diǎn)；以及漫畫產(chǎn)生部件，用來(lái)通過(guò)加載來(lái)自存儲(chǔ)部件的三維多邊形面部基本型，然后根據(jù)通過(guò)ASM修改部件提取的特征點(diǎn)的坐標(biāo)值修改加載后的三維多邊形面部基本型，從而產(chǎn)生一個(gè)三維多邊形漫畫。
該裝置最好還包括投影部件，該部件通過(guò)將三維多邊形面部漫畫投影到二維平面上獲得一個(gè)二維面部漫畫。
該裝置最好還包括漫畫發(fā)送/接收部件，用來(lái)發(fā)送/接收從三維多邊形面部漫畫中提取的特征點(diǎn)的坐標(biāo)值和存儲(chǔ)參考值。


從下面結(jié)合附圖進(jìn)行的詳細(xì)說(shuō)明中可以更清楚地理解本發(fā)明的上述和其它目的、特點(diǎn)和其它優(yōu)點(diǎn)，其中圖1是根據(jù)本發(fā)明的三維漫畫產(chǎn)生裝置的示意方框圖；圖2是圖1所示預(yù)處理單元的詳細(xì)方框圖；圖3是用來(lái)說(shuō)明根據(jù)本發(fā)明的三維漫畫產(chǎn)生方法的流程圖；圖4是用來(lái)解釋圖3所示預(yù)處理的步驟的詳細(xì)流程圖；圖5是用來(lái)解釋重新構(gòu)造圖3中發(fā)送的三維漫畫的方法的流程圖；圖6是說(shuō)明面部圖像示例的示意圖(view)；圖7和8是表示根據(jù)預(yù)先設(shè)置的閾值二值化面部圖像獲得的結(jié)果的示意圖；
圖9是表示面部圖像中眼睛所占大小隨二值化的閾值變化而變化的圖；圖10是說(shuō)明根據(jù)本發(fā)明從輸入面部圖像提取特征點(diǎn)的示例的示意圖；圖11是說(shuō)明示例的示意圖，在該示例中由面部特征的初始位置檢測(cè)改進(jìn)ASM修改性能；圖12是用來(lái)解釋產(chǎn)生三維多邊形面部漫畫的示意圖；圖13是用來(lái)解釋三維多邊形面部基本型的修改的示意圖；圖14是說(shuō)明極具夸張性的漫畫的示例的示意圖。
具體實(shí)施例方式
下面將結(jié)合附圖詳細(xì)描述根據(jù)本發(fā)明的三維漫畫產(chǎn)生裝置的結(jié)構(gòu)(configuration)和操作。
圖1是根據(jù)本發(fā)明的三維漫畫產(chǎn)生裝置100的示意框圖，該部件包括存儲(chǔ)(memory)部件10、圖像處理部件30、投影部件40、漫畫存儲(chǔ)部件50和漫畫發(fā)送/接收部件70。
存儲(chǔ)部件10將產(chǎn)生三維漫畫所需的學(xué)習(xí)(learning)數(shù)據(jù)、二維面部紋理、三維多邊形面部基本型、三維身體模型等以數(shù)據(jù)庫(kù)形式(下面稱做DB)存儲(chǔ)起來(lái)。下面將簡(jiǎn)要描述學(xué)習(xí)數(shù)據(jù)DB 11、二維面部紋理DB 13、三維多邊形面部基本型DB 15、三維身體模型DB 17。
學(xué)習(xí)數(shù)據(jù)DB 11存儲(chǔ)作為學(xué)習(xí)圖案(pattern)的通過(guò)使用各種形狀的眉毛、眼睛、鼻子、嘴和面部輪廓得到的前面/側(cè)面ASM、關(guān)于ASM平均位置坐標(biāo)的數(shù)據(jù)、ASM的形狀變化特征。二維面部紋理DB 13存儲(chǔ)用來(lái)構(gòu)造三維多邊形面部基本漫畫的二維面部紋理。此處可以改變二維面部紋理以使可以表現(xiàn)三維面部漫畫中的多種色彩信息。例如，配置二維面部紋理，以使可通過(guò)表現(xiàn)三維面部漫畫中的化妝的唇部顏色、光照引起的皮膚顏色亮度變化等、從而產(chǎn)生更自然和精致的漫畫。
另外，三維多邊形面部基本型DB 15存儲(chǔ)基于由種族/民族特性表現(xiàn)的人類學(xué)標(biāo)準(zhǔn)數(shù)據(jù)的、各種類型的三維多邊形面部基本型。三維身體模型DB17存儲(chǔ)用來(lái)以漫畫處理如頭發(fā)、身體、眼鏡、裝飾品、衣服和鞋子這樣的身體部件的三維模型。
另一方面，除了學(xué)習(xí)數(shù)據(jù)、二維面部紋理、三維多邊形面部基本型和三維身體模型之外，存儲(chǔ)部件10可以包括其它數(shù)據(jù)。
通過(guò)檢測(cè)面部每一部分的特征點(diǎn)信息，并根據(jù)所檢測(cè)到的特征點(diǎn)信息，利用ASM技術(shù)修改三維面部基本型，圖像處理部件30在產(chǎn)生表現(xiàn)用戶面部特征的三維漫畫方面起著作用。圖像處理部件30包括預(yù)處理部件31、面部特征初始位置檢測(cè)部件33、ASM加載部件35、ASM修改部件37和漫畫產(chǎn)生部件39。
預(yù)處理部件31執(zhí)行預(yù)處理，用來(lái)檢測(cè)輸入面部圖像中眼睛的位置并使面部圖像尺寸標(biāo)準(zhǔn)化。在下文中，將參考附圖2更詳細(xì)描述預(yù)處理部件31。
圖2是圖1所示預(yù)處理部件的詳細(xì)方框圖。如圖2所示，預(yù)處理部件31包括降低顏色飽和度部件21、面部區(qū)域檢測(cè)部件22、眼睛檢測(cè)部件23和面部標(biāo)準(zhǔn)化部件28。
降低顏色飽和度部件21將輸入面部圖像的彩色圖像轉(zhuǎn)換為黑白圖像。這樣的轉(zhuǎn)換的原因是由于RGB(紅、綠、藍(lán))型彩色圖像中顏色分量和亮度分量混合在一起，因此在提取特征點(diǎn)時(shí)可降低亮度變化導(dǎo)致的錯(cuò)誤發(fā)生的可能性。
面部區(qū)域檢測(cè)部件22通過(guò)采用Gabor濾波器響應(yīng)檢索輸入圖像的面部區(qū)域。用Gabor濾波器響應(yīng)檢索面部區(qū)域的方法是，將有各種方向和頻率的一組Gabor濾波器作用到輸入面部圖像，然后根據(jù)由此作用產(chǎn)生的響應(yīng)值提取面部區(qū)域。由于是一種通常用在圖像處理領(lǐng)域的預(yù)處理方法，將省略關(guān)于該方法的詳細(xì)說(shuō)明。
眼睛檢測(cè)部件23從經(jīng)面部區(qū)域檢測(cè)部件22檢測(cè)到的面部區(qū)域檢測(cè)圓形黑色部位，即位于面部區(qū)域上部的眼白中心的眼睛中心點(diǎn)(瞳孔)。這里，最先檢測(cè)眼睛中心點(diǎn)的理由是檢測(cè)兩邊對(duì)稱的眼睛中心點(diǎn)最容易，而一旦定位眼睛中心點(diǎn)，通過(guò)利用恰當(dāng)?shù)谋壤P(guān)系就可容易地檢測(cè)其它特征的位置。
用來(lái)產(chǎn)生漫畫而輸入的面部圖像的示例被示于圖6中。如果輸入具有如圖6(a)所示的高分辨率面部圖像，就可以提取眼睛邊緣，再根據(jù)提取的眼睛邊緣信息檢測(cè)眼睛心中點(diǎn)。相反，如果輸入如圖6(b)所示的低分辨率面部圖像，由于識(shí)別出的眼睛幾乎是一個(gè)點(diǎn)，因此不能適當(dāng)檢測(cè)眼睛邊緣。盡管可以檢測(cè)眼睛邊緣，但是由于難以在眉毛和眼睛之間進(jìn)行辨別，所以有可能不恰當(dāng)?shù)乇鎰e眉毛。除了這種邊緣檢測(cè)方法，還有一種二值化法，它利用這樣事實(shí)檢測(cè)圓形黑色部位作為眼睛中心點(diǎn)，即當(dāng)以閾值為基礎(chǔ)的、具有256級(jí)亮度值的黑白面部圖像被分成黑色和白色時(shí)，眼睛瞳孔因亮度低而染有黑色。然而，這種只用閾值的常規(guī)二值化法有限制，即由于難以分辨具有低清晰度和亮度不規(guī)律分布的面部圖像中的眉毛和眼睛，因此不能正確檢測(cè)眼睛中心點(diǎn)。
因此，為了正確地檢測(cè)甚至在低分辨率面部圖像中的眼睛位置，應(yīng)當(dāng)根據(jù)面部圖像的情況改變閾值。當(dāng)閾值增加時(shí)本發(fā)明進(jìn)行二值化操作，直到通過(guò)眼睛檢測(cè)部件23使眉毛和眼睛都有明確的黑區(qū)為止，下面將對(duì)此進(jìn)行詳細(xì)的描述。為此，眼睛檢測(cè)部件23包括二值化部件24、分組部件25、標(biāo)記部件26和確定部件27。
二值化部件24設(shè)置用于二值化的閾值變化范圍，當(dāng)輸入一幅黑白面部圖像時(shí)，在閾值變化范圍內(nèi)設(shè)置閾值初始值，然后根據(jù)閾值的初始設(shè)置值，將白色賦給亮度高于閾值的像素，將黑色賦給亮度低于閾值的像素。
已經(jīng)根據(jù)閾值初始設(shè)置值進(jìn)行二值化處理的面部圖像的示例示于圖7和8中。如圖7和8所示，當(dāng)根據(jù)初始設(shè)置值將面部圖像進(jìn)行二進(jìn)制編碼時(shí)，可以看到當(dāng)閾值增加時(shí)首先檢測(cè)到眉毛，然后眼睛、鼻子、嘴巴等出現(xiàn)黑色。
當(dāng)輸入二值化后的面部圖像時(shí)，分組部件25進(jìn)行分組操作，用來(lái)將對(duì)應(yīng)于眉毛和眼睛的區(qū)域中有黑色的像素結(jié)合入多組。在此，“分組”的意思是找到特定的黑色像素后，通過(guò)檢查該特定黑色像素周邊的八個(gè)鄰近像素來(lái)找到其它黑色像素，然后將發(fā)現(xiàn)的其它黑色像素結(jié)合為一組。
標(biāo)記部件26將經(jīng)過(guò)分組部件25檢測(cè)到的各組排順序，然后為獨(dú)立的區(qū)域?qū)⑻崛【哂邢嗤瑯?biāo)記的區(qū)域。
利用眉毛和眼睛總是成對(duì)而且眉毛位于眼睛上方這個(gè)事實(shí)，確定部件27檢查位于上部的各獨(dú)立區(qū)域是否有一對(duì)在水平方向大小很少變化的獨(dú)立區(qū)域，并且，如果有一對(duì)獨(dú)立區(qū)域，認(rèn)定其為眉毛的候選區(qū)域。而且，確定部件27檢查緊接著眉毛候選區(qū)域下方是否有另一對(duì)在水平方向大小很少變化的獨(dú)立區(qū)域，并且，如果有另一對(duì)獨(dú)立區(qū)域，認(rèn)定其為眼睛候選區(qū)域。
如果從標(biāo)記部件26提取的獨(dú)立區(qū)域中沒(méi)有一對(duì)眉毛候選區(qū)域和一對(duì)眼睛候選區(qū)域，即，如果既沒(méi)有兩條眉毛又沒(méi)有兩只眼睛被檢測(cè)到，確定部件27就以增加閾值執(zhí)行二值化直到檢測(cè)到兩條眉毛和兩只眼睛為止，這樣，眉毛就不會(huì)被錯(cuò)認(rèn)為眼睛。
如果檢測(cè)到兩條眉毛和兩只眼睛，確定部件27就根據(jù)眼睛的大小、形狀和位置信息計(jì)算眼睛候選區(qū)域的錯(cuò)誤率，并且確定該計(jì)算出的錯(cuò)誤率是否在允許范圍內(nèi)，以便核實(shí)眼睛候選區(qū)域是否與眼睛對(duì)應(yīng)。如果確定眼睛候選區(qū)域的錯(cuò)誤率是在允許范圍內(nèi)，即眼睛候選區(qū)域與眼睛對(duì)應(yīng)，那么就能從眼睛候選區(qū)域檢測(cè)到兩只眼睛的中心點(diǎn)，關(guān)于這一點(diǎn)下面將結(jié)合附圖4進(jìn)行詳細(xì)描述。
面部標(biāo)準(zhǔn)化部件28將面部區(qū)域的大小標(biāo)準(zhǔn)化，這樣根據(jù)眼睛檢測(cè)部件23檢測(cè)到的眼睛位置，用存儲(chǔ)在三維多邊形面部基本型DB15中的三維面部基本型按一比一的比例繪制面部區(qū)域，而且，如果面部圖像有稍微傾斜的角度，則該傾斜角度被修正為正常角度。
面部圖像經(jīng)過(guò)預(yù)處理部件31預(yù)先處理的示例示于圖10(a)到(d)中。輸入面部圖像時(shí)，預(yù)處理部件31將在面部圖像轉(zhuǎn)換為如圖10(a)所示的黑白圖像的亮度和噪聲引起的影響去除，然后通過(guò)給原始面部圖像作用Gabor濾波器來(lái)檢測(cè)包括與面部相似的特征的正方形面部區(qū)域，如圖10(b)所示。接下來(lái)，預(yù)處理部件31從面部區(qū)域檢測(cè)兩只眼睛的中心點(diǎn)，如圖10(c)所示，然后根據(jù)檢測(cè)到的面部區(qū)域和兩只眼睛的中心點(diǎn)使面部區(qū)域的大小標(biāo)準(zhǔn)化，同時(shí)修正可能的傾斜，如圖10(d)所示。
同時(shí)，當(dāng)用常規(guī)ASM技術(shù)提取面部的每一部分的特征點(diǎn)時(shí)，眉毛可能被誤認(rèn)為眼睛，或者可能出現(xiàn)每個(gè)面部特征在異常方向上移動(dòng)這樣的現(xiàn)象。
為了避免這種現(xiàn)象，執(zhí)行ASM修改之前，本發(fā)明通過(guò)面部特征初始位置檢測(cè)部件33預(yù)設(shè)眉毛、眼睛、鼻子、嘴巴或面部輪廓的大體位置。下面將更詳細(xì)描述面部特征初始位置的設(shè)置。
從輸入的面部圖像提取面部特征時(shí)，基本是在面部區(qū)域上選擇一些位置，將每個(gè)面部特征的ASM放在該位置以便ASM修改。換句話說(shuō)，裝入ASM的初始位置對(duì)于之后要進(jìn)行的ASM修改有重要的效果。例如，如果適當(dāng)設(shè)置加載ASM的初始位置，那么僅通過(guò)少量ASM修改過(guò)程就能夠正確提取特征點(diǎn)，否則的話，就可能誤提取特征點(diǎn)。
面部特征初始位置檢測(cè)部件33通過(guò)給黑白面部圖像施加Canny濾波器來(lái)檢測(cè)每個(gè)面部特征的初始位置。此處，Canny濾波器通過(guò)用高斯掩碼檢測(cè)邊緣來(lái)檢測(cè)要加載ASM的初始位置。
還有，除了利用Canny濾波器檢測(cè)面部特征的初始位置之外，還可以根據(jù)眼睛檢測(cè)部件23檢測(cè)到的兩只眼睛的中心點(diǎn)，用面部特征之間的幾何位置關(guān)系檢測(cè)眉毛、眼睛、鼻子和嘴巴的初始位置。
圖10(e)到(g)示出示例，在該示例中，從輸入的面部圖像檢測(cè)每個(gè)面部特征的初始位置且通過(guò)將ASM加載到檢測(cè)到的初始位置中提取特征點(diǎn)。如圖10(e)所示，通過(guò)Canny濾波器檢測(cè)眉毛、眼睛、鼻子、嘴巴或面部輪廓的初始位置時(shí)，通過(guò)將ASM加載到檢測(cè)到的初始位置中和如圖10(g)所示修改加載的ASM，就可以正確提取面部特征的特征點(diǎn)，如圖10(f)所示。
另一方面，保持用于面部特征的ASM之間的特定關(guān)系用于正確提取特征點(diǎn)。例如，不論怎樣進(jìn)行右眼的ASM修改，右眼ASM的中點(diǎn)都應(yīng)該出現(xiàn)在與左眼ASM同水平軸上，因此如果建立右眼ASM應(yīng)該總是位于右眉毛ASM下面這樣的關(guān)系，就可以進(jìn)一步改善ASM修改性能。
檢測(cè)面部圖像的初始位置并且通過(guò)限制ASM之間關(guān)系的條件改善ASM修改性能的示例示于圖11。如圖11(a)所示，如果僅根據(jù)眼睛的位置在輸入的面部圖像中加載不相關(guān)的ASM，那么在ASM修改進(jìn)行時(shí)可能從輸入的面部圖像誤提取特征點(diǎn)。然而，如圖11(b)所示，如果通過(guò)面部特征初始位置檢測(cè)部件33設(shè)置面部圖像的初始位置，然后根據(jù)該設(shè)置的初始位置將與之有關(guān)系的ASM加載到面部圖像中，就可以看到僅通過(guò)少量ASM修改過(guò)程就能夠正確提取特征點(diǎn)。
換句話說(shuō)，當(dāng)經(jīng)過(guò)面部特征初始位置檢測(cè)部件33檢測(cè)面部特征的初始位置時(shí)，通過(guò)在面部圖像中加載來(lái)自學(xué)習(xí)數(shù)據(jù)DB 11的與之有關(guān)系的ASM，ASM加載部件35可以提高ASM修改性能，這樣，ASM與檢測(cè)到的初始位置對(duì)應(yīng)，因此可以快而正確地提取面部特征。
尤其是，在本發(fā)明中，由于學(xué)習(xí)數(shù)據(jù)DB 11存儲(chǔ)用不同分辨率學(xué)習(xí)的ASM使得可能應(yīng)付不同分辨率變化，即使從環(huán)境輸入低分辨率的面部圖像，也可以正確提取眉毛眼睛、鼻子、嘴巴或面部輪廓的特征點(diǎn)，在所述環(huán)境，難于提供能夠獲得清晰面部圖像的用戶界面，如支持小型照相機(jī)的手提電話。
ASM修改部件37利用預(yù)先獲得的ASM的形狀變化特性的數(shù)據(jù)執(zhí)行加載的ASM的修正從而為輸入面部特征提取特征點(diǎn)，然后將提取的特征點(diǎn)的X和Y坐標(biāo)值輸出給漫畫產(chǎn)生部件39。此處，“ASM修改”意味著通過(guò)重復(fù)過(guò)程來(lái)發(fā)現(xiàn)眉毛、眼睛、鼻子、嘴巴或面部輪廓的特征點(diǎn)，以便用一條直線連接加載在面部圖像中的ASM的特征點(diǎn)，搜索在該直線中點(diǎn)處垂直該直線方向的像素，將該搜索區(qū)域中和基本學(xué)習(xí)值有最大相關(guān)的像素作為新的中點(diǎn)，并根據(jù)新的中點(diǎn)改變特征點(diǎn)的位置。
然而，至此還沒(méi)有設(shè)置ASM修改中的搜索區(qū)域方法的基準(zhǔn)。因此很可能，在太寬的搜索區(qū)域的情況下，可誤提取特征點(diǎn)，以及在太窄的搜索范圍的情況下，ASM修改需要的時(shí)間太多。
另外，雖然大多數(shù)特征點(diǎn)是在預(yù)期的區(qū)域內(nèi)提取，然而如果錯(cuò)誤地提取一個(gè)或兩個(gè)特征點(diǎn)，那么特征點(diǎn)的整個(gè)形狀可能全部分散。例如，由于被弄圓的鼻子側(cè)面占據(jù)的部分和在上嘴唇中間凹陷部分的形狀和位置都相互類似，如果尋找唇線的特征點(diǎn)的搜索區(qū)域太寬，就可能將前者弄錯(cuò)為后者。換句話說(shuō)，ASM修改過(guò)程中不適當(dāng)?shù)靥崛∫粋€(gè)或兩個(gè)特征點(diǎn)，可導(dǎo)致不適當(dāng)?shù)靥崛〉狡渌卣鼽c(diǎn)的更大可能。
因此，需要限制搜索區(qū)域，以至于ASM修改過(guò)程中不會(huì)提取到不適合的特征點(diǎn)。為此，本發(fā)明是在預(yù)先限定搜索區(qū)域的條件下進(jìn)行ASM修改，面部特征的特征點(diǎn)是在該搜索區(qū)域提取的，下面將對(duì)此進(jìn)行詳細(xì)描述。
例如，就眼睛來(lái)說(shuō)，對(duì)眼睛上方的特征點(diǎn)的搜索區(qū)域被限制在小距離眉毛1/2的范圍內(nèi)，而低于眼睛的特征點(diǎn)的搜索區(qū)域被限制在垂直方向上小眼睛寬度的1/2的范圍內(nèi)。另外，就鼻子來(lái)說(shuō)，對(duì)應(yīng)于鼻孔和弄圓了的鼻子側(cè)面的特征點(diǎn)的搜索區(qū)域被限制在小于距離上唇1/2的范圍內(nèi)，而就嘴唇來(lái)說(shuō)，嘴唇上方的特征點(diǎn)的搜索區(qū)域被限制在垂直方向上小于嘴唇寬度1/3的范圍內(nèi)。
搜索區(qū)域的限定值是使通過(guò)許多實(shí)驗(yàn)產(chǎn)生的特征提取錯(cuò)誤最小化的值，對(duì)搜索區(qū)域的這種限制使得能夠高度可靠地提取特征點(diǎn)。
再參考圖1，漫畫產(chǎn)生部件39包括用來(lái)產(chǎn)生三維面部漫畫的面部漫畫產(chǎn)生部件39a，和用來(lái)產(chǎn)生三維身體漫畫的身體漫畫產(chǎn)生部件39b，下面將詳細(xì)參考圖3對(duì)此進(jìn)行簡(jiǎn)要描述。
面部生成部件39a通過(guò)用ASM修改提取的面部特征點(diǎn)信息修改三維多邊形面部基本型，產(chǎn)生表現(xiàn)用戶面部特征的三維面部漫畫，身體漫畫產(chǎn)生部件39b根據(jù)存儲(chǔ)在三維身體模型DB 15中包括諸如頭發(fā)、身體、眼鏡、裝飾物、衣服、鞋子等身體部件的三維身體模型，產(chǎn)生三維身體漫畫。
如果需要二維漫畫，投影部件40通過(guò)將漫畫產(chǎn)生部件39產(chǎn)生的三維漫畫投影到二維平面中產(chǎn)生二維漫畫，漫畫存儲(chǔ)部件50存儲(chǔ)由漫畫產(chǎn)生部件39產(chǎn)生的三維漫畫。
另一方面，漫畫產(chǎn)生部件39產(chǎn)生的三維漫畫可以利用有線或無(wú)線方式經(jīng)漫畫發(fā)送/接收部件70發(fā)送給另一個(gè)三維漫畫產(chǎn)生部件100。這時(shí)，漫畫發(fā)送/接收部件70從三維漫畫中提取特征點(diǎn)的坐標(biāo)值和存儲(chǔ)參考值，以便減小要發(fā)送數(shù)據(jù)的容量，然后將提取出的數(shù)值發(fā)送給另一個(gè)三維漫畫產(chǎn)生部件100。被發(fā)送的特征點(diǎn)的坐標(biāo)值和存儲(chǔ)參考值可通過(guò)漫畫發(fā)送/接收部件70在另一個(gè)三維漫畫產(chǎn)生部件100內(nèi)重新構(gòu)造成三維漫畫。下面將參考圖5詳細(xì)描述重新構(gòu)造三維漫畫的一種方法。
作為參考，當(dāng)上面描述的本發(fā)明的各部件用硬件實(shí)現(xiàn)時(shí)，修改的變種和等同物對(duì)本領(lǐng)域的技術(shù)人員是顯然的。例如，如果ASM加載部件35、ASM修改部件37、漫畫產(chǎn)生部件39等包括單獨(dú)的存儲(chǔ)器，那么存儲(chǔ)部件10可配置被分成多個(gè)存儲(chǔ)器，該存儲(chǔ)部件10除了存儲(chǔ)學(xué)習(xí)數(shù)據(jù)、二維面部紋理、三維多邊形面部基本型和三維身體模型之外，還存儲(chǔ)其它數(shù)據(jù)。另外，諸如ASM加載部件35、ASM修改部件37、漫畫產(chǎn)生部件39等的部件可以用微處理器驅(qū)動(dòng)的軟件實(shí)現(xiàn)。
另一方面，根據(jù)本發(fā)明的三維漫畫產(chǎn)生方法包括步驟從輸入的面部圖像檢測(cè)眼睛位置，使該面部圖像的大小標(biāo)準(zhǔn)化；從該標(biāo)準(zhǔn)化的面部圖像為面部特征檢測(cè)每個(gè)初始位置；將ASM加載在標(biāo)準(zhǔn)化后的面部圖像中，以便與檢測(cè)到的初始位置對(duì)應(yīng)，然后修改加載的ASM，以便為面部特征提取特征點(diǎn)；通過(guò)加載三維多邊形面部基本型產(chǎn)生三維多邊形面部漫畫，然后根據(jù)在ASM修改步驟中提取的特征點(diǎn)的坐標(biāo)值修改加載的三維多邊形面部基本型。
該方法最好還包括步驟將三維多邊形面部漫畫投影到二維平面中獲得二維面部漫畫。
該方法最好還包括步驟發(fā)送從三維多邊形面部漫畫提取的特征點(diǎn)的坐標(biāo)值和存儲(chǔ)參考值。
下面將參考附圖詳細(xì)描述根據(jù)本發(fā)明的三維漫畫產(chǎn)生方法。
圖3是用來(lái)解釋根據(jù)本發(fā)明的三維漫畫產(chǎn)生方法的流程圖。
輸入面部圖像時(shí)，執(zhí)行預(yù)處理操作(S10)，用來(lái)從輸入的面部圖像檢測(cè)眼睛的位置，使面部圖像的大小標(biāo)準(zhǔn)化，下面將參考圖4對(duì)此進(jìn)行詳細(xì)的描述。
圖4是用來(lái)解釋圖3所示預(yù)處理的步驟的詳細(xì)流程圖。
首先，如果輸入的面部圖像是彩色圖像，就轉(zhuǎn)化為黑白圖像(S11)，然后利用Gabor濾波器響應(yīng)從黑白圖像中檢測(cè)面部區(qū)域(S12)。
接下來(lái)，隨閾值增加進(jìn)行二值化直到兩條眉毛和兩只眼睛都在面部圖像中出現(xiàn)有特定的黑色區(qū)域?yàn)橹?。該二值化包括為二值化設(shè)置閾值變化范圍，在設(shè)置的閾值變化范圍內(nèi)設(shè)置閾值的初始值，然后根據(jù)閾值初始設(shè)置值，給亮度值大于閾值的像素賦予白色，給亮度值小于閾值的像素賦予黑色(S13和S14)。
這里，最好根據(jù)輸入的面部圖像的亮度設(shè)置閾值變化范圍。這是因?yàn)楫?dāng)根據(jù)給定面部圖像亮度設(shè)置閾值變化范圍時(shí)，可以減少不必要的計(jì)算量。
完成面部圖像的二值化后，開(kāi)始進(jìn)行分組操作，以便將區(qū)域中與眉毛和眼睛對(duì)應(yīng)的有黑色的像素結(jié)合成多個(gè)組(S15)。這時(shí)，當(dāng)計(jì)算黑色像素之間在水平方向上相距的間隔并且計(jì)算出的間隔小于預(yù)定距離時(shí)，還可以通過(guò)將黑色像素連接在一起減少噪聲所導(dǎo)致的錯(cuò)誤。在分辨率為640*480的面部圖像中，黑色像素之間可連接的距離通常最好小于5。該值可以根據(jù)面部圖像的分辨率改變。
接下來(lái)，對(duì)分組過(guò)程形成的各組做標(biāo)記從而進(jìn)行排序，然后提取標(biāo)記相同的區(qū)域作為獨(dú)立區(qū)域(S16)。這時(shí)，作為標(biāo)記算法，可以采用4路連接軌跡(trace)算法或8路連接軌跡算法。由于如果面部圖像中的組數(shù)多，標(biāo)記就需要很多時(shí)間，因此，最好將具有大小小于3到4的組的區(qū)域作為噪聲去除掉。
接下來(lái)，確定由標(biāo)記提取的獨(dú)立區(qū)域中是否有一對(duì)眉毛候選區(qū)域和一對(duì)眼睛候選區(qū)域，如果既沒(méi)有檢測(cè)到眉毛又沒(méi)有檢測(cè)到眼睛，那么隨著閾值增加進(jìn)行二值化直到檢測(cè)到一對(duì)眉毛和一對(duì)眼睛為止(S17和S19)。這時(shí)，閾值最好在設(shè)置的變化范圍內(nèi)增加。
如果確定在獨(dú)立區(qū)域中有一對(duì)眉毛候選區(qū)域和一對(duì)眼睛候選區(qū)域，則根據(jù)眼睛的大小、形狀和位置信息計(jì)算眼睛候選區(qū)域的錯(cuò)誤率，然后確定計(jì)算出的錯(cuò)誤率是否在允許范圍內(nèi)，以便驗(yàn)證眼睛候選區(qū)域是否與眼睛對(duì)應(yīng)。下面將更詳細(xì)描述眼睛候選區(qū)域的錯(cuò)誤率的計(jì)算方法。
通常，眼睛的形狀為橢圓形，占據(jù)整個(gè)面部區(qū)域面積的0.2％到2.5％，并位于面部區(qū)域垂直方向的上部，左右眼位于相同的水平線上?？梢岳妹娌康拇笮　⑿螤詈臀恢眠@種信息確定眼睛候選區(qū)域是否與眼睛對(duì)應(yīng)。
也就是說(shuō)，可以用眼睛的大小、形狀和位置信息計(jì)算眼睛候選區(qū)域的錯(cuò)誤率作為參考值，然后根據(jù)計(jì)算出的錯(cuò)誤率確定眼睛候選區(qū)域是否與眼睛對(duì)應(yīng)。
為了計(jì)算眼睛候選區(qū)域的錯(cuò)誤率，先得到眼睛候選區(qū)域的大小、寬度與長(zhǎng)度比值、垂直位置和水平位置相對(duì)于參考值的偏差值。
在此，根據(jù)標(biāo)記時(shí)獲得的獨(dú)立區(qū)域的信息容易獲得眼睛候選區(qū)域的大小、寬度與長(zhǎng)度比值、垂直位置和水平位置。換句話說(shuō)，當(dāng)用標(biāo)記提取獨(dú)立區(qū)域時(shí)，得到每個(gè)獨(dú)立區(qū)域的XY坐標(biāo)，根據(jù)得到的XY坐標(biāo)計(jì)算每個(gè)獨(dú)立區(qū)域的大小、寬度與長(zhǎng)度比值、垂直位置和水平位置。
同時(shí)，由于根據(jù)二值化的閾值可以改變眼睛的大小、寬度與長(zhǎng)度比值、垂直位置和水平位置，因此當(dāng)?shù)玫窖劬蜻x區(qū)域的偏差值時(shí)，應(yīng)該得到依照二值化的閾值的參考值。
眼睛候選區(qū)域的參考值依照二值化閾值改變的示例示于圖9。如圖9所示，由于眼睛在面部圖像中占據(jù)的大小隨閾值的增加而增加，因此根據(jù)相應(yīng)閾值的參考值應(yīng)該得到眼睛候選區(qū)域的偏差值。類似地，對(duì)于眼睛的寬度與長(zhǎng)度之比、垂直位置和水平位置，根據(jù)相應(yīng)閾值的參考值應(yīng)該獲得眼睛候選區(qū)域的偏差值。
在本實(shí)施例，當(dāng)眼睛大小的參考值設(shè)置為整個(gè)面部區(qū)域的0.2％到2.5％時(shí)，如果眼睛候選區(qū)域的大小是在整個(gè)面部區(qū)域的0.2％到2.5％之間，就確定眼睛候選區(qū)域是眼睛，而當(dāng)眼睛的寬度和長(zhǎng)度之比的參考值設(shè)置在1.0到3.2時(shí)，如果眼睛候選區(qū)域的寬度和長(zhǎng)度之比小于1.0或大于3.2，即眼睛候選區(qū)域不是橢圓形狀，就確定眼睛候選區(qū)域不是眼睛。
另外，在本實(shí)施例中，當(dāng)眼睛垂直位置在整個(gè)面部區(qū)域的參考值設(shè)置為1/3時(shí)，如果眼睛候選區(qū)域位于垂直方向上整個(gè)面部區(qū)域的上部，則確定眼睛候選區(qū)域是眼睛，而當(dāng)眼睛水平位置在整個(gè)面部區(qū)域的參考值設(shè)置為5°時(shí)，如果右/左眼候選區(qū)域處在幾乎相同的水平線上，則確定眼睛候選區(qū)域是眼睛。
假定眼睛候選區(qū)域的大小、寬度和長(zhǎng)度之比、垂直位置和水平位置的偏差值分別是D1、D2、D3和D4，偏差值的權(quán)重分別為k1、k2、k3和k4，關(guān)于眼睛候選區(qū)域錯(cuò)誤率(Er)的方程如下面的方程(1)給出。
錯(cuò)誤率(Er)(％)＝{k1*|D1|+k2*|D2|+k3*|D3|+K4*|D4|}*100…… (1)在方程1中，根據(jù)學(xué)習(xí)面部圖像的結(jié)果確定偏差值的權(quán)重k1、k2、k3和k4。例如，如果學(xué)習(xí)結(jié)果表明，眼睛與具有整個(gè)面部區(qū)域的0.2％到2.5％大小的區(qū)域?qū)?yīng)的概率很高，設(shè)置眼睛候選區(qū)域大小的權(quán)重k1的值大于剩余權(quán)重k2、k3和k4，而權(quán)重k1、k2、k3和k4對(duì)于各偏差值可以改變。
如果確定眼睛候選區(qū)域的錯(cuò)誤率Er在允許范圍內(nèi)(例如30％)，換句話說(shuō)，眼睛候選區(qū)域的大小、形狀或位置是合適的，則從眼睛候選區(qū)域檢測(cè)兩只眼睛的中點(diǎn)(S24和S25)。
如上所述，當(dāng)計(jì)算出眼睛候選區(qū)域的錯(cuò)誤率Er時(shí)，由于考慮到了眼睛候選區(qū)域的大小、形狀和位置的所有偏差值，因此將眉毛誤認(rèn)為眼睛的可能性可最小化。因此，即便在低分辨率的面部圖像中也可以正確檢測(cè)到兩只眼睛的中點(diǎn)。
另一方面，如果用戶的眉毛是白色，那么可能根本檢測(cè)不到眉毛。在這種情況下，確定部件27將通過(guò)二值化檢測(cè)到的右眼和左眼識(shí)別為眉毛候選區(qū)域，用增加的閾值對(duì)檢測(cè)到的眼睛下方區(qū)域進(jìn)行二值化直到檢測(cè)到眼睛候選區(qū)域?yàn)橹?S11到S19)。然而，如果即使用最大閾值進(jìn)行的二值化過(guò)程還不能檢測(cè)到一對(duì)眼睛候選區(qū)域，那么將識(shí)別為眉毛候選區(qū)域的區(qū)域設(shè)置為眼睛候選區(qū)域(S20和S21)，如果確定計(jì)算出的眼睛候選區(qū)域錯(cuò)誤率Er是在允許范圍內(nèi)，就檢測(cè)眼睛候選區(qū)域中的兩只眼睛中點(diǎn)(S24和S25)。
另外，如果用戶的兩條眉毛之一被頭發(fā)遮擋，則可能僅檢測(cè)另一條眉毛。在這種情況下，如果通過(guò)二值化僅檢測(cè)到一個(gè)獨(dú)立區(qū)域(眉毛)，那么確定部件27放棄檢測(cè)到的獨(dú)立區(qū)域并且繼續(xù)二值化。如果通過(guò)二值化檢測(cè)到右眼和左眼，確定部件27將該檢測(cè)到的眼睛認(rèn)定為眉毛候選區(qū)域并且用增加的閾值對(duì)檢測(cè)到的眼睛下方區(qū)域進(jìn)行二值化直到檢測(cè)到眼睛候選區(qū)域?yàn)橹?S11到S19)。然而，如果即使用最大閾值進(jìn)行的二值化過(guò)程還不能檢測(cè)到一對(duì)左右對(duì)稱的眼睛候選區(qū)域，那么將認(rèn)做眉毛候選區(qū)域的區(qū)域設(shè)置為眼睛候選區(qū)域(S20和S21)，而如果確定計(jì)算出的眼睛候選區(qū)域錯(cuò)誤率Er是在允許范圍內(nèi)，則檢測(cè)眼睛候選區(qū)域中的兩只眼睛中點(diǎn)(S24和S25)。
另一方面，如果用戶的兩條眉毛之一和兩只眼睛之一被頭發(fā)遮擋，那么即使用最大閾值進(jìn)行二值化也不能檢測(cè)到一對(duì)獨(dú)立區(qū)域。在這種情況下，如果一個(gè)眼睛候選區(qū)域存在于左右兩側(cè)中的任何一側(cè)，則根據(jù)所述一個(gè)眼睛候選區(qū)域產(chǎn)生一對(duì)眼睛(S22和S23)，然后，如果確定對(duì)產(chǎn)生的一對(duì)眼睛候選區(qū)域計(jì)算出的錯(cuò)誤率Er是在允許范圍內(nèi)，則檢測(cè)眼睛候選區(qū)域中的兩只眼睛中點(diǎn)(S24和S25)。
本發(fā)明已經(jīng)將兩只眼睛都被頭發(fā)遮擋的情況排除在外。這是因?yàn)閮芍谎劬Χ急徽趽醯目赡苄詷O小，盡管通常面部圖像中兩條眉毛會(huì)被頭發(fā)遮擋。
另外，在本實(shí)施例中，雖然眼睛候選區(qū)域的驗(yàn)證標(biāo)準(zhǔn)受大小、寬度和長(zhǎng)度之比、垂直和水平位置的限制，并且是用這些限制計(jì)算眼睛候選區(qū)域的錯(cuò)誤率，但是替代地，可以采用其它不同標(biāo)準(zhǔn)。
接下來(lái)，根據(jù)兩只眼睛的位置，將面部區(qū)域的大小標(biāo)準(zhǔn)化，從而按一比一的比例用存儲(chǔ)在三維多邊形面部基本型DB 15的三維面部基本型繪制面部區(qū)域。這時(shí)，如果面部圖像有微小的傾斜角度，可以將該傾斜的角度修正為正常角度。
再參考圖3，完成上述面部圖像的預(yù)處理之后，當(dāng)面部特征初始位置檢測(cè)部件33通過(guò)將Canny濾波器作用到面部區(qū)域來(lái)檢測(cè)每個(gè)面部特征的初始位置時(shí)(S30)，ASM加載部件31將ASM加載到預(yù)處理面部圖像中以便與檢測(cè)到的初始位置對(duì)應(yīng)(S50)。
另一方面，在檢測(cè)面部圖像的初始位置時(shí)除了采用Canny濾波器，還可以根據(jù)二值化檢測(cè)到的兩只眼睛的中心點(diǎn)，采用面部圖像之間的幾何位置關(guān)系來(lái)檢測(cè)眉毛、眼睛、鼻子和嘴巴的初始位置。
接下來(lái)，通過(guò)利用存儲(chǔ)在學(xué)習(xí)數(shù)據(jù)DB 11的ASM形狀變化特性數(shù)據(jù)對(duì)加載的ASM進(jìn)行修改，ASM修改部件37從預(yù)處理的面部圖像提取眉毛、眼睛、鼻子、嘴巴或面部輪廓的特征點(diǎn)(S70)。
當(dāng)提取特征點(diǎn)時(shí)，ASM修改是在預(yù)先限定用來(lái)提取每個(gè)面部特征的特征點(diǎn)的搜索區(qū)域的情況下進(jìn)行的。搜索區(qū)域的限定已經(jīng)參考圖1進(jìn)行了詳細(xì)描述，因此不再贅述。
接下來(lái)，面部漫畫產(chǎn)生部件39a分別從三維多邊形面部基本型DB 15和二維面部紋理DB 13中加載三維面部基本型和二維面部紋理(S90)，將該加載二維面部紋理繪入三維面部基本型(S110)，然后通過(guò)根據(jù)提取的特征點(diǎn)的坐標(biāo)值修改三維面部基本型來(lái)產(chǎn)生三維多邊形面部漫畫(S130)。
這里，二維面部紋理用來(lái)將皮膚顏色、眉毛顏色、嘴唇顏色等作用到三維面部基本型，如圖12(a)所示，可以看到，將二維面部紋理繪制到三維面部基本型中可以產(chǎn)生更自然精巧的三維面部漫畫，如圖12(b)所示。
下面將簡(jiǎn)要地描述根據(jù)提取的特征點(diǎn)的坐標(biāo)值的三維面部基本型的修改。通過(guò)ASM修改部件37提取的特征點(diǎn)具有XY坐標(biāo)值。當(dāng)根據(jù)這些XY坐標(biāo)值將特征點(diǎn)應(yīng)用到三維面部基本型時(shí)，三維面部基本型上的多邊形分量被替換，從而三維面部基本型修改得與用戶面部相似。
圖13是用來(lái)說(shuō)明三維多邊形面部基本型的修改的示意圖。如圖13所示，假設(shè)三維面部基本型的基本特征點(diǎn)是A、B、C，在特征點(diǎn)A、B和C形成的三角形內(nèi)的規(guī)定的多邊形是D，△ABC的面積是Area，△DBC的面積是A1，△DAC的面積是A2，△DAB的面積是A3。
當(dāng)由ASM修改提取的特征點(diǎn)A′、B′和C′加到三維面部基本型時(shí)，三維面部基本型上的基本特征點(diǎn)A、B和C分別移動(dòng)到A′、B′和C′。因此，三維面部基本型上的多邊形也移動(dòng)了。這里，多邊形D的位移由下列方程(2)給出。OD→′=OD→+w1×DA→′+w2×DB→′+w3×DC→′......(2)]]>在方程2中，w1，w2，w3分別等于A1除以Area、A2除以Area及A3除以Area，如下w1=A1Area,w2=A2Area,w3=A3Area]]>當(dāng)根據(jù)特征點(diǎn)的應(yīng)用移動(dòng)多邊形D時(shí)，也按類似方式移動(dòng)多邊形D周圍的多邊形。因此，可修改三維面部基本型以變得總體上與用戶面部相似。
當(dāng)提取的特征點(diǎn)加到三維面部模型時(shí)，除了XY坐標(biāo)值之外的信息——例如Z軸方向的坐標(biāo)值——采用包含在三維面部基本型里的人類學(xué)標(biāo)準(zhǔn)數(shù)據(jù)。例如，如果通過(guò)ASM修改提取的特征點(diǎn)的XY坐標(biāo)值是(170，210)，當(dāng)XY坐標(biāo)(170，210)加到三維面部基本型上時(shí)，該特征點(diǎn)的XYZ坐標(biāo)是(170，210，35)。這里，Z軸方向的坐標(biāo)值35是包含在三維面部基本型的人類學(xué)標(biāo)準(zhǔn)數(shù)據(jù)值。
另一方面，除了精確使用包含在三維面部基本型里的人類學(xué)標(biāo)準(zhǔn)數(shù)據(jù)之外，通過(guò)更進(jìn)一步利用下面將要描述的側(cè)面面部圖像，可產(chǎn)生更類似用戶面部的三維漫畫。
首先，當(dāng)輸入側(cè)面面部圖像時(shí)，預(yù)處理部件31從輸入的側(cè)面面部圖像檢測(cè)鼻子的端點(diǎn)和眉毛，然后根據(jù)檢測(cè)到的鼻子端點(diǎn)和檢測(cè)到的眉毛將側(cè)面面部圖像標(biāo)準(zhǔn)化。面部特征初始位置檢測(cè)部件33從標(biāo)準(zhǔn)化的側(cè)面面部圖像檢測(cè)面部特征的側(cè)面初始位置。然后，ASM加載部件35在標(biāo)準(zhǔn)化的側(cè)面面部圖像中加載存儲(chǔ)在存儲(chǔ)部件10中的側(cè)面ASM，以便與檢測(cè)到的側(cè)面初始位置對(duì)應(yīng)。通過(guò)對(duì)加載的側(cè)面ASM進(jìn)行二值化，ASM修改部件37從標(biāo)準(zhǔn)化后的側(cè)面面部圖像提取眉毛、眼睛、嘴唇或面部輪廓的特征點(diǎn)的YZ坐標(biāo)值。然后，根據(jù)通過(guò)ASM修改部件37提取的特征點(diǎn)的XY和YZ坐標(biāo)值，通過(guò)修改三維多邊形面部基本型，面部漫畫產(chǎn)生部件39a產(chǎn)生三維多邊形面部漫畫。
另外，可以利用一種蛇形算法(snake algorithm)修改面部基本型，以便產(chǎn)生類似于用戶面部并且突出詼諧或夸張的三維漫畫。下面簡(jiǎn)要描述利用蛇形算法修改三維面部基本型的方法。
蛇形算法是一種通過(guò)執(zhí)行如圖像力(image force)的能量的最小化而從圖像中提取線、邊、輪廓等的方法。在本發(fā)明中，一幅與用戶面部相似并突出詼諧或夸張的漫畫通過(guò)以下方式產(chǎn)生，即進(jìn)行XY位置變換，同時(shí)保持特征點(diǎn)之間的相對(duì)位置和特征點(diǎn)構(gòu)成的結(jié)構(gòu)(configuration)，然后應(yīng)用蛇形算法根據(jù)基本型上的坐標(biāo)值為剩余相鄰特征點(diǎn)進(jìn)行XYZ位置變換。
帶有夸張手法的漫畫的示例示于圖14中。如圖14所示，通過(guò)采用雙曲線三維面部基本型并且只將重要的面部特征加到三維面部基本型，可以產(chǎn)生與用戶面部相似的多種三維特性。
再次參考圖3，產(chǎn)生三維多邊形面部漫畫后，根據(jù)存儲(chǔ)在三維身體模型DB 17的三維身體模型，身體漫畫產(chǎn)生部件39b產(chǎn)生三維身體漫畫(S150)，最后通過(guò)組合三維多邊形面部漫畫和三維身體漫畫完成了三維漫畫(S170)。
同時(shí)，如果必要，可以通過(guò)投影部件40將三維漫畫投影到二維平面中來(lái)產(chǎn)生二維漫畫(S190到S210)。另外，如果需要發(fā)送三維漫畫，那么發(fā)送從三維漫畫提取的特征點(diǎn)的坐標(biāo)值和存儲(chǔ)參考值(S230到S250)。下面將描述根據(jù)發(fā)送的特征點(diǎn)坐標(biāo)值和存儲(chǔ)參考值重新構(gòu)造三維漫畫的方法。
圖5是說(shuō)明重新構(gòu)造圖3中被發(fā)送的三維漫畫的方法的流程圖。
首先，當(dāng)收到從三維漫畫提取的特征點(diǎn)的坐標(biāo)值和存儲(chǔ)參考值時(shí)，面部漫畫產(chǎn)生部件39a加載對(duì)應(yīng)于從三維多邊形面部基本型DB 15和二維面部紋理DB 13收到的存儲(chǔ)參考值的三維面部基本型和二維面部紋理(S310)。
接下來(lái)，根據(jù)將二維面部紋理繪入三維面部基本型之后接收到的特征點(diǎn)的坐標(biāo)值，面部漫畫產(chǎn)生部件39a通過(guò)修改三維面部基本型重新構(gòu)造三維多邊形面部漫畫(S330到S350)。
接下來(lái)，通過(guò)加載與從三維身體模型DB 17接收到的存儲(chǔ)參考值對(duì)應(yīng)的三維身體模型，身體漫畫產(chǎn)生部件39b重新構(gòu)造三維身體漫畫，然后通過(guò)組合所重構(gòu)的三維多邊形面部漫畫和所重構(gòu)的三維身體漫畫以重新構(gòu)造三維漫畫(S370到S390)。
如果除了三維漫畫產(chǎn)生裝置100和100之外還有可以重新構(gòu)造三維漫畫的數(shù)據(jù)庫(kù)，那么發(fā)送和重構(gòu)上述三維漫畫的方法可用于包括通訊終端的各種領(lǐng)域，如漫畫張貼品自動(dòng)售貨機(jī)、計(jì)算機(jī)、手提電話和PDA、形象化(avatar)的游戲機(jī)、英特網(wǎng)聊天服務(wù)。舉例來(lái)說(shuō)，從漫畫張貼品自動(dòng)售貨機(jī)發(fā)送的三維漫畫可以在英特網(wǎng)形象化站點(diǎn)重新構(gòu)造，或者從計(jì)算機(jī)發(fā)送的三維漫畫可以重新構(gòu)造在手提電話上。
如上所述，根據(jù)本發(fā)明的三維漫畫產(chǎn)生裝置和方法，由于可以利用面部專用的ASM技術(shù)正確提取代表面部特征的各部位的特征點(diǎn)的信息，所以能夠產(chǎn)生與用戶面部非常相似的三維漫畫。
另外，根據(jù)本發(fā)明，如果需要二維漫畫，只要通過(guò)將三維漫畫投影到二維平面上即可容易得到。還有，需要發(fā)送三維漫畫時(shí)，由于只發(fā)送三維漫畫用到的存儲(chǔ)參考值和面部特征的信息，因此系統(tǒng)負(fù)擔(dān)可以最小化。
此外，根據(jù)本發(fā)明，三維漫畫可以簡(jiǎn)單地重構(gòu)并用于通訊終端，如漫畫張貼品自動(dòng)售貨機(jī)、計(jì)算機(jī)、手提電話和PDA或者英特網(wǎng)。
雖然為了說(shuō)明的目的已經(jīng)公開(kāi)了本發(fā)明的最佳實(shí)施例，但是本領(lǐng)域的技術(shù)人員可知，在不背離如權(quán)利要求中公開(kāi)的本發(fā)明的思想和范圍時(shí)，可進(jìn)行各種修改、添加和替換。
權(quán)利要求
1.一種根據(jù)用戶的輸入面部圖像產(chǎn)生三維漫畫的裝置，包括存儲(chǔ)部件，用來(lái)存儲(chǔ)產(chǎn)生三維漫畫所需的ASM(活動(dòng)形狀模型，ActiveShape Models)和三維多邊形面部基本型；預(yù)處理部件，用來(lái)從所述輸入面部圖像檢測(cè)眼睛的位置并且將所述面部圖像的大小標(biāo)準(zhǔn)化；面部特征初始位置檢測(cè)部件，用來(lái)從所標(biāo)準(zhǔn)化的面部圖像檢測(cè)各面部特征的每個(gè)初始位置；ASM加載部件，用來(lái)將存儲(chǔ)在存儲(chǔ)部件中的ASM加載在所標(biāo)準(zhǔn)化的面部圖像中以便與所檢測(cè)到的初始位置對(duì)應(yīng)；ASM修改部件，用來(lái)修改所加載的ASM以便為所述各面部特征提取特征點(diǎn)；以及漫畫產(chǎn)生部件，用來(lái)通過(guò)加載來(lái)自所述存儲(chǔ)部件的所述三維多邊形面部基本型，然后根據(jù)經(jīng)所述ASM修改部件提取的所述特征點(diǎn)的坐標(biāo)值、修改所加載的三維多邊形面部基本型，從而產(chǎn)生三維多邊形面部漫畫。
2.根據(jù)權(quán)利要求1所述的裝置，其中所述預(yù)處理部件包括降低顏色飽和度部件，用來(lái)在所述輸入面部圖像是彩色圖像的條件，將所述彩色圖像轉(zhuǎn)換為黑白圖像；面部區(qū)域檢測(cè)部件，用來(lái)利用Gabor濾波器響應(yīng)從所述輸入面部圖像檢測(cè)面部區(qū)域；眼睛檢測(cè)部件，用來(lái)經(jīng)所述面部區(qū)域檢測(cè)部件從所檢測(cè)到的面部區(qū)域檢測(cè)眼睛的位置；以及面部標(biāo)準(zhǔn)化部件，用來(lái)將面部區(qū)域大小標(biāo)準(zhǔn)化，這樣，根據(jù)經(jīng)所述眼睛檢測(cè)部件檢測(cè)到的所述眼睛位置，所述面部區(qū)域可以一比一的比例用存儲(chǔ)在所述存儲(chǔ)部件中的所述三維多邊形面部基本型繪制(map)。
3.根據(jù)權(quán)利要求2所述的裝置，其中所述眼睛檢測(cè)部件包括二值化(binarization)部件，用來(lái)根據(jù)閾值對(duì)所述輸入面部圖像進(jìn)行二值化；分組部件，當(dāng)從所述二值化部件輸入所述二進(jìn)制編碼的面部圖像時(shí)，用來(lái)將對(duì)應(yīng)眉毛和眼睛的區(qū)域中的黑色象素分組；標(biāo)記部件，用來(lái)通過(guò)標(biāo)記經(jīng)所述分組部件檢測(cè)到的多個(gè)組、給所述多個(gè)組排序，然后為獨(dú)立區(qū)域提取具有相同標(biāo)記的區(qū)域；以及確定部件，用來(lái)在經(jīng)所述標(biāo)記部件提取出的所述獨(dú)立區(qū)域中設(shè)置眉毛候選區(qū)域和眼睛候選區(qū)域，然后確定所設(shè)置的眼睛候選區(qū)域是否對(duì)應(yīng)眼睛。
4.根據(jù)權(quán)利要求3所述的裝置，其中當(dāng)所述閾值改變時(shí)，所述確定部件進(jìn)行二值化直到所述眉毛候選區(qū)域和所述眼睛候選區(qū)域都被檢測(cè)到為止。
5.根據(jù)權(quán)利要求1所述的裝置，其中通過(guò)將Canny濾波器加到所述標(biāo)準(zhǔn)化的面部圖像，所述面部特征初始位置檢測(cè)部件檢測(cè)所述各面部特征的每個(gè)初始位置。
6.根據(jù)權(quán)利要求1所述的裝置，其中所述存儲(chǔ)部件還存儲(chǔ)有關(guān)所述ASM的形狀變化特性的數(shù)據(jù)，通過(guò)采用存儲(chǔ)在所述存儲(chǔ)部件中的有關(guān)所述ASM的形狀變化特性的所述數(shù)據(jù)，所述ASM修改部件從所述標(biāo)準(zhǔn)化的面部圖像提取眉毛、眼睛、鼻子、嘴唇或面部輪廓的特征點(diǎn)。
7.根據(jù)權(quán)利要求1所述的裝置，其中在提取所述特征點(diǎn)時(shí)，所述ASM修改部件預(yù)先限定用于提取所述面部特征的所述特征點(diǎn)的搜索區(qū)域。
8.根據(jù)權(quán)利要求1所述的裝置，其中所述存儲(chǔ)部件還存儲(chǔ)用來(lái)構(gòu)造(texturing)所述三維多邊形面部基本型的二維面部紋理，而所述漫畫產(chǎn)生部件將存儲(chǔ)在所述存儲(chǔ)部件中的所述二維面部紋理繪制在所述三維多邊形面部基本型中。
9.根據(jù)權(quán)利要求1所述的裝置，其中所述存儲(chǔ)部件還存儲(chǔ)產(chǎn)生三維身體漫畫所需的三維身體模型，而所述漫畫產(chǎn)生部件基于存儲(chǔ)在所述存儲(chǔ)部件中的所述三維身體模型產(chǎn)生所述三維身體漫畫。
10.根據(jù)權(quán)利要求1所述的裝置，其中，當(dāng)輸入側(cè)面面部圖像時(shí)，所述預(yù)處理部件從所述輸入側(cè)面面部圖像檢測(cè)所述鼻子的端點(diǎn)和眉毛，然后根據(jù)所檢測(cè)到的所述鼻子端點(diǎn)和所檢測(cè)到的眉毛將所述側(cè)面面部圖像標(biāo)準(zhǔn)化；所述面部特征初始位置檢測(cè)部件從所標(biāo)準(zhǔn)化的側(cè)面面部圖像檢測(cè)各面部特征的每個(gè)側(cè)面初始位置；所述ASM加載部件在所標(biāo)準(zhǔn)化的側(cè)面面部圖像中加載存儲(chǔ)在所述存儲(chǔ)部件中的側(cè)面ASM，以便對(duì)應(yīng)所檢測(cè)的側(cè)面初始位置；所述ASM修改部件修改所加載的側(cè)面ASM以便從所標(biāo)準(zhǔn)化的側(cè)面面部圖像提取所述各面部特征的特征點(diǎn)的坐標(biāo)值；所述漫畫產(chǎn)生部件根據(jù)經(jīng)所述ASM修改部件提取的所述各特征點(diǎn)的所述坐標(biāo)值，修改所述三維多邊形面部基本型，從而產(chǎn)生三維多邊形面部漫畫。
11.根據(jù)權(quán)利要求1所述的裝置，還包括投影部件，用來(lái)通過(guò)將所述漫畫產(chǎn)生部件產(chǎn)生的所述三維多邊形面部漫畫投影到二維平面上，獲得二維面部漫畫。
12.根據(jù)權(quán)利要求1所述的裝置，還包括漫畫發(fā)送/接收部件，用來(lái)發(fā)送/接收從經(jīng)所述漫畫產(chǎn)生部件產(chǎn)生的所述三維多邊形面部漫畫提取的所述各特征點(diǎn)的坐標(biāo)值和存儲(chǔ)參考值。
13.根據(jù)權(quán)利要求12所述的裝置，其中，當(dāng)從所述漫畫發(fā)送/接收部件接收從所述三維多邊形面部漫畫提取的所述特征點(diǎn)的所述坐標(biāo)值和存儲(chǔ)參考值時(shí)，所述漫畫產(chǎn)生部件加載對(duì)應(yīng)來(lái)自所述存儲(chǔ)部件的所接收到的存儲(chǔ)參考值的三維多邊形面部基本型和二維面部紋理，將所述二維面部紋理繪制到所述三維多邊形面部基本型，然后根據(jù)所接收到的各特征點(diǎn)的所述坐標(biāo)值修改所述三維多邊形面部基本型，從而重新構(gòu)造三維多邊形面部漫畫。
14.一種基于用戶的輸入面部圖像產(chǎn)生三維漫畫的方法，包括步驟進(jìn)行預(yù)處理，從所述輸入面部圖像檢測(cè)眼睛位置并且使所述面部圖像大小標(biāo)準(zhǔn)化；從所標(biāo)準(zhǔn)化的面部圖像檢測(cè)各面部特征的每個(gè)初始位置；在所標(biāo)準(zhǔn)化的面部圖像中加載ASM以便與所檢測(cè)到的初始位置對(duì)應(yīng)，然后修改所加載的ASM以便提取所述各面部特征的特征點(diǎn)；及通過(guò)加載三維多邊形面部基本型，然后根據(jù)在所述ASM修改步驟提取的所述各特征點(diǎn)的坐標(biāo)值、修改所加載的三維多邊形面部基本型，從而產(chǎn)生三維多邊形面部漫畫。
15.根據(jù)權(quán)利要求14所述的方法，其中進(jìn)行所述預(yù)處理的所述步驟包括如果所述輸入面部圖像是彩色圖像，就將所述彩色圖像轉(zhuǎn)換為黑白圖像；利用Gabor濾波器響應(yīng)從所述輸入面部圖像檢測(cè)面部區(qū)域；從所檢測(cè)到的面部區(qū)域檢測(cè)眼睛的位置；及使所述面部區(qū)域大小標(biāo)準(zhǔn)化，這樣，根據(jù)所檢測(cè)到的眼睛位置，所述面部區(qū)域可以一比一的比例用所述三維多邊形面部基本型繪制。
16.根據(jù)權(quán)利要求15所述的方法，其中檢測(cè)所述眼睛位置的所述步驟包括根據(jù)閾值對(duì)所述輸入面部圖像進(jìn)行二值化；將所述二進(jìn)制編碼的面部圖像中的黑色象素分組；通過(guò)標(biāo)記在所述分組步驟中檢測(cè)到的多個(gè)組將多個(gè)組排順序，然后為獨(dú)立區(qū)域提取具有相同標(biāo)記的區(qū)域；以及在所提取的獨(dú)立區(qū)域中設(shè)置眉毛候選區(qū)域和眼睛候選區(qū)域，然后從所設(shè)置的眼睛候選區(qū)域檢測(cè)兩只眼睛的中點(diǎn)。
17.根據(jù)權(quán)利要求16所述的方法，其中進(jìn)行所述二值化的所述步驟包括步驟根據(jù)所述輸入面部圖像的亮度設(shè)置閾值變化范圍，在所設(shè)置的閾值變化范圍內(nèi)設(shè)置閾值的初始值，然后根據(jù)所設(shè)置的所述閾值初始值對(duì)所述輸入面部圖像進(jìn)行所述二值化。
18.根據(jù)權(quán)利要求16所述的方法，其中所述分組步驟包括步驟當(dāng)計(jì)算出黑色象素之間在水平方向相距的間隔并且所計(jì)算出的間隔小于預(yù)定距離時(shí)，將所述黑色象素連接在一起。
19.根據(jù)權(quán)利要求16所述的方法，其中所述標(biāo)記步驟包括步驟刪除在所述分組步驟中檢測(cè)到的所述多組中大小小于預(yù)定大小的組，所述組被認(rèn)為是噪聲。
20.根據(jù)權(quán)利要求16所述的方法，還包括步驟如果在所提取的獨(dú)立區(qū)域中沒(méi)有一對(duì)眉毛候選區(qū)域和一對(duì)眼睛候選區(qū)域，在增加所述閾值時(shí)進(jìn)行所述二值化，直到一對(duì)眉毛候選區(qū)域和一對(duì)眼睛候選區(qū)域都被檢測(cè)到為止。
21.根據(jù)權(quán)利要求16所述的方法，其中從所設(shè)置的眼睛候選區(qū)域檢測(cè)兩只眼睛的中點(diǎn)的所述步驟還包括將所述眼睛候選區(qū)域的信息與預(yù)先存儲(chǔ)的參考值比較，然后計(jì)算所述眼睛候選區(qū)域的偏差值；通過(guò)給所述每個(gè)偏差值分配權(quán)重計(jì)算所述眼睛候選區(qū)域的錯(cuò)誤率，并將所述偏差值加在一起；及確定所述眼睛候選區(qū)域的所述錯(cuò)誤率是否在允許范圍內(nèi)。
22.根據(jù)權(quán)利要求21所述的方法，其中預(yù)先存儲(chǔ)的所述參考值包括各值所述眼睛的大小、寬度和長(zhǎng)度之比、垂直位置和水平位置。
23.根據(jù)權(quán)利要求21所述的方法，其中在計(jì)算所述眼睛候選區(qū)域的偏差值時(shí)，將眼睛候選區(qū)域的所述信息與相應(yīng)閾值的所述參考值進(jìn)行比較。
24.根據(jù)權(quán)利要求21所述的方法，其中，如果在所提取出的獨(dú)立區(qū)域中僅檢測(cè)到一對(duì)眉毛候選區(qū)域，就將所檢測(cè)到的一對(duì)眉毛候選區(qū)域設(shè)置為眼睛候選區(qū)域，然后計(jì)算所述眼睛候選區(qū)域的錯(cuò)誤率。
25.根據(jù)權(quán)利要求21所述的方法，其中，如果在所提取出的獨(dú)立區(qū)域中僅檢測(cè)到一個(gè)眉毛候選區(qū)域，就將所檢測(cè)到的眉毛候選區(qū)域設(shè)置為眼睛候選區(qū)域，根據(jù)所述眼睛候選區(qū)域產(chǎn)生一對(duì)眼睛，然后計(jì)算所產(chǎn)生出的一對(duì)眼睛的錯(cuò)誤率。
26.根據(jù)權(quán)利要求14所述的方法，其中檢測(cè)每個(gè)初始位置的所述步驟包括步驟通過(guò)將Canny濾波器作用到所標(biāo)準(zhǔn)化的面部圖像來(lái)確定每個(gè)面部特征的初始位置。
27.根據(jù)權(quán)利要求14所述的方法，其中提取所述各特征點(diǎn)的步驟包括步驟利用ASM的形狀變化特性的數(shù)據(jù)從所標(biāo)準(zhǔn)化的面部圖像提取眉毛、眼睛、鼻子、嘴唇或面部輪廓的所述各特征點(diǎn)。
28.根據(jù)權(quán)利要求14所述的方法，其中在提取所述各特征點(diǎn)時(shí)，預(yù)先限定提取各面部特征的所述各特征點(diǎn)的搜索區(qū)域。
29.根據(jù)權(quán)利要求14所述的方法，還包括步驟將二維面部紋理繪制到所述三維多邊形面部基本型上。
30.根據(jù)權(quán)利要求14所述的方法，還包括步驟基于三維身體模型產(chǎn)生所述三維身體漫畫。
31.根據(jù)權(quán)利要求14所述的方法，還包括步驟當(dāng)輸入側(cè)面面部圖像時(shí)，從所述輸入側(cè)面面部圖像檢測(cè)鼻子的端點(diǎn)和眉毛，然后根據(jù)所檢測(cè)到的鼻子端點(diǎn)和所檢測(cè)到的眉毛將所述側(cè)面面部圖像標(biāo)準(zhǔn)化；從所標(biāo)準(zhǔn)化的側(cè)面面部圖像檢測(cè)各面部特征的每個(gè)初始位置；在所標(biāo)準(zhǔn)化的側(cè)面面部圖像中加載側(cè)面ASM，以便與所檢測(cè)到的側(cè)面初始位置對(duì)應(yīng)；修改所加載的側(cè)面ASM，以便從所標(biāo)準(zhǔn)化的側(cè)面面部圖像提取所述各面部特征的特征點(diǎn)的坐標(biāo)值；根據(jù)在所述修改步驟中提取的所述各特征點(diǎn)的所述各坐標(biāo)值，修改所加載的三維多邊形面部基本型，從而產(chǎn)生三維多邊形面部漫畫。
32.根據(jù)權(quán)利要求14所述的方法，還包括步驟通過(guò)將所述三維多邊形面部漫畫投影到二維平面上獲得二維面部漫畫。
33.根據(jù)權(quán)利要求14所述的方法，還包括步驟發(fā)送從所述三維多邊形面部漫畫提取的所述各特征點(diǎn)的坐標(biāo)值和存儲(chǔ)參考值。
34.根據(jù)權(quán)利要求33所述的方法，還包括步驟當(dāng)接收到從所述三維多邊形面部漫畫提取的所述各特征點(diǎn)的所述坐標(biāo)值和存儲(chǔ)參考值時(shí)，加載對(duì)應(yīng)于所接收到的各存儲(chǔ)參考值的三維多邊形面部基本型和二維面部紋理；將所述二維面部紋理繪制到所述三維多邊形面部基本型上；及根據(jù)所接收到的各特征點(diǎn)的所述各坐標(biāo)值修改所述三維多邊形面部基本型，從而重新構(gòu)造三維多邊形面部漫畫。
全文摘要
本發(fā)明涉及一種產(chǎn)生三維漫畫的裝置和方法，尤其是一種裝置和方法，通過(guò)精確提取面部特征的特征點(diǎn)信息，產(chǎn)生對(duì)用戶面部具有高度類似性的三維漫畫，而且通過(guò)采用面部專用的ASM技術(shù)，基于所述特征點(diǎn)信息修改三維多邊形面部基本型。所述方法包括步驟從輸入面部圖像檢測(cè)眼睛的位置并使所述面部圖像的大小標(biāo)準(zhǔn)化；從所述標(biāo)準(zhǔn)化的面部圖像檢測(cè)各面部特征的每個(gè)初始位置；給所述標(biāo)準(zhǔn)化的面部圖像加載ASM以便與所檢測(cè)到的初始位置對(duì)應(yīng)，然后提取所述各面部特征的特征點(diǎn)；以及根據(jù)所提取的特征點(diǎn)的坐標(biāo)值修改所述三維多邊形面部基本型，從而產(chǎn)生三維多邊形面部漫畫。
文檔編號(hào)G06T1/00GK1455374SQ0313787
公開(kāi)日2003年11月12日 申請(qǐng)日期2003年5月3日 優(yōu)先權(quán)日2002年5月3日
發(fā)明者金載佑, 金東寬, 樸俊浩, 黃義賢, 樸東烈 申請(qǐng)人:三星電子株式會(huì)社