專利名稱：圖像處理裝置、圖像處理方法及圖像處理程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、圖像處理方法及圖像處理程序。
背景技術(shù)：
已知有用于將數(shù)字圖像作為對(duì)象，使圖像變形的圖像處理技術(shù)(參
照專利文獻(xiàn)l)。在專利文獻(xiàn)l中公開了如下的圖像處理將臉部圖像上 的一部分區(qū)域(表示臉頰圖像的區(qū)域)設(shè)定為修正區(qū)域，根據(jù)規(guī)定的圖 形將修正區(qū)域分割成多個(gè)小區(qū)域，按照設(shè)定的倍率在每個(gè)小區(qū)域擴(kuò)大或 者縮小圖像，由此使臉部形狀變形。
專利文獻(xiàn)1:日本特開2004-318204號(hào)4S報(bào)
迄今，在這種圖像處理中， 一直假定以關(guān)于朝向正面的臉部圖像為 對(duì)象。因此，在作為變形對(duì)象的臉部朝向不是朝向正面、而是呈臉部偏 轉(zhuǎn)的狀態(tài)的情況(例如，臉部呈偏左或偏右的狀態(tài)的情況)下，變形后 的臉部圖像可能會(huì)變得不自然。特別是臉部偏轉(zhuǎn)時(shí)，在上述變形后的圖 像中，有時(shí)頜部等特定的線條會(huì)變成不自然的線條。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述問題而做的，其目的是提供一種圖像處理裝置、 圖像處理方法及圖像處理程序，其對(duì)于含有臉部圖像的圖像，即使在臉 部圖像中的臉部朝向正面以外的情況下，也能夠進(jìn)行最合適的處理來得 到漂亮的臉部圖像的變形結(jié)果。
為了達(dá)成上述目的，本發(fā)明的圖像處理裝置具有臉部朝向推定部， 在含有臉部圖像的對(duì)象圖像中，推定該臉部圖像中所包含的以臉部的正
面朝向?yàn)榛鶞?zhǔn)的臉部朝向和偏轉(zhuǎn)程度；區(qū)域設(shè)定部，在以上述臉部圖像 的含有規(guī)定的臉部器官的第一區(qū)域?yàn)榛鶞?zhǔn)，將含有該第一區(qū)域的區(qū)域設(shè) 定為修正對(duì)象區(qū)域時(shí)，根據(jù)上述臉部朝向和偏轉(zhuǎn)程度對(duì)該第一區(qū)域進(jìn)行 變更，以該變更后的第一區(qū)域?yàn)榛鶞?zhǔn)，設(shè)定修正對(duì)象區(qū)域。根據(jù)本發(fā)明，區(qū)域設(shè)定部在以上述第 一 區(qū)域?yàn)榛鶞?zhǔn)設(shè)定修正對(duì)象區(qū)域時(shí)，因?yàn)椴鹏迵?jù)上 述推定出的臉部朝向及臉部偏轉(zhuǎn)程度來對(duì)第一區(qū)域的位置及大小進(jìn)行 變更，所以可以根據(jù)臉部朝向及臉部偏轉(zhuǎn)程度來設(shè)定位置及大小最合適 的修正對(duì)象區(qū)域。如果將這樣設(shè)定的修正對(duì)象區(qū)域作為對(duì)象進(jìn)行圖像的 變形，則即使是未朝向正面的臉部圖像，也能夠得到良好的變形結(jié)果。
上述區(qū)域設(shè)定部，在上述臉部偏轉(zhuǎn)程度較大時(shí)，使上述第一區(qū)域向 上述臉部朝向相反側(cè)擴(kuò)大得較大。更具體地說，上述臉部朝向推定部根 據(jù)上述臉部器官間的距離推定上述臉部偏轉(zhuǎn)程度，上述區(qū)域設(shè)定部根據(jù) 上述臉部器官間的距離決定上述第一區(qū)域的擴(kuò)大程度。根據(jù)該構(gòu)成，可 以在對(duì)象圖像內(nèi)設(shè)定修正對(duì)象區(qū)域，所述修正對(duì)象區(qū)域完全含有與呈偏 左或偏右的臉部朝向相反的一側(cè)的頜部、臉頰等，因此能夠得到關(guān)于頜 部、臉頰等的線條及區(qū)域沒有不協(xié)調(diào)感的修正(變形)結(jié)果。
上述區(qū)域設(shè)定部按照事先確定的擴(kuò)大倍數(shù)擴(kuò)大作為基準(zhǔn)的上述第 一區(qū)域，由此可以設(shè)定修正對(duì)象區(qū)域。根據(jù)該構(gòu)成，不論成為修正對(duì)象 區(qū)域設(shè)定基準(zhǔn)的第一區(qū)域的位置及大小，都只是按照一定的擴(kuò)大倍數(shù)擴(kuò) 大作為基準(zhǔn)的第一區(qū)域而設(shè)定修正對(duì)象區(qū)域，因此修正對(duì)象區(qū)域的設(shè)定
非常容易。
上述區(qū)域設(shè)定部將由檢測部檢測出的含有上述臉部器官的區(qū)域作 為第一區(qū)域，當(dāng)上述臉部偏轉(zhuǎn)程度比規(guī)定值大時(shí)，根據(jù)上述臉部朝向和 偏轉(zhuǎn)程度對(duì)上述取得的第一區(qū)域進(jìn)行變更，當(dāng)上述臉部偏程度在上述規(guī) 定值以下時(shí)，以上述取得的第一區(qū)域?yàn)榛鶞?zhǔn)設(shè)定修正對(duì)象區(qū)域，該檢測 部可以從上述對(duì)象圖像中取得含有上述臉部器官的區(qū)域。根據(jù)該構(gòu)成， 只有當(dāng)臉部偏轉(zhuǎn)程度比規(guī)定值大時(shí)，才會(huì)在設(shè)定修正對(duì)象區(qū)域前對(duì)第一 區(qū)域進(jìn)行變更。
圖像處理裝置還具有圖像修正部，該圖像修正部在上述設(shè)定的修正 對(duì)象區(qū)域中配置多個(gè)分割點(diǎn)，用將分割點(diǎn)彼此之間連接的直線將修正對(duì) 象區(qū)域分割成多個(gè)小區(qū)域，移動(dòng)至少一個(gè)分割點(diǎn)的位置使小區(qū)域變形， 由此對(duì)修正對(duì)象區(qū)域內(nèi)的圖像進(jìn)行變形。根據(jù)該構(gòu)成，在最終設(shè)定的修 正對(duì)象區(qū)域內(nèi)配置分割點(diǎn)，只要移動(dòng)所配置的分割點(diǎn)就可以進(jìn)行圖像變 形，所以可以容易并高效地實(shí)現(xiàn)與多種變形方式對(duì)應(yīng)的圖像變形處理。到此，通過圖像處理裝置對(duì)本發(fā)明的技術(shù)思想進(jìn)行說明，但是，還 可以掌握具備與上述圖像處理裝置所具有的各單元對(duì)應(yīng)的各步驟的圖 像處理方法的發(fā)明、及使計(jì)算機(jī)實(shí)現(xiàn)與上述圖像處理裝置所具有的各單 元對(duì)應(yīng)的各功能的圖像處理程序的發(fā)明。此外，上述圖像處理裝置、圖 像處理方法及圖像處理程序具體地說，既可以通過計(jì)算機(jī)、服務(wù)器等的 硬件來實(shí)現(xiàn)，也可以通過作為圖像輸入裝置的數(shù)碼照相機(jī)、掃描儀或者 作為圖像輸出裝置的打印機(jī)(打印裝置)、投影儀、圖片瀏覽器等各種 產(chǎn)品來實(shí)現(xiàn)。


圖l是簡要示出打印機(jī)構(gòu)成的說明圖。
圖2是表示臉部形狀修正處理的順序的流程圖。
圖3是示出UI的一例的說明圖。
圖4是示出臉部區(qū)域的檢測結(jié)果的一例的說明圖。
圖5是示出器官區(qū)域的檢測結(jié)果的一例的說明圖。
圖6是示意性地示出推定臉部朝向和臉部偏轉(zhuǎn)程度的方法的說明圖。
圖7是示出人物和攝像裝置的位置關(guān)系的說明圖。
圖8是示出在臉部朝向推定中推定為朝向正面的結(jié)果的一例及推定 為偏右的結(jié)果的一例的說明圖。
圖9示出了對(duì)應(yīng)臉部朝向和臉部偏轉(zhuǎn)程度擴(kuò)大臉部區(qū)域的樣子的一 例的圖。
圖10示出了對(duì)應(yīng)臉部朝向和臉部偏轉(zhuǎn)程度擴(kuò)大臉部區(qū)域的情形的 一例的圖。
圖11是示出變形區(qū)域的設(shè)定方法的一例的說明圖。
圖12示出了以與臉部朝向和臉部偏轉(zhuǎn)程度對(duì)應(yīng)的未進(jìn)行擴(kuò)大的臉
6部區(qū)域?yàn)榛鶞?zhǔn)，設(shè)定變形區(qū)域的情形的圖。
圖13是示出變形處理的詳細(xì)順序的流程圖。
圖14是示出針對(duì)變形區(qū)域的小區(qū)域的分割方法一例的說明圖。
圖15是示出分割點(diǎn)移動(dòng)表的例子的說明圖。
圖16是示出與朝向正面的臉部圖像相關(guān)的變形區(qū)域的具體變形方 式的說明圖。
圖17是示出與偏右的臉部圖像相關(guān)的變形區(qū)域的具體變形方式的 說明圖。
圖18是示出以與臉部朝向和臉部偏轉(zhuǎn)程度對(duì)應(yīng)的未擴(kuò)大的臉部區(qū) 域?yàn)榛鶞?zhǔn)設(shè)定的、涉及偏右的臉部圖像的變形區(qū)域的具體變形方式的說 明圖。
圖19是示意性地示出小區(qū)域圖像的變形處理的說明圖。
圖20是示意性地示出三角形區(qū)域中圖像的變形處理方法的說明圖。
圖中符號(hào)說明
IOO...打印機(jī);110…CPU; 120…內(nèi)部存儲(chǔ)器；140…操作部；150… 顯示部；160…打印引擎;170…卡接口; 172…卡槽；200…臉部形狀修 正處理部；210…臉部區(qū)域檢測部；220…器官區(qū)域檢測部；230…臉部 朝向推定部；240…區(qū)域設(shè)定部；250…圖像修正部；310…顯示處理部； 320…打印處理部；410…分割點(diǎn)配置圖形表；420分割點(diǎn)移動(dòng)表。
具體實(shí)施例方式
根據(jù)下述的順序，對(duì)本發(fā)明的實(shí)施方式進(jìn)行說明。
1. 圖像處理裝置的簡要構(gòu)成
2. 臉部形狀修正處理
3. 總結(jié)1. 圖像處理裝置的簡要構(gòu)成
圖1是簡要示出作為本發(fā)明的圖像處理裝置的一例的打印機(jī)100的 構(gòu)成的說明圖。打印機(jī)100是根據(jù)從存儲(chǔ)卡MC等存儲(chǔ)介質(zhì)中取得的圖 像數(shù)據(jù)來打印圖像的、與所謂直接打印(Direct Printing)對(duì)應(yīng)的彩色 噴墨打印機(jī)。打印機(jī)100具有內(nèi)部存儲(chǔ)器120、 CPU110、操作部140、 顯示部150、打印引擎160、卡接口 (卡I/F) 170及卡槽172。
內(nèi)部存儲(chǔ)器120由ROM及RAM構(gòu)成，其具有臉部形狀修正處理 部200、顯示處理部310、打印處理部320、分割點(diǎn)配置圖形表410及分 割點(diǎn)移動(dòng)表420。臉部形狀修正處理部200是在規(guī)定的操作系統(tǒng)下，用 于實(shí)行后述的臉部形狀修正處理的計(jì)算機(jī)程序。臉部形狀修正處理部 200作為程序模塊，其具有臉部區(qū)域檢測部210、器官區(qū)域檢測部220、 臉部朝向推定部230、區(qū)域設(shè)定部240及圖像修正部250。顯示處理部 310是控制顯示部150,使顯示部150上顯示處理菜單、信息、圖像等 的顯示驅(qū)動(dòng)器。打印處理部320是一個(gè)計(jì)算機(jī)應(yīng)用程序，其通過對(duì)圖像 數(shù)據(jù)實(shí)施規(guī)定的顏色轉(zhuǎn)換處理、灰度處理來生成規(guī)定了每個(gè)像素的墨水 量的打印數(shù)據(jù)，控制打印引擎160并根據(jù)該打印數(shù)據(jù)執(zhí)行圖像打印。這 里所說的圖像數(shù)據(jù)相當(dāng)于例如，表示通過臉部形狀修正處理部200進(jìn)行 臉部形狀修正處理后的圖像的圖像數(shù)據(jù)。CPU110通過從內(nèi)部存儲(chǔ)器120 讀取上述這些應(yīng)用程序并進(jìn)行實(shí)施，分別實(shí)現(xiàn)這些各部分的功能。
操作部140具有按鍵和觸摸屏，受理由用戶發(fā)出的指令等輸入。顯 示部150例如，由液晶顯示器構(gòu)成。打印引擎160是根據(jù)從打印處理部 320發(fā)出的打印數(shù)據(jù)進(jìn)行打印的打印機(jī)構(gòu)?？↖/F170是用于與插到卡槽 172的存儲(chǔ)卡MC之間進(jìn)行數(shù)據(jù)交換的接口 。打印機(jī)100還可以構(gòu)成為 除卡I/F170以外，還具有用于與其他設(shè)備(例如數(shù)碼照相機(jī)、計(jì)算機(jī)) 進(jìn)行數(shù)據(jù)通信的接口。以上各構(gòu)成要素通過總線相互連接。
打印機(jī)100通過對(duì)含有臉部圖像的圖像進(jìn)行臉部形狀修正處理，可 以使含有臉部圖像的一部分的區(qū)域變形，變得較小(以下稱為小臉化或 細(xì)瘦化(slim))。這時(shí)構(gòu)成為即使在臉部圖像所包含的臉部朝向不是 正面朝向的情況下，也變形為比較漂亮。
2. 臉部形狀修正處理
8圖2是示出打印機(jī)100所執(zhí)行的臉部形狀修正處理的流程圖。存儲(chǔ) 卡MC插在卡槽172中，進(jìn)行由用戶通過操作部140做出的規(guī)定的操作， 則開始進(jìn)行臉部形狀修正處理。
在步驟S (以下，省略步驟的標(biāo)記)100中，臉部形狀修正處理部 200設(shè)定成為處理對(duì)象的對(duì)象圖像。具體地說，臉部形狀修正處理部200 指示顯示處理部310，使得用于設(shè)定對(duì)象圖像的規(guī)定的用戶界面(UI) 顯示在顯示部150上。并且，臉部形狀修正處理部200纟艮據(jù)來自該UI 的輸入設(shè)定對(duì)象圖像。
圖3示出了在S100的過程中顯示在顯示部150上的UI500的一例。 例如，UI500具有圖像顯示欄IA、兩個(gè)圖像切換用按鍵B1和B2、確定 用按鍵BIO、及取消用按鍵Bll。用戶邊看UI500邊操作圖像切換用按 鍵Bl和B2選擇對(duì)象圖像，可以通過按下確定用按鍵B10來設(shè)定對(duì)象 圖像。在圖3的例子中，選擇了拍攝有兩個(gè)人物P1和P2的圖像TI作 為對(duì)象圖像，在這種狀態(tài)下，用戶通過按下確定用按鍵BIO，使得臉部 形狀修正處理部200將圖像TI設(shè)定為對(duì)象圖像。此外，在UI500中還 可以構(gòu)成為使存儲(chǔ)卡MC內(nèi)的多個(gè)圖像在一起預(yù)覽顯示。
在S200中，臉部區(qū)域檢測部210檢測對(duì)象圖像中的臉部區(qū)域。所 謂臉部區(qū)域是對(duì)象圖像中的圖像區(qū)域，是假定至少含有規(guī)定的臉部器官 (眼、鼻、口)的區(qū)域。臉部區(qū)域檢測部210解析對(duì)象圖像，檢測出假 定含有該臉部器官的矩形區(qū)域作為臉部區(qū)域。臉部區(qū)域的檢測是使用例 如利用了模板的圖形匹配法這一公知的檢測方法(參照日本特開 2006-279460 )來進(jìn)行的。關(guān)于臉部區(qū)域檢測部210，只要是在上述圖形 匹配中能夠檢測臉部區(qū)域的手法均可以采用。例如，臉部區(qū)域檢測部210 采用一種預(yù)學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，其以對(duì)象圖像內(nèi)設(shè)定的矩形區(qū)域(檢測對(duì) 象區(qū)域)為單位，輸入圖像的各種信息(例如，亮度信息、邊緣量及對(duì) 比度等)，輸出表示了檢測對(duì)象區(qū)域是否與臉部區(qū)域相當(dāng)?shù)男畔ⅲ纱?可以檢測出臉部區(qū)域，還可以利用支持向量機(jī)(SVM)判斷每個(gè)檢測對(duì) 象區(qū)域是否是臉部區(qū)域。
圖4是示出S200中的臉部區(qū)域的檢測結(jié)果的一例的說明圖。在圖4 的例子中，因?yàn)閷?duì)象圖像TI中含有人物Pl和人物P2兩個(gè)人的臉部圖 像，所以檢測出與人物Pl的臉部圖像對(duì)應(yīng)的臉部區(qū)域Fdl和與人物P2
9的臉部圖像對(duì)應(yīng)的臉部區(qū)域Fd2。臉部區(qū)域Fdl和Fd2是完全含有各個(gè) 人物的雙眼、鼻及嘴的各圖像的矩形區(qū)域。所檢測出的臉部區(qū)域Fdl 和Fd2的大小因人物Pl和P2的臉部而不同。臉部區(qū)域檢測部210通 過各個(gè)臉部區(qū)域的4個(gè)頂點(diǎn)的坐標(biāo)確定上述2個(gè)臉部區(qū)域Fdl和Fd2。
在S200中，當(dāng)臉部區(qū)域的檢測不成功時(shí)(在S300中否)，該檢測 不成功的信息通過顯示部150通知給用戶。這種情況下，為了使用戶選 擇其他圖像作為對(duì)象圖像，UI500再次顯示在顯示部150上，進(jìn)行對(duì)象 圖像的再設(shè)定(SIOO)。此外，還可以構(gòu)成為在通知上述檢測不成功 的信息之后終止臉部形狀修正處理，以此替代S100的再執(zhí)行。
另一方面，在S200中，在至少檢測成功一個(gè)臉部區(qū)域時(shí)(在S300 中是)，器官區(qū)域檢測部220檢測出對(duì)象圖像TI中的器官區(qū)域(S400)。 所謂器官區(qū)域是指上述檢測出的臉部區(qū)域內(nèi)的圖像區(qū)域，其至少含有臉 部器官的一部分圖像。在本實(shí)施方式中，設(shè)定被拍攝體的人物的右眼、 左眼及口部作為臉部器官，作為器官區(qū)域，"含有右眼的圖像的右眼區(qū) 域""含有左眼的圖像的左眼區(qū)域"及"含有口部圖像的口部區(qū)域"為 檢測對(duì)象。器官區(qū)域檢測部220對(duì)在S200中檢測出的每個(gè)臉部區(qū)域Fdl 和Fd2進(jìn)行解析，檢測出假定含有右眼的矩形區(qū)域作為"右眼區(qū)域"。 同樣地，器官區(qū)域檢測部220對(duì)每個(gè)臉部區(qū)域Fdl和Fd2進(jìn)行解析， 分別檢測出假定含有左眼的矩形區(qū)域作為"左眼區(qū)域"、假定含有口部 的矩形區(qū)域作為"口部區(qū)域"。上述器官區(qū)域的檢測與臉部區(qū)域的檢測 一樣，可以使用例如利用了模板的圖形匹配法這一公知的檢測方法來進(jìn) 行。
圖5是示出S400中的器官區(qū)域的檢測結(jié)果的一例的說明圖。在圖5 的例子中，在人物Pl的臉部區(qū)域Fdl中，檢測出右眼區(qū)域Erl、左眼 區(qū)域E12及口部區(qū)域Mal。同樣地，在人物P2的臉部區(qū)域Fd2中，檢 測出右眼區(qū)域Er2、左眼區(qū)域E12及口部區(qū)域Ma2。器官區(qū)域檢測部220 可以根據(jù)各個(gè)區(qū)域的4個(gè)頂點(diǎn)的坐標(biāo)確定檢測出的各器官區(qū)域Erl、 E12、 Mal、 Er2、 E12及Ma2。此外，器官區(qū)域檢測部220可以對(duì)上述 檢測出的各器官區(qū)域進(jìn)一步地設(shè)定可靠性指標(biāo)。所謂可靠性指標(biāo)是表示 檢測出的器官區(qū)域確實(shí)是含有臉部器官的圖像的區(qū)域的可靠程度的指 標(biāo)。在本實(shí)施方式中，使用在變更模板并多次進(jìn)行圖形匹配時(shí)的匹配次數(shù)作為可靠性指標(biāo)。
在S400中，在器官區(qū)域檢測成功的情況下(在S500中是)，進(jìn)行 S600的處理。所謂器官區(qū)域檢測成功的情況的意思是以臉部區(qū)域?yàn)?單元完全檢測出"右眼區(qū)域"、"左眼區(qū)域"及"口部區(qū)域"3個(gè)器官區(qū) 域?；蛘撸鞴賲^(qū)域檢測部220在臉部區(qū)域內(nèi)完全檢測出"右眼區(qū)域"、 "左眼區(qū)域"及"口部區(qū)域，，3個(gè)器官區(qū)域，并且，對(duì)于全部的器官區(qū) 域，當(dāng)表示可靠性指標(biāo)的可靠程度比規(guī)定的閾值大時(shí)，可以判斷出器官 區(qū)域的檢測成功。
在S600中，臉部朝向推定部230推定對(duì)象圖像TI所包含的臉部朝 向及臉部偏轉(zhuǎn)程度，存儲(chǔ)到內(nèi)部存儲(chǔ)器120中。在本實(shí)施方式中所說的
"臉部朝向"的意思是以臉部的正面朝向(從對(duì)象圖像TI的觀察者 朝向作為被拍攝體的人物的臉的方向)為基準(zhǔn)的臉部朝向。此外，所謂
"臉部偏轉(zhuǎn)程度"的意思是以臉部的正面朝向?yàn)榛鶞?zhǔn)(0° )時(shí)的臉 部朝向的角度(或間接表示角度的信息)。
圖6是示意性地示出推定S600中的臉部朝向和臉部偏轉(zhuǎn)程度的方 法的說明圖。在圖6中，將連接右眼區(qū)域Er的中心點(diǎn)Ce (r)和左眼 區(qū)域El的中心點(diǎn)Ce (1)的線段CL的長度稱為參照寬度Wr，將口部 區(qū)域Ma的中心點(diǎn)Cm與線段CL的距離稱為參照高度Hr。由圖6可 以明確參照寬度Wr是與臉部的寬度相關(guān)的指標(biāo)，參照高度Hr是與 臉部的高度相關(guān)的指標(biāo)。臉部朝向推定部230計(jì)算出參照高度Hr與參 照寬度Wr并算出參照高度Hr與參照寬度Wr的比(Hr/Wr)作為判 定指標(biāo)DI，根據(jù)判定指標(biāo)DI推定臉部朝向。例如，如圖6所示，當(dāng)判 定指標(biāo)DI的值在閾值Tl以上且小于閾值T2 (其中，閾值Tl〈閾值 T2)時(shí)，推定臉部朝向是朝向正面。此外，在判斷指標(biāo)DI的值小于閾 值Tl時(shí)，推定臉部的朝向?yàn)槠匣蚱?，?dāng)判定指標(biāo)DI的值為閾值 T2以上時(shí)，推定臉部朝向是偏右或偏左。
所謂"偏左"的意思是由對(duì)象圖像TI的觀察者來觀察，作為被 拍攝體的人物的臉部朝向左側(cè)(即，被拍攝體的人物實(shí)際朝向右側(cè))時(shí) 的臉部朝向；所謂"偏右"的意思是由圖像的觀察者來觀察，人物的 臉部朝向右側(cè)(即，人物實(shí)際朝向左側(cè))時(shí)的臉部朝向。所謂"偏上" 的意思是由圖像的觀察者來觀察，作為被拍攝體的人物的臉部朝向上側(cè)時(shí)的臉部朝向；所謂"偏下，，的意思是由圖像的觀察者來觀察，人 物的臉部朝向下側(cè)時(shí)的臉部朝向。當(dāng)臉部朝向偏右或偏左時(shí)，與朝向正 面時(shí)相比，可以認(rèn)為參照高度Hr基本不變，但是參照寬度Wr變小。 因此，當(dāng)臉部朝向偏右或偏左時(shí)，與朝向正面時(shí)相比，判定指標(biāo)DI (=Hr/Wr)的值變大。當(dāng)臉部朝向偏上或偏下時(shí)，與朝向正面時(shí)相比， 參照寬度Wr基本不變，但是參照高度Hr變小。因此，當(dāng)臉部朝向偏 上或偏下時(shí)，與朝向正面時(shí)相比，判定指標(biāo)DI (=Hr/Wr)的值變小。 閾值Tl及閾值T2是統(tǒng)計(jì)多個(gè)臉部的樣品圖像的判定指標(biāo)DI而確定的。 事先確定的閾值Tl及閾值T2存儲(chǔ)在例如內(nèi)部存儲(chǔ)器120內(nèi)的規(guī)定的 區(qū)域，臉部朝向推定部230使用對(duì)象圖像的判定指標(biāo)DI以及閾值Tl 和閾值T2來推定臉部朝向。
此外，由圖6還可以明確判定指標(biāo)DI是表示以臉部的正面朝向 為基準(zhǔn)的臉部偏轉(zhuǎn)程度(角度)的值。例如，在推定為偏右或偏左的2 個(gè)臉部圖像中，可以推定判定指標(biāo)DI的值更大的一方的臉部與另一方 的臉部相比，偏離了正面朝向的程度(角度)更大(更接近于側(cè)臉)。 此外，閾值Tl及閾值T2的決定與下述的設(shè)定相當(dāng)，該設(shè)定用于推定 將臉部朝向從嚴(yán)格意義上的正面(被拍攝體的臉部與攝像裝置(觀察者) 呈正對(duì)著的狀態(tài))偏轉(zhuǎn)到何種程度的臉部圖像作為"正面朝向"。
圖7 (A)是示出在得出圖5所示的對(duì)象圖像TI時(shí)的人物Pl和攝 像裝置的位置關(guān)系的說明圖。在圖7(A)的例子中，示出了俯視狀況 下拍攝時(shí)的兩個(gè)人物Pl、 P2與攝像裝置(數(shù)碼照相機(jī))800的位置關(guān) 系。兩個(gè)人物P1、 P2位于相互距數(shù)碼照相機(jī)800大約相同的距離。這 時(shí)，人物Pl正對(duì)數(shù)碼照相機(jī)800。因此，如圖5所示，人物P1的臉部 朝向呈正面朝向。
圖7 (B)是示出在得出圖5所示的對(duì)象圖像TI時(shí)的人物P2和攝 像機(jī)的位置關(guān)系的說明圖。圖7 (B)也與圖7 (A)同樣地，示出了俯 視狀況下在拍攝時(shí)的兩個(gè)人物Pl、 P2與數(shù)碼照相機(jī)800的位置關(guān)系。 人物P2朝向以與數(shù)碼照相機(jī)800正對(duì)的方向(臉部的正面朝向)為基 準(zhǔn)，向右側(cè)(由觀察者看的右側(cè))偏離了 30° (+30° )的方向。在這 種位置關(guān)系下拍攝得到的對(duì)象圖像TI中，臉部朝向推定部230使用上 述的判定指標(biāo)DI，例如，可以推定如下所述的各個(gè)臉部朝向及臉部偏
12轉(zhuǎn)程度。
圖8(A)是示出在臉部朝向的推定中，推定為正面朝向的結(jié)果的一 例的說明圖。在圖8(A)的例子中，關(guān)于人物P1的臉部圖像的臉部朝 向的推定結(jié)果因?yàn)榕卸ㄖ笜?biāo)DI (=Hrl/Wrl)的值在閾值Tl以上且小 于閾值T2，所以推定為是"正面朝向"。這種情況下，作為表示臉部朝 向的值的"正面朝向"和作為表示臉部偏轉(zhuǎn)程度(角度)的值的"0° " 與表示臉部區(qū)域Fdl的值(臉部區(qū)域的矩形的各頂點(diǎn)的坐標(biāo)等)對(duì)應(yīng)起 來，存儲(chǔ)在內(nèi)部存儲(chǔ)器120。此外，臉部偏轉(zhuǎn)角度可以使用將判定指標(biāo) DI與角度對(duì)應(yīng)起來的角度表(圖中省略)來決定。該角度表(圖中省 略)事先通過實(shí)驗(yàn)來求出每個(gè)判定指標(biāo)DI的偏轉(zhuǎn)角度并進(jìn)行設(shè)定，存 儲(chǔ)到內(nèi)部存儲(chǔ)器120等中。
圖8(B)是示出在臉部朝向的推定中，推定為偏右的結(jié)果的一例的 說明圖。在圖8(B)中，關(guān)于人物P2的臉部圖像的臉部朝向的推定結(jié) 果因?yàn)榕卸ㄖ笜?biāo)DI (=Hr2/Wr2)的值在閾值T2以上，所以推定為是
"偏右"或"偏左"。此外，臉部朝向推定部230推定是偏右和偏左中 的任意一種。這種推定可以通過例如比較右眼區(qū)域Er的寬度Wer和左 眼區(qū)域El的寬度Wel來實(shí)現(xiàn)。即，如果右眼區(qū)域Er的寬度Wer大， 則推定為偏右，如果左眼區(qū)域El的寬度Wel大則推定為偏左。在圖8
(B)的例子中，因?yàn)橛已蹍^(qū)域Er2的寬度Wer2比左眼區(qū)域E12的寬 度Wel2大，所以推定為"偏右"。此外，臉部朝向推定部230根據(jù)所得 到的判定指標(biāo)DI,參照上述的角度表(圖中省略)可以求出關(guān)于人物 P2的臉部圖像的偏轉(zhuǎn)角度(+30。)。并且，臉部朝向推定部230分別 將作為表示臉部朝向的值的"偏右"和作為表示臉部偏轉(zhuǎn)程度(角度) 的值的"+30° "與表示臉部區(qū)域Fd2的值對(duì)應(yīng)起來，存儲(chǔ)在內(nèi)部存儲(chǔ) 器120中。當(dāng)然，臉部朝向推定部230除"偏右"及"+30° "這些信 息以外，還可以將關(guān)于人物P2的臉部圖像的判定指標(biāo)DI ( =Hr2/Wr2 ) 也對(duì)應(yīng)地存儲(chǔ)在內(nèi)部存儲(chǔ)器120。此外，臉部朝向推定部230還可以不 根據(jù)判定指標(biāo)DI來決定臉部偏轉(zhuǎn)程度(角度)，而是使用事先將上述右 眼區(qū)域Er的寬度Wer和左眼區(qū)域El的寬度Wel之比、及將上述的比 和臉部偏轉(zhuǎn)角度對(duì)應(yīng)起來的角度表(圖中省略)來決定。
在S700中，區(qū)域設(shè)定部240通過參照關(guān)于收納在內(nèi)部存儲(chǔ)器120
13的各臉部區(qū)域Fdl、 Fd2的信息，判斷存在于對(duì)象圖像TI內(nèi)的臉部圖 像是否是"偏右"或"偏左"。該判斷在上述檢測出的每個(gè)區(qū)域進(jìn)行。 即，在S700中，當(dāng)將判斷對(duì)象作為臉部區(qū)域Fdl時(shí)，由于該臉部區(qū)域 Fdl的臉部"朝向正面"，所以區(qū)域設(shè)定部240判斷為"否"，跳過S800 而進(jìn)入S卯O。另一方面，在S700中，當(dāng)將判斷對(duì)象作為臉部區(qū)域Fd2 時(shí)，由于該臉部區(qū)域Fd2的臉部"偏右"，所以區(qū)域設(shè)定部240判斷為 "是"，并進(jìn)入S800。
在S900中，區(qū)域設(shè)定部240以對(duì)象圖像TI內(nèi)的各臉部區(qū)域?yàn)榛鶞?zhǔn) 設(shè)定修正對(duì)象區(qū)域(以下稱為變形區(qū)域)。所謂變形區(qū)域的意思是如上 所述可以成為由圖傳_修正部250進(jìn)行變形處理的對(duì)象的區(qū)域。
在本實(shí)施方式中，在這樣以臉部區(qū)域?yàn)榛鶞?zhǔn)設(shè)定變形區(qū)域前，根據(jù) 臉部偏轉(zhuǎn)程度，有時(shí)插入S800的處理有時(shí)不插入。具體地說，在本實(shí) 施方式中，當(dāng)存在于對(duì)象圖像TI內(nèi)的某臉部圖像"偏右"或"偏左" 時(shí)(在S700中是)，換言之，當(dāng)上述判定指標(biāo)DI為閾值T2以上時(shí)， 在S800中，根據(jù)其臉部朝向和偏轉(zhuǎn)的程度對(duì)臉部區(qū)域的位置及大小進(jìn) 行變更(S800)。這就意味著本實(shí)施方式中的臉部區(qū)域與權(quán)利要求書 所說的第一區(qū)域相當(dāng)。
以上述臉部區(qū)域Fd2為例，對(duì)S800的處理進(jìn)行說明。
圖9例示了 S800處理前的臉部區(qū)域Fd2 (虛線)和S800處理后的 臉部區(qū)域Fd2'(實(shí)線)。在圖9中示出了如下的情況區(qū)域設(shè)定部240 根據(jù)表示了與臉部區(qū)域Fd2對(duì)應(yīng)地存儲(chǔ)在內(nèi)部存儲(chǔ)器120內(nèi)的臉部朝向 及臉部偏轉(zhuǎn)程度的信息，使臉部區(qū)域Fd2分別向上下左右擴(kuò)大，將擴(kuò)大 后的區(qū)域設(shè)定為臉部區(qū)域Fd2'。這種情況下，區(qū)域設(shè)定部240擴(kuò)大臉 部區(qū)域Fd2 ，使得對(duì)應(yīng)于臉部區(qū)域Fd2的臉部向右或向左偏的程度(角 度)越大，則向與臉部區(qū)域Fd2對(duì)應(yīng)的臉部朝向(偏右)相反側(cè)(左側(cè)) 的擴(kuò)大量越大。
更具體地說，區(qū)域設(shè)定部240擴(kuò)大臉部區(qū)域Fd2，使得當(dāng)在臉部的 寬度方向(臉部大概的方向)的外側(cè)移動(dòng)朝向臉部的高度方向(臉部大 概的上下方向)的左右邊而擴(kuò)大臉部區(qū)域Fd2時(shí)，臉部所朝向的一側(cè)(圖 9情況下的右側(cè))中的擴(kuò)大量和臉部所朝向的一側(cè)的相反側(cè)(左側(cè))中的擴(kuò)大量之比為臉部區(qū)域Fd2的參照寬度Wr2和參照高度Hr2之比。 此外，區(qū)域設(shè)定部240通過以相同的量向臉部的高度方向的外側(cè)分別移 動(dòng)朝向臉部的寬度方向上下邊，來擴(kuò)大臉部區(qū)域Fd2。在圖9中示出的 例子是在臉部的寬度方向，向臉部所朝向的一側(cè)(右側(cè))延長oc 'Wr2， 向臉部所朝向的一側(cè)的相反側(cè)(左側(cè))延長ot .Hr2，在臉部的高度方 向，分別向上下側(cè)延長a (Hr2+Wr2)/2，由此設(shè)定臉部區(qū)域Fd2'。 此外，oc是用于將Hr2、 Wr2歸一化為臉部區(qū)域Fd2的擴(kuò)大量的系數(shù)， 其數(shù)值根據(jù)臉部區(qū)域Fd2的大小、Hr2及Wr2來確定。
圖10例示了在S800處理前的臉部區(qū)域Fd2 (虛線)和S800處理 后的臉部區(qū)域Fd2'(實(shí)線)中，通過與圖9中說明的方法不同的方法 擴(kuò)大臉部區(qū)域的情況。在圖10中，區(qū)域設(shè)定部240根據(jù)表示了與臉部 區(qū)域Fd2對(duì)應(yīng)地存儲(chǔ)在內(nèi)部存儲(chǔ)器120內(nèi)的臉部朝向及臉部偏轉(zhuǎn)程度的 信息，擴(kuò)大臉部區(qū)域Fd2，將擴(kuò)大后的區(qū)域設(shè)定為臉部區(qū)域Fd2'。這 種情況下，區(qū)域設(shè)定部240擴(kuò)大臉部區(qū)域Fd2，也會(huì)使得對(duì)應(yīng)于臉部區(qū) 域Fd2的臉部向右或向左偏的程度(角度)越大，則向與臉部區(qū)域Fd2 對(duì)應(yīng)的臉部朝向(偏右)相反側(cè)(左側(cè))的擴(kuò)大量越大。但是，在圖10 的例子中，與圖9不同的是在臉部區(qū)域Fd2的上下左右邊中，臉部所朝 向的一側(cè)(右側(cè))的邊的位置是固定的。
具體地說，在圖10的例子中，區(qū)域設(shè)定部240在向臉部的寬度方 向擴(kuò)大臉部區(qū)域Fd2時(shí)，向臉部所朝向的一側(cè)(右側(cè))的相反側(cè)延長 P (Hr2/Wr2)，在向高度方向擴(kuò)大時(shí)，分別向上下側(cè)延長P ( Hr2/Wr2 ) /2，由此設(shè)定臉部區(qū)域Fd2'。此外，P是用于將Hr2/Wr2歸一化為臉 部區(qū)域Fd2的擴(kuò)大量的系數(shù)，其數(shù)值根據(jù)臉部區(qū)域Fd2的大小等來確 定。
這樣，區(qū)域設(shè)定部240在S800中，當(dāng)用圖9或圖10中說明的任意 一種方法設(shè)定臉部區(qū)域Fd2'時(shí)，以該設(shè)定的臉部區(qū)域Fd2'為基準(zhǔn)進(jìn) 行S900處理。區(qū)域設(shè)定部240對(duì)于未進(jìn)行S800處理的臉部區(qū)域，同樣 以臉部區(qū)域?yàn)榛鶞?zhǔn)，進(jìn)行S900處理。
在S卯O中，區(qū)域設(shè)定部240在每個(gè)作為基準(zhǔn)的臉部區(qū)域上，通過 以事先確定的擴(kuò)大倍數(shù)擴(kuò)大其臉部區(qū)域來設(shè)定變形區(qū)域。即，變形區(qū)域 的位置及大小根據(jù)作為基準(zhǔn)的臉部區(qū)域的位置及大小來確定。
15圖ll是示出了 s卯o中的變形區(qū)域的設(shè)定方法的一例的說明圖。在 圖ll的例子中示出了以圖9所示的臉部區(qū)域Fd2'為基準(zhǔn)設(shè)定變形區(qū) 域TA2 (粗實(shí)線)的情況?；鶞?zhǔn)線RL是在定義臉部區(qū)域Fd2'的高度 方向的同時(shí)，示出臉部區(qū)域Fd2'的寬度方向的中心的線。即，基準(zhǔn)線 RL是通過矩形的臉部區(qū)域Fd2'的重心，且平行于沿著臉部區(qū)域Fd2 '的高度方向的邊界線的直線。如圖11所示，在本實(shí)施方式中，變形 區(qū)域TA2設(shè)定為向與基準(zhǔn)線RL平行的方向(高度方向)及垂直于基準(zhǔn) 線RL的方向(寬度方向)擴(kuò)大臉部區(qū)域Fd2'的區(qū)域。
具體地說，設(shè)臉部區(qū)域Fd2'的高度方向的長度為H2、寬度方向的 長度為W2，則臉部區(qū)域Fd2'向上延長kl 'H2、向下延長k2 'H2時(shí)， 且分別向左右延長k3 W2后的區(qū)域被設(shè)定為變形區(qū)域TA2。 kl、 k2、 k3是為了擴(kuò)大臉部區(qū)域設(shè)定變形區(qū)域而事先確定的系數(shù)。即使成為設(shè) 定S900中的變形區(qū)域的基準(zhǔn)的臉部區(qū)域是上述臉部區(qū)域Fdl等，用于 擴(kuò)大區(qū)域的系數(shù)kl、 k2、 k3也不變。這樣， 一旦"^殳定變形區(qū)域TA2， 則基準(zhǔn)線RL就成為還平行于變形區(qū)域TA2的高度方向的輪廓線的直 線。此外，基準(zhǔn)線RL成為將變形區(qū)域TA2的寬度一分為二的直線。區(qū) 域設(shè)定部240設(shè)定變形區(qū)域時(shí)，在S1000中，圖像修正部250進(jìn)行以所 設(shè)定的各變形區(qū)域?yàn)閷?duì)象的變形處理。
圖12作為與圖11對(duì)應(yīng)的比較例，示出了如下情況對(duì)于人物P2 的臉部區(qū)域Fd2,在未經(jīng)S800處理而成為S卯O的處理對(duì)象的情況下， 即，以臉部區(qū)域Fd2為基準(zhǔn)，進(jìn)行由上述系數(shù)kl、 k2、 k3的擴(kuò)大并設(shè) 定變形區(qū)域VA (粗實(shí)線)的情況。比較圖11和圖12可以明確與以 臉部區(qū)域Fd2為基準(zhǔn)設(shè)定的變形區(qū)域VA相比，以臉部區(qū)域Fd2'為基 準(zhǔn)設(shè)定的變形區(qū)域TA2向較大并且基本包含了與臉部朝向相反的一側(cè) 的臉部區(qū)域(如果臉部朝向是"偏右"，則是其臉部的左側(cè)(由對(duì)象圖 像TI的觀察者觀察的左側(cè))的臉頰、頜部及腮部等區(qū)域)的全部、連 頜部下面的區(qū)域也完全包含了的位置移動(dòng)。
優(yōu)選將成為本實(shí)施方式的變形處理的對(duì)象的變形區(qū)域^1定為其高 度方向上含有從比頜部低的頸部的中間位置到額頭的大致圖像、寬度方 向上含有左右臉頰的圖像，因此，上述系數(shù)kl、 k2、 k3也可以事先通 過實(shí)驗(yàn)求出并進(jìn)行設(shè)定，從而可以得到含有大致上述范圍的圖像的變形區(qū)域。但是，在這些系數(shù)kl、 k2、 k3的設(shè)定中，其數(shù)值始終以正面朝向的臉部圖像為前提進(jìn)行最適化。在由正面朝向的臉部圖像和偏右(或偏左)的臉部圖像檢測出各個(gè)臉部區(qū)域時(shí)，因臉部區(qū)域的檢測方法不同而不同，但是，通常與從朝向正面的臉部圖像中檢測出的臉部區(qū)域相比，從偏右(或偏左)的臉部圖像中檢測出的臉部區(qū)域一方的矩形有變小的傾向。由此，如圖12所示，對(duì)由偏右(或偏左)的臉部圖像檢測出的臉部區(qū)域直接恰當(dāng)?shù)厥褂蒙鲜鱿禂?shù)kl、 k2、 k3設(shè)定變形區(qū)域，則其變形區(qū)域也會(huì)變小。
即，對(duì)于臉部向右或左的偏轉(zhuǎn)的程度比規(guī)定值大的臉部圖像的臉部區(qū)域，如果不進(jìn)行上述S800處理就在S900中設(shè)定變形區(qū)域，則所得到的變形區(qū)域成為完全不包含與臉部朝向相反的一側(cè)的臉部區(qū)域這樣的小矩形。在本實(shí)施方式中，對(duì)于這種臉部偏轉(zhuǎn)程度比規(guī)定值大的臉部圖像，為了防止由于設(shè)定的變形區(qū)域變小而造成的弊病(后面會(huì)對(duì)弊病的內(nèi)容進(jìn)行說明)，而在S卯0之前進(jìn)行上述的S700、 S800處理。
圖13是示出S1000變形處理的內(nèi)容的流程圖。
在S1010中，圖像修正部250將在S卯O中設(shè)定的變形區(qū)域分割成多個(gè)小區(qū)域。
圖14是示出針對(duì)變形區(qū)域的小區(qū)域的分割方法的一例的說明圖。在圖14中示出了以人物Pl的臉部區(qū)域Fdl為基準(zhǔn)，設(shè)定的變形區(qū)域TA1。圖像修正部250在變形區(qū)域TA1上配置多個(gè)分割點(diǎn)D，使用連接分割點(diǎn)D的直線將變形區(qū)域TA1分割成多個(gè)小區(qū)域。
分割點(diǎn)D的配置方式(分割點(diǎn)D的個(gè)數(shù)及位置)根據(jù)分割點(diǎn)配置圖形表410確定。圖像修正部250參照分割點(diǎn)配置圖形表410配置分割點(diǎn)D。在本實(shí)施方式的臉部形狀修正處理中，通過進(jìn)行用于使臉部形狀細(xì)瘦的小臉化，使得在分割點(diǎn)配置圖形表410中，以與上述小臉化對(duì)應(yīng)的方式事先確定了分割點(diǎn)D的配置圖形。
在圖14的例子中，分割點(diǎn)D配置在水平分割線Lh與垂直分割線Lv的交點(diǎn)、水平分割線Lh及垂直分割線Lv與變形區(qū)域TAl的外框的交點(diǎn)上。水平分割線Lh及垂直分割線Lv成為用于在變形區(qū)域TAl內(nèi)
17配置分割點(diǎn)D的基準(zhǔn)的線。如圖14所示，在本實(shí)施方式的分割點(diǎn)D的配置中設(shè)定有與基準(zhǔn)線RL垂直的2根水平分割線Lh、和與基準(zhǔn)線RL平行的4根垂直分割線Lv。從變形區(qū)域TA1的下方依次稱呼2根水平分割線Lh為Lhl、 Lh2。從變形區(qū)域TA1的左側(cè)依次稱呼4根垂直分割線Lv為Lvl、 Lv2、 Lv3、 Lv4。
在變形區(qū)域TA1中，水平分割線Lhl配置在比頜部圖像低的下方，水平分割線Lh2配置在眼睛圖像的下部附近。此外，垂直分割線Lvl及Lv4配置在臉頰(頰骨)的線條圖像的外側(cè)，垂直分割線Lv2及Lv3配置在眼角的圖像的外側(cè)。水平分割線Lh及垂直分割線Lv的配置是按照水平分割線Lh及垂直分割線Lv與圖像的位置關(guān)系最終呈現(xiàn)上述的位置關(guān)系的方式根據(jù)事先設(shè)定的與變形區(qū)域TA1的大小的對(duì)應(yīng)關(guān)系而進(jìn)行的。
根據(jù)上述的水平分割線Lh與垂直分割線Lv的配置，在水平分割線Lh與垂直分割線Lv的交點(diǎn)、水平分割線Lh及垂直分割線Lv與變形區(qū)域TA1的外框的交點(diǎn)上配置分割點(diǎn)D。如圖14所示，將位于水平分割線Lhi (i=l或2 )上的分割點(diǎn)D從左依次稱為D0i、 Dli、 D2i、 D3i、D4i、 D5i。例如，位于水平分割線Lhl上的分割點(diǎn)D被稱為DOl、 Dll、D21、 D31、 D41、 D51。同樣，將位于垂直分割線Lvi (i-l、 2、 3、 4中任意一個(gè))上的分割點(diǎn)D從下依次稱為DjO、 Djl、 Dj2、 Dj3。例如，位于垂直分割線Lvl上的分割點(diǎn)D被稱為DIO、 Dll、 D12、 D13。此外，如圖14所示，分割點(diǎn)D的配置相對(duì)于基準(zhǔn)線RL呈對(duì)稱配置。
圖像修正部250用連接所配置的分割點(diǎn)D的直線(即水平分割線Lh和垂直分割線Lv)將變形區(qū)域TA1分割成多個(gè)小區(qū)域。在圖14的例子中，變形區(qū)域TA1分割成15個(gè)矩形的小區(qū)域。
在S1020中，圖像修正部250根據(jù)存儲(chǔ)在內(nèi)部存儲(chǔ)器120內(nèi)的分割點(diǎn)移動(dòng)表420移動(dòng)分割點(diǎn)D的位置，使小區(qū)域變形，由此使變形區(qū)域TA1變形。
圖15示出了分割點(diǎn)移動(dòng)表420的例子。在分割點(diǎn)移動(dòng)表420中，對(duì)在S1010中所配置的各分割點(diǎn)D11 D42，設(shè)定沿著與基準(zhǔn)線RL垂直的方向(稱為H方向)移動(dòng)量及沿著與基準(zhǔn)線RL平行的方向(稱為V方向)移動(dòng)量。在本實(shí)施例中，上述移動(dòng)量的單位是對(duì)象圖像TI的像素間距PP。此外，在H方向上，向右的移動(dòng)量表示為正值，向左的移動(dòng)量表示為負(fù)值，在V方向上，向上的移動(dòng)量表示為正值，向下的移動(dòng)量表示為負(fù)值。在圖15的例子中，在分割點(diǎn)移動(dòng)表420中，對(duì)于分割點(diǎn)Dll，沿H方向在右側(cè)設(shè)定圖像間距PP的7倍距離的移動(dòng)量，沿V方向在上方設(shè)定圖像間距PP的14倍距離的移動(dòng)量。此外，對(duì)于分割點(diǎn)D22， i殳定零作為其在H方向及V方向的移動(dòng)量。
圖16是表示分割點(diǎn)D根據(jù)分割點(diǎn)移動(dòng)表420的位置移動(dòng)的一例的說明圖。在圖16的例子中，示出了關(guān)于變形區(qū)域TA1移動(dòng)分割點(diǎn)D的位置進(jìn)行變形時(shí)的具體的變形方式。圖像修正部250對(duì)構(gòu)成變形區(qū)域TA1的各小區(qū)域進(jìn)行圖像的變形處理，使得在分割點(diǎn)D的位置移動(dòng)前的狀態(tài)下的小區(qū)域的圖像成為根據(jù)分割點(diǎn)D的位置移動(dòng)而重新定義的小區(qū)域的圖像。在圖16中，為了便于進(jìn)行比較，用虛線表示變形前的人物P1的輪廓。此外，在圖16中，對(duì)移動(dòng)后的分割點(diǎn)D的符號(hào)賦予"'"，對(duì)移動(dòng)前的分割點(diǎn)D (空心圓)的符號(hào)賦予括弧。例如，以分割點(diǎn)Dll、D21、 D22、 D12為頂點(diǎn)的小區(qū)域(標(biāo)注陰影線進(jìn)行表示的小區(qū)域)的圖像變形為以分割點(diǎn)D' 11、 D' 21、 D' 22、 D' 12為頂點(diǎn)的小區(qū)域的圖像。后面會(huì)對(duì)該小區(qū)域圖像的變形處理進(jìn)行詳細(xì)敘述。
如圖16所示，S1020中的分割點(diǎn)的移動(dòng)結(jié)果是關(guān)于與基準(zhǔn)線RL平行的方向(V方向)，配置在水平分割線Lhl上的分割點(diǎn)D (Dll、D21、 D31、 D41)的位置向上方移動(dòng)，另一方面，配置在水平分割線Lh2上的分割點(diǎn)D (D12、 D22、 D32、 D42)的位置不移動(dòng)。因此，位于水平分割線Lhl和水平分割線Lh2之間的圖像關(guān)于V方向被縮小。如上所述，為了將水平分割線Lhl配置在頜部圖像的下方，水平分割線Lh2配置在眼部圖像的下部附近，在本實(shí)施方式的臉部形狀修正中，臉部圖像中的從頜部到眼部下部的部分的圖像在V方向上縮小。其結(jié)果是，圖像中的頜部的線條向上方移動(dòng)。
關(guān)于與基準(zhǔn)線RL垂直的方向(H方向)，配置在垂直分割線Lvl上的分割點(diǎn)D (Dll、 D12)的位置向右移動(dòng)，配置在垂直分割線Lv4上的分割點(diǎn)D (D41、 D42)的位置向左移動(dòng)。此外，配置在垂直分割線Lv2上的2個(gè)分割點(diǎn)D中的、配置在水平分割線Lhl上的分割點(diǎn)D
19(D21)的位置向右移動(dòng)，配置在垂直分割線Lv3上的2個(gè)分割點(diǎn)D中的、配置在水平分割線Lhl上的分割點(diǎn)D (D31)的位置向左移動(dòng)。因此，位于垂直分割線Lvl左側(cè)的圖像關(guān)于H方向向右側(cè)擴(kuò)大，位于垂直分割線Lv4右側(cè)的圖像向左側(cè)擴(kuò)大。此外，位于垂直分割線Lvl和垂直分割線Lv2之間的圖像關(guān)于H方向縮小或向右側(cè)移動(dòng)，位于垂直分割線Lv3和垂直分割線Lv4之間的圖像關(guān)于H方向縮小或向左側(cè)移動(dòng)。此外，位于垂直分割線Lv2和垂直分割線Lv3之間的圖像以水平分割線Lhl的位置為中心關(guān)于H方向縮小。
如上所述，垂直分割線Lvl及Lv4配置在臉頰的線條圖像的外側(cè)，垂直分割線Lv2及Lv3配置在眼角的圖像的外側(cè)。因此，在本實(shí)施例中，臉部圖像中的、靠兩眼角外側(cè)的部分的圖像整體在H方向上縮小。特別是，在頜部附近縮小率較大。其結(jié)果是，圖像中的臉部形狀整體地在寬度方向上變細(xì)。綜合上述的H方向及V方向的變形方式，通過步驟S1020的處理使變形區(qū)域TA1所包含的人物Pl的臉部形狀變得細(xì)瘦(小臉)。在打印機(jī)100中，位于變形區(qū)域TA1的外框上的分割點(diǎn)D(例如圖16所示的分割點(diǎn)D10等)的位置不會(huì)移動(dòng)，使得變形區(qū)域TA1的內(nèi)外圖像間的邊界不會(huì)變得不自然。因此，在分割點(diǎn)移動(dòng)表420中，沒有設(shè)定關(guān)于位于變形區(qū)域的外框上的分割點(diǎn)D的移動(dòng)量。
圖17示出了將以上述臉部區(qū)域Fd2'為基準(zhǔn)設(shè)定的上述變形區(qū)域TA2作為對(duì)象，進(jìn)行S1000的變形處理的情況。即使對(duì)于變形區(qū)域TA2，圖像修正部250也與上述變形區(qū)域TA1的變形處理一樣，參照分割點(diǎn)配置圖形表410配置分割點(diǎn)D ( S1010 )，根據(jù)分割點(diǎn)移動(dòng)表420移動(dòng)分割點(diǎn)D的位置使小區(qū)域變形(S1020)。在圖17中，也是用虛線表示變形前的人物P2的輪廓，對(duì)移動(dòng)后的分割點(diǎn)D的符號(hào)賦予"'"，對(duì)移動(dòng)前的分割點(diǎn)D (空心圓)的符號(hào)賦予括弧。由圖17可以明確，與人物P1的變形區(qū)域TA1的變形一樣，即使在人物P2的變形區(qū)域TA2中，臉部形狀也變得細(xì)瘦(小臉)。
圖18作為與圖17對(duì)應(yīng)的比較例，示出了將以人物P2的臉部區(qū)域Fd2為基準(zhǔn)而設(shè)定的上述變形區(qū)域VA作為對(duì)象，進(jìn)行了 S1000的變形處理的情況。即使在圖18中，也是用虛線表示變形前的人物P2的輪廓，對(duì)移動(dòng)后的分割點(diǎn)D的符號(hào)賦予"'"，對(duì)移動(dòng)前的分割點(diǎn)D (空心圓)
20的符號(hào)賦予括弧。如上所述，變形區(qū)域VA比以上述臉部區(qū)域Fd2'為基準(zhǔn)設(shè)定的上述變形區(qū)域TA2小，并且，位于不完全含有與臉部朝向相反的一側(cè)的臉部區(qū)域的位置。因此，如果臉部朝向"偏右"，則即使在各分割點(diǎn)D中，移動(dòng)量多的分割點(diǎn)Dll、 D21、 D31、 D41中的尤其是分割點(diǎn)Dll、 D21與圖17及圖16的例子比較，配置在臉部的頜部的線條附近(如果臉部朝向"偏左"，則分割點(diǎn)D31、 D41配置在頜部的線條附近)。這樣，變形處理時(shí)，特別是移動(dòng)量多的分割點(diǎn)D配置在臉部圖像的頜部的線條附近，則如圖18所示，在變形后的臉部中，有時(shí)頜部的線條會(huì)呈現(xiàn)不自然的曲線，根據(jù)情況有時(shí)頜部的線條還會(huì)產(chǎn)生不自然的階梯差。
在本實(shí)施方式中，為了避免頜部線條會(huì)產(chǎn)生不自然及階梯差這種弊病，只要是具有如人物P2那樣的偏轉(zhuǎn)的臉部圖像，就可以將上述的變形區(qū)域TA2設(shè)定為對(duì)象圖像TI，使該變形區(qū)域TA2內(nèi)的各小區(qū)域變形。如上所述，變形區(qū)域TA2比變形區(qū)域VA大，并且位于大體上包含了與臉部朝向相反的一側(cè)的臉部區(qū)域的全部，連頜部下部的區(qū)域也充分包含了的位置。因此，即使在各分割點(diǎn)D中，移動(dòng)量多的分割點(diǎn)Dll、 D21、D31、 D41等配置在離臉部的頜部線條足夠遠(yuǎn)的位置(參照圖17)，其結(jié)果是，可以避免在以變形區(qū)域VA (參照圖18)為對(duì)象進(jìn)行變形處理的情況下可能產(chǎn)生的上述弊病。
圖19是示意性地示出在S1020中進(jìn)行的小區(qū)域圖像的變形處理的說明圖。在圖19中，用黑色圓表示分割點(diǎn)D。此外，為了簡化說明，對(duì)4個(gè)小區(qū)域，分別在左側(cè)示出分割點(diǎn)D的位置移動(dòng)前狀態(tài)，在右側(cè)示出分割點(diǎn)D的位置移動(dòng)后狀態(tài)。在圖19的例子中，中央分割點(diǎn)Da移動(dòng)到分割點(diǎn)Da'的位置上，其他分割點(diǎn)D的位置不移動(dòng)。由此，例如，以分割點(diǎn)D的移動(dòng)前的分割點(diǎn)Da、 Db、 Dc、 Dd為頂點(diǎn)的矩形小區(qū)域(以下稱為"變形前關(guān)注小區(qū)域BSA")的圖像變形為以分割點(diǎn)Da'、Db、 Dc、 Dd為頂點(diǎn)的矩形小區(qū)域(以下稱為"變形后關(guān)注小區(qū)域ASA")的圖像。
在本實(shí)施方式中，使用小區(qū)域的重心CG將矩形小區(qū)域分割成4個(gè)三角形區(qū)域，以三角形區(qū)域?yàn)閱挝贿M(jìn)行圖像的變形處理。在圖19的例子中，變形前關(guān)注小區(qū)域BSA被分割成4個(gè)以變形前關(guān)注小區(qū)域BSA的重心CG作為1個(gè)頂點(diǎn)的三角形區(qū)域。同樣地，變形后關(guān)注小區(qū)域ASA被分割成4個(gè)以變形后關(guān)注小區(qū)域ASA的重心CG'作為1個(gè)頂點(diǎn)的三角形區(qū)域。并且，在分割點(diǎn)Da移動(dòng)前后的各個(gè)狀態(tài)下，對(duì)每個(gè)對(duì)應(yīng)的三角形區(qū)域進(jìn)行圖像的變形處理。例如，以變形前關(guān)注小區(qū)域BSA中的分割點(diǎn)Da、 Dd及重心CG為頂點(diǎn)的三角形區(qū)域的圖# 變形為以變形后關(guān)注小區(qū)域ASA中的分割點(diǎn)Da' 、Dd及重心CG'為頂點(diǎn)的三角形區(qū)域的圖像。
圖20是示意性地示出三角形區(qū)域中的圖像的變形處理方法的說明圖。在圖20的例子中，以點(diǎn)s、 t、 u為頂點(diǎn)的三角形區(qū)域stu的圖像變形為以點(diǎn)s' 、 t' 、 u'為頂點(diǎn)的三角形區(qū)域s' t' u'的圖像。圖像的變形是通過計(jì)算出變形后的三角形區(qū)域s' t' u'的圖像中的像素位置相當(dāng)于變，-的三角形區(qū)域s、tu的圖像,的哪個(gè)位置，并將所算出一的位
例如，在圖20中，變形后的三角形區(qū)域s' t' u'的圖像中的關(guān)注像素p'的位置相當(dāng)于變形前的三角形區(qū)域stu的圖像中的位置p。位置p的計(jì)算如下所述。首先，如下述的公式(l)，計(jì)算出用于以矢量s't'與s' u'之和來表示關(guān)注像素p'的位置的系數(shù)ml及m2。
式1
s'/ ， =/wl .y廣十/w2'S'M' (1)
接著，使用所計(jì)算出的系數(shù)ml及m2，根據(jù)下述的公式(2)，通過計(jì)算出變形前的三角形區(qū)域stu中的矢量st與矢量su之和，求出位置p。
式2
—一 '
s/ =附1. W + w 2 ., (2)
在變形前的三角形區(qū)域stu中的位置p與變形前的圖像的像素中心位置一致情況下，該像素的像素值成為變形后的圖像的像素值。另一方面，在變形前的三角形區(qū)域stu中的位置p偏離了變形前的圖像的像素
22中心位置的情況下，通過使用了位置p周圍的像素的像素值的雙三次(bi
cubic)插值法等插值運(yùn)算計(jì)算出位置p的像素值，所計(jì)算出的像素值
成為變形后的圖像的像素值。
對(duì)于變形后的三角形區(qū)域s' t' u'的圖像中的各像素，如上所述 計(jì)算出像素值，由此可以進(jìn)行由三角形區(qū)域stu的圖像到三角形區(qū)域s 't' u'的圖像變形處理。這樣，圖像修正部250對(duì)構(gòu)成變形區(qū)域的各 小區(qū)域，以如上所述定義三角形區(qū)域進(jìn)行變形處理。
3.總結(jié)
這樣，根據(jù)本實(shí)施方式，打印機(jī)100根據(jù)從對(duì)象區(qū)域中檢測出的臉 部區(qū)域的相當(dāng)于右眼區(qū)域與左眼區(qū)域的距離的參照寬度Wr與相當(dāng)于連 接右眼區(qū)域和左眼區(qū)域的線段與口部區(qū)域的距離的參照高度Hr之比、 以及右眼區(qū)域與左眼區(qū)域的大小關(guān)系等，來推斷臉部圖像的朝向(偏右 或偏左)及臉部圖像偏轉(zhuǎn)的程度，并且，在臉部圖像偏右或偏左的狀態(tài) 下，對(duì)上述檢測出的臉部區(qū)域，變更其位置及大小，以使得臉部偏轉(zhuǎn)程 度越大則向與臉部朝向相反的一側(cè)的擴(kuò)大越大，并根據(jù)事先設(shè)定的規(guī)定 的擴(kuò)大倍數(shù)(規(guī)定的擴(kuò)大用系數(shù))擴(kuò)大該變更后的臉部區(qū)域，由此來設(shè) 定修正對(duì)象區(qū)域(變形區(qū)域)。并且，對(duì)于該設(shè)定的修正對(duì)象區(qū)域，恰 當(dāng)?shù)厥褂檬孪仍O(shè)定的用于小臉化的變形處理來進(jìn)行變形。
因此，可以進(jìn)行以往難以進(jìn)行的、用于對(duì)不符合正面朝向的具有偏 轉(zhuǎn)的臉部圖像的小臉化的變形，并且，消除在對(duì)該具有偏轉(zhuǎn)的臉部圖像 進(jìn)行了小臉化的結(jié)果中可能會(huì)產(chǎn)生的頜部的線條等不自然及階梯差，可 以實(shí)現(xiàn)漂亮的小臉化。此外，在本實(shí)施方式的臉部形狀修正處理中，對(duì)
僅在于對(duì)于已經(jīng)檢測出的臉部區(qū)域，是否對(duì)其追加與臉部偏轉(zhuǎn)程度及 臉部朝向相對(duì)應(yīng)的變更(擴(kuò)大、移動(dòng))，變形區(qū)域的設(shè)定方法及對(duì)設(shè)定 的變形區(qū)域的變形處理的內(nèi)容是一樣的。因此，不會(huì)因?yàn)槟槻繄D像中的 臉部朝向的不同而導(dǎo)致臉部形狀修正所需要的處理量變化較大，并且打 印機(jī)IOO的負(fù)擔(dān)也較少。
此外，打印機(jī)IOO由于不需要為了正面朝向的臉部圖像的變形處理的信息(例如，用于設(shè)定變形區(qū)域的上述系數(shù)kl、 k2、 k3，分割點(diǎn)配 置圖形表410及分割點(diǎn)移動(dòng)表420),因此還可以節(jié)約打印機(jī)IOO中的存 儲(chǔ)器資源。
權(quán)利要求
1.一種圖像處理裝置，其特征在于，具有臉部朝向推定部，在含有臉部圖像的對(duì)象圖像中，推定該臉部圖像中所包含的以臉部的正面朝向?yàn)榛鶞?zhǔn)的臉部朝向和偏轉(zhuǎn)程度；區(qū)域設(shè)定部，在以上述臉部圖像的含有規(guī)定的臉部器官的第一區(qū)域?yàn)榛鶞?zhǔn)，將含有該第一區(qū)域的區(qū)域設(shè)定為修正對(duì)象區(qū)域時(shí)，根據(jù)上述臉部朝向和偏轉(zhuǎn)程度對(duì)該第一區(qū)域進(jìn)行變更，以該變更后的第一區(qū)域?yàn)榛鶞?zhǔn)，設(shè)定修正對(duì)象區(qū)域。
2. 根據(jù)權(quán)利要求l所述的圖像處理裝置，其特征在于，上述區(qū)域 設(shè)定部，在上述臉部偏轉(zhuǎn)程度較大時(shí)，使上述第一區(qū)域向上述臉部朝向 相反側(cè)擴(kuò)大得較大。
3. 根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于，上述臉部 朝向推定部根據(jù)上述臉部器官間的距離推定上述臉部的偏轉(zhuǎn)程度，上述 區(qū)域設(shè)定部根據(jù)上述臉部器官間的距離決定上述第一區(qū)域的擴(kuò)大程度。
4. 根據(jù)權(quán)利要求1 3中任意一項(xiàng)所述的圖像處理裝置，其特征在 于，上述區(qū)域設(shè)定部通過按照事先確定的擴(kuò)大倍數(shù)擴(kuò)大作為基準(zhǔn)的上述 第 一 區(qū)域來設(shè)定修正對(duì)象區(qū)域。
5. 根據(jù)權(quán)利要求1 4中任意一項(xiàng)所述的圖像處理裝置，其特征在 于，上述區(qū)域設(shè)定部將由檢測部檢測出的含有上述臉部器官的區(qū)域作為 第一區(qū)域，當(dāng)上述臉部偏轉(zhuǎn)程度比規(guī)定值大時(shí)，根據(jù)上述臉部朝向和偏 轉(zhuǎn)程度對(duì)上述取得的第一區(qū)域進(jìn)行變更，當(dāng)上述臉部偏程度在上述規(guī)定 值以下時(shí)，以上述取得的第一區(qū)域?yàn)榛鶞?zhǔn)設(shè)定修正對(duì)象區(qū)域，該檢測部 可以從上述對(duì)象圖像中取得含有上述臉部器官的區(qū)域。
6. 根據(jù)權(quán)利要求l-5中任意一項(xiàng)所述的圖像處理裝置，其特征在 于，還具有圖像修正部，該圖像修正部在上述設(shè)定的修正對(duì)象區(qū)域中配 置多個(gè)分割點(diǎn)，用將分割點(diǎn)彼此之間連接的直線將修正對(duì)象區(qū)域分割成 多個(gè)小區(qū)域，移動(dòng)至少一個(gè)分割點(diǎn)的位置使小區(qū)域變形，由此對(duì)修正對(duì) 象區(qū)域內(nèi)的圖像進(jìn)行變形。
7. —種圖像處理方法，其特征在于，具有臉部朝向推定步驟，在含有臉部圖像的對(duì)象圖像中，推定該臉部圖 像所包含的以臉部的正面朝向?yàn)榛鶞?zhǔn)的臉部朝向和偏轉(zhuǎn)程度；區(qū)域設(shè)定步驟，在以上述臉部圖像的含有規(guī)定的臉部器官的第一區(qū) 域?yàn)榛鶞?zhǔn)，將含有該第一區(qū)域的區(qū)域設(shè)定為修正對(duì)象區(qū)域時(shí)，根據(jù)上述 臉部朝向和偏轉(zhuǎn)程度對(duì)該第一區(qū)域進(jìn)行變更，以該變更后的第一區(qū)域?yàn)榛鶞?zhǔn)設(shè)定修正對(duì)象區(qū)域。
8. —種圖像處理程序，其特征在于，使計(jì)算機(jī)實(shí)現(xiàn)以下功能 臉部朝向推定功能，在含有臉部圖像的對(duì)象圖像中，推定該臉部圖像所包含的以臉部的正面朝向?yàn)榛鶞?zhǔn)的臉部朝向和偏轉(zhuǎn)程度；區(qū)域設(shè)定功能，在以上述臉部圖像的含有規(guī)定的臉部器官的第一區(qū)域?yàn)榛鶞?zhǔn)，將含有該第一區(qū)域的區(qū)域設(shè)定為修正對(duì)象區(qū)域時(shí)，根據(jù)上述臉部朝向和偏轉(zhuǎn)程度對(duì)該第一區(qū)域進(jìn)行變更，以該變更后的第一區(qū)域?yàn)榛鶞?zhǔn)設(shè)定修正對(duì)象區(qū)域。
全文摘要
本發(fā)明提供一種圖像處理裝置、圖像處理方法及圖像處理程序。上述圖像處理裝置具有臉部朝向推定部，在含有臉部圖像的對(duì)象圖像中，推定該臉部圖像中所包含的以臉部的正面朝向?yàn)榛鶞?zhǔn)的臉部朝向和偏轉(zhuǎn)程度；區(qū)域設(shè)定部，在以上述臉部圖像的含有規(guī)定的臉部器官的第一區(qū)域?yàn)榛鶞?zhǔn)，將含有該第一區(qū)域的區(qū)域設(shè)定為修正對(duì)象區(qū)域時(shí)，根據(jù)上述臉部朝向和偏轉(zhuǎn)程度對(duì)該第一區(qū)域進(jìn)行變更，以該變更后的第一區(qū)域?yàn)榛鶞?zhǔn)，設(shè)定修正對(duì)象區(qū)域。根據(jù)本發(fā)明，即使在臉部圖像中的臉部朝向正面以外的情況下，也能夠進(jìn)行最合適的處理來得到漂亮的臉部圖像的變形結(jié)果。
文檔編號(hào)G06T5/20GK101655975SQ20091016523
公開日2010年2月24日 申請日期2009年8月13日 優(yōu)先權(quán)日2008年8月22日
發(fā)明者小林綾子, 山崎明生 申請人:精工愛普生株式會(huì)社