專(zhuān)利名稱(chēng)：圖像處理裝置、圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)臉圖像進(jìn)行補(bǔ)償?shù)膱D像處理裝置、圖像處理方法。
背景技術(shù)：
專(zhuān)利文獻(xiàn)1 (JP特開(kāi)2008-242921號(hào)公報(bào))公開(kāi)了對(duì)與已輸入的圖像的臉相對(duì)應(yīng) 的區(qū)域進(jìn)行補(bǔ)償處理的打印機(jī)。專(zhuān)利文獻(xiàn)2 (JP特開(kāi)2005-277772號(hào)公報(bào))公開(kāi)獲得被拍 攝人物的圖像數(shù)據(jù)，對(duì)該圖像數(shù)據(jù)進(jìn)行補(bǔ)償處理的照片貼紙銷(xiāo)售機(jī)。但是，在按照通過(guò)該打印機(jī)、照片貼紙銷(xiāo)售機(jī)，在圖像內(nèi)，擴(kuò)大被拍攝人物的眼睛， 或縮小臉的輪廓的方式進(jìn)行補(bǔ)償處理的場(chǎng)合，如果用戶(hù)(或被拍攝人物)必須對(duì)接觸筆等 進(jìn)行操作，來(lái)指定已修正的區(qū)域，則要求繁雜的作業(yè)。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供可簡(jiǎn)單地對(duì)臉圖像進(jìn)行補(bǔ)償?shù)膱D像處理裝置、圖像處理方 法。本發(fā)明的圖像處理裝置，其特征在于，包括獲得圖像的圖像獲得機(jī)構(gòu)(1，2，3)；特征部檢測(cè)機(jī)構(gòu)(4b)，其根據(jù)上述圖像，檢測(cè)臉的特征部；輪廓生成機(jī)構(gòu)(4c)，其根據(jù)上述特征部的位置，生成臉的模擬輪廓線(xiàn)；補(bǔ)償機(jī)構(gòu)(4)，其根據(jù)上述模擬輪廓線(xiàn)，對(duì)上述圖像進(jìn)行補(bǔ)償。本發(fā)明的圖像處理方法，其特征在于，包括獲得圖像的步驟(Si)；根據(jù)上述圖像，檢測(cè)臉的特征部的步驟(S3)；根據(jù)上述特征部的位置，生成臉的模擬輪廓線(xiàn)的步驟(S6)；根據(jù)上述模擬輪廓線(xiàn)，對(duì)上述圖像進(jìn)行補(bǔ)償?shù)牟襟E(S7)。


圖1為表示采用本發(fā)明的一個(gè)實(shí)施方式的攝像裝置的概略結(jié)構(gòu)的方框圖；圖2為用于說(shuō)明圖1的攝像裝置的眼睛位置檢測(cè)處理的一個(gè)例子的圖；圖3為表示通過(guò)圖1的攝像裝置生成的模擬輪廓線(xiàn)的一個(gè)例子的圖；圖4為用于說(shuō)明圖像的補(bǔ)償處理的圖；圖5為用于說(shuō)明圖1的攝像裝置的補(bǔ)償處理的一個(gè)例子的圖；圖6為以示意方式表示圖5的補(bǔ)償處理的臉圖像的一部分的移動(dòng)量的圖；圖7為表示圖1的攝像裝置的圖像補(bǔ)償處理的動(dòng)作的一個(gè)例子的流程圖。
具體實(shí)施例方式下面參照附圖，對(duì)表示本發(fā)明的圖像處理裝置的一個(gè)例子的數(shù)字照相機(jī)的實(shí)施方式進(jìn)行說(shuō)明。實(shí)施方式參照附圖，對(duì)本發(fā)明的一個(gè)實(shí)施方式進(jìn)行具體說(shuō)明，但是本發(fā)明的范圍并不限于 附圖所示的實(shí)施方式。圖1為表示采用本實(shí)施方式的攝像裝置100的概略結(jié)構(gòu)的方框圖。攝像裝置100獲得臉圖像，檢測(cè)該臉圖像的特征部，根據(jù)該特征部，生成臉的模擬 輪廓Li，根據(jù)該模擬輪廓Li，對(duì)臉圖像進(jìn)行補(bǔ)償處理。像圖1所示的那樣，攝像裝置100包括攝像透鏡部1、電子攝像部2、攝像控制部3、 圖像處理部4、存儲(chǔ)介質(zhì)5、顯示部6、顯示控制部7、操作輸入部8、數(shù)據(jù)存儲(chǔ)器9、程序存儲(chǔ) 器 10 和 CPUl 1。攝像透鏡部1由變焦透鏡la、聚焦透鏡Ib等的多個(gè)透鏡構(gòu)成。攝像透鏡部1包 括沿光軸方向移動(dòng)變焦透鏡Ia的變焦驅(qū)動(dòng)部(圖中未示出)，沿光軸方向移動(dòng)聚焦透鏡Ib 的聚焦驅(qū)動(dòng)部(圖中未示出)。電子攝像部2對(duì)被拍攝對(duì)象進(jìn)行攝像，生成該被拍攝對(duì)象的臉的圖像數(shù)據(jù)。電 子攝像部 2 包括 CCD (Charge Coupled Device)，或 CMOS (Complementary Metal-oxide Semiconductor)等的攝像元件。電子攝像部2將通過(guò)攝像透鏡部1的各種透鏡的被拍攝對(duì) 象的光學(xué)像變換為二維的圖像信號(hào)。雖然關(guān)于這一點(diǎn)的圖示省略，攝像控制部3包括定時(shí)發(fā)生器和垂直驅(qū)動(dòng)器。攝像 控制部3使定時(shí)發(fā)生器和垂直驅(qū)動(dòng)器對(duì)電子攝像部2進(jìn)行掃描驅(qū)動(dòng)，按照規(guī)定周期，將被拍 攝對(duì)象變換為二維的圖像信號(hào)。攝像控制部3從電子攝像部2的攝像區(qū)域，接收1個(gè)畫(huà)面 量的圖像(幀)，將其輸出給圖像處理部4。攝像透鏡部1、電子攝像部2和攝像控制部3用作獲得圖像數(shù)據(jù)的機(jī)構(gòu)。攝像控制部3進(jìn)行AE (自動(dòng)曝光處理)、AF (自動(dòng)聚焦處理)、AWB (自動(dòng)白色平衡) 的控制等的處理。圖像處理部4根據(jù)從攝像控制部3傳送的幀，進(jìn)行畫(huà)質(zhì)調(diào)整、分辨率變換和圖像壓 縮等的圖像處理，生成顯示用的圖像數(shù)據(jù)、記錄用圖像數(shù)據(jù)。圖像處理部4對(duì)在模擬值狀態(tài) 傳送的幀，針對(duì)RGB每種色成分，進(jìn)行增益調(diào)整。另外，采樣保持電路(圖示省略)對(duì)該幀， 進(jìn)行采樣保持，A/D轉(zhuǎn)換器(圖示省略)將該幀變換為數(shù)字?jǐn)?shù)據(jù)，彩色處理電路(圖示省略) 進(jìn)行包括像素插補(bǔ)處理和Y補(bǔ)償處理的彩色處理。然后，生成數(shù)字亮度信號(hào)Y和數(shù)字色差 信號(hào)Cb、Cr。亮度信號(hào)Y和色差信號(hào)Cb、Cr經(jīng)由DMA控制器(圖中未示出)，傳送給數(shù)據(jù)存儲(chǔ)
^^ 9 ο圖像處理部4具有采用規(guī)定的臉檢測(cè)方法、根據(jù)CPUll的控制、根據(jù)由攝像控制部 3傳送來(lái)的幀，檢測(cè)臉圖像區(qū)域的臉檢測(cè)部4a。臉檢測(cè)部4a根據(jù)巾貞，檢測(cè)臉圖像區(qū)域，根據(jù)已檢測(cè)到的臉圖像區(qū)域，檢測(cè)比如眼 睛、鼻或口等的特征部。由于該臉檢測(cè)方法為公知的技術(shù)，故省略對(duì)其的具體說(shuō)明。CPUll和臉檢測(cè)部4a作為根據(jù)通過(guò)電子攝像部2和攝像控制部3生成的幀來(lái)檢測(cè) 特征部的機(jī)構(gòu)發(fā)揮作用。臉檢測(cè)部4a包括在CPUll的控制下，根據(jù)臉圖像區(qū)域，檢測(cè)眼睛的位置的眼位置檢測(cè)部4b。眼位置檢測(cè)部4b檢測(cè)臉的左右兩眼的中心(比如，瞳的中心)的坐標(biāo) (rightEyeX, rightEyeY)和(IeftEyeX, IeftEyeY)(參照?qǐng)D 2)。CPUll和眼位置檢測(cè)部4b作為根據(jù)臉圖像來(lái)檢測(cè)臉的眼睛位置的機(jī)構(gòu)發(fā)揮作用。圖像處理部4包括在CPUll的控制下，生成臉的模擬輪廓線(xiàn)Ll的輪廓生成部4c。輪廓生成部4c根據(jù)作為特征部的，通過(guò)眼位置檢測(cè)部4b檢測(cè)的左右兩眼的位置 坐標(biāo)(rightEyeX，rightEyeY)，(leftEyeX，IeftEyeY)，生成推定為該臉的輪廓的模擬輪廓 線(xiàn)Li。輪廓生成部4c根據(jù)該位置坐標(biāo)，計(jì)算臉的傾斜度和左右眼間距。模擬輪廓線(xiàn)Ll根 據(jù)該計(jì)算結(jié)果而生成。輪廓生成部4c根據(jù)下述式(1)，計(jì)算相對(duì)χ軸的臉的傾斜角度θ (參 照?qǐng)D3(a)。在式(1)，delta_x表示χ方向的兩眼間距，delta_y表示y方向的兩眼間距。數(shù)學(xué)公式1θ = arctan (abs (delta_x), abs (delta_y))......(1)對(duì)于式(l)，delta_x根據(jù) “rightEyeX-leftEyeX” 求取，delta_y 根據(jù) "rightEyeY-leftEyeY” 求取。輪廓生成部4c采用delta_X和delta_y，根據(jù)式⑵，計(jì)算左右眼間距dis_lr_ eye (參照?qǐng)D2)。數(shù)學(xué)公式2dis_lr_eye = sqrt (delta_x2+delta_y2)......(2)輪廓生成部4c根據(jù)左右眼間的中心點(diǎn)的坐標(biāo)(wcx，wcy)，臉的傾斜角度θ，以 及左右眼間距dis_lr_eye，在模擬輪廓Ll為橢圓的假定下，根據(jù)式(3)，導(dǎo)出模擬輪廓線(xiàn) Ll (參照?qǐng)D3(a)。數(shù)學(xué)公式3
(w - wcx) * cosG+ (y - wcy) * sinG (w - wcx) * cosG+ (>" - wcy) * sinG
Ll =-*-
b b
~(x — wcx) * sinG+ (y — wcy) * cos9 -(x - wcx) * sinG+ (y - wcy) * cos9
H--*-
aa
(3)在式(3)中，“a”等于左右眼間距diS_lr_eye。CPUll和輪廓生成部4c作為根據(jù)通過(guò)臉檢測(cè)部4a檢測(cè)的特征部(比如，眼)來(lái)生 成臉的模擬輪廓線(xiàn)Ll的機(jī)構(gòu)發(fā)揮作用。圖像處理部4在CPUll的控制下，根據(jù)模擬輪廓線(xiàn)Li，對(duì)臉圖像進(jìn)行補(bǔ)償。圖像處 理部4根據(jù)模擬輪廓線(xiàn)Li，進(jìn)行使臉中的左右兩眼下側(cè)的區(qū)域變形的扭曲處理。圖像處理部4包括移動(dòng)量映射生成部4d。移動(dòng)量映射生成部4d計(jì)算臉圖像中的 像素和模擬輪廓線(xiàn)Ll之間的距離，根據(jù)已計(jì)算的距離，生成規(guī)定扭曲處理的該像素的移動(dòng) 量的移動(dòng)量映射map (x，y)。移動(dòng)量映射map (x，y)設(shè)定與已輸入的臉圖像相同的尺寸，比如640X480像素的 VGA尺寸。移動(dòng)量映射針對(duì)各像素，規(guī)定χ軸方向和y軸方向的移動(dòng)量。在本實(shí)施方式中，為了減少計(jì)算量，謀求處理的高速化，生成規(guī)定各像素的X軸方向的移動(dòng)量的移動(dòng)量映射。在扭曲處理中，圖像內(nèi)的各像素根據(jù)移動(dòng)量映射map(x，y)(參照?qǐng)D4(a)而移動(dòng)， 獲得所需的輸出圖像(參照?qǐng)D4(c))。比如，像圖4(a)所示的那樣，在移動(dòng)量映射中，某像 素(由黑色的圓點(diǎn)所示)的移動(dòng)量通過(guò)map(x，y) = (1.4,0)規(guī)定。像素內(nèi)的對(duì)應(yīng)的像素 (參照?qǐng)D4(b))沿χ軸方向移動(dòng)1.4像素，提供輸出圖像的像素(在圖4(c)中，由白色的圓 點(diǎn)表不)。移動(dòng)量映射生成部4d針對(duì)臉圖像中的像素的每一個(gè)，根據(jù)式(4)，計(jì)算距模擬輪 廓線(xiàn)Ll的χ軸方向的距離deltaX。另外，移動(dòng)量映射生成部4d根據(jù)已計(jì)算的deltaX和高 斯分布的分散oX，根據(jù)式(5)，計(jì)算各像素的χ軸系數(shù)“gw_x”(參照?qǐng)D5)。數(shù)學(xué)公式4 數(shù)學(xué)公式5 分散σ X與左右眼距離diS_lr_eye和調(diào)整用系數(shù)kx的乘積成正例。分散σ X對(duì) 應(yīng)于左右眼距離diS_lr_eye而變化。于是，可對(duì)應(yīng)于左右眼距離diS_lr_eye，即，臉的大 小，自動(dòng)地調(diào)整χ軸系數(shù)“gw_x”。調(diào)整用系數(shù)kx也可根據(jù)對(duì)應(yīng)于用戶(hù)的操作輸入部8的操作而輸入的圖像補(bǔ)償?shù)?級(jí)，或處理強(qiáng)度(后述)而設(shè)定。此外，移動(dòng)量映射生成部4d針對(duì)各像素，計(jì)算距通過(guò)顎和眼的中間位置的中間線(xiàn) m的y軸方向的距離deltaY。另外，移動(dòng)量映射生成部4d根據(jù)已計(jì)算的deltaY和高斯分 布的分散oY，根據(jù)式(5)，計(jì)算各像素的χ軸系數(shù)“gw_x”(參照?qǐng)D5)。數(shù)學(xué)公式6 分散σ Y與左右眼距離diS_lr_eye和調(diào)整用系數(shù)ky的乘積成正比。分散σ Y對(duì) 應(yīng)于左右眼距離diS_lr_eye而變化。于是，可對(duì)應(yīng)于左右眼距離diS_lr_eye，即，臉的大 小，自動(dòng)地調(diào)整y軸系數(shù)“gw_y”。調(diào)整用系數(shù)ky也可根據(jù)對(duì)應(yīng)于用戶(hù)的操作輸入部8的操作而輸入的圖像補(bǔ)償?shù)?級(jí)，或處理強(qiáng)度(后述)而設(shè)定。另外，移動(dòng)量映射生成部4d對(duì)應(yīng)于χ軸系數(shù)gw_x和y軸系數(shù)gw_y，即對(duì)應(yīng)于距模 擬輪廓線(xiàn)Ll的χ軸方向的距離deltaX和距中間線(xiàn)m的y軸方向的距離deltaY，規(guī)定各像 素的χ軸方向的移動(dòng)量。越是距模擬輪廓線(xiàn)Ll沿χ軸方向離開(kāi)的像素，移動(dòng)量越小(參照?qǐng)D5和圖6)，另外，越是距中間線(xiàn)m沿y軸方向離開(kāi)的像素，移動(dòng)量越小。此外，移動(dòng)量映射生成部4d對(duì)應(yīng)于相對(duì)左右眼的中心點(diǎn)的坐標(biāo)(wcx，wcy)的χ軸 方向的位置，針對(duì)各像素，生成移動(dòng)量映射map (x，y)。在像素的χ坐標(biāo)大于兩眼之間的中心點(diǎn)的χ坐標(biāo)wcx的場(chǎng)合(χ > wcx)，即，相對(duì) 臉的左側(cè)的像素，移動(dòng)量映射生成部4d根據(jù)下述式(7)，計(jì)算移動(dòng)量映射!11即0^》的χ成 分。移動(dòng)量映射生成部4d通過(guò)從該像素的χ坐標(biāo)中減去χ軸系數(shù)gw_x和y軸系數(shù)gw_y 的乘積的方式，導(dǎo)出該移動(dòng)量映射map (χ，y)的χ成分。另一方面，在該像素的χ坐標(biāo)小于 中心點(diǎn)的χ坐標(biāo)wcx的場(chǎng)合(χ < wcx)，即，相對(duì)臉的右側(cè)的像素，移動(dòng)量映射生成部4d通 過(guò)下述式(8)，計(jì)算移動(dòng)量映射!11即0^》的χ成分。移動(dòng)量映射生成部4通過(guò)將χ軸系數(shù) gw_x和y軸系數(shù)gw_y的乘積與該像素的χ坐標(biāo)相加的方式，導(dǎo)出移動(dòng)量映射map (χ, y)的 χ成分。數(shù)學(xué)公式7map (χ, y) = (x_gw_x*gw_y, 0)......(7)[χ > wcx]map (χ, y) = (x+gw_x*gw_y, 0)......(8)[χ < wcx]在像素的χ坐標(biāo)等于兩眼之間的中心點(diǎn)的χ坐標(biāo)wcx的場(chǎng)合，不生成移動(dòng)量映射 map (x, y)的χ坐標(biāo)?；蛘?，移動(dòng)量映射map (x，y)也可按照輸入圖像的像素位置與輸出圖 像中的像素位置相同的方式來(lái)生成。由于越是從模擬輪廓線(xiàn)Ll沿χ軸方向離開(kāi)的像素，χ軸系數(shù)gw_x越小，故移動(dòng)量 映射生成部4d生成越是從模擬輪廓線(xiàn)Ll沿χ軸方向離開(kāi)的像素移動(dòng)量越小的移動(dòng)量映射 map (X，y) ο在圖6中，與左頰部和其周邊相對(duì)應(yīng)的模擬輪廓線(xiàn)Ll的一部分A的像素的移動(dòng)量 以示意方式，通過(guò)箭頭的長(zhǎng)度和方向表示。箭頭的長(zhǎng)度越長(zhǎng)，移動(dòng)量越大。圖像處理部4對(duì)應(yīng)于按照通過(guò)移動(dòng)量映射生成部4d生成的移動(dòng)量映射map (χ, y) 規(guī)定的各像素的移動(dòng)量，對(duì)各像素進(jìn)行扭曲處理。由此，X坐標(biāo)的值大于兩眼間的中心點(diǎn)的 X坐標(biāo)WCX的像素(即，X > WCX)，在扭曲處理中，對(duì)應(yīng)于移動(dòng)量而移動(dòng)到左側(cè)。此外，X坐 標(biāo)的值小于兩眼間的中心點(diǎn)的X坐標(biāo)WCX的像素(X <WCX)，在扭曲處理中，對(duì)應(yīng)于移動(dòng)量 而移動(dòng)到右側(cè)。由此，扭曲處理按照左右眼的下側(cè)的部分變細(xì)的方式使臉的圖像變形。在扭曲處理中，臉圖像的變形等級(jí)對(duì)應(yīng)于用戶(hù)的操作輸入部8的操作而變更。扭 曲處理在這里，作為使臉的圖像變形的一個(gè)例子而說(shuō)明，但是，本發(fā)明并不限于此。像這樣，CPUll和圖像處理部4作為根據(jù)模擬輪廓線(xiàn)Li，對(duì)臉圖像進(jìn)行補(bǔ)償?shù)臋C(jī)構(gòu) 發(fā)揮作用。存儲(chǔ)介質(zhì)5包括非易失性存儲(chǔ)器(閃存)等。存儲(chǔ)介質(zhì)5存儲(chǔ)通過(guò)圖像處理部4 的JPEG壓縮部(圖示省略)編碼的圖像數(shù)據(jù)。另外，存儲(chǔ)介質(zhì)5存儲(chǔ)進(jìn)行了圖像補(bǔ)償處理 的圖像數(shù)據(jù)。顯示控制部7讀出暫時(shí)存儲(chǔ)于數(shù)據(jù)存儲(chǔ)器9中的顯示用數(shù)據(jù)，在顯示部6中顯示。 顯示控制部7包括VRAM、VRAM控制器、數(shù)字視頻編碼器等。另外，數(shù)字視頻編碼器在CPUll 的控制下，將從數(shù)據(jù)存儲(chǔ)器9讀出并存儲(chǔ)于VRAM中的亮度信號(hào)Y和色差信號(hào)Cb、Cr，經(jīng)由VRAM控制器，從VRAM中定期地讀出。非數(shù)字視頻編碼器根據(jù)已讀出的數(shù)據(jù)，發(fā)生視頻信號(hào)， 將該視頻信號(hào)輸出給顯示部6。顯示部6根據(jù)從顯示控制部7傳送的視頻信號(hào)，顯示通過(guò)電子攝像部2攝制的圖 像。在攝像模式中，顯示部6將通過(guò)攝像控制部3生成的多個(gè)幀作為實(shí)拍(live view)圖 像而依次顯示，顯示作為記錄用圖像而攝制的錄制視頻(REC-view)圖像。采用操作輸入部8，以便對(duì)攝像裝置100輸入操作指示。操作輸入部8包括提供攝 像指示的快門(mén)按鈕、提供涉及功能選擇、顯示設(shè)定的菜單畫(huà)面的顯示指示的菜單按鈕、選擇 動(dòng)作模式而并提供劃定已選擇的模式的指示的選擇按鈕、提供變焦量的調(diào)整指示的變焦按 鈕等。操作輸入部8對(duì)應(yīng)于這些按鈕的操作，將操作信號(hào)輸出給CPU11。選擇確定按鈕用于對(duì)應(yīng)于菜單按鈕的操作而顯示的菜單畫(huà)面上的、圖像補(bǔ)償?shù)燃?jí) (即，處理強(qiáng)度；比如，等級(jí)1 等級(jí)3等)的設(shè)定指示的輸入。操作輸入部8對(duì)應(yīng)于操作， 將設(shè)定信號(hào)輸出給CPU11。CPUll按照已輸入的設(shè)定信號(hào)，設(shè)定圖像補(bǔ)償?shù)燃?jí)。操作輸入部8和CPUll作為設(shè)定圖像補(bǔ)償處理的處理強(qiáng)度的機(jī)構(gòu)發(fā)揮作用。CPUll控制攝像裝置100的各部。S卩，CPUll按照存儲(chǔ)于程序存儲(chǔ)器10中的攝像 裝置100用的各種程序，控制各部。數(shù)據(jù)存儲(chǔ)器9包括比如，閃存等，暫時(shí)存儲(chǔ)通過(guò)CPUll處理的數(shù)據(jù)。程序存儲(chǔ)器10存儲(chǔ)CPUll的動(dòng)作所必需的各種程序、數(shù)據(jù)。存儲(chǔ)于程序存儲(chǔ)器10中的程序包括臉檢測(cè)控制例行程序(routine)、眼位置檢測(cè) 控制例行程序、輪廓生成控制例行程序、補(bǔ)償控制例行程序。例行程序的用語(yǔ)指構(gòu)成計(jì)算機(jī)程序的一部分，實(shí)現(xiàn)某功能的一系列的命令組。臉檢測(cè)控制例行程序包括用于在CPUll中實(shí)現(xiàn)下述的功能的命令組，該功能指在 臉檢測(cè)部4a中，根據(jù)由電子攝像部2生成的幀，檢測(cè)相當(dāng)于眼、鼻、口等的特征部(臉部 分)，檢測(cè)該臉。眼位置檢測(cè)控制例行程序包括用于在CPUll中實(shí)現(xiàn)的下述功能的命令組，該功能 指在眼檢測(cè)部4b中檢測(cè)出通過(guò)臉檢測(cè)部4a檢測(cè)到的臉的眼睛的位置。輪廓生成控制例行程序包括用于在CPUll中實(shí)現(xiàn)的下述功能的命令組，該功能指 根據(jù)通過(guò)臉檢測(cè)部4a檢測(cè)的左右的眼等的臉的特征部，在輪廓生成部4c中生成臉的模擬 輪廓線(xiàn)Li。按照該輪廓生成控制例行程序，CPUll根據(jù)通過(guò)眼位置檢測(cè)部4b檢測(cè)出的眼睛 的位置，在輪廓生成部4c中計(jì)算臉的傾斜度和左右眼間距。此外，CPUll根據(jù)計(jì)算結(jié)果，在 輪廓生成部4c中生成臉的模擬輪廓線(xiàn)Li。補(bǔ)償控制例行程序包括用于在CPUll中實(shí)現(xiàn)下述的功能的命令組，該功能指根據(jù) 通過(guò)輪廓生成部4c生成的模擬輪廓線(xiàn)Li，在圖像處理部4中，對(duì)臉圖像進(jìn)行補(bǔ)償處理。按 照該補(bǔ)償控制例行程序，CPUll在圖像處理部4，進(jìn)行根據(jù)模擬輪廓線(xiàn)Li，使臉圖像變形的 扭曲處理。即，CPUll在圖像處理部4的移動(dòng)量映射生成部4d中，針對(duì)臉圖像中的各像素， 計(jì)算與模擬輪廓線(xiàn)Ll的距離，在移動(dòng)量映射生成部4d中生成對(duì)應(yīng)于已計(jì)算的距離，確定針 對(duì)各像素的移動(dòng)量的移動(dòng)量映射。另外，CPUll在圖像處理部4中，對(duì)臉圖像，進(jìn)行與由移 動(dòng)量映射提供的移動(dòng)量對(duì)應(yīng)的扭曲處理。接著，參照?qǐng)D7，對(duì)通過(guò)攝像裝置100進(jìn)行的圖像補(bǔ)償方法的圖像補(bǔ)償處理進(jìn)行說(shuō)明。圖7為表示圖像補(bǔ)償處理的動(dòng)作實(shí)例的流程圖。圖像補(bǔ)償處理與用于在菜單畫(huà)面上選擇圖像補(bǔ)償模式的用戶(hù)的操作輸入部8的 操作對(duì)應(yīng)而進(jìn)行。像圖7所示的那樣，對(duì)應(yīng)于用戶(hù)的操作輸入部8的快門(mén)按鈕的操作，CPUll在攝像 控制部3調(diào)整聚焦條件、曝光條件和白色平衡，在電子攝像部2中拍攝作為被拍攝對(duì)象的臉 圖像(步驟Si)。由此，攝像控制部3根據(jù)電子攝像部2的攝像區(qū)域，讀出臉圖像的巾貞，將其 輸出給圖像處理部4。按照臉檢測(cè)控制例行程序，CPUll在臉檢測(cè)部4a中，根據(jù)臉圖像的巾貞，檢測(cè)眼、鼻、 口等的特征部(臉部分)，根據(jù)該特征部，對(duì)臉進(jìn)行檢測(cè)(步驟S2)。此外，按照眼位置檢測(cè)控制例行程序，CPUll在眼位置檢測(cè)部4b中，檢測(cè)由臉檢測(cè) 部4a檢測(cè)的臉的左右兩眼的各自的中心的坐標(biāo)(rightEyeX，rightEyeY)和(leftEyeX， IeftEyeY)(步驟 S3)。按照輪廓生成控制例行程序，CPUll在輪廓生成部4c中，根據(jù)χ軸方向的兩 眼間距 “delta_x( = rightEyeX-leftEyeX) ”和 y 軸方向的兩眼間距 “delta_Y(= rightEyeY-leftEyeY)，，的絕對(duì)值，按照式⑴，計(jì)算臉相對(duì)χ軸的傾斜角度θ，另外，在輪 廓生成部4c中，根據(jù)delta_X和delta_y，按照式(2)，計(jì)算左右眼間距diS_lr_eye (步驟 S4)。數(shù)學(xué)公式8θ = arctan (abs (delta_x), abs (delta_y))......式(1)數(shù)學(xué)公式9dis_lr_eye = sqrt (delta_x2+delta_y2)......式(2)CPUll在輪廓生成部4c，根據(jù)兩眼間的中心點(diǎn)的坐標(biāo)(WCX，WCy)，臉的傾斜角度θ 和左右眼間距dis_lr_eye，按照式(3)，生成模擬輪廓線(xiàn)Ll (步驟S5)。數(shù)學(xué)公式10
(w - wcx) * cosG+ - wcy) * sinG (w - wcx) * cosG+ (y - wcy) * sinG
-(x — wcx) * sin8+ {y - wcy) * cosG —(x - wcx) * sin9+ (y - wcy) * cos9 --*-
aa
(3)按照補(bǔ)償控制例行程序，CPUll在移動(dòng)量映射生成部4d中，針對(duì)臉圖像中的各像 素，計(jì)算與模擬輪廓線(xiàn)Ll的距離，另外，在移動(dòng)量映射生成部4d中，根據(jù)距已計(jì)算的距模擬 輪廓線(xiàn)Ll的距離，生成確定每個(gè)像素的移動(dòng)量的移動(dòng)量映射map (χ, y)(步驟S6)。具體來(lái)說(shuō)，CPUll在移動(dòng)量映射生成部4d中，針對(duì)臉圖像中的每個(gè)像素，按照式 (4)，計(jì)算距模擬輪廓線(xiàn)Ll的χ軸方向的距離deltaX。另外，CPUll在移動(dòng)量映射生成部4d 中，采用式(5)的指數(shù)函數(shù)，根據(jù)χ軸方向的距離deltaX和高斯分布的分散σΧ，計(jì)算每個(gè)
9像素的X軸方向的移動(dòng)量的X軸系數(shù)g _x。數(shù)學(xué)公式11
, (W - wcx) * cosG+ (y - wcy) * sinG (w - wcx) * cosG+ (y - wcy) * sinG
delta 二 i^ri-*-
1 H b b
~(x - wcx) * sinG+ (y - wcy) * cosG -(x - wcx) * sin9+ (y - wcy) * cosG .
H--*--1
aa
……(4)數(shù)學(xué)公式12gw_x = exp (_0· 5*deltaX2/2 σ X2)......式(5)[ σ X oc dis_lr_eye*kx]接著，CPUll在移動(dòng)量映射生成部4d中，計(jì)算距通過(guò)顎和眼的中間位置的中間線(xiàn)m 的y軸方向的距離deltaY。另外，CPUll在移動(dòng)量映射生成部4d中，采用式(6)的指數(shù)函 數(shù)，根據(jù)y軸方向的距離deltaY和高斯分布的分散ο Y，計(jì)算每個(gè)像素的y軸方向的移動(dòng)量 的1軸系數(shù)gw_y。數(shù)學(xué)公式13gw_y = exp (_0· 5*deltaY2/2 σ Y2)......式(6)[ σ Y oc dis_lr_eye*ky]在像素的χ坐標(biāo)大于兩眼間的中心點(diǎn)的χ坐標(biāo)wcx的場(chǎng)合(χ > wcx), CPUll根據(jù) 式(7)，從該像素的χ坐標(biāo)中減去χ軸系數(shù)gw_x和y軸系數(shù)gw_y的乘積，由此，在移動(dòng)量 映射生成部4d中生成移動(dòng)量映射map (X，y)。另一方面，在像素的χ坐標(biāo)小于兩眼間的中 心點(diǎn)的χ坐標(biāo)wcx的場(chǎng)合(χ < wcx)，CPUll根據(jù)式⑶，將χ軸系數(shù)gw_x和y軸系數(shù)gw_
Y的乘積與該像素的X坐標(biāo)相加，由此，在移動(dòng)量映射生成部4d中生成移動(dòng)量映射map(x， y)。數(shù)學(xué)公式14map (χ, y) = (x_gw_x*gw_y, 0)......式(7)[χ > wcx]map (χ, y) = (x+gw_x*gw_y, 0)......式(8)[χ < wcx]CPUll在圖像處理部4中，對(duì)各像素，對(duì)應(yīng)于通過(guò)移動(dòng)量映射map (x，y)確定的該 像素的移動(dòng)量，進(jìn)行扭曲處理，X坐標(biāo)的值大于兩眼間的中心點(diǎn)的X坐標(biāo)WCX的像素(即，χ > wcx)按照使移動(dòng)量的量移到左側(cè)，X坐標(biāo)的值小于WCX的像素(X < wcx)按照使移動(dòng)量 的量移到右側(cè)，對(duì)該臉圖像進(jìn)行補(bǔ)償(步驟S7)。另外，CPUll將通過(guò)扭曲處理補(bǔ)償?shù)膱D像的圖像數(shù)據(jù)存儲(chǔ)于存儲(chǔ)介質(zhì)5中(步驟 S8)，結(jié)束該圖像補(bǔ)償處理。像上述那樣，按照本實(shí)施方式的攝像裝置100，檢測(cè)通過(guò)電子攝像部2獲得的臉 圖像的臉的特征部，可根據(jù)該特征部，生成臉的模擬輪廓線(xiàn)Li。具體來(lái)說(shuō)，檢測(cè)右眼和左 眼的位置坐標(biāo)(rightEyeX, rightEyeY), (IeftEyeX, IeftEyeY) 0根據(jù)已檢測(cè)的位置坐標(biāo)(rightEyeX，rightEyeY)，(leftEyeX，IeftEyeY)，計(jì)算臉的傾斜角度 θ 和左右眼間距 dis_ lr_eye0另外，根據(jù)該計(jì)算結(jié)果，可生成臉的模擬輪廓線(xiàn)Ll。于是，可適當(dāng)?shù)剡M(jìn)行臉的特征 部的檢測(cè)，以及臉的傾斜角度θ和左右眼間距dis_lr_eye的計(jì)算?？蛇m當(dāng)?shù)剡M(jìn)行基于臉 的特征部的該臉的模擬輪廓線(xiàn)Ll的生成。此外，根據(jù)已生成的模擬輪廓線(xiàn)Li，可對(duì)已獲得的臉圖像，進(jìn)行補(bǔ)償處理。S卩，根 據(jù)臉的模擬輪廓線(xiàn)Li，可進(jìn)行使臉圖像變形的扭曲處理。具體來(lái)說(shuō)，計(jì)算臉圖像中的各像 素和模擬輪廓線(xiàn)Ll的距離，根據(jù)已計(jì)算的距離，針對(duì)各像素，生成規(guī)定移動(dòng)量的移動(dòng)量映 射map(X，y)。扭曲處理是相對(duì)臉圖像，與通過(guò)移動(dòng)量映射map (x，y)所提供的移動(dòng)量對(duì)應(yīng) 而進(jìn)行。于是，根據(jù)模擬輪廓線(xiàn)Li，可適當(dāng)?shù)貙?duì)臉圖像進(jìn)行補(bǔ)償處理。于是，由于通過(guò)電子攝像部2，對(duì)臉進(jìn)行攝像，故可按照使兩眼的下側(cè)的輪廓變細(xì) 的方式進(jìn)行臉圖像的補(bǔ)償處理。另外，用戶(hù)不必進(jìn)行為了進(jìn)行圖像補(bǔ)償而特別的操作，可簡(jiǎn) 單地進(jìn)行對(duì)臉圖像的補(bǔ)償處理。圖像補(bǔ)償?shù)牡燃?jí)通過(guò)用戶(hù)的操作輸入部8的規(guī)定操作而設(shè)定。圖像補(bǔ)償處理對(duì)臉 圖像，對(duì)應(yīng)于該圖像補(bǔ)償?shù)燃?jí)而進(jìn)行。由此，可將處理強(qiáng)度，即，使臉變細(xì)的程度設(shè)定在用戶(hù) 所需的等級(jí)，攝像裝置100的使用方便性更加良好。另外，本發(fā)明并不限于上述實(shí)施方式，也可在不脫離本發(fā)明的實(shí)質(zhì)的范圍內(nèi)，進(jìn)行 各種改良和設(shè)計(jì)的變更。比如，是否進(jìn)行圖像補(bǔ)償處理也可對(duì)應(yīng)于通過(guò)臉檢測(cè)檢測(cè)出的臉的尺寸而確定。 在已檢測(cè)的臉不在規(guī)定的范圍內(nèi)，大于規(guī)定值，或小于規(guī)定值的場(chǎng)合，或在左右眼間距大于 規(guī)定值，或小于規(guī)定值的場(chǎng)合，模擬輪廓線(xiàn)Ll也可不必生成。由此，不進(jìn)行不需要的圖像補(bǔ) 償處理。χ軸方向的移動(dòng)量也可對(duì)應(yīng)于已檢測(cè)的臉的尺寸而改變。按照已檢測(cè)到的臉越大 則χ軸方向的移動(dòng)量越大的方式，改變調(diào)整用系數(shù)kx的大小，來(lái)改變通過(guò)式(5)計(jì)算的χ 軸系數(shù)的值，或?qū)ⅵ州S系數(shù)與規(guī)定的系數(shù)相乘，由此，也可改變?chǔ)州S方向的移動(dòng) 量。這樣，可考慮針對(duì)圖像尺寸的臉的值來(lái)適當(dāng)進(jìn)行圖像補(bǔ)償處理。在上述實(shí)施方式中，檢測(cè)作為臉的特征部的眼。但是，鼻、口、眉毛也可作為特征部 而檢測(cè)。在上述實(shí)施方式中，以眼的位置為基準(zhǔn)，生成模擬輪廓線(xiàn)Li。但是，只要是臉的特 征部，則能夠以任何的部位為基準(zhǔn)來(lái)生成模擬輪廓線(xiàn)Li。以比如，鼻、口等的位置中的1或 多個(gè)為基準(zhǔn)。通過(guò)除了以眼為基準(zhǔn)外，以鼻、口的位置為基準(zhǔn)，來(lái)生成模擬輪廓線(xiàn)Li，由此，可更 正確地生成模擬輪廓線(xiàn)Li。于是，可更適當(dāng)?shù)剡M(jìn)行圖像補(bǔ)償處理。在上述實(shí)施方式中，以眼睛的位置為基準(zhǔn)，生成模擬輪廓線(xiàn)Li。但是，也可不但以 眼睛的位置，而且以眼睛的尺寸為基準(zhǔn)而生成模擬輪廓線(xiàn)Li。即，眼位置檢測(cè)部4b可計(jì)算 眼睛的位置，以及眼睛的大小，還可根據(jù)已計(jì)算的眼睛的位置和大小，生成模擬輪廓線(xiàn)Li。由此，可生成更正確的模擬輪廓線(xiàn)Li，可更適當(dāng)?shù)剡M(jìn)行圖像補(bǔ)償處理。在上述實(shí)施方式中，假定模擬輪廓線(xiàn)Ll的形狀為橢圓。但是，模擬輪廓線(xiàn)并不限 于橢圓形。如果模擬輪廓線(xiàn)Ll為沿臉的輪廓的曲線(xiàn)，則也可為任意的線(xiàn)。比如，也可像圖 3(b)所示的那樣，為通過(guò)式12 = ax2+bx+C(a，b，C為任意的數(shù))表示的拋物線(xiàn)L2。與上述實(shí)施方式相同，即使采用模擬輪廓線(xiàn)L2，仍可對(duì)臉圖像，進(jìn)行適合的圖像補(bǔ)償處理。在上述實(shí)施方式中，按照兩眼的下側(cè)的部分變細(xì)的方式，進(jìn)行對(duì)臉圖像的圖像補(bǔ) 償處理。但是，本發(fā)明并不限于此。比如，在像素的X坐標(biāo)大于兩眼間的中心點(diǎn)的X坐標(biāo) WCX的場(chǎng)合(S卩，X>WCX的場(chǎng)合)，也可根據(jù)式(8)，計(jì)算移動(dòng)量映射map (X，y)。另外，在 像素的χ坐標(biāo)小于兩眼間的中心點(diǎn)的χ坐標(biāo)wcx的場(chǎng)合(即，x<WCx)，也可根據(jù)式(7)， 計(jì)算移動(dòng)量映射map (x，y)。像這樣，還可按照兩眼的下側(cè)的部分?jǐn)U大的方式進(jìn)行圖像補(bǔ)償 處理。此外，既可推定被拍攝人物的年齡，也可考慮推定了年齡而生成模擬輪廓線(xiàn)Li。比 如，由于小孩等的眼睛的位置低于成人的眼睛的位置，可通過(guò)考慮被拍攝人物的年齡，更正 確地生成臉的模擬輪廓線(xiàn)Li。此外，臉的模擬輪廓線(xiàn)Ll也可考慮被拍攝人物的性別、人種而生成。也可對(duì)實(shí)拍圖像進(jìn)行補(bǔ)償處理，還可將已補(bǔ)償?shù)膱D像作為實(shí)拍圖像而顯示。即，生 成移動(dòng)量映射map(X，y)，逐次輸入的實(shí)拍圖像根據(jù)移動(dòng)量映射map (χ，y)而補(bǔ)償。經(jīng)補(bǔ)償 的圖像作為實(shí)拍圖像而顯示。在此期間，用戶(hù)可對(duì)操作輸入部8進(jìn)行操作，調(diào)整圖像補(bǔ)償?shù)?等級(jí)。將對(duì)應(yīng)于已調(diào)整的圖像補(bǔ)償?shù)燃?jí)的臉圖像作為實(shí)拍圖像而顯示。于是，用戶(hù)可在記 錄圖像之前，確認(rèn)按照已設(shè)定的圖像補(bǔ)償?shù)燃?jí)補(bǔ)償?shù)哪槇D像。然后，如果按壓操作輸入部8 的快門(mén)按鈕，則進(jìn)行記錄用圖像的攝影，按照在實(shí)拍圖像顯示中設(shè)定的圖像補(bǔ)償?shù)燃?jí)，執(zhí)行 補(bǔ)償處理，將已補(bǔ)償?shù)膱D像記錄于存儲(chǔ)介質(zhì)中。另外，攝像裝置100的上述方案作為一個(gè)例子而給出，但是攝像裝置100的方案并 不限于例舉的方案。攝像裝置100作為圖像處理裝置的一個(gè)例子而說(shuō)明。但是，也可采用不同的圖像 處理裝置。攝像透鏡部1、電子攝像部2、與攝像控制部3也可不必設(shè)置。本發(fā)明也可適用 于可獲得臉圖像，檢測(cè)該臉圖像的特征部，根據(jù)特征部生成模擬輪廓線(xiàn)，根據(jù)該模擬輪廓線(xiàn) 對(duì)臉圖像進(jìn)行補(bǔ)償處理的，任意的圖像處理裝置。比如，本發(fā)明可適用于個(gè)人計(jì)算機(jī)等的計(jì) 算機(jī)系統(tǒng)。在上述實(shí)施方式中，根據(jù)CPUll的控制，圖像處理部4(臉檢測(cè)部4a、眼位置檢測(cè) 部4b、輪廓生成部4c、移動(dòng)量映射生成部4d)實(shí)現(xiàn)臉檢測(cè)功能、特征部檢測(cè)功能、輪廓生成 功能，圖像補(bǔ)償功能。但是。本發(fā)明并不限于此。這些功能也可通過(guò)CPUll運(yùn)行存儲(chǔ)于存 儲(chǔ)介質(zhì)中的規(guī)定的程序的方式提供。
權(quán)利要求
一種圖像處理裝置，其特征在于，包括獲得圖像的圖像獲得機(jī)構(gòu)(1，2，3)；特征部檢測(cè)機(jī)構(gòu)(4b)，其根據(jù)上述圖像，檢測(cè)臉的特征部；輪廓生成機(jī)構(gòu)(4c)，其根據(jù)上述特征部的位置，生成臉的模擬輪廓線(xiàn)；補(bǔ)償機(jī)構(gòu)(4)，其根據(jù)上述模擬輪廓線(xiàn)，對(duì)上述圖像進(jìn)行補(bǔ)償。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，上述特征部檢測(cè)機(jī)構(gòu)包括根據(jù)上述圖像檢測(cè)兩眼的位置的眼位置檢測(cè)機(jī)構(gòu)(4b)； 上述輪廓生成機(jī)構(gòu)根據(jù)上述眼的位置，生成上述模擬輪廓線(xiàn)。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于，上述輪廓生成機(jī)構(gòu)根據(jù)上述兩眼的位置，計(jì)算圖像中的臉的傾斜角度和兩眼間距，根 據(jù)上述傾斜角度和兩眼間距，生成上述模擬輪廓線(xiàn)。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 還包括計(jì)算上述特征部的大小的計(jì)算機(jī)構(gòu)(4b)；上述輪廓生成機(jī)構(gòu)根據(jù)上述特征部的位置和大小，生成上述模擬輪廓線(xiàn)。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 上述補(bǔ)償機(jī)構(gòu)根據(jù)上述模擬輪廓線(xiàn)，使上述圖像變形。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于， 還包括距離計(jì)算機(jī)構(gòu)(4d)，其針對(duì)上述圖像中的各像素，計(jì)算距上述模擬輪廓線(xiàn)的距離； 移動(dòng)量確定機(jī)構(gòu)(4d)，其針對(duì)上述各像素，對(duì)應(yīng)于距上述模擬輪廓線(xiàn)的距離，來(lái)確定移動(dòng)量；上述補(bǔ)償機(jī)構(gòu)對(duì)應(yīng)于上述移動(dòng)量，使上述圖像變形。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，還包括設(shè)定對(duì)上述圖像進(jìn)行補(bǔ)償?shù)膹?qiáng)度的設(shè)定機(jī)構(gòu)(8，11)；上述補(bǔ)償機(jī)構(gòu)對(duì)應(yīng)于通過(guò)上述設(shè)定機(jī)構(gòu)設(shè)定的上述強(qiáng)度，對(duì)上述圖像進(jìn)行補(bǔ)償。
8.一種圖像處理方法，其特征在于，包括 獲得圖像的步驟(Si)；根據(jù)上述圖像，檢測(cè)臉的特征部的步驟(S3)；根據(jù)上述特征部的位置，生成臉的模擬輪廓線(xiàn)的步驟(S6)；根據(jù)上述模擬輪廓線(xiàn)，對(duì)上述圖像進(jìn)行補(bǔ)償?shù)牟襟E(S7)。
全文摘要
本發(fā)明的課題在于一種對(duì)臉圖像進(jìn)行拍攝而獲得該圖像的攝像裝置(100)，其包括圖像處理部(4)，其檢測(cè)已獲得的臉圖像的臉的特征部的位置，以已檢測(cè)的臉的特征部的位置為基準(zhǔn)，生成臉的模擬輪廓線(xiàn)，根據(jù)已生成的模擬輪廓線(xiàn)，對(duì)臉圖像進(jìn)行補(bǔ)償處理。
文檔編號(hào)H04N5/232GK101902577SQ200910266600
公開(kāi)日2010年12月1日 申請(qǐng)日期2009年11月26日 優(yōu)先權(quán)日2008年11月28日
發(fā)明者中込浩一 申請(qǐng)人:卡西歐計(jì)算機(jī)株式會(huì)社