專利名稱：圖像處理裝置以及圖像處理方法
技術領域：
本發(fā)明涉及圖像處理裝置以及圖像處理方法。
背景技術：
在將拍攝被攝體的臉部的臉部圖像進行印刷輸出的自動拍照攝影裝置中，存在將臉部圖像的一部分擴大或縮小的使臉部圖像變形的技術(例如，日本專利特開 2000-267156 號公報)。但是，有如下問題在如上述專利文獻1所述，通過僅僅將臉部圖像的一部分擴大或縮小從而使臉部圖像變形的情況下，處理后的圖像的一部分會很顯眼而使圖像變得不自然。

發(fā)明內(nèi)容
因此，本發(fā)明的課題是對臉部圖像實施更加自然的圖像處理。本發(fā)明的一個實施方式為一種圖像處理裝置，具有獲取單元(1、2，3)，用于獲取臉部圖像；區(qū)域確定單元(11a)，用于在由該獲取單元所獲取的臉部圖像中，確定成組的多個對應的區(qū)域；和校正單元(11c)，用于生成以由該區(qū)域確定單元所確定的上述臉部圖像的多個對應區(qū)域之中的一個區(qū)域為基準來對其他區(qū)域進行校正的臉部圖像。本發(fā)明的另一個實施方式為一種圖像處理裝置，具有獲取單元(1、2、3)，用于獲取臉部圖像；臉部構成部確定單元(11a)，用于在由該獲取單元所獲取的臉部圖像中，確定成組的多個對應的臉部構成部；和校正單元(11c)，用于生成臉部圖像，該臉部圖像是以由該臉部構成部確定單元所確定的上述臉部圖像的多個對應的臉部構成部之中的一邊的臉部構成部為基準而對另一邊的臉部構成部進行了校正后得到的臉部圖像。本發(fā)明的另一個實施方式為一種圖像處理方法，使圖像處理裝置執(zhí)行獲取臉部圖像的處理(1、2、3)；在獲取的臉部圖像中，確定成組的多個對應的區(qū)域的處理(Ila)；和生成以所確定的上述臉部圖像的多個對應區(qū)域之中的一個區(qū)域為基準而對其他區(qū)域進行了校正后得到的臉部圖像的處理(11c)。本發(fā)明的另一個實施方式為一種圖像處理方法，使圖像處理裝置執(zhí)行獲取臉部圖像的處理(1、2、；3)；在所獲取的臉部圖像中，確定成組的多個對應的臉部構成部的處理 (Ila)；和生成以所確定的上述臉部圖像的多個對應的臉部構成部之中的一邊的臉部構成部為基準而對另一邊的臉部構成部進行了校正后得到的臉部圖像的處理(Ilc)。


圖1表示作為使用了本發(fā)明的一個實施方式的圖像處理裝置發(fā)揮功能的攝像裝置的一個例子。圖2是表示攝像處理流程的一例的流程圖。圖3是表示校正處理流程的一例的流程圖。
圖4是表示區(qū)域確定處理流程的一例的流程圖。圖5是表示眼睛的校正處理流程的一例的流程圖。圖6是表示嘴角的校正處理流程的一例的流程圖。圖7表示將臉部圖像的圖像數(shù)據(jù)顯示在顯示部上的一例。圖8表示校正后的臉部圖像的圖像數(shù)據(jù)的一例。圖9表示攝像裝置的變形例的一例。圖10是表示變形例中的校正處理流程的一例的流程圖。圖11是表示圖10的延續(xù)的流程圖。
具體實施例方式以下，參照附圖對本發(fā)明的實施方式進行說明。但是，本發(fā)明的技術方案的范圍不局限于圖中所示的例子。圖1是表示作為使用了本發(fā)明的一個實施方式的圖像處理裝置發(fā)揮功能的攝像裝置100的圖。作為圖像處理裝置發(fā)揮功能的攝像裝置100獲取臉部圖像的圖像數(shù)據(jù)，以在所獲取的臉部圖像的大致中央部向規(guī)定方向延伸的中心線為基準，確定多個區(qū)域，以所確定的臉部圖像的多個區(qū)域中的一個區(qū)域為基準，對其他區(qū)域進行校正。具體而言，如圖1所示，攝像裝置100具有鏡頭部1、電子攝像部2、攝像控制部3、 圖像數(shù)據(jù)生成部4、圖像存儲器5、記錄介質(zhì)6、顯示控制部7、顯示部8、操作輸入部9、CPU10 和臉部圖像處理部11。另外，攝像控制部3和CPUlO與臉部圖像處理部11是作為例如定制LSIlA設計的。鏡頭部1由多個透鏡構成，具有變焦透鏡或聚焦透鏡等。另外，雖然圖中進行了省略，但鏡頭部1也可以具有在拍攝被攝體(例如，臉部 F，參照圖7)時，使變焦鏡頭向光軸方向移動的變焦驅(qū)動部；和使聚焦透鏡向光軸方向移動的聚焦驅(qū)動部等。電子攝像部2拍攝被攝體并生成圖像數(shù)據(jù)。例如，由CCD (Charge Coupled Device) 或CMOS (Complementary Metal-oxide Semiconductor)等的圖像傳感器構成，將通過鏡頭部1的各種透鏡的光學圖像變換成二維的圖像信號。雖然圖中進行了省略，但是攝像控制部3具有時序發(fā)生器和驅(qū)動器等。并且，攝像控制部3利用時序發(fā)生器和驅(qū)動器對電子攝像部2進行掃描驅(qū)動，按每規(guī)定的周期由電子攝像部2將光學圖像轉(zhuǎn)換成二維的圖像信號，從該電子攝像部2的攝像區(qū)域一個畫面一個畫面地讀出圖像幀，并向圖像數(shù)據(jù)生成部4輸出。另外，攝像控制部3進行AF(自動聚焦處理)、AE(自動曝光處理)和AWB (自動白平衡)等的被攝體S的攝像條件的調(diào)整控制。圖7表示將臉部圖像的圖像數(shù)據(jù)顯示在顯示部8上的一例。 圖像數(shù)據(jù)生成部4針對從電子攝像部2傳送過來的圖像幀的模擬值的信號，按RGB 的每個顏色成分進行適當?shù)脑鲆嬲{(diào)整，然后，利用取樣保持電路(省略圖示)進行取樣保持，并通過A/D轉(zhuǎn)換器(省略圖示)轉(zhuǎn)換成數(shù)字數(shù)據(jù)，在通過色彩處理電路(省略圖示)進行了包括像素插值處理以及Y校正處理在內(nèi)的色彩處理之后，生成數(shù)字值的亮度信號Y以及色差信號Cb、Cr(YUV數(shù)據(jù))。從色彩處理電路輸出的亮度信號Y以及色差信號Cb、Cr通過未圖示的DMA控制器，被DMA傳送到作為緩存器使用的圖像存儲器5中。圖像存儲器5由例如D RAM等構成，暫時存儲由CPUlO或臉部圖像處理部11等處理的數(shù)據(jù)等。記錄介質(zhì)6由例如非易失性存儲器(閃存)等構成，且記錄用于記錄由圖像處理部的JPEG壓縮部(省略圖示)進行了編碼后得到的攝像圖像的圖像數(shù)據(jù)。顯示控制部7進行如下控制將暫時存儲在圖像存儲器5中的用于顯示的圖像數(shù)據(jù)或記錄在記錄介質(zhì)6中的圖像數(shù)據(jù)讀出，并顯示在顯示部8上。具體而言，顯示控制部7具有VRAM、VRAM控制器、數(shù)字視頻編碼器等。并且，數(shù)字視頻編碼器通過VRAM控制器，將在CPUlO的控制下從圖像存儲器5讀出且存儲在VRAM(省略圖示)中的亮度信號Y以及色差信號Cb、Cr從VRAM中定期地讀出，并以這些數(shù)據(jù)為基礎生成視頻信號，向顯示部8輸出。另外，顯示控制部7將由臉部圖像處理部11的校正部Ilc(后面會提到)進行的校正結(jié)果顯示在顯示部8上。而且，顯示控制部7將校正結(jié)果顯示在顯示部8上，并且進行用于向用戶確認是否保存所顯示的校正結(jié)果的確認處理。作為確認處理，例如，顯示控制部7將用于選擇是否把所顯示的校正結(jié)果保存在臉部圖像中的可否保存選擇顯示而顯示在顯示部8上。然后，針對可否保存選擇處理，用戶對操作輸入部9的決定鍵9c或取消鍵9d(后面會提到)進行輸入操作，以作為是否保存校正結(jié)果的選擇輸入。顯示部8例如是液晶顯示裝置，根據(jù)來自顯示控制部7的視頻信號，將由電子攝像部2拍攝的圖像等顯示在顯示畫面上。具體而言，顯示部8在攝像模式下，根據(jù)由鏡頭部1、 電子攝像部2以及攝像控制部3拍攝被攝體所生成的多個圖像幀來顯示實時取景圖像，或顯示作為本攝像圖像拍攝到的臉部圖像。操作輸入部9用于進行該攝像裝置100的規(guī)定操作。具體而言，操作輸入部9具有與被攝體的攝影指示相關的快門鍵9a、與菜單畫面上的攝像模式或功能等的選擇指示相關的模式鍵％、與變焦量的調(diào)整指示相關的變焦鍵(省略圖示)、與是否進行校正的決定的決定鍵9c以及取消鍵9d等，根據(jù)對這些按鍵的操作，將規(guī)定的操作信號輸出到CPU10。CPUlO用于控制攝像裝置100的各部。具體而言，CPUlO按照用于攝像裝置100的各種處理程序(省略圖示)，進行各種控制操作。臉部圖像處理部11具有確定部11a、比較部lib、校正部11c、校正基準決定部 Ild和校正執(zhí)行決定部lie。確定部Ila根據(jù)通過透鏡部1、電子攝像部2以及攝像控制部3的共同作用所拍攝、獲取到的圖像數(shù)據(jù)來檢測臉部圖像。臉部圖像的檢測能夠采用例如基于與規(guī)定的模板的比較的檢測或基于臉部圖像的輪廓提取的檢測等各種方法。另外，確定部Ila以在由鏡頭部1、電子攝像部2以及攝像控制部3獲取到的臉部圖像的大致中央部向規(guī)定方向延伸的中心線為基準，確定多個區(qū)域。具體而言，確定部Ila從臉部圖像的圖像幀內(nèi)檢測出相當于兩眼的臉部構成部。 另外，確定部Ila對兩眼各自的瞳孔(pupil)的中心坐標(例如，圖8所示的坐標(Xa, Ya)以及坐標( , )等)進行檢測。這里所說的坐標是指以臉部圖像的圖像數(shù)據(jù)的規(guī)定位置為原點(例如，圖8所示的原點0坐標)，相對于根據(jù)相對于圖像區(qū)域相互直行的規(guī)定的 2個方向(例如，圖8所示的X方向與Y方向)所表示的原點的位置信息。如果檢測出兩眼的各自的瞳孔的中心坐標，則確定部Ila計算出通過所檢測出的兩眼的各自的瞳孔的中心坐標的中點、并且以與連接所檢測出的兩眼的各自的瞳孔的中心坐標的線段大致正交的方式延伸的線段(例如，圖8所示的線段C)的軌跡，將該線段作為在臉部圖像的大致中央部向規(guī)定方向延伸的中心線。確定部Ila確定以該線段為基準被分開的臉部圖像的2個區(qū)域 (例如，圖8所示的區(qū)域Fl、F2)。在此所說的“組”是指共同的構成或包括共同的構成的2個區(qū)域。例如，可以舉出 兩眼(例如，圖7所示的左眼E1、右眼Er)或兩個嘴角(corners of mouth)(例如，圖7所示的左邊的嘴角Ml、右邊的嘴角Mr)等的臉部構成部或分別包括1個以上的這些構成部的臉部圖像的區(qū)域。另外，確定部Ila根據(jù)所獲取的臉部圖像來確定成組的多個對應的臉部構成部， 作為成組的多個對應的區(qū)域。例如，確定部Ila確定兩眼(例如圖7所示的左眼El和右眼Er)作為在臉部圖像中成組的多個對應的臉部構成部。例如，確定部Ila通過確定存在于臉部圖像中的瞳孔或眼白(white)，從而確定兩眼。在這種情況下，確定部Ila根據(jù)瞳孔或眼白與其周圍的臉部圖像的區(qū)域的像素值、明亮度等的差來確定眼睛。另外，確定部Ila獲取與眼睛大小相關的信息。例如，確定部Ila獲取兩眼的各自的瞳孔的沿著Y方向連續(xù)的像素數(shù)。另外，確定部Ila確定存在于臉部圖像中的兩個嘴角(例如，圖7所示的左邊的嘴角Ml和右邊的嘴角Mr)，作為在臉部圖像中成組的多個對應的臉部構成部。例如，確定部 Ila根據(jù)臉部圖像的區(qū)域的像素值、明亮度等的差來確定嘴角。另外，為了方便，在圖7所示的臉部圖像中所存在的兩眼之中，將正對時左邊的眼睛作為左眼El，將正對時右邊的眼睛作為右眼Er。左眼El對于被攝體而言是右眼，右眼Er 對于被攝體而言是左眼。另外，在圖7所示的臉部圖像中所存在的兩個嘴角之中，將正對時左邊的嘴角作為左邊嘴角M1，將正對時右邊的嘴角作為右邊嘴角Mr。左邊嘴角Ml對于被攝體而言是右邊的嘴角，右邊的嘴角Mr對于被攝體而言是左邊的嘴角。另外，確定部Ila獲取與兩個嘴角的位置相關的信息。在圖8所示的臉部圖像的情況下，確定部Ila獲取兩個嘴角的Y方向的坐標(Y1，Y2)。另外，確定部Ila獲取與嘴的最下端的位置相關的信息作為與兩個嘴角的位置相關的信息。這里所說的“嘴的最下端”是指沿著在臉部圖像的大致中央部向規(guī)定方向延伸的中心線(例如，圖8所示的線段C)的方向一側(cè)的嘴的端部，并且是離眼睛遠的端部。在圖8所示的臉部圖像的情況下，確定部Ila獲取與圖8所示的嘴的最下端的位置相關的Y 方向的坐標(Υ3)。比較部lib對由確定部Ila確定的存在于臉部圖像中的成組的兩個對應的臉構成部彼此之間進行比較，并輸出基于預先規(guī)定的條件的判定結(jié)果。例如，比較部lib對由確定部Ila作為成組的多個對應的臉部構成部而確定的兩眼的大小進行比較。具體而言，例如，比較部lib對由確定部Ila獲取到的兩眼的各自的瞳孔的沿著Y方向連續(xù)的像素數(shù)進行比較。然后，比較部lib確定該像素數(shù)相對大的一方的眼睛。另外，比較部lib獲取兩眼的大小的比率。例如，比較部lib計算出兩眼各自的瞳孔的沿著Y方向連續(xù)的像素數(shù)的比率，作為兩眼的大小的比率。在本實施方式中，雖然基于瞳孔的沿著Y方向連續(xù)的像素數(shù)，對眼睛的大小進行比較和確定，但也可以用其他的方法比較眼睛的大小。例如，既可以基于兩眼的各自的眼白的沿著X方向連續(xù)的像素數(shù)的最大值，也可以基于瞳孔的沿著Y方向連續(xù)的像素數(shù)以及兩眼的各自的眼白的沿著X方向連續(xù)的像素數(shù)這兩者，對眼睛的大小進行綜合的比較和判定，還可以對構成兩眼的各自的瞳孔或眼白的像素數(shù)進行比較。另外，比較部lib對由確定部Ila作為成組的多個對應的臉部構成部而確定的兩個嘴角的位置進行比較。例如，比較部lib將作為相對于作為與嘴的最下端的位置相關的信息而獲取到的Y方向的坐標所示的位置的嘴角位置而獲取到的Y方向的坐標的坐標所示的位置作為嘴角的位置，分別計算出兩個嘴角。并且，比較部lib對分別計算出的嘴角的位置進行比較，判定嘴角的位置高的嘴角是哪一個。然后，比較部lib判定兩個嘴角之中位置高的嘴角。校正部Ilc生成以由確定部Ila所確定的臉部圖像的兩個區(qū)域之中的一個區(qū)域為基準而對另一個區(qū)域進行校正后得到的臉部圖像。圖8表示校正后的臉部圖像的圖像數(shù)據(jù)的一例。在圖8中，為了明確眼睛大小的校正結(jié)果，省略了圖7中瞳孔部分的陰影線。具體而言，校正部Ilc以由確定部Ila所確定的臉部圖像的兩個臉部構成部之中的一個臉部構成部為基準，對另一個臉部構成部進行校正。例如，校正部Ilc以一只眼睛為基準，對另一只眼睛進行校正。在圖8所示的例子中，根據(jù)一只眼睛(圖7和圖8所示的左眼El)，校正另一只眼睛(圖7所示的右眼Er)的圖像區(qū)域的大小，將校正后的另一只眼睛表示為右眼Er2。具體而言，校正部Ilc將由比較部lib確定為較大的眼睛的眼睛作為一只眼睛，且將比該只眼睛小的另一只眼睛的大小進行了放大校正，以使其大小與該只眼睛的大小大致相同。在此，校正部Ilc根據(jù)由比較部lib計算出的兩眼的各自的瞳孔的沿著Y方向連續(xù)的像素數(shù)的比率進行校正，以使兩眼的沿著Y方向的寬度方向的大小成為大致相同。另外，例如，校正部Ilc以一邊的嘴角為基準，對另一邊的嘴角進行校正。在圖8所示的例子中，將由比較部lib確定為嘴角的位置高的嘴角的嘴角(圖7 和圖8所示的左邊的嘴角Ml)作為一邊的嘴角，對另一邊的嘴角(圖7所示的右邊的嘴角 Mr)的Y方向的坐標進行校正，以使其與一邊的嘴角的Y方向的坐標一致，將校正后的另一邊的嘴角表示為右邊的嘴角Mr2。校正基準決定部Ild根據(jù)規(guī)定條件來決定在由校正部Ilc進行的校正中成為校正的基準的臉部構成部。例如，作為規(guī)定條件，在使用“將由比較部lib確定為較大的眼睛的一只眼睛設為作為校正的基準的一只眼睛”的情況下，校正基準決定部Ild接受來自比較部lib的確定結(jié)果的輸入，以決定成為校正的基準的一只眼睛。同樣，例如，作為規(guī)定條件，在使用“將由比較部lib確定為嘴角的位置高的嘴角的嘴角設為作為校正的基準的一邊的嘴角”的情況下，校正基準決定部Ild接受來自比較部 lib的確定結(jié)果，以決定成為校正的基準的一邊的嘴角。校正執(zhí)行決定部lie根據(jù)從操作輸入部9的決定鍵9c、取消鍵9d接受到的選擇輸入的內(nèi)容，來決定是否保存校正部Ilc的校正結(jié)果。具體而言，在針對用于選擇是否保存由顯示控制部7顯示在顯示部8上的校正結(jié)果的可否保存確認顯示而操作了決定鍵9c的情況下，校正執(zhí)行決定部lie將與所顯示的校正結(jié)果對應的圖像數(shù)據(jù)輸出到圖像處理部的 JPEG壓縮部。由此，由校正部Ilc實施了校正的臉部圖像的圖像數(shù)據(jù)被記錄在記錄介質(zhì)6 中。另一方面，在針對用于選擇是否保存所顯示的校正結(jié)果的對話顯示而操作了取消鍵9d 的情況下，校正執(zhí)行決定部lie廢棄所顯示的校正結(jié)果。接下來，參照圖2 圖6對攝像裝置100所進行的圖像處理方法進行說明。圖2 是表示攝像處理的流程的一例的流程圖。首先，鏡頭部1對被攝體(例如，臉部F;參照圖7)進行聚焦，在攝像控制部3的控制下，電子攝像部2拍攝被攝體并生成圖像數(shù)據(jù)(步驟Si)。然后，臉部圖像處理部11的確定部Ila從通過步驟Sl的處理所獲取的圖像數(shù)據(jù)中檢測出臉部圖像(步驟S》。然后， 臉部圖像處理部11對臉部圖像進行校正處理(步驟S3)。在此，利用圖3的流程圖對校正處理進行說明。首先，確定部Ila進行區(qū)域確定處理(步驟Sll)。在此，通過圖4對區(qū)域確定處理進行說明。在區(qū)域確定處理中，確定部Ila從臉部圖像的圖像幀內(nèi)檢測出相當于兩眼的臉部構成部(步驟S31)。另外，確定部Ila檢測出兩眼的各自的瞳孔的中心的坐標(步驟S32)。 然后，確定部Ila計算出在連接兩個瞳孔的中心坐標的線段的中點處大致正交的線段(例如，圖8所示的線段C)的軌跡，并將該線段作為在臉部圖像的大致中央部向規(guī)定方向延伸的中心線(步驟S33)。確定部Ila以該中心線為基準，將臉部圖像分成左右的區(qū)域(例如， 圖8所示的區(qū)域F1、F2)(步驟S34)。通過以上步驟，區(qū)域確定處理結(jié)束。在區(qū)域確定處理之后，確定部Ila進一步確定在左右的兩個區(qū)域中分別都存在的臉部構成部(例如，兩眼以及兩個嘴角)(步驟S12)。確定部Ila例如根據(jù)眼睛或嘴與其周圍的臉部圖像的區(qū)域的像素值、明亮度等的差來確定眼睛或嘴。另外，確定部Ila獲取表示與兩眼大小相關的信息以及與兩個嘴角的位置相關的信息的坐標(步驟S13)。確定部Ila 例如獲取兩眼的各自的瞳孔的沿著Y方向連續(xù)的像素數(shù)。另外，確定部Ila例如獲取兩個嘴角的Y方向的坐標(Y1、Y2)和與圖8所示的嘴的最下端的位置相關的Y方向的坐標(Υ3) (參照圖8)。在步驟S13的處理之后，臉部圖像處理部11進行眼睛的校正處理(步驟S14)。在此，通過圖5對眼睛的校正處理進行說明。比較部lib根據(jù)與由步驟S13的處理所獲取的兩眼的大小相關的信息，對兩眼的大小進行比較(步驟S41)。然后，比較部lib確定較大的一只眼睛(步驟S42)。具體而言， 例如，比較部lib對兩眼的各自的瞳孔的沿著Y方向連續(xù)的像素數(shù)進行比較。然后，比較部 lib確定該像素數(shù)相對大的一只眼睛。另夕卜，比較部lib獲取兩眼大小的比率(步驟S43)。例如，比較部lib計算出兩眼的各自的瞳孔的沿著Y方向連續(xù)的像素數(shù)的比率，作為兩眼大小的比率。
在步驟S43的處理之后，校正部Ilc根據(jù)通過步驟S43的處理而由比較部lib計算出的兩眼大小的比率，以使由步驟S42的處理確定為較大的眼睛的一只眼睛的寬度方向的大小與另一只眼睛的寬度方向的大小大致變得相同的方式，對另一只眼睛、即較小的一只眼睛進行放大的校正(步驟S44)(參照圖8)。如此，眼睛的校正處理結(jié)束。在眼睛的校正處理之后，臉部圖像處理部11進行嘴角的校正處理(步驟S15)。在此，通過圖6對嘴角的校正處理進行說明。比較部lib根據(jù)與通過步驟S13的處理所獲取的兩個嘴角的位置相關的信息，分別計算出兩個嘴角的位置(步驟S51)。然后，比較部lib對兩個嘴角的位置進行比較(步驟S52)，確定嘴角的位置高的嘴角(步驟S53)。在步驟S53的處理之后，校正部Ilc將通過步驟S53的處理所確定的嘴角位置高的嘴角作為一邊的嘴角，并進行校正，以使另一邊的嘴角的位置與一邊的嘴角的位置一致 (步驟S54)(參照圖8)。如此，嘴角的校正處理結(jié)束。在嘴角的校正處理之后，顯示控制部7顯示由校正部Ilc進行的校正結(jié)果(步驟
516)。顯示控制部7進行用于選擇是否保存所顯示的校正結(jié)果的可否保存確認顯示(步驟
517)。然后，CPUlO待機，直至針對通過步驟S17的處理所顯示的可否保存確認顯示而進行操作輸入部9的決定鍵9c或取消鍵9d的輸入操作為止(步驟S18 “否”)。如果校正執(zhí)行決定部lie針對通過步驟S17的處理所進行的可否保存確認顯示而進行了操作輸入部9的決定鍵9c或取消鍵9d的輸入操作(步驟S18 “是”)，則校正執(zhí)行決定部lie判定是否對操作輸入部9的決定鍵9c進行了輸入操作(步驟S19)。在對操作輸入部9的決定鍵9c進行了輸入操作的情況下(步驟S19 “是”)，校正執(zhí)行決定部lie將與所顯示的校正結(jié)果對應的圖像數(shù)據(jù)輸出到圖像處理部的JPEG壓縮部(步驟S20)。另一方面，當在步驟S19的判定中，在對操作輸入部9的決定鍵9c沒有進行輸入操作的情況下 (步驟S19 “否”)，即在操作了取消鍵9d的情況下，校正執(zhí)行決定部lie廢棄所顯示的校正結(jié)果(步驟S21)，將校正前的臉部圖像的圖像數(shù)據(jù)輸出到圖像處理部的JPEG壓縮部。在步驟S20或步驟S21的處理之后，校正處理結(jié)束。在校正處理的結(jié)束之后，記錄介質(zhì)6記錄被圖像處理部的JPEG壓縮部進行編碼后得到的圖像數(shù)據(jù)(步驟S4)。如此，處理結(jié)束。在圖2的流程圖中，雖然對通過由步驟Sl的處理所進行的臉部圖像的拍攝所獲取到的臉部圖像的校正處理進行了描述，但是校正處理的進行不局限于臉部圖像的攝像時。 例如，也能夠?qū)τ涗浗橘|(zhì)6中已經(jīng)存儲的臉部圖像的圖像數(shù)據(jù)實施校正處理。另外，在圖2的流程圖中，雖然對所拍攝的臉部圖像的圖像數(shù)據(jù)自動地進行了校正處理，但是也可以設計成能夠事先設定是否在攝像后馬上自動地進行臉部圖像的校正。 例如，可以舉例出在攝像之前，根據(jù)對操作輸入部9的決定鍵9c或取消鍵9d的輸入操作等來決定是否在拍攝后馬上自動地進行臉部圖像的校正的設定等方法?？梢詫⑺鶝Q定的是否在拍攝后馬上自動地進行臉部圖像的校正的設定，記錄、保存在記錄介質(zhì)6等的存儲裝置中。如上所述，根據(jù)本實施方式的攝像裝置100，鏡頭部1、電子攝像部2以及攝像控制部3獲取臉部圖像，臉部圖像處理部11的確定部Ila確定成組的多個對應的區(qū)域，臉部圖像處理部11的校正部Ilc生成將所確定的臉部圖像的多個區(qū)域中的一個區(qū)域作為基準而對其他的區(qū)域進行了校正的臉部圖像。S卩，臉部圖像的一個區(qū)域是沒有實施任何校正的自然狀態(tài)下的臉部圖像，因此，通過以一個區(qū)域為基準來對其他的區(qū)域進行校正，能夠使實施了校正的其他的區(qū)域的校正結(jié)果也變得自然。綜上所述，根據(jù)攝像裝置100，能夠?qū)δ槻繄D像實施更自然的圖像處理。另外，確定部Ila分別確定成組的多個對應的臉部構成部(例如，眼睛或嘴角等)， 校正部Ilc以所確定的多個臉部構成部之中的一個臉部構成部為基準，對其他的臉部構成部進行校正。由此，即使不對臉部圖像的整個臉部圖像區(qū)域進行校正，也能夠通過對臉部構成部進行校正從而對臉部圖像進行校正。因此，與對臉部圖像的一個區(qū)域進行校正的情況相比，能夠減輕與校正相關的處理負荷。另外，通過對臉部圖像的臉部構成部進行校正，能夠?qū)δ槻繄D像實施局部的校正。另外，確定部Ila分別確定作為多個臉部構成部而分別在臉部圖像的兩個區(qū)域中都存在的眼睛，校正部Ilc以所確定的兩只眼睛中的一只眼睛為基準，對另一支眼睛進行校正。由此，能夠根據(jù)一只眼睛對臉部圖像的眼睛(另一只眼睛)進行校正，因此，能夠使對眼睛的校正結(jié)果變得自然。另外，校正基準決定部Ild通過設為以兩眼之中較大的一只眼睛作為校正的基準的一只眼睛，且校正部Ilc根據(jù)一只眼睛的大小來校正另一只眼睛的大小，由此，能夠使相對小的另一只眼睛的大小與相對大的一只眼睛一致。一般而言，眼睛大的臉部圖像給人以表情豐富、開朗的印象，因此，通過根據(jù)大的一只眼睛對小的一只眼睛進行校正，與不實施校正的情況相比，能夠使臉部圖像表情豐富、開朗，看上去很美。另外，確定部Ila分別確定在臉部圖像的兩個區(qū)域中分別都存在的嘴角作為兩個臉部構成部，且校正部Ilc根據(jù)所確定的兩個嘴角之中的一邊的嘴角，對另一邊的嘴角進行校正。由此，能夠根據(jù)一邊的嘴角來對臉部圖像的嘴角(另一邊的嘴角)進行校正，因此，能夠使對嘴角的校正結(jié)果變得自然。另外，校正基準決定部Ild根據(jù)規(guī)定條件來決定成組的多個對應的區(qū)域之中的成為由校正部IlC進行的校正的基準的一個區(qū)域。由此，能夠容易地決定成為校正的基準的一個區(qū)域。例如，通過使用在上述實施方式中所示的“將由比較部lib確定為較大的眼睛的一只眼睛設為作為校正基準的一只眼睛”或“將由比較部lib確定為嘴角的位置高的嘴角的嘴角設為作為校正的基準的一邊的嘴角”這樣的規(guī)定條件，能夠自動地決定成為校正的基準的眼睛或嘴角。在這種情況下，能夠使臉部圖像的校正處理自動化，因此，用戶無需進行復雜的操作就能夠進行臉部圖像的校正處理。另外，顯示控制部7使由臉部圖像處理部11的校正部Ilc進行的校正結(jié)果顯示在顯示部8上。然后，校正執(zhí)行決定部lie根據(jù)由操作輸入部9的決定鍵9c、取消鍵9d所接受的選擇輸入的內(nèi)容，決定是否保存由校正部Ilc進行的校正。由此，用戶能夠在確認了臉部圖像的校正結(jié)果的基礎上，決定是否對臉部圖像實施校正。
另外，上述實施方式舉例所示的是攝像裝置100、100A的構成的一個例子，但不局限于此。本發(fā)明不局限于上述實施方式，只要在不脫離本發(fā)明的宗旨的范圍內(nèi)就可以進行各種改良以及設計的變更。(變形例)圖9是表示變形例的攝像裝置100A的圖。變形例的操作輸入部9還具有與進行校正的臉部構成部的指定輸入相關的選擇鍵9e。校正部Ilc根據(jù)通過操作輸入部9的選擇鍵9e所進行的指定輸入的內(nèi)容，來決定校正的臉部構成部。具體而言，針對由確定部Ila所確定的兩個以上的成組的多個對應的臉部構成部，即2種類以上的成組的多個對應的臉部構成部(例如，眼睛和嘴等)，操作輸入部9的選擇鍵9e接受由校正部Ilc進行校正的臉部構成部的種類的指定輸入。此時，可以設置成通過顯示部8來顯示要校正的臉部圖像，用戶能夠在確認了臉部圖像的基礎上，決定要進行校正的臉部構成部的種類。通過圖10、圖11的流程圖對變形例的校正處理進行說明。首先，確定部Ila進行區(qū)域確定處理(步驟S61)。在區(qū)域確定處理之后，確定部Ila確定在兩個區(qū)域各自都存在的臉部構成部(例如，兩眼以及兩個嘴角)(步驟S62)。確定部Ila例如根據(jù)眼睛或嘴與其周圍的臉部圖像的區(qū)域的像素值、明亮度等的差來確定眼睛或嘴。另外，確定部Ila獲取表示與兩眼大小相關的信息、與嘴的最下端的位置相關的信息以及與兩邊嘴角的位置相關的信息的坐標(步驟 S63)。確定部Ila例如獲取兩眼的各自的瞳孔的沿著Y方向連續(xù)的像素數(shù)，作為與兩眼大小相關的信息。另外，確定部Ila例如獲取與圖8所示的嘴的最下端的位置相關的Y方向的坐標(Y3)和兩邊嘴角的Y方向的坐標(Y1、Y2)，作為與嘴的最下端的位置相關的信息以及與嘴角的位置相關的信息。在步驟S63的處理之后，臉部圖像處理部11待機，直至針對由確定部Ila所確定的2種類的臉部構成部(眼睛和嘴角)，操作輸入部9的選擇鍵9e接受到由校正部Ilc進行校正的臉部構成部的種類的指定輸入為止(步驟S64 “否”)。選擇鍵9e如果接受到由校正部Ilc進行校正的臉部構成部的種類的指定輸入(步驟S64:“是”)，則CPU 10判定眼睛是否被指定為校正對象(步驟S65)。在眼睛被指定為校正對象的情況下(步驟S65 “是”)，臉部圖像處理部11進行眼睛的校正處理(步驟S66)。在眼睛的校正處理之后或在步驟S65的判定中，在眼睛沒有被指定為校正對象的情況下(步驟S65 “否” )，CPUlO判定嘴角是否被指定為校正對象(步驟S67)。在嘴角被指定為校正對象的情況下(步驟S67 “是”)，臉部圖像處理部11進行嘴角的校正處理(步驟 S68)。在嘴角的校正處理之后或在步驟S67的判定中，在嘴角沒有被指定為校正對象的情況下(步驟S67 “否”)，CPU10判定是否由校正部Ilc針對任意的臉部構成部進行了校正 (步驟S69)。在校正部Ilc沒有對任何的臉部構成部進行校正的情況下(步驟S69 “否”)， 校正執(zhí)行決定部lie將臉部圖像的圖像數(shù)據(jù)輸出給圖像處理部的JPEG壓縮部，結(jié)束校正處理。
在步驟S69的判定中，在校正部Ilc對任意的臉部構成部進行了校正的情況下 (步驟S69:“是”)，顯示控制部7顯示由校正部Ilc進行的校正結(jié)果(步驟S70)。另外，顯示控制部7進行用于選擇是否保存所顯示的校正結(jié)果的可否保存確認顯示(步驟S71)。然后，CPUlO待機，直至針對通過步驟S71的處理所顯示的可否保存確認顯示而對操作輸入部 9的決定鍵9c或取消鍵9d進行輸入操作為止(步驟S72 “否”)。如果針對由步驟S71的處理進行的可否保存確認顯示而對操作輸入部9的決定鍵 9c或取消鍵9d進行了輸入操作(步驟S72 “是”)，則校正執(zhí)行決定部lie判定是否對操作輸入部9的決定鍵9c進行了輸入操作(步驟S73)。在對操作輸入部9的決定鍵9c進行了輸入操作的情況下(步驟S73 “是”)，校正執(zhí)行決定部lie將與所顯示的校正結(jié)果對應的圖像數(shù)據(jù)輸出到圖像處理部的JPEG壓縮部(步驟S74)。另一方面，在步驟S73的判定中，在對操作輸入部9的決定鍵9c沒有進行輸入操作的情況下(步驟S73 “否”)，即在操作了取消鍵9d的情況下，校正執(zhí)行決定部lie廢棄所顯示的校正結(jié)果(步驟S75)，將校正前的臉部圖像的圖像數(shù)據(jù)輸出到圖像處理部的JPEG壓縮部。在步驟S74或步驟S75的處理之后，結(jié)束校正處理。如上所述，根據(jù)變形例，按照針對選擇鍵9e的用戶的輸入操作內(nèi)容，來決定由確定部Ila所確定的2種類以上的臉部構成部之中的由校正部Ilc進行校正的臉部構成部。由此，能夠?qū)τ脩粝Ｍ哪槻繕嫵刹窟M行校正，并能夠更容易地獲得用戶想要的臉部圖像的校正結(jié)果。作為其他的變形例，也可以使校正基準決定部Ild具有根據(jù)用戶的選擇結(jié)果來決定成為校正的基準的區(qū)域的功能。在這種情況下，例如，顯示控制部7將由電子攝像部2以及攝像控制部3所獲取的臉部圖像顯示在顯示部8上。然后，根據(jù)對選擇鍵9e等的操作輸入部9的輸入操作內(nèi)容，接受針對在顯示部8上所顯示的臉部圖像的兩個區(qū)域(例如，兩眼或兩邊的嘴角等)而將哪一個區(qū)域作為校正基準的區(qū)域的由用戶進行的指定輸入。校正基準決定部Ild按照所接受的指定輸入內(nèi)容來決定成為校正的基準的一個區(qū)域。成為校正的基準的一只眼睛不局限于較大的一只眼睛，也可以是較小的一只眼睛。另外，成為校正的基準的一邊的嘴角不局限于嘴角的位置高的嘴角，也可以是嘴角的位置低的嘴角。在使校正基準決定部Ild具有按照用戶的選擇結(jié)果來決定成為校正基準的區(qū)域的功能的情況下，也可以將與用戶所選擇的作為校正基準的一個區(qū)域相關的信息記錄在記錄介質(zhì)6中。此時，可以將用戶名和該用戶的選擇結(jié)果建立聯(lián)系，以后，在該用戶使用攝像裝置100U00A的情況下，通過指定或選擇用戶名，就能夠讀出與該用戶名建立了聯(lián)系的選擇結(jié)果。通過使校正基準決定部Ild具有按照用戶的選擇結(jié)果來決定成為校正的基準的區(qū)域的功能，用戶能夠?qū)⒛槻繄D像的兩個區(qū)域或在兩個區(qū)域中分別存在的臉部構成部之中的用戶喜歡的一個臉部構成部指定為校正的基準。由此，被校正的其他的臉部構成部是根據(jù)用戶喜歡的一個臉部構成部被校正的，因此，校正后的臉部圖像更接近用戶的喜好。也就是說，能夠更容易地獲得用戶所希望的臉部圖像的校正結(jié)果。本發(fā)明的圖像處理裝置不局限于攝像裝置100、100A。例如，也可以從外部設備獲取臉部圖像的圖像數(shù)據(jù)，對臉部圖像實施校正。
另外，在上述各實施方式中，雖然以眼睛或嘴角作為臉部構成部的一例，但也可以通過確定眼睛或嘴角以外的臉部構成部(例如眉毛等)進行校正。另外，臉部圖像的校正不局限于眼睛大小的校正或嘴角位置的校正。例如，也可以對眼睛或嘴等的臉部構成部的形狀或顏色、或臉部圖像的兩個區(qū)域的形狀或顏色等進行校正。另外，也能夠以3個以上的區(qū)域為組。例如，可舉出生成根據(jù)額頭區(qū)域的皮膚顏色而校正了臉部圖像的其他區(qū)域(例如兩頰等)的皮膚顏色的臉部圖像的例子等。另外，眼睛或嘴角的確定方法不局限于上述各實施方式所記載的內(nèi)容。例如，可舉出提取要確定的臉部構成部的輪廓的方法。另外，既可以只將被提取的輪廓內(nèi)的像素作為臉部構成部，也可以將包括輪廓的方形狀的區(qū)域作為臉部構成部。另外，既可以將臉部圖像分成左右，例如，以左側(cè)的臉部圖像作為基準，對右側(cè)的臉部圖像進行校正；也可以生成使左右之中的任一方的臉部圖像反轉(zhuǎn)的圖像，進行校正，從而生成左右對稱的臉部圖像。另外，也可以設置成省略將臉部圖像分成兩份的處理，而由確定部Ila確定成組的兩個對應的臉部構成部。另外，在上述各實施方式中，雖然將校正部Ilc的校正結(jié)果進行了顯示，但是也可以省略該顯示處理，而將校正結(jié)果自動地保存。另外，對于臉部圖像的校正，也可以設置成校正部Ilc生成彼此不同的多個校正結(jié)果，通過顯示該多個校正結(jié)果的每一個來進行表示。然后，也可以設置成保存多個校正結(jié)果中用戶所選擇的校正結(jié)果。作為表示多個校正結(jié)果的例子，可以舉出表示根據(jù)較大的一只眼睛來對較小的一只眼睛進行放大校正的情況下的校正結(jié)果、和根據(jù)較小的一只眼睛來對較大的一只眼睛進行縮小校正的情況下的校正結(jié)果這兩者的情況等。通過生成彼此不同的多個校正結(jié)果，并對所保存的校正結(jié)果設置選項，從而對于用戶而言，能很容易地反映更喜歡的校正結(jié)果，校正后的臉部圖像更接近用戶的喜好。也就是說，能夠更容易地獲得用戶所希望的臉部圖像的校正結(jié)果。也可以根據(jù)臉部圖像的傾斜來改變校正的程度。例如，在對被攝體的臉部的正面從右側(cè)方向拍攝臉部圖像的情況下，由于臉部圖像的右側(cè)的區(qū)域或臉部構成部的大小變得比左側(cè)的區(qū)域或臉部構成部大，因此，也可以進行取得從右方向拍攝臉部圖像的狀態(tài)下的臉部圖像的平衡的校正。而且，雖然上述實施方式采用了在CPUlO的控制下，通過驅(qū)動臉部圖像處理部11 來實現(xiàn)的構成，但不局限于此，也可以采用通過用CPUlO執(zhí)行規(guī)定的程序等來實現(xiàn)的構成。S卩，預先在存儲程序的程序存儲器(省略圖示)中存儲包括獲取處理程序、區(qū)域確定處理程序、臉部構成部確定處理程序、校正處理程序在內(nèi)的程序。然后，也可以通過獲取處理程序使CPUlO發(fā)揮獲取臉部圖像的功能。另外，也可以通過區(qū)域確定處理程序使CPUlO 發(fā)揮在所獲取的臉部圖像中確定成組的多個對應的區(qū)域的功能。另外，也可以通過臉部構成部確定處理程序使CPUio發(fā)揮在所獲取的臉部圖像中確定成組的多個對應的臉部構成部的功能。另外，也可以通過校正處理程序使CPUio發(fā)揮生成臉部圖像的功能，該臉部圖像以由區(qū)域確定單元所確定的臉部圖像的多個對應的區(qū)域或所確定的臉部圖像的多個對應的臉部構成部之中的一個為基準，對其他的進行校正。
權利要求
1.一種圖像處理裝置，具有獲取單元(1、2，3)，用于獲取臉部圖像；區(qū)域確定單元(11a)，用于在由該獲取單元所獲取的臉部圖像中，確定成組的多個對應的區(qū)域；和校正單元(11c)，用于生成以由該區(qū)域確定單元所確定的上述臉部圖像的多個對應區(qū)域之中的一個區(qū)域為基準來對其他區(qū)域進行校正的臉部圖像。
2.根據(jù)權利要求1所述的圖像處理裝置，其特征為，該圖像處理裝置還具有決定單元(Ild)，其根據(jù)規(guī)定條件，決定通過上述區(qū)域確定單元所確定的多個對應的區(qū)域之中的成為由上述校正單元進行校正的基準的區(qū)域。
3.根據(jù)權利要求2所述的圖像處理裝置，其特征為，該圖像處理裝置還具有校正基準指定接受單元(9e)，其接受由上述區(qū)域確定單元所確定的多個對應的區(qū)域之中的成為由上述校正單元進行校正的基準的區(qū)域的指定輸入，上述決定單元根據(jù)由上述校正基準指定接受單元所接受的指定輸入的內(nèi)容，決定成為由上述校正單元進行校正的基準的一個區(qū)域。
4.根據(jù)權利要求1所述的圖像處理裝置，其特征為，上述區(qū)域確定單元還在上述臉部圖像中確定成組的多個對應的臉部構成部，上述校正單元生成臉部圖像，該臉部圖像以由上述區(qū)域確定單元所確定的上述臉部圖像的多個對應的臉部構成部之中的一個臉部構成部為基準，對另外的臉部構成部進行了校正。
5.根據(jù)權利要求4所述的圖像處理裝置，其特征為，上述區(qū)域確定單元分別確定在上述臉部圖像中存在的兩眼，以作為成組的多個對應的臉部構成部，上述校正單元以由上述區(qū)域確定單元所確定的兩眼之中的一只眼睛為基準，對另一只眼睛進行校正。
6.根據(jù)權利要求2所述的圖像處理裝置，其特征為，上述區(qū)域確定單元分別確定在上述臉部圖像中存在的兩眼，以作為成組的多個對應的區(qū)域，上述決定單元將由上述區(qū)域確定單元所確定的兩眼之中較大的一只眼睛作為校正的基準，上述校正單元根據(jù)由上述決定單元所決定的作為上述基準的眼睛的大小，對另一只眼睛的大小進行校正。
7.根據(jù)權利要求4所述的圖像處理裝置，其特征為，上述區(qū)域確定單元分別確定在上述臉部圖像中存在的兩邊的嘴角，以作為成組的多個對應的臉部構成部，上述校正單元根據(jù)由上述區(qū)域確定單元所確定的兩邊的嘴角之中的一邊的嘴角，對另一邊的嘴角進行校正。
8.根據(jù)權利要求4所述的圖像處理裝置，其特征為，該圖像處理裝置還具有校正對象指定接受單元(9e)，其接受由上述區(qū)域確定單元所確定的兩個以上的成組的多個對應的臉部構成部之中的、由上述校正單元進行校正的臉部構成部的指定輸入，上述校正單元根據(jù)由上述校正對象指定接受單元所接受的指定輸入的內(nèi)容，決定應該校正的臉部構成部。
9.一種圖像處理裝置，具有獲取單元(1、2、3)，用于獲取臉部圖像；臉部構成部確定單元(11a)，用于在由該獲取單元所獲取的臉部圖像中，確定成組的多個對應的臉部構成部；和校正單元(11c)，用于生成臉部圖像，該臉部圖像是以由該臉部構成部確定單元所確定的上述臉部圖像的多個對應的臉部構成部之中的一邊的臉部構成部為基準而對另一邊的臉部構成部進行了校正后得到的臉部圖像。
10.一種圖像處理方法，使圖像處理裝置執(zhí)行獲取臉部圖像的處理(1、2、3)；在獲取的臉部圖像中，確定成組的多個對應的區(qū)域的處理(Ila)；和生成以所確定的上述臉部圖像的多個對應區(qū)域之中的一個區(qū)域為基準而對其他區(qū)域進行了校正后得到的臉部圖像的處理(11c)。
11.一種圖像處理方法，使圖像處理裝置執(zhí)行獲取臉部圖像的處理(1、2、3)；在所獲取的臉部圖像中，確定成組的多個對應的臉部構成部的處理(Ila)；和生成以所確定的上述臉部圖像的多個對應的臉部構成部之中的一邊的臉部構成部為基準而對另一邊的臉部構成部進行了校正后得到的臉部圖像的處理(Ilc)。
全文摘要
本發(fā)明提供一種圖像處理裝置以及圖像處理方法。該攝像裝置(100)，具有獲取臉部圖像的鏡頭部(1)、電子攝像部(2)以及攝像控制部(3)、在所獲取的臉部圖像中對成組的多個對應的區(qū)域進行確定的臉部圖像處理部(11)的確定部(11a)、和生成以所確定的臉部圖像的多個對應區(qū)域之中的一個區(qū)域為基準來對另外的區(qū)域進行了校正的臉部圖像的臉部圖像處理部(11)的校正部(11c)。
文檔編號G06T3/40GK102289785SQ20111015875
公開日2011年12月21日 申請日期2011年6月14日 優(yōu)先權日2010年6月18日
發(fā)明者市川英里奈, 星野博之, 村木淳, 清水博 申請人:卡西歐計算機株式會社