專利名稱:圖像處理設備和圖像處理方法
技術領域:
本發(fā)明涉及圖像處理設備和圖像處理方法,更具體而言,涉及可使用面部圖像區(qū) 域的檢測結果來執(zhí)行處理的圖像處理設備和圖像處理方法。
背景技術:
在現(xiàn)有技術中,已經提出了如下的技術保持像素值變化急劇的邊緣而不變化, 平滑邊緣以外的部分,并且將通過輸入信號中減去平滑后的分量所獲得的幅度分量進行 放大,以便獨立地對不包括邊緣的分量執(zhí)行圖像處理(例如參見日本待審專利申請公開 No.2001-298621)。圖22圖示了與日本待審專利申請公開No. 200H98621所公開的圖像處理設備相 對應的圖像處理設備200的配置示例。該圖像處理設備200包括非線性濾波器201、減法器 202、加減放大器203和加法器204。將輸入圖像數(shù)據(jù)Vin提供至非線性濾波器201。例如使用ε (厄普西隆)濾波器 配置非線性濾波器201。在非線性濾波器201中,在保持邊緣的同時對輸入圖像數(shù)據(jù)Vin進 行平滑,并且生成作為平滑后的數(shù)據(jù)的結構分量STl。進一步,將輸入圖像數(shù)據(jù)Vin提供至 減法器202。還將非線性濾波器201中生成的結構分量STl提供至減法器202。在減法器 202中,從輸入圖像數(shù)據(jù)Vin中減去結構分量ST1,并且獲得紋理分量TXl作為輸出數(shù)據(jù)。將減法器202中獲得的紋理分量TXl提供至加減放大器203。在加減放大器203 中,紋理分量TXl被放大以獲得紋理分量ΤΧ2。加減放大器203的增益例如通過用戶操作 來調節(jié)。將加減放大器203中獲得的紋理分量ΤΧ2提供至加法器204。還將非線性濾波器 201中生成的結構分量STl提供至加法器204。在加法器204中,將紋理分量ΤΧ2加至結構 分量STl以獲得輸出圖像數(shù)據(jù)Vout。在圖22所示的圖像處理設備200中,在保持輸入圖像數(shù)據(jù)Vin的邊緣分量的同時 獲得了邊緣分量以外的低幅度分量得到加重的輸出圖像數(shù)據(jù)Vout。為此,可以在不損壞整 個屏幕的銳度的情況下來增強紋理。然而,在該圖像處理設備200中,由于加減放大器203 的增益在整個屏幕上無差別,因此加重對于面部圖像而言可能過度,從而引起圖像中的奇 怪感覺。因而,在現(xiàn)有技術中,已提出了如下的技術其檢測膚色區(qū)域,并執(zhí)行控制以使得 相比于其它區(qū)域,抑制膚色區(qū)域中的加重級別,以獲得適當?shù)募y理(例如參見日本待審專 利申請公開 No. 2003-348615)。圖23圖示了與日本待審專利申請公開No. 2003-348615所公開的圖像處理設備相 對應的圖像處理設備200A的配置示例。該圖像處理設備200A除了包括非線性濾波器201、 減法器202、加減放大器203和加法器204之外,還包括皮膚色度檢測部分205和增益控制 器 206。圖像處理設備200A的各部分非線性濾波器201、減法器202、加減放大器203和 加法器204與圖22中所示的圖像處理設備200中的相同,因而省略其詳細描述。
將輸入圖像數(shù)據(jù)Vin提供至皮膚色度檢測部分205。在皮膚色度檢測部分205中, 基于輸入圖像數(shù)據(jù)Vin,針對每個像素檢測皮膚色度。皮膚色度的值對于一預定膚色是最大 的,并且隨著越來越偏離該預定膚色而減小。將以此方式在皮膚色度檢測部分205中檢測 到的皮膚色度提供至增益控制器206。在增益控制器206中,例如以如圖M中所示那樣的 對應關系獲得對應于皮膚色度的增益控制信號CNl。將增益控制器206中獲得的CNl提供至加減放大器203。在此情況下,加減放大 器203的增益變?yōu)榕c增益控制信號CNl的電平成比例的值。為此,加減放大器203的增益 在皮膚色度高的圖像區(qū)域中受到抑制。于是,相比于其它區(qū)域,加重級別在面部圖像區(qū)域中 受到抑制,從而獲得適當?shù)募y理。
發(fā)明內容
在圖23所示的圖像處理設備200A中,在具有低光照等的圖像的情況下,面部圖像 可能超過預定膚色范圍。在這種情況下,加重級別在面部圖像區(qū)域中未受到抑制,從而導致 無法在面部圖像區(qū)域中獲得適當?shù)募y理。進一步,在對比度校正的情況下,當基于關于整個屏幕的亮度信息等來對整個屏 幕執(zhí)行對比度控制時,在作為主要對象的面部圖形中可能出現(xiàn)出現(xiàn)曝光不足。另外,即使在 用于色彩飽和度、色調等的色彩校正的情況下,當基于整個屏幕的色彩飽和度信息、色調信 息等來對整個屏幕的色彩飽和度、色調等執(zhí)行控制時,面部色彩校正可能類似地引起奇怪 的感覺。期望提供能夠有效地控制面部圖像的紋理、銳度、亮度和色彩等的圖像處理設備 和圖像處理方法。根據(jù)本發(fā)明的一實施方式,提供了如下的圖像處理設備,其包括數(shù)據(jù)處理部分, 其處理輸入圖像數(shù)據(jù)并獲得輸出圖像數(shù)據(jù);面部檢測部分,其基于所述輸入圖像數(shù)據(jù)來檢 測面部圖像,并且獲得關于存在面部圖像的面部圖像區(qū)域的信息;以及處理控制器,其基于 面部檢測部分中獲得的關于面部圖像區(qū)域的信息,來控制數(shù)據(jù)處理部分的處理。利用該配置,輸入圖像數(shù)據(jù)經數(shù)據(jù)處理部分處理以獲得輸出圖像數(shù)據(jù)。進一步,面 部檢測部分基于所述輸入圖像數(shù)據(jù)檢測存在面部圖像的面部圖像區(qū)域。另外,處理控制器 基于與面部檢測部分中檢測到的面部圖像有關的信息來控制數(shù)據(jù)處理部分的處理。這樣, 由于基于關于面部圖像區(qū)域的信息來控制數(shù)據(jù)處理部分的處理,因此可以有效地控制面部 圖像的紋理、銳度、亮度、色彩等。在此實施方式中,例如,所述處理控制器可包括面部信息提取部分,其基于面部 檢測部分中獲得的關于面部圖像區(qū)域的信息,從所述輸入圖像數(shù)據(jù)中提取出關于面部圖像 的圖像信息;以及圖像區(qū)域檢測部分,其基于所述輸入圖像數(shù)據(jù),檢測存在與面部信息提取 部分中提取出的圖像信息相對應的圖像的圖像區(qū)域,并且所述處理控制器可基于關于圖像 區(qū)域檢測部分中檢測到的圖像區(qū)域的信息,來控制數(shù)據(jù)處理部分的處理。在此情況下,圖像區(qū)域檢測部分中檢測到的圖像區(qū)域中包括其中存在面部檢測部 分中未檢測到的面部圖像的面部圖像區(qū)域。因而,即使在面部檢測部分中出現(xiàn)面部圖像區(qū) 域的錯誤否定的情況下,也可以有效地控制圖像中所包括的所有面部圖像的紋理、銳度、亮 度、色彩等。進一步,在此情況下,即使面部檢測部分的檢測需要若干個幀,圖像區(qū)域檢測部分中檢測到的圖像區(qū)域中也包括其中存在輸入圖像數(shù)據(jù)中當前幀中的面部圖像的面部圖 像區(qū)域。因而,即使在輸入圖像數(shù)據(jù)是運動圖像數(shù)據(jù)以及面部圖像區(qū)域正在運動的情況下, 也可以有效地控制面部圖像的紋理、銳度、亮度、色彩等。進一步,在此實施方式中,例如,所述面部檢測部分可基于所述輸入圖像數(shù)據(jù),針 對每一幀來檢測存在面部圖像的面部圖像區(qū)域。所述處理控制器的面部信息提取部分針對 每一幀,基于與面部檢測部分中檢測到的面部圖像區(qū)域有關的信息,從所述輸入圖像數(shù)據(jù) 中提取出關于面部圖像的圖像信息。所述處理控制器可進一步包括面部信息保留部分,其 保留面部信息提取部分中所提取出的圖像信息。所述處理控制器的圖像區(qū)域檢測部分可基 于所述輸入圖像數(shù)據(jù),檢測存在與面部信息保留部分中保留的圖像信息相對應的圖像的圖 像區(qū)域。在此情況下,即使存在面部檢測部分中未檢測到的面部圖像區(qū)域的幀,由于面部 圖像信息保留在面部信息保留部分中,因此圖像區(qū)域檢測部分也可以通過使用面部信息保 留部分中所保留的面部圖像信息,穩(wěn)定地檢測圖像區(qū)域。因而,可以將更少地依賴于面部檢 測部分的檢測能力的強壯控制實施為用于面部圖像的紋理、銳度、亮度、色彩等的控制。
進一步,在此實施方式中,例如,所述設備可進一步包含圖像狀態(tài)變化檢測部分, 其基于所述輸入圖像數(shù)據(jù)來檢測圖像狀態(tài)的變化,并且每當在圖像狀態(tài)變化檢測部分中檢 測到圖像狀態(tài)的變化時,所述處理控制器的面部信息保留部分可保留面部信息提取部分中 所提取出的圖像信息。在圖像狀態(tài)不變化的時間段期間,面部信息提取部分中提取出的關 于面部圖像的圖像信息處于幾乎相同的狀態(tài)。這里,圖像狀態(tài)的變化例如可包括場景變化、 亮度變化等。因而,即使每當圖像狀態(tài)變化時而在面部信息保留部分中更新了關于面部圖 像的圖像信息,這也不會引起問題,從而減輕了 CPU處理負荷。進一步,在此實施方式中,例如,所述數(shù)據(jù)處理部分可包括平滑部分,其在保持邊 緣的同時對所述輸入圖像數(shù)據(jù)進行平滑,以生成平滑后的圖像數(shù)據(jù);減法部分,其從所述輸 入圖像數(shù)據(jù)中減去平滑部分中所生成的平滑后的圖像數(shù)據(jù);放大部分,其對減法部分的輸 出數(shù)據(jù)進行放大;以及加法部分,其將平滑部分中生成的平滑后的圖像數(shù)據(jù)加至放大部分 的輸出數(shù)據(jù),以獲得所述輸出圖像數(shù)據(jù),并且,所述處理控制器可控制放大部分的增益。在此情況下,在保持輸入圖像數(shù)據(jù)的邊緣分量的同時,獲得了邊緣分量以外的低 幅度分量得到加重的輸出圖像數(shù)據(jù)。進一步,控制放大部分的增益,以使得在面部圖像區(qū)域 和其它區(qū)域中變得不同。例如,相比于其它區(qū)域,放大部分的增益在面部圖像區(qū)域中受到抑 制,從而獲得適當?shù)募y理。于是,在此情況下,可以在不損壞整個屏幕的銳度的情況下增強 圖像的紋理,并且進一步可以適當?shù)乜刂泼娌繄D像的紋理。進一步,在本實施方式中,例如,所述數(shù)據(jù)處理部分可包括高頻分量提取部分,其 從所述輸入圖像數(shù)據(jù)中提取高頻分量;放大部分,其對高頻分量提取部分中提取出的高頻 分量進行放大;以及加法部分,其將放大部分的輸出數(shù)據(jù)加至所述輸入圖像數(shù)據(jù),以獲得所 述輸出圖像數(shù)據(jù),并且所述處理控制器可控制放大部分的增益。在此情況下,獲得了輸入圖像數(shù)據(jù)的高頻分量得到加重的輸出圖像數(shù)據(jù)。進一步, 控制放大部分的增益,以使得面部圖像區(qū)域和其它區(qū)域彼此不同。例如,相比于其它區(qū)域, 放大部分的增益在面部圖像區(qū)域中受到抑制,從而實現(xiàn)適當?shù)募y理。于是,在此情況下,可 以增強圖像的銳度,并且進一步可以適當?shù)乜刂泼娌繄D像的銳度。
進一步,在此實施方式中,例如,所述數(shù)據(jù)處理部分可包括色彩飽和度調節(jié)部分, 其對所述輸入圖像數(shù)據(jù)執(zhí)行色彩飽和度調節(jié)處理,以獲得所述輸出圖像數(shù)據(jù)。所述處理控 制器可包括面部信息提取部分,其基于與面部檢測部分檢測到面部圖像區(qū)域有關的信息, 從所述輸入圖像數(shù)據(jù)中提取出關于面部圖像的圖像信息;以及圖像區(qū)域檢測部分,其基于 所述輸入圖像數(shù)據(jù),檢測存在與面部信息提取部分中提取出的圖像信息相對應的圖像的圖 像區(qū)域,并且所述處理控制器可基于關于圖像區(qū)域檢測部分中檢測到的圖像區(qū)域的信息中 和面部信息提取部分中提取出的圖像信息中所包括的色彩飽和度信息,來控制色彩飽和度 調節(jié)部分中的色彩飽和度調節(jié)量。進一步,在此實施方式中,例如,所述數(shù)據(jù)處理部分可包括色彩飽和度調節(jié)部分, 其對所述輸入圖像數(shù)據(jù)執(zhí)行色彩飽和度調節(jié)處理,以獲得所述輸出圖像數(shù)據(jù)。所述處理控 制器可包括面部信息提取部分,其基于與面部檢測部分中檢測到的面部圖像區(qū)域有關的信 息,從所述輸入圖像數(shù)據(jù)中提取出關于面部圖像的圖像信息,并且所述處理控制器可基于 面部信息提取部分中提取出的圖像信息中所包括的色彩飽和度信息,來控制色彩飽和度調 節(jié)部分中的色彩飽和度調節(jié)量。在此情況下,色彩飽和度調節(jié)部分對所述輸入圖像數(shù)據(jù)執(zhí)行色彩飽和度調節(jié)處 理,以獲得所述輸出圖像數(shù)據(jù)。基于關于面部圖像的圖像信息中所包括的色彩飽和度信息, 控制色彩飽和度調節(jié)部分中的色彩飽和度調節(jié)量。于是,在此情況下,可以適當?shù)乜刂泼娌?圖像的色彩飽和度。進一步,可以對面部圖像或者包括面部圖像的整個圖像執(zhí)行色彩飽和 度調節(jié)。進一步,在此實施方式中,例如,所述數(shù)據(jù)處理部分可包括色調調節(jié)部分,其對所 述輸入圖像數(shù)據(jù)執(zhí)行色調調節(jié),以獲得所述輸出圖像數(shù)據(jù)。所述處理控制器可包括面部信 息提取部分,其基于與面部檢測部分中檢測到的面部圖像區(qū)域有關的信息,從所述輸入圖 像數(shù)據(jù)中提取出關于面部圖像的圖像信息;圖像區(qū)域檢測部分,其基于所述輸入圖像數(shù)據(jù), 檢測存在與面部信息提取部分中提取出的圖像信息相對應的圖像的圖像區(qū)域,并且所述處 理控制器可基于關于圖像區(qū)域檢測部分中檢測到的圖像區(qū)域的信息中和面部信息提取部 分中提取出的圖像信息中所包括的色調信息,來控制色調調節(jié)部分中的色調調節(jié)量。進一步,在此實施方式中,例如,所述數(shù)據(jù)處理部分可包括色調調節(jié)部分,其對所 述輸入圖像數(shù)據(jù)執(zhí)行色調調節(jié)處理,以獲得所述輸出圖像數(shù)據(jù)。所述處理控制器可包括面 部信息提取部分,其基于與面部檢測部分中檢測到的面部圖像區(qū)域有關的信息,從所述輸 入圖像數(shù)據(jù)中提取出關于面部圖像的圖像信息,并且所述處理控制器可基于面部信息提取 部分中提取出的圖像信息中所包括的色調信息,來控制色調調節(jié)部分中的色調調節(jié)量。在此情況下,色調調節(jié)部分對所述輸入圖像數(shù)據(jù)執(zhí)行色調調節(jié)處理,以獲得所述 輸出圖像數(shù)據(jù)?;陉P于面部圖像的圖像信息中所包括的色調信息,控制色調調節(jié)部分中 的色調調節(jié)量。于是,在此情況下,可以適當?shù)乜刂泼娌繄D像的色調。進一步,可以對面部 圖像或者包括面部圖像的整個圖像執(zhí)行色調調節(jié)。進一步,在此實施方式中,例如,所述數(shù)據(jù)處理部分可包括對比度校正部分,其基 于用于對比度校正的輸入輸出特性曲線,對所述輸入圖像數(shù)據(jù)執(zhí)行對比度校正,以獲得所 述輸出圖像數(shù)據(jù)。所述處理控制器可包括面部信息提取部分,其基于與面部檢測部分中 檢測到的面部圖像區(qū)域有關的信息,從所述輸入圖像數(shù)據(jù)中提取出關于面部圖像的圖像信息;以及亮度信息提取部分,其基于所述輸入圖像數(shù)據(jù),提取關于整個屏幕的亮度信息,并 且所述處理控制器可基于面部信息提取部分中提取出的圖像信息中所包括的亮度信息以 及亮度信息提取部分中提取出的亮度信息,來控制對比度校正部分中所使用的用以對比度 校正的輸入輸出特性曲線。在此情況下,對比度校正部分基于用以對比度校正的輸入輸出特性曲線,對所述 輸入圖像數(shù)據(jù)執(zhí)行對比度校正,以獲得所述輸出圖像數(shù)據(jù)?;陉P于整個屏幕的亮度信息 以及關于面部圖像的圖像信息中所包括的亮度信息,來控制用于對比度校正部分中對比度 校正的輸入輸出特性曲線。于是,在此情況下,可以適當?shù)乜刂泼娌繄D像的亮度。進一步,在此實施方式中,例如,所述數(shù)據(jù)處理部分可包括平滑部分,其在保持邊 緣的同時對所述輸入圖像數(shù)據(jù)進行平滑,以生成平滑后的圖像數(shù)據(jù);減法部分,其從所述輸 入圖像數(shù)據(jù)中減去平滑部分中所生成的平滑后的圖像數(shù)據(jù);放大部分,其對減法部分的輸 出數(shù)據(jù)進行放大;對比度校正部分,其基于用以對比度校正的輸入輸出特性曲線,對平滑部 分中生成的平滑后的圖像數(shù)據(jù)執(zhí)行對比度校正;以及加法部分,其將對比度校正部分的輸 出數(shù)據(jù)加至放大部分的輸出數(shù)據(jù),以獲得所述輸出圖像數(shù)據(jù)。所述處理控制器可進一步包 括亮度信息提取部分,其基于所述輸入圖像數(shù)據(jù),提取關于整個屏幕的亮度信息;并且所述 處理控制器可基于關于圖像區(qū)域檢測部分中檢測到的圖像區(qū)域的信息,來控制放大部分的 增益;并且所述處理控制器可基于面部信息提取部分中提取出的圖像信息中所包括的亮度 信息以及亮度信息提取部分中提取出的亮度信息,來控制對比度校正部分中所使用的用以 對比度校正的輸入輸出特性曲線。在此情況下,在保持輸入圖像數(shù)據(jù)的邊緣分量的同時,獲得了邊緣分量以外的低 幅度分量得到加重的輸出圖像數(shù)據(jù)。進一步,控制放大部分的增益,以使得在面部圖像區(qū)域 和其它區(qū)域中變得不同。例如,相比于其它區(qū)域,放大部分的增益在面部圖像區(qū)域中受到抑 制,從而獲得適當?shù)募y理。于是,在此情況下,可以在不損壞整個屏幕的銳度的情況下增強 圖像的紋理,并且進一步可以適當?shù)乜刂泼娌繄D像的紋理。進一步,在此情況下,對比度校正部分對平滑部分中生成的平滑后的圖像數(shù)據(jù)執(zhí) 行對比度校正?;陉P于整個屏幕的亮度信息和關于面部圖像的圖像信息中所包括的亮度 信息,控制用于對比度校正部分中的對比度校正的輸入輸出特征曲線。于是,在此情況下, 可以在不加重噪聲的情況下適當?shù)乜刂泼娌繄D像的亮度。根據(jù)本發(fā)明的實施方式,由于基于與面部圖像區(qū)域有關的信息來控制數(shù)據(jù)處理部 分的處理,因此可以有效地控制面部圖像的紋理、銳度、亮度、色彩等。
圖1是圖示根據(jù)本發(fā)明第一實施方式的圖像處理設備的配置示例的方塊圖。圖2A和2B是圖示遮蓋區(qū)域信號和增益控制信號之間的對應關系的示例的圖。圖3A和;3B是圖示幀圖像和面部圖像的檢測示例的圖。圖4是圖示面部檢測部分中的面部圖像的檢測處理的示例的圖。圖5A和5B是圖示用于面部檢測和面部評分測量的面部詞典的圖。圖6是圖示面部詞典的內容的圖。圖7是圖示用于面部圖像的檢測處理的縮小的圖像的圖。
圖8是圖示面部檢測部分中的面部圖像檢測處理的示例性過程的流程圖。圖9是圖示根據(jù)本發(fā)明第二實施方式的圖像處理設備的配置示例的圖。圖IOA和IOB是圖示作為關于面部圖像的圖像信息的示例的亮度直方圖和二維UV 直方圖的圖。圖IlAUlB和IlC是圖示將存在與關于面部圖像的圖像信息相對應的圖像的圖像 區(qū)域檢測為重新配置的圖像區(qū)域的圖。圖12是圖示根據(jù)本發(fā)明第三實施方式的圖像處理設備的配置示例的圖。圖13是圖示根據(jù)本發(fā)明第四實施方式的圖像處理設備的配置示例的圖。圖14是圖示根據(jù)本發(fā)明第五實施方式的圖像處理設備的配置示例的圖。圖15是圖示根據(jù)本發(fā)明第六實施方式的圖像處理設備的配置示例的圖。圖16是圖示根據(jù)本發(fā)明第七實施方式的圖像處理設備的配置示例的圖。圖17是圖示根據(jù)本發(fā)明第八實施方式的圖像處理設備的配置示例的圖。圖18A、18B和18C是圖示對比度控制器中生成的、用于對比度校正的輸入輸出特 性曲線(校正曲線)的圖。圖19A、19B和19C是圖示對比度控制器中生成的、用于對比度校正的另一輸入輸 出特性曲線(校正曲線)的圖。圖20A、20B、20C和20D是圖示對比度控制器中生成的、用于對比度校正的又一輸 入輸出特性曲線(校正曲線)的圖。圖21是圖示根據(jù)本發(fā)明第九實施方式的圖像處理設備的配置示例的圖。圖22是圖示現(xiàn)有技術的圖像處理設備的配置示例的圖。圖23是圖示現(xiàn)有技術的圖像處理設備的另一配置示例的圖。圖M是圖示皮膚色度和增益控制信號之間的對應關系的示例的圖。
具體實施例方式下文描述本發(fā)明的實施方式。將以下列順序進行描述。1.第一實施方式(圖1)2.第二實施方式(圖9)3.第三實施方式(圖 12)4.第四實施方式(圖 13)5.第五實施方式(圖 14)6.第六實施方式(圖 15)7.第七實施方式(圖 16)8.第八實施方式(圖 17)9.第九實施方式(圖 21)第一實施方式[圖像處理設備的配置]圖1是圖示根據(jù)第一實施方式的圖像處理設備100的配置示例的圖。圖像處理設 備100包括非線性濾波器101、減法器102、加減放大器103和加法器104。進一步,圖像處 理設備100包括面部檢測部分105、遮蓋區(qū)域創(chuàng)建部分106、空間濾波器107和增益控制器108。非線性濾波器101例如由ε濾波器制成。非線性濾波器101在保持邊緣的同時 對用于形成所述輸入圖像數(shù)據(jù)Vin的輸入亮度數(shù)據(jù)Yin進行平滑,并且生成作為平滑后的 數(shù)據(jù)的結構分量ST1。減法器102從輸入亮度數(shù)據(jù)Yin中減去在非線性濾波器101中生成 的結構分量ST1,以獲得作為輸出數(shù)據(jù)的紋理分量ΤΧ1。加減放大器103將在減法器102中獲得的紋理分量TXl進行放大以獲得作為輸出 數(shù)據(jù)的放大的紋理分量ΤΧ2。加法器104將在加減放大器103中獲得的紋理分量ΤΧ2加至 非線性濾波器101中生成的結構分量STl以獲得輸出亮度數(shù)據(jù)^ut。面部檢測部分105基于輸入亮度數(shù)據(jù)Yin,針對每一幀檢測面部圖像,并且獲得關 于存在面部圖像的面部圖像區(qū)域的信息Iarf。例如,面部檢測部分105以多個分辨率在滑 動檢測框的同時來掃描每一幀的圖像,以檢測面部圖像,并且獲得關于包括面部圖像的檢 測框的信息,作為關于面部圖像區(qū)域的信息Iarf。然而,本發(fā)明不限于此方法。面部檢測部 分105的細節(jié)將于稍后描述。遮蓋區(qū)域創(chuàng)建部分106例如基于面部檢測部分105中獲得的關于面部圖像區(qū)域的 信息Iarf,創(chuàng)建在面部圖像區(qū)域中變?yōu)楦唠娖蕉谄渌鼌^(qū)域中變?yōu)榈碗娖降恼谏w區(qū)域信號 Smsk??臻g濾波器107在水平方向和垂直方向上對遮蓋區(qū)域創(chuàng)建部分106中創(chuàng)建的遮蓋區(qū) 域信號Smsk執(zhí)行低通濾波處理。電平在水平方向和垂直方向上快速變化的一部分遮蓋區(qū) 域信號Smsk通過空間濾波器107而平滑地變化。增益控制器108生成與空間濾波器107中獲得的濾波后的遮蓋區(qū)域信號Smsk’相 對應的增益控制信號CN2,然后將增益控制信號CN2提供給加減放大器103。在這種情況下, 加減放大器103的增益變?yōu)榕c增益控制信號CN2的電平成比例的值。增益控制器108例如根據(jù)用戶的顯示模式選擇操作,以圖2A中所示的對應關系或 以圖2B中所示的對應關系,生成與遮蓋區(qū)域信號Smsk’對應的增益控制信號CN2。圖2A中 的對應關系用于選擇了增大加減放大器103的增益以增強紋理的顯示模式的情況。在這種 情況下,紋理在整體上增大,但是由于加減放大器103的增益在面部圖像區(qū)域中相對受到 抑制,因此獲得了適當?shù)募y理而不會引起奇怪的感覺。進一步,圖2B中的對應關系用于選 擇了減小加減放大器103的增益以便以適當級別抑制紋理的顯示模式的情況。在這種情況 下,紋理在整體上相對受到抑制,但是由于加減放大器103的增益在面部圖像區(qū)域中相對 增大,因此紋理得到改善。[面部檢測部分]面部檢測部分105例如基于輸入亮度數(shù)據(jù)Yin,針對每一幀,通過利用多個分辨率 在滑動檢測框的同時掃描幀圖像來檢測面部圖像。進一步,面部檢測部分105獲得關于包 括面部圖像的檢測框的信息(位置信息和尺寸信息),作為關于面部圖像區(qū)域的信息Iarf。 例如,當如圖3A中那樣示出幀圖像IM-O時,面部檢測部分105檢測幀圖像IM-O中包括的 面部圖像IM-I (其由圖:3B中的虛線框圍繞)。將描述面部檢測部分105中面部圖像的檢測處理的示例。在該檢測處理中,如圖 4中所示,將具有預定尺寸(例如,水平尺寸為S像素,垂直尺寸為S像素)的檢測框FR-fa 設置在幀圖像IM-O上。如圖4中箭頭所示,檢測框FR-fa在幀圖像IM-O上進行掃描,以使 得依次改變其位置。進一步,對于每個位置的檢測框FR-fa所圍繞的圖像,使用面部詞典測量面部評分SC0RE_fa,并且基于面部評分SC0RE_fa確定圖像是否是面部圖像。如圖5B中所示,面部詞典包括t4組(幾百對)pix_fal(i),pix_fa2(i),6_fa(i) 和a_fa(i)的組合。這里,如圖6中所示那樣,pix_fal(i)和pix_fa2(i)表示檢測框 FR-fa圍繞的圖像中的兩個點的位置。為了說明簡便,圖6僅示出三組。9_fa(i)表示與 pix_fal(i)的亮度值和pix_fa2(i)的亮度值之差有關的閾值。進一步,a_fa(i)表示基 于pix_fal(i)的亮度值與pix_fa2(i)的亮度值之差和閾值9_fa(i)之間的比較結果所 加上或減去的權重。關于pix_fal(i)、pix_fa2(i)、e_fa(i)和a_fa(i)的每個值的詳細 描述被省略,它們通過諸如AdaBoost之類的機器學習算法而被獲悉和得到。在面部評分SC0RE_fa的測量中,如圖5A中所示,針對面部詞典的每一組pix_ fal(i)、pix_fa2(i)、e_fa(i)和α _fa(i),確定是否滿足公式(I)0進一步,在該測量中 滿足公式(1)的情況下,執(zhí)行公式O)的運算。另一方面,在不滿足公式(1)的情況下,執(zhí) 行公式(3)的運算。在公式(1)中,pix_fal(i)表示其位置的亮度值,pix_fa2(i)表示其 位置的亮度值。pix_fal(i)-pix_fa2(i) < e_fa(i) · · · (1)SC0RE_fa = SC0RE_fa+ a_fa(i). . . (2)SC0RE_fa = SC0RE_fa_ a_fa(i)... (3)基于如上所述那樣測量的面部評分SC0RE_fa,確定檢測框FA_fa圍繞的圖像是否 是面部圖像。進一步,在面部評分SC0RE_fa的測量中,如果在滿足公式(1)的情況下,h(i) =1,而在不滿足公式(1)的情況下,h(i) =-1。在此情況下,如公式(4)那樣表示所測量 的面部評分SC0RE_fa。SCORE_fa =Σh(i) or_fa(i) · · · (4)i當面部評分SC0RE_fa大于O時,確定檢測框FA_fa圍繞的圖像是面部圖像。另一 方面,當面部評分SC0RE_fa等于或小于O時,確定檢測框FA-fa圍繞的圖像不是面部圖像。 確定基準可以不是O,但是可以是從零微調的值。幀圖像中包括的面部圖像可具有各種尺寸。為此,如圖4中所示,當將具有預定尺 寸的檢測框FR-fa設置在幀圖像IM-O上以檢測面部圖像時,僅可以檢測到幀圖像IM-O中 包括的面部圖像中與檢測框FR-fa的尺寸相對應的面部圖像。為了檢測幀圖像IM-O中包 括的各種面部圖像,除了幀圖像IM-O之外,還針對通過適當?shù)乜s小幀圖像IM-O所獲得的縮 小的圖像IM-Oa、IM-Ob等(如圖7中所示),執(zhí)行如上所述的面部圖像的檢測處理。圖8是圖示面部檢測部分102中的面部圖像檢測處理的過程的流程圖。面部檢測部分105在步驟ST21開始面部圖像檢測處理,然后前進到步驟ST22。在 步驟ST22中,面部檢測部分105將幀圖像IM-O的縮小步長S_N0設置為1。然后,在步驟 S23中,面部檢測部分105針對幀圖像IM-O執(zhí)行縮小步長S_N0的縮放(縮小),從而生成 用于檢測面部圖像的縮小的圖像(縮小的幀圖像)。當S_N0 = 1時,縮小比為1,用于檢測面部圖像的縮小的圖像與幀圖像IM-O相同。 進一步,隨著縮小步增大,縮小比減小。在具有更小縮小比的縮小的圖像中檢測到 的面部圖像在靜止圖像幀IM-O中變?yōu)楦蟮拿娌繄D像。進一步,面部檢測框信息(位置信 息和尺寸信息)基于幀圖像ΙΜ-0。
接下來,在步驟STM中,面部檢測部分105將檢測框FR-fa設置在步驟ST23中生 成的縮小的圖像的左上方。進一步,在步驟ST25中,面部檢測部分105如上所述那樣,通過 使用面部詞典來測量面部評分SC0RE_fa。然后,在步驟SD6中,面部檢測部分105基于在步驟ST25中測量出的面部評分 SC0RE_fa,確定檢測框FA-fa圍繞的圖像是否為面部圖像。在這種情況下,面部檢測部分 105在SC0RE_fa大于0時,確定該圖像是面部圖像,而在SC0RE_fa不大于0時,確定該圖像 不是面部圖像。當確定圖像是面部圖像時,面部檢測部分105前進到步驟ST27。在步驟ST27中, 面部檢測部分105將面部ID添加至面部檢測框信息(位置信息和尺寸信息),并且將結果 存儲于存儲部分(未示出)。在步驟ST27的處理之后,面部檢測部分105前進到步驟SD8。當在步驟SD6中確定圖像不是面部圖像時,面部檢測部分105直接前進到步驟 SD8。在步驟SD8中,面部檢測部分105確定檢測框FR-fa是否移至最終位置。當檢測框 FR-fa未移至最終位置時,面部檢測部分105在步驟SD9中將檢測框FR-fa移至下一位置, 然后返回至步驟ST25以重復與上述相同的過程。進一步,檢測框FR-fa在某一垂直位置上 以水平方向移動一個像素。如果完成了在該垂直位置上以水平方向的移動,則檢測框FR-fa 在垂直方向上移動一個像素,然后移至下一垂直位置。當檢測框FR-fa在步驟SD8中移至最終位置時,面部檢測部分105在步驟ST30確 定縮小步長S_N0是否處于最終步長S_N0max。當縮小步長S_N0不是最終步長S_N0max時, 面部檢測部分105在步驟ST31中將縮小步長S_N0設置為下一步長,然后返回步驟ST23以 重復與上述相同的過程。進一步,在步驟ST30,當縮小步長S_N0是最終步長S_N0maX時,由 于完成了所有縮小步中的面部圖像的檢測處理,因此面部檢測部分105在步驟ST32 中終止面部圖像檢測處理。將描述圖1中的圖像處理設備100的操作。將用于形成輸入圖像數(shù)據(jù)Vin的輸入 亮度數(shù)據(jù)Yin提供至非線性濾波器101。在非線性濾波器101中,在保持邊緣的情況下對輸 入亮度數(shù)據(jù)Yin進行平滑,并且生成作為平滑后的數(shù)據(jù)的結構分量ST1。進一步,將輸入亮度數(shù)據(jù)Yin提供至減法器102。還將非線性濾波器101中生成的 結構分量STl提供至減法器102。減法器102從輸入亮度數(shù)據(jù)Yin中減去結構分量STl以 獲得作為輸出數(shù)據(jù)的紋理分量TX1。將減法器102中獲得的紋理分量TXl提供至加減放大器103。加減放大器103將 紋理分量TXl進行放大以獲得放大后的紋理分量TX2。例如,如上所述那樣,由用戶的顯示 模式選擇操作來確定加減放大器103的基本增益(basic gain)。將加減放大器103中獲得的紋理分量TX2提供至加法器104。還將非線性濾波器 101中生成的結構分量STl提供至加法器104。加法器104將紋理分量TX2加至結構分量 STl以獲得用于形成輸出圖像數(shù)據(jù)Vout的輸出亮度數(shù)據(jù)樸肚。進一步,用于形成輸入圖像 數(shù)據(jù)Vin的輸入彩色數(shù)據(jù)(紅色差數(shù)據(jù)和藍色差數(shù)據(jù))Cin不加以變化地變?yōu)橛糜谛纬奢?出圖像數(shù)據(jù)Vout的輸出彩色數(shù)據(jù)Cout。進一步,將用于形成輸入圖像數(shù)據(jù)Vin的輸入亮度數(shù)據(jù)Yin提供至面部檢測部分 105。面部檢測部分105基于輸入亮度數(shù)據(jù)Yin,針對每一幀檢測面部圖像,并且獲得關于存 在面部圖像的面部圖像區(qū)域的信息Iarf,例如面部檢測框信息(位置和尺寸信息)。將關于面部圖像區(qū)域的信息Iarf提供至遮蓋區(qū)域創(chuàng)建部分106。遮蓋區(qū)域創(chuàng)建部分106例如基 于關于面部圖像區(qū)域的信息Iarf,創(chuàng)建在面部圖像區(qū)域中變?yōu)楦唠娖蕉谄渌鼌^(qū)域中變?yōu)?低電平的遮蓋區(qū)域信號Smsk。將遮蓋區(qū)域創(chuàng)建部分106中創(chuàng)建的遮蓋區(qū)域信號Smsk輸入至空間濾波器107,其 然后在水平方向和垂直方向上對遮蓋區(qū)域信號Smsk執(zhí)行低通濾波處理。通過該處理,電平 在水平方向和垂直方向上快速變化的一部分遮蓋區(qū)域信號Smsk通過空間濾波器107而平 滑地變化。將空間濾波器107中獲得的濾波之后的遮蓋區(qū)域信號Smsk’提供至增益控制器 108。增益控制器108生成與遮蓋區(qū)域信號Smsk’對應的增益控制信號CN2,并且將增益 控制信號CN2提供給加減放大器103。在這種情況下,加減放大器103的增益變?yōu)榕c增益控 制信號CN2的電平成比例的值。例如,在選擇了用于通過增大加減放大器103的基本增益來增強紋理的顯示模式 的情況下,增益控制器108以圖2A中所示的對應關系,生成與遮蓋區(qū)域信號Smsk’對應的 增益控制信號CN2。為此,在這種情況下,由于加減放大器103的基本增益增大,因此紋理在 整體上增強。然而,在面部圖像區(qū)域中,增益控制信號CN2變小,因而加減放大器103的增 益相對受到抑制。于是,可以防止由于面部圖像中過度加重的紋理所引起的奇怪的感覺,從 而獲得適當?shù)募y理。進一步,例如,在選擇了用于通過減小加減放大器103的基本增益來相對抑制紋 理的顯示模式的情況下,增益控制器108以圖2B中所示的對應關系,生成與遮蓋區(qū)域信號 Smsk'對應的增益控制信號CN2。為此,在這種情況下,由于加減放大器103的基本增益減 小,因此紋理在整體上相對抑制。然而,在面部圖像區(qū)域中,增益控制信號CN2變大,因而加 減放大器103的增益相對增大。于是,對于作為主要對象的面部圖像,紋理增大,從而獲得 適當?shù)募y理。如上所述,圖1中所示的圖像處理設備100基于面部檢測部分105中所獲得的關 于面部圖像區(qū)域的信息Iarf,在增益控制器108中生成加減放大器103的增益控制信號 CN2。為此,在存在面部圖像的面部圖像區(qū)域中,以相對于其它區(qū)域相對低或高的級別控制 加減放大器103的增益。于是,與加減放大器103的基本增益設置所引起的總體紋理的級 別無關,都可以為面部圖像獲得適當?shù)募y理。進一步,在圖1所示的圖像處理設備100中,將遮蓋區(qū)域創(chuàng)建部分106中創(chuàng)建的遮 蓋區(qū)域信號Smsk輸入至空間濾波器107,其然后在水平方向和垂直方向上對遮蓋區(qū)域信號 Smsk執(zhí)行低通濾波處理。通過該處理,電平在水平方向和垂直方向上快速變化的一部分遮 蓋區(qū)域信號Smsk平滑地變化。因而,增益控制器108中生成的增益控制信號CN2在面部圖 像區(qū)域和其它區(qū)域之間的邊界不會快速變化,因而可以防止邊界突出。第二實施方式[圖像處理設備的配置]圖9是圖示根據(jù)第二實施方式的圖像處理設備100A的配置示例的圖。在圖9中, 與圖1中的那些元件對應的元件被賦予了相同的附圖標記。圖像處理設備100A包括非線 性濾波器101、減法器102、加減放大器103和加法器104。進一步,圖像處理設備100A包括 面部檢測部分105、面部信息提取部分111、面部信息保留部分112、遮蓋區(qū)域創(chuàng)建部分113、空間濾波器107、增益控制器108和場景變化檢測部分114。在圖像處理設備100A中,非線性濾波器101、減法器102、加減放大器103、加法器 104、面部檢測部分105、空間濾波器107和增益控制器108與圖1所示的圖像處理設備100 中的相同,因而省略其詳細描述。面部信息提取部分111針對每一幀,基于面部檢測部分105中獲得的關于面部圖 像區(qū)域的信息Iarf,從用于形成輸入圖像數(shù)據(jù)Vin的輸入亮度數(shù)據(jù)Yin和輸入彩色數(shù)據(jù) Cin中提取關于面部圖像的圖像信息Ifa。在該實施方式中,面部信息提取部分111例如獲 得與面部圖像區(qū)域的亮度直方圖和二維UV直方圖有關的信息,作為面部圖像信息Ifa。即,面部信息提取部分111通過使用輸入亮度數(shù)據(jù)Yin中與面部圖像區(qū)域相對應 的每個像素的亮度數(shù)據(jù),創(chuàng)建如圖IOB中所示的亮度直方圖。進一步,面部信息提取部分 111通過使用輸入彩色數(shù)據(jù)Cin中與面部圖像區(qū)域相對應的每個像素的彩色數(shù)據(jù)(紅色差 數(shù)據(jù)U和藍色差數(shù)據(jù)V),創(chuàng)建如圖IOA中所示的二維UV直方圖。面部信息保留部分112保留面部信息提取部分111中所提取出的關于面部圖像的 圖像信息Ifa。面部信息提取部分111如上述那樣,從在面部檢測部分105中獲得關于面部 圖像區(qū)域的信息Iarf的幀中提取關于面部圖像的圖像信息Ifa。對于從面部信息提取部 分111提取出關于面部圖像的圖像信息Ifa的每一幀,面部信息保留部分112可以更新關 于面部圖像的圖像信息Ifa的保留內容。然而,當圖像狀態(tài)未變化時,面部信息提取部分111中提取出的關于面部圖像的 圖像信息Ifa處于近似相同的狀態(tài)。為此,在本實施方式中,每當檢測到圖像狀態(tài)變化時, 面部信息保留部分112更新面部信息提取部分111中提取出的關于面部圖像的圖像信息 Ifa的保留內容。在本實施方式中,如稍后描述的那樣,將場景變化所引起的圖像狀態(tài)的變 化示例為圖像狀態(tài)的變化,但是可以考慮光照變化所引起的圖像狀態(tài)的變化。遮蓋區(qū)域創(chuàng)建部分113針對每一幀,基于輸入亮度數(shù)據(jù)Yin和輸入彩色數(shù)據(jù)Cin, 檢測其中存在與面部信息保留部分112中保留的關于面部圖像的圖像信息Ifa相對應的圖 像的圖像區(qū)域。在這種情況下,遮蓋區(qū)域創(chuàng)建部分113參照關于亮度直方圖和二維UV直方 圖的信息(其為關于面部圖像的圖像信息Ifa),分別將具有高頻的預定范圍確定為亮度值 范圍和UV值范圍。例如每當更新面部信息保留部分112的保留內容時,遮蓋區(qū)域創(chuàng)建部分 113執(zhí)行亮度值范圍和UV值范圍的確定處理。遮蓋區(qū)域創(chuàng)建部分113針對每一幀,基于輸入亮度數(shù)據(jù)Yin和輸入彩色數(shù)據(jù)Cin, 檢測亮度值和UV值均處于所確定的亮度值范圍和UV值范圍中的像素。進一步,遮蓋區(qū)域 創(chuàng)建部分113檢測每個檢測到的像素的區(qū)域,作為存在與關于面部圖像的圖像信息Ifa相 對應的圖像的圖像區(qū)域。以此方式在遮蓋區(qū)域創(chuàng)建部分113中檢測到的圖像區(qū)域基于關于面部圖像的圖 像信息Ifa而被重新配置,其將稱為“重新配置的圖像區(qū)域”。遮蓋區(qū)域創(chuàng)建部分113基于 與重新配置的圖像區(qū)域有關的信息來創(chuàng)建遮蓋區(qū)域信號Smsk。即,遮蓋區(qū)域創(chuàng)建部分113 創(chuàng)建例如在重新配置的面部圖像區(qū)域中變?yōu)楦唠娖蕉谄渌鼌^(qū)域中變?yōu)榈碗娖降恼谏w區(qū) 域信號Smsk0場景變化檢測部分114基于輸入亮度數(shù)據(jù)Yin和輸入彩色數(shù)據(jù)Cin檢測場景變 化,并且將檢測信號khd發(fā)送到面部信息保留部分112。場景變化檢測部分114使用通過針對每個分割塊來處理幀圖像的像素數(shù)據(jù)所獲得的包括多個矢量元素的特征矢量、或者通 過處理幀圖像的像素信號所獲得的亮度或色差直方圖等,來檢測場景變化。圖9中所示圖 像處理設備100A的其它配置與圖1中所示圖像處理設備100中的相同。將描述圖9中所示的圖像處理設備100A的操作。將用于形成輸入圖像數(shù)據(jù)Vin 的輸入亮度數(shù)據(jù)Yin提供至非線性濾波器101。非線性濾波器101在保持邊緣的同時對輸 入亮度數(shù)據(jù)Yin進行平滑,并且生成作為平滑后的數(shù)據(jù)的結構分量ST1。進一步,將輸入亮度數(shù)據(jù)Yin提供至減法器102。還將非線性濾波器101中生成的 結構分量STl提供至減法器102。減法器102從輸入亮度數(shù)據(jù)Yin中減去結構分量STl以 獲得作為輸出數(shù)據(jù)的紋理分量TX1。將減法器102中獲得的紋理分量TXl提供至加減放大器103。加減放大器103將 紋理分量TXl進行放大以獲得放大后的紋理分量TX2。例如,根據(jù)用戶的顯示模式選擇操作 來確定加減放大器103的基本增益。將加減放大器103中獲得的紋理分量TX2提供至加法器104。還將非線性濾波器 101中生成的結構分量STl提供至加法器104。加法器104將紋理分量TX2加至結構分量 STl以獲得用于形成輸出圖像數(shù)據(jù)Vout的輸出亮度數(shù)據(jù)樸肚。進一步,用于形成輸入圖像 數(shù)據(jù)Vin的輸入彩色數(shù)據(jù)(紅色差數(shù)據(jù)和藍色差數(shù)據(jù))Cin不加以變化地變?yōu)橛糜谛纬奢?出圖像數(shù)據(jù)Vout的輸出彩色數(shù)據(jù)Cout。進一步,將用于形成輸入圖像數(shù)據(jù)Vin的輸入亮度數(shù)據(jù)Yin提供至面部檢測部分 105。面部檢測部分105基于輸入亮度數(shù)據(jù)Yin針對每一幀檢測面部圖像,并且獲得關于存 在面部圖像的面部圖像區(qū)域的信息Iarf,例如面部檢測框信息(位置信息和尺寸信息)。將 關于面部圖像區(qū)域的信息Iarf提供至面部信息提取部分111。面部信息提取部分111針對每一幀,基于面部檢測部分105中獲得的關于面部圖 像區(qū)域的信息Iarf,從輸入亮度數(shù)據(jù)Yin和輸入彩色數(shù)據(jù)Cin中提取關于面部圖像的圖像 信息Ifa。例如,在面部信息提取部分111中,將面部圖像區(qū)域的亮度直方圖和二維UV直方 圖測量為面部圖像信息Ifa。以此方式,將面部信息提取部分111中所提取出的關于面部圖 像的圖像信息Ifa提供至面部信息保留部分112。面部信息保留部分112保留面部信息提取部分111提供的關于面部圖像的圖像 信息Ifa。在這種情況下,每當基于來自場景變化檢測部分114的場景變化檢測信號khd 而在每當圖像狀態(tài)變化時檢測到場景變化時,面部信息保部分112更新面部信息提取部分 111中提取出的關于面部圖像的圖像信息Ifa的保留內容。遮蓋區(qū)域創(chuàng)建部分113針對每一幀,基于輸入亮度數(shù)據(jù)Yin和輸入彩色數(shù)據(jù)Cin, 檢測其中存在面部信息保留部分112中保留的關于面部圖像的圖像信息Ifa所對應的圖像 的圖像區(qū)域,作為重新配置的圖像區(qū)域。進一步,遮蓋區(qū)域創(chuàng)建部分113例如創(chuàng)建這樣的遮 蓋區(qū)域信號Smsk 其基于與重新配置的圖像區(qū)域有關的信息而在重新配置的面部圖像區(qū) 域中變?yōu)楦唠娖剑谄渌鼌^(qū)域中變?yōu)榈碗娖?。將遮蓋區(qū)域創(chuàng)建部分113中創(chuàng)建的遮蓋區(qū)域信號Smsk輸入至空間濾波器107,其 然后在水平方向和垂直方向上對遮蓋區(qū)域信號Smsk執(zhí)行低通濾波處理。通過該處理,電平 在水平方向和垂直方向上快速變化的一部分遮蓋區(qū)域信號Smsk平滑地變化。將空間濾波 器107獲得的濾波之后的遮蓋區(qū)域信號Smsk’提供至增益控制器108。
增益控制器108生成與遮蓋區(qū)域信號Smsk’對應的增益控制信號CN3,并且將增益 控制信號CN3提供給加減放大器103。在這種情況下,加減放大器103的增益變?yōu)榕c增益控 制信號CN3的電平成比例的值。例如,在選擇了用于增大加減放大器103的基本增益以提高紋理的顯示模式的情 況下,增益控制器108以圖2A中所示的對應關系,生成與遮蓋區(qū)域信號Smsk’對應的增益 控制信號CN3。為此,在這種情況下,由于加減放大器103的基本增益增大,因此紋理在整體 上增大,但是在重新配置的面部圖像區(qū)域中,增益控制信號CN3變小,并且加減放大器103 的增益相對受到抑制。于是,可以防止由于面部圖像中過于加重的紋理所引起的奇怪的感 覺,從而獲得適當?shù)募y理。進一步,例如,在選擇了減小加減放大器103的基本增益以相對抑制紋理的顯示 模式的情況下,增益控制器108以圖2B中所示的對應關系,生成與遮蓋區(qū)域信號Smsk’對 應的增益控制信號CN3。為此,在這種情況下,由于加減放大器103的基本增益減小,因此紋 理在整體上相對受到抑制,但是在重新配置的面部圖像區(qū)域中,增益控制信號CN3變大,并 且加減放大器103的增益相對增大。從而,作為主要對象的面部圖像具有改善的紋理,并且 可以獲得適當?shù)募y理。如上所述,在圖9中所示的圖像處理設備100A中,基本上,基于面部檢測部分105 中所獲得的關于面部圖像區(qū)域的信息Iarf,在增益控制器108中生成加減放大器103的增 益控制信號CN3。為此,在存在面部圖像的面部圖像區(qū)域中,以相對于其它區(qū)域相對低或高 的級別控制加減放大器103的增益。于是,與加減放大器103的基本增益設置所引起的整 體紋理的級別無關,都可以為面部圖像獲得適當?shù)募y理。進一步,在圖9所示的圖像處理設備100A中,基于面部檢測部分105中獲得的關 于面部圖像區(qū)域的信息Iarf,在面部信息提取部分111中提取出關于面部圖像的圖像信息 Ifa0進一步,在遮蓋區(qū)域創(chuàng)建部分113中,檢測其中存在與關于面部圖像的圖像信息Ifa 相對應的圖像的圖像區(qū)域,作為重新配置的圖像區(qū)域,并且基于與重新配置的圖像區(qū)域有 關的信息來創(chuàng)建遮蓋區(qū)域信號Smsk。重新配置的圖像區(qū)域包括存在面部檢測部分105中未檢測到的面部圖像的面部 圖像區(qū)域。例如,將如圖IlA所示的幀圖像IM-O描述為示例。例如,如圖IlB示出的點劃 線框所示,面部檢測部分105檢測幀圖像IM-O中所包括的較大面部的面部圖像IM-1,而不 檢測幀圖像IM-O中所包括的較小面部的面部圖像IM-2。然而,如圖IlC中所示那樣,除了 面部圖像IM-I的區(qū)域之外,基于關于面部圖像的圖像信息Ifa所檢測到的重新配置的圖像 區(qū)域還包括面部圖像IM-2的區(qū)域。進一步,在圖IlC中,陰影區(qū)域表示重新配置的圖像區(qū) 域以外的區(qū)域。以此方式,重新配置的圖像區(qū)域還包括其中存在面部檢測部分105中未檢測到的 面部圖像的面部圖像區(qū)域。為此,即使在面部檢測部分105中存在側面面對的面部圖像等 中的面部圖像區(qū)域的錯誤否定(false negative)的情況下,也可以使得所有的面部圖像區(qū) 域包括在重新配置的圖像區(qū)域中。于是,即使在面部檢測部分105中的面部圖像區(qū)域的錯 誤否定的情況下,也可以與輸入圖像中所包括的所有面部圖像區(qū)域相對應地適當控制加減 放大器103的增益,從而為圖像中包括的所有面部圖像都獲得適當?shù)募y理。進一步,在圖9所示的圖像處理設備100A中,在遮蓋區(qū)域創(chuàng)建部分113中,基于面部信息提取部分111中提取出的關于面部圖像的圖像信息Ifa,從輸入亮度數(shù)據(jù)Yin和輸入 彩色數(shù)據(jù)Cin檢測重新配置的圖像區(qū)域。為此,即使在面部檢測部分105的檢測需要若干 幀的情況下,重新配置的圖像區(qū)域也包括輸入圖像數(shù)據(jù)Vin的當前幀中存在面部圖像的面 部圖像區(qū)域。于是,在圖9所示的圖像處理設備100A中,即使在輸入圖像數(shù)據(jù)Vin是運動圖像 數(shù)據(jù)以及面部圖像區(qū)域正在運動的情況下,也可以與輸入圖像中包括的所有面部圖像區(qū)域 對應地適當控制加減放大器103的增益。因而,可以為輸入圖像中包括的所有面部圖像都 獲得適當?shù)募y理。進一步,在圖9所示的圖像處理設備100A中,面部信息提取部分111中提取出的 關于面部圖像的圖像信息Ifa保留在面部信息保留部分112中。進一步,遮蓋區(qū)域創(chuàng)建部 分113基于面部信息保留部分112中保留的關于面部圖像的圖像信息Ifa來檢測重新配置 的圖像區(qū)域,并且基于關于重新配置的圖像區(qū)域的信息來創(chuàng)建遮蓋區(qū)域信號Smsk。為此,由于即使在面部檢測部分105中未檢測到面部圖像區(qū)域的幀的情況下,面 部圖像信息也保留在面部信息保留部分112中,因此遮蓋區(qū)域創(chuàng)建部分113可以穩(wěn)定地檢 測重新配置的圖像區(qū)域。于是,即使在面部檢測部分105中未檢測到面部圖像區(qū)域的幀的 情況下,也可以與輸入圖像中包括的所有面部圖像區(qū)域對應地適當控制加減放大器103的 增益,因而使得可以為輸入圖像中包括的所有面部圖像都獲得適當?shù)募y理。進一步,在圖9所示的圖像處理設備100A中,每當檢測到場景變化時,面部信息保 留部分112更新面部信息提取部分111中提取出的關于面部圖像的圖像信息Ifa的保留內 容。為此,可以減小更新頻率,并且可以顯著地減輕CPU處理負荷。另外,在圖9所示的圖像處理設備100A中,將遮蓋區(qū)域創(chuàng)建部分113中創(chuàng)建的遮 蓋區(qū)域信號Smsk輸入至空間濾波器107,其然后在水平方向和垂直方向上對遮蓋區(qū)域信號 Smsk執(zhí)行低通濾波處理。通過該處理,電平在水平方向和垂直方向上快速變化的一部分遮 蓋區(qū)域信號Smsk平滑地變化。因而,增益控制器108中生成的增益控制信號CN3在重新配 置的面部圖像區(qū)域和其它區(qū)域之間的邊界不會快速變化,因而可以防止邊界突出。在圖9所示的圖像處理設備100A中,面部檢測部分105針對每一幀檢測面部圖 像,然而,在圖9所示的圖像處理設備100A中,面部信息提取部分111中提取出的關于面部 圖像的圖像信息Ifa被發(fā)送至并保留在面部信息保留部分112中,并且用于面部檢測部分 105中未檢測到面部圖像區(qū)域的幀。因而,面部檢測部分105不一定針對每一幀檢測面部圖 像,而是可以針對每兩個或更多幀檢測面部圖像。第三實施方式[圖像處理設備的配置]圖12是圖示根據(jù)第三實施方式的圖像處理設備100B的配置示例的圖。在圖12 中,與圖9中的那些元件對應的元件被賦予了相同的附圖標記。圖像處理設備100B包括高 通濾波器121、加減放大器122和加法器123。進一步,圖像處理設備100B包括面部檢測部 分105、面部信息提取部分111、面部信息保留部分112、遮蓋區(qū)域創(chuàng)建部分113、空間濾波器 107、增益控制器108和場景變化檢測部分114。在圖像處理設備100B中,面部檢測部分105、面部信息提取部分111、面部信息保 留部分112、遮蓋區(qū)域創(chuàng)建部分113、空間濾波器107、增益控制器108和場景變化檢測部分114與圖9所示圖像處理設備100A中的相同。因而省略其詳細描述。高通濾波器121從用于形成輸入圖像數(shù)據(jù)Vin的輸入亮度數(shù)據(jù)Yin中提取高頻分 量YHl。加減放大器122將高通濾波器121中獲得的高頻分量YHl進行放大以獲得作為輸 出數(shù)據(jù)的經放大的高頻分量YH2。加法器123將加減放大器122中獲得的高頻分量YH2加 至輸入亮度數(shù)據(jù)Yin以獲得輸出亮度數(shù)據(jù)^ut。增益控制器108生成與空間濾波器107中獲得的濾波之后的遮蓋區(qū)域信號Smsk’ 相對應的增益控制信號CN4,并且將增益控制信號CN4提供給加減放大器122。在這種情況 下,加減放大器122的增益是與增益控制信號CN4的電平成比例的值。加減放大器122的 增益基本上由用戶的柔焦效果調節(jié)操作來確定,但是增益還進一步受增益控制信號CN4控 制。例如,增益控制器108生成增益控制信號CN4,以使得在通過柔焦效果調節(jié)將加減 放大器122的增益設置為高電平的情況下,加減放大器122的增益在面部圖像區(qū)域中相對 減小。在這種情況下,柔焦效果在整體上增大,但是由于加減放大器122的增益在面部圖像 區(qū)域中相對受到抑制,因此可以獲得適當?shù)娜峤剐Ч鴽]有奇怪的感覺。進一步,例如,增益控制器108生成增益控制信號CN4,以使得在通過柔焦效果調 節(jié)將加減放大器122的增益設置為低電平的情況下,加減放大器122的增益在面部圖像區(qū) 域中相對增大。在這種情況下,柔焦效果在整體上相對受到抑制,但是由于加減放大器122 的增益在面部圖像區(qū)域中相對增大,因此柔焦效果得到增強。圖12所示圖像處理設備100B 的其它配置與圖9所示圖像處理設備100A中的相同。將描述圖12中所示圖像處理設備100B的操作。將用于形成輸入圖像數(shù)據(jù)Vin的 輸入亮度數(shù)據(jù)Yin提供至高通濾波器121。高通濾波器121從用于形成輸入圖像數(shù)據(jù)Vin 的輸入亮度數(shù)據(jù)Yin中提取高頻分量YHl。將高通濾波器121中提取出的高頻分量YHl提 供至加減放大器122。加減放大器122將高頻分量YHl進行放大以獲得作為輸出數(shù)據(jù)的經 放大的高頻分量YH2。例如,如上述那樣,根據(jù)用戶的柔焦效果調節(jié)操作來確定加減放大器 122的基本增益。將加減放大器122中獲得的高頻分量YH2提供至加法器123。還將輸入亮度數(shù)據(jù) Yin提供至加法器123。加法器123將高頻分量YH2加至輸入亮度數(shù)據(jù)Yin以獲得用于形 成輸出圖像數(shù)據(jù)Vout的輸出亮度數(shù)據(jù)^ut。用于形成輸入圖像數(shù)據(jù)Vin的輸入彩色數(shù)據(jù) (紅色差數(shù)據(jù)和藍色差數(shù)據(jù))Cin不加以變化地變?yōu)橛糜谛纬奢敵鰣D像數(shù)據(jù)Vout的輸出彩 色數(shù)據(jù)Cout。進一步,面部檢測部分105基于輸入亮度數(shù)據(jù)Yin檢測面部圖像,以獲得關于面部 圖像區(qū)域的信息Iarf。面部信息提取部分111基于關于面部圖像區(qū)域的信息Iarf,從輸入 亮度數(shù)據(jù)Yin和輸入彩色數(shù)據(jù)Cin中提取關于面部圖像的圖像信息If。遮蓋區(qū)域創(chuàng)建部分 113檢測其中存在與關于面部圖像的圖像信息Ifa相對應的圖像的圖像區(qū)域,作為重新配 置的圖像區(qū)域,并且基于與重新配置的圖像區(qū)域有關的信息來創(chuàng)建遮蓋區(qū)域信號Smsk。進 一步,遮蓋區(qū)域信號Smsk在空間濾波器107中經受低通濾波處理,然后被提供至增益控制 器 108。增益控制器108生成與遮蓋區(qū)域信號Smsk’對應的增益控制信號CN4,并且將增益 控制信號CN4提供給加減放大器122。在這種情況下,加減放大器122的增益變?yōu)榕c增益控制信號CN4的電平成比例的值。例如,增益控制器108生成增益控制信號CN4,以使得在通過柔焦效果調節(jié)將加減 放大器122的增益設置為高電平的情況下,加減放大器122的增益在面部圖像區(qū)域中相對 減小。在這種情況下,柔焦效果在整體上增大,但是由于加減放大器122的增益在面部圖像 區(qū)域中相對受到抑制,因此可以獲得適當?shù)娜峤剐Ч粫鹌婀值母杏X。進一步,例如,增益控制器108生成增益控制信號CN4,以使得在通過柔焦效果調 節(jié)將加減放大器122的增益設置為低電平的情況下,加減放大器122的增益在面部圖像區(qū) 域中相對增大。在這種情況下,柔焦效果在整體上相對受到抑制,但是由于加減放大器122 的增益在面部圖像區(qū)域中相對增大,因此柔焦效果得到增強。如上所述,在圖12中所示的圖像處理設備100B中,基本上,基于面部檢測部分105 中所獲得的關于面部圖像區(qū)域的信息Iarf,在增益控制器108中生成加減放大器122的增 益控制信號CN4。為此,在存在面部圖像的面部圖像區(qū)域中,以相對于其它區(qū)域相對低或高 的級別控制加減放大器122的增益。于是,與加減放大器122的基本增益設置所引起的總 體柔焦效果的級別無關,都可以為面部圖像獲得適當?shù)娜峤剐Ч?。進一步,在圖12所示的圖像處理設備100B中,基于面部檢測部分105中獲得的關 于面部圖像區(qū)域的信息Iarf,在面部信息提取部分111中提取出關于面部圖像的圖像信息 Ifa0進一步,遮蓋區(qū)域創(chuàng)建部分113檢測其中存在與關于面部圖像的圖像信息Ifa相對應 的圖像的圖像區(qū)域,作為重新配置的圖像區(qū)域,并且基于與重新配置的圖像區(qū)域有關的信 息來創(chuàng)建遮蓋區(qū)域信號Smsk。因而,即使在側面面對的面部圖像等中存在面部圖像區(qū)域的錯誤否定的情況下, 面部檢測部分105也可包括重新配置的圖像區(qū)域中的所有面部圖像區(qū)域。于是,即使在面 部檢測部分105中的面部圖像區(qū)域的錯誤否定的情況下,也可以與輸入圖像中所包括的所 有面部圖像區(qū)域相對應地適當控制加減放大器122的增益,從而為圖像中包括的所有面部 圖像都獲得適當?shù)娜峤剐Ч?。進一步,在圖12所示的圖像處理設備100B中,遮蓋區(qū)域創(chuàng)建部分113基于面部信 息提取部分111中所提取出的關于面部圖像的圖像信息Ifa,從輸入亮度數(shù)據(jù)Yin和輸入彩 色數(shù)據(jù)Cin檢測重新配置的圖像區(qū)域。為此,即使在面部檢測部分105的檢測需要若干幀 的情況下,重新配置的圖像區(qū)域也包括輸入圖像數(shù)據(jù)Vin的當前幀中包括面部圖像的面部 圖像區(qū)域。于是,在圖12所示的圖像處理設備100B中,即使在輸入圖像數(shù)據(jù)Vin是運動圖像 數(shù)據(jù)以及面部圖像區(qū)域正在運動的情況下,也可以與輸入圖像中包括的所有面部圖像區(qū)域 對應地適當控制加減放大器122的增益。因而,可以為輸入圖像中包括的所有面部圖像都 獲得適當?shù)娜峤剐Ч?。進一步,在圖12所示的圖像處理設備100B中,以與圖9中所示圖像處理設備100A 類似的方式,可以實現(xiàn)面部信息保留部分112和空間濾波器107所引起的效果,所述效果是 通過對每個場景變化執(zhí)行關于面部信息保留部分112的保留信息的更新等而實現(xiàn)的。第四實施方式[圖像處理設備的配置]圖13是圖示根據(jù)第四實施方式的圖像處理設備100C的配置示例的圖。在圖13中,與圖9中的那些元件對應的元件被賦予了相同的附圖標記。圖像處理設備100C包括色 彩飽和度調節(jié)器131和色彩飽和度控制器132。進一步,圖像處理設備100C包括面部檢測 部分105、面部信息提取部分111、面部信息保留部分112、遮蓋區(qū)域創(chuàng)建部分113、空間濾波 器107和場景變化檢測部分114。在圖像處理設備100C中,面部檢測部分105、面部信息提取部分111、面部信息保 留部分112、遮蓋區(qū)域創(chuàng)建部分113、空間濾波器107和場景變化檢測部分114與圖9所示 圖像處理設備100A中的相同。因而省略其詳細描述。色彩飽和度調節(jié)器131對用于形成輸入圖像數(shù)據(jù)Vin的輸入彩色數(shù)據(jù)(紅色差數(shù) 據(jù)和藍色差數(shù)據(jù))Cin執(zhí)行色彩飽和度調節(jié)處理。例如,色彩飽和度調節(jié)器131配備有用于 對輸入彩色數(shù)據(jù)Cin內的紅色差數(shù)據(jù)和藍色差數(shù)據(jù)進行放大的加減放大器,并且通過調節(jié) 其增益來執(zhí)行色彩飽和度調節(jié)。色彩飽和度調節(jié)器131的色彩飽和度調節(jié)處理由色彩飽和 度控制器132中生成的色彩飽和度控制信號CN5控制。色彩飽和度控制器132通過從關于面部圖像的圖像信息Ifa(其由面部信息提取 部分111提取并保留在面部信息保留部分112中)之中使用色彩飽和度信息(二維UV直 方圖)而生成色彩飽和度控制信號CN5。進一步,色彩飽和度控制器132基于空間濾波器 107中獲得的濾波之后的遮蓋區(qū)域信號Smsk’而生成色彩飽和度控制信號CN5。色彩飽和 度控制器132生成色彩飽和度控制信號CN5,其用于使得色彩飽和度調節(jié)器131能夠執(zhí)行色 彩飽和度調節(jié)處理以便面部圖像的色彩飽和度變?yōu)轭A定級別的色彩飽和度,并且使得色彩 飽和度調節(jié)器131能夠僅在重新配置的面部圖像區(qū)域中執(zhí)行色彩飽和度調節(jié)處理。這里, 所述預定級別的色彩飽和度是固定值或用戶設置值。圖13所示圖像處理設備100C的其它 配置與圖9所示圖像處理設備100A中的相同。將描述圖13中所示的圖像處理設備100C的操作。將用于形成輸入圖像數(shù)據(jù)Vin 的輸入彩色數(shù)據(jù)Cin提供至色彩飽和度調節(jié)器131。色彩飽和度調節(jié)器131的色彩飽和度 調節(jié)處理由色彩飽和度控制器132提供的色彩飽和度控制信號CN5控制。如上所述,色彩 飽和度控制信號CN5使得能夠進行色彩飽和度調節(jié)處理以便面部圖像的色彩飽和度變?yōu)?預定級別的色彩飽和度,并且使得能夠僅在重新配置的面部圖像區(qū)域中進行色彩飽和度調 節(jié)處理。為此,色彩飽和度調節(jié)器131執(zhí)行色彩飽和度調節(jié)處理以便面部圖像的色彩飽和 度僅在重新配置的面部圖像區(qū)域中變?yōu)轭A定級別的色彩飽和度。色彩飽和度調節(jié)器131的 輸出彩色數(shù)據(jù)(紅色差數(shù)據(jù)和藍色差數(shù)據(jù))變?yōu)橛糜谛纬奢敵鰣D像數(shù)據(jù)Vout的輸出彩色 數(shù)據(jù)Cout。進一步,用于形成輸入圖像數(shù)據(jù)Vin的輸入亮度數(shù)據(jù)Yin不加以變化地變?yōu)橛?于形成輸出圖像數(shù)據(jù)Vout的輸出亮度數(shù)據(jù)Yout。如上所述,在圖13所示的圖像處理設備100C中,基于面部檢測部分105中獲得的 關于面部圖像區(qū)域的信息Iarf,在面部信息提取部分111中提取出關于面部圖像的圖像信 息Ifa。進一步,通過從關于面部圖像的圖像信息Ifa之中使用色彩飽和度信息(二維UV 直方圖)而生成色彩飽和度控制信號CN5。因而,可以在面部圖像區(qū)域中執(zhí)行高精度的色彩 飽和度調節(jié),以便面部圖像的色彩飽和度變?yōu)轭A定級別的色彩飽和度。進一步,在圖13所示的圖像處理設備100C中,當在色彩飽和度控制器132中生成 色彩飽和度控制信號CN5時,使用面部信息保留部分112中所保留的關于面部圖像的圖像信息Ifa。為此,即使在面部檢測部分105中未檢測到面部圖像區(qū)域的幀的情況下,色彩飽 和度控制器132也穩(wěn)定地生成色彩飽和度控制信號CN5,因而可以穩(wěn)定地執(zhí)行色彩飽和度調節(jié)。另外,在圖13所示的圖像處理設備100C中,以與圖9中所示圖像處理設備100A 類似的方式,可以實現(xiàn)空間濾波器107所引起的效果,所述效果是通過對每個場景變化執(zhí) 行面部信息保留部分112中的保留信息的更新等而實現(xiàn)的。第五實施方式[圖像處理設備的配置]圖14是圖示根據(jù)第五實施方式的圖像處理設備100D的配置示例的圖。在圖14 中,與圖9和13中的那些元件對應的元件被賦予了相同的附圖標記。圖像處理設備100D 包括色彩飽和度調節(jié)器131和色彩飽和度控制器133。進一步,圖像處理設備100D包括面 部檢測部分105、面部信息提取部分111、面部信息保留部分112和場景變化檢測部分114。在圖像處理設備100D中,色彩飽和度調節(jié)器131、面部檢測部分105、面部信息提 取部分111、面部信息保留部分112和場景變化檢測部分114與圖13所示圖像處理設備 100C中的相同。因而省略其詳細描述。色彩飽和度調節(jié)器131的色彩飽和度調節(jié)處理由色彩飽和度控制器133中生成的 色彩飽和度控制信號CN6控制。色彩飽和度控制器133通過從關于面部圖像的圖像信息 Ifa(其在面部信息提取部分111中提取并保留在面部信息保留部分112中)之中使用色 彩飽和度信息(二維UV直方圖)而生成色彩飽和度控制信號CN6。色彩飽和度控制器133 生成色彩飽和度控制信號CN6,其用于使得色彩飽和度調節(jié)器131能夠執(zhí)行色彩飽和度調 節(jié)處理以便面部圖像的色彩飽和度變?yōu)轭A定級別的色彩飽和度。圖14所示圖像處理設備 100D的其它配置與圖9和13所示圖像處理設備100A中的相同。將描述圖14中所示的圖像處理設備100D的操作。將用于形成輸入圖像數(shù)據(jù)Vin 的輸入彩色數(shù)據(jù)Cin提供至色彩飽和度調節(jié)器131。色彩飽和度調節(jié)器131的色彩飽和度 調節(jié)處理由來自色彩飽和度控制器133的色彩飽和度控制信號CN6控制。如上所述,色彩 飽和度控制信號CN6使得能夠進行色彩飽和度調節(jié)處理以便面部圖像的色彩飽和度變?yōu)?預定級別的色彩飽和度。為此,色彩飽和度調節(jié)器131在整個屏幕中執(zhí)行色彩飽和度調節(jié)處理以便面部圖 像的色彩飽和度變?yōu)轭A定級別的色彩飽和度。色彩飽和度調節(jié)器131的輸出彩色數(shù)據(jù)(紅 色差數(shù)據(jù)和藍色差數(shù)據(jù))變?yōu)橛糜谛纬奢敵鰣D像數(shù)據(jù)Vout的輸出彩色數(shù)據(jù)Cout。進一步, 用于形成輸入圖像數(shù)據(jù)Vin的輸入亮度數(shù)據(jù)Yin不加以變化地變?yōu)橛糜谛纬奢敵鰣D像數(shù)據(jù) Vout的輸出亮度數(shù)據(jù)^ut。如上所述,在圖14所示的圖像處理設備100D中,基于面部檢測部分105中獲得的 關于面部圖像區(qū)域的信息Iarf,在面部信息提取部分111中提取出關于面部圖像的圖像信 息Ifa。進一步,通過從關于面部圖像的圖像信息Ifa之中使用色彩飽和度信息(二維UV 直方圖)而生成色彩飽和度控制信號CN6。因而,可以調節(jié)整個屏幕的色彩飽和度,以便面 部圖像的色彩飽和度變?yōu)轭A定級別的色彩飽和度。在圖像處理設備100D中,由于人的視覺 特性對于面部高度敏感,因此可以僅通過面部圖像區(qū)域的色彩飽和度直方圖的變化來處理 整個屏幕的色彩飽和度,以便實現(xiàn)高畫質。
進一步,在圖14所示的圖像處理設備100D中,當在色彩飽和度控制器133中生成 色彩飽和度控制信號CN6時,使用面部信息保留部分112中所保留的關于面部圖像的圖像 信息Ifa。為此,即使在面部檢測部分105中未檢測到面部圖像區(qū)域的幀的情況下,色彩飽 和度控制器133也穩(wěn)定地生成色彩飽和度控制信號CN6,并且可以穩(wěn)定地執(zhí)行色彩飽和度 調節(jié)。另外,在圖14所示的圖像處理設備100D中,以與圖9中所示圖像處理設備100A類 似的方式,可以實現(xiàn)通過對每個場景變化執(zhí)行關于面部信息保留部分112中的保留信息的 更新等所實現(xiàn)的效果。第六實施方式[圖像處理設備的配置]圖15是圖示根據(jù)第六實施方式的圖像處理設備100E的配置示例的圖。在圖15 中,與圖9中的那些元件對應的元件被賦予了相同的附圖標記。圖像處理設備100E包括色 調調節(jié)器141和色調控制器142。進一步,圖像處理設備100E包括面部檢測部分105、面部 信息提取部分111、面部信息保留部分112、遮蓋區(qū)域創(chuàng)建部分113、空間濾波器107和場景 變化檢測部分114。在圖像處理設備100E中,面部檢測部分105、面部信息提取部分111、面部信息保 留部分112、遮蓋區(qū)域創(chuàng)建部分113、空間濾波器107和場景變化檢測部分114與圖9所示 圖像處理設備100A中的相同。因而省略其詳細描述。色調調節(jié)器141對用于形成輸入圖像數(shù)據(jù)Vin的輸入彩色數(shù)據(jù)(紅色差數(shù)據(jù)和藍 色差數(shù)據(jù))Cin執(zhí)行色調調節(jié)處理。例如,色調調節(jié)器141配備有分別對輸入彩色數(shù)據(jù)Cin 中的紅色差數(shù)據(jù)和藍色差數(shù)據(jù)進行放大的兩個加減放大器,并且通過單獨地調節(jié)每個加減 放大器的增益來執(zhí)行色調調節(jié)。色調調節(jié)器141的色調調節(jié)處理由色調控制器142中生成 的色調控制信號CN7控制。色調控制器142通過從關于面部圖像的圖像信息Ifa (其在面部信息提取部分111 中提取并保留在面部信息保留部分112中)之中使用色調信息(二維UV直方圖)而生成 色調控制信號CN7。進一步,色調控制器142基于空間濾波器107中獲得的濾波之后的遮蓋 區(qū)域信號Smsk’而生成色調控制信號CN7。色調控制器142生成色調控制信號CN7,其用于 使得色調調節(jié)器141能夠執(zhí)行色調調節(jié)處理以便面部圖像的色調變?yōu)轭A定級別的色調,并 且使得色調調節(jié)器141能夠僅在重新配置的面部圖像區(qū)域中執(zhí)行色調調節(jié)處理。所述預定 的色調是固定值或用戶設置值。圖15所示圖像處理設備100E的其它配置與圖9所示圖像 處理設備100A中的相同。將描述圖15中所示的圖像處理設備100E的操作。將用于形成輸入圖像數(shù)據(jù)Vin 的輸入彩色數(shù)據(jù)Cin提供至色調調節(jié)器141。色調調節(jié)器141的色調調節(jié)處理由色調控制 器142提供的色調控制信號CN7控制。如上所述,色調控制信號CN7使得能夠進行色調調 節(jié)處理以便面部圖像的色調變?yōu)轭A定級別的色調,并且使得能夠僅在重新配置的面部圖像 區(qū)域中進行色調調節(jié)處理。為此,色調調節(jié)器141執(zhí)行色調調節(jié)處理以便面部圖像的色調僅在重新配置的面 部圖像區(qū)域中變?yōu)轭A定級別的色調。色調調節(jié)器141的輸出彩色數(shù)據(jù)(紅色差數(shù)據(jù)和藍色 差數(shù)據(jù))變?yōu)橛糜谛纬奢敵鰣D像數(shù)據(jù)Vout的輸出彩色數(shù)據(jù)Cout。用于形成輸入圖像數(shù)據(jù) Vin的輸入亮度數(shù)據(jù)Yin不加以變化地變?yōu)橛糜谛纬奢敵鰣D像數(shù)據(jù)Vout的輸出亮度數(shù)據(jù)Yout0如上所述,在圖15所示的圖像處理設備IOOE中,基于面部檢測部分105中獲得的 關于面部圖像區(qū)域的信息Iarf,在面部信息提取部分111中提取出關于面部圖像的圖像信 息Ifa。進一步,通過從關于面部圖像的圖像信息Ifa之中使用色調信息(二維UV直方圖) 而生成色調控制信號CN7。為此,可以在面部圖像區(qū)域中執(zhí)行高精度的色調調節(jié),以便面部 圖像的色調變?yōu)轭A定級別的色調。進一步,在圖15所示的圖像處理設備100E中,當在色調控制器142中生成色調控 制信號CN7時,使用面部信息保留部分112中所保留的關于面部圖像的圖像信息Ifa。為 此,即使在面部檢測部分105中未檢測到面部圖像區(qū)域的幀的情況下,色調控制器142也穩(wěn) 定地生成色調控制信號CN7,并且可以穩(wěn)定地執(zhí)行色調調節(jié)。另外,在圖15所示的圖像處理設備100E中,以與圖9中所示圖像處理設備100A 類似的方式,可以實現(xiàn)空間濾波器107所引起的效果,所述效果是通過對每個場景變化執(zhí) 行關于面部信息保留部分112的保留信息的更新等而實現(xiàn)的。第七實施方式[圖像處理設備的配置]圖16是圖示根據(jù)第七實施方式的圖像處理設備100F的配置的圖。在圖16中,與 圖9和15中的那些元件對應的元件被賦予了相同的附圖標記。圖像處理設備100F包括色 調調節(jié)器141和色調控制器143。進一步,圖像處理設備100F包括面部檢測部分105、面部 信息提取部分111、面部信息保留部分112和場景變化檢測部分114。在圖像處理設備100F中,色調調節(jié)器141、面部檢測部分105、面部信息提取部分 111、面部信息保留部分112和場景變化檢測部分114與圖9和15所示圖像處理設備100E 中的相同。因而省略其詳細描述。色調調節(jié)器141的色調調節(jié)處理由色調控制器143中生成的色調控制信號CN8控 制。色調控制器143通過從關于面部圖像的圖像信息Ifa(其在面部信息提取部分111中 提取并保留在面部信息保留部分112中)之中使用色調信息(二維UV直方圖)而生成色 調控制信號CN8。進一步,色調控制器143生成色調控制信號CN8,其用于使得色調調節(jié)器 141能夠執(zhí)行色調處理以便面部圖像的色調變?yōu)轭A定級別的色調。圖16所示圖像處理設備 100F的其它配置與圖9和15所示圖像處理設備100A中的相同。將描述圖16中所示的圖像處理設備100F的操作。將用于形成輸入圖像數(shù)據(jù)Vin 的輸入彩色數(shù)據(jù)Cin提供至色調調節(jié)器141。色調調節(jié)器141的色調調節(jié)處理由色調控制 器143提供的色調控制信號CN8控制。如上所述,色調控制信號CN8使得能夠進行色調調 節(jié)處理以便面部圖像的色調變?yōu)轭A定級別的色調。為此,色調調節(jié)器141在整個屏幕中執(zhí)行色調調節(jié)處理以便面部圖像的色調變?yōu)?預定級別的色調。色調調節(jié)器141的輸出彩色數(shù)據(jù)(紅色差數(shù)據(jù)和藍色差數(shù)據(jù))變?yōu)橛糜?形成輸出圖像數(shù)據(jù)Vout的輸出彩色數(shù)據(jù)Cout。用于形成輸入圖像數(shù)據(jù)Vin的輸入亮度數(shù) 據(jù)Yin不加以變化地變?yōu)橛糜谛纬奢敵鰣D像數(shù)據(jù)Vout的輸出亮度數(shù)據(jù)^ut。如上所述,在圖16所示的圖像處理設備100F中,基于面部檢測部分105中獲得的 關于面部圖像區(qū)域的信息Iarf,在面部信息提取部分111中提取出關于面部圖像的圖像信 息Ifa。進一步,通過從關于面部圖像的圖像信息Ifa之中使用色調信息(二維UV直方圖)而生成色調控制信號CN8。為此,可以調節(jié)整個屏幕的色調,以便面部圖像的色調變?yōu)轭A定 級別的色調。在圖像處理設備100F中,由于人的視覺特性對于面部高度敏感,因此可以僅 通過面部圖像區(qū)域的色調直方圖的變化來處理整個屏幕的色調,以便實現(xiàn)高畫質。另外,在圖16所示的圖像處理設備100F中,當在色調控制器143中生成色調控制 信號CN8時,使用面部信息保留部分112中所保留的關于面部圖像的圖像信息Ifa。為此, 即使在面部檢測部分105中未檢測到面部圖像區(qū)域的幀的情況下,色調控制器143也穩(wěn)定 地生成色調控制信號CN8,并且可以穩(wěn)定地執(zhí)行色調調節(jié)。進一步,在圖16所示的圖像處理 設備100F中,以與圖9中所示圖像處理設備100A類似的方式,可以實現(xiàn)通過對每個場景變 化執(zhí)行關于面部信息保留部分112中的保留信息的更新等所實現(xiàn)的效果。第八實施方式[圖像處理設備的配置]圖17是圖示根據(jù)第八實施方式的圖像處理設備100G的配置的圖。在圖17中,與 圖9中的那些元件對應的元件被賦予了相同的附圖標記。圖像處理設備100G包括對比度 校正部分151、全屏信息提取部分153。進一步,圖像處理設備100G包括面部檢測部分105、 面部信息提取部分111、面部信息保留部分112和場景變化檢測部分114。在圖像處理設備100G中,面部檢測部分105、面部信息提取部分111、面部信息保 留部分112和場景變化檢測部分114與圖9所示圖像處理設備100A中的相同。因而省略 其詳細描述。對比度校正部分151對用于形成輸入圖像數(shù)據(jù)Vin的輸入亮度數(shù)據(jù)Yin執(zhí)行對比 度校正處理。對比度校正部分151基于對比度控制器152中所生成的輸入輸出特性曲線 (校正曲線)CN9,通過將輸入亮度數(shù)據(jù)Yin轉換為輸出亮度數(shù)據(jù)^ut來執(zhí)行對比度校正處理。全屏信息提取部分153基于輸入亮度數(shù)據(jù)Yin創(chuàng)建整個屏幕的亮度直方圖,并且 將其信息Iahs發(fā)送至對比度控制器152。對比度控制器152基本上基于全屏信息提取部分 153提供的整個屏幕的亮度直方圖的信息Iahs,創(chuàng)建輸入輸出特性曲線(校正曲線)CN9。例如,在低亮度區(qū)域(黑電平區(qū)域)的頻率高的情況下,創(chuàng)建輸入輸出特性曲線 CN9以使得低亮度區(qū)域的對比度加寬。進一步,例如,在高亮度區(qū)域(白電平區(qū)域)的頻率 高的情況下,創(chuàng)建輸入輸出特性曲線CN9以使得高亮度區(qū)域的對比度加寬。另外,例如,在 中間亮度區(qū)域的頻率高的情況下,創(chuàng)建輸入輸出特性曲線CN9以使得中間亮度區(qū)域的對比 度加寬。進一步,對比度控制器152通過從關于面部圖像的圖像信息Ifa(其在面部信息提 取部分111中提取并保留在面部信息保留部分112中)之中使用亮度直方圖而生成輸入輸 出特性曲線CN9。在這種情況下,對比度控制器152校正輸入輸出特性曲線CN9,以使得在 面部圖像區(qū)域中不產生曝光不足或過度曝光。例如,在如圖18A所示的幀圖像的情況下,高亮度區(qū)域(白電平區(qū)域)的頻率在整 個屏幕的亮度直方圖中變?yōu)楦?。為此,在對比度校正部?51中,如圖18B中所示,基本上 創(chuàng)建輸入輸出特性曲線CN9以使得高亮度區(qū)域的對比度加寬。然而,在未加以變化地使用 輸入輸出特性曲線CN9的情況下,如圖18C中所示,從一開始就在低亮度區(qū)域中的面部圖像 區(qū)域中產生曝光不足。
進一步,例如,在如圖19A所示的幀圖像的情況下,低亮度區(qū)域(黑電平區(qū)域)的 頻率在整個屏幕的亮度直方圖中變?yōu)楦?。為此,在對比度校正部?51中,如圖19B中所示, 基本上創(chuàng)建輸入輸出特性曲線CN9以使得低亮度區(qū)域的對比度加寬。然而,在未加以變化 地使用輸入輸出特性曲線CN9的情況下,如圖19C中所示,從一開始就在高亮度區(qū)域中的面 部圖像區(qū)域中產生過度曝光。進一步,例如,在如圖20A所示的幀圖像(其與圖18A中的相同)中創(chuàng)建如圖20B 所示的輸入輸出特性曲線CN9(其與圖18B中的相同)的情況下,將執(zhí)行下列校正。即,對 于如圖20B所示的輸入輸出特性曲線CN9,基于面部圖像的亮度直方圖來校正輸入輸出特 性曲線CN9以使得低亮度區(qū)域中的面部圖像區(qū)域的對比度加寬(如圖20C所示)。在使用 經校正的輸入輸出特性曲線CN9的情況下(如圖20D中所示),低亮度區(qū)域中的面部圖像區(qū) 域中不會產生曝光不足。盡管未描述,但是例如即使在基本上如圖19B所示那樣創(chuàng)建輸入輸出特性曲線 CN9的情況下,在如圖19A所示的幀圖像中,也類似地校正輸入輸出特性曲線CN9以便高亮 度區(qū)域中的面部圖像區(qū)域的對比度加寬。圖17所示的圖像處理設備100G的其它配置與圖 9所示的圖像處理設備100A中的相同。將描述圖17中所示的圖像處理設備100G的操作。將用于形成輸入圖像數(shù)據(jù)Vin 的輸入亮度數(shù)據(jù)Yin提供至對比度校正部分151?;趯Ρ榷瓤刂破?52提供的輸入輸出 特性曲線(校正曲線)CN9來執(zhí)行對比度校正部分151中的對比度校正處理。進一步,將輸入亮度數(shù)據(jù)Yin提供至全屏信息提取部分153。全屏信息提取部分 153基于輸入亮度數(shù)據(jù)Yin創(chuàng)建整個屏幕的亮度直方圖,并且將信息Iahs發(fā)送至對比度控 制器152。另外,將關于面部圖像的圖像信息Ifa(其在面部信息提取部分111中提取并保 留在面部信息保留部分112中)之中的關于亮度直方圖的信息發(fā)送至對比度控制器152。對比度控制器152基本上基于全屏信息提取部分153提供的關于整個屏幕的亮度 直方圖的信息Iahs,創(chuàng)建輸入輸出特性曲線(校正曲線)CN9。進一步,對比度控制器152 基于面部圖像的亮度直方圖來創(chuàng)建輸入輸出特性曲線CN9,以使得面部圖像區(qū)域的對比度 加寬。另外,將以此方式在對比度控制器152中生成的輸入輸出特性曲線CN9提供至對比 度校正部分151。對比度校正部分151的輸出亮度數(shù)據(jù)變?yōu)橛糜谛纬奢敵鰣D像數(shù)據(jù)Vout的輸出亮 度數(shù)據(jù)^ut。進一步,用于形成輸入圖像數(shù)據(jù)Vin的輸入彩色數(shù)據(jù)Cin不加以變化地變?yōu)?用于形成輸出圖像數(shù)據(jù)Vout的輸出彩色數(shù)據(jù)Cout。如上所述,在圖17所示的圖像處理設備100G中,基于面部檢測部分105中獲得的 關于面部圖像區(qū)域的信息Iarf,在面部信息提取部分111中提取出關于面部圖像的圖像信 息Ifa。進一步,基于關于面部圖像的圖像信息Ifa之中的亮度直方圖,校正對比度控制器 152中所生成的輸入輸出特性曲線CN9以使得面部圖像區(qū)域的對比度加寬。于是,可以執(zhí)行 更好的對比度校正。進一步,在圖17所示的圖像處理設備100G中,當在對比度控制器152中校正輸入 輸出特性曲線CN9時,使用面部信息保留部分112中所保留的面部圖像的亮度直方圖。為 此,即使在面部檢測部分105中未檢測到面部圖像區(qū)域的幀的情況下,對比度控制器152也 穩(wěn)定地生成輸入輸出特性曲線CN9,因而可以實現(xiàn)穩(wěn)定的對比度校正。另外,在圖17所示的圖像處理設備100G中,以與圖9中所示圖像處理設備100A類似的方式,可以實現(xiàn)通過對每 個場景變化執(zhí)行關于面部信息保留部分112的保留信息的更新等所實現(xiàn)的效果。第九實施方式[圖像處理設備的配置]圖21是圖示根據(jù)第九實施方式的圖像處理設備100H的配置的圖。在圖21中,與 圖9和17中的那些元件對應的元件被賦予了相同的附圖標記。圖像處理設備100H包括非 線性濾波器101、減法器102、加減放大器103和加法器104。進一步,圖像處理設備100H 包括面部檢測部分105、面部信息提取部分111、面部信息保留部分112、遮蓋區(qū)域創(chuàng)建部分 113、空間濾波器107、增益控制器108和場景變化檢測部分114。另外,圖像處理設備100H 包括對比度校正部分151、全屏信息提取部分153和控制器161。在圖像處理設備100H中,非線性濾波器101、減法器102、加減放大器103和加法 器104與圖9所示圖像處理設備100A中的相同。因而省略其詳細描述。進一步,在圖像處 理設備100H中,面部檢測部分105、面部信息提取部分111、面部信息保留部分112、遮蓋區(qū) 域創(chuàng)建部分113、空間濾波器107和場景變化檢測部分114與圖9所示圖像處理設備100A 中的相同。另外,在圖像處理設備100H中,對比度校正部分151和全屏信息提取部分153 與圖17所示圖像處理設備100G中的相同。對比度校正部分151對非線性濾波器101中生成的結構分量STl執(zhí)行對比度校 正處理。對比度校正部分151基于控制器161中所生成的輸入輸出特性曲線(校正曲線) CN9,通過將結構分量STl轉換為結構分量ST2來執(zhí)行對比度校正處理。控制器161生成與空間濾波器107中獲得的濾波之后的遮蓋區(qū)域信號Smsk’相對 應的增益控制信號CN3,并且將增益控制信號CN3提供至加減放大器103。在這種情況下, 加減放大器103的增益變?yōu)榕c增益控制信號CN3的電平成比例的值。進一步,控制器161基本上基于全屏信息提取部分153提供的關于整個屏幕的亮 度直方圖的信息Iahs,創(chuàng)建輸入輸出特性曲線(校正曲線)CN9。另外,控制器161通過使 用面部圖像的亮度直方圖(其在面部信息提取部分111中提取并保留在面部信息保留部分 112中)來校正輸入輸出特性曲線CN9,以使得面部圖像區(qū)域的對比度加寬。圖21所示圖 像處理設備100H的其它配置與圖9所示圖像處理設備100A中的以及圖17所示圖像處理 設備100G中的相同。將描述圖21中所示的圖像處理設備100H的操作。將用于形成輸入圖像數(shù)據(jù)Vin 的輸入亮度數(shù)據(jù)Yin提供至非線性濾波器101。非線性濾波器101在保持邊緣的同時對輸 入亮度數(shù)據(jù)Yin進行平滑,并且生成作為平滑后的數(shù)據(jù)的結構分量ST1。進一步,將輸入亮度數(shù)據(jù)Yin提供至減法器102。還將非線性濾波器101中生成的 結構分量STl提供至減法器102。減法器102從輸入亮度數(shù)據(jù)Yin中減去結構分量STl以 獲得作為輸出數(shù)據(jù)的紋理分量TX1。將減法器102中獲得的紋理分量TXl提供至加減放大器103。加減放大器103將 紋理分量TXl進行放大以獲得放大后的紋理分量TX2。例如,根據(jù)用戶的顯示模式選擇操作 來確定加減放大器103的基本增益。將加減放大器103中獲得的紋理分量TX2提供至加法 器 104。進一步,將非線性濾波器101中生成的結構分量STl提供至對比度校正部分151。對比度校正部分151基于控制器161提供的輸入輸出特性曲線(校正曲線)CN9,對結構分 量STl執(zhí)行對比度校正處理。將輸出自對比度校正部分151的結構分量ST2提供至加法器104。加法器104將紋理分量TX2加至結構分量ST2以獲得用于形成輸出圖像數(shù)據(jù)Vout 的輸出亮度數(shù)據(jù)樸此。進一步,用于形成輸入圖像數(shù)據(jù)Vin的輸入彩色數(shù)據(jù)(紅色差數(shù)據(jù) 和藍色差數(shù)據(jù))Cin不加以變化地變?yōu)橛糜谛纬奢敵鰣D像數(shù)據(jù)Vout的輸出彩色數(shù)據(jù)Cout。進一步,將用于形成輸入圖像數(shù)據(jù)Vin的輸入亮度數(shù)據(jù)Yin提供至面部檢測部分105。面部檢測部分105基于輸入亮度數(shù)據(jù)Yin針對每一幀檢測面部圖像,并且獲得關于存 在面部圖像的面部圖像區(qū)域的信息Iarf,例如面部檢測框信息(位置信息和尺寸信息)。將 關于面部圖像區(qū)域的信息Iarf提供至面部信息提取部分111。面部信息提取部分111基于面部檢測部分105中獲得的關于面部圖像區(qū)域的信 息Iarf,針對每一幀從輸入亮度數(shù)據(jù)Yin和輸入彩色數(shù)據(jù)Cin中提取面部圖像的圖像信息 Ifa0例如,面部信息提取部分111將面部圖像區(qū)域的亮度直方圖和二維UV直方圖測量為 面部圖像信息Ifa。以此方式,將面部信息提取部分111中所提取出的關于面部圖像的圖像 信息Ifa提供至面部信息保留部分112。面部信息保留部分112保留面部信息提取部分111提供的關于面部圖像的圖像 信息Ifa。在這種情況下,每當基于來自場景變化檢測部分114的場景變化檢測信號khd 而在每當圖像狀態(tài)變化時檢測到場景變化時,面部信息保部分112更新面部信息提取部分 111中提取出的關于面部圖像的圖像信息Ifa的保留內容。遮蓋區(qū)域創(chuàng)建部分113基于輸入亮度數(shù)據(jù)Yin和輸入彩色數(shù)據(jù)Cin,針對每一幀檢 測其中存在面部信息保留部分112中保留的關于面部圖像的圖像信息Ifa所對應的圖像的 圖像區(qū)域,作為重新配置的圖像區(qū)域。進一步,遮蓋區(qū)域創(chuàng)建部分113例如基于與重新配置 的圖像區(qū)域有關的信息而創(chuàng)建這樣的遮蓋區(qū)域信號Smsk 其在重新配置的面部圖像區(qū)域 中變?yōu)楦唠娖?,而在其它區(qū)域中變?yōu)榈碗娖健⒄谏w區(qū)域創(chuàng)建部分113中創(chuàng)建的遮蓋區(qū)域信號Smsk輸入至空間濾波器107,其 然后在水平方向和垂直方向上對遮蓋區(qū)域信號Smsk執(zhí)行低通濾波處理。通過該處理,電平 在水平方向和垂直方向上快速變化的一部分遮蓋區(qū)域信號Smsk平滑地變化。將空間濾波 器107中獲得的濾波之后的遮蓋區(qū)域信號Smsk’提供至控制器161??刂破?61生成與遮蓋區(qū)域信號Smsk’對應的增益控制信號CN3,并且將增益控制 信號CN3提供給加減放大器103。在這種情況下,加減放大器103的增益變?yōu)榕c增益控制信 號CN3的電平成比例的值。例如,在選擇了通過增大加減放大器103的基本增益來改善紋理的顯示模式的情 況下,控制器161以圖2A中所示的對應關系,生成與遮蓋區(qū)域信號Smsk’對應的增益控制 信號CN3。為此,在這種情況下,由于加減放大器103的基本增益增大,因此紋理在整體上增 大。然而在重新配置的面部圖像區(qū)域中,增益控制信號CN3變小,因而加減放大器103的增 益相對受到抑制。于是,可以防止由于面部圖像中過于加重的紋理所引起的奇怪的感覺,從 而獲得適當?shù)募y理。進一步,例如,在選擇了通過減小加減放大器103的基本增益來相對抑制紋理的 顯示模式的情況下,控制器161以圖2B中所示的對應關系,生成與遮蓋區(qū)域信號Smsk’對應的增益控制信號CN3。為此,在這種情況下,由于加減放大器103的基本增益減小,因此紋 理在整體上相對受到抑制。然而在重新配置的面部圖像區(qū)域中,增益控制信號CN3變大,因 而加減放大器103的增益相對增大。于是,對于作為主要對象的面部圖像,紋理增大,從而 獲得適當?shù)募y理。進一步,將輸入亮度數(shù)據(jù)Yin提供至全屏信息提取部分153。全屏信息提取部分 153基于輸入亮度數(shù)據(jù)Yin創(chuàng)建整個屏幕的亮度直方圖,然后將信息Iahs發(fā)送至控制器 161。另外,將關于面部圖像的圖像信息Ifa(其在面部信息提取部分111中提取出并保留 在面部信息保留部分112中)之中的關于亮度直方圖的信息發(fā)送至控制器161。控制器161基本上基于全屏信息提取部分153提供的關于整個屏幕的亮度直方圖 的信息Iahs,創(chuàng)建輸入輸出特性曲線(校正曲線)CN9。進一步,控制器161基于面部圖像 的亮度直方圖創(chuàng)建輸入輸出特性曲線CN9,以使得面部圖像區(qū)域的對比度加寬。另外,將以 此方式在控制器161中生成的輸入輸出特性曲線CN9提供至對比度校正部分151。對比度 校正部分151基于校正后的輸入輸出特性曲線CN9執(zhí)行對比度校正。如上所述,在圖21所示的圖像處理設備100H中,基本上,基于面部檢測部分105 中所獲得的關于面部圖像區(qū)域的信息Iarf,在控制器161中生成加減放大器103的增益控 制信號CN3。為此,在存在面部圖像的面部圖像區(qū)域中,以相對于其它區(qū)域相對低或高的級 別控制加減放大器103的增益。于是,與加減放大器103的基本增益設置所引起的整體紋 理的級別無關,都可以為面部圖像獲得適當?shù)募y理。進一步,在圖21所示的圖像處理設備100H中,基于面部檢測部分105中獲得的關 于面部圖像區(qū)域的信息Iarf,在面部信息提取部分111中提取出關于面部圖像的圖像信息 Ifa0進一步,遮蓋區(qū)域創(chuàng)建部分113檢測其中存在與關于面部圖像的圖像信息Ifa相對應 的圖像的圖像區(qū)域,作為重新配置的圖像區(qū)域,并且基于與重新配置的圖像區(qū)域有關的信 息來創(chuàng)建遮蓋區(qū)域信號Smsk。重新配置的圖像區(qū)域也包括其中存在面部檢測部分105中未檢測到的面部圖像 的面部圖像區(qū)域。為此,即使在面部檢測部分105中存在側面面對的面部圖像等中的面部 圖像區(qū)域的錯誤否定的情況下,也可以使得所有的面部圖像區(qū)域包括在重新配置的圖像區(qū) 域中。于是,即使在面部檢測部分105中的面部圖像區(qū)域的錯誤否定的情況下,也可以與輸 入圖像中所包括的所有面部圖像區(qū)域相對應地適當控制加減放大器103的增益,從而為圖 像中包括的所有面部圖像都獲得適當?shù)募y理。進一步,在圖21所示的圖像處理設備100H中,遮蓋區(qū)域創(chuàng)建部分113基于面部信 息提取部分111中提取出的關于面部圖像的圖像信息Ifa,從輸入亮度數(shù)據(jù)Yin和輸入彩色 數(shù)據(jù)Cin檢測重新配置的圖像區(qū)域。為此,即使在面部檢測部分105的檢測需要若干幀的 情況下,重新配置的圖像區(qū)域也包括輸入圖像數(shù)據(jù)Vin的當前幀中包括面部圖像的面部圖 像區(qū)域。于是,在圖21所示的圖像處理設備100H中,即使在輸入圖像數(shù)據(jù)Vin是運動圖像 數(shù)據(jù)以及面部圖像區(qū)域正在運動的情況下,也可以與輸入圖像中包括的所有面部圖像區(qū)域 對應地適當控制加減放大器103的增益。因而,可以為輸入圖像中包括的所有面部圖像都 獲得適當?shù)募y理。進一步,在圖21所示的圖像處理設備100H中,基于面部檢測部分105中獲得的關于面部圖像區(qū)域的信息Iarf,在面部信息提取部分111中提取出關于面部圖像的圖像信息 Ifa0另外,基于關于面部圖像的圖像信息Ifa之中的亮度直方圖,校正對比度控制器152 中生成的輸入輸出特性曲線CN9以使得面部圖像區(qū)域的對比度加寬。因而,可以執(zhí)行更好 的對比度校正。進一步,在圖21所示的圖像處理設備100H中,當在控制器161中校正輸入輸出特 性曲線CN9時,使用面部信息保留部分112中所保留的面部圖像的亮度直方圖。為此,即使 在面部檢測部分105中未檢測到面部圖像區(qū)域的幀的情況下,控制器161也穩(wěn)定地生成輸 入輸出特性曲線CN9,因而可以執(zhí)行穩(wěn)定的對比度校正。另外,在圖21所示的圖像處理設備100H中,將對比度校正部分151安排在結構分 量的路徑中。因而,可以在不改變面部圖像的紋理的情況下執(zhí)行對比度校正。進一步,在圖 21所示的圖像處理設備100H中,以與圖9中所示圖像處理設備100A類似的方式,可以實現(xiàn) 面部信息保留部分112和空間濾波器107所引起的效果,所述效果是通過對每個場景變化 執(zhí)行關于面部信息保留部分112的保留信息的更新等而實現(xiàn)的。本申請包含與2009年10月23日向日本專利局提交的日本優(yōu)先權專利申請JP 2009-244660中公開的主題有關的主題,將其全部內容通過引用的方式合并在此。本領域技術人員應當理解,依據(jù)設計要求和其它因素,可出現(xiàn)各種修改、組合、部 分組合和變更,只要其在所附權利要求書及其等效物的范圍內即可。
權利要求
1.一種圖像處理設備,包括數(shù)據(jù)處理部分,其處理輸入圖像數(shù)據(jù)并獲得輸出圖像數(shù)據(jù);面部檢測部分,其基于所述輸入圖像數(shù)據(jù)來檢測面部圖像,并且獲得關于存在面部圖 像的面部圖像區(qū)域的信息;以及處理控制器,其基于面部檢測部分中獲得的關于面部圖像區(qū)域的信息,來控制數(shù)據(jù)處 理部分的處理。
2.如權利要求1所述的設備, 其中,所述處理控制器包括面部信息提取部分,其基于面部檢測部分中獲得的關于面部圖像區(qū)域的信息,從所述 輸入圖像數(shù)據(jù)中提取出關于面部圖像的圖像信息;以及圖像區(qū)域檢測部分,其基于所述輸入圖像數(shù)據(jù),檢測存在與面部信息提取部分中提取 出的圖像信息相對應的圖像的圖像區(qū)域,所述處理控制器基于關于圖像區(qū)域檢測部分中檢測到的圖像區(qū)域的信息,來控制數(shù)據(jù) 處理部分的處理。
3.如權利要求2所述的設備,其中,所述面部檢測部分基于所述輸入圖像數(shù)據(jù),針對每一預定數(shù)目的幀來檢測面部 圖像,并且獲得存在面部圖像的面部圖像區(qū)域,其中,所述處理控制器的面部信息提取部分針對每一幀,基于面部檢測部分中獲得的 關于面部圖像區(qū)域的信息,從所述輸入圖像數(shù)據(jù)中提取出關于面部圖像的圖像信息,其中,所述處理控制器進一步包括面部信息保留部分,其保留面部信息提取部分中所 提取出的圖像信息,并且其中,所述處理控制器的圖像區(qū)域檢測部分基于所述輸入圖像數(shù)據(jù),檢測存在與面部 信息保留部分中保留的圖像信息相對應的圖像的圖像區(qū)域。
4.如權利要求3所述的設備,進一步包含圖像狀態(tài)變化檢測部分,其基于所述輸入圖像數(shù)據(jù)來檢測圖像狀態(tài)的變化,其中,每當在圖像狀態(tài)變化檢測部分中檢測到圖像狀態(tài)的變化時,所述處理控制器的 面部信息保留部分根據(jù)面部信息提取部分中提取出的圖像信息,來更新保留內容。
5.如權利要求1或2所述的設備, 其中,所述數(shù)據(jù)處理部分包括平滑部分,其在保持邊緣的同時對所述輸入圖像數(shù)據(jù)進行平滑,以生成平滑后的圖像 數(shù)據(jù);減法部分,其從所述輸入圖像數(shù)據(jù)中減去平滑部分中所生成的平滑后的圖像數(shù)據(jù); 放大部分,其對減法部分的輸出數(shù)據(jù)進行放大;以及加法部分,其將平滑部分中生成的平滑后的圖像數(shù)據(jù)加至放大部分的輸出數(shù)據(jù),以獲 得所述輸出圖像數(shù)據(jù),并且其中,所述處理控制器控制放大部分的增益。
6.如權利要求2所述的設備, 其中,所述數(shù)據(jù)處理部分包括高頻分量提取部分,其從所述輸入圖像數(shù)據(jù)中提取高頻分量; 放大部分,其對高頻分量提取部分中提取出的高頻分量進行放大;以及 加法部分,其將放大部分的輸出數(shù)據(jù)加至所述輸入圖像數(shù)據(jù),以獲得所述輸出圖像數(shù) 據(jù),并且其中,所述處理控制器控制放大部分的增益。
7.如權利要求1所述的設備,其中,所述數(shù)據(jù)處理部分包括色彩飽和度調節(jié)部分,其對所述輸入圖像數(shù)據(jù)執(zhí)行色彩 飽和度調節(jié)處理,以獲得所述輸出圖像數(shù)據(jù),并且 其中,所述處理控制器包括面部信息提取部分,其基于面部檢測部分中獲得的關于面部圖像區(qū)域的信息,從所述 輸入圖像數(shù)據(jù)中提取出關于面部圖像的圖像信息;以及圖像區(qū)域檢測部分,其基于所述輸入圖像數(shù)據(jù),檢測存在與面部信息提取部分中提取 出的圖像信息相對應的圖像的圖像區(qū)域,所述處理控制器基于關于圖像區(qū)域檢測部分中檢測到的圖像區(qū)域的信息和面部信息 提取部分中提取出的圖像信息中所包括的色彩飽和度信息,來控制色彩飽和度調節(jié)部分中 的色彩飽和度調節(jié)量。
8.如權利要求7所述的設備,其中,所述面部檢測部分基于所述輸入圖像數(shù)據(jù),針對每一預定數(shù)目的幀來檢測面部 圖像,并且獲得關于存在面部圖像的面部圖像區(qū)域的信息,其中,所述處理控制器的面部信息提取部分針對每一幀,基于面部檢測部分中獲得的 關于面部圖像區(qū)域的信息,從所述輸入圖像數(shù)據(jù)中提取出關于面部圖像的圖像信息,其中,所述處理控制器進一步包括面部信息保留部分,其保留面部信息提取部分中所 提取出的圖像信息,其中,所述處理控制器的圖像區(qū)域檢測部分基于所述輸入圖像數(shù)據(jù),檢測存在與面部 信息保留部分中保留的圖像信息相對應的圖像的圖像區(qū)域,并且其中,所述處理控制器基于關于圖像區(qū)域檢測部分中檢測到的圖像區(qū)域的信息和面部 信息保留部分中保留的圖像信息中所包括的色彩飽和度信息,來控制色彩飽和度調節(jié)部分 中的色彩飽和度調節(jié)量。
9.如權利要求1所述的設備,其中,所述數(shù)據(jù)處理部分包括色彩飽和度調節(jié)部分,其對所述輸入圖像數(shù)據(jù)執(zhí)行色彩 飽和度調節(jié)處理,以獲得所述輸出圖像數(shù)據(jù),并且其中,所述處理控制器包括面部信息提取部分,其基于面部檢測部分中獲得的關于面 部圖像區(qū)域的信息,從所述輸入圖像數(shù)據(jù)中提取出關于面部圖像的圖像信息,所述處理控制器基于面部信息提取部分中提取出的圖像信息中所包括的色彩飽和度 信息,來控制色彩飽和度調節(jié)部分中的色彩飽和度調節(jié)量。
10.如權利要求9所述的設備,其中,所述面部檢測部分基于所述輸入圖像數(shù)據(jù),針對每一預定數(shù)目的幀來檢測面部 圖像,并且獲得關于存在面部圖像的面部圖像區(qū)域的信息,其中,所述處理控制器的面部信息提取部分針對每一幀,基于面部檢測部分中獲得的關于面部圖像區(qū)域的信息,從所述輸入圖像數(shù)據(jù)中提取出關于面部圖像的圖像信息,其中,所述處理控制器進一步包括面部信息保留部分,其保留面部信息提取部分中所 提取出的圖像信息,并且其中,所述處理控制器基于面部信息保留部分中保留的圖像信息中所包括的色彩飽和 度信息,來控制色彩飽和度調節(jié)部分中的色彩飽和度調節(jié)量。
11.如權利要求1所述的設備,其中,所述數(shù)據(jù)處理部分包括色調調節(jié)部分,其對所述輸入圖像數(shù)據(jù)執(zhí)行色調調節(jié)處 理,以獲得所述輸出圖像數(shù)據(jù),并且 其中,所述處理控制器包括面部信息提取部分,其基于面部檢測部分中獲得的關于面部圖像區(qū)域的信息,從所述 輸入圖像數(shù)據(jù)中提取出關于面部圖像的圖像信息,圖像區(qū)域檢測部分,其基于所述輸入圖像數(shù)據(jù),檢測存在與面部信息提取部分中提取 出的圖像信息相對應的圖像的圖像區(qū)域,所述處理控制器基于關于圖像區(qū)域檢測部分中檢測到的圖像區(qū)域的信息和面部信息 提取部分中提取出的圖像信息中所包括的色調信息,來控制色調調節(jié)部分中的色調調節(jié) 量。
12.如權利要求11所述的設備,其中,所述面部檢測部分基于所述輸入圖像數(shù)據(jù),針對每一預定數(shù)目的幀來檢測面部 圖像,并且獲得關于存在面部圖像的面部圖像區(qū)域的信息,其中,所述處理控制器的面部信息提取部分針對每一幀,基于面部檢測部分中獲得的 關于面部圖像區(qū)域的信息,從所述輸入圖像數(shù)據(jù)中提取出關于面部圖像的圖像信息,其中,所述處理控制器進一步包括面部信息保留部分,其保留面部信息提取部分中所 提取出的圖像信息,其中,所述處理控制器的圖像區(qū)域檢測部分基于所述輸入圖像數(shù)據(jù),檢測存在與面部 信息保留部分中保留的圖像信息相對應的圖像的圖像區(qū)域,并且其中,所述處理控制器基于關于圖像區(qū)域檢測部分中檢測到的圖像區(qū)域的信息中以及 面部信息保留部分中保留的圖像信息中所包括的色調信息,來控制色調調節(jié)部分中的色調 調節(jié)量。
13.如權利要求1所述的設備,其中,所述數(shù)據(jù)處理部分包括色調調節(jié)部分,其對所述輸入圖像數(shù)據(jù)執(zhí)行色調調節(jié)處 理,以獲得所述輸出圖像數(shù)據(jù),并且其中,所述處理控制器包括面部信息提取部分,其基于面部檢測部分中獲得的關于面 部圖像區(qū)域的信息,從所述輸入圖像數(shù)據(jù)中提取出關于面部圖像的圖像信息,所述處理控制器基于面部信息提取部分中提取出的圖像信息中所包括的色調信息,來 控制色調調節(jié)部分中的色調調節(jié)量。
14.如權利要求13所述的設備,其中,所述面部檢測部分基于所述輸入圖像數(shù)據(jù),針對每一預定數(shù)目的幀來檢測面部 圖像,并且獲得關于存在面部圖像的面部圖像區(qū)域的信息,其中,所述處理控制器的面部信息提取部分針對每一幀,基于面部檢測部分中獲得的關于面部圖像區(qū)域的信息,從所述輸入圖像數(shù)據(jù)中提取出關于面部圖像的圖像信息,其中,所述處理控制器進一步包括面部信息保留部分,其保留面部信息提取部分中所 提取出的圖像信息,并且其中,所述處理控制器基于面部信息保留部分中保留的圖像信息中所包括的色調信 息,來控制色調調節(jié)部分中的色調調節(jié)量。
15.如權利要求1所述的設備,其中,所述數(shù)據(jù)處理部分包括對比度校正部分,其基于用于對比度校正的輸入輸出特 性曲線,對所述輸入圖像數(shù)據(jù)執(zhí)行對比度校正,以獲得所述輸出圖像數(shù)據(jù),并且 其中,所述處理控制器包括面部信息提取部分,其基于面部檢測部分中獲得的關于面部圖像區(qū)域的信息,從所述 輸入圖像數(shù)據(jù)中提取出關于面部圖像的圖像信息;以及亮度信息提取部分,其基于所述輸入圖像數(shù)據(jù),提取關于整個屏幕的亮度信息, 所述處理控制器基于面部信息提取部分中提取出的圖像信息中所包括的亮度信息以 及亮度信息提取部分中提取出的亮度信息,來控制對比度校正部分中所使用的用于對比度 校正的輸入輸出特性曲線。
16.如權利要求15所述的設備,其中,所述面部檢測部分基于所述輸入圖像數(shù)據(jù),針對每一預定數(shù)目的幀來檢測面部 圖像,并且獲得關于存在面部圖像的面部圖像區(qū)域的信息,其中,所述處理控制器的面部信息提取部分針對每一幀,基于面部檢測部分中獲得的 關于面部圖像區(qū)域的信息,從所述輸入圖像數(shù)據(jù)中提取出關于面部圖像的圖像信息,其中,所述處理控制器進一步包括面部信息保留部分,其保留面部信息提取部分中所 提取出的圖像信息,并且其中,所述處理控制器基于面部信息保留部分中保留的圖像信息中所包括的亮度信息 以及亮度信息提取部分中提取出的亮度信息,來控制對比度校正部分中所使用的用于對比 度校正的輸入輸出特性曲線。
17.如權利要求2所述的設備, 其中,所述數(shù)據(jù)處理部分包括平滑部分,其在保持邊緣的同時對所述輸入圖像數(shù)據(jù)進行平滑,以生成平滑后的圖像 數(shù)據(jù);減法部分,其從所述輸入圖像數(shù)據(jù)中減去平滑部分中所生成的平滑后的圖像數(shù)據(jù); 放大部分,其對減法部分的輸出數(shù)據(jù)進行放大;對比度校正部分,其基于用于對比度校正的輸入輸出特性曲線,對平滑部分中生成的 平滑后的圖像數(shù)據(jù)執(zhí)行對比度校正;以及加法部分,其將對比度校正部分的輸出數(shù)據(jù)加至放大部分的輸出數(shù)據(jù),以獲得所述輸 出圖像數(shù)據(jù),并且其中,所述處理控制器進一步包括亮度信息提取部分,其基于所述輸入圖像數(shù)據(jù),提取 關于整個屏幕的亮度信息,所述處理控制器基于關于圖像區(qū)域檢測部分中檢測到的圖像區(qū)域的信息,來控制放大 部分的增益,并且所述處理控制器基于面部信息提取部分中提取出的圖像信息中所包括的亮度信息以 及亮度信息提取部分中提取出的亮度信息,來控制對比度校正部分中所使用的用于對比度 校正的輸入輸出特性曲線。
18.如權利要求17所述的設備,其中,所述面部檢測部分基于所述輸入圖像數(shù)據(jù),針對每一預定數(shù)目的幀來檢測面部 圖像,并且獲得關于存在面部圖像的面部圖像區(qū)域的信息,其中,所述處理控制器的面部信息提取部分針對每一幀,基于面部檢測部分中獲得的 關于面部圖像區(qū)域的信息,從所述輸入圖像數(shù)據(jù)中提取出關于面部圖像的圖像信息,其中,所述處理控制器進一步包括面部信息保留部分,其保留面部信息提取部分中所 提取出的圖像信息,其中,所述處理控制器的圖像區(qū)域檢測部分基于所述輸入圖像數(shù)據(jù),檢測存在與面部 信息保留部分中保留的圖像信息相對應的圖像的圖像區(qū)域,并且其中,所述處理控制器基于面部信息保留部分中保留的圖像信息中所包括的亮度信息 以及亮度信息提取部分中提取出的亮度信息,來控制對比度校正部分中所使用的用于對比 度校正的輸入輸出特性曲線。
19.一種圖像處理方法,其包含以下步驟處理輸入圖像數(shù)據(jù),并獲得輸出圖像數(shù)據(jù);基于所述輸入圖像數(shù)據(jù)來檢測面部圖像,并且獲得關于存在面部圖像的面部圖像區(qū)域 的信息;以及基于面部檢測步驟中獲得的關于面部圖像區(qū)域的信息,來控制數(shù)據(jù)處理步驟的處理。
全文摘要
在此公開了圖像處理設備和圖像處理方法。所述圖像處理設備包括數(shù)據(jù)處理部分,其處理輸入圖像數(shù)據(jù)并獲得輸出圖像數(shù)據(jù);面部檢測部分,其基于所述輸入圖像數(shù)據(jù)來檢測面部圖像,并且獲得關于存在面部圖像的面部圖像區(qū)域的信息;以及處理控制器,其基于面部檢測部分中獲得的關于面部圖像區(qū)域的信息,來控制數(shù)據(jù)處理部分的處理。
文檔編號G06K9/36GK102044056SQ201010514929
公開日2011年5月4日 申請日期2010年10月18日 優(yōu)先權日2009年10月23日
發(fā)明者坂口高宏, 星野光晴, 橫山一樹, 津村正幸, 藤澤知市 申請人:索尼公司