專利名稱：圖像處理設(shè)備、方法和程序的制作方法
技術(shù)領(lǐng)域：
本公開涉及圖像處理設(shè)備、方法和程序，具體地涉及能夠獲得更加自然的圖像而沒(méi)有不適的圖像處理設(shè)備、方法和程序。
背景技術(shù)：
迄今，為了獲得較高質(zhì)量的圖像，已使用了相對(duì)于圖像執(zhí)行感覺(jué)調(diào)整的圖像處理。例如，作為這樣的圖像處理，已提議了控制從圖像中檢測(cè)的臉區(qū)域的感覺(jué)的過(guò)程以及保持陡峭邊緣部分不變并強(qiáng)調(diào)除了邊緣之外的區(qū)域的過(guò)程(例如參見日本待審專利申請(qǐng)公布第 2001-298621 號(hào))。

發(fā)明內(nèi)容
然而，在上面描述的技術(shù)中，存在可能無(wú)法獲得自然圖像而沒(méi)有不適的時(shí)候。例如，在控制臉區(qū)域的感覺(jué)的圖像處理中，由于除了臉區(qū)域之外的區(qū)域的感覺(jué)未被控制，所以與臉區(qū)域相比，其它區(qū)域的銳度可能被過(guò)分強(qiáng)調(diào)。這樣做時(shí)，當(dāng)作為整體捕捉圖像的場(chǎng)景時(shí)，就集中在諸如人之類的高度感興趣的區(qū)域上的人類視覺(jué)特性而言，深度感喪失，并且圖像具有不適感。特別地，在使用諸如立體圖像(3D圖像)之類的視差來(lái)顯示深度的顯示設(shè)備中，相對(duì)于視差使用增強(qiáng)等創(chuàng)建的圖像變得不自然，并且對(duì)于觀察者識(shí)別的透視感具有不良影響。另外，在用于強(qiáng)調(diào)非邊緣區(qū)域的圖像處理中，作為整體的圖像的對(duì)比度和銳度被強(qiáng)調(diào)；然而，由于針對(duì)諸如前景和背景之類的每個(gè)區(qū)域的對(duì)比度和銳度的強(qiáng)調(diào)可能未被控制，所以存在可能無(wú)法獲得足夠自然的圖像的情況。希望獲得更加自然的圖像而沒(méi)有不適。根據(jù)本公開的實(shí)施例的圖像處理設(shè)備包括深度控制信號(hào)生成単元，其基于輸入圖像的每個(gè)區(qū)域中的主體的深度位置，生成控制所述輸入圖像的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的深度控制信號(hào)；臉皮膚區(qū)域控制信號(hào)生成単元，其基于所述輸入圖像中的人臉皮膚區(qū)域，生成控制所述輸入圖像中的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的臉皮膚區(qū)域控制信號(hào)；人區(qū)域控制信號(hào)生成単元，其基于所述輸入圖像中的人的區(qū)域，生成控制所述輸入圖像中的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的人區(qū)域控制信號(hào)；以及控制信號(hào)合成単元，其合成所述深度控制信號(hào)、所述臉皮膚區(qū)域控制信號(hào)和所述人區(qū)域控制信號(hào)以生成控制信號(hào)。在圖像處理設(shè)備中，可以進(jìn)一歩提供圖像處理單元，其基于所述控制信號(hào)調(diào)整所述輸入圖像的每個(gè)區(qū)域的感覺(jué)并生成輸出圖像。在圖像處理單元中，可以基于所述控制信號(hào)放大或衰減所述輸入圖像的邊緣分量。在圖像處理單元中，可以基于所述控制信號(hào)放大所述輸入圖像的紋理分量。 在圖像處理單元中，可以基于除了所述控制信號(hào)之外的控制信號(hào)來(lái)放大或衰減所述輸入圖像的邊緣分量。在圖像處理單元中，可以提供預(yù)測(cè)系數(shù)選擇單元，其針對(duì)所述輸出圖像的每個(gè)區(qū)域選擇在基于所述控制信號(hào)生成所述輸出圖像中使用的預(yù)測(cè)系數(shù)；以及預(yù)測(cè)計(jì)算単元，其基于所述輸入圖像和所述預(yù)測(cè)系數(shù)，生成與所述輸入圖像相比具有更高分辨率的輸出圖像。在圖像處理單元中，可以相對(duì)于所述控制信號(hào)放大或衰減所述輸入圖像的色度分量。在圖像處理設(shè)備中，進(jìn)ー步提供興趣區(qū)域控制信號(hào)生成単元，其基于所述輸入圖像中的被估計(jì)為高度感興趣的區(qū)域生成控制所述輸入圖像中的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程 度的興趣區(qū)域控制信號(hào)，并且所述控制信號(hào)合成単元可以合成所述深度控制信號(hào)、所述臉皮膚區(qū)域控制信號(hào)、所述人區(qū)域控制信號(hào)和所述興趣區(qū)域控制信號(hào)以生成控制信號(hào)。在臉皮膚區(qū)域控制信號(hào)生成単元中，基于從所述輸入圖像中的人臉區(qū)域的檢測(cè)結(jié)果，指定所述人臉皮膚區(qū)域，并且生成所述臉皮膚區(qū)域控制信號(hào)。在沒(méi)有從過(guò)程對(duì)象的輸入圖像中檢測(cè)到人臉區(qū)域的情況下，基于以前輸入圖像中的人臉皮膚區(qū)域的特定結(jié)果，可以在過(guò)程對(duì)象的輸入圖像中指定人臉皮膚區(qū)域。在人區(qū)域控制信號(hào)生成単元中，使用從所述輸入圖像中的人臉區(qū)域的檢測(cè)結(jié)果或所述輸入圖像的人臉皮膚區(qū)域的特定結(jié)果中的至少ー個(gè)，可以指定所述輸入圖像中的人的區(qū)域并生成所述人區(qū)域控制信號(hào)。本公開的ー個(gè)實(shí)施例的圖像處理方法或程序包括基于輸入圖像的每個(gè)區(qū)域中的主體的深度位置，生成控制所述輸入圖像的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的深度控制信號(hào)；基于所述輸入圖像中的人臉皮膚區(qū)域，生成控制所述輸入圖像中的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的臉皮膚區(qū)域控制信號(hào)；基于所述輸入圖像中的人的區(qū)域，生成控制所述輸入圖像中的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的人區(qū)域控制信號(hào)；以及合成所述深度控制信號(hào)、所述臉皮膚區(qū)域控制信號(hào)和所述人區(qū)域控制信號(hào)以生成控制信號(hào)。在本公開的實(shí)施例中，基于輸入圖像的每個(gè)區(qū)域中的主體的深度位置生成深度控制信號(hào)以控制輸入圖像的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度，基于輸入圖像中的人臉皮膚區(qū)域生成臉皮膚區(qū)域控制信號(hào)以控制輸入圖像的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度，并且基于輸入圖像中的人區(qū)域生成人區(qū)域控制信號(hào)以控制輸入圖像的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度；深度控制信號(hào)、臉皮膚區(qū)域控制信號(hào)和人區(qū)域控制信號(hào)被合成以生成控制信號(hào)。根據(jù)本公開的實(shí)施例，可以獲得更加自然的圖像而沒(méi)有不適。


圖I是示出圖像處理設(shè)備的實(shí)施例的配置例子的示圖。圖2是示出圖像處理單元的配置例子的示圖。圖3是描述圖像處理的流程圖。圖4是描述控制信號(hào)的生成的示圖。圖5是描述控制信號(hào)的生成的示圖。圖6是描述調(diào)整過(guò)程的流程圖。圖7是示出圖像處理設(shè)備的另ー個(gè)配置例子的示圖。
圖8是示出圖像處理設(shè)備的另ー個(gè)配置例子的示圖。圖9是描述圖像處理的流程圖。圖10是示出圖像處理單元的配置例子的示圖。圖11是描述調(diào)整過(guò)程的流程圖。圖12是示出圖像處理單元的配置例子的示圖。圖13是描述調(diào)整過(guò)程的流程圖。圖14是示出圖像處理單元的配置例子的示圖。
圖15是描述調(diào)整過(guò)程的流程圖。圖16是示出圖像處理單元的配置例子的示圖。圖17是描述調(diào)整過(guò)程的流程圖。圖18是示出計(jì)算機(jī)的配置例子的示圖。
具體實(shí)施例方式下面參考附圖來(lái)給出對(duì)向其應(yīng)用本公開的實(shí)施例的描述。<第一實(shí)施例>[圖像處理設(shè)備的配置例子]圖I是示出圖像處理設(shè)備的實(shí)施例的配置例子的示圖。圖像處理設(shè)備11執(zhí)行圖像處理以相對(duì)于輸入圖像的圖像信號(hào)調(diào)整輸入圖像的感覺(jué)，并且輸出以這樣的方式獲得的圖像信號(hào)。輸入圖像可以是靜態(tài)圖像，也可以是活動(dòng)圖像。圖像處理設(shè)備11配置有深度檢測(cè)單元21、臉檢測(cè)単元22、深度控制信號(hào)生成単元23、臉皮膚區(qū)域控制信號(hào)生成単元24、人區(qū)域控制信號(hào)生成単元25、控制信號(hào)合成単元26和圖像處理單元27。深度檢測(cè)單元21基于供應(yīng)的輸入圖像生成示出輸入圖像上的每個(gè)區(qū)域(主體)的深度位置的深度信息，并且執(zhí)行將其供應(yīng)給深度控制信號(hào)生成単元23。臉檢測(cè)単元22基于供應(yīng)的輸入圖像檢測(cè)輸入圖像上的人臉區(qū)域，并且將示出檢測(cè)結(jié)果的臉檢測(cè)信息供應(yīng)給臉皮膚區(qū)域控制信號(hào)生成単元24和人區(qū)域控制信號(hào)生成単元25。例如，臉檢測(cè)信息包括指定諸如輸入圖像上的臉存在與否、臉區(qū)域在輸入圖像上的位置和臉區(qū)域的尺寸之類的輸入圖像上的臉區(qū)域的信息。基于來(lái)自深度檢測(cè)單元21的深度信息，深度控制信號(hào)生成單元23生成深度控制信號(hào)，該深度控制信號(hào)示出了在相對(duì)于輸入圖像執(zhí)行的感覺(jué)的調(diào)整過(guò)程期間相對(duì)于輸入圖像的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度，并且執(zhí)行將其供應(yīng)給控制信號(hào)合成単元26。這里，深度控制信號(hào)用于根據(jù)輸入圖像的每個(gè)區(qū)域中的主體的深度位置來(lái)控制針對(duì)這些區(qū)域中的每ー個(gè)的感覺(jué)的強(qiáng)調(diào)程度。基于從臉檢測(cè)單元22供應(yīng)的臉檢測(cè)信息，臉皮膚區(qū)域控制信號(hào)生成単元24生成示出輸入圖像的人臉皮膚區(qū)域的臉皮膚地圖，并且執(zhí)行將其供應(yīng)給人區(qū)域控制信號(hào)生成單元25。進(jìn)ー步，在相對(duì)于輸入圖像的感覺(jué)的調(diào)整過(guò)程期間，臉皮膚區(qū)域控制信號(hào)生成単元24基于臉皮膚地圖生成示出相對(duì)于輸入圖像的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的臉皮膚區(qū)域控制信號(hào)，并且執(zhí)行將其供應(yīng)給控制信號(hào)合成単元26。這里，臉皮膚區(qū)域控制信號(hào)用于根據(jù)作為臉皮膚的輸入圖像的每個(gè)區(qū)域的可能性來(lái)控制針對(duì)這些區(qū)域中的每ー個(gè)的感覺(jué)的強(qiáng)
調(diào)程度。基于來(lái)自臉檢測(cè)單元22的臉檢測(cè)信息和來(lái)自臉皮膚區(qū)域控制信號(hào)生成單元24的臉皮膚地圖，人區(qū)域控制信號(hào)生成単元25生成人區(qū)域控制信號(hào)，該人區(qū)域控制信號(hào)示出了在相對(duì)于輸入圖像的感覺(jué)的調(diào)整過(guò)程期間相對(duì)于輸入圖像的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度，并且執(zhí)行將其供應(yīng)給控制信號(hào)合成単元26。這里，人區(qū)域控制信號(hào)用于根據(jù)作為人區(qū)域的輸入圖像的每個(gè)區(qū)域的可能性來(lái)控制針對(duì)這些區(qū)域中的每ー個(gè)的感覺(jué)的強(qiáng)調(diào)程度。通過(guò)合成來(lái)自深度控制信號(hào)生成單元23的深度控制信號(hào)、來(lái)自臉皮膚區(qū)域控制信號(hào)生成単元24的臉皮膚區(qū)域控制信號(hào)和來(lái)自人區(qū)域控制信號(hào)生成単元25的人區(qū)域控制信號(hào)，控制信號(hào)合成単元26生成控制信號(hào)，并且執(zhí)行將其供應(yīng)給圖像處理單元27?；趶目刂菩盘?hào)合成単元26供應(yīng)的控制信號(hào)，圖像處理單元27執(zhí)行相對(duì)于供應(yīng)的輸入圖像的感覺(jué)的調(diào)整，并且輸出作為結(jié)果獲得的圖像(以下稱之為輸出圖像)。亦即， 根據(jù)控制信號(hào)，輸入圖像的每個(gè)像素的增益調(diào)整被執(zhí)行并被設(shè)置為輸出圖像。這里，調(diào)整輸入圖像的感覺(jué)的過(guò)程例如是調(diào)整銳度和對(duì)比度、色度以及分辨率產(chǎn)生程度等中的ー個(gè)。[圖像處理單元的配置例子]另外，如圖2所示配置圖I的圖像處理單元27。亦即，圖像處理單元27配置有高通濾波器51、調(diào)整放大器52和加法器53。圖2的圖像處理單元27執(zhí)行增強(qiáng)過(guò)程以增加相對(duì)于輸入圖像的銳度作為圖像的感覺(jué)的調(diào)整過(guò)程。高通濾波器51相對(duì)于供應(yīng)的輸入圖像使用高通濾波器來(lái)執(zhí)行濾波過(guò)程，并且將作為結(jié)果獲得的高通分量(高通信號(hào))供應(yīng)給調(diào)整放大器52?；趶目刂菩盘?hào)合成単元26供應(yīng)的控制信號(hào)，調(diào)整放大器52放大或衰減從高通濾波器51供應(yīng)的高通分量，并且執(zhí)行將其供應(yīng)給加法器53。在下文中，通過(guò)調(diào)整放大器52放大或衰減的高通分量也可以被稱為校正的高通分量。加法器53將從調(diào)整放大器52供應(yīng)的校正高通分量相加到供應(yīng)的輸入圖像，并且輸出作為結(jié)果獲得的輸出圖像。[圖像處理的描述]接下來(lái)對(duì)圖像處理設(shè)備11的操作給予描述。當(dāng)圖像處理設(shè)備11被供應(yīng)以輸入圖像并被指示以調(diào)整相對(duì)于輸入圖像的感覺(jué)吋，圖像處理被執(zhí)行，輸入圖像被轉(zhuǎn)換成輸出圖像，并且被輸出。下面參考圖3的流程圖來(lái)對(duì)使用圖像處理設(shè)備11的圖像處理給予描述。在步驟Sll中，深度檢測(cè)單元21基于供應(yīng)的輸入圖像生成深度信息，并且執(zhí)行將其供應(yīng)給深度控制信號(hào)生成単元23。例如，深度檢測(cè)單元21使用濾波過(guò)程等從輸入圖像中提取高通分量，并且將輸入圖像分成幾塊。然后，通過(guò)針對(duì)每個(gè)塊計(jì)算塊中每個(gè)位置中的高通分量的值的絕對(duì)值之和(集成值)，深度檢測(cè)單元21生成深度信息。一般而言，在其中用戶從前側(cè)觀看(定位)主體的區(qū)域中，亦即在前景區(qū)域中，以及在其中焦點(diǎn)集中在圖像上的區(qū)域中，包括的高通分量變得更大，并且希望對(duì)應(yīng)于這樣的區(qū)域的深度信息的值(高通分量的集成值)會(huì)増加。因此，可以估計(jì)的是，當(dāng)輸入圖像上的區(qū)域中的深度信息值大吋，(可視)主體區(qū)域當(dāng)由觀察輸入圖像的用戶觀看時(shí)進(jìn)一歩至前側(cè)。另外，關(guān)于相對(duì)于圖像的深度位置的估計(jì)方法，例如在日本待審專利申請(qǐng)公布第2007-208399號(hào)中描述了細(xì)節(jié)。在步驟S12中，臉檢測(cè)単元22基于供應(yīng)的輸入圖像從輸入圖像中檢測(cè)人臉，并且生成示出檢測(cè)結(jié)果的臉檢測(cè)信息。臉檢測(cè)単元22將生成的臉檢測(cè)信息供應(yīng)給臉皮膚區(qū)域控制信號(hào)生成単元24和人區(qū)域控制信號(hào)生成単元25。在步驟S13中，深度控制信號(hào)生成單元23基于從深度檢測(cè)單元21供應(yīng)的深度信息生成深度控制信號(hào)，并且執(zhí)行將其供應(yīng)給控制信號(hào)合成単元26。例如，深度控制信號(hào)生成単元23將相同尺寸(分辨率)的圖像設(shè)置為輸入圖像，并且基于深度信息確定深度控制圖像的每個(gè)像素的像素值。例如，與深度控制圖像的像素相對(duì)應(yīng)的位置的深度信息的值越大，其像素的像素值就越大。進(jìn)一歩，深度控制圖像的像素的像素值可以設(shè)置成具有負(fù)值。 深度控制信號(hào)生成単元23將以這樣的方式獲得的深度控制圖像的圖像信號(hào)設(shè)置為深度控制信號(hào)，并且執(zhí)行將其供應(yīng)給控制信號(hào)合成単元26。以這種方式，當(dāng)根據(jù)輸入圖像的每個(gè)主體的深度位置，通過(guò)確定深度控制圖像的每個(gè)像素的像素值，使用深度控制圖像(深度控制信號(hào))對(duì)輸入圖像的銳度的強(qiáng)調(diào)程度執(zhí)行控制時(shí)，可以獲得更加自然的輸出圖像而沒(méi)有不適。換言之，與輸入圖像的遠(yuǎn)側(cè)的主體相比，前側(cè)的主體的銳度被強(qiáng)調(diào)得更多，這適配于以更大的銳度觀看更近的對(duì)象的人類視覺(jué)特性，由此可以獲得自然的輸出圖像。在步驟S14中，臉皮膚區(qū)域控制信號(hào)生成単元24基于從臉檢測(cè)單元22供應(yīng)的臉檢測(cè)信息生成臉皮膚區(qū)域控制信號(hào)，并且執(zhí)行將其供應(yīng)給控制信號(hào)合成単元26。例如，臉皮膚區(qū)域控制信號(hào)生成単元24從臉檢測(cè)單元22獲取輸入圖像，并且基于根據(jù)臉檢測(cè)信息指示的輸入圖像上可能成為人臉的區(qū)域的每個(gè)像素的像素值，針對(duì)可能成為臉的區(qū)域生成像素亮度直方圖和顏色直方圖。這里，顔色直方圖例如可以被設(shè)置為ニ維UV直方圖等。接下來(lái)，臉皮膚區(qū)域控制信號(hào)生成単元24基于生成的亮度直方圖和顏色直方圖將輸入圖像上可能成為臉皮膚的由像素構(gòu)成的區(qū)域設(shè)置為人臉皮膚區(qū)域(臉皮膚區(qū)域)，并且生成臉皮膚地圖，其示出了輸入圖像上的臉皮膚區(qū)域。更加具體地，臉皮膚區(qū)域控制信號(hào)生成単元24例如設(shè)置恒定范圍，其中亮度值與亮度直方圖和顏色直方圖中的亮度值范圍和UV值范圍一祥高。這里，臉皮膚區(qū)域控制信號(hào)生成単元24將輸入圖像上的像素中的亮度值是亮度值范圍之內(nèi)的值并且UV值(色差值)是UV值范圍之內(nèi)的值的像素設(shè)置為可能成為臉皮膚的像素。臉皮膚區(qū)域控制信號(hào)生成単元24將生成的臉皮膚地圖供應(yīng)給人區(qū)域控制信號(hào)生成単元25。例如，隨著與那些像素相同的位置中的輸入圖像的像素是臉皮膚區(qū)域像素的可能性増加，臉皮膚地圖上的像素的像素值具有較高值。以這種方式，通過(guò)使用亮度直方圖和顔色直方圖來(lái)估計(jì)臉皮膚區(qū)域，可以獲得穩(wěn)健的臉皮膚地圖。另外，臉皮膚區(qū)域控制信號(hào)生成単元24將與輸入圖像相同尺寸的圖像設(shè)置為臉皮膚區(qū)域控制圖像，并且基于臉皮膚地圖確定臉皮膚區(qū)域控制圖像的每個(gè)像素的像素值。例如，臉皮膚區(qū)域控制圖像的像素的像素值被設(shè)置為相對(duì)干與像素相同位置處的臉皮膚地圖的像素的像素值預(yù)先確定的值。臉皮膚區(qū)域控制信號(hào)生成単元24將以這種方式獲得的臉皮膚區(qū)域控制圖像的圖像信號(hào)供應(yīng)給控制信號(hào)合成単元26作為臉皮膚區(qū)域控制信號(hào)。這樣ー來(lái)，當(dāng)根據(jù)輸入圖像的每個(gè)區(qū)域成為臉的可能性、通過(guò)確定臉皮膚區(qū)域控制圖像的每個(gè)像素的像素值、使用臉皮膚區(qū)域控制信號(hào)來(lái)控制輸入圖像的銳度的強(qiáng)調(diào)程度時(shí)，就可以獲得更加自然的輸出圖像而沒(méi)有不適。換言之，通過(guò)適當(dāng)?shù)貜?qiáng)調(diào)輸入圖像中可能成為臉的區(qū)域的銳度，可以獲得更加自然的輸出圖像。進(jìn)而，當(dāng)輸入圖像是活動(dòng)圖像時(shí)，代替只是輸入圖像的當(dāng)前幀的亮度直方圖和顏色直方圖，在生成當(dāng)前幀的臉皮膚地圖時(shí)可以使用關(guān)于在當(dāng)前幀以前的幀確定的亮度直方圖和顏色直方圖。在這樣的情況下，由于可以根據(jù)以前幀和當(dāng)前幀的直方圖來(lái)估計(jì)輸入圖像上的臉皮膚區(qū)域，所以可以以更高的精度來(lái)估計(jì)臉皮膚區(qū)域，而不考慮臉檢測(cè)單元22中的臉檢測(cè)精度。 例如，當(dāng)在預(yù)定幀的輸入圖像中轉(zhuǎn)向前方的人臉在下一幀中轉(zhuǎn)向側(cè)面時(shí)，在臉檢測(cè)單元22中可能不再能夠從輸入圖像中檢測(cè)到臉。甚至在這樣的情況下，由于可以從以前(過(guò)去)幀的亮度和顔色直方圖中理解臉皮膚區(qū)域的亮度和顔色，所以當(dāng)具有與以前幀的臉皮膚區(qū)域相同的顔色和亮度的區(qū)域被檢測(cè)為當(dāng)前幀的輸入圖像中的臉皮膚區(qū)域時(shí)，可以獲得穩(wěn)健的臉皮膚地圖。在步驟S15中，基于來(lái)自臉檢測(cè)單元22的臉檢測(cè)信息和來(lái)自臉皮膚區(qū)域控制信號(hào)生成単元24的臉皮膚地圖，人區(qū)域控制信號(hào)生成単元25生成人區(qū)域控制信號(hào)，并且執(zhí)行將其供應(yīng)給控制信號(hào)合成単元26。例如，根據(jù)具有人的頭部和肩膀大小的人體形的形狀特性，人區(qū)域控制信號(hào)生成単元25擴(kuò)展臉檢測(cè)信息所指示的輸入圖像上可能成為人臉的區(qū)域和臉皮膚地圖所指示的輸入圖像上可能成為臉皮膚的區(qū)域，并且擴(kuò)展的區(qū)域被設(shè)置為可能是人的區(qū)域。亦即，從可能是人的區(qū)域和可能成為臉皮膚的區(qū)域中估計(jì)人的輪廓的區(qū)域。這樣ー來(lái)，基于輸入圖像的每個(gè)區(qū)域中成為人區(qū)域的可能性，人區(qū)域控制信號(hào)生成単元25就生成了人區(qū)域控制圖像。更加具體地，當(dāng)輸入圖像是靜態(tài)圖像吋，生成僅使用臉檢測(cè)信息的人區(qū)域控制圖像，并且當(dāng)輸入圖像是活動(dòng)圖像時(shí)，使用臉檢測(cè)信息和臉皮膚地圖兩者、或者僅使用臉檢測(cè)信息來(lái)生成人區(qū)域控制圖像。例如，當(dāng)使用連續(xù)幀的臉檢測(cè)信息檢測(cè)到可能是人臉并且穩(wěn)定地處在近似相同位置的區(qū)域時(shí)，可能成為人臉的區(qū)域被僅使用臉檢測(cè)信息來(lái)擴(kuò)展并被設(shè)置為可能是人的區(qū)域。進(jìn)ー步，當(dāng)使用臉檢測(cè)信息和臉皮膚地圖兩者來(lái)生成人區(qū)域控制圖像時(shí)，例如即使當(dāng)從臉檢測(cè)單元22中沒(méi)有檢測(cè)到臉時(shí)，也可以從穩(wěn)健的臉皮膚地圖中以良好的精度檢測(cè)到可能是人的區(qū)域。人區(qū)域控制信號(hào)生成単元25將與輸入圖像相同尺寸的圖像設(shè)置為人區(qū)域控制圖像，并且基于輸入圖像上的每個(gè)區(qū)域是人的可能性來(lái)確定人區(qū)域控制圖像的每個(gè)像素的像素值。例如，關(guān)于人區(qū)域控制圖像的像素的像素值，當(dāng)與輸入圖像上的像素相同的位置是可能成為人的區(qū)域時(shí)，像素值被設(shè)置為預(yù)先確定的預(yù)定值，并且當(dāng)與輸入圖像上的像素相同的位置不是可能成為人的區(qū)域時(shí)，像素值被設(shè)置為比上述預(yù)定值小的值。這里，甚至在可能成為人的區(qū)域中，人區(qū)域控制圖像的像素的像素值也可以被設(shè)置，以便成為與臉區(qū)域、衣服區(qū)域以及人的部位區(qū)域相對(duì)應(yīng)的不同值。人區(qū)域控制信號(hào)生成単元25將以這種方式獲得的人區(qū)域控制圖像的圖像信號(hào)供應(yīng)給控制信號(hào)合成単元26作為人區(qū)域控制信號(hào)。以這種方式，當(dāng)根據(jù)輸入圖像的每個(gè)區(qū)域成為人區(qū)域的可能性、通過(guò)確定人區(qū)域控制圖像的每個(gè)像素的像素值、使用人區(qū)域控制信號(hào)來(lái)控制輸入圖像的銳度的強(qiáng)調(diào)程度時(shí)，可以獲得更加自然的輸出圖像而沒(méi)有不適。亦即，與其它區(qū)域中的相比，在更大程度上強(qiáng)調(diào)輸入圖像中可能成為人的區(qū)域的銳度，這適配于以更大的銳度觀看更感興趣的對(duì)象的 人類視覺(jué)特性，由此可以獲得自然的輸出圖像。在步驟S16中，控制信號(hào)合成單元26合成來(lái)自深度控制信號(hào)生成單元23的深度控制信號(hào)、來(lái)自臉皮膚區(qū)域控制信號(hào)生成単元24的臉皮膚區(qū)域控制信號(hào)和來(lái)自人區(qū)域控制信號(hào)生成単元25的人區(qū)域控制信號(hào)，并且生成控制信號(hào)。例如，如圖4所示，相對(duì)于輸入圖像IP1，深度控制圖像CN1、臉皮膚區(qū)域控制圖像CN2和人區(qū)域控制圖像CN3被設(shè)置以被獲得。圖4所示的例子中，在輸入圖像IPl中包括了人，并且在深度控制圖像CNl中，像素在附圖中越低，則像素的像素值越大。換言之，在輸入圖像IPl的附圖中，上側(cè)在附圖中是遠(yuǎn)景，而下側(cè)則是近景。另外，在臉皮膚區(qū)域控制圖像CN2中，人臉皮膚區(qū)域中像素的像素值是根據(jù)成為臉皮膚可能性的預(yù)定值，并且其它區(qū)域像素的像素值為零。另外，在人區(qū)域控制圖像CN3中，人區(qū)域中像素的像素值是根據(jù)成為人區(qū)域可能性的預(yù)定值，并且其它區(qū)域像素的像素值為零?？刂菩盘?hào)合成單元26對(duì)與深度控制圖像CN1、臉皮膚區(qū)域控制圖像CN2和人區(qū)域控制圖像CN3相同的位置中像素的像素值進(jìn)行加權(quán)并相加在一起，并且將作為結(jié)果獲得的值設(shè)置為控制圖像CPl像素的像素值。接下來(lái)，以這種方式獲得的控制圖像CPl的圖像信號(hào)被設(shè)置為控制信號(hào)。例如，根據(jù)使用將要在圖像處理單元27中實(shí)現(xiàn)的圖像處理的優(yōu)先集合，確定在對(duì)深度控制圖像CNl、臉皮膚區(qū)域控制圖像CN2和人區(qū)域控制圖像CN3進(jìn)行加權(quán)并相加在一起時(shí)的權(quán)重。特別地，當(dāng)調(diào)整輸入圖像IPl的銳度時(shí)，每個(gè)權(quán)重被確定，以便臉皮膚區(qū)域控制圖像CN2的權(quán)重被最大化，而深度控制圖像CNl的權(quán)重則被最小化。在由圖像處理單元27執(zhí)行的對(duì)應(yīng)于輸入圖像IPl的圖像處理中，在其中控制圖像CPl像素的像素值大的區(qū)域中，在與那些區(qū)域相同的位置中的輸入圖像IPl的區(qū)域中更加強(qiáng)烈地強(qiáng)調(diào)銳度。進(jìn)ー步，例如當(dāng)控制圖像CPl的像素具有負(fù)值作為像素值時(shí)，在與具有負(fù)像素值的像素相同的位置中的輸入圖像IPl的區(qū)域中，圖像處理被執(zhí)行以便減少銳度。同樣如圖5所示，例如當(dāng)輸入圖像IPll中不包括人時(shí)，在深度控制圖像CN11、臉皮膚區(qū)域控制圖像CN12和人區(qū)域控制圖像CN13被加權(quán)并相加在一起之后，進(jìn)ー步執(zhí)行適當(dāng)?shù)脑鲆嬲{(diào)整并設(shè)置控制圖像CP11。在圖5所示的例子中，由于輸入圖像IPll中不包括人，所以臉皮膚區(qū)域控制圖像CN12和人區(qū)域控制圖像CN13的全部像素的像素值都為零。因此，基本上只使用深度控制圖像CNll來(lái)生成控制圖像CPlI。在這樣的情況下，深度控制圖像CNll像素的像素值的可獲得范圍被收窄到分配給臉皮膚區(qū)域控制圖像CN12和人區(qū)域控制圖像CN13的像素值的程度，并且輸入圖像IPll的銳度可能未被充分強(qiáng)調(diào)。這樣ー來(lái)，當(dāng)輸入圖像IPll中不包括人時(shí)，在深度控制圖像CNll至人區(qū)域控制圖像CN13被加權(quán)并相加在一起之后，進(jìn)ー步執(zhí)行適當(dāng)?shù)脑鲆嬲{(diào)整并設(shè)置控制圖像CP11。特別地，在控制圖像CPll的像素當(dāng)中，具有小像素值的像素被調(diào)整，以便像素值變得更小，并且具有大像素值的像素被調(diào)整，以便像素值變得更大。進(jìn)ー步，例如基于臉皮膚區(qū)域控制圖像CN12和人區(qū)域控制圖像CN13像素的像素值，確定輸入圖像IPll中是否包括人。特別地，例如在臉皮膚區(qū)域控制圖像CN12和人區(qū)域控制圖像CN13的全部像素的像素值都是預(yù)定閾值或更小的情況下，確定輸入圖像IPll中不包括人。 另外，例如通過(guò)用戶選擇其中包括人作為主體的肖像模式或其中不包括人的風(fēng)景模式等，也可以指定輸入圖像IPll中是否包括人。返回到圖3的流程圖的描述，當(dāng)控制信號(hào)合成単元26生成控制信號(hào)時(shí)，生成的控制信號(hào)被供應(yīng)給圖像處理單元27，并且過(guò)程前進(jìn)到步驟S17。在步驟S17中，圖像處理單元27執(zhí)行調(diào)整過(guò)程并生成輸出圖像，輸出圖像然后被輸出。這里，稍后將會(huì)描述調(diào)整過(guò)程的細(xì)節(jié)；然而在調(diào)整過(guò)程中，基于從控制信號(hào)合成単元26供應(yīng)的控制信號(hào)來(lái)調(diào)整輸入圖像的感覺(jué)，并且生成輸出圖像。在執(zhí)行了調(diào)整過(guò)程并生成輸出圖像之后，圖像處理結(jié)束。如上所述，圖像處理設(shè)備11根據(jù)深度信息和臉檢測(cè)信息來(lái)生成深度控制信號(hào)、臉皮膚區(qū)域控制信號(hào)和人區(qū)域控制信號(hào)，并且基于對(duì)這些信號(hào)進(jìn)行合成的控制信號(hào)來(lái)執(zhí)行輸入圖像的感覺(jué)調(diào)整。以這種方式，通過(guò)根據(jù)輸入圖像中的每個(gè)主體的深度、臉皮膚區(qū)域和人輪廓區(qū)域而針對(duì)輸入圖像的每個(gè)區(qū)域適當(dāng)?shù)卮_定感覺(jué)的調(diào)整程度(強(qiáng)調(diào)程度)，可以獲得更加自然的輸出圖像而沒(méi)有不適。例如，在銳度被調(diào)整作為感覺(jué)調(diào)整的情況下，通過(guò)銳化通常感興趣的人的區(qū)域并產(chǎn)生與其它區(qū)域的不同，同時(shí)適當(dāng)?shù)匦Ｕつw的感覺(jué)，可以獲得接近于人類視覺(jué)特性的高質(zhì)量輸出圖像。進(jìn)一歩，由于甚至在沒(méi)有檢測(cè)到人的區(qū)域中也根據(jù)透視法來(lái)控制銳度，所以可以獲得具有深度感的高質(zhì)量圖像。[對(duì)調(diào)整過(guò)程的描述]接下來(lái)，參考圖6中的流程圖，關(guān)于與圖3的步驟S17的過(guò)程相對(duì)應(yīng)的調(diào)整過(guò)程給予描述。在調(diào)整過(guò)程中，執(zhí)行對(duì)輸入圖像的銳度進(jìn)行調(diào)整的增強(qiáng)過(guò)程。在步驟S41中，相對(duì)于供應(yīng)的輸入圖像使用高通濾波器，高通濾波器51執(zhí)行濾波過(guò)程，并且從輸入圖像中提取高通分量。高通濾波器51將使用濾波過(guò)程獲得的高通分量供應(yīng)給調(diào)整放大器52。在步驟S42中，基于從控制信號(hào)合成単元26供應(yīng)的控制信號(hào)，調(diào)整放大器52針對(duì)輸入圖像的每個(gè)區(qū)域放大或衰減來(lái)自高通濾波器51的高通分量，并且將作為結(jié)果獲得的校正的高通分量供應(yīng)給加法器53。例如，高通分量是輸入圖像中僅提取高通分量的圖像的圖像信號(hào)(高通信號(hào))，并且相對(duì)于這個(gè)圖像的每個(gè)像素的像素值，基干與這些像素相同位置處的控制信號(hào)相加控制圖像像素的像素值，從而設(shè)置校正的高通分量。因此，當(dāng)控制圖像像素的像素值為正時(shí)，根據(jù)值的大小放大高通分量，并且當(dāng)控制圖像像素的像素值為負(fù)時(shí)，根據(jù)值的大小衰減高通分量。在步驟S43中，加法器53將從調(diào)整放大器52供應(yīng)的校正的高通分量相加到供應(yīng)的輸入圖像，并且輸出作為結(jié)果獲得的輸出圖像。通過(guò)將通過(guò)針對(duì)每個(gè)區(qū)域放大或衰減高通分量而獲得的校正的高通分量相加到輸入圖像，根據(jù)區(qū)域的特性放大或衰減輸入圖像的每個(gè)區(qū)域的銳度。以這種方式，獲得了具有立體效果并且對(duì)其而言針對(duì)每個(gè)區(qū)域調(diào)整銳度的高質(zhì)量輸出圖像。
當(dāng)輸出圖像被輸出時(shí)，調(diào)整過(guò)程結(jié)束，并且相應(yīng)地當(dāng)圖3的步驟S17也結(jié)束時(shí)，圖像處理結(jié)束。如上面提到的那樣，通過(guò)基于控制信號(hào)放大或衰減輸入圖像的高通分量，圖像處理單元27執(zhí)行每個(gè)區(qū)域的銳度調(diào)整。當(dāng)使用控制信號(hào)時(shí)，可以針對(duì)每個(gè)區(qū)域調(diào)整銳度，并且具有優(yōu)越的立體效果的銳度控制是可能的。因此，例如在關(guān)于與很感興趣的人相對(duì)應(yīng)的皮膚和其它部位的最優(yōu)圖像處理中，以及在諸如風(fēng)景之類的具有深度的圖像處理中，可以針對(duì)每個(gè)區(qū)域執(zhí)行適當(dāng)?shù)母杏X(jué)調(diào)整。結(jié)果，相對(duì)于單獨(dú)圖像的場(chǎng)景，可以適應(yīng)性表達(dá)接近于人類視覺(jué)特性的自然的深度感?！葱薷?>[圖像處理設(shè)備的配置例子]這里，輸入圖像不限于ニ維平面圖像，而可以是由左眼圖像和右眼圖像構(gòu)成的立體圖像。這里，左眼圖像是在觀察立體圖像期間被顯示以便以用戶的左眼來(lái)觀察的圖像，而右眼圖像則是在觀察立體圖像期間被顯示以便以用戶的右眼來(lái)觀察的圖像。當(dāng)輸入圖像是立體圖像時(shí)，例如如圖7所示來(lái)配置圖像處理設(shè)備。另外，在圖7中，與圖I中的情況相對(duì)應(yīng)的部分具有相同的標(biāo)號(hào)，并且會(huì)省略其描述。圖7的圖像處理設(shè)備81配置有深度檢測(cè)單元21、臉檢測(cè)単元22、深度控制信號(hào)生成単元23、臉皮膚區(qū)域控制信號(hào)生成単元24、人區(qū)域控制信號(hào)生成単元25、控制信號(hào)合成単元26、圖像處理單元27、深度檢測(cè)單元91、臉檢測(cè)単元92、深度控制信號(hào)生成単元93、臉皮膚區(qū)域控制信號(hào)生成単元94、人區(qū)域控制信號(hào)生成単元95、控制信號(hào)合成単元96和圖像處理單元97。亦即，圖像處理設(shè)備81被配置，以便圖像處理設(shè)備11進(jìn)ー步設(shè)置有深度檢測(cè)單元91至圖像處理單元97。進(jìn)ー步，在圖像處理設(shè)備81中，作為輸入圖像，立體圖像被供應(yīng)給深度檢測(cè)單元21、臉檢測(cè)単元22、圖像處理單元27、深度檢測(cè)單元91、臉檢測(cè)単元92和圖像處理單元97。這里，從深度檢測(cè)單元91至圖像處理單元97的單元執(zhí)行與從深度檢測(cè)單元21至圖像處理單元27的単元相同的過(guò)程。然而，在深度檢測(cè)單元21至圖像處理單元27中，關(guān)于左眼圖像執(zhí)行處理，而在深度檢測(cè)單元91至圖像處理單元97中，則關(guān)于右眼圖像執(zhí)行處理。
進(jìn)ー步，例如在深度檢測(cè)單元21和深度檢測(cè)單元91中，基于立體圖像根據(jù)立體匹配等在左眼圖像和右眼圖像之間檢測(cè)視差，并且基于檢測(cè)結(jié)果生成深度信息。特別地，例如在深度檢測(cè)單元21中，關(guān)于左眼圖像的每個(gè)像素，檢測(cè)與其相對(duì)應(yīng)的右眼圖像的像素，并且根據(jù)各個(gè)像素之間的距離針對(duì)每個(gè)像素計(jì)算視差。類似地，在深度檢測(cè)單元91中，關(guān)于右眼圖像的每個(gè)像素，檢測(cè)與其相對(duì)應(yīng)的左眼圖像的像素，并且針對(duì)每個(gè)像素計(jì)算視差。因此，即使輸入圖像是立體圖像，也可以針對(duì)每個(gè)區(qū)域適當(dāng)?shù)卣{(diào)整立體圖像的感覺(jué)。特別地，在立體圖像中，根據(jù)深度信息針對(duì)每個(gè)區(qū)域準(zhǔn)確地控制感覺(jué)調(diào)整的控制，并且可以表達(dá)優(yōu)越的立體效果。第二實(shí)施例〉[圖像處理設(shè)備的配置例子]進(jìn)ー步，在上文中，對(duì)檢測(cè)人區(qū)域以便調(diào)整很感興趣區(qū)域的感覺(jué)的例子給予了描 述；然而，一般而言，可以檢測(cè)高度感興趣的其它區(qū)域，并且相對(duì)于那些區(qū)域執(zhí)行感覺(jué)調(diào)整。在這樣的情況下，例如如圖8所示配置圖像處理設(shè)備。另外，在圖8中，與圖I中的情況相對(duì)應(yīng)的部分具有相同的標(biāo)號(hào)，并且會(huì)省略其描述。圖8的圖像處理設(shè)備121配置有深度檢測(cè)單元21、臉檢測(cè)単元22、深度控制信號(hào)生成単元23、臉皮膚區(qū)域控制信號(hào)生成単元24、人區(qū)域控制信號(hào)生成単元25、控制信號(hào)合成単元26、圖像處理單元27、興趣區(qū)域檢測(cè)單元131和興趣區(qū)域控制信號(hào)生成単元132。興趣區(qū)域檢測(cè)單元131從供應(yīng)的輸入圖像中檢測(cè)被估計(jì)為通常是用戶焦點(diǎn)的區(qū)域(以下稱之為興趣區(qū)域)，并且將表明檢測(cè)結(jié)果的興趣區(qū)域信息供應(yīng)給興趣區(qū)域控制信號(hào)生成単元132?；趶呐d趣區(qū)域檢測(cè)單元131供應(yīng)的興趣區(qū)域信息，興趣區(qū)域控制信號(hào)生成単元132在對(duì)應(yīng)于輸入圖像的感覺(jué)的調(diào)整過(guò)程期間生成表明與輸入圖像的每個(gè)區(qū)域相對(duì)應(yīng)的感覺(jué)的強(qiáng)調(diào)程度的興趣區(qū)域控制信號(hào)，并且執(zhí)行將其供應(yīng)給控制信號(hào)合成単元26。這里，興趣區(qū)域控制信號(hào)是用于根據(jù)每個(gè)區(qū)域是興趣區(qū)域的可能性、亦即根據(jù)興趣水平針對(duì)每個(gè)區(qū)域控制感覺(jué)的強(qiáng)調(diào)程度的信號(hào)。控制信號(hào)合成単元26合成來(lái)自深度控制信號(hào)生成単元23的深度控制信號(hào)、來(lái)自臉皮膚區(qū)域控制信號(hào)生成単元24的臉皮膚區(qū)域控制信號(hào)、來(lái)自人區(qū)域控制信號(hào)生成単元25的人區(qū)域控制信號(hào)和來(lái)自興趣區(qū)域控制信號(hào)生成単元132的興趣區(qū)域控制信號(hào)，并且生成控制信號(hào)。控制信號(hào)合成単元26將生成的控制信號(hào)供應(yīng)給圖像處理單元27。[圖像處理的描述]接下來(lái)，參考圖9中的流程圖，對(duì)圖像處理設(shè)備121所執(zhí)行的圖像處理給予描述。這里，由于步驟S71和步驟S72的過(guò)程與圖3的步驟Sll和步驟S12的過(guò)程相同，所以會(huì)省略其描述。在步驟S73中，興趣區(qū)域檢測(cè)單元131從供應(yīng)的輸入圖像中檢測(cè)興趣區(qū)域，并且將興趣區(qū)域信息供應(yīng)給興趣區(qū)域控制信號(hào)生成単元132。例如，當(dāng)輸入圖像是活動(dòng)圖像時(shí)，興趣區(qū)域檢測(cè)單元131使用過(guò)程目標(biāo)的當(dāng)前幀的輸入圖像和以前幀的輸入圖像來(lái)檢測(cè)輸入圖像的每個(gè)區(qū)域的運(yùn)動(dòng)矢量(以下稱之為局部運(yùn)動(dòng)矢量)。另外，興趣區(qū)域檢測(cè)單元131基于輸入圖像計(jì)算輸入圖像的背景的運(yùn)動(dòng)矢量作為全局運(yùn)動(dòng)矢量。例如，全局運(yùn)動(dòng)矢量被設(shè)置為輸入圖像的左右邊緣區(qū)域的運(yùn)動(dòng)矢量的平均值等。進(jìn)而，興趣區(qū)域檢測(cè)單元131針對(duì)輸入圖像的每個(gè)區(qū)域計(jì)算全局運(yùn)動(dòng)矢量和局部運(yùn)動(dòng)矢量之間的差，并且計(jì)算表明每個(gè)區(qū)域是興趣區(qū)域的可能性程度的興趣程度。興趣程度表明了用戶的眼睛被吸引到輸入圖像上的區(qū)域的程度，換言之即興趣水平程度?；谳斎雸D像的每個(gè)區(qū)域的興趣程度以及在輸入圖像的圖像捕捉時(shí)的諸如遙攝、傾斜和變焦之類的攝影操作，興趣區(qū)域檢測(cè)單元131檢測(cè)輸入圖像上的興趣區(qū)域，并且將表明興趣區(qū)域的興趣區(qū)域信息供應(yīng)給興趣區(qū)域控制信號(hào)生成単元132。這里，關(guān)于興趣區(qū)域的檢測(cè)，例如可以在日本待審專利申請(qǐng)公布第2008-53775號(hào)等中找到詳細(xì)的描述。在檢測(cè)興趣區(qū)域之后，執(zhí)行從步驟S74至步驟S76的過(guò)程；然而，由于這些過(guò)程與圖3的從步驟S13至步驟S15的過(guò)程相同，所以省略其描述。在步驟S77中，基于從興趣區(qū)域檢測(cè)單元131供應(yīng)的興趣區(qū)域信息，興趣區(qū)域控制信號(hào)生成単元132生成興趣區(qū)域控制信號(hào)，并且執(zhí)行將其供應(yīng)給控制信號(hào)合成単元26。 例如，興趣區(qū)域控制信號(hào)生成単元132將與輸入圖像相同尺寸的圖像設(shè)置為興趣區(qū)域控制圖像，并且基于興趣區(qū)域信息來(lái)計(jì)算興趣區(qū)域控制圖像的每個(gè)像素的像素值。例如，與輸入圖像上的興趣區(qū)域相同位置中的興趣區(qū)域控制圖像像素的像素值被設(shè)置為大值，并且與輸入圖像上不是興趣區(qū)域的區(qū)域相同的位置中的興趣區(qū)域控制圖像像素的像素值被設(shè)置為小值。以這種方式，當(dāng)根據(jù)輸入圖像的興趣區(qū)域的位置、通過(guò)確定興趣區(qū)域控制圖像的每個(gè)像素的像素值、使用興趣區(qū)域控制圖像(興趣區(qū)域控制信號(hào))來(lái)控制輸入圖像的銳度的強(qiáng)調(diào)程度時(shí)，可以獲得更加自然的輸出圖像而沒(méi)有不適。換言之，高度感興趣的區(qū)域的銳度被進(jìn)ー步強(qiáng)調(diào)，由此可以獲得適配密切觀察的對(duì)象顯得更加銳利的人類視覺(jué)特性的自然輸出圖像。興趣區(qū)域控制信號(hào)生成単元132將以這種方式獲得的興趣區(qū)域控制圖像的圖像信號(hào)供應(yīng)給控制信號(hào)合成単元26作為興趣區(qū)域控制信號(hào)。在步驟S78中，控制信號(hào)合成單元26合成來(lái)自深度控制信號(hào)生成單元23的深度控制信號(hào)、來(lái)自臉皮膚區(qū)域控制信號(hào)生成単元24的臉皮膚區(qū)域控制信號(hào)、來(lái)自人區(qū)域控制信號(hào)生成單元25的人區(qū)域控制信號(hào)和來(lái)自興趣區(qū)域控制信號(hào)生成單元132的興趣區(qū)域控制信號(hào)，并且生成控制信號(hào)。然后，控制信號(hào)合成単元26將生成的控制信號(hào)供應(yīng)給圖像處理單元27。在生成控制信號(hào)之后，執(zhí)行步驟S79的過(guò)程并且圖像處理結(jié)束；然而，由于步驟S79的過(guò)程與圖3的步驟S17的過(guò)程相同，所以省略其描述。如上所述，通過(guò)根據(jù)輸入圖像中的每個(gè)主體的深度、臉皮膚區(qū)域和人輪廓區(qū)域而針對(duì)輸入圖像的每個(gè)區(qū)域適當(dāng)?shù)卮_定感覺(jué)的調(diào)整程度，可以獲得更加自然的輸出圖像而沒(méi)有不適。特別地，通過(guò)根據(jù)興趣區(qū)域確定感覺(jué)的調(diào)整程度，甚至在除了人之外的高度感興趣的主體存在于輸入圖像中的情況下，適合于人類視覺(jué)特性的優(yōu)越圖像顯示也是可能的?！吹谌龑?shí)施例〉[圖像處理單元的配置例子]上面在圖像處理單元27中，關(guān)于執(zhí)行銳度調(diào)整作為輸入圖像的感覺(jué)調(diào)整的情況給予了描述；然而，還可以與銳度一祥調(diào)整對(duì)比度。
在這樣的情況下，例如如圖10所示來(lái)配置圖I的圖像處理單元27。亦即，圖像處理單元27配置有非線性類型濾波器161、減法單元162、放大器163和加法器164。在圖像處理單元27中，關(guān)于輸入圖像執(zhí)行銳度和對(duì)比度調(diào)整，并且生成輸出圖像。非線性類型濾波器161關(guān)于供應(yīng)的輸入圖像使用由e濾波器等構(gòu)成的非線性類型濾波器執(zhí)行濾波過(guò)程，并且將作為結(jié)果獲得的圖像(以下稱之為平滑圖像)供應(yīng)給減法単元162和加法器164。這里，在其中輸入圖像的像素值陡峭變化的部分、亦即邊緣部分保持不變的情況下，非線性類型濾波器對(duì)整個(gè)輸入圖像進(jìn)行平滑。減法單元162減去來(lái)自非線性類型濾波器161的平滑圖像，并且將作為結(jié)果獲得的紋理分量供應(yīng)給放大器163?；趶目刂菩盘?hào)合成単元26供應(yīng)的控制信號(hào)，放大器163針對(duì)輸入圖像的每個(gè)區(qū)域放大從減法単元162供應(yīng)的紋理分量，并且執(zhí)行將其供應(yīng)給加法器164。下面，通過(guò)放大器163放大的輸入圖像的紋理分量被適當(dāng)?shù)胤Q為校正的紋理分量。
加法器164將從放大器163供應(yīng)的校正的紋理分量相加到從非線性類型濾波器 161供應(yīng)的平滑圖像，并且輸出作為結(jié)果獲得的輸出圖像。[對(duì)調(diào)整過(guò)程的描述]順便提及，甚至在如圖10所示地配置圖像處理單元27的情況下，也通過(guò)圖像處理設(shè)備11來(lái)執(zhí)行參考圖3描述的圖像處理。進(jìn)ー步，在圖像處理的步驟S17的調(diào)整過(guò)程中，執(zhí)行輸入圖像的銳度和對(duì)比度的調(diào)整。下面參考圖11中的流程圖，關(guān)于圖10的圖像處理單元27所執(zhí)行的調(diào)整過(guò)程給予描述。該調(diào)整過(guò)程對(duì)應(yīng)于圖3的步驟S17。在步驟SlOl中，非線性類型濾波器161關(guān)于供應(yīng)的輸入圖像使用非線性類型濾波器執(zhí)行濾波過(guò)程，并且將作為結(jié)果獲得的平滑圖像供應(yīng)給減法単元162和加法器164。在濾波過(guò)程中，在輸入圖像的邊緣部分保持不變的情況下對(duì)整個(gè)輸入圖像進(jìn)行平滑。在濾波過(guò)程期間，當(dāng)非線性濾波的抽頭長(zhǎng)度延長(zhǎng)時(shí)，低通振幅分量包括在紋理分量和校正的紋理分量中。例如可以在日本待審專利申請(qǐng)公布第2001-298621號(hào)中找到濾波過(guò)程的詳細(xì)描述。在步驟S102中，減法單元162從供應(yīng)的輸入圖像中減去來(lái)自非線性類型濾波器161的平滑圖像，并且從輸入圖像中提取紋理分量。這里，通過(guò)從輸入圖像中省去包括邊緣的分量來(lái)獲得紋理分量。減法單元162將獲得的紋理分量供應(yīng)給放大器163。在步驟S103中，基于從控制信號(hào)合成單元26供應(yīng)的控制信號(hào)，放大器163針對(duì)輸入圖像的每個(gè)區(qū)域放大從減法単元162供應(yīng)的紋理分量，并且將作為結(jié)果獲得的校正的紋理分量供應(yīng)給加法器164。例如，紋理分量是通過(guò)從輸入圖像中省去包括邊緣的分量而獲得的圖像之圖像信號(hào)。關(guān)于圖像的每個(gè)像素的像素值，通過(guò)相加與像素相同位置中的控制圖像像素的像素值，將紋理分量設(shè)置為校正的紋理分量。在步驟S104中，加法器164將從放大器163供應(yīng)的校正的紋理分量相加到從非線性類型濾波器161供應(yīng)的平滑圖像，并且輸出作為結(jié)果獲得的輸出圖像。以這種方式獲得的輸出圖像是通過(guò)針對(duì)每個(gè)區(qū)域調(diào)整輸入圖像的銳度和對(duì)比度而獲得的圖像。當(dāng)適當(dāng)?shù)貜?qiáng)調(diào)紋理分量而沒(méi)有改變輸入圖像的邊緣分量時(shí)，就調(diào)整了輸入圖像的銳度和對(duì)比度。
當(dāng)從加法器164將輸出圖像輸出時(shí)，調(diào)整過(guò)程結(jié)束，由此圖3的步驟S17也結(jié)束并且圖像處理結(jié)束。如上面提到的那樣，基于控制信號(hào)通過(guò)放大輸入圖像的紋理分量，圖像處理單元27執(zhí)行每個(gè)區(qū)域的銳度和對(duì)比度的調(diào)整。當(dāng)使用這樣的控制信號(hào)時(shí)，可以針對(duì)每個(gè)區(qū)域執(zhí)行具有立體效果的銳度和對(duì)比度的優(yōu)越控制。進(jìn)而，針對(duì)以下給予了描述在圖10的圖像處理單元27中，校正的紋理分量被相加到平滑圖像并被設(shè)置為輸出圖像；然而，可以是如下情況校正的紋理分量被相加到輸入圖像并被設(shè)置為輸出圖像?！吹谒膶?shí)施例〉[圖像處理單元的配置例子]另外，針對(duì)以下給予了描述在圖10的圖像處理單元27中，關(guān)于紋理分量執(zhí)行銳 度和對(duì)比度的調(diào)整；然而，可以是如下情況同樣關(guān)于邊緣分量執(zhí)行銳度調(diào)整。在這樣的情況下，例如如圖12所示地配置圖像處理設(shè)備11的圖像處理單元27。另外，在圖12中，針對(duì)與圖10的情況相對(duì)應(yīng)的部分給予相同的標(biāo)號(hào)，并且省略其描述。亦即，圖像處理單元27配置有非線性類型濾波器161、減法單元162、放大器163、加法器164、高通濾波器191、調(diào)整放大器192和加法器193。亦即，圖12的圖像處理單元27被配置成使得圖10的圖像處理單元27進(jìn)ー步設(shè)置有從高通濾波器191至加法器193的部件。高通濾波器191關(guān)于從非線性類型濾波器161供應(yīng)的平滑輸入圖像使用高通濾波器來(lái)執(zhí)行濾波過(guò)程，并且將作為結(jié)果獲得的邊緣分量供應(yīng)給調(diào)整放大器192。基于從控制信號(hào)合成単元26供應(yīng)的控制信號(hào)，調(diào)整放大器192針對(duì)輸入圖像的每個(gè)區(qū)域放大或衰減從高通濾波器191供應(yīng)的邊緣分量，并且執(zhí)行將其供應(yīng)給加法器193。這里，對(duì)于在生成供應(yīng)給放大器163的控制信號(hào)時(shí)使用的權(quán)重而言，使用不同的權(quán)重來(lái)生成供應(yīng)給調(diào)整放大器192的控制信號(hào)。下面，在調(diào)整放大器192中放大或衰減的輸入圖像的邊緣分量適當(dāng)時(shí)也可以被稱為校正的邊緣分量。加法器193將從調(diào)整放大器192供應(yīng)的校正的邊緣分量相加到從加法器164供應(yīng)的圖像，并且輸出作為結(jié)果獲得的輸出圖像。[對(duì)調(diào)整過(guò)程的描述]在如圖12所示地配置圖像處理單元27的情況下，通過(guò)圖像處理設(shè)備11執(zhí)行參考圖3描述的圖像處理；然而，在步驟S16中，控制信號(hào)合成単元26生成兩個(gè)不同的控制信號(hào)，并且分別將信號(hào)供應(yīng)給放大器163和調(diào)整放大器192。換言之，通過(guò)根據(jù)預(yù)定權(quán)重對(duì)深度控制信號(hào)、臉皮膚區(qū)域控制信號(hào)和人區(qū)域控制信號(hào)進(jìn)行加權(quán)并相加，控制信號(hào)合成単元26生成控制信號(hào)，并且執(zhí)行將其供應(yīng)給放大器163。進(jìn)ー步，通過(guò)根據(jù)對(duì)于上面描述的預(yù)定權(quán)重而言不同的權(quán)重對(duì)深度控制信號(hào)、臉皮膚區(qū)域控制信號(hào)和人區(qū)域控制信號(hào)進(jìn)行加權(quán)并相加，控制信號(hào)合成単元26生成控制信號(hào)，并且執(zhí)行將其供應(yīng)給調(diào)整放大器192。進(jìn)ー步，在這樣的圖像處理中的調(diào)整過(guò)程的步驟S17中，輸入圖像的紋理分量和邊緣分量被分別放大或衰減，并且執(zhí)行銳度和對(duì)比度調(diào)整。
下面參考圖13中的流程圖，關(guān)于使用圖12的圖像處理單元27執(zhí)行的調(diào)整過(guò)程給予描述。該調(diào)整過(guò)程對(duì)應(yīng)于圖3的步驟S17。由于步驟S131至步驟S134的過(guò)程與圖11的步驟SlOl至步驟S104的過(guò)程相同，所以會(huì)省略其描述。然而，在步驟S131中，非線性類型濾波器161將通過(guò)濾波過(guò)程獲得的平滑圖像供應(yīng)給減法單元162、加法器164和高通濾波器191。進(jìn)ー步，在步驟S134中，加法器164將來(lái)自放大器163的校正的紋理分量相加到來(lái)自非線性類型濾波器161的平滑圖像，并且將獲得的圖像供應(yīng)給加法器193。在步驟S135中，高通濾波器191關(guān)于從非線性類型濾波器161供應(yīng)的平滑輸入圖像使用高通濾波器來(lái)執(zhí)行濾波過(guò)程，并且提取輸入圖像的邊緣分量。高通濾波器191將提取的邊緣分量供應(yīng)給調(diào)整放大器192。 在步驟S136中，基于來(lái)自控制信號(hào)合成單元26的控制信號(hào)，調(diào)整放大器192針對(duì)輸入圖像的每個(gè)區(qū)域放大或衰減來(lái)自高通濾波器191的邊緣分量，并且執(zhí)行將其供應(yīng)給加法器193。亦即，基于控制信號(hào)相對(duì)于邊緣分量的圖像的每個(gè)像素的像素值對(duì)控制圖像像素的像素值進(jìn)行相加，并且設(shè)置為校正的邊緣分量。在步驟S137中，加法器193將從調(diào)整放大器192供應(yīng)的校正的邊緣分量相加到從加法器164供應(yīng)的并且對(duì)其相加了校正的紋理分量的平滑圖像，并且輸出作為結(jié)果獲得的輸出圖像。當(dāng)來(lái)自加法器193的輸出圖像被輸出時(shí)，調(diào)整過(guò)程結(jié)束，由此圖3的步驟S17也結(jié)束并且圖像處理結(jié)束。以這種方式，通過(guò)不僅調(diào)整輸入圖像的紋理分量，而且還獨(dú)立于紋理分量調(diào)整每個(gè)區(qū)域的邊緣分量的銳度，可以執(zhí)行對(duì)邊緣的更加適當(dāng)?shù)膹?qiáng)調(diào)控制，并且可以獲得具有立體效果的優(yōu)越輸出圖像?！吹谖鍖?shí)施例〉[圖像處理單元的配置例子]另外，在圖像處理單元27中，執(zhí)行超分辨率處理，并且輸入圖像被轉(zhuǎn)換成具有高分辨率的輸出圖像。在這一點(diǎn)上，可以適應(yīng)性控制根據(jù)控制信號(hào)的每個(gè)區(qū)域中的超分辨率效果的程度，換言之即超分辨率效果的狀態(tài)。在這樣的情況下，例如如圖14所示地配置圖I的圖像處理設(shè)備11的圖像處理單元27。亦即，圖14的圖像處理單元27配置有類抽頭提取單元221、自適應(yīng)動(dòng)態(tài)范圍控制(ADRC)處理單元222、類分類単元223、預(yù)測(cè)系數(shù)維護(hù)單元224、預(yù)測(cè)抽頭提取単元225和預(yù)測(cè)計(jì)算単元226。在圖像處理單元27中，輸入圖像被供應(yīng)給類抽頭提取単元221和預(yù)測(cè)抽頭提取單元225。類抽頭提取單元221把將要從這一點(diǎn)生成的輸出圖像(輸出圖像是將要從這一點(diǎn)計(jì)算的圖像，并且由于在當(dāng)前階段并不存在，所以實(shí)際上是假定)的像素相繼地設(shè)置為吸引注意力的興趣像素。類抽頭提取單元221提取供應(yīng)的輸入圖像中的與興趣像素相同位置附近的幾個(gè)像素，作為用于在多個(gè)類中之一當(dāng)中對(duì)興趣像素進(jìn)行分類的類抽頭，并且執(zhí)行將其供應(yīng)給ADRC處理單元222。ADRC處理單元222對(duì)從類抽頭提取單元221供應(yīng)的類抽頭執(zhí)行ADRC處理，并且將已對(duì)其執(zhí)行了 ADRC處理的類抽頭供應(yīng)給類分類單元223?；趶腁DRC處理單元222供應(yīng)的類抽頭，類分類單元223對(duì)興趣像素的類進(jìn)行分類，結(jié)果生成表明被分類的興趣像素類的類代碼。進(jìn)ー步，基于從控制信號(hào)合成単元26供應(yīng)的控制信號(hào)，類分類単元223生成預(yù)測(cè)系數(shù)集合ID，其表明在預(yù)測(cè)系數(shù)維護(hù)單元224中記錄的由多個(gè)預(yù)測(cè)系數(shù)構(gòu)成的預(yù)測(cè)系數(shù)集合當(dāng)中使用哪個(gè)預(yù)測(cè)系數(shù)集合。換言之，在預(yù)測(cè)系數(shù)維護(hù)單元224中，記錄了針對(duì)每個(gè)類代碼的由預(yù)測(cè)系數(shù)構(gòu)成的多個(gè)預(yù)測(cè)系數(shù)集合。預(yù)測(cè)系數(shù)被用來(lái)預(yù)測(cè)興趣像素并且通過(guò)研究而預(yù)先計(jì)算。進(jìn)一歩，當(dāng)預(yù)測(cè)系數(shù)甚至針對(duì)相同類代碼的預(yù)測(cè)系數(shù)也配置不同的預(yù)測(cè)系數(shù)集合吋，預(yù)測(cè)系數(shù)的值不同，并且可以獲得如下興趣像素針對(duì)所述興趣像素，例如對(duì)于每個(gè)預(yù)測(cè)系數(shù)集合而言，諸如銳度之類的超分辨率效果和感覺(jué)的程度不同。類分類単元223將指定預(yù)測(cè)系數(shù)集合的預(yù)測(cè)系數(shù)集合ID和類代碼供應(yīng)給預(yù)測(cè)系 數(shù)維護(hù)單元224。預(yù)測(cè)系數(shù)維護(hù)單元224將從類分類單元223供應(yīng)的根據(jù)類代碼和預(yù)測(cè)系數(shù)集合ID指定的預(yù)測(cè)系數(shù)供應(yīng)給預(yù)測(cè)計(jì)算単元226。預(yù)測(cè)抽頭提取単元225在供應(yīng)的輸入圖像中提取與興趣像素相同位置附近的幾個(gè)像素，作為用于預(yù)測(cè)興趣像素的像素值的預(yù)測(cè)抽頭，并且執(zhí)行將其供應(yīng)給預(yù)測(cè)計(jì)算単元226。預(yù)測(cè)計(jì)算單元226將從預(yù)測(cè)系數(shù)維護(hù)單元224供應(yīng)的預(yù)測(cè)系數(shù)乘以從預(yù)測(cè)抽頭提取単元225供應(yīng)的預(yù)測(cè)抽頭、換言之即配置預(yù)測(cè)抽頭的像素之像素值，執(zhí)行興趣像素的像素值的預(yù)測(cè)計(jì)算，并且生成輸出圖像。預(yù)測(cè)計(jì)算單元226輸出生成的輸出圖像。[對(duì)調(diào)整過(guò)程的描述]順便提及，甚至在如圖14所示地配置圖像處理單元27的情況下，也通過(guò)圖像處理設(shè)備11來(lái)執(zhí)行參考圖3描述的圖像處理。進(jìn)ー步，在圖像處理的步驟S17的調(diào)整處理中，輸入圖像被轉(zhuǎn)換成與輸入圖像相比具有更高分辨率的輸出圖像。下面參考圖15中的流程圖，對(duì)圖14的圖像處理單元27所執(zhí)行的調(diào)整過(guò)程給予描述。該調(diào)整過(guò)程對(duì)應(yīng)于圖3的步驟S17。在步驟S161中，圖像處理單元27選擇將要從這一點(diǎn)生成的輸出圖像的像素中之一，并且將該像素設(shè)置為興趣像素。在步驟S162中，類抽頭提取單元221從供應(yīng)的輸入圖像中提取類抽頭，并且執(zhí)行將其供應(yīng)給ADRC處理單元222。在步驟S163中，ADRC處理單元222對(duì)從類抽頭提取單元221供應(yīng)的類抽頭執(zhí)行ADRC處理，并且執(zhí)行將其供應(yīng)給類分類單元223。例如，ADRC處理單元222檢測(cè)配置類抽頭的像素之像素值中的最大者M(jìn)AX和最小值MIN，并且將檢測(cè)的像素值中的最大者M(jìn)AX和最小值MIN之間的差DR設(shè)置為配置類抽頭的像素組的局部動(dòng)態(tài)范圍。基于動(dòng)態(tài)范圍DR，ADRC處理單元222對(duì)配置類抽頭的像素(的像素值)執(zhí)行I比特再量化。亦即，ADRC處理單元222從配置類抽頭的每個(gè)像素的像素值中減去最小值MIN，并且將減去的值除以DR/2 (量化)。然后，ADRC處理單元222將位流供應(yīng)給類分類單元223，在所述位流中，按照預(yù)定順序排列以上述方式獲得的配置類抽頭的I比特的每個(gè)像素的像素值。在步驟S164中，基于從ADRC處理單元222供應(yīng)的位流，類分類單元223執(zhí)行興趣像素的類分類。例如，類分類単元223將從ADRC處理單元222供應(yīng)的位流設(shè)置為類代碼那樣。另外，基于從控制信號(hào)合成単元26供應(yīng)的控制信號(hào)，類分類単元223基于控制圖像的像素當(dāng)中的與興趣像素相同位置附近的像素之像素值選擇預(yù)測(cè)系數(shù)集合ID。例如，其中獲得控制圖像像素的像素值的范圍被分成幾個(gè)范圍，并且預(yù)測(cè)系數(shù)集合ID與劃分的范圍中的每ー個(gè)相關(guān)聯(lián)。類分類単元223選擇與控制信號(hào)所示出的像素之像素值所屬的范圍相關(guān)聯(lián)的預(yù)測(cè)系數(shù)集合ID。類分類単元223將以這種方式選擇的預(yù)測(cè)系數(shù)集合ID和類代碼供應(yīng)給預(yù)測(cè)系數(shù)維護(hù)單元224。這樣ー來(lái)，預(yù)測(cè)系數(shù)維護(hù)單元224就將預(yù)先記錄的每個(gè)預(yù)測(cè)系數(shù)集合的預(yù)測(cè)系數(shù)當(dāng)中的由來(lái)自類分類單元223的預(yù)測(cè)系數(shù)集合ID和類代碼所指定的預(yù)測(cè)系數(shù)供應(yīng)給預(yù)測(cè)計(jì)算單元226。亦即，屬于預(yù)測(cè)系數(shù)集合ID所指定的預(yù)測(cè)系數(shù)集合的預(yù)測(cè)系數(shù)當(dāng)中的類代碼所指定的預(yù)測(cè)系數(shù)被選擇并輸出。 在步驟S165中，預(yù)測(cè)抽頭提取単元225在供應(yīng)的輸入圖像中提取與興趣像素相同位置附近的幾個(gè)像素作為預(yù)測(cè)抽頭，并且執(zhí)行將其供應(yīng)給預(yù)測(cè)計(jì)算単元226。在步驟S166中，預(yù)測(cè)計(jì)算單元226將從預(yù)測(cè)系數(shù)維護(hù)單元224供應(yīng)的預(yù)測(cè)系數(shù)乘以從預(yù)測(cè)抽頭提取單元225供應(yīng)的預(yù)測(cè)抽頭的像素之像素值，并且對(duì)興趣像素的像素值執(zhí)行預(yù)測(cè)計(jì)算。亦即，乘以預(yù)測(cè)系數(shù)的像素值之和被設(shè)置為興趣像素的像素值。在步驟S167中，圖像處理單元27確定是否關(guān)于輸出圖像的全部像素都執(zhí)行了預(yù)測(cè)計(jì)算。例如，在輸出圖像的全部像素都被設(shè)置為興趣像素并且其像素值被計(jì)算的情況下，確定相對(duì)于全部像素都執(zhí)行了預(yù)測(cè)計(jì)算。在步驟S167中，在確定尚未針對(duì)全部像素都執(zhí)行了預(yù)測(cè)計(jì)算的情況下，過(guò)程返回到步驟S161并且重復(fù)上述過(guò)程。另ー方面，在步驟S167中，在確定針對(duì)全部像素都執(zhí)行了預(yù)測(cè)計(jì)算的情況下，過(guò)程前進(jìn)到步驟S168。在步驟S168中，預(yù)測(cè)計(jì)算單元226輸出由設(shè)置為興趣像素的每個(gè)像素的像素值構(gòu)成的輸出圖像，從而完成調(diào)整過(guò)程。當(dāng)調(diào)整過(guò)程結(jié)束吋，圖3的步驟S17也結(jié)束并且圖像處
理結(jié)束。以這種方式，由于在圖像處理單元27中基于輸出圖像的每個(gè)區(qū)域中的控制信號(hào)來(lái)選擇預(yù)測(cè)系數(shù)集合，所以可以調(diào)整針對(duì)每個(gè)區(qū)域的超分辨率效果的程度、亦即分辨率創(chuàng)建的程度，并且可以獲得具有立體效果的優(yōu)越輸出圖像?！吹诹鶎?shí)施例〉[圖像處理單元的配置例子]進(jìn)ー步，可以根據(jù)控制信號(hào)調(diào)整輸入圖像的色度。在這樣的情況下，例如如圖16所示地配置圖I的圖像處理設(shè)備11的圖像處理單元27。亦即，圖16中的圖像處理單元27配置有分離單元251、色度調(diào)整放大器252和合成単元253。在這個(gè)例子中，輸入圖像的圖像信號(hào)由亮度信號(hào)(Y信號(hào))和色度信號(hào)(CbCr信號(hào))構(gòu)成。分離單元251將供應(yīng)的輸入圖像分成亮度分量(亮度信號(hào))和色度分量(色度信號(hào))，將亮度分量供應(yīng)給合成単元253，并且將色度分量供應(yīng)給色度調(diào)整放大器252。
基于從控制信號(hào)合成単元26供應(yīng)的控制信號(hào)，色度調(diào)整放大器252針對(duì)輸入圖像的每個(gè)區(qū)域放大或衰減從分離單元251供應(yīng)的色度分量(色差分量)，并且執(zhí)行將其供應(yīng)給合成単元253。合成単元253輸出由來(lái)自分離單元251的亮度分量和來(lái)自色度調(diào)整放大器252的色度分量構(gòu)成的圖像作為輸出圖像。[對(duì)調(diào)整過(guò)程的描述]順便提及，甚至在如圖16所示地配置圖像處理單元27的情況下，也通過(guò)圖像處理設(shè)備11來(lái)執(zhí)行參考圖3描述的圖像處理。進(jìn)ー步，在圖像處理的步驟S17的調(diào)整處理中，執(zhí)行輸入圖像的色度分量的調(diào)整。下面參考圖17中的流程圖，對(duì)圖16的圖像處理單元27所執(zhí)行的調(diào)整過(guò)程給予描述。該調(diào)整過(guò)程對(duì)應(yīng)于圖3的步驟S17。在步驟S191中，分離單元251將供應(yīng)的輸入圖像分成亮度分量和色度分量，將亮 度分量供應(yīng)給合成単元253，并且將色度分量供應(yīng)給色度調(diào)整放大器252。在步驟S192中，基于從控制信號(hào)合成単元26供應(yīng)的控制信號(hào)，色度調(diào)整放大器252針對(duì)輸入圖像的每個(gè)區(qū)域放大或衰減從分離單元251供應(yīng)的色度分量，并且執(zhí)行將其供應(yīng)給合成単元253。例如，相對(duì)于色度分量的圖像的每個(gè)像素的像素值，與像素相同位置中的控制圖像像素的像素值被相加并設(shè)置為校正的色度分量。在步驟S193中，合成単元253輸出由來(lái)自分離單元251的亮度分量的亮度信號(hào)和來(lái)自色度調(diào)整放大器252的色度分量的色度信號(hào)構(gòu)成的圖像信號(hào)作為輸出圖像的圖像信號(hào)。通過(guò)針對(duì)每個(gè)區(qū)域調(diào)整輸入圖像的色度，獲得以這種方式獲得的輸出圖像。當(dāng)輸出圖像從合成単元253輸出時(shí)，調(diào)整過(guò)程結(jié)束，由此圖3的步驟S17也結(jié)束并且圖像處理結(jié)束。如上面提到的那樣，基于控制信號(hào)，通過(guò)放大或衰減輸入圖像的色度分量，圖像處理單元27執(zhí)行每個(gè)區(qū)域的色度的調(diào)整。當(dāng)使用這樣的控制信號(hào)時(shí)，可以針對(duì)每個(gè)區(qū)域執(zhí)行具有立體效果的色度的優(yōu)越控制。上面描述的系列過(guò)程可以通過(guò)硬件來(lái)執(zhí)行，或者可以通過(guò)軟件來(lái)執(zhí)行。在系列處理通過(guò)軟件來(lái)執(zhí)行的情況下，配置軟件的程序例如可以從程序記錄介質(zhì)安裝到其中安裝了專用硬件的計(jì)算機(jī)或能夠通過(guò)安裝各種類型的程序來(lái)執(zhí)行各種類型的功能的通用個(gè)人計(jì)
算機(jī)等。圖18是示出根據(jù)程序來(lái)執(zhí)行上面描述的系列處理的計(jì)算機(jī)的硬件的配置例子的框圖。在計(jì)算機(jī)中，中央處理單元(CPU) 301、只讀存儲(chǔ)器(ROM) 302和隨機(jī)存取存儲(chǔ)器(RAM) 303通過(guò)總線304相互連接?？偩€304進(jìn)ー步連接到輸入輸出接ロ 305。輸入輸出接ロ 305連接到輸入單元306如鍵盤、鼠標(biāo)或麥克風(fēng)；輸出單元307如顯示器或揚(yáng)聲器；記錄單元308如硬盤或非易失性存儲(chǔ)器；通信単元309如網(wǎng)絡(luò)接ロ ；以及驅(qū)動(dòng)器310，其驅(qū)動(dòng)可移動(dòng)介質(zhì)311如磁盤、光盤、磁光盤或半導(dǎo)體存儲(chǔ)器。在如上所述配置的計(jì)算機(jī)中，CPU 301例如通過(guò)以下來(lái)執(zhí)行上面描述的系列處理通過(guò)輸入輸出接ロ 305和總線304將記錄單元308中記錄的程序加載到RAM 303中，并且執(zhí)行該程序。由計(jì)算機(jī)(CPU 301)執(zhí)行的程序記錄在可移動(dòng)介質(zhì)311上，該可移動(dòng)介質(zhì)311是打包介質(zhì)如磁盤(包括柔性盤)、光盤(緊致盤-只讀存儲(chǔ)器(CD-ROM)或數(shù)字通用盤(DVD)等)、磁光盤或半導(dǎo)體存儲(chǔ)器等，所述程序或者通過(guò)有線或無(wú)線傳輸介質(zhì)如局域網(wǎng)、因特網(wǎng)或數(shù)字衛(wèi)星廣播共享。這里，通過(guò)將可移動(dòng)介質(zhì)311安裝在驅(qū)動(dòng)器310中，可以通過(guò)輸入輸出接ロ 305將程序安裝在記錄單元308中。另外，可以通過(guò)有線或無(wú)線傳輸介質(zhì)在通信単元309中接收程序并將程序安裝在記錄單元308中。進(jìn)而，可以預(yù)先將程序安裝在ROM 302和記錄單元308 中。另外，由計(jì)算機(jī)執(zhí)行的程序可以按時(shí)間順序執(zhí)行本說(shuō)明書中描述的序列中的處理，或者可以并行地或在適當(dāng)時(shí)刻如在調(diào)用時(shí)執(zhí)行處理。進(jìn)ー步，本公開的實(shí)施例并不限于上面描述的實(shí)施例，并且各種修改在不背離本 公開的主g的范圍之內(nèi)都是可能的。進(jìn)而，本公開可以采用以下配置。[I]ー種圖像處理設(shè)備，包括深度控制信號(hào)生成単元，其基于輸入圖像的每個(gè)區(qū)域中的主體的深度位置，生成控制所述輸入圖像的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的深度控制信號(hào)；臉皮膚區(qū)域控制信號(hào)生成単元，其基于所述輸入圖像中的人臉皮膚區(qū)域，生成控制所述輸入圖像中的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的臉皮膚區(qū)域控制信號(hào)；人區(qū)域控制信號(hào)生成單元，其基于所述輸入圖像中的人的區(qū)域，生成控制所述輸入圖像中的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的人區(qū)域控制信號(hào)；以及控制信號(hào)合成単元，其合成所述深度控制信號(hào)、所述臉皮膚區(qū)域控制信號(hào)和所述人區(qū)域控制信號(hào)以生成控制信號(hào)。[2]根據(jù)上述[I]所述的圖像處理設(shè)備，進(jìn)ー步設(shè)置有圖像處理單元，其基于所述控制信號(hào)調(diào)整所述輸入圖像的每個(gè)區(qū)域的感覺(jué)并生成輸出圖像。[3]根據(jù)上述[2]所述的圖像處理設(shè)備，其中，所述圖像處理單元基于所述控制信號(hào)放大或衰減所述輸入圖像的邊緣分量。[4]根據(jù)上述[2]所述的圖像處理設(shè)備，其中，所述圖像處理單元基于所述控制信號(hào)放大所述輸入圖像的紋理分量。[5]根據(jù)上述[4]所述的圖像處理設(shè)備，其中，所述圖像處理單元基于除了所述控制信號(hào)之外的不同控制信號(hào)來(lái)放大或衰減所述輸入圖像的邊緣分量。[6]根據(jù)上述[2]所述的圖像處理設(shè)備，其中，所述圖像處理單元設(shè)置有預(yù)測(cè)系數(shù)選擇單元，其針對(duì)所述輸出圖像的每個(gè)區(qū)域選擇在基于所述控制信號(hào)生成所述輸出圖像中使用的預(yù)測(cè)系數(shù)；以及預(yù)測(cè)計(jì)算単元，其基于所述輸入圖像和所述預(yù)測(cè)系數(shù)，生成與所述輸入圖像相比具有更高分辨率的輸出圖像。
[7]根據(jù)上述[2]所述的圖像處理設(shè)備，其中，所述圖像處理單元放大或衰減所述輸入圖像的色度分量。[8]根據(jù)上述[I]或[2]所述的圖像處理設(shè)備，進(jìn)一歩包括興趣區(qū)域控制信號(hào)生成單元，其基于所述輸入圖像中的被估計(jì)為高度感興趣的區(qū)域生成控制所述輸入圖像中的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的興趣區(qū)域控制信號(hào)，其中，所述控制信號(hào)合成単元合成所述深度控制信號(hào)、所述臉皮膚區(qū)域控制信號(hào)、所述人區(qū)域控制信號(hào)和所述興趣區(qū)域控制信號(hào)，并且生成控制信號(hào)。
[9]根據(jù)上述[I]至[8]中任何一項(xiàng)所述的圖像處理設(shè)備，其中，基于從所述輸入圖像中的人臉區(qū)域的檢測(cè)結(jié)果，所述臉皮膚區(qū)域控制信號(hào)生成単元指定所述人臉皮膚區(qū)域并且生成所述臉皮膚區(qū)域控制信號(hào)，并且當(dāng)沒(méi)有從過(guò)程對(duì)象的輸入圖像中檢測(cè)到人臉區(qū)域吋，基于以前輸入圖像中的人臉皮膚區(qū)域的特定結(jié)果在過(guò)程對(duì)象的輸入圖像中指定人臉皮膚區(qū)域。[10]根據(jù)上述[9]所述的圖像處理設(shè)備，其中，使用從所述輸入圖像中的人臉區(qū)域的檢測(cè)結(jié)果或所述輸入圖像的人臉皮膚區(qū)域的特定結(jié)果中的至少ー個(gè)，所述人區(qū)域控制信號(hào)生成単元指定所述輸入圖像中的人的區(qū)域并生成所述人區(qū)域控制信號(hào)。本公開包含與2011年3月29日向日本專利局申請(qǐng)的日本優(yōu)先權(quán)專利申請(qǐng)JP2011-073042中公開的主題有關(guān)的主題，該專利申請(qǐng)的整體內(nèi)容通過(guò)引用結(jié)合于此。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的是，取決于設(shè)計(jì)要求和其它因素，可以進(jìn)行各種修改、組合、再組合和變更，它們都處在所附權(quán)利要求或其等效含義的范圍之內(nèi)。
權(quán)利要求
1.ー種圖像處理設(shè)備，包括 深度控制信號(hào)生成単元，其基于輸入圖像的每個(gè)區(qū)域中的主體的深度位置，生成控制所述輸入圖像的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的深度控制信號(hào)； 臉皮膚區(qū)域控制信號(hào)生成単元，其基于所述輸入圖像中的人臉皮膚區(qū)域，生成控制所述輸入圖像中的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的臉皮膚區(qū)域控制信號(hào)； 人區(qū)域控制信號(hào)生成単元，其基于所述輸入圖像中的人的區(qū)域，生成控制所述輸入圖像中的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的人區(qū)域控制信號(hào)；以及 控制信號(hào)合成単元，其合成所述深度控制信號(hào)、所述臉皮膚區(qū)域控制信號(hào)和所述人區(qū)域控制信號(hào)以生成控制信號(hào)。
2.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，進(jìn)一歩包括 圖像處理單元，其基于所述控制信號(hào)調(diào)整所述輸入圖像的每個(gè)區(qū)域的感覺(jué)并生成輸出圖像。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，所述圖像處理單元基于所述控制信號(hào)放大或衰減所述輸入圖像的邊緣分量。
4.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，所述圖像處理單元基于所述控制信號(hào)放大所述輸入圖像的紋理分量。
5.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其中，所述圖像處理單元基于除了所述控制信號(hào)之外的控制信號(hào)來(lái)放大或衰減所述輸入圖像的邊緣分量。
6.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，所述圖像處理單元設(shè)置有 預(yù)測(cè)系數(shù)選擇單元，其針對(duì)所述輸出圖像的每個(gè)區(qū)域選擇在基于所述控制信號(hào)生成所述輸出圖像中使用的預(yù)測(cè)系數(shù)；以及 預(yù)測(cè)計(jì)算單元，其基于所述輸入圖像和所述預(yù)測(cè)系數(shù)，生成與所述輸入圖像相比具有更聞分辨率的輸出圖像。
7.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，所述圖像處理單元基于所述控制信號(hào)放大或衰減所述輸入圖像的色度分量。
8.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，進(jìn)一歩包括 興趣區(qū)域控制信號(hào)生成単元，其基于所述輸入圖像中的被估計(jì)為高度感興趣的區(qū)域生成控制所述輸入圖像中的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的興趣區(qū)域控制信號(hào)， 其中，所述控制信號(hào)合成単元合成所述深度控制信號(hào)、所述臉皮膚區(qū)域控制信號(hào)、所述人區(qū)域控制信號(hào)和所述興趣區(qū)域控制信號(hào)以生成控制信號(hào)。
9.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其中，基于從所述輸入圖像中的人臉區(qū)域的檢測(cè)結(jié)果，所述臉皮膚區(qū)域控制信號(hào)生成単元指定所述人臉皮膚區(qū)域并且生成所述臉皮膚區(qū)域控制信號(hào)，并且當(dāng)沒(méi)有從過(guò)程對(duì)象的輸入圖像中檢測(cè)到人臉區(qū)域時(shí)，基于以前輸入圖像中的人臉皮膚區(qū)域的特定結(jié)果在過(guò)程對(duì)象的輸入圖像中指定人臉皮膚區(qū)域。
10.根據(jù)權(quán)利要求9所述的圖像處理設(shè)備，其中，使用從所述輸入圖像中的人臉區(qū)域的檢測(cè)結(jié)果或所述輸入圖像的人臉皮膚區(qū)域的特定結(jié)果中的至少ー個(gè)，所述人區(qū)域控制信號(hào)生成単元指定所述輸入圖像中的人的區(qū)域并生成所述人區(qū)域控制信號(hào)。
11.一種圖像處理設(shè)備的圖像處理方法，所述圖像處理設(shè)備包括 深度控制信號(hào)生成単元，其基于輸入圖像的每個(gè)區(qū)域中的主體的深度位置，生成控制所述輸入圖像的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的深度控制信號(hào)； 臉皮膚區(qū)域控制信號(hào)生成単元，其基于所述輸入圖像中的人臉皮膚區(qū)域，生成控制所述輸入圖像中的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的臉皮膚區(qū)域控制信號(hào)； 人區(qū)域控制信號(hào)生成単元，其基于所述輸入圖像中的人的區(qū)域，生成控制所述輸入圖像中的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的人區(qū)域控制信號(hào)；以及 控制信號(hào)合成単元，其合成所述深度控制信號(hào)、所述臉皮膚區(qū)域控制信號(hào)和所述人區(qū)域控制信號(hào)以生成控制信號(hào)，其中， 所述深度控制信號(hào)生成単元生成所述深度控制信號(hào)， 所述臉皮膚區(qū)域控制信號(hào)生成単元生成所述臉皮膚區(qū)域控制信號(hào)， 所述人區(qū)域控制信號(hào)生成単元生成所述人區(qū)域控制信號(hào)，并且 所述控制信號(hào)合成単元生成控制信號(hào)。
12.—種程序，使計(jì)算機(jī)執(zhí)行包括以下步驟的方法 基于輸入圖像的每個(gè)區(qū)域中的主體的深度位置，生成控制所述輸入圖像的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的深度控制信號(hào)； 基于所述輸入圖像中的人臉皮膚區(qū)域，生成控制所述輸入圖像中的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的臉皮膚區(qū)域控制信號(hào)； 基于所述輸入圖像中的人的區(qū)域，生成控制所述輸入圖像中的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的人區(qū)域控制信號(hào)；以及 合成所述深度控制信號(hào)、所述臉皮膚區(qū)域控制信號(hào)和所述人區(qū)域控制信號(hào)以生成控制信號(hào)。
全文摘要
本公開涉及圖像處理設(shè)備、方法和程序。根據(jù)本公開的圖像處理設(shè)備包括深度控制信號(hào)生成單元，其基于輸入圖像的每個(gè)區(qū)域中的主體的深度位置，生成控制所述輸入圖像的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的深度控制信號(hào)；臉皮膚區(qū)域控制信號(hào)生成單元，其基于所述輸入圖像中的人臉皮膚區(qū)域，生成控制所述輸入圖像中的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的臉皮膚區(qū)域控制信號(hào)；人區(qū)域控制信號(hào)生成單元，其基于所述輸入圖像中的人的區(qū)域，生成控制所述輸入圖像中的每個(gè)區(qū)域的感覺(jué)的強(qiáng)調(diào)程度的人區(qū)域控制信號(hào)；以及控制信號(hào)合成單元，其合成所述深度控制信號(hào)、所述臉皮膚區(qū)域控制信號(hào)和所述人區(qū)域控制信號(hào)以生成控制信號(hào)。
文檔編號(hào)H04N13/00GK102737368SQ201210078359
公開日2012年10月17日 申請(qǐng)日期2012年3月22日 優(yōu)先權(quán)日2011年3月29日
發(fā)明者丸山真由子, 坂口高宏, 橫山一樹 申請(qǐng)人:索尼公司