專利名稱：圖像處理裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置及方法，尤其涉及在各種被拍攝物體或一般的場景中都能進(jìn)行理想的構(gòu)圖或感覺良好的構(gòu)圖下的攝影的技術(shù)。
背景技術(shù)：
一直以來，在用戶利用照相機(jī)進(jìn)行攝影的情況下，有時會獲得與本意不同的攝影 圖像。為了回避這種失敗，提出了各種各樣的回避對策。例如，在想要對人物等周圍的整個風(fēng)景進(jìn)行攝影時，有時會產(chǎn)生縮小人物等進(jìn)行 攝影的現(xiàn)象。在日本特開2006-148344號公報等中提出了該現(xiàn)象的回避對策。例如，用戶通過使用F值小(口徑大)的透鏡或者開放光圈使F值減小，從而使瞄 準(zhǔn)點僅與近景一致，可以進(jìn)行使背景暈色的攝影。然而，會產(chǎn)生在暈色程度不合適的狀態(tài)下 進(jìn)行攝影的現(xiàn)象。在日本特開平06-30349號公報等中提出了該現(xiàn)象的回避對策。例如，用戶在只注意瞄準(zhǔn)點一致時等，會以使被拍攝物體配置于中央的構(gòu)圖進(jìn)行 攝影。這種情況下，會產(chǎn)生以下現(xiàn)象攝影圖像成為像初學(xué)者攝影的圖像或者成為單調(diào)的說 明圖像。在日本特開2002-232753號公報、特開2007-174548號公報等中提出了該現(xiàn)象的 回避對策。然而在各種被拍攝物體或一般的場景中，有時產(chǎn)生無法以理想的構(gòu)圖或感覺良好 的構(gòu)圖進(jìn)行攝影的現(xiàn)象。為了回避這種現(xiàn)象，即使采用包括日本特開2006-148344號公報、 日本特開平06-30349號公報、日本特開2002-232753號公報、日本特開2007-174548號公 報在內(nèi)的現(xiàn)有的回避對策，也難以有效地回避。

發(fā)明內(nèi)容
本發(fā)明的目的在于即使在各種各樣的被拍攝物體或一般的場景中也能以理想的 構(gòu)圖或感覺良好的構(gòu)圖進(jìn)行攝影。根據(jù)本發(fā)明的第一觀點，提供一種圖像處理裝置，包括推測部，基于從包含主要 被拍攝物體的輸入圖像中提取出的多個特征量，針對所述輸入圖像推測關(guān)注點區(qū)域；和識 別部，其利用由所述推測部推測出的所述關(guān)注點區(qū)域，從多個模型構(gòu)圖方案中識別與所述 主要被拍攝物體的配置狀態(tài)有關(guān)且與所述輸入圖像類似的模型構(gòu)圖方案。根據(jù)本發(fā)明的第二觀點，提供一種圖像處理方法，包括推測步驟，基于從包含主 要被拍攝物體的輸入圖像中提取出的多個特征量，針對所述輸入圖像推測關(guān)注點區(qū)域；和 識別步驟，利用通過所述推測步驟的處理推測出的所述關(guān)注點區(qū)域，從多個模型構(gòu)圖方案 中識別與所述主要被拍攝物體的配置狀態(tài)有關(guān)且與所述輸入圖像類似的模型構(gòu)圖方案。(發(fā)明效果)根據(jù)本發(fā)明，即使在各種各樣的被拍攝物體或一般的場景中也能以理想的構(gòu)圖或 感覺良好的構(gòu)圖進(jìn)行攝影。


圖1是本發(fā)明第1實施方式涉及的圖像處理裝置的硬件構(gòu)成的圖。圖2是對本發(fā)明第1實施方式的場景構(gòu)圖識別處理的概略進(jìn)行說明的圖。圖3是表示存儲了本發(fā)明第1實施方式的場景構(gòu)圖識別處理中的構(gòu)圖分類處理中 所利用的每個模型構(gòu)案的各種信息的表格信息的一例的圖。圖4是表示存儲了本發(fā)明第1實施方式的場景構(gòu)圖識別處理中的構(gòu)圖分類處理中 所利用的每個模型構(gòu)圖方案的各種信息的表格信息的一例的圖。圖5是表示本發(fā)明第1實施方式的攝影模式處理的流程的一例的流程圖。圖6是表示本發(fā)明第1實施方式的攝影模式處理的具體處理結(jié)果的例子的圖。圖7是表示本發(fā)明第1實施方式的攝影模式處理中的場景構(gòu)圖識別處理的流程的 詳細(xì)例子的流程圖。圖8是表示本發(fā)明第1實施方式的攝影模式處理中的關(guān)注點區(qū)域推測處理的流程 的詳細(xì)一例的流程圖。圖9是表示本發(fā)明第1實施方式的攝影模式處理中的特征量圖生成處理的流程的 一例的流程圖。圖10是表示本發(fā)明第1實施方式的攝影模式處理中的特征量圖生成處理的流程 的其它例的流程圖。圖11是表示本發(fā)明第1實施方式的攝影模式處理中的構(gòu)圖分類處理的流程的詳 細(xì)一例的流程圖。圖12表示本發(fā)明第2實施方式中的液晶顯示器的顯示例。圖中100-圖像處理裝置；1-光學(xué)透鏡裝置；2-快門裝置；3-執(zhí)行機(jī)構(gòu)；4-CM0S 傳感器；5-AFE ；6-TG ；7-DRAM ；8-DSP ；9-CPU ； 10-RAM ； 11-R0M ；12-液晶顯示控制器；13-液 晶顯示器；14-操作部；15-存儲卡；16-測距傳感器；17-測光傳感器。
具體實施例方式(第1實施方式)以下，基于

本發(fā)明的第1實施方式。圖1是表示本發(fā)明第1實施方式涉及的圖像處理裝置100的硬件構(gòu)成的圖。圖像 處理裝置100例如可以由數(shù)碼照相機(jī)構(gòu)成。圖像處理裝置100包括光學(xué)透鏡裝置1、快門裝置2、執(zhí)行機(jī)構(gòu)3、 CMOS (Complementary Metal Oxide Semiconductor)傳感器 4、AFE (AnalogFront End) 5、 TG(Timing Generator) 6、DRAM (Dynamic Random AccessMemory) 7、DSP (Digital Signal Processor)8、CPU(Central Processor Unit)9、RAM(Random Access Memory)10、ROM (Read Only Memory) 11、液晶顯示控制器12、液晶顯示器13、操作部14、存儲卡15、測距傳感器16 和測光傳感器17。光學(xué)透鏡裝置1例如由聚焦透鏡或變焦 透鏡等構(gòu)成。聚焦透鏡是用于使被拍攝物 體像成像在CMOS傳感器4的受光面上的透鏡。快門裝置2例如由快門葉片等構(gòu)成?？扉T裝置2起到遮斷向CMOS傳感器4入射 的光束的機(jī)械式快門的作用?？扉T裝置2還起到對入射到CMOS傳感器4的光束的光量進(jìn)行調(diào)節(jié)的光圈的作用。執(zhí)行機(jī)構(gòu)3根據(jù)CPU9進(jìn)行的控制，使快門裝置2的快門葉片開閉。
CMOS傳感器4例如由CMOS型的圖像傳感器等構(gòu)成。被拍攝物體像經(jīng)由快門裝置 2，從光學(xué)透鏡裝置1入射到CMOS傳感器4中。因此，CMOS傳感器4根據(jù)由TG6提供的時 鐘脈沖，每隔一定時間對被拍攝物體像進(jìn)行光電轉(zhuǎn)換(攝影)后蓄積圖像信號，并將蓄積的 圖像信號作為模擬信號而依次輸出。從CMOS傳感器4向AFE5提供模擬的圖像信號。因此，AFE5根據(jù)由TG6提供的時 鐘脈沖，對模擬的圖像信號實施A/D(Anal0g/Digital)轉(zhuǎn)換處理等各種信號處理。各種信 號處理的結(jié)果是，生成數(shù)字信號并從AFE5輸出。TG6根據(jù)CPU9進(jìn)行的控制，每隔一定時間，分別向CMOS傳感器4與AFE5提供時鐘 脈沖。DRAM7暫時存儲由AFE5生成的數(shù)字信號和由DSP8生成的圖像數(shù)據(jù)。DSP8根據(jù)CPU9進(jìn)行的控制，對DRAM7所存儲的數(shù)字信號實施白平衡補(bǔ)償處理、Y 補(bǔ)償處理、YC轉(zhuǎn)換處理等各種圖像處理。各種圖像處理的結(jié)果是生成由亮度信號與色差信 號構(gòu)成的圖像數(shù)據(jù)。另外，以下，將該圖像數(shù)據(jù)稱為“幀圖像數(shù)據(jù)”，將通過該幀圖像數(shù)據(jù)表 現(xiàn)的圖像稱為“幀圖像”。CPU9控制圖像處理裝置100整體的動作。在CPU9執(zhí)行各處理時，RAM10起到工作 區(qū)域的作用。R0M11存儲圖像處理裝置100執(zhí)行各處理所需的程序和數(shù)據(jù)。CPU9將RAM10 作為工作區(qū)域，通過與R0M11所存儲的程序的協(xié)動來執(zhí)行各種處理。液晶顯示控制器12根據(jù)CPU9進(jìn)行的控制，將DRAM7或存儲卡15所存儲的幀圖像 數(shù)據(jù)轉(zhuǎn)換為模擬信號，并提供給液晶顯示器13。液晶顯示器13顯示幀圖像來作為與從液晶 顯示控制器12提供的模擬信號對應(yīng)的圖像。再有，液晶顯示控制器12根據(jù)CPU9進(jìn)行的控制，將預(yù)先存儲在R0M11等中的各種 圖像數(shù)據(jù)轉(zhuǎn)換為模擬信號，然后提供給液晶顯示器13。液晶顯示器13顯示與從液晶顯示控 制器12提供的模擬信號對應(yīng)的圖像。例如在本實施方式中，在R0M11中存儲能確定各種場 景的信息(以下稱為“場景信息”)的圖像數(shù)據(jù)。因此，如參考圖4在后面敘述的那樣，在液 晶顯示器13上適當(dāng)?shù)仫@示各種場景信息。其中，所謂的“場景”是指風(fēng)景場景、景色場景、 肖像(portrait)等靜止圖像。操作部14從用戶處接受各種按鈕的操作。操作部14具備電源按鈕、十字按鈕、確 定按鈕、菜單按鈕、釋放(release)按鈕等。操作部14將從用戶處接受到的各種按鈕的操 作所對應(yīng)的信號提供給CPU9。CPU9基于來自操作部14的信號，分析用戶的操作內(nèi)容，執(zhí)行 與該操作內(nèi)容相應(yīng)的處理。存儲卡15記錄由DSP8生成的幀圖像數(shù)據(jù)。測距傳感器16根據(jù)CPU9進(jìn)行的控制， 檢測到被拍攝物體的距離。測光傳感器17根據(jù)CPU9進(jìn)行的控制，檢測被拍攝物體的亮度 (明亮度)。作為具有這種構(gòu)成的圖像處理裝置100的動作模式，存在包含攝影模式和再生模 式在內(nèi)的各種模式。其中，以下為了說明的簡便，僅對攝影模式時的處理(以下稱為“攝影 模式處理”)進(jìn)行說明。另外，以下攝影模式處理的主體主要是CPU。接著，在圖1的圖像處理裝置100的攝影模式處理中，對一直到利用基于顯著性圖 的關(guān)注點區(qū)域來識別場景的構(gòu)圖為止的一系列處理的概略進(jìn)行說明。其中，以下將該處理稱為“場景構(gòu)圖識別處理”。圖2是對場景構(gòu)圖識別處理的概略進(jìn)行說明的圖。若使攝影模式開始，則圖1的圖像處理裝置100的CPU9使CMOS傳感器4進(jìn)行的 攝影繼續(xù)，將此期間由DSP8依次生成的幀圖像數(shù)據(jù)暫時存儲在DRAM7內(nèi)。其中，以下將該 CPU的一系列處理稱為“直通拍攝”。另外，CPU9控制液晶顯示控制器12等，依次讀出在直通拍攝時記錄在DRAM7中的 各幀圖像數(shù)據(jù)，并使液晶顯示器13顯示與這些幀圖像數(shù)據(jù)分別對應(yīng)的幀圖像。其中，以下 將該CPU9的一系列處理稱為“直通顯示”。再有，將被直通顯示的幀圖像稱為“直通圖像”。在以下的說明中，設(shè)為通過直通拍攝及直通顯示，在液晶顯示器13上顯示例如 圖2所示的直通圖像51。此時，在步驟Sa中，作為特征量圖生成處理，CPU9例如執(zhí)行以下的處理。即，CPU9針對與直通圖像51對應(yīng)的幀圖像數(shù)據(jù)，例如根據(jù)顏色、方位、亮度等多種 特征量的對比，可以生成多種特征量圖。到生成這樣的多種特征量圖中的規(guī)定的一種特征 量圖為止的一系列處理，在此被稱為“特征量圖生成處理”。對于各特征量圖生成處理的詳 細(xì)例子，將參考圖9或圖10在后面敘述。例如在圖2的例子中，后面敘述的圖IOA的多種標(biāo)度(multi scale)的對比度的特 征量圖生成處理的結(jié)果是，生成特征量圖Fe。再有，后面敘述的圖IOB的Center-Surround 的顏色直方圖的特征量圖生成處理的結(jié)果是，生成特征量圖Fh。還有，圖IOC的顏色空間分 布的特征量圖生成處理的結(jié)果是生成特征量圖Fs0在步驟Sb中，CPU9通過對多種特征量圖進(jìn)行統(tǒng)計，從而求得顯著性圖。例如在圖 2的例子中，統(tǒng)計特征量圖Fc、Fh、Fs，由此求出顯著性圖S。 步驟Sb的處理與后面敘述的圖8的步驟S45的處理相對應(yīng)。在步驟Sc中，CPU9利用顯著性圖，從直通圖像中推測引起人們的視覺注意的可能 性高的圖像區(qū)域(以下稱為“關(guān)注點區(qū)域”)。例如在圖2的例子中，利用顯著性圖S，從直 通圖像51中推測出關(guān)注點區(qū)域52。步驟Sc的處理與后面敘述的圖8的步驟S46的處理相對應(yīng)。另外，下面將以上的步驟Sa至Sc的一系列處理稱為“關(guān)注點區(qū)域推測處理”。關(guān) 注點區(qū)域推測處理與后面敘述的圖7的步驟S26的處理相對應(yīng)。關(guān)于關(guān)注點區(qū)域推測處理 的詳細(xì)內(nèi)容，將參考圖8至圖10在后面敘述。接下來，在步驟Sd中，作為關(guān)注點區(qū)域評價處理，CPU9例如執(zhí)行如下的處理。即，CPU9進(jìn)行與關(guān)注點區(qū)域(圖2的例子中為關(guān)注點區(qū)域52)相關(guān)的評價。具體 是，例如CPU9進(jìn)行針對關(guān)注點區(qū)域的面積、個數(shù)、分布范圍的廣泛程度、分散程度、孤立程 度等各種評價。步驟Sd的處理與后面敘述的圖7的步驟S27的處理相對應(yīng)。另一方面，在步驟Se中，作為邊緣圖像生成處理，CPU9例如執(zhí)行如下的處理。即，CPU9針對直通圖像51，通過實施平均化處理及邊緣濾波處理，從而生成邊緣 圖像(輪廓圖像)。例如在圖2的例子中，可以得到邊緣圖像53。步驟Se的處理與后面敘述的圖7的步驟S28的處理相對應(yīng)。在步驟Sf中，作為邊緣圖像評價處理，CPU9例如執(zhí)行如下的處理。
BP, CPU9嘗試從邊緣圖像中提取直線成分、曲線成分及邊緣(輪廓線)成分。而 且，CPU9針對所提取出的每個成分進(jìn)行個數(shù)、長度、位置關(guān)系、分布狀態(tài)等各種評價。例如 在圖2的例子中，提取出邊緣成分SL等，并進(jìn)行該成分的評價。 步驟Sf的處理與后面敘述的圖7的步驟S29的處理相對應(yīng)。接著，在步驟Sg中，作為針對直通圖像51的構(gòu)圖要素的提取處理，CPU9例如執(zhí)行 如下的處理。S卩，CPU9利用步驟Sd的關(guān)注點區(qū)域評價處理的評價結(jié)果以及步驟Sf的邊緣圖像 評價處理的評價結(jié)果，針對直通圖像51所包含的被拍攝物體中的應(yīng)關(guān)注的主要被拍攝物 體，提取各構(gòu)圖要素的排列圖案。構(gòu)圖要素本身并未特別限定，例如在本實施方式中，可以采用關(guān)注點區(qū)域、各種線 (包含成為邊緣的線)以及人物的面部。排列圖案的種類也未特別限定。例如在本實施方式中，對于關(guān)注點區(qū)域而言，作為 排列圖案，可采用“廣泛分布于整個畫面”、“分割為上下”、“水平分布”、“垂直分布”、“傾斜 分割”、“對角分布”、“分布于大致中央處”、“在中央下方呈隧道狀”、“左右對稱”、“排列在左 右”、“以多個相似形分布”、“分散”、“孤立”等。對于各種線而言，作為排列圖案，可采用有無 存在、長短、在中央下方呈隧道狀、同一種類的多條線存在于大致相同的方向、從中央略微 向上下/左右呈放射狀、從上或下呈放射狀等。對于人物的面部而言，作為排列圖案可以采 用是否包含于主要被拍攝物體等。步驟Sg的處理與后面敘述的圖11的構(gòu)圖分類處理中的步驟S201的處理相對應(yīng)。 艮口，在圖2的例子中，步驟Sg的處理宛如與步驟Sh的處理獨立地被描述，但在本實施方式 中，該步驟Sg的處理被設(shè)為是步驟Sh的一部分處理。另外，當(dāng)然步驟Sg的處理也能很容 易地設(shè)為獨立于步驟Sh的處理。在步驟Sh中，作為構(gòu)圖分類處理，CPU例如執(zhí)行如下的處理。S卩，設(shè)為在ROMll等中按照多個構(gòu)圖方案的每一個，預(yù)先存儲可以識別一個模型 構(gòu)圖方案的規(guī)定圖形(以下稱為“分類識別圖形”)。另外，對于分類識別圖形的具體例子 而言，將參考圖3及圖4在后面敘述。此時，CPU9針對與直通圖像51所包含的主要被拍攝物體有關(guān)的各構(gòu)圖要素的排 列圖案和多個模型構(gòu)圖方案的各分類識別圖形的每一個，逐個進(jìn)行比較對照。而且，CPU9基 于比較對照的結(jié)果，從多個模型構(gòu)圖方案中，選擇P個與直通圖像51類似的模型構(gòu)圖方案 的候補(bǔ)(以下稱為“模型構(gòu)圖方案候補(bǔ)”)。其中，P是1以上的整數(shù)值，是設(shè)計者等可以任 意設(shè)定的整數(shù)值。例如，在圖2的例子中，作為模型構(gòu)圖方案候補(bǔ)，選擇構(gòu)圖C3[斜線構(gòu)圖 /對角線構(gòu)圖]或構(gòu)圖C4 [放射線構(gòu)圖]，并作為分類結(jié)果而輸出。步驟Sh的處理與后面敘述的圖11的構(gòu)圖分類處理中的步驟S202以后的的處理
相對應(yīng)。圖3與圖4表示存儲了在這種步驟Sh的構(gòu)圖分類處理中使用的每個模型構(gòu)圖方 案的各種信息的表格信息的一例。例如，在本實施方式中，設(shè)為在ROMll中預(yù)先存儲有圖3與圖4所示的表格信息。在圖3與圖4的表格信息中設(shè)置有“構(gòu)圖方案的名稱、樣本圖像及說明文”、以及 “分類識別圖形”等各項目。再有，在圖3與圖4的表格信息中，規(guī)定的1行與規(guī)定的1個模型構(gòu)圖方案相對應(yīng)。因此，在同一行的各項目中，存儲有與規(guī)定的模型構(gòu)圖方案有關(guān)的項目名稱和該模型構(gòu)圖方案的內(nèi)容信息、即其名稱、樣本圖像(圖像數(shù)據(jù))和說明文(文本數(shù)據(jù))以及分 類識別圖形的每一個。在“分類識別圖形”的項目中，粗線表示作為構(gòu)圖要素的“邊緣”。虛線表示作為構(gòu) 圖要素的“線”。斜線或點的灰色區(qū)域表示作為構(gòu)圖要素的“關(guān)注點區(qū)域”。再有，在圖2的 步驟Sg的構(gòu)圖要素提取處理的結(jié)果為圖2所示的圖像54(圖像數(shù)據(jù))的情況下，分類識別 圖形也作為圖3所示的圖像(圖像數(shù)據(jù))而被存儲。另一方面，在構(gòu)圖要素提取處理的結(jié)果是表示上述構(gòu)圖要素及其配置圖形的內(nèi)容 的信息的情況下，分類識別圖形也作為表示構(gòu)圖要素及其配置圖形的內(nèi)容的信息而被存 儲。具體而言，例如，第1行的構(gòu)圖Cl[水平線構(gòu)圖]的分類識別圖形作為“水平存在長的 直線邊緣”以及“關(guān)注點區(qū)域廣泛分布于整個畫面”、“關(guān)注點區(qū)域分布于水平方向”及“水 平存在長的直線”等信息而被存儲。另外，在圖3與圖4中，僅示出了本實施方式中采用的模型構(gòu)圖方案的一部分。因 此，下面設(shè)為在本實施方式中采用以下的模型構(gòu)圖方案CO至C12。其中，以下段落的括號內(nèi) 的要素分別表示與模型構(gòu)圖方案Ck (k是0至12中的任一整數(shù)值)有關(guān)的符號Ck、構(gòu)圖方 案的名稱以及說明文。(C0，中央一點構(gòu)圖，具有集中力，強(qiáng)調(diào)被拍攝物體的存在感。)(Cl，水平線構(gòu)圖，在畫面中產(chǎn)生擴(kuò)展與舒展。)(C2，垂直線構(gòu)圖，以向上下方向的伸張感將畫面緊縮。)(C3，斜線構(gòu)圖/對角線構(gòu)圖，產(chǎn)生栩栩如生或有節(jié)奏的動感?；蛘咴诘确值漠嬅?中產(chǎn)生穩(wěn)定感。)(C4，放射線構(gòu)圖，調(diào)動開放感或高昂感、躍動感。)(C5，曲線構(gòu)圖/S字構(gòu)圖，在畫面中醞釀出優(yōu)美感或穩(wěn)靜感。)(C6，三角形/倒三角形構(gòu)圖，產(chǎn)生穩(wěn)定感與難以撼動的力度?；蛘弑憩F(xiàn)出向上部 擴(kuò)展的生命力或開放感。)(C7，對比/對稱構(gòu)圖，表現(xiàn)緊張感或平息后的靜寂感。)(C8，隧道構(gòu)圖，給畫面帶來集中力或鎮(zhèn)靜。)(C9，圖案構(gòu)圖，產(chǎn)生基于重復(fù)圖案的節(jié)奏感或統(tǒng)一感。)(C10，肖像畫構(gòu)圖，…)(Cll，3等分/4等分構(gòu)圖，最普及的構(gòu)圖，成為取得平衡的照片。)(C12，遠(yuǎn)近法構(gòu)圖，根據(jù)自然形態(tài)強(qiáng)調(diào)距離感或深度。)如上所述，參考圖2至圖4，對圖像處理裝置100執(zhí)行的場景構(gòu)圖識別處理的概略 進(jìn)行了說明。接著，參考圖5至圖11，對包含場景構(gòu)圖識別處理在內(nèi)的攝影模式處理整體進(jìn) 行說明。圖5是表示攝影模式處理的流程的一例的流程圖。攝影模式處理是在用戶對操作部14進(jìn)行了選擇攝影模式的規(guī)定操作的情況下， 以該操作為契機(jī)而開始的。即，執(zhí)行如下的處理。在步驟Sl中，CPU9進(jìn)行直通拍攝與直通顯示。
在步驟S2中，通過執(zhí)行場景構(gòu)圖識別處理，從而選擇P個模型構(gòu)圖方案候補(bǔ)。對 于場景構(gòu)圖識別處理而言，其概略如參考圖2在以上所說明的，其詳細(xì)內(nèi)容將參考圖7在后 面敘述。在步驟S3中，CPU9通過控制液晶顯示控制器12等，從而使液晶顯示器13顯示所 選擇出的P個模型構(gòu)圖方案候補(bǔ)。正確地是，在液晶顯示器13上顯示能確定P個模型構(gòu)圖 方案候補(bǔ)的每一個的信息(例如樣本圖像或名稱等)。在步驟S4中，CPU9從P個模型構(gòu)圖方案候補(bǔ)中決定模型構(gòu)圖方案。在步驟S5中， CPU9設(shè)定攝影條件。在步驟S6中，CPU9計算出與此時的直通圖像對應(yīng)的模型構(gòu)圖方案的構(gòu)圖評價值。 而且，CPU9通過控制液晶顯示器12等，從而使液晶顯示器13顯示構(gòu)圖評價值。構(gòu)圖評價值 例如是基于與預(yù)先設(shè)定的指標(biāo)值對應(yīng)的、直通圖像與模型構(gòu)圖方案之間的差異度、分散度、 類似度、相關(guān)性等的比較結(jié)果來計算的。在步驟S7中，CPU9基于模型構(gòu)圖方案，生成引導(dǎo)信息。而且，CPU9通過控制液晶 顯示控制器12等，從而使液晶顯示器13顯示引導(dǎo)信息。另外，關(guān)于引導(dǎo)信息的具體顯示例， 將參考圖6在后面敘述。在步驟S8中，CPU9對直通圖像的被拍攝物體位置和模型構(gòu)圖方案的被拍攝物體 位置進(jìn)行比較。在步驟S9中，CPU9基于該比較結(jié)果，判斷直通圖像的被拍攝物體位置是否 在模型構(gòu)圖方案的被拍攝物體位置的附近。在直通圖像的被拍攝物體位置存在于模型構(gòu)圖方案的被拍攝物體位置的遠(yuǎn)方時， 設(shè)為還不是攝影處理的時間，在步驟S9中被判斷為“否”，處理返回到步驟S6，重復(fù)進(jìn)行步 驟S6之后的處理。另外，在步驟S9中被判斷為“否”的情況下，每次處理返回到步驟S6時， 都執(zhí)行后述的取景的變更(framing)，時時刻刻更新構(gòu)圖評價值和引導(dǎo)信息的顯示。然后，在直通圖像的被拍攝物體位置處于模型構(gòu)圖方案的被拍攝物體位置附近的 時刻，成為攝影處理的時間，在步驟S9中被判斷為“是”，處理進(jìn)入步驟S10。在步驟SlO中， CPU9判斷構(gòu)圖評價值是否在設(shè)定值以上。在構(gòu)圖評價值小于設(shè)定值的情況下，設(shè)為對于直通圖像而言還不能稱之為適當(dāng)?shù)?構(gòu)圖，在步驟SlO中被判斷為“否”，處理返回到步驟S6，重復(fù)進(jìn)行步驟S6之后的處理。此 時，雖然圖5中沒有圖示，但例如可以在液晶顯示器13或取景器(圖1中未圖示)上顯示 與該時刻的直通圖像(該主要被拍攝物體的排列圖案)相近的模型構(gòu)圖方案或者可以使構(gòu) 圖評價值比設(shè)定值高的模型構(gòu)圖方案。再有，然后在由用戶從這些模型構(gòu)圖方案中允許或 選擇了新的模型構(gòu)圖方案的情況下，通過按照成為新允許或選出的模型構(gòu)圖方案的位置關(guān) 系的方式引導(dǎo)用戶，從而在液晶顯示器13或取景器上顯示使攝影構(gòu)圖變更的引導(dǎo)信息。此 時，對新允許或選出的模型構(gòu)圖方案執(zhí)行步驟S6以后的處理。然后，在再度成為攝影處理的時間，即在步驟S9的處理中再度被判斷為“是”的時 亥IJ，若構(gòu)圖評價值為設(shè)定值以上，則認(rèn)為對于直通圖像而言成為了適當(dāng)?shù)臉?gòu)圖，在步驟SlO 中判斷為“是”，處理進(jìn)入步驟S11。而且，通過執(zhí)行如下的步驟Sll的處理，從而可以以該 時刻的模型構(gòu)圖方案所對應(yīng)的構(gòu)圖進(jìn)行自動攝影。S卩，在步驟Sll中，CPU9基于攝影條件等執(zhí)行AF(Automatic Focus)處理(自動 對焦處理)。在步驟S12中，CPU9執(zhí)行AWB(Automatic WhiteBalance)處理(自動白平衡處理)以及AE (Automatic Exposure)處理(自動曝光處理)。也就是說，基于測光傳感器 17的測光信息或攝影條件等，設(shè)定光圈、曝光時間、閃光(strobo)條件等。
在步驟S13中，CPU9控制TG6或DSP8等，基于攝影條件等執(zhí)行曝光及攝影處理。 通過該曝光及攝影處理，基于攝影條件等而由CMOS傳感器攝影的被拍攝物體像作為幀圖 像數(shù)據(jù)而被存儲在DRAM7中。其中，以下將該幀圖像數(shù)據(jù)稱為“攝影圖像數(shù)據(jù)”，另外將通過 攝影圖像數(shù)據(jù)表現(xiàn)的圖像稱為“攝影圖像”。在步驟S14中，CPU9控制DSP8等，對攝影圖像數(shù)據(jù)實施補(bǔ)償及變更處理。在步驟 S15中，CPU9控制液晶顯示控制器12等，從而執(zhí)行攝影圖像的回顧(review)顯示處理。另 外，在步驟S16中，CPU9控制DSP8等來執(zhí)行攝影圖像數(shù)據(jù)的壓縮編碼處理。結(jié)果，得到編 碼圖像數(shù)據(jù)。因此，在步驟S17中，CPU9執(zhí)行編碼圖像數(shù)據(jù)的保存記錄處理。由此，編碼圖 像數(shù)據(jù)被記錄在存儲卡15等中，攝影模式處理結(jié)束。另外，作為編碼圖像數(shù)據(jù)的保存記錄處理，CPU9記錄攝影時的場景模式或攝影條 件數(shù)據(jù)等是毋庸置疑的，還可以將攝影時決定或算出的模型構(gòu)圖方案或構(gòu)圖評價值的信息 與編碼圖像數(shù)據(jù)建立關(guān)聯(lián)后記錄在存儲卡15中。由此，用戶在檢索攝影圖像時，不僅可以 利用場景或攝影條件，還可以利用所攝影的構(gòu)圖或構(gòu)圖評價值的好壞與否等，因此能夠迅 速地檢索希望的圖像。圖6表示圖5的攝影模式處理的具體處理結(jié)果。圖6A表示步驟S7的處理后的液晶顯示器13的顯示例。另外，設(shè)為在圖1未圖示的取景器中也進(jìn)行與液晶顯示器13同樣的顯示。如圖6A所示，液晶顯示器13中設(shè)有主顯示區(qū)域101和副顯示區(qū)域102。在圖6A的例子中，在主顯示區(qū)域101上顯示直通圖像51。作為輔助信息，主顯示區(qū)域101上以能與其他詳細(xì)內(nèi)容區(qū)別的方式還顯示有直通 圖像51的關(guān)注點區(qū)域附近的導(dǎo)線121或該關(guān)注點區(qū)域周圍的被拍攝物體的輪廓線122。其 中，這種輔助信息并未特別限定于導(dǎo)線121或輪廓線122。例如，也可以在主顯示區(qū)域101 上顯示與關(guān)注點區(qū)域(主要被拍攝物體)有關(guān)的、表示輪廓形狀或者其位置、分布或排列圖 案的圖形、或者表示這些內(nèi)容的位置關(guān)系的輔助線。作為引導(dǎo)信息，在主顯示區(qū)域101上還顯示有與模型構(gòu)圖方案的構(gòu)圖要素的線對 應(yīng)的參考線123、模型構(gòu)圖方案的指標(biāo)線124、表示關(guān)注點區(qū)域的移動目標(biāo)的記號125。其 中，這種引導(dǎo)信息并未特別限定于參考線123、指標(biāo)線124、記號125等。例如，也可以在主 顯示區(qū)域101上顯示與模型構(gòu)圖方案中的主要被拍攝物體有關(guān)的、表示輪廓形狀或者其位 置、分布或排列圖案的圖形、或者表示這些內(nèi)容的位置關(guān)系的輔助線。作為引導(dǎo)信息，在主顯示區(qū)域101上還顯示有表示幀的移動方向的箭頭126、或表 示幀的旋轉(zhuǎn)方向的箭頭127等。即，箭頭126、127等是通過按照將直通圖像51中的主要被 拍攝物體的位置移動到模型構(gòu)圖方案中的被拍攝物體的位置(例如記號125的位置)為止 的方式引導(dǎo)用戶，從而使得構(gòu)圖變更的引導(dǎo)信息。這種引導(dǎo)信息并未特別限定于箭頭126、 127，除此以外例如還可以采用“使照相機(jī)稍微偏向右”等的消息。再有，在副顯示區(qū)域102上顯示有表示模型構(gòu)圖方案的信息111至113。在圖6A的例子中，將圖5的步驟S4的處理中決定的模型構(gòu)圖方案例如設(shè)為與信 息111對應(yīng)的模型構(gòu)圖方案。
另外，例如信息112或信息113是在構(gòu)圖評價值小于設(shè)定值的情況下在步驟SlO中判斷為“否”之后被顯示的。具體是，例如信息112或信息113是表示與直通圖像接近的 模型構(gòu)圖方案的信息或者表示可以使構(gòu)圖評價值比設(shè)定值高的模型構(gòu)圖方案的信息。因此，用戶在構(gòu)圖評價值小于設(shè)定值的情況等下，通過對操作部14進(jìn)行操作，從 而可以從表示各模型構(gòu)圖方案的信息111至113中選擇并決定希望的一個。此時，CPU9針 對與由用戶決定的信息相對應(yīng)的模型構(gòu)圖方案實施步驟S6至SlO的處理。在圖6A的顯示狀態(tài)下，進(jìn)行取景的變更或自動取景，結(jié)果成為圖6B的顯示狀態(tài)。 即，設(shè)為一直到直通圖像51中的主要被拍攝物體的位置與記號125的位置一致為止，構(gòu)圖 進(jìn)行了變更。此時，在圖5的步驟S9的處理中判斷為“是”。因此，若構(gòu)圖評價值在設(shè)定值 以上，則在步驟SlO的處理中判斷為“是”，執(zhí)行步驟Sll至S17的處理。由此，可以以圖6B 所示的構(gòu)圖進(jìn)行自動攝影。結(jié)果，進(jìn)行圖6C所示的攝影圖像131的回顧顯示，在存儲卡15 中記錄與攝影圖像131對應(yīng)的編碼圖像數(shù)據(jù)。另外，雖然在圖5的例子中被省略，但當(dāng)然也可以由用戶以手指按壓釋放按鈕，從 而使CPU9執(zhí)行攝影處理。此時，用戶例如根據(jù)圖6A所示的引導(dǎo)信息，手動移動構(gòu)圖，在成 為圖6B所示的構(gòu)圖的時刻可以將釋放按鈕全部按下。結(jié)果，可以進(jìn)行圖6C所示的攝影圖 像131的回顧顯示，并將與攝影圖像131相對應(yīng)的編碼圖像數(shù)據(jù)記錄在存儲卡15中。接下來，對圖5的攝影模式處理中的步驟S2的場景構(gòu)圖識別處理的詳細(xì)例進(jìn)行說 明。圖7是表示場景構(gòu)圖識別處理的流程的詳細(xì)例的流程圖。在步驟S21中，CPU9將通過直通拍攝得到的幀圖像數(shù)據(jù)作為處理對象圖像數(shù)據(jù)來 輸入。在步驟S22中，CPU9判斷識別完成FLAG是否為1。所謂的識別完成FLAG是指表 示針對上一次的幀圖像數(shù)據(jù)是否選擇完(識別完)模型構(gòu)圖方案候補(bǔ)的標(biāo)志。因此，在識 別完成FLAG = 0的情況下，針對上一次的幀圖像數(shù)據(jù)，并未選擇模型構(gòu)圖方案候補(bǔ)。因此， 在識別完成FLAG = 0的情況下，在步驟S22中判斷為“否”，處理進(jìn)入步驟S26，執(zhí)行步驟 S26之后的處理。結(jié)果，選擇與處理對象圖像數(shù)據(jù)對應(yīng)的模型構(gòu)圖方案候補(bǔ)。其中，關(guān)于步 驟S26以后的處理的詳細(xì)內(nèi)容將在后面敘述。與此相對，在識別完成FLAG = 1的情況下，因為對于上一次的幀圖像數(shù)據(jù)而言，已 經(jīng)選擇完模型構(gòu)圖方案候補(bǔ)，所以有時不需要選擇與處理對象圖像數(shù)據(jù)對應(yīng)的模型構(gòu)圖方 案候補(bǔ)。即，CPU9需要判斷是否執(zhí)行步驟S26以后的處理。因此，在識別完成FLAG = 1的 情況下，在步驟S22中判斷為“是”，處理進(jìn)入步驟S23，執(zhí)行如下的處理。即，在步驟S23中，CPU9對處理對象圖像數(shù)據(jù)和上一次的幀圖像數(shù)據(jù)進(jìn)行比較。在 步驟S24中，CPU9判斷攝影條件或被拍攝物體狀態(tài)是否存在規(guī)定等級以上的變化。在攝影 條件及被拍攝物體狀態(tài)沒有規(guī)定等級以上的變化的情況下，在步驟S24中判斷為“否”，不 執(zhí)行步驟S25以后的處理，場景構(gòu)圖識別處理結(jié)束。相對于此，在攝影條件和被拍攝物體狀態(tài)中的至少一方存在規(guī)定等級以上的變化的情況下，在步驟S24中判斷為“是”，處理進(jìn)入步驟S25。在步驟S25中，CPU9將識別完成 FLAG變更為0。由此，執(zhí)行以下的步驟S26以后的處理。在步驟S26中，CPU9執(zhí)行關(guān)注點區(qū)域推測處理。即，執(zhí)行與上述圖2的步驟Sa至Sc相對應(yīng)的處理。由此，如上所述，可以獲得與處理對象圖像數(shù)據(jù)有關(guān)的關(guān)注點區(qū)域。另 夕卜，關(guān)于關(guān)注點區(qū)域推測處理的詳細(xì)例，將參考圖8至圖10在后面敘述。在步驟S27中，CPU9執(zhí)行關(guān)注點區(qū)域評價處理。即，執(zhí)行與上述圖2的步驟Sd相 對應(yīng)的處理。在步驟S28中，CPU9執(zhí)行邊緣圖像生成處理。即，執(zhí)行與上述圖2的步驟Se相對 應(yīng)的處理。由此，如上所述，可以獲得與處理對象圖像數(shù)據(jù)有關(guān)的邊緣圖像。在步驟S29中，CPU9執(zhí)行邊緣圖像評價處理。即，執(zhí)行與上述圖2的步驟Sf相對 應(yīng)的處理。在步驟S30中，CPU9利用關(guān)注點區(qū)域評價處理的結(jié)果或邊緣圖像評價處理的結(jié) 果，執(zhí)行構(gòu)圖分類處理。即，執(zhí)行與上述圖2的步驟Sh (包括步驟Sg)相對應(yīng)的處理。另外， 關(guān)于構(gòu)圖分類處理的詳細(xì)例，將參考圖U在后面敘述。在步驟S31中CPU9判斷構(gòu)圖的分類識別是否已成功。在步驟S30的處理中，在選擇了 P = 1以上的模型構(gòu)圖方案候補(bǔ)的情況下，在步驟 S31中判斷為“是”，處理進(jìn)入步驟S32。在步驟32中，CPU9將識別完成FLAG設(shè)定為1。相對于此，在步驟S30的處理中，未選擇模型構(gòu)圖方案候補(bǔ)的情況下，在步驟S31 中判斷為“否”，處理進(jìn)入步驟S33。在步驟33中，CPU9將識別完成FLAG設(shè)定為0。若在步驟S32的處理中將識別完成FLAG設(shè)定為1或者在步驟S33的處理中將識 別完成FLAG設(shè)定為0，則場景構(gòu)圖識別處理結(jié)束，即圖5的步驟S2的處理結(jié)束，處理進(jìn)入步 驟S3，執(zhí)行該步驟S3以后的處理。接著，對圖7的場景構(gòu)圖識別處理中的、步驟S26(圖2的步驟Sa至Sc)的關(guān)注點 區(qū)域推測處理的詳細(xì)例進(jìn)行說明。如上所述，在關(guān)注點區(qū)域推測處理中，為了進(jìn)行關(guān)注點區(qū)域的推測，生成顯著性 圖。因此，可以對關(guān)注點區(qū)域推測處理適用例如Treisman的特征統(tǒng)計理論或Itti及Koch 等的顯著性圖。其中，關(guān)于Treisman的特征統(tǒng)計理論，可以參考“A. M. Treisman andG. Gelade, ‘k feature-integration theory of attention',Cognitive Psychology, Vol. 12, No.1, pp.97-136，1980. ”。另外，關(guān)于Itti及Koch等的顯著性圖，可以參考“L. Itti, C. Koch, andE. Niebur, 'k Model of Saliency-Based Visual Attention for Rapid SceneAnalysis', IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No 11, November 1998.，，。圖8是表示采用Treisman的特征統(tǒng)計理論或Itti及Koch等的顯著性圖時的關(guān) 注點區(qū)域推測處理的流程的詳細(xì)例的流程圖。在步驟S41中，CPU9取得處理對象圖像數(shù)據(jù)。其中，在此取得的處理 對象圖像數(shù) 據(jù)是指圖7的步驟S21的處理中輸入的處理對象圖像數(shù)據(jù)。在步驟S42中，CPU9生成高斯分辨率金字塔(Gaussian ResolutionPyramid)。具 體是，例如CPU9將處理對象圖像數(shù)據(jù){(x，y)位置的像素數(shù)據(jù)}設(shè)為1(0) = I(x，y)，依次 重復(fù)執(zhí)行高斯濾波處理與下降抽樣處理。作為其結(jié)果，生成分層標(biāo)度圖像數(shù)據(jù)I(L)(例如 Le {0...8})的組。該分層標(biāo)度圖像數(shù)據(jù)I(L)的組被稱為“高斯分辨率金字塔”。在此，標(biāo)度L = k (在此，k為1至8中的任一整數(shù)值)的情況下，標(biāo)度圖像數(shù)據(jù)I (k)表示l/2k的 縮小圖像(k = O時表示原圖像)。在步驟S43中，CPU9開始各特征量圖生成處理。關(guān)于各特征量圖生成處理的詳細(xì)例，將參考圖9和圖10在后面敘述。在步驟S44中，CPU9判斷全部的特征量圖生成處理是否結(jié)束。在各特征量圖生成 處理中只要有一個處理沒有結(jié)束的情況下，在步驟S44中判斷為“否”，處理再次返回到步 驟S44。即，在到各特征量圖生成處理的全部處理結(jié)束為止的期間內(nèi)，重復(fù)執(zhí)行步驟S44的 判斷處理。而且，若各特征量圖生成處理的全部處理結(jié)束而生成了全部特征量圖，則在步驟 S44中判斷為“是”，處理進(jìn)入步驟S45。在步驟S45中，CPU9以線性和結(jié)合各特征量圖，從而求取顯著性圖S(SalienCy Map)。在步驟S46中，CPU9利用顯著性圖S，根據(jù)處理對象圖像數(shù)據(jù)推測關(guān)注區(qū)域。艮口， 一般認(rèn)為作為主要被拍攝物體的人物或作為攝影對象(objects)的物體大多與背景 (background)區(qū)域相比，顯著性(Saliency)較高。因此，CPU9利用顯著性圖S，從處理對 象圖像數(shù)據(jù)中識別顯著性(Saliency)較高的區(qū)域。而且，CPU9基于該識別結(jié)果，推測引起 人們的視覺注意的可能性較高的區(qū)域，即關(guān)注點區(qū)域。這樣，若可以推測關(guān)注點區(qū)域，則關(guān) 注點區(qū)域推測處理結(jié)束。即，圖7的步驟S26的處理結(jié)束，處理進(jìn)入步驟S27。換言之在圖 2的例子中是步驟Sa至Sc的一系列處理結(jié)束，處理進(jìn)入步驟Sd。接著，對各特征量圖生成處理的具體例進(jìn)行說明。圖9是表示亮度、顏色以及方向性的特征量圖生成處理的流程的一例的流程圖。圖9A表示亮度的特征量圖生成處理的一例。在步驟S61中，CPU9根據(jù)與處理對象圖像數(shù)據(jù)相對應(yīng)的標(biāo)度圖像，設(shè)定各關(guān)注像 素。例如，假設(shè)設(shè)定成各關(guān)注像素c e {2，3，4}，在此基礎(chǔ)上進(jìn)行以下的說明。各關(guān)注像素 c e {2,3,4}是指被設(shè)定為標(biāo)度c e {2,3,4}的標(biāo)度圖像數(shù)據(jù)1(c)上的運算對象的像素。在步驟62中，CPU9求取各關(guān)注像素c e {2,3,4}的各標(biāo)度圖像的亮度成分。在步驟S63中，CPU9求取各關(guān)注像素的周邊像素s = c+ δ的各標(biāo)度圖像的亮度成 分。例如若設(shè)為δ e {3，4}，則所謂各關(guān)注像素的周邊像素s = c+δ是指標(biāo)度s = c+S 的標(biāo)度圖像I (s)上的、存在于關(guān)注像素(對應(yīng)點)的周邊的像素。在步驟S64中，CPU9針對各標(biāo)度圖像，求取各關(guān)注像素c e {2,3,4}中的亮度對 比度。例如，CPU9求取各關(guān)注像素c e {2,3,4}和各關(guān)注像素的周邊像素s = c+ δ (例如 δ e {3,4})的標(biāo)度間差分。在此，可以將關(guān)注像素c稱為“Center”，將關(guān)注像素的周邊像 素s稱為“Surround”，將所求得的標(biāo)度間差分稱為“亮度的Center-Surround標(biāo)度間差分”。 該亮度的Center-Surround標(biāo)度間差分具備在關(guān)注像素c為白色且周邊像素s為黑色的情 況下或者與此相反的情況下取較大值的性質(zhì)。因此，亮度的Center-Surround標(biāo)度間差分 表示亮度對比度。另外，以下將該亮度對比度記為I (c，s)。在步驟S65中，CPU9判斷在與處理對象圖像數(shù)據(jù)相對應(yīng)的各標(biāo)度圖像中是否存在 未被設(shè)定為關(guān)注像素的像素。這種像素存在的情況下，在步驟S65中判斷為“是”，處理返回 到步驟S61，重復(fù)該步驟S61以后的步驟。即，針對與處理對象圖像數(shù)據(jù)相對應(yīng)的各標(biāo)度圖像的各像素，分別實施步驟S61至S65的處理，并求取各像素的亮度對比度I (c，s)。在此，在設(shè)定了各關(guān)注像素c e {2,3, 4}以及周邊像素s = c+8(例如δ e {3,4})的情況下，在步驟S61至S65的一次處理中， 求得(關(guān)注像素c的3種)X (周邊像素s的2種)=6種亮度對比度I (c，s)。在此，以 下將針對規(guī)定的c與規(guī)定的s求出的亮度對比度I (c，s)的圖像整體的集合體稱作“亮度 對比度I的特征量圖”。通過重復(fù)執(zhí)行步驟S61至S65的循環(huán)處理，從而可以求出6種亮度 對比度I的特征量圖。這樣，若求得6種亮度對比度I的特征量圖，則在步驟S65中判斷為 “否”，處理進(jìn)入步驟S66。在步驟S66中，CPU9對亮度對比度I的各特征量圖進(jìn)行歸一化，并在此基礎(chǔ)上進(jìn) 行結(jié)合，從而生成亮度的特征量圖。由此，亮度的特征量圖生成處理結(jié)束。另外，以下為了 將亮度的特征量圖與其他特征量圖進(jìn)行區(qū)別而將其記為FI。圖9B表示顏色的特征量圖生成處理的一例。圖9B的顏色的特征量圖生成處理與圖9A的亮度的特征量圖生成處理相比，其處 理的流程基本相同，僅僅是處理對象不同而已。即，圖9B的步驟S81至S86的每一步處理 都是分別與圖9A的步驟S61至S66的每一步處理相對應(yīng)的處理，僅僅是各步驟的處理對象 與圖9A不同而已。因此，關(guān)于圖9B的顏色的特征量圖生成處理，省略處理流程的說明，以 下僅簡單說明處理對象。即，圖9A的步驟S62與S63的處理對象為亮度成分，與此相對，圖9B的步驟S82 與S83的處理對象是顏色成分。再有，在圖9A的步驟S64的處理中，將亮度的Center-Surround標(biāo)度間差分作為 亮度對比度I(c，s)而求得。與此相對，在圖9B的步驟S84的處理中，將色調(diào)(R/G，B/Y)的 Center-Surround標(biāo)度間差分作為色調(diào)對比度來求取。其中，用R來表示顏色成分中的紅色 成分，用G來表示綠色成分，用B來表示藍(lán)色成分，用Y來表示黃色成分。進(jìn)而，以下將與色 調(diào)R/G相關(guān)的色調(diào)對比度記為RG(c，s)，將與色調(diào)B/Y相關(guān)的色調(diào)對比度記為BY(c，s)。在此，與上述的例子一致，設(shè)為關(guān)注像素c存在3種，周邊像素s存在2種。該情 況下，圖9A的步驟S61至S65的循環(huán)處理的結(jié)果，求得6種亮度對比度I的特征量圖。與 此相對，圖9B的步驟S81至S85的循環(huán)處理的結(jié)果，求得6種色調(diào)對比度RG的特征量圖、6 種色調(diào)對比度BY的特征量圖。最終，在圖9A的步驟S66的處理中求得亮度的特征量圖FI。與此相對，在圖9B的 步驟S86的處理中求得顏色的特征量圖。其中，以下為了將顏色的特征量圖與其他特征量 圖進(jìn)行區(qū)別而記為FC。圖9C表示方向性的特征量圖生成處理的一例。將圖9C的方向性的特征量圖生成處理與圖9A的亮度的特征量圖生成處理相比， 處理的流程基本相同，僅僅是處理對象不同而已。即圖9C的步驟SlOl至S106的每一步處 理都是分別與圖9A的步驟S61至S66的每一步處理相對應(yīng)的處理，僅僅是各步驟的處理對 象與圖9A不同而已。因此，關(guān)于圖9C的方向性的特征量圖生成處理，省略處理流程的說明， 以下僅簡單說明處理對象。即，圖9C的步驟S102與S103的處理對象是方向成分。在此，方向成分是指針對 亮度成分卷積高斯濾波器Φ而得到的各方向的振幅成分。在此所說的方向是指由作為高 斯濾波器Φ的參數(shù)而存在的旋轉(zhuǎn)角θ表示的方向。例如作為旋轉(zhuǎn)角Θ，可以采用0°、45°、90°、135° 這 4 個方向。再有，步驟S104的處理中，將方向性的Center-Surround標(biāo)度間差分作為方向性 對比度來求取。進(jìn)而，以下將方向性對比度記為0(c，s，θ)。在此，與上述的例子一致，關(guān)注像素c存在3種，周邊像素s存在2種。該情況下， 步驟SlOl至S105的循環(huán)處理的結(jié)果，按照每個旋轉(zhuǎn)角θ求得6種方向性對比度0的特征 量圖。例如作為旋轉(zhuǎn)角θ而采用了 0°、45°、90°、135°這4個方向的情況下，求得24種 (=6X4種)方向性對比度0的特征量圖。最終，在步驟S106的處理中求得方向性的特征量圖。其中，以下為了將方向性的 特征量圖與其他特征量圖進(jìn)行區(qū)別而記為F0。對于以上說明的圖9的特征量圖生成處理的更詳細(xì)的處理內(nèi)容而言，例如可以 參考"L. Itti, C. Koch, and Ε. Niebur, ‘k Model of Saliency-BasedVisual Attention for Rapid Scene Analysis', IEEE Transactions on PatternAnalysis and Machine Intelligence, Vol. 20, No 11, November 1998·”。另外，特征量圖生成處理并未特別限定于圖9的例子。例如作為特征量圖生成處 理，也可以采用利用明度、彩度、色調(diào)以及運動的各特征量來生成各自的特征量圖的處理。此外，例如作為特征量圖生成處理，也可以采用利用多種標(biāo)度的對比度、 Center-Surround的顏色直方圖以及顏色空間分布的各特征量來生成各自的特征量圖的處理。圖10是表示多種標(biāo)度的對比度、Center-Surround的顏色直方圖以及顏色空間分 布的特征量圖生成處理的一例的流程圖。圖10A表示多種標(biāo)度的對比度的特征量圖生成處理的一例。在步驟S121中，CPU9求取多種標(biāo)度的對比度的特征量圖。由此，多種標(biāo)度的對比 度的特征量圖生成處理結(jié)束。另外，以下為了將多種標(biāo)度的對比度的特征量圖與其他特征量圖進(jìn)行區(qū)別而記為 Fe。
圖10B表示Center-Surround的顏色直方圖的特征量圖生成處理的一例。在步驟S141中，CPU9按照每個不同的縱橫比求取矩形區(qū)域的顏色直方圖和周邊 輪廓的顏色直方圖?？v橫比本身并沒有特別的限定，例如可以采用{0.5，0.75，1.0，1.5，， 2. 0}等。在步驟S142中，CPU9按照每個不同的縱橫比求取矩形區(qū)域的顏色直方圖和周邊 輪廓的顏色直方圖的卡方距離(chi-square distance) 0在步驟S143中，CPU9求得卡方距 離最大的矩形區(qū)域的顏色直方圖。在步驟S144中，CPU9利用卡方距離最大的矩形區(qū)域的顏色直方圖，生成 Center-Surround的顏色直方圖的特征量圖。由此，Center-Surround的顏色直方圖的特征 量圖生成處理結(jié)束。其中，以下為了將Center-Surround的顏色直方圖的特征量圖和其他特征量圖進(jìn) 行區(qū)別而記為Fh。圖10C表示顏色空間分布的特征量圖生成處理的一例。在步驟S161中，CPU9針對顏色空間分布計算水平方向的分散。另外，在步驟S162中，CPU9針對顏色空間分布計算垂直方向的分散。而且，在步驟S163中，CPU9利用水平方 向的分散和垂直方向的分散，求取顏色的空間性分散。在步驟S164中，CPU9利用顏色的空間性分散來生成顏色空間分布的特征量圖。由 此，顏色空間分布的特征量圖生成處理結(jié)束。其中，以下為了將顏色空間分布的特征量圖和其他特征量圖進(jìn)行區(qū)別而記為Fs0關(guān)于以上所說明的圖10的特征量圖生成處理的更詳細(xì)的處理內(nèi)容，例如可以參 考“T.Liu, J. Sun, N. Zheng, X, Tang, H. sum, 'Learning to DetectA Salient Object', CVPR07,pp.1-8,2007”。接著，對圖7的場景構(gòu)圖識別處理中的步驟S30的構(gòu)圖分類處理的詳細(xì)例進(jìn)行說明。圖11是表示構(gòu)圖分析處理的流程的詳細(xì)例的流程圖。其中，在圖11的例子中，上述的模型構(gòu)圖方案Cl至Cll中的一個被選擇為模型構(gòu) 圖方案候補(bǔ)。即，在圖11的例子中，選擇P = 1的模型構(gòu)圖方案候補(bǔ)。在步驟S201中，CPU9執(zhí)行構(gòu)圖要素提取處理。即，執(zhí)行與上述的圖2的步驟Sg相 對應(yīng)的處理。由此，如上所述，從在圖7的步驟S21的處理中輸入的處理對象圖像數(shù)據(jù)中提 取構(gòu)圖要素及其排列圖案。因此，作為與圖2的步驟Sh(除步驟Sg以外)相對應(yīng)的處理，執(zhí)行如下的步驟S202 以后的處理。另外，在圖11的例子中，作為步驟S201的處理的結(jié)果，得到表示構(gòu)圖要素及 其配置圖案的內(nèi)容的信息。因此，存儲在圖3與圖4的表格信息中的分類識別圖案的形態(tài) 并非是如該圖3與圖4所示的圖像數(shù)據(jù)，而是表示構(gòu)圖要素和配置圖案的內(nèi)容的信息。艮口， 在以下的步驟S202以后的處理中，對步驟S201的處理中得到的構(gòu)圖要素及其配置圖案、作 為分類識別圖案的構(gòu)圖要素及其配置圖案進(jìn)行比較對照。在步驟S202中，CPU9判斷關(guān)注點區(qū)域是否廣泛分布于整個畫面中。在步驟S202中，判斷為關(guān)注點區(qū)域并未廣泛分布于整個畫面中的情況下，即，在 判斷為“否”的情況下，處理進(jìn)入步驟S212。其中，對步驟S212以后的處理將在后面敘述。與此相對，在步驟S202中，判斷為關(guān)注點區(qū)域廣泛分布于整個畫面中的情況下， 即在判斷為“是”的情況下，處理進(jìn)入步驟S203。在步驟S203中，CPU9判斷關(guān)注點區(qū)域是 否上下分割或者水平分布。在步驟S203中，判斷為關(guān)注點區(qū)域既未上下分割、也沒有水平分布的情況下，即 判斷為“否”的情況下，處理進(jìn)入步驟S206。其中，關(guān)于步驟S206以后的處理將在后面敘 述。與此相對，在步驟S203中，判斷為關(guān)注點區(qū)域上下分割或者水平分布的情況下， 即判斷為“是”的情況下，處理進(jìn)入步驟S204。在步驟S204中，CPU9判斷水平方向是否存 在長的直線邊緣。在步驟S204中，判斷為水平方向上不存在長的直線邊緣的情況下，即判斷為“否” 的情況下，處理進(jìn)入步驟S227。其中，關(guān)于步驟S227以后的處理將在后面敘述。與此相對，在步驟S204中，判斷為水平方向上存在長的直線邊緣的情況下，即判 斷為“是”的情況下，處理進(jìn)入步驟S205。在步驟S205中，CPU9將模型構(gòu)圖方案Cl “水平 線構(gòu)圖”選擇為模型構(gòu)圖方案候補(bǔ)。由此，構(gòu)圖分類處理結(jié)束。即，圖7的步驟S30的處理結(jié)束，在步驟S31的處理中判斷為“是”，并在步驟S32的處理中將識別完成FLAG設(shè)定為1。 結(jié)果，整個場景構(gòu)圖識別處理結(jié)束。如上所述，若在步驟S203的處理中判斷為“否”，則處理進(jìn)入步驟S206。在步驟 S206中，CPU9判斷關(guān)注點區(qū)域是否左右分割或者垂直分布。在步驟S206中，判斷為關(guān)注點區(qū)域既未左右分割、也沒有垂直分布的情況下，即 判斷為“否”的情況下，處理進(jìn)入步驟S209。其中，關(guān)于步驟S209以后的處理將在后面敘 述。與此相對，在步驟S206中，判斷為關(guān)注點區(qū)域左右分割或者垂直分布的情況下， 即判斷為“是”的情況下，處理進(jìn)入步驟S207。在步驟S207中，CPU9判斷垂直方向上是否 存在長的直線邊緣。在步驟S207中，判斷為垂直方向上不存在長的直線邊緣的情況下，即判斷為“否” 的情況下，處理進(jìn)入步驟S227。其中，關(guān)于步驟S227以后的處理將在后面敘述。與此相對，在步驟S207中，判斷為垂直方向上存在長的直線邊緣的情況下，即判 斷為“是”的情況下，處理進(jìn)入步驟S208。在步驟S208中，CPU9將模型構(gòu)圖方案C2 “垂直 線構(gòu)圖”選擇為模型構(gòu)圖方案候補(bǔ)。由此，構(gòu)圖分類處理結(jié)束。即，圖7的步驟S30的處理 結(jié)束，在步驟S31的處理中判斷為“是”，并在步驟S32的處理中將識別完成FLAG設(shè)定為1。 結(jié)果，整個場景構(gòu)圖識別處理結(jié)束。如上所述，若在步驟S206的處理中判斷為“否”，則處理進(jìn)入步驟S209。在步驟 S209中，CPU9判斷關(guān)注點區(qū)域是否傾斜分割或者對角分布。在步驟S209中，判斷為關(guān)注點區(qū)域既未傾斜分割、也沒有對角分布的情況下，即 判斷為“否”的情況下，處理進(jìn)入步驟S227。其中，關(guān)于步驟S227以后的處理將在后面敘 述。與此相對，在步驟S209中，判斷為關(guān)注點區(qū)域傾斜分割或者對角分布的情況下， 即判斷為“是”的情況下，處理進(jìn)入步驟S210。在步驟S210中，CPU9判斷是否存在長的斜 線邊緣。在步驟S210中，判斷為不存在長的斜線邊緣的情況下，即判斷為“否”的情況下， 處理進(jìn)入步驟S227。其中，關(guān)于步驟S227以后的處理將在后面敘述。與此相對，在步驟S210中，判斷為存在長的斜線邊緣的情況下，即判斷為“是”的 情況下，處理進(jìn)入步驟S211。在步驟S211中，CPU9將模型構(gòu)圖方案C3 “斜線構(gòu)圖/對角 線構(gòu)圖”選擇為模型構(gòu)圖方案候補(bǔ)。由此，構(gòu)圖分類處理結(jié)束。即，圖7的步驟S30的處理 結(jié)束，在步驟S31的處理中判斷為“是”，并在步驟S32的處理中將識別完成FLAG設(shè)定為1。 結(jié)果，整個場景構(gòu)圖識別處理結(jié)束。如上所述，若在步驟S202的處理中判斷為“否”，則處理進(jìn)入步驟S212。在步驟 S212中，CPU9判斷關(guān)注點區(qū)域是否基本廣泛地分布于大致中央處。在步驟S212中，判斷為關(guān)注點區(qū)域并未基本廣泛地分布于大致中央處的情況下， 即判斷為“否”的情況下，處理進(jìn)入步驟S219。其中，關(guān)于步驟S219以后的處理將在后面敘述。
與此相對，在步驟S212中，判斷為關(guān)注點區(qū)域基本廣泛地分布于大致中央處的情 況下，即判斷為“是”的情況下，處理進(jìn)入步驟S213。在步驟S213中，CPU9判斷是否存在長的曲線。在步驟S213中，判斷為不存在長的曲線的情況下，即判斷為“否”的情況下，處理 進(jìn)入步驟S215。其中，關(guān)于步驟S215以后的處理將在后面敘述。與此相對，在步驟S213中，判斷為存在長的曲線的情況下，即判斷為“是”的情況 下，處理進(jìn)入步驟S214。在步驟S214中，CPU9將模型構(gòu)圖方案C5 “曲線構(gòu)圖/S字構(gòu)圖” 選擇為模型構(gòu)圖方案候補(bǔ)。由此，構(gòu)圖分類處理結(jié)束。即，圖7的步驟S30的處理結(jié)束，在 步驟S31的處理中判斷為“是”，并在步驟S32的處理中將識別完成FLAG設(shè)定為1。結(jié)果， 整個場景構(gòu)圖識別處理結(jié)束。
如上所述，若在步驟S213的處理中判斷為“否”，則處理進(jìn)入步驟S215。在步驟 S215中，CPU9判斷是否存在斜線邊緣或者放射線邊緣。在步驟S215中，在判斷為不存在斜線邊緣以及放射線邊緣的情況下，即判斷為 “否”的情況下，處理進(jìn)入步驟S217。其中，關(guān)于步驟S217以后的處理將在后面敘述。與此相對，在步驟S215中，判斷為存在斜線邊緣或者放射線邊緣的情況下，即判 斷為“是”的情況下，處理進(jìn)入步驟S216。在步驟S216中，CPU9將模型構(gòu)圖方案C6 “三角 形構(gòu)圖/倒三角形構(gòu)圖”選擇為模型構(gòu)圖方案候補(bǔ)。由此，構(gòu)圖分類處理結(jié)束。即，圖7的 步驟S30的處理結(jié)束，在步驟S31的處理中判斷為“是”，并在步驟S32的處理中將識別完成 FLAG設(shè)定為1。結(jié)果，整個場景構(gòu)圖識別處理結(jié)束。如上所述，若在步驟S215的處理中判斷為“否”，則處理進(jìn)入步驟S217。在步驟 S217中，CPU9判斷關(guān)注點區(qū)域及邊緣是否都在中央下方處呈隧道狀。在步驟S217中，判斷為關(guān)注點區(qū)域及邊緣在中央下方處均不是隧道狀的情況下， 即判斷為“否”的情況下，處理進(jìn)入步驟S227。其中，關(guān)于步驟S217以后的處理將在后面敘 述。與此相對，在步驟S217中，判斷為關(guān)注點區(qū)域及邊緣在中央下方處均呈隧道狀的 情況下，即判斷為“是”的情況下，處理進(jìn)入步驟S218。在步驟S218中，CPU9將模型構(gòu)圖方 案C8 “隧道構(gòu)圖”選擇為模型構(gòu)圖方案候補(bǔ)。由此，構(gòu)圖分類處理結(jié)束。S卩，圖7的步驟S30 的處理結(jié)束，在步驟S31的處理中判斷為“是”，并在步驟S32的處理中將識別完成FLAG設(shè) 定為1。結(jié)果，整個場景構(gòu)圖識別處理結(jié)束。如上所述，若在步驟S212的處理中判斷為“否”，則處理進(jìn)入步驟S219。在步驟 S219中，CPU9判斷關(guān)注點區(qū)域是否分散或孤立。在步驟S219中判斷為關(guān)注點區(qū)域既未分散也未孤立的情況下，即判斷為“否”的 情況下，處理進(jìn)入步驟S227。其中，關(guān)于步驟S227以后的處理將在后面敘述。與此相對，在步驟S219中，在判斷為關(guān)注點區(qū)域分散或孤立的情況下，即判斷為 “是”的情況下，處理進(jìn)入步驟S220。在步驟S220中，CPU9判斷主要被拍攝物體是否為人物 的面部。在步驟S220中，判斷為主要被拍攝物體不是人物的面部的情況下，即判斷為“否” 的情況下，處理進(jìn)入步驟S222。其中，關(guān)于步驟S222以后的處理將在后面敘述。與此相對，在步驟S220中，判斷為主要被拍攝物體是人物的面部情況下，即判斷 為“是”的情況下，處理進(jìn)入步驟S221。在步驟S221中，CPU9將模型構(gòu)圖方案ClO “肖像 畫構(gòu)圖”選擇為模型構(gòu)圖方案候補(bǔ)。由此，構(gòu)圖分類處理結(jié)束。即，圖7的步驟S30的處理結(jié)束，在步驟S31的處理中判斷為“是”，并在步驟S32的處理中將識別完成FLAG設(shè)定為1。 結(jié)果，整個場景構(gòu)圖識別處理結(jié)束。如上所述，若在步驟S220的處理中判斷為“否”，則處理進(jìn)入步驟S222。在步驟 S222中，CPU9判斷關(guān)注點區(qū)域是否左右或者對稱排列。在步驟S222中，判斷為關(guān)注點區(qū)域并未左右或?qū)ΨQ排列的情況下，即判斷為“否” 的情況下，處理進(jìn)入步驟S224。其中，關(guān)于步驟S224以后的處理將在后面敘述。與此相對，在步驟S222中，判斷為關(guān)注點區(qū)域左右或?qū)ΨQ排列的情況下，即判斷 為“是”的情況下，處理進(jìn)入步驟S223。在步驟S223中，CPU9將模型構(gòu)圖方案C7 “對比/ 對稱構(gòu)圖”選擇為模型構(gòu)圖方案候補(bǔ)。由此，構(gòu)圖分類處理結(jié)束。即，圖7的步驟S30的處 理結(jié)束，在步驟S31的處理中判斷為“是”，并在步驟S32的處理中將識別完成FLAG設(shè)定為 1。結(jié)果，整個場景構(gòu)圖識別處理結(jié)束。如上所述，若在步驟S222的處理中判斷為“否”，則處理進(jìn)入步驟S224。在步驟 S224中，CPU9判斷關(guān)注點區(qū)域或者輪廓是否以多個相似形分散。在步驟S224中，判斷為關(guān)注點區(qū)域或者輪廓以多個相似形分散的情況下，即判斷 為“是”的情況下，處理進(jìn)入步驟S225。在步驟S225中，CPU9將模型構(gòu)圖方案C9 “圖案構(gòu) 圖”選擇為模型構(gòu)圖方案候補(bǔ)。與此相對，在步驟S224中，判斷為關(guān)注點區(qū)域和輪廓并不是多個相似形也未分散 的情況下，即判斷為“否”的情況下，處理進(jìn)入步驟S226。在步驟S226中，CPU9將模型構(gòu)圖 方案Cll “3分割/4分割構(gòu)圖”選擇為模型構(gòu)圖方案候補(bǔ)。若步驟S225或S226的處理結(jié)束，則構(gòu)圖分類處理結(jié)束。即，圖7的步驟S30的處 理結(jié)束，在步驟S31的處理中判斷為“是”，并在步驟S32的處理中將識別完成FLAG設(shè)定為 1。結(jié)果，整個場景構(gòu)圖識別處理結(jié)束。如上所述，若在步驟S204、S207、S209、S210、S217或S219的處理中判斷為“否”， 則處理進(jìn)入步驟S227。在步驟S227中，CPU9判斷是否存在多條斜線或者放射線。在步驟S227中，判斷為即不存在多條斜線也不存在多條放射線的情況下，即判斷 為“否”的情況下，處理進(jìn)入步驟S234。其中，關(guān)于步驟S234以后的處理將在后面敘述。與此相對，在步驟S227中，判斷為存在多條斜線或者放射線的情況下，即判斷為 “是”的情況下，處理進(jìn)入步驟S228。在步驟S228中，CPU9判斷大致相同方向上是否存在多 條斜線。在步驟S228中，判斷為大致相同方向上并不存在多條斜線的情況下，即判斷為 “否”的情況下，處理進(jìn)入步驟S230。其中，關(guān)于步驟S230以后的處理將在后面敘述。與此相對，在步驟S228中，判斷為大致相同方向上存在多條斜線的情況下，即判 斷為“是”的情況下，處理進(jìn)入步驟S229。在步驟S229中，CPU9將模型構(gòu)圖方案C3 “斜線 構(gòu)圖/對角線構(gòu)圖”選擇為模型構(gòu)圖方案候補(bǔ)。由此，構(gòu)圖分類處理結(jié)束。即，圖7的步驟 S30的處理結(jié)束，在步驟S31的處理中判斷為“是”，并在步驟S32的處理中將識別完成FLAG 設(shè)定為1。結(jié)果，整個場景構(gòu)圖識別處理結(jié)束。如上所述，若在步驟S228的處理中判斷為“否”，則處理進(jìn)入步 驟S230。在步驟 S230中，CPU9判斷斜線是否從大致中央處開始朝上下或左右呈放射狀。在步驟S230中，判斷為斜線從大致中央處既未朝上下呈放射狀、也未朝左右呈放射狀的情況下，即判斷為“否”的情況下，處理進(jìn)入步驟S232。其中，關(guān)于步驟S232以后的 處理將在后面敘述。 與此相對，在步驟S230中，判斷為斜線從大致中央處朝上下或左右呈放射狀的情 況下，即判斷為“是”的情況下，處理進(jìn)入步驟S231。在步驟S231中，CPU9將模型構(gòu)圖方案 C4“放射線構(gòu)圖”選擇為模型構(gòu)圖方案候補(bǔ)。由此，構(gòu)圖分類處理結(jié)束。即，圖7的步驟S30 的處理結(jié)束，在步驟S31的處理中判斷為“是”，并在步驟S32的處理中將識別完成FLAG設(shè) 定為1。結(jié)果，整個場景構(gòu)圖識別處理結(jié)束。如上所述，若在步驟S230的處理中判斷為“否”，則處理進(jìn)入步驟S232。在步驟 S232中，CPU9判斷斜線是否從上或下開始呈放射狀。在步驟S232中，判斷為斜線既未從上開始呈放射狀、也未從下開始呈放射狀的情 況下，即判斷為“否”的情況下，處理進(jìn)入步驟S234。其中，關(guān)于步驟S234以后的處理將在 后面敘述。與此相對，在步驟S232中，判斷為斜線從上或下開始呈放射狀的情況下，即判斷 為“是”的情況下，處理進(jìn)入步驟S233。在步驟S233中，CPU9將模型構(gòu)圖方案C6 “三角形 構(gòu)圖/倒三角形構(gòu)圖”選擇為模型構(gòu)圖方案候補(bǔ)。由此，構(gòu)圖分類處理結(jié)束。即，圖7的步 驟S30的處理結(jié)束，在步驟S31的處理中判斷為“是”，并在步驟S32的處理中將識別完成 FLAG設(shè)定為1。結(jié)果，整個場景構(gòu)圖識別處理結(jié)束。如上所述，若在步驟S227或S232的處理中判斷為“否”，則處理進(jìn)入步驟S234。在 步驟S234中，CPU9判斷主要被拍攝物體是否為人物的面部。在步驟S234中，判斷為主要被拍攝物體是人物的面部的情況下，即判斷為“是”的 情況下，處理進(jìn)入步驟S235。在步驟S235中，CPU9將模型構(gòu)圖方案ClO “肖像畫構(gòu)圖”選 擇為模型構(gòu)圖方案候補(bǔ)。由此，構(gòu)圖分類處理結(jié)束。即，圖7的步驟S30的處理結(jié)束，在步 驟S31的處理中判斷為“是”，并在步驟S32的處理中將識別完成FLAG設(shè)定為1。結(jié)果，整 個場景構(gòu)圖識別處理結(jié)束。與此相對，在步驟S234中，判斷為主要被拍攝物體并不是人物的面部的情況下， 即判斷為“否”的情況下，處理進(jìn)入步驟S236。在步驟S236中，CPU9認(rèn)定構(gòu)圖的分類識別 失敗。由此，構(gòu)圖分類處理結(jié)束。即，圖7的步驟S30的處理結(jié)束，在步驟S31的處理中判 斷為“否”，并在步驟S33的處理中將識別完成FLAG設(shè)定為0。結(jié)果，整個場景構(gòu)圖識別處
理結(jié)束。如以上所說明的，第1實施方式涉及的圖像處理裝置100的CPU9具有以下功能 針對包含主要被拍攝物體的輸入圖像，基于從輸入圖像中提取出的多個特征量，來推測關(guān) 注點區(qū)域。CPU9還具有以下功能利用關(guān)注點區(qū)域，從多個模型構(gòu)圖方案中識別與主要被 拍攝物體的配置狀態(tài)(例如排列圖案或位置關(guān)系)有關(guān)且與輸入圖像類似的模型構(gòu)圖方案。這樣被識別出的模型構(gòu)圖方案由于與主要被拍攝物體的配置狀態(tài)(例如排列圖 案或位置關(guān)系)有關(guān)且與輸入圖像(直通圖像)類似，所以可以將模型構(gòu)圖方案把握為對 于輸入圖像而言是理想構(gòu)圖方案或感覺良好的構(gòu)圖方案。因此，在向用戶提示后使其接受 了這種構(gòu)圖方案的情況下，用戶在各種各樣的被拍攝物體或者一般的場景中，能夠以理想 的構(gòu)圖或感覺良好的構(gòu)圖進(jìn)行攝影。
在第1實施方式涉及的CPU9的識別構(gòu)圖方案的功能中，包含以下功能 除了關(guān)注 點區(qū)域，還可以利用與輸入圖像相對應(yīng)的邊緣圖像的線成分，識別與主要被拍攝物體的配 置狀態(tài)(例如排列圖案或位置關(guān)系)有關(guān)且與輸入圖像類似的模型構(gòu)圖方案。通過采用這種功能，從而也可以將現(xiàn)有的在黃金分割線(3分割線)格柵的交點處 放置被拍攝物體這種單純的構(gòu)圖方案以外的各種各樣的模型構(gòu)圖方案作為構(gòu)圖方案來提 示。結(jié)果，作為構(gòu)圖方案候補(bǔ)而被提示的構(gòu)圖方案并不是千篇一律的構(gòu)圖，因此用戶能夠根 據(jù)場景或被拍攝物體，以各種各樣的構(gòu)圖，還有隨機(jī)應(yīng)變的各種構(gòu)圖，來攝影主要被拍攝物 體。第1實施方式涉及的CPU9還具有提示所識別出的模型構(gòu)圖方案的功能。由此，用 戶僅僅通過利用取景器等觀察輸入圖像(直通圖像)的同時瞄準(zhǔn)主要被拍攝物體，即可提 示對人物的面部以外的一般主要被拍攝物體進(jìn)行攝影時的模型構(gòu)圖方案。因此，用戶可以 基于所提示的模型構(gòu)圖方案來評價構(gòu)圖的好壞。另外，用戶通過變更場景來提示每個場景 的多個模型構(gòu)圖方案，因此可以從所提示的多個模型構(gòu)圖方案中將希望的方案作為攝影時 的構(gòu)圖來選擇。第1實施方式涉及的CPU9還具有對所識別出的模型構(gòu)圖方案進(jìn)行評價的功能。而 且，提示的功能中包含將該評價結(jié)果與所識別出的模型構(gòu)圖方案一起進(jìn)行提示的功能。由 此，可以根據(jù)取景的變更(framing)時時刻刻識別模型構(gòu)圖方案，并時時刻刻進(jìn)行這些內(nèi) 容的評價。因此，用戶通過利用時時刻刻變化的評價，從而可以搜索出對于輸入圖像而言更 好的構(gòu)圖，或者容易嘗試各種取景。第1實施方式涉及的CPU還具有基于所識別出的模型構(gòu)圖方案來生成引導(dǎo)到規(guī)定 構(gòu)圖(例如理想的構(gòu)圖)的引導(dǎo)信息的功能。而且，提示的功能中包含提示該引導(dǎo)信息的 功能。由此，即使是對攝影不熟悉的用戶，也可以很容易地以理想的構(gòu)圖、感覺良好的構(gòu)圖、 或平衡性良好的構(gòu)圖對主要被拍攝物體進(jìn)行攝影。進(jìn)而，第1實施方式涉及的CPU也可以按照成為與識別出的模型構(gòu)圖方案相對應(yīng) 的構(gòu)圖的方式，引導(dǎo)用戶取景或移動焦距。另外，CPU9也可以按照接近與識別出的模型構(gòu) 圖方案相對應(yīng)的構(gòu)圖的方式，執(zhí)行自動取景或自動微調(diào)(trimming)，從而進(jìn)行攝影。還有， 在進(jìn)行多張連拍的情況下，CPU9可以將連拍到的多個攝影圖像分別作為輸入圖像，從而識 別模型構(gòu)圖方案。因此，CPU9也可以基于識別出的各模型構(gòu)圖方案，從連拍后的多個攝影 圖像中選擇構(gòu)圖良好的攝影圖像，并進(jìn)行記錄。結(jié)果，用戶能夠脫離單調(diào)的構(gòu)圖，以適當(dāng)?shù)?構(gòu)圖進(jìn)行攝影。另外，對于用戶而言，能夠回避以失敗的構(gòu)圖進(jìn)行攝影的情況。(第2實施方式)接著，對本發(fā)明的第2實施方式進(jìn)行說明。其中，本發(fā)明第2實施方式涉及的圖像處理裝置的硬件構(gòu)成和第1實施方式涉及 的圖像處理裝置100的圖1的硬件構(gòu)成基本相同。再有，對于CPU9的功能而言，也具有第 1實施方式的CPU9所具有的上述各功能。第2實施方式涉及的圖像處理裝置100還具有基于“圖片模式”和“BEST SHOT (注 冊商標(biāo))”等功能而向用戶提示多種場景的功能。圖12表示作為液晶顯示器13的顯示例而顯示了可分別確定多種場景的信息(以 下稱為場景信息)的例子。
場景信息201表示“朝陽/夕陽”的場景。場景信息202表示“花”的場景。場景 信息203表示“櫻花”的場景。場景信息204表示“溪流”的場景。場景信息205表示“樹 木”的場景。場景信息206表示“森林/樹林”的場景。場景信息207表示“天空/云”的 場景。場景信息208表示“瀑布”的場景。場景信息209表示“山”的場景。場景信息210 表示“?！钡膱鼍?。其中，為了方便說明，作為場景信息201至210雖然按照顯示各場景的名稱的方式 在圖12上進(jìn)行了描繪，但并未特別限定于圖12的例子，除此以外例如也可以是各場景的樣 本圖像。用戶對操作部14進(jìn)行操作，從而可以從場景信息201至210中選擇希望的場景信 息。作為與這種選擇對應(yīng)的功能，第2實施方式涉及的圖像處理裝置100具有以下功能。 即，圖像處理裝置100具有根據(jù)與所選出的場景信息相對應(yīng)的場景、該場景所能包含的被 拍攝物體的種類、該場景的風(fēng)格等，從多個模型構(gòu)圖方案中識別針對該場景而推薦的模型 構(gòu)圖方案的功能。具體是，例如在選擇了場景信息201的情況下，圖像處理裝置100針對“朝陽/夕 陽”的場景，識別模型構(gòu)圖方案Cll “3分割/4分割構(gòu)圖”。由此，能夠使太陽與水平線配置 在基于3分割法的位置上來進(jìn)行攝影。例如，在選擇了場景信息202的情況下，圖像處理裝置100針對“花”的場景，識別 模型構(gòu)圖方案C7 “對比/對稱構(gòu)圖”。由此，能夠發(fā)現(xiàn)襯托作為主角的花的配角，并進(jìn)行基 于主角與配角的“對比構(gòu)圖”下的攝影。例如，在選擇了場景信息203的情況下，圖像處理裝置100針對“櫻花”的場景，識 別模型構(gòu)圖方案C4 “放射線構(gòu)圖”。由此，能夠針對樹干和樹枝進(jìn)行“放射線構(gòu)圖”下的攝影。例如，在選擇了場景信息204的情況下，圖像處理裝置100針對“溪流”的場景，識 別模型構(gòu)圖方案C12 “遠(yuǎn)近法構(gòu)圖”。由此，能夠以強(qiáng)調(diào)了距離感的“遠(yuǎn)近法構(gòu)圖”，進(jìn)行使 成為重點的被拍攝物體配置的攝影。例如，在選擇了場景信息205的情況下，圖像處理裝置100針對“樹木”的場景，識 別模型構(gòu)圖方案C7“對比/對稱構(gòu)圖”。由此，將襯托主角的古木等的配角作為背景的各種 樹，從而能夠進(jìn)行基于主角與配角的“對比構(gòu)圖”下的攝影。結(jié)果，能夠帶來古木等被拍攝 物體的宏大感。例如，在選擇了場景信息206的情況下，圖像處理裝置100針對“森林/樹林”的 場景，識別模型構(gòu)圖方案C4“放射線構(gòu)圖”。由此，在光照射的透過光下，能夠以將樹干作為 突出線(accent line)的“放射線構(gòu)圖”進(jìn)行攝影。例如，在選擇了場景信息207的情況下，圖像處理裝置100針對“天空/云”的場 景，識別模型構(gòu)圖方案C4 “放射線構(gòu)圖”或模型構(gòu)圖方案C3 “斜線構(gòu)圖/對角線構(gòu)圖”。由 此，能夠以“放射線構(gòu)圖”或“對角線構(gòu)圖”對云的線條進(jìn)行攝影。例如，在選擇了場景信息208的情況下，圖像處理裝置100針對“瀑布”的場景，識 別能夠?qū)⒁缘退倏扉T獲得的瀑布的流動作為“構(gòu)圖的軸”來進(jìn)行攝影的模型構(gòu)圖方案。例如，在選擇了場景信息209的情況下，圖像處理裝置100針對“山”的場景，識別 模型構(gòu)圖方案C3 “斜線構(gòu)圖/對角線構(gòu)圖”。由此，能夠以“斜線構(gòu)圖”對棱角線進(jìn)行攝影，能夠使攝影圖像表現(xiàn)出節(jié)奏感。另外，該情況下優(yōu)選對天空不進(jìn)行過度寬廣地攝影。例如，在選擇了場景信息210的情況下，圖像處理裝置100針對“?！钡膱鼍?，識別 模型構(gòu)圖方案Cl “水平線構(gòu)圖”與模型構(gòu)圖方案C7 “對比/對稱構(gòu)圖”。由此，能夠以“水 平線構(gòu)圖，，與“對比構(gòu)圖，，的組合對海進(jìn)行攝影。在這種第2實施方式中，能夠直接起到第1實施方式中所起到的效果是毋庸置疑 的，而且還能起到以下的效果。S卩，在第2實施方式中，在選擇按照場景分類的攝影程序來攝影的情況等下，因為 可以識別與場景相對應(yīng)的模型構(gòu)圖方案，所以能夠與輸入圖像(直通圖像)中的主要被拍 攝物體的配置或位置關(guān)系無關(guān)地識別如襯托場景的最佳模型構(gòu)圖方案。結(jié)果，任何人都能 以理想的構(gòu)圖進(jìn)行攝影。例如，在作為按照與場景分類的攝影程序相對應(yīng)的樣本圖像或模型構(gòu)圖方案，可 以追加注冊用戶拍攝到的圖像或者有名作家的照片作品等。該情況下，圖像處理裝置100 從注冊圖像中提取關(guān)注點區(qū)域等，并基于提取結(jié)果，可以自動提取構(gòu)圖要素或排列圖案等。 由此，圖像處理裝置100可以將所提取出的構(gòu)圖要素或排列圖案等作為新的模型構(gòu)圖方案 或排列圖案信息來追加注冊。此時，在進(jìn)行基于按照場景分類的攝影程序的攝影時，用戶 通過選擇所追加注冊的模型構(gòu)圖方案，從而可以更加簡單地進(jìn)行基于期望的構(gòu)圖方案的攝 影。另外，本發(fā)明并未限于所述實施方式，可達(dá)成本發(fā)明的目的的范圍內(nèi)的變形、改良 等均包含于本發(fā)明中。例如，在上述的實施方式中，舉例說明了采用本發(fā)明的圖像處理裝置作為數(shù)碼照 相機(jī)而構(gòu)成的例子。然而，本發(fā)明并未特別限于數(shù)碼照相機(jī)，一般也可以適用于具有如下功 能的電子設(shè)備，即對與包含目標(biāo)的圖像一致的場景進(jìn)行識別的功能。具體是，例如本發(fā)明 能夠適用于攝像機(jī)。便攜式導(dǎo)航裝置、便攜式游戲機(jī)等。另外，也可以組合第1實施方式和第2實施方式。上述一系列的處理可以通過硬件來執(zhí)行，也可以通過軟件來執(zhí)行。在通過軟件來執(zhí)行一系列的處理的情況下，構(gòu)成該軟件的程序是從網(wǎng)絡(luò)或記錄介 質(zhì)安裝到計算機(jī)等中的。計算機(jī)也可以是被組裝到專用硬件中的計算機(jī)。另外，計算機(jī)還 可以是通過安裝各種程序而能執(zhí)行各種功能的計算機(jī)，例如通用的個人計算機(jī)。包含這種程序的記錄介質(zhì)雖然未圖示，但不僅可以由為了向用戶提供程序而與裝 置主體分開配置的可拆卸介質(zhì)構(gòu)成，還可以由在被預(yù)先組裝到裝置主體中的狀態(tài)下向用 戶提供的記錄介質(zhì)等構(gòu)成。可拆卸介質(zhì)例如由磁盤(包含軟磁盤(floppy disc))、光盤 或光磁盤等構(gòu)成。光盤例如由 CD-ROM (Compact Disk-Read Only Memory)、DVD (Digital Versatile Disk)等構(gòu)成。光磁盤由MD (Mini-Disk)等構(gòu)成。再有，在被預(yù)先組裝到裝置主 體的狀態(tài)下向用戶提供的記錄介質(zhì)例如由記錄有程序的圖1的R0M11或未圖示的硬盤等構(gòu) 成。另外，在本說明書中，描述記錄在記錄介質(zhì)中的程序的步驟當(dāng)然包含根據(jù)該順序 按照時序進(jìn)行的處理，還包含并非必須按照時序進(jìn)行的處理、并列或單獨執(zhí)行的處理。
權(quán)利要求
一種圖像處理裝置，其包括推測部，其基于從包含主要被拍攝物體的輸入圖像中提取出的多個特征量，針對所述輸入圖像推測關(guān)注點區(qū)域；和識別部，其利用由所述推測部推測出的所述關(guān)注點區(qū)域，從多個模型構(gòu)圖方案中識別與所述主要被拍攝物體的配置狀態(tài)有關(guān)且與所述輸入圖像類似的模型構(gòu)圖方案。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述識別部除了所述關(guān)注點區(qū)域以外，還利用與所述輸入圖像相對應(yīng)的邊緣圖像的 線成分，來識別與所述要被拍攝物體的配置狀態(tài)有關(guān)且與所述輸入圖像類似的模型構(gòu)圖方案。
3.根據(jù)權(quán)利要求1或2所述的圖像處理裝置，其中，該圖像處理裝置還包括提示部，該提示部提示由所述識別部識別出的所述模型構(gòu)圖方案。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，該圖像處理裝置還包括評價部，該評價部對由所述識別部識別出的所述模型構(gòu)圖方案 進(jìn)行評價，所述提示部還提示所述評價部的評價結(jié)果。
5.根據(jù)權(quán)利要求3或4所述的圖像處理裝置，其中，該圖像處理裝置還包括生成部，該生成部基于由所述識別部識別出的所述模型構(gòu)圖方 案，生成引導(dǎo)到規(guī)定構(gòu)圖的引導(dǎo)信息，所述提示部還提示由所述生成部生成的所述弓I導(dǎo)信息。
6.一種圖像處理方法，其包括推測步驟，基于從包含主要被拍攝物體的輸入圖像中提取出的多個特征量，針對所述 輸入圖像推測關(guān)注點區(qū)域；和識別步驟，利用通過所述推測步驟的處理推測出的所述關(guān)注點區(qū)域，從多個模型構(gòu)圖 方案中識別與所述主要被拍攝物體的配置狀態(tài)有關(guān)且與所述輸入圖像類似的模型構(gòu)圖方案。
全文摘要
本發(fā)明提供一種圖像處理裝置，其中該圖像處理裝置基于統(tǒng)計了多個特征量圖(Fc、Fh、Fs)的顯著性圖(S)，針對直通圖像(51)推測關(guān)注點區(qū)域(52)(步驟Sa至Sc)；提取與直通圖像(51)相對應(yīng)的邊緣圖像(53)的線成分(邊緣SL等)(步驟Se、Sf)；利用關(guān)注點區(qū)域(52)或線成分(邊緣成分SL等)，從多個模型構(gòu)圖方案中識別與主要被拍攝物體的配置狀態(tài)有關(guān)且與直通圖像(51)類似的模型構(gòu)圖方案(例如構(gòu)圖方案C3、C4等)(步驟Sg、Sh)。由此，即使在各種各樣的被拍攝物體或一般的場景中也能以理想的構(gòu)圖或感覺良好的構(gòu)圖進(jìn)行攝影。
文檔編號H04N5/232GK101990068SQ20101024401
公開日2011年3月23日 申請日期2010年7月30日 優(yōu)先權(quán)日2009年7月31日
發(fā)明者喜多一記 申請人:卡西歐計算機(jī)株式會社