專利名稱：成像設(shè)備和方法以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及成像設(shè)備和方法以及程序，具體涉及通過其可以更簡單地確認(rèn)構(gòu)圖的 成像設(shè)備和方法以及程序。
背景技術(shù)：
通常，在諸如數(shù)字照相機(jī)等的成像設(shè)備中可能存在兩個成像系統(tǒng)。例如，已經(jīng)提出了一種具有對用戶的前方進(jìn)行成像的前方照相機(jī)和對用戶后面進(jìn) 行成像的后方照相機(jī)的成像設(shè)備(例如參見專利文獻(xiàn)1)。然而，利用上述成像設(shè)備，用戶不能同時利用兩個成像系統(tǒng)對一個被攝體進(jìn)行成像。此外，利用通常的數(shù)字照相機(jī)，可以利用一個成像系統(tǒng)進(jìn)行標(biāo)準(zhǔn)模式和廣角模式 之間的切換，但是用戶不能同時確認(rèn)每個模式下的構(gòu)圖。此外，已經(jīng)提出了一種具有兩個顯示單元的照相機(jī)，該顯示單元分別顯示已由相 應(yīng)的成像系統(tǒng)成像的圖像。然而，由于存在兩個顯示單元，因此用戶必須針對每個圖像而確 認(rèn)構(gòu)圖。引用列表專利文獻(xiàn)專利文獻(xiàn)1 日本未審專利申請公開2007-60721

發(fā)明內(nèi)容
技術(shù)問題如上所述，不容易以簡單的方式對具有不同的圖像范圍的兩個圖像的構(gòu)圖進(jìn)行確 認(rèn)。針對上述問題已作出了本發(fā)明，本發(fā)明使得能夠以更簡單的方式確認(rèn)構(gòu)圖。問題的解決方案根據(jù)本發(fā)明一個方面的成像設(shè)備包括合成裝置，用于對作為成像的被攝體的第 一圖像和具有與第一圖像不相同的成像范圍的第二圖像進(jìn)行合成，以使被攝體的位置相匹 配；以及顯示裝置，用于顯示已被合成裝置合成了的第一圖像和第二圖像。該成像設(shè)備還可以包括成像裝置，用于接收來自光學(xué)系統(tǒng)的光并對被攝體的第 一圖像進(jìn)行成像；以及提取裝置，用于從第一圖像中提取作為具有與第一圖像不相同的尺 寸的圖像并且包括具有高關(guān)注度的被攝體的第二圖像，其中合成裝置可以合成被提取裝置 提取的第二圖像，使得被攝體的位置與第一圖像相匹配，以及其中顯示裝置可以能夠顯示 整個第一圖像的顯示區(qū)域中的具有與第二圖像相同的尺寸的預(yù)定區(qū)域，顯示對應(yīng)部分的第 一圖像，并且顯示已被與第一圖像相合成的第二圖像。顯示裝置可以在該顯示區(qū)域中增強(qiáng)并顯示第二圖像。 該顯示區(qū)域可以是當(dāng)成像模式是對縱橫比為4 3的圖像進(jìn)行成像的標(biāo)準(zhǔn)模式時在其中顯示整個第一圖像的區(qū)域，以及其中該顯示區(qū)域中的預(yù)定區(qū)域是當(dāng)所述成像模式是對縱橫比為16 9的圖像進(jìn)行成像的全景模式時在其中顯示第一圖像的部分的區(qū)域。該成像設(shè)備還可以包括裁切裝置，用于裁切出預(yù)定區(qū)域的第一圖像；以及記錄 裝置，用于記錄已被裁切裝置裁切出的第一圖像和已被提取裝置提取的第二圖像。該合成裝置可以對已被裁切裝置裁切出的第一圖像和已被提取裝置提取的第二 圖像進(jìn)行合成，記錄裝置可以記錄已被合成裝置合成的第一圖像和第二圖像。該成像設(shè)備還可以包括第一成像裝置，用于接收來自第一光學(xué)系統(tǒng)的光并對被 攝體的第一圖像進(jìn)行成像；第二成像裝置，用于接收來自第二光學(xué)系統(tǒng)的光，并對具有與被 攝體的第一圖像不相同的視角的第二圖像進(jìn)行成像；以及第一圖像質(zhì)量調(diào)整裝置，用于調(diào) 整第二圖像的圖像質(zhì)量，以使第二圖像的圖像質(zhì)量與第一圖像的圖像質(zhì)量不相同；其中合 成裝置關(guān)于第二圖像合成第一圖像，使得被攝體的位置與已被第一圖像質(zhì)量調(diào)整裝置調(diào)整 了圖像質(zhì)量的第二圖像相匹配。該成像設(shè)備還可以包括對象檢測裝置，用于檢測第二圖像中的對象；以及第二 圖像質(zhì)量調(diào)整裝置，用于調(diào)整已被對象檢測裝置檢測到的第二圖像中的對象的區(qū)域的圖像 質(zhì)量，以使所述對象的區(qū)域的圖像質(zhì)量與第二圖像的圖像質(zhì)量不相同，其中合成裝置對第 一圖像和已被第二圖像質(zhì)量調(diào)整裝置調(diào)整了圖像質(zhì)量的第二圖像中的對象的區(qū)域中的對 象圖像進(jìn)行合成，使得被攝體的位置與第二圖像相匹配。該對象檢測裝置可以檢測第二圖像中的具有運(yùn)動的對象。該對象檢測裝置可以檢測第二圖像中的人的面部。該成像設(shè)備還可以包括構(gòu)圖分析裝置，用于分析第二圖像的構(gòu)圖；以及構(gòu)圖提 取裝置，用于基于構(gòu)圖分析裝置分析的構(gòu)圖而從第二圖像中提取具有與第一圖像的視角不 相同的視角的構(gòu)圖，其中合成裝置對第一圖像和具有由構(gòu)圖提取裝置提取的構(gòu)圖的提取的 圖像進(jìn)行合成，使得被攝體的位置與第二圖像相匹配。該第二成像裝置可以接收來自第二光學(xué)系統(tǒng)的光，以對具有與第一圖像相比更寬 的被攝體的視角的第二圖像進(jìn)行成像。該成像設(shè)備還可以包括失真校正裝置，用于校正第二圖像的失真；以及光軸校 正裝置，用于使第二光學(xué)系統(tǒng)的光軸與第一光學(xué)系統(tǒng)的光軸相匹配，并確定第一圖像被合 成到第二圖像的位置。該第一圖像質(zhì)量調(diào)整裝置可以調(diào)整第二圖像的顏色信號的水平，以使第二圖像的 顏色信號的水平低于第一圖像的顏色信號的水平。該成像設(shè)備還可以設(shè)置有第二圖像質(zhì)量調(diào)整裝置，用于調(diào)整第一圖像的圖像質(zhì) 量，以使第一圖像的圖像質(zhì)量與第二圖像的圖像質(zhì)量不相同。該第二圖像質(zhì)量調(diào)整裝置可以調(diào)整第一圖像的顏色信號的水平，以使第一圖像的 顏色信號的水平大于第二圖像的顏色信號的水平。根據(jù)本發(fā)明一個方面的成像方法包括合成步驟，用于對作為成像的被攝體的第 一圖像和具有與第一圖像不相同的成像范圍的第二圖像進(jìn)行合成；以及顯示步驟，用于顯 示通過合成步驟的處理而已被合成了的第一圖像和第二圖像。根據(jù)本發(fā)明一個方面的程序使計算機(jī)執(zhí)行處理，該處理包括合成步驟，用于對作 為成像的被攝體的第一圖像和具有與第一圖像不相同的成像范圍的第二圖像進(jìn)行合成；以及顯示步驟，用于顯示通過合成步驟的處理而已被合成了的第一圖像和第二圖像。根據(jù)本發(fā)明的一方面，對作為成像的被攝體的第一圖像和具有與第一圖像不相同的成像范圍的第二圖像進(jìn)行合成，并顯示合成的第一圖像和第二圖像。本發(fā)明的有益效果根據(jù)本發(fā)明的一方面，可以更容易地確認(rèn)構(gòu)圖。


圖1是示出作為應(yīng)用本發(fā)明的成像設(shè)備的實(shí)施例的數(shù)字照相機(jī)的外觀的示例的 圖。圖2是示出數(shù)字照相機(jī)所成像的成像圖像的顯示示例的圖。圖3是示出數(shù)字照相機(jī)的功能配置示例的框圖。圖4是示出圖像處理單元的配置示例的框圖。圖5是示出圖像處理單元的配置示例的框圖。圖6是示出圖像處理單元的配置示例的框圖。圖7是示出圖像處理單元的配置示例的框圖。圖8是示出圖像處理單元的配置示例的框圖。圖9是示出圖像處理單元的配置示例的框圖。圖10是描述圖3中的數(shù)字照相機(jī)的圖像顯示處理的流程圖。圖11是描述失真校正單元的失真校正處理的圖。圖12是描述失真校正單元的失真校正處理的圖。圖13是描述光軸校正單元的光軸校正處理的圖。圖14是描述合成單元的合成處理的主圖像和副圖像的圖像尺寸的調(diào)整的圖。圖15是示出數(shù)字照相機(jī)的另一配置示例的框圖。圖16是示出對象檢測單元的配置示例的框圖。圖17是示出對象檢測單元的配置示例的框圖。圖18是示出圖像處理單元的配置示例的框圖。圖19是描述圖15中的數(shù)字照相機(jī)的圖像顯示處理的流程圖。圖20是描述對象檢測處理的示例的流程圖。圖21是描述對象檢測處理的另一示例的流程圖。圖22是示出其中檢測到的對象圖像已被增強(qiáng)和顯示的合成圖像的示例的圖。圖23是示出數(shù)字照相機(jī)的另一配置示例的框圖。圖24是描述圖23中的數(shù)字照相機(jī)的圖像顯示處理的流程圖。圖25是示出推薦構(gòu)圖的示例的圖。圖26是示出顯示推薦構(gòu)圖的合成圖像的示例的圖。圖27是描述成像裝置的縱橫比的圖。圖28是示出數(shù)字照相機(jī)的又一配置示例的框圖。圖29是描述圖28中的數(shù)字照相機(jī)的圖像顯示處理的流程圖。圖30是描述裁切的圖像的圖。圖31是描述提取的圖像的圖。
圖32是描述在顯示單元上顯示的合成圖像的示例的圖。圖33是描述圖28中的數(shù)字照相機(jī)的圖像記錄處理的流程圖。圖34是描述在記錄單元上記錄的合成圖像的示例的圖。圖35是示出計算機(jī)硬件的配置示例的框圖。
具體實(shí)施例方式下面將參考附圖描述本發(fā)明的實(shí)施例。注意，將以下面的順序給出描述。1.第一實(shí)施例2.第二實(shí)施例3.第三實(shí)施例4.第四實(shí)施例1.第一實(shí)施例[成像設(shè)備的外觀和成像圖像]圖1示出了用作應(yīng)用本發(fā)明的成像設(shè)備的實(shí)施例的數(shù)字照相機(jī)的外觀的示例。圖1中的數(shù)字照相機(jī)11具有主鏡頭31和副鏡頭32這兩個光學(xué)系統(tǒng)。主鏡頭31 是所謂的標(biāo)準(zhǔn)鏡頭。副鏡頭32是廣角鏡頭(即，魚眼鏡頭等)，與主鏡頭31相比，副鏡頭 32的視角充分寬。圖2示出了數(shù)字照相機(jī)11所成像的成像圖像的顯示示例。如圖2所示，數(shù)字照相機(jī)11對經(jīng)由副鏡頭32成像的圖像(副圖像)進(jìn)行諸如失 真校正之類的校正處理，并且進(jìn)行預(yù)定的圖像處理(例如使圖像模糊或降低亮度和顏色飽 和度)。此外，數(shù)字照相機(jī)11對經(jīng)由主鏡頭31成像的圖像(主圖像)進(jìn)行預(yù)定的圖像處理 (例如降低亮度和顏色飽和度)。例如如圖2所示，數(shù)字照相機(jī)11調(diào)整主圖像和副圖像的 位置和視角，并在設(shè)置在數(shù)字照相機(jī)11的背面上的未示出的顯示單元上顯示其中主圖像 和副圖像已被合成的圖像(合成圖像)。用戶可以通過確認(rèn)未示出的顯示單元上的顯示內(nèi) 容來確認(rèn)成像的視角。圖2所示的合成圖像是以使得經(jīng)過預(yù)定的校正和圖像處理的副圖像(廣角圖像) 和主圖像(標(biāo)準(zhǔn)圖像)中的每個圖像中的被攝體的位置相匹配的方式來合成的。[數(shù)字照相機(jī)的功能配置示例]接下來，參考圖3中的框圖來描述數(shù)字照相機(jī)11的功能配置示例。圖3中的數(shù)字照相機(jī)11由主鏡頭31、副鏡頭32、成像單元51、失真校正單元52、 光軸校正單元53、圖像處理單元54、成像單元55、圖像處理單元56、合成單元57和顯示單 元58構(gòu)成。主鏡頭31和副鏡頭32與參考圖1所描述的主鏡頭31和副鏡頭32相同，因此省 略其說明。成像單元51被配置成包括成像裝置和A/D (模/數(shù))轉(zhuǎn)換器。成像單元51通過 接收來自副鏡頭32的光并進(jìn)行光電轉(zhuǎn)換來對被攝體進(jìn)行成像，并使所獲得的模擬圖像信 號經(jīng)歷A/D轉(zhuǎn)換。成像單元51向失真校正單元52提供作為A/D轉(zhuǎn)換的結(jié)果而獲得的數(shù)字 圖像數(shù)據(jù)(廣角圖像)。失真校正單元52對來自成像單元51的廣角圖像(副圖像)的副鏡頭32的失真進(jìn)行校正，并向光軸校正單元53提供校正后的副圖像。光軸校正單元53使副鏡頭32的光軸與主鏡頭31的光軸相匹配，確定要被合成到 副圖像的主圖像在來自失真校正單元52的副圖像中的位置，并將示出其位置的位置信息 連同副圖像一起提供給圖像處理單元54。圖像處理單元54使來自光軸校正單元53的副圖像經(jīng)歷預(yù)定的圖像處理(諸如畫 面、亮度、顏色濃度、色澤(color shade)、銳度等的調(diào)整)，以比主圖像更多地降低圖像質(zhì) 量，并將此連同位置信息一起提供給合成單元57。 參考圖4至圖6中的框圖來描述三種類型的圖像處理單元54的配置示例。圖4是第一配置示例，并示出了通過其使副圖像經(jīng)歷模糊處理的圖像處理單元54 的配置示例。圖4中的圖像處理單元54由RGB/YUV轉(zhuǎn)換器61、LPF (低通濾波器)62和YUV/RGB 轉(zhuǎn)換器63構(gòu)成。RGB/YUV轉(zhuǎn)換器61基于下面的表達(dá)式(1)而將用作從光軸校正單元53提供的副 圖像的RGB信號轉(zhuǎn)換為YUV信號。[數(shù)學(xué)表達(dá)式1]Y = O. 299R+0. 587G+0. 114BU = -0. 169R-0. 331G+0. 500B ... (1)V = O. 500R-0. 419G-0. 081BRGB/YUV轉(zhuǎn)換器61將轉(zhuǎn)換后的YUV信號中的Y信號(亮度信號)提供給LPF 62， 同時將υ信號和V信號(色差信號)提供給YUV/RGB轉(zhuǎn)換器63。LPF 62對從RGB/YUV轉(zhuǎn)換器61提供的Y信號進(jìn)行平滑處理，由此去除高頻分量， 并提供給YUV/RGB轉(zhuǎn)換器63。YUV/RGB轉(zhuǎn)換器63基于下面的表達(dá)式(2)而將來自LPF 62的Y信號(Y')和來 自RGB/YUV轉(zhuǎn)換器61的U信號和V信號轉(zhuǎn)換為RGB信號。[數(shù)學(xué)表達(dá)式2]R=LOOOY +1. 402VG=L 000Y-0. 344U—0. 714V ... (2)B=L 000Y+1. 772UYUV/RGB轉(zhuǎn)換器63將轉(zhuǎn)換后的RGB信號(R'、G'、B')作為副圖像提供給合成 單元57。利用上述配置，圖像處理單元54可以使副圖像經(jīng)歷模糊處理。圖5是第二配置示例，并示出了用于降低副圖像的顏色飽和度的圖像處理單元54 的配置示例。圖5中的圖像處理單元54由RGB/HSV轉(zhuǎn)換器71、顏色飽和度調(diào)整單元(S調(diào)整單 元)72和HSV/RGB轉(zhuǎn)換器73構(gòu)成。RGB/HSV轉(zhuǎn)換器71基于下面的表達(dá)式(3)而將從光軸校正單元53提供的用作副 圖像的RGB信號轉(zhuǎn)換為HSV信號。[數(shù)學(xué)表達(dá)式3]
在表達(dá)式(3)中，分別地，MAX表示R、G、B中的最大值，MIN表示R、G、B中的最小 值。RGB/HSV轉(zhuǎn)換器71將轉(zhuǎn)換后的HSV信號中的S信號(顏色飽和度信號)提供給S調(diào) 整單元72，同時將H信號(色調(diào)信號)和V信號(明度值信號)提供給HSV/RGB轉(zhuǎn)換單元 73。S調(diào)整單元72將從RGB/HSV轉(zhuǎn)換器71提供的S信號乘以預(yù)定系數(shù)α (0 < α < 1)，并將其提供給HSV/RGB轉(zhuǎn)換器73。HSV/RGB轉(zhuǎn)換器73將來自S調(diào)整單元72的S信號(S ‘ = α S)以及來自RGB/HSV 轉(zhuǎn)換器71的H信號和V信號轉(zhuǎn)換為RGB信號。也就是說，當(dāng)Hi = [H/60]mod 6 ([χ]小于等于χ的最大整數(shù)，A modB -Λ/Β的余 數(shù))、f = (H/60)_Hi、p = V(l_S)、q = V(l_fS)、t = V(l-(l-f) S)時，則基于下面的表達(dá) 式(4)而將HSV信號轉(zhuǎn)換為RGB信號。[數(shù)學(xué)表達(dá)式4]H, = 0=^R = V,G = t,B = pHj = 1 => R 二 q，G = v，B = ρHi = 2 R = P G = V, B = tHi ss3= Rssp,G = q, B = V ... (4)Hi = 4= R = t，G = P，B = VHi = 5 = R = V，G = P，B = qHSV/RGB轉(zhuǎn)換器73將轉(zhuǎn)換后的RGB信號(R'、G'、B')作為副圖像而提供給合 成單元57。利用上述配置，圖像處理單元54可以降低副圖像的顏色飽和度。圖6是第三配置示例，并示出了降低副圖像的明度值的圖像處理單元54的配置示 例。圖6中的圖像處理單元54由RGB/HSV轉(zhuǎn)換器81、明度值調(diào)整單元(V調(diào)整單元)82 和HSV/RGB轉(zhuǎn)換器83構(gòu)成。RGB/HSV轉(zhuǎn)換器81基于上述表達(dá)式(3)而將從光軸校正單元53提供的用作副圖 像的RGB信號轉(zhuǎn)換為HSV信號，并將轉(zhuǎn)換后的HSV信號中的V信號提供給V調(diào)整單元82，同 時將H信號和S信號提供給HSV/RGB轉(zhuǎn)換器83。V調(diào)整單元82將從RGB/HSV轉(zhuǎn)換器81提供的V信號乘以預(yù)定系數(shù)β (0 < β< 1)，并將其提供給HSV/RGB轉(zhuǎn)換器83。HSV/RGB轉(zhuǎn)換器83基于上述表達(dá)式⑷而將來自V調(diào)整單元82的V信號(V'= 3 V)以及來自RGB/HSV轉(zhuǎn)換器81的H信號和S信號轉(zhuǎn)換為RGB信號，并將轉(zhuǎn)換后的RGB信 號(R'、G'、B')作為副圖像而提供給合成單元57。利用上述配置，圖像處理單元54可以降低副圖像的明度值。因此，參考圖4至圖6描述的三種類型的圖像處理單元54可以與這些圖像處理單 元54中的任意一個中的主圖像的圖像質(zhì)量相比更多地降低副圖像的圖像質(zhì)量。返回到對圖3的說明，成像單元55被配置成包括成像裝置和A/D轉(zhuǎn)換器。成像單 元55通過接收來自主鏡頭31的光并進(jìn)行光電轉(zhuǎn)換來對被攝體進(jìn)行成像，并使所獲得的模 擬圖像信號經(jīng)歷A/D轉(zhuǎn)換。成像單元55將作為A/D轉(zhuǎn)換的結(jié)果而獲得的數(shù)字圖像數(shù)據(jù)(標(biāo) 準(zhǔn)圖像)提供給圖像處理單元56。圖像處理單元56使來自成像單元55的主圖像(標(biāo)準(zhǔn)圖像)經(jīng)歷預(yù)定的圖像處理 (諸如畫面、亮度、顏色濃度、色澤、銳度等的調(diào)整)，以與副圖像相比更多地提高圖像質(zhì)量， 并將其提供給合成單元57?，F(xiàn)在將參考圖7至圖9中的框圖來描述三種類型的圖像處理單元56的配置示例。圖7是第一配置示例，并示出了執(zhí)行用于增強(qiáng)主圖像的形狀和輪廓的增強(qiáng)處理的 圖像處理單元56的配置示例。圖7的圖像處理單元56由RGB/YUV轉(zhuǎn)換器91、HPF (高通濾波器)92、放大器93、 加法單元94和YUV/RGB轉(zhuǎn)換器95構(gòu)成。RGB/YUV轉(zhuǎn)換器91基于上述表達(dá)式(1)而將用作來自成像單元55的主圖像的RGB 信號轉(zhuǎn)換為YUV信號，并將轉(zhuǎn)換后的YUV信號中的Y信號提供給HPF 92和加法單元94，同 時將U信號和V信號提供給YUV/RGB轉(zhuǎn)換器95。HPF 92取出從RGB/YUV轉(zhuǎn)換器91提供的Y信號的高頻分量，并將其提供給放大器 93。放大器93將來自HPF 92的Y信號的高頻分量放大A (A> 1)倍，并將其提供給加法單 元94。加法單元94將被放大器93放大后的Y信號的高頻分量與來自RGB/YUV轉(zhuǎn)換器91 的Y信號相加，并將其提供給YUV/RGB轉(zhuǎn)換器95。YUV/RGB轉(zhuǎn)換器95基于上述表達(dá)式(2)而將來自加法單元94的Y信號(Y ‘)以 及來自RGB/YUV轉(zhuǎn)換器91的U信號和V信號轉(zhuǎn)換為RGB信號，并將轉(zhuǎn)換后的RGB信號(R'、 G'、B')作為主圖像而提供給合成單元57。利用上述配置，圖像處理單元56可以使主圖像經(jīng)歷增強(qiáng)處理。圖8是第二配置示例，并示出了用于提高主圖像的飽和度的圖像處理單元56的配 置示例。圖8中的圖像處理單元56由RGB/HSV轉(zhuǎn)換器101、飽和度調(diào)整單元(S調(diào)整單 元)102和HSV/RGB轉(zhuǎn)換器103構(gòu)成。注意，RGB/HSV轉(zhuǎn)換器101和HSV/RGB轉(zhuǎn)換器103具 有與被設(shè)置到圖5中的圖像處理單元54的RGB/HSV轉(zhuǎn)換器71和HSV/RGB轉(zhuǎn)換器73相類 似的功能，因此省略其說明。也就是說，S調(diào)整單元102將從RGB/HSV轉(zhuǎn)換器101提供的S信號乘以預(yù)定系數(shù) a (a彡1)，并將其提供給HSV/RGB轉(zhuǎn)換器103。利用上述配置，圖像處理單元56可以提高主圖像的飽和度。
11
圖9是第三配置示例，并示出了提高副圖像的明度值的圖像處理單元56的配置示 例。圖9中的圖像處理單元56由RGB/HSV轉(zhuǎn)換器111、明度值調(diào)整單元(V調(diào)整單 元)112和HSV/RGB轉(zhuǎn)換器113構(gòu)成。注意，RGB/HSV轉(zhuǎn)換器111和HSV/RGB轉(zhuǎn)換器113具 有與被設(shè)置到圖6中的圖像處理單元54的RGB/HSV轉(zhuǎn)換器81和HSV/RGB轉(zhuǎn)換器83相類 似的功能，因此省略其說明。也就是說，V調(diào)整單元112將從RGB/HSV轉(zhuǎn)換器111提供的V信號乘以預(yù)定系數(shù) 彡1)，并將其提供給HSV/RGB轉(zhuǎn)換器113。利用上述配置，圖像處理單元56可以提高主圖像的明度值。因此，參考圖7至圖9描述的三種類型的圖像處理單元56中的任意一種可以具有 與副圖像的圖像質(zhì)量相比被更多地提高的、其主圖像的圖像質(zhì)量。返回到圖3中的說明，合成單元57基于來自圖像處理單元54的位置信息而將來 自圖像處理單元56的主圖像與來自圖像處理單元54的副圖像相合成，并將已被合成的合 成圖像提供給顯示單元58。顯示單元58顯示來自合成單元57的合成圖像。[數(shù)字照相機(jī)的圖像顯示處理]接下來將參考圖10中的流程圖來描述圖3中的數(shù)字照相機(jī)11的圖像顯示處理。在步驟S11中，失真校正單元52對來自成像單元51的廣角圖像(副圖像)中的 副鏡頭32的失真進(jìn)行校正，并將校正后的副圖像提供給光軸校正單元53。參考圖11和圖12來描述失真校正單元52的失真校正處理。圖11是描述通過失真校正而獲得的預(yù)定尺寸的校正后的圖像中的像素的像素位 置(X，Y)與失真校正之前的副圖像(圓形魚眼圖像)中的像素的像素位置(x，y)的相關(guān)性 的圖。如圖11所示，考慮以圓形魚眼圖像的中心作為xyz坐標(biāo)的原點(diǎn)的、沿著在該圓形 魚眼圖像的直徑上截取的橫截面的具有半徑R的上半球。注意，校正后的圖像在點(diǎn)(0，0， R)處與該上半球相接觸。在將xyz坐標(biāo)的原點(diǎn)和點(diǎn)(X，Y，R)相連接的直線與上半球的球面之間的交點(diǎn)是 (1，7，2)、且^2坐標(biāo)的原點(diǎn)和交點(diǎn)(x，y，z)之間的距離為R的情況下，下面的表達(dá)式(5) 成立。[數(shù)學(xué)表達(dá)式5] 也就是說，失真校正單元52通過以下方式來生成校正后的圖像使在校正之后校 正后的圖像中的點(diǎn)(X，Y)的像素值成為校正之前的對應(yīng)的圓形魚眼圖像中的點(diǎn)(x，y)的像素值。注意，如圖12所示，在與校正之后的校正后的圖像中的點(diǎn)(X，Y)相對應(yīng)的校正之前的圓形魚眼圖像中的點(diǎn)(X，y)不位于像素被布置于的網(wǎng)格點(diǎn)處的情況下，可以將外圍像 素(像素值)a至d插值為在點(diǎn)(x，y)處的像素值。作為插值方法，使用線性插值或雙立 方插值等。在圖12中，在使用雙線性插值的情況下，利用p= (l-t){(l-s)a+sb}+t{(l-s) c+sd}來得到在點(diǎn)(x,y)處的像素值p。返回到圖10中的流程圖，在步驟S12中，光軸校正單元53使副鏡頭32的光軸與 主鏡頭31的光軸相匹配，并確定與副圖像相合成的主圖像在來自失真校正單元52的副圖 像中的位置。光軸校正單元53將表示其位置的位置信息和副圖像提供給圖像處理單元54。現(xiàn)在，參考圖13描述光軸校正單元53的光軸校正處理。圖13是描述主鏡頭31的光軸的坐標(biāo)系(主鏡頭坐標(biāo)系)與副鏡頭32的光軸的 坐標(biāo)系(副鏡頭坐標(biāo)系)之間的關(guān)系的圖。在圖13中，矢量h表示布置在數(shù)字照相機(jī)11上的主鏡頭31和副鏡頭32之間的 x-y平面上的物理布置的差，并且旋轉(zhuǎn)量R表示旋轉(zhuǎn)偏移量，其中主鏡頭31光軸和副鏡頭 32光軸的z軸為基準(zhǔn)。也就是說，副鏡頭坐標(biāo)系中的矢量v' = (x' ,y' ,z')使用主鏡 頭坐標(biāo)系中的矢量v= (x，y，z)，并用v' =Rv+h表示。也就是說，副鏡頭坐標(biāo)系中的矢量 v'是其中矢量v被旋轉(zhuǎn)了旋轉(zhuǎn)量R且矢量h被平行地移動的矢量。光軸校正單元53使用 其關(guān)系，由此使副鏡頭32的光軸(坐標(biāo))與主鏡頭31的光軸(坐標(biāo))相匹配。此外，光軸校正單元53進(jìn)行對以下兩個圖像之間的匹配，由此確定被合成到副圖 像的主圖像的位置來自失真校正單元52的副圖像的中心附近的區(qū)域內(nèi)的圖像、以及與該 區(qū)域相對應(yīng)的來自成像單元55的主圖像。返回到圖10中的流程圖，在步驟S13中，圖像處理單元54對來自光軸校正單元53 的副圖像進(jìn)行預(yù)定圖像處理，以與主圖像相比更多地降低圖像質(zhì)量。更具體地，圖像處理單 元54降低副圖像的亮度、飽和度或者明度值。圖像處理單元54將具有降低的圖像質(zhì)量的 副圖像連同來自光軸校正單元53的位置信息一起提供給合成單元57?，F(xiàn)在，圖像處理單元 54僅提取副圖像的亮度信號，并將黑白圖像(monochrome image)提供給合成單元57。在步驟S14中，圖像處理單元56使來自成像單元55的主圖像經(jīng)歷預(yù)定圖像處理， 以使圖像質(zhì)量提高到高于副圖像的圖像質(zhì)量。更具體地，圖像處理單元56提高主圖像的亮 度、飽和度或者明度值。圖像處理單元56將具有提高的圖像質(zhì)量的主圖像提供給合成單元 57?，F(xiàn)在，圖像處理單元56還可以將具有預(yù)定的顏色和線型的框添加到主圖像的周圍，并 將其提供給合成單元57。在步驟S15中，合成單元57基于來自圖像處理單元54的位置信息而將來自圖像 處理單元56的主圖像和來自圖像處理單元54的副圖像相合成，并將已被合成的合成圖像 提供給顯示單元58。此時，主圖像必須具有比副圖像更小的尺寸，但是這取決于分別被設(shè)置到成像單 元51和成像單元55的成像裝置的尺寸。例如，在分別被設(shè)置到成像單元51和成像單元55的成像裝置的尺寸相同的情況 下，可以生成具有不同范圍的圖像來作為具有相同尺寸的圖像。因此，為了合成主圖像和副 圖像，需要調(diào)整一個圖像或另一圖像的尺寸?，F(xiàn)在，參考圖14來描述在合成單元57的合成處理中對主圖像和副圖像的圖像尺 寸的調(diào)整。
如圖14中的A所示，假設(shè)當(dāng)xyz坐標(biāo)的原點(diǎn)是主鏡頭31的位置時的原點(diǎn)與用于 捕獲主圖像Im的成像單元55的成像裝置之間的距離(z軸方向)是fm。此外，如圖14中的B所示，假設(shè)當(dāng)xyz坐標(biāo)的原點(diǎn)是副鏡頭32的位置時的原點(diǎn)與 用于捕獲副圖像Is的成像單元51的成像裝置之間的距離(z軸方向)是fs。如果考慮特定的被攝體距離Z，則如圖14中的C所示，假設(shè)反映到主圖像Im的成 像單元55的成像裝置的范圍為lm，反映到副圖像Is的成像單元51的范圍為ls。此外，假 設(shè)成像單元51和成像單元55中的每個的成像裝置的尺寸為1。此時，根據(jù)圖14中的C中的關(guān)系，獲得下面的表達(dá)式(6)。[數(shù)學(xué)表達(dá)式6]1m=Z/Fm*1
此外，根據(jù)表達(dá)式(6)中的關(guān)系，通過下面的表達(dá)式(7)得到主圖像Im的尺寸與 副圖像Is的尺寸的比lm/ls。[數(shù)學(xué)表達(dá)式7] 此時，合成單元57通過將主圖像Im的尺寸乘以fs/fm來生成主圖像I' m，并將其 與副圖像13相合成。因此，如圖14中的D所示，生成其中主圖像I' _ 具有小于副圖像Is的尺寸的合 成圖像。注意，不僅在成像單元51和成像單元55的成像裝置的尺寸相同的情況下，而且在 主圖像、和副圖像Is的尺寸的關(guān)系不是如圖14中的D所示的情況下，將主圖像Im的尺寸 乘以預(yù)定的數(shù)字，由此可以調(diào)整主圖像的尺寸。返回到圖10中的流程圖，在步驟S16中，顯示單元58顯示來自合成單元57的合 成圖像。根據(jù)上述處理，顯示例如圖2所示的合成圖像，其中在具有降低的圖像質(zhì)量的廣 角圖像的中心處合成具有期望用于拍攝的視圖角度的標(biāo)準(zhǔn)圖像，由此用戶可以同時地且容 易地確認(rèn)兩個構(gòu)圖的圖像。此外，用戶可以確認(rèn)廣角圖像中的除了期望用于拍攝的視角之外的構(gòu)圖，由此可 以探尋改善的構(gòu)圖。通過上述說明，除了期望用于拍攝的視角之外的圖像已被描述為用來降低該圖像的圖像質(zhì)量且僅對構(gòu)圖進(jìn)行確認(rèn)的配置，但是可以以增強(qiáng)的方式來顯示該除了期望用于拍 攝的視角之外的圖像中包含的對象。<2.第二實(shí)施例〉[數(shù)字照相機(jī)的配置示例]圖15示出了用來顯示除了期望用于拍攝的視角之外的圖像中的對象的數(shù)字照相 機(jī)的配置示例。注意，通過圖15中的數(shù)字照相機(jī)121，利用相同的名稱和附圖標(biāo)記來表示 具有與被設(shè)置到圖3中的數(shù)字照相機(jī)11的功能相同的功能的配置，并且將適當(dāng)?shù)厥÷云湔f 明。也就是說，通過圖15中的數(shù)字照相機(jī)121，與圖3中的數(shù)字照相機(jī)11的不同之處 在于，新設(shè)置了對象檢測單元151和圖像處理單元152，并且設(shè)置了合成單元153來代替合 成單元57。圖15中的光軸校正單元53將表示其中經(jīng)過了光軸校正的副圖像和該副圖像中的 主圖像被合成的位置的位置信息提供給圖像處理單元54，同時將經(jīng)過了光軸校正的副圖像 提供給對象檢測單元151。對象檢測單元151檢測來自光軸校正單元53的副圖像中的對象，并將包括檢測到 的對象的區(qū)域的圖像(檢測到的對象圖像)連同表示副圖像中的位置的位置信息一起提供 給圖像處理單元152。參考圖16和圖17來描述兩種類型的對象檢測單元151的配置示例。圖16示出了對象檢測單元151的第一配置示例。圖16中的對象檢測單元151由幀緩沖器161、幀間差分計算單元162、閾值處理單 元163和標(biāo)記單元164構(gòu)成。幀緩沖器161按照每個幀存儲來自光軸校正單元53的副圖像。幀間差分計算單元162讀出存儲在幀緩沖器161中的一個幀之前的副圖像It_i，并 根據(jù)副圖像和來自光軸校正單元53的當(dāng)前幀的副圖像It而針對各個像素計算作為像 素值差的幀間差分值。幀間差分計算單元162將計算結(jié)果提供給閾值處理單元163。閾值處理單元163基于來自幀間差分計算單元162的幀間差分值而通過以下方式 來進(jìn)行二值化將具有預(yù)定閾值或更大的差分值的像素設(shè)置為1，并將具有小于預(yù)定閾值 的差分值的像素設(shè)置為0。此外，閾值處理單元163將二值化后的圖像劃分為預(yù)定的塊，針 對各個塊對塊內(nèi)的像素值為1的像素進(jìn)行計數(shù)，并基于其計數(shù)檢測具有預(yù)定閾值或更大的 計數(shù)的塊作為運(yùn)動塊。閾值處理單元163將檢測結(jié)果(運(yùn)動塊)提供給標(biāo)記單元164。標(biāo)記單元164基于閾值處理單元163提供的運(yùn)動塊而進(jìn)行標(biāo)記處理。此外，標(biāo)記 單元164檢測從外側(cè)包圍每個標(biāo)記的塊的矩形(外接框)，并將其檢測結(jié)果作為檢測到的對 象圖像而提供給圖像處理單元152。通過上述配置，對象檢測單元151可以檢測副圖像中的具有運(yùn)動的對象。圖17示出了對象檢測單元151的第二配置示例。圖17中的對象檢測單元151由面部檢測單元171構(gòu)成。面部檢測單元171從來自光軸校正單元53的副圖像It中檢測面部，基于作為用 于檢測面部的區(qū)域的面部檢測區(qū)域的位置和尺寸而提取面部圖像，并將其作為檢測到的對 象圖像提供給圖像處理單元152。例如，面部檢測單元171學(xué)習(xí)朝向各個方向的面部的面
15部圖像，將學(xué)習(xí)的面部圖像與和副圖像It中的面部檢測區(qū)域尺寸相同的區(qū)域中的圖像相比 較，并評估這是否是面部，由此檢測面部。通過上述配置，對象檢測單元151可以檢測副圖像中的人的面部。注意，通過上述說明，對象檢測單元151具有用于檢測具有運(yùn)動或人(面部)的對 象的配置，但是對象檢測單元151不限于此，并且可以檢測預(yù)定的對象(車輛、建筑等)。返回到圖15中的說明，圖像處理單元152對來自對象檢測單元151的檢測到的對 象圖像執(zhí)行預(yù)定的圖像處理(對畫面、亮度、顏色濃度、色調(diào)、銳度等的調(diào)整)，以將其圖像 質(zhì)量提高到高于副圖像的圖像質(zhì)量，并將其連同位置信息一起提供給合成單元153?，F(xiàn)在，參考圖18中的框圖來描述圖像處理單元152的配置示例。圖18示出了使檢測到的對象圖像經(jīng)歷增強(qiáng)處理的圖像處理單元152的配置示例。圖18中的圖像處理單元152由RGB/YUV轉(zhuǎn)換器181、HPF 182、放大器183、加法單 元184和YUV/RGB轉(zhuǎn)換器185構(gòu)成。注意，RGB/YUV轉(zhuǎn)換器18UHPF 182、放大器183、加法 單元184和YUV/RGB轉(zhuǎn)換器185具有與被設(shè)置到圖7所示的圖像處理單元56的RGB/YUV 轉(zhuǎn)換器91、HPF 92、放大器93、加法單元94和YUV/RGB轉(zhuǎn)換器95相類似的功能，因此將省 略其說明。通過上述配置，圖像處理單元152可以使檢測到的對象圖像經(jīng)歷增強(qiáng)處理。返回到圖15中的說明，合成單元153基于來自圖像處理單元54的位置信息而將 來自圖像處理單元56的主圖像和來自圖像處理單元54的副圖像相合成。此外，合成單元 153基于來自圖像處理單元152的位置信息而將來自對象檢測單元151的檢測到的對象圖 像合成到與已被合成的合成圖像的副圖像相對應(yīng)的區(qū)域，并將其合成圖像提供給顯示單元 58。[數(shù)字照相機(jī)的圖像顯示處理]接下來，參考圖19中的流程圖來描述圖15中的數(shù)字照相機(jī)121的圖像顯示處理。 注意，圖19中的流程圖中的步驟S31至S33和S36中的處理與參考圖10中的流程圖描述 的步驟S11至S14中的處理相類似，因此省略其說明。也就是說，在步驟S34中，對象檢測單元151進(jìn)行對象檢測處理，以檢測來自光軸 校正單元53的副圖像中的對象。對象檢測單元151將包括檢測到的對象的區(qū)域的圖像(檢 測到的對象圖像)連同表示副圖像中的位置的位置信息一起提供給圖像處理單元152。現(xiàn)在，參考圖20中的流程圖來描述與步驟S34中的對象檢測處理相對應(yīng)的用于檢 測具有運(yùn)動的對象的對象檢測處理的示例。在步驟S51中，幀間差分計算單元162讀出存儲在幀緩沖器161中的作為在先的 一個幀的副圖像Ih，并根據(jù)副圖像IH和來自光軸校正單元53的當(dāng)前幀的副圖像It而針 對各個像素計算幀間差分值。幀間差分計算單元162將計算結(jié)果提供給閾值處理單元163。在步驟S52中，閾值處理單元163基于來自幀間差分計算單元162的幀間差分值 而通過以下方式來進(jìn)行二值化將具有預(yù)定閾值或更大的差分值的像素設(shè)置為1，并將具 有小于預(yù)定閾值的差分值的像素設(shè)置為0。此外，閾值處理單元163將二值化后的圖像劃分 為預(yù)定的塊，針對每個塊對塊內(nèi)的像素值為1的像素進(jìn)行計數(shù)，并基于其計數(shù)而檢測具有 預(yù)定閾值或更大的計數(shù)的塊作為運(yùn)動塊。閾值處理單元163將檢測結(jié)果(運(yùn)動塊)提供給 標(biāo)記單元164。
在步驟S53中，標(biāo)記單元164基于閾值處理單元163提供的運(yùn)動塊而進(jìn)行標(biāo)記處 理。此外，標(biāo)記單元164檢測從外側(cè)包圍每個標(biāo)記的塊的矩形(外接框)，并將其檢測結(jié)果 作為檢測的對象圖像提供給圖像處理單元152。根據(jù)上述處理，可以在副圖像中檢測具有運(yùn)動的對象。此外，可以在步驟S34中的對象檢測處理中檢測人的面部?，F(xiàn)在，參考圖21中的流程圖來描述用于檢測人的面部的對象檢測處理的示例。在步驟S61中，面部檢測單元171從來自光軸校正單元53的副圖像It中檢測面 部，基于作為用于檢測面部的區(qū)域的面部檢測區(qū)域的位置和尺寸而提取面部圖像，并將此 作為檢測到的對象圖像提供給圖像處理單元152。根據(jù)上述處理，可以在副圖像中檢測人的面部。注意，參考圖20和圖21中的流程圖而描述的對象檢測處理可以由具有圖16和圖 17中描述的兩種配置的數(shù)字照相機(jī)121的對象檢測單元151并行地執(zhí)行。返回到圖19中的流程圖，在步驟S35中，圖像處理單元152使來自對象檢測單元 151的檢測到的對象圖像經(jīng)歷預(yù)定的圖像處理，以使圖像質(zhì)量提高到高于副圖像的圖像質(zhì) 量，并將其連同位置信息一起提供給合成單元153。更具體地，圖像處理單元152提高檢測 到的對象圖像的亮度、飽和度或明度值。圖像處理單元152將具有提高的圖像質(zhì)量的檢測 到的對象圖像提供給合成單元153?，F(xiàn)在，圖像處理單元152還可以將具有預(yù)定顏色的框添 加到檢測到的對象圖像的周圍，并將其提供給合成單元153。在步驟S37中，合成單元153基于來自圖像處理單元54的位置信息而將來自圖像 處理單元56的主圖像和來自圖像處理單元54的副圖像相合成。此外，例如圖22所示，合 成單元153基于來自圖像處理單元152的位置信息而將來自對象檢測單元151的檢測到的 對象圖像合成在與已被合成的合成圖像的副圖像相對應(yīng)的區(qū)域中，并將該合成圖像提供給 顯示單元58。圖22示出了其中檢測到的對象圖像已被以增強(qiáng)的方式顯示的合成圖像的示例。在圖22中，除了圖2所示的合成圖像之外，還在與合成圖像的副圖像相對應(yīng)的區(qū) 域中顯示檢測到的對象圖像201和檢測到的對象圖像202。在圖22中，檢測到的對象圖像201是用作具有運(yùn)動的對象的狗的圖像，圖16中的 對象檢測單元151檢測對象(狗)，并且圖像處理單元152提高檢測到的對象圖像201的圖 像質(zhì)量，由此在合成圖像中對其進(jìn)行增強(qiáng)和顯示。此外，檢測到的對象圖像202是人的圖像，圖17中的對象檢測單元151檢測人的 面部，并且圖像處理單元152提高檢測到的對象圖像202的圖像質(zhì)量，由此在合成圖像中對 其進(jìn)行增強(qiáng)和顯示。因此，在合成圖像上以增強(qiáng)的方式顯示其中除了期望用于拍攝的視角(主圖像) 以外的圖像中包含的對象被增強(qiáng)的圖像，由此在執(zhí)行在預(yù)先已固定焦點(diǎn)位置的狀態(tài)下在靜 止圖像中進(jìn)行的所謂的“預(yù)聚焦”拍攝的情況下，即使在主圖像中框出了除了期望的被攝體 之外的對象，也可以在合成圖像上確認(rèn)其對象，由此可以更容易地測量快門定時。 根據(jù)上述處理，在具有降低的圖像質(zhì)量的廣角圖像的中心處合成期望用于拍攝的 視角的標(biāo)準(zhǔn)圖像，同時顯示作為其中已合成了除了期望用于拍攝的視角以外的圖像中包含 的增強(qiáng)的對象的圖像的合成圖像。因此，用戶可以容易地同時確認(rèn)具有兩個構(gòu)圖的圖像，同時確認(rèn)除了期望用于拍攝的圖像角度以外的圖像中包括的對象。注意，通過上述說明，配置為使得僅在副圖像中檢測對象，但是配置還可以在主圖 像中檢測對象。通過這種配置，可以檢測例如在副圖像和主圖像之間顯示的對象，由此例如 可以在副圖像中增強(qiáng)對象并且可以在主圖像中降低圖像質(zhì)量。因此，即使在主圖像中除了 期望用于拍攝的被攝體以外的對象進(jìn)入幀的情況下，也可以使這種對象的顯示更不明顯。通過上述說明，已經(jīng)描述了用于顯示以用戶期望拍攝的視角為中心的合成圖像的 配置，但是還可以以更合適的構(gòu)圖顯示具有要被拍攝的視角的合成圖像。<3.第三實(shí)施例> [數(shù)字照相機(jī)的配置示例]圖23示出了可以以更合適的構(gòu)圖在合成圖像中向用戶顯示拍攝的視角的數(shù)字照 相機(jī)的配置示例。注意，通過圖23中的數(shù)字照相機(jī)221，具有與被設(shè)置到圖15中的數(shù)字照 相機(jī)121的功能相類似的功能的配置將具有相同的名稱和相同的附圖標(biāo)記，因此適當(dāng)?shù)厥?略其說明。也就是說，通過圖23中的數(shù)字照相機(jī)221，與圖15中的數(shù)字照相機(jī)121的不同之 處在于，新設(shè)置了構(gòu)圖分析單元251和推薦構(gòu)圖提取單元252，并且設(shè)置了圖像處理單元 253和合成單元254來代替圖像處理單元152和合成單元153。圖23中的對象檢測單元151在來自光軸校正單元53的副圖像中檢測對象，并將 表示檢測到的對象在副圖像中的位置的位置信息以及該副圖像提供給構(gòu)圖分析單元251。構(gòu)圖分析單元251基于來自對象檢測單元151的副圖像中的對象的位置信息而分 析該副圖像以及與該副圖像中的該對象的位置相對應(yīng)的構(gòu)圖，并進(jìn)行確定。例如，構(gòu)圖分析 單元251預(yù)先存儲多個構(gòu)圖模式，使用模式匹配來從這些構(gòu)圖模式中選擇最接近于副圖像 中的對象的布置的構(gòu)圖模式，并設(shè)置與副圖像相對應(yīng)的構(gòu)圖(推薦的構(gòu)圖)。構(gòu)圖分析單 元251將表示所確定的構(gòu)圖的構(gòu)圖信息(例如，在作為構(gòu)圖的輪廓的矩形的左上方處的位 置和在其右下方的位置)連同副圖像一起提供給推薦構(gòu)圖提取單元252。推薦構(gòu)圖提取單元252基于來自構(gòu)圖分析單元251的副圖像和構(gòu)圖信息而從副圖 像中提取具有推薦的構(gòu)圖的圖像(推薦構(gòu)像)，并將其連同構(gòu)圖信息一起提供給圖像 處理單元253。圖像處理單元253具有與圖像處理單元56相同的功能，并對來自推薦構(gòu)圖提取單 元252的推薦構(gòu)像進(jìn)行預(yù)定的圖像處理(對畫面、明度值、顏色濃度、色調(diào)、銳度等的調(diào) 整)，以將圖像質(zhì)量提高到高于副圖像的圖像質(zhì)量，并將其連同構(gòu)圖信息一起提供給合成單 元 254。合成單元254基于來自圖像處理單元54的位置信息而合成來自圖像處理單元56 的主圖像和來自圖像處理單元54的副圖像。此外，合成單元254基于來自圖像處理單元 253的構(gòu)圖信息而將來自圖像處理單元253的推薦構(gòu)像合成到與已被合成的合成圖像 的副圖像相對應(yīng)的區(qū)域，并將該合成圖像提供給顯示單元58。[數(shù)字照相機(jī)的圖像顯示處理]接下來，參考圖24中的流程圖來描述圖23中的數(shù)字照相機(jī)221的圖像顯示處理。 注意，圖24中的流程圖中的步驟S71至S74和S78中的處理與參考圖10中的流程圖所描 述的步驟S31至S34和S36中的處理相類似，因此省略其說明。
在步驟S75中，構(gòu)圖分析單元251基于來自對象檢測單元151的副圖像和對象在 該副圖像中的位置信息而分析與該副圖像中的該對象的布置相對應(yīng)的構(gòu)圖，并確定推薦構(gòu) 圖。例如，構(gòu)圖分析單元251預(yù)先存儲多個構(gòu)圖模式，使用模式匹配來從這些構(gòu)圖模式中選 擇最接近于副圖像中的對象的布置的構(gòu)圖模式，并將其設(shè)置為與該副圖像相對應(yīng)的推薦構(gòu) 圖。構(gòu)圖分析單元251將表示所確定的構(gòu)圖的構(gòu)圖信息連同該副圖像一起提供給推薦構(gòu)圖 提取單元252。圖25示出了由構(gòu)圖分析單元251確定的推薦構(gòu)圖的示例。圖25所示出的構(gòu)圖是被稱為三分割構(gòu)圖的構(gòu)圖，并且已知為通過具有在垂直線 和水平線的交點(diǎn)處(圖中的實(shí)心圓)的位置之一中的對象(被攝體)而被平衡的圖像(照 片)。注意，由構(gòu)圖分析單元251確定的構(gòu)圖(構(gòu)圖模式)不限于三分割構(gòu)圖，準(zhǔn)備多個類 型，例如用于給出水平方向上的寬度的水平線構(gòu)圖、用于增強(qiáng)垂直方向的垂直線構(gòu)圖、以及 在兩個相同或相類似的項彼此相鄰時使用的對比構(gòu)圖。返回到圖24中的流程圖，在步驟S76中，推薦構(gòu)圖提取單元252基于來自構(gòu)圖分 析單元251的構(gòu)圖信息和副圖像而從副圖像中提取推薦構(gòu)像，并將其連同構(gòu)圖信息一 起提供給圖像處理單元253。
在步驟S77中，圖像處理單元253使來自推薦構(gòu)圖提取單元252的推薦構(gòu)像 經(jīng)歷預(yù)定的圖像處理，以將圖像質(zhì)量提高到高于副圖像的圖像質(zhì)量，并將其連同構(gòu)圖信息 一起提供給合成單元254。現(xiàn)在，圖像處理單元253還可以將具有預(yù)定的顏色和線型的框添 加到推薦構(gòu)像的周圍，并將其提供給合成單元254。在步驟S79中，合成單元254基于來自圖像處理單元54的位置信息而合成來自圖 像處理單元56的主圖像和來自圖像處理單元54的副圖像。此外，例如諸如圖26所示地， 合成單元254基于來自圖像處理單元253的構(gòu)圖信息而將來自圖像處理單元253的推薦構(gòu) 像合成到與已被合成的合成圖像的副圖像相對應(yīng)的區(qū)域，并將該合成圖像提供給顯示 單元58。圖26示出了已顯示了推薦構(gòu)圖的合成圖像的示例。在圖26中，除了圖2所示的合成圖像之外，還以表示推薦構(gòu)圖的輪廓的虛線在其 合成圖像上示出該推薦構(gòu)圖。在上述說明中，推薦構(gòu)圖中的圖像的圖像質(zhì)量高于副圖像的圖像質(zhì)量，但是在主 圖像(當(dāng)前視角)的一部分與推薦構(gòu)圖的一部分重疊的情況下，可能不能將其彼此區(qū)分開。 因此，如圖26所示，推薦構(gòu)圖可以僅簡單地顯示其輪廓(視角)。根據(jù)上述處理，可以在合成圖像上顯示推薦構(gòu)圖。因此，在合成圖像上顯示推薦構(gòu)圖，由此用戶可以確認(rèn)比當(dāng)前用于拍攝(記錄)的 構(gòu)圖更合適的構(gòu)圖。上面已經(jīng)描述了可以顯示更合適的構(gòu)圖的具有兩種成像系統(tǒng)的數(shù)字照相機(jī)，但是 即使在僅具有一個成像系統(tǒng)的數(shù)字照相機(jī)中，也可以顯示更合適的構(gòu)圖?，F(xiàn)在，近來，隨著高清晰度電視接收器已越來越普及，用于對來自諸如數(shù)字照相機(jī) 之類的成像設(shè)備的其縱橫比(水平垂直比)為16 9的圖像進(jìn)行成像、記錄以及在高清晰 度電視接收器上進(jìn)行觀看的需要已增加。因此，具有其縱橫比為4 3(或3 2)的實(shí)體成像裝置(下文中稱為成像裝置)301的例如圖27所示的通用成像設(shè)備可以具有用于對其縱橫比為4 3(或3 2)的 圖像進(jìn)行成像的標(biāo)準(zhǔn)模式以及用于對其縱橫比為16 9的圖像進(jìn)行成像的全景模式。在 標(biāo)準(zhǔn)模式中，使用整個成像裝置301，并對其縱橫比為4 3(或3 2)的圖像進(jìn)行成像、 顯示和記錄。另一方面，在全景模式中，作為對圖27中的具有成像裝置301的上部的區(qū)域 311和下部的區(qū)域312的成像裝置的替代，使用具有矩形區(qū)域313且由此縱橫比為16 9 的成像裝置，并對其縱橫比為16 9的圖像進(jìn)行成像、顯示和記錄。通過如上所述的成像設(shè)備，用于顯示所謂的完全圖像(throughimage)的顯示單 元的顯示區(qū)域被配置為顯示與圖27中的整個成像裝置301相對應(yīng)的圖像。因此，在用戶以 全景模式對被攝體進(jìn)行成像的情況下，其中在顯示單元上顯示完全圖像的顯示區(qū)域成為與 圖27中的整個成像裝置301的矩形區(qū)域313相對應(yīng)的區(qū)域。
因此，在下文中將描述僅具有一個成像系統(tǒng)的數(shù)字照相機(jī)，其中在例如如上所述 的成像設(shè)備中以全景模式顯示比用戶試圖拍攝的構(gòu)圖更為合適的構(gòu)圖。<4.第四實(shí)施例〉[數(shù)字照相機(jī)的功能配置示例]圖28示出了僅具有一個成像系統(tǒng)的數(shù)字照相機(jī)的配置示例。圖28中的數(shù)字照相機(jī)411由鏡頭431、成像單元432、圖像處理單元433、裁切單 元434、提取單元435、合成單元436、顯示控制單元437、顯示單元438、操作輸入單元439、 記錄控制單元440和記錄單元441構(gòu)成。鏡頭431是與圖1中的數(shù)字照相機(jī)的主鏡頭31相類似的所謂的標(biāo)準(zhǔn)鏡頭。成像單元432被配置為例如包括諸如CXD (電荷耦合器件)等的其縱橫比為4 3 的成像裝置和A/D轉(zhuǎn)換器。成像單元432通過接收來自鏡頭431的光并進(jìn)行光電轉(zhuǎn)換來對 被攝體進(jìn)行成像，并使獲得的模擬圖像信號經(jīng)歷A/D轉(zhuǎn)換。成像單元432將作為A/D轉(zhuǎn)換 的結(jié)果而獲得的數(shù)字圖像數(shù)據(jù)(下文中稱為成像圖像)提供給圖像處理單元433。圖像處理單元433使來自成像單元432的成像圖像經(jīng)歷預(yù)定的圖像處理。在圖像 處理單元433的成像模式是對其縱橫比為4 3的圖像進(jìn)行成像的標(biāo)準(zhǔn)模式的情況下，將 經(jīng)過圖像處理的成像圖像提供給顯示控制單元437和記錄控制單元440。此外，在圖像處理 單元433的成像模式是對其縱橫比為16 9的圖像進(jìn)行成像的全景模式的情況下，將經(jīng)過 圖像處理的成像圖像提供給裁切單元434和提取單元435。對于已從圖像處理單元433提供的成像圖像，裁切單元434從其成像圖像中裁切 出在尺寸上與該成像圖像不相同的其縱橫比為16 9的圖像。裁切單元434根據(jù)需要將 裁切出的圖像(裁切圖像)提供給合成單元436、顯示控制單元437或記錄控制單元440。對于已從圖像處理單元433提供的成像圖像，提取單元435在包括其被攝體的其 成像圖像中檢測具有高關(guān)注度的被攝體，并提取具有與包括該被攝體的成像圖像的尺寸不 相同的其縱橫比為16 9的區(qū)域的圖像。提取單元435根據(jù)需要將所提取的圖像提供給 合成單元436或記錄控制單元440。合成單元436合成來自裁切單元434的裁切圖像和來自提取單元435的提取的圖 像，并將已被合成的合成圖像提供給顯示控制單元437。顯示控制單元437控制顯示單元438，并在顯示單元438中顯示各種類型的圖像。 例如，在成像模式處于標(biāo)準(zhǔn)模式的情況下，顯示控制單元437在顯示單元438上顯示從圖像處理單元433提供的成像圖像。此外，在成像模式處于全景模式的情況下，顯示控制單元 437在顯示單元438上顯示從裁切單元434提供的裁切圖像或從合成單元436提供的合成 圖像。顯示單元438在顯示控制單元437的控制下適當(dāng)?shù)仫@示各種類型的圖像。 用戶對操作輸入單元439進(jìn)行操作，以輸入對數(shù)字照相機(jī)411的指令。操作輸入 單元439例如由各種類型的操作按鈕、遠(yuǎn)程控制、觸摸面板、麥克風(fēng)等構(gòu)成，并且接收來自 用戶的操作并將表示這種操作內(nèi)容的信號(信息)提供給數(shù)字照相機(jī)411的各個模塊。記錄控制單元440控制記錄單元441。例如，在記錄控制單元440的成像模式處 于標(biāo)準(zhǔn)模式的情況下，基于來自操作輸入單元439的信號而在記錄單元441中記錄來自圖 像處理單元433的成像圖像。此外，在記錄控制單元440的成像模式處于全景模式的情況 下，基于來自操作輸入單元439的信號而在記錄單元441中記錄來自裁切單元434的裁切 圖像和來自提取單元435的提取的圖像。此外，記錄控制單元440基于來自操作輸入單元 439的信號而從記錄單元441中讀出圖像，然后將其提供給顯示控制單元437。記錄單元441在記錄控制單元440的控制下在適當(dāng)時記錄各種類型的圖像。[數(shù)字照相機(jī)的圖像顯示處理]接下來，參考圖29中的流程圖來描述圖28中的數(shù)字照相機(jī)411的圖像顯示處理。 注意，在操作輸入單元439接收到來自用戶的表示全景模式被選擇作為成像模式的操作的 情況下，開始圖29中的圖像顯示處理。在步驟Slll中，成像單元432對被攝體進(jìn)行成像。更具體地，成像單元432通過 接收來自鏡頭431的光并進(jìn)行光電轉(zhuǎn)換來對被攝體進(jìn)行成像，使獲得的模擬圖像信號經(jīng)歷 A/D轉(zhuǎn)換，并將獲得的成像圖像提供給圖像處理單元433。在步驟Sl 12中，圖像處理單元433對來自成像單元432的成像圖像進(jìn)行諸如去馬 賽克(demosaic)處理、白平衡調(diào)整處理、伽馬校正處理等的圖像處理，并將其提供給裁切 單元434和提取單元435。在步驟S113中，裁切單元434從提供自圖像處理單元433的成像圖像中裁切出其 縱橫比為16 9的圖像，并將作為其結(jié)果而獲得的裁切圖像提供給合成單元436。更具體 地，裁切單元434裁切出來自圖像處理單元433的其縱橫比為4 3的成像圖像中的與圖 27中描述的成像裝置301中的矩形區(qū)域313相對應(yīng)的部分的圖像。例如，如圖30中的左側(cè)所示，在獲得了其中被攝體為貓的成像圖像511 (縱橫比為 4 3)的情況下，裁切單元434裁切出成像圖像511中的用點(diǎn)劃線示出的區(qū)域的圖像，并 獲得圖30中的右側(cè)所示的裁切圖像512。如圖30所示，在其縱橫比為16 9的裁切圖像 512中，用作被攝體的貓位于最上部，并且切掉了包括耳朵的頭部的部分。對于要被以全景 模式拍攝和顯示的圖像來說，不能說裁切圖像512是具有良好構(gòu)圖的圖像。如上所述，利用具有其縱橫比為4 3的成像裝置的傳統(tǒng)的數(shù)字照相機(jī)，在用戶以 全景模式對被攝體進(jìn)行成像的情況下，在顯示單元上顯示的圖像成為與由整個成像裝置成 像的成像圖像511相關(guān)的、用圖30中的點(diǎn)劃線示出的區(qū)域中的圖像。在不習(xí)慣這種操作的 用戶以全景模式使用這種數(shù)字照相機(jī)的情況下，顯示單元可以顯示并記錄例如圖30中的 裁切圖像512中的圖像。返回到圖29中的流程圖，在步驟Sl 14中，提取單元435在從圖像處理單元433提供的成像圖像中檢測具有高關(guān)注度的被攝體。提取單元435提取包括其被攝體的其縱橫比 為16 9的區(qū)域的圖像，并將作為其結(jié)果而獲得的提取的圖像提供給合成單元436。更具體地，提取單元435針對成像圖像的每個區(qū)域而生成表示與亮度相關(guān)的信息 的亮度信息圖、表示與顏色相關(guān)的信息的顏色信息圖、表示與邊緣相關(guān)的信息的邊緣信息 圖、以及表示與運(yùn)動相關(guān)的信息的運(yùn)動信息圖?，F(xiàn)在，在不必單獨(dú)區(qū)分亮度信息圖至運(yùn)動信息圖中的每個而將這些簡單地稱為信 息圖的情況下，包含在這些信息圖中的信息是表示與包括被攝體的區(qū)域中相比更多的包括 的特征的特征量的信息。該信息圖成為其中信息與成像圖像的每個區(qū)域相關(guān)且被排列的信 息圖。也就是說，信息圖是表示成像圖像的每個區(qū)域中的特征量的信息。因此，各個信息圖中的具有更多信息量的區(qū)域(即，成像圖像上的與具有更多特 征量的區(qū)域相對應(yīng)的區(qū)域)成為更有可能包括被攝體的區(qū)域，并且可以通過每個信息圖來 識別成像圖像中的包括被攝體的區(qū)域。提取單元435基于亮度信息圖、顏色信息圖、邊緣信息圖、和運(yùn)動信息圖來識別成 像圖像中的包括被攝體的其縱橫比為16 9的區(qū)域，并提取該區(qū)域中的圖像作為提取的圖像。例如，如圖31中的左側(cè)所示，在獲得成像圖像511(縱橫比為4 3)的情況下，提 取單元435在成像圖像511中檢測到用作被攝體的貓作為具有高關(guān)注度的對象，提取用虛 線表示的區(qū)域的圖像(縱橫比16 9)以包括被攝體，并獲得圖31的右側(cè)所示的提取圖像 513。如圖31所示，用作被攝體的貓大致位于其縱橫比為16 9的提取的圖像513的中心 處。提取的圖像513是作為要被以全景模式拍攝和顯示的圖像的、具有良好構(gòu)圖的圖像。注意，例如在“Laurent Itti、Christof Koch 和 Ernst Niebur 的“AModel of Saliency-Based Visual Attention for Rapid Scene Analysis””中詳細(xì)公開了用于從成 像圖像中提取諸如亮度、顏色和邊緣之類的信息的方法。返回到圖29中的流程圖，在步驟Sl 15中，合成單元436合成來自裁切單元434的 裁切圖像和來自提取單元435的提取的圖像，使得被攝體的位置相匹配，并將已被合成的 合成圖像提供給顯示控制單元437。 在步驟Sl 16中，顯示控制單元437在顯示單元438上顯示從合成單元436提供的 合成圖像。圖32示出了在顯示單元438上顯示的合成圖像的示例。 在圖32中，數(shù)字照相機(jī)411的顯示單元438的顯示區(qū)域具有4 3的縱橫比。在 全景模式下，顯示控制單元437在顯示單元438的顯示區(qū)域的上部區(qū)域和下部區(qū)域中顯示 黑色圖像(所謂的黑帶)，由此形成縱橫比為16 9的顯示區(qū)域。如圖32所示，顯示控制單元437在顯示單元438的縱橫比為16 9的顯示區(qū)域 上顯示與合成圖像的裁切圖像相對應(yīng)的部分。此外，顯示控制單元437顯示在圖中由虛線 示出的框，以在顯示單元438上增強(qiáng)合成圖像中的與提取的圖像相對應(yīng)的部分。此時，落入 顯示單元438的顯示區(qū)域的黑帶(上部)中的合成圖像中的與提取的圖像相對應(yīng)的部分中 的一部分被顯示為具有低亮度的合成圖像。注意，可以顯示在顯示單元438上顯示的提取 的圖像，以如同圖32中那樣地用框來增強(qiáng)，并使得用戶可以確認(rèn)提取的圖像的顯示范圍。根據(jù)上述處理，可以一起顯示具有用戶試圖以僅具有一個成像系統(tǒng)的數(shù)字照相機(jī)的全景模式來拍攝的構(gòu)圖的圖像以及具有其中關(guān)注度高的被攝體位于中心處的構(gòu)圖的圖 像，由此用戶可以確認(rèn)與用戶試圖拍攝(記錄)的構(gòu)圖相比更合適的構(gòu)圖。注意，通過上述處理，在顯示單元438上一起顯示裁切圖像和提取的圖像，但是可 以一起顯示成像圖像和提取的圖像，并且在落入顯示單元438的顯示區(qū)域的黑帶中的部分 中亮度被降低。上面已經(jīng)描述了用于一起顯示具有用戶試圖以全景模式拍攝的構(gòu)圖的圖像和具 有其中關(guān)注度高的被攝體位于中心處的構(gòu)圖的圖像的處理，但是還可以記錄具有用戶試圖 以全景模式拍攝的構(gòu)圖的圖像和具有其中關(guān)注度高的被攝體位于中心處的構(gòu)圖的圖像。[數(shù)字照相機(jī)的圖像記錄處理]現(xiàn)在，參考圖33中的流程圖來描述圖28中的數(shù)字照相機(jī)411的圖像記錄處理。 注意，在操作輸入單元439從用戶接收到表示全景模式被選擇作為成像模式的操作的情況 下，開始圖33中的圖像記錄處理。注意，除了在步驟S213中將裁切圖像提供給顯示控制單元437和記錄控制單元 440的點(diǎn) 、以及在步驟S214中將提取的圖像提供給記錄控制單元440的點(diǎn)之外，圖33中的 流程圖中的步驟S211至S214中的處理基本上與圖29中的流程圖中的步驟Slll至S114 中的處理相同，因此省略其說明。在步驟S215中，顯示控制單元437在顯示單元438上顯示從裁切單元434提供的 裁切圖像。更具體地，如圖32所示，顯示控制單元437在顯示單元438的具有縱橫比16 9 的顯示區(qū)域上顯示該裁切圖像。此時，在顯示單元438的顯示區(qū)域中，在上部的區(qū)域和下部 的區(qū)域中顯示黑帶。在步驟S216中，記錄控制單元440確定是否已按下了用作操作輸入單元439的快 門按鈕。在在步驟S216中確定尚未按下快門按鈕的情況下，處理返回到步驟S211，并重復(fù) 隨后的處理。另一方面，在在步驟S216中確定已按下了快門按鈕的情況下，即，在將來自操作 輸入單元440的表示快門按鈕已被按下的信號提供給記錄控制單元440的情況下，處理前 進(jìn)到步驟S217。在步驟S217中，記錄控制單元440基于來自操作輸入單元440的信號而將來自裁 切單元434的裁切圖像和來自提取單元435的提取的圖像記錄在記錄單元441中。例如， 將用圖30描述的裁切圖像512和用圖31描述的提取的圖像513記錄在記錄單元441中。通過傳統(tǒng)的數(shù)字照相機(jī)，在諸如圖30中描述的裁切圖像512之類的圖像是具有不 熟悉拍攝的用戶試圖以全景模式拍攝的構(gòu)圖的圖像的情況下，要記錄的圖像也成為例如用 圖30描述的裁切圖像513中所示的圖像。在這種情況下，不能生成在記錄的圖像中不包括 的被攝體的部分(丟失的部分)，并且不能獲得具有更好的構(gòu)圖的圖像。根據(jù)上述處理，可以以全景模式記錄裁切圖像和提取的圖像，因此拍攝了具有用 戶不習(xí)慣拍攝的構(gòu)圖的圖像，并且可以記錄具有與拍攝的構(gòu)圖相比更適合于用戶的構(gòu)圖的 圖像。此外，記錄具有用戶已拍攝的構(gòu)圖的圖像和具有與用戶拍攝的構(gòu)圖相比更合適的 構(gòu)圖的圖像，由此用戶可以比較兩個圖像，這可以有助于用戶改進(jìn)拍攝技術(shù)。
在上述處理中，裁切圖像和提取的圖像均被記錄在記錄單元441中，但是可以在 記錄單元441中記錄其中合成了用圖29中的流程圖描述的裁切圖像和提取的圖像的合成 圖像。圖34示出了記錄在記錄單元441中的合成圖像的示例。在圖34中的合成圖像601中，用點(diǎn)劃線示出的部分對應(yīng)于裁切圖像，用虛線示出 的部分對應(yīng)于提取的圖像?，F(xiàn)在，考慮被劃分為三個區(qū)域611至613的合成圖像601。此 時，區(qū)域611是不存在于裁切圖像中但存在于提取的圖像中的部分，區(qū)域612是存在于裁切 圖像和提取的圖像兩者中的部分，區(qū)域613是存在于裁切圖像中但不存在于提取的圖像中 的部分。
在通過用戶操作從操作輸入單元439提供表示用于播放(顯示)裁切圖像的指令 的信號的情況下，記錄控制單元440讀出合成圖像601中的區(qū)域612和613，并將這些區(qū)域 提供給顯示控制單元437。此外，在由于用戶操作而從操作輸入單元439提供表示用于播放 提取的圖像的指令的信號的情況下，記錄控制單元440讀出合成圖像601中的區(qū)域611和 612，并將這些區(qū)域提供給顯示控制單元437。因此，在考慮播放(顯示)裁切圖像和提取的圖像中的每個圖像的情況下，即使 不在記錄單元441中記錄裁切圖像和提取的圖像中的每個圖像，也僅必須記錄一個合成圖 像，由此可以減少記錄單元441中的記錄量。注意，在不生成合成圖像601的情況下，可以一起記錄與區(qū)域611相對應(yīng)的圖像和 裁切圖像，并且可以一起記錄與區(qū)域613相對應(yīng)的圖像和提取的圖像。此外，通過上述處理，在已操作了用作操作輸入單元439的快門按鈕時記錄提取 的圖像，但是例如可以在提取的圖像的構(gòu)圖與預(yù)先準(zhǔn)備的諸如三分割構(gòu)圖、水平線構(gòu)圖或 放射線構(gòu)圖之類的構(gòu)圖模式相匹配時記錄提取的圖像。因此，即使用戶不操作快門按鈕，也可以記錄具有更好的構(gòu)圖的圖像。此外，通過上述處理，圖像處理單元433對從成像單元432的所有成像裝置獲得的 圖像數(shù)據(jù)執(zhí)行預(yù)定的圖像處理，但是可以對從與圖27中的成像裝置301的區(qū)域313相對 應(yīng)的成像裝置獲得的圖像數(shù)據(jù)進(jìn)行圖像處理，直到用作操作輸入單元439的快門按鈕被操 作，并且在該快門按鈕已被操作時可以對從所有成像裝置獲得的圖像數(shù)據(jù)進(jìn)行圖像處理。因此，可以減少直到快門按鈕被操作為止的圖像處理單元433的處理負(fù)荷?？梢允褂糜布?zhí)行上述的系列處理，或者可以使用軟件執(zhí)行上述的系列處理。在 使用軟件執(zhí)行該系列處理的情況下，例如通過安裝各種類型的程序而將構(gòu)成軟件的程序從 程序記錄介質(zhì)安裝到內(nèi)置有專用硬件的計算機(jī)中，或者安裝到可以執(zhí)行各種類型的功能的 通用個人計算機(jī)等中。圖XX是示出使用程序執(zhí)行上述的系列處理的計算機(jī)硬件的配置示例的框圖。在該計算機(jī)中，CPU (中央處理單元)901、ROM (只讀存儲器)902和RAM(隨機(jī)存取 存儲器)903通過總線904而相互連接?？偩€904還具有連接到總線904的輸入/輸出接口 905。輸入/輸出接口 905具 有連接到輸入/輸出接口 905的由鍵盤、鼠標(biāo)、麥克風(fēng)等構(gòu)成的輸入單元906，由顯示器、 揚(yáng)聲器等構(gòu)成的輸出單元907，由硬盤或非易失性存儲器等構(gòu)成的存儲單元908，由網(wǎng)絡(luò)接 口等構(gòu)成的通信單元909，以及用于驅(qū)動諸如磁盤、光盤、磁光盤或半導(dǎo)體存儲器等的可拆卸介質(zhì)911的驅(qū)動910。通過如上配置的計算機(jī)，例如，CPU 901經(jīng)由輸入/輸出接口 905和總線904將存 儲在存儲單元908中的程序加載到RAM 903中并執(zhí)行該程序，由此執(zhí)行上述的系列處理。計算機(jī)(CPU 901)所執(zhí)行的程序被記錄在可拆卸介質(zhì)911上，其中可拆卸介質(zhì)911 是由例如磁盤(包括軟盤)、光盤(⑶_R0M(壓縮盤-只讀存儲器)、DVD(數(shù)字通用盤)等)、 磁光盤、半導(dǎo)體存儲器等構(gòu)成的封裝介質(zhì)，或者替代性地，計算機(jī)(CPU 901)所執(zhí)行的程序 被經(jīng)由諸如局域網(wǎng)、因特網(wǎng)或數(shù)字衛(wèi)星廣播之類的有線傳輸介質(zhì)或無線傳輸介質(zhì)來提供。該程序可以被通過安裝在驅(qū)動910上的可拆卸介質(zhì)911而經(jīng)由輸入/輸出接口 905安裝在存儲單元908中。此外，該程序可以被經(jīng)由有線傳輸介質(zhì)或無線傳輸介質(zhì)使用通 信單元909而接收來被安裝在存儲單元908上。替代性地，該程序可以被預(yù)先安裝在ROM 902或存儲單元908中。注意，計算機(jī)所執(zhí)行的程序可以是其中沿著在本說明書中描述的順序以時序方式 執(zhí)行處理的程序，或者可以是其中并行地或在諸如被調(diào)用時等的必要的時間執(zhí)行處理的程序。此外，本實(shí)施方式的實(shí)施例不限于上述實(shí)施例，并且在不脫離本發(fā)明的實(shí)質(zhì)的情 況下可以進(jìn)行各種變型。附圖標(biāo)記說明11數(shù)字照相機(jī)、31主鏡頭、32副鏡頭、51成像單元、52失真校正單元、53光軸校正 單元、54圖像處理單元、55成像單元、56圖像處理單元、57合成單元、58顯示單元、121數(shù)字 照相機(jī)、151對象檢測單元、152圖像處理單元、153合成單元、221數(shù)字照相機(jī)、251構(gòu)圖分析 單元、252推薦構(gòu)圖提取單元、253圖像處理單元、254合成單元。
權(quán)利要求
一種成像設(shè)備，包括合成裝置，用于對作為成像的被攝體的第一圖像和具有與所述第一圖像不相同的成像范圍的第二圖像進(jìn)行合成，以使所述被攝體的位置相匹配；以及顯示裝置，用于顯示已由所述合成裝置合成了的所述第一圖像和所述第二圖像。
2.根據(jù)權(quán)利要求1所述的成像設(shè)備，還包括成像裝置，用于接收來自光學(xué)系統(tǒng)的光并對所述被攝體的所述第一圖像進(jìn)行成像；以及提取裝置，用于從所述第一圖像中提取作為具有與所述第一圖像不相同的尺寸的圖像 并且包括具有高關(guān)注度的所述被攝體的第二圖像， 其中所述合成裝置合成由所述提取裝置提取的所述第二圖像，使得所述被攝體的位置 與所述第一圖像相匹配，以及其中所述顯示裝置在能夠整個顯示所述第一圖像的顯示區(qū)域中的與所述第二圖像具 有相同的尺寸的預(yù)定區(qū)域中，顯示對應(yīng)部分的所述第一圖像，并顯示已被與所述第一圖像 相合成的所述第二圖像。
3.根據(jù)權(quán)利要求2所述的成像設(shè)備，其中所述顯示裝置在所述顯示區(qū)域中以增強(qiáng)的方 式顯示所述第二圖像。
4.根據(jù)權(quán)利要求2所述的成像設(shè)備，其中所述顯示區(qū)域是當(dāng)所述成像模式是對縱橫比 為4 3的圖像進(jìn)行成像的標(biāo)準(zhǔn)模式時在其中顯示整個所述第一圖像的區(qū)域；以及其中所述顯示區(qū)域中的所述預(yù)定區(qū)域是當(dāng)所述成像模式是對縱橫比為16 9的圖像 進(jìn)行成像的全景模式時在其中顯示所述第一圖像的部分的區(qū)域。
5.根據(jù)權(quán)利要求2所述的成像設(shè)備，還包括裁切裝置，用于裁切所述預(yù)定區(qū)域的所述第一圖像；以及記錄裝置，用于記錄已被所述裁切裝置裁切的所述第一圖像和已被所述提取裝置提取 的所述第二圖像。
6.根據(jù)權(quán)利要求5所述的成像設(shè)備，其中所述合成裝置對已被所述裁切裝置裁切的所 述第一圖像和已被所述提取裝置提取的所述第二圖像進(jìn)行合成，以及其中所述記錄裝置記錄已被所述合成裝置合成的所述第一圖像和所述第二圖像。
7.根據(jù)權(quán)利要求1所述的成像設(shè)備，還包括第一成像裝置，用于接收來自第一光學(xué)系統(tǒng)的光，并對所述被攝體的所述第一圖像進(jìn) 行成像；第二成像裝置，用于接收來自第二光學(xué)系統(tǒng)的光，并對具有與所述被攝體的所述第一 圖像不相同的視角的第二圖像進(jìn)行成像；以及第一圖像質(zhì)量調(diào)整裝置，用于調(diào)整所述第二圖像的圖像質(zhì)量，以使所述第二圖像的圖 像質(zhì)量與所述第一圖像的圖像質(zhì)量不相同；其中所述合成裝置合成所述第一圖像，使得所述被攝體的位置與已被所述第一圖像質(zhì) 量調(diào)整裝置調(diào)整了圖像質(zhì)量的所述第二圖像相匹配。
8.根據(jù)權(quán)利要求7所述的成像設(shè)備，還包括對象檢測裝置，用于檢測所述第二圖像中的對象；以及第二圖像質(zhì)量調(diào)整裝置，用于調(diào)整已被所述對象檢測裝置檢測到的所述第二圖像中的所述對象的區(qū)域的圖像質(zhì)量，以使所述對象的區(qū)域的圖像質(zhì)量與所述第二圖像的圖像質(zhì)量 不相同，其中，所述合成裝置對所述第一圖像和已被所述第二圖像質(zhì)量調(diào)整裝置調(diào)整了圖像質(zhì) 量的所述第二圖像中的所述對象的所述區(qū)域中的對象圖像進(jìn)行合成，使得所述被攝體的位 置與所述第二圖像相匹配。
9.根據(jù)權(quán)利要求8所述的成像設(shè)備，其中所述對象檢測裝置檢測所述第二圖像中的具 有運(yùn)動的所述對象。
10.根據(jù)權(quán)利要求8所述的成像設(shè)備，其中所述對象檢測裝置檢測所述第二圖像中的 人的面部。
11.根據(jù)權(quán)利要求7所述的成像設(shè)備，還包括構(gòu)圖分析裝置，用于分析所述第二圖像的構(gòu)圖；以及構(gòu)圖提取裝置，用于基于所述構(gòu)圖分析裝置所分析的所述構(gòu)圖而從所述第二圖像中提 取具有與所述第一圖像的視角不相同的視角的構(gòu)圖；其中所述合成裝置對所述第一圖像和具有由所述構(gòu)圖提取裝置提取的所述構(gòu)圖的提 取的圖像進(jìn)行合成，使得所述被攝體的位置與所述第二圖像相匹配。
12.根據(jù)權(quán)利要求7所述的成像設(shè)備，其中所述第二成像裝置接收來自所述第二光學(xué) 系統(tǒng)的光，并對具有與所述第一圖像相比更寬的所述被攝體的視角的所述第二圖像進(jìn)行成 像。
13.根據(jù)權(quán)利要求7所述的成像設(shè)備，還包括失真校正裝置，用于校正所述第二圖像的失真；以及光軸校正裝置，用于使所述第二光學(xué)系統(tǒng)的光軸與所述第一光學(xué)系統(tǒng)的光軸相匹配， 并確定所述第一圖像被合成到所述第二圖像的位置。
14.根據(jù)權(quán)利要求7所述的成像設(shè)備，其中所述第一圖像質(zhì)量調(diào)整裝置調(diào)整所述第二 圖像的顏色信號的水平，以使所述第二圖像的顏色信號的水平低于所述第一圖像的顏色信 號的水平。
15.根據(jù)權(quán)利要求7所述的成像設(shè)備，還包括第二圖像質(zhì)量調(diào)整裝置，用于調(diào)整所述第一圖像的圖像質(zhì)量，以使所述第一圖像的圖 像質(zhì)量與所述第二圖像的圖像質(zhì)量不相同。
16.根據(jù)權(quán)利要求15所述的成像設(shè)備，其中所述第二圖像質(zhì)量調(diào)整裝置調(diào)整所述第一 圖像的顏色信號的水平，以使所述第一圖像的顏色信號的水平大于所述第二圖像的顏色信 號的水平。
17.一種成像方法，包括合成步驟，用于對作為成像的被攝體的第一圖像和具有與所述第一圖像不相同的成像 范圍的第二圖像進(jìn)行合成；以及顯示步驟，用于顯示通過所述合成步驟的處理而已被合成了的所述第一圖像和所述第二圖像。
18.—種程序，用于使計算機(jī)執(zhí)行處理，所述處理包括合成步驟，用于對作為成像的被攝體的第一圖像和具有與所述第一圖像不相同的成像 范圍的第二圖像進(jìn)行合成；以及顯示步驟， 用于顯示通過所述合成步驟的處理而已被合成了的所述第一圖像和所述第二圖像。
全文摘要
本發(fā)明涉及通過其可以更容易地確認(rèn)構(gòu)圖的成像設(shè)備和方法以及程序。成像單元432接收來自鏡頭431的光并對成像圖像進(jìn)行成像；提取單元435提取作為具有與成像圖像不相同的尺寸的圖像的、且包括關(guān)注度高的被攝體的提取的圖像；合成單元436合成所提取的圖像，使得被攝體的位置與成像圖像相匹配；并且顯示單元438在可以顯示整個成像圖像的顯示區(qū)域中，顯示與具有和提取的圖像相同的尺寸的預(yù)定區(qū)域相對應(yīng)的部分的成像圖像，并顯示已被與成像圖像相合成的提取的圖像。本發(fā)明例如可以應(yīng)用于數(shù)字照相機(jī)。
文檔編號H04N5/225GK101843092SQ200980100878
公開日2010年9月22日 申請日期2009年9月8日 優(yōu)先權(quán)日2008年9月8日
發(fā)明者中村雄介, 五味信一郎, 增野智經(jīng), 大木光晴, 鈴木優(yōu) 申請人:索尼公司