專利名稱：圖像處理裝置及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理裝置及圖像處理方法。
背景技術(shù)：
以往，提出有以下技術(shù)的方案將拍攝了同一場景的曝光量不同的多張圖像合成， 而獲得擴(kuò)大了動(dòng)態(tài)范圍的灰度幅度大的合成圖像(高對比度圖像)(例如專利文獻(xiàn)1 JP特 開 2002-305684 號公報(bào))。

但是，在現(xiàn)有技術(shù)中，在合成對象的圖像中包含具有亮度變化平滑的結(jié)構(gòu)的部分 或包含具有因噪聲等而突出的值(像素值)的像素時(shí)，無法獲得畫質(zhì)良好的高對比度圖像。 具體地說，在合成后的高對比度圖像中，會(huì)產(chǎn)生灰度跳動(dòng)、噪聲成分殘留或者噪聲成分被增 強(qiáng)。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種能夠獲得良好畫質(zhì)的高對比度圖像的圖像處理裝置 及圖像處理方法。本發(fā)明的圖像處理裝置，將拍攝了同一場景的曝光量不同的多張圖像合成而生成 擴(kuò)大了動(dòng)態(tài)范圍的灰度幅度大的合成圖像(高對比度圖像)，其包括選定機(jī)構(gòu)，根據(jù)上述 多張圖像的亮度成分的信息，選定基準(zhǔn)圖像；增益計(jì)算機(jī)構(gòu)，根據(jù)上述多張圖像的亮度成分 的信息，計(jì)算上述多張圖像中除了上述基準(zhǔn)圖像以外的其他圖像相對于上述基準(zhǔn)圖像的亮 度比率，并作為上述其他圖像的增益；權(quán)重計(jì)算機(jī)構(gòu)，根據(jù)計(jì)算出的上述增益和上述基準(zhǔn)圖 像的亮度成分的信息，計(jì)算對上述其他圖像應(yīng)用的權(quán)重；和生成機(jī)構(gòu)，使用計(jì)算出的上述權(quán) 重進(jìn)行上述基準(zhǔn)圖像和上述其他圖像的加權(quán)合成處理，從而生成上述高對比度圖像。此外優(yōu)選，選定機(jī)構(gòu)根據(jù)作為上述多張圖像的縮小版的多個(gè)縮小圖像的亮度成分 的信息，將上述多張圖像中亮度分布的有效寬度最大的1張圖像作為上述基準(zhǔn)圖像選定。此外優(yōu)選，增益計(jì)算機(jī)構(gòu)根據(jù)作為上述多張圖像的縮小版的多個(gè)縮小圖像的亮度 成分的信息，作為上述增益而計(jì)算上述其他圖像相對于上述基準(zhǔn)圖像的亮度比率。此外優(yōu)選，權(quán)重計(jì)算機(jī)構(gòu)，在計(jì)算出的上述增益的值比預(yù)定值小的上述其他圖像 中，越是高亮度部分，則分配越大的權(quán)重，在計(jì)算出的上述增益的值比預(yù)定值大的上述其他 圖像中，越是低亮度部分，則分配越大的權(quán)重。此外優(yōu)選，上述多張圖像是圖像信號成分處于線性特性的狀態(tài)的圖像，上述多張 圖像中的1張圖像在通過自動(dòng)曝光(AE)決定或由用戶指定的曝光條件下被拍攝，除此之外 的其他圖像在與上述曝光條件不同的曝光條件下被拍攝。此外，本發(fā)明的圖像處理方法，將拍攝了同一場景的曝光量不同的多張圖像合成 而生成擴(kuò)大了動(dòng)態(tài)范圍的灰度幅度大的合成圖像即高對比度圖像，其包括選定步驟，根據(jù) 上述多張圖像的亮度成分的信息，選定基準(zhǔn)圖像；增益計(jì)算步驟，根據(jù)上述多張圖像的亮度 成分的信息，計(jì)算上述多張圖像中除了上述基準(zhǔn)圖像以外的其他圖像相對于上述基準(zhǔn)圖像的亮度比率，并作為上述其他圖像的增益；權(quán)重計(jì)算步驟，根據(jù)計(jì)算出的上述增益和上述基 準(zhǔn)圖像的亮度成分的信息，計(jì)算對上述其他圖像應(yīng)用的權(quán)重；和生成步驟，使用計(jì)算出的上 述權(quán)重進(jìn)行上述基準(zhǔn)圖像和上述其他圖像的加權(quán)合成處理，從而生成上述高對比度圖像。此外優(yōu)選，選定步驟根據(jù)作為上述多張圖像的縮小版的多個(gè)縮小圖像的亮度成分 的信息，將上述多張圖像中亮度分布的有效寬度最大的1張圖像作為上述基準(zhǔn)圖像選定。此外優(yōu)選，增益計(jì)算步驟根據(jù)作為上述多張圖像的縮小版的多個(gè)縮小圖像的亮度 成分的信息，作為上述增益而計(jì)算上述其他圖像相對于上述基準(zhǔn)圖像的亮度比率。此外優(yōu)選，權(quán)重計(jì)算步驟，在計(jì)算出的上述增益的值比預(yù)定值小的上述其他圖像 中，越是高亮度部分，則分配越大的權(quán)重，在計(jì)算出的上述增益的值比預(yù)定值大的上述其他 圖像中，越是低亮度部分，則分配越大的權(quán)重。


圖1是表示實(shí)施方式的圖像形成裝置的結(jié)構(gòu)的框圖。圖2是表示與高對比度圖像制作相關(guān)的圖像處理裝置的動(dòng)作的流程圖。圖3是表示縮小圖像的亮度直方圖的例子的圖。圖4是表示拍攝了對比度低的被拍攝體得到的圖像的亮度直方圖的例子的圖。圖5是表示根據(jù)高對比度圖像制作成為最終結(jié)果的圖像的例子的圖。
具體實(shí)施例方式以下說明本發(fā)明的實(shí)施方式。圖1是表示本實(shí)施方式的圖像處理裝置的結(jié)構(gòu)的框圖。如圖1所示，本實(shí)施方式 的圖像處理裝置由圖像處理裝置10和與之連接的攝像單元20構(gòu)成。圖像處理裝置10具有控制部11、攝像單元收容部12、緩沖存儲(chǔ)器13、數(shù)據(jù)處理部 14、壓縮/解碼部15、記錄介質(zhì)16、監(jiān)視器17、操作部18和系統(tǒng)總線19。在此，控制部11、 攝像單元收容部12、緩沖存儲(chǔ)器13、數(shù)據(jù)處理部14、壓縮/解碼部15、記錄介質(zhì)16、監(jiān)視器 17經(jīng)由系統(tǒng)總線19連接。此外，操作部18與控制部11連接。攝像單元20經(jīng)由攝像單元收容部12的收容端口(未圖示)與圖像處理裝置10 連接。另外，該連接利用基于IEEE1394、USB等規(guī)格的通信線纜進(jìn)行。攝像單元20包括攝像元件和信號處理電路等，該攝像元件具有將二維矩陣狀配 置的多個(gè)受光元件(像素)形成在半導(dǎo)體基板上而成的攝像面，信號處理電路對從攝像元 件輸出的圖像信號進(jìn)行鉗位處理、靈敏度調(diào)整(增益調(diào)整)、A/D變換等信號處理，并將信號 處理后的圖像數(shù)據(jù)輸出到圖像處理裝置10。另外，攝像單元20的攝像元件例如由C⑶型或 CMOS型的攝像元件構(gòu)成。此外，攝像單元20具有攝影透鏡，由包含聚焦透鏡、變焦透鏡的多個(gè)透鏡組構(gòu) 成；以及透鏡驅(qū)動(dòng)部，使該攝影透鏡向光軸方向移動(dòng)而進(jìn)行聚焦調(diào)整、變焦調(diào)整。另外，攝影 透鏡的聚焦調(diào)整、變焦調(diào)整根據(jù)來自圖像處理裝置10的控制部11的指示進(jìn)行。 攝像單元20根據(jù)來自圖像處理裝置10的控制部11的指示，對攝像面上成像的被 拍攝體像的圖像進(jìn)行拍攝。拍攝時(shí)的AE(自動(dòng)曝光)、AF(自動(dòng)調(diào)焦)的控制，由攝像單元 20根據(jù)來自圖像處理裝置10的控制部11的指示進(jìn)行。或者，攝像單元20和圖像處理裝置10的控制部11協(xié)同進(jìn)行。通過拍攝而從攝像單元20輸出的圖像數(shù)據(jù)經(jīng)由攝像單元收 容部12而輸出到圖像處理裝置10的緩沖存儲(chǔ)器13。 在緩沖存儲(chǔ)器13中暫時(shí)地記錄從攝像單元20輸出的圖像數(shù)據(jù)。此外，在由控制 部11處理的過程中制作的圖像數(shù)據(jù)等也被暫時(shí)地記錄到該緩沖存儲(chǔ)器13中。數(shù)據(jù)處理部14根據(jù)控制部11的指示，對緩沖存儲(chǔ)器13中記錄的圖像數(shù)據(jù)進(jìn)行缺 陷像素校正、陰影校正、白平衡調(diào)整、插補(bǔ)、輪廓增強(qiáng)、伽馬校正等圖像處理。另外，數(shù)據(jù)處理 部14作為ASIC等構(gòu)成。壓縮/解碼部15根據(jù)控制部11的指示，對緩沖存儲(chǔ)器13的圖像數(shù)據(jù)進(jìn)行壓縮處 理。另外，壓縮處理通過JPEG (Joint PhotographicExperts Group，聯(lián)合圖像專家組)形式 等進(jìn)行。記錄介質(zhì)16由存儲(chǔ)卡、硬盤、光盤(DVD等)等構(gòu)成。另外，存儲(chǔ)介質(zhì)16可以內(nèi)置 于圖像處理裝置10中，可以安裝成可拆裝，也可以設(shè)置在外部。設(shè)置于外部時(shí)，記錄介質(zhì)16 和圖像處理裝置10通過有線或無線而電連接。監(jiān)視器17是由IXD顯示器、CRT顯示器等構(gòu)成的顯示裝置。另外，監(jiān)視器17可以 內(nèi)置于圖像處理裝置10中，也可以設(shè)置在外部。設(shè)置于外部時(shí)，監(jiān)視器17和圖像處理裝置 10通過有線而電連接。監(jiān)視器17根據(jù)控制部11的指示，顯示圖像處理前的圖像的內(nèi)容，或作為圖像處理 結(jié)果顯示圖像處理后的圖像的內(nèi)容，進(jìn)而顯示圖像處理菜單畫面(⑶I)等以向用戶指示對 圖像進(jìn)行的圖像處理的內(nèi)容。操作部18包括鍵盤以及鼠標(biāo)或跟蹤板(Track Pad)等指示設(shè)備等、用于由用戶對 控制部11進(jìn)行指示的各種輸入設(shè)備。用戶通過操作這些輸入設(shè)備，而能夠?qū)刂撇?1進(jìn) 行對圖像進(jìn)行的圖像處理的內(nèi)容的指示、該圖像處理的執(zhí)行的指示等。本實(shí)施方式的圖像處理裝置具有將拍攝了同一場景的曝光量不同的多張圖像合 成并制作高對比度圖像的功能(高對比度圖像制作功能)。以下針對該功能，參照圖2的流程圖說明本實(shí)施方式的圖像處理裝置進(jìn)行的動(dòng) 作。圖2的流程圖的處理在以下情況下被調(diào)用在從攝像單元20輸出的拍攝了同一場景的 曝光量不同的多張圖像被記錄到緩沖存儲(chǔ)器13中時(shí)，將該緩沖存儲(chǔ)器13的多張圖像指定 為輸入圖像(1 N)，并指示了高對比度圖像制作功能的執(zhí)行的情況。另外，輸入圖像的指定及該功能的執(zhí)行指示例如可以如下進(jìn)行用戶對操作部18 的輸入設(shè)備進(jìn)行操作，從監(jiān)視器17上顯示的圖像處理菜單畫面(⑶I)選擇“制作高對比度 圖像”這一項(xiàng)目并進(jìn)行確定等。此外，上述拍攝了同一場景的曝光量不同的多張圖像，例如可以通過實(shí)施包圍曝 光(bracket exposure)攝影而取得。此時(shí)，這些多張圖像中的一張圖像在由AE(自動(dòng)曝 光)決定的曝光條件或由用戶指定的曝光條件下被拍攝，除此之外的其他圖像以在將該曝 光條件作為基準(zhǔn)的不同的曝光條件(基準(zhǔn)的曝光條件士η段)下拍攝的方式進(jìn)行包圍曝光 攝影即可。步驟101 (SlOl):控制部11對指定的輸入圖像(1 N)分別制作縮小圖像。例 如，通過在各輸入圖像的空間方向取2X2像素或4X4像素的像素值的平均等來制作縮小 圖像。另外，制作出的縮小圖像(1 η)記錄在緩沖存儲(chǔ)器13的與輸入圖像(1 N)不同的區(qū)域中。 步驟102:控制部11對制作出的縮小圖像(1 η)分別制作亮度成分的直方圖 (亮度直方圖)。步驟103 控制部11分別解析制作出的亮度直方圖，根據(jù)其解析結(jié)果從輸入圖像 (1 N)中選定作為基準(zhǔn)圖像的1張。具體地說，首先，求出作為亮度直方圖的制作基礎(chǔ)的縮小圖像的全部像素?cái)?shù)的例 如0. 的像素?cái)?shù)(i)。另外，指定相對于該縮小圖像的全部像素?cái)?shù)的比例(0. 等)，以 使攝像元件的缺陷像素、突出的像素值或噪聲等構(gòu)成圖像的像素以外的區(qū)域的像素不成為 運(yùn)算的對象。然后，使用制作出的亮度直方圖，例如在此使用圖3的亮度直方圖的例子，從其橫 軸(亮度)的高亮度側(cè)(亮度值“255”)朝向低亮度側(cè)(亮度值“0”)，直到亮度直方圖的 縱軸(像素?cái)?shù))的值與之前求出的像素?cái)?shù)(i) 一致的位置為止進(jìn)行檢索，將一致的位置的 橫軸的值(亮度值)作為“max (亮度最大值)”提取出來。接著，從同一亮度直方圖的橫軸 (亮度)的低亮度側(cè)(亮度值“0”)朝向高亮度側(cè)(亮度值“255”)，直到亮度直方圖的縱 軸(像素?cái)?shù))的值與之前求出的像素?cái)?shù)(i) 一致的位置為止進(jìn)行檢索，將一致的位置的橫 軸的值(亮度值)作為“min (亮度最小值)”提取出來。并且，將與該“max (亮度最大值)，，和“min (亮度最小值)，，之差最大的作為亮度 直方圖的制作基礎(chǔ)的縮小圖像對應(yīng)的輸入圖像(1張)，作為基準(zhǔn)圖像選定。這樣一來，從輸入圖像(1 N)中作為基準(zhǔn)圖像選定亮度分布的有效寬度最大的 1張圖像。步驟104 控制部11根據(jù)縮小圖像的亮度成分的信息，計(jì)算以基準(zhǔn)圖像為基準(zhǔn)的 其他各輸入圖像(除了基準(zhǔn)圖像之外的其他1張以上的輸入圖像)的增益。具體地說，通過 下述公式⑴來計(jì)算增益(gain)。在此，公式⑴的fY(x，y)表示基準(zhǔn)圖像的縮小圖像的 亮度成分，hY(x，y)表示作為比較對象的其他輸入圖像的縮小圖像的亮度成分，(x，y)表示 縮小圖像中的各像素的坐標(biāo)位置。在進(jìn)行以預(yù)先指定的曝光條件攝影的包圍曝光攝影時(shí)， 不需要增益計(jì)算。
權(quán)利要求
1.一種圖像處理裝置，將拍攝了同一場景的曝光量不同的多張圖像合成而生成擴(kuò)大了 動(dòng)態(tài)范圍的灰度幅度大的合成圖像即高對比度圖像，其特征在于，包括選定機(jī)構(gòu)，根據(jù)上述多張圖像的亮度成分的信息，選定基準(zhǔn)圖像； 增益計(jì)算機(jī)構(gòu)，根據(jù)上述多張圖像的亮度成分的信息，計(jì)算上述多張圖像中除了上述 基準(zhǔn)圖像以外的其他圖像相對于上述基準(zhǔn)圖像的亮度比率，并作為上述其他圖像的增益；權(quán)重計(jì)算機(jī)構(gòu)，根據(jù)計(jì)算出的上述增益和上述基準(zhǔn)圖像的亮度成分的信息，計(jì)算對上 述其他圖像應(yīng)用的權(quán)重；和生成機(jī)構(gòu)，使用計(jì)算出的上述權(quán)重進(jìn)行上述基準(zhǔn)圖像和上述其他圖像的加權(quán)合成處 理，從而生成上述高對比度圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，上述選定機(jī)構(gòu)根據(jù)作為上述多張圖像的縮小版的多個(gè)縮小圖像的亮度成分的信息，將 上述多張圖像中亮度分布的有效寬度最大的1張圖像作為上述基準(zhǔn)圖像選定。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，上述增益計(jì)算機(jī)構(gòu)根據(jù)作為上述多張圖像的縮小版的多個(gè)縮小圖像的亮度成分的信 息，作為上述增益而計(jì)算上述其他圖像相對于上述基準(zhǔn)圖像的亮度比率。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 上述權(quán)重計(jì)算機(jī)構(gòu)，在計(jì)算出的上述增益的值比預(yù)定值小的上述其他圖像中，越是高亮度部分，則分配越 大的權(quán)重，在計(jì)算出的上述增益的值比預(yù)定值大的上述其他圖像中，越是低亮度部分，則分配越 大的權(quán)重。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 上述多張圖像是圖像信號成分處于線性特性的狀態(tài)的圖像，上述多張圖像中的1張圖像在通過自動(dòng)曝光決定或由用戶指定的曝光條件下被拍攝， 除此之外的其他圖像在與上述曝光條件不同的曝光條件下被拍攝。
6.一種圖像處理方法，將拍攝了同一場景的曝光量不同的多張圖像合成而生成擴(kuò)大了 動(dòng)態(tài)范圍的灰度幅度大的合成圖像即高對比度圖像，其特征在于，包括選定步驟，根據(jù)上述多張圖像的亮度成分的信息，選定基準(zhǔn)圖像； 增益計(jì)算步驟，根據(jù)上述多張圖像的亮度成分的信息，計(jì)算上述多張圖像中除了上述 基準(zhǔn)圖像以外的其他圖像相對于上述基準(zhǔn)圖像的亮度比率，并作為上述其他圖像的增益；權(quán)重計(jì)算步驟，根據(jù)計(jì)算出的上述增益和上述基準(zhǔn)圖像的亮度成分的信息，計(jì)算對上 述其他圖像應(yīng)用的權(quán)重；和生成步驟，使用計(jì)算出的上述權(quán)重進(jìn)行上述基準(zhǔn)圖像和上述其他圖像的加權(quán)合成處 理，從而生成上述高對比度圖像。
7.根據(jù)權(quán)利要求6所述的圖像處理方法，其特征在于，上述選定步驟根據(jù)作為上述多張圖像的縮小版的多個(gè)縮小圖像的亮度成分的信息，將 上述多張圖像中亮度分布的有效寬度最大的1張圖像作為上述基準(zhǔn)圖像選定。
8.根據(jù)權(quán)利要求6所述的圖像處理方法，其特征在于，上述增益計(jì)算步驟根據(jù)作為上述多張圖像的縮小版的多個(gè)縮小圖像的亮度成分的信息，作為上述增益而計(jì)算上述其他圖像相對于上述基準(zhǔn)圖像的亮度比率。
9.根據(jù)權(quán)利要求6所述的圖像處理方法，其特征在于，上述權(quán)重計(jì)算步驟，在計(jì)算出的上述增益的值比預(yù)定值小的上述其他圖像中，越是高亮度部分，則分配越 大的權(quán)重，在計(jì)算出的上述增益的值比預(yù)定值大的上述其他圖像中，越是低亮度部分，則分配越 大的權(quán)重。
10.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于，上述權(quán)重計(jì)算機(jī)構(gòu)，在計(jì)算出的上述增益的值比預(yù)定值小的上述其他圖像中，越是高亮度部分，則分配越 大的權(quán)重，在計(jì)算出的上述增益的值比預(yù)定值大的上述其他圖像中，越是低亮度部分，則分配越 大的權(quán)重。
11.根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于，上述權(quán)重計(jì)算機(jī)構(gòu)，在計(jì)算出的上述增益的值比預(yù)定值小的上述其他圖像中，越是高亮度部分，則分配越 大的權(quán)重，在計(jì)算出的上述增益的值比預(yù)定值大的上述其他圖像中，越是低亮度部分，則分配越 大的權(quán)重。
12.根據(jù)權(quán)利要求7所述的圖像處理方法，其特征在于，上述權(quán)重計(jì)算步驟，在計(jì)算出的上述增益的值比預(yù)定值小的上述其他圖像中，越是高亮度部分，則分配越 大的權(quán)重，在計(jì)算出的上述增益的值比預(yù)定值大的上述其他圖像中，越是低亮度部分，則分配越 大的權(quán)重。
13.根據(jù)權(quán)利要求8所述的圖像處理方法，其特征在于，上述權(quán)重計(jì)算步驟，在計(jì)算出的上述增益的值比預(yù)定值小的上述其他圖像中，越是高亮度部分，則分配越 大的權(quán)重，在計(jì)算出的上述增益的值比預(yù)定值大的上述其他圖像中，越是低亮度部分，則分配越 大的權(quán)重。
全文摘要
本發(fā)明提供一種圖像處理裝置及圖像處理方法，為了獲得良好畫質(zhì)的高對比度圖像，將拍攝了同一場景的曝光量不同的多張圖像合成而生成擴(kuò)大了動(dòng)態(tài)范圍的灰度幅度大的高對比度圖像。圖像處理裝置包括選定機(jī)構(gòu)，根據(jù)多張圖像的亮度成分的信息，選定基準(zhǔn)圖像；增益計(jì)算機(jī)構(gòu)，根據(jù)多張圖像的亮度成分的信息，計(jì)算多張圖像中除了基準(zhǔn)圖像以外的其他圖像相對于基準(zhǔn)圖像的亮度比率，并作為增益；權(quán)重計(jì)算機(jī)構(gòu)，根據(jù)增益和基準(zhǔn)圖像的亮度成分的信息，計(jì)算對其他圖像應(yīng)用的權(quán)重；和生成機(jī)構(gòu)，使用權(quán)重進(jìn)行基準(zhǔn)圖像和其他圖像的加權(quán)合成處理。
文檔編號H04N5/235GK102045506SQ20101051638
公開日2011年5月4日 申請日期2010年10月20日 優(yōu)先權(quán)日2009年10月20日
發(fā)明者土井田茂 申請人:株式會(huì)社尼康