本發(fā)明涉及用以減少由細顆粒引起的散射光的影響的圖像處理。

背景技術(shù)：

在監(jiān)視照相機等領(lǐng)域，由存在于照相機和被攝體之間的細顆粒(例如，廢物、塵、霧)引起的所拍攝圖像的圖像質(zhì)量的降低已成問題。圖像質(zhì)量的降低是由如下原因所引起的：光在穿過空氣時由于細顆粒而發(fā)生散射，并且結(jié)果使所拍攝圖像的對比度降低。光散射的散射程度根據(jù)相對于被攝體的距離而改變。由此，在拍攝混合地存在相對于被攝體的不同距離的場景的情況下，可能會獲得如下的圖像，其中在該圖像中，對比度的降低的程度在圖像區(qū)域之間有所不同。作為針對諸如這種對比度已經(jīng)降低的圖像的通用對比度校正技術(shù)，存在通過根據(jù)所拍攝圖像來計算直方圖并基于該直方圖對圖像進行校正來校正圖像的技術(shù)(參見日本專利3614692)。然而，利用日本專利3614692中所述的方法，無法充分地校正對比度的降低的程度在區(qū)域之間有所不同的圖像。結(jié)果，作為用以針對各區(qū)域來校正對比度的降低的技術(shù)，存在使用暗通道優(yōu)先(dark channel prior)的技術(shù)(參見美國專利8340461)。在該技術(shù)中，根據(jù)所拍攝圖像的局部區(qū)域中的RGB最小值(暗通道)，來估計由細顆粒引起的光的散射的程度，并且針對各局部區(qū)域進行對比度校正。

然而，在通過使用美國專利8340461中所述的方法來進行針對各局部區(qū)域的對比度校正的情況下，無法保證整個圖像的亮度，因此，整個圖像的亮度與適當?shù)牧炼认啾瓤赡軙兊酶粱蛘吒怠?/p>

技術(shù)實現(xiàn)要素：

由此，本發(fā)明的目的是將已針對各局部區(qū)域進行了對比度校正的圖像的亮度調(diào)整到適當亮度。

根據(jù)本發(fā)明的圖像處理設(shè)備是一種圖像處理設(shè)備，用于調(diào)整針對各局部區(qū)域進行了對比度校正的處理后的圖像的亮度，所述對比度校正用于去除散射光的成分，所述圖像處理設(shè)備包括：估計單元，用于基于針對各局部區(qū)域進行所述對比度校正之前的輸入圖像的亮度以及與該亮度相對應(yīng)的透過率來估計所述處理后的圖像的亮度；參數(shù)計算單元，用于基于所述輸入圖像的亮度以及所述估計單元所估計出的所述處理后的圖像的亮度來計算曝光校正參數(shù)；以及曝光校正單元，用于通過使用所述曝光校正參數(shù)，針對所述處理后的圖像進行曝光校正。

根據(jù)本發(fā)明的圖像處理設(shè)備是一種圖像處理設(shè)備，包括：獲取單元，用于獲取通過進行攝像所獲得的拍攝圖像；生成單元，用于通過針對所獲取到的拍攝圖像進行用以針對各像素位置去除像素值中所包括的散射光成分的對比度校正，來生成處理后的圖像；估計單元，用于基于所述拍攝圖像的亮度和與該亮度相對應(yīng)的透過率來估計所述處理后的圖像的亮度；參數(shù)計算單元，用于基于所述拍攝圖像的亮度和所述估計單元所估計出的所述處理后的圖像的亮度來計算曝光校正參數(shù)；以及曝光校正單元，用于通過使用所述曝光校正參數(shù)，針對所述處理后的圖像進行曝光校正。

根據(jù)本發(fā)明的圖像處理方法是一種圖像處理方法，用于調(diào)整針對各局部區(qū)域進行了對比度校正的處理后的圖像的亮度，所述對比度校正用于去除散射光的成分，所述圖像處理方法包括以下步驟：估計步驟，用于基于針對各局部區(qū)域進行所述對比度校正之前的輸入圖像的亮度以及與該亮度相對應(yīng)的透過率來估計所述處理后的圖像的亮度；基于所述輸入圖像的亮度以及所述估計步驟中所估計出的所述處理后的圖像的亮度來計算曝光校正參數(shù)；以及通過使用所述曝光校正參數(shù)，針對所述處理后的圖像進行曝光校正。

通過以下(參考附圖)對典型實施例的說明，本發(fā)明的其它特征將變得明顯。

附圖說明

圖1是示出第一實施例中的圖像處理設(shè)備的硬件結(jié)構(gòu)的框圖；

圖2是示出第一實施例中的圖像處理設(shè)備的軟件結(jié)構(gòu)的框圖；

圖3是示出第一實施例中的圖像處理設(shè)備的處理的流程圖；

圖4是示出散射光去除處理單元的內(nèi)部結(jié)構(gòu)的框圖；

圖5是示出散射光去除處理單元的處理的流程圖；

圖6是示出暗通道提取單元得出與特定關(guān)注像素相對應(yīng)的暗通道的處理的示意圖；

圖7是示出基準強度計算單元的處理的流程圖；

圖8A～8D是用于說明基準像素值的提取方法的說明圖；

圖9是示出第一實施例中的曝光校正參數(shù)計算單元的內(nèi)部結(jié)構(gòu)的框圖；

圖10是示出第一實施例中的曝光校正參數(shù)計算單元的處理的流程圖；

圖11A和11B是用于說明用以搜索與平均亮度相對應(yīng)的透過率的處理的說明圖；

圖12A～12D是用于說明第一實施例的效果的說明圖；

圖13是示出第二實施例中的曝光校正參數(shù)計算單元的內(nèi)部結(jié)構(gòu)的框圖；以及

圖14是示出第二實施例中的曝光校正參數(shù)計算單元的處理的流程圖。

具體實施方式

第一實施例

圖1是示出第一實施例中的圖像處理設(shè)備101的硬件結(jié)構(gòu)的框圖。在圖1中，示出了本實施例中的包括圖像處理設(shè)備101的攝像設(shè)備。除圖像處理設(shè)備101以外，圖1中示出的攝像設(shè)備還包括外部存儲器110、攝像單元111，和顯示單元。外部存儲器110可以被配置為以使得能夠可從攝像設(shè)備拆卸。也就是說，攝像設(shè)備可以不包括外部存儲器110。

圖像處理設(shè)備101包括CPU 102、RAM 103、ROM 104、HDD I/F 105、HDD 106、輸入I/F 107、輸出I/F 108和系統(tǒng)總線109。

CPU 102是集中地控制圖像處理設(shè)備101的各組件的處理器。

RAM 103是用作CPU 102的主存儲器或CPU 102的工作區(qū)域的存儲器。

ROM 104是用于存儲負責圖像處理設(shè)備101中所進行的處理的程序的存儲器。

HDD I/F 105是諸如串行ATA(SATA)等的接口。HDD I/F 105將作為次級存儲裝置的HDD 106連接至系統(tǒng)總線109。CPU 102可以經(jīng)由HDD I/F 105從HDD 106讀取數(shù)據(jù)以及向HDD 106寫入數(shù)據(jù)。此外，CPU 102還可以將HDD 106中所存儲的數(shù)據(jù)展開在RAM 103上，以及將展開在RAM 103上的數(shù)據(jù)保存在HDD 106中。在本實施例中，CPU 102將ROM 104或HDD 106中所存儲的程序(例如，用于集中地控制各組件的程序)展開在RAM 103上，并執(zhí)行該程序。

HDD 106是諸如硬盤驅(qū)動器(HDD)等的次級存儲裝置。除HDD之外，HDD 106還可以是諸如光盤驅(qū)動器等的存儲裝置。

輸入I/F 107是諸如USB和IEEE1394等的串行總線接口。圖像處理設(shè)備101經(jīng)由輸入I/F107連接至外部存儲器110和攝像單元111。CPU 102可以經(jīng)由輸入I/F 107從外部存儲器110和攝像單元111獲取數(shù)據(jù)。

輸出I/F 108是諸如數(shù)字視頻接口(DVI)和高清晰度多媒體接口(HDMI)(注冊商標)等的視頻輸出接口。圖像處理裝置101經(jīng)由輸出I/F 108連接到顯示單元112。

系統(tǒng)總線109是各種數(shù)據(jù)的傳送路徑。圖像處理設(shè)備101的各組件經(jīng)由系統(tǒng)總線109彼此連接。

外部存儲器110是諸如硬盤、存儲卡、CF卡、SD卡和USB存儲器等的存儲介質(zhì)。外部設(shè)備110保存圖像處理設(shè)備101所處理的圖像數(shù)據(jù)等。

攝像單元111接收被攝體的光信息并且獲取圖像。攝像單元111將所獲取到的圖像作為數(shù)字數(shù)據(jù)輸出。以下，攝像單元111所輸出的數(shù)字數(shù)據(jù)被稱為圖像數(shù)據(jù)。

顯示單元112是諸如顯示器等的顯示裝置。本實施例中，CPU 102將圖像數(shù)據(jù)經(jīng)由輸出I/F 108輸出至顯示單元112，并且顯示單元112顯示輸入圖像數(shù)據(jù)所表示的圖像。

如上所述，在諸如塵等的細顆粒存在于攝像單元111和被攝體之間的情況下，攝像設(shè)備111所獲取到的圖像的對比度由于光散射而降低。因此，在本實施例中，圖像處理設(shè)備101生成如下的圖像數(shù)據(jù)，其中在該圖像數(shù)據(jù)中，散射光的影響通過進行針對攝像單元111所輸出的圖像數(shù)據(jù)的處理而有所減少。

整個處理的流程

圖2是示出第一實施例中的圖像處理設(shè)備101的軟件結(jié)構(gòu)的框圖。如圖2所示，圖像處理設(shè)備101包括拍攝執(zhí)行單元1011、顯像處理單元1012、散射光去除處理單元1013、曝光校正參數(shù)計算單元1014、曝光校正單元1015、伽馬校正單元1016和圖像輸出單元1017。

以下，通過使用圖3來說明本實施例的圖像處理設(shè)備101中的處理的流程。

圖3是示出第一實施例中的圖像處理設(shè)備101的處理的流程圖。在本實施例中，負責圖3所示的處理的程序存儲在ROM 104或HDD 106中，并且圖2所示的各組件通過CPU 102加載并執(zhí)行相關(guān)程序來工作。

首先，在步驟S201中，拍攝執(zhí)行單元1011針對攝像單元111設(shè)置適合于拍攝被攝體的拍攝條件。拍攝執(zhí)行單元1011通過執(zhí)行一般自動曝光控制等來設(shè)置最佳拍攝條件。

在步驟S202中，拍攝執(zhí)行單元1011使得基于步驟S201的處理中所設(shè)置的拍攝條件來驅(qū)動攝像單元111，并且進行拍攝。

在步驟S203中，顯像處理單元1012針對步驟S202的處理中從攝像單元111所輸出的圖像數(shù)據(jù)進行顯像處理。在顯像處理中，進行諸如白平衡、去馬賽克、顏色轉(zhuǎn)換、噪聲降低和邊緣增強處理等的一般顯像處理。然后，生成各像素具有R、G和B顏色的圖像。

在步驟S204中，散射光去除處理單元1013針對已在步驟S203的處理中進行了顯像處理的圖像數(shù)據(jù)的各局部區(qū)域進行對比度校正。本實施例中，散射光去除處理單元1013進行作為針對各局部區(qū)域的對比度校正的要在后面說明的散射光去除處理。

在步驟S205中，曝光校正參數(shù)計算單元1014根據(jù)已在步驟S204的處理中針對各局部區(qū)域進行了對比度校正的圖像數(shù)據(jù),來計算曝光校正參數(shù)α。后面將說明曝光校正參數(shù)α的計算處理。

在步驟S206中，曝光校正單元1015根據(jù)如下表達式1通過使用步驟S205的處理中所計算出的曝光校正參數(shù)α來進行曝光校正。

o(x，y，c)＝α·j’(x，y，c)···(表達式1)

這里，O表示曝光校正后的圖像數(shù)據(jù)，j’表示散射光去除處理后的圖像數(shù)據(jù)，以及c表示顏色層。

在步驟S207中，伽馬校正單元1016針對已在步驟S206的處理中進行了曝光校正的圖像數(shù)據(jù)(以下稱為曝光校正后的圖像數(shù)據(jù))進行伽馬校正。

最后，在步驟S208中，圖像輸出單元1017將已在步驟S207的處理中進行了伽馬校正的圖像數(shù)據(jù)經(jīng)由HDD I/F 105輸出至HDD 106。圖像輸出單元1017也可以將圖像數(shù)據(jù)保存在其它存儲介質(zhì)中。例如，圖像輸出單元1017還可以將圖像數(shù)據(jù)經(jīng)由輸入I/F 107輸出至外部存儲器110。

散射光去除處理

以下，說明步驟S204中的散射光去除處理。

圖4是示出散射光去除處理單元1013的內(nèi)部結(jié)構(gòu)的框圖。如圖4所示，散射光去除處理單元1013包括輸入圖像獲取單元301、暗通道提取單元302、基準強度計算單元(也稱為基準強度得出單元)303、濾波處理單元304、透過率計算單元305、散射光去除單元306、散射光去除圖像輸出單元307、透過率圖像輸出單元308和基準強度輸出單元309。

圖5是示出散射光去除處理單元1013的處理的流程圖。本實施例中，負責圖5所示的處理的程序存儲在ROM 104或HDD 106中，并且圖4所示的各組件通過CPU 102加載并執(zhí)行相關(guān)程序來進行工作。圖4所示的所有組件可以不包括在散射光去除處理單元1013中，并且可以在圖像處理設(shè)備101內(nèi)新設(shè)置與各組件相對應(yīng)的處理電路。

首先，在步驟S401中，輸入圖像獲取單元301獲取步驟S203的處理中進行了顯像的圖像數(shù)據(jù)。以下，將圖像數(shù)據(jù)所表示的圖像稱為輸入圖像或所拍攝圖像。輸入圖像獲取單元301將所獲取到的圖像數(shù)據(jù)輸出至暗通道提取單元302、基準強度計算單元303和散射光去除單元306。此外，輸入圖像獲取單元301將輸入圖像數(shù)據(jù)經(jīng)由HDD I/F 105輸出至HDD 106。輸入圖像獲取單元301也可以將輸入圖像數(shù)據(jù)保存在其它存儲介質(zhì)中。例如，輸入圖像獲取單元301還可以將輸入圖像數(shù)據(jù)經(jīng)由輸入I/F 107輸出至外部存儲器110。

在步驟S402中，暗通道提取單元302根據(jù)從輸入圖像獲取單元301輸出的圖像數(shù)據(jù)，針對各像素位置來提取暗通道。暗通道提取單元302將通過并排放置所提取到的暗通道而構(gòu)成的圖像數(shù)據(jù)輸出至基準強度計算單元303。以下，將該圖像數(shù)據(jù)稱為暗通道圖像數(shù)據(jù)。此外，將暗通道圖像數(shù)據(jù)所表示的圖像稱為暗通道圖像。

這里，暗通道是特定像素中具有R、G和B的各通道的像素值中的最小像素值的通道。在R、G和B的各通道的像素值中的最小像素值中，由散射光得到的成分的比例很大。結(jié)果，暗通道圖像是比彩色圖像更加可以反映散射光成分的強度的圖像。

圖6是示出暗通道提取單元302得出與特定關(guān)注像素相對應(yīng)的暗通道的處理的示意圖。如圖6中的左圖所示，假定輸入的關(guān)注像素T的像素值是(R0,G0,B0)。此時，在像素值的絕對值的順序為R0>G0>B0的情況下，如圖6中的右圖所示，關(guān)注像素T的暗通道是B0。此后，暗通道提取單元302通過對所有像素應(yīng)用該處理來生成暗通道圖像數(shù)據(jù)。

在步驟S403中，基準強度計算單元303通過使用從暗通道提取單元302輸出的暗通道圖像數(shù)據(jù)以及從輸入圖像獲取單元301輸出的輸入圖像數(shù)據(jù)來計算散射光的各顏色成分的基準強度?；鶞蕪姸扔嬎銌卧?03將所計算出的基準強度輸出至透過率計算單元305、散射光去除單元306和基準強度輸出單元309。這里，基準強度是在確定了圖像數(shù)據(jù)的各像素位置的散射光的各顏色成分的大小的情況下取為基準的值。基于諸如散射光成分占主導并且由于霧等而模糊成白色的天空的像素等的像素的像素值來確定基準強度。后面將說明該處理的細節(jié)。

在步驟S404中，基準強度輸出單元309將步驟S403的處理中所計算出的基準強度輸出至RAM 103。

在步驟S405中，濾波處理單元304針對從暗通道提取單元302輸出的暗通道圖像數(shù)據(jù)進行最小值濾波處理。然后，濾波處理單元304將已進行了最小值濾波處理的暗通道圖像數(shù)據(jù)輸出至透過率計算單元305。這里，最小值濾波處理是用以使圖像中的局部結(jié)構(gòu)或者噪聲被誤認為是由散射光導致的局部結(jié)構(gòu)或者噪聲的可能性降低的處理。

在步驟S406中，透過率計算單元305基于從濾波處理單元304輸出的最小值濾波處理后的暗通道圖像數(shù)據(jù)以及從基準強度計算單元303輸出的散射光的基準強度來確定輸入圖像的像素位置(x,y)處的透過率t(x,y)。這里，t(x,y)通過下面的表達式2來表示。

這里，D是步驟S405的處理中所輸出的最小值濾波處理后的暗通道圖像。A是步驟S403中所計算出的散射光的基準強度，以及ω是假定用于計算散射光的基準強度的像素的透過率的系數(shù)。在本實施例中，假定ω是0.9。也可以調(diào)整ω的值，以使散射光去除處理后的圖像數(shù)據(jù)所表示的圖像變成良好的圖像。

透過率計算單元305通過用所獲取到的值替換表達式2中的各變量來計算各像素的透過率。透過率計算單元305將計算出的透過率輸出至散射光去除單元306和透過率圖像輸出單元308。代替基于表達式2確定透過率，也可以基于例如通過使用立體攝像機等所獲取的相對于被攝體的距離來確定透過率。

在步驟S407中，透過率圖像輸出單元308獲取步驟S406的處理中計算出的透過率t(x,y)作為透過率圖像數(shù)據(jù)，并且將該透過率圖像數(shù)據(jù)輸出至RAM103。以下，將透過率圖像數(shù)據(jù)所表示的圖像稱為透過率圖像。

在步驟S408中，散射光去除單元306通過使用從透過率計算單元305輸出的透過率、從輸入圖像獲取單元301輸出的輸入圖像數(shù)據(jù)以及從基準強度計算單元303輸出的散射光的基準強度來進行輸入圖像的散射光去除處理。通過使用下面的表達式3來進行散射光去除處理。

這里，J(x,y,c)表示散射光去除處理后的圖像的像素值。I(x,y,c)表示輸入圖像的像素值，c表示顏色層，以及t₀是用于調(diào)整J的值的系數(shù)。在本實施例中，例如，t₀設(shè)置為0.1。這里，t₀是為了防止在t(x,y,c)無限接近于0的情況下由于I的值的微小差導致J的值大幅改變而設(shè)置的常數(shù)。也可以將t₀設(shè)置為除0.1之外的值，以使得獲得更良好的圖像。

散射光去除單元306通過用所獲取到的值替換表達式3中的各參數(shù)來計算各像素的J。散射光去除單元306將所計算出的J作為散射光去除處理后的圖像數(shù)據(jù)輸出至散射光去除圖像輸出單元307。以下，將散射光去除處理后的圖像數(shù)據(jù)所表示的圖像稱為散射光去除圖像或散射光去除處理后的圖像。

在步驟S409，散射光去除圖像輸出單元307獲取從散射光去除單元306輸出的散射光去除處理后的圖像數(shù)據(jù)，并且將該圖像數(shù)據(jù)經(jīng)由HDD I/F 105輸出至HDD 106。

基準強度的計算

以下，說明步驟S403中的基準強度計算處理。圖7是示出基準強度計算單元303的處理的流程圖。

在步驟S601中，基準強度計算單元303獲取從暗通道提取單元302輸出的暗通道圖像數(shù)據(jù)。

在步驟S602中，基準強度計算單元303基于步驟S601中所獲取到的暗通道圖像數(shù)據(jù)來確定用于進行基準強度的計算的像素(以下，稱為基準像素)。本實施例中，暗通道圖像的像素中的像素值為像素值最大的前1％以內(nèi)的像素被視為基準像素。暗通道圖像是散射光的強度反映在像素值中的圖像，因此，可以認為暗通道圖像中具有大的像素值的像素是散射光成分占主導的像素。

這里，選擇像素值為像素值最大的前1％以內(nèi)的像素作為基準像素，但是該百分比不限于1％。例如，還可以根據(jù)拍攝場景來設(shè)置該百分比。此外，基準強度計算單元303也可以選擇暗通道圖像的像素中像素值大于或者等于閾值的像素。在基準強度計算單元303通過使用閾值來選擇基準像素的情況下，還可以使用根據(jù)拍攝場景所設(shè)置的閾值。

在步驟S603中，基準強度計算單元303獲取從輸入圖像獲取單元301輸出的輸入圖像數(shù)據(jù)。

在步驟S604中，基準強度計算單元303基于步驟S603的處理中所獲取到的輸入圖像數(shù)據(jù)和步驟S602中所確定的基準像素來提取基準強度的計算所用的基準像素值。

這里，通過使用圖8A～8D來說明基準像素值提取方法。圖8A～8D是用于說明基準像素值提取方法的說明圖。

圖8A示出暗通道圖像的示例。這里，以從圖8A所示的5×5像素的暗通道圖像中提取基準像素值的情況作為示例。在圖8A～8D中，按從左上角的像素到右下角的像素(圖8A～8D中從左上角到右下角)的順序?qū)⒕幪?～25分配給各像素。對于暗通道圖像的各像素，分配輸入圖像的各像素的像素值(Rk,Gk,Bk)[k＝1～25]中像素值最小的顏色的像素值。圖8A～8D所示的圓圈表示附有圓圈的像素是被選擇為基準像素的像素。在步驟S604中，提取與輸入圖像的R圖像、G圖像和B圖像的基準像素相對應(yīng)的像素的像素值作為基準像素值。也就是說，在如圖8A所示選擇像素3、12、13和18作為暗通道圖像中的基準像素的情況下，如圖8B～8D所示，分別提取R圖像、G圖像和B圖像的像素3、12、13和18的像素值作為基準像素值。如上所述，在本實施例中，基準強度計算單元303通過針對各顏色提取被確定為散射光占主導的像素的像素的像素值來計算基準強度，因此，可以計算反映散射光的波長依賴性的基準強度。

在步驟S605，基準強度計算單元303基于步驟S604的處理中所提取的基準像素值來計算與R、G和B的各通道相對應(yīng)的散射光的基準強度A。在步驟S604的處理中針對R圖像、G圖像和B圖像所提取的基準像素值分別取值為Rs、Gs和Bs，并且所提取的基準像素值的平均值分別取值為AR、AG和AB的情況下，基準強度A通過下面的表達式4來表示。

AR＝ΣRs/n

AG＝ΣGs/n

AB＝ΣBs/n

A＝(AR+AG+AB)/3···(表達式4)

這里，n是各圖像中基準像素的數(shù)量?；鶞蕪姸扔嬎銌卧?03通過將步驟S604的處理中所提取的基準像素值代入表達式4來計算基準強度A。

在步驟S606，基準強度計算單元303將步驟S605的處理中所計算出的散射光的基準強度A輸出至透過率計算單元305、散射光去除單元306和基準強度輸出單元309。

以上是本實施例中的散射光的基準強度計算處理。在該處理中，基準強度計算所使用的像素是基于暗通道圖像來確定的，因此，可以準確地得到基準強度。

計算曝光校正參數(shù)

以下，說明步驟S205中的曝光校正參數(shù)計算處理。

圖9是示出第一實施例中的曝光校正參數(shù)計算單元1014的內(nèi)部結(jié)構(gòu)的框圖。如圖9所示，曝光校正參數(shù)計算單元1014包括輸入圖像獲取單元801、透過率圖像獲取單元802、亮度信號計算單元803、平均亮度計算單元804、平均亮度透過率搜索單元805、基準強度獲取單元806、參數(shù)計算單元807和參數(shù)輸出單元808。

圖10是示出第一實施例中的曝光校正參數(shù)計算單元1014的處理的流程圖。本實施例中，負責圖10所示的處理的程序存儲在ROM 104或HDD 106中，并且圖9所示的各組件通過CPU 102加載并執(zhí)行相關(guān)程序來進行工作。圖9所示的所有組件可以不包括在曝光校正參數(shù)計算單元1014中，并且可以在圖像處理設(shè)備101內(nèi)新設(shè)置與各組件相對應(yīng)的處理電路。

首先，在步驟S901中，輸入圖像獲取單元801從HDD 106獲取步驟S401的處理中存儲在HDD 106中的輸入圖像數(shù)據(jù)。

在步驟S902中，亮度信號計算單元803根據(jù)步驟S901的處理中所獲取到的輸入數(shù)據(jù)來生成亮度信號，并且將該亮度信號作為亮度圖像數(shù)據(jù)輸出至平均亮度計算單元804和平均亮度透過率搜索單元805。本實施例中，亮度信號計算單元803通過使用如下所示的亮度信號的一般生成表達式來生成亮度信號。

Y＝0.257*R+0.504*G+0.098*B (表達式5)

上面的表達式5是用于根據(jù)輸入圖像數(shù)據(jù)的RGB值生成亮度Y的表達式。亮度信號的生成表達式不限于該表達式，并且可以接受除表達式5以外的表達式。

在步驟S903中，平均亮度計算單元804根據(jù)從亮度信號計算單元803輸出的亮度圖像數(shù)據(jù)來計算整個圖像的平均亮度。然后，平均亮度計算單元804將所計算出的平均亮度輸出至平均亮度透過率搜索單元805和參數(shù)計算單元807。

在步驟S904中，透過率圖像獲取單元802獲取圖3所示的步驟S204中(具體為圖5所示的步驟S407的處理中)存儲在RAM 103中的透過率圖像數(shù)據(jù)，并且將該透過率圖像數(shù)據(jù)輸出至平均亮度透過率搜索單元805。

在步驟S905，平均亮度透過率搜索單元805通過使用平均亮度、亮度圖像數(shù)據(jù)和透過率圖像數(shù)據(jù)來搜索與平均亮度相對應(yīng)的透過率。然后，平均亮度透過率搜索單元805將與平均亮度相對應(yīng)的透過率輸出至參數(shù)計算單元807。

這里，通過使用圖11A和11B來說明與平均亮度相對應(yīng)的透過率的搜索處理。圖11A和11B是用于說明與平均亮度相對應(yīng)的透過率的搜索處理的說明圖。在圖11A和11B中，分別示出了用于示出通過拍攝三角形物體所獲得的輸入圖像的亮度的亮度圖像(圖11A)以及用于示出該輸入圖像的透過率的透過率圖像(圖11B)。這里，由平均亮度透過率搜索單元805輸入的平均亮度取值為Y0。平均亮度透過率搜索單元805在圖11A所示的亮度圖像內(nèi)搜索包括表示與Y0相同的亮度的一個或多個像素的區(qū)域。圖11A中陰影區(qū)域代表表示與Y0相同的亮度的區(qū)域。接下來，平均亮度透過率搜索單元805在透過率圖像內(nèi)搜索同表示與Y0相同的亮度的區(qū)域相對應(yīng)的區(qū)域(圖11B中的陰影區(qū)域)。最后，平均亮度透過率搜索單元805獲取圖11B的陰影區(qū)域中的各像素位置處的透過率，并且計算這些透過率的平均值作為與平均亮度相對應(yīng)的透過率t0。這里，平均亮度透過率搜索單元805搜索表示與Y0相同的亮度的區(qū)域，但平均亮度透過率搜索單元805也可以搜索表示與Y0相對應(yīng)的亮度的區(qū)域。例如，在Y0是包括小數(shù)點的值的情況下，平均亮度透過率搜索單元805還可以搜索表示與通過將Y0四舍五入為最接近的整數(shù)所獲得的值相同的亮度的區(qū)域。此外，例如，平均亮度透過率搜索單元805也可以搜索表示與Y0相差預(yù)先確定的閾值以下的亮度的區(qū)域。

在步驟S906中，基準強度獲取單元806獲取圖3所示的步驟S204中(具體為圖5所示的步驟S404的處理中)存儲在RAM 103中的基準強度并且將該基準強度輸出至參數(shù)計算單元807。

在步驟S907中，參數(shù)計算單元807通過使用步驟S903的處理中所計算出的平均亮度、步驟S905的處理中所計算出的與平均亮度相對應(yīng)的透過率以及步驟906的處理中所獲取到的基準強度，根據(jù)以下表達式6和7來計算曝光校正參數(shù)α。

首先，參數(shù)計算單元807通過使用表達式6來估計散射光去除圖像的平均亮度，即去除了散射光成分的情況下的平均亮度Y'。Y0是步驟S903的處理中所計算出的平均亮度。A是步驟S605的處理中所計算出的散射光的基準強度。接下來，參數(shù)計算單元807根據(jù)表達式7，即通過將Y0除以Y'，來計算曝光校正參數(shù)α。在步驟S908中，參數(shù)輸出單元808將步驟S907的處理中所計算出的曝光校正參數(shù)α輸出至曝光校正單元1015。

以上是本實施例中的曝光校正參數(shù)的計算方法。

這里，通過使用圖12A～12D來說明本實施例的效果。圖12A～12D是用于說明第一實施例的效果的說明圖。

在圖12A和12B中，示出了根據(jù)輸入圖像所獲得的亮度圖像和透過率圖像的示例。在圖12A和12B中，通過陰影示出具有與平均亮度Y0(根據(jù)圖12A所示的各像素位置處的亮度所計算出的平均值182.88(≈183))相對應(yīng)的亮度的像素的位置。根據(jù)圖12B可知與平均亮度相對應(yīng)的透過率t0是0.22。

在圖12C中，示出了根據(jù)散射光去除圖像(通過對上述的輸入圖像進行散射光去除處理所獲得的圖像)所獲得的亮度圖像，該亮度圖像是曝光校正前的亮度圖像。圖12C中的平均亮度是157.96(≈158)，因此，可知存在與輸入圖像的平均亮度Y0的差。也就是說，不能說圖12C所示的曝光校正前的圖像的亮度是適當?shù)牧炼取?/p>

這里，散射光的基準強度A是190。該值是通過對根據(jù)輸入圖像所獲得的R圖像、G圖像和B圖像(沒有示出)應(yīng)用上述的步驟S403中的基準強度計算處理而獲得的值。然后，根據(jù)表達式6，按照如下來估計Y'。

Y'＝(Y0-A)/t0+A＝157.64

根據(jù)所計算出的Y'變成與圖12C中的平均亮度(＝157.96)接近的值顯而易見，通過使用表達式6可以準確估計散射光去除圖像的平均亮度。

然后，通過將Y0除以所估計出的Y'，按照如下來計算α。

α＝Y(jié)0/Y'＝182.88/157.64≈1.16

在圖12D中，示出了根據(jù)散射光去除圖像(通過對上述的輸入圖像進行散射光去除處理而獲得的圖像)獲得的亮度圖像，該亮度圖像是使用所計算出的α進行曝光校正后的亮度圖像。圖12D中的平均亮度是183.6(≈184)，并且可知該值接近于圖12A中的平均亮度Y0(≈183)。也就是說，通過將本實施例中的曝光校正應(yīng)用到散射光去除處理后的圖像可知，可以將散射光去除處理后的圖像的亮度調(diào)整為合適的亮度。

如上所述，在本實施例中，通過使用輸入圖像的適當?shù)钠毓庵?對應(yīng)于本實施例的平均亮度)以及與該適當?shù)钠毓庵迪鄬?yīng)的透過率(對應(yīng)于本實施例的與平均亮度相對應(yīng)的透過率)，根據(jù)表達式6來估計輸入圖像的適當?shù)钠毓庵等绾巫兓?。結(jié)果，與計算圖像的直方圖等以及通過使用根據(jù)該直方圖的直方圖擴展等來進行曝光校正的一般技術(shù)相比，在本實施例中可以在無需計算直方圖等的情況下更簡單地執(zhí)行曝光校正。此外，通過進行諸如此類的基于估計的曝光校正，如12D所示，可以將散射光去除處理后的圖像的亮度調(diào)整為適當?shù)牧炼取?/p>

在本實施例中，作為表示適當?shù)钠毓庵档闹笜?，采用平均亮度作為示例，但也可以使用除平均亮度以外的參?shù)(例如，從內(nèi)置于攝像設(shè)備中的曝光計獲得的拍攝場景的大致亮度等)作為適當?shù)钠毓庵?。根?jù)這一方面，可以更簡單地估計輸入圖像的適當曝光值如何變化。

第二實施例

在第一實施例中，采用通過計算平均亮度并且通過搜索與所計算出的平均亮度相對應(yīng)的透過率來計算曝光校正參數(shù)的情況作為示例。在本實施例中，首先，計算平均透過率，然后通過搜索與平均透過率相對應(yīng)的亮度來計算曝光校正參數(shù)。

代替曝光校正參數(shù)計算單元1014，本實施例中的圖像處理設(shè)備包括曝光校正參數(shù)計算單元2014。圖像處理設(shè)備的其它結(jié)構(gòu)和圖像處理設(shè)備的整個處理的流程與第一實施例相同。結(jié)果，在下文中，僅說明本實施例中的曝光校正參數(shù)計算處理。

圖13是示出第二實施例中的曝光校正參數(shù)計算單元2014的內(nèi)部結(jié)構(gòu)的框圖。如圖13所示，第二實施例中的曝光校正參數(shù)計算單元2014包括輸入圖像獲取單元801、透過率圖像獲取單元802、亮度信號計算單元803、平均透過率計算單元1101、平均透過率亮度搜索單元1102、基準強度獲取單元806、參數(shù)計算單元807和參數(shù)輸出單元808。

圖14是示出第二實施例中的曝光校正計算單元2014的處理的流程圖。在本實施例中，負責圖14所示的處理的程序存儲在ROM 104或HDD 106中，并且圖13所示的各組件通過CPU 102加載并執(zhí)行相關(guān)程序來進行工作。圖13所示的所有組件可以不包括在曝光校正參數(shù)計算單元中，并且可以在圖像處理設(shè)備內(nèi)新設(shè)置與各塊相對應(yīng)的處理電路。

首先，在步驟S1201中，輸入圖像獲取單元801從HDD 106獲取步驟S401的處理中存儲在HDD 106中的輸入圖像數(shù)據(jù)。

在步驟S1202中，亮度信號計算單元803根據(jù)步驟S901的處理中所獲取到的輸入圖像數(shù)據(jù)生成亮度信號，并且將該亮度信號作為亮度圖像數(shù)據(jù)輸出至平均透過率亮度搜索單元1102。用以生成亮度信號的處理與步驟S902中的處理相同。

在步驟S1203中，透過率圖像獲取單元802獲取圖3所示的步驟S204中(具體為圖5所示的步驟S407的處理中)存儲在RAM 103中的透過率圖像數(shù)據(jù)，并且將透過率圖像數(shù)據(jù)輸出至平均透過率計算單元1101。

在步驟S1204中，平均透過率計算單元1101根據(jù)步驟S1203的處理中所獲取到的透過率圖像數(shù)據(jù)來計算整個圖像的平均透過率。然后，平均透過率計算單元1101將所計算出的平均透過率輸出至平均透過率亮度搜索單元1102。

在步驟S1205中，平均透過率亮度搜索單元1102通過使用平均透過率、亮度圖像數(shù)據(jù)和透過率圖像數(shù)據(jù)來搜索與平均透過率相對應(yīng)的亮度。然后，平均透過率亮度搜索單元1102將與平均透過率相對應(yīng)的亮度輸出至參數(shù)計算單元807。以同進行步驟S905中的用以搜索與平均亮度相對應(yīng)的透過率的處理相同的方式來進行用以搜索與平均透過率相對應(yīng)的亮度的處理。給出簡要說明。首先，平均透過率亮度搜索單元1102通過使用透過率圖像數(shù)據(jù)來搜索表示與所輸入的平均透過率相對應(yīng)的透過率的像素位置。接下來，平均透過率亮度搜索單元1102從亮度圖像數(shù)據(jù)中獲取被搜索到的各像素位置的亮度。然后，平均透過率亮度搜索單元1102計算所獲取到的亮度的平均值，作為與平均透過率相對應(yīng)的亮度。

在步驟S1206中，基準強度獲取單元806獲取圖3所示的步驟S204中(具體為圖5所示的步驟S404的處理中)存儲在RAM 103中的基準強度，并且將該基準強度輸出至參數(shù)計算單元807。

在步驟S1207中，參數(shù)計算單元807通過使用步驟S1204的處理中所計算出的平均透過率、步驟S1205的處理中所計算出的與平均透過率相對應(yīng)的亮度以及步驟S1206中所獲取到的基準強度，根據(jù)表達式6和7來計算曝光校正參數(shù)α。此時，作為表達式6中的Y0，代替平均亮度，設(shè)置步驟S1205的處理中所計算出的與平均透過率相對應(yīng)的亮度。此外，作為表達式6中的t0，代替與平均亮度相對應(yīng)的透過率，設(shè)置步驟S1204的處理中所計算出的平均透過率。在步驟S1208中，參數(shù)輸出單元808將步驟S1207的處理中所計算出的曝光校正參數(shù)α輸出至曝光校正單元1015。

以上是本實施例中的曝光校正參數(shù)的計算方法。

如上說明，在本實施例中，通過使用輸入圖像的適當?shù)钠毓庵?對應(yīng)于本實施例中的與平均透過率相對應(yīng)的亮度)以及與該適當?shù)钠毓庵迪鄬?yīng)的透過率(對應(yīng)于本實施例中的平均透過率)，根據(jù)表達式6來估計輸入圖像的適當?shù)钠毓庵等绾巫兓?。利用這一方面，如同第一實施例那樣，可以在無需計算直方圖等的情況下更簡單地進行曝光校正。此外，通過進行諸如此類的基于估計的曝光校正，可以將散射光去除處理后的圖像的亮度調(diào)整為適當?shù)牧炼取?/p>

在上述的實施例中，描述了進行直到用以輸出基準強度的處理和用以輸出透過率圖像的處理為止的示例，但是可以根據(jù)需要跳過這些處理，并且僅需要能夠至少輸出散射光去除圖像即可。

其它實施例

本發(fā)明的實施例還可以通過如下的方法來實現(xiàn)，即，通過網(wǎng)絡(luò)或者各種存儲介質(zhì)將執(zhí)行上述實施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計算機或是中央處理單元(CPU)、微處理單元(MPU)讀出并執(zhí)行程序的方法。

根據(jù)本發(fā)明，可以將已經(jīng)針對各局部區(qū)域進行了對比度校正的圖像的亮度調(diào)整為適當?shù)牧炼取?/p>

盡管已經(jīng)參考典型實施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不局限于所公開的典型實施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功能。