專利名稱：圖像處理裝置及攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種對圖像進(jìn)行圖像處理的圖像處理裝置以及數(shù)碼照相機(jī)或數(shù)碼攝
像機(jī)等攝像裝置。
背景技術(shù)：
近年來，廣泛開發(fā)了抑制由于手抖動或被攝體抖動而產(chǎn)生的圖像模糊的技術(shù)。這 種技術(shù)中，也有用光學(xué)方法進(jìn)行抖動修正的技術(shù)，但是為了用光學(xué)方法進(jìn)行抖動修正，需要 具備檢測抖動的傳感器以及光學(xué)上進(jìn)行抖動修正的機(jī)構(gòu)。這些傳感器以及機(jī)構(gòu)的搭載在成 本和裝置的小型化方面具有不利影響。因此，也提出了各種各樣通過攝影后的圖像處理對 模糊進(jìn)行修正的技術(shù)。 例如，在某種以往方法中，通過曝光時間(e鄧osure time)短的曝光拍攝出分辨率
高但噪聲多的第一圖像，并且通過曝光時間(e鄧osure time)長的曝光拍攝出分辨率低但
噪聲少的第二圖像。而且，基于第一和第二圖像的圖像數(shù)據(jù)檢測兩圖像間的位置偏差，進(jìn)行
用于消除該位置偏差的對位之后，通過合成第一和第二圖像來生成修正圖像。 此時，判斷第一和第二圖像間的差分大的圖像區(qū)域為邊緣區(qū)域，使針對該圖像區(qū)
域的第一圖像的合成比率較高，相反，判斷該差分小的圖像區(qū)域為非邊緣區(qū)域，使針對該圖
像區(qū)域的第二圖像的合成比率較高。由此，實現(xiàn)了生成模糊以及噪聲少的圖像。 但是，在基于第一和第二圖像間的差分的邊緣區(qū)域判定中，由于除了真正的邊緣
之外，也會將噪聲判斷成邊緣，因此第一圖像的大部分噪聲混入修正圖像中的可能性會變
高。盡可能抑制這種第一圖像的噪聲混入的技術(shù)很重要。 另外，進(jìn)行上述對位時，如圖24所示，通常，不會使第一圖像的全圖像區(qū)域900的 位置與第二圖像的全圖像區(qū)域901的位置完全一致，會產(chǎn)生全圖像區(qū)域900與全圖像區(qū)域 901之間重疊的區(qū)域902(對應(yīng)于圖24的斜線區(qū)域)和兩者不重疊的區(qū)域903(對應(yīng)于圖 24的畫點(diǎn)區(qū)域)。此時，通過根據(jù)第一和第二圖像的重疊區(qū)域902內(nèi)的圖像數(shù)據(jù)生成修正 圖像的重疊區(qū)域902內(nèi)的圖像911，而根據(jù)第一圖像的非重疊區(qū)域903內(nèi)的圖像數(shù)據(jù)生成修 正圖像的非重疊區(qū)域903內(nèi)的圖像912，并貼合(結(jié)合)生成的圖像911和912，能夠使修 正圖像的視角(視野)與第一圖像的視角一致。 但是，此時，由于通過不同的方法生成修正圖像的重疊區(qū)域內(nèi)的圖像與非重疊區(qū) 域內(nèi)的圖像，因此不進(jìn)行任何措施時存在修正圖像的貼合邊界很明顯的隱患(存在重疊區(qū) 域與非重疊區(qū)域之間的噪聲等級差明顯的隱患)。

發(fā)明內(nèi)容
本發(fā)明的第一圖像處理裝置，對通過攝影獲得的第一圖像、通過曝光時間比所述
4第一圖像的曝光時間長的攝影獲得的第二圖像、通過降低所述第一圖像的噪聲獲得的第三
圖像進(jìn)行合成來生成輸出圖像，其特征在于，具備噪聲降低處理控制部，其根據(jù)所述第一圖
像的噪聲等級來控制用于從所述第一圖像獲得所述第三圖像的圖像處理的內(nèi)容。 具體而言，例如，上述第一圖像處理裝置具備用于降低所述第一圖像的噪聲的互
不相同的多個噪聲降低部，所述噪聲降低處理控制部從所述多個噪聲去除部之中選擇與所
述第一圖像的噪聲等級相應(yīng)的噪聲去除部，并且通過由所選擇的噪聲去除部降低所述第一
圖像的噪聲來生成所述第三圖像。 或者，例如，在上述第一圖像處理裝置中，通過對所述第一圖像應(yīng)用一次以上的規(guī) 定的噪聲降低處理來生成所述第三圖像，所述噪聲降低處理控制部根據(jù)所述第一圖像的噪 聲等級來改變對所述第一圖像應(yīng)用的所述噪聲降低處理的次數(shù)。 另外，例如，上述第一圖像處理裝置還具備對位部，其進(jìn)行所述第一和第二圖像 的對位；第一合成部，其以對應(yīng)于所述第三圖像與對位后的第二圖像之差的合成比率來合 成所述第三圖像與對位后的第二圖像，從而生成第四圖像；和第二合成部，其以對應(yīng)于所述 第一或第三圖像所包含的邊緣的強(qiáng)度的合成比率來合成所述第一圖像與所述第四圖像，從 而生成所述輸出圖像。 本發(fā)明的第二圖像處理裝置的特征在于，具備對位部，其對通過攝影獲得的第一 圖像和通過曝光時間比所述第一圖像的曝光時間長的攝影獲得的第二圖像進(jìn)行對位；噪聲 降低部，其對對位后的所述第一和第二圖像的圖像區(qū)域間的重疊區(qū)域和非重疊區(qū)域進(jìn)行確 定，并且通過對所述第一圖像的重疊區(qū)域內(nèi)的圖像執(zhí)行第一噪聲降低處理來生成第一噪聲 降低圖像，而通過對所述第一圖像的非重疊區(qū)域內(nèi)的圖像執(zhí)行與所述第一噪聲降低處理不 同的第二噪聲降低處理來生成第二噪聲降低圖像；和結(jié)合部，其將合成所述第一和第二圖 像的重疊區(qū)域內(nèi)的圖像與所述第一噪聲降低圖像而獲得的合成圖像，與所述第二噪聲降低 圖像結(jié)合，從而生成輸出圖像。 本發(fā)明的第三圖像處理裝置，根據(jù)通過攝影獲得的第一圖像和通過曝光時間比所 述第一圖像的曝光時間長的攝影獲得的第二圖像，生成降低了所述第一圖像的噪聲后的第 三圖像和作為所述第二與第三圖像的合成圖像的第四圖像，并通過合成所述第一和第四圖 像來生成輸出圖像，其特征在于，具備合成比率調(diào)整部，其根據(jù)所述第一 圖像的噪聲等級， 來調(diào)整作為合成所述第二和第三圖像時的合成比率的第一合成比率、和作為合成所述第一 和第四圖像時的合成比率的第二合成比率之中的至少一方。 更具體而言，例如，在上述第三圖像處理裝置中，所述第一合成比率通過將所述第 二圖像與所述第三圖像之差應(yīng)用到規(guī)定的第一變換條件中而被導(dǎo)出，并且，所述第二合成 比率通過將所述第一圖像或第三圖像所包含的邊緣的強(qiáng)度應(yīng)用到規(guī)定的第二變換條件中 而被導(dǎo)出，所述合成比率調(diào)整部通過根據(jù)所述第一圖像的噪聲等級調(diào)整所述第一和第二變 換條件之中的至少一方，從而根據(jù)所述第一圖像的噪聲等級調(diào)整所述第一和第二合成比率 之中的至少一方。 本發(fā)明的攝像裝置具備通過攝影獲取圖像的攝像部和上述的任一個圖像處理裝 置。而且，所述第一和第二圖像由所述攝像部獲取。 本發(fā)明的意義和效果會通過以下所示的實施方式的說明而變得更加明確。但是， 以下的實施方式始終是本發(fā)明的一個實施方式，本發(fā)明和各構(gòu)成要件的用語的意義不僅限于以下實施方式所記載的內(nèi)容。


圖1是本發(fā)明的一實施方式所涉及的攝像裝置的整體模塊圖。圖2是圖1的攝像 部的內(nèi)部結(jié)構(gòu)圖。圖3(a)和(b)分別是表示圖1的攝像裝置所拍攝的短曝光圖像與適當(dāng) 曝光圖像的例子的圖。圖4是表示空間區(qū)域的二維坐標(biāo)系與二維圖像的圖。圖5是本發(fā)明 的第一實施例所涉及的圖像修正部的內(nèi)部模塊圖。圖6(a)和(b)是用于說明短曝光圖像 與適當(dāng)曝光圖像之間的塊匹配的圖。圖7是表示通過降低圖3(a)的短曝光圖像的噪聲而 獲得的第二中間生成圖像的圖。圖8是表示對位后的適當(dāng)曝光圖像(第一中間生成圖像) 與噪聲降低處理后的短曝光圖像(第二中間生成圖像)之間的差分圖像的圖。圖9是表示 由圖5的差分值計算部獲得的差分值與第一和第二中間生成圖像的像素信號的混合率之 間的關(guān)系的圖。圖IO是表示通過將對位后的適當(dāng)曝光圖像(第一中間生成圖像)與噪聲 降低處理后的短曝光圖像(第二中間生成圖像)合成而獲得的第三中間生成圖像的圖。圖 ll是表示通過對噪聲降低處理后的短曝光圖像(第二中間生成圖像)進(jìn)行邊緣提取處理而 獲得的邊緣圖像的圖。圖12是表示由圖5的邊緣強(qiáng)度值計算部獲得的邊緣強(qiáng)度值與短曝 光圖像和第三中間生成圖像的像素信號的混合率之間的關(guān)系的圖。圖13是表示通過合成 短曝光圖像與第三中間生成圖像而獲得的目標(biāo)修正圖像的圖。圖14是表示對位后的短曝 光圖像的圖像區(qū)域與適當(dāng)曝光圖像的圖像區(qū)域的位置關(guān)系的圖。圖15是本發(fā)明的第2實 施例所涉及的圖像修正部的內(nèi)部模塊圖。圖16是表示本發(fā)明的第2實施例所涉及的第二 中間生成圖像的生成動作的流程的流程圖。圖17(a)是表示搜索適當(dāng)曝光圖像內(nèi)的平坦區(qū) 域的情況的圖，圖17(b)是表示適當(dāng)曝光圖像和短曝光圖像內(nèi)的平坦區(qū)域的圖。圖18(a) 和(b)分別是表示具有3X3濾波器尺寸的空間濾波器和具有5X5濾波器尺寸的空間濾波 器的圖。圖19是表示本發(fā)明的第3實施例所涉及的第二中間生成圖像的生成動作的流程 的流程圖。圖20是本發(fā)明的第4實施例所涉及的圖像修正部的內(nèi)部模塊圖。圖21是表示 針對對位后的短曝光圖像和適當(dāng)曝光圖像定義重疊區(qū)域和非重疊區(qū)域的情況、提取適當(dāng)曝 光圖像的重疊區(qū)域以及短曝光圖像的重疊區(qū)域和非重疊區(qū)域的情況的圖。圖22是表示貼 合結(jié)合本發(fā)明的第4實施例所涉及的兩個圖像的情況的圖。圖23是本發(fā)明的第5實施例 所涉及的圖像修正部的內(nèi)部模塊圖。圖24是表示現(xiàn)有技術(shù)中對位后的第一圖像的圖像區(qū) 域與第二圖像的圖像區(qū)域的位置關(guān)系、根據(jù)對位后的第一圖像和第二圖像生成修正圖像的 情況的圖。
具體實施例方式
下面，參照附圖具體說明本發(fā)明的一實施方式。在所參照的各圖中，對相同部分賦 予相同符號，原則上省略關(guān)于相同部分的重復(fù)說明。下面將說明第1 第5實施例，首先， 說明在各實施例中共同的內(nèi)容或在各實施例中參照的內(nèi)容。 圖1是本發(fā)明的一實施方式所涉及的攝像裝置1的整體模塊圖。攝像裝置1是能 夠攝影和記錄靜止圖像的數(shù)碼照相機(jī)或者是能夠攝影和記錄靜止圖像和運(yùn)動圖像的數(shù)碼 攝像機(jī)。另外，攝影與攝像意思相同。攝像裝置l具備攝像部11、AFE (Analog Front End) 12、主控制部13、內(nèi)部存儲器14、顯示部15、記錄介質(zhì)16、操作部17。主控制部13中具有圖像修正部20。操作部17中 具有快門按鈕17a。另外，在本實施方式中，假設(shè)顯示部15被設(shè)置在攝像裝置1中，但是也 可以是在攝像裝置1的外部設(shè)置顯示部15的顯示裝置。 圖2表示攝像部11的內(nèi)部結(jié)構(gòu)圖。攝像部11具有光學(xué)系統(tǒng)35、光圈32、 CCD(Charge Coupled Devices)或CMOS (Complementary MetalOxide Semiconductor)圖像 傳感器等構(gòu)成的攝像元件33、用于驅(qū)動控制光學(xué)系統(tǒng)35或光圈32的驅(qū)動器34。光學(xué)系統(tǒng) 35由包括變焦透鏡30和聚焦透鏡31的多塊透鏡形成。變焦透鏡30和聚焦透鏡31能夠 在光軸方向上移動。驅(qū)動器34基于從主控制部13輸出的驅(qū)動控制信號來驅(qū)動控制變焦透 鏡30和聚焦透鏡31的各位置以及光圈32的開度，從而控制攝像部11的焦距(視角)和 焦點(diǎn)位置以及向攝像元件33的入射光量。 攝像元件33對通過光學(xué)系統(tǒng)35和光圈32入射的表示被攝體的光學(xué)像進(jìn)行光電 變換，并向AFE12輸出通過該光電變換獲得的電信號。更具體而言，攝像元件33具備矩陣 狀二維排列的多個受光像素，各受光像素蓄積與曝光時間(即曝光時間的長度)相應(yīng)的電 荷量的信號電荷。具有與蓄積的信號電荷的電荷量成比例的大小的來自各受光像素的模擬 信號，隨著攝像裝置l內(nèi)生成的驅(qū)動脈沖而依次被輸出到AFE12。以下說明的"曝光"是指 攝像元件33的曝光。 AFE12放大從攝像部11(攝像元件33)輸出的模擬信號，并將放大后的模擬信號變 換為數(shù)字信號。AFE12依次向主控制部13輸出該數(shù)字信號。 主控制部13具備CPU (Central Processing Unit) 、 ROM (Read 0nlyMemory)以及 RAM(Random Access Memory)等，作為影像信號處理部而起作用。主控制部13基于AFE12 的輸出信號，生成表示由攝像部ll攝影的圖像(以下，稱作"攝影圖像")的影像信號。另 外，主控制部13還具備作為控制顯示部15的顯示內(nèi)容的顯示控制單元的功能，對顯示部15 進(jìn)行顯示中必要的控制。另外，主控制部13向攝像部11輸出用于控制攝像單元33的曝光 時間的曝光時間控制信號。對主控制部13具備的圖像修正部20的功能將在后面敘述。
內(nèi)部存儲器14由SDRAM (Synchronous Dynamic Random AccessMemory)等形成， 暫時存儲攝像裝置1內(nèi)生成的各種數(shù)據(jù)。顯示部15是由液晶顯示屏等構(gòu)成的顯示裝置，在 主控制部13的控制下顯示攝影的圖像或記錄在記錄介質(zhì)16中的圖像等。記錄介質(zhì)16是 SD(Secure Digital)存儲卡等非易失性存儲器，在主控制部13的控制下存儲攝影圖像等。
操作部17接受來自外部的操作。對操作部17的操作內(nèi)容被傳遞給主控制部13。 快門按鈕17a是用于指示圖像的攝影和記錄的按鈕。 快門按鈕17a形成為能夠進(jìn)行兩階段的下按操作。攝影者輕輕按快門按鈕17a時， 快門按鈕17a處于半按狀態(tài)，從該狀態(tài)進(jìn)一步按快門按鈕17a時，快門按鈕17a處于全按狀 態(tài)。 攝影圖像中會包含由于手抖動引起的模糊。圖像修正部20具備下述功能，即不 進(jìn)行光學(xué)方式的手抖動修正，而是通過利用了由攝像部11的輸出信號所表示的圖像數(shù)據(jù) 的圖像處理來生成模糊少的圖像的功能。下面，特別將應(yīng)由圖像修正部20生成的模糊少的 圖像稱作"目標(biāo)修正圖像"。 目標(biāo)修正圖像基于適當(dāng)曝光圖像和短曝光圖像而生成。適當(dāng)曝光圖像指通過根據(jù) 適當(dāng)曝光時間T。P的曝光的攝影而從攝像元件33獲得的圖像，短曝光圖像指通過根據(jù)比適
7當(dāng)曝光時間T。P短的曝光時間TSH的曝光的攝影從攝像元件33獲得的圖像。
調(diào)整獲取短曝光圖像時的靈敏度，使得攝影圖像的明亮度在短曝光圖像和適當(dāng)曝光圖像之間為相同程度。即，基于適當(dāng)曝光時間T。p與曝光時間T^之比，使獲取短曝光圖像時的靈敏度比獲取適當(dāng)曝光圖像時的靈敏度大，從而使攝影圖像的明亮度在短曝光圖像和適當(dāng)曝光圖像間為相同程度。靈敏度例如是ISO靈敏度。ISO靈敏度是指由ISO(InternationalOrganization for Standardization)規(guī)定的靈敏度，通過調(diào)節(jié)ISO靈敏度，能夠調(diào)節(jié)攝影圖像的明亮度(亮度級)。實際上，根據(jù)IS0靈敏度決定AFE12中的信號放大的放大率。該放大率與ISO靈敏度成比例。若ISO靈敏度變成兩倍，則該放大率也變成兩倍，由此，攝影圖像的各像素的亮度值(即，明亮度)也變成兩倍(其中，忽略放大中的飽和)。某一像素的亮度值是指該像素的亮度信號的值。 由于短曝光圖像通過比較短的曝光時間攝影而得到，因此短曝光圖像中包含的由于手抖動而引起的模糊和由于被攝體抖動而引起的模糊比較少。因此，在短曝光圖像中會清晰地描繪邊緣。但是，由于攝影時的靈敏度高，因此短曝光圖像中包含的噪聲比較多。
相對于此，適當(dāng)曝光圖像通過比較長的曝光時間攝影而得到，因此適當(dāng)曝光圖像中包含的噪聲比較少。但是，由于曝光時間長，因此易在適當(dāng)曝光圖像中包含由于手抖動和被攝體抖動而引起的模糊。 圖3(a)和(b)表示短曝光圖像與適當(dāng)曝光圖像的例子。圖3(a)和(b)中的圖像310和311分別是短曝光圖像與適當(dāng)曝光圖像的例子。通過對作為關(guān)注被攝體的人物SUB站在作為背景被攝體的山前的狀態(tài)進(jìn)行攝影而獲得短曝光圖像310與適當(dāng)曝光圖像311。
與適當(dāng)曝光圖像311相比，在短曝光圖像310中，雖然清晰地描繪了邊緣，但是混入了比較大的噪聲(對應(yīng)于圖3(a)的黑色斑點(diǎn))。另一方面，與短曝光圖像310相比，雖然適當(dāng)曝光圖像311所包含的噪聲少，但是在適當(dāng)曝光圖像311上人物SUB非常模糊。另外，在圖3(a)和(b)中，假設(shè)在短曝光圖像310和適當(dāng)曝光圖像311的攝影中人物SUB在移動，由此，與短曝光圖像310上的人物SUB的位置相比，適當(dāng)曝光圖像311上的人物SUB位于靠右的位置處，并且適當(dāng)曝光圖像311上的人物SUB中產(chǎn)生了被攝體模糊。
另外，如圖4所示，定義配置任意的二維圖像300的空間區(qū)域(spatialdomain)的二維坐標(biāo)系XY。圖像300例如是適當(dāng)曝光圖像、短曝光圖像、目標(biāo)修正圖像或者后述的第一 第三中間生成圖像。X軸和Y軸是沿二維圖像300的水平方向和垂直方向的軸。二維圖像300形成為多個像素分別在水平方向和垂直方向上排列成矩陣狀，用(x， y)表示作為二維圖像300上的任一像素的像素301的位置。在本說明書中，將像素的位置也只叫做像素位置。x和y分別是像素301的X軸和Y軸方向的坐標(biāo)值。在二維坐標(biāo)系XY中，若某像素的位置向右側(cè)偏離一個像素值，則該像素的X軸方向的坐標(biāo)值就會增加l，若某像素的位置向上側(cè)偏離一個像素值，則該像素的Y軸方向的坐標(biāo)值就會增加1。因此，像素301的位置為(x，y)時，與像素301的右側(cè)、左側(cè)、上側(cè)以及下側(cè)相鄰的像素的位置分別用(x+l，y)、(x-l， y) 、 (x， y+l) 、 (x， y-l)來表示。 以下，作為說明攝像裝置l(特別是圖像修正部20)的結(jié)構(gòu)和動作的實施例，說明第1 第5實施例。只要不存在矛盾之處，則某實施例中記載的內(nèi)容也能夠適用于其它實施例。特別是，由于第1實施例中記載了第2 第5實施例所示的技術(shù)的前提技術(shù)，因此，第1實施例所記載的內(nèi)容在不存在矛盾的情況下也能適用于第2 第5實施例。
8
(第1實施例)首先，說明第1實施例。在第1實施例中，通過按快門按鈕17a，能獲得如下的短曝光圖像和適當(dāng)曝光圖像。 確認(rèn)快門按鈕17a處于半按狀態(tài)時，主控制部13進(jìn)行預(yù)曝光，并根據(jù)預(yù)曝光獲得的AFE12的輸出信號電平?jīng)Q定適當(dāng)曝光時間T。p。預(yù)曝光指進(jìn)行短曝光圖像和適當(dāng)曝光圖像的曝光之前進(jìn)行的曝光。之后，確認(rèn)快門按鈕17a處于全按狀態(tài)時，連續(xù)攝影短曝光圖像和適當(dāng)曝光圖像?？梢詳z影短曝光圖像之后攝影適當(dāng)曝光圖像，也可以攝影適當(dāng)曝光圖像之后攝影短曝光圖像，但是按照兩圖像的曝光間隔盡量短的方式連續(xù)對兩圖像進(jìn)行攝影。如上所述，適當(dāng)曝光圖像是以適當(dāng)曝光時間T。P攝影的，短曝光圖像是以比適當(dāng)曝光時間T。P短的曝光時間T^攝影的。例如，將曝光時間T^設(shè)定為相當(dāng)于光學(xué)系統(tǒng)35的焦距的倒數(shù)的手抖動極限曝光時間以下。也可以將TSH設(shè)定為T。P/4等。 圖5是第1實施例所涉及的圖像修正部20的內(nèi)部模塊圖。在第1實施例中，作為圖1的圖像修正部20，使用圖像修正部20a。如上述的攝影的短曝光圖像和適當(dāng)曝光圖像的圖像數(shù)據(jù)被輸入到圖像修正部20a。圖像數(shù)據(jù)指表示圖像的顏色和亮度的數(shù)據(jù)。
圖像修正部20a具備檢測短曝光圖像與適當(dāng)曝光圖像之間的位置偏差來進(jìn)行兩圖像間的對位的對位部51、降低短曝光圖像所包含的噪聲的噪聲降低部52、獲得對位后的適當(dāng)曝光圖像與噪聲降低后的短曝光圖像之間的差分來計算出各像素位置的差分值的差分值計算部53、以基于該差分值的合成比率將對位后的適當(dāng)曝光圖像與噪聲降低后的短曝光圖像進(jìn)行合成的第一合成部54、從噪聲降低后的短曝光圖像中提取邊緣后計算出邊緣強(qiáng)度值的邊緣強(qiáng)度值計算部55、以基于邊緣強(qiáng)度值的合成比率對短曝光圖像與第一合成部54生成的合成圖像進(jìn)行合成從而生成目標(biāo)修正圖像的第二合成部56。
對圖像修正部20a內(nèi)的各部分的動作進(jìn)行詳細(xì)說明。另外，只說短曝光圖像的情況是指沒有進(jìn)行基于噪聲降低部52或后述的其它噪聲降低部(57等)的噪聲降低處理的短曝光圖像(在后述的其它的實施例中也相同)。圖3(a)例示的短曝光圖像310是沒有進(jìn)行基于噪聲降低部52的噪聲降低的短曝光圖像。 對位部51基于短曝光圖像和適當(dāng)曝光圖像的圖像數(shù)據(jù)檢測短曝光圖像與適當(dāng)曝光圖像之間的位置偏差，并基于檢測出的位置偏差進(jìn)行短曝光圖像和適當(dāng)曝光圖像間的對位。如上所述，由于連續(xù)拍攝短曝光圖像和適當(dāng)曝光圖像，因此拍攝兩圖像時的攝影區(qū)域大致相同，但是，由于拍攝兩圖像的時刻不完全相同，因此兩圖像的攝影區(qū)域會稍有偏離，結(jié)果，有時具有同一被攝體的圖像數(shù)據(jù)的短曝光圖像上的位置與適當(dāng)曝光圖像上的位置會稍有偏離。 對位部51檢測該位置偏差，并對適當(dāng)曝光圖像的各像素的坐標(biāo)值進(jìn)行坐標(biāo)變換，使得消除檢測出的位置偏差。由此，若忽略誤差，則具有同一被攝體的圖像數(shù)據(jù)的短曝光圖像上的位置與坐標(biāo)變換后的適當(dāng)曝光圖像上的位置完全一致。 作為對位部51的位置偏差的檢測方法，可采用能夠從兩張圖像的圖像數(shù)據(jù)檢測兩張圖像間的位置偏差的任意方法。例如，可采用代表點(diǎn)匹配法、塊匹配法或梯度法來檢測位置偏差。作為示例，參照圖6(a)和(b)，說明利用塊匹配法時的位置偏差檢測方法。
在圖6(a)中，符號350表示短曝光圖像，符號351表示設(shè)定在短曝光圖像350內(nèi)的關(guān)注塊。關(guān)注塊351是短曝光圖像350的全圖像區(qū)域(整個圖像區(qū)域)的一部分。在圖6(b)中，符號360表示適當(dāng)曝光圖像，符號361表示設(shè)定在適當(dāng)曝光圖像360內(nèi)的候選塊。候選塊361是適當(dāng)曝光圖像360的全圖像區(qū)域的一部分。關(guān)注塊351與候選塊361具有相同的圖像尺寸(由相同的像素數(shù)的像素形成)。圖6(b)的虛線矩形區(qū)域內(nèi)的范圍362表示候選塊361可能處于的位置的搜索范圍。搜索范圍362例如是以關(guān)注塊351的中心位置為中心的矩形范圍。 對位部51計算出關(guān)注塊351內(nèi)的圖像與候選塊361內(nèi)的圖像之間的相關(guān)值。此時，使候選塊361在搜索范圍362內(nèi)向水平方向或垂直方向每次移動1像素，并在每次移動時計算出相關(guān)值。相關(guān)值例如是關(guān)注塊351與候選塊361之間的互相對應(yīng)的像素的亮度差的絕對值的總和。即，例如，將關(guān)注塊351內(nèi)的每個像素分別作為關(guān)注像素來捕捉，按每個關(guān)注像素求出關(guān)注塊351內(nèi)的關(guān)注像素的亮度值與候選塊361內(nèi)與關(guān)注像素對應(yīng)的像素的亮度值之差的絕對值，并計算由此獲得的絕對值(關(guān)注塊351中的像素數(shù)量個絕對值)的總和作為相關(guān)值?；谠摽偤偷南嚓P(guān)值一般被稱作SAD(Sum of Absolute Difference)。另外，不一定是表示亮度差的絕對值的總和的SAD，也可以將表示亮度差的平方的總和的SSD(Sum of SquaredDifference)作為相關(guān)值來求出。 相關(guān)值表示關(guān)注塊351內(nèi)的圖像與候選塊361內(nèi)的圖像之間的類似性，這些圖像的類似性越高，則對應(yīng)的相關(guān)值就越小。對位部51對相關(guān)值最小的候選塊361的中心位置進(jìn)行確定，并將從關(guān)注塊351的中心位置向候選塊361的中心位置的向量作為運(yùn)動向量來求出。由該運(yùn)動向量的方向和大小，表示從短曝光圖像觀察的適當(dāng)曝光圖像的位置偏差的方向和大小。 對位部51通過基于這樣求出的位置偏差(運(yùn)動向量)對適當(dāng)曝光圖像進(jìn)行上述的坐標(biāo)變換來修正該位置偏差。將該位置偏差修正后的適當(dāng)曝光圖像(換言之，對位后的適當(dāng)曝光圖像)稱作第一中間生成圖像。另外，也可以利用檢測攝像裝置1的框體的移動的手抖動檢測傳感器(例如，檢測攝像裝置1的框體的角速度的角速度傳感器)來進(jìn)行檢 噪聲降低部52通過對短曝光圖像進(jìn)行噪聲降低處理，降低短曝光圖像所含的噪聲。能夠用適合于噪聲降低的任意的空間濾波來實現(xiàn)噪聲降低部52的噪聲降低處理。在噪聲降低部52的空間濾波中，優(yōu)選利用盡量保存邊緣的空間濾波器，例如，可采用利用中值濾波器的空間濾波。 另外，還可以利用適合于噪聲降低的任意的頻率濾波來實現(xiàn)噪聲降低部52的噪聲降低處理。在噪聲降低部52中利用頻率濾波時，利用使短曝光圖像所包含的空間頻率分量中小于規(guī)定的截止頻率的空間頻率分量通過且降低該截止頻率以上的空間頻率分量的低通濾波器即可。另外，通過使用了中值濾波器等的空間濾波，也使短曝光圖像所包含的空間頻率分量中的頻率比較低的空間頻率分量幾乎都保留下來，而降低頻率比較高的空間頻率分量。因此，也可以認(rèn)為使用了中值濾波器等的空間濾波也是基于低通濾波器進(jìn)行濾波的一種。 噪聲降低部52進(jìn)行了噪聲降低處理后的短曝光圖像作為第二中間生成圖像(第三圖像)而起作用。圖7表示通過對圖3(a)的短曝光圖像310進(jìn)行噪聲降低處理而獲得的第二中間生成圖像312。比較圖3(a)和圖7可知，在第二中間生成圖像312中，降低了短曝光圖像310所包含的噪聲，而與短曝光圖像310相比，邊緣稍微變得不清晰。
差分值計算部53計算出第一中間生成圖像與第二中間生成圖像之間的各像素位置的差分值。用DIF(x， y)表示像素位置(x， y)處的差分值。差分值DIF(x， y)是表示第一中間生成圖像的像素位置(x，y)處的像素與第二中間生成圖像的像素位置(x，y)處的像素之間的亮度和/或色差的值。 差分值計算部53例如基于下述式(1)，計算出差分值DIF(x， y)。這里，PlY(x， y)是第一中間生成圖像的像素位置(x，y)處的像素的亮度值，P2y(x，y)是第二中間生成圖像的像素位置(x， y)處的像素的亮度值。DIF(x， y) = lPly(x， y)_P2Y(x， y) | …(1)
除了式(1)夕卜，還能利用RGB形式的信號值并基于下述式(2)或式(3)來計算差分值DIF(x， y)。這里，PlK(x， y)、Ple(x， y)以及PlJx， y)分別是第一中間生成圖像的像素位置(x，y)處的像素的R、G以及B信號的值，P2K(x，y)、P2jx，y)以及P2B(x，y)分別是第二中間生成圖像的像素位置(x， y)處的像素的R、G以及B信號的值。某像素的R、G以及B信號是表示該像素的紅、綠以及藍(lán)的強(qiáng)度的顏色信號。DIF(x，y) = |PlK(x，y)-P2K(x，y) +|PlG(x， y)_P2G(x， y) ... (2) + |PlB(x， y)_P2B(x， y) DIF(x， y) = [{PlK(x， y)_P2K(x，y)} 2+ {P1G (x， y) —P2G (x， y)} 、.. (3) + {P1B (x， y) —P2B (x， y)}2]1/2 基于上述式(1)、式(2)或式(3)的差分值DIF(x， y)的計算方法僅僅是例示，也可以用這些以外的方法求出差分值DIF(x，y)。例如，也可以利用YUV形式的信號值并通過與使用RGB形式的信號值時相同的方法計算出差分值DIF(x， y)。此時，將式(2)和式(3)中的R、G以及B分別替換成Y、U以及V即可。YUV形式的信號由Y表示的亮度信號、U和V表示的色差信號構(gòu)成。 圖8表示將各像素位置的差分值DIF(x， y)作為像素信號值的差分圖像的例子。圖8的差分圖像313是基于圖3(a)和(b)的短曝光圖像310和適當(dāng)曝光圖像311的差分圖像。在差分圖像313中，用白色表示差分值DIF(x， y)比較大的部分，用黑色表示差分值DIF(x， y)比較小的部分。由于短曝光圖像310和適當(dāng)曝光圖像311攝影中的人物SUB的移動，差分圖像313中的人物SUB的移動區(qū)域中的差分值DIF(x， y)變得比較大。另外，由于因手抖動而引起的適當(dāng)曝光圖像311上的模糊，也會使邊緣附近(人物或山的輪廓部分)的差分值DIF(x，y)變大。 第一合成部54進(jìn)行第一中間生成圖像與第二中間生成圖像的合成，并將獲得的合成圖像作為第三中間生成圖像(第四圖像)來輸出。通過對第一和第二中間生成圖像的對應(yīng)像素的像素信號進(jìn)行加權(quán)相加來實現(xiàn)該合成。通過加權(quán)相加會混合對應(yīng)像素的像素信號，可基于差分值DIF(x， y)來決定該混合率(換言之，合成比率)。用a (x， y)表示由第一合成部54決定的對應(yīng)于像素位置(x， y)的混合率。 圖9表示差分值DIF(x， y)與混合率a (x， y)之間的關(guān)系例。采用圖9的關(guān)系例時，設(shè)"DIF(x， y) < Thl—L"成立時，"a (x， y) = 1"，設(shè)"Thl_L《DIF (x， y) 〈Thljl"成立時，"a (x， y) = l-(DIF(x， y)-Thl_L)/(Thl_H-Thl_L)"，設(shè)"ThlJl《DIF(x， y)"成立時，"a (x， y) = 0"。這里，Thl—L和Thljl是滿足"0 < Thl_L < Thl_H"的規(guī)定的閾值。采用圖9的關(guān)系例時，隨著差分值DIF(x， y)從閾值Thl—L向閾值Thl_H增大，對應(yīng)的混合率a (x， y)會從1向0線性減小，但是也可以使混合率a (x， y)非線性減小。
第一合成部54在根據(jù)各像素位置處的差分值DIF(x，y)決定了各像素位置的混合率a (x， y)之后，通過根據(jù)下述式(4)混合第一和第二中間生成圖像的對應(yīng)像素的像素信號，來生成第三中間生成圖像的像素信號。這里，Pl(x， y)、P2(x， y)以及P3(x， y)分別表示第一、第二以及第三中間生成圖像的像素位置(x， y)處的像素信號。P3(x， y) = a (x，y)XPl(x，y) + {l-a (x， y)} X P2 (x， y)... (4) 像素信號Pl(x，y)、P2(x，y)以及P3(x，y)分別是表示第一、第二以及第三中間生成圖像的像素位置(x，y)處的像素的亮度和顏色的信號，例如以RGB形式或YUV形式表示。例如，像素信號Pl(x， y)等由R、G以及B信號構(gòu)成時，通過按每個R、G以及B信號分別混合像素信號Pl(x， y)和P2(x， y)來獲得像素信號P3(x， y)即可。像素信號Pl (x， y)等由Y、U以及V信號構(gòu)成時也一樣。 圖10表示由第一合成部54獲得的第三中間生成圖像的例子。圖IO所示的第三中間生成圖像314是基于圖3(a)和(b)的短曝光圖像310和適當(dāng)曝光圖像311的第三中間生成圖像。 如上所述，由于在人物SUB移動的區(qū)域中差分值DIF(x， y)變得比較大，因此第二中間生成圖像312(參照圖7)對于第三中間生成圖像314的貢獻(xiàn)性(l-a (x，y))變得比較大。結(jié)果，比起適當(dāng)曝光圖像311(參照圖3)中的被攝體的模糊，第三中間生成圖像314中的被攝體模糊被大幅度抑制。另外，由于在邊緣附近的差分值D(x， y)也會變大，因此上述貢獻(xiàn)性(l-a (x， y))會變大。結(jié)果，第三中間生成圖像314的邊緣的清晰度與適當(dāng)曝光圖像311相比被改善。但是，由于與短曝光圖像310的邊緣比較來看，第二中間生成圖像312的邊緣稍微不清晰，因此與短曝光圖像310的邊緣相比，第三中間生成圖像314的邊緣也稍微不清晰。 另一方面，差分值D(x， y)比較小的區(qū)域被推測為邊緣成分少的平坦區(qū)域。因此，對于差分值D(x， y)比較小的區(qū)域而言，如上所述，使噪聲含有量少的第一中間生成圖像的貢獻(xiàn)性a (x，y)變得比較大。由此，第三中間生成圖像的噪聲能夠被抑制得很低。另外，由于第二中間生成圖像是經(jīng)過噪聲降低處理生成的圖像，因此在第二中間生成圖像對于第三中間生成圖像的貢獻(xiàn)性(l-a (x，y))比較大的區(qū)域中，噪聲不明顯。 如上所述，與短曝光圖像的邊緣相比，第三中間生成圖像的邊緣稍微不清晰，但是該不清晰度可通過邊緣強(qiáng)度值計算部55和第二合成部56改善。 邊緣強(qiáng)度值計算部55對第二中間生成圖像進(jìn)行邊緣提取處理，并計算出各像素位置的邊緣強(qiáng)度值。用E(x，y)表示像素位置(x，y)處的邊緣強(qiáng)度值。邊緣強(qiáng)度值E(x，y)是表示以第二中間生成圖像的像素位置(x， y)為中心的小塊內(nèi)的像素信號的變化量的指標(biāo)，該變化量越大，則邊緣強(qiáng)度值E(x，y)就越大。 例如，根據(jù)下述式(5)求出邊緣強(qiáng)度值E(x， y)。如上所述，P2Y (x， y)表示第二中間生成圖像的像素位置(x， y)處的像素的亮度值。Fx(i， j)和Fy(i， j)分別表示用于提取水平方向和垂直方向的邊緣的邊緣提取濾波器的濾波器系數(shù)。作為邊緣提取濾波器，能夠使用適合于邊緣提取的任意的空間濾波器，例如，能夠使用微分濾波器、普魯特伊濾波器(Prewitt filter)、索貝爾濾波器(Sobel filter)。
E(x,y)=
i i
Z》X(i,j).P2Y(x + i,y + j)
+
i i
X^Fy(U).P2Y(x + i,y + j)
i=—lj=—1
(5) 例如，使用普魯特伊濾波器時，在式(5)的Fx(i，j)中代入"Fx(-l，-l) =Fx(_l，
120) =Fx(-l，l) = -l"、"Fx(0，-1) =Fx(0，0) =Fx(0，l) = 0)"以及"Fx(1，-1) =Fx(l，0)=Fx(l，l) =1"即可，并在式(5)的Fy(i，j)中代入"Fy(-l，-l) =Fy(0，_l) =Fy(l，_l)=-lV'Fy(-l，O) =Fy(0，0) =Fy(l，0) = 0"以及"Fy(-1， 1) =Fy(0，l) =Fy(l，l)=l"即可。當(dāng)然，這樣的濾波器系數(shù)是一個例子，邊緣強(qiáng)度值E(x，y)的計算用的邊緣提取濾波器能夠進(jìn)行各種各樣的變形。另外，在式(5)中，使用了具有3X3濾波器尺寸的邊緣提取濾波器，但是邊緣提取濾波器的濾波器尺寸也可以是3X3以外。 圖11表示將各像素位置的邊緣強(qiáng)度值E(x， y)作為像素信號值的邊緣圖像的例子。圖11的邊緣圖像315是基于圖3(a)和(b)的短曝光圖像310和適當(dāng)曝光圖像311的邊緣圖像。在邊緣圖像315中，用白色表示邊緣強(qiáng)度值E(x， y)比較大的部分，用黑色表示邊緣強(qiáng)度值E(x，y)比較小的部分。邊緣強(qiáng)度值E(x，y)是通過提取第二中間生成圖像312的邊緣來獲得的，其中，該第二中間生成圖像312是對邊緣清晰的短曝光圖像310中的噪聲進(jìn)行抑制而獲得的。因此，噪聲與邊緣被分離，在根據(jù)邊緣強(qiáng)度值E(x， y)明確區(qū)分了噪聲與被攝體邊緣的基礎(chǔ)上確定邊緣的位置。 第二合成部56進(jìn)行第三中間生成圖像與短曝光圖像的合成，并將獲得的合成圖像作為目標(biāo)修正圖像來輸出。該合成通過對第三中間生成圖像與短曝光圖像的對應(yīng)像素的像素信號進(jìn)行加權(quán)相加而實現(xiàn)。通過加權(quán)相加而對應(yīng)像素的像素信號被混合，其混合率(換言之為合成比率)可基于邊緣強(qiáng)度值E(x， y)來決定。用13 (x， y)表示由第二合成部56決定的對應(yīng)于像素位置(x， y)的混合率。 圖12表示邊緣強(qiáng)度值E(x， y)與混合率P (x， y)的關(guān)系例。采用圖12的關(guān)系例時，設(shè)"E(x， y) < Th2—L"成立時"P (x， y) = 0"，設(shè)"Th2—L《E(x， y) < Th2Jl"成立時(x，y) = (E(x， y)-Th2_L)/(Th2_H-Th2_L)"，設(shè)"Th2—H《E(x， y)"成立時"P (x， y)=1"。這里，Th2_L和Th2_H是滿足"O < Th2_L < Th2_H"的規(guī)定的閾值。采用圖12的關(guān)系例時，隨著邊緣強(qiáng)度值E(x，y)從Th2—L向閾值Th2_H增大時對應(yīng)的混合率P (x，y)從0向l線性增加，但是也可以使混合率13 (x，y)非線性增加。 第二合成部56在根據(jù)各像素位置的邊緣強(qiáng)度值E(x，y)決定了各像素位置的混合率P (x， y)之后，通過根據(jù)下述式(6)混合第三中間生成圖像與短曝光圖像的對應(yīng)像素的像素信號，從而生成目標(biāo)修正圖像的像素信號。這里，P。m(x，y)、PnSH(x，y)以及P3(x，y)分別表示目標(biāo)修正圖像、短曝光圖像以及第三中間生成圖像的像素位置(x， y)處的像素信號。P。ut(x， y) = 13 (x， y) XPINSH(x， y) + {l_|3 (x， y)} XP3(x， y) …(6)
像素信號P。uT(x，y)、Pn^(x，y)以及P3(x，y)分別是表示目標(biāo)修正圖像、短曝光圖像以及第三中間生成圖像的像素位置(x，y)處的像素的亮度和顏色的信號，例如，用RGB形式或YUV形式表示。例如，像素信號P3(x，y)等由R、G以及B信號構(gòu)成時，通過按每個R、G以及B信號分別混合像素信號Pn^(x，y)和P3(x，y)來獲得像素信號P。UT(x， y)即可。像素信號P3(x， y)等由Y、U以及V信號構(gòu)成時也一樣。 圖13表示由第二合成部56獲得的目標(biāo)修正圖像的例子。圖13所示的目標(biāo)修正圖像316是基于圖3(a)和(b)的短曝光圖像310和適當(dāng)曝光圖像311的目標(biāo)修正圖像。在邊緣部分，由于短曝光圖像310對于目標(biāo)修正圖像316的貢獻(xiàn)性13 (x，y)變大，因此在目標(biāo)修正圖像316中，能改善第三中間生成圖像314(參照圖10)中的邊緣的稍許不清晰，能清晰地描繪邊緣。另一方面，在邊緣以外的部分，由于第三中間生成圖像314對于目標(biāo)修正圖像310中的噪聲反映在目標(biāo)修正圖像316中。由于視覺上，噪聲在邊緣以外的部分(平坦部分)特別明顯，因此基于上述的混合率13 (x，y)的合成比率的調(diào)整有效。 這樣，根據(jù)第1實施例，通過將適當(dāng)曝光圖像(更詳細(xì)而言是對位之后的適當(dāng)曝光圖像(即第一中間生成圖像))與噪聲降低后的短曝光圖像(即第二中間生成圖像)利用從這些圖像獲得的差分值來合成，從而能夠生成抑制了適當(dāng)曝光圖像的模糊和短曝光圖像的噪聲的第三中間生成圖像。之后，通過利用從噪聲降低后的短曝光圖像(即第二中間生成圖像)獲得的邊緣強(qiáng)度值來合成第三中間生成圖像與短曝光圖像，從而能夠在目標(biāo)修正圖像中反映短曝光圖像的清晰的邊緣，另一方面，能夠抑制短曝光圖像的噪聲反映在目標(biāo)修正圖像中。結(jié)果，目標(biāo)修正圖像變成模糊和噪聲少的圖像。 為了明確地分離檢測邊緣與噪聲并良好地避免短曝光圖像的噪聲混入目標(biāo)修正圖像中，優(yōu)選如上述那樣從噪聲降低后的短曝光圖像(即，第二中間生成圖像)導(dǎo)出邊緣強(qiáng)度，但是也可以從噪聲降低前的短曝光圖像(即，圖3(a)的短曝光圖像310等)導(dǎo)出邊緣強(qiáng)度。此時，只要在式(5)的P2y(x，y)中帶入噪聲降低前的短曝光圖像的像素位置(x，y)處的像素的亮度值的基礎(chǔ)上，根據(jù)式(5)計算出邊緣強(qiáng)度值E(x，y)即可。
另外，實際上，短曝光圖像的圖像區(qū)域與對位后的適當(dāng)曝光圖像的圖像區(qū)域之間存在互相不重疊的圖像區(qū)域(在上述的說明中，為了使說明簡化，忽略了該存在)。即，如圖14所示，通常，短曝光圖像的全圖像區(qū)域400的位置與對位后的適當(dāng)曝光圖像的全圖像區(qū)域401的位置不完全一致，全圖像區(qū)域400與全圖像區(qū)域401重疊的區(qū)域402 (以下稱作重疊區(qū)域402)的尺寸比全圖像區(qū)域400或全圖像區(qū)域401的尺寸小。在圖14中，用斜線區(qū)域表示重疊區(qū)域402。 噪聲降低部52、差分值計算部53、第一合成部54、邊緣強(qiáng)度值計算部55以及第二合成部56，能夠基于短曝光圖像的重疊區(qū)域402內(nèi)的像素信號與第一中間生成圖像的重疊區(qū)域402內(nèi)的像素信號，生成將重疊區(qū)域402作為全圖像區(qū)域的目標(biāo)修正圖像。此時，目標(biāo)修正圖像的全圖像區(qū)域的尺寸比短曝光圖像的全圖像區(qū)域尺寸小。 取而代之，也可以根據(jù)第二中間生成圖像的非重疊區(qū)域403內(nèi)的像素信號生成目標(biāo)修正圖像的非重疊區(qū)域403內(nèi)的像素信號(例如，使前者的像素信號與后者的像素信號一致)。另一方面，也可以基于短曝光圖像的重疊區(qū)域402內(nèi)的像素信號與第一中間生成圖像的重疊區(qū)域402內(nèi)的像素信號生成目標(biāo)修正圖像的重疊區(qū)域402內(nèi)的像素信號，并且貼合目標(biāo)修正圖像的重疊區(qū)域402和非重疊區(qū)域403，從而形成目標(biāo)修正圖像的全圖像區(qū)域。此時，目標(biāo)修正圖像的全圖像區(qū)域的大小與短曝光圖像的尺寸相同。這里，非重疊區(qū)域403指從短曝光圖像的全圖像區(qū)域400中除去重疊區(qū)域402后剩下的區(qū)域，在圖14中用畫點(diǎn)區(qū)域表示。(第2實施例)下面，說明第2實施例。由圖5的噪聲降低部52執(zhí)行的噪聲降低處理具有依賴于該噪聲降低處理中使用的濾波的特性的固有噪聲降低特性，但是該噪聲降低特性與短曝光圖像的噪聲等級無關(guān)，通常是一定的。因此，包含在短曝光圖像中的噪聲過多時，存在不能充分降低噪聲的情況。而且，從噪聲降低部52輸出的第二中間生成圖像(第三圖像)中殘留比較多的噪聲時，有時會因為該噪聲的影響而不能計算出適當(dāng)?shù)幕旌下蔭 (x，y)和|3 (x，y)，結(jié)果導(dǎo)致不能獲得良好的目標(biāo)修正圖像。另外，為了避免該情況而過于提高噪聲降低部52的噪聲降低處理的強(qiáng)度時，在包含在短曝光圖像中的噪聲并沒有那么多的情況下，會導(dǎo)致短曝光圖像的邊緣過于劣化。這是由于噪聲降低處理也有使圖像平滑化的效果。 鑒于該情況，在第2實施例中，根據(jù)短曝光圖像的噪聲等級來調(diào)整用于從短曝光圖像生成第二中間生成圖像的噪聲降低處理。 圖15是第2實施例所涉及的圖像修正部20b的內(nèi)部模塊圖。在第2實施例中，作為圖1的圖像修正部20使用圖像修正部20b。拍攝的短曝光圖像和適當(dāng)曝光圖像的圖像數(shù)據(jù)被輸入到圖像修正部20b。 圖像修正部20b具備符號51、53 56、57和58所示的各部分。SP，圖像修正部20b相對于圖5的圖像修正部20a追加了噪聲降低處理控制部58(以下簡稱為控制部58)，并且將圖像修正部20a的噪聲降低部52替換成了噪聲降低部57。 與圖5的噪聲降低部52同樣，噪聲降低部57執(zhí)行用于降低短曝光圖像的噪聲的噪聲降低處理，并將噪聲降低處理后的短曝光圖像作為第二中間生成圖像來輸出。但是，噪聲降低部57中的噪聲降低處理的內(nèi)容是可變的，根據(jù)短曝光圖像的噪聲等級由控制部58變更其內(nèi)容。 參照圖16的流程圖，說明由圖像修正部20b生成第二中間生成圖像的動作的流程。首先，通過對快門按鈕17a的下按操作形成攝影指示時，在步驟S11中，按照第1實施例所述的方法連續(xù)攝影短曝光圖像和適當(dāng)曝光圖像。向圖像修正部20b輸入由該攝影獲得的短曝光圖像和適當(dāng)曝光圖像的圖像數(shù)據(jù)。如第1實施例所述，短曝光圖像的曝光時間TSH比適當(dāng)曝光圖像的曝光時間T。P短。 在繼步驟Sll之后的步驟S12中，對位部51按照第1實施例所述的方法檢測短曝光圖像與適當(dāng)曝光圖像之間的位置偏差，并基于檢測出的位置偏差進(jìn)行短曝光圖像和適當(dāng)曝光圖像之間的對位。 之后，在步驟S13中，控制部58檢測短曝光圖像的噪聲等級。能夠基于短曝光圖像和適當(dāng)曝光圖像的圖像數(shù)據(jù)檢測短曝光圖像的噪聲等級。參照圖17(a)和(b)，說明短曝光圖像的噪聲等級的檢測處理的具體例子。噪聲等級相當(dāng)于信號與噪聲之比。
在短曝光圖像的噪聲等級的檢測處理中，首先，從適當(dāng)曝光圖像的全圖像區(qū)域搜索平坦的圖像區(qū)域。具體而言，如圖17(a)所示，在適當(dāng)曝光圖像內(nèi)設(shè)定具有規(guī)定圖像尺寸的評價塊501，使評價塊501的位置在適當(dāng)曝光圖像的圖像區(qū)域內(nèi)沿水平或垂直方向按1像素移動，并在每次移動時求出評價塊501內(nèi)的各像素的亮度值的標(biāo)準(zhǔn)偏差。由此，求出多個標(biāo)準(zhǔn)偏差。確定該多個標(biāo)準(zhǔn)偏差內(nèi)最小的標(biāo)準(zhǔn)偏差所對應(yīng)的評價塊501的位置，將配置在該位置處的評價塊501內(nèi)的圖像區(qū)域檢測為平坦的圖像區(qū)域，并且將該圖像區(qū)域設(shè)定為平坦區(qū)域511(參照圖17(b))。 下面，基于由步驟S12檢測出的短曝光圖像和適當(dāng)曝光圖像間的位置偏差，將對應(yīng)于平坦區(qū)域511的短曝光圖像內(nèi)的圖像區(qū)域作為平坦區(qū)域512來設(shè)定(參照圖17(b))。平坦區(qū)域511和512中，存在同一個被攝體的圖像數(shù)據(jù)。 一般，某圖像的噪聲等級用該圖像內(nèi)的各像素的亮度值的標(biāo)準(zhǔn)偏差的正平方根來表示。因此，控制部58求出短曝光圖像的平坦區(qū)域512內(nèi)的各像素的亮度值的標(biāo)準(zhǔn)偏差Os，并將Wc7s作為短曝光圖像的噪聲等級Ns來檢測。另外，假設(shè)i為正值時，在本說明書中(i表示i的正的平方根。
15
檢測噪聲等級Ns后，在步驟S14中，控制部58決定應(yīng)由噪聲降低部57執(zhí)行的噪 聲降低處理的內(nèi)容。噪聲降低部57通過對短曝光圖像進(jìn)行按照該決定內(nèi)容的噪聲降低處 理來生成第二中間生成圖像。 例如，按照在噪聲降低部57中能夠執(zhí)行第一和第二噪聲降低處理的方式形成噪 聲降低部57。而且，噪聲等級Ns小于規(guī)定的基準(zhǔn)等級NTH時，通過對短曝光圖像進(jìn)行第一噪 聲降低處理來生成第二中間生成圖像，另一方面，噪聲等級Ns為基準(zhǔn)等級NTH以上時，通過 對短曝光圖像進(jìn)行第二噪聲降低處理來生成第二中間生成圖像。這里，第一和第二噪聲降 低處理是互不相同的圖像處理，第二噪聲降低處理是噪聲降低的強(qiáng)度(噪聲降低的效果) 比第一噪聲降低處理大的噪聲降低處理。 作為第一和第二噪聲降低處理，能夠采用利用了中值濾波器、低通濾波器等的濾 波(空間濾波或頻率濾波)。更具體而言，例如，預(yù)先將如圖18(a)和(b)所示的具有3X3 濾波器尺寸的中值濾波器521和具有5X5濾波器尺寸的中值濾波器522安裝到噪聲降低 部57中，在第一噪聲降低處理中通過利用中值濾波器521對短曝光圖像進(jìn)行空間濾波來生 成第二中間生成圖像，在第二噪聲降低處理中通過利用中值濾波器522對短曝光圖像進(jìn)行 空間濾波來生成第二中間生成圖像。由于根據(jù)中值濾波器的濾波器尺寸的增大而噪聲降低 的強(qiáng)度(噪聲降低的效果)會增大，因此通過分別使用如上述的兩種中值濾波器能夠調(diào)整 噪聲降低的強(qiáng)度。 可以用硬件來實現(xiàn)第一和第二噪聲降低處理。此時，例如，只要在噪聲降低部57 中分別安裝起到上述中值濾波器521和522的功能的電路即可。但是，也能通過基于軟件 的圖像處理來實現(xiàn)第一和第二噪聲降低處理。通過軟件實現(xiàn)噪聲降低處理時，無需追加電 路就能夠輕易實現(xiàn)噪聲降低處理的內(nèi)容變更。 另外，上述的基準(zhǔn)等級N^可以是預(yù)先設(shè)定的固定電平，也可以基于適當(dāng)曝光圖像 的噪聲等級K來設(shè)定基準(zhǔn)等級NTH(在后述的其它實施例中也相同)。例如，能夠?qū)⒒鶞?zhǔn)等 級NTH設(shè)定為適當(dāng)曝光圖像的噪聲等級K的兩倍。另外，使用平坦區(qū)域511內(nèi)的各像素的
亮度值的標(biāo)準(zhǔn)偏差o J參照圖17(b))，用Ni^/aL表示適當(dāng)曝光圖像的噪聲等級K。
另外，在上述的具體例中，根據(jù)短曝光圖像的噪聲等級Ns以兩階段切換用于從短 曝光圖像生成第二中間生成圖像的噪聲降低處理的內(nèi)容，但是也可以根據(jù)噪聲等級Ns將該 噪聲降低處理的內(nèi)容切換為三階段以上。例如，將噪聲降低部57形成為在噪聲降低部57中 能夠執(zhí)行第一 第三噪聲降低處理，當(dāng)"Ns < NTH1"時選擇第一噪聲降低處理，當(dāng)"NTH1《Ns
< NTH2"時選擇第二噪聲降低處理，當(dāng)"N皿《Ns"時選擇第三噪聲降低處理(其中，O < NTH1
< NTH2)。而且，也可以通過對短曝光圖像進(jìn)行所選擇的噪聲降低處理來生成第二中間生成 圖像。這里，第一 第三噪聲降低處理是互不相同的圖像處理，第一和第二噪聲降低處理與 上述處理相同，第三噪聲降低處理是噪聲降低的強(qiáng)度(噪聲降低的效果)比第二噪聲降低 處理還要高的噪聲降低處理。 另外，在上述的具體例中，基于評價塊501內(nèi)的各像素的亮度值執(zhí)行平坦區(qū)域511 的搜索(參照圖17 (b))，但是也可以使用與亮度值不同的像素信號值來執(zhí)行該搜索。例如， 也可以基于評價塊501內(nèi)的各像素的R、G以及B信號值或U和V信號值(色差信號的值) 執(zhí)行該搜索。 另外，在上述的具體例中，進(jìn)行短曝光圖像和適當(dāng)曝光圖像的對位之后進(jìn)行平坦區(qū)域511和512的搜索，但是也可以在進(jìn)行短曝光圖像和適當(dāng)曝光圖像的對位之前進(jìn)行該 搜索來檢測噪聲等級K。但是，此時，進(jìn)行平坦區(qū)域511的搜索之后，需要另外進(jìn)行搜索平 坦區(qū)域512的處理(塊匹配等)。因此，考慮到搜索時間的縮短，優(yōu)選進(jìn)行短曝光圖像和適 當(dāng)曝光圖像的對位之后進(jìn)行平坦區(qū)域511和512的搜索。 噪聲降低部57和控制部58以外的圖像修正部20b內(nèi)的各部分的動作與第1實施 例所示的動作相同。因此，輸入到圖像修正部20b的短曝光圖像、由對位部51生成的第一 中間生成圖像以及由噪聲降低部57生成的第二中間生成圖像被第一合成部54和第二合成 部56合成，從而生成目標(biāo)修正圖像。 如第2實施例所示，通過使得能夠根據(jù)短曝光圖像的噪聲等級來改變噪聲降低處 理的內(nèi)容，從而能夠根據(jù)短曝光圖像的噪聲等級執(zhí)行具有適當(dāng)?shù)脑肼暯档托Ч脑肼暯档?處理，從而能夠獲得良好的目標(biāo)修正圖像。(第3實施例)下面說明第3實施例。如上所述，通過軟件實現(xiàn)噪聲降低處理時， 無需追加電路就能輕易實現(xiàn)噪聲降低處理的內(nèi)容變更。但是，考慮到處理速度等，實際上大 多用硬件來實現(xiàn)噪聲降低處理。使用硬件時，可以如第2實施例那樣安裝多個中值濾波器 (521、522)，但是也可以優(yōu)先考慮削減電路規(guī)模而用單個的濾波器實現(xiàn)噪聲降低處理。因 此，在第3實施例中，說明僅使用一個噪聲降低處理的方法。 在第3實施例中，作為圖1的圖像修正部20，也使用圖15的圖像修正部20b。圖 19是表示第3實施例所涉及的第二中間生成圖像的生成動作的流程的流程圖。根據(jù)圖19 的流程圖說明該動作。 通過對快門按鈕17a的下按操作形成攝影指示時，執(zhí)行步驟S21 S23的處理。步 驟S21 S23的處理與圖16的步驟Sll S13的處理相同。即，形成攝影指示時，攝影短 曝光圖像和適當(dāng)曝光圖像，進(jìn)行這兩個圖像間的對位后，在步驟S23中檢測短曝光圖像的 噪聲等級Ns。另外，也可省略步驟S23的噪聲等級Ns的檢測處理。 進(jìn)行步驟S21 S23的處理之后，在步驟S24中，噪聲降低部57通過對噪聲降低 的對象圖像進(jìn)行噪聲降低處理來生成噪聲降低圖像，并在步驟S25中，控制部58檢測所生 成的噪聲降低圖像的噪聲等級Ns'。為了將步驟S24中執(zhí)行的噪聲降低處理區(qū)別于第2實 施例的噪聲降低處理，特別用符號NRm表示。 從后述的說明可知，步驟S24的噪聲降低處理NRFIX被執(zhí)行多次。第一次噪聲降低 處理NRm的對象圖像是向圖像修正部20b輸入的短曝光圖像，通過第一次噪聲降低處理 NRFIX獲得的噪聲降低圖像是通過對輸入到圖像修正部20b的短曝光圖像執(zhí)行一次噪聲降 低處理NRFIX而獲得的圖像I [1]。第二次噪聲降低處理NRFIX的對象圖像是圖像I [1]，通過 第二次噪聲降低處理NR^獲得的噪聲降低圖像是通過對圖像I[l]執(zhí)行一次噪聲降低處理 NR^而獲得的圖像I[2]。第三次以后的噪聲降低處理NRm也相同。這樣，每次執(zhí)行噪聲降 低處理NRFIX時更新噪聲降低圖像(I [1] ， I [2] ， I [3]...)。 噪聲降低處理NRFIX與由圖5的噪聲降低部52執(zhí)行的噪聲降低處理相同，噪聲降 低處理NRFIX的內(nèi)容與噪聲降低處理NRFIX的執(zhí)行次數(shù)無關(guān)，始終是一定的。例如，當(dāng)噪聲降 低處理NRm是使用了圖18(a)的中值濾波器521的空間濾波時，分別在第1、2、…n次的 噪聲降低處理NRFIX中，向?qū)ο髨D像進(jìn)行使用了中值濾波器521的空間濾波來依次生成噪聲 降低圖像I[1]、1[2]、…1[n](其中，n是自然數(shù))。
在步驟S25中檢測的噪聲等級Ns'是通過一次以上的噪聲降低處理NRFIX獲得的 最新的噪聲降低圖像的噪聲等級。因此，執(zhí)行n次噪聲降低處理NRFIX時，檢測噪聲降低圖 像I[n]的噪聲等級來作為噪聲等級K'(其中，n為自然數(shù))。用噪聲降低圖像I[n]上的 平坦區(qū)域內(nèi)的各像素的亮度值的標(biāo)準(zhǔn)偏差的正的平方根表示噪聲降低圖像I[n]的噪聲等 級。噪聲降低圖像I[n]上的平坦區(qū)域是在與短曝光圖像上的平坦區(qū)域512(參照圖17(b)) 相同的位置上的、噪聲降低圖像I[n]上的圖像區(qū)域，噪聲降低圖像I[n]上的平坦區(qū)域與短 曝光圖像上的平坦區(qū)域512中具有相同的被攝體的圖像數(shù)據(jù)。 在步驟S25中檢測出噪聲等級K'之后，在步驟S26中，控制部58比較最新的噪 聲等級^'與規(guī)定的基準(zhǔn)等級N『而且，若"K' ^N^"成立，則判斷為噪聲降低處理NR^ 的執(zhí)行次數(shù)不充分，回到步驟S24再次執(zhí)行噪聲降低處理NRFIX和噪聲等級Ns'的檢測處 理。另一方面，若"Ns' 〈NTH"成立，則從步驟S26進(jìn)入步驟S27。在步驟S27中，從噪聲降 低部57輸出通過一次以上的噪聲降低處理NRm獲得的最新的噪聲降低圖像來作為第二中 間生成圖像。 這樣，直到噪聲降低圖像的噪聲等級Ns'小于基準(zhǔn)等級NTH為止反復(fù)執(zhí)行噪聲降 低處理NRFIX。但是，將噪聲降低處理NRFIX反復(fù)執(zhí)行一定次數(shù)也無法使噪聲降低圖像的噪聲 等級Ns'小于基準(zhǔn)等級NTH時，從噪聲降低部57輸出通過執(zhí)行該一定次數(shù)的噪聲降低處理 NIW而獲得的最新的噪聲降低圖像來作為第二中間生成圖像。 噪聲降低部57和控制部58以外的圖像修正部20b內(nèi)的各部分的動作與第1實施 例所示的動作相同。因此，輸入到圖像修正部20b的短曝光圖像、由對位部51生成的第一 中間生成圖像以及由噪聲降低部57生成的第二中間生成圖像通過第一合成部54和第二合 成部56進(jìn)行合成，從而生成目標(biāo)修正圖像。 根據(jù)第3實施例，也能獲得與第2實施例相同的效果。特別是，第3實施例適合于 由硬件形成噪聲降低部57的情況。 另外，在圖19的動作例中，噪聲降低處理NRm的執(zhí)行次數(shù)一直到不等式"Ns' < &/成立為止是不確定的，但是也可以根據(jù)在步驟S23中檢測出的短曝光圖像的噪聲等 級Ns預(yù)先設(shè)定噪聲降低處理NRFIX的執(zhí)行次數(shù)。此時，只進(jìn)行設(shè)定次數(shù)的步驟S24的噪聲降 低處理NRm，從噪聲降低部57輸出由此獲得的最新的噪聲降低圖像來作為第二中間生成 圖像。此時，應(yīng)設(shè)定的噪聲降低處理NR^的執(zhí)行次數(shù)隨著噪聲等級Ns的增加而階段式增 加。(第4實施例)下面說明第4實施例。參照圖14且根據(jù)如上所述，在公共的二維 坐標(biāo)系XY上配置短曝光圖像的全圖像區(qū)域400與對位后的適當(dāng)曝光圖像的全圖像區(qū)域401 時，形成重疊區(qū)域402與非重疊區(qū)域403。而且，如第1實施例所述，也能夠生成將重疊區(qū) 域402作為全圖像區(qū)域的目標(biāo)修正圖像，但是，當(dāng)非重疊區(qū)域403大時，與短曝光圖像或適 當(dāng)曝光圖像的視角(視野)相比，目標(biāo)修正圖像的視角(視野)有時會過小。
這種情況下，如在第1實施例中所述，根據(jù)短曝光圖像和適當(dāng)曝光圖像的重疊區(qū) 域402的像素信號來生成目標(biāo)修正圖像的重疊區(qū)域402內(nèi)的像素信號，另一方面，僅根據(jù)短 曝光圖像生成目標(biāo)修正圖像的非重疊區(qū)域403內(nèi)的像素信號，并通過貼合目標(biāo)修正圖像的 重疊區(qū)域402和非重疊區(qū)域403，能夠使目標(biāo)修正圖像的視角(視野)與短曝光圖像的視 角(視野)相同(但是，也可以與非重疊區(qū)域403的大小無關(guān)地生成將重疊區(qū)域402作為
18全圖像區(qū)域的目標(biāo)修正圖像)。在第4實施例中，利用該方法生成目標(biāo)修正圖像，使得目標(biāo) 修正圖像的視角與短曝光圖像的視角相同。 但是，此時，由于根據(jù)不同的方法生成目標(biāo)修正圖像的重疊區(qū)域402內(nèi)的圖像與 非重疊區(qū)域403內(nèi)的圖像，因此若不進(jìn)行任何措施時，存在目標(biāo)修正圖像的貼合邊界很明 顯的隱患(存在重疊區(qū)域402與非重疊區(qū)域403之間的噪聲等級差明顯的隱患)。在第4 實施例中，說明應(yīng)對該問題的方法。 圖20是第4實施例所涉及的圖像修正部20c的內(nèi)部模塊圖。在第4實施例中，作 為圖1的圖像修正部20使用圖像修正部20c。攝影的短曝光圖像和適當(dāng)曝光圖像被輸入到 圖像修正部20c。 圖像修正部20c具備符號51、53 55、61 64所示的各部分。圖像修正部20c的 由符號51、53 55表示的各部分具有與圖5的圖像修正部20中的相應(yīng)部分相同的功能。
通過對快門按鈕17a的下按操作而進(jìn)行攝影指示時，按照第1實施例所述的方法 連續(xù)攝影短曝光圖像和適當(dāng)曝光圖像，由該攝影獲得的短曝光圖像和適當(dāng)曝光圖像的圖像 數(shù)據(jù)被輸入到圖像修正部20c。對位部51根據(jù)第1實施例所述的方法檢測短曝光圖像與適 當(dāng)曝光圖像間的位置偏差，基于檢測出的位置偏差進(jìn)行短曝光圖像和適當(dāng)曝光圖像間的對 位。如上所述，在公共的二維坐標(biāo)系XY上配置短曝光圖像的全圖像區(qū)域400與對位后的適 當(dāng)曝光圖像的全圖像區(qū)域401時，形成重疊區(qū)域402與非重疊區(qū)域403 (參照圖14)。
圖像修正部20c(例如，噪聲降低部61和62)基于上述位置偏差的檢測結(jié)果，從短 曝光圖像的全圖像區(qū)域400中分別提取短曝光圖像的重疊區(qū)域402和非重疊區(qū)域403。如 圖21所示，分別用圖像602和603表示由該提取獲得的短曝光圖像的重疊區(qū)域402和非重 疊區(qū)域403內(nèi)的圖像。另外，用圖像601表示適當(dāng)曝光圖像的重疊區(qū)域402內(nèi)的圖像。
圖像601的圖像數(shù)據(jù)作為第一中間生成圖像的圖像數(shù)據(jù)被對位部51輸出。噪聲降 低部61通過對作為短曝光圖像的一部分圖像的圖像602進(jìn)行噪聲降低處理來降低圖像602 的噪聲。在第4實施例中，噪聲降低處理后的圖像602(第一噪聲降低圖像)具有作為第二 中間生成圖像的功能。另一方面，噪聲降低部61通過對作為短曝光圖像的剩余的一部分圖 像的圖像603進(jìn)行噪聲降低處理來降低圖像603的噪聲。噪聲降低處理后的圖像603(第 二噪聲降低圖像)的圖像數(shù)據(jù)被輸出到貼合結(jié)合部64。 基于第一和第二中間生成圖像的、由差分值計算部53進(jìn)行的差分值DIF(x， y)的 計算動作與第1實施例相同，并且根據(jù)差分值合成第一和第二中間生成圖像來獲得第三中 間生成圖像的動作也與第1實施例相同。另外，基于第二中間生成圖像的、由邊緣強(qiáng)度計算 部55進(jìn)行的邊緣強(qiáng)度值E(x， y)的計算動作也與第1實施例相同。 第二合成部63通過以與邊緣強(qiáng)度值E(x，y)相應(yīng)的混合率P (x，y)來混合短曝光 圖像和第三中間生成圖像的像素信號，從而計算出目標(biāo)修正圖像的像素信號P。UT(x， y)。該 計算方法與第1實施例所述的方法相同。但是，在第二合成部63中，只計算出目標(biāo)修正圖 像的重疊區(qū)域402內(nèi)的像素信號P。UT(x， y)。 基于噪聲降低部62的噪聲降低處理后的圖像603的圖像數(shù)據(jù)(像素信號)被賦 予給貼合結(jié)合部64。圖像603的各像素被配置在非重疊區(qū)域403內(nèi)。貼合結(jié)合部64將由 噪聲降低部62的輸出數(shù)據(jù)表示的噪聲降低處理后的圖像603的像素信號作為目標(biāo)修正圖 像的非重疊區(qū)域403內(nèi)的像素信號來處理，如圖22所示，通過貼合第二合成部63的輸出圖
19像611與噪聲降低部62的輸出圖像612 (換言之，結(jié)合)，形成目標(biāo)修正圖像的全圖像區(qū)域 613。第二合成部63的輸出圖像611是由像素信號P。uT(x， y)表示的重疊區(qū)域402內(nèi)的圖 像，噪聲降低部62的輸出圖像612是噪聲降低處理后的圖像603。 作為在噪聲降低部61中對圖像602執(zhí)行的噪聲降低處理(以下，稱作噪聲降低處 理NR》和在噪聲降低部62中對圖像603執(zhí)行的噪聲降低處理(以下，稱作噪聲降低處理 NRB)，能夠使用與第1實施例所述的噪聲降低部52的噪聲降低處理相同的處理。但是，比 較噪聲降低處理NRA與噪聲降低處理NRB時，兩者的處理內(nèi)容互不相同。
通過基于短曝光圖像和適當(dāng)曝光圖像的圖像間的像素信號的加權(quán)相加來生成目 標(biāo)修正圖像的重疊區(qū)域402中的圖像數(shù)據(jù)。因此，作為噪聲降低處理NRA，即使使用噪聲降低 強(qiáng)度比較小的噪聲降低處理，也能獲得噪聲不明顯的良好的結(jié)果圖像。另一方面，由于目標(biāo) 修正圖像的非重疊區(qū)域403中的圖像數(shù)據(jù)僅根據(jù)短曝光圖像生成，因此作為噪聲降低處理 NRe使用噪聲降低處理強(qiáng)度比較小的噪聲降低處理時，無法完全去除噪聲，結(jié)果導(dǎo)致能夠從 視覺上察覺到目標(biāo)修正圖像的重疊區(qū)域與非重疊區(qū)域的噪聲等級差且貼合邊界會很明顯。
因此，作為噪聲降低處理NRA和NRB，能夠使用第2實施例所述的第一和第二噪聲 降低處理。如第2實施例所述，作為噪聲降低處理NRe來使用的第二噪聲降低處理是噪聲 降低強(qiáng)度(噪聲降低效果)比第一噪聲降低處理大的噪聲降低處理。 或者，也可利用第3實施例所述的噪聲降低處理NRFIX，根據(jù)噪聲降低處理NRFIX的 執(zhí)行次數(shù)的不同使噪聲降低處理NRA與噪聲降低處理NRe不同。S卩，可以在噪聲降低處理NRA 中，對圖像602執(zhí)行kA次噪聲降低處理NRFIX，并在噪聲降低處理NRB中，對圖像603執(zhí)行kB 次噪聲降低處理NRm。這里，、和^是滿足1《、<1^的規(guī)定的整數(shù)。通常，設(shè)、為1。 但是，也可以根據(jù)第3實施例所述的方法并基于短曝光圖像的噪聲等級Ns來決定kA的值， kB的值也可基于噪聲等級Ns來決定。 另外，內(nèi)容(根據(jù)噪聲等級Ns決定kA的值)上也有關(guān)聯(lián)，但也可將第2或第3實 施例中所述的技術(shù)內(nèi)容應(yīng)用到第4實施例中。即，例如，也可以在圖像修正部20c中進(jìn)一步 設(shè)置圖15的控制部58并將噪聲降低部61替換成圖15的噪聲降低部57，并且在由此獲得 的圖像修正部20c中執(zhí)行與第2或第3實施例所述的噪聲等級Ns相應(yīng)的噪聲降低處理。此 時，圖像修正部20c的噪聲降低部57對圖像602進(jìn)行噪聲降低處理，該噪聲降低處理的內(nèi) 容依據(jù)第2或第3實施例所述的方法，被控制部58根據(jù)噪聲等級Ns來進(jìn)行調(diào)整。
根據(jù)第4實施例，在目標(biāo)修正圖像中貼合邊界變得不明顯。(第5實施例)下面說明第5實施例。圖23是第5實施例所涉及的圖像修正部 20d的內(nèi)部模塊圖。在第5實施例中，作為圖1的圖像修正部20使用圖像修正部20d。攝 影的短曝光圖像和適當(dāng)曝光圖像的圖像數(shù)據(jù)被輸入到圖像修正部20d。
圖像修正部20d具備由符號51 56和70參照的各部分。圖像修正部20d的由 符號51 56所參照的各部分的功能與圖5的圖像修正部20a中的相應(yīng)部分的功能相同。 因此，在第一合成部54中，以圖9所示的第一變換條件將差分值DIF(x， y)變換為混合率 a (x，y)，并由獲得的混合率a (x，y)來混合第一和第二中間生成圖像的像素信號。另一方 面，在第二合成部56中，以圖12所示的第二變換條件將邊緣強(qiáng)度值E(x， y)變換為混合率 P (x，y)，并以獲得的混合率P (x，y)來混合第三中間生成圖像和短曝光圖像的像素信號。
但是，在圖像修正部20d中，合成比率調(diào)整部70通過根據(jù)短曝光圖像的噪聲等級Ns可變地設(shè)定上述第一變換條件來調(diào)整第一和第二中間生成圖像的合成比率(像素信號的混合率)，并且通過根據(jù)短曝光圖像的噪聲等級Ns可變地設(shè)定上述第二變換條件來調(diào)整第三中間生成圖像和短曝光圖像的合成比率(像素信號的混合率)。在圖像修正部20d中(例如合成比率調(diào)整部70)，檢測短曝光圖像的噪聲等級Ns。噪聲等級Ns的檢測方法與上述方法相同。 具體而言，例如，按照隨著噪聲等級Ns增大而第二中間生成圖像相對第三中間生成圖像的貢獻(xiàn)性(1-a (x， y))降低的方式可變地設(shè)定第一變換條件即可(參照上述式(4)和圖9)。 S卩，例如，以某一規(guī)定等級為基準(zhǔn)，隨著噪聲等級Ns增大，在滿足"(XTh1—L < Thl_H"的范圍內(nèi)，固定閾值Thl_H的同時增加閾值Thl_L，或者，使閾值Thl_L和閾值Thljl—起增加即可。由此，隨著噪聲等級K增大，a (x， y)取1或接近1的值的差分值DIF(x，y)的數(shù)值范圍變寬，其結(jié)果，上述貢獻(xiàn)性(1-a (x，y))會向減小方向變化。
另外，更具體而言，例如，按照隨著噪聲等級Ns增大而短曝光圖像相對目標(biāo)修正圖像的貢獻(xiàn)性P (x， y)降低的方式，可變地設(shè)定第二變換條件即可(參照上述式(6)和圖12) 。 S卩，例如，以某一規(guī)定等級為基準(zhǔn)，隨著噪聲等級Ns增大，在滿足"O < Th2_L < Th2_H"的范圍內(nèi)，固定閾值Th2_H的同時增加閾值Th2_L，或者，使閾值Th2_L和閾值Th2_H —起增加即可。由此，隨著噪聲等級K增大，P(x，y)取O或接近O的值的邊緣強(qiáng)度值E(x，y)的數(shù)值范圍變寬，其結(jié)果，上述貢獻(xiàn)性P (x，y)會向減小方向變化。
比較短曝光圖像與適當(dāng)曝光圖像時，短曝光圖像的噪聲等級Ns比較大，其中在判斷為噪聲等級Ns過大時，在基于噪聲降低部52的噪聲降低處理中無法充分降低噪聲，導(dǎo)致第二中間生成圖像中殘留的比較大的噪聲會通過第三中間生成圖像混入目標(biāo)修正圖像。另外，由于在第二合成部56的合成處理中短曝光圖像的噪聲會根據(jù)13 (x， y)而直接混入目標(biāo)修正圖像，因此當(dāng)短曝光圖像的噪聲等級Ns過大時，即使?fàn)奚恍┠繕?biāo)修正圖像的邊緣的清晰度也要抑制目標(biāo)修正圖像的噪聲，這樣才能獲得平衡良好的目標(biāo)修正圖像?？紤]到此，如上所述，根據(jù)噪聲等級Ns，對用于生成目標(biāo)修正圖像的合成處理中的短曝光圖像和基于此的第二中間生成圖像的合成率進(jìn)行增減調(diào)整。由此，能夠獲得平衡性良好地抑制了模糊和噪聲的目標(biāo)修正圖像。 另外，在上述的具體例中，根據(jù)噪聲等級Ns可變地設(shè)定了第一和第二變換條件，但是也可以根據(jù)噪聲等級Ns可變地設(shè)定第一和第二變換條件中的一方而固定另一個變換條件。(變形等)在上述的說明中所示的具體的數(shù)值僅僅是一個例示，顯然能夠?qū)⒛切┳兏鼮楦鞣N數(shù)值。作為上述的實施方式的變形例或注釋內(nèi)容，下面，記載注釋1和注釋2。各注釋中記載的內(nèi)容在不相矛盾的情況下，能夠任意組合。(注釋l)以上敘述了在攝像裝置l內(nèi)設(shè)置了包括圖像修正部(20、20a、20b、20c或20d)的圖像處理裝置的例子，但是也可以在攝像裝置1的外部的圖像處理裝置(未圖示)中設(shè)置圖像修正部(20、20a、20b、20c或20d)。此時，通過向該外部的圖像處理裝置中包含的圖像修正部(20、20a、20b、20c或20d)提供由攝像裝置1攝影獲得的短曝光圖像和適當(dāng)曝光圖像，由該外部的圖像處理裝置中包含的圖像修正部(20、20a、20b、20c或20d)生成目標(biāo)修正圖像的圖像數(shù)據(jù)。(注釋2)攝像裝置1能夠通過硬件或硬件與軟件的組合來實現(xiàn)。特別是，在圖像
21修正部(20、20a、20b、20c或20d)中執(zhí)行的處理的全部或一部分能夠通過硬件、軟件或硬件與軟件的組合來實現(xiàn)。使用軟件構(gòu)成攝像裝置1時，由軟件實現(xiàn)的部分的模塊圖表示該部分的功能模塊圖。
權(quán)利要求
一種圖像處理裝置，對通過攝影獲得的第一圖像、通過曝光時間比所述第一圖像的曝光時間長的攝影獲得的第二圖像、通過降低所述第一圖像的噪聲獲得的第三圖像進(jìn)行合成來生成輸出圖像，其特征在于，具備噪聲降低處理控制部，其根據(jù)所述第一圖像的噪聲等級來控制用于從所述第一圖像獲得所述第三圖像的圖像處理的內(nèi)容。
2. 根據(jù)權(quán)利要求l所述的圖像處理裝置，其特征在于，該圖像處理裝置具備用于降低所述第一圖像的噪聲的互不相同的多個噪聲降低部， 所述噪聲降低處理控制部從所述多個噪聲去除部之中選擇與所述第一圖像的噪聲等級相應(yīng)的噪聲去除部，并且通過由所選擇的噪聲去除部降低所述第一圖像的噪聲來生成所述第三圖像。
3. 根據(jù)權(quán)利要求l所述的圖像處理裝置，其特征在于，通過對所述第一圖像應(yīng)用一次以上的規(guī)定的噪聲降低處理來生成所述第三圖像， 所述噪聲降低處理控制部根據(jù)所述第一圖像的噪聲等級來改變對所述第一圖像應(yīng)用 的所述噪聲降低處理的次數(shù)。
4. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，還具備 對位部，其進(jìn)行所述第一和第二圖像的對位；第一合成部，其以對應(yīng)于所述第三圖像與對位后的第二圖像之差的合成比率來合成所 述第三圖像與對位后的第二圖像，從而生成第四圖像；禾口第二合成部，其以對應(yīng)于所述第一或第三圖像所包含的邊緣的強(qiáng)度的合成比率來合成 所述第一圖像與所述第四圖像，從而生成所述輸出圖像。
5. —種攝像裝置，其特征在于，具備 通過攝影獲取圖像的攝像部；禾口 權(quán)利要求1所述的圖像處理裝置； 所述第一和第二圖像由所述攝像部獲取。
6. —種圖像處理裝置，其特征在于，具備對位部，其對通過攝影獲得的第一圖像和通過曝光時間比所述第一圖像的曝光時間長 的攝影獲得的第二圖像進(jìn)行對位；噪聲降低部，其對對位后的所述第一和第二圖像的圖像區(qū)域間的重疊區(qū)域和非重疊區(qū) 域進(jìn)行確定，并且通過對所述第一圖像的重疊區(qū)域內(nèi)的圖像執(zhí)行第一噪聲降低處理來生成 第一噪聲降低圖像，而通過對所述第一圖像的非重疊區(qū)域內(nèi)的圖像執(zhí)行與所述第一噪聲降 低處理不同的第二噪聲降低處理來生成第二噪聲降低圖像；禾口結(jié)合部，其將合成所述第一和第二圖像的重疊區(qū)域內(nèi)的圖像與所述第一噪聲降低圖像 而獲得的合成圖像，與所述第二噪聲降低圖像結(jié)合，從而生成輸出圖像。
7. —種攝像裝置，其特征在于，具備 通過攝影獲取圖像的攝像部；禾口 權(quán)利要求6所述的圖像處理裝置； 所述第一和第二圖像由所述攝像部獲取。
8. —種圖像處理裝置，根據(jù)通過攝影獲得的第一圖像和通過曝光時間比所述第一圖像 的曝光時間長的攝影獲得的第二圖像，生成降低了所述第一圖像的噪聲后的第三圖像和作為所述第二與第三圖像的合成圖像的第四圖像，并通過合成所述第一和第四圖像來生成輸 出圖像，其特征在于，具備合成比率調(diào)整部，其根據(jù)所述第一圖像的噪聲等級，來調(diào)整作為合成所述第二和第三 圖像時的合成比率的第一合成比率、和作為合成所述第一和第四圖像時的合成比率的第二 合成比率之中的至少一方。
9. 根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在于，所述第一合成比率通過將所述第二圖像與所述第三圖像之差應(yīng)用到規(guī)定的第一變換 條件中而被導(dǎo)出，并且，所述第二合成比率通過將所述第一圖像或第三圖像所包含的邊緣 的強(qiáng)度應(yīng)用到規(guī)定的第二變換條件中而被導(dǎo)出，所述合成比率調(diào)整部通過根據(jù)所述第一圖像的噪聲等級調(diào)整所述第一和第二變換條 件之中的至少一方，從而根據(jù)所述第一圖像的噪聲等級調(diào)整所述第一和第二合成比率之中 的至少一方。
10. —種攝像裝置，其特征在于，具備 通過攝影獲取圖像的攝像部；禾口 權(quán)利要求8所述的圖像處理裝置； 所述第一和第二圖像由所述攝像部獲取。
全文摘要
本發(fā)明提供一種圖像處理裝置，該圖像處理裝置對通過攝影獲得的第一圖像、通過曝光時間比所述第一圖像的曝光時間長的攝影獲得的第二圖像、通過降低所述第一圖像的噪聲獲得的第三圖像進(jìn)行合成來生成輸出圖像。圖像處理裝置具備噪聲降低處理控制部，其根據(jù)所述第一圖像的噪聲等級控制用于從所述第一圖像獲得所述第三圖像的圖像處理的內(nèi)容。
文檔編號G03B5/00GK101753779SQ20091025837
公開日2010年6月23日 申請日期2009年12月14日 優(yōu)先權(quán)日2008年12月12日
發(fā)明者畑中晴雄, 福本晉平, 飯島靖博 申請人:三洋電機(jī)株式會社