本發(fā)明涉及一種圖像處理裝置、攝像裝置、圖像處理方法及攝像方法。

背景技術(shù)：

當(dāng)通過攝像裝置拍攝具有高于采樣頻率N的一半的空間頻率的被攝體圖像時，根據(jù)奈奎斯特定理，通常所拍攝圖像中會出現(xiàn)折疊失真(folding distortion)(摩爾紋(moire))。作為避免摩爾紋的措施，在圖像傳感器的攝像面上配置用于截止高于N/2的頻率的光學(xué)低通濾波器。

然而，使光學(xué)低通濾波器的截止特性變得陡峭是有限的，因此低于N/2的頻率也會衰減。因此，使用光學(xué)低通濾波器涉及整個畫面的分辨率降低的缺點(diǎn)，不能獲得與圖像傳感器的原始像素數(shù)對應(yīng)的高圖像質(zhì)量的圖像。例如，在像自然景觀等不存在規(guī)則的人工物體的場景中，不大可能出現(xiàn)大摩爾紋，因此分辨率降低這一缺點(diǎn)可能勝過防止摩爾紋(降低)這一優(yōu)點(diǎn)。因此，近年來，市場上出現(xiàn)了大量的沒有配設(shè)光學(xué)低通濾波器的相機(jī)。在此情況下，有可能根據(jù)不同的場景而出現(xiàn)大摩爾紋，因此提出了用于在攝像時根據(jù)需要減少摩爾紋的技術(shù)。

例如，作為普通的相機(jī)攝影技術(shù)，已知這樣一種技術(shù)：即增大用于攝影的光圈值以造成衍射現(xiàn)象，并在到達(dá)圖像傳感器之前使高于N/2的頻率衰減。圖4是例示衍射極限曲線的圖，其水平軸表示空間頻率，其垂直軸表示調(diào)制傳遞函數(shù)(MTF，modulation transfer function)。如圖4中所示，F(xiàn)數(shù)增加得越多，截止頻率移至越低的頻率側(cè)，因此可以通過增大光圈值來減少摩爾紋。然而，如使用光學(xué)低通濾波器的情況下那樣，增大光圈值將會在相同或更大程度上降低整個畫面的分辨率。

為了避免上述情形，日本特開平10-248068號公報提出了這樣一種技術(shù)：即基于對焦?fàn)顟B(tài)下拍攝的圖像生成輝度信號，并基于從對焦?fàn)顟B(tài)散焦預(yù)定量的狀態(tài)下拍攝的圖像而生成色彩信號。根據(jù)該技術(shù)，可以獲得抑制了彩色摩爾紋的高清圖像。然而，整個畫面的彩色分辨率可能會降低。此外，在散焦?fàn)顟B(tài)下，其他被攝體可能會聚焦，在不同于最初聚焦區(qū)域的其他區(qū)域中可能會出現(xiàn)彩色摩爾紋。

通常，在存在具有高空間頻率的被攝體的區(qū)域中出現(xiàn)摩爾紋，因此不一定是在整個畫面中出現(xiàn)大摩爾紋的情況。然而，傳統(tǒng)上用于減少摩爾紋的技術(shù)可能也會降低包括小摩爾紋區(qū)域的整個畫面的分辨率。

技術(shù)實現(xiàn)要素：

本發(fā)明是鑒于上述情形而提出的，并且本發(fā)明提供了一種在減少摩爾紋的同時抑制分辨率降低的技術(shù)。

根據(jù)本發(fā)明的第一方面，提供了一種圖像處理裝置，所述圖像處理裝置包括：計算單元，其被配置為針對各個區(qū)域計算通過在第一攝影條件下對被攝體攝影而獲得的第一圖像與通過在與所述第一攝影條件相比減少了所述被攝體的光學(xué)圖像的高頻率成分的第二攝影條件下對所述被攝體攝影而獲得的第二圖像之間的信號水平的差分；以及混合單元，其被配置為以基于該差分的比率來混合所述第一圖像的信號水平和所述第二圖像的信號水平，以便生成第三圖像，其中，所述混合單元將所述差分是第一值時被混合為所述第三圖像的所述第二圖像的比率設(shè)置為大于在所述差分是小于所述第一值的第二值時被混合為所述第三圖像的所述第二圖像的比率。

根據(jù)本發(fā)明的第二方面，提供了一種攝像裝置，所述攝像裝置包括：生成單元，其被配置為通過在第一攝影條件下對被攝體攝影而生成第一圖像，以及通過在與所述第一攝影條件相比減少了所述被攝體的光學(xué)圖像的高頻率成分的第二攝影條件下對所述被攝體攝影而生成第二圖像；計算單元，其被配置為針對各個區(qū)域計算所述第一圖像與所述第二圖像之間的信號水平的差分；以及混合單元，其被配置為以基于該差分的比率混合所述第一圖像的信號水平和所述第二圖像的信號水平，以便生成第三圖像，其中，所述混合單元將所述差分是第一值時被混合為所述第三圖像的所述第二圖像的比率設(shè)置為大于在所述差分是小于所述第一值的第二值時被混合為所述第三圖像的所述第二圖像的比率。

根據(jù)本發(fā)明的第三方面，提供了一種由圖像處理裝置執(zhí)行的圖像處理方法，所述圖像處理方法包括：針對各個區(qū)域計算通過在第一攝影條件下對被攝體攝影而獲得的第一圖像與通過在與所述第一攝影條件相比減少了所述被攝體的光學(xué)圖像的高頻率成分的第二攝影條件下對所述被攝體攝影而獲得的第二圖像之間的信號水平的差分；以及以基于該差分的比率來混合所述第一圖像的信號水平和所述第二圖像的信號水平，以便生成第三圖像，其中，所述混合將所述差分是第一值時被混合為所述第三圖像的所述第二圖像的比率設(shè)置為大于在所述差分是小于所述第一值的第二值時被混合為所述第三圖像的所述第二圖像的比率。

根據(jù)本發(fā)明的第四方面，提供了一種由攝像裝置執(zhí)行的攝像方法，所述攝像方法包括：通過在第一攝影條件下對被攝體攝影而生成第一圖像，以及通過在與所述第一攝影條件相比減少了所述被攝體的光學(xué)圖像的高頻率成分的第二攝影條件下對所述被攝體攝影而生成第二圖像；針對各個區(qū)域計算所述第一圖像與所述第二圖像之間的信號水平的差分；以及以基于該差分的比率來混合所述第一圖像的信號水平和所述第二圖像的信號水平，以便生成第三圖像，其中，所述混合將所述差分是第一值時被混合為所述第三圖像的所述第二圖像的比率設(shè)置為大于在所述差分是小于所述第一值的第二值時被混合為所述第三圖像的所述第二圖像的比率。

根據(jù)以下參照附圖對示例性實施例的詳細(xì)描述，本發(fā)明的其他特征將變得清楚。

附圖說明

圖1是例示攝像裝置100的基本結(jié)構(gòu)的框圖。

圖2是例示根據(jù)第一實施例的信號處理單元4a的結(jié)構(gòu)的框圖。

圖3是摩爾紋減少處理的流程圖。

圖4是例示衍射極限曲線的圖。

圖5是例示CZP圖表的圖。

圖6是例示主圖像的示例的圖。

圖7是例示圖6的主圖像的線輪廓的圖。

圖8是例示小光圈圖像的示例的圖。

圖9是例示圖8的小光圈圖像的線輪廓的圖。

圖10是例示根據(jù)第一實施例的差分信號的線輪廓的圖(低通濾波處理之前)。

圖11是例示根據(jù)第一實施例的差分信號的線輪廓的圖(低通濾波處理之后)。

圖12是示出差分信號d與混合比率α之間的關(guān)系的圖表(重視減少摩爾紋時)。

圖13是示出差分信號d與混合比率α之間的關(guān)系的圖表(重視保持分辨率時)。

圖14是例示通過混合圖6的主圖像與圖8的小光圈圖像而獲得的輸出圖像(摩爾紋減少的圖像)的圖。

圖15是例示圖14的輸出圖像(摩爾紋減少的圖像)的線輪廓的圖。

圖16是例示根據(jù)第二實施例的信號處理單元4a的結(jié)構(gòu)的框圖。

圖17是例示根據(jù)第二實施例的差分信號的線輪廓的圖(低通濾波處理之后)。

具體實施方式

以下將參照附圖詳細(xì)描述本發(fā)明的示例性實施例。應(yīng)當(dāng)注意，本發(fā)明的技術(shù)范圍由權(quán)利要求限定，不受下文所述的任意實施方式限制。另外，并不是實施方式中描述的所有的特征的組合都是實現(xiàn)本發(fā)明所必需的。

第一實施例

＜摩爾紋減少處理概述＞

圖1是例示根據(jù)第一實施例的攝像裝置100的基本結(jié)構(gòu)的框圖。為了減少摩爾紋，攝像裝置100在正常攝影條件下執(zhí)行被攝體的攝影(主攝影)，并在光圈值大于正常攝影條件的光圈值的攝影條件下執(zhí)行同一個被攝體的攝影(小光圈攝影)。在下文中，通過主攝影生成的圖像被稱為“主圖像”，通過小光圈攝影生成的圖像被稱為“小光圈圖像”。

這里，“攝影條件”包括例如光圈值、快門速度、ISO感光度、焦距、聚焦透鏡位置、攝影距離等。如果透鏡單元1被配置為相對于攝像裝置100的主體(相機(jī)主體)可拆卸，那么“攝影條件”也包括透鏡ID和相機(jī)ID。此外，“正常攝影條件”是指通常被認(rèn)為適合用戶獲得想要的圖像的攝影條件，例如，“正常攝影條件”可以是由用戶手動設(shè)置的攝影條件，或是攝像裝置100根據(jù)要攝影的場景等自動設(shè)置的攝影條件。

由于光圈造成的衍射現(xiàn)象的影響，小光圈圖像可能具有低于主圖像的分辨率。相反，在與主圖像的可能會出現(xiàn)大摩爾紋的區(qū)域相對應(yīng)的區(qū)域中，可以期待小光圈圖像具有小摩爾紋。因此，攝像裝置100混合主圖像和小光圈圖像，從而在摩爾紋小的區(qū)域中主圖像的比率大，而在摩爾紋大的區(qū)域中小光圈圖像的比率更大。因此，在抑制分辨率降低的同時，能夠生成摩爾紋減少的圖像。

注意，以小光圈圖像作為要與主圖像(第一圖像)混合的圖像(第二圖像)的示例描述了本實施例，但要與主圖像混合的圖像并不限于小光圈圖像。任何圖像都能實現(xiàn)與小光圈圖像相同的效果，只要該圖像是通過在與正常攝影條件(第一攝影條件)相比將要減少摩爾紋的攝影條件(第二攝影條件)下執(zhí)行攝影而生成的圖像即可。例如，攝像裝置100可以生成比主圖像更模糊的圖像(模糊圖像)來取代小光圈圖像。可以通過在與正常攝影條件相比使被攝體散焦的攝影條件(即被攝體沒有對焦的攝影條件)下執(zhí)行攝影來生成模糊圖像?？蛇x擇地，可以想到這樣的情況：即攝像裝置100配設(shè)有用于向圖像傳感器2的攝像面添加及從該攝像面移除光學(xué)低通濾波器的機(jī)構(gòu)(未示出)。在此情況下，攝像裝置100在已移除光學(xué)低通濾波器的攝影條件(即在通向圖像傳感器2的光路上未配置光學(xué)低通濾波器的攝影條件)下生成主圖像。另外，攝像裝置100在已添加光學(xué)低通濾波器的攝影條件(即在通向圖像傳感器2的光路上配置有光學(xué)低通濾波器的攝影條件)下生成作為要與主圖像混合的圖像的圖像(濾波器圖像)。

小光圈圖像、模糊圖像以及濾波器圖像都是通過在與正常攝影條件相比減少了圖像傳感器2上形成的被攝體的光學(xué)圖像的高頻率成分的攝影條件下，對被攝體攝影而生成的圖像。因此，盡管這些圖像的分辨率低于主圖像的分辨率，但期望這些圖像具有小摩爾紋。

＜攝像裝置100的基本結(jié)構(gòu)＞

如圖1所示，攝像裝置100配設(shè)有透鏡單元1和圖像傳感器2。當(dāng)利用攝像裝置100執(zhí)行攝影時，透鏡單元1的攝像光學(xué)系統(tǒng)在圖像傳感器2上形成被攝體的光的圖像。透鏡單元1包括光圈1a和聚焦透鏡1b。透鏡單元控制單元6執(zhí)行透鏡單元1的控制和數(shù)據(jù)通信。具體地，透鏡單元控制單元6基于F數(shù)的攝影狀態(tài)設(shè)置來控制光圈1a的光圈尺寸。此外，透鏡單元控制單元6基于自動調(diào)焦(AF)或手動調(diào)焦來控制聚焦透鏡1b的位置，以便根據(jù)被攝體的距離執(zhí)行焦點(diǎn)調(diào)整。

攝影條件確定單元7通過透鏡單元控制單元6獲得用于主攝影的攝影條件，例如焦距、攝影距離以及攝像光學(xué)系統(tǒng)的光圈值。此外，攝影條件確定單元7確定用于出現(xiàn)衍射現(xiàn)象的小光圈攝影的攝影條件。

圖像傳感器2將形成的圖像光轉(zhuǎn)換成電氣信號。A/D轉(zhuǎn)換器3將從圖像傳感器2獲得的電氣信號轉(zhuǎn)換成數(shù)字圖像信號，并將所生成的信號輸出到信號/文件處理單元4。信號/文件處理單元4包括信號處理單元4a和圖像文件處理單元4b。

圖2是例示信號處理單元4a的結(jié)構(gòu)的框圖。信號處理單元4a包括輸入終端201、圖像處理單元203、差分計算單元204、低通濾波器單元205、混合比率計算單元206、混合單元207、輸入終端208以及輸出終端209。數(shù)字圖像信號經(jīng)由輸入終端201被輸入到信號處理單元4a。圖像處理單元203使數(shù)字圖像信號經(jīng)受一系列顯影處理，例如像素插值處理、輝度信號處理及色彩信號處理。差分計算單元204計算從圖像處理單元203輸出的已顯影小光圈圖像與經(jīng)由輸入終端208輸入的已顯影主圖像之間的差分信號。低通濾波器單元205執(zhí)行濾波處理以截止或減弱差分信號的高頻成分并允許低頻成分通過?；旌媳嚷视嬎銌卧?06基于經(jīng)受低通濾波處理的差分信號而對各個像素檢測摩爾紋，并計算從圖像處理單元203輸出的已顯影小光圈圖像與經(jīng)由輸入終端208輸入的已顯影主圖像之間的混合比率。混合單元207基于該混合比率來混合從圖像處理單元203輸出的已顯影小光圈圖像的信號水平與經(jīng)由輸入終端208輸入的已顯影主圖像的信號水平，以便將減少了摩爾紋的數(shù)字圖像信號(摩爾紋減少的圖像)提供給輸出終端209。

返回至圖1，圖像文件處理單元4b對從信號處理單元4a輸出的數(shù)字圖像信號(例如摩爾紋減少的圖像的數(shù)字圖像信號等)執(zhí)行諸如調(diào)整尺寸處理或壓縮處理等圖像文件生成處理，并將所產(chǎn)生的信號存儲在記錄介質(zhì)9中。

存儲單元8中存儲有諸如圖像傳感器2的像素間距等各種類型的信息。信號/文件處理單元4、攝影條件確定單元7以及控制單元19基于通過訪問存儲單元8所獲得的各種類型的信息而實現(xiàn)各種類型的功能。

顯示單元5對摩爾紋減少的圖像執(zhí)行用于顯示的預(yù)定處理，并顯示被處理過的圖像。此外，顯示單元5也能夠顯示主圖像、小光圈圖像等。

控制單元10控制攝像裝置100的構(gòu)成組件的處理。例如，根據(jù)控制單元10的指令執(zhí)行透鏡單元控制單元6對透鏡單元1的控制。

＜摩爾紋減少處理的細(xì)節(jié)＞

在下文中，將參照圖3詳細(xì)描述攝像裝置100執(zhí)行的摩爾紋減少處理。在本實施例中，通常用于摩爾紋評估和分辨率評估的CZP圖表充當(dāng)被攝體。圖5示出了該CZP圖表。

當(dāng)例如用戶操作操作單元(未示出)以指示攝像裝置100執(zhí)行攝影時，開始圖3的流程圖的過程。除非另有說明，否則圖3中示出的步驟的處理都是由控制單元10控制攝像裝置100的構(gòu)成組件來實現(xiàn)的。

在步驟S301中，攝影條件確定單元7獲得用于主攝影的攝影條件(正常攝影條件)。如上文所述，用于主攝影的攝影條件可以是由用戶手動設(shè)置的攝影條件或是基于要攝影的場景等由攝像裝置100自動設(shè)置的攝影條件。這里，假定用于主攝影的攝影條件包括例如光圈值F5.6、快門速度1/250秒以及ISO感光度ISO 100。注意，本實施例并不限于這些攝影條件。

在步驟S302中，攝影條件確定單元7基于用于主攝影的攝影條件來確定用于小光圈攝影的攝影條件。攝影條件確定單元7將用于小光圈攝影的預(yù)定值(由于衍射現(xiàn)象的影響，摩爾紋有望減少的光圈值)確定為光圈值，并確定快門速度和ISO感光度，以便能夠?qū)崿F(xiàn)與步驟S301中獲得的用于主攝影的攝影條件下相同的曝光。假定其他攝影條件(例如焦距和聚焦透鏡位置)具有與用于主攝影的攝影條件相同的值。這里，假定用于小光圈攝影的光圈值為F16。此外，攝影條件確定單元7將快門速度減小為1/30秒以便獲得與用于主攝影的攝影條件下相同的曝光，并將ISO感光度設(shè)置為與用于主攝影的ISO感光度相同的ISO 100。

注意，用于小光圈攝影的攝影條件并不限于上述示例，可以根據(jù)攝像光學(xué)系統(tǒng)的像差量或圖像傳感器2的像素間距來適當(dāng)改變用于小光圈攝影的光圈值。例如，用于小光圈攝影的光圈值可以是由以下條件表達(dá)式(1)所表達(dá)的光圈值。

F≥a(p/λ)...(1)

其中，F(xiàn)是F數(shù)(光圈值)，p是像素間距，λ是包含在可見光的波段中的預(yù)定波長?？蛇x擇地，λ可以被設(shè)置為能被圖像傳感器2接收到的光的波段的中心波長?！癮”是摩爾紋抑制系數(shù)。當(dāng)a＝1時，根據(jù)基于光圈值確定的衍射的截止頻率等于基于圖像傳感器2的像素間距所確定的采樣頻率N。當(dāng)a＝2時，根據(jù)衍射的截止頻率等于N/2。例如，在本實施例中，假定像素間距p為4.40μm，λ為550nm。在此情況下，當(dāng)a＝1時，光圈值為F8，但在頻率N/2處對比度仍保持在大約50％，因此，不可能充分地減少摩爾紋。另一方面，當(dāng)a＝2時，光圈值為F16，高于N/2的頻帶處的對比度大約為0％，因此能充分減少摩爾紋。

注意，用于小光圈攝影的光圈值不是必須為a(p/λ)或更大。即使用于小光圈攝影的光圈值小于a(p/λ)，只要用于小光圈攝影的光圈值大于用于主攝影的光圈值，仍能在一定程度上期待摩爾紋減少的效果。

在步驟S303中，控制單元10執(zhí)行主攝影。此時，響應(yīng)于來自控制單元10的指令，攝影條件確定單元7向透鏡單元控制單元6發(fā)送步驟S301中獲得的用于主攝影的攝影條件中的光圈值F5.6、快門速度1/250秒以及聚焦透鏡位置P。此外，攝影條件確定單元7將與ISO 100對應(yīng)的增益值發(fā)送給圖像傳感器2。透鏡單元控制單元6通過基于光圈值F5.6驅(qū)動光圈1a或者以快門速度1/250秒驅(qū)動機(jī)械快門而確定電荷累積時間。此外，透鏡單元控制單元6通過將聚焦透鏡1b移動到聚焦透鏡位置P從而將聚焦透鏡1b驅(qū)動到焦點(diǎn)。在該狀態(tài)下，執(zhí)行被攝體的攝影。注意，可以使用控制圖像傳感器2的電荷累積時間的電子快門來代替機(jī)械快門進(jìn)行快門速度控制。

在主攝影期間，通過在圖像傳感器2的攝像表面上形成的圖像光而在圖像傳感器2上累積電荷，并且在垂直和水平方向上傳送累積的電荷，并利用與ISO 100對應(yīng)的增益值來放大累積的電荷。之后，A/D轉(zhuǎn)換器3執(zhí)行所累積的電荷到數(shù)字圖像信號的轉(zhuǎn)換。通過上述過程，與主圖像對應(yīng)的數(shù)字圖像信號被供給到信號處理單元4a。

信號處理單元4a對主圖像執(zhí)行顯影處理。圖像處理單元203對經(jīng)由輸入終端201輸入的主圖像執(zhí)行一系列顯影處理，例如像素插值處理、輝度信號處理及色彩信號處理，并將顯影后的主圖像輸出到混合單元207。混合單元207將顯影后的主圖像照原樣提供給輸出終端209。

在步驟S304中，控制單元10確定摩爾紋減少處理是否必需。例如，如果用于主攝影的光圈值小于上述用于小光圈攝影的光圈值(F16)，則主圖像中出現(xiàn)摩爾紋的可能性就高。因此，控制單元10確定需要執(zhí)行摩爾紋減少處理。在此情況下，控制單元10執(zhí)行用于將從輸出終端209輸出的主圖像存儲在存儲單元8中的控制，并將處理推進(jìn)至步驟S305。如果不需要執(zhí)行摩爾紋減少處理，則控制單元10將處理推進(jìn)至步驟S310。

這里，圖6示出了通過針對作為被攝體的CZP圖表(圖5)執(zhí)行主攝影而獲得的主圖像。此外，圖7示出了從畫面的左下角劃向右上角的圖6的主圖像的線的線輪廓。如從圖6和圖7中可以理解到的，在畫面的右上部分中的高頻率區(qū)域中，生成了被攝體(圖5)中不存在的摩爾紋，并且圖像質(zhì)量已經(jīng)劣化。

在步驟S305中，控制單元10執(zhí)行小光圈攝影。此時，響應(yīng)于來自控制單元10的指令，攝影條件確定單元7向透鏡單元控制單元6發(fā)送步驟S302中確定的用于小光圈攝影的攝影條件中的光圈值F16、快門速度1/30秒以及聚焦透鏡位置P。此外，攝影條件確定單元7將與ISO 100對應(yīng)的增益值發(fā)送給圖像傳感器2。透鏡單元控制單元6通過基于光圈值F16驅(qū)動光圈1a或者以快門速度1/30秒驅(qū)動機(jī)械快門而確定電荷累積時間。此外，透鏡單元控制單元6通過將聚焦透鏡1b移動到聚焦透鏡位置P從而將聚焦透鏡1b驅(qū)動到焦點(diǎn)。在此情況下，執(zhí)行被攝體的攝影。之后，通過與步驟S303中的主攝影相同的過程生成小光圈圖像，并且該小光圈圖像被作為數(shù)字圖像信號供給到信號處理單元4a。

信號處理單元4a對小光圈圖像執(zhí)行顯影處理。圖像處理單元203對經(jīng)由輸入終端201輸入的小光圈圖像執(zhí)行一系列顯影處理，例如像素插值處理、輝度信號處理及色彩信號處理，并將顯影后的小光圈圖像輸出到差分計算單元204和混合單元207。

在步驟S306中，差分計算單元204針對包括一個或多個像素的各個區(qū)域來計算從存儲單元8讀取的已顯影主圖像和從圖像處理單元203輸出的已顯影小光圈圖像之間的差分信號(信號水平的差分)。該區(qū)域可以以像素為單位來設(shè)置，或是以各自由至少兩個像素構(gòu)成的像素組為單位來設(shè)置。即使是像素組單位的情況下，像素所屬的像素組的差分信號也被計算為各個像素的差分信號，因此，作為結(jié)果，計算各個像素的差分信號。注意，已顯影的主圖像被經(jīng)由輸入終端208從存儲單元8輸入到信號處理單元4a。

在根據(jù)本實施例的小光圈攝影中，由于衍射現(xiàn)象，高于N/2的頻率處的對比度被減弱為大約0％，因此無論要攝影的被攝體如何，小光圈圖像中出現(xiàn)摩爾紋的可能性都低。

這里，圖8示出了通過針對作為被攝體的CZP圖表(圖5)執(zhí)行小光圈攝影而獲得的小光圈圖像。此外，圖9示出了從畫面的左下角劃向右上角的圖8的小光圈圖像的線的線輪廓。如從圖8和圖9中可以理解到的，在畫面的右上部分中的高頻率區(qū)域中，不再有存在于主圖像(圖6)中的摩爾紋。因此，認(rèn)為在主圖像和小光圈圖像之間差分大的區(qū)域使得主圖像中可能會出現(xiàn)摩爾紋。

根據(jù)本實施例的差分信號為例如通過從針對平面G、R-G及B-G的主圖像的值中減去小光圈圖像的值而獲得的值。圖10示出了差分信號的線輪廓。注意，本實施例并不限于此，例如，可以使用YUV格式，以及可以使用針對YUV的各平面獲得的差分信號。

在步驟S307中，低通濾波器單元205對從差分計算單元204輸出的差分信號執(zhí)行低通濾波處理。低通濾波器單元205讀出并使用存儲在存儲單元8中的濾波器。衍射現(xiàn)象不僅使摩爾紋變?nèi)?，也使被攝體的對比度變?nèi)?。因此，如果如圖8和圖9所示，本實施例的小光圈圖像的被攝體具有大約為N/2的高頻帶的區(qū)域，則該區(qū)域的對比度會被降低為大約0％。因此，如圖10中所示，很難使用主圖像與小光圈圖像之間的差分信號的對比度來區(qū)分摩爾紋和具有高頻帶的被攝體。另一方面，由于低于例如N/4的頻率處的對比度減弱的小，因此容易區(qū)分被折疊到低頻帶的摩爾紋和具有低頻帶的被攝體。因此，在本實施例中，濾波器系數(shù)為14641的二維高斯濾波器被應(yīng)用于差分信號。

圖11示出了已應(yīng)用高斯濾波器的差分信號的線輪廓。由于只有被折疊到低頻帶的摩爾紋的對比度大量保持，因此能夠正確檢測摩爾紋。

注意，本實施例并不限于高斯濾波器，可以根據(jù)要檢測的摩爾紋的頻帶、被攝體的頻帶以及輸入信號的格式等來選擇合適的濾波器。此外，低通濾波處理不是必須的。

在步驟S308中，混合比率計算單元206基于從低通濾波器單元205輸出的各差分信號d的大小來計算小光圈圖像相對于主圖像的混合比率α。在本實施例中，假定差分信號d是8位(bit)，并且當(dāng)差分信號d為0、10、20及30時，混合比率α分別被α₀、α₁₀、α₂₀及α₃₀表示。此外，當(dāng)差分信號d具有上述值之外的值時，通過相鄰值的線性插值來計算混合比率α。

例如，如果重視摩爾紋減少，則混合比率α被如下設(shè)置。

α₀＝0

α₁₀＝0.5

α₂₀＝1

α₃₀＝1

圖12示出了例示此時差分信號d與混合比率α之間的關(guān)系的圖。混合比率計算單元206基于圖12的圖表計算針對差分信號d的混合比率α的值。

注意，本實施例并不限于圖12的圖表，可以通過改變差分信號d與混合比率α之間的關(guān)系來調(diào)整摩爾紋減少的程度與主圖像的分辨率的保持之間的平衡。例如，如果重視主圖像的分辨率的保持，則將混合比率α進(jìn)行如下設(shè)置。

α₀＝0

α₁₀＝0

α₂₀＝0.5

α₃₀＝1

圖13示出了例示此時差分信號d與混合比率α之間的關(guān)系的圖。如果基于圖13的圖表計算混合比率α，則在具有小差分的區(qū)域中，小光圈圖像將不與主圖像混合。因此，摩爾紋沒有減少，分辨率也沒有降低。

在本實施例中，假定混合比率計算單元206針對作為各平面G、R-G及B-G的差分信號的dG、dRG及dBG來獲得混合比率αG、αRG及αBG。此時，也可以針對各平面限定差分信號d與混合比率α之間的不同的關(guān)系。例如，通過無論dG的值如何總是將關(guān)于G的αG的值設(shè)置為0，可以不減少輝度信號的摩爾紋，而優(yōu)先考慮輝度信號的分辨率的保持。此外，關(guān)于dRG和dBG，通過基于圖12的圖表計算αRG和αBG的值，可以優(yōu)先考慮彩色摩爾紋的減少，而不是微小彩色分辨率的保持。注意，本實施例并不限于此。

在步驟S309中，基于從混合比率計算單元206輸出的混合比率，混合單元207將經(jīng)由輸入終端208從存儲單元8輸入的已顯影主圖像的信號水平與從圖像處理單元203輸出的已顯影小光圈圖像的信號水平混合。在本實施例中，混合單元207基于例如以下公式(2)至(4)將主圖像的信號水平與小光圈圖像的信號水平混合，并生成輸出圖像。所生成的輸出圖像被經(jīng)由輸出終端209輸出到圖像文件處理單元4b。

中間圖像1＝(主圖像×(1-αG))+(小光圈圖像×αG)...(2)

中間圖像2＝(中間圖像1×(1-αRG))+(小光圈圖像×αRG)...(3)

輸出圖像＝(中間圖像2×(1-αBG))+(小光圈圖像×αBG)...(4)

在本實施例中，RGB格式圖像用于主圖像和小光圈圖像，并且公式(2)至(4)應(yīng)用于全部RGB平面，因此能夠以平衡的方式減少輝度摩爾紋和彩色摩爾紋。

圖14示出了通過將圖6的主圖像的信號水平與圖8的小光圈圖像的信號水平混合而獲得的輸出圖像。圖14的輸出圖像是通過基于圖12的圖表針對dG、dRG及dBG分別計算αG、αRG及αBG、并基于公式(2)至(4)將主圖像的信號水平與小光圈圖像的信號水平混合所獲得的圖像。如從圖12及公式(2)至(4)了解到的那樣，執(zhí)行主圖像的信號水平與小光圈圖像的信號水平的混合，使得針對對應(yīng)差分信號的像素越大，針對小光圈圖像的信號水平比率也越大。此外，圖15示出了從畫面的左下角劃向右上角的圖14的輸出圖像的線的線輪廓。如從與主圖像的比較中可以理解到的，在輸出圖像中，在畫面的右上部分中摩爾紋減少，而在從畫面的左下到中心的部分中抑制了被攝體的分辨率的降低。

注意，本實施例并不限于此，也可以通過輸入例如YUV格式圖像并將公式(2)至(4)只應(yīng)用于UV信號，從而僅減少彩色摩爾紋而并不影響輝度信號。

此外，混合單元207可以基于以下公式(5)至(8)而非公式(2)至(4)來將主圖像的信號水平與小光圈圖像的信號水平混合。

中間圖像1＝(主圖像×(1-αG))+(小光圈圖像×αG)...(5)

中間圖像2＝(主圖像×(1-αRG))+(小光圈圖像×αRG)...(6)

中間圖像3＝(主圖像×(1-αBG))+(小光圈圖像×αBG)...(7)

輸出圖像＝(中間圖像1+中間圖像2+中間圖像3)/3...(8)

當(dāng)使用公式(5)至(8)時，與使用公式(2)至(4)的情況相比降低了摩爾紋減少效果，但是抑制了分辨率的降低。

在步驟S309之后的步驟S310中，圖像文件處理單元4b利用預(yù)定格式對由混合單元207生成并從輸出終端209輸出的摩爾紋減少圖像執(zhí)行圖像文件生成處理。在步驟S311中，圖像文件處理單元4b將摩爾紋減少圖像的圖像文件存儲在記錄介質(zhì)9中。

另一方面，當(dāng)處理從步驟S304移至步驟S310時，在步驟S310中，圖像文件處理單元4b利用預(yù)定格式對步驟S303中從輸出終端209輸出的主圖像執(zhí)行圖像文件生成處理。然后，在步驟S311中，圖像文件處理單元4b將主圖像的圖像文件存儲在記錄介質(zhì)9中。換言之，如果用于主攝影的光圈值大于或等于用于小光圈攝影的光圈值(大于或等于預(yù)定值)，則主圖像中出現(xiàn)摩爾紋的可能性低，因此攝像裝置100既不拍攝小光圈圖像也不執(zhí)行摩爾紋減少處理。

注意，即使生成了模糊圖像或濾波器圖像(而非小光圈圖像)作為要與主圖像混合的圖像，仍可以基于用于主攝影的光圈值是否小于用于小光圈攝影的光圈值(小于預(yù)定值)來執(zhí)行步驟S304中的確定處理。這是因為，可以想到，無論要與主圖像混合的圖像的類型如何，如果用于主攝影的光圈值小于用于小光圈攝影的光圈值，則主圖像中出現(xiàn)摩爾紋的可能性低。

此外，盡管在圖3中，在步驟S303中執(zhí)行了主攝影并且隨后在步驟S305中執(zhí)行了小光圈攝影，但也可以顛倒主攝影和小光圈攝影的順序。

如上文所述，根據(jù)第一實施例，攝像裝置100基于與各像素對應(yīng)的差分、利用混合比率將主圖像與小光圈圖像混合。因此，在抑制分辨率降低的同時，能夠減少摩爾紋。

注意，也可以由不同于攝像裝置100的圖像處理裝置來執(zhí)行本實施例的摩爾紋減少處理。在此情況下，圖像處理裝置從諸如攝像裝置100等外部裝置獲得主圖像和小光圈圖像，并基于差分將所獲得的主圖像和小光圈圖像混合。此外，如果用于主圖像的光圈值大于或等于用于小光圈圖像的光圈值(大于或等于預(yù)定值)，則圖像處理裝置不必執(zhí)行混合(即，圖像處理裝置不需要生成摩爾紋減少圖像)。

第二實施例

第二實施例描述了這樣的結(jié)構(gòu)：與衍射模糊(在光圈1a處的衍射造成的圖像劣化)的校正(衍射校正)一起執(zhí)行摩爾紋減少處理。在本實施例中，除了信號處理單元4a的結(jié)構(gòu)之外，攝像裝置100具有與第一實施例(見圖1)中類似的結(jié)構(gòu)。在下文中，將集中描述與第一實施例的不同之處。

圖16是例示根據(jù)第二實施例的信號處理單元4a的結(jié)構(gòu)的框圖。在圖16中，與圖2中相同或相似的構(gòu)成組件被賦予相同的附圖標(biāo)記。本實施例的信號處理單元4a還在圖像處理單元203的前方配設(shè)了光學(xué)校正單元202。光學(xué)校正單元202對經(jīng)由輸入終端201輸入的數(shù)字圖像信號執(zhí)行衍射校正，并校正由于攝像光學(xué)系統(tǒng)的光學(xué)特征造成的圖像劣化。任何適當(dāng)?shù)囊阎夹g(shù)(例如，使用諸如JP特開2013-051524號公報(特別是0002至0013段)中公開的圖像復(fù)原濾波器的校正)都可以用于衍射校正。

除了圖3的步驟S305中的小光圈攝影之外，本實施例的摩爾紋減少處理與第一實施例中類似。注意，在步驟S303的主攝影中不執(zhí)行光學(xué)校正單元202的校正。

在S305中，光學(xué)校正單元202利用圖像恢復(fù)濾波器對未顯影小光圈圖像執(zhí)行衍射校正。例如，通過從存儲單元8中獲得與用于小光圈攝影的光圈值對應(yīng)的圖像恢復(fù)濾波器并將該圖像恢復(fù)濾波器應(yīng)用于小光圈圖像，光學(xué)校正單元202執(zhí)行衍射校正。注意，本實施例并不限于此，例如，可以利用非銳化濾鏡(unsharp mask)等執(zhí)行邊緣增強(qiáng)處理作為衍射校正。之后的處理(例如低通濾波器單元205的低通濾波處理)與第一實施例中類似。

通過使小光圈圖像經(jīng)過衍射校正，被攝體的對比度被改善以接近主圖像的對比度，并且被攝體區(qū)域的差分信號減小。另一方面，由于在小光圈攝影時衍射現(xiàn)象造成出現(xiàn)摩爾紋的高于N/2的頻帶處的對比度減弱為大約0％，因此衍射校正對改善沒有幫助，摩爾紋區(qū)域中的差分信號仍然很大并沒有變化。因此，通過使小光圈圖像經(jīng)過衍射校正，很容易在差分信號中區(qū)分摩爾紋區(qū)域和被攝體區(qū)域。

圖17示出了主圖像和受到衍射校正的小光圈圖像之間的差分信號的線輪廓。與圖11(沒有執(zhí)行衍射校正)的差分信號相比，摩爾紋區(qū)域與被攝體區(qū)域之間的對比度的差異大，因此能夠期待更有效的摩爾紋減少。

其它實施例

本發(fā)明的實施例還可以通過如下的方法來實現(xiàn)，即，通過網(wǎng)絡(luò)或者各種存儲介質(zhì)將執(zhí)行上述實施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計算機(jī)或是中央處理單元(CPU)、微處理單元(MPU)讀出并執(zhí)行程序的方法。

雖然參照示例性實施例描述了本發(fā)明，但是應(yīng)當(dāng)理解，本發(fā)明并不限于所公開的示例性實施例。應(yīng)當(dāng)對下列權(quán)利要求的范圍賦予最寬的解釋，以使其涵蓋所有這些變型例以及等同的結(jié)構(gòu)及功能。