圖像處理設備、攝像設備和圖像處理方法
【專利摘要】提供了一種圖像處理設備、攝像設備和圖像處理方法。圖像處理設備能夠通過重建輸入圖像來生成具有不同焦點位置的多個輸出圖像，其包括：存儲單元，用于存儲攝像條件信息；以及圖像處理單元，用于使用攝像條件信息，根據(jù)輸入圖像來生成輸出圖像，并且圖像處理單元獲得輸入圖像，其中，輸入圖像是經(jīng)由成像光學系統(tǒng)和具有多個像素的攝像元件所獲得的、從多個視點觀看的被攝體空間的信息；計算同一區(qū)域的輸入圖像的像素組的平均像素值，并且利用平均像素值代替像素組的每個像素值；并且以使利用平均像素值所代替的像素彼此偏移的方式進行合成，以生成輸出圖像。
【專利說明】圖像處理設備、攝像設備和圖像處理方法
【技術領域】
[0001]本發(fā)明涉及一種圖像處理設備，其對輸入圖像進行重建，以生成具有不同焦點位置的多個輸出圖像。
【背景技術】
[0002]近來，提供了一種攝像設備，其通過對由攝像元件獲得的數(shù)據(jù)進行計算并且進行與其相對應的數(shù)字圖像處理來輸出各種圖像。Ren Ng等的“Light Field Photographywith A Hand-held Plenoptic CAMERA”，2005C0MPUTER Science Technical Report CTSR和 Todor Georgiev 等的“Superresolution with Plenoptic2.0CAMERA”，20090pticalSociety OF America公開了一種攝像設備,其使用“光場攝影”,同時獲得被攝體空間中的光的二維強度分布和光束的角度信息、即視差信息。將光的二維強度分布和光束的角度信息統(tǒng)稱為光場，并且通過獲得光場，能夠獲得被攝體空間的三維信息。通過使用獲得的光場對圖像進行重建處理，能夠進行諸如改變圖像的焦點位置、改變攝像視點和調(diào)整景深的再聚焦。
[0003]此外，隨著顯示裝置的發(fā)展，要求攝像設備具有進一步高的圖像質(zhì)量。為了高圖像質(zhì)量，減小圖像的噪聲很重要。日本特開平06-86332公開了通過對通過多個攝像光學系統(tǒng)獲得的圖像進行合成來減小噪聲的方法。
[0004]然而，在日本特開平06-86332公開的噪聲減小方法中，針對對同一被攝體進行攝像的像素，簡單地進行合成。在這種情況下，當噪聲符合泊松(Poisson)分布時,合成N個像素，從而通過求平均使噪聲減小冗1/2倍。然而，隨著顯示裝置的發(fā)展，要求圖像具有進一步高的質(zhì)量，因此在日本特開平06-86332中公開的噪聲減小方法是不夠的。

【發(fā)明內(nèi)容】

[0005]本發(fā)明提供一種有效地減小通過合成視差圖像而獲得的圖像的噪聲的圖像處理設備、攝像設備、圖像處理方法和圖像處理程序。
[0006]作為本發(fā)明的圖像處理設備，其能夠通過重建輸入圖像來生成具有不同焦點位置的多個輸出圖像，所述圖像處理設備包括:存儲單元，用于存儲所述輸入圖像的攝像條件信息；以及圖像處理單元，用于使用所述攝像條件信息，根據(jù)所述輸入圖像來生成所述輸出圖像，其中，所述圖像處理單元:獲得所述輸入圖像，其中，所述輸入圖像是經(jīng)由成像光學系統(tǒng)和具有多個像素的攝像元件所獲得的、從多個視點觀看的被攝體空間的信息；計算所述被攝體空間的同一區(qū)域的所述輸入圖像的像素組的平均像素值，并且利用所述平均像素值代替所述像素組的每個像素值；以及以使利用所述平均像素值所代替的所述像素組的像素彼此偏移的方式進行合成，以生成所述輸出圖像。
[0007]作為本發(fā)明的另一方面的攝像設備，其能夠通過重建輸入圖像來生成具有不同焦點位置的多個輸出圖像，所述攝像設備包括:成像光學系統(tǒng)；包括多個像素的攝像元件；透鏡陣列，用于根據(jù)來自被攝體平面的同一位置的光束所通過的所述成像光學系統(tǒng)的光瞳區(qū)域，使所述光束進入所述攝像元件的彼此不同的像素；以及圖像處理單元，用于根據(jù)所述攝像元件所獲得的所述輸入圖像，生成所述輸出圖像，其中，所述圖像處理單元:獲得所述輸入圖像，其中，所述輸入圖像是經(jīng)由所述成像光學系統(tǒng)、所述攝像元件和所述透鏡陣列所獲得的、從多個視點觀看的被攝體空間的信息；計算所述被攝體空間的同一區(qū)域的所述輸入圖像的像素組的平均像素值，并且利用所述平均像素值代替所述像素組的每個像素值；以及以使利用所述平均像素值所代替的所述像素組的像素彼此偏移的方式進行合成，以生成所述輸出圖像。
[0008]作為本發(fā)明的另一方面的攝像設備，其能夠通過重建輸入圖像來生成具有不同焦點位置的多個輸出圖像，所述攝像設備包括:成像光學系統(tǒng)，其包括具有正屈光力的多個光學系統(tǒng)；包括多個像素的至少一個攝像元件；以及圖像處理單元，用于根據(jù)所述攝像元件所獲得的所述輸入圖像，生成所述輸出圖像，其中，在所述成像光學系統(tǒng)的光瞳是通過對所述多個光學系統(tǒng)的光瞳進行合成而形成的光瞳時，所述多個光學系統(tǒng)被配置為使得根據(jù)來自被攝體平面的同一位置的光束所通過的所述成像光學系統(tǒng)的光瞳區(qū)域，使所述光束進入所述攝像元件的彼此不同的像素，
[0009]作為本發(fā)明的另一方面的圖像處理方法，其能夠通過重建輸入圖像來生成具有不同焦點位置的多個輸出圖像，所述圖像處理方法包括如下步驟:獲得所述輸入圖像，其中，所述輸入圖像是經(jīng)由成像光學系統(tǒng)和具有多個像素的攝像元件所獲得的、從多個視點觀看的被攝體空間的信息；計算所述被攝體空間的同一區(qū)域的所述輸入圖像的像素組的平均像素值，并且利用所述平均像素值代替所述像素組的每個像素值；以及以使利用所述平均像素值所代替的所述像素組的像素彼此偏移的方式進行合成，以生成所述輸出圖像。
[0010]從以下參考附圖對示例性實施例的描述，本發(fā)明的其它特征和方面將變得明顯。
【專利附圖】

【附圖說明】
[0011]圖1是實施例1中的攝像光學系統(tǒng)的示意性配置圖。
[0012]圖2是實施例2中的攝像光學系統(tǒng)的示意性配置圖。
[0013]圖3是實施例2中的攝像光學系統(tǒng)的示意性配置圖。
[0014]圖4是實施例3中的攝像光學系統(tǒng)的示意性配置圖。
[0015]圖5是實施例1中的攝像設備的框圖。
[0016]圖6是實施例1中的攝像光學系統(tǒng)的截面圖。
[0017]圖7A和7B是示出實施例1中的再聚焦圖像生成的圖。
[0018]圖8是示出實施例1中的再聚焦范圍的圖。
[0019]圖9是示出實施例1中的攝像光學系統(tǒng)和物體距離的關系的圖。
[0020]圖10是示出實施例1中的攝像元件和透鏡陣列的關系的圖。
[0021 ]圖11是示出實施例1中的攝像場景的示例的圖。
[0022]圖12A至12D是示出實施例1中的視差圖像的示例的圖。
[0023]圖13A和13B是示出實施例1中的再聚焦圖像的示例的圖。
[0024]圖14是實施例1中的圖像處理方法的流程圖。
[0025]圖15是實施例2中的圖像處理系統(tǒng)的框圖。
[0026]圖16是實施例2中的攝像光學系統(tǒng)的截面圖。[0027]圖17A和17B是示出實施例2中的再聚焦圖像生成的圖。
[0028]圖18是示出實施例2中的再聚焦范圍的圖。
[0029]圖19是實施例3中的攝像設備的框圖。
[0030]圖20是實施例3中的攝像光學系統(tǒng)的示意性配置圖。
[0031]圖21是實施例3中的光學系統(tǒng)的截面圖。
[0032]圖22A和22B是示出實施例3中的再聚焦圖像生成的圖。
[0033]圖23是示出實施例3中的再聚焦范圍的圖。
[0034]圖24是實施例2和3中的每個中的圖像處理方法的流程圖。
【具體實施方式】
[0035]下面，參考附圖描述本發(fā)明的示例性實施例。在附圖中的每個中，用相同的附圖標記表示相同的要素，并且省略重復描述。
[0036]本實施例的圖像處理方法通過對輸入圖像進行重建，能夠生成具有不同焦點位置的多個輸出圖像。輸入圖像是從不同視點對被攝體空間進行攝像以獲得光場的圖像(視差圖像)，并且其由下面的攝像設備獲得。也就是說，攝像設備被配置為通過排列具有正屈光力的多個光學系統(tǒng)，或者通過在攝像光學系統(tǒng)的圖像側(cè)布置透鏡陣列，來獲得光場。
[0037]圖1至4是構成該攝像設備的攝像光學系統(tǒng)的示例。攝像光學系統(tǒng)被配置為包括成像光學系統(tǒng)和攝像元件。當設置透鏡陣列時，攝像光學系統(tǒng)被配置為包括透鏡陣列。另夕卜，作為獲得光場的另一方法，可以想到使用獲得被攝體空間的光的二維強度分布的攝像設備來在改變攝像設備的位置的情況下進行多次攝像的方法。在這種情況下，通過在彼此不同的時間對被攝體空間進行攝像來獲得光場(視差圖像)。由于該原因，當在被攝體空間中存在運動物體時，難以獲得正確的信息(視差信息)。因此，如圖1至4所示，優(yōu)選攝像光學系統(tǒng)具有能夠同時獲得視差圖像(多個視差圖像)的配置。
[0038]人或者物體不一定存在于圖1至4所示的被攝體平面201上。這是因為通過重建處理，能夠在進行攝像之后對存在于被攝體平面201后面或者前面的人和物體進行聚焦。另外，為了方便，使用一維系統(tǒng)進行對下面的實施例的描述，但是關于二維系統(tǒng)，相同的討論也成立。
[0039]實施例1
[0040]首先，參考圖5描述本發(fā)明的實施例1中的攝像設備的配置。圖5是本實施例的攝像設備的框圖。由攝像設備的圖像處理單元105進行本實施例的圖像處理方法。
[0041 ] 攝像元件103是諸如CXD (電荷耦合器件)或者CMOS (互補金屬氧化物半導體)的二維攝像元件，其設置有多個像素。經(jīng)由成像光學系統(tǒng)101 (主鏡頭單元)和透鏡陣列102進入攝像元件103的光束的能量變?yōu)殡娦盘?模擬信號)，并且由A/D轉(zhuǎn)換器104轉(zhuǎn)換為數(shù)字信號。在圖像處理單元105中對數(shù)字信號進行預定處理，并且以預定格式將其存儲在諸如半導體存儲器的圖像記錄介質(zhì)110中。在這種情況下，還存儲從狀態(tài)檢測單元108獲得的攝像設備的攝像條件信息。攝像條件信息是攝像距離、光圈、變焦透鏡中的焦距等。狀態(tài)檢測單元108可以從系統(tǒng)控制器111直接獲得攝像條件信息，并且可以從光學系統(tǒng)控制器107獲得關于攝像光學系統(tǒng)的信息。
[0042]當在顯示單元106上顯示存儲在圖像記錄介質(zhì)110中的圖像時，圖像處理單元105基于攝像條件信息進行重建處理。其結果是，在顯示單元106上顯示以期望的視點、焦點位置和景深重建的圖像。另外，為了高速度，可以預先將期望的圖像設置(視點、焦點和景深)存儲在存儲單元109中，并且可以在不使用圖像記錄介質(zhì)110的情況下直接在顯示單元106上顯示重建圖像。另外，記錄在圖像記錄介質(zhì)110中的圖像可以是重建之后的圖像。由系統(tǒng)控制器111進行上述一系列控制，并且通過系統(tǒng)控制器111的指示由光學系統(tǒng)控制器107來進行攝像光學系統(tǒng)的機械驅(qū)動。
[0043]接下來，參考圖1和6描述本實施例中的攝像光學系統(tǒng)的配置。圖1是攝像光學系統(tǒng)的示意性配置圖。圖6是攝像光學系統(tǒng)的截面圖。攝像光學系統(tǒng)被配置為包括成像光學系統(tǒng)101、透鏡陣列102和攝像元件103。在本實施例中，使用多個透鏡(小透鏡)構成透鏡陣列102，并且小透鏡由固體透鏡構成。然而，本實施例不限于此，可以使用液體透鏡、液晶透鏡或者衍射光學元件來構成透鏡陣列102。構成透鏡陣列102的小透鏡的兩側(cè)的表面都具有凸起形狀。然而，本實施例不限于此，一側(cè)的表面可以是平坦形狀，而另一側(cè)的表面可以具有凸起形狀。
[0044]透鏡陣列102被布置在成像光學系統(tǒng)101的相對于被攝體平面201的圖像側(cè)共軛平面。另外，透鏡陣列102被配置為使得成像光學系統(tǒng)101的出射光瞳和攝像元件103基本處于共軛的關系。來自被攝體平面201上的同一位置的光束通過成像光學系統(tǒng)101和透鏡陣列102，然后根據(jù)光束在被攝體平面201上的位置和角度而進入彼此不同的攝像元件103的像素，以獲得光場。這里，透鏡陣列102用來防止通過被攝體平面201上的不同位置的光束進入同一像素。其結果是，在攝像元件103中，獲得了布置有通過從多個視點對被攝體平面201上的同一區(qū)域進行攝像而獲得的像素組的圖像。在圖1所示的配置中，由三個像素(在二維上九個像素)對被攝體平面201上的同一位置進行攝像。由于該原因，在本實施例的攝像光學系統(tǒng)中，在僅獲得光的二維強度分布的攝像光學系統(tǒng)中，二維空間分辨率降低1/9。即使當對被攝體平面201上的同一位置進行攝像的像素的數(shù)量改變時，這在性質(zhì)上也相同。
[0045]另外，優(yōu)選構成透鏡陣列102的小透鏡的圖像側(cè)(攝像元件103側(cè))的表面具有凸起形狀。因此，透鏡陣列102的散光減小，在攝像元件103上獲得的圖像變得銳利。相反，當圖像側(cè)的表面不是凸起形狀時，散光增加，由每個小透鏡形成的圖像的外周部分模糊。當在重建處理中使用圖像模糊部分時，難以獲得銳利的重建圖像。另外，還優(yōu)選小透鏡的物體側(cè)(成像光學系統(tǒng)101側(cè))的表面具有平坦或者凸起形狀。因此，小透鏡的曲率變低，像差減小，能夠進一步提高圖像的銳度。
[0046]隨后，描述本實施例中的再聚焦處理。在“Fourier Slice Photography”(RenNg, 2005ACM Trans.Graph.24, 735-744)中描述了再聚焦處理，因此這里簡要地進行描述。參考圖7，描述生成再聚焦圖像的方法的示例。圖7A和7B是具體示出圖1所示的攝像光學系統(tǒng)中的透鏡陣列102和攝像元件103的一部分的圖。圖7A和7B中的點劃線通過延伸每個像素的中心和通過與該像素相對應的小透鏡的圖像側(cè)主點的光束的路徑而獲得。虛擬成像平面203是相對于通過再聚焦要焦距的物體側(cè)平面的、成像光學系統(tǒng)101的圖像側(cè)共軛平面。然而，在本實施例中，當圖像側(cè)共軛平面的位置比透鏡陣列102的物體側(cè)主平面更靠近圖像側(cè)時，通過將圖像側(cè)共軛平面以透鏡陣列102的主平面距離移動到圖像側(cè)而獲得的平面是虛擬成像平面203。沿著點劃線與虛擬成像平面203平行地移動由攝像元件103獲得的像素值并將其合成，因此能夠在期望的焦點位置生成再聚焦圖像。
[0047]例如，為了生成在圖1的被攝體平面201上聚焦的圖像，如圖7B所示，可以將虛擬成像平面203設置在通過被攝體平面201和成像光學系統(tǒng)101的共軛平面、即透鏡陣列102的主平面(圖像側(cè)主平面)上。在圖7A和7B中，在生成再聚焦圖像時平行移動的像素用虛線表示，并且以偏移而不重疊的方式示出，以使得容易地看到。如圖7A和7B所示，在生成任意再聚焦圖像時，當進入像素的光通量所通過的成像光學系統(tǒng)101的光瞳區(qū)域相同時，應當理解，該像素具有相同的平行移動量。因此，依據(jù)進入像素的光通量所通過的成像光學系統(tǒng)101的光瞳區(qū)域，來確定生成再聚焦圖像時的像素的操作。
[0048]接下來，描述可再聚焦范圍。由于成像光學系統(tǒng)101的開口大小是有限的，因此由攝像元件103獲得的光場的角度分量、即視差信息也是有限的。因此，可再聚焦范圍被限制在有限范圍。這里，將光的二維強度分布稱為光場的空間分量。在這種情況下，再聚焦范圍由空間分量的采樣間距八7和角度分量的采樣間距Au確定，并且作為下面的表達式(I)給出其系數(shù)α±。
[0049]
【權利要求】
1.一種圖像處理設備，其能夠通過重建輸入圖像來生成具有不同焦點位置的多個輸出圖像，所述圖像處理設備包括: 存儲單元，用于存儲所述輸入圖像的攝像條件信息；以及 圖像處理單元，用于使用所述攝像條件信息，根據(jù)所述輸入圖像來生成所述輸出圖像， 其中，所述圖像處理單元: 獲得所述輸入圖像，其中，所述輸入圖像是經(jīng)由成像光學系統(tǒng)和具有多個像素的攝像元件所獲得的、從多個視點觀看的被攝體空間的信息； 計算所述被攝體空間的同一區(qū)域的所述輸入圖像的像素組的平均像素值，并且利用所述平均像素值代替所述像素組的每個像素值；以及 以使利用所述平均像素值所代替的所述像素組的像素彼此偏移的方式進行合成，以生成所述輸出圖像。
2.根據(jù)權利要求1所述的圖像處理設備，其中， 所述圖像處理單元以利用所述平均像素值所代替的所述像素組的像素的偏移量是該像素的非整數(shù)倍的方式進行合成，以生成所述輸出圖像。
3.根據(jù)權利要求1或2所述的圖像處理設備，其中， 在指定了第一焦點位置時，所述圖像處理單元生成聚焦于與所述第一焦點位置的差在所述成像光學系統(tǒng)的焦深范圍內(nèi)的第二焦點位置的所述輸出圖像。
4.根據(jù)權利要求1或2所述的圖像處理設備，其中， 所述存儲單元存儲所述輸入圖像的距離信息作為所述攝像條件信息，以及所述圖像處理單元使用所述距離信息、利用所述平均像素值代替所述像素組的每個像素值，并且以使利用所述平均像素值所代替的所述像素組的像素彼此偏移的方式進行合成，以生成所述輸出圖像。
5.一種攝像設備，其能夠通過重建輸入圖像來生成具有不同焦點位置的多個輸出圖像，所述攝像設備包括: 成像光學系統(tǒng)； 包括多個像素的攝像元件； 透鏡陣列，用于根據(jù)來自被攝體平面的同一位置的光束所通過的所述成像光學系統(tǒng)的光瞳區(qū)域，使所述光束進入所述攝像元件的彼此不同的像素；以及 圖像處理單元，用于根據(jù)所述攝像元件所獲得的所述輸入圖像，生成所述輸出圖像， 其中，所述圖像處理單元: 獲得所述輸入圖像，其中，所述輸入圖像是經(jīng)由所述成像光學系統(tǒng)、所述攝像元件和所述透鏡陣列所獲得的、從多個視點觀看的被攝體空間的信息； 計算所述被攝體空間的同一區(qū)域的所述輸入圖像的像素組的平均像素值，并且利用所述平均像素值代替所述像素組的每個像素值；以及 以使利用所述平均像素值所代替的所述像素組的像素彼此偏移的方式進行合成，以生成所述輸出圖像。
6.根據(jù)權利要求5所述的攝像設備，其中， 所述透鏡陣列被配置在所述成像光學系統(tǒng)的相對于所述被攝體平面的圖像側(cè)共軛平面上。
7.根據(jù)權利要求5所述的攝像設備，其中， 所述透鏡陣列被配置為使得所述成像光學系統(tǒng)的相對于所述被攝體平面的圖像側(cè)共軛平面和所述攝像元件彼此共軛。
8.一種攝像設備，其能夠通過重建輸入圖像來生成具有不同焦點位置的多個輸出圖像，所述攝像設備包括: 成像光學系統(tǒng)，其包括具有正屈光力的多個光學系統(tǒng)； 包括多個像素的至少一個攝像元件；以及 圖像處理單元，用于根據(jù)所述攝像元件所獲得的所述輸入圖像，生成所述輸出圖像，其中，在所述成像光學系統(tǒng)的光瞳是通過對所述多個光學系統(tǒng)的光瞳進行合成而形成的光瞳時，所述多個光學系統(tǒng)被配置為使得根據(jù)來自被攝體平面的同一位置的光束所通過的所述成像光學系統(tǒng)的光瞳區(qū)域，使所述光束進入所述攝像元件的彼此不同的像素， 其中，所述圖像處理單元: 獲得所述輸入圖像，其中，所述輸入圖像是經(jīng)由所述成像光學系統(tǒng)和所述攝像元件所獲得的、從多個視點觀看的被攝體空間的信息； 計算所述被攝體空間的同一區(qū)域的所述輸入圖像的像素組的平均像素值，并且利用所述平均像素值代替所述像素組的每個像素值；以及 以使利用所述平均像素值所代替的所述像素組的像素彼此偏移的方式進行合成，以生成所述輸出圖像。
9.一種圖像處理方法，其能夠通過重建輸入圖像來生成具有不同焦點位置的多個輸出圖像，所述圖像處理方法包括如下步驟: 獲得所述輸入圖像，其中，所述輸入圖像是經(jīng)由成像光學系統(tǒng)和具有多個像素的攝像元件所獲得的、從多個視點觀看的被攝體空間的信息； 計算所述被攝體空間的同一區(qū)域的所述輸入圖像的像素組的平均像素值，并且利用所述平均像素值代替所述像素組的每個像素值；以及 以使利用所述平均像素值所代替的所述像素組的像素彼此偏移的方式進行合成，以生成所述輸出圖像。
【文檔編號】G03B13/32GK103685922SQ201310415360
【公開日】2014年3月26日 申請日期:2013年9月12日 優(yōu)先權日:2012年9月12日
【發(fā)明者】日淺法人 申請人:佳能株式會社