專利名稱：圖像攝取裝置和圖像處理方法
技術(shù)領(lǐng)域：
在此公開的技術(shù)涉及使用透鏡陣列的圖像攝取裝置和圖像處理方法。
背景技術(shù)：
各種圖像攝取裝置已被提出并開發(fā)，并且例如在如下文獻(xiàn)中被公開PCT專利公報No. W006/039486、日本專利公報No.平5-76234、日本專利公報No.平7-8055和日本專利 No. 3182009，以及 Ren Ng 等人的題為 “Light Field Photography with a Hand-Held Plenoptic Camera” 的 Stanford Tech Report CTSR 2005-02。此外，還提出了這樣的圖像攝取裝置其中，對所攝取的圖像數(shù)據(jù)執(zhí)行預(yù)定圖像處理并且得到的數(shù)據(jù)被輸出。例如，在所提到的第一個專利文獻(xiàn)和上述非專利文獻(xiàn)中，公開了使用稱為“光場攝影”(Light Field Photography)的方法的圖像攝取裝置。在該圖像攝取裝置中，透鏡陣列被布置在圖像攝取透鏡的焦平面上，并且圖像傳感器被設(shè)置在透鏡陣列的焦平面上。因此，圖像傳感器能夠在接收形成在透鏡陣列上的圖像攝取對象的視頻的同時，將該視頻分散為各視點(diǎn) (viewpoint)方向上的光線，從而同時獲取多視點(diǎn)圖像。

發(fā)明內(nèi)容
在如上所述的圖像攝取裝置中，圖像傳感器上的多個像素被分配給透鏡陣列中的一個透鏡，其中，透鏡的垂直和水平方向上的維度等于像素間距(Pixel pitch)的整數(shù)倍。 此外，與分配給該透鏡的像素數(shù)目相等的多個視點(diǎn)圖像可被獲取。例如，在一個透鏡被分配給3X3個像素(其中該透鏡的垂直和水平維度等于每三個像素的間距)的情況中，垂直方向和水平方向上的三個視點(diǎn)處的圖像可被獲取。因此，每(總共)九個視點(diǎn)的圖像可被獲取。例如通過利用預(yù)定的顯示單元來顯示以如上所述的方式獲取的視點(diǎn)圖像中的左右兩個視點(diǎn)圖像，例如，可以實(shí)現(xiàn)立體圖像顯示。然而，在立體圖像顯示時，取決于所顯示的圖像，左右視點(diǎn)圖像之間的視差會變得過大直到其超過人的立體感知界限。如果以這種方式被超過立體感知界限，則這兩個視點(diǎn)圖像被識別為雙重圖像。在此實(shí)例中，由于存在若如上所述這樣的圖像連續(xù)被觀看則可能導(dǎo)致眼睛疲勞等的可能性，因此希望實(shí)現(xiàn)用于減小如上所述這樣的過大視差對可視性的影響的方法。另一方面，在上面提到的日本專利公報No.平5-76234中，公開了在如下狀態(tài)中執(zhí)行圖像攝取的方法在該狀態(tài)中，光圈條件針對每個所攝取圖像被改變，以產(chǎn)生模糊 (blurring)，即逐漸轉(zhuǎn)化輪廓，從而緩和雙重圖像的影響。然而，在該方法中，由于光圈條件對于每個圖像而不同，因此該方法不太可能準(zhǔn)備用于運(yùn)動圖片。此外，在日本專利公報 No.平7-8055中，公開了一種使立體視頻中的圖像攝取對象的散焦圖像的圖片質(zhì)量退化的技術(shù)。此外，在日本專利No.3182009中，用于計算被注意像素周圍的像素的平均值的處理被執(zhí)行以形成模糊。因此，希望提供可用來獲取在立體圖像顯示時用于實(shí)現(xiàn)良好的可視性的視點(diǎn)圖像的圖像攝取裝置。根據(jù)所公開技術(shù)的一個實(shí)施例，提供了一種圖像攝取裝置，包括圖像攝取透鏡； 透鏡陣列，被布置在圖像攝取透鏡的圖像形成平面上；圖像攝取器件，用于接收經(jīng)過圖像攝取透鏡和透鏡陣列的光線以獲取所攝取圖像數(shù)據(jù)；圖像處理部件，用于對所攝取圖像數(shù)據(jù)執(zhí)行圖像處理；該圖像處理部件包括視點(diǎn)圖像產(chǎn)生部件，用于基于所攝取圖像數(shù)據(jù)來產(chǎn)生多個視點(diǎn)圖像，以及圖像合成處理部件，用于對視點(diǎn)圖像中的兩個或更多個視點(diǎn)圖像進(jìn)行合成。在該圖像攝取裝置中，從圖像攝取對象經(jīng)過圖像攝取透鏡的光線由透鏡陣列在各個視點(diǎn)方向上分散，并且被圖像攝取器件接收，從而獲得所攝取圖像數(shù)據(jù)。圖像處理部件基于所獲得的所攝取圖像數(shù)據(jù)來產(chǎn)生多個視點(diǎn)圖像，并且對視點(diǎn)圖像中的兩個或更多個進(jìn)行合成。合成之后的視點(diǎn)圖像表現(xiàn)出這樣的狀態(tài)其中，其位置被位移，并且視點(diǎn)和進(jìn)一步散焦的狀態(tài)與具有模糊輪廓的圖像相似。根據(jù)所公開技術(shù)的另一實(shí)施例，提供了一種圖像處理方法，包括從圖像攝取器件獲取所攝取圖像數(shù)據(jù)，該圖像攝取器件接收經(jīng)過圖像攝取透鏡和位于圖像攝取透鏡的圖像形成平面上的透鏡陣列的光線；基于所攝取圖像數(shù)據(jù)產(chǎn)生多個視點(diǎn)圖像；對多個視點(diǎn)圖像中的兩個或更多個視點(diǎn)圖像進(jìn)行合成。在該圖像攝取裝置中，圖像處理部件對兩個或更多個視點(diǎn)圖像進(jìn)行合成。因此， 在視點(diǎn)圖像中的某個視點(diǎn)圖像的位置被位移的同時，該視點(diǎn)圖像的輪廓可被模糊。因此， 例如，當(dāng)合成之后的左右兩個視點(diǎn)圖像被用來執(zhí)行立體視頻顯示時，可以借助于通過視差量抑制和視點(diǎn)圖像模糊獲得的效果來減小超過人的感知界限的過大視差，以緩解視覺疲勞等。換言之，在立體視頻顯示時獲得良好可視性的視點(diǎn)圖像可被獲得。在該圖像處理方法中，所攝取圖像數(shù)據(jù)從圖像攝取器件被獲得，該圖像攝取器件接收經(jīng)過圖像攝取透鏡和被布置在圖像攝取透鏡的圖像形成平面上的透鏡陣列的光線。然后，多個視點(diǎn)圖像基于所攝取圖像數(shù)據(jù)被產(chǎn)生，并且多個視點(diǎn)圖像中的兩個或更多個視點(diǎn)圖像被合成。因此，例如，當(dāng)合成之后的左右兩個視點(diǎn)圖像被用來執(zhí)行立體視頻顯示時，可以借助于通過視差量抑制和視點(diǎn)圖像模糊獲得的效果來減小超過人的感知界限的過大視差，以緩解視覺疲勞等。換言之，在立體視頻顯示時獲得良好可視性的視點(diǎn)圖像可被獲得。


圖1是根據(jù)這里公開的技術(shù)的實(shí)施例的圖像攝取裝置的大體配置的視圖；圖2是圖示出透鏡陣列與圖像傳感器的布置關(guān)系的示意圖；圖3是示出圖1所示的圖像處理部件的詳細(xì)配置的功能框圖；圖4是圖示出各視點(diǎn)方向上的光線分散的示意圖；圖5是圖示出由圖1的圖像攝取裝置獲得的所攝取圖像數(shù)據(jù)的示意圖；圖6A至圖61是圖示出從圖5所示的圖像攝取數(shù)據(jù)獲得的視點(diǎn)圖像數(shù)據(jù)的示意圖；圖7A至圖71是示出與圖6A至圖61所示的視點(diǎn)圖像數(shù)據(jù)相對應(yīng)的視點(diǎn)圖像的示例的示意圖；圖8A和圖8B是示出視點(diǎn)圖像之間的視差量的示意圖9A至圖9C是圖示出圖像合成處理操作的示意圖；圖IOA至圖IOC是圖示出根據(jù)比較示例1的對視點(diǎn)圖像執(zhí)行合成處理的情況中的樣子的示意圖；圖IlA至圖IlC是圖示出在由圖1的圖像攝取裝置對視點(diǎn)圖像執(zhí)行合成處理的情況中的樣子的示意圖；圖12A至圖12C是圖示出在比率被改變以由圖1的圖像攝取裝置對視點(diǎn)圖像執(zhí)行合成處理的情況中的樣子的示意圖；圖13是示出根據(jù)圖1的圖像攝取裝置的修改的圖像處理部件的詳細(xì)配置的功能框圖；以及圖14A至圖14C是圖示出由圖13所示的圖像處理部件進(jìn)行的圖像合成處理操作的示意圖。
具體實(shí)施例方式下面，將參考附圖詳細(xì)描述所公開技術(shù)的實(shí)施例。注意，將按以下順序來描述所公開技術(shù)1.實(shí)施例(在圖像平面上集體地執(zhí)行視點(diǎn)圖像的合成處理的示例)2.修改(響應(yīng)于深度信息在圖像平面上針對每個選擇區(qū)域來執(zhí)行合成處理的示例)<實(shí)施例>大體配置圖1示出了根據(jù)所公開技術(shù)的實(shí)施例的圖像攝取裝置1的大體配置。圖像攝取裝置1是用于利用單個圖像攝取透鏡來攝取圖像的單目鏡型相機(jī)。圖像攝取裝置1攝取圖像攝取對象2的圖像，針對所攝取的圖像攝取對象2執(zhí)行預(yù)定圖像處理，并且輸出圖像數(shù)據(jù) Dout作為視點(diǎn)圖像。圖像攝取裝置1包括圖像攝取透鏡11、透鏡陣列12、圖像傳感器13、 圖像處理部件14、圖像傳感器驅(qū)動部件15和控制部件16。注意，在以下描述中，光軸用Z 來表示，并且在與光軸Z垂直的平面中，水平方向和垂直方向分別用X和Y來表示。此外， 由于所公開技術(shù)的圖像處理方法通過圖像處理部件14的配置和操作來實(shí)現(xiàn)，因此這里省略對圖像處理方法的描述。圖像攝取透鏡11是用于攝取圖像攝取對象2的圖像的主透鏡，并且由例如用于視頻相機(jī)或靜止相機(jī)的一般圖像攝取透鏡構(gòu)成。光圈10被布置在圖像攝取透鏡11的光進(jìn)入側(cè)，但是替代地也可被布置在光外出側(cè)。透鏡陣列12被布置在圖像攝取透鏡11的圖像形成平面或焦平面上，并且由在基板上沿著X方向和Y方向二維布置的多個透鏡或微透鏡1 構(gòu)成，該基板例如由玻璃構(gòu)成。 每個透鏡12a由諸如光阻材料之類的樹脂材料構(gòu)成，并且例如是在由玻璃或塑料構(gòu)成的基板上使用光阻回流法(resist reflow method)或納米壓印法形成的，該基板由玻璃或塑料構(gòu)成?；蛘?，可以通過對基板的表面執(zhí)行蝕刻處理來形成透鏡12a。圖像傳感器13被布置在透鏡陣列12的焦平面上。圖像傳感器13接收經(jīng)過透鏡陣列12的光線以獲取圖像攝取數(shù)據(jù)DO。在圖像傳感器13中，多個像素被布置在沿著X和Y方向的矩陣中。圖像傳感器13由固態(tài)圖像攝取設(shè)
5備構(gòu)成，例如CCD (電荷耦合器件)設(shè)備或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)設(shè)備。圖2示意性地圖示出了透鏡陣列12和圖像傳感器13的布置配置。參考圖2，透鏡陣列12和圖像傳感器13沿著光軸Z以彼此間隔預(yù)定距離，具體地間隔透鏡陣列12的焦距的關(guān)系被布置，以使得圖像傳感器13中的mXn像素區(qū)域被分配給一個透鏡12a。透鏡 12a在XY平面上的形狀為正方形，例如與mXn像素區(qū)域U的形狀相同。注意，m和η是等于或大于1的整數(shù)，并且隨著mXn值的增大，S卩，隨著將被應(yīng)用與一個微透鏡的像素數(shù)目的增大，視點(diǎn)圖像數(shù)目或者視點(diǎn)數(shù)目增大。另一方面，隨著分配給每個透鏡的像素數(shù)目減小， 即隨著mXn值的減小，視點(diǎn)圖像的分辨率或像素數(shù)目增大。以這種方式，視點(diǎn)數(shù)目與視點(diǎn)圖像的分辨率彼此具有折中關(guān)系。下面，將以3X3個像素(m = n = ;3)的像素區(qū)域U被分配給一個透鏡12a的情況為例給出描述。在圖像傳感器13的光接收面上，可以設(shè)置濾色器(未示出)。對于濾色器，可以使用這種類型的濾色器，其中，例如紅(R)、綠(G)和藍(lán)(B)顏色的濾色器例如以1 :2:1 的比率被排列(被稱為拜耳(Bayer)陣列)。圖像處理部件14對由圖像傳感器13獲得的所攝取圖像數(shù)據(jù)DO執(zhí)行預(yù)定圖像處理并且例如將圖像數(shù)據(jù)Dout輸出作為視點(diǎn)圖像。圖3示出了圖像處理部件14的詳細(xì)配置。 參考圖3，圖像處理部件14例如包括視點(diǎn)圖像產(chǎn)生部件140、圖像合成處理部件141和圖像校正處理部件142。圖像處理部件14的具體圖像處理操作將在下面進(jìn)行描述。圖像傳感器驅(qū)動部件15驅(qū)動圖像傳感器13來控制圖像傳感器13的曝光、讀出寸?？刂撇考?6控制圖像處理部件14和圖像傳感器驅(qū)動部件15的操作，并且例如由微計算機(jī)構(gòu)成。工作效果1.所攝取圖像數(shù)據(jù)的獲取在圖像攝取裝置1中，由于透鏡陣列12被設(shè)置在圖像攝取透鏡11與圖像傳感器 13之間的預(yù)定位置處，因此圖像傳感器13除了記錄來自圖像攝取對象2的光線的強(qiáng)度分布以外，還將該光線記錄為保留了關(guān)于光線的前進(jìn)方向(即，視點(diǎn)方向)的信息的光線矢量。 具體地，經(jīng)過透鏡陣列12的光線針對視點(diǎn)的每個視點(diǎn)方向被分散并且由圖像傳感器13的不同像素接收。例如，參見圖4，在經(jīng)過透鏡1 的光線中，來自某視點(diǎn)(即第一視點(diǎn))方向的光線或光通量LA由像素“A”接收。同時，來自與某視點(diǎn)方向不同的視點(diǎn)(即，第二和第三視點(diǎn))方向的光線或光通量LB和LC分別由像素“B”和“C”接收。以這種方式，在分配給透鏡12a的像素區(qū)域U中，來自彼此不同的視點(diǎn)方向的光線由不同像素接收。在圖像傳感器13中，讀出是響應(yīng)于圖像傳感器驅(qū)動部件15的驅(qū)動操作而按照行順次被執(zhí)行的，并且所攝取圖像數(shù)據(jù)DO被獲取。圖5示意性地圖示出了所攝取圖像數(shù)據(jù)DO被的像素數(shù)據(jù)陣列。如本實(shí)施例中這樣在3X3個像素的像素區(qū)域U被分配給一個透鏡12a的情況中，針對每個像素區(qū)域U接收來自總共九個視點(diǎn)方向的光線，并且3X3個像素的A至I像素數(shù)據(jù)被獲取。注意，在圖 5中，圖示出了從3X3個像素的9X9像素區(qū)域，即從九個像素區(qū)域U獲得的所攝取圖像數(shù)據(jù)。此外，在濾色器被布置在圖像傳感器13的光接收面一側(cè)上的情況中，所攝取圖像數(shù)據(jù) DO被記錄為與濾色器的顏色陣列相對應(yīng)的顏色數(shù)據(jù)。以如上所述的方式被獲取的所攝取圖像數(shù)據(jù)DO被輸出給圖像處理部件14。2.視點(diǎn)圖像的產(chǎn)生參考圖3，圖像處理部件14包括視點(diǎn)圖像產(chǎn)生部件140、圖像合成處理部件141和圖像校正處理部件142。圖像處理部件14基于從圖像傳感器13輸出的所攝取圖像數(shù)據(jù)DO 來執(zhí)行預(yù)定圖像處理并且將圖像數(shù)據(jù)Dout輸出作為視點(diǎn)圖像。具體地，視點(diǎn)圖像產(chǎn)生部件140首先基于所攝取圖像數(shù)據(jù)DO來執(zhí)行產(chǎn)生多個視點(diǎn)圖像的處理。具體地，視點(diǎn)圖像產(chǎn)生部件140對圖5所示的所攝取圖像數(shù)據(jù)DO中屬于同一視點(diǎn)方向的，即從位于像素區(qū)域U中的相同位置處的那些像素中提取的那些像素進(jìn)行合成。例如，視點(diǎn)圖像產(chǎn)生部件140從所攝取圖像數(shù)據(jù)DO中提取所有的像素數(shù)據(jù)“A”，并且對所提取像素數(shù)據(jù)進(jìn)行合成，參見圖6A。也對其它像素數(shù)據(jù)“B”至“I”執(zhí)行類似處理，參見圖 6B至圖61。以這種方式，視點(diǎn)圖像產(chǎn)生部件140基于所攝取圖像數(shù)據(jù)DO產(chǎn)生多個視點(diǎn)圖像，在這里，產(chǎn)生第一至第九視點(diǎn)的九個視點(diǎn)圖像。這些視點(diǎn)圖像作為視點(diǎn)圖像數(shù)據(jù)Dl被輸出給圖像合成處理部件141。3.圖像合成處理圖像合成處理部件141對輸入給它的視點(diǎn)圖像數(shù)據(jù)Dl中的多個視點(diǎn)圖像執(zhí)行如下所述的圖像合成處理。圖7A至圖71所示的視點(diǎn)圖像Rl至R9是與圖6A至圖61的數(shù)據(jù)陣列相對應(yīng)的視點(diǎn)圖像的具體示例。這里，以在深度方向上被布置在彼此不同位置處的三個圖像攝取對象“人”、“山”和“花”的圖像Ra、Rb和Rc為例，來描述圖像攝取對象2的圖像。視點(diǎn)圖像 Rl至R9被攝取為使得直通圖像攝取對象中的“人”被圖像攝取透鏡聚焦，并且位于相對于 “人”的內(nèi)側(cè)的“山”的圖像Rb以及位于相對于“人”的這側(cè)的“花”的圖像Rc處于散焦?fàn)顟B(tài)。由于視點(diǎn)圖像Rl至R9是由具有單個圖像攝取透鏡的單目鏡相機(jī)的相機(jī)攝取的，因此即使視點(diǎn)變化，焦平面上“人”的圖像Ra也不會位移。然而，散焦圖像Rb和Rc被位移到彼此不同的位置。注意，在圖7A至圖71中，不同視點(diǎn)圖像之間的位置位移(S卩，圖像Rb和Rc 的位置位移)以夸張的形式被示出。當(dāng)例如來自如上所述的九個視點(diǎn)圖像Rl至R9中的左右兩個視點(diǎn)圖像被用來執(zhí)行立體圖像形式時，所顯示視頻的立體效果對應(yīng)于兩個視點(diǎn)圖像之間的視差量。例如，如果圖 7D所示的視點(diǎn)圖像R4和圖7F所示的視點(diǎn)圖像R6被選作上述的兩個視點(diǎn)圖像，則顯示視頻的立體效果是如下所述這樣的。例如，盡管“山”看起來在相對于“人”的內(nèi)側(cè)，然而這種觀感的程度對應(yīng)于視點(diǎn)圖像R4中的圖像Rb4與視點(diǎn)圖像R6中的圖像Rb6之間的位置移位量或視差量ffb，參見圖8A和圖8B。另一方面，盡管“花”看起來相對于“人”突出在這側(cè)，然而這種觀感的程度對應(yīng)于視點(diǎn)圖像R4中的圖像Rc4與視點(diǎn)圖像R6中的圖像Rc6之間的位置移位量Wc。于是，隨著位置移位量Wb和Wc的增加，“山”在內(nèi)側(cè)上相距增加的量的位置處被觀看到，并且“花”在這側(cè)上相距增加的量的位置處被觀看到。然而，如果這樣的視差量過大，則它們會超過人的感知界限，從而圖像看起來是雙重圖像并且不會被識別為立體視頻?；蛘?，即使圖像被識別為立體視頻，觀看者也有可能因連續(xù)觀看接近感知界限的這樣的視頻而感到視覺疲勞。因此，在下面的實(shí)施例中，為了減小如上所述導(dǎo)致這樣的視覺疲勞的過大視差，以預(yù)定合成比率來合成或相加兩個以上視點(diǎn)圖像的處理被執(zhí)行。所提到的該處理在下面被稱為合成處理。因此，兩個以上視點(diǎn)圖像的合成處理通過對視點(diǎn)圖像加權(quán)而被執(zhí)行。該合成處理可用下面的表達(dá)式(1)來表示Rn = (α X Rl+β XR2+Y XR3+ δ X R4+ ε XR5+ ζ XR6+ η X R7+ θ X R8+ ι X R9). . . (1)其中，1 是合成處理之后的視點(diǎn)圖像，并且α，β，γ，δ，ε，ζ，η，θ*1是表示合成比率的系數(shù)。系數(shù)可以是0。具體地，所有視點(diǎn)圖像可被合成，或者它們可以選擇性地被合成。此外，可以利用平面數(shù)據(jù)、行數(shù)據(jù)和像素數(shù)據(jù)中的任一者來執(zhí)行這樣的合成處理。然而，由于在本實(shí)施例中合成比率在各圖像平面中是相等的，因此合成處理針對各平面集體地被執(zhí)行。視差減小原理下面參考圖9Α至圖12C描述通過如上所述這樣的合成處理進(jìn)行的視差減小的原理。為了簡化描述，將描述這樣的示例，其中，視點(diǎn)圖像R4和視點(diǎn)圖像R5將被合成，并且具體地，在上述系數(shù)中，a，3，Y，4，ii，efpl為零，而δ = 1并且0 < ε < 1。圖9Α 至圖9C將視點(diǎn)圖像的合成處理表示為圖像。如果乘以了系數(shù)的視點(diǎn)圖像R4和視點(diǎn)圖像R5 被相加，則處于散焦?fàn)顟B(tài)的“山，，和“花”的圖像位置將被位移。具體地，如果關(guān)注“花”，則 “花”的位置被位移到視點(diǎn)圖像R4中的圖像Rc4的位置S4與視點(diǎn)圖像R5中的圖像Rc5的位置S5之間的位置Sn。此外，合成處理之后的圖像1 具有相當(dāng)模糊的輪廓。這類似地也適用于“山”的圖像，并且合成處理之后的其圖像Rbn的位置被位移到圖像Rb4和Rb5的位置之間的位置，并且圖像Rbn由于處于散焦?fàn)顟B(tài)中因此具有相當(dāng)模糊的輪廓。順便提及，如果由單目鏡相機(jī)攝取的視點(diǎn)圖像被用來執(zhí)行與上述類似的合成處理，則如圖IOA至圖IOC所示的情況，難以使圖像本身模糊，而圖像位置卻被位移。圖IOA 至圖IOC示意性地圖示出了作為本實(shí)施例的比較示例的、由單目鏡相機(jī)攝取的視點(diǎn)圖像被合成的情況中的信號強(qiáng)度分布。在該比較示例中，由于圖像本身在散焦區(qū)域中也是銳利的， 因此在彼此不同的視點(diǎn)圖像被相加的情況中，雙重圖像被獲得。具體地，由于對比度的寬度或跨度HlOO較小，參見圖IOA和圖10B，因此在在彼此不同的位置SlOO和SlOl處具有峰值的對比度AlOO和BlOO被合成的情況中，合成之后的對比度ClOO表現(xiàn)為在不同位置SlOO 和SlOl處具有兩個峰值的分布狀態(tài)，參見圖10C。此外，在單目鏡類型的相機(jī)被使用的情況中，盡管未示出，但是由于圖像攝取對象的圖像在焦平面上的位置在各視點(diǎn)圖像之間是不同的，因此難以像本實(shí)施例中這樣，針對整個圖像執(zhí)行集體合成處理。換言之，需要用于調(diào)節(jié)焦平面上的圖像位置的處理或類似處理。相比之下，雖然在本實(shí)施例中可以通過如上所述的合成處理執(zhí)行位置位移和輪廓模糊，然而這是出于以下原因。圖IlA至圖IlC圖示出了在由圖像攝取裝置1獲取的視點(diǎn)圖像被用來執(zhí)行合成處理的情況中的信號強(qiáng)度分布，即，散焦圖像的輪廓位置的對比度。注意，在本示例中，各個視點(diǎn)圖像的合成比率彼此相等。由于在本實(shí)施例中，散焦區(qū)域的對比度的寬度H較大，因此在在彼此不同的地點(diǎn)S4和S5處具有峰值的、對應(yīng)于視點(diǎn)圖像R4和 R5中的圖像Rc4和Rc5的對比度A和B被合成的情況中，合成之后的對比度C表現(xiàn)出更適度的分布，沒有導(dǎo)致雙重圖像，同時兩個位置處的峰值也消失了，參見圖11C。因此，在本書示例中，可以通過合成處理在使這樣的散焦圖像的位置被位移的同時對輪廓進(jìn)行模糊。此外，與由上述單目鏡類型的相機(jī)攝取的視點(diǎn)圖像不同，圖像攝取對象在焦平面上的圖像位置在各視點(diǎn)圖像之間相同，因此，在本合成處理中無需如比較示例的情況中的定位處理。另外，由于僅需要對所產(chǎn)生的視點(diǎn)圖像加權(quán)并相加，因此處理負(fù)荷也低。另一方面，圖12A至圖12C示意性地圖示出了在上述實(shí)施例的合成處理中使合成比率在視點(diǎn)圖像間彼此不同的情況中的信號強(qiáng)度分布。同樣，在此實(shí)例中，與上述情況類似，當(dāng)例如分別對應(yīng)于圖像Rc4和Rc5的、在彼此不同的地點(diǎn)S4和S5具有峰值的對比度A 和Bl特定地在(R4的合成比率)< (R5的合成比率)的情況中被合成時，在合成之后的對比度Cl上沒有出現(xiàn)雙重圖像。因此，在散焦圖像的位置被位移的同時輪廓可被模糊。然而， 由于視點(diǎn)圖像分別被加權(quán)，因此對比度Cl的峰值位置Sn’偏向位置S5側(cè)被移位。雖然兩個視點(diǎn)圖像的合成被描述作為示例，然而三個以上視點(diǎn)圖像的合成可類似地被執(zhí)行。此外，可以通過使視點(diǎn)圖像間的合成比率不同，即，通過對視點(diǎn)圖像加權(quán)，來在預(yù)定范圍內(nèi)自由地位移圖像位置。雖然在合成處理之前與視點(diǎn)數(shù)目相對應(yīng)的九個散焦圖像由不同位置來表示，然而通過執(zhí)行本合成處理，能夠?qū)D像位移到九個位置中的任意位置并且對輪廓進(jìn)行模糊。因此，可以借助于視差量抑制的效果和模糊圖像的效果來減緩過大視差。如上所述這樣的合成處理之后的視點(diǎn)圖像作為視點(diǎn)圖像數(shù)據(jù)D2被輸出給圖像校正處理部件142。圖像校正處理部件142對視點(diǎn)圖像數(shù)據(jù)D2執(zhí)行諸如去馬賽克處理、白平衡調(diào)節(jié)處理、伽馬校正處理等之類的顏色插值處理，并且將圖像處理之后的視點(diǎn)圖像數(shù)據(jù)輸出作為圖像數(shù)據(jù)Dout。圖像數(shù)據(jù)Dout可被輸出到圖像攝取裝置1外面或者可被存儲到設(shè)置在圖像攝取裝置1中的存儲部件(未示出)中。注意，視點(diǎn)圖像數(shù)據(jù)D2和圖像數(shù)據(jù)Dout可以僅僅是與合成處理所產(chǎn)生的視點(diǎn)圖像相對應(yīng)的數(shù)據(jù)或者可以是與未被執(zhí)行合成處理的原始視點(diǎn)圖像(在此為九個視點(diǎn)圖像) 相對應(yīng)的數(shù)據(jù)?；蛘撸c合成處理之前和之后的視點(diǎn)圖像相對應(yīng)的數(shù)據(jù)可被包括在混合狀態(tài)中，或者原始視點(diǎn)圖像可由合成處理所產(chǎn)生的視點(diǎn)圖像替代。此外，將由合成處理產(chǎn)生的視點(diǎn)圖像的數(shù)目可以是一個或多個。如上所述，在本實(shí)施例中，基于利用圖像攝取透鏡11、透鏡陣列12和圖像傳感器 13獲得的所攝取圖像數(shù)據(jù)DO產(chǎn)生了多個視點(diǎn)圖像，并且這些視點(diǎn)圖像中的兩個或更多個被合成。因此，在某個視點(diǎn)圖像的位置被位移時，該視點(diǎn)圖像的輪廓可被模糊。因此，例如， 當(dāng)左右兩個視點(diǎn)圖像被用來執(zhí)行立體圖像顯示時，可以借助于針對視點(diǎn)圖像的視差量抑制和模糊所提供的效果來減小超過人的感知界限的過大視差，從而緩解視覺疲勞。換言之，在立體圖像顯示時，具有良好可視性的視點(diǎn)圖像可被獲得。下面，將描述對上述實(shí)施例的修改。< 修改 >圖13示出了根據(jù)本實(shí)施例的修改的圖像處理部件14A的詳細(xì)配置的示例。參考圖13，與上述實(shí)施例的圖像處理部件14類似，該圖像處理部件14A對由圖像攝取透鏡11、 透鏡陣列12和圖像傳感器13獲得的所攝取圖像數(shù)據(jù)DO執(zhí)行預(yù)定圖像處理，并輸出圖像數(shù)據(jù)Dout。然而，在本修改中，圖像處理部件14A除了包括視點(diǎn)圖像產(chǎn)生部件140、圖像合成處理部件141和圖像校正處理部件142以外，還包括深度信息獲取部件143。圖像合成處理部件141響應(yīng)于深度信息執(zhí)行合成。具體地，在圖像處理部件14A中，與上述第一實(shí)施例類似，視點(diǎn)圖像產(chǎn)生部件140首先基于所攝取圖像數(shù)據(jù)DO產(chǎn)生多個視點(diǎn)圖像。例如，視點(diǎn)圖像產(chǎn)生部件140產(chǎn)生第一至第九視點(diǎn)的視點(diǎn)圖像Rl至R9，并且輸出視點(diǎn)圖像數(shù)據(jù)D1。同時，深度信息獲取部件143從所攝取圖像數(shù)據(jù)DO獲取深度信息，例如，諸如差距圖(disparity map)之類的表示圖像攝取對象的深度的信息。具體地，深度信息獲取部件 143例如通過立體匹配方法來針對每個像素計算多個視點(diǎn)圖像之間的差距，即，相位差或相移，并且產(chǎn)生其中計算出的差距被與各個像素相關(guān)聯(lián)的圖。注意，差距圖可以不是如上所述以像素為單位產(chǎn)生的差距圖，而可以是這樣的差距圖，其中，針對各自由預(yù)定數(shù)目個像素形成的各個像素塊而確定的差距被與像素塊相關(guān)聯(lián)。所產(chǎn)生的差距圖作為深度信息DD被輸出給圖像合成處理部件141。然后，圖像合成處理部件141利用輸入給它的視點(diǎn)圖像Rl至R9以及深度信息DD 來執(zhí)行合成處理。具體地，圖像合成處理部件141響應(yīng)于深度信息DD來對圖像平面中的每個選擇區(qū)域的視點(diǎn)圖像Rl至R9中的一個或多個進(jìn)行加權(quán)，然后執(zhí)行合成處理。更具體地， 圖像合成處理部件141向離焦平面較近的圖像平面上的圖像攝取對象的圖像設(shè)置較低的合成比率，而向距離焦平面較遠(yuǎn)的另一圖像攝取對象的圖像設(shè)置較高的合成比率，以對每個選擇區(qū)域執(zhí)行合成處理。圖14A至圖14C圖示出了本修改中的圖像合成處理的示例。這里注意，為了簡化圖示說明和描述，在附圖中示出了位于焦平面上的“人”的圖像Ra以及位于相對于“人”的這側(cè)的兩朵“花”的圖像Rc41和Rc42。此外，在圖像Rc41和Rc42之間，圖像Rc42被看到位于相對于圖像Rc41的這側(cè)?；蛘?，換言之，圖像Rc42處于比圖像Rc41更散焦的狀態(tài)中并且是距焦平面更遠(yuǎn)量的“花”的圖像。在就此描述的這樣的實(shí)例中，例如，當(dāng)視點(diǎn)圖像R4 和視點(diǎn)圖像R5將被合成時，分別由以下表達(dá)式( 和C3)表示的對圖像Rc41和Rc42的合成處理被執(zhí)行Rc41+ε 1XRC51 = Rcnl…(2)Rc42+ ε 2XRc52 = Rcn2. . . (3)其中，合成比率滿足ε 1 < ε 2。因此，參見圖14C，在合成處理之后的視點(diǎn)圖像1 中，根據(jù)以上參考圖IlA至圖 lie描述的原理，“花”的圖像Rcnl的位置被位移到圖像Rc41與Rc51的位置之間的位置處， 并且圖像Rcnl的輪廓被模糊。此外，類似地，“花”的圖像Rcn2的位置被位移到圖像Rc42 與Rc52的位置之間的位置處，并且圖像Rcn2的輪廓被模糊。然而，由于使得圖像Rc41和 Rc42之間的加權(quán)不同(ε 1 < ε 2)，因此根據(jù)以上參考圖12Α至圖12C描述的原理，圖像 Rcn2的位移量大于圖像Rcnl的。更具體地，圖像Rcn2的位置靠近圖像Rc52的位置的程度高于圖像Rcnl的位置靠近圖像Rc51的位置的程度。因此，雖然距焦平面更遠(yuǎn)距離的圖像， 即具有更大散焦量的圖像，與其它視點(diǎn)圖像相比表現(xiàn)出更大的視差量，然而如上所述可以針對這樣的散焦圖像增大位移量。換言之，可以在模糊該圖像的輪廓的同時，響應(yīng)于圖像平面上的視差量來抑制視差量。因此，例如，可以執(zhí)行這樣的合成處理，其中，對于視差量不太大的圖像，不執(zhí)行相移或輪廓模糊，而僅對具有大視差量的圖像執(zhí)行位置位移和輪廓模糊。這樣的合成處理之后的多個視點(diǎn)圖像作為視點(diǎn)圖像數(shù)據(jù)D2被輸出給圖像校正處理部件142，并且經(jīng)過與以上所述類似的圖像校正處理，然后被輸出作為圖像數(shù)據(jù)Dout。在本修改中，圖像合成處理部件141可以基于深度信息來對圖像平面上的每個選擇區(qū)域執(zhí)行合成處理。此外，在這樣的實(shí)例中，可以獲得與上述實(shí)施例所獲得的效果類似的效果。此外，通過使用深度信息，對于在圖像平面上的視差量或深度不同的圖像攝取對象的圖像，圖像輪廓可被模糊，同時視差抑制根據(jù)視差量被執(zhí)行。因此，可以實(shí)現(xiàn)更自然的立體視頻圖像顯示。雖然上面結(jié)合優(yōu)選實(shí)施例和修改描述了所公開技術(shù)，然而本技術(shù)限于該實(shí)施例和修改，其它各種修改也是可以的。例如，雖然在上述實(shí)施例中透鏡分配像素的數(shù)目或區(qū)域?yàn)?mXn = 3X3個像素，然而被分配給每個透鏡的像素區(qū)域不限于此，而是例如，可以是 1、2或4或者更大。此外，雖然在上述實(shí)施例中差距圖被產(chǎn)生作為深度信息并被用來執(zhí)行圖像合成處理，然而深度信息不限于這樣的差距圖，而可以是通過任何其它方法獲得的信息。例如，由于圖像攝取對象的圖像的分辨率取決于離焦平面的距離而不同，因此每個圖像的深度信息可基于分辨率來獲取。更具體地，由于焦平面上的“人”的圖像表現(xiàn)出高分辨率，而“山”或 “花”與焦平面相距一定距離，因此其圖像處于散焦?fàn)顟B(tài)并且表現(xiàn)出低分辨率。此外，在上述實(shí)施例和修改中，在所公開技術(shù)的圖像處理方法的示例中，S卩，在由圖像處理部件14實(shí)現(xiàn)的圖像處理方法中，包含圖像攝取透鏡、透鏡陣列和圖像傳感器的一個圖像攝取裝置獲取所攝取圖像數(shù)據(jù)并且基于該所攝取圖像數(shù)據(jù)執(zhí)行預(yù)定圖像處理。然而，成為圖像處理對象的所攝取圖像數(shù)據(jù)不一定由一個裝置獲取。換言之，與多個視點(diǎn)圖像相對應(yīng)的所攝取圖像數(shù)據(jù)可從外面獲取，或者預(yù)定圖像處理可以針對從外面獲取的所攝取圖像數(shù)據(jù)被執(zhí)行。本公開包含與2011年1月6日向日本專利局提交的日本優(yōu)先專利申請JP 2011-001401中公開的主題有關(guān)的主題，該神奇的全部內(nèi)容通過引用被結(jié)合于此。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)明白，可以根據(jù)設(shè)計要求和其它因素進(jìn)行各種修改、組合、 子組合和變更，只要它們在所附權(quán)利要求或其等同物的范圍之內(nèi)。
權(quán)利要求
1.一種圖像攝取裝置，包括圖像攝取透鏡；透鏡陣列，被布置在所述圖像攝取透鏡的圖像形成平面上；圖像攝取器件，用于接收經(jīng)過所述圖像攝取透鏡和所述透鏡陣列的光線以獲取所攝取圖像數(shù)據(jù)；以及圖像處理部件，用于對所述所攝取圖像數(shù)據(jù)執(zhí)行圖像處理；所述圖像處理部件包括視點(diǎn)圖像產(chǎn)生部件，用于基于所述所攝取圖像數(shù)據(jù)來產(chǎn)生多個視點(diǎn)圖像，以及圖像合成處理部件，用于對所述視點(diǎn)圖像中的兩個或更多個視點(diǎn)圖像進(jìn)行合成。
2.根據(jù)權(quán)利要求1所述的圖像攝取裝置，其中，所述圖像合成處理部件在對每個視點(diǎn)圖像執(zhí)行加權(quán)后，執(zhí)行所述兩個或更多個視點(diǎn)圖像的合成處理。
3.根據(jù)權(quán)利要求1所述的圖像攝取裝置，其中，所述圖像合成處理部件針對圖像平面中的每個區(qū)域塊來執(zhí)行所述兩個或更多個視點(diǎn)圖像的合成處理。
4.根據(jù)權(quán)利要求3所述的圖像攝取裝置，其中，所述圖像處理部件包括用于獲取所述圖像平面中的深度信息的深度信息獲取部件；并且所述圖像合成處理部件在基于所述深度信息來對所述圖像平面中的每個區(qū)域塊執(zhí)行加權(quán)后，執(zhí)行所述兩個或更多個視點(diǎn)圖像的合成處理。
5.根據(jù)權(quán)利要求4所述的圖像攝取裝置，其中，所述圖像合成處理部件給位于距離焦平面更遠(yuǎn)距離的位置處的圖像攝取對象的圖像設(shè)置更高的合成比率。
6.一種圖像處理方法，包括從圖像攝取器件獲取所攝取圖像數(shù)據(jù)，所述圖像攝取器件接收經(jīng)過圖像攝取透鏡和位于所述圖像攝取透鏡的圖像形成平面上的透鏡陣列的光線；基于所述所攝取圖像數(shù)據(jù)產(chǎn)生多個視點(diǎn)圖像；以及對所述多個視點(diǎn)圖像中的兩個或更多個視點(diǎn)圖像進(jìn)行合成。
全文摘要
本發(fā)明公開了圖像攝取裝置和圖像處理方法。這里公開的圖像攝取裝置包括圖像攝取透鏡；透鏡陣列，被布置在圖像攝取透鏡的圖像形成平面上；圖像攝取器件，用于接收經(jīng)過圖像攝取透鏡和透鏡陣列的光線以獲取所攝取圖像數(shù)據(jù)；以及圖像處理部件，用于對所攝取圖像數(shù)據(jù)執(zhí)行圖像處理；圖像處理部件包括視點(diǎn)圖像產(chǎn)生部件，用于基于所攝取圖像數(shù)據(jù)來產(chǎn)生多個視點(diǎn)圖像，以及圖像合成處理部件，用于對視點(diǎn)圖像中的兩個或更多個視點(diǎn)圖像進(jìn)行合成。
文檔編號G02B27/22GK102595170SQ201110461328
公開日2012年7月18日 申請日期2011年12月30日 優(yōu)先權(quán)日2011年1月6日
發(fā)明者田尻真一郎 申請人:索尼公司