專利名稱：圖像拾取設(shè)備、顯示器和圖像處理設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及每個(gè)均包括微透鏡陣列(microlens array)的圖像拾取設(shè)備、 顯示器和圖像處理設(shè)備。
背景技術(shù)：
已經(jīng)提出并開發(fā)了各種圖像拾取設(shè)備。并且已經(jīng)提出了關(guān)于通過拾取圖 像獲得的圖像拾取數(shù)據(jù)執(zhí)行預(yù)定圖像處理以輸出已處理的圖像拾取數(shù)據(jù)的圖 像拾取設(shè)備。
例如，國際專利公開No. 06/039486和Ren.Ng等人，"Light Field Photography with a Hand-Held Plenoptic Camera" ， Stanford Tech Report CTSR 2005-02提出了使用被稱為"光場攝影(Light Field Photography)"的技術(shù)的 圖像拾取設(shè)備。所述圖像拾取設(shè)備包括圖像拾取透鏡、微透鏡陣列、圖像拾 取裝置和圖像處理部件，且從圖像拾取裝置獲得的圖像拾取數(shù)據(jù)包括在感光
面上光的強(qiáng)度分布以及關(guān)于光的傳播方向的信息。由此；圖像處理部件重建
從任意視場(field of view )或任意焦點(diǎn)觀看的圖像(以下稱為已重建的圖像)。

發(fā)明內(nèi)容
上述微透鏡陣列包括多個(gè)微透鏡，且將圖像拾取裝置中的多個(gè)像素分配 給每個(gè)微透鏡。那么，在通過上述技術(shù)重建的圖像中的像素的數(shù)目等于微透 鏡陣列中微透鏡的數(shù)目，因?yàn)樵谕ㄟ^上述技術(shù)獲得的圖像拾取數(shù)據(jù)中，形成 每個(gè)微透鏡的圖像區(qū)域(單元圖像)，并通過微透鏡陣列的坐標(biāo)確定關(guān)于重建 圖像的二維坐標(biāo)的信息。因此，在重建圖像中的像素的數(shù)目等于通過將圖像
拾取裝置的像素的總數(shù)除以分配給每個(gè)微透鏡的像素的數(shù)目所確定的值。另 一方面，分配給每個(gè)微透鏡的像素的數(shù)目等于關(guān)于光線的角度的信息的分辨 率，并且是來自任意視場或任意焦點(diǎn)的重建圖像的分辨率，因此分配給每個(gè) 微透鏡的像素的數(shù)目與二維坐標(biāo)中像素的數(shù)目具有權(quán)衡(trade-off)關(guān)系。 現(xiàn)在，考慮圖像分辨率的調(diào)整大小(縮小和放大)。在關(guān)于通過上述技術(shù)獲得的圖像拾取數(shù)據(jù)執(zhí)行調(diào)整大小處理的情況中，難以改變與微透鏡的數(shù)目 對應(yīng)的單元圖像的數(shù)目。因此，不對由圖像拾取數(shù)據(jù)產(chǎn)生的重建圖像的分辨
率調(diào)整大小。另外，該情況等效于改變每個(gè)單元圖像中的像素的數(shù)目，即 所獲得的光線的角分辨率。因此，還沒有建立在所獲得的圖像拾取數(shù)據(jù)中對 重建圖像的分辨率調(diào)整大小從而包括關(guān)于光線的傳播方向的信息的技術(shù)，即 改變單元圖像(其每一個(gè)對于每個(gè)微透鏡而形成)的數(shù)目的技術(shù)，且期望實(shí) 現(xiàn)這種技術(shù)。
需要提供能夠在所獲得的圖像拾取數(shù)據(jù)中改變單元圖像(其每一個(gè)對于 每個(gè)微透鏡而形成)的數(shù)目從而包括關(guān)于光線的傳播方向的信息的圖像拾取 設(shè)備、顯示器和圖像處理設(shè)備。
根據(jù)本發(fā)明的實(shí)施例，提供了圖像拾取設(shè)備，包括圖像拾取透鏡；圖 像拾取裝置，其基于檢測到的光獲得圖像拾取數(shù)據(jù)；微透鏡陣列，其包括多 個(gè)微透鏡，并被排列在圖像拾取透鏡的成像平面上，其中與圖像拾取裝置的 多個(gè)像素對應(yīng)地提供每一個(gè)微透鏡；和圖像處理部件，其基于從圖像拾取裝 置獲得的圖像拾取數(shù)據(jù)產(chǎn)生圖像。在該情況下，圖像處理部件包括視差圖 像產(chǎn)生部件，其從圖像拾取數(shù)據(jù)中提取像素?cái)?shù)據(jù)，然后合成像素?cái)?shù)據(jù)以產(chǎn)生 多個(gè)視差圖像，其中每一個(gè)像素?cái)?shù)據(jù)與位于圖像拾取裝置的圖像拾取區(qū)域中 相同位置的每一個(gè)像素相對應(yīng)，每一個(gè)圖像拾取區(qū)域與每一個(gè)微透鏡相對應(yīng)； 和調(diào)整大小部件，其關(guān)于每一個(gè)視差圖像執(zhí)行調(diào)整大小處理以改變其分辨率。
在根據(jù)本發(fā)明實(shí)施例的圖像拾取設(shè)備中，在微透鏡陣列上形成通過圖像 拾取透鏡的對象的圖像。然后，到微透鏡陣列的入射光線通過微透鏡陣列到 達(dá)圖像拾取裝置。由此，在圖像拾取裝置上形成與每個(gè)微透鏡對應(yīng)的對象的 圖像，且獲得包括關(guān)于光線的位置的信息以及關(guān)于光線的傳播方向的信息的 圖像拾取數(shù)據(jù)?；谠搱D像拾取數(shù)據(jù)，在圖像處理部件中，由視差圖像產(chǎn)生 部件形成與微透鏡的數(shù)目相等的多個(gè)視差圖像。調(diào)整大小部件關(guān)于每一個(gè)視 差圖像執(zhí)行調(diào)整大小處理。換句話說，改變每個(gè)視差圖像中像素的數(shù)目。
根據(jù)本發(fā)明的實(shí)施例，提供了顯示器，包括圖像處理部件，其基于通 過圖像拾取光學(xué)系統(tǒng)獲得的圖像拾取數(shù)據(jù)產(chǎn)生圖像，所述圖像拾取光學(xué)系統(tǒng) 具有圖像拾取透鏡和在圖像拾取透鏡和圖像拾取裝置之間提供的、且包括多 個(gè)微透鏡的微透鏡陣列，其中與圖像拾取裝置的多個(gè)像素對應(yīng)地提供每一個(gè) 微透鏡；和顯示部件，其顯示由圖像處理部件產(chǎn)生的圖像。在該情況下，圖像處理部件包括視差圖像產(chǎn)生部件，其從圖像拾取數(shù)據(jù)提取像素?cái)?shù)據(jù)，然 后合成像素?cái)?shù)據(jù)以產(chǎn)生多個(gè)視差圖像，其中每一個(gè)像素?cái)?shù)據(jù)與位于圖像拾取 裝置的圖像拾取區(qū)域中相同位置的每一個(gè)像素相對應(yīng)，每一個(gè)圖像拾取區(qū)域 與每一個(gè)微透鏡相對應(yīng)；和調(diào)整大小部件，其關(guān)于每一個(gè)視差圖像執(zhí)行調(diào)整 大小處理以改變其分辨率。
根據(jù)本發(fā)明的實(shí)施例，提供了圖像處理設(shè)備，包括圖像處理部件，其 基于通過圖像拾取光學(xué)系統(tǒng)獲得的圖像拾取數(shù)據(jù)產(chǎn)生圖像，所述圖像拾取光 學(xué)系統(tǒng)具有圖像拾取透鏡和在圖像拾取透鏡和圖像拾取裝置之間提供的、且 包括多個(gè)微透鏡的微透鏡陣列，其中與圖像拾取裝置的多個(gè)像素對應(yīng)地提供 每一個(gè)微透鏡。在該情況下，圖像處理部件包括視差圖像產(chǎn)生部件，其從 圖像拾取數(shù)據(jù)提取像素?cái)?shù)據(jù)，然后合成像素?cái)?shù)據(jù)以產(chǎn)生多個(gè)視差圖像，其中 每一 個(gè)像素?cái)?shù)據(jù)與位于圖像拾取裝置的圖像拾取區(qū)域中相同位置的每一 個(gè)像 素相對應(yīng)，每一個(gè)圖像拾取區(qū)域與每一個(gè)微透鏡相對應(yīng)；和調(diào)整大小部件， 其關(guān)于每一個(gè)視差圖像執(zhí)行調(diào)整大小處理以改變其分辨率。
在根據(jù)本發(fā)明的實(shí)施例的顯示器和圖像處理設(shè)備中，在圖像處理部件中， 首先，視差圖像產(chǎn)生部件對于通過具有微透鏡陣列的圖像拾取光學(xué)系統(tǒng)獲得 的圖像拾取數(shù)據(jù)，產(chǎn)生與微透鏡的數(shù)目相等的多個(gè)視差圖像。調(diào)整大小部件 關(guān)于每一個(gè)所產(chǎn)生的視差圖像執(zhí)行調(diào)整大小處理。換句話說，改變每個(gè)視差 圖像中像素的數(shù)目。
在根據(jù)本發(fā)明實(shí)施例的圖像拾取設(shè)備和圖像處理設(shè)備中，視差圖像產(chǎn)生 部件基于通過檢測保持光線的傳播方向的光獲得的圖像拾取數(shù)據(jù)產(chǎn)生多個(gè)視 差圖像，然后調(diào)整大小部件關(guān)于多個(gè)視差圖像中的每一個(gè)執(zhí)行調(diào)整大小處理， 所以在從圖像拾取裝置獲得的圖像拾取數(shù)據(jù)中，與微透鏡對應(yīng)的圖像拾取區(qū) 域(單元圖像)的數(shù)目可能變化。由此，在顯示器中，可以顯示具有任意分 辨率的圖像。
通過以下描述本發(fā)明的其他和另外的目的、特征和優(yōu)點(diǎn)將更加全面地顯現(xiàn)。


圖1是根據(jù)本發(fā)明實(shí)施例的圖像拾取設(shè)備的整體配置的圖示。 圖2是圖1中圖示的圖像處理部件的整體配置的功能框圖。圖3是用于描述關(guān)于進(jìn)入圖像拾取裝置的光線的信息的示意圖。 圖4是與從圖像拾取裝置獲得的圖像拾取數(shù)據(jù)對應(yīng)的拾取圖像。 圖5A和圖5B是用于描述圖2中圖示的視差圖像產(chǎn)生部件的視差圖像產(chǎn) 生操作的示意圖。
圖6A和圖6B是用于描述圖2中圖示的調(diào)整大小部件的調(diào)整大小操作的 示意圖。
圖7A和圖7B是用于描述圖2中圖示的重排部件的重排操作的示意圖。 圖8A和圖8B是用于描述圖2中圖示的調(diào)整大小部件的另一調(diào)整大小處 理(修改l)的示意圖。
圖9是用于描述圖8中的調(diào)整大小處理之后的像素?cái)?shù)據(jù)重排的示意圖。
圖10是根據(jù)修改2的圖像處理部件的整體配置的功能框圖。
圖11是根據(jù)本發(fā)明實(shí)施例的顯示器的主要部分的配置的截面圖。
圖12是圖11中圖示的圖像處理部件的整體配置的功能框圖。
圖13是根據(jù)修改3的圖像處理部件的整體配置的功能框圖。
具體實(shí)施例方式
以下將參考附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。
圖1圖示根據(jù)本發(fā)明實(shí)施例的圖像拾取設(shè)備(圖像拾取設(shè)備1)的整體 配置。圖像拾取設(shè)備1拾取對象2的圖像，并關(guān)于該圖像執(zhí)行預(yù)定的圖像處 理，由此輸出圖像數(shù)據(jù)Dout。圖像拾取設(shè)備1包括孔徑光闌(aperture stop) 10、圖像拾取透鏡11、微透鏡陣列12、圖像拾取裝置13、圖像處理部件14、 圖像拾取裝置驅(qū)動(dòng)部件15和控制部件16。
孔徑光闌IO是圖像拾取透鏡11的光學(xué)孔徑光闌。
圖像拾取透鏡11是用于拾取對象的圖像的主透鏡，且包括例如用在攝像 機(jī)、照相機(jī)等中的一般圖像拾取透鏡。
在微透鏡陣列12中，排列將在之后描述的多個(gè)微透鏡，且在圖像拾取透 鏡11的焦平面(成像平面)上排列微透鏡陣列12。例如，每個(gè)微透鏡由固 體透鏡、液晶透鏡、衍射透鏡等制成。將圖像拾取裝置13中的多個(gè)像素分配 給微透鏡陣列12中的一個(gè)微透鏡。
圖像拾取裝置13接收或檢測來自微透鏡陣列12的光線以產(chǎn)生包括多個(gè) 像素?cái)?shù)據(jù)的圖像拾取數(shù)據(jù)DO，且將圖像拾取裝置13排列在微透鏡陣列12的焦平面(成像平面)上。圖像拾取裝置13包括以矩陣形式排列的諸如CCD (電荷耦合器件)或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)之類的多個(gè)二維固態(tài) 圖像拾取裝置。
在這種圖像拾取裝置13的感光面(靠近微透鏡陣列12的平面)上，以 矩陣形式排列數(shù)目為MxN個(gè)(M和N均為整數(shù))的圖像拾取像素，且將多 個(gè)圖像拾取像素分配給微透鏡陣列12中的一個(gè)微透鏡。例如，感光面上的圖 像拾取像素的數(shù)目是MxN = 3720x2520 = 9374400個(gè)，且將9374400個(gè)圖像 拾取像素的3x3 = 9個(gè)圖像拾取像素分配給一個(gè)微透鏡。將在之后描述的重建 圖像的分辨率(例如，任意視場中的分辨率、基于重調(diào)焦距算術(shù)處理的深度 方向中的分辨率(任意焦點(diǎn)中的分辨率)等)隨著作為分配給每個(gè)微透鏡的 像素的數(shù)目的值m和n的增加而增加。另一方面，因?yàn)橹?M/m)和(N/n) 與重建圖像的分辨率有關(guān)，所以重建圖像的分辨率隨著值(M/m)和(N/n) 的增加而增加。如上所述，在重建圖像的分辨率和以任意視場或任意焦點(diǎn)的 分辨率之間存在權(quán)^"關(guān)系。
圖像處理部件14關(guān)于從圖像拾取裝置13獲得的圖像拾取數(shù)據(jù)DO執(zhí)行 預(yù)定圖像處理，并輸出通過執(zhí)行圖像處理獲得的圖像拾取數(shù)據(jù)Dout。將在之 后詳細(xì)描述圖像處理部件14。
圖像拾取裝置驅(qū)動(dòng)部件15驅(qū)動(dòng)圖像拾取裝置13，并控制圖像拾取裝置 13的感光搡作。
控制部件16控制圖像處理部件14和圖像拾取裝置驅(qū)動(dòng)部件15的操作， 且包括例如微計(jì)算機(jī)等。
接下來，以下將參考圖2詳細(xì)描述圖像處理部件14的配置。圖2圖示圖 像處理部件14的整體配置的功能框圖。
例如，圖像處理部件14包括缺陷校正部件141、箝位(clamp)處理部 件142、視差圖像產(chǎn)生部件143、調(diào)整大小部件144、重排部件145、降噪部 件146、邊緣增強(qiáng)部件147、白平衡調(diào)整部件148和伽瑪校正部件149。
缺陷校正部件141校正包括在圖像拾取數(shù)據(jù)D0中的諸如損失或無效之 類的缺陷(由圖像拾取裝置13中的異常所引起的缺陷)。箝位處理部件142 關(guān)于通過缺陷校正部件142的缺陷校正所獲得的圖像拾取數(shù)據(jù)執(zhí)行設(shè)置每一 個(gè)像素?cái)?shù)據(jù)的黑電平的處理(箝位處理)。
視差圖像產(chǎn)生部件143從自箝位處理部件142提供的圖像拾取數(shù)據(jù)中產(chǎn)生與微透鏡陣列12中微透鏡的數(shù)目相等的多個(gè)視差圖像。將由視差圖像產(chǎn)生
部件143產(chǎn)生的多個(gè)視差圖像作為圖像數(shù)據(jù)D1提供給調(diào)整大小部件144。
調(diào)整大小部件144關(guān)于從視差圖像產(chǎn)生部件143提供的圖像數(shù)據(jù)Dl執(zhí) 行調(diào)整大小處理，以產(chǎn)生具有改變的分辨率的多個(gè)視差圖像(改變數(shù)目的像 素)。將具有由調(diào)整大小部件144改變的分辨率的多個(gè)視差圖像作為圖像數(shù)據(jù) D2提供給重排部件145。將在之后詳細(xì)描述上述視差圖像產(chǎn)生部件143和上 述調(diào)整大小部件144的處理操作。
重排部件145關(guān)于形成從調(diào)整大小部件144提供的圖像數(shù)據(jù)D2的像素 數(shù)據(jù)執(zhí)行重排處理，以使得像素?cái)?shù)據(jù)再次位于原始圖像拾取數(shù)據(jù)D0的像素 排列中的相應(yīng)位置，由此獲得圖像數(shù)據(jù)D3。將通過重排處理獲得的圖像數(shù)據(jù) D3提供給降噪部件146。
降噪部件146執(zhí)行減少包括在從重排部件145提供的圖像數(shù)據(jù)中的噪音 的處理(例如，當(dāng)在暗處或具有不足的感光度的地方拾取圖像時(shí)產(chǎn)生的噪音)。 邊緣增強(qiáng)部件147執(zhí)行邊緣增強(qiáng)處理，即關(guān)于從降噪部件146提供的圖像 數(shù)據(jù)增強(qiáng)圖像的邊緣的處理。
白平衡調(diào)整部件148關(guān)于從邊緣增強(qiáng)部件147提供的圖像數(shù)據(jù)執(zhí)行調(diào)整 由各裝置之間的個(gè)體差異(比如圖像拾取裝置13的光譜靈敏度、照明條件等 的差異)影響的顏色平衡的處理(白平衡調(diào)整處理)。
伽瑪校正部件149關(guān)于從白平衡調(diào)整部件148提供圖像數(shù)據(jù)執(zhí)行預(yù)定伽 瑪校正(色調(diào)或?qū)Ρ榷刃Ｕ?，從而產(chǎn)生圖像拾取數(shù)據(jù)Dout。 接下來，參考圖i到圖7A和圖7B，以下將詳細(xì)描述根據(jù)本實(shí)施例的圖 像拾取設(shè)備1的功能和效果。圖3是用于描述關(guān)于包括在圖像拾取數(shù)據(jù)DO 中的光線的信息的示意圖。圖4是與圖像拾取數(shù)據(jù)DO對應(yīng)的實(shí)際拾取的圖 像。圖5A和圖5B是用于描述視差圖像產(chǎn)生部件143中的視差圖像產(chǎn)生操作 的示意圖。圖6A和圖6B是用于描述調(diào)整大小部件144中的調(diào)整大小操作的 示意圖。圖7A和圖7B是用于描述重排部件145中的重排操作的示意圖。
在圖像拾取設(shè)備1中，在微透鏡陣列12上形成通過圖像拾取透鏡11的 對象2的圖像。然后，到微透鏡陣列12的入射光線通過微透鏡陣列12以由 圖像拾取裝置13檢測。在這時(shí)，在圖像拾取裝置13中的取決于入射光線的 入射方向的位置檢測到微透鏡陣列12的入射光線。然后，根據(jù)圖像拾取裝置 驅(qū)動(dòng)部件15的驅(qū)動(dòng)操作，從圖像拾取裝置13獲得圖像拾取數(shù)據(jù)DO,且將圖像拾取數(shù)據(jù)DO輸入到圖像處理部件14中。
現(xiàn)在，以下將參考圖3描述由圖像拾取裝置13檢測到的光線。如圖3 所示，在圖像拾取透鏡11的圖像拾取透鏡平面上定義直角坐標(biāo)系(u， v)， 且在圖像拾取裝置13的圖像拾取平面上定義直角坐標(biāo)系(x， y)。在圖像拾 取透鏡11的圖像拾取透鏡平面和圖像拾取裝置13的圖像拾取平面之間的距 離被定義為"F"。然后，如圖所示的通過圖像拾取透鏡11和圖像拾取裝置 13的光線L1由四元函數(shù)Lf (x, y, u， v)表示。因此，將關(guān)于光線L1的傳 播方向的信息以及關(guān)于光線L1的位置的信息記錄在圖像拾取裝置13中。換 句話說，由分配給每個(gè)微透鏡的多個(gè)圖像拾取像素的排列確定光線的入射方 向。因此，從圖像拾取裝置13獲得的圖像拾取數(shù)據(jù)D0包括光線的強(qiáng)度以及 關(guān)于光線的傳播方向的信息。
此外，在圖像拾取裝置13上形成對于每個(gè)微透鏡的對象2的圖像。如圖 3所示，在與圖像拾取數(shù)據(jù)DO對應(yīng)的拾取圖像(光場圖像)中，與微透鏡陣 列12中的微透鏡的二維排列對應(yīng)地形成多個(gè)單元圖像U1。換句話說，形成 與微透鏡的數(shù)目相等的多個(gè)單元圖像U1。此外，每個(gè)單元圖像U1包括多個(gè) 像素?cái)?shù)據(jù)，且與位于單元圖像Ul中相同位置的像素對應(yīng)的像素?cái)?shù)據(jù)保持關(guān) 于光線的相同傳播方向的信息。為了筒單起見，以下將描述在將3x3個(gè)像素 分配給一個(gè)微透鏡的情況下包括圖像拾取數(shù)據(jù)DO的6x6個(gè)單元圖像Ul的區(qū) 域S。
當(dāng)將上述圖像拾取數(shù)據(jù)DO輸入到圖像處理部件14中時(shí)，缺陷校正部件 141校正圖像拾取數(shù)據(jù)DO中的缺陷，且箝位處理部件142設(shè)置圖像拾取數(shù)據(jù) DO的適當(dāng)?shù)暮陔娖?，然后將圖像拾取數(shù)據(jù)DO輸入到視差圖像產(chǎn)生部件143 中。
視差圖像產(chǎn)生部件143基于圖像拾取數(shù)據(jù)DO產(chǎn)生多個(gè)視差圖像。更具 體地說，如圖5A所示，從圖像拾取數(shù)據(jù)D0提取與位于單元圖像U1中相同 位置的像素對應(yīng)的像素?cái)?shù)據(jù)(在附圖中由相同附圖標(biāo)記指示的區(qū)域中的數(shù)據(jù)), 且合成所提取的像素?cái)?shù)據(jù)。由此，如圖5B所示，產(chǎn)生9個(gè)視差圖像D11到 D19。所產(chǎn)生的視差圖像Dll到D19是來自不同視點(diǎn)的圖像，且每個(gè)具有6x6 的分辨率(像素?cái)?shù)目)。將這樣的視差圖像D11到D19作為圖像數(shù)據(jù)D1輸入 到調(diào)整大小部件144中。
在調(diào)整大小部件144中，如圖6A所示，對與圖像數(shù)據(jù)D1對應(yīng)的9個(gè)視差圖像Dll到D19調(diào)整大小。在該實(shí)施例中，執(zhí)行視差圖像Dll到D19中 的每一個(gè)的減小分辨率(6x6)的調(diào)整大小處理(以下稱為圖像縮小處理)。 通過關(guān)于例如任意數(shù)目的像素的數(shù)據(jù)執(zhí)行結(jié)合(integration)處理來實(shí)現(xiàn)圖像 減小處理。由此，如圖6B所示，產(chǎn)生具有減小的分辨率(例如，3x3)的視 差圖像D21到D29。將所產(chǎn)生的視差圖像D21到D29作為圖像數(shù)據(jù)D2輸入 到重排部件145中。
在重排部件145中，如圖7A所示，關(guān)于形成視差圖像D21到D29的多 個(gè)像素?cái)?shù)據(jù)執(zhí)行重排處理，以使得所述多個(gè)像素?cái)?shù)據(jù)位于原始圖像拾取數(shù)據(jù) DO的像素排列中的相應(yīng)位置。由此，如圖7B所示，獲得包括3x3:9個(gè)單 元圖像的圖像數(shù)據(jù)D3。
關(guān)于這種圖像數(shù)據(jù)D3依次執(zhí)行通過降噪部件146的降噪處理、通過邊 緣增強(qiáng)部件147的邊緣增強(qiáng)處理、通過白平衡調(diào)整部件148的白平衡調(diào)整處 理和通過伽瑪校正部件149的伽瑪校正，由此從圖像處理部件14輸出圖像數(shù) 據(jù)D3作為圖像數(shù)據(jù)Dout。
如上所述，在圖像拾取設(shè)備1中，在圖像處理部件14中，視差圖像產(chǎn)生 部件143基于圖像拾取數(shù)據(jù)D0產(chǎn)生多個(gè)視差圖像Dll到D19,且調(diào)整大小 部件144關(guān)于視差圖像Dll到D19執(zhí)行調(diào)整大小處理，由此改變每一個(gè)視差 圖像D11到D19的分辨率(像素的數(shù)目)。由此，獲得圖像拾取數(shù)據(jù)DO和包 括不同數(shù)目的單元圖像Ul的圖像數(shù)據(jù)(圖像數(shù)據(jù)D2或D3或圖像數(shù)據(jù)Dout )。 因此，產(chǎn)生具有任意分辨率的視差圖像，并且無論微透鏡陣列12中的微透鏡 的數(shù)目如何，將圖像拾取數(shù)據(jù)DO中單元圖像U1的數(shù)目改變?yōu)槿我鈹?shù)。
此外，當(dāng)執(zhí)行減小視差圖像Dll到D19的分辨率的圖像減小處理作為調(diào) 整大小處理時(shí)，實(shí)現(xiàn)記錄容量的減少或計(jì)算時(shí)間的減少。
另外，圖像拾取設(shè)備l可以進(jìn)一步包括圖像存儲(chǔ)部件(沒有圖示)，且可 以將通過重排部件145的重排處理獲得的圖像數(shù)據(jù)Dout或圖像數(shù)據(jù)D3存儲(chǔ) 在圖像存儲(chǔ)部件中。
接下來，以下將描述本發(fā)明的修改。類似的組件由與根據(jù)實(shí)施例的圖像 拾取設(shè)備1的組件類似的數(shù)字表示，且將不進(jìn)一步描述。
修改1
圖8A和圖8B是用于描述上述圖像處理部件14的調(diào)整大小部件144中 的另一調(diào)整大小操作的示意圖。圖9是通過關(guān)于通過圖8A和8B中的調(diào)整大小處理獲得的圖像數(shù)據(jù)D4，在重排部件145中執(zhí)行重排處理獲得的圖像數(shù)據(jù) D5的示意圖。
在該修改中，如圖8A所示，調(diào)整大小部件144執(zhí)行增大每一個(gè)視差圖 像Dll到D19的分辨率(6x6)的調(diào)整大小處理(以下稱為圖像放大處理)。 例如，通過執(zhí)行諸如雙三次內(nèi)插處理之類的各種像素內(nèi)插處理來實(shí)現(xiàn)圖像放 大處理。由此，如圖8B所示，產(chǎn)生具有增大的分辨率(例如，9x9)的視差 圖像D41到D49。將所產(chǎn)生的視差圖像D41到D49作為圖像數(shù)據(jù)D4輸入到 重排部件145中。
在重排部件145中，關(guān)于形成與圖像數(shù)據(jù)D4對應(yīng)的9個(gè)視差圖像D41 到D49的多個(gè)像素?cái)?shù)據(jù)執(zhí)行重排處理，.以使得多個(gè)像素?cái)?shù)據(jù)位于原始圖像拾 取數(shù)據(jù)D0的像素排列(與光場圖像對應(yīng)的排列)中的相應(yīng)位置。由此，如 圖9所示，產(chǎn)生其中形成9x9-81個(gè)單元圖像U1的圖像數(shù)據(jù)D5。因此，作 為調(diào)整大小部件144中的調(diào)整大小處理，可以執(zhí)行除圖像縮小處理之外的圖 像放大處理。
修改2
圖10是根據(jù)修改2的圖像處理部件24的整體配置的功能框圖。在該修 改中，不包括根據(jù)實(shí)施例的圖像處理部件14中的重排部件145。更具體地說， 視差圖像產(chǎn)生部件143基于圖像拾取數(shù)據(jù)DO產(chǎn)生視差圖像，然后調(diào)整大小 部件144基于視差圖像執(zhí)行調(diào)整大小處理。然后，不將通過調(diào)整大小處理獲 得的圖像數(shù)據(jù)D2提供給重排部件145,且降噪部件146、邊緣增強(qiáng)部件147、 白平衡調(diào)整部件148和伽瑪校正部件149中的每一個(gè)均關(guān)于圖像數(shù)據(jù)D2執(zhí) 行預(yù)定處理，且輸出已處理的圖像數(shù)據(jù)D2作為圖像數(shù)據(jù)Dout2。
因此，在圖像處理部件24中，可以不包括重排部件145。換句話說，可 以輸出通過調(diào)整大小處理獲得的多個(gè)視差圖像(來自任意視點(diǎn)的圖像)作為 圖像數(shù)據(jù)Dout2。
圖11是圖示根據(jù)本發(fā)明實(shí)施例的顯示器2的主要部分的配置的截面圖。 圓12是根據(jù)該實(shí)施例的圖像處理部件23的整體配置的功能框圖。顯示器2 包括顯示部件20、微透鏡陣列21和圖像處理部件23 (圖11中沒有圖示)。 顯示器2是所謂的全景攝影(integral photography)系統(tǒng)3D顯示器，其通過 將圖像數(shù)據(jù)Dout3從圖像處理部件23提供到顯示部件20來顯示三維(3D) 圖像。另外，類似的組件由與圖像拾取設(shè)備1的組件類似的數(shù)字表示，且將不進(jìn)一步描述。顯示部件20是用于顯示諸如圖形形式或字符之類的圖像的顯示裝置，且由其中以矩陣形式排列多個(gè)顯示像素的LCD (液晶顯示器)配置。顯示部件 20包括背光200、偏振器201、液晶單元202、偏振器203和濾色鏡204。顯 示部件20基于圖像數(shù)據(jù)Dout3,通過液晶單元202調(diào)制從背光200發(fā)出的光， 以向著^f敬透鏡陣列21之上方發(fā)出顯示光Lout。液晶單元202包括一對透明基底(沒有圖示)和在該對透明基底之間排 列的液晶層(沒有圖示)。液晶單元202基于圖像數(shù)據(jù)Dout3,響應(yīng)于在透明 基底之間施加的電壓，調(diào)制來自背光200的入射光。偏振器201選擇性地允許在進(jìn)入液晶單元202的光的一個(gè)偏振方向中的 光通過，且偏振器203選擇性地允許在從液晶單元202發(fā)出的光的另 一偏振 方向中的光通過。排列偏振器201和203從而液晶單元202在偏振器201和 203之間，以使得偏振軸彼此垂直。濾色鏡204選擇性地允許在已經(jīng)通過液晶單元202和偏振器203的光的、 與其自己的發(fā)射顏色對應(yīng)的波長范圍中的光(例如，紅光，綠光或藍(lán)光)通 過。微透鏡陣列21包括排列的多個(gè)微透鏡，并實(shí)現(xiàn)所謂的全景三維顯示 (integral three-dimensional display)。例如，每個(gè)《效透4竟由固體透4竟、液晶透 鏡、衍射透鏡等制成。圖像處理部件23基于由根據(jù)實(shí)施例的圖像拾取設(shè)備1的圖像拾取光學(xué)系 統(tǒng)(即孔徑光闌10、圖像拾取透鏡11、微透鏡陣列12和圖像拾取裝置13 ) 獲得的圖像拾取數(shù)據(jù)DO，執(zhí)行預(yù)定圖像處理。如圖12所示，圖像處理部件 23包括，例如，缺陷校正部件141、箝位處理部件142、視差圖^f象產(chǎn)生部件 143、調(diào)整大小部件144、重排部件145、降噪部件146、邊緣增強(qiáng)部件147、 白平衡調(diào)整部件148、伽瑪校正部件149和翻轉(zhuǎn)部件(flipping section) 150。 換句話說，在該實(shí)施例中，在根據(jù)實(shí)施例的圖像處理部件14中在伽瑪校正部 件149之后排列關(guān)于圖像數(shù)據(jù)執(zhí)行翻轉(zhuǎn)處理的翻轉(zhuǎn)部件150。翻轉(zhuǎn)部件150關(guān)于通過由重排部件145的重排處理獲得的圖像數(shù)據(jù)D3， 對于每個(gè)單元圖像Ul執(zhí)行翻轉(zhuǎn)處理，因?yàn)榕c對應(yīng)于由上述圖像拾取光學(xué)系 統(tǒng)獲得的圖像拾取數(shù)據(jù)DO的拾取圖像相反，由微透鏡陣列21空間地(即， 水平地和垂直地)翻轉(zhuǎn)與圖像數(shù)據(jù)Dout3對應(yīng)的實(shí)際顯示的圖像。在該實(shí)施例中，缺陷校正部件141和箝位處理部件142關(guān)于圖像拾取數(shù) 據(jù)DO執(zhí)行預(yù)定處理，然后關(guān)于圖像拾取數(shù)據(jù)DO執(zhí)行通過視差圖像產(chǎn)生部件 143的^L差圖像產(chǎn)生處理、通過調(diào)整大小部件144的調(diào)整大小處理和通過重 排部件145的重排處理，以獲得圖像數(shù)據(jù)D3。由此，如在該實(shí)施例的情況下 那樣，任意地改變圖像拾取數(shù)據(jù)DO中的單元圖像U1的數(shù)目。然后，關(guān)于圖 像數(shù)據(jù)D3執(zhí)行在降噪部件146、邊緣增強(qiáng)部件147、白平衡調(diào)整部件148和 伽瑪校正部件149中的預(yù)定處理，然后將圖像數(shù)據(jù)D3輸入到翻轉(zhuǎn)部件150 中。在翻轉(zhuǎn)部件150中對于每個(gè)單元圖像U1關(guān)于圖像數(shù)據(jù)D3執(zhí)行翻轉(zhuǎn)處理， 且將經(jīng)歷翻轉(zhuǎn)處理的圖像數(shù)據(jù)D3作為圖像數(shù)據(jù)Dout3輸入到顯示部件20中。另一方面，在顯示部件20中，當(dāng)基于上述圖像數(shù)據(jù)Dout3在液晶單元 202的透明基底之間施加電壓時(shí)，調(diào)制從背光200發(fā)出的光以通過顯示部件 20,然后向著微透鏡陣列21之上方發(fā)出光以作為顯示光Lout。在這時(shí)，取決 于微透鏡陣列21的微透鏡中像素的位置，以不同的角度方向發(fā)出配置基于圖 像數(shù)據(jù)Dout3產(chǎn)生的顯示光Lout的光線。然后，這些光線進(jìn)入觀看者的左眼 和右眼，作為具有不同視差的視差圖像。由此，對于觀看者來說，顯示圖像 看起來好像圖像漂浮在微透鏡陣列21之上方一樣。在該情況下，在全景3D顯示器中，圖像數(shù)據(jù)Dout3的單元圖像U1的數(shù) 目必需等于或小于微透鏡陣列21中的微透鏡的數(shù)目。在這一點(diǎn)上，任意地設(shè) 置圖像數(shù)據(jù)Dout3中單元圖像Ul的數(shù)目而無論在圖像拾取設(shè)備1的微透鏡 陣列12中的微透鏡的數(shù)目如何。因此，圖像數(shù)據(jù)Dout3的單元圖像U1的數(shù) 目可以與微透鏡陣列21的配置對應(yīng)地改變。例如，在微透鏡陣列21中的微 透鏡的數(shù)目是axb的情況下，數(shù)目是固定的，所以在圖像數(shù)據(jù)Dou3中單元 圖像U1的數(shù)目最大可以被設(shè)置為axb。在這時(shí)，在單元圖像Ul的數(shù)目是axb 的情況下，在顯示屏幕的整個(gè)區(qū)域(微透鏡陣列21之上的整個(gè)區(qū)域)上顯示 圖像。此外，在單元圖像Ul的數(shù)目小于axb的情況下，在顯示屏幕的部分 區(qū)域(微透鏡陣列21之上的部分區(qū)域)上顯示圖像。如上所述，在該實(shí)施例中，在圖像處理部件23的視差圖像產(chǎn)生部件143 、 調(diào)整大小部件144和重排部件145中，根據(jù)微透鏡陣列21的配置任意地改變 圖像拾取數(shù)據(jù)D的單元圖像U1的數(shù)目，所以當(dāng)執(zhí)行全景3D顯示時(shí)，顯示具 有期望分辨率的3D圖像而無論在圖像拾取側(cè)微透鏡陣列12中的微透鏡的數(shù) 目和在顯示側(cè)微透鏡陣列21中的微透鏡的數(shù)目如何。15另外，顯示器2進(jìn)一步包括圖像存儲(chǔ)部件(沒有圖示)，且可以將通過翻轉(zhuǎn)處理獲得的圖像數(shù)據(jù)Dout3、通過重排處理獲得的圖像數(shù)據(jù)D3或通過調(diào)整 大小處理獲得的圖像數(shù)據(jù)D2存儲(chǔ)在圖像存4諸部件中。 修改3圖13是根據(jù)實(shí)施例的修改3的圖像處理部件25的整體配置的功能框圖。 圖像處理部件25基于由根據(jù)實(shí)施例的圖像拾取設(shè)備1的圖像拾取光學(xué)系統(tǒng)獲 得的圖像拾取數(shù)據(jù)DO執(zhí)行預(yù)定圖像處理。除了在通過視差圖像產(chǎn)生部件143 的視差圖像產(chǎn)生處理和通過調(diào)整大小部件144的調(diào)整大小處理之間執(zhí)行通過 翻轉(zhuǎn)部件150的翻轉(zhuǎn)處理之外，圖像處理部件25具有與圖像處理部件23相 同的配置。換句話說，當(dāng)將作為多個(gè)視差圖像的圖像數(shù)據(jù)Dl輸入到翻轉(zhuǎn)部 件150中時(shí)，關(guān)于多個(gè)視差圖像的每一個(gè)執(zhí)行翻轉(zhuǎn)處理以獲得圖像數(shù)據(jù)D4。 關(guān)于圖像數(shù)據(jù)D4依次執(zhí)行通過調(diào)整大小部件144的調(diào)整大小處理和通過重 排部件145的重排處理，然后降噪部件146、邊緣增強(qiáng)部件147、白平衡調(diào)整 部件148和伽瑪校正部件149關(guān)于圖像數(shù)據(jù)D4執(zhí)行預(yù)定處理。由此，輸出 圖像數(shù)據(jù)Dout4。因此，不4又可以在通過重排部件145的重排處理之后，而且可以在通過 重排部件145的重排處理之前(更具體地說，在視差圖像產(chǎn)生處理之后并在 調(diào)整大小處理之前)執(zhí)行通過翻轉(zhuǎn)部件150的翻轉(zhuǎn)處理。替代地，可以在調(diào) 整大小處理之后并在重排處理之前執(zhí)行翻轉(zhuǎn)處理。在這種情況下，獲得如在 該實(shí)施例中的效果的相同的效果。雖然參考實(shí)施例描述了本發(fā)明，但本發(fā)明不限于此，且可以進(jìn)行各種各樣的修改。例如，作為示例，描述了將3x3-9個(gè)像素分配給一個(gè)微透鏡的配 置。但是，本發(fā)明不限于此，且可以通過視差圖像中像素的所需數(shù)目、單元 圖像的所需數(shù)目或設(shè)計(jì)規(guī)格來確定分配給一個(gè)微透鏡的像素的數(shù)目。此外，在上述實(shí)施例中，圖像處理部件被描述為圖像拾取設(shè)備1或顯示 器2的構(gòu)成組件之一。但是，不是必須在圖像拾取設(shè)備1或顯示器2中布置 圖像處理部件。例如，在圖像拾取設(shè)備l中，可以在另一設(shè)備(例如，PC(個(gè) 人計(jì)算機(jī))等)中布置圖像處理部件，且可以將由圖像拾取光學(xué)系統(tǒng)獲得的 圖像拾取數(shù)據(jù)轉(zhuǎn)送到PC，并且可以關(guān)于PC中的圖像拾取數(shù)據(jù)執(zhí)行圖像處理。 進(jìn)一步，同樣在顯示器2中，如上所述可以在另一設(shè)備中布置圖像處理部件， 且可以將從圖像處理部件獲得的圖像數(shù)據(jù)傳送到顯示部件。本申請包括與于2008年8月21日在日本專利局提交的日本優(yōu)先權(quán)專利 申請JP2008-212831中公開的主題相關(guān)的主題，將其全部內(nèi)容通過引用完全 包括于此。本領(lǐng)域技術(shù)人員應(yīng)該理解根據(jù)設(shè)計(jì)要求及其它因素，可產(chǎn)生各種修改、 組合、部分組合和替代，只要它們在所附權(quán)利要求及其等效物的范圍之內(nèi)即 可。
權(quán)利要求
1.一種圖像拾取設(shè)備，包括圖像拾取透鏡；圖像拾取裝置，其基于檢測到的光獲得圖像拾取數(shù)據(jù)；微透鏡陣列，其包括多個(gè)微透鏡，并被排列在圖像拾取透鏡的成像平面上，其中與所述圖像拾取裝置的多個(gè)像素對應(yīng)地提供每一個(gè)微透鏡；和圖像處理部件，其基于從所述圖像拾取裝置獲得的所述圖像拾取數(shù)據(jù)產(chǎn)生圖像，其中，所述圖像處理部件包括視差圖像產(chǎn)生部件，其從所述圖像拾取數(shù)據(jù)中提取像素?cái)?shù)據(jù)，然后合成所述像素?cái)?shù)據(jù)以產(chǎn)生多個(gè)視差圖像，其中每一個(gè)像素?cái)?shù)據(jù)與位于所述圖像拾取裝置的圖像拾取區(qū)域中相同位置的每一個(gè)像素對應(yīng)，每一個(gè)圖像拾取區(qū)域與每一個(gè)微透鏡對應(yīng)，和調(diào)整大小部件，關(guān)于每一個(gè)視差圖像執(zhí)行調(diào)整大小處理以改變其分辨率。
2. 如權(quán)利要求1所述的圖像拾取設(shè)備，其中所述圖像處理部件包括重排部件，其關(guān)于形成經(jīng)歷了通過所述調(diào)整大小部件的調(diào)整大小處理的多個(gè)視差圖像的每一個(gè)的像素?cái)?shù)據(jù)執(zhí)行像素?cái)?shù)據(jù)重排,以使得所述像素?cái)?shù)據(jù)在所述調(diào)整大小處理之后位于像素?cái)?shù)據(jù)排列中的相應(yīng)位置。
3. 如權(quán)利要求1所述的圖像拾取設(shè)備，進(jìn)一步包括圖像存儲(chǔ)部件，其存儲(chǔ)經(jīng)歷了所述調(diào)整大小處理的所述視差圖像的圖像數(shù)據(jù)。
4. 一種顯示器，包括圖像處理部件，其基于通過圖像拾取光學(xué)系統(tǒng)獲得的圖像拾取數(shù)據(jù)產(chǎn)生圖像，所述圖像拾取光學(xué)系統(tǒng)具有圖像拾取透鏡和在圖像拾取透鏡和圖像拾取裝置之間提供的、且包括多個(gè)微透鏡的微透鏡陣列，其中與所述圖像拾取裝置的多個(gè)像素對應(yīng)地提供每一個(gè)微透鏡；和顯示部件，其顯示由所述圖像處理部件產(chǎn)生的圖像，其中，所述圖像處理部件包括視差圖像產(chǎn)生部件，其從所述圖像拾取數(shù)據(jù)中提取像素?cái)?shù)據(jù)，然后合成所述像素?cái)?shù)據(jù)以產(chǎn)生多個(gè)視差圖像，其中每一個(gè)像素?cái)?shù)據(jù)與位于所述圖像拾取裝置的圖像拾取區(qū)域中相同位置的每一個(gè)像素對應(yīng)，每一個(gè)圖像拾取區(qū)域與每一個(gè)孩么透鏡對應(yīng)和調(diào)整大小部件，其關(guān)于每一個(gè)視差圖像執(zhí)行調(diào)整大小處理以改變其分辨率。
5. 如權(quán)利要求4所述的顯示器，進(jìn)一步包括在所述顯示部件的發(fā)光平面上的第二微透鏡陣列。
6. 如權(quán)利要求5所述的顯示器，其中所述圖像處理部件包括重排部件，其關(guān)于形成經(jīng)歷了通過所述調(diào)整大小部件的調(diào)整大小處理的多個(gè)視差圖像的每一個(gè)的像素?cái)?shù)據(jù)執(zhí)行像素?cái)?shù)據(jù)重排，以使得所述像素?cái)?shù)據(jù)在所述調(diào)整大小處理之后位于像素?cái)?shù)據(jù)排列中的相應(yīng)位置，和翻轉(zhuǎn)部件，關(guān)于經(jīng)歷了所述像素?cái)?shù)據(jù)重排的所述圖像數(shù)據(jù)執(zhí)行空間翻轉(zhuǎn)處理。
7. 如權(quán)利要求4所述的顯示器，其中所述視差圖像產(chǎn)生部件將所述提取的像素?cái)?shù)據(jù)合成為所述多個(gè)視差圖像，然后關(guān)于所述多個(gè)視差圖像中的每一個(gè)執(zhí)行空間翻轉(zhuǎn)處理，所述調(diào)整大小部件關(guān)于經(jīng)歷了所述空間翻轉(zhuǎn)處理的每一個(gè)視差圖像執(zhí)行調(diào)整大小處理，和所述圖像處理部件進(jìn)一步包括重排部件，關(guān)于形成經(jīng)歷了通過所述調(diào)整大小部件的調(diào)整大小處理的多個(gè)視差圖像的每一個(gè)的像素?cái)?shù)據(jù)執(zhí)行像素?cái)?shù)據(jù)重排，以使得所述像素?cái)?shù)據(jù)在所述調(diào)整大小處理之后位于像素?cái)?shù)據(jù)排列中的相應(yīng)位置。
8. 如權(quán)利要求5所述的顯示器，其中所述調(diào)整大小部件關(guān)于所述多個(gè)視差圖像執(zhí)行調(diào)整大小處理，以使得在每一個(gè)視差圖像中像素的數(shù)目等于在所述第二微透鏡陣列中的微透鏡的數(shù)目。
9. 一種圖像處理設(shè)備，包括圖像處理部件，其基于通過圖像拾取光學(xué)系統(tǒng)獲得的圖像拾取數(shù)據(jù)產(chǎn)生圖像，所述圖像拾取光學(xué)系統(tǒng)具有圖像拾取透鏡和在圖像拾取透鏡和圖像拾取裝置之間提供的、且包括多個(gè)微透鏡的微透鏡陣列，其中與所述圖像拾取裝置的多個(gè)像素對應(yīng)地提供每一個(gè)微透鏡，其中，所述圖像處理部件包括視差圖像產(chǎn)生部件，其從所述圖像拾取數(shù)據(jù)中提取像素?cái)?shù)據(jù)，然后合成所述像素?cái)?shù)據(jù)以產(chǎn)生多個(gè)視差圖像，其中每一個(gè)像素?cái)?shù)據(jù)與位于所述圖像拾取裝置的圖像拾取區(qū)域中相同位置的每一個(gè)像素對應(yīng)，每一個(gè)圖像拾取區(qū)域與每一個(gè)微透鏡對應(yīng)和調(diào)整大小部件，其關(guān)于每一個(gè)視差圖像執(zhí)行調(diào)整大小處理以改變其分辨率。
全文摘要
公開了圖像拾取設(shè)備、顯示器和圖像處理設(shè)備。圖像拾取設(shè)備包括圖像拾取透鏡；獲得圖像拾取數(shù)據(jù)的圖像拾取裝置；在圖像拾取透鏡的成像平面上的微透鏡陣列；和基于圖像拾取數(shù)據(jù)產(chǎn)生圖像的圖像處理部件。微透鏡陣列包括多個(gè)微透鏡，其每一個(gè)與圖像拾取裝置的像素對應(yīng)地提供。圖像處理部件包括視差圖像產(chǎn)生部件和調(diào)整大小部件。視差圖像產(chǎn)生部件從圖像拾取數(shù)據(jù)提取像素?cái)?shù)據(jù)，并合成像素?cái)?shù)據(jù)以產(chǎn)生多個(gè)視差圖像。每一個(gè)所提取的像素?cái)?shù)據(jù)對應(yīng)于位于圖像拾取裝置的圖像拾取區(qū)域中的相同位置的每一個(gè)像素，每個(gè)區(qū)域與每個(gè)微透鏡對應(yīng)。調(diào)整大小部件對每個(gè)視差圖像調(diào)整大小以改變其分辨率。
文檔編號(hào)H04N5/232GK101656835SQ20091016736
公開日2010年2月24日 申請日期2009年8月21日 優(yōu)先權(quán)日2008年8月21日
發(fā)明者山本健二, 早坂健吾 申請人:索尼株式會(huì)社