專利名稱：成像裝置及其方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及成像應(yīng)用，尤其涉及處理圖像數(shù)據(jù)以聚焦和/或校正圖像數(shù)據(jù)。
背景技術(shù)：
諸如涉及相機(jī)、攝像機(jī)、顯微鏡、望遠(yuǎn)鏡等的成像應(yīng)用通常受限于所采集的 光的量。即，大多數(shù)成像裝置不記錄關(guān)于進(jìn)入該裝置的光分布的大部分信息。例如， 諸如數(shù)碼靜態(tài)相機(jī)和攝像機(jī)的傳統(tǒng)相機(jī)不記錄關(guān)于從外界進(jìn)入的光分布的大部分 信息。在這些裝置中，所采集的光常常不能用各種方法處理，諸如聚焦在不同深度 (距成像裝置的距離)、校正透鏡像差或控制視角。
對(duì)于靜態(tài)成像應(yīng)用，捕獲特定場(chǎng)景的典型成像裝置通常聚焦在場(chǎng)景中的目標(biāo) 或?qū)ο?，而該?chǎng)景的其它部分落在焦點(diǎn)之外。對(duì)于視頻成像應(yīng)用，存在類似的問(wèn)題， 其中視頻應(yīng)用中使用的圖像采集不能焦點(diǎn)對(duì)準(zhǔn)地捕獲場(chǎng)景。
許多成像應(yīng)用遭受用于采集光的器件(透鏡)的像差。這種像差可包括例如 球面像差、色差、畸變、光場(chǎng)彎曲、斜像散、以及彗形像差。對(duì)像差的校正一般涉 及使用校正光學(xué)部件，此時(shí)易于向成像裝置添加體積、支出和重量。在諸如相機(jī)電 話和安全相機(jī)的一些得益于小型光學(xué)部件的應(yīng)用中，與應(yīng)用相關(guān)聯(lián)的物理限制不期 望包括附加光學(xué)部件。與以上相關(guān)聯(lián)的困難已對(duì)包括涉及數(shù)字圖像的獲取和改變的圖像應(yīng)用提出了 挑戰(zhàn)。
發(fā)明內(nèi)容
本發(fā)明涉及克服與成像裝置及其實(shí)現(xiàn)相關(guān)的上述挑戰(zhàn)和其它挑戰(zhàn)。本發(fā)明在 許多實(shí)現(xiàn)和應(yīng)用中例示，其中一部分將在下文中概述。
根據(jù)本發(fā)明的一示例實(shí)施方式，用表征被檢測(cè)光的方向信息來(lái)檢測(cè)該光。對(duì) 應(yīng)于再聚焦圖像和經(jīng)校正圖像之一或兩者，方向信息與被檢測(cè)光一起用來(lái)產(chǎn)生虛 像。
根據(jù)本發(fā)明的另一示例實(shí)施方式，對(duì)在場(chǎng)景中不同焦深的兩個(gè)或多個(gè)目標(biāo)進(jìn) 行成像，其中將場(chǎng)景的對(duì)應(yīng)于各個(gè)目標(biāo)的部分成像在不同的焦平面。來(lái)自場(chǎng)景的光
在一物理焦平面上聚焦并與表征方向的信息一起被檢測(cè)，其中該光從該方向到達(dá)物 理焦平面上的特定位置。對(duì)于位于未聚焦在物理焦平面上的景深的至少一個(gè)目標(biāo)， 確定與物理焦平面不同的虛焦平面。使用被檢測(cè)光及其方向特性，光的對(duì)應(yīng)于虛焦 平面上至少一個(gè)目標(biāo)的聚焦圖像的部分被采集并累加以形成該至少一個(gè)目標(biāo)的虛 聚焦圖像。
根據(jù)本發(fā)明再一示例實(shí)施方式，對(duì)場(chǎng)景進(jìn)行數(shù)字成像。對(duì)傳輸?shù)浇蛊矫嫔喜?同位置的來(lái)自場(chǎng)景的光進(jìn)行檢測(cè)，并對(duì)在焦平面上不同位置檢測(cè)到的光的入射角進(jìn) 行檢測(cè)。被檢測(cè)光所源自的場(chǎng)景部分的景深被檢測(cè)，并與所確定的入射角一起用于 對(duì)被檢測(cè)光進(jìn)行數(shù)字化重新排列。取決于應(yīng)用，重新排列包括再聚焦和/或校正透 鏡像差。
本發(fā)明的以上歸納并不旨在描述本發(fā)明的各個(gè)示出實(shí)施方式或每個(gè)實(shí)現(xiàn)。下 文的附圖和詳細(xì)描述更具體地例示了這些實(shí)施方式。
考慮到下文中與附圖相關(guān)的本發(fā)明的各個(gè)實(shí)施方式的詳細(xì)描述，可更透徹地 理解本發(fā)明，在附圖中
圖1是根據(jù)本發(fā)明一示例實(shí)施方式的光線捕捉和處理裝置；
圖2是根據(jù)本發(fā)明另一示例實(shí)施方式的光學(xué)成像裝置；
圖3是根據(jù)本發(fā)明又一示例實(shí)施方式的圖像處理的過(guò)程流程圖4是根據(jù)本發(fā)明另一示例實(shí)施方式的用于產(chǎn)生預(yù)覽圖像的過(guò)程流程圖；圖5是根據(jù)本發(fā)明又一示例實(shí)施方式的用于處理和壓縮圖像數(shù)據(jù)的過(guò)程流程
圖6是根據(jù)本發(fā)明另一示例實(shí)施方式的用于圖像合成的過(guò)程流程圖； 圖7是根據(jù)本發(fā)明又一示例實(shí)施方式的用于圖像再聚焦的過(guò)程流程圖； 圖8是根據(jù)本發(fā)明另一示例實(shí)施方式的用于延伸圖像中景深的過(guò)程流程圖； 圖9是根據(jù)本發(fā)明又一示例實(shí)施方式的用于延伸圖像中景深的另一方法的過(guò) 程流程圖10示出根據(jù)本發(fā)明另一示例實(shí)施方式的分離光線的一個(gè)示例方法；
圖11示出根據(jù)本發(fā)明又一示例實(shí)施方式的將傳感器像素位置映射到相對(duì)于所
采集數(shù)據(jù)的L(u， v, s, t)空間中光線的方法；
圖12示出根據(jù)本發(fā)明另一示例實(shí)施方式的再聚焦在不同深度的若干圖像；
圖13A示出根據(jù)本發(fā)明又一示例實(shí)施方式的2D成像配置；
圖13B示出根據(jù)本發(fā)明另一示例實(shí)施方式的總計(jì)成一個(gè)像素的來(lái)自一個(gè)3D
點(diǎn)的光線錐；
圖14A-14C示出根據(jù)本發(fā)明又一示例實(shí)施方式的計(jì)算具有不同景深的圖像的
方法；
圖15示出根據(jù)本發(fā)明另一示例實(shí)施方式的跟蹤來(lái)自虛膠片平面上的一個(gè)3D 點(diǎn)的光線的方法；
圖16示出根據(jù)本發(fā)明又一示例實(shí)施方式的得到光的值的方法；
圖17A示出根據(jù)本發(fā)明另一示例實(shí)施方式的理想512x512相片；
圖17B示出根據(jù)本發(fā)明又一示例實(shí)施方式的用f/2雙凸球面透鏡產(chǎn)生的圖像；
圖17C示出根據(jù)本發(fā)明另一示例實(shí)施方式的使用圖像校正方法計(jì)算的圖像；
圖18A-18C示出根據(jù)本發(fā)明又一示例實(shí)施方式的跟蹤彩色成像系統(tǒng)中共用的
光線；
圖19A-19F示出根據(jù)本發(fā)明另一示例實(shí)施方式的實(shí)現(xiàn)鑲嵌陣列的方法； 圖20是根據(jù)本發(fā)明又一示例實(shí)施方式在傅立葉域中再聚焦的計(jì)算方法的過(guò)程 流程圖21A示出根據(jù)本發(fā)明另一示例實(shí)施方式的三角濾波方法； 圖21B示出根據(jù)本發(fā)明又一示例實(shí)施方式的三角濾波方法的傅立葉變換； 圖22是根據(jù)本發(fā)明另一示例實(shí)施方式的在頻域中再聚焦的方法的流程圖； 圖23示出根據(jù)本發(fā)明又一示例實(shí)施方式的通過(guò)期望焦點(diǎn)的光線集合；圖24A-B示出根據(jù)本發(fā)明另一示例實(shí)施方式的微透鏡陣列的一部分的不同視
圖24C示出根據(jù)本發(fā)明又一示例實(shí)施方式的在光傳感器上出現(xiàn)的圖像； 圖25示出本發(fā)明一示例實(shí)施方式，其中虛像被計(jì)算成就像它出現(xiàn)在虛膠片上； 圖26示出根據(jù)本發(fā)明另一示例實(shí)施方式的操縱虛透鏡平面的方法； 圖27示出根據(jù)本發(fā)明又一示例實(shí)施方式虛膠片可釆用任何形狀； 圖28示出根據(jù)本發(fā)明另一示例實(shí)施方式的成像裝置；
圖29是根據(jù)本發(fā)明又一示例實(shí)施方式的預(yù)計(jì)算與各個(gè)輸出圖像像素和各個(gè)光 線傳感器值相關(guān)聯(lián)的權(quán)重?cái)?shù)據(jù)庫(kù)的過(guò)程流程圖30是根據(jù)本發(fā)明另一示例實(shí)施方式的使用權(quán)重?cái)?shù)據(jù)庫(kù)計(jì)算輸出圖像的過(guò)程 流程圖31A-D示出根據(jù)本發(fā)明又一示例實(shí)施方式的作為虛光圈函數(shù)選擇性實(shí)現(xiàn)的 各種標(biāo)量函數(shù)；
圖32示出根據(jù)本發(fā)明另一示例實(shí)施方式的逐個(gè)像素變化的虛光圈函數(shù)；
圖33是根據(jù)本發(fā)明又一示例實(shí)施方式的用戶選擇輸出圖像的一個(gè)區(qū)域、編輯
一圖像部分并保存輸出圖像的過(guò)程流程圖34是根據(jù)本發(fā)明另一示例實(shí)施方式的用于延伸圖像中景深的流程圖；以及 圖35是根據(jù)本發(fā)明又一示例實(shí)施方式的用于根據(jù)接收到的光線傳感器數(shù)據(jù)計(jì)
算經(jīng)再聚焦圖像的過(guò)程流程圖。
雖然本發(fā)明易于具有各種變體和其它形式，但是其細(xì)節(jié)通過(guò)示例在附圖中示
出并將詳細(xì)描述。然而，應(yīng)該理解，并非旨在將本發(fā)明限制于所述的特定實(shí)施方式。
相反，本發(fā)明涵蓋落在本發(fā)明的精神和范圍內(nèi)的所有變體、等效方案和替換方案。
詳細(xì)描述
相信本發(fā)明對(duì)各種不同類型的裝置有用，且發(fā)現(xiàn)本發(fā)明尤其適用于電子成像 裝置和應(yīng)用。雖然本發(fā)明不必受限于這種應(yīng)用，但是通過(guò)使用上下文討論各種示例， 可以理解本發(fā)明的各個(gè)方面。
根據(jù)本發(fā)明的一示例實(shí)施方式，使用涉及確定到達(dá)位于焦平面的傳感器的光 的量和方向的方法來(lái)檢測(cè)四維(4D)光場(chǎng)(例如沿諸如自由空間的區(qū)域中每條光 線傳播)。對(duì)焦平面中光的二維位置與表征方向的信息一起進(jìn)行檢測(cè)，其中該光從 該方向到達(dá)平面上的特定位置。使用該方法，到達(dá)傳感器上不同位置的定向照明分布被確定并用于形成圖像。在本文的各種討論中，實(shí)現(xiàn)用于感測(cè)和/或測(cè)量光場(chǎng)的 組件或多個(gè)組件被稱為"光線傳感器"或"射線傳感器"。
在一應(yīng)用中，使用具有對(duì)入射到成像平面上的光線空間進(jìn)行采樣的光學(xué)部件 和傳感器的成像系統(tǒng)來(lái)實(shí)現(xiàn)與上文類似的方法，該成像系統(tǒng)具有以不同方法從測(cè)量 光線集合呈現(xiàn)圖像的計(jì)算功能。取決于實(shí)現(xiàn)，組合或單獨(dú)地使用不同的方法來(lái)實(shí)現(xiàn) 光學(xué)部件、傳感器和計(jì)算功能。例如，具有將圖像聚焦在位于成像平面的光傳感器 陣列(多個(gè)傳感器)上的透鏡(光學(xué)部件)的相機(jī)可用于對(duì)光線空間進(jìn)行采樣。從 光傳感器陣列的輸出與計(jì)算功能(例如在相機(jī)內(nèi)部和/或外部的處理器上) 一起用 來(lái)呈現(xiàn)圖像，諸如通過(guò)計(jì)算聚焦在不同深度或具有不同景深的相片，和/或通過(guò)計(jì) 算校正透鏡像差以產(chǎn)生更高質(zhì)量的圖像。
在另一示例實(shí)施方式中，成像系統(tǒng)的光學(xué)部件和傳感器部件將光線傳導(dǎo)在傳 感器元件上，使各個(gè)傳感器元件感測(cè)包括從特定方向發(fā)散的光線的光線集合。在許 多應(yīng)用中，該光線集合是在空間和方向上局域化的一束光線。對(duì)于許多應(yīng)用，該束 光線隨著光學(xué)部件和傳感器分辨率增加而匯聚成單個(gè)幾何光線。這樣，本文中的不 同描述部分將由傳感器元件感測(cè)的值稱為"光射線"或"光線"或簡(jiǎn)單地"射線"， 即使通常它們并不局限于幾何光線。
現(xiàn)在參照附圖，圖28示出根據(jù)本發(fā)明另一示例實(shí)施方式的成像裝置2890。該 成像裝置2890包括主透鏡2810，以及對(duì)到達(dá)傳感器上不同位置并來(lái)自不同入射方 向的光的值進(jìn)行測(cè)量的光線傳感器。在本文的上下文中，可通過(guò)檢測(cè)到達(dá)傳感器上 不同位置的光以及諸如強(qiáng)度的光的特性來(lái)產(chǎn)生數(shù)值，以實(shí)現(xiàn)對(duì)光的值的測(cè)量。
圖1示出根據(jù)本發(fā)明另一實(shí)施方式的成像系統(tǒng)100。該成像系統(tǒng)IOO包括具有 主透鏡IIO、微透鏡陣列120和光傳感器陣列130的成像裝置190。在該情形中， 微透鏡陣列120和光傳感器陣列130實(shí)現(xiàn)一光線傳感器。雖然圖1示出一特定主透 鏡110 (單個(gè)元件)和特定微透鏡陣列120，但是本領(lǐng)域技術(shù)人員應(yīng)該意識(shí)到通 過(guò)例如替換所示出的主透鏡和/或微透鏡陣列，各種透鏡和/或微透鏡陣列(目前已 有或即將開(kāi)發(fā))可用類似的方法選擇性地實(shí)現(xiàn)。
來(lái)自成像場(chǎng)景中對(duì)象105上單個(gè)點(diǎn)的光線可到達(dá)微透鏡陣列120的焦平面上 的單個(gè)聚焦點(diǎn)。例如，當(dāng)對(duì)象105上成像點(diǎn)在距主透鏡與從微透鏡陣列到主透鏡的 距離共軛的距離處時(shí)，如圖所示距離"d"約等于距離"s"。在該匯聚點(diǎn)上的微透 鏡122將這些光線根據(jù)光的方向分開(kāi)，從而在微透鏡下的光傳感器上產(chǎn)生主透鏡 IIO的光圈的聚焦圖像。光傳感器陣列B0對(duì)入射到其上的光進(jìn)行檢測(cè)并產(chǎn)生通過(guò)一個(gè)或多個(gè)不同部
件處理的輸出。在本申請(qǐng)中，輸出光數(shù)據(jù)被傳遞到傳感器數(shù)據(jù)處理電路140，該電
路使用該數(shù)據(jù)以及關(guān)于提供數(shù)據(jù)的各個(gè)光傳感器的位置信息來(lái)產(chǎn)生場(chǎng)景(例如包括
對(duì)象105、 106和107)的圖像。傳感器數(shù)據(jù)處理電路140用例如計(jì)算機(jī)或在共用 部件(例如芯片)或不同部件中實(shí)現(xiàn)的其它處理電路實(shí)現(xiàn)。在一實(shí)現(xiàn)中，傳感器數(shù) 據(jù)處理電路140的一部分在成像裝置190中實(shí)現(xiàn)，而另一部分在外部計(jì)算機(jī)中實(shí)現(xiàn)。 使用檢測(cè)光(以及例如檢測(cè)光的特性)以及到達(dá)微透鏡陣列的光的已知入射方向(如 使用各個(gè)光傳感器的已知位置計(jì)算的)，在形成圖像時(shí)傳感器數(shù)據(jù)處理電路140選 擇性地再聚焦和/或校正光數(shù)據(jù)(其中再成像可校正)。以下參照或不參照其它附圖 詳細(xì)描述處理被檢測(cè)光數(shù)據(jù)的各種方法。這些方法可用與以上一致的傳感器數(shù)據(jù)處 理電路140選擇性地實(shí)現(xiàn)。
成像系統(tǒng)100的不同部分取決于特定應(yīng)用而在共用或單獨(dú)的物理裝置中選擇 性地實(shí)現(xiàn)。例如，當(dāng)用各種應(yīng)用實(shí)現(xiàn)時(shí)，微透鏡陣列120和光傳感器陣列130可組 合成一共用裝置180。在一些應(yīng)用中，微透鏡陣列120和光傳感器陣列130在共用 芯片或其它電路裝置上耦合在一起。當(dāng)用諸如類似相機(jī)裝置的手持式裝置實(shí)現(xiàn)時(shí)， 主透鏡110、微透鏡陣列120和光傳感器陣列130選擇性地組合成與手持式裝置集 成的共用成像裝置l卯中。此外，某些應(yīng)用涉及在具有光傳感器陣列130的共用電 路裝置中(例如在共用芯片上)實(shí)現(xiàn)傳感器數(shù)據(jù)處理電路140的部分或全部。
在一些應(yīng)用中，成像裝置100包括用于向捕捉圖像的用戶呈現(xiàn)預(yù)覽圖像的預(yù) 覽裝置150。該預(yù)覽裝置被通信耦合，以接收來(lái)自光傳感器陣列130的圖像數(shù)據(jù)。 預(yù)覽處理器160處理該圖像數(shù)據(jù)以產(chǎn)生在預(yù)覽屏幕170上顯示的預(yù)覽圖像。在一些 應(yīng)用中，預(yù)覽處理器160與圖像傳感器180 —起在共用芯片上和/或共用電路中實(shí) 現(xiàn)。在如上所述傳感器數(shù)據(jù)處理電路140與光傳感器陣列130 —起實(shí)現(xiàn)的應(yīng)用中， 預(yù)覽處理器160用傳感器數(shù)據(jù)處理電路140選擇性地實(shí)現(xiàn)，其中光傳感器陣列130 采集的圖像數(shù)據(jù)的部分或全部用于產(chǎn)生預(yù)覽圖像。
使用與用于產(chǎn)生最終圖像的相比相對(duì)較少的計(jì)算功能和/或更少的數(shù)據(jù)可產(chǎn)生 預(yù)覽圖像。例如，當(dāng)用諸如相機(jī)或手機(jī)的手持式成像裝置實(shí)現(xiàn)時(shí)，不實(shí)現(xiàn)任何聚焦 或透鏡校正的預(yù)覽圖像就足夠。這樣，期望實(shí)現(xiàn)相對(duì)便宜和/或較小的處理電路以 產(chǎn)生預(yù)覽圖像。在這些應(yīng)用中，預(yù)覽處理器通過(guò)例如使用上述第一延伸景深計(jì)算方 法，以相對(duì)較低的計(jì)算成本和/或使用更少的數(shù)據(jù)來(lái)產(chǎn)生圖像。
取決于應(yīng)用，成像系統(tǒng)100可用各種方式實(shí)現(xiàn)。例如，雖然微透鏡陣列120
9作為示例被示為具有若干可分辨微透鏡，但是該陣列通常使用多個(gè)(例如幾千、幾
百萬(wàn))微透鏡實(shí)現(xiàn)。光傳感器陣列130通常包括比微透鏡陣列120相對(duì)更精細(xì)的間 距，其中對(duì)于微透鏡陣列120中的各個(gè)微透鏡存在若干光傳感器。此外，微透鏡陣 列120中的微透鏡和光傳感器陣列130中的光傳感器通常定位成通過(guò)各個(gè)微透鏡傳 播到光傳感器陣列的光不與傳播通過(guò)相鄰微透鏡的光交疊。
在不同應(yīng)用中，主透鏡110沿其光軸平移(如圖l所示在水平方向)，以聚焦 在位于由主透鏡和示例成像目標(biāo)105之間例示的期望深度"d"的感興趣目標(biāo)上。 通過(guò)示例，為討論目的示出來(lái)自目標(biāo)105上單個(gè)點(diǎn)的光線。這些光線傳輸?shù)轿⑼哥R 陣列120焦平面上的微透鏡122處的單個(gè)匯聚點(diǎn)。微透鏡122根據(jù)方向分開(kāi)這些光 線，從而在微透鏡下的像素陣列中像素集132上產(chǎn)生主透鏡110光圈的聚焦圖像。 圖10示出一示例方法，該方法分開(kāi)光線使得從主透鏡1010上的-一個(gè)點(diǎn)發(fā)散并到達(dá) 同一微透鏡(例如1022)的表面上任何位置的所有光線由該微透鏡傳導(dǎo)以匯聚在 光傳感器(例如1023)上的同一點(diǎn)。圖10中示出的該方法可例如與圖1相關(guān)地實(shí) 現(xiàn)(即用主透鏡1010實(shí)現(xiàn)主透鏡110、用微透鏡陣列1020實(shí)現(xiàn)微透鏡陣列120、 以及用光傳感器陣列1030實(shí)現(xiàn)光傳感器陣列130)。
在微透鏡陣列122中特定微透鏡下形成的圖像表示系統(tǒng)對(duì)于成像平面上該位 置的方向分辨率。在一些應(yīng)用中，通過(guò)使微透鏡聚焦在主透鏡的主平面而有助于銳 化微透鏡圖像來(lái)增強(qiáng)方向分辨率。在某些應(yīng)用中，微透鏡比微透鏡陣列與主透鏡 110之間的間隔至少小兩個(gè)量級(jí)。在這些應(yīng)用中，主透鏡110在微透鏡的光學(xué)無(wú)限 距離(optical infinity)處有效；為了聚焦微透鏡，將光傳感器陣列130置于位于微 透鏡焦深處的平面內(nèi)。
主透鏡110與微透鏡陣列120之間的間隔"s"選擇成在微透鏡景深內(nèi)實(shí)現(xiàn)銳 化圖像。在許多應(yīng)用中，該間隔精確到約Axy (/;/AxJ內(nèi)，其中Axp是傳感器像素 的寬度，/w是微透鏡的焦深且A^是微透鏡的寬度。在一特定應(yīng)用中，A&為約9 微米，厶為約500微米且A^為約125微米，且微透鏡陣列120與光傳感器陣列 130之間的間隔精確到約36微米。
使用各個(gè)微透鏡的一個(gè)或多個(gè)及其配置實(shí)現(xiàn)微透鏡陣列120。在一示例實(shí)施方 式中，具有潛在空間變化性質(zhì)的微透鏡平面被用作微透鏡陣列120。例如，微透鏡 陣列可包括均勻和/或不均勻、正方形外延或非正方形外延、有規(guī)律分布或無(wú)規(guī)律 分布、以及在可重復(fù)或不可重復(fù)的圖案內(nèi)的透鏡，以及可任選地遮擋的部分。微透 鏡自身可以是凸面、非凸面，或者具有任意外形以實(shí)現(xiàn)光的期望物理方向，且外形可隨平面上的微透鏡逐個(gè)地變化。可選擇性地組合不同的分布和透鏡外形。這些不 同實(shí)施方式提供在陣列的一些區(qū)域空間較高(相應(yīng)地較低的角度)、而在其它區(qū)域 角度較高(相應(yīng)地較低的空間)采樣圖案。這種數(shù)據(jù)的一種用途是便于插值以匹配 4D空間中的期望空間和角度分辨率。
圖24A示出根據(jù)本發(fā)明另一示例實(shí)施方式的微透鏡陣列的一部分的視圖(視 線垂直于平面)。微透鏡是正方形的并有規(guī)律地分布在陣列中。
圖24B示出根據(jù)本發(fā)明另一示例實(shí)施方式的微透鏡陣列的一部分的視圖。微 透鏡平面分布是沒(méi)有規(guī)律或不重復(fù)的，且微透鏡為任意形狀。
圖24C示出與本發(fā)明的另一示例實(shí)施方式相關(guān)的、通過(guò)使用如圖24A所示具 有凸面外形的分布和具有圓形光圈的主透鏡，在光傳感器上出現(xiàn)的圖像。
在其它示例實(shí)施方式中，使用較大和較小的微透鏡的常規(guī)鑲嵌。在一實(shí)現(xiàn)中， 對(duì)得到的光傳感器數(shù)據(jù)進(jìn)行插值以提供具有鑲嵌中一個(gè)或多個(gè)微透鏡的最大空間 和角度分辨率的均勻采樣。
圖19A-19F示出與本發(fā)明的一個(gè)或多個(gè)示例實(shí)施方式相關(guān)地、實(shí)現(xiàn)諸如上述 鑲嵌陣列的方法。圖19A是示出多個(gè)微透鏡的示例相關(guān)尺寸和排列的俯視平面圖。 圖19B是通過(guò)圖19A中的各個(gè)微透鏡投射之后在光傳感器陣列上形成的圖像形狀 的視圖。圖19C是圖19A中陣列的橫截面圖，示出了微透鏡具有相同的光圈值 (/-number)且其焦點(diǎn)在同一平面上。這需要較小的微透鏡比較大的微透鏡放置成 更靠近焦平面。這導(dǎo)致出現(xiàn)在各個(gè)微透鏡后的主透鏡圖像較大卻無(wú)重疊，且聚焦在 置于包含焦點(diǎn)的平面處的光傳感器上。
圖19D示出根據(jù)本發(fā)明的另一示例實(shí)施方式的在包含主透鏡1910、鑲嵌微透 鏡陣列1920和光傳感器裝置1930的完整成像裝置中實(shí)現(xiàn)的圖19A和19C中所示 微透鏡的橫截面圖。注意，雖然附圖示為有若干個(gè)微透鏡以及每個(gè)微透鏡有若干像 素，但是微透鏡和像素的實(shí)際數(shù)目可用不同方法選擇，諸如通過(guò)確定給定應(yīng)用的分 辨率要求并實(shí)現(xiàn)每個(gè)的適當(dāng)數(shù)目。
圖19E是表示從主透鏡1910上的u開(kāi)始、并在微透鏡陣列1920上的s結(jié)束 的光線空間的笛卡爾光線圖(雖然光線空間是4D的，但是為清楚起見(jiàn)，光線空間 被示為2D)。由圖19D所示的各個(gè)光傳感器(標(biāo)識(shí)為A-P)求和的光線集合在圖 19E中的笛卡爾光線圖示出。在完全的4D光線空間中，各個(gè)光傳感器結(jié)合4D光 線盒。與較小的微透鏡下的光傳感器相比，較大的微透鏡下的光傳感器4D盒在(u, v)方向軸具有一半的寬度(兩倍的分辨率)，而在(x，y)空間軸具有兩倍的寬度倍的寬度(一半的分辨率)。
在另一示例實(shí)施方式中，光傳感器值被插值到規(guī)則網(wǎng)格中，使所有軸中的分 辨率與所有軸中的最大分辨率匹配。圖19F示出這種方法，其中通過(guò)插值附近盒
值對(duì)表示各個(gè)光傳感器值的光線盒進(jìn)行分割。在所示的2D光線空間中，每個(gè)盒被 分成兩個(gè)，但是在4D空間中，每個(gè)盒被分成四個(gè)(沿其兩條較長(zhǎng)邊的每條一分為 二)。在一些實(shí)施方式中，經(jīng)插值的值通過(guò)分析鄰近值來(lái)計(jì)算。在另一實(shí)施方式中， 插值實(shí)現(xiàn)為期望值鄰域的初始、未分割盒的值的加權(quán)和。
在一些應(yīng)用中，以取決于基于鄰域中值的判定函數(shù)的方式實(shí)現(xiàn)加權(quán)。例如， 加權(quán)可沿在4D函數(shù)空間中最不可能包含邊緣的軸插值。該值附近的邊緣的可能性 可根據(jù)在這些位置處函數(shù)值的梯度大小以及該函數(shù)的拉普拉斯算子成分估計(jì)。
在另一示例實(shí)施方式中，各個(gè)微透鏡(例如在圖19D中的陣列1920或類似的 中)向內(nèi)傾斜使它們的光軸都以主透鏡的光圈為中心。該方法減小了在微透鏡下向 陣列的邊緣形成的圖像中的像差。
再次參照?qǐng)D1，主透鏡110和微透鏡陣列120中微透鏡的光圈尺寸(例如透鏡 中開(kāi)口的有效尺寸)也選擇成適于其中實(shí)現(xiàn)成像配置100的特殊應(yīng)用。在許多應(yīng)用 中，相對(duì)光圈尺寸被選擇成所采集的圖像在不重疊的情況下盡可能地大(即，從而 光不會(huì)不合需要地重疊在相鄰光傳感器上)。該方法通過(guò)匹配主透鏡和微透鏡的光 圈值(聚焦比數(shù)，即透鏡的光圈與有效焦距的比值)。在此情形中，以光圈值表示 的主透鏡110的有效焦距是主透鏡光圈的直徑與主透鏡110和微透鏡陣列120之間 的距離"s"之間的比值。在其中主透鏡110的主平面相對(duì)于微透鏡陣列120所在 的平面平移的應(yīng)用中，選擇性地更改主透鏡的光圈以保持微透鏡陣列中各個(gè)微透鏡 下形成的圖像的比率以及因而尺寸。在一些應(yīng)用中，諸如正方形光圈的不同主透鏡 光圈形狀用于實(shí)現(xiàn)期望的(例如有效的)微透鏡陣列下光傳感器表面上的圖像陣列 包。
以下討論與本發(fā)明的一個(gè)和多個(gè)示例實(shí)施方式相關(guān)地涉及圖1的成像裝置 100的普通應(yīng)用。考慮成像裝置100內(nèi)的兩平面(two-plane)光場(chǎng)"L"， L(u,v,s,t)表 示沿與主透鏡110在(u, v)相交、且與微透鏡陣列12的平面在(s, t)相交的光 線傳播的光。假設(shè)微透鏡陣列120中的理想微透鏡和光傳感器陣列130中對(duì)齊網(wǎng)格 上的理想光傳感器(例如像素)，傳輸?shù)焦鈧鞲衅鞯乃泄庖矀鬏斖ㄟ^(guò)微透鏡陣列 120中的其正方形母微透鏡，并傳輸通過(guò)主透鏡110上光傳感器的共軛正方形。主 透鏡110和微透鏡上的這兩個(gè)正方形區(qū)域指定光場(chǎng)中小的四維盒，且光傳感器測(cè)量由該盒表示的光線集合中光的總量。相應(yīng)地，各個(gè)光傳感器檢測(cè)光場(chǎng)中的這種四維
盒，因此由光傳感器陣列130檢測(cè)的光場(chǎng)是L(u，v,s，t)的盒過(guò)濾、直線采樣。
圖11示出根據(jù)本發(fā)明另一示例實(shí)施方式的將傳感器像素位置映射到相對(duì)于所 采集數(shù)據(jù)的L(u，v，s，t)空間中光線的方法。圖11所示的和本文討論的方法可以例如 用于圖1，其中光傳感器陣列130中的各個(gè)光傳感器對(duì)應(yīng)于傳感器像素。右下角的 圖像1170是從光線傳感器(光傳感器)1130讀取的原始數(shù)據(jù)的下采樣 (downsample)，并具有在一圓形微透鏡下形成的被圈出的圖像1150。左下角的圖 像1180是圍繞被圈出微透鏡圖像1150的原始數(shù)據(jù)部分的放大表示，其中一個(gè)光傳 感器值1140在微透鏡內(nèi)圈出。由于該圓形圖像1150是透鏡光圈的圖像，因此盤內(nèi) 所選像素的位置提供主透鏡上所示光線110起始位置的(u,v)坐標(biāo)。傳感器圖像 1170內(nèi)微透鏡圖像1150的位置提供光線1120的(x，y)坐標(biāo)。
雖然相對(duì)于附圖(以及其它示例實(shí)施方式)討論了傳感器元件到光線的映射， 但與各個(gè)傳感器元件相關(guān)聯(lián)的值選擇性地由傳輸通過(guò)光學(xué)部件到達(dá)各個(gè)特定傳感 器元件的光線集合的值來(lái)表示。因此在圖1的環(huán)境中，光傳感器陣列中的各個(gè)光傳 感器可被實(shí)現(xiàn)，以提供表示傳輸通過(guò)主透鏡110和微透鏡陣列120到達(dá)光傳感器的 光線集合的值。目卩，各個(gè)光傳感器響應(yīng)于入射到光傳感器上的光產(chǎn)生輸出，且各個(gè) 光傳感器相對(duì)于微透鏡陣列120的位置用于提供關(guān)于入射光的方向信息。
在一示例實(shí)施方式中，微透鏡陣列120的分辨率被選擇成匹配特定應(yīng)用中最 終圖像的期望分辨率。光傳感器陣列130的分辨率被選擇成使各個(gè)微透鏡按需覆蓋 盡可能多的光傳感器，以匹配該應(yīng)用的期望方向分辨率，或者可實(shí)現(xiàn)的光傳感器的 最好分辨率。這樣，考慮到諸如成像類型、成本、復(fù)雜性和用于達(dá)到特定分辨率的 可用設(shè)備，成像系統(tǒng)IOO (以及本文討論的其它系統(tǒng))的分辨率選擇性地調(diào)整成適 于特定應(yīng)用。
一旦圖像數(shù)據(jù)經(jīng)由光學(xué)部件和傳感器(例如使用圖1中的成像裝置190)捕獲， 就可實(shí)現(xiàn)多種計(jì)算功能和裝置以選擇性地處理圖像數(shù)據(jù)。在本發(fā)明的一示例實(shí)施方 式中，不同的光傳感器集合捕捉來(lái)自各個(gè)微透鏡的分開(kāi)光線、并將關(guān)于所捕獲光線 的信息傳送到諸如處理器的計(jì)算部件。場(chǎng)景的圖像根據(jù)所測(cè)量的光線集合計(jì)算。
在圖1的環(huán)境中，實(shí)現(xiàn)傳感器數(shù)據(jù)處理電路140以處理圖像數(shù)據(jù)并計(jì)算包括 目標(biāo)105、 106和107的場(chǎng)景圖像。在一些應(yīng)用中，也實(shí)現(xiàn)預(yù)覽裝置150以用預(yù)覽 處理器160產(chǎn)生預(yù)覽圖像，其中預(yù)覽圖像顯示在預(yù)覽屏幕170上。預(yù)覽處理器160 選擇性地通過(guò)傳感器數(shù)據(jù)處理電路140實(shí)現(xiàn)，其中以例如與以下討論的方法一致的方式產(chǎn)生預(yù)覽圖像。
在另一實(shí)施方式中，對(duì)于從傳感器裝置輸出的圖像中的各個(gè)像素，計(jì)算部件 對(duì)測(cè)量光束的子集進(jìn)行加權(quán)并求和。此外，計(jì)算部件可對(duì)例如使用圖像合成方法以 上述方式計(jì)算的圖像集合進(jìn)行分析和組合。雖然本發(fā)明不必限于這種應(yīng)用，但本發(fā) 明的各個(gè)方面可通過(guò)對(duì)這種計(jì)算部件的若干具體示例實(shí)施方式的討論來(lái)理解。
與各個(gè)示例實(shí)施方式相關(guān)，圖像數(shù)據(jù)處理涉及再聚焦正在捕捉的圖像的至少
一部分。在一些實(shí)施方式中，輸出圖像根據(jù)聚焦于特定場(chǎng)景的期望元素上的照片產(chǎn)
生。在一些實(shí)施方式中，經(jīng)計(jì)算的照片被聚焦于全域(場(chǎng)景)的特定期望深度，且 散焦模糊與常規(guī)相片一樣隨著遠(yuǎn)離期望深度而增加。不同焦深可選擇成對(duì)場(chǎng)景中不
同目標(biāo)聚焦。
圖12示出再聚焦在不同深度、從根據(jù)本發(fā)明另一示例實(shí)施方式測(cè)量的單個(gè)光
場(chǎng)計(jì)算的若干圖像1200-1240。圖12所示的方法可例如使用諸如如圖1所示的成 像裝置實(shí)現(xiàn)。
圖13A和13B根據(jù)本發(fā)明另一示例實(shí)施方式示出再聚焦方法。該方法可例如 通過(guò)諸如圖1中傳感器數(shù)據(jù)處理電路140的成像系統(tǒng)的計(jì)算/處理部件來(lái)實(shí)現(xiàn)。來(lái) 自成像裝置的各個(gè)輸出像素(例如1301)對(duì)應(yīng)于虛膠片平面1310上的三維(3D) 點(diǎn)(例如1302)。該虛膠片平面1310位于主透鏡1330之后，其中該平面1310與 全域(未示出)中的期望焦平面光學(xué)共軛。S卩，虛膠片平面1310位于這樣的位置 膠片平面期望定位在此位置以捕捉簡(jiǎn)單二維(2D)圖像(例如該位置可與照片膠 片對(duì)常規(guī)相機(jī)定位以捕獲2D圖像的位置相比)。通過(guò)按方向分離光(例如使用圖1 的微透鏡陣列120)，可選擇性地計(jì)算到達(dá)虛膠片平面1310的光。這樣，輸出像素 1301的值可通過(guò)對(duì)匯聚在相應(yīng)3D點(diǎn)1302上的光線錐1320求和來(lái)計(jì)算。這些光線 的值可根據(jù)由光線傳感器1350采集的數(shù)據(jù)收集。為了査看簡(jiǎn)單，圖13A示出2D 的成像配置。在圖13B中，在更靠近主透鏡時(shí)使用所選全域焦深，為同一像素1301 對(duì)來(lái)自3D點(diǎn)1340的光線錐1330求和。
在一些實(shí)施方式中，所需光線值不與由光線傳感器捕獲的離散樣本位置精確 對(duì)應(yīng)。在一些實(shí)施方式中，光線值被估算為所選緊密樣本位置的加權(quán)和。在一些實(shí) 現(xiàn)中，該加權(quán)方法對(duì)應(yīng)于根據(jù)離散傳感器樣本重建連續(xù)四維光場(chǎng)的四維濾波器核 (filterkernel)。在一些實(shí)現(xiàn)中，該四維濾波器通過(guò)對(duì)應(yīng)于四維空間中16個(gè)最鄰近 樣本的四線性插值的四維帳篷函數(shù)(tent function)來(lái)實(shí)現(xiàn)。
圖35是根據(jù)本發(fā)明另一示例實(shí)施方式用于根據(jù)接收到的光線傳感器數(shù)據(jù)計(jì)算再聚焦圖像的流程圖。在框3520，從光線傳感器數(shù)據(jù)3510提取子光圈圖像集，其 中各個(gè)子光圈圖像由像素在其微透鏡下相同相對(duì)位置處的各個(gè)微透鏡圖像下的單 個(gè)像素組成。在框3530，組合子光圈圖像集以生成最終的輸出圖像。可任選地將 子光圈圖像彼此相對(duì)地平移并合成以使期望平面聚焦。
在另一示例實(shí)施方式中，與輸出圖像邊緣附近的像素相關(guān)聯(lián)的暗化得以減輕。 例如，對(duì)于輸出圖像邊緣附近的像素， 一些所需光線未被捕獲在測(cè)量光場(chǎng)中(它們 可超出諸如圖1中微透鏡陣列120和光傳感器陣列130的成像裝置的空間或方向邊 界)。對(duì)于該暗化是不期望的應(yīng)用中，像素值通過(guò)將與像素關(guān)聯(lián)的值(例如由光傳 感器陣列捕獲的)除以實(shí)際上在測(cè)量光場(chǎng)中找到的光的部分來(lái)歸一化。
如上所述，對(duì)不同的應(yīng)用選擇各種不同計(jì)算方法。以下討論闡述各種這樣的 方法。在一些應(yīng)用中，對(duì)附圖進(jìn)行參照，且在其它應(yīng)用中，對(duì)諸方法進(jìn)行一般地描 述。在各個(gè)這些應(yīng)用中，特定方法可使用諸如圖1所示的傳感器數(shù)據(jù)處理電路140 的計(jì)算型部件實(shí)現(xiàn)。
在另一示例實(shí)施方式中，特定成像系統(tǒng)的各個(gè)輸出像素的成像方法對(duì)應(yīng)于虛 相機(jī)模型，其中虛膠片被任意和/或選擇性地轉(zhuǎn)動(dòng)或變形、并且虛主透鏡光圈按需 相應(yīng)地移動(dòng)并改變其大小。作為示例，圖25示出一示例實(shí)施方式，其中如果虛像 己在被允許與物理主透鏡平面2510不一致的虛透鏡平面2530上任意大小的虛透鏡 光圈2520之后出現(xiàn)，則如同已出現(xiàn)在虛膠片2560上一樣地計(jì)算虛像。通過(guò)對(duì)傳輸 通過(guò)虛光圈2520并匯聚在點(diǎn)2550、根據(jù)其相交點(diǎn)和在光線傳感器2570上的入射 方向指定的光線求和來(lái)計(jì)算對(duì)應(yīng)于虛膠片2560上點(diǎn)2550的像素值。
圖26示出根據(jù)本發(fā)明另一示例實(shí)施方式的操縱虛透鏡平面的方法。虛透鏡平 面2630和/或虛膠片平面2660選擇性地相對(duì)物理主透鏡或其它基準(zhǔn)傾斜。使用該 方法計(jì)算的圖像具有與成像平面不平行的所得全域焦平面。
在另一示例實(shí)施方式中，如圖27中所例示，虛膠片2560無(wú)需為平面，而可 以采用任何形狀。
各種方法涉及不同光圈的選擇性實(shí)現(xiàn)。在一示例實(shí)施方式中，虛透鏡平面上 的虛光圈通常是圓孔，而在其它示例實(shí)施方式中，虛光圈通常是非圓形的和/或?qū)?現(xiàn)為具有任何形狀的多個(gè)不同區(qū)域。在這些或其它實(shí)施方式中，"虛光圈"的概念 可被一般化，而在一些應(yīng)用中，對(duì)應(yīng)于涉及光數(shù)據(jù)處理以對(duì)應(yīng)于可通過(guò)所選"虛" 光圈接收的光的方法。
在各個(gè)實(shí)施方式中，虛光圈方法通過(guò)虛透鏡平面上預(yù)定卻任意的函數(shù)實(shí)現(xiàn)。圖31A-31D示出結(jié)合一個(gè)或多個(gè)示例實(shí)施方式選擇性地實(shí)現(xiàn)為虛光圈函數(shù)的不同 標(biāo)量函數(shù)。各個(gè)函數(shù)包括例如平滑地變化值(如圖31B例示)、實(shí)現(xiàn)多個(gè)不同區(qū)域
(如圖31A例示)、以及采用負(fù)值(如圖31D例示)。為了計(jì)算虛膠片上點(diǎn)的值， 從虛透鏡上不同點(diǎn)出發(fā)并匯聚在虛膠片上的點(diǎn)的所有光線通過(guò)虛光圈函數(shù)加權(quán)并 求和。在各個(gè)其它實(shí)施方式中，最終值通過(guò)取決于光線值的任意計(jì)算函數(shù)來(lái)計(jì)算。 例如，計(jì)算函數(shù)可不對(duì)應(yīng)于通過(guò)虛光圈函數(shù)的加權(quán)，但可包含取決于對(duì)光線值計(jì)算 的測(cè)試函數(shù)值的不連續(xù)程序分支。
在其它示例實(shí)施方式中，由于可與本文所述的其它實(shí)施方式相結(jié)合地實(shí)現(xiàn)， 因此可獨(dú)立地選擇計(jì)算輸出像素的方法。例如，在一示例實(shí)施方式中，包括虛透鏡 平面的取向和虛光圈尺寸的參數(shù)對(duì)各個(gè)輸出像素連續(xù)地變化。在另一示例中，如圖 32所示，用于積分各個(gè)輸出像素的光線的虛光圈函數(shù)逐個(gè)像素地變化。在輸出圖 像3200中，像素3201使用虛光圈函數(shù)3210而像素3251使用虛光圈函數(shù)3250。 在另一示例實(shí)施方式中，虛光圈函數(shù)逐個(gè)像素地變化。在一具體實(shí)施例中， 將該函數(shù)選擇成遮擋掉來(lái)自特定場(chǎng)景不期望部分的光線，諸如前景中的不期望目 標(biāo)。
在又一示例實(shí)施方式中，用戶交互地選擇虛光圈參數(shù)，且根據(jù)該選擇處理光 數(shù)據(jù)。圖33是示出一個(gè)這樣的示例實(shí)施方式的過(guò)程流程圖。在第一框3310中，該 過(guò)程從光線傳感器接收數(shù)據(jù)。在框3320中，用戶選擇輸出圖像的區(qū)域；在框3330 中，用戶選擇圖像形成方法；而在框3340中，用戶更改所選方法的參數(shù)、并在視 覺(jué)上檢驗(yàn)在框3350計(jì)算的場(chǎng)景圖像(例如在計(jì)算機(jī)監(jiān)視器上)?？?360檢査用戶 是否對(duì)圖像部分完成了編輯以及是否返回到框3330?？?370檢査用戶是否對(duì)待編 輯的圖像部分完成了選擇以及是否返回到框3320。如果編輯完成，則框3380保存 最終的編輯圖像。
在另一示例實(shí)施方式中，通過(guò)同時(shí)對(duì)一個(gè)以上目標(biāo)聚焦來(lái)計(jì)算具有延伸景深 的圖像。在一實(shí)現(xiàn)中，輸出圖像的景深通過(guò)用縮小光圈(尺寸減小)的主透鏡光圈 的常規(guī)圖形成像而得到延伸。對(duì)于各個(gè)輸出像素，使用通過(guò)比在光線感測(cè)中使用的 光圈小的光圈(在虛透鏡平面上)會(huì)聚在輸出像素上的光線進(jìn)行求值。
在涉及圖1所示的示例系統(tǒng)100的一實(shí)現(xiàn)中，景深通過(guò)提取各個(gè)微透鏡圖像 下的光傳感器值而得到延伸，其中各個(gè)光傳感器置于各個(gè)微透鏡圖像內(nèi)相同的相對(duì) 位置。對(duì)于圖l，景深的延伸產(chǎn)生了一圖像，其中不僅目標(biāo)105在焦點(diǎn)上(由于距 離"d"和"s"之間的相關(guān)性)而且可能由于散焦而模糊的諸如對(duì)象106和107的在不同深度處的物體也在焦點(diǎn)上。與對(duì)所得圖像任選地下采樣相結(jié)合的延伸景深的 方法是計(jì)算有效的。該方法在其中隨圖像產(chǎn)生的噪聲可以忍受的應(yīng)用中被選擇性地
實(shí)現(xiàn)，例如其中所產(chǎn)生的圖像是為了預(yù)覽目的(例如用于在圖1的預(yù)覽屏幕170 上顯示)。以下討論的圖4進(jìn)一步涉及產(chǎn)生預(yù)覽圖像的方法。
圖14A和14B示出結(jié)合一個(gè)或多個(gè)示例實(shí)施方式計(jì)算具有不同景深的圖像的 方法。圖14A示出通過(guò)再聚焦計(jì)算的圖像和特寫(xiě)。注意到特寫(xiě)中的臉由于較淺的 景深而模糊。圖14B的中間行示出用諸如上一段落所述的延伸景深方法計(jì)算的最 終圖像。
圖8是根據(jù)本發(fā)明另一示例實(shí)施方式的延伸圖像中景深的另一計(jì)算方法的流 程圖。在框810中，再聚焦在特定場(chǎng)景所有焦深的一圖像集被再次聚焦。在框820， 對(duì)于各個(gè)像素，根據(jù)具有最高局域?qū)Ρ榷鹊囊粓D像集確定一個(gè)像素。在框830,具 有最高局域?qū)Ρ榷鹊南袼乇唤M成一最終虛像。使用該方法，使用相對(duì)大量的像素(例 如相對(duì)于為微透鏡陣列中的各個(gè)微透鏡選擇單個(gè)像素(光傳感器))可獲得期望的 信噪比(SNR)。參照?qǐng)D14C，所示的示例圖像是使用與結(jié)合圖8所述的相類似的 方法產(chǎn)生的，并呈現(xiàn)相對(duì)較低的圖像噪聲。
在一可選實(shí)施例中，按照各個(gè)再聚焦圖像的虛膠片平面與圖像的光傳輸?shù)教?膠片平面所經(jīng)由的主透鏡主平面之間的距離，待計(jì)算的再聚焦圖像的最小集合定義 如下。最小距離設(shè)定在主透鏡的焦距，而最大距離設(shè)定在場(chǎng)景中最近目標(biāo)的共軛深 度。各個(gè)虛膠片平面之間的間距不大于AxJ/A，其中Axm是微透鏡的寬度，/是主 透鏡和微透鏡陣列之間的間距，而A是透鏡光圈的寬度。
在另一示例實(shí)施方式中，多個(gè)再聚焦圖像被組合，以在各個(gè)最終像素處產(chǎn)生 延伸景深圖像來(lái)保留在再聚焦圖像集的任一個(gè)中最佳聚焦的像素。在另一實(shí)施方式 中，待保留的像素通過(guò)增強(qiáng)與鄰近像素的局域?qū)Ρ榷群拖喔尚詠?lái)進(jìn)行選擇。對(duì)于關(guān) 于成像的一般信息以及關(guān)于涉及增強(qiáng)局域?qū)Ρ榷鹊某上穹椒ǖ木唧w信息，可以參考 ACM Transaction on Graphics的2004年第23巻3號(hào)292-300頁(yè)，A. Agarwala、 M. Dontcheva、 M. Agrawala、 S. Drucker、 A. Colburn、 B. Curless、 D. Salesin、 M. Cohen 的"Interactive Digital Photomontage (交互數(shù)字圖片集錦)"，該文章通過(guò)應(yīng)用整體 結(jié)合于此。
在本發(fā)明的另一示例實(shí)施方式中，延伸景深圖像如下進(jìn)行計(jì)算。對(duì)于各個(gè)輸 出圖像像素，再聚焦計(jì)算在像素處進(jìn)行以在不同深度聚焦。在各個(gè)深度，計(jì)算匯聚 光線均一性的度量。選擇產(chǎn)生(相對(duì))最大均一性的深度并對(duì)該像素值保持該深度。使用該方法，在圖像像素焦點(diǎn)對(duì)準(zhǔn)時(shí)，所有其光線源自場(chǎng)景中的同一點(diǎn)，并因此有 可能具有類似的色彩和強(qiáng)度。
雖然可以用不同方法來(lái)定義均一性度量，但是對(duì)于許多應(yīng)用，使用如下均一 性度量對(duì)于各個(gè)光線的各個(gè)色彩分量，根據(jù)中心光束(以最靠近主透鏡光軸的角 度到達(dá)像素的光線)的相應(yīng)色彩分量計(jì)算色彩強(qiáng)度的方差。對(duì)所有這些方差求和， 并將均一性取為該和的倒數(shù)。
圖34是根據(jù)本發(fā)明另一示例實(shí)施方式的延伸圖像中景深的流程圖。在框
3410，在待計(jì)算的虛像中選擇像素。在框3420，將該像素再聚焦在多個(gè)焦距，并 計(jì)算組合成再聚焦在各個(gè)深度的光線的均一性。在框3430，與被組合光線的最大 均一性相關(guān)聯(lián)的再聚焦像素值被保留為最終輸出圖像像素值。該過(guò)程在框3440繼 續(xù)，直到所有像素被處理。
在另一示例實(shí)施方式中，上述過(guò)程被調(diào)整成使最終像素值的選擇考慮到相鄰 像素值、以及相組合來(lái)計(jì)算這些像素值的關(guān)聯(lián)光線的均一性。
在本發(fā)明又一示例實(shí)施方式中，景深通過(guò)將各個(gè)像素聚焦在該方向上最接近 物體的深度而得到延伸。圖9是根據(jù)一個(gè)這種示例實(shí)施方式的用于延伸圖像中景深 的流程圖。在框910，選擇待計(jì)算的最終虛像中的像素。在框920，對(duì)于從所選像 素通過(guò)透鏡中心傳輸進(jìn)入場(chǎng)景的光線(或光線集)，估算最近物體的深度。
在框930，在再聚焦于估算深度的圖像中計(jì)算所選像素的值。如果在框940 附加像素得到了預(yù)期地處理，則在框910選擇另一像素，且該過(guò)程在框920對(duì)新選 擇的像素繼續(xù)。當(dāng)沒(méi)有附加像素在框940得到預(yù)期地處理，則各個(gè)所選像素的計(jì)算 值用于建立最終虛像。
在一些涉及景深延伸的實(shí)施方式中，通過(guò)不考慮源自比期望物體的深度更近 的深度的光線以減輕或消除圍繞更靠近透鏡的物體邊緣的例如通常稱為"敷霜 (blooming)"或"光暈"的偽像(artifact)。作為示例，圖23示出傳輸通過(guò)感興 趣目標(biāo)2310上全域的期望焦點(diǎn)2301的光線集合。這些光線中的一部分被物體2320 從主透鏡阻斷，且這些光線對(duì)應(yīng)于由光線傳感器2350檢測(cè)到的、但是在計(jì)算點(diǎn)2301 的圖像值中不予考慮的光線2340。在一些實(shí)施方式中，得到的像素值通過(guò)除以不 予考慮的一部分光線而歸一化。這些實(shí)施方式可單獨(dú)地或者彼此結(jié)合地使用，以及 與包括涉及延伸景深的任何其它實(shí)施方式相結(jié)合使用。
如上所述，根據(jù)各個(gè)示例實(shí)施方式來(lái)處理光數(shù)據(jù)以聚焦和/或校正圖像。涉及 后校正方法的各種方法如下所述。在這些實(shí)施方式中的一些中，通過(guò)追蹤通過(guò)在捕獲光線時(shí)使用的光學(xué)部件的實(shí)際光學(xué)元件(例如透鏡或透鏡組)的光線，并將所追 蹤的光線映射到捕獲該光的特定光傳感器來(lái)校正像差。使用由光學(xué)部件展現(xiàn)的已知 缺陷以及檢測(cè)該光的傳感器的已知位置，光數(shù)據(jù)得以重新排列。
在一校正型實(shí)施方式中，對(duì)于合成相片的膠片上的各個(gè)像素計(jì)算貢獻(xiàn)于通過(guò) 理想化光學(xué)部件形成的各個(gè)像素的光線全域。在一實(shí)現(xiàn)中，通過(guò)追蹤從虛膠片位置 通過(guò)理想光學(xué)部件回到全域的光線來(lái)計(jì)算這些光線。圖15示出結(jié)合一個(gè)這樣的示
例實(shí)施方式追蹤從虛膠片平面1510上的3D點(diǎn)1501通過(guò)理想薄主透鏡1520到全 域光線錐1530的光線的方法。在一些實(shí)現(xiàn)中，期望光線集合1525可不必對(duì)應(yīng)于通 過(guò)實(shí)際透鏡的方向，但是可對(duì)應(yīng)于要被加權(quán)并求和來(lái)產(chǎn)生期望圖像值的任何光線集合。
圖16示出結(jié)合另一示例實(shí)施方式的對(duì)于特定應(yīng)用得到沿理想光線傳播的光的 值的方法。這些值通過(guò)追蹤透過(guò)實(shí)際主透鏡1650的期望理想全域光線1630計(jì)算， 該主透鏡是具有球形界面的單個(gè)元件并用于在測(cè)量(檢測(cè))該光線時(shí)將實(shí)際全域光 線物理地導(dǎo)向光線傳感器1640。在該實(shí)施方式中，理想?yún)R聚在單個(gè)3D點(diǎn)(1601) 的光線并不匯聚，這表示具有球形界面的透鏡的稱為球形像差的缺陷。光線傳感器 1640提供像差光線(諸如1651)每一個(gè)的用于校正球形像差的各個(gè)值。
圖17A-17C示出使用通過(guò)透鏡校正方法的計(jì)算機(jī)模擬的示例結(jié)果。圖17A中 的圖像是理想512x512相片(通過(guò)理想光學(xué)部件可見(jiàn)的)。圖17B中的圖像是使用 實(shí)際f/2雙凸球透鏡產(chǎn)生的圖像，它具有對(duì)比度損失和模糊。圖17C中的圖像是通 過(guò)使用便于在各個(gè)512x512微透鏡處10x10方向(u,v)分辨率的光學(xué)部件和傳感 器裝置，使用上述圖像校正方法計(jì)算的相片。
在本發(fā)明的另一示例實(shí)施方式中，校正用于捕獲圖像的主透鏡的色差。色差 是由光線在物理導(dǎo)向通過(guò)光學(xué)部件時(shí)由于取決于光波長(zhǎng)在物理方向上的差異而引 起的發(fā)散所導(dǎo)致的?？紤]發(fā)生在實(shí)際光學(xué)部件中的波長(zhǎng)相關(guān)的光折射率，入射光線 通過(guò)實(shí)際光學(xué)部件來(lái)追蹤。在一些應(yīng)用中，根據(jù)主波長(zhǎng)分別追蹤系統(tǒng)的各個(gè)色彩分
在另一示例實(shí)施方式中，如圖18A所示，分別追蹤彩色成像系統(tǒng)中共存的各 個(gè)紅色、綠色和藍(lán)色分量。綠色全域光線通過(guò)計(jì)算追蹤返回成像系統(tǒng)以產(chǎn)生綠色光 線1830，并確定它們?cè)诤翁幣c彩色光線傳感器1810相交、以及它們?cè)谑裁捶较蚺c 彩色光線傳感器1810相交。類似地，圖18B示出通過(guò)計(jì)算追蹤期望藍(lán)色全域光線 1820，相比綠色光線這些光線被折射到更大的范圍。圖18C示出通過(guò)計(jì)算追蹤期
19望紅色全域光線1830，相比綠色光線這些光線被折射到較小的范圍。使用例如結(jié) 合本文中所述的其它示例實(shí)施方式描述的方法根據(jù)來(lái)自光線傳感器1810的值計(jì)算
各個(gè)光線的值。對(duì)各個(gè)光線的光場(chǎng)值進(jìn)行積分以計(jì)算各個(gè)特定膠片像素的校正圖像 值。對(duì)于一些應(yīng)用，色差通過(guò)將各個(gè)色彩通道聚焦在其波長(zhǎng)最佳聚焦的平面上而得
到改進(jìn)。
期望光線可能未精確地在由光線傳感器采樣的離散光線值之一上收斂。在一 些實(shí)施方式中，用于這些光線的值被計(jì)算為離散光線值的函數(shù)。在一些實(shí)施方式中， 該函數(shù)對(duì)應(yīng)于期望光線領(lǐng)域中的離散光線值的加權(quán)和。在一些實(shí)施方式中，該加權(quán) 和對(duì)應(yīng)于用預(yù)定的巻積核心(kernel)函數(shù)的離散采樣值的4D巻積。在其它實(shí)施 方式中，加權(quán)可對(duì)應(yīng)于根據(jù)16個(gè)最近鄰進(jìn)行的四線性插值。在另外的實(shí)施方式中， 加權(quán)可對(duì)應(yīng)于從16個(gè)最近鄰進(jìn)行的三次或雙三次插值。
值得注意的是為了概念簡(jiǎn)單已根據(jù)光線追蹤描述了示例校正過(guò)程；各種其它 方法也可用校正實(shí)現(xiàn)。在一實(shí)施方式中，對(duì)于各個(gè)期望輸出像素，預(yù)先計(jì)算做出貢 獻(xiàn)的光傳感器值集及其相對(duì)權(quán)重。如上所述，這些權(quán)重是包括光學(xué)部件、傳感器、 要對(duì)各個(gè)輸出像素加權(quán)并求和的期望光線集合以及期望光場(chǎng)重建濾波器的許多因 素的屬性。這些權(quán)重被選擇性地使用光線追蹤預(yù)先計(jì)算，并存儲(chǔ)。經(jīng)校正的圖像通 過(guò)加權(quán)并累加各個(gè)輸出像素的適當(dāng)感測(cè)光場(chǎng)值來(lái)形成。
圖29和圖30示出結(jié)合上述校正方法使用的其它示例實(shí)施方式。圖29是用于 預(yù)先計(jì)算與光線(光)傳感器相關(guān)聯(lián)的權(quán)重?cái)?shù)據(jù)庫(kù)和與各個(gè)光線傳感器相關(guān)聯(lián)的輸 出像素值的過(guò)程流程圖。在前兩個(gè)框2910和2920中，對(duì)于期望圖像形成過(guò)程，接 收由要求和以產(chǎn)生輸出圖像像素值的理想全域光線集合組成(對(duì)于各個(gè)輸出圖像像 素)的數(shù)據(jù)集(例如數(shù)據(jù)庫(kù)中)，并接收用于將光線物理地傳導(dǎo)到光線傳感器的實(shí) 際主透鏡光學(xué)部件的規(guī)范。在框2925，選擇一圖像像素。對(duì)于該像素的輸出值， 在框2930用計(jì)算方法通過(guò)主透鏡光學(xué)部件的虛擬表示到光線傳感器地追蹤全域光 線關(guān)聯(lián)集合。這導(dǎo)致施加于各個(gè)光線傳感器值以計(jì)算輸出像素值的權(quán)重集。在框 2940中這些值存儲(chǔ)在輸出數(shù)據(jù)庫(kù)中。框2950檢查是否已經(jīng)處理了所有像素，如果 不是則返回框2925。如果已處理了所有像素，則最終框2960保護(hù)完成的數(shù)據(jù)庫(kù)。
圖30是使用通過(guò)如圖29中的過(guò)程計(jì)算的權(quán)重?cái)?shù)據(jù)庫(kù)計(jì)算輸出圖像的過(guò)程的 流程圖。在框3010和3020中，該過(guò)程接收數(shù)據(jù)庫(kù)并通過(guò)計(jì)算該數(shù)據(jù)庫(kù)時(shí)使用的主 透鏡光學(xué)部件捕獲的光線傳感器值的集合。在框3025，選擇輸出圖像中的像素， 使得其最終圖像值可進(jìn)行計(jì)算。對(duì)于所選像素，框3030使用數(shù)據(jù)庫(kù)來(lái)尋找作出貢獻(xiàn)的光線傳感器集合及其權(quán)重。在框3040，對(duì)于該圖像像素值，各個(gè)在3020中給
出的傳感器值被加權(quán)并求和。在框3050，進(jìn)行檢査以查看是否已處理了所有圖像
像素。如果不是，則該過(guò)程返回框3025，如果是則在框3060保存輸出圖像。
在各種示例實(shí)施方式中，使用涉及在傅立葉域中運(yùn)算的再聚焦計(jì)算方法的某
些方法，在頻域中處理光數(shù)據(jù)。圖20是結(jié)合另一示例實(shí)施方式示出一個(gè)這種方法
的流程圖。該算法的輸入是表示為L(zhǎng)(s，t，u，v)的離散4D光場(chǎng)2010，它表示從主透鏡
上(u,v)開(kāi)始并在微透鏡平面上(s,t)終止的光線(例如來(lái)自從圖1的主透鏡110
并在微透鏡陣列120的平面終止)。第一步是計(jì)算光場(chǎng)的離散4D傅立葉變換2020。
稱為M(ks,kt,ku,kv)的在(ks，kt,ku,kv)上的4D傅立葉變換值由以下方程定義
M ， K, A:v) = JJ JJz(51， f ， w, v) exp(-2丌V^T(《+ /A, + < +《))&福油 (1 )
其中exp函數(shù)是指數(shù)函數(shù)，exp(x) = ex。在一些實(shí)施方式中，在4D空間的直線網(wǎng)
格上對(duì)離散光場(chǎng)進(jìn)行采樣，且使用快速傅立葉變換(FFT)算法計(jì)算傅立葉變換。
下一步，對(duì)期望再聚焦圖像的各個(gè)深度執(zhí)行一次的是提取4D傅立葉變換的適
當(dāng)2D片2030，并計(jì)算提取片的2D傅立葉逆變換，它們是聚焦在不同深度的相片
2040。對(duì)于函數(shù)G(kx,ky)， 2D傅立葉逆變換g(x，y)由以下方程定義
=JjG(U》exp(27rV^T(x、 + (2 )
提取2D片上的值根據(jù)期望聚焦的深度確定。考慮期望全域焦平面的共軛平面
(在透鏡的圖像側(cè))，當(dāng)該共軛平面與主透鏡之間的間距為D而微透鏡平面與主透
鏡之間的間距為F時(shí)，則坐標(biāo)(kx,ky)中提取2D片的值由下式給出
0(、,、) = 1/,2 .M(^(l — D/尸)，、(1 —D/F),t"/F，、D/F) (3)
使用不同的方法，因離散化、重采樣和傅立葉變換導(dǎo)致的偽像被選擇性地改 善。在一般信號(hào)處理時(shí)期中，當(dāng)對(duì)信號(hào)進(jìn)行采樣時(shí)，它在雙域(dual domain)中周 期性地復(fù)制。當(dāng)通過(guò)巻積重建該采樣信號(hào)時(shí)，它在雙域中與巻積濾波器的傅立葉變 換相乘。這樣，初始、中心復(fù)制品(replica)被分離出來(lái)，從而消除其它所有復(fù)制 品。期望濾波器是4D sine函數(shù)，sinc(s)sinc(t)sinc(u)sinc(v)，其中sinc(x)= sin(兀x)/(7tx);然而，該函數(shù)具有無(wú)限外延。
在各種方法中，有限外延濾波器用于頻域處理；這種濾波器可呈現(xiàn)可被選擇 性減輕的缺陷。圖21A結(jié)合下文涉及減輕或這種缺陷的相應(yīng)討論示出關(guān)于具體1D 濾波器的這些缺陷。圖21A表示用1D線性插值實(shí)現(xiàn)(或作為4D四線性濾波器的 基礎(chǔ))的三角濾波器。圖21B示出三角濾波器方法的傅立葉變換，它是頻帶限制 內(nèi)的非單位值(參看2010)，且隨頻率增加逐漸減小到更小的分?jǐn)?shù)值。此外，該濾
21波器不是真正頻帶限制的，它包括在期望抑制頻帶外頻率下的能量(2020)。
上述第一缺陷導(dǎo)致可引起計(jì)算相片邊界發(fā)暗的"傾斜(rolloff)偽像"。濾波 器頻譜隨頻率增加的衰減表示由該頻譜調(diào)制的空間光場(chǎng)值也朝邊界"傾斜"到分?jǐn)?shù) 值。
上述第二缺陷涉及與在頻帶限制以上頻率的能量相關(guān)的計(jì)算相片中的混淆偽 像(aliasing artifact)。外延超過(guò)頻帶限制的非零能量表示周期性復(fù)制品未被完全消 除，從而導(dǎo)致兩種混淆。第一，與限幅平面(slicing plane)平行出現(xiàn)的復(fù)制品作 為侵占最終相片邊界的2D復(fù)制品出現(xiàn)。第二，與該平面垂直定位的復(fù)制品被投影 并累加到圖像平面上，從而創(chuàng)建重像和對(duì)比度的損失。
在一示例實(shí)施方式中，對(duì)上述傾斜型缺陷的校正通過(guò)將輸入光場(chǎng)與濾波器反 向傅立葉頻譜的倒數(shù)相乘而得到消除，以抵消在重采樣過(guò)程中引入的效應(yīng)。在該示 例實(shí)施方式中，相乘在算法的預(yù)處理步驟中進(jìn)行4D傅立葉變換之前進(jìn)行。雖然它 校正了傾斜誤差，但是預(yù)相乘可加重光場(chǎng)靠近其邊界的能量，從而最大化重疊回期 望視場(chǎng)作為混淆的能量。
三種抑制混淆偽像的方法一過(guò)采樣(oversampling)、高級(jí)過(guò)濾(superior filtering)、和零填充(zero-padding) —在下述的各種示例實(shí)施方式中單獨(dú)或結(jié)合使 用。提取2D片內(nèi)的過(guò)采樣增加了空間域中的復(fù)制周期。這表示面內(nèi)復(fù)制品尾部 (tail)中的較小能量落在最終相片的邊界內(nèi)。增大一個(gè)域中的采樣速率導(dǎo)致另一 域中視場(chǎng)的增加。鄰近復(fù)制品中的混淆能量落在這些外圍區(qū)域中，并被修剪掉以隔 離感興趣的初始中心圖像。
減輕混淆的另一方法涉及盡可能近地近似完美頻譜(可通過(guò)使用理想濾波器 呈現(xiàn))的有限外延濾波器。在一示例實(shí)施方式中，4D凱撒-貝塞爾(Kaiser-Bessel) 可分離函數(shù)kb4(s,t,u,v) = kb(s)kb(t)kb(u)kb(v)用作濾波器，其中
<formula>formula see original document page 22</formula> (4)
在該方程中，/o是標(biāo)準(zhǔn)零階校正的第一類凱撒-貝塞爾函數(shù)，W是期望濾波器的寬 度，而P是取決于W的參數(shù)。在該示例實(shí)施方式中，W的值為5、 4.5、 4.0、 3.5、 3.0、 2.5、 2.0禾卩1.5，且P的值分別為7.4302、 6.6291、 5.7567、 4.9107、 4.2054、 3.3800、 2.3934和1.9980。對(duì)于關(guān)于混淆的一般信息，以及對(duì)于關(guān)于結(jié)合一個(gè)或多 個(gè)本發(fā)明示例實(shí)施方式減輕混淆的方法的具體信息，可以參照1997年的IEEE Transactions on Medical Imaging的10巻3號(hào)473-478頁(yè)J丄.Jackson、 C.H. Meyer、 D.G. Nishimura禾口 A. Macovski的"Selection of convolution function for Fourierinversion using gridding (使用網(wǎng)格化來(lái)選擇逆向傅立葉的巻積函數(shù))"，該文獻(xiàn)通過(guò) 引用整體結(jié)合于此。在一實(shí)現(xiàn)中，實(shí)現(xiàn)小于約2.5的寬度"W"以達(dá)到期望的圖像質(zhì)量。
在另一示例實(shí)施方式中，混淆通過(guò)在預(yù)相乘之前填充具有較小零值邊界的光 場(chǎng)并進(jìn)行傅立葉變換得以減輕。這將能量稍微推離邊界，并最小化由傾斜校正的預(yù) 相乘引起的混淆能量放大。
圖22是根據(jù)本發(fā)明另一示例實(shí)施方式示出使用上述各種校正在頻域中再聚焦 的方法的流程圖。在框2210，接收離散4D光場(chǎng)。在每個(gè)輸入光場(chǎng)進(jìn)行一次的預(yù)處 理階段，框2215檢查是否混淆減小是所期望的，且如果是則執(zhí)行用小零值邊界(例 如在該維度上寬度的5%)填充光場(chǎng)的框2220。在框2225，進(jìn)行檢査以確定是否 傾斜校正是所期望的，且如果是則在框2230通過(guò)重采樣濾波器的傅立葉變換的倒 數(shù)對(duì)光場(chǎng)進(jìn)行調(diào)制。在預(yù)處理階段的最后框中，在框2240計(jì)算光場(chǎng)的4D傅立葉 變換。
在每個(gè)期望焦距進(jìn)行一次的再聚焦階段，該過(guò)程在框2250諸如通過(guò)用戶的引 導(dǎo)接收再聚焦圖像的期望焦距。在框2260，進(jìn)行檢查以確定是否混淆減小是所期 望的。如果否，則框2270使用期望4D重采樣濾波器提取光場(chǎng)傅立葉變換的2D片， 其中2D片的軌跡對(duì)應(yīng)于期望焦距；且框2275計(jì)算所提取片的2D傅立葉逆變換并 進(jìn)行到框2290。如果在框2260混淆減小是所期望的，則過(guò)程進(jìn)行到框2280，其中 使用期望4D重采樣濾波器和過(guò)采樣(例如在兩個(gè)維度的每一個(gè)上的2x過(guò)采樣) 提取2D片。在框22S3，計(jì)算片的2D傅立葉逆變換并將得到的圖像修剪成初始尺 寸而無(wú)需在框2286過(guò)采樣，在框2286之后過(guò)程進(jìn)行到框2290。在框2290，進(jìn)行 檢測(cè)以確定再聚焦是否完成。如果否，則在框2250選擇另一焦距且過(guò)程如上所述 地進(jìn)行。如果再聚焦完成，則過(guò)程在框2295退出。
通過(guò)如以上可選實(shí)施方式所述的明確地對(duì)光線求和，該頻域算法的漸進(jìn)計(jì)算 復(fù)雜性小于再聚焦。假設(shè)輸入離散光場(chǎng)在其四個(gè)維度的每一個(gè)上具有N個(gè)樣本。 則對(duì)于在各個(gè)新深度再聚焦，明確地對(duì)光線求和的算法的計(jì)算復(fù)雜性是0(N4)。對(duì) 于在各個(gè)新深度再聚焦，頻域算法的計(jì)算復(fù)雜性為0(N^ogN)，主要是2D傅立葉 逆變換的成本。然而，預(yù)處理步驟對(duì)于各個(gè)新光場(chǎng)數(shù)據(jù)集消耗0(N"ogN)。
在另一示例實(shí)施方式中，所捕獲的光線被光學(xué)濾除。雖然不限于這種應(yīng)用， 但是這種濾波器的一些示例是中性密度濾波器、彩色濾波器、偏振濾波器。任何現(xiàn) 有濾波器或?qū)⒁_(kāi)發(fā)的濾波器可用于對(duì)光線進(jìn)行所需的過(guò)濾。在一個(gè)實(shí)現(xiàn)中，光線被成組或單獨(dú)地光學(xué)濾除，使得各組或個(gè)別光被不同地濾除。在另一實(shí)現(xiàn)中，通過(guò) 使用附加于主透鏡的空間變化濾波器實(shí)現(xiàn)過(guò)濾。在一示例應(yīng)用中，諸如中性密度梯 度濾波器的梯度濾波器用于過(guò)濾光。在另一實(shí)現(xiàn)中，空間變化濾波器在光線傳感器、 微透鏡陣列或光傳感器陣列中一個(gè)或多個(gè)之前使用。參照?qǐng)Dl，作為示例，選擇性
地將一個(gè)或多個(gè)這樣的濾波器置于主透鏡110、微透鏡陣列120和光傳感器陣列130 中一個(gè)或多個(gè)之前。
在本發(fā)明的另一示例實(shí)施方式中，編程諸如處理器的計(jì)算部件以選擇性地選 擇組合在計(jì)算輸出像素中的光線，以便于對(duì)該像素值進(jìn)行期望的凈過(guò)濾。作為示例， 考慮涉及主透鏡處的光學(xué)中性梯度密度濾波器，在微透鏡下出現(xiàn)的各個(gè)透鏡光圈圖 像根據(jù)跨越其范圍的濾波器梯度加權(quán)。在一實(shí)現(xiàn)中，通過(guò)選擇在各個(gè)微透鏡下處于 與輸出圖像像素的中性密度過(guò)濾的期望水平匹配的梯度的點(diǎn)上的光傳感器，計(jì)算輸 出圖像。例如，為了產(chǎn)生其中各個(gè)像素在較大的范圍上過(guò)濾的圖像，各個(gè)像素值被 設(shè)定為在相應(yīng)微透鏡下處于與最大過(guò)濾對(duì)應(yīng)的梯度極端的傳感器值。
圖2是結(jié)合本發(fā)明的其它示例實(shí)施方式示出處理圖像的方法的數(shù)據(jù)流程圖。 圖像傳感器裝置210以與例如圖1中示出且在上文描述的微透鏡陣列120和光傳感 器陣列130類似的方式使用微透鏡/光傳感器芯片裝置212采集圖像數(shù)據(jù)。圖像傳 感器裝置210光學(xué)地包括承載某一處理電路的集成處理電路214，以準(zhǔn)備采集圖像 數(shù)據(jù)以便傳輸。
在圖像傳感器裝置210上產(chǎn)生的傳感器數(shù)據(jù)被傳輸?shù)叫盘?hào)處理器220。該信號(hào) 處理器包括低分辨率圖像處理器222以及壓縮處理器224和(光)線方向處理器 226之一或兩者；這些處理器的每一個(gè)取決于應(yīng)用單獨(dú)實(shí)現(xiàn)或使用共同處理器功能 地實(shí)現(xiàn)。此外，各個(gè)如圖2所示的處理器選擇性地編程有結(jié)合其它附圖或本文其它 段落描述的一個(gè)或多個(gè)處理功能。信號(hào)處理器220與圖像傳感器裝置210任選地在 共同器件或部件上實(shí)現(xiàn)，例如在共同電路和/或在共同圖像器件上。
低分辨率圖像處理器222使用從圖像傳感器裝置210接收的傳感器數(shù)據(jù)來(lái)產(chǎn) 生低分辨率圖像數(shù)據(jù)，該低分辨率圖像數(shù)據(jù)被發(fā)送到探視顯示器230。諸如相機(jī)或 攝像機(jī)上按鈕的輸入器件235發(fā)送圖像捕獲請(qǐng)求到信號(hào)處理器220，以請(qǐng)求例如捕 獲在探視顯示器230中顯示的特定圖像和/或在如此實(shí)現(xiàn)時(shí)開(kāi)始視頻成像。
響應(yīng)于圖像捕獲請(qǐng)求或其它向?qū)В盘?hào)處理器220使用由圖像傳感器裝置210 捕獲的傳感器數(shù)據(jù)來(lái)產(chǎn)生經(jīng)處理的傳感器數(shù)據(jù)。在一些應(yīng)用中，壓縮處理器224 被實(shí)現(xiàn)成產(chǎn)生轉(zhuǎn)移到數(shù)據(jù)存儲(chǔ)裝置240 (例如存儲(chǔ)器)的壓縮原數(shù)據(jù)。然后，這種原數(shù)據(jù)在信號(hào)處理器220和/或外部計(jì)算機(jī)260或其它處理裝置選擇性地進(jìn)行處理， 從而實(shí)現(xiàn)諸如用如下所述的光線方向處理器226實(shí)現(xiàn)的光線方向處理。
在某些應(yīng)用中，光線方向處理器226被實(shí)現(xiàn)成處理在信號(hào)處理器220接收的 處理器數(shù)據(jù)，以重新排列用于產(chǎn)生聚焦和/或校正圖像數(shù)據(jù)的傳感器數(shù)據(jù)。光線方 向處理器226使用從圖像傳感器裝置210接收的傳感器數(shù)據(jù)和傳送到數(shù)據(jù)存儲(chǔ)裝置 240的原數(shù)據(jù)之一或兩者。在這些應(yīng)用中，光線方向處理器226使用特定成像裝置 (例如相機(jī)、攝像機(jī)或移動(dòng)電話)的光線映射特性，在這些成像裝置中圖像傳感器 裝置210被實(shí)現(xiàn)成確定用微透鏡/光傳感器芯片212感測(cè)的光線的重新排列。將用 光線方向處理器226產(chǎn)生的圖像數(shù)據(jù)發(fā)送到數(shù)據(jù)存儲(chǔ)裝置240和/或到通信鏈路250 用于各種應(yīng)用，諸如使圖像數(shù)據(jù)流傳送到遠(yuǎn)程場(chǎng)所或?qū)D像數(shù)據(jù)發(fā)送到遠(yuǎn)程場(chǎng)所。
在一些應(yīng)用中，集成處理電路214通過(guò)實(shí)現(xiàn)例如CMOS型處理器或具有適當(dāng) 功能的其它處理器包括信號(hào)處理器220的處理功能的一些或全部。例如，低分辨率 圖像處理器222選擇性地包括有集成處理電路214，且低分辨率圖像數(shù)據(jù)從圖像傳 感器裝置210直接發(fā)送到探視顯示器230。類似地，壓縮處理器224或其類似功能 選擇性地用集成處理電路214實(shí)現(xiàn)。
在一些應(yīng)用中，最終圖像的計(jì)算可在集成處理電路214上進(jìn)行(例如在一些 僅輸出最終圖像的數(shù)字靜態(tài)相機(jī)中)。在其它應(yīng)用中，圖像傳感器裝置210可將原 始光線數(shù)據(jù)或這些數(shù)據(jù)的壓縮版簡(jiǎn)單地發(fā)送到諸如桌上型計(jì)算機(jī)的外部計(jì)算裝置。 根據(jù)這些數(shù)據(jù)計(jì)算最終圖像然后在外部裝置上進(jìn)行。
圖3是根據(jù)本發(fā)明另一示例實(shí)施方式的處理圖像數(shù)據(jù)的方法的流程圖。在框 310，使用主透鏡或具有諸如圖l所示的微透鏡/光傳感器陣列的透鏡組，在相機(jī)或 其它成像裝置上捕捉圖像數(shù)據(jù)。如果在框320預(yù)覽圖像是所期望的，則在框330 使用例如探視鏡或其它類型的顯示器產(chǎn)生預(yù)覽圖像。使用捕獲的圖像數(shù)據(jù)的子集在 例如相機(jī)或攝像機(jī)的探視鏡上顯示該預(yù)覽圖像。
在框340，來(lái)自光傳感器陣列的原數(shù)據(jù)被處理并壓縮以供使用。在框350，從 經(jīng)處理和壓縮的數(shù)據(jù)中提取光線數(shù)據(jù)。該提取涉及例如檢測(cè)入射到光傳感器陣列中 特定光傳感器的光線束或集合。在框360對(duì)于圖像數(shù)據(jù)捕獲其中的成像裝置檢索光 線映射數(shù)據(jù)。在框370，光線映射數(shù)據(jù)和所提取的光線數(shù)據(jù)用于合成重新排列圖像。 例如，提取、映射和合成框350-370通過(guò)確定光線被采集場(chǎng)景的特定像素的一束光 線，并積分光線能量以合成特定像素的值來(lái)選擇性地實(shí)現(xiàn)。在一些應(yīng)用中，光線映 射數(shù)據(jù)用于通過(guò)用于獲取圖像數(shù)據(jù)的實(shí)際透鏡追蹤各個(gè)特定像素的光線。例如，通過(guò)在框370確定累加在一起以便于聚焦在特定焦距處的所選目標(biāo)的適當(dāng)光線集合， 該光線可被重新排列以到達(dá)聚焦圖像。類似地，通過(guò)確定適當(dāng)?shù)墓饩€安排以校正諸 如成像裝置中的透鏡像差的狀況，該光線可被重新排列以產(chǎn)生相對(duì)而言沒(méi)有相關(guān)于 像差或其它狀況的特性的圖像。
各種方法選擇性地用于產(chǎn)生相機(jī)型和其它應(yīng)用的預(yù)覽圖像。圖4是根據(jù)本發(fā) 明另一示例實(shí)施方式的產(chǎn)生這種預(yù)覽圖像的過(guò)程流程圖。圖4中示出且在下文描述 的方法可與例如在圖3的框330產(chǎn)生預(yù)覽圖像相結(jié)合地實(shí)現(xiàn)。
在框410接收對(duì)原始傳感器數(shù)據(jù)的預(yù)覽指令。在框420，將中心像素從原始傳 感器圖像數(shù)據(jù)中的各個(gè)微透鏡圖像選出。在框430收集所選中心像素以形成高景深 圖像。在框440，以適于探視顯示器的分辨率對(duì)高景深圖像進(jìn)行下采樣。參照?qǐng)D2， 作為示例，這種下采樣在一個(gè)或多個(gè)圖像傳感器裝置210或信號(hào)處理器220上選擇 性地進(jìn)行。在框450將產(chǎn)生的預(yù)覽圖像數(shù)據(jù)發(fā)送到探視顯示器，而在框460，探視 鏡用預(yù)覽圖像數(shù)據(jù)顯示圖像。
圖5是根據(jù)本發(fā)明另一示例實(shí)施方式的處理和壓縮圖像數(shù)據(jù)的流程圖。圖5 中示出且在下文描述的方法可與在圖3中框340處理和壓縮圖像數(shù)據(jù)相結(jié)合地實(shí) 現(xiàn)。當(dāng)用如圖2所示的裝置實(shí)現(xiàn)時(shí)，圖5所示的方法可在例如圖像傳感器裝置210 和信號(hào)處理器220之一或兩者實(shí)現(xiàn)。
在框510，從傳感器陣列接收原始圖像數(shù)據(jù)。如果在框520期望進(jìn)行著色，則 在框530對(duì)彩色濾波器陣列值進(jìn)行去馬賽克，以在傳感器處產(chǎn)生色彩。如果在框 540期望進(jìn)行調(diào)整和對(duì)齊，則微透鏡在框550被調(diào)整并與光傳感器陣列對(duì)齊。如果 在框560期望進(jìn)行插值，則在570將像素值插值到與各個(gè)微透鏡關(guān)聯(lián)的整數(shù)個(gè)像素。 在框580，經(jīng)處理的原始圖像數(shù)據(jù)被壓縮并呈現(xiàn)以便于合成處理(例如形成再聚焦 和/或校正圖像)。
圖6是根據(jù)本發(fā)明另一示例實(shí)施方式的圖像合成的流程圖。圖6中示出并在 下文中描述的方法可與在圖3的框370示出并在下文中進(jìn)一步描述的圖像合成方法 相結(jié)合地實(shí)現(xiàn)。
在框610，從光傳感器陣列接收原始圖像數(shù)據(jù)。如果在框620期望進(jìn)行再聚焦， 則在框630使用例如本文所述的方法對(duì)圖像數(shù)據(jù)進(jìn)行再聚焦，以選擇性重新排列由 原始圖像數(shù)據(jù)表示的光。如果在框640期望進(jìn)行圖像校正，則在框650校正圖像數(shù) 據(jù)。在不同應(yīng)用中，在期望進(jìn)行再聚焦和圖像校正兩者的應(yīng)用中，在框650的圖像 校正之前或在與框630的再聚焦同時(shí)進(jìn)行。在框660，使用包括經(jīng)再聚焦和經(jīng)校正數(shù)據(jù)的經(jīng)處理圖像數(shù)據(jù)(可用時(shí))產(chǎn)生所得圖像。
圖7A是根據(jù)本發(fā)明另一示例實(shí)施方式的使用透鏡裝置進(jìn)行圖像再聚焦的流 程圖。在圖7示出且在下文中描述的方法可例如與圖6中框630的圖像數(shù)據(jù)再聚焦 結(jié)合地實(shí)現(xiàn)。
在框710，選擇用于再聚焦圖像部分的虛焦平面。在框720，選擇虛焦平面的 虛像像素。如果在框730期望進(jìn)行校正(例如對(duì)于透鏡像差)，則在框740計(jì)算在
所選像素與各個(gè)特定透鏡位置之間通過(guò)的虛光線(或虛光線集合)值。在一應(yīng)用中， 通過(guò)計(jì)算落在所選像素上的共軛光線并通過(guò)透鏡裝置中的路徑追蹤該光線來(lái)便于
該計(jì)算。
在框750，累加特定焦平面的各個(gè)透鏡位置的光線值(或虛光線集合)之和以 確定所選像素的總值。在一些應(yīng)用中，在框750累加的和是加權(quán)和，其中某些光線 (或光線集合)給定比其它的更大的權(quán)重。如果在框760存在用于再聚焦的附加像 素，則在框720選擇另一像素且繼續(xù)該過(guò)程直到?jīng)]有像素需要再聚焦。在像素已被 再聚焦之后，在框770組合像素?cái)?shù)據(jù)以產(chǎn)生在框710選擇的虛焦平面處的再聚焦虛 像。涉及圖7中框720、 730、 740和750的部分或全部的再聚焦方法通過(guò)各種應(yīng)用 的更具體功能進(jìn)行實(shí)施。
使用本文所述的一個(gè)或多個(gè)示例實(shí)施方式實(shí)現(xiàn)的傳感器數(shù)據(jù)處理電路取決于 實(shí)現(xiàn)可包括一個(gè)或多個(gè)微處理器、專用集成電路(ASIC)、數(shù)字信號(hào)處理器(DSP) 和/或可編程門陣列(例如現(xiàn)場(chǎng)可編程門陣列(FPGA))。這樣，傳感器數(shù)據(jù)處理電 路可以是現(xiàn)在已知或以后開(kāi)發(fā)的任何類型或形式的電路。例如，傳感器數(shù)據(jù)處理電 路可包括耦合在一起實(shí)現(xiàn)、提供和/或進(jìn)行期望操作/功能/應(yīng)用的有源和/或無(wú)源的 單個(gè)部件或多個(gè)部件(微處理器、ASIC和DSP)。
在不同應(yīng)用中，傳感器數(shù)據(jù)處理電路實(shí)現(xiàn)或執(zhí)行實(shí)現(xiàn)本文所述和/或示出的特 定方法、任務(wù)或運(yùn)算的一個(gè)或多個(gè)應(yīng)用、例程、程序和/或數(shù)據(jù)結(jié)構(gòu)。應(yīng)用、例程 或程序的功能被選擇性地組合或分配在某些應(yīng)用中。在一些應(yīng)用中，應(yīng)用、例程或 程序通過(guò)傳感器(或其它)數(shù)據(jù)處理電路使用已知或以后開(kāi)發(fā)的各種編程語(yǔ)言中的 一種或多種實(shí)現(xiàn)。這種編程語(yǔ)言包括例如結(jié)合本發(fā)明一個(gè)或多個(gè)方面選擇性地實(shí)現(xiàn) 的編譯或未編譯的FORTRAN、 C、 C++、 Java和BASIC。
上述各種實(shí)施方式僅作為說(shuō)明提供而不應(yīng)該解釋為對(duì)本發(fā)明的限制。根據(jù)以 上描述和說(shuō)明，對(duì)本領(lǐng)域技術(shù)人員顯而易見(jiàn)的是可對(duì)本發(fā)明進(jìn)行各種更改和改變， 而不必嚴(yán)格遵循本文示出和描述的示例性實(shí)施方式和應(yīng)用。例如，這種變化可包括在不同類型的應(yīng)用中實(shí)現(xiàn)各種光學(xué)成像應(yīng)用和器件、增加或減少每個(gè)像素(或其它 所選圖像區(qū)域)所采集的光線數(shù)、或?qū)崿F(xiàn)與所述示例不同的算法和/或方程以采集 或處理圖像數(shù)據(jù)。其它變化可包括使用除了笛卡爾坐標(biāo)以外或者附加于笛卡爾坐標(biāo) 的坐標(biāo)表示，例如極坐標(biāo)。這種更改和變化不背離本發(fā)明的實(shí)質(zhì)精神和范圍。
權(quán)利要求
1. 一種用于根據(jù)所捕獲的光線集合合成圖像的數(shù)字成像系統(tǒng)，所述系統(tǒng)包括主透鏡；用于捕捉光線集合的光傳感器陣列；在所述主透鏡與所述光傳感器陣列之間的微透鏡陣列，所述光線集合從所述主透鏡經(jīng)過(guò)所述微透鏡陣列被物理地傳導(dǎo)到所述光傳感器陣列；數(shù)據(jù)處理器，通過(guò)由所述光傳感器陣列捕獲的所述光線集合的虛擬重定向來(lái)計(jì)算經(jīng)合成的再聚焦圖像。
2. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)處理器通過(guò)選擇性地組 合所選光束以對(duì)所述光束集合虛擬地重定向來(lái)計(jì)算圖像。
3. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)處理器通過(guò)選擇性地累 加所選光線以對(duì)所述光線集合虛擬地重定向來(lái)計(jì)算圖像。
4. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)處理器通過(guò)選擇性地加 權(quán)并累加光線以對(duì)所述光線集合虛擬地重定向來(lái)計(jì)算圖像。
5. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)處理器通過(guò)根據(jù)所述光 線集合在所述光傳感器陣列上的空間分布、以及根據(jù)所述光線集合從所述主透鏡經(jīng) 過(guò)所述微透鏡陣列到達(dá)所述光傳感器陣列的所述物理方向?qū)λ龉馐咸摂M地 重定向來(lái)計(jì)算圖像。
6. 如權(quán)利要求1所述的數(shù)字成像系統(tǒng)，其特征在于，所述數(shù)據(jù)處理器對(duì)所述 光束集合虛擬地重定向，以將所述圖像的一部分再聚焦在與所述微透鏡陣列置于其 中的平面不同的焦平面。
7. 如權(quán)利要求1所述的數(shù)字成像系統(tǒng)，其特征在于，所述數(shù)據(jù)處理器對(duì)所述 光線虛擬地重定向以校正透鏡像差。
8. 如權(quán)利要求1所述的數(shù)字成像系統(tǒng)，其特征在于，所述數(shù)據(jù)處理器對(duì)所述 光線虛擬地重定向以延伸所述合成圖像的所述景深。
9. 如權(quán)利要求1所述的數(shù)字成像系統(tǒng)，其特征在于，對(duì)于所述微透鏡陣列中 的各個(gè)微透鏡，所述光傳感器陣列包括多個(gè)光傳感器。
10. 如權(quán)利要求9所述的數(shù)字成像系統(tǒng)，其特征在于，所述主透鏡將場(chǎng)景的二 維圖像聚焦在所述微透鏡陣列上，且其中所述微透鏡陣列中的各個(gè)微透鏡被調(diào)節(jié)成發(fā)散由所述主透鏡聚焦其上的光線，并將所述發(fā)散光線傳導(dǎo)到所述微透鏡的多個(gè)光 傳感器。
11. 如權(quán)利要求1所述的數(shù)字成像系統(tǒng)，其特征在于，所述數(shù)據(jù)處理器使用來(lái) 自所述光傳感器陣列的數(shù)據(jù)來(lái)通過(guò)解析各個(gè)子圖像的不同焦深建立根據(jù)由所述捕 獲光線示出的場(chǎng)景不同部分的聚焦子圖像。
12. 如權(quán)利要求11所述的數(shù)字成像系統(tǒng)，其特征在于，所述數(shù)據(jù)處理器通過(guò) 組合所述聚焦子圖像合成最終圖像。
全文摘要
圖像數(shù)據(jù)被處理以有助于聚焦和/或光學(xué)校正。根據(jù)本發(fā)明的一示例實(shí)施方式，成像裝置采集與傳輸通過(guò)特定焦平面的光對(duì)應(yīng)的光數(shù)據(jù)。使用有助于確定入射到焦平面一部分上的光的各個(gè)部分發(fā)散來(lái)源方向的方法來(lái)采集光數(shù)據(jù)。與通過(guò)光傳感器檢測(cè)的光的值結(jié)合地使用該方向信息，由該光表示的圖像被選擇性地聚焦和/或校正。
文檔編號(hào)G02B27/00GK101426085SQ20081016914
公開(kāi)日2009年5月6日 申請(qǐng)日期2005年9月30日 優(yōu)先權(quán)日2004年10月1日
發(fā)明者M·A·霍羅威茨, M·S·萊沃, P·M·漢拉恩, Y-R·恩 申請(qǐng)人:科蘭·斯坦福青年大學(xué)托管委員會(huì)