本發(fā)明涉及計(jì)算機(jī)視覺與數(shù)字圖像處理領(lǐng)域，尤其涉及一種估計(jì)全光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)的方法。

背景技術(shù)：

光場相機(jī)因其能夠獲取場景的多維信息，在計(jì)算機(jī)視覺、機(jī)器人等領(lǐng)域得到廣泛應(yīng)用。不同于傳統(tǒng)相機(jī)，光場相機(jī)在鏡頭組與傳感器之間插入了一塊微透鏡陣列，微透鏡陣列取代傳統(tǒng)相機(jī)的傳感器所在的位置——鏡頭組的焦平面處。微透鏡陣列接收到來自鏡頭組的光線后，將光線信息進(jìn)一步傳送至傳感器，以數(shù)碼的方式記錄下場景的位置與方向信息。光場相機(jī)通過使用鏡頭組來減小像差，但鏡頭組的使用無疑會增加光場相機(jī)的成本、體積以及重量。而現(xiàn)今相機(jī)的發(fā)展趨勢是小型化，輕量化。因此，研究者們考慮使用單透鏡光場相機(jī)進(jìn)行成像。但是單透鏡的像差相比鏡頭組要嚴(yán)重很多，使用單透鏡光場相機(jī)成像，勢必會得到低質(zhì)量的光場圖像。隨著圖像復(fù)原技術(shù)的不斷發(fā)展，圖像去模糊的方法日趨成熟。傳統(tǒng)的使用鏡頭組來減小像差方法可由去模糊等計(jì)算成像技術(shù)替代。因此，結(jié)合去模糊技術(shù)，可以使用單透鏡光場相機(jī)進(jìn)行成像，達(dá)到降低相機(jī)成本、體積和重量的目的。

其中單透鏡的像差在成像過程中造成的模糊可以用點(diǎn)擴(kuò)散函數(shù)來表示，點(diǎn)擴(kuò)散函數(shù)描述了一個(gè)成像系統(tǒng)對一個(gè)點(diǎn)光源的響應(yīng)，它能夠反映成像系統(tǒng)對點(diǎn)光源的解析能力。傳統(tǒng)的使用盲卷積的方法去獲取單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)的算法復(fù)雜度高，而傳統(tǒng)的使用物理裝置進(jìn)行測量獲取單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)的方法，測量步驟非常復(fù)雜，耗時(shí)，而且成本較高。

以上背景技術(shù)內(nèi)容的公開僅用于輔助理解本發(fā)明的構(gòu)思及技術(shù)方案，其并不必然屬于本專利申請的現(xiàn)有技術(shù)，在沒有明確的證據(jù)表明上述內(nèi)容在本專利申請的申請日已經(jīng)公開的情況下，上述背景技術(shù)不應(yīng)當(dāng)用于評價(jià)本申請的新穎性和創(chuàng)造性。

技術(shù)實(shí)現(xiàn)要素：

為了解決上述技術(shù)問題，本發(fā)明提出一種估計(jì)全光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)的方法，不僅可以降低算法復(fù)雜度，而且可以省掉復(fù)雜的測量步驟從而節(jié)省時(shí)間和成本。

為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案：

本發(fā)明公開了一種估計(jì)全光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)的方法，包括以下步驟：

s1：采用所述單透鏡光場相機(jī)分別拍攝同一場景的全光圈下的光場圖像和小光圈下的光場圖像，其中全光圈表示所述單透鏡光場相機(jī)的主鏡頭的光瞳直徑與主鏡頭的整體直徑一致，小光圈表示所述單透鏡光場相機(jī)的主鏡頭的光瞳直徑與主鏡頭的整體直徑的比值小于0.1；

s2：估計(jì)得到小光圈下的光場圖像上的物體所在平面到所述主鏡頭之間的絕對距離；

s3：獲取所述單透鏡光場相機(jī)的參數(shù)，模擬得到估計(jì)的所述絕對距離下小光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)；

s4：建立成像模型，并使用全光圈下的光場圖像、小光圈下的光場圖像以及模擬的小光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)建立優(yōu)化模型，估計(jì)得到全光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)。

優(yōu)選地，步驟s1還包括在拍攝光場圖像之前對所述單透鏡光場相機(jī)進(jìn)行標(biāo)定校正。

優(yōu)選地，步驟s2具體包括：采用距離估計(jì)模型估計(jì)得到小光圈下的光場圖像上的物體所在平面到所述主鏡頭之間的絕對距離。

優(yōu)選地，步驟s3獲取的所述單透鏡光場相機(jī)的參數(shù)包括：小光圈下所述主鏡頭的光瞳直徑d、焦距fmain，單個(gè)微透鏡的直徑d、焦距fmicro，主鏡頭與微透鏡陣列之間的距離l2，微透鏡陣列與傳感器之間的距離l3，傳感器的分辨率w×h、像素大小pitch。

優(yōu)選地，步驟s3具體包括采用波動(dòng)光學(xué)模擬得到估計(jì)的所述絕對距離下小光圈下單透鏡光場相機(jī)在紅光、綠光和藍(lán)光三種波長下的點(diǎn)擴(kuò)散函數(shù)。

優(yōu)選地，其中波動(dòng)光學(xué)的傳播方法可為菲涅爾衍射、角譜定理或帶限角譜定理。

優(yōu)選地，步驟s4中建立的成像模型為：

ib＝i0hb+nb

is＝i0hs+ns

其中，ib是步驟s1中拍攝得到的全光圈下的光場圖像展成的矩陣，is是步驟s1中拍攝得到的小光圈下的光場圖像展成的矩陣，i0表示理想的清晰光場圖像展成的矩陣，hb為全光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)展成的矩陣，hs為步驟s3中模擬得到的小光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)展成的矩陣，nb是全光圈下單透鏡光場相機(jī)的噪聲，ns是小光圈下單透鏡光場相機(jī)的噪聲。

優(yōu)選地，步驟s4中步驟具體包括：

設(shè)定ib和is滿足關(guān)系式ib＝ish+n，其中h和n是反映ib和is之間的關(guān)系的系數(shù)矩陣；結(jié)合步驟s3所建立的成像模型，則有：

ib＝i0hb+nb＝ish+n

＝(i0hs+ns)h+n

＝i0hsh+nsh+n

通過對比，得到hb＝hsh和nb＝nsh+n，通過該關(guān)系式估計(jì)得到全光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)。

優(yōu)選地，步驟s4中建立的優(yōu)化模型為：通過該優(yōu)化模型得到優(yōu)化解hc，再根據(jù)hbc＝hschc估計(jì)得到全光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)；其中：c＝1,2,3分別表示紅、綠、藍(lán)三通道，ibc為對應(yīng)通道的全光圈下的光場圖像展成的矩陣，isc為對應(yīng)通道的小光圈下的光場圖像展成的矩陣，hsc為步驟s3中模擬得到的小光圈下對應(yīng)通道的單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)展成的矩陣。

優(yōu)選地，所述單透鏡光場相機(jī)為光場1.0架構(gòu)或者光場2.0架構(gòu)。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：本發(fā)明提出的估計(jì)全光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)的方法，首先通過小光圈的光場圖像，估計(jì)出物體所在的平面的絕對距離，然后模擬得到小光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)，最后通過使用全光圈下光場圖像、小光圈下光場圖像以及小光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)建立優(yōu)化模型，從而估計(jì)得到全光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)；由于小光圈下主鏡頭的光瞳直徑小于主鏡頭的整體直徑的0.1倍，因此在模擬點(diǎn)擴(kuò)散函數(shù)時(shí)可不考慮單透鏡的像差，復(fù)雜度降低；也即本發(fā)明中使用間接的方法去估計(jì)得到全光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)，相對于使用盲卷積的方法去得到全光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)而言，能夠降低算法復(fù)雜度，相對于傳統(tǒng)的使用物理裝置去測量得到全光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)而言，可以省掉復(fù)雜的測量步驟從而節(jié)省時(shí)間和成本。

附圖說明

圖1是本發(fā)明優(yōu)選實(shí)施例的估計(jì)全光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)的方法的流程示意圖；

圖2是1.0架構(gòu)的單透鏡光場相機(jī)的結(jié)構(gòu)示意圖；

圖3是2.0架構(gòu)的單透鏡光場相機(jī)的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面對照附圖并結(jié)合優(yōu)選的實(shí)施方式對本發(fā)明作進(jìn)一步說明。

如圖1所示，本發(fā)明優(yōu)選實(shí)施例的估計(jì)全光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)的方法，包括以下步驟：

s1：采用單透鏡光場相機(jī)分別拍攝同一場景的全光圈下的光場圖像和小光圈下的光場圖像，其中全光圈表示單透鏡光場相機(jī)的主鏡頭的光瞳直徑與主鏡頭的整體直徑一致，小光圈表示單透鏡光場相機(jī)的主鏡頭的光瞳直徑與主鏡頭的整體直徑的比值小于0.1；

其中，結(jié)合圖2和圖3，單透鏡光場相機(jī)包括主鏡頭10、光闌20、微透鏡陣列30和傳感器40，其中主鏡頭10為一個(gè)單透鏡，光闌20設(shè)置在主鏡頭10的前方，用來調(diào)節(jié)主鏡頭10光瞳直徑的大??；微透鏡30和傳感器40依次設(shè)置在主鏡頭10的后方，主鏡頭10與微透鏡陣列30之間的距離固定。

優(yōu)選實(shí)施例中，在拍攝光場圖像之前先對單透鏡光場相機(jī)進(jìn)行標(biāo)定校正，對單透鏡光場相機(jī)進(jìn)行標(biāo)定校正的主要目的在于補(bǔ)償單透鏡光場相機(jī)中存在的配準(zhǔn)誤差，如微透鏡陣列30相對傳感器40發(fā)生了傾斜等。對單透鏡光場相機(jī)進(jìn)行標(biāo)定后，拍攝全光圈下的光場圖像，再調(diào)節(jié)光闌20，縮小光闌20的通光直徑以縮小主鏡頭10的光瞳直徑，在小光圈下拍攝同一場景相對清晰的光場圖像。

s2：估計(jì)得到小光圈下的光場圖像上的物體所在平面到主鏡頭之間的絕對距離；

在本實(shí)施例中，采用距離估計(jì)模型估計(jì)得到小光圈下的光場圖像上的物體所在平面(即物平面50)到主鏡頭10之間的絕對距離；其中，對于1.0架構(gòu)的單透鏡光場相機(jī)，該距離估計(jì)模型為已公開的現(xiàn)有技術(shù)中所采用的光場距離估計(jì)方法模型，例如申請?zhí)枮?01610828558.8的專利文獻(xiàn)所公開的距離估計(jì)方法，可以用該文獻(xiàn)中的距離估計(jì)方法來獲取小光圈下的光場圖像上的物體所在平面(即物平面50)到主鏡頭10之間的絕對距離的估計(jì)值l1。對于2.0架構(gòu)的單透鏡光場相機(jī)，可使用現(xiàn)有的深度估計(jì)算法得到小光圈下的光場圖像的深度圖，該深度圖能夠反映物體所在平面的相對距離；采用光場圖像上任一平面作為已知絕對距離的參考面，即可估計(jì)出其余物體所在平面(即物平面50)到主鏡頭10之間的絕對距離的估計(jì)值l1。

s3：獲取單透鏡光場相機(jī)的參數(shù)，模擬得到估計(jì)的絕對距離下小光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)；

獲取的參數(shù)包括：小光圈下主鏡頭10的光瞳直徑d、焦距fmain，單個(gè)微透鏡的直徑d、焦距fmicro，主鏡頭10與微透鏡陣列30之間的距離l2，微透鏡陣列30與傳感器40之間的距離l3，傳感器40的分辨率w×h、像素大小pitch。

如圖2所示的1.0架構(gòu)的單透鏡光場相機(jī)，則有：

fmicro＝l3(1)

建立物體所在平面(物平面50)、主鏡頭10、微透鏡陣列30和傳感器40的坐標(biāo)系，分別為(ξ,η)、(u,v)、(x,y)和(s,t)；利用波動(dòng)光學(xué)模擬得到估計(jì)的絕對距離下小光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)；傳播方法可以采用但不局限于菲涅爾衍射、角譜定理或帶限角譜定理。通過后述的式(2)至(9)推到可得到分別對應(yīng)于紅、綠、藍(lán)三通道的點(diǎn)擴(kuò)散函數(shù)(如式(10))。

傳播方法以使用菲涅爾衍射為例，假設(shè)點(diǎn)光源位于(ξ0,η0)處，則點(diǎn)光源在物體所在平面的復(fù)振幅為：

u1(ξ,η)＝δ(ξ-ξ0,η-η0)(2)

點(diǎn)光源發(fā)出的光經(jīng)過菲涅爾衍射后，到達(dá)主鏡頭所在的平面，則點(diǎn)光源在主鏡頭前的復(fù)振幅為：

其中，表示一次傅里葉變換，其中的fξ和fη為此處傅里葉變換的采樣頻率，λc表示光波的波長(c＝1,2,3時(shí)分別表示紅光、綠光、藍(lán)光的波長)，i為虛數(shù)，k表示波長數(shù)，且有l1為步驟s2估計(jì)得到的小光圈下的光場圖像上的物體所在平面(即物平面50)到主鏡頭10之間的絕對距離。

設(shè)定主鏡頭的光瞳函數(shù)為p(u,v)，則主鏡頭的透過率函數(shù)為：

由于主鏡頭的光瞳直徑很小，故不考慮其波像差。因此，點(diǎn)光源發(fā)出的光波在主鏡頭所在的平面后的復(fù)振幅為：

u3(u,v)＝u2(u,v)pt(u,v)(5)

光波繼續(xù)經(jīng)過菲涅爾衍射傳播至微透鏡陣列平面，則光波在微透鏡陣列前的復(fù)振幅為：

其中，此處傅里葉變換的采樣頻率為fu和fv；

設(shè)定微透鏡陣列由m×n個(gè)微透鏡組成，每個(gè)微透鏡的光瞳函數(shù)為p(x,y)，則光波經(jīng)過單個(gè)微透鏡后的復(fù)振幅為：

此處，由于單個(gè)微透鏡很小，故也不考慮其波像差。光波經(jīng)過微透鏡陣列后，其復(fù)振幅是所有單個(gè)微透鏡后復(fù)振幅的疊加，因此微透鏡陣列后的復(fù)振幅為：

最后，光波再經(jīng)過菲涅爾衍射到達(dá)傳感器所在的平面，則在傳感器所在的平面上的復(fù)振幅為：

其中，此處傅里葉變換的采樣頻率為fx和fy；

光波在傳感器上的光強(qiáng)為：

h(s,t)＝|u1(s,t)|²(10)

式(10)即為模擬得到的小光圈下1.0架構(gòu)的單透鏡光場相機(jī)在估計(jì)的絕對距離下的點(diǎn)擴(kuò)散函數(shù)。其中，式(3)中λc為λ1時(shí)，對應(yīng)推到得到的式(10)即為紅光通道下的點(diǎn)擴(kuò)散函數(shù)；λc為λ2時(shí)，對應(yīng)推到得到的式(10)即為綠光通道下的點(diǎn)擴(kuò)散函數(shù)；λc為λ3時(shí)，對應(yīng)推到得到的式(10)即為藍(lán)光通道下的點(diǎn)擴(kuò)散函數(shù)。

依次模擬物平面上其他位置處的點(diǎn)光源的響應(yīng)，將傳感器上得到的點(diǎn)光源的響應(yīng)圖像展成列向量，構(gòu)成矩陣hs。

如圖3所示的2.0架構(gòu)的單透鏡光場相機(jī)，則有：

l2＝l21+l22(11)

類似地，建立物體所在平面(物平面50)、主鏡頭10、微透鏡陣列30和傳感器40的坐標(biāo)系，分別為(ξ,η)、(u,v)、(x,y)和(s,t)；利用波動(dòng)光學(xué)模擬得到估計(jì)的絕對距離下小光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)。同樣，傳播方法以使用菲涅爾衍射為例，則物平面50上位于處的點(diǎn)光源(ξ0,η0)從物平面至中繼成像面60的傳播與1.0架構(gòu)的單透鏡光場相機(jī)下的點(diǎn)光源從物平面到微透鏡陣列前的傳播一致(式(2)至式(6))。因此，光波在中繼成像面60的復(fù)振幅為：

其中，此處傅里葉變換的采樣頻率為fu和fv；

光波繼續(xù)經(jīng)過菲涅爾衍射傳播至微透鏡陣列平面，則光波在微透鏡陣列前的復(fù)振幅為：

其中，此處傅里葉變換的采樣頻率為fp和fq；

同樣地，光波從微透鏡陣列30前至傳感器40的傳播與1.0架構(gòu)下的傳播一致(式(7)至式(10))，最終得到2.0架構(gòu)的單透鏡光場相機(jī)的矩陣hs。

s4：建立成像模型，并使用全光圈下的光場圖像、小光圈下的光場圖像以及模擬的小光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)建立優(yōu)化模型，估計(jì)得到全光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)。

其中建立的成像模型為：

ib＝i0hb+nb(16)

is＝i0hs+ns(17)

其中，ib是步驟s1中拍攝得到的全光圈下的光場圖像展成的矩陣，is是步驟s1中拍攝得到的小光圈下的光場圖像展成的矩陣，i0表示理想的清晰光場圖像展成的矩陣，它反映的是場景的真實(shí)信息，hb為所需估計(jì)的全光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)展成的矩陣，hs為步驟s3中模擬得到的小光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)展成的矩陣，nb是全光圈下單透鏡光場相機(jī)的噪聲，ns是小光圈下單透鏡光場相機(jī)的噪聲。

在估計(jì)hb時(shí)，設(shè)定ib和is滿足關(guān)系式：

ib＝ish+n(18)

其中h和n是反映ib和is之間的關(guān)系的系數(shù)矩陣；

結(jié)合式(16)和式(17)，則有：

對比式(16)，式(19)表明：

hb＝hsh(20)

nb＝nsh+n(21)

建立優(yōu)化模型：

得到優(yōu)化解hc，其中：c＝1,2,3分別表示紅、綠、藍(lán)三通道，ibc為對應(yīng)通道的全光圈下的光場圖像展成的矩陣，isc為對應(yīng)通道的小光圈下的光場圖像展成的矩陣，hsc為步驟s3中模擬得到的小光圈下對應(yīng)通道的單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)展成的矩陣。得到優(yōu)化解后，進(jìn)一步使用：

hbc＝hschc，c＝1,2,3(23)

來估計(jì)得到全光圈下對應(yīng)通道的單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)展成的矩陣。

通過上述步驟方法估計(jì)得到全光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)，通過估計(jì)出來的點(diǎn)擴(kuò)散函數(shù)可用于圖像去模糊，提高單透鏡光場相機(jī)拍攝的光場圖像的質(zhì)量。本發(fā)明的估計(jì)方法的具體思想為：使用單透鏡光場相機(jī)拍攝全光圈圖像，縮小鏡頭光圈，拍攝小光圈圖像；然后使用距離估計(jì)模型估計(jì)出小光圈光場圖像上物體所在平面的絕對距離，使用波動(dòng)光學(xué)模擬出該估計(jì)距離下相機(jī)在小光圈下的點(diǎn)擴(kuò)散函數(shù)；由于光圈小，模擬點(diǎn)擴(kuò)散函數(shù)時(shí)可不考慮單透鏡的像差，復(fù)雜度降低；最后使用拍攝的兩幅不同光圈下的光場圖像和模擬的小光圈下的單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)建立優(yōu)化模型，間接得到單透鏡光場相機(jī)在全光圈下的點(diǎn)擴(kuò)散函數(shù)。本發(fā)明的方法不同于傳統(tǒng)的盲卷積的方法去估計(jì)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)，也不同于傳統(tǒng)的使用使用物理裝置去測量系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)的方法，而是通過借助模擬小光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)來間接得到全光圈下單透鏡光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)，不僅可以降低算法復(fù)雜度，而且可以省掉復(fù)雜的測量步驟從而節(jié)省時(shí)間和成本。

以上內(nèi)容是結(jié)合具體的優(yōu)選實(shí)施方式對本發(fā)明所作的進(jìn)一步詳細(xì)說明，不能認(rèn)定本發(fā)明的具體實(shí)施只局限于這些說明。對于本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干等同替代或明顯變型，而且性能或用途相同，都應(yīng)當(dāng)視為屬于本發(fā)明的保護(hù)范圍。