本公開涉及光場技術(shù)，具體地，涉及用于估計(jì)未聚焦全光數(shù)據(jù)的深度的方法和裝置。

背景技術(shù)：

本節(jié)意在提供本公開中描述的技術(shù)的各個(gè)實(shí)施例的背景技術(shù)。本節(jié)中的描述可以包括可要求保護(hù)的構(gòu)思，但其不一定是之前已經(jīng)想到或要求保護(hù)的構(gòu)思。因此，除非本文另有指示，否則本節(jié)中描述的內(nèi)容不是本公開的說明書和/或權(quán)利要求書的現(xiàn)有技術(shù)，也不因其僅僅被包含在本節(jié)中而被承認(rèn)為現(xiàn)有技術(shù)。

光場是在計(jì)算機(jī)圖形和視覺技術(shù)中提出的概念，其被定義為在空間的每一點(diǎn)處射向每個(gè)方向的所有光線。光場相機(jī)(也稱為全光相機(jī))是一種使用微透鏡陣列來捕獲關(guān)于場景4d(四維)的光場信息(這是因?yàn)槿S空間中的每個(gè)點(diǎn)還具有一個(gè)方向)的相機(jī)類型。光場相機(jī)的微透鏡陣列剛好位于成像傳感器的前方，其可包括許多具有微小焦距長度的顯微透鏡并將本該成為的2d像素(長度和寬度)在到達(dá)傳感器之前分成單獨(dú)的光線。這與僅使用膠片/傳感器的兩個(gè)可用維度的常規(guī)相機(jī)不同。由于存在微透鏡，所以所得到的由全光相機(jī)捕獲的原始圖像由許多微小圖像組成。

全光相機(jī)能夠捕獲場景的光場信息。然后，在獲取場景的圖像之后，可對光場信息進(jìn)行后處理，以從不同的視點(diǎn)來重構(gòu)這些圖像。這還允許用戶改變圖像的焦點(diǎn)。如上所述，與常規(guī)相機(jī)相比，全光相機(jī)包含用來實(shí)現(xiàn)所提及的目標(biāo)的額外光學(xué)分量。

由未聚焦全光相機(jī)捕獲的全光數(shù)據(jù)被稱為未聚焦(類型1)全光數(shù)據(jù)，由聚焦全光相機(jī)捕獲的全光數(shù)據(jù)被稱為聚焦(類型2)全光數(shù)據(jù)。

在類型1全光相機(jī)(比如lytro)中，微透鏡陣列布置在傳感器的前方。所有微透鏡具有相同的焦距長度，并且微透鏡陣列布置為與傳感器相距一個(gè)焦距長度。該配置獲得最大角分辨率和低空間分辨率。

在具有場景的若干對齊視圖的情況下，對由未聚焦全光相機(jī)捕獲的類型1全光數(shù)據(jù)的一種直覺應(yīng)用是估計(jì)場景的深度。深度估計(jì)的已知解決方案通常通過估計(jì)視圖之間的像素差異來執(zhí)行。

在n.sabater，v.drazic，m.seifi，g.sandri和p.perez所寫的參考文獻(xiàn)“l(fā)ightfieldmultiplexinginganddisparityestimation，hal，2014”(以下簡稱參考文獻(xiàn)1)中討論了一種示例性算法，即塊匹配方法。

更具體地，在參考文獻(xiàn)1的算法中，首先從捕獲的全光數(shù)據(jù)中提取來自不同視點(diǎn)的場景的不同圖像。然后，通過提取全光數(shù)據(jù)的所有視圖，從全光數(shù)據(jù)重構(gòu)視圖矩陣?？紤]到不同視圖上每個(gè)像素的位移與對應(yīng)物體的深度成比例的事實(shí)，該視圖矩陣然后用于估計(jì)場景物體的深度。

對于未聚焦全光數(shù)據(jù)的已知解決方案的估計(jì)方法通常是耗時(shí)的，并且在非紋理區(qū)域上不是很準(zhǔn)確。

在s.wanner和b.goldleuke所寫的參考文獻(xiàn)“variationallightfieldanalysisfordisparityestimationandsuper-resolution，ieeetransactionofpatternanalysisandmachineintelligence，2013”(以下簡稱參考文獻(xiàn)2)中，討論了基于場景的對極圖像的另一示例性的深度估計(jì)方法。參考文獻(xiàn)2提出計(jì)算結(jié)構(gòu)張量(梯度)以判定哪些像素用于估計(jì)差異。

然而，參考文獻(xiàn)2中的深度估計(jì)方法的提出是用于由聚焦相機(jī)捕獲的全光數(shù)據(jù)，因此由于對極圖像的低分辨率而對于未聚焦全光數(shù)據(jù)不是最佳的。

技術(shù)實(shí)現(xiàn)要素：

本公開解決至少一些以上提及的缺點(diǎn)。將參照示例性實(shí)施例詳細(xì)地描述本公開。然而，本公開不限于所述實(shí)施例。

根據(jù)本公開的第一方面，提供了一種用于估計(jì)未聚焦全光數(shù)據(jù)的深度的方法。所述方法包括：確定未聚焦全光數(shù)據(jù)的微透鏡圖像的均勻性級別；根據(jù)所確定的未聚焦全光數(shù)據(jù)的微透鏡圖像的均勻性級別確定未聚焦全光數(shù)據(jù)的微透鏡圖像中差異等于零或?qū)儆诰鶆騾^(qū)域的像素；以及通過對未聚焦全光數(shù)據(jù)的微透鏡圖像的除了所確定的像素之外的像素進(jìn)行差異估計(jì)，估計(jì)未聚焦全光數(shù)據(jù)的深度。

在一個(gè)實(shí)施例中，能夠通過從每個(gè)微透鏡圖像估計(jì)均勻性測量來確定每個(gè)微透鏡圖像的均勻性級別，以及將所估計(jì)的度量指派給相應(yīng)微透鏡圖像的所有像素。在所述實(shí)施例中，創(chuàng)建均勻性圖像。

在一個(gè)實(shí)施例中，能夠通過在三個(gè)顏色通道上計(jì)算每個(gè)微透鏡圖像中的像素的標(biāo)準(zhǔn)差來確定該微透鏡圖像的均勻性級別，以及將所估計(jì)的度量指派給相應(yīng)微透鏡圖像的所有像素。在所述實(shí)施例中，創(chuàng)建均勻性圖像。

在一個(gè)實(shí)施例中，通過以下操作從所創(chuàng)建的均勻性圖像中確定度量視圖矩陣：從未聚焦全光數(shù)據(jù)估計(jì)捕獲未聚焦全光數(shù)據(jù)的全光相機(jī)的每個(gè)微透鏡的中心的位置；以及通過從均勻性圖像中的每個(gè)微透鏡圖像提取位于相對于每個(gè)微透鏡圖像的中心的空間坐標(biāo)(u，v)處的像素，針對所有角坐標(biāo)(u，v)解復(fù)用均勻性圖像的相應(yīng)度量視圖(u，v)。

在一個(gè)實(shí)施例中，能夠通過在三個(gè)顏色通道上計(jì)算未聚焦全光數(shù)據(jù)的視圖矩陣中的多個(gè)視圖上的每個(gè)微透鏡圖像的相應(yīng)像素的均勻性測量(例如，標(biāo)準(zhǔn)差)，從所述視圖矩陣確定每個(gè)微透鏡圖像的均勻性級別，其中視圖矩陣用來表示所述視圖的光場。在一個(gè)實(shí)施例中，通過考慮視圖矩陣中的所有視圖上的空間位置(x，y)處的所有像素來確定原始數(shù)據(jù)上的空間坐標(biāo)(x，y)處針對微透鏡圖像的相應(yīng)像素。在所述實(shí)施例中，創(chuàng)建度量矩陣。

在一個(gè)實(shí)施例中，通過以下操作確定視圖矩陣：從未聚焦全光數(shù)據(jù)估計(jì)捕獲未聚焦全光數(shù)據(jù)的全光相機(jī)的每個(gè)微透鏡的中心的位置；以及通過從每個(gè)微透鏡圖像提取位于相對于每個(gè)微透鏡圖像的中心的空間坐標(biāo)(u，v)處的像素，針對所有角坐標(biāo)(u，v)解復(fù)用未聚焦全光數(shù)據(jù)的相應(yīng)視圖(u，v)。

在一個(gè)實(shí)施例中，能夠通過在考慮針對所述視圖矩陣中的每個(gè)微透鏡圖像的相應(yīng)像素的情況下估計(jì)均勻性測量來確定每個(gè)微透鏡圖像的均勻性級別，以及將所估計(jì)的度量指派給針對每個(gè)微透鏡圖像的相應(yīng)像素中的所有像素。在所述實(shí)施例中，創(chuàng)建度量視圖矩陣。

在一個(gè)實(shí)施例中，能夠通過對所確定的均勻性圖像中的值進(jìn)行閾值分割來確定所述像素。

在一個(gè)實(shí)施例中，能夠通過對所確定的度量視圖矩陣中的值進(jìn)行閾值分割來確定所述像素。

在一個(gè)實(shí)施例中，該方法還包括：對經(jīng)過閾值分割的度量視圖矩陣進(jìn)行處理，以使用形態(tài)濾波器來填充空像素，以形成用于差異估計(jì)的經(jīng)過處理的矩陣。

在一個(gè)實(shí)施例中，能夠通過在三個(gè)顏色通道上計(jì)算微透鏡圖像的標(biāo)準(zhǔn)差來確定微透鏡圖像的均勻性級別。相應(yīng)微透鏡圖像的像素共享所估計(jì)的均勻性度量(例如，標(biāo)準(zhǔn)差)。另一示例將考慮微透鏡圖像的dct變換，并且高頻帶中的信號的能量之和給出了一種均勻性測量。

在一個(gè)實(shí)施例中，針對每個(gè)微透鏡圖像估計(jì)的度量(例如，標(biāo)準(zhǔn)差)被指派給該微透鏡的所有像素，因此，原始數(shù)據(jù)中的每個(gè)像素都被指派有均勻性測量。這些像素的合集給出了在維度上與原始數(shù)據(jù)類似的均勻性圖像。

在一個(gè)實(shí)施例中，能夠通過以下操作確定均勻性測量矩陣：從原始未聚焦全光數(shù)據(jù)估計(jì)捕獲未聚焦全光數(shù)據(jù)的全光相機(jī)的每個(gè)微透鏡的中心的位置；以及通過從每個(gè)微透鏡圖像提取像素來解復(fù)用均勻性圖像的視圖。該方法給出了均勻性度量矩陣。

在一個(gè)實(shí)施例中，關(guān)于具有均勻像素的判定能夠通過對所估計(jì)的度量(例如，標(biāo)準(zhǔn)差或dct變換的高頻能量)的重構(gòu)矩陣進(jìn)行閾值分割來確定。

在一個(gè)實(shí)施例中，該方法還可以包括：對經(jīng)過重構(gòu)的矩陣進(jìn)行處理，以使用形態(tài)濾波器來填充空像素，以形成用于差異估計(jì)的經(jīng)過處理的矩陣。

根據(jù)本公開的第二方面，提供了一種用于估計(jì)未聚焦全光數(shù)據(jù)的深度的裝置。所述裝置包括：第一確定單元，用于確定未聚焦全光數(shù)據(jù)的微透鏡圖像的均勻性級別；第二確定單元，用于根據(jù)所計(jì)算的未聚焦全光數(shù)據(jù)的微透鏡圖像的均勻性級別確定未聚焦全光數(shù)據(jù)的微透鏡圖像中差異等于零或?qū)儆诰鶆騾^(qū)域的像素；以及估計(jì)單元，用于通過在不考慮所確定的像素的情況下進(jìn)行差異估計(jì)來估計(jì)未聚焦全光數(shù)據(jù)的深度。

在一個(gè)實(shí)施例中，所述第一確定單元被配置為：通過從每個(gè)微透鏡圖像估計(jì)均勻性測量來確定均勻性級別，以及將所估計(jì)的度量指派給相應(yīng)微透鏡的所有像素。

在一個(gè)實(shí)施例中，所述第一確定單元被配置為通過以下操作從所創(chuàng)建的均勻性圖像確定度量矩陣：從未聚焦全光數(shù)據(jù)估計(jì)捕獲未聚焦全光數(shù)據(jù)的全光相機(jī)的每個(gè)微透鏡的中心的位置；以及通過從均勻性圖像中的每個(gè)微透鏡圖像提取位于相對于每個(gè)微透鏡圖像的中心的空間坐標(biāo)(u，v)處的像素，針對所有角坐標(biāo)(u，v)解復(fù)用均勻性圖像的相應(yīng)度量視圖(u，v)。

在一個(gè)實(shí)施例中，所述第一確定單元被配置為：通過在三個(gè)顏色通道上計(jì)算未聚焦全光數(shù)據(jù)的視圖矩陣中的多個(gè)視圖上的每個(gè)微透鏡圖像的相應(yīng)像素的均勻性測量(例如，標(biāo)準(zhǔn)差)，從所述視圖矩陣確定每個(gè)微透鏡圖像的均勻性級別，其中視圖矩陣用來表示所述視圖的光場。在一個(gè)實(shí)施例中，通過考慮視圖矩陣中的所有視圖上的空間位置(x，y)處的所有像素來確定原始數(shù)據(jù)上的空間坐標(biāo)(x，y)處針對微透鏡圖像的相應(yīng)像素。

在一個(gè)實(shí)施例中，所述第一確定單元被配置為通過以下操作來確定視圖矩陣：從未聚焦全光數(shù)據(jù)估計(jì)捕獲未聚焦全光數(shù)據(jù)的全光相機(jī)的每個(gè)微透鏡的中心的位置；以及通過從每個(gè)微透鏡圖像提取位于相對于每個(gè)微透鏡圖像的中心的空間坐標(biāo)(u，v)處的像素，針對所有角坐標(biāo)(u，v)解復(fù)用未聚焦全光數(shù)據(jù)的相應(yīng)視圖(u，v)。

在一個(gè)實(shí)施例中，所述第二確定單元被配置為：通過對所確定的度量矩陣進(jìn)行閾值分割來確定所述像素。

在一個(gè)實(shí)施例中，所述第一確定單元被配置為：對經(jīng)過閾值分割的重構(gòu)度量矩陣進(jìn)行處理，以使用形態(tài)濾波器來填充空像素，以形成用于差異估計(jì)的經(jīng)過處理的矩陣。

在一個(gè)實(shí)施例中，所述第一確定單元能夠被配置為：通過重構(gòu)用來表示視圖的光場的全光數(shù)據(jù)的均勻性度量矩陣來確定均勻性級別。

在一個(gè)實(shí)施例中，所述第一確定單元能夠被配置為：通過在三個(gè)顏色通道上計(jì)算未聚焦全光數(shù)據(jù)的視圖矩陣中的多個(gè)視圖上的每個(gè)微透鏡圖像的相應(yīng)像素的均勻性測量(例如，標(biāo)準(zhǔn)差)，從所述視圖矩陣確定每個(gè)微透鏡圖像的均勻性級別，其中視圖矩陣用來表示所述視圖的光場。通過考慮視圖矩陣中的所有視圖上的空間位置(x，y)處的所有像素(創(chuàng)建度量矩陣)來確定原始數(shù)據(jù)上的空間坐標(biāo)(x，y)處針對微透鏡圖像的相應(yīng)像素。

在一個(gè)實(shí)施例中，所述第一確定單元能夠被配置為通過以下操作來確定均勻性級別：從未聚焦全光數(shù)據(jù)估計(jì)捕獲未聚焦全光數(shù)據(jù)的全光相機(jī)的每個(gè)微透鏡的中心的位置；以及通過從每個(gè)微透鏡圖像提取像素來解復(fù)用未聚焦全光數(shù)據(jù)的視圖。

在一個(gè)實(shí)施例中，所述第一確定單元能夠被配置為通過在三個(gè)顏色通道上計(jì)算微透鏡圖像的標(biāo)準(zhǔn)差來確定均勻性級別。

在一個(gè)實(shí)施例中，所述第二確定單元能夠被配置為：通過對所重構(gòu)的度量矩陣進(jìn)行閾值分割來確定所述像素。

在一個(gè)實(shí)施例中，所述第一確定單元能夠被配置為：對經(jīng)過重構(gòu)的矩陣進(jìn)行處理，以使用形態(tài)濾波器來填充空像素，以形成用于差異估計(jì)的經(jīng)過處理的矩陣。

根據(jù)本公開的第三方面，提供了一種包括程序代碼指令的計(jì)算機(jī)程序，可由處理器執(zhí)行所述程序指令代碼，以便實(shí)現(xiàn)根據(jù)本公開的第一方面的方法的步驟。

根據(jù)本公開的第四方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品被存儲在非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)上并包括程序代碼指令，其中可由處理器執(zhí)行所述程序代碼指令以便實(shí)現(xiàn)根據(jù)本公開的第一方面的方法的步驟。

附圖說明

參考附圖，根據(jù)對本公開實(shí)施例的以下描述，本公開的上述和其它目的、特征和優(yōu)點(diǎn)將更清楚，附圖中：

圖1是根據(jù)本公開實(shí)施例的用于估計(jì)未聚焦全光數(shù)據(jù)的深度的方法的流程圖。

圖2示出了解復(fù)用視圖。

圖3是用于估計(jì)由未聚焦全光相機(jī)捕獲的全光數(shù)據(jù)的差異的處理的流程圖。

圖4示出了通過lytro相機(jī)獲得的圖像。

圖5示出了通過白色圖像進(jìn)行劃分而進(jìn)行漸暈校正之后的原始圖像。

圖6示出了圖3中通過矩形示出的區(qū)域處的放大圖。

圖7a和7b示出了針對紅色通道的標(biāo)準(zhǔn)差矩陣和放大圖。

圖8a和8b示出了針對綠色通道的標(biāo)準(zhǔn)差矩陣和放大圖。

圖9a和9b示出了針對藍(lán)色通道的標(biāo)準(zhǔn)差矩陣和放大圖。

圖10a和10b示出了閾值分割的二元掩模和放大圖。

圖11a和11b示出了擴(kuò)張(第一步)的結(jié)果和放大圖。

圖12a和12b示出了侵蝕(第二步)的結(jié)果和放大圖。

圖13示出了使用參考文獻(xiàn)1中描述的塊匹配方法而不使用本公開實(shí)施例的方法估計(jì)的差異的圖像。

圖14示出了考慮了該預(yù)測步驟所估計(jì)的差異的圖像。以及

圖15是根據(jù)本公開實(shí)施例的用于估計(jì)未聚焦全光數(shù)據(jù)的深度的裝置的框圖。

具體實(shí)施方式

以下參照附圖中示出的實(shí)施例來描述本公開。然而，應(yīng)理解，這些描述僅僅提供用于示意目的，而不是限制本公開。此外，以下省略了已知結(jié)構(gòu)和技術(shù)的描述，以免不必要地模糊本公開的構(gòu)思。

圖1是根據(jù)本公開實(shí)施例的用于估計(jì)未聚焦全光數(shù)據(jù)的深度的方法的流程圖。

在步驟s101處，確定未聚焦全光數(shù)據(jù)的微透鏡圖像的均勻性級別。

可以通過從作為光場的表示的全光數(shù)據(jù)重構(gòu)估計(jì)度量矩陣來確定均勻性級別。在估計(jì)每個(gè)微透鏡圖像的均勻性測量(例如，通過計(jì)算標(biāo)準(zhǔn)差或dct變換的高頻帶中的信號的能量之和)之后，將每個(gè)微透鏡圖像的估計(jì)分配給微透鏡的所有像素，因此原始數(shù)據(jù)中的每個(gè)像素都具有分配給它的均勻性測量。這些像素的合集給出了在維度上與原始數(shù)據(jù)類似的均勻性圖像。

在視圖矩陣的重構(gòu)(以及類似地，來自均勻性圖像的度量矩陣)的示例中，首先從捕獲的數(shù)據(jù)中提取來自不同視點(diǎn)的場景的不同圖像，例如：(i)從原始數(shù)據(jù)估計(jì)每個(gè)微透鏡的中心的位置；和(ii)通過提取每個(gè)微透鏡圖像中的空間位置(u，v)處的像素，對所有角坐標(biāo)(u，v)的視圖(u，v)進(jìn)行解復(fù)用。這里，微透鏡圖像對應(yīng)于在傳感器上的每個(gè)微透鏡下形成的圖像。這里的原始數(shù)據(jù)是指相機(jī)收集的數(shù)據(jù)，這些數(shù)據(jù)未經(jīng)過處理。在本實(shí)施例中這稱為未聚焦全光數(shù)據(jù)。

在本實(shí)施例中，解復(fù)用方法用于重構(gòu)矩陣。但是應(yīng)當(dāng)注意，它不限于解復(fù)用，并且其它合適的方法也可以適用。

圖2示出了可以應(yīng)用于全光原始數(shù)據(jù)或所創(chuàng)建的均勻性圖像的視圖解復(fù)用?？梢岳斫?，視圖解復(fù)用解決了從2d原始圖像到視圖矩陣的數(shù)據(jù)轉(zhuǎn)換。解復(fù)用過程包括重新組織原始圖像的像素，使得將捕獲具有一定入射角的光線的所有像素存儲在同一圖像中，從而創(chuàng)建所謂的視圖。每個(gè)視圖都是場景在不同角度下的投影。視圖集合創(chuàng)建一個(gè)塊矩陣，其中，中央視圖存儲捕獲穿過主透鏡的中心部分并照射到傳感器的光線的像素。事實(shí)上，光線的角度信息由微透鏡圖像相對于微透鏡圖像中心的相對像素位置給出。因此，在圖2中，通過從原始數(shù)據(jù)中取出由“#”標(biāo)記的像素來創(chuàng)建視圖(2，3)。圖2的第二部分示出了在角坐標(biāo)(2，3)和(5，6)處的兩個(gè)解復(fù)用視圖。

在這方面的更詳細(xì)的過程在參考文獻(xiàn)1中提供。應(yīng)該指出的是，量度矩陣只是利用均勻性級別的一個(gè)例子。任何其他合適的均勻性估計(jì)方法都可以用于此目的。例如，可以直接對未聚焦全光數(shù)據(jù)進(jìn)行計(jì)算，而不創(chuàng)建度量矩陣。此外，如下所述，本公開的實(shí)施例僅提供用于確定微透鏡圖像均勻性(標(biāo)準(zhǔn)差和dct變換的高頻能量)的兩個(gè)示例。然而，可以使用任何其他方法，例如使用二階統(tǒng)計(jì)、同現(xiàn)矩陣。

在步驟s102處，根據(jù)未聚焦全光數(shù)據(jù)的微透鏡圖像的均勻性級別確定未聚焦全光數(shù)據(jù)的微透鏡圖像中差異等于零或?qū)儆诰鶆騾^(qū)域的像素。

以下示例將給出所述確定的進(jìn)一步細(xì)節(jié)。

在步驟s102中，將利用由未聚焦全光相機(jī)捕獲的未聚焦全光數(shù)據(jù)的結(jié)構(gòu)來預(yù)測(i)屬于場景中聚焦部分的像素(這些像素的估計(jì)差異等于零)，或(ii)屬于場景的非紋理區(qū)域的像素。

在步驟s103處，通過在不考慮通過步驟s102確定的像素的情況下進(jìn)行差異估計(jì)來估計(jì)未聚焦全光數(shù)據(jù)的深度。這對于具有低計(jì)算能力的設(shè)備(例如移動(dòng)電話)是特別有利的，其中差異估計(jì)的負(fù)擔(dān)降低而沒有損失精度。

可以在步驟s103中使用任何合適的已知差異估計(jì)方法，例如參考文獻(xiàn)2中公開的基于場景的對極圖像的方法。在t.e.bishop和p.favaro所寫的參考文獻(xiàn)“full-resolutiondepthmapestimationfromanaliasedplenopticlightfield”，accv2010(以下稱為參考文獻(xiàn)3)中披露了差異估計(jì)的最大后驗(yàn)方法，其也可以在步驟s103中使用。

為了說明實(shí)施例的方法，首先考慮圖2中屬于高度紋理化的視圖ii，j的區(qū)域的像素。這里，視圖ii，j表示視圖矩陣中的行i和列j中的視圖。視圖ii，j上的像素(x，y)的非零差異值d意味著在場景的另一視圖ik，1(視圖ik，1表示視圖矩陣中的行k和列1中的視圖)上，在像素坐標(biāo)(x+d*[k-i]，y+d*[j-1])處對相同的場景點(diǎn)進(jìn)行采樣。也就是說，當(dāng)視圖改變時(shí)，在不同的微透鏡圖像中對相同的場景點(diǎn)進(jìn)行采樣，如圖2所示。這意味著如果以(x，y)為中心的微透鏡圖像是均勻的，則可以推導(dǎo)出成像場景點(diǎn)在所有視圖上在相同的空間坐標(biāo)(x，y)處被采樣。這也意味著相機(jī)鏡頭聚焦在場景的紋理部分。

對于非紋理區(qū)域，即使在不同的不同空間坐標(biāo)處捕獲3d點(diǎn)，也不能使用上述塊匹配方法來估計(jì)位移。塊匹配方法嘗試通過比較均勻區(qū)域中或多或少相同的像素強(qiáng)度來局部地估計(jì)位移。在這種情況下，嘗試估計(jì)像素差異是無用的。這種均勻區(qū)域的差異以0為起始。

根據(jù)本公開的實(shí)施例的方法，通過對原始數(shù)據(jù)進(jìn)行預(yù)先處理，能夠防止任何差異估計(jì)方法在針對以下各項(xiàng)估計(jì)差異上花費(fèi)時(shí)間：(i)聚焦的像素；(ii)屬于場景的均勻區(qū)域的像素。因此，該方法消除了均勻區(qū)域以及捕獲場景的聚焦區(qū)域中的差異估計(jì)的計(jì)算成本。它還減少了由基于塊匹配解決方案的差異估計(jì)方法引入的前景膨脹(foregroundfattening)量。

接下來，將詳細(xì)描述用于確定由未聚焦全光相機(jī)捕獲的未聚焦全光數(shù)據(jù)的微透鏡圖像的均勻性級別的過程。圖3是示出了獲得對于非均勻微透鏡圖像包含1并且對于均勻微透鏡圖像包含0的掩模的處理的流程圖。在步驟s301，例如根據(jù)三個(gè)顏色通道上的微透鏡圖像的標(biāo)準(zhǔn)差確定微透鏡圖像的均勻性級別。

在本實(shí)施例中，提出了在三個(gè)顏色通道上計(jì)算每個(gè)微透鏡圖像的所有像素的標(biāo)準(zhǔn)差。在一個(gè)實(shí)施例中，將對每個(gè)微透鏡圖像的估計(jì)分配給相應(yīng)微透鏡的所有像素，因此原始數(shù)據(jù)中的每個(gè)像素都分配有均勻性測量。這些像素的合集給出了在維度上與原始數(shù)據(jù)類似的均勻性圖像。

應(yīng)當(dāng)注意的是，優(yōu)選地當(dāng)通過任何有效方法近似避免相機(jī)的漸暈時(shí)，圖3的過程的方法起作用。漸暈校正可以使用不同的方法進(jìn)行，并且漸暈校正的細(xì)節(jié)不是本公開的重點(diǎn)。在一個(gè)實(shí)施例中，提供的圖像、原始數(shù)據(jù)被對應(yīng)于相機(jī)的相同焦距和縮放的白色圖像劃分，以校正漸暈。

圖4示出了通過已知lytro相機(jī)獲得的圖像。

圖5示出了通過相應(yīng)白色圖像進(jìn)行劃分而進(jìn)行漸暈校正之后的原始圖像。具有漸暈的主要缺點(diǎn)是視圖矩陣中的照明的差異，即外圍子孔徑視圖被低照明。目前，通過使用相應(yīng)白色圖像來劃分原始數(shù)據(jù)來減小該照明差異。使用相應(yīng)白色圖像的原因是傳感器上的微透鏡圖像的位置取決于相機(jī)參數(shù)，例如相機(jī)的縮放和焦距，因此平坦白色場景的圖像可以提供每個(gè)相機(jī)參數(shù)集的像素的最大可實(shí)現(xiàn)捕獲。因此，白色圖像上的值提供了由于漸暈引起的加權(quán)系數(shù)。

圖6示出了對圖5中通過矩形示出的區(qū)域處的放大圖。在圖6中，示出了在場景的高頻和未聚焦部分上的微透鏡圖像的不均勻性。

為了能夠評估微透鏡圖像的均勻性級別，在本實(shí)施例中將分別處理3個(gè)顏色通道。

可以例如使用參考文獻(xiàn)1中描述的方法來估計(jì)微透鏡圖像中心。然后，利用微透鏡圖像中心，考慮每個(gè)微透鏡圖像，并且該圖像的3個(gè)顏色通道在能量方面獨(dú)立地歸一化。在每個(gè)通道上，計(jì)算歸一化像素的標(biāo)準(zhǔn)差(std)。在一個(gè)實(shí)施例中，將所估計(jì)的均勻性度量(標(biāo)準(zhǔn)差)指派給所有的微透鏡圖像像素，然后存儲在輸出均勻性圖像的相應(yīng)顏色通道中。在一個(gè)實(shí)施例中，然后將該均勻性圖像解復(fù)用，以獲得度量視圖矩陣。圖7a和7b示出了針對紅色通道獲得的一個(gè)標(biāo)準(zhǔn)差度量視圖和放大圖。如圖7a和7b所示，僅考慮紅色通道中的像素。針對每個(gè)微透鏡圖像計(jì)算紅色像素的標(biāo)準(zhǔn)差。如下所述，通過本實(shí)施例的解復(fù)用，將插入空像素來應(yīng)對采樣，因此我們具有沒有標(biāo)準(zhǔn)差的像素。

圖8a和8b示出了針對綠色通道的標(biāo)準(zhǔn)差矩陣和放大圖。類似于紅色通道，僅考慮微透鏡圖像的綠色通道中的像素。

圖9a和9b示出了針對藍(lán)色通道的標(biāo)準(zhǔn)差矩陣和放大圖。只考慮藍(lán)色通道中的像素。在步驟s302中，對步驟s301的結(jié)果進(jìn)行閾值分割處理以獲得二元掩模，顯示哪些像素被估計(jì)為具有等于零的差異或?qū)儆诰鶆騾^(qū)域。在一個(gè)實(shí)施例中，該二元掩模具有與所提取的視圖相同的解復(fù)用模式，以正確地應(yīng)對光場的采樣。

考慮到對于每個(gè)像素來講估計(jì)三個(gè)標(biāo)準(zhǔn)差以分別應(yīng)對顏色通道的事實(shí)，提出同時(shí)對這些值進(jìn)行閾值分割，以將信息合并為單通道判定掩模。

為此，對于每個(gè)通道，設(shè)置標(biāo)準(zhǔn)差的閾值。接下來，對于度量矩陣的每個(gè)像素，如果所有三個(gè)顏色值都小于設(shè)置的閾值，則將該位置處的輸出二元掩模設(shè)置為0。否則，二元掩模被設(shè)置為1。

圖10a和10b示出了針對一個(gè)視圖的閾值分割的二元掩模和放大圖。可以理解，在自然圖像中，色彩通道在模式中相關(guān)，這意味著在三個(gè)通道中可以看到類似的高頻內(nèi)容。這就是為什么在一個(gè)實(shí)施例中三個(gè)通道被同時(shí)進(jìn)行閾值分割。

在步驟s303中，用形態(tài)濾波器填充解復(fù)用的空像素。這也可以在度量矩陣上執(zhí)行。

在步驟s303中，對于其相鄰像素，應(yīng)用形態(tài)濾波來填充被插入以應(yīng)對采樣的空像素。這也可以在度量矩陣上執(zhí)行。這個(gè)步驟的結(jié)果可以用來判定差異是否應(yīng)該被估計(jì)。

通過步驟s301獲得的度量矩陣和通過步驟s302獲得的二元掩模都遵循光場的解復(fù)用模式，即，將空像素插入到不存在的微透鏡的位置以遵循對光場的采樣。與直接使用步驟s301獲得的二元掩模進(jìn)行差異估計(jì)的判定相比，具有附加步驟s302和s303的該實(shí)施例減少了差異估計(jì)的計(jì)算成本。

根據(jù)一個(gè)實(shí)施例，對步驟s302的結(jié)果應(yīng)用形態(tài)濾波，以根據(jù)其相鄰像素填充空像素。當(dāng)使用解復(fù)用(例如參考文獻(xiàn)1中討論的內(nèi)容)時(shí)，這是需要的。接下來，將給出該步驟的更詳細(xì)的描述。

在一個(gè)實(shí)施例中，定義了作為1的2×2矩陣的結(jié)構(gòu)元素(se)，并且(第一步)二元掩模由這種結(jié)構(gòu)元素se擴(kuò)張而來；和(第二步)第一步的結(jié)果被相同的結(jié)構(gòu)元素se侵蝕。這兩個(gè)步驟的組合稱為掩模的形態(tài)閉合。

圖11a和11b示出了擴(kuò)張(第一步)的結(jié)果和放大圖。

圖12a和12b示出了侵蝕(第二步)的結(jié)果和放大圖。

結(jié)果圖像僅包含0和1，其中0指的是已經(jīng)知道不需要差異估計(jì)的所確定像素，并且1指的是需要差異估計(jì)的像素。

步驟s303的結(jié)果可以用于任何差異估計(jì)方法來估計(jì)未聚焦全光數(shù)據(jù)的深度。因此，將通過差異估計(jì)來估計(jì)深度，而不考慮具有等于零的差異或?qū)儆诰鶆騾^(qū)域的所確定的像素。

在圖4所示的圖像上，結(jié)果表明，超過70％的像素不需要差異估計(jì)。

接下來，將使用本實(shí)施例的方法生成的差異圖與沒有使用該方法的差異圖進(jìn)行比較。

圖13示出了使用參考文獻(xiàn)1中描述的塊匹配方法而不使用本公開實(shí)施例的方法估計(jì)的差異的圖像。

圖14示出了使用本公開實(shí)施例的方法估計(jì)的差異的圖像。如圖14所示，與圖13的情況相比，較少數(shù)量的像素需要差異估計(jì)。這些像素被良好地檢測為包含場景的焦點(diǎn)部分上的高頻。此外，與圖13相比，去除了塊匹配方法的前景膨脹，這可以通過觀察該差異圖上的窄邊緣來觀察。

在參考文獻(xiàn)1中描述的塊匹配方法用于深度估計(jì)的情況下，由于所提出的差異預(yù)期的預(yù)處理模塊，結(jié)果的準(zhǔn)確性增加。塊匹配方法受到前景膨脹效應(yīng)的影響，意味著場景邊緣上估計(jì)的差異是準(zhǔn)確的，但在離開邊緣的近處的情況下，背景像素的差異被錯(cuò)誤地估計(jì)為等于邊緣的差異，即，差異圖上的邊緣膨脹。這導(dǎo)致在前景邊緣周圍具有錯(cuò)誤的背景差異值。本公開的實(shí)施例可以通過精確地檢測邊緣和模糊的高頻并且丟棄其他地方的差異估計(jì)來防止差異圖不準(zhǔn)確。

圖15是根據(jù)本公開實(shí)施例的用于估計(jì)未聚焦全光數(shù)據(jù)的深度的裝置的框圖。

如圖15所示，用于估計(jì)未聚焦全光數(shù)據(jù)的深度的裝置1500包括：第一確定單元1501，用于確定未聚焦全光數(shù)據(jù)的微透鏡圖像的均勻性級別。

裝置1500還包括：第二確定單元1502，用于根據(jù)所計(jì)算的未聚焦全光數(shù)據(jù)的微透鏡圖像的均勻性級別確定未聚焦全光數(shù)據(jù)的微透鏡圖像中差異等于零或?qū)儆诰鶆騾^(qū)域的像素。

裝置1500還包括：估計(jì)單元1503，用于通過在不考慮所確定的像素的情況下進(jìn)行差異估計(jì)來估計(jì)未聚焦全光數(shù)據(jù)的深度。

裝置1500能夠用于對由全光相機(jī)捕獲的未聚焦全光數(shù)據(jù)進(jìn)行后處理。為此目的，裝置1500能夠嵌入到全光相機(jī)中或被提供為單獨(dú)的設(shè)備。

應(yīng)理解，本公開可以實(shí)現(xiàn)為多種形式的硬件、軟件、固件、專用處理器或其結(jié)合。此外，軟件優(yōu)選地實(shí)現(xiàn)為有形地包含在程序存儲設(shè)備上的應(yīng)用程序。應(yīng)用程序可以上傳至包括任何合適架構(gòu)的機(jī)器并由其執(zhí)行。優(yōu)選地，機(jī)器實(shí)現(xiàn)在具有硬件的計(jì)算機(jī)平臺上，所述硬件如一個(gè)或多個(gè)中央處理單元(cpu)、隨機(jī)存取存儲器(ram)和輸入/輸出(i/o)接口。計(jì)算機(jī)平臺還包括操作系統(tǒng)和微指令代碼。這里描述的各種處理和功能可以是可經(jīng)由操作系統(tǒng)執(zhí)行的微指令代碼的一部分或應(yīng)用程序的一部分(或其組合)。此外，各種其他外圍設(shè)備可以連接至計(jì)算機(jī)平臺，如附加數(shù)據(jù)存儲設(shè)備和打印設(shè)備。

以上參考本公開的實(shí)施例描述了本公開。然而，這些實(shí)施例僅用于說明目的，而不是為了限制本公開。通過所附權(quán)利要求及其等同物來限定本公開的范圍。本領(lǐng)域技術(shù)人員可以進(jìn)行多種變型和修改，而不脫離本公開的范圍，其中這些變型和修改都落入在本公開的范圍內(nèi)。