專利名稱：動(dòng)態(tài)場景的散焦深度估計(jì)和全聚焦圖像獲取方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，特別涉及一種動(dòng)態(tài)場景的散焦深度估計(jì)和全聚焦圖像獲取方法。
背景技術(shù)：
如何從三維場景采集所成的ニ維圖像序列恢復(fù)場景的深度信息是計(jì)算機(jī)視覺領(lǐng)域ー個(gè)重要的研究內(nèi)容。通常利用所采集到的深度線索來推測場景的深度，如基于多視角的深度估計(jì)、基于陰影的深度估計(jì)、散焦的深度估計(jì)、聚焦深度估計(jì)等等，此外還有ー些方法通過向場景投射主動(dòng)光的方式來估計(jì)場景的深度。散焦深度估計(jì)自Pentland提出以來便一直受到人們的關(guān)注，主要有基于單張的散焦圖像和基于多張散焦圖像的方法?；趩螐埳⒔箞D像的散焦深度估計(jì)算法由于問題的欠定性通常不能獲得令人滿意的深度估計(jì)結(jié)果?；诙鄰埳⒔箞D像的深度估計(jì)算法，主要有局部的方法和全局的方法，局部的方法如一些采用局部窗的空域或者頻域的方法通常會(huì)產(chǎn)生邊緣或者窗效應(yīng)，而ー些全局的方法的算法復(fù)雜度通常比較高。傳統(tǒng)的散焦深度估計(jì)算法在求解過程通常會(huì)消除場景輻射度(全聚焦圖像)的估計(jì)而只估計(jì)場景的深度。此夕卜，現(xiàn)有對(duì)于動(dòng)態(tài)場景的散焦深度估計(jì)研究的工作相對(duì)較少的主要原因是很難采集到動(dòng)態(tài)場景在某ー時(shí)刻下的多張聚焦于不同深度下的散焦圖像。

發(fā)明內(nèi)容
本發(fā)明的目的g在至少解決上述的技術(shù)問題之一。為此，本發(fā)明的目的在于提出了一種動(dòng)態(tài)場景的散焦深度估計(jì)和全聚焦圖像獲取方法，該方法能夠?qū)崿F(xiàn)動(dòng)態(tài)場景的高質(zhì)量捕獲和深度信息提取，得到深度估計(jì)結(jié)果和全清晰圖像后可以進(jìn)行合成光圈、小視角自由視點(diǎn)等應(yīng)用，容易實(shí)現(xiàn)。為達(dá)到上述目的，本發(fā)明的實(shí)施例提出了一種動(dòng)態(tài)場景的散焦深度估計(jì)和全聚焦圖像獲取方法，包括以下步驟獲取多張散焦圖像的第一深度圖以及全局不一致的模糊核，根據(jù)所述全局不一致的模糊核對(duì)所述多張散焦圖像進(jìn)行全局不一致的去模糊化以得到初始的全聚焦圖像，井根據(jù)所述初始的全聚焦圖像和所述第一深度圖進(jìn)行反饋迭代優(yōu)化以得到每ー時(shí)刻的全聚焦圖像和第二深度圖；對(duì)所述每ー時(shí)刻的全聚焦圖像進(jìn)行顏色分割以得到多個(gè)顏色分割區(qū)域，根據(jù)所述第二深度圖獲得所述每個(gè)顔色分割區(qū)域的區(qū)域深度圖，對(duì)每個(gè)所述區(qū)域深度圖進(jìn)行平面擬合以更新所述第二深度圖，并在空間上精化更新后的第二深度圖以得到第三深度圖，根據(jù)所述多張散焦圖像和所述第三深度圖進(jìn)行去模糊優(yōu)化以得到優(yōu)化的全聚焦圖像；以及對(duì)所述優(yōu)化的全聚焦圖像進(jìn)行光流估計(jì)以得到光流估計(jì)結(jié)果，根據(jù)所述光流估計(jì)結(jié)果對(duì)所述第三深度圖進(jìn)行平滑，在時(shí)間上精化第三深度圖以得到時(shí)間一致的深度估計(jì)結(jié)果。
根據(jù)本發(fā)明實(shí)施例的動(dòng)態(tài)場景的散焦深度估計(jì)和全聚焦圖像獲取方法，對(duì)于更富有挑戰(zhàn)的數(shù)據(jù)(如紋理不豐富的場景)能獲得更好的深度估計(jì)結(jié)果，井能獲得全聚焦的圖像。同時(shí)，在空間和時(shí)間上精化深度可以獲得更加精確的動(dòng)態(tài)場景深度估計(jì)結(jié)果和全聚焦圖像，井能保證深度圖時(shí)間上的一致性。此外，得到深度估計(jì)結(jié)果和全清晰圖像后還可以進(jìn)行合成光圈、小視角自由視點(diǎn)等應(yīng)用。在本發(fā)明的一個(gè)實(shí)施例中，聚焦于深度為s下的特定景深的散焦圖像為h (y) = fnefl2 K (y, x)/(x)c/x其中，I為所述全聚焦圖像，X和y均表示ニ維像素坐標(biāo)，Q G R2表示像素坐標(biāo)X的取值范圍，hjy，x)為模糊核，所述hjy，x)可用高斯模型近似
,,、 I, Ily-x||2K(y^)=~~；
2^0- (y)2 cr (y)，其中，O (y)為對(duì)應(yīng)像素y和深度相關(guān)的模糊量，O (y) = y b (y),
, Dv.l I I I^(y) = — I ----TT I
2 F V ベ y)，其中，b為所述像素y處的模糊半徑，F(xiàn)為焦距，D為光圈直徑，V為像距，s為物距，Y為校準(zhǔn)參數(shù)。此外，對(duì)所述第一深度圖獲取為S = arg min Es = arg min(五ゾ + aEJ)，其中,ぶ為獲取的所述第一深度圖，Es為深度獲取過程中的能量項(xiàng)，a為正則項(xiàng)系數(shù)，Ems為正則項(xiàng)，所述正則項(xiàng)使用深度圖梯度的LI范數(shù)稀疏先驗(yàn)，め=f||V5(y) I Idy，當(dāng)對(duì)于兩幅聚焦于不同深度的圖像ら、I2時(shí)，深度獲取過程中的數(shù)據(jù)項(xiàng)為E/ (5) = [ H(Aa(y)) \ \ I1 (y) -11 (y) 112 ^ + J (I - H(Aa(y))) \ \ I2 (y) -12 (y) 112 dy其中H(0為階躍函數(shù)。在本發(fā)明的一個(gè)實(shí)施例中，獲得所述初始的全聚焦圖像的過程為1 = arg min E1 = arg min(五/ +a Em')其中，/為獲得的所述初始的全聚焦圖像，Ei為所述初始的全聚焦圖像獲取過程中的優(yōu)化能量項(xiàng)，a為所述正則項(xiàng)系數(shù)，En/(I)為正則項(xiàng)，所述正則項(xiàng)使用自然圖像梯度的LI
范數(shù)稀疏先驗(yàn)，^CO= |liv/(y川為所述初始的全聚焦圖像獲取過程中的數(shù)據(jù)項(xiàng)為EJ(I) =H 丨Zzai (y,+其中，\\為所述散焦圖像I:、I2全局不一致的模糊核。在本發(fā)明的一個(gè)實(shí)施例中，所述根據(jù)初始的全聚焦圖像和所述第一深度圖進(jìn)行反饋迭代優(yōu)化，包括如下步驟將所述全聚焦過程的能量項(xiàng)作為反饋以輔助對(duì)所述第一深度圖的進(jìn)一步估計(jì)，其中，當(dāng)所述散焦視頻序列包括兩張散焦圖像吋，反饋的能量項(xiàng)為E/(s) =II f K1 (y5 x)/(x) Jx - Z1 (y) 112 +11 j (y, x)/(x) Jx - Z2 (y) 112.
對(duì)所述反饋能量項(xiàng)、所述深度估計(jì)數(shù)據(jù)項(xiàng)和所述正則項(xiàng)進(jìn)行優(yōu)化深度估計(jì)，ぞ=arg mjn E = arS mjn(五ノ + aEJ + Pe/)
")其中，Ems為所述正則項(xiàng)，E/為所述深度估計(jì)數(shù)據(jù)項(xiàng)，E/為所述反饋能量項(xiàng)。在本發(fā)明的另ー個(gè)實(shí)施例中，在空間上精化深度，包括以下步驟對(duì)所述每ー時(shí)刻的全聚焦圖像采用均值漂移Mean-Shift算法進(jìn)行顏色分割；設(shè)每個(gè)區(qū)域分割圖〗(X)表示為s(x) = akx+bky+ck = [x y I] [ak bk ck]T,
其中，[x y I]為X的圖像齊次坐標(biāo)，(ak，bk，ck)T為待求的平面參數(shù)；對(duì)每個(gè)所述區(qū)域深度圖進(jìn)行平面擬合，得到優(yōu)化的平面參數(shù)(ak% b；, c；)T，根據(jù)所述優(yōu)化的平面參數(shù)與所述s(x) = akx+bky+ck = [x y I] [ak bk ck]T更新所述第二深度圖以獲得所述第三深度圖；獲得空間上精化的第三深度估計(jì)結(jié)果后，并再次根據(jù)所述1 = ar§m/n= argmin(i ；，利用所述散焦圖像和所述第三深度圖去模糊得到優(yōu)化的全聚焦圖像。在本發(fā)明的一個(gè)實(shí)施例中，在時(shí)間上精化深度，還包括以下步驟獲得在t時(shí)刻的所述全聚焦圖像為It和所述深度圖為st，在t+1時(shí)刻的所述全聚焦圖像為It+1和所述深度圖為st+1 ；對(duì)所述t時(shí)刻和所述t+1時(shí)刻的所述全聚焦圖像It和It+1之間進(jìn)行光流估計(jì)以獲得所述光流估計(jì)的結(jié)果Tt, t+1;保持所述深度圖St不變,將所述深度圖st+1作為初值,通過優(yōu)化能量項(xiàng)^ = arSin IlH22 +スIl V毛+! Ili更新所述st+1,獲得所述時(shí)間一致的深度
估計(jì)結(jié)果。本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中圖I為根據(jù)本發(fā)明實(shí)施例的動(dòng)態(tài)場景的散焦深度估計(jì)和全聚焦圖像獲取方法的流程圖；圖2為根據(jù)本發(fā)明ー個(gè)實(shí)施例的動(dòng)態(tài)場景的散焦深度估計(jì)和全聚焦圖像獲取方法的方框圖；和圖3為根據(jù)本發(fā)明實(shí)施例的動(dòng)態(tài)場景的散焦深度估計(jì)和全聚焦圖像獲取方法的進(jìn)ー步流程圖。
具體實(shí)施例方式下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。下文的公開提供了許多不同的實(shí)施例或例子用來實(shí)現(xiàn)本發(fā)明的不同結(jié)構(gòu)。為了簡化本發(fā)明的公開，下文中對(duì)特定例子的部件和設(shè)置進(jìn)行描述。當(dāng)然，它們僅僅為示例，并且目的不在于限制本發(fā)明。此外，本發(fā)明可以在不同例子中重復(fù)參考數(shù)字和/或字母。這種重復(fù)是為了簡化和清楚的目的，其本身不指示所討論各種實(shí)施例和/或設(shè)置之間的關(guān)系。此夕卜，本發(fā)明提供了的各種特定的エ藝和材料的例子，但是本領(lǐng)域普通技術(shù)人員可以意識(shí)到其他エ藝的可應(yīng)用于性和/或其他材料的使用。另外，以下描述的第一特征在第二特征之“上”的結(jié)構(gòu)可以包括第一和第二特征形成為直接接觸的實(shí)施例，也可以包括另外的特征形成在第一和第二特征之間的實(shí)施例，這樣第一和第二特征可能不是直接接觸。 參照下面的描述和附圖，將清楚本發(fā)明的實(shí)施例的這些和其他方面。在這些描述和附圖中，具體公開了本發(fā)明的實(shí)施例中的ー些特定實(shí)施方式，來表示實(shí)施本發(fā)明的實(shí)施例的原理的ー些方式，但是應(yīng)當(dāng)理解，本發(fā)明的實(shí)施例的范圍不受此限制。相反，本發(fā)明的實(shí)施例包括落入所附加權(quán)利要求書的精神和內(nèi)涵范圍內(nèi)的所有變化、修改和等同物。下面參照?qǐng)DI至圖3描述根據(jù)本發(fā)明實(shí)施例的動(dòng)態(tài)場景的散焦深度估計(jì)和全聚焦圖像獲取方法。如圖I所示，本發(fā)明實(shí)施例提出的動(dòng)態(tài)場景的散焦深度估計(jì)和全聚焦圖像獲取方法包括以下步驟S101，獲取多張散焦圖像的第一深度圖以及全局不一致的模糊核，根據(jù)全局不一致的模糊核對(duì)多張散焦圖像進(jìn)行全局不一致的去模糊化以得到初始的全聚焦圖像，并根據(jù)初始的全聚焦圖像和第一深度圖進(jìn)行反饋迭代優(yōu)化以得到每ー時(shí)刻的全聚焦圖像和第二深度圖。其中，利用特定的圖像采集設(shè)備采集動(dòng)態(tài)場景的散焦視頻序列，散焦視頻序列為每ー時(shí)刻為多張聚焦于不同深度下的散焦圖像。具體地，在本發(fā)明的一個(gè)實(shí)施例中，如圖2所示，假設(shè)每一時(shí)刻的散焦圖像為兩張聚焦于不同深度下的散焦圖像I1和I2，則聚焦于深度為s下的特定景深的散焦圖像為
他)=しA(Lx)7Wx⑴其中，I為全聚焦圖像，X和y均表示ニ維像素坐標(biāo)，Q G R2表示像素坐標(biāo)X的取值范圍，h。(y, x)為模糊核。而h。(y, x)可用高斯模型近似
財(cái)▲蝴-驗(yàn)⑴其中，O (y)為對(duì)應(yīng)像素y和深度相關(guān)的模糊量，表示為O (y) = y b (y),
, Dv.l I I I
%) = -!-------I
2 F V s(y)(3 )其中，b為像素y處的模糊半徑，F(xiàn)為焦距，D為光圈直徑，v為像距，s為物距(深度)，Y為校準(zhǔn)參數(shù)。在本發(fā)明的一個(gè)實(shí)施例中，選定圖像I1U2為聚焦平面為V1、V2設(shè)置下所獲得的散焦圖像，則利用上述的卷積模型可以獲得對(duì)于兩幅聚焦于不同深度的圖像ら、I2之間的相對(duì)模糊卷積模型
權(quán)利要求
1.一種動(dòng)態(tài)場景的散焦深度估計(jì)和全聚焦圖像獲取方法，其特征在于，包括以下步驟 獲取多張散焦圖像的第一深度圖以及全局不一致的模糊核，根據(jù)所述全局不一致的模糊核對(duì)所述多張散焦圖像進(jìn)行全局不一致的去模糊化以得到初始的全聚焦圖像，并根據(jù)所述初始的全聚焦圖像和所述第一深度圖進(jìn)行反饋迭代優(yōu)化以得到每一時(shí)刻的全聚焦圖像和第二深度圖； 對(duì)所述每一時(shí)刻的全聚焦圖像進(jìn)行顏色分割以得到多個(gè)顏色分割區(qū)域，根據(jù)所述第二深度圖獲得所述每個(gè)顏色分割區(qū)域的區(qū)域深度圖，對(duì)每個(gè)所述區(qū)域深度圖進(jìn)行平面擬合以更新所述第二深度圖，并在空間上精化更新后的第二深度圖以得到第三深度圖，根據(jù)所述多張散焦圖像和所述第三深度圖進(jìn)行去模糊優(yōu)化以得到優(yōu)化的全聚焦圖像；以及 對(duì)所述優(yōu)化的全聚焦圖像進(jìn)行光流估計(jì)以得到光流估計(jì)結(jié)果，根據(jù)所述光流估計(jì)結(jié)果對(duì)所述第三深度圖進(jìn)行平滑，在時(shí)間上精化第三深度圖以得到時(shí)間一致的深度估計(jì)結(jié)果。
2.如權(quán)利要求I所述的動(dòng)態(tài)場景的散焦深度估計(jì)和全聚焦圖像獲取方法，其特征在于，聚焦于深度為s下的特定景深的散焦圖像為
3.如權(quán)利要求2所述的動(dòng)態(tài)場景的散焦深度估計(jì)和全聚焦圖像獲取方法，其特征在于，對(duì)所述第一深度圖的獲取為
4.如權(quán)利要求1-3任一項(xiàng)所述的動(dòng)態(tài)場景的散焦深度估計(jì)和全聚焦圖像獲取方法，其特征在于，獲得所述初始的全聚焦圖像的過程為I = arg min E1 = arg m}n(E: + aEm1)其中，/為獲得的所述初始的全聚焦圖像，Ei為所述初始的全聚焦圖像獲取過程中的優(yōu)化能量項(xiàng)，a為所述正則項(xiàng)系數(shù)，E1/⑴為正則項(xiàng)，所述正則項(xiàng)使用自然圖像梯度的LI范數(shù)稀疏先驗(yàn)，
5.如權(quán)利要求4所述的動(dòng)態(tài)場景的散焦深度估計(jì)和全聚焦圖像獲取方法，其特征在于，所述根據(jù)初始的全聚焦圖像和所述第一深度圖進(jìn)行反饋迭代優(yōu)化，包括如下步驟 將所述全聚焦過程的能量項(xiàng)作為反饋以輔助對(duì)所述第一深度圖的進(jìn)一步估計(jì)，其中，當(dāng)所述散焦視頻序列包括兩張散焦圖像時(shí)，反饋的能量項(xiàng)為
6.如權(quán)利要求1-5任一項(xiàng)所述的動(dòng)態(tài)場景的散焦深度估計(jì)和全聚焦圖像獲取方法，其特征在于，在空間上精化深度，包括以下步驟對(duì)所述每一時(shí)刻的全聚焦圖像采用均值漂移Mean-Shift算法進(jìn)行顏色分割； 設(shè)每個(gè)區(qū)域分割圖〖(X)表示為s(x) = akx+bky+ck = [x y I] [ak bk ck]T, 其中，[x y I]為x的圖像齊次坐標(biāo)，(ak，bk，ck)T為待求的平面參數(shù)； 對(duì)每個(gè)所述區(qū)域深度圖進(jìn)行平面擬合，得到優(yōu)化的平面參數(shù)(ak% b；, c；)T，根據(jù)所述優(yōu)化的平面參數(shù)與所述S(X) = akx+bky+ck = [x y I] [ak bk ck]T更新所述第二深度圖以獲得所述第三深度圖； 獲得空間上精化的第三深度估計(jì)結(jié)果后，并再次根據(jù)所述
7.如權(quán)利要求6所述的動(dòng)態(tài)場景的散焦深度估計(jì)和全聚焦圖像獲取方法，其特征在于，在時(shí)間上精化深度，還包括以下步驟 獲得在t時(shí)刻的所述全聚焦圖像為It和所述深度圖為St，在t+1時(shí)刻的所述全聚焦圖像為It+1和所述深度圖為Stn ; 對(duì)所述t時(shí)刻和所述t+1時(shí)刻的所述全聚焦圖像It和It+1之間進(jìn)行光流估計(jì)以獲得所述光流估計(jì)的結(jié)果Tt,t+1; 保持所述深度圖St不變，將所述深度圖st+1作為初值，通過優(yōu)化能量項(xiàng)
全文摘要
本發(fā)明提出一種動(dòng)態(tài)場景的散焦深度估計(jì)和全聚焦圖像獲取方法，包括以下步驟獲取多張散焦圖像的第一深度圖以及全局不一致的模糊核，采用基于散焦深度估計(jì)和圖像去模糊算法進(jìn)行反饋迭代優(yōu)化以得到每一時(shí)刻的全聚焦圖像和第二深度圖；對(duì)每一時(shí)刻的全聚焦圖像進(jìn)行顏色分割后對(duì)深度圖進(jìn)行平面擬合，并進(jìn)行空間上的精化以得到第三深度圖，并重新優(yōu)化以得到優(yōu)化的全聚焦圖像；對(duì)優(yōu)化的全聚焦圖像進(jìn)行光流估計(jì)后對(duì)第三深度圖進(jìn)行平滑，在時(shí)間上精化第三深度圖以得到時(shí)間一致的深度估計(jì)結(jié)果。該方法可以獲得更精確的動(dòng)態(tài)場景深度估計(jì)結(jié)果和全清晰圖像，容易實(shí)現(xiàn)。
文檔編號(hào)G06T7/00GK102663721SQ201210096529
公開日2012年9月12日 申請(qǐng)日期2012年4月1日 優(yōu)先權(quán)日2012年4月1日
發(fā)明者戴瓊海, 林星, 索津莉 申請(qǐng)人:清華大學(xué)