本發(fā)明涉及圖像處理
技術(shù)領(lǐng)域：
，特別是一種基于多聚焦圖像的景深信息獲取方法及其應(yīng)用該方法的系統(tǒng)、拍攝終端。
背景技術(shù)：
：絕大多數(shù)的攝影設(shè)備都是將光學(xué)鏡頭捕捉到的三維場(chǎng)景信息投影在二維圖像上，由此會(huì)丟失許多的場(chǎng)景信息，尤其是場(chǎng)景中的深度信息難以通過(guò)傳統(tǒng)手段來(lái)從單張圖像上獲取。而許多的圖像計(jì)算都需要甚至依賴深度信息來(lái)獲得更精確、更真實(shí)的計(jì)算結(jié)果，例如背景虛化計(jì)算，其模糊核以及模糊半徑都是關(guān)聯(lián)于物距(即景深)，另外，圖像分割、場(chǎng)景識(shí)別等等技術(shù)都能在景深信息的輔助下大幅提升其效果。傳統(tǒng)方法中在多張圖像信息中獲取景深的方法主要是通過(guò)雙目攝像，通過(guò)不同視角下物體位置偏差來(lái)計(jì)算景深，具有實(shí)現(xiàn)方便，精度較高等優(yōu)點(diǎn)，但是硬件成本相對(duì)提高，許多手持設(shè)備都不滿足其條件；另外，還可以在底層推動(dòng)模組，根據(jù)聚焦時(shí)像距反求物距，但它要控制底層硬件，而且效率較低。為了解決硬件問(wèn)題，現(xiàn)有技術(shù)中已有多種通過(guò)軟件算法來(lái)獲取景深信息的方法，例如：根據(jù)估計(jì)模糊核或試探模糊核反求模糊半徑，根據(jù)模糊半徑推倒景深信息；或者，還可通過(guò)機(jī)器學(xué)習(xí)的方式，通過(guò)訓(xùn)練獲取景深信息等等，但所需數(shù)據(jù)量都比較大，導(dǎo)致計(jì)算量大、計(jì)算效率低等問(wèn)題。技術(shù)實(shí)現(xiàn)要素：本發(fā)明為解決上述問(wèn)題，提供了一種基于多聚焦圖像的景深信息獲取方法、系統(tǒng)及拍攝終端，其通過(guò)計(jì)算區(qū)域方差來(lái)進(jìn)行景深估算，從而得到景深信息圖，算法簡(jiǎn)單，計(jì)算量小，計(jì)算效率高。為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案為：首先，本發(fā)明提供一種基于多聚焦圖像的景深信息獲取方法，其包括以下步驟：10.獲取相同場(chǎng)景、相同視角、不同聚焦的兩張以上原始圖像；20.分別計(jì)算所述不同聚焦的原始圖像的指定區(qū)域的區(qū)域方差；30.根據(jù)所述區(qū)域方差對(duì)所述指定區(qū)域進(jìn)行深度標(biāo)記，得到景深估算圖；40.利用所述原始圖像對(duì)所述景深估算圖進(jìn)行導(dǎo)向?yàn)V波，得到精化的景深信息圖。優(yōu)選的，所述的步驟10中，所述原始圖像是利用拍攝終端在相同場(chǎng)景、相同視角的情況下，分別拍攝出近景聚焦圖像、遠(yuǎn)景聚焦圖像、中段聚焦圖像作為所述原始圖像。優(yōu)選的，所述的步驟20中，所述區(qū)域方差的計(jì)算方法為：Vari(x,y)=1nΣu,v(Ii(n,v)-μi(n,v))2;]]>其中，(Ii(u，v)表示所述原始圖像中的第i張圖像在(u,v)像素點(diǎn)的像素值，(u,v)為(x,y)像素點(diǎn)附近的n個(gè)像素點(diǎn)，μi(u，v)表示該n個(gè)像素點(diǎn)的像素值的均值，Vari(x，y)表示所述原始圖像中的第i張圖像在(u,v)像素點(diǎn)的方差。優(yōu)選的，所述的步驟30中，所述深度標(biāo)記進(jìn)一步包括：31.通過(guò)比較所述區(qū)域方差的大小獲得所述指定區(qū)域的深度標(biāo)記；32.對(duì)所述指定區(qū)域的深度標(biāo)記進(jìn)行標(biāo)記填補(bǔ)，得到初步景深估算圖；33.對(duì)所述深度標(biāo)記進(jìn)一步劃分近景標(biāo)記和遠(yuǎn)景標(biāo)記，得到最終景深估算圖。優(yōu)選的，所述的步驟40中，利用所述原始圖像對(duì)所述景深估算圖進(jìn)行導(dǎo)向?yàn)V波，是通過(guò)以所述原始圖像作為引導(dǎo)圖像，以所述景深估算圖作為目標(biāo)圖像，對(duì)所述景深估算圖進(jìn)行濾波處理。其次，本發(fā)明提供一種基于多聚焦圖像的景深信息獲取系統(tǒng)，其包括：圖像采集模塊，用于獲取相同場(chǎng)景、相同視角、不同聚焦的兩張以上原始圖像；方差統(tǒng)計(jì)模塊，用于分別計(jì)算所述不同聚焦的原始圖像的指定區(qū)域的區(qū)域方差；景深估算模塊，用于根據(jù)所述區(qū)域方差對(duì)所述指定區(qū)域進(jìn)行深度標(biāo)記，得到景深估算圖；導(dǎo)向?yàn)V波模塊，其利用所述原始圖像對(duì)所述景深估算圖進(jìn)行導(dǎo)向?yàn)V波，得到精化的景深信息圖。優(yōu)選的，所述景深估算模塊進(jìn)行深度標(biāo)記，進(jìn)一步包括：31.通過(guò)比較所述區(qū)域方差的大小獲得所述指定區(qū)域的深度標(biāo)記；32.對(duì)所述指定區(qū)域的深度標(biāo)記進(jìn)行標(biāo)記填補(bǔ)，得到初步景深估算圖；33.對(duì)所述深度標(biāo)記進(jìn)一步劃分近景標(biāo)記和遠(yuǎn)景標(biāo)記，得到最終景深估算圖。優(yōu)選的，所述導(dǎo)線濾波模塊利用所述原始圖像對(duì)所述景深估算圖進(jìn)行導(dǎo)向?yàn)V波，是通過(guò)以所述原始圖像作為引導(dǎo)圖像，以所述景深估算圖作為目標(biāo)圖像，對(duì)所述景深估算圖進(jìn)行濾波處理。另外，本發(fā)明還提供一種拍攝終端，該拍攝終端包括如上所述的基于多聚焦圖像的景深信息獲取系統(tǒng)。優(yōu)選的，所述拍攝終端包括：手機(jī)、數(shù)碼相機(jī)或平板電腦。本發(fā)明的有益效果是：本發(fā)明的一種基于多聚焦圖像的景深信息獲取方法、系統(tǒng)及拍攝終端，其通過(guò)獲取相同場(chǎng)景、相同視角、不同聚焦的兩張以上原始圖像，并分別計(jì)算所述不同聚焦的原始圖像的指定區(qū)域的區(qū)域方差，然后根據(jù)所述區(qū)域方差對(duì)所述指定區(qū)域進(jìn)行深度標(biāo)記得到景深估算圖，并進(jìn)一步利用所述原始圖像對(duì)所述景深估算圖進(jìn)行導(dǎo)向?yàn)V波得到精化的景深信息圖；本發(fā)明通過(guò)計(jì)算區(qū)域方差來(lái)進(jìn)行景深估算來(lái)得到景深信息圖，算法簡(jiǎn)單，計(jì)算量小，計(jì)算效率高。附圖說(shuō)明此處所說(shuō)明的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本發(fā)明的一部分，本發(fā)明的示意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中：圖1為本發(fā)明基于多聚焦圖像的景深信息獲取方法的流程簡(jiǎn)圖；圖2為本發(fā)明基于多聚焦圖像的景深信息獲取系統(tǒng)的結(jié)構(gòu)示意圖。具體實(shí)施方式為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。在光學(xué)成像系統(tǒng)中，焦深(聚焦物距)之外的物體會(huì)因光線在投影平面彌散而呈現(xiàn)出模糊現(xiàn)象，即離焦現(xiàn)象。呈現(xiàn)滿足公式：I(x，y)＝∫∫bij·D(x-i，y-j，r(zij))didj；其中，I(x,y)為圖像在(x,y)像素點(diǎn)的像素值，bij為(i,j)像素點(diǎn)的場(chǎng)景亮度，D(x-i，y-j，r(zij)為模糊核在模糊半徑為r(zij)時(shí)相對(duì)位置(x-i，y-j)處的權(quán)值，r(zij)為模糊半徑,zij為(i,j)像素點(diǎn)的深度。根據(jù)光學(xué)成像系統(tǒng)中的光線擴(kuò)散公式可以得到模糊半徑，公式如下：r(z)=A·|f-z|z·Ff-F;]]>其中A為光圈大小，F(xiàn)為焦距，f為焦深，z為深度(物距)，r(z)為模糊半徑?？梢?jiàn)，圖像上的模糊程度在一定幅度上反應(yīng)出了物距也就是景深情況。但是，模糊半徑r往往難以獲得，而且，同一幅圖中，相同的模糊半徑往往對(duì)應(yīng)著兩個(gè)可能的物距z，即：z=A·F·fA·F±r·(f-F);]]>由于，對(duì)同一區(qū)域中，模糊半徑越大則方差越小，而方差可以簡(jiǎn)單快速的獲取，即：Var∝1r;]]>其中，Var表示方差，r表示模糊半徑；由此，本發(fā)明將問(wèn)題簡(jiǎn)化為求取一個(gè)區(qū)域方差大小，通過(guò)比較方差大小來(lái)確定其相對(duì)物距，從而使得景深信息的獲取算法更簡(jiǎn)單，計(jì)算量更小，計(jì)算效率更高。因此，本發(fā)明提出一種基于多聚焦圖像的景深信息獲取方法，如圖1所示，其包括以下步驟：10.獲取相同場(chǎng)景、相同視角、不同聚焦的兩張以上原始圖像；20.分別計(jì)算所述不同聚焦的原始圖像的指定區(qū)域的區(qū)域方差；30.根據(jù)所述區(qū)域方差對(duì)所述指定區(qū)域進(jìn)行深度標(biāo)記，得到景深估算圖；40.利用所述原始圖像對(duì)所述景深估算圖進(jìn)行導(dǎo)向?yàn)V波，得到精化的景深信息圖。所述的步驟10中，所述原始圖像是利用拍攝終端在相同場(chǎng)景、相同視角的情況下，分別拍攝出近景聚焦圖像、遠(yuǎn)景聚焦圖像、中段聚焦圖像作為所述原始圖像?；蛘?，還可以通過(guò)直接控制像距來(lái)得到所述近景聚焦圖像、遠(yuǎn)景聚焦圖像、中段聚焦圖像，每類聚焦圖像可采集一張以上。所述的步驟20中，所述區(qū)域方差的計(jì)算方法為：Vari(x,y)=1nΣu,v(Ii(n,v)-μi(n,v))2;]]>其中，(Ii(u，v)表示所述原始圖像中的第i張圖像在(u,v)像素點(diǎn)的像素值，(u,v)為(x,y)像素點(diǎn)附近的n個(gè)像素點(diǎn)，μi(u，v)表示該n個(gè)像素點(diǎn)的像素值的均值，Vari(x，y)表示所述原始圖像中的第i張圖像在(u,v)像素點(diǎn)的方差。所述的步驟30中，根據(jù)所述區(qū)域方差對(duì)所述指定區(qū)域進(jìn)行深度標(biāo)記，是通過(guò)比較各個(gè)原始圖像的對(duì)應(yīng)像素點(diǎn)之間的所述區(qū)域方差的大小，從而得到所述對(duì)應(yīng)像素點(diǎn)之間的相對(duì)物距，并根據(jù)該相對(duì)物距對(duì)所述對(duì)應(yīng)像素點(diǎn)進(jìn)行深度標(biāo)記。本實(shí)施例中，所述深度標(biāo)記進(jìn)一步包括：31.通過(guò)比較所述區(qū)域方差的大小獲得所述指定區(qū)域的深度標(biāo)記；32.對(duì)所述指定區(qū)域的深度標(biāo)記進(jìn)行標(biāo)記填補(bǔ)，得到初步景深估算圖；33.對(duì)所述深度標(biāo)記進(jìn)一步劃分近景標(biāo)記和遠(yuǎn)景標(biāo)記，得到最終景深估算圖。以兩張?jiān)紙D像為例：本實(shí)施例中，所述原始圖像分別包括一張近景聚焦圖像Min、一張遠(yuǎn)景聚焦圖像Max,所述的步驟31中通過(guò)比較所述區(qū)域方差Var的大小獲得所述指定區(qū)域的深度標(biāo)記Tag,得到標(biāo)定表如下：MinMaxTagVar1Var22Var2Var11所述步驟33中對(duì)所述深度標(biāo)記進(jìn)一步劃分近景標(biāo)記和遠(yuǎn)景標(biāo)記，是根據(jù)α<＝λ·β和α＞λ·β，λ∈[1,∞)再次劃分上述列表中的深度標(biāo)記1和2，得到延展表如下；由此將二梯度的景深估算圖轉(zhuǎn)換為四梯度的景深估算圖，即，最終景深估算圖。以三張?jiān)紙D像為例：本實(shí)施例中，所述原始圖像分別包括一張近景聚焦圖像Min、一張遠(yuǎn)景聚焦圖像Max、一張中段聚焦圖像Mid,所述的步驟31中通過(guò)比較所述區(qū)域方差Var的大小獲得所述指定區(qū)域的深度標(biāo)記Tag,得到標(biāo)定表如下：MinMidMaxTagVar1Var2Var34Var2Var1Var3XVar3Var2Var11Var1Var3Var23Var2Var3Var1XVar3Var1Var22其中，所述步驟32中對(duì)所述指定區(qū)域的深度標(biāo)記進(jìn)行標(biāo)記填補(bǔ)，是指對(duì)深度標(biāo)記Tag中標(biāo)記為X的未知區(qū)域根據(jù)附近已知區(qū)域的深度標(biāo)記進(jìn)行填補(bǔ)，由此獲得了一個(gè)四梯度的景深估算圖，即，初步景深估算圖。本實(shí)施例中，所述標(biāo)記填補(bǔ)的填充算法可采用以下算法中的一種：KNN最近鄰填充算法、均值填充算法、最大概率填充算法等等，或者還可以采用上述多種算法相結(jié)合的MI多重填充算法。從上述列表可知，Min是三者中最為穩(wěn)定的，以Min為參照可以得到α＝Max/Min，β＝Mid/Min；所述步驟33中對(duì)所述深度標(biāo)記進(jìn)一步劃分近景標(biāo)記和遠(yuǎn)景標(biāo)記，是根據(jù)α<＝λ·β和α＞λ·β，λ∈[1,∞)再次劃分上述列表中的深度標(biāo)記1和4，得到延展表如下；其中，λ是中間段寬度系數(shù)，λ＝1時(shí)，中間段不存在(1與4)，λ→∞時(shí)，極限段不存在(0與5)，該值由實(shí)際情況和需求設(shè)定，由此得到六梯度的景深估算圖，即，最終景深估算圖。以四張?jiān)紙D像為例：本實(shí)施例中，所述原始圖像分別包括一張近景聚焦圖像Min、一張遠(yuǎn)景聚焦圖像Max、兩張中段聚焦圖像Mid(min)和Mid(max),所述的步驟31中通過(guò)比較所述區(qū)域方差Var的大小獲得所述指定區(qū)域的深度標(biāo)記Tag,得到標(biāo)定表如下：并采用三張?jiān)紙D像的實(shí)施例的方法得到以下延展表：所述的步驟40中，利用所述原始圖像對(duì)所述景深估算圖進(jìn)行導(dǎo)向?yàn)V波，是通過(guò)以所述原始圖像作為引導(dǎo)圖像，以所述景深估算圖作為目標(biāo)圖像，對(duì)所述景深估算圖進(jìn)行濾波處理；其中所述引導(dǎo)圖像優(yōu)選采用原始圖像中的中段聚焦圖像，但可根據(jù)實(shí)際需求選擇主要區(qū)域較清晰的聚焦圖像來(lái)作為引導(dǎo)圖像。導(dǎo)向?yàn)V波的計(jì)算公式如下：DepthMap＝guidedfilter(I,depthmap)；其中，guidedfilter表示導(dǎo)線濾波函數(shù)；I表示所述原始圖像，即引導(dǎo)圖像；depthmap表示景深估算圖，即目標(biāo)圖像；DepthMap表示濾波處理后得到的精化的景深信息圖。如圖2所示，本發(fā)明提供一種基于多聚焦圖像的景深信息獲取系統(tǒng)，其包括：圖像采集模塊A，用于獲取相同場(chǎng)景、相同視角、不同聚焦的兩張以上原始圖像；方差統(tǒng)計(jì)模塊B，用于分別計(jì)算所述不同聚焦的原始圖像的指定區(qū)域的區(qū)域方差；景深估算模塊C，用于根據(jù)所述區(qū)域方差對(duì)所述指定區(qū)域進(jìn)行深度標(biāo)記，得到景深估算圖；導(dǎo)向?yàn)V波模塊D，其利用所述原始圖像對(duì)所述景深估算圖進(jìn)行導(dǎo)向?yàn)V波，得到精化的景深信息圖。所述景深估算模塊C進(jìn)行深度標(biāo)記，進(jìn)一步包括：31.通過(guò)比較所述區(qū)域方差的大小獲得所述指定區(qū)域的深度標(biāo)記；32.對(duì)所述指定區(qū)域的深度標(biāo)記進(jìn)行標(biāo)記填補(bǔ)，得到初步景深估算圖；33.對(duì)所述深度標(biāo)記進(jìn)一步劃分近景標(biāo)記和遠(yuǎn)景標(biāo)記，得到最終景深估算圖。所述導(dǎo)線濾波模塊D利用所述原始圖像對(duì)所述景深估算圖進(jìn)行導(dǎo)向?yàn)V波，是通過(guò)以所述原始圖像作為引導(dǎo)圖像，以所述景深估算圖作為目標(biāo)圖像，對(duì)所述景深估算圖進(jìn)行濾波處理。。另外，本發(fā)明還提供一種拍攝終端，該拍攝終端包括如上所述的基于多聚焦圖像的景深信息獲取系統(tǒng)，其中，基于多聚焦圖像的景深信息獲取系統(tǒng)可以采用圖2實(shí)施例的結(jié)構(gòu)，其對(duì)應(yīng)地，可以執(zhí)行圖1所示方法實(shí)施例的技術(shù)方案，其實(shí)現(xiàn)原理和技術(shù)效果類似，詳細(xì)可以參見(jiàn)上述實(shí)施例中的相關(guān)記載，此處不再贅述。所述拍攝終端包括：手機(jī)、數(shù)碼相機(jī)或平板電腦等配置有攝像頭的設(shè)備。需要說(shuō)明的是，本說(shuō)明書(shū)中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見(jiàn)即可。對(duì)于系統(tǒng)實(shí)施例和終端實(shí)施例而言，由于其與方法實(shí)施例基本相似，所以描述的比較簡(jiǎn)單，相關(guān)之處參見(jiàn)方法實(shí)施例的部分說(shuō)明即可。并且，在本文中，術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒(méi)有明確列出的其他要素，或者是還包括為這種過(guò)程、方法、物品或者設(shè)備所固有的要素。在沒(méi)有更多限制的情況下，由語(yǔ)句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過(guò)程、方法、物品或者設(shè)備中還存在另外的相同要素。另外，本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例的全部或部分步驟可以通過(guò)硬件來(lái)完成，也可以通過(guò)程序來(lái)指令相關(guān)的硬件完成，所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器，磁盤(pán)或光盤(pán)等。上述說(shuō)明示出并描述了本發(fā)明的優(yōu)選實(shí)施例，應(yīng)當(dāng)理解本發(fā)明并非局限于本文所披露的形式，不應(yīng)看作是對(duì)其他實(shí)施例的排除，而可用于各種其他組合、修改和環(huán)境，并能夠在本文發(fā)明構(gòu)想范圍內(nèi)，通過(guò)上述教導(dǎo)或相關(guān)領(lǐng)域的技術(shù)或知識(shí)進(jìn)行改動(dòng)。而本領(lǐng)域人員所進(jìn)行的改動(dòng)和變化不脫離本發(fā)明的精神和范圍，則都應(yīng)在本發(fā)明所附權(quán)利要求的保護(hù)范圍內(nèi)。當(dāng)前第1頁(yè)1 2 3