本發(fā)明涉及計算機視覺與數(shù)字圖像處理領(lǐng)域，尤其涉及一種基于特征點密度由聚焦堆棧估計深度的方法和裝置。

背景技術(shù)：

場景三維信息的數(shù)字化拓展了人類對三維空間的認(rèn)知和表達方式，基于圖像的三維重建一直是計算視覺的研究熱點。場景深度信息重構(gòu)可為虛擬現(xiàn)實、增強現(xiàn)實以及攝影測量等提供三維信息，是重構(gòu)三維場景的關(guān)鍵。

目前，基于圖像的場景深度估計的方法主要分為立體視覺方法和單目視覺方法。對于立體視覺方法，深度估算方法以視差法較為常見，視差法以不同視點圖像間產(chǎn)生的視差作為深度估計的依據(jù)，其核心問題在于匹配，因此視差法在平滑區(qū)域和遮擋區(qū)域存在較大誤差。

對于單目視覺方法而言，主要是利用聚焦和失焦信息。在同一場景不同聚焦深度圖像的變焦數(shù)據(jù)實現(xiàn)對場景的深度估計，聚焦法核心問題在于聚焦度測量。圖像中點距離聚焦平面距離的不同，相應(yīng)地聚焦程度也不一樣。目前，對圖像上像素點的聚焦程度的刻畫，大多采用散焦測度或聚焦測度，從而計算物點的深度。散焦測度的深度估計是利用系統(tǒng)點擴散函數(shù)反推求解，進行深度估計。對聚焦測度的刻畫，應(yīng)用比較廣泛的有：Modifield-Laplacian、the Tenengard Algorithm和Gray-Level Variance、小波變換和信息熵等。但是，現(xiàn)有技術(shù)中的聚焦測度方法在圖像紋理區(qū)域檢測的準(zhǔn)確性不高。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種基于特征點密度由聚焦堆棧估計深度的方法和裝置，其能夠彌補常規(guī)聚焦測度方法在紋理區(qū)域檢測不準(zhǔn)確的問題。

為實現(xiàn)上述目的，本發(fā)明提供一種基于特征點密度由聚焦堆棧估計深度的方法，所述方法包括：提取聚焦堆棧中每個圖像的特征點，根據(jù)所述每個圖像的特征點得到特征點密度的聚焦測度；利用特征點密度的聚焦測度和已有的聚焦測度，建立線性加權(quán)的聚焦測度，根據(jù)所述線性加權(quán)的聚焦測度得到圖像中任意像素點的聚焦測度值；根據(jù)圖像中任意像素點的聚焦測度值估計圖像中物點的深度。

進一步地，所述提取聚焦堆棧中每個圖像的特征點，具體根據(jù)透鏡與探測器的相互運動或改變透鏡的焦距，提取出聚焦堆棧中每個圖像的特征點。

進一步地，所述建立特征點密度的聚焦測度具體為：

其中，R_(x,y)(d)為像點(x,y)的特征點密度的聚焦測度，表示落入像素點(x,y)鄰域Ω(x,y)內(nèi)的特征點數(shù)。

進一步地，所述已有的聚焦測度具體為SML聚焦測度，相應(yīng)的，所述利用特征點密度的聚焦測度和已有的聚焦測度，建立的線性加權(quán)的聚焦測度，具體為

其中，

表示SML聚焦測度，為改進的拉普拉斯算子，I_d(x,y)表示在d深度下所成圖像，step表示SML算子中的步進值，參數(shù)N決定計算像素點(x,y)的聚焦測度的窗口大小，α∈[0,1]是平衡聚焦測度算子與特征點測度算子的權(quán)重。

進一步地，所述根據(jù)圖像中任意像素點的聚焦測度值估計圖像中物點的深度，具體包括：

計算圖像中像素點(x,y)的聚焦測度{focus_(x,y)(d_k)|k＝1,2,…,N}；

深度估計方式為d(x,y)＝argmax_d{focus_(x,y)(d_k)}，其中，N表示聚焦堆棧圖像的總數(shù)，focus_(x,y)(d_k)表示圖像在d_k深度下像點(x,y)的聚焦測度值。

本發(fā)明還提供一種基于特征點密度由聚焦堆棧估計深度的裝置，所述裝置包括：第一處理模塊，用于提取聚焦堆棧中每個圖像的特征點，根據(jù)所述每個圖像的特征點得到特征點密度的聚焦測度；第二處理模塊，用于根據(jù)所述第一處理模塊得到的特征點密度的聚焦測度和已有的聚焦測度，建立線性加權(quán)的聚焦測度，根據(jù)所述線性加權(quán)的聚焦測度得到圖像中任意像素點的聚焦測度值；深度估計模塊，用于根據(jù)所述第二處理模塊得到的圖像中任意像素點的聚焦測度值估計圖像中物點的深度。

進一步地，所述第一處理模塊包括提取單元和處理單元；所述提取單元，用于根據(jù)透鏡與探測器的相互運動或改變透鏡的焦距，提取出聚焦堆棧中每個圖像的特征點；所述處理單元，用于根據(jù)所述提取單元提取的所述每個圖像的特征點得到特征點密度的聚焦測度。

進一步地，所述第一處理模塊包括提取單元和處理單元；

所述處理單元建立的特征點密度的聚焦測度具體為：

式中，R_(x,y)(d)為像點(x,y)的特征點密度的聚焦測度，表示落入像素點(x,y)鄰域Ω(x,y)內(nèi)的特征點數(shù)。

進一步地，所述已有的聚焦測度具體為SML聚焦測度，所述第二處理模塊建立的線性加權(quán)的聚焦測度，具體為

其中，

表示SML聚焦測度，為改進的拉普拉斯算子，I_d(x,y)表示在d深度下所成圖像，step表示SML算子中的步進值，參數(shù)N決定計算像素點(x,y)的聚焦測度的窗口大小，α∈[0,1]是平衡聚焦測度算子與特征點測度算子的權(quán)重。

進一步地，所述深度估計模塊具體包括計算單元和深度估計單元；

所述計算單元，用于計算圖像中像素點(x,y)的聚焦測度{focus_(x,y)(d_k)|k＝1,2,…,N}；

所述深度估計單元，采用的深度估計方式為d(x,y)＝argmax_d{focus_(x,y)(d_k)}，其中，N表示聚焦堆棧圖像的總數(shù)，focus_(x,y)(d_k)表示圖像在d_k深度下像點(x,y)的聚焦測度值。

本發(fā)明提供的方案，考慮物點在不同深度下聚焦程度，利用聚焦測度和特征點的稠密度進行刻畫。本發(fā)明以聚焦堆棧為數(shù)據(jù)，提取聚焦堆棧圖像的特征點，建立關(guān)于特征點密度的聚焦測度函數(shù)。利用特征點密度的聚焦測度和已有的聚焦測度，建立線性加權(quán)聚焦測度。最后，建立基于聚焦測度的深度估計模型，獲取場景的深度信息，以實現(xiàn)場景的全聚焦與三維重構(gòu)，避免了現(xiàn)有技術(shù)的常規(guī)聚焦測度在圖像紋理區(qū)域存在不準(zhǔn)確的缺陷。

附圖說明

圖1是根據(jù)本發(fā)明第一實施例提供的基于特征點密度由聚焦堆棧估計深度的方法流程示意圖。

圖2是根據(jù)本發(fā)明第一實施例提供的成像設(shè)備拍攝聚焦堆棧原理圖。

圖3是根據(jù)本發(fā)明第一實施例提供的透鏡成像的聚焦散焦原理圖。

圖4是根據(jù)本發(fā)明第二實施例提供的基于特征點密度由聚焦堆棧估計深度的裝置結(jié)構(gòu)示意圖。

具體實施方式

在附圖中，使用相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面結(jié)合附圖對本發(fā)明的實施例進行詳細(xì)說明。

在本發(fā)明的描述中，術(shù)語“中心”、“縱向”、“橫向”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”“內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對本發(fā)明保護范圍的限制。

如圖1所示，本實施例所提供的基于特征點密度由聚焦堆棧估計深度的方法包括：

步驟101，通過成像設(shè)備獲取聚焦堆棧。該步驟中，成像設(shè)備包括透鏡和探測器，聚焦堆棧的生成過程是聚焦在不同成像面的過程，可根據(jù)透鏡與探測器的相互運動或改變透鏡的焦距完成聚焦堆棧中圖像序列的采集，本實施例采用前者，即沿成像設(shè)備的光軸同步移動探測器和透鏡，通過探測器采集場景中物點(物體由多個物點組成)聚焦在不同成像面的圖像序列，這些圖像序列形成聚焦堆棧，根據(jù)如下的透鏡成像原理：

上述的“圖像序列”中的各圖像探測器沿成像設(shè)備的光軸從一端向另一端移動的過程中依次排序獲得。容易理解的是，本發(fā)明實施例提供的方法同樣可以應(yīng)用于其它類似方式聚焦堆棧采集的場景。

如圖2所示，圖2的左側(cè)包括Focus Plane1和Focus Plane2，示出的是場景中的兩個物面位置(下文簡稱為“物點平面”)，F(xiàn)ocus Plane1對應(yīng)的物面位置是(x,y)平面，F(xiàn)ocus Plane2對應(yīng)的物面位置是(x′,y′)平面。右側(cè)包括S1和S2，示出的是像方的兩個平面。中間包括Lens1和Lens2，示出的是透鏡所在的兩個平面位置，Lens1對應(yīng)的物面是(u,v)平面，Lens2對應(yīng)的物面是(u‘,v’)平面。

該步驟的具體操作方法如圖2所示，聚焦堆棧的獲取過程如下：

通過沿著光軸移動透鏡或探測器，即如圖2中示出地，透鏡從(u,v)平面移動到(u′,v′)平面，探測器對應(yīng)的物面從(x,y)平面移動到(x′,y′)平面，(u,v)平面經(jīng)由(u,v)平面在S1平面上成像，(u′,v′)平面經(jīng)由)u′,v′)平面在S2平面上成像。當(dāng)然，本實施例提供的方法同樣可以應(yīng)用于其他類似方式聚焦堆棧采集的場景。

步驟102，提取步驟101獲得的聚焦堆棧中的所有特征點，建立關(guān)于特征點密度的聚焦測度。本步驟需要提取的特征點指的是聚焦堆棧中每一幅圖像中的所有特征點。

如圖3所示，圖3中的Object表示場景中的物點，F(xiàn)ocal plane表示物點平面，Lens表示透鏡，sensor表示探測器，virtual表示Focal plane對應(yīng)的虛擬聚焦面，即成像平面d₀為物點Object到透鏡Lens的距離，d為透鏡Lens與virtual之間的距離，f為透鏡Lens的焦距，場景中的物點object在成像平面的成像點為點Q，d′為成像平面I_δ(x,y)上成像為以r為半徑的圓斑，即散焦，r表示散焦斑半徑。

圖像在不同深度下的聚焦程度，可利用聚焦測度、散焦測度或特征點稠密度進行刻畫。聚焦測度值或特征點測度值最大時，則場景中的物點在圖像上聚焦，從而能夠獲知物點所在深度具體方法如下：

提取聚焦堆棧在深度d下圖像的特征點feature_1，feature_2，…，feature_M，記特征點feature_m在深度d下的圖像坐標(biāo)為S_d(x_m,y_m)，建立基于特征點密度的聚焦測度，該聚焦測度可表示為：

式中，Ω(x,y)表示點(x_m,y_m)的鄰域。“其它”表示Ω(x,y)之外的范圍。也就是說，如果點(x_m,y_m)落入像素點(x,y)鄰域Ω(x,y)內(nèi)，則(x_m,y_m)是特征點，此時的為1，否則為0。

R_(x,y)(d)記為像點(x,y)的特征點密度，表示落入像素點(x,y)鄰域Ω(x,y)內(nèi)的特征點數(shù)。當(dāng)圖像聚焦時，R_(x,y)(d)的值達到最大。

根據(jù)光學(xué)成像原理，物點在聚焦平面上成像是最清晰的，隨著聚焦面與透鏡之間的距離的增加而逐漸變得模糊。成像的聚焦程度，基于數(shù)字圖像分析處理的聚焦測度來判斷，本發(fā)明場景深度估計的過程就是求取聚焦測度值最大的過程。

對于聚焦測度方法，一般有基于空域邊緣的聚焦測度、基于變換域的聚焦測度、信息熵與統(tǒng)計學(xué)等。而基于空域邊緣的聚焦測度有：梯度能量函數(shù)、灰度差分絕對值之和、Brenner函數(shù)、Tenengard函數(shù)、Laplacian函數(shù)、SML(Sum-Modified-Laplacian)函數(shù)；基于變換域的聚焦測度有：傅里葉變換、離散余弦變換和小波變換。

本發(fā)明以SML(Sum-Modified-Laplacian)函數(shù)獲得聚焦測度函數(shù)，建立引入特征點密度的聚焦測度。SML聚焦測度是常規(guī)的聚焦測度，對圖像中每個像素點進行聚焦計算，計算公式如下：

式中，是常規(guī)的SML聚焦測度。參數(shù)N決定計算像素點(x,y)的聚焦測度的窗口大小。

為改進的拉普拉斯算子，其表達式為：

式中，I_d(x,y)表示在d深度下所成的圖像，即步驟101中在深度d的圖像；step表示SML算子中的步進值，可根據(jù)聚焦堆棧中圖像的邊緣信息進行選取。

步驟103：利用步驟102獲得的特征點密度的聚焦測度R_(x,y)(d)和已有的聚焦測度，建立線性加權(quán)的聚焦測度，得到步驟101的聚焦堆棧中的每一幅圖像中任意像素點的聚焦測度值。已有的聚焦測度的指的上面提及的常規(guī)聚焦測度

具體地，該步驟得到引入特征點密度和SML聚焦測度的線性加權(quán)的聚焦測度，其表達式為：

式中，參數(shù)α∈[0,1]，是平衡聚焦測度算子與特征點測度算子的權(quán)重。因此，步驟101的聚焦堆棧中各圖像中的任意像素點的聚焦測度值均可利用上式計算得出。

步驟104：利用步驟103中線性加權(quán)的聚焦測度，即利用聚焦測度和聚焦判別算子的表達式，得到步驟101的聚焦堆棧中各圖像中任意像素點的聚焦測度值，估計各圖像中物點的深度。

計算場景中物點的深度，可利用圖像中像素點(x,y)聚焦測度進行深度估算。對于一組N維聚焦堆棧{I_k|k＝1,2,…,N}，根據(jù)新建的聚焦測度，計算聚焦堆棧中每一幅圖像中的像素點(x,y)的聚焦測度為{focus_(x,y)(d_k)|k＝1,2,…,N}。

該步驟得到像點(x,y)的深度估計公式為：

式中，N表示聚焦堆棧中圖像的總幅數(shù)，focus_(x,y)(d_k)表示圖像在d_k深度下像點(x,y)的聚焦測度值。

基于聚焦測度的深度估計的過程就是尋找像素點聚焦測度最大的過程。由于成像設(shè)備拍攝的聚焦堆棧具有深度不連續(xù)性，在本發(fā)明中，采用最小二乘法擬合曲線獲取更精確的深度值，根據(jù)聚焦測度和已估算的深度信息，得到全聚焦圖像，為三維重構(gòu)提供深度信息和獲取全聚焦圖像。

參見圖4，本發(fā)明實施例提供了一種基于特征點密度由聚焦堆棧估計深度的裝置，裝置包括：

第一處理模塊201，用于提取聚焦堆棧中每個圖像的特征點，根據(jù)每個圖像的特征點得到特征點密度的聚焦測度；

第二處理模塊202，用于根據(jù)第一處理模塊201得到的特征點密度的聚焦測度和已有的聚焦測度，建立線性加權(quán)的聚焦測度，根據(jù)線性加權(quán)的聚焦測度得到圖像中任意像素點的聚焦測度值；

深度估計模塊203，用于根據(jù)第二處理模塊202得到的圖像中任意像素點的聚焦測度值估計圖像中物點的深度。

其中，第一處理模塊201包括提取單元和處理單元；

提取單元，用于根據(jù)透鏡與探測器的相互運動或改變透鏡的焦距，提取出聚焦堆棧中每個圖像的特征點；

處理單元，用于根據(jù)提取單元提取的每個圖像的特征點得到特征點密度的聚焦測度。

焦測度值或特征點測度值最大時，則場景中的物點在圖像上聚焦，從而能夠獲知物點所在深度具體方法如下：

提取聚焦堆棧在深度d下圖像的特征點feature_1，feature_2，…，feature_M，記特征點feature_m在深度d下的圖像坐標(biāo)為S_d(x_m,y_m)，建立基于特征點密度的聚焦測度，該聚焦測度可表示為：

式中，Ω(x,y)表示點(x_m,y_m)的鄰域?！捌渌北硎睛?x,y)之外的范圍。也就是說，如果點(x_m,y_m)落入像素點(x,y)鄰域Ω(x,y)內(nèi)，則(x_m,y_m)是特征點，此時的為1，否則為0。

R_(x,y)(d)記為像點(x,y)的特征點密度，表示落入像素點(x,y)鄰域Ω(x,y)內(nèi)的特征點數(shù)。當(dāng)圖像聚焦時，R_(x,y)(d)的值達到最大。

根據(jù)光學(xué)成像原理，物點在聚焦平面上成像是最清晰的，隨著聚焦面與透鏡之間的距離的增加而逐漸變得模糊。成像的聚焦程度，基于數(shù)字圖像分析處理的聚焦測度來判斷，本發(fā)明場景深度估計的過程就是求取聚焦測度值最大的過程。

本發(fā)明實施例中，已有的聚焦測度具體為SML聚焦測度，第二處理模塊202建立的線性加權(quán)的聚焦測度，具體如上述實施例，此次不再贅述。

具體的，深度估計模塊203具體包括計算單元和深度估計單元；

計算單元，用于計算圖像中像素點(x,y)的聚焦測度{focus_(x,y)(d_k)|k＝1,2,…,N}；

深度估計單元，采用的深度估計方式為d(x,y)＝argmax_d{focus_(x,y)(d_k)}，其中，N表示聚焦堆棧中圖像的總幅數(shù)，focus_(x,y)(d_k)表示圖像在d_k深度下像點(x,y)的聚焦測度值。

本發(fā)明提供的基于特征點密度由聚焦堆棧估計深度的裝置，基于聚焦測度的深度估計的過程就是尋找像素點聚焦測度最大的過程。由于成像設(shè)備拍攝的聚焦堆棧具有深度不連續(xù)性，在本發(fā)明中，采用最小二乘法擬合曲線獲取更精確的深度值，根據(jù)聚焦測度和已估算的深度信息，得到全聚焦圖像，為三維重構(gòu)提供深度信息和獲取全聚焦圖像。

最后需要指出的是：以上實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制。本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：可以對前述各實施例所記載的技術(shù)方案進行修改，或者對其中部分技術(shù)特征進行等同替換；這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的精神和范圍。