本公開涉及圖像處理領域，具體地，涉及一種深度信息獲取方法及裝置。
背景技術：
：深度圖是以物體縱向深度值代替灰度圖像的灰度級形成的圖像。由于其中的每個像素代表了一個相對的深度信息，反映了景物表面的三維坐標信息，所以圖像的深度信息包含了可以直接利用的三維信息(即較可靠的深度數據)。因此，深度信息提取技術是二維視頻轉三維視頻的關鍵技術之一。相關技術中，常根據二維視頻圖像的特征，利用經典的運動信息或者幾何信息來提取各幀圖像的深度信息。這種深度信息提取方法，獲取到的深度圖質量差，不夠精確，導致轉換成的視頻不符合人眼視覺特性，適應性較差。技術實現(xiàn)要素：本公開的目的是提供一種深度信息獲取方法及裝置，以解決深度信息提取不準確的問題。為了實現(xiàn)上述目的，第一方面，本公開提供一種深度信息獲取方法，包括：讀取二維視頻的各幀視頻圖像；對所述視頻圖像進行靜止區(qū)域和運動區(qū)域的分離；分別獲取所述靜止區(qū)域的第一深度信息和所述運動區(qū)域的第二深度信息；獲取所述視頻圖像的紋理深度信息；根據所述第一深度信息、所述第二深度信息和所述紋理深度信息，獲取所述視頻圖像的深度信息。在一個實施例中，所述根據所述第一深度信息、所述第二深度信息和所述紋理深度信息，獲取所述視頻圖像的深度信息包括：將所述視頻圖像的各像素點的灰度值分別與一預設閾值進行比較；當像素點的灰度值大于所述預設閾值時，將所述第一深度信息和所述第二深度信息進行加權以獲得該像素點的深度信息；當像素點的灰度值小于所述預設閾值時，將所述第一深度信息和所述紋理深度信息進行加權以獲得該像素點的深度信息。在一個實施例中，所述對所述視頻圖像進行靜止區(qū)域和運動區(qū)域的分離包括：建立高斯模型；利用建立的高斯模型對視頻圖像進行靜止區(qū)域和運動區(qū)域的分離。在一個實施例中，所述方法還包括：對進行了靜止區(qū)域和運動區(qū)域分離的視頻圖像進行陰影檢測；對經陰影檢測后的視頻圖像進行數學形態(tài)學濾波。在一個實施例中，所述獲取所述靜止區(qū)域的第一深度信息的步驟包括：對經數學形態(tài)學濾波后的靜止區(qū)域的圖像進行邊緣檢測；對經邊緣檢測后的靜止區(qū)域的圖像，進行Hough變換；Hough變換后，對靜止區(qū)域的圖像進行去水平線和垂直線；對去水平和垂直線后的靜止區(qū)域的圖像，進行深度信息分配以獲取所述第一深度信息。在一個實施例中，所述獲取視頻圖像的紋理深度信息的步驟包括：獲取視頻圖像的每個像素點的紋理梯度值；根據每個像素點的紋理梯度值，獲取每個像素點的平均紋理梯度；根據所述平均紋理梯度，對每個像素點進行深度信息分配以獲取所述紋理深度信息。第二方面，提供一種深度信息獲取裝置，包括：讀取模塊，被配置為讀取二維視頻的各幀視頻圖像；分離模塊，被配置為對所述視頻圖像進行靜止區(qū)域和運動區(qū)域的分離；第一獲取模塊，被配置為分別獲取所述靜止區(qū)域的第一深度信息和所述運動區(qū)域的第二深度信息；紋理深度信息獲取模塊，被配置為獲取所述視頻圖像的紋理深度信息；深度信息獲取模塊，被配置為根據所述第一深度信息、所述第二深度信息和所述紋理深度信息，獲取所述視頻圖像的深度信息。在一個實施例中，所述深度信息獲取模塊包括：比較子模塊，被配置為將所述視頻圖像的各像素點的灰度值分別與一預設閾值進行比較；第一加權子模塊，被配置為當像素點的灰度值大于所述預設閾值時，將所述第一深度信息和所述第二深度信息進行加權以獲得該像素點的深度信息；第二加權子模塊，被配置為當像素點的灰度值小于所述預設閾值時，將所述第一深度信息和所述紋理深度信息進行加權以獲得該像素點的深度信息。在一個實施例中，所述分離模塊包括：模型建立子模塊，被配置為建立高斯模型；分離子模塊，被配置為利用建立的高斯模型對視頻圖像進行靜止區(qū)域和運動區(qū)域的分離。在一個實施例中，所述裝置還包括：陰影檢測模塊，被配置為對進行了靜止區(qū)域和運動區(qū)域分離的視頻圖像進行陰影檢測；濾波模塊，被配置為對經陰影檢測后的視頻圖像進行數學形態(tài)學濾波。在一個實施例中，所述第一獲取模塊包括：邊緣檢測子模塊，被配置為對經數學形態(tài)學濾波后的靜止區(qū)域的圖像進行邊緣檢測；變換子模塊，被配置為對經邊緣檢測后的靜止區(qū)域的圖像，進行Hough變換；去除子模塊，被配置為對所述變換子模塊進行Hough變換后的靜止區(qū)域的圖像進行去水平線和垂直線；深度信息分配子模塊，被配置為對經去除子模塊去水平和垂直線后的靜止區(qū)域的圖像，進行深度信息分配以獲取所述第一深度信息。在一個實施例中，所述紋理深度信息獲取模塊包括：紋理梯度值獲取子模塊，被配置為獲取視頻圖像的每個像素點的紋理梯度值；平均紋理梯度獲取子模塊，被配置為根據每個像素點的紋理梯度值，獲取每個像素點的平均紋理梯度；像素點深度信息分配子模塊，被配置為根據所述平均紋理梯度，對每個像素點進行深度信息分配以獲取所述紋理深度信息。通過上述技術方案，采用運動信息(即第二深度信息)、幾何信息(即第一深度信息)、紋理深度信息三種信息獲取圖像的混合深度信息，使得所獲取的深度信息具有比較明顯的深度細節(jié)，比利用單一信息獲取的深度圖質量更好，有效地提高了深度圖的質量，更接近人的視覺特性；且由于采用了三種信息加權的方式獲取深度信息，可以適應各類視頻圖像。本公開的其他特征和優(yōu)點將在隨后的具體實施方式部分予以詳細說明。附圖說明附圖是用來提供對本公開的進一步理解，并且構成說明書的一部分，與下面的具體實施方式一起用于解釋本公開，但并不構成對本公開的限制。在附圖中：圖1是本公開一實施例的深度信息獲取方法的流程示意圖；圖2是本公開另一實施例的深度信息獲取方法的流程示意圖；圖3是本公開一實施例的高斯模型的建立方法的流程示意圖；圖4a-圖4f是本公開一實施例的靜止區(qū)域圖像的分離示意圖；圖5是本公開一實施例第一深度信息的獲取方法流程示意圖；圖6是本公開一實施例的深度信息分配原則示意圖；圖7a-圖7d是本公開一示例性實施例的靜止區(qū)域的深度圖獲取過程圖；圖8a-圖8b是本公開一示例性實施例的運動區(qū)域的深度圖獲取過程圖；圖9是本公開一實施例的視頻圖像的紋理深度信息獲取方法流程示意圖；圖10a-圖10b是本公開一示例性實施例的紋理深度信息的深度圖獲取過程圖；圖11是本公開一實施例的深度信息獲取流程圖；圖12a-圖12i是本公開一實施例的視頻圖像深度圖獲取過程示意圖；圖13是本公開一實施例的深度信息獲取裝置的結構示意圖；圖14是根據一示例性實施例示出的一種用于終端的深度信息獲取裝置的框圖。具體實施方式以下結合附圖對本公開的具體實施方式進行詳細說明。應當理解的是，此處所描述的具體實施方式僅用于說明和解釋本公開，并不用于限制本公開。參見圖1為本公開一實施例的深度信息獲取方法的流程示意圖。該深度信息獲取方法包括以下步驟：在步驟S101中，讀取二維視頻的各幀視頻圖像。在一個實施例中，首先，獲取二維視頻，對二維視頻進行視頻流解析，生成RGB格式的多幀視頻圖像。由此，可讀取二維視頻的各幀視頻圖像以進行處理。二維視頻可以是預先拍攝好并存儲到預設存儲空間的，也可以是實時通過拍攝設備拍攝得到的。在步驟S102中，對視頻圖像進行靜止區(qū)域和運動區(qū)域的分離。實際拍攝的二維視頻場景往往包含相對靜止的背景和多個運動前景，因此，對每幀視頻圖像進行靜止區(qū)域和運動區(qū)域的分離。在一個實施例中，可利用預先建立的模型，對視頻圖像進行靜止區(qū)域和運動區(qū)域的分離。預先建立的模型可為高斯模型，例如，基于K均值的混合高斯模型。在本公開的實施例中，靜止區(qū)域即相對靜止的背景區(qū)域，運動區(qū)域即包括運動物體的前景區(qū)域。在步驟S103中，分別獲取靜止區(qū)域的第一深度信息和運動區(qū)域的第二深度信息。對于靜止區(qū)域和運動區(qū)域采用不同的方式獲取其深度信息。例如，可利用線性透視方法獲取靜止區(qū)域的第一深度信息，可利用基于變形理論的高精度光流法獲取運動矢量并轉換為運動區(qū)域的第二深度信息。在步驟S104中，獲取視頻圖像的紋理深度信息。在本公開的一實施例中，除了上述第一深度信息和第二深度信息的獲取外，對于每幀視頻圖像的整個場景區(qū)域，可利用基于Laws的能量法提取紋理梯度并轉化為紋理深度信息。通過紋理深度信息，可以增加獲得的圖像深度信息的細節(jié)信息。在步驟S105中，根據第一深度信息、第二深度信息和紋理深度信息，獲取視頻圖像的深度信息。在本公開的一實施例中，設置一個預設閾值，將視頻圖像中的各像素點的灰度值分別與該預設閾值進行比較。當一像素點的灰度值大于該預設閾值時，則將第一深度信息和第二深度信息進行加權以獲得該像素點的深度信息；當一像素點的灰度值小于該預設閾值時，則將第一深度信息和紋理深度信息進行加權以獲得該像素點的深度信息。在一個實施例中，首先將視頻圖像轉換為二值圖像，轉換方法為：設置一轉換閾值，將視頻圖像的各個像素點的灰度值與該轉換閾值進行比較，若大于該轉換閾值，則將其像素值設為255，若不大于該轉換閾值，則將其像素值設為0。由此，當二值圖像中的像素點的像素值為255時，將第一深度信息和第二深度信息進行加權得到該像素點的深度信息；當二值圖像中的像素點的像素值為0時，將第一深度信息和紋理深度信息進行加權得到該像素點的深度信息。由此，將視頻圖像中的像素點的灰度值逐一與設置的轉換閾值以及值255進行比較，可得到視頻圖像的每一像素點的深度信息，將這些深度信息組合即得到該圖像的深度圖。通過本公開實施例的深度信息獲取方法，采用運動信息(即第二深度信息)、幾何信息(即第一深度信息)、紋理深度信息三種信息獲取圖像的混合深度信息，使得所獲取的深度信息具有比較明顯的深度細節(jié)，比利用單一信息獲取的深度圖質量更好，有效地提高了深度圖的質量，更接近人的視覺特性；且由于采用了三種信息加權的方式獲取深度信息，可以適應各類視頻圖像。參見圖2為根據本公開另一實施例的深度信息獲取方法的流程示意圖。該實施例的深度信息獲取方法包括以下步驟：在步驟S201中，建立高斯模型。在本公開的實施例中，為了對二維視頻的視頻圖像進行靜止區(qū)域和運動區(qū)域的分離，預先利用該二維視頻建立高斯模型。參見圖3，為本公開一實施例的高斯模型的建立方法的流程示意圖。在步驟S2010中，用K個高斯分布對背景像素點建立高斯模型。在T時刻下獲得的二維視頻的視頻圖片的像素值為隨機變量X的采樣值，則對于第k個狀態(tài)(0<k≤K)像素的分布可表示為：η(Xi,μi,t,Σi,t)=1(2π)n2|Σi,t|12exp{-12(Xt-μi,t)TΣi,t-1(Xt-μi,t)}---(1)]]>其中，Xt為t時刻的像素值，k表示高斯模型的個數；μi,t和∑i,t分別為t時刻第i個高斯分布的均值矢量和協(xié)方差矩陣。隨機變量X的分布可用K個狀態(tài)分布的加權和代表為：P(Xt)=Σi=1Kωi,t*η(Xt,μi,t,Σi,t)---(2)]]>式中，ωi,t為第i個高斯分布在t時刻的權值，且滿足在步驟S2011中，對建立的高斯模型進行初始化。K均值聚類方法對高斯模型進行初始化，是檢測新到來的視頻圖像相應位置的數據是否和已經存儲的數據屬于同一類，如果屬于同一類，則用當前的像素值對其更新，如果不屬于同一類，則記錄該數據。最后用這些數據初始化高斯模型。第一步，獲取第一幀視頻圖像，記錄(存儲)其像素點(x，y)的均值(u1)，R值，G值，B值，方差和匹配次數。即用P1,xy(u1,r1,g1,b1,σ12＝0,m1＝1)記錄第一幀視頻圖像的像素點(x,y)的均值，R值，G值，B值，方差和匹配次數。其中，u1＝(R+G+B)/3。方差是指高斯模型的方差，當當前視頻圖像的所有像素點的灰度值視為符合高斯模型，則該高斯模型的方差就是此處的方差。均值決定高斯分布的位置，方差決定高斯分布的一個幅度。匹配次數是指，在新到來的一幀視頻圖像的數據與存儲的數據滿足下式(3)，則當前數據匹配已存儲數據模型，匹配次數記為1。第二步，依次獲取第一幀視頻圖像后的視頻圖像以進行學習，使得建立的高斯分布能夠很好地代表二維視頻的背景。即獲取第一幀視頻圖像之后的第c幀視頻圖像，用記錄(存儲)其像素點(x，y)的均值，R值，G值，B值，方差和匹配次數。并將第c幀視頻圖像的均值uc與第c幀視頻圖像之前的所有視頻圖像的均值(u1、u2……uc-1)進行比較，將均值的差值最小的視頻圖像作為與第c幀視頻圖像距離最近的視頻圖像。即根據以下式(3)獲取與第c幀視頻圖像距離最近的視頻圖像：J＝argminj(abs(uc-uj)),j＝1,2,…n,(n＜＝c)(3)式(3)中，n代表第c幀之前記錄的視頻圖像的幀數，uj代表第j幀視頻圖像的R、G、B三色的均值。式(3)中的abs(uc-uj)代表取(uc-uj)的絕對值。獲取到與第c幀視頻圖像距離最近的視頻圖像后，將(uc-uj)的絕對值(即abs(uc-uj))與預設閾值(TH)進行比較，若(uc-uj)的絕對值小于預設閾值TH，則第c幀視頻圖像的像素點(x，y)和第J幀視頻圖像的像素點(x，y)歸于同一種模式，用當前對應的值對已經記載的PJ,xy(uJ,rJ,gJ,bJ,σJ2,mJ)值進行更新。更新時，通過式(4)到式(10)，用當前數據的參數更新已存儲的數據參數。mj＝mj+1(4)uo＝uj(5)uj＝uj+(uc-uj)/mj(6)Qj＝Qj+(Qc-Qj)/mj,Q∈(R,G,B)(7)σ2j＝[(mj-1)(σ2j+uj2)+uo2]/mj-uj2(8)式(4)到式(8)需要改變的條件是依據前n個數的均值和方差σn2以及第n+1個數xn+1時，則這n+1個數的均值和方差為：un+1‾=un‾+(xn+1-un)/(n+1)---(9)]]>σn+12=n[(σn2+un2)+xn+12]/(n+1)-un+1‾2---(10)]]>在一個實施例中，當第c幀視頻圖像的像素點(x，y)和第J幀視頻圖像的像素點(x，y)歸于同一種模式時，不存儲如果(uc-uj)的絕對值大于或等于預設閾值TH，則第c幀視頻圖像的像素點(x，y)和第j幀視頻圖像的像素點(x，y)不屬于同一種模式，存儲數據第三步，判斷是否滿足預設條件，若滿足則執(zhí)行第四步，若不滿足，則返回執(zhí)行第二步。在一個實施例中，預設條件為獲取以進行學習的視頻圖像的幀數的數量可擬定的二維視頻的總幀數，使得建立的高斯分布能夠很好地代表二維視頻的背景。第四步，初始化高斯模型，用匹配次數(mi)與學習的幀數的比值作為相應高斯模型的權重。對學習完成后方差還為0的高斯分布，將其方差σi2設為預設值。在步驟S2012中，對高斯模型的參數進行更新。參數更新率的選擇至關重要，若太小則長時間不能更新高斯模型；若太大，則高斯模型更新頻繁，場景中的水波紋、光線或者陰影都會對模型的準確性帶來很大影響。在本公開的一個實施例中，采用權重和匹配次數同時制約均值的更新率，使得視頻圖像中各參數的變化能夠及時的被反映出來。參見下式(11)：ρu＝a/w+(1-a/w)/c(11)其中，ρu為均值的更新率，c為匹配次數，a為權重的更新率，w權重。方差的更新率ρσ＝0.001，由此，通過給方差的更新率稍小的值，可避免在學習過程中過大波動。在步驟S202中，利用建立的高斯模型對視頻圖像進行靜止區(qū)域和運動區(qū)域的分離。通過上述步驟S2010-S2012，建立的高斯分布能夠很好地代表二維視頻的背景。在一個實施例中，可通過以下方式對建立的高斯分布進行驗證：計算權重pi＝wi/max(σi,R,σi,G,σi,B)，i＝1,2,…,K的值，并按照由大到小的順序排列分布，當前面若干個的權重之和滿足設定的閾值，則高斯分布可代表了真實的背景模型。其中，wi是指K個高斯分布前的權重系數，其和為1。max(σi,R,σi,G,σi,B)是指R/G/B分量中最大的方差值。對于灰度圖像，只有一個通道的值。用pi來衡量高斯分布是否代表真實的背景模型，由于結合了權重和方差兩個因素，更精確。采用建立并驗證后的高斯模型，對二維視頻的視頻圖像進行靜止區(qū)域和運動區(qū)域的分離時，對于獲取的視頻圖像幀的像素點，若像素點的值符合高斯分布中的任何一個，則判定該像素點屬于靜止區(qū)域(即背景區(qū)域)，否則屬于運動區(qū)域(即前景區(qū)域)。由此，可將視頻圖像劃分為靜止區(qū)域和運動區(qū)域。在本公開的實施例中，建立的高斯模型利用K均值方法改進傳統(tǒng)混合高斯模型，可改善采用第一幀圖像初始化的不準確性的問題。在一個實施例中，為了增加靜止區(qū)域和運動區(qū)域提取的準確性，本公開實施例的深度信息獲取方法還包括：在步驟S203中，對進行了靜止區(qū)域和運動區(qū)域分離的視頻圖像進行陰影檢測，以去除運動區(qū)域的陰影部分。在本公開的一實施例中，采用基于HSV空間的陰影檢測方法。HSV彩色模型依據人類視覺特性給出了三個屬性，H(色調)、S(飽和度)、V(亮度)。H是表面呈現(xiàn)近似紅、黃、綠、藍等顏色的一種或幾種的目視感知屬性；S是顏色具有“白光”的程度；V是物體表面相對獨立性。其轉換公式如下所示：H=θB≤G360-θB>G---(12)]]>S=1-3R+G+Bmin(R,G,B)---(13)]]>V=13(R+G+B)---(14)]]>其中，θ=arccos(R-G)+(R-B)2(R-G)2+(R-B)(G-B)---(15)]]>檢測陰影的算法如下所示：其中，Vc，Sc，Hc為所檢測的視頻圖像的色度、飽和度和亮度，Vb，Sb，Hb為高斯背景模型的色度、飽和度和亮度，Ts和TH分別表示飽和度、亮度分量的閾值。式16中，取值為1的區(qū)域即是所確定的陰影區(qū)域，在圖像處理的時候可以將背景圖像相應點的像素值代替所檢測的視頻圖像陰影區(qū)域的像素值。在另一些實施例中，也可以將陰影部分直接剔除，即將陰影部分的像素點的灰度值設為0。通過對視頻圖像進行陰影檢測，可以去除陰影對運動區(qū)域提取的準確性提高運動區(qū)域的運動目標提取的準確性。在一個實施例中，本公開實施例的深度信息獲取方法還包括：在步驟S204中，對經陰影檢測后的視頻圖像進行數學形態(tài)學濾波。數學形態(tài)學濾波算法是以腐蝕和膨脹兩種運算為基礎，通過不同的組合構成開、閉等基本運算，再通過組合基本的運算便能夠實現(xiàn)更為復雜的圖像處理的功能。設A為圖像集合即所要處理的當前一幀視頻圖像。B為結構元素，為一個數組。Φ為空集。膨脹算子為A被B膨脹記為膨脹的作用是用來擴大圖像，對填補圖像分割后的區(qū)域形成的空洞有很好的填補效果。腐蝕算子為Θ，A被B腐蝕記為AΘB，腐蝕的作用是用來收縮圖像，能夠消除原圖像邊界上不光滑的凸起部分，順便把小于結構元素的部分去掉。定義為：A⊕B={x|(B^)x∩A≠Φ}---(17)]]>AΘB={x|(B)x⊆A}---(18)]]>開運算的算子用表示，用B對A做開運算記做閉運算的算子用·表示，用B對A做閉運算記做A·B。定為：A·B=(A⊕B)ΘB---(20)]]>二維視頻的視頻圖像經過上述運動區(qū)域和靜止區(qū)域的分離，存在光線的反射或者物體與背景灰度差別不大的情況，分離出的區(qū)域，不可避免的存在橫向或者豎向的斷層現(xiàn)象，而且分割區(qū)域的邊緣比較粗糙，目標區(qū)域會存在一些空洞，同時一些噪聲可能會被當成運動目標被分割出來，也成為一些孤立的噪聲。本公開的實施例中，通過形態(tài)學濾波，能夠很好地濾除隨機噪聲，減少對陰影區(qū)域操作，節(jié)約處理時間和空間，減少對圖像的影響，同時能夠分割或者連接圖像中的相鄰區(qū)域，便于圖像的后期處理。參見圖4a-圖4f為本公開一實施例的靜止區(qū)域圖像的分離示意圖。其中，圖4a為未經分離的原始視頻圖像；圖4b為分離出的靜止區(qū)域的圖像；圖4c為分離出的減除靜止區(qū)域后的運動區(qū)域的圖像；圖4d為對運動區(qū)域進行陰影去除后的圖像；圖4e為對陰影去除后的圖像進行腐蝕后得到的圖像；圖4f為最終獲得的運動區(qū)域的圖像。通過上述步驟，準確進行靜止區(qū)域和運動區(qū)域的分離后，繼續(xù)參見圖2，本公開實施例的深度信息獲取方法包括：在步驟S205中，獲取靜止區(qū)域的第一深度信息。在一個實施例中，可利用線性透視方法獲取靜止區(qū)域的第一深度信息。參見圖5，在本公開的一個實施例中，第一深度信息的獲取包括以下步驟：在步驟S2051中，對經數學形態(tài)學濾波后的靜止區(qū)域的圖像進行邊緣檢測。在本公開的一實施例中，進行邊緣檢測時，第一步，對數學形態(tài)學濾波后的圖像，計算梯度幅值和方向。對經數學形態(tài)學濾波后的圖像提取x和y上的偏導數，分別記做Ex(i,j)和Ey(i,j)，得到梯度幅值：M(i,j)=Ex(i,j)2+Ey(i,j)2---(21)]]>梯度的方向定義為：θ(i,j)=tan-1[Ey(i,j)Ex(i,j)]---(22)]]>第二步，根據Canny算子進行非極大值抑制，即將視頻圖像的像素點(x,y)的梯度幅度值同幅值方向兩側的相鄰像素點的梯度幅值進行對比，以進行非極大值抑制。若像素點(x,y)的梯度幅值比兩側像素點的幅值都大，則保持此像素點的梯度幅值不變；若像素點(x,y)的梯度幅值比兩側像素點的幅值小，則將像素點(x,y)的賦值變?yōu)?，實現(xiàn)非極大值抑制。在本公開的實施例中，進行非極大值抑制，是因為邊緣檢測的時候會出現(xiàn)很多的極大值，為了減少存儲空間和檢測準確性，去掉相對不大的非極大值。Canny算子通過非極大值抑制過程(Non-MaximumSuppression,NMS)細化梯度幅值圖像中的屋脊帶，只保留了梯度值局部最大的點，即圖像像素值變化最大的點，實現(xiàn)了邊緣的細化，能夠提高定位精度和圖像邊緣的連貫性。第三步，進行檢測和邊緣連接。在一個實施例中，采用雙閾值檢測和邊緣連接。首先確定雙閾值中的高低閾值的大小，高閾值決定邊緣點的數量，太少會導致邊緣信息的丟失，太大則會引入太多的噪聲，影響結果的準確性。高閾值通常由梯度直方圖的累積直方圖確定，低值取高值的三分之二。采用高低閾值操作能夠獲得兩幅邊緣圖像，其中，借助高值獲得邊緣圖像不含假的邊緣，但是在輪廓上也許會出現(xiàn)不理想的間斷現(xiàn)象；而借助低值獲得的邊緣圖像主要用來完善高值圖像中間斷的輪廓，從而獲得比較完整且符合現(xiàn)實場景的邊緣圖像。在步驟S2052中，對經邊緣檢測后的靜止區(qū)域的圖像，進行Hough變換。Hough變換利用圖像全局特性將邊緣像素連起來組成封閉邊界，具有受噪聲和間斷曲線的影響不大的優(yōu)點。由解析幾何可知，圖像空間中的一點和參數空間中的一條曲線相對應。如果圖像空間中的某些點在一條直線上，那么這些點在參數空間中相應的線簇會匯聚于某點。參數空間中每個點的Hough值就是表示聚集于該點的線的個數，如果某個點的Hough值較大，則表示圖像坐標空間中有較多的對應點在一條直線上。由此，檢測坐標中的直線便轉換為檢測Hough峰值問題。選擇Hough值超過一定閾值的點被保留下來，這些點代表了圖像坐標空間中的主要直線。在步驟S2053中，Hough變換后，對靜止區(qū)域的圖像進行去水平線和垂直線。水平線和垂直線的出現(xiàn)代表這些線的消失點位于圖像邊界之外，由于消失點位于圖像邊界之內的消失點，因此將這些垂直線和水平線去掉，剩余的被定義為消失線的直線。由于計算誤差的影響，不一定能夠完全地匯集到一個點，而往往是交點匯集在一個區(qū)域，為了確定消失點的具體位置，本公開實施例將這個區(qū)域定義為消失區(qū)域，取這個區(qū)域的重心坐標作為消失點的確切位置。由于水平線和垂直線的消失點在無窮遠處，超過了圖像邊界，可將水平線和垂直線去掉。在步驟S2054中，對去水平和垂直線后的靜止區(qū)域的圖像，進行深度信息分配。深度信息分配的原則是：消失點距離觀察者最遠，從消失點出發(fā)沿著消失線的方向，深度依次遞減，距離消失點越遠，深度值越小。本公開的一實施例中，消失點出現(xiàn)在圖像畫面之內的情況，選擇那些能夠代表場景幾何結構信息的消失線，按照圖6所示的分配原則分配深度信息。假設背景的深度值為0～255的數值，設深度梯層為N，處于L1和L2之間的像素，深度信息賦值公式如式(23)所示。其中，經過Hough變換可以得到很多條可能的消失線，再經過消失點的確定后，經過消失點的兩條消失線就稱為L1和L2。depth_LP＝255-round(round(j×N/yo)×255/N)(23)式(23)中，Round是四舍五入；j指像素點的橫坐標值，即x0；N是將區(qū)域N等分，例如，可為100；y0是消失點的縱坐標。通過式(23)將消失點與兩消失線之間的部分區(qū)域，在縱坐標方向上劃分為平等的N分，根據該像素點與消失點在縱坐標上的差值與該區(qū)域的縱坐標總長進行比較，將該比值歸一化到0-255上即可。通過從上到下，從左到右的順序給所有像素點都賦值，最終獲取靜止區(qū)域的深度信息，根據這些深度信息即可得到靜止區(qū)域的深度圖。參見圖7a-圖7d所示為本公開一示例性實施例的靜止區(qū)域的深度圖獲取過程圖。其中，圖7a為分離出的背景區(qū)域的圖像；圖7b是Hough變換得到的主要直線圖；圖7c是經滅點和滅線后的圖像；圖7d是最終得到的靜止區(qū)域的深度圖。繼續(xù)參見圖2，本公開實施例的深度信息獲取方法包括：在步驟S206中，獲取運動區(qū)域的第二深度信息。在本公開的一實施例中，采用基于運動信息的深度信息獲取方法，從相鄰的兩幀圖像中，利用時間上的連續(xù)性獲得運動物體的運動矢量，并將運動幅度轉化成深度信息。在本公開的一實施例中，引用ThomasBrox的基于變形理論的高精度光流法獲取其運動矢量?；诨叶戎挡蛔兗僭O，梯度不變假設，光滑性假設和多尺度方法，本公開引用H.-H.Nagel的凸函數Ψ，提高全局偏離值估計的準確性，故模型可用能量函數來表示：EData(u,v)=∫ΩΨ(|I(X+W)-I(X)|2+γ|▿I(X+W)-▿I(X)|2)dx---(24)]]>其中，X＝(x,y,t)T為當前圖像的參數，W＝(u,v,1)T為偏移參數，γ代表權重系數，以上能量函數滿足灰度不變假設和梯度不變假設?？紤]圖像像素之間的相互作用，本公開用一個平滑術語來表示分段光滑的光流場的函數模型：ESmooth(u,v)=∫ΩΨ(|▿3u|2+|▿3v|2)dX---(25)]]>由于本公開模型操作時，是將當前幀與后一幀圖像對比，涉及到兩幀圖像間的時間梯度，故令本公開模型的總能量函數由數據項和光滑項的加權融合得到：E(u,v)＝EData+αESmooth(26)其中，α＞0。由于E(u,v)是非線性函數，本公開采用P.Anandan的方法來計算當前幀圖像和運動后的下一幀圖像的變量(du,dv)。深度信息的獲取可以參考坐標軸兩軸方向上的運動矢量，其深度信息可以用下面的公式估計：depth_OF=λdu2+dv2---(27)]]>其中，是運動矢量的模。λ為深度調整系數。調整λ的值來調整視頻幀的整體深度。max(du,dv)為獲得的運動矢量場中最大運動矢量的大小。參見圖8a-圖8b所示為本公開一示例性實施例的運動區(qū)域的深度圖獲取過程圖。其中，圖8a為未經靜止區(qū)域和運動區(qū)域分離的原始視頻圖像；圖8b是最終得到的運動區(qū)域的深度圖。繼續(xù)參見圖2，本公開實施例的深度信息獲取方法包括：在步驟S207中，獲取視頻圖像的紋理深度信息。參見圖9，在本公開的一實施例中，獲取視頻圖像的紋理深度信息，先從視頻圖像中提取紋理梯度值，并將其轉化為深度信息。在步驟S2071中，獲取視頻圖像的每個像素點的紋理梯度值。在一個實施例中，采取Laws八模板，計算視頻圖像中每個像素點的紋理梯度值：Zi(x,y)=|Σk=-11Σt=-11ωi(k,l)I(x+k,y+l)|---(28)]]>式中，I(x,y)表示像素點(x,y)的灰度值大小，ωi(k,l)(i＝1-8)表示Laws八模板。在步驟S2072中，根據每個像素點的紋理梯度值，獲取每個像素點的平均紋理梯度。對于一像素點的平均紋理梯度值，可以利用該點和周圍點的紋理梯度值結合來確定。在一個實施例中，利用7×7的窗口模板求得每個像素點的平均紋理梯度，通過歸一化處理將其值轉換到0～255區(qū)間。Zmean(x,y)=17Σm=-33Σn=-33Σi=18Zi(x+m,y+n)---(29)]]>Zmean′(x,y)=255×[Zmean(x,y)-Zmin(x,y)]Zmax(x,y)-Zmin(x,y)---(30)]]>式中，Zmax(x,y)是指紋理梯度中最大的那個值，Zmin(x,y)代表紋理梯度最小值。在步驟S2073中，根據每個像素點的平均紋理梯度對每個像素點進行深度信息分配。depth_order(x,y)=Zmean′(x,y)256/N---(31)]]>depth_Text(x,y)=255N×(depth_order(x,y)+1)---(32)]]>其中，N為深度梯層。由此，可得到每個像素點的深度信息，根據每個像素點的深度信息可得到視頻圖像的紋理深度信息，根據每個像素點的紋理深度信息，可得到紋理深度圖。在本公開的一個實施例中，在步驟S2073之后，還包括：在步驟S2074中，采用雙邊濾波法對紋理深度圖進行后處理。由此，可減少噪聲的影響。在本公開的實施例中，雙邊濾波法比高斯濾波多一個高斯方差，對離邊緣較遠的像素不會被輕易濾掉，在處理低頻信息的同時，可保存高頻信息。參見圖10a-圖10b為本公開一實施例的紋理深度信息的深度圖。其中，圖10a是未經靜止區(qū)域和運動區(qū)域分離的原始視頻圖像；圖10b是基于紋理信息獲得的深度圖。繼續(xù)參見圖2，本公開實施例的深度信息獲取方法包括：在步驟S208中，根據第一深度信息、第二深度信息和紋理深度信息，獲取視頻圖像的深度信息。本公開的實施例中，通過紋理深度信息來增添視頻圖像的深度信息的細節(jié)信息。參見圖11，首先本發(fā)明將視頻圖像劃分為靜止區(qū)域(即前景區(qū)域)和運動區(qū)域(即背景區(qū)域)，對靜止區(qū)域和運動區(qū)域分別采取加權方式賦值，最后通過融合靜止區(qū)域深度圖和運動區(qū)域深度圖獲取最終的深度圖。對于運動區(qū)域的加權深度信息，根據式(33)獲得：depth1＝depth_OF×ω1+depth_LP×ω2(33)其中，depth1代表運動區(qū)域的加權深度信息，depth_OF代表第二深度信息，depth_LP代表第一深度信息；ω1和ω2代表權重。對于靜止區(qū)域的加權深度信息，根據式(34)獲得：depth2＝depth_LP×ω3+depth_Text×ω4(34)其中，depth2代表靜止區(qū)域的加權深度信息，depth_Text代表紋理深度信息，depth_LP代表第一深度信息；ω3和ω4代表權重。在本公開的一實施例中，采用式(35)將運動區(qū)域和靜止區(qū)域的深度信息進行融合：depth=depth1(x,y)B(x,y)=255depth2(x,y)B(x,y)=0---(35)]]>B(x,y)為表示視頻圖像經過高斯模型獲取的二值圖像。在本公開的一實施例中，將視頻圖像轉換為二值圖像后，當某像素點的像素值為255時，將其判定運動前景區(qū)域，其深度信息通過運動區(qū)域的第二深度信息和紋理深度值加權得到；相反，如果該點像素值為0時，其深度信息由幾何信息得到的深度圖和紋理深度圖加權得到。在本公開的實施例中，ω1和ω2分別為第二深度信息和第一深度信息的權重。由于，根據視覺主觀測試可知人們對運動的物體更敏感，所以可將ω1的值設置為大于ω2。在一個實施例中，可將ω1設為0.75，將ω2設為0.25。ω3和ω4分別為第一深度信息和紋理深度信息的權重。由于靜態(tài)的背景幾何信息在全局深度信息上占主導地位，可將ω3的值設為大于ω4。在一個實施例中，可將設為0.75，將ω4設為0.25。ω1、ω2、ω3和ω4的值還可根據實際情況進行設置。參見圖12a-圖12i，為本公開一實施例的深度圖獲取過程示意圖。其中，圖12a是未經靜止區(qū)域和運動區(qū)域分離的原始二維視頻圖像；圖12b是分離出的靜止區(qū)域圖像；圖12c是分離出的運動區(qū)域圖像；圖12d是靜止區(qū)域的深度圖；圖12e是分離出的運動區(qū)域的深度圖；圖12f是紋理深度圖；圖12g是運動區(qū)域的加權深度圖；圖12h是靜止區(qū)域的加權深度圖；圖12i是最終得到的混合深度圖。在本公開的一實施例中，二維視頻可為自拍視頻，通過本公開的深度信息獲取方法，獲得的深度信息，具有比較明顯的深度細節(jié)，比單一一種深度線索獲取的深度圖質量更好，更接近人的視覺特性；且由于采用了三種信息加權的方式獲取深度信息，可以適應各類視頻圖像。參見圖13，為本公開一實施例提供的深度信息獲取裝置的結構示意圖。該深度信息獲取裝置130包括：讀取模塊131，被配置為讀取二維視頻的各幀視頻圖像；分離模塊132，被配置為對所述視頻圖像進行靜止區(qū)域和運動區(qū)域的分離；第一獲取模塊133，被配置為分別獲取所述靜止區(qū)域的第一深度信息和所述運動區(qū)域的第二深度信息；紋理深度信息獲取模塊134，被配置為獲取所述視頻圖像的紋理深度信息；深度信息獲取模塊135，被配置為根據所述第一深度信息、所述第二深度信息和所述紋理深度信息，獲取所述視頻圖像的深度信息。在一個實施例中，深度信息獲取模塊135包括：比較子模塊1351，被配置為將所述視頻圖像的各像素點的灰度值分別與一預設閾值進行比較；第一加權子模塊1352，被配置為當像素點的灰度值大于所述預設閾值時，將所述第一深度信息和所述第二深度信息進行加權以獲得該像素點的深度信息；第二加權子模塊1353，被配置為當像素點的灰度值小于所述預設閾值時，將所述第一深度信息和所述紋理深度信息進行加權以獲得該像素點的深度信息。在一個實施例中，分離模塊132包括：模型建立子模塊1321，被配置為建立高斯模型；分離子模塊1322，被配置為利用建立的高斯模型對視頻圖像進行靜止區(qū)域和運動區(qū)域的分離。在一個實施例中，裝置130還包括：陰影檢測模塊136，被配置為對進行了靜止區(qū)域和運動區(qū)域分離的視頻圖像進行陰影檢測；濾波模塊137，被配置為對經陰影檢測后的視頻圖像進行數學形態(tài)學濾波。在一個實施例中，第一獲取模塊133包括：邊緣檢測子模塊1331，被配置為對經數學形態(tài)學濾波后的靜止區(qū)域的圖像進行邊緣檢測；變換子模塊1332，被配置為對經邊緣檢測后的靜止區(qū)域的圖像，進行Hough變換；去除子模塊1333，被配置為對所述變換子模塊進行Hough變換后的靜止區(qū)域的圖像進行去水平線和垂直線；深度信息分配子模塊1334，被配置為對經去除子模塊去水平和垂直線后的靜止區(qū)域的圖像，進行深度信息分配以獲取第一深度信息。在一個實施例中，紋理深度信息獲取模塊134包括：紋理梯度值獲取子模塊1341，被配置為獲取視頻圖像的每個像素點的紋理梯度值；平均紋理梯度獲取子模塊1342，被配置為根據每個像素點的紋理梯度值，獲取每個像素點的平均紋理梯度；像素點深度信息分配子模塊1343，被配置為根據所述平均紋理梯度，對每個像素點進行深度信息分配以獲取紋理深度信息。關于上述實施例中的裝置，其中各個模塊執(zhí)行操作的具體方式已經在有關該方法的實施例中進行了詳細描述，此處將不做詳細闡述說明。圖14是根據一示例性實施例示出的一種用于終端的深度信息獲取裝置140的框圖，該裝置140可以是移動終端。如圖14所示，該裝置140可以包括：處理器1401，存儲器1402，多媒體組件1403，輸入/輸出(I/O)接口1404，通信組件1405以及視頻拍攝組件1406。其中，處理器1401用于控制該裝置140的整體操作，以完成上述的用于終端的控制方法中的全部或部分步驟。存儲器1402用于存儲各種類型的數據以支持在該裝置140的操作，這些數據的例如可以包括用于在該裝置140上操作的任何應用程序或方法的指令，以及應用程序相關的數據，例如聯(lián)系人數據、收發(fā)的消息、圖片、音頻、視頻等等。該存儲器1402可以由任何類型的易失性或非易失性存儲設備或者它們的組合實現(xiàn)，例如靜態(tài)隨機存取存儲器(StaticRandomAccessMemory，簡稱SRAM)，電可擦除可編程只讀存儲器(ElectricallyErasableProgrammableRead-OnlyMemory，簡稱EEPROM)，可擦除可編程只讀存儲器(ErasableProgrammableRead-OnlyMemory，簡稱EPROM)，可編程只讀存儲器(ProgrammableRead-OnlyMemory，簡稱PROM)，只讀存儲器(Read-OnlyMemory，簡稱ROM)，磁存儲器，快閃存儲器，磁盤或光盤。多媒體組件1403可以包括屏幕和音頻組件。其中屏幕例如可以是觸摸屏，音頻組件用于輸出和/或輸入音頻信號。例如，音頻組件可以包括一個麥克風，麥克風用于接收外部音頻信號。所接收的音頻信號可以被進一步存儲在存儲器1402或通過通信組件1405發(fā)送。音頻組件還包括至少一個揚聲器，用于輸出音頻信號。I/O接口1404為處理器1401和其他接口模塊之間提供接口，上述其他接口模塊可以是鍵盤，鼠標，按鈕等。這些按鈕可以是虛擬按鈕或者實體按鈕。通信組件1405用于該裝置140與其他設備之間進行有線或無線通信。無線通信，例如Wi-Fi，藍牙，近場通信(NearFieldCommunication，簡稱NFC)，2G、3G或4G，或它們中的一種或幾種的組合，因此相應的該通信組件1405可以包括：Wi-Fi模塊，藍牙模塊，NFC模塊。視頻拍攝組件1406可包括攝像頭、信號處理等模塊，用于采集視頻圖像。在本公開的實施例中，二維視頻圖像可為通過視頻拍攝組件1406拍攝采集的視頻圖像，也可為通過通信組件1405從網絡服務器或其它終端設備處獲取的視頻圖像。在一示例性實施例中，裝置140可以被一個或多個應用專用集成電路(ApplicationSpecificIntegratedCircuit，簡稱ASIC)、數字信號處理器(DigitalSignalProcessor，簡稱DSP)、數字信號處理設備(DigitalSignalProcessingDevice，簡稱DSPD)、可編程邏輯器件(ProgrammableLogicDevice，簡稱PLD)、現(xiàn)場可編程門陣列(FieldProgrammableGateArray，簡稱FPGA)、控制器、微控制器、微處理器或其他電子元件實現(xiàn)，用于執(zhí)行上述的用于終端的控制方法。在另一示例性實施例中，還提供了一種包括指令的非臨時性計算機可讀存儲介質，例如包括指令的存儲器1402，上述指令可由裝置140的處理器1401執(zhí)行以完成上述的用于終端的控制方法。示例地，該非臨時性計算機可讀存儲介質可以是ROM、隨機存取存儲器(RandomAccessMemory，簡稱RAM)、CD-ROM、磁帶、軟盤和光數據存儲設備等。流程圖中或在本公開的實施例中以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個或更多個用于實現(xiàn)特定邏輯功能或過程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分，并且本公開實施方式的范圍包括另外的實現(xiàn)，其中可以不按所示出或討論的順序，包括根據所涉及的功能按基本同時的方式或按相反的順序，來執(zhí)行功能，這應被本公開的實施例所述
技術領域：
的技術人員所理解。以上結合附圖詳細描述了本公開的優(yōu)選實施方式，但是，本公開并不限于上述實施方式中的具體細節(jié)，在本公開的技術構思范圍內，可以對本公開的技術方案進行多種簡單變型，這些簡單變型均屬于本公開的保護范圍。另外需要說明的是，在上述具體實施方式中所描述的各個具體技術特征，在不矛盾的情況下，可以通過任何合適的方式進行組合。為了避免不必要的重復，本公開對各種可能的組合方式不再另行說明。此外，本公開的各種不同的實施方式之間也可以進行任意組合，只要其不違背本公開的思想，其同樣應當視為本公開所公開的內容。當前第1頁1 2 3