專利名稱：一種深度圖像跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種立體視頻制作中密集深度圖像跟蹤的方法，屬于計算機視覺立體
視頻領(lǐng)域。
背景技術(shù)：
隨著計算機技術(shù)的發(fā)展，平面視頻已經(jīng)不能滿足人們對世界表述的需要，立體視頻的研究成為熱點。 立體視頻與普通的平面視頻的最大不同點就在于立體視頻包含了深度信息，也就是視頻中對象離觀察者的遠近距離，而這在平面視頻中是不可能辦到的。然而在立體視頻的制作中，深度圖像的獲取的代價也是很高的，所以研究如何利用有限的深度圖像而得到更多的深度圖像就顯得很有必要。 目前的深度圖像跟蹤方法主要有兩種，運動估計法和雙邊濾波法。其中運動估計法又包括基于運動圖像專家組(MPEG)標準的塊匹配法和光流法。塊匹配法就是尋找相鄰兩幅圖像中相似的塊，根據(jù)相似塊之間的位置差異(即運動)而得到深度圖像中相應(yīng)的塊在下一幀中的位置。而光流法是利用圖像像素點的時域變化來確定每個點的運動，光流法的計算結(jié)果就是圖像中每一個點的運動矢量，根據(jù)每個點的運動矢量來確定當前幀的深度圖像中一點在下一幀中的位置。雙邊濾波法是對當前幀中一點周圍一定范圍的每個像素計算一個權(quán)值，根據(jù)計算出的權(quán)值和當前幀深度圖像中該范圍內(nèi)每個點的深度得到下一幀中該點的深度。 在本發(fā)明的實施過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有的技術(shù)存在以下的問題由基于塊匹配的運動估計法所跟蹤得到的深度圖存在很大的塊效應(yīng)，往往使得對象的邊界變得曲曲折折，而基于光流法的運動估計方法所得到的深度圖存在誤匹配點，使得對象的邊緣附近存在很多"雪花點"?，F(xiàn)有的雙邊濾波法不存在塊效應(yīng)和誤匹配的問題，但是它會使得對象的邊緣模糊，比較明顯的是出現(xiàn)像"彗尾" 一樣的狹長過渡區(qū)。

發(fā)明內(nèi)容
本發(fā)明的目的是克服現(xiàn)有技術(shù)中存在的不足，提供一種精確的深度圖像跟蹤方法，使得深度跟蹤的結(jié)果更精確。 按照本發(fā)明提供的技術(shù)方案，所述深度圖像跟蹤方法，首先獲取兩幀圖像p、 q以及圖像P的深度圖像；然后使用改進的雙邊濾波算法求得圖像q的估計深度圖像；再使用基于塊匹配的運動補償算法對所述圖像q的估計深度圖像進行運動補償修正，得到精確的圖像q的深度圖像。 所述改進的雙邊濾波算法步驟如下 a)計算圖像q中點(i， j)的深度時，選取圖像p中以坐標為(i， j)的點為中心，輸入?yún)?shù)wsize為邊長的正方形范圍內(nèi)的點(m， n)，計算圖像p中點(m， n)與圖像q中點(i， j)的顏色差clr_dist2 ;所述顏色差clr_dist2定義為RGB空間的歐氏距離的平方；
3
b)如果所述顏色差clr_dist2小于給定的閾值MAX_CLR_DIF，則根據(jù)該顏色差計 算點(m， n)的權(quán)值 weight (m， n， i， j) =exp[_clr_dist2/(alpha承alpha)]承[1/(clr_dist2/ (256*256)+1)]; 其中e鄧[-clr—dist2/(alph^alpha)]是按照以e為底指數(shù)分布的權(quán)重分量，[1/ (clr_dist2/(256*256)+1)]是按照雙曲線分布的權(quán)重分量； c)如果所述顏色差clr_dist2大于閾值MAX—CLILDIF，則不予計算權(quán)值，權(quán)值默認 為0，即過濾掉該點； d)對圖像p中所述正方形范圍內(nèi)每一個點的深度按照該點權(quán)重加權(quán)平均，得到圖 像q中點(i， j)的估計深度值。 所述基于塊匹配的運動補償算法步驟如下 a)將圖像q的估計深度圖像分為大小相同的小塊； b)對于圖像q的估計深度圖像中的一個塊，稱為當前塊，在圖像p的深度圖像中找 到與當前塊最相似的塊；相似度度量函數(shù)為cost = sumj3(clr—dis^d印—dist)，即對圖 像P的深度圖像中的塊內(nèi)的每一點計算顏色距離和深度距離的乘積，然后對所述圖像P的 深度圖像中的塊內(nèi)所有點的所述乘積求和，cost越小表示越相似；所述顏色距離指圖像p 的深度圖像中的塊與所述當前塊中對應(yīng)點的顏色距離，所述深度距離指圖像P的深度圖像 中的塊與所述當前塊中對應(yīng)點的深度距離； c)用圖像p的深度圖像中最相似的塊的每一點的深度替代圖像q的估計深度圖像 的當前塊中對應(yīng)點的深度。 本發(fā)明的優(yōu)點是本發(fā)明結(jié)合了雙邊濾波和運動補償，可以避免塊效應(yīng)和雪花點 效應(yīng)，而且對雙邊濾波的模糊效應(yīng)也有很大的改善效果，可以得到很精確的深度圖像，提高 了立體視頻制作的效率。


圖l是本發(fā)明的示意圖。
圖2是本發(fā)明的流程圖。
具體實施例方式
下面結(jié)合附圖和實施例對本發(fā)明作進一步說明。 在本實施案例中，相關(guān)參數(shù)的選擇如下alpha = 8， wsize = 9(該值與兩幀圖像 的最大運動距離有關(guān)，運動越大，則該值應(yīng)該越大)，MAX_CLR_DIF = 10000 (該值與估計精 度有關(guān)，取值過小將導(dǎo)致在雙邊濾波時存在很多點估計不到深度的情況，而取值太大將失 去過濾效果)，運動補償時塊大小為8，運動搜索范圍為20。 wsize是算法輸入?yún)?shù)，取值一 般在3 19之間。alpha值用于衡量雙邊濾波的濾波程度，其值越小，顏色差越小的點的深 度所占比重越大。 如圖2所示，本發(fā)明具體實施步驟如下 1、讀入兩幀彩色圖像p和q(RGB三通道圖像)，并讀入圖像p的深度圖像(單通道 圖像)，深度圖像為圖像P中每一點的深度，離觀察者最近的深度值為255，最遠的深度值為O，如圖1所示； 2、對于q中的每一點(i， j)，其顏色值為Colorj(i， j)，找到圖像p中以(i， j) 為中心，wsize為邊長的正方形區(qū)域內(nèi)的每一點(m， n)，記其顏色值為Color_p(m， n)，計算 點(m， n)與點(i， j)之間的顏色距離:clr—dist2 = [R(i， j)-R(m， n)]2+[G(i， j)-G(m， n)]2+[B(i， j)-B(m， n)]2。 3、如果顏色距離clr_dist2小于給定的閾值MAX_CLR_DIF，則計算權(quán)值 weight(m， n， i， j) = exp[_clr_dist2/(alpha*alpha)]*[1/(clr_dist2/(256*256)+1)]， 否則權(quán)值weight (m， n， i， j) = O，表示過濾掉該點。 所述閾值MAX_CLR_DIF是算法輸入?yún)?shù)，它的取值范圍是0 3*255*255，該參數(shù) 的作用是限制濾波過程中與圖像q中(i，j)點顏色差值太大的點的深度對點(i，j)深度的 影響。取值為O時則不管顏色差是多少都將其深度考慮進來，而隨著取值的增大，與(i，j) 點顏色值差別很大的點的深度將不予考慮，而只考慮與點(i， j)顏色很相似的點的深度。 如果該值取得太大，有可能造成上述正方形區(qū)域內(nèi)沒有點被考慮，這時候點(i， j)點的深 度將不能被估計到，此時默認其深度為O，從而在最后的結(jié)果中呈現(xiàn)"黑色的空洞"。
4、對圖像p的深度圖像中以(i， j)為中心，wsize為邊長的正方形區(qū)域內(nèi)的每一 點加權(quán)平均，權(quán)重即為步驟2中計算所得，從而得到q中點(i， j)的估計深度。
5、將q的估計深度圖像分為8*8的小塊，對每一個小塊，在給定的搜索范圍內(nèi)使用 塊匹配的運動估計法(如全搜索算法、菱形搜索算法等方法)計算得到圖像P的深度圖像 中與其最相似的小塊，相似度度量函數(shù)定義為cost = sumj3(clr—dis^d印—dist)，其中 clr_dist = sqrt([R(x， y)-R(s， t)]2+[G(x， y)-G(s， t)]2+[B(x， y)-B(s， t)]2) ， d印—dist =abs(D(x， y)-D(s， t))， sum_b()表示對小塊內(nèi)的所有點求和，sqrt ()表示對括號內(nèi)的變 量進行開方運算，abs ()表示對括號內(nèi)的變量進行求絕對值運算，R(x， y) 、 G (x， y) 、 B (x， y)、 D(x， y)表示圖像p中點(x， y)的紅色、綠色、藍色分量值以及圖像p的深度圖像中點(x， y)的值，R(s，t)、G(s，t)、B(s，t)、D(s，t)表示q圖像中點(s， t)的紅色、綠色、藍色分量 值以及q的估計深度圖像中點(s，t)值。在搜索范圍內(nèi)取cost最小的塊即為最相似的塊。
6、用圖像p的深度圖像中最相似的小塊的每一點的深度代替q的估計深度圖像中 當前塊的相應(yīng)點的深度，從而得到精確的q的深度圖像。
權(quán)利要求
一種深度圖像跟蹤方法，其特征是首先獲取兩幀圖像p、q以及圖像p的深度圖像；然后使用改進的雙邊濾波算法求得圖像q的估計深度圖像；再使用基于塊匹配的運動補償算法對所述圖像q的估計深度圖像進行運動補償修正，得到精確的圖像q的深度圖像。
2. 如權(quán)利要求1所述的深度圖像跟蹤方法，其特征是所述改進的雙邊濾波算法步驟如下a) 計算圖像q中點(i， j)的深度時，選取圖像P中以坐標為(i， j)的點為中心，輸入 參數(shù)wsize為邊長的正方形范圍內(nèi)的點(m， n)，計算圖像p中點(m， n)與圖像q中點(i， j)的顏色差clr_dist2 ;所述顏色差clr_dist2定義為RGB空間的歐氏距離的平方；b) 如果所述顏色差clr_dist2小于給定的閾值MAX—CLILDIF，則根據(jù)該顏色差計算點 (m， n)的權(quán)值:<formula>formula see original document page 2</formula>其中e^[-Clr_dist2/(alpha*alpha)]是按照以e為底指數(shù)分布的權(quán)重分量，[1/ (clr_dist2/(256*256)+1)]是按照雙曲線分布的權(quán)重分量；c) 如果所述顏色差clr_dist2大于閾值MAX—CLILDIF，則不予計算權(quán)值，權(quán)值默認為0， 即過濾掉該點；d) 對圖像p中所述正方形范圍內(nèi)每一個點的深度按照該點權(quán)重加權(quán)平均，得到圖像q 中點(i， j)的估計深度值。
3. 如權(quán)利要求1所述的深度圖像跟蹤方法，其特征是所述基于塊匹配的運動補償算法 步驟如下a) 將圖像q的估計深度圖像分為大小相同的小塊；b) 對于圖像q的估計深度圖像中的一個塊，稱為當前塊，在圖像p的深度圖像中找到 與當前塊最相似的塊；相似度度量函數(shù)為cost = Sum_b(Clr_diSt*cbp_dist)，即對圖像p 的深度圖像中的塊內(nèi)的每一點計算顏色距離和深度距離的乘積，然后對所述圖像P的深度 圖像中的塊內(nèi)所有點的所述乘積求和，cost越小表示越相似；所述顏色距離指圖像p的深 度圖像中的塊與所述當前塊中對應(yīng)點的顏色距離，所述深度距離指圖像P的深度圖像中的 塊與所述當前塊中對應(yīng)點的深度距離；c) 用圖像p的深度圖像中最相似的塊的每一點的深度替代圖像q的估計深度圖像的當 前塊中對應(yīng)點的深度。
全文摘要
本發(fā)明公開了一種精確的深度圖像跟蹤的方法，屬于計算機視覺立體視頻領(lǐng)域。所述方法包括獲取兩幀圖像p、q以及p的深度圖像，先使用改進的雙邊濾波算法得到q的估計深度圖像，然后使用基于塊匹配的運動補償算法對q的估計深度圖像進行修正，從而得到q的精確的深度圖像。本發(fā)明可以得到很精確的深度圖像，從而提高了立體視頻制作的效率。
文檔編號G06T7/00GK101710426SQ20091021283
公開日2010年5月19日 申請日期2009年10月30日 優(yōu)先權(quán)日2009年10月30日
發(fā)明者劉曉冬, 劉磊, 戴瓊海, 曹汛, 黎政 申請人:無錫景象數(shù)字技術(shù)有限公司