專利名稱：一種基于視覺模型的深度提取方法
技術領域：
本發(fā)明涉及計算機視覺技術領域，特別涉及一種基于視覺模型的深度提取方法。
背景技術：
與觀看2D視頻相比，觀眾觀看3D視頻能產(chǎn)生身臨其境的真實感受，因此，3D技術的發(fā)展受到越來越多的重視。但是，目前3D視頻的制作費用昂貴，致使3D片源不足，有一種解決方案是通過2D視頻轉(zhuǎn)換成3D視頻。由于3D視頻格式通常采用“視頻+深度”的模式，在將2D視頻轉(zhuǎn)換成3D視頻的過程中，需要進行深度提取，目前現(xiàn)有的深度提取方法是從圖片的強度、顏色和紋理信息中提取深度，這種提取方法沒有考慮人類的視覺模型，提取的深度信息不夠準確。

發(fā)明內(nèi)容
本發(fā)明旨在至少解決現(xiàn)有技術中存在的技術問題，特別創(chuàng)新地提出了一種基于視覺模型的深度提取方法。為了實現(xiàn)本發(fā)明的上述目的，本發(fā)明提供了一種基于視覺模型的深度提取方法，其包括如下步驟:第一步:將視頻圖像的彩色信號轉(zhuǎn)化為灰度信號；第二步:計算相鄰兩像素點處于同一深度的概率；第三步:計算所有像素點的深度值；第四步:對計算的所有像素點的深度值進行濾波平滑以及歸一化處理。在本發(fā)明的一個優(yōu)選實施例中，根據(jù)HMAX視覺模型計算相鄰兩像素點處于同一深度的概率，該HMAX視覺模型計算相鄰兩像素點處于同一深度的概率包括如下步驟:a:在SI層對視頻圖像進行濾波處理；b:在Cl層，綜合所述SI層的輸出進行濾波和歸一化操作；c:在S2層對圖像進行濾波處理；d:在C2層，綜合所述S2層的輸出并進行濾波和歸一化操作。本發(fā)明的基于視覺模型的深度提取方法將視覺模型引入深度提取，使深度計算結(jié)果更加準確。本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。


本發(fā)明的上述和/或附加的方面和優(yōu)點從結(jié)合下面附圖對實施例的描述中將變得明顯和容易理解，其中:圖1是本發(fā)明基于視覺模型的深度提取方法的流程圖。
具體實施例方式下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。圖1是本發(fā)明基于視覺模型的深度提取方法的流程圖，從圖中可見，該深度提取方法包括如下步驟:第一步:將視頻圖像的彩色信號轉(zhuǎn)化為灰度信號；第二步:計算相鄰兩像素點處于同一深度的概率；第三步:計算所有像素點的深度值；第四步:對計算的所有像素點的深度值進行濾波平滑以及歸一化處理。

在本發(fā)明的一個優(yōu)選實施方式中，具體步驟為:首先，將視頻圖像的彩色信號轉(zhuǎn)化為灰度信號，對每一個像素點，灰度信號取為I (u, v) = (R(u, V) +G (u, V) +B (u, v))/3,其中，R、G、B為視頻圖像第u行第v列的像素點為彩色信號時的三通道值。然后，根據(jù)HMAX視覺模型計算相鄰兩像素點處于同一深度的概率，該HMAX視覺模型計算相鄰兩像素點處于同一深度的概率包括如下步驟:a:在SI層對視頻圖像進行濾波處理；b:在Cl層，綜合所述SI層的輸出進行濾波和歸一化操作；c:在S2層對圖像進行濾波處理；d:在C2層，綜合所述S2層的輸出并進行濾波和歸一化操作。其中，在步驟a中，對Θ =0，Θ = Ji /4, Θ = ji /2, Θ =3 Ji /4四個方向在兩個角度Φ=0和 φ =- Ji /2 這 8 種組合分別用公式 f I ο，φ=θχρ (-(xcos Θ +ysin Θ ) "2+(-xsin Θ +ycos θ )"2/10) XcosO (xcos θ+ysin θ )/2+Φ)定義的矩形窗和原圖像矩陣I進行二維卷積運算I*fl e, Φ，得到8個矩陣SI $，該矩形窗fI 的大小為5*5，中心點的坐標為(0，O)。在本實施方式中，X、y為矩形窗形成的濾波窗口的坐標。在步驟b中，分別對步驟a中四個方向的兩個角度的8個矩陣SUj進行平方加權(quán)組合，公式為 gl 0=sqrt (SI 0，Q+S10，_π/2)然后,用公式 f2=g2 (exp (-(x~2+y~2)/10)/10_exP (- (x~2+y~2) /5) /5)定義的矩形窗和矩陣gl θ分別進行二維卷積運算gl e *f2,濾波后得到4個矩陣Cle，其中當x>0時，g2 (X) =x;當X≤O時，g2 (x)=0，f2選取大小為15*15，中心點的坐標為(O, O) ο在步驟c中，分別對Θ =0，Θ =ji/4, Θ =ji/2, θ =3 Ji/4四個方向在兩個角度φ =- ji /4, Φ =-3 π /4 這 8 種組合分別用公式 f3 0，φ=θχρ (-(xcos Θ +ysin θ ) ~2+(_xsin θ +ycos θ ) "2/10) XcosO (xcos θ +ysin θ )/2+Φ)定義的矩形窗和步驟b處理后的圖像矩陣Cl θ分別進行二維卷積運算Cl e *f3 e, ，得到8個矩陣S2 e，，矩形窗f3 e, 的大小為5*5，中心點的坐標為(O, O) ο在步驟d中，首先，分別對步驟c中四個方向的兩個角度的結(jié)果進行平方加權(quán)組合，公式為 g3 e =sqrt (S2 θ，0+S2 0，π/2),然后，用公式 f4=g4 (exp (- (x~2+y~2) /10) / 10-exp (-(x~2+y~2)/5)/5)定義的矩形窗和矩陣gle分別進行二維卷積運算g3e*f4進行濾波，得到4個矩陣C20。其中當x>0時，g4 (x) =x;當X ≤ O時，g4 (x)=0，f4選取大小為15*15,中心點的坐標為(O, O) O在步驟d得到的4個矩陣C2e進行歸一化操作，將矩陣C2e轉(zhuǎn)化為概率，即取值范圍限定在(0，I)之間，每一個矩陣C20有1!* 個像素，將矩陣C20從大到小排列，取
0.大的像素值PO，對每一個元素按如下公式計算:Pe (X，y) = (C2e (x, y)/P0)~2，其中，I彡X彡h, I彡y彡w,h為圖像像素點的行數(shù)，w為圖像像素點的列數(shù),如果P0 (x, y)>l,取
P0 (X，y)=l。在利用HMAX視覺模型計算相鄰兩像素點處于同一深度的概率后，計算所有像素點的深度值的方法為:首先，計算第一列和第一行中像素點的深度值；然后，計算除第一列和第一行以外各行和各列的像素點的深度值。計算第一列和第一行中像素點的深度值的方法為:設左上角像素點的深度為0，即d印th(l，1)=0 ;第一列的像素點的深度值為:depth (kl, I) =depth (kl_l, I) + λ I (kl, I) -1 (kl_l, I) |,第一行的像素點的深度值為:depth (I, k2) =depth (I, k2~l) + λ 11 (1，k2)-1 (1，k2_l) |，其中，I < kl彡h, I < k2彡w, h為圖像像素點的行數(shù)，w為圖像像素點的列數(shù)，
I(x, y)表示第X行第y列的灰度值，λ為深度系數(shù)，在本實施方式中，深度系數(shù)λ的取值為 0.5。在第一行和第一列以外的點(x，y)，都有左上點(x-1，y_l)，上點(x，y_l)，右上點(x+1, y_l)，左點(x-1，y)，計算除第一列和第一行以外各行和各列的像素點的深度值的方法為:depth (x, y) = (depth (χ-l, y-1) +P3 π /4 (χ, y) X I (χ, y) -1 (χ-1, y-1) )/4+ (depth(χ, y-1)+P Ji /2 (χ, y) X 11 (χ, y)-1 (χ, y-1) )/4+(depth (x+1, y-1)+P π /4(x, y) X 11 (x, y)-1(x+1, y-1) 1)/4+ (depth(x_l, y) +PO (x, y) X 11 (x, y)-1 (χ-l, y) )/4,其中，I <x^h,l<y^w, h為圖像像素點的行數(shù),w為圖像像素點的列數(shù)。在計算所有像素點的深度值后，對計算的所有像素點的深度值進行濾波平滑以及歸一化處理，具體為:首先，用公式f5=exp(_(x~2+y~2)/5)/5的矩形窗和所有像素點的深度值矩陣depth進行二維卷積運算得到g5=depth*f5,矩形f5選取大小為15*15,中心點的坐標為(0，0);然后，將將得到的結(jié)果g5規(guī)范到區(qū)間
內(nèi)，即尋找g5中所有元素的最大值max和最小值min,按公式result= (g5_min) / (max-min),得到的結(jié)果是最終的深度圖。本發(fā)明的基于視覺模型的深度提取方法將視覺模型引入深度提取，使深度計算結(jié)果更加準確。在本說明書的描述中，參考術語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點包含于本發(fā)明的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結(jié)合。

盡管已經(jīng)示出和描述了本發(fā)明的實施例，本領域的普通技術人員可以理解:在不脫離本發(fā)明的原理和宗旨的情況下可以對這些實施例進行多種變化、修改、替換和變型，本發(fā)明的范圍由權(quán)利要求及其等同物限定。
權(quán)利要求
1.一種基于視覺模型的深度提取方法，其特征在于，包括如下步驟: 第一步:將視頻圖像的彩色信號轉(zhuǎn)化為灰度信號； 第二步:計算相鄰兩像素點處于同一深度的概率； 第三步:計算所有像素點的深度值； 第四步:對計算的所有像素點的深度值進行濾波平滑以及歸一化處理。
2.按權(quán)利要求1所述的基于視覺模型的深度提取方法，其特征在于，將所述視頻圖像的彩色信號轉(zhuǎn)化為灰度信號的方法為:將視頻圖像的每一個像素點的灰度信號取為Ku，v) = (R(u, V) +G(u, V) +B(u, v))/3，其中，R、G、B為視頻圖像第u行第v列的像素點為彩色信號時的三通道值。
3.按權(quán)利要求1所述的基于視覺模型的深度提取方法，其特征在于，根據(jù)HMAX視覺模型計算相鄰兩像素點處于同一深度的概率，所述HMAX視覺模型計算相鄰兩像素點處于同一深度的概率包括如下步驟: a:在SI層對視頻圖像進行濾波處理； b:在Cl層，綜合所述SI層的輸出進行濾波和歸一化操作； c:在S2層對圖像進行濾波處理； d:在C2層，綜合所述S2層的輸出并進行濾波和歸一化操作。
4.按權(quán)利要求3所述的基于視覺模型的深度提取方法，其特征在于，在所述步驟a中，對視頻圖像進行濾波處理的 方法為:對Θ =0，Θ = Ji /4，Θ =Ji /2，Θ =3 Ji /4四個方向在兩個角度 Φ=0 和 Φ=-π/2 分別用公式 0，φ=θχρ(-(χ(3θ8 Θ +ysin Θ ) "2+(-xsin Θ +ycosθ ) ~2/10) XcosO (xcos Θ +ysin θ )/2+Φ)定義的矩形窗和原圖像矩陣進行二維卷積運算Ι*Π Θ;Φ,得到8個矩陣SI e，，所述矩形窗fI e的大小為5*5，中心點的坐標為(0，O)。
5.按權(quán)利要求3或4所述的基于視覺模型的深度提取方法，其特征在于，在所述步驟b中，進行濾波和歸一化操作的方法為:首先，分別對步驟a中四個方向的兩個角度的結(jié)果進行平方加權(quán)組合，公式為 gl θ =sqrt (SI θ j0+Sl θ；_π/2),然后,用公式 f2=g2 (exp (- (x~2+y~2) /10)/10-eXp(-(X~2+y~2)/5)/5)定義的矩形窗和矩陣gl e分別進行二維卷積運算gle*f2，濾波后得到4個矩陣Cl e，其中當x>0時，g2(x)=x;當X彡O時,g2 (X)=O, f2選取大小為15*15，中心點的坐標為(O, O) ο
6.按權(quán)利要求3所述的基于視覺模型的深度提取方法，其特征在于，在所述步驟c中，對圖像進行濾波處理的方法為:分別對Θ =0，Θ = Ji /4，Θ =Ji /2，Θ =3 Ji /4四個方向在兩個角度 Φ=-π/4, Φ =-3 /4 用公式 f3 0，φ=θχρ (- (xcos Θ +ysin θ ) '2+ (_xsin θ +ycos θ ) "2/10) XcosO (xcos θ +ysin θ )/2+Φ)定義的矩形窗和步驟b處理后的圖像矩陣Cl ο分別進行二維卷積運算Cl e *f3 e, ，得到8個矩陣S2 e, ，所述矩形窗f3 e，的大小為5*5，中心點的坐標為(O, O) O
7.按權(quán)利要求3或6所述的基于視覺模型的深度提取方法，其特征在于，在所述步驟d中，進行濾波的方法為:首先，分別對步驟c中四個方向的兩個角度的結(jié)果進行平方加權(quán)組合，公式為 g3o = sqrt(S2ej0+S2e； π/2),然后,用公式 f4=g4 (exp (-(x~2+y~2)/10)/10-exp (-(x~2+y~2)/5)/5)定義的矩形窗和矩陣gle分別進行二維卷積運算g3e*f4進行濾波，得到4個矩陣C20。其中當x>0時，g4 (x) =x;當X < O時，g4 (x)=0，f4選取大小為15*15,中心點的坐標為(0,0)。
8.按權(quán)利要求3或7所述的基于視覺模型的深度提取方法，其特征在于，在所述步驟d得到的4個矩陣C2e進行歸一化操作，將矩陣C2e轉(zhuǎn)化為概率，即取值范圍限定在(O，I)之間，每一個矩陣C20有h*w個像素，將矩陣C20從大到小排列，取0.l*h*w大的像素值PO，對每一個元素按如下公式計算:ρθ (X，y) = (C2 e (X，y) /PO) ~2，其中，l^x^h,l^y^w,h為圖像像素點的行數(shù)，w為圖像像素點的列數(shù)，如果Pe (X，7)>1，??？0(1，y)=l。
9.按權(quán)利要求1所述的基于視覺模型的深度提取方法，其特征在于，計算所有像素點的深度值的方法為:首先，計算第一列和第一行中像素點的深度值；然后，計算除所述第一列和第一行以外各行和各列的像素點的深度值。
10.按權(quán)利要求9所述的基于視覺模型的深度提取方法，其特征在于，計算第一列和第一行中像素點的深度值的方法為: 設左上角像素點的深度為0，即depth (I, 1)=0 ； 第一列的像素點的深度值為: depth (kl, I) =depth (kl_l, I) + λ I (kl, I) —I (kl_l, I) |, 第一行的像素點的深度值為: depth (I, k2) =depth (I, k2_l) + λ I (I, k2) -1 (I, k2_l) |, 其中，I < kl≤h, I < k2≤w,h為圖像像素點的行數(shù)，w為圖像像素點的列數(shù),I (x, y)表示第X行第y列的灰度值，λ為深度系數(shù)。
11.按權(quán)利要求10所述的基于視覺模型的深度提取方法，其特征在于，所述深度系數(shù)λ的取值為0.5。
12.按權(quán)利要求9所述的基于視覺模型的深度提取方法，其特征在于，計算除所述第一列和第一行以外各行和各列的像素點的深度值的方法為:depth (X，y) = (depth (χ-l, y-l)+P3 π /4(x, y) X I (x, y)-1 (x_l, y-1) )/4+(depth (x, y-1)+P ^ /2(x, y) X 11 (x, y)-1 (x, y-1) )/4+(depth (x+1, y-1)+P π /4(x, y) X 11 (x, y)-1 (x+I, y-1) 1)/4+ (depth(x_l, y) +PO (x, y) X 11 (x, y)-1 (x_l, y) )/4, 其中，I < X≤h, I < y≤w, h為圖像像素點的行數(shù)，w為圖像像素點的列數(shù)。
13.按權(quán)利要求1所述的基于視覺模型的深度提取方法，其特征在于，對計算的所有像素點的深度值進行濾波平滑以及歸一化處理的方法為: 首先，用公式f5=exp (- (X~2+y~2) /5) /5的矩形窗和所有像素點的深度值矩陣cbpth進行二維卷積運算得到g5=cbpth*f5，f5選取大小為15*15，中心點的坐標為(0，O)； 然后，將g5規(guī)范到區(qū)間
內(nèi)，即尋找g5中所有元素的最大值max和最小值min,按公式result= (g5-min)/ (max-min),得到最終的深度圖。
全文摘要
本發(fā)明提出了一種基于視覺模型的深度提取方法，其包括如下步驟首先，將視頻圖像的彩色信號轉(zhuǎn)化為灰度信號；然后，計算相鄰兩像素點處于同一深度的概率；再后，計算所有像素點的深度值；最后，對計算的所有像素點的深度值進行濾波平滑以及歸一化處理。本發(fā)明的基于視覺模型的深度提取方法將視覺模型引入深度提取，使深度計算結(jié)果更加準確。
文檔編號G06T5/00GK103093469SQ201310023799
公開日2013年5月8日 申請日期2013年1月22日 優(yōu)先權(quán)日2013年1月22日
發(fā)明者戴瓊海, 張洋 申請人:清華大學