專利名稱:一種基于深度圖像的3d視頻去隔行方法和裝置的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及圖像處理及圖像信號傳輸領(lǐng)域,特別涉及一種基于深度圖像的3D視頻去隔行方法和裝置。
背景技術(shù):
基于深度圖像的繪制(DIBR,Depth Image Based Rendering)是指利用參考圖像 (Reference Image)及與所述參考圖像對應(yīng)的深度圖像(D^th Image),生成新視點(diǎn)圖像。 其中,深度圖像是一幅灰度值在0 255的灰度圖像,每一個灰度值可用8個比特表示。由于DIBR技術(shù)只需要傳輸一路視頻數(shù)據(jù)及其對應(yīng)的深度圖像數(shù)據(jù),便可產(chǎn)生立體圖像對(Stereo Pairs),并且能方便地在2D和3D之間進(jìn)行切換,因此,DIBR技術(shù)已經(jīng)成為3D立體電視(3D TV)系統(tǒng)中的關(guān)鍵技術(shù)。目前,負(fù)責(zé)H. 264標(biāo)準(zhǔn)制定的聯(lián)合視頻組(JVT, Joint Video Team)和歐洲的ATTEST項(xiàng)目已經(jīng)推薦采用“視頻+深度”的3D視頻格式(3D video format),高清晰度多媒體接口 (HDMI, High Definition Multimedia Interface) 標(biāo)準(zhǔn)的最新版(版本號1.4)也已支持左眼視圖+深度(Left+d印th)的3D視頻格式。這些視頻有一個共同特點(diǎn),即含有深度圖像,因此有些文獻(xiàn)稱它們?yōu)榛谏疃葓D像的3D視頻 (depth-image-based 3D video) 0基于深度圖像的3D視頻在生成立體圖像對時(shí)都要用到 DIBR技術(shù)。DIBR技術(shù)通常包括深度圖像預(yù)處理、三維圖像變換和空洞填充這3個基本步驟, 其中的核心步驟是三維圖像變換。而三維圖像變換的過程如下(1)利用參考圖像的投影矩陣及深度圖像,將參考圖像中的點(diǎn)映射到3D場景中的占.
^ \\\ (2)利用目標(biāo)圖像的投影矩陣,將3D場景中的點(diǎn)重投影到目標(biāo)圖像中的點(diǎn)?;谏疃葓D像的3D視頻與需要傳輸左右眼兩路視頻的傳統(tǒng)3D視頻相比,傳輸帶寬已經(jīng)降低。但如果在現(xiàn)有的電視系統(tǒng)中傳輸高清分辨率(如1080p)的基于深度圖像的 3D視頻,仍然面臨較大的傳輸帶寬壓力。為了進(jìn)一步降低傳輸帶寬,可以像現(xiàn)有技術(shù)中電視臺發(fā)送的隔行視頻信號那樣,將基于深度圖像的3D視頻進(jìn)行隔行化處理。隔行化處理后的 3D視頻必須在數(shù)字電視芯片中完成去隔行處理之后,才能送往顯示屏正常顯示。由于基于深度圖像的隔行化3D視頻在還原成立體圖像對時(shí),不但存在DIBR技術(shù)所固有的空洞現(xiàn)象, 還有隔行化所帶來的鋸齒、行間閃爍、爬行等現(xiàn)象,因此,提供高性能的去隔行算法是3D TV 應(yīng)用中要攻克的關(guān)鍵問題?,F(xiàn)有技術(shù)中的去隔行算法都是針對普通2D隔行視頻信號的,并不適用于基于深度圖像的隔行化3D視頻,并且,目前實(shí)際應(yīng)用的去隔行算法多數(shù)都采用運(yùn)動自適應(yīng)的算法。由于運(yùn)動自適應(yīng)算法需要了多場圖像作為參考圖像,而這對于基于深度圖像的隔行化 3D視頻而言,帶寬很難承受
發(fā)明內(nèi)容
本發(fā)明提供了一種基于深度圖像的3D視頻去隔行方法和裝置,是針對基于深度圖像的隔行化3D視頻專門設(shè)計(jì)的去隔行處理方案,使得去隔行時(shí)所需的帶寬在能夠承受的范圍內(nèi)。本發(fā)明實(shí)施例提出一種基于深度圖像的3D視頻去隔行方法,包括如下步驟A、對隔行參考圖像去隔行,得到逐行參考圖像;并對所述隔行參考圖像對應(yīng)的隔行深度圖像去隔行,得到逐行深度圖像;B、對得到的逐行參考圖像和逐行深度圖像進(jìn)行三維圖像變換,生成含有空洞的逐行目標(biāo)圖像;同時(shí)得到一個與該目標(biāo)圖像相對應(yīng)的0-1矩陣,矩陣中的每一個元素用于指示目標(biāo)圖像中某點(diǎn)是否為空洞點(diǎn),元素值為0表示該點(diǎn)是空洞點(diǎn),元素值為1表示該點(diǎn)不是空洞點(diǎn);以及C、對得到的逐行目標(biāo)圖像中的空洞進(jìn)行填充,生成最終的目標(biāo)圖像。較佳地,步驟A為采用基于方向的場內(nèi)插值算法對隔行參考圖像Ii進(jìn)行場內(nèi)插值,得到去隔行后的逐行參考圖像I1 ;以及采用基于方向的場內(nèi)插值算法對隔行深度圖像 Di進(jìn)行場內(nèi)插值,得到去隔行后的逐行深度圖像D。較佳地,所述采用基于方向的場內(nèi)插值算法對隔行參考圖像Ii進(jìn)行場內(nèi)插值,得到去隔行后的逐行參考圖像I1包括Al、計(jì)算與當(dāng)前待插值像素點(diǎn)最鄰近的2N個像素點(diǎn)和待插值像素點(diǎn)χ之間的相關(guān)
系數(shù)r 0, (i = 0,1,2......n-1),所述與像素點(diǎn)χ最鄰近的2Ν個像素點(diǎn)包括像素點(diǎn)χ所在
行的上一行的N像素點(diǎn)和像素點(diǎn)χ所在行的下一行的N個像素點(diǎn);Α2、在所述相關(guān)系數(shù)組成的集合或該集合的子集中選擇最小的一個相關(guān)系數(shù), 該相關(guān)系數(shù)對應(yīng)的方向角作為最優(yōu)的方向角;A3、計(jì)算β i對應(yīng)的用于插值的像素值Im以及待插值像素點(diǎn)對應(yīng)的方向標(biāo)志;A4、按行遍歷隔行參考圖像Ii中的所有待插值像素點(diǎn),如果還有未插值的待插值像素點(diǎn),則轉(zhuǎn)至步驟Al,否則得到去隔行后的逐行參考圖像‘較佳地,所述步驟Al之前進(jìn)一步包括對逐行參考圖像I1中的當(dāng)前待插值像素點(diǎn)進(jìn)行細(xì)節(jié)保護(hù)濾波。較佳地,所述對逐行參考圖像I1中的當(dāng)前待插值像素點(diǎn)進(jìn)行細(xì)節(jié)保護(hù)濾波包括選取當(dāng)前待插值像素點(diǎn)的所在行的上一行、且與當(dāng)前待插值像素點(diǎn)最接近的若干個像素點(diǎn)ai;以及當(dāng)前待插值像素點(diǎn)的所在行的下一行、且與當(dāng)前待插值像素點(diǎn)最接近的若干個像素點(diǎn)h;
1 ;+ι"α/+2 >Th_D Uj = \θ -Th D < aj+l - aj+2 <Th D -1 a,,, - a< -Th D根據(jù)公式/ / ,“計(jì)算相鄰像素點(diǎn) 的像素值之差的標(biāo)志
權(quán)利要求
1.一種基于深度圖像的3D視頻去隔行方法,其特征在于,包括如下步驟A、對隔行參考圖像去隔行,得到逐行參考圖像;并對所述隔行參考圖像對應(yīng)的隔行深度圖像去隔行,得到逐行深度圖像;B、對得到的逐行參考圖像和逐行深度圖像進(jìn)行三維圖像變換,生成含有空洞的逐行目標(biāo)圖像;同時(shí)得到一個與該目標(biāo)圖像相對應(yīng)的0-1矩陣,矩陣中的每一個元素用于指示目標(biāo)圖像中某點(diǎn)是否為空洞點(diǎn),元素值為0表示該點(diǎn)是空洞點(diǎn),元素值為1表示該點(diǎn)不是空洞點(diǎn);以及C、對得到的逐行目標(biāo)圖像中的空洞進(jìn)行填充,生成最終的目標(biāo)圖像。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,步驟A為采用基于方向的場內(nèi)插值算法對隔行參考圖像Ii進(jìn)行場內(nèi)插值,得到去隔行后的逐行參考圖像I1 ;以及采用基于方向的場內(nèi)插值算法對隔行深度圖像Di進(jìn)行場內(nèi)插值,得到去隔行后的逐行深度圖像D。
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述采用基于方向的場內(nèi)插值算法對隔行參考圖像Ii進(jìn)行場內(nèi)插值,得到去隔行后的逐行參考圖像I1包括Al、計(jì)算與當(dāng)前待插值像素點(diǎn)最鄰近的2N個像素點(diǎn)和待插值像素點(diǎn)χ之間的相關(guān)系數(shù)r0i(i = 0,1,2......n-1),所述與像素點(diǎn)χ最鄰近的2Ν個像素點(diǎn)包括像素點(diǎn)χ所在行的上一行的N像素點(diǎn)和像素點(diǎn)χ所在行的下一行的N個像素點(diǎn);Α2、在所述相關(guān)系數(shù)組成的集合或該集合的子集中選擇最小的一個相關(guān)系數(shù),該相關(guān)系數(shù)對應(yīng)的方向角作為最優(yōu)的方向角;A3、計(jì)算β i對應(yīng)的用于插值的像素值Im以及待插值像素點(diǎn)對應(yīng)的方向標(biāo)志; A4、按行遍歷隔行參考圖像Ii中的所有待插值像素點(diǎn),如果還有未插值的待插值像素點(diǎn),則轉(zhuǎn)至步驟Al,否則得到去隔行后的逐行參考圖像Ip
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述步驟Al之前進(jìn)一步包括對逐行參考圖像I1中的當(dāng)前待插值像素點(diǎn)進(jìn)行細(xì)節(jié)保護(hù)濾波。
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述對逐行參考圖像I1中的當(dāng)前待插值像素點(diǎn)進(jìn)行細(xì)節(jié)保護(hù)濾波包括選取當(dāng)前待插值像素點(diǎn)的所在行的上一行、且與當(dāng)前待插值像素點(diǎn)最接近的若干個像素點(diǎn)%,以及當(dāng)前待插值像素點(diǎn)的所在行的下一行、且與當(dāng)前待插值像素點(diǎn)最接近的若干個像素點(diǎn)h;根據(jù)公式
6.根據(jù)權(quán)利要求3所述的方法,其特征在于,N= 9,步驟Al所述計(jì)算與當(dāng)前待插值像素點(diǎn)最鄰近的2N個像素點(diǎn)和待插值像素點(diǎn)χ之間的相關(guān)系數(shù)為根據(jù)公式
7.根據(jù)權(quán)利要求6所述的方法,其特征在于,所述步驟A2為設(shè)置相關(guān)系數(shù)r0i組成的集合U和集合U的子集
8.根據(jù)權(quán)利要求7所述的方法,其特征在于,所述步驟A3包括 (α7 + , +、,)/4 i 二 8
9.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述步驟A3之后,且步驟Α4之前,進(jìn)一步包括對插值的像素點(diǎn)的像素值進(jìn)行濾波。
10.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述步驟Al之前,進(jìn)一步包括若隔行參考圖像是奇場,且待插值像素點(diǎn)位于隔行參考圖像的所對應(yīng)的原始幀的最后一行、或者前4列或最后4列,則復(fù)制上一行對應(yīng)的點(diǎn)的像素值作為待插值像素點(diǎn)的像素值;如果隔行參考圖像是偶場,且待插值像素點(diǎn)X4位于隔行參考圖像所對應(yīng)的原始幀的第一行、或者前4列或最后4列,則復(fù)制下一行對應(yīng)的點(diǎn)的像素值作為待插值像素點(diǎn)的像素值,如果待插值像素點(diǎn)不符合上述情形,則執(zhí)行步驟Al。
11.根據(jù)權(quán)利要求1至10任一項(xiàng)所述的方法,其特征在于,所述步驟C包括C11、按行遍歷逐行目標(biāo)圖像I2中的空洞點(diǎn),根據(jù)0-1矩陣M填充上下左右4鄰域像素集中所有像素都不空的空洞點(diǎn),同時(shí)更新0-1矩陣M ;C12 按行遍歷逐行目標(biāo)圖像I2中的空洞點(diǎn),根據(jù)0-1矩陣M填充上下左右4鄰域像素集中有3個及3個以上像素不空的空洞點(diǎn),同時(shí)更新0-1矩陣M ;若還存在上下左右4鄰域像素集中有3個及3個以上像素不空的空洞點(diǎn),則轉(zhuǎn)到步驟C11,否則轉(zhuǎn)到步驟C13 ;C13 按行遍歷逐行目標(biāo)圖像I2中的空洞點(diǎn),根據(jù)0-1矩陣M填充上下左右4鄰域像素集中有2個及2個以上像素不空的空洞點(diǎn),同時(shí)更新0-1矩陣M ;若還存在上下左右4鄰域像素集中有2個及2個以上像素不空的空洞點(diǎn),則轉(zhuǎn)步驟C11,否則轉(zhuǎn)到步驟C14 ;C4 按行遍歷逐行目標(biāo)圖像I2中的空洞點(diǎn),根據(jù)0-1矩陣M填充上下左右4鄰域像素集中有1個及1個以上像素不空的空洞點(diǎn),同時(shí)更新0-1矩陣M ;若還存在上下左右4鄰域像素集中有1個及1個以上像素不空的空洞點(diǎn),則轉(zhuǎn)步驟C11,否則結(jié)束步驟C。
12.根據(jù)權(quán)利要求1至10任一項(xiàng)所述的方法,其特征在于,所述步驟C包括C21、按行遍歷逐行目標(biāo)圖像12中的空洞點(diǎn),根據(jù)0-1矩陣M尋找上下左右4鄰域像素集中至少有一個像素不空的空洞點(diǎn),用4鄰域像素集中非空像素的均值作為空洞點(diǎn)的像素值,同時(shí)更新0-1矩陣M ;C22、按行遍歷逐行目標(biāo)圖像12中的空洞點(diǎn),根據(jù)0-1矩陣M重復(fù)執(zhí)行步驟C21,直到所有的空洞點(diǎn)被填充,結(jié)束步驟C。
13.一種基于深度圖像的3D視頻去隔行裝置,其特征在于,包括去隔行模塊,用于對隔行參考圖像進(jìn)行去隔行處理,得到逐行參考圖像;并對所述隔行參考圖像對應(yīng)的隔行深度圖像進(jìn)行去隔行處理,得到逐行深度圖像;三維變換模塊,用于對所述去隔行模塊得到的逐行參考圖像和逐行深度圖像進(jìn)行三維圖像變換,生成含有空洞的逐行目標(biāo)圖像;同時(shí)得到一個與該目標(biāo)圖像相對應(yīng)的0-1矩陣, 矩陣中的每一個元素用于指示目標(biāo)圖像中某點(diǎn)是否為空洞點(diǎn),元素值為0表示該點(diǎn)是空洞點(diǎn),元素值為1表示該點(diǎn)不是空洞點(diǎn);以及填充模塊,用于對所述三維變換模塊得到的逐行目標(biāo)圖像中的空洞進(jìn)行填充,生成最終的目標(biāo)圖像。
14.根據(jù)權(quán)利要求13所述的裝置,其特征在于,所述去隔行模塊用于采用基于方向的場內(nèi)插值算法對隔行參考圖像Ii進(jìn)行場內(nèi)插值,得到去隔行后的逐行參考圖像I1 ;以及采用基于方向的場內(nèi)插值算法對隔行深度圖像Di進(jìn)行場內(nèi)插值,得到去隔行后的逐行深度圖像D。
15.根據(jù)權(quán)利要求14所述的裝置,其特征在于,所述去隔行模塊包括相關(guān)系數(shù)計(jì)算單元,用于計(jì)算與當(dāng)前待插值像素點(diǎn)最鄰近的2N個像素點(diǎn)和待插值像素點(diǎn)χ之間的相關(guān)系數(shù)r 0, (i = 0,1,2......n-1),所述與像素點(diǎn)χ最鄰近的2Ν個像素點(diǎn)包括像素點(diǎn)χ所在行的上一行的N像素點(diǎn)和像素點(diǎn)χ所在行的下一行的N個像素點(diǎn);方向角選擇單元,用于在所述相關(guān)系數(shù)計(jì)算單元得到的相關(guān)系數(shù)r0i組成的集合或該集合的子集中選擇最小的一個相關(guān)系數(shù),該相關(guān)系數(shù)對應(yīng)的方向角作為最優(yōu)的方向角; 插值單元,用于計(jì)算所述方向角選擇單元所選擇的最優(yōu)的方向角β 應(yīng)的用于插值的像素值Im以及待插值像素點(diǎn)對應(yīng)的方向標(biāo)志;輸出單元,用于按行遍歷隔行參考圖像Ii中的所有待插值像素點(diǎn),如果還有未插值的待插值像素點(diǎn),則在未插值的待插值像素點(diǎn)中選擇一個像素點(diǎn)作為當(dāng)前待插值像素點(diǎn),并通知相關(guān)系數(shù)計(jì)算單元進(jìn)行處理,否則輸出去隔行后的逐行參考圖像Ii。
16.根據(jù)權(quán)利要求15所述的裝置,其特征在于,所述去隔行模塊進(jìn)一步包括細(xì)節(jié)保護(hù)濾波單元,用于在相關(guān)系數(shù)計(jì)算單元進(jìn)行處理之前,對逐行參考圖像I1中的當(dāng)前待插值像素點(diǎn)進(jìn)行細(xì)節(jié)保護(hù)濾波。
17.根據(jù)權(quán)利要求16所述的裝置,其特征在于,所述細(xì)節(jié)保護(hù)濾波單元包括 鄰近像素選取子單元,用于選取當(dāng)前待插值像素點(diǎn)的所在行的上一行、且與當(dāng)前待插值像素點(diǎn)最接近的若干個像素點(diǎn)α ”以及當(dāng)前待插值像素點(diǎn)的所在行的下一行、且與當(dāng)前待插值像素點(diǎn)最接近的若干個像素點(diǎn)h ; 計(jì)算子單元,用于根據(jù)公式
18.根據(jù)權(quán)利要求15所述的裝置,其特征在于,N= 9,所述相關(guān)系數(shù)計(jì)算單元計(jì)算與當(dāng)前待插值像素點(diǎn)最鄰近的2N個像素點(diǎn)和待插值像素點(diǎn)χ之間的相關(guān)系數(shù)為根據(jù)公 式
19.根據(jù)權(quán)利要求18所述的裝置,其特征在于,所述方向角選擇單元用于設(shè)置相關(guān)系數(shù)r 0 i組成的集合U和集合U的子集V = ( , ,、,··.,、}
20.根據(jù)權(quán)利要求19所述的裝置,其特征在于,所述插值單元用于 (α7 +怠 +α8 + 0)/4 i = 8 根據(jù)公式
21.根據(jù)權(quán)利要求15所述的裝置,其特征在于,所述去隔行模塊進(jìn)一步包括濾波單元,用于對所述插值單元所得到的插值像素點(diǎn)的像素值進(jìn)行濾波。
22.根據(jù)權(quán)利要求15所述的裝置,其特征在于,所述去隔行模塊進(jìn)一步包括邊緣處理單元,用于在相關(guān)系數(shù)計(jì)算單元進(jìn)行處理之前,進(jìn)行如下處理若隔行參考圖像是奇場,且待插值像素點(diǎn)位于隔行參考圖像的所對應(yīng)的原始幀的最后一行、或者前4列或最后4列,則復(fù)制上一行對應(yīng)的點(diǎn)的像素值作為待插值像素點(diǎn)的像素值;如果隔行參考圖像是偶場且待插值像素點(diǎn)&位于隔行參考圖像所對應(yīng)的原始幀的第一行、或者前4列或最后4列,則復(fù)制下一行對應(yīng)的點(diǎn)的像素值作為待插值像素點(diǎn)的像素值, 如果待插值像素點(diǎn)不符合上述情形,則通知相關(guān)系數(shù)計(jì)算單元進(jìn)行處理。
23.根據(jù)權(quán)利要求13至22任一項(xiàng)所述的裝置,其特征在于,所述填充模塊包括第一填充單元,用于按行遍歷逐行目標(biāo)圖像I2中的空洞點(diǎn),根據(jù)0-1矩陣M填充上下左右4鄰域像素集中所有像素都不空的空洞點(diǎn),同時(shí)更新0-1矩陣M ;第二填充單元,用于按行遍歷逐行目標(biāo)圖像I2中的空洞點(diǎn),根據(jù)0-1矩陣M填充上下左右4鄰域像素集中有3個及3個以上像素不空的空洞點(diǎn),同時(shí)更新0-1矩陣M ;若還存在上下左右4鄰域像素集中有3個及3個以上像素不空的空洞點(diǎn),則通知第一填充單元進(jìn)行處理,否則通知第三填充單元進(jìn)行處理;第三填充單元,用于按行遍歷逐行目標(biāo)圖像I2中的空洞點(diǎn),根據(jù)0-1矩陣M填充上下左右4鄰域像素集中有2個及2個以上像素不空的空洞點(diǎn),同時(shí)更新0-1矩陣M ;若還存在上下左右4鄰域像素集中有2個及2個以上像素不空的空洞點(diǎn),則通知第一填充單元進(jìn)行處理,否則通知第四填充單元進(jìn)行處理;第四填充單元,用于按行遍歷逐行目標(biāo)圖像I2中的空洞點(diǎn),根據(jù)0-1矩陣M填充上下左右4鄰域像素集中有1個及1個以上像素不空的空洞點(diǎn),同時(shí)更新0-1矩陣M ;若還存在上下左右4鄰域像素集中有1個及1個以上像素不空的空洞點(diǎn),則通知第一填充單元進(jìn)行處理,否則使能輸出單元;輸出單元,用于輸出逐行目標(biāo)圖像12。
24.根據(jù)權(quán)利要求13至22任一項(xiàng)所述的裝置,其特征在于,所述填充模塊包括 填充單元,用于根據(jù)0-1矩陣M尋找上下左右4鄰域像素集中至少有一個像素不空的空洞點(diǎn),用4鄰域像素集中非空像素的均值作為空洞點(diǎn)的像素值,同時(shí)更新0-1矩陣M ;輸出單元,用于按行遍歷逐行目標(biāo)圖像I2中的空洞點(diǎn),根據(jù)0-1矩陣M使能填充單元, 若0-1矩陣M中所有元素值均為1,則輸出逐行目標(biāo)圖像12。
全文摘要
本發(fā)明提供了一種基于深度圖像的3D視頻去隔行方法,包括如下步驟A、對隔行參考圖像去隔行,得到逐行參考圖像;并對所述隔行參考圖像對應(yīng)的隔行深度圖像去隔行,得到逐行深度圖像;B、對得到的逐行參考圖像和逐行深度圖像進(jìn)行三維圖像變換,生成含有空洞的逐行目標(biāo)圖像;同時(shí)得到一個與該目標(biāo)圖像相對應(yīng)的0-1矩陣,矩陣中的每一個元素用于指示目標(biāo)圖像中某點(diǎn)是否為空洞點(diǎn),元素值為0表示該點(diǎn)是空洞點(diǎn),元素值為1表示該點(diǎn)不是空洞點(diǎn);以及C、對得到的逐行目標(biāo)圖像中的空洞進(jìn)行填充,生成最終的目標(biāo)圖像。本發(fā)明還提供了一種深度圖像的3D視頻去隔行裝置。本發(fā)明是針對基于深度圖像的隔行化3D視頻專門設(shè)計(jì)的去隔行處理方案,使得去隔行時(shí)所需的帶寬在能夠承受的范圍內(nèi)。
文檔編號H04N7/01GK102457737SQ201010527019
公開日2012年5月16日 申請日期2010年10月26日 優(yōu)先權(quán)日2010年10月26日
發(fā)明者劉然, 許小艷 申請人:中國移動通信集團(tuán)重慶有限公司, 重慶大學(xué)