基于雙目恰可覺(jué)察失真的多視點(diǎn)彩色視頻快速編碼方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于雙目恰可覺(jué)察失真的多視點(diǎn)彩色視頻快速編碼方法，其首先利用左視點(diǎn)視頻和右視點(diǎn)視頻的視差信息確定右視點(diǎn)視頻中的每幀右視點(diǎn)圖像中的非邊界區(qū)域內(nèi)的每個(gè)宏塊的雙目恰可覺(jué)察失真值，其次根據(jù)雙目恰可覺(jué)察失真值的大小提前終止宏塊模式選擇，該快速編碼方法在不造成率失真性能下降的基礎(chǔ)上，能夠有效地提高多視點(diǎn)彩色視頻的編碼效率，節(jié)約的編碼時(shí)間可達(dá)66.48%到71.90%，平均節(jié)約編碼時(shí)間68.46%。
【專(zhuān)利說(shuō)明】基于雙目恰可覺(jué)察失真的多視點(diǎn)彩色視頻快速編碼方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種多視點(diǎn)彩色視頻信號(hào)的處理方法，尤其是涉及一種基于雙目恰可覺(jué)察失真的多視點(diǎn)彩色視頻快速編碼方法。
【背景技術(shù)】
[0002]三維電視與自由視點(diǎn)電視廣泛使用多視點(diǎn)彩色視頻進(jìn)行場(chǎng)景描述。多視點(diǎn)彩色視頻包括多個(gè)視點(diǎn)的彩色，通過(guò)編碼、傳輸、解碼后在顯示端進(jìn)行虛擬視點(diǎn)繪制。在多視點(diǎn)彩色加深度視頻中，多視點(diǎn)彩色視頻編碼已經(jīng)得到廣泛的研究，其中較為適用的編碼平臺(tái)有聯(lián)合多視點(diǎn)視頻模型和聯(lián)合多視點(diǎn)視頻編碼。但是由于有關(guān)人眼視覺(jué)的特性的研究正在發(fā)展中，因此在多視點(diǎn)彩色視頻的壓縮中利用人眼視覺(jué)系統(tǒng)的感知特性有待進(jìn)一步的研究。
[0003]目前，研究人眼視覺(jué)系統(tǒng)的諸多特性中，恰可覺(jué)察失真是廣大研究者所傾向的特征之一。恰可覺(jué)察失真表征人眼觀看一幅圖像時(shí)對(duì)圖像像素的變化所能感知的可見(jiàn)閾值，主要依賴(lài)于圖像的亮度和對(duì)比度。Liu等人利用恰可覺(jué)察失真模型區(qū)分圖像的邊界和紋理區(qū)域。最近，一些針對(duì)人眼感知三維圖像和視頻的可見(jiàn)閾值的研究正在盛行，如深度恰可覺(jué)察失真和雙目恰可覺(jué)察失真。深度恰可覺(jué)察失真表征的是深度視頻中最小能被感知的閾值，因此可將深度視頻中低于該閾值的像素進(jìn)一步進(jìn)行壓縮。雙目恰可覺(jué)察失真是利于基于雙眼的亮度掩蔽和對(duì)比度掩蔽實(shí)驗(yàn)得到的模型，其表示在其中一個(gè)視點(diǎn)的圖像或視頻的失真低于雙目恰可覺(jué)察失真時(shí)，雙目不會(huì)覺(jué)察到該圖像或視頻的失真。
[0004]為了進(jìn)一步壓縮多視點(diǎn)彩色加深度視頻龐大的數(shù)據(jù)量，適用的編碼平臺(tái)采用全搜索模式選擇，確定宏塊的最小率失真代價(jià)，從而確定最佳預(yù)測(cè)模式。針對(duì)全搜索模式較高的計(jì)算復(fù)雜度，研究人員提出了一些快速模式選擇算法。Shen等人提出了一種低復(fù)雜度模式選擇算法，包括四種有效地模式選擇技術(shù)，預(yù)先判定SKIP模式，自適應(yīng)提前終止，快速模式大小選擇和有選擇的幀內(nèi)編碼方法，這種方法有效地節(jié)約了多視點(diǎn)彩色視頻的編碼時(shí)間，同時(shí)能夠保持幾乎和全搜索模式選擇相同的編碼結(jié)果。Zeng等人利用量化步長(zhǎng)和率失真代價(jià)之間的關(guān)系作為閾值，利用相鄰塊的運(yùn)動(dòng)矢量計(jì)算當(dāng)前塊的運(yùn)動(dòng)矢量。上述的方法都能在不降低編碼質(zhì)量的前提下有效地節(jié)約編碼復(fù)雜度，然而在多視點(diǎn)彩色視頻的編碼過(guò)程中，人眼的視覺(jué)特性并不能完全利用到這些方法中，關(guān)于感知方向的多視點(diǎn)彩色視頻依然有很多的研究空間。

【發(fā)明內(nèi)容】

[0005]本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種基于雙目恰可覺(jué)察失真的多視點(diǎn)彩色視頻快速編碼方法，其能夠在維持重建視點(diǎn)視頻性能的基礎(chǔ)上，有效地減少多視點(diǎn)彩色視頻的編碼時(shí)間。
[0006]本發(fā)明解決上述技術(shù)問(wèn)題所采用的技術(shù)方案為:一種基于雙目恰可覺(jué)察失真的多視點(diǎn)彩色視頻快速編碼方法，其特征在于包括以下步驟:
[0007]①將多視點(diǎn)彩色視頻的左視點(diǎn)視頻記為{Q(k)}，將多視點(diǎn)彩色視頻的右視點(diǎn)視頻記為{cK(k)}，其中，ClGO表示{ClGO}中的第k幀左視點(diǎn)圖像，Ck(k)表示Ick(k)}中的第k幀右視點(diǎn)圖像，I ≤ k ≤ K, K表示左視點(diǎn)視頻和右視點(diǎn)視頻中包含的圖像的幀數(shù)；
[0008]②將{CK(k)}中的每幀右視點(diǎn)圖像劃分為邊界區(qū)域和非邊界區(qū)域，其中，邊界區(qū)域由右視點(diǎn)圖像中的第一行宏塊、最后一行宏塊、第一列宏塊和最后一列宏塊構(gòu)成；然后計(jì)算{CK(k)}中的每幀右視點(diǎn)圖像中的非邊界區(qū)域內(nèi)的每個(gè)宏塊的雙目恰可覺(jué)察失真值，假設(shè){CK(k)}中的第k幀右視點(diǎn)圖像CK(k)中坐標(biāo)位置為(i，j)的宏塊屬于{CE(k)}中的第k幀右視點(diǎn)圖像Ck(k)中的非邊界區(qū)域，則將{CK(k)}中的第k幀右視點(diǎn)圖像CK(k)中坐標(biāo)位置為(i，j)的宏塊的雙目恰可覺(jué)察失真值記為，其中，2≤i≤W/16-1, 2≤j≤H/16-1，i的初始值為1，j的初始值為1，W表示{Cjk)}中的每幀左視點(diǎn)圖像和ICk (k)}中的每幀右視點(diǎn)圖像的寬度，H表示{Cjk)}中的每幀左視點(diǎn)圖像和{cr (k)}中的每巾貞右視點(diǎn)圖像的聞度；
[0009]③在多視點(diǎn)視頻編碼校驗(yàn)?zāi)Ｐ蚃MVC上，采用HBP預(yù)測(cè)編碼結(jié)構(gòu)對(duì){Q(k)}中的每幀左視點(diǎn)圖像中的每個(gè)宏塊和{CK(k)}中的每幀右視點(diǎn)圖像中的每個(gè)宏塊進(jìn)行編碼，在編碼過(guò)程中為每個(gè)宏塊選擇最優(yōu)宏塊編碼模式的過(guò)程為:
[0010]③-1、將當(dāng)前待編碼的宏塊定義為當(dāng)前宏塊；
[0011]③-2、當(dāng)當(dāng)前宏塊為{Q(k)}中的宏塊時(shí)，編碼器采用H.264的模式選擇過(guò)程搜索SKIP、Inter 16X 16、Interl6X8、Inter8X 16、Inter8X8、Inter8X8Frext、Intral6X 16、Intra8X8和Intra4X4宏塊編碼模式，從這些宏塊編碼模式中選出率失真代價(jià)最小的宏塊編碼模式作為當(dāng)前宏塊的最優(yōu)宏塊編碼模式進(jìn)行編碼；
[0012]當(dāng)當(dāng)前宏塊為{CK(k)}中的宏塊時(shí)，判斷當(dāng)前宏塊屬于邊界區(qū)域還是屬于非邊界區(qū)域，如果當(dāng)前宏塊屬于邊界區(qū)域，則編碼器采用H.264的模式選擇過(guò)程搜索SKIP、Inter 16 X16> Interl6 X 8> Inter8 X16> Inter8 X 8> Inter8 X 8Frext> Intral6 X16>Intra8X8和Intra4X4宏塊編碼模式，從這些宏塊編碼模式中選出率失真代價(jià)最小的宏塊編碼模式作為當(dāng)前宏塊的最優(yōu)宏塊編碼模式進(jìn)行編碼；如果當(dāng)前宏塊屬于非邊界區(qū)域，則再判斷當(dāng)前宏塊的雙目恰可覺(jué)察失真值是否大于或等于設(shè)定的判定閾值，如果是，則編碼器采用H.264的模式選擇過(guò)程搜索SKIP、Interl6X16、Interl6X8、Inter8X16、Inter8 X 8、Inter8 X 8Frext、Intral6 X 16、Intra8X8 和 Intra4X4 宏塊編碼模式，從這些宏塊編碼模式中選出率失真代價(jià)最小的宏塊編碼模式作為當(dāng)前宏塊的最優(yōu)宏塊編碼模式進(jìn)行編碼；否則，編碼器采用H.264的模式選擇過(guò)程只搜索SKIP和InterieX 16宏塊編碼模式，從這兩種宏塊編碼模式中選出率失真代價(jià)最小的宏塊編碼模式作為當(dāng)前宏塊的最優(yōu)宏塊編碼模式進(jìn)行編碼；
[0013]③_3、將下一個(gè)待編碼的宏塊作為當(dāng)前宏塊，然后返回步驟③-2繼續(xù)執(zhí)行，直至{CL(k)}中的每幀左視點(diǎn)圖像中的每個(gè)宏塊和{CK(k)}中的每幀右視點(diǎn)圖像中的每個(gè)宏塊均完成編碼。
[0014]所述的步驟②中{CK (k)}中的第k幀右視點(diǎn)圖像CK(k)中坐標(biāo)位置為(i，j)的宏塊的雙目恰可覺(jué)察失真值
【權(quán)利要求】
1.一種基于雙目恰可覺(jué)察失真的多視點(diǎn)彩色視頻快速編碼方法，其特征在于包括以下步驟: ①將多視點(diǎn)彩色視頻的左視點(diǎn)視頻記為ICJk)}，將多視點(diǎn)彩色視頻的右視點(diǎn)視頻記為ICk(k)}，其中，ClGO表示{ClGO}中的第k幀左視點(diǎn)圖像，Ck(k)表示{cK(k)}中的第k中貞右視點(diǎn)圖像，I ≤ k ≤ K, K表不左視點(diǎn)視頻和右視點(diǎn)視頻中包含的圖像的巾貞數(shù)； ②將{cK(k)}中的每幀右視點(diǎn)圖像劃分為邊界區(qū)域和非邊界區(qū)域，其中，邊界區(qū)域由右視點(diǎn)圖像中的第一行宏塊、最后一行宏塊、第一列宏塊和最后一列宏塊構(gòu)成；然后計(jì)算{CK(k)}中的每幀右視點(diǎn)圖像中的非邊界區(qū)域內(nèi)的每個(gè)宏塊的雙目恰可覺(jué)察失真值，假設(shè){CK(k)}中的第k幀右視點(diǎn)圖像CK(k)中坐標(biāo)位置為(i，j)的宏塊屬于{CE(k)}中的第k幀右視點(diǎn)圖像Ck(k)中的非邊界區(qū)域，則將{CK(k)}中的第k幀右視點(diǎn)圖像CK(k)中坐標(biāo)位置為(i，j)的宏塊的雙目恰可覺(jué)察失真值記為/?/Α7);)(//)，其中，2≤i≤W/16-1, 2≤j≤H/16-1，i的初始值為1，j的初始值為1，W表示{Cjk)}中的每幀左視點(diǎn)圖像和ICk (k)}中的每幀右視點(diǎn)圖像的寬度，H表示{Cjk)}中的每幀左視點(diǎn)圖像和{cr (k)}中的每巾貞右視點(diǎn)圖像的聞度； ③在多視點(diǎn)視頻編碼校驗(yàn)?zāi)Ｐ蚃MVC上，采用HBP預(yù)測(cè)編碼結(jié)構(gòu)對(duì){Q(k)}中的每幀左視點(diǎn)圖像中的每個(gè)宏塊和{CK(k)}中的每幀右視點(diǎn)圖像中的每個(gè)宏塊進(jìn)行編碼，在編碼過(guò)程中為每個(gè)宏塊選擇最優(yōu)宏塊編碼模式的過(guò)程為: ③-1、將當(dāng)前待編碼的宏塊定義為當(dāng)前宏塊； ③-2、當(dāng)當(dāng)前宏塊為{Cjk)}中的宏塊時(shí)，編碼器采用H.264的模式選擇過(guò)程搜索SKIP、Inter 16X 16、Interl6X8、Inter8X 16、Inter8X8、Inter8X8Frext、Intral6X 16、Intra8X8和Intra4X4宏塊編碼模式，從這些宏塊編碼模式中選出率失真代價(jià)最小的宏塊編碼模式作為當(dāng)前宏塊的最優(yōu)宏塊編碼模式進(jìn)行編碼； 當(dāng)當(dāng)前宏塊為{CK(k)}中的宏塊時(shí)，判斷當(dāng)前宏塊屬于邊界區(qū)域還是屬于非邊界區(qū)域，如果當(dāng)前宏塊屬于邊界區(qū)域，則編碼器采用H.264的模式選擇過(guò)程搜索SKIP、Interl6 X16> Inter 16 X 8> Inter8 X16> Inter8 X 8> Inter8 X 8Frext> Intral6 X16>Intra8X8和Intra4X4宏塊編碼模式，從這些宏塊編碼模式中選出率失真代價(jià)最小的宏塊編碼模式作為當(dāng)前宏塊的最優(yōu)宏塊編碼模式進(jìn)行編碼；如果當(dāng)前宏塊屬于非邊界區(qū)域，則再判斷當(dāng)前宏塊的雙目恰可覺(jué)察失真值是否大于或等于設(shè)定的判定閾值，如果是，則編碼器采用H.264的模式選擇過(guò)程搜索SKIP、Interl6X16、Interl6X8、Inter8X16、Inter8 X 8、Inter8 X 8Frext、Intral6 X 16、Intra8X8 和 Intra4X4 宏塊編碼模式，從這些宏塊編碼模式中選出率失真代價(jià)最小的宏塊編碼模式作為當(dāng)前宏塊的最優(yōu)宏塊編碼模式進(jìn)行編碼；否則，編碼器采用H.264的模式選擇過(guò)程只搜索SKIP和InterieX 16宏塊編碼模式，從這兩種宏塊編碼模式中選出率失真代價(jià)最小的宏塊編碼模式作為當(dāng)前宏塊的最優(yōu)宏塊編碼模式進(jìn)行編碼； ③-3、將下一個(gè)待編碼的宏塊作為當(dāng)前宏塊，然后返回步驟③-2繼續(xù)執(zhí)行，直至{CL(k)}中的每幀左視點(diǎn)圖像中的每個(gè)宏塊和{CK(k)}中的每幀右視點(diǎn)圖像中的每個(gè)宏塊均完成編碼。
2.根據(jù)權(quán)利要求1所述的基于雙目恰可覺(jué)察失真的多視點(diǎn)彩色視頻快速編碼方法，其特征在于所述的步驟②中{cK(k)}中的第k幀右視點(diǎn)圖像CK(k)中坐標(biāo)位置為(i，j)的宏塊的雙目恰可覺(jué)察失真值
3.根據(jù)權(quán)利要求2所述的基于雙目恰可覺(jué)察失真的多視點(diǎn)彩色視頻快速編碼方法，其特征在于所述的控制右視點(diǎn)噪聲影響的參數(shù)λ取值為1.25。
4.根據(jù)權(quán)利要求3所述的基于雙目恰可覺(jué)察失真的多視點(diǎn)彩色視頻快速編碼方法，其特征在于所述的{Q(k)}中的第k幀左視點(diǎn)圖像Q(k)中坐標(biāo)位置為(i+d，j)的宏塊的噪聲幅值nL(i+d，j)取值為0.3。
5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的基于雙目恰可覺(jué)察失真的多視點(diǎn)彩色視頻快速編碼方法，其特征在于所述 的步驟③-2中設(shè)定的判定閾值取值為5。
【文檔編號(hào)】H04N13/00GK103442226SQ201310325370
【公開(kāi)日】2013年12月11日 申請(qǐng)日期:2013年7月30日 優(yōu)先權(quán)日:2013年7月30日
【發(fā)明者】蔣剛毅, 朱亞培, 郁梅, 邵楓, 彭宗舉, 陳芬, 王曉東, 李福翠 申請(qǐng)人:寧波大學(xué)