專利名稱：一種基于恰可察覺失真的宏塊模式快速選擇方法
技術(shù)領(lǐng)域：
本發(fā)明涉及ー種圖像處理技術(shù)，尤其是涉及一種基于恰可察覺失真的宏塊模式快速選擇方法。
背景技術(shù)：
隨著三維電視(3Dtelevision, 3DTV)和自由視點電視(Free-viewpointtelevision, FTV)等多媒體技術(shù)的快速發(fā)展，使用多個視點進(jìn)行立體視頻的場景描述的需求日益増加。三維立體視頻能夠提供更真實的感受和新穎的視覺享受，但需要多個攝像機(jī)同時從不同的位置或角度采集、編碼、傳輸、解碼、傳輸、顯示等過程才能呈現(xiàn)出真正的3D世界的內(nèi)容。然而，由于數(shù)據(jù)量與視頻序列視點的數(shù)量成正比，因此三維立體視頻需要巨大的存儲空間、較寬的傳輸頻帶和較高的計算能力。多視點視頻編碼中的多視點視頻信號具有很強(qiáng)的相關(guān)性，這些相關(guān)性主要集中在同一時刻的不同視點之間和同一視點的不同時間域。為了消除多視點視頻信號時間上的冗余和視點間的空間冗余，以使多視點視頻編碼達(dá)到高效壓縮的目的，通常采用聯(lián)合多視點視頻模型(Joint Multiview VideoModel, JMVM )編碼平臺，JMVM編碼平臺采用分層B巾貞(Hierarchical B Pictures, HBP)編碼預(yù)測結(jié)構(gòu)。在HBP編碼預(yù)測結(jié)構(gòu)中，多視點視頻編碼結(jié)合了運動估計和視差估計預(yù)測技木，使得編碼壓縮效率明顯提高，但同時顯著增加了編碼的復(fù)雜性。因此，多視點視頻進(jìn)入實際應(yīng)用系統(tǒng)之前，高壓縮效率和低復(fù)雜度的多視點視頻編碼(Multiview video encoding, MVC)方法的發(fā)展是必要的。目前，國內(nèi)外很多研究者致カ于宏塊模式快速選擇方法,而傳統(tǒng)的宏塊模式快速選擇方法一般不能直接應(yīng)用于多視點視頻編碼的HBP編碼預(yù)測結(jié)構(gòu)中，或者只能降低多視點視頻中某些視點的編碼復(fù)雜度。除此之外，因為人眼是視頻的最終接受者，而傳統(tǒng)的宏塊模式快速選擇方法并沒有充分考慮人眼視覺系統(tǒng)(Human visual system, HVS)的特點，因此不能充分利用人眼的感知冗余提高編碼的效率。所以在多視點視頻編碼中需結(jié)合人眼視覺系統(tǒng)的特點，例如人眼受到雙目融合與抑制效應(yīng)會增強(qiáng)或抑制甚至屏蔽某些信號的失真，從而使人眼并不能察覺到圖像或者視頻的所有失真。因此，如何充分利用人眼的視覺特性，在保證立體圖像主觀感知質(zhì)量不變的前提下，直接或間接地用于改善視頻信息的處理，已成為視頻編碼技術(shù)中ー個重要課題。一般來說，恰可察覺失真(Just noticeabledistortion, JND)模型的建立主要考慮HVS的感知特點，根據(jù)人眼掩蔽效應(yīng)，人眼并不能在小于JND值的范圍內(nèi)感覺到任何的變化。所以，合適的JND模型將有利于視頻編碼方法性能的提高，在保持主觀感知質(zhì)量不變的情況下，降低多視點視頻編碼的復(fù)雜度。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供ー種在保證立體圖像主觀感知質(zhì)量不變的前提下，能夠有效縮短編碼時間、降低編碼復(fù)雜度的基于恰可察覺失真的宏塊模式快速選擇方法。
本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為一種基于恰可察覺失真的宏塊模式快速選擇方法，其特征在于它的處理過程為首先，獲取待處理的彩色視頻序列中的每幅彩色圖像對應(yīng)的時空域的恰可察覺失真圖像；然后，將待處理的彩色視頻序列中的每幅彩色圖像對應(yīng)的時空域的恰可察覺失真圖像分割成多個互不重疊的且尺寸大小為16X16的圖像塊；接著，計算待處理的彩色視頻序列中的每幅彩色圖像對應(yīng)的時空域的恰可察覺失真圖像中的每個圖像塊的恰可察覺失真值；最后，根據(jù)待處理的彩色視頻序列中的每幅彩色圖像的幀類型為每幅彩色圖像中的每個宏塊選擇最優(yōu)宏塊編碼模式，當(dāng)彩色圖像為HBP編碼預(yù)測結(jié)構(gòu)中的I幀或P幀時，按照J(rèn)MVC編碼方法為彩色圖像中的每個宏塊選擇各自對應(yīng)的最優(yōu)宏塊編碼模式，當(dāng)彩色圖像為HBP編碼預(yù)測結(jié)構(gòu)中的B幀時，根據(jù)待處理的彩色視頻序列中的每幅彩色圖像對應(yīng)的時空域的恰可察覺失真圖像中的每個圖像塊的恰可察覺失真值，確定彩色圖像中的每個宏塊的最優(yōu)宏塊編碼模式。本發(fā)明方法具體包括以下步驟①將待處理的彩色視頻序列記為{C(W，H，k)}，其中，W表示{C(ff, H, k)}中的彩色圖像的水平分辨率，H表示{C(W，H，k)}中的彩色圖像的豎直分辨率，C(W，H，k)表示{C(ff, H, k)}中的第k幅彩色圖像，I彡k彡K，k的初始值為1，K表示{C(ff, H, k)}中包含的彩色圖像的幅數(shù)；②獲取{C(W，H，k)}中的每幅彩色圖像對應(yīng)的時空域的恰可察覺失真圖像，將{C(W，H，k)}中的第k幅彩色圖像C(W，H，k)對應(yīng)的時空域的恰可察覺失真圖像記為STjnd(ff, H, k);然后將{C(W，H，k)}中的每幅彩色圖像對應(yīng)的時空域的恰可察覺失真圖像分
割成一個互不重疊的且尺寸大小為16X 16的圖像塊,將STjnd (W，H，k)中坐標(biāo)位置為
(i, j)的圖像塊記為yri 其中,
權(quán)利要求
1.一種基于恰可察覺失真的宏塊模式快速選擇方法，其特征在于它的處理過程為首先，獲取待處理的彩色視頻序列中的每幅彩色圖像對應(yīng)的時空域的恰可察覺失真圖像；然后，將待處理的彩色視頻序列中的每幅彩色圖像對應(yīng)的時空域的恰可察覺失真圖像分割成多個互不重疊的且尺寸大小為16X16的圖像塊；接著，計算待處理的彩色視頻序列中的每幅彩色圖像對應(yīng)的時空域的恰可察覺失真圖像中的每個圖像塊的恰可察覺失真值；最后，根據(jù)待處理的彩色視頻序列中的每幅彩色圖像的幀類型為每幅彩色圖像中的每個宏塊選擇最優(yōu)宏塊編碼模式，當(dāng)彩色圖像為HBP編碼預(yù)測結(jié)構(gòu)中的I幀或P幀時，按照J(rèn)MVC編碼方法為彩色圖像中的每個宏塊選擇各自對應(yīng)的最優(yōu)宏塊編碼模式，當(dāng)彩色圖像為HBP編碼預(yù)測結(jié)構(gòu)中的B幀時，根據(jù)待處理的彩色視頻序列中的每幅彩色圖像對應(yīng)的時空域的恰可察覺失真圖像中的每個圖像塊的恰可察覺失真值，確定彩色圖像中的每個宏塊的最優(yōu)宏塊編碼模式。
2.根據(jù)權(quán)利要求1所述的一種基于恰可察覺失真的宏塊模式快速選擇方法，其特征在于它具體包括以下步驟 ①將待處理的彩色視頻序列記為{C(W，H，k)}，其中，W表示{C (W，H，k)}中的彩色圖像的水平分辨率，H表示{C (W，H，k)}中的彩色圖像的豎直分辨率，C (W，H，k)表示{C (W，H，k)}中的第k幅彩色圖像，I≤k≤K，k的初始值為1，K表示{C(W，H，k)}中包含的彩色圖像的幅數(shù)； ②獲取{C(W，H，k)}中的每幅彩色圖像對應(yīng)的時空域的恰可察覺失真圖像，將{C (W，H，k)}中的第k幅彩色圖像C (W，H，k)對應(yīng)的時空域的恰可察覺失真圖像記為STjnd(ff, H, k);然后將{C(W，H，k)}中的每幅彩色圖像對應(yīng)的時空域的恰可察覺失真圖像分 W H割成&XT7個互不重疊的且尺寸大小為16X16的圖像塊，將STjm(Wjj)中坐標(biāo)位置為 (i，j)的圖像塊記為、其中，
3.根據(jù)權(quán)利要求2所述的一種基于恰可察覺失真的宏塊模式快速選擇方法，其特征在于所述的步驟②中獲取{C(W，H，k)}中的每幅彩色圖像對應(yīng)的時空域的恰可察覺失真圖像的具體過程為 ②-1、計算{C(W，H，k)}中的每幅彩色圖像中的每個像素點的空域的恰可察覺失真值，得到{C(W，H，k)}中的每幅彩色圖像對應(yīng)的空域的恰可察覺失真圖像，將{C(W，H，k)}中的第k幅彩色圖像C (W，H，k)對應(yīng)的空域的恰可察覺失真圖像記為Sjnd (W，H，k)； ②-2、計算{C(W，H，k)}中的每幅彩色圖像中的每個像素點的時域的恰可察覺失真值，得到{C(W，H，k)}中的每幅彩色圖像對應(yīng)的時域的恰可察覺失真圖像，將{C(W，H，k)}中的第k幅彩色圖像C (W，H，k)對應(yīng)的時域的恰可察覺失真圖像記為Tjnd (W，H，k)； ②-3、根據(jù){C(W，H，k)}中的每幅彩色圖像對應(yīng)的空域的恰可察覺失真圖像和時域的恰可察覺失真圖像，獲得{C(W，H，k)}中的每幅彩色圖像對應(yīng)的時空域的恰可察覺失真圖像，將{C(W，H，k)}中的第k幅彩色圖像C(W，H，k)對應(yīng)的時空域的恰可察覺失真圖像記為STtnd(W，H，k),將STtnd (W，H，k)中坐標(biāo)位置為(x, y)的像素點的恰可察覺失真值記為I廁'(X，y)，其中，I≤X≤W，I≤y≤H。
4.根據(jù)權(quán)利要求2或3所述的一種基于恰可察覺失真的宏塊模式快速選擇方法，其特征在于所述的步驟⑥中的宏塊模式選擇閾值T的確定過程為 ⑥-1、采用HBP編碼預(yù)測結(jié)構(gòu)使用JMVC編碼方法對一個彩色視頻序列中的每幅彩色圖像進(jìn)行編碼； ⑥_2、按照步驟①至步驟②的操作過程，獲取該彩色視頻序列中的每幅彩色圖像對應(yīng)的時空域的恰可察覺失真圖像中的每個圖像塊的恰可察覺失真值； ⑥-3、按照J(rèn)MVC編碼方法為該彩色視頻序列中的每幅彩色圖像中的每個尺寸大小為·16 X 16宏塊選擇各自對應(yīng)的最優(yōu)宏塊編碼模式； ⑥-4、統(tǒng)計該彩色視頻序列中的每幅彩色圖像對應(yīng)的時空域的恰可察覺失真圖像中的每個圖像塊的恰可察覺失真值與該彩色視頻序列中的每幅彩色圖像中坐標(biāo)位置對應(yīng)的宏塊的最優(yōu)宏塊編碼模式的對應(yīng)關(guān)系，得到該彩色視頻序列中的每幅彩色圖像對應(yīng)的時空域的恰可察覺失真圖像中的每個圖像塊的恰可察覺失真值與該彩色視頻序列中的每幅彩色圖像中坐標(biāo)位置對應(yīng)的宏塊的最優(yōu)宏塊編碼模式的對應(yīng)關(guān)系圖； ⑥_5、按照步驟⑥-1至步驟⑥-4的操作過程，獲取N個彩色視頻序列相應(yīng)的對應(yīng)關(guān)系圖，分析N個彩色視頻序列相應(yīng)的對應(yīng)關(guān)系圖，根據(jù)N幅對應(yīng)關(guān)系圖的統(tǒng)計規(guī)律,確定宏塊模式選擇閾值T的具體值，其中，N ^ I。
5.根據(jù)權(quán)利要求4所述的一種基于恰可察覺失真的宏塊模式快速選擇方法，其特征在于所述的宏塊模式選擇閾值T的具體值為9。
全文摘要
本發(fā)明公開了一種基于恰可察覺失真的宏塊模式快速選擇方法，其通過獲取待處理的彩色視頻序列中的每幅彩色圖像對應(yīng)的時空域的恰可察覺失真圖像，然后計算時空域的恰可察覺失真圖像中的每個圖像塊的恰可察覺失真值，再根據(jù)時空域的恰可察覺失真圖像中的每個圖像塊的恰可察覺失真值，確定B幀彩色圖像中的每個宏塊的最優(yōu)宏塊編碼模式，這種宏塊編碼模式的選擇方法使得在保證彩色視頻視覺感知質(zhì)量的前提下，能夠有效節(jié)約彩色視頻的編碼時間，節(jié)省的編碼時間平均可達(dá)到72.7%，大大降低彩色視頻的編碼復(fù)雜度。
文檔編號H04N7/26GK103024381SQ201210536759
公開日2013年4月3日 申請日期2012年12月10日 優(yōu)先權(quán)日2012年12月10日
發(fā)明者郁梅, 劉星宇, 蔣剛毅, 彭宗舉, 邵楓 申請人:寧波大學(xué)