一種用于可伸縮視頻編碼的分層式模式?jīng)Q策方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻編碼的快速模式?jīng)Q策方法，特別涉及一種用于可伸縮視頻編碼的 分層式模式?jīng)Q策方法。
【背景技術(shù)】
[0002] 基于H. 264/AVC視頻編碼標(biāo)準(zhǔn)的可伸縮擴(kuò)展（SVC)是由國際電聯(lián)電信標(biāo)準(zhǔn)化部門 (ITU-T)視頻編碼專家組（VCEG)和國際標(biāo)準(zhǔn)化組織（ISO)動(dòng)態(tài)圖像專家組（MPEG)組成的 聯(lián)合視頻專家組（JVT)共同制定的國際可伸縮視頻編碼標(biāo)準(zhǔn)。為了實(shí)現(xiàn)對(duì)可伸縮性的支 持，SVC標(biāo)準(zhǔn)采用了多層編碼框架，繼承了H. 264/AVC標(biāo)準(zhǔn)中所有的先進(jìn)編碼技術(shù)并引入了 層間編碼技術(shù)和工具。SVC標(biāo)準(zhǔn)優(yōu)異的編碼性能是以極高的運(yùn)算復(fù)雜度為代價(jià)的。這些復(fù) 雜度極高的算法導(dǎo)致SVC視頻編解碼系統(tǒng)的運(yùn)算效率大大降低，無法滿足實(shí)時(shí)視頻通信的 需求，嚴(yán)重阻礙了新一代視頻編碼標(biāo)準(zhǔn)的推廣與應(yīng)用?，F(xiàn)有快速可伸縮視頻編碼技術(shù)存在 的主要問題有：
[0003] 1、缺少編碼層間相關(guān)性模型。SVC標(biāo)準(zhǔn)采用了基于層的編碼框架和層間預(yù)測技術(shù)， 新的編碼技術(shù)和工具帶來了新的編碼特性?，F(xiàn)有的基于SVC標(biāo)準(zhǔn)的快速模式?jīng)Q策算法沒有 分析和探討基于層的編碼框架和層間預(yù)測技術(shù)所引入的新的編碼特性，沒有建立基本層編 碼模式和增強(qiáng)層編碼模式之間的相關(guān)性模型。因此，現(xiàn)有的算法無法充分利用基本層編碼 的先驗(yàn)知識(shí)以及層間的相關(guān)性降低增強(qiáng)層層間預(yù)測的復(fù)雜度。
[0004] 2、缺少編碼模式相關(guān)性模型。視頻序列幀間具有很強(qiáng)的相關(guān)性，尤其在相對(duì)靜止 的區(qū)域，相鄰幀之間的圖像差別很小。除了圖像內(nèi)容存在很強(qiáng)的相關(guān)性，幀間預(yù)測模式之間 也存在很強(qiáng)的相關(guān)性，可以通過幀間相鄰單元的編碼模式等信息預(yù)測待編碼單元可能的編 碼模式。盡管有人提出了利用幀間編碼模式的相關(guān)性來進(jìn)行模式預(yù)判的算法，但目前這類 算法中幀間編碼模式間的相關(guān)性關(guān)系是利用經(jīng)驗(yàn)建立的，缺乏理論支撐。
[0005] 3、關(guān)鍵幀信息未得到合理利用。并非所有底層的上采樣數(shù)據(jù)都適合層間預(yù)測，尤 其對(duì)于包含緩慢運(yùn)動(dòng)和豐富空間細(xì)節(jié)視頻序列。因此需要有效地度量視頻序列的運(yùn)動(dòng)劇烈 程度以及空間細(xì)節(jié)的多少。關(guān)鍵幀信息可以為此提供有價(jià)值的參考。但是，關(guān)鍵幀中提供 的上下文信息在現(xiàn)有的算法中并沒有得到充分利用。
[0006] 4、快速SVC編碼系統(tǒng)的性能較差?，F(xiàn)有的基于SVC標(biāo)準(zhǔn)的快速模式?jīng)Q策算法未充 分整合層間，空間，時(shí)間相關(guān)性信息。導(dǎo)致算法要么對(duì)編碼效率的影響較大，要么對(duì)具有不 同特征的視頻序列不具有普適性。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的是為了解決現(xiàn)有快速可伸縮視頻編碼技術(shù)存在的缺少編碼層間相 關(guān)性模型、缺少編碼模式相關(guān)性模型、關(guān)鍵幀信息未得到合理利用以及快速SVC編碼系統(tǒng) 的性能較差的問題，而提出的一種用于可伸縮視頻編碼的分層式模式?jīng)Q策方法。
[0008] 上述的發(fā)明目的是通過以下技術(shù)方案實(shí)現(xiàn)的：
[0009] 步驟一、定義基本層和增強(qiáng)層編碼模式的相關(guān)性；即當(dāng)基本層宏塊的編碼模式是 M0DE_SKIP時(shí)，增強(qiáng)層中，與基本層宏塊對(duì)應(yīng)位置處的宏塊的編碼模式也為M0DE_SKIP的概 率；
[0010] 步驟二、對(duì)具有不同運(yùn)動(dòng)劇烈程度和圖像細(xì)節(jié)的視頻序列，利用JSVM9. 18參考軟 件進(jìn)行編碼，并利用基本層和增強(qiáng)層編碼模式的相關(guān)性，計(jì)算基本層和增強(qiáng)層的編碼模式 相關(guān)性數(shù)據(jù)；
[0011] 步驟三、定義當(dāng)前宏塊與當(dāng)前宏塊的空間相鄰宏塊間的編碼模式相關(guān)性，即當(dāng)增 強(qiáng)層中當(dāng)前宏塊的編碼模式是M0DE_SKIP時(shí)，增強(qiáng)層中當(dāng)前宏塊的左邊相鄰宏塊和上方相 鄰宏塊中的一個(gè)或兩個(gè)宏塊的編碼模式也為M0DE_SKIP的概率；
[0012] 步驟四、對(duì)具有不同運(yùn)動(dòng)劇烈程度和圖像細(xì)節(jié)的視頻序列，利用JSVM9. 18參考軟 件進(jìn)行編碼，并根據(jù)當(dāng)前宏塊與當(dāng)前宏塊的空間相鄰宏塊間的編碼模式相關(guān)性的定義，計(jì) 算當(dāng)前宏塊與當(dāng)前宏塊的空間相鄰宏塊間的編碼模式相關(guān)性數(shù)據(jù)；
[0013] 步驟五、檢查增強(qiáng)層中當(dāng)前宏塊在基本層的相應(yīng)宏塊的編碼模式是否為幀內(nèi)編 碼；若增強(qiáng)層當(dāng)前宏塊在基本層相應(yīng)宏塊的編碼模式為幀內(nèi)編碼，則增強(qiáng)層當(dāng)前宏塊通常 包含復(fù)雜的運(yùn)動(dòng)或者細(xì)致的紋理信息，采用窮舉式的模式選擇算法，在增強(qiáng)層當(dāng)前宏塊中 所有候選模式中選擇Lagrangian率失真代價(jià)最小的，作為增強(qiáng)層當(dāng)前宏塊的最優(yōu)編碼模 式；否則，進(jìn)入步驟六進(jìn)行處理；
[0014] 步驟六、根據(jù)步驟二中得到的基本層和增強(qiáng)層的編碼模式相關(guān)性數(shù)據(jù)和步驟四中 得到的當(dāng)前宏塊與當(dāng)前宏塊的相鄰宏塊間的編碼模式相關(guān)性數(shù)據(jù)，檢查增強(qiáng)層中當(dāng)前宏塊 在基本層相應(yīng)宏塊的編碼模式以及當(dāng)前宏塊的空間相鄰宏塊的編碼模式；如果增強(qiáng)層當(dāng)前 宏塊的空間相鄰宏塊或基本層中的相應(yīng)位置宏塊中至少有一個(gè)宏塊的編碼模式為M0DE_ SKIP，則比較M0DE_SKIP和M0DE_16X16 的Lagrangian率失真代價(jià)；如果M0DE_SKIP的率 失真代價(jià)比M0DE_16X16的Lagrangian率失真代價(jià)小，那么將M0DE_SKIP選作當(dāng)前宏塊的 最優(yōu)編碼模式；否則，進(jìn)入步驟七進(jìn)行處理；其中，當(dāng)前宏塊的相鄰宏塊包括增強(qiáng)層中的當(dāng) 前宏塊左邊相鄰宏塊、當(dāng)前宏塊上方相鄰宏塊，以及當(dāng)前宏塊在基本層中的相應(yīng)位置的宏 塊；
[0015] 步驟七、根據(jù)AC系數(shù)的能量測量當(dāng)前宏塊內(nèi)容的同質(zhì)性；如果AC系數(shù)的能量 小于等于閾值則宏塊內(nèi)容的同質(zhì)性較高，則根據(jù)Lagrangian代價(jià)函數(shù)從宏塊編碼模式 M0DE_16X16、M0DE_16X8和M0DE_8X16中依據(jù)Lagrangian率失真代價(jià)選擇最優(yōu)編碼模 式，如果AC系數(shù)的能量大于閾值則宏塊內(nèi)容的同質(zhì)性較低，進(jìn)入步驟八進(jìn)行處理；
[0016] 步驟八、如果當(dāng)前宏塊在基本層中的相應(yīng)宏塊的MVD值能量大于閾值，則當(dāng)前宏 塊內(nèi)容運(yùn)動(dòng)劇烈，則進(jìn)行步驟九；否則即MVD小于等于閾值則圖像中運(yùn)動(dòng)劇烈程度小，進(jìn)行 步驟十；其中，MVD值為每個(gè)圖像組的關(guān)鍵幀之間的運(yùn)動(dòng)向量差即實(shí)際運(yùn)動(dòng)向量與運(yùn)動(dòng)向 量預(yù)測值間的差值MVD;
[0017] 步驟九：保持當(dāng)前宏塊的默認(rèn)搜索范圍，從所有候選模式中，選擇Lagrangian率 失真代價(jià)最小的，作為當(dāng)前宏塊的最優(yōu)編碼模式，結(jié)束當(dāng)前宏塊的模式?jīng)Q策過程；其中，候 選編碼模式包括所有候選模式；
[0018] 步驟十：將搜索范圍減小為步驟九所述的搜索范圍的一半，從候選編碼模式 M0DE_8X8、M0DE_8X4、M0DE_4X8、M0DE_4X4 以及層間預(yù)測模式中選擇Lagrangian率 失真代價(jià)最小的，作為當(dāng)前宏塊的最優(yōu)編碼模式，結(jié)束當(dāng)前編碼宏塊的模式?jīng)Q策過程；其 中，層間預(yù)測模式包括層間紋理預(yù)測inter-layertextureprediction、層間運(yùn)動(dòng)預(yù)測 inter-layermotionprediction和層間歹曳差預(yù)測inter-layerresidualprediction;艮P 完成了一種用于可伸縮視頻編碼的分層式模式?jīng)Q策方法。
[0019] 發(fā)明效果
[0020] 本發(fā)明創(chuàng)造所提出的一種用于可伸縮視頻編碼的分層式模式?jīng)Q策方法正是針對(duì) 以上問題提出的：通過對(duì)不同編碼層中的編碼單元的劃分方式和預(yù)測方向，空間相鄰編碼 塊的編碼方式進(jìn)行相關(guān)性分析，利用離散余弦變換（DCT)系數(shù)與圖像內(nèi)容間的關(guān)系，以及 關(guān)鍵幀提供的上下文信息，構(gòu)建了一套充分利用層間、空間、時(shí)間相關(guān)性以及圖像自身特征 的快速SVC模式?jīng)Q策算法。該算法的提出可以有效解決SVC標(biāo)準(zhǔn)編碼復(fù)雜度過高，遠(yuǎn)不能滿 足實(shí)時(shí)應(yīng)用需求的問題，促進(jìn)可伸縮視頻編碼標(biāo)準(zhǔn)的完善，推動(dòng)其編碼性能的進(jìn)一步提升， 尤其是可以突破其在實(shí)時(shí)性應(yīng)用方面的障礙。因此，本發(fā)明對(duì)我國未來視頻應(yīng)用業(yè)務(wù)的發(fā) 展將提供重要的理論與技術(shù)支撐。
[0021] 為了驗(yàn)證本發(fā)明的有效性，我們將所提出的算法整合進(jìn)了JVT提供的標(biāo)準(zhǔn)參考軟 件JSVM9. 18中。測試中使用了由JVT推薦的4個(gè)具有不同運(yùn)動(dòng)劇烈程度和圖像細(xì)節(jié)的標(biāo) 準(zhǔn)視頻測試序列。為了保證實(shí)驗(yàn)數(shù)據(jù)的可靠性，測試中使用了 24至40之間的多個(gè)量化參 數(shù)（QuantizationParameter，QP)。分層式B結(jié)構(gòu)的G0P尺寸設(shè)置為8。每個(gè)視頻序列所 處理的幀數(shù)均大于90。測試中，采用了一個(gè)基本層和一個(gè)增強(qiáng)層，基本層和增強(qiáng)層采用相同 的QP值。
[0022] 實(shí)驗(yàn)中，評(píng)價(jià)提出算法的有效性的指標(biāo)包括：編碼時(shí)間的減少量（Time Reduction，TR)和編碼器的率失真性能（比特率bit-rate，峰值信噪比PSNR)。本發(fā)明所 提出的算法與標(biāo)準(zhǔn)參考軟件JSVM9. 18的對(duì)比結(jié)果如表3至表6所示。
[0023] 表3和表4說明，對(duì)于運(yùn)動(dòng)比較劇烈的Bus序列和含有較豐富細(xì)節(jié)信息的Mobile 序