本發(fā)明屬于視頻編碼領(lǐng)域，特別涉及一種新視頻編碼標(biāo)準(zhǔn)的基于分層b幀的幀間模式快速選擇方法及裝置。

背景技術(shù)：

分層b幀結(jié)構(gòu)是在h.264編碼標(biāo)準(zhǔn)中提出來(lái)的一種編碼結(jié)構(gòu)，通常被用于圖片組(gop)中生成不同幀率以提高編碼時(shí)域延展性。從h.264編碼標(biāo)準(zhǔn)到h.265再到目前正在研發(fā)的新一代視頻編碼標(biāo)準(zhǔn)，近十幾年來(lái)的視頻編碼標(biāo)準(zhǔn)均應(yīng)用了分層b幀結(jié)構(gòu)。一個(gè)典型的gop大小為16的分層b幀結(jié)構(gòu)如圖1所示，視頻序列中的第一幀的編碼模式為幀內(nèi)編碼模式，即i幀。圖中最下面一層(level0)的幀稱(chēng)為關(guān)鍵幀，關(guān)鍵幀的編碼模式可以是幀內(nèi)編碼模式(i幀)也可以是幀間編碼模式(p幀)。其余幀類(lèi)型均為b幀，b幀可以作為更高層幀的參考幀，為高層幀的幀間預(yù)測(cè)提供參考信息。

2013年，itu-t的vceg(視頻編碼專(zhuān)家組)和iso/iec的mpeg(動(dòng)態(tài)圖像專(zhuān)家組)聯(lián)合推出了hevc(高效視頻編碼)視頻壓縮方案。自2016年始，vceg和mpeg開(kāi)始研究新一代視頻編碼器，并成立了一個(gè)專(zhuān)家小組——jvet(聯(lián)合視頻研究小組)，旨在進(jìn)一步提升hevc的壓縮率。新一代視頻編碼標(biāo)準(zhǔn)是在hevc的基礎(chǔ)上發(fā)展而來(lái)，二者都引用了樹(shù)形結(jié)構(gòu)單元(ctu)，一個(gè)片段在編碼時(shí)，先被分割為大小相同的ctu，每一個(gè)ctu按照四叉樹(shù)(qt)分割方式被劃分為不同類(lèi)型的編碼單元(cu)。不同的是新一代視頻編碼標(biāo)準(zhǔn)的ctu采用的是四叉二叉樹(shù)劃分(qtbt)結(jié)構(gòu)，二者的ctu劃分結(jié)構(gòu)如圖2所示。每個(gè)cu都有幀內(nèi)幀間預(yù)測(cè)模式，在hevc中，幀間模式又包括4個(gè)對(duì)稱(chēng)模式、4個(gè)非對(duì)稱(chēng)模式和一個(gè)skip模式。當(dāng)需要編碼的運(yùn)動(dòng)信息只有運(yùn)動(dòng)參數(shù)集索引，編碼殘差信息不需要編碼時(shí)，為skip模式。在新一代視頻編中，幀間模式主要有五種：三種融合模式(merge模式)和一種運(yùn)動(dòng)估計(jì)的幀間模式。這些模式的應(yīng)用提高了編碼器的壓縮性能，也大大增加了編碼時(shí)間，影響了標(biāo)準(zhǔn)的研發(fā)速度和應(yīng)用價(jià)值。在關(guān)于新一代視頻編碼標(biāo)準(zhǔn)的第三次會(huì)議上就有提案指出這種弊端，并請(qǐng)求對(duì)其復(fù)雜度采取行動(dòng)。

雖然目前有許多針對(duì)分層b幀的幀間快速算法，如tiesongzhao等學(xué)者在2014年ieee圖像處理國(guó)際會(huì)議上提出基于分層b幀的模式?jīng)Q策算法，但該方法是針對(duì)h.264編碼標(biāo)準(zhǔn)的。yueli等在2017年的ieeetransactionsonmultimedia上提出基于分層b幀的結(jié)構(gòu)和cu的時(shí)空特性跳過(guò)某些類(lèi)型的預(yù)測(cè)單元(pu)。但是由于新一代視頻編碼標(biāo)準(zhǔn)采用了qtbt(四叉二叉劃分)的編碼結(jié)構(gòu)并取消了預(yù)測(cè)單元pu的概念，所以以上現(xiàn)有算法并不適用于新一代視頻編碼標(biāo)準(zhǔn)。另外一些，例如基于方差的、基于貝葉斯的方法，由于計(jì)算復(fù)雜度太高并不適用于實(shí)際應(yīng)用。

2016年五月的日內(nèi)瓦會(huì)議提出了新一代視頻編碼標(biāo)準(zhǔn)的測(cè)試模型jem2.0，此時(shí)jem編碼器在隨機(jī)配置下的平均編碼時(shí)間是hevc編碼器的5.3倍。其中，幀間預(yù)測(cè)在總的編碼時(shí)間中占據(jù)約68％的時(shí)間，同樣地，在以往的編碼標(biāo)準(zhǔn)中，幀間預(yù)測(cè)也占據(jù)了大量編碼時(shí)間，因此幀間預(yù)測(cè)是減少編碼時(shí)間的重要模塊，具有很大的改進(jìn)空間，如果能將幀間預(yù)測(cè)的時(shí)間減少將大大提高編碼器的效率。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是針對(duì)幀間預(yù)測(cè)編碼時(shí)間過(guò)長(zhǎng)的缺陷以及現(xiàn)有技術(shù)的不足，提出一種新視頻編碼標(biāo)準(zhǔn)的基于分層b幀的幀間模式快速選擇方法及裝置，縮短其編碼時(shí)間，提高其實(shí)際應(yīng)用性。

從圖1的分層b幀結(jié)構(gòu)可以看到，層次越高，編碼幀與參考幀之間的距離越短。這意味著層次越高，參考信息就越精細(xì)，因此ctu在劃分cu時(shí)更有可能劃分為較大的cu，從而某些尺寸較小的cu的幀間編碼部分可以跳過(guò)，直接選用skip模式進(jìn)行編碼。

一種新視頻編碼標(biāo)準(zhǔn)的基于分層b幀的幀間模式快速選擇方法，根據(jù)新一代視頻編碼標(biāo)準(zhǔn)對(duì)圖片組gop的第一幀進(jìn)行編碼，統(tǒng)計(jì)編碼后各個(gè)類(lèi)型所有編碼單元cu大小所占據(jù)第一幀的比例，根據(jù)比例第一幀所在層次以及每個(gè)編碼單元cu的尺寸決定后續(xù)幀中是否跳過(guò)編碼單元cu的幀間模式，快速選出需要遍歷幀間模式的編碼單元；

所述編碼后各個(gè)類(lèi)型所有編碼單元cu大小所占據(jù)第一幀的比例是指：

其中，cuw和cuh分別表示編碼單元cu的寬度和高度，取值范圍均為{4,8,16,32,64,128}；n(w,h)表示在第一幀中寬為w，高為h的編碼單元cu個(gè)數(shù)，fw和fh分別表示圖片組gop的第一幀的寬度和高度。

進(jìn)一步地，所述根據(jù)比例第一幀所在層次以及每個(gè)編碼單元cu的尺寸決定后續(xù)幀中是否跳過(guò)編碼單元cu的幀間模式的具體過(guò)程如下：

若后續(xù)幀中當(dāng)前編碼單元滿足以下條件，則編碼單元cu僅選擇幀間模式中的skip模式，否則按新一代視頻編碼標(biāo)準(zhǔn)中的編碼順序遍歷所有幀間模式；

a)若當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的等級(jí)1或等級(jí)2，且該編碼單元cu的類(lèi)型在第一幀中所占比例小于α；

b)如果當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的等級(jí)3或等級(jí)4，且該編碼單元cu的類(lèi)型在第一幀中所占比例小于β；

c)如果當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的level3且該編碼單元cu的寬和高均小于等于4且該編碼單元cu的類(lèi)型在第一幀中所占比例大于β小于γ；

d)如果當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的level3且該編碼單元cu的寬和高均小于等于8且該編碼單元cu的類(lèi)型在第一幀中所占比例大于β小于δ；

e)如果當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的level4，且該編碼單元cu的寬和高均小于或等于4且該編碼單元cu的類(lèi)型在第一幀中所占比例大于β小于ε；

f)如果當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的level4，且該編碼單元cu的寬和高均小于或等于8且該編碼單元cu的類(lèi)型在第一幀中所占比例大于β小于θ；

其中，α，β，γ，δ，ε，θ為設(shè)定閾值，均為0-1之間的實(shí)數(shù)。

進(jìn)一步地，α取0.003，β取0.001，γ取0.04，δ取0.01，ε取0.05，θ取0.02。

一種新視頻編碼標(biāo)準(zhǔn)的基于分層b幀的幀間模式快速選擇裝置，包括：

編碼單元，用于根據(jù)新一代視頻編碼標(biāo)準(zhǔn)對(duì)圖片組gop的第一幀進(jìn)行編碼；

統(tǒng)計(jì)單元，用于統(tǒng)計(jì)編碼后各個(gè)類(lèi)型所有編碼單元cu大小所占據(jù)第一幀的比例；

選擇單元，根據(jù)比例第一幀所在層次以及每個(gè)編碼單元cu的尺寸選出后續(xù)幀中只需進(jìn)行幀間模式中skip模式的編碼單元cu，快速選出需要遍歷所有幀間模式的編碼單元cu；

所述選擇單元依據(jù)以下規(guī)則，選出后續(xù)幀中只需進(jìn)行幀間模式中skip模式的編碼單元cu：

a)若當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的等級(jí)1或等級(jí)2，且該編碼單元cu的類(lèi)型在第一幀中所占比例小于α；

b)如果當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的等級(jí)3或等級(jí)4，且該編碼單元cu的類(lèi)型在第一幀中所占比例小于β；

c)如果當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的level3且該編碼單元cu的寬和高均小于等于4且該編碼單元cu的類(lèi)型在第一幀中所占比例大于β小于γ；

d)如果當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的level3且該編碼單元cu的寬和高均小于等于8且該編碼單元cu的類(lèi)型在第一幀中所占比例大于β小于δ；

e)如果當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的level4，且該編碼單元cu的寬和高均小于或等于4且該編碼單元cu的類(lèi)型在第一幀中所占比例大于β小于ε；

f)如果當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的level4，且該編碼單元cu的寬和高均小于或等于8且該編碼單元cu的類(lèi)型在第一幀中所占比例大于β小于θ；

其中，α，β，γ，δ，ε，θ為設(shè)定閾值，均為0-1之間的實(shí)數(shù)。

進(jìn)一步地，所述編碼后各個(gè)類(lèi)型所有編碼單元cu大小所占據(jù)第一幀的比例是指：

其中，cuw和cuh分別表示編碼單元cu的寬度和高度，取值范圍均為{4,8,16,32,64,128}；n(w,h)表示在第一幀中寬為w，高為h的編碼單元cu個(gè)數(shù)，fw和fh分別表示圖片組gop的第一幀的寬度和高度。

進(jìn)一步地，所述設(shè)定閾值按照以下設(shè)置取值：

α取0.003，β取0.001，γ取0.04，δ取0.01，ε取0.05，θ取0.02。

有益效果

相比現(xiàn)有技術(shù)，本發(fā)明有以下有益效果：

(1)本發(fā)明根據(jù)gop的第一幀統(tǒng)計(jì)各個(gè)類(lèi)型cu的比例，根據(jù)該比例、幀的層次以及cu的尺寸決定是否跳過(guò)幀間模式，其中，是否跳過(guò)幀間模式的決策方法對(duì)提升編碼器效率起到關(guān)鍵作用，大大地降低了視頻編碼器的幀間預(yù)測(cè)計(jì)算復(fù)雜度，減少了編碼時(shí)間，提高了編碼效率；

(2)本發(fā)明算法簡(jiǎn)單，計(jì)算量小，可方便地投入實(shí)際應(yīng)用。

附圖說(shuō)明

圖1為分級(jí)b幀結(jié)構(gòu)圖；

圖2為四叉樹(shù)(qt)劃分結(jié)構(gòu)以及四叉二叉樹(shù)(qtbt)劃分結(jié)構(gòu)圖，其中，(a)為四叉樹(shù)(qt)劃分結(jié)構(gòu)圖，(b)為四叉二叉樹(shù)(qtbt)劃分結(jié)構(gòu)圖；

圖3為本發(fā)明算法流程示意圖。

具體實(shí)施方式

下面將結(jié)合附圖和實(shí)施例對(duì)本發(fā)明做進(jìn)一步的說(shuō)明。

如圖3所示，一種新視頻編碼標(biāo)準(zhǔn)的基于分層b幀的幀間模式快速選擇方法，根據(jù)新一代視頻編碼標(biāo)準(zhǔn)對(duì)圖片組gop的第一幀進(jìn)行編碼，統(tǒng)計(jì)編碼后各個(gè)類(lèi)型所有編碼單元cu大小所占據(jù)第一幀的比例，根據(jù)比例第一幀所在層次以及每個(gè)編碼單元cu的尺寸決定后續(xù)幀中是否跳過(guò)編碼單元cu的幀間模式，快速選出需要遍歷幀間模式的編碼單元；

所述編碼后各個(gè)類(lèi)型所有編碼單元cu大小所占據(jù)第一幀的比例是指：

其中，cuw和cuh分別表示編碼單元cu的寬度和高度，取值范圍均為{4,8,16,32,64,128}；n(w,h)表示在第一幀中寬為w，高為h的編碼單元cu個(gè)數(shù)，fw和fh分別表示圖片組gop的第一幀的寬度和高度。

所述根據(jù)比例第一幀所在層次以及每個(gè)編碼單元cu的尺寸決定后續(xù)幀中是否跳過(guò)編碼單元cu的幀間模式的具體過(guò)程如下：

若后續(xù)幀中當(dāng)前編碼單元滿足以下條件，則編碼單元cu僅選擇幀間模式中的skip模式，否則按新一代視頻編碼標(biāo)準(zhǔn)中的編碼順序遍歷所有幀間模式；

a)若當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的等級(jí)1或等級(jí)2，且該編碼單元cu的類(lèi)型在第一幀中所占比例小于α；

b)如果當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的等級(jí)3或等級(jí)4，且該編碼單元cu的類(lèi)型在第一幀中所占比例小于β；

c)如果當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的level3且該編碼單元cu的寬和高均小于等于4且該編碼單元cu的類(lèi)型在第一幀中所占比例大于β小于γ；

d)如果當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的level3且該編碼單元cu的寬和高均小于等于8且該編碼單元cu的類(lèi)型在第一幀中所占比例大于β小于δ；

e)如果當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的level4，且該編碼單元cu的寬和高均小于或等于4且該編碼單元cu的類(lèi)型在第一幀中所占比例大于β小于ε；

f)如果當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的level4，且該編碼單元cu的寬和高均小于或等于8且該編碼單元cu的類(lèi)型在第一幀中所占比例大于β小于θ；

其中，α，β，γ，δ，ε，θ為設(shè)定閾值，均為0-1之間的實(shí)數(shù)。

在本實(shí)例中，優(yōu)選設(shè)置α取0.003，β取0.001，γ取0.04，δ取0.01，ε取0.05，θ取0.02。

一種新視頻編碼標(biāo)準(zhǔn)的基于分層b幀的幀間模式快速選擇裝置，包括：

編碼單元，用于根據(jù)新一代視頻編碼標(biāo)準(zhǔn)對(duì)圖片組gop的第一幀進(jìn)行編碼；

統(tǒng)計(jì)單元，用于統(tǒng)計(jì)編碼后各個(gè)類(lèi)型所有編碼單元cu大小所占據(jù)第一幀的比例；

選擇單元，根據(jù)比例第一幀所在層次以及每個(gè)編碼單元cu的尺寸選出后續(xù)幀中只需進(jìn)行幀間模式中skip模式的編碼單元cu，快速選出需要遍歷所有幀間模式的編碼單元cu；

所述選擇單元依據(jù)以下規(guī)則，選出后續(xù)幀中只需進(jìn)行幀間模式中skip模式的編碼單元cu：

a)若當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的等級(jí)1或等級(jí)2，且該編碼單元cu的類(lèi)型在第一幀中所占比例小于α；

b)如果當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的等級(jí)3或等級(jí)4，且該編碼單元cu的類(lèi)型在第一幀中所占比例小于β；

c)如果當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的level3且該編碼單元cu的寬和高均小于等于4且該編碼單元cu的類(lèi)型在第一幀中所占比例大于β小于γ；

d)如果當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的level3且該編碼單元cu的寬和高均小于等于8且該編碼單元cu的類(lèi)型在第一幀中所占比例大于β小于δ；

e)如果當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的level4，且該編碼單元cu的寬和高均小于或等于4且該編碼單元cu的類(lèi)型在第一幀中所占比例大于β小于ε；

f)如果當(dāng)前編碼單元cu所在的幀位于分層b幀結(jié)構(gòu)圖中的level4，且該編碼單元cu的寬和高均小于或等于8且該編碼單元cu的類(lèi)型在第一幀中所占比例大于β小于θ；

其中，α，β，γ，δ，ε，θ為設(shè)定閾值，均為0-1之間的實(shí)數(shù)。

在一種新視頻編碼標(biāo)準(zhǔn)的基于分層b幀的幀間模式快速選擇裝置中，所述編碼后各個(gè)類(lèi)型所有編碼單元cu大小所占據(jù)第一幀的比例是指：

其中，cuw和cuh分別表示編碼單元cu的寬度和高度，取值范圍均為{4,8,16,32,64,128}；n(w,h)表示在第一幀中寬為w，高為h的編碼單元cu個(gè)數(shù)，fw和fh分別表示圖片組gop的第一幀的寬度和高度。

在一種新視頻編碼標(biāo)準(zhǔn)的基于分層b幀的幀間模式快速選擇裝置中，所述設(shè)定閾值按照以下設(shè)置取優(yōu)選值：

α取0.003，β取0.001，γ取0.04，δ取0.01，ε取0.05，θ取0.02。

為了驗(yàn)證所提出的幀間快速算法的可行性以及有效性，基于新一代視頻編碼標(biāo)準(zhǔn)測(cè)試模型jem4.0實(shí)現(xiàn)了本發(fā)明所述的快速算法。所有實(shí)驗(yàn)的具體編碼參數(shù)的配置選用jem標(biāo)準(zhǔn)配置文件：encoder_randomaccess_jvet10.cfg，以及對(duì)應(yīng)測(cè)試序列的標(biāo)準(zhǔn)配置文件。

實(shí)驗(yàn)結(jié)果如表1所示。其中，qp為輸入的量化參數(shù)，δbits％為加了本發(fā)明所述算法后的編碼器與傳統(tǒng)的編碼器相比視頻比特率的變化百分比，該值越小說(shuō)明本發(fā)明算法的編碼效果越好。δpsnr/db為加了本發(fā)明所述算法后的編碼器與傳統(tǒng)的編碼器相比峰值信噪比變化，該值越小說(shuō)明本算法的編碼質(zhì)量越高。ts/％為加了本發(fā)明所述算法后的編碼器與傳統(tǒng)的編碼器相比所節(jié)省的時(shí)間百分比，該值越大說(shuō)明本算法的編碼時(shí)間相對(duì)傳統(tǒng)編碼器越短。δbdbr％表示了在同樣的客觀質(zhì)量下，改進(jìn)的編碼器相對(duì)于傳統(tǒng)編碼器的碼率節(jié)省情況，δbdbr％越小說(shuō)明算法效果越好。

表1實(shí)驗(yàn)結(jié)果

通過(guò)在實(shí)驗(yàn)仿真，本發(fā)明中所提出的快速幀間算法的實(shí)驗(yàn)結(jié)果如表1所示。由表1可知，加入本發(fā)明所述算法后的編碼器與傳統(tǒng)的編碼器相比視頻比特率的變化百分比δbits％的均值為0.067，取值均在較小的變化范圍，說(shuō)明本發(fā)明算法的編碼效果較好。加了本發(fā)明所述算法后的編碼器與傳統(tǒng)的編碼器相比峰值信噪比變化δpsnr/db的均值為-0.0013，取值較小，說(shuō)明本算法的編碼質(zhì)量較高。加了本發(fā)明所述算法后的編碼器與傳統(tǒng)的編碼器相比所節(jié)省的時(shí)間百分比ts/％的均值為15.91，該值越大說(shuō)明本算法的編碼時(shí)間相對(duì)傳統(tǒng)編碼器越短。在同樣的客觀質(zhì)量下，改進(jìn)的編碼器相對(duì)于傳統(tǒng)編碼器的碼率節(jié)省情況δbdbr％的均值為0.48，取值較小，說(shuō)明算法效果較好，該算法達(dá)到了在保證視頻的質(zhì)量的前提下，提高了編碼的效率的目的。

本文中所描述的具體實(shí)施例僅僅是對(duì)本發(fā)明精神作舉例說(shuō)明。本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員可以對(duì)所描述的具體實(shí)施例做各種各樣的修改或補(bǔ)充或采用類(lèi)似的方式替代，但并不會(huì)偏離本發(fā)明的精神或者超越所附權(quán)利要求書(shū)所定義的范圍。