本發(fā)明涉及視頻編碼技術(shù)領(lǐng)域，尤其涉及一種運動矢量自動生成的視頻編解碼框架。

背景技術(shù)：

作為現(xiàn)有視頻編碼標(biāo)準(zhǔn)的核心框架，混合視頻編碼(hvc-hybridvideocoding)框架是一種混合時間空間視頻壓縮方案，即先用幀間預(yù)測編碼消除時間域的相關(guān)性，然后對殘差進(jìn)行變換編碼，消除空間相關(guān)性，最后進(jìn)行熵編碼去除統(tǒng)計上的冗余度。其中幀間預(yù)測編碼可以有效去除視頻信號在時間域的冗余度，極大地提升視頻編碼效率。自80年代幀間運動預(yù)測編碼方式被h.261標(biāo)準(zhǔn)采納被延續(xù)至今。

在現(xiàn)有的h.264，hevc等視頻編碼標(biāo)準(zhǔn)中采用了更為復(fù)雜的運動預(yù)測模式，包括更多的預(yù)測參考幀、更多的預(yù)測塊模式、更多的運動矢量預(yù)測編碼模式等等，無論是從運動矢量預(yù)測的復(fù)雜度還是運動矢量本身編碼傳輸?shù)臄?shù)據(jù)量比例都是很高的。

鑒于此，有必要進(jìn)行深入研究，使得編碼框架中既可以避免復(fù)雜的運動矢量搜索，又可以節(jié)約運動矢量的傳輸數(shù)據(jù)量。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是提供一種運動矢量自動生成的視頻編解碼框架，無需進(jìn)行運動矢量預(yù)測和運動矢量編碼傳輸，從而降低編碼復(fù)雜度和提升編碼效率。

本發(fā)明的目的是通過以下技術(shù)方案實現(xiàn)的：

一種運動矢量自動生成的視頻編解碼框架，無需進(jìn)行運動矢量預(yù)測和運動矢量編碼傳輸，其包括：編碼端與解碼端；其中：

所述編碼端，根據(jù)當(dāng)前參考幀的視頻數(shù)據(jù)內(nèi)容，并基于通過學(xué)習(xí)的方法構(gòu)建的像素級的運動光場矢量生成網(wǎng)絡(luò)，來預(yù)測當(dāng)前幀視頻像素的光流信息，再結(jié)合輸入的塊模式信息計算對應(yīng)編碼塊的運動矢量，然后，進(jìn)行運動補償并計算殘差，最終將編碼的殘差信息傳輸至解碼端；

所述解碼端，將已經(jīng)解碼的視頻幀作為輸入，并采用與編碼端相同的方法預(yù)測相應(yīng)的光流信息，進(jìn)而獲得對應(yīng)解碼塊的運動矢量，再利用接收到的殘差信息重建視頻幀。

所述通過學(xué)習(xí)的方法構(gòu)建的像素級的運動光場矢量生成網(wǎng)絡(luò)包括：

建立包含多種視頻內(nèi)容類型、運動過程和不同壓縮程度的視頻數(shù)據(jù)的數(shù)據(jù)集；計算每一視頻數(shù)據(jù)的光流信息作為訓(xùn)練樣本的標(biāo)簽；

構(gòu)建神經(jīng)網(wǎng)絡(luò)，并以重建生成的當(dāng)前重構(gòu)參考幀作為經(jīng)網(wǎng)絡(luò)輸入進(jìn)行前向傳播預(yù)測光流信息，并根據(jù)訓(xùn)練樣本標(biāo)簽計算損失值，再根據(jù)損失值反向傳播更新參數(shù)，如此反復(fù)迭代多次作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程，訓(xùn)練完成的網(wǎng)絡(luò)作為像素級的運動光場矢量生成網(wǎng)絡(luò)。

所構(gòu)建的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為：依次設(shè)置的卷積層、池化層、局部響應(yīng)歸一化層、全連接層以及空間softmax層；或者，依次設(shè)置的卷積層、池化層、卷積層、反卷積層、剪裁層以及softmax層。

所述編碼端中運動矢量的計算公式為：

其中，為第i個塊模式信息對應(yīng)的光流信息，n的大小由塊模式信息決定。

由上述本發(fā)明提供的技術(shù)方案可以看出，在視頻編碼端通過學(xué)習(xí)的方法自動生成像素級的光流矢量，進(jìn)而生成不同數(shù)據(jù)塊模式下的運動矢量，替代原有混合編碼框架下的運動矢量搜索模塊；在解碼段基于同樣的學(xué)習(xí)網(wǎng)絡(luò)生成運動矢量，進(jìn)行解碼和視頻數(shù)據(jù)重建；最終實現(xiàn)一個新的無需進(jìn)行運動矢量預(yù)測和運動矢量編碼傳輸?shù)囊曨l編碼框架。

附圖說明

為了更清楚地說明本發(fā)明實施例的技術(shù)方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域的普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他附圖。

圖1為本發(fā)明實施例提供的傳統(tǒng)視頻編碼的混合編解碼框架；

圖2為本發(fā)明實施例提供的運動矢量自動生成的視頻編解碼框架；

圖3為本發(fā)明實施例提供的基于學(xué)習(xí)的運動矢量生成模塊的示意圖；

圖4為本發(fā)明實施例提供的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖。

具體實施方式

下面結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明的保護(hù)范圍。

本發(fā)明實施例提供一種運動矢量自動生成的視頻編解碼框架，無需進(jìn)行運動矢量預(yù)測和運動矢量編碼傳輸，其包括：編碼端與解碼端；其中：

所述編碼端，根據(jù)當(dāng)前參考幀的視頻數(shù)據(jù)內(nèi)容，并基于通過學(xué)習(xí)的方法構(gòu)建的像素級的運動光場矢量生成網(wǎng)絡(luò)，來預(yù)測當(dāng)前幀視頻像素的光流信息，再結(jié)合輸入的塊模式信息計算對應(yīng)編碼塊的運動矢量，然后，進(jìn)行運動補償并計算殘差，最終將編碼的殘差信息傳輸至解碼端；

所述解碼端，將已經(jīng)解碼的視頻幀作為輸入，并采用與編碼端相同的方法預(yù)測相應(yīng)的光流信息，進(jìn)而獲得對應(yīng)解碼塊的運動矢量，再利用接收到的殘差信息重建視頻幀。

本領(lǐng)域技術(shù)人員可以理解，在上述視頻編解碼框中，編碼端與解碼端的其他處理過程，例如，變換、量化、熵編碼、熵解碼、反量化、反變換等過程均可利用常規(guī)技術(shù)來實現(xiàn)，故不再贅述。上述方案主要是視頻編碼端通過學(xué)習(xí)的方法自動生成像素級的光流矢量，進(jìn)而生成不同數(shù)據(jù)塊模式下的運動矢量，替代原有混合編碼框架下的運動矢量搜索模塊；在解碼段基于同樣的學(xué)習(xí)網(wǎng)絡(luò)生成運動矢量，進(jìn)行解碼和視頻數(shù)據(jù)重建；由于視頻編碼框架中無需進(jìn)行運動矢量預(yù)測和運動矢量編碼傳輸?shù)?，從而降低編碼復(fù)雜度和提升編碼效率。

如圖1～圖2所示，分別為傳統(tǒng)的混合編解碼框架，以及運動矢量自動生成的視頻編解碼框架，兩個圖中虛線部分為解碼器(即解碼端)?？梢钥吹?，傳統(tǒng)框架中的“運動矢量估計”模塊被“基于學(xué)習(xí)的運動矢量生成”模塊代替，這樣對應(yīng)的編碼器輸出也發(fā)生了變化，傳統(tǒng)的“運動矢量”信息輸出不再需要。同時，編碼端“基于學(xué)習(xí)的運動矢量生成”模塊不再需要原始圖像的輸入，其輸入為重建的參考幀數(shù)據(jù)。圖1所示傳統(tǒng)混合編解碼框架中的解碼部分模塊中運動矢量信息的獲得來自于編碼器輸出的運動矢量信息，而在圖2所示的新的編解碼結(jié)構(gòu)中，解碼器中的運動矢量則是來自于與編碼器部分對應(yīng)的“基于學(xué)習(xí)的運動矢量生成”模塊。

本領(lǐng)域技術(shù)人員可以理解，圖1與圖2的虛線部分既是編碼器部分，也是解碼器部分，即虛線內(nèi)部分是重疊的，為編碼端與解碼端共有的。

本發(fā)明實施例中，運動矢量信息是利用塊模式信息(來自編碼器中的塊模式?jīng)Q策模塊或者解碼器中的碼流信息)與相應(yīng)的光流信息計算而來，也就是說，可以將“基于學(xué)習(xí)的運動矢量生成”模塊細(xì)分為如圖3所示的像素級的運動光場矢量生成網(wǎng)絡(luò)，以及基于塊的運動矢量生成模塊，具體的計算公式如下：

其中，為第i個塊模式信息對應(yīng)的光流信息，n的大小由塊模式信息決定。

本領(lǐng)域技術(shù)人員可以理解，圖3所示為基于學(xué)習(xí)的運動矢量生成模塊，在進(jìn)行編碼與解碼時的區(qū)別僅在于編碼時輸入的數(shù)據(jù)為原始視頻數(shù)據(jù)，而解碼時輸入的是重構(gòu)參考幀。

本發(fā)明實施例中，像素級的運動光場矢量生成網(wǎng)絡(luò)通過學(xué)習(xí)的方法構(gòu)建，其過程如下：

1)建立包含多種視頻內(nèi)容類型、運動過程和不同壓縮程度的視頻數(shù)據(jù)的數(shù)據(jù)集；計算每一視頻數(shù)據(jù)的光流信息作為訓(xùn)練樣本的標(biāo)簽。

2)構(gòu)建神經(jīng)網(wǎng)絡(luò)，并以重建生成的當(dāng)前重構(gòu)參考幀作為神經(jīng)網(wǎng)絡(luò)輸入進(jìn)行前向傳播預(yù)測光流信息，并根據(jù)訓(xùn)練樣本標(biāo)簽計算損失值，再根據(jù)損失值反向傳播更新參數(shù)，如此反復(fù)迭代多次作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程，訓(xùn)練完成的網(wǎng)絡(luò)作為像素級的運動光場矢量生成網(wǎng)絡(luò)。本領(lǐng)域技術(shù)人員可以理解，重構(gòu)參考幀可以來自任何視頻數(shù)據(jù)，具體到本方案中，其來自于數(shù)據(jù)集。

所構(gòu)建的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括：如圖4(a)所示的，依次設(shè)置的卷積層、池化層、局部響應(yīng)歸一化層、全連接層以及空間softmax層；或者，如圖4(b)所示的，依次設(shè)置的卷積層、池化層、卷積層、反卷積層、剪裁層以及softmax層。

圖4(a)中采用空間softmax層代替softmax層，以生成與空間相關(guān)的運動矢量；圖4(b)的網(wǎng)絡(luò)結(jié)構(gòu)由全卷積網(wǎng)絡(luò)組成，該結(jié)構(gòu)能夠有效的保留圖片、視頻中的局部信息。

以上所述，僅為本發(fā)明較佳的具體實施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明披露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求書的保護(hù)范圍為準(zhǔn)。