本發(fā)明涉及視頻編碼技術(shù)領(lǐng)域，尤其涉及一種基于視差預(yù)測(cè)的光場(chǎng)圖像編碼方法。

背景技術(shù)：

光場(chǎng)相機(jī)不但可以記錄空間場(chǎng)景中的光線強(qiáng)度，而且還能記錄其方向信息，隨著lytro光場(chǎng)相機(jī)的推出，光場(chǎng)圖像在立體顯示、虛擬現(xiàn)實(shí)、深度計(jì)算等領(lǐng)域有著巨大的應(yīng)用前景。對(duì)于光場(chǎng)圖像，我們可以將其轉(zhuǎn)換為一組子孔徑圖像(subapertureimage)，各個(gè)子孔徑圖像存在微小的視差，因此它們的信息冗余度非常大。如何利用子孔徑圖像間的視差對(duì)其進(jìn)行高效地壓縮，是光場(chǎng)技術(shù)應(yīng)用過(guò)程中亟待解決的問(wèn)題。

目前，如下兩種方案：1)將視差補(bǔ)償結(jié)合到小波變換中，但是該方法不能和現(xiàn)有的基于塊結(jié)構(gòu)的混合編碼框架進(jìn)行有效結(jié)合，并且該方法無(wú)法支持實(shí)時(shí)操作；2)則利用投影映射對(duì)子孔徑圖像間的視角變換進(jìn)行建模，但是由于特征點(diǎn)檢測(cè)精度的問(wèn)題，導(dǎo)致其壓縮性能不高。

另一方面，雖然光場(chǎng)中的視差信息可以通過(guò)計(jì)算運(yùn)動(dòng)矢量的方法得到，但是目前的計(jì)算過(guò)程涉及到運(yùn)動(dòng)估計(jì)，其時(shí)間復(fù)雜度較高，而且編碼這些運(yùn)動(dòng)矢量要花費(fèi)大量的比特。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種基于視差預(yù)測(cè)的光場(chǎng)圖像編碼方法，可以節(jié)省運(yùn)動(dòng)估計(jì)的時(shí)間，降低編碼運(yùn)動(dòng)矢量的比特?cái)?shù)，提高光場(chǎng)圖像的壓縮性能。

本發(fā)明的目的是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：

一種基于視差預(yù)測(cè)的光場(chǎng)圖像編碼方法，包括：

將光場(chǎng)圖像轉(zhuǎn)換為偽視頻序列；

在編碼端，利用深度神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)偽視頻序列中已編碼幀和當(dāng)前幀之間的光流信息，并將其轉(zhuǎn)換為視差信息，即對(duì)應(yīng)編碼塊的運(yùn)動(dòng)矢量，然后進(jìn)行運(yùn)動(dòng)補(bǔ)償，并計(jì)算殘差；最后，將殘差量化編碼寫入碼流；

在解碼端，采用與編碼端一致的方法，利用深度神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)已解碼幀和當(dāng)前幀之間的光流信息，并將其轉(zhuǎn)換為對(duì)應(yīng)解碼塊的運(yùn)動(dòng)矢量，通過(guò)運(yùn)動(dòng)補(bǔ)償?shù)玫疆?dāng)前解碼塊的預(yù)測(cè)塊，最后利用碼流中的殘差信息構(gòu)建重建塊。

所述將光場(chǎng)圖像轉(zhuǎn)換為偽視頻序列包括：

將光場(chǎng)圖像轉(zhuǎn)換為子孔徑圖像陣列，每幅子孔徑圖像反映了不同視角的場(chǎng)景信息；

將子孔徑圖像陣列按照一定的順序?qū)⑵滢D(zhuǎn)換為偽視頻序列。

構(gòu)建所述深度神經(jīng)網(wǎng)絡(luò)的過(guò)程如下：

計(jì)算偽視頻序列相鄰幀之間的光流信息，作為訓(xùn)練樣本標(biāo)簽；

構(gòu)建神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，以視頻幀作為網(wǎng)絡(luò)輸入進(jìn)行前向傳播預(yù)測(cè)光流，并根據(jù)訓(xùn)練樣本標(biāo)簽計(jì)算損失值，再根據(jù)損失值反向傳播更新參數(shù)，如此反復(fù)迭代多次作為網(wǎng)絡(luò)訓(xùn)練過(guò)程，訓(xùn)練完成的網(wǎng)絡(luò)作為深度神經(jīng)網(wǎng)絡(luò)。

所構(gòu)建的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為：依次設(shè)置的卷積層、局部響應(yīng)正則化層、池化層、卷積層、局部響應(yīng)正則化層、池化層、三個(gè)卷積層、池化層、兩個(gè)全連接層以及空間多元邏輯斯蒂克回歸層；或者，依次設(shè)置的五個(gè)交替設(shè)置的卷積層與池化層、三個(gè)卷積層、逆卷積層、剪裁層以及多元邏輯斯蒂克回歸層。

由上述本發(fā)明提供的技術(shù)方案可以看出，通過(guò)深度學(xué)習(xí)預(yù)測(cè)光場(chǎng)子孔徑圖像間的光流信息，并將其轉(zhuǎn)換為其視差，從而節(jié)省運(yùn)動(dòng)估計(jì)的時(shí)間，降低編碼運(yùn)動(dòng)矢量的比特?cái)?shù)，提高光場(chǎng)圖像的壓縮性能，此外，不需要再將運(yùn)動(dòng)信息寫入碼流，能夠極大地降低傳輸碼流信息所需要的帶寬。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他附圖。

圖1為本發(fā)明實(shí)施例提供的光場(chǎng)圖像轉(zhuǎn)換為偽視頻序列的示意圖；

圖2為本發(fā)明實(shí)施例提供的傳統(tǒng)混合編碼框架；

圖3為本發(fā)明實(shí)施例提供的傳統(tǒng)混合解碼框架；

圖4為本發(fā)明實(shí)施例提供的光場(chǎng)偽視頻序列編碼框架；

圖5為本發(fā)明實(shí)施例提供的解碼框架；

圖6為本發(fā)明實(shí)施例提供的一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖；

圖7為本發(fā)明實(shí)施例提供的另一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖；

圖8為本發(fā)明實(shí)施例提供的編碼塊運(yùn)動(dòng)矢量生成過(guò)程示意圖。

具體實(shí)施方式

下面結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明的保護(hù)范圍。

本發(fā)明實(shí)施例提供一種基于視差預(yù)測(cè)的光場(chǎng)圖像編碼方法，包括：

將光場(chǎng)圖像轉(zhuǎn)換為偽視頻序列；

在編碼端，利用深度神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)偽視頻序列中已編碼幀和當(dāng)前幀之間的光流信息，并將其轉(zhuǎn)換為視差信息，即對(duì)應(yīng)編碼塊的運(yùn)動(dòng)矢量，然后進(jìn)行運(yùn)動(dòng)補(bǔ)償，并計(jì)算殘差；最后，將殘差量化編碼寫入碼流；

在解碼端，采用與編碼端一致的方法，利用深度神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)已解碼幀和當(dāng)前幀之間的光流信息，并將其轉(zhuǎn)換為對(duì)應(yīng)解碼塊的運(yùn)動(dòng)矢量，通過(guò)運(yùn)動(dòng)補(bǔ)償?shù)玫疆?dāng)前解碼塊的預(yù)測(cè)塊，最后利用碼流中的殘差信息構(gòu)建重建塊。

如圖1所示，所述將光場(chǎng)圖像轉(zhuǎn)換為偽視頻序列包括：

將光場(chǎng)圖像轉(zhuǎn)換為子孔徑圖像陣列，每幅子孔徑圖像反映了不同視角的場(chǎng)景信息；

將子孔徑圖像陣列按照一定的順序?qū)⑵滢D(zhuǎn)換為偽視頻序列。

圖2-圖3，分別為傳統(tǒng)混合編碼框架與傳統(tǒng)混合解碼框架；相對(duì)應(yīng)的，圖4-圖5，分別為本發(fā)明實(shí)施例提供的光場(chǎng)偽視頻序列編碼框架與解碼框架。

從圖2和圖4中可以看出：本發(fā)明實(shí)施例中可以通過(guò)運(yùn)動(dòng)矢量生成模塊(blockmvgeneration)生成每個(gè)編碼塊的幀間運(yùn)動(dòng)矢量(blockmv)，并且不需要將其寫入碼流傳輸?shù)浇獯a端，因此能夠大幅度減少需要傳輸?shù)谋忍亍?/p>

從圖3和圖5中可以看出：本發(fā)明實(shí)施例中的解碼器不再需要碼流中的運(yùn)動(dòng)矢量，而是在解碼端直接通過(guò)blockmvgeneration模塊中的深度神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)并轉(zhuǎn)換得到。

本發(fā)明實(shí)施例中，深度神經(jīng)網(wǎng)絡(luò)的構(gòu)建過(guò)程如下：

首先，計(jì)算偽視頻序列相鄰幀之間的光流信息，作為訓(xùn)練樣本標(biāo)簽；

然后，構(gòu)建神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如圖6和圖7所示，以視頻幀作為網(wǎng)絡(luò)輸入進(jìn)行前向傳播預(yù)測(cè)光流，并根據(jù)訓(xùn)練樣本標(biāo)簽計(jì)算損失值，再根據(jù)損失值反向傳播更新參數(shù)，如此反復(fù)迭代多次作為網(wǎng)絡(luò)訓(xùn)練過(guò)程，訓(xùn)練完成的網(wǎng)絡(luò)作為深度神經(jīng)網(wǎng)絡(luò)(dnn網(wǎng)絡(luò))。

圖6中所構(gòu)建的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為：依次設(shè)置的卷積層(convlayer)、局部響應(yīng)正則化層(lrnlayer)、池化層(player)、卷積層、局部響應(yīng)正則化層、池化層、三個(gè)卷積層、池化層、兩個(gè)全連接層(fclayer)以及空間多元邏輯斯蒂克回歸層(sslayer)；

圖7中所構(gòu)建的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為：依次設(shè)置的五個(gè)交替設(shè)置的卷積層與池化層(c&player)、三個(gè)卷積層、逆卷積層(deconvlayer)、剪裁層(croplayer)以及多元邏輯斯蒂克回歸層(slayer)。

圖6-圖7中，forwardpropagation表示前向傳播，backwardpropagation表示后向傳播。

其中，圖6所示的網(wǎng)絡(luò)結(jié)構(gòu)并由空間多元邏輯斯蒂克回歸層(spatialsoftmaxlayer)代替多元邏輯斯蒂克回歸層(softmaxlayer)，以生成與空間相關(guān)的運(yùn)動(dòng)矢量；圖7所示的結(jié)構(gòu)由全卷積網(wǎng)絡(luò)組成，該結(jié)構(gòu)能夠有效的保留圖片、視頻中的局部信息。

本發(fā)明實(shí)施例中的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)已經(jīng)預(yù)先構(gòu)建完成并可直接使用，在實(shí)際操作中，可以直接執(zhí)行編、解碼操作。在編碼端，將當(dāng)前幀的上一幀圖像(即已編碼的圖像幀)作為網(wǎng)絡(luò)輸入，前向傳播后得到預(yù)測(cè)的光流信息；然后，將光流信息轉(zhuǎn)換為編碼塊的運(yùn)動(dòng)矢量信息；接著，進(jìn)行運(yùn)動(dòng)補(bǔ)償，并計(jì)算殘差；最后，將殘差量化編碼寫入碼流，具體如圖8所示，運(yùn)動(dòng)矢量轉(zhuǎn)換模塊(transformtoblockmv)部分可以采用求取塊內(nèi)所有光流信息的均值等方法將光流轉(zhuǎn)換為前編碼塊的運(yùn)動(dòng)矢量。在解碼端，將已經(jīng)解碼的視頻作為網(wǎng)絡(luò)輸入，預(yù)測(cè)得到光流信息，然后將其轉(zhuǎn)換為編碼塊的運(yùn)動(dòng)矢量，最后利用碼流中的殘差信息重建出視頻幀。圖8中，decodedframebuffer為解碼幀緩存，dnn為深度神經(jīng)網(wǎng)絡(luò)，blockmv為塊運(yùn)動(dòng)矢量。

以上所述，僅為本發(fā)明較佳的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明披露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求書(shū)的保護(hù)范圍為準(zhǔn)。