本發(fā)明屬于視頻超分辨率領(lǐng)域，尤其涉及一種基于深度殘差網(wǎng)絡(luò)的視頻超分辨率重建方法。

背景技術(shù)：

視頻超分辨率重建是一種將視頻序列中的一組連續(xù)的低分辨率視頻幀圖像重建出其相應(yīng)的一張高分辨率圖像的技術(shù)。隨著終端的顯示設(shè)備分辨率的不斷提升，該技術(shù)在視頻在線直播，高清電視視頻以及高清電影制作等領(lǐng)域具有廣泛的應(yīng)用前景。

在實(shí)際應(yīng)用環(huán)境中，由于受網(wǎng)絡(luò)帶寬和視頻流傳輸設(shè)備的性能限制，即使終端設(shè)備可支持超高清(uhd,ultrahighdefinition)或高清(hd,highdefinition)的圖像/視頻的顯示，也無法正常接收并顯示超高清或高清圖像/視頻。因此，為了更好的在終端設(shè)備中流暢的正常的接收視頻流信息，只能根據(jù)視頻內(nèi)容的質(zhì)量降低原視頻流的分辨率和適當(dāng)調(diào)整視頻碼率，從而傳輸?shù)膱D像/視頻往往會(huì)出現(xiàn)模糊的現(xiàn)象。

為了解決此現(xiàn)象，傳統(tǒng)的解決方案是將一組連續(xù)的低分辨率視頻幀圖像通過線性插值的方法重建出一張高分辨率圖像，從而達(dá)到放大的顯示效果。中國公開專利“一種基于聯(lián)合運(yùn)動(dòng)估計(jì)與超分辨率重建的圖像重建方法”(公開號(hào)cn102194222a，公開日為2011.09.21)采用了一種基于運(yùn)動(dòng)估計(jì)和圖像超分辨率重建算法，先把低分辨率圖像進(jìn)行插值放大，然后將計(jì)算運(yùn)動(dòng)估計(jì)后對(duì)圖像進(jìn)行融合，再將把融合后的圖像進(jìn)行去燥處理后得到高分辨率圖像。中國公開專利“基于光流法和稀疏鄰域嵌入的單圖像超分辨率重建算法”(公開號(hào)cn106157249a，公開日為2016.11.23)采用了一種基于光流法和稀疏鄰域嵌入的單圖像超分辨率重建算法，先利用雙立方插值算法低分辨率圖像進(jìn)行放大，再將提取圖像的方向梯度特征，然后利用字典學(xué)習(xí)算法訓(xùn)練高/低分辨率圖像特征的對(duì)應(yīng)關(guān)系。但是這些方法本質(zhì)上并不能有效地提高圖像的清晰度。因此，為了更好地顯示高分辨率視頻圖像的細(xì)節(jié)特征，dong等人將利用基于深度學(xué)習(xí)的3層卷積神經(jīng)網(wǎng)絡(luò)從單張低分辨率圖像重建出其對(duì)應(yīng)的超分辨率圖像的方法^[1]。但是該圖像超分辨率重建方法忽視了視頻序列中的幀與幀之間的相關(guān)性和互補(bǔ)信息。

為了提高視頻超分辨率的重建效果，近年來，學(xué)術(shù)界開始利用深度學(xué)習(xí)的方法從視頻序列中的連續(xù)的一組低分辨率視頻幀圖像重建出其相應(yīng)的一張高分辨率視頻圖像。目前基于深度學(xué)習(xí)的視頻超分辨率有以下較具代表性的方法：kappeler等人提出先利用clg-tv光流模型算法(combinedlocal-globalwithtotalvariation)^[5]計(jì)算視頻流中的一組連續(xù)的低分辨率圖像光流速度矢量，從而獲得其一一對(duì)應(yīng)的運(yùn)動(dòng)補(bǔ)償(motioncompensation)后的一組視頻低分辨圖像，然后利用基于深度學(xué)習(xí)的3層卷積神經(jīng)網(wǎng)絡(luò)從運(yùn)動(dòng)補(bǔ)償后的一組低分辨率圖像重建出其對(duì)應(yīng)的一張高分辨率圖像^[2]。其后，為了將進(jìn)一步提高kappeler等人的超分辨率重建效果，借鑒kim等人提出圖像超分辨率的算法^[6]，li等人利用跳躍鏈接(skipconnection)的方式把當(dāng)前幀的視頻圖像信息與深度卷積神經(jīng)網(wǎng)絡(luò)中的最后一層卷積層進(jìn)行相加^[3]。中國公開專利“基于雙向循環(huán)卷積網(wǎng)絡(luò)的視頻超分辨率方法和系統(tǒng)”(公開號(hào)cn105072373a，公開日為2015.11.18)采用了一種基于雙向循環(huán)卷積網(wǎng)絡(luò)(brcn:bidirectionalrecurrentconvolutionalnetworks)的視頻超分辨方法，該算法中包括了前向循環(huán)子網(wǎng)絡(luò)和后向循環(huán)子網(wǎng)絡(luò)，每個(gè)子網(wǎng)絡(luò)又包括自底向上的循環(huán)子網(wǎng)絡(luò)。其后，huang等人改進(jìn)了基于雙向循環(huán)卷積神經(jīng)網(wǎng)絡(luò)的視頻超分辨率算法，該算法中只包含前向循環(huán)子網(wǎng)絡(luò)和后向循環(huán)子網(wǎng)絡(luò)^[4]。

雖然相關(guān)研究已經(jīng)取得了較好的視頻超分辨率重建效果，但有些時(shí)候由于視頻內(nèi)容比較復(fù)雜，使其重建效果并不令人滿意，甚至?xí)霈F(xiàn)視頻圖像亮度失真等現(xiàn)象。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提出一種基于深度殘差網(wǎng)絡(luò)的視頻超分辨率重建方法，將視頻序列中的一組連續(xù)的低分辨率視頻幀圖像重建出其對(duì)應(yīng)的一幅高分辨率圖像的方法，顯著提高了視頻顯示的效果。

本發(fā)明采用的技術(shù)方案是：

一種基于深度殘差網(wǎng)絡(luò)的視頻超分辨率重建方法，其包括如下步驟：

步驟1，將把高分辨率視頻序列中的當(dāng)前幀視為關(guān)鍵幀，然后再取關(guān)鍵幀的前面t幀和后面t幀，視頻序列中的一組高分辨率視頻圖像包含2t+1幀，索引t∈{-t,-t+1,…,0,…t-1,t}；

步驟2，將通過步驟1所獲得的一組高分辨率視頻圖像以縮放比例s生成其一一對(duì)應(yīng)的一組2t+1幀低分辨率視頻圖像序列當(dāng)前幀的低分辨率視頻圖像為

步驟3，將利用clg-tv光流模型算法^[5]計(jì)算所有低分辨率視頻圖像序列與當(dāng)前幀視頻圖像之間的光流速度矢量，從而獲得運(yùn)動(dòng)補(bǔ)償后的2t幀低分辨率視頻圖像和當(dāng)前幀的低分辨率視頻圖像索引t∈{-t,-t+1,…,t-1,t}；

步驟4，利用低分辨率視頻圖像分別執(zhí)行初始階段、串聯(lián)卷積層計(jì)算階段、殘差塊計(jì)算階段和反卷積計(jì)算階段，最終獲得一幅其對(duì)應(yīng)的高分辨率視頻圖像fl′(y)；

所述步驟4具體包括以下步驟：

步驟4.1，初始階段：輸入的低分辨率視頻圖像進(jìn)行卷積運(yùn)算和激活函數(shù)運(yùn)算得到其對(duì)應(yīng)的第1層輸出結(jié)果其計(jì)算公式是：

其中w1,t和b1,t分別是本發(fā)明的第一層t幀的卷積權(quán)值參數(shù)和偏置參數(shù)；

步驟4.2，串聯(lián)階段：將把所有的初始階段輸出結(jié)果串聯(lián)成一個(gè)卷積特征層f1(y)，其計(jì)算公式是：

步驟4.3，殘差計(jì)算階段：本發(fā)明的殘差計(jì)算階段由多個(gè)殘差運(yùn)算塊組成，每個(gè)殘差運(yùn)算塊是由2次卷積運(yùn)算、1次激活函數(shù)運(yùn)算和1次相加運(yùn)算組成，其計(jì)算公式是：

其中wl¹和wl²分別是是第l層的第1個(gè)和第2個(gè)卷積權(quán)值參數(shù)，和分別是是第l層的第1個(gè)和第2個(gè)偏置參數(shù)。fl(y)和fl-1(y)分別是第l層和l-1層的輸出結(jié)果，第l-1層的輸出結(jié)果，fl-1(y)是通過跳躍連接的方式與第l層的第n+1個(gè)卷積結(jié)果相加得到第l層的輸出結(jié)果fl(y)；

步驟4.4，反卷積計(jì)算階段：本發(fā)明的反卷積計(jì)算由2次卷積運(yùn)算、2次激活函數(shù)運(yùn)算和1次反卷積運(yùn)算組成，其計(jì)算公式是：

fl′(y)＝wl+3*max(wl+2*max(wl+1*fl(y)+bl+1,0)+bl+2,0)+bl+3(4)

其中wl+1和bl+1分別是第l+1卷積層的卷積權(quán)值參數(shù)和偏置參數(shù)，wl+2和bl+2分別是第l+2反卷積層的卷積權(quán)值參數(shù)和偏置參數(shù)，wl+3和bl+3分別是第l+3卷積層的卷積權(quán)值參數(shù)和偏置參數(shù)，fl′(y)是本發(fā)明重建的高分辨率視頻圖像；

步驟5，利用重建的高分辨率視頻圖像fl′(y)將與步驟1的高分辨率視頻序列中所對(duì)應(yīng)的的當(dāng)前幀視頻圖像進(jìn)行比較，計(jì)算兩幅視頻圖像之間的歐式距離；

步驟6，基于計(jì)算的歐式距離不斷更新并優(yōu)化獲得最優(yōu)的卷積權(quán)值參數(shù)和偏置參數(shù)；

當(dāng)重建的所有高分辨率視頻圖像與其對(duì)應(yīng)的高分辨率視頻圖像進(jìn)行比較時(shí)沒有獲得預(yù)先設(shè)定的重建效果，則繼續(xù)進(jìn)行反向傳播，利用梯度下降優(yōu)化算法更新卷積權(quán)值參數(shù)和偏置參數(shù)，再執(zhí)行步驟4；

當(dāng)重建的所有高分辨率視頻圖像與其對(duì)應(yīng)的高分辨率視頻圖像進(jìn)行比較時(shí)已經(jīng)獲得預(yù)先設(shè)定的重建效果時(shí)，則停止反向傳播，并最終求得步驟4所獲得的卷積權(quán)值參數(shù)和偏置參數(shù)。

本發(fā)明采用以上技術(shù)方案，其創(chuàng)新性主要體現(xiàn)在兩個(gè)方面：第一，本發(fā)明利用深度殘差網(wǎng)絡(luò)直接從低分辨率的視頻圖像執(zhí)行初始階段、串聯(lián)卷積層計(jì)算階段和殘差塊計(jì)算階段后，逐步利用反卷積和卷積運(yùn)算的方式重建出高分辨率視頻圖像，低分辨率視頻圖像不需要進(jìn)行傳統(tǒng)的雙三次插值的預(yù)處理。第二，與最經(jīng)典基于深度學(xué)習(xí)的單幀和視頻超分辨率重建算法相比，在利用極少訓(xùn)練數(shù)據(jù)的情況下，不僅在不同環(huán)境下能夠有效地重建出高分辨率視頻圖像，而且極大地提高了視頻圖像顯示效果。

附圖說明

以下結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明做進(jìn)一步詳細(xì)說明；

圖1是本發(fā)明基于深度殘差網(wǎng)絡(luò)的視頻超分辨率重建方法的原理示意圖；

圖2是本發(fā)明與現(xiàn)有技術(shù)2倍harmonic視頻圖像超分辨率重建效果比較圖；

圖3是本發(fā)明與現(xiàn)有技術(shù)3倍harmonic視頻圖像超分辨率重建效果比較圖；

圖4是本發(fā)明與現(xiàn)有技術(shù)4倍harmonic視頻圖像超分辨率重建效果比較圖；

圖5是本發(fā)明與現(xiàn)有技術(shù)2倍videoset4的city視頻圖像超分辨率重建效果比較圖；

圖6是本發(fā)明與現(xiàn)有技術(shù)3倍videoset4的foliage視頻圖像超分辨率重建效果比較圖。

具體實(shí)施方式

如圖1-6之一所示，本發(fā)明公開了一種基于深度殘差網(wǎng)絡(luò)視頻超分辨率重建方法，其包括如下步驟：

步驟1，將把高分辨率視頻序列中的當(dāng)前幀視為關(guān)鍵幀，然后再取關(guān)鍵幀的前面t幀和后面t幀。因此，視頻序列中的一組高分辨率視頻圖像包含2t+1幀，索引t∈{-t,-t+1,…,0,…t-1,t}；

步驟2，將通過步驟1所獲得的一組高分辨率視頻圖像以縮放比例s生成其一一對(duì)應(yīng)的一組2t+1幀低分辨率視頻圖像序列當(dāng)前幀的低分辨率視頻圖像為進(jìn)一步地，所述步驟2中縮放比例s包括比較代表性的三種尺度2倍、3倍和4倍；

步驟3，將利用clg-tv光流模型算法^[5]計(jì)算所有低分辨率視頻圖像序列與當(dāng)前幀視頻圖像之間的光流速度矢量，從而獲得運(yùn)動(dòng)補(bǔ)償后的2t幀低分辨率視頻圖像和當(dāng)前幀的低分辨率視頻圖像索引t∈{-t,-t+1,…,t-1,t}；

步驟4，利用低分辨率視頻圖像分別執(zhí)行初始階段、串聯(lián)卷積層計(jì)算階段、殘差塊計(jì)算階段和反卷積計(jì)算階段，最終獲得一幅其對(duì)應(yīng)的高分辨率視頻圖像fl′(y)；

所述步驟4具體包括以下步驟：

步驟4.1，初始階段：輸入的低分辨率視頻圖像進(jìn)行卷積運(yùn)算和激活函數(shù)運(yùn)算得到其對(duì)應(yīng)的第1層輸出結(jié)果其計(jì)算公式是：

其中w1,t和b1,t分別是本發(fā)明的第一層t幀的卷積權(quán)值參數(shù)和偏置參數(shù)；

步驟4.2，串聯(lián)階段：將把所有的初始階段輸出結(jié)果串聯(lián)成一個(gè)卷積特征層f1(y)，其計(jì)算公式是：

步驟4.3，殘差計(jì)算階段：本發(fā)明的殘差計(jì)算階段由多個(gè)殘差運(yùn)算塊組成，每個(gè)殘差運(yùn)算塊是由2次卷積運(yùn)算、1次激活函數(shù)運(yùn)算和1次相加運(yùn)算組成，其計(jì)算公式是：

其中wl¹和wl²分別是是第l層的第1個(gè)和第2個(gè)卷積權(quán)值參數(shù)，和分別是是第l層的第1個(gè)和第2個(gè)偏置參數(shù)。fl(y)和fl-1(y)分別是第l層和l-1層的輸出結(jié)果，第l-1層的輸出結(jié)果，fl-1(y)是通過跳躍連接的方式與第l層的第n+1個(gè)卷積結(jié)果相加得到第l層的輸出結(jié)果fl(y)；

步驟4.4，反卷積計(jì)算階段：本發(fā)明的反卷積計(jì)算由2次卷積運(yùn)算、2次激活函數(shù)運(yùn)算和1次反卷積運(yùn)算組成，其計(jì)算公式是：

fl′(y)＝wl+3*max(wl+2*max(wl+1*fl(y)+bl+1,0)+bl+2,0)+bl+3(4)

其中wl+1和bl+1分別是第l+1卷積層的卷積權(quán)值參數(shù)和偏置參數(shù)，wl+2和bl+2分別是第l+2反卷積層的卷積權(quán)值參數(shù)和偏置參數(shù)，wl+3和bl+3分別是第l+3卷積層的卷積權(quán)值參數(shù)和偏置參數(shù)，fl′(y)是本發(fā)明重建的超分辨率視頻圖像；

步驟5，利用重建的高分辨率視頻圖像fl′(y)將與步驟1的高分辨率視頻序列中所對(duì)應(yīng)的的當(dāng)前幀視頻圖像進(jìn)行比較，計(jì)算兩幅視頻圖像之間的歐式距離；

步驟6，基于計(jì)算的歐式距離不斷更新并優(yōu)化獲得最優(yōu)的卷積權(quán)值參數(shù)和偏置參數(shù)；

當(dāng)重建的所有高分辨率視頻圖像與其對(duì)應(yīng)的高分辨率視頻圖像進(jìn)行比較時(shí)沒有獲得滿足的重建效果，則繼續(xù)進(jìn)行反向傳播，利用梯度下降優(yōu)化算法更新卷積權(quán)值參數(shù)和偏置參數(shù)，再執(zhí)行步驟4；

當(dāng)重建的所有高分辨率視頻圖像與其對(duì)應(yīng)的高分辨率視頻圖像進(jìn)行比較時(shí)已經(jīng)獲得滿足的重建效果時(shí)，則停止反向傳播，并最終求得步驟4所獲得的卷積權(quán)值參數(shù)和偏置參數(shù)。

如圖2-4所示，為了驗(yàn)證本發(fā)明的有效性，采用harmonic4k公開數(shù)據(jù)庫的緬甸(myanmar)視頻進(jìn)行實(shí)驗(yàn)，該數(shù)據(jù)庫的視頻分辨率為3840×2160(像素)，共有62個(gè)場景。本發(fā)明把緬甸視頻分為訓(xùn)練集(1-50場景)、驗(yàn)證集(51-55場景)和測試集(56-62場景)，并且視頻分辨率降為960×540(原視頻分辨率1/4倍)。本發(fā)明得到的重建效果與一些現(xiàn)有技術(shù)進(jìn)行比較，例如雙三次插值法(bicubicinterpolation)和srcnn^[1]，vsrnet^[2]等。

本發(fā)明采用峰值信噪比(psnr:peaksignaltonoiseratio)和結(jié)構(gòu)相似性(ssim:structuralsimilarityindex)來衡量視頻圖像重建性能。

表1本發(fā)明與現(xiàn)有技術(shù)對(duì)于harmonic數(shù)據(jù)集的psnr和ssim平均值

從表1中可以看出，在三種不同的縮放比例下，本發(fā)明比現(xiàn)有技術(shù)中經(jīng)典的視頻超分辨率算法的(vsrnet)的psnr值和ssim值中分別提高了1.4969db、0.8167db、0.4016db和0.0087、0.0119、0.0396。由此可見，本發(fā)明采用以上技術(shù)方案，較其他現(xiàn)有技術(shù)相比，獲得了更高質(zhì)量的視頻圖像。

如圖5-6所示，進(jìn)一步驗(yàn)證超分辨率重建性能，本發(fā)明也在公開視頻數(shù)據(jù)庫videoset4上進(jìn)行了重建性能評(píng)估。

表2本發(fā)明與現(xiàn)有技術(shù)對(duì)于videoset4數(shù)據(jù)集的psnr和ssim平均值

從表2中可以看出，當(dāng)只用harmonic數(shù)據(jù)集訓(xùn)練后在videoset4數(shù)據(jù)集上測試性能時(shí)，vsrnet視頻超分辨率重建算法^[2]比srcnn單幀圖像超分辨率重建算法^[1]性能差。這說明vsrnet需要用大量的數(shù)據(jù)集進(jìn)行訓(xùn)練才能獲得有效的重建效果。但本發(fā)明的視頻超分辨率重建算法在同樣的實(shí)驗(yàn)環(huán)境下也能極大的提高了視頻圖像超分辨率重建效果。

本發(fā)明提出的視頻超分辨率算法的創(chuàng)新性主要體現(xiàn)在兩個(gè)方面：第一，本發(fā)明利用深度殘差網(wǎng)絡(luò)直接從低分辨率的視頻圖像執(zhí)行初始階段、串聯(lián)卷積層計(jì)算階段和殘差塊計(jì)算階段后，逐步利用反卷積和卷積運(yùn)算的方式重建出高分辨率視頻圖像，低分辨率視頻圖像不需要進(jìn)行傳統(tǒng)的雙三次插值的預(yù)處理。第二，與最經(jīng)典基于深度學(xué)習(xí)的單幀和視頻超分辨率重建算法相比，在利用極少訓(xùn)練數(shù)據(jù)的情況下，不僅在不同環(huán)境下能夠有效地重建出高分辨率視頻圖像，而且極大地提高了視頻圖像顯示效果。

本發(fā)明中涉及的參考文獻(xiàn)如下：

[1]c.dong,c.c.loy,k.heandx.tang,imagesuper-resolutionusingdeepconvolutionalnetworks,ieeetrans.patternanal.mach.intell.,38(2)(2016)295-307.

[2]a.kappeler,s.yoo,q.daianda.k.katsaggelos,videosuper-resolutionwithconvolutionalneuralnetworks,ieeetrans.comput.image,2(2)(2016)109-122.

[3]d.liandz.w,videosuper-resolutionviamotioncompensationanddeepresiduallearning,ieeetrans.comput.image,acceptedforpublication(2017).

[4]y.huang,w.wangandl.wang,videosuper-resolutionviabidirectionalrecurrentconvolutionalnetworks,ieeetrans.patternanal.mach.intell.,acceptedforpublication(2017).

[5]x.tao,h.gao,r.liao,j.wangandj.jia,totalvariationregularizationoflocal-globalopticalflow,in:proceedingsoftheieeeinternationalconferenceonintelligenttransportationsystems(itsc2011),washington,dc,usa,pp.318-323.

[6]j.kim,j.k.leeandk.m.lee,accurateimagesuper-resolutionusingverydeepconvolutionalnetworks,in:proceedingsoftheieeeinternationalconferenceoncomputervisionandpatternrecognition(cvpr2016),lasvegas,nv,usa,pp.1646-1654.