本發(fā)明涉及視頻處理技術(shù)領(lǐng)域，特別是指一種基于深度學(xué)習(xí)和自相似性的視頻超分辨率重建方法。

背景技術(shù)：

超分辨率重建是指利用計(jì)算機(jī)將低分辨率(Low Resolution，LR)的圖像或視頻進(jìn)行處理，得到一個(gè)高分辨率(High Resolution，HR)圖像或視頻的一種技術(shù)。超分辨率重建能夠比傳統(tǒng)的插值方法提供更多的細(xì)節(jié)信息，從而能夠大幅提高圖像或視頻的質(zhì)量。

目前的超分辨率重建方法主要有基于學(xué)習(xí)機(jī)制的重建方法和基于自相似性的重建方法。

基于學(xué)習(xí)機(jī)制的超分辨率方法能夠適應(yīng)于較大的超分辨率倍數(shù)，但是由于其依賴于大規(guī)模的外部訓(xùn)練集，因而無法保證任意低分辨率圖像塊都能在有限規(guī)模的訓(xùn)練集中找到最佳高分辨率塊匹配，例如當(dāng)處理一些很少出現(xiàn)在給定訓(xùn)練數(shù)據(jù)集中的獨(dú)特特征時(shí)，容易產(chǎn)生噪聲或者過平滑現(xiàn)象。單純基于學(xué)習(xí)機(jī)制的超分辨率方法，僅考慮了來自外部訓(xùn)練集的關(guān)聯(lián)映射先驗(yàn)學(xué)習(xí)，沒有考慮視頻自身的內(nèi)部特性，因而超分辨率重建結(jié)果不能很好地保持視頻的時(shí)空一致性，容易引起視頻幀間的抖動現(xiàn)象。

基于自相似性的超分辨率重建方法利用圖像或視頻自身內(nèi)部的單尺度或跨尺度相似性進(jìn)行重建，是一種基于多幀的超分辨率方法，該方法不依賴于精確的亞像素運(yùn)動估計(jì)，因而能夠適應(yīng)于局部運(yùn)動、角度旋轉(zhuǎn)等復(fù)雜運(yùn)動模式。自相似特性提供了與低分辨率輸入高度相關(guān)的內(nèi)部實(shí)例，基于這種內(nèi)部相似性的超分辨率方法不需要額外的訓(xùn)練集和較長的訓(xùn)練時(shí)間，但是在內(nèi)部相似塊不充足的情況下，往往會因內(nèi)部實(shí)例的不匹配而引起一些視覺瑕疵。

總之，現(xiàn)有技術(shù)中的視頻超分辨率重建方法存在重建效果差、重建倍率低等缺點(diǎn)。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明的目的在于提出一種基于深度學(xué)習(xí)和自相似性的視頻超分辨率重建方法，該方法能夠顯著提高視頻超分辨率重建的重建效果和重建倍率。

基于上述目的，本發(fā)明提供的技術(shù)方案是：

一種基于深度學(xué)習(xí)和自相似性的視頻超分辨率重建方法，其特征在于，包括以下步驟：

將輸入視頻分解為視頻幀，得到輸入視頻幀序列；

使用經(jīng)過訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)對輸入視頻幀序列中的各幀進(jìn)行初步估計(jì)，得到初步估計(jì)的視頻幀序列；

對于初步估計(jì)的視頻幀序列中的待重建像素點(diǎn)，根據(jù)待重建像素點(diǎn)與該待重建像素點(diǎn)的時(shí)空鄰域內(nèi)的臨近像素點(diǎn)的相似性程度，使用臨近像素點(diǎn)對待重建像素點(diǎn)進(jìn)行初步重建，得到初步重建的視頻幀序列；

使用基于先驗(yàn)非局部自相似性塊群的高斯混合模型對初步重建的視頻幀序列中的各幀進(jìn)行再次重建，得到再次重建的視頻幀序列；

將再次重建的視頻幀序列中的各幀按時(shí)間順序整合，得到輸出視頻。

可選地，卷積神經(jīng)網(wǎng)絡(luò)包含提取層、映射層和重建層，其中，提取層用于將輸入的圖像劃分為多個(gè)圖像分塊，圖像分塊以稀疏形式表示，映射層用于將圖像分塊映射為高分辨率圖像分塊，重建層用于將所述高分辨率圖像分塊整合為輸出圖像。

可選地，圖像分塊均為具有相同尺寸的矩形，相鄰兩個(gè)圖像分塊具有重合區(qū)域。

可選地，時(shí)空鄰域由位于以待重建像素點(diǎn)所在時(shí)刻為中心的時(shí)間鄰域內(nèi)的子域組成，其中子域?yàn)橐曨l幀中以待重建像素點(diǎn)的同位像素點(diǎn)為中心的空間鄰域；臨近像素點(diǎn)為時(shí)空鄰域內(nèi)除待重建像素點(diǎn)以外的其他像素點(diǎn)。

可選地，根據(jù)待重建像素點(diǎn)與該待重建像素點(diǎn)的時(shí)空鄰域內(nèi)的臨近像素點(diǎn)的相似性程度，使用臨近像素點(diǎn)對所述待重建像素點(diǎn)進(jìn)行初步重建的方式包含如下步驟：

以臨近像素點(diǎn)與待重建像素點(diǎn)的相似度度量作為臨近像素點(diǎn)的權(quán)重；

根據(jù)權(quán)重對待重建像素點(diǎn)的所有臨近像素點(diǎn)進(jìn)行加權(quán)平均，將加權(quán)平均的結(jié)果作為對待重建像素點(diǎn)的初步重建。

可選地，相似度度量的求取過程包含如下步驟：

分別以臨近像素點(diǎn)和待重建像素點(diǎn)為中心建立空間鄰域；

求取兩個(gè)空間鄰域的偽Zernike矩，以兩個(gè)偽Zernike矩的距離度量作為兩個(gè)空間鄰域的區(qū)域偽Zernike矩特征相似性指標(biāo)：

$RFS\left(R\right(k,l),R(i,j\left)\right)=\exp (-\frac{\left|\right|PZM(k,l)-PZM(i,j)|{|}_2^2}{{\mathrm{\ϵ}}^2}),$

式中，RFS(R(k,l),R(i,j))為R(k,l)和R(i,j)的區(qū)域偽Zernike矩特征相似性指標(biāo)，(k,l)表示所述待重建像素點(diǎn)，(i,j)表示所述臨近像素點(diǎn)，R(k,l)表示所述待重建像素點(diǎn)的空間鄰域，R(i,j)表示所述待重建像素點(diǎn)的空間鄰域，PZM(k,l)和PZM(i,j)分別表示R(k,l)和R(i,j)的偽Zernike矩，||PZM(k,l)-PZM(i,j)||₂表示PZM(k,l)和PZM(i,j)的歐幾里德距離，ε為用于控制函數(shù)衰減率的自定義參數(shù)；

求取兩個(gè)空間鄰域的區(qū)域結(jié)構(gòu)相似性指標(biāo)：

$RSS\left(R\right(k,l),R(i,j\left)\right)=\frac{(2{\mathrm{\η}}_{(k,l)}{\mathrm{\η}}_{(i,j)}+e_1)(2{\mathrm{\σ}}_{(k,l,i,j)}+e_2)}{({\mathrm{\η}}_{(k,l)}^2+{\mathrm{\η}}_{(i,j)}^2+e_1)({\mathrm{\σ}}_{(k,l)}^2+{\mathrm{\σ}}_{(i,j)}^2+e_2)},$

式中，RSS(R(k,l),R(i,j))為R(k,l)和R(i,j)的區(qū)域結(jié)構(gòu)相似性指標(biāo)，η_(k,l)和η_(i,j)分別表示R(k,l)和R(i,j)的均值，σ_(k,l)和σ_(i,j)分別表示R(k,l)和R(i,j)的標(biāo)準(zhǔn)差，σ_(k,l,i,j)表示R(k,l)和R(i,j)的協(xié)方差，e₁和e₂為兩個(gè)非零常量；

根據(jù)區(qū)域結(jié)構(gòu)相似性指標(biāo)及待重建像素點(diǎn)所在空間鄰域的區(qū)域平均能量判斷兩個(gè)空間鄰域的區(qū)域相關(guān)性指標(biāo)：

RR(R(k,l),R(i,j))＝|AE(k,l)–AE(i,j)|×((1–RSS(R(k,l),R(i,j)))/2)，

式中，RR(R(k,l),R(i,j))為R(k,l)和R(i,j)的區(qū)域相關(guān)性指標(biāo)，AE(k,l)和AE(i,j)分別表示R(k,l)和R(i,j)的區(qū)域平均能量；

若區(qū)域相關(guān)性指標(biāo)不小于指定閾值，則相似度度量取為：

$\mathrm{\ω}(k,l,i,j)=\frac{RFS\left(R\right(k,l),R(i,j\left)\right)\×(1-0.0002RSS(R\left(k,l\right),R\left(i,j\right)\left)\right)}{{\Σ}_{(m,n)\∈R(k,l)}RFS\left(R\right(k,l),R(m,n\left)\right)\×(1-0.0002RSS(R\left(k,l\right),R\left(m,n\right)\left)\right)},$

若區(qū)域相關(guān)性指標(biāo)小于指定閾值，則相似度度量ω(k,l,i,j)取為0。

可選地，指定閾值為：

δ＝λAE(k,l)，

其中λ的取值范圍為0～0.5。

可選地，λ的取值為0.08。

可選地，使用基于先驗(yàn)非局部自相似性塊群的高斯混合模型對初步重建的視頻幀序列中的各幀進(jìn)行再次重建的過程包含如下步驟：

從自然圖像中收集多個(gè)反映同一局部特征的圖塊組成塊群；

使用塊群對高斯混合模型進(jìn)行訓(xùn)練，得到的經(jīng)過聚類的塊群即為先驗(yàn)非局部自相似性塊群；

使用經(jīng)過訓(xùn)練的高斯混合模型從初步重建的視頻幀序列的各幀中提取視頻幀圖塊，根據(jù)每個(gè)視頻幀圖塊所類屬的先驗(yàn)非局部自相似性塊群的稀疏字典對各視頻幀圖塊進(jìn)行再次重建。因?yàn)閳D塊本身是視頻幀的一部分，因此對圖塊的重建也就是對視頻幀的重建。

可選地，塊群為經(jīng)過均減的塊群，均減的方式為：

對塊群中的所有圖塊求取均值，再將塊群中的每個(gè)圖塊分別與均值求差。

從上面所述可以看出，本發(fā)明提供的方法綜合利用了外部訓(xùn)練集和內(nèi)部自相似性所提供的先驗(yàn)約束條件。具體來說，該方法對于一些平滑區(qū)域以及極少出現(xiàn)在視頻幀序列內(nèi)部的不規(guī)則結(jié)構(gòu)信息，可以利用外部約束發(fā)揮較大優(yōu)勢，而對于一些很少出現(xiàn)在外部訓(xùn)練集而重復(fù)出現(xiàn)在視頻幀序列內(nèi)部的獨(dú)特和奇異特征，又可以利用內(nèi)部約束發(fā)揮較大作用，這兩種約束可以相互補(bǔ)充，相比單一約束可以顯著提升視頻超分辨率重建的效果。同時(shí)，本發(fā)明方法不依賴于精確的亞像素運(yùn)動估計(jì)，因而能夠適應(yīng)于復(fù)雜的運(yùn)動場景，這使得本發(fā)明方法在一定程度上能夠?yàn)V除噪聲干擾，并能夠?qū)崿F(xiàn)較大倍數(shù)的超分辨率重建。

附圖說明

圖1為本發(fā)明實(shí)施例的流程圖；

圖2為圖1中步驟103的具體實(shí)施流程圖；

圖3為圖1中步驟104的具體實(shí)施流程圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對本發(fā)明進(jìn)一步詳細(xì)說明。

為使本發(fā)明實(shí)施例的方法容易理解，同時(shí)也為使下面的論述更加方便，此處先定義幾個(gè)基本概念，對于這些基本概念下文不再贅述。

時(shí)間鄰域：如果不考慮聲音，則一個(gè)視頻可以看作是一個(gè)視頻幀的序列，每個(gè)視頻幀對應(yīng)一個(gè)時(shí)刻。所謂時(shí)間鄰域是指以某一視頻幀的所在時(shí)刻為中心，在時(shí)間維度上選取的一個(gè)鄰域。

空間鄰域：一個(gè)視頻幀就是一幅二維圖像，在該圖像上任選一點(diǎn)，可以以該點(diǎn)為中心在該視頻幀內(nèi)選取一個(gè)鄰域，這個(gè)鄰域位于二維空間內(nèi)，故稱為空間鄰域。

同位像素點(diǎn)：視頻幀序列中的任兩幀圖像都是像素、尺寸均完全相同的圖像，如果不考慮時(shí)間維度，將所有視頻幀重合為一幅圖像，則該重合圖像上的任意一點(diǎn)都可以用一個(gè)二維坐標(biāo)表示，不同視頻幀上同一位置的像素點(diǎn)都共享這同一個(gè)二維坐標(biāo)，因此可將不同視頻幀上、共享同一個(gè)二維坐標(biāo)的所有像素點(diǎn)稱作互為同位像素點(diǎn)。特別地，某一幀上的某一個(gè)像素點(diǎn)在該幀上的同位像素點(diǎn)就是該像素點(diǎn)自身。

時(shí)空鄰域：對于視頻幀序列，不同的視頻幀處于不同的時(shí)刻，每一個(gè)視頻幀內(nèi)不同的像素點(diǎn)又處于不同的二維坐標(biāo)，因此可以認(rèn)為整個(gè)視頻幀序列處于一個(gè)三維時(shí)空中，其中的每個(gè)像素點(diǎn)都擁有一個(gè)時(shí)間維度和兩個(gè)空間維度。對于這個(gè)三維時(shí)空中的任一個(gè)像素點(diǎn)，首先以該像素點(diǎn)所在時(shí)刻為中心選取一個(gè)時(shí)間鄰域，這個(gè)時(shí)間鄰域覆蓋了多個(gè)視頻幀，在每一個(gè)被覆蓋的視頻幀中，都有一個(gè)該像素點(diǎn)的同位像素點(diǎn)，這樣，在每一個(gè)視頻幀中以相應(yīng)的同位像素點(diǎn)為中心選取空間鄰域，就得到了多個(gè)空間鄰域，這些空間鄰域的組合就構(gòu)成了該像素點(diǎn)的時(shí)空鄰域，時(shí)空鄰域中的每一個(gè)空間鄰域?yàn)樵摃r(shí)空鄰域的一個(gè)子域。下文中的鄰域不做特別說明均指空間鄰域。

區(qū)域PZM特征相似性指標(biāo)：對于兩個(gè)區(qū)域R(k,l)和R(i,j)，其中R(k,l)為像素點(diǎn)(k,l)的鄰域，R(i,j)為像素點(diǎn)(i,j)的鄰域，定義RFS(R(k,l),R(i,j))為這兩個(gè)區(qū)域的PZM特征相似性指標(biāo)：

$RFS\left(R\right(k,l),R(i,j\left)\right)=\exp (-\frac{\left|\right|PZM(k,l)-PZM(i,j)|{|}_2^2}{{\mathrm{\ϵ}}^2}),$

式中：

PZM(k,l)和PZM(i,j)分別表示R(k,l)和R(i,j)的偽Zernike矩；

||PZM(k,l)-PZM(i,j)||₂表示(PZM(k,l)-PZM(i,j))的2-范數(shù)，即歐幾里德距離；

ε為用于控制函數(shù)衰減率的自定義參數(shù)。

區(qū)域結(jié)構(gòu)相似性指標(biāo)：對于兩個(gè)區(qū)域R(k,l)和R(i,j)，其中R(k,l)為像素點(diǎn)(k,l)的鄰域，R(i,j)為像素點(diǎn)(i,j)的鄰域，定義RSS(R(k,l),R(i,j))為這兩個(gè)區(qū)域的結(jié)構(gòu)相似性指標(biāo)：

$RSS\left(R\right(k,l),R(i,j\left)\right)=\frac{(2{\mathrm{\η}}_{(k,l)}{\mathrm{\η}}_{(i,j)}+e_1)(2{\mathrm{\σ}}_{(k,l,i,j)}+e_2)}{({\mathrm{\η}}_{(k,l)}^2+{\mathrm{\η}}_{(i,j)}^2+e_1)({\mathrm{\σ}}_{(k,l)}^2+{\mathrm{\σ}}_{(i,j)}^2+e_2)},$

式中：

η_(k,l)和η_(i,j)分別表示R(k,l)和R(i,j)的均值；

σ_(k,l)和σ_(i,j)分別表示R(k,l)和R(i,j)的標(biāo)準(zhǔn)差；

σ_(k,l,i,j)表示R(k,l)和R(i,j)的協(xié)方差；

e₁和e₂為兩個(gè)非零常量，用于防止出現(xiàn)0/0的情況。

區(qū)域平均能量：對于區(qū)域R(x,y)，其中R(x,y)為像素點(diǎn)(x,y)的鄰域，以該區(qū)域內(nèi)所有像素點(diǎn)能量的平均值作為該區(qū)域的區(qū)域平均能量，記為AE(x,y)。

區(qū)域相關(guān)性指標(biāo)：對于兩個(gè)區(qū)域R(k,l)和R(i,j)，其中R(k,l)為像素點(diǎn)(k,l)的鄰域，R(i,j)為像素點(diǎn)(i,j)的鄰域，定義RR(R(k,l),R(i,j))為這兩個(gè)區(qū)域的區(qū)域相關(guān)性指標(biāo)：

RR(R(k,l),R(i,j))＝|AE(k,l)–AE(i,j)|×((1–RSS(R(k,l),R(i,j)))/2)。

自相似性權(quán)重：對于兩個(gè)像素點(diǎn)(k,l)和(i,j)，分別以R(k,l)和R(i,j)表示這兩個(gè)像素點(diǎn)的鄰域，則如下定義(i,j)相對于(k,l)的自相似性權(quán)重(該權(quán)重也即(i,j)相對于(k,l)的相似度度量)：

當(dāng)RR(R(k,l),R(i,j))≥δ時(shí)，

$\mathrm{\ω}(k,l,i,j)=\frac{RFS\left(R\right(k,l),R(i,j\left)\right)\×(1-0.0002RSS(R\left(k,l\right),R\left(i,j\right)\left)\right)}{{\Σ}_{(m,n)\∈R(k,l)}RFS\left(R\right(k,l),R(m,n\left)\right)\×(1-0.0002RSS(R\left(k,l\right),R\left(m,n\right)\left)\right)},$

否則，ω(k,l,i,j)＝0；

其中，閾值δ可以定義為δ＝λAE(k,l)，λ為一個(gè)自定義的調(diào)節(jié)因子，在本實(shí)施例方法中，一般將λ設(shè)為0.08時(shí)可以取得較好的視頻重建效果。

在以上定義的基礎(chǔ)上，下面來描述本發(fā)明實(shí)施例的具體實(shí)施過程。

圖1為本發(fā)明實(shí)施例的一個(gè)流程圖，其包含如下步驟：

步驟101，將輸入視頻分解為視頻幀。

視頻幀的提取已經(jīng)是非常成熟的現(xiàn)有技術(shù)，常用的軟件有ffmpeg、mencoder等等。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，一個(gè)視頻幀就是一幅圖像，因此即使本發(fā)明實(shí)施例將視頻幀稱為圖像也不應(yīng)當(dāng)引起誤解。

步驟102，使用經(jīng)過訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)對各視頻幀進(jìn)行初步估計(jì)，得到初步估計(jì)的視頻幀序列。

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)領(lǐng)域的熱門技術(shù)，其相對于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的優(yōu)勢在于該技術(shù)不需要預(yù)先對圖像進(jìn)行特征提取，因而節(jié)省了大量工作。本發(fā)明實(shí)施例所用的卷積神經(jīng)網(wǎng)絡(luò)包含三層，分別是提取層、映射層和重建層，每一層的意義如下：

(1)提取層：

該層用于將待重建的視頻幀Y劃分為圖像分塊(“圖像分塊”與“圖塊(patch)”是不同概念)，并對每個(gè)圖像分塊進(jìn)行稀疏表示，實(shí)現(xiàn)整個(gè)視頻幀Y的稀疏向量表達(dá)。稀疏表示的過程可形式化表示為：

F₁(Y)＝max(0,W₁*Y+B₁)，

其中F₁(Y)表示Y的稀疏表示，W₁和B₁分別表示濾波權(quán)重和偏差，W₁大小為c×f₁×f₁×n₁，f₁為濾波的空間大小，c為視頻幀通道數(shù)目，B₁為n₁維向量。在該層中，通過對視頻幀Y進(jìn)行n₁次卷積操作，每次卷積核大小為c×f₁×f₁，輸出n₁維特征向量(即F₁(Y))。該n₁維特征向量對應(yīng)于n₁個(gè)特征圖(此處的維度是指卷積核的數(shù)量)，每個(gè)特征圖為該視頻幀中一個(gè)圖像分塊的稀疏表達(dá)。一般來說，相鄰兩個(gè)圖像分塊之間會有部分重合，這樣可以取得更好的重建效果。

(2)映射層：

該層用于將第一層提取到的n₁維特征向量映射為一個(gè)以n₂維特征向量表示的高分辨率圖像F₂(Y)，其包含n₂個(gè)高分辨率特征圖。該過程可形式化表達(dá)為：

F₂(Y)＝max(0,W₂*F₁(Y)+B₂)，

其中W₂大小為n₁×f₂×f₂×n₂，表示對第一層提取到的F₁(Y)執(zhí)行n₂次n₁×f₂×f₂濾波，B₂為n₂維向量。

(3)重建層

在該卷積層中，對上層獲取到的高分辨率特征圖進(jìn)行卷積濾波，獲取最終的高分辨率視頻幀塊。該卷積層操作可形式化地表示為：

F(Y)＝W₃*F₂(Y)+B₃，

其中W₃大小為n₂×f₃×f₃×c，表示對第二層提取到的高分辨率圖像F₂(Y)執(zhí)行c次n₂×f₃×f₃濾波，B₃為c維向量，W₃濾波通常為均值濾波。對于重疊的高分辨率視頻幀塊，可以通過加權(quán)平均的方式進(jìn)行融合。

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程如下：假設(shè)訓(xùn)練集中的高分辨率和低分辨率圖像對為{X_i,Y_i}，訓(xùn)練集中共有Num個(gè)訓(xùn)練對，基于均方誤差(Mean Squared Error，MSE)定義如下?lián)p失函數(shù)Loss(η)：

$Loss\left(\mathrm{\η}\right)=\frac{1}{Num}\underset{k=1}{\overset{Num}{\Σ}}\left|\right|F(Y_k;\mathrm{\η})-X_k|{|}^2,$

式中，η為神經(jīng)網(wǎng)絡(luò)的模型參數(shù)，F(xiàn)(Y_k；η)為最終重建出的高分辨率視頻幀塊。

結(jié)合標(biāo)準(zhǔn)的反向傳播和隨機(jī)梯度下降法實(shí)現(xiàn)對以上損失函數(shù)的最小化，獲取神經(jīng)網(wǎng)絡(luò)參數(shù)η＝{W,B}＝{W₁,W₂,W₃,B₁,B₂,B₃}，其中，卷積核向量W的更新函數(shù)如下：

$W_{i+1}^l=W_i^l+{\mathrm{\Δ}}_{i+1},$

${\mathrm{\Δ}}_{i+1}=0.9\×{\mathrm{\Δ}}_i+\mathrm{\γ}\×\frac{\∂Loss}{\∂W_i^l};$

式中，上標(biāo)表示迭代次數(shù)，下標(biāo)表示神經(jīng)網(wǎng)絡(luò)中的卷積層數(shù)，Δ表示濾波權(quán)重W的增量，表示損失函數(shù)Loss的導(dǎo)數(shù)。γ表示學(xué)習(xí)速率。

步驟103，以初步估計(jì)的視頻幀序列中的所有像素點(diǎn)為待重建像素點(diǎn)，針對每個(gè)待重建像素點(diǎn)，根據(jù)待重建像素點(diǎn)與該待重建像素點(diǎn)的時(shí)空鄰域內(nèi)的臨近像素點(diǎn)的相似性程度，使用臨近像素點(diǎn)對待重建像素點(diǎn)進(jìn)行初步重建，最終得到初步重建的視頻幀序列。

如圖2所示，該步驟的具體方式為：

步驟1031，對于待重建像素點(diǎn)(k,l)和其時(shí)空鄰域內(nèi)的任一像素點(diǎn)(i,j)分別作鄰域R(k,l)和R(i,j)；

步驟1032，求R(i,j)相對于R(k,l)的區(qū)域相關(guān)性指標(biāo)，并根據(jù)區(qū)域相關(guān)性指標(biāo)判斷(i,j)相對于(k,l)的自相似性權(quán)重，具體求法在上面的定義部分中已有介紹，此處不再贅述；

步驟1033，將(k,l)的時(shí)空鄰域內(nèi)的所有像素點(diǎn)根據(jù)其相對于(k,l)的自相似性權(quán)重進(jìn)行加權(quán)平均，并將加權(quán)平均的結(jié)果賦給待重建像素點(diǎn)(k,l)，從而完成對(k,l)的初步重建；

步驟1034，重復(fù)上述步驟，直至對初步估計(jì)的視頻幀序列中的所有像素點(diǎn)完成重建，從而得到初步重建的視頻幀序列。

該方式充分考慮了視頻內(nèi)部存在的自相似性，這種自相似性主要體現(xiàn)在視頻中的移動物體上，即，如果視頻中存在一個(gè)移動物體，則該移動物體的影像在臨近的視頻幀中應(yīng)當(dāng)處于臨近的位置。換句話說，以視頻幀序列中的一個(gè)像素點(diǎn)為中心做時(shí)空鄰域，則該時(shí)空鄰域中很有可能存在多個(gè)與該像素點(diǎn)表征同一影像的同一位置的像素點(diǎn)，因此可以利用這些像素點(diǎn)來對這一影像的這一位置進(jìn)行重建，從而使該影像得到更加清晰的表現(xiàn)。

步驟104，使用基于先驗(yàn)非局部自相似性塊群的高斯混合模型對初步重建的視頻幀序列中的各幀進(jìn)行再次重建，得到再次重建的視頻幀序列。

塊群(Patch group，PG)是圖像處理領(lǐng)域中的一個(gè)新概念，基于塊群的非局部自相似性(Nonlocal Self-Similarity，NSS)先驗(yàn)學(xué)習(xí)也已經(jīng)被作為一種圖像去噪技術(shù)而提出，該方法通常與高斯混合模型(Gaussian Mixture Model，GMM)配合使用，從而形成一種基于塊群的高斯混合模型(Patch group based Gaussian Mixture Model，PG-GMM)。本步驟使用該方法對初步重建的視頻幀做進(jìn)一步處理，以提高視頻幀的圖像質(zhì)量，如圖3所示，其具體方式如下：

步驟1041，從自然圖像中收集多個(gè)patch，并將反映自然圖像同一局部特征的patch歸于同一個(gè)PG中，并對每一個(gè)PG做均減(Mean Subtract)，得到均減后的PG；

步驟1042，使用均減后的PG對GMM進(jìn)行訓(xùn)練，得到PG-GMM以及經(jīng)過聚類的PG，并為每一個(gè)經(jīng)過聚類的PG建立稀疏字典；

步驟1043，使用PG-GMM從視頻幀中提取patch，并利用該patch所對應(yīng)的PG的稀疏字典對該patch進(jìn)行重建，進(jìn)而實(shí)現(xiàn)對各視頻幀的重建，最終得到再次重建的視頻幀序列。

步驟105，將再次重建的視頻幀序列中的各幀按時(shí)間順序整合，即得到最終的輸出視頻。

整合過程也可以使用ffmpeg、mencoder等等現(xiàn)有軟件完成，此處不再贅述。

通過以上論述可見，本實(shí)施例方法綜合利用了外部訓(xùn)練集和內(nèi)部自相似性所提供的先驗(yàn)約束條件，對于一些平滑區(qū)域以及極少出現(xiàn)在視頻幀序列內(nèi)部的不規(guī)則結(jié)構(gòu)信息，可以利用外部約束發(fā)揮較大優(yōu)勢，而對于一些很少出現(xiàn)在外部訓(xùn)練集而重復(fù)出現(xiàn)在視頻幀序列內(nèi)部的獨(dú)特和奇異特征，又可以利用內(nèi)部約束發(fā)揮較大作用，從而可以顯著提升視頻超分辨率重建的效果。此外，本實(shí)施例方法不依賴于精確的亞像素運(yùn)動估計(jì)，因而能夠適應(yīng)于復(fù)雜的運(yùn)動場景，能夠?qū)崿F(xiàn)較大倍數(shù)的超分辨率重建。

所屬領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：以上任何實(shí)施例的討論僅為示例性的，并非旨在暗示本公開的范圍(包括權(quán)利要求)被限于這些例子；在本發(fā)明的思路下，以上實(shí)施例或者不同實(shí)施例中的技術(shù)特征之間也可以進(jìn)行組合，步驟可以以任意順序?qū)崿F(xiàn)，并存在如上所述的本發(fā)明的不同方面的許多其它變化，為了簡明它們沒有在細(xì)節(jié)中提供。

本發(fā)明的實(shí)施例旨在涵蓋落入所附權(quán)利要求的寬泛范圍之內(nèi)的所有這樣的替換、修改和變型。因此，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何省略、修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。