本發(fā)明屬于視頻處理技術(shù)，特別是視頻超分辨率(Super-resolution,SR)技術(shù)，尤其涉及一種視頻動(dòng)態(tài)超分辨率處理方法及系統(tǒng)。

背景技術(shù)：

隨著電視面板產(chǎn)業(yè)技術(shù)的不斷提高，顯示設(shè)備的分辨率迅速提升，但是視頻內(nèi)容的分辨率并沒有隨之迅速增加。例如，現(xiàn)在的超清電視在市場(chǎng)上已經(jīng)越來越普遍，但是由于圖像采集設(shè)備的限制，大量視頻源的分辨率還是標(biāo)清級(jí)或高清級(jí)的，這使得顯示的視覺質(zhì)量大大下降。因此，研究利用低分辨率圖像信息重建出高分辨率圖像的超分辨率(Super-resolution,SR)算法是十分重要的。

根據(jù)所運(yùn)用的信息形式的不同，當(dāng)前的超分辨率技術(shù)的方法可以大致分為兩類：靜態(tài)超分辨率技術(shù)(static super-resolution，SSR)方法和動(dòng)態(tài)超分辨率技術(shù)(dynamic super-resolution，DSR)方法。所謂的靜態(tài)超分辨率技術(shù)方法目的在于，通過一些低質(zhì)的低分辨率重建出一張高分辨率圖像，這些方法若直接運(yùn)用在視頻處理中，往往會(huì)造成放大的視頻時(shí)序上的不連續(xù)性，因此限制了這類方法在視頻超分辨率技術(shù)中的運(yùn)用，動(dòng)態(tài)超分辨率技術(shù)方法的提出主要是針對(duì)視頻分辨率重建的問題。

靜態(tài)超分辨率技術(shù)方法是目前研究最多的方法，通常分為如下幾大類：基于插值的方法、基于樣本學(xué)習(xí)的方法、基于重建的方法?；诓逯档姆椒▽?shí)際上屬于圖像縮放層面上的技術(shù)，但很多文獻(xiàn)中將這一技術(shù)歸類于超分辨率技術(shù)中。插值的方法主要是利用鄰域原始像素點(diǎn)的像素值并為其分配不同權(quán)值，將加權(quán)求和之后的值作為待插值像素點(diǎn)的值。常見的插值方法，如最近鄰插值、雙線性插值、雙立方插值等等都被廣泛利用，這些方法也僅僅只能將原始低分辨圖像的尺寸改變，并不能提供更多的信息或是頻率，圖像整體的分辨率依然沒有得到提升?；跇颖镜姆椒ǎ@類方法樣本庫的選擇對(duì)結(jié)果影響很大，而且對(duì)于每個(gè)放大倍數(shù)都要有單獨(dú)的一套樣本庫，復(fù)雜度太高。

動(dòng)態(tài)超分辨率技術(shù)用于解決視頻的超分辨率問題，事實(shí)上靜態(tài)超分辨率的方法通過擴(kuò)展都可用于視頻超分辨問題中，但是往往存在復(fù)雜度高、代價(jià)高、幀間不連續(xù)等問題。例如，在線紋理合成法引入了一種不需要樣本庫的超分辨率技術(shù)(Database-Free Texture Synthesis,DFTS)，它的核心思想是用提高人眼感官上的分辨率代替恢復(fù)真實(shí)的信號(hào)。該方法利用相鄰幀同一位置的相鄰像素信息，合成高頻信息以生成一幅有銳利的邊緣和豐富的細(xì)節(jié)的高分辨率圖像，但是這種方法僅適用于有大量相似結(jié)構(gòu)的視頻圖像，并且可利用的合成信息很有限。還有利用卡爾曼濾波的動(dòng)態(tài)超分辨率方法，該方法在相鄰幀通過運(yùn)動(dòng)補(bǔ)償獲得對(duì)應(yīng)的像素信息，得到更為可靠的超分辨率圖像，但是這一類方法往往受到運(yùn)動(dòng)估計(jì)精度的制約，算法的魯棒性不是很好?？偠灾?，傳統(tǒng)動(dòng)態(tài)超分辨率算法普遍存在復(fù)雜度和重建效果之間難以平衡的問題，并且利用幀間運(yùn)動(dòng)信息的動(dòng)態(tài)超分辨率算法一般需要較高亞像素精度的運(yùn)動(dòng)矢量，對(duì)于運(yùn)動(dòng)估計(jì)算法無法估計(jì)準(zhǔn)確或者復(fù)雜的運(yùn)動(dòng)視頻往往會(huì)產(chǎn)生結(jié)果的紊亂。

技術(shù)實(shí)現(xiàn)要素：

為了解決現(xiàn)有技術(shù)中的上述問題，即為了解決如何實(shí)現(xiàn)改善圖像邊緣同時(shí)保證超分辨率圖像的魯棒性，本發(fā)明提供了一種視頻動(dòng)態(tài)超分辨率處理方法，包括：

根據(jù)運(yùn)動(dòng)估計(jì)得到當(dāng)前待處理幀中任一像素的運(yùn)動(dòng)矢量，并計(jì)算出所述運(yùn)動(dòng)矢量的可靠度；

根據(jù)所述像素的運(yùn)動(dòng)矢量提取所述像素在前一高分辨率幀中對(duì)應(yīng)的像素，根據(jù)該對(duì)應(yīng)的像素利用卡爾曼濾波處理得到第一處理結(jié)果；

對(duì)所述待處理幀進(jìn)行插值處理得到第二處理結(jié)果；

利用所述可靠度對(duì)所述第一處理結(jié)果和第二處理結(jié)果進(jìn)行加權(quán)融合，融合后得到超分辨率幀。

優(yōu)選地，所述根據(jù)運(yùn)動(dòng)估計(jì)得到當(dāng)前待處理幀中任一像素的運(yùn)動(dòng)矢量，包括：

利用前一高分辨率幀和當(dāng)前待處理幀進(jìn)行運(yùn)動(dòng)估計(jì)，得到當(dāng)前待處理幀中任一像素的運(yùn)動(dòng)矢量。

優(yōu)選地，在得到超分辨率幀之后，還包括：

對(duì)所述超分辨率幀進(jìn)行去模糊處理，得到去模糊的高分辨率圖像。

優(yōu)選地，所述利用所述可靠度對(duì)所述第一處理結(jié)果和第二處理結(jié)果進(jìn)行加權(quán)融合的融合公式為：

其中，為融合結(jié)果，為運(yùn)動(dòng)矢量的可靠度，為第一處理結(jié)果，為第二處理結(jié)果。

本發(fā)明還提供了一種視頻動(dòng)態(tài)超分辨率處理系統(tǒng)，所述處理系統(tǒng)包括：

運(yùn)動(dòng)估計(jì)單元，用于根據(jù)運(yùn)動(dòng)估計(jì)得到當(dāng)前待處理幀中任一像素的運(yùn)動(dòng)矢量，并計(jì)算出所述運(yùn)動(dòng)矢量的可靠度；

第一處理單元，用于根據(jù)所述像素的運(yùn)動(dòng)矢量提取所述像素在前一高分辨率幀中對(duì)應(yīng)的像素，根據(jù)該對(duì)應(yīng)的像素利用卡爾曼濾波處理得到第一處理結(jié)果；對(duì)所述待處理幀進(jìn)行插值處理得到第二處理結(jié)果；

加權(quán)融合單元，用于利用所述可靠度對(duì)所述第一處理結(jié)果和第二處理結(jié)果進(jìn)行加權(quán)融合，融合后得到超分辨率幀。

優(yōu)選地，

所述運(yùn)動(dòng)估計(jì)單元，具體用于利用前一高分辨率幀和當(dāng)前待處理幀進(jìn)行運(yùn)動(dòng)估計(jì)，得到當(dāng)前待處理幀中任一像素的運(yùn)動(dòng)矢量。

優(yōu)選地，還包括：

第二處理單元，用于對(duì)所述超分辨率幀進(jìn)行去模糊處理，得到去模糊的高分辨率圖像。

優(yōu)選地，所述加權(quán)融合單元進(jìn)行加權(quán)融合的融合公式為：

其中，為融合結(jié)果，為運(yùn)動(dòng)矢量的可靠度，為第一處理結(jié)果，為第二處理結(jié)果。

與現(xiàn)有技術(shù)相比，本發(fā)明至少具有以下優(yōu)點(diǎn)：

通過本發(fā)明的設(shè)計(jì)，實(shí)現(xiàn)了更好的保護(hù)邊緣信息改善圖像邊緣鋸齒等問題，在不增加過多額外的時(shí)間開銷的情況下，有效恢復(fù)更多圖像細(xì)節(jié)；同時(shí)具有較好的魯棒性，避免運(yùn)動(dòng)估計(jì)不準(zhǔn)確造成超分辨率結(jié)果的紊亂或是運(yùn)動(dòng)模糊。

附圖說明

圖1是本發(fā)明所提供的視頻動(dòng)態(tài)超分辨率處理方法的流程示意圖；

圖2是本發(fā)明所使用的運(yùn)動(dòng)估計(jì)算法三維遞歸搜索的示意圖；

圖3是本發(fā)明所使用的運(yùn)動(dòng)矢量可靠度映射曲線圖；

圖4是本發(fā)明所提供的視頻動(dòng)態(tài)超分辨率處理的系統(tǒng)架構(gòu)圖。

具體實(shí)施方式

下面參照附圖來描述本發(fā)明的優(yōu)選實(shí)施方式。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的是，這些實(shí)施方式僅僅用于解釋本發(fā)明的技術(shù)原理，并非旨在限制本發(fā)明的保護(hù)范圍。

本發(fā)明提出一種視頻動(dòng)態(tài)超分辨率處理方法，下面結(jié)合附圖，對(duì)本發(fā)明具體實(shí)施方式進(jìn)行詳細(xì)說明。

如圖1所示，該方法具體包括如下步驟：

步驟101，根據(jù)運(yùn)動(dòng)估計(jì)得到當(dāng)前待處理幀中任一像素的運(yùn)動(dòng)矢量，并計(jì)算出所述運(yùn)動(dòng)矢量的可靠度。

其中，所述根據(jù)運(yùn)動(dòng)估計(jì)得到當(dāng)前待處理幀中任一像素的運(yùn)動(dòng)矢量，包括：

利用前一高分辨率幀和當(dāng)前待處理幀進(jìn)行運(yùn)動(dòng)估計(jì)，得到當(dāng)前待處理幀中任一像素的運(yùn)動(dòng)矢量。

本步驟中的運(yùn)動(dòng)估計(jì)，可以使用已知的任何一種運(yùn)動(dòng)估計(jì)方法，如全搜索、三維遞歸搜索。本實(shí)施例采用三維遞歸搜索算法，如圖2所示。

假設(shè)CS表示運(yùn)動(dòng)矢量候選集合，和分別表示圖2中空間域運(yùn)動(dòng)估計(jì)器Sa和Sb的運(yùn)動(dòng)矢量候選集，表示當(dāng)前區(qū)域塊在圖像二維坐標(biāo)系的坐標(biāo)位置，t是時(shí)間，C_x和C_y表示運(yùn)動(dòng)矢量的水平分量和垂直分量，表示已經(jīng)估計(jì)出的區(qū)域塊運(yùn)動(dòng)矢量，T表示相鄰兩幀之間的時(shí)間間隔，表示零運(yùn)動(dòng)矢量，CS^max表示候選運(yùn)動(dòng)矢量的范圍，同時(shí)也代表了三維遞歸搜索算法的搜索范圍，其中水平向量的范圍是[-N,+N]，垂直向量的范圍是[-M,+M],X·Y表示匹配區(qū)域塊的大小，通常取8*8或者16*16。表示隨機(jī)的更新運(yùn)動(dòng)矢量，更新值從查找表中隨機(jī)選取一個(gè)更新向量，其中和分別是更新運(yùn)動(dòng)矢量的水平和垂直分量。上述各集合的范圍如下：

在計(jì)算運(yùn)動(dòng)矢量的可靠度時(shí)，具體包括：

1)計(jì)算運(yùn)動(dòng)矢量方差

記MVx_i,j,MVy_i,j分別為輸入圖像在(i,j)點(diǎn)的運(yùn)動(dòng)矢量的水平及垂直分量。通過下式計(jì)算點(diǎn)(i,j)及其鄰域內(nèi)的運(yùn)動(dòng)矢量的方差V_i,j。其中，運(yùn)動(dòng)矢量的水平、垂直方向的均值mx_i,j,my_i,j，H、W為局部窗的高和寬取值為3和3，運(yùn)動(dòng)矢量的水平、垂直方向的方差Vx_i,j,Vy_i,j：

點(diǎn)(i,j)及其鄰域內(nèi)的運(yùn)動(dòng)矢量的方差V_i,j表示為式：

2)運(yùn)動(dòng)矢量可靠度曲線映射

運(yùn)動(dòng)矢量的方差可根據(jù)圖3映射至運(yùn)動(dòng)矢量可靠度。閾值和曲線形狀可自行設(shè)置，要保證運(yùn)動(dòng)矢量的方差越大，則認(rèn)為該運(yùn)動(dòng)矢量的可靠度越小。圖3給出了兩種映射曲線的形式，為了降低風(fēng)險(xiǎn)，本文選擇的是右圖中軟閾值控制的曲線，但是曲線的走勢(shì)要設(shè)計(jì)的“陡峭”一些。因?yàn)槿绻\(yùn)動(dòng)向量不是十分準(zhǔn)確，那么從參考幀獲得的信息和當(dāng)前幀的信息融合勢(shì)必會(huì)造成運(yùn)動(dòng)模糊，如果曲線設(shè)置的比較平緩，即使和空域中的內(nèi)容進(jìn)行融合也不會(huì)有很大的改善，在這種情況下圖像結(jié)果會(huì)退化成空域的插值結(jié)果，而且對(duì)于較為復(fù)雜的運(yùn)動(dòng)圖像內(nèi)容，人眼的對(duì)于清晰度的敏感程度遠(yuǎn)低于小運(yùn)動(dòng)或靜止的圖像內(nèi)容。曲線的閾值設(shè)置為th₁為4，th₂為6。

步驟102，根據(jù)所述像素的運(yùn)動(dòng)矢量提取所述像素在前一高分辨率幀中對(duì)應(yīng)的像素，根據(jù)該對(duì)應(yīng)的像素利用卡爾曼濾波處理得到第一處理結(jié)果；對(duì)所述待處理幀進(jìn)行插值處理得到第二處理結(jié)果。

其中，利用卡爾曼濾波處理時(shí)，通過使用如下預(yù)測(cè)值和更新值得到最終的卡爾曼濾波結(jié)果其中F(t)表示位移矩陣，是前一時(shí)刻高分辨率預(yù)測(cè)結(jié)果，K(t)是卡爾曼濾波的增益，是輸入的低分辨率圖像，D(t)表示下采樣，是協(xié)方差預(yù)測(cè)量，是協(xié)方差的更新值，為下一幀處理所用，C_u(t)是運(yùn)動(dòng)估計(jì)造成的圖像結(jié)果誤差的協(xié)方差矩陣，C_w(t)是圖像采集設(shè)備引入的隨機(jī)噪聲的協(xié)方差矩陣。

預(yù)測(cè)值：

更新值：

步驟103，利用所述可靠度對(duì)所述第一處理結(jié)果和第二處理結(jié)果進(jìn)行加權(quán)融合，融合后得到超分辨率幀。

在進(jìn)行加權(quán)融合時(shí)，所述利用所述可靠度對(duì)所述第一處理結(jié)果和第二處理結(jié)果進(jìn)行加權(quán)融合的融合公式為：

其中，為融合結(jié)果，為運(yùn)動(dòng)矢量的可靠度，為第一處理結(jié)果，為第二處理結(jié)果。

融合的宗旨是首先，以第一處理結(jié)果為主，以保證在運(yùn)動(dòng)估計(jì)準(zhǔn)確的情況下獲得最清晰的超分辨率結(jié)果；其次，可靠度越低，第一處理結(jié)果參與度越低，超分辨率結(jié)果退化為第二處理結(jié)果

如圖4所示,前一生成的高分辨率幀信息的準(zhǔn)確性直接影響到下一生成的高分辨率幀。為了得到理想的高分辨率圖像，需要一定數(shù)量的低分辨率幀經(jīng)過數(shù)次的卡爾曼濾波處理才能獲得。因此，本專利利用已經(jīng)得到的邊緣指導(dǎo)的信息，加快結(jié)果的收斂性并提高結(jié)果的準(zhǔn)確性。為了不增加過多的復(fù)雜度，僅將第一幀高分辨率圖像初始化成由邊緣指導(dǎo)插值的高分辨率圖像而不是每一幀都進(jìn)行邊緣指導(dǎo)插值，因?yàn)樵跁r(shí)間軸上的迭代會(huì)將當(dāng)前幀獲取的邊緣指導(dǎo)信息傳遞給下一幀，獲得收斂更快準(zhǔn)確度更高的高分辨率圖像序列，因此不需要額外花費(fèi)過多的計(jì)算量和復(fù)雜度。

運(yùn)動(dòng)估計(jì)的準(zhǔn)確性直接影響了視頻超分辨率的處理結(jié)果，本專利使用的運(yùn)動(dòng)估計(jì)方法是具有亞像素精度的運(yùn)動(dòng)估計(jì)方法，因此影響亞像素精度一個(gè)是運(yùn)動(dòng)估計(jì)本身算法的設(shè)計(jì)，一個(gè)是用于估計(jì)的參考幀的信息精確程度。本專利選擇的運(yùn)動(dòng)補(bǔ)償參考幀是前一幀估計(jì)出的高分辨率幀，這一高分辨幀是還未去模糊的圖像。圖像中人眼可分辨的宏觀物體具有一定的大小，該物體中的一點(diǎn)及其周圍點(diǎn)的運(yùn)動(dòng)矢量應(yīng)該是較為接近的，如果運(yùn)動(dòng)矢量差異較大，則該點(diǎn)的運(yùn)動(dòng)矢量可能是不準(zhǔn)確的。對(duì)于完全不可靠(可靠度為0)的運(yùn)動(dòng)矢量所對(duì)應(yīng)的塊(子圖像)，它的超分辨率結(jié)果直接利用空域的結(jié)果代替，完全可靠(可靠度為1)的運(yùn)動(dòng)矢量它的超分辨率結(jié)果利用卡爾曼濾波的結(jié)果，對(duì)于可靠度在0和1之間的根據(jù)可靠度對(duì)空域插值結(jié)果和卡爾曼濾波結(jié)果進(jìn)行融合。

進(jìn)一步地，在得到超分辨率幀之后，還包括：

對(duì)所述超分辨率幀進(jìn)行去模糊處理，得到去模糊的高分辨率圖像。

該采用的去模糊處理方法是基于最大后驗(yàn)概率的方法，但是并不限于這種方法。求解去模糊后的高分辨率圖像公式為：

其中表示去模糊后的高分辨率圖像，H為低通濾波，J(X(t))是正則化函數(shù)，正則項(xiàng)是提供一些先驗(yàn)信息以解決超分辨率病態(tài)問題的，用來增加收斂性和抑制噪聲、運(yùn)動(dòng)估計(jì)誤差造成的影響，λ是正則化參數(shù)用來平衡式中左邊的保真項(xiàng)和右邊的正則項(xiàng)，正則項(xiàng)作為懲罰項(xiàng)出現(xiàn)在代價(jià)方程中。關(guān)于正則項(xiàng)有很多表現(xiàn)形式,某些正則項(xiàng)的設(shè)計(jì)用于特殊的圖像處理需求(如保持邊緣或者去除運(yùn)動(dòng)拖尾噪聲等等)。

用最陡梯度下降法來求解最小化問題，具體的計(jì)算形式如下所示：

其中β是迭代的步長(zhǎng)，是對(duì)的微分。最終的終止迭代條件如下所示，其中η是迭代終止的閾值條件，n是當(dāng)前迭代的次數(shù)，iter_max是可迭代的最大次數(shù)：

或n≥iter_max。

基于與上述本發(fā)明所提供方法相同的思路，本發(fā)明還提供了一種視頻動(dòng)態(tài)超分辨率處理系統(tǒng)，包括：

運(yùn)動(dòng)估計(jì)單元，用于根據(jù)運(yùn)動(dòng)估計(jì)得到當(dāng)前待處理幀中任一像素的運(yùn)動(dòng)矢量，并計(jì)算出所述運(yùn)動(dòng)矢量的可靠度；具體用于利用前一高分辨率幀和當(dāng)前待處理幀進(jìn)行運(yùn)動(dòng)估計(jì)，得到當(dāng)前待處理幀中任一像素的運(yùn)動(dòng)矢量。

處理單元，用于根據(jù)所述像素的運(yùn)動(dòng)矢量提取所述像素在前一高分辨率幀中對(duì)應(yīng)的像素，根據(jù)該對(duì)應(yīng)的像素利用卡爾曼濾波處理得到第一處理結(jié)果；對(duì)所述待處理幀進(jìn)行插值處理得到第二處理結(jié)果；

加權(quán)融合單元，用于利用所述可靠度對(duì)所述第一處理結(jié)果和第二處理結(jié)果進(jìn)行加權(quán)融合，融合后得到超分辨率幀。

所述加權(quán)融合單元進(jìn)行加權(quán)融合的融合公式為：

其中，為融合結(jié)果，為運(yùn)動(dòng)矢量的可靠度，為第一處理結(jié)果，為第二處理結(jié)果。

第二處理單元，用于對(duì)所述超分辨率幀進(jìn)行去模糊處理，得到去模糊的高分辨率圖像。

本領(lǐng)域技術(shù)人員應(yīng)該能夠意識(shí)到，結(jié)合本文中所公開的實(shí)施例描述的各示例的模塊、及方法步驟，能夠以電子硬件、計(jì)算機(jī)軟件或者二者的結(jié)合來實(shí)現(xiàn)，為了清楚地說明電子硬件和軟件的可互換性，在上述說明中已經(jīng)按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以電子硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。本領(lǐng)域技術(shù)人員可以對(duì)每個(gè)特定的應(yīng)用來使用不同方法來實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。

至此，已經(jīng)結(jié)合附圖所示的優(yōu)選實(shí)施方式描述了本發(fā)明的技術(shù)方案，但是，本領(lǐng)域技術(shù)人員容易理解的是，本發(fā)明的保護(hù)范圍顯然不局限于這些具體實(shí)施方式。在不偏離本發(fā)明的原理的前提下，本領(lǐng)域技術(shù)人員可以對(duì)相關(guān)技術(shù)特征作出等同的更改或替換，這些更改或替換之后的技術(shù)方案都將落入本發(fā)明的保護(hù)范圍之內(nèi)。