本發(fā)明屬于計算機視覺技術領域，涉及基于GPU的光流理論、自回歸模型理論、超像素理論、馬爾科夫隨機場理論及單張圖像實現(xiàn)圖像超分辨率方法，具體講，涉及基于自適應的超像素導向自回歸模型的視頻超分辨率方法。

背景技術：
長期以來，通過低分辨視頻恢復到高分辨率視頻已在關鍵技術上取得了重要突破，已經趨于成熟并在監(jiān)控視頻、互聯(lián)網視頻、數(shù)字電視、智能交通等多個領域獲得廣泛應用。然而，傳統(tǒng)的方法做超分辨率視頻需要視頻中已經存在高分辨率的關鍵幀，并且得到的超分辨率結果存在塊效應或噪聲等問題?；谧赃m應的超像素導向自回歸模型的視頻超分辨率方法則可達到更高的分辨率，并且不要求視頻中已經存在高分辨率的關鍵幀。相關研究在近年來開始成為研究熱點。視頻超分辨率方法技術在高清視頻、高清度電視、監(jiān)控視頻、智能交通和安全監(jiān)控等領域有著廣泛應用。國際上多所著名大學與研究機構如：伊利諾伊大學，牛津大學，布朗大學，仁荷大學，薩里大學，布拉德福大學，新英格蘭微軟研究院，YUV軟件公司等都在該領域有著深度的研究。現(xiàn)階段，普遍的視頻超分辨率技術由于非常依賴于借助視頻關鍵幀的高頻信息構造字典而難以獲得用戶滿意的超分辨率效果。其中，要得到更精確的超分辨視頻，一種方法是采用更精確的字典，但由于視頻中關鍵幀的數(shù)量有限，不能滿足需求。另一種方法是利用關鍵幀和非關鍵的時空關系構造自回歸模型得到超分辨率的視頻幀。仁荷大學（ByungCheolSong,Shin-CheolJeong,YanglimChoi.ImageVideoSuper-ResolutionAlgorithmUsingBi-DirectionalOverlappedBlockMotionCompensationandOn-the-FlyDictionaryTraining.IEEETransactiononCircuitsandSystermforVideoTechnology,Vol.21,No.3,2011,274-286.）通過構建字典的方法實現(xiàn)了視頻的超分辨率放大。但是該方法得到的結果圖像質量有待提高，并且由于依賴視頻中原始存在的高分辨率關鍵幀，不能應用到很多現(xiàn)實的視頻中。

技術實現(xiàn)要素：
本發(fā)明旨在解決克服現(xiàn)有技術的不足，提供一種能廣泛應用，且能得到高質量視頻的視頻超分辨率獲取方法，本發(fā)明采取的技術方案是，一種基于自適應的超像素導向自回歸模型的視頻超分辨率方法，其特征是，將視頻幀分為關鍵幀和非關鍵幀：對關鍵幀采用基于稀疏回歸和自然圖像對的方法進行超分辨率，對非關鍵幀采用基于自適應的超像素導向自回歸模型的視頻超分辨率方法結合相鄰最近的關鍵幀進行超分辨率，將得到的超分辨率關鍵幀和超分辨率非關鍵幀綜合成超分辨率視頻?；谧赃m應的超像素導向自回歸模型的視頻超分辨率方法具體步驟為：1）對于輸入視頻，采用一種自適應的迭代方法計算選取關鍵幀的閥值T；2）通過計算并判斷當前幀與之前相鄰最近的關鍵幀之間的運動誤差是否大于閥值T來選擇關鍵幀和非關鍵幀；3）對步驟2）選擇出的關鍵幀，采用基于稀疏回歸和自然圖像對的圖像超分辨率方法進行超分辨率；4）對步驟2）選擇出的非關鍵幀，采用雙三次差值的方法將其初始的放大到想要的分辨率；5）基于步驟4）得到的初始放大非關鍵幀，采用基于GPU的光流方法將當前非關鍵幀之前相鄰的最近的關鍵幀投影到當前幀；6）根據初始非關鍵幀對步驟5）得到的投影圖像進行修正，構造提出模型的數(shù)據項；7）基于步驟4）得到的初始放大非關鍵幀，提取邊緣幾何流信息和超像素信息；8）根據提取的幾何流信息和超像素信息構造AR模型的系數(shù)項；9）將步驟6）得到的數(shù)據項和步驟8）得到的系數(shù)項構造基于自適應的超像素導向自回歸模型，用該模型恢復超分辨率的非關鍵幀；10）將步驟3）得到的超分辨率關鍵幀和步驟9）得到的超分辨率非關鍵幀綜合成超分辨率視頻。一種自適應的迭代方法計算閥值T，具體包括以下步驟：11）計算每相鄰兩幀的運動誤差ei,i+1，根據大量實驗統(tǒng)計定義閥值下限c1和上限c2；12）求整段視頻所有幀的平均誤差，計算如下：其中，ei,i+1是第i幀和第i+1幀的運動誤差，N是整段視頻里的幀的總數(shù)；13）如果令采用本發(fā)明所提出的方法選擇關鍵幀，并統(tǒng)計關鍵幀所占幀總數(shù)的比例，根據關鍵幀的比例以0.1為步長，上下調整閥值T，直到關鍵幀的比例滿足需要時確定最終的閥值。如果直接得到閥值關鍵幀與非關鍵幀選擇的方法具體包括以下步驟：21）定義視頻第一幀為初始的關鍵幀；22）對其后的視頻幀，計算其與關鍵幀的運動誤差，運動誤差計算如下：其中，y和ypre分別是當前幀和之前最近鄰的關鍵幀，P(·)代表把RGB圖像轉換成灰度圖像的一種操作，fNZ是選取矩陣中非零項的函數(shù)，z代表誤差矩陣中的非零項的個數(shù)。23）如果運動誤差e大于閥值T，當前幀被選取為關鍵幀；否則，當前幀被選取為非關鍵幀。采用基于GPU的光流方法將當前非關鍵幀之前相鄰的最近的關鍵幀投影到當前幀，具體如下：xkl=yij,(i∈(1,m),j∈(1,n)),with其中，y代表之前相鄰最近的關鍵幀，m和n分別代表關鍵幀的高度和寬度，x代表當前非關鍵的高分辨率版本，O1和O2分別代表光流O的第一和第二維度，當邊界k和l超出圖像邊界的時候，忽略x的值。根據非關鍵幀對投影得到的圖像進行修正具體為：with（4）其中，F(xiàn)0表示對投影圖像修正后的圖像，表示投影得到的圖像，表示初始化放大后的非關鍵幀，p和q分別是幀的高度和寬度，u和v是RGB彩色空間的索引，t是用來修正投影圖像的閥值?；诔跏挤糯蠓顷P鍵幀，提取邊緣幾何流信息和超像素信息具體為：其中，cB表示要提取的幾何流信息，σ1和σ2分別是用來調整空間距離和像素強度的濾波器系數(shù)，x代表要恢復的點，y∈Nx代表圖像中以x為中心的鄰域內的像素點，CY是一個光照強度濾波器，具體為：其中，是圖像在YCbCr空間亮度域Y的值，σ3是用來調整亮度域影響的參數(shù)。其中，cS表示要提取的超像素信息，SPx和SPy分別代表x和y點處超像素的值，采用SLIC的方法產生超像素。構造基于自適應的超像素導向自回歸模型具體如下：其中，Edata(F,F0)是用來保證超分辨率后的非關鍵幀F(xiàn)和修正后的投影非關鍵一致的數(shù)據項，EAR(F)是把自回歸（AR）模型加入到非關鍵幀超分辨率的自回歸項，λ是數(shù)據項和自回歸項的權重；數(shù)據項具體為：自回歸項具體為：with(10)其中，Nx是規(guī)一化系數(shù)，和分別是公式（5）的邊緣幾何流信息和公式（7）的超像素信息。本發(fā)明的方法的特點及效果：本發(fā)明方法提高了視頻超分辨率的質量，通過自動的選擇關鍵幀和非關鍵幀，使本方法可以應用到各類現(xiàn)實的視頻實例中；通過基于稀疏回歸和自然圖像對的方法對選擇出的關鍵幀進行超分辨率，實現(xiàn)了關鍵幀的高效放大；通過基于自適應的超像素導向自回歸模型的方法實現(xiàn)了非關鍵幀的超分辨率，得到了非常好的結果，使視頻超分辨后效果更精確。具有以下特點：1.程序簡單，易于實現(xiàn)。2.針對輸入視頻，通過自動的方法將視頻幀分為關鍵幀和非關鍵幀。3.對關鍵幀采用了基于稀疏回歸的超分辨率方法，對非關鍵幀采用了基于自適應的超像素導向自回歸模型的方法，充分考慮了視頻幀的時空因素，得到的視頻分辨率更高。4.程序運行時間短，方便現(xiàn)實應用。本發(fā)明可以將所有幀均為低分辨率的視頻進行超分辨率。所提出的方法具有很好的實用性，可以廣泛的應用到各種現(xiàn)實視頻實例中。附圖說明本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結合附圖對實施例的描述中將變得明顯和容易理解，其中：圖1為本發(fā)明實施例的基于自適應的超像素導向自回歸模型的視頻超分辨率方法流程圖；圖2為本發(fā)明實施例采用所提出的發(fā)明方法和其他四種方法對Shield視頻序列做超分辨率的結果；圖3為本發(fā)明實施例采用所提出的發(fā)明方法對現(xiàn)實監(jiān)控視頻序列做超分辨率的結果。具體實施方式本發(fā)明將低分辨率視頻做超分辨率轉化為對關鍵幀和非關鍵幀分別作圖像超分辨率，其中用于超分辨率關鍵幀的稀疏回歸方法用時少，結果好，同時考慮到視頻幀的時空特性，對于非關鍵幀采用了基于自適應的超像素導向自回歸模型的方法進行超分辨率，最終實現(xiàn)了視頻的超分辨率。所得結果具有紋理細節(jié)豐富，分辨率更高的特點。本發(fā)明的基于自適應的超像素導向自回歸模型的視頻超分辨率方法，其特征在于：將視頻幀分為關鍵幀和非關鍵幀，對關鍵幀采用一種基于稀疏回歸和自然圖像對的方法進行超分辨率，對非關鍵幀采用一種基于自適應的超像素導向自回歸模型的方法結合之前最近鄰的關鍵幀進行超分辨率，具體方法包括以下步驟：1）對于輸入視頻，采用一種自適應的迭代方法計算選取關鍵幀的閥值T。迭代方法具體包括以下步驟：11）計算每相鄰兩幀的運動誤差ei,i+1，根據大量實驗統(tǒng)計定義閥值下限c1和上限c2；12）求整段視頻所有幀的平均誤差，計算如下：其中，ei,i+1是第i幀和第i+1幀的運動誤差，N是整段視頻里的幀的總數(shù)。13）如果令采用本發(fā)明所提出的方法選擇關鍵幀，并統(tǒng)計關鍵幀所占幀總數(shù)的比例，根據關鍵幀的比例以0.1為步長，上下調整閥值T，直到關鍵幀的比例滿足需要時確定最終的閥值。如果直接得到閥值2）通過計算并判斷當前幀與之前相鄰最近的關鍵幀之間的運動誤差是否大于閥值T來選擇關鍵幀和非關鍵幀。關鍵幀與非關鍵幀選擇的方法具體包括以下步驟：21）定義視頻第一幀為初始的關鍵幀；22）對其后的視頻幀，計算其與關鍵幀的運動誤差，運動誤差計算如下：其中，y和ypre分別是當前幀和之前最近鄰的關鍵幀，P(·)代表把RGB圖像轉換成灰度圖像的一種操作，fNZ是選取矩陣中非零項的函數(shù)，z代表誤差矩陣中的非零項的個數(shù)。23）如果運動誤差e大于閥值T，當前幀被選取為關鍵幀；否則，當前幀被選取為非關鍵幀。3）對選擇出的關鍵幀，采用一種基于稀疏回歸和自然圖像對的圖像超分辨率方法進行超分辨率。4）對選擇出的非關鍵幀，采用雙三次差值的方法將其初始的放大到想要的分辨率；5）采用基于GPU的光流方法將當前非關鍵幀之前相鄰的最近的關鍵幀投影到當前幀，具體為：xkl=yij,(i∈(1,m),j∈(1,n)),with其中，y代表之前相鄰最近的關鍵幀，m和n分別代表關鍵幀的高度和寬度，x代表當前非關鍵的高分辨率版本，O1和O2分別代表光流O的第一和第二維度。當邊界k和l超出圖像邊界的時候，我們忽略x的值。6）根據非關鍵幀對投影得到的圖像進行修正具體為：with（4）其中，F(xiàn)0表示對投影圖像修正后的圖像，表示投影得到的圖像，表示初始化放大后的非關鍵幀，p和q分別是幀的高度和寬度，u和v是RGB彩色空間的索引，t是用來修正投影圖像的閥值。7）基于初始放大非關鍵幀，提取邊緣幾何流信息和超像素信息具體為：其中，cB表示要提取的幾何流信息，σ1和σ2分別是用來調整空間距離和像素強度的濾波器系數(shù)，x代表要恢復的點，y∈Nx代表圖像中以x為中心的鄰域內的像素點，CY是一個光照強度濾波器，具體為：其中，是圖像在YCbCr空間亮度域Y的值，σ3是用來調整亮度域影響的參數(shù)。其中，cS表示要提取的超像素信息，SPx和SPy分別代表x和y點處超像素的值。在本發(fā)明中，我們采用SLIC的方法產生超像素。8）根據提取的幾何流信息和超像素信息構造AR模型的系數(shù)項；9）構造基于自適應的超像素導向自回歸模型并用該模型恢復超分辨率的非關鍵幀，構造基于自適應的超像素導向自回歸模型具體如下：其中，Edata(F,F0)是用來保證超分辨率后的非關鍵幀F(xiàn)和修正后的投影非關鍵一致的數(shù)據項，EAR(F)是把自回歸（AR）模型加入到非關鍵幀超分辨率的自回歸項，λ是數(shù)據項和自回歸項的權重。數(shù)據項具體為：自回歸項具體為：with(10)其中，Nx是規(guī)一化系數(shù)，和分別是公式（5）的邊緣幾何流信息和公式（7）的超像素信息。10）將得到的超分辨率關鍵幀和超分辨率非關鍵幀綜合成超分辨率視頻。本發(fā)明提出了一種基于自適應的超像素導向自回歸模型的視頻超分辨率方法，結合附圖及實施例詳細說明如下：實現(xiàn)本發(fā)明方法的系統(tǒng)實施例為：Sheild公用YUV測試視頻和現(xiàn)實監(jiān)控視頻實例。通過將輸入視頻分為關鍵幀和非關鍵，對關鍵幀采用一種基于稀疏回歸和自然圖像對的方法進行超分辨率，對非關鍵幀采用一種基于自適應的超像素導向自回歸模型的方法進行超分辨率，得到了細節(jié)更為豐富，超分辨率效果更好的高分辨率視頻。如圖1所示，為本發(fā)明實施例的基于自適應的超像素導向自回歸模型的視頻超分辨率方法的流程圖，包括以下步驟：1）對于輸入視頻，采用一種自適應的迭代方法計算選取關鍵幀的閥值T。迭代方法具體包括以下步驟：11）計算每相鄰兩幀的運動誤差ei,i+1，根據大量實驗統(tǒng)計定義閥值下限c1和上限c2；12）求整段視頻所有幀的平均誤差，計算如下：其中，ei,i+1是第i幀和第i+1幀的運動誤差，N是整段視頻里的幀的總數(shù)。13）如果令采用本發(fā)明所提出的方法選擇關鍵幀，并統(tǒng)計關鍵幀所占幀總數(shù)的比例，根據關鍵幀的比例以0.1為步長，上下調整閥值T，直到關鍵幀的比例滿足需要時確定最終的閥值。如果直接得到閥值2）通過計算并判斷當前幀與之前相鄰最近的關鍵幀之間的運動誤差是否大于閥值T來選擇關鍵幀和非關鍵幀。關鍵幀與非關鍵幀選擇的方法具體包括以下步驟：21）定義視頻第一幀為初始的關鍵幀；22）對其后的視頻幀，計算其與關鍵幀的運動誤差，運動誤差計算如下：其中，y和ypre分別是當前幀和之前最近鄰的關鍵幀，P(·)代表把RGB圖像轉換成灰度圖像的一種操作，fNZ是選取矩陣中非零項的函數(shù)，z代表誤差矩陣中的非零項的個數(shù)。23）如果運動誤差e大于閥值T，當前幀被選取為關鍵幀；否則，當前幀被選取為非關鍵幀。3）對選擇出的關鍵幀，采用一種基于稀疏回歸和自然圖像對的圖像超分辨率方法進行超分辨率。4）對選擇出的非關鍵幀，采用雙三次差值的方法將其初始的放大到想要的分辨率；5）采用基于GPU的光流方法將當前非關鍵幀之前相鄰的最近的關鍵幀投影到當前幀，具體為：xkl=yij,(i∈(1,m),j∈(1,n)),with其中，y代表之前相鄰最近的關鍵幀，m和n分別代表關鍵幀的高度和寬度，x代表當前非關鍵的高分辨率版本，O1和O2分別代表光流O的第一和第二維度。當邊界k和l超出圖像邊界的時候，我們忽略x的值。6）根據非關鍵幀對投影得到的圖像進行修正具體為：with（4）其中，F(xiàn)0表示對投影圖像修正后的圖像，表示投影得到的圖像，表示初始化放大后的非關鍵幀，p和q分別是幀的高度和寬度，u和v是RGB彩色空間的索引，t是用來修正投影圖像的閥值。7）基于初始放大非關鍵幀，提取邊緣幾何流信息和超像素信息具體為：其中，cB表示要提取的幾何流信息，σ1和σ2分別是用來調整空間距離和像素強度的濾波器系數(shù)，x代表要恢復的點，y∈Nx代表圖像中以x為中心的鄰域內的像素點，CY是一個光照強度濾波器，具體為：其中，是圖像在YCbCr空間亮度域Y的值，σ3是用來調整亮度域影響的參數(shù)。其中，cS表示要提取的超像素信息，SPx和SPy分別代表x和y點處超像素的值。在本發(fā)明中，我們采用SLIC的方法產生超像素。8）根據提取的幾何流信息和超像素信息構造AR模型的系數(shù)項；9）構造基于自適應的超像素導向自回歸模型并用該模型恢復超分辨率的非關鍵幀，構造基于自適應的超像素導向自回歸模型具體如下：其中，Edata(F,F0)是用來保證超分辨率后的非關鍵幀F(xiàn)和修正后的投影非關鍵一致的數(shù) 據項，EAR(F)是把自回歸（AR）模型加入到非關鍵幀超分辨率的自回歸項，λ是數(shù)據項和自回歸項的權重。數(shù)據項具體為：自回歸項具體為：with(10)其中，Nx是規(guī)一化系數(shù)，和分別是公式（5）的邊緣幾何流信息和公式（7）的超像素信息。10）將得到的超分辨率關鍵幀和超分辨率非關鍵幀綜合成超分辨率視頻。本實施例對Sheild視頻序列最終超分辨率結果及與其他方法的比較如圖2所示，其中，(a)圖為原始高分辨率幀，(b)圖為采用雙三次插值方法得到的超分辨率結果；(c)圖為采用MSR方法（Songetal.,Videosuper-resolutionalgorithmusingbi-directionaloverlappedblockmotioncompensationandon-the-flydictionarytraining,IEEEtrans.CSVT,2011）得到的超分辨率結果；（d）圖為采用HybridSR方法（Songetal.,Videosuper-resolutionalgorithmusingbi-directionaloverlappedblockmotioncompensationandon-the-flydictionarytraining,IEEEtrans.CSVT,2011）得到的超分辨結果；（e）圖為采用Huang的方法（Huangetal.,Videosuper-resolutionusingcodebooksderivedfromkey-frames,IEEEtrans.CSVT,2012）得到的超分辨率結果；（f）圖為采用本發(fā)明方法得到的超分辨率結果。如圖3所示，為采用所提出的發(fā)明方法對現(xiàn)實監(jiān)控視頻超分辨的結果。選取關鍵幀和非關鍵是本發(fā)明的一個必要技術特征，沒有這個步驟后面步驟無從談起，本發(fā)明是包括選取關鍵幀和非關鍵幀及后續(xù)步驟的一個完整的技術方案，這個方案是若干必要技術特征的組合，不會因其中一個或多個必要技術特征被公開而破壞本發(fā)明的專利性，不會因其中一個或多個必要技術特征被公開而破壞，或者采用以現(xiàn)有技術進行簡單替換獲得的方法，自當屬于本說明書表述的范圍之內。