專利名稱：：一種超分辨率圖像重構(gòu)方法和裝置的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及圖像處理
技術(shù)領(lǐng)域：
，特別涉及一種超分辨率圖像重構(gòu)方法和裝置。
背景技術(shù)：
：圖{象超分辨率(SuperResolution,SR)指利用一幅或者多幅低分辨率(LowResolution,LR)圖像，通過相應的算法來獲得一幅清晰的高分辨率(HighResolution,HR)圖像。這一方法在移動通信、圖像和視頻壓縮技術(shù)、社會安全、視頻監(jiān)控、圖形渲染、圖像修復、生物認證、衛(wèi)星和天文圖像、高清電視等有著重要的應用價值和市場前景。盡管超分辨率技術(shù)具有非常巨大的應用價值和市場前景，國內(nèi)外在這一方向上的理論和應用研究仍處在探索階段。主要的難點在于由于同一低分辨率圖像可以由多個高分辨率圖像退化生成，從數(shù)學上而言，超分辨率研究期望解決的實質(zhì)上是一個一對多的問題，或病態(tài)問題。目前，圖像超分辨率研究可分為三個主要范疇基于插值，基于重建和基于學習的方法。現(xiàn)有技術(shù)提出了一種基于鄰域嵌套的圖像超分辨率方法，其中的基本假設就是，高分辨率和對應的低分辨率圖像塊假設在特征空間形成了具有相同局部幾何結(jié)構(gòu)的流形。這樣，高分辨率圖像塊可以用一系列優(yōu)化加權(quán)的訓練圖像塊估計得到?，F(xiàn)有技術(shù)的方案中，沿用的是原有的鄰域嵌套思想，原來是用于發(fā)現(xiàn)高維數(shù)據(jù)的低維流形。在圖像超分辨率算法中，則是從低分辨率圖像塊特征中去獲得相應的高分辨率圖像塊特征。在現(xiàn)有技術(shù)的方案中，采用的是圖^f象塊的一階和二階梯度的組合來構(gòu)成低分辨率圖像塊特征。在圖像塊的選擇上，取3x3大小的圖像塊。假定圖像塊特征已經(jīng)被提取，且訓練圖像集可以先驗地通過引入子采樣技術(shù)來構(gòu)成高分辨率-低分辨率圖像塊對。由于圖像在超分辨率算法中，細節(jié)的損失常出現(xiàn)在光照分量上，因此，可以只對光照分量的圖像作超分辨率算法。更具體地，令高分辨率訓練圖像^首先被子采樣"倍來構(gòu)成低分辨率圖像A。兩個訓練圖像均被分割成若干重疊的訓練圖像塊(對A有WS個圖像塊，對K則有""w個圖像塊)，使得任意一對訓練圖像塊(x;，乂)一^"對應。這里需要注意的是，訓練圖像塊的構(gòu)造可以由多個圖像來生成，只要保證最終的圖像塊是一-^~對應的即可。要被還原的測試圖像A的光照分量依相同的原則分割成若干測試圖像塊《。假定圖像塊的特征已經(jīng)選定，對每個測試圖像塊《,將從低分辨率的訓練圖像塊中搜索K個最近圖像塊，并計算最優(yōu)權(quán)值，利用最優(yōu)權(quán)值和訓練圖像塊對的幾何相似性來構(gòu)造高分辨率的測試圖像塊^。最優(yōu)權(quán)值的計算是通過最小化圖像塊《局部重構(gòu)誤差來實現(xiàn)的，即<formula>formulaseeoriginaldocumentpage6</formula>(1)這里表示測試圖像塊<在訓練集&的鄰域，集『9的元素是if所對應的權(quán)值，服從約束條件2>9,=1及對任意<氣有=0?；谝陨蠗l件，《e式(1)的解可以轉(zhuǎn)化為約束最小二乘問題。如果為測試圖像塊X纟定義局部格拉姆矩陣C^:G,=("lr-Ay("lr-JQ(2)這里"1"表示一列元素全為l的矩陣，X是一個"xA:的矩陣，每一列為《在訓練圖像塊的鄰域向量，D是鄰域向量的特征維數(shù)。除此以外，當將鄰域內(nèi)的權(quán)值按下標p重排序后形成K維權(quán)值向量^后，上述約束最小二乘問題有一閉式解<formula>formulaseeoriginaldocumentpage6</formula>由于上式中需對局部格拉姆矩陣&求逆，在實際的算法中常釆用一個更快捷的方法，即求線性系統(tǒng)方程(^『9=1,然后將獲得的權(quán)值標準化使得在權(quán)值^被計算后，低分辨率測試圖像塊所對應的目標圖像塊;;;^安下式來計算<formula>formulaseeoriginaldocumentpage7</formula>然后高分辨率的光照分量圖像塊進行拼接，且重疊區(qū)域的圖像塊進行平均處理。最后，獲得的光照分量圖像與其他顏色通道的插值圖像合成以形成最終的高分辨率彩色圖像?？紤]到顏色通道對超分辨率算法的影響，圖像首先會轉(zhuǎn)換至YIQ空間，在Y分量即光照分量處理后，IQ兩個分量僅釆用傳統(tǒng)的插值技術(shù)處理即可，獲得的高分辨率圖像再轉(zhuǎn)換回RGB空間來顯示。另外，在現(xiàn)有技術(shù)的算法中，在構(gòu)造訓練圖像塊集時，對全部從圖像中生成的圖像塊進行了三次旋轉(zhuǎn)(90，180，270度)，以增加訓練集的數(shù)量?，F(xiàn)有技術(shù)存在的主要問題包括l)特征的選擇上，采用了一階和二階梯度信息。從圖像的特點易知，當圖像中存在噪聲或退化嚴重時，基于二階梯度來描述圖像塊特征并不合理，同時，二階梯度在嚴重噪聲時，典型的雙邊緣現(xiàn)象也將使得圖像塊中的邊緣很難被辨識。這一點影響了對超分辨率技術(shù)中邊緣信息的還原。2)由于現(xiàn)有技術(shù)的方法在搜索測試低分辨率圖像塊的鄰域時，是對整個訓練圖像塊集來搜索，因此，沒有考慮圖像塊所具有的類型。在選擇鄰域因子時，這一策略也使得其不具備魯棒性，容易導致具有邊緣的圖像塊和無邊緣的圖像塊最終產(chǎn)生相同的視覺效果。這一點在超分辨率中是不期望的。另外，訓練圖像塊通過對全部原始圖像塊進行旋轉(zhuǎn)來生成，這無形中增加了搜索的時間和存儲的空間。因此，現(xiàn)有技術(shù)中提出的高低分辨率塊在鄰域嵌套時并不是總具有幾何意義上的鄰域保持。因此，現(xiàn)有技術(shù)的缺點是當圖像中存在噪聲或退化嚴重時，基于二階梯度來描述圖像塊特征并不合理，在搜索測試低分辨率圖像塊的鄰域時，沒重復網(wǎng)頁具體為根據(jù)相同正向鏈接的特性，計算包含上述相同正向鏈接的網(wǎng)頁的分值，排除分值差在預定數(shù)值之內(nèi)的網(wǎng)頁。9、如權(quán)利要求1或2所述的方法，其特征在于，基于所述排重集合排除重復網(wǎng)頁具體為在相同正向鏈接中查找廣告鏈接獲取廣告鏈接所占比例數(shù)，網(wǎng)頁正文鏈接所占比例數(shù)，相同鏈接類型所占比例數(shù)，網(wǎng)頁所屬的主域所占比例數(shù)，相同及相近似的錨文本所占比例數(shù)；將上述比例數(shù)乘以相應的系數(shù)后相加，如得到的數(shù)值大于設定閾值，排除包含上述相同正向鏈接的網(wǎng)頁。10、如權(quán)利要求1或2所述的方法，其特征在于，基于所述排重集合排除重復網(wǎng)頁具體為獲取正向鏈接指向網(wǎng)頁的系數(shù)和各網(wǎng)頁的Rank值，上述網(wǎng)頁所在主域的系數(shù)和各主域的Rank值，及正向鏈接錨文本的系數(shù)和各錨文本的權(quán)重值，其中，網(wǎng)頁的系數(shù)大于錨文本的系數(shù)和主域的系數(shù)；分別計算網(wǎng)頁的系數(shù)乘以各網(wǎng)頁的Rank值之和，主域的系數(shù)乘以各主域的Rank值之和，錨文本的系數(shù)乘以各錨文本的權(quán)重值之和，將計算數(shù)值相加得到網(wǎng)頁簽名；排除簽名相似度超過設定閾值的網(wǎng)頁。11、如權(quán)利要求IO所述的方法，其特征在于，還包括獲取正向鏈接指向網(wǎng)頁的系數(shù)和各網(wǎng)頁的Rank值，上述網(wǎng)頁所在主域的系數(shù)和各主域的Rank值，及正向鏈接錨文本的系數(shù)和各錨文本的權(quán)重值，其中，網(wǎng)頁的系數(shù)小于錨文本的系數(shù)和主域的系數(shù)；分別計算網(wǎng)頁的系數(shù)乘以各網(wǎng)頁的Rank值之和，主域的系數(shù)乘以各主域的Rank值之和，錨文本的系數(shù)乘以各錨文本的權(quán)重值之和，將計算數(shù)值相加得到網(wǎng)頁質(zhì)量值；保留網(wǎng)頁質(zhì)量值超過設置閾值的網(wǎng)頁。12、一種網(wǎng)頁的排重系統(tǒng)，其特征在于，包括獲取模塊、比較^i塊、提取模塊、組成模塊、及排除模塊而保持了真正圖像塊的幾何結(jié)構(gòu)；通過辨識圖像塊的類型，根據(jù)圖像塊的類型進行鄰域嵌套，能夠較好地重建高分辨率的圖像，同時僅針對有邊緣的圖像塊進行自舉，提高了搜索的效率。自舉即為對同一圖像塊進行不同角度的旋轉(zhuǎn)，得到更多的圖像塊，以獲得更豐富的訓練圖像塊集合。如圖l所示，為本發(fā)明實施例超分辨率圖像重構(gòu)方法的流程圖，具體包括以下步驟步驟S101,獲取第一圖像的一階梯度特征和標準光照特征。其中標準光照特征為反映圖像整個結(jié)構(gòu)的標準光照特征，一階梯度特征對噪聲不敏感，因此獲取這兩個特征有利于保持真正的圖像塊的幾何結(jié)構(gòu)。具體而言，標準化的光照特征如以下公式所示<formula>formulaseeoriginaldocumentpage9</formula>其中，zpq為圖像塊像素點的具體灰度值，S是圖像塊的大小當圖像塊(以3*3圖像塊為例)具有如下結(jié)構(gòu)<table>tableseeoriginaldocumentpage9</column></row><table>時，該圖像塊的一階梯度特征如以下公式所示<table>tableseeoriginaldocumentpage9</column></row><table>步驟S102，根據(jù)所述一階梯度特征和標準光照特征對所述第一圖像進行鄰域嵌套，得到分辨率高于所述第一圖像的第二圖像。具體來說，步驟S102進一步包括A、對第一圖像進行邊緣檢測，確定圖像塊的邊緣類型；本發(fā)明實施例通過邊緣檢測技術(shù)來提取圖像的邊緣信息，即將圖像的RGB分量分別采用CANNY算子進行邊緣檢測，并將三個分量的邊緣檢測結(jié)果累加后，通過提出的啟發(fā)式方法來判定圖像塊的類型。具體來說，首先對圖像I(x,y)采用高斯算子來光滑和降噪形成圖像G(x,y);然后利用水平和垂直梯度算子對圖像G(x,y)進行巻積，即:<formula>formulaseeoriginaldocumentpage10</formula>最終的梯度大小由下式獲得P"力-V^"，力+W"，力'CANNY邊緣檢測技術(shù)針對梯度結(jié)果，尋找圖像塊的局部極大值。同時，抑制其它值為0。由此，可以獲得一組二值圖像。為確保能提供更豐富的邊緣信息和視覺上適合的邊緣，本發(fā)明實施例中將RGB空間得到的三組邊緣;險測結(jié)果疊加來形成新的邊緣圖像。本發(fā)明實施例還通過啟發(fā)式方法辨識圖像塊的邊緣類型，即從邊緣圖像中區(qū)分哪些圖像塊具有邊緣或非邊緣。具體來說，即檢測每個圖像塊對應的邊緣檢測圖像塊中的含邊緣像素值的總數(shù)(on-edgeratios)，依據(jù)總數(shù)的多少來區(qū)分。令具有邊緣像素值的像素總數(shù)為5，同時計算每行或每列的最大具邊緣像素總數(shù)的值tA。,。要判定其圖像塊中,是否包含邊緣，設定一個閾值G)。如果5<0,則將相應的圖像塊標記為非邊緣，否則標記為邊緣?；趶V泛的實驗，發(fā)現(xiàn)對于低分辨率圖像塊而言，可以設置闊值0為每個特征維數(shù)的大小(長和寬)。其原因在于，如果具有邊緣的像素總數(shù)不能超過每個特征維數(shù)的大小，則圖像塊中的這些像素趨向于是孤立點和噪聲，而不是邊緣?？紤]到訓練圖像塊的數(shù)量問題，在本發(fā)明實施例中采用了兩種策略，簡化的和復雜的。當僅采用一小塊圖像來生成訓練圖像塊時，采用簡化的版本，即僅考慮邊緣和非邊緣的區(qū)別來自適應地應用鄰域嵌套技術(shù)。而當訓練圖像塊充分時，可將具有邊緣的圖像塊再細分成四種類型并作標記，分別為水平邊緣，垂直邊緣，斜向邊緣和復雜邊緣。細分的策略如表l所示。表l<table>tableseeoriginaldocumentpage10</column></row><table>B、根據(jù)第一圖像的圖像塊邊緣類型，在訓練圖像塊集合中搜索最近鄰的訓練圖像塊；本發(fā)明實施例對第一圖像中每個含標記的圖像塊特征，從其特定類的訓練圖像塊集中搜索相應的近鄰圖像塊。在簡化版本中，圖像塊標記為含邊緣的和非邊緣的圖像塊。最近鄰圖像塊按L2像素距離來搜索，根據(jù)不同類型的圖像塊，可能搜索到個數(shù)不等的最近鄰圖像塊數(shù)量，記為K。在復雜版本中，例如圖像塊是邊緣圖像塊，則可以進一步限定在含邊緣的圖像塊集合中搜索；若進一步判斷圖像塊為垂直邊緣塊，則進一步將搜索范圍限定在垂直邊緣塊集合中，提高了搜索效率。C、利用搜索到的最近鄰訓練圖像塊，合成高分辨率圖像。首先，利用搜索到的最近鄰的訓練圖像塊的一階梯度特征和標準光照特征計算最優(yōu)權(quán)值。在本發(fā)明實施例中，訓練圖像塊采用低分辨率圖像塊，每個低分辨率圖像塊對應于一個高分辨率圖像塊。這些低分辨率訓練圖像塊是已經(jīng)如前所述，標記有邊緣類型。利用搜索到的K個最近鄰的低分辨率訓練圖像塊，就可以計算最優(yōu)權(quán)值。最優(yōu)權(quán)值的計算可以有多種方式，本發(fā)明的關(guān)4建在于在計算最優(yōu)權(quán)值時，是根據(jù)圖像塊的一階梯度特征和標準光照特征來計算的，并且針對不同邊緣類型的圖像塊，采用不同的值計算，更為合理地反映低分辨率圖像和高分辨率圖像的幾何結(jié)構(gòu)。將計算得到的最優(yōu)權(quán)值分別與對應的K個最近鄰的高分辨率訓練圖像塊相乘即可獲得高分辨率的圖像塊。當?shù)谝粓D像的全體圖像塊均計算得到高分辨率圖像塊時，可以合成光照分量的高分辨率圖像。本發(fā)明實施例對所有樣本圖像塊均采用了等四十五度旋轉(zhuǎn)來自舉提升訓練圖像塊的數(shù)量，以擴充訓練圖像塊的集合。并且由于本發(fā)明實施例中提出了區(qū)分圖像塊的類型的方法，因此，僅需考慮特定圖像塊的自舉技術(shù)，從而可以有效地減少圖像塊的存儲空間，提高搜索性能。具體來說，在簡化策略中，僅需對含有邊緣的低分辨率訓練圖像塊旋轉(zhuǎn)三次(90,180和270度)來生成額外的訓練樣本，對于非邊緣的圖像塊，則無需進行旋轉(zhuǎn)，節(jié)省了存儲空間和搜索時間。本發(fā)明實施例中，對圖像塊的旋轉(zhuǎn)并不是直接旋轉(zhuǎn)得到新圖像塊，而是每次旋轉(zhuǎn)后，分配一個標簽來標識需要逆時針旋轉(zhuǎn)的次數(shù)。這一方法的好處在于無需對所有高分辨率的訓練圖像塊進行旋轉(zhuǎn)和存儲，而只需要利用相應的標簽來旋轉(zhuǎn)必要的圖像塊即可，從而節(jié)省了存儲空間。在復雜策略中，具水平邊緣的圖像塊旋轉(zhuǎn)90和270度后標記為具垂直邊緣的圖像塊，類似的操作也可適用于具垂直邊緣的圖像塊。另外，具斜向和復雜邊緣的圖像塊在旋轉(zhuǎn)操作后不改變其圖像塊的類型。上述超分辨率圖像重構(gòu)方法，通過提取圖像的一階梯度特征和標準光照特征來保持真正的圖像塊的幾何結(jié)構(gòu)，并區(qū)分圖像塊的類型，針對不同類型的圖像塊的鄰域嵌套可以較好地重建高分辨率的圖像，并且僅針對具有邊緣的圖像塊的自舉，既可擴充訓練圖像塊的幾何，又不致使訓練圖像塊的集合有明顯的增加，減小了存儲的空間，提高了搜索的效率。下面結(jié)合附圖和實施例，對本發(fā)明的具體實施方式作進一步詳細描述如圖2所示，為本發(fā)明超分辨率圖像重構(gòu)方法實施例一的流程圖，具體包括以下步驟步驟S201，提取圖像塊的標準光照特征和一階梯度特征；以RGB圖像為例，考慮到顏色通道對超分辨率圖像重構(gòu)的影響，首先將RGB圖像轉(zhuǎn)換至YIQ顏色空間，同時它的邊緣圖像從RGB三個分量合并生成。YIQ空間的Y分量即光照分量圖像用于為每個圖像塊提取本發(fā)明實施例所述的標準光照特征和一階梯度特征的組合特征向量。具體而言，標準光照特征如以下/>式所示<formula>formulaseeoriginaldocumentpage12</formula>，其中，^為圖像塊像素點的具體灰度值，S是圖像塊的大小(像素點總數(shù))，被減去的部分為圖像塊所有像素點的平均灰度值。在重構(gòu)高分辨率圖像時，被減去的平均灰度值需要補償回來。當訓練圖像塊具有如下結(jié)構(gòu)<table>tableseeoriginaldocumentpage12</column></row><table><table>tableseeoriginaldocumentpage13</column></row><table>時，該訓練圖像塊的一階梯度特征如以下公式所示:<formula>formulaseeoriginaldocumentpage13</formula>另兩個顏色分量(I和Q分量)則采用插值技術(shù)來獲得期望的分辨率。步驟202,對YIQ圖像進行邊緣檢測，確定圖像塊的邊緣類型；同時，可采用本發(fā)明實施例提出的啟發(fā)式方法來辨識每個圖像塊的邊緣類型。具體來說，即檢測每個圖像塊對應的邊緣檢測圖像塊中的含邊緣像素值的總數(shù)(on-edgeratios),依據(jù)總數(shù)的多少來區(qū)分。令具有邊緣像素值的像素總數(shù)為3,同時計算每行或每列的最大具邊緣像素總數(shù)的值d。要判定其圖像塊中是否包含邊緣，可設定一個閾值0。如果5<0，則將相應的圖像塊標記為非邊緣，否則標記為邊緣?；趶V泛的實驗，發(fā)現(xiàn)對于低分辨率圖像塊而言，可以設置鬧值0為每個特征維數(shù)的大小(長和寬)。其原因在于，如果具有邊緣的像素總數(shù)不能超過每個特征維數(shù)的大小，則圖像塊中的這些像素趨向于是孤立點和噪聲?？紤]到訓練樣本的數(shù)量問題，在本發(fā)明實施例中采用了兩種策略，簡化的和復雜的。當僅采用一小塊圖像來生成訓練圖像塊時，采用簡化的策略，即僅考慮邊緣和非邊緣的區(qū)別來自適應的應用鄰域嵌套技術(shù)。而當訓練圖像塊充分時，可將具有邊緣的圖像塊再細分成四種類型，分別為水平邊緣，垂直邊緣，斜向邊緣和復雜邊緣。細分的策略如表l所示o步驟S203,根據(jù)圖像塊的類型，從其特定類的訓練圖像塊集合中搜索相應的近鄰圖像塊。在簡化版本中，圖像塊標記為含邊緣的和非邊緣的圖像塊。最近鄰圖像塊按L2距離(第二范式距離)來搜索，搜索得到的最近鄰訓練圖像塊K的取值根據(jù)經(jīng)驗值和要求生成的圖像的分辨率等因素確定，但本發(fā)明實施例以K=2進行說明。本發(fā)明實施例對所有圖像塊均采用了等四十五度旋轉(zhuǎn)的技巧來自舉提升訓練圖像塊的數(shù)量，以擴充訓練圖像塊的集合。然而，由于本發(fā)明實施例中提出了區(qū)分圖像塊的類型的方法，因此，僅需考慮對特定圖像塊的自舉技術(shù)，從而可以有效地減少圖像塊的存儲空間，提高搜索性能。具體來說，在簡化策略中，對含有邊緣的低分辨率訓練圖像塊旋轉(zhuǎn)三次(90,180和270度)來生成額外的訓練樣本。每次旋轉(zhuǎn)后，分配一個"旋轉(zhuǎn)次數(shù)"的標簽來辨識逆時針旋轉(zhuǎn)的次數(shù)。這一方法的好處在于無需對高分辨率的訓練圖像塊進行旋轉(zhuǎn)和存儲，而只需要利用相應的標簽來旋轉(zhuǎn)必要的圖像塊即可，有利于節(jié)省存儲空間，提高搜索性能。在復雜策略中，即訓練圖像塊充分時，具水平邊緣的圖像塊旋轉(zhuǎn)90和270度后標記為具垂直邊緣的圖像塊，類似的操作也可適用于具水平邊緣的圖像塊。另外，具斜向和復雜邊緣的圖像塊在旋轉(zhuǎn)操作后不改變其圖像塊的類型。步驟S204，利用搜索到的最近鄰訓練圖像塊，獲得高分辨率圖像。首先利用2個搜索出的最近的低分辨率訓練圖像塊的一階梯度和標準光照特征計算最優(yōu)權(quán)值。將最優(yōu)權(quán)值與相應的最近鄰高分辨率訓練圖像塊相乘可獲得含標準光照特征的高分辨率的圖像塊。然后將之前被減去的圖像塊平均灰度值補償回到光照分量上，得到Y(jié)IQ空間光照分量的高分辨率圖像塊上。在全體圖像塊被處理完之后，根據(jù)得到的多個高分辨率圖像塊合成該分量的高分辨率圖像。最后，結(jié)合另兩個分量IQ，合成高分辨率的YIQ圖像，再將YIQ圖像轉(zhuǎn)換回RGB空間即可得到與原RGB圖像相應的高分辨率圖像。上述超分辨率圖^f象重構(gòu)方法，通過一階梯度特征和標準光照特征的加權(quán)組合來保證圖像塊之間的幾何分布具有較高的相似度，同時區(qū)分圖像塊的類型，為提高搜索性能的速度，僅針對邊緣圖像塊進行旋轉(zhuǎn)，這也節(jié)省了存儲的空間。如圖3所示，為本發(fā)明實施例超分辨率圖像重構(gòu)裝置的結(jié)構(gòu)圖，具體包括特征獲取模塊l,用于獲取第一圖像的一階梯度特征和標準光照特征；鄰域嵌套模塊2,與特征獲取模塊1連接，用于根據(jù)特征獲取模塊1獲取的一階梯度特征和標準光照特征對第一圖像進行鄰域嵌套，得到分辨率高于第一圖像的第二圖Y象。其中，鄰域嵌套模塊2包括邊緣檢測子模塊21,用于對第一圖像進行邊緣檢測，確定第一圖像的圖像塊的邊緣類型。圖像塊搜索子模塊22，與邊緣檢測子模塊21連接，用于根據(jù)邊緣檢測子模塊21確定的第一圖像的圖像塊的邊緣類型，在訓練圖像塊集合中搜索最近鄰的訓練圖像塊；圖像合成子模塊23，與圖像塊搜索子模塊22連接，用于利用圖像塊搜索子模塊22搜索到的最近鄰的訓練圖像塊，合成分辨率高于第一圖像的第二圖像。其中，特征獲取模塊1包括梯度特征獲取子模塊ll,用于獲取第一圖像的一階梯度特征；光照特征獲取子模塊12，用于獲取第一圖像的標準光照特征。上述超分辨率圖像重構(gòu)裝置，鄰域嵌套模塊2根據(jù)特征獲取模塊1獲取的第一圖像的一階梯度特征和標準光照特征進行鄰域嵌套，并且針對不同類型的圖像塊進行不同的鄰域嵌套，從而可以較好地重建高分辨率的圖像。如圖4所示，為本發(fā)明實施例超分辨率圖像重構(gòu)方法采用的實驗用圖，共六幅圖像。圖像尺寸為360*240像素大小或240*360像素大小，分別被標記為圖4(a)至圖4(f)。圖像包含了豐富的內(nèi)容，具有較多的高層細節(jié)。圖4(a)和圖4(b)是關(guān)于日常生活的，圖4(c)和圖4(d)分別為花和蝴蝶，圖4(e)和圖4(f)是兩個動物。放大倍數(shù)為4倍。在本發(fā)明實施例的實驗中，首先評估了特征選擇的合理性。在這個實驗中，采用了留一法技術(shù)，即每次選擇五幅圖像來生成訓練圖像塊，另一幅作為測試圖像。在參數(shù)選擇中圖像塊的大小均為3*3，且重疊區(qū)為2個像素寬，鄰域大小選擇為5。以下是對具體的參數(shù)設置的評估結(jié)果。1)特征選擇的影響由于，一階梯度特征和標準化光照分量特征在距離空間上占有不同的比重，因此，設置了一個距離評價參數(shù)如下式所示飽O,,&)=腺g滅O,,)+ax飽O,,&)上式中引入了一個加權(quán)因子a來平衡兩個圖像塊一階梯度距離和標準光照分量距離的權(quán)重。經(jīng)過實驗分析，發(fā)現(xiàn)取"=4時效果最好。因為一階梯度特征較標準化光照分量要多一倍，并且一階梯度特征的值域也比標準化光照分量的大一倍，所以取a-4時圖像的效果最好。要評估本發(fā)明實施例方法的有效性，首先采用了兩種定量準則，P2PME和鄰域保持率。P2PME度量了訓練圖像塊生成的高分辨率圖像塊與其真實高分辨率圖像塊的誤差總和，如以下公式所示~=丄2^-K丄^+i:(z(《co-yc/))2)，其中《為第i個恢復的圖像塊，"為真實的高分辨率圖像塊。《(力表示圖像塊的第j個像素值，P是總的圖像塊數(shù)。這一評估準則的好處在于其能更好的反映超分辨率算法的有效性，是廣泛采用的評估準則之一。日7比較，實驗結(jié)果表明本發(fā)明實施例提出的特征選擇及特征加權(quán)技術(shù)在P2PME評估準則下，誤差和方差均是很低的。同時，當《=4時，獲得的性能最好。因此，在P2PME評估準則下的實驗表明了本發(fā)明實施例提出的超分辨率圖像重構(gòu)方法的有歲支性。另外，比較還原的圖像品質(zhì)也可發(fā)現(xiàn)本發(fā)明實施例超分辨率圖像重構(gòu)方法的效果，采用現(xiàn)有的一階梯度以及SRNE中的特征組合時，在常值顏色區(qū)域具有明顯的階梯效應，而本發(fā)明實施例提出的一階梯度和標準光照特征加權(quán)組合保持了更銳化的邊緣和形式，同時，也消除了塊狀效應。這表明在相同的學習和訓練環(huán)境下，本發(fā)明實施例提出的一階梯度和標準光照特征組合具有更好的效果，這是因為一階梯度和標準化光照的結(jié)合能夠更好的保持圖像的幾何結(jié)構(gòu)，根據(jù)一階梯度和標準化光照計算得權(quán)值能夠更合理地反映低分辨率圖像和高分辨率圖像的幾何結(jié)構(gòu)。2)超分辨率圖像重構(gòu)方法評估基于前面提出的一階梯度和標準光照特征加權(quán)組合，本發(fā)明實施例的實驗對筒化版本和復雜版本兩種策略的效果進行了評估。在訓練圖像塊較多時，采用復雜版本，即類型較豐富的形式進行評估。在鄰域的選擇上，對非邊緣圖像塊，令K-5。同時，對有邊緣的圖像塊，令K-2。其中，K的取值根據(jù)經(jīng)驗值和要求生成的圖像的分辨率等因素確定。實驗結(jié)果表明本發(fā)明實施例提出的超分辨率圖像重構(gòu)方法獲得了最好的邊緣效果，并在常值區(qū)域得到了好的光滑。這是因為本發(fā)明實施例對含邊緣的圖像塊進行細分，因而能夠更好地處理圖像邊緣，得到較為連續(xù)的邊緣效果。其次，本發(fā)明實施例研究了小訓練圖像塊集的情況，并采用簡化版本(即不考慮邊緣的特定類型)。所有含邊緣的圖像塊均旋轉(zhuǎn)3次來生成足夠多的邊緣樣本以便重建?，F(xiàn)有的SRNE算法在小樣本意義下，不能較好的重構(gòu)邊緣，且產(chǎn)生了較明顯的塊效應和振鈴效應，但是本發(fā)明實施例提出的超分辨率圖像重構(gòu)方法利用了更準確的含邊緣的圖像塊來重建。采用均方根誤差定量地評測兩種算法的誤差，均方根誤差公式如下所示iM^(i(免—X))、可以得出，本發(fā)明實施例提出的超分辨率圖像重構(gòu)方法得到的RMSE(RootMeanSquareError,均方根誤差)為0.0397,而SRNE算法得到的RMSE為0.0422。這表明本發(fā)明實施例提出的超分辨率圖像重構(gòu)方法在極端的情況下，可以獲得更高的魯棒性。這種情況在缺乏足夠多的訓練圖像時尤其重要。本發(fā)明實施例提出的超分辨率圖像重構(gòu)方法比SRNE算法有較明顯的改進，在保持邊緣和紋理，以及雙眼皮方面均比SRNE算法具有較好的效果。同時，該方法沒有油畫等非自然的效果，如靠近頭發(fā)的邊緣。從定量分析來看，在進行比較的方法之中，本發(fā)明實施例提出的超分辨率圖像重構(gòu)方法具有最低的RMSE。可見，本發(fā)明實施例提出的超分辨率圖像重構(gòu)方法在視覺的外觀和定量誤差方面取得了更好的平衡。需要指出的是，本發(fā)明實施例的超分辨率圖像重構(gòu)方法在選擇訓練圖像塊集的規(guī)模上并沒有非常嚴格的劃分。因此，在實際中對圖像塊類型的區(qū)分采用復雜和簡單版本不會產(chǎn)生非常明顯的差異。通過以上的實施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)，當然也可以通過硬件，但很多情況下前者是更佳的實施方式?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網(wǎng)絡設備等)執(zhí)行本發(fā)明各個實施例所述的方法。以上公開的僅為本發(fā)明的幾個具體實施例，但是，本發(fā)明并非局限于此，任何本領(lǐng)域的技術(shù)人員能思之的變化都應落入本發(fā)明的保護范圍。權(quán)利要求1、一種超分辨率圖像重構(gòu)方法，其特征在于，包括以下步驟獲取第一圖像的一階梯度特征和標準光照特征；根據(jù)所述一階梯度特征和標準光照特征對所述第一圖像進行鄰域嵌套，得到分辨率高于所述第一圖像的第二圖像。2、如權(quán)利要求1所述超分辨率圖像重構(gòu)方法，其特征在于，所述根據(jù)一階梯度特征和標準光照特征對所述第一圖像進行鄰域嵌套，得到分辨率高于所述第一圖像的第二圖像具體包括對所述第一圖像進行邊緣檢測，確定所述第一圖像的圖像塊的邊緣類型；根據(jù)所述第一圖像的圖像塊的邊緣類型，在訓練圖像塊集合中搜索最近鄰的訓練圖像塊；利用搜索到的所述最近鄰的訓練圖像塊，合成分辨率高于所述第一圖像的第二圖像。3、如權(quán)利要求2所述超分辨率圖像重構(gòu)方法，其特征在于，所述利用搜索到的所述最近鄰訓練圖像塊，合成分辨率高于所述第一圖像的第二圖像具體包括利用搜索到的所述最近鄰的訓練圖像塊的一階梯度特征和標準光照特征計算最優(yōu)權(quán)值；將所述最優(yōu)權(quán)值與最近鄰的高分辨率訓練圖像塊相乘獲得高分辨率的圖像塊；利用所述高分辨率的圖像塊合成分辨率高于所述第一圖像的第二圖像。4、如權(quán)利要求3所述超分辨率圖像重構(gòu)方法，其特征在于，所述利用搜索到的最近鄰的訓練圖像塊的一階梯度特征和標準光照特征計算最優(yōu)權(quán)值包括根據(jù)所述最近鄰的訓練圖像塊的類型采用不同的一階梯度特征和標準光照特征計算所述最優(yōu)權(quán)值。5、如權(quán)利要求2所述超分辨率圖像重構(gòu)方法，其特征在于，所述第一圖像的圖像塊的邊緣類型具體包括邊緣塊和非邊緣塊。6、如權(quán)利要求2或5所述超分辨率圖像重構(gòu)方法，其特征在于，還包括通過對所述邊緣塊的自舉擴充所述訓練圖像塊的集合。7、如權(quán)利要求2所述超分辨率圖像重構(gòu)方法，其特征在于，所述確定第一圖像的圖像塊的邊緣類型具體包括檢測所述圖像塊中包含的邊緣像素值的總數(shù)；判斷所述邊緣像素值的總數(shù)是否大于或等于預設的閾值；如果所述邊緣像素值的總數(shù)大于或等于所述預設的閾值，則所述圖像塊為邊緣塊；如果所述邊緣像素值的總數(shù)小于所述預設的閾值，則所述圖像塊為非邊緣塊。8、如權(quán)利要求7所述超分辨率圖像重構(gòu)方法，其特征在于，所述邊緣塊還包括垂直邊緣塊、水平邊緣塊、斜向邊緣塊和復雜邊緣塊。9、如權(quán)利要求7或8所述超分辨率圖像重構(gòu)方法，其特征在于，所述邊緣像素值的總數(shù)包括每行邊緣像素值的總數(shù)，和/或每列邊緣像素值的總數(shù)，如果所述每行邊緣像素值的總數(shù)等于所述預設的閾值，則所述邊緣塊為垂直邊緣塊；如果所述每列邊緣像素值的總數(shù)等于所述預設的閾值，則所述邊緣塊為水平邊緣塊；如果所述每行邊緣像素值的總數(shù)和所述每列邊緣像素值的總數(shù)都等于所述預設的閾值，則所述邊緣塊為斜向邊緣塊；如果所述邊緣像素值的總數(shù)大于所述預設的閾值，則所述邊緣塊為復雜邊緣塊。10、如權(quán)利要求6所述超分辨率圖像重構(gòu)方法，其特征在于，所述通過對邊緣塊的自舉擴充所述訓練圖像塊的集合具體包括通過旋轉(zhuǎn)所述邊緣塊生成所述訓練圖像塊；在每次旋轉(zhuǎn)所述邊緣塊之后，分配一個標簽來標識需要逆時針旋轉(zhuǎn)的次數(shù)；根據(jù)所述標簽旋轉(zhuǎn)所述標簽對應的邊緣塊，以擴充所述訓練圖像塊的集合。11、如權(quán)利要求1所述超分辨率圖像重構(gòu)方法，其特征在于，當所述第一圖像的圖像塊像素點的灰度值為^，所述圖像塊的大小為s時，所述圖像塊的標準光照特征通過以下公式獲得<formula>formulaseeoriginaldocumentpage4</formula>12、一種超分辨率圖像重構(gòu)裝置，其特征在于，包括特征獲取模塊，用于獲取第一圖像的一階梯度特征和標準光照特征；鄰域嵌套模塊，與所述特征獲取模塊連接，用于根據(jù)所述特征獲取模塊獲取的一階梯度特征和標準光照特征對所述第一圖像進行鄰域嵌套，得到分辨率高于所述第一圖像的第二圖像。13、如權(quán)利要求12所述超分辨率圖像重構(gòu)裝置，其特征在于，所述鄰域嵌套模塊包括邊緣檢測子模塊，用于對所述第一圖像進行邊緣檢測，確定所述第一圖像的圖像塊的邊緣類型；圖像塊搜索子模塊，與所述邊緣檢測子模塊連接，用于根據(jù)所述邊緣檢測子模塊確定的第一圖像的圖像塊的邊緣類型，在訓練圖像塊集合中搜索最近鄰的訓練圖像塊；圖像合成子模塊，與所述圖像塊搜索子it塊連接，用于利用所述圖像塊搜索子模塊搜索到的所述最近鄰的訓練圖像塊，合成分辨率高于所述第一圖像的第二圖像。14、如權(quán)利要求13所述超分辨率圖像重構(gòu)裝置，其特征在于，所述特征獲取模塊包括梯度特征獲取子模塊，用于獲取所述第一圖像的一階梯度特征；光照特征獲取子模塊，用于獲取所述第一圖像的標準光照特征。全文摘要本發(fā)明公開了一種超分辨率圖像重構(gòu)方法，包括以下步驟獲取第一圖像的一階梯度特征和標準光照特征；根據(jù)所述一階梯度特征和標準光照特征對所述第一圖像進行鄰域嵌套，得到分辨率高于所述第一圖像的第二圖像。通過本發(fā)明實施例，通過一階梯度特征和標準光照特征的加權(quán)組合來保證圖像塊之間的幾何分布具有較高的相似度，并區(qū)分圖像塊的類型，同時為了提高搜索性能的速度，僅針對邊緣圖像塊進行旋轉(zhuǎn)，這也節(jié)省了存儲的空間。文檔編號G06T5/00GK101226631SQ20071019570公開日2008年7月23日申請日期2007年12月12日優(yōu)先權(quán)日2007年12月12日發(fā)明者左坤隆,張軍平,楊海欽,海陳,陳德銘申請人:華為技術(shù)有限公司;復旦大學