一種用于圖像超分辨的分層亞像素運動估計方法
【專利摘要】本發(fā)明提供一種用于圖像超分辨的分層亞像素運動估計方法，屬于圖像處理領域。該方法分為整像素運動估計和亞像素運動估計兩個階段。進行整像素運動估計時采用小波分解，構造圖像金字塔，并通過采用重疊塊運動估計和UMHexagonS算法逐層進行由粗到精的快速匹配。進行亞像素運動估計時采用NEDI插值，以快速得到準確的估計結果。實驗結果表明該方法以極小的搜索代價獲得了相當準確的搜索結果。
【專利說明】—種用于圖像超分辨的分層亞像素運動估計方法
【技術領域】
[0001]本發(fā)明涉及一種用于圖像超分辨的分層亞像素運動估計方法，屬于圖像處理【技術領域】。
【背景技術】
[0002]在大量的電子圖像應用領域，人們經常期望得到高分辨率(簡稱HR)圖像。高分辨率意味著圖像中的像素密度高，能夠提供更多的細節(jié)，而這些細節(jié)在許多實際應用中不可或缺。例如，高分辨率醫(yī)療圖像對于醫(yī)生做出正確的診斷是非常有幫助的；使用高分辨率衛(wèi)星圖像就能很容易從相似物中區(qū)別相似的對象；如果能夠提供高分辨的圖像，計算機視覺中的模式識別的性能就會大大提高。因此，尋找一種增強當前分辨率水平的方法是非常必須的。
[0003]一種很有前途的方法就是采用信號處理的方法從多個可觀察到的低分辨率(簡稱LR)圖像得到高分辨率圖像。其基本前提是對于同一場景可以獲取多幅LR細節(jié)圖像，并且LR圖像是基于亞像素精度的平移亞采樣。如果每幅LR圖像彼此之間都是不同的亞像素平移，那么它們彼此之間就不會相互包含，在這種情況下，每一幅LR圖像都會為HR圖像的復原提供一些不同的信息。通過亞像素運動估計，得到低分辨率圖像間的運動矢量就可以從多幅LR圖像中合成出HR圖像。因此，精確而快速的亞像素運動估計成為決定超分辨效果的關鍵技術。
[0004]亞像素運動估計是在整像素運動估計的基礎上將估計精度提聞到亞像素級別，其普遍采用的方法是塊搜索與插值相結合的算法。在所有塊搜索算法中，全搜索算法是精度最高的，但由于其計算量過高，難以用于實際應用。而普遍采用的菱形搜索、三步搜索等快速搜索算法由于其算法自身缺陷容易陷入局部最優(yōu)解，影響運動估計的準確性。在插值階段常用的雙線性插值算法以灰度加權值作為新的灰度值，使得新圖像出現(xiàn)邊緣模糊問題。因此，一種好的亞像素運動估計方法必須同時考慮搜索精度和運算速度。

【發(fā)明內容】

[0005]為解決傳統(tǒng)亞像素運動估計方法中的局部最優(yōu)和邊緣模糊問題，實現(xiàn)準確而快速的亞像素運動估計，本發(fā)明提出一種UMHexagonS算法與小波分解相結合的方法。UMHexagonS算法使用非對稱十字型多層次六邊形格點搜索策略，對小幅度運動向量和大幅度運動向量都有很好的適應性，能盡可能避免菱形搜索、三步搜索等快速搜索算法的局部最優(yōu)問題，UMHexagonS算法與小波分解相結合,進行由粗到精的分層搜索，進一步降低了算法的計算復雜度，使算法最終達到的估計精度與全搜索近似，而計算復雜度與全搜索相比大大降低。進行亞像素運動估計時采用NEDI插值，以快速得到準確的估計結果。
[0006]為實現(xiàn)上述發(fā)明目的，本發(fā)明采用下述技術方案:
[0007]—種用于圖像超分辨的分層亞像素運動估計方法，該方法將UMHexagonS算法與小波分解相結合，實現(xiàn)準確而快速的亞像素運動估計，該方法包括以下步驟:[0008]步驟1:將參考圖像R和待配準圖像F分別采用小波分解生成圖像金字塔，并分別取其低頻信息LL分量作為搜索對象；
[0009]步驟2:從最頂層開始,采用UMHexagonS算法進行搜索；
[0010]步驟3:以上一層的搜索結果作為下一層搜索的粗略位置，直到得到原分辨率圖像的搜索結果；
[0011]步驟4:對待配準圖像進行NEDI插值，放大倍數(shù)為N ；
[0012]步驟5:對插值后的圖像塊下采樣，生成一組低分辨率的圖像塊；
[0013]步驟6:將參考圖像R中的匹配塊與步驟5得到的低分辨率圖像塊進行匹配，得到亞像素級的配準結果。
[0014]優(yōu)選的，在步驟I中采用haar小波對參考圖像R和待配準圖像F分解生成圖像金字塔。
[0015]優(yōu)選的，在步驟2和步驟3中采用重疊塊運動估計，以提高運動估計的效果，降低塊效應。
[0016]優(yōu)選的，在步驟5中對插值后的圖像塊在水平方向上和垂直方向上每隔N個點取一個點，生成一組低分辨率圖像塊。
[0017]優(yōu)選的，在步驟5中對待配準圖像F進行分塊時采用重疊塊的形式。
[0018]優(yōu)選的，在步驟6中采用重疊塊運動估計，以提高運動估計的效果，降低塊效應。
[0019]本發(fā)明中，采用小波分解構造圖像金字塔，具有抗噪聲和平滑的特點，進行由粗到精的逐級搜索以加快搜索速度，并且采用NEDI插值，它運用了自相似性的概念，其邊緣導向特性可以協(xié)調插值的系數(shù)，使得隨機導向的階躍邊緣更加匹配。在進行塊運動估計時，采用重疊塊運動估計，提升了運動估計的效果，降低了塊效應。并且采用了 UMHexagonS搜索算法，其運算精度與全搜索近似，而運算復雜度大大降低。實驗結果表明，本方法搜索位置數(shù)下降率在90%以上，而搜索精度比全搜索沒有明顯下降，本發(fā)明提出的分層亞像素運動估計方法，在兼顧到配準精度的同時，極大地降低了算法的運算量，提升了配準效率。
【專利附圖】

【附圖說明】
[0020]圖1是本發(fā)明所述的用于圖像超分辨的分層亞像素運動估計方法的流程圖；
[0021]圖2是Lena圖像小波多分辨率分解結果示意圖；
[0022](a)原圖
[0023](b)—級分解圖
[0024](C) 二級分解圖
[0025]圖3是圖像金字塔模型示意圖；
[0026]圖4是UMHexagonS算法搜索過程的示意圖；
[0027]圖5是多分辨率法分層搜索示意圖；
[0028]圖6是NEDI插值過程示意圖。
[0029](a)第一步
[0030](b)第二步
【具體實施方式】[0031]本發(fā)明提出一種UMHexagonS算法與小波分解相結合的方法。UMHexagonS算法使用非對稱十字型多層次六邊形格點搜索策略，對小幅度運動向量和大幅度運動向量都有很好的適應性，能盡可能避免菱形搜索、三步搜索等快速搜索算法的局部最優(yōu)問題，UMHexagonS算法與小波分解相結合,進行由粗到精的分層搜索,進一步降低了算法的計算復雜度，使算法最終達到的估計精度與全搜索近似，而計算復雜度與全搜索相比大大降低。進行亞像素運動估計時采用NEDI插值，以快速得到準確的估計結果。圖1中明確表示了本發(fā)明所述方法的整體流程，具體實施步驟如下:
[0032]步驟1:將參考圖像R和待配準圖像F用haar小波分解后生成圖像金字塔模型，它的每一級都包括LL、LH、HL、HH分量，選取LL分量作為搜索的對象，圖2所示為Iena圖像小波分解結果的示意圖，圖3所示為生成三層圖像金字塔模型的示意圖。
[0033]步驟2:從最頂層開始進行搜索，搜索時采用重疊塊運動估計，將圖像分塊向外擴展一部分，以減輕塊效應。采用UMHexagonS算法進行搜索,UMHexagonS算法的搜索過程如圖4所示:
[0034](I)首先進行非對稱的十字型搜索，用“Λ”表示，水平方向的搜索范圍為豎直方向的兩倍，這一步可以為下一步的搜索提供精確的搜索起點；
[0035](2)以步驟(1)確定的搜索起點為中心進行5x5的全搜索，用“O”表示，以確定小運動的精確運動向量；
[0036](3)進行16個點的六邊形搜索，用“□”表示，構造不同尺度的多六邊形網格，其最佳搜索位置作為下一步搜索的搜索中心；
[0037](4)進行擴展搜`索，直到最佳搜索位置位于搜索區(qū)域的中心，用“ V ”和“`”表示。
[0038]步驟3:以上一層的搜索結果作為下一層搜索的粗略位置，直到得到原分辨率圖像的搜索結果，在進行逐級搜索時，以一層分解為例，先對低分辨率圖像塊進行搜索配準，得到一個運動向量(x，y)，然后再將高分辨率圖像塊，即原待配準圖像塊，在以參考圖像的坐標點(2x, 2y)為中心的周圍進行小范圍的配準,如圖5所示,在(2x, 2y)點向四周擴展兩個像素(灰色圓點處)細化配準結果。
[0039]步驟4:對待配準圖像F進行插值，放大倍數(shù)為N，插值時采用NEDI插值，假設縮放系數(shù)N等于2，NEDI插值可以分成兩步，如圖6所示。第一步是對點(2i+l，2j+l)進行插值，插值后的灰度值根據(jù)四個臨近對角的像素灰度值按以下公式計算確定:

I I
[0040]^2/+1,27+1 - ΣΣα2^+1 * ^+中如)

k=Q 1=0
[0041]第二步是用同樣的方法在旋轉45°之后，將剩余的空白點進行插值。
[0042]步驟5:對插值后的圖像塊下采樣，即在水平和垂直方向上每間隔N個點取一點，生成一組低分辨率的圖像塊。
[0043]步驟6:將參考圖像R中的匹配塊與步驟5得到的插值圖像塊進行匹配，得到最佳運動向量。將這個運動乘以后，就得到了亞像素級的配準結果。
[0044]以上公開的僅為本發(fā)明的具體實施例，根據(jù)本發(fā)明提供的思想，本領域的技術人員能思及的變化，都應落入本發(fā)明的保護范圍內。
【權利要求】
1.一種用于圖像超分辨的分層亞像素運動估計方法，該方法將UMHexagonS算法與小波分解相結合，實現(xiàn)準確而快速的亞像素運動估計，其特征在于進一步包括以下步驟: 步驟1:將參考圖像R和待配準圖像F分別采用小波分解生成圖像金字塔，并分別取其低頻信息LL分量作為搜索對象； 步驟2:從最頂層開始,采用UMHexagonS算法進行搜索； 步驟3:以上一層的搜索結果作為下一層搜索的粗略位置，直到得到原分辨率圖像的搜索結果； 步驟4:對待配準圖像進行NEDI插值，放大倍數(shù)為N ； 步驟5:對插值后的圖像塊下采樣，生成一組低分辨率的圖像塊； 步驟6:將參考圖像R中的匹配塊與步驟5得到的低分辨率圖像塊進行匹配，得到亞像素級的配準結果。
2.根據(jù)權利要求1所述的用于圖像超分辨的分層亞像素運動估計方法，其特征在于在步驟I中采用haar小波對參考圖像R和待配準圖像F分解生成圖像金字塔。
3.根據(jù)權利要求1所述的用于圖像超分辨的分層亞像素運動估計方法，其特征在于在步驟2和步驟3中采用重疊塊運動估計，以提高運動估計的效果，降低塊效應。
4.根據(jù)權利要求1所述的用于圖像超分辨的分層亞像素運動估計方法，其特征在于在步驟5中對插值后的圖像塊在水平方向上和垂直方向上每隔N個點取一個點，生成一組低分辨率圖像塊。
5.根據(jù)權利要求1所述的用于圖像超分辨的分層亞像素運動估計方法，其特征在于在步驟5中對待配準圖像F進行分塊時采用重疊塊的形式。
6.根據(jù)權利要求1所述的用于圖像超分辨的分層亞像素運動估計方法，其特征在于在步驟6中采用重疊塊運動估計，以提高運動估計的效果，降低塊效應。
【文檔編號】H04N19/53GK103873875SQ201410114075
【公開日】2014年6月18日 申請日期:2014年3月25日 優(yōu)先權日:2014年3月25日
【發(fā)明者】劉琚, 伯君, 孫國霞, 趙悅 申請人:山東大學