基于surf匹配和邊緣檢測的凸集投影圖像重構(gòu)方法
【專利摘要】本發(fā)明公開了一種基于SURF匹配和邊緣檢測的凸集投影(POCS)圖像重構(gòu)方法。針對傳統(tǒng)的POCS超分辨率圖像重構(gòu)算法出現(xiàn)的邊緣模糊及匹配時的局限性問題，首先利用二階梯度檢測出像素周圍0°、45°、90°、135°四個邊緣。在構(gòu)造參考幀時采用基于梯度的插值算法，沿邊緣方向進(jìn)行線性插值，沿非邊緣方向進(jìn)行基于一階梯度的權(quán)重插值。在運(yùn)動估計(jì)時，采用SURF匹配算法，提高匹配的魯棒性和實(shí)時性。在修正參考幀時，分別定義中心在四個邊緣方向的點(diǎn)擴(kuò)散函數(shù)(PSF)。利用完全參考圖像質(zhì)量評價(jià)和無參考圖像質(zhì)量評價(jià)分別對仿真實(shí)驗(yàn)和實(shí)物實(shí)驗(yàn)進(jìn)行評價(jià)。本發(fā)明明顯的改善了重構(gòu)后圖像的質(zhì)量并且提高了匹配的魯棒性和實(shí)時性。
【專利說明】基于SURF匹配和邊緣檢測的凸集投影圖像重構(gòu)方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及了一種基于SURF匹配和邊緣檢測的凸集投影圖像重構(gòu)方法，它是一 種在利用現(xiàn)有成像設(shè)備前提下可通過軟件算法獲取令人滿意的高分辨率圖像的方法，在 航拍照片、醫(yī)學(xué)圖像處理、衛(wèi)星遙感成像等領(lǐng)域具有廣泛的應(yīng)用，屬于圖像處理增強(qiáng)技術(shù)領(lǐng) 域。

【背景技術(shù)】
[0002] 現(xiàn)今數(shù)碼相機(jī)日益普及，衡量其性能的一個重要指標(biāo)就是分辨率，獲取高分辨率 的圖像具有非常重要的價(jià)值。高分辨率的X-光片，CT圖像，MRI圖像能讓醫(yī)生準(zhǔn)確的定位 病變位置，提高診斷的準(zhǔn)確性；高分辨率的衛(wèi)星云圖能提高氣象預(yù)報(bào)的準(zhǔn)確度；高分辨率 的資源衛(wèi)星照片，能提供準(zhǔn)確的植被和沙漠等的分布情況，為政府決策提供支持。一般而 言，成像系統(tǒng)獲取圖像的過程，也是圖像降質(zhì)的過程。圖像的獲取過程包括：運(yùn)動部分包含 景物和成像系統(tǒng)之間的運(yùn)動，以及在多次成像時幀與幀之間的運(yùn)動；模糊部分包含光學(xué)鏡 頭的非線性作用所產(chǎn)生的失真，以及感光單元的積分作用所產(chǎn)生的模糊；實(shí)際景物具有豐 富的細(xì)節(jié)，即其空域頻率較高，而感光陣列因制造工藝的原因，其空域采樣頻率有限，因而 產(chǎn)生降采樣現(xiàn)象；在整個成像的過程中都伴隨著噪聲的影響。因此，在獲取圖像的過程中由 于受到外界環(huán)境及成像系統(tǒng)的限制，形成了變形、模糊、有噪的低分辨率圖像，難以滿足實(shí) 際需要，于是超分辨率重構(gòu)技術(shù)應(yīng)運(yùn)而生。
[0003] 超分辨率圖像重構(gòu)是指對多幅存在全局或局部運(yùn)動、信息互補(bǔ)重疊的低分辨率 圖像進(jìn)行處理，以獲得高分辨率圖像的過程。目前超分辨率圖像重構(gòu)算法可以大致分為 兩個方向：一是空間域方法；二是頻率域方法。頻率域方法研究開展的比較早，1984年， Tsai和Huang最早提出頻率域方法，但是由于它自身的局限性，目前應(yīng)用的比較多的是空 間域的方法。空間域方法主要包括非均勻空域樣本內(nèi)插法、迭代反投影方法、凸集投影方法 P0CS(projectionontoconvexset)、最大后驗(yàn)概率估計(jì)法MAP(maximumaposteriori)、 混合MAP/P0CS方法以及自適應(yīng)濾波方法等。POCS算法簡單有效，對先驗(yàn)知識的利用最直 接，是目前解決超分辨率圖像重構(gòu)的一種通行算法。
[0004] POCS算法是由低分辨率觀測序列以及由凸約束集約束加入的一些先驗(yàn)知識來對 場景進(jìn)行估計(jì)，尋找真實(shí)高分辨率圖像的最優(yōu)估計(jì)，從而得到高分辨率圖像。POCS超分辨率 圖像重構(gòu)過程分為構(gòu)造參考幀，運(yùn)動估計(jì)和修正參考幀。POCS算法對初始高分辨率圖像估 計(jì)值的選取嚴(yán)重依賴，直接影響后續(xù)重構(gòu)結(jié)果。傳統(tǒng)插值算法得到的初始估計(jì)值沒有考慮 邊緣模糊的影響。在初始值確定以后，代入傳統(tǒng)POCS算法進(jìn)行修正，會產(chǎn)生一定的邊緣振 蕩效應(yīng)，直觀表現(xiàn)就是圖像出現(xiàn)陰影部分。運(yùn)動估計(jì)是進(jìn)行圖像重構(gòu)的一個重要步驟，通 過圖像匹配進(jìn)行運(yùn)動估計(jì)，獲取幾何映射矩陣的具體數(shù)值。映射矩陣的準(zhǔn)確獲取直接影響 圖像重構(gòu)的結(jié)果。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明針對用傳統(tǒng)POCS算法重構(gòu)高分辨率圖像時出現(xiàn)的邊緣模糊及匹配時的局 限性問題提出了改進(jìn)?？偭鞒虉D如圖1所示，包括：
[0006] 1、利用梯度插值法構(gòu)造參考幀
[0007] 首先通過計(jì)算中心像素的二階梯度值來確定當(dāng)前鄰域內(nèi)是否存在邊緣，然后根據(jù) 邊緣方向采用基于一階梯度的權(quán)重插值方法。
[0008]以低分辨率圖像中一點(diǎn)ref(i，j)為例，其八鄰域內(nèi)的四個方向0°，45°，90°， 135°通過二階梯度表示，其計(jì)算公式分別為：
[0009] (I1 =abs((ref(i,j-1)+ref(i,j+1)) /2~ref(i,j))
[0010] d2 =abs((ref(i~l,j+1)+ref(i+1,j-1) /2)-ref(i,j))
[0011] d3 =abs((ref(i~l,j)+ref(i+1,j)) /2~ref(i,j))
[0012] d4 =abs((ref(i~l,j~l)+ref(i+1,j+1)) /2~ref(i,j))
[0013] 計(jì)算整幅圖像像素鄰域內(nèi)四個方向的二階梯度值，然后找出每個像素二階梯度最 大值Cli(I<i< 4)與最小值Clj(I<j< 4)的差值，對整幅圖像像素得到的差值求和取平 均作為閾值S。當(dāng)像素點(diǎn)二階梯度最大值與最小值的差值小于閾值S時，表示該鄰域內(nèi)沒 有邊緣，否則二階梯度最小值表示的方向代表邊緣方向。
[0014] 圖像通過計(jì)算確定邊緣之后，沿邊緣方向進(jìn)行線性插值，非邊緣方向首先計(jì)算一 階梯度檢測邊緣的強(qiáng)弱，進(jìn)而估計(jì)權(quán)重因子進(jìn)行帶權(quán)線性插值。ref為原低分辨率圖像中的 一點(diǎn)，upref為對應(yīng)的高分圖像中的點(diǎn)。
[0015]

【權(quán)利要求】
1. POCS算法是由低分辨率觀測序列以及由凸約束集約束加入的一些先驗(yàn)知識來對場 景進(jìn)行估計(jì)，尋找真實(shí)高分辨率圖像的最優(yōu)估計(jì)，從而得到高分辨率圖像?；赟URF匹配 和邊緣檢測的凸集投影圖像重構(gòu)方法，其特征在于具體實(shí)施步驟如下： A構(gòu)造參考幀：選取低分辨率觀測幀序列中的一幀經(jīng)基于梯度插值得到高分辨率圖像 的初始估計(jì)作為參考巾貞； B運(yùn)動估計(jì)：以參考幀為基準(zhǔn)，與觀測幀序列中其他所有的低分辨率圖像分別進(jìn)行SURF圖像配準(zhǔn)，獲取位置變化矢量； C修正參考幀：利用仿射變換關(guān)系將觀測幀序列中每個像素映射到當(dāng)前估計(jì)的高分辨 率圖像中的相應(yīng)位置，確定不同邊緣處的點(diǎn)擴(kuò)散函數(shù)h(X，y)，并獲取h(X，y)作用范圍內(nèi)的 像素灰度值。利用凸約束集對當(dāng)前高分辨率圖像估計(jì)中的像素灰度值進(jìn)行修正。
2. 根據(jù)權(quán)利要求書1所述的基于SURF匹配和邊緣檢測的凸集投影圖像重構(gòu)方法，其特 征在于所述方法步驟A中的構(gòu)造參考幀是利用梯度插值法得到的，具體實(shí)施步驟如下： (1) 首先通過計(jì)算中心像素的二階梯度來確定當(dāng)前鄰域內(nèi)是否存在邊緣 以低分辨率圖像中一點(diǎn)ref(i，j)為例，其八鄰域內(nèi)的四個方向0°，45°，90°，135° 通過二階梯度表示，其計(jì)算公式分別為： (I1 =abs((ref(i,j-l)+ref(i,j+1))/2-ref(i,j))d2 =abs((ref(i-1,j+1)+ref(i+1,j-1))/2~ref(i,j)) d3 =abs((ref(i-1,j)+ref(i+1,j))/2-ref(i,j)) d4 =abs((ref(i-1,j-1)+ref(i+1,j+1))/2~ref(i,j)) 計(jì)算整幅圖像像素鄰域內(nèi)四個方向的二階梯度值，然后找出每個像素二階梯度最大值φ(1彡i彡4)與最小值+ (I彡j彡4)的差值，對整幅圖像像素得到的差值求和取平均作 為閾值S。當(dāng)像素點(diǎn)二階梯度最大值與最小值的差值小于閾值δ時，表示該鄰域內(nèi)沒有邊 緣，否則二階梯度最小值表示的方向代表邊緣方向。 (2) 根據(jù)邊緣分布進(jìn)行插值 圖像通過計(jì)算確定邊緣之后，沿邊緣方向進(jìn)行線性插值，非邊緣方向首先計(jì)算一階梯 度檢測邊緣的強(qiáng)弱，進(jìn)而估計(jì)權(quán)重因子進(jìn)行帶權(quán)線性插值。ref為原始低分辨率圖像中的一 點(diǎn)，upref為對應(yīng)的插值后的高分辨率圖像中的點(diǎn)的表示。
ref(i,j)映射到upref(2i-l，2j-l)，然后對該點(diǎn)的右upref(2i-l，2j)、下upref(2i, 2j-Ι)、右下upref(2i, 2j)進(jìn)行插值。在水平方向上利用水平梯度信息gh，垂直 方向上利用垂直梯度信息gv，對角線方向利用相鄰四個點(diǎn)的信息。 gh =abs(ref(i,j)-ref(i,j+1)) gv =abs(ref(i,j)-ref(i+1,j)) upref(2i-l, 2j) =min(ref(i,j),ref(i,j+1)) +gh*k upref(2i, 2j-1) =min(ref(i,j),ref(i+1,j)) +gv*k upref(2i, 2j) =(min(ref(i,j),ref(i+1,j)) +gv*k+min(ref(i,j+1),ref(i+1,j+1)) +gv+1*k) /2 k為帶權(quán)調(diào)整因子，對于灰度變化劇烈的邊緣采取特殊處理，使插入的新值盡量靠近灰 度值大的地方（0. 5 <k< 1)，減小對邊緣處灰度變化率的影響，保持圖像中的邊緣特征。
3. 根據(jù)權(quán)利要求書1所述的基于SURF匹配和邊緣檢測的凸集投影圖像重構(gòu)方法，其特 征在于所述方法步驟B中的運(yùn)動估計(jì)是通過SURF匹配實(shí)現(xiàn)的。具體實(shí)施步驟如下： (1)特征興趣點(diǎn)的檢測；（2)特征興趣點(diǎn)的描述；（3)特征興趣點(diǎn)的匹配；(4)特征興趣 點(diǎn)的剔除。
4. 根據(jù)權(quán)利要求書1所述的基于SURF匹配和邊緣檢測的凸集投影圖像重構(gòu)方法，其特 征在于所述方法步驟C中的修正參考幀是方向自適應(yīng)對應(yīng)不同的PSF來修正實(shí)現(xiàn)的，具體 實(shí)施步驟如下： (1) 首先仍然利用二階梯度對當(dāng)前估計(jì)的高分辨率圖像進(jìn)行邊緣檢測； (2) 針對獲取的4個方向選取如下公式所示的不同PSF來修正。
(3) 利用凸約束集中的數(shù)據(jù)一致性和灰度值有限性對當(dāng)前高分辨率圖像估計(jì)中的像素 灰度值進(jìn)行約束修正。
【文檔編號】G06T5/00GK104318518SQ201410499663
【公開日】2015年1月28日 申請日期:2014年9月26日 優(yōu)先權(quán)日:2014年9月26日
【發(fā)明者】王睿, 梁玉 申請人:北京航空航天大學(xué)