本發(fā)明涉及圖像處理領(lǐng)域，尤其是涉及了一種基于反向傳播神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建方法。

背景技術(shù)：

隨著科技技術(shù)迅速發(fā)展，通過合成孔徑雷達系統(tǒng)獲取的遙感圖像，因為能排除天氣和季節(jié)的干擾，在災(zāi)害監(jiān)測、環(huán)境監(jiān)測、資源勘探等領(lǐng)域起著重要作用。但是，由于成像裝置的限制，只能獲得低分辨率的圖像。此外，合成孔徑雷達圖像受到斑點噪聲的嚴重影響，許多現(xiàn)有的超分辨率重建算法在處理這類圖像時都不能獲得一個較高的精度和較好的性能。而如果采用基于反向傳播神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建方法，則可以利用改進的非局部均值方法和反向傳播神經(jīng)網(wǎng)絡(luò)的融合，重建保持大量原始圖像細節(jié)的圖像。在神經(jīng)網(wǎng)絡(luò)的強非線性映射能力的幫助下，可以進一步提高精度和性能。還可以應(yīng)用于航空測量、航空遙感、衛(wèi)星海洋觀測、航天偵查、圖像匹配制導(dǎo)等多個領(lǐng)域。

本發(fā)明提出了一種基于反向傳播神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建方法，它結(jié)合非局部均值方法和反向傳播神經(jīng)網(wǎng)絡(luò)，首先對合成孔徑雷達圖像進行預(yù)處理，將圖像的乘性噪聲轉(zhuǎn)化為加性噪聲，并利用改進的非局部均值去噪，再用求冪運算恢復(fù)圖像；然后借助核函數(shù)保持縮小圖像清晰的邊緣；最后經(jīng)由反向傳播神經(jīng)網(wǎng)絡(luò)處理，獲得超分辨率重建結(jié)果。本發(fā)明由于采用神經(jīng)網(wǎng)絡(luò)模型，節(jié)省大量的計算資源和時間；改進的非局部均值方法不僅將低分辨率圖像重建為高分辨率圖像，而且對合成孔徑雷達圖像中的斑點噪聲進行去噪，并且與反向傳播神經(jīng)網(wǎng)絡(luò)的組合大大地改善了這種效果。

技術(shù)實現(xiàn)要素：

針對合成孔徑雷達圖像分辨率較低的問題，本發(fā)明的目的在于提供一種基于反向傳播神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建方法。

為解決上述問題，本發(fā)明提供一種基于反向傳播神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建方法，其主要內(nèi)容包括：

(一)圖像輸入；

(二)預(yù)處理；

(三)圖像去噪；

(四)保持圖像邊緣；

(五)反向傳播神經(jīng)網(wǎng)絡(luò)。

其中，一種基于反向傳播神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建方法，利用圖像的自相似性，通過非局部均值處理獲得針對特定超分辨率的相似像素；使用核函數(shù)，其借助細微變化使得在縮小的圖像中仍能保持清晰的邊緣；將去噪后的圖像作為反向傳播神經(jīng)網(wǎng)絡(luò)的輸入，得到最終超分辨率重建結(jié)果；訓(xùn)練該網(wǎng)絡(luò)的樣本圖像通過欠采樣方法獲得。

其中，所述的圖像輸入，選取由合成孔徑雷達獲取的遙感圖像作為輸入數(shù)據(jù)；遙感圖像是地面上的目標(biāo)的圖像，包含從不同角度和高度獲取的特征；合成孔徑雷達圖像充滿乘性的斑點噪聲，而且受成像裝置的限制，分辨率較低。

其中，所述的預(yù)處理，由于非局部均值主要用于去除自然圖像中的高斯噪聲，高斯噪聲是加性的，而合成孔徑雷達圖像充滿乘性噪聲；通過使用對數(shù)，將乘法計算轉(zhuǎn)換為加法計算，從而可以應(yīng)用非局部均值進行去噪。

進一步地，所述的對數(shù)轉(zhuǎn)換，使用等式(1)和(2)將圖像中的乘性噪聲轉(zhuǎn)換為加性噪聲：

u(v)＝v(x)*n(x) (1)

log u(v)＝log v(x)+log n(x) (2)

最后，使用求冪運算恢復(fù)圖像。

其中，所述的圖像去噪，利用圖像的冗余來維持圖像的主要特征，同時去噪；它計算周圍像素的平均值，然而，該算法還通過將權(quán)重加入到計算中來考慮周圍像素和目標(biāo)像素之間的相似性；隨著權(quán)重的影響，該算法能夠保持圖像中的詳細信息；

其關(guān)鍵思想是從周圍像素的灰度的加權(quán)算術(shù)平均值獲得目標(biāo)像素的估計灰度，對于每個目標(biāo)像素x，都有搜索窗口和鄰域窗口；

對搜索窗口中的每個像素y，計算歐幾里德距離‖V(x)-V(y)‖²；它們之間的權(quán)重由式(3)計算：

Z(x)被用于標(biāo)準(zhǔn)化權(quán)重，h在這里被稱為平滑參數(shù)，用于修改exp()中的值；當(dāng)鄰域窗口很大時，‖V(x)-V(y)‖²也很大；難以從w(x,y)看到差異，因為在具有不同相似性的像素之間的方差將非常??；最后，通過公式(5)獲得目標(biāo)像素的灰度估計：

u(x)＝∑_y∈Iw(x,y)*v(y) (5)

針對超分辨率重建，采用改進后的非局部均值處理圖像像素。

進一步地，所述的改進后的非局部均值，搜索窗口在原始圖像的縮小圖像中；假設(shè)有一個256*256的原始圖像，然后將具有由原始圖像縮小之后對應(yīng)于目標(biāo)像素的周圍像素組成的搜索窗口，而鄰域窗口仍然在原始圖像中；

對于搜索窗口中的每個像素y，以與原始圖像相同的方式計算歐幾里德距離和權(quán)重；然后，由于128*128中的每個像素對應(yīng)于256*256中的四個像素，我們可以在256*256中獲得目標(biāo)像素512*512中的四個對應(yīng)像素；記原始圖像中的y′，y″，y″′，y″″是縮小圖像中y的四個對應(yīng)像素，放大圖像中的x′，x″，x″′，x″″是原始圖像中x的四個對應(yīng)像素，將非局部均值修正為：

并且原始圖像將在每個像素經(jīng)過該公式處理之后被放大四次。

其中，所述的保持圖像邊緣，當(dāng)兩個鄰域之間的距離小時，非局部均值的理想核心函數(shù)應(yīng)該產(chǎn)生大的權(quán)重，并且當(dāng)兩個鄰域之間的距離非常大時，提供非常小的權(quán)重；因此每個像素必須在處理開始時經(jīng)過對數(shù)處理，導(dǎo)致距離相當(dāng)?。划?dāng)變量小于0時，與原始非局部均值的核函數(shù)的低階導(dǎo)數(shù)一起，原始方法在我們的算法中表現(xiàn)差：

此外，當(dāng)使用改進后的非局部均值時，由于目標(biāo)圖像中的每個像素將在算法中被放大為四個像素，因此對核函數(shù)的距離的變化的敏感性變得非常顯著，對此提出了余弦核函數(shù)：

但該余弦核函數(shù)在其范圍內(nèi)存在問題，通常很難找到一個合適的h；如果h太大，圖像將很模糊，否則如果h太小，許多點將為空；通過結(jié)合以上兩種核函數(shù)得到改進后的核函數(shù)，它能很好的解決上述的問題。

進一步地，所述的改進后的核函數(shù)，結(jié)合新的核函數(shù)和原來的核函數(shù)，得到：

在這個函數(shù)中，即使它有點太大，內(nèi)部函數(shù)的導(dǎo)數(shù)很小，但是指數(shù)函數(shù)的導(dǎo)數(shù)將彌補這個缺陷；它在這里用于修改值，產(chǎn)生具有指數(shù)函數(shù)的適當(dāng)導(dǎo)數(shù)；經(jīng)改進后的核心函數(shù)處理后的圖像有更好的去噪效果并保持大多數(shù)細節(jié)。

其中，所述的反向傳播神經(jīng)網(wǎng)絡(luò)，選擇非局部均值的像素值作為網(wǎng)絡(luò)的輸入，利用反向傳播神經(jīng)網(wǎng)絡(luò)的強非線性映射能力，找出輸入和輸出之間的隱藏關(guān)系；在本專利中，反向傳播算法在證明目標(biāo)像素和結(jié)果像素之間的最大相似性發(fā)揮了非常重要的作用。

附圖說明

圖1是本發(fā)明一種基于反向傳播神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建方法的系統(tǒng)流程圖。

圖2是本發(fā)明一種基于反向傳播神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建方法的合成孔徑雷達圖像。

具體實施方式

需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實施例對本發(fā)明作進一步詳細說明。

圖1是本發(fā)明一種基于反向傳播神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建方法的系統(tǒng)流程圖。主要包括圖像輸入；預(yù)處理；圖像去噪；保持圖像邊緣；反向傳播神經(jīng)網(wǎng)絡(luò)。

其中，所述的圖像輸入，選取由合成孔徑雷達獲取的遙感圖像作為輸入數(shù)據(jù)；遙感圖像是地面上的目標(biāo)的圖像，包含從不同角度和高度獲取的特征；合成孔徑雷達圖像充滿乘性的斑點噪聲，而且受成像裝置的限制，分辨率較低。

其中，所述的預(yù)處理，由于非局部均值主要用于去除自然圖像中的高斯噪聲，高斯噪聲是加性的，而合成孔徑雷達圖像充滿乘性噪聲；通過使用對數(shù)，將乘法計算轉(zhuǎn)換為加法計算，從而可以應(yīng)用非局部均值進行去噪。

進一步地，所述的對數(shù)轉(zhuǎn)換，使用等式(1)和(2)將圖像中的乘性噪聲轉(zhuǎn)換為加性噪聲：

u(v)＝v(x)*n(x) (1)

log u(v)＝log v(x)+log n(x) (2)

最后，使用求冪運算恢復(fù)圖像。

其中，所述的圖像去噪，利用圖像的冗余來維持圖像的主要特征，同時去噪；它計算周圍像素的平均值，然而，該算法還通過將權(quán)重加入到計算中來考慮周圍像素和目標(biāo)像素之間的相似性；隨著權(quán)重的影響，該算法能夠保持圖像中的詳細信息；

其關(guān)鍵思想是從周圍像素的灰度的加權(quán)算術(shù)平均值獲得目標(biāo)像素的估計灰度，對于每個目標(biāo)像素x，都有搜索窗口和鄰域窗口；

對搜索窗口中的每個像素y，計算歐幾里德距離‖V(x)-V(y)‖²；它們之間的權(quán)重由式(3)計算：

Z(x)被用于標(biāo)準(zhǔn)化權(quán)重，h在這里被稱為平滑參數(shù)，用于修改exp()中的值；當(dāng)鄰域窗口很大時，‖V(x)-V(y)‖²也很大；難以從w(x,y)看到差異，因為在具有不同相似性的像素之間的方差將非常小；最后，通過公式(5)獲得目標(biāo)像素的灰度估計：

u(x)＝∑_y∈Iw(x,y)*v(y) (5)

針對超分辨率重建，采用改進后的非局部均值處理圖像像素。

進一步地，所述的改進后的非局部均值，搜索窗口在原始圖像的縮小圖像中；假設(shè)有一個256*256的原始圖像，然后將具有由原始圖像縮小之后對應(yīng)于目標(biāo)像素的周圍像素組成的搜索窗口，而鄰域窗口仍然在原始圖像中；

對于搜索窗口中的每個像素y，以與原始圖像相同的方式計算歐幾里德距離和權(quán)重；然后，由于128*128中的每個像素對應(yīng)于256*256中的四個像素，我們可以在256*256中獲得目標(biāo)像素512*512中的四個對應(yīng)像素；記原始圖像中的y′，y″，y″′，y″″是縮小圖像中y的四個對應(yīng)像素，放大圖像中的x′，x″，x″′，x″″是原始圖像中x的四個對應(yīng)像素，將非局部均值修正為：

并且原始圖像將在每個像素經(jīng)過該公式處理之后被放大四次。

其中，所述的保持圖像邊緣，當(dāng)兩個鄰域之間的距離小時，非局部均值的理想核心函數(shù)應(yīng)該產(chǎn)生大的權(quán)重，并且當(dāng)兩個鄰域之間的距離非常大時，提供非常小的權(quán)重；因此每個像素必須在處理開始時經(jīng)過對數(shù)處理，導(dǎo)致距離相當(dāng)??；當(dāng)變量小于0時，與原始非局部均值的核函數(shù)的低階導(dǎo)數(shù)一起，原始方法在我們的算法中表現(xiàn)差：

此外，當(dāng)使用改進后的非局部均值時，由于目標(biāo)圖像中的每個像素將在算法中被放大為四個像素，因此對核函數(shù)的距離的變化的敏感性變得非常顯著，對此提出了余弦核函數(shù)：

但該余弦核函數(shù)在其范圍內(nèi)存在問題，通常很難找到一個合適的h；如果h太大，圖像將很模糊，否則如果h太小，許多點將為空；通過結(jié)合以上兩種核函數(shù)得到改進后的核函數(shù)，它能很好的解決上述的問題。

進一步地，所述的改進后的核函數(shù)，結(jié)合新的核函數(shù)和原來的核函數(shù)，得到：

在這個函數(shù)中，即使它有點太大，內(nèi)部函數(shù)的導(dǎo)數(shù)很小，但是指數(shù)函數(shù)的導(dǎo)數(shù)將彌補這個缺陷；它在這里用于修改值，產(chǎn)生具有指數(shù)函數(shù)的適當(dāng)導(dǎo)數(shù)；經(jīng)改進后的核心函數(shù)處理后的圖像有更好的去噪效果并保持大多數(shù)細節(jié)。

其中，所述的反向傳播神經(jīng)網(wǎng)絡(luò)，選擇非局部均值的像素值作為網(wǎng)絡(luò)的輸入，利用反向傳播神經(jīng)網(wǎng)絡(luò)的強非線性映射能力，找出輸入和輸出之間的隱藏關(guān)系；在本專利中，反向傳播算法在證明目標(biāo)像素和結(jié)果像素之間的最大相似性發(fā)揮了非常重要的作用。

圖2是本發(fā)明一種基于反向傳播神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建方法的合成孔徑雷達圖像。由合成孔徑雷達獲取的遙感圖像作為輸入數(shù)據(jù)；遙感圖像是地面上的目標(biāo)的圖像，包含從不同角度和高度獲取的特征；合成孔徑雷達圖像充滿乘性的斑點噪聲，而且受成像裝置的限制，分辨率較低。

對于本領(lǐng)域技術(shù)人員，本發(fā)明不限制于上述實施例的細節(jié)，在不背離本發(fā)明的精神和范圍的情況下，能夠以其他具體形式實現(xiàn)本發(fā)明。此外，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精神和范圍，這些改進和變型也應(yīng)視為本發(fā)明的保護范圍。因此，所附權(quán)利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明范圍的所有變更和修改。