專利名稱：帶有薄云的多光譜和全色圖像融合方法
技術(shù)領(lǐng)域：
本發(fā)明屬于智能圖像處理領(lǐng)域，涉及去除薄云和圖像融合方法，可用于到軍事目標(biāo)識別、氣象監(jiān)測、環(huán)境監(jiān)測、土地利用、城市規(guī)劃以及防災(zāi)減災(zāi)等多個領(lǐng)域的技術(shù)。
背景技術(shù)：
自1972年美國實(shí)施地球資源衛(wèi)星計劃以來，衛(wèi)星技術(shù)在全球范圍內(nèi)迅猛發(fā)展，至今世界各主要發(fā)達(dá)國家和少數(shù)發(fā)展中國家，包括中國、印度等先后發(fā)射了數(shù)以百計的衛(wèi)星，作業(yè)波段覆蓋可見光至不可見的近紅外、短波紅外、中紅外、遠(yuǎn)紅外、微波等廣闊頻域。這些衛(wèi)星每天向散布在世界各地的衛(wèi)星地面站和移動接收站傳送覆蓋全球的海量衛(wèi)星遙感數(shù)據(jù)。由于衛(wèi)星遙感數(shù)據(jù)在空間上的連續(xù)性和時間上的序列性，因此到目前為止，是能夠提供全球范圍的動態(tài)觀測數(shù)據(jù)的唯一手段。目前廣泛應(yīng)用的衛(wèi)星遙感數(shù)據(jù)大部分是光學(xué)影像，盡管光學(xué)影像一般具有信息量大、分辨率高和圖像穩(wěn)定等特點(diǎn)。但同時，由于在成像過程中，常見大氣中云霧的存在，遙感衛(wèi)星在獲取圖像數(shù)據(jù)時往往連同云霧信息一起記錄下來。由于云霧的遮擋使得傳感器無法獲得云霧覆蓋區(qū)域的地物信息，從而嚴(yán)重影響了遙感光學(xué)圖像的質(zhì)量，當(dāng)部分圖像被較厚的云霧所覆蓋時，地物的信息將無法被傳感器接收，而對相對較薄的云霧，傳感器仍能接收部分的地物信息，但這種不完全信息對圖像中目標(biāo)的識別、分類，以及地物信息提取的精度，都造成了嚴(yán)重的影響。為有效提高遙感光學(xué)圖像的利用率，市場上有多種方法來減少或去除薄云薄霧對圖像的影響。目前市場上主要用到的方法有多光譜圖像法、多幅圖像疊加運(yùn)算法、基于圖像增強(qiáng)的方法，和基于圖像復(fù)原的方法等。多光譜法，是利用一種特殊的傳感器，或者多光譜圖像中某些波段對云霧具有較強(qiáng)的敏感性的特性，探測出云霧的信息。然后從原始圖像中減去云霧的信息，得到去除云霧后的圖像。該方法可以有效的去除圖像中的云霧，但是需要增加對云霧敏感的傳感器或者波段，成本較高，使得該種方法的應(yīng)用受到限制。多幅圖像疊加法，是通過對同一地區(qū)拍攝的不同季節(jié)、不同時間的圖像進(jìn)行疊加，得到信息圖像。由于同一地區(qū)在不同時間的地物信息常常會發(fā)生改變，嚴(yán)重影響了疊加運(yùn)算后的圖像的判讀?；趫D像復(fù)原的去除云霧的方法，是通過分析薄云退化圖像的機(jī)制和過程，尋找出相應(yīng)的反過程，從而得到原圖像的方法。但是從圖像復(fù)原的角度處理圖像，必須熟悉薄云退化圖像的機(jī)制和過程，由于薄云退化圖像的退化程度與目標(biāo)物和相機(jī)的距離相關(guān)，處理時必須結(jié)合相關(guān)的輔助信息，如大氣消光系數(shù)、目標(biāo)物和相機(jī)距離等，而這些信息的獲取成本較高，難以得到廣泛的應(yīng)用。基于圖像增強(qiáng)的去除云霧的方法，通常有同態(tài)濾波法和低頻濾波法兩種，同態(tài)濾波法是一種通過壓縮圖像的動態(tài)范圍，提升圖像高頻分量達(dá)到去除薄云的目的的方法。該方法對圖像細(xì)節(jié)不加區(qū)分，采用單一濾波器進(jìn)行增強(qiáng)，自適應(yīng)性較差；低頻濾波法通過對圖像進(jìn)行高斯低通濾波，得到圖像的背景圖像，通過原始圖像與背景圖像相減，來達(dá)到去除薄云的目的。該方法對薄云薄霧具有一定的去除效果，但是同時也削弱了圖像的背景，雖然后來采用了補(bǔ)償法進(jìn)行改善，但是從結(jié)果來看，該方法對去除云霧后的圖像仍然產(chǎn)生了信息的損失。由于單一的傳感器獲取的圖像在光譜信息和分辨率等方面很難滿足實(shí)際的需要，所以就需要利用傳感器圖像數(shù)據(jù)的冗余性，通過融合技術(shù)，將不同傳感器的圖像信息融合在一幅圖像中，比如多光譜和全色圖像，多光譜圖像具有較好的光譜信息，但是其空間分辨率低；全色圖像具有較高的空間分辨率，但是其光譜信息不夠豐富，所以就需要通過融合技術(shù)，得到高分辨率多光譜圖像，以獲得對地物信息更加準(zhǔn)確的描述。但是多光譜和全色圖像存在云霧信息的時候，融合技術(shù)并不能去除圖像中的云霧信息。對于帶有薄云的多光譜和全色圖像的融合，目前市場上是先對這兩幅圖像分別進(jìn)行云霧去除后，再進(jìn)行融合處理。對單一傳感器獲取的圖像分別進(jìn)行云霧去除的時候，從獲取圖像信息成本的角度考慮，應(yīng)當(dāng)選擇圖像增強(qiáng)的方法，但是圖像增強(qiáng)引起圖像信息損失卻是不可避免的。所以，利用多光譜和全色圖像之間的冗余性，尋找一種更加有效的針對薄云圖像的融合方法，是目前市場上急需解決的問題。

發(fā)明內(nèi)容
本發(fā)明目的在于針對上述已有技術(shù)對帶有薄云圖像融合的不足，提出一種帶有薄云的多光譜和全色圖像融合方法，以降低多光譜和全色圖像融合后云層對薄云區(qū)域信息的干擾，減少融合后圖像信息的損失，提高融合后圖像的清晰度，更準(zhǔn)確的描述地物信息。為實(shí)現(xiàn)上述目的，本發(fā)明的主要內(nèi)容如下I)對帶有薄云的多光譜圖像進(jìn)行上采樣，采樣后的多光譜圖像的大小與帶有薄云的全色圖像的大小相同；2)對采樣后的多光 譜和全色圖像依次分別進(jìn)行下采樣、高斯低通濾波和上采樣，得到多光譜圖像的背景圖像B1和全色圖像的背景圖像民，其中多光譜圖像的背景圖像的波段數(shù)和多光譜圖像的波段數(shù)相同；3)對多光譜圖像的每個波段和全色圖像分別進(jìn)行去除薄云操作，得到去除薄云的多光譜圖像I1和去除薄云的全色圖像I2 ;4)對去除薄云后的多光譜圖像I1進(jìn)行PCA變換，得到各個分量圖像Ipi ，，其中4表示多光譜圖像經(jīng)過PCA變換后得到的第i主分量，i=l，2，...，n, n為分量的總數(shù)；5)對經(jīng)過PCA變換后得到的第一主分量圖像&和去除薄云的全色圖像I2，分別進(jìn)行Shearlet變換分解，將第一主分量圖像&分解為一個低頻系數(shù)X1和多個方向子帶系數(shù)yi，y2，...，ym，將去除薄云的全色圖像I2分解為一個低頻系數(shù)&和多個方向子帶系數(shù)zi，
Z2 Zm，6)對步驟2)得到的多光譜圖像的每一個波段的背景圖像，計算其灰度平均值，得到多光譜圖像的合成背景圖傷^7)根據(jù)多光譜圖像的合成背景圖像S建立權(quán)值矩陣W1，根據(jù)全色圖像的背景圖像B2，建立權(quán)值矩陣W2 ；8)對全色圖像I2的每一個方向子帶系數(shù)Z1, Z2, , zm,乘以權(quán)值矩陣W1和W2,得到融合的第一分量圖像的方向子帶系數(shù)12，I2,..., Im，將第一主分量圖像的低頻系數(shù)X1作為融合后第一主分量圖像的低頻系數(shù)k ；9)對融合后的第一主分量圖像的低頻系數(shù)k和多個方向子帶系數(shù)I1, I2,..., Iffl,進(jìn)行逆Shearlet變換，得到融合后的第一主分量圖像廠.10)將融合后的第一主分量圖像‘和步驟4)得到的除第一主分量外的其他分量
圖像A2，…，&組成新的數(shù)據(jù)集，并對該新的數(shù)據(jù)集進(jìn)行逆PCA變換，得到融合后的圖像I。本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點(diǎn)(a)本發(fā)明由于使用上采樣后圖像獲取背景圖像，通過對上采樣后圖像進(jìn)行采樣的方法得到原始圖像的近似背景圖像，利用了上采樣后圖像的信息十分平滑，通過采樣得至IJ的近似背景圖像能夠較好的逼近真實(shí)的背景圖像特點(diǎn)，克服了傳統(tǒng)的算法在濾波過程中計算時間復(fù)雜度高的問題，從而提 高了圖像去除薄云的速度。(b)本發(fā)明由于使用背景圖像建立權(quán)值矩陣來增強(qiáng)融合圖像薄云區(qū)域的細(xì)節(jié)信息，利用薄云區(qū)域在圖像中具有較高灰度值的特點(diǎn)，克服了傳統(tǒng)的融合圖像中薄云區(qū)域信息丟失，導(dǎo)致融合后的圖像模糊的問題，從而提高了融合圖像的清晰度。


圖1是本發(fā)明帶有薄云的多光譜和全色圖像融合方法流程圖；圖2是本發(fā)明的帶有薄云的QuickBird衛(wèi)星圖像；圖3是用本發(fā)明方法得到的融合圖像。
具體實(shí)施例方式參照圖1，本發(fā)明的帶有薄云的多光譜和全色圖像融合方法步驟如下步驟1，對帶有薄云的多光譜圖像進(jìn)行上采樣，上采樣后的多光譜圖像的大小與帶有薄云的全色圖像的大小相同，其中原始的多光譜圖像如圖2 (a)所示，記為Y1，原始的全色圖像如圖2 (b)所示,記為Y2。步驟2，對上采樣后的多光譜圖像和原始全色圖像分別進(jìn)行采樣和高斯低通濾波處理，得到帶有薄云的多光譜圖像的背景圖像B1和全色圖像的背景圖像B2。2.1)對上采樣后的多光譜圖像和原始全色圖像，分別進(jìn)行下采樣，下采樣后的多光譜和全色圖像的大小均為原始的全色圖像大小的1/3 ；2. 2)對下采樣后的多光譜圖像和全色圖像分別采用高斯濾波器進(jìn)行高斯低通濾波，得到下采樣的多光譜圖像和全色圖像的背景圖像，下采樣的多光譜圖像的背景圖像的波段數(shù)和多光譜圖像的波段數(shù)相同；2. 3)對下采樣的背景圖像，進(jìn)行上采樣，得到多光譜圖像的背景圖像B1和全色圖像的背景圖像B2，所得圖像大小與原始的全色圖像大小相同。步驟3，對原始多光譜圖像Y1的每個波段和原始全色圖像分別進(jìn)行去除薄云操作。3.1)計算原始多光譜圖像Y1每個波段圖像的灰度均值和原始全色圖像Y2的灰度均值，即對圖像中所有的像素的灰度值求和，再除以圖像的像素總數(shù)；3. 2)對原始多光譜圖像Y1的每個波段，減去背景圖像B1的相應(yīng)波段，再加上相應(yīng)波段的灰度均值，得到去除薄云的多光譜圖像I1 ;3. 3)對原始全色圖像Y2，減去其背景圖像B2，再加上其灰度的均值，得到去除薄云的全色圖像I2。步驟4，對去除薄云后的多光譜圖像I1進(jìn)行PCA變換，得到各個分量圖像
1人…1一人*其中4表示多光譜圖像經(jīng)過PCA變換后得到的第i主分量，i=l，2，.，n，n為分量的總數(shù)。步驟5，對經(jīng)過PCA變換后得到的第一主分量圖像^和去除薄云的全色圖像I2，分別進(jìn)行Shearlet變換分解，將第一主分量圖像&分解為一個低頻系數(shù)X1和m個方向子帶系數(shù)yi，y2， ，ym，將去除薄云的全色圖像I2分解為一個低頻系數(shù)X2和m個方向子帶系數(shù)
ZI，乙2 ZmoShearlet變換是新一代的多尺度幾何分析工具中的一種，具體分解方式為5.1)通過非下采樣拉普拉斯金字塔變換對圖像進(jìn)行尺度分解，分別將第一主分量
圖像&和全色圖像I2分解為一個低頻系數(shù)和多個高頻系數(shù)，高頻系數(shù)的個數(shù)和分解層數(shù)相同，其中尺度分解的層數(shù)不受限制，為了使分解后的低頻系數(shù)與全色圖像具有更高的相關(guān)性，本實(shí)例確定分解層數(shù)為4層；5. 2)通過Shear濾波器將每一個高頻系數(shù)分解為多個方向，其中方向數(shù)的選擇不受到限制，綜合考慮計算的時間復(fù)雜度和算法的需要，本實(shí)例確定分別從粗尺度到細(xì)尺度，將4個高頻系數(shù)分別分解為6個、6個、10個和10個方向，得到共22個方向子帶系數(shù)。步驟6，根據(jù)步驟2中多光譜圖像的背景圖像B1，計算所有波段的灰度均值，得到多光譜圖像的合成背景圖像戽合成背景圖像通過如下公式獲得
權(quán)利要求
1.一種帶有薄云的多光譜和全色圖像融合方法，包括如下步驟1)對帶有薄云的多光譜圖像進(jìn)行上采樣，采樣后的多光譜圖像的大小與帶有薄云的全色圖像的大小相同；2)對采樣后的多光譜和全色圖像依次分別進(jìn)行下采樣、高斯低通濾波和上采樣，得到多光譜圖像的背景圖像B1和全色圖像的背景圖像B2，其中多光譜圖像的背景圖像的波段數(shù)和多光譜圖像的波段數(shù)相同；3)對多光譜圖像的每個波段和全色圖像分別進(jìn)行去除薄云操作，得到去除薄云的多光譜圖像I1和去除薄云的全色圖像I2 ；4)對去除薄云后的多光譜圖像I1進(jìn)行PCA變換，得到各個分量圖像‘々，…■^，…■^，，其中匕,表示多光譜圖像經(jīng)過PCA變換后得到的第i主分量，i = l, 2，...，η，η為分量的總數(shù)；5)對經(jīng)過PCA變換后得到的第一主分量圖像i和去除薄云的全色圖像I2，分別進(jìn)行Shearlet變換分解，將第一主分量圖像&分解為一個低頻系數(shù)X1和多個方向子帶系數(shù)y” y2，. . .，ym，將去除薄云的全色圖像I2分解為一個低頻系數(shù)X2和多個方向子帶系數(shù)ZiZgj · · · J Zm ,6)對步驟2)得到的多光譜圖像的每一個波段的背景圖像，計算其灰度平均值，得到多光譜圖像的合成背景圖像茗;7)根據(jù)多光譜圖像的合成背景圖.^建立權(quán)值矩陣W1，根據(jù)全色圖像的背景圖像B2, 建立權(quán)值矩陣W2 ；8)對全色圖像I2的每一個方向子帶系數(shù)Z1,Z2, , zm,乘以權(quán)值矩陣W1和W2,得到融合的第一分量圖像的方向子帶系數(shù)I1, I2,, Iffl,將第一主分量圖像的低頻系數(shù)X1作為融合后第一主分量圖像的低頻系數(shù)k ；9)對融合后的第一主分量圖像的低頻系數(shù)k和多個方向子帶系數(shù)I1,I2,, Iffl,進(jìn)行逆Shearlet變換，得到融合后的第一主分量圖像《；10)將融合后的第一主分量圖像/和步驟4)得到的除第一主分量外的其他分量圖像&，·.·，及組成新的數(shù)據(jù)集，并對該新的數(shù)據(jù)集進(jìn)行逆PCA變換，得到融合后的圖像I。
2.根據(jù)權(quán)利要求1所述的一種帶有薄云的多光譜和全色圖像融合方法，其中步驟3)所述的對多光譜圖像的每個波段和全色圖像分別進(jìn)行去除薄云操作，按如下步驟進(jìn)行2.1)計算多光譜圖像每個波段圖像的灰度均值和全色圖像的灰度均值，即對圖像中所有的像素的灰度值求和，再除以圖像的像素總數(shù)；2.2)對多光譜圖像的每個波段，減去背景圖像B1的相應(yīng)波段，再加上相應(yīng)波段的灰度均值，得到去除薄云的多光譜圖像I1 ;2.3)對全色圖像，減去其背景圖像B2，再加上其灰度的均值，得到去除薄云的全色圖像
3.根據(jù)權(quán)利要求1所述的帶有薄云的多光譜和全色圖像融合方法，其中步驟5)所述的對第一主分量圖像4和全色圖像分別進(jìn)行Shearlet分解，按如下步驟進(jìn)行.3.1)通過非下采樣拉普拉斯金字塔變換對圖像進(jìn)行尺度分解，將圖像分解為一個低頻系數(shù)和多個高頻系數(shù)，高頻系數(shù)的個數(shù)和分解層數(shù)相同，本發(fā)明確定分解層數(shù)為4層；.3.2)通過Shear濾波器將每一個高頻系數(shù)分解為多個方向，本發(fā)明確定分別從粗尺度到細(xì)尺度，將每一個高頻系數(shù)分解為6個、6個、10個和10個方向，得到多個方向子帶系數(shù)。
4.根據(jù)權(quán)利要求1所述的帶有薄云的多光譜和全色圖像融合方法，其中步驟6)所述的根據(jù)多光譜圖像的每一個波段的背景圖像獲得多光譜圖像的合成背景圖像B通過如下公式獲得
5.根據(jù)權(quán)利要求1所述的帶有薄云的多光譜和全色圖像融合方法，其中步驟7)所述的根據(jù)多光譜圖像的合成背景圖像貧，建立合成背景圖像5的權(quán)值矩陣W1，按如下步驟進(jìn)行5.1)建立合成背景圖像茗的緩存矩陣M1，初值為零，其大小和多光譜圖像的背景圖像相同，將多光譜圖像的合成背景圖像蚵的每一個位置的灰度值，直接賦值給其緩存矩陣M1 的相應(yīng)位置；5.2)統(tǒng)計合成背景圖像5丨的緩存矩陣M1中所有值的最大值和最小值，分別記作Af1M1 和 Afmni;5.3)根據(jù)最大值風(fēng)和最小值汁算合成背景圖像埤的閾值T1
6.根據(jù)權(quán)利要求1所述的帶有薄云的多光譜和全色圖像融合方法，其中步驟7)所述的根據(jù)全色圖像的背景圖像B2，建立全色圖像的背景圖像B2的權(quán)值矩陣W2，按如下步驟進(jìn)行.6.1)建立全色圖像的背景圖像B2的緩存矩陣M2，初值為零，其大小和全色圖像的背景圖像相同，將背景圖像B2的每一個位置的灰度值，直接賦值給其緩存矩陣M2的相應(yīng)位置；.6.2)統(tǒng)計全色圖像的背景圖像B2的緩存矩陣M2中所有值的最大值和最小值，分別記作U口 ;.6.3)根據(jù)最大值Mmx2和最小值#_2計算全色圖像的背景圖像B2的閾值τ2，
全文摘要
本發(fā)明提供了一種帶有薄云的多光譜和全色圖像融合方法，主要解決帶有薄云的多光譜和全色圖像融合后云霧區(qū)域受到云層干擾的問題。其實(shí)現(xiàn)步驟是對帶有薄云的多光譜圖像進(jìn)行采樣和濾波，得到多光譜和全色圖像的背景圖像；分別對帶有薄云的多光譜和全色圖像去除薄云；對去云的多光譜圖像進(jìn)行PCA變換，并對變換后的第一主分量圖像和全色圖像進(jìn)行Shearlet分解；將第一主分量的低頻系數(shù)作為融合分量的低頻系數(shù)，將全色圖像的高頻系數(shù)加權(quán)作為融合分量的高頻系數(shù)；對融合分量和PCA變換的其余分量進(jìn)行逆PCA變換，得到融合圖像。本發(fā)明具有融合圖像薄云區(qū)域清晰度高，光譜保持性好的優(yōu)點(diǎn)，可用于軍事目標(biāo)識別、氣象及環(huán)境監(jiān)測、土地利用、城市規(guī)劃以及防災(zāi)減災(zāi)。
文檔編號G06T5/50GK103049898SQ201310030819
公開日2013年4月17日 申請日期2013年1月27日 優(yōu)先權(quán)日2013年1月27日
發(fā)明者劉芳, 石程, 李玲玲, 郝紅俠, 戚玉濤, 焦李成, 鄭瑩, 尚榮華, 馬文萍, 馬晶晶 申請人:西安電子科技大學(xué)