本發(fā)明涉及圖像處理的技術(shù)領(lǐng)域，特別是一種端到端深度學(xué)習(xí)框架下的多曝光圖像融合方法。

背景技術(shù)：

在日常生活和工作中對高質(zhì)量的圖像具有強(qiáng)烈的需求，比如照片編輯，手機(jī)等便攜設(shè)備的高質(zhì)量成像，醫(yī)用圖像增強(qiáng)等領(lǐng)域。通過對多曝光圖像序列進(jìn)行融合理論上可以獲取到細(xì)節(jié)信息豐富的高質(zhì)量圖像。多曝光圖像融合技術(shù)已是計(jì)算機(jī)視覺領(lǐng)域里的一個(gè)研究熱點(diǎn)。多曝光融合算法的最終目標(biāo)是使生成的結(jié)果圖像在被顯示后，人類所獲得的感知要和其置身于真實(shí)環(huán)境中獲得的一樣，即被觀察圖像與真實(shí)場景不但展現(xiàn)的信息一致，而且給人類帶來的視覺感覺也要是一致的。經(jīng)過處理后得到的結(jié)果圖像，不僅有助于人眼對場景的辨識(shí)，而且對邊緣檢測、圖像分割、圖像銳化等數(shù)字圖像后續(xù)處理和計(jì)算機(jī)視覺系統(tǒng)研究也具有積極的意義。這項(xiàng)技術(shù)彌補(bǔ)了普通數(shù)碼攝像及顯示器材的動(dòng)態(tài)范圍窄于現(xiàn)實(shí)場景的局限性，使得人們僅利用消費(fèi)級(jí)數(shù)碼產(chǎn)品就可以獲得專業(yè)級(jí)的高質(zhì)量圖像。

由于場景亮度變化范圍的影響會(huì)導(dǎo)致低曝光和高曝光圖像的細(xì)節(jié)信息丟失嚴(yán)重，主要原因當(dāng)采用低曝光度獲取時(shí)，圖像高亮區(qū)細(xì)節(jié)信息可見，但暗區(qū)的細(xì)節(jié)由于過于黑暗導(dǎo)致細(xì)節(jié)丟失嚴(yán)重；相反，用高曝光度獲取圖像時(shí)，暗區(qū)細(xì)節(jié)可見，但高亮區(qū)由于曝光過度信息同樣會(huì)丟失。為了恢復(fù)場景更多的細(xì)節(jié)信息，產(chǎn)生了多曝光融合技術(shù)。多曝光融合過程可描述為：對同一場景，獲取不同曝光度的圖像序列，經(jīng)過融合處理，提取各自的清晰信息而合成一幅新的圖像，它能夠有效地提高圖像信息的利用率，便于人眼觀察或計(jì)算機(jī)進(jìn)一步處理。

傳統(tǒng)的多曝光融合算法通常要解決兩個(gè)關(guān)鍵問題：圖像特征表示和融合規(guī)則設(shè)計(jì)。現(xiàn)有的融合方式大多是分別解決這兩個(gè)問題以達(dá)到融合目的。數(shù)碼相機(jī)在某一高動(dòng)態(tài)范圍場景進(jìn)行成像時(shí)，由于場景中的亮度范圍跨度很大，超出了其顯示范圍，想一次成像就把整個(gè)場景的信息獲取到是非常困難的。當(dāng)采用低曝光度獲取時(shí)，圖像高亮區(qū)細(xì)節(jié)信息可見，但暗區(qū)的細(xì)節(jié)由于過于黑暗導(dǎo)致細(xì)節(jié)丟失嚴(yán)重；相反，用高曝光度獲取圖像時(shí)，暗區(qū)細(xì)節(jié)可見，但高亮區(qū)由于曝光過度信息同樣會(huì)丟失。為了解決這個(gè)問題，產(chǎn)生了多曝光融合技術(shù)，它能夠很好地保留場景的細(xì)節(jié)信息。曝光融合過程可描述為：對同一場景，獲取不同曝光度的圖像序列，經(jīng)過融合處理，提取各自的清晰信息合成一幅新的圖像。它能夠有效地提高圖像信息的利用率，便于人眼觀察或計(jì)算機(jī)進(jìn)一步處理。如何設(shè)計(jì)融合規(guī)則是多曝光融合算法的核心問題。在基于空間域的融合規(guī)則里，普遍采用加權(quán)平均、最大值或最小值等規(guī)則進(jìn)行圖像融合處理。在設(shè)計(jì)該類融合規(guī)則時(shí)，不對源圖像進(jìn)行任何圖像變換，也不考慮像素之間的相關(guān)性，而是直接對源圖像中的各對應(yīng)像素點(diǎn)直接進(jìn)行融合處理，得到一幅新的圖像。雖然這些方法具有簡便、計(jì)算量小的特點(diǎn)，比較適用于對融合效率要求較高的應(yīng)用中。但是，它們不能夠較好地表現(xiàn)源圖像中的特征，紋理細(xì)節(jié)丟失也比較嚴(yán)重。因此，需要對現(xiàn)有基于空間域的融合規(guī)則進(jìn)行改進(jìn)和優(yōu)化，在不過多影響計(jì)算復(fù)雜度的前提下，提升圖像融合的質(zhì)量。

公開號(hào)為cn104112263a的發(fā)明專利公開了一種基于深度神經(jīng)網(wǎng)絡(luò)的全色圖像與多光譜圖像融合的方法，具體步驟如下：步驟1，構(gòu)建高分辨與低分辨圖像塊對的訓(xùn)練集；步驟2，利用改進(jìn)的稀疏去噪自編碼器學(xué)習(xí)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型中第一層的初始化參數(shù)；步驟3，利用改進(jìn)的稀疏去噪自編碼器對神經(jīng)網(wǎng)絡(luò)進(jìn)行逐層的預(yù)訓(xùn)練；步驟4，對經(jīng)過預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行微調(diào)；步驟5，根據(jù)已知的低空間分辨的多光譜圖像，利用該深度神經(jīng)網(wǎng)絡(luò)重構(gòu)出高分辨的多光譜圖像。該申請?zhí)岢龅姆椒ú襟E較多，計(jì)算復(fù)雜，而且僅能實(shí)現(xiàn)光譜圖像的融合。不適用于普通圖像。

技術(shù)實(shí)現(xiàn)要素：

為了解決上述的技術(shù)問題，本發(fā)明提出利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)端到端的多曝光融合技術(shù)，卷積神經(jīng)網(wǎng)絡(luò)的輸入是多幅具有不同曝光度的圖像序列，經(jīng)過網(wǎng)絡(luò)直接得到一幅高質(zhì)量融合結(jié)果圖像。

本發(fā)明提供一種端到端深度學(xué)習(xí)框架下的多曝光圖像融合方法，包括通過訓(xùn)練獲取參數(shù)θ，，還包括以下步驟：

步驟1：將所述原始圖像基于卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行融合處理，得到輸出圖像；

步驟2：對所述原始圖像進(jìn)行n下采樣，得到n²個(gè)原始子圖像；

步驟3：將n²個(gè)所述原始子圖像基于卷積神經(jīng)網(wǎng)絡(luò)分別進(jìn)行融合處理，得到n²個(gè)輸出子圖像；

步驟4：把n²個(gè)所述輸出子圖像進(jìn)行合并，得到合并子圖像；

步驟5：生成結(jié)果融合圖像。

優(yōu)選的是，所述原始圖像為一個(gè)圖像組，包含m張曝光度不同的圖像。

在上述任一方案中優(yōu)選的是，所述融合處理包含以下步驟：

步驟a：灰度化輸入圖像序列，得到n個(gè)具有不同曝光度的圖像序列，設(shè)為y；

步驟b：進(jìn)行第一卷積層設(shè)計(jì)；

步驟c：進(jìn)行第二卷積層設(shè)計(jì)；

步驟d：進(jìn)行重構(gòu)層的設(shè)計(jì)。

在上述任一方案中優(yōu)選的是，所述步驟b的計(jì)算公式為：f1(y)＝max(0,w1*y+b1)，其中w1和b1表示濾波器和偏置，w1是n1個(gè)f1×f1卷積核，可以看出w1是對原始圖像序列進(jìn)行n1次卷積操作，每個(gè)卷積操作采用f1×f1大小的卷積核,第一層卷積輸出n1個(gè)特征圖，該層可看做原始圖像序列的一種非線性表示，max是非線性函數(shù)，其中f1為卷積模板的大小。

在上述任一方案中優(yōu)選的是，所述步驟c的計(jì)算公式為：f2(y)＝max(0,w2*f1(y)+b2)，其中w2是一個(gè)n1×n2個(gè)f2×f2大小的卷積核，b2是第二層卷積層的偏置。

在上述任一方案中優(yōu)選的是，所述步驟d的計(jì)算公式為f(y)＝w3*f2(y)+b3，其中w3是n2個(gè)f3×f3大小的卷積核，其中b3為重構(gòu)層的偏置。

在上述任一方案中優(yōu)選的是，所述w1、w2、w3、b1、b2和b3通過所述參數(shù)θ得到，計(jì)算公式為θ＝{w1,w2,w3,b1,b2,b3}。

在上述任一方案中優(yōu)選的是，所述參數(shù)θ可以通過優(yōu)化損失函數(shù)得到。

在上述任一方案中優(yōu)選的是，所述損失函數(shù)是利用網(wǎng)絡(luò)的重構(gòu)融合圖像f(y；θ)和標(biāo)準(zhǔn)曝光下的圖像x間的最小平方誤差定義的，公式定義為其中n表示訓(xùn)練樣本的個(gè)數(shù)。

在上述任一方案中優(yōu)選的是，所述損失函數(shù)的優(yōu)化過程采用隨機(jī)梯度下降方法實(shí)現(xiàn)。1.在上述任一方案中優(yōu)選的是，所述隨機(jī)梯度下降方法為在訓(xùn)練階段，batch的大小設(shè)置為128，momentum值設(shè)為0.9，權(quán)重衰減設(shè)置為0.0005，利用下面公式進(jìn)行權(quán)重更新，

其中是momentum變量，i表示迭代次數(shù)，α是學(xué)習(xí)率(0.0001為默認(rèn)值)，l是上面定義的損失函數(shù)，表示損失函數(shù)對權(quán)重的偏導(dǎo)，所述訓(xùn)練過程采用caffe框架實(shí)現(xiàn)。

在上述任一方案中優(yōu)選的是，所述步驟2還包括按照空間位置在所述圖原始圖像中每間隔n-1行n-1列采集一個(gè)像素。

在上述任一方案中優(yōu)選的是，所述步驟2還包括把采集到的所有像素組合構(gòu)成所述原始子圖像。

在上述任一方案中優(yōu)選的是，所述步驟4還包括把所述輸出子圖像按照步驟2的逆過程回填到原始位置，構(gòu)成所述合并子圖像。

在上述任一方案中優(yōu)選的是，所述步驟五為把所述輸出圖像和所述合并子圖像進(jìn)行合并處理，得到所述結(jié)果融合圖像。

在上述任一方案中優(yōu)選的是，所述合并處理的方法為按照比重系數(shù)對所述輸出圖像和所述合并子圖像進(jìn)行加權(quán)平均。

本發(fā)明提出將原始圖像先通過下采樣方式得到多個(gè)子圖像，這樣可以利用原來n鄰域以外更多的像素做卷積處理，可以提升融合效果。

附圖說明

圖1為按照本發(fā)明的端到端深度學(xué)習(xí)框架下的多曝光圖像融合方法的一優(yōu)選實(shí)施例的流程圖。

圖2為按照本發(fā)明的端到端深度學(xué)習(xí)框架下的多曝光圖像融合方法的如圖1所示實(shí)施例的原始低曝光圖像展示圖。

圖2a為按照本發(fā)明的端到端深度學(xué)習(xí)框架下的多曝光圖像融合方法的如圖1所示實(shí)施例的原始中曝光圖像展示圖。

圖2b為按照本發(fā)明的端到端深度學(xué)習(xí)框架下的多曝光圖像融合方法的如圖1所示實(shí)施例的原始高曝光圖像展示圖。

圖2c為按照本發(fā)明的端到端深度學(xué)習(xí)框架下的多曝光圖像融合方法的如圖1所示實(shí)施例的輸出圖像展示圖。

圖3為按照本發(fā)明的端到端深度學(xué)習(xí)框架下的多曝光圖像融合方法的如圖1所示實(shí)施例的原始低曝光圖像分解圖。

圖3a為按照本發(fā)明的端到端深度學(xué)習(xí)框架下的多曝光圖像融合方法的如圖1所示實(shí)施例的原始中曝光圖像分解圖。

圖3b為按照本發(fā)明的端到端深度學(xué)習(xí)框架下的多曝光圖像融合方法的如圖1所示實(shí)施例的原始高曝光圖像分解圖。

圖3c為按照本發(fā)明的端到端深度學(xué)習(xí)框架下的多曝光圖像融合方法的如圖1所示實(shí)施例的擴(kuò)充鄰域方法示意圖。

圖3d為按照本發(fā)明的端到端深度學(xué)習(xí)框架下的多曝光圖像融合方法的如圖1所示實(shí)施例的輸出子圖像示意圖

圖4為按照本發(fā)明的端到端深度學(xué)習(xí)框架下的多曝光圖像融合方法的如圖1所示實(shí)施例的第一卷積層中間過程圖。

圖5為按照本發(fā)明的端到端深度學(xué)習(xí)框架下的多曝光圖像融合方法的如圖1所示實(shí)施例的第二卷積層中間過程圖。

圖6為按照本發(fā)明的端到端深度學(xué)習(xí)框架下的多曝光圖像融合方法的如圖1所示實(shí)施例的重構(gòu)層中間過程圖。

圖7為按照本發(fā)明的端到端深度學(xué)習(xí)框架下的多曝光圖像融合方法的如圖1所示實(shí)施例的輸出子圖像展示圖。

圖8為按照本發(fā)明的端到端深度學(xué)習(xí)框架下的多曝光圖像融合方法的如圖1所示實(shí)施例的合并子圖像展示圖。

圖9為按照本發(fā)明的端到端深度學(xué)習(xí)框架下的多曝光圖像融合方法的如圖1所示實(shí)施例的結(jié)果融合圖像展示圖。

具體實(shí)施方式

下面結(jié)合附圖和具體的實(shí)施例對本發(fā)明做進(jìn)一步的闡述。

本申請?zhí)岢隼镁矸e神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)端到端的多曝光融合技術(shù)，卷積神經(jīng)網(wǎng)絡(luò)的輸入是多幅具有不同曝光度的圖像序列，經(jīng)過網(wǎng)絡(luò)直接得到一幅高質(zhì)量融合結(jié)果圖像。通過網(wǎng)絡(luò)訓(xùn)練過程，能夠能到不用曝光度的圖像和真實(shí)場景圖像(標(biāo)準(zhǔn)光照)之間的映射關(guān)系。

如圖1所示，執(zhí)行步驟100，為了學(xué)習(xí)一個(gè)端到端的映射函數(shù)f，需要通過訓(xùn)練獲取參數(shù)θ，以便得到參數(shù)值w1、w2、w3、b1、b2和b3。在本實(shí)施例中，參數(shù)θ通過優(yōu)化損失函數(shù)實(shí)現(xiàn)的，該損失函數(shù)是利用網(wǎng)絡(luò)的重構(gòu)融合圖像f(y；θ)和標(biāo)準(zhǔn)曝光下的圖像(記為x)間的的最小平方誤差定義的，公式定義為：其中n表示訓(xùn)練樣本的個(gè)數(shù)。本專利訓(xùn)練數(shù)據(jù)使用imagenet上ilsvrc2012校驗(yàn)集，該數(shù)據(jù)集共有50000張圖像，每張圖像可看做曝光度較好的自然場景圖像，通過一種隨機(jī)數(shù)生成機(jī)制，使其獲得的數(shù)值范圍在[0.4，1]之間，這樣乘以原始圖像，即可改變圖像的亮度值，從而得到對應(yīng)的低曝光圖像。另外，還要產(chǎn)生對應(yīng)的高曝光圖像，隨機(jī)數(shù)的范圍設(shè)置在[1.2，1.8]之間。這樣，每幅原始圖像都可以得到對應(yīng)的低曝光和高曝光圖像，原始圖像作為標(biāo)記圖像，即為上面的標(biāo)記x，得到的低曝光和高曝光圖像作為網(wǎng)絡(luò)的輸入。在原始圖像和對應(yīng)的低/高曝光圖像中隨機(jī)截取33×33的圖像塊，得到744175個(gè)“匹配對”作為訓(xùn)練數(shù)據(jù)。損失函數(shù)的優(yōu)化過程采用隨機(jī)梯度下降方法實(shí)現(xiàn)。在訓(xùn)練階段，batch的大小設(shè)置為128，momentum值設(shè)為0.9，權(quán)重衰減設(shè)置為0.0005，利用下面公式進(jìn)行權(quán)重更新：其中是momentum變量，i表示迭代次數(shù)，α是學(xué)習(xí)率(0.0001為默認(rèn)值)，l是上面定義的損失函數(shù)，表示損失函數(shù)對權(quán)重的偏導(dǎo)，訓(xùn)練過程采用caffe框架實(shí)現(xiàn)。訓(xùn)練結(jié)束后，可以得到參數(shù)值w1、w2、w3、b1、b2和b3，把這些參數(shù)應(yīng)用在原始圖像a、b和c的融合處理中。

執(zhí)行步驟110，對原始圖像a、b和c進(jìn)行灰度化處理并輸入圖像序列，得到n個(gè)具有不同曝光度的圖像序列，設(shè)為y。其中原始圖像a、b和c取自同一景致，區(qū)別在于曝光度不同，其中a為低曝光圖像(如圖2所示)，b為中曝光圖像(如圖2a所示)，c為高曝光圖像(如圖2b所示)。執(zhí)行步驟110，把原始圖像a、b和c進(jìn)行融合處理。

執(zhí)行步驟120，對y進(jìn)行第一卷積層設(shè)計(jì)，其計(jì)算公式為f1(y)＝max(0,w1*y+b1)，其中w1和b1表示濾波器和偏置，w1是n1個(gè)f1×f1卷積核，可以看出w1是對原始圖像序列進(jìn)行n1次卷積操作，每個(gè)卷積操作采用f1×f1大小的卷積核。第一層卷積輸出n1個(gè)特征圖，該層可看做原始圖像序列的一種非線性表示，max是非線性函數(shù)(稱rectifiedlinearunit,relu)，在本實(shí)施例中，默認(rèn)n1＝64，f1＝5，因此，在第一層卷積輸出64個(gè)特征圖(如圖4所示)。執(zhí)行步驟130，對y進(jìn)行第二卷積層設(shè)計(jì)。在上面的第一層卷積過程中，得到了n1維的特征表示，在本層中，我們把n1維特征映射為n2維特征，其計(jì)算公式為：f2(y)＝max(0,w2*f1(y)+b2)，其中w2是一個(gè)n1×n2個(gè)f2×f2大小的卷積核，b2是第二層卷積層的偏置，在本實(shí)施例中，默認(rèn)n2＝32，f2＝3，因此，在第二層卷積輸出32個(gè)特征圖(如圖5所示)。執(zhí)行步驟140，對y進(jìn)行重構(gòu)層設(shè)計(jì)。傳統(tǒng)的方法是針對前一層的n2個(gè)map，使用一種直接平均的方法即可生成一幅融合結(jié)果圖像，即每個(gè)map的權(quán)重是相同的，這樣會(huì)降低融合結(jié)果圖像的對比度。本專利在該層設(shè)計(jì)一個(gè)卷積層來重構(gòu)結(jié)果圖像，其計(jì)算公式為f(y)＝w3*f2(y)+b3，其中w3是n2個(gè)f3×f3大小的卷積核，默認(rèn)f3＝3，y在重構(gòu)層設(shè)計(jì)后輸出特征圖(如圖6所示)。執(zhí)行步驟150，輸出融合處理結(jié)果，得到輸出圖像d(如圖7所示)。

執(zhí)行步驟102，把原始圖像a進(jìn)行下采樣。得到多個(gè)子圖像，這樣就可以利用更多的鄰域信息進(jìn)行卷積操作，原始圖像進(jìn)行n下采樣，得到n²個(gè)子圖像。例如設(shè)定輸入圖像為16×16的圖像，n＝2。如圖3c所示，上半部分展示了一幅16×16的圖像(每個(gè)像素用不同深淺的灰色表示)，給定一個(gè)像素，如果用3×3卷積核，通常情況下在進(jìn)行卷積時(shí)只用到里側(cè)黑色框中的像素進(jìn)行計(jì)算。針對同一像素，在圖3c的下半部分左一圖中用3×3卷積操作時(shí)，對應(yīng)圖3c的上半部分的原始圖像中1-8號(hào)像素，相對原始的內(nèi)側(cè)的黑色框中的鄰域，這種方式可以增加鄰域像素的影響(外側(cè)黑色框所示)。隨著n的增加，可以進(jìn)一步擴(kuò)大鄰域像素的影響，并且這種方式不會(huì)影響網(wǎng)絡(luò)的設(shè)計(jì)。在本實(shí)施例中，設(shè)定下采樣參數(shù)n＝2，對原始圖像進(jìn)行下采樣，得到圖像a-1、a-2、a-3和a-4(如圖3所示)，把原始圖像b進(jìn)行下采樣，得到圖像b-1、b-2、b-3和b-4(如圖3a所示)，把原始圖像c進(jìn)行下采樣，得到圖像c-1、c-2、c-3和c-4(如圖3b所示)。執(zhí)行步驟112，把a(bǔ)-1、a-2、a-3、a-4、b-1、b-2、b-3、b-4、c-1、c-2、c-3和c-4，分成四組，第一組是a-1、b-1和c-1，第二組是a-2、b-2和c-2，第三組是a-3、b-3和c-3，第四組是a-4、b-4和c-4，調(diào)取步驟111中訓(xùn)練得到的參數(shù)w1、w2、w3、b1、b2和b3，對第一組圖像a-1、b-1和c-1進(jìn)行灰度化處理并輸入圖像序列，得到n個(gè)具有不同曝光度的圖像序列，設(shè)為y。執(zhí)行步驟122，對y進(jìn)行第一卷積層設(shè)計(jì)，其計(jì)算公式為f1(y)＝max(0,w1*y+b1)，其中w1和b1表示濾波器和偏置，w1是n1個(gè)f1×f1卷積核，可以看出w1是對原始圖像序列進(jìn)行n1次卷積操作，每個(gè)卷積操作采用f1×f1大小的卷積核。第一層卷積輸出n1個(gè)特征圖，該層可看做原始圖像序列的一種非線性表示，max是非線性函數(shù)(稱rectifiedlinearunit,relu)，在本實(shí)施例中，默認(rèn)n1＝64，f1＝5。執(zhí)行步驟132，對y進(jìn)行第二卷積層設(shè)計(jì)。在上面的第一層卷積過程中，得到了n1維的特征表示，在本層中，我們把n1維特征映射為n2維特征，其計(jì)算公式為：f2(y)＝max(0,w2*f1(y)+b2)，其中w2是一個(gè)n1×n2個(gè)f2×f2大小的卷積核，b2是第二層卷積層的偏置，在本實(shí)施例中，默認(rèn)n2＝32，f2＝3。執(zhí)行步驟142，對y進(jìn)行重構(gòu)層設(shè)計(jì)。傳統(tǒng)的方法是針對前一層的n2個(gè)map，使用一種直接平均的方法即可生成一幅融合結(jié)果圖像，即每個(gè)map的權(quán)重是相同的，這樣會(huì)降低融合結(jié)果圖像的對比度。本專利在該層設(shè)計(jì)一個(gè)卷積層來重構(gòu)結(jié)果圖像，其計(jì)算公式為f(y)＝w3*f2(y)+b3，其中w3是n2個(gè)f3×f3大小的卷積核，默認(rèn)f3＝3，y在重構(gòu)層設(shè)計(jì)后輸出特征圖。執(zhí)行步驟152，輸出融合處理結(jié)果，得到輸出子圖像d-1(如圖3d左上圖所示)。分別對第二組圖像a-2、b-2和c-2、第三組圖像a-3、b-3和c-3、第四組圖像a-4、b-4和c-4執(zhí)行步驟122、步驟132、步驟142和步驟152的操作，分別得到輸出子圖像d-2(如圖3d右上圖所示)、d-3(如圖3d左下圖所示)和d4(如圖3d右下圖所示)。執(zhí)行步驟162，按照下采樣的逆過程，將得到的輸出子圖像d-1、d-2、d-3和d-4中的像素回填到原始像素位置，得到合并子圖像d’(如圖8所示)，該圖像是利用較遠(yuǎn)的鄰域像素進(jìn)行三層卷積得到的。

執(zhí)行步驟170，把輸出圖像d和合并子圖像d’按照一定的比重進(jìn)行加權(quán)平均，在本實(shí)施例中，輸出圖像占70％的比重，合并子圖像占30％的比重，最后獲得融合結(jié)果圖像(如圖9所示)。

為了更好地理解本發(fā)明，以上結(jié)合本發(fā)明的具體實(shí)施例做了詳細(xì)描述，但并非是對本發(fā)明的限制。凡是依據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對以上實(shí)施例所做的任何簡單修改，均仍屬于本發(fā)明技術(shù)方案的范圍。本說明書中每個(gè)實(shí)施例重點(diǎn)說明的都是與其它實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同或相似的部分相互參見即可。對于系統(tǒng)實(shí)施例而言，由于其與方法實(shí)施例基本對應(yīng)，所以描述的比較簡單，相關(guān)之處參見方法實(shí)施例的部分說明即可。

可能以許多方式來實(shí)現(xiàn)本發(fā)明的方法、裝置和系統(tǒng)。例如，可通過軟件、硬件、固件或者軟件、硬件、固件的任何組合來實(shí)現(xiàn)本發(fā)明的方法和系統(tǒng)。用于所述方法的步驟的上述順序僅是為了進(jìn)行說明，本發(fā)明的方法的步驟不限于以上具體描述的順序，除非以其它方式特別說明。此外，在一些實(shí)施例中，還可將本發(fā)明實(shí)施為記錄在記錄介質(zhì)中的程序，這些程序包括用于實(shí)現(xiàn)根據(jù)本發(fā)明的方法的機(jī)器可讀指令。因而，本發(fā)明還覆蓋存儲(chǔ)用于執(zhí)行根據(jù)本發(fā)明的方法的程序的記錄介質(zhì)。

本發(fā)明的描述是為了示例和描述起見而給出的，而并不是無遺漏的或者將本發(fā)明限于所公開的形式。很多修改和變化對于本領(lǐng)域的普通技術(shù)人員而言是顯然的。選擇和描述實(shí)施例是為了更好說明本發(fā)明的原理和實(shí)際應(yīng)用，并且使本領(lǐng)域的普通技術(shù)人員能夠理解本發(fā)明從而設(shè)計(jì)適于特定用途的帶有各種修改的各種實(shí)施例。