亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

基于雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率增強(qiáng)方法與流程

文檔序號(hào):11865839閱讀:385來(lái)源:國(guó)知局
基于雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率增強(qiáng)方法與流程

本發(fā)明涉及數(shù)字圖像處理、機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)領(lǐng)域,特別涉及基于雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率增強(qiáng)方法。



背景技術(shù):

隨著相機(jī)、手機(jī)等數(shù)字成像設(shè)備的普及,數(shù)字圖像在人類(lèi)接受信息的方式途徑中扮演著越來(lái)越重要的角色。圖像分辨率是指一幅數(shù)字圖像中所包含的像素點(diǎn)的數(shù)目,越高的分辨率意味著圖像中包含有越多的細(xì)節(jié)信息。然而受限于有限分辨率的成像硬件設(shè)備,人們無(wú)法獲取到具有非常高分辨率的圖像。因此如何提升已有低分辨率圖像的分辨率具有巨大的實(shí)際應(yīng)用價(jià)值。圖像超分辨率增強(qiáng)是指根據(jù)輸入的單幅或者多幅序列低分辨率圖像生成一張高分辨率圖像的過(guò)程。

傳統(tǒng)的基于樣本圖像超分辨率算法中,基本流程均是針對(duì)輸入的低分辨率圖像塊產(chǎn)生其對(duì)應(yīng)的高分辨率圖像塊,在由高分辨率圖像塊融合生成高分辨率圖像的過(guò)程中大都采用在相鄰圖像塊重疊區(qū)域進(jìn)行平均操作。簡(jiǎn)單的平均處理難以保持相鄰圖像塊之間的連續(xù)性和一致性,也忽略了圖像塊之間潛在的空間位置關(guān)系,然而這種空間位置關(guān)系可以很好地被用來(lái)保持高分辨率圖像中的邊緣紋理信息,而且在生成高分辨率圖像塊的過(guò)程中同時(shí)利用相鄰圖像塊的信息有利于生成更多更豐富的細(xì)節(jié)信息。雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)成功應(yīng)用于諸多計(jì)算機(jī)視覺(jué)任務(wù)中,被證明為可以有效地對(duì)空間位置關(guān)系進(jìn)行建模。因此本發(fā)明從利用雙向卷積神經(jīng)網(wǎng)絡(luò)對(duì)相鄰圖像塊空間關(guān)系進(jìn)行建模入手,提出了一種基于雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率增強(qiáng)方法,很好地彌補(bǔ)了傳統(tǒng)方法中忽略相鄰圖像塊空間關(guān)系的缺陷,得到了一種包含有更多邊緣紋理等細(xì)節(jié)信息的圖像超分辨率增強(qiáng)結(jié)果。



技術(shù)實(shí)現(xiàn)要素:

本發(fā)明提出一種基于雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率增強(qiáng)方法,充分利用了雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)相鄰圖像塊空間位置關(guān)系,進(jìn)而得到包含有更多邊緣紋理等細(xì)節(jié)信息的高分辨率圖像。

本發(fā)明提出的基于雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率增強(qiáng)方法,包括模型訓(xùn)練和分辨率增強(qiáng)兩部分;

模型訓(xùn)練:

步驟A1,獲取多組包含有完全相同內(nèi)容的高、低分辨率圖像;對(duì)每張低分辨率圖像通過(guò)滑動(dòng)窗口的方法提取一組低分辨率圖像塊,同一張低分辨率圖像中連續(xù)M個(gè)空間位置上依次相鄰的低分辨率圖像塊組合形成一個(gè)訓(xùn)練樣本;提取每張高分辨率圖像中與低分辨率圖像塊位置對(duì)應(yīng)的高分辨率圖像塊作為該訓(xùn)練樣本的標(biāo)簽;

步驟A2,利用所述的訓(xùn)練樣本和訓(xùn)練樣本的標(biāo)簽進(jìn)行雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練;

分辨率增強(qiáng):

步驟B1,將待處理低分辨率圖像通過(guò)滑動(dòng)窗口的方法分割成一組待處理低分辨率圖像塊,同一張待處理低分辨率圖像中連續(xù)的空間位置上依次相鄰的低分辨率圖像塊組合形成一個(gè)待處理樣本序列,并保存每個(gè)低分辨率圖像塊在圖像中的對(duì)應(yīng)位置;

步驟B2,將所述待處理樣本序列輸入到步驟A2訓(xùn)練好的雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)模型中,輸出待處理樣本序列中各待處理低分辨率圖像塊對(duì)應(yīng)的高分辨率圖像塊,將輸出的高分辨率圖像塊按照對(duì)應(yīng)低分辨率圖像塊在圖像中的位置進(jìn)行融合,從而生成高分辨率圖像。

所述雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的目標(biāo)函數(shù)為

<mrow> <mi>E</mi> <mo>=</mo> <msqrt> <mfrac> <mrow> <munderover> <mo>&Sigma;</mo> <mi>i</mi> <mi>N</mi> </munderover> <munderover> <mo>&Sigma;</mo> <mi>j</mi> <mi>M</mi> </munderover> <mo>|</mo> <mo>|</mo> <msub> <mi>F</mi> <mrow> <mi>&theta;</mi> <mo>,</mo> <mi>W</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mi>j</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <msubsup> <mi>Y</mi> <mi>i</mi> <mi>j</mi> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> </mrow> <mrow> <mi>N</mi> <mi>M</mi> </mrow> </mfrac> </msqrt> </mrow>

其中表示第i個(gè)訓(xùn)練樣本中第j個(gè)低分辨率圖像塊,表示對(duì)應(yīng)的真實(shí)高分辨率圖像塊,N為訓(xùn)練樣本的個(gè)數(shù),M為每個(gè)訓(xùn)練樣本中空間上相鄰的圖像塊的個(gè)數(shù);θ表示雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)中隱節(jié)點(diǎn)之間的遞歸連接參數(shù),負(fù)責(zé)對(duì)相鄰圖像塊間的空間位置關(guān)系進(jìn)行學(xué)習(xí),根據(jù)學(xué)習(xí)的空間位置關(guān)系方向的不同該參數(shù)可以進(jìn)一步表示為:θ=[θFB],其中θF表示為前向遞歸連接參數(shù),θB表示后向遞歸連接參數(shù);W表示雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)中輸入低分辨率圖像塊到輸出高分辨率圖像塊之間的連接參數(shù),負(fù)責(zé)由低分辨率圖像塊到高分辨率圖像塊之間映射關(guān)系的學(xué)習(xí);表示將低分辨率圖像塊輸入到雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)生成的高分辨率圖像塊;

通過(guò)最小化目標(biāo)函數(shù)E來(lái)求取參數(shù)θ,W的最優(yōu)估計(jì)值

<mrow> <mo>(</mo> <mover> <mi>&theta;</mi> <mi>&Lambda;</mi> </mover> <mo>,</mo> <mover> <mi>W</mi> <mi>&Lambda;</mi> </mover> <mo>)</mo> <mo>=</mo> <munder> <mi>argmin</mi> <mrow> <mi>&theta;</mi> <mo>,</mo> <mi>W</mi> </mrow> </munder> <msqrt> <mfrac> <mrow> <munderover> <mo>&Sigma;</mo> <mi>i</mi> <mi>N</mi> </munderover> <munderover> <mo>&Sigma;</mo> <mi>j</mi> <mi>M</mi> </munderover> <mo>|</mo> <mo>|</mo> <msub> <mi>F</mi> <mrow> <mi>&theta;</mi> <mo>,</mo> <mi>W</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mi>j</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <msubsup> <mi>Y</mi> <mi>i</mi> <mi>j</mi> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> </mrow> <mrow> <mi>N</mi> <mi>M</mi> </mrow> </mfrac> </msqrt> <mo>.</mo> </mrow>

所述雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)模型生成高分辨率圖像塊的具體公式如下:

<mrow> <msub> <mi>F</mi> <mrow> <mi>&theta;</mi> <mo>,</mo> <mi>W</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mi>j</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <msub> <mi>f</mi> <mrow> <msub> <mi>&theta;</mi> <mi>F</mi> </msub> <mo>,</mo> <mi>W</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mi>j</mi> </msubsup> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>-</mo> <mn>2</mn> </mrow> </msubsup> <mo>...</mo> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>-</mo> <mi>n</mi> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>+</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <msub> <mi>f</mi> <mrow> <msub> <mi>&theta;</mi> <mi>B</mi> </msub> <mo>,</mo> <mi>W</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mi>j</mi> </msubsup> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>2</mn> </mrow> </msubsup> <mo>...</mo> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>+</mo> <mi>n</mi> </mrow> </msubsup> <mo>)</mo> </mrow> </mrow>

其中為第i個(gè)訓(xùn)練樣本中空間上依次相鄰的低分辨率圖像塊;表示利用與其之前的低分辨率圖像塊的信息生成的高分辨率圖像塊;表示利用與其之后的低分辨率圖像塊的信息生成的高分辨率圖像塊。

所述高分辨率圖像塊和的公示如下:

<mrow> <msub> <mi>f</mi> <mrow> <msub> <mi>&theta;</mi> <mi>F</mi> </msub> <mo>,</mo> <mi>W</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mi>j</mi> </msubsup> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>-</mo> <mn>2</mn> </mrow> </msubsup> <mo>...</mo> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>-</mo> <mi>n</mi> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mi>&sigma;</mi> <mrow> <mo>(</mo> <msub> <mi>W</mi> <mn>3</mn> </msub> <mo>*</mo> <msubsup> <mi>H</mi> <mrow> <mn>2</mn> <mi>F</mi> </mrow> <mi>j</mi> </msubsup> <mo>)</mo> </mrow> </mrow>

其中

<mrow> <msub> <mi>f</mi> <mrow> <msub> <mi>&theta;</mi> <mi>B</mi> </msub> <mo>,</mo> <mi>W</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mi>j</mi> </msubsup> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>2</mn> </mrow> </msubsup> <mo>...</mo> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>+</mo> <mi>n</mi> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mi>&sigma;</mi> <mrow> <mo>(</mo> <msub> <mi>W</mi> <mn>3</mn> </msub> <mo>*</mo> <msubsup> <mi>H</mi> <mrow> <mn>2</mn> <mi>B</mi> </mrow> <mi>j</mi> </msubsup> <mo>)</mo> </mrow> </mrow>

其中

所述獲取多組包含有完全相同內(nèi)容的高、低分辨率圖像的方法為:選取高分辨率圖像構(gòu)成訓(xùn)練原始數(shù)據(jù),將訓(xùn)練原始數(shù)據(jù)中的高分辨率圖像模擬生成低分辨率圖像。

采用圖像降質(zhì)觀(guān)測(cè)模型將高分辨率圖像模擬生成低分辨率圖像,具體為:

對(duì)高分辨率圖像首先進(jìn)行高斯模糊,接著利用雙三次插值方法進(jìn)行百分比縮放,然后對(duì)得到的縮小的低分辨率圖像使用雙三次插值的方式放大至對(duì)應(yīng)的高分辨率圖像的原有尺寸。

利用雙三次插值方法進(jìn)行兩個(gè)或兩個(gè)以上尺寸的百分比縮放得到多個(gè)縮小尺寸的低分辨率圖像,基于一個(gè)高分辨率圖像生成多個(gè)高、低分辨率圖像組。

百分比縮放的尺寸可以為高分辨率圖像的尺寸的二分之一或三分之一或四分之一。

本發(fā)明通過(guò)利用雙向遞歸卷積神經(jīng)網(wǎng)絡(luò),能夠?qū)W習(xí)到高低分辨率圖像之間更加準(zhǔn)確的映射關(guān)系;通過(guò)雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)中遞歸的網(wǎng)絡(luò)結(jié)構(gòu),能夠明顯提升高分辨率圖像塊生成過(guò)程中的感受野大小;通過(guò)雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)對(duì)相鄰圖像塊空間位置關(guān)系的學(xué)習(xí),能夠充分利用相鄰圖像塊之間的一致性約束,在結(jié)果高分辨率圖像中的保留更多的細(xì)節(jié)信息。

附圖說(shuō)明

圖1本發(fā)明技術(shù)方案流程框圖;

圖2雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖。

具體實(shí)施方式

下面將結(jié)合附圖對(duì)本發(fā)明加以詳細(xì)說(shuō)明,應(yīng)指出的是,所描述的實(shí)施例僅旨在便于對(duì)本發(fā)明的理解,而對(duì)其不起任何限定作用。

本發(fā)明的思想要點(diǎn)是:1)本發(fā)明利用雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像中相鄰圖像塊空間位置關(guān)系進(jìn)行學(xué)習(xí),并以此來(lái)輔助高低分辨率圖像間映射關(guān)系的學(xué)習(xí);2)本發(fā)明利用雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)中的遞歸結(jié)構(gòu)提升高分辨率圖像塊生成過(guò)程中的感受野大小,提升生成的高分辨率圖像塊的準(zhǔn)確性;3)本發(fā)明有效利用相鄰圖像塊之間的一致性約束,豐富結(jié)果高分辨率圖像中的邊緣紋理等細(xì)節(jié)信息。

本發(fā)明的技術(shù)方案流程框圖如圖1所示,包括模型訓(xùn)練和分辨率增強(qiáng)兩部分

模型訓(xùn)練:

步驟A1,訓(xùn)練數(shù)據(jù)生成:獲取多組包含有完全相同內(nèi)容的高、低分辨率圖像;對(duì)每張低分辨率圖像通過(guò)滑動(dòng)窗口的方法提取一組低分辨率圖像塊,同一張低分辨率圖像中連續(xù)M個(gè)空間位置上依次相鄰的低分辨率圖像塊組合形成一個(gè)訓(xùn)練樣本;提取每張高分辨率圖像中與低分辨率圖像塊位置對(duì)應(yīng)的高分辨率圖像塊作為該訓(xùn)練樣本的標(biāo)簽。

大規(guī)模的可用數(shù)據(jù)是采用深度學(xué)習(xí)的前提條件。本發(fā)明中采用的是包含有91張自然場(chǎng)景高分辨率圖像的數(shù)據(jù)集。由于實(shí)際中無(wú)法同時(shí)收集到包含有完全相同內(nèi)容的高低分辨率圖像,因此,本發(fā)明選取高分辨率圖像構(gòu)成訓(xùn)練原始數(shù)據(jù),采用圖像降質(zhì)觀(guān)測(cè)模型將訓(xùn)練原始數(shù)據(jù)中的高分辨率圖像模擬生成低分辨率圖像,具體為:對(duì)訓(xùn)練原始數(shù)據(jù)中的高分辨率圖像進(jìn)行高斯模糊后利用雙三次插值方法將其尺寸進(jìn)行等比例縮小后作為對(duì)應(yīng)的縮小的低分辨率圖像,本實(shí)施例中等比例縮小的尺寸為原有尺寸的二分之一、三分之一、四分之一等,接著對(duì)得到的縮小的低分辨率圖像使用雙三次插值的方式放大至對(duì)應(yīng)的高分辨率圖像的原有尺寸;將得到的每張低分辨率圖像與其對(duì)應(yīng)的高分辨率圖像構(gòu)成高、低分辨率圖像組,對(duì)每個(gè)高、低分辨率圖像組中低分辨率圖像和高分辨率圖像以滑動(dòng)窗口的方式產(chǎn)生對(duì)應(yīng)的高、低分辨率圖像塊,具體為:對(duì)每張低分辨率圖像通過(guò)滑動(dòng)窗口的方法提取一組低分辨率圖像塊,同一張低分辨率圖像中連續(xù)M個(gè)空間位置上依次相鄰的低分辨率圖像塊組合形成一個(gè)訓(xùn)練樣本;提取每張高分辨率圖像中與低分辨率圖像塊位置對(duì)應(yīng)的高分辨率圖像塊作為該訓(xùn)練樣本的標(biāo)簽。

本發(fā)明中構(gòu)造了不同縮放倍數(shù)下的訓(xùn)練數(shù)據(jù)并分別進(jìn)行了訓(xùn)練,得到了針對(duì)不同放大倍數(shù)的雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)模型。

步驟A2,雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)的模型訓(xùn)練:利用所述的訓(xùn)練樣本和訓(xùn)練樣本的標(biāo)簽進(jìn)行雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練。

本發(fā)明中雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的目標(biāo)函數(shù)如公式(1)所示;

<mrow> <mi>E</mi> <mo>=</mo> <msqrt> <mfrac> <mrow> <munderover> <mo>&Sigma;</mo> <mi>i</mi> <mi>N</mi> </munderover> <munderover> <mo>&Sigma;</mo> <mi>j</mi> <mi>M</mi> </munderover> <mo>|</mo> <mo>|</mo> <msub> <mi>F</mi> <mrow> <mi>&theta;</mi> <mo>,</mo> <mi>W</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mi>j</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <msubsup> <mi>Y</mi> <mi>i</mi> <mi>j</mi> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> </mrow> <mrow> <mi>N</mi> <mi>M</mi> </mrow> </mfrac> </msqrt> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

其中E為整個(gè)網(wǎng)絡(luò)訓(xùn)練的目標(biāo)損失函數(shù),為第i個(gè)訓(xùn)練樣本中第j個(gè)低分辨率圖像塊,為對(duì)應(yīng)于的真實(shí)高分辨率圖像塊。N為訓(xùn)練樣本的個(gè)數(shù),M為每個(gè)訓(xùn)練樣本中空間上相鄰的圖像塊的個(gè)數(shù)。表示將低分辨率圖像塊輸入到雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)生成的高分辨率圖像塊。θ表示雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)中隱節(jié)點(diǎn)之間的遞歸連接參數(shù),負(fù)責(zé)對(duì)相鄰圖像塊間的空間位置關(guān)系進(jìn)行學(xué)習(xí),根據(jù)學(xué)習(xí)的空間位置關(guān)系方向的不同該參數(shù)可以進(jìn)一步表示為:θ=[θFB],其中θF表示前向遞歸連接參數(shù),θB表示后向遞歸連接參數(shù)。W表示雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)中輸入低分辨率圖像塊到輸出高分辨率圖像塊之間的連接參數(shù),負(fù)責(zé)由低分辨率圖像塊到高分辨率圖像塊之間映射關(guān)系的學(xué)習(xí)。

本發(fā)明中主要通過(guò)最小化網(wǎng)絡(luò)生成的高分辨率圖像塊與真實(shí)高分辨率圖像塊之間的均方根誤差對(duì)模型進(jìn)行訓(xùn)練,即通過(guò)最小化目標(biāo)函數(shù)E來(lái)求取參數(shù)θ,W的最優(yōu)估計(jì)值如公式(2)所示

<mrow> <mo>(</mo> <mover> <mi>&theta;</mi> <mi>&Lambda;</mi> </mover> <mo>,</mo> <mover> <mi>W</mi> <mi>&Lambda;</mi> </mover> <mo>)</mo> <mo>=</mo> <munder> <mi>argmin</mi> <mrow> <mi>&theta;</mi> <mo>,</mo> <mi>W</mi> </mrow> </munder> <msqrt> <mfrac> <mrow> <munderover> <mo>&Sigma;</mo> <mi>i</mi> <mi>N</mi> </munderover> <munderover> <mo>&Sigma;</mo> <mi>j</mi> <mi>M</mi> </munderover> <mo>|</mo> <mo>|</mo> <msub> <mi>F</mi> <mrow> <mi>&theta;</mi> <mo>,</mo> <mi>W</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mi>j</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <msubsup> <mi>Y</mi> <mi>i</mi> <mi>j</mi> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> </mrow> <mrow> <mi>N</mi> <mi>M</mi> </mrow> </mfrac> </msqrt> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

利用雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)模型生成高分辨率圖像塊時(shí),充分利用了輸入的低分辨率圖像塊及與其相鄰的低分辨率圖像塊的信息進(jìn)行高分辨率圖像塊的生成;生成的高分辨率圖像塊可以進(jìn)一步表示為公式(3):

<mrow> <msub> <mi>F</mi> <mrow> <mi>&theta;</mi> <mo>,</mo> <mi>W</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mi>j</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <msub> <mi>f</mi> <mrow> <msub> <mi>&theta;</mi> <mi>F</mi> </msub> <mo>,</mo> <mi>W</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mi>j</mi> </msubsup> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>-</mo> <mn>2</mn> </mrow> </msubsup> <mo>...</mo> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>-</mo> <mi>n</mi> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>+</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <msub> <mi>f</mi> <mrow> <msub> <mi>&theta;</mi> <mi>B</mi> </msub> <mo>,</mo> <mi>W</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mi>j</mi> </msubsup> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>2</mn> </mrow> </msubsup> <mo>...</mo> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>+</mo> <mi>n</mi> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>

其中為第i個(gè)訓(xùn)練樣本中空間上依次相鄰的低分辨率圖像塊,如同一行中從左到右依次相鄰的低分辨率圖像塊、同一列中從上到下依次相鄰的低分辨率圖像塊等。表示利用與其之前的低分辨率圖像塊生成高分辨率圖像塊。表示利用與其之后的低分辨率圖像塊生成高分辨率圖像塊。公式(3)表明雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)利用輸入低分辨率圖像塊前后兩個(gè)方向上的相鄰圖像塊的信息融合產(chǎn)生高分辨率圖像塊。

附圖2顯示了雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),圖中下半部分為前向遞歸卷積神經(jīng)網(wǎng)絡(luò),上半部分為后向遞歸卷積神經(jīng)網(wǎng)絡(luò)。圖中為空間上依次相鄰的輸入低分辨率圖像塊,為對(duì)應(yīng)的網(wǎng)絡(luò)生成的高分辨率圖像塊,分別為對(duì)應(yīng)于不同輸入低分辨率圖像塊的隱節(jié)點(diǎn)。前向遞歸連接參數(shù)θF可以進(jìn)一步表示為θF=[θF1F2],θF1表示前向網(wǎng)絡(luò)中第一層隱節(jié)點(diǎn)之間的遞歸連接參數(shù),θF2表示前向網(wǎng)絡(luò)中第二層隱節(jié)點(diǎn)之間的遞歸連接參數(shù),如圖中所示。同理后向遞歸連接參數(shù)θB可以進(jìn)一步表示為θB=[θB1B2],θB1表示后向網(wǎng)絡(luò)中第一層隱節(jié)點(diǎn)之間的遞歸連接參數(shù),θB2表示后向網(wǎng)絡(luò)中第二層隱節(jié)點(diǎn)之間的遞歸連接參數(shù)。參數(shù)W可以進(jìn)一步表示為W=[W1,W2,W3],W1表示輸入低分辨率圖像塊到第一層隱節(jié)點(diǎn)之間的連接參數(shù),W2表示第一層隱節(jié)點(diǎn)到第二層隱節(jié)點(diǎn)之間的連接參數(shù),W3則表示第二層隱節(jié)點(diǎn)到輸出高分辨率圖像塊之間的連接參數(shù),如圖中所示。

現(xiàn)以前向?yàn)槔唧w介紹遞歸卷積神經(jīng)網(wǎng)絡(luò)生成高分辨率圖像塊的過(guò)程:

1)隱節(jié)點(diǎn)計(jì)算如公式(4)所示:

<mrow> <msubsup> <mi>H</mi> <mn>1</mn> <mi>j</mi> </msubsup> <mo>=</mo> <mi>&sigma;</mi> <mrow> <mo>(</mo> <msub> <mi>W</mi> <mn>1</mn> </msub> <mo>*</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mi>j</mi> </msubsup> <mo>+</mo> <msub> <mi>&theta;</mi> <mrow> <mi>F</mi> <mn>1</mn> </mrow> </msub> <mo>*</mo> <msubsup> <mi>H</mi> <mn>1</mn> <mrow> <mi>j</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>

其中σ為節(jié)點(diǎn)的非線(xiàn)性激勵(lì)函數(shù),*為卷積操作。

2)隱節(jié)點(diǎn)計(jì)算如公式(5)所示:

<mrow> <msubsup> <mi>H</mi> <mn>2</mn> <mi>j</mi> </msubsup> <mo>=</mo> <mi>&sigma;</mi> <mrow> <mo>(</mo> <msub> <mi>W</mi> <mn>2</mn> </msub> <mo>*</mo> <msubsup> <mi>H</mi> <mn>1</mn> <mi>j</mi> </msubsup> <mo>+</mo> <msub> <mi>&theta;</mi> <mrow> <mi>F</mi> <mn>2</mn> </mrow> </msub> <mo>*</mo> <msubsup> <mi>H</mi> <mn>2</mn> <mrow> <mi>j</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>

3)輸出高分辨率圖像塊計(jì)算如公式(6)所示:

<mrow> <msubsup> <mi>XH</mi> <mi>i</mi> <mi>j</mi> </msubsup> <mo>=</mo> <mi>&sigma;</mi> <mrow> <mo>(</mo> <msub> <mi>W</mi> <mn>3</mn> </msub> <mo>*</mo> <msubsup> <mi>H</mi> <mn>2</mn> <mi>j</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>

后向遞歸卷積神經(jīng)網(wǎng)絡(luò)生成高分辨率圖像塊過(guò)程類(lèi)似,兩者生成的高分辨率圖像塊加和平均生成最終的高分辨率圖像塊如公式(3)所示。

本實(shí)施例中,公式(3)中的高分辨率圖像塊和的計(jì)算如公式(7)、(8)所示:

<mrow> <msub> <mi>f</mi> <mrow> <msub> <mi>&theta;</mi> <mi>F</mi> </msub> <mo>,</mo> <mi>W</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mi>j</mi> </msubsup> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>-</mo> <mn>2</mn> </mrow> </msubsup> <mo>...</mo> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>-</mo> <mi>n</mi> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mi>&sigma;</mi> <mrow> <mo>(</mo> <msub> <mi>W</mi> <mn>3</mn> </msub> <mo>*</mo> <msubsup> <mi>H</mi> <mrow> <mn>2</mn> <mi>F</mi> </mrow> <mi>j</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>

其中

<mrow> <msub> <mi>f</mi> <mrow> <msub> <mi>&theta;</mi> <mi>B</mi> </msub> <mo>,</mo> <mi>W</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mi>j</mi> </msubsup> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>2</mn> </mrow> </msubsup> <mo>...</mo> <mo>,</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mrow> <mi>j</mi> <mo>+</mo> <mi>n</mi> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mi>&sigma;</mi> <mrow> <mo>(</mo> <msub> <mi>W</mi> <mn>3</mn> </msub> <mo>*</mo> <msubsup> <mi>H</mi> <mrow> <mn>2</mn> <mi>B</mi> </mrow> <mi>j</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>

其中

分辨率增強(qiáng):

步驟B1,低分辨率圖像預(yù)處理:首先將輸入的低分辨率圖像的像素值歸一化0到1區(qū)間,接著使用雙三次插值的方式縮放到目標(biāo)尺寸;將待處理低分辨率圖像通過(guò)滑動(dòng)窗口的方法分割成一組待處理低分辨率圖像塊,同一張待處理低分辨率圖像中連續(xù)的空間位置上依次相鄰的低分辨率圖像塊組合形成一個(gè)待處理樣本序列,并保存每個(gè)低分辨率圖像塊在圖像中的對(duì)應(yīng)位置;

步驟B2,利用訓(xùn)練好的雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)模型生成高分辨率圖像:將所述待處理樣本序列輸入到步驟A2訓(xùn)練好的雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)模型中,輸出待處理樣本序列中各待處理低分辨率圖像塊對(duì)應(yīng)的高分辨率圖像塊,將輸出的高分辨率圖像塊按照對(duì)應(yīng)低分辨率圖像塊在圖像中的位置進(jìn)行融合,從而生成高分辨率圖像。

本發(fā)明提出了一種新的基于雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率增強(qiáng)方法很好地利用了雙向遞歸卷積神經(jīng)網(wǎng)絡(luò)對(duì)相鄰圖像塊空間位置關(guān)系建模的能力,得到了具有更高峰值信噪比且包含有更多邊緣紋理等細(xì)節(jié)信息的結(jié)果高分辨率圖像,進(jìn)而說(shuō)明了相鄰圖像塊空間位置關(guān)系對(duì)圖像超分辨率的有效性。

以上所述,僅為本發(fā)明中的具體實(shí)施方式,但本發(fā)明的保護(hù)范圍并不局限于此,任何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi),可理解想到的變換或替換,都應(yīng)涵蓋在本發(fā)明的包含范圍之內(nèi),因此,本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求書(shū)的保護(hù)范圍為準(zhǔn)。

當(dāng)前第1頁(yè)1 2 3 
網(wǎng)友詢(xún)問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1