本發(fā)明的實(shí)施例涉及一種圖像處理方法和裝置。

背景技術(shù)：

當(dāng)前，基于人工神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù)已經(jīng)在諸如圖像分類、圖像捕獲和搜索、面部識(shí)別、年齡和語(yǔ)音識(shí)別等領(lǐng)域取得了巨大進(jìn)展。深度學(xué)習(xí)的優(yōu)勢(shì)在于可以利用通用的結(jié)構(gòu)以相對(duì)類似的系統(tǒng)解決非常不同的技術(shù)問(wèn)題。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)是近年發(fā)展起來(lái)并引起廣泛重視的一種人工神經(jīng)網(wǎng)絡(luò)，CNN是一種特殊的圖像識(shí)別方式，屬于非常有效的帶有前向反饋的網(wǎng)絡(luò)?，F(xiàn)在，CNN的應(yīng)用范圍已經(jīng)不僅僅限于圖像識(shí)別領(lǐng)域，也可以應(yīng)用在人臉識(shí)別、文字識(shí)別、圖像處理等應(yīng)用方向。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的至少一個(gè)實(shí)施例提供了一種圖像處理方法，該方法包括：使用第一卷積神經(jīng)網(wǎng)絡(luò)提取輸入的第一圖像的特征，以及使用第二卷積神經(jīng)網(wǎng)絡(luò)重構(gòu)并輸出圖像。所述第一卷積神經(jīng)網(wǎng)絡(luò)包括依次連接的多個(gè)第一卷積層和間插于相鄰第一卷積層之間的多個(gè)第一池化層，所述第一卷積層每個(gè)用于產(chǎn)生并輸出第一卷積特征；第二卷積神經(jīng)網(wǎng)絡(luò)包括依次連接的多個(gè)第二卷積層和間插于相鄰第二卷積層之間的多個(gè)復(fù)合層，所述復(fù)合層為上采樣層；所述第一卷積層的數(shù)量與所述第二卷積層的數(shù)量相等，最后的第一卷積層的輸出被連接到最初的第二卷積層，且所述多個(gè)第二卷積層中除最初的層級(jí)外，至少之一接收對(duì)應(yīng)的所述第一卷積層輸出的第一卷積特征，且融合同一層級(jí)的復(fù)合層的輸出以及對(duì)應(yīng)的所述第一卷積層輸出的第一卷積特征以得到其輸出數(shù)據(jù)。

例如，在至少一個(gè)實(shí)施例的圖像處理方法中，所述多個(gè)第二卷積層中除最初的層級(jí)外，每個(gè)都接收對(duì)應(yīng)的所述第一卷積層輸出的第一卷積特征，且融合同一層級(jí)的復(fù)合層的輸出以及對(duì)應(yīng)的所述第一卷積層輸出的第一卷積特征以得到其輸出數(shù)據(jù)。

例如，在至少一個(gè)實(shí)施例的圖像處理方法中，所述復(fù)合層每個(gè)獲取被輸入到其中的第一數(shù)量的輸入圖像并將這些輸入圖像的像素值交織以產(chǎn)生所述第一數(shù)量的輸出圖像。

例如，根據(jù)至少一個(gè)實(shí)施例的圖像處理方法，還包括使用第三卷積神經(jīng)網(wǎng)絡(luò)提取輸入的第三圖像的特征，其中，所述第三卷積神經(jīng)網(wǎng)絡(luò)包括依次連接的多個(gè)第三卷積層和間插于相鄰第三卷積層之間的多個(gè)第三池化層，每級(jí)所述第三卷積層用于產(chǎn)生并輸出第三卷積特征，所述第三卷積層的數(shù)量與所述第一卷積層的數(shù)量相等，并且所述多個(gè)第二卷積層中除最初的層級(jí)以及連接到所述第一卷積層的層級(jí)外，至少之一接收對(duì)應(yīng)的所述第三卷積層輸出的第三卷積特征，且融合其同一層級(jí)的復(fù)合層的輸出以及對(duì)應(yīng)的所述第三卷積層輸出的第三卷積特征以得到其輸出數(shù)據(jù)。

例如，根據(jù)至少一個(gè)實(shí)施例的圖像處理方法，還包括對(duì)于所述多個(gè)第二卷積層中至少之一，選擇使其接收對(duì)應(yīng)的所述第一卷積層或?qū)?yīng)的所述第三卷積層的輸出，由此選擇對(duì)應(yīng)的所述第一卷積層輸出的第一卷積特征或?qū)?yīng)的所述第三卷積層輸出的第三卷積特征與同一層級(jí)的復(fù)合層的輸出融合以得到其輸出數(shù)據(jù)。

例如，根據(jù)至少一個(gè)實(shí)施例的圖像處理方法，還包括對(duì)于所述多個(gè)第二卷積層中每個(gè)，都選擇使其接收對(duì)應(yīng)的所述第一卷積層或?qū)?yīng)的所述第三卷積層的輸出，由此選擇對(duì)應(yīng)的所述第一卷積層輸出的第一卷積特征或?qū)?yīng)的所述第三卷積層輸出的第三卷積特征與同一層級(jí)的復(fù)合層的輸出融合以得到其輸出數(shù)據(jù)。

例如，在至少一個(gè)實(shí)施例的圖像處理方法中，所述第一卷積特征是內(nèi)容特征，所述第三卷積特征是風(fēng)格特征；或者，所述第一卷積特征是風(fēng)格特征，所述第三卷積特征是內(nèi)容特征。

例如，在至少一個(gè)實(shí)施例的圖像處理方法中，所述第一卷積神經(jīng)網(wǎng)絡(luò)和所述第三卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)造相同。

本發(fā)明的至少一個(gè)實(shí)施例提供了一種圖像處理裝置，該裝置包括：第一卷積神經(jīng)網(wǎng)絡(luò)模塊和第二卷積神經(jīng)網(wǎng)絡(luò)模塊。第一卷積神經(jīng)網(wǎng)絡(luò)模塊用于提取輸入的第一圖像的特征，其中，所述第一卷積神經(jīng)網(wǎng)絡(luò)包括依次連接的多個(gè)第一卷積層和間插于相鄰第一卷積層之間的多個(gè)第一池化層，所述第一卷積層每個(gè)用于產(chǎn)生并輸出第一卷積特征；第二卷積神經(jīng)網(wǎng)絡(luò)模塊用于重構(gòu)并輸出圖像，其中，所述第二神經(jīng)網(wǎng)絡(luò)包括依次連接的多個(gè)第二卷積層和間插于相鄰第二卷積層之間的多個(gè)復(fù)合層，所述復(fù)合層為上采樣層；并且，所述第一卷積層的數(shù)量與所述第二卷積層的數(shù)量相等，最后的第一卷積層的輸出被連接到最初的第二卷積層，且所述多個(gè)第二卷積層中除最初的層級(jí)外，至少之一接收對(duì)應(yīng)的所述第一卷積層輸出的第一卷積特征，且融合同一層級(jí)的復(fù)合層的輸出以及對(duì)應(yīng)的所述第一卷積層輸出的第一卷積特征以得到其輸出數(shù)據(jù)。

例如，在至少一個(gè)實(shí)施例的圖像處理裝置中，所述多個(gè)第二卷積層中除最初的層級(jí)外，每個(gè)都接收對(duì)應(yīng)的所述第一卷積層輸出的第一卷積特征，且融合同一層級(jí)的復(fù)合層的輸出以及對(duì)應(yīng)的所述第一卷積層輸出的第一卷積特征以得到其輸出數(shù)據(jù)。

例如，在至少一個(gè)實(shí)施例的圖像處理裝置中，所述復(fù)合層獲取被輸入到其中的第一數(shù)量的輸入圖像并將這些輸入圖像的像素值交織以產(chǎn)生所述第一數(shù)量的輸出圖像。

例如，根據(jù)至少一個(gè)實(shí)施例的圖像處理裝置還包括第三卷積神經(jīng)網(wǎng)絡(luò)模塊，第三卷積神經(jīng)網(wǎng)絡(luò)模塊用于提取輸入的第三圖像的特征，其中，所述第三卷積神經(jīng)網(wǎng)絡(luò)包括依次連接的多個(gè)第三卷積層和間插于相鄰第三卷積層之間的多個(gè)第三池化層，每級(jí)所述第三卷積層用于產(chǎn)生并輸出第三卷積特征，所述第三卷積層的數(shù)量與所述第一卷積層的數(shù)量相等；并且，所述多個(gè)第二卷積層中除最初的層級(jí)以及連接到所述第一卷積層的層級(jí)外，至少之一接收對(duì)應(yīng)的所述第三卷積層輸出的第三卷積特征，且融合其同一層級(jí)的復(fù)合層的輸出以及對(duì)應(yīng)的所述第三卷積層輸出的第三卷積特征以得到其輸出數(shù)據(jù)。

例如，根據(jù)至少一個(gè)實(shí)施例的圖像處理裝置，還包括選擇模塊，其中，對(duì)于所述多個(gè)第二卷積層中至少之一，通過(guò)所述選擇模塊配置為選擇使其接收對(duì)應(yīng)的所述第一卷積層或?qū)?yīng)的所述第三卷積層的輸出，由此選擇對(duì)應(yīng)的所述第一卷積層輸出的第一卷積特征或?qū)?yīng)的所述第三卷積層輸出的第三卷積特征與同一層級(jí)的復(fù)合層的輸出融合以得到其輸出數(shù)據(jù)。

例如，在至少一個(gè)實(shí)施例的圖像處理裝置中，對(duì)于所述多個(gè)第二卷積層中每個(gè)，所述選擇模塊配置為選擇使其接收對(duì)應(yīng)的所述第一卷積層或?qū)?yīng)的所述第三卷積層的輸出，由此選擇對(duì)應(yīng)的所述第一卷積層輸出的第一卷積特征或?qū)?yīng)的所述第三卷積層輸出的第三卷積特征與同一層級(jí)的復(fù)合層的輸出融合以得到其輸出數(shù)據(jù)。

例如，在至少一個(gè)實(shí)施例的圖像處理裝置中，所述第一卷積神經(jīng)網(wǎng)絡(luò)和所述第三卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)造相同。

本發(fā)明的至少一個(gè)實(shí)施例提供了一種圖像處理裝置，該圖像處理裝置包括處理器和存儲(chǔ)器，該存儲(chǔ)器上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器運(yùn)行時(shí)可以執(zhí)行根據(jù)本發(fā)明至少一實(shí)施例的圖像處理方法。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅涉及本發(fā)明的一些實(shí)施例，而非對(duì)本發(fā)明的限制。

圖1示出了一種神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)單示意圖。

圖2A示出了卷積神經(jīng)網(wǎng)絡(luò)的一種典型構(gòu)型；圖2B抽象地示出了的卷積神經(jīng)網(wǎng)絡(luò)中一個(gè)神經(jīng)元的輸入與輸出。

圖3示出了一個(gè)使用卷積神經(jīng)網(wǎng)絡(luò)的輸入圖像的分析模塊的示意圖。

圖4A和圖4B分別示出了根據(jù)本發(fā)明至少一個(gè)實(shí)施例的圖像處理裝置和處理方法的示意圖。

圖5A和圖5B示出了復(fù)合層的兩個(gè)示例。

圖6示出了根據(jù)本發(fā)明另一個(gè)實(shí)施例的圖像處理方法和裝置的示意圖。

圖7A和圖7B示出了根據(jù)本發(fā)明再一個(gè)實(shí)施例的圖像處理裝置和方法的示意圖。

圖8示出了根據(jù)本發(fā)明再一個(gè)實(shí)施例的圖像處理方法和裝置的示意圖。

圖9示出了可以用于實(shí)現(xiàn)本公開(kāi)的圖像處理方法的示例性計(jì)算設(shè)備。

具體實(shí)施方式

為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例的附圖，對(duì)本發(fā)明實(shí)施例的技術(shù)方案進(jìn)行清楚、完整地描述。顯然，所描述的實(shí)施例是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例?；谒枋龅谋景l(fā)明的實(shí)施例，本領(lǐng)域普通技術(shù)人員在無(wú)需創(chuàng)造性勞動(dòng)的前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

除非另外定義，本公開(kāi)使用的技術(shù)術(shù)語(yǔ)或者科學(xué)術(shù)語(yǔ)應(yīng)當(dāng)為本發(fā)明所屬領(lǐng)域內(nèi)具有一般技能的人士所理解的通常意義。本公開(kāi)中使用的“第一”、“第二”以及類似的詞語(yǔ)并不表示任何順序、數(shù)量或者重要性，而只是用來(lái)區(qū)分不同的組成部分。同樣，“包括”或者“包含”等類似的詞語(yǔ)意指出現(xiàn)該詞前面的元件或者物件涵蓋出現(xiàn)在該詞后面列舉的元件或者物件及其等同，而不排除其他元件或者物件?！斑B接”或者“相連”等類似的詞語(yǔ)并非限定于物理的或者機(jī)械的連接，而是可以包括電性連接或信號(hào)連接，不管是直接的還是間接的。

隨著圖像處理技術(shù)的發(fā)展，人們開(kāi)始構(gòu)思對(duì)圖像進(jìn)行風(fēng)格化遷移處理的方法，例如，基于參考圖像所給出的風(fēng)格(style)，對(duì)輸入的數(shù)字化圖像進(jìn)行處理以獲得至少部分體現(xiàn)出該風(fēng)格的輸出圖像。例如，參考圖像為某個(gè)藝術(shù)家(例如梵高、莫奈等大師)的作品，輸出的圖像則可以在保留原有內(nèi)容的同時(shí)還呈現(xiàn)出該藝術(shù)家作畫(huà)的某些特征，甚至使人將其誤認(rèn)為該藝術(shù)家的作品。傳統(tǒng)的圖像處理效果(例如，instagram公司提供的各種濾鏡等)無(wú)法獲得這樣的風(fēng)格化遷移處理效果。目前，依靠最近發(fā)展起來(lái)的深度學(xué)習(xí)等技術(shù)才實(shí)現(xiàn)了類似的處理效果。

例如由Leon A.Gatys等人提出一種利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像風(fēng)格遷移的方法，請(qǐng)參見(jiàn)文獻(xiàn)，Leon A.Gatys,Alexander S.Echer,Matthias Bethge.A Neural Algorithm for Artistic Style.arXiv:1508.06576v2[cs.CV]，2015年9月2日。在此將該文獻(xiàn)全文引用結(jié)合于此，以作為本申請(qǐng)的一部分。該方法主要是基于經(jīng)過(guò)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)(CNN)，對(duì)輸入的圖片進(jìn)行了不同層次的分解，然后通過(guò)風(fēng)格表達(dá)(Style Representation)和內(nèi)容重建(Content Reconstruction)兩個(gè)方面構(gòu)建映射關(guān)系，從而進(jìn)行風(fēng)格遷移。該方法能夠?qū)崿F(xiàn)較好風(fēng)格遷移效果，然而該方法非常復(fù)雜，需要的計(jì)算資源較多，處理速度較慢，難以實(shí)現(xiàn)商用化。

本發(fā)明的至少一個(gè)實(shí)施例提供了一種圖像處理方法和圖像處理裝置，可以用于實(shí)現(xiàn)圖像風(fēng)格遷移，在處理效果和處理速度等方面得以兼顧，不但可以實(shí)現(xiàn)較好的風(fēng)格遷移效果，而且能夠以較快甚至實(shí)時(shí)的方式進(jìn)行處理，具有更好、更廣泛的應(yīng)用前景。

圖1示出了一種神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)單示意圖。該神經(jīng)網(wǎng)絡(luò)例如用于圖像處理，使用圖像作為輸入和輸出，例如通過(guò)濾波器(即，卷積)替代標(biāo)量權(quán)重。圖1中示出了具有3層的簡(jiǎn)單結(jié)構(gòu)。如圖1所示，在輸入層101輸入4個(gè)輸入圖像，在中間的隱藏層102存在3個(gè)單元以輸出3個(gè)輸出圖像，而在輸出層103存在2個(gè)單元以輸出2個(gè)輸出圖像。輸入層101中的具有權(quán)重的每個(gè)盒子對(duì)應(yīng)于濾波器，其中k是指示輸入層號(hào)的標(biāo)簽，并且i和j分別是指示輸入和輸出單元的標(biāo)簽。偏置是添加到卷積的輸出的標(biāo)量。若干卷積和偏置的相加結(jié)果然后通過(guò)激活盒，其通常對(duì)應(yīng)于整流線性單元(ReLU)、S型函數(shù)或雙曲正切函數(shù)。在利用卷積神經(jīng)網(wǎng)絡(luò)的圖像處理系統(tǒng)中，各濾波器和偏置在系統(tǒng)的操作期間是固定的。各濾波器和偏置是預(yù)先通過(guò)使用一組輸入/輸出示例圖像并且調(diào)整以滿足依賴于應(yīng)用的一些優(yōu)化標(biāo)準(zhǔn)來(lái)獲取的。

圖2A示出了卷積神經(jīng)網(wǎng)絡(luò)的一種典型構(gòu)型。圖像數(shù)據(jù)通過(guò)輸入層輸入到卷積神經(jīng)網(wǎng)絡(luò)后，依次經(jīng)過(guò)若干個(gè)處理過(guò)程(如圖2A中的每個(gè)層級(jí))后輸出識(shí)別結(jié)果。每個(gè)層級(jí)的處理過(guò)程可包括：卷積(convolution)以及子采樣(sub-sampling)。每個(gè)層級(jí)的處理過(guò)程根據(jù)需要還可以包括歸一化處理(如圖中的LCN，即local constant normalization)等。圖2B抽象地示出了的卷積神經(jīng)網(wǎng)絡(luò)中一個(gè)神經(jīng)元的輸入與輸出，如圖所示，C1、C2到Cn指代不同的信號(hào)通道，針對(duì)某一個(gè)局部感受域(該局部感受域包含多個(gè)通道)，使用不同的過(guò)濾器對(duì)該局部感受域的C1到Cn信號(hào)通道上的數(shù)據(jù)進(jìn)行卷積，卷積結(jié)果被輸入刺激節(jié)點(diǎn)，該刺激節(jié)點(diǎn)根據(jù)相應(yīng)的函數(shù)進(jìn)行計(jì)算以得到特征信息。因此，卷積神經(jīng)網(wǎng)絡(luò)通常最主要的組成部分包括：多個(gè)卷積層、多個(gè)子采樣層(又稱為池化層)、全連接層。一個(gè)完整的卷積神經(jīng)網(wǎng)絡(luò)由這三種層疊加組成。

卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心層，對(duì)輸入數(shù)據(jù)(圖像)應(yīng)用若干個(gè)過(guò)濾器，輸入數(shù)據(jù)被用來(lái)進(jìn)行多種類型的特征提取。對(duì)于輸入數(shù)據(jù)應(yīng)用一個(gè)過(guò)濾器之后得到的結(jié)果被稱為特征圖(feature map)，特征圖的數(shù)目與過(guò)濾器的數(shù)目相等。一個(gè)卷積層輸出的特征圖可以被輸入到下一個(gè)層級(jí)的卷積層再次處理以得到新的特征圖。子采樣層是夾在連續(xù)的卷積層之間的中間層，用于縮減輸入數(shù)據(jù)的規(guī)模，也在一定程度上減小過(guò)擬合的現(xiàn)象。例如，輸入一個(gè)12×12的圖像，通過(guò)6×6的子采樣，那么可以得到2×2的輸出圖像，這意味著原圖像上的36個(gè)像素合并為輸出圖像中的1個(gè)像素。實(shí)現(xiàn)子采樣的方法由很多種，這些方法包括但不限于：最大值合并(max-pooling)、平均值合并(avg-pooling)、隨機(jī)合并、欠采樣(decimation，例如選擇固定的像素)、解復(fù)用輸出(demuxout，將輸入圖像拆分為多個(gè)更小的圖像)等。通常最后一個(gè)子采樣層或卷積層連接到一個(gè)或多個(gè)全連接層，全連接層的輸出作為最終輸出，可得到一個(gè)一維矩陣，也就是向量。

又例如，參見(jiàn)圖3所示的示例，最后一個(gè)卷積層(即第n個(gè)卷積層)的輸出被輸入到平坦化模塊進(jìn)行平坦化操作(Flatten)，將特征圖像(2D圖像)轉(zhuǎn)換為向量(1D)，該向量可以被用于全連接層。該平坦化操作可以按照如下的方式進(jìn)行：

v_k＝f_k/j,k％j

其中，v是包含k個(gè)元素的向量，f是具有i行j列的矩陣。

然后，平坦化模塊的輸出被輸入到一個(gè)全連接層(FCN)，該全連接層例如可以為如圖1所示的卷積網(wǎng)絡(luò)，可使用不同的標(biāo)量值以替代濾波器。

例如，也可以將最后一個(gè)卷積層(即第L個(gè)卷積層)的輸出進(jìn)行平均操作(AVG)，即使用特征的平均值來(lái)表示圖像，由此2D特征變?yōu)橐粋€(gè)數(shù)。如果進(jìn)行平均操作，則可以不需要平坦化模塊。

神經(jīng)網(wǎng)絡(luò)的輸出可以采用多種形式，例如輸出層的激活函數(shù)根據(jù)需要可以采用softmax函數(shù)、sigmoid函數(shù)或者tanh函數(shù)等。通過(guò)softmax函數(shù)等，每個(gè)標(biāo)識(shí)(label)被賦予一定的概率，而具有最大概率的標(biāo)識(shí)被選擇為圖像的標(biāo)識(shí)或類別。

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程例如可以通過(guò)改進(jìn)的反向傳播實(shí)現(xiàn)，將子采樣層作為考慮的因素并基于所有值來(lái)更新卷積過(guò)濾器的權(quán)重；在實(shí)踐中，也可以設(shè)定前向反饋部分?jǐn)?shù)據(jù)，以便調(diào)整。

圖4A和圖4B分別示出了根據(jù)本發(fā)明至少一個(gè)實(shí)施例的圖像處理裝置和處理方法的示意圖。如圖4A所示，該處理裝置包括兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)：第一卷積神經(jīng)網(wǎng)絡(luò)(模塊)CNN1用于提取輸入的第一圖像的特征，第二卷積神經(jīng)網(wǎng)絡(luò)(模塊)CNN2重構(gòu)(reconstruction)并輸出圖像。相比于圖3所示的分析模塊，在圖4A所示的圖像處理裝置沒(méi)有包括平坦化模塊、全連接層以及Softmax模塊。

如圖4A所示，待處理的第一圖像可以通過(guò)例如輸入層(圖中未示出)輸入至第一卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)過(guò)第一卷積神經(jīng)網(wǎng)絡(luò)處理之后可以得到不同層級(jí)的特征數(shù)據(jù)(特征圖像)，然后，至少部分層級(jí)的特征數(shù)據(jù)，例如最后一層的特征數(shù)據(jù)以及至少部分之前層級(jí)的特征數(shù)據(jù)，被第二卷積神經(jīng)網(wǎng)絡(luò)用于重構(gòu)圖像，被重構(gòu)的圖像從第二卷積神經(jīng)網(wǎng)絡(luò)輸出。例如，該重構(gòu)圖像與輸入的第一圖像可以具有相同的分辨率，也可以具有不同的分辨率。

第一卷積神經(jīng)網(wǎng)絡(luò)CNN1包括依次連接的并列的多個(gè)第一卷積層C1-1～C1-n和間插于相鄰第一卷積層之間的多個(gè)第一池化層P1-1～P1-n-1。除最后一個(gè)第一卷積層C1-n外，每個(gè)第一卷積層輸出至同一層級(jí)的第一池化層，該第一池化層輸出至下一層級(jí)的第一卷積層。每級(jí)第一卷積層用于產(chǎn)生并輸出第一卷積特征。

第二卷積神經(jīng)網(wǎng)絡(luò)CNN2包括依次連接的并列的多個(gè)第二卷積層C2-n+1～C2-2n和間插于相鄰第二卷積層之間的多個(gè)復(fù)合層Mn+1～M2n。除最后的卷積層C2-2n外，上一層級(jí)的卷積層輸出至下一層級(jí)的復(fù)合層，該復(fù)合層輸出至同一層級(jí)的卷積層。該復(fù)合層為上采樣層。

第一卷積神經(jīng)網(wǎng)絡(luò)CNN1的第一卷積層的數(shù)量與第二卷積神經(jīng)網(wǎng)絡(luò)CNN2的第二卷積層的數(shù)量相等，如圖4A所示，第一卷積層C1-1～C1-n與第二卷積層C2-n+1～C2-2n呈倒序一一對(duì)應(yīng)；相應(yīng)地，第一池化層P1-1～P1-n-1與多個(gè)復(fù)合層Mn+1～M2n呈倒序一一對(duì)應(yīng)。最后的第一卷積層C1-n的輸出被連接到(信號(hào)連接)到最初的第二卷積層C2-n+1，即該最后的第一卷積層C1-n輸出的數(shù)據(jù)可以被輸入到最初的第二卷積層C2-n+1；所述多個(gè)第二卷積層中除最初的層級(jí)外，至少之一接收對(duì)應(yīng)的所述第一卷積層輸出的第一卷積特征，且融合同一層級(jí)的復(fù)合層的輸出以及對(duì)應(yīng)的所述第一卷積層輸出的第一卷積特征以得到其輸出數(shù)據(jù)，這些輸出數(shù)據(jù)被逐層處理以重構(gòu)圖像。例如，除最初的層級(jí)外，無(wú)需每個(gè)第二卷積層都接收對(duì)應(yīng)的第一卷積層的輸出。

又例如，該多個(gè)第二卷積層中除最初的層級(jí)外，每個(gè)都接收對(duì)應(yīng)的第一卷積層輸出的第一卷積特征，且融合同一層級(jí)的復(fù)合層的輸出以及對(duì)應(yīng)的第一卷積層輸出的第一卷積特征以得到其輸出數(shù)據(jù)。

如圖4B所示，該實(shí)施例中相應(yīng)的處理方法包括如下的步驟101和201：

步驟101：使用第一卷積神經(jīng)網(wǎng)絡(luò)提取輸入的第一圖像的特征；

步驟201：使用第二卷積神經(jīng)網(wǎng)絡(luò)重構(gòu)并輸出圖像。

該復(fù)合層為卷積神經(jīng)網(wǎng)絡(luò)的上采樣層(up-sampling)，用于增加輸入的圖像數(shù)據(jù)各個(gè)維度的值，從而增加數(shù)據(jù)量，從而可以用于實(shí)現(xiàn)圖像的重構(gòu)。

通常的上采樣法包括內(nèi)插法等，圖5A示出了在本發(fā)明的一個(gè)實(shí)施例中采用像素差值法實(shí)現(xiàn)上采樣的復(fù)合層的示例。在圖5A的示例中，復(fù)合層采用了2×2的倍增因子，可以將4個(gè)特征圖像結(jié)合得到1個(gè)具有固定像素順序的特征圖像。

在本發(fā)明的另一個(gè)實(shí)施例中，對(duì)于二維的特征圖像，第二卷積神經(jīng)網(wǎng)絡(luò)的復(fù)合層獲取輸入的第一數(shù)量的輸入圖像，將這些輸入圖像的像素值交織(interleave)以產(chǎn)生相同的第一數(shù)量的輸出圖像。相比于輸入圖像(特征圖像)，輸出圖像的數(shù)量沒(méi)有改變，但是每個(gè)特征圖像的大小增加相應(yīng)倍數(shù)。由此，該復(fù)合層可用更多組合為下一層級(jí)的特征圖像增加更多的信息，這些組合可給出所有可能的上采樣組合，由此可通過(guò)激活函數(shù)從其中進(jìn)行選擇。

圖5B根據(jù)本發(fā)明另一個(gè)實(shí)施例的采用交織方法實(shí)現(xiàn)上采樣的復(fù)合層的示例。在圖5B的示例中，復(fù)合層同樣采用2×2的倍增因子，即以每4個(gè)輸入圖像為一組，將它們的像素值交織生成4個(gè)輸出特征圖像。復(fù)合層輸出的特征圖像的個(gè)數(shù)不變，而各特征圖像的大小增加為原來(lái)的4倍，即具有原來(lái)4倍的像素?cái)?shù)量。

現(xiàn)在回到圖4A所示的實(shí)施例。第一卷積神經(jīng)網(wǎng)絡(luò)中從第一卷積層C1-1到C1-n，共n個(gè)層次的卷積層，n通常大于3，甚至可以上百。隨著層次的增加，更高層級(jí)的卷積層提取更高階的特征。各個(gè)第一卷積層提取的第一卷積特征可以是輸入圖像的內(nèi)容特征。第一卷積神經(jīng)網(wǎng)絡(luò)可以采用例如AlexNet、GoogleNet、VGG、Deep Residual Learning等神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)，提取輸入圖像的內(nèi)容特征。例如，VGG網(wǎng)絡(luò)系牛津大學(xué)視覺(jué)幾何組(Visual Geometry Group)開(kāi)發(fā)，已經(jīng)在視覺(jué)識(shí)別得到廣泛應(yīng)用，VGG網(wǎng)絡(luò)例如可以包括19層，并且可以對(duì)其中的一些層進(jìn)行歸一化處理。第二卷積神經(jīng)網(wǎng)絡(luò)中的各個(gè)第二卷積層也可以采用上述神經(jīng)網(wǎng)絡(luò)模型中的卷積層實(shí)現(xiàn)。

由于在該實(shí)施例中，由于多個(gè)第二卷積層中除最初的層級(jí)外，至少之一接收對(duì)應(yīng)的第一卷積層輸出的第一卷積特征，且融合同一層級(jí)的復(fù)合層的輸出以及對(duì)應(yīng)的所述第一卷積層輸出的第一卷積特征以得到其輸出數(shù)據(jù)，由此重構(gòu)所得到的圖像具有好的質(zhì)量。而且，在該多個(gè)第二卷積層中除最初的層級(jí)外，每個(gè)都接收對(duì)應(yīng)的第一卷積層輸出的第一卷積特征，且融合同一層級(jí)的復(fù)合層的輸出以及對(duì)應(yīng)的第一卷積層輸出的第一卷積特征以得到其輸出數(shù)據(jù)的情況下，從而第二卷積神經(jīng)網(wǎng)絡(luò)輸出的輸出圖像可以更大程度地接近輸入至第一卷積神經(jīng)網(wǎng)絡(luò)的輸入圖像。

圖6示出了根據(jù)本發(fā)明另一個(gè)實(shí)施例的圖像處理方法和裝置的示意圖。與圖4所示的實(shí)施例相比，圖6的實(shí)施例還包括選擇模塊，以選擇將第一卷積神經(jīng)網(wǎng)絡(luò)中的哪些第一卷積層的處理結(jié)果輸出至第二卷積神經(jīng)網(wǎng)絡(luò)中對(duì)應(yīng)的第二卷積層，以用于進(jìn)一步的處理。在該實(shí)施例中，該選擇模塊的輸入特征集例如為內(nèi)容特征集C：

C＝[C₁,C₂,…,C_n-1]

選擇模塊的輸出為特征集F：

F＝[F₁,F₂,…,F_n-1]

對(duì)于該選擇模塊可以定義一個(gè)篩選器集α，其中每個(gè)元素都是布爾型變量，取值為0或1：

α＝[α₁,α₂,…,α_n-1]α為0或1

并且，α的值可以預(yù)先設(shè)定，或者α的值可以經(jīng)過(guò)訓(xùn)練和調(diào)整后得到，由此輸出特征集F與輸入特征集C之間的映射關(guān)系可以為：

F_x＝C_x，α_x＝1

圖6所示的實(shí)施例可以根據(jù)需要靈活地選擇需要輸入哪些層級(jí)的特征圖像以用于重構(gòu)。與此相應(yīng)地，對(duì)于圖4B所示的圖像處理方法還可以步驟：選擇將第一卷積神經(jīng)網(wǎng)絡(luò)中的哪些第一卷積層的處理結(jié)果輸出至第二卷積神經(jīng)網(wǎng)絡(luò)中對(duì)應(yīng)的第二卷積層，以用于進(jìn)一步的處理。

圖7A和圖7B示出了根據(jù)本發(fā)明再一個(gè)實(shí)施例的圖像處理裝置和方法的示意圖。如圖7A所示，該處理裝置使用了三個(gè)卷積神經(jīng)網(wǎng)絡(luò)：第一卷積神經(jīng)網(wǎng)絡(luò)(模塊)CNN1提取輸入的第一圖像的第一特征，第三卷積神經(jīng)網(wǎng)絡(luò)(模塊)CNN3提取輸入的第三圖像的第三特征，第二卷積神經(jīng)網(wǎng)絡(luò)(模塊)CNN2重構(gòu)并輸出圖像。與圖4A所示的實(shí)施例相比，該處理裝置增加了第三卷積神經(jīng)網(wǎng)絡(luò)CNN3。

如圖所示，待處理的第一圖像可以通過(guò)例如第一卷積神經(jīng)網(wǎng)絡(luò)的輸入層(圖中未示出)輸入至第一卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)過(guò)第一卷積神經(jīng)網(wǎng)絡(luò)處理之后可以得到不同層級(jí)的第一特征數(shù)據(jù)(特征圖像)，然后最后一層第一卷積層的第一特征數(shù)據(jù)以及至少部分之前層級(jí)的第一特征數(shù)據(jù)可被第二卷積神經(jīng)網(wǎng)絡(luò)用于重構(gòu)圖像。相應(yīng)地，待處理的第三圖像可以通過(guò)例如第三卷積神經(jīng)網(wǎng)絡(luò)的輸入層(圖中未示出)輸入至第三卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)過(guò)第三卷積神經(jīng)網(wǎng)絡(luò)處理之后可以得到不同層級(jí)的第二特征數(shù)據(jù)(特征圖像)，然后最后一層第三卷積層的第二特征數(shù)據(jù)以及至少部分之前層級(jí)的第二特征數(shù)據(jù)也可以被第二卷積神經(jīng)網(wǎng)絡(luò)用于重構(gòu)圖像，被重構(gòu)的圖像從第二卷積神經(jīng)網(wǎng)絡(luò)輸出。第一圖像和第三圖像可以彼此不同。因此，該實(shí)施例可以將不同的輸入圖像彼此融合從而產(chǎn)生新的輸出圖像。

第三卷積神經(jīng)網(wǎng)絡(luò)CNN3包括依次連接的并列的多個(gè)第三卷積層C3-1～C3-n和間插于相鄰第一卷積層之間的多個(gè)第一池化層P3-1～P3-n-1。除最后一個(gè)第三卷積層C3-n外，每個(gè)第三卷積層輸出至同一層級(jí)的第三池化層，該第三池化層輸出至下一層級(jí)的第三卷積層。每級(jí)第三卷積層用于產(chǎn)生并輸出第三卷積特征。

第三卷積神經(jīng)網(wǎng)絡(luò)CNN3的第三卷積層的數(shù)量與第一卷積神經(jīng)網(wǎng)絡(luò)CNN1的第一卷積層的數(shù)量相等。如圖7所示，第一卷積層C1-1～C1-n與第三卷積層C3-1～C3-n一一對(duì)應(yīng)；相應(yīng)地，第一池化層P1-1～P1-n-1與第三池化層P3-1～P3-n-1一一對(duì)應(yīng)。最后的第三卷積層C3-n的輸出被連接(信號(hào)連接)到最初的第二卷積層C2-n+1，即該最后的第三卷積層C3-n輸出的數(shù)據(jù)可以被輸入到最初的第二卷積層C2-n+1，且所述多個(gè)第二卷積層中除最初的層級(jí)外，至少之一接收對(duì)應(yīng)的所述第一卷積層輸出的第一卷積特征，且融合同一層級(jí)的復(fù)合層的輸出以及對(duì)應(yīng)的所述第一卷積層輸出的第一卷積特征以得到其輸出數(shù)據(jù)，這些輸出數(shù)據(jù)被逐層處理以重構(gòu)圖像。例如，除最初的層級(jí)外，無(wú)需每個(gè)第二卷積層都接收對(duì)應(yīng)的第三卷積層的輸出。同時(shí)，同一個(gè)第二卷積層不會(huì)同時(shí)接收來(lái)自對(duì)應(yīng)的第一卷積層的輸出和對(duì)應(yīng)的第三卷積層的輸出，例如如圖7所示，最初的第二個(gè)卷積層C2-n+1可以接收最后一個(gè)第一卷積層C1-n或最后一個(gè)第三卷積層C3-n的輸出(因此圖中連接線標(biāo)識(shí)為虛線)。

又例如，該多個(gè)第二卷積層中除最初的層級(jí)外，每個(gè)都要么接收對(duì)應(yīng)的第一卷積層輸出的第一卷積特征，要么接收對(duì)應(yīng)的第二卷積層的輸出，且融合同一層級(jí)的復(fù)合層的輸出以及對(duì)應(yīng)的第一卷積層輸出的第一卷積特征或?qū)?yīng)的第三卷積層輸出的第三卷積特征以得到其輸出數(shù)據(jù)，這些輸出數(shù)據(jù)被逐層處理以重構(gòu)圖像。重構(gòu)得到的輸出圖像例如可以與第一圖像具有相同的分辨率。

第三卷積神經(jīng)網(wǎng)絡(luò)中從第三卷積層C3-1到C3-n，共n個(gè)層次的卷積層，例如各個(gè)第三卷積層提取的第三卷積特征可以是輸入圖像的風(fēng)格特征。第三卷積神經(jīng)網(wǎng)絡(luò)也可以采用例如AlexNet、GoogleNet、VGG、Deep Residual Learning等神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)，提取輸入圖像的風(fēng)格特征。例如，第一卷積特征是內(nèi)容特征，第三卷積特征是風(fēng)格特征，或者相反。雖然如此，第一卷積神經(jīng)網(wǎng)絡(luò)和第三卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)造可以彼此相同，例如都為VGG網(wǎng)絡(luò)。

為了獲得輸入圖像的風(fēng)格特征表達(dá)，可以使用設(shè)計(jì)來(lái)捕捉紋理(texture)信息的特征空間，該特征空間可以基于該卷積神經(jīng)網(wǎng)絡(luò)中任何層中的過(guò)濾器響應(yīng)建立，其由不同過(guò)濾器響應(yīng)之間的相關(guān)性構(gòu)成。這些特征相關(guān)性可以由Gram矩陣給出，其中為第l層中向量特征圖i和j之間的內(nèi)積(inner product)：

通過(guò)包括多層的特征相關(guān)性，可以獲得輸入圖像靜態(tài)的多尺度(scale)表達(dá)，由此提取了輸入圖像的紋理信息而非全局布局，進(jìn)而獲得風(fēng)格特征。

在一個(gè)示例中，第二卷積神經(jīng)網(wǎng)絡(luò)將源自第一卷積神經(jīng)網(wǎng)絡(luò)的第一輸入圖像的內(nèi)容特征以及源自第三卷積神經(jīng)網(wǎng)絡(luò)的第二輸入圖像的風(fēng)格特征進(jìn)行融合，由此可以得到視覺(jué)上既表達(dá)第一輸入圖像的內(nèi)容又呈現(xiàn)出第二輸入圖像的風(fēng)格的新圖像。

如圖7B所示，該實(shí)施例中相應(yīng)的處理方法包括如下的步驟101、102和201：

步驟101：使用第一卷積神經(jīng)網(wǎng)絡(luò)提取輸入的第一圖像的特征；

步驟102：使用第三卷積神經(jīng)網(wǎng)絡(luò)提取輸入的第三圖像的特征；

步驟201：使用第二卷積神經(jīng)網(wǎng)絡(luò)重構(gòu)并輸出圖像。

圖8示出了根據(jù)本發(fā)明再一個(gè)實(shí)施例的圖像處理方法和裝置的示意圖。與圖7A所示的實(shí)施例相比，圖8的實(shí)施例還包括選擇模塊，以選擇將第一卷積神經(jīng)網(wǎng)絡(luò)中的哪些第一卷積層的處理結(jié)果或第三卷積神經(jīng)網(wǎng)絡(luò)中的哪些第三卷積層的處理結(jié)果輸出至第二卷積神經(jīng)網(wǎng)絡(luò)中對(duì)應(yīng)的第二卷積層，以用于處理。在該實(shí)施例中，該選擇模塊的輸入特征集例如為內(nèi)容特征集C和風(fēng)格特征集S：

C＝[C₁,C₂,…,C_n-1]

S＝[S₁,S₂,…,S_n-1]

選擇模塊的輸出為特征集F：

F＝[F₁,F₂,…,F_n-1]

對(duì)于該選擇模塊可以定義一個(gè)篩選器集α，其中每個(gè)元素都是布爾型變量，取值為0或1：

α＝[α₁,α₂,…,α_n-1]α為0或1

并且，α的值可以預(yù)先設(shè)定，或者經(jīng)過(guò)訓(xùn)練和調(diào)整后得到，由此輸出特征集F與輸入特征集C之間的映射關(guān)系可以為：

圖8所示的實(shí)施例可以根據(jù)需要靈活地選擇需要輸入哪些層級(jí)的特征圖像以用于重構(gòu)。在對(duì)應(yīng)于該實(shí)施例，當(dāng)圖像處理裝置還包括選擇模塊時(shí)，則對(duì)于圖7B的圖像處理方法還相應(yīng)地包括步驟：對(duì)于所述多個(gè)第二卷積層中至少之一或每一個(gè)，選擇使其接收對(duì)應(yīng)的所述第一卷積層或?qū)?yīng)的所述第三卷積層的輸出，由此選擇對(duì)應(yīng)的所述第一卷積層輸出的第一卷積特征或?qū)?yīng)的所述第三卷積層輸出的第三卷積特征與同一層級(jí)的復(fù)合層的輸出融合以得到其輸出數(shù)據(jù)。

圖9示出了可以用于實(shí)現(xiàn)本公開(kāi)的圖像處理方法的示例性計(jì)算設(shè)備1000的圖示。該計(jì)算設(shè)備1000包括執(zhí)行存儲(chǔ)在存儲(chǔ)器1004中的指令的至少一個(gè)處理器1002。這些指令可以是例如用于實(shí)現(xiàn)被描述為由上述一個(gè)或多個(gè)模塊執(zhí)行的功能的指令或用于實(shí)現(xiàn)上述方法中的一個(gè)或多個(gè)步驟的指令。處理器1002可以通過(guò)系統(tǒng)總線1006訪問(wèn)存儲(chǔ)器1004。除了存儲(chǔ)可執(zhí)行指令，存儲(chǔ)器1004還可存儲(chǔ)訓(xùn)練數(shù)據(jù)等。處理器1002可以為中央處理器(CPU)或圖形處理器GPU等各種具有計(jì)算能力的器件。該CPU可以為X86或ARM處理器；GPU可單獨(dú)地直接集成到主板上，或者內(nèi)置于主板的北橋芯片中，也可以內(nèi)置于中央處理器(CPU)上，由于其具有強(qiáng)大的圖像處理能力，本發(fā)明實(shí)施例可優(yōu)選地使用GPU對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練以及基于卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像處理。

計(jì)算設(shè)備1000還包括可由處理器1002通過(guò)系統(tǒng)總線1006訪問(wèn)的數(shù)據(jù)存儲(chǔ)1008。數(shù)據(jù)存儲(chǔ)1008可包括可執(zhí)行指令、多圖像訓(xùn)練數(shù)據(jù)等。計(jì)算設(shè)備1000還包括允許外部設(shè)備與計(jì)算設(shè)備1000進(jìn)行通信的輸入接口1010。例如，輸入接口1010可被用于從外部計(jì)算機(jī)設(shè)備、從用戶等處接收指令。計(jì)算設(shè)備1000也可包括使計(jì)算設(shè)備1000和一個(gè)或多個(gè)外部設(shè)備相接口的輸出接口1012。例如，計(jì)算設(shè)備1000可以通過(guò)輸出接口1012顯示圖像等?？紤]了通過(guò)輸入接口1010和輸出接口1012與計(jì)算設(shè)備1000通信的外部設(shè)備可被包括在提供實(shí)質(zhì)上任何類型的用戶可與之交互的用戶界面的環(huán)境中。用戶界面類型的示例包括圖形用戶界面、自然用戶界面等。例如，圖形用戶界面可接受來(lái)自用戶采用諸如鍵盤(pán)、鼠標(biāo)、遙控器等之類的(諸)輸入設(shè)備的輸入，以及在諸如顯示器之類的輸出設(shè)備上提供輸出。此外，自然語(yǔ)言界面可使得用戶能夠以無(wú)需受到諸如鍵盤(pán)、鼠標(biāo)、遙控器等之類的輸入設(shè)備強(qiáng)加的約束的方式來(lái)與計(jì)算設(shè)備1000交互。相反，自然用戶界面可依賴于語(yǔ)音識(shí)別、觸摸和指示筆識(shí)別、屏幕上和屏幕附近的手勢(shì)識(shí)別、空中手勢(shì)、頭部和眼睛跟蹤、語(yǔ)音和語(yǔ)音、視覺(jué)、觸摸、手勢(shì)、以及機(jī)器智能等。

另外，計(jì)算設(shè)備1000盡管圖中被示出為單個(gè)系統(tǒng)，但可以理解，計(jì)算設(shè)備1000也可以是分布式系統(tǒng)，還可以布置為云設(shè)施(包括公有云或私有云)。因此，例如，若干設(shè)備可以通過(guò)網(wǎng)絡(luò)連接進(jìn)行通信并且可共同執(zhí)行被描述為由計(jì)算設(shè)備1000執(zhí)行的任務(wù)。

本文中描述的各功能(包括但不限于卷積神經(jīng)網(wǎng)絡(luò)模塊、選擇模塊等)可在硬件、軟件、固件或其任何組合中實(shí)現(xiàn)。如果在軟件中實(shí)現(xiàn)，則這些功能可以作為一條或多條指令或代碼存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上或藉其進(jìn)行傳送。計(jì)算機(jī)可讀介質(zhì)包括計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是能被計(jì)算機(jī)訪問(wèn)的任何可用存儲(chǔ)介質(zhì)。作為示例而非限定，這樣的計(jì)算機(jī)可讀介質(zhì)可包括RAM、ROM、EEPROM、CD-ROM或其他光盤(pán)存儲(chǔ)、磁盤(pán)存儲(chǔ)或其他磁存儲(chǔ)設(shè)備、或能被用來(lái)承載或存儲(chǔ)指令或數(shù)據(jù)結(jié)構(gòu)形式的期望程序代碼且能被計(jì)算機(jī)訪問(wèn)的任何其他介質(zhì)。另外，所傳播的信號(hào)不被包括在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的范圍內(nèi)。計(jì)算機(jī)可讀介質(zhì)還包括通信介質(zhì)，其包括促成計(jì)算機(jī)程序從一地向另一地轉(zhuǎn)移的任何介質(zhì)。連接例如可以是通信介質(zhì)。例如，如果軟件使用同軸電纜、光纖電纜、雙絞線、數(shù)字訂戶線(DSL)、或諸如紅外線、無(wú)線電、以及微波之類的無(wú)線技術(shù)來(lái)從web網(wǎng)站、服務(wù)器、或其它遠(yuǎn)程源傳輸，則該同軸電纜、光纖電纜、雙絞線、DSL、或諸如紅外線、無(wú)線電、以及微波之類的無(wú)線技術(shù)被包括在通信介質(zhì)的定義中。上述的組合應(yīng)當(dāng)也被包括在計(jì)算機(jī)可讀介質(zhì)的范圍內(nèi)。替換地或另選地，此處描述的功能可以至少部分由一個(gè)或多個(gè)硬件邏輯組件來(lái)執(zhí)行。例如，可使用的硬件邏輯組件的說(shuō)明性類型包括現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)、程序?qū)Ｓ玫募呻娐?ASIC)、程序?qū)Ｓ玫臉?biāo)準(zhǔn)產(chǎn)品(ASSP)、片上系統(tǒng)(SOC)、復(fù)雜可編程邏輯器件(CPLD)等。

本發(fā)明的實(shí)施例涉及一種圖像處理方法和圖像處理裝置在用于圖像處理，例如融合兩幅圖像，特別是用于風(fēng)格化遷移處理時(shí)，不但可以實(shí)現(xiàn)較好的風(fēng)格遷移效果，而且能夠以較快甚至實(shí)時(shí)的方式進(jìn)行處理，具有更好、更廣泛的應(yīng)用前景。

以上所述僅是本發(fā)明的示范性實(shí)施方式，而非用于限制本發(fā)明的保護(hù)范圍，本發(fā)明的保護(hù)范圍由所附的權(quán)利要求確定。