本發(fā)明涉及一種基于深度學習的圖像處理方法，具體涉及一種基于深層監(jiān)督的循環(huán)卷積神經(jīng)網(wǎng)絡的視覺顯著性檢測方法。

背景技術：

隨著深度學習的發(fā)展和興起，基于深度學習的顯著性檢測技術也不斷發(fā)展。顯著性檢測可分為自底向上的數(shù)據(jù)驅動模型和自頂向下的任務驅動模型兩大類。自底向上的顯著性檢測是指對于給定的任意一幅圖像，找出圖中引人注意的目標，該目標可為任何類別的事物。而自頂向下的顯著性檢測方法通常從給定圖片中找出給定類別的目標，并賦予不同的顯著性值。目前，對自底向上的顯著性檢測方法的研究最多。

現(xiàn)在已有的自底向上的顯著性檢測方法可分為兩類，分別為基于手工設計特征的方法和基于卷積神經(jīng)網(wǎng)絡的方法。由于基于手工設計特征的方法通常利用圖像中的表面信息（比如顏色、紋理等）來進行特征提取，而提取的這些手工特征不能捕捉顯著性目標的深層特性和多尺度信息，從而不能取得很好的性能。最近隨著深度學習的興起，有部分研究者開始使用卷積神經(jīng)網(wǎng)絡來進行顯著性目標檢測。目前已有的大部分基于卷積神經(jīng)網(wǎng)絡（cnn）的顯著性目標檢測方法首先將圖像分割成多個區(qū)域，然后對每個區(qū)域用訓練好的cnn模型來預測其顯著性值。由于圖像分割本身是一個復雜的問題，且每個區(qū)域都需使用模型進行預測，從而使得這些方法變得復雜且不能得到精確的像素級的顯著性預測結果。

技術實現(xiàn)要素：

為了克服上述問題，本發(fā)明提出一種新的基于cnn的顯著性檢測方法，即基于深層監(jiān)督的循環(huán)卷積神經(jīng)網(wǎng)絡的顯著性檢測方法，其可直接使用模型對原始圖像進行預測，得到精確的像素級的顯著性圖，從而能更有效地推動基于顯著性的相關應用的發(fā)展。

本發(fā)明的目的是通過以下技術方案實現(xiàn)的：

本發(fā)明提供了一種基于深層監(jiān)督的循環(huán)卷積神經(jīng)網(wǎng)絡的顯著性檢測方法，該方法研究的對象是靜態(tài)圖像，其中圖像的內容可以是任意的，研究的目標是從圖像中找出吸引人眼注意力的目標，并為其賦予不同的顯著性值。本發(fā)明主要設計了一種新的網(wǎng)絡結構，叫做深層監(jiān)督的循環(huán)卷積神經(jīng)網(wǎng)絡。該網(wǎng)絡模型以圖像作為輸入，以圖像的真實結果作為監(jiān)督信號用于網(wǎng)絡模型的訓練，并最終輸出與輸入圖像大小一致的顯著性圖。該網(wǎng)絡結構是在vggnet-16的基礎上進行改進得到，即將vggnet-16中的卷積層替換成循環(huán)卷積層，從而在不增加網(wǎng)絡參數(shù)的同時增加了網(wǎng)絡結構的深度。同時還在網(wǎng)絡結構中的多層加入監(jiān)督信息，以便能更有效地訓練網(wǎng)絡模型。具體實施步驟如下：

一、初級深層網(wǎng)絡結構的設計

以vggnet-16為基礎，將其前5個模塊作為初級網(wǎng)絡模型；

二、循環(huán)卷積神經(jīng)網(wǎng)絡的設計

在初級網(wǎng)絡模型的基礎上，在初級網(wǎng)絡結構中的每個卷積層上引入循環(huán)鏈接，即將所有卷積層替換為循環(huán)卷積層；

三、深層監(jiān)督的循環(huán)卷積神經(jīng)網(wǎng)絡的設計

在每個模塊最后的循環(huán)卷積層后增加一個額外的模塊，將五個增加的額外的模塊的輸出拼接成一個多通道圖，然后使用一個卷積層對該多通道圖進行卷積操作，得到最終的顯著性圖；

四、模型的訓練與測試

在模型訓練的過程中，首先計算每個額外增加的模塊的輸出與監(jiān)督信號之間的誤差；其次對所有額外模塊計算得到的誤差求和得到總誤差，然后將誤差回傳來更新模型的參數(shù)直到滿足終止條件；

在模型測試的過程中，對于給定的圖像，將其作為訓練好的模型的輸入，通過計算后，直接輸出最終的顯著性圖。

本發(fā)明具有如下優(yōu)點：

1、本發(fā)明提出了一種新的網(wǎng)絡結構，在不增加模型參數(shù)的同時增加了網(wǎng)絡結構的深度，并采用多層監(jiān)督信息來對模型進行有效地訓練。

2、本發(fā)明提出的深層監(jiān)督的循環(huán)卷積神經(jīng)網(wǎng)絡除了在顯著性檢測領域能取得很好的效果外，還可以用于所有的基于像素分類的圖像處理和計算機視覺領域的應用中，比如圖像分割。

附圖說明

圖1為深層監(jiān)督的循環(huán)卷積神經(jīng)網(wǎng)絡結構；

圖2為卷積層和循環(huán)卷積層，a-卷積層，b-循環(huán)卷積層，c-循環(huán)卷積層展開后的網(wǎng)絡結構；

圖3為本發(fā)明進行顯著性檢測的結果，a-原始圖像，b-真實結果，c-檢測結果。

具體實施方式

下面結合附圖對本發(fā)明的技術方案作進一步的說明，但并不局限于此，凡是對本發(fā)明技術方案進行修改或者等同替換，而不脫離本發(fā)明技術方案的精神和范圍，均應涵蓋在本發(fā)明的保護范圍中。

本發(fā)明提供了一種基于深層監(jiān)督的循環(huán)卷積神經(jīng)網(wǎng)絡的顯著性檢測方法，具體實施步驟如下：

一、初級深層網(wǎng)絡結構的設計

為了獲得像素級顯著性預測結果，本發(fā)明首先設計一個初級的網(wǎng)路結構，以原始圖像作為輸入，以與原始圖像大小一致的顯著性圖作為輸出。為了得到精確的顯著性圖，該網(wǎng)絡模型應該具有深層的結構和不同步幅的多尺度結構，以至于學習到區(qū)分能力強的多尺度特征。當樣本數(shù)量不夠時，重新訓練這樣一個網(wǎng)絡模型是很困難的，因此本發(fā)明使用在大量樣本的數(shù)據(jù)庫上訓練好的vggnet-16模型作為預訓練模型，并用其在顯著性檢測的數(shù)據(jù)集上進行微調。由于vggnet-16網(wǎng)絡模型包含了6個模塊，前5個模塊由卷積層（記為conv）和池化層（記為pooling）組成，最后一個模塊由池化層和全連接層組成。由于最后一個模塊中的池化層使得輸出的特征圖的大小太小，從而不利于顯著性圖的預測，且全連接層增加了模型的復雜性，因此本發(fā)明將使用vggnet-16中的前5個模塊作為初級網(wǎng)絡模型。

二、循環(huán)卷積神經(jīng)網(wǎng)絡的設計

為了使模型能夠學習到更加豐富的上下文信息，在初級網(wǎng)絡模型的基礎上，本發(fā)明在初級網(wǎng)絡結構中的每個卷積層上引入循環(huán)鏈接，即將所有卷積層（convolutionallayer，如圖2(a)所示）替換為循環(huán)卷積層（recurrentconvolutionallayer，記為rcl，如圖2(b)所示）。本發(fā)明中的循環(huán)卷積層進行2次循環(huán)過程，即在原有卷積層的基礎上，使用相同的卷積核對生成特征圖再進行卷積操作得到的結果與該卷積核同最底層特征圖進行卷積操作得到的結果之和作為該層的結果，重復該過程2次。將該循環(huán)卷積層展開后可得到一個深度為3的網(wǎng)絡結構（如圖2(c)所示）。由此可見，隨著循環(huán)次數(shù)的增加，循環(huán)卷積層的有效感受野相比前一層也是逐漸擴大的，從而使得循環(huán)卷積層相比卷積層在不增加參數(shù)的同時能學習到包含更加豐富的上下文信息的特征，最終達到提高顯著性圖預測的性能。

三、深層監(jiān)督的循環(huán)卷積神經(jīng)網(wǎng)絡的設計

為了學習到更具區(qū)分能力的局部和全局特征，本發(fā)明為以上網(wǎng)絡結構中的每一個模塊使用監(jiān)督信息來對模型進行深層監(jiān)督學習。通過在每個模塊最后的循環(huán)卷積層后增加一個額外的模塊，該模塊由一個卷積層和一個去卷積層（deconvolutionallayer，記為deconv）組成（如圖1所示）。這些額外增加的卷積層只有一個卷積核且該核的大小為1*1，因此這樣的一個卷積操作是將多個特征圖轉化為一個顯著性圖。而額外增加的去卷積層的目的是為了使得輸出的顯著性圖的大小和原始圖像一致。最終為了使最終的顯著性圖考慮到顯著性目標的局部和全局信息，本發(fā)明將五個增加的額外的模塊的輸出進行融合，即將它們的輸出拼接（記為concat）成一個多通道圖，然后使用一個卷積核大小為1*1的卷積層對該多通道圖進行卷積操作，得到最終的顯著性圖。實際上，最后的卷積操作是一個加權融合的過程。到此為止，本發(fā)明提出的整個深層監(jiān)督的循環(huán)卷積神經(jīng)網(wǎng)絡結構已經(jīng)全部給出，如圖1所示。

四、模型的訓練與測試

在模型訓練的過程中，首先計算每個額外增加的模塊（包括最后的融合模塊）的輸出與監(jiān)督信號之間的誤差。由于監(jiān)督信號中的正負兩類像素點的個數(shù)相差太大，為了平衡兩個之間的差距，本發(fā)明使用叉熵損失函數(shù)來計算誤差。其次，對所有額外模塊計算得到的誤差求和得到總誤差，然后將誤差回傳來更新模型的參數(shù)直到滿足終止條件。在模型測試的過程中，對于給定的圖像，本發(fā)明可將其作為訓練好的模型的輸入，通過計算后，直接輸出最終的顯著性圖。圖3給出了三個本發(fā)明進行顯著性檢測的結果，由圖3可知，本發(fā)明檢測的結果與真實結果很接近，由此說明了本發(fā)明的有效性。