本發(fā)明屬于圖像處理領(lǐng)域，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分割質(zhì)量評價方法，構(gòu)建了一個新的針對分割評價問題的深度卷積神經(jīng)網(wǎng)絡(luò)。

背景技術(shù)：

圖像分割是圖像處理中一項關(guān)鍵技術(shù)，也是計算機視覺領(lǐng)域中至關(guān)重要的一部分。圖像分割技術(shù)在醫(yī)學(xué)影像分析、交通圖像分析、遙感氣象服務(wù)、軍事工程等領(lǐng)域有著廣泛的應(yīng)用。圖像分割技術(shù)是將圖像分成若干個具有特殊性質(zhì)的區(qū)域，并將其中人們感興趣的部分提取出來，這是圖像分析的第一步。在得到分割結(jié)果之后，我們需要對圖像分割結(jié)果的進行評定，圖像分割結(jié)果的質(zhì)量如何直接決定了接下來任務(wù)的完成情況，如特征提取、目標識別的好壞。

隨著圖像分割在計算機視覺等眾多領(lǐng)域中的廣泛應(yīng)用以及圖像分割技術(shù)的長足發(fā)展，作為圖像分割過程中的重要部分，分割質(zhì)量評價方法也顯得越來越重要。分割質(zhì)量評價的主要過程是對于給定的圖像分割結(jié)果，通過分割質(zhì)量評價方法進行計算，給出一個評價分數(shù)，分數(shù)越高代表分割質(zhì)量越好，反之則分割質(zhì)量越差。分割質(zhì)量評價方法可以直觀地給出分割結(jié)果的分數(shù)，對后續(xù)改善圖像分割結(jié)果、提高圖像分割方法性能以及對圖像分割結(jié)果進行修復(fù)都有很重要的意義。

以往的圖像分割質(zhì)量評價方法往往都是通過提取分割結(jié)果的手工特征，并對這些特征進行進一步計算得到評價結(jié)果。常用的方法有：提取基于邊緣的特征、提取基于區(qū)域的特征以及同時提取這兩種特征并將其進行融合計算。然而，這種方法具有一個嚴重的缺點：手工特征無法有效地描繪分割結(jié)果的多樣性。圖像分割結(jié)果多種多樣，有的是對象邊緣缺失，有的是對象內(nèi)部缺失，有的是添加了多余的背景，有的是添加了多余的前景，還有的是前四種的任意結(jié)合，在這種復(fù)雜的情況下，傳統(tǒng)的基于手工特征的分割結(jié)果質(zhì)量評價方法不足以描述這些復(fù)雜的情況，所以無法很好的完成這樣復(fù)雜的分割評價任務(wù)。

卷積神經(jīng)網(wǎng)絡(luò)近年來在很多領(lǐng)域都取得了非常好的效果，比如對象檢測、目標分類、語音識別、目標跟蹤以及圖像分割等等。因為卷積神經(jīng)網(wǎng)絡(luò)包含數(shù)以百萬計的參數(shù)，可以自動地學(xué)習(xí)多種層次以及多種結(jié)構(gòu)的圖像特征。與傳統(tǒng)方法相比，卷積神經(jīng)網(wǎng)絡(luò)抽象地學(xué)習(xí)特征的能力對對象大小、位置以及方向的變化等具有非常強的魯棒性。卷積神經(jīng)網(wǎng)絡(luò)可以讓機器很好地學(xué)習(xí)輸入數(shù)據(jù)以及輸出數(shù)據(jù)之間的關(guān)系，并通過不斷地迭代自動選擇特征，免去了人工選擇特征的過程。因為這些優(yōu)點，卷積神經(jīng)網(wǎng)絡(luò)得到越來越多的重視。

目前，針對分割質(zhì)量評價特性而設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)還有待進一步研究，現(xiàn)有的基于卷積神經(jīng)網(wǎng)絡(luò)的分割質(zhì)量評價方法并不能很好的利用分割圖像以及其對應(yīng)原始圖像之間的特征關(guān)系。除此以外，適用于深度學(xué)習(xí)的分割結(jié)果數(shù)據(jù)庫尚缺乏?，F(xiàn)有的分割結(jié)果數(shù)據(jù)庫由于依賴人工評判，因而數(shù)據(jù)量小，不具有廣泛適用性。

本發(fā)明提出了一個新型基于卷積神經(jīng)網(wǎng)絡(luò)的分割質(zhì)量評價技術(shù)，充分地利用了分割圖像以及其對應(yīng)原始圖像之間的對應(yīng)特征關(guān)系，構(gòu)建了一個針對分割評價問題的雙網(wǎng)絡(luò)結(jié)構(gòu)，并且構(gòu)建了一個新的適用于卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的分割結(jié)果數(shù)據(jù)庫。我們在自建分割結(jié)果數(shù)據(jù)庫和公共數(shù)據(jù)集上進行了訓(xùn)練和測試，測試結(jié)果表明本發(fā)明構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)對于分割結(jié)果質(zhì)量評價具有非常好效果同時具有良好的普適性。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于解決以下技術(shù)問題：

針對目前手工評價的不足以及現(xiàn)有的評價算法只對分割結(jié)果進行分析而不考慮原始圖像的監(jiān)督信息，我們認為，一個好的分割結(jié)果評價應(yīng)該充分結(jié)合原始圖像的信息進行表達，充分利用分割圖像以及其對應(yīng)原始圖像之間的對應(yīng)特征關(guān)系來進行描述。于是，本發(fā)明采用了基于卷積神經(jīng)網(wǎng)絡(luò)的評價方法，在完成評價其分割質(zhì)量并給出可靠打分的同時，設(shè)計了雙網(wǎng)絡(luò)結(jié)構(gòu)，充分利用了原始圖像的監(jiān)督信息，彌補了當今方法的不足，為后續(xù)分割性能提高或者分割結(jié)果修復(fù)提供有效的依據(jù)。

由于目前并沒有大型分割結(jié)果數(shù)據(jù)庫，現(xiàn)有的公開的圖像分割數(shù)據(jù)庫數(shù)據(jù)量太小，無法有效的提取不同分割結(jié)果的特征，不具有普遍性，無法體現(xiàn)分割對象的多樣性和復(fù)雜性，無法適用于卷積神經(jīng)網(wǎng)絡(luò)的計算。為此我們建立了一個分割結(jié)果數(shù)據(jù)庫，該數(shù)據(jù)庫包含20類分割對象，每個分割結(jié)果對應(yīng)一張原始圖像以及一個客觀評價打分。

本發(fā)明采用的技術(shù)方案如下：

1.基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分割質(zhì)量評價方法,其特征在于包括以下步驟：

步驟1、構(gòu)建分割結(jié)果數(shù)據(jù)庫：

1.1、首先選取圖像數(shù)據(jù)集中圖片作為分割結(jié)果的原始圖像，然后采取候選框生成方法生成大量的對象候選框，并對每個候選框中的對象進行分割，得到最終的分割結(jié)果；

1.2、計算分割結(jié)果的客觀分數(shù)，作為參考基準，即label，利用圖像分割結(jié)果以及數(shù)據(jù)庫自帶的分割參考標準計算其iou值(intersectionoverunion，交并比)，iou值計算公式如下：

其中g(shù)ti表示第i個分割結(jié)果對應(yīng)的分割參考標準，ri表示第i個分割結(jié)果。

1.3、根據(jù)iou值進一步篩選分割結(jié)果，進一步處理數(shù)據(jù)，使得分割結(jié)果的打分在0-1之間更加均勻地分布，防止網(wǎng)絡(luò)學(xué)習(xí)過程偏向某一類結(jié)果。

步驟2、對分割結(jié)果數(shù)據(jù)庫進行預(yù)處理得到訓(xùn)練集和測試集：

2.1、對分割結(jié)果中前景部分進行裁剪，并用相同大小矩形框?qū)υ摲指罱Y(jié)果對應(yīng)的原始圖像在相同位置進行裁剪；

2.2、將所有裁剪的圖像大小歸一化為224*224；

2.3、對所有原始圖像的三個通道分別計算均值，并對所有分割結(jié)果以及原始圖像的三個通道進行減均值操作；

2.4、將2.3處理的結(jié)果劃分為訓(xùn)練集和測試集。

步驟3、預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型：

使用通用卷積神經(jīng)網(wǎng)絡(luò)模型對所有訓(xùn)練集中的分割結(jié)果進行訓(xùn)練，得到預(yù)訓(xùn)練模型；

步驟4、分割質(zhì)量評價網(wǎng)絡(luò)訓(xùn)練：

4.1、將訓(xùn)練數(shù)據(jù)中分割結(jié)果及其對應(yīng)原始圖片對應(yīng)輸入兩個網(wǎng)絡(luò)分支進行訓(xùn)練；

4.2、采用兩個相同的全卷積結(jié)構(gòu)對分割結(jié)果以及對應(yīng)原始圖像提取特征譜，得到分割特征譜和原始圖片特征譜；

4.3、使用特征級聯(lián)層將分割特征譜和原始圖片特征譜進行簡單地級聯(lián)，

4.4、得到級聯(lián)特征之后，設(shè)計一個新的卷積層對它們之間對應(yīng)位置的局部特征進行描述，得到一個局部區(qū)域的融合特征譜；

4.5、用三個全連接層對前面融合的特征譜進行全局計算，得到一維特征；

4.6、用一個sigmoid層將全連接層得到的一維特征映射0-1之間，得到分割結(jié)果的打分；

4.7、使用euclideanloss將網(wǎng)絡(luò)的輸出的結(jié)果跟label進行比較，計算得到誤差，然后誤差進行后向傳播給前面的層，并計算可學(xué)習(xí)參數(shù)的誤差，之后進行可學(xué)習(xí)參數(shù)的更新；

4.8、當誤差函數(shù)達到最優(yōu)時，停止參數(shù)更新，保存訓(xùn)練模型。

步驟5、分割質(zhì)量評價網(wǎng)絡(luò)測試：

5.1、將測試集輸入分割質(zhì)量評價網(wǎng)絡(luò)；

5.2、使用步驟4中訓(xùn)練好的模型進行測試，得到測試集中所有分割結(jié)果的質(zhì)量評價打分。

綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是：

用分割結(jié)果的質(zhì)量打分及其客觀評價分數(shù)之間的線性相關(guān)系數(shù)來刻畫我們圖像分割結(jié)果質(zhì)量評價網(wǎng)絡(luò)的性能，經(jīng)過測試，本專利的lcc(線性相關(guān)系數(shù))達到了0.8767的優(yōu)良效果。傳統(tǒng)的基于手工特征的方法所達到的lcc不到0.5，因為手工方法無法有效地描述復(fù)雜分割結(jié)果?，F(xiàn)有的基于卷積神經(jīng)網(wǎng)絡(luò)的分割評價方法由于其沒有深入探索分割結(jié)果前景和背景之間關(guān)系，其效果僅為0.8534。

附圖說明

本發(fā)明將通過例子并參照附圖的方式說明，其中：

圖1是本發(fā)明的分割結(jié)果質(zhì)量評價流程示意圖。

具體實施方式

本說明書中公開的所有特征或公開的所有方法或過程中的步驟，除了互相排斥的特征和/或步驟以外，均可以以任何方式組合。

下面結(jié)合圖1對本發(fā)明作詳細說明。

本發(fā)明主要工作分為兩個階段：數(shù)據(jù)庫構(gòu)建以及分割質(zhì)量評價網(wǎng)絡(luò)的訓(xùn)練和測試，全部工作可以分為以下5個步驟。

步驟一、數(shù)據(jù)庫構(gòu)建。

1.1、首先選取voc2012圖像數(shù)據(jù)集中所有12023張圖片作為分割結(jié)果的原始圖像，然后采取mcg、selectivesearch等候選框生成方法生成大量的對象候選框，采用交互式分割方法grabcut對每個候選框中的對象進行分割，得到最終的分割結(jié)果。

1.2、計算分割結(jié)果的客觀打分，利用圖像分割結(jié)果以及數(shù)據(jù)庫自帶的分割參考標準(groundtruth)計算其iou值，具體計算公式如下：

其中g(shù)ti表示第i個分割結(jié)果對應(yīng)的分割參考標準，ri表示第i個分割結(jié)果。

1.3、根據(jù)iou值進一步篩選分割結(jié)果。

步驟二、數(shù)據(jù)預(yù)處理。

2.1、劃分訓(xùn)練集和測試集，將分割結(jié)果數(shù)據(jù)庫中隨機10000張圖片對應(yīng)的分割結(jié)果作為訓(xùn)練集，剩余2023張圖片對應(yīng)的分割結(jié)果作為測試集。

2.2、圖像裁剪，為了有效利用分割結(jié)果的局部信息，我們用一個最小正方形(近似正方形)對分割結(jié)果中前景部分進行裁剪，并用相同大小矩形框?qū)υ摲指罱Y(jié)果對應(yīng)的原始圖像在相同位置進行裁剪。

2.3、將所有上述處理之后的圖像大小歸一化為224*224，并利用所有圖像的均值對圖像進行歸一化處理。

步驟三、預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型：

使用vgg-16對所有訓(xùn)練集中的分割結(jié)果進行訓(xùn)練，由于質(zhì)量評價是一個回歸問題，樣本標簽是一維的，且范圍在0-1之間，因而我們將vgg-16的最后一個全連接層輸出參數(shù)設(shè)置為1，并把最后一層(softmax層)改為sigmoid層，借助sigmoid函數(shù)的特性解決該問題，并采用歐式距離損失作為損失函數(shù)?；赾affe深度學(xué)習(xí)框架進行訓(xùn)練，初始學(xué)習(xí)率設(shè)置為0.001，得到預(yù)訓(xùn)練模型。

步驟四、分割質(zhì)量評價網(wǎng)絡(luò)訓(xùn)練：

將訓(xùn)練數(shù)據(jù)中分割結(jié)果及其對應(yīng)原始圖片對應(yīng)輸入兩個卷積網(wǎng)絡(luò)進行訓(xùn)練。我們采用兩個相同的全卷積結(jié)構(gòu)(vgg-16中卷積層1到卷積層5)對分割結(jié)果以及對應(yīng)原始圖像提取特征譜，使用特征級聯(lián)層將上述得到的兩個特征譜進行融合，設(shè)計一個新的卷積層(卷積層6)以及三個全連接層對融合特征進行進一步處理，最后一個全連接層輸出數(shù)目設(shè)置為1，后續(xù)處理跟步驟三相同，并使用步驟三中得到的訓(xùn)練模型初始化網(wǎng)絡(luò)參數(shù)?；赾affe深度學(xué)習(xí)框架進行訓(xùn)練，初始學(xué)習(xí)率設(shè)置為0.001，得到訓(xùn)練好的網(wǎng)絡(luò)和模型。

步驟五、用訓(xùn)練好的模型進行測試：

這一步，將預(yù)處理好的測試數(shù)據(jù)輸入到步驟四訓(xùn)練好的網(wǎng)絡(luò)中，得到其評價打分，所有測試數(shù)據(jù)的評價打分與其標準打分計算直線相關(guān)系數(shù)得到其測試準確率。在該網(wǎng)絡(luò)使用過程中，只需要將分割結(jié)果及原圖進行步驟二的預(yù)處理，然后輸入到步驟四訓(xùn)練好的網(wǎng)絡(luò)中，即可得到其分割質(zhì)量評價打分。