本發(fā)明屬于圖像模糊檢測(cè)領(lǐng)域，涉及一種基于深度學(xué)習(xí)(deep learning)的高精度圖像模糊檢測(cè)技術(shù)。

背景技術(shù)：

本發(fā)明中涉及到的背景技術(shù)有：

(1)圖像模糊檢測(cè)(Blur detection)：對(duì)于圖像的模糊檢測(cè)，之前的工作主要集中于特征的人工選定和能量函數(shù)的優(yōu)化上面。選擇合適的特征或者能量函數(shù)，可以采用不同的方法來直接對(duì)主題進(jìn)行建模，比如利用多方向的梯度統(tǒng)計(jì)方法為模糊分割建立能量函數(shù)，局部梯度統(tǒng)計(jì)方法同樣被用來估計(jì)物體運(yùn)動(dòng)產(chǎn)生的模糊。常用的特征有局部能量譜斜率、梯度直方圖跨度、最大飽和性和局部自動(dòng)相關(guān)一致性。有一些工作通過使用逐像素的單個(gè)值的信息來識(shí)別模糊的類型和度量模糊的內(nèi)容。最近，有一些工作在圖像梯度，傅里葉和數(shù)據(jù)驅(qū)動(dòng)的局部過濾空間上學(xué)習(xí)模糊特征的表示，取得了不錯(cuò)的區(qū)分效果。相對(duì)于這些基于從多樣的低階圖像統(tǒng)計(jì)衍生出來的人工選取的特征進(jìn)行模糊檢測(cè)的方法而言，本發(fā)明所基于的深度卷積神經(jīng)網(wǎng)絡(luò)，指的是通過深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練出的具有可區(qū)分性的深度特征來對(duì)圖像的模糊區(qū)域進(jìn)行標(biāo)識(shí)與分割。

(2)深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks)：近些年我們目睹了深度卷積神經(jīng)網(wǎng)絡(luò)模型在許多計(jì)算機(jī)視覺領(lǐng)域問題上多都取得了遠(yuǎn)好于經(jīng)典的方法的效果。比如，物體檢測(cè)和識(shí)別，圖像分割，場(chǎng)景解析，深度重建，顯著性檢測(cè)，圖像去噪，超像素等等。一種普遍接受度的觀點(diǎn)是，深度卷積神經(jīng)網(wǎng)絡(luò)模型成功的原因主要來自它超強(qiáng)的直接從輸入圖像提取特征的能力。因?yàn)閳D像的模糊是圖像品質(zhì)的一種退化，所以圖像模糊檢測(cè)不同于大多數(shù)識(shí)別問題。圖像識(shí)別問題對(duì)于圖片質(zhì)量造成影響的因素，像噪聲和模糊，應(yīng)該被容忍。然而，在圖像模糊檢測(cè)方面，我們需要學(xué)習(xí)與模糊相關(guān)的特征而忽視由于不同的圖像內(nèi)容造成的巨大差異。據(jù)我們目前所知，我們的模型是第一個(gè)將深度卷積神經(jīng)網(wǎng)絡(luò)用于模糊度量和檢測(cè)的。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)中存在的技術(shù)問題，本發(fā)明提供一種基于深度學(xué)習(xí)的高精度圖像模糊檢測(cè)方法，該方法是將深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks)應(yīng)用到圖像模糊檢測(cè)問題中，以精確地檢測(cè)出圖像中的模糊區(qū)域?yàn)槟繕?biāo)。

為了解決現(xiàn)有技術(shù)中存在的技術(shù)問題，本發(fā)明采用如下技術(shù)方案：

一種基于深度學(xué)習(xí)的高精度圖像模糊檢測(cè)方法，包括如下步驟：

步驟一，建立深度卷積神經(jīng)網(wǎng)絡(luò)模型CNN和初始化，并向其輸入檢測(cè)圖像；

步驟二，所述深度卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)需要檢測(cè)圖像選取不同s個(gè)尺度獲得不同尺度的圖像塊；

步驟三，所述深度卷積神經(jīng)網(wǎng)絡(luò)模型按照六種卷積層對(duì)步驟二中所述圖像塊進(jìn)行特征提取獲得單尺度模糊圖：

步驟四，所述深度卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)不同的所述單尺度模糊圖進(jìn)行多次融合處理輸出模糊圖。

所述步驟二中不同尺度的圖像塊是根據(jù)對(duì)應(yīng)的尺度對(duì)檢測(cè)圖像進(jìn)行填料，然后用滑動(dòng)窗口對(duì)于圖下的每一個(gè)像素點(diǎn)取對(duì)應(yīng)的圖像塊，獲得每個(gè)尺度下能夠輸入對(duì)應(yīng)的圖像塊圖像的像素點(diǎn)的每一個(gè)對(duì)應(yīng)的圖像塊。

所述深度卷積神經(jīng)網(wǎng)絡(luò)模型按照六種卷積層對(duì)步驟二中所述圖像塊進(jìn)行特征提取獲得單尺度模糊圖步驟：

步驟一，第一卷積層采用96個(gè)5x5的過濾器對(duì)所述圖像塊提取低階的特征；

步驟二，第二卷積層采用256個(gè)5x5的過濾器對(duì)所述圖像塊提取中階的特征；

步驟三，第三卷積層采用384個(gè)3x3的過濾器對(duì)所述圖像塊提取高階的特征；

步驟四，第四卷積層和第五卷積層均采用2048個(gè)過濾器對(duì)所述圖像塊提取特征；

步驟五，第六卷積層采用一個(gè)2路的softmax分類器對(duì)所述圖像塊進(jìn)行二值的分類獲得單尺度模糊圖。

所述第四卷積層和所述第五卷積層為整體連通層。

所述第一卷積層提取低價(jià)的特征為提取角和邊連接的信息。

所述第二卷積層提取中價(jià)的特征為復(fù)雜的紋理和樣式。

所述第三卷積層提取高價(jià)特征為語(yǔ)義信息。

本發(fā)明有益效果：

第一，本發(fā)明是解決現(xiàn)有技術(shù)中在提取特征進(jìn)行圖像模糊檢測(cè)方法精確性差的技術(shù)問題。如圖4,圖5所示。

第二，本發(fā)明是將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用到圖像模糊檢測(cè)中，即在多個(gè)尺度上僅利用深度卷積神經(jīng)網(wǎng)絡(luò)提取的可區(qū)分的特征就可以做到高精度圖像模糊檢測(cè)的方法，高對(duì)模糊圖像的處理能力。如圖6,圖7所示。

附圖說明

圖1：圖像模糊檢測(cè)流程圖

圖2：圖片模糊檢測(cè)結(jié)果與groundtruth對(duì)比圖

圖3：模糊檢測(cè)方法CNN框架示意圖

圖4：我們的模糊檢測(cè)方法與其他方法的模糊檢測(cè)實(shí)驗(yàn)結(jié)果對(duì)比圖

圖5：我們的模糊檢測(cè)方法與其他方法的模糊檢測(cè)實(shí)驗(yàn)結(jié)果PR曲線圖

圖6：我們的模糊檢測(cè)方法與其他方法的模糊檢測(cè)實(shí)驗(yàn)結(jié)果Precision Recall和F-measure直方圖

圖7：我們的模糊檢測(cè)方法與其他方法的模糊檢測(cè)實(shí)驗(yàn)結(jié)果的ROC曲線圖

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明做出詳細(xì)地說明：

本發(fā)明提出了一種基于深度學(xué)習(xí)的高精度圖像模糊檢測(cè)方法。與現(xiàn)有提取低階特征優(yōu)化能量函數(shù)的方法不同，本發(fā)明從多個(gè)尺度上提取利用CNN提取圖像的高階特征進(jìn)行分類，能夠?qū)崿F(xiàn)高精度的圖像模糊檢測(cè)。這項(xiàng)技術(shù)將深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks

如圖1所示，本發(fā)明采用如下的技術(shù)方案：

步驟一(110，120,130)建立深度卷積神經(jīng)網(wǎng)絡(luò)模型CNN和初始化，并向其輸入檢測(cè)圖像；

其中，深度卷積神經(jīng)網(wǎng)絡(luò)的總體架構(gòu)如圖2所示，展示了多個(gè)尺度的模糊檢測(cè)總體框架。在不同的圖像塊(patch)尺度上訓(xùn)練了卷積神經(jīng)網(wǎng)絡(luò)(CNN)。每個(gè)CNN分別叫做CNN-s，其中s＝1，2，…,S代表不同的尺度。本發(fā)明方法中，S被設(shè)定為3需要通過一個(gè)滑動(dòng)窗口來獲取不同尺度的圖像塊，給對(duì)應(yīng)尺度的CNN，來獲取對(duì)用的概率圖，然后將不同尺度下的概率圖融合來獲得最終的檢測(cè)結(jié)果。

為了建立一個(gè)有效分類的CNN，網(wǎng)絡(luò)的每一層都能有一定的處理能力。對(duì)于多層卷積神經(jīng)網(wǎng)絡(luò)而言，底層的卷積層提取角和邊連接的信息，中層的卷積層提取復(fù)雜的紋理和樣式，更高層的卷積層捕獲高階的語(yǔ)義信息。還有，網(wǎng)絡(luò)的總體深度對(duì)于模型取得一個(gè)好的效果是非常重要的。依據(jù)以上的分析，我們對(duì)單個(gè)尺度的模糊檢測(cè)設(shè)計(jì)了一個(gè)六層的CNN模型。

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

(a)訓(xùn)練數(shù)據(jù)

找到了一個(gè)已經(jīng)發(fā)布的數(shù)據(jù)集其中有296張運(yùn)動(dòng)模糊的圖片和704張沒有對(duì)準(zhǔn)焦點(diǎn)的模糊圖片。隨機(jī)的選取了這兩種圖片80％來建立一個(gè)數(shù)據(jù)集。對(duì)于訓(xùn)練集中的每個(gè)圖片，取用步長(zhǎng)為5的滑動(dòng)窗口在不同的尺度上(例，21x21,35x35,和49x49)上去一些圖片塊作為訓(xùn)練的樣本。如果圖像塊模糊的像素點(diǎn)超過80％，這個(gè)圖像塊就被標(biāo)記為正例。同樣，如果圖像塊模糊的像素點(diǎn)超過80％，這個(gè)圖像塊就被標(biāo)記為負(fù)例。正例和負(fù)例樣本的數(shù)目的比值是1。我們一共選取了1000萬(wàn)個(gè)21x21的樣例，500萬(wàn)個(gè)35x35的樣例和400萬(wàn)個(gè)45x45的樣例。我們?cè)诿總€(gè)尺度用使80％的樣例訓(xùn)練我們的模型，用剩余的20％來進(jìn)行驗(yàn)證。不對(duì)訓(xùn)練的樣本進(jìn)行預(yù)處理。

(b)訓(xùn)練設(shè)置

在深度卷積神經(jīng)網(wǎng)絡(luò)框架CAFFE上搭建完成后，輸入的大小在不同尺度上是不一樣的。對(duì)每個(gè)網(wǎng)絡(luò)進(jìn)行單獨(dú)的訓(xùn)練，訓(xùn)練時(shí)采用隨機(jī)梯度下降法，其中batch size是128，momentum是0.9，權(quán)重衰減是0.0005，基礎(chǔ)的學(xué)習(xí)率被設(shè)定為0.001。

步驟二140，所述深度卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)需要檢測(cè)圖像選取不同s個(gè)尺度獲得不同尺度的圖像塊，(其中s＝1,2,..)；所述步驟二中不同尺度的圖像塊是根據(jù)對(duì)應(yīng)的尺度對(duì)檢測(cè)圖像進(jìn)行填料(padding)，然后用滑動(dòng)窗口對(duì)于圖下的每一個(gè)像素點(diǎn)取對(duì)應(yīng)的圖像塊，獲得每個(gè)尺度下能夠輸入對(duì)應(yīng)的圖像塊的圖像像素點(diǎn)的每一個(gè)對(duì)應(yīng)的圖像塊。

步驟三150，所述深度卷積神經(jīng)網(wǎng)絡(luò)模型按照六種卷積層對(duì)步驟二中所述圖像塊進(jìn)行特征提取獲得單尺度模糊圖；所述深度卷積神經(jīng)網(wǎng)絡(luò)模型按照六種卷積層對(duì)步驟二中所述圖像塊進(jìn)行特征提取獲得單尺度模糊圖步驟：如圖3所示，步驟一，第一卷積層采用96個(gè)5x5的過濾器對(duì)所述圖像塊提取低階的特征；所述第一卷積層提取低價(jià)的特征為提取角和邊連接的信息。步驟二，第二卷積層采用256個(gè)5x5的過濾器對(duì)所述圖像塊提取中階的特征；所述第二卷積層提取中價(jià)的特征為復(fù)雜的紋理和樣式。步驟三，第三卷積層采用384個(gè)3x3的過濾器對(duì)所述圖像塊提取高階的特征；所述第三卷積層提取高價(jià)特征為語(yǔ)義信息；步驟四，第四卷積層和第五卷積層均采用2048個(gè)過濾器對(duì)所述圖像塊提取特征；所述第四卷積層和所述第五卷積層為整體連通層；本發(fā)明采用了概率為0.5的dropout方法來避免兩個(gè)全連通層的過擬合。步驟五，第六卷積層采用一個(gè)2路的softmax分類器對(duì)所述圖像塊進(jìn)行二值的分類獲得單尺度模糊圖。

如圖1所示，步驟四160，所述深度卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)不同的所述單尺度模糊圖進(jìn)行多次融合處理輸出模糊圖。在每個(gè)尺度上計(jì)算通過對(duì)應(yīng)尺度的模糊檢測(cè)的CNN計(jì)算出對(duì)應(yīng)的模糊圖(blur map)。然后再一個(gè)圖模型里把對(duì)應(yīng)的模糊圖融合起來。

對(duì)于一個(gè)給定的圖片，首先通過滑動(dòng)窗口在每個(gè)尺度上得到對(duì)應(yīng)的模糊圖。為了更好的說明，我們把每個(gè)模糊圖記為B^s，其中s表示尺度(scale)。我們建立了一個(gè)多尺度的圖模型。在這個(gè)模型里，每個(gè)像素都有鄰接的鄰居。給定一個(gè)模糊檢測(cè)圖D^s，s表示對(duì)應(yīng)的單個(gè)尺度s。那么我們可以得到B^s的最優(yōu)估計(jì)值。將B^s和D^s分別做成向量b^s和d^s，那么能量函數(shù)可以表示為，

其中p是像素索引，能量函數(shù)等式里有三項(xiàng)，第一項(xiàng)是數(shù)據(jù)項(xiàng)，它負(fù)責(zé)分配每一個(gè)像素的概率。第二項(xiàng)是保持每個(gè)尺度的臨近的像素點(diǎn)的標(biāo)簽一致。第三項(xiàng)產(chǎn)生了不同尺度的一致性標(biāo)簽。其中是兩個(gè)像素點(diǎn)的表面相似性，被定義為：

其中f_p是在像素在位置p上的表觀(appearance)。Z是一個(gè)配分函數(shù)，去正則化這些權(quán)重值。把b¹，b²，…,bⁿ連接成一個(gè)向量b，把d¹，d²，…,dⁿ連接成一個(gè)向量d。帶入上一個(gè)能量函數(shù)的式子，我們可以得到最優(yōu)的通過優(yōu)化

E(b)＝(b-d)^T(b-d)+αb^TU^TUb+βbV^TVb

＝bA^Tb-2d^Tb+d^Td，

這個(gè)式子是一個(gè)二次方程式，我們可以通過解Ab＝d得到最優(yōu)解。其中超參數(shù)α和β，在我么你的額實(shí)驗(yàn)中都被設(shè)為0.5.A＝I+αU^TU+βV^TV.很明顯A是一個(gè)對(duì)稱和正定矩陣。U＝diag(U¹，U²，...，U^s).其中我們定義U^s為

V被定義為[V¹，V²，...，V^s，...，Vⁿ]^T，其中V^s＝[V^s1，V^s2，...，V^ss]。V的元素定義如下：

和

上述實(shí)例僅用于說明本發(fā)明，其中各部件的結(jié)構(gòu)、材料、連接方式都是可以有所變化的，凡是在本發(fā)明技術(shù)基礎(chǔ)上進(jìn)行的等同變換和改進(jìn)，均不應(yīng)該排除在本發(fā)明的保護(hù)范圍之外。