本發(fā)明屬于目標檢測與識別領域，涉及從圖像中檢測特定目標，具體是檢測手機屏幕缺陷的方法。

背景技術：

傳統(tǒng)的用人工檢測屏幕瑕疵方法存在諸多不足之處，在工業(yè)生產(chǎn)高速發(fā)展的今天，它已經(jīng)完全無法適應當今工業(yè)生產(chǎn)高效、準確的要求。對手機屏幕產(chǎn)商而言，尋找一種高效、準確的自動化檢測設備用以替代人工檢測環(huán)節(jié)，成為了迫切的需求。隨著計算機視覺、圖像處理等領域的發(fā)展，基于機器視覺的自動化檢測系統(tǒng)成為了一種良好的解決方案。該方案通過高分辨率工業(yè)相機采集手機屏幕圖像，然后將圖像信息通過圖像分析模塊進行實時的處理，從而判斷手機屏幕是否合格。

傳統(tǒng)的基于機器視覺的屏幕缺陷檢測算法，大多是針對一種或幾種類別的屏幕缺陷進行設計的，不具有通用性，所以對于特殊的瑕疵，需要寫專門的算法。由于屏幕的特殊性，拍照時在成像上的摩爾紋是不可避免的，而傳統(tǒng)算法不能很好地解決摩爾紋問題。另外，傳統(tǒng)的算法雖然可以檢測較明顯的線狀、點狀缺陷，但是對于成像上很淡缺陷以及具有特殊形狀的缺陷，準確率很低。最后，傳統(tǒng)的屏幕缺陷檢測算法需要調(diào)節(jié)大量參數(shù)，尤其是在屏幕產(chǎn)品換型時，調(diào)整大量參數(shù)會導致時間的浪費。因此，設計一個具有良好泛化性的算法具有非常實用的價值。

近年來，深度學習方法在計算機視覺領域產(chǎn)生了巨大的影響。深度學習采用多層網(wǎng)絡結構，模擬人腦中神經(jīng)系統(tǒng)的層次關系和傳遞方式，它已經(jīng)在模式識別的多個領域得到了廣泛的應用并取得了良好的成績。本方法采用基于深度殘差神經(jīng)網(wǎng)絡的分類算法，使用預處理后的手機屏幕局部圖像塊作為分類器的輸入，然后抽取卷積神經(jīng)網(wǎng)絡的特征圖作為檢測結果，將缺陷檢測問題轉變成一個圖像塊分類問題，通過此方法得到的深度模型不僅能夠有效地學習到圖像的背景紋理模式，從含有背景紋理的圖像塊中準確地定位缺陷的位置，而且對于各種類型的缺陷都有較高的準確率。此外，深度殘差網(wǎng)絡模型是一種隱式的集成學習方法，訓練一個深度殘差網(wǎng)絡模型可以通過移除殘差模塊的方式生成很多淺層網(wǎng)絡模型，這些淺層網(wǎng)絡模型對各種不同類型的缺陷分別具有不同的敏感度，從而能夠相輔相成，檢測各種不同的缺陷。使用深度殘差網(wǎng)絡的算法相比傳統(tǒng)算法，訓練過程簡單，檢測成功率高，并且通用性更好。

技術實現(xiàn)要素：

本發(fā)明要克服基于機器視覺的屏幕缺陷檢測算法的上述缺陷，提供一種用于手機屏幕缺陷檢測的深度殘差網(wǎng)絡構造方法。

為實現(xiàn)上述目的，本發(fā)明所述的基于卷積神經(jīng)網(wǎng)絡剪枝算法的手機屏幕缺陷檢測方法包括如下步驟：

1)分別采集包含瑕疵圖片和正常圖片，進行標記(1表示包含瑕疵圖片，0表示正常圖片)，通過訓練數(shù)據(jù)訓練自定義的深度殘差網(wǎng)絡直到收斂并且有較高準確率；

2)通過對深度殘差網(wǎng)絡的每個殘差模塊使用一定的概率進行隨機移除的方法來生成淺層網(wǎng)絡模型，并重復進行此操作，生成多個不同深度的網(wǎng)絡模型；

3)采集手機屏幕圖片數(shù)據(jù)，生成圖片金字塔，分割成圖片塊且保證每個圖片塊之間具有一定的重疊面積，用于測試階段數(shù)據(jù)生成，送入到步驟2)獲得的多個不同深度的網(wǎng)絡模型中進行運算；

4)取每個網(wǎng)絡模型的特征圖作為響應圖，采用閾值分割的方法獲得缺陷位置，最后將多個不同深度網(wǎng)絡模型的檢測結果疊加并圈出。不同深度的網(wǎng)絡模型對特定類型的缺陷具有較高的響應，通過疊加的方式能夠檢測出各種不同類型的手機屏幕缺陷。

步驟2)所述的通過移除殘差模塊生成淺層網(wǎng)絡模型具體是：先通過隨機的方式?jīng)Q定是否移除深度殘差網(wǎng)絡中的每個殘差單元，反復多次執(zhí)行此操作，并生成一系列不同的淺層網(wǎng)絡模型；然后將這些淺層網(wǎng)絡模型依次在測試集上測試準確率，選取準確率最高的前若干個網(wǎng)絡模型并予以保留，將其余網(wǎng)絡模型丟棄；利用上述方法生成淺層網(wǎng)絡模型集合，這些網(wǎng)絡模型各不相同，對各種不同類型缺陷具有不同的敏感度，具有相互補充的作用。

步驟3)所述的圖片金字塔具體是：將原始高分辨率圖片縮小成不同尺度的圖片，這些不同尺度的圖片合起來稱為一組圖片金字塔；使用圖片金字塔的目的是來檢測不同尺度上、不同大小的缺陷；在分割圖片塊時，圖片塊之間具有一定的重疊面積是為了避免一個完整的缺陷被分割到不同圖片塊中，從而造成檢測結果不準確。

步驟4)所述的響應圖具體是：將淺層網(wǎng)絡模型集合中每個網(wǎng)絡模型輸出的特征圖作為某一類缺陷的響應圖；每個網(wǎng)絡模型輸出的特征圖各不相同，并且對某一特定類型的缺陷具有良好的響應。

本發(fā)明的有益效果如下：

本發(fā)明是一種用于手機屏幕缺陷檢測的深度殘差網(wǎng)絡構造方法。它基于深度學習的深度殘差網(wǎng)絡模型，采用移除殘差模塊的方式生成多個淺層網(wǎng)絡模型，通過模型篩選保留檢測效果較好的淺層網(wǎng)絡集合，并將所有淺層網(wǎng)絡模型的檢測結果疊加，以達到最佳的檢測效果。此外，由于深度殘差網(wǎng)絡能夠自動地學習到背景紋理信息，可以較好地處理成像中的摩爾紋干擾，在屏幕產(chǎn)品換型時，只需要少量的訓練圖片進行網(wǎng)絡微調(diào)，就可以重新保證網(wǎng)絡的準確率達標。

與傳統(tǒng)方法相比，本發(fā)明能夠更有效地檢測成像較淡以及形狀特殊的缺陷。此外，傳統(tǒng)方法需要設置大量參數(shù)，每次換型都需要調(diào)整參數(shù)才能保證算法的準確性。本發(fā)明采用的神經(jīng)網(wǎng)絡算法具有良好的自適應和泛化特性，能夠快速進行屏幕產(chǎn)品換型，節(jié)省產(chǎn)線部署時間。

附圖說明

圖1是本發(fā)明方法的框架示意圖。

圖2是本發(fā)明的圖片金字塔到分割成圖片小塊的圖示。

具體實施方式

下面結合附圖對本發(fā)明的技術方案進行清晰、完整的解釋和描述。

本發(fā)明提出了一種用于手機屏幕缺陷檢測的深度殘差網(wǎng)絡構造方法，該方法在已經(jīng)拍攝的手機屏幕圖片上，利用深度殘差網(wǎng)絡模型確定瑕疵在圖片上的位置并圈出。

一種用于手機屏幕缺陷檢測的深度殘差網(wǎng)絡構造方法包括如下步驟：

步驟1，訓練階段數(shù)據(jù)采集：分別采集包含瑕疵和正常圖片小塊，進行標記(1表示包含瑕疵圖片，0表示正常圖片)。按照10：1的比例分成訓練集和驗證集；自定義深度殘差網(wǎng)絡，利用上述的訓練數(shù)據(jù)，訓練深度殘差網(wǎng)絡直到收斂，并且能夠在驗證集上達到較高的分類準確率。通過觀察可視化深度殘差網(wǎng)絡中間隱層的特征圖，可以分析網(wǎng)絡是否很好的學到了瑕疵特征。

步驟2，利用移除殘差模塊的方式生成淺層網(wǎng)絡模型集合。具體地，預先設定一個概率p，表示每個殘差模塊被移除的概率。對深度殘差網(wǎng)絡的每個模塊單元，根據(jù)概率p決定是否將其移除，從而得到一個淺層網(wǎng)絡模型。然后考慮淺層網(wǎng)絡模型集合r中是否已經(jīng)包含該淺層網(wǎng)絡模型，若不包含則將其加入到集合r中，否則丟棄該模型。反復執(zhí)行上述步驟，直到集合r中包含n個不同模型。然后將集合r中的所有模型使用驗證集的數(shù)據(jù)測試準確率，保留準確率前k大的模型，剔除其余模型，如圖1所示。

步驟3，測試階段數(shù)據(jù)生成：采集手機屏幕圖片數(shù)據(jù)，圖片包含且僅包含完整的手機屏幕位置。利用不同比例的縮放尺度將圖片展成圖像金字塔，用于多尺度檢測。對于每個尺度的圖片，預先設定圖片塊的重疊面積比例，然后分割成固定大小的圖片塊，將所有的圖片塊作為一組，作為所有淺層網(wǎng)絡模型的輸入數(shù)據(jù)，如圖2所示。

步驟4，每一個圖片塊，將每個淺層網(wǎng)絡模型輸出的特征圖作為響應圖，將響應圖對應到原圖，通過閾值分割的方法，獲得缺陷的位置。將所有淺層網(wǎng)絡模型的檢測結果疊加，從而獲得最終檢測結果。