本發(fā)明屬于圖像處理領(lǐng)域，尤其涉及一種增強(qiáng)現(xiàn)實(shí)圖像處理方法及系統(tǒng)。

背景技術(shù)：

增強(qiáng)現(xiàn)實(shí)(Augmented Reality，簡(jiǎn)稱AR)是通過(guò)計(jì)算機(jī)系統(tǒng)提供的信息增加用戶對(duì)現(xiàn)實(shí)世界感知的技術(shù)，將計(jì)算機(jī)生成的虛擬物體、場(chǎng)景或系統(tǒng)提示信息疊加到真實(shí)場(chǎng)景中，從而實(shí)現(xiàn)對(duì)現(xiàn)實(shí)的增強(qiáng)。本發(fā)明提供一種基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)，為增強(qiáng)現(xiàn)實(shí)提供技術(shù)基礎(chǔ)。

從增強(qiáng)現(xiàn)實(shí)系統(tǒng)的硬件來(lái)看，大致可分為兩類：基于計(jì)算機(jī)視覺(jué)算法的增強(qiáng)現(xiàn)實(shí)；基于傳感器的增強(qiáng)現(xiàn)實(shí)?；趥鞲衅鞯母櫚℅PS(Global Positioning System全球定位系統(tǒng))，地磁，聲音，慣性，光影或者力學(xué)感受器等。例如ARToolkit是基于標(biāo)識(shí)識(shí)別的開(kāi)源庫(kù)，它使用C/C++語(yǔ)言編寫(xiě)，通過(guò)它可以讓我們很容易的編寫(xiě)增強(qiáng)現(xiàn)實(shí)應(yīng)用程序。這個(gè)庫(kù)首先記錄了很多易于標(biāo)示的標(biāo)識(shí)圖片，并以此為交互對(duì)象，實(shí)現(xiàn)了標(biāo)識(shí)的跟蹤與交互，編程人員只要使用ARToolkit庫(kù)就可以編寫(xiě)渲染方式?，F(xiàn)在己經(jīng)有非常多的基于該庫(kù)的應(yīng)用出現(xiàn)，也因此證明了該庫(kù)的穩(wěn)定性和實(shí)用性。與其他AR技術(shù)相對(duì)來(lái)說(shuō)已經(jīng)比較成熟。然而，此技術(shù)需要專門(mén)繪制固定紋路的標(biāo)識(shí)，使得其應(yīng)用場(chǎng)景大大受限。

對(duì)于標(biāo)識(shí)識(shí)別主要有一類方法，目標(biāo)檢測(cè)方法。目標(biāo)檢測(cè)方法要解決的主要問(wèn)題是處于復(fù)雜光照、復(fù)雜背景、多尺度、多視角、遮擋等條件下目標(biāo)的識(shí)別定位問(wèn)題。在解決這些基本問(wèn)題的同時(shí)，為使目標(biāo)識(shí)別定位方法可以應(yīng)用于實(shí)際場(chǎng)景中，目標(biāo)檢測(cè)算法需要滿足實(shí)時(shí)性及魯棒性。目標(biāo)檢測(cè)方法分為全局方法和局部方法兩類。全局方法使用統(tǒng)計(jì)學(xué)分類技術(shù)，來(lái)比較輸入圖像與目標(biāo)物體訓(xùn)練圖集的相似程度，具體方法PCA、KNN、Adaboost等。這類方法用來(lái)解決檢測(cè)一類目標(biāo)物體的實(shí)例。而對(duì)于目標(biāo)檢測(cè)的常見(jiàn)問(wèn)題，例如復(fù)雜的遮擋關(guān)系、光照和背景燈，并沒(méi)有進(jìn)行針對(duì)性解決。

綜上所述，傳統(tǒng)AR在目標(biāo)檢測(cè)過(guò)程中，存在不能魯棒性識(shí)別的問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

為了解決傳統(tǒng)AR目標(biāo)檢測(cè)不能魯棒性識(shí)別的問(wèn)題，本發(fā)明的第一目的是提供了一種增強(qiáng)現(xiàn)實(shí)圖像處理方法。

本發(fā)明的一種增強(qiáng)現(xiàn)實(shí)圖像處理方法，包括：

獲取若干連續(xù)幀的增強(qiáng)現(xiàn)實(shí)圖像樣本并分別對(duì)其進(jìn)行歸一化和去噪預(yù)處理；

以標(biāo)簽形式標(biāo)注出每個(gè)預(yù)處理后圖像樣本中目標(biāo)的實(shí)際位置信息及標(biāo)簽類別；

利用標(biāo)簽化的樣本分別訓(xùn)練用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)；

將待處理的增強(qiáng)現(xiàn)實(shí)圖像進(jìn)行歸一化和去噪預(yù)處理之后，再輸入至訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)中，分別得到待處理的增強(qiáng)現(xiàn)實(shí)圖像的目標(biāo)位置信息與標(biāo)簽分類信息。

進(jìn)一步的，利用標(biāo)簽化的樣本分別訓(xùn)練用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)的過(guò)程包括：

標(biāo)簽化的樣本分別輸入至用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)，輸出的目標(biāo)位置信息與標(biāo)簽分類信息，直至第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)分別輸出的目標(biāo)位置信息與標(biāo)簽分類信息與目標(biāo)的實(shí)際位置信息與標(biāo)簽分類信息一致，得到訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)。

本發(fā)明通過(guò)對(duì)圖像的提取和數(shù)據(jù)的預(yù)處理，能加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度。

進(jìn)一步的，所述第一卷積神經(jīng)網(wǎng)絡(luò)為RPN卷積神經(jīng)網(wǎng)絡(luò)。

在目標(biāo)檢測(cè)中，fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)減少了檢測(cè)步驟的執(zhí)行時(shí)間，只有在提取region proposal(候選區(qū)域)方面沒(méi)有提高，而RPN卷積神經(jīng)網(wǎng)絡(luò)用來(lái)提取檢測(cè)區(qū)域，并且和整個(gè)檢測(cè)網(wǎng)絡(luò)共享卷積部分的特征。

進(jìn)一步的，所述第二卷積神經(jīng)網(wǎng)絡(luò)為fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)。

fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)在檢測(cè)部分減少了卷積的次數(shù)，減少了整個(gè)過(guò)程所需的時(shí)間。

發(fā)明的第二目的是提供了一種增強(qiáng)現(xiàn)實(shí)圖像處理系統(tǒng)。

本發(fā)明的實(shí)施例一的增強(qiáng)現(xiàn)實(shí)圖像處理系統(tǒng)，包括：

樣本集獲取模塊，其用于獲取若干連續(xù)幀的增強(qiáng)現(xiàn)實(shí)圖像樣本；

預(yù)處理模塊，其用于對(duì)每個(gè)樣本分別進(jìn)行歸一化和去噪預(yù)處理；

標(biāo)簽化模塊，其用于以標(biāo)簽形式標(biāo)注出每個(gè)預(yù)處理后圖像樣本中目標(biāo)的實(shí)際位置信息及標(biāo)簽類別；

卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊，其用于利用標(biāo)簽化的樣本分別訓(xùn)練用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)；

圖像目標(biāo)信息獲取模塊，其用于將待處理的增強(qiáng)現(xiàn)實(shí)圖像進(jìn)行歸一化和去噪預(yù)處理之后，再輸入至訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)中，分別得到待處理的增強(qiáng)現(xiàn)實(shí)圖像的目標(biāo)位置信息與標(biāo)簽分類信息。

進(jìn)一步的，在所述卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊中，標(biāo)簽化的樣本分別輸入至用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)，輸出的目標(biāo)位置信息與標(biāo)簽分類信息，直至第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)分別輸出的目標(biāo)位置信息與標(biāo)簽分類信息與目標(biāo)的實(shí)際位置信息與標(biāo)簽分類信息一致，得到訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)。

進(jìn)一步的，所述第一卷積神經(jīng)網(wǎng)絡(luò)為RPN卷積神經(jīng)網(wǎng)絡(luò)；

或所述第二卷積神經(jīng)網(wǎng)絡(luò)為fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)。

本發(fā)明的實(shí)施例二的增強(qiáng)現(xiàn)實(shí)圖像處理系統(tǒng)，包括：

圖像采集裝置，其被配置為：

采集若干連續(xù)幀的增強(qiáng)現(xiàn)實(shí)圖像以及待處理的增強(qiáng)圖像并傳送至處理器；

所述處理器，其被配置為：

對(duì)獲取的若干連續(xù)幀的增強(qiáng)現(xiàn)實(shí)圖像樣本分別進(jìn)行歸一化和去噪預(yù)處理，并將預(yù)處理后的圖像樣本傳送至服務(wù)器；

所述處理器還被配置為：將待處理的增強(qiáng)圖像進(jìn)行歸一化和去噪預(yù)處理并傳送至服務(wù)器；

所述服務(wù)器，其被配置為：

以標(biāo)簽形式標(biāo)注出每個(gè)預(yù)處理后圖像樣本中目標(biāo)的實(shí)際位置信息及標(biāo)簽類別；

利用標(biāo)簽化的樣本分別訓(xùn)練用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)，得到訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)；

以及將預(yù)處理后的待處理的增強(qiáng)圖像輸入至訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)中，分別得到待處理的增強(qiáng)現(xiàn)實(shí)圖像的目標(biāo)位置信息與標(biāo)簽分類信息。

進(jìn)一步的，所述服務(wù)器還被配置為：

標(biāo)簽化的樣本分別輸入至用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)，輸出的目標(biāo)位置信息與標(biāo)簽分類信息，直至第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)分別輸出的目標(biāo)位置信息與標(biāo)簽分類信息與目標(biāo)的實(shí)際位置信息與標(biāo)簽分類信息一致，得到訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)。

進(jìn)一步的，該系統(tǒng)還包括顯示裝置，其用于顯示待處理的增強(qiáng)現(xiàn)實(shí)圖像的目標(biāo)位置信息與標(biāo)簽分類信息。

本發(fā)明的實(shí)施例三的增強(qiáng)現(xiàn)實(shí)圖像處理系統(tǒng)，包括：

圖像采集裝置，其被配置為：

采集若干連續(xù)幀的增強(qiáng)現(xiàn)實(shí)圖像以及待處理的增強(qiáng)圖像并傳送至服務(wù)器；

所述服務(wù)器，其被配置為：

對(duì)獲取的若干連續(xù)幀的增強(qiáng)現(xiàn)實(shí)圖像樣本分別進(jìn)行歸一化和去噪預(yù)處理；

以標(biāo)簽形式標(biāo)注出每個(gè)預(yù)處理后圖像樣本中目標(biāo)的實(shí)際位置信息及標(biāo)簽類別；

利用標(biāo)簽化的樣本分別訓(xùn)練用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)，得到訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)；

以及將待處理的增強(qiáng)圖像進(jìn)行歸一化和去噪預(yù)處理，之后再輸入至訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)中，分別得到待處理的增強(qiáng)現(xiàn)實(shí)圖像的目標(biāo)位置信息與標(biāo)簽分類信息。

進(jìn)一步的，所述服務(wù)器還被配置為：

標(biāo)簽化的樣本分別輸入至用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)，輸出的目標(biāo)位置信息與標(biāo)簽分類信息，直至第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)分別輸出的目標(biāo)位置信息與標(biāo)簽分類信息與目標(biāo)的實(shí)際位置信息與標(biāo)簽分類信息一致，得到訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)。

進(jìn)一步的，該系統(tǒng)還包括顯示裝置，其用于顯示待處理的增強(qiáng)現(xiàn)實(shí)圖像的目標(biāo)位置信息與標(biāo)簽分類信息。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

(1)本發(fā)明采用RPN卷積神經(jīng)網(wǎng)絡(luò)作為第一卷積神經(jīng)網(wǎng)來(lái)定位圖像中的目標(biāo)，由于RPN卷積神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)的尺度和比例不敏感，這樣能夠有效提升非常規(guī)尺度和比例的目標(biāo)檢測(cè)，并且更加簡(jiǎn)單，通過(guò)共享卷積層參數(shù)，使計(jì)算量變小，且提高了目標(biāo)檢測(cè)的準(zhǔn)確性和穩(wěn)定性。

(2)本發(fā)明采用第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)結(jié)合分別用來(lái)提取圖像中的目標(biāo)的位置信息以及標(biāo)簽分類信息，提高了檢測(cè)精度和速度；其中，第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)可以采用RPN卷積神經(jīng)網(wǎng)絡(luò)和fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)，或其他卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)。

(3)本發(fā)明的增強(qiáng)現(xiàn)實(shí)圖像處理系統(tǒng)，利用圖像采集裝置采集增強(qiáng)圖像并傳送至處理器，利用處理器對(duì)增強(qiáng)現(xiàn)實(shí)圖像進(jìn)行歸一化和去噪預(yù)處理，并將預(yù)處理后的圖像傳送至服務(wù)器，在服務(wù)器內(nèi)首先訓(xùn)練用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)，最后再利用訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)處理增強(qiáng)現(xiàn)實(shí)圖像，分別得到待處理的增強(qiáng)現(xiàn)實(shí)圖像的目標(biāo)位置信息與標(biāo)簽分類信息，本發(fā)明真正實(shí)現(xiàn)端到端的目標(biāo)檢測(cè)框架，保證了AR在目標(biāo)檢測(cè)過(guò)程識(shí)別的穩(wěn)定性。

(4)本發(fā)明的增強(qiáng)現(xiàn)實(shí)圖像處理系統(tǒng)，利用圖像采集裝置采集增強(qiáng)圖像并傳送至服務(wù)器，利用服務(wù)器對(duì)增強(qiáng)現(xiàn)實(shí)圖像進(jìn)行歸一化和去噪預(yù)處理，并利用預(yù)處理后的圖像訓(xùn)練用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)，最后再利用訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)處理增強(qiáng)現(xiàn)實(shí)圖像，分別得到待處理的增強(qiáng)現(xiàn)實(shí)圖像的目標(biāo)位置信息與標(biāo)簽分類信息，本發(fā)明真正實(shí)現(xiàn)端到端的目標(biāo)檢測(cè)框架，保證了AR在目標(biāo)檢測(cè)過(guò)程識(shí)別的穩(wěn)定性。

附圖說(shuō)明

構(gòu)成本申請(qǐng)的一部分的說(shuō)明書(shū)附圖用來(lái)提供對(duì)本申請(qǐng)的進(jìn)一步理解，本申請(qǐng)的示意性實(shí)施例及其說(shuō)明用于解釋本申請(qǐng)，并不構(gòu)成對(duì)本申請(qǐng)的不當(dāng)限定。

圖1是一種增強(qiáng)現(xiàn)實(shí)圖像處理方法流程圖；

圖2是實(shí)施例一的增強(qiáng)現(xiàn)實(shí)圖像處理方法流程圖；

圖3是實(shí)施例二的增強(qiáng)現(xiàn)實(shí)圖像處理方法流程圖；

圖4是實(shí)施例三的增強(qiáng)現(xiàn)實(shí)圖像處理方法流程圖。

具體實(shí)施方式

應(yīng)該指出，以下詳細(xì)說(shuō)明都是例示性的，旨在對(duì)本申請(qǐng)?zhí)峁┻M(jìn)一步的說(shuō)明。除非另有指明，本文使用的所有技術(shù)和科學(xué)術(shù)語(yǔ)具有與本申請(qǐng)所屬技術(shù)領(lǐng)域的普通技術(shù)人員通常理解的相同含義。

需要注意的是，這里所使用的術(shù)語(yǔ)僅是為了描述具體實(shí)施方式，而非意圖限制根據(jù)本申請(qǐng)的示例性實(shí)施方式。如在這里所使用的，除非上下文另外明確指出，否則單數(shù)形式也意圖包括復(fù)數(shù)形式，此外，還應(yīng)當(dāng)理解的是，當(dāng)在本說(shuō)明書(shū)中使用術(shù)語(yǔ)“包含”和/或“包括”時(shí)，其指明存在特征、步驟、操作、器件、組件和/或它們的組合。

圖1是本實(shí)施例的一種增強(qiáng)現(xiàn)實(shí)圖像處理方法流程圖。如圖1所示的增強(qiáng)現(xiàn)實(shí)圖像處理方法，包括：

S101：獲取若干連續(xù)幀的增強(qiáng)現(xiàn)實(shí)圖像樣本。

具體地，從增強(qiáng)現(xiàn)實(shí)圖像存儲(chǔ)器或是處理器中提取若干連續(xù)幀的增強(qiáng)現(xiàn)實(shí)圖像，作為樣本，進(jìn)一步形成神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本集。神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本集內(nèi)的樣本用來(lái)為訓(xùn)練后續(xù)的卷積神經(jīng)網(wǎng)絡(luò)提供數(shù)據(jù)基礎(chǔ)。

其中，增強(qiáng)現(xiàn)實(shí)圖像存儲(chǔ)器內(nèi)存儲(chǔ)有均為連續(xù)幀的增強(qiáng)現(xiàn)實(shí)圖像，增強(qiáng)現(xiàn)實(shí)圖像存儲(chǔ)器可為ROM、RAM或TF卡。

處理器，其用來(lái)處理圖像得到連續(xù)幀的增強(qiáng)現(xiàn)實(shí)圖像。處理器可以為Milbeaut Mobile和Milbeaut Security ISP系列圖像處理器芯片。

S102：對(duì)每個(gè)樣本分別進(jìn)行歸一化和去噪預(yù)處理。

通過(guò)對(duì)圖像的歸一化和去噪預(yù)處理，能加速后續(xù)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度。

具體地，由于提取到的增強(qiáng)現(xiàn)實(shí)圖像包含噪聲以及大小不統(tǒng)一，這樣影響了后續(xù)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度以及準(zhǔn)確性。因此，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)之前需要對(duì)每個(gè)樣本分別進(jìn)行歸一化和去噪預(yù)處理，得到大小統(tǒng)一且去除噪聲的樣本。

在具體實(shí)施過(guò)程中，圖像歸一化就是通過(guò)一系列變換(即利用圖像的不變矩尋找一組參數(shù)使其能夠消除其他變換函數(shù)對(duì)圖像變換的影響)，將待處理的原始圖像轉(zhuǎn)換成相應(yīng)的唯一標(biāo)準(zhǔn)形式(該標(biāo)準(zhǔn)形式圖像對(duì)平移、旋轉(zhuǎn)、縮放等仿射變換具有不變特性)。

在另一實(shí)施例中，基于矩的圖像歸一化技術(shù)基本工作原理為：首先利用圖像中對(duì)仿射變換具有不變性的矩來(lái)確定變換函數(shù)的參數(shù)，然后利用此參數(shù)確定的變換函數(shù)把原始圖像變換為一個(gè)標(biāo)準(zhǔn)形式的圖像(該圖像與仿射變換無(wú)關(guān))。一般說(shuō)來(lái)，基于矩的圖像歸一化過(guò)程包括4個(gè)步驟，即坐標(biāo)中心化、x-shearing歸一化、縮放歸一化和旋轉(zhuǎn)歸一化。

圖像歸一化使得圖像可以抵抗幾何變換的攻擊，它能夠找出圖像中的那些不變量，從而得知這些圖像原本就是一樣的或者一個(gè)系列的。

此外，噪聲是圖像干擾的重要原因。一幅圖像在實(shí)際應(yīng)用中可能存在各種各樣的噪聲，這些噪聲可能在傳輸中產(chǎn)生，也可能在量化等處理中產(chǎn)生。

常用的去除圖像噪聲的方法包括：均值濾波器、自適應(yīng)維納濾波器、中值濾波器、形態(tài)學(xué)噪聲濾除器和小波去噪。其中，小波去噪這種方法保留了大部分包含信號(hào)的小波系數(shù)，因此可以較好地保持圖像細(xì)節(jié)。小波分析進(jìn)行圖像去噪主要有3個(gè)步驟：

(1)對(duì)圖像信號(hào)進(jìn)行小波分解。

(2)對(duì)經(jīng)過(guò)層次分解后的高頻系數(shù)進(jìn)行閾值量化。

(3)利用二維小波重構(gòu)圖像信號(hào)。

S103：以標(biāo)簽形式標(biāo)注出每個(gè)預(yù)處理后圖像樣本中目標(biāo)的實(shí)際位置信息及標(biāo)簽類別。

具體地，樣本的目標(biāo)實(shí)際位置信息以及標(biāo)簽類別均是已知，可以采用手動(dòng)以標(biāo)簽形式將目標(biāo)的實(shí)際位置信息及標(biāo)簽類別分別標(biāo)注在相應(yīng)預(yù)處理后的圖像樣本中。這樣是為了訓(xùn)練用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)。

在訓(xùn)練用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)的過(guò)程中，若第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)的輸出與目標(biāo)的實(shí)際位置信息及標(biāo)簽類別有偏差，則未完成第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)，繼續(xù)訓(xùn)練，直至第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)的輸出與目標(biāo)的實(shí)際位置信息及標(biāo)簽類別一致。

因此，以標(biāo)簽形式標(biāo)注出每個(gè)預(yù)處理后圖像樣本中目標(biāo)的實(shí)際位置信息及標(biāo)簽類別的目的是為了驗(yàn)證第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)的輸出是否準(zhǔn)確，如果不準(zhǔn)確，繼續(xù)訓(xùn)練。

S104：利用標(biāo)簽化的樣本分別訓(xùn)練用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)。

具體地，標(biāo)簽化的樣本分別輸入至用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)，輸出的目標(biāo)位置信息與標(biāo)簽分類信息，直至第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)分別輸出的目標(biāo)位置信息與標(biāo)簽分類信息與目標(biāo)的實(shí)際位置信息與標(biāo)簽分類信息一致，得到訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)。

在一個(gè)實(shí)施例中，第一卷積神經(jīng)網(wǎng)絡(luò)為RPN卷積神經(jīng)網(wǎng)絡(luò)。

第二卷積神經(jīng)網(wǎng)絡(luò)為fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)。

特別說(shuō)明，第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)也可以采用其他卷積神經(jīng)來(lái)實(shí)現(xiàn)，該處僅是分別以RPN卷積神經(jīng)網(wǎng)絡(luò)和fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)為一個(gè)實(shí)施例來(lái)說(shuō)明。

其中，RPN卷積神經(jīng)網(wǎng)絡(luò)由八個(gè)卷積層和一個(gè)softmax層構(gòu)成；fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)由五個(gè)卷積層一個(gè)ROIpooling層、四個(gè)全連接層和一個(gè)softmax層構(gòu)成。

下面詳細(xì)介紹RPN卷積神經(jīng)網(wǎng)絡(luò)和fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程。

(1)對(duì)RPN網(wǎng)絡(luò)進(jìn)行初始化，使用隨機(jī)數(shù)初始化訓(xùn)練參數(shù)；

(2)對(duì)輸入樣本圖像每一點(diǎn)都賦予多個(gè)尺度和多個(gè)比例的基準(zhǔn)框，通過(guò)向初始化后的RPN卷積神經(jīng)網(wǎng)絡(luò)中輸入訓(xùn)練樣本的基準(zhǔn)框來(lái)訓(xùn)練CNN，使用反向傳播算法，調(diào)整網(wǎng)絡(luò)參數(shù)，使損失函數(shù)值最??；

(3)在訓(xùn)練樣本上用訓(xùn)練好的RPN，通過(guò)網(wǎng)絡(luò)計(jì)算，得到候選框；

(4)對(duì)fast-RCNN用與RPN一樣的初始化和訓(xùn)練方式，輸入訓(xùn)練樣本和候選框，結(jié)合樣本集的標(biāo)注和標(biāo)簽，進(jìn)行訓(xùn)練，得到fast-RCNN模型；

(5)在訓(xùn)練好的fast-RCNN網(wǎng)絡(luò)中，輸入候選框，通過(guò)網(wǎng)絡(luò)計(jì)算得到網(wǎng)絡(luò)輸出，與真實(shí)標(biāo)簽進(jìn)行對(duì)比，得到誤差。判斷誤差是否小于一個(gè)閾值，如果是，將訓(xùn)練好的模型進(jìn)行存儲(chǔ)；否則重新訓(xùn)練RPN神經(jīng)網(wǎng)絡(luò)以及重新訓(xùn)練fast-RCNN網(wǎng)絡(luò)；

(6)將訓(xùn)練好的模型進(jìn)行存儲(chǔ)。

S105：將待處理的增強(qiáng)現(xiàn)實(shí)圖像進(jìn)行歸一化和去噪預(yù)處理之后，再輸入至訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)中，分別得到待處理的增強(qiáng)現(xiàn)實(shí)圖像的目標(biāo)位置信息與標(biāo)簽分類信息。

在具體實(shí)施過(guò)程中，通過(guò)上述步驟已經(jīng)得到訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)。為了得到增強(qiáng)現(xiàn)實(shí)圖像中的目標(biāo)位置信息與標(biāo)簽分類信息，只需要將待處理的增強(qiáng)現(xiàn)實(shí)圖像進(jìn)行歸一化和去噪預(yù)處理，即可輸入至訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)得到處理結(jié)果。

本發(fā)明采用第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)結(jié)合分別用來(lái)提取圖像中的目標(biāo)的位置信息以及標(biāo)簽分類信息，提高了檢測(cè)精度和速度；其中，第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)可以采用RPN卷積神經(jīng)網(wǎng)絡(luò)和fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)，或其他卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)。

本發(fā)明采用RPN卷積神經(jīng)網(wǎng)絡(luò)作為第一卷積神經(jīng)網(wǎng)來(lái)定位圖像中的目標(biāo)，由于RPN卷積神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)的尺度和比例不敏感，這樣能夠有效提升非常規(guī)尺度和比例的目標(biāo)檢測(cè)，并且更加簡(jiǎn)單，通過(guò)共享卷積層參數(shù)，使計(jì)算量變小。

圖2是實(shí)施例一的增強(qiáng)現(xiàn)實(shí)圖像處理系統(tǒng)結(jié)構(gòu)示意圖。如圖2所示的增強(qiáng)現(xiàn)實(shí)圖像處理系統(tǒng)，包括：

(1)樣本集獲取模塊，其用于獲取若干連續(xù)幀的增強(qiáng)現(xiàn)實(shí)圖像樣。

具體地，從增強(qiáng)現(xiàn)實(shí)圖像存儲(chǔ)器或是處理器中提取若干連續(xù)幀的增強(qiáng)現(xiàn)實(shí)圖像，作為樣本，進(jìn)一步形成神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本集。神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本集內(nèi)的樣本用來(lái)為訓(xùn)練后續(xù)的卷積神經(jīng)網(wǎng)絡(luò)提供數(shù)據(jù)基礎(chǔ)。

其中，增強(qiáng)現(xiàn)實(shí)圖像存儲(chǔ)器內(nèi)存儲(chǔ)有均為連續(xù)幀的增強(qiáng)現(xiàn)實(shí)圖像，增強(qiáng)現(xiàn)實(shí)圖像存儲(chǔ)器可為ROM、RAM或TF卡。

處理器，其用來(lái)處理圖像得到連續(xù)幀的增強(qiáng)現(xiàn)實(shí)圖像。處理器可以為Milbeaut Mobile和Milbeaut Security ISP系列圖像處理器芯片。

(2)預(yù)處理模塊，其用于對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本集內(nèi)的每個(gè)樣本分別進(jìn)行歸一化和去噪預(yù)處理。

通過(guò)對(duì)圖像的歸一化和去噪預(yù)處理，能加速后續(xù)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度。

具體地，由于提取到的增強(qiáng)現(xiàn)實(shí)圖像包含噪聲以及大小不統(tǒng)一，這樣影響了后續(xù)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度以及準(zhǔn)確性。因此，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)之前需要對(duì)每個(gè)樣本分別進(jìn)行歸一化和去噪預(yù)處理，得到大小統(tǒng)一且去除噪聲的樣本。

在具體實(shí)施過(guò)程中，圖像歸一化就是通過(guò)一系列變換(即利用圖像的不變矩尋找一組參數(shù)使其能夠消除其他變換函數(shù)對(duì)圖像變換的影響)，將待處理的原始圖像轉(zhuǎn)換成相應(yīng)的唯一標(biāo)準(zhǔn)形式(該標(biāo)準(zhǔn)形式圖像對(duì)平移、旋轉(zhuǎn)、縮放等仿射變換具有不變特性)。

在另一實(shí)施例中，基于矩的圖像歸一化技術(shù)基本工作原理為：首先利用圖像中對(duì)仿射變換具有不變性的矩來(lái)確定變換函數(shù)的參數(shù)，然后利用此參數(shù)確定的變換函數(shù)把原始圖像變換為一個(gè)標(biāo)準(zhǔn)形式的圖像(該圖像與仿射變換無(wú)關(guān))。一般說(shuō)來(lái)，基于矩的圖像歸一化過(guò)程包括4個(gè)步驟，即坐標(biāo)中心化、x-shearing歸一化、縮放歸一化和旋轉(zhuǎn)歸一化。

圖像歸一化使得圖像可以抵抗幾何變換的攻擊，它能夠找出圖像中的那些不變量，從而得知這些圖像原本就是一樣的或者一個(gè)系列的。

此外，噪聲是圖像干擾的重要原因。一幅圖像在實(shí)際應(yīng)用中可能存在各種各樣的噪聲，這些噪聲可能在傳輸中產(chǎn)生，也可能在量化等處理中產(chǎn)生。

常用的去除圖像噪聲的方法包括：均值濾波器、自適應(yīng)維納濾波器、中值濾波器、形態(tài)學(xué)噪聲濾除器和小波去噪。其中，小波去噪這種方法保留了大部分包含信號(hào)的小波系數(shù)，因此可以較好地保持圖像細(xì)節(jié)。小波分析進(jìn)行圖像去噪主要有3個(gè)步驟：

對(duì)圖像信號(hào)進(jìn)行小波分解；

對(duì)經(jīng)過(guò)層次分解后的高頻系數(shù)進(jìn)行閾值量化；

利用二維小波重構(gòu)圖像信號(hào)；

(3)標(biāo)簽化模塊，其用于以標(biāo)簽形式標(biāo)注出每個(gè)預(yù)處理后圖像樣本中目標(biāo)的實(shí)際位置信息及標(biāo)簽類別。

具體地，樣本的目標(biāo)實(shí)際位置信息以及標(biāo)簽類別均是已知，可以采用手動(dòng)以標(biāo)簽形式將目標(biāo)的實(shí)際位置信息及標(biāo)簽類別分別標(biāo)注在相應(yīng)預(yù)處理后的圖像樣本中。這樣是為了訓(xùn)練用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)。

在訓(xùn)練用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)的過(guò)程中，若第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)的輸出與目標(biāo)的實(shí)際位置信息及標(biāo)簽類別有偏差，則未完成第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)，繼續(xù)訓(xùn)練，直至第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)的輸出與目標(biāo)的實(shí)際位置信息及標(biāo)簽類別一致。

因此，以標(biāo)簽形式標(biāo)注出每個(gè)預(yù)處理后圖像樣本中目標(biāo)的實(shí)際位置信息及標(biāo)簽類別的目的是為了驗(yàn)證第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)的輸出是否準(zhǔn)確，如果不準(zhǔn)確，繼續(xù)訓(xùn)練。

(4)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊，其用于利用標(biāo)簽化的樣本分別訓(xùn)練用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)。

在所述卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊中，標(biāo)簽化的樣本分別輸入至用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)，輸出的目標(biāo)位置信息與標(biāo)簽分類信息，直至第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)分別輸出的目標(biāo)位置信息與標(biāo)簽分類信息與目標(biāo)的實(shí)際位置信息與標(biāo)簽分類信息一致，得到訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)。

其中，第一卷積神經(jīng)網(wǎng)絡(luò)為RPN卷積神經(jīng)網(wǎng)絡(luò)。

第二卷積神經(jīng)網(wǎng)絡(luò)為fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)。

RPN卷積神經(jīng)網(wǎng)絡(luò)由八個(gè)卷積層和一個(gè)softmax層構(gòu)成；fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)由五個(gè)卷積層一個(gè)ROIpooling層、四個(gè)全連接層和一個(gè)softmax層構(gòu)成。

對(duì)第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過(guò)程：

對(duì)RPN網(wǎng)絡(luò)進(jìn)行初始化，使用隨機(jī)數(shù)初始化訓(xùn)練參數(shù)；

對(duì)輸入樣本圖像每一點(diǎn)都賦予多個(gè)尺度和多個(gè)比例的基準(zhǔn)框，通過(guò)向初始化后的RPN卷積神經(jīng)網(wǎng)絡(luò)中輸入訓(xùn)練樣本的基準(zhǔn)框來(lái)訓(xùn)練CNN，使用反向傳播算法，調(diào)整網(wǎng)絡(luò)參數(shù)，使損失函數(shù)值最?。?/p>

在訓(xùn)練樣本上用訓(xùn)練好的RPN，通過(guò)網(wǎng)絡(luò)計(jì)算，得到候選框；

對(duì)fast-RCNN用與RPN一樣的初始化和訓(xùn)練方式，輸入訓(xùn)練樣本和候選框，結(jié)合樣本集的標(biāo)注和標(biāo)簽，進(jìn)行訓(xùn)練，得到fast-RCNN模型；

在訓(xùn)練好的fast-RCNN網(wǎng)絡(luò)中，輸入候選框，通過(guò)網(wǎng)絡(luò)計(jì)算得到網(wǎng)絡(luò)輸出，與真實(shí)標(biāo)簽進(jìn)行對(duì)比，得到誤差。判斷誤差是否小于一個(gè)閾值，如果是，將訓(xùn)練好的模型進(jìn)行存儲(chǔ)；否則重新訓(xùn)練RPN神經(jīng)網(wǎng)絡(luò)以及重新訓(xùn)練fast-RCNN網(wǎng)絡(luò)；

將訓(xùn)練好的模型進(jìn)行存儲(chǔ)。

(5)圖像目標(biāo)信息獲取模塊，其用于將待處理的增強(qiáng)現(xiàn)實(shí)圖像進(jìn)行歸一化和去噪預(yù)處理之后，再輸入至訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)中，分別得到待處理的增強(qiáng)現(xiàn)實(shí)圖像的目標(biāo)位置信息與標(biāo)簽分類信息。

在具體實(shí)施過(guò)程中，通過(guò)上述步驟已經(jīng)得到訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)。為了得到增強(qiáng)現(xiàn)實(shí)圖像中的目標(biāo)位置信息與標(biāo)簽分類信息，只需要將待處理的增強(qiáng)現(xiàn)實(shí)圖像進(jìn)行歸一化和去噪預(yù)處理，即可輸入至訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)得到處理結(jié)果。

本發(fā)明采用第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)結(jié)合分別用來(lái)提取圖像中的目標(biāo)的位置信息以及標(biāo)簽分類信息，提高了檢測(cè)精度和速度；其中，第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)可以采用RPN卷積神經(jīng)網(wǎng)絡(luò)和fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)，或其他卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)。

本發(fā)明采用RPN卷積神經(jīng)網(wǎng)絡(luò)作為第一卷積神經(jīng)網(wǎng)來(lái)定位圖像中的目標(biāo)，由于RPN卷積神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)的尺度和比例不敏感，這樣能夠有效提升非常規(guī)尺度和比例的目標(biāo)檢測(cè)，并且更加簡(jiǎn)單，通過(guò)共享卷積層參數(shù)，使計(jì)算量變小，且提高了目標(biāo)檢測(cè)的準(zhǔn)確性和穩(wěn)定性。

圖3是實(shí)施例二的增強(qiáng)現(xiàn)實(shí)圖像處理系統(tǒng)結(jié)構(gòu)示意圖。如圖3所示的增強(qiáng)現(xiàn)實(shí)圖像處理系統(tǒng)，包括：圖像采集裝置、處理器和服務(wù)器。

其中，圖像采集裝置，其被配置為：

采集若干連續(xù)幀的增強(qiáng)現(xiàn)實(shí)圖像以及待處理的增強(qiáng)圖像并傳送至處理器；

所述處理器，其被配置為：

對(duì)獲取的若干連續(xù)幀的增強(qiáng)現(xiàn)實(shí)圖像樣本分別進(jìn)行歸一化和去噪預(yù)處理，并將預(yù)處理后的圖像樣本傳送至服務(wù)器；

所述處理器還被配置為：將待處理的增強(qiáng)圖像進(jìn)行歸一化和去噪預(yù)處理并傳送至服務(wù)器；

所述服務(wù)器，其被配置為：

以標(biāo)簽形式標(biāo)注出每個(gè)預(yù)處理后圖像樣本中目標(biāo)的實(shí)際位置信息及標(biāo)簽類別；

利用標(biāo)簽化的樣本分別訓(xùn)練用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)，得到訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)；

以及將預(yù)處理后的待處理的增強(qiáng)圖像輸入至訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)中，分別得到待處理的增強(qiáng)現(xiàn)實(shí)圖像的目標(biāo)位置信息與標(biāo)簽分類信息。

特別說(shuō)明，一個(gè)服務(wù)器可以與多個(gè)處理器相互通信，每個(gè)處理器也可以與多個(gè)圖像采集裝置相連。

在具體實(shí)施過(guò)程中，服務(wù)器還被配置為：標(biāo)簽化的樣本分別輸入至用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)，輸出的目標(biāo)位置信息與標(biāo)簽分類信息，直至第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)分別輸出的目標(biāo)位置信息與標(biāo)簽分類信息與目標(biāo)的實(shí)際位置信息與標(biāo)簽分類信息一致，得到訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)。

在具體實(shí)施過(guò)程中，該系統(tǒng)還包括顯示裝置，其用于顯示待處理的增強(qiáng)現(xiàn)實(shí)圖像的目標(biāo)位置信息與標(biāo)簽分類信息。

具體地，服務(wù)器可以為云服務(wù)器或是本地服務(wù)器。

本發(fā)明的增強(qiáng)現(xiàn)實(shí)圖像處理系統(tǒng)可以為可穿戴系統(tǒng)或是非可穿戴系統(tǒng)。

本發(fā)明的增強(qiáng)現(xiàn)實(shí)圖像處理系統(tǒng)，利用圖像采集裝置采集增強(qiáng)圖像并傳送至處理器，利用處理器對(duì)增強(qiáng)現(xiàn)實(shí)圖像進(jìn)行歸一化和去噪預(yù)處理，并將預(yù)處理后的圖像傳送至服務(wù)器，在服務(wù)器內(nèi)首先訓(xùn)練用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)，最后再利用訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)處理增強(qiáng)現(xiàn)實(shí)圖像，分別得到待處理的增強(qiáng)現(xiàn)實(shí)圖像的目標(biāo)位置信息與標(biāo)簽分類信息，本發(fā)明真正實(shí)現(xiàn)端到端的目標(biāo)檢測(cè)框架，保證了AR在目標(biāo)檢測(cè)過(guò)程識(shí)別的穩(wěn)定性。

圖4是實(shí)施例三的增強(qiáng)現(xiàn)實(shí)圖像處理系統(tǒng)結(jié)構(gòu)示意圖。如圖4所示的增強(qiáng)現(xiàn)實(shí)圖像處理系統(tǒng)，包括：圖像采集裝置和服務(wù)器。

其中，圖像采集裝置，其被配置為：

采集若干連續(xù)幀的增強(qiáng)現(xiàn)實(shí)圖像以及待處理的增強(qiáng)圖像并傳送至服務(wù)器。

所述服務(wù)器，其被配置為：

對(duì)獲取的若干連續(xù)幀的增強(qiáng)現(xiàn)實(shí)圖像樣本分別進(jìn)行歸一化和去噪預(yù)處理；

以標(biāo)簽形式標(biāo)注出每個(gè)預(yù)處理后圖像樣本中目標(biāo)的實(shí)際位置信息及標(biāo)簽類別；

利用標(biāo)簽化的樣本分別訓(xùn)練用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)，得到訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)；

以及將待處理的增強(qiáng)圖像進(jìn)行歸一化和去噪預(yù)處理，之后再輸入至訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)中，分別得到待處理的增強(qiáng)現(xiàn)實(shí)圖像的目標(biāo)位置信息與標(biāo)簽分類信息。

進(jìn)一步的，所述服務(wù)器還被配置為：

標(biāo)簽化的樣本分別輸入至用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)，輸出的目標(biāo)位置信息與標(biāo)簽分類信息，直至第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)分別輸出的目標(biāo)位置信息與標(biāo)簽分類信息與目標(biāo)的實(shí)際位置信息與標(biāo)簽分類信息一致，得到訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)。

進(jìn)一步的，該系統(tǒng)還包括顯示裝置，其用于顯示待處理的增強(qiáng)現(xiàn)實(shí)圖像的目標(biāo)位置信息與標(biāo)簽分類信息。

本發(fā)明的增強(qiáng)現(xiàn)實(shí)圖像處理系統(tǒng)，利用圖像采集裝置采集增強(qiáng)圖像并傳送至服務(wù)器，利用服務(wù)器對(duì)增強(qiáng)現(xiàn)實(shí)圖像進(jìn)行歸一化和去噪預(yù)處理，并利用預(yù)處理后的圖像訓(xùn)練用于目標(biāo)定位的第一卷積神經(jīng)網(wǎng)絡(luò)和目標(biāo)標(biāo)簽分類的第二卷積神經(jīng)網(wǎng)絡(luò)，最后再利用訓(xùn)練完成的第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)處理增強(qiáng)現(xiàn)實(shí)圖像，分別得到待處理的增強(qiáng)現(xiàn)實(shí)圖像的目標(biāo)位置信息與標(biāo)簽分類信息，本發(fā)明真正實(shí)現(xiàn)端到端的目標(biāo)檢測(cè)框架，保證了AR在目標(biāo)檢測(cè)過(guò)程識(shí)別的穩(wěn)定性。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用硬件實(shí)施例、軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤(pán)存儲(chǔ)器和光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，是可以通過(guò)計(jì)算機(jī)程序來(lái)指令相關(guān)的硬件來(lái)完成，所述的程序可存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，可包括如上述各方法的實(shí)施例的流程。其中，所述的存儲(chǔ)介質(zhì)可為磁碟、光盤(pán)、只讀存儲(chǔ)記憶體(Read-Only Memory，ROM)或隨機(jī)存儲(chǔ)記憶體(Random AccessMemory，RAM)等。

上述雖然結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式進(jìn)行了描述，但并非對(duì)本發(fā)明保護(hù)范圍的限制，所屬領(lǐng)域技術(shù)人員應(yīng)該明白，在本發(fā)明的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動(dòng)即可做出的各種修改或變形仍在本發(fā)明的保護(hù)范圍以內(nèi)。