本申請涉及智能交通技術(shù)領(lǐng)域，特別是涉及一種基于深度學習的車牌定位方法及裝置。

背景技術(shù)：

隨著數(shù)字圖像處理、模式識別和人工智能技術(shù)的日趨成熟，車牌識別技術(shù)也在不斷改進。其中，車牌識別是實現(xiàn)智能交通系統(tǒng)的基礎(chǔ)。通常，車牌識別過程包括車牌定位、字符分割、字符識別三個環(huán)節(jié)，而車牌定位是車牌識別中十分重要的環(huán)節(jié)。

現(xiàn)今不乏高準確率的車牌定位技術(shù)，但其多是基于交通卡口的監(jiān)控圖像進行的定位。在現(xiàn)有的定位方法中，可以基于邊緣檢測，利用車牌區(qū)域的邊界像素值與非車牌區(qū)域的像素值差異很大的特點，從待定位圖像中將車牌區(qū)域定位出來。

通常，基于交通卡口場景拍攝出的圖像有著傾斜角度小、清晰度高、車牌區(qū)域位置固定和場景單一等特性，這些特性有助于保證現(xiàn)有的定位方法的準確率。而在類似于使用球形攝像機拍攝的非交通卡口監(jiān)控場景中，車牌區(qū)域的位置、角度、大小、清晰度各異且背景雜亂。一方面，車牌區(qū)域邊界的像素值與非車牌區(qū)域的像素值可能模糊不清，無法區(qū)分；另一方面，雜亂的背景中可能存在類似于車牌區(qū)域邊界的像素點區(qū)域，可能造成誤識別，例如交通指示牌可能會被定位成車牌區(qū)域。因此，以往基于交通卡口的車牌定位技術(shù)很難在上述復雜場景下的圖像上達到滿意的準確率，車牌定位的準確率不高。

技術(shù)實現(xiàn)要素：

本申請實施例的目的在于提供了一種基于深度學習的車牌定位方法及裝置，以在復雜場景下提高車牌定位的準確率。具體的技術(shù)方案如下。

為了達到上述目的，本申請實施例公開了一種基于深度學習的車牌定位方法，所述方法包括：

獲得包含車牌的待定位圖像；

將所述待定位圖像輸入特征提取網(wǎng)絡(luò)，獲得所述特征提取網(wǎng)絡(luò)提取的特征圖，將所述特征圖輸入選框網(wǎng)絡(luò)，獲得所述選框網(wǎng)絡(luò)確定的所述待定位圖像中車牌的候選區(qū)域；其中，所述特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)預先通過樣本車牌圖像訓練而成；

對所述候選區(qū)域進行擴展，獲得對應(yīng)的擴展區(qū)域；

將所述擴展區(qū)域輸入分類網(wǎng)絡(luò)，獲得所述分類網(wǎng)絡(luò)確定的分類結(jié)果；其中，所述分類網(wǎng)絡(luò)用于根據(jù)所述分類網(wǎng)絡(luò)訓練完成時獲得的車牌區(qū)域周圍的車輛紋理特征，確定所輸入的擴展區(qū)域是否包含車牌區(qū)域的分類結(jié)果；

當所述分類結(jié)果表示所述擴展區(qū)域包含車牌區(qū)域時，從所述擴展區(qū)域中確定所述待定位圖像的車牌區(qū)域。

可選的，各個樣本車牌圖像中車牌區(qū)域的位置不同；和/或，各個樣本車牌圖像中車牌區(qū)域的尺寸不同；和/或，各個樣本車牌圖像的清晰度不同；和/或，各個樣本車牌圖像的拍攝角度不同；和/或，各個樣本車牌圖像中車牌區(qū)域之外的背景不同。

可選的，所述對所述候選區(qū)域進行擴展，獲得對應(yīng)的擴展區(qū)域的步驟，包括：

判斷預定位置是否超出所述待定位圖像在預設(shè)方向上的邊緣位置；其中，所述預定位置為：對所述候選區(qū)域的位置在預設(shè)方向上擴展預設(shè)距離之后的位置；預設(shè)方向為上方向、下方向、左方向、右方向中的一個；

如果是，則將所述待定位圖像在預設(shè)方向上的邊緣位置確定為擴展區(qū)域在預設(shè)方向上的位置；

如果否，則將所述預定位置確定為擴展區(qū)域在預設(shè)方向上的位置。

可選的，所述選框網(wǎng)絡(luò)包括全連接層、第一回歸層、第二回歸層、打分層和確定層；

所述將所述特征圖輸入選框網(wǎng)絡(luò)，獲得所述選框網(wǎng)絡(luò)確定的所述待定位圖像中車牌的候選區(qū)域的步驟，包括：

將所述特征圖輸入所述全連接層，所述全連接層按照預設(shè)的第一卷積窗口值對所述特征圖進行卷積，獲得全連接特征圖，并將所述全連接特征圖輸入所述第一回歸層；

第一回歸層按照預設(shè)的第二卷積窗口值對所述全連接特征圖進行卷積，獲得第一特征圖，并將所述第一特征圖分別輸入所述第二回歸層和打分層，其中，所述第一特征圖包含各個像素點對應(yīng)的特征值；

所述打分層根據(jù)所述打分層訓練完成時獲得的參數(shù)，確定所述第一特征圖中各個特征值對應(yīng)的像素點是否屬于車牌區(qū)域中的像素點及對應(yīng)的分值，并將屬于車牌區(qū)域中像素點且分值最高的預設(shè)數(shù)量個像素點確定為目標像素點，將所述目標像素點輸入所述確定層；

所述第二回歸層按照預設(shè)的第二卷積窗口值對所述第一特征圖進行卷積，獲得第二特征圖，并將所述第二特征圖輸入所述確定層，其中，所述第二特征圖包含各個像素點對應(yīng)的選框區(qū)域；

獲得所述確定層確定的所述待定位圖像中車牌的候選區(qū)域；其中，所述待定位圖像中車牌的候選區(qū)域為：所述第二特征圖中目標像素點對應(yīng)的選框區(qū)域。

可選的，所述特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)是采用以下方式訓練得到的：

獲得樣本車牌圖像，所述樣本車牌圖像包含正樣本車牌圖像，所述正樣本車牌圖像包含真實車牌區(qū)域；

根據(jù)特征提取參數(shù)提取所述樣本車牌圖像的樣本特征，獲得樣本特征圖；

根據(jù)選框參數(shù)和所述樣本特征圖，確定所述樣本車牌圖像中車牌的樣本候選區(qū)域；

確定所述樣本候選區(qū)域與對應(yīng)的真實車牌區(qū)域之間的差異，判斷所述差異是否小于預設(shè)閾值；

如果否，則根據(jù)所述差異調(diào)整所述特征提取參數(shù)和選框參數(shù)，返回執(zhí)行所述根據(jù)特征提取參數(shù)提取所述樣本車牌圖像的樣本特征的步驟。

為了達到上述目的，本申請公開了一種基于深度學習的車牌定位裝置，所述裝置包括：

獲得模塊，用于獲得包含車牌的待定位圖像；

候選模塊，用于將所述待定位圖像輸入特征提取網(wǎng)絡(luò)，獲得所述特征提取網(wǎng)絡(luò)提取的特征圖，將所述特征圖輸入選框網(wǎng)絡(luò)，獲得所述選框網(wǎng)絡(luò)確定的所述待定位圖像中車牌的候選區(qū)域；其中，所述特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)預先通過樣本車牌圖像訓練而成；

擴展模塊，用于對所述候選區(qū)域進行擴展，獲得對應(yīng)的擴展區(qū)域；

分類模塊，用于將所述擴展區(qū)域輸入分類網(wǎng)絡(luò)，獲得所述分類網(wǎng)絡(luò)確定的分類結(jié)果；其中，所述分類網(wǎng)絡(luò)用于根據(jù)所述分類網(wǎng)絡(luò)訓練完成時獲得的車牌區(qū)域周圍的車輛紋理特征，確定所輸入的擴展區(qū)域是否包含車牌區(qū)域的分類結(jié)果；

確定模塊，用于當所述分類結(jié)果表示所述擴展區(qū)域包含車牌區(qū)域時，從所述擴展區(qū)域中確定所述待定位圖像的車牌區(qū)域。

可選的，所述擴展模塊，包括：

判斷子模塊，用于判斷預定位置是否超出所述待定位圖像在預設(shè)方向上的邊緣位置；其中，所述預定位置為：對所述候選區(qū)域的位置在預設(shè)方向上擴展預設(shè)距離之后的位置；預設(shè)方向為上方向、下方向、左方向、右方向中的一個；

第一確定子模塊，用于當所述預定位置超出所述待定位圖像在預設(shè)方向上的邊緣位置時，將所述待定位圖像在預設(shè)方向上的邊緣位置確定為擴展區(qū)域在預設(shè)方向上的位置；

第二確定子模塊，用于當所述預定位置未超出所述待定位圖像在預設(shè)方向上的邊緣位置時，將所述預定位置確定為擴展區(qū)域在預設(shè)方向上的位置。

可選的，所述裝置還包括訓練模塊，用于獲得所述特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)；

其中，所述訓練模塊，包括：

獲得子模塊，用于獲得樣本車牌圖像，所述樣本車牌圖像包含正樣本車牌圖像，所述正樣本車牌圖像包含真實車牌區(qū)域；

提取子模塊，用于根據(jù)特征提取參數(shù)提取所述樣本車牌圖像的樣本特征，獲得樣本特征圖；

候選子模塊，用于根據(jù)選框參數(shù)和所述樣本特征圖，確定所述樣本車牌圖像中車牌的樣本候選區(qū)域；

差異子模塊，用于確定所述樣本候選區(qū)域與對應(yīng)的真實車牌區(qū)域之間的差異，判斷所述差異是否小于預設(shè)閾值；

調(diào)整子模塊，用于當所述差異不小于預設(shè)閾值時，根據(jù)所述差異調(diào)整所述特征提取參數(shù)和選框參數(shù)，返回執(zhí)行所述提取子模塊。

為了達到上述目的，本申請實施例公開了一種電子設(shè)備，包括處理器、通信接口、存儲器和通信總線，其中，處理器、通信接口、存儲器通過通信總線完成相互間的通信；

存儲器，用于存放計算機程序；

處理器，用于在執(zhí)行存儲器上所存放的程序時，實現(xiàn)本申請實施例提供的基于深度學習的車牌定位方法。該方法具體包括：

獲得包含車牌的待定位圖像；

將所述待定位圖像輸入特征提取網(wǎng)絡(luò)，獲得所述特征提取網(wǎng)絡(luò)提取的特征圖，將所述特征圖輸入選框網(wǎng)絡(luò)，獲得所述選框網(wǎng)絡(luò)確定的所述待定位圖像中車牌的候選區(qū)域；其中，所述特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)預先通過樣本車牌圖像訓練而成；

對所述候選區(qū)域進行擴展，獲得對應(yīng)的擴展區(qū)域；

將所述擴展區(qū)域輸入分類網(wǎng)絡(luò)，獲得所述分類網(wǎng)絡(luò)確定的分類結(jié)果；其中，所述分類網(wǎng)絡(luò)用于根據(jù)所述分類網(wǎng)絡(luò)訓練完成時獲得的車牌區(qū)域周圍的車輛紋理特征，確定所輸入的擴展區(qū)域是否包含車牌區(qū)域的分類結(jié)果；

當所述分類結(jié)果表示所述擴展區(qū)域包含車牌區(qū)域時，從所述擴展區(qū)域中確定所述待定位圖像的車牌區(qū)域。

為了達到上述目的，本申請實施例公開了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)內(nèi)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)本申請實施例提供的基于深度學習的車牌定位方法。該方法具體包括：

獲得包含車牌的待定位圖像；

將所述待定位圖像輸入特征提取網(wǎng)絡(luò)，獲得所述特征提取網(wǎng)絡(luò)提取的特征圖，將所述特征圖輸入選框網(wǎng)絡(luò)，獲得所述選框網(wǎng)絡(luò)確定的所述待定位圖像中車牌的候選區(qū)域；其中，所述特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)預先通過樣本車牌圖像訓練而成；

對所述候選區(qū)域進行擴展，獲得對應(yīng)的擴展區(qū)域；

將所述擴展區(qū)域輸入分類網(wǎng)絡(luò)，獲得所述分類網(wǎng)絡(luò)確定的分類結(jié)果；其中，所述分類網(wǎng)絡(luò)用于根據(jù)所述分類網(wǎng)絡(luò)訓練完成時獲得的車牌區(qū)域周圍的車輛紋理特征，確定所輸入的擴展區(qū)域是否包含車牌區(qū)域的分類結(jié)果；

當所述分類結(jié)果表示所述擴展區(qū)域包含車牌區(qū)域時，從所述擴展區(qū)域中確定所述待定位圖像的車牌區(qū)域。

本申請實施例提供的基于深度學習的車牌定位方法及裝置，可以獲得包含車牌的待定位圖像，將待定位圖像輸入特征提取網(wǎng)絡(luò)，獲得特征提取網(wǎng)絡(luò)提取的特征圖，將特征圖輸入選框網(wǎng)絡(luò)，獲得選框網(wǎng)絡(luò)確定的待定位圖像中車牌的候選區(qū)域；對候選區(qū)域進行擴展，獲得對應(yīng)的擴展區(qū)域；將擴展區(qū)域輸入分類網(wǎng)絡(luò)，獲得分類網(wǎng)絡(luò)確定的分類結(jié)果；當分類結(jié)果表示該擴展區(qū)域包含車牌區(qū)域時，從該擴展區(qū)域中確定待定位圖像的車牌區(qū)域。其中，特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)預先通過樣本車牌圖像訓練而成；分類網(wǎng)絡(luò)用于根據(jù)該分類網(wǎng)絡(luò)訓練完成時獲得的車牌區(qū)域周圍的車輛紋理特征，確定所輸入的擴展區(qū)域是否包含車牌區(qū)域的分類結(jié)果。

也就是說，本申請實施例可以采用通過樣本車牌圖像預先訓練好的特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)，獲得待定位圖像中車牌的候選區(qū)域，將候選區(qū)域進行擴展，獲得擴展區(qū)域，根據(jù)“車牌區(qū)域+車輛紋理特征”的特點，進一步確定擴展區(qū)域是否包含車牌區(qū)域。而特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)均屬于深度學習網(wǎng)絡(luò)，采用深度學習網(wǎng)絡(luò)可以更準確地確定待定位圖像中的車牌的候選區(qū)域，根據(jù)車牌區(qū)域周圍的車輛紋理特征對候選區(qū)域做進一步的篩選，可以去除復雜場景下圖像中類似于車牌區(qū)域的干擾區(qū)域，更準確地確定車牌區(qū)域。因此，采用本申請實施例提供的定位方案，能夠針對復雜場景提高車牌定位的準確性。

附圖說明

為了更清楚地說明本申請實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單的介紹。顯而易見地，下面描述中的附圖僅僅是本申請的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本申請實施例提供的基于深度學習的車牌定位方法的一流程示意圖；

圖1a和圖1b為包含車牌的兩個復雜場景示意圖；

圖2為本申請?zhí)峁┑倪x框網(wǎng)絡(luò)的一結(jié)構(gòu)示意圖；

圖3為本申請實施例提供的特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)訓練過程的一流程示意圖；

圖4為圖1中步驟s103的一流程示意圖；

圖5為本申請實施例提供的基于深度學習的車牌定位裝置的一結(jié)構(gòu)示意圖；

圖6為本申請實施例提供的電子設(shè)備的一結(jié)構(gòu)示意圖。

具體實施方式

下面將結(jié)合本申請實施例中的附圖，對本申請實施例中的技術(shù)方案進行清楚、完整的描述。顯然，所描述的實施例僅僅是本申請的一部分實施例，而不是全部的實施例?；诒旧暾堉械膶嵤├?，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都屬于本申請保護的范圍。

本申請實施例提供了一種基于深度學習的車牌定位方法及裝置，應(yīng)用于電子設(shè)備。該電子設(shè)備可以為普通計算機、服務(wù)器、智能手機、平板電腦、行車記錄儀、監(jiān)控攝像機等設(shè)備。本申請實施例能夠針對復雜場景提高車牌定位的準確性。下面通過具體實施例，對本申請進行詳細說明。

圖1為本申請實施例提供的基于深度學習的車牌定位方法的一種流程示意圖。該方法應(yīng)用于電子設(shè)備，具體包括如下步驟s101～步驟s105：

步驟s101：獲得包含車牌的待定位圖像。

其中，作為執(zhí)行主體的電子設(shè)備內(nèi)部可以包含圖像采集設(shè)備，也可以不包含圖像采集設(shè)備。

具體的，當作為執(zhí)行主體的電子設(shè)備內(nèi)部包含圖像采集設(shè)備時，電子設(shè)備在獲得包含車牌的待定位圖像時，可以直接接收圖像采集設(shè)備采集的包含車牌的待定位圖像。

當作為執(zhí)行主體的電子設(shè)備內(nèi)部不包含圖像采集設(shè)備時，該電子設(shè)備可以與外部的圖像采集設(shè)備相連，電子設(shè)備在獲得包含車牌的待定位圖像時，可以獲取圖像采集設(shè)備采集的包含車牌的待定位圖像。

獲取的包含車牌的待定位圖像可以是圖像采集設(shè)備實時采集的，也可以不是實時采集的，而是圖像采集設(shè)備預先采集好之后存儲起來的。

上述待定位圖像可以理解為：要進行車牌定位的圖像?？梢岳斫獾氖牵嚺仆ǔＪ前惭b或放置于車輛上的，因此上述待定位圖像可以理解為：包含車輛的要進行車牌定位的圖像?；诖?，上述待定位圖像可以是交通卡口抓拍的包含車輛的圖像，也可以是在停車場、街道等非交通卡口拍攝的包含車輛的圖像等。其中，非交通卡口拍攝的包含車輛的圖像一般具有復雜場景，這種圖像中車牌區(qū)域出現(xiàn)的位置不固定，車牌區(qū)域的大小多種多樣，圖像的拍攝角度也不固定，圖像的背景雜亂，圖像清晰度也參差不齊。當然，上述待定位圖像還可以通過其他方式獲得，本申請對待定位圖像的獲得方式不做具體限定。

步驟s102：將待定位圖像輸入特征提取網(wǎng)絡(luò)，獲得特征提取網(wǎng)絡(luò)提取的特征圖，將特征圖輸入選框網(wǎng)絡(luò)，獲得選框網(wǎng)絡(luò)確定的待定位圖像中車牌的候選區(qū)域。

其中，上述特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)預先通過樣本車牌圖像訓練而成。上述特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)可以理解為深度學習網(wǎng)絡(luò)中的部分。

上述特征圖可以理解為由與待定位圖像中像素點對應(yīng)的特征值按照像素點的排列規(guī)則組成的數(shù)據(jù)組。確定待定位圖像中車牌的候選區(qū)域，可以理解為確定待定位圖像中車牌的候選區(qū)域頂點的坐標，或者理解為確定待定位圖像中車牌的候選區(qū)域中心點的坐標以及區(qū)域的高度和寬度。

具體的，特征提取網(wǎng)絡(luò)可以采用對現(xiàn)有的殘差網(wǎng)絡(luò)(resnet)或vgg網(wǎng)絡(luò)進行訓練得到。相比較來說，resnet網(wǎng)絡(luò)比較精準但是內(nèi)存占用比較大，vgg網(wǎng)絡(luò)計算開銷比較小但是精準度稍低。

下面以訓練好的vgg16分類網(wǎng)絡(luò)為例，說明本實施例中特征提取網(wǎng)絡(luò)提取特征值時的原理。vgg16分類網(wǎng)絡(luò)包含5層卷積層，每層含有多個(2～4個)子卷積層，過濾器(filter)的大小為3像素*3像素。在各個卷積層中根據(jù)以下公式進行卷積最終得到上述特征圖中的各個特征值：

二維離散化卷積公式：

激活函數(shù)：f(x)＝max(0,x)

其中，g(x，y)是卷積核，f(x，y)為待定位圖像中的像素值數(shù)據(jù)；n1和n2為待定位圖像中的具體像素點的坐標，如果超出待定位圖像則將其值置為0；x和y泛指待定位圖像中像素點的坐標。上述卷積公式表示g(x,y)在f(x,y)的卷積等于f(x,y)的每一個像素點與g(x,y)中的每一個核的參數(shù)相乘再對對應(yīng)坐標相加的結(jié)果。x為采用上述卷積公式對待定位圖像進行卷積之后獲得的初始特征值，f(x)為從待定位圖像中最終得到的特征圖中的特征值。

上述選框網(wǎng)絡(luò)為一種具有物理意義的網(wǎng)絡(luò)，其物理意義是確定待定位圖像中車牌的候選區(qū)域(即可能的車牌區(qū)域)。選框網(wǎng)絡(luò)可以選用對現(xiàn)有的區(qū)域提取網(wǎng)絡(luò)(regionproposalnetworks，rpn)訓練得到。

在訓練網(wǎng)絡(luò)時，樣本車牌圖像的選擇至關(guān)重要。當樣本車牌圖像具有以下不同特點時，訓練得到的選框網(wǎng)絡(luò)能夠針對不同類型的待定位圖像準確地確定車牌的候選區(qū)域：

一類是，各個樣本車牌圖像中車牌區(qū)域的位置不同。車牌區(qū)域可以分布在樣本車牌圖像的任意位置。在實際應(yīng)用中，一個樣本車牌圖像中可以包含多個不同位置的車牌區(qū)域，不同樣本車牌圖像之間的車牌區(qū)域可以不同。這樣，不管待定位圖像中的車牌區(qū)域位于哪個位置，選框網(wǎng)絡(luò)都能確定車牌的候選區(qū)域。

二類是，各個樣本車牌圖像中車牌區(qū)域的尺寸不同。該尺寸不同包括車牌區(qū)域的長度不同、寬度不同或長寬均不同等多種情況。車牌區(qū)域的尺寸不同可以是由于車輛距離圖像采集設(shè)備的距離不同而造成的，也可以是車牌本身的尺寸不同造成的。這樣，不管待定位圖像中的車牌區(qū)域的尺寸如何，選框網(wǎng)絡(luò)都能確定出車牌的候選區(qū)域。

在實際應(yīng)用中，為了使樣本車牌圖像中的車牌區(qū)域滿足多尺度的特點，提高網(wǎng)絡(luò)對不同尺寸的車牌區(qū)域的魯棒性，可以按照不同的縮放尺寸對每個樣本車牌圖像進行等比例縮放，得到不同尺寸的樣本車牌圖像，這樣可以更大程度地滿足樣本車牌圖像的多尺度特點。

例如，將各個樣本車牌圖像的長度和寬度中的較小值，分別按照600像素、800像素、1000像素、1200像素進行等比例縮放，獲得不同尺寸的樣本車牌圖像。

三類是，各個樣本車牌圖像的清晰度不同，即各個樣本車牌圖像中車牌區(qū)域的清晰度也不同。由于實際中監(jiān)控攝像機的清晰度各有不同，因此，采用這樣的樣本車牌圖像進行訓練，得到的選框網(wǎng)絡(luò)能從不同清晰度的待定位圖像中確定車牌的候選區(qū)域。

四類是，各個樣本車牌圖像的拍攝角度不同。采用這樣的樣本車牌圖像進行訓練，得到的選框網(wǎng)絡(luò)能從不同拍攝角度的待定位圖像中確定車牌的候選區(qū)域。

五類是，各個樣本車牌圖像中車牌區(qū)域之外的背景不同。車牌區(qū)域之外的背景可以是街道、公園、停車場、寫字樓等等。采用這樣的樣本車牌圖像進行訓練，得到的選框網(wǎng)絡(luò)能從具有不同背景的待定位圖像中確定車牌的候選區(qū)域。

在實際應(yīng)用中，選擇的樣本車牌圖像可以具有上述五類特點中的部分特點。當然，為了更大程度地提高所訓練的網(wǎng)絡(luò)的魯棒性，可以選擇同時具有上述五類特點的樣本車牌圖像進行訓練。

作為一個例子，圖1a和圖1b為包含車牌的兩個復雜場景圖像，可以看出，其中圖1a和圖1b中包含多個車牌區(qū)域，并且各個車牌區(qū)域的位置不同，車牌區(qū)域的尺寸也不同，兩個圖像的拍攝角度不同，拍攝角度不同也導致圖像中車牌區(qū)域的寬高比例也不同(即尺寸不同)，并且兩個圖像車牌區(qū)域之外的背景不同并且很復雜，存在很多干擾因素。

步驟s103：對上述候選區(qū)域進行擴展，獲得對應(yīng)的擴展區(qū)域。

其中，對上述候選區(qū)域進行擴展可以理解為在待定位圖像中對上述候選區(qū)域進行擴展。

具體的，對上述候選區(qū)域進行擴展時，可以按照預設(shè)的擴展規(guī)則在待定位圖像中對上述候選區(qū)域進行擴展，獲得對應(yīng)的擴展區(qū)域。預設(shè)的擴展規(guī)則可以包括向上、向下、向左、向右分別擴展預設(shè)距離。

具體的，步驟s103，對候選區(qū)域進行擴展，獲得對應(yīng)的擴展區(qū)域的步驟，可以包括以下步驟：

步驟1：判斷預定位置是否超出待定位圖像在預設(shè)方向上的邊緣位置，如果是，則執(zhí)行步驟2，如果否，則執(zhí)行步驟3。

其中，上述預定位置為：對候選區(qū)域的位置在預設(shè)方向上擴展預設(shè)距離之后的位置。預設(shè)方向為上方向、下方向、左方向、右方向中的一個。預設(shè)距離可以為候選區(qū)域的寬度或高度的預設(shè)值倍，也可以為其他距離值。例如，在上方向和下方向上進行擴展時，預設(shè)距離可以為候選區(qū)域的高度；在左方向和右方向上進行擴展時，預設(shè)距離可以為候選區(qū)域的寬度。

步驟2：將待定位圖像在預設(shè)方向上的邊緣位置確定為擴展區(qū)域在預設(shè)方向上的位置。

步驟3：將預定位置確定為擴展區(qū)域在預設(shè)方向上的位置。

可以理解的是，擴展區(qū)域包含候選區(qū)域和待定位圖像上候選區(qū)域周圍的車輛圖像部分。

具體的，上述擴展區(qū)域可以按照如下公式確定：

擴展區(qū)域左側(cè)橫坐標為x1′＝max(0，x1-k*(x2-x1))；

擴展區(qū)域右側(cè)橫坐標為x2′＝min(width，x2+k*(x2-x1))；

擴展區(qū)域上側(cè)縱坐標為y1′＝max(0，y1-k*(y2-y1))；

擴展區(qū)域下側(cè)縱坐標為y2′＝min(height，y2+k*(y2-y1))。

其中，上述坐標的原點位于待定位圖像的左上角像素點，x1和x2分別為候選區(qū)域的左側(cè)橫坐標和右側(cè)橫坐標，y1和y2分別為候選區(qū)域的上側(cè)縱坐標和下側(cè)縱坐標，即不帶撇號“′”的量為候選區(qū)域的坐標，撇號“′”的量為擴展區(qū)域的坐標；width為待定位圖像的寬度，height為待定位圖像的高度，k為對候選區(qū)域擴展的倍數(shù)，可以取1、2、3等值。

步驟s104：將上述擴展區(qū)域輸入分類網(wǎng)絡(luò)，獲得該分類網(wǎng)絡(luò)確定的分類結(jié)果。

其中，上述分類網(wǎng)絡(luò)用于根據(jù)分類網(wǎng)絡(luò)訓練完成時獲得的車牌區(qū)域周圍的車輛紋理特征，確定所輸入的擴展區(qū)域是否包含車牌區(qū)域的分類結(jié)果。分類結(jié)果可以包括擴展區(qū)域包含車牌區(qū)域和擴展區(qū)域不包含車牌區(qū)域兩種結(jié)果。

在訓練時，可以采用機器學習算法對預先獲得的樣本圖像進行訓練，獲得分類網(wǎng)絡(luò)。其中，樣本圖像包括正樣本圖像，正樣本圖像可以理解為包含車牌區(qū)域和其周圍的車輛區(qū)域部分的圖像。樣本圖像還可以包括負樣本圖像。

步驟s105：當分類結(jié)果表示上述擴展區(qū)域包含車牌區(qū)域時，從上述擴展區(qū)域中確定待定位圖像的車牌區(qū)域。

具體的，當分類結(jié)果表示上述擴展區(qū)域包含車牌區(qū)域時，可以采用邊緣檢測算法從上述擴展區(qū)域中確定待定位圖像的車牌區(qū)域。也就是說，對上述擴展區(qū)域中的像素點進行檢測，根據(jù)車牌區(qū)域的邊界像素值與非邊界區(qū)域像素值的差異特點以及預設(shè)的車牌區(qū)域的形狀特征，確定待定位圖像的車牌區(qū)域。

作為一個例子，采用本實施例的車牌定位方法可以對圖1a和圖1b中的車牌區(qū)域進行定位，定位結(jié)果可以參見圖中白色方框的區(qū)域。

由上述內(nèi)容可知，本實施例可以采用通過樣本車牌圖像預先訓練好的特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)，獲得待定位圖像中車牌的候選區(qū)域，將候選區(qū)域進行擴展，獲得擴展區(qū)域，根據(jù)“車牌區(qū)域+車輛紋理特征”的特點，進一步確定擴展區(qū)域是否包含車牌區(qū)域。而特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)均屬于深度學習網(wǎng)絡(luò)，采用深度學習網(wǎng)絡(luò)可以更準確地確定待定位圖像中的車牌的候選區(qū)域，根據(jù)車牌區(qū)域周圍的車輛紋理特征對候選區(qū)域做進一步的篩選，可以去除類似于車牌區(qū)域的干擾區(qū)域(例如交通指示牌這樣的干擾區(qū)域)，更準確地確定車牌區(qū)域。因此，采用本實施例提供的定位方案，能夠針對復雜場景提高車牌定位的準確性。

同時，當采用包含上述五類特點的復雜場景的樣本車牌圖像對特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)進行訓練時，能使選框網(wǎng)絡(luò)從復雜場景中更準確地確定車牌的候選區(qū)域，進而提高車牌定位的準確性。

在圖1所示實施例的一種實施方式中，上述選框網(wǎng)絡(luò)包括全連接層、第一回歸層、第二回歸層、打分層和確定層。圖2為選框網(wǎng)絡(luò)的一種結(jié)構(gòu)示意圖。該圖中，全連接層通過第一回歸層分別與第二回歸層和打分層相連，第二回歸層和打分層分別與確定層相連。

步驟s102中將特征圖輸入選框網(wǎng)絡(luò)，獲得選框網(wǎng)絡(luò)確定的所述待定位圖像中車牌的候選區(qū)域的步驟，可以包括以下步驟1～步驟5：

步驟1：將特征圖輸入全連接層，該全連接層按照預設(shè)的第一卷積窗口值對該特征圖進行卷積，獲得全連接特征圖，并將該全連接特征圖輸入第一回歸層。

其中，第一卷積窗口可以n像素*n像素，n為正整數(shù)。全連接特征圖中包含與每個像素點對應(yīng)的全連接特征值。該特征值的維數(shù)與全連接層的卷積參數(shù)設(shè)置相關(guān)。在該全連接層中，如果采用輸出特征值個數(shù)(num_out)＝512，卷積核的尺寸(kernel_size)＝3像素*3像素，卷積步長stride＝1的卷積參數(shù)進行卷積，則可以得到512維的特征值。

步驟2：第一回歸層按照預設(shè)的第二卷積窗口值對所述全連接特征圖進行卷積，獲得第一特征圖，并將所述第一特征圖分別輸入所述第二回歸層和打分層。其中，所述第一特征圖包含各個像素點對應(yīng)的特征值以及各個像素點對應(yīng)的選框區(qū)域。

需要說明的是，第一回歸層(reg-layer1)和第二回歸層(reg-layer2)的卷積過程是完全相同的，可以采用完全相同的卷積參數(shù)。例如，均采用num_out＝4*9，kernel_size＝1像素*1像素，跨度stride＝1的卷積參數(shù)進行卷積。其中，num_out中的4代表每個像素點坐標x、y和以該像素點為中心的選框的寬度w和高度h，num_out中的9代表選框區(qū)域的不同的伸縮比例。

步驟3：打分層根據(jù)打分層訓練完成時獲得的參數(shù)，確定第一特征圖中各個特征值對應(yīng)的像素點是否屬于車牌區(qū)域中的像素點及對應(yīng)的分值，并將屬于車牌區(qū)域中像素點且分值最高的預設(shè)數(shù)量個像素點確定為目標像素點，將目標像素點輸入確定層。

其中，可以將待定位圖像中的車牌區(qū)域稱為前景，車牌區(qū)域以外的部分稱為背景。打分層(cls-layer)用于判斷各個像素點屬于前景還是背景，并對其判斷結(jié)果打分，并將屬于前景并且分值最高的預設(shè)數(shù)量個像素點確定為目標像素點。預設(shè)數(shù)量可以為根據(jù)需要設(shè)置。

具體的，打分層確定第一特征圖中各個特征值對應(yīng)的像素點是否屬于車牌區(qū)域中的像素點及對應(yīng)的分值的過程，可以理解為根據(jù)預設(shè)的卷積參數(shù)對第一特征圖中各個特征值進行卷積，獲得各個特征值對應(yīng)的像素點是否屬于車牌區(qū)域中的像素點及對應(yīng)的分值。例如，卷積參數(shù)的設(shè)置可以包括num_out＝2*9，kernel_size＝1像素*1像素，stride＝1，其中，num_out中的2代表是或不是屬于車牌區(qū)域，num_out中的9代表選框區(qū)域的不同的伸縮比例。

步驟4：第二回歸層按照預設(shè)的第二卷積窗口值對第一特征圖進行卷積，獲得第二特征圖，并將所述第二特征圖輸入所述確定層。其中，所述第二特征圖包含各個像素點對應(yīng)的特征值以及各個像素點對應(yīng)的選框區(qū)域。

需要說明的是，第二回歸層的輸入為第一回歸層的輸出，第二回歸層對所輸入的數(shù)據(jù)執(zhí)行與第一回歸層完全相同的卷積過程，這樣能提高所確定的選框區(qū)域的準確率。

步驟5：獲得所述確定層確定的所述待定位圖像中車牌的候選區(qū)域。其中，所述待定位圖像中車牌的候選區(qū)域為：所述第二特征圖中目標像素點對應(yīng)的選框區(qū)域。

可見，本實施例可以對全連接特征圖進行兩次級聯(lián)的回歸卷積，提高回歸層確定的選框區(qū)域的準確性。由于待定位圖像中車牌的候選區(qū)域為第二特征圖中目標像素點對應(yīng)的選框區(qū)域，因此本實施例能夠提高所確定的候選區(qū)域的準確性。

在圖1所示實施例的一種實施方式中，上述特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)可以按照圖3所示流程示意圖的步驟訓練得到，具體可以包括以下步驟s301～步驟s305：

步驟s301：獲得樣本車牌圖像，該樣本車牌圖像包含正樣本車牌圖像，所述正樣本車牌圖像包含真實車牌區(qū)域。上述樣本車牌圖像還可以包含負樣本車牌圖像，即不包含真實車牌區(qū)域的圖像。

步驟s302：根據(jù)特征提取參數(shù)提取所述樣本車牌圖像的樣本特征，獲得樣本特征圖。其中，特征提取參數(shù)為特征提取網(wǎng)絡(luò)中的參數(shù)。

初始時，特征提取參數(shù)可以取為預先設(shè)定的值。樣本特征圖包含與樣本車牌圖像的像素點對應(yīng)的特征值按照像素點的排列規(guī)則所組成的數(shù)據(jù)組。

步驟s303：根據(jù)選框參數(shù)和所述樣本特征圖，確定所述樣本車牌圖像中車牌的樣本候選區(qū)域。

初始時，選框參數(shù)可以取為隨機值。確定樣本候選區(qū)域可以理解為確定樣本候選區(qū)域頂點的坐標，或者理解為確定樣本候選區(qū)域中心點的坐標以及區(qū)域的高度和寬度。

步驟s304：確定所述樣本候選區(qū)域與對應(yīng)的真實車牌區(qū)域之間的差異，判斷所述差異是否小于預設(shè)閾值，如果否，則執(zhí)行步驟s305。

具體的，步驟s304可以包括：通過softmax算法方式確定樣本候選區(qū)域與對應(yīng)的真實車牌區(qū)域之間的差異，判斷所述差異是否小于預設(shè)閾值。還可以采用以下公式確定樣本候選區(qū)域與對應(yīng)的真實車牌區(qū)域之間的第一差異：

lloc(t，t^*)＝∑i∈{x,y,w,h}smoothl1(t，t^*)

公式中，lloc是第一差異(即總體的定位損失函數(shù))，t為真實車牌區(qū)域，t*為樣本候選區(qū)域，針對真實車牌區(qū)域或樣本候選區(qū)域，x、y分別為真實車牌區(qū)域或樣本候選區(qū)域的橫坐標和縱坐標，w為真實車牌區(qū)域或樣本候選區(qū)域的寬度，h為真實車牌區(qū)域或樣本候選區(qū)域的高度。

需要說明的是，如果樣本車牌圖像為經(jīng)過了不同尺度的縮放之后的圖像，而真實車牌區(qū)域為未經(jīng)縮放處理的圖像上的區(qū)域，那么在確定樣本候選區(qū)域與對應(yīng)的真實車牌區(qū)域之間的差異之前，需要改變樣本候選區(qū)域的圖像尺寸，即對樣本候選區(qū)域進行池化(pooling)操作，使其具有與真實車牌區(qū)域相同的尺寸。

具體的，可以按照以下公式對樣本候選區(qū)域進行池化操作，改變其大?。?/p>

公式中，x1和x2分別為樣本候選區(qū)域左上角像素點的橫坐標和右下角像素點的橫坐標，y1和y2分別為樣本候選區(qū)域左上角像素點的縱坐標和右下角像素點的縱坐標。pooled_height是池化層的長度尺寸(例如，該尺寸可以為7像素)，pooled_width是池化層的寬度尺寸(例如，該尺寸可以為7像素)。

需要指出的是，上述差異可以稱為損失值(loss值)。預設(shè)閾值可以取較小的值，例如0.01～0.1之間的值。當上述差異小于預設(shè)閾值時，再繼續(xù)訓練，上述差異的值幾乎不再減小，這時可以認為網(wǎng)絡(luò)訓練完成。也就是說，訓練的停止條件可以為上述差異小于預設(shè)閾值。

需要說明的是，預設(shè)閾值越小則訓練的網(wǎng)絡(luò)的魯棒性越好，通過該網(wǎng)絡(luò)確定的候選區(qū)域準確性也就越高。通常，網(wǎng)絡(luò)訓練次數(shù)越多，得到的loss值就越小。因此，可以通過增加訓練次數(shù)的方式提高網(wǎng)絡(luò)的魯棒性。

步驟s305：根據(jù)上述差異調(diào)整上述特征提取參數(shù)和選框參數(shù)，返回執(zhí)行步驟s302。

需要說明的是，在訓練特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)時，可以將所有用于訓練的樣本車牌圖像一一輸入特征提取網(wǎng)絡(luò)，針對每個樣本車牌圖像，均執(zhí)行一遍特征提取、確定候選區(qū)域、確定差異以及判斷該差異是否小于預設(shè)閾值的過程。每次循環(huán)的過程均可以對特征提取參數(shù)和選框參數(shù)進行調(diào)整，當上述差異小于預設(shè)閾值時，可以確定特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)已訓練完成。

在對特征提取參數(shù)進行調(diào)整時，可以根據(jù)上述差異對特征提取參數(shù)求偏導，將求得的偏導數(shù)乘以學習率，將該乘積值加上上一次的特征提取參數(shù)得到調(diào)整后的特征提取參數(shù)。在對選框參數(shù)進行調(diào)整時，可以根據(jù)上述差異對選框參數(shù)求偏導，將求得的偏導數(shù)乘以學習率，將該乘積值加上上一次的選框參數(shù)得到調(diào)整后的選框參數(shù)。上述學習率在訓練的過程中會逐漸減小。

作為一種具體的實施方式，在訓練過程中，當樣本車牌圖像數(shù)量不足時，要使網(wǎng)絡(luò)達到上述訓練的停止條件(即收斂)非常困難。在這種情況下，為了保證對上述特征提取參數(shù)和選框參數(shù)的學習(即調(diào)整)過程，可以提高初始的學習率，進而提高訓練(迭代)次數(shù)，直至網(wǎng)絡(luò)收斂。例如，初始學習率可以設(shè)置為10^-4，每經(jīng)過5萬次迭代，即把學習率調(diào)整為上一學習率的0.3。這樣，網(wǎng)絡(luò)在迭代訓練3百萬次之后基本收斂。

在訓練時，可以采用隨機梯度下降(minbatch)算法，將樣本車牌圖像分批進行訓練，每次采用n個樣本車牌圖像進行訓練，以減少計算內(nèi)存。在這種情況下，可以按照以下公式調(diào)整特征提取參數(shù)和選框參數(shù)：

一般的損失函數(shù)：其中，d為所有的樣本車牌圖像的個數(shù)，

分批訓練時的損失函數(shù)：其中，n為所有樣本車牌圖像中的部分圖像；

對損失函數(shù)求偏導：

得到更新后的參數(shù)：wt+1＝wt+vt+1

其中，fw為第i個樣本車牌圖像對應(yīng)的損失函數(shù)，xⁱ為第i個樣本車牌圖像中的像素值數(shù)據(jù)；γ為常量，表示防止過擬合的范式懲罰者；r(w)＝w²，或者r(w)＝|w|，為防止過擬合而加入的范式項，以防止對函數(shù)的過度擬合，w為特征提取參數(shù)或選框參數(shù)；

可見，本實施例可以根據(jù)樣本候選區(qū)域與對應(yīng)的真實車牌區(qū)域之間的差異，對特征提取參數(shù)和候選參數(shù)進行調(diào)整，直至對特征提取網(wǎng)絡(luò)和候選網(wǎng)絡(luò)訓練完成。

另外，下面結(jié)合具體實例對圖1所示實施例中的步驟s103進行詳細說明，參見圖4所示流程示意圖，具體包括：步驟s103a～s103e。

步驟s103a：對候選區(qū)域進行擴展，獲得候選區(qū)域、橫向擴展區(qū)域和縱向擴展區(qū)域三個區(qū)域。

在從選框網(wǎng)絡(luò)(rpn網(wǎng)絡(luò))中得到候選區(qū)域rois之后，對候選區(qū)域rois進行擴展時，可以對候選區(qū)域進行橫向擴展，獲得橫向擴展區(qū)域rois_x，對候選區(qū)域進行縱向擴展，獲得縱向擴展區(qū)域rois_y。對候選區(qū)域、橫向擴展區(qū)域和縱向擴展區(qū)域這三個區(qū)域分別進行如下步驟1～步驟，獲得最終的擴展區(qū)域。

步驟s103b：分別對上述三個區(qū)域進行池化，將三個區(qū)域均調(diào)整為7像素*7像素的區(qū)域大小，獲得池化后的三個區(qū)域。

步驟s103c：對池化后的三個區(qū)域分別進行正則化，獲得正則化后的三個區(qū)域。具體的，可以采用以下公式對每個區(qū)域進行正則化：

其中，x為上述三個區(qū)域中每個區(qū)域的像素點的像素值，x′為正則化后每個區(qū)域中像素點的像素值，d為每個區(qū)域中像素點的總數(shù)量。

步驟s103d：將正則化后的三個區(qū)域進行連接，使其合成為一個區(qū)域，獲得合成后的區(qū)域；

步驟s103e：對合成后的區(qū)域進行降維，獲得7像素*7像素區(qū)域，該區(qū)域即為最終的擴展區(qū)域。

圖5為本申請實施例提供的基于深度學習的車牌定位裝置的一種結(jié)構(gòu)示意圖。該裝置應(yīng)用于電子設(shè)備，與圖1所示方法實施例相對應(yīng)。該裝置包括：

獲得模塊501，用于獲得包含車牌的待定位圖像；

候選模塊502，用于將所述待定位圖像輸入特征提取網(wǎng)絡(luò)，獲得所述特征提取網(wǎng)絡(luò)提取的特征圖，將所述特征圖輸入選框網(wǎng)絡(luò)，獲得所述選框網(wǎng)絡(luò)確定的所述待定位圖像中車牌的候選區(qū)域；其中，所述特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)預先通過樣本車牌圖像訓練而成；

擴展模塊503，用于對所述候選區(qū)域進行擴展，獲得對應(yīng)的擴展區(qū)域；

分類模塊504，用于將所述擴展區(qū)域輸入分類網(wǎng)絡(luò)，獲得所述分類網(wǎng)絡(luò)確定的分類結(jié)果；其中，所述分類網(wǎng)絡(luò)用于根據(jù)所述分類網(wǎng)絡(luò)訓練完成時獲得的車牌區(qū)域周圍的車輛紋理特征，確定所輸入的擴展區(qū)域是否包含車牌區(qū)域的分類結(jié)果；

確定模塊505，用于當所述分類結(jié)果表示所述擴展區(qū)域包含車牌區(qū)域時，從所述擴展區(qū)域中確定所述待定位圖像的車牌區(qū)域。

在圖5所示實施例的一種實施方式中，各個樣本車牌圖像中車牌區(qū)域的位置不同；和/或，各個樣本車牌圖像中車牌區(qū)域的尺寸不同；和/或，各個樣本車牌圖像的清晰度不同；和/或，各個樣本車牌圖像的拍攝角度不同；和/或，各個樣本車牌圖像中車牌區(qū)域之外的背景不同。

在圖5所示實施例的一種實施方式中，所述擴展模塊503可以包括：

判斷子模塊(圖中未示出)，用于判斷預定位置是否超出所述待定位圖像在預設(shè)方向上的邊緣位置；其中，所述預定位置為：對所述候選區(qū)域的位置在預設(shè)方向上擴展預設(shè)距離之后的位置；預設(shè)方向為上方向、下方向、左方向、右方向中的一個；

第一確定子模塊(圖中未示出)，用于當所述預定位置超出所述待定位圖像在預設(shè)方向上的邊緣位置時，將所述待定位圖像在預設(shè)方向上的邊緣位置確定為擴展區(qū)域在預設(shè)方向上的位置；

第二確定子模塊(圖中未示出)，用于當所述預定位置未超出所述待定位圖像在預設(shè)方向上的邊緣位置時，將所述預定位置確定為擴展區(qū)域在預設(shè)方向上的位置。

在圖5所示實施例的一種實施方式中，所述候選模塊502可以包括第一輸入子模塊和第二輸入子模塊；(圖中未示出)

其中，所述第一輸入子模塊，用于將所述待定位圖像輸入特征提取網(wǎng)絡(luò)，獲得所述特征提取網(wǎng)絡(luò)提取的特征圖；

所述第二輸入子模塊，用于將所述特征圖輸入選框網(wǎng)絡(luò)，獲得所述選框網(wǎng)絡(luò)確定的所述待定位圖像中車牌的候選區(qū)域；

所述選框網(wǎng)絡(luò)包括全連接層、第一回歸層、第二回歸層、打分層和確定層；

所述第二輸入子模塊，具體可以用于：

將所述特征圖輸入所述全連接層，所述全連接層按照預設(shè)的第一卷積窗口值對所述特征圖進行卷積，獲得全連接特征圖，并將所述全連接特征圖輸入所述第一回歸層；

第一回歸層按照預設(shè)的第二卷積窗口值對所述全連接特征圖進行卷積，獲得第一特征圖，并將所述第一特征圖分別輸入所述第二回歸層和打分層，其中，所述第一特征圖包含各個像素點對應(yīng)的特征值；

所述打分層根據(jù)所述打分層訓練完成時獲得的參數(shù)，確定所述第一特征圖中各個特征值對應(yīng)的像素點是否屬于車牌區(qū)域中的像素點及對應(yīng)的分值，并將屬于車牌區(qū)域中像素點且分值最高的預設(shè)數(shù)量個像素點確定為目標像素點，將所述目標像素點輸入所述確定層；

所述第二回歸層按照預設(shè)的第二卷積窗口值對所述第一特征圖進行卷積，獲得第二特征圖，并將所述第二特征圖輸入所述確定層，其中，所述第二特征圖包含各個像素點對應(yīng)的選框區(qū)域；

獲得所述確定層確定的所述待定位圖像中車牌的候選區(qū)域；其中，所述待定位圖像中車牌的候選區(qū)域為：所述第二特征圖中目標像素點對應(yīng)的選框區(qū)域。

在圖5所示實施例的一種實施方式中，所述裝置還可以包括訓練模塊(圖中未示出)，用于獲得所述特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)；

其中，所述訓練模塊，包括：

獲得子模塊(圖中未示出)，用于獲得樣本車牌圖像，所述樣本車牌圖像包含正樣本車牌圖像，所述正樣本車牌圖像包含真實車牌區(qū)域；

提取子模塊(圖中未示出)，用于根據(jù)特征提取參數(shù)提取所述樣本車牌圖像的樣本特征，獲得樣本特征圖；

候選子模塊(圖中未示出)，用于根據(jù)選框參數(shù)和所述樣本特征圖，確定所述樣本車牌圖像中車牌的樣本候選區(qū)域；

差異子模塊(圖中未示出)，用于確定所述樣本候選區(qū)域與對應(yīng)的真實車牌區(qū)域之間的差異，判斷所述差異是否小于預設(shè)閾值；

調(diào)整子模塊(圖中未示出)，用于當所述差異不小于預設(shè)閾值時，根據(jù)所述差異調(diào)整所述特征提取參數(shù)和選框參數(shù)，返回執(zhí)行所述提取子模塊。

由于上述裝置實施例是基于方法實施例得到的，與該方法具有相同的技術(shù)效果，因此裝置實施例的技術(shù)效果在此不再贅述。對于裝置實施例而言，由于其基本相似于方法實施例，所以描述得比較簡單，相關(guān)之處參見方法實施例的部分說明即可。

圖6為本申請實施例提供的一種電子設(shè)備。該電子設(shè)備包括處理器601、通信接口602、存儲器603和通信總線604，其中，處理器601、通信接口602、存儲器603通過通信總線604完成相互間的通信；

存儲器603，用于存放計算機程序；

處理器601，用于在執(zhí)行存儲器603上所存放的程序時，實現(xiàn)本申請實施例提供的基于深度學習的車牌定位方法。該方法具體包括：

獲得包含車牌的待定位圖像；

將所述待定位圖像輸入特征提取網(wǎng)絡(luò)，獲得所述特征提取網(wǎng)絡(luò)提取的特征圖，將所述特征圖輸入選框網(wǎng)絡(luò)，獲得所述選框網(wǎng)絡(luò)確定的所述待定位圖像中車牌的候選區(qū)域；其中，所述特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)預先通過樣本車牌圖像訓練而成；

對所述候選區(qū)域進行擴展，獲得對應(yīng)的擴展區(qū)域；

將所述擴展區(qū)域輸入分類網(wǎng)絡(luò)，獲得所述分類網(wǎng)絡(luò)確定的分類結(jié)果；其中，所述分類網(wǎng)絡(luò)用于根據(jù)所述分類網(wǎng)絡(luò)訓練完成時獲得的車牌區(qū)域周圍的車輛紋理特征，確定所輸入的擴展區(qū)域是否包含車牌區(qū)域的分類結(jié)果；

當所述分類結(jié)果表示所述擴展區(qū)域包含車牌區(qū)域時，從所述擴展區(qū)域中確定所述待定位圖像的車牌區(qū)域。

可見，本實施例可以采用通過樣本車牌圖像預先訓練好的特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)，獲得待定位圖像中車牌的候選區(qū)域，將候選區(qū)域進行擴展，獲得擴展區(qū)域，根據(jù)“車牌區(qū)域+車輛紋理特征”的特點，進一步確定擴展區(qū)域是否包含車牌區(qū)域。而特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)均屬于深度學習網(wǎng)絡(luò)，采用深度學習網(wǎng)絡(luò)可以更準確地確定待定位圖像中的車牌的候選區(qū)域，根據(jù)車牌區(qū)域周圍的車輛紋理特征對候選區(qū)域做進一步的篩選，可以去除類似于車牌區(qū)域的干擾區(qū)域(例如交通指示牌這樣的干擾區(qū)域)，更準確地確定車牌區(qū)域。因此，采用本實施例提供的定位方案，能夠針對復雜場景提高車牌定位的準確性。

本申請實施例還提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)內(nèi)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)本申請實施例提供的基于深度學習的車牌定位方法。該方法具體包括：

獲得包含車牌的待定位圖像；

將所述待定位圖像輸入特征提取網(wǎng)絡(luò)，獲得所述特征提取網(wǎng)絡(luò)提取的特征圖，將所述特征圖輸入選框網(wǎng)絡(luò)，獲得所述選框網(wǎng)絡(luò)確定的所述待定位圖像中車牌的候選區(qū)域；其中，所述特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)預先通過樣本車牌圖像訓練而成；

對所述候選區(qū)域進行擴展，獲得對應(yīng)的擴展區(qū)域；

將所述擴展區(qū)域輸入分類網(wǎng)絡(luò)，獲得所述分類網(wǎng)絡(luò)確定的分類結(jié)果；其中，所述分類網(wǎng)絡(luò)用于根據(jù)所述分類網(wǎng)絡(luò)訓練完成時獲得的車牌區(qū)域周圍的車輛紋理特征，確定所輸入的擴展區(qū)域是否包含車牌區(qū)域的分類結(jié)果；

當所述分類結(jié)果表示所述擴展區(qū)域包含車牌區(qū)域時，從所述擴展區(qū)域中確定所述待定位圖像的車牌區(qū)域。

可見，本實施例可以采用通過樣本車牌圖像預先訓練好的特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)，獲得待定位圖像中車牌的候選區(qū)域，將候選區(qū)域進行擴展，獲得擴展區(qū)域，根據(jù)“車牌區(qū)域+車輛紋理特征”的特點，進一步確定擴展區(qū)域是否包含車牌區(qū)域。而特征提取網(wǎng)絡(luò)和選框網(wǎng)絡(luò)均屬于深度學習網(wǎng)絡(luò)，采用深度學習網(wǎng)絡(luò)可以更準確地確定待定位圖像中的車牌的候選區(qū)域，根據(jù)車牌區(qū)域周圍的車輛紋理特征對候選區(qū)域做進一步的篩選，可以去除類似于車牌區(qū)域的干擾區(qū)域(例如交通指示牌這樣的干擾區(qū)域)，更準確地確定車牌區(qū)域。因此，采用本實施例提供的定位方案，能夠針對復雜場景提高車牌定位的準確性。

需要說明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。

本說明書中的各個實施例均采用相關(guān)的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。

以上所述僅為本申請的較佳實施例而已，并非用于限定本申請的保護范圍。凡在本申請的精神和原則之內(nèi)所做的任何修改、等同替換、改進等，均包含在本申請的保護范圍內(nèi)。