本發(fā)明涉及行人精細化識別領域，具體涉及一種基于深度學習的行人精細化識別方法及裝置。

背景技術：

深度學習是目前機器學習發(fā)展的最高度，卷積神經網絡作為深度學習的一種方法，在物體識別、圖像處理等領域有著較好的效果。對于特征提取，卷積神經網絡有著可以自動學習圖像特征的優(yōu)勢，減少了人工干預，提取出高質量的特征，從而為提高圖像匹配的準確率打下了堅實的基礎。

由于深度學習的方法可能消耗大量的GPU(Graphics Processing Unit，圖形處理器)資源，計算量過大可能達不到實際應用場景中實時的效果，為了解決大數據實時處理問題，分布式實時處理框架Storm應運而生，Storm有許多應用領域，包括實時分析、在線機器學習、信息流處理、連續(xù)性的計算、分布式RPC(Remote Procedure Call，遠程過程調用)和ETL(Extract-Transform-Load，抽取、轉換和加載)等。

行人作為視頻監(jiān)控中的重要目標之一，若能對其進行有效的外觀識別，不僅能提高視頻監(jiān)控工作人員的工作效率，對視頻的檢索、行人行為的解析也具有重要意義。而且，行人的精細化識別在公司為智能交通、銀行、平安城市和公共安全等行業(yè)提供的解決方案中有著重要的應用。

有鑒于此，急需解決對行人進行監(jiān)控識別的準確率較低的問題。

技術實現要素：

本發(fā)明所要解決的技術問題是解決對行人進行監(jiān)控識別的準確率較低的問題。

為了解決上述技術問題，本發(fā)明所采用的技術方案是提供一種基于深度學習的行人精細化識別方法，包括以下步驟：

采集歷史的行人圖像數據構建行人圖像數據庫，并利用行人圖像數據庫制作包含行人特征的訓練數據集，將訓練數據集輸入到SSD網絡進行訓練；

根據SSD網絡的訓練結果構建行人精細化圖像數據庫，并利用行人精細化圖像數據庫制作包含行人各個部位特征的訓練數據集，將訓練數據集輸入到卷積神經網絡進行訓練；

利用訓練好的SSD網絡提取來自流媒體服務器的實時視頻流中的行人特征，根據SSD網絡提取到的行人特征，利用訓練好的卷積神經網絡提取行人各個部位的特征；

利用SVM分類器將提取到的行人各個部位的特征與行人精細化圖像數據庫的每個行人相應部位的特征進行匹配，并將匹配結果進行組合，得到行人精細化識別結果。

在上述技術方案中，提取行人特征、行人各個部位的特征以及進行特征匹配，具體包括以下步驟：

采集來自流媒體服務器的實時視頻流，將實時視頻流解析為幀圖像，并通過分布式實時處理框架Storm的數據采集接口，將幀圖像輸入到分布式實時處理框架Storm的消息源；

在分布式實時處理框架Storm上，利用設有SSD網絡的消息處理組件提取數據源中的行人特征，根據提取到的行人特征，再利用設有卷積神經網絡的消息處理組件提取行人各個部位的特征；

最后通過設有SVM分類器的消息處理組件將提取到的行人各個部位的特征與行人精細化圖像數據庫的每個行人相應部位的特征進行匹配。

在上述技術方案中，將訓練數據集輸入到SSD網絡進行訓練，具體包括以下步驟：

所述SSD網絡首先使用默認參數進行訓練，根據訓練中間結果，對初始權值、訓練速率和迭代次數不斷進行調整，直到得到的參數使得訓練后的所述SSD網絡以預設的處理速度達到預設的識別準確率。

在上述技術方案中，根據SSD網絡的訓練結果構建行人精細化圖像數據庫，具體包括以下步驟：

根據SSD網絡的訓練結果得到行人圖像數據庫中的行人圖像，根據行人各個部位特征對行人圖像進行切分，并按照行人的不同部位對切分好的行人圖像進行分類，得到行人精細化圖像數據庫。

在上述技術方案中，將訓練數據集輸入到卷積神經網絡進行訓練，具體包括以下步驟：

將所述行人精細化圖像數據庫中不同種類的行人圖像輸入到對應的所述卷積神經網絡中，所述卷積神經網絡首先使用默認參數進行訓練，根據訓練中間結果，對初始權值、訓練速率和迭代次數不斷進行調整，直到得到的參數使得訓練后的所述卷積神經網絡以預設的處理速度達到預設的識別準確率。

在上述技術方案中，預設的處理速度為每秒25幀，預設的識別準確率為90％。

在上述技術方案中，所述卷積神經網絡包括三層卷積層、三層池化層、三層全連接層以及位于最后的softmax回歸分類器層。

本發(fā)明還提供了一種基于深度學習的行人精細化識別裝置，包括：

行人圖像數據庫構建模塊，采集歷史的行人圖像數據構建行人圖像數據庫；

SSD網絡訓練模塊，利用所述行人圖像數據庫制作包含行人特征的訓練數據集，將所述訓練數據集輸入到SSD網絡進行訓練；

行人精細化圖像數據庫構建模塊，根據所述SSD網絡的訓練結果構建行人精細化圖像數據庫；

卷積神經網絡訓練模塊，利用所述行人精細化圖像數據庫制作包含行人各個部位特征的訓練數據集，將所述訓練數據集輸入到卷積神經網絡進行訓練；

行人特征提取模塊，利用訓練好的SSD網絡提取來自流媒體服務器的實時視頻流中的行人特征；

行人各個部位的特征提取模塊，根據所述SSD網絡提取到的行人特征，利用訓練好的所述卷積神經網絡提取行人各個部位的特征；

特征匹配模塊，利用SVM分類器將所述行人各個部位的特征提取模塊提取到的行人各個部位的特征，與所述行人精細化圖像數據庫的每個行人相應部位的特征進行匹配；

行人精細化識別模塊，將所述特征匹配模塊的匹配結果進行組合，得到行人精細化識別結果。

在上述技術方案中，所述行人特征提取模塊、行人各個部位的特征提取模塊、特征匹配模塊以及行人精細化識別模塊搭建在分布式實時處理框架Storm上，且各模塊并行運行；

所述行人特征提取模塊，利用設有SSD網絡的消息處理組件提取所述分布式實時處理框架Storm的消息源中的行人特征，所述消息源中包括所述分布式實時處理框架Storm的數據采集接口接收到的幀圖像，所述幀圖像由來自流媒體服務器的實時視頻流解析而成；

所述行人各個部位的特征提取模塊，根據所述行人特征提取模塊提取到的行人特征，利用設有卷積神經網絡的消息處理組件提取行人各個部位的特征；

所述特征匹配模塊，通過設有SVM分類器的消息處理組件將所述行人各個部位的特征提取模塊提取到的行人各個部位的特征與行人精細化圖像數據庫的每個行人相應部位的特征進行匹配。

本發(fā)明將深度學習技術與行人精細化識別技術相結合，通過對SSD網絡和卷積神經網絡進行訓練，利用訓練好的SSD網絡提取來自流媒體服務器的實時視頻流中的行人特征，根據SSD網絡提取到的行人特征，利用訓練好的卷積神經網絡提取行人各個部位的特征，將提取到的行人各個部位的特征與行人精細化圖像數據庫的每個行人相應部位的特征進行匹配，并將匹配結果進行組合，得到行人精細化識別結果，有效地提高了行人精細化識別的準確率。

附圖說明

圖1為本發(fā)明提供的一種基于深度學習的行人精細化識別方法流程圖；

圖2為本發(fā)明提供的一種基于深度學習的行人精細化識別方法示意圖；

圖3為本發(fā)明提供的訓練卷積神經網絡的結構示意圖；

圖4為本發(fā)明提供的一種基于深度學習的行人精細化識別裝置示意圖。

具體實施方式

下面結合說明書附圖和具體實施方式對本發(fā)明做出詳細的說明。

本發(fā)明實施例提供了一種基于深度學習的行人精細化識別方法，如圖1、圖2所示，包括以下步驟：

S1、采集歷史的行人圖像數據構建行人圖像數據庫，并利用行人圖像數據庫制作包含行人特征的訓練數據集，將訓練數據集輸入到SSD網絡進行訓練，直至得到的參數使得訓練后的SSD網絡以預設的處理速度達到預設的識別準確率。

構建行人圖像數據庫具體為：采集流媒體服務器存儲的視頻流，解析成幀，并去除沒幀的背景，利用這些歷史的行人圖像數據構建行人圖像數據庫。

S2、根據SSD網絡的訓練結果構建行人精細化圖像數據庫，并利用行人精細化圖像數據庫制作包含行人各個部位特征的訓練數據集，將訓練數據集輸入到卷積神經網絡進行訓練，直至得到的參數使得訓練后的卷積神經網絡以預設的處理速度達到預設的識別準確率。

S3、在分布式實時處理框架Storm上，利用訓練好的SSD網絡提取來自流媒體服務器的實時視頻流中的行人特征，根據SSD網絡提取到的行人特征，利用訓練好的卷積神經網絡提取行人各個部位的特征(行人各個部位的特征包括行人各個部位的位置信息以及圖像顏色信息等)。

S4、在分布式實時處理框架Storm上，利用SVM(支持向量機)分類器將提取到的行人各個部位的特征與行人精細化圖像數據庫的每個行人相應部位的特征進行匹配，并將匹配結果進行組合，得到實時的行人精細化識別結果。

具體地：通過采集來自流媒體服務器的實時視頻流，將實時視頻流解析為幀圖像，并通過分布式實時處理框架Storm的數據采集接口，將每一幀圖像輸入到分布式實時處理框架Storm的消息源；在分布式實時處理框架Storm上，利用設有SSD網絡的消息處理組件提取幀圖像中的行人特征，根據提取到的行人特征，再利用設有卷積神經網絡的消息處理組件提取行人各個部位的特征；最后通過設有SVM分類器的消息處理組件將提取到的行人各個部位的特征與行人精細化圖像數據庫的每個行人相應部位的特征進行匹配，并將匹配結果進行組合，最終得到實時的行人精細化識別結果。

行人精細化識別結果由行人的面目識別結果、上衣的位置及圖像顏色、褲子的位置及圖像顏色、鞋子的位置及圖像顏色、帽子的位置及圖像顏色、包的位置及圖像顏色等信息組成。

本方案采用分布式實時處理框架Storm，實現了行人精細化識別的實時化。

在步驟S1中，將訓練數據集輸入到SSD網絡進行訓練，直至得到的參數使得訓練后的SSD網絡以預設的處理速度達到預設的識別準確率，具體包括以下步驟：

SSD網絡首先使用默認參數進行訓練，根據訓練中間結果，對初始權值、訓練速率和迭代次數進行不斷調整，直到得到的參數使得訓練后的SSD網絡以每秒25幀的處理速度達到90％的識別準確率。

在步驟S2中，根據SSD網絡的訓練結果構建行人精細化圖像數據庫，具體包括以下步驟：

根據SSD網絡的訓練結果得到行人圖像數據庫中的行人圖像，根據行人各個部位特征(例如行人的上衣、褲子、鞋子、帽子和包等等)對行人圖像進行切分，并對切分好的行人圖像進行分類，得到行人精細化圖像數據庫。

在步驟S2中，將訓練數據集輸入到卷積神經網絡進行訓練，直至得到的參數使得訓練后的卷積神經網絡以預設的處理速度達到預設的識別準確率，具體包括以下步驟：

將行人精細化圖像數據庫中不同種類的行人圖像輸入到對應的卷積神經網絡中，卷積神經網絡首先使用默認參數進行訓練，根據訓練中間結果，對初始權值、訓練速率和迭代次數進行不斷調整，直到得到的參數使得訓練后的卷積神經網絡以每秒25幀的處理速度達到90％的識別準確率。

如圖3所示，將行人精細化圖像數據集中的行人圖像作為卷積神經網絡的輸入，訓練卷積神經網絡，該卷積神經網絡包括三層卷積層、三層池化層、三層全連接層以及位于最后一層的softmax回歸分類器層。

本發(fā)明實施例還提供了一種基于深度學習的行人精細化識別裝置，如圖4所示，包括：

行人圖像數據庫構建模塊10，采集歷史的行人圖像數據構建行人圖像數據庫；

SSD網絡訓練模塊20，利用所述行人圖像數據庫制作包含行人特征的訓練數據集，將所述訓練數據集輸入到SSD網絡進行訓練；

行人精細化圖像數據庫構建模塊30，根據所述SSD網絡的訓練結果構建行人精細化圖像數據庫；

卷積神經網絡訓練模塊40，利用所述行人精細化圖像數據庫制作包含行人各個部位特征的訓練數據集，將所述訓練數據集輸入到卷積神經網絡進行訓練；

行人特征提取模塊50，利用訓練好的SSD網絡提取來自流媒體服務器的實時視頻流中的行人特征；

行人各個部位的特征提取模塊60，根據所述SSD網絡提取到的行人特征，利用訓練好的所述卷積神經網絡提取行人各個部位的特征；

特征匹配模塊70，利用SVM(支持向量機)分類器將所述行人各個部位的特征提取模塊60提取到的行人各個部位的特征，與所述行人精細化圖像數據庫的每個行人相應部位的特征進行匹配；

行人精細化識別模塊80，將所述特征匹配模塊70的匹配結果進行組合，得到行人精細化識別結果。

上述行人特征提取模塊50、行人各個部位的特征提取模塊60、特征匹配模塊70以及行人精細化識別模塊80搭建在分布式實時處理框架Storm上，且各模塊并行運行。

所述行人特征提取模塊50，利用設有SSD網絡的消息處理組件提取所述分布式實時處理框架Storm的消息源中的行人特征，所述消息源中包括所述分布式實時處理框架Storm的數據采集接口接收到的幀圖像，所述幀圖像由來自流媒體服務器的實時視頻流解析而成。

所述行人各個部位的特征提取模塊60，根據所述行人特征提取模塊50提取到的行人特征，利用設有卷積神經網絡的消息處理組件提取行人各個部位的特征。

所述特征匹配模塊70，通過設有SVM分類器的消息處理組件將所述行人各個部位的特征提取模塊60提取到的行人各個部位的特征與行人精細化圖像數據庫的每個行人相應部位的特征進行匹配。

本發(fā)明將深度學習技術和云計算技術與行人精細化識別相結合通過對SSD網絡和卷積神經網絡進行訓練，利用訓練好的SSD網絡提取來自流媒體服務器的實時視頻流中的行人特征，根據SSD網絡提取到的行人特征，利用訓練好的卷積神經網絡提取行人各個部位的特征，將提取到的行人各個部位的特征與行人精細化圖像數據庫的每個行人相應部位的特征進行匹配，并將匹配結果進行組合，得到行人精細化識別結果，有效地提高了行人精細化識別的準確率。另外，利用分布式實時處理框架Storm處理行人精細化識別，達到實時識別的目的，有效地提高了行人精細化識別的效率。

本發(fā)明不局限于上述最佳實施方式，任何人在本發(fā)明的啟示下作出的結構變化，凡是與本發(fā)明具有相同或相近的技術方案，均落入本發(fā)明的保護范圍之內。