本發(fā)明涉及圖像識別技術(shù),尤其涉及一種行人檢測識別方法、裝置、模型和介質(zhì)。
背景技術(shù):
隨著視頻監(jiān)控智能分析在智慧城市應(yīng)用上的不斷發(fā)展,行人作為視頻監(jiān)控的一種重要元素,如何在這些海量視頻中挖掘出行人的有價值信息變得越來越重要。
行人重識別(personre-identification)是對跨攝像頭、跨場景的監(jiān)控視頻出現(xiàn)的行人進(jìn)行關(guān)聯(lián)識別的技術(shù),簡單來說比如有一張目標(biāo)人物在某個場景的抓拍照,利用行人重識別技術(shù)就可以根據(jù)這個照片找到這個目標(biāo)人物在其他場景下出現(xiàn)(如果目標(biāo)人物真有出現(xiàn))的照片。
行人重識別一般需要包含行人檢測和識別兩個過程。行人檢測技術(shù)的目標(biāo)是檢測出視頻圖像中所有行人所在位置;然后通過行人識別技術(shù)從行人圖像提取特征向量;然后通過各種距離方法來度量兩個行人圖像之間相似度程度,從而實現(xiàn)行人重識別、檢索等目的。
現(xiàn)有的行人重識別方法,沒有將行人檢測和識別整合到一起而是拆分開來;主要研究還是如何挖掘出更好更準(zhǔn)確的特征來表達(dá)行人圖像,以及基于這些特征如何度量行人特征的相似程度方面上,而要識別的行人圖像通常來自由人工標(biāo)注或是獨(dú)立的行人檢測步驟。
現(xiàn)有的行人重識別方法一般有如下三種方案:
1.人工翻查視頻:通過安排人員,觀看海量視頻,人工搜索目標(biāo)行人。
2.基于圖像的行人傳統(tǒng)檢索:將視頻里面出現(xiàn)的行人通過人工或行人檢測算法將其一個個截取出來,通過傳統(tǒng)圖像特征描述子hog/sift/haar來描述行人圖像,生成特征庫,再通過歐式或余弦距離來進(jìn)行特征相似度的度量,最后按相似度排序?qū)炖锩娴膱D像排序,目標(biāo)人物會在前n個結(jié)果里面出現(xiàn)。
3.基于深度學(xué)習(xí)的行人實時檢索:通過fasterrcnn/yolo等檢測算法將視頻圖像中行人測出來,然后通過alexnet/vgg16/googlenet/resnet等深度卷積神經(jīng)網(wǎng)絡(luò)提取行人的特征,再將之前已經(jīng)提取好的特征庫與當(dāng)前時刻提取出來行人特征進(jìn)行比對檢索。
但是上述三種方案分別存在以下缺陷:
1.人力成本太高、效率太低。
2.傳統(tǒng)圖像特征描述無論是在性能還是速度上面都已經(jīng)落后了,且場景依賴性大,實時性較差。
3.基于深度學(xué)習(xí)的行人實時檢索分別由行人檢測、行人識別兩個模型來實現(xiàn),計算花銷大。因為行人特征提取環(huán)節(jié)的總時間花銷與行人檢測環(huán)節(jié)檢測出來的行人數(shù)量是線性相關(guān),這就意味著如果檢測出來的行人越多,那么特征提取環(huán)節(jié)需要時間也會越多,所以行人特征提取環(huán)節(jié)時間花銷不是穩(wěn)定的,實際上只能在檢測上做到實時,在特征提取上不一定能達(dá)到實時的要求。
技術(shù)實現(xiàn)要素:
為了克服現(xiàn)有技術(shù)的不足,本發(fā)明的目的在于提供一種行人檢測識別方法、裝置、模型和介質(zhì),其能解決現(xiàn)有的基于深度學(xué)習(xí)的行人實時檢索分別由行人檢測、行人識別兩個模型來實現(xiàn),計算花銷大;如果檢測出來的行人越多,那么特征提取環(huán)節(jié)需要時間也會越多,所以行人特征提取環(huán)節(jié)時間花銷不是穩(wěn)定的,不一定能達(dá)到實時的要求的問題。
一種行人檢測識別方法,包括以下步驟:
將目標(biāo)行人圖像及待檢行人圖像輸入行人檢測識別模型,所述行人檢測識別模型包括檢測子網(wǎng)絡(luò)和識別子網(wǎng)絡(luò);
對所述目標(biāo)行人圖像及待檢行人圖像進(jìn)行卷積運(yùn)算,得到目標(biāo)特征圖及待檢特征圖;
通過所述檢測子網(wǎng)絡(luò)對所述目標(biāo)特征圖及待檢特征圖進(jìn)行行人檢測,得到目標(biāo)行人框及待檢行人框;
根據(jù)所述目標(biāo)行人框?qū)λ瞿繕?biāo)特征圖進(jìn)行感興趣區(qū)域池化,得到目標(biāo)池化區(qū)域,以及根據(jù)所述待檢行人框?qū)λ龃龣z特征圖進(jìn)行感興趣區(qū)域池化,得到待檢池化區(qū)域;
通過所述識別子網(wǎng)絡(luò)計算所述目標(biāo)池化區(qū)域的目標(biāo)區(qū)域特征,以及計算所述待檢池化區(qū)域的待檢區(qū)域特征;
計算所述待檢區(qū)域特征與目標(biāo)區(qū)域特征的特征相似度;
根據(jù)所述特征相似度判斷所述待檢行人框中的行人是否為所述目標(biāo)行人框中的行人。
進(jìn)一步地,所述檢測子網(wǎng)絡(luò)包括分支連接層,所述識別子網(wǎng)絡(luò)包括行人編號分類器和特征比對分支;所述分支連接層連接于所述行人編號分類器和特征比對分支;
所述行人編號分類器用于根據(jù)行人編號信息訓(xùn)練行人編號的分類識別;
所述特征比對分支用于縮小內(nèi)類圖像間的特征距離和放大類外圖像間的特征距離。
進(jìn)一步地,所述檢測子網(wǎng)絡(luò)包括圖片索引單元,所述圖片索引單元用于將具有同一行人編號的訓(xùn)練圖片輸入所述行人檢測識別模型進(jìn)行多圖訓(xùn)練。
進(jìn)一步地,所述待檢行人框以一五元組表示,所述五元組包括參考點(diǎn)橫坐標(biāo)、參考點(diǎn)縱坐標(biāo)、寬度、高度和行人編號;
所述根據(jù)所述特征相似度判斷所述待檢行人框中的行人是否為所述目標(biāo)行人框中的行人之后,還包括以下步驟:
若所述待檢行人框中的行人是所述目標(biāo)行人框中的行人,則根據(jù)所述待檢行人框?qū)?yīng)的五元組輸出識別結(jié)果。
一種行人檢測識別裝置,包括:
輸入模塊,用于將目標(biāo)行人圖像及待檢行人圖像輸入行人檢測識別模型,所述行人檢測識別模型包括檢測子網(wǎng)絡(luò)和識別子網(wǎng)絡(luò);
卷積模塊,用于對所述目標(biāo)行人圖像及待檢行人圖像進(jìn)行卷積運(yùn)算,得到目標(biāo)特征圖及待檢特征圖;
框選模塊,用于通過所述檢測子網(wǎng)絡(luò)對所述目標(biāo)特征圖及待檢特征圖進(jìn)行行人檢測,得到目標(biāo)行人框及待檢行人框;
池化模塊,用于根據(jù)所述目標(biāo)行人框?qū)λ瞿繕?biāo)特征圖進(jìn)行感興趣區(qū)域池化,得到目標(biāo)池化區(qū)域,以及根據(jù)所述待檢行人框?qū)λ龃龣z特征圖進(jìn)行感興趣區(qū)域池化,得到待檢池化區(qū)域;
特征模塊,用于通過所述識別子網(wǎng)絡(luò)計算所述目標(biāo)池化區(qū)域的目標(biāo)區(qū)域特征,以及計算所述待檢池化區(qū)域的待檢區(qū)域特征;
計算模塊,用于計算所述待檢區(qū)域特征與目標(biāo)區(qū)域特征的特征相似度;
判斷模塊,用于根據(jù)所述特征相似度判斷所述待檢行人框中的行人是否為所述目標(biāo)行人框中的行人。
進(jìn)一步地,所述框選模塊被配置為將待檢行人框以一五元組表示,所述五元組包括參考點(diǎn)橫坐標(biāo)、參考點(diǎn)縱坐標(biāo)、寬度、高度和行人編號;
所述行人檢測識別裝置還包括輸出模塊,用于若所述待檢行人框中的行人是所述目標(biāo)行人框中的行人,則根據(jù)所述待檢行人框?qū)?yīng)的五元組輸出識別結(jié)果。
一種行人檢測識別裝置,包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運(yùn)行的計算機(jī)程序,其特征在于:所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)上述任一項所述的行人檢測識別方法的步驟。
一種介質(zhì),所述介質(zhì)存儲有計算機(jī)程序,所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)上述任一項所述的行人檢測識別方法的步驟。
一種行人檢測識別模型,基于fasterrcnn構(gòu)建,包括檢測子網(wǎng)絡(luò)和識別子網(wǎng)絡(luò);所述檢測子網(wǎng)絡(luò)用于對目標(biāo)特征圖或待檢特征圖進(jìn)行行人檢測,得到目標(biāo)行人框及待檢行人框;所述識別子網(wǎng)絡(luò)用于計算目標(biāo)池化區(qū)域的目標(biāo)區(qū)域特征,或計算待檢池化區(qū)域的待檢區(qū)域特征;
所述檢測子網(wǎng)絡(luò)包括分支連接層,所述識別子網(wǎng)絡(luò)包括行人編號分類器和特征比對分支;所述分支連接層連接于所述行人編號分類器和特征比對分支;
所述行人編號分類器用于根據(jù)行人編號信息訓(xùn)練行人編號的分類識別;
所述特征比對分支用于縮小內(nèi)類圖像間的特征距離和放大類外圖像間的特征距離。
進(jìn)一步地,所述檢測子網(wǎng)絡(luò)包括圖片索引單元,所述圖片索引單元用于將具有同一行人編號的訓(xùn)練圖片輸入所述行人檢測識別模型進(jìn)行多圖訓(xùn)練。
相比現(xiàn)有技術(shù),本發(fā)明的有益效果在于:通過行人檢測識別模型的檢測子網(wǎng)絡(luò)和識別子網(wǎng)絡(luò)分別進(jìn)行行人檢測任務(wù)與行人識別任務(wù),即實現(xiàn)了利用同一個網(wǎng)絡(luò)進(jìn)行行人檢測與識別,將行人檢測和行人識別整合到了一個深度卷積神經(jīng)網(wǎng)絡(luò)模型上面,且可共享部分特征,節(jié)省了運(yùn)算量和時間消耗,滿足了行人重識別實時性的要求。
附圖說明
圖1為本發(fā)明實施例一的行人檢測識別方法的流程示意圖;
圖2為圖1中行人檢測識別方法的應(yīng)用場景示意圖;
圖3為圖1中行人檢測識別方法使用的行人檢測識別模型的結(jié)構(gòu)示意圖;
圖4為本發(fā)明實施例二的行人檢測識別裝置的結(jié)構(gòu)示意圖;
圖5為本發(fā)明實施例三的行人檢測識別裝置的結(jié)構(gòu)示意圖。
具體實施方式
下面,結(jié)合附圖以及具體實施方式,對本發(fā)明做進(jìn)一步描述,需要說明的是,在不相沖突的前提下,以下描述的各實施例之間或各技術(shù)特征之間可以任意組合形成新的實施例。
實施例一
如圖1為一種行人檢測識別方法,包括以下步驟:
步驟s110、將目標(biāo)行人圖像及待檢行人圖像輸入行人檢測識別模型,所述行人檢測識別模型基于fasterrcnn構(gòu)建,包括檢測子網(wǎng)絡(luò)和識別子網(wǎng)絡(luò)。
輸入待查詢的目標(biāo)行人圖像,接入視頻流,通過視頻解碼獲得一幀一幀圖像,依據(jù)算法速度定時對解碼后圖像進(jìn)行抽??;若算法速度能滿足實時的要求,可以對每一幀圖像都進(jìn)行行人檢測識別。
如圖2所示,為行人檢測識別方法的應(yīng)用場景。目標(biāo)行人圖像為query,視頻流videoframe中包括多張待檢行人圖像,如圖2中的三張待檢行人圖像均包括有目標(biāo)行人圖像中目標(biāo)行人,即矩形框選中的區(qū)域。
行人檢測識別模型如圖3所示,基于fasterrcnn構(gòu)建,包括檢測子網(wǎng)絡(luò)和識別子網(wǎng)絡(luò);所述檢測子網(wǎng)絡(luò)用于對目標(biāo)特征圖或待檢特征圖進(jìn)行行人檢測,得到目標(biāo)行人框及待檢行人框;所述識別子網(wǎng)絡(luò)用于計算目標(biāo)池化區(qū)域的目標(biāo)區(qū)域特征,或計算待檢池化區(qū)域的待檢區(qū)域特征。
行人檢測識別模是基于高效的目標(biāo)檢測框架fasterrcnn的基礎(chǔ)上建立的。
fasterrcnn(fasterregionbasedconvolutionnetwork)是一種基于深度學(xué)習(xí)的目標(biāo)檢測模型。其輸入是一張圖片,經(jīng)過多層卷積計算,得到圖像的特征圖;然后根據(jù)物體在圖像中的大小分布等,設(shè)計相應(yīng)的錨點(diǎn)坐標(biāo)框,對錨點(diǎn)位置進(jìn)行分類和包圍框回歸,找到圖像中可能存在物體的位置,此步稱做rpn(regionproposalnetwork)。然后把這些位置作為感興趣區(qū)域(roi)映射到特征圖上,取出每個位置的卷積特征,然后與訓(xùn)練好的參數(shù)進(jìn)行大量內(nèi)積計算,得到向量式的特征從而進(jìn)行進(jìn)一步的分類和包圍框回歸,最終獲得圖像中存在物體的位置和類別,此步稱做rcnn(regionbasedconvolutionnetwork)。
如圖3所示的行人檢測識別模型,包括用于對圖像進(jìn)行卷積計算得到圖像的特征圖的卷積層conv1…conv5;檢測子網(wǎng)絡(luò)包括卷積層conv和分類回歸層,分類回歸層包括用于錨點(diǎn)位置進(jìn)行分類的分類器anchorcls和對錨點(diǎn)位置進(jìn)行包圍框回歸的回歸器anchorreg;檢測子網(wǎng)絡(luò)還包括多個全連接fc6、fc7、fc8和分類器softmaxlosscls。分類器softmaxlosscls作為行人非行人分類器,用于根據(jù)標(biāo)注好的行人背景信息訓(xùn)練行人和背景的分類學(xué)習(xí)。具體的,現(xiàn)有技術(shù)對這一部分有詳細(xì)的說明,不再贅述。
本發(fā)明進(jìn)一步對fasterrcnn的模型結(jié)構(gòu)作以下改動:
1、所述檢測子網(wǎng)絡(luò)包括圖片索引單元index,所述圖片索引單元用于將具有同一行人編號的訓(xùn)練圖片輸入所述行人檢測識別模型進(jìn)行多圖訓(xùn)練。
具體的,通過修改rpn層來實現(xiàn)。原本rpn層只能進(jìn)行單張圖片的訓(xùn)練,為了強(qiáng)化人體識別任務(wù),希望多張包含相同行人編號的圖片一起進(jìn)行訓(xùn)練,本發(fā)明修改了rpn層的數(shù)據(jù)組織形式,在原來的基礎(chǔ)上增加一個圖片索引的維度,讓fasterrcnn支持多圖檢測的訓(xùn)練,以實現(xiàn)多圖訓(xùn)練的目的。
2、所述檢測子網(wǎng)絡(luò)包括分支連接層,所述識別子網(wǎng)絡(luò)包括行人編號分類器和特征比對分支;所述分支連接層連接于所述行人編號分類器和特征比對分支。
如圖3所示,全連接fc7作為分支連接層,在全連接fc7上連接有一分支tripletloss作為特征比對分支,用于縮小內(nèi)類圖像間的特征距離和放大類外圖像間的特征距離。特征比對分支接入特征比對損失函數(shù)tripletloss,用于縮小內(nèi)類圖像即具有相同行人編號的行人圖像之間的特征距離和放大不同行人編號的類外圖像間的特征距離,以增強(qiáng)全連接fc7的特征判別性能,從而進(jìn)一步強(qiáng)化行人識別任務(wù)的性能。
在全連接fc7上還連接有行人編號分類器softmaxlosspersonid,用于根據(jù)行人編號信息訓(xùn)練行人編號的分類識別。通過這樣的設(shè)計,網(wǎng)絡(luò)模型就可以同時實現(xiàn)行人檢測和行人識別兩個任務(wù),以達(dá)到行人檢測和行人識別這兩個任務(wù)同時進(jìn)行的目的。
進(jìn)一步地,行人檢測識別模型的訓(xùn)練過程如下:訓(xùn)練過程劃分成兩個步驟,首先單獨(dú)訓(xùn)練檢測子網(wǎng)絡(luò),然后再將所述檢測子網(wǎng)絡(luò)作為預(yù)訓(xùn)練模型訓(xùn)練整個行人檢測識別模型,進(jìn)行行人檢測和行人識別多任務(wù)學(xué)習(xí)。
具體的,首先以imagenet-vgg16模型作為預(yù)訓(xùn)練模型,利用標(biāo)注好的行人數(shù)據(jù),與訓(xùn)練原始的fasterrcnn網(wǎng)絡(luò)方法一樣,通過隨機(jī)梯度下降法訓(xùn)練行人檢測任務(wù)子網(wǎng)絡(luò),直到達(dá)到預(yù)設(shè)定的最大訓(xùn)練迭代次數(shù)或者收斂停止訓(xùn)練。然后,將上一步訓(xùn)練好的imagenet-vgg16模型作為預(yù)訓(xùn)練模型,利用標(biāo)注好的行數(shù)據(jù),每次迭代訓(xùn)練隨機(jī)抽取兩張行人圖像,且至少有一對行人圖像具有相同的行人編號;前向傳播通過rpn出來若干候選區(qū)域,每個候選區(qū)都帶有2種標(biāo)注信息:行人和背景、行人編號,然后經(jīng)過全連接fc7分別向行人非行人分類器、行人編號分類器和特征比對分支這3個分支傳播。再通過隨機(jī)梯度下降法訓(xùn)練這個端對端的行人檢測識別模型,直到達(dá)到預(yù)設(shè)定最大訓(xùn)練迭代次數(shù)或收斂停止訓(xùn)練。
步驟s120、對所述目標(biāo)行人圖像及待檢行人圖像進(jìn)行卷積運(yùn)算,得到目標(biāo)特征圖及待檢特征圖。
通過卷積層conv1…conv5一步步抽取目標(biāo)行人圖像或待檢行人圖像的特征,得到目標(biāo)特征圖及待檢特征圖用于后續(xù)的檢測、識別步驟。
步驟s130、通過所述檢測子網(wǎng)絡(luò)對所述目標(biāo)特征圖及待檢特征圖進(jìn)行行人檢測,得到目標(biāo)行人框及待檢行人框。
得到圖像的特征圖后,根據(jù)行人在圖像中的大小分布等數(shù)據(jù),設(shè)計相應(yīng)的錨點(diǎn)坐標(biāo)框,對錨點(diǎn)位置進(jìn)行分類和包圍框回歸,找到圖像中可能存在行人的位置,即rpn,圖像中可能存在行人的位置作為感興趣區(qū)域(roi)。
步驟s140、根據(jù)所述目標(biāo)行人框?qū)λ瞿繕?biāo)特征圖進(jìn)行感興趣區(qū)域池化,得到目標(biāo)池化區(qū)域,以及根據(jù)所述待檢行人框?qū)λ龃龣z特征圖進(jìn)行感興趣區(qū)域池化,得到待檢池化區(qū)域。
將步驟s130獲得的感興趣區(qū)域映射到步驟s120得到的特征圖上,通過池化層roipooling進(jìn)行感興趣區(qū)域池化,可得到池化區(qū)域以進(jìn)行后續(xù)的識別分類步驟。
步驟s150、通過所述識別子網(wǎng)絡(luò)計算所述目標(biāo)池化區(qū)域的目標(biāo)區(qū)域特征,以及計算所述待檢池化區(qū)域的待檢區(qū)域特征。
通過全連接層fcperson進(jìn)一步對目標(biāo)池化區(qū)域或待檢池化區(qū)域進(jìn)行特征提取,得到相應(yīng)的特征向量。
步驟s160、計算所述待檢區(qū)域特征與目標(biāo)區(qū)域特征的特征相似度。
進(jìn)一步地,特征相似度可以由歐氏距離或余弦距離來衡量。如記目標(biāo)區(qū)域特征的特征向量為x,待檢區(qū)域特征的特征向量為y,則目標(biāo)區(qū)域特征與待檢區(qū)域特征的特征相似度可以是余弦距離:
步驟s170、根據(jù)所述特征相似度判斷所述待檢行人框中的行人是否為所述目標(biāo)行人框中的行人。
具體的,若所述余弦距離小于預(yù)設(shè)閾值,則可以認(rèn)為待檢行人框中的行人是所述目標(biāo)行人框中的行人。預(yù)設(shè)閾值可以通過有限次的試驗即經(jīng)驗值確定。
本發(fā)明通過行人檢測識別模型的檢測子網(wǎng)絡(luò)和識別子網(wǎng)絡(luò)分別進(jìn)行行人檢測任務(wù)與行人識別任務(wù),即實現(xiàn)了利用同一個網(wǎng)絡(luò)進(jìn)行行人檢測與識別,將行人檢測和行人識別整合到了一個深度卷積神經(jīng)網(wǎng)絡(luò)模型上面,且可共享部分特征,節(jié)省了運(yùn)算量和時間消耗,滿足了行人重識別實時性的要求。
進(jìn)一步地,所述待檢行人框以一五元組表示,所述五元組包括參考點(diǎn)橫坐標(biāo)、參考點(diǎn)縱坐標(biāo)、寬度、高度和行人編號。
行人圖像中的行人或特征圖中的行人可以標(biāo)注為五元組p=(x,y,w,h,id),其中x,y分別表示參考點(diǎn)的橫縱坐標(biāo);w,h分別表示行人框的寬和高,id表示行人編號。參考點(diǎn)指的是行人框的左上頂點(diǎn)或中心點(diǎn)等。同樣的,對于一個行人圖像中的行人或特征圖,在得知該五元組后,即可推出行人框所在位置、行人框大小以及行人的身份即行人編號。因此,行人檢測識別模型的訓(xùn)練樣本包括行人圖像和與行人圖像中行人對應(yīng)的五元組標(biāo)注;通過行人位置數(shù)據(jù)可以進(jìn)行人體檢測任務(wù)即檢測子網(wǎng)絡(luò)的訓(xùn)練,而通過行人編號id,可以進(jìn)行人體識別任務(wù)的訓(xùn)練。從而實現(xiàn)了行人檢測和行人識別這兩個任務(wù)同時訓(xùn)練學(xué)習(xí)的目的。
進(jìn)一步地,步驟s170所述根據(jù)所述特征相似度判斷所述待檢行人框中的行人是否為所述目標(biāo)行人框中的行人之后,還包括以下步驟:
步驟s180、若所述待檢行人框中的行人是所述目標(biāo)行人框中的行人,則根據(jù)所述待檢行人框?qū)?yīng)的五元組輸出識別結(jié)果。
識別結(jié)果可以是如圖2所示的具有矩形框,矩形框框住目標(biāo)行人的行人圖片且對應(yīng)的可以標(biāo)記有行人編號或名稱,輸出結(jié)果比較直觀明顯。
實施例二
如圖4所示的行人檢測識別裝置,包括:
輸入模塊110,用于將目標(biāo)行人圖像及待檢行人圖像輸入行人檢測識別模型,所述行人檢測識別模型包括檢測子網(wǎng)絡(luò)和識別子網(wǎng)絡(luò);
卷積模塊120,用于對所述目標(biāo)行人圖像及待檢行人圖像進(jìn)行卷積運(yùn)算,得到目標(biāo)特征圖及待檢特征圖;
框選模塊130,用于通過所述檢測子網(wǎng)絡(luò)對所述目標(biāo)特征圖及待檢特征圖進(jìn)行行人檢測,得到目標(biāo)行人框及待檢行人框;
池化模塊140,用于根據(jù)所述目標(biāo)行人框?qū)λ瞿繕?biāo)特征圖進(jìn)行感興趣區(qū)域池化,得到目標(biāo)池化區(qū)域,以及根據(jù)所述待檢行人框?qū)λ龃龣z特征圖進(jìn)行感興趣區(qū)域池化,得到待檢池化區(qū)域;
特征模塊150,用于通過所述識別子網(wǎng)絡(luò)計算所述目標(biāo)池化區(qū)域的目標(biāo)區(qū)域特征,以及計算所述待檢池化區(qū)域的待檢區(qū)域特征;
計算模塊160,用于計算所述待檢區(qū)域特征與目標(biāo)區(qū)域特征的特征相似度;
判斷模塊170,用于根據(jù)所述特征相似度判斷所述待檢行人框中的行人是否為所述目標(biāo)行人框中的行人。
進(jìn)一步地,框選模塊130被配置為將待檢行人框以一五元組表示,所述五元組包括參考點(diǎn)橫坐標(biāo)、參考點(diǎn)縱坐標(biāo)、寬度、高度和行人編號。
進(jìn)一步地,行人檢測識別裝置還包括輸出模塊(圖未示),用于若所述待檢行人框中的行人是所述目標(biāo)行人框中的行人,則根據(jù)所述待檢行人框?qū)?yīng)的五元組輸出識別結(jié)果。
本實施例中的裝置與前述實施例中的方法是基于同一發(fā)明構(gòu)思下的兩個方面,在前面已經(jīng)對方法實施過程作了詳細(xì)的描述,所以本領(lǐng)域技術(shù)人員可根據(jù)前述描述清楚地了解本實施中的系統(tǒng)的結(jié)構(gòu)及實施過程,為了說明書的簡潔,在此就不再贅述。
為了描述的方便,描述以上裝置時以功能分為各種模塊分別描述。當(dāng)然,在實施本發(fā)明時可以把各模塊的功能在同一個或多個軟件和/或硬件中實現(xiàn)。
通過以上的實施方式的描述可知,本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)?;谶@樣的理解,本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計算機(jī)軟件產(chǎn)品可以存儲在存儲介質(zhì)中,如rom/ram、磁碟、光盤等,包括若干指令用以使得一臺計算機(jī)設(shè)備(可以是個人計算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例或者實施例的某些部分所述的方法。
因此,本發(fā)明還提供了一種介質(zhì),所述介質(zhì)存儲有計算機(jī)程序,所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)上述任一項所述的行人檢測識別方法的步驟。
描述的裝置實施例僅僅是示意性的,其中所述作為分離部件說明的模塊或單元可以是或者也可以不是物理上分開的,作為模塊或單元示意的部件可以是或者也可以不是物理模塊,既可以位于一個地方,或者也可以分布到多個網(wǎng)絡(luò)模塊上??梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性勞動的情況下,即可以理解并實施。
本發(fā)明可用于眾多通用或?qū)S玫挠嬎阆到y(tǒng)環(huán)境或配置中。例如:個人計算機(jī)、服務(wù)器計算機(jī)、手持設(shè)備或便攜式設(shè)備、平板型設(shè)備、多處理器系統(tǒng)、基于微處理器的系統(tǒng)、機(jī)頂盒、可編程的消費(fèi)電子設(shè)備、網(wǎng)絡(luò)pc、小型計算機(jī)、大型計算機(jī)、包括以上任何系統(tǒng)或設(shè)備的分布式計算環(huán)境等等,如實施例四。實施例三
如圖5所示行人檢測識別裝置,包括存儲器200、處理器300以及存儲在存儲器200中并可在處理器300上運(yùn)行的計算機(jī)程序,處理器300執(zhí)行計算機(jī)程序時實現(xiàn)上述行人檢測識別方法的步驟。
本實施例中的裝置與前述實施例中的方法是基于同一發(fā)明構(gòu)思下的兩個方面,在前面已經(jīng)對方法實施過程作了詳細(xì)的描述,所以本領(lǐng)域技術(shù)人員可根據(jù)前述描述清楚地了解本實施中的系統(tǒng)的結(jié)構(gòu)及實施過程,為了說明書的簡潔,在此就不再贅述。
本發(fā)明實施例提供的行人檢測識別裝置,可以通過行人檢測識別模型的檢測子網(wǎng)絡(luò)和識別子網(wǎng)絡(luò)分別進(jìn)行行人檢測任務(wù)與行人識別任務(wù),即實現(xiàn)了利用同一個網(wǎng)絡(luò)進(jìn)行行人檢測與識別,將行人檢測和行人識別整合到了一個深度卷積神經(jīng)網(wǎng)絡(luò)模型上面,且可共享部分特征,節(jié)省了運(yùn)算量和時間消耗,滿足了行人重識別實時性的要求。
上述實施方式僅為本發(fā)明的優(yōu)選實施方式,不能以此來限定本發(fā)明保護(hù)的范圍,本領(lǐng)域的技術(shù)人員在本發(fā)明的基礎(chǔ)上所做的任何非實質(zhì)性的變化及替換均屬于本發(fā)明所要求保護(hù)的范圍。