本發(fā)明涉及行人檢測領(lǐng)域，尤其是涉及了一種基于旋轉(zhuǎn)矯正網(wǎng)絡(luò)的穩(wěn)健行人檢測方法。

背景技術(shù)：

行人檢測在計(jì)算機(jī)視覺領(lǐng)域中具有重要意義，它在智能交通、機(jī)器人開發(fā)和視頻監(jiān)控等領(lǐng)域具有重要應(yīng)用。行人檢測的一個共同的任務(wù)就是識別人體的存在，它的目的在于確定人體在何種背景、甚至發(fā)生在什么環(huán)境條件下，隨著人類生活水平的提高及公共道路上人們數(shù)量的急劇增多，如何準(zhǔn)確地識別檢測行人便成為了一種實(shí)用性很強(qiáng)的研究，尤其在汽車輔助駕駛技術(shù)、夜間行人監(jiān)控、無人區(qū)域的巡邏等方面具有實(shí)際意義和巨大市場價值。

由于人類的每個個體的行走姿態(tài)不一致，加之不同的環(huán)境背景、攝影條件下，對人的檢測并不容易。尤其在現(xiàn)實(shí)中，并不是每張攝影的圖像中行人都以水平的角度呈現(xiàn)，因此，如何對付具有旋轉(zhuǎn)角度的行人檢測，是研究的難點(diǎn)，并且角度的不同，會給正確的檢測帶來難度。

本發(fā)明提出了一種基于旋轉(zhuǎn)估計(jì)模塊的新框架。使用一般卷積網(wǎng)絡(luò)對已旋轉(zhuǎn)的行人圖像提取平面特征，通過系列批處理、最大池化操作，得到平面特征圖的中間結(jié)果，再將其中間結(jié)果變換極坐標(biāo)表示，輸入到旋轉(zhuǎn)矯正網(wǎng)絡(luò)中進(jìn)行極坐標(biāo)池化，得到的結(jié)果與其原來的中間結(jié)果進(jìn)行合并，輸入到全連接網(wǎng)絡(luò)得到輸出結(jié)果，本發(fā)明可以處理不同姿態(tài)不同旋轉(zhuǎn)角度的行人圖像，提供了一個旋轉(zhuǎn)估計(jì)模塊來處理角度測量，提高了行人多姿態(tài)的識別效率及正確率。

技術(shù)實(shí)現(xiàn)要素：

針對解決在行人處于旋轉(zhuǎn)角度的檢測問題，本發(fā)明的目的在于提供一種基于旋轉(zhuǎn)矯正網(wǎng)絡(luò)的穩(wěn)健行人檢測方法，提出了一種基于旋轉(zhuǎn)估計(jì)模塊的新框架。

為解決上述問題，本發(fā)明提供一種基于旋轉(zhuǎn)矯正網(wǎng)絡(luò)的穩(wěn)健行人檢測方法，其主要內(nèi)容包括：

(一)網(wǎng)絡(luò)結(jié)構(gòu)；

(二)極坐標(biāo)池化；

(三)數(shù)據(jù)輸入。

其中，所述的網(wǎng)絡(luò)結(jié)構(gòu)，包括串聯(lián)模塊和并聯(lián)模塊兩部分。

所述的串聯(lián)模塊，將卷積層、批處理層、最大池化層以及極坐標(biāo)池化層按次序進(jìn)行連接，上一層的結(jié)果經(jīng)過該層計(jì)算得到中間結(jié)果后再傳遞到下一層進(jìn)行操作，具體地包含三條串聯(lián)線路：

(1)第一條：次序?yàn)榫矸e層、批處理層、最大池化層、卷積層、極坐標(biāo)池化層；

(2)第二條：次序?yàn)榈谝粭l的次序后，再依次加上最大池化層、3個卷積層、最大池化層和平滑層；

(3)第三條：次序?yàn)榈谝粭l的次序后，再依次加上最大池化層、3個卷積層和極坐標(biāo)池化層。

所述的并聯(lián)模塊，將三條串聯(lián)線路的中間結(jié)果合并起來，具體地為兩條并聯(lián)線路：

(1)第一條：將第一條串聯(lián)線路和第三條串聯(lián)線路的結(jié)果合并；

(2)第二條：將第一條并聯(lián)線路和第二條串聯(lián)線路的結(jié)果合并。

所述的極坐標(biāo)池化，包括特征圖坐標(biāo)轉(zhuǎn)移和卷積網(wǎng)絡(luò)嵌入兩部分。

所述的特征圖坐標(biāo)轉(zhuǎn)移，給定一個像素p，其平面坐標(biāo)為(x,y)，其寬高為(w,h)，則極坐標(biāo)正則化為：

則該像素極坐標(biāo)可表示為：

由此，將平面的像素特征轉(zhuǎn)移為極坐標(biāo)表示方式。

所述的網(wǎng)絡(luò)嵌入，將公式(1)(2)的中間結(jié)果模塊快，具有相同的特征輸出維度，即可嵌入到任意的卷積層中間進(jìn)行承上啟下，因此，整個網(wǎng)絡(luò)結(jié)構(gòu)的輸入可以是特征圖的旋轉(zhuǎn)圖或者真實(shí)圖像的旋轉(zhuǎn)圖。

所述的數(shù)據(jù)輸入，包括訓(xùn)練和測試兩部分。

所述的訓(xùn)練，分別在主流數(shù)據(jù)庫中進(jìn)行人物旋轉(zhuǎn)操作，具體為：

(1)選取手寫字體數(shù)據(jù)庫中像素大小為28×28的圖像10000張用于訓(xùn)練，每張圖像隨機(jī)旋轉(zhuǎn)，旋轉(zhuǎn)角度在-90度到90度之間，即半圓；

(2)選取行人檢測數(shù)據(jù)庫中像素大小為480×640的圖像42786張用于訓(xùn)練，每張圖像統(tǒng)一在旋轉(zhuǎn)角度-90度到90度之間取值。

所述的測試，在各訓(xùn)練集完成訓(xùn)練后，選取該訓(xùn)練集2000張圖像進(jìn)行驗(yàn)證操作，驗(yàn)證結(jié)果反饋到訓(xùn)練網(wǎng)絡(luò)以調(diào)整權(quán)值，從而達(dá)到閾值后停止驗(yàn)證，再將剩下的5000張未使用圖像輸入訓(xùn)練網(wǎng)絡(luò)，得到的結(jié)果進(jìn)行統(tǒng)計(jì)即為正確檢測率。

附圖說明

圖1是本發(fā)明一種基于旋轉(zhuǎn)矯正網(wǎng)絡(luò)的穩(wěn)健行人檢測方法的系統(tǒng)流程圖。

圖2是本發(fā)明一種基于旋轉(zhuǎn)矯正網(wǎng)絡(luò)的穩(wěn)健行人檢測方法的行人檢測結(jié)果比較圖。

具體實(shí)施方式

需要說明的是，在不沖突的情況下，本申請中的實(shí)施例及實(shí)施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實(shí)施例對本發(fā)明作進(jìn)一步詳細(xì)說明。

圖1是本發(fā)明一種基于旋轉(zhuǎn)矯正網(wǎng)絡(luò)的穩(wěn)健行人檢測方法的系統(tǒng)流程圖。主要包括網(wǎng)絡(luò)結(jié)構(gòu)；極坐標(biāo)池化；數(shù)據(jù)輸入。

其中，網(wǎng)絡(luò)結(jié)構(gòu)，包括串聯(lián)模塊和并聯(lián)模塊兩部分。

串聯(lián)模塊，將卷積層、批處理層、最大池化層以及極坐標(biāo)池化層按次序進(jìn)行連接，上一層的結(jié)果經(jīng)過該層計(jì)算得到中間結(jié)果后再傳遞到下一層進(jìn)行操作，具體地包含三條串聯(lián)線路：

(1)第一條：次序?yàn)榫矸e層、批處理層、最大池化層、卷積層、極坐標(biāo)池化層；

(2)第二條：次序?yàn)榈谝粭l的次序后，再依次加上最大池化層、3個卷積層、最大池化層和平滑層；

(3)第三條：次序?yàn)榈谝粭l的次序后，再依次加上最大池化層、3個卷積層和極坐標(biāo)池化層。

并聯(lián)模塊，將三條串聯(lián)線路的中間結(jié)果合并起來，具體地為兩條并聯(lián)線路：

(1)第一條：將第一條串聯(lián)線路和第三條串聯(lián)線路的結(jié)果合并；

(2)第二條：將第一條并聯(lián)線路和第二條串聯(lián)線路的結(jié)果合并。

極坐標(biāo)池化，包括特征圖坐標(biāo)轉(zhuǎn)移和卷積網(wǎng)絡(luò)嵌入兩部分。

特征圖坐標(biāo)轉(zhuǎn)移，給定一個像素p，其平面坐標(biāo)為(x,y)，其寬高為(w,h)，則極坐標(biāo)正則化為：

則該像素極坐標(biāo)可表示為：

由此，將平面的像素特征轉(zhuǎn)移為極坐標(biāo)表示方式。

網(wǎng)絡(luò)嵌入，將公式(1)(2)的中間結(jié)果模塊快，具有相同的特征輸出維度，即可嵌入到任意的卷積層中間進(jìn)行承上啟下，因此，整個網(wǎng)絡(luò)結(jié)構(gòu)的輸入可以是特征圖的旋轉(zhuǎn)圖或者真實(shí)圖像的旋轉(zhuǎn)圖。

數(shù)據(jù)輸入，包括訓(xùn)練和測試兩部分。

訓(xùn)練，分別在主流數(shù)據(jù)庫中進(jìn)行人物旋轉(zhuǎn)操作，具體為：

(1)選取手寫字體數(shù)據(jù)庫中像素大小為28×28的圖像10000張用于訓(xùn)練，每張圖像隨機(jī)旋轉(zhuǎn)，旋轉(zhuǎn)角度在-90度到90度之間，即半圓；

(2)選取行人檢測數(shù)據(jù)庫中像素大小為480×640的圖像42786張用于訓(xùn)練，每張圖像統(tǒng)一在旋轉(zhuǎn)角度-90度到90度之間取值。

測試，在各訓(xùn)練集完成訓(xùn)練后，選取該訓(xùn)練集2000張圖像進(jìn)行驗(yàn)證操作，驗(yàn)證結(jié)果反饋到訓(xùn)練網(wǎng)絡(luò)以調(diào)整權(quán)值，從而達(dá)到閾值后停止驗(yàn)證，再將剩下的5000張未使用圖像輸入訓(xùn)練網(wǎng)絡(luò)，得到的結(jié)果進(jìn)行統(tǒng)計(jì)即為正確檢測率。

圖2是本發(fā)明一種基于旋轉(zhuǎn)矯正網(wǎng)絡(luò)的穩(wěn)健行人檢測方法的行人檢測結(jié)果比較圖。如圖所示，可以觀察到第一行(rpn-bf方法)所檢測到的行人都是垂直狀態(tài)，丟失了很多細(xì)節(jié)，相比之下，第二行(本發(fā)明的方法)則隨著行人的旋轉(zhuǎn)角度而旋轉(zhuǎn)，保留了更多的細(xì)節(jié)，并且檢測范圍更加準(zhǔn)確。

對于本領(lǐng)域技術(shù)人員，本發(fā)明不限制于上述實(shí)施例的細(xì)節(jié)，在不背離本發(fā)明的精神和范圍的情況下，能夠以其他具體形式實(shí)現(xiàn)本發(fā)明。此外，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進(jìn)行各種改動和變型而不脫離本發(fā)明的精神和范圍，這些改進(jìn)和變型也應(yīng)視為本發(fā)明的保護(hù)范圍。因此，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本發(fā)明范圍的所有變更和修改。