本公開總體涉及圖像處理,具體涉及人的檢測方法及設(shè)備。
背景技術(shù):
:人的檢測在機器視覺領(lǐng)域的研究已經(jīng)進行了很長時間,雖然取得了很大突破,但還是一直無法滿足實用要求。一個重要的原因就是在擁擠的環(huán)境下,許多現(xiàn)有的檢測方法的檢測效果會由于遮擋而大幅下降。統(tǒng)計顯示,在非擁擠的正常場景下,人的檢出率能夠達到95%,而在擁擠的場景下,人的檢出率往往不足70%。針對擁擠環(huán)境下檢測效果不佳的問題,目前已經(jīng)進行了一些研究,并提出了一些解決方案。一類主要的解決方案是采用可變形部分模型(DeformablePartsModel)進行檢測,其核心思想是按照人體的各個部分分別進行訓(xùn)練和檢測。例如,作為該類解決方案的一個示例,在PAMI2012年的文章“Example-basedobjectdetectioninimagesbycomponents”中,A.Mohan提出了一種2階段的方法,該方法分別訓(xùn)練頭、胳膊和腿的檢測器,然后利用各個檢測器,判斷粗檢測到的結(jié)果是否匹配對應(yīng)的模式。盡管此類方法對遮擋較為魯棒,但是當(dāng)檢測場景是訓(xùn)練集中不包含的場景時,檢測性能會下降。另一類解決方案是基于回歸的密度估計方法。例如,作為該類解決方案的一個示例,WenhuaMa在2008發(fā)表的“AdvancedLocalBinaryPatternDescriptorsforCrowdEstimation”文章中通過學(xué)習(xí)圖像底層特征和人群密度的映射來估計人數(shù)。然而,此類方法只能進行人群密度的估計,而無法獲得人的位置信息。技術(shù)實現(xiàn)要素:鑒于以上問題而提出了本公開。具體而言,本公開的目的在于提出一種人的檢測技術(shù),該技術(shù)即使在檢測范圍內(nèi)各區(qū)域的擁擠程度不同從而導(dǎo)致各區(qū)域的人體遮擋程度不同的情況下,也能夠較為準確地檢測出各個人。根據(jù)本公開的一個方面的實施例,提供了一種人的檢測方法,包括:在包含待檢測的人的高度頂視圖中,進行初始的人的檢測;將所述高度頂視圖劃分為一個或多個區(qū)域,并估計每個區(qū)域中的人群密度;根據(jù)所述人群密度,確定每個區(qū)域中初始檢測到的人的可見區(qū)域;對于每一個初始檢測到的人,分別從所述高度頂視圖和與該高度頂視圖對應(yīng)的灰度或彩色圖中提取該人的第一梯度特征和第二梯度特征;對于每一個初始檢測到的人,基于所提取的第一梯度特征和第二梯度特征,利用預(yù)先建立的、與所確定的該人的可見區(qū)域?qū)?yīng)的分類器,確定該初始檢測到的人的置信度;根據(jù)所述置信度,對初始的人的檢測結(jié)果進行修正。根據(jù)本公開的另一個方面的實施例,提供了一種人的檢測設(shè)備,包括:初始檢測單元,配置為在包含待檢測的人的高度頂視圖中,進行初始的人的檢測;密度估計單元,配置為將所述高度頂視圖劃分為一個或多個區(qū)域,并估計每個區(qū)域中的人群密度;可見區(qū)域確定單元,配置為根據(jù)所述人群密度,確定每個區(qū)域中初始檢測到的人的可見區(qū)域;特征提取單元,配置為對于每一個初始檢測到的人,分別從所述高度頂視圖和與該高度頂視圖對應(yīng)的灰度或彩色圖中提取該人的第一梯度特征和第二梯度特征;置信度確定單元,配置為對于每一個初始檢測到的人,基于所提取的第一梯度特征和第二梯度特征,利用預(yù)先建立的、與所確定的該人的可見區(qū)域?qū)?yīng)的分類器,確定該初始檢測到的人的置信度;修正單元,配置為根據(jù)所述置信度,對初始的人的檢測結(jié)果進行修正。根據(jù)本公開實施例的人的檢測技術(shù)根據(jù)不同的擁擠程度采用諸如頭部分類器、頭-肩分類器和完整身體分類器等不同的分類器對初始檢測結(jié)果進行修正,從而不僅在人群擁擠導(dǎo)致人體相互遮擋的情況下能夠較為準確地檢測出各個人,而且在檢測范圍內(nèi)各區(qū)域的擁擠程度不同從而導(dǎo)致各區(qū)域的人體遮擋程度不同的情況下,針對每個區(qū)域都能獲得較好的檢測結(jié)果。附圖說明通過結(jié)合附圖對本公開實施例進行更詳細的描述,本公開的上述以及其它目的、特征和優(yōu)勢將變得更加明顯。附圖用來提供對本公開實施例的進一步理解,并且構(gòu)成說明書的一部分,與本公開實施例一起用于解釋本公開,并不構(gòu)成對本公開的限制。在附圖中,相同的參考標號通常代表相同部件或 步驟。圖1示出了根據(jù)本公開實施例的人的檢測方法的流程圖;圖2A和2B分別例示了拍攝得到的某一場景的灰度圖、以及在與和該灰度圖對應(yīng)的高度頂視圖中執(zhí)行初始的人的檢測得到的檢測結(jié)果;圖3例示了基于回歸的方法將高度頂視圖劃分為一個或多個區(qū)域并估計每個區(qū)域中的人群密度的處理的流程圖。圖4(a)示意性地示出了三種示例性的人群排布場景;圖4(b)示出了與圖4(a)中所示的人群排布場景對應(yīng)的高度頂視圖;圖4(c)示出了從圖4(b)中所示的高度頂視圖中提取LBP特征的結(jié)果。圖5例示了對于一個初始檢測到的人從高度頂視圖和對應(yīng)的灰度或彩色圖中提取該人的第一梯度特征和第二梯度特征的處理的流程圖。圖6例示了在高度頂視圖中初始檢測到的人在對應(yīng)的灰度或彩色圖中的外接矩形框。圖7示出了根據(jù)本公開實施例的人的檢測設(shè)備的功能配置框圖。圖8示出了根據(jù)本公開實施例的人的檢測系統(tǒng)的總體硬件框圖。具體實施方式下面將結(jié)合本公開實施例中的附圖,對本公開實施例中的技術(shù)方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本公開一部分實施例,而不是全部的實施例?;诒竟_中的實施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本公開保護的范圍。首先對本公開中涉及的技術(shù)術(shù)語進行簡單的介紹。眾所周知,灰度圖是一種具有從黑到白多個灰度色域或多個灰度等級的單色圖像。該圖像中的每個像素通常用8位數(shù)據(jù)表示,這樣該圖像可以有256種灰度。而彩色圖則是每個像素通常是由紅(R)、綠(G)、藍(B)三個分量來表示的,分量介于0到255之間。盡管如此,灰度圖和彩色圖的形成方式和主要功能都是類似的(用來表示顏色信息)。因此,雖然在下文中對本公開技術(shù)方案的描述中采用灰度圖,但是將灰度圖替換為彩色圖也是完全可以的。深度圖是圖像中每一像素點的值表示場景中某一點與攝像機之間的距離的圖像。相比于灰度圖(彩色圖),深度圖具有物體的深度(距離)信息,因 此適合于需要立體信息的各種應(yīng)用。頂視圖是由物體上方向下做正投影得到的視圖,也叫俯視圖。頂視圖包括面積頂視圖、高度頂視圖等多種類型。在本公開中,如無特別說明,頂視圖特指高度頂視圖,即以空間中的最高點的高度值作為頂視圖對應(yīng)位置的像素值。在高度頂視圖上具體表現(xiàn)為:空間中最高點的高度越高,像素值越大,亮度越亮。下面參考圖1對根據(jù)本公開實施例的人的檢測方法進行描述。圖1示出了根據(jù)本公開實施例的人的檢測方法的流程圖。如圖1所示,在步驟S110,在包含待檢測的人的高度頂視圖中,進行初始的人的檢測。所述包含待檢測的人的高度頂視圖可以通過本領(lǐng)域中任何已有的方法獲得。例如,一種常用的方法是先通過坐標轉(zhuǎn)換將拍攝得到的包含待檢測的人的深度圖中的各個像素在圖像坐標系中的坐標轉(zhuǎn)換為世界坐標系中的坐標,然后將轉(zhuǎn)換得到的世界坐標系中的各個像素點映射到高度頂視圖中,由此得到包含待檢測的人的高度頂視圖。可以通過本領(lǐng)域中任何已有的方法在包含待檢測的人的高度頂視圖中進行初始的人的檢測。例如,可以采用基于連通域分析(CCA)分割的方法、模板匹配法等本領(lǐng)域中的常見方法。作為示例,MichaelHarville在2003年發(fā)表的"StereoPersonTrackingwithAdaptivePlan-ViewTemplatesofHeightandOccupancyStatistics"中給出了一種在高度頂視圖中進行人的檢測的具體實現(xiàn)方法。需要說明的是,無論采用哪種方法,需將對應(yīng)的檢測閾值調(diào)低,從而避免漏檢,以達到更高檢出率的技術(shù)效果。例如,如果采用基于CCA分割的方法,需將作為檢測閾值的分割塊的大小設(shè)為較小的值,如果采用模板匹配法,需將作為檢測閾值為相似度設(shè)為較小的值。相應(yīng)地,由于將對應(yīng)的檢測閾值調(diào)低而帶來的高誤檢率將通過下文中介紹的后續(xù)步驟來抑制。圖2A和2B分別例示了拍攝得到的某一場景的灰度圖,以及在與和該灰度圖對應(yīng)的高度頂視圖中執(zhí)行該步驟中的初始的人的檢測得到的檢測結(jié)果。在步驟S120,將所述高度頂視圖劃分為一個或多個區(qū)域,并估計每個區(qū)域中的人群密度。該步驟可以通過本領(lǐng)域中任何已有的方法來實現(xiàn)。作為一種示例,可以采用基于聚類的方法。圖2C示出了對如圖2B所示的初始檢測到的人進行聚 類的示意性結(jié)果,其中用圓圈例示了兩個聚類結(jié)果??梢圆捎弥T如K-MEANS算法、CLARANS算法、BIRCH算法、CURE算法等本領(lǐng)域中各種公知的聚類算法對初始檢測到的人進行聚類。在本實施例中,作為示例,采用lexRodriguez和AlessandroLaio發(fā)表在2014年6月份的《Science》期刊中的文章“Clusteringbyfastsearchandfindofdensitypeak”中描述的聚類算法進行聚類。在該基于聚類的方法中,可以將聚類得到的各個聚類區(qū)域作為劃分高度頂視圖得到的一個或多個區(qū)域,并且對于其中的每個區(qū)域,如表達式(1)所示,估計該區(qū)域中的人群密度:R=N/A…(1)其中,N為根據(jù)步驟S110的初始檢測結(jié)果確定的該區(qū)域中初始檢測到的人的數(shù)目,A為該區(qū)域的面積。作為另一種示例,可以采用基于回歸的方法來執(zhí)行該步驟?;诨貧w的方法包含多種具體的實現(xiàn)算法,此處可以采用任何適當(dāng)?shù)木唧w實現(xiàn)算法。在本實施例中,作為示例,采用本發(fā)明人在另一中國專利申請No.201410645077.4中提出的基于LBP特征的回歸方法。下面,為了描述的完整性,將參考圖3對該方法進行簡單的概述。如圖3所示,在步驟S1201中,將高度頂視圖劃分為預(yù)定大小的區(qū)域。所述預(yù)定大小可以根據(jù)人群擁擠程度和經(jīng)驗值來預(yù)先設(shè)定,例如可以是邊長為1米或2米的正方形區(qū)域等等。作為一種極端情況,也可以將整個高度頂視圖作為一個區(qū)域。當(dāng)然,高度頂視圖并非必須劃分為相等大小的區(qū)域,根據(jù)實際需要,也可以劃分為不同大小的區(qū)域。在步驟S1202,對于每個區(qū)域,提取LBP特征,以表示該區(qū)域內(nèi)各像素之間的高度差分布。具體的,在該步驟中,對于每個區(qū)域中的每一個像素執(zhí)行以下處理:(S1)確定以該像素P為中心,距離該像素P預(yù)定距離的各個鄰域像素J;(S2)對該像素P的像素值和每個鄰域像素J的像素值進行比較;(S3)如表達式(2)所示來為各鄰域像素分配1或0值:其中,g(J)是為鄰域像素J分配的值,h(P)和h(J)分別是中心像素P和鄰域像素J在高度頂視圖中的像素值。T和Hmin是根據(jù)人體的頭肩模型預(yù)先設(shè)定的閾值。具體的,由于人體固有的比例,因此在俯視人的頭肩時,其外觀具有中間高(頭的部分),兩邊低(肩的部分)的一般規(guī)律。此處,T表示人體頭部的最高點與肩部的最高點之間的高度差,Hmin表示人體肩部的最高點距地面的距離。由于如表達式(2)所示提取LBP特征時應(yīng)用了人體的頭肩模型,因此能夠更好地表征人體,進而能夠更準確地檢測出人群密度。(S4)將由各個所述鄰域像素J的值組成的二進制編碼作為所述像素P的LBP編碼。需要說明的是,傳統(tǒng)LBP特征是在灰度圖中提取的,因而反映的是中心像素與鄰域像素之間灰度值的差異,而在該步驟中則是在高度頂視圖中提取的,其反映的是中心像素與鄰域像素之間的高度值的差異。另外,該處理(S4)中最基本的方式是直接將由各個鄰域像素J的值順序排列組成的二進制編碼作為像素P的LBP編碼。然而,按照這一方式,每種二進制編碼經(jīng)旋轉(zhuǎn)(循環(huán)位移)后會產(chǎn)生不同的結(jié)果。換句話說,如果圖像發(fā)生旋轉(zhuǎn),對于相同的人群排布,LBP編碼將會是不同的,這會對人群密度的檢測結(jié)果造成不利影響。因此,可選的,可以如表達式(3)所示對所述順序排列組成的二進制編碼進行旋轉(zhuǎn)不變處理,并將經(jīng)過該旋轉(zhuǎn)不變處理的二進制編碼作為所述像素P的LBP編碼。LBPP,R=min{ROR(LBPP,R,i))|i=0,1,...,P-1}…(3)其中P為二進制編碼的長度,也就是中心像素P周圍的鄰域像素J的個數(shù),此處假設(shè)P=8;R是鄰域半徑,即各個鄰域像素J距離中心像素P的距離,此處假設(shè)R=2;ROR是循環(huán)位移指令,比如ROR(11000000,1)=10000001。通過如表達式(3)所示的旋轉(zhuǎn)不變處理,具有同一編碼模式的各個二進制編碼統(tǒng)一為同一個編碼結(jié)果,即該編碼模式的旋轉(zhuǎn)結(jié)果中的最小值。例如,對于兩個二進制編碼“10011110”和“11110100”,其具有同一編碼模式,這兩個二進制編碼旋轉(zhuǎn)不變處理后的結(jié)果均為“00111101”。經(jīng)過該旋轉(zhuǎn)不變處理,二進制編碼具有旋轉(zhuǎn)不變性,從而理論上不論人的朝向如何,對人群密度的 檢測結(jié)果都是相同,即人群密度的檢測具有魯棒性。當(dāng)二進制編碼的長度為8時,最多有256種不同的二進制編碼,而通過如表達式(3)所示的旋轉(zhuǎn)不變處理后,則最多有36種不同的二進制編碼,其對應(yīng)的十進制數(shù)值如下所示:{LBPP,R}={0,1,3,5,7,9,11,13,15,17,19,21,23,25,27,29,31,37,39,43,45,47,51,53,55,59,61,63,85,87,91,95,111,119,127,255}在步驟S1203,根據(jù)所述LBP特征,利用通過統(tǒng)計學(xué)習(xí)方法預(yù)先建立的密度模型檢測出每個區(qū)域中的人數(shù)。在該步驟中,首先對每個區(qū)域中各個像素的LBP編碼進行分類,以將相同的LBP編碼分類到同一類中,并確定各類LBP編碼中各自包含的LBP編碼的數(shù)量。作為一種示例性的統(tǒng)計結(jié)果表示方式,對于每個區(qū)域,可以將該區(qū)域中LBP編碼的種類以及各類LBP編碼中各自包含的LBP編碼的數(shù)量用一個多維數(shù)組來表示,其中數(shù)組中的每個元素代表一種LBP編碼,元素的值則代表該種LBP編碼出現(xiàn)的次數(shù)。進行分類的LBP編碼可以是直接由各個鄰域像素的值順序排列組成的二進制編碼,也可以是該順序排列的二進制編碼進行旋轉(zhuǎn)不變處理后得到的二進制編碼。此處,采用旋轉(zhuǎn)不變處理后得到的二進制編碼。在對一個區(qū)域中各個像素的LBP編碼進行分類統(tǒng)計后,針對分類得到的LBP編碼的種類以及各類LBP編碼中各自包含的LBP編碼的數(shù)量,應(yīng)用預(yù)先建立的密度模型,計算出該區(qū)域中的人數(shù)。所述預(yù)先建立的密度模型是以LBP編碼的種類和各類LBP編碼中各自包含的LBP編碼的數(shù)量作為自變量,以預(yù)先統(tǒng)計的與所述自變量的各種取值對應(yīng)的單元格內(nèi)的實際人數(shù)為因變量,利用統(tǒng)計學(xué)習(xí)方法訓(xùn)練得到的。下面參考圖4(a)-(c)舉例對此進行說明。圖4(a)例示了包含2個人、5個人、12個人的三種示例性的人群排布場景;圖4(b)示出了與圖4(a)中所示的人群排布場景對應(yīng)的高度頂視圖;圖4(c)示出了從圖4(b)中所示的高度頂視圖中提取LBP特征的結(jié)果。對于圖4(c)中的每幅LBP特征提取結(jié)果圖,如上文中所述對其中的各個像素的LBP編碼進行分類統(tǒng)計,以統(tǒng)計出其中共包括多少種不同的LBP 編碼,以及每種不同的LBP編碼各自包括多少個LBP編碼,或者說每種不同的LBP編碼分別出現(xiàn)了多少次。由此,可以得到分別與2個人、5個人、12個人的人群密度對應(yīng)的LBP編碼的種類和各類LBP編碼中各自包含的LBP編碼的數(shù)量,作為訓(xùn)練樣本。類似的,可以對于更多的其他人群密度,統(tǒng)計出與其對應(yīng)的LBP編碼的種類和各類LBP編碼中各自包含的LBP編碼的數(shù)量,作為訓(xùn)練樣本。當(dāng)獲得一定數(shù)量的訓(xùn)練樣本后,可以以LBP編碼的種類和各類LBP編碼中各自包含的LBP編碼的數(shù)量作為自變量,以與其對應(yīng)的人群密度(即人數(shù))為因變量,利用各種適當(dāng)?shù)慕y(tǒng)計學(xué)習(xí)方法訓(xùn)練得到密度模型。所述密度模型描述了人群密度與對應(yīng)的LBP編碼的種類和各類LBP編碼中各自包含的LBP編碼的數(shù)量之間的對應(yīng)關(guān)系。因此,在對某一區(qū)域中各個像素的LBP編碼進行分類統(tǒng)計后,通過應(yīng)用該密度模型就可以得到與分類統(tǒng)計出的LBP編碼的種類以及各類LBP編碼中各自包含的LBP編碼的數(shù)量所對應(yīng)的人群密度。在步驟S1204,對于每個區(qū)域,基于該區(qū)域中檢測出的人數(shù)和該區(qū)域的面積,計算得到人群密度。在步驟中,可以如表達式(4)所示,計算出每個區(qū)域中的人群密度R=N/A…(4)其中,N為在步驟S1203中檢測出的每個區(qū)域中的人數(shù),A為該區(qū)域的面積。以上以采用基于聚類的方法和采用基于回歸的方法為例對步驟S120中的處理進行了描述,應(yīng)當(dāng)理解,上述方法僅僅是為了便于理解本公開而給出的示例,而并非是對本公開的限制,本領(lǐng)域技術(shù)人員可以采用本領(lǐng)域中任何已有的其他方法來執(zhí)行步驟S120中的處理?;氐綀D1,在步驟S130,根據(jù)所述人群密度,確定每個區(qū)域中初始檢測到的人的可見區(qū)域。能夠理解,人群密度越大,人與人之間的遮擋相應(yīng)地越嚴重,人的可見區(qū)域也就越少。作為一種示例,假設(shè)當(dāng)人群密度為高密度等級時,人與人之間發(fā)生嚴重遮擋,僅人的頭部區(qū)域可見;當(dāng)人群密度為中密度等級時,人與人之間的遮擋稍輕,人的頭-肩區(qū)域可見;當(dāng)人群密度為低密度等級時,人與人之間幾乎無遮擋,整個人的身體區(qū)域都是可見的。針對上面的假設(shè),在該步驟中,對于每個區(qū)域,將該區(qū)域的人群密度與第一閾值和第二閾值進行比較(第一閾值大于第二閾值);如果人群密度大于等于第一閾值,則確定該區(qū)域中初始檢測到的人的可見區(qū)域為頭部區(qū)域;如果人群密度小于第一閾值并且大于等于第二閾值,則確定該區(qū)域中初始檢測到的人的可見區(qū)域為頭-肩區(qū)域;如果人群密度小于第二閾值,則確定該區(qū)域中初始檢測到的人的可見區(qū)域為完整區(qū)域。所述第一閾值是劃分高密度等級和中密度等級的閾值,第二閾值是劃分中密度等級和低密度等級的閾值,其大小可以根據(jù)檢測要求等具體情況來設(shè)定,例如作為示例,第一閾值為2人/m2,第二閾值為0.75人/m2。當(dāng)然,將人群密度劃分為上述高、中、低三個密度等級僅僅是一個示例,將人群密度劃分為更多或更少的密度等級都是可以的。例如,可以將人群密度劃分為四個密度等級,其中除了所述高、中、低密度等級之外還包括人的上半身區(qū)域可見的中下密度等級。另一方面,上述各個密度等級中人的可見區(qū)域的假設(shè)也僅僅是一個示例,也可以采用其他假設(shè)。例如,可以將人群密度僅劃分為高、中兩個密度等級,并且假設(shè)在高密度等級下,僅人的頭部區(qū)域可見,在中密度等級下,人的上半身區(qū)域可見。在步驟S140,對于每一個初始檢測到的人,分別從所述高度頂視圖和與該高度頂視圖對應(yīng)的灰度或彩色圖中提取該人的第一梯度特征和第二梯度特征。從高度頂視圖和對應(yīng)的灰度或彩色圖中分別提取人的第一梯度特征和第二梯度特征的目的是獲取人的深度梯度信息和顏色梯度信息兩者。至于第一梯度特征和第二梯度特征具體采用哪種特征,本公開對此不做限制,本領(lǐng)域技術(shù)人員可以根據(jù)具體情況采用諸如LBP特征、haar特征、harris特征、HOG特征等各種適當(dāng)?shù)奶卣?。在本實施例中,作為示例,采用LBP直方圖作為第一梯度特征,采用HOG特征作為第二梯度特征。下面將參考圖5對該步驟的處理進行詳細描述。圖5例示了對于某一個初始檢測到的人從高度頂視圖和對應(yīng)的灰度或彩色圖中提取該人的第一梯度特征和第二梯度特征的處理的流程圖。也就是說,在該步驟S140中,對于每一個初始檢測到的人,都將執(zhí)行如圖5所例示的處理。如圖5所示,在步驟S1401,從高度頂視圖中包含有該初始檢測到的人的區(qū)域中,提取第一梯度特征。如前所述,在步驟S120中已將高度頂視圖劃分為一個或多個區(qū)域,在該步驟S1401中,將從包含有該初始檢測到的人的區(qū)域中提取第一梯度特征。例如,如果在步驟S120中通過聚類將高度頂視圖劃分為一個或多個聚類區(qū)域,則在該步驟中將從包含該初始檢測到的人的聚類區(qū)域中提取第一梯度特征;如果在步驟S120中將高度頂視圖劃分預(yù)定大小的區(qū)域,則在該步驟中將從包含該初始檢測到的人的某一預(yù)定大小的區(qū)域中提取該第一梯度特征。如前面提到的,在本實施例中,采用LBP直方圖作為第一梯度特征。直方圖是一種統(tǒng)計報告圖,其采用一系列高度不等的縱向條紋或線段表示數(shù)據(jù)分布的情況。通常,橫軸表示數(shù)據(jù)類型,縱軸表示分布情況。作為示例,可以基于上文中提到的LBP編碼的多維數(shù)組表示來形成LBP直方圖,即直方圖的橫軸表示所述區(qū)域中的各種LBP編碼,縱軸則表示該區(qū)域中每種LBP編碼出現(xiàn)的次數(shù)。其中,LBP編碼可以是直接由各個鄰域像素的值順序排列組成的二進制編碼,也可以是該順序排列的二進制編碼進行旋轉(zhuǎn)不變處理后得到的二進制編碼。需要說明的是,采用LBP直方圖作為第一梯度特征并非僅限于在步驟S120中將高度頂視圖劃分預(yù)定大小的區(qū)域的情形,其對于通過聚類將高度頂視圖劃分為一個或多個聚類區(qū)域的情形或通過其他方式劃分高度頂視圖的情形也同樣適用。在步驟S1402,基于該初始檢測到的人的最高點在高度頂視圖中的位置和像素值,通過坐標轉(zhuǎn)換,確定該初始檢測到的人在所述對應(yīng)的灰度或彩色圖中的位置及完整的該初始檢測到的人的外接矩形框。如何基于初始檢測到的人在高度頂視圖中的位置信息,通過坐標轉(zhuǎn)換得到該人在對應(yīng)的灰度或彩色圖中的位置信息是本領(lǐng)域中公知的。此處,為了說明的完整,對該坐標轉(zhuǎn)換處理簡單描述如下。已知初始檢測到的人的最高點(頭頂)在高度頂視圖中的位置和像素值H,可以通過公知的坐標轉(zhuǎn)換得到該最高點在相機坐標系中的位置坐標(X,Y,Z),繼而可以根據(jù)如下的表達式(5),以計算出該最高點在灰度或彩色圖像中的位置:HEAD_X=X/(Z/fx)+centerU;HEAD_Y=Y(jié)/(Z/fy)+centerV;…(5)其中HEAD_X和HEAD_Y表示人的最高點(頭頂)在灰度或彩色圖像中的 像素位置,fx,fy,centerU和centerV是相機固有的內(nèi)參。另外,可以通過如下的表達式(6)-(8),計算出該初始檢測到的人最低點(腳底)在灰度或彩色圖像中的像素位置:XWYWZW=RXYZ+T...(6)]]>其中,R和T是相機的外參矩陣,(X,Y,Z)表示人的最高點在相機坐標系中的位置,(XW,YW,ZW)表示該最高點在X-Z平面與地面重合、Y軸與地面垂直的世界坐標系中的位置。能夠理解,YW表示該人在真實世界中的高度。XCYCZC=RT(XW0ZW-T)...(7)]]>其中,(XW,0,ZW)表示該初始檢測到的人的最低點在所述世界坐標系中的位置,(XW,YW,ZW)表示該人的最低點在相機坐標系中的位置。FOOT_X=Xc/(Zc/fx)+centerU;FOOT_Y=Y(jié)c/(Zc/fy)+centerV;…(8)其中,FOOT_X和FOOT_Y表示該人的最低點(腳底)在灰度或彩色圖中的像素位置,fx,fy,centerU和centerV是相機固有的內(nèi)參。需要說明的是,由于人的遮擋,該最低點在灰度或彩色圖可能并不可見,此時,所計算出的FOOT_X和FOOT_Y是當(dāng)未被遮擋時,該最低點理論上應(yīng)該在灰度或彩色圖中的像素位置。由此,通過上述HEAD_X和HEAD_Y以及FOOT_X和FOOT_Y可以確定出該人在對應(yīng)的灰度或彩色圖中的位置。為了便于在圖中進行表示,可以如表達式(9)所示計算出該人在灰度或彩色圖中的外接矩形框的大小,以通過該外接矩形框來表示該人:w=BODY_W*fx/Zh=FOOT_Y-HEAD_Y…(9)其中BODY_W是真實人的身體寬度的常量,例如,通??梢栽O(shè)定BODY_W=40cm;fx是相機內(nèi)參之一。能夠理解,由于人的遮擋,此時外接 矩形框框出的可能并非是該人完整的身體部分,而是有可能框入了其他人的身體部分。圖6例示了在高度頂視圖中初始檢測到的人在對應(yīng)的灰度或彩色圖中的外接矩形框。具體的,圖6最左側(cè)的圖為高度頂視圖,中間的圖和右側(cè)的圖均為對應(yīng)的灰度圖。其中,中間的圖中的矩形框為該初始檢測到的人的外接矩形框,如圖中所示,由于人的遮擋,此時外接矩形框框入了其他人的身體部分。在步驟S1403,確定所述外接矩形框與該初始檢測到的人的可見區(qū)域?qū)?yīng)的部分。如前所述,由于人的遮擋,步驟S1402確定的外接矩形框可能框入了其他人的身體部分。在該步驟將通過確定外接矩形框與初始檢測到的人的可見區(qū)域?qū)?yīng)的部分,來調(diào)整該外接矩形框,從而使得其中僅框入該初始檢測到的人。例如,假設(shè)該初始檢測到的人的可見區(qū)域部分是頭-肩區(qū)域,并且根據(jù)人的平均身體比例可知頭-肩的高度約為人的身高的24%,由此可以確定外接矩形框與該可見區(qū)域?qū)?yīng)的部分為該外接矩形框的上部24%的區(qū)域。再比如,假設(shè)初始檢測到的人的可見區(qū)域部分是頭部區(qū)域,并且根據(jù)人的平均身體比例可知頭的高度約為人的身高的1/8,由此可以確定外接矩形框與該可見區(qū)域?qū)?yīng)的部分為該外接矩形框的上部1/8的區(qū)域。例如,圖6最右側(cè)的圖中的矩形框例示了當(dāng)人的可見區(qū)域是頭-肩區(qū)域時,所述外接矩形框與該可見區(qū)域?qū)?yīng)的部分。在步驟S1404,從對應(yīng)的灰度或彩色圖中的外接矩形框的對應(yīng)的部分中,提取第二梯度特征。如前面提到的,在本實施例中,采用HOG(方向梯度直方圖)特征作為第二梯度特征。則在該步驟中,從通過步驟S1403確定的外接矩形框的對應(yīng)的部分中提取該HOG特征。HOG特征是圖像處理領(lǐng)域公知的圖像特征,從圖像中提取HOG特征也是常用的圖像處理手段,此處不再贅述。回到圖1,在步驟S150,對于每一個初始檢測到的人,基于所提取的第一梯度特征和第二梯度特征,利用預(yù)先建立的、與所確定的該人的可見區(qū)域?qū)?yīng)的分類器,確定該初始檢測到的人的置信度。所述分類器是采用所述第一梯度特征和第二梯度特征預(yù)先訓(xùn)練得到的。如何針對選定的圖像特征來訓(xùn)練分類器是本領(lǐng)域中公知的,此處不再贅述。 需要說明的是,在本實施例中,分別針對人的不同的可見區(qū)域訓(xùn)練對應(yīng)的分類器。例如,如果預(yù)先設(shè)定人的可見區(qū)域分為三種:頭部區(qū)域、頭-肩區(qū)域和完整區(qū)域,則分別利用人的可見區(qū)域為頭部區(qū)域的訓(xùn)練樣本訓(xùn)練得到與人的頭部區(qū)域?qū)?yīng)的分類器,利用人的可見區(qū)域為頭-肩區(qū)域的訓(xùn)練樣本訓(xùn)練得到與人的頭-肩區(qū)域?qū)?yīng)的分類器,以及利用人的可見區(qū)域為完整區(qū)域的訓(xùn)練樣本訓(xùn)練得到與人的完整區(qū)域?qū)?yīng)的分類器。當(dāng)然,如果采用不同的可見區(qū)域劃分方法,則相應(yīng)地訓(xùn)練出與通過該劃分方法確定的各種可見區(qū)域?qū)?yīng)的分類器。例如,如果預(yù)先設(shè)定人的可見區(qū)域分為頭部區(qū)域和上半身區(qū)域兩種,則相應(yīng)地訓(xùn)練出與人的頭區(qū)域?qū)?yīng)的分類器和與人的上半身區(qū)域?qū)?yīng)的分類器。在訓(xùn)練得到分類器后,對于每一個初始檢測到的人,可以基于分類器針對第一梯度特征和第二梯度特征給出的相似度分值確定該人的置信度。此處,置信度表示每一個初始檢測到的人確實是待檢測的人(即正確檢測)的可信程度,顯然,如果分類器給出的相似度分值越高,則該初始檢測到的人是正確檢測的可信程度應(yīng)該越高,即置信度越大。具體的,作為示例,在該步驟中,對于每一個初始檢測到的人,將針對該人提取的第一梯度特征和第二梯度特征作為輸入放到與所確定的該人的可見區(qū)域?qū)?yīng)的分類器中,并將分類器給出的相似度分值作為該初始檢測到的人的置信度p(x)。在步驟S160,根據(jù)所述置信度,對初始的人的檢測結(jié)果進行修正。在該步驟中,可以采用任何適當(dāng)?shù)姆绞礁鶕?jù)所述置信度對初始的人的檢測結(jié)果進行修正。例如,作為一種最基本的方法,可以將每個初始檢測到的人的置信度與置信度閾值進行比較,如果置信度大于等于置信度閾值,則確定初始檢測到的人是待檢測的人(即正確檢測),如果置信度小于置信度閾值,則確定初始檢測到的人是誤檢。作為示例,可以如表達式(10)所示根據(jù)置信度對初始的人的檢測結(jié)果進行修正其中,x=1表示該初始檢測結(jié)果是正確結(jié)果,即該初始檢測到的人是待檢測到的人,否則判定該初始檢測結(jié)果為誤檢。ThresholdC是置信度閾值,其可 以根據(jù)具體需要來設(shè)定,例如可以設(shè)定ThresholdC=0.75??蛇x的,考慮到檢測結(jié)果的正確性與前面的步驟S120中對每個區(qū)域中的人群密度的估計結(jié)果有關(guān),因此可以同時考慮各區(qū)域中的人群密度和置信度進行修正。具體的,對于每個所述區(qū)域,可以通過求解如表達式(11)表示的優(yōu)化問題來獲得修正的人的檢測結(jié)果:minXi∈{0,1}(D-||X||-X′×p(X))...(11)]]>其中D表示在前面的步驟S120中采用基于回歸的方法估計出的該區(qū)域中的人群密度,X為該區(qū)域中檢測到的人的向量表示,其初始值為該區(qū)域中初始檢測到的人的向量表示,Xi為向量X中的第i個元素,p(X)為該區(qū)域中初始檢測到的人的置信度向量。例如,假設(shè)在某一區(qū)域中初始檢測到3個人,并且這3個人的置信度分別為0.9,0.7和0,2,則初始時向量X=111,]]>向量p(X)=0.90.70.2]]>上述表達式(11)中的第一項D-||X||的優(yōu)化目標為減少密度等級的估計和人的檢測結(jié)果之間的差別;第二項X′×p(X)的優(yōu)化目標為保留高置信度的初始的人的檢測結(jié)果。通過求解如表達式(11)表示的優(yōu)化問題,得到X的最優(yōu)解,作為修正的人的檢測結(jié)果。該表達式(11)可以通過諸如貪婪算法迭代求解等各種適當(dāng)?shù)姆绞絹砬蠼?,此處不再贅述。以上已?jīng)參考附圖描述了根據(jù)本公開實施例的人的檢測方法。在該方法中,根據(jù)不同的擁擠程度采用諸如頭部分類器、頭-肩分類器和完整身體分類器等不同的分類器對初始檢測結(jié)果進行修正,從而不僅在人群擁擠導(dǎo)致人體相互遮擋的情況下能夠較為準確地檢測出各個人,而且在檢測范圍內(nèi)各區(qū)域的擁擠程度不同從而導(dǎo)致各區(qū)域的人體遮擋程度不同的情況下,針對每個區(qū)域都能獲得較好的檢測結(jié)果。下面參考圖7描述根據(jù)本公開實施例的人的檢測的設(shè)備。圖7示出了根據(jù)本公開實施例的人的檢測設(shè)備的功能配置框圖。如圖7所示,人的檢測設(shè)備700可以包括:初始檢測單元710,配置為在包含待檢測的人的高度頂視圖中,進行初始的人的檢測;密度估計單元720,配置為將所述高度頂視圖劃分為一個或多個區(qū)域,并估計每個區(qū)域中的人群密度;可見區(qū)域確定單元730,配置為根據(jù)所述人群密度,確定每個區(qū)域中初始檢測到的人的可見區(qū)域;特征提取單元740,配置為對于每一個初始檢測到的人,分別從所述高度頂視圖和與該高度頂視圖對應(yīng)的灰度或彩色圖中提取該人的第一梯度特征和第二梯度特征;置信度確定單元750,配置為對于每一個初始檢測到的人,基于所提取的第一梯度特征和第二梯度特征,利用預(yù)先建立的、與所確定的該人的可見區(qū)域?qū)?yīng)的分類器,確定該初始檢測到的人的置信度;以及修正單元760,配置為根據(jù)所述置信度,對初始的人的檢測結(jié)果進行修正??蛇x的,所述可見區(qū)域確定單元730進一步包括:比較單元,配置為將該區(qū)域的人群密度與第一閾值和第二閾值進行比較,所述第一閾值大于第二閾值;確定單元,配置為如果人群密度大于等于第一閾值,則確定該區(qū)域中初始檢測到的人的可見區(qū)域為頭部區(qū)域;如果人群密度小于第一閾值并且大于等于第二閾值,則確定該區(qū)域中初始檢測到的人的可見區(qū)域為頭-肩區(qū)域;如果人群密度小于第二閾值,則確定該區(qū)域中初始檢測到的人的可見區(qū)域為完整區(qū)域。可選的,所述特征提取單元740進一步包括:第一特征提取單元,配置為從高度頂視圖中包含有該初始檢測到的人的區(qū)域中,提取第一梯度特征;位置確定單元,配置為基于該初始檢測到的人的最高點在高度頂視圖中的位置和像素值,通過坐標轉(zhuǎn)換,確定該初始檢測到的人在所述對應(yīng)的灰度或彩色圖中的位置及完整的該初始檢測到的人的外接矩形框;位置調(diào)整單元,配置為確定所述外接矩形框與該初始檢測到的人的可見區(qū)域?qū)?yīng)的部分;第二特征單元,配置為提取從對應(yīng)的灰度或彩色圖中的外接矩形框的對應(yīng)的部分中,提取第二梯度特征??蛇x的,所述置信度確定單元750采用的分類器是采用所述第一梯度特征和第二梯度特征訓(xùn)練得到的,所述分類器包括與人的頭部區(qū)域?qū)?yīng)的分類器、與人的頭肩區(qū)域?qū)?yīng)的分類器和與人的完整區(qū)域?qū)?yīng)的分類器。上述初始檢測單元710、密度估計單元720、可見區(qū)域確定單元730、特征提取單元740、置信度確定單元750、修正單元760、比較單元、確定單元、 第一特征提取單元、位置確定單元、位置調(diào)整單元、第二特征單元的具體功能和操作可以參考上述圖1到圖6的相關(guān)描述,此處不再重復(fù)描述。下面參考圖8描述根據(jù)本公開實施例的人的檢測系統(tǒng)800的總體硬件框圖。如圖8所示,人的檢測系統(tǒng)800可以包括:輸入設(shè)備810,用于從外部輸入有關(guān)圖像或信息,例如攝像機拍攝的深度圖、灰度圖(彩色圖)等,該輸入設(shè)備例如可以是鍵盤、鼠標、攝像機等等;處理設(shè)備820,用于實施上述的按照本公開實施例的人的檢測方法,或者實施為上述的人的檢測設(shè)備,該處理設(shè)備例如可以是計算機的中央處理器或其它的具有處理能力的芯片等等;輸出設(shè)備830,用于向外部輸出實施上述檢測過程所得到的結(jié)果,例如檢測到的人的位置等等,該輸出設(shè)備例如可以是顯示器、打印機等等;以及存儲設(shè)備840,用于以易失或非易失的方式存儲上述人的檢測過程涉及的諸如深度圖、灰度圖(彩色圖)、初始的人的檢測結(jié)果、各區(qū)域的人群密度、初始檢測到的人的可見區(qū)域、各種閾值、第一梯度特征、第二梯度特征、各種預(yù)先訓(xùn)練好的分類器、置信度等等,該存儲設(shè)備例如可以是隨機存取存儲器(RAM)、只讀存儲器(ROM)、硬盤、或半導(dǎo)體存儲器等等的各種易失或非易失性存儲器。以上結(jié)合具體實施例描述了本公開的基本原理,但是,需要指出的是,在本公開中提及的優(yōu)點、優(yōu)勢、效果等僅是示例而非限制,不能認為這些優(yōu)點、優(yōu)勢、效果等是本公開的各個實施例必須具備的。另外,上述公開的具體細節(jié)僅是為了示例的作用和便于理解的作用,而非限制,上述細節(jié)并不限制本公開為必須采用上述具體的細節(jié)來實現(xiàn)。本公開中涉及的器件、裝置、設(shè)備、系統(tǒng)的方框圖僅作為例示性的例子并且不意圖要求或暗示必須按照方框圖示出的方式進行連接、布置、配置。如本領(lǐng)域技術(shù)人員將認識到的,可以按任意方式連接、布置、配置這些器件、裝置、設(shè)備、系統(tǒng)。諸如“包括”、“包含”、“具有”等等的詞語是開放性詞匯,指“包括但不限于”,且可與其互換使用。這里所使用的詞匯“或”和“和”指詞匯“和/或”,且可與其互換使用,除非上下文明確指示不是如此。這里所使用的詞匯“諸如”指詞組“諸如但不限于”,且可與其互換使用。本公開中的步驟流程圖以及以上方法描述僅作為例示性的例子并且不意圖要求或暗示必須按照給出的順序進行各個實施例的步驟,某些步驟可以并行、彼此獨立或按照其他適當(dāng)?shù)捻樞驁?zhí)行。另外,諸如“其后”、“然后”、“接 下來”等等的詞語不意圖限制步驟的順序;這些詞語僅用于引導(dǎo)讀者通讀這些方法的描述。另外,如在此使用的,在以“至少一個”開始的項的列舉中使用的“或”指示分離的列舉,以便例如“A、B或C的至少一個”的列舉意味著A或B或C,或AB或AC或BC,或ABC(即A和B和C)。此外,措辭“示例的”不意味著描述的例子是優(yōu)選的或者比其他例子更好。還需要指出的是,在本公開的裝置和方法中,各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應(yīng)視為本公開的等效方案。對本領(lǐng)域的普通技術(shù)人員而言,能夠理解本公開的方法和裝置的全部或者任何部分,可以在任何計算裝置(包括處理器、存儲介質(zhì)等)或者計算裝置的網(wǎng)絡(luò)中,以硬件、固件、軟件或者它們的組合加以實現(xiàn)。所述硬件可以是利用被設(shè)計用于進行在此所述的功能的通用處理器、數(shù)字信號處理器(DSP)、ASIC、場可編程門陣列信號(FPGA)或其他可編程邏輯器件(PLD)、離散門或晶體管邏輯、離散的硬件組件或者其任意組合。通用處理器可以是微處理器,但是作為替換,該處理器可以是任何商業(yè)上可獲得的處理器、控制器、微控制器或狀態(tài)機。處理器還可以實現(xiàn)為計算設(shè)備的組合,例如DSP和微處理器的組合,多個微處理器、與DSP核協(xié)作的一個或多個微處理器或任何其他這樣的配置。所述軟件可以存在于任何形式的計算機可讀的有形存儲介質(zhì)中。通過例子而不是限制,這樣的計算機可讀的有形存儲介質(zhì)可以包括RAM、ROM、EEPROM、CD-ROM或其他光盤存儲、磁盤存儲或其他磁存儲器件或者可以用于攜帶或存儲指令或數(shù)據(jù)結(jié)構(gòu)形式的期望的程序代碼并且可以由計算機訪問的任何其他有形介質(zhì)。如在此使用的,盤包括緊湊盤(CD)、激光盤、光盤、數(shù)字通用盤(DVD)、軟盤和藍光盤。本公開的智能控制技術(shù)還可以通過在任何計算裝置上運行一個程序或者一組程序來實現(xiàn)。所述計算裝置可以是公知的通用裝置。本公開的智能技術(shù)也可以僅僅通過提供包含實現(xiàn)所述方法或者裝置的程序代碼的程序產(chǎn)品來實現(xiàn),或者通過存儲有這樣的程序產(chǎn)品的任意存儲介質(zhì)來實現(xiàn)??梢圆幻撾x由所附權(quán)利要求定義的教導(dǎo)的技術(shù)而進行對在此所述的技術(shù)的各種改變、替換和更改。此外,本公開的權(quán)利要求的范圍不限于以上所述的處理、機器、制造、事件的組成、手段、方法和動作的具體方面??梢岳门c在此所述的相應(yīng)方面進行基本相同的功能或者實現(xiàn)基本相同的結(jié)果的當(dāng) 前存在的或者稍后要開發(fā)的處理、機器、制造、事件的組成、手段、方法或動作。因而,所附權(quán)利要求包括在其范圍內(nèi)的這樣的處理、機器、制造、事件的組成、手段、方法或動作。提供所公開的方面的以上描述以使本領(lǐng)域的任何技術(shù)人員能夠做出或者使用本公開。對這些方面的各種修改對于本領(lǐng)域技術(shù)人員而言是非常顯而易見的,并且在此定義的一般原理可以應(yīng)用于其他方面而不脫離本公開的范圍。因此,本公開不意圖被限制到在此示出的方面,而是按照與在此公開的原理和新穎的特征一致的最寬范圍。盡管以上已經(jīng)討論了多個示例方面和實施例,但是本領(lǐng)域技術(shù)人員將認識到其某些變型、修改、改變、添加和子組合。當(dāng)前第1頁1 2 3