本發(fā)明涉及一種用于對經(jīng)過限定空間的行人數(shù)目進行計數(shù)的系統(tǒng)和方法。具體地，但不排他地，本發(fā)明涉及一種用于確定與經(jīng)過門口進入和離開零售商店的行人有關(guān)的人口統(tǒng)計信息的系統(tǒng)。

背景技術(shù)：

為了改善顧客體驗并能夠制定有邏輯且合理的業(yè)務(wù)決策，零售商收集有關(guān)使用其商店的顧客的數(shù)據(jù)。該數(shù)據(jù)可以包括與各個商店和/或整個零售業(yè)務(wù)的銷售、收入、成本、員工數(shù)、客流量和人口統(tǒng)計相關(guān)的數(shù)據(jù)。對于“客流量”，我們是指進入和/或離開零售商店的人數(shù)。對于“人口統(tǒng)計”，我們是指在客流量數(shù)目中所計的人的屬性——通常包括(但不限于)性別和年齡。

有幾種已知的收集零售商店客流量數(shù)據(jù)的方法，但是生成與進入商店的顧客相關(guān)的人口統(tǒng)計數(shù)據(jù)要更加困難。零售商多年來一直在商店的入口處使用客流量計數(shù)器。通過將客流量計數(shù)器安置在商店的門口(即，入口/出口)，零售商可以記錄關(guān)于商店一天中安靜或忙碌的時間的數(shù)據(jù)。此數(shù)據(jù)可以幫助管理人員了解商店的表現(xiàn)。管理層需要了解，例如，與幾周/幾月/幾年前相比，商店吸引到了更多還是更少的客戶。商店所有者可能有興趣確定一天中最繁忙和/或最安靜的時間，以規(guī)劃員工配備要求，或比較不同位置的商店的轉(zhuǎn)換率(即銷售量相對于客流量水平的比率)。

收集與使用每個商店的與顧客相關(guān)的人口統(tǒng)計數(shù)據(jù)有助于了解訪問和使用商店的人的“類型”。這樣，可以確定趨勢和模式，并用于做出管理決策。例如，可以看出，男性成年人在他們的午餐時間為了正裝而進行購物，而成年女性在晚上購買休閑服。管理者能夠使用這些信息來衡量績效，例如確定新的廣告活動是否吸引到預(yù)期的人群，或者了解在不同地點購物的不同類型的顧客。商店所有者還可以使用該數(shù)據(jù)來幾乎實時地提供定向廣告或產(chǎn)品促銷；例如，如果商店目前80％是穿正裝的男性，則可以對該顧客人群采用適當(dāng)?shù)拇黉N或廣告策略。

簡單的客流量計數(shù)器是廣泛可用的，并且已經(jīng)用于零售分析多年。簡單形式的客流量計數(shù)器使用位于門口的門檻的任一側(cè)的紅外光束(或兩個平行光束)和紅外傳感器。當(dāng)一個人穿過光束，阻斷光束，傳感器檢測到阻斷，并且該裝置使其計數(shù)器增加計數(shù)。使用兩個光束允許裝置按照光束被阻斷的順序檢測人是進入還是離開商店。其他客流量計數(shù)裝置包括位于門口上方向下指向的熱敏檢測器或攝像機，使得該裝置對在檢測器或攝像機下經(jīng)過的人體(即走入和離開商店)的數(shù)目進行計數(shù)。

收集人口統(tǒng)計數(shù)據(jù)比計算客流量更難，因為必須從圖像或檢測到的讀數(shù)中提取附加數(shù)據(jù)，以建立對象的類型或分類。例如，不僅僅是對走進商店的人進行計數(shù)，系統(tǒng)還必須識別那些人的屬性——無論他們是年輕人還是老人，男性還是女性等等。

大型零售商已經(jīng)成功地使用會員卡方案來收集關(guān)于他們的顧客的行為和人口統(tǒng)計的更詳細的信息。然而，如果所收集的數(shù)據(jù)要代表購物者真實的潛在的行為，則這樣的系統(tǒng)要求所有顧客加入該方案。面部檢測和識別系統(tǒng)也可以提供人口統(tǒng)計數(shù)據(jù)，但是這些開發(fā)起來比較昂貴。此外，由于基于可能侵犯客戶隱私方面的反對，需要分析顧客的面部圖像的系統(tǒng)在商業(yè)上的應(yīng)用很緩慢。

技術(shù)實現(xiàn)要素：

本發(fā)明涉及一種系統(tǒng)，其中擴展了客流量計數(shù)系統(tǒng)，以使用成像技術(shù)和測量方法來通過分析鞋類來從進入和/或離開零售位置的顧客提取人口統(tǒng)計數(shù)據(jù)。在實施例中，還分析了顧客的小腿的一部分。

根據(jù)本發(fā)明的一個方面，我們提供一種用于監(jiān)測行人的系統(tǒng)，所述系統(tǒng)包括：

數(shù)據(jù)獲取系統(tǒng)，其包括數(shù)據(jù)獲取裝置；

計算機系統(tǒng)，其通信連接到所述數(shù)據(jù)獲取系統(tǒng)并且被配置為從所述數(shù)據(jù)獲取系統(tǒng)接收代表行人的一部分的數(shù)據(jù)，所述一部分包括與所述行人的至少一只腳或鞋類物品有關(guān)的數(shù)據(jù)；

其中，所述計算機系統(tǒng)能夠操作為識別行人的存在并且對一定時間間隔內(nèi)觀察到的行人的數(shù)目進行計數(shù)。

根據(jù)本發(fā)明的另一方面，我們一種監(jiān)測行人的方法，所述方法包括以下步驟：

使用數(shù)據(jù)獲取裝置獲取代表行人的一部分的數(shù)據(jù)；

將代表行人的所述部分的數(shù)據(jù)傳送到計算機系統(tǒng)，所述部分包括所述行人的至少一只腳或鞋類物品；

使用所述計算機確定行人的存在以及在一段時間間隔內(nèi)觀察到的行人的數(shù)目。

在所附權(quán)利要求中描述了本發(fā)明的上述方面的其它特征。

附圖說明

下面僅作為示例并參考附圖描述本發(fā)明的實施例，其中：

圖1是示出了關(guān)于目標區(qū)域而設(shè)置的圖像獲取裝置的示意圖；

圖2是示出了步行穿過目標區(qū)域的行人的示意圖；

圖3是表示根據(jù)本發(fā)明的實施例的方法的流程圖；

圖4是示出了在步行周期的一部分期間行人的腳的相對階段位移的示意圖；

圖5是在關(guān)于目標區(qū)域的地面上平放的行人的腳的示意圖，用于說明對腳和圖像獲取裝置之間的距離的估計；

圖6是圖5的行人的腳的示意圖，用于說明腳的尺寸；

圖7是示出了本發(fā)明的實施例的硬件元件交互的示意圖；

以及圖8是表示根據(jù)本發(fā)明的實施例的方法的流程圖。

具體實施方式

參考附圖，示出了用于監(jiān)測行人的系統(tǒng)10。圖1示出了數(shù)據(jù)獲取裝置14，其關(guān)于行人經(jīng)過的“目標區(qū)域”12而設(shè)置。通常，目標區(qū)域被選為到達零售商店的入口或離開零售商店的出口。當(dāng)然，本發(fā)明的系統(tǒng)適合于在行人經(jīng)過的任何環(huán)境中使用，其中獲得與那些行人有關(guān)的客流量或人口統(tǒng)計數(shù)據(jù)是令人感興趣的。為了簡化下面的描述，我們將解釋與零售商店門口相關(guān)的系統(tǒng)的示例的使用。對于“門口”，我們簡單地指來自建筑物或商店單元的入口點和/或出口點，并不是必需存在一個或多個門。例如，門口可以簡單地是拱門，或者來自室內(nèi)購物中心的開放入口。對于術(shù)語“客流量”信息，我們指的是與一段時間內(nèi)在目標區(qū)域內(nèi)觀察到的行人數(shù)目有關(guān)的信息。

一般來說，系統(tǒng)10包括數(shù)據(jù)獲取系統(tǒng)，所述數(shù)據(jù)獲取系統(tǒng)包括數(shù)據(jù)獲取裝置14、計算機系統(tǒng)32，所述計算機系統(tǒng)通信連接到數(shù)據(jù)獲取系統(tǒng)并且被配置為從數(shù)據(jù)獲取系統(tǒng)14接收代表行人的一部分的數(shù)據(jù)，所述一部分至少包括行人的腳或鞋類物品。計算機系統(tǒng)32可操作為識別行人的存在并且對一定時間間隔內(nèi)觀察到的行人數(shù)目進行計數(shù)(即，獲得“客流量”信息)。計算機系統(tǒng)32優(yōu)選地可操作為，基于代表行人的腳或鞋類物品的數(shù)據(jù)來確定該行人或每個行人的人口統(tǒng)計屬性。

在優(yōu)選的實施例中，數(shù)據(jù)獲取系統(tǒng)是圖像獲取系統(tǒng)，并且數(shù)據(jù)獲取裝置14是圖像獲取裝置14(并且術(shù)語數(shù)據(jù)獲取裝置和圖像獲取系統(tǒng)/裝置將在本文中可互換地使用)。數(shù)據(jù)獲取系統(tǒng)可以包括單個數(shù)據(jù)獲取裝置14，或者可以包括多個數(shù)據(jù)獲取裝置。在優(yōu)選的實施例中，數(shù)據(jù)獲取裝置14是能夠記錄靜止圖像和/或視頻圖像的攝像機。攝像機可以以預(yù)定義的間隔(例如每0.05秒、每0.1秒、每0.2秒1個圖像，等等)記錄圖像。在其他實施例中，數(shù)據(jù)獲取裝置14可以是二維或三維激光掃描裝置。在其他實施例中，數(shù)據(jù)獲取裝置14可以是能夠檢測壓力的地下傳感器陣列，或者可以使用光折射來檢測地面上的腳步。

術(shù)語數(shù)據(jù)獲取裝置14用于指代所有這些以及任何其他用于獲取與行人有關(guān)的數(shù)據(jù)(包括那些行人的腳或鞋類物品的外觀)的合適的裝置和相關(guān)的方法。然而，為了簡單起見，術(shù)語圖像獲取系統(tǒng)和圖像獲取裝置14將分別用于指代數(shù)據(jù)獲取系統(tǒng)和裝置。

目標區(qū)域12通常在任一側(cè)由商店的壁界定，圖像獲取裝置放置在墻壁附近、墻壁上或在墻壁內(nèi)，或放置在商店的入口/出口處或它們附近的某一其它位置處。例如，可以放置攝像機以獲取進入和/或離開商店的行人的腳的圖像。除了行人的鞋和腳之外，圖像可以包括行人的腿的一部分，包括小腿上的衣服的外觀。在實施例中，圖像獲取裝置14被放置在地板平面上方300mm至1000mm之間，并且優(yōu)選地在地板平面上方400mm至700mm之間，并且跨過門口的門檻而進行指向。

可以執(zhí)行校準步驟來對數(shù)據(jù)獲取系統(tǒng)或計算機系統(tǒng)32進行校準，以考慮圖像獲取裝置14的位置及其方向。該校準步驟可以包括：獲取圖像，在該圖像中，預(yù)定義的投影或形狀出現(xiàn)在門口的已知位置，使得獲取到的圖像中的形狀或投影的相對位置可以用于提供關(guān)于未來圖像中獲取的對象的形狀、方向和/或位置的相關(guān)信息。例如，通過向計算機系統(tǒng)32(或圖像獲取系統(tǒng))提供數(shù)據(jù)(所述數(shù)據(jù)將圖像場中的位置與跨過門口的門檻的位置相關(guān)聯(lián))，可以計算在未來圖像中獲取的對象的諸如大小和形狀的信息。

應(yīng)當(dāng)注意，在所描述的圖像處理步驟、校準步驟、識別步驟和分析步驟(或任何其他的計算)中，那些計算可以使用圖像獲取系統(tǒng)或使用計算機系統(tǒng)32在本地執(zhí)行，或者使用計算機系統(tǒng)32的遠程部件或附加的遠程計算裝置(例如遠程服務(wù)器)執(zhí)行。這里，為了簡單起見，我們針對使得計算機系統(tǒng)32負責(zé)執(zhí)行處理和/或其他計算步驟的方面來描述該系統(tǒng)。

僅作為示例，可以使用設(shè)置為跨過門口的靜態(tài)基準來執(zhí)行校準。這些可以用于確定與攝像機的向下角度相關(guān)的信息(參見圖5和圖6)。標記由跨過門口的、在橫向和/或縱向上間隔開的標志線組成(分別參見圖5和圖6)。可以使用黑色或白色涂料，使用投影儀或使用反光材料和UV、紅外或其他合適的攝像機將所述標志線物理地標記在目標區(qū)域中的地面上，以檢測所述標志線。由于攝像機向下傾斜跨過門口，更遠的對象出現(xiàn)在圖像獲取裝置14的視場中的較高位置處。所述標志線為攝像機提供基準，以在橫向標志線(圖5)的情況下檢測給定對象的距離，或使用縱向標志線(圖6)提供直接針對對象大小的基準。因此，它可以估計對象的大小。

當(dāng)然，一旦圖像獲取裝置已經(jīng)完成了設(shè)置和校準，基準門口標志線可以是可移除的。

在實施例中，系統(tǒng)10可以通過投影與圖像獲取裝置14相關(guān)的標志線并使用那些投影標志線來自動執(zhí)行校準，以執(zhí)行如上所述的校準。

計算機系統(tǒng)32可以是具有處理器和存儲器裝置的任何已知的合適類型的計算系統(tǒng)。計算機系統(tǒng)32可操作為接收由圖像獲取裝置14獲取的所述圖像或每個圖像。計算機系統(tǒng)32包括存儲裝置36，其配置用來存儲與觀察到的行人數(shù)目(例如，在特定時間段內(nèi))有關(guān)的信息。另外，存儲裝置36可以配置用來存儲與由圖像獲取裝置14獲取的行人相關(guān)的確定的人口統(tǒng)計屬性。該數(shù)據(jù)可以存儲在計算機系統(tǒng)32上并且通常經(jīng)由計算機系統(tǒng)32訪問，或者可替換地可以存儲在遠離計算機系統(tǒng)32本身的位置，并且經(jīng)由本地網(wǎng)絡(luò)或經(jīng)由遠程通信方式(例如經(jīng)由WIFI或經(jīng)由因特網(wǎng))訪問。

在實施例中，系統(tǒng)10還包括適于將所確定的行人的人口統(tǒng)計屬性傳送給用戶的報告系統(tǒng)。用戶可以經(jīng)由例如遠程手持裝置40或者通過例如因特網(wǎng)或網(wǎng)絡(luò)連接而經(jīng)由個人計算機38訪問所傳送的數(shù)據(jù)。

廣義地說，如圖3所示，系統(tǒng)10操作如下。系統(tǒng)10獲取目標門口的圖像20，從中估計22圖像中的對象(即鞋)的屬性。例如，系統(tǒng)10可以估計圖像中觀察到的鞋的尺寸或鞋的顏色。然后通過與先前觀察的數(shù)據(jù)或提供給系統(tǒng)10的數(shù)據(jù)集(例如分類器數(shù)據(jù)集26)或由系統(tǒng)10存儲的一個或多個規(guī)則進行比較來對對象進行分類。新觀察的對象和關(guān)于該對象的數(shù)據(jù)可以存儲到觀察結(jié)果數(shù)據(jù)庫28中，并且該數(shù)據(jù)可以由分析軟件和/或報告模塊30使用以向用戶提供數(shù)據(jù)。

更詳細地，并參考附圖中的圖8，闡述了根據(jù)本發(fā)明的實施例的操作方法。在圖像獲取步驟102中獲取數(shù)據(jù)(即，圖像)。然后評定數(shù)據(jù)，以確定在門口的區(qū)域內(nèi)是否發(fā)生了任何運動。為了進行這種評定，要獲得“默認”背景視圖的知識。換句話說，當(dāng)沒有行人經(jīng)過門口時，圖像獲取裝置提供連續(xù)相同的圖像數(shù)據(jù)，因此有利于系統(tǒng)10知道該背景圖像。以這種方式，當(dāng)圖像改變時，可以評定圖像的哪個部分涉及行人跨過視場移動，以及圖像的哪些部分僅涉及靜止背景。

在實施例中，系統(tǒng)10確定連續(xù)的圖像是否指示背景已經(jīng)改變(步驟104)。例如，如果行人在門口處放置了包，那個包可能出現(xiàn)在由圖像獲取裝置14獲得的許多連續(xù)圖像中。如果由圖像獲取裝置14獲得的圖像序列在序列的預(yù)定長度上是相同的，則由系統(tǒng)10存儲的背景信息將更新以反映該改變(步驟106)。

為了收集關(guān)于圖像獲取裝置14的視野中的“背景”圖像的數(shù)據(jù)以更新背景數(shù)據(jù)(步驟106)，選擇了多個圖像作為一樣本。所述樣本可以包含針對預(yù)定的樣本大小(例如，二十個圖像)在預(yù)定義時間段內(nèi)獲取的每十個圖像。從圖像的樣本中分析圖像的像素，并且為畫面的每個像素計算中值。所得到的中值平均圖像提供了對背景視圖的估計。例如，如果行人在采集樣本期間走過門口，則行人的鞋和腿將僅在一段時間內(nèi)獲取的圖像中的有限部分是明顯的。由于采用每個像素的中值，因此可以安全地假定最常見的像素值是背景值，并且行人僅出現(xiàn)在樣本內(nèi)的少數(shù)圖像的特定像素中。因此，通過取中值，從背景圖像中去除了經(jīng)過視場的前景對象，并且僅存儲與背景有關(guān)的數(shù)據(jù)。

然后，系統(tǒng)10通過將新獲取的圖像與先前獲取的圖像(或在一些實施例中，與存儲的背景圖像)進行比較來確定是否已經(jīng)發(fā)生運動(步驟108)。如果圖像不同，則發(fā)生了運動。如果發(fā)生了運動，則系統(tǒng)10可以分析其中已經(jīng)感測到運動的圖像或圖像序列，以確定圖像中存在的一個或多個對象(即鞋)的細節(jié)。如果沒有感測到運動，則系統(tǒng)10可以處理最近分析的數(shù)據(jù)以從已經(jīng)識別的對象提取信息，使得該信息可以被存儲和/或報告給用戶。

在感測到運動的情況下，首先，使用標準圖像處理技術(shù)(步驟112)，系統(tǒng)10使用一個或多個圖像操縱技術(shù)(例如縮放、移位、居中、降噪、顏色校正、歸一化和校正透鏡畸變等)處理圖像112。如圖8所示，該圖像預(yù)處理步驟可以在進行任何運動評定之前進行，或者可以僅在已經(jīng)檢測到運動的情況下應(yīng)用。

系統(tǒng)10可以識別所收集到的圖像數(shù)據(jù)的一部分，例如代表行人的腳或鞋類物品。為了進行該識別，必須構(gòu)建圖像的前景(步驟114)，以將圖像的相關(guān)部分與背景隔離。為了獲得與圖像的前景有關(guān)的數(shù)據(jù)，可以從新獲取的數(shù)據(jù)中減去所存儲的背景信息，留下所有非背景數(shù)據(jù)(即前景數(shù)據(jù))用于分析。

因此，在實施例中，對于圖像中的每個像素，跨一組圖像計算中間像素值，以獲得背景圖像。然后從未來觀察到的圖像中減去該圖像，以識別那些圖像的有效部分。

為了可靠地檢測鞋類對象(并且獲得其尺寸和其他特性的準確估計)，優(yōu)選的是在物體在視野內(nèi)相對靜止時評估該對象，以便獲得對象的清晰的描繪。此外，無論鞋子在圖像中是否設(shè)置為“平放”，這都可能發(fā)生。當(dāng)行人步行穿過目標區(qū)域時，如圖4所示，腳或鞋將以角向運動進行移動。當(dāng)腳以平放位置放在地上(即系列中的圖像3)時測量腳的尺寸最簡單。計算機系統(tǒng)32可以通過比較一系列連續(xù)圖像來考慮腳預(yù)計的旋轉(zhuǎn)，以確定圖像顯示出對象跨過視場時處于其“最平坦”的狀態(tài)。

在實施例中，為了實現(xiàn)這一點，使用畫面平均技術(shù)。畫面平均涉及取得前景數(shù)據(jù)的平均值(即，疊加圖像數(shù)據(jù))。以這種方式，在圖像之間保持恒定的像素將使得像素的平均值朝該恒定值偏移。例如，當(dāng)行人跨過視場，推動購物車/手推車時，購物車在整個圖像序列中的移動是相當(dāng)規(guī)則的。相反，如上所述，行人的鞋的運動是不規(guī)則的。存在其中鞋平放在地面上的位置，并且在該位置，鞋將在行人將鞋抬離地面之前保持(基本上)靜止一段時間。通過在圖像序列上對圖像數(shù)據(jù)求平均值(即，獲取序列中每個像素的平均值)，大部分前景圖像將被模糊，但是鞋保持靜止的部分將通過對(遍及序列中的多個圖像是重復(fù)的那些)像素進行強化而變得顯著。實際上，圖像的重復(fù)部分被疊加。以這種方式，可以獲得鞋的相對清晰的圖像，并且前景中的其他對象可以被忽略或丟棄。

因此，在實施例中，對于每個像素，跨一組(通常是連續(xù)的)圖像上的那個像素的值被平均。所得到的平均圖像中的一部分有著增強的清晰度，對于該部分，像素值在集合中的多個圖像間是恒定的(或相對恒定的)。

在這個階段，系統(tǒng)10對在前景中觀察到的一個或多個對象的身份進行檢測。特定圖像或圖像序列可以包含零只、一只或多只鞋。已經(jīng)識別了與一個或多個對象相關(guān)的數(shù)據(jù)的一部分(每個對象可以是鞋)之后，系統(tǒng)10現(xiàn)在識別這一個或多個對象(步驟116)。

在實施例中，計算機系統(tǒng)32可操作為識別圖像的多個部分，每個部分包括相應(yīng)的不同行人的腳或鞋類物品的至少一部分。以這種方式，系統(tǒng)10可以確定給定圖像或圖像序列中多個行人的存在，并且可以使用該數(shù)據(jù)來獲得行人的準確計數(shù)。此外，其允許單獨分析圖像的各部分以確定與每個相應(yīng)行人相關(guān)的人口統(tǒng)計信息。

可選地，如前所述，可以使用諸如縮放、移位、居中、降噪等圖像操縱技術(shù)來處理圖像的已識別的部分，以增強圖像的清晰度。

在優(yōu)選的實施例中，計算機系統(tǒng)32可以訪問分類器數(shù)據(jù)集34。分類器數(shù)據(jù)集34可以存儲在存儲裝置36上，或者可以存儲在單獨的存儲裝置(例如，其可以設(shè)置在遠程位置，但是可通信地經(jīng)由計算機系統(tǒng)32訪問)上。一般來說，分類器數(shù)據(jù)集34提供信息，該信息將腳或鞋的屬性，或者腳或鞋的觀察結(jié)果，或者與腳或鞋有關(guān)的數(shù)據(jù)與所述腳或鞋的主人的人口統(tǒng)計信息(與所述腳或鞋的主人相關(guān))的“最佳估計”進行關(guān)聯(lián)。換句話說，基于對鞋(或類似于鞋的數(shù)據(jù))的觀察，分類器數(shù)據(jù)集用于確定鞋的穿著者的性別和年齡的最佳估計。分類器數(shù)據(jù)集34可以包含先前收集/生成的數(shù)據(jù)，利用該數(shù)據(jù)可以比較新的數(shù)據(jù)項。

在實施例中，分類器數(shù)據(jù)集34是樣本數(shù)據(jù)集，其包括先前由機器學(xué)習(xí)算法和/或人類用戶收集(或以其它方式生成)和分類的數(shù)據(jù)。例如，樣本數(shù)據(jù)集可以包括一萬幅腳和/或鞋的圖像。對于每個圖像，可以記錄諸如尺寸、顏色、風(fēng)格、形狀、性別和年齡的屬性，詳細描述鞋的穿著者的屬性。例如，一項數(shù)據(jù)記錄可以包括穿著粉紅色訓(xùn)練鞋的腳的圖像，相關(guān)記錄識別的屬性為鞋的尺寸為4(英國尺碼)、鞋是休閑鞋以及該鞋的顏色是粉紅色。還與數(shù)據(jù)記錄相關(guān)的是人口統(tǒng)計屬性的分類，例如穿著者的性別是女性的記錄，或穿著者的年齡是13的記錄。

系統(tǒng)10通常通過使用已訓(xùn)練的分類器算法來操作，以檢測前景圖像中的鞋的存在。對分類器進行訓(xùn)練(使用已知的機器學(xué)習(xí)方法)以將特定數(shù)據(jù)與特定的特點或特征(例如上述類型)相關(guān)聯(lián)。例如，可以訓(xùn)練分類器以檢測一般的鞋，或者具有不同形狀的鞋的特定子集的存在。

對于已訓(xùn)練的分類器有兩個獨立的元素——分類器所基于的特點類型(即，對象在分類器中是如何“描述”的)和分類方法(即，基于它檢測到的特點，系統(tǒng)是如何決定什么是鞋，什么不是鞋)。可以使用的特點類型的示例是方向梯度直方圖(其計算圖像的一部分中的梯度方向的出現(xiàn)情況)或局部二進制模式(將圖像劃分成單元格，并且將每個像素與其相鄰的像素進行比較以產(chǎn)生二進制代碼，然后檢查結(jié)果數(shù)據(jù)中各種代碼的出現(xiàn)情況)，以及兩者的變形。還可以使用小波分析(使用Haar小波或其類似)或者當(dāng)前在已知的對象檢測系統(tǒng)中使用的任何其它的特點檢測機制。

可以使用級聯(lián)分類器技術(shù)(即，依次應(yīng)用一系列分類器，直到做出分類)或者使用概率分類器(例如支持向量機器或神經(jīng)網(wǎng)絡(luò))來訓(xùn)練分類器。

在實施例中，數(shù)據(jù)通常被分成兩個不同的集合，涉及左轉(zhuǎn)的鞋和右轉(zhuǎn)的鞋。例如，數(shù)據(jù)集可以被鏡像，包含關(guān)于水平中點反映的相同圖像數(shù)據(jù)。以這種方式，通過將圖像分類為屬于一個或另一個數(shù)據(jù)集而對鞋進行的識別提供了關(guān)于行人的行進方向(即，行人是進入還是離開商店)的信息。

一旦系統(tǒng)10將圖像分類為與具有某些屬性(使用分類器識別)的鞋相關(guān)，則執(zhí)行主錯誤檢查步驟(118)。錯誤檢查使用基本的常識檢查來確定分類器是否將圖像錯誤分類為鞋(事實上它不是)。例如，給定畫面中的相對位置，檢查檢測到的鞋子的尺寸。如果非常大的圖像被分類為鞋(當(dāng)它位于來自攝像機的圖像的最遠部分時)，則該鞋的尺寸將太大。如果在攝像機附近檢測到相同大小的圖像，則考慮到透視的差異，該大小可能是真實的。大于某一尺寸的鞋視可因被錯誤地分類而被丟棄。

作為第二錯誤檢查階段(步驟120)，附加檢查包括對跨越連續(xù)圖像發(fā)生的錯誤進行的檢查。相比于作為孤立錯誤發(fā)生，分類錯誤不太可能在連續(xù)圖像之間持續(xù)，因此在這種情況下可以降低不正確的分類的概率。另一檢查是檢測的局部性——圖像的一小部分中的多個鞋類分類可以指示正在識別相同的鞋，因此分類的結(jié)果可以比較和/或組合。此時可以執(zhí)行進一步的圖像處理，以幫助識別錯誤。

具有對示例性數(shù)據(jù)的數(shù)據(jù)集和相關(guān)的人口統(tǒng)計信息的訪問(所述示例性的數(shù)據(jù)集的每一個具有已記錄的屬性值(諸如尺寸，風(fēng)格和顏色，鞋帶和/或踝關(guān)節(jié)周圍的衣服的風(fēng)格))使得計算機系統(tǒng)能夠通過適當(dāng)?shù)貙λ^察的圖像進行分類來估計所觀察圖像的屬性，和/或能夠使用圖像本身來估計關(guān)于穿著者的人口統(tǒng)計信息。

因此，換言之，計算機系統(tǒng)32包括圖像分類模塊，其可操作為通過使用如上所述的分類器來確定行人的圖像的腳或鞋類物品的屬性的值。以這種方式，從分類的圖像中識別特點(步驟122)。

為了更好地評定對象是什么性別，以及對象是否是兒童(這對于確定是否存在家庭單元很重要)，腳的尺寸是重要的指標。平均來說，女性的腳尺寸比男性的小，因此，估計對象的腳的尺寸是準確評估該人的性別的重要信息。

然后確定鞋/鞋類(“對象”)的一個或多個屬性。可以通過從鞋圖像中扣除背景圖像數(shù)據(jù)(即，被處理的前景數(shù)據(jù)，限于被識別為鞋的特定實例)來測量鞋的尺寸和方向。識別沿著X軸和Y軸的梯度中的尖峰，表示在鞋的后部、基部或前部觀察到的顏色的變化。在實施例中，Sobel算子被實現(xiàn)為強調(diào)邊緣過渡，以判斷沿著軸的梯度?？梢愿鶕?jù)以像素為單位測量的鞋的長度來估計尺寸，其可以在了解了關(guān)于跨越視場(通過校準步驟確定的)的觀察深度的情況下轉(zhuǎn)換為長度測量。

因此，在一個示例中，觀察到具有非常大的腳/鞋尺寸的圖像可能屬于男性。通過將觀察到的圖像的尺寸與樣本數(shù)據(jù)集中的鞋的尺寸進行比較，可以看出，大部分類似尺寸的鞋與已知為男性的行人相關(guān)?；诖?，系統(tǒng)32確定所觀察到的圖像是男性穿著的鞋具有相應(yīng)高的可能性。

作為另一示例，數(shù)據(jù)集可以示出與顏色屬性“粉紅色”相關(guān)的圖像的65％與穿著者是女性的人口統(tǒng)計屬性相關(guān)。數(shù)據(jù)集還可以顯示具有特定的大鞋尺寸的男性與女性的比例為80％。在獲取的圖像被確定為包括該大尺寸的粉紅色鞋的情況下，計算機系統(tǒng)32必須使用其可用的信息來估計穿著者可能的性別。在這種情況下，基于樣本數(shù)據(jù)集的證據(jù)，它確定大粉紅色的鞋屬于男性而不是女性的可能性更高。因此，在此基礎(chǔ)上，由收集的圖像識別的行人被確定為男性。

在另一種方法中，計算機系統(tǒng)32可以將觀察到的圖像與存儲在樣本數(shù)據(jù)集中的圖像數(shù)據(jù)進行比較?？梢允褂靡阎膱D像比較方法來確定觀察到的圖像與數(shù)據(jù)集中的每個樣本圖像的接近度(例如，基于其像素數(shù)據(jù)將每個圖像視為高維向量數(shù)組，并且比較向量的接近度)。例如，諸如K-最近鄰算法的分類算法可以用于識別最可能的人口統(tǒng)計分類，利用該分類算法來標記與獲取的圖像相關(guān)的行人。當(dāng)然，用于計算圖像相似性的許多合適的算法和方法是已知的，并且設(shè)想在本發(fā)明的環(huán)境下可以使用任何合適的方法。

當(dāng)然，分類器數(shù)據(jù)集34可以包含與已訓(xùn)練的分類器相關(guān)的信息，而不是之前或現(xiàn)在訓(xùn)練分類器的數(shù)據(jù)。因此，例如，分類器數(shù)據(jù)集34包含與諸如分類邊界的值相關(guān)的數(shù)據(jù)，其定義了共享相同分類的數(shù)據(jù)樣本彼此相似的程度。

在這樣的實施例中，分類器數(shù)據(jù)集34包含分類器規(guī)則，其將應(yīng)用到新觀察數(shù)據(jù)的屬性的值上。例如，已經(jīng)分析了樣本觀察結(jié)果的大數(shù)據(jù)集，可以確定具有大于特定值的長度的鞋非?？赡軐儆谀行裕⑶以谠撝狄韵滦浅？赡軐儆谂?。這個規(guī)則允許將來的觀察結(jié)果被快速和容易地分類。更復(fù)雜的分類器規(guī)則可以提供函數(shù)，所述函數(shù)映射鞋的形狀以估計例如穿著者年齡。

一旦根據(jù)感興趣的人口統(tǒng)計類別對對象進行了分類，則記錄觀察結(jié)果(步驟124)，并且可以將其存儲在觀察結(jié)果數(shù)據(jù)庫28中。然后可以由分析軟件30和報告系統(tǒng)訪問所述觀察結(jié)果數(shù)據(jù)庫中存儲的數(shù)據(jù)，用于將整理的結(jié)果報告給用戶。

在系統(tǒng)10已經(jīng)記錄了經(jīng)檢測的鞋的情況下，系統(tǒng)10可操作為對行人客流量進行計數(shù)。當(dāng)獲得了對經(jīng)過目標區(qū)域的行人的觀察結(jié)果，并且觀察結(jié)果被分類到人口統(tǒng)計類別中時，系統(tǒng)存儲器中的計數(shù)器或者存儲在存儲器或存儲裝備中的數(shù)據(jù)可以增加，以跟蹤相關(guān)類別中的行人數(shù)目。

模型用于將各個鞋的分類的數(shù)據(jù)添加到經(jīng)過圖像獲取裝置14的行人的計數(shù)中。該模型用于識別鞋的多個觀察結(jié)果是否屬于同一行人。該模型的結(jié)果基于包括但不限于以下的因素中的至少一個：鞋類的方向、腳步的位置、檢測到的時間、鞋類的形狀、代表鞋和/或腿的顏色或質(zhì)地的數(shù)據(jù)(例如顏色梯度)、在鞋類上觀察到的圖案或標志。例如，標志可以是品牌標志。梯度匹配可以涉及在不同像素處的鞋的采樣顏色并且在比較圖像時使用顏色差異作為特點。該方法考慮了在攝像機的視場內(nèi)的不同位置處的不同照明條件(例如由陰影引起的)。例如，藍色襪子和白色鞋子之間的顏色差異的梯度在明亮的陽光下和在陰影下投射時可以保持大致相等，而實際觀察到的顏色可能很不一樣。

計數(shù)模型可以包括概率模型，該概率模型指定成雙(或者，例如三件套)鞋屬于同一行人的可能性。該概率模型可以跨(鞋觀察結(jié)果的)數(shù)據(jù)庫應(yīng)用，以預(yù)測行人的總數(shù)，并且可以包括誤差范圍和圖形的預(yù)測精度。

無監(jiān)督的機器學(xué)習(xí)模型可用于基于鞋的多個觀察結(jié)果(即，由分類器收集的數(shù)據(jù))的輸入來預(yù)測已觀察到多少行人。使用聚類技術(shù)，模型可以學(xué)習(xí)分類數(shù)據(jù)組之間的模式，以評定在圖像序列中觀察到多少行人——不論鞋的多個圖像是否涉及相同的鞋、相同的行人(但也許他們的其他鞋)、緊鄰的多個行人，或由于分類數(shù)據(jù)中的其他不規(guī)則性所致。另外地或者附加地，線性二次估計(即卡爾曼濾波器)可遞歸地用于估計有關(guān)觀察到的行人數(shù)目的數(shù)據(jù)。

另外應(yīng)當(dāng)注意，其他計算機視覺技術(shù)(例如“點跟蹤”、將對象與畫面中的鞋的其他觀察結(jié)果(包括運動的方向，運動的模式，以及鞋和小腿的角度)相比較，以及將鞋或其特征本地緩存到存儲器)可以用于改善對象的檢測并阻止雙重計數(shù)(即，為一個人的兩只鞋增加計數(shù)器兩次)。

一旦系統(tǒng)10已經(jīng)對在圖像或圖像序列中識別的行人數(shù)目進行了計數(shù)，將提取進一步的人口統(tǒng)計信息，并且通過對每個鞋類觀察結(jié)果中的特征和它們的結(jié)合的評估來從分類的信息中更新(步驟128)先前的人口統(tǒng)計估計值。新信息可以包括步幅長度、行走速度和行人行走的方向?？梢酝茢噙M一步的信息(例如行人如何分組)——例如他們是作為夫婦、家庭還是作為單身人士而聚集。

分析模塊可以形成計算機系統(tǒng)32本身的一部分，或者可以遠離計算機系統(tǒng)32而被提供。對于所觀察的每個行人，分析模塊可以配置用來將所確定的人口統(tǒng)計分類傳送給系統(tǒng)的用戶。在優(yōu)選實施例中，模塊周期性地與用戶通信，以提供在給定時間段內(nèi)已觀察和分類的已整理數(shù)據(jù)。例如，系統(tǒng)可以每小時一次、每天一次或每周一次向用戶報告。傳送給用戶的數(shù)據(jù)可以包括人口統(tǒng)計分類數(shù)據(jù)(包括所觀察的行人的估計性別和年齡)以及任何其他相關(guān)數(shù)據(jù)(所提供的特定數(shù)據(jù)可以由用戶指定)?？梢越?jīng)由網(wǎng)站、經(jīng)由網(wǎng)絡(luò)門戶或經(jīng)由數(shù)字消息(例如電子郵件、SMS等)來提供數(shù)據(jù)。在其他實施例中，系統(tǒng)可以整理數(shù)據(jù)并將整理的數(shù)據(jù)存儲在存儲裝置36上。

在實施例中，報告系統(tǒng)和/或分析軟件是基于網(wǎng)絡(luò)的，并且位于“云”中。數(shù)據(jù)以規(guī)律的時間間隔經(jīng)由互聯(lián)網(wǎng)上傳到云存儲提供商處。整理數(shù)據(jù)并計算相關(guān)的性能指標。當(dāng)用戶想要“消費”(即訪問)與顧客人口統(tǒng)計和流量有關(guān)的數(shù)據(jù)時，使用本地網(wǎng)絡(luò)應(yīng)用，所述本地網(wǎng)絡(luò)應(yīng)用從云下載數(shù)據(jù)并將其呈現(xiàn)給用戶以供考慮。數(shù)據(jù)還可以通過API來獲得，以實現(xiàn)與現(xiàn)有的管理信息系統(tǒng)的兼容性。

應(yīng)當(dāng)理解，除非另有說明，否則本文所述的實施例的特征能夠以其任何組合而被使用。

當(dāng)在本說明書和權(quán)利要求中使用時，術(shù)語“包括”(“comprises”和“comprising”)及其變形意味著包括指定的特征、步驟或整體。這些術(shù)語不應(yīng)被解釋為排除其它特征、步驟或組件的存在。

在前述說明書或所附權(quán)利要求書或附圖中公開的特征，以其具體形式或根據(jù)用于執(zhí)行所公開的功能的手段或用于實現(xiàn)所公開的結(jié)果的方法或過程而適當(dāng)?shù)乇磉_，這些特征可以單獨地或以這些特征的任何組合被用于以各種形式實現(xiàn)本發(fā)明。