狀態(tài)分析裝置)3和運動對象檢測裝置4。
[0048]攝像機(jī)I安裝在商店中的適當(dāng)位置來捕獲商店中的被監(jiān)視區(qū)域的圖像，以及將由此獲得的圖像信息記錄在記錄器2中。
[0049]PC3與用于用戶，諸如監(jiān)視的人的輸入裝置6，諸如鼠標(biāo)連接，用于執(zhí)行各種輸入操作，以及與顯示監(jiān)視畫面的監(jiān)視器(顯示裝置)7連接。應(yīng)注意到，輸入裝置6和監(jiān)視器7可以實施為觸控板顯示器。
[0050]PC3設(shè)置在商店的安全位置等等中，并且使監(jiān)視器7顯示使監(jiān)視的人(諸如保安)查看由攝像機(jī)I拍攝的商店內(nèi)部的實時圖像或在記錄器2中記錄的商店內(nèi)部的過去圖像的監(jiān)視畫面。
[0051]安裝在管理辦公室中的PCll還與在圖中未示出的監(jiān)視器連接，使得管理辦公室的用戶能通過查看由攝像機(jī)I拍攝的商店內(nèi)部的實時圖像或在記錄器2中記錄的商店內(nèi)部的過去圖像，檢查商店中的狀況。
[0052]每一運動對象檢測裝置執(zhí)行人物檢測處理，即，從由相應(yīng)的攝像機(jī)I捕獲的圖像幀檢測一個或多個人物(運動對象)的處理，并且在每次幀捕獲時，輸出一個或多個人物的位置信息?？梢酝ㄟ^使用已知的圖像識別技術(shù)，執(zhí)行該人物檢測處理。
[0053]圖2是示出商店中的攝像機(jī)I的示例性位置的平面圖。產(chǎn)品展示貨架和收銀臺位于商店中，以及安裝攝像機(jī)I來拍攝收銀臺的圖像。顧客從產(chǎn)品展示貨架挑選所需產(chǎn)品并且在收銀臺付款。顧客從安置產(chǎn)品展示貨架的產(chǎn)品展示區(qū)接近收銀臺，并且在付款后離開收銀臺。攝像機(jī)I拍攝從前方接近收銀臺的顧客圖像，并且基于由攝像機(jī)I拍攝的圖像，執(zhí)行人物檢測。
[0054]接著，將描述通過圖1所示的PC3執(zhí)行的停留狀態(tài)分析處理生成的熱圖。圖3是示出由圖1中所示的PC3生成并且在監(jiān)視器7上顯示的分段熱圖的說明圖。
[0055]由攝像機(jī)I獲得的圖像包括在收銀臺執(zhí)行結(jié)賬的人物的圖像，以及這些人從入口偵牝即，遠(yuǎn)離攝像機(jī)I的收銀臺的后側(cè)(或遠(yuǎn)端)接近收銀臺，并且從出口側(cè)，即，離攝像機(jī)I近的收銀臺的前側(cè)(或近側(cè))離開收銀臺。因此，在每一收銀臺周圍形成從入口側(cè)運動到出口側(cè)的人流，如果在收銀臺的結(jié)賬過程中導(dǎo)致延遲或顧客(人)數(shù)超出執(zhí)行結(jié)賬的店員能處理的人數(shù)，形成等待結(jié)賬的人的隊列并且人的停留發(fā)生。
[0056]由此，在本實施例中，為掌握收銀臺周圍的人的停留的程度，測量目標(biāo)區(qū)域中的人的停留頻率(每單位時間檢測的停留人數(shù))，并且生成可視化停留頻率的分布狀態(tài)的分段熱圖。在該分段熱圖中，將目標(biāo)區(qū)域(攝像機(jī)的成像區(qū)域)分成多個網(wǎng)格單元(分區(qū))，以及顯示每一網(wǎng)格單元的人的停留頻率。應(yīng)注意到在監(jiān)視器7上顯示的畫面中，在目標(biāo)區(qū)域的圖像上，重疊地顯示熱圖的圖像，其中，熱圖的圖像是透明或半透明的。
[0057]為生成熱圖，預(yù)先生成用于表示每一網(wǎng)格單元的人的停留頻率的分布信息。具體地，計數(shù)每單位時間，通過每一網(wǎng)格單元的人的行進(jìn)線路數(shù)以便獲得每單位時間，停留在每一網(wǎng)格單元中的人數(shù),即，每一網(wǎng)格單元的停留頻率。
[0058]此外，在該熱圖中，取決于人的停留頻率(每單位時間檢測的停留人數(shù))，改變包括色調(diào)、明暗度(黑暗度)和模式圖像的可視化元素的至少一個來可視化人的停留頻率的分布狀態(tài)。在圖3所示的示例中，由網(wǎng)格單元的明暗度(填充色的黑暗度)表示每一網(wǎng)格單元的停留頻率。
[0059]接著，將描述由圖1中所示的PC3執(zhí)行的停留狀態(tài)分析處理。圖4是示意性地示出PC3的功能結(jié)構(gòu)的框圖。應(yīng)注意到為了簡化起見，圖4僅示出一個攝像機(jī)I和一個運動對象檢測裝置4，盡管該系統(tǒng)可以包括多個攝像機(jī)I和運動對象檢測裝置4，如圖1所示。
[0060]PC3包括檢測信息存儲單元21、位置信息分類單元22、分布信息比較單元23、丟失部分位置檢測單元24、校正的分布信息生成單元25、熱圖生成單元26和畫面生成單元27。
[0061]檢測信息存儲單元21累積地存儲由運動對象檢測裝置4獲得的人的位置信息。位置信息包括在由攝像機(jī)I捕獲的圖像的每一幀中檢測的每一人的檢測位置和從檢測到該人的幀的捕獲時間獲得的每一人的檢測時間。還應(yīng)注意到通過按時間順序，連接包括在與同一人相關(guān)的多條位置信息中的檢測位置，獲得行進(jìn)線路，但不一定要求連接檢測位置的線段(矢量)的信息。
[0062]位置信息分類單元22根據(jù)由于可能包括在人的行進(jìn)線路中的丟失部分、多條位置信息可能包括誤差的可能性的程度，分類對各個檢測時間(幀)獲得的人的多條位置信息。位置信息分類單元22包括顯著事件檢測單元31、第一位置信息存儲單元32和第二位置信息存儲單元33。
[0063]顯著事件檢測單元31執(zhí)行檢測作為可能導(dǎo)致在人的行進(jìn)線路中產(chǎn)生丟失部分的事件，即，使由運動對象檢測裝置4執(zhí)行的人物檢測易于出錯的事件的顯著事件的處理?；谟蛇\動對象檢測裝置4生成的位置信息，執(zhí)行該顯著事件檢測處理。更具體地說，在基于過去數(shù)據(jù)，執(zhí)行處理的情況下，顯著事件檢測單元31從檢測信息存儲單元21獲得位置信息，而在實時執(zhí)行該處理的情況下，顯著事件檢測單元31從運動對象檢測裝置4獲得位置信息。
[0064]具體地，在本實施例中，將密集地出現(xiàn)多人的擁擠事件和多人站在隊列中的排隊事件檢測為顯著事件。當(dāng)密集地出現(xiàn)多人或多人站在隊列中時，人之間的遮擋易于發(fā)生并且人物檢測的精度易于下降，由此，存在在人的行進(jìn)線路中產(chǎn)生丟失部分的可能性。應(yīng)注意到即使當(dāng)目標(biāo)區(qū)域不擁擠時，如果多人形成隊列，人之間的遮擋易于發(fā)生。相反，即使沒有隊列形成，如果目標(biāo)區(qū)域擠滿人，人之間的遮擋也易于發(fā)生。由此，在本實施例中，獨立地檢測擁擠事件和排隊事件，以及當(dāng)檢測到它們中的至少一個時，確定在人的行進(jìn)線路中，可能產(chǎn)生丟失部分的可能性。
[0065]根據(jù)顯著事件檢測單元31的檢測結(jié)果，分類對各個檢測時間(幀)獲得的人的多條位置信息，并且將其累積地存儲在第一位置信息存儲單元32和第二位置信息存儲單元33的任一或兩者中。具體地，將當(dāng)未檢測到顯著事件時獲得的多條位置信息存儲在第一位置信息存儲單元32和第二位置信息存儲單元33兩者中，而將檢測到顯著事件時獲得的多條位置信息僅存儲在第二位置信息存儲單元33中。
[0066]分布信息比較單元23分別根據(jù)由位置信息分類單元22分類的多條位置信息的兩組，生成用于比較的兩個分布信息集合，分別表示人的停留頻率的分布狀態(tài)并且比較兩個分布信息集合，用于相互比較。該分布信息比較單兀23包括第一分布信息生成單兀35、第二分布信息生成單元36和差別分布信息生成單元37。
[0067]第一分布信息生成單元35執(zhí)行根據(jù)在第一位置信息存儲單元32中存儲的多條位置信息，即當(dāng)顯著事件檢測單元31未檢測到顯著事件時獲得的多條位置信息，生成第一分布信息(用于比較的分布信息)的處理。第二分布信息生成單元36執(zhí)行由根據(jù)在第二位置信息存儲單元33中存儲的多條位置信息，即，當(dāng)顯著事件檢測單元31檢測到顯著事件時獲得的多條位置信息，生成第二分布信息(用于比較的分布信息)的處理。在由第一分布信息生成單兀35和第二分布信息生成單兀36的每一個執(zhí)行的分布信息獲得處理中，基于多條位置信息的各組，計數(shù)出現(xiàn)在每一網(wǎng)格單元中的行進(jìn)線路，由此獲得單位時間出現(xiàn)在每一網(wǎng)格單元中的行進(jìn)線路數(shù)，即，每一網(wǎng)格單元的停留頻率(每單位時間的停留人數(shù))。
[0068]差別分布信息生成單兀37執(zhí)行表不由第一分布信息生成單兀35生成的第一分布信息和由第二分布信息生成單元36生成的第二分布信息之間的差異的差別分布信息的處理。在該差別分布信息生成處理中，計算在第一分布信息中的每一網(wǎng)格單元的停留頻率和在第二分布信息中的相應(yīng)網(wǎng)格單元的停留頻率之間的差。
[0069]丟失部分位置檢測單元24執(zhí)行基于分布信息比較單元23的比較結(jié)果，即，基于由差別分布信息生成單元37生成的差別分布信息，檢測一個或多個行進(jìn)線路中的丟失部分的位置的處理。在該丟失部分檢測處理中，首先，基于差別分布信息，挑出在一個或多個行進(jìn)線路中產(chǎn)生丟失部分的網(wǎng)格單元(區(qū)段)，然后，在這些網(wǎng)格單元上執(zhí)行進(jìn)一步分析來找出在一個或多個行進(jìn)線路中，真正產(chǎn)生丟失部分的一個或多個位置。
[0070]校正的分布信息生成單元25執(zhí)行基于丟失部分位置檢測單元24的檢測結(jié)果，生成已經(jīng)校正人的停留頻率(每單位時間檢測的停留人數(shù))的校正的分布信息的處理。具體地，在本實施例中，考慮由丟失部分位置檢測單元24檢測的一個或多個行進(jìn)線路中的丟失部分的位置，校正在第二位置信息存儲單元33中存儲的多條位置信息的一些，即，當(dāng)由顯著事件檢測單元31發(fā)現(xiàn)顯著事件時獲得的多條位置信息，以根據(jù)基于多條校正的位置信息和在第二位置信息存儲單元33中存儲的多條未校正的位置信息，生成校正的分布信息。在該校正的分布信息獲得處理中，基于多條位置信息，計數(shù)每一網(wǎng)格單元中出現(xiàn)的行進(jìn)線路，由此獲得每單位時間，每一網(wǎng)格單元中的行進(jìn)線路數(shù)，即，每一網(wǎng)格單元的停留頻率(每單位時間的停留人數(shù))。
[0071]在由校正的分布信息生成單元25執(zhí)行的位置信息校正處理中，校正多條位置信息的一些，使得應(yīng)當(dāng)被看作單一線路的、由于行進(jìn)線路中的丟失部分生成的兩個行進(jìn)線路，即使與不同人相關(guān)的兩個行進(jìn)線路與同一人相關(guān)聯(lián)，被連接在一起。如果必要，可以獲得連接應(yīng)當(dāng)相互連接的兩個行進(jìn)線路的連接線路，并且校正該位置信息來表示由連接線路連接的兩個行進(jìn)線路的狀態(tài)。
[0072]熱圖生成單元26執(zhí)行基于由校正的分布信息生成單元25生成的校正的分布信息，生成熱圖信息的處理。在該熱圖生成處理中，生成信息，用于使包括色調(diào)、明暗度和模式圖像的可視化元素的至少一個取決于人的停留頻率(每單位時間的停留人數(shù))而改變，以便可視化人的停留頻率的分布狀態(tài)。
[0073]畫面生成單元27執(zhí)行生成用于使監(jiān)視器7顯示由熱圖生成單元26生成的熱圖信息的畫面信息的處理。具體地，在本實施例中，畫面生成單元27基于由熱圖生成單元26生成的熱圖信息和來自攝像機(jī)I或記錄器2的圖像信息，生成與將疊加在目標(biāo)區(qū)域的圖像上的熱圖圖像的顯示圖像有關(guān)的畫面信息。
[0074]應(yīng)注意到，通過由PC3的CPU執(zhí)行用于停留狀態(tài)分析的程序，實現(xiàn)圖4所示的PC3的各個單元。這些程序可以預(yù)裝在用作信息處理裝置的PC3中來實施專用于停留狀態(tài)分析的裝置，或可以以在適當(dāng)?shù)某绦蛴涗浗橘|(zhì)中存儲、作為能在通用OS上運行的應(yīng)用程序的形式提供給用戶。
[0075]接著，將描述圖4中所示的PC3執(zhí)行的停留狀態(tài)分析處理的整個過程。圖5是用于說明PC3執(zhí)行的停留狀態(tài)分析處理的概述的說明圖。圖6和7是一起示出PC3執(zhí)行的停留狀態(tài)分析處理中的步驟的流程圖。
[0076]如圖5所示，運動對象檢測裝置4執(zhí)行從由攝像機(jī)I順序輸入的圖像幀，檢測人的位置的處理，并且在幀(檢測時間)基礎(chǔ)上，輸出人的多條位置信息。
[0077]PC3在逐幀基礎(chǔ)上，從運動對象檢測裝置4獲得多條位置信息(圖6中的ST10