中，并且每個(gè)功能可以通過(guò)在CPU上執(zhí)行存儲(chǔ)在存儲(chǔ)裝置中的顧客行為分析程序來(lái)實(shí)現(xiàn)。
[0045]該顧客行為分析程序可以存儲(chǔ)到和提供給使用任何類型的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)的計(jì)算機(jī)。非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)包括任何類型的實(shí)體存儲(chǔ)介質(zhì)。非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)的例子包括磁性存儲(chǔ)介質(zhì)(如軟盤、磁帶、硬盤驅(qū)動(dòng)器等)、光磁存儲(chǔ)介質(zhì)(如磁光盤)，⑶-R0M(只讀存儲(chǔ)器)、⑶-R、⑶-R/W、和半導(dǎo)體存儲(chǔ)器(如掩模ROM、PROM(可編程ROM)、EPR0M(可擦除PR0M)、Flash R0M、RAM(隨機(jī)存取存儲(chǔ)器)等)。程序可以提供給使用任何類型的暫時(shí)性計(jì)算機(jī)可讀介質(zhì)的計(jì)算機(jī)。暫時(shí)性計(jì)算機(jī)可讀介質(zhì)的例子包括電信號(hào)、光信號(hào)和電磁波。暫時(shí)性計(jì)算機(jī)可讀介質(zhì)可以經(jīng)由諸如電線或光纖的有線通信線路或無(wú)線通信線路將程序提供給計(jì)算機(jī)。
[0046]距離圖像分析單元110獲取由3D攝像機(jī)210產(chǎn)生的距離圖像，基于獲取的距離圖像跟蹤檢測(cè)對(duì)象，并識(shí)別其動(dòng)作。在本示例性實(shí)施例中，距離圖像分析單元110主要跟蹤和識(shí)別顧客的手部、顧客的視線、和顧客拿起的商品。距離圖像分析單元110參考商品信息DB170以識(shí)別包含在距離圖像中的商品。此外，麥克風(fēng)可以安裝在3D攝像機(jī)上，輸入到麥克風(fēng)的顧客聲音可以由聲音識(shí)別單元識(shí)別。例如，基于識(shí)別的聲音，可以提取顧客交談的特征(聲音的音量、音高、語(yǔ)速等)以檢測(cè)說(shuō)話者的情緒或交談的興奮度，并且可以將交談的特征記錄為動(dòng)作概況。
[0047]顧客識(shí)別單元120獲取由面部識(shí)別攝像機(jī)220生成的顧客的面部圖像，并通過(guò)參考顧客信息DB 180識(shí)別獲取的面部圖像中包含的顧客。此外，顧客識(shí)別單元120可以從面部圖像中識(shí)別顧客的面部表情(愉快、驚訝等)，并將其記錄為動(dòng)作概況。動(dòng)線分析單元130獲取由店鋪內(nèi)攝像機(jī)230生成的店鋪內(nèi)圖像，基于獲取的店鋪內(nèi)圖像分析店鋪內(nèi)顧客的移動(dòng)歷史，并且檢測(cè)顧客來(lái)往動(dòng)線(移動(dòng)路徑)。
[0048]動(dòng)作概況生成單元140基于距離圖像分析單元110、顧客識(shí)別單元120和動(dòng)線分析單元130的檢測(cè)結(jié)果，生成用于分析顧客行為的動(dòng)作概況(顧客行為分析信息)，并且將生成的動(dòng)作概況存儲(chǔ)在動(dòng)作概況存儲(chǔ)單元190中。動(dòng)作概況生成單元140參考商品信息DB 170和顧客信息DB 180，并且生成并記錄與由距離圖像分析單元110分析的顧客已拿起商品的實(shí)施相關(guān)的信息、關(guān)于由顧客識(shí)別單元120識(shí)別的顧客的信息、和關(guān)于由動(dòng)線分析單元130分析的顧客來(lái)往動(dòng)線的信息。
[0049]動(dòng)作信息分析單元150參考動(dòng)作概況存儲(chǔ)單元190中的動(dòng)作概況，并基于動(dòng)作概況分析顧客的動(dòng)作。例如，動(dòng)作信息分析單元150通過(guò)將分別關(guān)注在顧客、店鋪、貨架和商品來(lái)分析動(dòng)作概況，并且計(jì)算顧客動(dòng)作的概率、統(tǒng)計(jì)數(shù)據(jù)等。
[0050]分析結(jié)果呈現(xiàn)單元160呈現(xiàn)(輸出)動(dòng)作信息分析單元150的分析結(jié)果。分析結(jié)果呈現(xiàn)單元160例如是顯示裝置，其將顧客行為分析結(jié)果顯示給店鋪員工或掌管市場(chǎng)(促進(jìn)銷售)的人員?；陲@示的顧客行為分析結(jié)果，店鋪員工或掌管市場(chǎng)的人員改善店鋪內(nèi)的空間計(jì)劃、廣告等，以促進(jìn)銷售。
[0051 ]商品信息DB (商品信息存儲(chǔ)單元)170存儲(chǔ)與擺放在店鋪內(nèi)的商品相關(guān)的商品相關(guān)信息。商品信息DB 170存儲(chǔ)商品標(biāo)識(shí)信息171等作為商品相關(guān)信息。商品標(biāo)識(shí)信息171是用于標(biāo)識(shí)商品(商品要點(diǎn))的信息，其包括商品代碼、商品名稱、商品類型、商品標(biāo)簽圖像信息(圖像)等。
[0052]顧客信息DB(顧客信息存儲(chǔ)單元)180存儲(chǔ)與進(jìn)入店鋪內(nèi)的顧客相關(guān)的顧客相關(guān)信息。顧客信息DB 180存儲(chǔ)顧客標(biāo)識(shí)信息181、屬性信息182、嗜好信息183、歷史信息184等作為顧客相關(guān)信息。
[0053]顧客標(biāo)識(shí)信息181是用于標(biāo)識(shí)顧客的信息，其包括顧客會(huì)員ID、姓名、地址、出生日期、面部圖像信息(圖像)等。屬性信息182是指示顧客的屬性的信息，其例如包括年齡、性另U、職業(yè)等。
[0054]嗜好信息183是指示顧客的嗜好的信息，其例如包括業(yè)余愛(ài)好、喜歡吃的食物、顏色、音樂(lè)、電影等。歷史信息184是關(guān)于顧客的歷史的信息，其例如包括商品購(gòu)買歷史、來(lái)店歷史、店鋪內(nèi)移動(dòng)歷史、諸如拿起/注視商品的接觸歷史(接近歷史)等。
[0055]動(dòng)作概況存儲(chǔ)單元190存儲(chǔ)由動(dòng)作概況生成單元140生成的動(dòng)作概況。動(dòng)作概況是用于可視化和分析顧客行為的信息。完成行為的可視化以將行為轉(zhuǎn)換為數(shù)據(jù)(數(shù)值化)，顧客從進(jìn)入到離開(kāi)店鋪的動(dòng)作被登記為動(dòng)作概況中的數(shù)據(jù)。具體地，動(dòng)作概況包含記錄來(lái)店顧客的來(lái)店記錄信息191，記錄顧客接觸貨架上的商品的事實(shí)，和記錄顧客從店鋪內(nèi)的一個(gè)區(qū)域走到其他區(qū)域的動(dòng)線路線的動(dòng)線記錄信息193。
[0056]圖4示出顧客行為分析裝置100的距離圖像分析單元110的配置。如圖4所示，距離圖像分析單元110包括距離圖像獲取單元111、區(qū)域檢測(cè)單元112、手部跟蹤單元113、手部動(dòng)作識(shí)別單元114、視線跟蹤單元115、視線動(dòng)作識(shí)別單元116、商品跟蹤單元117和商品識(shí)別單元 118。
[0057]距離圖像獲取單元111獲取包含由3D攝像機(jī)210拍攝和生成的顧客和商品的距離圖像。區(qū)域檢測(cè)單元112檢測(cè)在由距離圖像獲取單元111獲取的距離圖像中包含的顧客的每一部分的區(qū)域或商品的區(qū)域。
[0058]手部跟蹤單元113跟蹤由區(qū)域檢測(cè)單元112檢測(cè)的顧客的手部動(dòng)作。手部動(dòng)作識(shí)別單元114基于由手部跟蹤單元113跟蹤的手部動(dòng)作，識(shí)別顧客的與商品有關(guān)的動(dòng)作。例如，當(dāng)顧客在把持商品的同時(shí)將他/她的手部的手掌移向他/她的面部時(shí)，手部動(dòng)作識(shí)別單元114確定顧客已拿起商品并注視該商品。在商品被拿在手中時(shí)手藏在商品后面、因而不能被攝像機(jī)記錄的情況下，手部動(dòng)作識(shí)別單元114可以檢測(cè)被拿著的商品的位置、方向或變化，從而確定顧客已拿起商品。
[0059]視線跟蹤單元115跟蹤由區(qū)域檢測(cè)單元112檢測(cè)的顧客的視線(眼睛)的動(dòng)作。視線動(dòng)作識(shí)別單元116基于由視線跟蹤單元115檢測(cè)的顧客的視線(眼睛)的動(dòng)作，識(shí)別顧客的與商品有關(guān)的動(dòng)作。當(dāng)商品放在視線的方向上時(shí)，視線動(dòng)作識(shí)別單元116確定顧客已注視了商品，并且當(dāng)視線的方向朝向商品的標(biāo)簽時(shí)，視線動(dòng)作識(shí)別單元116確定顧客已注視了商品的標(biāo)簽。
[0060]商品跟蹤單元117跟蹤由區(qū)域檢測(cè)單元112檢測(cè)的商品的動(dòng)作(狀態(tài))。商品跟蹤單元117跟蹤由手部動(dòng)作識(shí)別單元114已確定顧客已拿起的商品或由視線動(dòng)作識(shí)別單元116已確定顧客已注視的商品。商品識(shí)別單元118通過(guò)參考商品信息DB 170，標(biāo)識(shí)哪個(gè)商品對(duì)應(yīng)于由商品跟蹤單兀117跟蹤的商品。商品識(shí)別單兀118將檢測(cè)的商品的標(biāo)簽與存儲(chǔ)在商品彳目息DB 170中的商品標(biāo)識(shí)信息171的標(biāo)簽上的圖像信息進(jìn)行比較，并且進(jìn)行匹配，從而識(shí)別該商品。此外，商品識(shí)別單元118存儲(chǔ)貨架上的擺放位置和在商品信息DB 170中的商品之間關(guān)系，并且基于由顧客拿起的商品或由顧客注視的商品擺放在貨架上的位置來(lái)標(biāo)識(shí)商品。
[0061]在下文中，將參考圖5描述根據(jù)示例性實(shí)施例的在顧客行為分析系統(tǒng)(顧客行為分析裝置)中執(zhí)行的顧客行為分析方法(顧客行為分析處理)。
[0062]如圖5所示，顧客進(jìn)入店鋪，接近店鋪內(nèi)的貨架(SlOl)。然后，店鋪內(nèi)的面部識(shí)別攝像機(jī)220生成顧客的面部圖像，顧客行為分析裝置100基于面部圖像，識(shí)別諸如年齡和性別的顧客屬性和顧客ID(S102)。具體地，顧客行為分析裝置100中的顧客識(shí)別單元120將存儲(chǔ)在顧客信息DB 180中的顧客標(biāo)識(shí)信息181的面部圖像信息與由面部識(shí)別攝像機(jī)220拍攝的面部圖像進(jìn)行比較，并且檢索匹配的顧客，從而識(shí)別該顧客，然后從顧客標(biāo)識(shí)信息181獲取識(shí)別的顧客的顧客屬性和顧客ID。
[0063]之后，顧客拿起擺放在貨架上的商品(S103)。然后，在貨架附近的3D攝像機(jī)210拍攝顧客手部的圖像，顧客行為分析裝置100通過(guò)使用3D攝像機(jī)210的距離圖像來(lái)識(shí)別顧客手部的動(dòng)作和商品類型(S104)。具體地，顧客行為分析裝置100中的距離圖像分析單元110跟蹤顧客手部(視線)和商品的圖像的距離圖像，并且檢測(cè)顧客拿起商品(顧客注視商品)的動(dòng)作，以及通過(guò)參考商品信息DB 170檢測(cè)與該動(dòng)作匹配的商品，從而識(shí)別由顧客拿起的商品(顧客注視的商品)。此外，距離圖像分析單元110識(shí)別顧客注視商品的哪個(gè)部分，尤其是顧客是否注視著商品的標(biāo)簽。
[0064]然后，顧客將他/她拿起的商品放入籃中或?qū)⑵浞呕氐截浖苌?S105)。然后，顧客行為分析裝置100以與顧客拿起商品的情況中相同的方式，通過(guò)使用3D攝像機(jī)210的距離圖像來(lái)識(shí)別顧客的手部動(dòng)作和商品類型(S104)。具體地，顧客行為分析裝置100中的距離圖像分析單元110跟蹤顧客手部和商品的圖像的距離圖像，并且檢測(cè)顧客將商品放入籃中或?qū)⑵浞呕氐截浖苌系膭?dòng)作?？梢砸耘c顧客拿起商品的情況中相同的方式識(shí)別商品，或者由于商品已被識(shí)別，所以可以省略商品識(shí)別。
[0065]之后，顧客移動(dòng)到其他區(qū)域(S106)。然后，店鋪內(nèi)攝像機(jī)230跟蹤顧客在店鋪的區(qū)域之間的移動(dòng)的圖像，并且顧客行為分析裝置100掌握在店鋪的其他區(qū)域中的購(gòu)買行為(S107)。具體地，顧客行為分析裝置100中的動(dòng)線分析單元130基于店鋪的多個(gè)區(qū)域的圖像，分析顧客的移動(dòng)歷史，并且檢測(cè)顧客來(lái)往動(dòng)線，從而掌握顧客的購(gòu)買行為。然后，重復(fù)S103之后的處理，并且當(dāng)顧客在他/她移動(dòng)到的店鋪的一區(qū)域中拿起商品時(shí)，顧客行為分析裝置100檢測(cè)顧客的動(dòng)作。
[0066]在S102、S104和S107之后，顧客行為分析裝置100基于識(shí)別的顧客信息、商品信息、動(dòng)線信息等生成動(dòng)作概況(S108)，分析生成的動(dòng)作概況以分析購(gòu)買行為，并且傳送通知等(S109)。具體地，顧客行為分析裝置100中的動(dòng)作概況生成單元140通過(guò)將識(shí)別的顧客信息與時(shí)間等相聯(lián)系、將顧客拿起的商品與時(shí)間等相聯(lián)系、以及將顧客移動(dòng)到的地方與時(shí)間等相聯(lián)系，來(lái)生成動(dòng)作概況。此外，動(dòng)作信息分析單元150計(jì)算在動(dòng)作概況中的顧客動(dòng)作的概率、統(tǒng)計(jì)數(shù)據(jù)等，并且呈現(xiàn)分析的結(jié)果。
[0067]圖6詳細(xì)地示出在圖5的S10