4中由距離圖像分析單元110執(zhí)行的識別處理(跟蹤處理)。注意，在圖6示出的處理是圖像分析處理的一個例子，手部動作、視線動作和商品可以由其他種類的圖像分析處理識別。
[0068]如圖6所示，距離圖像獲取單元111首先從3D攝像機(jī)210獲取包含顧客和商品的距離圖像(S201)。接下來，區(qū)域檢測單元112檢測包含在S201中獲取的距離圖像中的人員和貨架(S202)，并進(jìn)一步地檢測人員和貨架的每個區(qū)域(S203)。例如，區(qū)域檢測單元112基于距離圖像中包含的圖像和距離，通過使用諸如SVM(支持向量機(jī))的辨別電路來檢測人員(顧客)，并估計檢測到的人員的關(guān)節(jié)，從而檢測該人員的骨結(jié)構(gòu)。區(qū)域檢測單元112基于檢測到的骨結(jié)構(gòu)，檢測諸如人員的手部或面部(眼睛)的每個部分的區(qū)域。此外，區(qū)域檢測單元112檢測貨架和貨架的每一行，并且基于距離圖像中包含的圖像和距離，使用辨別電路進(jìn)一步地檢測每一貨架上的商品擺放區(qū)域。
[0069]然后，手部跟蹤單元113跟蹤在S203中檢測到的顧客的手部動作(S204)。手部跟蹤單元113跟蹤顧客的手部及其附近的骨結(jié)構(gòu)，并基于距離圖像中包含的圖像和距離來檢測手部的手指或手掌的動作。
[0070]之后，手部動作識別單元114基于在S204中跟蹤的手部動作，提取手部動作的特征(S205)，并基于提取的特征識別顧客的手部在商品上的動作，即正把持商品的動作或注視商品的動作(S206)。手部動作識別單元114提取手指或手掌(手腕)的移動中的方向、角度和變化，作為特征量。例如，手部動作識別單元114從手指的角度檢測到顧客正拿著商品，并且當(dāng)手掌的法線方向朝向面部時，檢測到顧客正注視著商品。此外，可以預(yù)先學(xué)習(xí)把持商品的狀態(tài)或拿起并注視商品的狀態(tài)，并且可以通過與學(xué)習(xí)的特征量相比較來標(biāo)識手部動作。
[0071]在S203之后，視線跟蹤單元115跟蹤S203中檢測到的顧客的視線動作(S207)。視線跟蹤單元115跟蹤顧客面部及其附近的骨結(jié)構(gòu)，并基于距離圖像中包含的圖像和距離來檢測面部、眼睛和瞳孔的動作。
[0072]之后，視線動作識別單元116基于在S207中跟蹤的視線動作，提取視線動作的特征(S208)，并且基于提取的特征，識別顧客在商品上的視線動作，即顧客注視商品(標(biāo)簽)的動作(S209)。視線動作識別單元116提取面部、眼睛和瞳孔移動的方向、角度和變化作為特征量。例如，視線動作識別單元116基于面部、眼睛和瞳孔的動作，檢測視線的方向，并且檢測視線的方向是否朝向商品(標(biāo)簽)。此外，可以預(yù)先學(xué)習(xí)注視商品的狀態(tài)，可以通過與學(xué)習(xí)的特征量相比較來標(biāo)識視線動作。
[0073]在S203之后，商品跟蹤單元117跟蹤在S203中檢測到的商品的動作(狀態(tài))(S210)。此外，商品跟蹤單元117跟蹤在S206中確定的顧客拿起的商品和在S209中確定的顧客注視的商品。商品跟蹤單元117基于在距離圖像中包含的圖像和距離，檢測商品的方向、位置等。
[0074]然后，商品識別單元118提取在S210中跟蹤的商品的特征(S211)，并且基于該提取的特征，從商品?目息DB 170中識別相應(yīng)的商品(S212)。商品識別單兀118提取商品上的標(biāo)簽的文字或圖像作為特征量。例如，商品識別單元118將標(biāo)簽的提取的特征量與商品信息DB170中的標(biāo)簽的特征量進(jìn)行比較，并且標(biāo)識特征量匹配或兩個特征量接近(類似)的商品。進(jìn)一步地，在貨架上的擺放位置和商品之間的關(guān)系存儲在商品信息DB 170中的情況下，基于在距離圖像中包含的圖像和距離，獲取顧客拿起或注視的商品在貨架上的位置，并且從商品信息DB 170中檢索貨架的位置，從而檢測匹配商品。
[0075]圖7示出在圖5的S108中由動作概況生成單元140生成的動作概況的一個例子。
[0076]當(dāng)顧客進(jìn)入店鋪并且顧客識別單元120基于面部識別攝像機(jī)220拍攝的面部圖像識別該顧客(圖5中的S102)時，動作概況生成單元140生成并記錄圖7所示的來店記錄信息191，作為動作概況。例如，作為來店記錄信息191，記錄對識別的顧客進(jìn)行標(biāo)識的顧客ID，并且將顧客ID和來店時間相互關(guān)聯(lián)地記錄。
[0077]此外，當(dāng)顧客接近貨架，并且距離圖像分析單元110識別到顧客拿起商品、將商品放入籃中或?qū)⑸唐贩呕氐截浖?圖5中的S104)的動作時，動作概況生成單元140生成并記錄如圖7所示的商品記錄信息(商品接觸信息)192作為動作概況。
[0078]例如，作為商品記錄信息192，記錄對識別的貨架進(jìn)行標(biāo)識的貨架ID，并且將顧客接近貨架的動作和顧客接近貨架的時間彼此關(guān)聯(lián)地記錄。同樣，將顧客離開貨架的動作和顧客離開貨架的時間彼此關(guān)聯(lián)地記錄。
[0079]此外，記錄用于對識別到的顧客拿起的商品進(jìn)行標(biāo)識的商品ID，并且將商品和識別的動作彼此相關(guān)聯(lián)地記錄。當(dāng)識別到顧客拿起商品時，將商品ID、拿起商品的動作、和顧客拿起商品的時間彼此相關(guān)聯(lián)地記錄。當(dāng)識別到顧客注視商品的標(biāo)簽(拿起商品并注視其標(biāo)簽)時，將商品ID、注視商品的動作、和顧客注視標(biāo)簽的時間彼此相關(guān)聯(lián)地記錄。當(dāng)識別到顧客將商品放在籃(購物推車或購物籃)中時，將商品ID、將商品放入籃中的動作、和顧客將商品放入籃中的時間彼此相關(guān)聯(lián)地記錄。當(dāng)識別到顧客將商品放回貨架時，將商品ID、將商品放回貨架的動作、和顧客將商品放回貨架的時間彼此相關(guān)聯(lián)地記錄。通過檢測顧客將商品放入籃中的事實，例如能夠掌握顧客購買商品的事實(購買結(jié)果)。此外，通過檢測顧客將商品放回貨架的事實，能夠掌握顧客沒有購買商品的行為(購買結(jié)果)。
[0080]此外，當(dāng)顧客移動，并且動線分析單元130基于由店鋪內(nèi)攝像機(jī)230拍攝的店鋪內(nèi)圖像來分析顧客來往動線(圖5中的S107)時，動作概況生成單元140生成如圖7所示的動線記錄信息19 3作為動作概況。例如，作為動線記錄信息19 3，記錄對識別的顧客通過的區(qū)域(或貨架)進(jìn)行標(biāo)識的區(qū)域(或貨架)ID，并且將區(qū)域(或貨架)ID和顧客通過區(qū)域(或貨架)的時間彼此相關(guān)聯(lián)地記錄。
[0081]圖8示出在圖5的S109中動作信息分析單元150的動作概況的分析結(jié)果的一個例子。如圖8所示，動作信息分析單元150分析圖7的動作概況，并且生成例如分析每個貨架的統(tǒng)計信息的貨架分析信息。
[0082]動作信息分析單元150合計與動作概況中所有顧客相關(guān)的商品記錄信息192，并且生成用于標(biāo)識貨架的每個貨架ID、顧客停留在貨架處的概率和平均時間。
[0083]此外，對于標(biāo)識擺放在貨架上的商品的每個商品ID，動作信息分析單元150生成顧客拿起商品的概率和平均時間(顧客把持商品的時間)，顧客注視商品標(biāo)簽的概率和平均時間(顧客注視商品標(biāo)簽的時間)，顧客將商品放入籃中的概率和平均時間(從注視商品到將商品放入籃中的時間)，和顧客將商品放回貨架的概率和平均時間(從注視商品到將商品放回貨架的時間)。
[0084]圖9示出在圖5的S109中動作信息分析單元150的動作概況的分析結(jié)果的另一個例子。如圖9所示，動作信息分析單元150分析圖7的動作概況，并且生成例如對每個顧客分析統(tǒng)計信息的顧客分析信息。
[0085]動作信息分析單元150對于每個顧客合計動作概況的來店記錄信息191和商品記錄信息192。例如，對于每個顧客，以與圖8中相同的方式，生成對于每個貨架ID的顧客停留在貨架處的概率和平均時間、顧客拿起商品的概率和平均時間、顧客注視標(biāo)簽的概率和平均時間、顧客將商品放入籃中的概率和平均時間、和對于每個商品ID的顧客將商品放回貨架的概率和平均時間。
[0086]此外，動作信息分析單元150將動作概況與顧客的嗜好信息進(jìn)行比較，并分析它們之間的相關(guān)性(關(guān)聯(lián)性)。具體地，確定在動作概況中對每個商品的動作匹配顧客的嗜好。例如，當(dāng)顧客拿起喜愛的商品或購買它(將其放入籃中)時，確定它們是相匹配的(相關(guān)聯(lián))，當(dāng)顧客沒有購買喜愛的商品(將其放回貨架)時，確定它們是不相匹配的(不相關(guān)聯(lián))?；陬櫩蛣幼骱皖櫩褪群貌幌嗥ヅ涞氖聦?，能夠分析顧客已決定不購買該商品的原因。例如，當(dāng)顧客在注視它的標(biāo)簽之后沒有購買喜愛的商品時，估計在標(biāo)簽的顯示等方面存在問題。此外，當(dāng)顧客沒有拿起喜愛的商品并表示出對它沒有興趣時，估計在商品的擺放等方面存在問題。
[0087]在圖9的例子中，對于拿起商品的動作、注視標(biāo)簽的動作、將商品放入籃中的動作、和將商品放回貨架的動作中的每一個，確定與顧客信息DB 180中的屬性信息182的關(guān)聯(lián)性、與顧客信息DB 180中的嗜好信息183的關(guān)聯(lián)性、和與顧客信息DB 180中的歷史信息184的關(guān)聯(lián)性。
[0088]如上所述，在本示例性實施例中，通過被擺放在能夠看到貨架和貨架前的客戶(購物者)的位置處的3D攝像機(jī)，來觀察顧客的手部移動，以識別哪個商品被顧客拿起。然后，記錄并分析商品被拿起的位置(商品貨架的位置和在貨架中的位置)和時間以及標(biāo)識商品的諸如商品ID的信息，并且顯示并通知分析結(jié)果。
[0089]從而，可以詳細(xì)地檢測和分析(可視化)顧客對商品的動作，并且能夠利用顧客在購買之前的行為來改善銷售系統(tǒng)，諸如商品的位置和廣告，以增加銷售。具體的有利效果如下所述。
[0090]例如，由于能夠找出商品經(jīng)常被顧客觸摸所在的貨架和貨架中的一行，所以能夠使用該信息改善商品擺放(空間計劃)。由于能夠找出顧客拿起商品所在的貨架中的深度，所以當(dāng)顧客從貨架的后部拿起商品時能夠確定需要再供貨。
[0091]此外，能夠通過比較擺放傳單或廣告之前和之后的拿起商品的頻率，測定和通知傳單或廣告的效果。進(jìn)一步地，從顧客來到商品前時到顧客決定購買商品時的購買前過程信息(關(guān)于顧客在決定購買/決定不購買商品之前注視的商品部分、顧客在將商品放入籃中之前注視商品/考慮購買的時間、顧客為進(jìn)行比較而注視的蔬菜等部分，等)，能夠被通知或賣給商品的制造商。
[0092]此外，能夠記錄顧客拿起商品并將其放回到與原始位置不同的位置上的事實，并且將此情況通知給雇員以使他們能夠?qū)⑸唐贩诺秸_的位置。此外，能夠使店鋪員工的工作(檢查、再供貨等)可視化，從而可靠地執(zhí)行工作