專利名稱：店鋪系統(tǒng)及商品銷售數(shù)據(jù)處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種店鋪系統(tǒng)及商品銷售數(shù)據(jù)處理方法。
背景技術(shù)：
目前，在超市等中，使用有商品代碼讀取裝置，該商品代碼讀取裝置通過CCD圖像傳感器等的數(shù)碼相機攝像附加在商品上的條形碼或二維代碼(例如，QR代碼(注冊商標)) 等的碼符號，并通過檢測出從該已攝像的圖像中檢測出的碼符號而進行譯碼，從而讀取商品代碼。不過，在現(xiàn)有技術(shù)中，由于必須向商品上附加條形碼或二維代碼等的碼符號，所以對新鮮食品或面包等，要準備獨立包裝等來附加碼符號或準備碼符號表。

發(fā)明內(nèi)容
鑒于上述問題，本發(fā)明的目的在于提供一種店鋪系統(tǒng)和商品銷售數(shù)據(jù)處理方法， 其能夠快速、準確地進行商品銷售數(shù)據(jù)的處理。本發(fā)明第一方面涉及的店鋪系統(tǒng)，包括圖像輸出部，輸出攝像部已攝像的圖像； 物體識別部，通過讀取已輸出的所述圖像的特征量，識別指定的物體；登記部，對已識別的所述物體，基于存儲與所述物體關(guān)聯(lián)的信息、且是用于銷售登記的信息的文件，進行銷售登記；以及確認圖像顯示部，在面對面銷售時處于從顧客端角度看的狀態(tài)下，將關(guān)于已識別的所述物體的圖像與所述物體的銷售登記所涉及的信息同時顯示在所述顯示部上。本發(fā)明第二方面涉及的店鋪系統(tǒng)，包括攝像部；顯示部；圖像輸出部，輸出所述攝像部已攝像的圖像；物體識別部，通過讀取已輸出的所述圖像的特征量，識別指定的物體；登記部，對已識別的所述物體，基于用于存儲與所述物體關(guān)聯(lián)的信息、且是用于銷售登記的信息的文件，進行銷售登記；以及確認圖像顯示部，在面對面銷售時處于從顧客端角度看的狀態(tài)下，將關(guān)于已識別的所述物體的圖像與所述物體的銷售登記所涉及的信息同時顯不在顯不部上。本發(fā)明第三方面涉及的商品銷售數(shù)據(jù)處理方法，包括以下步驟通過讀取攝像部已攝像的圖像的特征量，識別指定的物體；對已識別的所述物體，基于用于存儲與所述物體關(guān)聯(lián)的信息、且是用于銷售登記的信息的文件，進行銷售登記；以及在面對面銷售時處于從顧客端角度看的狀態(tài)下，將關(guān)于已識別的所述物體的圖像與所述物體的銷售登記所涉及的信息同時顯示在顯示部上。


圖1是表示本實施例所涉及的結(jié)賬系統(tǒng)的立體圖。
圖2是表示POS終端及商品讀取裝置的硬件構(gòu)成的框圖。圖3是例示出PLU文件的數(shù)據(jù)構(gòu)成的概念圖。圖4是表示CPU的功能構(gòu)成的框圖。圖5是表示結(jié)賬系統(tǒng)的處理動作的一例的流程圖。圖6是表示讀取窗中的讀取區(qū)域的例子的概念圖。圖7是表示顯示器的顯示例的概念圖。圖8是表示顧客用顯示器的顯示例的概念圖。圖9是示意地示出處理的具體例的說明圖。
具體實施例方式下面，以結(jié)賬系統(tǒng)為例，參照附圖對本實施例所涉及的店鋪系統(tǒng)及商品銷售數(shù)據(jù)處理方法進行說明。店鋪系統(tǒng)是具有進行一交易所涉及的商品的登記、結(jié)算的POS終端的結(jié)賬系統(tǒng)(P0S系統(tǒng))等。本實施例是向引進到超市、糕點店、甜甜圈店等的店鋪中的結(jié)賬系統(tǒng)的應(yīng)用例。圖1是表示結(jié)賬系統(tǒng)1的立體圖。如圖1所示，結(jié)賬系統(tǒng)1具有進行一交易所涉及的商品的登記、對賬的POS終端11。POS終端11被載置在結(jié)賬臺51上的抽屜21上面。 抽屜21由POS終端11控制打開動作。POS終端11的上表面配置有由操作員(店員)進行按下操作的鍵盤22。從操作鍵盤22的操作員角度看，在鍵盤22的里側(cè)設(shè)置有朝向操作員顯示信息的顯示器23。顯示器23在其顯示面23a上顯示信息。在顯示面23a上層壓有觸摸面板沈。在顯示器23的更里側(cè)旋轉(zhuǎn)自如地立著設(shè)置有顧客用顯示器對。顧客用顯示器 24在其顯示面2 上顯示信息。另外，雖然圖1所示的顧客用顯示器M將顯示面2 朝向圖1中的跟前側(cè)，但是通過以顯示面2 朝向圖1中的里側(cè)的方式使顧客用顯示器24旋轉(zhuǎn)，顧客用顯示器M朝向顧客顯示信息。展示柜151以與載置有POS終端11的結(jié)賬臺51形成為L字的方式被配置。在展示柜151的上表面上形成有負荷接受面152。負荷接受面152載置有收納商品A的包裝紙盒153。另外，包裝紙盒153也可以是在糕點店、面包店等的店鋪中使用的托盤等。展示柜151的負荷接受面152設(shè)置有與POS終端11數(shù)據(jù)發(fā)送接收自如地連接的商品讀取裝置101。商品讀取裝置101具有薄的長方形形狀的外殼102。在外殼102的正面配置有讀取窗103。在外殼102的上部安裝有顯示/操作部104。顯示/操作部104設(shè)置有在表面層壓有觸摸面板105的顯示器106。在顯示器106的右邊設(shè)置有鍵盤107。在鍵盤107的右邊設(shè)置有未圖示的讀卡器的卡讀取槽108。從操作員角度看，在顯示/操作部 104的背面靠左的里側(cè)設(shè)置有用于向顧客提供信息的顧客用顯示器109。這樣的商品讀取裝置101具有商品讀取部110(參照圖2)。商品讀取部110在讀取窗103的里側(cè)配置攝像部164(參照圖2)。在糕點店、甜甜圈店等中，顧客選擇展示柜151內(nèi)的商品A，店員將其取到托盤(未圖示)等中。之后，商品A通過店員的手從托盤移動到包裝紙盒153中。在全部的商品被移動到包裝紙盒153后，包裝紙盒153被朝向商品讀取裝置101的讀取窗103。這時，配置在讀取窗103的里側(cè)的攝像頭164(參照圖2)攝像包裝紙盒153內(nèi)的全部的商品A。在商品讀取裝置101中，檢測出通過攝像部164攝像的圖像所包含的商品A的全部或一部分。在商品讀取裝置101中，當檢測出在通過攝像部164攝像的圖像中包含有商品A的全部或一部分時，向POS終端11輸出其攝像的圖像。在POS終端11中，分別對商品A的各個，通過參照關(guān)聯(lián)有商品A的銷售登記所涉及的信息和商品A的圖像的PLU文件Fl (參照圖3詳細后述)，從通過商品讀取部110的攝像部164攝像的商品A的全部或一部分的圖像中，識別作為指定的物體的商品A，從而指定進行銷售登記的商品A，并將其指定的商品A的商品ID、 商品分類、商品名、單價等的銷售登記所涉及的信息記錄到銷售主文件(未圖示)等中進行銷售登記。圖2是表示POS終端11及商品讀取裝置101的硬件構(gòu)成的框圖。POS終端11具有作為執(zhí)行信息處理的信息處理部的微機60。微機60由在執(zhí)行各種運算處理并控制各部的 CPU 61 (Central Processing Unit:中央處理器)上總線連接有 ROM 62 (Read Only Memory 只讀存儲器)和RAM 63 (Random Access Memory 隨機存取存儲器)而構(gòu)成。所述的抽屜21、鍵盤22、顯示器23、觸摸面板沈、顧客用顯示器M均通過各種的輸入輸出電路(均未圖示)與POS終端11的CPU 61連接，并接受CPU 61的控制。鍵盤22包括在上面顯示有“1”、“2”、“3”......等的數(shù)字、“ X ”的乘法的算符的
數(shù)字鍵22d、臨時合計鍵2 及合計鍵22f。POS 終端 11 的 CPU 61 連接有 HDD 64 (Hard Disk Drive :硬盤驅(qū)動器)。HDD 64 存儲有程序、各種文件。HDD 64所存儲的程序、各種文件在POS終端11起動時，其全部或一部分被復(fù)制到RAM 63并通過CPU 61順序執(zhí)行。HDD 64所存儲的程序的一例是商品銷售數(shù)據(jù)處理用的程序冊。HDD 64所存儲的文件的一例是從存儲計算機SC分配存儲的PLU文件 F1。PLU文件Fl是對陳列在店鋪中并進行銷售的商品A的各個商品設(shè)定有商品A的銷售登記所涉及的信息和該商品A的圖像的關(guān)聯(lián)的文件。圖3是例示出PLU文件F 1的數(shù)據(jù)構(gòu)成的概念圖。如圖3所示，PLU文件Fl是對應(yīng)每個商品A存儲單獨地分配的商品ID、商品A所屬的商品分類、商品名、單價等的與商品有關(guān)的信息、攝像其商品的商品圖像、“相似度0. XX”的閾值、表示是否需要分開的信息的文件。雖然詳細進行后述，但是該“相似度 0. XX”的閾值在商品A為甜甜圈等、油炸不足或過度等時，可通過與預(yù)先存儲在PLU文件Fl 中的商品的商品圖像進行比較，判斷為與正規(guī)狀態(tài)不同的物品。表示是否需要分開的信息是在將在糕點店、甜甜圈店等中銷售的蛋糕、甜甜圈向包裝紙盒153內(nèi)進行裝盒時，用于發(fā)出“需要分開”意思的警報的信息。返回到圖2，POS終端11的CPU 61通過輸入輸出電路(未圖示)連接有用于與存儲計算機SC執(zhí)行數(shù)據(jù)通信的通信接口 25。存儲計算機SC設(shè)置在店鋪的后院等。存儲計算機SC的HDD (未圖示)存儲有向POS終端11發(fā)送的PLU文件Fl。而且，POS終端11的CPU 61連接有在與商品讀取裝置101之間可數(shù)據(jù)發(fā)送接收的連接接口 65。連接接口 65連接有商品讀取裝置101。此外，POS終端11的CPU 61連接有在票據(jù)等上進行打字的打印機66。POS終端11在CPU 61的控制下，將一交易的交易內(nèi)容打印在票據(jù)上。商品讀取裝置101也具有微機160。微機160由CPU 161總線連接有ROM 162和 RAM 163而構(gòu)成。ROM 162存儲有通過CPU 161執(zhí)行的程序。CPU 161通過各種的輸入輸出電路(均未圖示)連接有攝像部164、聲音輸出部165。攝像部164、聲音輸出部165由CPU161控制動作。顯示/操作部104由連接接口 176與POS終端11連接。顯示/操作部 104由POS終端11的CPU 61控制動作。攝像部164是彩色CXD圖像傳感器或彩色COMS圖像傳感器等，并是在CPU 161的控制下進行從讀取窗103的攝像的攝像單元。例如，在攝像部164中進行30fps的視頻的攝像。攝像部164以規(guī)定的幀頻依次攝像的幀圖像被保存到RAM 163中。聲音輸出部165是用于產(chǎn)生預(yù)先設(shè)定的警報音等的聲音電路和揚聲器等。聲音輸出部165在CPU 161的控制下進行警報音等的聲音的告知。而且，CPU 161連接有與POS終端11的連接接口 65連接、并與POS終端11之間可數(shù)據(jù)接收發(fā)送的連接接口 175。在CPU 161的控制下，通過商品讀取裝置101的攝像部164 攝像的圖像(包含商品A的全部或一部分的圖像)通過連接接口 175被輸出，并通過連接接口 65輸入給POS終端11。接著，參照圖4對CPU161、CPU 61通過依次執(zhí)行程序?qū)崿F(xiàn)的CPU 16UCPU 61的功能部進行說明。圖4是表示CPU 16UCPU 61的功能構(gòu)成的框圖。如圖4所示，CPU 161通過依次執(zhí)行程序，具有作為攝像圖像取得部1611、商品檢測部1612、作為圖像輸出單元的圖像輸出部1613的功能。同樣，CPU 61具有作為物體識別單元的物體識別部611、作為登記單元的商品登記部612、相似度判定部613、不合格品告知部614、作為確認圖像顯示單元的確認圖像顯示部615、分開警報部616的功能。攝像圖像取得部1611向攝像部164輸出攝像導(dǎo)通信號從而使攝像部164開始攝像動作。攝像圖像取得部1611在攝像動作開始后，依次取得攝像部164攝像、并保存在RAM 163中的幀圖像。由攝像圖像取得部1611的幀圖像的取得按照RAM 163所保存的順序進行。商品檢測部1612使用模式匹配技術(shù)等檢測出通過攝像圖像取得部1611取得的幀圖像所包含的商品A的全部或一部分。具體地說，從將取得的幀圖像進行二值化的圖像中抽取輪廓線。接著，將從最后的幀圖像中抽取的輪廓線和從此次的幀圖像中抽取的輪廓線進行比較，檢測出有變更的部分，也就是說，檢測為了銷售登記而朝向讀取窗103的商品的映入。另外，作為檢測出商品的其他方法，從取得的幀圖像檢測出有無皮膚區(qū)域。接著， 當檢測出皮膚區(qū)域時，也就是說，當檢測出店員的手的映入時，通過進行上述的輪廓線的檢測，對假想店員的手正把持的商品的輪廓抽取進行嘗試。這時，當檢測出表示手的形狀的輪廓和除此以外的輪廓時，由于店員的手把持商品，所以檢測出商品的映入。圖像輸出部1613通過連接接口 175向POS終端11輸出攝像圖像取得部1611取得的幀圖像。圖像輸出部1613雖然也可以將攝像圖像取得部1611取得的幀圖像逐次向POS 終端11進行輸出，但是在本實施例中，向POS終端11輸出通過商品檢測部1612檢測出商品A的全部或一部分的幀圖像。這樣，通過向POS終端11輸出通過商品檢測部1612檢測出商品A的全部或一部分的幀圖像，能夠防止在POS終端11中進行因未包含有商品A的全部或一部分的幀圖像而參照PLU文件Fl來執(zhí)行的物體識別的情況發(fā)生。由于指定物體的識別處理需要處理時間，所以能夠通過防止在沒有指定物體的識別的可能性的未包含有商品A的全部或一部分的幀圖像中的處理，從而謀求處理時間的縮短。物體識別部611通過參照PLU文件Fl的商品圖像，從通過商品讀取裝置101的攝像部164攝像的商品A的全部或一部分的圖像中，讀取色彩和表面的凹凸狀況等的表面狀態(tài)作為特征量，從而識別商品A作為指定物體。另外，物體識別部611由于謀求處理時間的縮短，所以不考慮商品A的輪廓、大小。在POS終端11中，根據(jù)物體識別部611的識別結(jié)果， 能夠從預(yù)先登記在PLU文件Fl的商品中，指定商品讀取裝置101所讀取的商品。相似度判定部613對物體識別部611已識別的商品A，計算出相似度，并判定相似度是否超過在PLU文件Fl中預(yù)先規(guī)定的閾值。這樣，識別圖像中所包含的物體被稱為一般物體識別(generic object recognition 一般物體識別)。關(guān)于這樣的一般物體識別在下述的文獻中各種識別技術(shù)被說明。柳井啓司，“一般物體認識O現(xiàn)狀i今後”，情報処理學(xué)會論文誌，Vol.48, No. SIG16 [平成 22 年 8 月 10 日検索]，4 乂夕一才、7 卜 <URL :http //mm. cs. uec. ac. jp/ IPSJ-TCVIM-Yanai. pdf> (柳井啟司，“一般物體識別的現(xiàn)狀與未來”，信息處理學(xué)會論文雜志，Vol. 48，No. SIG16 “平成 22 年 8 月 10 日檢索”，網(wǎng)址 <URL :http://mm. cs. uec. ac. jp/ IPSJ-TCVIM-Yanai. pdf>)此外，通過對應(yīng)每個目的物對圖像進行區(qū)域分割，進行一般物體識別的技術(shù)在下述的文獻中被說明。Jamie Shotton h , "Semantic Texton Forests for Image Categorization and Segmentation",[平成 22 年 8 月 10 日検索]，^ y 夕一本 7 卜 <URL -Mttp:// citeseerx. ist. psu. edu/viewdoc/download？ doi = 10. 1. 1. 145. 3036&rep = repl&type =pdf> (Jamie Shotton h (杰米肖頓等人)，"Semantic Texton Forests for Image Categorization and Segmentation ”，“平成 22 年 8 月 10 日檢索”，網(wǎng)址 <URL :http:// citeseerx. ist. psu. edu/viewdoc/download ？ doi = 10. 1. 1. 145. 3036&rep = repl&type =pdf>)商品登記部612將與通過物體識別部611識別的商品圖像關(guān)聯(lián)的銷售登記所涉及的信息、即作為商品讀取裝置101已讀取的商品被指定的商品的商品ID、商品分類、商品名、單價等記錄在銷售主文件等中進行銷售登記。接著，對結(jié)賬系統(tǒng)1的動作進行詳細地說明。圖5是表示本實施例所涉及的結(jié)賬系統(tǒng)1的動作的一例的流程圖。首先，對商品讀取裝置101側(cè)的動作進行說明。如圖5所示，當按照POS終端11 的商品登記的開始等而開始處理時，則攝像圖像取得部1611向攝像部164輸出攝像導(dǎo)通信號從而開始由攝像部164的攝像(步驟Si)。接著，攝像圖像取得部1611取得攝像部164 攝像、并保存在RAM 163中的幀圖像(攝像圖像)(步驟S2)。接著，商品檢測部1612從攝像圖像取得部1611取得的幀圖像中，進行包裝紙盒153內(nèi)的全部的商品A的全部或一部分的檢測(步驟S3)。接著，圖像輸出部1613向POS終端11輸出通過商品檢測部1612檢測出包裝紙盒153內(nèi)的全部的商品A的全部或一部分的幀圖像(步驟S4)。圖6是表示讀取窗103中的讀取區(qū)域R的例子的概念圖。具體地說，圖6是例示出在讀取商品A時的讀取區(qū)域R的概念圖。如圖6所示，當在上述的商品A的移動過程中， 在讀取區(qū)域R映入有包裝紙盒153內(nèi)的商品A時，通過步驟S3從已攝像該讀取區(qū)域R的幀圖像中檢測出包裝紙盒153內(nèi)的全部的商品A的全部或一部分。通過該包裝紙盒153內(nèi)的全部的商品A的全部或一部分的檢測，能夠在步驟S4中向POS終端11輸出已攝像讀取區(qū)域R的幀圖像。接著，CPU 161判定從POS終端11有無商品登記的結(jié)束通知等的工作結(jié)束(步驟 S5)。當繼續(xù)工作時(步驟S5的否)，CPU 161返回到步驟S2的處理繼續(xù)處理。當結(jié)束工作時(步驟S5的是)，攝像圖像取得部1611向攝像部164輸出攝像截止信號，結(jié)束攝像部 164的攝像(步驟S6)，并結(jié)束處理。接著，對POS終端11側(cè)的動作進行說明。如圖5所示，當按照由鍵盤22的操作指示的商品登記的開始等而開始處理時，則CPU61接收從商品讀取裝置101輸出的檢測出包裝紙盒153內(nèi)的全部的商品A的全部或一部分的幀圖像(步驟Sll)。接著，物體識別部611 參照PLU文件Fl的商品圖像，根據(jù)從商品讀取裝置101已輸出的在包裝紙盒153內(nèi)的全部的商品A的全部或一部分的圖像，按順序識別商品A作為指定物體(步驟S12)。在這里，作為在步驟S12中的識別結(jié)果，往往有出現(xiàn)多個商品A的候補的情況。因而，當有多個商品A的候補時，(步驟S13的是)，CPU 61通過向圖7所示的顯示器23的畫面顯示(步驟S14)，向店員進行告知。圖7是表示顯示器23的顯示例的概念圖。如圖7所示，在顯示器23的顯示畫面上顯示從PLU文件Fl取得作為在步驟S12中的識別結(jié)果的多個商品A的候補的商品名、單價。在圖7所示的例子中，顯示有“平原甜甜圈”和“糖甜甜圈”。之后，CPU 61當判定操作員(店員)通過觸摸面板沈選擇正確的候補作為商品A 時(步驟S15的是)，則前進到步驟S16。另外，當沒有多個商品A的候補時(步驟S13的否)，直接前進到步驟S16。接著，相似度判定部613對物體識別部611已識別的商品A，計算出相似度(步驟 S16)。相似度是當將PLU文件Fl所存儲的各商品的商品圖像視為100% = “相似度1. 0” 時，表示從商品讀取裝置101輸出的商品A的全部或一部分的圖像相似哪種程度的數(shù)據(jù)。如上所述，諸如按照色彩和表面的凹凸狀況等的表面狀態(tài)，計算出相似度。另外，諸如也可以在色彩和表面的凹凸狀況中，改變加權(quán)。接著，相似度判定部613判定在步驟S16中計算出的相似度是否超過預(yù)先規(guī)定的閾值(“相似度0· XX”)(步驟S17)。當相似度判定部613判定出在步驟S16中計算出的相似度超過預(yù)先規(guī)定的閾值 (“相似度0· XX”)時(步驟S17的是)，在步驟S18中，商品登記部612登記作為指定物體的商品A的識別結(jié)果、從其識別結(jié)果中選擇指定一個的商品A的銷售。而且，分開警報部616關(guān)于已識別的商品A，參照PLU文件Fl所存儲的表示是否需要分開的信息，當為需要分開的商品時，向店員告知其意思(步驟S19)。具體地說，分開警報部616用向顯示器23和通過連接接口 65、176的顯示器106的畫面顯示、通過連接接口 65、175的聲音輸出部165的警報音的輸出等，向店員告知需要分開的意思。接著，CPU 61判定是否已識別全部的物體(步驟20)。CPU 61當判定出已識別全部的物體時(步驟S20的是)，前進到步驟S21，當判定出未識別全部的物體時(步驟S20 的否)，返回到步驟S12的處理，繼續(xù)接著的物體的識別處理。在步驟S21中，確認圖像顯示部615通過向圖8所示的顧客用顯示器M的畫面顯示，使顧客確認購入商品。在圖8所示的例子中，在將裝入已識別的商品A的預(yù)先登記的商品圖像(參照圖3)的包裝紙盒153的圖像顯示在顯示區(qū)域Gl上的同時，也使預(yù)先保存的商品A的商品名稱、單價等的商品信息及個數(shù)、合計金額等的購入商品的履歷(銷售登記所涉及的信息)同時顯示在顯示區(qū)域G2上。此外，顯示在顯示區(qū)域Gl上的商品A的商品圖像也附記商品名。根據(jù)堆棧在RAM 63中的購入商品所涉及的信息，POS終端11的CPTOl進行該顯示區(qū)域G2中的購入商品的履歷(銷售登記所涉及的信息)的顯示。通過這樣的畫面顯示，能夠讓顧客確認與希望的商品是否有誤。目前，在糕點店、甜甜圈店等中，將裝入有商品A的包裝紙盒153越過展示柜151提示顧客確認是否有誤，之后進行銷售交易用的登記和合計操作等的POS操作，但在本系統(tǒng)中，由于用商品讀取裝置101映入購入商品，并總括讀出全部商品的商品名和價格等的信息，所以可在顧客確認后以短時間結(jié)束POS操作。另外，在圖8所示的例子，雖然在將裝入已識別的商品A的預(yù)先登記的商品圖像的包裝紙盒153的圖像顯示在顯示區(qū)域Gl上的同時，也使預(yù)先保存的商品A的商品名、單價等的商品信息及個數(shù)、合計金額等的購入商品的履歷(銷售登記所涉及的信息)同時顯示在顯示區(qū)域G2上，但是并不限定于此。例如，也可以是使用攝像部164攝像的圖像(圖6 所示的圖像)，并使銷售登記所涉及的信息與所述圖像同時顯示的情況。這樣，通過使攝像部164攝像的圖像和銷售登記所涉及的信息同時顯示，能夠?qū)︿N售登記所用的攝像圖像和實際銷售登記的信息的匹配在視覺上進行確認。另外，確認圖像顯示部615也可以從存儲計算機SC等中取得以往的購入商品，并將以往的購入商品的明細表顯示在顯示區(qū)域G2上，作為購入商品的履歷。在這里，向圖8所示的顧客用顯示器M的畫面顯示與圖6所示的讀取圖像不同。 向圖8所示的顧客用顯示器M的畫面顯示是在面對面銷售時處于從顧客端角度看的狀態(tài)， 圖6所示的讀取圖像是處于從操作員(店員)端角度看的狀態(tài)。也就是說，確認圖像顯示部 615通過使圖像向上下翻轉(zhuǎn)及左右翻轉(zhuǎn)的方向進行變更(通過旋轉(zhuǎn)180度)，從而按照從顧客端角度看的顯示。此外，確認圖像顯示部615將與圖像重疊顯示的商品名候補等的標題也與翻轉(zhuǎn)圖像一致，向用戶可識別能夠讀取的方向顯示。換言之，確認圖像顯示部615將攝像部164所攝像的圖像的方向變更成向規(guī)定的方向旋轉(zhuǎn)的方向、且通過相對于攝像部164 所攝像的圖像的方向使圖像向上下翻轉(zhuǎn)及左右翻轉(zhuǎn)的方向進行變更(通過180度旋轉(zhuǎn))，從而進行按照從顧客端角度看的顯示。接著，CPU 61判定有無由鍵盤22的操作指示的銷售登記的結(jié)束等的工作結(jié)束(步驟S22)。當結(jié)束工作時(步驟S22的是)，CPTOl結(jié)束向顧客用顯示器M的畫面顯示，從而結(jié)束處理。另一方面，當相似度判定部613判定出在步驟S16中計算出的相似度未超過預(yù)先規(guī)定的閾值(“相似度0. XX”)時(步驟S17的否)，不合格品告知部614向店員告知是未被識別為合格品的商品(步驟S2!3)，促使店鋪方采取銷售中止或減價銷售等的措施。具體地說，不合格品告知部614用向顯示器23和通過連接接口 65、176的顯示器106的畫面顯示、通過連接接口 65、175的聲音輸出部165的警報音的輸出等，向店員告知錯誤。通過進行該告知，結(jié)賬系統(tǒng)1能夠促使店員進行讀取其他商品A等的恰當?shù)牟僮?。CPU 61當判定出有由鍵盤22的操作指示等的減價銷售的指示時(步驟S24的是)，在步驟S18中，商品登記部612登記作為指定的物體的商品A的識別結(jié)果、減價從該識別結(jié)果中選擇指定一個的商品A的銷售。此外，當判定出有由鍵盤22的操作指示等的銷售中止的指示時(步驟S24的否)，返回到步驟S12的處理。如圖9所示，當在物體識別部611所識別出的商品A為“平原甜甜圈”時，閾值作為“相似度0. 50”被存儲到PLU文件Fl時，則由于在(a)中所示的商品相似度為0. 717，所以判定計算出的相似度超過預(yù)先規(guī)定的閾值。另一方面，由于在(b)中所示的商品相似度為 0.252，所以判定計算出的相似度未超過預(yù)先規(guī)定的閾值。因此，在(a)中所示的商品作為 “平原甜甜圈”象通常一樣進行銷售登記(OK)。另一方面，在(b)中所示的商品雖然被大致識別為“平原甜甜圈”，但是其是不新鮮變色了的、損壞了的、變形了的，也就是說，色彩和表面的凹凸狀況等為不正常的，從而作為不合格品不被銷售登記(NG)。尤其甜甜圈、面包等， 將正規(guī)的烤法或油炸法的商品圖像預(yù)先存儲到PLU文件Fl中，當烤的不足/過度或油炸不足/過度等脫離閾值時，能夠判斷為不合格品。這樣，根據(jù)本實施例的結(jié)賬系統(tǒng)1，當甜甜圈或面包等為不新鮮變色了的、損壞了的、變形了的、因烹調(diào)不良導(dǎo)致的色彩不同的等時，通過與PLU文件Fl所存儲的商品圖像進行比較，能夠?qū)⒚撾x標準的判斷為不合格品。尤其在繁忙店鋪等對檢驗商品的新鮮度的時間有限制的店鋪或雇傭較多店員烹調(diào)甜甜圈、面包有個人誤差的店鋪等中，也可以與正規(guī)的商品以數(shù)值的判斷進行比較。此外，根據(jù)這樣的本實施例的結(jié)賬系統(tǒng)1，由于能夠讓顧客同時確認商品圖像和該商品的名稱、單價等的商品信息，所以可減少差錯。此外，由于能夠總括讀取在托盤上的商品或包裝紙盒153內(nèi)的商品并總括調(diào)用商品信息，所以可用短時間進行與買賣有關(guān)的交易ο而且，根據(jù)這樣的本實施例的結(jié)賬系統(tǒng)1，在相似品多并出現(xiàn)多個商品A的候補的店鋪中，通過將商品A的候補全部顯示而選擇，可防止商品錯誤的情況發(fā)生。 另外，在本實施例中，進行識別的物體雖然是PLU文件Fl所存儲的銷售商品，但是并不限定于此，也可以是用于促銷的促銷品等。在本實施例的POS終端11、商品讀取裝置101中所執(zhí)行的程序被預(yù)先安裝在ROM 中而提供。在本實施例的POS終端11、商品讀取裝置101中所執(zhí)行的程序也可以以可安裝的形式或可執(zhí)行的形式的文件，記錄在CD-ROM、軟磁盤(FD)、CD-R、DVD (Digital Versatile Disk 數(shù)字多功能磁盤)等的計算機可讀存儲介質(zhì)中而提供。而且，也可以將在本實施例的POS終端11、商品讀取裝置101中所執(zhí)行的程序存儲在與互聯(lián)網(wǎng)等的網(wǎng)絡(luò)連接的計算機上，并通過經(jīng)由網(wǎng)絡(luò)下載而提供。此外，也可以將在本實施例的POS終端11、商品讀取裝置101中所執(zhí)行的程序經(jīng)由互聯(lián)網(wǎng)等的網(wǎng)絡(luò)提供或配置。在本實施例的POS終端11中所執(zhí)行的程序為包括上述的各部(物體識別部611、 商品登記部612、相似度判定部613、不合格品告知部614、確認圖像顯示部615、分開警報部 616)的模塊構(gòu)成，作為實際的硬件，通過CPU (處理器)從上述ROM讀取并執(zhí)行程序，上述各部被裝載到主存儲裝置上，并在主存儲裝置上生成物體識別部611、商品登記部612、相似度判定部613、不合格品告知部614、確認圖像顯示部615、分開警報部616。在本實施例的商品讀取裝置101中所執(zhí)行的程序為包含上述的各部(攝像圖像取得部1611、商品檢測部1612、圖像輸出部1613)的模塊構(gòu)成，作為實際的硬件，通過CPU (處理器)從上述ROM讀出并執(zhí)行程序，上述各部被裝載在主存儲裝置上，并在主存儲裝置上生成攝像圖像取得部1611、商品檢測部1612、圖像輸出部1613。另外，在本實施例中，雖然在POS終端11側(cè)具有物體識別部611、商品登記部612、 相似度判定部613、不合格品告知部614、確認圖像顯示部615、分開警報部616，但是并不限定于此，在商品讀取裝置101側(cè)也可以具有物體識別部611、商品登記部612、相似度判定部 613、不合格品告知部614、確認圖像顯示部615、分開警報部616。在這種情況下，商品讀取裝置101是店鋪系統(tǒng)。此外，在本實施例中，雖然在商品讀取裝置101側(cè)具有攝像圖像取得部1611、商品檢測部1612、圖像輸出部1613，但是并不限定于此，在POS終端11側(cè)也可以具有攝像圖像取得部1611、商品檢測部1612、圖像輸出部1613。在這種情況下，POS終端11是店鋪系統(tǒng)。而且，也可以在商品讀取裝置101側(cè)具有攝像圖像取得部1611、商品檢測部1612、 圖像輸出部1613，而且，在商品讀取裝置101側(cè)進行象通過POS終端11進行的那樣的銷售登記。如上所述，對本發(fā)明的實施例進行了詳細地說明，但是只要實質(zhì)上沒有脫離本發(fā)明的發(fā)明點及效果可以有很多的變形，這對本領(lǐng)域的技術(shù)人員來說是顯而易見的。因此，這樣的變形例也全部包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.一種店鋪系統(tǒng)，包括圖像輸出部，輸出攝像部已攝像的圖像；物體識別部，通過讀取已輸出的所述圖像的特征量，識別指定的物體；登記部，對已識別的所述物體，基于用于存儲與所述物體關(guān)聯(lián)的信息、且是用于銷售登記的信息的文件，進行銷售登記；以及確認圖像顯示部，在面對面銷售時處于從顧客端角度看的狀態(tài)下，將關(guān)于已識別的所述物體的圖像與所述物體的銷售登記所涉及的信息同時顯示在顯示部上。
2.根據(jù)權(quán)利要求1所述的店鋪系統(tǒng)，其中，所述確認圖像顯示部對所述攝像部已攝像的所述圖像，將使其上下翻轉(zhuǎn)及左右翻轉(zhuǎn)的圖像作為關(guān)于所述物體的圖像顯示在所述顯示部上。
3.根據(jù)權(quán)利要求1所述的店鋪系統(tǒng)，其中，所述確認圖像顯示部對所述攝像部已攝像的所述圖像，將使其旋轉(zhuǎn)180度的圖像作為關(guān)于所述物體的圖像顯示在所述顯示部上。
4.根據(jù)權(quán)利要求1所述的店鋪系統(tǒng)，其中，所述確認圖像顯示部對已識別的所述物體將預(yù)先登記的圖像作為關(guān)于所述物體的圖像進行顯示。
5.根據(jù)權(quán)利要求1所述的店鋪系統(tǒng)，其中，所述確認圖像顯示部將所述攝像部已攝像的圖像作為關(guān)于所述物體的圖像進行顯示。
6.根據(jù)權(quán)利要求1所述的店鋪系統(tǒng)，其中，所述確認圖像顯示部也向所述顯示部顯示基于所述登記部的銷售登記的履歷。
7.根據(jù)權(quán)利要求6所述的店鋪系統(tǒng)，其中，所述確認圖像顯示部也向所述顯示部顯示基于所述登記部的以往的銷售登記的履歷。
8.根據(jù)權(quán)利要求6所述的店鋪系統(tǒng)，其特征在于，所述確認圖像顯示部對所述物體的銷售登記所涉及的信息及所述銷售登記的履歷，也朝著使所述攝像部所攝像的所述圖像與在面對面銷售時處于從顧客端角度看的狀態(tài)下的圖像一致并能讀的方向進行顯示。
9.根據(jù)權(quán)利要求1所述的店鋪系統(tǒng)，其中，所述確認圖像顯示部對所述攝像部已攝像的所述圖像所涉及的說明，顯示在將所述攝像部已攝像的所述圖像在面對面銷售時處于從顧客端角度看的狀態(tài)下的圖像的附近。
10.一種店鋪系統(tǒng)，包括攝像部；顯示部；圖像輸出部，輸出所述攝像部已攝像的圖像；物體識別部，通過讀取已輸出的所述圖像的特征量，識別指定的物體；登記部，對已識別的所述物體，基于用于存儲與所述物體關(guān)聯(lián)的信息、且是用于銷售登記的信息的文件，進行銷售登記；以及確認圖像顯示部，在面對面銷售時處于從顧客端角度看的狀態(tài)下，將關(guān)于已識別的所述物體的圖像與所述物體的銷售登記所涉及的信息同時顯示在所述顯示部上。
11.一種商品銷售數(shù)據(jù)處理方法，包括以下步驟通過讀取攝像部已攝像的圖像的特征量，識別指定的物體；對已識別的所述物體，基于用于存儲與所述物體關(guān)聯(lián)的信息、且是用于銷售登記的信息的文件，進行銷售登記；以及在面對面銷售時處于從顧客端角度看的狀態(tài)下，將關(guān)于已識別的所述物體的圖像與所述物體的銷售登記所涉及的信息同時顯示在顯示部上。
12.根據(jù)權(quán)利要求11所述的商品銷售數(shù)據(jù)處理方法，其中，在將對已識別的所述物體的圖像顯示在所述顯示部上的步驟中，關(guān)于所述攝像部已攝像的所述圖像，將使其上下翻轉(zhuǎn)及左右翻轉(zhuǎn)的圖像作為關(guān)于所述物體的圖像顯示在所述顯示部上。
13.根據(jù)權(quán)利要求11所述的商品銷售數(shù)據(jù)處理方法，其中，在將對已識別的所述物體的圖像顯示在所述顯示部上的步驟中，關(guān)于所述攝像部已攝像的所述圖像，將使其旋轉(zhuǎn)180度的圖像作為關(guān)于所述物體的圖像顯示在所述顯示部上。
14.根據(jù)權(quán)利要求11所述的商品銷售數(shù)據(jù)處理方法，其中，關(guān)于顯示在所述顯示部上的所述物體的圖像是關(guān)于已識別的所述物體被預(yù)先登記的圖像。
15.根據(jù)權(quán)利要求11所述的商品銷售數(shù)據(jù)處理方法，其中，關(guān)于顯示在所述顯示部上的所述物體的圖像是所述攝像部已攝像的圖像。
全文摘要
本發(fā)明公開一種店鋪系統(tǒng)及商品銷售數(shù)據(jù)處理方法，該店鋪系統(tǒng)包括圖像輸出部，輸出攝像部已攝像的圖像；物體識別部，通過讀取已輸出的所述圖像的特征量，識別指定的物體；登記部，對已識別的所述物體，基于用于存儲與所述物體關(guān)聯(lián)的信息、且是用于銷售登記的信息的文件，進行銷售登記；以及確認圖像顯示部，在面對面銷售時處于從顧客端角度看的狀態(tài)下，將關(guān)于已識別的所述物體的圖像與所述物體的銷售登記所涉及的信息同時顯示在顯示部上。
文檔編號G07G1/12GK102375976SQ20111024129
公開日2012年3月14日 申請日期2011年8月22日 優(yōu)先權(quán)日2010年8月23日
發(fā)明者上田浩之, 佐野雅仁, 古山浩之, 渡邊伸夫 申請人:東芝泰格有限公司