專利名稱：店鋪系統(tǒng)及商品銷售數(shù)據(jù)處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種店鋪系統(tǒng)及商品銷售數(shù)據(jù)處理方法。
背景技術(shù)：
目前，在超市等中，使用有商品代碼讀取裝置，該商品代碼讀取裝置通過CCD圖像傳感器等的數(shù)碼相機(jī)攝像附加在商品上的條形碼或二維代碼(例如，QR代碼(注冊商標(biāo))) 等的碼符號，并通過檢測出從其攝像了的圖像中檢測出的碼符號而進(jìn)行譯碼，從而讀取商品代碼。不過，在現(xiàn)有技術(shù)中，由于必須向商品上附加條形碼或二維代碼等的碼符號，所以對新鮮食品或面包等，要準(zhǔn)備獨(dú)立包裝等來附加碼符號或準(zhǔn)備碼符號表。

發(fā)明內(nèi)容
鑒于上述問題，本發(fā)明的目的在于提供一種店鋪系統(tǒng)和商品銷售數(shù)據(jù)處理方法， 其能夠快速、準(zhǔn)確地進(jìn)行商品銷售數(shù)據(jù)的處理。本發(fā)明第一方面涉及的店鋪系統(tǒng)，包括圖像輸出部，輸出攝像部已攝像的圖像； 物體識別部，通過讀取已輸出的所述圖像的特征量，識別指定的物體；相似度判定部，計(jì)算出相似度，并判定計(jì)算出的所述相似度是否超過預(yù)先規(guī)定的閾值，所述相似度表示關(guān)于已識別的所述物體相對于預(yù)先確定的所述物體的基準(zhǔn)圖像相似到哪種程度；以及不合格品告知部，當(dāng)判定出計(jì)算出的所述相似度未超過預(yù)先規(guī)定的閾值時(shí)，告知所述物體是未被識別為合格品的物體。本發(fā)明第二方面涉及的店鋪系統(tǒng)，包括攝像部；圖像輸出部，輸出攝像部已攝像的圖像；物體識別部，通過讀取已輸出的所述圖像的特征量，識別指定的物體；相似度判定部，計(jì)算出相似度，并判定計(jì)算出的所述相似度是否超過預(yù)先規(guī)定的閾值，所述相似度表示關(guān)于已識別的所述物體相對于預(yù)先確定的所述物體的基準(zhǔn)圖像相似到哪種程度；以及不合格品告知部，當(dāng)判定出計(jì)算出的所述相似度未超過預(yù)先規(guī)定的閾值時(shí)，告知所述物體是未被識別為合格品的物體。本發(fā)明第三方面涉及的商品銷售數(shù)據(jù)處理方法，包括以下步驟通過讀取攝像部已攝像的的特征量，識別指定的物體；關(guān)于已識別的所述物體計(jì)算出相似度，并判定計(jì)算出的所述相似度是否超過預(yù)先規(guī)定的閾值；以及當(dāng)判定出計(jì)算出的所述相似度未超過預(yù)先規(guī)定的閾值時(shí)，告知所述物體是未被識別為合格品的物體。


圖1是表示本實(shí)施例所涉及的結(jié)賬系統(tǒng)的立體圖。
圖2是表示POS終端及商品讀取裝置的硬件構(gòu)成的框圖。圖3是例示出PLU文件的數(shù)據(jù)構(gòu)成的概念圖。圖4是表示CPU的功能構(gòu)成的框圖。圖5是表示結(jié)賬系統(tǒng)的處理動作的一例的流程圖。圖6是表示讀取窗中的讀取區(qū)域的例子的概念圖。圖7是示意地示出處理的具體例的說明圖。圖8是表示未被識別為合格品的商品的顯示例的主視圖。
具體實(shí)施例方式下面，以結(jié)賬系統(tǒng)為例，參照附圖對本實(shí)施例所涉及的店鋪系統(tǒng)及商品銷售數(shù)據(jù)處理方法進(jìn)行說明。店鋪系統(tǒng)是具有進(jìn)行一交易所涉及的商品的登記、對賬的POS終端的結(jié)賬系統(tǒng)(P0S系統(tǒng))等。本實(shí)施例是向引進(jìn)到超市、面包、甜甜圈店等的店鋪中的結(jié)賬系統(tǒng)的應(yīng)用例。圖1是表示結(jié)賬系統(tǒng)1的立體圖。如圖1所示，結(jié)賬系統(tǒng)1具有進(jìn)行一交易所涉及的商品的登記、對賬的POS終端11。POS終端11被載置在結(jié)賬臺51上的抽屜21上面。 抽屜21由POS終端11控制打開動作。POS終端11的上表面配置有由操作員(用戶)進(jìn)行按下操作的鍵盤22。從操作鍵盤22的操作員角度看在鍵盤22的里側(cè)設(shè)置有朝向操作員顯示信息的顯示器23。顯示器23在其顯示面23a上顯示信息。在顯示面23a上層壓有觸摸面板沈。在顯示器23的更里側(cè)旋轉(zhuǎn)自如地立著設(shè)置有顧客用顯示器對。顧客用顯示器 24在其顯示面2 上顯示信息。另外，雖然圖1所示的顧客用顯示器M將顯示面2 朝向圖1中的跟前側(cè)，但是通過以顯示面Ma朝向圖1中的里側(cè)的方式使顧客用顯示器24旋轉(zhuǎn)，顧客用顯示器M朝向顧客顯示信息。長條桌子狀的柜臺151以與載置有POS終端11的結(jié)賬臺51形成為L字的方式被配置。柜臺151的上表面上形成有負(fù)荷接受面152。負(fù)荷接受面152載置有收納商品A的購物筐153。購物筐153可以考慮分成由顧客帶入的第一購物筐153a和位于與第一購物筐153a隔著商品讀取裝置101的位置的第二購物筐15北。另外，購物筐153(第一購物筐 153a)并不限定于所謂的筐狀，也可以是在面包店等的店鋪中使用的托盤等。此外，購物筐 153(第二購物筐153b)并不限定于所謂的筐狀，也可以是在甜甜圈店等的店鋪中使用的包裝紙盒等ο柜臺151的負(fù)荷接受面152設(shè)置有與POS終端11數(shù)據(jù)發(fā)送接收自如地連接的商品讀取裝置101。商品讀取裝置101具有薄的長方形形狀的外殼102。在外殼102的正面配置有讀取窗103。在外殼102的上部安裝有顯示/操作部104。顯示/操作部104設(shè)置有在表面上層壓有觸摸面板105的顯示器106。在顯示器106的右邊設(shè)置有鍵盤107。在鍵盤107的右邊設(shè)置有未圖示的讀卡器的卡讀取槽108。從操作員角度看，在顯示/操作部 104的背面靠左的里側(cè)設(shè)置有用于向顧客提供信息的顧客用顯示器109。這樣的商品讀取裝置101具有商品讀取部110(參照圖2)。商品讀取部110在讀取窗103的里側(cè)配置攝像部164(參照圖2)。由顧客帶入的第一購物筐153a收納有一交易所涉及的商品A。商品A通過操作員的手向第二購物筐15 移動。在移動過程中，商品A朝向商品讀取裝置101的讀取窗103。這時(shí)，配置在讀取窗103的里側(cè)的攝像頭164(參照圖2)攝像商品A。在商品讀取裝置101 中，檢測出通過攝像部164攝像的圖像所包含的商品A的全部或一部分。在商品讀取裝置 101中，當(dāng)檢測出在通過攝像部164攝像的圖像中包含有商品A的全部或一部分時(shí)，向POS 終端11輸出其攝像的圖像。在POS終端11中，分別對商品A的各個，通過參照關(guān)聯(lián)有商品 A的銷售登記所涉及的信息和商品A的圖像的PLU文件F 1 (參照圖3詳細(xì)后述)，從通過商品讀取部110的攝像部164攝像的商品A的全部或一部分的圖像中識別作為指定物體的商品A，從而指定進(jìn)行銷售登記的商品A，并將其指定的商品A的商品ID、商品分類、商品名、 單價(jià)等的銷售登記所涉及的信息記錄到銷售主文件(未圖示)等中進(jìn)行銷售登記。圖2是表示POS終端11及商品讀取裝置101的硬件構(gòu)成的框圖。POS終端11具有作為執(zhí)行信息處理的信息處理部的微機(jī)60。微機(jī)60由在執(zhí)行各種運(yùn)算處理并控制各部的 CPU 61 (Central Processing Unit:中央處理器)上總線連接有 ROM 62 (Read Only Memory 只讀存儲器)和RAM 63 (Random Access Memory 隨機(jī)存取存儲器)而構(gòu)成。所述的抽屜21、鍵盤22、顯示器23、觸摸面板沈、顧客用顯示器M均通過各種的輸入輸出電路(均未圖示)與POS終端11的CPU 61連接，并接受CPU 61的控制。鍵盤22包括在上面顯示有“1”、“2”、“3”......等的數(shù)字、“ X ”的乘法的算符的
數(shù)字鍵22d、臨時(shí)合計(jì)鍵2 及合計(jì)鍵22f。POS 終端 11 的 CPU 61 連接有 HDD 64 (Hard Disk Drive :硬盤驅(qū)動器)。HDD 64 存儲有程序、各種文件。HDD 64所存儲的程序、各種文件在POS終端11起動時(shí)，其全部或一部分被復(fù)制到RAM 63并通過CPU 61順序執(zhí)行。HDD 64所存儲的程序的一例是商品銷售數(shù)據(jù)處理用的程序冊。HDD 64所存儲的文件的一例是從存儲服務(wù)器SC分配存儲的PLU文件 F1。PLU文件Fl是對陳列在店鋪中并進(jìn)行銷售的商品A的各個商品設(shè)定有商品A的銷售登記所涉及的信息和其商品A的圖像的關(guān)聯(lián)的文件。圖3是例示出PLU文件Fl的數(shù)據(jù)構(gòu)成的概念圖。如圖3所示，PLU文件Fl是對應(yīng)每個商品A存儲單獨(dú)地分配的商品ID、商品A所屬的商品分類、商品名、單價(jià)等的與商品有關(guān)的信息、攝像其商品的商品圖像及“相似度0. XX”的閾值的文件。雖然后面將進(jìn)行詳細(xì)描述，但是該“相似度0. XX”的閾值當(dāng)商品A為水果、新鮮食品等并已不新鮮變色了等時(shí)，可通過與預(yù)先存儲在PLU文件Fl中的商品的商品圖像進(jìn)行比較，判斷為與正規(guī)狀態(tài)不同的物品。返回到圖2，POS終端11的CPU 61通過輸入輸出電路(未圖示)連接有用于與存儲服務(wù)器SC執(zhí)行數(shù)據(jù)通信的通信接口 25。存儲服務(wù)器SC設(shè)置在店鋪的后院等。存儲服務(wù)器SC的HDD (未圖示)存儲有向POS終端11發(fā)送的PLU文件Fl。而且，POS終端11的CPU 61連接有在與商品讀取裝置101之間可數(shù)據(jù)發(fā)送接收的連接接口 65。連接接口 65連接有商品讀取裝置101。此外，POS終端11的CPU 61連接有在票據(jù)等上進(jìn)行打字的打印機(jī)66。POS終端11在CPU 61的控制下，將一交易的交易內(nèi)容打印在票據(jù)上。商品讀取裝置101也具有微機(jī)160。微機(jī)160由CPU 161總線連接有ROM 162和 RAM 163而構(gòu)成。ROM 162存儲有通過CPU 161執(zhí)行的程序。CPU 161通過各種的輸入輸出電路(均未圖示)連接有攝像部164、聲音輸出部165。攝像部164、聲音輸出部165由 CPU161控制動作。顯示/操作部104由連接接口 176與POS終端11連接。顯示/操作部104由POS終端11的CPU 61控制動作。攝像部164是彩色CXD圖像傳感器或彩色COMS圖像傳感器等，并是在CPU 161的控制下進(jìn)行從讀取窗103的攝像的攝像單元。例如，在攝像部164中進(jìn)行30fps的視頻的攝像。攝像部164以規(guī)定的幀頻依次攝像的幀圖像被保存到RAM 163中。聲音輸出部165是用于產(chǎn)生預(yù)先設(shè)定的警報(bào)音等的聲音電路和揚(yáng)聲器等。聲音輸出部165在CPU 161的控制下進(jìn)行警報(bào)音等的聲音的告知。而且，CPU 161連接有與POS終端11的連接接口 65連接、并與POS終端11之間可數(shù)據(jù)接收發(fā)送的連接接口 175。在CPU 161的控制下，通過商品讀取裝置101的攝像部164 攝像的圖像(包含商品A的全部或一部分的圖像)通過連接接口 175被輸出，并通過連接接口 65輸入給POS終端11。接著，參照圖4對CPU 161、CPU 61通過依次執(zhí)行程序?qū)崿F(xiàn)的CPU 161、CPU 61的功能部進(jìn)行說明。圖4是表示CPU 161, CPU 61的功能構(gòu)成的框圖。如圖4所示，CPU 161 通過依次執(zhí)行程序，具有作為攝像圖像取得部1611、商品檢測部1612、作為圖像輸出單元的圖像輸出部1613的功能。同樣，CPU 61具有作為物體識別單元的物體識別部611、商品登記部612、相似度判定部613、作為不合格品告知單元的不合格品告知部614的功能。攝像圖像取得部1611向攝像部164輸出攝像導(dǎo)通信號從而使攝像部164開始攝像動作。攝像圖像取得部1611在攝像動作開始后，依次取得攝像部164攝像、并保存在RAM 163中的幀圖像。由攝像圖像取得部1611的幀圖像的取得按照RAM 163所保存的順序進(jìn)行。商品檢測部1612使用模式匹配技術(shù)等檢測出通過攝像圖像取得部1611取得的幀圖像所包含的商品A的全部或一部分。具體地說，從將取得的幀圖像進(jìn)行二值化的圖像中抽取輪廓線。接著，將從最后的幀圖像中抽取的輪廓線和從此次的幀圖像中抽取的輪廓線進(jìn)行比較，檢測出有變更的部分，也就是說，檢測為了銷售登記而朝向讀取窗103的商品的映入。另外，作為檢測出商品的其他方法，從取得的幀圖像檢測出有無皮膚區(qū)域。接著， 當(dāng)檢測出皮膚區(qū)域時(shí)，也就是說，當(dāng)檢測出店員的手的映入時(shí)，通過進(jìn)行上述的輪廓線的檢測，對假想店員的手正把持的商品的輪廓抽取進(jìn)行嘗試。這時(shí)，當(dāng)檢測出表示手的形狀的輪廓和除此以外的輪廓時(shí)，由于店員的手把持商品，所以檢測出商品的映入。圖像輸出部1613通過連接接口 175向POS終端11輸出攝像圖像取得部1611取得的幀圖像。圖像輸出部1613雖然也可以將攝像圖像取得部1611取得的幀圖像逐次向POS 終端11進(jìn)行輸出，但是在本實(shí)施例中，向POS終端11輸出通過商品檢測部1612檢測出商品A的全部或一部分的幀圖像。這樣，通過向POS終端11輸出通過商品檢測部1612檢測出商品A的全部或一部分的幀圖像，能夠防止在POS終端11中進(jìn)行因未包含有商品A的全部或一部分的幀圖像而參照PLU文件F 1來執(zhí)行的物體識別的情況發(fā)生。由于指定物體的識別處理需要處理時(shí)間，所以能夠通過防止在沒有指定物體的識別的可能性的未包含有商品A的全部或一部分的幀圖像中的處理，從而謀求處理時(shí)間的縮短。物體識別部611通過參照PLU文件Fl的商品圖像，從通過商品讀取裝置101的攝像部164攝像的商品A的全部或一部分的圖像中，讀取色彩和表面的凹凸?fàn)顩r等的表面狀態(tài)作為特征量，從而識別商品A作為指定物體。另外，物體識別部611由于謀求處理時(shí)間的縮短，所以不考慮商品A的輪廓、大小。在POS終端11中，根據(jù)物體識別部611的識別結(jié)果，能夠從預(yù)先登記在PLU文件Fl的商品中，指定商品讀取裝置101所讀取的商品。相似度判定部613對物體識別部611已識別的商品A，計(jì)算出相似度，并判定相似度是否超過在PLU文件Fl中預(yù)先規(guī)定的閾值。這樣，識別圖像中所包含的物體被稱為一般物體識別(generic object recognition 一般物體識別)。關(guān)于這樣的一般物體識別在下述的文獻(xiàn)中各種識別技術(shù)被說明。柳井啓司，“一般物體認(rèn)識仍現(xiàn)狀i今後”，情報(bào)処理學(xué)會論文誌，Vol. 48， No. SIG16 [平成 22 年 8 月 10 日検索]，4 乂夕一才、7 卜 <URL :http //mm. cs. uec. ac. jp/ IPSJ-TCVIM-Yanai. pdf> (柳井啟司，“一般物體識別的現(xiàn)狀與未來”，信息處理學(xué)會論文雜志，Vol. 48，No. SIG16 “平成 22 年 8 月 10 日檢索”，網(wǎng)址 <URL :http://mm. cs. uec. ac. jp/ IPSJ-TCVIM-Yanai. pdf>)此外，通過對應(yīng)每個目的物對圖像進(jìn)行區(qū)域分割，進(jìn)行一般物體識別的技術(shù)在下述的文獻(xiàn)中被說明。Jamie Shotton b , "Semantic Texton Forests for Image Categorization and Segmentation",[平成 22 年 8 月 10 日検索]，^ y 夕一本 7 卜 <URL -Mttp:// citeseerx. ist. psu. edu/viewdoc/download？ doi = 10. 1. 1. 145. 3036&rep = repl&type =pdf> (Jamie Shotton h (杰米肖頓等人)，"Semantic Texton Forests for Image Categorization and Segmentation ”，“平成 22 年 8 月 10 日檢索”，網(wǎng)址 <URL :http:// citeseerx. ist. psu. edu/viewdoc/download？ doi = 10.1.1. 145.3036&rep = repl&type =pdf>)商品登記部612將與通過物體識別部611識別的商品圖像關(guān)聯(lián)的銷售登記所涉及的信息、即作為商品讀取裝置101讀取的商品被指定的商品的商品ID、商品分類、商品名、 單價(jià)等記錄在銷售主文件等中進(jìn)行銷售登記。接著，對結(jié)賬系統(tǒng)1的動作進(jìn)行詳細(xì)地說明。圖5是表示本實(shí)施例所涉及的結(jié)賬系統(tǒng)1的動作的一例的流程圖。首先，對商品讀取裝置101側(cè)的動作進(jìn)行說明。如圖5所示，當(dāng)按照POS終端11 的商品登記的開始等而開始處理時(shí)，則攝像圖像取得部1611向攝像部164輸出攝像導(dǎo)通信號從而開始由攝像部164的攝像(步驟Si)。接著，攝像圖像取得部1611取得攝像部164 攝像、并保存在RAM 163中的幀圖像(攝像圖像)(步驟S2)。接著，商品檢測部1612從攝像圖像取得部1611取得的幀圖像中，進(jìn)行商品A的全部或一部分的檢測(步驟S3)。接著， 圖像輸出部1613向POS終端11輸出通過商品檢測部1612檢測出商品A的全部或一部分的幀圖像(步驟S4)。圖6是表示讀取窗103中的讀取區(qū)域R的例子的概念圖。具體地說，圖6是例示出在讀取商品A時(shí)的讀取區(qū)域R的概念圖。如圖6所示，當(dāng)在上述的商品A的移動過程中， 在讀取區(qū)域R映入有商品A時(shí)，通過步驟S3從攝像其讀取區(qū)域R的幀圖像中，檢測出商品 A的全部或一部分。通過該商品A的全部或一部分的檢測，能夠在步驟S4中向POS終端11 輸出有攝像讀取區(qū)域R的幀圖像。接著，CPU 161判定從POS終端11有無商品登記的結(jié)束通知等的工作結(jié)束(步驟 S5)。當(dāng)繼續(xù)工作時(shí)(步驟S5的否)，CPU 161返回到步驟S2的處理并繼續(xù)處理。當(dāng)結(jié)束工作時(shí)(步驟S5的是)，攝像圖像取得部1611向攝像部164輸出攝像截止信號，結(jié)束攝像部164的攝像(步驟S6)，并結(jié)束處理。接著，對POS終端11側(cè)的動作進(jìn)行說明。如圖5所示，當(dāng)按照由鍵盤22的操作指示的商品登記的開始等而開始處理時(shí)，則CPU61接收從商品讀取裝置101輸出的檢測出商品A的全部或一部分的幀圖像(步驟S11)。接著，物體識別部611參照PLU文件Fl的商品圖像，根據(jù)從商品讀取裝置101輸出的商品A的全部或一部分的圖像，識別商品A作為指定物體(步驟Sl2)。接著，相似度判定部613對物體識別部611識別的商品A，計(jì)算出相似度(步驟 S13)。相似度是當(dāng)將PLU文件Fl所存儲的各商品的商品圖像視為100%= “相似度1. 0” 時(shí)，表示從商品讀取裝置101輸出的商品A的全部或一部分的圖像相似到哪種程度的數(shù)據(jù)。 如上所述，諸如按照色彩和表面的凹凸?fàn)顩r等的表面狀態(tài)，計(jì)算出相似度。另外，諸如也可以在色彩和表面的凹凸?fàn)顩r中，改變加權(quán)。接著，相似度判定部613判定在步驟S13中計(jì)算出的相似度是否超過預(yù)先規(guī)定的閾值(“相似度0· XX”)(步驟S14)。當(dāng)相似度判定部613判定出在步驟S13中計(jì)算出的相似度超過預(yù)先規(guī)定的閾值 (“相似度0· XX”)時(shí)(步驟S14的是)，在步驟S15中，商品登記部612登記作為指定物體的商品A的識別結(jié)果、從其識別結(jié)果中選擇指定一個的商品A的銷售。接著，CPU 61判定有無由鍵盤22的操作指示的銷售登記的結(jié)束等的工作結(jié)束(步驟S16)。當(dāng)繼續(xù)工作時(shí)(步驟S 16的否)，CPU61返回到步驟Sll的處理并繼續(xù)處理。當(dāng)結(jié)束工作時(shí)(步驟S16的是)，CPU 61結(jié)束處理。另一方面，當(dāng)相似度判定部613判定出在步驟S13中計(jì)算出的相似度未超過預(yù)先規(guī)定的閾值(“相似度0. XX”)時(shí)(步驟S17的否)，不合格品告知部614向店員告知是未被識別為合格品的商品(步驟S17)，促使店鋪方采取銷售中止或減價(jià)銷售等的措施。具體地說，不合格品告知部614用向顯示器23和通過連接接口 65、176的顯示器106的畫面顯示、通過連接接口 65、175的聲音輸出部165的警報(bào)音的輸出等，向店員告知錯誤。通過進(jìn)行該告知，結(jié)賬系統(tǒng)1能夠促使店員讀取其他商品A等的恰當(dāng)?shù)牟僮?。CPU 61當(dāng)判定出有由鍵盤22的操作指示等的減價(jià)銷售的指示時(shí)(步驟S18的是)，在步驟S15中，商品登記部612登記作為指定物體的商品A的識別結(jié)果、減價(jià)從其識別結(jié)果中選擇指定一個的商品A的銷售。此外，當(dāng)判定出有由鍵盤22的操作指示等的銷售中止的指示時(shí)(步驟S18的否)，返回到步驟Sll的處理。如圖7所示，當(dāng)在物體識別部611已識別的商品A為“香蕉”時(shí)，閾值作為“相似度 0.50”被存儲到PLU文件Fl時(shí)，則由于在(a)中所示的商品相似度為0. 717，所以判定計(jì)算出的相似度超過預(yù)先規(guī)定的閾值。另一方面，由于在(b)中所示的商品相似度為0.252，所以判定計(jì)算出的相似度未超過預(yù)先規(guī)定的閾值。因此，在(a)中所示的商品作為“香蕉”象通常一樣進(jìn)行銷售登記(OK)。另一方面，在(b)中所示的商品雖然被大致識別為“香蕉”， 但是其是不新鮮變色了的、損壞了的、變形了的，也就是說，色彩和表面的凹凸?fàn)顩r等為不正常的，從而作為不合格品不被銷售登記(NG)。同樣，小菜等，也將正規(guī)的烤法或油炸法的商品圖像預(yù)先存儲到PLU文件Fl中，當(dāng)烤的不足/過度或油炸不足/過度等脫離閾值時(shí)， 能夠判斷為不合格品。
不過，在物體識別部611的識別結(jié)果中，當(dāng)物體識別部611識別出作為多個(三個)商品Al A3的“香蕉”時(shí)，關(guān)于商品A1、A2由于相似度為0717，所以判斷計(jì)算出的相似度超過預(yù)先規(guī)定的閾值(0. 50)，關(guān)于商品A3由于相似度為0252，所以判定計(jì)算出的相似度未超過預(yù)先規(guī)定的閾值(0. 50)。在這樣的情況下，如圖8所示，不合格品告知部614通過向顯示器106顯示用線Z包圍未超過閾值(0. 50)而未被識別為合格品的商品A3等，在識別的多個商品Al A3中對未超過閾值的一部分的商品A3與超過閾值的其他商品Al、A2 進(jìn)行區(qū)別，從而向店員告知商品A3未被識別為合格品。此外，如圖8所示，不合格品告知部 614向顯示器106顯示選擇關(guān)于未被識別為合格品的商品的處理用的鍵X、Y。在圖8所示的例子中，鍵X是關(guān)于未被識別為合格品的商品進(jìn)行減價(jià)銷售的指示用的鍵。此外，鍵Y是關(guān)于未被識別為合格品的商品進(jìn)行銷售中止的指示用的鍵。而且，CPU 61當(dāng)通過對通過顯示器106的觸摸面板105的鍵X的操作指示，判定出有關(guān)于商品A3的減價(jià)銷售的指示時(shí)(步驟S18的是)，在步驟S15中，商品登記部612減價(jià)登記商品A3的銷售。此外，當(dāng)通過對通過顯示器106的觸摸面板105的鍵Y的操作指示， 判定出有商品A3的銷售中止的指示時(shí)(步驟S18的否)，返回到步驟Sll的處理。另外，在關(guān)于未被識別為合格品的商品進(jìn)行減價(jià)銷售時(shí)使用的減價(jià)率或減價(jià)額也可以階段地設(shè)定。減價(jià)率或減價(jià)額諸如可通過與預(yù)先存儲在PLU文件Fl的多個閾值(相似度0. XX)對應(yīng)，并按照相似度階段地設(shè)定。此外，與減價(jià)率或減價(jià)額對應(yīng)的閾值的值也可以具有規(guī)定的范圍。例如，閾值(相似度)為0. 30 0. 50的，視為八折，閾值(相似度) 為0.50 0. 60的，視為九折。這樣，根據(jù)本實(shí)施例的結(jié)賬系統(tǒng)1，當(dāng)新鮮食品或小菜等為不新鮮變色了的、損壞了的、變形了的、因烹調(diào)不良導(dǎo)致的色彩不同的等時(shí)，通過與PLU文件Fl所存儲的商品圖像進(jìn)行比較，能夠?qū)⒚撾x標(biāo)準(zhǔn)的判斷為不合格品。尤其在繁忙店鋪等對檢驗(yàn)商品的新鮮度的時(shí)間有限制的店鋪或雇傭較多店員烹調(diào)小菜有個人誤差的店鋪等中，也可以與正規(guī)的商品以數(shù)值的判斷進(jìn)行比較。另外，在本實(shí)施例中，進(jìn)行識別的物體雖然是PLU文件Fl所存儲的銷售商品，但是并不限定于此，也可以是用于促銷的促銷品等。在本實(shí)施例的POS終端11、商品讀取裝置101中所執(zhí)行的程序被預(yù)先安裝在ROM 等中而提供。在本實(shí)施例的POS終端11、商品讀取裝置101中所執(zhí)行的程序也可以以可安裝的形式或可執(zhí)行的形式的文件，記錄在CD-ROM、軟磁盤(FD)、CD-R、DVD (Digital Versatile Disk 數(shù)字多功能磁盤)等的計(jì)算機(jī)可讀存儲介質(zhì)中而提供。而且，也可以將在本實(shí)施例的POS終端11、商品讀取裝置101中所執(zhí)行的程序存儲在與互聯(lián)網(wǎng)等的網(wǎng)絡(luò)連接的計(jì)算機(jī)上，并通過經(jīng)由網(wǎng)絡(luò)下載而提供。此外，也可以將在本實(shí)施例的POS終端11、商品讀取裝置101中所執(zhí)行的程序經(jīng)由互聯(lián)網(wǎng)等的網(wǎng)絡(luò)提供或配置。在本實(shí)施例的POS終端11中所執(zhí)行的程序?yàn)榘ㄉ鲜龅母鞑?物體識別部611、 商品登記部612、相似度判定部613、不合格品告知部614)的模塊構(gòu)成，作為實(shí)際的硬件，通過CPU (處理器)從上述ROM讀取并執(zhí)行程序，上述各部被裝載到主存儲裝置上，并在主存儲裝置上生成物體識別部611、商品登記部612、相似度判定部613、不合格品告知部614。在本實(shí)施例的商品讀取裝置101中所執(zhí)行的程序?yàn)榘鲜龅母鞑?攝像圖像取得部1611、商品檢測部1612、圖像輸出部1613)的模塊構(gòu)成，作為實(shí)際的硬件，通過CPU (處理器)從上述ROM讀出并執(zhí)行程序，上述各部被裝載在主存儲裝置上，并在主存儲裝置上生成攝像圖像取得部1611、商品檢測部1612、圖像輸出部1613。另外，在本實(shí)施例中，雖然在POS終端11側(cè)具有物體識別部611、商品登記部612、 相似度判定部613、不合格品告知部614，但是并不限定于此，在商品讀取裝置101側(cè)也可以具有物體識別部611、商品登記部612、相似度判定部613、不合格品告知部614。在這種情況下，商品讀取裝置101是店鋪系統(tǒng)。此外，在本實(shí)施例中，雖然在商品讀取裝置101側(cè)具有攝像圖像取得部1611、商品檢測部1612、圖像輸出部1613，但是并不限定于此，在POS終端11側(cè)也可以具有攝像圖像取得部1611、商品檢測部1612、圖像輸出部1613。在這種情況下，POS終端11是店鋪系統(tǒng)。而且，也可以在商品讀取裝置101側(cè)具有攝像圖像取得部1611、商品檢測部1612、 圖像輸出部1613，而且，在商品讀取裝置101側(cè)進(jìn)行象通過POS終端11進(jìn)行的那樣的銷售登記。另外，在實(shí)施例中，雖然在步驟18中判定是否有由鍵盤22的操作指示等的銷售中止的指示，但是并不限定于此，也可以根據(jù)目的物識別結(jié)果，直接執(zhí)行減價(jià)處理及銷售中止處理。例如，當(dāng)未識別出為合格品時(shí)，即使沒有由鍵盤22的操作指示等的減價(jià)銷售的指示， 也根據(jù)目的物識別結(jié)果確定減價(jià)額，從而執(zhí)行減價(jià)處理(或根據(jù)目的物識別結(jié)果執(zhí)行銷售中止處理)。如上所述，對本發(fā)明的實(shí)施例進(jìn)行了詳細(xì)地說明，但是只要實(shí)質(zhì)上沒有脫離本發(fā)明的發(fā)明點(diǎn)及效果可以有很多的變形，這對本領(lǐng)域的技術(shù)人員來說是顯而易見的。因此，這樣的變形例也全部包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種店鋪系統(tǒng)，包括圖像輸出部，輸出攝像部已攝像的圖像；物體識別部，通過讀取已輸出的所述圖像的特征量，識別指定的物體；相似度判定部，計(jì)算出相似度，并判定計(jì)算出的所述相似度是否超過預(yù)先規(guī)定的閾值， 所述相似度表示關(guān)于已識別的所述物體相對于預(yù)先確定的所述物體的基準(zhǔn)圖像相似到哪種程度；以及不合格品告知部，當(dāng)判定出計(jì)算出的所述相似度未超過預(yù)先規(guī)定的閾值時(shí)，告知所述物體是未被識別為合格品的物體。
2.根據(jù)權(quán)利要求1所述的店鋪系統(tǒng)，其中，所述物體識別部使用所述物體的表面狀態(tài)作為所述圖像的特征量，并根據(jù)所述物體的表面狀態(tài)計(jì)算出相似度。
3.根據(jù)權(quán)利要求1所述的店鋪系統(tǒng)，其中，所述相似度判定部基于對應(yīng)每個所述物體分別規(guī)定的所述閾值，判定所述物體的所述相似度。
4.根據(jù)權(quán)利要求1所述的店鋪系統(tǒng)，還包括商品登記部，當(dāng)通過所述不合格品告知部告知所述物體是未被識別為合格品的物體時(shí)，降低未被識別為合格品的所述物體的售價(jià)進(jìn)行登記。
5.根據(jù)權(quán)利要求1所述的店鋪系統(tǒng)，還包括商品登記部，當(dāng)在通過所述不合格品告知部告知所述物體是未被識別為合格品的物體后，有降低售價(jià)的指示時(shí)，降低未被識別為合格品的所述物體的售價(jià)進(jìn)行登記。
6.根據(jù)權(quán)利要求1所述的店鋪系統(tǒng)，還包括商品登記部，當(dāng)通過所述不合格品告知部告知所述物體是未被識別為合格品的物體時(shí)，中止未被識別為合格品的所述物體的銷售。
7.根據(jù)權(quán)利要求1所述的店鋪系統(tǒng)，還包括商品登記部，當(dāng)在通過所述不合格品告知部告知所述物體是未被識別為合格品的物體后，有銷售中止的指示時(shí)，中止未被識別為合格品的所述物體的銷售。
8.根據(jù)權(quán)利要求1所述的店鋪系統(tǒng)，其中，所述不合格品告知部當(dāng)在所述物體識別部已識別的多個所述物體中的一部分所述物體通過所述相似度判定部判定為所述相似度未超過所述閾值時(shí)，將關(guān)于未超過所述閾值的一部分所述物體與超過所述閾值的其他所述物體相區(qū)別地進(jìn)行告知。
9.根據(jù)權(quán)利要求4所述的店鋪系統(tǒng)，其中，所述商品登記部將在降低未被識別為合格品的所述物體的售價(jià)時(shí)使用的折扣率或減價(jià)金額通過與多個所述閾值對應(yīng)來階段地設(shè)定。
10.一種店鋪系統(tǒng)，包括攝像部；圖像輸出部，輸出所述攝像部已攝像的圖像；物體識別部，通過讀取已輸出的所述圖像的特征量，識別指定的物體；相似度判定部，計(jì)算出相似度，并判定計(jì)算出的所述相似度是否超過預(yù)先規(guī)定的閾值， 所述相似度表示關(guān)于已識別的所述物體相對于預(yù)先確定的所述物體的基準(zhǔn)圖像相似到哪種程度；以及不合格品告知部，當(dāng)判定出計(jì)算出的所述相似度未超過預(yù)先規(guī)定的閾值時(shí)，告知所述物體是未被識別為合格品的物體。
11.一種商品銷售數(shù)據(jù)處理方法，包括以下步驟通過讀取攝像部已攝像的的特征量，識別指定的物體；關(guān)于已識別的所述物體計(jì)算出相似度，并判定計(jì)算出的所述相似度是否超過預(yù)先規(guī)定的閾值；以及當(dāng)判定出計(jì)算出的所述相似度未超過預(yù)先規(guī)定的閾值時(shí)，告知所述物體是未被識別為合格品的物體。
12.根據(jù)權(quán)利要求11所述的商品銷售數(shù)據(jù)處理方法，其中，在識別所述物體的步驟中，用所述物體的表面狀態(tài)作為所述圖像的特征量，并根據(jù)所述物體的表面狀態(tài)計(jì)算出相似度。
13.根據(jù)權(quán)利要求11所述的商品銷售數(shù)據(jù)處理方法，其中，在判定所述相似度的步驟中，基于對應(yīng)每個所述物體分別規(guī)定的所述閾值，判定所述物體的所述相似度。
全文摘要
本發(fā)明公開一種店鋪系統(tǒng)及商品銷售數(shù)據(jù)處理方法，該店鋪系統(tǒng)包括圖像輸出部，輸出攝像部已攝像的圖像；物體識別部，通過讀取已輸出的所述圖像的特征量，識別指定的物體；相似度判定部，計(jì)算出相似度，并判定計(jì)算出的所述相似度是否超過預(yù)先規(guī)定的閾值，所述相似度表示關(guān)于已識別的所述物體相對于預(yù)先確定的所述物體的基準(zhǔn)圖像相似到哪種程度；以及不合格品告知部，當(dāng)判定出計(jì)算出的所述相似度未超過預(yù)先規(guī)定的閾值時(shí)，告知所述物體是未被識別為合格品的物體。
文檔編號G07G1/12GK102376136SQ20111024131
公開日2012年3月14日 申請日期2011年8月22日 優(yōu)先權(quán)日2010年8月23日
發(fā)明者上田浩之, 佐野雅仁, 古山浩之, 渡邊伸夫 申請人:東芝泰格有限公司