專利名稱：店鋪系統(tǒng)及商品銷售數(shù)據(jù)處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種店鋪系統(tǒng)及商品銷售數(shù)據(jù)處理方法。
背景技術(shù)：
目前，在超市等中，使用有商品代碼讀取裝置，該商品代碼讀取裝置通過CCD圖像傳感器等的數(shù)碼相機(jī)攝像附加在商品上的條形碼或二維代碼(例如，QR代碼(注冊(cè)商標(biāo))) 等的碼符號(hào)，并通過檢測出從其攝像的圖像中檢測出的碼符號(hào)而進(jìn)行譯碼，從而讀取商品代碼。不過，在現(xiàn)有技術(shù)中，由于必須向商品上附加條形碼或二維代碼等的碼符號(hào)，所以對(duì)新鮮食品或面包等，要準(zhǔn)備獨(dú)立包裝等來附加碼符號(hào)或準(zhǔn)備碼符號(hào)表。

發(fā)明內(nèi)容
鑒于上述問題，本發(fā)明的目的在于提供一種店鋪系統(tǒng)和商品銷售數(shù)據(jù)處理方法， 其能夠快速、準(zhǔn)確地進(jìn)行商品銷售數(shù)據(jù)的處理。本發(fā)明第一方面涉及的店鋪系統(tǒng)，包括圖像輸出部，輸出攝像部已攝像的圖像； 物體識(shí)別部，通過讀取已輸出的所述圖像的特征量，識(shí)別指定的物體；確認(rèn)圖像顯示部，至少將對(duì)已識(shí)別的所述物體的圖像顯示在顯示部上；以及問題解決部，當(dāng)在所述物體的識(shí)別中有問題時(shí)，接受表示所述問題的指示，并根據(jù)已接受的指示內(nèi)容解決所述問題。本發(fā)明第二方面涉及的店鋪系統(tǒng)，包括攝像部；顯示部；圖像輸出部，輸出攝像部已攝像的圖像；物體識(shí)別部，通過讀取已輸出的所述圖像的特征量，識(shí)別指定的物體；確認(rèn)圖像顯示部，至少將對(duì)已識(shí)別的所述物體的圖像顯示在顯示部上；以及問題解決部，當(dāng)在所述物體的識(shí)別中有問題時(shí)，接受表示所述問題的指示，并根據(jù)已接受的指示內(nèi)容解決所述問題。本發(fā)明第三方面涉及的銷售登記方法商品銷售數(shù)據(jù)處理方法，包括以下步驟通過讀取攝像部已攝像的圖像的特征量，識(shí)別指定的物體；至少將對(duì)已識(shí)別的所述物體的圖像顯示在顯示部上；以及當(dāng)在所述物體的識(shí)別中有問題時(shí)，接受表示所述問題的指示，根據(jù)已接受的指示內(nèi)容解決所述問題。


圖1是表示本實(shí)施例所涉及的結(jié)賬系統(tǒng)的立體圖。圖2是表示POS終端及商品讀取裝置的硬件構(gòu)成的框圖。圖3是例示出PLU文件的數(shù)據(jù)構(gòu)成的概念圖。
圖4是表示CPU的功能構(gòu)成的框圖。圖5是表示結(jié)賬系統(tǒng)的處理動(dòng)作的一例的流程圖。圖6是表示讀取窗中的讀取區(qū)域的例子的概念圖。圖7是表示顯示器的顯示例的概念圖。圖8是表示顯示器的顯示例的概念圖。圖9是表示顯示器的顯示例的概念圖。圖10是表示顯示器的顯示例的概念圖。圖11是表示顯示器的顯示例的概念圖。圖12是表示當(dāng)在識(shí)別后提出了商品的退貨時(shí)的顯示器的顯示例的既念圖。圖13是表示指定未登上候補(bǔ)的圖像區(qū)域的方法的概念圖。圖14是表示指定未登上候補(bǔ)的圖像區(qū)的方法的概念圖。圖15是表示分割圖像區(qū)域的方法的概念圖。圖16是表示指定進(jìn)行退貨的商品的方法的概念圖。圖17是表示顧客用顯示器的顯示例的概念圖。圖18是示意地示出處理的具體例的說明圖。
具體實(shí)施例方式下面，以結(jié)賬系統(tǒng)為例，參照附圖對(duì)本實(shí)施例所涉及的店鋪系統(tǒng)及商品銷售數(shù)據(jù)處理方法進(jìn)行說明。店鋪系統(tǒng)是具有進(jìn)行一交易所涉及的商品的登記、對(duì)賬的POS終端的結(jié)賬系統(tǒng)(P0S系統(tǒng))等。本實(shí)施例是向引進(jìn)到超市、糕點(diǎn)店、甜甜圈店等的店鋪中的結(jié)賬系統(tǒng)的應(yīng)用例。圖1是表示結(jié)賬系統(tǒng)1的立體圖。如圖1所示，結(jié)賬系統(tǒng)1具有進(jìn)行一交易所涉及的商品的登記、對(duì)賬的POS終端11。POS終端11被載置在結(jié)賬臺(tái)51上的抽屜21上面。 抽屜21由POS終端11控制打開動(dòng)作。POS終端11的上表面配置有由操作員(店員)進(jìn)行按下操作的作為輸入部的具有各種鍵的鍵盤22。從操作鍵盤22的操作員角度看，在鍵盤22的里側(cè)設(shè)置有朝向操作員顯示信息的顯示器23。顯示器23在其顯示面23a上顯示信息。在顯示面23a上層壓有作為輸入部的觸摸面板沈。在顯示器23的更里側(cè)旋轉(zhuǎn)自如地立著設(shè)置有顧客用顯示器對(duì)。顧客用顯示器M在其顯示面2 上顯示信息。另外，雖然圖 1所示的顧客用顯示器對(duì)將顯示面2 朝向圖1中的跟前側(cè)，但是通過以顯示面2 朝向圖1中的里側(cè)的方式使顧客用顯示器M旋轉(zhuǎn)，顧客用顯示器M朝向顧客顯示信息。展示柜151以與載置有POS終端11的結(jié)賬臺(tái)51形成為L字的方式被配置。展示柜151的上表面形成有負(fù)荷接受面152。負(fù)荷接受面152載置有收納商品A的包裝紙盒 153。另外，包裝紙盒153也可以是在糕點(diǎn)店、面包店等的店鋪中使用的托盤等。展示柜151的負(fù)荷接受面152設(shè)置有與POS終端11數(shù)據(jù)發(fā)送接收自如地連接的商品讀取裝置101。商品讀取裝置101具有薄的長方形形狀的外殼102。在外殼102的正面配置有讀取窗103。在外殼102的上部安裝有顯示/操作部104。顯示/操作部104設(shè)置有在表面層壓有觸摸面板105的顯示器106。在顯示器106的右邊設(shè)置有鍵盤107。在鍵盤107的右邊設(shè)置有未圖示的讀卡器的卡讀取槽108。從操作員角度看，在顯示/操作部 104的背面靠左的里側(cè)設(shè)置有用于向顧客提供信息的顧客用顯示器109。
這樣的商品讀取裝置101具有商品讀取部110(參照?qǐng)D2)。商品讀取部110在讀取窗103的里側(cè)配置攝像部164(參照?qǐng)D2)。在糕點(diǎn)店、甜甜圈店等中，顧客選擇展示柜151內(nèi)的商品A，店員將其取到托盤(未圖示)等中。之后，商品A通過店員的手從托盤被移動(dòng)到包裝紙盒153中。在全部的商品被移動(dòng)到包裝紙盒153后，包裝紙盒153朝向商品讀取裝置101的讀取窗103。這時(shí)，配置在讀取窗103的里側(cè)的攝像頭164(參照?qǐng)D2)攝像包裝紙盒153內(nèi)的全部的商品A。在商品讀取裝置101中，檢測出通過攝像部164攝像的圖像所包含的商品A的全部或一部分。在商品讀取裝置101中，當(dāng)檢測出在通過攝像部164攝像的圖像中包含有商品A的全部或一部分時(shí)，向POS終端11輸出其攝像的圖像。在POS終端11中，分別對(duì)商品A的各個(gè)，通過參照關(guān)聯(lián)有商品A的銷售登記所涉及的信息和商品A的圖像的PLU文件Fl (參照?qǐng)D3詳細(xì)后述)，從通過商品讀取部110的攝像部164攝像的商品A的全部或一部分的圖像中，識(shí)別作為指定物體的商品A，從而指定進(jìn)行銷售登記的商品A，并將其指定的商品A的商品ID、商品分類、商品名、單價(jià)等的銷售登記所涉及的信息記錄到銷售主文件(未圖示)等中進(jìn)行銷售登記。圖2是表示POS終端11及商品讀取裝置101的硬件構(gòu)成的框圖。POS終端11具有作為執(zhí)行信息處理的信息處理部的微機(jī)60。微機(jī)60由執(zhí)行各種運(yùn)算處理并控制各部的 CPU 61 (Central Processing Unit :中央處理器)總線連接 ROM 62 (Read Only Memory 只讀存儲(chǔ)器)和RAM 63 (Random Access Memory 隨機(jī)存取存儲(chǔ)器)而構(gòu)成。所述的抽屜21、鍵盤22、顯示器23、觸摸面板沈、顧客用顯示器M均通過各種的輸入輸出電路(均未圖示)與POS終端11的CPU 61連接，并接受CPU 61的控制。鍵盤22包括在上面顯示有“1”、“2”、“3”......等的數(shù)字、“ X ”等的乘法的算符
的數(shù)字鍵22d、臨時(shí)合計(jì)鍵2 及合計(jì)鍵22f。POS 終端 11 的 CPU 61 連接有 HDD 64 (Hard Disk Drive 硬盤驅(qū)動(dòng)器)。HDD 64 存儲(chǔ)有程序、各種文件。HDD 64所存儲(chǔ)的程序、各種文件在POS終端11起動(dòng)時(shí)，其全部或一部分被復(fù)制到RAM 63并通過CPU 61依次執(zhí)行。HDD 64所存儲(chǔ)的程序的一例是商品銷售數(shù)據(jù)處理用的程序冊(cè)。HDD 64所存儲(chǔ)的文件的一例是從存儲(chǔ)計(jì)算機(jī)SC分配存儲(chǔ)的PLU文件 F1。PLU文件Fl是對(duì)陳列在店鋪中進(jìn)行銷售的商品A的各個(gè)商品設(shè)定有商品A的銷售登記所涉及的信息和該商品A的圖像的關(guān)聯(lián)的文件。圖3是例示出PLU文件F 1的數(shù)據(jù)構(gòu)成的概念圖。如圖3所示，PLU文件F 1是對(duì)應(yīng)每個(gè)商品A存儲(chǔ)單獨(dú)地分配的商品ID、商品A所屬的商品分類、商品名、單價(jià)等的與商品有關(guān)的信息、攝像其商品的商品圖像及“相似度0. XX”的閾值的文件。雖然后面將進(jìn)行詳細(xì)描述，但是該“相似度0. XX”的閾值在商品A為甜甜圈等、并油炸不足或過度等時(shí)，可通過與預(yù)先存儲(chǔ)在PLU文件Fl中的商品的商品圖像進(jìn)行比較，判斷為與正規(guī)狀態(tài)不同的物品。返回到圖2，POS終端11的CPU 61通過輸入輸出電路(未圖示)連接有用于與存儲(chǔ)計(jì)算機(jī)SC執(zhí)行數(shù)據(jù)通信的通信接口 25。存儲(chǔ)計(jì)算機(jī)SC設(shè)置在店鋪的后院等。存儲(chǔ)計(jì)算機(jī)SC的HDD (未圖示)存儲(chǔ)有向POS終端11發(fā)送的PLU文件Fl。而且，POS終端11的CPU 61連接有在與商品讀取裝置101之間可數(shù)據(jù)發(fā)送接收的連接接口 65。連接接口 65連接有商品讀取裝置101。此外，POS終端11的CPU 61連接有在票據(jù)等上進(jìn)行打印的打印機(jī)66。POS終端11在CPU 61的控制下，將一交易的交易內(nèi)容打印在票據(jù)上。商品讀取裝置101也具有微機(jī)160。微機(jī)160由CPU 161總線連接ROM 162和RAM 163而構(gòu)成。ROM 162存儲(chǔ)有通過CPU 161執(zhí)行的程序。CPU 161通過各種的輸入輸出電路 (均未圖示)連接有攝像部164、聲音輸出部165。攝像部164、聲音輸出部165由CPU161控制動(dòng)作。顯示/操作部104通過連接接口 176與POS終端11連接。顯示/操作部104由 POS終端11的CPU 61控制動(dòng)作。攝像部164諸如是彩色CXD圖像傳感器或彩色COMS圖像傳感器等，并是在CPU 161的控制下進(jìn)行從讀取窗103的攝像的攝像單元。例如，在攝像部164中進(jìn)行30fps的視頻的攝像。攝像部164以規(guī)定的幀頻依次攝像的幀圖像被保存到RAM 163中。聲音輸出部165是用于產(chǎn)生預(yù)先設(shè)定的警報(bào)音等的聲音電路和揚(yáng)聲器等。聲音輸出部165在CPU 161的控制下進(jìn)行警報(bào)音等的聲音的告知。而且，CPU 161連接有與POS終端11的連接接口 65連接、并與POS終端11之間可數(shù)據(jù)發(fā)送接收的連接接口 175。在CPU 161的控制下，通過商品讀取裝置101的攝像部164 攝像的圖像(包含商品A的全部或一部分的圖像)通過連接接口 175被輸出，并通過連接接口 65輸入給POS終端11。接著，參照?qǐng)D4對(duì)CPU161、CPU 61通過依次執(zhí)行程序?qū)崿F(xiàn)的CPU 16UCPU 61的功能部進(jìn)行說明。圖4是表示CPU 16UCPU 61的功能構(gòu)成的框圖。如圖4所示，CPU 161通過依次執(zhí)行程序，具有作為攝像圖像取得部1611、商品檢測部1612及作為圖像輸出單元的圖像輸出部1613的功能。同樣，CPU 61具有作為物體識(shí)別單元的物體識(shí)別部611、商品登記部612、相似度判定部613、不合格品告知部614、作為確認(rèn)圖像顯示單元的確認(rèn)圖像顯示部615及作為問題解決單元的問題解決部616的功能。攝像圖像取得部1611向攝像部164輸出攝像導(dǎo)通信號(hào)從而使攝像部164開始攝像動(dòng)作。攝像圖像取得部1611在攝像動(dòng)作開始后，依次取得攝像部164攝像、并保存到RAM 163中的幀圖像。由攝像圖像取得部1611的幀圖像的取得按照RAM 163所保存的順序進(jìn)行。商品檢測部1612使用模式匹配技術(shù)等檢測出通過攝像圖像取得部1611取得的幀圖像所包含的商品A的全部或一部分。具體地說，從將取得的幀圖像進(jìn)行二值化的圖像中抽取輪廓線等。接著，將從最后的幀圖像中抽取的輪廓線和從此次的幀圖像中抽取的輪廓線進(jìn)行比較，檢測出有變更的部分，也就是說，檢測為了銷售登記而朝向讀取窗103的商品的映入。另外，作為檢測出商品的另外方法，從取得的幀圖像檢測出有無皮膚區(qū)域。接著， 當(dāng)檢測出皮膚區(qū)域時(shí)，也就是說，當(dāng)檢測出店員的手的映入時(shí)，通過進(jìn)行上述的輪廓線的檢測，對(duì)假想店員的手正把持的商品的輪廓抽取進(jìn)行嘗試。這時(shí)，當(dāng)檢測出表示手的形狀的輪廓和除此以外的輪廓時(shí)，由于店員的手把持商品，所以檢測出商品的映入。圖像輸出部1613通過連接接口 175向POS終端11輸出攝像圖像取得部1611取得的幀圖像。雖然圖像輸出部1613也可以將攝像圖像取得部1611取得的幀圖像逐次向POS 終端11進(jìn)行輸出，但是在本實(shí)施例中，向POS終端11輸出通過商品檢測部1612檢測出商品A的全部或一部分的幀圖像。這樣，通過向POS終端11輸出通過商品檢測部1612檢測出商品A的全部或一部分的幀圖像，能夠防止在POS終端11中進(jìn)行因未包含有商品A的全部或一部分的幀圖像而參照PLU文件Fl來執(zhí)行的物體識(shí)別的情況發(fā)生。由于指定物體的識(shí)別處理需要處理時(shí)間，所以能夠通過防止在沒有指定物體的識(shí)別的可能性的未包含有商品A的全部或一部分的幀圖像中的處理，從而謀求處理時(shí)間的縮短。物體識(shí)別部611通過參照PLU文件Fl的商品圖像，從通過商品讀取裝置101的攝像部164攝像的商品A的全部或一部分的圖像中，讀取色彩和表面的凹凸?fàn)顩r等的表面狀態(tài)作為特征量，從而識(shí)別商品A作為指定物體。另外，物體識(shí)別部611由于謀求處理時(shí)間的縮短，所以不考慮商品A的輪廓、大小。在POS終端11中，根據(jù)物體識(shí)別部611的識(shí)別結(jié)果， 能夠從預(yù)先登記在PLU文件Fl的商品中，指定商品讀取裝置101所讀取的商品。相似度判定部613對(duì)物體識(shí)別部611已識(shí)別的商品A，計(jì)算出相似度，并判定相似度是否超出在PLU文件Fl中預(yù)先規(guī)定的閾值。這樣，識(shí)別圖像中所包含的物體被稱為一般物體識(shí)別(generic object recognition 一般物體識(shí)別)。關(guān)于這樣的一般物體識(shí)別在下述的文獻(xiàn)中各種識(shí)別技術(shù)被說明。柳井啓司，“一般物體認(rèn)識(shí)仍現(xiàn)狀i今後”，情報(bào)処理學(xué)會(huì)論文誌，Vol. 48， No. SIG16 [平成 22 年 8 月 10 日検索]，4 乂夕一才、7 卜 <URL :http //mm. cs. uec. ac. jp/ IPSJ-TCVIM-Yanai. pdf> (柳井啟司，“一般物體識(shí)別的現(xiàn)狀與未來”，信息處理學(xué)會(huì)論文雜志，Vol. 48，No. SIG16 “平成 22 年 8 月 10 日檢索”，網(wǎng)址 <URL :http://mm. cs. uec. ac. jp/ IPSJ-TCVIM-Yanai. pdf>)此外，通過對(duì)應(yīng)每個(gè)目的物對(duì)圖像進(jìn)行區(qū)域分割，進(jìn)行一般物體識(shí)別的技術(shù)在下述的文獻(xiàn)中被說明。Jamie Shotton b , "Semantic Texton Forests for Image Categorization and Segmentation",[平成 22 年 8 月 10 日検索]，^ y 夕一本 7 卜 <URL -Mttp:// citeseerx. ist. psu. edu/viewdoc/download？ doi = 10. 1. 1. 145. 3036&rep = repl&type =pdf> (Jamie Shotton h (杰米肖頓等人)，"Semantic Texton Forests for Image Categorization and Segmentation ”，“平成 22 年 8 月 10 日檢索”，網(wǎng)址 <URL :http:// citeseerx. ist. psu. edu/viewdoc/download？ doi = 10. 1. 1. 145. 3036&rep = repl&type =pdf>)商品登記部612將與通過物體識(shí)別部611識(shí)別的商品圖像關(guān)聯(lián)的銷售登記所涉及的信息、即作為商品讀取裝置101已讀取的商品被指定的商品的商品ID、商品分類、商品名、單價(jià)等記錄在銷售主文件等中進(jìn)行銷售登記。接著，對(duì)結(jié)賬系統(tǒng)1的動(dòng)作進(jìn)行詳細(xì)地說明。圖5是表示本實(shí)施例所涉及的結(jié)賬系統(tǒng)1的動(dòng)作的一例的流程圖。首先，對(duì)商品讀取裝置101側(cè)的動(dòng)作進(jìn)行說明。如圖5所示，當(dāng)按照POS終端11 的商品登記的開始等而開始處理時(shí)，則攝像圖像取得部1611向攝像部164輸出攝像導(dǎo)通信號(hào)從而開始攝像部164的攝像(步驟Si)。接著，攝像圖像取得部1611取得攝像部164攝像、并保存在RAM 163中的幀圖像(攝像圖像)(步驟S2)。接著，商品檢測部1612從攝像圖像取得部1611取得的幀圖像中，進(jìn)行包裝紙盒153內(nèi)的全部的商品A的全部或一部分的檢測(步驟S3)。接著，圖像輸出部1613向POS終端11輸出通過商品檢測部1612檢測出包裝紙盒153內(nèi)的全部的商品A的全部或一部分的幀圖像(步驟S4)。
圖6是表示讀取窗103中的讀取區(qū)域R的例子的概念圖。具體地說，圖6是例示出在讀取商品A時(shí)的讀取區(qū)域R的概念圖。如圖6所示，當(dāng)在上述的商品A的移動(dòng)過程中， 在讀取區(qū)域R映入有包裝紙盒153內(nèi)的商品A時(shí)，通過步驟S3從已攝像該讀取區(qū)域R的幀圖像中檢測出包裝紙盒153內(nèi)的全部的商品A的全部或一部分。通過該包裝紙盒153內(nèi)的全部的商品A的全部或一部分的檢測，在步驟S4中，能夠向POS終端11輸出已攝像讀取區(qū)域R的幀圖像。接著，CPU 161判定從POS終端11有無商品登記的結(jié)束通知等的工作結(jié)束(步驟 S5)。當(dāng)繼續(xù)工作時(shí)(步驟S5的否)，CPU 161返回到步驟S2的處理繼續(xù)處理。當(dāng)結(jié)束工作時(shí)(步驟S5的是)，攝像圖像取得部1611向攝像部164輸出攝像截止信號(hào)，結(jié)束攝像部 164的攝像(步驟S6)，并結(jié)束處理。接著，對(duì)POS終端11側(cè)的動(dòng)作進(jìn)行說明。如圖5所示，當(dāng)按照鍵盤22的操作指示的商品登記的開始等而開始處理時(shí)，則CPU 61接收從商品讀取裝置101輸出的檢測出包裝紙盒153內(nèi)的全部的商品A的全部或一部分的幀圖像(步驟Sll)。接著，物體識(shí)別部611 參照PLU文件Fl的商品圖像，根據(jù)從商品讀取裝置101已輸出的在包裝紙盒153內(nèi)的全部的商品A的全部或一部分的圖像，按順序識(shí)別商品A作為指定物體(步驟S12)。在這里，作為在步驟S12中的識(shí)別結(jié)果，往往有出現(xiàn)多個(gè)商品A的候補(bǔ)的情況。因而，當(dāng)有多個(gè)商品A的候補(bǔ)時(shí)，(步驟S13的是)，CPU 61通過向圖7所示那樣的顯示器23 的畫面顯示(步驟S14)，向店員進(jìn)行告知。圖7是表示顯示器23的顯示例的概念圖。如圖7所示，在顯示器23的顯示畫面上顯示從PLU文件Fl取得作為在步驟S12中的識(shí)別結(jié)果的多個(gè)商品A的候補(bǔ)的商品名、單價(jià)。在圖7所示的例子中，顯示有“平原甜甜圈”和“糖甜甜圈”。之后，CPU 61當(dāng)判定操作員(店員)通過觸摸面板沈選擇正確的候補(bǔ)作為商品A 時(shí)(步驟S15的是)，則前進(jìn)到步驟S16。另外，當(dāng)沒有多個(gè)商品A的候補(bǔ)時(shí)(步驟S13的否)，直接前進(jìn)到步驟S16。接著，相似度判定部613對(duì)物體識(shí)別部611已識(shí)別的商品A，計(jì)算出相似度(步驟 S16)。相似度是當(dāng)將PLU文件Fl所存儲(chǔ)的各商品的商品圖像視為100% = “相似度1.0” 時(shí)，表示從商品讀取裝置101輸出的商品A的全部或一部分的圖像相似哪種程度的數(shù)據(jù)。如上所述，諸如按照色彩和表面的凹凸?fàn)顩r等的表面狀態(tài)，計(jì)算出相似度。另外，諸如也可以在色彩和表面的凹凸?fàn)顩r中，改變加權(quán)。接著，相似度判定部613判定在步驟S16中計(jì)算出的相似度是否超出預(yù)先規(guī)定的閾值(“相似度0· XX”)(步驟S17)。當(dāng)相似度判定部613判定出在步驟S16中計(jì)算出的相似度超出預(yù)先規(guī)定的閾值 (“相似度0· XX”)時(shí)(步驟S17的是)，在步驟S18中，商品登記部612登記作為指定物體的商品A的識(shí)別結(jié)果、從其識(shí)別結(jié)果中選擇指定一個(gè)的商品A的銷售。接著，CPU 61判定是否已識(shí)別全部的物體(步驟S19)。CPU 61在判定為已識(shí)別全部的物體時(shí)(步驟S19的是)，前進(jìn)到步驟S20，在判定為未識(shí)別全部的物體時(shí)(步驟S19 的否)，返回到步驟S12的處理，繼續(xù)接著的物體的識(shí)別處理。在步驟20中，問題解決部616通過進(jìn)行向圖8所示那樣的顯示器23的畫面顯示， 向操作員(店員)告知已識(shí)別商品A的情況。在圖8所示的例子中，問題解決部616在顯示包裝紙盒153內(nèi)的商品A的圖像的同時(shí)，一并顯示預(yù)先保存的商品A的商品名等的商品信息X和表示已識(shí)別了的框線(第一線)Y。不過，如圖9所示，盡管已識(shí)別全部的物體，但因包裝紙盒153的顏色(托盤的顏色)、操作員的影子等的影響，會(huì)發(fā)生有未被實(shí)施識(shí)別的商品的情況。在這樣的情況下，需要指定未登上候補(bǔ)的圖像區(qū)域，再次進(jìn)行識(shí)別處理。此外，如圖10所示，也可能產(chǎn)生有本來不同的物體被識(shí)別為一個(gè)的情況，在這樣的情況下，需要指定被結(jié)合、已識(shí)別的區(qū)域，再次進(jìn)行識(shí)別處理。另外，在圖10所示的例子中，因本來不同的物體被識(shí)別為一個(gè)物體，從而導(dǎo)致完全被識(shí)別為另外的物體(果醬面包)。而且，如圖11所示，也可能發(fā)生因同一商品多個(gè)重疊而被識(shí)別為一個(gè)的情況。在這樣的情況下，需要只再輸入個(gè)數(shù)。因而，問題解決部616在向顯示器23的畫面顯示中，具備用于解決上述的各種問題的指示部30和確定鍵40。如圖8至圖12所示，顯示在顯示器23上的指示部30具有分割指示鍵31、追加指示鍵32、個(gè)數(shù)追加指示鍵33、刪除鍵35。如圖9所示，盡管已識(shí)別全部的物體，但當(dāng)因包裝紙盒153的顏色(托盤的顏色)、 操作員的影子等的影響而發(fā)生有未被實(shí)施識(shí)別的商品時(shí)，操作員(店員)通過觸摸面板沈按下操作追加指示鍵32。問題解決部616當(dāng)判定操作員(店員)通過觸摸面板沈按下操作了追加指示鍵32時(shí)，則讓操作員(店員)指定未登上候補(bǔ)的圖像區(qū)域。另外，作為宣告在發(fā)生有未被實(shí)施識(shí)別的商品時(shí)的識(shí)別的追加實(shí)施的方法，并不限定于通過觸摸面板26按下操作顯示在顯示器23上的追加指示鍵32的方法，諸如也可以通過在鍵盤22上設(shè)定追加指示鍵，并按下操作該追加指示鍵，宣告識(shí)別的追加實(shí)施。在這里，對(duì)讓操作員(店員)指定未登上候補(bǔ)的圖像區(qū)域的方法，進(jìn)行說明。圖13 是表示讓操作員(店員)指定未登上候補(bǔ)的圖像區(qū)域的方法的概念圖。如圖13所示，作為通過觸摸面板沈指定未登上候補(bǔ)的圖像區(qū)域的方法，有如下所示的方法。(a)指定區(qū)域的中心的方法(參照?qǐng)D13的(a))(b)用區(qū)域的對(duì)角進(jìn)行指定的方法(參照?qǐng)D13的(b))(c)用圓圈(樣條)包圍進(jìn)行指定的方法(參照?qǐng)D13的(C))如圖13(b)所示，在用區(qū)域的對(duì)角進(jìn)行指定的方法中，問題解決部616通過與表示已識(shí)別的框線(第一線)Y不同形態(tài)的框線(第二線)Z1，指定未登上候補(bǔ)的圖像區(qū)域。此外，如圖13的(c)所示，在用圓圈(樣條)包圍指定方法中，問題解決部616通過與表示已識(shí)別的邊框(第一線)Y不同形態(tài)的框線(第二線)Z2，指定未登上候補(bǔ)的圖像區(qū)域。問題解決部616在通過上述的任意一個(gè)方法，讓操作員(店員)指定未登上候補(bǔ)的圖像區(qū)域后，當(dāng)判定操作員(店員)通過觸摸面板沈按下操作了顯示在圖13所示那樣的顯示器23上的再識(shí)別鍵34時(shí)，則作為有追加指示的物體(步驟S21的是)，返回到步驟 S12的處理，執(zhí)行未登上候補(bǔ)的圖像區(qū)域的物體的識(shí)別處理。另外，作為讓操作員(店員)指定未登上候補(bǔ)的圖像區(qū)域的方法，并不限定于通過觸摸面板26進(jìn)行指定的方法，既可以用語音指示(上下左右)，又可以用鍵盤22指定未解析區(qū)域。例如，如圖14所示，作為用鍵盤22指定未解析區(qū)域的例子，將顯示在顯示器23上的畫面分割成9個(gè)并覆蓋顯示，并用數(shù)字鍵22d的1 9讓操作員(店員)指定概略的區(qū)域。另外，也可以包含除數(shù)據(jù)鍵22d之外的鍵，并覆蓋顯示與畫面分割(分割成4X4的16 個(gè)畫面、分割成5X5的25個(gè)畫面)對(duì)應(yīng)的鍵。此外，如圖10所示，在產(chǎn)生有本來不同的物體被識(shí)別為一個(gè)物體時(shí)的情況下，操作員(店員)通過觸摸面板26按下操作分割指示鍵31。問題解決部616當(dāng)判定操作員(店員)通過觸摸面板沈按下操作了分割指示鍵31時(shí)，讓操作員(店員)通過觸摸面板沈分割圖像區(qū)域。如圖15所示，作為讓操作員(店員)分割圖像區(qū)域的方法，通過觸摸面板沈用直線(樣條)區(qū)域分割。問題解決部616在讓操作員(店員)分割圖像區(qū)域后，當(dāng)判定操作員(店員)通過觸摸面板26按下操作了顯示在圖15所示那樣的顯示器23上的再識(shí)別鍵34時(shí)，則作為有分割指示的物體(步驟S21的是)，返回到步驟S12的處理，執(zhí)行已分割的各圖像區(qū)域的物體的識(shí)別處理。此外，如圖11所示，當(dāng)發(fā)生有因同一商品多個(gè)重疊而被識(shí)別為一個(gè)物體時(shí)的情況下，操作員(店員)通過觸摸面板26按下操作個(gè)數(shù)追加指示鍵33。問題解決部616當(dāng)判定操作員(店員)通過觸摸面板26按下操作了個(gè)數(shù)追加指示鍵33時(shí)，則讓操作員(店員) 從鍵盤22的數(shù)字鍵22d等輸入個(gè)數(shù)。此外，如圖12所示，盡管已識(shí)別全部的物體，但當(dāng)在商品的識(shí)別后提出商品的退貨時(shí)，操作員(店員)通過觸摸面板沈按下操作刪除鍵35。問題解決部616當(dāng)判定操作員(店員)通過觸摸面板沈按下操作了刪除鍵35時(shí)，則讓操作員(店員)指定進(jìn)行退貨的(進(jìn)行刪除的)商品。作為讓操作員(店員)指定進(jìn)行退貨的(進(jìn)行刪除的)商品的方法，考慮有與讓操作員(店員)指定象上述那樣的未登上候補(bǔ)的圖像區(qū)域的方法相同的方法。圖16是表示讓操作員(店員)指定進(jìn)行退貨的(進(jìn)行刪除的)商品方法的概念圖。如圖16所示，作為通過觸摸面板沈指定進(jìn)行退貨的(進(jìn)行刪除的)商品的方法，有如下所示的方法。(a)直接指定退貨的商品的方法(參照?qǐng)D16的(a))(b)用區(qū)域的對(duì)角指定退貨的商品的方法(參照?qǐng)D16的(b))(c)用圓圈(樣條)包圍退貨的商品進(jìn)行指定的方法(參照?qǐng)D16的(C))另外，作為讓操作員(店員)指定進(jìn)行退貨的(進(jìn)行刪除的)商品的方法，并不限定于通過觸摸面板沈進(jìn)行指定的方法，既可以用語音指示(上下左右)，又可以用鍵盤22 指定未解析區(qū)域。例如，象在圖14中說明的那樣，作為用鍵盤22指定未解析區(qū)域的例子， 將顯示在顯示器23上的畫面分割成9個(gè)畫面并覆蓋顯示，并用數(shù)字鍵22d的1 9讓操作員(店員)指定概略的區(qū)域。另外，也可以包含除數(shù)據(jù)鍵22d之外的鍵，并覆蓋顯示與畫面分割(分割成4X4的16個(gè)畫面、分割成5X5的25個(gè)畫面)對(duì)應(yīng)的鍵。問題解決部616在讓操作員(店員)指定進(jìn)行退貨的(進(jìn)行刪除的)商品后，當(dāng)判定操作員(店員)通過觸摸面板沈按下操作了顯示在圖16所示那樣的顯示器23上的再識(shí)別鍵34時(shí)，則作為有退貨(刪除)指示的物體(步驟S22的是)，返回到步驟S18的處理，使商品登記部612執(zhí)行減少商品A的個(gè)數(shù)的銷售登記。問題解決部616當(dāng)判定操作員(店員)通過鍵盤22的數(shù)字鍵22d等，輸入個(gè)數(shù)時(shí) (步驟S23的是)，則返回到步驟S18的處理，使商品登記部612執(zhí)行增加或減少商品A的個(gè)數(shù)的銷售登記。另一方面，在通過進(jìn)行向圖8所示那樣的顯示器23的畫面顯示，向操作員(店員) 告知已識(shí)別商品A后，當(dāng)沒有象圖9至圖12所示那樣的問題時(shí)，操作員(店員)通過觸摸面板26按下操作確定鍵40。問題解決部616當(dāng)判定操作員(店員)通過觸摸面板沈按下操作了確定鍵40時(shí)(步驟S24的是)，前進(jìn)到步驟S25的處理。這樣，根據(jù)本實(shí)施例的結(jié)賬系統(tǒng)1，即使在物體識(shí)別中有問題時(shí)，也能夠容易地解決問題。在步驟S25中，確認(rèn)圖像顯示部615通過向圖17所示的顧客用顯示器M的畫面顯示，使顧客確認(rèn)購入商品。在圖17所示的例子中，在將裝入有商品A的包裝紙盒153的圖像顯示在顯示區(qū)域Gl上的同時(shí)，也使預(yù)先保存的商品A的商品名、單價(jià)等的商品信息及個(gè)數(shù)、合計(jì)金額等的購入商品的履歷同時(shí)顯示在顯示區(qū)域G2上。此外，顯示在顯示區(qū)域Gl上的商品A的商品圖像也附記商品名。根據(jù)堆棧在RAM 63中的購入商品所涉及的信息，POS 終端11的CPU61進(jìn)行該顯示區(qū)域G2中的購入商品的履歷的顯示。通過這樣的畫面顯示， 能夠讓顧客確認(rèn)與想要的商品是否有誤。目前，在糕點(diǎn)店、甜甜圈店等中，將裝入有商品A 的包裝紙盒153越過展示柜151提示顧客確認(rèn)是否有誤，之后進(jìn)行銷售交易用的登記和合計(jì)操作等的POS操作，但在本系統(tǒng)中，由于用商品讀取裝置101映入購入商品，并總括讀出全部商品的商品名和價(jià)格等的信息，所以可在顧客確認(rèn)后以短時(shí)間結(jié)束POS操作。在這里，向圖17所示那樣的顧客用顯示器M的畫面顯示與在圖6中所示的讀取圖像不同。向圖17所示的顧客用顯示器M的畫面顯示是在面對(duì)面銷售時(shí)處于從顧客端角度看的狀態(tài)，在圖6中所示的讀取畫面是處于從操作員(店員)側(cè)角度看的狀態(tài)。也就是說，確認(rèn)圖像顯示部615通過使讀取圖像上下左右翻轉(zhuǎn)，從而按照從顧客端角度看的顯示。 此外，確認(rèn)圖像顯示部615將與圖像重疊顯示的商品名候補(bǔ)等的標(biāo)題也與翻轉(zhuǎn)圖像一致并向能讀的方向顯示。接著，CPU 61判定有無由鍵盤22的操作指示的銷售登記的結(jié)束等的工作結(jié)束(步驟S26)。當(dāng)結(jié)束工作時(shí)(步驟S26的是)，CPTOl結(jié)束向顧客用顯示器M的畫面顯示，從而結(jié)束處理。另一方面，當(dāng)相似度判定部613判定出在步驟S 16中計(jì)算出的相似度未超過預(yù)先規(guī)定的閾值(“相似度0. XX”)時(shí)(步驟S 17的否)，不合格品告知部614向店員告知是未被識(shí)別為合格品的商品(步驟S27)，促使店鋪方采取銷售中止或減價(jià)銷售等的措施。具體地說，不合格品告知部614用向顯示器23和通過連接接口 65、176的顯示器106的畫面顯示、通過連接接口 65、175的聲音輸出部165的警報(bào)音的輸出等，向店員告知錯(cuò)誤。通過進(jìn)行該告知，結(jié)賬系統(tǒng)1能夠促使店員讀取其他商品A等的恰當(dāng)?shù)牟僮?。CPU 61當(dāng)判定出有由鍵盤22的操作指示等進(jìn)行的減價(jià)銷售的指示時(shí)(步驟S^ 的是)，在步驟S18中，商品登記部612登記作為指定物體的商品A的識(shí)別結(jié)果、減價(jià)從其識(shí)別結(jié)果中選擇指定一個(gè)的商品A的銷售。此外，當(dāng)判定出有由鍵盤22的操作指示等進(jìn)行的銷售中止的指示時(shí)(步驟S28的否)，返回到步驟S12的處理。如圖18所示，當(dāng)物體識(shí)別部611識(shí)別出的商品A為“平原甜甜圈”，閾值作為“相似度0. 50”被存儲(chǔ)到PLU文件Fl時(shí)，則由于在(a)中所示的商品相似度為0. 717，所以判定計(jì)算出的相似度超過預(yù)先規(guī)定的閾值。另一方面，由于在(b)中所示的商品相似度為0.252，所以判定計(jì)算出的相似度未超過預(yù)先規(guī)定的閾值。因此，在(a)中所示的商品作為“平原甜甜圈”象通常一樣進(jìn)行銷售登記(OK)。另一方面，在(b)中所示的商品雖然被大致識(shí)別為“平原甜甜圈”，但是其是不新鮮變色了的、損壞了的、變形了的，也就是說，色彩和表面的凹凸?fàn)顩r等為不正常的，從而作為不合格品不被銷售登記(NG)。尤其甜甜圈、面包等，將正規(guī)的烤法或油炸法的商品圖像預(yù)先存儲(chǔ)到PLU文件Fl中，當(dāng)烤的不足/過度或油炸不足/ 過度等脫離閾值時(shí)，能夠判斷為不合格品。這樣，根據(jù)本實(shí)施例的結(jié)賬系統(tǒng)1，當(dāng)甜甜圈或面包等為不新鮮變色了的、損壞了的、變形了的、因烹調(diào)不良導(dǎo)致的色彩不同的等時(shí)，通過與PLU文件Fl所存儲(chǔ)的商品圖像進(jìn)行比較，能夠?qū)⒚撾x標(biāo)準(zhǔn)的判斷為不合格品。尤其在繁忙店鋪等對(duì)檢驗(yàn)商品的新鮮度的時(shí)間有限制的店鋪或雇傭較多店員烹調(diào)甜甜圈、面包有個(gè)人誤差的店鋪等中，也可以與正規(guī)的商品以數(shù)值形式的判斷進(jìn)行比較。此外，根據(jù)這樣的本實(shí)施例的結(jié)賬系統(tǒng)1，由于能夠讓顧客同時(shí)確認(rèn)商品圖像和其商品的名稱、單價(jià)等的商品信息，所以可減少差錯(cuò)。此外，由于能夠總括讀取在托盤上的商品或在包裝紙盒153內(nèi)的商品并也總括調(diào)用商品信息，所以可用短時(shí)間進(jìn)行與買賣有關(guān)的交易。而且，根據(jù)這樣的本實(shí)施例的結(jié)賬系統(tǒng)1，在相似品多并出現(xiàn)多個(gè)商品A的候補(bǔ)的店鋪中，通過將商品A的候補(bǔ)全部顯示而選擇，可防止商品錯(cuò)誤的情況發(fā)生。另外，在本實(shí)施例中，進(jìn)行識(shí)別的物體雖然是PLU文件Fl所存儲(chǔ)的銷售商品，但是并不限定于此，也可以是用于促銷的促銷品等。在本實(shí)施例的POS終端11、商品讀取裝置101中所執(zhí)行的程序被預(yù)先安裝在ROM 等中而提供。在本實(shí)施例的POS終端11、商品讀取裝置101中所執(zhí)行的程序也可以以可安裝的形式或可執(zhí)行的形式的文件，記錄在CD-ROM、軟磁盤(FD)、CD-R、DVD (Digital Versatile Disk 數(shù)字多功能磁盤)等的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中而提供。而且，也可以將在本實(shí)施例的POS終端11、商品讀取裝置101中所執(zhí)行的程序存儲(chǔ)在與互聯(lián)網(wǎng)等的網(wǎng)絡(luò)連接的計(jì)算機(jī)上，并通過經(jīng)由網(wǎng)絡(luò)下載而提供。此外，也可以將在本實(shí)施例的POS終端11、商品讀取裝置101中所執(zhí)行的程序經(jīng)由互聯(lián)網(wǎng)等的網(wǎng)絡(luò)提供或配置。在本實(shí)施例的POS終端11中所執(zhí)行的程序?yàn)榘ㄉ鲜龅母鞑?物體識(shí)別部611、 商品登記部612、相似度判定部613、不合格品告知部614、確認(rèn)圖像顯示部615、問題解決部 616)的模塊構(gòu)成，作為實(shí)際的硬件，通過CPU (處理器)從上述ROM讀取并執(zhí)行程序，上述各部被裝載到主存儲(chǔ)裝置上，并在主存儲(chǔ)裝置上生成物體識(shí)別部611、商品登記部612、相似度判定部613、不合格品告知部614、確認(rèn)圖像顯示部615、問題解決部616。在本實(shí)施例的商品讀取裝置101中所執(zhí)行的程序?yàn)榘鲜龅母鞑?攝像圖像取得部1611、商品檢測部1612、圖像輸出部1613)的模塊構(gòu)成，作為實(shí)際的硬件，通過CPU (處理器)從上述ROM讀出并執(zhí)行程序，上述各部被裝載在主存儲(chǔ)裝置上，并在主存儲(chǔ)裝置上生成攝像圖像取得部1611、商品檢測部1612、圖像輸出部1613。另外，在本實(shí)施例中，雖然在POS終端11側(cè)具有物體識(shí)別部611、商品登記部612、 相似度判定部613、不合格品告知部614、確認(rèn)圖像顯示部615、問題解決部616，但是并不限定于此，在商品讀取裝置101側(cè)也可以具有物體識(shí)別部611、商品登記部612、相似度判定部 613、不合格品告知部614、確認(rèn)圖像顯示部615、問題解決部616。在這種情況下，商品讀取裝置101是店鋪系統(tǒng)。此外，在本實(shí)施例中，雖然在商品讀取裝置101側(cè)具有攝像圖像取得部1611、商品檢測部1612、圖像輸出部1613，但是并不限定于此，在POS終端11側(cè)也可以具有攝像圖像取得部1611、商品檢測部1612、圖像輸出部1613。在這種情況下，POS終端11是店鋪系統(tǒng)。而且，也可以在商品讀取裝置101側(cè)具有攝像圖像取得部1611、商品檢測部1612、 圖像輸出部1613，而且，在商品讀取裝置101側(cè)進(jìn)行象通過POS終端11進(jìn)行的那樣的銷售登記。如上所述，對(duì)本發(fā)明的實(shí)施例進(jìn)行了詳細(xì)地說明，但是只要實(shí)質(zhì)上沒有脫離本發(fā)明的發(fā)明點(diǎn)及效果可以有很多的變形，這對(duì)本領(lǐng)域的技術(shù)人員來說是顯而易見的。因此，這樣的變形例也全部包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種店鋪系統(tǒng)，包括圖像輸出部，輸出攝像部已攝像的圖像；物體識(shí)別部，通過讀取已輸出的所述圖像的特征量，識(shí)別指定的物體；確認(rèn)圖像顯示部，至少將對(duì)已識(shí)別的所述物體的圖像顯示在顯示部上；以及問題解決部，當(dāng)在所述物體的識(shí)別中有問題時(shí)，接受表示所述問題的指示，并根據(jù)已接受的指示內(nèi)容解決所述問題。
2.根據(jù)權(quán)利要求1所述的店鋪系統(tǒng)，其中，所述問題解決部當(dāng)存在有未被實(shí)施識(shí)別的物體時(shí)，接受用于指定未被實(shí)施識(shí)別的物體所存在的區(qū)域的指示，并使所述物體識(shí)別部執(zhí)行關(guān)于所述區(qū)域的物體識(shí)別。
3.根據(jù)權(quán)利要求1所述的店鋪系統(tǒng)，其中，所述問題解決部當(dāng)本來不同的物體被識(shí)別為一個(gè)物體時(shí)，接受用于分割本來不同的物體被識(shí)別為一個(gè)物體的區(qū)域的指示，使所述物體識(shí)別部執(zhí)行關(guān)于被分割的各區(qū)域的物體識(shí)別。
4.根據(jù)權(quán)利要求1所述的店鋪系統(tǒng)，其中，所述問題解決部當(dāng)因同一物體多個(gè)重疊而被識(shí)別為一個(gè)時(shí)，接受重疊的物體的個(gè)數(shù)。
5.根據(jù)權(quán)利要求1所述的店鋪系統(tǒng)，還包括輸入部，接受來自用戶的輸入，其中，所述問題解決部通過所述輸入部接受表示當(dāng)在所述物體的識(shí)別中有問題時(shí)的所述問題的指示，并根據(jù)針對(duì)顯示在所述顯示部上的圖像的、通過所述輸入部的指示內(nèi)容，解決所述問題。
6.根據(jù)權(quán)利要求5所述的店鋪系統(tǒng)，其中，所述輸入部是層壓在所述顯示部上的觸摸面板，所述問題解決部通過所述觸摸面板接受表示當(dāng)在所述物體的識(shí)別中有問題時(shí)的所述問題的指示，并根據(jù)針對(duì)顯示在所述顯示部上的圖像的、通過所述觸摸面板的指示內(nèi)容，解決所述問題。
7.根據(jù)權(quán)利要求5所述的店鋪系統(tǒng)，其中，所述輸入部是具有各種鍵的鍵盤，所述問題解決部通過對(duì)與用于解決所述問題的各種處理對(duì)應(yīng)的所述鍵盤的鍵的操作， 接受表示當(dāng)在所述物體的識(shí)別中有問題時(shí)的所述問題的指示，并根據(jù)針對(duì)顯示在所述顯示部上的圖像的、與所述鍵盤的鍵操作對(duì)應(yīng)的指示內(nèi)容，解決所述問題。
8.根據(jù)權(quán)利要求5所述的店鋪系統(tǒng)，其中，所述問題解決部當(dāng)針對(duì)顯示在所述顯示部上的圖像的指示為區(qū)域指定時(shí)，以區(qū)域中心的指定、用區(qū)域?qū)堑闹付坝脴訔l包圍的指定中的任意一個(gè)指定，接受針對(duì)顯示在所述顯示部上的圖像的指示。
9.根據(jù)權(quán)利要求1所述的店鋪系統(tǒng)，其中，所述問題解決部在對(duì)已識(shí)別的所述物體附加第一線而顯示的同時(shí)，作為用于解決在所述物體的識(shí)別中有問題的所述問題的處理，用與所述第一線不同的形態(tài)顯示用于指示針對(duì)顯示在所述顯示部上的圖像的區(qū)域指定的第二線。
10.一種店鋪系統(tǒng)，包括攝像部； 顯示部；圖像輸出部，輸出所述攝像部已攝像的圖像； 物體識(shí)別部，通過讀取已輸出的所述圖像的特征量，識(shí)別指定的物體； 確認(rèn)圖像顯示部，至少將對(duì)已識(shí)別的所述物體的圖像顯示在顯示部上；以及問題解決部，當(dāng)在所述物體的識(shí)別中有問題時(shí)，接受表示所述問題的指示，并根據(jù)已接受的指示內(nèi)容解決所述問題。
11. 一種商品銷售數(shù)據(jù)處理方法，包括以下步驟 通過讀取攝像部已攝像的圖像的特征量，識(shí)別指定的物體； 至少將對(duì)已識(shí)別的所述物體的圖像顯示在顯示部上；以及當(dāng)在所述物體的識(shí)別中有問題時(shí)，接受表示所述問題的指示，根據(jù)已接受的指示內(nèi)容解決所述問題。
全文摘要
本發(fā)明公開一種店鋪系統(tǒng)及商品銷售數(shù)據(jù)處理方法，該店鋪系統(tǒng)包括圖像輸出部，輸出攝像部已攝像的圖像；物體識(shí)別部，通過讀取已輸出的所述圖像的特征量，識(shí)別指定的物體；確認(rèn)圖像顯示部，至少將對(duì)已識(shí)別的所述物體的圖像顯示在顯示部上；以及問題解決部，當(dāng)在所述物體的識(shí)別中有問題時(shí)，接受表示所述問題的指示，并根據(jù)已接受的指示內(nèi)容解決所述問題。
文檔編號(hào)G06K9/00GK102375977SQ20111024131
公開日2012年3月14日 申請(qǐng)日期2011年8月22日 優(yōu)先權(quán)日2010年8月23日
發(fā)明者上田浩之, 佐野雅仁, 古山浩之, 渡邊伸夫 申請(qǐng)人:東芝泰格有限公司