信息處理裝置及其控制方法
【專利摘要】本發(fā)明公開一種信息處理裝置及其控制方法，其能夠有效地進(jìn)行商品的識(shí)別，該信息處理裝置包括：存儲(chǔ)部，存儲(chǔ)基準(zhǔn)商品的特征量；攝像部，用于攝像商品；抽取部，從所述攝像部所攝像的攝像圖像中抽取成為拍攝對(duì)象的商品的特征量；計(jì)算部，基于規(guī)定在所述基準(zhǔn)商品中作為識(shí)別對(duì)象的基準(zhǔn)商品的設(shè)定信息，對(duì)存儲(chǔ)在所述存儲(chǔ)部中并通過所述設(shè)定信息被作為識(shí)別對(duì)象的基準(zhǔn)商品的特征量和所述抽取部所抽取的商品的特征量進(jìn)行比較，并計(jì)算出其相似度；以及識(shí)別部，將所述計(jì)算部計(jì)算出的相似度大于等于閾值的基準(zhǔn)商品，識(shí)別為所述商品的候選。
【專利說明】信息處理裝置及其控制方法
[0001]本申請(qǐng)主張申請(qǐng)日為2013年2月7日、申請(qǐng)?zhí)枮镴P2013-022685的日本申請(qǐng)為優(yōu)先權(quán)，并引用上述申請(qǐng)的內(nèi)容。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及一種信息處理裝置及其控制方法。
【背景技術(shù)】
[0003]近年來，公知有一種這樣的技術(shù)，通過對(duì)表示成為基準(zhǔn)的商品的形狀等的數(shù)據(jù)和從圖像數(shù)據(jù)中抽取出的數(shù)據(jù)進(jìn)行比較，對(duì)該圖像數(shù)據(jù)所包含的商品進(jìn)行識(shí)別(辨別)。在所涉及的技術(shù)中，通過事前登記多個(gè)種類商品的數(shù)據(jù)，能夠根據(jù)該登記數(shù)量增加可識(shí)別的商品數(shù)量。不過，當(dāng)已登記的數(shù)據(jù)數(shù)量增加時(shí)，則由于數(shù)據(jù)的比較所需要的時(shí)間也增加，所以存在有識(shí)別效率下降的問題。此外，當(dāng)已登記的數(shù)據(jù)數(shù)量增加時(shí)，則也有發(fā)生誤識(shí)別的頻率增加的可能性。

【發(fā)明內(nèi)容】

[0004]鑒于上述問題，本發(fā)明的目的在于提供一種信息處理裝置及其控制方法，其能夠有效地進(jìn)行商品的識(shí)別。
[0005]本發(fā)明第一方面涉及的信息處理裝置，包括:存儲(chǔ)部、攝像部、抽取部、計(jì)算部以及識(shí)別部。存儲(chǔ)部存儲(chǔ)基準(zhǔn)商品的特征量。攝像部攝像商品。抽取部從所述攝像部所攝像的攝像圖像中抽取成為拍攝對(duì)象的商品的特征量。計(jì)算部，基于規(guī)定在所述基準(zhǔn)商品中作為識(shí)別對(duì)象的基準(zhǔn)商品的設(shè)定信息，對(duì)存儲(chǔ)在所述存儲(chǔ)部中并通過所述設(shè)定信息被作為識(shí)別對(duì)象的基準(zhǔn)商品的特征量和所述抽取部所抽取的商品的特征量進(jìn)行比較，計(jì)算出其相似度。識(shí)別部將所述計(jì)算部計(jì)算出的相似度大于等于閾值的基準(zhǔn)商品識(shí)別為所述商品的候選。
[0006]本發(fā)明另一方面所涉及的控制方法，用于控制具有存儲(chǔ)了多個(gè)基準(zhǔn)商品的特征量的存儲(chǔ)部的信息處理裝置，包括以下步驟:攝像步驟，攝像商品；抽取步驟，從通過所述攝像步驟所攝像的攝像圖像中抽取成為拍攝對(duì)象的商品的特征量；計(jì)算步驟，基于規(guī)定在所述多個(gè)基準(zhǔn)商品中作為識(shí)別對(duì)象的基準(zhǔn)商品的設(shè)定信息，對(duì)存儲(chǔ)在所述存儲(chǔ)部中并通過所述設(shè)定信息被作為識(shí)別對(duì)象的基準(zhǔn)商品的特征量和通過所述抽取步驟所抽取的商品的特征量進(jìn)行比較，并計(jì)算出其相似度；以及識(shí)別步驟，將通過所述計(jì)算步驟計(jì)算出的相似度大于等于閾值的基準(zhǔn)商品，識(shí)別為所述商品的候選。
【專利附圖】

【附圖說明】
[0007]下面，參照附圖對(duì)本發(fā)明所涉及的信息處理裝置及其控制方法進(jìn)行說明。當(dāng)結(jié)合附圖考慮時(shí)，通過參照下面的詳細(xì)描述，能夠更完整更好地理解本發(fā)明以及容易得知其中許多伴隨的優(yōu)點(diǎn)，但此處所說明的附圖用來提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定，其中:
[0008]圖1是表示實(shí)施例所涉及的結(jié)賬系統(tǒng)的外觀構(gòu)成的立體圖；
[0009]圖2是表示圖1所示的POS終端及商品讀取裝置的硬件構(gòu)成的框圖；
[0010]圖3是表示圖2所示的PLU文件的數(shù)據(jù)構(gòu)成的一例的示意圖；
[0011]圖4是表示圖2所示的識(shí)別對(duì)象設(shè)定文件的數(shù)據(jù)構(gòu)成的一例的示意圖。
[0012]圖5是表示圖1所示的POS終端及商品讀取裝置的功能構(gòu)成的框圖；
[0013]圖6是表示商品讀取裝置的顯示裝置所顯示的商品候選的顯示例的圖；
[0014]圖7是表示商品讀取裝置所執(zhí)行的商品識(shí)別處理的次序的流程圖；
[0015]圖8是表示POS終端所執(zhí)行的銷售登記處理的次序的流程圖；
[0016]圖9是表示實(shí)施例所涉及的自助POS的構(gòu)成的立體圖；以及
[0017]圖10是表示圖9所示的自助POS的硬件構(gòu)成的框圖。
[0018]附圖標(biāo)記說明 [0019]I 結(jié)賬系統(tǒng)11 POS終端
[0020]611 銷售登記部612 第二設(shè)定部
[0021]101 商品讀取裝置 1611圖像采集部
[0022]1612商品檢測(cè)部1613特征量抽取部
[0023]1614相似度判定部 1615商品候選提示部
[0024]1616輸入接受部1617信息輸出部
[0025]1618第一設(shè)定部Fl PLU文件
[0026]F2 識(shí)別對(duì)象設(shè)定文件SC 存儲(chǔ)計(jì)算機(jī)
【具體實(shí)施方式】
[0027]下面，參照附圖，以結(jié)賬系統(tǒng)為例對(duì)本實(shí)施例所涉及的信息處理裝置及其控制方法進(jìn)行說明。店鋪系統(tǒng)是具有進(jìn)行一交易所涉及的商品的登記、對(duì)賬的POS終端的結(jié)賬系統(tǒng)(P0S系統(tǒng))等。本實(shí)施例是向引進(jìn)到超市等的店鋪中的結(jié)賬系統(tǒng)的應(yīng)用例。
[0028]圖1是表示結(jié)賬系統(tǒng)I的外觀構(gòu)成的立體圖。如圖1所示,結(jié)賬系統(tǒng)I具有POS終端11、作為信息處理裝置的商品讀取裝置101。
[0029]POS終端11載置在結(jié)賬臺(tái)51上的拉出裝置21上表面上。拉出裝置21通過POS終端11控制打開動(dòng)作。通過操作員(店員等)進(jìn)行按下操作的鍵盤22配置在POS終端11的上表面上。從操作鍵盤22的操作員角度看，在鍵盤22的里側(cè)設(shè)置有朝向操作員顯示信息的顯示裝置23。顯示裝置23在其顯示面23a上顯示信息。觸摸面板26被層壓在顯示面23a上。顧客用顯示裝置24旋轉(zhuǎn)自如地豎著設(shè)置在顯示裝置23的更里側(cè)。顧客用顯示裝置24在其顯示面24a上顯示信息。
[0030]另外，圖1所示的顧客用顯示裝置24雖然為將顯示面24a朝向圖1中跟前側(cè)的狀態(tài)，但是通過以顯示面24a朝向圖1中里側(cè)的方式使顧客用顯示裝置24旋轉(zhuǎn)，顧客用顯示裝置24朝向顧客顯示信息。
[0031]長(zhǎng)方形桌子狀的柜臺(tái)151以與載置有POS終端11的結(jié)賬臺(tái)51形成為L(zhǎng)字的方式被配置。在柜臺(tái)151的上表面上形成有負(fù)荷接受面152。負(fù)荷接受面152載置有收納商品G的購物筐153。購物筐153可以考慮劃分成通過顧客帶來的第一購物筐153a、載置在從第一購物筐153a隔著商品讀取裝置101的位置上的第二購物筐153b。
[0032]柜臺(tái)151的負(fù)荷接受面152設(shè)置有可與POS終端11數(shù)據(jù)發(fā)送接收地連接的商品讀取裝置101。商品讀取裝置101具有薄的矩形形狀的外殼102。
[0033]在外殼102的正表面上配置有讀取窗103。在外殼102的上部安裝有顯示、操作部104。顯示、操作部104設(shè)置有顯示裝置106，并在顯示裝置106的表面上層壓有觸摸面板105。在顯示裝置106的右邊配設(shè)有鍵盤107。在鍵盤107的右邊設(shè)置有未圖示的讀卡器的卡讀取槽108。從操作員的角度看，在顯示、操作部104的背面靠左側(cè)設(shè)置有用于向顧客提供信息的顧客用顯示裝置109。
[0034]通過顧客帶來的第一購物筐153a收納有一交易所涉及的商品G。第一購物筐153a內(nèi)的商品G通過操作商品讀取裝置101的操作員被移動(dòng)到第二購物筐153b。在該移動(dòng)過程中，商品G被朝向商品讀取裝置101的讀取窗103。這時(shí)，配置在讀取窗103內(nèi)的攝像部164 (參照?qǐng)D2)對(duì)商品G進(jìn)彳丁攝像。
[0035]圖2是表示POS終端11及商品讀取裝置101的硬件構(gòu)成的框圖。
[0036]POS終端11具有作為執(zhí)行信息處理的信息處理部的微機(jī)60。微機(jī)60具有執(zhí)行各種運(yùn)算處理并控制各部的CPU (Central Processing Unit:中央處理器)61、ROM (ReadOnly Memory:只讀存儲(chǔ)器)62、以及RAM (Random Access Memory:隨機(jī)存取存儲(chǔ)器)63。R0M62存儲(chǔ)CPU61所執(zhí)行的程序。
[0037]拉出裝置21、鍵盤22、顯示裝置23、顧客用顯示裝置24、通信接口 25、觸摸面板26、以及HDD (Hard Disk Drive:硬盤驅(qū)動(dòng)器)64均通過各種輸入輸出電路(均未圖示)與POS終端11的CPU61連接。
[0038]鍵盤22包括在上表面上顯示有“I”、“2”、“3”……等數(shù)字和“ X ”的乘法的運(yùn)算子的O~9數(shù)字鍵(置數(shù)鍵)22d、臨時(shí)合計(jì)鍵22e及合計(jì)鍵22f。
[0039]HDD64存儲(chǔ)各種程序、各種文件。CPU61在POS終端11的起動(dòng)時(shí)等，將HDD64所存儲(chǔ)的程序的全部或一部分復(fù)制到RAM63中并進(jìn)行執(zhí)行。
[0040]HDD64存儲(chǔ)PLU文件Fl及識(shí)別對(duì)象設(shè)定文件F2等的數(shù)據(jù)文件。PLU文件Fl及識(shí)別對(duì)象設(shè)定文件F2可由商品讀取裝置101通過連接接口 65讀出。
[0041]PLU文件Fl是設(shè)定有在店鋪內(nèi)銷售的商品G和與該商品G的銷售登記等有關(guān)的信息的關(guān)聯(lián)的數(shù)據(jù)文件。圖3是示意地表示PLU文件Fl的數(shù)據(jù)構(gòu)成的一例圖。如圖3所示，PLU文件Fl關(guān)聯(lián)登記有對(duì)應(yīng)每個(gè)商品G唯一地分配的商品ID、商品G所屬的商品分類、商品名、單價(jià)等的與商品有關(guān)的信息、及攝像了該商品G的商品圖像。此外，PLU文件Fl預(yù)先對(duì)應(yīng)每個(gè)商品G關(guān)聯(lián)登記(存儲(chǔ))有所述商品的特征量(基準(zhǔn)商品的特征量數(shù)據(jù))。
[0042]商品圖像是攝像了在后述的相似度判定時(shí)被作為比較對(duì)象的基準(zhǔn)商品的各個(gè)商品的圖像。商品圖像 在后述的商品候選的提示時(shí)作為表示所述商品候選的圖像被提示。此外，從各商品G的攝像圖像(例如，商品圖像)中預(yù)先抽取出的所述商品G的特征量與對(duì)應(yīng)的商品ID關(guān)聯(lián)登記。在這里，特征量就是諸如商品G表面的色彩、圖案、凹凸?fàn)顩r、形狀等表示商品G的特征的信息。
[0043]識(shí)別對(duì)象設(shè)定文件F2是設(shè)定了作為后述的相似度判定的對(duì)象的商品的數(shù)據(jù)文件。圖4是示意地示出識(shí)別對(duì)象設(shè)定文件F2的數(shù)據(jù)構(gòu)成的一例圖。如圖4所示，識(shí)別對(duì)象設(shè)定文件F2關(guān)聯(lián)登記有各商品G的商品名、所述商品的商品ID、以及表示有無后述的相似度判定部1614中的相似度判定的識(shí)別對(duì)象設(shè)定。商品名及商品ID與PLU文件Fl所登記的商品名及商品ID對(duì)應(yīng)。此外,識(shí)別對(duì)象設(shè)定所標(biāo)記的圓形記號(hào)意思為該商品是相似度判定的對(duì)象，無標(biāo)記意思為不是相似度判定的對(duì)象。
[0044]識(shí)別對(duì)象設(shè)定可任意地進(jìn)行設(shè)定。例如，當(dāng)通過鍵盤22、觸摸面板26或通信接口25，指示有作為相似度判定的對(duì)象或不是對(duì)象的商品的商品ID時(shí)，則CPU61根據(jù)該指示內(nèi)容更新相似度判定。此外，也可以是根據(jù)后述的第一設(shè)定部1618或第二設(shè)定部612的功能，自動(dòng)更新識(shí)別對(duì)象設(shè)定的形式。另外，識(shí)別對(duì)象設(shè)定的更新定時(shí)尤其不限，也可以每次都更新。此外，也可以是保持設(shè)定內(nèi)容不同的多個(gè)識(shí)別對(duì)象設(shè)定文件F2，諸如對(duì)應(yīng)每天、每月、每季節(jié)分開使用的形式。
[0045]此外，在本實(shí)施例中，雖然將PLU文件Fl和識(shí)別對(duì)象設(shè)定文件F2作為了不同文件的形式，但是并不限定于此，也可以統(tǒng)一為相同文件。此外，在本實(shí)施例中，雖然是將各商品G的特征量預(yù)先登記在PLU文件Fl中的形式，但是并不限定于此，也可以是通過后述的特征量抽取部1613從各商品圖像中抽取有特征量的形式。此外，也可以是登記提示用的圖像替代商品圖像的形式。以下，將PLU文件Fl及識(shí)別對(duì)象設(shè)定文件F2所登記的各商品稱為登記商品。
[0046]返回到圖2，POS終端11的CPU61通過輸入輸出電路(未圖示)連接有用于與存儲(chǔ)計(jì)算機(jī)SC執(zhí)行數(shù)據(jù)通信的通信接口 25。存儲(chǔ)計(jì)算機(jī)SC被設(shè)置在店鋪的后院等。存儲(chǔ)計(jì)算機(jī)SC的HDD (未圖示)存儲(chǔ)發(fā)送給POS終端11的PLU文件Fl、以及用于對(duì)登記在PLU文件Fl中的各登記商品的庫存狀態(tài)進(jìn)行管理的庫存管理文件等。
[0047]連接接口 65可在與商品讀取裝置101之間進(jìn)行數(shù)據(jù)發(fā)送接收。連接接口 65連接有商品讀取裝置101。此外，打印機(jī)66在票據(jù)等上進(jìn)行打字。POS終端11在CPU61的控制下，通過打印機(jī)66將一交易的交易內(nèi)容打印在票據(jù)上。
[0048]商品讀取裝置101具有商品讀取部110、以及顯示、操作部104。商品讀取部110具有微機(jī)160。微機(jī)160具有CPU161、R0M162、RAM163。R0M162存儲(chǔ)CPU161所執(zhí)行的程序。
[0049]CPU161通過各種輸入輸出電路(均未圖示)連接有攝像部164、語音輸出部165及連接接口 175。攝像部164、語音輸出部165及連接接口 175通過CPU161來控制動(dòng)作。
[0050]攝像部164是彩色CXD傳感器或彩色CMOS傳感器等，并是從讀取窗103進(jìn)行攝像的攝像部。例如，攝像部164進(jìn)行30fps的視頻攝像。攝像部164以規(guī)定的幀頻依次攝像了的幀圖像(攝像圖像)被保存在RAM163中。語音輸出部165是用于產(chǎn)生預(yù)先設(shè)定的警告音等的語音電路和揚(yáng)聲器等。語音輸出部165在CPU161的控制下進(jìn)行警告音等的語音的告知。
[0051]顯示、操作部104包括觸摸面板105、顯示裝置106、鍵盤107、顧客用顯示裝置109、以及連接接口 176。商品讀取部110的連接接口 175與POS終端11的連接接口 65連接、并可在與POS終端11之間發(fā)送接收數(shù)據(jù)。連接接口 175通過連接接口 176與顯示、操作部104連接，CPU161通過連接接口 175在商品讀取部110和顯示、操作部104之間進(jìn)行數(shù)據(jù)發(fā)送接收。
[0052]接著，參照?qǐng)D5，對(duì)CPU161、CPU61通過執(zhí)行程序?qū)崿F(xiàn)的CPU161、CPU61的功能構(gòu)成進(jìn)行說明。[0053]圖5是表示POS終端11及商品讀取裝置101的功能構(gòu)成的框圖。如圖5所示，商品讀取裝置101的CPU161通過依次執(zhí)行程序，具有作為圖像采集部1611、商品檢測(cè)部1612、特征量抽取部1613、相似度判定部1614、商品候選提示部1615、輸入接受部1616、信息輸出部1617及第一設(shè)定部1618的功能。
[0054]圖像采集部1611向攝像部164輸出攝像導(dǎo)通信號(hào)從而使攝像部164開始攝像動(dòng)作。圖像米集部1611在攝像動(dòng)作開始后依次米集攝像部164所攝像并保存在RAM163中的攝像圖像。圖像采集部1611的攝像圖像的采集按照RAM163所保存的順序進(jìn)行。
[0055]商品檢測(cè)部1612采用公知的模式匹配技術(shù)等檢測(cè)出通過圖像采集部1611采集到的攝像圖像所包含的商品G的全部或一部分的輪廓線。接著，對(duì)從前次的攝像圖像(幀圖像)中抽取出的輪廓線和從此次的攝像圖像中抽取出的輪廓線進(jìn)行比較，檢測(cè)出有變化的部分、即檢測(cè)出朝向讀取窗103的商品G的映入?yún)^(qū)域。
[0056]作為檢測(cè)出商品G的其他方法，判定是否從攝像圖像中檢測(cè)出有皮膚區(qū)域，當(dāng)檢測(cè)出有皮膚區(qū)域時(shí)、即當(dāng)檢測(cè)出有店員的手的映入時(shí)，通過在該皮膚區(qū)域的附近進(jìn)行檢測(cè)出上述的輪廓線，從而對(duì)假想店員的手正把持的商品G的輪廓抽取進(jìn)行嘗試。這時(shí)，當(dāng)檢測(cè)出有表示手的形狀的輪廓和在手的輪廓附近除此之外的物體的輪廓時(shí)，從該物體的輪廓中檢測(cè)出商品G。
[0057]特征量抽取部(抽取部)1613從通過圖像采集部1611采集到的攝像圖像中，抽取在商品檢測(cè)部1612中檢測(cè)出的商品G的表面狀態(tài)(表面的色彩、圖案、凸凹狀況、形狀等)，作為特征量。
[0058]相似度判定部(計(jì)算部)1614對(duì)在POS終端11的PLU文件Fl所登記的登記商品中的在識(shí)別對(duì)象設(shè)定文件 F2中已被設(shè)定為相似度判定的對(duì)象的各登記商品的特征量和在特征量抽取部1613中已抽取的特征量進(jìn)行比較，并分別計(jì)算出其相似度。此外，相似度判定部(識(shí)別部)1614將在計(jì)算出的相似度中其相似度成為大于等于規(guī)定閾值的登記商品(商品ID)，識(shí)別作為通過攝像部164已攝像的商品G的候選。
[0059]在這里，相似度只要是對(duì)商品G的特征量和PLU文件Fl所登記的商品的基準(zhǔn)的特征量進(jìn)行比較，并示出兩特征量相似哪種程度的值(相似度)就可以。另外，相似度的概念并不限定于該例子，也可以是表示與PLU文件Fl所登記的各登記商品的特征量的一致度的值、表示商品G的特征量和PLU文件Fl所登記的各登記商品的特征量相關(guān)哪種程度的值。
[0060]象上述那樣，識(shí)別在圖像中所包含的物體的技術(shù)被稱為一般物體識(shí)別(genericobject recognition:一般物體識(shí)別)。關(guān)于這樣的一般物體識(shí)別的技術(shù)在下述的文獻(xiàn)中各種識(shí)別技術(shù)被說明。
[0061]柳井啓司，“一般物體認(rèn)識(shí)O現(xiàn)狀i今後”，情報(bào)処理學(xué)會(huì)論文誌，V ο 1.48, N0.S IG 16 [平成 22 年8 月 10 日検索],?1 > 夕一才、'7 卜〈URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yana1.pdf> (柳井啟司，“一般物體識(shí)別的現(xiàn)狀與未來”，信息處理學(xué)會(huì)論文志，Vol.48，N0.SIG16 “平成 22 年 8 月 10 日檢索”，互聯(lián)網(wǎng)< URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yana1.pdf >)
[0062]此外，通過對(duì)應(yīng)每個(gè)物品(目的物)對(duì)圖像進(jìn)行區(qū)域分割，進(jìn)行一般物體識(shí)別的技術(shù)在下列的文獻(xiàn)中被說明。
[0063]Jamie Shotton h ,“Semantic Texton Forests for Image Categorization andSegmentation，，，[平成 22 年 8 月 10 日検索]，^、y 夕一才、'7 卜 <URL:http://citeseerx.1st.psu.edu/viewdoc/download?doi = 10.1.1.145.3036&rep=repl&type=pdf> (JamieShotton h (杰米肖頓等人),“Semantic Texton Forests for Image Categorization andSegmentation: ”，“平成 22 年 8 月 10 日檢索”，互聯(lián)網(wǎng) < URL:http://citeseerx.1st.psu.edu/viewdoc/download ? doi = 10.1.1.145.3036&rep = repl&type = pdf >)
[0064]另外，相似度的計(jì)算方法尤其不限。例如，將相似度既可以作為絕對(duì)評(píng)價(jià)計(jì)算出，又可以作為相對(duì)評(píng)價(jià)計(jì)算出。當(dāng)將相似度作為絕對(duì)評(píng)價(jià)計(jì)算出時(shí)，只要將已攝像的商品G的圖像和登記商品一對(duì)一進(jìn)行比較并直接采用該比較的結(jié)果導(dǎo)出的相似度就可以。此外，當(dāng)將相似度作為相對(duì)評(píng)價(jià)計(jì)算出時(shí)，只要以已攝像的商品G和各登記商品的相似度的總和作為1.0 (100%)的方式計(jì)算出就可以。此外，當(dāng)未存在有相似度為大于等于規(guī)定閾值的登記商品時(shí)，相似度判定部1614與商品候選提示部1615進(jìn)行協(xié)作，采用后述的商品明細(xì)等在顯示裝置106上顯示用手動(dòng)選擇商品的旨意的信息。
[0065]商品候選提示部1615將與通過相似度判定部1614已被識(shí)別作為候選的登記商品有關(guān)的信息，作為商品候選顯示在顯示裝置106上。更詳細(xì)地說，商品候選提示部1615從POS終端11的PLU文 件Fl中讀出已被識(shí)別作為候選的登記商品的記錄，并顯示在顯示裝置106 上。
[0066]圖6是表示商品候選的顯示例的圖。如圖6所示，在顯示裝置106的顯示畫面中，在商品候選提示區(qū)域All按照登記商品的相似度從高到低的順序，將所述商品候選的記錄所包含的商品圖像G1、G2與商品名一起顯不。這些商品圖像G1、G2為根據(jù)對(duì)觸摸面板105的觸摸操作可選擇的構(gòu)成。此外，在商品候選提示區(qū)域All的下部，設(shè)置有用于從商品明細(xì)中選擇商品的選擇按鈕BI。從商品明細(xì)中已選擇的商品被作為后述的確定商品來處理。此外，在區(qū)域A12顯示有通過攝像部164已攝像的攝像圖像。另外，在圖6中，雖然示出了提示兩個(gè)商品候選的例子，但是商品候選的顯示方法和個(gè)數(shù)并不限定于此。
[0067]返回到圖5，輸入接受部1616通過觸摸面板105或鍵盤107接受與顯示裝置106的顯示對(duì)應(yīng)的各種輸入操作。例如，輸入接受部1616接受對(duì)從顯示裝置106所顯示的商品候選中任意一個(gè)商品候選的選擇操作。輸入接受部1616接受已選擇的商品候選,作為與通過攝像部164已攝像的商品G對(duì)應(yīng)的商品(確定商品)。另外，當(dāng)商品檢測(cè)部1612可檢測(cè)出多個(gè)商品G時(shí)，輸入接受部1616也可以接受從商品候選中選擇多個(gè)商品候選的操作。
[0068]信息輸出部1617對(duì)如上所述那樣已確定的確定商品,將表不所述商品的信息(例如，商品ID、商品名等)通過連接接口 175輸出給POS終端11。
[0069]另外，信息輸出部1617也可以將通過觸摸面板105或鍵盤107另外輸入的銷售個(gè)數(shù)與商品ID等一起輸出給POS終端11。此外，作為信息輸出部1617輸出給POS終端11的信息，信息輸出部1617既可以直接通知從PLU文件Fl中讀出的商品ID，又可以通知可指定商品ID的商品名、商品圖像的文件名，還可以通知所述商品ID的存儲(chǔ)地方(PLU文件Fl中的存儲(chǔ)地址)。
[0070]第一設(shè)定部1618是將在識(shí)別對(duì)象設(shè)定文件F2所登記的登記商品中，識(shí)別精度低的登記商品設(shè)定成不是相似度判定對(duì)象的功能部。
[0071]更詳細(xì)地說，第一設(shè)定部1618盡管在相似度判定部1614中已選定為商品候選，但是當(dāng)進(jìn)行了從除這些商品候選之外中選擇登記商品(確定商品)時(shí)，判斷為發(fā)生了誤識(shí)別。此外，第一設(shè)定部1618將作為誤識(shí)別的原因的登記商品(確定商品)的商品ID作為誤識(shí)別履歷信息記錄在POS終端11的HDD64等中。而且，第一設(shè)定部1618基于已記錄的誤識(shí)別履歷信息，通過進(jìn)行從相似度判定的對(duì)象中免除識(shí)別精度成為小于等于規(guī)定值的登記商品的設(shè)定，從而更新識(shí)別對(duì)象設(shè)定文件F2。在這里，識(shí)別精度的計(jì)算方法尤其不限。例如，也可以將用登記在誤識(shí)別履歷信息中的各登記商品的出現(xiàn)次數(shù)除I的值，作為識(shí)別精度。
[0072]這樣，由于通過將識(shí)別精度低的登記商品視為不是相似度判定對(duì)象，能夠抑制發(fā)生誤識(shí)別，所以能夠有效地進(jìn)行商品G的識(shí)別。
[0073]另一方面，POS終端11的CPU61通過執(zhí)行程序具有作為銷售登記部611及第二設(shè)定部612的功能。銷售登記部611基于從商品讀取裝置101的信息輸出部1617中輸出的商品ID和銷售個(gè)數(shù)，進(jìn)行對(duì)應(yīng)的商品的銷售登記。具體地說，銷售登記部611通過參照PLU文件F1，將與已通知的商品ID及與所述商品ID對(duì)應(yīng)的商品分類、商品名、單價(jià)等與銷售個(gè)數(shù)一起記錄在銷售主文件等中從而進(jìn)行銷售登記。
[0074]第二設(shè)定部612從相似度判定對(duì)象中免除在識(shí)別對(duì)象設(shè)定文件F2所登記的登記商品中因缺貨而不能銷售的登記商品。更詳細(xì)地說，第二設(shè)定部612參照存儲(chǔ)計(jì)算機(jī)SC等(管理部)所管理的庫存管理文件，確認(rèn)各登記商品的庫存狀況。而且，第二設(shè)定部612當(dāng)從庫存管理文件中檢測(cè)出庫存為零的登記商品時(shí)，則通過進(jìn)行從相似度判定的對(duì)象中免除該登記商品(商品ID)的設(shè)定，從而更新識(shí)別對(duì)象設(shè)定文件F2。
[0075]通過這樣，由于能夠從相似度判定(相似度判定對(duì)象)中免除無需進(jìn)行相似度判定的登記商品，所以能夠有效地進(jìn)行商品G的識(shí)別。另外，庫存的管理并不限定于存儲(chǔ)計(jì)算機(jī)SC，也可以通過POS終端11來進(jìn)行。
[0076]以下，對(duì)結(jié)賬系統(tǒng)I的動(dòng)作進(jìn)行說明。首先，參照?qǐng)D7，對(duì)商品讀取裝置101的動(dòng)作進(jìn)行說明。在這里，圖7是表示商品讀取裝置101所執(zhí)行的商品識(shí)別處理的次序的流程圖。
[0077]當(dāng)根據(jù)POS終端11開始商品登記等而開始本處理時(shí)，則圖像采集部1611向攝像部164輸出攝像導(dǎo)通信號(hào)，從而開始攝像部164的攝像(步驟S11)。
[0078]圖像采集部1611采集攝像部164所攝像并被保存在RAM163中的幀圖像(攝像圖像)(步驟S12)。接著，商品檢測(cè)部1612從在步驟S12中采集到的攝像圖像中，進(jìn)行商品G的全部或一部分的檢測(cè)(步驟S13)。特征量抽取部1613從在步驟S12中采集到的攝像圖像中，抽取在步驟S13中檢測(cè)出的商品G的特征量(步驟S14)。
[0079]接著，相似度判定部1614指定在PLU文件Fl所登記的登記商品中的在識(shí)別對(duì)象設(shè)定文件F2中已被設(shè)定為相似度判定對(duì)象(認(rèn)證對(duì)象)的登記商品(步驟S15)。相似度判定部1614對(duì)在通過步驟S14抽取出的特征量和在步驟S15中已指定的各登記商品的特征量進(jìn)行比較，分別計(jì)算出其相似度(步驟S16)。接著，相似度判定部1614判定是否存在有在步驟S16中計(jì)算出的相似度成為大于等于規(guī)定閾值的登記商品(步驟S17)。
[0080]當(dāng)在步驟S17中，判定出存在有相似度為大于等于閾值的登記商品時(shí)(步驟S17的是)，轉(zhuǎn)移到步驟S19。另外，當(dāng)判定出不存在有相似度成為大于等于閾值的登記商品時(shí)(步驟S17的否)，特征量抽取部1613將用手動(dòng)選擇商品的旨意的信息顯示在顯示裝置106上(步驟S18)，轉(zhuǎn)移到步驟S21。
[0081]接著，商品候選提示部1615從POS終端11的PLU文件Fl中讀出在步驟S17中已被識(shí)別作為候選的登記商品的記錄，并作為商品候選顯示在顯示裝置106上(步驟S19)。[0082]接著，輸入接受部1616判定是否通過觸摸面板105或鍵盤107接受了商品候選的選擇(步驟S20)。在這里，當(dāng)接受了選擇操作時(shí)(步驟S20的是)，輸入接受部1616接受已選擇的商品候選，作為與通過攝像部164已攝像的商品G對(duì)應(yīng)的確定商品，并轉(zhuǎn)移到步驟S21。另一方面，當(dāng)未接受選擇時(shí)(步驟S20的否)，返回到步驟S12。
[0083]接著，信息輸出部1617對(duì)已選擇的確定商品，將表示所述商品的商品ID等的信息通過連接接口 175輸出給POS終端11 (步驟S21)，并轉(zhuǎn)移到步驟S22。
[0084]在這里，當(dāng)通過觸摸面板105或鍵盤107另外輸入有銷售個(gè)數(shù)時(shí)，在步驟S21中將該銷售個(gè)數(shù)與表示確定商品的信息一起輸出給POS終端11。另外，也可以是當(dāng)未進(jìn)行輸入銷售個(gè)數(shù)時(shí)，作為默認(rèn)值輸出銷售個(gè)數(shù)“ I”的形式。
[0085]在步驟S22中，CPU161判定有無來自POS終端11結(jié)束商品登記的通知等的工作結(jié)束(步驟S22)。在這里，當(dāng)繼續(xù)工作時(shí)(步驟S22的否)，CPU161返回到步驟S12的處理并繼續(xù)處理。此外，當(dāng)結(jié)束工作時(shí)(步驟S22的是)，圖像采集部1611通過向攝像部164輸出攝像截至信號(hào)，結(jié)束攝像部164的攝像(步驟S23)，結(jié)束處理。
[0086]接著，對(duì)POS終端11的處理動(dòng)作進(jìn)行說明。圖8是表示POS終端11所執(zhí)行的銷售登記處理的次序的流程圖。
[0087]首先，當(dāng)根據(jù)通過操作鍵盤22的指示開始商品登記等而開始處理時(shí)，則CPU61接收商品讀取裝置101在圖7的步驟S21中已輸出的確定商品的商品ID和其銷售個(gè)數(shù)(步驟S31)。接著，銷售登記部611基于在步驟S31中接收到的商品ID及銷售個(gè)數(shù)，從PLU文件Fl中讀出商品種類、單價(jià)等，并將通過商品讀取裝置101已讀取的商品G的銷售(銷售數(shù)據(jù))登記在銷售主文件中(步驟S32)。
[0088]接著，CPU61判定有無通過鍵盤22的操作指示結(jié)束銷售登記等的工作結(jié)束(步驟S33)。當(dāng)繼續(xù)工作時(shí)(步驟S33的否)，CPU61返回到步驟S31繼續(xù)處理。當(dāng)結(jié)束工作時(shí)(步驟S33的是)，CPU61結(jié)束處理。
[0089]如上所述，根據(jù)本實(shí)施例，采用在PLU文件Fl所登記的登記商品中已被設(shè)定為相似度判定對(duì)象的各登記商品的特征量，進(jìn)行商品G的識(shí)別。通過這樣，由于能夠防止不小心地進(jìn)行了與PLU文件Fl所登記的所有登記商品的比較的情況發(fā)生，所以有效地進(jìn)行商品G的識(shí)別。
[0090]以上，雖然對(duì)本發(fā)明的實(shí)施例進(jìn)行了說明，但是上述實(shí)施例是作為例子提出的，并不意圖限定發(fā)明的范圍。上述實(shí)施例可以用其他各種形式來實(shí)施，只要在不脫離發(fā)明的要旨的范圍內(nèi)可以進(jìn)行各種省略、替換、變更、追加等。此外，上述實(shí)施例及其變形均被包含在發(fā)明的范圍或要旨中，而且，包含在權(quán)利要求的范圍所記載的發(fā)明和其均等的范圍內(nèi)。
[0091]例如，在上述實(shí)施例中，雖然是POS終端11具有PLU文件Fl及識(shí)別對(duì)象設(shè)定文件F2的形式，但是并不限定于此，也可以是商品讀取裝置101具有PLU文件Fl及識(shí)別對(duì)象設(shè)定文件F2的一部分或全部的形式。
[0092]此外，在上述實(shí)施例中，雖然是在商品讀取裝置101中進(jìn)行商品候選的識(shí)別的形式，但是也可以是POS終端11具有商品讀取裝置101的一部分或全部的功能部的形式。
[0093]例如，也可以是POS終端11具有特征量抽取部1613及相似度判定部1614，商品讀取裝置101具有圖像采集部1611、商品檢測(cè)部1612、商品候選提示部1615、輸入接受部1616及信息輸出部1617的形式。這時(shí)，在商品讀取裝置101側(cè)將通過圖像采集部1611采集并在商品檢測(cè)部1612中檢測(cè)出商品的攝像圖像發(fā)送給POS終端11。此外，商品讀取裝置101為接收在POS終端11側(cè)識(shí)別出的商品(登記商品)的結(jié)果，商品候選提示部1615將該接收到的結(jié)果作為商品候選進(jìn)行提示的構(gòu)成。此外，當(dāng)POS終端11具有商品讀取裝置101的所有功能部時(shí)，商品讀取裝置101具有作為攝像裝置的功能，POS終端11基于從商品讀取裝置101已發(fā)送的攝像圖像，進(jìn)行商品候選的顯示和選擇。
[0094]此外，在上述實(shí)施例中，雖然是商品讀取裝置101具有第一設(shè)定部1618，POS終端11具有第二設(shè)定部612的形式，但是并不限定于此，也可以是POS終端11和商品讀取裝置101中的任意一個(gè)裝置具有兩個(gè)設(shè)定部的形式。
[0095]此外，在上述實(shí)施例中，雖然對(duì)采用固定式的掃描器裝置(商品讀取裝置101)的例子進(jìn)行了說明，但是并不限定于此，也可以是將所謂的手持式的掃描器裝置與POS終端11連接的形式。
[0096]此外，在上述實(shí)施例中，雖然在由POS終端11和商品讀取裝置101構(gòu)成的結(jié)賬系統(tǒng)I中，在商品讀取裝置101中應(yīng)用了本發(fā)明的實(shí)施例，但是并不限定于此，也可以應(yīng)用于具有POS終端11及商品讀取裝置101的功能的一體構(gòu)成的裝置或諸如通過有線或無線連接圖1所示的商品讀取裝置101及POS終端11而構(gòu)成的結(jié)賬系統(tǒng)。作為具有POS終端11及商品讀取裝置101的功能的一體構(gòu)成的裝置，列舉有設(shè)置在超市等的店鋪中而使用的自助結(jié)賬裝置(以后，僅稱為自助P0S)。
[0097]在這里，圖9是表示自助P0S200的外觀構(gòu)成的立體圖，圖10是表示自助P0S200的硬件構(gòu)成的框圖。另外，在以下中，對(duì)圖1及圖2所示的同樣構(gòu)成附加相同符號(hào)進(jìn)行示出，并省略其重復(fù)的說明。
[0098]如圖9及圖10所示，自助P0S200的主體202具有在表面上配設(shè)有觸摸面板105的顯示裝置106、為了識(shí)別(檢測(cè))商品的種類等而讀取商品圖像的商品讀取部110。
[0099]作為顯示裝置106,諸如采用有液晶顯示器。顯示裝置106顯示用于向顧客告知自助P0S200的操作方法的引導(dǎo)畫面、各種的輸入畫面、顯示在商品讀取部110中已讀取的商品信息的登記畫面、顯示商品的合計(jì)金額、預(yù)付金額、找零金額等并進(jìn)行選擇支付方法的對(duì)賬畫面等。
[0100]商品讀取部110是通過顧客將附在商品上的碼符號(hào)對(duì)準(zhǔn)商品讀取部110的讀取窗103，從而通過攝像部164讀取商品圖像的裝置。
[0101]此外，在主體202的右側(cè)設(shè)置有用于放置已裝入筐中的未結(jié)算的商品的商品載置臺(tái)203，在主體202的左側(cè)設(shè)置有用于放置已結(jié)算的商品的商品載置臺(tái)204。此外，設(shè)置用于掛裝入已結(jié)算的商品用的袋的袋掛鉤205、用于在裝入袋之前臨時(shí)放置已結(jié)算的商品的臨時(shí)放置臺(tái)206。商品載置臺(tái)203及204分別設(shè)置有計(jì)量器207、208，并具有確定在結(jié)算前后商品的重量為相同的情況的功能。
[0102]此外，自助P0S200的主體202設(shè)置有用于進(jìn)行結(jié)算用的紙幣的存入、找零紙幣的接受的找零機(jī)201。
[0103]當(dāng)在這樣構(gòu)成的自助P0S200中應(yīng)用了本發(fā)明的實(shí)施例時(shí)，自助P0S200具有信息處理裝置的功能。另外，具有POS終端11和商品讀取裝置101的功能的一體構(gòu)成的裝置并不限定于上述構(gòu)成的自助P0S200，也可以是去除計(jì)量器207及208而構(gòu)成的裝置。
[0104]此外，在上述實(shí)施例的各裝置中執(zhí)行的程序，雖然被預(yù)先安裝在各裝置所具有的存儲(chǔ)介質(zhì)(ROM或存儲(chǔ)部)中而提供，但是并不限定于此，也可以用可安裝的形式或可執(zhí)行的形式的文件記錄在CD-ROM、軟磁盤(FD)、CD-R、DVD (Digital Versatile Disk:數(shù)字多功能光盤)等計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)中而提供。而且，存儲(chǔ)介質(zhì)并不限定于與計(jì)算機(jī)或嵌入系統(tǒng)獨(dú)立的介質(zhì)，也包含下載通過LAN、互聯(lián)網(wǎng)等傳輸?shù)某绦蚨鎯?chǔ)或臨時(shí)存儲(chǔ)的存儲(chǔ)介質(zhì)。
[0105]此外，既可以將在上述實(shí)施例的各裝置中執(zhí)行的程序存儲(chǔ)在與互聯(lián)網(wǎng)等的網(wǎng)絡(luò)連接的計(jì)算機(jī)上，并通過經(jīng)由網(wǎng)絡(luò)下載來提供，又可以經(jīng)由互聯(lián)網(wǎng)等的網(wǎng)絡(luò)提供或配置。
[0106]此外，也可以是將上述實(shí)施例的程序安裝在具有通信功能的移動(dòng)電話、智能電話、PDA (Personal Digital Assistant:個(gè)人數(shù)字助理)等的便攜信息終端中而實(shí)現(xiàn)其功能的形式。
【權(quán)利要求】
1.一種信息處理裝置，包括: 存儲(chǔ)部，存儲(chǔ)基準(zhǔn)商品的特征量； 攝像部，用于攝像商品； 抽取部，從所述攝像部所攝像的攝像圖像中抽取成為拍攝對(duì)象的商品的特征量；計(jì)算部，基于規(guī)定在所述基準(zhǔn)商品中作為識(shí)別對(duì)象的基準(zhǔn)商品的設(shè)定信息，對(duì)存儲(chǔ)在所述存儲(chǔ)部中并通過所述設(shè)定信息被作為識(shí)別對(duì)象的基準(zhǔn)商品的特征量和所述抽取部所抽取的商品的特征量進(jìn)行比較，并計(jì)算出其相似度；以及 識(shí)別部，將所述計(jì)算部計(jì)算出的相似度大于等于閾值的基準(zhǔn)商品，識(shí)別為所述商品的候選。
2.根據(jù)權(quán)利要求1所述的信息處理裝置，還包括: 設(shè)定部，在所述設(shè)定信息中進(jìn)行識(shí)別對(duì)象或不是識(shí)別對(duì)象的設(shè)定。
3.根據(jù)權(quán)利要求2所述的信息處理裝置，還包括: 記錄部，將通過所述識(shí)別部已被誤識(shí)別的基準(zhǔn)商品記錄為履歷信息， 其中，所述設(shè)定部基于所述履歷信息，將所述識(shí)別精度小于等于閾值的基準(zhǔn)商品設(shè)定成不是所述識(shí)別對(duì)象。
4.根據(jù)權(quán)利要求3所述的信息處理裝置，還包括: 提示部，能夠選擇地提示通過所述識(shí)別部被作為候選的基準(zhǔn)商品；以及 確定部，將已選擇的基準(zhǔn)商品確定為所述商品， 其中，所述記錄部當(dāng)從通過所述提示部提示出的基準(zhǔn)商品之外中進(jìn)行了選擇時(shí)，將所述已選擇的基準(zhǔn)商品作為誤識(shí)別記錄在所述履歷信息中。
5.根據(jù)權(quán)利要求2至4中任一項(xiàng)所述的信息處理裝置，其中， 所述設(shè)定部從進(jìn)行所述基準(zhǔn)商品的庫存管理的庫存管理部檢測(cè)出庫存為零的基準(zhǔn)商品，并將檢測(cè)出的所述基準(zhǔn)商品設(shè)定成不是所述識(shí)別對(duì)象。
6.一種控制方法，用于控制具有存儲(chǔ)了多個(gè)基準(zhǔn)商品的特征量的存儲(chǔ)部的信息處理裝置，包括以下步驟: 攝像步驟，攝像商品； 抽取步驟，從通過所述攝像步驟所攝像的攝像圖像中抽取成為拍攝對(duì)象的商品的特征量; 計(jì)算步驟，基于規(guī)定在所述多個(gè)基準(zhǔn)商品中作為識(shí)別對(duì)象的基準(zhǔn)商品的設(shè)定信息，對(duì)存儲(chǔ)在所述存儲(chǔ)部中并通過所述設(shè)定信息被作為識(shí)別對(duì)象的基準(zhǔn)商品的特征量和通過所述抽取步驟所抽取的商品的特征量進(jìn)行比較，并計(jì)算出其相似度；以及 識(shí)別步驟，將通過所述計(jì)算步驟計(jì)算出的相似度大于等于閾值的基準(zhǔn)商品，識(shí)別為所述商品的候選。
7.根據(jù)權(quán)利要求6所述的控制方法，還包括: 設(shè)定步驟，在所述設(shè)定信息中進(jìn)行識(shí)別對(duì)象或不是識(shí)別對(duì)象的設(shè)定。
8.根據(jù)權(quán)利要求7所述的控制方法，還包括: 記錄步驟，將通過所述識(shí)別步驟已被誤識(shí)別的基準(zhǔn)商品記錄為履歷信息， 其中，所述設(shè)定步驟基于所述履歷信息，將所述識(shí)別精度小于等于閾值的基準(zhǔn)商品設(shè)定成不是所述識(shí)別對(duì)象。
9.根據(jù)權(quán)利要求8所述的控制方法，還包括: 提示步驟，能夠選擇地提示通過所述識(shí)別步驟被作為候選的基準(zhǔn)商品；以及 確定步驟，將已選擇的基準(zhǔn)商品確定為所述商品， 其中，在所述記錄步驟中，當(dāng)從通過所述提示步驟提示出的基準(zhǔn)商品之外中進(jìn)行了選擇時(shí)，將所述已選擇的基準(zhǔn)商品作為誤識(shí)別記錄在所述履歷信息中。
10.根據(jù)權(quán)利要求7至9中任一項(xiàng)所述的控制方法，其中， 在所述設(shè)定步驟中，從進(jìn)行所述基準(zhǔn)商品的庫存管理的庫存管理部檢測(cè)出庫存為零的基準(zhǔn)商品，并將檢測(cè)出的所述基準(zhǔn)商品設(shè)定成不是所述識(shí)別對(duì)象。
【文檔編號(hào)】G06K9/00GK103984914SQ201310713581
【公開日】2014年8月13日 申請(qǐng)日期:2013年12月20日 優(yōu)先權(quán)日:2013年2月7日
【發(fā)明者】佐佐木勇太, 飯坂仁志 申請(qǐng)人:東芝泰格有限公司