本發(fā)明涉及一種圖像處理裝置、顯示控制裝置、圖像處理方法和記錄介質(zhì)。

背景技術(shù)：

已知商品的銷售依賴于如何在銷售商品的商店中陳列商品。因此，已經(jīng)存在對于用于高效地獲得陳列的商品的狀態(tài)的方法的需求。

ptl1描述了一種從示出正被顯示的不同類型的商品的狀態(tài)的捕獲的圖像來識別陳列的商品的商品管理裝置。

ptl2描述了一種用于通過從示出在商品陳列架上陳列的商品的捕獲的圖像提取商品的圖像來識別商品的方法。

引用列表

專利文獻(xiàn)

ptl1：日本待審專利申請公開號2012-126532

ptl2：日本待審專利申請公開號2013-250647

技術(shù)實現(xiàn)要素：

技術(shù)問題

在其上陳列商品的架的捕獲的圖像在各種環(huán)境的影響之下，比如燈的位置、照相視角和在圖像正被捕獲時使用的屏蔽。假設(shè)例如出于防止錯誤識別的目的，向識別閾值給予較高值，該較高值是用于確定識別對象商品是否被識別為具體產(chǎn)品的邊界值，并且在將要對這樣的捕獲的圖像執(zhí)行識別時是與具體商品的相似度值。然后，由于捕獲的圖像在環(huán)境的影響之下，所以圖像可以呈現(xiàn)更低相似度，從而可能地造成識別商品更頻繁失敗，即，圖像中的商品沒有被識別為產(chǎn)品。在另一方面，如果出于防止識別商品失敗的目的而向識別閾值給予較低值，則錯誤識別(即，商品被識別為另一不同商品)的出現(xiàn)率可能較高。

在以上提到的ptl1和ptl2中描述的技術(shù)沒有對環(huán)境的這樣的影響給予考慮。因此，根據(jù)在ptl1和ptl2中描述的技術(shù)，如果設(shè)置識別閾值以便防止錯誤識別，則識別商品失敗可能在較大數(shù)目的區(qū)域中出現(xiàn)。因而，在這樣的情況下，在ptl1和ptl2中描述的技術(shù)將使商品在識別商品失敗已經(jīng)出現(xiàn)的區(qū)域中未被識別，從而產(chǎn)生較不準(zhǔn)確的識別結(jié)果。

已經(jīng)鑒于以上描述的問題而實現(xiàn)了本發(fā)明，并且本發(fā)明的目的是提供一種實現(xiàn)對具有識別商品失敗已經(jīng)出現(xiàn)的高概率的區(qū)域的較高精確度的檢測的技術(shù)。

對問題的解決方案

為了解決以上描述的問題，根據(jù)本發(fā)明的一個方面的一種圖像處理裝置包括：識別裝置，其用于從通過捕獲陳列的產(chǎn)品的圖像而被獲得的捕獲的圖像識別產(chǎn)品；以及檢測裝置，其用于基于與產(chǎn)品被陳列于其中的商店固定物有關(guān)的商店固定物信息來檢測被包括在捕獲的圖像中但是未被識別裝置識別的產(chǎn)品的區(qū)域。

根據(jù)本發(fā)明的一個方面的一種顯示控制裝置在屏幕上顯示產(chǎn)品未在其中被識別但是產(chǎn)品可能地被陳列的區(qū)域作為產(chǎn)品未在其中被識別的區(qū)域，該區(qū)域被包括在通過捕獲陳列的產(chǎn)品的圖像而被獲得的捕獲的圖像中。

根據(jù)本發(fā)明的一個方面的一種圖像處理方法包括：從通過捕獲陳列的產(chǎn)品的圖像而被獲得的捕獲的圖像識別產(chǎn)品；以及基于與產(chǎn)品被陳麗在其中的商店固定物有關(guān)的商店固定物信息來檢測被包括在捕獲的圖像中但是未被識別的產(chǎn)品的區(qū)域。

一種用計算機實施以上提到的個別裝置和方法的計算機程序以及存儲這樣的計算機程序的計算機可讀存儲介質(zhì)也被包括在在本發(fā)明的范圍中。

本發(fā)明的有利效果

本發(fā)明實現(xiàn)了對具有識別商品失敗已經(jīng)出現(xiàn)的高概率的區(qū)域的較高精確度的檢測。

附圖說明

圖1是圖示了根據(jù)本發(fā)明的第一示例實施例的圖像處理裝置的示例功能配置的功能框圖。

圖2是圖示了根據(jù)本發(fā)明的第二示例實施例的圖像處理裝置的示例功能配置的功能框圖。

圖3是用于說明根據(jù)第二示例實施例的圖像處理裝置的識別單元的操作的示圖。

圖4是用于說明由根據(jù)第二示例實施例的圖像處理裝置的識別單元提供的識別結(jié)果的示圖。

圖5是用于說明由根據(jù)第二示例實施例的圖像處理裝置的檢測單元輸出的檢測結(jié)果的示圖。

圖6是圖示了用于根據(jù)本發(fā)明的第二示例實施例的圖像處理裝置的示例操作流程的流程圖。

圖7是圖示了包括根據(jù)本發(fā)明的第三示例實施例的圖像處理裝置的系統(tǒng)的示例配置的示圖。

圖8是圖示了根據(jù)本發(fā)明的第三示例實施例的圖像處理裝置的示例功能配置的功能框圖。

圖9是圖示了由根據(jù)本發(fā)明的第三示例實施例的圖像處理裝置的顯示控制單元在顯示單元上顯示的圖像的示例的示圖。

圖10是圖示了由根據(jù)本發(fā)明的第三示例實施例的圖像處理裝置的顯示控制單元在顯示單元上顯示的圖像的另一示例的示圖。

圖11是圖示了由根據(jù)本發(fā)明的第三示例實施例的圖像處理裝置的顯示控制單元在顯示單元上顯示的圖像的又一示例的示圖。

圖12是圖示了用于根據(jù)本發(fā)明的第三示例實施例的圖像處理裝置的示例操作流程的流程圖。

圖13是舉例說明了可以實施本發(fā)明的每個個別示例實施例的計算機(信息處理裝置)的硬件配置的說明圖。

具體實施方式

(第一示例實施例)

現(xiàn)在將參照附圖描述本發(fā)明的第一示例實施例。本示例實施例描述了用于解決將由本發(fā)明解決的問題的基本配置。圖1是圖示了根據(jù)本示例實施例的圖像處理裝置100的示例功能配置的功能框圖。如圖1中所示，根據(jù)本示例實施例的圖像處理裝置100包括識別單元110和檢測單元120。由圖中的箭頭指示的方向僅代表示例，并且它沒有限制在塊之間的信號的方向。同樣地，在以下參照的其它框圖中，由圖中的箭頭指示的方向僅代表示例，并且它沒有限制在塊之間的信號的方向。

從通過捕獲陳列的產(chǎn)品(商品)的圖像而被獲得的捕獲的圖像，識別單元110識別被包括在捕獲的圖像中的產(chǎn)品。由識別單元110使用的識別方法不限于任何具體方法，并且因此任何一般識別技術(shù)可以被用來識別產(chǎn)品。識別單元110將捕獲的圖像與指示從捕獲的圖像識別的產(chǎn)品的信息一起輸出給檢測單元120。

檢測單元120從識別單元110接收捕獲的圖像連同指示由識別單元110從捕獲的圖像識別的產(chǎn)品的信息。然后，檢測單元120基于關(guān)于產(chǎn)品被陳列于其中的商店固定物的商店固定物信息來檢測被包括在接收的捕獲的圖像中但是尚未被識別單元110識別的產(chǎn)品的區(qū)域。

如以上所見，在本示例實施例的圖像處理裝置100中，檢測單元120檢測識別單元110已經(jīng)從捕獲的圖像識別失敗的產(chǎn)品的區(qū)域。檢測單元120基于商店固定物信息來從捕獲的圖像檢測產(chǎn)品尚未在其中被識別的區(qū)域。這使信息處理裝置100能夠用較高程度的精確度來檢測具有產(chǎn)品識別失敗已經(jīng)出現(xiàn)的高概率的區(qū)域。

(第二示例實施例)

現(xiàn)在將參照附圖描述基于以上描述的第一示例實施例的本發(fā)明的第二示例實施例。圖2是圖了示根據(jù)本示例實施例的圖像處理裝置200的示例功能配置的功能框圖。為了便于說明，向具有與被包括在被描述在前述第一示例實施例中的附圖中的構(gòu)件的功能相同的功能的構(gòu)件給予相同標(biāo)號。

如圖2中所示，根據(jù)本示例實施例的圖像處理裝置200包括識別單元110、檢測單元120和接收單元210。圖像處理裝置200可以被配置為還包括存儲單元220。

接收單元210是接收通過捕獲陳列的產(chǎn)品的圖像而被獲得的捕獲的圖像的裝置。捕獲的圖像可以例如是由成像裝置(比如非固定的點相機)捕獲的圖像。

接收單元210從例如成像裝置接收這樣的捕獲的圖像。接收單元210如何接收圖像不限于任何具體方法。例如，接收單元210可以從用usb(通用串行總線)線纜等被連接到圖像處理裝置200的成像裝置接收捕獲的圖像。備選地，接收單元210可以從經(jīng)由例如網(wǎng)絡(luò)被連接到圖像處理裝置200的成像裝置接收捕獲的圖像。備選地，接收單元210可以從例如捕獲的圖像在其中被積累的存儲設(shè)備等接收捕獲的圖像。注意，接收單元210將捕獲的圖像與指示捕獲的圖像被捕獲的位置和/或成像的商店固定物的位置的位置信息(這樣的信息以下被稱為捕獲的圖像信息)一起接收。

接收單元210然后將接收的捕獲圖像和與捕獲的圖像關(guān)聯(lián)的捕獲的圖像信息一起供應(yīng)給識別單元110。

存儲單元220存儲用于識別被包括在捕獲的圖像中的產(chǎn)品的信息。具體而言，存儲單元220存儲產(chǎn)品圖像和/或被包括在產(chǎn)品圖像中的特征，該產(chǎn)品圖像和/或該特征與標(biāo)識產(chǎn)品的信息(例如，用于標(biāo)識產(chǎn)品的標(biāo)識符或者產(chǎn)品名稱)關(guān)聯(lián)。存儲單元220可以存儲為了標(biāo)識產(chǎn)品而必需的任何信息。用于標(biāo)識產(chǎn)品的信息也與代表產(chǎn)品的類型(類別)的信息關(guān)聯(lián)。

此外，存儲單元220存儲關(guān)于產(chǎn)品被陳列在其中的商店固定物的商店固定物信息。商店固定物信息對于商店固定物中的每個商店固定物包括關(guān)于代表商店固定物被安裝于其中的地方的安裝位置的信息。商店固定物信息還包括與關(guān)于安裝位置的前述信息關(guān)聯(lián)的以下項目(a)至(e)：

(a)由識別單元110關(guān)于捕獲的圖像而提供的識別結(jié)果，獲得的捕獲的圖像通過在比在已經(jīng)捕獲商店固定物時的捕獲時間更早的時間捕獲商店固定物的圖像而被獲得(這一識別結(jié)果以下被稱為先前的陳列結(jié)果)；

(b)為商店固定物而推薦的x線斷層照片信息；

(c)商店固定物中的行數(shù)；

(d)商店固定物中的每行中可放置的產(chǎn)品的數(shù)目；以及

(e)指示用于顯示被陳列在商店固定物中的產(chǎn)品的條件的信息。

在商店固定物中的每行中可放置的產(chǎn)品的以上提到的數(shù)目可以被重新表述為商店固定物中的每行中的可以容納產(chǎn)品的槽數(shù)目。

以上項目(a)由識別單元110存儲到存儲單元220中。以上項目(b)至(e)被預(yù)先存儲到存儲單元220中。存儲單元220也可以存儲商店固定物的大小作為商店固定物信息。

以上項目(e)包括指示例如產(chǎn)品應(yīng)當(dāng)被放置在每個槽中的條件的信息。項目(e)也可以例如包括相同產(chǎn)品名稱的產(chǎn)品應(yīng)當(dāng)被串聯(lián)排列的條件，以及相同類型的產(chǎn)品應(yīng)當(dāng)被相互近鄰地陳列的條件。

此外，存儲單元220存儲指示產(chǎn)品的訂單(或者購買)的信息(以下被稱為訂單信息)和指示由銷售點(pos)系統(tǒng)等管理的銷售信息。

可以在單個存儲設(shè)備(例如，存儲單元220)中存儲或者可以在不同存儲設(shè)備中分離地存儲用于識別產(chǎn)品的信息、商店固定物信息、訂單信息和銷售信息。

可以在圖像處理裝置200中并入或者可以在從圖像處理裝置200分離的存儲設(shè)備中實施存儲單元220。

識別單元110從接收單元210接收捕獲的圖像。識別單元110通過參考如被存儲在存儲單元220中的用于標(biāo)識產(chǎn)品的信息來從接收的捕獲的圖像識別被包括在捕獲的圖像中的產(chǎn)品。與根據(jù)第一示例實施例的圖像處理裝置100的識別單元110一樣，由識別單元110使用的用于識別產(chǎn)品的識別方法不限于任何具體方法，并且因此可以使用任何一般識別技術(shù)。識別單元110將捕獲的圖像與指示已經(jīng)從捕獲的圖像識別的任何產(chǎn)品的信息(識別結(jié)果)一起輸出給檢測單元120。

下文參照圖3和圖4進(jìn)一步描述識別單元110的操作。圖3是用于說明根據(jù)第二示例實施例的圖像處理裝置200的識別單元110的操作的示圖，該示圖示出了作為示例的捕獲的圖像。圖4是用于說明由識別單元110提供的識別結(jié)果的示圖。

如圖3中所示，捕獲的圖像包括多個產(chǎn)品31的圖像。本示例實施例假設(shè)捕獲的圖像通過捕獲如圖3中所示的整個單個商店固定物的圖像而被獲得，但是捕獲的圖像不限于這樣的圖像。捕獲的圖像可以通過捕獲多個商店固定物的圖像而被獲得。捕獲的圖像也可以通過捕獲單個商店固定物的部分的圖像而被獲得。在圖3中，在每個產(chǎn)品31中出現(xiàn)的字母代表產(chǎn)品名稱。

圖3中的示例示出了產(chǎn)品被陳列在其中的商店固定物由三行組成。以下被稱為第一行的最高行陳列名稱為“小吃a”的三個產(chǎn)品和名稱為“小吃b”的兩個產(chǎn)品。第二行陳列名稱為“糖果a”、“糖果b”和“糖果c”的產(chǎn)品，各自為兩個產(chǎn)品。第三行陳列名稱為“巧克力a”至“巧克力h”的產(chǎn)品，各自為一個產(chǎn)品。

在圖3中，繞著產(chǎn)品31的虛線框(產(chǎn)品圖像區(qū)域32)代表已經(jīng)由識別單元110識別的產(chǎn)品31的圖像區(qū)域。因此，圖3代表名稱為“巧克力c”的產(chǎn)品和名稱為“糖果b”的兩個產(chǎn)品尚未被識別單元110識別。

識別單元110向檢測單元120輸出識別結(jié)果，該識別結(jié)果包括指示識別的產(chǎn)品的信息(例如，產(chǎn)品名稱)、指示產(chǎn)品31的產(chǎn)品圖像區(qū)域32的圖像區(qū)域信息和指示關(guān)于產(chǎn)品31的識別結(jié)果的確信度水平的識別分?jǐn)?shù)。圖4圖示了識別結(jié)果的示例。前述圖像區(qū)域信息是指示捕獲的圖像中的產(chǎn)品31的產(chǎn)品圖像區(qū)域32的位置的位置信息。

如圖4中所示，識別結(jié)果對于每個產(chǎn)品包括指示識別的產(chǎn)品的產(chǎn)品名稱、用于產(chǎn)品31的識別分?jǐn)?shù)和關(guān)于產(chǎn)品31的產(chǎn)品圖像區(qū)域32的位置信息(圖像區(qū)域信息)。產(chǎn)品名稱、產(chǎn)品分?jǐn)?shù)和圖像區(qū)域信息相互關(guān)聯(lián)。在圖4中，單條線包括關(guān)于已經(jīng)被識別的單個產(chǎn)品31的信息。

假設(shè)識別單元110已經(jīng)識別了名稱為“小吃a”的產(chǎn)品。也假設(shè)產(chǎn)品的產(chǎn)品圖像區(qū)域32的四個拐角的坐標(biāo)分別是(x1，y1)、(x2，y2)、(x3，y3)和(x4，y4)并且識別分?jǐn)?shù)是“0.80”。

然后，識別單元110輸出如圖4中所示的用于“小吃a”的識別結(jié)果，即，“小吃a，0.80，x1，y1，x2，y2，x3，y3，x4，y4”。

產(chǎn)品圖像區(qū)域32優(yōu)選地是繞著由識別單元110識別的產(chǎn)品而被形成的定界矩形，但是不限于這樣的形狀。產(chǎn)品圖像區(qū)域32可以是按照與產(chǎn)品的形狀匹配的形狀。

識別結(jié)果不限于以上描述的識別結(jié)果；例如，除了產(chǎn)品名稱之外或者取代產(chǎn)品名稱，可以包括用于標(biāo)識產(chǎn)品31的標(biāo)識符。也就是說，識別單元110可以在識別結(jié)果中包括指示識別的產(chǎn)品31的任何信息。取代基本上矩形的產(chǎn)品圖像區(qū)域32的四個拐角的坐標(biāo)，在識別結(jié)果中包括的圖像區(qū)域信息可以由例如四個拐角之一的坐標(biāo)以及產(chǎn)品的寬度和高度代表。也就是說，識別單元110可以在識別結(jié)果中包括指示已經(jīng)識別的產(chǎn)品31的產(chǎn)品圖像區(qū)域32的任何信息。

前述識別分?jǐn)?shù)具有上限1.0，這指示與1.0較近的值代表較高可靠度水平，但是這僅是一種表達(dá)識別分?jǐn)?shù)的方式。

識別單元110也可以例如在識別結(jié)果中包括指示產(chǎn)品類型的日文編號(jan)或者信息(例如，產(chǎn)品類型或者類型代碼的名稱)。

識別單元110可以執(zhí)行控制以便例如從識別結(jié)果排除關(guān)于其識別分?jǐn)?shù)小于預(yù)定值的產(chǎn)品的信息。

識別單元110將這樣的識別結(jié)果與已經(jīng)對其執(zhí)行了產(chǎn)品識別的捕獲的圖像和關(guān)于捕獲的圖像的捕獲的圖像信息一起輸出給檢測單元120。

圖4中所示的識別結(jié)果僅為示例，并且識別結(jié)果不限于所示格式。

識別單元110從檢測單元120接收檢測結(jié)果，并且然后基于這樣的檢測結(jié)果執(zhí)行識別。隨后將在關(guān)于檢測單元120的操作的描述之后描述用于這一識別的操作。

檢測單元120從識別單元110接收捕獲的圖像、關(guān)于捕獲的圖像的捕獲的圖像信息和關(guān)于在捕獲的圖像上識別的產(chǎn)品的識別結(jié)果。然后，檢測單元120基于關(guān)于產(chǎn)品被陳列于其中的商店固定物的商店固定物信息來檢測被包括在接收的捕獲的圖像中但是尚未被識別單元110識別的產(chǎn)品的區(qū)域。在這一步驟中所指的商店固定物是與關(guān)于與已經(jīng)接收的捕獲的圖像信息匹配或者近似的關(guān)于安裝位置的信息關(guān)聯(lián)的信息。

具體而言，檢測單元120檢測存在于捕獲的圖像中但是其對應(yīng)產(chǎn)品尚未被識別的區(qū)域。檢測單元120然后從檢測到的區(qū)域檢測用于識別失敗已經(jīng)出現(xiàn)于其中的區(qū)域的候選(以下被稱為候選區(qū)域)。候選區(qū)域是產(chǎn)品將高度地可能被放置于其中的區(qū)域。

例如，檢測單元120計算在產(chǎn)品之間的豎直和水平距離(以下被稱為在產(chǎn)品之間的距離)。檢測單元120確定計算出的距離是否大于預(yù)定閾值，并且在計算出的距離大于預(yù)定閾值時，檢測單元120檢測具有計算的距離的區(qū)域作為候選區(qū)域。

此外，例如，檢測單元120計算在商店固定物的頂沿與由識別單元110識別的產(chǎn)品的產(chǎn)品圖像區(qū)域32的頂沿之間的距離，該產(chǎn)品圖像區(qū)域32沒有被放置在它的產(chǎn)品上面的其它產(chǎn)品。換而言之，在商店固定物的頂行(即，第一行)由產(chǎn)品填充時，檢測單元120計算在第一行中的產(chǎn)品的產(chǎn)品圖像區(qū)域32中的每個產(chǎn)品圖像區(qū)域的頂沿與商店固定物的頂沿之間的距離。在第一行中的任何槽沒有被放置在其中的產(chǎn)品時，檢測單元120計算在直接地在第二行(或者后繼行中的任一行)中的槽下面的在該行中放置的產(chǎn)品與商店固定物的頂沿之間的距離。檢測單元120確定計算出的距離是否大于預(yù)定閾值(第一預(yù)定閾值)，并且在計算出的距離大于預(yù)定閾值時，檢測單元120檢測具有計算的距離的區(qū)域作為候選區(qū)域。

同樣地，檢測單元120計算在商店固定物的底沿、左沿和右沿中的每個沿與產(chǎn)品之間的距離，并且在計算出的距離大于預(yù)定閾值時，檢測單元120檢測具有計算的距離的區(qū)域作為候選區(qū)域。注意，圖3示出了指示商店固定物的左沿的點劃線。以這一方式，檢測單元120通過計算在商店固定物的外沿與產(chǎn)品之間的距離來檢測候選區(qū)域。可以在存儲單元220中存儲以上提到的預(yù)定閾值作為商店固定物信息。

參照圖3，檢測單元120檢測候選區(qū)域，這些候選區(qū)域包括：包含左和右箭頭(33)的區(qū)域(34)、名稱為“糖果b”的產(chǎn)品的區(qū)域和名稱為“巧克力c”的產(chǎn)品的區(qū)域。

在圖3中所示的商店固定物的捕獲的圖像中，假設(shè)第一行中的槽的數(shù)目是5，第二行中的槽的數(shù)目是6，并且第三行中的槽的數(shù)目是8。如以上描述的那樣，關(guān)于這些槽數(shù)目的信息被存儲在存儲單元220中存儲作為商店固定物信息?；谥甘久總€槽應(yīng)當(dāng)具有被放置在其中的產(chǎn)品的條件的商店固定物信息的部分，檢測單元120檢測無法滿足條件的任何區(qū)域作為在其中識別產(chǎn)品失敗已經(jīng)高可能出現(xiàn)的區(qū)域。

如以上描述的那樣，圖3中的第三行具有八個槽。檢測單元已經(jīng)接收了關(guān)于七個產(chǎn)品的信息作為關(guān)于第三行的識別結(jié)果。這意味著第三行不滿足每個槽應(yīng)當(dāng)具有被放置在其中的產(chǎn)品的條件。因而，檢測單元120檢測識別產(chǎn)品失敗已經(jīng)在第三行中的一個產(chǎn)品上出現(xiàn)。檢測單元120然后檢測在以上提到的候選區(qū)域之中的在第三行中的名稱為“巧克力c”的產(chǎn)品的區(qū)域作為在其中識別產(chǎn)品失敗已經(jīng)高可能地出現(xiàn)的區(qū)域。

下文描述圖3中的第二行。與在第三行中的區(qū)域一樣，檢測單元120基于每個槽應(yīng)當(dāng)具有被放置在其中的產(chǎn)品來檢測識別產(chǎn)品失敗已經(jīng)在兩個產(chǎn)品上出現(xiàn)。檢測單元120確定區(qū)域34的寬度和/或高度是否大于第二預(yù)定閾值。在區(qū)域34的寬度和/或高度大于第二預(yù)定閾值時，檢測單元120檢測該區(qū)域作為在其中識別產(chǎn)品失敗已經(jīng)高可能地出現(xiàn)的區(qū)域。在這一示例中，假設(shè)區(qū)域34的寬度和/或高度等于或者小于第二預(yù)定閾值。因而，檢測單元120確定區(qū)域34不是在其中識別產(chǎn)品失敗已經(jīng)出現(xiàn)的區(qū)域。

第二預(yù)定閾值可以是被陳列在商店固定物中的產(chǎn)品的平均大小或者可以是固定值。固定值的這樣的平均大小可以對于每個商店固定物而被設(shè)置或者可以對于商店固定物的每行或者列而被設(shè)置。第二預(yù)定閾值可以被存儲在存儲單元220中作為商店固定物信息。平均大小可以從識別結(jié)果被獲得，識檢測單元120從識別單元110接收別結(jié)果。這允許檢測單元120基于在尚未被識別的產(chǎn)品附近放置的產(chǎn)品的大小來檢測在其中識別產(chǎn)品失敗已經(jīng)高可能地出現(xiàn)的區(qū)域。

檢測單元120可以基于候選區(qū)域的圖像中的特征點的數(shù)量是否大于預(yù)定值來在候選區(qū)域之中檢測在其中識別產(chǎn)品失敗已經(jīng)高可能地出現(xiàn)的區(qū)域。例如，區(qū)域34沒有被放置在其中的產(chǎn)品，并且因此具有更少特征點。在另一方面，名稱為“糖果b”的產(chǎn)品的區(qū)域具有被放置在其中的產(chǎn)品，并且因此具有比無產(chǎn)品的區(qū)域更多的特征點?；谶@些結(jié)果，檢測單元120確定區(qū)域34不是在其中識別產(chǎn)品失敗已經(jīng)高可能地出現(xiàn)的區(qū)域，同時確定名稱為“糖果b”的區(qū)域是在其中識別產(chǎn)品失敗已經(jīng)高可能地出現(xiàn)的區(qū)域。

如以上所見，檢測單元120基于以下各項中的至少一項來檢測尚未被識別的產(chǎn)品的區(qū)域：在已經(jīng)識別的產(chǎn)品之間的距離；在識別的產(chǎn)品與商店固定物的外沿之間的距離；識別的產(chǎn)品的大??；以及產(chǎn)品尚未在其中被識別的區(qū)域中包括的特征點的數(shù)目。這使檢測單元120能夠用較高程度的精確度來檢測具有識別產(chǎn)品失敗已經(jīng)出現(xiàn)的高概率的區(qū)域。

檢測單元120也可以通過使用先前的陳列結(jié)果作為商店固定物信息來檢測在其中失敗產(chǎn)品識別已經(jīng)高可能地出現(xiàn)的區(qū)域。例如，在先前的陳列結(jié)果示出圖3中所示的所有產(chǎn)品被識別時，檢測單元120比較先前的陳列結(jié)果與已經(jīng)由識別單元110輸出的識別結(jié)果。檢測單元120然后檢測通過比較而被獲得的有差異的區(qū)域作為在其中識別產(chǎn)品失敗已經(jīng)高可能地出現(xiàn)的區(qū)域。

檢測單元120也可以檢測通過比較為成像的商店固定物而推薦的x線斷層照片信息而獲得的有差異的區(qū)域作為在其中識別產(chǎn)品失敗已經(jīng)高可能地出現(xiàn)的區(qū)域。

檢測單元120向識別單元110輸出指示在其中識別產(chǎn)品失敗已經(jīng)高可能地出現(xiàn)的檢測到的區(qū)域的信息作為檢測結(jié)果。

雖然根據(jù)本發(fā)明的本示例實施例的圖像處理裝置200使用捕獲的圖像，該捕獲的圖像示出了如圖3中所示的在其中在個別行中水平地排列產(chǎn)品的商店固定物，但是產(chǎn)品排列不限于此。例如，圖像處理裝置200可以使用通過捕獲可以在其中豎直地排列產(chǎn)品的商店固定物的圖像而被獲得的圖像。在這一情況下，商店固定物中的行數(shù)代表可以在商店固定物中的列中排列的槽的數(shù)目。因此，通過捕獲這樣的商店固定物的圖像而被獲得的捕獲的圖像也允許檢測單元120檢測在其中識別產(chǎn)品失敗已經(jīng)高可能地出現(xiàn)的區(qū)域。

此外，檢測單元120優(yōu)選地檢測已經(jīng)被錯誤地識別的產(chǎn)品的產(chǎn)品圖像區(qū)域32。下文描述檢測單元120如何檢測已經(jīng)被錯誤地識別的產(chǎn)品。

以下描述如下情況，如作為商店固定物信息的部分而被存儲在存儲單元220中的用于在商店固定物中陳列的產(chǎn)品的陳列的條件包括相同產(chǎn)品名稱的產(chǎn)品應(yīng)當(dāng)被串聯(lián)排列。相同產(chǎn)品名稱的產(chǎn)品經(jīng)常在相同商店固定物中被串聯(lián)地排列。因此，檢測單元120確定無法滿足這一條件的任何識別的產(chǎn)品已經(jīng)被錯誤地識別。

下文描述如下情況，如作為商店固定物信息的部分而被存儲在存儲單元220中的用于在商店固定物中陳列的產(chǎn)品的陳列的條件包括應(yīng)當(dāng)相互近鄰陳列相同類型的產(chǎn)品。相同類型的產(chǎn)品經(jīng)常在相同商店固定物中被相互近鄰地放置。在情況是這樣時，優(yōu)選的是識別結(jié)果包括指示產(chǎn)品類型的信息。檢測單元120基于被包括在識別結(jié)果中的指示產(chǎn)品類型的信息和產(chǎn)品圖像區(qū)域信息來確定無法滿足這一條件的任何識別的產(chǎn)品已經(jīng)被錯誤地識別。

也優(yōu)選的是檢測單元120基于比在獲得捕獲的圖像時的時間更早創(chuàng)建的訂單信息來確定產(chǎn)品已經(jīng)被錯誤地識別。具體而言，檢測單元120比較識別的產(chǎn)品與訂購(購買)的產(chǎn)品，并且在沒有訂購任何識別的產(chǎn)品時，檢測單元120確定產(chǎn)品已經(jīng)被錯誤地識別。

也優(yōu)選的是檢測單元120基于比在獲得捕獲的圖像時的時間更早創(chuàng)建的銷售信息確定產(chǎn)品已經(jīng)被錯誤地識別。具體而言，檢測單元120檢查關(guān)于識別的產(chǎn)品的銷售信息，并且在任何識別的產(chǎn)品是全部銷售的產(chǎn)品的部分時，檢測單元120確定產(chǎn)品已經(jīng)被錯誤地識別。

檢測單元120也可以基于任何其它商店固定物信息來確定產(chǎn)品已經(jīng)被錯誤地識別。例如，在被包括在先前的陳列結(jié)果中的產(chǎn)品顯著地不同于識別的產(chǎn)品時(例如，在產(chǎn)品為不同類別時)，檢測單元120可以確定產(chǎn)品已經(jīng)被錯誤地識別。同樣地，在為對于其執(zhí)行產(chǎn)品識別的商店固定物而推薦的x線斷層照片信息與識別的產(chǎn)品顯著地不一致時(例如，在產(chǎn)品類別不一致時)，檢測單元120可以確定產(chǎn)品已經(jīng)被錯誤地識別。檢測單元120也可以確定已經(jīng)錯誤地識別了被包括在其識別分?jǐn)?shù)小于預(yù)定值的接收的識別結(jié)果中的任何產(chǎn)品。

檢測單元120然后向識別單元110輸出指示被確定為已經(jīng)被錯誤地識別的產(chǎn)品的產(chǎn)品圖像區(qū)域32的信息作為檢測結(jié)果。以這一方式，檢測單元120可以檢測已經(jīng)被錯誤地識別的產(chǎn)品的產(chǎn)品圖像區(qū)域32。

以下參照圖5描述由檢測單元120輸出的檢測結(jié)果。圖5是用于說明由檢測單元120輸出的檢測結(jié)果的示圖。

這里假設(shè)檢測單元120已經(jīng)檢測到代表識別產(chǎn)品失敗的基本上矩形的區(qū)域，該區(qū)域具有由坐標(biāo)(x1，y1)、(x2，y2)、(x3，y3)和(x4，y4)表達(dá)的四個拐角。還假設(shè)檢測單元120已經(jīng)檢測到代表已經(jīng)錯誤地識別的產(chǎn)品的產(chǎn)品圖像區(qū)域32的基本上矩形的區(qū)域，該區(qū)域具有由坐標(biāo)(x’1，y’1)、(x’2，y’2)、(x’3，y’3)和(x’4，y’4)表達(dá)的四個拐角。然后，檢測單元120輸出如下檢測結(jié)果作為如圖5中所示的關(guān)于識別產(chǎn)品失敗的檢測結(jié)果，該檢測結(jié)果包括表達(dá)尚未被識別的產(chǎn)品的字符串“產(chǎn)品識別失敗”和指示在其中已經(jīng)檢測到識別產(chǎn)品失敗的區(qū)域的信息，即，“產(chǎn)品識別失敗，x1，y1，x2，y2，x3，y3，x4，y4”。此外，檢測單元120輸出如下檢測結(jié)果作為關(guān)于錯誤識別的檢測結(jié)果，該檢測結(jié)果包括表達(dá)產(chǎn)品已經(jīng)被錯誤地識別的字符串“錯誤識別”和指示已經(jīng)被錯誤地識別的產(chǎn)品的產(chǎn)品圖像區(qū)域32的信息(位置信息)，即，“錯誤識別，x’1，y’1，x’2，y’2，x’3，y’3，x’4，y’4”。如圖5中所見，單條線包括關(guān)于單個檢測的區(qū)域的信息。

由檢測單元120檢測的區(qū)域可以未必是矩形，而是可以按照任何形狀。如被包括在由檢測單元120輸出的檢測結(jié)果中的關(guān)于區(qū)域的信息可以未必是四個拐角的坐標(biāo)，而是可以是表達(dá)由檢測單元120檢測的區(qū)域的任何信息。圖5中所示的檢測結(jié)果僅為示例，并且檢測結(jié)果不限于所示格式。

以下描述了識別單元110在從檢測單元120接收檢測結(jié)果之后如何基于檢測結(jié)果來執(zhí)行對產(chǎn)品的識別。

在從檢測單元120接收檢測結(jié)果時，識別單元110關(guān)于在接收的檢測結(jié)果中指示的區(qū)域?qū)Σ东@的圖像再次執(zhí)行對產(chǎn)品的識別。識別單元110通過基于以下(a)至(c)改變識別參數(shù)來執(zhí)行對產(chǎn)品的識別，該識別參數(shù)在產(chǎn)品識別之前被指定。

(a)由識別單元110提供的識別結(jié)果(該識別結(jié)果包括關(guān)于已經(jīng)由識別單元110識別的產(chǎn)品的信息)；

(b)先前的陳列結(jié)果；以及

(c)為x線斷層照片信息而推薦的x線斷層照片信息。

在產(chǎn)品識別之前指定的前述識別參數(shù)可以例如是在用于識別的信息中指示的產(chǎn)品的可能性，該信息被存儲在存儲單元220中。關(guān)于在其中識別產(chǎn)品失敗已經(jīng)出現(xiàn)的區(qū)域，識別單元110基于以上列舉的(a)至(c)中的至少一項來計算高度地可能尚未識別的產(chǎn)品的可能性。

下文描述了在其中識別單元110例如基于(a)來計算以上提到的可能性計算的情況。例如，參照圖3，“巧克力c”尚未在其中被識別的行(即，第三行)具有被陳列在其中的巧克力a、b和d至h。在這一情況下，基于識別結(jié)果，識別單元110增加其產(chǎn)品名稱與在相同行中陳列的產(chǎn)品的名稱相似的產(chǎn)品的可能性，該行具有產(chǎn)品尚未在其中被識別的區(qū)域(例如，在這一示例中具有產(chǎn)品名稱“巧克力”的產(chǎn)品)。在識別結(jié)果包括指示產(chǎn)品的類型的信息時，識別單元110增加與繞著在其中識別產(chǎn)品失敗的區(qū)域放置的識別的產(chǎn)品相同類型的產(chǎn)品的可能性。

下文例如描述了在其中識別單元110基于(b)來計算以上提到的可能性的情況。在這一情況下，識別單元110增加在先前的陳列結(jié)果中包括的和在和/或繞著識別產(chǎn)品失敗已經(jīng)出現(xiàn)于其中的區(qū)域放置的產(chǎn)品的可能性。在識別結(jié)果包括指示產(chǎn)品的類型的信息時，識別單元110增加被包括在先前的陳列結(jié)果中的產(chǎn)品的和與在和/或繞著在其中識別產(chǎn)品失敗的區(qū)域放置的識別的產(chǎn)品相同類型的產(chǎn)品的可能性。

下文描述了例如其中識別單元110基于(c)來計算以上提到的可能性的情況。在這一情況下，識別單元110增加被包括在推薦的x線斷層照片信息中的和在和/或繞著在其中識別產(chǎn)品失敗已經(jīng)出現(xiàn)的區(qū)域被放置的產(chǎn)品的可能性。在識別結(jié)果包括指示產(chǎn)品的類型的信息時，識別單元110增加被包括在推薦的x線斷層照片信息中的和與在和/或繞著在其中識別產(chǎn)品失敗已經(jīng)出現(xiàn)的區(qū)域被放置的產(chǎn)品相同類型的可能性。

識別單元110也可以根據(jù)對其執(zhí)行產(chǎn)品識別的區(qū)域是否為在其中已經(jīng)錯誤地識別了產(chǎn)品的區(qū)域或者在其中識別產(chǎn)品失敗已經(jīng)出現(xiàn)的區(qū)域來指定以上提到的可能性(識別參數(shù))。例如，在對其執(zhí)行產(chǎn)品識別的區(qū)域是包括已經(jīng)被錯誤地識別的產(chǎn)品的產(chǎn)品圖像區(qū)域32時，識別單元110減少錯誤地識別的產(chǎn)品的可能性，從而使得該產(chǎn)品將不會再次被識別為錯誤地識別的產(chǎn)品。

以這一方式，識別單元110可以通過改變識別參數(shù)來縮減將用于識別的被存儲在存儲單元220中的信息。作為結(jié)果，識別單元110可以縮短于識別處理的時間段。

基于計算出的可能性，識別單元110對在檢測結(jié)果中指示的區(qū)域執(zhí)行對產(chǎn)品的識別。作為結(jié)果，識別單元110可以減少錯誤識別。

然后，識別單元110向檢測單元120輸出識別結(jié)果。同時，識別單元110向最后識別結(jié)果添加指示已經(jīng)在其中識別產(chǎn)品失敗已經(jīng)出現(xiàn)的區(qū)域中被識別產(chǎn)品的信息。此外，識別單元110從最后識別結(jié)果去除指示被確定已經(jīng)被檢測單元120錯誤地識別的產(chǎn)品的信息，并且向最后識別結(jié)果添加指示現(xiàn)在已經(jīng)在其中曾經(jīng)確定產(chǎn)品已經(jīng)被錯誤地識別的產(chǎn)品圖像區(qū)域32中識別的產(chǎn)品的信息。作為結(jié)果，識別單元110可以輸出新識別結(jié)果。識別單元110保持向檢測單元120輸出識別結(jié)果，直至識別單元110從檢測單元120接收代表沒有指示產(chǎn)品識別失敗或者錯誤識別的區(qū)域的檢測結(jié)果。

在從檢測單元120接收代表沒有指示識別產(chǎn)品失敗或者錯誤識別的區(qū)域的檢測結(jié)果時，識別單元110向存儲單元220中存儲緊接在接收這一檢測結(jié)果之前向檢測單元120輸出的識別結(jié)果，作為用于在已經(jīng)對其執(zhí)行了產(chǎn)品識別的捕獲的圖像上的產(chǎn)品的識別結(jié)果。識別單元110剛才已經(jīng)向存儲單元220中存儲的識別結(jié)果充當(dāng)用于通過捕獲相同商店固定物的圖像而被獲得的后繼捕獲的圖像的、從識別結(jié)果看見的先前的陳列結(jié)果。因此，識別單元110和檢測單元120二者可以基于先前的陳列結(jié)果來執(zhí)行它們的相應(yīng)處理。

識別單元110可以向存儲單元220中存儲在從檢測單元120接收檢測結(jié)果預(yù)定次數(shù)之后被生成的識別結(jié)果作為用于捕獲的圖像的識別結(jié)果。識別單元110也可以在向檢測單元120發(fā)送識別結(jié)果時向存儲單元220中存儲識別結(jié)果。

(用于圖像處理裝置200的操作流程)

現(xiàn)在將參照圖6來描述用于圖像處理裝置200的操作流程。圖6是圖示了用于根據(jù)本示例實施例的圖像處理裝置200的示例操作流程的流程圖。

首先，接收單元210接收捕獲的圖像(步驟s1)。識別單元110對在步驟s1中由接收單元210接收的捕獲的圖像執(zhí)行對產(chǎn)品的識別(步驟s2)。

接著，檢測單元120基于商店固定物來檢測產(chǎn)品尚未在其中被識別但是產(chǎn)品高度地可能被包括的區(qū)域(即，識別產(chǎn)品失敗已經(jīng)出現(xiàn)于其中的區(qū)域)(步驟s3)。此外，檢測單元120確定已經(jīng)被識別的但是高度地可能已經(jīng)錯誤地識別的產(chǎn)品并且檢測產(chǎn)品的產(chǎn)品圖像區(qū)域32(步驟s4)。備選地，可以同時地或者按照相反順序執(zhí)行步驟s3和步驟s4。

然后，識別單元110確認(rèn)是否已經(jīng)檢測到識別產(chǎn)品失敗和/或錯誤識別的任何區(qū)域。具體而言，識別單元110確認(rèn)從檢測單元120接收的檢測結(jié)果是否指示識別產(chǎn)品失敗和/或錯誤識別的任何區(qū)域(步驟s5)。在檢測結(jié)果指示識別產(chǎn)品失敗和/或錯誤識別的任何區(qū)域(在步驟s5中為是)時，識別單元110對在由檢測單元120提供的檢測結(jié)果中指示的區(qū)域再次執(zhí)行對產(chǎn)品的識別(步驟s6)。接著，檢測單元120再次執(zhí)行步驟s3以檢測識別產(chǎn)品失敗的任何區(qū)域。

在檢測結(jié)果指示沒有識別產(chǎn)品失敗和/或錯誤識別的區(qū)域(在步驟s5中為否)時，識別單元110向存儲單元220中存儲識別結(jié)果并且從處理退出(步驟s7)。

(效果)

根據(jù)本示例實施例的圖像處理裝置200實現(xiàn)了對具有識別產(chǎn)品失敗已經(jīng)出現(xiàn)的高概率的區(qū)域的較高精確度的檢測。這是因為檢測單元120基于商店固定物信息來檢測識別單元110已經(jīng)從捕獲的圖像識別失敗的產(chǎn)品的區(qū)域。

一般而言，在識別處理中，識別閾值被設(shè)置并且識別結(jié)果基于識別閾值被輸出。然而，由識別單元110設(shè)置的較低識別閾值將造成錯誤識別的更高出現(xiàn)率。因此，根據(jù)本示例實施例的識別單元110設(shè)置識別閾值以便更有效地降低錯誤識別的出現(xiàn)率。然而一般而言，如果設(shè)置較高識別閾值，則高度地可能的是識別產(chǎn)品失敗將在更多區(qū)域中出現(xiàn)。根據(jù)本示例實施例的圖像處理裝置200使檢測單元120能夠基于商店固定物來檢測別產(chǎn)品失敗已經(jīng)出現(xiàn)于其中的這樣的區(qū)域。

因此，識別單元110可以通過改變識別參數(shù)來僅對識別產(chǎn)品失敗已經(jīng)出現(xiàn)于其中的這樣的檢測到的區(qū)域再次執(zhí)行對產(chǎn)品的識別。這可以進(jìn)一步防止識別產(chǎn)品失敗和錯誤識別。

因此，根據(jù)本示例實施例的圖像處理裝置200可以從捕獲的圖像獲得指示x線斷層照片信息的較高精確度的信息。

(第三示例實施例)

現(xiàn)在將描述本發(fā)明的第三示例實施例。與第二示例實施例一樣，第三示例實施例基于以上描述的第一示例實施例。圖7是圖示了根據(jù)本示例實施例的圖像處理裝置300的示例功能配置的功能框圖。為了便于說明，向具有與在前述第一和第二示例實施例中描述的附圖中包括的構(gòu)件的功能相同的功能的構(gòu)件給予相同標(biāo)號，并且省略對這些構(gòu)件的描述。本示例實施例的圖像處理裝置300除了以上描述的第二示例實施例的圖像處理裝置200之外還包括顯示控制單元和修改單元。

作為開始，以下參照圖7來描述包括本示例實施例的圖像處理裝置300的系統(tǒng)的示例配置。圖7是圖示了包括根據(jù)本示例實施例的圖像處理裝置300的系統(tǒng)的示例配置的示圖。如圖7中所示，系統(tǒng)包括圖像處理裝置300、成像裝置400和顯示操作裝置500。

圖像處理裝置300被通信地連接到成像裝置400。成像裝置400捕獲陳列的產(chǎn)品的圖像。成像裝置400然后向圖像處理裝置300發(fā)送它已經(jīng)捕獲的圖像(捕獲的圖像)。成像裝置400由例如非固定點相機實施。

顯示操作裝置500被通信地連接到圖像處理裝置300。顯示操作裝置500可以通過網(wǎng)絡(luò)被連接到圖像處理裝置300或者可以直接地被連接到圖像處理裝置300。如圖7中所示，顯示操作裝置500包括顯示單元510和輸入單元520。

雖然在顯示操作裝置500和圖像處理裝置300被配置為相互分離的假設(shè)下描述了本示例實施例，但是顯示操作裝置500可以被形成為被集成到圖像處理裝置300中。

顯示操作裝置500可以例如是顯示單元510和輸入單元520被集成到其中的觸摸面板。顯示單元510是基于從圖像處理裝置300發(fā)送的信號來在屏幕上顯示圖形用戶界面(gui)等以允許用戶執(zhí)行操作的顯示設(shè)備。

輸入單元520是檢測由用戶給予的指令的設(shè)備。輸入單元520檢測在屏幕上給予的指令的位置(在屏幕上的坐標(biāo))。在顯示操作裝置500例如是觸摸面板的情況下，輸入單元520檢測由在屏幕上/附近的物體執(zhí)行的輸入操作。輸入單元520也檢測由用戶通過例如操作鼠標(biāo)等而執(zhí)行的輸入操作。輸入單元520向圖像處理裝置300發(fā)送檢測結(jié)果作為輸入操作信號。

下文參照圖8來描述圖像處理裝置300。圖8是圖示了根據(jù)本示例實施例的圖像處理裝置300的示例功能配置的框圖。如圖8中所示，圖像處理裝置300包括識別單元110、檢測單元120、接收單元210、顯示控制單元310和修改單元320。圖像處理裝置300可以被配置為還包括存儲單元220。

接收單元210接收從成像裝置400發(fā)送的捕獲的圖像并且向識別單元110輸出圖像。

除了被存儲在第二示例實施例的存儲單元220中的信息之外，存儲單元220存儲將被顯示在顯示單元510上的產(chǎn)品圖像，產(chǎn)品圖像與用于識別產(chǎn)品的圖像關(guān)聯(lián)。將被顯示在顯示單元510上的產(chǎn)品圖像可以是作為用于識別產(chǎn)品而必需的信息而被存儲的確切產(chǎn)品圖像或者可以是代表產(chǎn)品的縮略圖圖像。

與第二示例實施例的識別單元110一樣，識別單元110從已經(jīng)接收的捕獲的圖像識別被包括在捕獲的圖像中的產(chǎn)品。然后，識別單元110向檢測單元120輸出識別結(jié)果。

在從檢測單元120接收檢測結(jié)果時，識別單元110基于檢測結(jié)果來改變識別參數(shù)，并且對在檢測結(jié)果中指示的區(qū)域再次執(zhí)行對產(chǎn)品的識別。然后，識別單元110向檢測單元120輸出識別結(jié)果。

與第二示例實施例的檢測單元120一樣，檢測單元120檢測在其中識別產(chǎn)品失敗已經(jīng)高度可能地出現(xiàn)的區(qū)域。與第二示例實施例的檢測單元120一樣，檢測單元120還可以包括用于檢測已經(jīng)被錯誤地識別的產(chǎn)品的產(chǎn)品圖像區(qū)域32的功能。

此外，檢測單元120確認(rèn)檢測單元120是否已經(jīng)從識別單元110接收識別結(jié)果預(yù)定次數(shù)。在檢測單元120已經(jīng)接收識別結(jié)果預(yù)定次數(shù)時，檢測單元120將檢測結(jié)果與接收的識別結(jié)果一起輸出給顯示控制單元310。

例如，在預(yù)定次數(shù)為一的情況下，在接收第一識別結(jié)果之后，檢測單元120檢測識別產(chǎn)品失敗的區(qū)域或者錯誤識別，并且然后將檢測結(jié)果與接收的識別結(jié)果和已經(jīng)對其執(zhí)行了產(chǎn)品識別的捕獲的圖像一起輸出給顯示控制單元310。

顯示控制單元310將檢測結(jié)果與識別結(jié)果和捕獲的圖像一起從檢測單元120接收。然后，顯示控制單元310在顯示單元510上顯示代表在檢測結(jié)果中指示的區(qū)域的信息。例如，顯示控制單元310通過使用接收的捕獲的圖像來生成代表在檢測結(jié)果中指示的區(qū)域的圖像或者從捕獲的圖像提取代表區(qū)域的圖像并且在顯示單元510上顯示生成或者提取的圖像。

此外，顯示控制單元310基于以下(1)至(3)中的任一項來確定用于可以存在于前述區(qū)域中的產(chǎn)品的候選(以下被稱為修改候選)。

(1)先前的陳列結(jié)果；

(2)為商店固定物而推薦的x線斷層照片信息；以及

(3)已經(jīng)由識別單元110識別的產(chǎn)品(接收的識別結(jié)果)。

例如，顯示控制單元310從接收的識別結(jié)果標(biāo)識被放置在繞著在檢測結(jié)果中指示的區(qū)域的區(qū)域中的產(chǎn)品。顯示控制單元310將被放置在周圍區(qū)域中的產(chǎn)品確定為修改候選。

接著，顯示控制單元310從存儲單元220獲得示出與確定的修改候選對應(yīng)的產(chǎn)品的產(chǎn)品圖像。顯示控制單元310然后在顯示單元510上顯示可由用戶選擇的獲得的產(chǎn)品圖像。

顯示控制單元310也可以基于接收的識別結(jié)果來計算在產(chǎn)品之間的匹配率(相似度水平)，并且基于匹配率來確定修改候選。例如，顯示控制單元310可以計算在被陳列在包括在檢測結(jié)果中指示的區(qū)域的行中的產(chǎn)品的類型之間的匹配率，并且將具有較高匹配率的類型的產(chǎn)品確定為修改候選。在這一情況下，確定的修改候選可以是被包括在識別結(jié)果中的產(chǎn)品或者可以是沒有被包括在識別結(jié)果中但是其信息被存儲在存儲單元220中的產(chǎn)品。

顯示控制單元310也可以基于識別結(jié)果和以下各項中的至少一項來確定將作為修改候選而由顯示單元510陳列的產(chǎn)品的可能性：指示用于被陳列在商店固定物中的產(chǎn)品的陳列的條件的信息、訂單信息和銷售信息。顯示控制單元310然后可以基于確定的可能性來確定修改候選。

代表用于被陳列在商店固定物中的產(chǎn)品的陳列的條件的前述信息例如包括相同產(chǎn)品名稱的產(chǎn)品應(yīng)當(dāng)被串聯(lián)排列的條件和相同類型的產(chǎn)品應(yīng)當(dāng)相互近鄰地被陳列的條件。

以這一方式，顯示控制單元310可以縮減將被顯示在顯示單元510上的修改候選。

優(yōu)選的是顯示控制單元310按照在前述區(qū)域中存在的可能性的降序來在顯示單元510上顯示修改候選。這允許圖像處理裝置300以較易于理解的方式從修改候選之中向用戶顯示高度可能地存在于前述區(qū)域中的產(chǎn)品。

顯示控制單元310可以基于被放置在與區(qū)域較近的距離的產(chǎn)品的產(chǎn)品名稱和/或產(chǎn)品類型來確定存在于區(qū)域中的可能性的降序。

備選地，顯示控制單元310可以基于在用于與區(qū)域?qū)?yīng)的產(chǎn)品的識別結(jié)果中包括的識別分?jǐn)?shù)來確定存在于區(qū)域中的可能性的降序。然后，顯示控制單元310指令識別單元110對區(qū)域再次執(zhí)行對產(chǎn)品的識別，并且接收用于與區(qū)域?qū)?yīng)的產(chǎn)品的識別結(jié)果。優(yōu)選的是識別結(jié)果將具有存在于區(qū)域中的高可能性的多個產(chǎn)品與它們的識別分?jǐn)?shù)包括在一起。然后，顯示控制單元310將被包括在識別結(jié)果中的多個產(chǎn)品的識別分?jǐn)?shù)的降序確定為存在于區(qū)域中的可能性的降序。

接著，顯示控制單元310在顯示單元510上顯示可由用戶選擇的確定的修改候選。對顯示控制單元310在顯示單元510上顯示的修改候選的數(shù)目沒有施加具體限制。

在由顯示單元510顯示的修改候選沒有包括用戶希望的任何產(chǎn)品時，顯示控制單元310可以在顯示單元510上顯示可由用戶選擇的產(chǎn)品圖像，該產(chǎn)品圖像被存儲在存儲單元220中。在存儲單元220沒有存儲用戶希望的任何產(chǎn)品圖像時，顯示單元510可以基于從輸入單元520發(fā)送的用戶指令來向存儲單元220注冊產(chǎn)品圖像。

顯示控制單元310將指示在顯示單元510上顯示的圖像的信息與接收的識別結(jié)果一起供應(yīng)給修改單元320。

修改單元320接收指示由輸入單元520檢測到的輸入操作的輸入操作信號。此外，修改單元320從顯示控制單元310接收指示顯示控制單元310在顯示單元510上與識別結(jié)果一起顯示的圖像的信息。然后，修改單元320基于如由接收的輸入操作信號指示的對在顯示單元510上陳列的產(chǎn)品候選做出的選擇的結(jié)果來修改識別結(jié)果。

在顯示控制單元310在顯示單元510上顯示用于識別產(chǎn)品失敗的區(qū)域的修改候選的情況下，修改單元320向識別結(jié)果添加關(guān)于由用戶選擇的修改候選的信息。在顯示控制單元310在顯示單元510上顯示用于錯誤地識別的產(chǎn)品的區(qū)域的修改候選的情況下，修改單元320從識別結(jié)果刪除關(guān)于由檢測單元120確定錯誤地識別的產(chǎn)品的信息。修改單元320然后向識別結(jié)果添加關(guān)于由用戶選擇的修改候選的信息。作為結(jié)果，識別單元110可以輸出新識別結(jié)果(修改的識別結(jié)果)。

修改單元320向存儲單元220中存儲修改的識別結(jié)果作為對在其中已經(jīng)執(zhí)行了產(chǎn)品識別的捕獲的圖像的產(chǎn)品識別結(jié)果。修改單元320剛才已經(jīng)向存儲單元220中存儲的識別結(jié)果充當(dāng)用于通過捕獲相同商店固定物的圖像而被獲得的后繼捕獲的圖像的從識別結(jié)果看見的先前的陳列結(jié)果。因而，識別單元110、檢測單元120和顯示控制單元310可以基于先前的陳列結(jié)果來執(zhí)行它們的相應(yīng)處理。

圖9至圖11各自是圖示了由根據(jù)本發(fā)明的本示例實施例的圖像處理裝置300的顯示控制單元310在顯示單元510上顯示的圖像的示例的示圖。如圖9中所示，顯示控制單元310在顯示單元510上顯示指示被包括在捕獲的圖像中的識別產(chǎn)品失敗和/或錯誤識別的區(qū)域的信息。在圖9中，識別產(chǎn)品失敗和/或錯誤識別的區(qū)域由顯示控制單元310示出而無基本上矩形粗框(前述產(chǎn)品圖像區(qū)域32)。

在用戶選擇(例如，輕敲)識別產(chǎn)品失敗和/或錯誤識別的任何區(qū)域時，輸入單元520向圖像處理裝置300發(fā)送指示由用戶選擇的位置的信息作為輸入操作信號。修改單元320基于從輸入單元520發(fā)送的輸入操作信號來標(biāo)識選擇的區(qū)域，并且然后向顯示控制單元310發(fā)送指示區(qū)域的信息。基于從修改單元320接收的信息，顯示控制單元310在顯示單元510上顯示已經(jīng)由用戶選擇的、識別產(chǎn)品失敗和/或錯誤識別的區(qū)域的圖像。例如，在用戶已經(jīng)選擇了圖9中所示的“巧克力c”的區(qū)域的情況下，顯示控制單元310如在圖10的左側(cè)上所示的在顯示單元510上顯示示出了“巧克力c”的區(qū)域的圖像。圖10的左手示出了待修改的區(qū)域，該區(qū)域可以在以下被稱為修改目標(biāo)區(qū)域。

接著，顯示控制單元310如在圖10的右側(cè)上所示的在顯示單元510上顯示用于修改目標(biāo)區(qū)域的修改候選以便可選擇。

在用戶選擇在屏幕上顯示的修改候選中的任何修改候選時，修改單元320基于選擇結(jié)果來修改識別結(jié)果。

取代圖9中所示的屏幕顯示，顯示控制單元310可以如圖11中所示的在顯示單元510上顯示僅由識別產(chǎn)品失敗和/或錯誤識別的區(qū)域構(gòu)成的圖像。

顯示控制單元310也可以在單個屏幕上顯示圖9和圖10中的屏幕或者圖11和圖10中的屏幕。

(用于圖像處理裝置300的操作流程)

現(xiàn)在將參照圖12來描述用于圖像處理裝置300的操作流程。圖12是圖示了用于根據(jù)本示例實施例的圖像處理裝置300的示例操作流程的流程圖。

從步驟s11到步驟s14的處理與從步驟s1到s4的用于根據(jù)第二示例實施例的圖像處理裝置200的操作的處理相同，并且因此它們的描述被省略。

在完成步驟s14時，檢測單元120確認(rèn)檢測單元120是否已經(jīng)從識別單元110接收識別結(jié)果預(yù)定次數(shù)(步驟s15)。在檢測單元120尚未接收識別結(jié)果預(yù)定次數(shù)(在步驟s15中為否)的情況下，識別單元110對在由檢測單元120提供的檢測結(jié)果中指示的區(qū)域執(zhí)行對產(chǎn)品的識別(步驟s16)。接著，檢測單元120再次執(zhí)行步驟s3以檢測識別產(chǎn)品失敗的任何區(qū)域。

在已經(jīng)接收識別結(jié)果預(yù)定次數(shù)(在步驟s15中為是)時，顯示控制單元310控制顯示單元510，從而使得在屏幕上顯示修改候選。顯示單元510在屏幕上顯示修改候選(步驟s17)。

在用戶選擇被顯示在屏幕上的修改候選中的任何修改候選時，修改單元320基于選擇結(jié)果來修改識別結(jié)果(步驟s18)。修改單元320向存儲單元220中存儲識別結(jié)果并且從處理退出(步驟s19)。

(效果)

本示例實施例的圖像處理裝置300提供與由以上描述的第一示例實施例和第二示例實施例的圖像處理裝置提供的效果相似的效果。

在其中操作者(用戶)將修改識別結(jié)果的情況下，用戶將面臨較繁重的修改工作以便識別較大數(shù)目的產(chǎn)品原版。然而，本示例實施例的圖像處理裝置300允許顯示控制單元310在屏幕上可選擇地顯示可以存在于由檢測單元120檢測到的區(qū)域中的產(chǎn)品的候選。因此，本示例實施例的圖像處理裝置300可以減少對用戶施加的用于修改工作的負(fù)擔(dān)。作為結(jié)果，圖像處理裝置300可以從捕獲的圖像獲得指示x線斷層照片信息的較高精確度的信息而沒有增加給用戶的負(fù)擔(dān)。

雖然以上描述的本示例實施例假設(shè)在圖像處理裝置300中并入了顯示控制單元310，但是顯示控制單元310可以被實施為從圖像處理裝置300分離的顯示控制裝置。顯示控制裝置在顯示單元510的屏幕上顯示產(chǎn)品尚未在其中被識別但是產(chǎn)品可以被陳列在其中的區(qū)域作為產(chǎn)品尚未在其中被識別的區(qū)域，該區(qū)域是通過捕獲陳列的產(chǎn)品的圖像而被獲得的捕獲的圖像的部分。作為結(jié)果，顯示控制裝置可以向用戶呈現(xiàn)具有識別產(chǎn)品失敗已經(jīng)出現(xiàn)的高概率的區(qū)域。

(硬件配置的示例)

現(xiàn)在將描述可以實施根據(jù)以上描述的示例實施例的圖像處理裝置(100、200和300)中的任何圖像處理裝置的示例硬件配置。以上描述的圖像處理裝置(100、200和300)各自可以用專用裝置的形式被實施或者可以用計算機被實施。

圖13是圖示了可以實施本發(fā)明的個別示例實施例的計算機(信息處理裝置)的硬件配置的示圖。

圖13中所示的信息處理裝置(計算機)10的硬件包括以下構(gòu)件：

-cpu(中央處理單元)11；

-通信接口(i/f)12；

-輸入/輸出用戶接口13；

-rom(只讀存儲器)14；

-ram(隨機存取存儲器)15；

-存儲設(shè)備17；以及

-用于計算機可讀記錄介質(zhì)19的驅(qū)動設(shè)備18。

這些構(gòu)件經(jīng)由總線16相互連接。輸入/輸出用戶接口13是用于輸入設(shè)備(例如，鍵盤)和輸出設(shè)備(例如，顯示器)的人機接口。通信接口12是允許根據(jù)以上描述的示例實施例的裝置(圖1、圖2和圖8)中的每個裝置來經(jīng)由通信網(wǎng)絡(luò)20與外部設(shè)備通信的一般通信裝置。在這樣的硬件配置中，cpu11負(fù)責(zé)信息處理裝置10的全部操作，信息處理裝置10實施根據(jù)相應(yīng)示例實施例的圖像處理裝置(100、200和300)中的任何圖像處理裝置。

通過例如向圖13中所示的信息處理裝置10供應(yīng)可以實施在以上描述的相應(yīng)示例實施例中描述的處理的程序(計算機程序)并且然后向cpu11中加載程序并且執(zhí)行它來實施以上描述的示例實施例中的每個示例實施例。這樣的程序可以是如下程序，這些程序可以例如實施在已經(jīng)參照其而分別描述以上示例實施例的流程圖中描述的各種處理或者在圖1、圖2和圖8中的每幅圖中圖示的框圖中的裝置中包括的個別單元(塊)。

可以在可讀和可寫非瞬態(tài)存儲裝置存儲器(15)中或者在非易失性存儲設(shè)備(17)(比如硬盤驅(qū)動)中存儲向信息處理裝置10中供應(yīng)的程序。也就是說，存儲設(shè)備17中的程序17a可以例如實施在根據(jù)以上描述的示例實施例的圖像處理裝置(100、200和300)中的每個圖像處理裝置中圖示的個別單元的功能。各種存儲的信息17b可以例如包括以上描述的相應(yīng)示例實施例中的捕獲的圖像、用于識別產(chǎn)品的信息、識別結(jié)果、檢測結(jié)果、存儲的固定物信息、銷售信息、訂單信息和產(chǎn)品圖像。注意，當(dāng)在信息處理裝置10上實施程序時，每個個別程序模塊的組成單元可以未必對應(yīng)于被圖示在框圖(圖1、圖2和圖8)中的個別塊的段，而是可以在實施之前由本領(lǐng)域技術(shù)人員適當(dāng)?shù)剡x擇。

此外，在以上描述的情況下，如以下列舉的至今廣泛地可用的處理可以用來向裝置提供程序：

-經(jīng)由各種計算機記錄介質(zhì)(19)(比如cd(緊致盤)-rom或者閃存設(shè)備)向裝置中安裝程序；以及

-經(jīng)由通信線路(20)(比如因特網(wǎng))從外源下載程序。

在這樣的情況下，本發(fā)明的示例實施例中的每個示例實施例可以被視為由構(gòu)成計算機程序(程序17a)的代碼組成或者由存儲這樣的代碼的記錄介質(zhì)(19)組成。

本發(fā)明已經(jīng)被描述為為其中本發(fā)明可以應(yīng)用于以上描述的示例實施例及其示例的示例。然而，本發(fā)明的技術(shù)范圍不限于在前述相應(yīng)示例實施例和示例中描述的范圍。本領(lǐng)域技術(shù)人員清楚的是可，以向這樣的示例實施例添加各種修改和改進(jìn)。如果情況是這樣，則可以在本發(fā)明的技術(shù)范圍中包括并入這樣的修改或者改進(jìn)的任何新示例實施例。這從在所附權(quán)利要求中的陳述是清楚的。

本申請要求基于將全部公開內(nèi)容結(jié)合于此、提交于2014年10月23日的第2014-216117號日本專利申請的優(yōu)先權(quán)。

標(biāo)號列表

100圖像處理裝置

110識別單元

120檢測單元

200圖像處理裝置

210接收單元

220存儲單元

300圖像處理裝置

310顯示控制單元(顯示控制裝置)

320修改單元

400成像裝置

500顯示操作裝置

510顯示單元

520輸入單元

31產(chǎn)品

32產(chǎn)品圖像區(qū)域