專利名稱：食品材料烹調(diào)操作識別系統(tǒng)及食品材料烹調(diào)操作識別程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種根據(jù)觀測數(shù)據(jù)對食品材料及對該食品材料的烹調(diào)操作予以識別的技術(shù)。
背景技術(shù)：
在非專利文獻1(日本第17屆人工智能學會全國大會論文集，基于文本信息的制約的菜肴圖像中的物體檢測，no.2C1-02，June 2003)中公開了一種技術(shù)，將從光學攝像機獲得的圖像中的食品材料的特征量，作為知識模板(template)進行存儲，用該知識模板計算表示圖像中的食品材料的可靠性的確信度，來識別圖像中所包含的食品材料及烹調(diào)操作。
然而，在該非專利文獻1記載的技術(shù)中所存在的問題是，得不到較高的確信度，無法以較好的精確度來識別食品材料及烹調(diào)操作。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種能以較好的精確度對烹調(diào)者正在烹調(diào)的食品材料及對該食品材料的烹調(diào)操作進行識別的食品材料烹調(diào)操作識別系統(tǒng)及食品材料烹調(diào)操作識別程序。
本發(fā)明的食品材料烹調(diào)操作識別系統(tǒng)，包括取得至少包含進行烹調(diào)操作的烹調(diào)者手部的圖像和由該烹調(diào)操作產(chǎn)生的環(huán)境音的其中任何之一的觀測數(shù)據(jù)的感應單元、將對各種食品材料預先設(shè)想的各種烹調(diào)操作，連同模板確信度即對各食品材料的每種烹調(diào)操作預先規(guī)定的確信度一起，以表格的形式加以存儲的特征量模板、根據(jù)上述感應單元所取得的觀測數(shù)據(jù)，計算表示烹調(diào)者正在烹調(diào)的食品材料及對該食品材料的烹調(diào)操作的至少其中任何之一的確信度的觀測確信度，根據(jù)計算出的觀測確信度，制作烹調(diào)者烹調(diào)菜肴的烹調(diào)流程的烹調(diào)流程制作單元、根據(jù)上述模板確信度和上述觀測確信度，計算初次確信度，即構(gòu)成上述烹調(diào)流程制作單元所制作成的烹調(diào)流程的各對象的確信度的初次確信度計算單元、根據(jù)上述初次確信度計算單元計算出的初次確信度，計算最終確信度，以計算出的最終確信度作為新的模板確信度，更新上述特征量模板，根據(jù)更新后的特征模板，來識別對應由上述感應單元取得的觀測數(shù)據(jù)的食品材料及烹調(diào)操作的烹調(diào)操作識別單元。
根據(jù)該結(jié)構(gòu)，根據(jù)由感應單元取得的進行烹調(diào)操作的烹調(diào)者的手部圖像和該烹調(diào)操作產(chǎn)生的環(huán)境音，計算烹調(diào)者正在烹調(diào)的食品材料及對該食品材料的烹調(diào)操作的觀測確信度，根據(jù)該觀測確信度，制作烹調(diào)流程。而且，又根據(jù)模板確信度和觀測確信度，計算構(gòu)成烹調(diào)流程的各對象的初次確信度。然后，根據(jù)該匹配度和初次確信度，計算最終確信度，對感應單元所取得的圖像中的食品材料及對該食品材料的烹調(diào)操作予以識別。
亦即，由于是根據(jù)存儲有模板確信度的特征量模板來識別烹調(diào)操作及食品材料，因此可以較好的精確度對食品材料及烹調(diào)操作進行推定。


圖1是本發(fā)明實施例的食品材料烹調(diào)操作識別系統(tǒng)的整體結(jié)構(gòu)的示意圖，(a)是整體結(jié)構(gòu)的側(cè)視圖，(b)是整體結(jié)構(gòu)的主視圖。
圖2是本食品材料烹調(diào)操作識別系統(tǒng)的功能方框圖。
圖3是食品材料表的數(shù)據(jù)結(jié)構(gòu)的示意圖。
圖4是特征量模板的數(shù)據(jù)結(jié)構(gòu)的示意圖。
圖5是烤蘋果和西紅柿的烹調(diào)菜譜的菜譜特征量模板，以及沙拉和煮蘿卜的烹調(diào)菜譜的菜譜特征量模板的數(shù)據(jù)結(jié)構(gòu)的示意圖。
圖6是特征量模板的制作處理的流程圖。
圖7是說明特征量模板的制作處理的表格的變化圖。
圖8是食品材料烹調(diào)操作識別系統(tǒng)的操作流程圖。
圖9是烹調(diào)流程數(shù)據(jù)庫存儲的烹調(diào)流程的示意圖，(a)表示馬鈴薯燉肉的烹調(diào)流程，(b)表示牛肉餅的烹調(diào)流程。
圖10是烹調(diào)流程數(shù)據(jù)庫存儲的烹調(diào)流程的示意圖，(a)表示咖喱牛肉的烹調(diào)流程，(b)表示炒蔬菜的烹調(diào)流程。
圖11是流程匹配的說明圖，(a)表示制作的烹調(diào)流程，(b)表示預先存儲在烹調(diào)流程數(shù)據(jù)庫中的烹調(diào)流程。
圖12是觀測流程的節(jié)點數(shù)和編輯距離的關(guān)系的圖表。
圖13是食品材料·烹調(diào)操作決定處理的流程圖。
圖14是除去背景區(qū)域的情況的說明圖。
圖15是青椒的色調(diào)、飽和度及區(qū)域尺寸隨時間變化的圖表。
圖16是南瓜的色調(diào)、飽和度及區(qū)域尺寸隨時間變化的圖表。
圖17是表示烹調(diào)操作前后的蘋果和西紅柿的色調(diào)及飽和度的直方圖的圖表，(a)表示烹調(diào)操作前的色調(diào)的直方圖，(b)表示烹調(diào)操作前的飽和度的直方圖，(c)表示烹調(diào)操作后的色調(diào)的直方圖，(d)表示烹調(diào)操作后的飽和度的直方圖。
具體實施例方式
圖1是本發(fā)明實施例的食品材料烹調(diào)操作識別系統(tǒng)的整體結(jié)構(gòu)的示意圖，(a)表示整體結(jié)構(gòu)側(cè)視圖，(b)表示整體結(jié)構(gòu)的主視圖。圖1所示的食品材料烹調(diào)操作識別系統(tǒng)包括光學攝像機10、熱感攝像機20、麥克風30、顯示裝置40、揚聲器50、RFID標簽讀出器(tag reader)60及無圖示的數(shù)據(jù)處理裝置。光學攝像機10由公眾所知的動畫攝像機構(gòu)成，被安裝于烹調(diào)臺的上方，拍攝正在烹調(diào)臺上進行烹調(diào)操作的烹調(diào)者的手部，取得動畫圖像的光學圖像。
熱感攝像機20，被安裝在烹調(diào)臺的上方，拍攝正在進行烹調(diào)操作的烹調(diào)者的手部，取得動畫圖像的溫度圖像。
麥克風30，被安裝在烹調(diào)臺的上表面附近，取得因烹調(diào)而產(chǎn)生的環(huán)境音。顯示裝置40，由液晶板、等離子板、CRT等構(gòu)成，顯示用于向烹調(diào)者介紹烹調(diào)菜譜的各種圖像。揚聲器50，輸出用于向烹調(diào)者介紹烹調(diào)菜譜的各種聲音。RFID標簽讀出器60，從安裝在各食品材料上的RFID標簽中讀取存儲于該RFID中的食品材料數(shù)據(jù)。作為食品材料數(shù)據(jù)，包含有表示安裝有RFID標簽的食品材料名稱的數(shù)據(jù)。
圖2是本食品材料烹調(diào)操作識別系統(tǒng)的功能方框圖。本食品材料烹調(diào)操作識別系統(tǒng)包括數(shù)據(jù)處理單元100和感應單元200。數(shù)據(jù)處理單元100，包括CPU、ROM、RAM及硬盤等，具備菜譜數(shù)據(jù)庫101、抽出單元102、食品材料數(shù)據(jù)庫103、烹調(diào)物數(shù)據(jù)庫104、烹調(diào)操作數(shù)據(jù)庫105、特征量模板制作單元106、特征量模板存儲單元107、烹調(diào)流程數(shù)據(jù)庫108、菜譜特征量模板存儲單元109、識別處理單元110及引導單元111的功能。
這些功能，可通過CPU執(zhí)行存儲于ROM中的食品材料烹調(diào)操作識別程序而予以實現(xiàn)。
菜譜數(shù)據(jù)庫101，存儲表示各種菜肴的烹調(diào)菜譜的烹調(diào)菜譜數(shù)據(jù)。該烹調(diào)菜譜數(shù)據(jù)是文本數(shù)據(jù)，包含表示各菜肴所使用的食品材料名稱的食品材料數(shù)據(jù)，以及切、煮、烤等對各食品材料進行的烹調(diào)操作數(shù)據(jù)。
抽出單元102，抽出存儲于菜譜數(shù)據(jù)庫101中的全部烹調(diào)菜譜數(shù)據(jù)所使用的食品材料和對該食品材料的烹調(diào)操作。
食品材料數(shù)據(jù)庫103存儲圖3(a)所示的食品材料表T1，烹調(diào)物數(shù)據(jù)庫104存儲圖3(b)所示的烹調(diào)物表T2，烹調(diào)操作數(shù)據(jù)庫105存儲圖3(c)所示的烹調(diào)操作表T3。
圖3(a)所示的食品材料表T1，包括包含有食品材料名稱、顏色、形狀及大小等字段的食品材料記錄，存儲各食品材料的顏色、形狀、大小等。在食品材料名稱的字段中，存儲有表示食品材料名稱的數(shù)據(jù)。在顏色的字段中，存儲有有關(guān)食品材料顏色的數(shù)據(jù)。此處不僅存儲有關(guān)食品材料的外部顏色的數(shù)據(jù)，也存儲有關(guān)其內(nèi)部顏色的數(shù)據(jù)。例如，由于蘋果的表皮是紅色的，內(nèi)部是白色的，所以在顏色的字段中存儲有“外；紅(△)、[內(nèi)；白]”的數(shù)據(jù)。此處，記號“△”表示預先規(guī)定的確信度的模板確信度。另外，由于西紅柿的表皮是紅色的，內(nèi)部也是紅色的，所以在顏色的字段中存儲有“外；紅(×)、[內(nèi)；紅]”的數(shù)據(jù)。
在形狀的字段中，存儲有表示食品材料的外觀形狀的數(shù)據(jù)。蘋果和西紅柿是圓形的，蘿卜是橢圓形的，因此在各形狀的字段中存儲有“圓形”、“圓形”、“橢圓形”的數(shù)據(jù)。
圖3(b)所示的烹調(diào)物表T2，包括包含有烹調(diào)操作、形狀的變化及顏色等字段的烹調(diào)物記錄，存儲因各烹調(diào)操作而產(chǎn)生的食品材料形狀的變化及顏色的變化。在烹調(diào)操作的字段中，存儲有表示烹調(diào)操作名稱的數(shù)據(jù)。烹調(diào)操作有切碎、切圓片、4分切、切絲、削、烤、煮。此處列舉出的烹調(diào)操作只是一個例子，亦可包含其他烹調(diào)操作，亦可省略部分烹調(diào)操作。
在形狀的變化的字段中，存儲有表示相應的烹調(diào)操作所引起的食品材料形狀的變化的數(shù)據(jù)。例如切碎時，由于食品材料從大變小，由1個整體變?yōu)槎鄠€碎片，因此，對應切碎的形狀變化的字段中存儲有“大→小、少→多”。在顏色的字段中，存儲有表示相應的烹調(diào)操作所引起的食品材料顏色的變化的數(shù)據(jù)。例如，由于被切碎的食品材料主要顯示其內(nèi)部的顏色，所以對應切碎的顏色字段中存儲有“外→內(nèi)”。此外，被切成圓片的食品材料主要顯示其外觀的顏色和內(nèi)部的顏色兩者，于是對應切圓片的顏色字段中存儲有“外→外+內(nèi)”。
圖3(c)所示的烹調(diào)操作表T3，包括包含有烹調(diào)操作、聲音及手的動作等字段的烹調(diào)操作記錄，存儲因各烹調(diào)操作而產(chǎn)生的環(huán)境音及手的動作等。在烹調(diào)操作的字段中，與烹調(diào)物表T2同樣存儲有表示烹調(diào)操作名稱的數(shù)據(jù)。在聲音的字段中，存儲有因各烹調(diào)操作而產(chǎn)生的環(huán)境音數(shù)據(jù)。
食品材料表T1至烹調(diào)操作表T3是預先制作的，各字段中存儲的模板確信度也是預先規(guī)定的。另外，確信度是表示所推定的食品材料及烹調(diào)操作推定的準確性的數(shù)值，確信度越高，所推定的食品材料及烹調(diào)操作越接近烹調(diào)者實際進行烹調(diào)的食品材料及烹調(diào)操作。
在圖3(a)至(c)所示的各表格中，用記號◎、○、△、×表示模板確信度。如圖3(d)所示，◎表示模板確信度屬于0.8～1.0的數(shù)值域，○表示模板確信度屬于0.5～0.8的數(shù)值域，△表示模板確信度屬于0.2～0.5的數(shù)值域，×表示確信度屬于0.0～0.2的數(shù)值域。
圖2所示的特征量模板制作單元106，制作以抽出單元102抽出的食品材料為各列項目、以烹調(diào)操作為各行項目的表格的特征量模板的框架。另外，特征量模板制作單元106，還制作以抽出單元102按烹調(diào)菜譜抽出的食品材料為各列項目、以烹調(diào)操作為各行項目的表格，即菜譜特征量模板的框架。
進而，特征量模板制作單元106，根據(jù)食品材料表T1、烹調(diào)物表T2及烹調(diào)操作表T3的各字段中存儲的模板確信度，將模板確信度寫入特征量模板及菜譜特征量模板的各字段中，使其存儲在特征量模板存儲單元107及菜譜特征量模板存儲單元109中。
特征量模板存儲單元107，存儲由特征量模板制作單元106制作的特征量模板。烹調(diào)流程數(shù)據(jù)庫108，存儲按順序表示對各種菜肴的烹調(diào)菜譜的烹調(diào)工序的烹調(diào)流程。圖9及圖10是烹調(diào)流程數(shù)據(jù)庫108存儲的烹調(diào)流程的示意圖，圖9(a)表示馬鈴薯燉肉的烹調(diào)流程，圖9(b)表示牛肉餅的烹調(diào)流程，圖10(a)表示咖喱牛肉的烹調(diào)流程，圖10(b)表示炒蔬菜的烹調(diào)流程。在圖9及圖10中，以橢圓形所示的對象表示食品材料，以四方形所示的對象表示烹調(diào)操作，越是上層所示的對象，其烹調(diào)工序越接近最終工序。此外，橢圓形中沒有記錄文字的對象，表示被施行了其下一層的對象所示的烹調(diào)操作的食品材料。
圖9(a)所示的馬鈴薯燉肉，牛肉在進行了“切·削”的烹調(diào)操作后，再進行“炒·烤”的烹調(diào)操作。然后，再與進行了“切·削”烹調(diào)操作后的洋蔥一起進行“炒·烤”的烹調(diào)操作。之后，進行了“炒·烤”烹調(diào)操作后的洋蔥和牛肉，與進行了“切·削”烹調(diào)操作后的馬鈴薯一起進行“炒·烤”的烹調(diào)操作后，再進行“燉·煮”的烹調(diào)操作。這樣就完成了目的物的馬鈴薯燉肉。
識別處理單元110，根據(jù)感應單元200輸出的觀測數(shù)據(jù)，進行流程匹配(flow matching)等處理，既推定目前烹調(diào)者正在烹調(diào)的菜肴的烹調(diào)菜譜，又對目前烹調(diào)者正在烹調(diào)的食品材料及烹調(diào)操作予以識別。另外，流程匹配是眾所周知的，其詳細內(nèi)容已公開在公眾所知的文獻1“The Tree-to-TreeCorrection Problem(KUO-CHUNG TAI)Journal of the Association forComputing Machinery，Vol 26.No 3，July 1979.pp 422-433”中。
另外，識別處理單元110相當于烹調(diào)流程制作單元、初次確信度計算單元、匹配度計算單元及烹調(diào)操作識別單元。
引導單元111，將對應由識別處理單元110推定的烹調(diào)菜譜而預先存儲的聲音數(shù)據(jù)和圖像數(shù)據(jù)，從揚聲器50和顯示裝置40輸出，向烹調(diào)者提示烹調(diào)菜譜。此處，引導單元111對目前用戶正在烹調(diào)的烹調(diào)工序進行引導。
感應單元200，包括有圖1所示的熱感攝像機20、光學攝像機10、麥克風30、RFID讀出器60，作為觀測數(shù)據(jù)，向識別處理單元110輸出由熱感攝像機20拍攝的溫度圖像、由光學攝像機10拍攝的光學圖像、由麥克風30取得的環(huán)境音及由RFID標簽讀出器60讀取出的食品材料數(shù)據(jù)。
圖4是特征量模板T4的數(shù)據(jù)結(jié)構(gòu)的示意圖。特征量模板T4，包括包含有食品材料名稱、切碎、切圓片、4分切、切絲、削、烤及煮的字段的特征量記錄。在圖4的例子中，由抽出單元102抽出的烹調(diào)操作為切碎、切圓片、4分切、切絲、削、烤及煮，故在特征量模板T4中制作成這些字段。因此，當抽出單元102抽出這些操作以外的烹調(diào)操作時，該烹調(diào)操作的字段就被包含在特征量模板T4中了。另外，在特征量模板T4的各字段中記載的詞句，是為了便于顯示模板確信度是由哪個數(shù)據(jù)來決定的而予以加注的，實際上只存儲有模板確信度，而并不存儲與圖中所示的語句相關(guān)的數(shù)據(jù)。
在食品材料名稱的字段中，存儲由抽出單元102抽出的食品材料名稱。而有關(guān)特征量模板T4的制作處理將在以后敘述。
圖5是烤蘋果和西紅柿的烹調(diào)菜譜的菜譜特征量模板T5，以及沙拉和煮蘿卜的烹調(diào)菜譜的菜譜特征量模板T6的數(shù)據(jù)結(jié)構(gòu)的示意圖。菜譜特征量模板T5包括食品材料名稱、切、削、烤及煮的字段。切、削、烤及煮是特征量模板T4中所包含的烹調(diào)操作，是烤蘋果和西紅柿的烹調(diào)菜譜中所包含的烹調(diào)操作。
菜譜特征量模板T6包括食品材料名稱、切、削、烤及煮的字段。切、削、烤及煮是特征量模板T4中所包含的烹調(diào)操作，是沙拉和煮蘿卜的烹調(diào)操作。
下面，用圖6所示的流程圖及圖7所示的表格的變化圖，就特征量模板的制作處理予以說明。首先，在步驟S1中，抽出單元102，抽出存儲于菜譜數(shù)據(jù)庫101中的全部烹調(diào)菜譜所包含的全部烹調(diào)操作及全部食品材料。
在步驟S2中，特征量模板制作單元106，制作特征量模板的框架，即包括在步驟S1抽出的作為項目的食品材料和烹調(diào)操作的表格。圖7的特征量模板T4的場合，由于在菜譜數(shù)據(jù)庫101中，作為烹調(diào)操作數(shù)據(jù)而包含有切碎、切圓片、4分切、切絲、削、烤及煮，所以，這些烹調(diào)操作被作為各列的項目，而作為食品材料包含有蘋果、西紅柿、蘿卜，故這些食品材料名稱被作為各行的項目。
在步驟S3中，特征量模板制作單元106，依據(jù)食品材料表T1、烹調(diào)物表T2及烹調(diào)操作表T3的各字段中存儲的模板確信度，將模板確信度寫入特征量模板T4的各字段中。
具體而言，以如下方式寫入模板確信度。以圖7所示的特征量模板T4中對應蘋果的切圓片字段FI1為例進行說明。由于對應字段FI1的食品材料名稱是蘋果，因而從食品材料表T1中抽出存儲有蘋果的食品材料記錄R1。另外，由于對應字段FI1的烹調(diào)操作是切圓片，因而從烹調(diào)物表T2及烹調(diào)操作表T3中抽出存儲有切圓片的烹調(diào)物記錄R2及烹調(diào)操作記錄R3。
構(gòu)成食品材料記錄R1的各字段所存儲的模板確信度中最大的模板確信度為“△”。而且，構(gòu)成烹調(diào)物記錄R2的各字段所存放的模板確信度中最大的模板確信度為“○”。而構(gòu)成烹調(diào)操作記錄R3的各字段所存放的模板確信度中最大的模板確信度為“△”。因此，食品材料記錄R1、烹調(diào)物記錄R2及烹調(diào)操作記錄R3的各字段所存儲的模板確信度中最大的模板確信度則為“○”。由此，將“○”的模板確信度寫入特征量模板T4的字段FI1中。
這樣，模板確信度被寫入特征量模板T4的各字段中從而制作成特征量模板T4。制作成的特征模板T4，被存儲在特征量模板存儲單元107中。另外，也同樣地制作菜譜特征量模板。
下面，依據(jù)圖8所示的流程圖，就本食品材料烹調(diào)操作識別系統(tǒng)的操作進行說明。首先，在步驟S11中，感應單元200取得觀測數(shù)據(jù)，并向數(shù)據(jù)處理單元100發(fā)送。在步驟S12中，識別處理單元110，對熱感攝像機20所拍攝的溫度圖像、光學攝像機10所拍攝的光學圖像及麥克風30所取得的環(huán)境音進行食品材料·烹調(diào)操作決定處理，既決定目前烹調(diào)者正在烹調(diào)的食品材料及對該食品材料的烹調(diào)操作，又計算對所決定的食品材料的確信度和對所決定的烹調(diào)操作的確信度，即觀測確信度。另外，有關(guān)食品材料·烹調(diào)操作決定處理的詳細內(nèi)容，將在后面用圖13所示的流程圖進行敘述。
在步驟S13中，識別處理單元110，用由步驟S12決定的食品材料及烹調(diào)操作，制作表示從烹調(diào)開始到現(xiàn)在為止烹調(diào)者所進行的烹調(diào)過程的烹調(diào)流程。
此時，制作如圖11(a)所示的烹調(diào)流程?？芍?，在該烹調(diào)流程中，作為食品材料使用的是馬鈴薯、洋蔥及牛肉，對這些食品材料進行“切”、“炒”、“煮”等烹調(diào)操作的烹調(diào)流程被制作而成。
在圖8所示的步驟S14中，識別處理單元110，將在步驟S12得到的烹調(diào)操作及食品材料的觀測確信度，與存儲在特征量模板T4中的相對應的字段中所存儲的模板確信度相乘，計算構(gòu)成烹調(diào)流程的各對象的確信度，即初次確信度(primary certainty factor)(＝模板確信度×觀測確信度)。
作為具體的例子，在圖11(a)所示的烹調(diào)流程中，表示有計算對象O1的初次確信度C1、對象O2的初次確信度C2的情況。
此處，為了便于說明，在圖11(a)所示的烹調(diào)流程中，將對象O1設(shè)為蘋果來代替馬鈴薯，而將對象O2設(shè)為切圓片來代替切。此外，還將圖4所示的特征量模板T4中的對蘋果切圓片的模板確信度設(shè)為A1。
然后，假定通過步驟S12計算出對蘋果的觀測確信度為B1，對切圓片的觀測確信度為B2。于是，對象O1的初次確信度C1，可通過C1＝B1×A1來計算，而對象O2的初次確信度C2則可通過C2＝B2×A2來計算。
在步驟S15中，識別處理單元110，對存儲在由步驟S13制作的烹調(diào)流程和烹調(diào)流程數(shù)據(jù)庫108中的各烹調(diào)流程進行流程匹配，計算表示烹調(diào)者目前正在烹調(diào)的菜肴接近存儲于烹調(diào)流程數(shù)據(jù)庫108的各烹調(diào)流程中的哪個烹調(diào)流程的匹配度。另外，關(guān)于流程匹配的匹配度計算，已被公開在上述公眾所知的文獻1中。
圖11是流程匹配(flow matching)的說明圖，(a)表示所制作的烹調(diào)流程，(b)表示預先存儲在烹調(diào)流程數(shù)據(jù)庫108中的烹調(diào)流程。在圖11(b)的例子中，假定烹調(diào)流程數(shù)據(jù)庫108中預先存儲了馬鈴薯燉肉的烹調(diào)流程F1、咖喱的烹調(diào)流程F2、炒蔬菜的烹調(diào)流程F3和煎雞蛋卷的烹調(diào)流程F4。
圖11(a)所示的烹調(diào)流程，隨著圖8所示的流程圖被反復執(zhí)行，而從下至上逐漸完成對象。另外，最下層的烹調(diào)操作、即對馬鈴薯、洋蔥、牛肉進行“切”的烹調(diào)操作，雖不是同時進行的，但由于是對各食品材料最初進行的烹調(diào)操作，故該表示“切”的對象顯示在同一層。
然后，識別處理單元110，分別計算圖11(a)所示的烹調(diào)流程相對圖11(b)所示的馬鈴薯燉肉～煎雞蛋卷的烹調(diào)流程F1～F4的匹配度。在圖11(b)的例子中，分別計算出相對馬鈴薯燉肉、咖喱、炒蔬菜、煎雞蛋卷的烹調(diào)流程F1至F4的匹配度為0.8、0.7、0.4、0.2。然后，識別處理單元110，將匹配度未達到規(guī)定值(例如0.5)的炒蔬菜和煎雞蛋卷的烹調(diào)流程F3和F4，從下次流程匹配的匹配對象中刪除。亦即，在下次的流程匹配中，不計算相對炒蔬菜和煎雞蛋卷的烹調(diào)流程F3和F4的匹配度。這樣，可以謀求實現(xiàn)流程匹配處理的高速化。
在步驟S16中，特征量模板制作單元106，對在步驟S14計算出的各初次確信度，從由步驟S15計算出的相對各烹調(diào)流程的匹配度中求出匹配度的代表值(例如平均值)，用代表值乘以各初次確信度，來計算最終確信度，以計算出的最終確信度作為新的模板確信度而寫入特征量模板T4的對應字段中，從而更新特征量模板T4。
若用在步驟S14所示的具體例子對步驟S16進行說明，則可對初次確信度C1和C2，乘以圖11(b)所示的馬鈴薯燉肉的代表值，求出最終確信度D1和D2。然后，將求得的最終確信度D1和D2寫入特征量模板T4中對應馬鈴薯燉肉的切圓片的字段，從而更新特征量模板T4。
在步驟S17中，特征量模板制作單元106，對在步驟S14計算出的各初次確信度，分別乘以在步驟S15計算出的對各烹調(diào)流程的匹配度，計算按烹調(diào)菜譜的最終確信度，將計算出的按烹調(diào)菜譜的最終確信度，作為模板確信度而寫入相應的烹調(diào)菜譜模板的對應字段中，更新烹調(diào)菜譜模板。
作為具體的例子，若用圖11的馬鈴薯燉肉為例來進行說明，則可計算出馬鈴薯燉肉的匹配度為0.8。然后，將該0.8乘以圖11(a)所示的烹調(diào)流程的各對象所具有的初次確信度，來計算最終確信度。然后，將計算出的最終確信度寫入馬鈴薯燉肉的菜譜特征量模板中的對應馬鈴薯的切圓片的字段中，更新馬鈴薯燉肉的菜譜特征量模板。
在圖8所示的步驟S18中，如果識別處理單元110，參照更新后的特征量模板T4和菜譜模板，既可對烹調(diào)菜譜進行推定，又可識別對于感應單元20取得的觀測數(shù)據(jù)的食品材料和烹調(diào)操作(S18為YES)，則結(jié)束處理。
另一方面，在步驟S18中，如果既無法推定烹調(diào)菜譜，又不能識別食品材料和烹調(diào)操作(S18為NO)，則處理返回步驟S11，繼續(xù)進行步驟S12之后的處理。
此處，識別處理單元110，當菜譜特征量模板或特征量模板的某一字段存儲的模板確信度，大于其他字段存儲的模板確信度一定值或一定值以上時，則將對應該字段的食品材料和烹調(diào)操作，識別為對應感應單元20取得的觀測數(shù)據(jù)的食品材料和烹調(diào)操作。此外，還將步驟S15計算出的匹配度在一定值或一定值以上的烹調(diào)流程所對應的烹調(diào)菜譜，識別為目前烹調(diào)者正在烹調(diào)的菜肴的烹調(diào)菜譜。
如上所述，圖11(a)所示的烹調(diào)流程，是隨著反復執(zhí)行圖8所示的流程圖而逐漸完成的。因此，當烹調(diào)者按烹調(diào)流程數(shù)據(jù)庫108中存儲的烹調(diào)菜譜中任一的烹調(diào)菜譜，來烹調(diào)菜肴時，圖11(a)所示的烹調(diào)流程會逐漸接近烹調(diào)流程數(shù)據(jù)庫108中存儲的烹調(diào)流程中任一的烹調(diào)流程。亦即，烹調(diào)流程數(shù)據(jù)庫108中存儲的指定的烹調(diào)流程的匹配度，相對其他烹調(diào)流程的匹配度逐漸增大。而且，，匹配度增大的烹調(diào)流程所對應的菜譜特征量模板的指定字段中的模板確信度也隨此逐漸增大。由此，識別食品材料及烹調(diào)操作成為可能。
圖12是表示觀測流程的節(jié)點數(shù)和編輯距離(edit distance)的關(guān)系的圖表，縱軸表示編輯距離，橫軸表示觀測流程的節(jié)點數(shù)。在此，觀測流程表示根據(jù)感應單元200所取得的觀測數(shù)據(jù)制作成的烹調(diào)流程，觀測流程的節(jié)點數(shù)表示圖11(a)所示的對象數(shù)，編輯距離則是表示觀測流程與烹調(diào)流程的近似程度的數(shù)值。例如，當目前烹調(diào)者正在烹調(diào)馬鈴薯燉肉時，由感應單元200取得的觀測數(shù)據(jù)制作成的烹調(diào)流程，與存儲于烹調(diào)流程數(shù)據(jù)庫108中的馬鈴薯燉肉的烹調(diào)流程的匹配度越高，編輯距離的值就越小。
圖12所示的是馬鈴薯燉肉、咖喱牛肉、咖喱牛肉2、炒蔬菜及牛肉餅的圖表。由圖可知，在除牛肉餅以外的任一圖形中，隨著節(jié)點數(shù)的增大，編輯距離減小。因此，隨著圖8所示的流程圖的反復執(zhí)行，對烹調(diào)流程數(shù)據(jù)庫中存儲的烹調(diào)流程中指定的烹調(diào)流程的匹配度增大的結(jié)果是，能夠指定烹調(diào)者目前正在烹調(diào)的菜肴所對應的烹調(diào)菜譜。
下面，按照圖13所示的流程圖，對圖8的步驟S12所示的食品材料·烹調(diào)操作決定處理的詳細內(nèi)容進行說明。以下的處理由識別處理單元110來執(zhí)行。首先，在步驟S21，從光學攝像機10所拍攝的光學圖像和熱感攝像機20所拍攝的熱感圖像的兩幅圖像中除去背景區(qū)域。
在此，對于光學圖像，可通過公眾所知的背景差分處理來去除背景區(qū)域。另外，對于溫度圖像，對第i幀的溫度圖像應用中值濾波器，抽出某溫度低于規(guī)定值的象素以一定的大小或其以上而連續(xù)存在的區(qū)域REGIONi，并以該區(qū)域為食品材料區(qū)域。而且，對第i+1幀的溫度圖像，亦可同樣抽出區(qū)域REGIONi+1，通過追蹤所抽出的區(qū)域來抽出食品材料區(qū)域，并將食品材料區(qū)域以外的區(qū)域作為背景區(qū)域除去。另外，REGIONi+1相對REGIONi的移動距離在規(guī)定值或規(guī)定值以上時，由于移動距離過大，所以判斷追蹤食品材料區(qū)域不適當，因而不進行食品材料區(qū)域的抽出。
在此，通過在溫度圖像和光學圖像中，設(shè)定被抽出的背景區(qū)域的各象素值為指定的低色層值(例如0)，從而除去背景區(qū)域。而且，對構(gòu)成食品材料區(qū)域的象素值加算指定的偏移值。
此時可知，圖14(a)所示的光學圖像中所包含的手及洋蔥以外的區(qū)域，如圖14(b)所示用黑色來表示，背景區(qū)域則從光學圖像中被除去。而且可知，圖14(c)所示的溫度圖像中所包含的洋蔥以外的區(qū)域，如圖14(d)所示，作為背景區(qū)域而用黑色來表示，背景區(qū)域則從溫度圖像中被除去。
在步驟S22中，對步驟S21所抽出的兩幅背景圖像，施以膨脹處理后，再施以壓縮處理，從而除去背景圖像中所包含的小孔或孤島等噪音。
在步驟S23中，執(zhí)行為將溫度圖像和光學圖像的坐標系進行合并的坐標變換，在步驟S24中，被除去了背景區(qū)域的溫度圖像和光學圖像相乘，而將大于規(guī)定值的象素數(shù)據(jù)連續(xù)存在一定個數(shù)(面積)或一定個數(shù)(面積)以上的區(qū)域作為食品材料區(qū)域抽出。
此時，如圖14(e)所示的食品材料區(qū)域被抽出。另外，可知圖14(d)所示的背景區(qū)域，比圖14(b)所示的背景區(qū)域包含更多的噪音。另一方面，可知在圖14(d)中只抽出洋蔥，而在圖14(b)中除洋蔥外還抽出手。
因此，通過將兩幅圖像相乘，可以使表示只出現(xiàn)在溫度圖像和光學圖像中的其中任何之一的圖像中的噪音的象素值變小，去除的結(jié)果可以更加準確的抽出食品材料區(qū)域。
在步驟S25中，將由步驟S24相乘算得的圖像按各食品材料區(qū)域加以分割。在此，當由步驟S24抽出的食品材料區(qū)域存在多個時，面積多少大于各食品材料區(qū)域面積的矩形上的框架被應用于各食品材料區(qū)域，上述相乘算得的圖像被分割為食品材料圖像。
在步驟S26中，執(zhí)行各食品材料圖像與后述顏色特征模板的模板匹配，指定各食品材料圖像所表示的食品材料。該顏色特征模板，每種食品材料都存在，它們被預先存儲在未圖示的存儲器中。
具體而言，對于從食品材料最初出現(xiàn)在光學攝像機10和熱感照相機20中的幀開始，到從指定幀數(shù)(FRAMEstartafterCook)的幀中、手的區(qū)域從與食品材料區(qū)域相接觸的狀態(tài)變成離開狀態(tài)為止的各幀(frame)，求出食品材料區(qū)域的色調(diào)的直方圖(hue histograms)的平均值作為HbeforeCook，求出其飽和度直方圖的平均值作為SbeforeCook。
而且，當手的區(qū)域與食品材料區(qū)域不相接觸的狀態(tài)為指定幀數(shù)(FRAMEendafterCook)或其以上時，則判定烹調(diào)操作結(jié)束。由于是這樣來判定烹調(diào)操作的結(jié)束的，因而可以防止誤將烹調(diào)操作的臨時的操作中斷判定為烹調(diào)操作的結(jié)束。
而且，在烹調(diào)操作結(jié)束后，可求出FRAMEstartAfterCook的幀中剩下的各幀的色調(diào)直方圖的平均值作為HafterCook，以及求出其飽和度的直方圖的平均值SafterCook。
在此，稱HbeforeCook為烹調(diào)操作前的色調(diào)的顏色特征，稱SbeforeCook為烹調(diào)操作前的飽和度的顏色特征，稱HafterCook為烹調(diào)操作后的色調(diào)的顏色特征，稱SafterCook為烹調(diào)操作后的色調(diào)的顏色特征。另外，將HbeforeCook、SbeforeCook、HafterCook、SafterCook統(tǒng)稱為顏色特征。
下面，設(shè)對各食品材料預先規(guī)定的烹調(diào)操作前的色調(diào)的顏色特征模板為Hbefore(food)，烹調(diào)操作后的色調(diào)的顏色特征模板為Hafter(food)，烹調(diào)操作前的飽和度的顏色特征模板為Sbefore(food)，烹調(diào)操作后的飽和度的顏色特征模板為Safter(food)，并用公式(1)求出烹調(diào)操作前的色調(diào)的顏色特征模板和烹調(diào)操作前的色調(diào)的顏色特征的距離DbeforeHue(food)。另外，括號內(nèi)顯示的food為表示食品材料的參數(shù)。而且，將Hbefore(food)、Hafter(food)、Sbefore(food)、Safter(food)統(tǒng)稱為顏色特征模板。
DbeforeHue(food)＝root((HbeforeCook-Hbefore(food))t(HbeforeCook-Hbefore(food)) (1)
此外，用公式(2)求出烹調(diào)操作前的飽和度的顏色特征模板和烹調(diào)操作前的飽和度的顏色特征的距離Dbefore(food)。此處，root((A-B)t(A-B))表示向量A和向量B的歐幾里德距離。
DbeforeSat(food)＝root((SbeforeCook-Sbefore(food))t(SbeforeCook-Sbefore(food))(2)然后，將烹調(diào)操作前的色調(diào)距離和烹調(diào)操作前的飽和度距離加權(quán)后進行相加，求出對于烹調(diào)操作前的各食品材料的顏色特征和顏色特征模板的距離Dbefore(food)。該計算式由公式(3)來表示。
Dbefore(food)＝wDbeforeHue(food)+(1-w)DbeforeSat(food) (3)同樣，對于烹調(diào)操作后的顏色特征和顏色特征模板的距離，計算Dafter(food)，將Dbefore(food)和Dafter(food)相加，求出顏色特征變化距離McolorConstraint(food)。w為加權(quán)系數(shù)。
McolorConstraint(food)＝Dbefore(food)+Dafter(food) (4)然后，將顏色特征變化距離最小的食品材料定為食品材料圖像所表示的食品材料。
若概括步驟S26的處理，則是例如，通過感應單元200取得了洋蔥、馬鈴薯、胡蘿卜的食品材料數(shù)據(jù)。而且，在某食品材料圖像中，當對洋蔥的顏色特征模板、馬鈴薯的顏色特征模板及胡蘿卜的顏色特征模板的顏色特征變化距離按此順序增大時，該食品材料圖像中所包含的食品材料區(qū)域，被判定為表示胡蘿卜。
圖15及圖16是青椒及南瓜的色調(diào)、飽和度及區(qū)域尺寸隨時間變化的圖表。在圖15及圖16中，(a)表示色調(diào)，(b)表示飽和度，(c)表示區(qū)域尺寸。Second表示從食品材料在觀測區(qū)域中出現(xiàn)后所經(jīng)過的時間(秒)。色調(diào)·飽和度分別計算出12階段的直方圖，將在繪其成圖時的等高線，僅提出顯示有顯著值的部分(色調(diào)為0至5，飽和度為0至10)加以繪制。
首先，來看色調(diào)·飽和度，可知，起初青椒和南瓜顯示了相似的直方圖，但一旦通過切開而開始顯現(xiàn)出食品材料內(nèi)部的顏色后，特別是南瓜的顏色會發(fā)生較大的變化，兩者之間產(chǎn)生明顯的差異。而且可知，青椒由于被切成細絲，因而被拍到畫面上的面增大，尺寸有較大地增加，而南瓜則由于切成大塊，面并沒怎么增大，尺寸不變。
圖17是表示烹調(diào)操作前后的蘋果和西紅柿的色調(diào)及飽和度的直方圖的圖表，(a)表示烹調(diào)操作前的色調(diào)直方圖，(b)表示烹調(diào)操作前的飽和度直方圖，(c)表示烹調(diào)操作后的色調(diào)直方圖，(d)表示烹調(diào)操作后的飽和度直方圖。在圖17中，實線表示蘋果，虛線表示西紅柿。
由于蘋果和西紅柿表面都是紅色的，所以可知，如(a)和(b)所示，烹調(diào)操作前的蘋果和西紅柿的圖形近似。另一方面，又由于蘋果削皮后變成白色，西紅柿切后仍保持紅色不變，所以可知，如(c)和(d)所示，蘋果和西紅柿的圖形存在較大的差異。換言之，也可以說，在烹調(diào)操作后紅色物體變?yōu)榘咨珪r，該紅色物體比起西紅柿更接近蘋果。
此外，烹調(diào)操作前的西紅柿和紅椒都是紅色的，其特征類似，但只要可以從烹調(diào)菜譜中得到西紅柿只可能被切成圓片而不會被切碎的信息，則在得到紅色物體被切碎的結(jié)果時，可以推定該食品材料為紅椒的可能性較大。
下面，對作為上述顏色特征不采用RGB表色系而采用HSV表色系的理由加以說明。RGB表色系是用光的三原色再現(xiàn)各種顏色的方法。另一方面，HSV表色系，雖然難以和光的物理量建立關(guān)系，但被稱為是再現(xiàn)人類感覺的表色系。因此，在圖像識別中經(jīng)常采用HSV表色系。另外，作為上述顏色特征，采用了色調(diào)和飽和度，而沒有使用亮度。這是由于即使不采用主要表現(xiàn)物體映影的亮度，也可從色調(diào)和飽和度中取出物體本身的顏色(亦即，擴散反射光的顏色)。
下面，對不采用形狀特征的模板匹配，而采用顏色特征的模板匹配的優(yōu)點加以說明。一般而言，模板匹配多采用弧度等形狀特征及紋理特征。但是，在烹調(diào)食品材料時，由于用手接觸的情況較多，因而無法使用形狀特征的模板匹配。
此外，紋理特征是用邊緣、頻率等來評價物體表面的粗糙度、紋路等。因此，(1)要得到紋理特征必須要有某種程度的高分辨率和觀測范圍，而確保這些并不容易。(2)此外，為了使粗糙度在圖像中作為映影出現(xiàn)而有賴于光照，而實際環(huán)境中通常難以確保均勻的照明環(huán)境。(3)并且，即使是同一名稱的食品材料也未必具有相同的表面特性，由于各食品材料之間紋路和質(zhì)感不同，因此特征量的再現(xiàn)性較差。根據(jù)上述理由，比起用形狀特征或紋理特征，采用顏色特征的模板匹配較為理想。
在圖13所示的步驟S27中，由感應單元200取得的環(huán)境音來推定烹調(diào)操作。具體而言，從環(huán)境音中統(tǒng)計在砧板上切食品材料時而產(chǎn)生的敲擊聲的產(chǎn)生次數(shù)，用公式(5)至(7)求出表示敲擊次數(shù)cut相對削的接近程度的距離Dcook(peel，cut)、表示敲擊次數(shù)cut相對切碎的接近程度的距離Dcook(rect，cut)及表示敲擊次數(shù)cut相對包含4分切、切園片、切絲在內(nèi)的剁切的接近程度的距離Dcook(chop，cut)，將距離為最小的烹調(diào)操作決定為目前烹調(diào)者正在進行的烹調(diào)操作。
Dcook(peel，cut)＝|cut-AVERAGEpeel|/σpeel(5)Dcook(chop，cut)＝|cut-AVERAGEchop|/σchop(6)Dcook(rect，cut)＝|cut-AVERAGErect|/σrect(7)其中，AVERAGEpeel、AVERAGEchop、AVERAGErect是由預先進行的實驗所得到的實驗數(shù)據(jù)的平均值，σpeel、σchop、σrect是由預先進行的實驗所得到的實驗數(shù)據(jù)的標準偏差。
在步驟S28中，抽出存在于菜譜數(shù)據(jù)庫101所存儲的烹調(diào)菜譜中的食品材料和烹調(diào)操作的組合，用公式(8)求出各food(食物)和圖像中食品材料的烹調(diào)操作距離McookConstraint(food)。
McookConstraint(food)＝min{Dcook(act，cut)|COOK(act，food)＝1} (8)此處，COOK(act，food)，當在菜譜數(shù)據(jù)庫101中存儲的烹調(diào)菜譜中，存在食品材料和烹調(diào)操作的組合時為1，而不存在食品材料和烹調(diào)操作的組合時則為0。McookConstraint(food)，在公式(8)中min{A}表示A的最小值。因此，Dcook(act，food)的最小值就為McookConstraint(food)。而且，將該McookConstraint(food)所示的food定為烹調(diào)者正在烹調(diào)的食品材料。
另外，McookConstraint(food)其值越小，越能對實際的食品材料food施以可能的烹調(diào)操作，而能正確識別食品材料的可能性就越高。
在步驟S29中，對McookConstraint(food)和用公式(4)求得的McolorConstraint(food)進行相加(公式(9))，計算出Mconstraint(food)，并計算出1-Mconstraint(food)作為在步驟S28中決定的食品材料的確信度。
Mconstraint(food)＝McolorConstraint(food)+McookConstraint(food) (9)在步驟S30中，執(zhí)行公式(10)至公式(12)的計算，將在這些公式中計算出的計算結(jié)果為最小的公式所示的烹調(diào)操作決定為烹調(diào)者正在進行的烹調(diào)操作。
Mcook(peel，cut)＝Dcook(peel，cut)×MINpeel(10)Mcook(chop，cut)＝Dcook(peel，cut)×MINchop(11)Mcook(peel，rect)＝Dcook(peel，cut)×MINrect (12)其中，MINpeel＝min{Mconstraint(food)|COOK(peel，food)＝1}
MINchop＝min{Mconstraint(food)|COOK(chop，food)＝1}MINrect＝min{Mconstraint(food)|COOK(rect，food)＝1}在步驟S31中，從1中減去公式(10)至公式(12)中的計算結(jié)果最小的公式的計算值，計算相對由步驟S30計算出的烹調(diào)操作的確信度。
如上所述，根據(jù)本食品材料烹調(diào)操作識別系統(tǒng)，特征量模板T4本身存儲有模板確信度，對攝像機在各瞬間確認的食品材料和烹調(diào)結(jié)果，在多大程度上可信賴的識別結(jié)果做出了定義。初次確信度，進一步經(jīng)過流程匹配的步驟而逐漸成為確實可靠的最終確信度，從而可獲得更高的識別結(jié)果。
此外，本食品材料烹調(diào)操作識別系統(tǒng)也可獲得指定烹調(diào)菜譜的副效果，但本食品材料烹調(diào)操作識別系統(tǒng)的最大效果還是在于，可以判別各瞬間的作為攝像機和麥克風等的對象的食品材料和烹調(diào)操作在多大程度上是可靠的。
其結(jié)果，可以實時地進行以往有所不足的高度的交互作用。亦即，在以用現(xiàn)有的各種傳感器來識別人物操作為目的的系統(tǒng)中，所存在的問題是，各種傳感器的識別自有其局限性，而且，還由于成本的關(guān)系，可能使用的傳感器也是有限的，其能力亦有限度。
在這樣的制約下，當所要識別的對象的確信度較低時，以聲音為中心并利用圖像等與用戶的交互作用的支持就變得很重要。促使用戶對菜單、烹調(diào)菜譜、食品材料及烹調(diào)操作進行確認，在覆蓋了上述傳感器性能的基礎(chǔ)上，對于強化/建立和本系統(tǒng)用戶的信賴關(guān)系上是非常重要的。
具體而言，在圖11(b)中，即使有匹配度不同的“馬鈴薯燉肉”和“咖喱”的菜譜，圖11(a)的對象O1是不是對應匹配度最高的“馬鈴薯燉肉”還是不明確，但通過用匹配度乘以初次確信度來求出確信度，則可以判別哪一方、或雙方的可能性是否較高。
通過基于該判別結(jié)果的交互，改變例如“現(xiàn)在正在烹調(diào)的是什么種類的？”或“現(xiàn)在在做的菜譜(不是咖喱)是馬鈴薯燉肉吧”等語調(diào)則成為可能。當然，在有最終確信度的值非常高的食品材料和烹調(diào)操作時，作為交互也可相反地向用戶積極地做出建議“馬鈴薯燉肉和咖喱不同，注意不要燉過頭才會比較美味哦”。此外，當兩者的最終確信度較低時，由于雙方都無法確定，因而就暫不交互，或者進行直截了當?shù)叵蛴脩粼儐柌俗V的交互。以上的結(jié)果，與以往相比，基于體現(xiàn)全面情況的確信度的食品材料和烹調(diào)操作的識別，可以在各瞬間以較高的精確度予以進行。
本發(fā)明可采用以下形態(tài)。
(1)圖1所示的顯示裝置40，亦可為內(nèi)裝于投影儀、IH烹調(diào)器及烹調(diào)臺中的顯示裝置。
(2)在上述實施例中采用了熱感攝像機20，但亦可用單眼紅外線傳感器取而代之。此時，通過與光學攝像機10聯(lián)合起來推定溫度范圍，用面積比來識別高溫區(qū)域和低溫區(qū)域的差即可。但是，在這種情況下，雖然難以區(qū)別人手，但對于人手是否在攝像機圖像內(nèi)則能夠充分地予以識別，人手在攝像機圖像內(nèi)的圖像幀也可忽略。
(3)圖7所示的食品材料表、烹調(diào)物表及烹調(diào)操作表所存儲的模板確信度的值，亦可采用本系統(tǒng)的制造商等預先計算的圖像處理確信度。此外，特征量模板亦可繼續(xù)使用在本系統(tǒng)使用期間已獲得的特征量模板。由此，也可考慮提供一種用戶固有的信賴性較高的系統(tǒng)。
(4)在圖11(b)所示的匹配度較低(例如0.5或0.5以下)或不明時，亦可假定最終確信度等于初次確信度。
(本發(fā)明的總結(jié))(1)本發(fā)明的食品材料烹調(diào)操作識別系統(tǒng)包括，取得至少包含進行烹調(diào)操作的烹調(diào)者手邊的圖像和由該烹調(diào)操作產(chǎn)生的環(huán)境音的其中任何之一方的觀測數(shù)據(jù)的感應單元、將對各種食品材料預先設(shè)想的各種烹調(diào)操作，連同模板確信度即對各食品材料的每種烹調(diào)操作預先規(guī)定的確信度一起，以表格的形式加以存儲的特征量模板、根據(jù)上述感應單元所取得的觀測數(shù)據(jù)，計算表示烹調(diào)者正在烹調(diào)的食品材料及對該食品材料的烹調(diào)操作的至少其中任何之一的確信度的觀測確信度，根據(jù)計算出的觀測確信度，制作烹調(diào)者烹調(diào)菜肴的烹調(diào)流程的烹調(diào)流程制作單元、根據(jù)上述模板確信度和上述觀測確信度，計算初次確信度，即對于構(gòu)成上述烹調(diào)流程制作單元所制作成的烹調(diào)流程的各對象的確信度的初次確信度計算單元、根據(jù)上述初次確信度計算單元計算出的初次確信度，計算最終確信度，以計算出的最終確信度作為新的模板確信度，更新上述特征量模板，并根據(jù)更新后的特征模板，來識別對應上述感應單元所取得的觀測數(shù)據(jù)的食品材料及烹調(diào)操作的烹調(diào)操作識別單元。
根據(jù)該結(jié)構(gòu)，根據(jù)感應單元所取得的進行烹調(diào)操作的烹調(diào)者的手部圖像和該烹調(diào)操作產(chǎn)生的環(huán)境音，計算烹調(diào)者正在烹調(diào)的食品材料及對該食品材料的烹調(diào)操作的觀測確信度，根據(jù)該觀測確信度，制作烹調(diào)流程。然后，根據(jù)模板確信度和觀測確信度，計算對于構(gòu)成烹調(diào)流程的各對象的初次確信度，根據(jù)該匹配度和初次確信度，計算最終確信度，對由感應單元取得的圖像中的食品材料及對該食品材料的烹調(diào)操作予以識別。亦即，由于是根據(jù)存儲有模板確信度的特征量模板來識別烹調(diào)操作及食品材料，因而可以較高的精確度對食品材料及烹調(diào)操作進行推定。
(2)而且，上述的食品材料烹調(diào)操作識別系統(tǒng)還以包括，用來存儲為各種菜肴預先制作的烹調(diào)流程的烹調(diào)流程數(shù)據(jù)庫、用流程匹配來計算表示由上述烹調(diào)流程制作單元制作的烹調(diào)流程，與存儲在上述菜譜流程數(shù)據(jù)庫中的各烹調(diào)流程中的哪個烹調(diào)流程相近的匹配度的匹配度計算單元，其中，上述烹調(diào)操作識別單元，根據(jù)由上述匹配度計算單元計算出的匹配度和上述初次確信度，對食品材料及烹調(diào)操作予以識別為宜。
根據(jù)該結(jié)構(gòu)，由于計算預先為各菜肴制作的烹調(diào)流程和基于觀測數(shù)據(jù)制作的烹調(diào)流程的匹配度，并根據(jù)該匹配度和初次確信度，對食品材料及烹調(diào)操作進行識別，因而可進一步提高識別的精確度。
(3)而且，上述的食品材料烹調(diào)操作識別系統(tǒng)最好是，還包括由包含存儲表示食品材料的數(shù)據(jù)的字段，及將與該食品材料有關(guān)的各種數(shù)據(jù)連同對該數(shù)據(jù)預先規(guī)定的模板確信度一起進行存儲的字段的食品材料記錄所構(gòu)成的食品材料表、由包含存儲表示烹調(diào)操作的數(shù)據(jù)的字段，及將與該烹調(diào)操作引起的食品材料變化有關(guān)的各種數(shù)據(jù)連同對該數(shù)據(jù)預先規(guī)定的模板確信度一起進行存儲的字段的烹調(diào)物記錄所構(gòu)成的烹調(diào)物表、由包含存儲表示烹調(diào)操作的數(shù)據(jù)的字段，及將與該烹調(diào)操作產(chǎn)生的環(huán)境音有關(guān)的各種數(shù)據(jù)連同對該數(shù)據(jù)預先規(guī)定的模板確信度一起進行存儲的字段的烹調(diào)操作記錄所構(gòu)成的烹調(diào)操作表、存儲表示各種烹調(diào)菜譜所使用的食品材料的數(shù)據(jù)和表示對該食品材料進行的烹調(diào)操作的數(shù)據(jù)的烹調(diào)菜譜數(shù)據(jù)庫、存儲抽出上述烹調(diào)菜譜數(shù)據(jù)庫中存儲的全部種類的食品材料和全部種類的烹調(diào)操作的抽出單元、至少存儲其中任意一個表的表存儲單元，以及制作包括由上述抽出單元抽出的各食品材料和由上述抽出單元抽出的各烹調(diào)操作作為項目的表格來作為特征量模板的特征量模板制作單元，其中，上述特征量模板制作單元，從以下記錄中的至少其中之一的記錄中的各字段中所存儲的模板確信度中，將最大的確信度作為模板確信度向構(gòu)成上述特征量模板的字段中的任意字段中寫入，其中所述記錄是指，存儲有表示對應該任意字段的食品材料的數(shù)據(jù)的上述食品材料表的食品材料記錄、存儲有表示對應該任意字段的烹調(diào)操作的數(shù)據(jù)的上述烹調(diào)物表的烹調(diào)物記錄以及存儲有表示對應該任意字段的烹調(diào)操作的數(shù)據(jù)的上述烹調(diào)操作表的烹調(diào)操作記錄。
根據(jù)該結(jié)構(gòu)，可獲得附帶模板確信度的特征量模板。
(4)而且，上述的食品材料烹調(diào)操作識別系統(tǒng)，還以上述感應單元包括熱感攝像機和光學攝像機，上述感應單元所取得的圖像包含熱感攝像機拍攝的溫度圖像和光學攝像機拍攝的光學圖像為宜。
根據(jù)該結(jié)構(gòu)，由于使用光學圖像和溫度圖像來對食品材料及烹調(diào)操作進行識別，因而可以提高食品材料及烹調(diào)操作的識別精確度。
(5)而且，上述的食品材料烹調(diào)操作識別系統(tǒng)，還以上述烹調(diào)流程制作單元，既對上述光學圖像進行背景差分處理，從該光學圖像中除去背景區(qū)域，又對上述溫度圖像，將溫度在規(guī)定值或規(guī)定值以上的區(qū)域作為背景區(qū)域除去，并將除去了背景區(qū)域的溫度圖像和除去了背景區(qū)域的光學圖像相乘，求出表示食品材料的食品材料區(qū)域，根據(jù)求得的食品材料區(qū)域來計算觀測確信度為宜。
根據(jù)該結(jié)構(gòu)，由于光學圖像通過背景差分處理而去除了背景區(qū)域，因此可以較好的精確度從光學圖像中除去背景區(qū)域。此外，由于溫度圖像是將溫度在規(guī)定值或規(guī)定值以上的區(qū)域作為背景區(qū)域除去，所以是考慮了食品材料的溫度低于周圍溫度來去除背景區(qū)域。然后，將除去了背景區(qū)域的光學圖像和溫度圖像相乘，根據(jù)所得到的圖像抽出食品材料區(qū)域。因此，將光學圖像和溫度圖像均作為食品材料區(qū)域抽出的區(qū)域作為食品材料區(qū)域抽出，結(jié)果可以精確地抽出食品材料區(qū)域。
(6)而且，上述的食品材料烹調(diào)操作識別系統(tǒng)，還以上述烹調(diào)流程制作單元，從上述感應單元取得的圖像中，求出色調(diào)的直方圖及飽和度的直方圖，通過求出已被求得的直方圖和預先為各食品材料規(guī)定的顏色特征模板的相關(guān)，對食品材料進行推定為宜。
根據(jù)該結(jié)構(gòu)，由于是根據(jù)色調(diào)的直方圖來推定食品材料，因此可以較好的精確度抽出食品材料。亦即，食品材料被烹調(diào)者的手握住的情況較多，由于該手的影響，若對食品材料區(qū)域采用形狀特征的模板匹配，則難以對食品材料進行推定，而如果像本發(fā)明這樣采用色調(diào)直方圖則可以較好的精確度對食品材料進行推定。
(7)而且，上述的食品材料烹調(diào)操作識別系統(tǒng)，還以上述匹配度計算單元，根據(jù)匹配度推定烹調(diào)菜譜，還包括對烹調(diào)者進行與上述匹配度計算單元所推定的烹調(diào)菜譜有關(guān)的引導的引導單元為宜。
根據(jù)該結(jié)構(gòu)，由于是根據(jù)烹調(diào)者目前正在烹調(diào)的菜肴的烹調(diào)菜譜來進行引導，所以，烹調(diào)者可按照烹調(diào)菜譜而通過適當?shù)呐胝{(diào)工序來做菜肴。
(8)本發(fā)明的食品材料烹調(diào)操作識別程序，可使計算機作為以下單元而發(fā)揮其作用，取得至少包含進行烹調(diào)操作的烹調(diào)者手部的圖像和由該烹調(diào)操作產(chǎn)生的環(huán)境音的其中任何之一方的觀測數(shù)據(jù)的感應單元、將對各種食品材料預先設(shè)想的各種烹調(diào)操作，連同模板確信度即對各食品材料的每種烹調(diào)操作預先規(guī)定的確信度一起，以表格的形式加以存儲的特征量模板、根據(jù)上述感應單元所取得的觀測數(shù)據(jù)，計算表示烹調(diào)者正在烹調(diào)的食品材料及對該食品材料的烹調(diào)操作的至少其中任何之一的確信度的觀測確信度，根據(jù)計算出的觀測確信度，制作烹調(diào)者烹調(diào)菜肴的烹調(diào)流程的烹調(diào)流程制作單元、根據(jù)上述模板確信度和上述觀測確信度，計算初次確信度，即對于構(gòu)成上述烹調(diào)流程制作單元所制作成的烹調(diào)流程的各對象的確信度的初次確信度計算單元、根據(jù)由上述初次確信度計算單元計算出的初次確信度，計算最終確信度，以計算出的最終確信度作為新的模板確信度，更新上述特征量模板，根據(jù)更新后的特征模板，來識別對應由上述感應單元取得的觀測數(shù)據(jù)的食品材料及烹調(diào)操作的烹調(diào)操作識別單元。
產(chǎn)業(yè)上的利用可能性根據(jù)本發(fā)明的食品材料烹調(diào)操作識別系統(tǒng)，由于可對烹調(diào)者目前正在烹調(diào)的烹調(diào)菜譜進行推定，并適當?shù)叵蚺胝{(diào)者提示烹調(diào)菜譜，因此，作為家用烹調(diào)設(shè)備很有實用價值。
權(quán)利要求
1.一種烹調(diào)操作識別系統(tǒng)，其特征在于包括取得包含進行烹調(diào)操作的烹調(diào)者手邊的圖像和由該烹調(diào)操作產(chǎn)生的環(huán)境音的至少其中之一的觀測數(shù)據(jù)的感應單元；將對各種食品材料預先設(shè)想的各種烹調(diào)操作，連同作為對各食品材料的每種烹調(diào)操作預先規(guī)定的確信度的模板確信度一起，以表格的形式加以存儲的特征量模板；根據(jù)上述感應單元所取得的觀測數(shù)據(jù)，計算表示烹調(diào)者正在烹調(diào)的食品材料及對該食品材料的烹調(diào)操作的至少其中之一的確信度的觀測確信度，根據(jù)計算出的觀測確信度，制作烹調(diào)者烹調(diào)菜肴的烹調(diào)流程的烹調(diào)流程制作單元；根據(jù)上述模板確信度和上述觀測確信度，計算作為構(gòu)成上述烹調(diào)流程制作單元所制作成的烹調(diào)流程的各對象的確信度的初次確信度的初次確信度計算單元；根據(jù)由上述初次確信度計算單元計算出的初次確信度，計算最終確信度，以計算出的最終確信度作為新的模板確信度，更新上述特征量模板，根據(jù)更新后的特征量模板，來識別對應由上述感應單元取得的觀測數(shù)據(jù)的食品材料及烹調(diào)操作的烹調(diào)操作識別單元。
2.根據(jù)權(quán)利要求1所述的烹調(diào)操作識別系統(tǒng)，其特征在于還包括用來存儲為各種菜肴預先制作的烹調(diào)流程的烹調(diào)流程數(shù)據(jù)庫；和利用流程匹配，計算表示由上述烹調(diào)流程制作單元制作的烹調(diào)流程，與存儲在上述菜譜流程數(shù)據(jù)庫中的各烹調(diào)流程中的哪個烹調(diào)流程更接近的匹配度的匹配度計算單元；其中，上述烹調(diào)操作識別單元，根據(jù)由上述匹配度計算單元計算出的匹配度和上述初次確信度，對食品材料及烹調(diào)操作予以識別。
3.根據(jù)權(quán)利要求1所述的食品材料烹調(diào)操作識別系統(tǒng)，其特征在于還包括由包含存儲表示食品材料的數(shù)據(jù)的字段，及將與該食品材料有關(guān)的各種數(shù)據(jù)連同對該數(shù)據(jù)預先規(guī)定的模板確信度一起進行存儲的字段的食品材料記錄所構(gòu)成的食品材料表；由包含存儲表示烹調(diào)操作的數(shù)據(jù)的字段，及將與該烹調(diào)操作引起的食品材料變化有關(guān)的各種數(shù)據(jù)連同對該數(shù)據(jù)預先規(guī)定的模板確信度一起進行存儲的字段的烹調(diào)物記錄所構(gòu)成的烹調(diào)物表；由包含存儲表示烹調(diào)操作的數(shù)據(jù)的字段，及將與該烹調(diào)操作所產(chǎn)生的環(huán)境音有關(guān)的各種數(shù)據(jù)連同對該數(shù)據(jù)預先規(guī)定的模板確信度一起進行存儲的字段的烹調(diào)操作記錄所構(gòu)成的烹調(diào)操作表；存儲表示各種烹調(diào)菜譜所使用的食品材料的數(shù)據(jù)和表示對該食品材料進行的烹調(diào)操作的數(shù)據(jù)的烹調(diào)菜譜數(shù)據(jù)庫；抽出上述烹調(diào)菜譜數(shù)據(jù)庫中存儲的全部種類的食品材料和全部種類的烹調(diào)操作的抽出單元；至少存儲其中任意一個表的表存儲單元；以及制作包括由上述抽出單元抽出的各食品材料和由上述抽出單元抽出的各烹調(diào)操作作為項目的表來作為特征量模板的特征量模板制作單元；其中，上述特征量模板制作單元，從以下記錄中的至少其中之一的記錄中的各字段中所存儲的模板確信度中，將最大的確信度作為模板確信度向構(gòu)成上述特征量模板的字段中的任意字段中寫入，其中所述記錄是指，存儲有表示對應該任意字段的食品材料的數(shù)據(jù)的上述食品材料表的食品材料記錄、存儲有表示對應該任意字段的烹調(diào)操作的數(shù)據(jù)的上述烹調(diào)物表的烹調(diào)物記錄以及存儲有表示對應該任意字段的烹調(diào)操作的數(shù)據(jù)的上述烹調(diào)操作表的烹調(diào)操作記錄。
4.根據(jù)權(quán)利要求1至3中的任一項所述的食品材料烹調(diào)操作識別系統(tǒng)，其特征在于上述感應單元包含熱感攝像機和光學攝像機；由上述感應單元所取得的圖像包含由熱感攝像機拍攝的溫度圖像和由光學攝像機拍攝的光學圖像。
5.根據(jù)權(quán)利要求4所述的食品材料烹調(diào)操作識別系統(tǒng)，其特征在于上述烹調(diào)流程制作單元，既對上述光學圖像進行背景差分處理，從該光學圖像中除去背景區(qū)域，又對上述溫度圖像，將溫度在規(guī)定值或規(guī)定值以上的區(qū)域作為背景區(qū)域除去，將除去了背景區(qū)域的溫度圖像和除去了背景區(qū)域的光學圖像相乘，求出表示食品材料的食品材料區(qū)域，根據(jù)求得的食品材料區(qū)域來計算觀測確信度。
6.根據(jù)權(quán)利要求1至5中的任一項所述的食品材料烹調(diào)操作識別系統(tǒng)，其特征在于上述烹調(diào)流程制作單元，從上述感應單元取得的圖像中，求出色調(diào)的直方圖及飽和度的直方圖，通過求出已被求得的直方圖和預先給各食品材料規(guī)定的顏色特征模板的相關(guān)，對食品材料進行推定。
7.根據(jù)權(quán)利要求1至6中的任一項所述的食品材料烹調(diào)操作識別系統(tǒng)還包括引導單元，其特征在于上述匹配度計算單元，根據(jù)匹配度推定烹調(diào)菜譜；上述引導單元，向烹調(diào)者進行與上述匹配度計算單元所推定的烹調(diào)菜譜有關(guān)的引導。
8.一種食品材料烹調(diào)操作識別程序，其特征在于使計算機作為以下單元而發(fā)揮其作用取得至少包含進行烹調(diào)操作的烹調(diào)者手邊的圖像和由該烹調(diào)操作產(chǎn)生的環(huán)境音的其中任何之一的觀測數(shù)據(jù)的感應單元；將對各種食品材料預先設(shè)想的各種烹調(diào)操作，連同模板確信度即對各食品材料的每種烹調(diào)操作預先規(guī)定的確信度一起，以表格的形式加以存儲的特征量模板；根據(jù)上述感應單元所取得的觀測數(shù)據(jù)，計算表示烹調(diào)者正在烹調(diào)的食品材料及對該食品材料的烹調(diào)操作的至少其中任何之一的確信度的觀測確信度，根據(jù)計算出的觀測確信度，制作烹調(diào)者烹調(diào)菜肴的烹調(diào)流程的烹調(diào)流程制作單元；根據(jù)上述模板確信度和上述觀測確信度，計算初次確信度即對于構(gòu)成上述烹調(diào)流程制作單元所制作成的烹調(diào)流程的各對象的確信度的初次確信度計算單元；根據(jù)由上述初次確信度計算單元計算出的初次確信度，計算最終確信度，以計算出的最終確信度作為新的模板確信度，更新上述特征量模板，根據(jù)更新后的特征模板，來識別對應由上述感應單元取得的觀測數(shù)據(jù)的食品材料及烹調(diào)操作的烹調(diào)操作識別單元。
全文摘要
本發(fā)明提供一種食品材料烹調(diào)操作識別系統(tǒng)及其食品材料烹調(diào)操作識別程序，對烹調(diào)者正在烹調(diào)的食品材料及對該食品材料的烹調(diào)操作以較好的精確度進行指定，并對烹調(diào)者正在烹調(diào)的菜肴的烹調(diào)菜譜以較好的精確度予以推定。它包括具備拍攝烹調(diào)者的烹調(diào)狀況的光學攝像機(10)、熱感攝像機(20)，以及取得環(huán)境音的麥克風(30)的感應單元(200)、從食品材料數(shù)據(jù)庫(103)、烹調(diào)物數(shù)據(jù)庫(104)及烹調(diào)操作數(shù)據(jù)庫(105)制作特征量模板的特征量模板制作單元(106)、根據(jù)感應單元(200)所取得的觀測數(shù)據(jù)，計算烹調(diào)者正在烹調(diào)的食品材料及烹調(diào)操作的觀測確信度，根據(jù)該觀測確信度制作烹調(diào)流程，根據(jù)寫入在特征量模板中的模板確信度，計算所制作的烹調(diào)流程的匹配度，對食品材料、烹調(diào)操作及烹調(diào)菜譜予以識別的識別處理單元(110)。
文檔編號G10L15/26GK1860502SQ20058000108
公開日2006年11月8日 申請日期2005年3月17日 優(yōu)先權(quán)日2004年3月17日
發(fā)明者長光左千男, 美濃導彥, 山肩洋子 申請人:松下電器產(chǎn)業(yè)株式會社