本公開涉及在利用語音對話控制預(yù)定設(shè)備時，基于用戶的視線信息，選擇用于語音對話的詞典進行控制的控制方法和控制器。

背景技術(shù)：

有利用語音輸入對位于家庭中的電子設(shè)備的狀態(tài)進行確認(rèn)和操作的系統(tǒng)。例如，在這樣的系統(tǒng)中，由便攜式麥克風(fēng)取得的人的說話(發(fā)聲)內(nèi)容被傳送給電視機等電子設(shè)備。電子設(shè)備解析用戶發(fā)出的語言(語句)，并執(zhí)行基于說話的處理。由此，可實現(xiàn)電子設(shè)備的狀態(tài)的確認(rèn)或操作。

在專利文獻(xiàn)1中公開了如下技術(shù)：通過按每臺設(shè)備準(zhǔn)備詞典，根據(jù)用戶發(fā)聲時的頭部方向，確定作為操作對象的設(shè)備，并切換為與該操作對象對應(yīng)的詞典和語法，從而提高語音識別的精度。

在先技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：日本特開2009-210956號公報

技術(shù)實現(xiàn)要素：

發(fā)明要解決的問題

然而，上述專利文獻(xiàn)1需要進一步的改善。

用于解決問題的技術(shù)方案

一種與第一設(shè)備、第二設(shè)備、相機以及麥克風(fēng)連接的控制器中的控制方法，所述第一設(shè)備設(shè)置在第一空間的第一位置，所述第二設(shè)備設(shè)置在第二空間的第二位置，所述相機檢測用戶的視線方向，所述麥克風(fēng)檢測所述用戶的說話，所述第一空間是所述用戶能夠視覺識別的空間，所述第二空 間是所述用戶不能視覺識別的空間，從所述相機取得視線信息，所述視線信息包含表示所述檢測出的用戶的視線方向的信息，基于所述視線信息，判斷所述用戶的視線方向是否指示所述第一空間所包含的所述第一位置以外的第三位置，從所述麥克風(fēng)取得語音數(shù)據(jù)，所述語音數(shù)據(jù)表示所述檢測出的用戶的說話，在判斷為所述用戶的視線方向指示所述第三位置的情況下，從所述控制器或與所述控制器連接的服務(wù)器具備的多個詞典中選擇與所述第二設(shè)備對應(yīng)的第二詞典，使用所述選擇出的第二詞典，生成與所述取得的語音數(shù)據(jù)對應(yīng)的第二控制指令，向所述第二設(shè)備發(fā)送所述生成的第二控制指令。

發(fā)明的效果

根據(jù)上述一個技術(shù)方案，能夠?qū)崿F(xiàn)進一步的改善。

附圖說明

圖1A是表示在實施方式中對話信息提供系統(tǒng)提供的服務(wù)的整體畫面的圖。

圖1B是表示在實施方式中設(shè)備制造商相當(dāng)于數(shù)據(jù)中心運營公司的例子的圖。

圖1C是表示在實施方式中設(shè)備制造商和管理公司這兩方或某一方相當(dāng)于數(shù)據(jù)中心運營公司的例子的圖。

圖2是表示實施方式1中的對話信息提供系統(tǒng)的構(gòu)成的圖。

圖3是表示實施方式1中的對話信息提供系統(tǒng)的工作的流程圖。

圖4A是表示實施方式1中的設(shè)備管理信息的一例的圖。

圖4B是表示實施方式1中的統(tǒng)合控制詞典的一例的圖。

圖4C是表示實施方式1中的單獨控制詞典的一例的圖。

圖4D是表示實施方式1中的單獨控制詞典的一例的圖。

圖5是實施方式1中的對話信息提供系統(tǒng)所包含的各裝置的框圖。

圖6是表示實施方式1中的對話信息提供系統(tǒng)的工作例的圖。

圖7是表示實施方式1中的對話信息提供系統(tǒng)的工作例的圖。

圖8是表示實施方式1中的設(shè)備的工作的流程圖。

圖9是表示實施方式1中的聲音收集裝置的工作的流程圖。

圖10是表示實施方式1中的家庭網(wǎng)關(guān)的工作的流程圖。

圖11是實施方式1中的詞典選擇處理的流程圖。

圖12是表示實施方式1中的語音對話處理的工作例的圖。

圖13是實施方式1中的語音對話處理的流程圖。

圖14是表示實施方式1中的語音識別處理的工作例的圖。

圖15是實施方式1中的語音識別處理的流程圖。

圖16是表示實施方式1中的意圖理解處理的工作例的圖。

圖17是實施方式2中的詞典選擇處理的流程圖。

圖18是表示實施方式2中的對話信息提供系統(tǒng)的工作例的圖。

圖19是實施方式3中的第一設(shè)備和第二設(shè)備的框圖。

圖20A是表示實施方式3中的設(shè)備管理信息的一例的圖。

圖20B是表示實施方式3中的設(shè)備管理信息的一例的圖。

圖20C是表示實施方式3中的設(shè)備管理信息的一例的圖。

圖21是實施方式3中的對象設(shè)備設(shè)定處理的流程圖。

圖22是實施方式4中的對象設(shè)備設(shè)定處理的流程圖。

圖23是表示實施方式5中的對話信息提供系統(tǒng)的構(gòu)成的圖。

圖24是表示實施方式5中的設(shè)備管理信息的一例的圖。

圖25是實施方式5中的對象設(shè)備設(shè)定處理的流程圖。

圖26是實施方式6中的語音對話服務(wù)器的框圖。

圖27A是表示實施方式6中的統(tǒng)合控制詞典的一例的圖。

圖27B是表示實施方式6中的腳本信息的一例的圖。

圖27C是表示實施方式6中的單獨控制詞典的一例的圖。

圖28是實施方式7中的詞典選擇處理的流程圖。

圖29是表示對話信息提供系統(tǒng)的變形例的構(gòu)成的圖。

圖30是表示對話信息提供系統(tǒng)的變形例的構(gòu)成的圖。

圖31是表示對話信息提供系統(tǒng)的變形例的構(gòu)成的圖。

圖32是表示對話信息提供系統(tǒng)的變形例的構(gòu)成的圖。

圖33是表示對話信息提供系統(tǒng)的變形例的構(gòu)成的圖。

圖34是表示服務(wù)類型1(自己公司數(shù)據(jù)中心型云服務(wù))中的信息管理系統(tǒng)提供的服務(wù)的整體畫面的圖。

圖35是表示服務(wù)類型2(IaaS利用型云服務(wù))中的信息管理系統(tǒng)提供的服務(wù)的整體畫面的圖。

圖36是表示服務(wù)類型3(PaaS利用型云服務(wù))中的信息管理系統(tǒng)提供的服務(wù)的整體畫面的圖。

圖37是表示服務(wù)類型4(SaaS利用型云服務(wù))中的信息管理系統(tǒng)提供的服務(wù)的整體畫面的圖。

標(biāo)號說明

1010、1020 用戶

1100、1100A、1100B、1100C、1100D、1100E 組

1101 多臺設(shè)備

1102、1102A、1102B 家庭網(wǎng)關(guān)

1110 數(shù)據(jù)中心運營公司

1111 云服務(wù)器

1120 服務(wù)提供商

1121 服務(wù)器

1201 應(yīng)用

1202 OS

1203 數(shù)據(jù)中心

2001 第一空間

2002 第二空間

2011、2011A、2011B 第一設(shè)備

2012、2012A、2012B 第二設(shè)備

2013、2013B、2014 聲音收集裝置

2013A 視線檢測裝置

2020、2021 網(wǎng)絡(luò)

2100、2100A 語音對話服務(wù)器

2101、2101A、2147 統(tǒng)合控制詞典

2102、2102A、2102B、2102C、2115、2125、2148 單獨控制詞典

2103 腳本信息

2111、2121、2131、2151 視線檢測單元

2112、2122、2134、2145 設(shè)備通信單元

2113、2123 設(shè)備命令執(zhí)行單元

2114、2124 距離檢測單元

2132、2152 聲音收集單元

2133 信息提示單元

2141 詞典選擇單元

2142、2142A、2142B、2142C、2142D 設(shè)備管理信息

2143 語音對話單元

2144 設(shè)備管理單元

2146 云通信單元

2155 用戶信息

具體實施方式

(成為本發(fā)明的基礎(chǔ)的見解)

正在研究用于提供如下服務(wù)的技術(shù)：按照來自用戶的說話，對家庭內(nèi)的多臺設(shè)備的狀態(tài)進行確認(rèn)或操作。

在這樣的系統(tǒng)中，裝置通過確定用戶的說話開始到結(jié)束的區(qū)間，取得僅是用戶的說話內(nèi)容的語音數(shù)據(jù)。并且，裝置通過解析語音數(shù)據(jù)，決定用戶想確認(rèn)或操作的電子設(shè)備和該確認(rèn)或操作內(nèi)容。

另外，作為取得用戶的說話內(nèi)容的方法，提出了如下方法：利用僅選擇特定方向的聲音的波束成形(beamforming)處理或識別回聲并削減回 聲的回聲消除(Echo cancellation)處理等進行降噪。但是，降噪處理也有限，在已有的利用了降噪的構(gòu)成中，實現(xiàn)足夠水平的語音識別精度是困難的。

另外，作為確定想確認(rèn)或操作的電子設(shè)備和該確認(rèn)或操作內(nèi)容的方法，有如下槽位填充(Slot filling)技術(shù)：解析用戶的說話，并將該結(jié)果填入框架(模板)，由此使對話進行。例如，框架包含“設(shè)備”、“操作”以及“場所”這三個信息。用戶說“接通電源”時，在框架的“操作”中設(shè)定“power_on”，但其他“設(shè)備”和“場所”的框架不填充。在該情況下，系統(tǒng)通過對用戶反問“想接通哪臺設(shè)備的電源？”、“想接通位于哪里的哪臺設(shè)備的電源？”等，由此使對話繼續(xù)。通過用戶再次說“空調(diào)”或“起居室的空調(diào)”等而填充空著的“設(shè)備”和/或“場所”的框架。但是，由于需要對用戶進行反問，并催促用戶說話直到填滿框架為止，所以有可能使用戶焦躁。另外，有可能誤識別反問時的說話而進一步反復(fù)反問，或陷入不希望的結(jié)果。

作為解決這樣的問題的方法，有按每臺成為確認(rèn)或操作對象的設(shè)備準(zhǔn)備詞典的方法。這樣一來，由于用戶僅傳達(dá)確認(rèn)或操作的內(nèi)容即可，所以能將用戶的說話次數(shù)抑制為少。由此，能夠防止上述問題。

另外，當(dāng)制作與全部設(shè)備對應(yīng)的通用性詞典時，該辭典很可能變得大規(guī)模且復(fù)雜，且維護性惡化。特別是在存在許多專用于一部分設(shè)備的功能的情況下，不期望詞典因此而變大。因此，可認(rèn)為：如果能夠按成為對象的設(shè)備分別制作詞典，則專用于特定設(shè)備的內(nèi)容能夠記載在單獨的詞典中，僅將與共通功能和設(shè)備合作功能等相關(guān)的內(nèi)容記載在通用性詞典中等，對詞典制作者來說也具有優(yōu)點。但是，在存在多個詞典的情況下，要求適當(dāng)?shù)剡x擇要使用的詞典。

另外，用戶會抵觸對著設(shè)備說話，另一方面，什么也不看就說話會感覺到不自然。另外，在無法識別說話的內(nèi)容或存在多臺設(shè)備的情況下，為了確定作為操作對象的設(shè)備，用戶被要求重新說話多次，有時也會感覺很難用。關(guān)于用于滿足這些需求的技術(shù)解決對策，尚未進行研究。

例如，在用戶利用尚未與特定的電子設(shè)備關(guān)聯(lián)的虛擬化身(avatar)、天花板麥克風(fēng)或可穿戴麥克風(fēng)等說話的情況下，會難以確定應(yīng)該選擇哪個詞典。

這樣，在存在多臺作為操作對象的設(shè)備的情況下，在用戶的說話中除了操作內(nèi)容以外，還需要包含用于確定作為操作對象的設(shè)備的信息。由此，由于用戶的說話變長，所以很可能發(fā)生由于噪聲等影響無法正確掌握用戶的說話內(nèi)容的狀況。進而，用戶為了設(shè)備操作而需要發(fā)出許多詞句，另外，在不能確定對象設(shè)備的情況下會發(fā)生反問。由此，存在用戶的便利性下降這一問題。

(1)本公開的一個技術(shù)方案涉及的方法是一種控制方法，是與第一設(shè)備、第二設(shè)備、相機以及麥克風(fēng)連接的控制器中的控制方法，所述第一設(shè)備設(shè)置在第一空間的第一位置，所述第二設(shè)備設(shè)置在第二空間的第二位置，所述相機檢測用戶的視線方向，所述麥克風(fēng)檢測所述用戶的說話，所述第一空間是所述用戶能夠視覺識別的空間，所述第二空間是所述用戶不能視覺識別的空間，從所述相機取得視線信息，所述視線信息包含表示所述檢測出的用戶的視線方向的信息，基于所述視線信息，判斷所述用戶的視線方向是否指示所述第一空間所包含的所述第一位置以外的第三位置，從所述麥克風(fēng)取得語音數(shù)據(jù)，所述語音數(shù)據(jù)表示所述檢測出的用戶的說話，在判斷為所述用戶的視線方向指示所述第三位置的情況下，從所述控制器或與所述控制器連接的服務(wù)器具備的多個詞典中選擇與所述第二設(shè)備對應(yīng)的第二詞典，使用所述選擇出的第二詞典，生成與所述取得的語音數(shù)據(jù)對應(yīng)的第二控制指令，向所述第二設(shè)備發(fā)送所述生成的第二控制指令。

由此，在用戶的視線朝向設(shè)備存在的位置以外的特定區(qū)域的情況下，選擇存在于對用戶來說不能視覺識別的空間中的設(shè)備的詞典。由此，即使在用戶的說話內(nèi)容中不包含確定對象設(shè)備的信息的情況下，也能夠確定對象設(shè)備。因此，由于能夠減少對用戶的反問的產(chǎn)生，所以能夠提高用戶的便利性。

(2)在上述技術(shù)方案中，也可以進一步基于所述視線信息判斷所述用 戶的視線方向是否指示所述第二位置，在判斷為所述用戶的視線指示所述第二位置的情況下，從所述多個詞典中選擇與所述第一設(shè)備對應(yīng)的第一詞典，使用所述選擇出的第一詞典，生成與所述取得的語音數(shù)據(jù)對應(yīng)的第一控制指令，向所述第一設(shè)備發(fā)送所述生成的第一控制指令。

由此，在用戶將視線朝向某設(shè)備的情況下，選擇該設(shè)備的詞典。由此，即使在用戶的說話內(nèi)容中不包含確定對象設(shè)備的信息的情況下，也能夠確定對象設(shè)備。因此，由于能夠減少對用戶的反問的產(chǎn)生，所以能夠提高用戶的便利性。

(3)在上述技術(shù)方案中，所述第三位置也可以是設(shè)置有所述控制器的位置。

由此，在用戶的視線朝向家庭網(wǎng)關(guān)等控制裝置的情況下，選擇存在于對用戶來說不能視覺識別的空間中的設(shè)備的詞典。由此，由于能夠減少對用戶的反問的產(chǎn)生，所以能夠提高用戶的便利性。

(4)在上述技術(shù)方案中，所述控制器也可以具備所述相機。

由此，能夠以簡單的構(gòu)成精度良好地檢測出用戶的視線是否朝向控制裝置。

(5)在上述技術(shù)方案中，所述第三位置也可以是設(shè)置有所述麥克風(fēng)的位置。

由此，在用戶的視線朝向尚未與特定設(shè)備進行關(guān)聯(lián)的天花板麥克風(fēng)或可穿戴麥克風(fēng)等聲音收集裝置的情況下，選擇存在于對用戶來說不能視覺識別的空間中的設(shè)備的詞典。由此，由于能夠減少對用戶的反問的產(chǎn)生，所以能夠提高用戶的便利性。

(6)在上述技術(shù)方案中，所述麥克風(fēng)也可以具備所述相機。

由此，能夠以簡單的構(gòu)成精度良好地檢測出用戶的視線是否朝向聲音收集裝置(麥克風(fēng))。

(7)在上述技術(shù)方案中，在所述第一空間中也可以配置有物體(object)，所述第三位置也可以是配置了所述物體的位置。

由此，在用戶的視線朝向尚未與特定設(shè)備進行關(guān)聯(lián)的特定物體(例如 填充玩偶)的情況下，選擇存在于對用戶來說不能視覺識別的空間中的設(shè)備的詞典。由此，由于能夠減少對用戶的反問的產(chǎn)生，所以能夠提高用戶的便利性。

(8)在上述技術(shù)方案中，也可以具備所述相機。

由此，能夠以簡單的構(gòu)成精度良好地檢測出用戶的視線是否朝向物體。

(9)在上述技術(shù)方案中，所述物體也可以包含人偶。

由此，能夠以簡單的構(gòu)成提供物體。

(10)在上述技術(shù)方案中，也可以在所述第一空間中投影有假想物體，所述第三位置也可以是投影了所述假想物體的位置。由此，在用戶的視線朝向尚未與特定設(shè)備關(guān)聯(lián)的假想物體(例如虛擬化身)的情況下，選擇存在于對用戶來說不能視覺識別的空間中的設(shè)備的詞典。由此，由于能夠減少對用戶的反問的產(chǎn)生，所以能夠提高用戶的便利性。

(11)在上述技術(shù)方案中，所述假想物體也可以包含虛擬化身和全息圖。

由此，能夠以簡單的構(gòu)成提供假想物體。

(12)在上述技術(shù)方案中，也可以進一步，向所述用戶通知所述第二控制指令的操作內(nèi)容。

由此，由于能夠基于用戶的說話內(nèi)容，在對存在于用戶不能視覺識別的空間的設(shè)備進行操作之前向用戶確認(rèn)操作內(nèi)容，所以能夠防止進行用戶不希望的操作。

(13)在上述技術(shù)方案中，也可以在使用所述第二詞典不能生成所述第二控制指令的情況下，要求所述用戶輸入為了生成所述第二控制指令所需的補充信息。

由此，能夠基于用戶的說話內(nèi)容，切實地生成用于操作存在于用戶不能視覺識別的空間中的電子設(shè)備的控制命令。

(14)在上述技術(shù)方案中，所述多個詞典也可以包含第三詞典，所述第三詞典表示多臺設(shè)備和與所述多臺設(shè)備對應(yīng)的控制指令的對應(yīng)關(guān)系，所述控制方法中，還可以包含：能夠使用所述選擇出的第二詞典生成所述第 二控制指令且在能夠使用所述第三詞典生成所述第二控制指令的情況下，使用所述第三詞典生成所述第二控制指令。

由此，在能夠通過用戶的說話內(nèi)容確定作為操作對象的設(shè)備的情況下，使用戶的說話內(nèi)容優(yōu)先。因此，能夠抑制用戶不希望的設(shè)備被錯誤地選擇為操作對象。

另外，本公開不僅能夠作為執(zhí)行以上的特征性處理的控制方法而實現(xiàn)，也能夠作為用于執(zhí)行控制方法所包含的特征性步驟的控制器等而實現(xiàn)。另外，也能夠作為使計算機執(zhí)行這樣的控制方法所包含的各特征性步驟的計算機程序而實現(xiàn)。而且，當(dāng)然能夠使這樣的計算機程序經(jīng)由CD-ROM等計算機可讀取非暫時性記錄介質(zhì)或互聯(lián)網(wǎng)等通信網(wǎng)絡(luò)流通。

此外，以下說明的實施方式均為表示本公開的一個具體例的實施方式。在以下的實施方式中所示的數(shù)值、形狀、構(gòu)成要素、步驟、步驟的順序等均是一個例子，并沒有限定本公開的意圖。另外，關(guān)于以下的實施方式中的構(gòu)成要素中的、表示最上位概念的獨立權(quán)利要求中沒有記載的構(gòu)成要素，作為任意的構(gòu)成要素進行說明。另外，在全部實施方式中，也能夠?qū)⒏鱾€內(nèi)容進行組合。

(提供的服務(wù)的整體畫面)

首先，說明本實施方式中的信息管理系統(tǒng)提供的服務(wù)的整體畫面。

圖1A是表示本實施方式中的信息管理系統(tǒng)提供的服務(wù)的整體畫面的圖。信息管理系統(tǒng)具備組1100、數(shù)據(jù)中心運營公司1110以及服務(wù)提供商(service provider)1120。

組1100例如是企業(yè)、團體或家庭等，其規(guī)模不限。組1100具備：包含第一設(shè)備和第二設(shè)備的多臺設(shè)備1101和家庭網(wǎng)關(guān)1102。多臺設(shè)備1101包含：能夠與互聯(lián)網(wǎng)連接的設(shè)備(例如智能手機、個人計算機(PC)或電視機等)和其自身不能與互聯(lián)網(wǎng)連接的設(shè)備(例如照明、洗衣機或冰箱等)。多臺設(shè)備1101也可以包含即使其自身不能與互聯(lián)網(wǎng)連接，但能夠經(jīng)由家庭網(wǎng)關(guān)1102與互聯(lián)網(wǎng)連接的設(shè)備。另外，用戶1010使用組1100內(nèi)的多臺設(shè)備1101。

數(shù)據(jù)中心運營公司1110具備云服務(wù)器1111。云服務(wù)器1111是經(jīng)由互聯(lián)網(wǎng)與各種設(shè)備合作的假想化服務(wù)器。云服務(wù)器1111主要管理難以用通常的數(shù)據(jù)庫管理工具等處理的巨大數(shù)據(jù)(大數(shù)據(jù))等。數(shù)據(jù)中心運營公司1110進行數(shù)據(jù)的管理、云服務(wù)器1111的管理以及進行這些管理的數(shù)據(jù)中心的運營等。后面將說明數(shù)據(jù)中心運營公司1110進行的勞務(wù)的詳細(xì)情況。

在此，數(shù)據(jù)中心運營公司1110不限于僅進行數(shù)據(jù)的管理或云服務(wù)器1111的管理的公司。例如，如圖1B所示，在開發(fā)或制造多臺設(shè)備1101中的一臺設(shè)備的設(shè)備制造商進行數(shù)據(jù)的管理或云服務(wù)器1111的管理等的情況下，設(shè)備制造商相當(dāng)于數(shù)據(jù)中心運營公司1110。另外，數(shù)據(jù)中心運營公司1110不限于一個公司。例如，如圖1C所示，在設(shè)備制造商和管理公司共同或分擔(dān)而進行數(shù)據(jù)的管理或云服務(wù)器1111的管理的情況下，這兩方或某一方相當(dāng)于數(shù)據(jù)中心運營公司1110。

服務(wù)提供商1120具備服務(wù)器1121。在此所說的服務(wù)器1121不限其規(guī)模，例如也包含個人用PC內(nèi)的存儲器等。另外，也存在服務(wù)提供商1120不具備服務(wù)器1121的情況。

此外，在上述信息管理系統(tǒng)中，家庭網(wǎng)關(guān)1102不是必需的。例如，在云服務(wù)器1111進行全部數(shù)據(jù)管理等情況下，無需家庭網(wǎng)關(guān)1102。另外，像家庭內(nèi)的全部設(shè)備與互聯(lián)網(wǎng)連接的情況那樣，也有不存在其自身不能與互聯(lián)網(wǎng)連接的設(shè)備的情況。

接著，說明上述信息管理系統(tǒng)中的信息的流動。

首先，組1100的第一設(shè)備或第二設(shè)備分別將各日志信息發(fā)送給數(shù)據(jù)中心運營公司1110的云服務(wù)器1111。云服務(wù)器1111集積第一設(shè)備或第二設(shè)備的日志信息(圖1A的箭頭1131)。在此，日志信息是表示多臺設(shè)備1101的例如運轉(zhuǎn)狀況或工作日期和時間等的信息。例如，日志信息包含電視機的收看歷史記錄、錄像機的錄像預(yù)約信息、洗衣機的運轉(zhuǎn)日期和時間、洗過的衣服的量、冰箱的開閉日期和時間或冰箱的開閉次數(shù)等，但不限于這些信息，也可以包含能夠從各種設(shè)備取得的各種信息。此外，日志信息也可以經(jīng)由互聯(lián)網(wǎng)從多臺設(shè)備1101本身直接提供給云服務(wù)器1111。另外， 日志信息也可以從多臺設(shè)備1101暫時集積于家庭網(wǎng)關(guān)1102，并從家庭網(wǎng)關(guān)1102提供給云服務(wù)器1111。

接著，數(shù)據(jù)中心運營公司1110的云服務(wù)器1111以一定的單位，將已集積的日志信息提供給服務(wù)提供商1120。在此，一定的單位既可以是數(shù)據(jù)中心運營公司1110能夠?qū)σ鸭e的信息進行整理并提供給服務(wù)提供商1120的單位，也可以是服務(wù)提供商1120要求的單位。另外，雖然以一定的單位提供，但也可以不以一定的單位提供，提供的信息量可以根據(jù)狀況而變化。日志信息根據(jù)需要保存在服務(wù)提供商1120保有的服務(wù)器1121中(圖1A的箭頭1132)。

然后，服務(wù)提供商1120將日志信息整理成與提供給用戶的服務(wù)相適合的信息，并提供給用戶。被提供信息的用戶既可以是使用多臺設(shè)備1101的用戶1010，也可以是外部的用戶1020。作為向用戶1010和1020的信息提供方法，例如，也可以從服務(wù)提供商1120直接向用戶1010和1020提供信息(圖1A的箭頭1133和1134)。另外，作為向用戶1010的信息提供方法，例如，也可以再次經(jīng)由數(shù)據(jù)中心運營公司1110的云服務(wù)器1111而將信息提供給用戶1010(圖1A的箭頭1135和1136)。另外，數(shù)據(jù)中心運營公司1110的云服務(wù)器1111也可以將日志信息整理成與提供給用戶的服務(wù)相適合的信息，并提供給服務(wù)提供商1120。

此外，用戶1010既可以與用戶1020不同，也可以相同。

(實施方式1)

在本實施方式中，示出用戶利用天花板麥克風(fēng)等這樣具有聲音收集功能的設(shè)備，通過說話對設(shè)備的狀態(tài)進行確認(rèn)和操作的情況的一例。

在本實施方式中，在用戶的視線朝向某設(shè)備的情況下，選擇該設(shè)備的詞典。另外，在用戶的視線朝向沒有設(shè)備的空間(例如，朝向聲音收集裝置)的情況下，選擇不在用戶的視覺識別范圍內(nèi)的設(shè)備的詞典。

圖2是表示本實施方式中的對話信息提供系統(tǒng)的構(gòu)成的圖。該對話信息提供系統(tǒng)包含組1100和數(shù)據(jù)中心運營公司1110內(nèi)的語音對話服務(wù)器2100。組1100與語音對話服務(wù)器2100經(jīng)由網(wǎng)絡(luò)2020連接。

組1100包含第一空間2001和第二空間2002。例如，組1100為家庭(住宅)，第一空間2001和第二空間2002為起居室或臥室等房間。此外，空間也可以包含多個房間。例如，空間也可以是住宅的一樓或二樓等。另外，空間也可以是一個房間的某個空間(區(qū)域)。

另外，組1100包含第一設(shè)備2011、第二設(shè)備2012、聲音收集裝置2013以及家庭網(wǎng)關(guān)1102。第一設(shè)備2011、聲音收集裝置2013以及家庭網(wǎng)關(guān)1102配置在第一空間2001中，第二設(shè)備2012配置在第二空間2002中。另外，第一設(shè)備2011、第二設(shè)備2012、聲音收集裝置2013以及家庭網(wǎng)關(guān)1102經(jīng)由網(wǎng)絡(luò)2021連接。網(wǎng)絡(luò)2021為能夠進行設(shè)備間通信的裝置即可，如有線LAN、無線LAN、Bluetooth(注冊商標(biāo))、或特定小功率無線等。

在此，第一設(shè)備2011和第二設(shè)備2012為空調(diào)或照明等家電設(shè)備，是基于與用戶的對話來操作或控制其工作的設(shè)備。

首先，說明本實施方式涉及的對話信息提供系統(tǒng)的工作的概略。圖3是本實施方式涉及的對話信息提供系統(tǒng)中的選擇詞典的處理的流程圖。

此外，以下的處理由對話信息提供系統(tǒng)所包含的控制裝置進行。在此，控制裝置例如是家庭網(wǎng)關(guān)1102。此外，如后所述，以下處理既可以由組1100所包含的一臺或多臺設(shè)備來進行，也可以由組1100所包含的一臺或多臺設(shè)備和經(jīng)由網(wǎng)絡(luò)與該設(shè)備連接的外部設(shè)備(例如語音對話服務(wù)器2100)進行分散處理。

首先，控制裝置判定用戶的視線是否朝向某一臺設(shè)備(S101)。具體而言，控制裝置取得與用戶的視線朝向的方向相關(guān)的視線信息。接著，控制裝置基于該視線信息，判斷用戶的視線是否朝向存在于該用戶能夠視覺識別的空間的多臺設(shè)備所包含的第二設(shè)備。另外，控制裝置基于該視線信息判斷用戶的視線是否朝向第一區(qū)域，所述第一區(qū)域是該用戶能夠視覺識別的空間中的一部分區(qū)域，且與多臺設(shè)備存在的位置不同。在此，能夠視覺識別的空間是指用戶在當(dāng)前的位置能夠視覺識別的空間。

在用戶的視線沒有朝向任一臺設(shè)備的情況下，也就是說，在判斷為用戶的視線朝向上述第一區(qū)域的情況下(在S101中為否)，控制裝置選擇多 臺設(shè)備中的、存在于該用戶不能視覺識別的空間中的第一設(shè)備的單獨控制詞典2102(S103)。在此，不能視覺識別的空間是指用戶在當(dāng)前的位置不能視覺識別的空間。

此外，后面將說明詳細(xì)情況，但是詞典表示與用戶的說話內(nèi)容對應(yīng)的設(shè)備的控制命令，并且用于將用戶的說話內(nèi)容轉(zhuǎn)換成設(shè)備的控制命令。另外，存在統(tǒng)合控制詞典2101和單獨控制詞典2102，所述統(tǒng)合控制詞典2101是用于存在多個可成為控制對象的設(shè)備的情況下的詞典，所述單獨控制詞典2102是按每臺可成為控制對象的設(shè)備而設(shè)置的詞典。換句話說，在統(tǒng)合控制詞典2101中，由于多臺設(shè)備成為對象，所以有時在說話內(nèi)容中需要確定設(shè)備的信息。另一方面，在單獨控制詞典2102中無需確定設(shè)備的信息。此外，統(tǒng)合控制詞典2101也可以是在空調(diào)和照明這樣的多種設(shè)備中共通地使用的詞典。同樣地，單獨控制詞典2102也可以按每種設(shè)備的類別設(shè)置。

另一方面，在用戶的視線朝向某一臺設(shè)備的情況下，也就是說，在判斷為用戶的視線朝向上述第二設(shè)備的情況下(在S101中為是)，選擇該第二設(shè)備的單獨控制詞典2102(S102)。

接著，控制裝置使用統(tǒng)合控制詞典2101，判定是否能夠?qū)⒂脩舻恼f話內(nèi)容轉(zhuǎn)換成控制命令(S104)。在能夠使用統(tǒng)合控制詞典2101將說話內(nèi)容轉(zhuǎn)換成控制命令的情況下(在S104中為是)，控制裝置使用統(tǒng)合控制詞典2101將說話內(nèi)容轉(zhuǎn)換成控制命令(S105)。

另一方面，在不能使用統(tǒng)合控制詞典2101將說話內(nèi)容轉(zhuǎn)換成控制命令的情況下(在S104中為否)，控制裝置判定是否能夠使用在步驟S102或S103中選擇的單獨控制詞典2102，將說話內(nèi)容轉(zhuǎn)換成控制命令(S106)。在能夠使用單獨控制詞典2102將說話內(nèi)容轉(zhuǎn)換成控制命令的情況下(在S106中為是)，控制裝置使用單獨控制詞典2102將說話內(nèi)容轉(zhuǎn)換成控制命令(S107)。

也就是說，在能夠使用選擇出的單獨控制詞典2102將用戶的說話內(nèi)容轉(zhuǎn)換成控制命令，并且能夠使用統(tǒng)合控制詞典2101將用戶的說話內(nèi)容轉(zhuǎn)換成控制命令的情況下，控制裝置使用統(tǒng)合控制詞典2101將用戶的說話內(nèi)容 轉(zhuǎn)換成控制命令。如上所述，在統(tǒng)合控制詞典2101中，由于需要根據(jù)說話內(nèi)容確定對象設(shè)備，所以上述工作相當(dāng)于在用戶的說話內(nèi)容包含確定對象設(shè)備的信息的情況下，使用戶的說話內(nèi)容優(yōu)先。

另一方面，在使用統(tǒng)合控制詞典2101和單獨控制詞典2102的任一個都不能將說話內(nèi)容轉(zhuǎn)換成控制命令的情況下(在S106中為否)，控制裝置向用戶進行用于確認(rèn)控制命令的反問對話(S111)，對通過該對話得到的用戶的說話內(nèi)容再次進行步驟S101以后的處理。

接著，控制裝置向用戶確認(rèn)控制命令是否正確(S108)。具體而言，控制裝置對用戶通知已被確定的控制命令，并得到其回答。此外，控制命令也可以包含控制內(nèi)容和對象設(shè)備。

在已確定的控制命令被用戶承認(rèn)的情況下(在S108中為是)，控制裝置用控制命令操作對象設(shè)備(S109)。具體而言，控制裝置向?qū)ο笤O(shè)備發(fā)送控制命令。

另一方面，在控制命令沒有被用戶承認(rèn)的情況下(在S108中為否)，控制裝置向用戶進行用于確認(rèn)控制命令的反問對話(S111)，對通過該對話得到的用戶的說話內(nèi)容再次進行步驟S101以后的處理。

以上，在用戶的視線朝向設(shè)備存在的位置以外的特定區(qū)域的情況下，選擇存在于對用戶來說不能視覺識別的空間中的設(shè)備的單獨控制詞典2102。由此，即使在根據(jù)說話內(nèi)容不能確定對象設(shè)備的情況下，有時也能夠確定對象設(shè)備。因此，由于能夠減少對用戶的反問的產(chǎn)生，所以能夠提高用戶的便利性。

例如，用戶位于起居室中，在起居室中設(shè)置有照明，在臥室中設(shè)置有空調(diào)。在該情況下，在用戶想控制起居室的照明的情況下，用戶將視線朝向起居室的照明，通過說“接通電源”，能夠控制起居室的照明。

進一步，在用戶想控制臥室的空調(diào)的情況下，用戶通過在沒有將視線朝向配置在起居室中的任一臺設(shè)備的狀態(tài)下進行上述說話，能夠控制臥室的空調(diào)。

這樣，通過本實施方式涉及的方法，即使在對象設(shè)備存在于用戶的視 覺識別范圍外的情況下，也能夠基于用戶的視線確定對象設(shè)備。由此，在這樣的情況下，由于能夠縮短用戶的說話內(nèi)容，所以能夠提高用戶的便利性，并且能夠抑制由于噪聲等的影響而對說話內(nèi)容無法識別或錯誤地解釋。

此外，在圖3中，控制裝置在步驟S108和S109中進行了控制命令的確認(rèn)，但也可以不進行這些處理。或者，也可以僅在步驟S105和S107的某一個之后進行控制命令的確認(rèn)。例如，在基于統(tǒng)合控制詞典2101選擇了控制命令的情況下(S105之后)，也可以不進行控制命令的確認(rèn)。

另外，步驟S101～S103的一系列的處理和步驟S104和S105的處理的順序為一例，既可以以相反的順序進行這些處理，也可以并行地進行至少一部分。例如，在步驟S104中為否的情況下，也可以進行步驟S 101～S103。

以下，詳細(xì)說明各設(shè)備的構(gòu)成和工作的一例。

如圖2所示，第一設(shè)備2011具備視線檢測單元2111，第二設(shè)備2012具備視線檢測單元2121。視線檢測單元2111、2121以及2131(后述)檢測用戶的視線方向。具體而言，視線檢測單元2111、2121以及2131具備紅外線相機或可視相機，解析用這些相機得到的影像，并利用臉部識別等檢測用戶的視線是否朝向本設(shè)備。此外，視線檢測單元2111、2121以及2131既可以檢測用戶面部的朝向作為視線的朝向，也可以檢測用戶的眼球的朝向作為視線的朝向。

此外，在此，敘述了各設(shè)備檢測用戶的視線是否朝向本設(shè)備的例子，但也可以通過對配置在組1100內(nèi)的一臺以上相機拍攝到的影像進行解析來檢測用戶的視線方向，也可以利用其他方法檢測用戶的視線方向。

另外，在以下說明中，敘述了將該視線檢測作為觸發(fā)(trigger)判定用戶是否開始說話的例子，但作為用戶的說話開始的觸發(fā)，除了視線檢測以外或也可以代替視線檢測而使用口唇檢測、手勢檢測或“打開麥克風(fēng)”這樣的固定言詞的說話檢測等。口唇檢測是根據(jù)由相機拍攝到的圖像檢測用戶的嘴的動作，即檢測口唇動作，并基于口唇動作判定用戶是否開始說話。手勢檢測基于用戶進行了拍手或舉手等預(yù)先決定的動作時由相機拍攝 到的圖像或語音數(shù)據(jù)，判定用戶是否開始說話。

聲音收集裝置2013具備視線檢測單元2131和聲音收集單元2132。聲音收集單元2132取得周圍的語音，并將該語音所包含的用戶的說話內(nèi)容保持一定期間。具體而言，聲音收集單元2132基于由相機等得到的用戶的位置信息確定說話聲源(用戶)的方向，使用說話聲源的方向從得到的語音中減少周圍噪聲，由此提取用戶的說話內(nèi)容。

此外，聲音收集裝置2013只要是具有聲音收集的功能、且具有能夠傳送進行聲音收集得到的數(shù)據(jù)的功能的設(shè)備即可。例如，聲音收集裝置2013是設(shè)置于天花板的天花板麥克風(fēng)、用戶穿戴的可穿戴麥克風(fēng)或具備聲音收集的功能的填充玩偶等。

家庭網(wǎng)關(guān)1102具備詞典選擇單元2141和語音對話單元2143。另外，家庭網(wǎng)關(guān)1102保持有設(shè)備管理信息2142。詞典選擇單元2141在用第一設(shè)備2011、第二設(shè)備2012以及聲音收集裝置2013的某一個的視線檢測單元2111、2121以及2131檢測出用戶的視線時，利用設(shè)備管理信息2142確定作為操作對象的對象設(shè)備，并選擇所確定的對象設(shè)備的單獨控制詞典2102。

設(shè)備管理信息2142表示各設(shè)備的設(shè)置場所和視線檢測功能的有無等(詳細(xì)情況將在后面敘述)。語音對話單元2143進行語音對話處理。具體而言，語音對話單元2143通過向聲音收集裝置2013發(fā)出聲音收集開始指示命令而取得包含用戶的說話內(nèi)容的語音數(shù)據(jù)，并將取得的語音數(shù)據(jù)向語音對話服務(wù)器2100傳送。語音對話單元2143從語音對話服務(wù)器2100取得基于語音數(shù)據(jù)所包含的說話內(nèi)容的控制命令，并將控制命令發(fā)送給對象設(shè)備。

此外，在本實施方式中，家庭網(wǎng)關(guān)1102和聲音收集裝置2013各自分別存在，但也可以在家庭網(wǎng)關(guān)1102內(nèi)包含聲音收集裝置2013的功能。

語音對話服務(wù)器2100是云服務(wù)器1111之一，并保持有統(tǒng)合控制詞典2101和單獨控制詞典2102。該語音對話服務(wù)器2100通過語音數(shù)據(jù)解析，根據(jù)語音數(shù)據(jù)來確定說話內(nèi)容，并利用統(tǒng)合控制詞典2101和單獨控制詞典 2102根據(jù)說話內(nèi)容來確定控制命令。

在統(tǒng)合控制詞典2101和單獨控制詞典2102中記載了用于根據(jù)說話內(nèi)容(文本)確定控制命令的規(guī)則(詳細(xì)情況將在后面敘述)。此外，在本實施方式中，語音對話服務(wù)器2100和家庭網(wǎng)關(guān)1102各自分別存在，但也可以在家庭網(wǎng)關(guān)1102內(nèi)包含語音對話服務(wù)器2100的功能。另外，也可以在家庭網(wǎng)關(guān)1102內(nèi)包含語音對話服務(wù)器2100的功能的一部分。

圖4A是表示本實施方式中的設(shè)備管理信息2142的一例的圖。

設(shè)備管理信息2142包括：唯一地確定設(shè)備的識別符信息、表示設(shè)備是否為家庭網(wǎng)關(guān)的屬性信息、表示設(shè)備保有的功能的種類的類別信息、表示設(shè)備是否保有聲音收集能力的聲音收集信息、表示設(shè)置有設(shè)備的場所的設(shè)置場所信息、表示設(shè)備是否為檢測出用戶的說話開始觸發(fā)(視線)的設(shè)備的說話信息。

識別符信息例如在WiFi或Bluetooth等的配對(pairing)時根據(jù)設(shè)備的MAC地址和隨機數(shù)生成。或者，識別符信息可利用ECHONET Lite的實例列表通知所包含的識別符。

在支持ECHONET Lite等家電設(shè)備控制協(xié)議的情況下，屬性信息和類別信息利用該家電設(shè)備控制的種類信息而設(shè)定。

聲音收集信息基于在WiFi或Bluetooth等的配對時通知的聲音收集功能有無而設(shè)定。設(shè)置場所信息由用戶利用家庭網(wǎng)關(guān)1102的設(shè)定菜單等設(shè)定。設(shè)定說話信息在從第一設(shè)備2011、第二設(shè)備2012以及聲音收集裝置2013的某一個的視線檢測單元2111、2121以及2131檢測出用戶的說話開始觸發(fā)(視線)時被設(shè)定。

圖4B是表示本實施方式中的統(tǒng)合控制詞典2101的一例的圖。圖4C和圖4D是表示作為本實施方式中的單獨控制詞典2102的一例的單獨控制詞典2102A和2102B的圖。

統(tǒng)合控制詞典2101和單獨控制詞典2102包含：表示語音識別后得到的字符串信息(說話內(nèi)容)的說話識別文本信息、用于根據(jù)說話識別文本確定控制命令的行動(action，作用)信息。

統(tǒng)合控制詞典2101是在存在多個可成為控制對象的設(shè)備的情況下使用的詞典，作為行動信息，包含：表示根據(jù)說話識別文本確定的控制命令的控制命令信息、表示對象設(shè)備的類別(屬性)的設(shè)備信息以及表示設(shè)置有對象設(shè)備的場所的場所信息。

例如，在用戶說了“打開起居室的照明”的情況下，通過“起居室”、“照明”、“打開”的關(guān)鍵詞匹配，填充全部框架(控制命令(power_on)、設(shè)備(照明)、場所(起居室))作為行動信息。由此，進行將設(shè)置在起居室中的照明的電源設(shè)為接通的處理。

另外，在用戶說了“打開空調(diào)”的情況下，通過“空調(diào)”、“打開”的關(guān)鍵詞匹配，填充場所以外的框架(控制命令(power_on)、設(shè)備(空調(diào)))作為行動信息。在該情況下，在用戶家中只設(shè)置有一臺空調(diào)的情況下，進行將該空調(diào)的電源設(shè)為接通的處理，但在設(shè)置有兩臺以上的情況下，通過反問道“接通哪里的空調(diào)的電源？”，并由用戶指定場所，最終確定將要進行接通電源處理的對象空調(diào)。

另外，在用戶說了“打開制冷”的情況下，雖然沒有說確定設(shè)備本身的內(nèi)容，但由于說了設(shè)備固有的操作指示內(nèi)容，所以使用統(tǒng)合控制詞典2101補充設(shè)備信息。另外，在用戶說了“接通電源”或“加熱”的情況下，作為行動信息，只填充控制命令(power_on、heating_on)。因此，需要由用戶指示設(shè)備或場所的信息。

另外，如用戶說了“一并關(guān)閉”的情況那樣，有時即使只填充了行動信息中的控制命令(all_poff)也能夠進行操作。

另一方面，單獨控制詞典2102是在唯一地確定了成為控制對象的設(shè)備的情況下使用的詞典，作為行動信息，僅包含控制命令信息。圖4C和圖4D分別表示操作對象為空調(diào)的情況和操作對象為照明的情況的例子。使用單獨控制詞典2102的情況是指已經(jīng)確定了成為控制對象的對象設(shè)備的種類和場所的情況。因此，例如，如果用戶說“加熱”，則進行將相應(yīng)的空調(diào)設(shè)定為供暖的處理，無需確定設(shè)備信息和場所信息。

圖5是表示本實施方式中的對話信息提供系統(tǒng)所包含的各設(shè)備的構(gòu)成 例的框圖。

除了上述視線檢測單元2111以外，第一設(shè)備2011還具備設(shè)備通信單元2112和設(shè)備命令執(zhí)行單元2113。除了上述視線檢測單元2121以外，第二設(shè)備2012還具備設(shè)備通信單元2122和設(shè)備命令執(zhí)行單元2123。

設(shè)備通信單元2112是ECHONET Lite等家電設(shè)備控制的協(xié)議棧(protocol stack)。具體而言，設(shè)備通信單元2112對家庭網(wǎng)關(guān)1102進行：啟動第一設(shè)備2011時的通知等實例列表通知、接通或斷開電源的變化的通知等設(shè)備狀態(tài)的通知、來自家庭網(wǎng)關(guān)1102的電源接通設(shè)定等控制命令的接收和解釋、以及控制命令的執(zhí)行結(jié)果的響應(yīng)。

另外，向家庭網(wǎng)關(guān)1102進行視線檢測結(jié)果的通知既可以利用該通知功能進行，也可以利用獨自的協(xié)議進行。

設(shè)備命令執(zhí)行單元2113將從設(shè)備通信單元2112接受到的控制命令轉(zhuǎn)換為設(shè)備的硬件命令并執(zhí)行。

此外，視線檢測單元2121、設(shè)備通信單元2122以及設(shè)備命令執(zhí)行單元2123的功能與視線檢測單元2111、設(shè)備通信單元2112以及設(shè)備命令執(zhí)行單元2113的功能相同。

除了上述視線檢測單元2131和聲音收集單元2132以外，聲音收集裝置2013還具備信息提示單元2133和設(shè)備通信單元2134。

信息提示單元2133對由視線檢測單元2131檢測出的用戶提示各種信息。例如，信息提示單元2133對用戶輸出“請說話”這樣的語音或使LED燈發(fā)光而催促用戶說話。

設(shè)備通信單元2134的功能與上述設(shè)備通信單元2112和2122相同。

除了上述詞典選擇單元2141和語音對話單元2143以外，家庭網(wǎng)關(guān)1102還具備設(shè)備管理單元2144、設(shè)備通信單元2145以及云通信單元2146。

設(shè)備通信單元2145的功能與上述的設(shè)備通信單元2112、2122以及2134的功能相同。云通信單元2146在利用對話功能時，管理用戶是否同意利用許可，在用戶同意了利用許可的情況下，建立與語音對話服務(wù)器2100的連接，并與語音對話服務(wù)器2100收發(fā)信息。

圖6是表示本實施方式中的用戶對對象設(shè)備說話的情況下的對話信息提供系統(tǒng)中的工作例的圖。例如，第一設(shè)備2011是設(shè)置在第一空間2001(一樓起居室)中的照明，第二設(shè)備2012是設(shè)置在第二空間2002(二樓臥室)中的空調(diào)，聲音收集裝置2013是設(shè)置在第一空間2001(一樓起居室)的天花板上的麥克風(fēng)。用戶在第一空間2001中將視線朝向第一設(shè)備2011并說“接通電源”。

由此，第一設(shè)備2011檢測出用戶的視線朝向了本設(shè)備這一情況(S301)，并向家庭網(wǎng)關(guān)1102通知檢測結(jié)果(S302)。家庭網(wǎng)關(guān)1102從統(tǒng)合控制詞典2101和多個單獨控制詞典2102中選擇要使用的詞典(S303)。在該情況下，由于用戶的視線朝向了第一設(shè)備2011，所以家庭網(wǎng)關(guān)1102選擇第一設(shè)備2011的單獨控制詞典2102。

接著，聲音收集裝置2013、家庭網(wǎng)關(guān)1102以及語音對話服務(wù)器2100進行語音對話處理(S304)。語音對話處理是根據(jù)對語音數(shù)據(jù)進行解析后得到的字符串信息、統(tǒng)合控制詞典2101以及單獨控制詞典2102確定用戶試圖的家電操作，并向用戶通知該結(jié)果的處理，所述語音數(shù)據(jù)是對用戶的說話進行聲音收集而成的數(shù)據(jù)。在圖4B中的統(tǒng)合控制詞典2101的例子中，不能根據(jù)說話識別文本“接通電源”確定控制命令。另一方面，在本實施方式中，在步驟S303中選擇單獨控制詞典2102，由此能夠使用該單獨控制詞典2102，根據(jù)說話識別文本“接通電源”來確定控制命令。

接著，家庭網(wǎng)關(guān)1102基于語音對話處理的結(jié)果，向第一設(shè)備2011發(fā)送控制命令(S305)。第一設(shè)備2011執(zhí)行接收到的控制命令(S306)。

通過這樣的流程，即使是在用戶沒有進行確定設(shè)備的內(nèi)容的說話的情況下，也能夠確定設(shè)備并進行操作。

此外，在用戶在說話內(nèi)容中加入確定設(shè)備的要素的情況下，使由用戶的說話內(nèi)容確定的設(shè)備比由步驟S303確定的設(shè)備優(yōu)先，并將由用戶的說話內(nèi)容確定的設(shè)備決定為對象設(shè)備。例如，在看著起居室的照明(第一設(shè)備2011)說了“打開空調(diào)”的情況下，接通臥室的空調(diào)的電源，而不是起居室的照明。

圖7是表示本實施方式中的用戶對聲音收集裝置2013說話的情況下的對話信息提供系統(tǒng)中的工作例的圖。用戶將視線朝向聲音收集裝置2013并說“接通電源”。

聲音收集裝置2013檢測用戶的視線朝向本設(shè)備這一情況(S311)，并向家庭網(wǎng)關(guān)1102通知檢測結(jié)果(S312)。家庭網(wǎng)關(guān)1102從統(tǒng)合控制詞典2101和多個單獨控制詞典2102中選擇要使用的詞典(S313)。在該情況下，由于用戶的視線朝向了聲音收集裝置2013，所以家庭網(wǎng)關(guān)1102選擇第一設(shè)備2011和第二設(shè)備2012的單獨控制詞典2102中存在于用戶的視覺識別范圍外的第二設(shè)備2012的單獨控制詞典2102。此外，在此，用戶存在于第一空間2001(起居室)，選擇作為對象設(shè)備配置于與第一空間2001不同的第二空間2002(臥室)的第二設(shè)備2012的單獨控制詞典2102。

接著，與步驟S304同樣地，聲音收集裝置2013、家庭網(wǎng)關(guān)1102以及語音對話服務(wù)器2100進行語音對話處理(S314)。然后，家庭網(wǎng)關(guān)1102基于語音對話處理的結(jié)果，向第二設(shè)備2012發(fā)送控制命令(S315)。第二設(shè)備2012執(zhí)行接收到的控制命令(S316)。

通過這樣的流程，即使在用戶沒有進行確定設(shè)備的內(nèi)容的說話，且用戶對尚未與設(shè)備關(guān)聯(lián)的聲音收集裝置2013說話的情況下，也能夠確定設(shè)備并進行操作。

接著，說明各裝置的工作。圖8是表示第一設(shè)備2011的工作流程的流程圖。此外，第二設(shè)備2012的工作也同樣如此。

首先，第一設(shè)備2011通過檢測用戶的視線是否朝向了本設(shè)備來檢測用戶的說話開始(S201)。第一設(shè)備2011在檢測出用戶的視線的情況下(在S201中為是)，向家庭網(wǎng)關(guān)1102發(fā)送表示檢測出用戶的視線的視線檢測通知(S202)。

另外，第一設(shè)備2011在從家庭網(wǎng)關(guān)1102接收到控制命令的情況下(在S203中為是)，執(zhí)行接收到的控制命令(S204)。

圖9是表示聲音收集裝置2013的工作流程的流程圖。首先，聲音收集裝置2013通過檢測用戶的視線是否朝向本設(shè)備，檢測用戶的說話開始 (S211)。聲音收集裝置2013在檢測出用戶的視線的情況下(在S211中為是)，向家庭網(wǎng)關(guān)1102發(fā)送表示檢測出用戶的視線的視線檢測通知(S212)。

圖10是表示家庭網(wǎng)關(guān)1102的工作流程的流程圖。家庭網(wǎng)關(guān)1102在從第一設(shè)備2011、第二設(shè)備2012或聲音收集裝置2013接收到視線檢測通知的情況下(在S221中為是)，基于由哪個裝置檢測出視線，從統(tǒng)合控制詞典2101和多個單獨控制詞典2102中選擇要使用的詞典(S222)。接著，家庭網(wǎng)關(guān)1102進行語音對話處理(S223)。接著，家庭網(wǎng)關(guān)1102向?qū)ο笤O(shè)備發(fā)送由語音對話處理確定的控制命令(S224)。

以下，說明家庭網(wǎng)關(guān)1102中的詞典選擇處理(S222)的詳細(xì)情況。圖11是表示詞典選擇處理(S222)的詳細(xì)情況的流程圖。

家庭網(wǎng)關(guān)1102選擇統(tǒng)合控制詞典2101作為默認(rèn)的對話詞典(S230)。

接著，家庭網(wǎng)關(guān)1102參照設(shè)備管理信息2142，判定作為視線檢測通知的發(fā)送源的裝置是否為家電設(shè)備(S231)。在此，家電設(shè)備是作為利用語音對話進行操作的對象的設(shè)備。

在作為視線檢測通知的發(fā)送源的裝置為家電設(shè)備的情況下(在S231中為是)，除了由步驟S230選擇出的統(tǒng)合控制詞典2101以外，家庭網(wǎng)關(guān)1102還選擇作為視線檢測通知的發(fā)送源的裝置的單獨控制詞典2102(S232)。另一方面，在作為視線檢測通知的發(fā)送源的裝置不是家電設(shè)備的情況下(在S231中為否)，家庭網(wǎng)關(guān)1102參照設(shè)備管理信息2142，判定在用戶的視覺識別范圍外是否存在設(shè)備(S233)。

具體而言，檢測用戶存在于哪個空間。例如，家庭網(wǎng)關(guān)1102判斷為用戶存在于與作為視線檢測通知的發(fā)送源的裝置相同的空間(例如房間)內(nèi)。此外，家庭網(wǎng)關(guān)1102也可以判定為用戶存在于與取得了用戶語音的聲音收集裝置2013相同的空間內(nèi)。另外，家庭網(wǎng)關(guān)1102也可以判斷為用戶存在于作為視線檢測通知的發(fā)送源的裝置的附近?；蛘撸彝ゾW(wǎng)關(guān)1102也可以根據(jù)由設(shè)置于組1100內(nèi)的相機得到的信息判定用戶的位置。

家庭網(wǎng)關(guān)1102參照設(shè)備管理信息2142，將存在于與用戶存在的空間(例如房間)不同的空間內(nèi)的設(shè)備判斷為用戶的視覺識別范圍外的設(shè)備。 此外，在此，基于用戶和設(shè)備是否存在于相同的空間(例如房間)，判定各設(shè)備是在用戶的視覺識別范圍內(nèi)還是在視覺識別范圍外，但家庭網(wǎng)關(guān)1102也可以更詳細(xì)地判定各設(shè)備和用戶的位置，并且使用用戶存在的空間的詳細(xì)的布局信息等，根據(jù)用戶的位置確定實際上能夠視覺識別的設(shè)備，將確定出的設(shè)備以外的設(shè)備判定為用戶的視覺識別范圍外的設(shè)備。

在設(shè)備存在于用戶的視覺識別范圍外的情況下(在S233中為是)，除了步驟S230中選擇的統(tǒng)合控制詞典2101以外，家庭網(wǎng)關(guān)1102還選擇用戶的視覺識別范圍外的設(shè)備的單獨控制詞典2102(S234)。

另一方面，在用戶的視覺識別范圍外不存在設(shè)備的情況下(在S233中為否)，家庭網(wǎng)關(guān)1102不選擇單獨控制詞典2102，僅選擇在步驟S230中選擇的統(tǒng)合控制詞典2101作為要使用的詞典。

另外，也可以在步驟S234中選擇多個單獨控制詞典2102。另外，在該情況下，在多個單獨控制詞典2102中也可以設(shè)定優(yōu)先級。

以下，說明圖6和圖7所示的語音對話處理(S304和S314)的詳細(xì)情況。圖12是表示語音對話處理(S304和S314)的工作例的圖。

首先，聲音收集裝置2013、家庭網(wǎng)關(guān)1102以及語音對話服務(wù)器2100進行將說話內(nèi)容轉(zhuǎn)換成文本的語音識別處理(S321)。接著，家庭網(wǎng)關(guān)1102和語音對話服務(wù)器2100進行如下意圖理解處理：基于統(tǒng)合控制詞典2101和單獨控制詞典2102，根據(jù)作為語音識別處理的結(jié)果得到的識別文本輸出對設(shè)備的控制命令(S322)。在通過該意圖理解處理不能夠確定對象設(shè)備或控制命令的情況下(S323)，家庭網(wǎng)關(guān)1102向聲音收集裝置2013指示以向用戶進行反問(S324)。當(dāng)聲音收集裝置2013接收到反問的指示時，對用戶進行用于確定對象設(shè)備或控制命令的反問(S325)。

對通過該反問得到的說話內(nèi)容再次進行語音識別處理(S326)和意圖理解處理(S327)。在通過該意圖理解處理能夠確定對象設(shè)備和控制命令的情況下(S328)，家庭網(wǎng)關(guān)1102向聲音收集裝置2013發(fā)送使聲音收集裝置2013提示語音對話的結(jié)果的指示(S329)。當(dāng)聲音收集裝置2013接收到結(jié)果顯示的指示時，對用戶提示語音對話結(jié)果的信息(S330)。

圖13是家庭網(wǎng)關(guān)1102的語音對話處理(圖10的S223)的流程圖。首先，家庭網(wǎng)關(guān)1102進行語音識別處理(S241)和意圖理解處理(S242)。接著，家庭網(wǎng)關(guān)1102判斷是否能夠確定對象設(shè)備(S243)。在能夠確定設(shè)備的情況下(在S243中為是)，家庭網(wǎng)關(guān)1102判斷是否能夠確定控制命令(S244)。在能夠確定控制命令的情況下(在S244中為是)，家庭網(wǎng)關(guān)1102向聲音收集裝置2013發(fā)送使聲音收集裝置2013顯示語音對話的結(jié)果的指示(S245)。

另一方面，在判斷為不能夠確定對象設(shè)備的情況下(在S243中為否)或判斷為不能夠確定控制命令的情況下(在S244中為否)，家庭網(wǎng)關(guān)1102向聲音收集裝置2013指示以向用戶進行反問(S246)。

在此，在語音識別處理中，利用通過詞典選擇處理選擇出的單獨控制詞典2102，由此有可能能夠減少誤識別的風(fēng)險。例如，在用戶說了“加熱”(あたためて)的情況下，在提取語音識別結(jié)果時，可考慮“あたためて”、“暖めて”、“溫めて”、“アタタメテ”等多個候選。在此，在選擇了空調(diào)的單獨控制詞典2102的情況下，選擇“暖めて”作為最有力候選。另外，在選擇了微波爐的單獨控制詞典2102的情況下，選擇“溫めて”。另外，在僅選擇了統(tǒng)合控制詞典2101的情況下，例如選定“あたためて”較好。

另外，即使進行反問，也不一定通過理想次數(shù)的說話就能進行用戶希望的設(shè)備操作。例如，在用戶說了“接通電源”的情況下，在圖4B所示的統(tǒng)合控制詞典2101中，如果通過反問請用戶說出設(shè)備和場所這兩個信息，則處理應(yīng)該完畢。只是，實際上，并不能保證用清楚且很大的聲音，僅僅說出“空調(diào)”作為設(shè)備，說出“臥室”作為場所。也會存在混入雜音，用戶說了多余的語言，或者用戶用很小且不清楚的聲音說話的情況。這樣，由于很可能識別失敗，所以通過詞典選擇處理以盡可能少的說話進行設(shè)備操作，由此用戶的便利性會提高。在誤識別的發(fā)生太過分的情況下，可以通過對用戶提示容易識別的說話例子而實現(xiàn)誤識別率的降低，或者也可以通過使可愛的角色等道歉而緩和用戶的焦躁。

圖14是表示語音識別處理(圖12的S321)的工作例的圖。首先，家 庭網(wǎng)關(guān)1102對聲音收集裝置2013指示保持語音(S351)，對語音對話服務(wù)器2100指示開始語音識別(S352)。

接受到指示的聲音收集裝置2013開始保持用戶說出的語音數(shù)據(jù)(S353)。之后，聲音收集裝置2013向用戶提示用于誘導(dǎo)說話的信息(S355)。另一方面，接受到指示的語音對話服務(wù)器2100開始對語音數(shù)據(jù)的語音識別(S354)。

接著，家庭網(wǎng)關(guān)1102取得聲音收集裝置2013保持著的語音數(shù)據(jù)(S356)，并向語音對話服務(wù)器2100傳送語音數(shù)據(jù)(S357)。語音對話服務(wù)器2100對傳送來的語音數(shù)據(jù)進行語音識別處理(S358)。反復(fù)進行該一系列處理直到用戶的說話結(jié)束。

在用戶的說話結(jié)束的情況下，家庭網(wǎng)關(guān)1102通知聲音收集裝置2013結(jié)束語音數(shù)據(jù)的保持(S359)，并通知語音對話服務(wù)器2100結(jié)束語音識別(S360)。

接受到通知的聲音收集裝置2013結(jié)束對用戶說出的語音數(shù)據(jù)的保持(S361)。接受到通知的語音對話服務(wù)器2100結(jié)束語音識別處理(S362)，向家庭網(wǎng)關(guān)1102通知語音識別結(jié)果(S363)。

圖15是由家庭網(wǎng)關(guān)1102進行的語音識別處理(圖13的S241)的流程圖。

首先，家庭網(wǎng)關(guān)1102對聲音收集裝置2013指示保持語音，對語音對話服務(wù)器2100指示開始語音識別(S251)。接著，家庭網(wǎng)關(guān)1102取得聲音收集裝置2013保持著的語音數(shù)據(jù)(S252)。然后，家庭網(wǎng)關(guān)1102基于取得的聲音數(shù)據(jù)判斷用戶的說話是否結(jié)束(S253)。

在判斷為用戶的說話還在繼續(xù)的情況下(在S253中為否)，家庭網(wǎng)關(guān)1102向語音對話服務(wù)器2100傳送語音數(shù)據(jù)(S254)，并返回步驟S252。

另一方面，在判斷為用戶的說話結(jié)束的情況下(在S253中為是)，家庭網(wǎng)關(guān)1102通知聲音收集裝置2013結(jié)束語音數(shù)據(jù)的保持，并通知語音對話服務(wù)器2100結(jié)束語音識別(S255)。

接著，家庭網(wǎng)關(guān)1102接收從語音對話服務(wù)器2100發(fā)送來的語音識別 結(jié)果(S256)。

圖16是表示意圖理解處理(圖12的S322和S327)的工作例的圖。首先，家庭網(wǎng)關(guān)1102對語音對話服務(wù)器2100指示開始進行意圖理解(S371)。此時，家庭網(wǎng)關(guān)1102例如將說話識別文本和利用詞典選擇處理選擇出的詞典的信息等作為輸入信息發(fā)送給語音對話服務(wù)器2100。

當(dāng)接受意圖理解開始的指示時，語音對話服務(wù)器2100對照說話識別文本、統(tǒng)合控制詞典2101以及單獨控制詞典2102，決定對設(shè)備指示的行動(S372)。具體而言，語音對話服務(wù)器2100使用單獨控制詞典2102和統(tǒng)合控制詞典2101的每一個，根據(jù)說話識別文本來決定行動。然后，語音對話服務(wù)器2100對家庭網(wǎng)關(guān)1102發(fā)送表示所決定的行動的信息(S373)。此外，在基于多個詞典決定了多個行動的情況下，發(fā)送多個行動。

當(dāng)接收到多個行動時，家庭網(wǎng)關(guān)1102確定對設(shè)備的控制命令(S374)。此時，即使用單獨控制詞典2102生成了行動，在統(tǒng)合控制詞典2101中填充了場所和設(shè)備的槽位(slot)或成為能夠進行設(shè)備操作的狀態(tài)的情況下，家庭網(wǎng)關(guān)1102也選擇統(tǒng)合控制詞典2101的結(jié)果。也就是說，在由統(tǒng)合控制詞典2101和單獨控制詞典2102這兩方生成了行動的情況下，家庭網(wǎng)關(guān)1102使統(tǒng)合控制詞典2101的行動優(yōu)先。由此，例如，在用戶朝向照明說出了“打開空調(diào)”的情況下，進行接通由說話內(nèi)容確定的空調(diào)的電源的處理，而不接通作為視線目的地的照明的電源。

另外，在利用多個單獨控制詞典2102生成了行動的情況下，家庭網(wǎng)關(guān)1102基于在設(shè)備中設(shè)定的優(yōu)先級來確定要使用的行動。此外，該優(yōu)先級既可以基于后述的距離信息設(shè)定，也可以基于其他條件設(shè)定。

另外，作為使由根據(jù)統(tǒng)合控制詞典2101生成的行動確定的命令優(yōu)先的工作例，也有進行設(shè)備的一并控制的事例。例如，第一設(shè)備2011為空調(diào)，第二設(shè)備2012為照明，聲音收集裝置2013為設(shè)置于天花板的麥克風(fēng)。用戶看著聲音收集裝置2013說出“一并關(guān)閉”。在該情況下，通過詞典選擇處理，選擇統(tǒng)合控制詞典2101和位于預(yù)定空間內(nèi)的空調(diào)的單獨控制詞典2102。在圖4B所示的統(tǒng)合控制詞典2101中，通過利用“一并關(guān)閉”這樣 的話填充操作命令，從而成為可操作的狀態(tài)。由此，通過使統(tǒng)合控制詞典2101的行動優(yōu)先，關(guān)閉空調(diào)和照明的電源。

此外，在上述說明中，作為檢測用戶的視線朝向不存在多臺設(shè)備的區(qū)域這一情況的方法，使用了聲音收集裝置2013具備的視線檢測單元2131的檢測結(jié)果，但也可以使用除此以外的方法。例如，視線檢測單元也可以設(shè)置在配置有多臺設(shè)備(第一設(shè)備2011和第二設(shè)備2012)的區(qū)域以外的任意區(qū)域。

例如，家庭網(wǎng)關(guān)1102也可以具備視線檢測單元?；蛘撸部梢栽诔蔀橛脩魧υ挼膶ο蟮奈矬w(人偶等)上設(shè)置視線檢測單元。進一步，成為用戶的對話對象的物體也可以是虛擬物體(全息圖等)。該情況下，例如，也可以基于由設(shè)置在組1100內(nèi)的相機拍攝到的圖像，檢測用戶的視線方向。另外，在多臺設(shè)備具備的視線檢測單元都沒有檢測出用戶的視線的情況下，也可以判定為用戶的視線朝向不存在多臺設(shè)備的區(qū)域。

此外，作為檢測用戶的視線朝向不存在多臺設(shè)備的區(qū)域這一情況的方法，既可以使用上述的某一種方法，也可以使用兩種以上方法。

如上所述，本實施方式涉及的方法由基于聲音收集裝置2013收集的用戶的說話內(nèi)容來操作多臺設(shè)備的控制裝置(例如家庭網(wǎng)關(guān)1102等)進行。此外，如上所述，控制裝置不限定于家庭網(wǎng)關(guān)1102，可以是系統(tǒng)所包含的任意設(shè)備。例如，如后面所述，控制裝置也可以包含家庭網(wǎng)關(guān)1102、聲音收集裝置2013以及語音對話服務(wù)器2100的功能中的至少一部分。

首先，控制裝置取得與用戶的視線朝向的方向相關(guān)的視線信息?？刂蒲b置基于視線信息判斷用戶的視線是否朝向第一區(qū)域，所述第一區(qū)域是該用戶能夠視覺識別的空間中的一部分區(qū)域，且與存在多臺設(shè)備的位置不同(S101，S231)。

例如，第一區(qū)域為控制裝置存在的區(qū)域。具體而言，控制裝置具備檢測用戶的視線是否朝向該控制裝置的視線檢測單元，并取得該視線檢測單元檢測出用戶的視線朝向控制裝置這一情況之意作為視線信息。在視線檢測單元檢測出用戶的視線朝向控制裝置的情況下，控制裝置判斷為用戶的 視線朝向第一區(qū)域。

或者，聲音收集裝置2013設(shè)置在與多臺設(shè)備不同的位置，第一區(qū)域是聲音收集裝置2013存在的區(qū)域。具體而言，聲音收集裝置2013具備視線檢測單元2131，所述視線檢測單元2131檢測用戶的視線是否朝向該聲音收集裝置2013?？刂蒲b置取得視線檢測單元2131檢測出用戶的視線朝向聲音收集裝置2013這一情況之意作為視線信息。在視線檢測單元2131檢測出用戶的視線朝向聲音收集裝置2013的情況下，控制裝置判斷為用戶的視線朝向第一區(qū)域。

或者，第一區(qū)域是作為用戶的說話(對話)對象的物體(人偶等)存在的區(qū)域。具體而言，物體具備視線檢測單元，所述視線檢測單元檢測用戶的視線是否朝向該物體。控制裝置取得視線檢測單元檢測出用戶的視線朝向物體這一情況之意作為視線信息。在視線檢測單元檢測出用戶的視線朝向物體的情況下，控制裝置判斷為用戶的視線朝向第一區(qū)域。

或者，第一區(qū)域是作為用戶的說話(對話)對象的假想物體(全息圖等)存在的區(qū)域。具體而言，控制裝置取得由拍攝裝置拍攝到的包含用戶的圖像作為視線信息?？刂蒲b置根據(jù)該圖像解析用戶的視線朝向的方向。

在判斷為用戶的視線朝向所述第一區(qū)域的情況下(在S101中為否，在S231中為否)，控制裝置從用于將用戶的說話內(nèi)容轉(zhuǎn)換成對應(yīng)的設(shè)備的控制命令的多個單獨控制詞典2102之中，選擇多臺設(shè)備中與存在于該用戶不能視覺識別的空間中的第一設(shè)備對應(yīng)的第一詞典(S103、S234)。

接著，控制裝置使用選擇出的第一詞典，將用戶的說話內(nèi)容轉(zhuǎn)換成控制命令(S107)。另外，控制裝置向?qū)ο笤O(shè)備發(fā)送控制命令(S110)。

另外，控制裝置向用戶通知利用控制命令操作的操作內(nèi)容(S108)，在承認(rèn)了操作內(nèi)容的情況下(在S109中為是)，利用控制命令操作對象設(shè)備(S110)。

由此，本實施方式涉及的方法中，在用戶的視線朝向設(shè)備存在的位置以外的特定區(qū)域的情況下，通過選擇存在于對用戶來說不能視覺識別的空間中的設(shè)備的單獨控制詞典2102，能夠?qū)⒃撛O(shè)備確定為操作對象。由此， 由于能夠減少對用戶的反問的產(chǎn)生，所以能夠提高用戶的便利性。

另外，控制裝置判斷用戶的視線是否朝向存在于該用戶能夠視覺識別的空間中的、多臺設(shè)備所包含的第二設(shè)備(S101、S231)，在判斷為用戶的視線朝向第二設(shè)備的情況下(在S101中為是，在S231中為是)，從多個單獨控制詞典2102之中選擇與該第二設(shè)備對應(yīng)的單獨控制詞典2102(S102，S232)。另外，控制裝置使用選擇出的第二詞典，將用戶的說話內(nèi)容轉(zhuǎn)換成控制命令(S107)。

由此，本實施方式涉及的方法中，通過在用戶將視線朝向某設(shè)備的情況下選擇該設(shè)備的單獨控制詞典2102，能夠確定該設(shè)備為操作對象。由此，由于能夠減少對用戶的反問的產(chǎn)生，所以能夠提高用戶的便利性。

另外，在使用選擇出的第一詞典不能將用戶的說話內(nèi)容轉(zhuǎn)換成控制命令的情況下(在S106中為否)，控制裝置催促用戶輸入為了確定控制命令所需的信息(S111)。

另外，多個詞典包含在存在多個可成為控制對象的設(shè)備的情況下使用的統(tǒng)合控制詞典2101。在能夠使用選擇出的第一詞典(單獨控制詞典2102)將用戶的說話內(nèi)容轉(zhuǎn)換成控制命令，且能夠使用統(tǒng)合控制詞典2101將用戶的說話內(nèi)容轉(zhuǎn)換成控制命令的情況下(在S104中為是)，控制裝置使用統(tǒng)合控制詞典2101將用戶的說話內(nèi)容轉(zhuǎn)換成控制命令(S105)。

由此，即使在基于用戶的視線信息選擇了單獨控制詞典2102的情況下，也能夠使根據(jù)用戶的說話內(nèi)容確定的設(shè)備優(yōu)先作為操作對象。因此，能夠抑制用戶意想不到的設(shè)備被錯誤地選擇為操作對象。

(實施方式2)

在本實施方式中，說明上述實施方式1涉及的對話信息提供系統(tǒng)的變形例。此外，在以下的實施方式中，省略與之前的實施方式重復(fù)的說明，主要說明不同之處。

本實施方式涉及的對話信息提供系統(tǒng)相對于實施方式1涉及的對話信息提供系統(tǒng)不同之處在于詞典選擇處理(圖10的S222)。具體而言，在本實施方式中，在用戶的視線沒有朝向設(shè)備的情況下，選擇存在于用戶附近 的設(shè)備的單獨控制詞典2102。

圖17是本實施方式涉及的詞典選擇處理(S222A)的流程圖。此外，相對于圖10所示的處理，圖17所示的處理包含步驟S233A和S234來取代步驟S233和S234。

在作為視線檢測通知的發(fā)送源的裝置不是家電設(shè)備的情況下(在S231中為否)，家庭網(wǎng)關(guān)1102參照設(shè)備管理信息2142，判定在用戶附近是否存在設(shè)備(S233A)。

具體而言，家庭網(wǎng)關(guān)1102參照設(shè)備管理信息2142，將存在于與用戶存在的空間(例如房間)相同的空間內(nèi)的設(shè)備判斷為用戶附近的設(shè)備。

在用戶附近存在設(shè)備的情況下(在S233A中為是)，除了在步驟S230中選擇出的統(tǒng)合控制詞典2101以外，家庭網(wǎng)關(guān)1102還選擇用戶附近的設(shè)備的單獨控制詞典2102(S234A)。

另一方面，在用戶附近不存在設(shè)備的情況下(在S233A中為否)，家庭網(wǎng)關(guān)1102不選擇單獨控制詞典2102，僅選擇在步驟S230中選擇的統(tǒng)合控制詞典2101作為要使用的詞典。

另外，也可以在步驟S234A中選擇多個單獨控制詞典2102。另外，在該情況下，在多個單獨控制詞典2102中也可以設(shè)定優(yōu)先級。

圖18是表示本實施方式中的用戶對聲音收集裝置2013說話的情況下的對話信息提供系統(tǒng)中的工作例的圖。此外，用戶對對象設(shè)備說話的情況下的對話信息提供系統(tǒng)中的工作例與圖6相同。

例如，用戶將視線朝向聲音收集裝置2013說“接通電源”。

聲音收集裝置2013檢測出用戶的視線朝向本設(shè)備這一情況(S311)，并向家庭網(wǎng)關(guān)1102通知檢測結(jié)果(S312)。家庭網(wǎng)關(guān)1102從統(tǒng)合控制詞典2101和多個單獨控制詞典2102中選擇要使用的詞典(S313A)。在該情況下，由于用戶的視線朝向聲音收集裝置2013，所以家庭網(wǎng)關(guān)1102選擇第一設(shè)備2011和第二設(shè)備2012中存在于用戶附近的第一設(shè)備2011的單獨控制詞典2102。此外，在此，用戶存在于第一空間2001(起居室)，并選擇存在于與用戶相同的第一空間2001內(nèi)的第一設(shè)備2011作為對象設(shè)備。

接著，與步驟S304同樣地，聲音收集裝置2013、家庭網(wǎng)關(guān)1102以及語音對話服務(wù)器2100進行語音對話處理(S314)。然后，家庭網(wǎng)關(guān)1102基于語音對話處理的結(jié)果，向第一設(shè)備2011發(fā)送控制命令(S315A)。第一設(shè)備2011執(zhí)行接收到的控制命令(S316A)。

通過這樣的流程，即使是在用戶沒有進行確定設(shè)備的內(nèi)容的說話，且用戶對尚未與設(shè)備關(guān)聯(lián)的聲音收集裝置2013說話的情況下，也能夠確定設(shè)備并進行操作。

(實施方式3)

在本實施方式中，說明上述實施方式1涉及的對話信息提供系統(tǒng)的變形例。在本實施方式中，第一設(shè)備2011和第二設(shè)備2012進一步具有檢測與用戶的距離的功能。對話信息提供系統(tǒng)基于檢測出的設(shè)備與用戶的距離，確定用戶的視覺識別范圍外的設(shè)備。

圖19是表示本實施方式中的第一設(shè)備2011A和第二設(shè)備2012A的一例的框圖。第一設(shè)備2011A和第二設(shè)備2012A除了實施方式1涉及的第一設(shè)備2011和第二設(shè)備2012的構(gòu)成要素以外，還具備檢測用戶與本設(shè)備的距離的距離檢測單元2114和2124。在此，距離檢測單元2114和2124既可以檢測用戶是否存在于距本設(shè)備預(yù)定距離以內(nèi)，也可以檢測用戶與本設(shè)備的距離(值)。

圖20A～圖20C是表示本實施方式中的設(shè)備管理信息2142的一例的圖。在圖20A所示的設(shè)備管理信息2142A的例子中，家庭網(wǎng)關(guān)1102、作為第一設(shè)備2011的照明、作為聲音收集裝置2013的天花板麥克風(fēng)設(shè)置在起居室內(nèi)，作為第二設(shè)備2012的空調(diào)設(shè)置在臥室內(nèi)。另外，作為由距離檢測單元2114和2124取得的用戶與設(shè)備的距離信息，示出了由第一設(shè)備2011檢測出用戶這一情況。

在圖20B所示的設(shè)備管理信息2142B的例子中，雖然存在家庭網(wǎng)關(guān)1102、作為第一設(shè)備2011的照明、作為第二設(shè)備2012的空調(diào)以及作為聲音收集裝置2013的天花板麥克風(fēng)，但未設(shè)定各裝置的設(shè)置場所。另外，作為由距離檢測單元2114和2124取得的用戶與設(shè)備的距離信息，示出了由 第一設(shè)備2011檢測出用戶這一情況。

在圖20C所示的設(shè)備管理信息2142C的例子中，家庭網(wǎng)關(guān)1102和作為第二設(shè)備2012的空調(diào)設(shè)置在起居室內(nèi)，作為第一設(shè)備2011的微波爐和作為聲音收集裝置2013的聲音收集麥克風(fēng)設(shè)置在廚房內(nèi)。另外，作為由距離檢測單元2114和2124取得的用戶與設(shè)備的距離信息，示出了由第一設(shè)備2011檢測出用戶這一情況。

此外，在此，作為距離信息示出了由哪臺設(shè)備檢測出用戶，但也可以示出數(shù)值信息以知道距離的遠(yuǎn)近。另外，作為該數(shù)值信息，也可以使用表示與設(shè)備的通信時間的信息。由此，在存在檢測出用戶的多臺設(shè)備的情況下，能夠判定哪臺設(shè)備與用戶最接近。

圖21是表示圖11所示的處理中將用戶的視覺識別范圍外的設(shè)備設(shè)定為對象設(shè)備的處理(S233和S234)的詳細(xì)情況的流程圖。

首先，家庭網(wǎng)關(guān)1102判定在設(shè)備管理信息2142中是否設(shè)定有設(shè)置場所信息(S401)。在設(shè)定有設(shè)置場所信息的情況下(在S401中為是)，家庭網(wǎng)關(guān)1102選擇設(shè)置在與用戶不同的空間(例如不同的房間)中的設(shè)備的單獨控制詞典2102(S402)。

另一方面，在未設(shè)定設(shè)置場所信息的情況下(在S401中為否)，家庭網(wǎng)關(guān)1102基于距離信息，選擇離用戶預(yù)定距離以上的設(shè)備的單獨控制詞典2102(S403)。例如，家庭網(wǎng)關(guān)1102選擇檢測出用戶的設(shè)備以外的設(shè)備的單獨控制詞典2102。

另外，在步驟S402和S403中，在選擇了多個單獨控制詞典2102的情況下(在S404中為是)，家庭網(wǎng)關(guān)1102對多個單獨控制詞典2102設(shè)定優(yōu)先級以使得距用戶的距離越遠(yuǎn)優(yōu)先級越高(S405)。

以下，用圖20A和圖20B的例子說明該處理的具體例。

在圖20A所示的例子中，第一設(shè)備2011為設(shè)置在起居室中的照明，第二設(shè)備2012為設(shè)置在臥室中的空調(diào)，聲音收集裝置2013為設(shè)置在天花板上的麥克風(fēng)。用戶在起居室中未將視線朝向設(shè)備(例如將視線朝向聲音收集裝置2013)說了“接通電源”的情況下，設(shè)置在與用戶不同的房間內(nèi) 的臥室的空調(diào)被選擇為對象設(shè)備。此外，在不同的房間中設(shè)置有多臺空調(diào)的情況下，既可以選擇這些空調(diào)的全部，也可以僅選擇距用戶最遠(yuǎn)的設(shè)備。

另外，在圖20B所示的例子中，按距用戶的距離從近到遠(yuǎn)的順序存在第一設(shè)備2011、第二設(shè)備2012。第一設(shè)備2011為照明，第二設(shè)備2012為空調(diào)，聲音收集裝置2013為設(shè)置在天花板上的麥克風(fēng)。在用戶在起居室中未將視線朝向設(shè)備而說出“接通電源”的情況下，開始距用戶距離最遠(yuǎn)的臥室的空調(diào)的運轉(zhuǎn)。

(實施方式4)

在本實施方式中，說明對上述實施方式2涉及的對話信息提供系統(tǒng)應(yīng)用了與實施方式3同樣的變形例的情況。此外，第一設(shè)備2011A和第二設(shè)備2012A、設(shè)備管理信息2142的構(gòu)成與實施方式3相同。

圖22是表示圖17所示的處理中將用戶附近的設(shè)備設(shè)定為對象設(shè)備的處理(S233A和S234A)的詳細(xì)情況的流程圖。

首先，家庭網(wǎng)關(guān)1102判定在設(shè)備管理信息2142中是否設(shè)定有設(shè)置場所信息(S401)。在設(shè)定有設(shè)置場所信息的情況下(在S401中為是)，家庭網(wǎng)關(guān)1102選擇設(shè)置在與用戶相同的空間(例如相同的房間)中的設(shè)備的單獨控制詞典2102(S402A)。

另一方面，在未設(shè)定設(shè)置場所信息的情況下(在S401中為否)，家庭網(wǎng)關(guān)1102基于距離信息，選擇存在于距用戶預(yù)定距離以內(nèi)的設(shè)備的單獨控制詞典2102(S403A)。例如，家庭網(wǎng)關(guān)1102選擇檢測出用戶的設(shè)備的單獨控制詞典2102。

另外，在步驟S402A和S403A中，在選擇了多個單獨控制詞典2102的情況下(在S404中為是)，家庭網(wǎng)關(guān)1102對多個單獨控制詞典2102設(shè)定優(yōu)先級以使得距用戶的距離越近優(yōu)先級越高(S405A)。

以下，用圖20A～圖20C的例子說明該處理的具體例。

在圖20A所示的例子中，第一設(shè)備2011為設(shè)置在起居室中的照明，第二設(shè)備2012為設(shè)置在臥室中的空調(diào)，聲音收集裝置2013為設(shè)置在天花板上的麥克風(fēng)。在用戶在起居室中未將視線朝向設(shè)備而說了“接通電源” 的情況下，設(shè)置在與用戶相同的房間內(nèi)的起居室的空調(diào)被選擇為對象設(shè)備。此外，在起居室中設(shè)置有多臺空調(diào)的情況下，既可以選擇這些空調(diào)的全部，也可以僅選擇距用戶最近的設(shè)備。

另外，在圖20B所示的例子中，按距用戶的距離從近到遠(yuǎn)的順序存在第一設(shè)備2011、第二設(shè)備2012。第一設(shè)備2011為照明，第二設(shè)備2012為空調(diào)，聲音收集裝置2013為設(shè)置在天花板上的麥克風(fēng)。在用戶在起居室中未將視線朝向設(shè)備而說出“接通電源”的情況下，距用戶的距離最近的起居室照明的電源被接通。由此，能夠向用戶提供更加舒適的環(huán)境。

另外，在圖20C所示的例子中，第一設(shè)備2011為設(shè)置在廚房中的微波爐，第二設(shè)備2012為設(shè)置在起居室中的空調(diào)，聲音收集裝置2013為設(shè)置在廚房中的具有麥克風(fēng)功能的顯示設(shè)備。在用戶在廚房中利用顯示設(shè)備一邊檢索菜譜一邊說了“加熱”的情況下，也同樣地選擇微波爐，所述微波爐是與正在說話的用戶的距離為閾值以內(nèi)的設(shè)備。或者，在將用戶所在的場所確定為廚房時，不僅根據(jù)距離的遠(yuǎn)近，還通過使作為廚房家電種類的設(shè)備的微波爐優(yōu)先而有可能更容易推定用戶的意圖。

(實施方式5)

在本實施方式中，說明上述實施方式4的變形例。另外，在本實施方式中，說明用戶利用自己專用的填充玩偶、虛擬化身(Avatar)或可穿戴麥克風(fēng)等，通過說話來確認(rèn)或操作家電設(shè)備的狀態(tài)的情況。具體而言，在用戶不將視線朝向設(shè)備而說話且由用戶專用的聲音收集裝置取得了說話的情況下，選擇與該用戶建立了關(guān)聯(lián)的設(shè)備(例如，設(shè)置在該用戶的房間中的設(shè)備)。

圖23是表示本實施方式中的對話信息提供系統(tǒng)的一例的圖。相對于圖2所示的對話信息提供系統(tǒng)，圖23所示的對話信息提供系統(tǒng)中，組1100A的構(gòu)成與組1100不同。具體而言，組1100A還包含聲音收集裝置2014。聲音收集裝置2014具備視線檢測單元2151和聲音收集單元2152。視線檢測單元2151和聲音收集單元2152的功能與聲音收集裝置2013具備的視線檢測單元2131和聲音收集單元2132相同。聲音收集裝置2014進一步保持 用戶信息2155。用戶信息2155表示使用聲音收集裝置2013的用戶(所有者)的名稱或識別符等。

圖24是表示本實施方式中的設(shè)備管理信息2142的一例的圖。在圖24所示的設(shè)備管理信息2142D的例子中，家庭網(wǎng)關(guān)1102、作為第一設(shè)備2011的照明、作為聲音收集裝置2013的天花板麥克風(fēng)設(shè)置在起居室內(nèi)，作為第二設(shè)備2012的空調(diào)設(shè)置在兒童房間內(nèi)。另外，兒童將作為聲音收集裝置2014的可穿戴麥克風(fēng)戴在身上并想要說話。

圖25是表示將用戶附近的設(shè)備設(shè)定為對象設(shè)備的處理(圖17的S233A和S234A)的詳細(xì)情況的流程圖。圖25所示的處理相對于圖22所示的處理追加了步驟S406和S407。

在設(shè)定有設(shè)置場所信息的情況下(在S401中為是)，家庭網(wǎng)關(guān)1102判定用戶是否利用像天花板麥克風(fēng)那樣的設(shè)置場所被固定的設(shè)置麥克風(fēng)進行了說話(S406)。在用戶利用設(shè)置麥克風(fēng)說話了的情況下(在S406中為是)，與實施方式4同樣地，進行步驟S402A以后的處理。

另一方面，在用戶沒有利用設(shè)置麥克風(fēng)說話的情況下，也就是說，利用與該用戶關(guān)聯(lián)的可穿戴麥克風(fēng)等便攜麥克風(fēng)說話了的情況下(在S406中為否)，家庭網(wǎng)關(guān)1102選擇設(shè)置在用戶的房間中的設(shè)備的單獨控制詞典2102(S407)。

在圖24的例子中說明該處理的具體例。

在圖24的例子中，第一設(shè)備2011為設(shè)置在起居室中的照明，第二設(shè)備2012為設(shè)置在用戶的房間中的空調(diào)，聲音收集裝置2014為用戶專用的可穿戴麥克風(fēng)。在用戶在起居室中利用可穿戴麥克風(fēng)說出“接通電源”的情況下，選擇設(shè)置在用戶的房間中的第二設(shè)備2012的單獨控制詞典2102。

這樣，即使在像“接通電源”那樣用戶沒有說出確定設(shè)備的情況下，也能夠確定設(shè)備并控制相應(yīng)的設(shè)備。

此外，也可以預(yù)先對用戶設(shè)定優(yōu)先級。由此，在多個用戶同時說話的情況下，使優(yōu)先級更高的用戶的說話優(yōu)先。例如，也可以在家人中，將大人的優(yōu)先級設(shè)定為比兒童高?；蛘撸部梢詫⒓胰说膬?yōu)先級設(shè)定為高，將 來客等未預(yù)先登記的用戶的優(yōu)先級設(shè)定為低。

此外，在此，作為實施方式4的變形例，說明了本實施方式的工作，但對其他實施方式也能夠應(yīng)用同樣的變形例。

如上所述，控制裝置基于通過多個聲音收集裝置2013和2014的某一個收集的用戶的說話來操作對象設(shè)備。多個聲音收集裝置2013和2014包含與用戶預(yù)先關(guān)聯(lián)的第一聲音收集裝置2014。在由第一聲音收集裝置2014收集到用戶的說話的情況下，控制裝置選擇多臺設(shè)備(第一設(shè)備2011和第二設(shè)備2012)的單獨控制詞典2102中的、與用戶預(yù)先建立了關(guān)聯(lián)的設(shè)備的單獨控制詞典2102。

由此，能夠使與用戶關(guān)聯(lián)的設(shè)備優(yōu)先作為操作對象。因此，能夠抑制用戶意想不到的設(shè)備被錯誤地選擇為操作對象。

(實施方式6)

在本實施方式中，說明上述實施方式5涉及的對話信息提供系統(tǒng)的變形例。

圖26是表示本實施方式中的語音對話服務(wù)器2100A的一例的框圖。語音對話服務(wù)器2100A除了語音對話服務(wù)器2100的構(gòu)成以外，還保持有記載了控制腳本的腳本信息2103，所述控制腳本包括多個行動信息的組。另外，統(tǒng)合控制詞典2101A的構(gòu)成與統(tǒng)合控制詞典2101不同。

圖27A、圖27B以及圖27C分別是表示本實施方式中的統(tǒng)合控制詞典2101A、腳本信息2103以及單獨控制詞典2102C的一例的圖。

腳本信息2103包含：相當(dāng)于控制腳本的名稱的作為字符串的標(biāo)簽、表示能夠使用該控制腳本的用戶的對象用戶信息以及該控制腳本所包含的多個行動信息(控制命令、設(shè)備信息以及場所信息的組)的列表。

對象用戶信息是與聲音收集裝置2014保持的用戶信息2155同樣的信息。也就是說，僅對由對象用戶信息表示的用戶適用控制腳本。

例如，分配了“晚安”這樣的標(biāo)簽的控制腳本是在用戶的就寢時自動進行空調(diào)控制的控制腳本。通過從上到下按順序執(zhí)行所記載的行動信息，進行如下控制：在適當(dāng)?shù)亩〞r切斷用戶房間的空調(diào)的電源，另外，在起床 時，在成為舒適的環(huán)境的定時接通用戶房間的空調(diào)的電源。此外，在此，作為行動，記載了場所和設(shè)備的種類，但在多臺設(shè)備存在于同一空間的情況下，既可以操作該全部設(shè)備，也可以選擇性地操作某一臺代表設(shè)備。另外，也可以通過向位于同一空間的各設(shè)備分配能夠唯一地確定各設(shè)備的識別符，并在腳本信息2103中記載該識別符，從而單獨地操作各設(shè)備。

在統(tǒng)合控制詞典2101A中記載了說話識別文本與腳本的對應(yīng)關(guān)系。具體而言，統(tǒng)合控制詞典2101A包含：表示與說話識別文本對應(yīng)的控制腳本的腳本信息和表示能夠使用該控制腳本的用戶的對象用戶信息。

在用戶說了“晚安”的情況下，對于行動信息沒有填充任一個框架，但填充了腳本的框架。由此，從腳本信息2103所包含的控制腳本中，執(zhí)行與上述“晚安”這樣的標(biāo)簽對應(yīng)的控制腳本。

此外，這樣的用戶專用的規(guī)則是用戶能夠任意追加和刪除的規(guī)則。例如，家庭網(wǎng)關(guān)1102具備液晶顯示器等畫面輸出單元和觸摸面板等信息輸入單元。用戶使用它們輸入設(shè)備的控制內(nèi)容和用于執(zhí)行這些控制內(nèi)容的說話文本的信息。家庭網(wǎng)關(guān)1102向語音對話服務(wù)器2100發(fā)送被輸入的信息，語音對話服務(wù)器2100向統(tǒng)合控制詞典2101A反映該信息。由此，用戶能夠?qū)⒂脩魧Ｓ玫囊?guī)則設(shè)定為統(tǒng)合控制詞典2101A。

另外，用戶專用規(guī)則也可以由服務(wù)提供商或詞典制作者追加。也就是說，用戶專用規(guī)則也可以由對話服務(wù)器2100自動地追加。例如，也可以分析用戶具有的屬性或系統(tǒng)利用傾向，并追加更適合于用戶的規(guī)則。例如，在根據(jù)用戶的出生地信息或說話歷史記錄知道了用戶使用特定方言的情況下，通過向詞典追加使用了該方言的規(guī)則，容易實現(xiàn)用戶期待的設(shè)備控制。

另外，除了以下這一點，本實施方式中的對話信息提供系統(tǒng)的工作流程與實施方式1中的工作相同。在圖16所示的步驟S371中的意圖理解開始時，家庭網(wǎng)關(guān)1102一起發(fā)送說話了的用戶的用戶信息。在步驟S372中，語音對話服務(wù)器2100對照接收到的用戶信息和統(tǒng)合控制詞典2101A內(nèi)的對象用戶信息。由此，語音對話服務(wù)器2100能夠僅生成相應(yīng)的用戶設(shè)定好的行動。因此，即使用戶A以外的用戶說了“晚安”，由于說話了的用戶 的用戶信息與在統(tǒng)合控制詞典2101A中記載的對照用戶信息不一致，所以不生成行動。另外，即使用戶A使用未保持用戶信息2155的聲音收集裝置2013并說了“晚安”，由于語音對話服務(wù)器2100不能取得說話了的用戶的信息，所以不能進行對照，不生成行動。

以下，說明工作例。第一設(shè)備2011為設(shè)置在起居室中的空調(diào)，第二設(shè)備2012為設(shè)置在用戶A的房間中的空調(diào)，聲音收集裝置2014為保持有用戶A的用戶信息2155的可穿戴麥克風(fēng)。

在用戶A利用可穿戴麥克風(fēng)并說了“晚安”的情況下，利用圖27A和圖27B所示的統(tǒng)合控制詞典2101A和腳本信息2103，控制用戶A的房間和起居室的空調(diào)的定時器。在此，當(dāng)想要使用圖27C所示的單獨控制詞典2102C進行同樣的設(shè)定時，用戶需要對起居室的空調(diào)說“切斷電源”和“在6：30接通電源”，對臥室的空調(diào)說“在0：00切斷電源”和“在6：30接通電源”。這樣，通過使用統(tǒng)合控制詞典2101A，用戶能夠以更簡單的說話來實現(xiàn)復(fù)雜的操作。

另外，同樣地，通過向聲音收集裝置2014登記每個用戶的信息或為各用戶準(zhǔn)備與聲音收集裝置2014同樣的聲音收集裝置并向統(tǒng)合控制詞典2101A補記規(guī)則，由此，例如即使在用戶說了“晚安”的情況下，也能夠按用戶執(zhí)行不同的設(shè)備控制。

如上所述，在多個詞典(統(tǒng)合控制詞典2101A和單獨控制詞典2102)所包含的第三詞典中，將用戶的說話內(nèi)容和針對多臺設(shè)備中的一臺以上設(shè)備的多個控制命令進行關(guān)聯(lián)?？刂蒲b置使用第三詞典，將用戶的說話內(nèi)容轉(zhuǎn)換成多個控制命令。

由此，不僅能夠以少的說話執(zhí)行復(fù)雜的控制，還能夠執(zhí)行適合于各個用戶的設(shè)備控制。

(實施方式7)

在本實施方式中，說明上述實施方式1的變形例。在本實施方式中，對話信息提供系統(tǒng)誘導(dǎo)用戶以使得在開始聲音收集時讓用戶明示地指示想操作的設(shè)備。具體而言，對話信息提供系統(tǒng)催促用戶朝向?qū)ο笤O(shè)備的方向 說話。

圖28是詞典選擇處理(S222)的變形例(S222B)的流程圖。圖28所示的處理相對于圖11所示的處理追加了步驟S235和S236。

在作為視線檢測通知的發(fā)送源的裝置不是家電設(shè)備的情況下(在S231中為否)，家庭網(wǎng)關(guān)1102判定是否進行了讓用戶將視線朝向?qū)ο笤O(shè)備說話的通知(S235)。在沒有進行通知的情況下(在S235中為否)，家庭網(wǎng)關(guān)1102向具有向用戶提示信息的信息提示能力的聲音收集裝置2013等指示以向用戶傳遞消息(S236)。例如，該消息是“請朝向想操作的設(shè)備并說話”等。

由此，能夠更明確地確定用戶想操作的設(shè)備。

(其他變形例)

此外，在上述實施方式中說明的技術(shù)例如也可利用以下構(gòu)成來實現(xiàn)。

在圖29中，視線檢測單元2131和聲音收集單元2132分離為不同的設(shè)備。也就是說，圖29所示的組1100B具備視線檢測裝置2013A和聲音收集裝置2013B來取代聲音收集裝置2013，所述視線檢測裝置2013A具備視線檢測單元2131，所述聲音收集裝置2013B具備聲音收集單元2132。通過設(shè)為這樣的構(gòu)成，不僅能夠降低設(shè)備的單價，還因能夠使設(shè)備小型化和輕量化而使設(shè)備能夠容易攜帶。由此，能夠提高視線檢測的精度。

在圖30所示的組1100C中，家庭網(wǎng)關(guān)1102A保持有統(tǒng)合控制詞典2147和單獨控制詞典2148。通過設(shè)為這樣的構(gòu)成，在電波不良或有線LAN纜線脫落的情況下等通信切斷時，也能夠?qū)嵤├谜f話進行的設(shè)備控制。另外，由于在能夠進行通信的情況下也能夠減少通信的額外開銷，所以能夠提高響應(yīng)性。

此外，在該情況下，也可以由家庭網(wǎng)關(guān)1102A和語音對話服務(wù)器2100這兩方實施意圖理解處理。在該情況下，由于可以設(shè)想家庭網(wǎng)關(guān)1102A保有的統(tǒng)合控制詞典2147和單獨控制詞典2148與語音對話服務(wù)器2100保有的統(tǒng)合控制詞典2101和單獨控制詞典2102產(chǎn)生差異的情況，所以只用某一方就可能得到期望的結(jié)果。

在圖31所示的例子中，在家庭網(wǎng)關(guān)1102A中保持統(tǒng)合控制詞典2147和單獨控制詞典2148，且不存在語音對話服務(wù)器2100。通過設(shè)為這樣的構(gòu)成，即使在不與互聯(lián)網(wǎng)連接的環(huán)境中也能夠?qū)嵤├谜f話進行的設(shè)備控制。

在圖32所示的組1100D中，將家庭網(wǎng)關(guān)1102和聲音收集裝置2013一體化。組1100D所包含的家庭網(wǎng)關(guān)1102B具備視線檢測單元2131和聲音收集單元2132。通過設(shè)為這樣的構(gòu)成，由于無需用設(shè)備間通信進行視線檢測通知等，所以可減少通信的額外開銷，因此能夠提高對用戶的響應(yīng)性。

在圖33所示的組1100E中，各設(shè)備保持與該設(shè)備對應(yīng)的單獨控制詞典。具體而言，第一設(shè)備2011B保持與該第一設(shè)備2011B對應(yīng)的單獨控制詞典2115，第二設(shè)備2012B保持與該第二設(shè)備2012B對應(yīng)的單獨控制詞典2125。這是提供專用于設(shè)備的單獨控制詞典的一個方式。

語音對話服務(wù)器2100在未保持與這些設(shè)備對應(yīng)的單獨控制詞典的情況下，在控制這些設(shè)備時只能使用統(tǒng)合控制詞典2101。因此，家庭網(wǎng)關(guān)1102與更新設(shè)備管理信息2142的定時等相匹配而收集各設(shè)備具有的詞典的信息。并且，在語音對話服務(wù)器2100中沒有相應(yīng)的詞典或在語音對話服務(wù)器2100中保持的單獨控制詞典2102的版本很舊的情況下，家庭網(wǎng)關(guān)1102將收集到的詞典上傳到語音對話服務(wù)器2100。由此，語音對話服務(wù)器2100能夠使用專用于這些設(shè)備的最新的單獨控制詞典2102。但是，這些單獨控制詞典2102應(yīng)該僅對成為上傳源的設(shè)備所屬的組中的說話使用。

此外，在上述技術(shù)方案中說明的技術(shù)例如能夠在以下的云服務(wù)類型中實現(xiàn)。但是，實現(xiàn)在上述技術(shù)方案中說明的技術(shù)的云服務(wù)的類型不限于此。

(服務(wù)類型1：自己公司數(shù)據(jù)中心型云服務(wù))

圖34是表示服務(wù)類型1(自己公司數(shù)據(jù)中心型云服務(wù))中的信息管理系統(tǒng)提供的服務(wù)的整體畫面的圖。在本類型中，服務(wù)提供商1120從組1100取得信息，并對用戶提供服務(wù)。在本類型中，服務(wù)提供商1120具有數(shù)據(jù)中心運營公司的功能。即，服務(wù)提供商1120保有管理大數(shù)據(jù)的云服務(wù)器1111。因此，不存在數(shù)據(jù)中心運營公司。

在本類型中，服務(wù)提供商1120運營和管理數(shù)據(jù)中心(云服務(wù)器)1203。 另外，服務(wù)提供商1120管理操作系統(tǒng)(OS)1202和應(yīng)用1201。服務(wù)提供商1120使用服務(wù)提供商1120管理的OS1202和應(yīng)用1201而提供服務(wù)(箭頭1204)。

(服務(wù)的類型2：IaaS利用型云服務(wù))

圖35是表示服務(wù)類型2(IaaS利用型云服務(wù))中的信息管理系統(tǒng)提供的服務(wù)的整體畫面的圖。在此，IaaS是Infrastructure-as-a-Service(基礎(chǔ)設(shè)施即服務(wù))的簡稱，是將用于構(gòu)建計算機系統(tǒng)并使之工作的基礎(chǔ)本身作為經(jīng)由互聯(lián)網(wǎng)的服務(wù)而提供的云服務(wù)提供模型。

在本類型中，數(shù)據(jù)中心運營公司1110運營和管理數(shù)據(jù)中心(云服務(wù)器)1203。另外，服務(wù)提供商1120管理OS1202和應(yīng)用1201。服務(wù)提供商1120使用服務(wù)提供商1120管理的OS1202和應(yīng)用1201而提供服務(wù)(箭頭1204)。

(服務(wù)的類型3：PaaS利用型云服務(wù))

圖36是表示服務(wù)類型3(PaaS利用型云服務(wù))中的信息管理系統(tǒng)提供的服務(wù)的整體畫面的圖。在此，PaaS是Platform-as-a-Service(平臺即服務(wù))的簡稱，是將平臺作為經(jīng)由互聯(lián)網(wǎng)的服務(wù)而提供的云服務(wù)提供模型，所述平臺成為用于構(gòu)建軟件并使之工作的基礎(chǔ)。

在本類型中，數(shù)據(jù)中心運營公司1110管理OS1202，并運營和管理數(shù)據(jù)中心(云服務(wù)器)1203。另外，服務(wù)提供商1120管理應(yīng)用1201。服務(wù)提供商1120使用數(shù)據(jù)中心運營公司1110管理的OS1202和服務(wù)提供商1120管理的應(yīng)用1201提供服務(wù)(箭頭1204)。

(服務(wù)的類型4：SaaS利用型云服務(wù))

圖37是表示服務(wù)類型4(SaaS利用型云服務(wù))中的信息管理系統(tǒng)提供的服務(wù)的整體畫面的圖。在此，SaaS是Software-as-a-Service(軟件即服務(wù))的簡稱。SaaS利用型云服務(wù)例如是具有如下功能的云服務(wù)提供模型：不保有數(shù)據(jù)中心(云服務(wù)器)的公司或個人等利用者能夠經(jīng)由互聯(lián)網(wǎng)等網(wǎng)絡(luò)，使用保有數(shù)據(jù)中心(云服務(wù)器)的平臺提供者提供的應(yīng)用。

在本類型中，數(shù)據(jù)中心運營公司1110管理應(yīng)用1201，管理OS1202，并運營和管理數(shù)據(jù)中心(云服務(wù)器)1203。另外，服務(wù)提供商1120使用數(shù) 據(jù)中心運營公司1110管理的OS1202和應(yīng)用1201提供服務(wù)(箭頭1204)。

以上，在任一種云服務(wù)的類型中，都是服務(wù)提供商1120提供服務(wù)。另外，例如服務(wù)提供商或數(shù)據(jù)中心運營公司也可以自己開發(fā)OS、應(yīng)用或大數(shù)據(jù)的數(shù)據(jù)庫等，另外，也可以外包給第三者。

以上，說明了本公開的實施方式涉及的對話信息提供系統(tǒng)，但本公開不限定于該實施方式。

另外，上述實施方式涉及的對話信息提供系統(tǒng)所包含的各處理單元典型地以作為集成電路的LSI實現(xiàn)。這些各處理單元可以分別形成為獨立的單片，也可以形成為包含一部分或全部處理單元的單片。

并且，集成電路化的方法不限于LSI，也可以以專用電路或通用處理器來實現(xiàn)。在LSI制造后，也可以利用可編程的FPGA(Field Programmable Gate Array：現(xiàn)場可編程門陣列)或利用能夠?qū)SI內(nèi)部的電路單元的連接以及設(shè)定重新構(gòu)建的可重構(gòu)處理器(Reconfigurable processor)。

此外，在上述各實施方式中，各構(gòu)成要素可由專用硬件構(gòu)成，也可以通過執(zhí)行適于各構(gòu)成要素的軟件程序來實現(xiàn)。各構(gòu)成要素也可以通過CPU或處理器等程序執(zhí)行單元讀出并執(zhí)行記錄在硬盤或半導(dǎo)體存儲器等記錄介質(zhì)中的軟件程序來實現(xiàn)。

而且，本公開既可以是上述程序，也可以是記錄有上述的程序的非暫時性計算機可讀取記錄介質(zhì)。并且，上述程序當(dāng)然能夠經(jīng)由互聯(lián)網(wǎng)等傳輸介質(zhì)流通。

另外，框圖中的功能塊的分割為一例，可以將多個功能塊作為一個功能塊而實現(xiàn)，將一個功能塊分割為多個，或?qū)⒁徊糠止δ苻D(zhuǎn)移到其他功能塊。另外，也可以是單一的硬件或軟件以并行或時分方式處理具有類似功能的多個功能塊的功能。

另外，執(zhí)行上述流程圖等所示的多個步驟的順序是為了具體說明本公開而例示的順序，也可以是上述以外的順序。并且，上述步驟的一部分也可以與其他的步驟同時(并行)執(zhí)行。

以上，基于實施方式說明了一個或多個技術(shù)方案涉及的對話信息提供 系統(tǒng)，但本公開不限定于該實施方式。只要不脫離本公開的主旨，對本實施方式實施了本領(lǐng)域技術(shù)人員能夠想到的各種變形而得到實施方式、以及組合不同的實施方式中的構(gòu)成要素而構(gòu)建的實施方式均包含在一個或多個技術(shù)方案的范圍內(nèi)。