智能家用電器、其操作方法及使用智能家用電器的語音識別系統(tǒng)的制作方法
【專利摘要】提供了一種智能家用電器。該智能家用電器包括：語音輸入單元，采集語音；語音識別單元，識別與通過語音輸入單元采集的語音對應的文本；捕獲單元，采集用于檢測用戶的面容或面部的圖像；存儲器單元，映射語音識別單元識別的文本以及設置功能并且存儲所映射的信息；以及控制單元，基于捕獲單元采集的圖像信息和語音輸入單元采集的語音信息的至少一種信息確定是否執(zhí)行語音識別服務。
【專利說明】智能家用電器、其操作方法及使用智能家用電器的語音識別系統(tǒng)
技術領域
[0001]本公開文本涉及智能家用電器、其操作方法以及使用智能家用電器的語音識別系統(tǒng)。
【背景技術】
[0002]作為裝配在家中的電子產(chǎn)品的家用電器包括冰箱、空調(diào)、炊具和真空清潔器。通常，為了操作這些家用電器，使用接近并直接操縱它們或者通過遙控器遠程控制它們的方法。
[0003]但是，隨著通信技術的最新發(fā)展，引入了一種通過使用語音輸入操作家用電器的指令并使家用電器識別輸入的語音內(nèi)容并操作的技術。
[0004]圖1為示出現(xiàn)有家用電器的結構及其操作方法的視圖。
[0005]現(xiàn)有家用電器包括語音識別單元2、控制單元3、存儲器4和驅動單元5。
[0006]當用戶發(fā)出表示特定指令的語音時，家用電器I采集發(fā)出的語音，并且通過使用語音識別單元2解釋所采集的語音。
[0007]作為采集的語音的解釋結果，可以提取與該語音對應的文本?？刂茊卧?將提取的第一文本信息與存儲在存儲器4中的第二文本信息進行比較，以確定該文本是否匹配。
[0008]當?shù)谝晃谋拘畔⒑偷诙谋拘畔⑵ヅ鋾r，控制單元3可以識別家用電器I的與第二文本信息對應的預定功能。
[0009]然后，控制單元3可以基于識別的功能操作驅動單元5。
[0010]然而，當使用這種現(xiàn)有家用電器時，周圍環(huán)境產(chǎn)生的噪聲源可能錯誤地被識別為語音。另外，即使用戶只是在家用電器附近與其他人交談而沒有發(fā)出語音識別指令的意圖，這也可能被錯誤地識別。即，家用電器出現(xiàn)故障。

【發(fā)明內(nèi)容】

[0011]技術問題
[0012]實施例提供了一種具有提高的語音識別率的智能家用電器、其操作方法以及使用智能家用電器的語音識別系統(tǒng)。
[0013]問題的解決方案
[0014]在一個實施例中，一種智能家用電器包括:語音輸入單元，采集語音；
[0015]語音識別單元，識別與通過語音輸入單元采集的語音對應的文本;捕獲單元，采集用于檢測用戶的面容或面部的圖像;存儲器單元，映射語音識別單元識別的文本以及設置功能并且存儲所映射的信息；以及控制單元，基于捕獲單元采集的圖像信息和語音輸入單元采集的語音信息的至少一種信息確定是否執(zhí)行語音識別服務。
[0016]控制單元可以包括:面部檢測單元，當通過捕獲單元采集關于用戶的面容或面部的圖像信息超過設置時間時識別到用戶處于語音輸入的凝視狀態(tài)。
[0017]當通過語音輸入單元識別到語音中存在關鍵詞信息并且通過面部檢測單元識別到用戶處于凝視狀態(tài)時，控制單元確定可以進入語音識別服務待機狀態(tài)。
[0018]智能家用電器還可以包括:過濾器單元，從通過語音輸入單元輸入的語音去除噪聲；以及存儲器單元，預先映射通過語音輸入單元輸入的語音中與智能家用電器的操作有關的語音信息以及與智能家用電器的操作無關的語音信息并存儲所映射的信息。
[0019]智能家用電器還可以包括:地區(qū)識別單元，基于關于通過語音輸入單元采集的語音的信息確定用戶的地區(qū)；以及輸出單元，基于關于地區(qū)識別單元確定的地區(qū)的信息以及關于設置功能的信息輸出地區(qū)自定義信息。
[0020]設置功能可以包括:按照地區(qū)劃分的多個功能；并且通過輸出單元輸出包括多個功能中與關于地區(qū)的信息匹配的一個功能的地區(qū)自定義信息。
[0021]輸出單元可以通過使用地區(qū)識別單元確定的地區(qū)的方言來輸出地區(qū)自定義信息。
[0022]輸出單元可以輸出用于安全設置的關鍵詞，并且語音輸入單元可以設置與關鍵詞對應的應答詞。
[0023]智能家用電器還可以包括情感識別單元和輸出單元，其中語音識別單元可以識別與通過語音輸入單元采集的語音中的第一語音信息對應的文本;情感識別單元可以基于通過語音輸入單元采集的語音中的第二語音信息提取用戶的情感;并且輸出單元可以基于關于情感識別單元確定的用戶的情感的信息以及關于設置功能的信息輸出用戶自定義信息。
[0024]第一語音信息可以在采集的語音中包括語言元素;并且第二語音信息包括與用戶的情感有關的非語言元素。
[0025]情感識別單元可以包括映射關于用戶的語音特征的信息以及關于情感狀態(tài)的信息的數(shù)據(jù)庫;并且關于用戶的語音特征的信息可以包括關于具有每一個用戶的情感的特征的話音頻譜的信息。
[0026]設置功能可以包括待推薦或選擇的多個功能;并且通過輸出單元輸出包括多個功能中與關于用戶的情感的信息匹配的一個功能的用戶自定義信息。
[0027]智能家用電器還可以包括:位置信息識別單元，識別位置信息；以及輸出單元，基于位置信息識別單元識別的位置信息輸出關于設置功能的信息。
[0028]位置信息識別單元可以包括:GPS接收單元，從外部位置信息發(fā)送單元接收位置坐標;以及第一通信模塊，可通信地連接至裝配在外部服務器中的第二通信模塊。
[0029]輸出單元可以包括:語音輸出單元，通過位置信息識別單元識別的位置，或者地區(qū)所用的方言以語音的形式輸出關于設置功能的信息。
[0030]輸出單元可以輸出關于設置功能的多個信息中對于位置信息識別單元識別的地區(qū)來說最佳的信息。
[0031]位置信息識別單元識別的位置信息可以包括天氣信息。
[0032]在另一個實施例中，一種智能家用電器的操作方法包括:通過語音輸入單元采集語音;識別所采集的語音中是否包括關鍵詞信息;通過裝配在智能家用電器中的捕獲單元采集關于用戶的面容或面部的圖像信息；以及基于關于用戶的面容或面部的圖像信息進入語音識別服務的待機狀態(tài)。
[0033]當采集關于用戶的面容或面部的圖像信息超過設置時間時，可以識別到用戶處于語音輸入的凝視狀態(tài)；以及當識別到語音中存在關鍵詞信息并且用戶處于語音輸入的凝視狀態(tài)時，可以進入語音識別服務的待機狀態(tài)。
[0034]該方法還可以包括:基于關于所采集的語音的信息確定用戶的地區(qū)；以及基于關于設置功能的信息以及關于所確定的地區(qū)的信息驅動智能家用電器。
[0035]該方法還可以包括:基于關于所確定的地區(qū)的信息輸出與智能家用電器的驅動有關的地區(qū)自定義信息。
[0036]地區(qū)自定義信息的輸出可以包括通過使用用戶的地區(qū)所用的方言輸出語音或屏
[0037]該方法還可以包括:執(zhí)行安全設置，其中安全設置的執(zhí)行可以包括:輸出預定關鍵詞；以及響應于所建議的關鍵詞輸入應答詞。
[0038]該方法還可以包括:基于關于所采集的語音的信息提取用戶的情感狀態(tài)；以及基于關于用戶的情感狀態(tài)的信息推薦操作模式。
[0039]該方法還可以包括:通過位置信息識別單元識別智能家用電器的安裝位置；以及基于關于安裝位置的信息驅動智能家用電器。
[0040]智能家用電器的安裝位置的識別可以包括從GPS衛(wèi)星或通信基站接收GPS坐標信息。
[0041]智能家用電器的安裝位置的識別可以包括當裝配在智能家用電器中的第一通信模塊連接至裝配在服務器中的第二通信模塊時查看通信地址。
[0042]在再一個實施例中，一種語音識別系統(tǒng)包括:移動設備，包括接收語音的語音輸入單元;智能家用電器，基于通過語音輸入單元采集的語音操作并且受控制；以及通信模塊，裝配在移動設備和智能家用電器的每一個中，其中移動設備包括通過檢測移動設備的移動確定是否進入智能家用電器的語音識別服務的待機狀態(tài)的移動檢測單元。
[0043]移動檢測單元可以包括檢測移動設備的傾斜角度的改變的加速度傳感器或陀螺儀傳感器，其中語音輸入單元可以布置在移動設備的下部;并且當用戶手持移動設備將語音輸入單元靠近嘴邊以輸入語音時，加速度傳感器或陀螺儀傳感器檢測的角度值可以減小。
[0044]移動檢測單元可以包括檢測移動設備采集的外部光的強度的照明傳感器;并且當用戶手持移動設備將語音輸入單元靠近嘴邊以輸入語音時，照明傳感器檢測的光的強度值可以增大。
[0045]在附圖和以下說明中闡述了一個或更多實施例的細節(jié)。通過說明書、附圖以及權利要求書，其它特征將是明顯的。
[0046]發(fā)明的有益效果
[0047]根據(jù)本發(fā)明，由于用戶通過語音控制智能家用電器的操作，因而可以改善可用性。
[0048]另外，識別用戶的面部或用于操縱移動設備的動作，并且通過這樣，確定用戶是否具有發(fā)出語音指令的意圖，從而可以防止語音誤識別。
[0049]此外，當存在可語音識別的多個智能家用電器時，可以通過提取用戶發(fā)出的指令語音的特征(特定詞語)識別指令對象，并且根據(jù)所識別的指令對象，多個電子產(chǎn)品中僅特定的電子產(chǎn)品響應。因此，在電子產(chǎn)品的操作期間，可以防止錯誤通信。
[0050]另外，識別用戶講的是標準語言還是方言，并且根據(jù)識別的語音的內(nèi)容或方言類型，提供自定義信息，使得用戶的便利性可以得到改善。
[0051]而且，由于關于是否使用家用電器的語音識別功能的設置以及安全設置是可行的，因而可以防止任意用戶使用相應的功能。因此，可以提高產(chǎn)品操作的可靠性。
[0052]特別是，通過使用語音特征和語音中的情感狀態(tài)的映射信息，可以從用戶的語音中區(qū)分快樂、憤怒、悲傷以及顫抖情感，并且基于區(qū)分的情感，可以執(zhí)行或推薦家用電器的操作。
[0053]另外，由于將與空調(diào)的操作有關的語音信息和與用戶的語音中的噪聲有關的語音信息區(qū)分開的映射信息存儲在空調(diào)中，因而可以減少用戶的語音的誤識別。
[0054]根據(jù)本發(fā)明，由于用戶通過語音控制智能家用電器的操作，因而可用性可以得到改善。因此，工業(yè)實用性顯著。
【附圖說明】
[0055]圖1為示出現(xiàn)有家用電器的結構及其操作方法的視圖。
[0056]圖2為示出根據(jù)本發(fā)明的第一實施例的作為智能家電的一個例子的空調(diào)的結構的視圖。
[0057]圖3和圖4為示出空調(diào)的結構的方框圖。
[0058]圖5為示出根據(jù)本發(fā)明的第一實施例的智能家用電器的控制方法的流程圖。
[0059]圖6為示出根據(jù)本發(fā)明的第二實施例的語音識別系統(tǒng)的結構的示意圖。
[0060]圖7為示出根據(jù)本發(fā)明的第二實施例的語音識別系統(tǒng)的結構的方框圖。
[0061]圖8為示出根據(jù)本發(fā)明的第一實施例的智能家用電器的控制方法的流程圖。
[0062]圖9為根據(jù)本發(fā)明的第二實施例的當用戶通過使用移動設備執(zhí)行開始語音識別的動作時的視圖。
[0063]圖10為示出根據(jù)本發(fā)明的第三實施例的多個智能家用電器的結構的視圖。
[0064]圖11為根據(jù)本發(fā)明的第三實施例的當用戶在多個智能家用電器上發(fā)出語音時的視圖。
[0065]圖12為根據(jù)本發(fā)明的第四實施例的當通過使用移動設備操作多個智能家用電器時的視圖。
[0066]圖13為示出根據(jù)本發(fā)明的實施例的智能家用電器或移動設備的結構及其操作方法的視圖。
[0067]圖14為示出根據(jù)本發(fā)明的實施例的顯示單元的消息輸出的視圖。
[0068]圖15為示出根據(jù)本發(fā)明的另一個實施例的顯示單元的消息輸出的視圖。
[0069]圖16A和圖16B為示出根據(jù)本發(fā)明的第五實施例的語音識別功能執(zhí)行的安全設置的視圖。
[0070]圖17為示出根據(jù)本發(fā)明的第六實施例的語音識別系統(tǒng)的結構及其操作方法的視圖。
[0071]圖18至圖20為示出根據(jù)本發(fā)明的第六實施例的顯示單元的消息輸出的視圖。
[0072]圖21A至圖23為示出根據(jù)本發(fā)明的另一個實施例的顯示單元的消息輸出的視圖。
[0073]圖24為示出根據(jù)本發(fā)明的第七實施例的作為智能家用電器的一個例子的空調(diào)的結構的方框圖。
[0074]圖25為示出根據(jù)本發(fā)明的第七實施例的智能家用電器的控制方法的流程圖。
[0075]圖26為示出智能家用電器的顯示單元的視圖。
[0076]圖27為示出根據(jù)本發(fā)明的第七實施例的作為智能家用電器的另一個例子的炊具的結構的視圖。
[0077]圖28A和圖28B為示出炊具的顯示單元的視圖。
[0078]圖29為示出根據(jù)本發(fā)明的第八實施例的作為智能家用電器的另一個例子的洗衣機的結構的視圖。
[0079]圖30為示出根據(jù)本發(fā)明的第八實施例的智能家用電器的控制方法的流程圖。
[0080]圖31為示出根據(jù)本發(fā)明的第九實施例的語音識別系統(tǒng)的結構的方框圖。
【具體實施方式】
[0081]在下文中，參考附圖描述本發(fā)明的具體實施例。然而，本發(fā)明的構思不限于推薦的實施例，并且本領域技術人員可以推薦落入相同構思的范圍內(nèi)的其它實施例。
[0082]圖2為示出根據(jù)本發(fā)明的第一實施例的作為智能家電的一個例子的空調(diào)的結構的視圖。圖3和圖4為示出空調(diào)的結構的方框圖。
[0083]在下文中，雖然描述了作為智能家電的一個例子的空調(diào)，應事先明白，除了空調(diào)的獨特的設置功能之外，與語音識別或通信(信息提供)過程有關的構思可以應用于其它智能家用電器，例如，清潔器、炊具、洗衣機或冰箱。
[0084]參照圖2至圖4，根據(jù)本發(fā)明的第一實施例的空調(diào)10包括吸入部22、排放部25和42以及形成外觀的殼體20。圖2所示的空調(diào)10可以是安裝在室內(nèi)空間中用來排放空氣的室內(nèi)單元。
[0085]吸入部22可以形成在殼體20的后部。然后，排放部25和42包括使通過吸入部22吸入的空氣排放到殼體20的前方或一側的主排放部25和向下排放空氣的下部排放部42。
[0086]主排放部25可以形成在殼體20的兩側，并且其打開/閉合程度可以通過排放葉片26進行調(diào)節(jié)。排放葉片26可以可旋轉地設置在主排放部25的一側。下部排放部42的打開/閉合程度可以通過下排放葉片44進行調(diào)節(jié)。
[0087]豎直可移動的上部排放裝置30可以設置在殼體20的上部。當空調(diào)10開啟時，上部排放裝置30可以移動以便從殼體20的上端朝著向上方向突出，并且當空調(diào)10關閉時，上部排放裝置30可以向下移動，并且可以容納在殼體20內(nèi)部。
[0088]排放空氣的上部排放部32限定在上部排放裝置30的前方并且調(diào)節(jié)排放空氣的流動方向的上部排放葉片34裝配在上部排放裝置30內(nèi)部。上部排放葉片34可以可旋轉地設置。
[0089 ]接收用戶的語音的語音輸入單元110裝配在殼體20的至少一側。例如，語音輸入單元110可以裝配在殼體20的左側或右側。語音輸入單元110可以稱為“語音采集單元”，可以在其中采集語音。語音輸入單元110可以包括麥克風。語音輸入單元110可以布置在主排放單元25的后部以免受到從主排放部25排放的空氣的影響。
[0090]空調(diào)10還可以包括檢測室內(nèi)空間中的人體或人體的移動的人體檢測單元36ο例如，人體檢測單元36可以包括紅外傳感器和攝像頭中的至少之一。人體檢測單元36可以布置在上部排放裝置30的前部。
[0091]空調(diào)10還可以包括使帶有芳香的膠囊注入的膠囊注入裝置60。膠囊輸入裝置60可以安裝在空調(diào)10的前面以可抽出。當膠囊輸入到膠囊輸入裝置60時，布置在空調(diào)10內(nèi)部的膠囊釋放裝置(未示出)使膠囊爆開，且特定的香氣擴散開來。然后，擴散開的香氣可以與從排放部25和42排放的空氣一起排放到空調(diào)10的外部。根據(jù)膠囊的類型，可以提供各種不同的香氣，例如，薰衣草、迷迭香或薄荷。
[0092]空調(diào)10可以包括從通過語音輸入單元110輸入的語音去除噪聲的過濾器單元115。語音可以通過過濾器單元115過濾成對于語音信息而言容易的語音頻率。
[0093]空調(diào)10包括從通過過濾器單元115的語音信息中識別使空調(diào)10操作的信息的控制單元120和150?？刂茊卧?20和150包括控制驅動單元140的操作以使空調(diào)10操作并且控制可通信地連接至主控制單元120的輸出單元160將空調(diào)10的操作信息顯示給外部的主控制單元120。
[0094]驅動單元140可以包括壓縮機或鼓風扇。然后，輸出單元160包括以圖像形式顯示空調(diào)10的操作信息的顯示單元和以語音形式輸出操作信息的語音輸出單元。語音輸出單元可以包括揚聲器。語音輸出單元可以布置在殼體20的一側，并且可以與語音輸入單元110分開設置。
[0095]然后，空調(diào)10可以包括預先映射并存儲通過語音輸入單元110輸入的語音中與空調(diào)10的操作有關的語音信息以及與空調(diào)10的操作不相關的語音信息的存儲器單元130。第一語音信息、第二語音信息和第三語音信息存儲在存儲器單元130中。更具體地，限定第一語音信息至第三語音信息的頻率信息可以存儲在存儲器單元130中。
[0096]第一語音信息可以理解為與空調(diào)10的操作有關的語音信息，S卩，關鍵詞信息。當識別到第一語音信息輸入時，可以執(zhí)行或停止與輸入的第一語音信息對應的空調(diào)10的操作。存儲器單元130可以包括與第一語音信息對應的文本信息和與該文本信息對應的關于設置功能的信息。
[0097]例如，當?shù)谝徽Z音信息與空調(diào)10的開啟對應時，隨著第一語音信息被識別，開始空調(diào)10的操作。另一方面，當?shù)谝徽Z音信息與空調(diào)10的關閉對應時，隨著第一語音信息被識另U，停止空調(diào)10的操作。
[0098]作為另一個例子，當?shù)谝徽Z音信息與空調(diào)10的一個操作模式對應時，S卩，空氣調(diào)節(jié)、加熱、通風或除濕，隨著第一語音信息被識別，可以執(zhí)行相應的操作模式。結果是，第一語音信息以及與第一語音信息對應的空調(diào)10的操作方法(開啟/關閉和操作模式)可以預先映射在存儲器單元130中。
[0099]第二語音信息可以包括類似于與空調(diào)10的操作有關的第一語音信息但大體理解為與空調(diào)10的操作有關的語音信息的頻率信息。在本文中，與第一語音信息類似的頻率信息可以理解為顯示出第一語音信息與設置范圍內(nèi)部之間的頻率差的頻率信息。
[0100]當識別到第二語音信息輸入時，相應的語音信息可以作為噪聲信息被過濾。即，主控制單元120可以識別第二語音信息，但可能不能執(zhí)行空調(diào)10的操作。
[0101]第三語音信息可以理解為與空調(diào)10的操作不相關的語音信息。第三語音信息可以理解為顯示出第一語音信息與設置范圍外部之間的頻率差的頻率信息。第二語音信息和第三語音信息可以稱為“無關的信息”，因為它們是與空調(diào)10的操作無關的語音信息。
[0102]以這種方式，由于與家用電器的操作有關的語音信息以及與家用電器的操作無關的語音信息預先映射并存儲在智能家用電器中，因而可以有效地執(zhí)行語音識別。
[0103]空調(diào)10包括作為捕獲用戶的面部的捕獲單元的攝像頭50。例如，攝像頭50可以安裝在空調(diào)10的前部。
[0104]空調(diào)10還可以包括基于攝像頭50捕獲的圖像識別到用戶看著空調(diào)10以便進行語音識別的面部檢測單元180。面部檢測單元180可以安裝在攝像頭50內(nèi)部或者單獨安裝在殼體20中，以實現(xiàn)攝像頭50的一個功能。當攝像頭50捕獲用戶的面部達預定時間時，面部檢測單元180識別到用戶凝視著空調(diào)10進行語音輸入(即，凝視狀態(tài))。
[0105]空調(diào)10還包括從通過語音輸入單元110采集的語音提取文本信息并基于提取的文本信息識別空調(diào)10的設置功能的語音識別單元170。
[0106]語音識別單元170或面部檢測單元180識別的信息可以傳遞到主控制單元120。主控制單元120可以實現(xiàn)用戶使用語音識別服務的意圖，并且然后可以基于語音識別單元170和面部檢測單元180識別的信息進入待機狀態(tài)。
[0107]雖然語音識別單元170、面部檢測單元180和主控制單元120如圖4所示單獨配置，然而語音識別單元170和面部檢測單元180可以作為主控制單元120的一個組件進行安裝。即，語音識別單元170可以理解為主控制單元120的用于執(zhí)行語音識別功能的功能組件，而面部檢測單元180可以理解為主控制單元120的用于執(zhí)行面部檢測功能的功能組件。
[0108]圖5為示出根據(jù)本發(fā)明的第一實施例的智能家用電器的控制方法的流程圖。
[0109]參照圖5，在根據(jù)本發(fā)明的第一實施例的控制智能家用電器的過程中，語音識別服務可以設置為開啟。語音識別服務理解為通過輸入語音指令來控制空調(diào)10的操作的服務。例如，為了開啟語音識別服務，可以操縱預定輸入單元(未示出)。當然，當用戶不想要使用語音識別服務時，其可以在操作SI I中設置為關閉。
[0110]然后，用戶在操作S12中發(fā)出預定的語音指令。通過語音輸入單元110采集發(fā)出的語音。確定采集的語音中是否包括用于激活語音識別的關鍵詞信息。
[0111]作為存儲在存儲器單元130中的第一語音信息的關鍵詞信息被理解為用戶可以輸入以開始語音識別服務的信息。即，即使語音識別服務設置為開啟，也可以在當前時間之后輸入關鍵詞信息來表示用戶要使用語音識別服務的意圖。
[0112]例如，關鍵詞信息可以包括預先映射的信息，例如，“開啟空調(diào)”或“語音識別開始”。以這種方式，在開始使用語音識別服務時，通過輸入關鍵詞信息，為用戶提供減少周圍噪聲或談話聲的準備時間。
[0113]當識別到通過語音輸入單元110輸入的語音指令中包括關鍵詞信息時，識別用戶是否真正有該語音指令的意圖。
[0114]另一方面，當識別到語音指令中沒有包括關鍵詞信息時，可以從空調(diào)10的輸出單元160輸出用于重新輸入關鍵詞信息的請求消息。
[0115]用戶是否真正具有執(zhí)行該語音指令的意圖可以基于攝像頭50對用戶的面容或面部的檢測是否超過了設置時間來確定。例如，設置時間可以是2秒至3秒。當用戶在空調(diào)10的前面凝視著攝像頭50時，攝像頭50捕獲用戶的面容或面部并且將捕獲的面容或面部發(fā)送給面部檢測單元180。
[0116]然后，面部檢測單元180可以識別用戶是否凝視了攝像頭50設置時間。在操作S14和S15中，當面部檢測單元180識別到用戶的凝視狀態(tài)時，主控制單元120確定用戶具有發(fā)出語音指令的意圖，并且進入語音識別待機狀態(tài)。
[0117]隨著進入語音識別待機狀態(tài)，對通過空調(diào)10的輸入單元110采集的全部語音信息進行過濾過程，然后識別是否具有語音指令。在操作S16中，當用戶輸入用于語音識別終止的關鍵詞信息或者操縱附加的輸入單元時，可以執(zhí)行語音識別待機狀態(tài)的終止。
[0118]以這種方式，由于通過根據(jù)語音輸入簡單識別關鍵詞信息或者檢測用戶的面容或面部來確定是否激活語音識別服務，因而可以防止語音錯誤識別。
[0119]雖然參考圖5描述了在語音關鍵詞信息識別操作之后執(zhí)行用戶面部檢測操作，但與此不同，也可以在用戶面部檢測操作之后執(zhí)行語音關鍵詞信息識別操作。
[0120]作為另一個例子，雖然參考圖5描述了當滿足語音關鍵詞信息識別和用戶面部檢測兩個條件時，進入語音識別待機，然而，也可以在滿足語音關鍵詞信息識別和用戶面部檢測中的任何一個條件時，進入語音識別待機。
[0121 ]在下文中，描述了本發(fā)明的第二實施例。在本實施例中，由于與第一實施例的不同在于通過移動設備執(zhí)行語音識別服務，因而主要描述了該不同，并且對于與第一實施例相同的部分，并入了第一實施例的描述和附圖標記。
[0122]圖6為示出根據(jù)本發(fā)明的第二實施例的語音識別系統(tǒng)的結構的示意圖。
[0123]參照圖6，語音識別系統(tǒng)包括接收用戶的語音輸入的移動設備200和基于輸入到移動設備200的語音而操作并受控制的空調(diào)10。空調(diào)10只是智能家用電器的一個例子。因此，本實施例的構思可適用于其它智能家用電器。移動設備200可以包括智能手機、遙控器和觸屏書(tap book) ο
[0124]移動設備200可以包括可語音輸入的語音輸入單元220、可操縱的輸入單元210、裝配在前部用于顯示關于移動設備200的操作狀態(tài)的信息或者從移動設備200提供的信息的顯示單元以及檢測移動設備200的移動的移動檢測單元230。
[0125]語音輸入單元220可以包括傳聲器。語音輸入單元220可以布置在移動設備200的下部。輸入單元210可以包括用戶可按壓操縱的按鈕或用戶可觸摸操縱的觸摸面板。
[0126]然后，移動檢測單元230可以包括加速度傳感器或陀螺儀傳感器。加速度傳感器或陀螺儀傳感器可以檢測關于移動設備200的傾斜角度(例如，相對于地面的傾斜角度)的信息。
[0127]例如，當用戶使移動設備200豎起以便凝視移動設備200的顯示單元260時并且當用戶放下移動設備200以便通過語音輸入單元220輸入語音指令時，加速度傳感器或陀螺儀傳感器可以根據(jù)移動設備200的豎立程度檢測不同的角度值。
[0128]作為另一個例子，移動檢測單元230可以包括照明傳感器。照明傳感器可以檢測根據(jù)移動設備200的豎立程度采集的外部光的強度。例如，當用戶使移動設備200豎起以便凝視移動設備200的顯示單元260并且當用戶放下移動設備200以便通過語音輸入單元220輸入語音指令時，加速度傳感器或陀螺儀傳感器可以根據(jù)移動設備200的豎立程度檢測不同的角度值。
[0129]移動設備200還包括:控制單元250，接收輸入單元210、語音輸入單元230、顯示單元260和移動檢測單元230檢測的信息并識別用戶的語音指令輸入意圖；以及通信模塊270，
與空調(diào)10通信。
[0130]例如，空調(diào)10的通信模塊和移動設備200的通信模塊270可以彼此直接通信。即，通過使用W1-F1-Direct技術、Ad-Hoc模式(或網(wǎng)絡)或者藍牙，直接通信是可能的，而不用經(jīng)過無線接入點。
[0131 ] 更詳細地，WiF1-Direct可以表示通過使用諸如802.1la、b、g和η等通信標準而不論是否安裝接入點的高速通信技術。這種技術理解為不用互聯(lián)網(wǎng)網(wǎng)絡而是通過使用W1-Fi將空調(diào)10和移動設備200無線連接的通信技術。
[0132]Ad-Hoc模式(或Ad-Hoc網(wǎng)絡)是只包括移動主機而無固定有線網(wǎng)絡的通信網(wǎng)絡。由于主機的移動沒有限制，且其不需要有線網(wǎng)絡和基站，因而可以進行快速網(wǎng)絡配置，并且其成本低廉。即，沒有接入點的無線通信是可能的。因此，在Ad-Hoc模式下，在沒有接入點的情況下，空調(diào)10與移動設備200之間的無線通信是可能的。
[0133]在藍牙通信中，作為短距離無線通信方法，在空調(diào)10的通信模塊(第一藍牙模塊)與移動設備的通信模塊270(第二藍牙模塊)之間的無線通信通過配對過程在特定距離內(nèi)是可能的。
[0134]作為另一個例子，空調(diào)10和移動設備200可以通過接入點和服務器(未示出)或者有線網(wǎng)絡彼此通信。當識別到用戶的語音指令意圖時，控制單元250可以通過通信模塊270將進入語音識別服務待機狀態(tài)的信息發(fā)送給空調(diào)10。
[0135]圖8為示出根據(jù)本發(fā)明的第二實施例的智能家用電器的控制方法的流程圖。圖9為根據(jù)本發(fā)明的第二實施例的當用戶通過使用移動設備執(zhí)行啟動語音識別的動作時的視圖。
[0136]參照圖8，在根據(jù)本發(fā)明的第二實施例控制智能家用電器的過程中，語音識別服務可以在操作S21中設置為開啟。
[0137]然后，用戶可以通過操縱輸入單元210或語音輸入單元220輸入或發(fā)出語音識別待機準備狀態(tài)的指令。當識別到輸入單元210的輸入或者識別到通過語音輸入單元220采集的語音中包括語音識別待機的關鍵詞信息時，確定進入“語音識別待機準備狀態(tài)”。
[0138]如第一實施例中描述的，作為存儲在存儲器單元130中的第一語音信息的關鍵詞信息被理解為用戶可以在操作S22和S23中輸入用于開始語音識別服務的信息。
[0139]當識別到進入“語音識別待機準備狀態(tài)”時，識別用戶是否真正具有關于該語音指令的意圖。另一方面，當沒有識別到進入“語音識別待機準備狀態(tài)”時，可以再次執(zhí)行操作S22和下面的操作。
[0140]用戶是否真正具有有關該語音指令的意圖可以基于移動檢測單元230中的檢測值是否改變來確定。例如，當移動檢測單元230包括加速度傳感器或陀螺儀傳感器時，識別加速度傳感器或陀螺儀傳感器檢測的值是否改變。該變化可以取決于使移動設備200豎立的傾斜值(或范圍)是否變?yōu)槭挂苿釉O備200平放的傾斜值(或范圍)。
[0141]如圖9所示，當用戶手持移動設備200凝視顯示單元260時，移動設備200可能稍微豎立起來一些。此時，移動設備200與地面所呈的角度可以是α?。
[0142]另一方面，當用戶手持移動設備200通過布置在移動設備200的下部的語音輸入單元220輸入預定語音指令時，移動設備200可能稍微平放一些。此時，移動設備200與地面所呈的角度可以是α2。然后，01>(12。(11和α2的值在預定設置范圍內(nèi)可以是預定的。
[0143]當加速度傳感器或陀螺儀傳感器檢測的值從α?的設置范圍變成α2的設置范圍時，識別到用戶將語音輸入單元220靠近用戶的嘴邊。在這種情況下，識別到用戶具有關于語音指令的意圖。
[0144]作為另一個例子，當移動檢測單元230包括照明傳感器時，識別照明傳感器檢測的值是否改變。該變化可以取決于當移動設備200豎立時采集的光的強度(第一強度)是否變?yōu)楫斠苿釉O備200平放時采集的光的強度(第二強度)。
[0145]在本文中，第二強度可以形成為大于第一強度。即，當移動設備200平放時從外部采集的光的強度可以大于當移動設備200豎立時從外部采集的光的強度。在本文中，第一強度和第二強度的值在預定設置范圍內(nèi)可以是預定的。
[0146]當檢測到照明傳感器檢測的值從第一強度的設置范圍變?yōu)榈诙姸鹊脑O置范圍時，確定用戶將語音輸入單元220更靠近用戶的嘴邊。在這種情況下，識別到用戶在操作S24和S25中具有發(fā)出語音指令的意圖。
[0147]通過這種方法，當識別到用戶具有發(fā)出語音指令的意圖時，可以進入語音識別待機狀態(tài)。隨著進入語音識別待機狀態(tài)，對通過空調(diào)10的語音輸入單元220采集的全部語音信息進行過濾過程，然后識別是否具有語音指令。
[0148]當用戶以語音形式輸入用于語音識別終止的關鍵詞信息或者操縱附加的輸入單元時，可以執(zhí)行語音識別待機狀態(tài)的終止。以這種方式，由于通過檢測移動設備的移動來確定是否根據(jù)簡單的語音輸入來識別關鍵詞信息或者是否激活語音識別服務，因而可以防止在操作S26中的語音錯誤識別。
[0149]雖然參考圖8描述了在用戶的按鈕(觸摸)輸入或語音輸入操作之后執(zhí)行移動設備的移動檢測操作，然而也可以在移動設備的移動檢測操作之后執(zhí)行用戶的按鈕(觸摸)輸入或語音輸入操作。
[0150]作為另一個例子，雖然參考圖8描述了當滿足用戶的按鈕(觸摸)輸入或語音輸入操作和移動設備的移動檢測操作兩個條件時，進入語音識別待機，然而，當滿足用戶的按鈕(觸摸)輸入或語音輸入操作和移動設備的移動檢測操作中的任何一個條件時，也可以進入語音識別待機。
[0151]圖10為示出根據(jù)本發(fā)明的第三實施例的多個智能家用電器的結構的視圖。圖11為根據(jù)本發(fā)明的第三實施例的當用戶在多個智能家用電器上發(fā)出語音時的視圖。
[0152]參照圖10，根據(jù)本發(fā)明的第三實施例的語音識別系統(tǒng)10包括可語音識別的多個智能家用電器310、320、330和340。例如，多個智能家用電器310、320、330和340可以包括清潔器310、炊具320、空調(diào)330和冰箱340。
[0153]多個智能家用電器310、320、330和340可以處于接收語音的待機狀態(tài)。當用戶在每一個智能家用電器中設置語音識別模式時，可以進入待機狀態(tài)。然后，可以通過預定輸入單元的輸入或者設置語音的輸入來完成語音識別模式的設置。
[0154]多個智能家用電器310、320、330和340可以一起布置在預定空間中。在這種情況下，即使用戶朝著多個智能家用電器310、320、330和340中特定的一個發(fā)出預定語音指令，另一個家用電器可對該語音指令作出反應。因此，本實施例特征在于當用戶發(fā)出預定語音時，適當?shù)毓烙嫽虼_定所命令的目標家用電器。
[0155]更詳細地，參照圖11，智能家用電器310、320、330和340的每一個包括語音輸入單元510、語音識別單元520和指令識別單元530。
[0156]語音輸入單元510可以采集用戶發(fā)出的語音。例如，語音輸入單元510可以包括麥克風。語音識別單元520從采集的語音中提取文本。指令識別單元530通過使用提取的文本確定是否存在使用了與每一個家用電器的操作有關的特定詞語的文本。指令識別單元530可以包括存儲與該特定詞語有關的信息的存儲器。
[0157]如果采集的語音中包括使用了特定詞語的語音，則指令識別單元530可以識別到相應的家用電器是作為用戶的指令目標的家用電器。語音識別單元520和指令識別單元530在功能上進行了區(qū)分描述，但是它們可以裝配在一個控制器的內(nèi)部。
[0158]識別為指令目標的家用電器可以輸出表明用戶的指令目標是否為該家用電器本身的消息。例如，當識別為指令目標的家用電器是空調(diào)330時，可以輸出“是否開啟空調(diào)?”的語音或文本消息。在此，輸出的語音或文本消息稱為“識別消息”。
[0159]據(jù)此，在期望空調(diào)330的操作時，用戶可以輸入空調(diào)為目標的識別或確認消息，例如，“空調(diào)操作”或“好(0K)”的簡短消息。在此，所輸入的語音消息稱為“確認消息”。
[0160]另一方面，如果采集的語音中不包括使用了特定詞語的語音，則指令識別單元530可以識別到相應的家用電器(即，清潔器310、炊具320和冰箱340)從用戶的指令目標中排除。然后，即使在識別之后的設置時間內(nèi)輸入了用戶的語音，從指令目標中排除的家用電器不會被識別為用戶的指令目標，并且不會對用戶的語音作出反應。
[0161]圖11示出當識別到與多個家用電器中的空調(diào)330對應的語音輸入時，輸出識別消息，并且執(zhí)行響應于輸入的指令的操作。
[0162]此外，當識別為指令目標的家用電器多于一個時，如上文提到的，每一個家用電器可以輸出表明用戶的指令目標是否為每一個家用電器本身的確認消息。然后，用戶可以通過輸入多個家用電器中將被命令的家用電器的類型的語音來指定作為指令目標的家用電器。
[0163]例如，當家里同時具有可語音識別的清潔器310、炊具320、空調(diào)330和冰箱340時，當用戶發(fā)出語音“啟動空氣調(diào)節(jié)”時，空調(diào)330識別到使用了特定的詞語“空氣調(diào)節(jié)”，并且還識別到該家用電器本身是指令目標。當然，關于文本“空氣調(diào)節(jié)”的信息可以預先存儲在空調(diào)330的存儲器中。
[0164]另一方面，由于相對于清潔器310、炊具320和空調(diào)330，詞語“空氣調(diào)節(jié)”不是相應的家用電器的特定詞語，因而識別到家用電器310、320和330排除在指令目標之外。
[0165]作為另一個例子，當用戶發(fā)出語音“升高溫度”時，炊具320、空調(diào)330和冰箱340可以識別到使用了特定的詞語“溫度”。也就是說，多個家用電器320、330和340可以識別到它們是指令目標。
[0166]此時，多個家用電器320、330和340可以輸出表明用戶的指令目標是否為家用電器320、330和340本身的消息。然后，當用戶輸入針對特定家用電器(例如，“空調(diào)”)的語音時，指定指令目標為空調(diào)330ο當以上述方式指定指令目標時，可以通過用戶與相應的家用電器之間的交互式通信來控制家用電器的操作。
[0167]以這種方式，當存在可語音識別的多個智能家用電器時，可以通過提取用戶發(fā)出的語音的特征(特定詞語)來識別指令對象，并且僅多個電子產(chǎn)品中的特定電子產(chǎn)品根據(jù)所識別的指令對象響應。因此，可以在電子產(chǎn)品的操作期間防止錯誤通信。
[0168]圖12為根據(jù)本發(fā)明的第四實施例的當通過使用移動設備操作多個智能家用電器時的視圖。
[0169]參照圖12，根據(jù)本發(fā)明的第四實施例的語音識別系統(tǒng)10包括接收用戶的語音輸入的移動設備400、基于輸入到移動設備400的語音操作并受控制的多個家用電器310、320、330和340以及可通信地連接移動設備400和多個家用電器310、320、330和340的服務器450。
[0170]移動設備400裝配有參考圖11描述的語音輸入單元510，并且服務器450包括語音識別單元520和指令識別單元530。
[0171]移動設備400可以包括連接至服務器450的應用程序。一旦執(zhí)行該應用程序，可以在移動設備400中激活用戶的語音輸入的語音輸入模式。
[0172]當用戶的語音通過移動設備400的語音輸入單元510輸入時，輸入的語音傳遞給服務器450，并且服務器450在語音識別單元520和指令識別單元530操作時確定哪一個家用電器是語音指令的目標。
[0173]當基于確定結果將特定家用電器識別為指令目標時，服務器450將識別結果通知給該特定家用電器。被通知該結果的家用電器響應于用戶的指令。例如，當空調(diào)330識別為指令目標并且被通知結果時，空調(diào)330可以輸出諸如“開啟空調(diào)? ”的識別消息。據(jù)此，用戶可以輸入諸如“好”或“空調(diào)操作”等確認消息。與此有關的，使用了參考圖11描述的內(nèi)容。
[0174]圖13為示出根據(jù)本發(fā)明的實施例的智能家用電器或移動設備的結構及其操作方法的視圖。圖13所示的結構可以裝備在智能家用電器或移動設備中。在下文中，例如，將描述智能家用電器。
[0175]參照圖13，根據(jù)本發(fā)明的實施例的智能家用電器包括接收用戶的語音輸入的語音輸入單元510和從通過語音輸入單元510采集的語音中提取文本的語音識別單元520。語音識別單元520可以包括映射語音和文本的頻率的存儲器單元。
[0176]該智能家用電器還可以包括提取從語音輸入單元510輸入的語音的語調(diào)以確定語音的地方色彩(即，確定使用了哪個地區(qū)方言)的地區(qū)識別單元540。地區(qū)識別單元540可以包括多個地區(qū)使用的方言的數(shù)據(jù)庫。該數(shù)據(jù)庫可以存儲關于在說方言時識別的語調(diào)(即，獨特的頻率變化)的信息。
[0177]通過語音識別單元520提取的文本以及有關地區(qū)識別單元540所確定的地區(qū)的信息可以傳遞給控制單元550。
[0178]該智能家用電器還可以包括映射語音識別單元520提取的文本以及與文本對應的功能并將它們存儲的存儲器單元560。
[0179]控制單元550可以基于存儲器單元560中存儲的信息識別與語音識別單元520提取的文本對應的功能。然后，控制單元550可以控制裝配在家用電器中的驅動單元590以執(zhí)行所識別的功能。
[0180]例如，驅動單元560可以包括清潔器的吸入電機、炊具的電機或加熱器、空調(diào)的壓縮機電機、或冰箱的壓縮機電機。
[0181]該家用電器還包括將地區(qū)自定義信息輸出到或提供給屏幕的顯示單元570或者基于與語音識別單元520提取的文本對應的設置功能以及地區(qū)識別單元540確定的地區(qū)信息輸出語音的語音輸出單元580。顯示單元570和語音輸出單元580結合起來可以稱為“輸出單
--7?
J L ο
[0182]S卩，設置功能可以包括按照地區(qū)劃分的多個功能，并且可以輸出多個功能中與地區(qū)識別單元540確定的地區(qū)信息匹配的一個功能?？傊?，識別的功能和確定的地方色彩的結合信息可以輸入到顯示單元570或語音輸出單元580(地區(qū)自定義信息提供服務)。
[0183]此外，該智能家用電器還包括用以執(zhí)行地區(qū)自定義信息提供服務的模式的可選擇模式設置單元565。當模式設置單元565處于“開啟”狀態(tài)時，用戶可以使用地區(qū)自定義信息提供服務。當然，當模式設置單元565處于“關閉”狀態(tài)時，用戶不可以使用地區(qū)自定義信息提供服務。
[0184]在下文中，通過參照附圖，描述了輸出到顯示單元570的地區(qū)自定義信息的內(nèi)容。
[0185]圖14為示出根據(jù)本發(fā)明的實施例的顯示單元的消息輸出的視圖。
[0186]參照圖14，顯示單元570可以裝配在炊具320、冰箱340或移動設備400中。在下文中，例如，描述了裝配在冰箱340上的顯示單元570。
[0187]炊具320或冰箱340可以為用戶提供關于預定烹飪的食譜的信息。換句話說，炊具320或冰箱340可以包括存儲關于至少一種烹飪的食譜信息的存儲器單元。
[0188]當?shù)貐^(qū)自定義信息提供服務用于獲得食譜信息時，用戶可以在冰箱340的模式設置單元565為開啟狀態(tài)時提供輸入。
[0189]例如，當?shù)貐^(qū)自定義信息提供服務啟動時，諸如“有什么能幫您的嗎”等引導消息(即，語音輸入請求消息)可以顯示在顯示單元570的屏幕上。當然，語音輸入請求消息可以通過語音輸出單元580以語音形式輸出。
[0190]如圖14所示，對于語音輸入請求消息，用戶可以輸入特定食譜，例如，如圖14所示，輸入語音“牛肉蘿卜湯食譜”。冰箱340接收并識別用戶的語音指令，并提取與所識別的語音指令對應的文本。因此，顯示單元570可以顯示畫面“牛肉蘿卜湯食譜”。
[0191]然后，冰箱340從用戶輸入的語音中提取語調(diào)并且識別與提取的語調(diào)對應的頻率變化，使得冰箱340可以識別特定地區(qū)的方言。
[0192]例如，當用戶用慶尚道口音輸入語音“牛肉蘿卜湯食譜”時，冰箱340識別慶尚道方言，并且準備提供對于慶尚道地區(qū)來說最佳的食譜。也就是說，按照地區(qū)來說，存在許多種牛肉蘿卜食譜，可以推薦匹配識別的地區(qū)(慶尚道)的一個食譜。
[0193]結果是，冰箱340可以識別到慶尚道地區(qū)的用戶想要收到“牛肉蘿卜湯食譜”，然后冰箱340可以讀取有關慶尚道特色蘿卜食譜的信息以將它提供給用戶。例如，顯示單元570可以顯示消息“這就是慶尚道特色紅牛肉蘿卜湯食譜”。另外，語音消息可以通過語音輸出單元580輸出。
[0194]描述了另一個例子。
[0195]當智能家用電器是調(diào)節(jié)室內(nèi)空間的空調(diào)并且識別到用戶的地區(qū)是涼爽地區(qū)(例如，江原道)時，隨著用戶輸入“降低溫度”語音指令，假設寒冷地區(qū)的用戶喜歡涼爽的天氣，智能家用電器可以操作將相對較低的溫度設置為設置溫度。然后，關于與設置溫度調(diào)節(jié)為相對較低的溫度(例如，20 °C)有關的內(nèi)容的信息可以輸出到輸出單元570和580。
[0196]根據(jù)這種結構，在用戶沒有輸入特定信息的情況下，識別用戶講的方言并且基于識別的方言信息提供地區(qū)自定義信息。因此，可以改善可用性。
[0197]圖15為示出根據(jù)本發(fā)明的另一個實施例的顯示單元的消息輸出的視圖。
[0198]參照圖15，根據(jù)本發(fā)明的另一個實施例的顯示單元570可以裝配在空調(diào)330或移動設備400中。當?shù)貐^(qū)自定義信息提供服務用于輸入操作空調(diào)330的指令時，用戶可以在空調(diào)330的模式設置單元545處于開啟狀態(tài)時提供輸入。
[0199]例如，當?shù)貐^(qū)自定義信息提供服務啟動時，諸如“有什么能幫您的嗎”等引導消息(即，語音輸入請求消息)可以顯示在顯示單元570的屏幕上。當然，語音輸入請求消息可以通過語音輸出單元580以語音形式輸出。
[0200]對于語音輸入請求消息，用戶可以輸入操作空調(diào)330的指令，例如，如圖15所示，輸入語音“開啟空調(diào)(方言)”?？照{(diào)330接收并識別用戶的語音指令，并提取與所識別的語音指令對應的文本。因此，顯示單元570可以顯示屏幕“開啟空調(diào)(方言)”。
[0201]然后，空調(diào)330從用戶輸入的語音中提取語調(diào)并且識別與提取的語調(diào)對應的頻率變化，使得空調(diào)330可以識別特定地區(qū)的方言。例如，當用戶用全羅道口音輸入語音“開啟空調(diào)”時，空調(diào)330可以識別全羅道方言，并且然后可以用全羅道方言為用戶生成響應消息。
[0202]S卩，空調(diào)330識別到全羅道地區(qū)的用戶想要“空調(diào)操作”并從存儲器單元560讀取有關執(zhí)行空調(diào)操作的消息的方言信息以將它提供給用戶。例如，顯示單元570可以使用全羅道方言輸出消息，例如，“天氣很熱，快點開啟空調(diào)(全羅道方言)”。另外，語音消息可以通過語音輸出單元580輸出。
[0203]通過這種結構，識別用戶講的方言并且基于識別的方言信息，要提供給用戶的信息用方言來提供，使用戶可以有親密感。
[0204]圖16A和圖16B為示出根據(jù)本發(fā)明的第五實施例的語音識別功能執(zhí)行的安全設置的視圖。
[0205]參照圖16A和圖16B，根據(jù)本發(fā)明的第五實施例，用戶的安全設置在語音識別系統(tǒng)中是可行的。安全設置可以直接通過智能家用電器或者通過使用移動設備來完成。在下文中，例如，描述了通過使用移動設備的安全設置和認證過程。
[0206]當用戶想要使用地區(qū)自定義信息提供服務時，可以在移動設備400的模式設置單元565處于開啟狀態(tài)時提供輸入。隨著在模式設置單元565處于開啟狀態(tài)時提供輸入，可以執(zhí)行設置初始安全的操作。
[0207]移動設備400可以輸出預定關鍵詞語消息。例如，如圖所示，關鍵詞語“日歷”可以通過移動設備400的屏幕以文本的形式輸出，或者可以通過揚聲器以語音的形式輸出。
[0208]然后，第一引導消息可以與輸出的關鍵詞消息一起輸出。第一引導消息包括用于輸入關鍵詞的應答詞的內(nèi)容。例如，第一導向消息可以包括內(nèi)容“當看到下一個詞時請說出想到的詞”。然后，第一引導消息可以通過移動設備400的屏幕以文本的形式輸出，或者可以通過揚聲器以語音的形式輸出。
[0209]對于第一引導消息，用戶可以以語音的形式輸入將要設置為密碼的詞語。例如，如圖所示，可以輸入應答詞“貓”。當移動設備400識別應答詞時，通知應答詞被存儲的第二引導消息可以通過屏幕或語音輸出。
[0210]以這種方式，當在完成安全設置之后使用地區(qū)自定義信息提供服務時，如圖16B所示，可以執(zhí)行通過輸入關鍵詞的應答詞進行認證的過程。
[0211 ]更詳細地，當移動設備400的模式設置單元565處于開啟狀態(tài)時提供輸入時，移動設備400輸出關鍵詞消息，例如“日歷”，并且輸出通知需要認證的第三引導消息，例如，“此功能需要用戶認證”。關鍵詞消息和第三引導消息可以通過移動設備400的屏幕或語音輸出。
[0212]對于關鍵詞，用戶可以輸入預定的設置應答詞，例如，語音“貓”。當識別關鍵詞與應答詞匹配時，移動設備400可以輸出通知認證成功的第四引導消息，例如，語音消息“認證”的文本。
[0213]以這樣的方式，在設置安全以使用地區(qū)自定義信息提供服務后，預定應答詞配置為在使用階段輸入，使得除了指定用戶之外其他用戶的服務訪問和使用受到限制。
[0214]圖17為示出根據(jù)本發(fā)明的第六實施例的語音識別系統(tǒng)的結構及其操作方法的視圖。
[0215]參照圖17，根據(jù)本發(fā)明的第六實施例的智能家用電器包括接收用戶的語音輸入的語音輸入單元510和從通過語音輸入單元510采集的語音信息以文本的形式提取語言元素的語音識別單元520。語音識別單元520可以包括映射語音和文本的頻率的存儲器單元。
[0216]該智能家用電器還可以包括從通過語音輸入單元510輸入的語音信息提取用戶的情感信息的情感識別單元540。情感識別單元540可以包括映射關于用戶的語音特征的信息和關于情感狀態(tài)的信息的數(shù)據(jù)庫。關于用戶的語音特征的信息可以包括關于具有每一個用戶的情感的顯著特征的話音頻譜的信息。
[0217]話音頻譜表示根據(jù)語音的頻率的分布，并且可以理解為圖案化每種情感的頻率分布，即，諸如歡樂、憤怒、悲傷等情感。因此，當用戶發(fā)出帶有特定情感的語音時，情感識別單元540解釋頻率變化以提取用戶的情感。
[0218]通過語音識別單元520提取的文本以及關于情感識別單元540確定的情感的信息可以傳遞給控制單元550。該智能家用電器還可以包括映射語音識別單元520提取的文本以及與文本對應的功能并將它們存儲的存儲器單元560。
[0219]控制單元550可以基于存儲器單元560中存儲的信息識別與語音識別單元520提取的文本對應的功能。然后，控制單元550可以控制裝配在家用電器中的驅動單元590以執(zhí)行所識別的功能。
[0220]該家用電器還包括將用戶自定義信息輸出到或提供給屏幕的顯示單元570或者基于與語音識別單元520提取的文本對應的設置功能以及情感識別單元540提取的情感信息來輸出語音的語音輸出單元580。
[0221]S卩，設置功能可以包括根據(jù)用戶的情感劃分的多個功能并且可以輸出多個功能中與情感識別單元540確定的情感信息匹配的一個功能。總之，顯示單元570或語音輸出單元580可以輸出與文本對應的功能和用戶的情感信息的結合信息(用戶自定義信息提供服務)。
[0222]此外，該智能家用電器還包括用以執(zhí)行用戶自定義信息提供服務的模式的可選擇模式設置單元565。當模式設置單元565處于“開啟”狀態(tài)時，用戶可以使用用戶自定義信息提供服務。當然，當模式設置單元565處于“關閉”狀態(tài)時，用戶不可以使用用戶自定義信息提供服務。
[0223]圖18至圖20為示出根據(jù)本發(fā)明的第六實施例的顯示單元的消息輸出的視圖。圖18至圖20所示的顯示單元570可以裝配在空調(diào)330或移動設備400中。在下文中，例如，描述了裝配在空調(diào)330上的顯示單元570。
[0224]首先，參照圖18，當通過使用空調(diào)330調(diào)節(jié)室內(nèi)空間的空氣來使用用戶自定義信息提供服務時，用戶可以在模式設置單元565處于開啟狀態(tài)時提供輸入。
[0225]例如，當用戶自定義信息提供服務啟動時，諸如“有什么能幫您的嗎”等引導消息(即，語音輸入請求消息)可以顯示在顯示單元570的屏幕上。當然，語音輸入請求消息可以通過語音輸出單元580以語音形式輸出。
[0226]如圖18所示，對于語音輸入請求消息，用戶可以輸入特定操作指令，例如，如圖18所示，輸入語音“啟動空調(diào)”?？照{(diào)330接收并識別用戶的語音指令，并提取與所識別的語音指令對應的文本(第一語音信息)。因此，顯示單元570可以顯示畫面“啟動空調(diào)”。
[0227]然后，空調(diào)330可以通過操作情感識別單元540從用戶輸入的語音中提取情感信息(第二語音信息)。更詳細地，關于從用戶的語音檢測出的頻率變化的信息可以與關于具有人的每種情感的特征的話音頻譜的信息進行比較。然后，彼此對應的信息可以基于比較結果相匹配，因此，可以獲得用戶的語音具有的情感信息。
[0228]例如，當用戶用憤怒的語音輸入“啟動空調(diào)”時，情感識別單元540可以通過從用戶的語音檢測出的頻率變化識別到用戶發(fā)出的語音帶有憤怒情感?？照{(diào)330將第一語音信息和第二語音信息結合起來識別用戶想要的功能并且推薦匹配用戶情感的預定功能，即，特定操作模式。
[0229]S卩，如圖18所示，在空調(diào)330的操作根據(jù)用戶的指令啟動時，在考慮因炎熱天氣帶來惱悶情感的情況下，推薦操作模式。例如，顯示單元570可以輸出消息“哦!很熱嗎？以最低溫度啟動空調(diào)并且開啟直接風?”。
[0230]在本文中，直接風理解為空氣的排放方向形成為直接朝向空調(diào)330的人體檢測單元36檢測出的用戶的位置的模式。即，設置溫度被設置為最低溫度來執(zhí)行空氣調(diào)節(jié)功能并且冷風直接到達用戶，使用戶可以立即感到?jīng)鏊．斴斎胗脩艚邮芑蜻x擇輸出消息的語音(例如，“是”)時，空調(diào)330將此識別并在推薦模式下操作。
[0231]參考圖18描述了在空調(diào)330向用戶推薦特定模式并且識別了用戶接受推薦模式之后，空調(diào)330根據(jù)該特定模式操作。然而，與此不同，推薦模式可以立即操作。
[0232]然后，參照圖19，當用戶自定義信息提供服務啟動并且語音輸入請求消息輸出到顯示單元570的屏幕或者以語音的形式輸出時，用戶可以輸入語音輸入請求消息的特定指令，例如，語音“升高溫度”。
[0233]空調(diào)330接收并識別用戶的語音指令，并提取與所識別的語音指令對應的文本(第一語音信息)。因此，顯示單元570可以顯示屏幕“升高溫度”。
[0234]然后，空調(diào)330可以通過操作情感識別單元540從用戶輸入的語音中提取情感信息(第二語音信息)。例如，當用戶用顫抖的語音輸入“升高溫度”時，情感識別單元540可以通過從用戶的語音檢測出的頻率變化識別到用戶由于寒冷而發(fā)出帶有顫抖語音的語音。
[0235]空調(diào)330將第一語音信息和第二語音信息結合起來識別用戶想要的功能并且推薦匹配用戶情感的預定功能，即，特定操作模式。即，如圖19所示，在空調(diào)330的操作根據(jù)用戶的指令啟動時，在考慮寒冷顫抖狀態(tài)的情況下，推薦操作模式。例如，顯示單元570可以輸出消息“感覺冷嗎?將空調(diào)溫度設置為26度。執(zhí)行動作檢測，是否開啟間接風?”。
[0236]在本文中，間接風理解為通過避開空調(diào)330的人體檢測單元36(參照圖2)檢測出的用戶的位置間接向用戶提供空氣的排放方向的模式。即，設置溫度上升到相對較高的溫度以執(zhí)行冷卻或加熱功能，并且風間接吹向用戶，使用戶可以感到舒適而不覺得寒冷。當輸入用戶接受輸出消息的語音(例如，“是”)時，空調(diào)330將此識別并在推薦模式下操作。
[0237]然后，參照圖20，當用戶自定義信息提供服務啟動并且語音輸入請求消息輸出到顯示單元570的屏幕或者以語音的形式輸出時，用戶可以輸入語音輸入請求消息的特定指令，例如，語音“啟動空調(diào)”。
[0238]空調(diào)330接收并識別用戶的語音指令，并提取與所識別的語音指令對應的文本(第一語音信息)。因此，顯示單元570可以顯示屏幕“啟動空調(diào)”。
[0239]然后，空調(diào)330可以通過操作情感識別單元540從用戶輸入的語音中提取情感信息(第二語音信息)。例如，當用戶用悲傷的語音輸入“啟動空調(diào)”時，情感識別單元540可以通過從用戶的語音檢測出的頻率變化識別到用戶發(fā)出的語音帶有悲傷情感。
[0240]空調(diào)330將第一語音信息和第二語音信息結合起來識別用戶想要的功能并且推薦匹配用戶情感的預定功能，即，特定操作模式。即，如圖20所示，空調(diào)330的操作根據(jù)用戶的指令啟動，在考慮用戶的悲傷情感狀態(tài)的情況下，推薦操作模式。例如，顯示單元570可以輸出消息“啟動空調(diào)。先生，使用芳香功能恢復精神。是否啟動芳香功能?”。
[0241]在本文中，芳香功能理解為插入空調(diào)330的膠囊注入裝置60(參見圖2)的膠囊起作用使得排放的風帶有香氣的功能。即，空調(diào)330識別到用戶的悲傷情感，并且然后將用于恢復精神的香氣擴散到室內(nèi)空間。當輸入用戶接受輸出消息的語音(例如，“是”)時，空調(diào)330將此識別并在推薦模式下操作。
[0242]圖21A至圖23為示出根據(jù)本發(fā)明的另一個實施例的顯示單元的消息輸出的視圖。圖2IA至圖23所示的顯示單元570可以裝配在炊具320、冰箱340或移動設備400中。在下文中，例如，描述了裝配在冰箱340上的顯示單元570。
[0243]首先，參照圖21A，當用戶自定義信息提供服務啟動并且語音輸入請求消息輸出到顯示單元570的屏幕或者以語音的形式輸出時，用戶可以輸入語音輸入請求消息的特定指令，例如，語音“食譜搜索”。
[0244]冰箱340接收并識別用戶的語音指令，并提取與所識別的語音指令對應的文本(第一語音信息)。因此，顯示單元570可以顯示屏幕“食譜搜索”。然后，冰箱340可以通過操作情感識別單元540從用戶輸入的語音中提取情感信息(第二語音信息)。
[0245]例如，當用戶用悲傷的語音輸入“食譜搜索”時，情感識別單元540可以通過從用戶的語音檢測出的頻率變化識別到用戶發(fā)出的語音帶有悲傷情感。
[0246]冰箱340將第一語音信息和第二語音信息結合起來識別用戶想要的功能并且推薦匹配用戶情感的預定功能，即，特定食譜。即，如圖21A所示，在根據(jù)用戶的指令搜索食譜時，在考慮悲傷情感的情況下，推薦多個食譜中的一個。例如，顯示單元570可以輸出消息“感到沮喪嗎?吃甜食會讓你感覺好點。是否搜索甜食食譜? ”當用戶輸入輸出消息的接受語音(例如，“是”)時，冰箱340將此識別并在輸出消息“甜食食譜搜索”的同時推薦特定食譜。
[0247]圖21B的情形與圖2IA的類似，但是當用戶拒絕冰箱340推薦的特定食譜時，例如，當用戶輸入拒絕顯示單元570輸出的“是否搜索甜食食譜?”消息的語音(S卩，不)時，可以輸出語音輸入請求消息“說出要搜索的食物配料”。
[0248]如圖21B所示，語音輸入請求消息“有什么能幫您的嗎?”可以定義為“第一消息”，并且語音輸入請求消息“告訴要搜索的食物配料”可以定義為“第二消息”。針對第二消息，用戶可以輸入另一個可選功能的語音，即，另一種食物配料，以接收關于期望食譜的信息。
[0249]然后，參照圖22，當用戶自定義信息提供服務啟動并且語音輸入請求消息輸出到顯示單元570的屏幕或者以語音的形式輸出時，用戶可以輸入語音輸入請求消息的特定指令，例如，語音“食譜搜索”。
[0250]冰箱340接收并識別用戶的語音指令，并提取與所識別的語音指令對應的文本(第一語音信息)。因此，顯示單元570可以顯示屏幕“食譜搜索”。
[0251]然后，冰箱340可以通過操作情感識別單元540從用戶輸入的語音中提取情感信息(第二語音信息)。例如，當用戶用憤怒的語音輸入“食譜搜索”時，情感識別單元540可以通過從用戶的語音檢測出的頻率變化識別到用戶發(fā)出的語音帶有憤怒情感。
[0252]冰箱340將第一語音信息和第二語音信息結合起來識別用戶想要的功能并且推薦匹配用戶情感的功能，即，特定食譜。即，如圖22所示，在根據(jù)用戶的指令搜索食譜時，在考慮憤怒情感的情況下，推薦多個食譜中的一個。例如，顯示單元570可以輸出消息“空著肚子是否感到心情不爽嗎?是否搜索快速烹飪食譜?”。
[0253]當用戶輸入輸出消息的接受語音(例如，“是”)時，冰箱340將此識別并在輸出消息“快速烹飪食譜搜索”時推薦特定食譜。當然，在圖22的情況下，如參考圖21B所描述的，當用戶拒絕推薦的食譜時，冰箱340可以輸出第二消息以從用戶接收期望的特定食譜。
[0254]然后，參照圖23，當用戶自定義信息提供服務啟動并且語音輸入請求消息輸出到顯示單元570的屏幕或者以語音的形式輸出時，用戶可以輸入語音輸入請求消息的特定指令，例如，語音“食譜搜索”。
[0255]冰箱340接收并識別用戶的語音指令，并提取與所識別的語音指令對應的文本(第一語音信息)。因此，顯示單元570可以顯示屏幕“食譜搜索”。
[0256]然后，冰箱340可以通過操作情感識別單元540從用戶輸入的語音中提取情感信息(第二語音信息)。例如，當用戶用愉快的語音輸入“食譜搜索”時，情感識別單元540可以通過從用戶的語音檢測出的頻率變化識別到用戶發(fā)出的語音帶有愉快情感。
[0257]冰箱340將第一語音信息和第二語音信息結合起來識別用戶想要的功能并且推薦匹配用戶情感的功能，即，特定食譜。即，如圖23所示，在根據(jù)用戶的指令搜索食譜時，在考慮愉快情感的情況下，推薦多個食譜中的一個。例如，顯示單元570可以輸出消息“心情不錯嗎?制作特色食物。是否搜索特色食物食譜?”。
[0258]當用戶輸入輸出消息的接受語音(例如，“是”)時，冰箱340將此識別并在輸出消息“特色食物食譜搜索”時推薦特定食譜。當然，在圖23的情況下，如參考圖21B所描述的，當用戶拒絕推薦的食譜時，冰箱340可以輸出第二消息以從用戶接收期望的特定食譜。
[0259]以這種方式，由于智能家用電器從用戶的語音提取情感信息，并且推薦多個功能中與用戶的情感匹配的特定功能，而不是從用戶的語音指令提取文本并簡單地執(zhí)行設置功能，可以增加用戶的便利性并且可以改善產(chǎn)品滿意度。
[0260]圖24為示出根據(jù)本發(fā)明的第七實施例的作為智能家用電器的一個例子的空調(diào)的結構的方框圖。在下文中，雖然描述了作為智能家電的一個例子的空調(diào)，應事先明白，除了空調(diào)的獨特的設置功能之外，與語音識別或通信(信息提供)過程有關的構思可以應用于其它智能家用電器。
[0261]參照圖24，根據(jù)本發(fā)明的第七實施例的空調(diào)600包括與外部設備通信的多個通信單元680和690。多個通信單元680和690包括與服務器700通信的第一通信模塊680和從位置信息發(fā)送單元695接收關于空調(diào)600的位置的信息的位置信息接收單元690。
[0262]第一通信模塊680可以以有線或無線方式與服務器700的第二通信模塊780通信。例如，空調(diào)600的第一通信模塊680和服務器700的第二通信模塊780可以彼此直接通信或者可以通過接入點、或通過有線網(wǎng)絡彼此通信。在本實施例中，空調(diào)600的第一通信模塊680與服務器700的第二通信模塊780之間的通信方法沒有限制。
[0263]而且，空調(diào)600的第一通信模塊680和服務器700的第二通信模塊780的每一個可以具有唯一的互聯(lián)網(wǎng)協(xié)議(IP)地址。因此，當?shù)谝煌ㄐ拍K680和第二通信模塊780可通信地彼此連接時，服務器700可以通過識別第一通信模塊680來識別空調(diào)600的安裝位置或地區(qū)。
[0264]例如，位置信息接收單元690可以是GPS接收單元。然后，位置信息發(fā)送單元695配置為將關于位置信息接收單元690或空調(diào)600的位置的信息發(fā)送給位置信息接收單元690。例如，關于位置的信息可以包括位置坐標值。
[0265]位置信息發(fā)送單元695可以是GPS衛(wèi)星或通信基站。位置信息接收單元690可以周期性地或在特定時間點將預定信號發(fā)送給位置信息發(fā)送單元695，并且位置信息發(fā)送單元695可以將關于位置的信息發(fā)送給位置信息接收單元690。因為第一通信模塊680和位置信息接收單元695識別空調(diào)600的位置或地區(qū)，它們可以稱為“位置信息識別單元”。
[0266]服務器700還可以包括服務器存儲器770。服務器存儲器770可以存儲操作空調(diào)600所需的信息，例如，關于空調(diào)600或第一通信模塊680的位置(地區(qū))的信息、或者與該位置(地區(qū))對應的天氣信息。當?shù)谝煌ㄐ拍K680和第二通信模塊780可通信地連接時，存儲在服務器存儲器770中的信息可以發(fā)送到空調(diào)700。
[0267]以這種方式，關于空調(diào)600的位置的信息可以基于關于第一通信模塊680和第二通信模塊780可通信地連接時的通信地址的信息或者從位置信息接收單元690接收的信息來識別。
[0268]例如，當?shù)谝煌ㄐ拍K680和第二通信模塊780沒有可通信地連接時，空調(diào)600可以通過位置信息接收單元690接收關于位置的信息。另一方面，當位置信息接收單元690不處于開啟狀態(tài)時，空調(diào)600可以通過第一通信模塊680和第二通信模塊780的通信連接接收關于位置的信息。
[0269]圖25為示出根據(jù)本發(fā)明的第七實施例的智能家用電器的控制方法的流程圖。
[0270]參照圖25，在根據(jù)本發(fā)明的第七實施例控制智能家用電器的過程中，位置識別服務可以設置為開啟。位置識別服務理解為當?shù)谝煌ㄐ拍K680和第二通信模塊780可通信地連接或者位置信息接收單元690接收位置信息時識別空調(diào)600的安裝位置或地區(qū)并且基于關于識別的位置或地區(qū)的信息執(zhí)行智能家用電器的功能的服務。然后，在操作S31和S32中執(zhí)行使用位置識別服務的應用程序。
[0271]通過語音輸入單元110(參見圖2)輸入用戶的語音指令。然后，在操作S33和S34中通過第一通信模塊680和第二通信模塊780的通信連接以及位置信息接收單元690識別關于智能家用電器的位置的信息。
[0272]通過語音輸入單元110輸入的語音指令可以與存儲在存儲器單元130(參見圖3)中的多條語音信息中的至少一條語音信息對應，并且對應的語音信息可以以文本的形式提取。然后，通過使用提取的文本，可以在操作S35中識別家用電器執(zhí)行的多個設置功能中的預定設置功能。
[0273]然后，當智能家用電器執(zhí)行識別的設置功能時，可以考慮關于智能家用電器的位置的信息。然后，關于設置功能的信息和關于位置的信息結合起來使得可以給用戶提供預定信息。
[0274]例如，當智能家用電器位于一地區(qū)時，相應地區(qū)使用的語言(S卩，方言)可以引導關于設置功能的信息。作為另一個例子，可以在操作S36中引導對于智能家用電器的位置來說最佳的設置功能的信息。與此有關的，在下文中，描述了關于智能家用電器提供的設置功能的信息的例子。
[0275]圖26為示出智能家用電器的顯示單元的視圖。圖26示出了當輸出與位置信息結合的關于設置功能的信息時的視圖。
[0276]參照圖26，可以從空調(diào)600的輸出單元660輸出用于請求語音輸入的消息。例如，可以從輸出單元660輸出消息“有什么能幫您的嗎?”。此時，語音和文本消息可以一起輸出。
[0277]對此，用戶可以發(fā)出語音指令“升高溫度”。發(fā)出的語音通過語音輸入單元110輸入并且過濾，然后傳遞到主控制單元120(參見圖3)。主控制單元120將過濾的語音識別為預定語音信息，并以文本的形式將其輸出。
[0278]然后，通過與服務器700的通信連接或者基于從位置信息接收單元690接收的信息，可以識別關于空調(diào)600的位置的信息?？照{(diào)600可以根據(jù)所識別的語音指令信息將與語音指令對應的設置功能提供給用戶。此時，可以考慮關于識別的位置的信息。
[0279]例如，當空調(diào)600的位置(地區(qū))位于慶尚道地區(qū)時，可以用慶尚道口音引導關于設置功能的信息。例如，可以用慶尚道口音輸出用于執(zhí)行提高設置溫度的功能的消息“是否將溫度升高I度?”。對此，當用戶輸入接受意圖(即，語音“是”)時，主控制單元120可以控制驅動單元140(參見圖3)的操作以將設置溫度升高I度。
[0280]圖27為示出根據(jù)本發(fā)明的第七實施例的作為智能家用電器的另一個例子的炊具的結構的視圖。圖28A和圖28B為示出炊具的顯示單元的視圖。
[0281]參照圖27，根據(jù)本發(fā)明的第七實施例的炊具810包括接收用戶的語音輸入的語音輸入單元812、被操縱用于輸入用戶的指令的輸入單元814以及顯示關于炊具810的操作狀態(tài)的信息的輸出單元816。輸出單元816包括顯示關于屏幕的信息的顯示單元和輸出語音的語音輸出單元。
[0282]炊具810包括過濾器單元115、存儲器單元130、驅動單元140、控制單元120和150、第一通信模塊680和位置信息接收單元690，參考圖3對它們?nèi)窟M行了描述。省略了對它們的詳細描述。
[0283]參照圖28A，可以從炊具810的輸出單元816輸出用于請求語音輸入的消息。例如，可以從輸出單元816輸出消息“有什么能幫您的嗎?”。此時，語音和文本消息可以一起輸出。
[0284]對此，用戶可以發(fā)出語音指令“食物食譜”。發(fā)出的語音通過語音輸入單元110輸入并且過濾，然后傳遞到主控制單元120。主控制單元120將過濾的語音識別為預定語音信息，并以文本的形式將其輸出。然后，通過與服務器700的通信連接或者基于從位置信息接收單元690接收的信息，可以識別關于炊具810的位置的信息。
[0285]當主控制單元120識別用戶的語音指令時，輸出單元816可以輸出用于請求輸入關于食譜的詳細信息的消息。例如，可以以語音或文本的形式輸出消息“請輸入食物種類”。用戶可以通過輸入單元815輸入關于期望的食物種類的信息，S卩，食物關鍵詞。例如，用戶可以輸入食物關鍵詞“燒烤食物”。
[0286]一旦完成用戶的食物關鍵詞輸入，炊具810可以完成有關的食譜搜索并且然后可以輸出引導消息。例如，可以輸出消息“食譜搜索完成。想要查看搜索結果嗎?”。對此，當用戶輸入接受意圖(即，語音“是”)時，可以切換屏幕并且可以輸出圖28B所示的另一個屏幕。
[0287]參照圖28B，關于位置的信息和與識別的語音指令對應的設置功能信息可以結合，并且預定信息可以輸出到炊具810的輸出單元816。
[0288]更詳細地，在關于用戶想要的“燒烤食物”的食譜信息中，位于炊具810所處的位置(地區(qū))的特色或傳統(tǒng)食物食譜可以優(yōu)先排列并輸出到輸出單元816。例如，特產(chǎn)或傳統(tǒng)食物食譜“燒烤食物”，即，“用烤箱烤的帶魚肉的豬肉卷”、“烤什錦海鮮”和“烤什錦蘑燕”，可以排列在輸出單元816的上部并且可以在復選框中顯示。即，在關于設置功能的多個信息中，對于位置信息識別單元680和690識別的位置最佳的信息可以首先輸出到輸出單元816。
[0289]然后，普通燒烤食物的食譜可以排列在特色或傳統(tǒng)食物食譜的下部。當用戶在每一個排列的食譜之間選擇期望的食譜時，可以查看關于食譜的詳細信息。以這種方式，由于基于關于用戶的語音指令的信息和家用電器的位置信息提供關于家用電器的設置功能的信息，因而可以提高用戶的便利性。
[0290]圖29為示出根據(jù)本發(fā)明的第八實施例的作為智能家用電器的另一個例子的洗衣機的結構的視圖。圖30為示出根據(jù)本發(fā)明的第八實施例的智能家用電器的控制方法的流程圖。
[0291]參照圖29，根據(jù)第八實施例的智能家用電器可以包括洗衣機820。
[0292]洗衣機820包括接收用戶的語音輸入的語音輸入單元822、被操縱用于輸入用戶的指令的輸入單元825以及顯示關于洗衣機820的操作狀態(tài)的信息的輸出單元826。輸出單元826包括在屏幕上顯示信息的顯示單元和輸出語音的語音輸出單元。洗衣機820包括過濾器單元115、存儲器單元130、驅動單元140、控制單元120和150、第一通信模塊680和位置信息接收單元690。省略了對它們的詳細描述。
[0293]參照圖30，在控制智能家用電器的過程中，位置識別服務可以設置為開啟。位置識別服務理解為如下服務，其中當?shù)谝煌ㄐ拍K680和第二通信模塊780可通信地連接或者位置信息接收單元690接收位置信息時識別洗衣機820的安裝位置或地區(qū)并且基于關于識別的位置或地區(qū)的信息執(zhí)行智能家用電器的功能。然后，在操作S41和S42中執(zhí)行使用位置識別服務的應用程序。
[0294]通過語音輸入單元110輸入用戶的語音指令。然后，在操作S43和S44中通過第一通信模塊680和第二通信模塊780的通信連接以及位置信息接收單元690識別關于智能家用電器的位置的信息。然后，在操作S45中從服務器700接收安裝洗衣機820的位置(地區(qū))的天氣
?目息O
[0295]通過語音輸入單元110輸入的語音指令可以與存儲在存儲器單元130中的多條語音信息中的至少一條語音信息對應，并且對應的語音信息可以提取為文本。然后，通過使用提取的文本，可以在操作S46中識別家用電器執(zhí)行的多個設置功能中的預定設置功能。
[0296]然后，當智能家用電器執(zhí)行識別的設置功能時，可以考慮關于智能家用電器的安裝地區(qū)的天氣信息。然后，關于設置功能的信息和關于天氣的信息結合起來使得與設置功能有關的推薦信息可以提供給用戶。即，可以推薦與設置功能有關的多條信息中的一條信息。
[0297]例如，當智能家用電器是洗衣機820并且語音指令是“啟動洗衣”時，可以通過識別關于安裝洗衣機820的地區(qū)的天氣信息來推薦洗衣進程。例如，如果是雨天或濕度高，則可以在操作S47中推薦強甩干或烘干功能。
[0298]作為另一個例子，當智能家用電器是空調(diào)時，在語音指令“開啟空調(diào)”的情況下，可以通過識別關于安裝空調(diào)的地區(qū)的天氣信息來推薦驅動進程。例如，通過接收濕度信息，可以推薦除濕功能。然后，通過接收夜間的溫度、增加或減短預約時間的推薦，用戶設置就寢時間預約。
[0299]圖31為示出根據(jù)本發(fā)明的第九實施例的語音識別系統(tǒng)的結構的方框圖。
[0300]參照圖31，根據(jù)本發(fā)明的第九實施例的語音識別系統(tǒng)包括接收用戶的語音輸入的移動設備900、基于輸入到移動設備900的語音操作并受控制的多個家用電器810、820、830和840以及可通信地連接移動設備900和多個家用電器810、820、830和840的服務器950。
[0301]例如，多個智能家用電器810、820、830和840可以包括炊具810、洗衣機820、清潔器830和空調(diào)840。移動設備900可以包括智能手機、遙控器和觸屏書。
[0302]移動設備900包括語音輸入單元110、第一通信模塊918和位置信息接收單元919。然后，移動設備900還包括輸出與家用電器的功能執(zhí)行有關的信息的輸入單元916。
[0303]服務器950還可以包括服務器存儲器957和第二通信模塊958。服務存儲器可以存儲映射成為輸入語音的文本信息以及與文本信息對應的設置功能信息。
[0304]連接至服務器950的應用程序可以在移動設備900中執(zhí)行。一旦執(zhí)行該應用程序，可以在移動設備900中激活用戶的語音輸入的語音輸入模式。
[0305]當用戶的語音通過移動設備900的語音輸入單元110輸入時，輸入的語音傳遞到服務器950，并且服務器950可以識別輸入的語音以將執(zhí)行設置功能的指令發(fā)送到與語音指令對應的家用電器。此時，服務器950可以識別移動設備900的位置，并且然后可以基于關于識別的位置的信息將執(zhí)行設置功能的指令發(fā)送給家用電器。
[0306]然后，服務器950可以將關于設置功能執(zhí)行的信息發(fā)送給移動設備900，并且該信息可以輸出到移動設備900的輸出單元916。更詳細地，關于語音識別、位置識別以及設置功能執(zhí)行的信息可以輸出到移動設備900的輸出單元916。即，參考圖26、圖28A和圖28B描述的信息可以輸出到輸出單元916。
[0307]以這種方式，由于用戶通過移動設備900輸入語音指令或者進行操縱，并且通過移動設備900的輸出單元916查看關于語音識別、位置識別和家用電器的設置功能執(zhí)行的信息，因而可以改善便利性。
[0308]雖然已經(jīng)參考其許多示例性實施例描述了多個實施例，但是應理解，本領域技術人員能夠設計落入本公開文本的原理的精神和范圍內(nèi)的很多其它變型和實施例。更具體地，在本公開文本、附圖以及所附權利要求的范圍內(nèi)，可以對對象組合排列的零部件和/或排列進行很多變化和變型。除了零部件和/或排列的變化和變型之外，多種用途對本領域技術人員來說也是顯而易見的。
【主權項】
1.一種智能家用電器，包括: 語音輸入單元，采集語音； 語音識別單元，識別與通過所述語音輸入單元采集的所述語音對應的文本； 捕獲單元，采集用于檢測用戶的面容的圖像； 存儲器單元，映射所述語音識別單元識別的所述文本以及設置功能并且存儲所映射的信息；以及 控制單元，基于所述捕獲單元采集的圖像信息和所述語音輸入單元采集的語音信息的至少一種信息確定是否執(zhí)行語音識別服務。2.根據(jù)權利要求1所述的智能家用電器，其中所述控制單元包括:面部檢測單元，當通過所述捕獲單元采集關于用戶的面容的圖像信息超過設置時間時，識別到用戶處于語音輸入的凝視狀態(tài)。3.根據(jù)權利要求2所述的智能家用電器，其中當通過所述語音輸入單元識別到語音中存在關鍵詞信息并且通過所述面部檢測單元識別到用戶處于所述凝視狀態(tài)時，所述控制單元確定進入語音識別服務待機狀態(tài)。4.根據(jù)權利要求1所述的智能家用電器，還包括: 過濾器單元，從通過所述語音輸入單元輸入的所述語音中去除噪聲；以及 存儲器單元，映射通過所述語音輸入單元輸入的所述語音中與所述智能家用電器的操作有關的語音信息以及與所述智能家用電器的操作無關的語音信息并存儲所映射的信息。5.根據(jù)權利要求1所述的智能家用電器，還包括: 地區(qū)識別單元，基于關于通過所述語音輸入單元采集的所述語音的信息確定用戶的地區(qū)；以及 輸出單元，基于關于所述地區(qū)識別單元確定的地區(qū)的信息以及關于所述設置功能的信息來輸出地區(qū)自定義信息。6.根據(jù)權利要求5所述的智能家用電器，其中 所述設置功能包括:按照地區(qū)劃分的多個功能;并且 通過所述輸出單元輸出包括所述多個功能中與關于所述地區(qū)的信息匹配的一個功能的所述地區(qū)自定義信息。7.根據(jù)權利要求5所述的智能家用電器，其中所述輸出單元通過使用所述地區(qū)識別單元確定的所述地區(qū)的方言來輸出所述地區(qū)自定義信息。8.根據(jù)權利要求5所述的智能家用電器，其中所述輸出單元輸出用于安全設置的關鍵詞，并且所述語音輸入單元設置與所述關鍵詞對應的應答詞。9.根據(jù)權利要求1所述的智能家用電器，還包括情感識別單元和輸出單元， 其中 所述語音識別單元識別與通過所述語音輸入單元采集的所述語音中的第一語音信息對應的文本； 所述情感識別單元基于通過所述語音輸入單元采集的所述語音中的第二語音信息提取用戶的情感;并且 所述輸出單元基于關于所述情感識別單元確定的用戶的情感的信息以及關于所述設置功能的信息來輸出用戶自定義信息。10.根據(jù)權利要求9所述的智能家用電器，其中 所述第一語音信息包括采集的所述語音中的語言元素;并且 所述第二語音信息包括與用戶的情感有關的非語言元素。11.根據(jù)權利要求9所述的智能家用電器，其中 所述情感識別單元包括映射關于用戶的語音特征的信息以及關于情感狀態(tài)的信息的數(shù)據(jù)庫;并且 關于所述用戶的語音特征的信息包括關于具有每一個用戶的情感的特征的話音頻譜的信息。12.根據(jù)權利要求9所述的智能家用電器，其中 所述設置功能包括待推薦或選擇的多個功能;并且 通過所述輸出單元輸出包括所述多個功能中與關于所述用戶的情感的信息匹配的一個功能的所述用戶自定義信息。13.根據(jù)權利要求1所述的智能家用電器，還包括: 位置信息識別單元，識別位置信息；以及 輸出單元，基于所述位置信息識別單元識別的位置信息輸出關于所述設置功能的所述?目息O14.根據(jù)權利要求13所述的智能家用電器，其中所述位置信息識別單元包括: GPS接收單元，從位置信息發(fā)送單元接收位置坐標；以及 第一通信模塊，可通信地連接至裝配在服務器中的第二通信模塊。15.根據(jù)權利要求13所述的智能家用電器，其中所述輸出單元包括:語音輸出單元，通過使用所述位置信息識別單元識別的所述位置或者地區(qū)所用的方言以語音的形式輸出關于所述設置功能的信息。16.根據(jù)權利要求13所述的智能家用電器，其中所述輸出單元輸出關于所述設置功能的多個信息中對于所述位置信息識別單元識別的地區(qū)來說最佳的信息。17.根據(jù)權利要求13所述的智能家用電器，其中所述位置信息識別單元識別的所述位置信息包括天氣信息。18.—種智能家用電器的操作方法，所述方法包括: 通過語音輸入單元采集語音； 識別所采集的語音中是否包括關鍵詞信息； 通過裝配在所述智能家用電器中的捕獲單元采集關于用戶的面容的圖像信息；以及 基于關于所述用戶的面容的所述圖像信息進入語音識別服務的待機狀態(tài)。19.根據(jù)權利要求18所述的方法，其中 當采集關于所述用戶的面容的所述圖像信息超過設置時間時，識別到用戶處于語音輸入的凝視狀態(tài)；以及 當識別到所述語音中存在關鍵詞信息并且所述用戶處于語音輸入的所述凝視狀態(tài)時，進入所述語音識別服務的待機狀態(tài)。20.根據(jù)權利要求18所述的方法，還包括: 基于關于所采集的語音的信息確定用戶的地區(qū)；以及 基于關于所述設置功能的信息以及關于所確定的地區(qū)的信息驅動所述智能家用電器。21.根據(jù)權利要求20所述的方法，還包括:基于關于所確定的地區(qū)的信息輸出與所述智能家用電器的驅動有關的地區(qū)自定義信息。22.根據(jù)權利要求21所述的方法，其中所述地區(qū)自定義信息的輸出包括通過使用所述用戶的地區(qū)所用的方言輸出語音或屏幕。23.根據(jù)權利要求22所述的方法，還包括執(zhí)行安全設置， 其中所述安全設置的執(zhí)行包括: 輸出預定關鍵詞；以及 響應于所輸出的關鍵詞輸入應答詞。24.根據(jù)權利要求18所述的方法，還包括: 基于關于所采集的語音的信息提取用戶的情感狀態(tài)；以及 基于關于所述用戶的情感狀態(tài)的信息推薦操作模式。25.根據(jù)權利要求18所述的方法，還包括: 通過位置信息識別單元識別所述智能家用電器的安裝位置；以及 基于關于所述安裝位置的信息驅動所述智能家用電器。26.根據(jù)權利要求25所述的方法，其中所述智能家用電器的所述安裝位置的識別包括從GPS衛(wèi)星或通信基站接收GPS坐標信息。27.根據(jù)權利要求25所述的方法，其中所述智能家用電器的所述安裝位置的識別包括當裝配在所述智能家用電器中的第一通信模塊連接至裝配在服務器中的第二通信模塊時查看通信地址。28.—種語音識別系統(tǒng)，包括: 移動設備，包括接收語音的語音輸入單元； 智能家用電器，基于通過所述語音輸入單元采集的語音操作；以及 通信模塊，裝配在所述移動設備和所述智能家用電器的每一個中， 其中所述移動設備包括通過檢測所述移動設備的移動確定是否進入所述智能家用電器中的語音識別服務的待機狀態(tài)的移動檢測單元。29.根據(jù)權利要求28所述的系統(tǒng)，其中所述移動檢測單元包括檢測所述移動設備的傾斜角度的改變的加速度傳感器或陀螺儀傳感器， 其中 所述語音輸入單元布置在所述移動設備的下部;并且 當用戶手持所述移動設備將所述語音輸入單元靠近嘴邊以輸入語音時，所述加速度傳感器或所述陀螺儀傳感器檢測的角度值減小。30.根據(jù)權利要求28所述的系統(tǒng)，其中 所述移動檢測單元包括檢測所述移動設備采集的外部光的強度的照明傳感器;并且當用戶手持所述移動設備將所述語音輸入單元靠近嘴邊以輸入語音時，所述照明傳感器檢測的光的強度值增大。
【文檔編號】G06F3/01GK105874405SQ201480072279
【公開日】2016年8月17日
【申請日】2014年11月4日
【發(fā)明人】李株完, 金洛榕, 申泰東, 徐大根
【申請人】Lg電子株式會社