專利名稱：控制電子設(shè)備的方法和應(yīng)用該方法的電子設(shè)備的制作方法
技術(shù)領(lǐng)域：
與示范性實(shí)施例一致的方法和設(shè)備涉及基于語(yǔ)音識(shí)別和動(dòng)作識(shí)別控制電子設(shè)備的方法以及應(yīng)用該方法的電子設(shè)備，更具體地，涉及控制電子設(shè)備的方法，該方法便于用戶操作以基于語(yǔ)音識(shí)別和動(dòng)作識(shí)別來(lái)執(zhí)行電子設(shè)備的任務(wù)，以及涉及應(yīng)用該方法的電子設(shè)備。
背景技術(shù)：
隨著多功能和增強(qiáng)的電子設(shè)備被開(kāi)發(fā)出來(lái)，控制電子設(shè)備的各種用戶接口也被開(kāi)發(fā)出來(lái)。例如，使用遙控器、鼠標(biāo)和觸摸板的輸入方法已經(jīng)應(yīng)用于電子設(shè)備。近年來(lái)，已經(jīng)開(kāi)發(fā)了使用語(yǔ)音識(shí)別控制電子設(shè)備的方法和使用動(dòng)作識(shí)別控制電子設(shè)備的方法。然而，使用語(yǔ)音識(shí)別或動(dòng)作識(shí)別的相關(guān)技術(shù)控制方法對(duì)應(yīng)于電子設(shè)備的控制功能中的一些簡(jiǎn)單功能，而且沒(méi)有考慮用戶的操作便利性。因此，需要在使用語(yǔ)音識(shí)別或動(dòng)作識(shí)別的電子設(shè)備中提供系統(tǒng)的且方便的用戶接口的技術(shù)。

發(fā)明內(nèi)容
一個(gè)或多個(gè)示范性實(shí)施例可以克服上述缺點(diǎn)和上面未描述的其他缺點(diǎn)。然而，應(yīng)理解，一個(gè)或多個(gè)示范性實(shí)施例不需要克服上述缺點(diǎn)，而且可以不克服上述任何問(wèn)題。一個(gè)或多個(gè)示范性實(shí)施例提供了用于控制電子設(shè)備的方法以及應(yīng)用該方法的電子設(shè)備，該方法提供能夠指導(dǎo)用戶更加容易地輸入語(yǔ)音或動(dòng)作的用戶接口。一個(gè)或多個(gè)示范性實(shí)施例還提供了用于控制電子設(shè)備的方法，該方法系統(tǒng)地(systematically)劃分對(duì)應(yīng)于語(yǔ)音或動(dòng)作的輸入的功能并且提供適合已劃分的功能的有效用戶接口，以及提供了應(yīng)用該方法的電子設(shè)備。根據(jù)不范性實(shí)施例的一個(gè)方面,提供了一種控制電子設(shè)備的方法,該方法包括:在根據(jù)識(shí)別到的語(yǔ)音執(zhí)行第一任務(wù)中的至少一個(gè)任務(wù)的語(yǔ)音任務(wù)模式中，顯示用于執(zhí)行第一任務(wù)的語(yǔ)音輔助信息，識(shí)別與顯示為語(yǔ)音輔助信息的至少一個(gè)語(yǔ)音項(xiàng)目當(dāng)中的第一語(yǔ)音項(xiàng)目相對(duì)應(yīng)的第一語(yǔ)音，執(zhí)行第一任務(wù)當(dāng)中的與第一語(yǔ)音項(xiàng)目相對(duì)應(yīng)的任務(wù)，在根據(jù)識(shí)別到的動(dòng)作執(zhí)行第二任務(wù)中的至少一個(gè)任務(wù)的動(dòng)作任務(wù)模式中，顯示用于執(zhí)行第二任務(wù)的動(dòng)作輔助信息，識(shí)別與顯示為動(dòng)作輔助信息的至少一個(gè)動(dòng)作項(xiàng)目當(dāng)中的第一動(dòng)作項(xiàng)目相對(duì)應(yīng)的第一動(dòng)作，并執(zhí)行第二任務(wù)當(dāng)中的與第一動(dòng)作項(xiàng)目相對(duì)應(yīng)的任務(wù)。執(zhí)行與第一語(yǔ)音項(xiàng)目相對(duì)應(yīng)的任務(wù)可以包括顯示關(guān)于與識(shí)別到的第一語(yǔ)音相對(duì)應(yīng)的第一語(yǔ)音項(xiàng)目的附加項(xiàng)目信息。執(zhí)行與第一語(yǔ)音項(xiàng)目相對(duì)應(yīng)的任務(wù)還可以包括識(shí)別與附加項(xiàng)目信息相對(duì)應(yīng)的第
二語(yǔ)音。執(zhí)行與第一語(yǔ)音項(xiàng)目相對(duì)應(yīng)的任務(wù)可以包括執(zhí)行第一任務(wù)當(dāng)中的、與第一語(yǔ)音項(xiàng)目和識(shí)別到的第二語(yǔ)音相對(duì)應(yīng)的任務(wù)。至少一個(gè)語(yǔ)音項(xiàng)目中的每一個(gè)都可以是可說(shuō)出的命令。附加項(xiàng)目信息可以包括關(guān)于第一語(yǔ)音項(xiàng)目的附加命令、指導(dǎo)消息和話語(yǔ)示例(utterance example)中的至少一個(gè)。至少一個(gè)動(dòng)作項(xiàng)目中的每一個(gè)都可以包括指示動(dòng)作任務(wù)模式中可識(shí)別的動(dòng)作的動(dòng)作圖像、以及指示與可識(shí)別的動(dòng)作相對(duì)應(yīng)的任務(wù)的文本。語(yǔ)音輔助信息和動(dòng)作輔助信息中的至少一個(gè)可以包括指示語(yǔ)音任務(wù)模式和動(dòng)作任務(wù)模式中的指定(designated)模式的、圖像和文本中的至少一個(gè)。附加項(xiàng)目信息可以包括指示語(yǔ)音任務(wù)模式和動(dòng)作任務(wù)模式中的指定模式的、圖像和文本中的至少一個(gè)。如果識(shí)別到指示進(jìn)入動(dòng)作任務(wù)模式的預(yù)先設(shè)置的動(dòng)作的動(dòng)作啟動(dòng)命令(觸發(fā)動(dòng)作)，則可以將語(yǔ)音任務(wù)模式改變?yōu)閯?dòng)作任務(wù)模式，而且如果識(shí)別到指示進(jìn)入語(yǔ)音任務(wù)模式的預(yù)先設(shè)置的語(yǔ)音的語(yǔ)音啟動(dòng)命令(觸發(fā)語(yǔ)音)，則可以將動(dòng)作任務(wù)模式改變?yōu)檎Z(yǔ)音任務(wù)模式。第一任務(wù)和第二任務(wù)可以彼此不同，而且如果識(shí)別到與頻道名稱、節(jié)目名稱和頻道號(hào)碼當(dāng)中的至少一個(gè)標(biāo)識(shí)符相對(duì)應(yīng)的第三語(yǔ)音，則第一任務(wù)可以包括頻道快捷切換以重現(xiàn)與該標(biāo)識(shí)符相對(duì)應(yīng)的頻道，如果識(shí)別到與頻道向上和頻道向下之一相對(duì)應(yīng)的第二動(dòng)作，則第二任務(wù)可以包括頻道改變(即，頻道跳轉(zhuǎn)(zapping))以與頻道向上和頻道向下之一相對(duì)應(yīng)地將當(dāng)前頻道改變?yōu)楫?dāng)前頻道的前一個(gè)頻道和下一個(gè)頻道之一。如果與第一語(yǔ)音項(xiàng)目相對(duì)應(yīng)的任務(wù)是第一任務(wù)當(dāng)中的頻道快捷切換，則附加項(xiàng)目信息可以包括關(guān)于頻道名稱、節(jié)目名稱和頻道號(hào)碼中的至少一個(gè)標(biāo)識(shí)符的說(shuō)出的、指導(dǎo)消息和話語(yǔ)示例當(dāng)中的至少一個(gè)。執(zhí)行與第一語(yǔ)音項(xiàng)目相對(duì)應(yīng)的任務(wù)可以包括:如果識(shí)別到關(guān)于與附加項(xiàng)目信息相對(duì)應(yīng)的標(biāo)識(shí)符的第三語(yǔ)音，則執(zhí)行頻道快捷切換以重現(xiàn)與該標(biāo)識(shí)符相對(duì)應(yīng)的頻道。執(zhí)行與第一動(dòng)作項(xiàng)目相對(duì)應(yīng)的任務(wù)可以包括:如果與第一動(dòng)作項(xiàng)目相對(duì)應(yīng)的任務(wù)是第二任務(wù)當(dāng)中的頻道改變，則將當(dāng)前頻道改變?yōu)楫?dāng)前頻道的前一個(gè)頻道和下一個(gè)頻道之
一 O第一任務(wù)和第二任務(wù)可以彼此不同，而且如果識(shí)別到與預(yù)先設(shè)置的等級(jí)之一相對(duì)應(yīng)的第四語(yǔ)音，則第一任務(wù)可以包括音量等級(jí)設(shè)置以將音量等級(jí)設(shè)置為與識(shí)別到的第四語(yǔ)音相對(duì)應(yīng)的等級(jí)，而且如果識(shí)別到與音量向上和音量向下之一相對(duì)應(yīng)的第三動(dòng)作，則第二任務(wù)可以包括音量等級(jí)控制，其指示與音量向上和音量向下之一相對(duì)應(yīng)地將當(dāng)前音量增加預(yù)先設(shè)置的等級(jí)和將當(dāng)前音量減小預(yù)先設(shè)置的等級(jí)中的一個(gè)。 如果與第一語(yǔ)音項(xiàng)目相對(duì)應(yīng)的任務(wù)是第一任務(wù)當(dāng)中的關(guān)閉電源，則附加項(xiàng)目信息可以包括詢問(wèn)是否執(zhí)行關(guān)閉電源的問(wèn)題的指導(dǎo)消息和關(guān)于該問(wèn)題的回答的話語(yǔ)示例中的至少一個(gè)。
執(zhí)行與第一語(yǔ)音項(xiàng)目相對(duì)應(yīng)的任務(wù)可以包括:如果與第一語(yǔ)音項(xiàng)目相對(duì)應(yīng)的任務(wù)是第一任務(wù)當(dāng)中的靜音，則進(jìn)行控制以執(zhí)行靜音并且顯示改變?yōu)榫哂械谝蝗蝿?wù)當(dāng)中的與取消靜音相對(duì)應(yīng)的第二語(yǔ)音項(xiàng)目(而不是第一語(yǔ)音項(xiàng)目)的語(yǔ)音輔助信息。顯示為語(yǔ)音輔助信息的至少一個(gè)語(yǔ)音項(xiàng)目可以是根據(jù)與語(yǔ)音輔助信息一起顯示的應(yīng)用、屏幕顯示狀態(tài)(on screen display,OSD)和識(shí)別候選中的至少一個(gè)、從與第一任務(wù)相對(duì)應(yīng)的語(yǔ)音項(xiàng)目當(dāng)中選擇的至少一個(gè)語(yǔ)音項(xiàng)目，而且該識(shí)別候選可以包括:包括與識(shí)別到的語(yǔ)音相似的數(shù)字和字母中的至少一個(gè)的名稱、與識(shí)別到的語(yǔ)音相似的命令、與該相似的命令相對(duì)應(yīng)的任務(wù)、與識(shí)別到的動(dòng)作相似的動(dòng)作、以及與該相似的動(dòng)作相對(duì)應(yīng)的任務(wù)中的至少一個(gè)。顯示為動(dòng)作輔助信息的至少一個(gè)動(dòng)作項(xiàng)目可以是根據(jù)與動(dòng)作輔助信息一起顯示的應(yīng)用、OSD和識(shí)別候選之一、從與第二任務(wù)相對(duì)應(yīng)的動(dòng)作項(xiàng)目當(dāng)中選擇的至少一個(gè)動(dòng)作項(xiàng)目，而且該識(shí)別候選可以包括:包括與識(shí)別到的語(yǔ)音相似的數(shù)字和字母中的至少一個(gè)的名稱、與識(shí)別到的動(dòng)作相似的命令、與該相似的命令相對(duì)應(yīng)的任務(wù)、與識(shí)別到的動(dòng)作相似的動(dòng)作、以及與該相似的動(dòng)作相對(duì)應(yīng)的動(dòng)作中的至少一個(gè)。該方法還可以包括:如果在語(yǔ)音任務(wù)模式中與語(yǔ)音輔助信息一起顯示識(shí)別候選之后將語(yǔ)音任務(wù)模式改變?yōu)閯?dòng)作任務(wù)模式，則連續(xù)地顯示識(shí)別候選并將語(yǔ)音輔助信息改變?yōu)榕c動(dòng)作任務(wù)模式相對(duì)應(yīng)的動(dòng)作輔助信息并顯示該動(dòng)作輔助信息，而且該識(shí)別候選可以包括:包括與識(shí)別到的語(yǔ)音相似的數(shù)字和字母中的至少一個(gè)的名稱、與識(shí)別到的語(yǔ)音相似的命令、與該相似的命令相對(duì)應(yīng)的任務(wù)、與識(shí)別到的動(dòng)作相似的動(dòng)作、以及與該相似的動(dòng)作相對(duì)應(yīng)的任務(wù)中的至少一個(gè)。連續(xù)地顯示識(shí)別候選并將語(yǔ)音輔助信息改變?yōu)閯?dòng)作輔助信息并顯示該動(dòng)作輔助信息可以包括在連續(xù)顯示的識(shí)別候選當(dāng)中的一個(gè)識(shí)別候選上顯示焦點(diǎn)(focus)。該方法還可以包括:如果在動(dòng)作任務(wù)模式中與動(dòng)作輔助信息一起顯示識(shí)別候選之后將動(dòng)作任務(wù)模式改變?yōu)檎Z(yǔ)音任務(wù)模式，則連續(xù)地顯示識(shí)別候選并將動(dòng)作輔助信息改變?yōu)榕c語(yǔ)音任務(wù)模式相對(duì)應(yīng)的語(yǔ)音輔助信息并顯示該語(yǔ)音輔助信息，而且該識(shí)別候選可以包括:包括與識(shí)別到的語(yǔ)音相似的數(shù)字和字母中的至少一個(gè)的名稱、與識(shí)別到的語(yǔ)音相似的命令、與該相似的命令相對(duì)應(yīng)的任務(wù)、與識(shí)別到的動(dòng)作相似的動(dòng)作、以及與該相似的動(dòng)作相對(duì)應(yīng)的任務(wù)中的至少一個(gè)。連續(xù)地顯示識(shí)別候選并將動(dòng)作輔助信息改變?yōu)檎Z(yǔ)音輔助信息并顯示該語(yǔ)音輔助信息可以包括顯示索引，該索引包括與連續(xù)顯示的識(shí)別候選相對(duì)應(yīng)的數(shù)字和字母中的至少一個(gè)。執(zhí)行與第一語(yǔ)音項(xiàng)目相對(duì)應(yīng)的任務(wù)可以包括:如果第一語(yǔ)音項(xiàng)目是與第一任務(wù)相對(duì)應(yīng)的語(yǔ)音項(xiàng)目當(dāng)中的至少一個(gè)語(yǔ)音項(xiàng)目不同的項(xiàng)目，則顯示該不同的項(xiàng)目。顯示該不同的項(xiàng)目可以包括:如果在預(yù)定時(shí)間內(nèi)沒(méi)有識(shí)別到所顯示的語(yǔ)音項(xiàng)目之一，則省略對(duì)計(jì)時(shí)器的驅(qū)動(dòng)以停止語(yǔ)音任務(wù)模式。識(shí)別與第一語(yǔ)音項(xiàng)目相對(duì)應(yīng)的第一語(yǔ)音可以包括:提供指示第一語(yǔ)音項(xiàng)目和與第一語(yǔ)音項(xiàng)目相對(duì)應(yīng)的任務(wù)中的至少一個(gè)的、視覺(jué)反饋和聽(tīng)覺(jué)反饋中的至少一個(gè)。識(shí)別與第一動(dòng)作項(xiàng)目相對(duì)應(yīng)的第一動(dòng)作可以包括:提供指示第一動(dòng)作項(xiàng)目和與第一動(dòng)作項(xiàng)目相對(duì)應(yīng)的任務(wù)中的至少一個(gè)的、視覺(jué)反饋和聽(tīng)覺(jué)反饋中的至少一個(gè)。
識(shí)別與第一語(yǔ)音項(xiàng)目相對(duì)應(yīng)的第一語(yǔ)音可以包括:根據(jù)第一語(yǔ)音的識(shí)別精度，提供與識(shí)別精度的等級(jí)相對(duì)應(yīng)的視覺(jué)反饋和聽(tīng)覺(jué)反饋中的至少一個(gè)。識(shí)別與第一動(dòng)作項(xiàng)目相對(duì)應(yīng)的第一動(dòng)作可以包括:根據(jù)第一動(dòng)作的識(shí)別精度，提供與識(shí)別精度的等級(jí)相對(duì)應(yīng)的視覺(jué)反饋和聽(tīng)覺(jué)反饋中的至少一個(gè)。根據(jù)示范性實(shí)施例的一個(gè)方面，提供了電子設(shè)備，該電子設(shè)備包括控制器，在根據(jù)識(shí)別到的語(yǔ)音執(zhí)行第一任務(wù)中的至少一個(gè)任務(wù)的語(yǔ)音任務(wù)模式中，該控制器進(jìn)行控制以顯示用于執(zhí)行第一任務(wù)的語(yǔ)音輔助信息，而且在根據(jù)識(shí)別到的動(dòng)作執(zhí)行第二任務(wù)中的至少一個(gè)任務(wù)的動(dòng)作任務(wù)模式中，該控制器進(jìn)行控制以顯示用于執(zhí)行第二任務(wù)的動(dòng)作輔助信息，而且該控制器在語(yǔ)音任務(wù)模式中識(shí)別與顯示為語(yǔ)音輔助信息的至少一個(gè)語(yǔ)音項(xiàng)目當(dāng)中的第一語(yǔ)音項(xiàng)目相對(duì)應(yīng)的第一語(yǔ)音并執(zhí)行第一任務(wù)當(dāng)中的與第一語(yǔ)音項(xiàng)目相對(duì)應(yīng)的任務(wù)，而且該控制器在動(dòng)作任務(wù)模式中識(shí)別與顯示為動(dòng)作輔助信息的至少一個(gè)動(dòng)作項(xiàng)目當(dāng)中的第一動(dòng)作項(xiàng)目相對(duì)應(yīng)的第一動(dòng)作并執(zhí)行第二任務(wù)當(dāng)中的與第一動(dòng)作項(xiàng)目相對(duì)應(yīng)的任務(wù)。根據(jù)示范性實(shí)施例的一個(gè)方面，提供了電子設(shè)備，該電子設(shè)備包括:在根據(jù)識(shí)別到的語(yǔ)音執(zhí)行第一任務(wù)中的至少一個(gè)任務(wù)的語(yǔ)音任務(wù)模式中，顯示用于執(zhí)行第一任務(wù)的語(yǔ)音輔助信息，識(shí)別與顯示為語(yǔ)音輔助信息的至少一個(gè)語(yǔ)音項(xiàng)目當(dāng)中的第一語(yǔ)音項(xiàng)目相對(duì)應(yīng)的第一語(yǔ)音，顯示關(guān)于與識(shí)別到的第一語(yǔ)音相對(duì)應(yīng)的第一語(yǔ)音項(xiàng)目的附加項(xiàng)目信息，識(shí)別與附加項(xiàng)目信息相對(duì)應(yīng)的第二語(yǔ)音并且執(zhí)行第一任務(wù)當(dāng)中的、與第一語(yǔ)音項(xiàng)目和識(shí)別到的第二語(yǔ)音相對(duì)應(yīng)的任務(wù)。根據(jù)示范性實(shí)施例的一個(gè)方面，提供了電子設(shè)備，該電子設(shè)備包括控制器，在根據(jù)識(shí)別到的語(yǔ)音執(zhí)行第一任務(wù)中的至少一個(gè)任務(wù)的語(yǔ)音任務(wù)模式中，該控制器進(jìn)行控制以顯示用于執(zhí)行第一任務(wù)的語(yǔ)音輔助信息，而且該控制器識(shí)別與顯示為語(yǔ)音輔助信息的至少一個(gè)語(yǔ)音項(xiàng)目當(dāng)中的第一語(yǔ)音項(xiàng)目相對(duì)應(yīng)的第一語(yǔ)音，進(jìn)行控制以顯示關(guān)于與識(shí)別到的第一語(yǔ)音相對(duì)應(yīng)的第一語(yǔ)音項(xiàng)目的附加項(xiàng)目信息，識(shí)別與該附加項(xiàng)目信息相對(duì)應(yīng)的第二語(yǔ)音，并且執(zhí)行第一任務(wù)當(dāng)中的、與第一語(yǔ)音項(xiàng)目和識(shí)別到的第二語(yǔ)音相對(duì)應(yīng)的任務(wù)。


通過(guò)參照附圖詳細(xì)描述示范性實(shí)施例，上述和/或其他方面將更加清楚，附圖中:圖1至圖3是根據(jù)各種示范性實(shí)施例的、解釋根據(jù)電子設(shè)備的配置的框圖；圖4和圖5是示出對(duì)應(yīng)于語(yǔ)音任務(wù)和動(dòng)作任務(wù)的遙控器的按鈕的視圖；圖6至圖32是解釋用于執(zhí)行語(yǔ)音任務(wù)的方法的各種示例的視圖；圖33至圖58是解釋用于執(zhí)行動(dòng)作任務(wù)的方法的各種示例的視圖；圖59和圖60是根據(jù)各種示范性實(shí)施例的、解釋電子設(shè)備的控制方法的流程圖，該電子設(shè)備通過(guò)將任務(wù)劃分為動(dòng)作任務(wù)和語(yǔ)音任務(wù)來(lái)控制任務(wù)；圖61和圖62是示出根據(jù)示范性實(shí)施例的、關(guān)于電子設(shè)備的語(yǔ)音任務(wù)的語(yǔ)音Π的視圖；圖63是示出根據(jù)示范性實(shí)施例的、關(guān)于電子設(shè)備的動(dòng)作任務(wù)的動(dòng)作UI的視圖；圖64至圖66是示出根據(jù)示范性實(shí)施例的、語(yǔ)音識(shí)別或動(dòng)作識(shí)別的視覺(jué)反饋的視圖；圖67至圖69是根據(jù)各種示范性實(shí)施例的、解釋電子設(shè)備的控制方法的流程圖，該電子設(shè)備提供語(yǔ)音Π和動(dòng)作Π ；圖70至圖78是根據(jù)各種示范性實(shí)施例的、解釋顯示用于解釋語(yǔ)音應(yīng)用的可運(yùn)行圖標(biāo)的、電子設(shè)備的Π的方法的視圖；圖79是示出根據(jù)示范性實(shí)施例的、解釋顯示電子設(shè)備的UI的方法的流程圖；圖80至圖91是示出根據(jù)各種示范性實(shí)施例的、按照沿著向上、向下、向左和向右方向的用戶動(dòng)作而改變的屏幕的視圖；圖92和圖93是示出根據(jù)各種示范性實(shí)施例的、解釋其屏幕按照用戶動(dòng)作改變的電子設(shè)備的控制方法的流程圖；圖94至圖97是根據(jù)各種示范性實(shí)施例的、解釋用于執(zhí)行遙控模式、動(dòng)作任務(wù)模式和語(yǔ)音任務(wù)模式的方法的視圖和流程圖；圖98是根據(jù)示范性實(shí)施例的、解釋使用移動(dòng)設(shè)備進(jìn)行語(yǔ)音識(shí)別的流程圖；圖99至圖104是根據(jù)示范性實(shí)施例的、解釋指向模式的視圖和流程圖；圖105至圖108是根據(jù)示范性實(shí)施例的、解釋在指向模式中輸入動(dòng)作的情況下的顯示方法的視圖和流程圖；圖109至圖111是根據(jù)示范性實(shí)施例的、解釋用于在語(yǔ)音任務(wù)模式中顯示項(xiàng)目的方法的視圖和流程圖；圖112至圖115是根據(jù)示范性實(shí)施例的、解釋具有彼此不同的色度的Π的視圖和流程圖；圖116至圖118是根據(jù)示范性實(shí)施例的、解釋執(zhí)行與除了顯示語(yǔ)音項(xiàng)目以外的命令相對(duì)應(yīng)的任務(wù)的視圖和流程圖；圖119至圖121是根據(jù)示范性實(shí)施例的、解釋使用雙手將當(dāng)前模式改變?yōu)閯?dòng)作任務(wù)模式的動(dòng)作啟動(dòng)命令的視圖和流程圖；圖122是根據(jù)示范性實(shí)施例的、解釋在多個(gè)用戶輸入動(dòng)作啟動(dòng)命令的情況下執(zhí)行動(dòng)作任務(wù)模式的方法的流程圖；圖123至圖126是根據(jù)示范性實(shí)施例的、解釋使用語(yǔ)音識(shí)別分階段執(zhí)行任務(wù)的方法的視圖和流程圖；圖127至圖129是根據(jù)示范性實(shí)施例的、解釋其名稱被部分顯示的可運(yùn)行圖標(biāo)的運(yùn)行的視圖和流程圖；圖130至圖134是根據(jù)示范性實(shí)施例的、解釋按照特殊姿勢(shì)執(zhí)行任務(wù)的視圖和流程圖；圖135至圖137是根據(jù)示范性實(shí)施例的、解釋根據(jù)語(yǔ)音輸入方法而不同地顯示的圖標(biāo)的視圖和流程圖；圖138至圖142是根據(jù)示范性實(shí)施例的、解釋顯示文本輸入菜單的方法的視圖和流程圖；圖143是根據(jù)示范性實(shí)施例的、解釋使用外部設(shè)備來(lái)執(zhí)行語(yǔ)音任務(wù)的方法的流程圖；圖144至圖146是根據(jù)示范性實(shí)施例的、解釋在顯示屏幕上顯示可說(shuō)出的命令的情況下執(zhí)行語(yǔ)音任務(wù)的方法的視圖和流程圖；圖147是根據(jù)示范性實(shí)施例的、解釋自動(dòng)識(shí)別語(yǔ)音的方法的流程圖148是根據(jù)示范性實(shí)施例的、解釋顯示候選列表的方法的流程圖；以及圖149是根據(jù)示范性實(shí)施例的、解釋指導(dǎo)語(yǔ)音識(shí)別錯(cuò)誤的UI的流程圖。
具體實(shí)施例方式下文中，將參照附圖更加詳細(xì)地描述示范性實(shí)施例。在以下描述中，當(dāng)相同的參考標(biāo)記和相同的元素在不同的附圖中繪出時(shí)，相同的參考標(biāo)記用于相同的元素。說(shuō)明書(shū)中定義的內(nèi)容，諸如詳細(xì)的結(jié)構(gòu)和元素，被提供以幫助理解示范性實(shí)施例。因此，明顯的是，示范性實(shí)施例能夠在沒(méi)有這些具體定義的內(nèi)容的情況下執(zhí)行。另外，由于相關(guān)技術(shù)中已知的功能或元件將由于不必要的細(xì)節(jié)而模糊示范性實(shí)施例，因此將不對(duì)其進(jìn)行詳細(xì)描述。圖1是示出根據(jù)示范性實(shí)施例的電子設(shè)備100的示意性框圖。參照?qǐng)D1，電子設(shè)備100包括語(yǔ)音輸入單元110、動(dòng)作輸入單元120、存儲(chǔ)單元130和控制單元140。電子設(shè)備100可以由智能電視(TV)、機(jī)頂盒、個(gè)人計(jì)算機(jī)(PC)或數(shù)字電視實(shí)現(xiàn)，但不限于智能電視(TV)、機(jī)頂盒、個(gè)人計(jì)算機(jī)(PC)或數(shù)字電視，其能夠連接到外部網(wǎng)絡(luò)。語(yǔ)音輸入單元110接收由用戶說(shuō)出(utter)的語(yǔ)音輸入。語(yǔ)音輸入單元110將輸入的語(yǔ)音信號(hào)轉(zhuǎn)換成電信號(hào)，并且將電信號(hào)輸出到控制單元140。例如，語(yǔ)音輸入單元110可以由麥克風(fēng)實(shí)現(xiàn)。此外，語(yǔ)音輸入單元110可以由電子設(shè)備100中的內(nèi)部組件或外部設(shè)備實(shí)現(xiàn)。外部設(shè)備語(yǔ)音輸入單元110可以通過(guò)有線或無(wú)線連接或通過(guò)網(wǎng)絡(luò)連接到電子設(shè)備100。動(dòng)作(motion)輸入單元120接收通過(guò)拍攝用戶動(dòng)作獲得的圖像信號(hào)(例如，連續(xù)幀)，并將圖像信號(hào)提供給控制單元140。例如，動(dòng)作輸入單元120可以由包括鏡頭和圖像傳感器的單元實(shí)現(xiàn)。動(dòng)作輸入單元120可以由電子設(shè)備100中的內(nèi)部組件或外部設(shè)備實(shí)現(xiàn)。外部設(shè)備動(dòng)作輸入單元120可以通過(guò)有線或無(wú)線連接，或通過(guò)網(wǎng)絡(luò)連接到電子設(shè)備100。存儲(chǔ)單元130存儲(chǔ)用于驅(qū)動(dòng)和控制電子設(shè)備100的各種數(shù)據(jù)和程序。存儲(chǔ)單元130存儲(chǔ)語(yǔ)音識(shí)別模塊和動(dòng)作識(shí)別模塊，語(yǔ)音識(shí)別模塊識(shí)別通過(guò)語(yǔ)音輸入單元110輸入的語(yǔ)音，動(dòng)作識(shí)別模塊識(shí)別通過(guò)動(dòng)作輸入單元120輸入的動(dòng)作。存儲(chǔ)單元130可以包括語(yǔ)音數(shù)據(jù)庫(kù)和動(dòng)作數(shù)據(jù)庫(kù)。語(yǔ)音數(shù)據(jù)庫(kù)是指預(yù)定的語(yǔ)音以及與預(yù)定的語(yǔ)音匹配的語(yǔ)音任務(wù)(voice task)記錄在其上的數(shù)據(jù)庫(kù)。動(dòng)作數(shù)據(jù)庫(kù)是指預(yù)定的動(dòng)作以及與預(yù)定的動(dòng)作匹配的動(dòng)作任務(wù)(motion task)記錄在其上的數(shù)據(jù)庫(kù)。控制單元140控制語(yǔ)音輸入單元110、動(dòng)作輸入單元120和存儲(chǔ)單元130?？刂茊卧?40可以包括諸如中央處理單元(CPU)的硬件處理器、以及存儲(chǔ)用于控制電子設(shè)備100的模塊和數(shù)據(jù)的只讀存儲(chǔ)器(ROM)和隨機(jī)存取存儲(chǔ)器(RAM)。如果語(yǔ)音通過(guò)語(yǔ)音輸入單元110輸入，則控制單元140使用語(yǔ)音識(shí)別模塊和語(yǔ)音數(shù)據(jù)庫(kù)來(lái)識(shí)別語(yǔ)音。語(yǔ)音識(shí)別可以被劃分為孤立詞識(shí)別(isolated word recognition)、連續(xù)語(yǔ)音識(shí)別(continuous speech recognition)和關(guān)鍵詞檢出(keyword spotting),孤立詞識(shí)別通過(guò)根據(jù)輸入的語(yǔ)音的形式而區(qū)分詞來(lái)識(shí)別發(fā)出的語(yǔ)音，連續(xù)語(yǔ)音識(shí)別識(shí)別連續(xù)的詞、連續(xù)的句子，以及對(duì)話語(yǔ)音(dialogic voice)，關(guān)鍵詞檢出是介于孤立詞識(shí)別和連續(xù)語(yǔ)音識(shí)別之間的中間類(lèi)型并且通過(guò)檢測(cè)預(yù)定義的關(guān)鍵詞來(lái)識(shí)別語(yǔ)音。如果輸入了用戶語(yǔ)音，則控制單元140通過(guò)從輸入的語(yǔ)音信號(hào)中檢測(cè)出用戶發(fā)出的語(yǔ)音的開(kāi)始和結(jié)束來(lái)確定語(yǔ)音段(voice section)?？刂茊卧?40計(jì)算輸入的語(yǔ)音信號(hào)的能量、按照計(jì)算出的能量對(duì)語(yǔ)音信號(hào)的能量水平進(jìn)行分類(lèi)、并通過(guò)動(dòng)態(tài)編程來(lái)檢測(cè)語(yǔ)音段。控制單元140通過(guò)檢測(cè)來(lái)自檢測(cè)到的語(yǔ)音段內(nèi)的語(yǔ)音信號(hào)的音素(Phoneme)(這是最小的語(yǔ)音單位)、基于聲學(xué)模型來(lái)生成音素?cái)?shù)據(jù)。控制單元140通過(guò)將隱馬爾可夫模型(HMM)應(yīng)用到已生成的音素?cái)?shù)據(jù)來(lái)生成文本信息。然而，上述語(yǔ)音識(shí)別方法僅僅是示例，而且可以使用其他語(yǔ)音識(shí)別方法。在上述方法中，控制單元140識(shí)別包括在語(yǔ)音信號(hào)中的用戶語(yǔ)音。如果通過(guò)動(dòng)作輸入單元120輸入了動(dòng)作，則控制單元140使用動(dòng)作識(shí)別模塊和動(dòng)作數(shù)據(jù)庫(kù)來(lái)識(shí)別動(dòng)作。動(dòng)作識(shí)別將與通過(guò)動(dòng)作輸入單元120輸入的用戶動(dòng)作相對(duì)應(yīng)的圖像(例如，連續(xù)幀)劃分為背景和手區(qū)域(例如，張開(kāi)手指或曲手握拳)，并識(shí)別連續(xù)的手部動(dòng)作。如果輸入了用戶動(dòng)作，則控制單元140以幀為基礎(chǔ)存儲(chǔ)接收到的圖像，并且使用已存儲(chǔ)的幀來(lái)感測(cè)用戶動(dòng)作的對(duì)象(例如，用戶的手)?？刂茊卧?40通過(guò)感測(cè)幀中所包括的對(duì)象的形狀、顏色和動(dòng)作中的至少一個(gè)來(lái)檢測(cè)對(duì)象?？刂茊卧?40可以使用多個(gè)幀中所包括的對(duì)象的位置來(lái)追蹤對(duì)象的動(dòng)作?？刂茊卧?40按照所追蹤的對(duì)象的形狀和動(dòng)作來(lái)確定該動(dòng)作。例如，控制單元140使用對(duì)象的形狀、速度、位置和方向的變化中的至少一個(gè)來(lái)確定用戶動(dòng)作。用戶動(dòng)作包括握一只手的抓動(dòng)作(grab motion)、利用一只手移動(dòng)顯示的光標(biāo)的指向移動(dòng)動(dòng)作(pointing move motion)、在一個(gè)方向上以預(yù)定的速度或更快的速度移動(dòng)一只手的拍動(dòng)作(slap motion)、水平或垂直搖動(dòng)一只手的搖動(dòng)動(dòng)作(shake motion)、以及旋轉(zhuǎn)一只手的旋轉(zhuǎn)動(dòng)作。本公開(kāi)的技術(shù)想法可以應(yīng)用于其他動(dòng)作。例如，用戶動(dòng)作還可以包括張開(kāi)一只手的張開(kāi)動(dòng)作(spread motion)?？刂茊卧?40確定對(duì)象是否在預(yù)定時(shí)間(例如，800毫秒)內(nèi)離開(kāi)預(yù)定區(qū)域(例如，40厘米X40厘米的正方形)，以便確定用戶動(dòng)作是指向(pointing)移動(dòng)動(dòng)作還是拍動(dòng)作。如果對(duì)象在預(yù)定時(shí)間內(nèi)沒(méi)有離開(kāi)預(yù)定區(qū)域，則控制單元140可以確定該用戶動(dòng)作是指向移動(dòng)動(dòng)作。如果對(duì)象在預(yù)定時(shí)間內(nèi)離開(kāi)預(yù)定區(qū)域，則控制單元140可以確定該用戶動(dòng)作是拍動(dòng)作。另一個(gè)示例是，如果對(duì)象的速度低于預(yù)定速度(例如，30厘米/秒)，則控制單元140可以確定該用戶動(dòng)作是指向移動(dòng)動(dòng)作。如果對(duì)象的速度超過(guò)預(yù)定速度，則控制單元140確定該用戶動(dòng)作是拍動(dòng)作。如上所述，控制單元140使用識(shí)別出的語(yǔ)音和動(dòng)作來(lái)執(zhí)行電子設(shè)備100的任務(wù)。電子設(shè)備的任務(wù)包括由電子設(shè)備100執(zhí)行的至少一個(gè)功能，諸如頻道切換、音量控制、內(nèi)容回放(例如，運(yùn)動(dòng)圖像、音樂(lè)或照片)、或互聯(lián)網(wǎng)瀏覽。下面將解釋通過(guò)控制單元140控制電子設(shè)備100的具體方法。圖2是不出根據(jù)不范性實(shí)施例的電子設(shè)備100的框圖。參照?qǐng)D2,電子設(shè)備100包括語(yǔ)音輸入單元110、動(dòng)作輸入單元120、存儲(chǔ)單元130和控制單元140、廣播接收單元150、外部端子輸入單元160、遙控信號(hào)接收單元170、網(wǎng)絡(luò)接口單元180和圖像輸出單元190。如圖2所示，電子設(shè)備100可以由機(jī)頂盒、個(gè)人計(jì)算機(jī)等實(shí)現(xiàn)。圖2的語(yǔ)音輸入單元110、動(dòng)作輸入單元120、存儲(chǔ)單元130和控制單元140與圖1的語(yǔ)音輸入單元110、動(dòng)作輸入單元120、存儲(chǔ)單元130和控制單元140相同，因此省略其詳細(xì)描述。
廣播接收單元150以有線或無(wú)線方式從外部源接收廣播信號(hào)。廣播信號(hào)包括視頻、音頻和附加數(shù)據(jù)(例如，電子節(jié)目指南(EPG))。廣播接收單元150可以從諸如地面波廣播、有線廣播、衛(wèi)星廣播、互聯(lián)網(wǎng)廣播等的各種源接收廣播信號(hào)。外部端子輸入單元160從外部源接收視頻數(shù)據(jù)(例如，運(yùn)動(dòng)圖像或照片)和音頻數(shù)據(jù)(例如，音樂(lè))。外部端子輸入單元160可以包括高清晰度多媒體接口(HDMI)輸入端子、分量輸入端子、PC輸入端子、USB輸入端子等中的至少一個(gè)。遙控信號(hào)接收單元170從外部遙控器接收控制信號(hào)。遙控信號(hào)接收單元170可以以電子設(shè)備100的語(yǔ)音任務(wù)模式或動(dòng)作任務(wù)模式接收遙控信號(hào)。網(wǎng)絡(luò)接口單元180可以在控制單元140的控制下將電子設(shè)備100連接到外部設(shè)備(例如，服務(wù)器)。控制單元140可以從通過(guò)網(wǎng)絡(luò)接口單元180連接的外部設(shè)備下載應(yīng)用，或者可以執(zhí)行網(wǎng)頁(yè)(web)瀏覽。網(wǎng)絡(luò)接口單元180可以提供以太網(wǎng)、無(wú)線局域網(wǎng)182、藍(lán)牙等中的至少一個(gè)。圖像輸出單元190向外部顯示設(shè)備(例如，監(jiān)視器或TV)輸出通過(guò)廣播接收單元150接收到的外部廣播信號(hào)、從外部端子輸入單元160輸入的視頻數(shù)據(jù)、或存儲(chǔ)在存儲(chǔ)單元130中的視頻數(shù)據(jù)。圖像輸出單元190可以包括輸出端子，諸如HDM1、分量、復(fù)合、視頻圖形陣列(VGA)、數(shù)字視頻接口( DVI )、S-視頻等。圖3是不出根據(jù)又一不范性實(shí)施例的電子設(shè)備100的框圖。如圖3所不，電子設(shè)備100包括語(yǔ)音輸入單元110、動(dòng)作輸入單元120、存儲(chǔ)單元130和控制單元140、廣播接收單元150、外部端子輸入單元160、遙控信號(hào)接收單元170、網(wǎng)絡(luò)接口單元180、顯示單元193和音頻輸出單元196。電子設(shè)備100可以是，但不限于，數(shù)字TV。圖3的語(yǔ)音輸入單元110、動(dòng)作輸入單元120、存儲(chǔ)單元130和控制單元140、廣播接收單元150、外部端子輸入單元160、遙控信號(hào)接收單元170和網(wǎng)絡(luò)接口單元180與圖1和圖2中具有相同參考標(biāo)記的那些單元相同，因此省略其詳細(xì)描述。顯示單元193顯示與通過(guò)廣播接收單元150接收到的廣播信號(hào)相對(duì)應(yīng)的圖像。顯示單元193可以顯示通過(guò)外部端子輸入單元160輸入的圖像數(shù)據(jù)(例如，運(yùn)動(dòng)圖像)或存儲(chǔ)在存儲(chǔ)單元中的視頻。顯示單元193可以在控制單元140的控制下顯示用于執(zhí)行語(yǔ)音任務(wù)的語(yǔ)音輔助(assistance)信息和用于執(zhí)行動(dòng)作任務(wù)的動(dòng)作輔助信息。音頻輸出單元196在控制單元140的控制下輸出與廣播信號(hào)相對(duì)應(yīng)的音頻。音頻輸出單元196可以包括揚(yáng)聲器196a、耳機(jī)輸出端子196b和S/TOIF輸出端子163c中的至少一個(gè)。存儲(chǔ)單元130包括電源控制模塊130a、頻道控制模塊130b、音量控制模塊130c、外部輸入控制模塊130d、屏幕控制模塊130e、音頻控制模塊130f、互聯(lián)網(wǎng)控制模塊130g、應(yīng)用模塊130h、搜索控制模塊1301、用戶接口(UI)處理模塊130j、語(yǔ)音識(shí)別模塊130k、動(dòng)作識(shí)別模塊1301、語(yǔ)音數(shù)據(jù)庫(kù)130m和動(dòng)作數(shù)據(jù)庫(kù)130η。這些模塊130a至130η可以通過(guò)軟件實(shí)現(xiàn)，以便執(zhí)行電源控制功能、頻道控制功能、音量控制功能、外部輸入控制功能、屏幕控制功能、音頻控制功能、互聯(lián)網(wǎng)控制功能、應(yīng)用運(yùn)行功能、搜索控制功能和UI處理功能?？刂茊卧?40通過(guò)運(yùn)行存儲(chǔ)在存儲(chǔ)單元130中的軟件執(zhí)行相應(yīng)功能。以下將參照附圖解釋各種示范性實(shí)施例。如果通過(guò)語(yǔ)音識(shí)別模塊130k識(shí)別到用戶語(yǔ)音，則控制單元140執(zhí)行可由遙控器控制的任務(wù)當(dāng)中與識(shí)別到的用戶語(yǔ)音相對(duì)應(yīng)的語(yǔ)音任務(wù)。如果通過(guò)動(dòng)作識(shí)別模塊1301識(shí)別到用戶動(dòng)作，則控制單元140執(zhí)行可由遙控器控制的任務(wù)當(dāng)中與識(shí)別到的用戶動(dòng)作相對(duì)應(yīng)的動(dòng)作任務(wù)。語(yǔ)音任務(wù)和動(dòng)作任務(wù)可以通過(guò)利用遙控器上的按鈕進(jìn)行分類(lèi)來(lái)被映射。語(yǔ)音任務(wù)是指可按照通過(guò)語(yǔ)音識(shí)別模塊識(shí)別到的語(yǔ)音進(jìn)行控制的任務(wù)。例如，語(yǔ)音任務(wù)可以包括關(guān)閉電子設(shè)備100、頻道快捷切換(channel shortcut)、靜音、改變外部端子、設(shè)置音量等級(jí)、輸入文本以及重現(xiàn)/停止圖像的功能中的至少一個(gè)。也就是說(shuō)，具有能夠由用戶語(yǔ)音發(fā)出的名稱或標(biāo)識(shí)符的各種任務(wù)或者需要輸入文本的任務(wù)可以被設(shè)置為語(yǔ)音任務(wù)。動(dòng)作任務(wù)是指可按照通過(guò)動(dòng)作識(shí)別模塊識(shí)別到的動(dòng)作進(jìn)行控制的任務(wù)。例如，動(dòng)作任務(wù)可以包括頻道改變、音量等級(jí)控制、屏幕導(dǎo)航、滑動(dòng)條控制和光標(biāo)指向(cursorpointing)。也就是說(shuō)，能夠在各階段按照用戶動(dòng)作的類(lèi)型和方向進(jìn)行控制的各種任務(wù)以及使用光標(biāo)的任務(wù)可以被設(shè)置為動(dòng)作任務(wù)。如果通過(guò)語(yǔ)音識(shí)別模塊識(shí)別到用戶語(yǔ)音，則控制單元140執(zhí)行直接對(duì)應(yīng)于用戶語(yǔ)音中所包括的言語(yǔ)(utterance)的語(yǔ)音任務(wù)。例如，控制單元140從用戶發(fā)出的語(yǔ)音中識(shí)別頻道標(biāo)識(shí)符。頻道標(biāo)識(shí)符用于識(shí)別頻道，并且可以包括頻道名稱、頻道號(hào)碼和節(jié)目名稱中的至少一個(gè)。如果頻道標(biāo)識(shí)符如上所述被存儲(chǔ)在存儲(chǔ)單元130中的語(yǔ)音數(shù)據(jù)庫(kù)中，則控制單元140使用語(yǔ)音數(shù)據(jù)庫(kù)執(zhí)行到與識(shí)別到的頻道標(biāo)識(shí)符相對(duì)應(yīng)的頻道的快捷切換。也就是說(shuō)，如果用戶說(shuō)“ 11 ”，則控制單元140確認(rèn)與“11”相對(duì)應(yīng)的語(yǔ)音任務(wù)是否記錄在語(yǔ)音數(shù)據(jù)庫(kù)中。如果與“11”相對(duì)應(yīng)的語(yǔ)音任務(wù)是選擇頻道11的頻道快捷切換功能，則控制單元140執(zhí)行到頻道11的快捷切換。如果通過(guò)動(dòng)作識(shí)別模塊識(shí)別到用戶動(dòng)作，則控制單元140按照用戶動(dòng)作的方向執(zhí)行與用戶動(dòng)作相對(duì)應(yīng)的動(dòng)作任務(wù)。例如，如果通過(guò)動(dòng)作識(shí)別模塊識(shí)別到向上方向的拍動(dòng)作，則控制單元140可以從動(dòng)作數(shù)據(jù)庫(kù)中確認(rèn)與向上方向的拍動(dòng)作相對(duì)應(yīng)的動(dòng)作任務(wù)，并且可以執(zhí)行頻道改變以便將當(dāng)前頻道改變?yōu)轭l道號(hào)碼增加預(yù)定數(shù)量(例如，I)的頻道。如果通過(guò)動(dòng)作識(shí)別模塊識(shí)別到向下方向的拍動(dòng)作，則控制單元140可以從動(dòng)作數(shù)據(jù)庫(kù)中確認(rèn)與向下方向的拍動(dòng)作相對(duì)應(yīng)的動(dòng)作任務(wù)，并且可以執(zhí)行頻道改變以便將當(dāng)前頻道改變?yōu)轭l道號(hào)碼減少預(yù)定數(shù)量(例如，I)的頻道。語(yǔ)音任務(wù)和動(dòng)作任務(wù)可以通過(guò)利用圖4和圖5中所示的遙控器上的按鈕進(jìn)行分類(lèi)來(lái)被映射。圖4示出了與執(zhí)行至少一個(gè)語(yǔ)音任務(wù)的命令相對(duì)應(yīng)的遙控器上的按鈕。也就是說(shuō)，在語(yǔ)音輸入被識(shí)別出的情況下執(zhí)行的任務(wù)可以對(duì)應(yīng)于通過(guò)遙控器上的按鈕之一執(zhí)行的任務(wù)。例如，由遙控器上的電源按鈕401執(zhí)行的任務(wù)對(duì)應(yīng)于在語(yǔ)音“呼叫詞(call word)”(例如，“Ginny”)或“電源”被識(shí)別出的情況下執(zhí)行的任務(wù)。因此，外部輸入按鈕402對(duì)應(yīng)于語(yǔ)音“外部輸入”。此外，數(shù)字按鈕403對(duì)應(yīng)于所說(shuō)出的號(hào)碼。此外，上一個(gè)頻道(previouschannel)按鈕404對(duì)應(yīng)于語(yǔ)音“上一個(gè)頻道”。靜音按鈕405對(duì)應(yīng)于語(yǔ)音“靜音”或“取消靜音”。另外，頻道列表按鈕406對(duì)應(yīng)于語(yǔ)音“頻道列表”。智能中心(smart hub)/菜單/搜索/快速菜單/信息顯示按鈕407、返回按鈕408、退出按鈕409、社交網(wǎng)絡(luò)/3D圖像提供按鈕410、幫助按鈕411以及回放/暫停/停止/錄制按鈕412對(duì)應(yīng)于與它們各自名稱相對(duì)應(yīng)的語(yǔ)音。
圖5示出了與執(zhí)行至少一個(gè)動(dòng)作任務(wù)的動(dòng)作相對(duì)應(yīng)的遙控器上的按鈕。也就是說(shuō)，在動(dòng)作輸入被識(shí)別到的情況下執(zhí)行的任務(wù)可以對(duì)應(yīng)于按照遙控器上的按鈕之一執(zhí)行的任務(wù)。例如，如圖5所示，按照音量向上/向下按鈕和頻道向上/向下按鈕421執(zhí)行的任務(wù)對(duì)應(yīng)于向上、向下、向右和向左方向上的拍動(dòng)作被識(shí)別到的情況下執(zhí)行的任務(wù)。因此，向上、向下、向左和向右方向按鈕422對(duì)應(yīng)于向上、向下、向左和向右方向的拍動(dòng)作。選擇按鈕423可以對(duì)應(yīng)于抓動(dòng)作。如果屏上顯示(on screen display, OSD)包括鍵指導(dǎo)(key guide),貝丨J功能按鈕425可以對(duì)應(yīng)于相應(yīng)鍵的指向動(dòng)作(pointing motion)。語(yǔ)音任務(wù)和動(dòng)作任務(wù)可以在不相互結(jié)合的情況下獨(dú)立改變電子設(shè)備100的設(shè)置。也就是說(shuō)，語(yǔ)音任務(wù)可以使用由語(yǔ)音識(shí)別模塊130k識(shí)別到的用戶語(yǔ)音來(lái)改變電子設(shè)備100的設(shè)置，而且動(dòng)作任務(wù)可以使用由動(dòng)作識(shí)別模塊1301識(shí)別到的用戶動(dòng)作來(lái)改變電子設(shè)備100的設(shè)置。控制單元140通過(guò)語(yǔ)音識(shí)別模塊130k和動(dòng)作識(shí)別模塊1301之一來(lái)識(shí)別用戶語(yǔ)音和用戶動(dòng)作之一。如果通過(guò)語(yǔ)音識(shí)別模塊130k識(shí)別到用戶語(yǔ)音，則控制單元140分別運(yùn)行具有內(nèi)容標(biāo)識(shí)符的多個(gè)內(nèi)容當(dāng)中的、具有與識(shí)別到的用戶語(yǔ)音相對(duì)應(yīng)的內(nèi)容標(biāo)識(shí)符的內(nèi)容。如果通過(guò)動(dòng)作識(shí)別模塊1301識(shí)別到用戶動(dòng)作，則控制單元140按照用戶動(dòng)作的方向改變多個(gè)內(nèi)容。這里所記載的內(nèi)容可以是廣播內(nèi)容。具體地，如果通過(guò)語(yǔ)音識(shí)別模塊130k識(shí)別到用戶語(yǔ)音，則控制單元140分別將當(dāng)前廣播頻道改變?yōu)榫哂袕V播頻道標(biāo)識(shí)符的多個(gè)廣播頻道當(dāng)中的、具有與識(shí)別到的用戶語(yǔ)音相對(duì)應(yīng)的廣播頻道標(biāo)識(shí)符的廣播頻道。頻道標(biāo)識(shí)符可以包括頻道號(hào)碼、頻道名稱和節(jié)目名稱中的至少一個(gè)。如果通過(guò)動(dòng)作識(shí)別模塊1301識(shí)別到用戶動(dòng)作，則控制單元140按照用戶動(dòng)作的方向分階段地(in phase)改變多個(gè)廣播頻道。用戶動(dòng)作可以包括拍動(dòng)作。例如，如果識(shí)別到的用戶動(dòng)作是向上方向上的拍動(dòng)作，則控制單元140執(zhí)行頻道改變，從而將當(dāng)前廣播頻道改變?yōu)轭l道號(hào)碼增加預(yù)定數(shù)量的廣播頻道。如果識(shí)別到的用戶動(dòng)作是向下方向上的拍動(dòng)作，則控制單元140執(zhí)行頻道改變，從而將當(dāng)前廣播頻道改變?yōu)轭l道號(hào)碼減少預(yù)定數(shù)量的廣播頻道。內(nèi)容可以是圖像內(nèi)容、音樂(lè)內(nèi)容和照片內(nèi)容之一。如果內(nèi)容是圖像內(nèi)容、音樂(lè)內(nèi)容和照片內(nèi)容之一，則內(nèi)容標(biāo)識(shí)符可以是內(nèi)容的名稱。如果內(nèi)容是圖像內(nèi)容、音樂(lè)內(nèi)容和照片內(nèi)容之一，則用戶動(dòng)作可以包括拍動(dòng)作。例如，如果識(shí)別到的用戶動(dòng)作是向右方向上的拍動(dòng)作，則控制單元140可以將當(dāng)前內(nèi)容改變?yōu)榘ǘ鄠€(gè)將被重現(xiàn)的內(nèi)容的內(nèi)容列表上的下一個(gè)內(nèi)容，而且如果識(shí)別到的用戶動(dòng)作是向左方向上的拍動(dòng)作，則控制單元140可以將當(dāng)前內(nèi)容改變?yōu)閮?nèi)容列表上的前一個(gè)內(nèi)容。如果通過(guò)語(yǔ)音識(shí)別模塊130k識(shí)別到語(yǔ)音啟動(dòng)命令，則控制單元140將電子設(shè)備100的模式改變?yōu)檎Z(yǔ)音任務(wù)模式，在該語(yǔ)音任務(wù)模式中，按照通過(guò)語(yǔ)音識(shí)別模塊130k識(shí)別到的用戶語(yǔ)音來(lái)控制電子設(shè)備100。如果通過(guò)動(dòng)作識(shí)別模塊1301識(shí)別到動(dòng)作啟動(dòng)命令，則控制單元140將電子設(shè)備100的模式改變?yōu)閯?dòng)作任務(wù)模式，在該動(dòng)作任務(wù)模式中，按照通過(guò)動(dòng)作識(shí)別模塊1301識(shí)別到的用戶動(dòng)作來(lái)控制電子設(shè)備100。具體來(lái)說(shuō)，控制單元140可以以遙控模式、語(yǔ)音任務(wù)模式和動(dòng)作任務(wù)模式之一操作，在遙控模式中電子設(shè)備100由遙控設(shè)備(例如，遙控器)控制，在語(yǔ)音任務(wù)模式中電子設(shè)備100根據(jù)語(yǔ)音來(lái)控制，在動(dòng)作任務(wù)模式中電子設(shè)備100根據(jù)動(dòng)作來(lái)控制。如果輸入啟動(dòng)另一種模式的命令，則控制單元140可以將當(dāng)前模式改變?yōu)橄鄳?yīng)模式。如果在電子設(shè)備100處于遙控模式或動(dòng)作任務(wù)模式時(shí)通過(guò)語(yǔ)音識(shí)別模塊130k識(shí)別到語(yǔ)音啟動(dòng)命令(觸發(fā)語(yǔ)音)，則控制單元140將電子設(shè)備100的模式改變?yōu)檎Z(yǔ)音任務(wù)模式。語(yǔ)音啟動(dòng)命令是包括與進(jìn)入語(yǔ)音任務(wù)模式的操作相匹配的詞的命令。例如，如果詞“Ginny”被設(shè)置為語(yǔ)音啟動(dòng)命令，則當(dāng)識(shí)別到詞“Ginny”時(shí)，控制單元140將電子設(shè)備100的模式改變?yōu)檎Z(yǔ)音任務(wù)模式。關(guān)于語(yǔ)音啟動(dòng)命令的詞可以在電子設(shè)備100的配置模式中由用戶直接改變，或者可以是在制造電子設(shè)備100時(shí)默認(rèn)定義的固定命令。在語(yǔ)音任務(wù)模式中，控制單元140使用語(yǔ)音數(shù)據(jù)庫(kù)來(lái)執(zhí)行與用戶發(fā)出的語(yǔ)音中所包括的詞相對(duì)應(yīng)的語(yǔ)音任務(wù)?？刂茊卧?40可以保持語(yǔ)音任務(wù)模式直至識(shí)別到返回遙控模式的啟動(dòng)命令、模式取消命令、或者改變?yōu)閯?dòng)作任務(wù)模式的動(dòng)作啟動(dòng)命令。如果在模式已經(jīng)改變?yōu)檎Z(yǔ)音任務(wù)模式之后的預(yù)定時(shí)間(例如5分鐘)內(nèi)沒(méi)有識(shí)別到語(yǔ)音，則控制單元140可以自動(dòng)返回到遙控模式。如果在處于遙控模式或語(yǔ)音任務(wù)模式時(shí)通過(guò)動(dòng)作識(shí)別模塊1301識(shí)別到動(dòng)作啟動(dòng)命令(觸發(fā)動(dòng)作)，則控制單元140將當(dāng)前模式改變?yōu)閯?dòng)作任務(wù)模式。動(dòng)作啟動(dòng)命令是進(jìn)入動(dòng)作任務(wù)模式的預(yù)先設(shè)定的動(dòng)作。例如，如果水平地?fù)u動(dòng)(shake) —只手3至4次的動(dòng)作被設(shè)置為動(dòng)作啟動(dòng)命令，則當(dāng)識(shí)別到這種動(dòng)作時(shí)控制單元140將模式改變?yōu)閯?dòng)作任務(wù)模式。關(guān)于動(dòng)作啟動(dòng)命令的動(dòng)作可以在電子設(shè)備100的配置模式中由用戶直接改變，或者可以是在制造電子設(shè)備100時(shí)默認(rèn)定義的固定動(dòng)作。在動(dòng)作任務(wù)模式中，控制單元140使用動(dòng)作數(shù)據(jù)庫(kù)來(lái)執(zhí)行與用戶動(dòng)作相對(duì)應(yīng)的動(dòng)作任務(wù)?？刂茊卧?40可以保持動(dòng)作任務(wù)模式直至識(shí)別到返回遙控模式的啟動(dòng)命令、模式取消命令、或者改變?yōu)檎Z(yǔ)音任務(wù)模式的語(yǔ)音啟動(dòng)命令。如果在模式已經(jīng)改變?yōu)閯?dòng)作任務(wù)模式之后的預(yù)定時(shí)間(例如5分鐘)內(nèi)沒(méi)有識(shí)別到動(dòng)作，則控制單元140可以自動(dòng)返回遙控模式?？刂茊卧?40顯示包括指導(dǎo)語(yǔ)音識(shí)別的語(yǔ)音項(xiàng)目(item)的語(yǔ)音輔助信息以及包括指導(dǎo)動(dòng)作識(shí)別的動(dòng)作項(xiàng)目的動(dòng)作輔助信息之一。如果識(shí)別到與語(yǔ)音輔助信息中所包括的語(yǔ)音項(xiàng)目相對(duì)應(yīng)的命令之一，則控制單元140執(zhí)行與識(shí)別到的命令相對(duì)應(yīng)的語(yǔ)音任務(wù)。如果識(shí)別到與動(dòng)作輔助信息中所包括的動(dòng)作項(xiàng)目相對(duì)應(yīng)的動(dòng)作之一，則控制單元140執(zhí)行與識(shí)別到的動(dòng)作相對(duì)應(yīng)的動(dòng)作任務(wù)。具體來(lái)說(shuō)，如果通過(guò)語(yǔ)音識(shí)別模塊130k識(shí)別到語(yǔ)音啟動(dòng)命令，則控制單元140可以控制以顯示關(guān)于可由用戶語(yǔ)音控制的語(yǔ)音任務(wù)的語(yǔ)音項(xiàng)目。語(yǔ)音項(xiàng)目可以顯示與各種語(yǔ)音任務(wù)相對(duì)應(yīng)的命令。因此，如果用戶說(shuō)出某一命令，則用戶可以很容易地識(shí)別出哪個(gè)語(yǔ)音任務(wù)將被執(zhí)行，從而可以更容易地執(zhí)行該語(yǔ)音任務(wù)。如果通過(guò)動(dòng)作識(shí)別模塊1301識(shí)別到動(dòng)作啟動(dòng)命令，則控制單元140可以控制以顯示關(guān)于可由用戶動(dòng)作控制的動(dòng)作任務(wù)的動(dòng)作項(xiàng)目。語(yǔ)音項(xiàng)目可以顯示與各種動(dòng)作任務(wù)相對(duì)應(yīng)的動(dòng)作。因此，如果用戶執(zhí)行某一動(dòng)作，則用戶可以很容易地識(shí)別哪個(gè)動(dòng)作任務(wù)將被執(zhí)行，從而可以更容易地執(zhí)行該動(dòng)作任務(wù)。語(yǔ)音項(xiàng)目或動(dòng)作項(xiàng)目可以顯示在顯示屏幕的同一區(qū)域(例如，屏幕的下部)上。顯示語(yǔ)音項(xiàng)目或動(dòng)作項(xiàng)目的區(qū)域可以與所顯示的圖像重疊。然而，這僅僅是示例，而且語(yǔ)音項(xiàng)目和動(dòng)作項(xiàng)目可以在其他位置顯示或者以其他方法顯示。例如，語(yǔ)音項(xiàng)目或動(dòng)作項(xiàng)目可以顯示在顯示屏幕的右部或左部。電子設(shè)備100的任務(wù)可以被劃分為如下的由用戶語(yǔ)音控制的語(yǔ)音任務(wù)和由用戶動(dòng)作控制的動(dòng)作任務(wù):[表I]
權(quán)利要求
1.一種控制電子設(shè)備的方法，該方法包括: 在語(yǔ)音任務(wù)模式中，顯示語(yǔ)音輔助信息，所述語(yǔ)音輔助信息包括多個(gè)語(yǔ)音項(xiàng)目，所述多個(gè)語(yǔ)音項(xiàng)目中的每一個(gè)都對(duì)應(yīng)于語(yǔ)音任務(wù)； 識(shí)別與所述多個(gè)語(yǔ)音項(xiàng)目當(dāng)中的第一語(yǔ)音項(xiàng)目相對(duì)應(yīng)的第一語(yǔ)音命令； 執(zhí)行與第一語(yǔ)音項(xiàng)目相對(duì)應(yīng)的第一語(yǔ)音任務(wù)； 在動(dòng)作任務(wù)模式中，顯示動(dòng)作輔助信息，所述動(dòng)作輔助信息包括多個(gè)動(dòng)作項(xiàng)目，所述多個(gè)動(dòng)作項(xiàng)目中的每一個(gè)都對(duì)應(yīng)于動(dòng)作任務(wù)； 識(shí)別與所述多個(gè)動(dòng)作項(xiàng)目當(dāng)中的第一動(dòng)作項(xiàng)目相對(duì)應(yīng)的第一動(dòng)作姿勢(shì)；以及 執(zhí)行與第一動(dòng)作項(xiàng)目相對(duì)應(yīng)的第一動(dòng)作任務(wù)。
2.如權(quán)利要求1所述的 方法，其中，執(zhí)行第一語(yǔ)音任務(wù)包括顯示關(guān)于第一語(yǔ)音項(xiàng)目的附加項(xiàng)目信息。
3.如權(quán)利要求2所述的方法，其中，執(zhí)行第一語(yǔ)音任務(wù)包括識(shí)別與所述附加項(xiàng)目信息相對(duì)應(yīng)的第二語(yǔ)音命令。
4.如權(quán)利要求3所述的方法，其中，執(zhí)行第一語(yǔ)音任務(wù)包括執(zhí)行與第一語(yǔ)音項(xiàng)目和識(shí)別到的第二語(yǔ)音命令二者相對(duì)應(yīng)的任務(wù)。
5.如權(quán)利要求1所述的方法，其中，所述多個(gè)語(yǔ)音項(xiàng)目中的每一個(gè)都是能夠說(shuō)出的命令。
6.如權(quán)利要求2所述的方法，其中，所述附加項(xiàng)目信息包括關(guān)于第一語(yǔ)音項(xiàng)目的附加命令、指導(dǎo)消息和話語(yǔ)示例當(dāng)中的至少一個(gè)。
7.如權(quán)利要求1所述的方法，其中，所述多個(gè)動(dòng)作項(xiàng)目中的每一個(gè)都包括在所述動(dòng)作任務(wù)模式中能夠識(shí)別的動(dòng)作姿勢(shì)的圖像、以及指示與所述能夠識(shí)別的動(dòng)作相對(duì)應(yīng)的動(dòng)作任務(wù)的文本。
8.如權(quán)利要求1所述的方法，其中，所述語(yǔ)音輔助信息包括圖像和文本當(dāng)中的至少一個(gè)，該圖像和文本指示對(duì)所述語(yǔ)音任務(wù)模式的指定，以及 所述動(dòng)作輔助信息包括圖像和文本當(dāng)中的至少一個(gè)，該圖像和文本指示對(duì)所述動(dòng)作任務(wù)模式的指定。
9.如權(quán)利要求2所述的方法，其中，所述附加項(xiàng)目信息包括圖像和文本當(dāng)中的至少一個(gè)，所述圖像和文本指示所述語(yǔ)音任務(wù)模式和所述動(dòng)作任務(wù)模式中的至少一個(gè)。
10.如權(quán)利要求1所述的方法，其中，響應(yīng)于動(dòng)作啟動(dòng)姿勢(shì)，將所述語(yǔ)音任務(wù)模式改變?yōu)樗鰟?dòng)作任務(wù)模式， 其中，響應(yīng)于語(yǔ)音啟動(dòng)命令，將所述動(dòng)作任務(wù)模式改變?yōu)樗稣Z(yǔ)音任務(wù)模式， 其中，所述動(dòng)作啟動(dòng)姿勢(shì)包括用于進(jìn)入所述動(dòng)作任務(wù)模式的預(yù)先設(shè)置的動(dòng)作姿勢(shì)，以及 其中，所述語(yǔ)音啟動(dòng)命令包括用于進(jìn)入所述語(yǔ)音任務(wù)模式的預(yù)先設(shè)置的語(yǔ)音命令。
11.如權(quán)利要求1所述的方法，其中， 如果第一語(yǔ)音命令包括頻道名稱、節(jié)目名稱和頻道號(hào)碼中的至少一個(gè)，則第一語(yǔ)音任務(wù)包括頻道快捷切換，以重現(xiàn)與頻道名稱、節(jié)目名稱和頻道號(hào)碼之一相對(duì)應(yīng)的頻道。
12.如權(quán)利要求2所述的方法，其中，如果第一語(yǔ)音任務(wù)包括頻道快捷切換，則所述附加項(xiàng)目信息包括指導(dǎo)消息和話語(yǔ)示例當(dāng)中的至少一個(gè)，該指導(dǎo)消息和話語(yǔ)示例是關(guān)于頻道名稱的標(biāo)識(shí)符、節(jié)目名稱和頻道名稱當(dāng)中的至少一個(gè)的說(shuō)出的。
13.如權(quán)利要求12所述的方法，還包括: 識(shí)別第二語(yǔ)音命令，第二語(yǔ)音命令對(duì)應(yīng)于所述頻道名稱的標(biāo)識(shí)符、所述節(jié)目名稱和所述頻道名稱當(dāng)中的至少一個(gè)； 執(zhí)行頻道快捷切換以重現(xiàn)與所述頻道名稱的標(biāo)識(shí)符、所述節(jié)目名稱和所述頻道名稱當(dāng)中的至少一個(gè)相對(duì)應(yīng)的頻道。
14.如權(quán)利要求1所述的方法，其中， 如果第一動(dòng)作姿勢(shì)包括頻道向上姿勢(shì)，則第一動(dòng)作任務(wù)包括將當(dāng)前頻道改變?yōu)橄乱粋€(gè)頻道，以及 如果第一動(dòng)作姿勢(shì)包括頻道向下姿勢(shì)，則第一動(dòng)作任務(wù)包括將當(dāng)前頻道改變?yōu)榍耙粋€(gè)頻道。
15.—種電子設(shè)備,包括: 顯示器， 在語(yǔ)音任務(wù)模式中，所 述顯示器顯示語(yǔ)音輔助信息，所述語(yǔ)音輔助信息包括多個(gè)語(yǔ)音項(xiàng)目，所述多個(gè)語(yǔ)音項(xiàng)目中的每一個(gè)都對(duì)應(yīng)于語(yǔ)音任務(wù)； 在動(dòng)作任務(wù)模式中，所述顯示器顯示動(dòng)作輔助信息，所述動(dòng)作輔助信息包括多個(gè)動(dòng)作項(xiàng)目，所述多個(gè)動(dòng)作項(xiàng)目中的每一個(gè)都對(duì)應(yīng)于動(dòng)作任務(wù)；以及 控制器，該控制器 識(shí)別與所述多個(gè)語(yǔ)音項(xiàng)目當(dāng)中的第一語(yǔ)音項(xiàng)目相對(duì)應(yīng)的第一語(yǔ)音命令，并執(zhí)行與第一語(yǔ)音項(xiàng)目相對(duì)應(yīng)的第一語(yǔ)音任務(wù)； 識(shí)別與所述多個(gè)動(dòng)作項(xiàng)目當(dāng)中的第一動(dòng)作項(xiàng)目相對(duì)應(yīng)的第一動(dòng)作姿勢(shì)，并執(zhí)行與第一動(dòng)作項(xiàng)目相對(duì)應(yīng)的第一動(dòng)作任務(wù)。
全文摘要
本發(fā)明提供了對(duì)使用語(yǔ)音識(shí)別和動(dòng)作識(shí)別的電子設(shè)備進(jìn)行控制的方法，以及應(yīng)用該方法的電子設(shè)備。在根據(jù)識(shí)別到的語(yǔ)音命令執(zhí)行語(yǔ)音任務(wù)的語(yǔ)音任務(wù)模式中，電子設(shè)備顯示語(yǔ)音輔助信息以有助于執(zhí)行語(yǔ)音任務(wù)。在根據(jù)識(shí)別到的動(dòng)作姿勢(shì)執(zhí)行動(dòng)作任務(wù)的動(dòng)作任務(wù)模式中，電子設(shè)備顯示動(dòng)作輔助信息以有助于執(zhí)行動(dòng)作任務(wù)。
文檔編號(hào)G06F3/01GK103150010SQ201210277229
公開(kāi)日2013年6月12日 申請(qǐng)日期2012年8月6日 優(yōu)先權(quán)日2011年8月5日
發(fā)明者金正根, 金裕泰, 俞升東, 韓尚珍, 柳熙涉 申請(qǐng)人:三星電子株式會(huì)社