專利名稱：采用聲控式的人機(jī)交互設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人機(jī)交互設(shè)備技術(shù)領(lǐng)域，具體涉及一種采用聲控式的人機(jī)交互設(shè)備。
背景技術(shù)：
人機(jī)交互HCI (Human-Computer Interaction)是指人與計(jì)算機(jī)之間使用某種對話語言，以一定的交互方式，為完成確定任務(wù)的人與計(jì)算機(jī)之間的信息交換過程。人機(jī)交互的主要作用是控制有關(guān)設(shè)備的運(yùn)行和理解并執(zhí)行通過人機(jī)交互設(shè)備傳來的有關(guān)的各種命令和要求。人機(jī)交互功能是決定計(jì)算機(jī)系統(tǒng)“友善性”的一個(gè)重要因素。但傳統(tǒng)技術(shù)的人機(jī)交互設(shè)計(jì)方法仍停留在鼠標(biāo)、鍵盤等基本配件，操作方式復(fù)雜凌亂，缺少規(guī)范化和邏輯性，破壞了用戶的使用體驗(yàn)。隨著模式識別，如語音識別、漢字識別等輸入設(shè)備的發(fā)展，操作員和計(jì)算機(jī)在類似于自然語言或受限制的自然語言這一級上進(jìn)行交互成為可能，智能化的人機(jī)交互方法也亟待進(jìn)步和發(fā)展。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種采用聲控式的人機(jī)交互設(shè)備，通過聲控的操作方式，解放了雙手，滿足更便捷準(zhǔn)確的用戶需求，提高了用戶體驗(yàn)。本發(fā)明為了實(shí)現(xiàn)上述目的，采用的技術(shù)解決方案是:采用聲控式的人機(jī)交互設(shè)備，具有顯示模塊及聲控識別模塊；所述顯示模塊，用于呈現(xiàn)界面，界面的內(nèi)容包括:主顯示區(qū)塊，用以顯示第一承載組塊；輔顯示區(qū)塊，用以顯示第二承載組塊；所述輔顯示區(qū)塊位于所述主顯示區(qū)塊的外圍，第一承載組塊與第二承載組塊相關(guān)聯(lián)；所述聲控識別模塊由語音輸入模塊、指令處理模塊、及指令存儲模塊組成；所述語音輸入模塊，對用戶的語音進(jìn)行錄制，將錄制完成的語音信息傳遞至指令處理模塊；所述指令存儲模塊，存放語音指令集、及語音指令集和表征指令功能的操作信息之間的映射關(guān)系庫；所述指令處理模塊調(diào)用指令存儲模塊中的語音指令集，對語音信息進(jìn)行識別，轉(zhuǎn)化為可以直接執(zhí)行的表征指令，更新顯示模塊中的界面。優(yōu)選地，所述第一承載組塊排列呈矩形陣列；輔顯示區(qū)塊位于主顯示區(qū)塊的上側(cè)、下側(cè)、左側(cè)、右側(cè)、或懸浮在上方。有多個(gè)懸浮狀態(tài)區(qū)塊時(shí)，采用層次遞進(jìn)的形態(tài)顯示，即最新彈出的懸浮狀態(tài)區(qū)塊總是位于界面的最前端突出顯示，其他層次的界面區(qū)塊通過設(shè)置層次透明度顯示。優(yōu)選地，所述界面包括初始界面和多個(gè)過程界面，初始界面和過程界面的呈現(xiàn)形式相同，主顯示區(qū)塊有九個(gè)第一承載組塊，排列呈宮格形；若主顯示區(qū)塊超過九個(gè)第一承載組塊，第一承載組塊 分頁顯示。所述初始界面具有2D、或3D、或2D和3D組合的呈現(xiàn)樣式。優(yōu)選地，位于主顯示區(qū)塊左側(cè)或右側(cè)的輔顯示區(qū)塊，所述輔顯示區(qū)塊具有九個(gè)第二承載組塊，由上到下依次排列；若輔顯示區(qū)塊具有超過九個(gè)第二承載組塊時(shí)，需將第十個(gè)及以上的第二承載組塊分頁顯示。優(yōu)選地，位于主顯示區(qū)塊上側(cè)或下側(cè)的輔顯示區(qū)塊，所述輔顯示區(qū)塊具有九個(gè)第二承載組塊，由左到右依次排列；若輔顯示區(qū)塊具有超過九個(gè)第二承載組塊時(shí)，需將第十個(gè)及以上的第二承載組塊分頁顯示。本發(fā)明的有益效果:此種采用聲控式的人機(jī)交互設(shè)備，可以跨平臺在不同的系統(tǒng)軟件中進(jìn)行應(yīng)用，以用戶為中心的交互方法，不受軟件平臺的約束，具有較強(qiáng)的產(chǎn)品移植性。通過定義用戶界面，突破了傳統(tǒng)的聲控交互只能進(jìn)行少量的界面操作的局限性。由于界面采用組塊布局，整個(gè)界面的操作都可以使用語音指令完成，具有易知、易學(xué)、易用的特性。每一個(gè)預(yù)定義的語音指令都對應(yīng)一個(gè)界面中組塊的操作信息，當(dāng)需要操作某一個(gè)界面組塊時(shí)，只需要發(fā)出該組塊對應(yīng)的語音指令，系統(tǒng)便可以通過接收到的指令判定觸發(fā)了哪一個(gè)組塊，從而得到相應(yīng)操作信息的事件響應(yīng)。此種交互方法有利于提高界面操作信息對語音指令集的匹配程度，并且大大減少了語音指令集定義的復(fù)雜度。本發(fā)明通過預(yù)設(shè)精煉、簡潔的指令集，即可達(dá)到準(zhǔn)確、流暢的交互效果，規(guī)范化的布局和內(nèi)容，可以使操作方式更加人性化，從而大幅度提升產(chǎn)品的用戶體驗(yàn)，實(shí)現(xiàn)靈活可控的交互效果。


圖1是人機(jī)交互設(shè)備的2D界面示意圖。圖2是人機(jī)交互設(shè)備的2D+3D界面示意圖。圖3是人機(jī)交互設(shè)備的3D界面示意圖。圖4是一種交互 方式及映射關(guān)系圖。圖5是一種交互方式及映射關(guān)系圖。圖6是一種交互方式及映射關(guān)系圖。圖7是一種交互方式及映射關(guān)系圖。圖8是一種交互方式及映射關(guān)系圖。圖9是一種交互方式及映射關(guān)系圖。圖10是語音交互模塊原理示意圖。圖11是語音交互操作流程圖。
具體實(shí)施例方式結(jié)合圖1至圖3、及圖10，對本發(fā)明進(jìn)行詳細(xì)說明:采用聲控式的人機(jī)交互設(shè)備，具有顯示模塊及聲控識別模塊；所述顯示模塊，用于呈現(xiàn)界面，界面的內(nèi)容包括:主顯示區(qū)塊E區(qū)，用以顯示第一承載組塊；輔顯示區(qū)塊A區(qū)、B區(qū)、C區(qū)、及D區(qū)，用以顯示第二承載組塊；所述輔顯示區(qū)塊位于所述主顯示區(qū)塊的外圍，第一承載組塊與第二承載組塊相關(guān)聯(lián)；所述聲控識別模塊由語音輸入模塊、指令存儲模塊和指令處理模塊組成。
所述語音輸入模塊通過對用戶的語音進(jìn)行錄制，用于提供用戶輸入的初始信息。所述指令存儲模塊，用于定義語音指令集，并存儲語音指令集和表征指令功能的操作信息之間的映射關(guān)系庫，映射關(guān)系以關(guān)鍵字對應(yīng)關(guān)鍵值的形式存在。所述映射關(guān)系庫中語音指令集作為關(guān)鍵字存在，用于匹配用戶輸入的語音信息，并且可以通過用戶的語音信息采集進(jìn)行自由定義；表征指令功能的操作信息作為關(guān)鍵值存在，關(guān)鍵字與關(guān)鍵值的映射為一對一或多對一的關(guān)系。所述指令處理模塊用于將用戶錄制的初始語音信息進(jìn)行識別，轉(zhuǎn)化為系統(tǒng)可以直接執(zhí)行的操作指令，并更新顯示模塊中的界面。所述第一承載組塊排列呈矩形陣列；輔顯示區(qū)塊位于主顯示區(qū)塊的上側(cè)、下側(cè)、左偵U、右側(cè)、或懸浮在上方。有多個(gè)懸浮狀態(tài)區(qū)塊時(shí)，采用層次遞進(jìn)的形態(tài)顯示，即最新彈出的懸浮狀態(tài)區(qū)塊總是位于界面的最前端突出顯示，其他層次的界面區(qū)塊通過設(shè)置層次透明度顯不O所述界面包括初始界面和多個(gè)過程界面，初始界面和過程界面的呈現(xiàn)形式相同，主顯示區(qū)塊有九個(gè)第一承載組塊，排列呈宮格形；若主顯示區(qū)塊超過九個(gè)第一承載組塊，第一承載組塊分頁顯示。所述初始界面具有2D、或3D、或2D和3D組合的呈現(xiàn)樣式。位于主顯示區(qū)塊左側(cè)或右側(cè)的輔顯示區(qū)塊，所述輔顯示區(qū)塊具有九個(gè)第二承載組塊，由上到下依次排列；若輔顯示區(qū)塊具有超過九個(gè)第二承載組塊時(shí)，需將第十個(gè)及以上的第二承載組塊分頁顯示。位于主顯示區(qū)塊上側(cè)或下側(cè)的輔顯示區(qū)塊，所述輔顯示區(qū)塊具有九個(gè)第二承載組塊，由左到右依次排列；若輔顯示區(qū)塊具有超過九個(gè)第二承載組塊時(shí)，需將第十個(gè)及以上的第二承載組塊分頁顯示。下面結(jié)合附圖對本發(fā)明進(jìn)行具體說明:
根據(jù)操控界面的功能性，對語音指令集進(jìn)行劃分，有以下幾類:(I)宏觀指令集宏觀指令是針對整個(gè)系統(tǒng)的宏觀操控指令，優(yōu)先級最高，即當(dāng)接收到的指令為宏觀功能指令時(shí)，系統(tǒng)忽略當(dāng)前活動窗口，優(yōu)先執(zhí)行其對應(yīng)的命令。按照組塊的功能定義，宏觀指令集包括全屏、退出、后退等全局聲音操控指令。(2)組塊指令集組塊指令與區(qū)塊中的組塊操作響應(yīng)事件--對應(yīng),包含數(shù)字為I 9的九個(gè)聲音
指令。當(dāng)界面窗口呈現(xiàn)某個(gè)對應(yīng)區(qū)塊時(shí)，組塊指令通過事件響應(yīng)驅(qū)動對應(yīng)的組塊功能。按照組塊的界面布局，組塊指令集對應(yīng)的組塊為區(qū)塊中宮格或列表位置的單個(gè)組塊。(3)功能指令集常用功能指令包括全界面翻頁和區(qū)塊內(nèi)容翻頁等語音功能指令，該指令集不受區(qū)塊的約束，結(jié)合全界面和區(qū)塊內(nèi)容的操作來定義相應(yīng)的指令。例如，當(dāng)全界面的翻頁指令定義為:“上一頁”對應(yīng)“切換上一界面”，“下一頁”對應(yīng)“切換下一界面”時(shí)，區(qū)塊內(nèi)容的翻頁功能指令則需要重新定義加以區(qū)別，例如將區(qū)塊內(nèi)容翻頁指令定義為:“前一頁”對應(yīng)“切換上一區(qū)塊內(nèi)容”，“后一頁”對應(yīng)“切換下一區(qū)塊內(nèi)容”。相反的，如果對整個(gè)界面的移動屬性定義為:“前一頁”對應(yīng)“切換上一界面”，“后一頁”對應(yīng)“切換下一界面”時(shí)，區(qū)塊的內(nèi)容翻頁操作則應(yīng)定義為:“上一頁”對應(yīng)“切換上一區(qū)塊內(nèi)容”，“下一頁”對應(yīng)“切換下一區(qū)塊內(nèi)容”。按照組塊的界面布局，組塊指令集對應(yīng)的組塊為區(qū)塊中宮格或列表位置的單個(gè)組塊。組塊的語音指令并不局限于上述的幾種，支持用戶根據(jù)需求進(jìn)行語音指令的自學(xué)習(xí)定義。由于組塊界面的語音指令與界面對象的操作指令響應(yīng)事件一一對應(yīng)，因此對于自學(xué)習(xí)的語音指令，只需要通過錄入自定義的語音，并配置該語音指令與界面組塊操作指令的映射關(guān)系，則當(dāng)觸發(fā)語音指令時(shí)，即可以響應(yīng)該語音對應(yīng)的界面組塊功能。配置語音指令與組塊操作指令的映射關(guān)系組塊界面中存在主顯示區(qū)塊和輔顯示區(qū)塊兩種區(qū)塊類型，區(qū)塊的組合有多種模式，其中主顯示區(qū)塊E區(qū)是組塊中恒定存在的區(qū)塊，始終呈現(xiàn)，輔顯示區(qū)塊A區(qū)、B區(qū)、C區(qū)、及D區(qū)則根據(jù)需要有隱藏和顯示兩種狀態(tài)。組塊界面無論處于何種狀態(tài)，主、輔顯示區(qū)塊區(qū)如何布局，在映射關(guān)系庫中，組塊的語音宏觀指令與宏觀操作指令的映射關(guān)系為一對一映射，即表示每一個(gè)信息關(guān)鍵字jkey對應(yīng)一個(gè)信息關(guān)鍵值jvalue，當(dāng)觸發(fā)該語音宏觀指令時(shí)，對應(yīng)的操作指令被激活，執(zhí)行相應(yīng)的功能。例如，當(dāng)聲控觸發(fā)“全屏”指令時(shí)，系統(tǒng)響應(yīng)當(dāng)前頁面全屏的操作結(jié)果。組塊界面對語音指令的響應(yīng)，通過將語音指令轉(zhuǎn)化為組塊操作指令的對應(yīng)事件來觸發(fā)并執(zhí)行。由于區(qū)域內(nèi)的基本元素為組塊，以組件的形式存在，根據(jù)組塊的占位情況，不同語音指令與操作指令的映射關(guān)系也有一定差異，具體如下:主顯示區(qū)塊E區(qū)主顯示區(qū)塊的組塊是具有三行三列的泛宮格形態(tài)，有如下幾種展現(xiàn)形式:(I)滿格如圖4所示，滿格布局的映射關(guān)系庫中，組塊的語音指令與操作指令的映射關(guān)系為一對一映射，即表示每一個(gè)信息關(guān)鍵字jkey對應(yīng)一個(gè)信息關(guān)鍵值jvalue，當(dāng)觸發(fā)該語音指令時(shí)，對應(yīng)的操作指令被激活，執(zhí)行相應(yīng)的功能。(2)組格如圖5所示，組格布局中，組塊的語音指令與操作指令的映射關(guān)系為一對一或多對一映射，可以有多種展現(xiàn)形態(tài)，當(dāng)組塊占一個(gè)單元位置時(shí)，為一對一映射，表示每一個(gè)信息關(guān)鍵字jkey對應(yīng)一個(gè)信息關(guān)鍵值jvalue ;當(dāng)組塊占多個(gè)單元位置時(shí)，為多對一映射；表示多個(gè)信息關(guān)鍵字jkey對應(yīng)一個(gè)信息關(guān)鍵值jvalue,當(dāng)觸發(fā)該語音指令時(shí),對應(yīng)的操作指令被激活，執(zhí)行相應(yīng)的功能。(3)空缺格如圖6所示，空缺格布局中，組塊的語音指令與操作指令的映射關(guān)系為一對一映射，但由于有空缺格，則可以出現(xiàn)信息關(guān)鍵字jkey無對應(yīng)信息關(guān)鍵值的情況，表示觸發(fā)該語音指令時(shí)不響應(yīng)任何的操作。(4)組格和空缺格同時(shí)存在的形態(tài)如圖7所示，組格和空缺格的組合形態(tài)，組塊的語音指令與操作指令的映射關(guān)系可以為一對一、多對一或一對空的映射，即存在一個(gè)信息關(guān)鍵字jkey對應(yīng)一個(gè)信息關(guān)鍵值jvalue,或多個(gè)信息關(guān)鍵字jkey對應(yīng)一個(gè)信息關(guān)鍵值jvalue的情況，當(dāng)觸發(fā)該語音指令時(shí)，對應(yīng)的組塊操作指令被激活，執(zhí)行相應(yīng)的功能；以及存在信息關(guān)鍵字jkey無對應(yīng)信息關(guān)鍵值的情況，觸發(fā)該語音指令時(shí)不響應(yīng)任何的操作。輔顯示區(qū) 塊-A區(qū)、B區(qū)、C區(qū)、及D區(qū)
存在輔顯示區(qū)塊A區(qū)和C區(qū)，其區(qū)內(nèi)組塊呈現(xiàn)縱格、功能格的形態(tài)，輔顯示區(qū)塊B區(qū)和D區(qū)的組塊呈現(xiàn)橫格、功能格的形態(tài)，組塊的語音指令與操作指令的映射關(guān)系根據(jù)組塊的組合形態(tài)有以下幾種。(I)滿格布局中，如圖8所示，語音指令與組塊操作指令的映射關(guān)系為一對一映射，以jkeyl jkey9的鍵值表示縱格或橫格的語音指令，jkey IO jkeyn表示功能格的語音指令，每一個(gè)語音指令對應(yīng)一個(gè)組塊的操作指令，當(dāng)選擇某一語音指令時(shí)，對應(yīng)的組塊操作指令被激活，執(zhí)行相應(yīng)的功能。(2)組格布局中，如圖9所示，語音指令與組塊操作指令的映射關(guān)系為一對一或多對一映射，以jkeyl jkey9的鍵值表示泛縱格或泛橫格的操作信息，jkey IO jkeyn表示功能格的語音指令，其中一對一的映射關(guān)系表示一個(gè)語音指令觸發(fā)其對應(yīng)的組塊操作指令，多對一的映射關(guān)系表示多個(gè)語音指令觸發(fā)同一個(gè)組塊的操作指令，即當(dāng)選擇多對一指令時(shí)，有且只有一個(gè)組塊的操作指令被激活。本發(fā)明的交互 操作流程如圖11所示，具體包括以下步驟:I)顯示模塊進(jìn)行初始界面的圖形化交互內(nèi)容的呈現(xiàn)；2)用戶通過語音輸入模塊開始錄入語音指令；3)通過語音指令識別模塊，判斷指令是否符合預(yù)設(shè)的語音指令集，即是否符合映射關(guān)系庫中的關(guān)鍵字信息，符合則繼續(xù)執(zhí)行，不符合則顯示提示信息。4)通過該關(guān)鍵字信息在映射關(guān)系庫中對應(yīng)的關(guān)鍵值，觸發(fā)該語音指令對應(yīng)的操作指令并執(zhí)行相應(yīng)的功能。5)更新顯示模塊，顯示操作對應(yīng)的結(jié)果界面。當(dāng)然，上述說明并非是對本發(fā)明的限制，本發(fā)明也并不僅限于上述舉例，本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明的實(shí)質(zhì)范圍內(nèi)所做出的變化、改型、添加或替換，也應(yīng)屬于本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.采用聲控式的人機(jī)交互設(shè)備，其特征在于，具有顯示模塊及聲控識別模塊； 所述顯示模塊，用于呈現(xiàn)界面，界面的內(nèi)容包括: 主顯示區(qū)塊，用以顯示第一承載組塊； 輔顯示區(qū)塊，用以顯示第二承載組塊； 所述輔顯示區(qū)塊位于所述主顯示區(qū)塊的外圍，第一承載組塊與第二承載組塊相關(guān)聯(lián)； 所述聲控識別模塊由語音輸入模塊、指令處理模塊、及指令存儲模塊組成； 所述語音輸入模塊，對用戶的語音進(jìn)行錄制，將錄制完成的語音信息傳遞至指令處理模塊；所述指令存儲模塊，存放語音指令集、及語音指令集和表征指令功能的操作信息之間的映射關(guān)系庫；所述指令處理模塊調(diào)用指令存儲模塊中的語音指令集，對語音信息進(jìn)行識另IJ，轉(zhuǎn)化為可以直接執(zhí)行的表征指令，更新顯示模塊中的界面。
2.根據(jù)權(quán)利要求1所述的采用聲控式的人機(jī)交互設(shè)備，其特征在于，所述第一承載組塊排列呈矩形陣列；輔顯示區(qū)塊位于主顯示區(qū)塊的上側(cè)、下側(cè)、左側(cè)、右側(cè)、或懸浮在上方。
3.根據(jù)權(quán)利要求1所述的采用聲控式的人機(jī)交互設(shè)備，其特征在于，所述界面包括初始界面和多個(gè)過程界面，初始界面和過程界面的呈現(xiàn)形式相同，主顯示區(qū)塊有九個(gè)第一承載組塊，排列呈宮格形，所述初始界面具有2D、或3D、或2D和3D組合的呈現(xiàn)樣式。
4.根據(jù)權(quán)利要求3所述的采用聲控式的人機(jī)交互設(shè)備，其特征在于，位于主顯示區(qū)塊左側(cè)或右側(cè)的輔顯示區(qū)塊，所述輔顯示區(qū)塊具有九個(gè)第二承載組塊，由上到下依次排列。
5.根據(jù)權(quán)利要求3所述的采用聲控式的人機(jī)交互設(shè)備，其特征在于，位于主顯示區(qū)塊上側(cè)或下側(cè)的輔顯示區(qū)塊，所述輔顯示區(qū)塊具有 九個(gè)第二承載組塊，由左到右依次排列。
全文摘要
本發(fā)明公開一種采用聲控式的人機(jī)交互設(shè)備，具有顯示模塊及聲控識別模塊；所述顯示模塊，用于呈現(xiàn)界面，界面的內(nèi)容包括主顯示區(qū)塊，用以顯示第一承載組塊；輔顯示區(qū)塊，用以顯示第二承載組塊；所述輔顯示區(qū)塊位于所述主顯示區(qū)塊的外圍，第一承載組塊與第二承載組塊相關(guān)聯(lián)；所述聲控識別模塊，對語音進(jìn)行錄制，對其錄制得到的語音進(jìn)行識別，從而得出相對應(yīng)的操作指令，更新顯示模塊中的界面。此種采用聲控式的人機(jī)交互設(shè)備，具有易知、易學(xué)、易用，可以跨平臺在不同的系統(tǒng)軟件中進(jìn)行應(yīng)用，不受軟件平臺的約束，具有較強(qiáng)的產(chǎn)品移植性，規(guī)范化的布局和內(nèi)容，使用戶體驗(yàn)具有一致性，實(shí)現(xiàn)靈活可控的交互效果。
文檔編號G06F3/01GK103235643SQ201310119989
公開日2013年8月7日 申請日期2013年4月9日 優(yōu)先權(quán)日2013年4月9日
發(fā)明者郗登振, 王淑榮, 紀(jì)燕杰, 王偉 申請人:青島旲天下智能科技有限公司