專(zhuān)利名稱：一種基于兒童應(yīng)用中的人機(jī)交互輔助系統(tǒng)及交互方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人機(jī)交互技術(shù)領(lǐng)域，尤其涉及的是一種基于兒童應(yīng)用中的人機(jī)交互輔助系統(tǒng)及其實(shí)現(xiàn)方法。
背景技術(shù)：
現(xiàn)有技術(shù)中用于人機(jī)交互的語(yǔ)音輔助系統(tǒng)中，設(shè)計(jì)都沒(méi)有考慮針對(duì)兒童的需求，在輸入的方式、輸入內(nèi)容和互動(dòng)提示等方面沒(méi)有考慮兒童的特殊需求和年齡特點(diǎn)。例如兒童可能不能進(jìn)行完整的拼音輸入和者完整語(yǔ)音輸入，需要設(shè)計(jì)簡(jiǎn)易的輸入方式和流程來(lái)輔助兒童的表達(dá)，通過(guò)卡通圖形，簡(jiǎn)易的表意圖形或者語(yǔ)音片斷來(lái)輔助兒童完成人機(jī)交互。在人機(jī)輔助系統(tǒng)的反饋環(huán)節(jié)也要考慮兒童的特殊情況，需要語(yǔ)音，圖片，文字等多種呈現(xiàn)的反饋手段，使得他(她)們更加容易的識(shí)別系統(tǒng)的反饋信息。因此，現(xiàn)有技術(shù)還有待于改進(jìn)和發(fā)展。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問(wèn)題在于，針對(duì)現(xiàn)有技術(shù)的上述缺陷，提供一種基于兒童應(yīng)用中的人機(jī)交互輔助系統(tǒng)及交互方法，其使用系統(tǒng)增加了新功能在游戲軟件、教育軟件中通過(guò)集成該系統(tǒng)可以實(shí)現(xiàn)人機(jī)智能輔助的功能，為用戶提供了方便，并且其結(jié)構(gòu)簡(jiǎn)單，實(shí)現(xiàn)成本低。本發(fā)明解決技術(shù)問(wèn)題所采用的技術(shù)方案如下一種基于兒童應(yīng)用中的人機(jī)交互方法，其中，包括步驟A、預(yù)先在操作終端上定義用于進(jìn)行交互進(jìn)而觸發(fā)相應(yīng)操作的多種圖標(biāo)，每一種操作圖標(biāo)與一操作命令對(duì)應(yīng)；所述圖標(biāo)包括用于進(jìn)行交互的圖形，圖像，語(yǔ)音，UI和文字元素中的一種或多種操作圖標(biāo)；B、在操作終端的屏幕上顯示用于進(jìn)行交互的圖形，圖像，語(yǔ)音，Π和文字元素中的一種或多種操作圖標(biāo)，在兒童操作過(guò)程中需要進(jìn)行交互時(shí)，通過(guò)所述圖形，圖像，語(yǔ)音，Π和文字元素中的一種或多種操作圖標(biāo)接收用戶的操作指令觸發(fā)相應(yīng)的操作命令，并把所述相應(yīng)的操作命令形成相應(yīng)的操作命令數(shù)據(jù)，發(fā)送到服務(wù)器進(jìn)行分析；C、服務(wù)器接收到來(lái)自操作終端的操作命令數(shù)據(jù)，根據(jù)操作終端當(dāng)前界面的所有的所述操作命令數(shù)據(jù)進(jìn)行上下文的分析，分析當(dāng)前界面的動(dòng)作，語(yǔ)音及操作順序和停留時(shí)間來(lái)判斷兒童可能需要的操作，通過(guò)和數(shù)據(jù)庫(kù)中的特定模式進(jìn)行比較來(lái)判斷需要進(jìn)行的輔助操作，并反饋相應(yīng)的輔助操作指令給操作終端；D、操作終端接到服務(wù)器的反饋的相應(yīng)的輔助操作指令并進(jìn)行解析，將解析的結(jié)果通過(guò)所述圖形，圖像，語(yǔ)音，UI和文字元素中的一種或多種操作圖標(biāo)反饋信息呈現(xiàn)給兒童。
所述基于兒童應(yīng)用中的人機(jī)交互方法，其中，所述相應(yīng)的操作命令包括動(dòng)作輸入命令或者語(yǔ)音輸入命令。所述基于兒童應(yīng)用中的人機(jī)交互方法，其中，所述步驟C還包括
Cl、服務(wù)器數(shù)據(jù)庫(kù)中會(huì)根據(jù)當(dāng)前的游戲或者應(yīng)用來(lái)進(jìn)行預(yù)設(shè)置，預(yù)設(shè)置包括在哪些界面兒童會(huì)有哪些可能的動(dòng)作輸入、可能的語(yǔ)音輸入、可能的動(dòng)作順序及可能匹配的操作；并按照可能性權(quán)重進(jìn)行優(yōu)先級(jí)排序；C2、服務(wù)器把優(yōu)先級(jí)最高的匹配操作通過(guò)預(yù)制的語(yǔ)音和/或動(dòng)作數(shù)據(jù)反饋給操作終端。所述基于兒童應(yīng)用中的人機(jī)交互方法，其中，所述步驟D還包括操作終端接收到服務(wù)器反饋相應(yīng)的輔助操作指令后，解析反饋的輔助操作指令數(shù)據(jù)，如果有語(yǔ)音反饋則播放該語(yǔ)音提示，如果有動(dòng)作反饋則在該界面執(zhí)行該動(dòng)作使Π發(fā)生變化，如果有文字反饋則在該界面顯示文字提示。所述基于兒童應(yīng)用中的人機(jī)交互方法，其中，所述操作終端為手持終端，包括手機(jī) 或 IPAD。一種基于兒童應(yīng)用中的人機(jī)交互輔助系統(tǒng)，其中，包括預(yù)先定義模塊，用于預(yù)先定義用于在進(jìn)行交互進(jìn)觸發(fā)相應(yīng)操作多種圖標(biāo)，每一種操作圖標(biāo)與一操作命令對(duì)應(yīng)；所述圖標(biāo)包括用于進(jìn)行交互的圖形，圖像，語(yǔ)音，UI和文字元素中的一種或多種操作圖標(biāo)；顯示與接收控制模塊、用于控制在屏幕上顯示用于進(jìn)行交互的圖形，圖像，語(yǔ)音，UI和文字元素中的一種或多種操作圖標(biāo)，在兒童操作過(guò)程中需要進(jìn)行交互時(shí)，通過(guò)所述圖形，圖像，語(yǔ)音，Π和文字元素中的一種或多種操作圖標(biāo)接收用戶的操作指令觸發(fā)相應(yīng)的操作命令，并把所述相應(yīng)的操作命令形成相應(yīng)的操作命令數(shù)據(jù)；服務(wù)器分析控制模塊，用于控制接收所述操作命令數(shù)據(jù)，并根據(jù)所述操作命令數(shù)據(jù)進(jìn)行上下文的分析，分析當(dāng)前界面的動(dòng)作，語(yǔ)音及操作順序和停留時(shí)間來(lái)判斷兒童可能需要的操作，通過(guò)和數(shù)據(jù)庫(kù)中的特定模式進(jìn)行比較來(lái)判斷需要進(jìn)行的輔助操作，并反饋相應(yīng)的輔助操作指令給操作終端；解析與顯示控制模塊、用于接收反饋的相應(yīng)的輔助操作指令并進(jìn)行解析，將解析的結(jié)果通過(guò)所述圖形，圖像，語(yǔ)音，Π和文字元素中的一種或多種操作圖標(biāo)反饋信息呈現(xiàn)給兒童。所述基于兒童應(yīng)用中的人機(jī)交互輔助系統(tǒng)，其中，所述相應(yīng)的操作命令包括動(dòng)作輸入命令或者語(yǔ)音輸入命令；預(yù)先定義模塊、顯示與接收控制模塊、解析與顯示控制模塊設(shè)置在操作終端；所述服務(wù)器分析控制模塊設(shè)置在服務(wù)器上。所述基于兒童應(yīng)用中的人機(jī)交互輔助系統(tǒng)，其中，所述服務(wù)器分析控制模塊包括預(yù)設(shè)置單元、用于控制服務(wù)器數(shù)據(jù)庫(kù)根據(jù)當(dāng)前的游戲或者應(yīng)用來(lái)進(jìn)行預(yù)設(shè)置，預(yù)設(shè)置包括在哪些界面兒童會(huì)有哪些可能的動(dòng)作輸入、可能的語(yǔ)音輸入、可能的動(dòng)作順序及可能匹配的操作；并按照可能性權(quán)重進(jìn)行優(yōu)先級(jí)排序；反饋控制單元、用于控制服務(wù)器把優(yōu)先級(jí)最高的匹配操作通過(guò)預(yù)制的語(yǔ)音和/或動(dòng)作數(shù)據(jù)反饋給操作終端。所述基于兒童應(yīng)用中的人機(jī)交互輔助系統(tǒng)，其中，所述解析與顯示控制模塊包括
解析單元，用于接收到反饋的相應(yīng)的輔助操作指令后，解析反饋的輔助操作指令數(shù)據(jù)，控制執(zhí)行單元，用于如果有語(yǔ)音反饋則播放該語(yǔ)音提示，如果有動(dòng)作反饋則在該界面執(zhí)行該動(dòng)作使Π發(fā)生變化，如果有文字反饋則在該界面顯示文字提示。所述基于兒童應(yīng)用中的人機(jī)交互輔助系統(tǒng)，其中，所述操作終端為手持終端，包括手機(jī)或IPAD。有益效果本發(fā)明提供的一種基于兒童應(yīng)用中的人機(jī)交互輔助系統(tǒng)及交互方法，按照兒童的認(rèn)知規(guī)律設(shè)計(jì)方法和系統(tǒng)，輸入的手段按照滿足兒童認(rèn)知發(fā)展特點(diǎn)的需求設(shè)計(jì)，反饋的呈現(xiàn)按照兒童的認(rèn)知發(fā)展特點(diǎn)需求設(shè)計(jì)，使得兒童在玩游戲和教育類(lèi)軟件時(shí)，能夠獲得及時(shí)的提示和幫助，保證了設(shè)備與用戶之間有足夠的有效的互動(dòng)，提升了兒童學(xué)習(xí)、認(rèn)知的興趣，也使本發(fā)明的產(chǎn)品具備良好的市場(chǎng)前景。


圖I是本發(fā)明中基于兒童應(yīng)用中的人機(jī)交互方法的工作流程圖。圖2是本發(fā)明中基于兒童應(yīng)用中的人機(jī)交互方法中步驟S300的具體流程圖。圖3是本發(fā)明基于兒童應(yīng)用中的人機(jī)交互輔助系統(tǒng)的結(jié)構(gòu)示意圖。圖4是本發(fā)明基于兒童應(yīng)用中的人機(jī)交互輔助系統(tǒng)中服務(wù)器分析控制模塊的結(jié)構(gòu)示意圖。圖5是本發(fā)明基于兒童應(yīng)用中的人機(jī)交互輔助系統(tǒng)中操作終端的解析與顯示控制模塊的結(jié)構(gòu)示意圖。
具體實(shí)施例方式本發(fā)明所提供的移動(dòng)終端及基于移動(dòng)終端的電子書(shū)翻頁(yè)處理方法，為使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚、明確，以下參照附圖并舉實(shí)施例對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。如圖I和圖2所示的是本發(fā)明實(shí)施例的一種基于兒童應(yīng)用中的人機(jī)交互方法，主要包括以下步驟S100、預(yù)先在操作終端上定義用于進(jìn)行交互進(jìn)而觸發(fā)相應(yīng)操作的多種圖標(biāo)，每一種操作圖標(biāo)與一操作命令對(duì)應(yīng)；所述圖標(biāo)包括用于進(jìn)行交互的圖形，圖像，語(yǔ)音，UI和文字元素中的一種或多種操作圖標(biāo)。所述操作終端為手持終端，包括手機(jī)或IPAD。由于兒童認(rèn)知和行為能力有限，因此在設(shè)備的輸入方式、輸入內(nèi)容及互動(dòng)提示的設(shè)置上就必須考慮兒童的特殊需求和年齡特點(diǎn)，設(shè)備中設(shè)置了基本的拼音輸入和語(yǔ)音輸入方式后，由于考慮到兒童有可能不能進(jìn)行完整的拼音輸入和完整的語(yǔ)音輸入，則就需要設(shè)計(jì)簡(jiǎn)易的輸入方式和流程來(lái)輔助兒童的表達(dá)，因此，本發(fā)明通過(guò)簡(jiǎn)單的圖形(卡通圖形或者簡(jiǎn)易的表意圖形等)、圖像，來(lái)輔助兒童完成人機(jī)交互，另外可通過(guò)語(yǔ)音片段方式來(lái)完成輸入，兒童只需表達(dá)出所需操作的關(guān)鍵詞、句就可被作為操作指令執(zhí)行，例如當(dāng)兒童不會(huì)玩某個(gè)游戲時(shí)，只要說(shuō)出“不會(huì)玩”、“怎么玩” “幫助”等就可作為語(yǔ)音輸入信息被設(shè)備接收。當(dāng)然也可通過(guò)Π或者文字元素，對(duì)于年齡大一點(diǎn)的兒童可通過(guò)設(shè)置文字，例如設(shè)置“幫助”、“提示”的虛擬按鈕實(shí)現(xiàn)輸入。
S200、在操作終端的屏幕上顯示用于進(jìn)行交互的圖形，圖像，語(yǔ)音，UI和文字元素中的一種或多種操作圖標(biāo)，在兒童操作過(guò)程中需要進(jìn)行交互時(shí)，通過(guò)所述圖形，圖像，語(yǔ)音，UI和文字元素中的一種或多種操作圖標(biāo)接收用戶的操作指令觸發(fā)相應(yīng)的操作命令，并把所述相應(yīng)的操作命令形成相應(yīng)的操作命令數(shù)據(jù)，發(fā)送到服務(wù)器進(jìn)行分析。較佳的實(shí)施例是，操作終端與服務(wù)器之間進(jìn)行無(wú)線通訊連接，當(dāng)操作終端被觸發(fā)獲得操作命令數(shù)據(jù)后，即與服務(wù)器之間建立通訊連接，將所述的操作命令數(shù)據(jù)發(fā)送到服務(wù)器，服務(wù)器接收到操作命令數(shù)據(jù)后立即調(diào)用算法進(jìn)行解析。S300、服務(wù)器接收到來(lái)自操作終端的操作命令數(shù)據(jù)(所述相應(yīng)的操作命令包括動(dòng)作輸入命令或者語(yǔ)音輸入命令)。然后執(zhí)行步驟S310，即根據(jù)操作終端當(dāng)前界面的所有的所述操作命令數(shù)據(jù)進(jìn)行上下文的分析，分析當(dāng)前界面的動(dòng)作，語(yǔ)音及操作順序和停留時(shí)間來(lái)判斷兒童可能需要的操作，通過(guò)和數(shù)據(jù)庫(kù)中的特定模式進(jìn)行比較來(lái)判斷需要進(jìn)行的輔助操作，并反饋相應(yīng)的輔助操作指令給操作終端。所述的操作終端向服務(wù)器發(fā)送其所能接收到的所有操作命令數(shù)據(jù)，服務(wù)器所作出的判斷依據(jù)主要來(lái)自其根據(jù)不同游戲或應(yīng)用所預(yù)設(shè)的特定模式，例如在哪些界面兒童會(huì)有哪些可能的動(dòng)作輸入，可能的語(yǔ)音輸入，可能的動(dòng)作順序，可能匹配的操作，然后利用此分析模式進(jìn)行上下文的分析，分析當(dāng)前界面的動(dòng)作，語(yǔ)·音及操作順序和停留時(shí)間來(lái)判斷兒童可能需要的操作，然后按照可能性權(quán)重進(jìn)行優(yōu)先級(jí)排序，然后服務(wù)器執(zhí)行步驟S320，即將優(yōu)先級(jí)最高的匹配操作通過(guò)預(yù)制的語(yǔ)音和/或動(dòng)作數(shù)據(jù)反饋給操作終端。S400、操作終端接到服務(wù)器的反饋的相應(yīng)的輔助操作指令并進(jìn)行解析，將解析的結(jié)果通過(guò)所述圖形，圖像，語(yǔ)音，Π和文字元素中的一種或多種操作圖標(biāo)反饋信息呈現(xiàn)給兒童。如果有語(yǔ)音反饋則播放該語(yǔ)音提示，如果有動(dòng)作反饋則在該界面執(zhí)行該動(dòng)作使Π發(fā)生變化，如果有文字反饋則在該界面顯示文字提示。如圖3所示的一種基于兒童應(yīng)用中的人機(jī)交互輔助系統(tǒng)，包括操作終端200和服務(wù)器端100。所述操作終端200包括預(yù)先定義模塊210，用于預(yù)先定義用于在進(jìn)行交互進(jìn)觸發(fā)相應(yīng)操作多種圖標(biāo)，每一種操作圖標(biāo)與一操作命令對(duì)應(yīng)；所述圖標(biāo)包括用于進(jìn)行交互的圖形，圖像，語(yǔ)音，UI和文字元素中的一種或多種操作圖標(biāo)。顯示與接收控制模塊220、用于控制在所述操作終端200屏幕上顯示用于進(jìn)行交互的圖形，圖像，語(yǔ)音，UI和文字元素中的一種或多種操作圖標(biāo)，在兒童操作過(guò)程中需要進(jìn)行交互時(shí)，通過(guò)所述圖形，圖像，語(yǔ)音，UI和文字元素中的一種或多種操作圖標(biāo)接收用戶的操作指令觸發(fā)相應(yīng)的操作命令，并把所述相應(yīng)的操作命令形成相應(yīng)的操作命令數(shù)據(jù)。解析與顯示控制模塊230、用于接收反饋的相應(yīng)的輔助操作指令并進(jìn)行解析，將解析的結(jié)果通過(guò)所述圖形，圖像，語(yǔ)音，Π和文字元素中的一種或多種操作圖標(biāo)反饋信息呈現(xiàn)給兒童。所述服務(wù)器端100包括服務(wù)器分析控制模塊110，用于控制接收所述操作命令數(shù)據(jù)，所述相應(yīng)的操作命令包括動(dòng)作輸入命令或者語(yǔ)音輸入命令，根據(jù)所述操作命令數(shù)據(jù)進(jìn)行上下文的分析，分析當(dāng)前界面的動(dòng)作，語(yǔ)音及操作順序和停留時(shí)間來(lái)判斷兒童可能需要的操作，通過(guò)和數(shù)據(jù)庫(kù)中的特定模式進(jìn)行比較來(lái)判斷需要進(jìn)行的輔助操作，并反饋相應(yīng)的輔助操作指令給所述操作終端200。如圖4所示的基于兒童應(yīng)用中的人機(jī)交互輔助系統(tǒng)中的服務(wù)器分析控制模塊110包括預(yù)設(shè)置單元111、用于控制服務(wù)器數(shù)據(jù)庫(kù)根據(jù)當(dāng)前的游戲或者應(yīng)用來(lái)進(jìn)行預(yù)設(shè)置，預(yù)設(shè)置包括在哪些界面兒童會(huì)有哪些可能的動(dòng)作輸入、可能的語(yǔ)音輸入、可能的動(dòng)作順序及可能匹配的操作；并按照可能性權(quán)重進(jìn)行優(yōu)先級(jí)排序。反饋控制單元112、用于控制服務(wù)器把優(yōu)先級(jí)最高的匹配操作通過(guò)預(yù)制的語(yǔ)音和/或動(dòng)作數(shù)據(jù)反饋給操作終端。如圖5所示的基于兒童應(yīng)用中的人機(jī)交互輔助系統(tǒng)中解析與顯示控制模塊230包括解析單元231，用于接收到反饋的相應(yīng)的輔助操作指令后，解析反饋的輔助操作指令數(shù)據(jù)，
控制執(zhí)行單元232，用于如果有語(yǔ)音反饋則播放該語(yǔ)音提示，如果有動(dòng)作反饋則在該界面執(zhí)行該動(dòng)作使UI發(fā)生變化，如果有文字反饋則在該界面顯示文字提示。所述解析單元231與控制執(zhí)行單元232之間通訊連接。本發(fā)明提供的一種基于兒童應(yīng)用中的人機(jī)交互輔助系統(tǒng)及交互方法，按照兒童的認(rèn)知規(guī)律設(shè)計(jì)方法和系統(tǒng)，輸入的手段按照滿足兒童認(rèn)知發(fā)展特點(diǎn)的需求設(shè)計(jì)，反饋的呈現(xiàn)按照兒童的認(rèn)知發(fā)展特點(diǎn)需求設(shè)計(jì)，使得兒童在玩游戲和教育類(lèi)軟件時(shí)，能夠獲得及時(shí)的提示和幫助，保證了設(shè)備與用戶之間有足夠的有效的互動(dòng)，提升了兒童學(xué)習(xí)、認(rèn)知的興趣，也使本發(fā)明的產(chǎn)品具備良好的市場(chǎng)前景。應(yīng)當(dāng)理解的是，本發(fā)明的應(yīng)用不限于上述的舉例，對(duì)本領(lǐng)域普通技術(shù)人員來(lái)說(shuō)，可以根據(jù)上述說(shuō)明加以改進(jìn)或變換，所有這些改進(jìn)和變換都應(yīng)屬于本發(fā)明所附權(quán)利要求的保護(hù)范圍。
權(quán)利要求
1.一種基于兒童應(yīng)用中的人機(jī)交互方法，其特征在于，包括步驟 A、預(yù)先在操作終端上定義用于進(jìn)行交互進(jìn)而觸發(fā)相應(yīng)操作的多種圖標(biāo)，每一種操作圖標(biāo)與一操作命令對(duì)應(yīng)；所述圖標(biāo)包括用于進(jìn)行交互的圖形，圖像，語(yǔ)音，UI和文字元素中的一種或多種操作圖標(biāo)； B、在操作終端的屏幕上顯示用于進(jìn)行交互的圖形，圖像，語(yǔ)音，Π和文字元素中的一種或多種操作圖標(biāo)，在兒童操作過(guò)程中需要進(jìn)行交互時(shí)，通過(guò)所述圖形，圖像，語(yǔ)音，Π和文字元素中的一種或多種操作圖標(biāo)接收用戶的操作指令觸發(fā)相應(yīng)的操作命令，并把所述相應(yīng)的操作命令形成相應(yīng)的操作命令數(shù)據(jù)，發(fā)送到服務(wù)器進(jìn)行分析； C、服務(wù)器接收到來(lái)自操作終端的操作命令數(shù)據(jù)，根據(jù)操作終端當(dāng)前界面的所有的所述操作命令數(shù)據(jù)進(jìn)行上下文的分析，分析當(dāng)前界面的動(dòng)作，語(yǔ)音及操作順序和停留時(shí)間來(lái)判斷兒童可能需要的操作，通過(guò)和數(shù)據(jù)庫(kù)中的特定模式進(jìn)行比較來(lái)判斷需要進(jìn)行的輔助操作，并反饋相應(yīng)的輔助操作指令給操作終端； D、操作終端接到服務(wù)器的反饋的相應(yīng)的輔助操作指令并進(jìn)行解析，將解析的結(jié)果通過(guò)所述圖形，圖像，語(yǔ)音，UI和文字元素中的一種或多種操作圖標(biāo)反饋信息呈現(xiàn)給兒童。
2.根據(jù)權(quán)利要求I所述基于兒童應(yīng)用中的人機(jī)交互方法，其特征在于，所述相應(yīng)的操作命令包括動(dòng)作輸入命令或者語(yǔ)音輸入命令。
3.根據(jù)權(quán)利要求I所述基于兒童應(yīng)用中的人機(jī)交互方法，其特征在于，所述步驟C還包括 Cl、服務(wù)器數(shù)據(jù)庫(kù)中會(huì)根據(jù)當(dāng)前的游戲或者應(yīng)用來(lái)進(jìn)行預(yù)設(shè)置，預(yù)設(shè)置包括在哪些界面兒童會(huì)有哪些可能的動(dòng)作輸入、可能的語(yǔ)音輸入、可能的動(dòng)作順序及可能匹配的操作；并按照可能性權(quán)重進(jìn)行優(yōu)先級(jí)排序； C2、服務(wù)器把優(yōu)先級(jí)最高的匹配操作通過(guò)預(yù)制的語(yǔ)音和/或動(dòng)作數(shù)據(jù)反饋給操作終端。
4.根據(jù)權(quán)利要求I所述基于兒童應(yīng)用中的人機(jī)交互方法，其特征在于，所述步驟D還包括 操作終端接收到服務(wù)器反饋相應(yīng)的輔助操作指令后，解析反饋的輔助操作指令數(shù)據(jù)，如果有語(yǔ)音反饋則播放該語(yǔ)音提示，如果有動(dòng)作反饋則在該界面執(zhí)行該動(dòng)作使UI發(fā)生變化，如果有文字反饋則在該界面顯示文字提示。
5.根據(jù)權(quán)利要求I所述基于兒童應(yīng)用中的人機(jī)交互方法，其特征在于，所述操作終端為手持終端，包括手機(jī)或IPAD。
6.一種基于兒童應(yīng)用中的人機(jī)交互輔助系統(tǒng)，其特征在于，包括 預(yù)先定義模塊，用于預(yù)先定義用于在進(jìn)行交互進(jìn)觸發(fā)相應(yīng)操作多種圖標(biāo)，每一種操作圖標(biāo)與一操作命令對(duì)應(yīng)；所述圖標(biāo)包括用于進(jìn)行交互的圖形，圖像，語(yǔ)音，UI和文字元素中的一種或多種操作圖標(biāo)； 顯示與接收控制模塊、用于控制在屏幕上顯示用于進(jìn)行交互的圖形，圖像，語(yǔ)音，UI和文字元素中的一種或多種操作圖標(biāo)，在兒童操作過(guò)程中需要進(jìn)行交互時(shí)，通過(guò)所述圖形，圖像，語(yǔ)音，UI和文字元素中的一種或多種操作圖標(biāo)接收用戶的操作指令觸發(fā)相應(yīng)的操作命令，并把所述相應(yīng)的操作命令形成相應(yīng)的操作命令數(shù)據(jù)； 服務(wù)器分析控制模塊，用于控制接收所述操作命令數(shù)據(jù)，并根據(jù)所述操作命令數(shù)據(jù)進(jìn)行上下文的分析，分析當(dāng)前界面的動(dòng)作，語(yǔ)音及操作順序和停留時(shí)間來(lái)判斷兒童可能需要的操作，通過(guò)和數(shù)據(jù)庫(kù)中的特定模式進(jìn)行比較來(lái)判斷需要進(jìn)行的輔助操作，并反饋相應(yīng)的輔助操作指令給操作終端； 解析與顯示控制模塊、用于接收反饋的相應(yīng)的輔助操作指令并進(jìn)行解析，將解析的結(jié)果通過(guò)所述圖形，圖像，語(yǔ)音，UI和文字元素中的一種或多種操作圖標(biāo)反饋信息呈現(xiàn)給兒里。
7.根據(jù)權(quán)利要求6所述基于兒童應(yīng)用中的人機(jī)交互輔助系統(tǒng)，其特征在于，所述相應(yīng)的操作命令包括動(dòng)作輸入命令或者語(yǔ)音輸入命令； 預(yù)先定義模塊、顯示與接收控制模塊、解析與顯示控制模塊設(shè)置在操作終端； 所述服務(wù)器分析控制模塊設(shè)置在服務(wù)器上。
8.根據(jù)權(quán)利要求6所述基于兒童應(yīng)用中的人機(jī)交互輔助系統(tǒng)，其特征在于，所述服務(wù)器分析控制模塊包括 預(yù)設(shè)置單元、用于控制服務(wù)器數(shù)據(jù)庫(kù)根據(jù)當(dāng)前的游戲或者應(yīng)用來(lái)進(jìn)行預(yù)設(shè)置，預(yù)設(shè)置包括在哪些界面兒童會(huì)有哪些可能的動(dòng)作輸入、可能的語(yǔ)音輸入、可能的動(dòng)作順序及可能匹配的操作；并按照可能性權(quán)重進(jìn)行優(yōu)先級(jí)排序； 反饋控制單元、用于控制服務(wù)器把優(yōu)先級(jí)最高的匹配操作通過(guò)預(yù)制的語(yǔ)音和/或動(dòng)作數(shù)據(jù)反饋給操作終端。
9.根據(jù)權(quán)利要求6所述基于兒童應(yīng)用中的人機(jī)交互輔助系統(tǒng)，其特征在于，所述解析與顯示控制模塊包括 解析單元，用于接收到反饋的相應(yīng)的輔助操作指令后，解析反饋的輔助操作指令數(shù)據(jù)，控制執(zhí)行單元，用于如果有語(yǔ)音反饋則播放該語(yǔ)音提示，如果有動(dòng)作反饋則在該界面執(zhí)行該動(dòng)作使UI發(fā)生變化，如果有文字反饋則在該界面顯示文字提示。
10.根據(jù)權(quán)利要求6所述基于兒童應(yīng)用中的人機(jī)交互輔助系統(tǒng)，其特征在于，所述操作終端為手持終端，包括手機(jī)或IPAD。
全文摘要
本發(fā)明公開(kāi)了一種基于兒童應(yīng)用中的人機(jī)交互輔助系統(tǒng)及交互方法，所述方法為通過(guò)預(yù)先在操作終端上定義用于進(jìn)行交互進(jìn)而觸發(fā)相應(yīng)操作的多種圖標(biāo)，用戶操作進(jìn)而觸發(fā)操作指令并將操作命令數(shù)據(jù)發(fā)送服務(wù)器，所述服務(wù)器接受操作命令數(shù)據(jù)并利用預(yù)先設(shè)置的數(shù)據(jù)庫(kù)特定模式來(lái)分析數(shù)據(jù)并作出判斷，將輔助操作指令反饋給操作終端使其解析并作出反饋信息呈現(xiàn)給用戶。本發(fā)明的人機(jī)交互輔助系統(tǒng)及交互方法的設(shè)計(jì)思路符合兒童的認(rèn)知規(guī)律，使得兒童在玩游戲和教育類(lèi)軟件時(shí)，能夠獲得及時(shí)的提示和幫助，保證了設(shè)備與兒童之間有足夠的有效的互動(dòng)，提升了兒童學(xué)習(xí)、認(rèn)知的興趣，也使本發(fā)明的產(chǎn)品具備良好的市場(chǎng)前景。
文檔編號(hào)G06F3/0481GK102945120SQ201210486939
公開(kāi)日2013年2月27日 申請(qǐng)日期2012年11月27日 優(yōu)先權(quán)日2012年11月27日
發(fā)明者華煒, 張?zhí)旌? 吳楷龍 申請(qǐng)人:南京恒知訊科技有限公司