相關(guān)申請的交叉引用

本申請基于并且要求于2016年2月29日提交的第2016-037415號在先日本專利申請的優(yōu)先權(quán)的權(quán)益，其全部內(nèi)容通過引用而并入本文。

本實施方式涉及定點支持裝置和定點支持方法。

背景技術(shù)：

近些年，包括圖形用戶接口(gui)的信息裝置例如個人計算機(pc)、平板終端或智能電話已經(jīng)變得普及。用戶通過定點到位于gui的任意位置處的諸如圖標、按鈕或命令選項卡的目標來操作信息裝置。

到信息裝置的定點是通過由該信息裝置的用戶的上肢對鼠標進行的操作或通過由手指在觸摸板或觸摸面板上進行的操作來執(zhí)行的。因此，具有不能良好工作的上肢或手指的身體殘疾的人、老年人等難以操作包括gui的信息裝置。

關(guān)于這個問題，存在一種傳統(tǒng)技術(shù)，即使用戶不通過上肢或手指執(zhí)行直接操作，該傳統(tǒng)技術(shù)也執(zhí)行用戶的語音識別并且可以執(zhí)行定點。

圖19是示出傳統(tǒng)技術(shù)的圖。根據(jù)該傳統(tǒng)技術(shù)，如果在窗口10a處于打開的狀態(tài)下識別出用戶說出“顯示數(shù)字”，則執(zhí)行以下處理。傳統(tǒng)技術(shù)給與可以由鼠標在窗口10a上選擇的按鈕、圖標、命令選項卡等對應(yīng)的區(qū)域分配唯一編號以被顯示。用戶說出分配給要選擇的區(qū)域的編號，并且傳統(tǒng)技術(shù)通過語音識別來決定所選擇的區(qū)域。例如，如果用戶查閱窗口10a中的每個編號并且想要選擇圖19中的編號“10”的區(qū)域，則用戶說出“十”，并且傳統(tǒng)技術(shù)通過語音識別來決定選擇編號“10”的區(qū)域。

引用列表

[非專利文獻]

[非專利文獻1]微軟“methodofusingspeechrecognition(使用語音識別的方法)”，[被檢索于2016年2月10日]，因特網(wǎng)<url:http://windows.microsoft.com/ja-jp/windows-8/using-speech-recognition>

技術(shù)實現(xiàn)要素：

根據(jù)實施方式的一個方面，一種定點支持裝置包括存儲器和處理器，該處理器耦接至存儲器并且被配置成：檢測用戶在畫面上的視線位置；提取畫面上的關(guān)于視線位置的搜索范圍中包括的命令；生成表，在該表中，命令和該命令的語音信息彼此關(guān)聯(lián)；以及當接受來自外部的語音信息時，基于所識別的語音信息與表中的語音信息的比較來決定命令。

借助于權(quán)利要求書中具體指出的元素和組合來實現(xiàn)和達到本發(fā)明的目的和優(yōu)點。

應(yīng)當理解，如所要求保護的那樣，前面的整體描述和下面的詳細描述是示例性的和說明性的并且不限制本發(fā)明。

附圖說明

圖1是示出根據(jù)工作示例1的定點支持裝置的處理的示例的圖；

圖2是圖示根據(jù)工作示例1的定點支持裝置的配置的功能框圖；

圖3是示出根據(jù)工作示例1的命令字典表的數(shù)據(jù)結(jié)構(gòu)的示例的圖；

圖4是示出根據(jù)工作示例1的命令字典緩存表的數(shù)據(jù)結(jié)構(gòu)的示例的圖；

圖5是示出根據(jù)工作示例1的定點支持裝置的處理過程的流程圖；

圖6是示出根據(jù)工作示例1的定點支持裝置的處理過程的流程圖；

圖7是示出路徑定義表的數(shù)據(jù)結(jié)構(gòu)的示例的圖；

圖8是示出第一路徑定義的圖；

圖9是示出第二路徑定義的圖；

圖10是示出第三路徑定義的圖；

圖11是圖示根據(jù)工作示例2的定點支持裝置的配置的功能框圖；

圖12是示出狀態(tài)畫面圖像的圖；

圖13是示出顯示控制單元的處理的圖；

圖14是示出顯示控制單元的處理的圖；

圖15是示出根據(jù)工作示例2的定點支持裝置的處理過程的流程圖；

圖16是示出根據(jù)工作示例2的定點支持裝置的處理過程的流程圖；

圖17是示出根據(jù)工作示例2的定點支持裝置的處理過程的流程圖；

圖18是圖示執(zhí)行定點支持程序的計算機的示例的圖；以及

圖19是示出傳統(tǒng)技術(shù)的圖。

具體實施方式

上述傳統(tǒng)技術(shù)具有難以高效地執(zhí)行定點的問題。

由于存在識別率隨著說話周期的減小而劣化的趨勢，因此如果如在傳統(tǒng)技術(shù)中一樣說出編號，則說話周期有時太短以至于難以適當?shù)貨Q定用戶期望的區(qū)域。此外，在傳統(tǒng)技術(shù)中，由于每次向同一窗口中的同一按鈕分配不同的編號，因此傳統(tǒng)技術(shù)對于其用戶的使用方便性不好。此外，在傳統(tǒng)技術(shù)中，一直以與在圖標、按鈕或命令選項卡上顯示的信息交疊的關(guān)系來顯示編號，因此，還存在不能容易地注意到原始命令的問題。

在一個方面，本實施方式的目的是為了提供一種通過其可以高效地執(zhí)行定點的定點支持裝置、定點支持方法以及定點支持程序。

在下文中，參照附圖詳細描述根據(jù)實施方式的定點支持裝置、定點裝置方法以及定點支持程序的工作示例。應(yīng)該注意，本實施方式不應(yīng)當受限于工作示例。

[工作示例1]

圖1是示出根據(jù)工作示例1的定點支持裝置的處理的示例的圖。圖1中圖示的應(yīng)用畫面圖像50包括命令51a、51b、51c、51d、51e、51f和51g。定點支持裝置執(zhí)行對用戶的視線檢測以檢測視線位置52。定點支持裝置提取在以視線位置52的位置為中心的搜索范圍53中包括的命令51c、51d、51e和51f。

定點支持裝置生成要用于命令51c、51d、51e和51f的語音識別的命令字典表。例如，定點支持裝置將以下信息登記到命令字典表中：該信息將命令51c與語音識別數(shù)據(jù)“noval”關(guān)聯(lián)并且將命令51d與語音識別數(shù)據(jù)“reply(riplai)”關(guān)聯(lián)。此外，定點支持裝置將以下信息登記到命令字典表中：該信息將命令51e與語音識別數(shù)據(jù)“transfer”關(guān)聯(lián)并且將命令51f與語音識別數(shù)據(jù)“search”關(guān)聯(lián)。

例如，如果用戶說出“reply(riplai)”，則定點支持裝置執(zhí)行語音識別。定點支持裝置將語音識別的結(jié)果和命令字典表中的各個語音識別數(shù)據(jù)彼此進行比較以指定與語音識別的結(jié)果對應(yīng)的語音識別數(shù)據(jù)的命令“reply”。然后，定點支持裝置將指針的位置移動到針對reply的命令51d的位置。

當定點支持裝置執(zhí)行如圖1中所示的這樣的處理時，手臂、手或腳不便的身體殘疾人、老年人等可以在不使用鼠標等的情況下沒有壓力地在gui畫面圖像上對命令高效地執(zhí)行高精度的選擇。

現(xiàn)在描述根據(jù)工作示例1的定點支持裝置的配置。圖2是圖示根據(jù)工作示例1的定點支持裝置的配置的功能框圖。如圖2中所示，定點支持裝置100包括視線輸入單元110、輸入單元120、語音輸入單元130、顯示單元140、存儲單元150和控制單元160。

視線輸入單元110是用于輸入用戶的視線的裝置。例如，視線輸入單元110與攝像裝置對應(yīng)。視線輸入單元110拾取用戶的臉部的圖像并且將拾取的臉部圖像的數(shù)據(jù)輸出至控制單元160。

輸入單元120是包括可以被用戶按壓的按鈕的開關(guān)。輸入單元120將表示按鈕是否被按壓的信號輸出至控制單元160。

語音輸入單元130是用于獲取用戶說出的語音的裝置。例如，語音輸入單元130與麥克風(fēng)對應(yīng)。語音輸入單元130將用戶的語音的數(shù)據(jù)輸出至控制單元160。

顯示單元140是顯示從控制單元160輸出的各種信息的顯示裝置。顯示單元140與液晶顯示單元、觸摸面板等對應(yīng)。

存儲單元150包括命令字典表151和命令字典緩存表152。存儲單元150與半導(dǎo)體存儲元件比如隨機存取存儲器(ram)、只讀存儲器(rom)、或閃存或諸如硬盤驅(qū)動器(hdd)的存儲裝置對應(yīng)。

命令字典表151與參照圖1描述的命令字典表對應(yīng)并且將命令的信息和命令的語音識別數(shù)據(jù)彼此關(guān)聯(lián)。圖3是示出根據(jù)工作示例1的命令字典表的數(shù)據(jù)結(jié)構(gòu)的示例的圖。如圖3所示，命令字典表151將提取命令字符碼串、位置坐標以及語音識別數(shù)據(jù)彼此關(guān)聯(lián)。

參照圖3，提取命令字符碼串指示從畫面圖像上以視線位置的位置為中心的搜索范圍內(nèi)提取的命令的字符碼串。位置坐標指示提取的命令在畫面圖像上的位置坐標。語音識別數(shù)據(jù)是用于識別命令的語音數(shù)據(jù)。例如，在圖3的第一行的記錄中，登記有“novel”的字符碼串；登記有“novel”的命令的坐標“x1，y1”；并且登記有的語音識別數(shù)據(jù)。

命令字典緩存表152是用于使命令字典表151的生成高效的表。圖4是示出根據(jù)工作示例1的命令字典緩存表的數(shù)據(jù)結(jié)構(gòu)的示例的圖。如圖4所示，命令字典緩存表152將命令字符碼串與語音識別數(shù)據(jù)彼此關(guān)聯(lián)。

參照圖4，命令字符碼串指示在畫面圖像中包括的所有命令的字符碼串。語音識別數(shù)據(jù)是用于識別每個命令的語音數(shù)據(jù)。例如，在圖4的第一行的記錄中，登記有“reception”的字符碼串，并且登記有的語音識別數(shù)據(jù)。

返回參照圖2，控制單元160包括視線位置檢測單元161、命令提取單元162、生成單元163、決定單元164以及顯示控制單元165。控制單元160與集成裝置例如專用集成電路(asic)或現(xiàn)場可編程門陣列(fpga)對應(yīng)。此外，控制單元160與電子電路例如中央處理單元(cpu)和微處理單元(mpu)對應(yīng)。

視線位置檢測單元161是對用戶在顯示單元140的畫面圖像上的視線位置進行檢測的處理單元。視線位置檢測單元161將視線位置的信息輸出至命令提取單元162。

視線位置檢測單元161可以使用任何傳統(tǒng)技術(shù)來檢測用戶的視線位置。例如，每當視線位置檢測單元161從視線輸入單元110獲取面部圖像數(shù)據(jù)時，視線位置檢測單元161對面部圖像數(shù)據(jù)執(zhí)行圖像分析以指定用戶的眼部的移動點和參考點。視線位置檢測單元161根據(jù)參考點與移動點之間的關(guān)系來檢測用戶的視線位置。參考點和移動點的集合對應(yīng)于與用戶的眼部相關(guān)的虹膜和內(nèi)角的集合或者對應(yīng)于與用戶的眼部相關(guān)的瞳孔和角膜反射的集合。視線位置檢測單元161可以使用在日本特開專利公布第2012-187190號中公開的技術(shù)來檢測視線位置。

命令提取單元162是指定視線位置的初始位置并且提取畫面圖像上的相對于初始位置的搜索范圍中包括的命令的處理單元。例如，命令提取單元162將在由用戶按壓輸入單元120的時刻的視線位置指定為初始位置。命令提取單元162將所提取的命令的信息輸出至生成單元163和顯示控制單元165。例如，命令的信息是將命令的字符碼串與命令的位置坐標彼此關(guān)聯(lián)的信息。

命令提取單元162可以使用任何傳統(tǒng)技術(shù)來提起在畫面圖像上的搜索范圍內(nèi)的命令。例如，彼此比較分別定義在畫面圖像上顯示的命令的位置以及命令的字符碼串、屬性等的畫面圖像信息與相對于初始位置的搜索范圍以提取命令的信息。

生成單元163是基于從命令提取單元162獲取的命令的信息來生成命令字典表151的處理單元。以下描述生成單元163的處理。生成單元163在生成命令字典表151之前預(yù)先生成命令字典緩存表152。

描述當生成單元163生成命令字典緩存表152時進行的處理的示例。如果生成單元163檢測到畫面圖像被呈現(xiàn)為可由用戶操作，則生成單元163掃描活動畫面圖像的畫面圖像信息并且提取在畫面圖像中包括的所有命令的字符碼串。生成單元163將提取的字符碼串登記到命令字典緩存表152的命令字符碼串中。

生成單元163生成與命令字典緩存表152中登記的字符碼串對應(yīng)的語音識別數(shù)據(jù)，并且將所生成的語音識別數(shù)據(jù)以與字符碼串關(guān)聯(lián)的關(guān)系登記到命令字典緩存表152中。

生成單元163可以使用任何傳統(tǒng)技術(shù)來生成與字符碼串對應(yīng)的語音識別數(shù)據(jù)。例如，生成單元163對每個字符碼串進行分析以指定讀取的方式并且將與讀取的方式的各個字符對應(yīng)的聲音進行組合以生成語音識別數(shù)據(jù)。

例如，生成單元163對字符碼串“novel”進行分析以指定讀取的方式并且將與各個字符“n”、“a”、“v”、和“l(fā)”對應(yīng)的聲音進行組合以生成字符碼串“novel”的語音識別數(shù)據(jù)。應(yīng)該注意，各個字符的聲音被存儲在未示出的聲音數(shù)據(jù)庫中并且生成單元163查閱聲音數(shù)據(jù)庫以獲取各個字符的聲音的數(shù)據(jù)。

應(yīng)該注意，雖然前述描述涉及以下情況，但是命令字典表151的生成不限于此：生成單元163預(yù)先生成命令字典緩存表152，并且當生成單元163生成命令字典表151時，其使用命令字典緩存表152。例如，生成單元163可以在不生成命令字典緩存表152的情況下直接生成命令字典表151。

現(xiàn)在，描述當生成單元163利用命令字典緩存表152來生成命令字典表151時執(zhí)行的處理的示例。如果生成單元163接受來自命令提取單元162的命令的信息，則生成單元163將命令的字符碼串與命令的位置坐標以彼此關(guān)聯(lián)的關(guān)系登記到命令字典表151中。

此外，生成單元163將命令的字符碼串與命令字典緩存表152彼此進行比較，并且從命令字典緩存表152中獲取與該命令的字符碼串相同的字符碼串關(guān)聯(lián)的語音識別數(shù)據(jù)。生成單元163將所獲取的語音識別數(shù)據(jù)以與字符碼串關(guān)聯(lián)的關(guān)系登記到命令字典表151中。

例如，假定生成單元163從命令提取單元162獲取命令的字符碼串“novel”。在這種情況下，生成單元163從命令字典緩存表152中獲取與命令的字符碼串“novel”對應(yīng)的語音識別數(shù)據(jù)生成單元163將字符碼串“novel”與語音識別數(shù)據(jù)以彼此關(guān)聯(lián)的關(guān)系登記到命令字典表151中。

決定單元164是基于來自語音輸入單元130的用戶的語音的數(shù)據(jù)和命令字典表151來決定命令的處理單元。決定單元164將命令的位置坐標輸出至顯示控制單元165。在以下描述中，用戶的語音的數(shù)據(jù)被合適地稱為語音數(shù)據(jù)。

此處，具體地描述決定單元164的處理。決定單元164將語音數(shù)據(jù)與命令字典表151中的每條語音識別數(shù)據(jù)彼此進行比較并且計算它們之間的相似度。決定單元164指定呈現(xiàn)與語音數(shù)據(jù)的相似度最高的語音識別數(shù)據(jù)并且決定選擇與所指定的語音識別數(shù)據(jù)關(guān)聯(lián)的命令。決定單元164將與所指定的語音識別數(shù)據(jù)關(guān)聯(lián)的命令的位置坐標輸出至顯示控制單元165。

例如，假定通過語音數(shù)據(jù)與每條語音識別數(shù)據(jù)彼此之間的比較以計算它們之間的相似度，決定單元164決定“riplai”的語音識別數(shù)據(jù)與語音數(shù)據(jù)指示最高相似度。在這種情況下，決定單元164決定選擇命令“reply”并且將命令“reply”的位置坐標(x2，y2)輸出至顯示控制單元165。

應(yīng)該注意，當決定單元164將語音數(shù)據(jù)與每條語音識別數(shù)據(jù)進行比較并且計算它們之間的相似度時，如果相似度均低于閾值，則決定單元164可以不執(zhí)行用于決定命令的處理而可以從語音輸入單元130再次獲取語音數(shù)據(jù)并且執(zhí)行上述處理。

顯示控制單元165是執(zhí)行以下處理的處理單元：將未圖示的畫面圖像信息輸出至顯示單元140以使得畫面圖像信息被顯示在顯示單元140上的處理或者響應(yīng)于輸入單元120或決定單元164的操作而接受指針的移動或者對命令的選擇的處理。顯示控制單元165當其接受對命令的選擇時根據(jù)對命令的選擇執(zhí)行處理并且使顯示單元140顯示處理的結(jié)果。

例如，如果顯示控制單元165從決定單元164獲取位置坐標，則顯示控制單元165使指針移動至畫面圖像上的與該位置坐標對應(yīng)的位置。如果顯示控制單元165從輸入單元120接受按鈕被按壓的信號，則顯示控制單元165決定選擇與指針交疊的位置處的命令并且根據(jù)該命令執(zhí)行處理。

此外，顯示控制單元165從命令提取單元162獲取畫面圖像上的在搜索范圍中包括的命令的信息，并且強調(diào)地顯示在搜索范圍中包括的命令的區(qū)域。

現(xiàn)在描述根據(jù)工作示例1的定點支持裝置100的處理過程。圖5和圖6是示出根據(jù)工作示例1的定點支持裝置的處理過程的流程圖。如圖5所示，定點支持裝置100的生成單元163從呈現(xiàn)為可操作的畫面圖像中提取命令的字符碼串并且生成命令字典緩存表152(步驟s101)。

定點支持裝置100的視線位置檢測單元161檢測畫面圖像上的視線位置(步驟s102)。視線位置檢測單元161決定是否接收到視線設(shè)置指令(步驟s103)。如果未接收到視線設(shè)置指令(步驟s103，否)，則視線位置檢測單元161將處理前進至步驟s102。如果接收到視線設(shè)置指令(步驟s103，是)，則視線位置檢測單元161將處理前進至步驟s104。例如，如果用戶按壓輸入單元120的按鈕，則視線位置檢測單元161決定接收到視線設(shè)置指令。

定點支持裝置100的命令提取單元162將視線位置設(shè)置為指針的初始位置(步驟s104)。命令提取單元162從以初始位置為中心的搜索范圍內(nèi)提取命令的字符碼串和位置坐標(步驟s105)。命令提取單元162決定是否提取到一個或更多個命令的字符碼串(步驟s106)。如果未提取一個或更多個命令的字符碼串(步驟s106，否)，則命令提取單元162結(jié)束處理。如果提取到一個或更多個命令的字符碼串(步驟s106，是)，則命令提取單元162將處理前進至步驟s107。

定點支持裝置100的生成單元163基于由命令提取單元162提取的一個或更多個命令以及命令字典緩存表152來生成命令字典表151(步驟s107)。定點支持裝置100的顯示控制單元165強調(diào)地顯示提取的一個或多個命令(步驟s108)并且將處理前進至圖6的步驟s109。

顯示控制單元165決定是否接收到結(jié)束指令(步驟s109)。如果接收到結(jié)束指令(步驟s109，是)，則顯示控制單元165將處理前進至步驟s114。例如，如果顯示控制單元165檢測到輸入單元120的按鈕被很短地按壓，則顯示控制單元165決定接收到結(jié)束指令?；蛘撸绻脩舸姘磯狠斎雴卧?20的按鈕而說出“結(jié)束”以及顯示控制單元165執(zhí)行語音識別并且識別到說出了“結(jié)束”，則顯示控制單元165可以決定接收到結(jié)束指令。

如果存在強調(diào)顯示，則顯示控制單元165清除強調(diào)顯示(步驟s114)并且結(jié)束處理。如果未接收到結(jié)束指令(步驟s109，否)，則顯示控制單元165將處理前進至步驟s110。

定點支持裝置100的決定單元164決定是否輸入了某些語音數(shù)據(jù)(步驟s110)。如果未輸入語音數(shù)據(jù)(步驟s110，否)，則決定單元164將處理前進至步驟s109。如果輸入了某些語音數(shù)據(jù)(步驟s110，是)，則決定單元164將處理前進至步驟s111。

決定單元164將命令字典表151中的每條語音識別數(shù)據(jù)與語音數(shù)據(jù)彼此進行比較(步驟s111)。決定單元164決定語音數(shù)據(jù)是否命中了命令字典表151中的用于語音識別的某些數(shù)據(jù)(步驟s112)。如果語音數(shù)據(jù)未命中命令字典表151中的用于語音識別的任何數(shù)據(jù)(步驟s112，否)，則決定單元164將處理前進至步驟s109。如果語音數(shù)據(jù)命中了命令字典表151中的用于語音識別的某些數(shù)據(jù)(步驟s112，是)，則決定單元164將處理前進至步驟s113。

顯示控制單元165將指針移動至畫面圖像上與命中的語音識別數(shù)據(jù)的命令對應(yīng)的位置(步驟s113)并且將處理前進至步驟s109。

現(xiàn)在描述根據(jù)工作示例1的定點支持裝置100的有利效果。定點支持裝置100提取從用戶的視線位置開始的搜索范圍中包括的命令并且決定從提取的命令的語音識別數(shù)據(jù)中選擇與用戶的語音輸入最相似的語音識別數(shù)據(jù)的命令。因此，具有不能良好工作的手臂、手或腳的身體殘疾的人、老年人等可以在不使用鼠標等的情況下沒有壓力地對gui畫面圖像有效地執(zhí)行高精度命令選擇。

定點支持裝置100基于活動畫面圖像的畫面圖像信息來提取畫面圖像上的所有命令以預(yù)先生成命令字典緩存表152。當定點支持裝置100提取在搜索范圍中包括的命令并且生成命令字典表151時，定點支持裝置100利用存儲在命令字典緩存表152中的語音識別數(shù)據(jù)。為了生成語音識別數(shù)據(jù)，執(zhí)行對字符碼串進行分析以指定讀取的方式并且將與所指定的讀取的方式對應(yīng)的字符的聲音進行組合的處理，因此，處理負荷很重。因此，由于定點支持裝置100預(yù)先生成命令字典緩存表152，因此定點支持裝置100可以不在每當命令提取單元162提取命令時執(zhí)行用于生成語音識別數(shù)據(jù)的處理。因此，可以減小處理負荷。

[工作示例2]

現(xiàn)在描述根據(jù)工作示例2的定點支持裝置200。定點支持裝置200可切換地應(yīng)用通過對結(jié)合工作示例1描述的語音識別和視線輸入的組合來支持定點的“處理1”以及支持定點的不同于處理1的“處理2”。與處理1相關(guān)的處理類似于參照圖1等描述的工作示例1的處理，因此，此處省略了描述。

描述由定點支持裝置200執(zhí)行的“處理2”。定點支持裝置200基于路徑定義表來移動指針。路徑定義表是保存路徑定義信息的表，該路徑定義信息對指針沿其移動的路徑和路徑的移動方式進行定義。圖7是示出路徑定義表的數(shù)據(jù)結(jié)構(gòu)的示例的圖。如圖7所示，路徑定義表253將路徑定義識別信息與多個過程彼此關(guān)聯(lián)。路徑定義識別信息是用于唯一地識別路徑定義的信息。每個過程指示用于移動路徑的過程或者用于沿著路徑移動指針的過程。雖然存在各種路徑定義，但是此處，描述第一路徑定義、第二路徑定義和第三路徑定義作為示例。

圖8是示出第一路徑定義的圖。第一路徑定義包括過程1和過程2。第一路徑定義的過程1是顯示從當前的指針位置10開始的線性移動條11并且圍繞由指針位置10提供的中心旋轉(zhuǎn)地移動線性移動條11的過程。

第一路徑定義的過程2是用于在由線性移動條11指示的方向上線性地移動線性移動條11的過程，線性移動條11的方向由第一路徑定義的過程1來設(shè)置。指針位置10a根據(jù)線性移動條11的移動而移動。根據(jù)第一路徑定義，路徑是線性移動條11。

圖9是示出第二路徑定義的圖。第二路徑定義包括過程1和過程2。第二路徑定義的過程1是用于以當前的指針位置10為中心以同心關(guān)系來擴大圓12的過程。

第二路徑定義的過程2是用于從由第二路徑定義的過程1而設(shè)置的圓12上的任意位置沿圓12移動指針位置12a的過程。根據(jù)第二路徑定義，路徑是圓12。

圖10是示出第三路徑定義的圖。第三路徑定義包括過程1、過程2、過程3和過程4。第三路徑定義的過程1是用于在豎直引導(dǎo)13a的情況下從當前的指針位置10a沿水平向右的方向移動指針的過程。

第三路徑定義的過程2是用于在豎直引導(dǎo)13a的情況下從由過程1的移動而確定的指針位置10b沿水平向左的方向移動指針的過程。

第三路徑定義的過程3是用于在水平引導(dǎo)13b的情況下從由過程2的移動而確定的指針位置10c沿豎直向上的方向移動指針的過程。

第三路徑定義的過程4是用于在水平引導(dǎo)13b的情況下從由過程3的移動而確定的指針位置10d沿豎直向下的方向移動指針的過程。

應(yīng)該注意，上文描述的第三路徑定義是示例，可以從第三路徑定義的過程1至過程4中省略過程2和過程4，或者可以省略過程1和過程3。

現(xiàn)在描述根據(jù)工作示例2的定點支持裝置200的配置。圖11是圖示根據(jù)工作示例2的定點支持裝置的配置的功能框圖。如圖11所示，定點支持裝置200包括視線輸入單元210、輸入單元220、語音輸入單元230、顯示單元240、存儲單元250以及控制單元260。

與視線輸入單元210、輸入單元220、語音輸入單元230和顯示單元240相關(guān)的描述類似于與參照圖2描述的視線輸入單元110、輸入單元120、語音輸入單元130和顯示單元140相關(guān)的描述。因此，此處省略了重復(fù)描述。

存儲單元250包括命令字典表251、命令字典緩存表252和路徑定義表253。存儲單元250與半導(dǎo)體存儲元件比如ram、rom、或閃存或諸如hdd的存儲裝置對應(yīng)。

對命令字典表251和命令字典緩存表252的描述類似于與參照圖2描述的命令字典表151和命令字典緩存表152相關(guān)的描述。路徑定義表253是保存路徑定義信息的表，該路徑定義信息定義指針沿其移動的路徑以及路徑的移動方式。路徑定義表253的數(shù)據(jù)結(jié)構(gòu)類似于參照圖7描述的數(shù)據(jù)結(jié)構(gòu)，因此，此處省略了描述。

控制單元260包括視線位置檢測單元261、命令提取單元262、生成單元263、決定單元264以及顯示控制單元265。控制單元260與集成裝置例如asic或fpga對應(yīng)。此外，控制單元260與電子電路例如cpu或者mpu對應(yīng)。

視線位置檢測單元261、命令提取單元262、生成單元263和決定單元264執(zhí)行與參照圖2描述的由視線位置檢測單元161、命令提取單元162、生成單元163和決定單元164執(zhí)行的處理類似的處理。因此，此處省略了對這些處理的重復(fù)描述。

顯示控制單元265是執(zhí)行以下處理的處理單元：將未圖示的畫面圖像信息輸出至顯示單元240以使得顯示單元240能夠顯示畫面圖像信息的處理，或者接受指針移動或?qū)γ畹倪x擇的處理。如果接受了對命令的選擇，則顯示控制單元265根據(jù)對命令的選擇來執(zhí)行處理并且使顯示單元240顯示該處理的結(jié)果。

此處，顯示控制單元265從用戶接受對關(guān)于是要基于處理1支持定點還是要基于處理2支持定點的選擇。顯示控制單元265基于所接受的選擇的處理1或處理2來支持定點。

例如，顯示控制單元265使顯示單元240顯示狀態(tài)畫面圖像以使用戶能夠選擇要基于處理1支持定點還是要基于處理2支持定點。圖12是示出狀態(tài)畫面圖像的圖。如圖12所示，狀態(tài)畫面圖像241被顯示在顯示單元240的角落區(qū)域中。此外，狀態(tài)畫面圖像241包括用于定點的命令241a、用于語音輸入的命令241b以及用于多模式的命令241c。

例如，如果用戶選擇了用于定點的命令241a，則顯示控制單元265基于處理2來支持定點。如果用戶選擇了用于語音輸入的命令241b，則顯示控制單元265基于處理1來支持定點。

如果選擇了用于多模式的命令241c，則顯示控制單元265在處理1與處理2之間動態(tài)地切換以支持定點。例如，顯示控制單元265在從用戶接受到切換指令的時刻執(zhí)行從處理1到處理2的切換或者從處理2到處理1的切換。用戶可以以任何方式執(zhí)行切換指令。例如，用戶可以對輸入單元220的按鈕執(zhí)行長按壓以向顯示控制單元265發(fā)出切換指令，或者用戶可以說出“切換”以向顯示控制單元265發(fā)出切換指令。

此處，用戶可以通過顯示控制單元265接收用于定點的支持以選擇各個命令241a至命令241c中之一，或者可以通過語音來選擇各個命令241a至命令241c中之一。例如，如果顯示控制單元265通過語音識別而識別到用戶說出“定點”，則顯示控制單元265決定選擇命令241a。例如，如果顯示控制單元265通過語音識別而識別到用戶說出“語音輸入”，則顯示控制單元265決定選擇命令241b。此外，如果顯示控制單元265通過語音識別而識別到用戶說出“多模式”，則顯示控制單元265決定選擇命令241c。

現(xiàn)在描述兩者都由顯示控制單元265執(zhí)行的處理1的定點支持和處理2的定點支持的示例。

“處理1”的定點支持類似于圖2中圖示的顯示控制單元165的定點支持。例如，當顯示控制單元265從決定單元264獲取位置坐標時，顯示控制單元265將指針移動至畫面圖像上的與該位置坐標對應(yīng)的位置。如果顯示控制單元265從輸入單元220接受對按鈕的按壓信號，則顯示控制單元265決定選擇與指針交疊的位置處的命令并且根據(jù)該命令執(zhí)行處理。

描述“處理2”的定點支持。圖13和圖14是示出顯示控制單元的處理2的圖。圖13和圖14示出了在顯示控制單元265基于路徑定義表253的第一路徑定義執(zhí)行處理的情況的示例。

描述圖13的步驟s10處的處理。顯示單元240的畫面圖像240a具有定點的目標30以及其上的視線位置20。顯示控制單元265基于從視線位置檢測單元261獲取的視線位置20的信息來指定視線位置20的位置。顯示控制單元265每當從視線位置檢測單元261獲取視線位置20的信息時更新視線位置20直到按壓輸入單元220的按鈕之后為止。

描述圖13的步驟s11處的處理。如果用戶按壓輸入單元220的按鈕并且顯示控制單元265從輸入單元220接受信號，則顯示控制單元265將視線位置20確定為指針的初始位置。例如，當輸入單元220的按鈕保持按壓時，顯示控制單元265使得顯示線性移動條21并且圍繞指針的初始位置20旋轉(zhuǎn)。

當顯示控制單元265使線性移動條21被旋轉(zhuǎn)時，顯示控制單元265可以響應(yīng)于輸入單元220的按鈕的按壓強度來調(diào)節(jié)旋轉(zhuǎn)的速度。顯示控制單元265從輸入單元220獲取按鈕的按壓強度的信息。當按鈕的按壓強度等于或高于閾值時，顯示控制單元265使線性移動條21以第一旋轉(zhuǎn)速度旋轉(zhuǎn)。當按鈕的按壓強度低于閾值時，顯示控制單元265使線性移動條21以第二旋轉(zhuǎn)速度旋轉(zhuǎn)。第一旋轉(zhuǎn)速度高于第二旋轉(zhuǎn)速度。

描述圖13的步驟s12處的處理。在線性移動條21與目標30交疊的時刻處，用戶查閱畫面圖像240a并且釋放輸入單元220的按鈕。如果顯示控制單元265檢測到輸入單元220的按鈕不再被按壓，則顯示控制單元265使線性移動條21停止旋轉(zhuǎn)。然后，顯示控制單元265使線性移動條21在由線性移動條21指示的方向上線性地移動。

描述圖13的步驟s13處的處理。在線性移動條21的起始點(指針位置20)與目標30交疊的時間點處，用戶查閱畫面圖像240a并且按壓輸入單元220的按鈕。當顯示控制單元265檢測到在線性移動條21的起始點(指針位置20)與目標30交疊的時間點處輸入單元220的按鈕被按壓時，顯示控制單元265決定選擇目標30。顯示控制單元265響應(yīng)于對目標30的選擇而執(zhí)行給定處理。

當顯示控制單元265執(zhí)行在圖13的步驟s10至步驟s13處的處理時，可以響應(yīng)于視線輸入而適當?shù)貓?zhí)行定點。例如，每當輸入單元220的按鈕被按壓時，可以通過設(shè)置指針的初始位置、線性移動條21的旋轉(zhuǎn)以及線性移動條21的線性移動的過程來選擇目標30。因此，即使視線位置的精度為低，也可以適當?shù)剡x擇目標30。此外，由于按壓輸入單元220的按鈕的操作是簡單的，因此即使身體殘疾的人、老人等也可以操作輸入單元220。

現(xiàn)在，參照圖14給出描述。描述圖14的步驟s20處的處理。顯示單元240的畫面圖像230a具有定點的目標30和視線位置20。顯示控制單元265基于從視線位置檢測單元261獲取的視線位置20的信息來指定視線位置20的位置。顯示控制單元265每當從視線位置檢測單元261獲取視線位置20的信息時更新畫面圖像230a上的視線位置20，直到輸入單元220的按鈕被單擊之后為止。

描述圖14的步驟s21處的處理。如果用戶單擊輸入單元220的按鈕并且顯示控制單元265從輸入單元220接受信號，則顯示控制單元265將視線位置20確定為指針的初始位置。例如，當輸入單元220的按鈕持續(xù)被按壓時，顯示控制單元265使線性移動條21保持顯示并且圍繞指針的初始位置20旋轉(zhuǎn)。

描述圖14的步驟s22處的處理。用戶在某時刻查閱畫面圖像230a并且釋放輸入單元220的按鈕。如果顯示控制單元265檢測到輸入單元220的按鈕不再被按壓，則顯示控制單元265使線性移動條21停止旋轉(zhuǎn)。然后，顯示控制單元265使線性移動條21在由線性移動條21指示的方向上線性地移動。

描述圖14的步驟s23處的處理。如果在線性移動條21被線性移動時用戶單擊輸入單元220的按鈕，則顯示控制單元265決定選擇在執(zhí)行單擊的時刻處線性移動條21的起始點(指針位置20)，與圖13的步驟s13處類似。然后，顯示控制單元265結(jié)束處理。

另一方面，如果當線性移動條21線性地移動時用戶雙擊輸入單元220的按鈕，則顯示控制單元265將當前的指針位置20設(shè)置為指針的初始位置。

描述圖14的步驟s24處的處理。當輸入單元220的按鈕被保持按壓時，顯示控制單元265使線性移動條21被顯示并且圍繞指針的初始位置20旋轉(zhuǎn)。例如，當執(zhí)行雙擊時，用戶通過第二次繼續(xù)按鈕按壓來繼續(xù)按鈕按壓。

顯示控制單元265可以使線性移動條21在步驟s24處的旋轉(zhuǎn)速度低于線性移動條21在步驟s21處的旋轉(zhuǎn)速度。針對第二次的指針位置與目標30之間的距離短于針對第一次的指針位置與目標30之間的距離。因此，通過使從作為針對第二次和后續(xù)次的指針位置的起始點開始的線性移動條21的旋轉(zhuǎn)的速度降低，可以將線性移動條21的方向容易地調(diào)節(jié)至目標30。

描述圖14的步驟s25處的處理。用戶在某時刻查閱畫面圖像230a并且釋放輸入單元220的按鈕。當顯示控制單元265檢測到輸入單元220的按鈕不再被按壓時，顯示控制單元265使線性移動條21停止旋轉(zhuǎn)。然后，顯示控制單元265使線性移動條21在由線性移動條21指示的方向上線性地移動。如果在線性移動條21被線性移動時用戶單擊輸入單元220的按鈕，則顯示控制單元265決定選擇在執(zhí)行單擊的時間點處定位在線性移動條21的起始點(指針位置20)處的目標30，與在圖13的步驟s13處類似。

附帶地，雖然當輸入單元220的按鈕在步驟s23處被雙擊時顯示控制單元265再次根據(jù)第一路徑定義來執(zhí)行在步驟s24和步驟s25處的處理，但是顯示控制單元265的處理不限于此。例如，每當雙擊輸入單元220的按鈕時，顯示控制單元265可以將該路徑切換至第二路徑定義或第三路徑定義以執(zhí)行隨后的處理。由用戶對定點支持裝置200預(yù)先設(shè)置過程是否被切換至另一路徑定義。

現(xiàn)在描述根據(jù)工作示例2的定點支持裝置200的處理過程。圖15、圖16和圖17是示出根據(jù)工作示例2的定點支持裝置的處理過程的流程圖。如圖15所示，定點支持裝置200的生成單元263從呈現(xiàn)為可操作的畫面圖像中提取命令的字符碼串并且生成命令字典緩存表252(步驟s201)。

定點支持裝置200的視線位置檢測單元261檢測畫面圖像上的視線位置(步驟s202)。視線位置檢測單元261決定是否接收到視線設(shè)置指令(步驟s203)。如果未接收到視線設(shè)置指令(步驟s203，否)，則視線位置檢測單元261將處理前進至步驟s202。如果接收到視線設(shè)置指令(步驟s203，是)，則視線位置檢測單元261將處理前進至步驟s204。例如，如果用戶按壓輸入單元220的按鈕，則視線位置檢測單元261決定接收到視線設(shè)置指令。

定點支持裝置200的命令提取單元262將視線位置設(shè)置為指針的初始位置(步驟s204)。命令提取單元262從以初始位置為中心的搜索范圍內(nèi)提取命令的字符碼串和位置坐標(步驟s205)。命令提取單元262決定是否提取到一個或更多個命令的字符碼串(步驟s206)。如果未提取一個或更多個命令的字符碼串(步驟s206，否)，則命令提取單元262結(jié)束處理。如果提取到一個或更多個命令的字符碼串(步驟s206，是)，則命令提取單元262將處理前進至步驟s207。

定點支持裝置200的生成單元263基于由命令提取單元262提取的一個或更多個命令以及命令字典緩存表252來生成命令字典表251(步驟s207)。定點支持裝置200的顯示控制單元265使提取的一個或多個命令被強調(diào)地顯示(步驟s208)并且將處理前進至圖16的步驟s209。

定點支持裝置200的顯示控制單元265決定是否接收到切換指令(步驟s209)。如果接收到切換指令(步驟s209，是)，則顯示控制單元265將處理前進至圖17的步驟s216。另一方面,如果未接收到切換指令(步驟s209，否)，則顯示控制單元265將處理前進至步驟s210。

首先描述從圖16的步驟s210開始的步驟處的處理。顯示控制單元265決定是否接收到結(jié)束指令(步驟s210)。如果接收到結(jié)束指令(步驟s210，是)，則顯示控制單元265將處理前進至步驟s215。例如，如果顯示控制單元265檢測到很短地按壓輸入單元220的按鈕，則顯示控制單元265決定接收到結(jié)束指令?；蛘?，當用戶代替按壓輸入單元220的按鈕而說出“結(jié)束”以及顯示控制單元265執(zhí)行語音識別并且識別到說出了“結(jié)束”時，顯示控制單元265可以決定接收到結(jié)束指令。

如果存在強調(diào)顯示，則顯示控制單元265清除強調(diào)顯示(步驟s215)并且結(jié)束處理。如果未接收到結(jié)束指令(步驟s210，否)，則顯示控制單元265將處理前進至步驟s211。

定點支持裝置200的決定單元264決定是否輸入了某些語音數(shù)據(jù)(步驟s211)。如果未輸入語音數(shù)據(jù)(步驟s211，否)，則決定單元264將處理前進至步驟s209。如果輸入了某些語音數(shù)據(jù)(步驟s211，是)，則決定單元264將處理前進至步驟s212。

決定單元264將命令字典表251中的每條語音識別數(shù)據(jù)與語音數(shù)據(jù)彼此進行比較(步驟s212)。決定單元264決定語音數(shù)據(jù)是否命中了命令字典表251的用于語音識別的某些數(shù)據(jù)(步驟s213)。如果語音數(shù)據(jù)未命中命令字典表251的用于語音識別的任何數(shù)據(jù)(步驟s213，否)，則決定單元264將處理前進至步驟s209。如果語音數(shù)據(jù)命中了命令字典表251的用于語音識別的某些數(shù)據(jù)(步驟s213，是)，則決定單元264將處理前進至步驟s214。

顯示控制單元265將指針移動至畫面圖像上與命中的語音識別數(shù)據(jù)的命令對應(yīng)的位置(步驟s214)并且將處理前進至步驟s209。

現(xiàn)在描述從圖17的步驟s216開始的步驟處的處理。顯示控制單元265將視線位置設(shè)置為指針的初始位置(步驟s216)。顯示控制單元265查閱路徑定義表253并且將路徑定義的第一過程設(shè)置為當前的過程(步驟s217)。

顯示控制單元265根據(jù)當前的過程而使路徑被顯示在畫面圖像上并且移動路徑或指針位置(步驟s218)。如果輸入單元220的按鈕未被按壓(步驟s219，否)，則顯示控制單元265將處理再次前進至s218。

另一方面，如果輸入單元220的按鈕被按壓(步驟s219，是)，則顯示控制單元265決定是否存在下一過程(步驟s220)。如果存在下一過程(步驟s220，是)，則顯示控制單元265將路徑定義的下一過程設(shè)置為當前的過程(步驟s221)并且將處理前進至步驟s218。

另一方面,如果不存在下一過程(步驟s220，否)，則顯示控制單元265將移動之后的指針位置確定為最終指針位置(步驟s222)。

現(xiàn)在描述根據(jù)工作示例2的定點支持裝置200的有利效果。定點支持裝置200在將視線輸入與語音識別進行組合以支持定點的處理1和將視線輸入與路徑定義表253用于支持定點的處理2之間執(zhí)行切換。因此，如果處理1未能成功地執(zhí)行語音識別，則可以通過切換至處理2來適當?shù)剡x擇命令。

此處，在上文中結(jié)合工作示例1和工作示例2描述的定點支持裝置100和定點支持裝置200的處理是示例，并且定點支持裝置100和定點支持裝置200可以執(zhí)行一些其他處理。在下文中描述定點支持裝置100和定點支持裝置200的其他處理(1)至(3)。在以下描述中，為了便于描述，參照圖11所示的定點支持裝置200的功能框圖來描述處理。

描述定點支持裝置的其他處理(1)。當定點支持裝置200的生成單元263生成命令字典緩存表252時，生成單元263可以針對每個畫面圖像分別生成命令字典緩存表252。例如，如圖1所示，當應(yīng)用畫面圖像50呈現(xiàn)為可操作時，生成單元263提取在應(yīng)用畫面圖像50中包括的命令51a至51g并且生成與應(yīng)用畫面圖像50對應(yīng)的命令字典緩存表252。然后，例如，如果針對reply的命令51d被選擇并且顯示新畫面圖像，則生成單元263提取新顯示的畫面圖像中包括的所有命令并且生成與新畫面圖像對應(yīng)的命令字典緩存表252。每當新畫面圖像被呈現(xiàn)為可操作時，生成單元263重復(fù)地執(zhí)行以上描述的處理。

由于生成單元263以這種方式針對每個畫面圖像生成命令字典緩存表252，因此可以改善在命令字典表251中使用的語音識別數(shù)據(jù)的搜索效率。例如，當生成單元263生成命令字典表251時，通過將包括搜索范圍中的命令的畫面圖像信息設(shè)置為關(guān)鍵字，生成單元263可以縮小要被作為搜索目標的命令字典緩存表252。這改善了搜索效率。

描述定點支持裝置的其他處理(2)。在定點支持裝置200的生成單元263生成命令字典緩存表252之后，生成單元263可以執(zhí)行如下處理：當擦除其他記錄時留下具有高使用頻率的命令字符碼串的記錄。例如，每當命令被用戶選擇時，生成單元263通過上文中描述的處理1或處理2將與命令字典緩存表252中的命令對應(yīng)的字符碼串的使用次數(shù)的數(shù)量遞增一。生成單元263重復(fù)地執(zhí)行上述處理，計算每個字符碼串的使用頻率，并且將具有相對高使用頻率的n條記錄留在命令字典緩存表252中同時刪除其余記錄。在生成單元263執(zhí)行如剛才所述的這樣的處理的情況下，可以有效地利用存儲單元250的資源。

描述定點支持裝置的其他處理(3)。如果預(yù)先指定了具有高使用頻率的命令，則定點支持裝置200的生成單元263可以將具有高使用頻率的命令的語音識別數(shù)據(jù)預(yù)先存儲到命令字典緩存表252中。例如，生成單元263將與文件、主頁、復(fù)制、粘貼、打開、關(guān)閉和存儲命令等對應(yīng)的語音識別數(shù)據(jù)預(yù)先存儲在命令字典緩存表252中。通過執(zhí)行這樣的處理，可以降低在生成語音識別數(shù)據(jù)時的處理負荷。

現(xiàn)在描述執(zhí)行定點支持程序的計算機的示例，該定點支持程序?qū)崿F(xiàn)與上文在工作示例中描述的定點支持裝置100和定點支持裝置200的功能類似的功能。圖18是圖示執(zhí)行定點支持程序的計算機的示例的圖。

如圖18所示，計算機300包括執(zhí)行各種算術(shù)運算處理的cpu301、從用戶接受數(shù)據(jù)的輸入的輸入裝置302以及顯示單元303。此外，計算機300包括：從存儲介質(zhì)讀取程序等的讀取裝置304、通過網(wǎng)絡(luò)將數(shù)據(jù)發(fā)送至另一計算機并且從另一計算機接收數(shù)據(jù)的接口裝置305a、攝像裝置305b以及麥克風(fēng)305c。計算機300還包括臨時存儲各種信息的ram306以及硬盤裝置307。裝置301至裝置307中的每個裝置均耦接至總線308。

硬盤裝置307包括視線位置檢測程序307a、命令提取程序307b、生成程序307c、決定程序307d、選擇程序307e以及顯示控制程序307f。cpu301讀出視線位置檢測程序307a、命令提取程序307b、生成程序307c、決定程序307d、選擇程序307e以及顯示控制程序307f并且將它們部署到ram306。

視線位置檢測程序307a用作視線位置檢測處理306a。命令提取程序307b用作命令提取處理306b。生成程序307c用作生成處理306c。決定程序307d用作決定處理306d。選擇程序307e用作選擇處理306e。顯示控制程序307f用作顯示控制處理306f。

視線位置檢測處理306a的處理與視線位置檢測單元161和視線位置檢測單元261的處理對應(yīng)。命令提取處理306b的處理與命令提取單元162和命令提取單元262的處理對應(yīng)。生成處理306c的處理與生成單元163和生成單元263的處理對應(yīng)。決定處理306d的處理與決定單元164和決定單元264的處理對應(yīng)。顯示控制處理306f的處理與顯示控制單元165和顯示控制單元265的處理對應(yīng)。

應(yīng)該注意，程序307a至程序307f中的每個程序均可以不必從一開始就存儲在硬盤裝置307中。例如，將每個所述程序存儲到要被插入計算機300的諸如軟盤(fd)、致密盤(cd)-rom、數(shù)字通用盤(dvd)盤、磁光盤或集成電路(ic)卡的“便攜式物理介質(zhì)”中。然后，計算機300可以讀出程序307a至程序307f并且執(zhí)行程序307a至程序307f中的每個程序。

本文中記載的所有示例和條件性語言旨在用于教導(dǎo)的目的以幫助讀者理解本發(fā)明和由發(fā)明人貢獻的用于改進現(xiàn)有技術(shù)的概念，并且應(yīng)當被解釋為不限于這樣的具體記載的示例和條件，在說明書中對這樣的示例的組織也不與對本發(fā)明的優(yōu)勢和劣勢的示出相關(guān)。雖然詳細地描述了本發(fā)明的實施方式，但應(yīng)當理解，可以在不背離本發(fā)明的精神和范圍的情況下進行各種改變、替換和變更。