專利名稱：在計算機系統(tǒng)中圖形反饋的產生的制作方法
在計算機系統(tǒng)中圖形反饋的產生
背景技術：
及現(xiàn)有技術
本發(fā)明通常涉及表示響應于輸入計算機系統(tǒng)的用戶命令而表示圖形 反饋的信息的表示。更具體地，本發(fā)明涉及根據(jù)權利要求1的序言的系統(tǒng)
以及根據(jù)權利要求12的序言的方法。本發(fā)明也涉及根據(jù)權利要求22的計 算機程序以及根據(jù)權利要求23的計算機可讀介質。
人機交互通過圖形用戶接口 (GUI)已被徹底改變。即，接口提供用 于以極大地超過任何現(xiàn)有信道的帶寬給用戶表現(xiàn)信息的有效裝置。這些年 以來，可表示信息的速度進一步通過彩色屏幕、放大的顯示器、智能圖形 對象(如彈出視窗)、浮見窗標簽、菜單、工具欄以及聲音而增加。然而在 這期間，輸入設備基本上保持不變，即，鍵盤和指示設備(如鼠標、軌跡 球或觸摸板)。在最近幾年，各種手寫設備已經被引入(如以指示筆或圖 形筆的形式)。然而，雖然輸出帶寬增加了好幾倍，輸入與前述相同實質 上改變。結果，人機交互中出現(xiàn)了通信帶寬的嚴重不對稱。為了對此進行 補償并使數(shù)據(jù)輸入更有效和用戶易使用，提出了各種各樣的解決方案。
美國5367315號描述了用于根據(jù)用戶的眼睛和頭部運動控制計算機屏 幕上的光標移動的方法和裝置。系統(tǒng)通過操作指定鍵或開關來啟動。其后， 用戶可通過以與傳統(tǒng)鼠標一樣的方式移動眼睛和頭部來將光標定位在屏 幕上的任何點。特別地，紅外檢測器在已定義的活動區(qū)內確定用戶頭部的 相對位置，以便屏幕上光標的位置依賴于活動區(qū)內頭部的位置。用戶的眼 睛在這里主要用作光反射器以確定眼睛位置的變化，并因而間接展示活動 區(qū)內頭部定位的變化。因此，眼睛/頭部位置與光標位置之間的關系被建立。
美國6215471號公開了視覺指針方法和裝置，其中，用戶通過視覺上 可識別的特征例如面部特征的對應的旋轉和移動來控制屏幕上指針的移 動。而且，通過更改可變的碎見覺特;f正例如閉眼，用戶可以產生表示鼠標點
擊以及類似功能的控制信號。與上面的解決方案類似，在^L覺上可識別的 特征的定位和屏幕上指針位置之間也存在緊密的關系。
美國6,204,828號展示了用于幫助操作員在屏幕上定位光標的計算機 驅動系統(tǒng)。在這里，系統(tǒng)計算屏幕上操作員的凝視位置，并將光標初始放 置在由這個位置標識的凝視區(qū)域內。機械輸入設備如鼠標或鍵盤接著用于 控制光標從初始位置到屏幕上的預期目標位置。
上面的前兩個解決方案是有問題的，因為通過使用這些策略，對可能 是殘疾人的用戶可能很難控制他/她的頭部或者以足夠高的準確度凝視以 定位光標在屏幕上的期望的位置。而且，即使用戶能以非常高的準確度控 制他/她的身體，當分別記錄眼睛/頭部位置和凝視點時，跟蹤設備中的各 種不完善可能引入測量誤差，使得它變得更困難或者至少疲勞而不能獲得 預期的結果。最后一個解決方案是在這方面的改善，因為在這里當操作機 械輸入設備時，用戶可以補償在凝視位置的任何誤差。然而，這樣的機械 設備的操作與其它問題相關聯(lián)，例如與疲勞、反復的過度疲勞傷害等有關。 而且，機械輸入設備例如傳統(tǒng)鼠標相對慢且需要在桌面上或在設備表面上 (在膝上型電腦的情況)的一定的操作空間。有時，沒有這樣的空間可用， 或提供所需要的空間是有問題的。

發(fā)明內容
本發(fā)明的目的因而是提供一種解決方案，其減輕上述問題并因而提供 給用戶易使用的和在人體工程學上恰當?shù)难b置來以高準確度以及以高效 的方式控制計算機系統(tǒng)。
根據(jù)本發(fā)明的一個方面，其目的通過開頭描述的用于顯示信息的計算 機系統(tǒng)來實現(xiàn)，其中，系統(tǒng)包括至少一個成像設備，其適合于記錄表示身 體部分的運動的圖像數(shù)據(jù)。所述至少一個成像設備適合于將圖像數(shù)據(jù)的表 示發(fā)送給數(shù)據(jù)處理單元，數(shù)據(jù)處理單元又適合于以下述方式表現(xiàn)(present) 反饋數(shù)據(jù)在最初階段期間，數(shù)據(jù)基于凝視點的絕對位置產生；以及在最 初階段隨后的階段期間，數(shù)據(jù)基于圖像數(shù)據(jù)產生。
本系統(tǒng)由于其迅速的響應和非常直觀的用戶界面是有利的。在最初階 段，反饋數(shù)據(jù)可以表現(xiàn)在相對非常接近顯示區(qū)域處，用戶的凝視實際上指 向該顯示區(qū)域。所提出的隨后階段允許用戶通過移動選4奪的身體部分對反 饋數(shù)據(jù)進行相對于初始位置的精確定位，因而產生反映相對運動的控制命 令。這根據(jù)所使用的身體部分提供了高靈活性和大自由度。
根據(jù)本發(fā)明的這個方面的優(yōu)選實施方案，數(shù)據(jù)處理單元適合于接收用 戶產生的開始命令，并響應于開始命令的接收而啟動最初階段。因此，得 到了響應于凝視點而表現(xiàn)的反饋數(shù)據(jù)的明確定時。這又增強了用戶界面的 質量。根據(jù)實現(xiàn)和用戶偏好，開始命令可通過啟動機械輸入構件、發(fā)出語 音命令，通過在極限駐留時間期間在顯示器的特定區(qū)域內定位凝視點，或 者通過按照預先定義的運動序列例如所謂的掃視移動凝視點來產生。
根據(jù)本發(fā)明的這個方面的另一優(yōu)選實施方案，數(shù)據(jù)處理單元適合于啟 動在最初階段的預定持續(xù)時間之后的隨后階段。最初階段通?？上鄬Χ?，
比方說1到2秒(或者甚至實質上更少)。此后，如果隨后的階段自動開 始可能是有利的。
根據(jù)本發(fā)明的這個方面的可選實施方案，數(shù)據(jù)處理單元改為適合于接 收用戶產生的觸發(fā)命令，并響應于接收的觸發(fā)命令而啟動隨后的階l殳。因 此，用戶可以及時選擇當他/她考慮適合于響應于所述身體部分的運動而開 始控制反饋數(shù)據(jù)時的時刻。例如，系統(tǒng)可優(yōu)選地包括適合于接收具有下列 形式的用戶產生的觸發(fā)命令的裝置機械輸入構件的啟動、語音命令、在 極限駐留時間期間在顯示器的特定區(qū)域內凝視點的定位或者由凝視點(例 如掃視)完成的預先定義的運動序列。也就是說，從而能夠進一步改善用 戶與系統(tǒng)交互的效率。
根據(jù)本發(fā)明的這個方面的又 一 優(yōu)選實施方案，反饋數(shù)據(jù)表示圖形指 針。而且，數(shù)據(jù)處理單元適合于在最初階段期間將顯示器上的指針定位在 由凝視點反映的開始位置，例如，在離凝視點的估計位置的特定距離處。 在隨后的階段期間，數(shù)據(jù)處理單元適合于響應于表示運動的身體部分的圖 像數(shù)據(jù)而從開始位置移動指針。優(yōu)選地，數(shù)據(jù)處理單元適合于將圖像數(shù)據(jù) 解譯為表示圖形指針從開始位置按以下方式的相對重新定位身體部分的
特定運動引起圖形指針的預先確定的重新定位。因此，通過在觀察顯示器 時移動身體部分，用戶可控制指針從開始位置逐漸移動，如他/她所期望的。
根據(jù)本發(fā)明的這個方面的另一優(yōu)選實施方案，數(shù)據(jù)處理單元適合于使 顯示器在隨后的階段期間響應于圖像數(shù)據(jù)而重復更新所表現(xiàn)的反饋數(shù)據(jù)。 因此，例如，上面提到的逐漸的重新定位是便利的。
根據(jù)本發(fā)明的這個方面的進一步的優(yōu)選實施方案，至少 一個成像設備 包括在眼跟蹤器中。因此，成像設備和眼跟蹤器可使用共同的攝像機單元。 當然，這對于成本效率和^L計的緊湊性是有利的。
根據(jù)本發(fā)明的這個方面的另 一優(yōu)選實施方案，圖形信息包括表示一^反 饋數(shù)據(jù)的第一部分和表示反饋數(shù)據(jù)的第二部分。而且，數(shù)據(jù)處理單元適合 于在顯示器上的確定位置表現(xiàn)第二部分，其中確定位置的定位取決于第一 部分的內容。這意味著反饋數(shù)據(jù)的狀態(tài)可適合于當前的屏幕內容，以及該 內容和反饋數(shù)據(jù)之間的位置相互關系。例如，具有圖形指針形式的反饋數(shù)
據(jù)當位于可操作的GUI對象之上或附近時可具有第一外觀以及/或狀態(tài)，
并且當位于沒有包含這樣的對象的顯示區(qū)域內時具有第二外觀以及/或狀 太
根據(jù)本發(fā)明的另一方面，其目的通過最初描述的方法來實現(xiàn)，其中， 表示身體部分的運動的圖像數(shù)據(jù)被記錄。反饋數(shù)據(jù)被表現(xiàn)，以便在最初階
段期間基于凝視點的絕對位置而產生反饋數(shù)據(jù)。在最初階段的隨后階段期 間，反饋數(shù)據(jù)改為基于所述圖像數(shù)據(jù)而產生。
參考提出的計算機系統(tǒng)，從上文的討論中，本方法和其優(yōu)選實施方案 的優(yōu)點是明顯的。
根據(jù)本發(fā)明的進一步的方面，其目的通過計算機程序來實現(xiàn)，所述計 算機程序直接裝入計算機的內部存儲器，并包括用于在所述程序在計算機 上運行時控制以上提出的方法的軟件。
根據(jù)本發(fā)明的另一方面，其目的通過其上記錄有程序的計算機可讀介 質來實現(xiàn)，其中程序用來控制計算機來執(zhí)行上面提出的方法。
通常，通過本發(fā)明可得到的一個附帶的效果是，在隨后階段期間產生
的基于圖像的數(shù)據(jù)可用于自動校準眼跟蹤器。即，通過研究該數(shù)據(jù)，可獲 得關于應如何調節(jié)眼跟蹤器的結論，以便最小化由眼跟蹤器記錄的凝視點 和用戶的估計的實際凝視點之間的任何誤差。
從下列描述以及附屬的權利要求，本發(fā)明的進一步的優(yōu)點、有利特征 以及應用將是明顯的。
附圖的簡述
現(xiàn)在通過作為例子被公開的優(yōu)選實施方案并參考附圖來更嚴密地解 釋本發(fā)明。


圖1示出與所提出的計算機系統(tǒng)進行交互作用的用戶的概略圖； 圖2示出根據(jù)本發(fā)明的優(yōu)選實施方案的圖1中的顯示器的細節(jié)圖； 圖3通過流程圖說明根據(jù)本發(fā)明用于控制計算機系統(tǒng)的一般方法。
本發(fā)明的優(yōu)選實施方式的描述
圖1示出根據(jù)本發(fā)明的一般使用情況的概略圖。這里用戶140通過眼 運動和特定身體部分的運動來控制計算機系統(tǒng)。
系統(tǒng)包括數(shù)據(jù)處理單元110、顯示器120以及眼跟蹤器130,該眼跟蹤 器集成在顯示器120中(如圖所示)或為獨立的單元。眼跟蹤器130適合 于記錄相對于顯示器120的用戶140的凝視點Po。為了此目的，眼跟蹤器 130優(yōu)選地安裝有一個或多個成像設備135a和135b。如果眼跟蹤器130 還包括或者關聯(lián)于用于向用戶140發(fā)射例如在紅外或近紅外光譜內的光的 一個或多個光源135c和135d通常是有利的。眼跟蹤器130適合于產生描 述凝視點Pg的眼跟蹤數(shù)據(jù)Deye,并將該數(shù)據(jù)DEYE發(fā)送給數(shù)據(jù)處理單元 110。
數(shù)據(jù)處理單元110適合于發(fā)送圖形信息GR[S, FB]以在顯示器120上 表現(xiàn)。根據(jù)本發(fā)明，信息GR[S, FB]的至少一些表示響應于進入數(shù)據(jù)處理 單元110的用戶命令而產生的反饋數(shù)據(jù)FB。這些命令基于凝視點Pg或用
戶140的身體部分145的運動mr而產生。系統(tǒng)可被校準為檢測基本上任 何身體部分145的運動MR。然而優(yōu)選地，身體部分是視覺上比較明顯的， 例如鼻子、嘴巴、整個頭部、手、下臂等。選擇成對的眼(即，包括用戶 140的雙眼的圖像部分)來表示身體部分145是有利的，眼睛相對于身體 部分145是固定的(例如頭)。即，在這種情況下，被優(yōu)化來記錄與目艮相 關的各個特;f正的眼if艮蹤器130可用來^r測所述身體局部145的運動。
在任何情況下，系統(tǒng)包括成像設備，其適合于記錄表示身體部分145 的運動MR的圖像數(shù)據(jù)DB0DY。如上面提到的，此成像設備可與包括在眼 跟蹤器130中的一個或多個設備135a和/或135b相同。成4象設備還適合于
將圖像數(shù)據(jù)DBOBY的表示發(fā)送給數(shù)據(jù)處理單元110。根據(jù)成像設備的處理
能力，這意味著單元110接收原始圖像數(shù)據(jù)本質上如成像設備記錄的)或 圖像數(shù)據(jù)的處理版本。在后面的情況中，成像設備給數(shù)據(jù)處理單元110提 供包括相關的位置/時間信息、運動矢量等的信號。
數(shù)據(jù)處理單元110適合于接收眼跟蹤數(shù)據(jù)Deye以及圖像數(shù)據(jù)DBODY的 表示?；谠摂?shù)據(jù)，單元110表現(xiàn)反饋數(shù)據(jù)FB,以便在最初階段期間，數(shù) 據(jù)FB基于凝視點pg的絕對位置而產生；且在最初階段之后的階段期間，
數(shù)據(jù)FB基于圖像數(shù)據(jù)DBODY而產生。優(yōu)選地，數(shù)據(jù)處理單元110包括或 者關聯(lián)于存儲器單元115,其適合于存儲用于控制單元110以執(zhí)行這個過 程的軟件。
現(xiàn)在到圖2，我們看到圖1中顯示器120的更為詳細的圖。自然地， 反饋數(shù)據(jù)FB可表示很多不同形式的圖形信息，如GUI的加亮、所謂的小 程序(applet)的啟動等。
根據(jù)本發(fā)明的一個實施方案，反饋數(shù)據(jù)FB表示圖形指針210。在此實 施方案中，數(shù)據(jù)處理單元110適合于在最初階段期間將顯示器120上的指 針210定位在由凝視點Pg限定的幵始位置Ls。(即，顯示區(qū)域，眼跟蹤器 130估計將指向該顯示區(qū)域的用戶的凝視)。因此，在開始位置Ls的指針 210可覆蓋凝視點pg，或在具有相對于凝視點Pg的特定位置的位置。
在圖2中說明的實施例中，顯示器120也以主要對象220的形式顯示 圖形，該主要對象又分別包括第一和第二屏幕上按鈕221和222。這里，
我們假設用戶140打算啟動第二屏幕上按鈕222,且因此有興趣在此圖形 對象上移動指針210。因此，實際的凝視點可定位在主要對象220的中心 (即，大約在Pg)。
為了在期望的位置放置指針210，在隨后的階段期間，用戶140將特 定的身體部分例如他/她的頭部145移動MR。成像設備記錄此運動MR，并 產生對應的圖像數(shù)據(jù)DBODY，其表示被發(fā)送到數(shù)據(jù)處理單元110。此單元 110又使反饋數(shù)據(jù)FB在顯示器120上表現(xiàn)，使得指針210從開始位置Ls
移動(即，指針210響應于圖像數(shù)據(jù)DBODY而移動)。
根據(jù)本發(fā)明的一個優(yōu)選實施方案，數(shù)據(jù)處理單元適合于將圖像數(shù)據(jù)
DBQDY的表示解譯為表示圖形指針210從開始位置Ls按以下方式的相對重
新定位dR:身體部分145的特定運動MR引起圖形指針210的預先確定的 重新定位。即，從肌肉運動的觀點來看，這對用戶140是非常直觀的運動 過程。當然，在這里，運動MR和重新定位dR之間的任何關系都是可想象 的。在很多時候，完全的線性關系可能是希望有的。然而，在其它應用中 非線性關系可能更有效。在任何情況下，如果身體部分145的一般的向右 運動使指針210在顯示器上向右移動，而身體部分145的一般的向左運動 使指針210在顯示器上向左移動等是有利的。自然地，數(shù)據(jù)處理單元110 也可適合于區(qū)分更復雜的運動MR,以便指針210可響應于身體部分運動 而在顯示器120上在任意方向移動。
而且，如果數(shù)據(jù)處理單元110適合于使顯示器120在隨后階段期間響 應于圖像數(shù)據(jù)DBODY而重復更新所表示的反饋數(shù)據(jù)FB是有利的。優(yōu)選地， 這樣的更新以相對高的頻率如每秒10至30次執(zhí)行。由此，反饋數(shù)據(jù)FB 可描述呈現(xiàn)為響應于運動MR而連續(xù)移動的圖形指針210。
根據(jù)本發(fā)明的一個優(yōu)選實施方案，圖形信息GR[S, FB]包括表示非反 饋數(shù)據(jù)的第一部分S和表示反饋數(shù)據(jù)FB的第二部分。參考圖2中示出的 例子，主要對象220、第一屏幕上按鈕221和第二屏幕上按鈕222可組成 包括在第一部分S中的數(shù)據(jù)，而指針210包括在第二部分FB中。在本實 施方案中，數(shù)據(jù)處理單元110適合于使包括在第二數(shù)據(jù)部分中的反^f數(shù)據(jù) (FB)表現(xiàn)在顯示器120上的確定位置，其中確定位置的定位取決于第一
部分S的內容。
例如，當定位在屏幕上按鈕221或222的任一個之上時，反饋數(shù)據(jù)FB 可表示指針210，以便當指針放置在這里時這些按鈕可以通過產生確定命 令而被操作。然而，每當定位在文本窗上時，反饋數(shù)據(jù)FB可改為表示該 窗的加亮。自然地，根據(jù)本發(fā)明，可提出視覺引導信息的許多可選形式。 反饋數(shù)據(jù)的類型或特征可取決于第一部分S的內容。因此，當在文本窗上 定位時，反饋數(shù)據(jù)FB可表示光標符號；而當定位在其它類型的可操作的 GUI對象之上或足夠近時，反饋數(shù)據(jù)FB可表示指針或類似的圖形符號。
而且，凝視點PG和反饋數(shù)據(jù)FB的定位之間的關系可以是非線性的。 例如，顯示器120上的一個或多個GUI對象可與"重力場"相關聯(lián)。這可 暗示如果凝視點PG沒有位于任何GUI對象上，然而在離第一 GUI對象的 特定距離內，則反^t數(shù)據(jù)FB (例如以圖形指針210的形式)表現(xiàn)在第一 GUI對象處。
根據(jù)本發(fā)明的一個實施方案，上面提到的最初階段由用戶140手工啟 動。因此，數(shù)據(jù)處理單元110適合于接收用戶產生的開始命令。單元110 還適合于響應于這樣的開始命令的接收而啟動最初階段。本系統(tǒng)包括至少 一個裝置，其適合于接收開始命令。優(yōu)選地，開始命令通過啟動機械輸入 構件(例如鍵、按鈕、開關、踏板等)、發(fā)出語音命令、在極限駐留時間 期間將凝視點P(j定位在顯示器120 (例如，接近于指針210的當前位置， 或在可選的可操作的GUI對象之上)的特定區(qū)域內、和/或根據(jù)預定的運 動序列(例如，來自/到特定GUI對象的掃視)移動凝視點P(j來產生。
通常，優(yōu)選地，最初階段比較短，即，具有大約為0, 1到2秒的持 續(xù)時間。非常短的最初階段可能是優(yōu)選的，因為當時反饋數(shù)據(jù)FB被理解 為響應于到用戶140的凝視所指向的地方而"即時地"出現(xiàn)。在許多應用 中，如果在最初階段完成之后自動開始隨后的階段是進一步希望有的。為 了這個目的，根據(jù)本發(fā)明的一個實施方案，數(shù)據(jù)處理單元110適合于在最 初階段開始之后的預定時間啟動隨后的階段。
例如，用戶140可通過按下與數(shù)據(jù)處理單元110關聯(lián)的4A盤上的指定 鍵來啟動最初階段。與壓下鍵有關，用戶140他/她的凝視點PG放置于顯
示器120上的期望位置。此后不久，接著是隨后的階段(自動地)，且在
這個階段期間，用戶140通過他/她的身體部分運動MR來控制數(shù)據(jù)處理單 元IIO。接著，當反々貴數(shù)據(jù)FB指示已經得到期望的輸入狀態(tài)時，用戶140 釋放指定的鍵以結束隨后的階段。
根據(jù)本發(fā)明的另一實施方案，隨后階段被手工啟動。因此，數(shù)據(jù)處理 單元110適合于接收用戶產生的觸發(fā)命令，響應于這樣的觸發(fā)命令的接收 而啟動隨后的階段。優(yōu)選地，觸發(fā)命令通過啟動機械輸入構件(例如鍵、 按鈕、開關、踏板等)、發(fā)出語音命令、在極限駐留時間期間將凝視點PG 定位在顯示器120 (例如，接近于指針210的當前位置，或在可選的可操 作的GUI對象之上)的特定區(qū)域內、和/或根據(jù)預定的運動序列(例如， 來自/到特定GUI對象的掃視)移動凝視點Po來產生。因此，系統(tǒng)包括至 少 一個裝置，其適合于以這些形式中的至少一個接收觸發(fā)命令。
值得注意的是，根據(jù)本發(fā)明，在最初階段期間用戶140的凝視點PG 實際上不需要定位在顯示器120上。相反地，在這階段期間，凝視點PG 可指向所謂的屏外(0ff-screen)按鈕，即，由顯示器120之外(例如在顯 示框上)的區(qū)域表示的與軟件有關的控制裝置。這樣的屏外按鈕的啟動可 使反饋數(shù)據(jù)FB (比方說，以下拉列表的形式)表現(xiàn)在顯示器120上(優(yōu)選 地接近于由凝視點PG識別的屏外按鈕)。因此，在隨后階段期間，用戶140 可通過進行合適的身體部分運動MR來在下拉列表中導^t。屏外按鈕是期 望有的，因為它們有效地利用熒屏表面。
為了總結，現(xiàn)在參考圖3中的流程圖來描述根據(jù)本發(fā)明控制計算機系 統(tǒng)的一關i方法。
初始步驟310檢查是否已收到開始命令。優(yōu)選地，根據(jù)上面已經討論 的，該命令是用戶產生的。如果沒有收到這樣的命令，則過程循環(huán)回并停 留在步驟310，否則步驟320跟隨。步驟320在顯示器上表現(xiàn)反饋數(shù)據(jù)， 以便反饋數(shù)據(jù)基于相對于顯示器的用戶凝視點的絕對位置而產生。
結果，步驟330檢查用于啟動隨后階段的條件是否滿足。如上面提到 的，在開始步驟320中執(zhí)行的最初階段之后或當接收到觸發(fā)命令時，此條 件可由預先確定的時間間隔表示。在任何情況下，如果條件不滿足，則過
程循環(huán)回到步驟320。否則，步驟340跟隨，其表示基于表示用戶的特定 身體部分的運動的圖像數(shù)據(jù)而產生的反饋數(shù)據(jù)。
此后，步驟350檢查是否滿足停止標準。如果表示停止標準的滿足的 停止信號由用戶手工產生是非常有利的。即，只有用戶知道什么時候完成 響應于他/她的身體部分的運動而被控制的確定操作。因此，停止信號可通 過啟動機械輸入構件(例如鍵、按鈕、開關、踏板等)、發(fā)出語音命令、 在極限駐留時間期間將凝視點PG定位在顯示器120(例如，接近于指針210 的當前位置，或在可選的可操作的GUI對象之上)的特定區(qū)域內、根據(jù)預 定的運動序列(例如，來自/到特定GUI對象的掃視)移動凝視點Pe、和/ 或釋放指定的鍵來產生。
如果在步驟350中發(fā)現(xiàn)滿足停止標準，則過程循環(huán)回到步驟310。否 則，過程循環(huán)回到步驟340。自然地，與停止標準的滿足有關，數(shù)據(jù)處理 單元可適合于執(zhí)行例如與通過上述過程選擇并可能啟動的可操作的GUI 對象有關的一個或多個操作。
上面參考圖3描述的所有的過程步驟以及步驟的任何子序列可通過編 程的計算機裝置來控制。而且，雖然上面參考附圖描述的本發(fā)明的實施方 案包括計算機裝置和在計算機裝置執(zhí)行的過程，本發(fā)明因而也延伸到計算 機程序，尤其是在載體上或內適合于將本發(fā)明付諸實踐的計算機程序。程 序可以是以源代碼、目標代碼、代碼中間源和目標碼的形式例如以以部分 編譯的形式、或者以適合于用在根據(jù)本發(fā)明的過程的實現(xiàn)中的任何其它形 式。程序可為操作系統(tǒng)的一部分，或為獨立的應用。載體可以是能夠攜帶 程序的任何實體或設備。例如，載體可包括存儲介質例如閃存、ROM(只 讀存儲器)例如CD (光盤)或半導體ROM、 EPROM (可擦除可編程只 讀存儲器)、EEPROM (電擦除可編程只讀存儲器)、或磁記錄介質例如軟 盤或硬盤。進一步地，載體可以是可傳輸?shù)妮d體，例如電或光信號，其可 通過電纜或光纜或者通過無線電或通過其它裝置傳輸。當程序嵌入可由電 纜或其它設備或裝置直接傳輸?shù)男盘枙r，載體可由這樣的電纜或設備或裝 置組成?？蛇x地，載體可以是嵌入程序的集成電路，集成電路適合于執(zhí)行 或用于執(zhí)行相關的過程
術語"包括/包含"當用在本說明書中時被采用來指定規(guī)定的特征、完 整物、步驟或部件的存在。然而，此術語不排除一個或多個附加的特征、 完整物、步驟或部件或其中的組的存在或添加。
所參考的現(xiàn)有技術形成共有的 一般知識的 一部分的確認或任何建議。
本發(fā)明沒有被限制到附圖中所描述的實施方案，但可在權利要求的范 圍內自由地改變。
權利要求
1. 一種計算機系統(tǒng)，其包括數(shù)據(jù)處理單元(110)、顯示器(120)以及適合于記錄相對于所述顯示器(120)的用戶(140)的凝視點(PG)的眼跟蹤器(130)，數(shù)據(jù)處理單元(110)適合于將圖形信息(GR[S，F(xiàn)B])表現(xiàn)在所述顯示器(120)上，所述圖形信息(GR[S，F(xiàn)B])包括基于所述凝視點(PG)以及所述用戶(140)的身體部分(145)的運動(MR)而產生的反饋數(shù)據(jù)(FB)，所述計算機系統(tǒng)特征在于所述系統(tǒng)包括至少一個成像設備(135a，135b)，所述成像設備適合于記錄表示運動(MR)的圖像數(shù)據(jù)(DBODY)并將所述圖像數(shù)據(jù)(DBODY)的表示發(fā)送給所述數(shù)據(jù)處理單元(110)，以及所述數(shù)據(jù)處理單元(110)適合于表現(xiàn)所述反饋數(shù)據(jù)(FB)，以便:在最初階段期間，所述數(shù)據(jù)(FB)基于所述凝視點(PG)的絕對位置而產生，以及在所述最初階段隨后的階段期間，所述數(shù)據(jù)(FB)基于所述圖像數(shù)據(jù)(DBODY)而產生。
2. 根據(jù)權利要求1所述的計算機系統(tǒng)，其特征在于所述數(shù)據(jù)處理單 元(110)適合于接收用戶產生的開始命令，以及響應所述開始命令的接收而啟動所述最初階段。
3. 根據(jù)權利要求2所述的計算機系統(tǒng)，其特征在于所述系統(tǒng)包括適 合于接收具有下列項中的至少一種形式的所述開始命令的至少一個裝置機械輸入構件的啟動，語音命令，在極限駐留時間期間在所述顯示器(120)的特定區(qū)域內所述凝視點 (Pg)的定位，以及所述凝視點(PG)的預定的運動序列。
4. 根據(jù)前述權利要求中任一項所述的計算機系統(tǒng)，其特征在于所述數(shù) 據(jù)處理單元(110)適合于在所述最初階段的預先確定的持續(xù)時間之后啟動 所述隨后階段。
5. 根據(jù)權利要求1至3中的任一項所述的計算機系統(tǒng)，其特征在于所 述數(shù)據(jù)處理單元(110)適合于接收用戶產生的觸發(fā)命令，以及響應所述觸發(fā)命令的接收而啟動所述隨后階段。
6. 根據(jù)權利要求5所述的計算機系統(tǒng)，其特征在于所述系統(tǒng)包括適合 于接收具有下列項中至少 一種形式的所述觸發(fā)命令的至少 一個裝置才幾械輸入構件的啟動，語音命令，在極限駐留時間期間在所述顯示器(120)的特定區(qū)域內所述凝視點 (Pg)的定位，以及所述凝視點(PG)的預定的運動序列。
7. 根據(jù)前述權利要求中任一項所述的計算機系統(tǒng)，其特征在于所述反 饋數(shù)據(jù)(FB)表示圖形指針(210),并且所述數(shù)據(jù)處理單元(110)適合于在所述最初階段期間，將所述顯示器(210)上的所述指針(210)定 位在由所述凝視點(PG)反映的開始位置(Ls)，以及在所述隨后階段期間，響應于所述圖像數(shù)據(jù)(DBODY)而從所述開始 位置(Ls)移動所述指針(210)。
8. 根據(jù)權利要求7所述的計算機系統(tǒng)，其特征在于所述數(shù)據(jù)處理單 元(110)適合于解譯所述圖像數(shù)據(jù)(DBODY)以便按以下方式表示所述圖 形指針(210)從所述開始位置(Ls)的相對重新定位(dR):所述身體部 分(145)的特定運動(MR)引起所述圖形指針(210)的預先確定的重新 定位。
9. 根據(jù)權利要求7或8中的任一項所述的計算機系統(tǒng)，其特征在于所 述數(shù)據(jù)處理單元(110)適合于使所述顯示器(120)在所述隨后階段期間響應于所述圖像數(shù)據(jù)(DBODY)而重復更新被表現(xiàn)的反饋數(shù)據(jù)(FB)。
10. 根據(jù)前述權利要求中任一項所述的計算機系統(tǒng)，其特征在于所述 至少一個成像設備(135a， 135b)包括在所述眼跟蹤器(130)中。
11. 根據(jù)前述權利要求中任一項所述的計算機系統(tǒng)，其特征在于所述 圖形信息(GR[S, FB])包括表示非反饋數(shù)據(jù)的第一部分(S)和表示所述 反饋數(shù)據(jù)的第二部分(FB)，以及所述數(shù)據(jù)處理單元(110)適合于在所述 顯示器(120)上的確定位置表現(xiàn)所述第二部分(FB),所述確定位置的定 位取決于所述第一部分(S)的內容。
12. —種控制計算機系統(tǒng)的方法，所述計算機系統(tǒng)包括數(shù)據(jù)處理單元 (110)、顯示器(120)以及適合于記錄相對于所述顯示器(120)的用戶 (140)的凝視點(PG)的眼跟蹤器(130),所述方法包括在所述顯示器 (120)上表現(xiàn)圖形信息(GR[S, FB]),所述圖形信息(GR[S, FB])包括基于所述凝視點(PG)以及所述用戶(140 )的身體部分(145 )的運動(MR) 而產生的反饋數(shù)據(jù)(FB)，所述方法的特征在于記錄表示所述運動MR的圖像數(shù)據(jù)(DBODY )，以及表現(xiàn)所述反饋數(shù)據(jù)(FB),以便在最初階段期間所述數(shù)據(jù)(FB)基于 所述凝視點(PG)的絕對位置而產生，以及在所述最初階段隨后的階段期 間所述數(shù)據(jù)(FB)基于所述圖像數(shù)據(jù)(DBODY)而產生。
13. 根據(jù)權利要求12所述的方法，其特征在于 接收用戶產生的開始命令，以及 響應于所述開始命令的接收而啟動所述最初階段。
14. 根據(jù)權利要求13所述的方法，其特征在于接收具有下列項中至少 一種形式的所述開始命令才幾械輸入構件的啟動，語音命令，在極限駐留時間期間在所述顯示器(120)的特定區(qū)域內所述凝視點 (Pg)的定位，以及所述凝視點(PG)的預定的運動序列。
15. 根據(jù)權利要求12到14中的任一項所述的方法，其特征在于在所 述最初階段的預先確定的持續(xù)時間之后啟動所述隨后階段。
16. 根據(jù)權利要求12到15中的任一項所述的方法，其特征在于 接收用戶產生的觸發(fā)命令，以及 響應所述觸發(fā)命令的接收而啟動所述隨后階段。
17. 根據(jù)權利要求16所述的方法，其特征在于接收具有下列項中至少 一種形式的所述觸發(fā)命令機械輸入構件的啟動，語音命令，在極限駐留時間期間在所述顯示器(120)的特定區(qū)域內所述凝視點 (PG)的定位，以及所述凝視點(PG)的預定的運動序列。
18. 根據(jù)權利要求12到17中的任一項所述的方法，其特征在于所述 反饋數(shù)據(jù)(FB)表示圖形指針(210),以及所迷方法包括在所述最初階段期間，將所述顯示器(210)上的所述指針(210) 定位在開始位置(Ls)，所述開始位置(Ls)由所述凝視點(PG)反映，以 及在所述隨后階段期間，響應于所述圖像數(shù)據(jù)(DBODY)而從所述開始 位置(Ls)移動所述指針(210)。
19. 根據(jù)權利要求18所述的方法，其特征在于解譯所述圖像數(shù)據(jù) (DBODY)以便表示所述圖形指針(210)從所述開始位置(Ls)的相對重新定位(dR),使得所述身體部分(145)的特定運動(MR)引起所述圖形 指針(210)的預先確定的重新定位。
20. 根據(jù)權利要求18或19中的任一項所述的方法，其特征在于在所 述隨后階段期間響應于所述圖像數(shù)據(jù)(DB0DY)而表現(xiàn)在所述顯示器(120 ) 上表現(xiàn)的反^t貴數(shù)據(jù)(FB)的重復更新。
21. 根據(jù)權利要求12到20中的任一項所述的方法，其特征在于所述圖形信息(GR[S, FB])包括表示非反饋數(shù)據(jù)的第一部分(S)以及表示所 述反々貴數(shù)據(jù)的第二部分(FB)，所述方法包括在所述顯示器(120)上的確 定位置表現(xiàn)所述第二部分(FB)，所述確定位置的定位取決于所述第一部 分(S)的內容。
22. —個可直接裝入計算機的存儲器(115)的計算機程序，所述計算 機程序包括當所述程序在計算機上運行的時候用于控制權利要求12到15 中任一項的步驟的軟件。
23. —種計算機可讀介質(115)，其具有記錄于其上的程序，其中所 述程序使計算機控制權利要求12到20中任一項的步驟。
全文摘要
本發(fā)明涉及計算機系統(tǒng)的控制，計算機系統(tǒng)包括數(shù)據(jù)處理單元(110)、顯示器(120)以及適合于記錄相對于顯示器(120)的用戶(140)的凝視點(P_G)的眼跟蹤器(130)。數(shù)據(jù)處理單元(110)適合于在顯示器(120)上表現(xiàn)圖形信息(GR[S，F(xiàn)B])，該圖形信息包括反映輸進單元(110)的用戶(140)命令的反饋數(shù)據(jù)(FB)。數(shù)據(jù)處理單元(110)適合于表現(xiàn)反饋數(shù)據(jù)(FB)，以便在最初階段期間反饋數(shù)據(jù)(FB)基于凝視點(P_G)的絕對位置而產生。系統(tǒng)的成像設備(135a，135b)也適合于記錄表示用戶(140)的身體部分(145)的運動(M_R)的圖像數(shù)據(jù)(D_BODY)，且適合于將圖像數(shù)據(jù)(D_BODY)的表示發(fā)送給數(shù)據(jù)處理單元(110)。因此，在最初階段之后的階段期間，數(shù)據(jù)(FB)改為基于圖像數(shù)據(jù)(D_BODY)而產生。
文檔編號G06F3/01GK101379456SQ200780004075
公開日2009年3月4日 申請日期2007年1月17日 優(yōu)先權日2006年2月1日
發(fā)明者J·埃爾韋舍, 喬漢·沙倫, 安德斯·奧爾森 申請人:托比伊科技公司