專利名稱：控制對象閱覽器的導航和顯示的移動檢測和跟蹤系統(tǒng)的制作方法
背景技術：
本發(fā)明總的來說是關于用戶接口，尤其是關于提供移動檢測與跟蹤、利用一個參考導航目標來控制多維對象數(shù)據(jù)庫的導航和顯示的計算機接口。
在最近的幾十年，在開發(fā)和優(yōu)化人與計算機的交互作用方面取得巨大的進步。在用戶接口以及在數(shù)據(jù)性能、顯示靈活性和通信能力方面的改進導致象因特網(wǎng)瀏覽器、電子郵件、圖形節(jié)目、成像節(jié)目和視頻游戲等可以向用戶提供內(nèi)容豐富的信息的應用的廣泛使用。僅管討論用戶接口發(fā)展的各個階段是沒有必要的，但是下面指出的發(fā)展是說明性的，為理解本發(fā)明的應用提供了一個基礎。
傳統(tǒng)的人機接口10在大小和形式上各種各樣，包括桌面型計算機、遠程終端和移動裝置，如膝上型計算機、筆計本計算機、手持計算機、和佩帶式計算機。
在個人計算機時代的開始，桌上型計算機一直統(tǒng)治著該領域，今天也一直是這樣。

圖1描述了一個傳統(tǒng)的桌上型計算機的人機接口10，傳統(tǒng)的臺式計算機10一般地包括一個顯示裝置12，一個鍵盤14和一個指示裝置16。該顯示裝置12一般地通過一臺計算機物理地連接到鍵盤14和指示裝置16，該指示裝置16和按鈕18可以物理地集成進該鍵盤14。
在傳統(tǒng)臺式計算機人機接口10中，鍵盤14用于將數(shù)據(jù)鍵入該計算機系統(tǒng)。另外，該用戶可以利用該指示裝置16通過在顯示裝置12上的選擇而控制該計算機系統(tǒng)。例如利用該指示裝置，用戶可以通過選擇垂直或水平的滾動條38和36而滾動該顯示區(qū)。
隨著半導體制造技術的發(fā)展，移動式個人計算機如筆計本和手持計算機正在不斷地增長。筆計本和手持式計算機通常是由兩個機械鏈接的組件組成，一個包含必要的顯示裝置12，另一個包含鍵盤14和指示裝置16。鉸鏈把這兩個機械組件與一個靈活的、連接該組件且嵌入在該鉸鏈機構中的帶狀電纜鏈接在一起。這兩個組件可以象一本書一樣關上，通常閉鎖以最小化不經(jīng)意間的打開。
筆計本計算機極大地增加了個人計算機的可移動性，但是在二十世紀九十年代，一種新的計算機接口范例出現(xiàn)了，它允許更大的可移動性和自由，并由此產(chǎn)生個人數(shù)字助理20(PDA)。第一個商業(yè)上成功的PDA是由3Com公司制造的Palm產(chǎn)品線(PalmPilotTM)。這些機器尺寸小、質(zhì)量輕并且相對便宜，通?？梢苑旁诳诖校卮蠹s幾盎司，其費用小于400美元。這些機器有非常小的內(nèi)存(通常小于2M)，小的顯示裝置28(大約6×6cm)，且沒有物理鍵盤。類似筆的指示裝置26(通常存放在PDA的旁邊或其上)作用于顯示區(qū)28來使用戶進行選擇或與PDA裝置20交互。外部的通信是通過PDA內(nèi)一個串行口(未示出)來建立的，該口通過線24連接到一個傳統(tǒng)計算機10的支架22?？梢岳斫猓驪almPilotTM這樣的PDA已經(jīng)顯示了其作為計算機接口的商業(yè)可靠性。
圖2顯示了一個先有技術的PDA20的典型操作，它是用帶子綁在用戶的手腕上。至少有一個計算機公司Orange-otang Computers.Inc.銷售各種不同腕帶式PDA。筆指示器26握在手里，而PDA20在另一個手上。顯示區(qū)域28相對于傳統(tǒng)的計算機顯示12要小。對于掌上產(chǎn)品系列，顯示區(qū)28在6×6cm的觀測區(qū)域內(nèi)包含一個160×160像素的陣列。通常部份顯示區(qū)域還用于放置菜單及其它的，由此進一步地限制針對一個對象的觀測區(qū)域，如電子郵件的消息頁。在顯示區(qū)域內(nèi)這種限制部份地是由進行菜單條34(圖1)的操作來訪問的，這種菜單條大多數(shù)出現(xiàn)在傳統(tǒng)的計算機接口顯示12上，在一個PDA顯示28上是不可見的，除非按下了菜單按鈕29。
對象數(shù)據(jù)庫程序如地圖閱覽器提供了一套相對連續(xù)的功能集，用于閱讀二維的信息。當正在閱讀的對象大于顯示區(qū)域時，提供在整個對象上水平和垂直地滾動該顯示區(qū)域的控制。這樣的閱讀功能通常具有可見的控制，并通過一個指示裝置來訪問。如圖1所示，水平滾動通過由一個與閱讀區(qū)40水平對齊的滑動條36控制，垂直滾動通過由一個與閱讀區(qū)40垂直對齊的垂直滑動條38控制。另外，這種數(shù)據(jù)庫接口通常具有沿除水平和垂直方向之外的方向進行滾動的功能。這種功能通常由指示到一個圖標如手標42來進行控制，在按下按鈕18時將其相對于閱讀區(qū)40進行移動。
而且，對象閱覽器經(jīng)常結(jié)合放大或縮小的能力以便控制細節(jié)的分辨率在顯示裝置上可見信息的數(shù)量。放大和縮小控件30、32，作為一個或多個菜單條34中的項目，可以利用一個下拉菜單而變成可見或可用的。
最后，對象閱覽器通常包括這樣的能力，即橫截(traverse)對象集的層級組織，如電子郵件消息夾、傳真的日志文件、圖表的項目目錄或建筑的平面圖，因特網(wǎng)頁鏈接和在多級數(shù)據(jù)庫內(nèi)的代表各種級別或子系統(tǒng)的對象。
總的來說，傳統(tǒng)的人機接口10、20已經(jīng)用于各種環(huán)境中，以提供與多維和/或多級對象程序和系統(tǒng)的互連。這些接口表面上看起來能提供合理的接口。但是尺寸限制和相關的障礙徹底地限制了它們的功能和互操作性。當對象的顯示格式的期望尺寸大于顯示屏本身時，必須利用一種方法來控制在一個給定時間內(nèi)究竟在顯示屏上顯示哪一部份。除了上述的那些方法，已經(jīng)提出了很多的方法來觸發(fā)面板和滾動功能，如按一個‘箭頭’鍵沿著箭頭所指的方向，以一個預定的增幅移動顯示的內(nèi)容。另外一個筆指示器或鐵筆(stylus)可以用于激活面板和滾動功能以便移動顯示內(nèi)容。在所有這些例子中，物理顯示裝置保持相對靜止，并且更大的對象被視為智能塊(piece-wise)，然后處于對應于顯示屏的物理尺寸的、小的分段中。
在實際中，典型的方法有很多內(nèi)在的問題，如果該顯示屏相對于要觀測的對象小，按照要顯示的分段的序列，要采取很多不同的步驟來觀測整個對象，該過程可能要求利用箭頭或筆轉(zhuǎn)接(pen tap)很多后續(xù)命令的輸入，對于手持式計算機一般地要求使用兩只手，而且在屏幕上顯示的當前分段與整個對象的全部內(nèi)容間的上下關系也會變得混亂。
因此所需要的是這樣的系統(tǒng)提供簡單而又方便的方法以控制顯示內(nèi)容，保持用戶對顯示的內(nèi)容段和對象的整個內(nèi)容間的關系的理解，該方法對個人信息裝置如具有小顯示屏的手持計算機和通信裝置特別有價值，該裝置可以滿足在一只手上小而且方便與在另一只手上具有現(xiàn)代膝上型或臺式計算機的應用及性能之間的沖突要求。最好該方法允許單手控制顯示的內(nèi)容。
發(fā)明概述本發(fā)明通過提供一種新的方法來控制在小型顯示屏上出現(xiàn)的內(nèi)容來解決上面提到的問題。本發(fā)明允許用戶利用一個具有小顯示屏的手持裝置，容易地橫截大對象的任意或所有的分段，該用戶可以橫截比顯示大得多的對象。
根據(jù)本發(fā)明的一個方面的裝置包括一個數(shù)字處理器，一個計算機存儲器，一個計算機可讀介質(zhì)，一個顯示裝置和一個用于檢測該顯示裝置相對一個參考導航目標移動的裝置。該數(shù)字處理器可把駐留在計算機可讀介質(zhì)中的信息映像到用于把信息傳遞給用戶的一個虛擬顯示空間。該處理器不時地從移動檢測裝置查詢數(shù)據(jù)，并利用該數(shù)據(jù)計算該裝置相對于該裝置的用戶的相對位置。根據(jù)計算的裝置相對于用戶的位置，該處理器在顯示裝置上顯示該虛擬顯示空間內(nèi)所選擇的部份。該移動檢測裝置最好包括跟蹤該裝置相對于一個參考導航目標的運動，該目標包括一個唯一的特征集，尤其是該特征集對于所有的計算機用戶來說是共同的頭部、臉或肩膀。
本發(fā)明的另一個方面是提供一種在計算機系統(tǒng)的控制和運行期間輔助用戶保持每個顯示分段的上下文間的保持，同時橫截其顯示格式大于該顯示器的對象。該方法首先通過計算機系統(tǒng)將要顯示的全尺寸的對象映射進一個虛擬的顯示空間，下一步，實際地顯示該虛擬空間的某一部份。然后，通過一個運動檢測裝置捕獲一個圖像，然后從該捕獲的圖像中獲取一個參考導航目標，最后，相對于該參考導航目標跟蹤該裝置的移動，并且該虛擬顯示空間中所顯示的部份以與該跟蹤的移動相關的方式改變。最好，該裝置的移動是相對于一個參考導航目標跟蹤的。該參考導航目標包括唯一的人的特征集頭、臉和/或用戶肩膀。
在優(yōu)選的實施例中，前面所描述的對象具有詳細的類型或內(nèi)容豐富的信息，如地理圖、電子圖表、視頻或靜止圖像、文本文件或因特網(wǎng)網(wǎng)頁。該手持裝置是個人信息裝置如手持計算機或移動通信裝置，能夠顯示文本或圖形信息，僅管它是在為手持裝置、佩帶式或可放口袋的個人信息裝置定制的顯示器上。本發(fā)明的該方面允許用戶象前述的那樣橫截該對象。而且，該用戶可以使用個人信息裝置的其它功能，如通知與其它記錄消息交談，同時使用虛擬顯示空間顯示本發(fā)明的管理應用。
附圖簡述圖1顯示了一個已有技術的系統(tǒng)，包括一個傳統(tǒng)的計算機人機接口和一個個人數(shù)字助理；圖2顯示了處于典型操作中的一個已有技術的個人數(shù)字助理；圖3描述了一個手持計算機，包括根據(jù)本發(fā)明的一個實施例用于檢測相對于該用戶的計算機的移動的視頻照像機和隨后使用的移動模板以便描述用戶的控制交互；圖4描述了按照本發(fā)明的一個優(yōu)選實施例的系統(tǒng)方框圖，其具有結(jié)合在該處理器和本地移動處理裝置中的嵌入式數(shù)據(jù)庫；圖5描述了按照本發(fā)明的一個優(yōu)選實施例的方法的流程圖6描述按照本發(fā)明的一個優(yōu)選實施例的地圖觀測應用的初始顯示，其中該用戶指示一個放大和滾動來聚焦在California；圖7描述了先前圖形中給出了California地圖的用戶控制交互的結(jié)果，也給出了用戶的下一個控制交互，它將導致顯示放大和聚焦在San Francisco Bay Area。
圖8描述了先前圖形中給出了San Francisco Bay Area地圖的用戶控制交互的結(jié)果，也給出了用戶的下一個控制交互，它將導致顯示放大和聚焦在San Francisco的WaterFront。
圖9、10、11描述了先前圖形中給出了San Francisco WaterFront地圖的用戶控制交互的結(jié)果，也給出了用戶的下一個控制交互，它將導致顯示放大和聚焦在San Francisco的WaterFront的一部份；圖12描述了手持式計算機的旋轉(zhuǎn)運動的結(jié)果，它沒有旋轉(zhuǎn)平移；圖13描述了按照本發(fā)明的與膝上型或臺式計算機相結(jié)合的手持計算機；圖14描述了按照本發(fā)明的實施例的個人信息裝置。
本發(fā)明的詳細描述本發(fā)明的中心思想是顯示裝置相對于一個參考導航目標的移動控制一個對象閱覽器，此時，該對象被作為該顯示裝置的平面內(nèi)虛擬空間中的靜止狀態(tài)對待，一個或多個安裝在該顯示裝置上并可操作地耦合到一個移動處理器的成像裝置如照像機，從該移動處理器獲取一個參考導航目標的圖像上捕獲一個圖像。該參考導航目標最好包括一個唯一的特征集如用戶的頭、臉和/或肩膀。該參考導航目標也可以包括具有一個唯一特征集的項目(item)，特征集附屬于用戶的一部份或用戶的衣物，該移動處理器跟蹤該顯示裝置相對于參考導航目標的的移動并向數(shù)字處理器提供一個運動數(shù)據(jù)向量，該數(shù)字處理器以與顯示裝置的跟蹤移動有關的方式更新該對象的顯示部份。以這種方式，該用戶能橫截整個對象，并能以整體形式或顯示分段序列的方式檢查該整個對象。
唯一的人的特征集，如人的頭部、臉和/肩膀，優(yōu)選地用于此目的，涉及該顯示裝置的所有的有用的應用，用戶一般地位于顯示裝置的前端并在觀看顯示裝置的顯示屏。因此，照像機可以很方便地定位及定向以獲取移動跟蹤的期望特征集。
圖3描述了按照本發(fā)明的一個實施例的手持計算機20，包括一個以這樣的方式定向的視頻照像機60，即用戶的唯一特征集在該用戶觀看顯示裝置28時被捕獲。在所說明的實施例中，附加的照像機可安裝在計算機20上以達到本發(fā)明的目標。而且，圖3中所包含的運動模板62要用于描述以后的用戶控制操作，該手持式計算機被認為是具有對控制該顯示裝置28來說是內(nèi)部的處理器。
圖3所示的顯示裝置28與計算機20一樣布置在同一外殼內(nèi)。本發(fā)明并不限于其中顯示裝置28和計算機20是物理地連接或布置在同一外殼內(nèi)裝置。在顯示裝置與計算機是彼此遠距離分開的情形，不管是通過有線連接或無線連接，成像裝置都是布置在顯示裝置外殼上或內(nèi)，以便根據(jù)本發(fā)明來捕獲圖像。
視頻照像機60最好耦合到一個用于向該內(nèi)部處理器提供運動向量測量的運動處理器。注意該運動向量測量的各部份可以以不同的速率進行采樣。圖4描述了一個這樣的系統(tǒng)。數(shù)據(jù)庫110結(jié)合一個嵌入式數(shù)據(jù)庫120。通過連接114耦合到該處理器是一個運動處理器115和一個照像機116。同時通過連接112耦合到處理器110的是一個顯示裝置118。連接112和114可以是有線或無線的，僅有的限制在于該照像機116被放置在顯示裝置118上。此運動處理器最好提供檢測手持顯示裝置的轉(zhuǎn)動的能力，同時同步地確定平移運動。在本發(fā)明的一個優(yōu)選的實施例中，參照導航目標的某些特征如用戶頭部的相對明顯尺寸或用戶眼睛間的相對距離，用于使能放大控制以調(diào)整在顯示裝置上可見信息的數(shù)量和/或細節(jié)的分辯率。
運動處理器相對于包含參照導航目標的參照幀產(chǎn)生了一個運動向量，某些優(yōu)選實施例將使用二維的參考幀，而其它的一些實施例將使用三維的參考幀。某些優(yōu)選實施例將使用一個直線軸系統(tǒng)，而其它的實施例將使用一個射線軸系統(tǒng)。在一個優(yōu)選實施例中，原點放置在參照導航目標的主要特征上，如人的鼻子上。
該手持裝置20還可以進一步地利用其它的控制輸入如語音命令或該手持計算機20的一側(cè)的按鈕61來進一步地增大。該控制輸入可以激活和/或去激活運動控制顯示管理功能。另外，這些控制輸入可以鎖定激活時的顯示或鎖定在期望的軸向或徑向的顯示的運動，注意，為了本發(fā)明的目的，某些控件如按鈕可以放置在該手持裝置20的任意一側(cè)或面對它。
本發(fā)明的運動檢測和跟蹤系統(tǒng)包括至少一個圖像捕獲裝置如照像機，圖像存儲能力，圖像處理功能和顯示裝置運動估計功能。參照圖5，在操作200中，一個圖像捕獲裝置提供了環(huán)境內(nèi)、緊靠手持裝置附近的一個捕獲的圖像，如用戶的頭、臉和/或肩膀的視圖或肩膀的視圖。圖像存儲性能維持代表一個或多個導航參照目標(如用戶的頭、臉和肩膀的類屬表示和/或可以被圖像處理功能使用的當前或先前捕獲的圖像)的特征集的一個或多個參照圖像。在操作210中，圖像處理功能使用一個或多個捕獲的圖像以獲取和標識在圖像捕獲裝置的視野內(nèi)導航參照目標(如用戶的頭、臉和/或肩膀)的位置。以前存儲的類屬參照圖像數(shù)據(jù)可以用為一種輔助手段以標識包含其它前景和背景圖像數(shù)據(jù)的圖像幀內(nèi)導航參照目標。在操作220中，運動估計進程隨后計算該導航參照目標相對于該顯示裝置的相對位置，其計算是利用增長運動、相對運動、立體照像測量或其它測量方法來進行的。該導航參照目標的新的位置與其先前估計的位置進行比較，并將所有的變化轉(zhuǎn)換成該顯示裝置的新的運動和位置估計。隨著顯示裝置的位置相對于導航參照目標被運動估計方法的更新，操作230使該信息對一個控制顯示裝置上的顯示的內(nèi)容的對象閱覽器應用來說是可用的。在操作240，虛擬顯示空間的顯示部份以相對于所跟蹤的移動的方式進行更新。
本發(fā)明有很多的實際應用，一個例子是允許用戶僅使用運動橫截一個地圖數(shù)據(jù)庫。圖3描述了運行地圖閱覽器數(shù)據(jù)庫應用的手持計算機，該數(shù)據(jù)庫包含了美國各個地區(qū)的地圖，并顯示在計算機顯示裝置28上。
通過沿著正向的Z軸移動手持計算機20，用戶可以把該地圖縮放到一個特定的區(qū)域，如在圖6中所示的更近地觀察California。沿著正向Z軸持續(xù)地移動，用戶就可以縮放到更特定的區(qū)域，如SanFrancisco Bay Area(圖7)、San Francisco waterfront(圖8)、最后就可以看到San Francisco waterfront的街道地圖(圖9,10,11)。
在任意的縮放水平，用戶都可以沿著x軸、y軸或同時沿兩軸移動該手持計算機20以便沿相應的方向仔細地探究該地圖。圖9描述了San Francisco waterfiont區(qū)域。通過沿著正向x軸70移動手持計算機20，用戶可以在沿圖10所描述的朝東的方向探究該地圖，沿著正向x軸74持續(xù)地移動可以一直沿朝東方向研究地圖(如圖11所示)。
圖12描述了旋轉(zhuǎn)移動手持計算機20的結(jié)果。此時，當計算機20沿一個軸轉(zhuǎn)動時顯示28并不改變。注意，但是本發(fā)明的其它實施例可以包括跟蹤性能，使得本發(fā)明可以跟蹤計算機20的旋轉(zhuǎn)并使顯示28按照計算機20的轉(zhuǎn)動而改變。本實施例將使一個二維的顯示在三維的空間內(nèi)進行旋轉(zhuǎn)以表示在本裝置內(nèi)三維數(shù)據(jù)庫的各個觀測點。
本發(fā)明的另一個實施例是結(jié)合使用一個手持計算機20和一個傳統(tǒng)的膝上型或臺式計算機10，如圖13所示。該手持計算機20包括一個如前所述的運動檢測裝置。該手持計算機20利用一個電子耦合裝置(包括連接線、紅外線的或射頻發(fā)送)耦合到該臺式計算機10。
本實施例可以使用戶利用手持計算機20就象是用一個典型的計算機鼠標，該用戶能移動手持計算機20來移動、選擇或控制在臺式計算機顯示裝置上顯示的項目。而且，用戶可以橫截在手持計算機20的存儲器內(nèi)虛擬對象并可以利用該信息及在臺式計算機10內(nèi)的信息。例如，用戶可以利用手持計算機20的運動來橫截手持裝置20的存儲器內(nèi)地理圖，當用戶想知道在手持計算機的顯示裝置上的感興趣區(qū)域的更詳細的信息時，用戶可以通過電子耦合連接把該特定地區(qū)座標上載到臺式計算機10。該臺式計算機然后就可以利用該座標及內(nèi)部的數(shù)據(jù)庫來向用戶提供特定的地理信息。
而且，可以結(jié)合臺式計算機10和手持計算機20利用因特網(wǎng)向用戶提供附加的信息，通過利用臺式計算機下載附加的地理信息進一步地促進了前述的例子。在把座標上載到臺式計算機后，如前所述的，就可以利用該臺式計算機從因特網(wǎng)上搜索附加的地理信息。臺式計算機可以直接搜索使用手持計算機20的上載的座標，可以把該座標與內(nèi)部數(shù)據(jù)庫結(jié)合使用以提供因特網(wǎng)的搜索參數(shù)。一旦從因特網(wǎng)上獲取所要的信息，就可以把它下載到手持計算機20。例如，一個從因特網(wǎng)上下載一個更詳細的地理圖到臺式計算機10，并隨后上載到手持計算機20以便用戶橫截用。以這種方式，可以顯示和使用的信息就會很大地增加了。
本發(fā)明的另一個實施例可以替代為來自用戶的一個命令，而不是運動來橫截該虛擬地圖。例如，按鈕61可以控制放大，而同時沿x軸和y軸的移動仍然由裝置的運動來控制。本發(fā)明的另一個方面可以使用戶鎖定一個或多個軸。這種配置的優(yōu)點在于沿著鎖定軸的偶然的運動不會改變顯示。例如用戶可能想看看在其位置的北方是什么。此時，用戶可以鎖定x軸和z軸，而允許沿y軸方向的運動。
本發(fā)明的另一個方面是允許用戶與裝置的顯示部份的兩個窗口進行交互。在一個窗口中運行如上所描述的一個地圖應用，另一個窗口則運行另一個應用，如屏幕抓取或文字處理應用。例如，當在一個窗口中導航一個虛擬地圖時，用戶可以獲取其它窗口的信息，或在其它窗口中抓取所選擇的虛擬圖，這使得用戶可以保存虛擬圖中感興趣的某些部份以便以后打印。而且，如果用戶可以訪問另一個數(shù)據(jù)庫，如上面討論的有關的無線遠程通信的，關于虛擬圖中感興趣的特定地理的信息可以顯示在一個窗口中，而同時用戶可以在第一個窗口中橫截該虛擬地圖。
可以理解，本發(fā)明的技術并不限于地理地圖，對象閱覽器還可以包括但不限于建筑、流體、電子和光學電路圖。其它的信息內(nèi)容可以包括常規(guī)的具有文本、表格、說明、圖形和電子數(shù)據(jù)表的文檔頁。而且，本發(fā)明可以在因特網(wǎng)、視頻通信和手持視頻游戲等領域找到特定的應用。
本發(fā)明還可以應用在包括如MRI圖像的導航上下文對象系統(tǒng)中，本發(fā)明可以允許用戶以一種容易且直觀的方式導航這樣的對象。通過使用本發(fā)明的運動驅(qū)動導航系統(tǒng)，用戶可以僅使用一只手從一段MRI圖像導航到下一段，而且，具有多維的對象可以使用本發(fā)明的系統(tǒng)而很容易地導航。常規(guī)的、一般通過手工控制輸入如按擊或拖曳而完成的功能可以通過該裝置相對于導航參照目標的平移和/或轉(zhuǎn)動而很容易地完成。
該對象閱覽器和運行在本發(fā)明的計算機系統(tǒng)上的其它的應用可以使用一個事件隊列，Palm OSTM和Windows CE的操作系統(tǒng)和應用的一個標準單元，兩者都共同使用手持計算機、PDA、電話PDA混合裝置等的實時操作系統(tǒng)。一個事件隊列包含事件，它發(fā)生在程序內(nèi)如鼠標按擊或鍵盤的擊打。這些事件隨后存儲在事件隊列中，按最舊事件第一的原則。一個事件結(jié)構的聲明隨系統(tǒng)而不同。一個事件通常包含一個指示事件類型的指示符，通常包括但不限于上按鈕(button up)、下按鈕、上筆(pen up)、下筆。事件隊列由事件循環(huán)來服務，其隨后檢查隊列中提供的下一個事件，并根據(jù)事件而動作。
Palm OSTM和Windows CE操作系統(tǒng)至少支持一個應用程序運行，每個應用至少包括一個處理事件隊列的事件循環(huán)。與硬件相關的事件一般是手持裝置的操作系統(tǒng)的部份或者是應用程序的‘低’層?！邔印录愋腿绮藛芜x擇、觸摸滾動條、鼠標按擊等通常是在分離的事件隊列中處理的，每一個具有分開的并行的執(zhí)行事件循環(huán)，這種并行的執(zhí)行程序組件通常稱為線程。
軟件到硬件的接口，如選項附件，通過作為與每個應用的主事件循環(huán)獨立運行、且與這些應用事件循環(huán)并行的線程填加到基本系統(tǒng)。這種附加的事件循環(huán)可以處理新的硬件事件，如傳感器測量，并產(chǎn)生新的數(shù)據(jù)，該數(shù)據(jù)結(jié)合進放在應用事件隊列中的事件內(nèi)，用于應用處理。本發(fā)明所使用的一個硬件附件是一個圖像捕獲裝置，用于運動的檢測與跟蹤。
在本發(fā)明的另一個優(yōu)選實施例中，本發(fā)明的系統(tǒng)用于導航萬維網(wǎng)(World Wide Wed)。參照圖4，一個包含移動通信裝置40的個人信息設備包括一顯示屏42和一個圖像捕獲裝置46。光標44可以相對于顯示屏42的邊界保持靜止，所跟蹤的裝置40相對于參照導航目標的移動，隨著網(wǎng)頁48的導航而把光標44放置在所選網(wǎng)頁48內(nèi)超級鏈接上?？刂戚斎肴缯Z音命令或按鈕(未示出)可以選擇所選的超級鏈接，并由此進行萬維網(wǎng)的導航。
盡管已經(jīng)詳細地描述了本發(fā)明的一些實施例，應理解本發(fā)明可以體現(xiàn)在其它特定的形式中，而不會偏離本發(fā)明的精神或范圍。因此本發(fā)明的例子是說明性的，而非限制性的，本發(fā)明并不限于這里給出的細節(jié)，而是可以在所附的要求內(nèi)進行任意的修改。
權利要求
1.一種計算機實施的方法，用于幫助用戶控制和操作計算機系統(tǒng)，該計算機系統(tǒng)具有一個顯示裝置，該計算機系統(tǒng)提供用于顯示的信息內(nèi)容，這種信息內(nèi)容潛在地包含比在顯示裝置一次性地完全顯示的常規(guī)內(nèi)容多得多的內(nèi)容，如字符、圖片、線、鏈接、視頻或像素，該計算機實施的方法包括將顯示裝置耦合到數(shù)字處理器；將由該數(shù)字處理器產(chǎn)生的信息內(nèi)容映射進一個適于把信息傳遞給用戶的虛擬顯示空間；利用該顯示裝置顯示該虛擬顯示空間的某一部份；捕獲一個圖像；從該捕獲的圖像中獲取一個參照導航目標；跟蹤該顯示裝置相對于該參照導航目標的移動；以與所跟蹤的移動相關的方式更新該虛擬顯示空間的所顯示的某部份。
2.如權利要求1所述的計算機實施的方法，其中該參照導航目標附著到用戶的身體。
3.如權利要求1所述的計算機實施的方法，其中該參照導航目標是用戶身體的一部份。
4.如權利要求1所述的計算機實施的方法，其中該參照導航目標是用戶衣物的一部份。
5.如權利要求1所述的計算機實施的方法，其中該參照導航目標附著到用戶的衣物。
6.如權利要求3所述的計算機實施的方法，其中該參照導航目標是用戶的頭部。
7.如權利要求3所述的計算機實施的方法，其中該參照導航目標是用戶的臉部。
8.如權利要求1所述的計算機實施的方法，其中該參照導航目標是用戶的頭和臉。
9.如權利要求3所述的計算機實施的方法，其中該參照導航目標是用戶的頭和肩。
10.如權利要求3所述的計算機實施的方法，其中該參照導航目標是用戶的臉和肩。
11.如權利要求1所述的計算機實施的方法，其中所顯示的某部份的虛擬放大倍率以與所跟蹤的移動相關的方式來更新。
12.如權利要求1所述的計算機實施的方法，其中所顯示的某部份的虛擬放大倍率響應用戶鍵入到數(shù)字處理器的命令來更新。
13.如權利要求1所述的計算機實施的方法，其中所顯示的某部份的虛擬方向以與所跟蹤的移動相關的方式來更新。
14.如權利要求1所述的計算機實施的方法，其中所顯示的某部份的虛擬方向響應用戶鍵入到數(shù)字處理器的命令來更新。
15.如權利要求1所述的計算機實施的方法，其中在該數(shù)字處理器上執(zhí)行的應用是一個提供虛擬對象的多維對象數(shù)據(jù)庫應用。
16.如權利要求15所述的計算機實施的方法，其中更新所顯示某部份包括沿至少一個維度橫截該虛擬對象。
17.如權利要求1所述的計算機實施的方法，其中更新所顯示某部份包括按比例決定所顯示的某部份。
18.如權利要求17所述的計算機實施的方法，其中所顯示的某部份響應用戶鍵入到計算機系統(tǒng)的命令來進行比例的決定。
19.如權利要求1所述的計算機實施的方法，其中該顯示裝置和數(shù)字處理器通過纜線方式進行遠程連接。
20.如權利要求1所述的計算機實施的方法，其中該顯示裝置和數(shù)字處理器通過無線方式進行遠程連接。
21.如權利要求1所述的計算機實施的方法，其中該顯示裝置和數(shù)字處理器布置在個人信息裝置內(nèi)。
22.如權利要求21所述的計算機實施的方法，其中該個人信息裝置是手持計算機。
23.如權利要求21所述的計算機實施的方法，其中該個人信息裝置是移動通信裝置。
24.如權利要求21所述的計算機實施的方法，其中該個人信息裝置具有語音發(fā)送消息能力。
25.如權利要求21所述的計算機實施的方法，其中該個人信息裝置具有數(shù)據(jù)發(fā)送消息能力。
26.如權利要求21所述的計算機實施的方法，其中該個人信息裝置具有手寫識別能力。
27.如權利要求21所述的計算機實施的方法，其中該個人信息裝置具有語音識別能力。
28.如權利要求1所述的計算機實施的方法，其中該顯示的某部份包括多個應用窗口。
29.如權利要求21所述的計算機實施的方法，其中該個人信息裝置被耦合到第二計算機。
30.如權利要求29所述的計算機實施的方法，還包括利用人人信息裝置選擇在第二計算機上顯示的信息。
31.一個計算機系統(tǒng)，包括數(shù)字處理器；耦合到數(shù)字處理器的計算機存儲器；耦合到數(shù)字處理器的顯示裝置；參考參照導航目標并耦合到該顯示裝置的運動檢測器；以及包含在一個耦合到數(shù)字處理器的計算機可讀介質(zhì)的計算機程序，該計算機程序具有計算機可讀的指令，用于通過該顯示裝置，把由計算機系統(tǒng)產(chǎn)生的信息內(nèi)容映射進適于顯示的虛擬顯示空間；通過該顯示裝置，顯示該虛擬顯示空間的某一部份；捕獲一個圖像；從該捕獲的圖像中獲取參照導航目標；通過該運動檢測器跟蹤顯示裝置相對于參照導航目標的移動；以及以與所跟蹤的移動相關的方式更新此虛擬顯示空間的所顯示的某部份。
32.如權利要求31所述的計算機系統(tǒng)，其中該參照導航目標附著到用戶的身體。
33.如權利要求31所述的計算機系統(tǒng)，其中該參照導航目標是用戶身體的一部份。
34.如權利要求31所述的計算機系統(tǒng)，其中該參照導航目標是用戶衣物的一部份。
35.如權利要求31所述的計算機系統(tǒng)，其中該參照導航目標附著到用戶的衣物。
36.如權利要求33所述的計算機系統(tǒng)，其中該參照導航目標是用戶的頭部。
37.如權利要求33所述的計算機系統(tǒng)，其中該參照導航目標是用戶的臉部。
38.如權利要求33所述的計算機系統(tǒng)，其中該參照導航目標是用戶的頭和臉。
39.如權利要求33所述的計算機系統(tǒng)，其中該參照導航目標是用戶的頭和肩。
40.如權利要求33所述的計算機系統(tǒng)，其中該參照導航目標是用戶的臉和肩。
41.如權利要求31所述的計算機系統(tǒng)，其中所顯示的某部份的虛擬放大倍率以與所跟蹤的移動相關的方式來更新。
42.如權利要求31所述的計算機系統(tǒng)，其中所顯示的某部份的虛擬放大倍率響應用戶鍵入到數(shù)字處理器的命令來更新。
43.如權利要求31所述的計算機系統(tǒng)，其中所顯示的某部份的虛擬方向以與所跟蹤的移動相關的方式來更新。
44.如權利要求31所述的計算機系統(tǒng)，其中所顯示的某部份的虛擬方向響應用戶鍵入到數(shù)字處理器的命令來更新。
45.如權利要求31所述的計算機系統(tǒng)，其中在該數(shù)字處理器上執(zhí)行的應用是一個提供虛擬對象的多維對象數(shù)據(jù)庫應用。
46.如權利要求45所述的計算機系統(tǒng)，其中更新所顯示某部份包括沿至少一個維度橫截該虛擬對象。
47.如權利要求31所述的計算機系統(tǒng)，其中更新所顯示某部份包括按比例決定所顯示的某部份。
48.如權利要求48所述的計算機系統(tǒng)，其中所顯示的某部份響應用戶鍵入到計算機系統(tǒng)的命令來進行按比例的決定。
49.如權利要求31所述的計算機系統(tǒng)，其中該顯示裝置和數(shù)字處理器通過纜線方式進行遠程連接。
50.如權利要求31所述的計算機系統(tǒng)，其中該顯示裝置和數(shù)字處理器通過無線方式進行遠程連接。
51.如權利要求31所述的計算機系統(tǒng)，其中該顯示裝置和數(shù)字處理器布置在個人信息裝置內(nèi)。
52.如權利要求51所述的計算機系統(tǒng)，其中該個人信息裝置是手持計算機。
53.如權利要求51所述的計算機系統(tǒng)，其中該個人信息裝置是移動通信裝置。
54.如權利要求51所述的計算機系統(tǒng)，其中該個人信息裝置具有語音發(fā)送消息能力。
55.如權利要求51所述的計算機系統(tǒng)，其中該個人信息裝置具有數(shù)據(jù)發(fā)送消息能力。
56.如權利要求51所述的計算機系統(tǒng)，其中該個人信息裝置具有手寫識別能力。
57.如權利要求51所述的計算機系統(tǒng)，其中該個人信息裝置具有語音識別能力。
58.如權利要求31所述的計算機系統(tǒng)，其中該顯示的某部份包括多個應用窗口。
59.如權利要求51所述的計算機系統(tǒng)，其中該個人信息裝置被耦合到第二計算機。
60.如權利要求59所述的計算機實施的方法，還包括利用人人信息裝置選擇在第二計算機上顯示的信息。
61.如權利要求31所述的計算機系統(tǒng)，其中該運動檢測器還包括一個可操作地耦合到一個圖像處理器的圖像捕獲裝置，用于從所捕獲的圖像獲取參照導航目標和跟蹤顯示裝置相對于參照導航目標的移動。
62.一個包含在計算機可讀介質(zhì)上的計算機程序，包括將由該數(shù)字處理器產(chǎn)生的信息內(nèi)容映射進一個適于把信息傳遞給用戶的虛擬顯示空間的代碼段；利用一個顯示裝置顯示該虛擬顯示空間的某一部份的代碼段；捕獲一個圖像的代碼段；從該捕獲的圖像中獲取一個參照導航目標的代碼段；跟蹤該顯示裝置相對于該參照導航目標的移動的代碼段；以與所跟蹤的移動相關的方式更新該虛擬顯示空間的所顯示的某部份的代碼段。
63.如權利要求62所述的計算機程序，其中該參照導航目標附著到用戶的身體。
64.如權利要求62所述的計算機程序，其中該參照導航目標是用戶身體的一部份。
65.如權利要求62所述的計算機程序，其中該參照導航目標是用戶衣物的一部份。
66.如權利要求62所述的計算機程序，其中該參照導航目標附著到用戶的衣物。
67.如權利要求64所述的計算機程序，其中該參照導航目標是用戶的頭部。
68.如權利要求64所述的計算機程序，其中該參照導航目標是用戶的臉部。
69.如權利要求64所述的計算機程序，其中該參照導航目標是用戶的頭和臉。
70.如權利要求64所述的計算機程序，其中該參照導航目標是用戶的頭和肩。
71.如權利要求64所述的計算機程序，其中該參照導航目標是用戶的臉和肩。
72.如權利要求62所述的計算機程序，其中所顯示的某部份的虛擬放大倍率以與所跟蹤的移動相關的方式來更新。
73.如權利要求62所述的計算機程序，其中所顯示的某部份的虛擬放大倍率響應用戶鍵入到數(shù)字處理器的命令來更新。
74.如權利要求62所述的計算機程序，其中所顯示的某部份的虛擬方向以與所跟蹤的移動相關的方式來更新。
75.如權利要求62所述的計算機程序，其中所顯示的某部份的虛擬方向響應用戶鍵入到數(shù)字處理器的命令來更新。
76.如權利要求62所述的計算機系統(tǒng)，其中在該數(shù)字處理器上執(zhí)行的應用是一個提供虛擬對象的多維對象數(shù)據(jù)庫應用。
77.如權利要求76所述的計算機程序，其中更新所顯示某部份包括沿至少一個維度橫截該虛擬對象。
78.如權利要求62所述的計算機程序，其中更新所顯示某部份包括按比例決定所顯示的某部份。
79.如權利要求78所述的計算機程序，其中所顯示的某部份響應用戶鍵入到計算機系統(tǒng)的命令來進行按比例的決定。
80.如權利要求62所述的計算機程序，其中該顯示裝置和數(shù)字處理器通過纜線方式進行遠程連接。
81.如權利要求62所述的計算機程序，其中該顯示裝置和數(shù)字處理器通過無線方式進行遠程連接。
82.如權利要求62所述的計算機程序，其中該顯示裝置和數(shù)字處理器布置在個人信息裝置內(nèi)。
83.如權利要求82所述的計算機程序，其中該個人信息裝置是手持計算機。
84.如權利要求82所述的計算機程序，其中該個人信息裝置是移動通信裝置。
85.如權利要求82所述的計算機程序，其中該個人信息裝置具有數(shù)據(jù)發(fā)送消息能力。
86.如權利要求82所述的計算機程序，其中該個人信息裝置具有手寫識別能力。
全文摘要
計算機程序、系統(tǒng)和方法,跟蹤運動、控制對象閱覽器的顯示和導航。由數(shù)字處理器產(chǎn)生的信息內(nèi)容被映射進適于把信息傳遞給用戶的虛擬顯示空間。利用耦合到數(shù)字處理器的顯示裝置顯示該虛擬顯示空間的某部分。圖像捕獲裝置所獲取的參照導航目標捕獲一個圖像,所跟蹤的顯示裝置相對于該參照導航目標的移動以與該移動相關的方式,更新此虛擬顯示空間的所顯示的某部分。
文檔編號G06F3/033GK1300415SQ00800044
公開日2001年6月20日 申請日期2000年6月2日 優(yōu)先權日1999年6月8日
發(fā)明者詹姆斯·弗拉克, 西納·法塔赫, 戴維·L·莫特 申請人:維格－維斯塔公司