專利名稱：接收和處理指點器輸入的方法
技術領域：
本發(fā)明涉及一種用戶接口，讓用戶可在顯示屏工作區(qū)上幾乎任一位置都可手寫輸入。具體而言，本發(fā)明涉及一種覆蓋其他用戶接口的透明用戶接口。因此，本發(fā)明讓用戶可在工作區(qū)任一處手寫輸入例如文本，同時還可進行指點裝置與系統(tǒng)應用互動。
背景技術：
隨著計算機日益融入現(xiàn)代社會，對用戶可將數(shù)據有效輸入計算機的工具的需求日益增長。一些最受歡迎的輸入工具讓用戶使用自然輸入法輸入數(shù)據，而不是在實際或軟件QWERTY鍵盤上打入。這些包括手寫的自然輸入法讓用戶有希望不需要專門技術就能用熟悉方便的方法建立數(shù)據。為此，一直在大力開發(fā)識別手寫文本和命令的應用。
常規(guī)的專用手寫輸入接口出現(xiàn)在相對窗較小的窗口中，該窗口只提供僅夠用戶寫幾個字文本的空間。這些接口是分立的，通常離開要插入識別文本的應用。另外，有些常規(guī)的手寫輸入與單獨應用合為一體，不能用于對其他應用輸入手寫數(shù)據。
這些常規(guī)的專用手寫輸入接口存在若干缺點。第1，如上文所述，該接口通常使用戶僅可寫少量字的手寫輸入。如果用戶希望增多手寫輸入，就必須等待，直到初始的手寫輸入得到識別并且從接口清除掉。第2，除非用戶接口位于緊靠插入識別文本的應用，否則用戶必須一直在用戶接口與從手寫輸入接收所識別文本的應用之間移動用于建立手寫輸入用的指點器(即輸入筆)。因此，用戶的注意力必須一直在應用與手寫輸入接口之間轉移。另外，如果用戶將手寫輸入接口放到靠近應用，以免不斷轉移注意力，則在手寫輸入量增多時，手寫接口會遮蓋識別的文本。
因此，需要一種讓用戶一次就可建立大量手寫輸入的手寫輸入接口。而且，還需要一種手寫輸入接口，讓用戶可進行手寫輸入而不從接收識別手寫輸入的應用轉移其注意力，又不遮蔽應用中的所識別手寫輸入。

發(fā)明內容
有利地是本發(fā)明的隨處寫工具提供一種透明圖形用戶接口，該接口覆蓋其他應用的用戶接口，并且在透明用戶接口區(qū)顯示所接收手寫輸入表示的墨跡對象。本發(fā)明的透明用戶接口可擴展成包含計算機大部分顯示區(qū)，從而用戶可在顯示區(qū)的任一處書寫。這還使用戶可書寫多行文本。此外，由于用戶接口透明，用戶可觀看其他應用的基礎圖形用戶接口，這些應用包括接收從寫入透明用戶接口的手寫輸入所識別的文本的應用。因此，用戶可在靠近下層(underlying)用戶接口中的插入點進行手寫輸入，而且還同時保持注意力集中在透明用戶接口和下層用戶接口兩者。此外，用戶還能與下層用戶接口互動，而不遮蓋透明用戶接口。


結合附圖進行閱讀時，會更好地理解上述發(fā)明內容和以下較佳實施例詳細說明。
圖1示出能用于實現(xiàn)本發(fā)明各發(fā)明點的通用數(shù)字計算環(huán)境的示意圖。
圖2說明接收手寫輸入前根據本發(fā)明一實施例的手寫用戶接口。
圖3說明用筆或輸入筆接觸時圖2所示的手寫用戶接口。
圖4說明接收1行手寫輸入后圖2所示的手寫用戶接口。
圖5說明接收2行手寫輸入后圖2所示的手寫用戶接口。
圖6說明下層用戶接口從2行手寫輸入收到所識別文本后圖5所示的手寫用戶接口。
圖7說明的是示出根據本發(fā)明一實施例所涉及隨處寫工具組成部件的框圖。
圖8畫出表示本發(fā)明一實施例所涉及隨處寫工具有操作步驟的流程圖。
具體實施例方式
綜述本發(fā)明涉及一種提供透明用戶接口的工具，該接口用于接收并顯示手寫輸入，而不遮蓋下層用戶接口。
可用能在計算裝置上執(zhí)行的指令實現(xiàn)本發(fā)明的隨處寫工具。據此，將說明執(zhí)行該指令的示范計算環(huán)境。還將連同本發(fā)明隨處寫工具的部件和功能一起說明展示本發(fā)明的操作和應用的各種接口。
示范操作環(huán)境如上文所述，可用軟件實現(xiàn)本發(fā)明的隨處寫工具。也就是說，可在1個或多個計算裝置執(zhí)行的計算機可執(zhí)行指令(諸如程序模塊)的環(huán)境下說明隨處寫工具。通常，程序模塊一般包含完成特定任務或實現(xiàn)特定抽像數(shù)據類型的例行程序、程序、對象、部件、數(shù)據結構等。通常可按各實施例的需要組合或分配程序模塊的功能。
由于可用軟件實現(xiàn)本發(fā)明，簡要討論可利用本發(fā)明各實施例的典型可編程計算機的部件和操作，有助于更好地理解本發(fā)明。圖1中示出該示范計算機系統(tǒng)。此系統(tǒng)包含通用計算機100，其形式可為常規(guī)個人數(shù)字助理、輸入板、桌上或膝上個人計算機、網絡服務器等。
計算機100通常包含至少一些形式的計算機可讀媒體。該媒體可為計算機100能訪問的任何可用的媒體。作為例子，計算機可讀媒體可包含計算機存儲媒體和通信媒體，但不局限于此。計算機存儲媒體包含以任何方法和工藝實現(xiàn)的易失性和非易失性、可換和非可換的媒體，或用于存儲信息，諸如計算機可讀指令、數(shù)據結構、程序模塊或其它數(shù)據。計算機存儲媒體包括RAM、ROM、EEPROM(快速擦寫存儲或其他存儲技術)、CD-ROM、數(shù)字通用光盤(DVD)或其他光存儲器、盒式磁盤、磁帶、磁盤存儲器或其他磁存儲器件、或者能存儲所需信息且計算機100能訪問的任何其他媒體。
通信媒體通常包含計算機可讀指令、數(shù)據結構、程序模塊或已調數(shù)據信號(諸如載波)或其他傳輸機構中的其他數(shù)據，并且包括任何信息傳送媒體。術語“已調數(shù)據信號”含義為以將信號中信息編碼的方式設定或改變本身的1個或多個特性的信號。例如，通信媒體包含有線媒體(諸如有線網絡或直接有線連接)和無線媒體(諸如聲、RF、紅外等無線媒體)，但不受此限制。上述各項的組合也在計算機可讀媒體范圍內。
計算機100通常包含處理單元110、系統(tǒng)存儲器120和將各系統(tǒng)部件(包括系統(tǒng)存儲器)連接到處理單元110的系統(tǒng)總線130。該總線130可具有若干類型的總線結構，包括存儲總線或存儲控制器、外圍總線和利用各種總線結構中的任一種的局部總線。系統(tǒng)存儲器120包括只讀存儲器(ROM)140和隨機存取存儲器(RAM)150。含諸如在啟動時幫助計算機100各單元間傳遞信息的基本程序的基本輸入輸出系統(tǒng)160(BIOS)存儲在ROM 140中。
計算機100還包含附加計算機存儲媒體設備，例如對硬盤進行讀寫的硬盤驅動器170、對可移動磁盤190進行讀寫的磁盤驅動器180和對可移動光盤192(諸如CD ROM或其他光媒體)進行讀寫的光盤驅動器191。這些硬盤驅動器170、磁盤驅動器180和光盤驅動器191分別通過硬盤驅動器接口192、磁盤驅動器接口193和光盤驅動器接口194連接到系統(tǒng)總線130。這些驅動器及其關聯(lián)的計算機可讀媒體給個人計算機100提供計算機可讀指令、數(shù)據結構、程序模塊和其他數(shù)據的非易失性存儲。本領域的技術人員會理解，示例操作環(huán)境中還可用其他類型的能存儲計算機可訪問數(shù)據的計算機可讀媒體，諸如盒式磁帶、快速擦寫存儲卡、數(shù)字視頻盤、貝努里盒式磁盤、隨機存取存儲器(RAM)、只讀存儲器(ROM)等。應理解計算機100的一些便攜實施例(諸如輸入板個人計算機或個人數(shù)字助理器)可省略1個或多個上述計算機存儲媒體器件。
可在硬盤驅動器170、磁盤驅動器190、光盤驅動器192、ROM 140和RAM 150存放一些程序模塊，包括操作系統(tǒng)195、1個或多個應用程序196、其他程序模塊197和程序數(shù)據198。用戶可通過諸如鍵盤101和指點裝置102(例如鼠標、觸板或指示棒)等輸入裝置將命令和信息輸入計算機100。如上文所述，本發(fā)明針對接收并顯示手寫輸入用的隨處寫工具。本領域一般技術人員會理解，雖然可用各種指點裝置產生手寫輸入，但建立手寫輸入的最方便指點裝置是筆。因此，計算裝置120通常包含用戶可用于建立手寫輸入的輸入筆166和數(shù)字化器165。數(shù)字化器165在輸入筆166接觸其表面時接收手寫輸入。計算機100還可具有另外的輸入裝置，諸如操縱桿、游戲板、衛(wèi)星天線、掃描器、觸屏等。
這些或其它輸入裝置常通過與系統(tǒng)總線130耦合的串行端口接口連接處理單元110，但也可經諸如并行端口、游戲端口、IEEE-1394B總線或通用串行總線(USB)等其他接口連接。這些裝置又可經適當接口(未示出)直接與系統(tǒng)總線130相連。還通過諸如顯示適配器108等接口將監(jiān)視器107或其他類型的顯示器接到系統(tǒng)總線130。除監(jiān)視器107外，個人計算機通常包含其他外圍輸出裝置(未示出)，諸如揚聲器和打印機。本領域一般技術人員會理解，監(jiān)視器107可編入數(shù)字化器165。這種布局使用戶可方便地利用筆166接觸監(jiān)視器107的顯示屏，以直接指點監(jiān)視器107上顯示的對象。
計算機100可用對1個或多個遠端計算機(諸如遠端計算機109)的邏輯連接工作在聯(lián)網環(huán)境中。盡管圖1中僅畫出具有相關應用程序196的存儲器裝置111，遠端計算機109可以是服務器、路由器、網絡PC、對等裝置或其他公共網絡節(jié)點，并且通常包含許多或全部以上對計算機100所述的單元。圖1所示邏輯連接包含局域網(LAN)112和廣域網(WAN)113。該聯(lián)網環(huán)境為辦公室常用、企業(yè)范圍的計算機網、內聯(lián)網和因特網。這樣，這里就不詳細說明。
用于LAN聯(lián)網環(huán)境時，計算機100通過網絡接口或適配器114連接局域網112。用于WAN聯(lián)網環(huán)境時，個人計算機100通常包含調制解調器115或用于在諸如互聯(lián)網的廣域網113上建立通信鏈路的其他裝置。內部或外部的調制解調器115經串行端口接口106連接系統(tǒng)總線130。聯(lián)網環(huán)境中，相對于個人計算機100示出的程序模塊或其各部分可存入遠端存儲器裝置。當然，應理解所示網絡連接為示例，可用其他方法建立計算機間的通信鏈路。設想已存在諸如TCP/IP、以太網、FTP、HTTP等各種已知協(xié)議，本系統(tǒng)可按客戶機-服務器配置工作，使用戶可從萬維網服務器檢索網頁。能用任一常規(guī)萬維網瀏覽器顯示并處理網頁數(shù)據。
透明墨跡覆蓋接口圖2說明計算機的監(jiān)視器提供的顯示區(qū)201。所示實施例中，顯示區(qū)201與數(shù)字化器165一起擴展。因此，用戶可通過使輸入筆166接觸顯示區(qū)201的表面，建立計算機的手寫輸入。如該圖所示，顯示區(qū)201顯示Microsoft Word字處理軟件應用的圖形用戶接口203。該顯示還包含覆蓋大部分Word用戶接口203(后文簡稱為下層用戶接口)的透明用戶接口205。
由于用戶接口205透明，圖2中不能看清。然而該圖中用虛線207表示該用戶接口205存在的邊界。所示實施例中，透明用戶接口205覆蓋大部分顯示區(qū)201。當用戶在該接口205對應的顯示部分上建立手寫輸入時，識別該手寫輸入前在該接口205顯示手寫輸入代表的手寫對象，這點下文將詳細說明。一旦識別了手寫輸入，就在下層用戶接口203(即微軟的Word字處理軟件應用的用戶接口，該應用有時簡稱為下層應用)顯示從手寫輸入識別的文本，并且從透明用戶接口205刪除該文本。
從圖2可知，透明用戶接口205不是微軟Windows操作操作或Macintosh操作系統(tǒng)通常用的普通窗形用戶接口。即，該接口205沒有普通窗口型用戶接口那樣的邊界和工具欄。實際上，該接口205顯示邊際線209，規(guī)定該接口205受理手寫用的顯示區(qū)201的手寫范圍。這些邊際可畫成例如50％抖動的灰色。另外，可用alpha混合顯示邊際線條209，但本領域一般技術人員會理解，采用抖動會減少耗電。當然，本領域的一般技術人員也會理解，可將透明用戶接口205按需修改成包含邊界或工具欄。
要建立手寫輸入，用戶就使筆166與顯示區(qū)201接觸，如圖3所示。透明用戶接口205對筆166移動到該接口的手寫區(qū)作出響應，也顯示手寫引導線211。這些線從1條邊際線延伸到對置的邊際線，幫助用戶進行水平手寫輸入。本領域的一般技術人員會理解，用戶手寫越平直，手寫輸入識別越準確。因此，引導線211有助于提高用戶手寫輸入的識別準確性。
引導線211還用于給用戶提供有關透明用戶接口205的工作狀態(tài)反饋。具體而言，該接口205僅在準備受理手寫輸入時顯示引導線211。因此，注意點從該接口205轉移到另一用戶接口(諸如下層用戶接口203)時不顯示引導線211。而且，當筆166移到邊際線209形成的邊界外時，或者筆166移動得超過離開顯示區(qū)201表面的門限高度時，也不顯示引導線211。圖4說明用戶用筆166進行手寫輸入后的透明用戶接口205。從該圖可知，透明用戶接口205顯示與手寫輸入對應的手寫墨跡對象。通過在引導線211之間保持手寫輸入，使手寫輸入保持水平，因而可較準確識別。
用戶開始寫文本的另一行時，如圖5所示，引導線211的位置變化，以配合文本的新行。所示實施例中，引導線211僅緊扣(snap)透明用戶接口的一些固定位置。當然，本發(fā)明的其他實施例允許引導線211重新定位于透明用戶接口205的任何適當位置。
為了較好符合用戶的書寫意圖，引導線211的位置取決于筆166的狀況。一旦用戶將筆166接觸屏幕，就把引導線211固定在適當位置。這就方便于例如當用戶的手寫包含在引導線211上下延伸的字的情況。因此，接觸手寫區(qū)后，用戶可將筆166移到手寫區(qū)任意區(qū)域，引導線211的位置會保持相同。
即使筆166離開書寫區(qū)表面，引導線211也依據筆166的位置，在一段門限時間定位不變。這使用戶在書寫、繼續(xù)寫1行時，可短暫抬筆166離開手寫區(qū)，而引導線211不移動。然而，如果用戶將筆166抬起并從其先前接觸點移開一段門限距離，引導線211的位置會自動移動，以配合筆166的新位置。
根據本發(fā)明的一些實施例，筆166的移動方向決定引導線211重新定位前的門限時間。例如，用戶將筆166移到當前書寫行上方的位置，則引導線211保持固定的時間長于將筆166移到當前書寫行下方位置時的保持時間，即使到這2個位置的距離相同也這樣。本領域一般技術人員已公知，有些數(shù)字化器提供懸停特性，使數(shù)字化器在筆166處于其表面上方時可檢測該筆的位置。此特性可用于檢測筆166逼近手寫區(qū)的時間，以開始顯示引導線。還可將該特性用于較快速地判定用戶移動筆166的方向，以便較好地確定引導線211重新定位在新位置前保持固定的門限時間。
在圖3和圖4中還可看出，透明用戶接口205的實施例提供包圍筆166的位置的距形半透明區(qū)213。透明用戶接口205提供這種半透明區(qū)213，以便使用戶可較好地讀取其手寫輸入對應的手寫對象，而不被下層圖形用戶接口分散注意力?？赏ㄟ^例如對透明用戶接口205進行alpha混合來建立此半透明區(qū)213。該區(qū)213可高到足以包含用戶當前所作手寫輸入行和當前所作手寫輸入行緊鄰上下各行的上下小距離。當然，本發(fā)明的其他實施例可改變矩形半透明區(qū)213的大小、形狀和外觀，或者將其顯示都省略掉。
在透明用戶接口205中顯示對應手寫輸入的手寫對象，直到識別出手寫輸入為止。即使注意力從透明用戶接口205轉移到另一用戶接口(諸如下層用戶接口203)，這些手寫對象也繼續(xù)顯示。在超時時限后或用戶指令時，發(fā)生手寫輸入識別。當識別該手寫輸入時，將其插到在透明用戶接口205下層的用戶接口中的插入點。于是，如圖6所示，在微軟Word用戶接口顯示從手寫輸入識別的文本，并且從透明用戶接口205刪除相應的手寫對象。因此，本發(fā)明的透明用戶接口205提供一種方便的方法，使用戶可將手寫輸入供給下層應用，而且還能同時觀看下層應用的用戶接口和對應手寫輸入的手寫對象。
本發(fā)明的有些實施例可用于翻譯亞洲語的書寫。根據這些實施例，引導線211呈現(xiàn)為框，而不是直線。透明用戶接口205還可顯示圖形對象，用于在將所識別手寫翻譯傳到下層應用前糾正手寫翻譯。
當然，本領域的一般技術人員會理解，透明用戶接口205可按需要包含各種圖形對象。例如，如上文所述，該接口205的一些實施例可包含邊界或工具欄。而且，該接口205的一些實施例還可包含圖形對象，用于修改手寫對象的外觀，掩蓋該接口205或完成其他功能。
穿通法本領域的一般技術人員會理解，有時用戶希望將筆166建立的指點器輸入當作是對下層用戶接口203的輸入，而不是對透明用戶接口205的手寫輸入。例如，用戶希望選擇下層用戶接口203中已經識別且顯示的文本，或者希望激活該接口203中的按鍵或菜單選擇。這些情況下，透明用戶接口205必須區(qū)分對透明用戶接口205的手寫輸入的指點器輸入和對下層用戶接口203的輸入。有利的是，本發(fā)明的透明用戶接口205提供許多方法，使指點器輸入可傳到下層用戶接口203。
該方法的一種稱為“輕快筆觸”技術。根據這種方法，當透明用戶接口205不顯示手寫對象時，筆166在手寫區(qū)的輕快拍觸將處理成對下層用戶接口203的輸入。具體而言，如果透明用戶接口205未顯示手寫對象，并且手寫區(qū)在也對應于下層用戶接口203的顯示器上的部位收到166的輕觸，則將該指點器輸入處理成對下層用戶接口203的輸入，而不是對透明用戶接口205的手寫輸入。
一些因素的組合將決定何時將筆輕觸當作對下層用戶接口203的指點輸入，而不是對透明用戶接口205的手寫輸入。判斷將筆輕觸當作對下層用戶接口203的指點輸入的第1因素是筆166對手寫區(qū)的初始接觸與該筆離開手寫區(qū)的時刻之間的時間間隔量。將筆166與手寫區(qū)超過門限時間的延長接觸當作建立手寫輸入的筆劃開始，而不是給下層用戶接口203提供輸入的單次筆輕觸。
判斷何時將筆輕觸當作對下層用戶接口203的指點輸入的另一因素是筆166接觸手寫區(qū)期間在該區(qū)的行走距離。如果筆166的移動限于其初始接觸點周圍的較小區(qū)域，則認為筆輕觸是試圖對下層應用提供指點輸入。另一方面，如果筆166接觸手寫區(qū)時，經過其初始接觸點超過門限距離，則認為指點器輸入是手寫輸入，而不是筆166的單次輕觸。
又一因素是接收輕觸的環(huán)境，如上文所述。如果透明用戶接口205不顯示任何手寫對象，則用戶不可能試圖在空的接口建立單獨手寫對象。實際上，透明用戶接口205會認為該輕觸更可能是對其位置下方的下層用戶接口203的指點器輸入。當然，本領域的一般技術人員會理解，本發(fā)明的一些實施例為了識別輕快筆觸，可僅要求筆觸的門限距離內不存在手寫對象，而不要求透明用戶接口205各處都不包含手寫對象。例如，本發(fā)明的有些實施例在筆觸點的2英寸內無手寫對象顯示時，就認為是輕快筆觸。
同樣，區(qū)分與對透明用戶接口205的手寫輸入對下層用戶接口203的指點器輸入時，也可考慮下層用戶接口203中相對于對象的筆觸位置。例如，如果直接在下層用戶接口203中按鍵或菜單選擇上方收到筆觸，透明用戶接口205可放寬將筆觸識別為下層用戶接口203的指點器輸入而非透明用戶接口205的手寫輸入所需的時間門限和距離門限。根據上述圖符，如果筆觸正下方無下層用戶接口203中的圖形對象，透明用戶接口205可減小時間門限或距離門限，使透明用戶接口205更可能將筆觸當作手寫輸入，而不是下層用戶接口203的指點器輸入。
當然，本領域的一般技術人員會理解，可用其他方法和準則區(qū)分快觸與手寫輸入。例如，隨處寫工具可使用可訓練系統(tǒng)(諸如神經網絡或統(tǒng)計判定系統(tǒng))區(qū)分指點器輸入穿通到下層用戶接口的快觸與透明用戶接口205的手寫輸入。
指點器輸入傳到下層應用的另一種方法是持通法(hold through)。根據這種方法，如果用戶在1個位置握持筆166不動時間夠長，透明用戶接口205就識別為用戶試圖將指點器輸入遞交給下層用戶接口203，而不是要建立手寫輸入。當然，本領域的一般技術人員會理解，實際上用戶不可能對數(shù)字化顯示器表面握持筆166完全不動。
因此，用戶是否應用持通法的判斷中，透明用戶接口205考慮筆166處于該部位的總時間和筆166離開初始位置的距離，以判斷是將指點器輸入當作手寫輸入，還是當作對下層應用的輸入。例如，每次筆166移到新部位，透明接口205都啟動計數(shù)器，判斷筆166是否按門限時間留在該部位的門限距離內。因此，筆166可在某位置輕微擺動或移動，且如果在門限時間內筆166沒有超過離開該部位的門限距離，則透明接口205仍寄存持通命令。本發(fā)明的另一實施例甚至允許筆166移動超過門限距離一段很短的時間，只要筆166快速返回距離初始位置的門限距離內。
同樣，透明用戶接口205在判斷輸入當作手寫處理還是當作下層用戶接口203的輸入時，也考慮指點器輸入的環(huán)境。例如，如果將筆166保持在與下層用戶接口203中按鍵或菜單選擇所對應的某部位，則透明用戶接口205較可能將指點器輸入當作為下層接口的輸入。例如，透明用戶接口可在用戶是否利用持通法技術的判斷中放寬門限時間、門限距離或兩者。另外，如果將筆166保持在與下層用戶接口203中圖形對象不對應的某部位，透明用戶接口205較可能將指點器輸入當作手寫輸入。
有利的是，一旦判定指點器輸入的一部分是下層用戶接口203的輸入，就將全部指點器輸入當作對下層用戶接口203的輸入，而不當作手寫。因此，在用戶在某個位置保持筆166時間足夠長以建立指點器輸入對下層用戶接口203的持通后，將筆166離開手寫區(qū)前得到的全部后續(xù)指點器輸入都當作對下層用戶接口203的輸入，而不當作手寫。這便于使用戶可持通到下層用戶接口203，并接著通過移動筆166使圖形對象移動(或選擇多個圖形對象)，不必抬起筆166離開手寫區(qū)。
同樣，用戶在某個位置保持筆166時間長到足以建立持通前所收到的指點器輸入也可當作對下層用戶接口203的輸入，而非手寫輸入。例如，用戶可跨越手寫區(qū)移動筆166?？蓪⑦@種筆166的初始指點器輸入當作手寫輸入，并且透明接口顯示與這種手寫輸入對應的手寫對象。如果其后用戶持筆166靜止超過門限時間，而不從手寫區(qū)抬起筆166，則將先前識別為手寫輸入的全部指點器輸入當作對下層用戶接口203的指點器輸入。刪除與該指點器輸入對應的手寫對象。在適當?shù)南聦佑脩艚涌?03(即指點器輸入下方的用戶接口)進行與指點器輸入對應的動作。因此，如果用戶在注意力轉移到下層用戶接口203前，偶然移動筆166，想拖動該接口203中圖形對象(或選擇多個圖形對象)，則用戶只要通過將筆166保持在目的處，就還能利用指點器輸入達到其目的。
將指點器輸入傳到下層用戶接口203的又一方法是筆勢(gesture)識別。本領域的技術人員會理解。有些手寫識別處理將手寫輸入筆劃的特定布局識別為命令，而不是文本。這些特定手寫輸入筆劃常稱為筆勢。例如，根據本發(fā)明的透明用戶接口205可將特定組合的手寫筆劃識別為命令間隔、退格和輕擊(即控制功能的激發(fā)，諸如用戶按壓鼠標上的按鈕時)的筆勢。當然，可將透明用戶接口205修改成識別附加或另外的筆勢。
透明用戶接口205可將一些筆勢識別為該接口專用，將另一些筆勢識別為下層應用專用?；蛘?而且，透明用戶接口205可用探索法判斷筆勢要作為其輸入，還是作為對下層用戶接口203的輸入。例如，透明用戶接口205可將劃掉筆勢識別為刪除該筆勢所示文本的命令。如果在含手寫對象的透明用戶接口205一部分中收到劃掉筆勢，則透明用戶接口205將該劃掉筆勢當作透明用戶接口205的輸入，并刪除所示手寫對象和關聯(lián)的手寫輸入。
另外，如果在不含手寫對象的手寫區(qū)中的某個部位收到劃掉筆勢，則將該筆勢傳給含插入點的下層用戶接口203。然后，可利用該劃掉筆勢從下層用戶接口203刪除先前識別的文本。又，如果在最近含手寫對象的手寫區(qū)中某個部位上收到劃掉筆勢，就將該筆勢傳到接收與該手寫對象對應所識別手寫輸入的下層用戶接口203。而且，可用手寫筆勢刪除所識別的文本。
除識別筆勢外，透明用戶接口205可用探索法(heuristics)區(qū)分用戶想作為手寫輸入的指點器輸入與用戶想作為對下層用戶接口203的輸入的指點器輸入。例如，這些探索法可鑒別要用作手寫輸入的指點器輸入的獨特特性，并且將不包含這些特性的指點器輸入當作對下層用戶接口203的輸入?；蛘撸@些探索法可鑒別要用作對下層用戶接口203的輸入的指點器輸入的獨特特征，將不含這些特征的全部指點器輸入的項作為手寫輸入。
本發(fā)明的透明用戶接口205可用于將指點器輸入傳給下層用戶接口203的另一方法是將該下層用戶接口203指定為排除窗口。具體而言，透明用戶接口205可讓用戶或軟件應用將特定用戶接口指定為排除窗。當透明用戶接口205在與排除窗對應的位置接收指點器輸入時，不將該指點器輸入當作手寫。實際上，透明用戶接口205自動將該指點器輸入當作對下層排除窗的輸入，并將其供給下層用戶接口203。因此，不能在排除窗上作手寫輸入，并且該窗上不顯示手寫對象。然而，根據本發(fā)明的一些實施例，不覆蓋排除窗的部分手寫區(qū)中開始的手寫可在排除窗上繼續(xù)進行，以便讓用戶可連續(xù)書寫。
這種排除窗的例子可包括例如滾動條。指定滾動欄作為排除窗，便于使用戶可滾動下層應用，不需要建立與輕快筆觸法或持通法對應的指點器輸入。可指定為排除窗的另一種用戶接口類型是糾正非正確識別文本用的糾正用戶接口。本發(fā)明的一些實施例只允許用戶將用戶接口指定為排除窗，而另一些實施例只允許外部軟件應用將用戶接口指定為排除窗。當然，本發(fā)明的又一些實施例使用戶和外部軟件應用均可將用戶接口指定為排除窗。
隨處寫工具圖7示出實現(xiàn)上述本發(fā)明透明用戶接口205的隨處寫工具。如該圖所示，隨處寫工具701包含分層的墨跡控制模塊703。如下將詳細描述，該模塊703包含手寫輸入識別模塊705、指點器輸入目的模塊707和再現(xiàn)模塊709，它顯示邊際線209、引導線211和對應用于手寫輸入的手寫對象。隨處寫工具701利用文本輸入面板模塊711作為基礎。該模塊711的目的在于對用戶提供許多數(shù)據輸入選項，其中包括使用本發(fā)明的透明用戶接口205，后文將詳述?；卣{模塊713將來自分層墨跡模塊703的數(shù)據傳到再現(xiàn)模塊709。
除隨處寫工具701的這些部件外，圖7還示出筆輸入應用程序接口(API)715和數(shù)字化顯示器717。如本領域一般技術人員所公知，筆輸入API 715接收當輸入筆166接觸數(shù)字化顯示器717時建立的指點輸入。然后，筆輸入API將收到的指點器輸入傳給隨處寫工具701的分層墨跡控制模塊703。除對筆輸入API 715的筆輸入外，數(shù)字化顯示器717還接收并顯示來自再現(xiàn)模塊709和下層應用用戶接口的數(shù)據。如上文所述，數(shù)字化顯示器717組合監(jiān)視顯示器和數(shù)字化器165，使用戶可方便地通過筆166接觸數(shù)字化顯示器717的表面，來指點所顯示的圖形對象。然而，本領域的一般技術人員會理解，用本發(fā)明的其他實施例，能與顯示器分開地實現(xiàn)數(shù)字化器165。
圖7還示出下層應用及其關聯(lián)的下層應用用戶接口。如上文所述，下層用戶接口203是在本發(fā)明透明輸入面板下方顯示的接口。下層應用則為形成下層用戶接口203的主方的軟件應用。雖然圖7僅示出1個下層應用及其關聯(lián)的下層應用用戶接口，本發(fā)明的透明用戶接口205可覆蓋許多不同的下層用戶接口203。這些下層用戶接口203可利用1個或多個下層軟件應用作為基礎。
參照圖8所示流程圖說明隨處寫工具701的操作。步驟801中，分層墨跡控制模塊703從筆輸入API 715接收指點器輸入。然后，步驟803中，指點器輸入目的模塊707判斷將該指點器輸入當作手寫輸入，還是當作對下層應用的輸入。于是，該模塊707利用探索法判斷是否將指點器輸入當作輕快筆觸、持通輸入或代表對下層應用的命令的筆勢，如上文所述。該模塊707還判斷在顯示區(qū)201某位置上收到的指點器輸入是否對應于已指定為排除窗的下層用戶接口203。
如果指點器輸入目的模塊707判斷指點器輸入是對下層應用的輸入，則分層墨跡控制模塊703在步驟805將該輸入供給下層應用。根據本發(fā)明的有些實施例，分層墨跡控制模塊703可將指點器輸入直接供給下層應用?；蛘?，分層墨跡控制模塊703可僅將指點器輸入連同傳送該輸入給下層應用的指示送回筆輸入API 715。下層應用一收到該指點器輸入，就對該輸入作出應答，并且在下層應用用戶接口顯示適當?shù)南鄳獎幼鳌?br> 另一方面，如果指點器輸入目的模塊707判斷該指點器輸入是手寫輸入，則在步驟807將該指點器輸入中繼到手寫輸入識別模塊705進行識別。指點器輸入目的模塊707還在步驟809將手寫輸入傳給再現(xiàn)模塊709。于是，步驟811中，再現(xiàn)模塊709顯示與手寫輸入對應的寫對象。當手寫輸入識別模塊705開始識別手寫輸入時，回調模塊713對文本輸入面板模塊711報告識別處理的每次啟動。而文本輸入面板模塊711顯示一指示符，向用戶證實識別處理已開始。該指示符可為例如滾動欄指示符或旋轉對象，可通過再現(xiàn)模塊709或另一顯示處理加以顯示。
回調模塊719對文本輸入面板模塊711送回有關分層墨跡控制模塊703的狀態(tài)是有效還是無效的報告。此信息有助于使輸入面板模塊評定分層墨跡控制模塊703啟動的時刻與其實際工作的時刻之間的延時。如果文本輸入面板保持激發(fā)透明用戶接口205的獨立用戶接口，可在該接口顯示這種反饋的結果。例如，如果文本輸入面板保持能用按鈕激發(fā)透明用戶接口205的獨立用戶接口，則在分層墨跡控制模塊703激活時，可高亮顯示該按鈕。
當手寫輸入識別模塊705完成手寫輸入識別時，在步驟813將識別的文本提供給文本輸入面板模塊711。而該模塊711在步驟815又將識別的手寫輸入供給下層應用。于是下層應用可在其下層用戶接口中顯示識別的文本。此外，步驟817中，分層墨跡控制模塊703還指示再現(xiàn)模塊709刪除與所識別手寫輸入對應的手寫對象。根據本發(fā)明的一些實施例，回調模塊713還通知文本輸入面板模塊711已完成識別處理。于是，該模塊711顯示證實完成識別處理的狀態(tài)指示符。該指示符可由再現(xiàn)模塊709或另一顯示處理進行顯示。
現(xiàn)回到再現(xiàn)模塊709，該模塊709在顯示區(qū)201上實現(xiàn)約400個小疊層窗的陣列。這種窗相當于一種分層窗，能在例如微軟WindowsXP操作系統(tǒng)中用Win32 API建立。如本領域一般技術人員所公知。這種類型的分層窗是透明，但可含圖形對象，并且還使下層用戶203可得到更新和觀看。具體而言，分層窗的外觀與下層用戶接口203混合，使用戶能在兩者中清楚觀看圖形對象。由于分層窗透明(即不含邊界、工具欄或菜單欄)，該窗起下層用戶接口203的透明覆蓋的作用。
本領域一般技術人員會理解，這種分層窗不能部分更新，必須代之以整體更新。因此，即使讓一個分層窗包含顯示區(qū)201適度部分，也需要大量處理資源。由于分層窗外形與下層用戶接口203混合，每次更新下層用戶接口203或分層窗需要大量處理時間。因此，再現(xiàn)模塊709利用數(shù)百個小疊層窗的陣列。這便于減少任一分層窗更新所需的處理時間。此外，可隱去不含圖形對象的分層窗(即不含邊際線209、引導線211或手寫對象的透明用戶接口205部分)，直到筆輸入API 715檢測出與該窗對應的指點器輸入才顯示。
文件輸入面板711的目的是提供多用戶接口，用于給計算機遞送數(shù)據。例如，除作為分層墨跡控制模塊703的基礎外，該模塊711還可作為提供上述常規(guī)專用手寫輸入用戶接口的其他模塊的基礎。該模塊711又可作為實現(xiàn)語音識別處理和軟鍵盤處理的模塊的基礎。因此，該模塊711接收手寫輸入識別模塊705識別的文本，將其中繼到下層應用，而且也可接收來自其他處理的要傳給下層應用的附加識別文本。當然，本領域的一般技術人員會理解，其他軟件應用也可作為分層墨跡控制模塊703和再現(xiàn)模塊709的基礎，以提供本發(fā)明的透明用戶接口205。
結語盡管用所附權利要求規(guī)定本發(fā)明，這些權項為示例，說明本發(fā)明可包含這里所述單元和步驟的任何組合或子組合。因此，存在許多規(guī)定本發(fā)明的替換組合，其中包含說明書(包括說明書、權項和附圖)的1個或多個單元的各種組合或子組合。相關技術人員會明白，這里所述1個或多個單元或者步驟可單獨或按其組合用作本發(fā)明的修改或變換或者作為本發(fā)明的一部分。這里所含本發(fā)明的書寫的說明要覆蓋所有這些修改和變換。例如，在各種實施例中，已示出某一數(shù)據順序。然而，本發(fā)明包括該數(shù)據的任何重新再現(xiàn)。又，采用諸如規(guī)模等某些特性單位(例如字節(jié)和位)的情況下，也預期用其他單元。
權利要求
1.一種處理指點器輸入的方法，其特征在于，包含提供覆蓋第2圖形用戶接口的透明第1圖形用戶接口；在與透明第1圖形用戶接口對應的手寫區(qū)接收指點器輸入；在透明第1圖形用戶接口顯示指點器輸入表示的手寫對象；識別來自指點器輸入的文件；和將識別的文本供給軟件應用。
2.如權利要求1所述的指點器輸入處理方法，其特征在于，還包含將識別的文本供給作為第2圖形用戶接口的基礎的軟件應用；以及在第2圖形用戶接口顯示識別的文本，使得可通過透明第1圖形用戶接口觀看識別的文本。
3.如權利要求2所述的指點器輸入處理方法，其特征在于，還包含在也與第2圖形用戶接口對應的手寫區(qū)部分接收指點器輸入。
4.如權利要求2所述的指點器輸入處理方法，其特征在于，還包含顯示由不作為第2圖形用戶接口的基礎的第2軟件應用作為基礎的第3圖形用戶接口，和在與第3圖形用戶接口對應的手寫區(qū)部分接收指點器輸入。
5.如權利要求1所述的指點器輸入處理方法，其特征在于，還包含更新第2圖形用戶接口，使得可通過透明第1圖形用戶接口觀看對第2圖形用戶接口的更新。
6.如權利要求1所述的指點器輸入處理方法，其特征在于，還包括顯示規(guī)定手寫區(qū)的邊際。
7.如權利要求1所述的指點器輸入處理方法，其特征在于，還包含在透明第1圖形用戶接口中顯示手寫引導線。
8.如權利要求7所述的指點器輸入處理方法，其特征在于，還包含僅在透明第1圖形用戶接口的固定部位顯示手寫引導線。
9.如權利要求7所述的指點器輸入處理方法，其特征在于，還包含在透明第1圖形用戶接口上不顯示所接收指點器輸入時，刪除手寫引導線。
10.如權利要求7所述的指點器輸入處理方法，其特征在于，還包含通過用筆接觸手寫區(qū)接收指點器輸入，和筆移到手寫區(qū)外時刪除手寫引導線。
11.如權利要求7所述的指點器輸入處理方法，其特征在于，還包含通過用筆接觸手寫區(qū)接收指點器輸入，和筆超過手寫區(qū)上方門限距離時刪除手寫引導線。
12.如權利要求7所述的指點器輸入處理方法，其特征在于，還包含通過用筆接觸手寫區(qū)接收指點器輸入；筆接觸手寫區(qū)中的第1位置時，在第1位置顯示引導線，以及僅當抬筆離開第1位置一段門限時間，接著又接觸手寫區(qū)中離開第1位置一段門限距離的第2位置時，在第2位置顯示引導線。
13.如權利要求12所述的指點器輸入處理方法，其特征在于，所述門限時間或門限距離取決于筆從第1位置移到第2位置的移動方向。
14.如權利要求1所述的指點器輸入處理方法，其特征在于，還包含通過用筆接觸手寫區(qū)接收指點器輸入；和圍繞筆與手寫區(qū)的接觸點，在第1透明圖形用戶接口顯示半透明區(qū)。
15.如權利要求14所述的指點器輸入處理方法，其特征在于，還包含如果在半透明區(qū)顯示1個或多個手寫對象，則在半透明區(qū)上顯示1個或多個手寫對象。
16.如權利要求1所述的指點器輸入處理方法，其特征在于，還包含從表示手寫對象的指點器輸入識別文本時，刪除顯示的手寫對象。
17.如權利要求1所述的指點器輸入處理方法，其特征在于，還包含在與透明第1圖形用戶接口對應的手寫區(qū)接收第2指點器輸入；判斷第2指點器輸入是否對第2圖形用戶接口的輸入，以及如果判定第2指點器輸入是對第2圖形用戶接口的輸入，將第2指點器輸入供給第2圖形用戶接口，否則顯示第2指點器輸入表示的手寫對象。
18.如權利要求17所述的指點器輸入處理方法，其特征在于，還包含判斷第2指點器輸入是否在限于第1門限區(qū)內，在門限時間內完成，并且圍繞第1門限區(qū)的第2門限區(qū)中未顯示手寫對象時得到接收；如果第2指點器輸入限于門限區(qū)內，在門限時間內完成，并且在圍繞第1門限區(qū)的第2門限區(qū)未顯示手寫對象時得到接收，則判定為第2指點器輸入是對第2圖形用戶接口的輸入。
19.如權利要求18所述的指點器輸入處理方法，其特征在于，第2指點器輸入處于也與第2圖形用戶接口對應的手寫區(qū)內，并且所述第1門限區(qū)、第2門限區(qū)或門限時間取決于在手寫區(qū)中收到第2指點器輸入的位置。
20.如權利要求18所述的指點器輸入處理方法，其特征在于，還包含判斷至少一部分第2指點器輸入是否在限于門限區(qū)內，并且保持超過門限時間；如果至少一部分第2指點器輸入限于門限區(qū)內且保持超過門限時間，則判定為第2指點器輸入是對第2圖形用戶接口的輸入。
21.如權利要求20所述的指點器輸入處理方法，其特征在于，第2指點器輸入處在也與第2圖形用戶接口對應的手寫區(qū)中，并且所述門限區(qū)或門限時間取決于手寫區(qū)中收到第2指點器輸入的位置。
22.如權利要求17所述的指點器輸入處理方法，其特征在于，還包含在也與第2用戶接口對應的手寫區(qū)接收第2指點器輸入；判斷是否已將第2圖形用戶接口指定為排除圖形用戶接口，以及如果已將第2圖形用戶接口指定為排除圖形用戶接口，則判定為第2指點器輸入是對第2圖形用戶接口的輸入。
23.如權利要求17所述的指點器輸入處理方法，其特征在于，還包含判斷指點器輸入是否符合指定經過筆勢；如果指點器輸入符合指定經過筆勢，判斷為第2指點器輸入是對第2圖形用戶接口的輸入。
24.一種接收指點器輸入的方法，其特征在于，包含在從筆觸點接收指點器輸入的手寫區(qū)上提供圖形用戶接口、在與筆相對于手寫區(qū)的位置對應的圖形用戶接口的部位顯示引導線、和從筆與手寫區(qū)的接觸點接收指點器輸入。
25.如權利要求24所述的指點器輸入接收方法，其特征在于，還包含僅在圖形用戶接口的固定部位顯示手寫引導線。
26.如權利要求24所述的指點器輸入接收方法，其特征在于，透明第1圖形用戶接口上不顯示所接收指點器輸入時，刪除手寫引導線。
27.如權利要求24所述的指點器輸入接收方法，其特征在于，還包含在筆移到手寫區(qū)外時刪除手寫引導線。
28.如權利要求24所述的指點器輸入接收方法，其特征在于，還包含筆超過手寫區(qū)上方門限距離時刪除手寫引導線。
29.如權利要求24所述的指點器輸入接收方法，其特征在于，還包含當用筆接觸手寫區(qū)中第1位置時，在第1位置顯示引導線；以及僅當抬筆離開第1位置一段門限時間，接著又接觸手寫區(qū)中離開第1位置一段門限距離的第2位置時，在第2位置顯示引導線。
30.如權利要求29所述的指點器輸入接收方法，其特征在于，所述門限時間或門限距離取決于筆從第1位置移到第2位置的移動方向。
31.一種處理指點器輸入的方法，其特征在于，包含在與第1用戶接口對應的手寫區(qū)中接收第2指點器輸入；判斷所述指點器輸入是否對第2圖形用戶接口的輸入，以及如果判定該第二指點器輸入是對第2圖形用戶接口的輸入，將第2指點器輸入供給第2圖形用戶接口。
32.如權利要求31所述的指點器輸入處理方法，其特征在于，還包含如果判定第2指定器輸入不是對第2圖形用戶接口的輸入，在第1圖形用戶接口顯示第2指點器輸入表示的手寫對象。
33.如權利要求31所述的指點器輸入處理方法，其特征在于，還包含判斷第2指點器輸入是否限于第1門限區(qū)內；在門限時間內完成；并且圍繞第1門限區(qū)的第2門限區(qū)中未顯示手寫對象時得到接收；如果第2指點器輸入限于門限區(qū)內，在門限時間內完成，并且在圍繞第1門限區(qū)的第2門限區(qū)中無手寫對象顯示時得到接收，則判定為第2指點器輸入是對第2圖形用戶接口的輸入。
34.如權利要求33所述的指點器輸入處理方法，其特征在于，第2指點器輸入處在也與第2圖形用戶接口對應的手寫區(qū)，并且所述第1門限區(qū)、第2門限區(qū)或門限時間取決于收到第2指點器輸入的手寫區(qū)中的位置。
35.如權利要求31所述的指點器輸入處理方法，其特征在于，還包含判斷至少一部分第2指點器輸入是否限于門限區(qū)內，并且保持超過門限時間；如果至少一部分第2指點器輸入限于門限區(qū)內且保持超過門限時間，則判定為第2指點器輸入是對第2圖形用戶接口的輸入。
36.如權利要求35所述的指點器輸入處理方法，其特征在于，第2指點器輸入處在也與第2圖形用戶接口對應的手寫區(qū)，并且所述門限區(qū)或門限時間取決于收到第2指點器輸入的手寫區(qū)中的位置。
37.如權利要求31所述的指點器輸入處理方法，其特征在于，還包含判斷指點器輸入是否符合指定經過筆勢；如果指點器輸入符合指定經過筆勢，判斷為第2指點器輸入是對第2圖形用戶接口的輸入。
38.一種處理指點器輸入用的工具，其特征在于，包含顯示與所接收指點器輸入對應的手寫對象的再現(xiàn)模塊；分層墨跡控制模塊，該模塊用于判斷所接收指點器輸入是用于再現(xiàn)模塊進行顯示還是對外部軟件應用的輸入，并且如果指點器輸入用于再現(xiàn)模塊進行顯示，則將指點器輸入供給再現(xiàn)模塊，如果指點器輸入用于外部軟件應用，則將指點器輸入供給該外部應用。
39.如權利要求38所述的指點器輸入處理工具，其特征在于，還包含文本輸入面板模塊，該模塊作為再現(xiàn)模塊和分層墨跡控制模塊的基礎；控制再現(xiàn)模塊中對象的顯示，并且將指點器輸入從分層墨跡控制模塊傳送到再現(xiàn)模塊。
40.如權利要求39所述的指點器輸入處理工具，其特征在于，還包含將指點器輸入從分層輸入模塊傳送到文本輸入面板模塊的回調模塊。
41.如權利要求40所述的指點器輸入處理工具，其特征在于，所述回調模塊向再現(xiàn)模塊報告分層墨跡控制模塊的操作狀態(tài)。
42.如權利要求40所述的指點器輸入處理工具，其特征在于，分層墨跡控制模塊接收再現(xiàn)模塊顯示用的指點器輸入時，回調模塊向文本輸入模塊報告。
43.如權利要求38所述的指點器輸入處理工具，其特征在于，分層墨跡控制模塊從再現(xiàn)模塊顯示用的指點器輸入中識別文本數(shù)據；分層墨跡控制模塊從再現(xiàn)模塊顯示用的指點器輸入中進行文本數(shù)據識別時，回調模塊向文本輸入模塊報告。
全文摘要
一種覆蓋其他應用的用戶接口的透明圖形用戶接口。該透明用戶接口接收手寫輸入，并且顯示透明手寫接口區(qū)域中所接收手寫輸入表示的手寫對象。本發(fā)明的透明用戶接口可擴展成包含多數(shù)計算機顯示區(qū)，從而用戶可在顯示區(qū)的任一處書寫。這還使用戶可書寫多行文本。此外，由于用戶接口透明，用戶可觀看其他應用的下層圖形用戶接口，這些應用包括接收從寫入透明用戶接口的手寫輸入中所識別的文本。透明用戶接口還讓用戶可與下層圖形用戶接口互動。
文檔編號G06F3/041GK1975653SQ200710002339
公開日2007年6月6日 申請日期2003年4月7日 優(yōu)先權日2002年5月14日
發(fā)明者L·M·華帕雅, E·M·格德爾, D·D·卡洛夫, J·W·佩蒂洛斯, T·R·維柯 申請人:微軟公司