專利名稱：用于寫圖形設(shè)備的用戶接口的制作方法
技術(shù)領(lǐng)域：
實施例涉及交互式設(shè)備、計算機(jī)、電子設(shè)備、裝置、玩具等的控制和使用。實施例涉及一種實施用于采用所寫圖形元素的設(shè)備的用戶接口的方法和系統(tǒng)。
背景技術(shù)：
如光學(xué)讀取器或光學(xué)筆的設(shè)備一般發(fā)射從表面反射到檢測器或成像器的光。當(dāng)所述設(shè)備相對于所述表面移動時(或反過來)，快速捕捉連續(xù)圖像。通過分析所述圖像，可跟蹤所述光學(xué)設(shè)備相對于所述表面的移動。
一種光學(xué)筆與其上打印了很小的點的紙片一起使用。所述點以具有約0.3毫米(0.01英寸)的標(biāo)稱間隔的圖案而打印于頁面上。所述頁面上任何區(qū)域內(nèi)的點的圖案對該區(qū)域是唯一的。光學(xué)筆本質(zhì)上是獲取所述表面的快照，也許一秒100次或更多。通過解釋每次快照所捕捉的點位置，光學(xué)筆可精確地確定其相對于頁面的位置。
利用光學(xué)筆相對于表面的位置的信息的應(yīng)用已經(jīng)設(shè)計或正在設(shè)計。具有藍(lán)牙或其它無線能力的光學(xué)筆可鏈接到其它設(shè)備并可用來發(fā)送電子郵件(e-mail)或傳真。
嵌入式計算機(jī)系統(tǒng)增強的能力及其能夠?qū)崿F(xiàn)的功能的復(fù)雜度一直需要一種更直觀、用戶友好的利用這種能力的方式。典型的現(xiàn)有技術(shù)光學(xué)筆通過用戶操作光學(xué)筆的一個或多個按鈕/開關(guān)或控制以激活一個或多個軟件程序、例程、嵌入式設(shè)備等來實施其預(yù)期的功能。所述筆可包括計算機(jī)系統(tǒng)或與計算機(jī)系統(tǒng)通信。在激勵這樣的控制時，所述筆設(shè)備執(zhí)行其預(yù)期的功能。通過筆本身上設(shè)置的有限數(shù)量和配置的開關(guān)、按鈕等或者任何遠(yuǎn)程耦合的計算機(jī)系統(tǒng)設(shè)備來利用功能越來越強大的光學(xué)筆的能力并非一種令人滿意的安排。
一種現(xiàn)有技術(shù)解決方案使用光學(xué)筆來識別用戶限定的命令，并使用該命令調(diào)用筆的某種功能(如，PCT申請WO/01/48590A1)。例如，用戶的書寫可識別(如，實時地)和解釋為用于光學(xué)筆的命令。該解決方案的缺點是對筆的功能的交互和控制需要實時識別用戶的手寫(如當(dāng)用戶在紙片上寫命令時)。該解決方案令人不滿意之處在于與光學(xué)筆的較復(fù)雜功能性的交互需要用戶重復(fù)寫下一個或多個命令以訪問筆所提供的不同選擇、選項或功能。雖然對于非常簡單的、單步驟類型的應(yīng)用(如“關(guān)斷”“存儲”等)來說該解決方案可能是令人滿意的，在需要較復(fù)雜、令人滿意、豐富的功能性的情況下，該解決方案就過于麻煩而有限了。

發(fā)明內(nèi)容
因此，這樣一種用戶接口方法和系統(tǒng)將是有價值的其使能與具有與其相關(guān)聯(lián)的計算機(jī)系統(tǒng)的光學(xué)筆的更復(fù)雜的功能性的交互，并使能對所述筆設(shè)備提供的不同選擇、選項和功能的更有效的訪問。另外所期望的是一種可用來與駐留于筆設(shè)備上或與筆設(shè)備通信的操作系統(tǒng)交互的方法和交互式接口。根據(jù)本發(fā)明的實施例提供這些和其它優(yōu)點。
在一個實施例中，本發(fā)明實施為一種方法，其實現(xiàn)采用在表面上的用戶創(chuàng)建或?qū)懙膱D形元素和/或打印的圖形元素的設(shè)備的用戶接口。所述方法包括識別表面上的所創(chuàng)建的圖形元素圖標(biāo)(如，用戶所創(chuàng)建的)。一旦識別，訪問與該圖形元素圖標(biāo)相關(guān)的功能并提供根據(jù)該功能的輸出。所述功能性可駐留于筆設(shè)備上而且可使用筆設(shè)備來寫出所寫圖形元素。圖形元素圖標(biāo)可以是用戶在表面上創(chuàng)建的符號、字符或標(biāo)記，其由該設(shè)備的解釋功能性(interpreting functionality)(如，光學(xué)傳感器、嵌入式計算機(jī)系統(tǒng)等)同樣識別。輸出典型地為經(jīng)由音頻輸出設(shè)備(如，耦合到或駐留于該設(shè)備的揚聲器)提供的音頻輸出。所述功能與所述圖形元素圖標(biāo)持久地相關(guān)聯(lián)，使得通過隨后筆設(shè)備對該圖形元素圖標(biāo)的激勵(如，敲擊)能夠?qū)崿F(xiàn)對該功能的隨后訪問。
在一個實施例中，選擇所寫或打印的圖形元素圖標(biāo)使得筆設(shè)備可聽見地再現(xiàn)可供用戶寫出或選擇的進(jìn)一步選擇的列表。在這種情況下，第一圖形元素圖標(biāo)起菜單項目的作用，當(dāng)選擇它時，使得筆設(shè)備再現(xiàn)與該第一圖形元素圖標(biāo)相關(guān)的子菜單項目。任何或所有所述子菜單項目可寫在表面上且本身得以選擇，由此使得筆設(shè)備執(zhí)行相關(guān)功能性。
概括而言，本書面內(nèi)容公開一種用于通過用戶創(chuàng)建的圖形元素來實現(xiàn)設(shè)備的用戶接口的方法和系統(tǒng)。該方法包括識別用戶創(chuàng)建的圖形元素圖標(biāo)。一旦識別，訪問與圖形元素圖標(biāo)相關(guān)的功能并提供根據(jù)該功能的輸出。該功能與該圖形元素圖標(biāo)持久關(guān)聯(lián)。菜單選擇和導(dǎo)航通過與圖形元素圖標(biāo)交互來實現(xiàn)?？陕犚姷卦佻F(xiàn)與該圖形元素圖標(biāo)相關(guān)聯(lián)的選項列表。響應(yīng)于選項之一的選擇，調(diào)用所選選項。
通過閱讀在附圖中圖示的下面的詳細(xì)描述，本領(lǐng)域技術(shù)人員將理解本發(fā)明的這些和其它目的和優(yōu)點。


引入并構(gòu)成本說明書的一部分的附示了本發(fā)明的實施例并且與本說明一起用來解釋本發(fā)明的原理圖1是其上可實現(xiàn)本發(fā)明的實施例的一設(shè)備的框圖。
圖2是其上可實現(xiàn)本發(fā)明的實施例的另一設(shè)備的框圖。
圖3示出根據(jù)本發(fā)明一實施例的設(shè)置有標(biāo)記圖案的示范性紙片。
圖4示出根據(jù)本發(fā)明一實施例的示范性紙片上的標(biāo)記圖案的放大。
圖5示出根據(jù)本發(fā)明一實施例的設(shè)備用戶接口過程步驟的計算機(jī)控制的流程圖。
圖6示出根據(jù)本發(fā)明一實施例的分層設(shè)備用戶接口過程步驟的計算機(jī)控制的流程圖。
圖7示出根據(jù)本發(fā)明一實施例的菜單項目樹目錄。
圖8A示出根據(jù)本發(fā)明一實施例的菜單項目可聽見提示過程。
圖8B示出根據(jù)本發(fā)明一實施例的菜單項目選擇過程。
圖8C示出根據(jù)本發(fā)明一實施例的子菜單項目選擇過程。
圖9示出根據(jù)本發(fā)明一實施例的表面上的多個不同類型的圖形項目圖標(biāo)。
具體實施例方式
現(xiàn)在將詳細(xì)參考本發(fā)明的優(yōu)選實施例，其實例在附圖中示出。雖然將結(jié)合優(yōu)選實施例來描述本發(fā)明，應(yīng)該理解其并非用來將本發(fā)明限制為這些實施例。相反，本發(fā)明意欲覆蓋可包括在所附權(quán)利要求所限定的精神和范圍內(nèi)的替換、修改和等效形式。另外，在以下對本發(fā)明實施例的詳述中，提出了很多具體細(xì)節(jié)以使本發(fā)明得到徹底理解。然而，本領(lǐng)域普通技術(shù)人員應(yīng)理解的是，沒有這些具體細(xì)節(jié)也可實施本發(fā)明。在其它實例中，為了不模糊本發(fā)明的實施例的方面，未詳細(xì)描述公知的方法、過程、部件和電路。
符號和術(shù)語以下詳細(xì)描述的一些部分是按照過程、步驟、邏輯塊、處理及對計算機(jī)存儲器內(nèi)數(shù)據(jù)位的操作的其它符號表示來提出的。這些描述和表示是數(shù)據(jù)處理領(lǐng)域的技術(shù)人員所使用的、為了將其工作的實質(zhì)最有效地傳達(dá)給該領(lǐng)域其它技術(shù)人員的手段。這里，過程、計算機(jī)執(zhí)行的步驟、邏輯塊、進(jìn)程等通常被當(dāng)作導(dǎo)致期望結(jié)果的自相一致的步驟或指令序列。所述步驟需要對物理量的物理操縱。通常，盡管不必要，這些量是電或磁信號的形式，能夠在計算機(jī)系統(tǒng)中存儲、傳遞、組合、比較或另外操縱。已經(jīng)證明，主要是為了公共使用的原因，將這些信號稱作位、值、元素、符號、字符、項目、數(shù)字等有時是方便的。
然而，應(yīng)牢記在心的是，所有這些和相似的術(shù)語應(yīng)與適當(dāng)?shù)奈锢砹肯嚓P(guān)聯(lián)并且僅僅是應(yīng)用于這些量的方便標(biāo)記。除非特別指明，否則如以下描述中所顯而易見的，應(yīng)理解在整個本發(fā)明中，討論所用的術(shù)語，如“處理”、“計算”、“配置”、“產(chǎn)生”等，指的是微控制器、計算機(jī)系統(tǒng)或類似電子計算設(shè)備的動作或過程，其將寄存器和存儲器內(nèi)的表示為物理(電子)量的數(shù)據(jù)操縱或轉(zhuǎn)換為類似地表示為物理量的其它數(shù)據(jù)。
本發(fā)明的實施例圖1是其上可實施本發(fā)明的實施例的筆設(shè)備100的框圖。通常，筆設(shè)備100可稱為光學(xué)設(shè)備，更具體地可稱為光學(xué)讀取器、光學(xué)筆或數(shù)字筆。該設(shè)備可包括計算機(jī)系統(tǒng)和駐留其上的操作系統(tǒng)。應(yīng)用程序也可駐留其上。
在圖1的實施例中，筆設(shè)備100包括殼體62內(nèi)的處理器32。在一個實施例中，殼體62具有筆或其它書寫或標(biāo)記工具或裝置的形式。處理器32可操作為處理用來實施筆設(shè)備100功能的信息和指令，其將在下面描述。
在本實施例中，筆設(shè)備100可包括耦合到處理器32的音頻輸出設(shè)備36和顯示設(shè)備40。在其它實施例中，音頻輸出設(shè)備和/或顯示設(shè)備與筆設(shè)備100物理分離，但通過有線或無線連接與筆設(shè)備100通信。對于無線通信，筆設(shè)備100可包括收發(fā)器或發(fā)射器(圖1中未示出)。音頻輸出設(shè)備36可包括揚聲器或音頻插座(如，用于耳機(jī)或頭戴式耳機(jī))。顯示設(shè)備40可以是液晶顯示器(LCD)或其它合適類型的顯示器。
在圖1的實施例中，筆設(shè)備100可包括耦合到處理器32的輸入按鈕38，用于激活并控制筆設(shè)備100。例如，輸入按鈕38允許用戶輸入信息和命令到筆設(shè)備100或接通或關(guān)斷筆設(shè)備100。筆設(shè)備100還包括電源34，如電池。
筆設(shè)備100還包括耦合到處理器32的光源或光學(xué)發(fā)射器44以及光感測器或光學(xué)檢測器42。例如，光學(xué)發(fā)射器44可為發(fā)光二極管(LED)，而光學(xué)發(fā)射器42可為電荷耦合器件(CCD)或互補金屬氧化物半導(dǎo)體(CMOS)成像器陣列。光學(xué)發(fā)射器44照亮表面70或其一部分。從表面70反射的光在光學(xué)檢測器42處接收并由光學(xué)檢測器42記錄。
表面70可為紙片，盡管本發(fā)明并非如此限制。例如，表面70可包括LCD(液晶顯示器)、CRT(陰極射線管)、觸摸屏、包括電子墨的表面、可再配置紙、或其它類型的電子工作表面(electronically active surface)(如，膝上型或平板PC的顯示器)。
在一個實施例中，在表面70上打印標(biāo)記圖案。支持光學(xué)發(fā)射器44和光學(xué)檢測器42的筆設(shè)備100的一端靠著或接近表面70放置。在相對于表面70移動筆設(shè)備100時，標(biāo)記圖案由光學(xué)發(fā)射器44和光學(xué)檢測器42讀取和記錄。如下面進(jìn)一步詳細(xì)討論的，在一個實施例中，表面70上的標(biāo)記用來確定筆設(shè)備100相對于表面的位置(見圖3和4)。在另一實施例中，表面70上的標(biāo)記用來對信息進(jìn)行編碼(見圖5和6)。筆設(shè)備100可分析(處理)表面70的所捕捉的圖像以對所述標(biāo)記進(jìn)行解碼并恢復(fù)經(jīng)編碼的信息。
有關(guān)用于對信息編碼的表面標(biāo)記以及由電子設(shè)備來讀取/記錄這樣的標(biāo)記的附加描述可在以下轉(zhuǎn)讓給Anoto的專利或?qū)＠暾堉姓业矫绹鴮＠鸑o.6,502,756、2002年7月26日提交的美國申請No.101179,966、WO01/95559、WO 01/71473、WO 01/75723、WO 01/26032、WO 01/75780、WO 01/01670、WO 01/75773、WO 01/71475、WO 1000/73983，和WO01116691，其全部內(nèi)容通過引用合并在此。
圖1的筆設(shè)備100還包括耦合到處理器32的存儲器單元48。在一個實施例中，存儲器單元48是實施為存儲器盒或存儲器卡的可移動存儲器單元。在另一實施例中，存儲器單元48包括隨機(jī)存取(易失性)存儲器(RAM)和只讀(非易失性)存儲器(ROM)，用于為處理器32存儲信息和指令。
在圖1的實施例中，筆設(shè)備100包括書寫元件52，其與光學(xué)檢測器42和光學(xué)發(fā)射器44位于筆設(shè)備100的同一端。例如，書寫元件52可以是筆、鉛筆、標(biāo)記器等，并且可以是或可以不是收回的。在某些應(yīng)用中，不需要書寫元件52。在其它應(yīng)用中，用戶可使用書寫元件52在表面70上作標(biāo)記(如，圖形元素)，包括字符，如字母、詞、數(shù)字、數(shù)學(xué)符號等。這些標(biāo)記可通過筆設(shè)備100根據(jù)其在表面70上的位置來掃描(成像)和解釋?？墒褂么蛴≡诒砻?0上的標(biāo)記圖案來確定用戶產(chǎn)生的標(biāo)記的位置；參見以下對圖3和4的討論。在一個實施例中，筆設(shè)備100使用識別手寫字符的光學(xué)字符識別(OCR)技術(shù)來解釋用戶產(chǎn)生的標(biāo)記。
如上所述，表面70可以是適合在其上書寫的任何表面，例如，紙片，盡管也可使用由不是紙的其它材料所構(gòu)成的表面。而且，表面70可以是或可以不是平的。例如，表面70可實施為球面。另外，表面70可小于或大于傳統(tǒng)紙頁(如8.5×11英寸)。
圖2是其上可實施本發(fā)明的實施例的另一設(shè)備200的框圖。設(shè)備200包括之前在此所述的處理器32、電源34、音頻輸出設(shè)備36、輸入按鈕38、存儲器單元48、光學(xué)檢測器42、光學(xué)發(fā)射器44和書寫元件52。但是，在圖2的實施例中，光學(xué)檢測器42、光學(xué)發(fā)射器44和書寫元件52實施為殼體62中的光學(xué)設(shè)備201，而處理器32、電源34、音頻輸出設(shè)備36、輸入按鈕38和存儲器單元48實施為殼體74中的平臺202。在本實施例中，光學(xué)設(shè)備201通過線纜102耦合到平臺202；但是，也可使用無線連接。圖2所示的元件可組合分布在光學(xué)設(shè)備201和平臺202之間，而不是如上所述。
圖3示出根據(jù)本發(fā)明一實施例的設(shè)置有標(biāo)記圖案的紙片15。在圖3的實施例中，紙片15設(shè)置有標(biāo)記圖案18構(gòu)成的光學(xué)可讀位置代碼17形式的編碼圖案。圖3中的標(biāo)記18為了清除起見被放大了很多。實際上，標(biāo)記18是人的視覺系統(tǒng)不可輕易辨別的，而且在紙片15上可表現(xiàn)為灰度級。在一個實施例中，標(biāo)記18實施為點，但是，本發(fā)明并不限制于此。
圖4示出圖3的位置代碼17的放大的部分19。定位如設(shè)備100和200(圖1和2)的光學(xué)設(shè)備以記錄位置代碼17的一個區(qū)的圖像。在一個實施例中，所述光學(xué)設(shè)備將標(biāo)記18配合于基準(zhǔn)系統(tǒng)，所述基準(zhǔn)系統(tǒng)是具有在柵格點相交的柵格線21的柵格的形式。標(biāo)記18的每個與一個柵格點22相關(guān)聯(lián)。例如，標(biāo)記23與柵格點24相關(guān)聯(lián)。對于圖像/柵格中的標(biāo)記，確定標(biāo)記從與該標(biāo)記相關(guān)聯(lián)的柵格點的位移。使用這些位移，圖像/柵格中的圖案與基準(zhǔn)系統(tǒng)中的圖案相比較?；鶞?zhǔn)系統(tǒng)中的每個圖案與表面70上的一個特定位置相關(guān)聯(lián)。因此，通過將圖像/柵格中的圖案與基準(zhǔn)系統(tǒng)中的圖案相匹配，可確定表面70上圖案的位置，以及因此，所述光學(xué)設(shè)備相對于表面70的位置。
有關(guān)用于對信息編碼的表面標(biāo)記以及由電子設(shè)備來讀取/記錄這樣的標(biāo)記的附加描述可在以下轉(zhuǎn)讓給Anoto的專利或?qū)＠暾堉姓业矫绹鴮＠鸑o.6,502,756、2002年7月26日提交的美國申請No.101179,966、WO01/95559、WO 01/71473、WO 01/75723、WO 01/26032、WO 01/75780、WO 01/01670、WO 01/75773、WO 01/71475、WO 1000/73983，和WO01/16691，其全部內(nèi)容通過引用合并在此。
再參考圖1，字母A、B、C和D(這些字符并未打印在表面70上，而是用來在此表示表面70上的位置)表示表面70上的4個位置或區(qū)。在表面70上可存在很多這樣的區(qū)。與表面70上的每個區(qū)相關(guān)聯(lián)的是唯一的標(biāo)記圖案。表面70上的區(qū)可重迭，因為即使一些標(biāo)記在重迭區(qū)之間共享，一個區(qū)中的標(biāo)記圖案對于該區(qū)仍是唯一的。
在圖1的實例中，使用筆設(shè)備100(具體地，使用書寫元件52)，用戶可在表面70上的位置A創(chuàng)建字符，例如，由帶圈的字母“M”構(gòu)成(一般而言，用戶可在表面70上的任何位置創(chuàng)建字符)。用戶可響應(yīng)于來自筆設(shè)備100的提示(如，可聽見的提示)而創(chuàng)建這樣的字符。當(dāng)用戶創(chuàng)建字符時，筆設(shè)備100記錄在創(chuàng)建所述字符的位置唯一呈現(xiàn)的標(biāo)記圖案。筆設(shè)備100將該標(biāo)記圖案與剛剛創(chuàng)建的字符相關(guān)聯(lián)。當(dāng)筆設(shè)備100隨后定位于帶圈的“M”上時，筆設(shè)備100識別與其相關(guān)聯(lián)的標(biāo)記圖案并將該位置識別為與帶圈的“M”相關(guān)聯(lián)。實際上，筆設(shè)備100使用字符的所處的位置處的標(biāo)記圖案來識別字符，而不是通過識別字符本身。
在一個實施例中，上述字符包括與筆設(shè)備100的一個或多個命令相關(guān)聯(lián)的“圖形元素”。應(yīng)該注意，這樣的圖形元素與包括命令的筆設(shè)備100實現(xiàn)的功能相關(guān)聯(lián)并用來訪問所述功能，下文中將其稱作“圖形元素圖標(biāo)”，以區(qū)別于未與筆設(shè)備100的訪問功能或應(yīng)用相關(guān)聯(lián)的其它所寫字符、標(biāo)記等。在剛剛描述的實例中，用戶可創(chuàng)建(寫出)標(biāo)識特定命令的圖形元素圖標(biāo)，并可通過簡單地將筆設(shè)備100置于該圖形元素圖標(biāo)(即所寫的字符)上而重復(fù)調(diào)用該命令。在一個實施例中，將書寫裝置置于圖形字符上。換句話說，用戶不必每次在用筆設(shè)備100來調(diào)用命令時寫出用于該命令的字符；相反，用戶可寫出用于命令的圖形元素圖標(biāo)一次并使用同一所寫圖形元素圖標(biāo)來重復(fù)調(diào)用該命令。這種屬性稱作“持久性”并將在下面更詳細(xì)地描述。對于不是用戶所寫而是預(yù)先打印在表面上而且仍然可由筆設(shè)備100選擇的圖形元素圖標(biāo)，這也為真。
在一個實施例中，圖形元素圖標(biāo)可包括字母或數(shù)字，其中在所述字母或數(shù)字周圍劃有線。圍繞字母或數(shù)字的線可以是圓圈、橢圓、方形、多邊形等。這樣的圖形元素看起來象用戶可選擇的“按鈕”，而不是普通的字母和數(shù)字。通過創(chuàng)建此類圖形元素圖標(biāo)，用戶可在視覺上將如功能圖標(biāo)的圖形元素圖標(biāo)與筆設(shè)備可作為數(shù)據(jù)處理的普通字母和數(shù)字區(qū)分開。而且，通過創(chuàng)建此類圖形元素圖標(biāo)，筆設(shè)備100還能夠?qū)⒐δ芑虿藛雾椖款愋偷膱D形元素與非功能或非菜單項目類型的圖形元素區(qū)分開。例如，用戶可創(chuàng)建作為由圓圈包圍的字母“M”的圖形元素圖標(biāo)，以創(chuàng)建交互式“菜單”圖形元素圖標(biāo)。
可對筆設(shè)備100編程以將其中有字母“M”的重迭的圓圈或方形識別為與詞中的字母“M”區(qū)分開的功能圖形元素。圖形元素圖標(biāo)還可包括在某距離(如，1英寸、1.5英寸等)內(nèi)與其相鄰的小“復(fù)選標(biāo)記”符號。該復(fù)選標(biāo)記與圖形元素圖標(biāo)相關(guān)聯(lián)。用于識別這樣的功能圖形元素并將其與其它非功能圖形元素區(qū)分開的計算機(jī)代碼可駐留在筆設(shè)備的存儲器單元中。處理器可識別圖形元素圖標(biāo)并可辨識這些圖形元素的位置，使得筆設(shè)備100可執(zhí)行與其相關(guān)聯(lián)的各種功能、操作等。在這些實施例中，存儲器單元包括用于將用戶產(chǎn)生的任何圖形元素與其在表面上的位置相關(guān)聯(lián)的計算機(jī)代碼。筆設(shè)備100識別“下觸(down-touch)”或“下筆(down-stroke)”或被向下置于表面上(如，當(dāng)用戶開始書寫時)并識別“提筆(up-stroke)”或從表面提起(如，當(dāng)用戶完成書寫時)。例如，筆設(shè)備100可將這樣的下筆或提筆解釋為何時調(diào)用某功能性以及調(diào)用何種具體功能/應(yīng)用(如觸發(fā)OCR處理)的指示器。特別地，下筆之后迅速跟隨提筆(如筆設(shè)備在表面上的敲擊)可與依賴于應(yīng)用的特定動作相關(guān)聯(lián)(如選擇圖形元素圖標(biāo)、文本串等)。
應(yīng)該注意，通稱“圖形元素”可包括用戶創(chuàng)建的任何合適的標(biāo)記，并可區(qū)別于涉及用于訪問設(shè)備的一個或多個功能的功能圖形元素的圖形元素圖標(biāo)。
如上所述，應(yīng)該注意，圖形元素圖標(biāo)可通過筆設(shè)備100創(chuàng)建(如，由用戶畫出)或可以是預(yù)先存在的(如紙片上的打印的元素)。示范性的圖形元素包括但不限于符號、如字母和/或數(shù)字的標(biāo)志、字符、詞、形狀、線條等。它們的形狀可以是規(guī)則的或不規(guī)則的。用戶寫/創(chuàng)建的圖形元素典型地使用筆設(shè)備100來創(chuàng)建。另外，對于用戶和筆設(shè)備100二者，圖形元素圖標(biāo)通常但不總是結(jié)合包圍字符(如字母“M”)的劃線(如圓圈)，以給予它們附加程度的顯著性。例如，在一個實施例中，在完成包圍字符的圓圈后的提筆可專門向筆設(shè)備100表示用戶已剛剛創(chuàng)建了圖形元素圖標(biāo)。
圖5示出根據(jù)本發(fā)明一實施例的計算機(jī)實施過程550的步驟的流程圖。過程550描述了根據(jù)本發(fā)明一實施例的設(shè)備(如筆設(shè)備100)當(dāng)其解釋圖形元素、書寫、標(biāo)記等形式的用戶輸入并提供所請求的功能給用戶時所實現(xiàn)的用戶接口過程的基本操作步驟。
過程550在步驟551開始，這里筆設(shè)備100的計算機(jī)實施的功能性識別所創(chuàng)建的圖形元素圖標(biāo)(如，用戶創(chuàng)建的)?？商鎿Q地，圖形元素可預(yù)打印在表面上并且其位置是筆設(shè)備所知的。在步驟551，如果用戶正在首次書寫圖形元素，則筆設(shè)備100正在使用光學(xué)傳感器和處理器對所述書寫執(zhí)行OCR(光學(xué)字符識別)以辨識用戶所寫的圖形元素。在一個實施例中，然后還記錄其在表面上的唯一位置。在步驟552，一旦識別，訪問與該圖形元素圖標(biāo)相關(guān)的功能。例如，該功能可以是可說明(如，可聽見地再現(xiàn))預(yù)定功能(如，菜單選擇或子菜單選項)列表以便用戶隨后激活的菜單功能。在步驟553，提供根據(jù)該功能的音頻輸出。例如，該音頻輸出可以說明在選擇列表內(nèi)用戶位于哪個特定選擇。在步驟554，該功能與該圖形元素圖標(biāo)持久相關(guān)聯(lián)，從而使能通過對圖形元素圖標(biāo)的隨后激勵(例如用筆設(shè)備100敲擊)來隨后訪問該功能(如在以后的某個時間)。例如，在菜單功能的情況下，在以后的某時間，通過簡單地激勵菜單圖形元素圖標(biāo)(如，敲擊它)用戶隨后可訪問所列出的菜單選擇。
應(yīng)該注意，除了或替代音頻輸出，筆設(shè)備100的輸出也可以是視頻輸出(如，經(jīng)由顯示器、指示器燈等)。視頻輸出和/或音頻輸出可直接來自筆設(shè)備100，或可來自可通信地耦合到筆設(shè)備100的另一設(shè)備(如，個人計算機(jī)、揚聲器、LCD顯示器等)。
應(yīng)該理解，多個不同的圖形元素可存在于表面上和任何時間，并且其選擇可提供待由筆設(shè)備執(zhí)行的各種功能，例如，以調(diào)用應(yīng)用、調(diào)用子菜單選項等。
以這種方式，本發(fā)明的實施例實現(xiàn)了用于導(dǎo)航計算機(jī)系統(tǒng)的功能性的用戶接口裝置，特別是基于筆的計算機(jī)系統(tǒng)，例如包括筆設(shè)備100。通過圖形元素圖標(biāo)實現(xiàn)的用戶接口提供與在筆設(shè)備100內(nèi)執(zhí)行的許多軟件應(yīng)用交互的方法。如上所述，來自筆設(shè)備100的輸出可包括音頻輸出，并且因此，用戶接口裝置使用戶能夠與筆設(shè)備100的應(yīng)用和功能性進(jìn)行“對話”。換句話說，用戶接口使用戶能夠創(chuàng)建互相識別的項目，如圖形元素圖標(biāo)，其允許用戶和筆設(shè)備彼此交互。如上所述，互相識別的項目典型地是用戶在典型地為紙片的表面上畫出的符號或標(biāo)記或圖標(biāo)。
不同圖形元素圖標(biāo)具有不同含義以及與用戶交互的不同方式。通常，對于給定的圖形元素圖標(biāo)，交互的方式將調(diào)用不同的計算機(jī)實施的筆設(shè)備的功能性。為了說明的目的，在以上菜單實例的情況下，菜單功能允許用戶重復(fù)經(jīng)過與圖形元素相關(guān)的功能列表(如，在菜單圖形元素圖標(biāo)上敲擊的次數(shù)重復(fù)經(jīng)過功能列表)。當(dāng)敲擊完時，來自筆設(shè)備的音頻可說明功能或模式。然后，通過某種進(jìn)一步的交互(如，畫出或選擇先前所畫的與圖形元素圖標(biāo)相關(guān)聯(lián)的復(fù)選標(biāo)記圖形元素)，用戶可選擇所說明的功能/模式之一。一旦選擇，然后用戶可訪問功能性和選項以及特定所選功能的子菜單?？商鎿Q地，如果可聽見地再現(xiàn)的子選項之一本身是菜單圖形圖標(biāo)，它可以通過用戶在表面上畫出其表示并選擇它來選擇。
圖6示出根據(jù)本發(fā)明一實施例的過程650的計算機(jī)實施的步驟的流程圖。過程650描述根據(jù)本發(fā)明的一實施例訪問(如導(dǎo)航經(jīng)過)交互式設(shè)備(如筆設(shè)備100)的若干嵌套的、分層功能的用戶接口過程的基本操作步驟。過程650參考圖8A、8B和8C來描述。
過程650在步驟651開始，其中筆設(shè)備100的計算機(jī)實施的功能性識別所創(chuàng)建的圖形元素圖標(biāo)，在圖8A中示為菜單圖標(biāo)“M”。類似步驟551，圖形元素圖標(biāo)可由用戶寫或預(yù)打印在表面上。在一種情況下，圖形元素圖標(biāo)可提供與其相關(guān)聯(lián)并且其自身可提供進(jìn)一步選擇的進(jìn)一步的圖形元素圖標(biāo)(如分層設(shè)置)的選擇列表。在步驟652，如圖8A中所示，一旦識別，訪問與圖形元素圖標(biāo)相關(guān)的功能的第一分層菜單。在本實例中，一旦識別，步驟651的菜單圖標(biāo)“M”使得子選項列表(如系統(tǒng)“S”、游戲“G”、參考“R”和工具“T”)被可聽見地再現(xiàn)(如，經(jīng)由可聽見的提示)，每次一個選項，如圖8A中所示。所述選項是響應(yīng)于筆設(shè)備(如，筆設(shè)備100)在步驟651對菜單圖標(biāo)的選擇而再現(xiàn)的。
在步驟653中，且如圖8B中所示，通過對菜單圖形元素圖標(biāo)的適當(dāng)數(shù)量的激勵(如，敲擊)以及對相關(guān)復(fù)選標(biāo)記圖標(biāo)870的激勵來選擇所說明的功能之一，在本實例中，參考圖形元素圖標(biāo)“R”。在步驟654中，激活的功能可提示創(chuàng)建第二圖形元素圖標(biāo)用于功能的第二分層菜單。然后用戶可在表面上畫出第二圖形元素圖標(biāo)，在本實施例中，參考圖標(biāo)“R”。如圖8C中所示，其選擇將使子菜單項目的第二列表以上述方式(如，辭典“TH”、詞典“D”和幫助“H”)可聽見地再現(xiàn)(如，經(jīng)由可聽見的提示)。隨后在步驟655中，第二圖形元素圖標(biāo)的所說明的功能之一通過適當(dāng)數(shù)量的激勵而激活以選擇第二分層層次功能之一。
以此方式，一個菜單可調(diào)用許多子菜單，所述子菜單本身具有更進(jìn)一步的子菜單。因此，不同層次的圖形元素圖標(biāo)可分層設(shè)置。通常，呈現(xiàn)功能菜單的頂層圖形元素圖標(biāo)稱作組圖形元素圖標(biāo)。應(yīng)用圖形元素圖標(biāo)是第二層圖形元素圖標(biāo)，其通常呈現(xiàn)配置選項的菜單或?qū)o定應(yīng)用的應(yīng)用設(shè)置。例如，應(yīng)用圖形元素圖標(biāo)可視為組圖形元素圖標(biāo)的特殊情況。通常，應(yīng)用圖形元素圖標(biāo)具有與其相關(guān)聯(lián)的專門的應(yīng)用相關(guān)的默認(rèn)行為。
以此方式，用戶然后可從菜單項目列表中選擇菜單項目。菜單項目可包括目錄名稱、子目錄名稱、應(yīng)用名稱或特定數(shù)據(jù)集的名稱。目錄或子目錄名稱的實例包括但不限于“工具”(如，用于可應(yīng)用于很多不同環(huán)境下的交互式的有用的功能)、“參考”(如，用于如詞典的參考材料)、“游戲”(如，不同游戲)等。特定應(yīng)用名稱的實例包括“計算器”、“拼寫檢查器”、“翻譯器”。數(shù)據(jù)集的特定實例可包括外來詞及其定義的列表、電話列表、日歷、任務(wù)列表(to-do list)等。圖7中示出菜單項目的附加實例。
可為各種菜單項目提供具體的音頻指令。例如，在用戶選擇“計算器”菜單項目后，筆設(shè)備可指示用戶在紙片上畫出數(shù)字0-9以及運算符±、-、×、/和＝，然后選擇數(shù)字來執(zhí)行數(shù)學(xué)計算。在另一實例中，在用戶選擇“翻譯器”菜單項目后，筆設(shè)備可指示用戶寫出第二語言的名稱并將其圈起來。在用戶這樣做了之后，筆設(shè)備可進(jìn)一步指示用戶寫下英語詞，然后選擇所圈的第二語言以便聽到翻譯成第二語言的所寫詞。在這樣作之后，筆設(shè)備中的音頻輸出設(shè)備可以以第二語言讀出該詞。
圖7示出根據(jù)本發(fā)明一實施例的菜單項目樹目錄，包括每個選項的圖形元素圖標(biāo)表示。所述菜單項目樹目錄可實施從菜單圖形元素圖標(biāo)開始的音頻菜單。從圖7的頂部開始，第一音頻子目錄將是工具T子目錄。在工具T子目錄下，可存在翻譯器TR子目錄、計算器C子目錄、拼寫檢查器SC子目錄、個人助理PA子目錄、鬧鐘AL子目錄和輔導(dǎo)TU子目錄。在翻譯器TR子目錄下，可存在西班牙語SP、法語FR和德語GE翻譯器功能。在個人助理PA子目錄下，可存在計算器C、電話列表FL、和任務(wù)列表TD功能或子目錄。在參考R子目錄下，可存在辭典TH功能、詞典D子目錄和幫助H功能。在詞典D子目錄下，可存在英語E功能、西班牙語SP功能和法語FR功能。在游戲G子目錄下，可存在游戲如猜詞WS、funky potatoes FP和畫板(doodler)DO。在本發(fā)明的其它實施例中還可出現(xiàn)其它游戲。在系統(tǒng)S子目錄下，可存在安全SE功能以及個性化P功能。
下面提供有關(guān)一些以上目錄、子目錄和功能的細(xì)節(jié)。如菜單項目樹目錄所示的，用戶可通過聽取各種菜單項目的讀出并且然后選擇所期望的菜單項目來順著任何期望的路徑前進(jìn)或?qū)Ш?。所期望的菜單項目的隨后選擇可以任何合適的方式進(jìn)行。例如，在一些實施例中，通過在所創(chuàng)建的圖形元素上“下觸”(如下筆)，用戶可使筆設(shè)備卷動經(jīng)過音頻菜單。通過使用任何合適的機(jī)制，筆設(shè)備中的電子設(shè)備可將“下觸”識別為“激勵”。例如，筆設(shè)備可被編程以識別與其向著所選圖形元素向下移動相關(guān)聯(lián)的圖像改變。
在另一實例中，筆設(shè)備中可提供壓力敏感的開關(guān)，使得當(dāng)筆設(shè)備的末端施加壓力到紙時，激活壓力開關(guān)。這通知筆設(shè)備卷動經(jīng)過音頻菜單。例如，在以筆設(shè)備選擇了畫圈的字母“M”(以由此激活筆設(shè)備中的壓力開關(guān))后，筆設(shè)備中的音頻輸出設(shè)備可讀出“工具”，而沒有更多。用戶可第二次選擇畫圈的字母“M”，以使音頻輸出設(shè)備讀出菜單項目“參考”。這可按所需頻率重復(fù)，以卷動經(jīng)過所述音頻菜單。為了選擇特定菜單項目，用戶在紙上創(chuàng)建不同的標(biāo)記或利用掃描裝置提供特定的姿態(tài)(gesture)。例如，在聽到詞“工具”后，用戶可緊鄰帶圈的字母“M”畫出“復(fù)選標(biāo)記”(或其它圖形元素)，以選擇子目錄“工具”。使用如此的方法，用戶可向著菜單項目樹中的預(yù)期的目錄、子目錄和功能導(dǎo)航。不同圖形元素或不同姿態(tài)的創(chuàng)建可用來使筆設(shè)備向上卷動?？商鎿Q地，按鈕或其它激勵器可提供在筆設(shè)備中以卷動經(jīng)過菜單。一旦選擇了“工具”，其將如上所述但針對其子目錄菜單起作用。
在其它實施例中，在創(chuàng)建菜單圖形元素圖標(biāo)(如帶圈的字母“M”)后，用戶可選擇該菜單圖形元素圖標(biāo)。掃描裝置中的軟件將畫圈的字母識別為菜單符號并使掃描裝置以間隔開的時序間隔依次讀出菜單項目“工具”、“參考”、“游戲”和“系統(tǒng)”，而無需用戶下觸。音頻指令可提供給用戶。例如，筆設(shè)備可以說“選擇“工具”目錄，寫出字母“T”并將其圈起來”。為了選擇菜單項目，用戶可創(chuàng)建字母“T”并將其圈起來。這向筆設(shè)備表明用戶已選擇了子目錄“工具”。然后，筆設(shè)備可向用戶讀出“工具”子目錄下的菜單項目。因此，通過在片上創(chuàng)建表示目錄、子目錄或功能的圖形元素以及與其交互，有可能直接前進(jìn)到菜單項目樹中的特定目錄、子目錄或功能?？商鎿Q地，如果菜單項目已駐留在表面上，用戶可在任何時間與其交互以選擇其功能。
應(yīng)該注意，用戶可改變圖7中所示的圖形元素圖標(biāo)的目錄、子目錄、選項菜單等內(nèi)項目的次序。例如，用戶可訪問某應(yīng)用并使用該應(yīng)用來改變一個或多個目錄、子目錄等的項目可聽見地再現(xiàn)的次序。類似地，用戶可改變與一個給定目錄/子目錄等內(nèi)一個或多個項目相關(guān)聯(lián)的特定音頻輸出，例如，用戶可針對一項目記錄其自己的聲音、使用預(yù)先記錄的歌曲(如，MP3等)等等，并且相應(yīng)地用作該項目的可聽見地再現(xiàn)的輸出。另外，應(yīng)該注意，例如通過提供給筆設(shè)備的軟件/或固件更新(如，上載新的基于軟件的功能性)可為一個或多個目錄、子目錄等添加附加的項目。
應(yīng)該注意，圖形元素圖標(biāo)的多個實例的相應(yīng)狀態(tài)(如，多個菜單圖標(biāo))可與每個特定實例持久地相關(guān)聯(lián)。例如，在兩個或多個圖形元素圖標(biāo)存在于公共表面上的情況下(如，用戶創(chuàng)建、預(yù)打印等)，可為每個圖標(biāo)獨立保持或記住其狀態(tài)或其在其選項目錄內(nèi)的具體位置。例如，如果第一菜單圖標(biāo)當(dāng)前在選項三(如“游戲”)，而第二菜單圖標(biāo)當(dāng)前在選項一(如“工具”)，用戶可離開并使用其它應(yīng)用(如，計算器、詞典等)來執(zhí)行其它任務(wù)，并在以后的某個時間回到第一或第二菜單圖標(biāo)，而它們將正確地保持其最后的狀態(tài)(如，第一菜單圖標(biāo)為“游戲”，而第二為“工具”)。
類似地，應(yīng)該注意，圖形元素圖標(biāo)(例如多個菜單圖標(biāo))的多個實例的相應(yīng)狀態(tài)可在多個實例間協(xié)調(diào)并與每個特定實例持久地相關(guān)聯(lián)。利用協(xié)調(diào)的狀態(tài)，其中兩個或多個圖形元素圖標(biāo)存在于公共表面(如，用戶創(chuàng)建、預(yù)打印等)上，可為每個圖標(biāo)記住其狀態(tài)，但可協(xié)調(diào)該狀態(tài)以使選項跨越每個實例。例如，如果第一菜單圖標(biāo)當(dāng)前在選項二(如，“系統(tǒng)”)，第二菜單圖標(biāo)將使其狀態(tài)得到協(xié)調(diào)以使其將在選項三(如，“工具”)。用戶可執(zhí)行其它中間任務(wù)并在以后的某個時間返回到第一或第二菜單圖標(biāo)，而它們將正確地保持其協(xié)調(diào)的狀態(tài)(如，第一為“系統(tǒng)”而第二為“工具”)。
圖9示出根據(jù)本發(fā)明一實施例的具有若干圖形元素圖標(biāo)寫于其上的表面910(如，紙片)。圖9示出組圖形元素圖標(biāo)(如，菜單圖標(biāo)“M”和游戲圖標(biāo)“G”)以及應(yīng)用圖標(biāo)(如，計算器圖標(biāo)“C”)的實例。用戶可將圖形元素圖標(biāo)寫于紙片910上，或者可預(yù)打印。例如，用筆設(shè)備100在位置901重復(fù)敲擊依次通過菜單目錄的選項(如，系統(tǒng)、游戲、參考和工具)，如圖7的討論中所述。例如，在菜單圖標(biāo)上敲擊兩次將使筆設(shè)備100可聽見地再現(xiàn)“系統(tǒng)”并且然后可聽見地再現(xiàn)“游戲”，從而指示對游戲子目錄的選擇。然后可通過觸摸位置902(如，復(fù)選標(biāo)記)激活游戲子目錄并且該激活可通過一音頻音調(diào)確認(rèn)給用戶。
隨后，筆設(shè)備100可聽見地提示用戶創(chuàng)建(如，畫出)如圖9中所示的游戲圖形元素。使用筆設(shè)備100在位置903重復(fù)敲擊游戲圖標(biāo)然后使筆設(shè)備100依次通過游戲子目錄的選項(如，猜詞、funky potatoes和畫板)，如圖7的討論中所述。一個所選的游戲子目錄項目然后可通過在位置904(例如與游戲關(guān)聯(lián)的復(fù)選標(biāo)記)敲擊而選擇，或可替換地，若那里尚無復(fù)選標(biāo)記，則畫出它。
仍參考圖9，在計算器圖標(biāo)“C”的觸摸啟動計算器應(yīng)用。以這種方式，計算器圖標(biāo)不再現(xiàn)菜單項目或子菜單選項的列表，而是直接啟動應(yīng)用本身，在該情況下是計算器應(yīng)用。一旦計算器應(yīng)用被調(diào)用，筆設(shè)備100確認(rèn)激活(如，通過再現(xiàn)一音頻音調(diào))并可聽見地提示用戶通過一系列動作來準(zhǔn)備計算器以便使用(如，通過指示用戶在表面上畫出數(shù)字0-9、以及運算符±、-、×、/和＝，并且然后選擇數(shù)字來執(zhí)行數(shù)學(xué)計算)。
重要的是，在以上實例中，應(yīng)該注意對標(biāo)記、單個字符(如，字母“M”)或文本串(如，詞)，在其由用戶第一次寫出(如圖9中所示的“M”)時，僅需執(zhí)行一次OCR(光學(xué)字符識別)過程。如上所述，筆設(shè)備100包括這樣的功能性通過該功能性，通過筆設(shè)備100讀取在表面910上編碼的數(shù)據(jù)，可確定表面910上圖形元素的位置。這使筆設(shè)備100能夠記住特定字符、特定符號、特定文本串等的位置。因此，筆設(shè)備100可通過識別表面上特定詞的位置來識別對該特定詞的隨后的選擇(如，在后來的某時間，用戶使筆設(shè)備100觸碰所述特定詞時)。用戶隨后選擇該詞時，再調(diào)用之前執(zhí)行的OCR過程的結(jié)果，而且例如，這些結(jié)果由激活的應(yīng)用(如，詞典)使用。因此，存儲OCR過程(如，對詞、字符、數(shù)字等)的結(jié)果以及隨后再調(diào)用這些結(jié)果用來在稍后的時間與一個或多個應(yīng)用一起使用，這一能力大大改善了本發(fā)明的實施例所實施的用戶接口的性能和響應(yīng)性。資源密集的OCR處理僅需筆設(shè)備100的計算機(jī)系統(tǒng)資源執(zhí)行一次。
圖9還示出使用筆設(shè)備100的“提示并相信(prompt and believe)”功能所創(chuàng)建的用戶所寫的詞906(如，文本串)。根據(jù)本發(fā)明的實施例，應(yīng)該注意，一些詞、文本串、標(biāo)記、符號或其它圖形元素完全不需使用OCR來處理。例如，用戶可響應(yīng)于來自筆設(shè)備100的可聽見的提示來創(chuàng)建特定詞、圖形元素等，其中筆設(shè)備提示用戶寫出特定詞(如，“president”)并且隨后存儲帶有關(guān)聯(lián)(如，來自提示)的該所寫詞的位置。以如上所述的方式，通過位置來識別對所創(chuàng)建的詞的隨后的選擇。例如，筆設(shè)備100可指示用戶寫出詞“president”906。響應(yīng)于該提示，用戶寫出詞“president”而筆設(shè)備100將在對所述詞的隨后選擇時認(rèn)為，或換言之相信，在用戶響應(yīng)于提示所寫的詞實際上是詞“president”。換句話說，筆設(shè)備100將標(biāo)簽“president”與用戶響應(yīng)于提示所寫的相關(guān)聯(lián)。依賴于應(yīng)用，可提示用戶在詞下劃線、圍繞詞畫框或其它的，以及一些區(qū)別標(biāo)記/圖形元素。
當(dāng)用戶寫完所提示的詞時，筆設(shè)備100通過例如將不活動(inactivity)(如，用戶不再寫)識別為數(shù)據(jù)輸入終止事件而識別出用戶已完成的事實。以這種方式，可使用“超時”機(jī)制來識別數(shù)據(jù)輸入的結(jié)束。另一終止事件可以是詞被下劃線或畫框的情況，如上所述。終止事件的另外實例參見2005年1月12日提交的、律師檔案號No.LEAP-P0320、Marggraff等人的共同轉(zhuǎn)讓的美國專利申請“TERMINATION EVENT”，其全部內(nèi)容合并于此。
以這種方式，本發(fā)明的實施例的提示并相信特征使能創(chuàng)建具有用戶和筆設(shè)備100之間相互理解的含義的圖形元素。重要的是，應(yīng)該理解對詞president沒有進(jìn)行OCR處理。使用“提示并相信”功能創(chuàng)建的圖形元素可與用于其它應(yīng)用、選項、菜單、功能等的標(biāo)簽相關(guān)聯(lián)，由此使對提示并相信圖形元素的選擇(如，通過敲擊)可調(diào)用以上的任何一個。減少對OCR處理的需求可降低對筆設(shè)備的計算要求并因此改善用戶接口的響應(yīng)性。
盡管在使用以標(biāo)記編碼的表面來確定筆設(shè)備的位置的上下文中已描述了本發(fā)明的實施例，但應(yīng)該注意本發(fā)明的實施例還適合于與使用不需要編碼表面的其它裝置來確定位置的筆設(shè)備一起使用。例如，在一個實施例中，筆設(shè)備可結(jié)合一個或多個定位機(jī)構(gòu)，如運動傳感器、陀螺儀等，并且可配置成準(zhǔn)確存儲給定表面(如，紙片)的精確位置。例如，通過順序觸碰表面(如，矩形的紙片)的相對的角，可存儲表面的精確位置。筆設(shè)備然后將通過比較所存儲的表面精確位置與其位置確定裝置的結(jié)果來識別用戶在表面上所寫的圖形元素的位置。
對本發(fā)明特定實施例的以上描述僅僅是為了說明和描述的目的而提出的。它們并不是想要窮盡或?qū)⒈景l(fā)明限制于所公開的精確的形式，并且顯然按照以上教導(dǎo)，許多修改和變化是可能的。選擇和描述實施例是為了最好地說明本發(fā)明的原理及其實際應(yīng)用，由此使本領(lǐng)域的其他技術(shù)人員能夠以適合于所設(shè)想的特定用途的各種修改來最好地利用本發(fā)明和各種實施例。所希望的是，本發(fā)明的范圍由所附權(quán)利要求及其等效形式來限定。
權(quán)利要求
1.一種用于解釋用戶命令的方法，包括識別表面上的所創(chuàng)建的圖形元素圖標(biāo)；訪問與所述圖形元素圖標(biāo)相關(guān)的功能；根據(jù)所述功能提供輸出；以及將所述功能與所述圖形元素圖標(biāo)相關(guān)聯(lián)。
2.如權(quán)利要求1的方法，進(jìn)一步包括通過存儲所述功能與所述圖形元素圖標(biāo)的關(guān)聯(lián)，響應(yīng)于對所述圖形元素圖標(biāo)的隨后的選擇，使能對所述功能的隨后的訪問。
3.如權(quán)利要求2的方法，其中對所述功能與所述圖形元素圖標(biāo)的關(guān)聯(lián)的存儲實現(xiàn)了經(jīng)由與所述圖形元素圖標(biāo)的交互、在預(yù)定量的時間內(nèi)的所述功能的持久可用性。
4.一種用于解釋用戶命令的方法，包括識別表面上的所創(chuàng)建的圖形元素圖標(biāo)；訪問與所述圖形元素圖標(biāo)相關(guān)的功能；根據(jù)所述功能提供音頻輸出；以及通過存儲所述功能與所述圖形元素圖標(biāo)的關(guān)聯(lián)，使能對所述功能的隨后的訪問，其中，對所述關(guān)聯(lián)的存儲實現(xiàn)了經(jīng)由與所述圖形元素圖標(biāo)的交互、在預(yù)定量的時間內(nèi)的所述功能的持久可用性。
5.如權(quán)利要求1或4的方法，其中所述圖形元素圖標(biāo)由筆設(shè)備創(chuàng)建在所述表面上。
6.如權(quán)利要求1或4的方法，進(jìn)一步包括實施功能的分層結(jié)構(gòu)；以及經(jīng)由圖形元素圖標(biāo)的對應(yīng)分層結(jié)構(gòu)來提供對所述功能分層結(jié)構(gòu)的訪問。
7.如權(quán)利要求4的方法，進(jìn)一步包括提供與所述功能相關(guān)的至少一個音頻提示來指示所述功能的操作方式。
8.如權(quán)利要求7的方法，進(jìn)一步包括識別對所述圖形元素圖標(biāo)的至少一個激勵以選擇第一分層層次功能；提示創(chuàng)建第二圖形元素圖標(biāo)；識別對所述第二圖形元素圖標(biāo)的至少一個激勵以選擇第二分層層次的功能；提供與第二分層層次功能相關(guān)的音頻輸出；以及將所述第二分層層次功能與所述第二圖形元素圖標(biāo)相關(guān)聯(lián)。
9.一種設(shè)備，包括用于檢測來自表面的圖像的光學(xué)傳感器；耦合到所述傳感器的處理器；以及耦合到所述處理器的存儲器，所述存儲器存儲指令，當(dāng)執(zhí)行所述指令時，使得所述設(shè)備實施一種用于解釋用戶命令的方法，所述方法包括識別表面上的所創(chuàng)建的圖形元素圖標(biāo)；訪問與所述圖形元素圖標(biāo)相關(guān)的功能；根據(jù)所述功能提供輸出；以及將所述功能與所述圖形元素圖標(biāo)相關(guān)聯(lián)。
10.如權(quán)利要求9的設(shè)備，其中所述輸出包括與所述功能相關(guān)的音頻輸出。
11.如權(quán)利要求9的設(shè)備，進(jìn)一步包括通過存儲所述功能與所述圖形元素圖標(biāo)的關(guān)聯(lián)，使能對所述功能的隨后的訪問。
12.如權(quán)利要求11的設(shè)備，其中對所述功能與所述圖形元素圖標(biāo)的關(guān)聯(lián)的存儲實現(xiàn)了經(jīng)由與所述圖形元素圖標(biāo)的交互、在預(yù)定量的時間內(nèi)的所述功能的持久可用性。
13.如權(quán)利要求9的設(shè)備，進(jìn)一步包括書寫裝置，并且其中所述圖形元素圖標(biāo)由所述書寫裝置創(chuàng)建在所述表面上。
14.如權(quán)利要求13的設(shè)備，其中所述表面包括紙片。
15.如權(quán)利要求9的設(shè)備，其中所述方法進(jìn)一步包括通過解釋對所述圖形元素圖標(biāo)的至少一個激勵來訪問與所述圖形元素圖標(biāo)相關(guān)的多個功能之一，其中所述至少一個激勵選擇所述多個功能之一。
16.如權(quán)利要求15的設(shè)備，其中所述至少一個激勵包括識別對所述圖形元素圖標(biāo)的至少一個敲擊。
17.如權(quán)利要求15的設(shè)備，其中所述方法進(jìn)一步包括當(dāng)選擇了所述多個功能之一時提供多個音頻輸出之一。
18.如權(quán)利要求15的設(shè)備，其中所述多個功能包括預(yù)定選項菜單。
19.如權(quán)利要求15的設(shè)備，其中所述多個功能包括與所述圖形元素圖標(biāo)相關(guān)的應(yīng)用的多個配置選項。
20.如權(quán)利要求19的設(shè)備，其中所述多個配置選項的至少一個包括所述應(yīng)用的默認(rèn)配置。
21.如權(quán)利要求19的設(shè)備，其中所述方法進(jìn)一步包括實施功能的分層結(jié)構(gòu)；以及經(jīng)由圖形元素圖標(biāo)的對應(yīng)分層結(jié)構(gòu)來提供對所述功能分層結(jié)構(gòu)的訪問。
22.如權(quán)利要求21的設(shè)備，其中所述方法進(jìn)一步包括識別對所述圖形元素圖標(biāo)的至少一個激勵以選擇第一分層層次功能；提示創(chuàng)建第二圖形元素圖標(biāo)；識別對所述第二圖形元素圖標(biāo)的至少一個激勵以選擇第二分層層次功能；提供與所述第二分層層次功能相關(guān)的音頻輸出；以及將所述第二分層層次功能與所述第二圖形元素圖標(biāo)相關(guān)聯(lián)。
23.如權(quán)利要求9的設(shè)備，其中所述方法進(jìn)一步包括提供與所述功能相關(guān)的至少一個音頻提示以指示該功能的操作方式。
24.一種與基于筆的計算機(jī)系統(tǒng)交互的方法，所述方法包括識別對可寫表面上的第一圖形圖標(biāo)的選擇，所述選擇是使用所述基于筆的計算機(jī)系統(tǒng)的書寫裝置來執(zhí)行的；響應(yīng)于所述選擇，可聽見地再現(xiàn)與所述第一圖形圖標(biāo)相關(guān)聯(lián)的第一選項的列表，其中所述第一選項可操作為由所述基于筆的計算機(jī)系統(tǒng)來調(diào)用；以及響應(yīng)于對所述第一選項的一個的選擇，調(diào)用所述第一選項的所述的一個。
25.如權(quán)利要求24的方法，其中所述第一選項包括至少一個待調(diào)用的應(yīng)用。
26.如權(quán)利要求24的方法，其中所述第一選項的所述一個是駐留于所述基于筆的計算機(jī)系統(tǒng)的應(yīng)用程序。
27.如權(quán)利要求24的方法，其中所述可聽見地再現(xiàn)所述第一選項的所述列表包括響應(yīng)于所述書寫裝置對所述第一圖形圖標(biāo)的選擇，以循環(huán)的方式每次一個地、可聽見地再現(xiàn)每個所述第一選項。
28.如權(quán)利要求27的方法，進(jìn)一步包括在可聽見地再現(xiàn)所述第一選項的所述一個后，響應(yīng)于所述書寫裝置選擇所述第一圖形圖標(biāo)的部分，辨識對所述第一選項的所述一個的選擇。
29.如權(quán)利要求28的方法，其中所述第一圖形圖標(biāo)的所述部分是復(fù)選標(biāo)記的符號。
30.如權(quán)利要求24的方法，其中所述第一圖形圖標(biāo)是用戶寫在所述表面上的并且進(jìn)一步包括自動辨識所述第一圖形圖標(biāo)，并且其中使用所述基于筆的計算機(jī)系統(tǒng)的處理器來執(zhí)行所述自動辨識所述第一圖形圖標(biāo)。
31.如權(quán)利要求24的方法，其中所述第一圖形圖標(biāo)預(yù)打印在所述表面上。
32.如權(quán)利要求24的方法，其中所述第一圖形圖標(biāo)是菜單項目并且其中所述第一選項是可操作為由所述基于筆的計算機(jī)系統(tǒng)調(diào)用的選項分層結(jié)構(gòu)內(nèi)的子菜單項目。
33.如權(quán)利要求24的方法，其中所述第一選項包括具有相關(guān)聯(lián)的第二圖形圖標(biāo)的選項，并且進(jìn)一步包括識別對所述可寫表面上的所述第二圖形圖標(biāo)的選擇，所述選擇是使用所述基于筆的計算機(jī)系統(tǒng)的所述書寫裝置來執(zhí)行的；響應(yīng)于所述選擇，可聽見地再現(xiàn)與所述第二圖形圖標(biāo)相關(guān)聯(lián)的第二選項的列表，其中所述第二選項可操作為由所述基于筆的計算機(jī)系統(tǒng)來調(diào)用；以及響應(yīng)于對所述第二選項的一個的選擇，調(diào)用所述第二選項的所述的一個。
34.如權(quán)利要求33的方法，其中所述第二選項包括至少一個待調(diào)用的應(yīng)用。
35.如權(quán)利要求33的方法，其中所述第二選項的所述一個是駐留于所述基于筆的計算機(jī)系統(tǒng)的應(yīng)用程序。
36.如權(quán)利要求33的方法，其中所述可聽見地再現(xiàn)所述第二選項的所述列表包括響應(yīng)于所述書寫裝置對所述第二圖形圖標(biāo)的選擇，以循環(huán)的方式每次一個地、可聽見地再現(xiàn)每個所述第二選項。
37.如權(quán)利要求36的方法，進(jìn)一步包括在可聽見地再現(xiàn)所述第二選項的所述一個后，響應(yīng)于所述書寫裝置選擇所述第二圖形圖標(biāo)的部分，辨識對所述第二選項的所述一個的選擇。
38.如權(quán)利要求33的方法，其中所述第二圖形圖標(biāo)是用戶寫在所述表面上的并且進(jìn)一步包括自動辨識所述第二圖形圖標(biāo)，并且其中使用所述基于筆的計算機(jī)系統(tǒng)的處理器來執(zhí)行所述自動辨識所述第二圖形圖標(biāo)。
39.一種基于筆的計算機(jī)系統(tǒng)，包括書寫裝置；揚聲器；耦合到總線的存儲器單元；耦合到所述總線的光學(xué)傳感器；以及處理器，耦合到所述總線并且包括指令，當(dāng)執(zhí)行所述指令時，實施一種與用戶交互的方法，所述方法包括識別對可寫表面上的第一圖形圖標(biāo)的選擇，所述選擇是使用所述書寫裝置來執(zhí)行的；響應(yīng)于所述選擇，經(jīng)由所述揚聲器，可聽見地再現(xiàn)與所述第一圖形圖標(biāo)相關(guān)聯(lián)的第一選項的列表，其中所述第一選項可操作為由所述基于筆的計算機(jī)系統(tǒng)來調(diào)用；以及響應(yīng)于對所述第一選項的一個的選擇，調(diào)用所述第一選項的所述的一個。
40.如權(quán)利要求39的系統(tǒng)，其中所述第一選項的所述一個是駐留于所述基于筆的計算機(jī)系統(tǒng)的應(yīng)用程序。
41.如權(quán)利要求39的系統(tǒng)，其中所述可聽見地再現(xiàn)所述第一選項的所述列表包括響應(yīng)于所述書寫裝置對所述第一圖形圖標(biāo)的選擇，以循環(huán)的方式每次一個地、可聽見地再現(xiàn)每個所述第一選項。
42.如權(quán)利要求41的系統(tǒng)，其中所述方法進(jìn)一步包括在可聽見地再現(xiàn)所述第一選項的所述一個后，響應(yīng)于所述書寫裝置選擇所述第一圖形圖標(biāo)的部分，辨識對所述第一選項的所述一個的選擇。
43.如權(quán)利要求42的系統(tǒng)，其中所述第一圖形圖標(biāo)的所述部分是復(fù)選標(biāo)記的符號。
44.如權(quán)利要求39的系統(tǒng)，其中所述第一圖形圖標(biāo)是用戶寫在所述表面上的并且其中所述方法進(jìn)一步包括自動辨識所述第一圖形圖標(biāo)，并且其中使用所述基于筆的計算機(jī)系統(tǒng)的處理器來執(zhí)行所述自動辨識所述第一圖形圖標(biāo)。
45.如權(quán)利要求39的系統(tǒng)，其中所述第一圖形圖標(biāo)是菜單項目并且其中所述第一選項是可操作為由所述基于筆的計算機(jī)系統(tǒng)調(diào)用的選項分層結(jié)構(gòu)內(nèi)的子菜單項目。
46.如權(quán)利要求39的系統(tǒng)，其中所述第一選項包括具有相關(guān)聯(lián)的第二圖形圖標(biāo)的選項，并且其中所述方法進(jìn)一步包括識別對所述可寫表面上的所述第二圖形圖標(biāo)的選擇，所述選擇是使用所述書寫裝置來執(zhí)行的；響應(yīng)于所述選擇，經(jīng)由所述揚聲器，可聽見地再現(xiàn)與所述第二圖形圖標(biāo)相關(guān)聯(lián)的第二選項的列表，其中所述第二選項可操作為由所述基于筆的計算機(jī)系統(tǒng)來調(diào)用；以及響應(yīng)于對所述第二選項的一個的選擇，調(diào)用所述第二選項的所述的一個。
47.如權(quán)利要求46的系統(tǒng)，其中所述第二選項的所述一個是駐留于所述基于筆的計算機(jī)系統(tǒng)的應(yīng)用程序。
48.如權(quán)利要求46的系統(tǒng)，其中所述可聽見地再現(xiàn)所述第二選項的所述列表包括響應(yīng)于所述書寫裝置對所述第二圖形圖標(biāo)的選擇，以循環(huán)的方式每次一個地、可聽見地再現(xiàn)每個所述第二選項。
49.如權(quán)利要求48的系統(tǒng)，其中所述方法進(jìn)一步包括在可聽見地再現(xiàn)所述第二選項的所述一個后，響應(yīng)于所述書寫裝置選擇所述第二圖形圖標(biāo)的部分，辨識對所述第二選項的所述一個的選擇。
50.如權(quán)利要求63的系統(tǒng)，其中所述第二圖形圖標(biāo)是用戶寫在所述表面上的并且其中所述方法進(jìn)一步包括自動辨識所述第二圖形圖標(biāo)，并且其中使用所述基于筆的計算機(jī)系統(tǒng)的處理器來執(zhí)行所述第二圖形圖標(biāo)的所述自動識別。
51.如權(quán)利要求1的方法，其中所述用戶命令是用來實現(xiàn)功能的用戶輸入。
52.如權(quán)利要求1或51的方法，其中所述輸出包括與所述功能相關(guān)的音頻輸出。
53.如權(quán)利要求52的方法，其中所述音頻輸出經(jīng)由筆設(shè)備提供。
54.如權(quán)利要求53的方法，其中所述音頻輸出經(jīng)由與所述筆設(shè)備通信的第二設(shè)備提供。
55.如權(quán)利要求51的方法，其中所述輸出包括與所述功能相關(guān)的視頻輸出。
56.如權(quán)利要求55的方法，其中所述視頻輸出經(jīng)由筆設(shè)備提供。
57.如權(quán)利要求56的方法，其中所述視頻輸出經(jīng)由與所述筆設(shè)備通信的第二設(shè)備提供。
58.如權(quán)利要求51的方法，其中所述圖形元素圖標(biāo)由筆設(shè)備創(chuàng)建在所述表面上。
59.如權(quán)利要求58的方法，其中所述圖形元素圖標(biāo)通過以下創(chuàng)建識別用戶在所述表面上寫的字符；以及識別用戶所寫的包圍所述字符的圓圈。
60.如權(quán)利要求59的方法，進(jìn)一步包括在用戶寫出圓圈之后在所述筆設(shè)備提筆時，對所述字符啟動OCR過程。
61.如權(quán)利要求59的方法，進(jìn)一步包括識別在到所述圖形元素圖標(biāo)的預(yù)定距離內(nèi)的用戶所寫的復(fù)選標(biāo)記；以及將所述復(fù)選標(biāo)記與所述圖形元素圖標(biāo)相關(guān)聯(lián)。
62.如權(quán)利要求61的方法，其中將所述復(fù)選標(biāo)記配置成調(diào)用通過所述圖形元素圖標(biāo)所選擇的多個功能之一。
63.如權(quán)利要求5或51的方法，其中所述表面包括紙片。
64.如權(quán)利要求51的方法，其中所述表面包括電子工作表面。
65.如權(quán)利要求64的方法，其中所述電子工作表面包括平板PC的顯示器。
66.如權(quán)利要求1、4或51的方法，進(jìn)一步包括通過解釋對所述圖形元素圖標(biāo)的至少一個激勵來訪問與所述圖形元素圖標(biāo)相關(guān)的多個功能之一，其中所述至少一個激勵選擇所述多個功能之一。
67.如權(quán)利要求66的方法，其中所述多個功能包括選項的預(yù)定菜單。
68.如權(quán)利要求66的方法，其中所述至少一個激勵包括識別對所述圖形元素圖標(biāo)的至少一個敲擊。
69.如權(quán)利要求66的方法，進(jìn)一步包括當(dāng)選擇了所述多個功能之一時提供多個音頻輸出之一。
70.如權(quán)利要求66的方法，其中所述多個功能包括選項的預(yù)定菜單，所述選項包括一個或多個應(yīng)用。
71.如權(quán)利要求66的方法，其中所述多個功能包括與所述圖形元素圖標(biāo)相關(guān)的應(yīng)用的多個配置選項。
72.如權(quán)利要求71的方法，其中所述多個配置選項的至少一個包括所述應(yīng)用的默認(rèn)配置。
73.如權(quán)利要求66的方法，其中所述多個功能的次序是用戶可配置的。
74.如權(quán)利要求66的方法，其中經(jīng)由軟件更新或固件更新，至少一個新功能可添加到所述多個功能。
75.如權(quán)利要求66的方法，進(jìn)一步包括當(dāng)選擇了所述多個功能之一時，提供多個音頻輸出之一，并且其中所述音頻輸出是用戶可配置的。
76.如權(quán)利要求51的方法，進(jìn)一步包括通過識別與對應(yīng)的多個相應(yīng)圖形元素圖標(biāo)的交互來訪問多個功能；以及為所述多個功能的每個功能維持相應(yīng)的狀態(tài)，所述相應(yīng)狀態(tài)由所述交互產(chǎn)生。
77.如權(quán)利要求51的方法，進(jìn)一步包括通過如下來訪問單個功能的多個實例識別與對應(yīng)于每個實例的對應(yīng)的多個相應(yīng)圖形元素圖標(biāo)的交互；以及為所述多個實例的每個實例維持相應(yīng)的獨立狀態(tài)。
78.如權(quán)利要求77的方法，其中所述多個圖形元素圖標(biāo)的至少一個是預(yù)打印的并且所述多個圖形元素圖標(biāo)的至少一個是用戶創(chuàng)建的。
79.如權(quán)利要求51的方法，進(jìn)一步包括通過如下來訪問單個功能的多個實例識別與對應(yīng)于每個實例的對應(yīng)的多個相應(yīng)圖形元素圖標(biāo)的交互；以及為所述多個實例的每個實例維持相應(yīng)的協(xié)調(diào)狀態(tài)。
80.如權(quán)利要求79的方法，其中所述多個圖形元素圖標(biāo)的至少一個是預(yù)打印的并且所述多個圖形元素圖標(biāo)的至少一個是用戶創(chuàng)建的。
81.如權(quán)利要求51的方法，進(jìn)一步包括通過提供與用于圖形元素的標(biāo)簽相關(guān)的提示，提示創(chuàng)建所述圖形元素；識別所述圖形元素的創(chuàng)建的終止；以及將所述標(biāo)簽與所述圖形元素相關(guān)聯(lián)。
82.如權(quán)利要求81的方法，進(jìn)一步包括將一功能與所述圖形元素相關(guān)聯(lián)，其中所述功能與所述標(biāo)簽相關(guān)。
83.如權(quán)利要求81的方法，其中所述標(biāo)簽與所述圖形元素相關(guān)聯(lián)，無需對所述圖形元素執(zhí)行OCR(光學(xué)字符識別)過程。
84.如權(quán)利要求81的方法，進(jìn)一步包括通過使用筆設(shè)備內(nèi)的位置確定裝置來確定所創(chuàng)建的圖形元素圖標(biāo)在所述表面上的位置，從而識別所述表面上的所創(chuàng)建的圖形元素圖標(biāo)，并且其中將所述位置確定裝置配置成確定所述位置而不需要所述表面上的位置代碼。
全文摘要
一種通過用戶創(chuàng)建的圖形元素來實現(xiàn)用于設(shè)備的用戶接口的方法和系統(tǒng)。所述方法包括識別用戶創(chuàng)建的圖形元素圖標(biāo)。一旦識別，則訪問與所述圖形元素圖標(biāo)相關(guān)的功能并且根據(jù)該功能提供輸出。所述功能與所述圖形元素圖標(biāo)持久關(guān)聯(lián)。通過與所述圖形元素圖標(biāo)的交互來執(zhí)行菜單選擇和導(dǎo)航。可聽見地再現(xiàn)與所述圖形元素圖標(biāo)關(guān)聯(lián)的選項的列表。響應(yīng)于對所述選項之一的選擇，調(diào)用所選的選項。
文檔編號G06F3/048GK1855012SQ200610000559
公開日2006年11月1日 申請日期2006年1月11日 優(yōu)先權(quán)日2005年1月12日
發(fā)明者詹姆斯·馬格拉夫, 亞歷山大·奇澤姆, 特拉西·L·埃奇庫姆 申請人:跳蛙企業(yè)股份有限公司