專利名稱：移動可投影圖形用戶界面的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于在表面上創(chuàng)建視覺信息投影的手持設備。
背景技術(shù)：
從例如引入在此作為參考的公開號為20030038928的美國專利申請中公知這樣的設備。該公知設備涉及利用手持式或可佩帶設備呈現(xiàn)視覺信息。在一種實施方式中，蜂窩電話被修改為包括用于將圖像投影到墻上的裝置。還結(jié)合了一種檢測該蜂窩電話何時相對于墻上的圖像移動以及通過用于穩(wěn)定圖像的手段抵銷相對移動的裝置。這使得蜂窩電話的用戶能夠產(chǎn)生大的視覺媒體顯示(器)并與之交互作用，同時不顯著增加蜂窩電話的尺寸。

發(fā)明內(nèi)容
本發(fā)明人認識到，能夠采用這種已知的概念進一步實現(xiàn)再現(xiàn)(rendering)與用戶交互作用的協(xié)同組合。為此，本發(fā)明人建議一種手持式設備，具有在表面上產(chǎn)生視覺信息投影的功能。該投影是受用于穩(wěn)定該設備運動的投影的穩(wěn)定器控制的。該設備包括用于在穩(wěn)定的投影中產(chǎn)生相對于用戶控制下的投影可移動的視覺標記的部件。限定詞“手持式”是指在操作使用期間該設備的移動或便攜式特性。這種結(jié)構(gòu)能夠集成用于為手持設備創(chuàng)建大尺寸的圖形用戶界面的裝置，而該手持設備根據(jù)定義幾乎都具有小的形狀因數(shù)。
在本發(fā)明的一種實施方式中，該部件包括發(fā)光部分，例如激光指針，其方向相對于該設備被固定。在另一種實施方式種，該部件包括微控制器，用于控制標記的位置，作為投影視覺信息的一部分。
在還一種實施方式中，該設備具有確認輸入，用于允許用戶確認由標記占據(jù)的投影中位置的選擇。這個配置使得能夠使用投影作為對例如用于在設備(PDA，MP3播放器等)上有組織存儲電子文件的文件系統(tǒng)的圖形用戶界面(GUI)。
在另一種實施方式中，該設備具有通信器，用于傳送選擇的確認給該設備外部的源。該配置給該設備提供例如遙控器的功能，從而能夠通過把標記的位置與投影中表示的可選擇項目相關(guān)聯(lián)來進行源操作的遙控。確認位置啟動了正確的遙控命令的發(fā)送。作為該配置的另一個例子，該設備具有瀏覽器，并且通信器能夠無線接入數(shù)據(jù)網(wǎng)絡。在因特網(wǎng)上導航和單擊超鏈接是通過確認上述選擇來完成。
在另一種實施方式中，該設備被配置用于播放計算機游戲，投影對該計算機游戲形成可視反饋。該部件包括微控制器，用于控制為投影的視覺信息一部分的標記的位置。該標記可以包括用于與利用投影所表示的虛擬世界交互作用的動畫或動畫制作的字符。
在另一種實施方式中，該設備包括顯示監(jiān)視器。當視覺信息具有太高的分辨率以致于在顯示監(jiān)視器上再現(xiàn)時不能辨別時，投影能力可能是有用的。
視覺標記可以用于例如在討論或呈現(xiàn)視覺信息時將觀眾的注意力引導到特定的特性。該標記也可以輔助用于與投影中表現(xiàn)的信息交互作用。


通過舉例并參考附圖，更加詳細地解釋本發(fā)明，其中圖1、2和3是本發(fā)明中的設備的方框圖；圖4、5和6說明若干實施方式的確定標記的屏幕位置的方式。
在所有的附圖中，相同的標號表示類似的或相應的特征。
具體實施例方式
在下面的實施方式中，根據(jù)本發(fā)明的設備例如包含在PDA、蜂窩電話、靜止圖片或攝像機、便攜式音樂播放器、遙控設備、計算機游戲設備等等或者在操作使用中一般手持的或可佩帶的另一移動設備中或包括上述的設備。
圖1和2是說明本發(fā)明中的手持設備100的操作使用的框圖。圖1表示第一操作模式中的設備100，發(fā)射光束102，以便在墻壁106上創(chuàng)建視覺信息的投影104。通過從例如美國專利申請公開號為20030038928以及從其中所提及的文獻中公知的方式對于例如用戶的手的不期望振動(擺動)而使投影104穩(wěn)定。這種類型的穩(wěn)定抵消了或者至少降低了投影104中由于設備100是手持的而遭受到的振動。一般，這些振動的特征在于特定量級的振幅和特定范圍的頻率。圖2示出了第二操作模式中的設備100。通過與例如設備100上的模式選擇按鈕108的用戶交互作用或通過一些其他適當?shù)氖侄沃T如語音控制、定時器等完成模式選擇，在經(jīng)過一個時間段之后，定時器從第一模式切換到第二模式，其中設備100保持為相對靜止。圖2中的設備100保持在墻壁106上投影視覺信息，但是現(xiàn)在對于大于無意識振動的運動，也需要投影的穩(wěn)定性。在實際限制內(nèi)，用戶改變設備100的位置和方向，以便越過投影圖像104移動標記。投影的穩(wěn)定性也對通過用戶的手有意識地施加到設備100上的這些運動作出反應。這種運動一般具有比無意識振動更大的幅度和更低的頻率。設備100現(xiàn)在生成窄的光束202，以便在墻壁106上產(chǎn)生視覺標記204，用于指示由于光束102引起的投影104中的某些特性。為了實施這一功能，設備100具有例如機載激光指針(未示出)或另一發(fā)光部件(未示出)，其方向和位置相對于設備100的外殼(housing)被固定?；蛘?，指針功能通過以軟件控制標記的位置來實現(xiàn)。例如，在第二模式中，生成標記作為在投影圖像上重疊的像素簇(cluster)或作為在組成待投影的圖像的其他MPEG-7對象之中的MPEG-7對象，并且該像素團的運動利用軟件來控制，以致于例如該像素簇不進行穩(wěn)定操作。也就是說，該像素簇跟隨著設備100的運動，就好像該像素簇是利用相對于設備100固定的單獨光源來投影的一樣。如所公知的，MPEG-7把視聽數(shù)據(jù)模擬為對象的組成部分，其處理能夠單獨地進行控制。
在實際限制內(nèi)，用戶改變設備100的位置和方向，以便越過投影圖像104移動標記。投影的穩(wěn)定性現(xiàn)在也對由于用戶的手在設備100上有意識施加的運動作出反應。這種運動一般具有比無意識振動更大的幅度和更低的頻率。
在第二模式中，設備100例如用于向一個或多個其他人呈現(xiàn)視覺信息。指針模式則使得用戶能夠由于可移動指針而把注意力吸引到投影中的特定特征上?；蛘?，第二模式使得用戶能夠與投影的信息交互作用。例如，設備100投影例如包括可點擊鏈接的網(wǎng)頁或諸如在顯示列出若干可選項的菜單的Windows Explorer菜單中可見的組織結(jié)構(gòu)的圖像。在后一情況中，鏈接或菜單選項的選擇是通過將標記的位置與用戶確認他的/她的選擇時在投影的圖像中鏈路或菜單選項的位置相關(guān)聯(lián)來實現(xiàn)。在這種相關(guān)聯(lián)的上下文中，例如，參見US專利申請公開號20030030622，其通過參考結(jié)合在這里。該公開文本披露了用于確定標記相對于投影圖像的位置的各種方式。在使用的另一個例子中，設備100的第二模式用于計算機游戲或視頻游戲中，其中標記用于例如在投影中瞄準移動對象。
圖3是用于設備100的實現(xiàn)的框圖。設備100包括外殼302，其容納一個或多個傳感器304，用于檢測設備100例如相對于參考方向和/或相對于地球的重力場、相對于投影104等的方向。例如，傳感器304，請參見上文提到過的US專利申請公開號20030038928。外殼302還容納投影控制器306和投影儀308。傳感器304提供輸入給投影控制器306，用于投影儀308的控制，以便對于外殼302的運動來穩(wěn)定投影104。設備100包括用于在穩(wěn)定的投影104中創(chuàng)建在用戶控制下相對于投影104是可移動的視覺標記的部件310。部件310以其光束202的方向相對于外殼302被固定的方式安裝在外殼302內(nèi)或安裝在外殼302上。操縱外殼302則使得該標記以這樣的方式越過投影104移動，就好像該標記是外殼302的物理延伸。
在本發(fā)明的實施例中，該標記用于與投影104交互作用并用于將這個交互作用的結(jié)果傳送給外部源(未示出)。設備100則包括用于在設備100和源之間通信的通信器312。例如，設備100是遙控設備，并且投影104包括用于控制包括諸如TV、DVD播放器等的可遙控裝置的源的可選選項的菜單。選擇特定菜單選項是通過把標記放置在投影104中的選項上并且通過與設備100的另一個用戶交互作用(例如，按壓按鈕)確認選擇來完成的。確認隨后使得通信器312通過紅外(IR)或射頻(RF)電磁波向源發(fā)送相關(guān)的控制命令。作為另一個例子，設備100具有通過通信器312的無線因特網(wǎng)接入，并包括瀏覽器。投影104包括具有超級鏈接的網(wǎng)頁的圖像。設備100使得用戶能夠在投影104中在鏈接的位置上定位標記，并且例如通過按下按鈕在鏈接上啟動該點擊。這引起相關(guān)URL被傳送給無線接入點以及對應的新網(wǎng)頁被檢索，這都是通過通信器312完成的。設備100也可以包括顯示監(jiān)視器314。例如，如果視覺信息具有太高的分辨率以致于不能使用具有小的形狀因數(shù)的顯示器314舒適觀看的話，則使用投影儀308。
為此，當用戶確認選擇或點擊鏈接時，必須相對于投影104確定標記的位置。圖4是說明這樣做的一種方式的圖。假定只需要有限的精度，因為菜單選項和可點擊鏈接占用表面402上投影104中有限大小的面積，鏈接或選項的面積大于標記所占用的面積。進一步假定，借助于保持光束102的光軸404基本垂直于表面402來穩(wěn)定投影104。后者是關(guān)于操作使用的合理假定，因為實質(zhì)上傾斜的投影將使投影的圖像失真。設備100在圖4中表示為傾斜和/或搖攝，同時在表面402上投影圖像產(chǎn)生投影104。部件310相對于投影儀308的位置被固定并被公知。
首先考慮這種情況(未示出)，其中部件310的結(jié)構(gòu)是這樣的，以致于它的位置和投影儀308的位置能夠被認為是一致的。也就是說，在光束102和光束202的源之間沒有偏移。當設備100在第一模式中保持與表面404垂直時，光束202與光軸406重合。標記的位置完全由穩(wěn)定時設備100相對于光軸404的傾斜和搖攝角來確定。這是由以下事實導致的設備100和表面402之間的距離并不影響光束202與投影104的交叉點相對于圖像的位置。如果是這樣的話，在距離改變時，投影的圖像本身將非均勻地被失真。因此，穩(wěn)定操作所導致的傾斜角和搖攝角能夠轉(zhuǎn)換為相對于圖像的坐標，從而選擇相關(guān)的菜單選項或可點擊鏈接?，F(xiàn)在考慮這樣的情況，其中部件310的結(jié)構(gòu)使得部件310和投影儀308的光源的位置相對彼此具有偏移?？紤]如圖3中的橫向偏移406。當軸404在第一模式中基本上保持與表面402垂直時，光束202和光軸404現(xiàn)在是平行的但并不重合。隨后，設備100和表面402之間的距離確實起作用。這在圖中通過把表面402的成像移位到設備100更靠近的表面408的位置而容易看出。光束202與投影104相交的點確定光束202所指向的投影圖像中的項的坐標。這些坐標現(xiàn)在由搖攝角和傾斜角以及距離來確定。距離能夠通過聚焦圖像和采用焦距作為距離的表示來確定。確定距離的其他方式可以包括校準步驟，其中用戶例如通過按下確認按鈕來對設備100確認光束202擊中穩(wěn)定的投影圖像中的校準記號410。根據(jù)搖攝角與傾斜角、偏移406和圖像中記號410的相對位置，能夠估計距離。類似的考慮應用于其中光束102和202的源具有軸向偏移(一個位于另一個之后)的情況中。如果橫向偏移406相對于設備100和表面402之間的距離是小的話，則在實際條件下在精確定位標記時，該距離只起著次要作用(如果起作用的話)。
圖5是說明本發(fā)明的還一實施方式的圖，其中標記502的運動以軟件來控制。圖像504和標記502利用投影儀被投影在墻106上。標記502被生成為在圖像504上重疊的像素簇或生成為組成待投影的圖像504的其他MPEG-7對象中的MPEG-7對象。為此，設備100包括圖像處理器506。圖像504減去標記502經(jīng)歷如上文所述的設備100的第二模式中投影控制器306的穩(wěn)定操作。標記502將跟隨第二模式中設備100的運動，就好象標記502是例如由固定到設備100上的激光指針生成的(光)點。假定在第二模式中，標記502的位置被初始化在圖像504的中央。由傳感器304檢測到的設備100的搖攝角和/或傾斜角的變化引起圖像504的投影104相應地變化，以抵消這一變化，這例如通過控制投影儀308中反射鏡508的運動來實現(xiàn)。由于標記502是投影的圖像504的一部分，所以標記502將經(jīng)歷相同的操作，使之保持原樣。因此，處理器506移動圖像504中的標記502，以抵消穩(wěn)定反作用。在這個上下文中，參考Nancy Kidney等人于2001年3月30日申請的US專利申請序列號09/823460(代理人記錄表US 018037)的ONE-TO-ONE DIRECT COMMUNICATION，其在PCT的公開號為WO 02079969，并且結(jié)合在這里作為參考。該文件涉及在物體在發(fā)送器的顯示器上逐漸滑出視圖(窗)并且在接收器的顯示器上逐漸滑入視圖時圖形表示電子對象從發(fā)送手持式裝置到接收器的傳送的進程。手持式裝置中的重力傳感器用于確定傳輸?shù)臄?shù)據(jù)速率。這個視覺反饋例如是電子玩具的人類工程學特征。
在圖5的討論中所提及的操作在圖6中示出。假定投影儀308上圖像504的面積的線性尺寸已知為具有量級“A”。投影104的線性尺寸則是“A.D”，其中“D”是投影儀308和表面106之間的距離。假定打算表示標記502的投影的新位置的設備100的傾斜或搖攝角。如果沒有圖像穩(wěn)定，則圖像504的投影104將具有一個位置，其中心即標記502的投影的初始位置在點410上。由于投影104對于這個移動被穩(wěn)定，所以投影104并不跟隨該移動，這建立度角。然而，標記502的投影將利用點410的位置。這個位置是偏離尺寸A.D的投影104的中心的距離D.(弧度)。如果圖像504中的標記502被移動到偏離圖像504的中心的距離，則它們的復合投影導致穩(wěn)定的情況，標記502的投影利用用戶意圖采用的位置。因此，圖像處理器將被提供檢測的傾斜角和搖攝角的值，以移動圖像504中的標記502，從而使后者被用作指針。
權(quán)利要求
1.一種手持式設備，具有用于在穩(wěn)定器的控制下在表面上創(chuàng)建視覺信息的投影的功能，以便針對設備的運動來穩(wěn)定投影，該設備包括用于在穩(wěn)定的投影中創(chuàng)建視覺標記的部件，該視覺標記在用戶控制下相對于投影是可移動的。
2.權(quán)利要求1的設備，其中該部件包括其方向相對于該設備被固定的發(fā)光部分。
3.權(quán)利要求1的設備，其中該部件包括控制器，用于控制標記的位置作為投影的視覺信息的一部分。
4.權(quán)利要求1的設備，包括確認輸入，用于確認被標記占用的投影中的位置的選擇。
5.權(quán)利要求4的設備，包括通信器，用于將選擇的確認傳送給該設備外部的源。
6.權(quán)利要求4的設備，包括遙控器，用于使得能夠通過將標記的位置與投影中表示的可選項相關(guān)聯(lián)來遙控源的操作。
7.權(quán)利要求4的設備，包括瀏覽器，并且其中該通信器能夠無線接入數(shù)據(jù)網(wǎng)絡。
8.權(quán)利要求4的設備，包括文件系統(tǒng)，用于組織存儲電子文件。
9.權(quán)利要求1的設備，被配置為播放計算機游戲，對于該計算機游戲，投影形成視覺反饋。
10.權(quán)利要求9的設備，其中該部件包括控制器，用于控制標記的位置為投影的視覺信息的一部分。
11.權(quán)利要求10的設備，其中該標記包括動畫。
12.權(quán)利要求1的設備，包括顯示監(jiān)視器。
全文摘要
一種手持式設備在針對設備的運動穩(wěn)定投影的控制下在表面上創(chuàng)建視覺信息的投影。該設備具有用于在穩(wěn)定的投影中創(chuàng)建視覺標記的部件，該視覺標記在用戶控制下相對于投影是可移動的。這種結(jié)構(gòu)使該設備能夠被配置為遙控設備。
文檔編號H04N5/74GK1943229SQ200580010881
公開日2007年4月4日 申請日期2005年3月31日 優(yōu)先權(quán)日2004年4月8日
發(fā)明者P·迪克 申請人:皇家飛利浦電子股份有限公司