專利名稱：對于信息顯示器的控制裝置，相應(yīng)的系統(tǒng)、方法和程序產(chǎn)品的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對于信息顯示器的控制裝置，包括-視頻傳感器，用于接收圖4象信息，以及畫處理器，用于確定所述圖4象信息中的控制信息。此外，本發(fā)明還涉及用于實(shí)現(xiàn)本發(fā)明的相應(yīng)系統(tǒng)、方法和程序產(chǎn)品。
背景技術(shù)：
通常，通過準(zhǔn)備好的架空幻燈片演示文稿(例如，PowerPoint)來在 洽談室中的洽談參與者之間發(fā)布信息。倘若在洽談場所安裝有專用智能白 板，還可以使用該專用智能白板。在特定應(yīng)用中，尤其是在數(shù)字白板的情況下，通過使用信息設(shè)備在信 息表面上呈現(xiàn)信息，可以在信息表面上有效地^作可視信息。然而，由于 數(shù)字白板系統(tǒng)通常相當(dāng)昂貴，其使用受到限制。為此，不必向每個(gè)洽談室 提供數(shù)字白板系統(tǒng)。如果洽談方希望在洽談期間相互發(fā)布信息，例如，在洽談期間提出的 電子附加信息，這是很難實(shí)現(xiàn)的。依照本領(lǐng)域現(xiàn)狀，通常僅能在事后發(fā)布 信息。因此可以以這樣一種方式解決問題，例如，通過電子郵件將相關(guān)的 信息發(fā)送給需要該信息的每個(gè)洽談方。如果期望發(fā)布已經(jīng)在洽談情形中的 電子信息，則每個(gè)感興趣的人必須把他的裝置(通常是膝上型電腦)連接 到呈現(xiàn)設(shè)備系統(tǒng)從而向他的裝置傳送該信息。為了信息的顯現(xiàn)或發(fā)布，還 必須建立用于從個(gè)人裝置向呈現(xiàn)設(shè)備傳輸信息的相應(yīng)連接。信息系統(tǒng)領(lǐng)域現(xiàn)狀的另一缺點(diǎn)是在這些系統(tǒng)中，每次僅一個(gè)參與者 可以控制信息設(shè)備。因此，在該思想產(chǎn)生或自由討論團(tuán)隊(duì)中的其他參與者 變得被動(dòng)，并且最多僅僅可以對提交人顯現(xiàn)在呈現(xiàn)設(shè)備上的內(nèi)容進(jìn)行注釋。 關(guān)于本領(lǐng)域的現(xiàn)狀，洽談室的呈現(xiàn)設(shè)備是由分立的裝置表示的，這使 得有可能要么僅僅顯示信息(例如，連接到計(jì)算機(jī)的數(shù)據(jù)投影儀)，要么 還編輯信息以及產(chǎn)生新的信息。這種更尖端的裝置是，例如，配置有嵌入 軟件的各種集成的觸摸屏/用筆操作的數(shù)字白板。
一個(gè)例子是智能板系統(tǒng)。另一例子是ANOTO—數(shù)字筆，以及第三個(gè)例子是Ebeam。在Ebeam中， 傳感器連接到手控白板的一角。容器帽發(fā)射由傳感器測量的信號。然而， 當(dāng)放置在新的位置時(shí)，該裝置需要校準(zhǔn)?？梢詮膰HPCT專利公開WO02/03316A1中清楚智能板的解決方案 的一個(gè)例子。在那里，信息表面的角部包括照相機(jī)。該照相機(jī)用于形成信 息表面的圖像信息。根據(jù)該圖像信息，可以在每個(gè)時(shí)刻識別出控制裝置與 信息表面接觸的位置。在控制裝置的接觸點(diǎn)處指示預(yù)期的動(dòng)作。然而，這種白板式的數(shù)字裝置是昂貴的專用設(shè)備。這就限制了把它們 用在每個(gè)洽^淡場所的可能性。此外，僅通過專用筆或者通過等同的輸入裝 置才可以正常的控制它們。此外，它們已經(jīng)被限定為在一個(gè)時(shí)刻僅用于兩 個(gè)人來呈現(xiàn)/編輯信息，并且這兩個(gè)人必須緊靠白板的附近。已知又一現(xiàn)有技術(shù)，其中應(yīng)用了移動(dòng)照相裝置和排列在信息表面上的 控制信息。然而，該"斑點(diǎn)編碼"("Spotcode，，)概念〔1〕并不適合于 例如^i義室實(shí)現(xiàn)方式，而是適合離散的呈現(xiàn)系統(tǒng)，在離散的呈現(xiàn)系統(tǒng)中受 控對象的位置被固定到信息表面的特定位置。而且，難以確定移動(dòng)照相裝 置的當(dāng)前取向的事實(shí)還引起了一些問題，由于該問題，該系統(tǒng)難以運(yùn)行在 例如3D空間中。在斑點(diǎn)編碼(SpotCode) ^既念中，僅可以沿著一個(gè)軸檢 測在背景前的裝置旋轉(zhuǎn)。發(fā)明內(nèi)容本發(fā)明的目的是提供一種控制信息裝置組合體一一具體來說是信息顯 示器一一的方式。通過本發(fā)明，獲得了一種控制現(xiàn)有呈現(xiàn)、編輯和/或創(chuàng)建 新的信息，和/或把信息發(fā)布到其他用戶的方式，從一個(gè)終端用戶甚至多個(gè)
終端用戶的角度來看該方式都很容易。依照本發(fā)明的控制裝置的特征被呈現(xiàn)在所附的權(quán)利要求l中，而方法的特征被呈現(xiàn)在權(quán)利要求27中。本發(fā)明 還涉及相應(yīng)的系統(tǒng)和程序產(chǎn)品，其特征被呈現(xiàn)在所附的權(quán)利要求12和33 中。在本發(fā)明中，例如，裝配有視頻傳感器以及可能的顯示器的電子裝置 可以令人驚訝地被用作對于信息顯示器的控制裝置。在本發(fā)明中，在控制 裝置和信息顯示器之間的后續(xù)數(shù)據(jù)傳輸取決于由控制信息確定的所接收圖 像信息的原點(diǎn)。因此，控制裝置可以以令人驚訝的方式不接觸地操作信息 顯示器。移動(dòng)臺設(shè)備可以作為控制裝置的一個(gè)例子，可以為移動(dòng)臺設(shè)備提 供必要的功能從而依照本發(fā)明的方式控制信息顯示器。依照一個(gè)實(shí)施例，利用裝配有視頻傳感器的智能裝置，可以在信息顯 示器上直接或非直接地指向目標(biāo)位置而不需要與信息顯示器接觸，并且可 以確定相關(guān)位置的地點(diǎn)。目標(biāo)位置的地點(diǎn)可以從視頻傳感器接收的圖像信 息中確定。當(dāng)已經(jīng)確定位置時(shí)，可以在相關(guān)的位置處指示預(yù)期動(dòng)作。所述 位置可以;陂自由地選擇?？梢栽诒景l(fā)明的背景中廣義地理解所述動(dòng)作。除了傳統(tǒng)數(shù)字呈現(xiàn)裝置 中已知的用于控制和創(chuàng)建信息的動(dòng)作外，還可以把信息從信息設(shè)備，例如， 從表面上的該指向位置傳送到控制裝置。還可以從控制裝置向信息設(shè)備， 例如向在信息顯示器上所指向的目標(biāo)位置傳送信息。本發(fā)明事實(shí)上提供了 各種可替代動(dòng)作，該動(dòng)作可以被理解為在控制裝置和信息顯示器之間的后續(xù)數(shù)據(jù)傳輸，并且它們中沒有一個(gè)在基本發(fā)明思想的范圍內(nèi)相互排斥。例如，為了確定由裝配有視頻傳感器的裝置指向的在信息表面上的位 置，可以在相同的或者甚至某些其他信息顯示器或表面上呈現(xiàn)專用控制信 息。所述控制信息可以形成精確并可控的、甚至動(dòng)態(tài)的排列。例如，如果 在相同信息顯示器上，信息將要被呈現(xiàn)而控制信息已經(jīng)被呈現(xiàn)，則基本上 不會對將凈皮該呈現(xiàn)裝置呈現(xiàn)的實(shí)際信息的可解釋性引起任何損害?？刂菩?息以這樣的方式被排列在信息顯示器上，從而使得允許控制整個(gè)信息表面 區(qū)域而不限定于某些特殊位置，甚至信息顯示器的外部區(qū)域。 依照一個(gè)實(shí)施例，基于控制裝置所接收的圖像信息連續(xù)流，該裝置可 以用于確定圖像信息中涉及控制信息的地點(diǎn)和尺寸的數(shù)據(jù)。例如，該數(shù)據(jù) 或以既定的方式從中計(jì)算和確定的數(shù)據(jù)可以與圖像信息的尺寸一起被至少 部分地傳送給信息i殳備，以用于確定在信息顯示器上的所指位置。還可以 僅僅向信息設(shè)備傳輸圖像數(shù)據(jù)。使用該信息設(shè)備，可以執(zhí)行對操作位置的 最后確定。利用特定意義上作為兩個(gè)步驟之一的該確定步驟，獲得了對于 控制裝置的功能的*,另一方面還獲得了對操作位置的更加精確的確定?？刂蒲b置和信息設(shè)備可以相互通信，例如通過應(yīng)用無線局域網(wǎng)。因此， 有關(guān)它們之間的連接設(shè)置的設(shè)置信息也可以被呈現(xiàn)在信息顯示器上。根據(jù) 設(shè)置信息，可以解碼用于執(zhí)行裝置之間的通信的連接設(shè)置數(shù)據(jù)，并且這從 視頻傳感器形成的圖像信息中可以容易地識別出來。通過該方式，尤其獲 得這樣的優(yōu)點(diǎn)，也就是用戶現(xiàn)在不需要在他的裝置中例如手動(dòng)地設(shè)置連接 設(shè)置數(shù)據(jù)，手動(dòng)地設(shè)置連接設(shè)置數(shù)據(jù)在實(shí)際中很困難并且比較麻煩。這還 加速了系統(tǒng)的啟動(dòng)以及到系統(tǒng)的連接，并且此外，使得還可以由多個(gè)控制 裝置控制該呈現(xiàn)。本發(fā)明允許幾種應(yīng)用程序，通過該應(yīng)用程序，可以獲得關(guān)于信息控制、呈現(xiàn)、創(chuàng)作、編輯、發(fā)布和接收的多個(gè)優(yōu)點(diǎn)。除了傳統(tǒng)的2D控制外，對 呈現(xiàn)信息的3D控制現(xiàn)在也是可能的。本發(fā)明還涉及借助于投影到或者印刷到表面或者繪制到顯示器的數(shù)據(jù) 模式，在準(zhǔn)確的3D定位中使用至少一個(gè)視頻傳感器的概念。本發(fā)明的其他特征出現(xiàn)在從屬權(quán)利要求中，并且在說明書中列出了可 獲得的更多優(yōu)點(diǎn)。


本發(fā)明并不限定于下面提出的實(shí)施例，現(xiàn)將參考附圖詳細(xì)說明本發(fā)明， 其中圖i是依照本發(fā)明的系統(tǒng)的例子的粗略示意圖；圖2顯示了依照本發(fā)明的控制裝置的基本應(yīng)用例子的框圖3顯示了依照本發(fā)明的信息裝置組合體的基本應(yīng)用例子的框圖;圖4顯示了呈現(xiàn)在信息表面的控制信息的應(yīng)用例子；圖5顯示了控制裝置的取景器中的視圖的應(yīng)用例子；圖6顯示了通過本發(fā)明可能實(shí)現(xiàn)的某些實(shí)施例的例子；圖7顯示了涉及控制信息的第一更先進(jìn)的實(shí)施例；圖8顯示了涉及控制信息的另一更先進(jìn)的實(shí)施例；圖9a顯示了依照本發(fā)明的方法的簡化流程圖；圖9b顯示了依照本發(fā)明的方法的例子的流程圖；圖IO是依照本發(fā)明的系統(tǒng)的例子的另一粗略示意圖；圖ll顯示了依照本發(fā)明的控制裝置的第二基本應(yīng)用例子；圖12顯示了在圖11中顯示的控制裝置的可能的取向變化；圖13a-14b顯示了頭戴式控制裝置的某些應(yīng)用例子；圖15顯示了用于排列控制信息的另一應(yīng)用例子；圖16顯示了涉及可佩戴控制裝置的另一應(yīng)用的例子；以及圖17顯示了涉及傾斜的控制裝置所獲取的圖傳 f言息的應(yīng)用例子。
具體實(shí)施方式
本發(fā)明涉及一個(gè)或多個(gè)裝置IO、 10.1-10.8的使用，該裝置配備有至少 一個(gè)照相機(jī)52——更一般的說即用于接收圖像信息的至少一個(gè)視頻傳感 器，并且配備有能夠呈現(xiàn)和/或形成信息INFO的必要功能——更一般的說 即用于其控制的必要功能。本發(fā)明的性能差別被呈現(xiàn)在參考圖9a和外所 示流程圖的說明書的合適位置?？傮w來說并參考說明書的所有圖1-17，對于信息顯示器l3， 13，的控 制裝置10、 10.1-10.8包括用于接收圖像信息50 (圖9a的階段1100)的 視頻傳感器52以及用于確定圖像信息50中的控制信息15， 16 (圖9a的 階段1200)的處理器51。在裝置10、 10.1-10.8中，以及在依照本發(fā)明的 系統(tǒng)和方法中，在控制裝置IO, 10.1-10.8和信息顯示器13、 1Y之間的后 續(xù)數(shù)據(jù)傳輸取決于由控制信息15、 16確定的所接收圖像信息50的原點(diǎn)(圖9a,階段1300)?？梢詮纳厦嫣峒暗幕咎卣饕约皬南旅娉尸F(xiàn)的應(yīng)用例子 的描述，隱含地導(dǎo)出該方法、相應(yīng)的系統(tǒng)和程序產(chǎn)品。本發(fā)明提供了幾個(gè)實(shí)施例。第一種可能的情況是，例如，用戶通過控 制裝置10指向信息裝置11-13的表面13。根據(jù)所指的位置，用戶可以從信 息裝置11-13向控制裝置10下載數(shù)據(jù)。所下載的數(shù)據(jù)可以是，例如，PPT 幻燈片的一部分或者全部PPT幻燈片。第二種可能的情況是，例如，用戶 通過控制裝置10指向信息裝置11-13的表面13。根據(jù)所指的位置(通過使 用從圖像數(shù)據(jù)50中形成的控制信息15， 16),用戶可以把數(shù)據(jù)從控制裝 置10發(fā)射到信息顯示器13。第三種可能的情況是用戶通過控制裝置10指 向信息裝置11-13的表面13。根據(jù)所指的位置，用戶此刻可以重新排列在 信息裝置11-13的表面13上的數(shù)據(jù)。在各個(gè)實(shí)施例中執(zhí)行在控制裝置10 和信息顯示器13之間的后續(xù)數(shù)據(jù)傳輸。所指位置無需必須位于信息顯示器 13的邊界內(nèi)，而是可以位于信息顯示器13外部的某個(gè)位置。在本發(fā)明的背景中限定術(shù)語"原點(diǎn)，，。圖像信息50的每個(gè)點(diǎn)可以對應(yīng) 于信息顯示器13的特定點(diǎn)。信息顯示器13的點(diǎn)(或者在同一平面上的信 息顯示器13的外部)可以被稱為圖像信息50中的點(diǎn)的"原點(diǎn)"或者"源 點(diǎn)，，。因此，"原點(diǎn)，，意p未著在照相機(jī)51獲取的位4象的坐標(biāo)和信息顯示 器13的平面上的坐標(biāo)之間的映射。因此，對于位像中的每個(gè)點(diǎn)，可以 找到信息顯示器13上的原點(diǎn)(即，源點(diǎn)，或者"起始點(diǎn)")。結(jié)合本發(fā)明， 坐標(biāo)系統(tǒng)的原點(diǎn)意味著固定點(diǎn)(0， 0)并且一般可以從坐標(biāo)系統(tǒng)中清楚其 含義。圖l是依照本發(fā)明的系統(tǒng)的例子的粗略示意圖。從圖1中可以看出， 本發(fā)明的基本思想提供了對幾種不同類型的動(dòng)作和情況的應(yīng)用。因此，將 在下文中作為例子呈現(xiàn)的動(dòng)作和應(yīng)用情況不能^皮理解為以任何方式限定本 發(fā)明的可能的應(yīng)用領(lǐng)域。依照本發(fā)明的系統(tǒng)包括至少一個(gè)服務(wù)器11、連接到服務(wù)器11以用于 數(shù)據(jù)通信的至少一個(gè)呈現(xiàn)裝置12以及至少一個(gè)控制裝置10，作為主要部
件。服務(wù)器11和呈現(xiàn)裝置12也可以合起來構(gòu)成信息裝置組合體11、 12 或者它們還可以相互分離?？刂蒲b置10和服務(wù)器11還可以是完整的固體 裝置單元，例如"智能手機(jī)"，并且在該實(shí)施例中，可以僅存在由"智能 手機(jī)"指示的外部顯示器或者投影儀單元12。與智能板類型的高昂花費(fèi)系統(tǒng)不同，本發(fā)明可以使用標(biāo)準(zhǔn)辦公設(shè)備。 一種應(yīng)用的例子是配備有處理器的、通用的、通常所說的信息裝置ll，其 中設(shè)備11可以連接到呈現(xiàn)裝置12。服務(wù)器可以是例如計(jì)算機(jī)裝置或者等同物，例如PC裝置ll。呈現(xiàn)裝 置可以，例如是數(shù)據(jù)投影儀12 (視頻投影儀)或者僅僅是筒單的顯示單元。 除了呈現(xiàn)裝置12外，系統(tǒng)還可以包括至少一個(gè)投影屏12，，其中投影屏12， 具有至少一個(gè)信息表面13。在信息表面13上可以至少呈現(xiàn)信息INFO或 者對其的引用FILE,該信息被從服務(wù)器11所控制的數(shù)據(jù)投影儀12顯現(xiàn)在 信息表面13上。信息表面13的整個(gè)范圍都可以被用于這些目的。另一方面，服務(wù)器ll、呈現(xiàn)裝置12和信息表面13還可以形成一個(gè)緊 湊的實(shí)體。由此，服務(wù)器功能甚至可以集成在呈現(xiàn)裝置12本身中，或者反 之亦然。呈現(xiàn)裝置12還可以，例如是LCD類型的顯示器。因此，在其自 身中已經(jīng)具有用于至少呈現(xiàn)信息INFO的信息表面13。依照又一實(shí)施例， 服務(wù)器甚至可以僅僅是一件移動(dòng)設(shè)備，其可以連接到外部顯示器或者數(shù)據(jù) 投影儀。服務(wù)器還可以有多種選擇，并且當(dāng)然決不受本發(fā)明的基本原理的 限定。因此，通常，可以獨(dú)立于實(shí)現(xiàn)該顯示器所需的單元11-13的數(shù)量來 談?wù)?信息顯示器，，。圖2顯示了依照本發(fā)明用于控制信息設(shè)備11的控制裝置10的框圖例 子。如之前所述，控制裝置可以例如是已知類型的移動(dòng)設(shè)備(ME) 10， 該設(shè)備具有至少一個(gè)已知類型的照相機(jī)52以及用于對信息表面13進(jìn)行操 作的圖像處理系列IC。此外，裝置IO還可以包括顯示器，例如，照相機(jī) 52的取景器VF。然而，應(yīng)當(dāng)注意在控制裝置中顯示器是可選的。除了移 動(dòng)設(shè)備外，也可以使用具有照相機(jī)的各種便攜裝置，例如，PAD(個(gè)人數(shù) 字助理)裝置，網(wǎng)絡(luò)照相機(jī)或者甚至是數(shù)碼相機(jī)。 一般來講，便攜計(jì)算機(jī)
或者便攜傳輸裝置可以包括依照本發(fā)明的控制裝置。由于照相機(jī)52屬于裝置10，有可能通過控制裝置IO,通過不接觸信 息表面13的目的位置21的操作，來執(zhí)行信息設(shè)備11的控制。因此裝置 10或者其照相機(jī)52從一定距離瞄準(zhǔn)信息表面13以及其中的預(yù)期位置21。 可以以既定的方式來安排在圖係4言息50中的目標(biāo)位置21的地點(diǎn)，例如， 在其中心。在本發(fā)明的背景中，信息表面13的操作可以理解為通過控制裝置10 的照相機(jī)52瞄準(zhǔn)它或者指向信息表面13。該瞄準(zhǔn)或者指向可以對著信息 表面13上的任何位置的特定點(diǎn)。因此，本發(fā)明允許對可以從信息表面13 自由選擇的特定位置進(jìn)行指向。通過使用照相機(jī)52連續(xù)且直接地指向信息 表面13，由照相機(jī)52從信息表面13形成圖像信息50，從圖像信息50可 以連續(xù)地確定由控制裝置10指出的在信息表面13上的位置21的連續(xù)流， 從而執(zhí)行控制動(dòng)作，即，向信息設(shè)備ll指示的操作。 一般來講，這也被稱 為在控制裝置10、 10.1-10.8和信息顯示器13、 13，之間執(zhí)行的后續(xù)數(shù)據(jù)傳 輸。這使得甚至可以從到呈現(xiàn)表面13 —定距離處來容易地對呈現(xiàn)進(jìn)行控 制。信息表面13的連續(xù)指向過程有助于追蹤指向位置21的移動(dòng)，從而控 制整個(gè)信息表面13的特定點(diǎn)。連續(xù)指向使得能夠進(jìn)行交互，例如"拖"或 者"點(diǎn)擊"或者"放置"。從這個(gè)意義上說，如果用戶可以移動(dòng)("拖，，) 在顯示器13上的"激活，，的對象而不是僅僅"瞄準(zhǔn)&發(fā)射"(單個(gè)機(jī)會)， 則可以更準(zhǔn)確地放置。如果在"瞄準(zhǔn)&發(fā)射"的情況下用戶進(jìn)行了錯(cuò)誤的 瞄準(zhǔn)，則這會引起用戶需要重新瞄準(zhǔn)和重新發(fā)射。這對用戶并不友好。此外，控制裝置10包括處理器51。它們用于以已知方式控制并執(zhí)行 裝置10的功能。除了裝置10的基本功能(例如，移動(dòng)通信)外，處理器 51還可以用于從照相機(jī)52形成的圖像信息50中，確定控制裝置10每次 在信息表面13上指向的至少部分位置21，以及將在位置21上執(zhí)行的動(dòng)作 (圖5)，或者一般地說，對信息顯示器13、 13，執(zhí)行的動(dòng)作。另一方面， 還可以僅僅通過裝置10形成圖像信息50。因此，服務(wù)器ll可以執(zhí)行用于 確定所指向的位置21所需要的主要?jiǎng)幼?。圖6顯示了在應(yīng)用情況下的信息表面13的例子。依照第一實(shí)施例，在 信息表面13的被自由選擇的指向位置中，可以僅僅具有虛擬桌面，可以通 過控制裝置10向虛擬桌面增加信息。另一方面，在信息表面13的相關(guān)特 定位置中，還可以存在已經(jīng)由設(shè)備ll、 12呈現(xiàn)的信息INFO，據(jù)此指示對 其的動(dòng)作。通?？梢宰杂傻剡x擇信息INFO的位置或者所操作的位置。這 使得本發(fā)明尤其適用于這樣一種應(yīng)用，在該應(yīng)用中例如可以結(jié)合^i義來創(chuàng) 建或編輯信息INFO。因此，在本發(fā)明中，不需要為了對其控制而將特定 信息放置在預(yù)定位置。信息INFO可以被完全自由的放置在表面13上。如 果某些信息18、 19、 20已經(jīng)被呈現(xiàn)在表面13的某個(gè)相關(guān)位置處，則當(dāng)然 可以編輯這些信息，或者可以對該相關(guān)的特定位置執(zhí)行其它動(dòng)作。此外， 可以作為在相關(guān)位置處的信息，來呈現(xiàn)對某些文件FILE或者等同電子信 息實(shí)體的引用。例如通過指向相關(guān)的文件圖標(biāo)FILE和/或通過選擇下栽功 能或者相應(yīng)的手勢，可以將引用的內(nèi)容從服務(wù)器11下載到控制裝置10。 在本發(fā)明的背景中，可以以各種不同的方式理解"信息"概念。除了負(fù)責(zé)控制裝置10的功能的處理器51外，移動(dòng)設(shè)備10或者控制裝 置10通常還配備有合適的通信協(xié)議裝置22。相應(yīng)的數(shù)據(jù)傳輸單元24還屬 于圖3的框圖中所示的服務(wù)器11的設(shè)備。數(shù)據(jù)傳輸單元22、 24可以用于 使用所選通信路徑來執(zhí)行在控制裝置10和受控制的信息設(shè)備11之間的數(shù) 據(jù)傳輸。數(shù)據(jù)傳輸包括數(shù)據(jù)(xl、 yl、 hei、 wid)或者(TL、 TR、 BL、 BR)以及至少與照相機(jī)52從信息表面13形成的圖像信息50相關(guān)的gx、 gy。這將在后面的說明書中進(jìn)行更詳細(xì)的描述。依照一個(gè)實(shí)施例，數(shù)據(jù)傳輸單元22、 24可以基于無線局域網(wǎng)手段。一 個(gè)例子是藍(lán)牙通信協(xié)議BT。另一例子可以是WLAN (無線局域網(wǎng))。當(dāng) 然，也可以使用能用于本地?cái)?shù)據(jù)傳輸?shù)钠渌鼌f(xié)議。圖3顯示了依照本發(fā)明的服務(wù)器11的例子。服務(wù)器11也具有一個(gè)通 信模塊24或者其等同物。使用該模塊可以執(zhí)行至少與 一個(gè)或者多個(gè)控制裝 置10的數(shù)據(jù)傳輸。此外，服務(wù)器ll具有數(shù)據(jù)傳輸接口 33，通過該接口可 以控制信息呈現(xiàn)裝置一一例如上面作為例子提及的數(shù)據(jù)投影儀12。應(yīng)當(dāng)注 意，除了無線連接外，當(dāng)然還可以在服務(wù)器11和移動(dòng)設(shè)備10或相應(yīng)物之 間應(yīng)用有線線路通信。照相機(jī)裝置CAM的應(yīng)用決不妨礙控制服務(wù)器11的 或呈現(xiàn)裝置12的功能。盡管系統(tǒng)可能由此會變得笨拙，在用戶友好方面無 線控制可以是更合適的方式。依照一個(gè)實(shí)施例，依照本發(fā)明的實(shí)現(xiàn)方式可以是程序?qū)崿F(xiàn)或者程序和 硬件層功能的適當(dāng)結(jié)合。以下通過例子描述程序產(chǎn)品30.1、 30.2，該程序 產(chǎn)品被配置用于的移動(dòng)設(shè)備10和服務(wù)器11一一該程序產(chǎn)品將在其中運(yùn)行。首先，圖3所示的服務(wù)器11可以具有已知類型的呈現(xiàn)軟件34。 一啟 動(dòng)服務(wù)器11并激活應(yīng)用程序34 (步驟卯0，)，呈現(xiàn)軟件34就可以用于 從呈現(xiàn)應(yīng)用程序中呈現(xiàn)已知的數(shù)據(jù)信息INFO。這些最常見的例子是圖像、 演示文稿、附圖和文本。呈現(xiàn)軟件34可以，例如通過虛擬桌面、通過與其 相關(guān)的菜單并通過虛擬工具，來形成。屬于服務(wù)器11的基本設(shè)備在這里不再進(jìn)行詳細(xì)的描述，因?yàn)閷τ诒绢I(lǐng) 域的技術(shù)人員來說該基本設(shè)備和其各種功能是顯而易見的。原則上，如同 在傳統(tǒng)鼠標(biāo)操作用戶接口中或者在智能板類型的更加成熟的方案中那樣， 至少所有的相應(yīng)功能都可能用于本發(fā)明中的實(shí)現(xiàn)方式。甚至一般地，在服 務(wù)器11的情況下可以稱為共享白板軟件34。除了已知類型的呈現(xiàn)軟件(可以例如是MS PowerPoint 34)或者與服務(wù)器集成在一起的呈現(xiàn)軟件外，在此，服務(wù)器ll---般而言計(jì)算機(jī)(或者軟件)^皮提供有一個(gè)或多個(gè)代碼單元32.3、 32.4,通過該代碼單元，數(shù) 據(jù)投影儀12可以被命令以產(chǎn)生并在信息表面13上呈現(xiàn)被編碼的屏幕表面 位置15、 16.x。通過利用這些代碼單元，可以確定控制裝置10所選擇的在 信息表面13上的特定位置21 (步驟卯l，)。在圖1中顯示了這樣的例子。 程序代碼調(diào)用32.3可以產(chǎn)生并臨時(shí)存儲被編碼的數(shù)據(jù)項(xiàng)目的陣列，以及它 們的像素尺寸和在屏幕上的位置。例如，該陣列可以具有以下形式Array(GENERATED)={{datamatrix—1, bounding—box—of—dadamatrix—l}, {datamatrix—(N-l)， bounding box—of一datamatrix(N-l) }， {datamatrix—(N)，bounding—box一of一datamatrix一(N))一般的，在本發(fā)明的環(huán)境中，可以說控制信息15、 16.x被產(chǎn)生并呈現(xiàn) 在信息表面13上，控制信息大體上地但稀少地覆蓋信息表面13，當(dāng)執(zhí)行 控制測量以^Jf見看位于其上的信息INFO時(shí)并不會引起很大不便。信息設(shè) 備11可以把控制信息15、 16.x與顯現(xiàn)在信息表面13上的信息INFO結(jié)合 在一起(代碼單元32，8 )。由此，由信息設(shè)備ll顯現(xiàn)的信息INFO和控制 信息15、 16.x可以被顯現(xiàn)在公共且相同的信息表面上(代碼單元32.9)。 在這此方案中，在表面13上呈現(xiàn)的信息INFO可以位于控制信息16.1、16.2 之上(圖8 )。另一方面，還可以通過比服務(wù)器11更合適的其它裝置把控制信息15、 16呈現(xiàn)在信息表面13上，利用該其它裝置顯示呈現(xiàn)軟件34的視圖?？刂?信息15、 16.x還可以呈現(xiàn)在某些其它信息表面上(沒有顯示)。其它表面 可以是與呈現(xiàn)服務(wù)器11的信息INFO的信息表面13不同的信息表面。依照一個(gè)實(shí)施例，屏幕表面位置15、 16.x可以是在視覺上可檢測的控 制信息15、 16.x。依照另一實(shí)施例，它們還可以是人目峻測不到的或者能 非常微弱地檢測的類型(代碼單元32.11)?？刂菩畔?5、 16.x可以由視 覺編碼控制元素15形成，對^L覺編碼控制元素15的檢測以取向?yàn)?^出(代 碼單元32.4)。它們可以形成在信息表面13上的控制元素組16.1、 l6.2。 在信息表面13上，控制元素組16.1、 16.2可以形成以既定的方式排列的控 制模式實(shí)體14。根據(jù)排列在信息表面13的已知位置上的控制信息15、l6.x, 有可能當(dāng)執(zhí)行信息INFO和呈現(xiàn)軟件34的控制時(shí)，可以確定控制裝置10 所操作的和所指的信息表面13的位置21的連續(xù)流。下面，參考圖4，圖4顯示了在依照一個(gè)實(shí)施例的情況下的控制信息。 在該控制信息的情況下，在所呈現(xiàn)的實(shí)施例中，可以論及字形15,或者更 具體地，論及由單個(gè)字形15形成的陣列或者類矩陣字形組16.1、 16.2。屬 于單個(gè)組16.1、16.2的字形15自身可以形成包含4個(gè)字形的最小矩陣—— 字形組16.1、 16.2。字形組16.1， 16.2可以在信息表面13上形成以既定的 方式排列的控制模式實(shí)體14。在這種情況下，控制模式實(shí)體14形成以類 矩陣方式排列的集合。由此集合14可以確定控制裝置10每次在信息表面 13上指向的準(zhǔn)確位置。而且，由于產(chǎn)生較小數(shù)量的較小字形組16.1、 16.2, 并且還通過稀疏地放置它們，可以覆蓋較大的區(qū)域而沒有較大的干擾。字形組之間的最大距離和字形組16.1、 16.2的尺寸取決于l)照相機(jī) 52的覆蓋范圍和2)照相圖像50的分辨率(照相機(jī)的屬性)。照相機(jī)52 的覆蓋范圍與在照相機(jī)52和信息表面13之間的預(yù)期距離有關(guān)。照相圖像 50的分辨率以及字形組16.1、 16.2的尺寸以這樣一種方式相關(guān)在照相機(jī) 52獲取的圖像50中必須能夠檢測并識別字形組16.1、 16.2。在具有較低分 辨率(160x 120像素)照相圖像的實(shí)施例實(shí)現(xiàn)方式中，字形組16.1、 16.2 以這樣的方式間隔，該方式使得能夠在全部范圍的信息表面區(qū)域13中進(jìn)行 指向而字形組16.1、 16.2僅僅占用了 3.5%的可視區(qū)域。在這種情況下，當(dāng) 應(yīng)用移動(dòng)電話照相機(jī)52的低分辨率圖像流時(shí)，照相機(jī)52和表面13之間的 合適的距離可以是，例如，0.5-5m (甚至是10m或者更遠(yuǎn))。例如，通過 利用數(shù)字變焦也有可能增加距離。而且，屏幕13的尺寸影響了該距離特征。 用于估計(jì)(能夠稍孩吏穩(wěn)定地指向位置或者目標(biāo)的)距離的一個(gè)例子是至少 具有上述字形15、 16.1、 16.2設(shè)置的信息表面13的寬度的0.3-2倍。一般的，字形組16.1、 16.2在信息表面13上占的覆蓋部分可以例如是 1-30%。然而，例如，如果使用紅色字符或者其它顏色，則較大的覆蓋將 很麻煩。另一方面，可以使用隱藏技術(shù)(后面結(jié)合圖7進(jìn)行描述)，使得 即使檢測錯(cuò)誤率較大也能起作用。而且，可以使用30 %覆蓋率(甚至更大)， 例如與隱藏特征一起，對連接細(xì)節(jié)17與散布于整個(gè)表面13上的位置信息 16.1、 16.2進(jìn)行編碼，從而可以實(shí)現(xiàn)無縫控制連接。依照一個(gè)示例性實(shí)施例，字形15的大小可以是16x16像素，并且兩 個(gè)字形15之間的間隔可以是8像素。如果每個(gè)像素15的75 %區(qū)域被著以 單個(gè)顏色，則該版本將使用該單個(gè)顏色來對屏幕13的一半像素著色(覆蓋
率=0.75* (16/ (16+8) ) = 0.5)(如果使用該間隔設(shè)置來以字形15覆蓋 整個(gè)屏幕區(qū)域13)。如果通過使用隱藏技術(shù)動(dòng)態(tài)選擇單個(gè)顏色，則這種方 案是可以應(yīng)用的，例如圖8所呈現(xiàn)的。在該實(shí)施例中所呈現(xiàn)的更詳細(xì)的240 x 192^象素的refGrid包含一個(gè)40 x40像素的字形組，因此覆蓋區(qū)域是(40*40)/(240*192) = 0.03472 (這 僅包括2x2字形矩陣，而不是連接模式17)。字形組集合14可以覆蓋整個(gè)較大信息表面13，該表面例如以規(guī)則的 間隔分割。每個(gè)碼團(tuán)塊16.1、 16.2可以被設(shè)定為對應(yīng)于信息表面13上的特 定位置。根據(jù)用于協(xié)助指向識別的每個(gè)碼組16.1、 16.2，因此可以精確地 確定恰在信息表面13上的位置21，其中控制裝置10在該位置處進(jìn)行特別 的指向/瞄準(zhǔn)，并且該位置被試圖作為預(yù)期動(dòng)作的目標(biāo)。這使得可以在表面 13上自由選擇指向位置，并且可以利用表面13的整個(gè)范圍區(qū)域。在例如 ^i義室實(shí)施例中是非常重要的，在^i義室實(shí)施例中依照本發(fā)明的系統(tǒng)可以 用于，例如在精確的自由選擇的位置上創(chuàng)建新的信息INFO或者操作在表 面13的零星位置上已經(jīng)存在的信息。服務(wù)器11可以用于設(shè)置信息表面13上的控制元素，并且設(shè)置與連接 設(shè)置17，相關(guān)的信息17 (代碼單元32.5,步驟卯l，)。 一般的，該系統(tǒng)可 以被配置為，使得數(shù)據(jù)矩陣17中的每一個(gè)或某些可以包含到計(jì)算裝置11 的連接細(xì)節(jié)17，，其中計(jì)算裝置11正在產(chǎn)生與數(shù)據(jù)矩陣17相關(guān)的顯示12，。 由于該原因，該系統(tǒng)可以用于直接連接以及直接操作在多個(gè)裝置的屏幕上 顯示的數(shù)據(jù)。當(dāng)配備有依照本發(fā)明的裝置IO、 10.1-10.2的幾個(gè)參會者想要 參與集體討論時(shí)，這些特征很重要。如果配置與多個(gè)服務(wù)器相關(guān)的多個(gè)顯示器表面，則服務(wù)器之間的切換 -故配置為無縫的。在這種實(shí)施例中，電話10可以首先連接到產(chǎn)生顯示器 D(A)的服務(wù)器S(A)。然后，用戶可能打算指向連接到另一服務(wù)器S(B)的顯 示器D(B)。(例如在用戶的裝置10上的)系統(tǒng)可以從顯示器D(B)的數(shù)據(jù) 中自動(dòng)地解碼連接信息17，，并自動(dòng)地連接到該特定服務(wù)器S(B)。由于該 特征，指向事件被直接發(fā)送到服務(wù)器S(B)而不^J1務(wù)器S(A)。因此，還可 以從連接細(xì)節(jié)信息17的連續(xù)流中動(dòng)態(tài)地確定連接細(xì)節(jié)17，。僅僅指向具有 連接細(xì)節(jié)17的新表面并利用照相機(jī)52對該新表面進(jìn)行成像，就足以對該 特定表面以及連接到該表面的可能的服務(wù)器進(jìn)行控制。這對用戶是非常友 好的。在信息表面13上，涉及連接設(shè)置信息的數(shù)據(jù)矩陣17可以形成由相應(yīng) 類型的字形形成的集合17?？梢詮闹薪獯a出例如涉及在服務(wù)器11和控制 裝置10之間的M協(xié)議和設(shè)置的內(nèi)容。這些內(nèi)容的某些例子是在通信中所 用的藍(lán)牙地址和端口 17，?；谠搩?nèi)容可以在移動(dòng)設(shè)備IO中推斷這些連接 設(shè)置，于是依照該連接設(shè)置與服務(wù)器11建立數(shù)據(jù)傳輸會話(代碼單元31.5, 步驟卯3)，其中通過移動(dòng)設(shè)備10可以持續(xù)地指向信息表面13并且移動(dòng) 設(shè)備10的照相機(jī)52用于形成其圖像信息50 (步驟902 )。如果在信息表面13上以人眼可視的波長范圍形成字形15,則如果不 需要字形15并且/或者字形15在某些方面干擾了將在表面13上執(zhí)行的信 息呈現(xiàn)18-20，那么例如可以由用戶至少部分地^f吏字形15淡化。因此，從在信息表面13上提供控制元素15、 16.x的裝置，例如從服 務(wù)器ll，確定控制元素15、 16.x淡化功能(代碼單元32.10)。隨后，元 素15、 16.x不再被映射到呈現(xiàn)表面13上或者至少不位于其一部分上，而 是僅僅服務(wù)器11所呈現(xiàn)的信息18-20被映射到表面13上。應(yīng)當(dāng)注意依照一個(gè)實(shí)施例，控制元素15、 16，x還可以是非可視類型的。 因此，可以通過^f吏用例如合適的波長范圍將數(shù)據(jù)矩陣16.x、 17顯現(xiàn)在信息 表面13上，該數(shù)據(jù)矩陣可以是人眼或多或少甚至是完全不可視的控制元素 (代碼單元32.11)。然而，根據(jù)移動(dòng)設(shè)備10所形成的圖像信息50,設(shè)備 10仍然每次都可以識別照相機(jī)52中的的整個(gè)字形組16.1，并且從字形組 中確定裝置10在屏幕表面13上所指的位置21或會話協(xié)議數(shù)據(jù)n，。該非可纟見控制元素15、 16的一個(gè)例子是人眼不可視的紅外標(biāo)簽，但該 紅外標(biāo)簽仍然可以被照相機(jī)52檢測到。呈現(xiàn)設(shè)備l2可以由此需要附加設(shè) 備，使用該附加設(shè)備實(shí)現(xiàn)把紅外標(biāo)簽呈現(xiàn)在表面13上。此外，如果使用與 呈現(xiàn)裝置12分立的裝置來把標(biāo)簽呈現(xiàn)在表面13上，則該實(shí)施例還需要校
準(zhǔn)動(dòng)作以便對準(zhǔn)位置在屏幕表面13上的標(biāo)簽。服務(wù)器11還可以具有程序4莫塊或者等同功能單元(代碼單元32.1), 通過該模塊可以確定移動(dòng)設(shè)備10所指的信息表面13的位置21的流(步驟 卯9，)。服務(wù)器11可以至少一部分地利用與在步驟908，中從控制裝置10 接收的以及從圖像信息50中確定的控制信息15、 16.x相關(guān)的數(shù)據(jù)xl、 yl、 wid、 gx、 gy，來確定位置21或者它們的流。因此，涉及確定動(dòng)作功能的 至少一部分還可以通過出乎意料的方式被配置在移動(dòng)設(shè)備IO中(代碼單元 31.1， 31.4， 31.7)。通過位于服務(wù)器11和控制裝置10、 10.1、 10.2之間的M化確定，獲 得了多個(gè)優(yōu)點(diǎn)。第一，其降低了將由服務(wù)器ll執(zhí)行的處理，從而可以有效 地服務(wù)于更多的控制裝置10、 10.1、 10.2。另一方面，通過這種類型的分 散化實(shí)現(xiàn)方式，還可以在確定目標(biāo)位置21或位置流的準(zhǔn)確性方面獲得優(yōu) 點(diǎn)，其中目標(biāo)位置21或者位置流是在控制操作期間通過移動(dòng)控制設(shè)備10、 10.1、 10.2獲得的。如果控制裝置10僅^JL送哪個(gè)字形組16.1， 16.2可視 的信息(通過4吏用位于裝置10、 10.1、 10.2中的字形數(shù)據(jù)23來確定)，而 不發(fā)送在取景器VF中字形組16.1、 16.2的位置和尺寸，則服務(wù)器ll并不 能準(zhǔn)確的計(jì)算用戶所指向的位置21或者位置21的流?，F(xiàn)在，通過控制裝 置10執(zhí)行的確定，其中該確定基于具有已知特征的照相機(jī)52所形成的圖 像信息50，可以從該小比例確定中獲得優(yōu)點(diǎn)。于是，該確定所產(chǎn)生的解碼 字形數(shù)據(jù)gx、 gy和/或數(shù)據(jù)xl、 yl、 hei、 wid可以被發(fā)送到服務(wù)器11,以 用于最終計(jì)算實(shí)際的操作屏幕位置21 (代碼單元31.3， 31.7)。服務(wù)器ll 在其陣列(即，array—generated)中查詢，并且繼續(xù)進(jìn)行該處理以發(fā)現(xiàn)實(shí) 際的屏幕位置21。后面將在說明書中考慮實(shí)現(xiàn)確定的一種方式。通過僅僅 向服務(wù)器11傳送由控制裝置10從圖像50中連續(xù)確定的解碼字形數(shù)據(jù)gx、 gy和數(shù)據(jù)xl、 yl、 hei、 wid，可以避免傳輸較大數(shù)量的全部圖像數(shù)據(jù)，傳 輸較大數(shù)量的全部的圖像數(shù)據(jù)將使系統(tǒng)操作非常慢。依照另一實(shí)施例，客戶裝置10可以發(fā)送位于框((xl， yl), (wid， hei)) 中的實(shí)際剪修的比特位像，并且檢測可以在服務(wù)器11上執(zhí)行。然而，
即使不進(jìn)行識別過程(即，尋找字形16.1, 16.2位于圖像50中的何處)， 這也引起了非常多的流量，并且客戶裝置10需要"檢測"字形16.1， 16.2。 然而，依照一個(gè)實(shí)施例，客戶裝置IO可以已經(jīng)接收了用于把字形數(shù)據(jù) 23映射到位置的陣列(array_generated )，并且通過自身執(zhí)行計(jì)算(與服 務(wù)器的代碼單元32.1和32.7相似)，并且把關(guān)于屏幕坐標(biāo)(x， y)以及相對 距離的結(jié)果發(fā)送給服務(wù)器ll。因此，甚至可以有幾種可選方案來執(zhí)行該過 程。照相電話10還可以用于運(yùn)行以上已經(jīng)部分描述的并且允許依照本發(fā) 明的實(shí)現(xiàn)的程序31。在該程序31中，可以有程序才莫塊或者等同功能單元， 處理器單元51使用該程序模塊對照相機(jī)52從信息表面13形成的圖像信息 50中的可視編碼信息15、 16.x、 17進(jìn)行解碼，該可視編碼信息例如與呈現(xiàn) 在信息表面13上的會活細(xì)節(jié)17，以及位置字形15、 16.x相關(guān)。根據(jù)控制信 息15、 16.x，可以確定控制裝置10每次所操作的信息表面13的精確位置 21。根據(jù)設(shè)置信息17，可以形成連接設(shè)置數(shù)據(jù)17，以執(zhí)行在信息設(shè)備11和 控制裝置10之間的通信(步驟卯2， 903)。此外，照相電話10具有用于 連接數(shù)據(jù)傳輸務(wù)活的程序模塊，用于執(zhí)行到服務(wù)器11的以及從服務(wù)器11 返回的數(shù)據(jù)傳輸，所傳輸?shù)臄?shù)據(jù)除了關(guān)于圖像信息50的或者從中確定的上 述數(shù)據(jù)xl、 yl、 hei、 wid、 gx、 gy夕卜，還包括例如上傳的應(yīng)用數(shù)據(jù)(例如， 向服務(wù)器11上傳的文件FILE )以及下載的應(yīng)用數(shù)據(jù)(例如，從服務(wù)器11 向移動(dòng)設(shè)備10下載的文件FILE)(代碼單元31.6)。通常，可以從移動(dòng) 電話10向電話10所指的特定瞄準(zhǔn)位置傳送應(yīng)用^L據(jù)，并且可以從電話10 所指的信息表面13的特定位置接收應(yīng)用數(shù)據(jù)。該實(shí)施例通過使用較寬的信 息表面13而不是移動(dòng)設(shè)備10的較小顯示器VF，提供了對應(yīng)用特定數(shù)據(jù)的 可視呈現(xiàn)。在信息設(shè)備ll中還可以具有等同模塊(代碼單元32.6)。如上所述，在本發(fā)明中可以在信息表面13上呈現(xiàn)較小的可視編碼元 素，"字形，，15。通過字形15或者從字形15在照相機(jī)52所形成的圖像信 息50中的位置，可以確定利用控制裝置10的照相機(jī)52所指向的信息表面 13的位置或者位置流。通過控制裝置10的照相機(jī)52,以既定的方式形成
恒定圖像流，以便計(jì)算由照相機(jī)52持續(xù)指向的當(dāng)前信息表面位置21 (步 驟905)。例如以諾基亞6600，使用大約每秒十個(gè)圖像幀作為成像頻率可以形成 連續(xù)的圖像幀50。由于本發(fā)明，甚至采用低于例如在視頻或者取景器成像 中所使用的傳統(tǒng)成像頻率(例如，15-30圖<象幀/秒)的圖像頻率，也有可 能對付。當(dāng)使用較低成像頻率時(shí)，可以降低控制裝置10的功率損耗。當(dāng)希望以控制裝置10參與在信息表面13上呈現(xiàn)的信息INFO時(shí)，建 立在移動(dòng)i殳備10和服務(wù)器11之間的連接。因此，控制裝置10用于對信息 表面13的一個(gè)位置處所呈現(xiàn)的特定元素模式(字形模式)進(jìn)行成像(步驟 902)。這些^皮用于對連接的細(xì)節(jié)一一例如藍(lán)牙地址和服務(wù)器端口 17，—— 進(jìn)行編碼。利用移動(dòng)設(shè)備IO的取景器VF，容易注意到在圖像信息50中的 包含連接設(shè)置17，的字形組17的出現(xiàn)。當(dāng)字形組17完全位于取景器VF中 時(shí)，可以確認(rèn)該字形組從而執(zhí)行連接設(shè)置解碼。從所形成的圖像信息50 中識別出控制元素組17并且從中解碼出連接設(shè)置數(shù)據(jù)17，，以便形成在信 息設(shè)備11和控制裝置10之間的通信連接(步驟卯3 )。的確，甚至在沒 有來自用戶的與字形組17在取景器VF上的出現(xiàn)相關(guān)的任何確認(rèn)的情況 下，裝置10還可以自發(fā)地識別相關(guān)的字形組17并執(zhí)行解碼。 一旦連接已 經(jīng)建立，就不再需要關(guān)心連接，并且可以正常的執(zhí)行通信。就在建立在控制裝置10和服務(wù)器11之間的連接后，控制裝置10可以 宣布其身份。因此，每個(gè)人在所有時(shí)間都清楚誰在特定位置操作表面13 上的信息。在步驟卯4、904，已經(jīng)建立了在控制裝置10和服務(wù)器11之間的數(shù)據(jù)傳 輸連接后，具有照相機(jī)52的裝置10可以開始對控制裝置10在每一時(shí)刻所 指的目標(biāo)信息表面區(qū)域50進(jìn)行采樣(步驟卯5)。采樣過程可以由用戶控 制，因此照相機(jī)52將不會不斷地成像。例如，依照本發(fā)明的方案還可以4皮擴(kuò)大為以這樣的方式支持具有照相 機(jī)52的更多控制裝置10、 10.1、 10.2，在這種方式中參加會議的幾個(gè)代表 可以同時(shí)在屏幕12，上工作，例如相互發(fā)布數(shù)據(jù)FILE、 INFO并畫出概念
圖。每個(gè)參與者可以下載在屏幕12'上呈現(xiàn)的所有內(nèi)容INFO、 FILE中他 自己的復(fù)制本或者僅僅是內(nèi)容的單個(gè)部分。由于這個(gè)方面，可視連接的顯 示器12'還變成共享存儲空間的一部分，其中主管顯示器12'的初始裝置 11可以提供到其它用戶的接入，從而保持該共享數(shù)據(jù)的復(fù)制本或者僅僅在 可視交互和信息創(chuàng)建期間觀察數(shù)據(jù)。依照本發(fā)明的方案還可以被擴(kuò)大為支持把用戶的手勢作為在用戶接口 中的交互方法。手勢是通常已知特定類型的交互機(jī)制，例如敲擊，或者通 常，裝置10指向屏幕13的特定運(yùn)動(dòng)，在這種情況下由移動(dòng)電話IO、 10.1、 10.2來執(zhí)行該特定運(yùn)動(dòng)，并且該特定運(yùn)動(dòng)被用于執(zhí)行之前所定義的動(dòng)作。 一個(gè)例子是把電話10朝著或者遠(yuǎn)離屏幕12，移動(dòng)的手勢，通過^f吏用該手 勢，移動(dòng)可以被激活為在特定位置處從可視交互屏幕12'復(fù)制的意圖，或 者從特定位置向可視交互屏幕12'粘貼的意圖。依照第二例子，用戶可以 從屏幕13 "拖拉，，對象，從而把對象下栽到他的裝置10。交互可以如下 1)指向表面13上的對象FILE; 2)按壓移動(dòng)設(shè)備10上的按鈕；3 ) 面13向后拖移動(dòng)i殳備10; 4)釋放按鈕。手勢的其它例子可以是拖&降、 雙擊、把一組對象拖到"橡皮圈"，等等。而且，其它2D或者3D的手勢 也是可能的。此外，也可以結(jié)合控制來確定電話IO的當(dāng)前速度。這可以從 標(biāo)簽16.1、 16.2位置和尺寸的改變速率中推出。可以結(jié)合本發(fā)明把手勢理 解為由控制裝置進(jìn)行的操作。下面將稍孩t詳細(xì)地并通過在屏幕12，上呈現(xiàn)的元素1S的例子，來進(jìn)行 說明，從元素15可以計(jì)算每次移動(dòng)設(shè)備10所指的信息表面13的位置。在 相關(guān)的實(shí)施例中，通過L形對象15形成編碼，L形對象15也浮皮稱為字形。 其它形狀也是可能的，例如，IJ形。現(xiàn)在，字形15可以具有4個(gè)不同的取向。 一個(gè)L形字形1S可以編碼 2個(gè)比特。因此，對于8個(gè)比特，需要4個(gè)字形，其構(gòu)成字形組16。而且， 控制元素的數(shù)量可以改變，并且在該連接中4僅僅作為一個(gè)例子。通常， 字形組可以包括多個(gè)控制元素。在組16.1中，可以具有2個(gè)字形l5來表 達(dá)X坐標(biāo)以及兩個(gè)字形15來表達(dá)Y坐標(biāo)。因此可以把字形15排列為圖1 和圖4-8所示的集合16， 16.1， 16.2。每個(gè)集合16, 16.1， 16.2以既定的方 式定義屏幕位置。通過字形組16， 16.1， 16.2，可以大約完全覆蓋屏幕表 面13。因此，字形組16, 16.1， 16.2可以在屏幕表面13上以規(guī)則的間隔 呈現(xiàn)為矩陣網(wǎng)格，其中它們之間的距離，例如在水平和垂直方向上是固定 的。每個(gè)字形組16自身意味著例如通過數(shù)據(jù)投影儀12提供在屏幕12，上的 字形組網(wǎng)格14中的特定坐標(biāo)。這些字形組坐標(biāo)可以例如通過變量gx、 gy 命名(圖4)。坐標(biāo)可以從信息表面13的左上角開始，在該位置的字形組 坐標(biāo)(gx， gy) ^皮設(shè)定為(0， 0)。從(0, 0)開始，坐標(biāo)以已知的方式 開始增長，行和列結(jié)束于位于屏幕12，右下角的字形組的坐標(biāo)。對這種字 形15、 15，、 15，，的利用提供了一種智能的方式來編碼具有較小數(shù)據(jù)量的數(shù) 據(jù)矩陣16.1、 16.2。參考圖4和5，更詳細(xì)的顯示了如何計(jì)算由控制裝置10的照相機(jī)52 在屏幕表面13上所指的位置21的例子。令人吃驚地，在本發(fā)明中，所指 位置21的確定可以通過應(yīng)用幾種坐標(biāo)系統(tǒng)來執(zhí)行。在本實(shí)施例中使用兩個(gè) 坐標(biāo)系統(tǒng)(或者3個(gè)，這取決于一個(gè)系統(tǒng)可以在屏幕坐標(biāo)(x， y)上的解 釋)?？梢园炎鴺?biāo)系統(tǒng)想象為相互包含。通過該實(shí)施例尤其可以獲得這樣 的優(yōu)點(diǎn)，即與僅使用單個(gè)坐標(biāo)系統(tǒng)覆蓋整個(gè)信息表面13相比，可以更加精 確地確定位置21的所指流。而且，這4吏得可以控制整個(gè)表面13。向信息表面13呈現(xiàn)字形組16、 16.1、 16.2的、作為控制視頻投影儀 12的服務(wù)器11的一方，現(xiàn)在清楚用于確定目標(biāo)位置21的至少某些變量。 這些變量可以,皮稱為，例如，編碼的粗略的大比例變量。它們形成粗略的 主要坐標(biāo)系統(tǒng)，該坐標(biāo)系統(tǒng)對應(yīng)于整個(gè)大信息表面13以及呈現(xiàn)在信息表面 13上的字形組16、 16.1、 16.2。例如，在字形組16、 16.1、 16.2被呈現(xiàn)在 整個(gè)范圍的屏幕部分12，上(步驟卯l，)的階段確定這些變量。圖4所示的變量refGridHd和refGridWid意味著彼此緊鄰著地被呈 現(xiàn)在屏幕部分12，上的字形組16的相互距離。更具體的，例如可以以這 樣的方式確定該距離，在該方式中，該距離是字形組16的左上角的字形 15，、 15"之間的距離。變量refGridHei意味著在屏幕部分12，的Y方向 上(也就是高度方向上)的距離。變量refGridWid意味著X方向(也就 是屏幕部分12，的寬度方向)上的距離。在圖4所示的例子中，這些變量值 可以被i殳定為，例如，refGridHei = 240以及refGridWid-192。適合變量 refGridHei和refGridWid的值可以取決于，例如從多遠(yuǎn)的距離指向屏幕 部分12，或者照相機(jī)52的分辨率。然而，服務(wù)器11還已知的第三變量是每個(gè)字形組16.1的高度和寬度 (sqSize)。換言之，sqSize意味著字形組16.1側(cè)面的長度，例如，在最 遠(yuǎn)離左邊的頂角和最遠(yuǎn)離右邊的頂角之間的長度以及在最遠(yuǎn)離左邊的頂角 和遠(yuǎn)離左邊的底角之間的長度。在圖4所示的應(yīng)用例子中，變量sqSize的 值被設(shè)定為40。參考圖5，從控制裝置10的角度呈現(xiàn)了一種情形，在該情形中，確定 照相機(jī)52所指的位置21。在此使用圖像信息50,圖像信息50由照相機(jī) 52形成并JW皮呈現(xiàn)在照相裝置10的顯示器VF上。在顯示器VF上，例如 在其中心呈現(xiàn)一個(gè)較小的輔助圖形，該輔助圖形例如是一個(gè)點(diǎn)。信息表面 13的預(yù)期位置21或者在信息表面13上呈現(xiàn)的信息INFO應(yīng)當(dāng)每次都^i文 置在該點(diǎn)。通過輔助圖形，可以獲得預(yù)期位置21的準(zhǔn)確確定。因此，后面 將提出的用于計(jì)算目標(biāo)位置21的實(shí)施例精確地得出在信息表面l3上的位 置，即輔助圖形位于圖像信息50中的位置。根據(jù)圖像信息50，可以利用 裝置10的處理器51來確定與控制裝置10每次所操作的信息表面13的精 確位置21相關(guān)的數(shù)據(jù)xl， yl， x2， y2， hei， wid (代碼單元31.1)。程序 代碼31可以接收由控制裝置10從信息表面13形成的圖像信息50作為輸 入。照相裝置10通過照相機(jī)10/取景器VF檢測可以"看到"(即，檢測 和識別)的數(shù)據(jù)矩陣16.1、 16.2的陣列。代碼調(diào)用可以具有"array (VISIBLE) : (datamatrixDataVl， locationVl, sizeVl) ... (dmDVm， locVm， szVm)，，這樣的形式。通過比較這兩個(gè)陣列(GENERATED和VISIBLE),并基于該比較，可以計(jì)算l)照相機(jī)/取景器10指向的準(zhǔn)確位 置和2)與背景13的相對距離。此外，處理器51還可以識別在位置21處指示的動(dòng)作或者相應(yīng)的激活/ 確認(rèn)命令(代碼單元31.2)，然后依照所識別的內(nèi)容，服務(wù)器ll將執(zhí)行相 關(guān)的動(dòng)作(代碼單元32.2)。在最簡單的形式中，鼠標(biāo)控制裝置用已知的 方式較長或較短時(shí)間地按壓裝置10的功能鍵35就足夠了 。要執(zhí)行的動(dòng)作 可以取決于例如在該時(shí)間處于激活的工具(例如將,皮拖的對象或者將,皮拉 的對象)。于是，控制裝置10的數(shù)據(jù)傳輸單元22向信息設(shè)備11傳送與控制裝置 10所操作的信息表面13的位置21相關(guān)的數(shù)據(jù)xl， yl， x2， y2， hei， wid 以及在相關(guān)位置21處指示的動(dòng)作協(xié)議命令。應(yīng)當(dāng)明白，在執(zhí)行連續(xù)控制時(shí)， 其中例如某些目標(biāo)對象FILE在表面13上移動(dòng)(照相機(jī)52的瞄準(zhǔn)位置一 直改變)，該成像和位置確定過程是連續(xù)的。在控制裝置10的情況下，取 景器圖像50可以理解為一種小比例的坐標(biāo)系統(tǒng)，該坐標(biāo)系統(tǒng)溶入服務(wù)器 11在呈現(xiàn)表面13上呈現(xiàn)的大比例字形組坐標(biāo)系統(tǒng)l4?？刂蒲b置10本身還可以用于選擇功能。因此，可用功能選擇可以被呈 現(xiàn)例如在電話10的顯示器VF上。電話10的鍵區(qū)35還可以用于選擇功能。 這樣，可以避免例如經(jīng)歷呈現(xiàn)軟件34中的不同菜單.用作取景器VF的顯示器/照相機(jī)52分辨率在照相裝置10中是已知的。 可以在相應(yīng)的寬度和高度方向上i殳定對應(yīng)于該分辨率的變量vf_wid和 vf—hei。依照一個(gè)實(shí)施例，變量vf_wid的值可以被固定到例如160，并且 變量vf—hei的值可以被固定到例如120。在具有用于快速輸入的symbian 操作系統(tǒng)的很多照相機(jī)52中可以使用該值。在上述實(shí)施例的情況下，控制裝置10從圖像信息50中確定的數(shù)據(jù)包 括關(guān)于控制信息的位置xl、 yl、 x2、 y2以及大小hei、 wid的信息，也就 是，圖像信息50中的字形組16.1、 16.2。此外，該數(shù)據(jù)還包括解碼的/識別 的控制信息。也就是例如2x2字形組的解碼的字節(jié)值(gx， gy)。這可以 由代碼單元31.7闡明，代碼單元31.7可以作為代碼單元31.1的子模塊。
所確定的信息和圖像信息50的尺寸vf_wid和vfjiei可以被l送到信息設(shè) 備11，以便確定控制裝置10所操作的信息表面13的位置21 (代碼單元 31.3 )。為了把圖像信息50的尺寸vf一hei， vf—wid給服務(wù)器11,來自每個(gè) 裝置IO、 10.1、 10.2的一個(gè)傳輸M夠的。從取景器50，可以確定目標(biāo)圖 4象信息50中的字形組16.1的位置和尺寸。這可以理解為在小比例坐標(biāo)系 統(tǒng)中發(fā)生的動(dòng)作，其中根據(jù)字形15的位置xl、 yl、 x2、 y2以及尺寸hei 和wid確定所指位置21的準(zhǔn)確位置和變焦。由照相機(jī)52和附加到其的計(jì)算裝置51在步驟卯6中從圖像信息50 中檢測和識別的字形組16.1 (即，VISIBLE數(shù)據(jù)矩陣)在取景器圖像50 中的位置可以表示為坐標(biāo)(xl, yl) ， (x2, y2)。這里坐標(biāo)(xl， yl) 意味著在取景器圖像50中字形組16.1左上角的位置。相應(yīng)的，坐標(biāo)(x2， y2)意味著在取景器圖像50中字形組16.1右下角的位置。字形組16.1的 尺寸，也就是變焦，可以表示為高度(hd)和寬度(wid)。在圖5所示 的實(shí)施例中，呈現(xiàn)在取景器圖像50中并且完全可見的字形組16.1的位置 和尺寸可以4皮粗略地估計(jì)為xl-40, yl = 20, x2 = 54， y2 = 35。當(dāng)然， 可以從中獲得取景器圖像50中字形組16.1的高度hei和寬度wid， wid-x2 - xl = 54 - 40 = 14，以及hei - y2 - yl = 35 - 20 = 15?？梢栽诓襟E卯7 由代碼單元31.7從圖像信息50中明了所有內(nèi)容。除了取景器圖像50中字形組16.1的位置和大小外，照相裝置10可以 用于確定在字形網(wǎng)格14中，也就是由呈現(xiàn)裝置l2呈現(xiàn)的大比例坐標(biāo)系統(tǒng) 中的有關(guān)字形組16.1的位置(gx， gy)。可以通過識別位于字形組正方形 16.1中的集合以及通過搜索位于裝置10的查詢表23以查找對應(yīng)于所識別 的有關(guān)集合的坐標(biāo)，來找出位置(gx, gy)。裝置IO因此可以具有包含用 于查詢的查詢表23的存儲器MEM。通過使用查詢表中的數(shù)據(jù)23,可以把 字形組16.1、 16.2解碼到信息表面13的坐標(biāo)(gx, gy)。代替查詢固定在 控制裝置10中的查詢表23，還可以使用每次從裝置10下載的查詢表。這 可以例如在步驟904執(zhí)行。這可以是一個(gè)選項(xiàng)，例如在這種情況下，由于 取決于程序提供者的環(huán)境，呈現(xiàn)字形組16的方式在每個(gè)^i義中是不同的。
在依照該實(shí)施例的情況中，如在屏幕13上看到的，在取景器圖像50中的 字形組16.1的網(wǎng)格坐標(biāo)是gx-l以及gy-l。當(dāng)考慮上述實(shí)施例的一般實(shí)現(xiàn)方式時(shí)，從圖像50中確定的數(shù)據(jù)(xl, yl， x2, y2， hei， wid)僅僅描述了照相機(jī)52所拍攝的字形16.1、 16.2的 位置和尺寸。所述實(shí)現(xiàn)方式在客戶裝置IO、 10.1、 10.2上對所有4個(gè)字形 15進(jìn)行解碼，并把表示他們的字節(jié)(整數(shù)0…255)與(xl， yl， wid， hd) 一起發(fā)送到服務(wù)器11，以便確定所操作的屏幕13的"粗略，，部分。服務(wù) 器11恰好知道其使用均勻平鋪的字形網(wǎng)格14。服務(wù)器11把字節(jié)分成兩個(gè) 整數(shù)(gx和gy，范圍0...15)并且繼續(xù)計(jì)算refGridWid和refGridHei。 如果字形組16.1、 16.2均勻分布，則網(wǎng)格坐標(biāo)(gx和gy)可以被認(rèn)為是傳 統(tǒng)理解的坐標(biāo)系統(tǒng)。如果字形組16.1、 16.2以隨意的方式祐J故置在屏幕13 上，則使用另一映射(GridNum —屏幕坐標(biāo))，而不是把網(wǎng)格坐標(biāo)(gx， gy)映射到屏幕坐標(biāo)(x， y)。當(dāng)更精確地考慮"粗略"部分確定時(shí)，依照一個(gè)實(shí)施例的編碼(從對 于4字形的1字節(jié)=8比特)可以如下進(jìn)行第一字節(jié)凈皮分成2比特部分 (ABCD)—在此AB(拼接)(4比特)是gx以及CD(4比特)是gy， 然后對于每一部分(值0...3)如下產(chǎn)生L形字形0-L， 1=」，2 = n 以及3= r。這些部分如下地顯示在屏幕上A C B D控制裝置10幾乎把該過程反轉(zhuǎn)一一從字形圖像到2比特部分(a， b， c， d)——發(fā)現(xiàn)結(jié)構(gòu)—如果是2 x 2字形，則構(gòu)成8比特字節(jié)abcd——把 其分成gx和gy。服務(wù)器11現(xiàn)在可以計(jì)算gx = l， gy = 2并且字形組的左上坐標(biāo)現(xiàn)在 是x = refGrid—wid* 1; y=refgridhei*2。如上所述，還有一種在服務(wù)器11中使用array_generated的可能性， 服務(wù)器ll包含映射(字形組ID —屏幕位置或字形組的邊框)。這里字形
組ID將是全字節(jié)。依照另一實(shí)施例，array_generated還可以被傳送到客戶裝置10，從 而使得客戶裝置10將能夠執(zhí)行全部的位置計(jì)算并輸出所指位置的屏幕坐 標(biāo)。為了計(jì)算照相機(jī)52所指的位置21，在照相機(jī)52形成的圖像信息50 中每次具有完整的至少一個(gè)字形元素組16 M夠的。在組16中，兩個(gè)字 形15可以表示字形組16的X坐標(biāo)并且兩個(gè)字形15可以表示字形組16的 Y坐標(biāo)。依照一個(gè)實(shí)施例，照相裝置10可以向服務(wù)器11發(fā)送，例如從取景器 圖像50中識別的字形組16.1的左上(xl， yl)坐標(biāo)以及還可能右下(x2， y2)坐標(biāo)(步驟908)。當(dāng)照相裝置10的取景器VF的寬度和高度是已知 的(vf—wid， vf—hei)并且與之對應(yīng)于的數(shù)據(jù)已經(jīng)在步驟卯8，由服務(wù)器ll 接收到時(shí)，可以計(jì)算屏幕表面13的最終瞄準(zhǔn)位置21。由服務(wù)器11的處理器CPU2執(zhí)行的程序代碼32把與控制裝置10從信 息表面13形成的圖像信息50相關(guān)的數(shù)據(jù)xl、 yl、 wid、 hei、 gx、 gy作為 輸入接收(代^碼單元32.7)。服務(wù)器11通過4吏用例如控制裝置的BT地址 (端口 )來識別執(zhí)行控制的每個(gè)控制裝置10、 10.1、 10.2。這使得服務(wù)器 11可以利用可視交互屏幕來對連接到相同顯示器12，的多個(gè)裝置進(jìn)行服務(wù)， 從而例如在洽談情形中以合作的方式共享和操作數(shù)據(jù)。由照相裝置10指向 的屏幕位置21的屏幕坐標(biāo)，可以由代碼單元32.1,通過4吏用以上提出的并 從控制裝置10接收的變量值xl， yl， wid, hei， gx， gy，按下述方式來計(jì) 算(步驟909，)x = gx * refGridWid + ( sqSize * ((vf—wid / 2) - xl) / wid);(x - = 1*240 + ( 40 * (160/2) - 40 /15) = - 347)y = gy * refGri膽ei + ( sqSize * ((vf一hei / 2) _ yl ) / hei);(y - = 1 * 192 + ( 40 * ( (160/2) - 20 ) /15 ) = = 299)基于此，取景器圖像50的中心位置21被指示為瞄準(zhǔn)屏幕區(qū)域13所確 定的坐標(biāo)系統(tǒng)中的位置(347, 299)。每個(gè)時(shí)刻激活的鼠標(biāo)指針、對象或
者控制動(dòng)作現(xiàn)在可以被指示到該屏幕位置21 (步驟910，)。如果接收到 最終確認(rèn)或者終止相關(guān)動(dòng)作的相應(yīng)指示，則相關(guān)的動(dòng)作序列在步驟911， 結(jié)束。必須理解，步驟905-910，構(gòu)成連續(xù)循環(huán)，以執(zhí)行對信息i殳備ll的控 制。因此，這意味著移動(dòng)電話10持續(xù)地指向信息表面13，而不需要瞄準(zhǔn) 除了所操作的信息表面13之外的任何對象。對此，已經(jīng)在結(jié)合照相機(jī)52 的拍才聶頻率的說明書中進(jìn)行了說明。用于例如信息的3D控制(稍后將描述)的以及為了確定裝置IO距離 標(biāo)簽16.1、 16.2有多遠(yuǎn)所需要的比例變量取決于在照相裝置10和屏幕表面 13之間的距離。變量比例可以控制例如信息的呈現(xiàn)尺寸?？梢砸勒障率酱_ 定變量比例，其中從顯示器VF上和表面13中的標(biāo)簽16.1、 16.2的尺寸推 斷出變量比例比例=(wid + hei) / 2.0 / sqSize;應(yīng)當(dāng)理解，通過使用照相裝置10來確定在屏幕表面13上呈現(xiàn)的位置 21的上述方式僅僅是一個(gè)應(yīng)用例子。這里提出的基本實(shí)施例并不考慮例如 照相裝置10相對于屏幕表面13的可能的取向角。為了以理想方式執(zhí)行對 預(yù)期的所指位置21的確定，在這種情況下控制裝置10相對于屏幕表面13 的校準(zhǔn)必須是既定的類型。在這種配置中，呈現(xiàn)信息INFO的屏幕表面l3 必須直接位于大體在相同平面中的照相裝置的前部。然而可以允許裝置10 相對于所指向的屏幕表面13有數(shù)十度的偏離角度，即使這樣也可以確定所 指的位置21 (例如，10-15度是可以的)。利用適用于計(jì)算的附加編碼， 可以考慮照相裝置10的轉(zhuǎn)動(dòng)和傾斜。這可以從標(biāo)簽16.1、 16.2的取向中并 且利用對標(biāo)簽的特定類型"編碼，，來推出。在后面的說明中將更加準(zhǔn)確地 描述這種實(shí)現(xiàn)方式。而且可以確定裝置IO、 10.1-10.2的角速度。這可以從 標(biāo)簽16.1、 16.2的取向變化速度中推出。還可以通過編碼(例如通過校驗(yàn) 和)來恢復(fù)并處理在這種類型的光學(xué)識別中可能發(fā)生的識別錯(cuò)誤。當(dāng)使用 更加先進(jìn)的照相光學(xué)、分辨率以及變焦時(shí)，可以增加與信息表面13的控制 距離?？梢砸詭追N不同的方式改變上面提出的方法。與例如在二維方向上在
背景13上產(chǎn)生的數(shù)據(jù)矩陣不同，字形15還可以動(dòng)態(tài)地位于整個(gè)范圍的屏 幕表面13上。因此把它們隨機(jī)地放置在表面13上是可能的。在這種情況 中，可以通過一個(gè)號碼(字節(jié))對字形模式編碼，并且查詢表23可以用于 字形組16號碼和字形組16的左上坐標(biāo)之間的轉(zhuǎn)換。甚至有可能在沒有查詢表23的情況下在上面提出的實(shí)施例中進(jìn)行管 理。因此，gx*refGridWid和gy*refGridHei Z/^式可以用于把編碼的字形 數(shù)據(jù)轉(zhuǎn)換成相關(guān)字形組16的左上屏幕坐標(biāo)xl, yl。"字形數(shù)據(jù)"因此可 以簡化為gx*16+gy。字形15或者字形組16的顏色也可以改變。在圖8中呈現(xiàn)了一個(gè)例子。 依照一個(gè)實(shí)施例，可以使控制信息15、 16的表達(dá)適應(yīng)照相機(jī)52的檢測特 征(代碼單元32.12)。可以通過例如把照相傳感器52的某些基本信號顏 色用作字形15的顏色，來改進(jìn)識別字形組16.x的能力。通過已知的RGB 傳感器(Bayer)，字形15的顏色可以是，例如紅色、綠色或者藍(lán)色。通 過使用單個(gè)顏色，可以容易地在屏幕表面13上識別字形組16.1、 16.2，并 且可以進(jìn)一步確定預(yù)期的位置。紅色字形組16是一個(gè)例子，并且它們相對 白色屏幕13的背景而被呈現(xiàn)。本發(fā)明提供了 一種裝置，該裝置在可視交互顯示器12，上提供將被可視 地呈現(xiàn)并且位于數(shù)據(jù)網(wǎng)格16.1、 16.2之上的應(yīng)用特定數(shù)據(jù)?？刂坪?或設(shè)置 信息15、 16、 17的表達(dá)方式，以及在屏幕表面13上呈現(xiàn)的信息INFO的 表達(dá)方式和/或屏幕表面13的背景還可以相互比較(代碼單元32.13)。在 它們之間的差異(例如關(guān)于顏色)并不滿足標(biāo)準(zhǔn)設(shè)置的情況下，可以改變 控制和/或設(shè)置信息15、 16的表達(dá)，也就是在這種情況下的顏色，從而獲 得差異。當(dāng)然，還可以改變呈現(xiàn)在表面13上的信息INFO的顏色和/或呈 現(xiàn)軟件34的桌面的背景顏色。例如當(dāng)已經(jīng)利用紅色來呈現(xiàn)字形15、 17時(shí)，可能發(fā)生這種情況。如果 參會者使用紅色在呈現(xiàn)表面13上進(jìn)行注釋，則紅色字形l5、 17將不必從 屏幕表面13上所示的實(shí)際呈現(xiàn)信息INFO中突出出來。因此，注意到在控 制和/或設(shè)置信息15、 16、 17的顏色以及將被呈現(xiàn)的信息INFO的顏色之 間的相似性，并且調(diào)整控制和/或設(shè)置信息15, 16, 17的顏色，從而使得 可以更好地從所呈現(xiàn)的信息INFO中區(qū)分出它們。該調(diào)整過程可以由服務(wù) 器11自動(dòng)執(zhí)行。參考圖7，還可以同時(shí)調(diào)整字形15的幾種顏色。在該方式中，可以增 加字形15的數(shù)據(jù)密度。例如，密度可以增加到每個(gè)字形15中8個(gè)比特， 而不是使用每個(gè)字形15中2個(gè)比特的密度一一其中以上所呈現(xiàn)的每個(gè)字形 組16.1、 16.2具有8個(gè)比特。除了增加顏色外，還可以通過使用不同形狀 的字形來增加數(shù)據(jù)密度。通過使用例如5種顏色以及4種不同形狀，可選 替代的數(shù)量是20*4。因此可以獲得每個(gè)字形6個(gè)比特的數(shù)據(jù)密度。在圖7 的底部顯示了對應(yīng)于每個(gè)虛線的RGB值。圖8顯示了與字形15的表勤目關(guān)的又一實(shí)施例。在左邊呈現(xiàn)沒有字形 的信息表面，并且在右邊呈現(xiàn)具有與連接設(shè)置字形17相關(guān)的字形。在此， 為了降低千擾也可以使用多種顏色，例如采用隱寫方式。因此可以為數(shù)據(jù) 編碼預(yù)留特定顏色。因此，用于lt據(jù)編碼的顏色可以取決于例如屏幕部分 12，的背景顏色。可以提出一個(gè)例子，在絳紅呈現(xiàn)背景BG上的用于字形l5 的紅色。這種類型的顏色組合可以被照相電話IO清楚地讀取，盡管人眼不 可能區(qū)分。因此，呈現(xiàn)在屏幕表面13上的字形15.1并不很干擾將被呈現(xiàn) 在表面13上的實(shí)際信息INFO。在圖8的底部顯示了對應(yīng)于每個(gè)虛線(的 RGB值。通常，如果在屏幕13上用戶可視的內(nèi)容INFO中具有一個(gè)或多個(gè)照相 傳感器52的信號顏色特征，則可以對內(nèi)容INFO的顏色進(jìn)行某些較小的調(diào) 整。即使內(nèi)容INFO的顏色中的較小改變也足夠產(chǎn)生控制信息l5,該控制 信息是人眼不能區(qū)分的或者是人眼從內(nèi)容INFO/背景中最低程度地可視 的，但是照相傳感器52可以區(qū)分該控制信息。在白色屏幕背景上使用黃色 的字形組可以作為另一個(gè)例子(例如，在LCD顯示器的情況下)。除了信息INFO的呈現(xiàn)和編輯外，本發(fā)明還使得可以在服務(wù)器11和移 動(dòng)裝置10之間傳輸信息INFO、 FILE。使用控制裝置IO，可以通過數(shù)據(jù) 傳輸模塊22向信息設(shè)備11發(fā)送打算顯現(xiàn)或者發(fā)布的信息FILE 18。另一
方面，控制裝置10還可以用于從信息設(shè)備11接收信息FILE 18，該信息 被設(shè)置用于由此顯示和/或發(fā)布。與在屏幕表面13上顯現(xiàn)的信息INFO的控制、創(chuàng)建和編輯相似，通過 兩個(gè)裝置10、 11中數(shù)據(jù)傳輸單元22、 24以及連接設(shè)置17，可以進(jìn)行發(fā)射和 接收動(dòng)作，依照本發(fā)明，連接設(shè)置17，還可以從信息表面13上所呈現(xiàn)的連 接設(shè)置信息17中確定。為此，例如洽談中的參與者將立即以電子形式獲得 在會漢呈現(xiàn)的或在4S義期間形成的信息。由于本發(fā)明，不再需要例如通過 郵件事后傳遞信息，眾所周知，事后傳遞的方式容易忘記。代替或者除了 裝置10、 10.1、 10.2從服務(wù)器11接收的應(yīng)用特定數(shù)據(jù)外，在可視交互顯示 器12，上呈現(xiàn)的信息INFO也可以為其它移動(dòng)設(shè)備的顯示器VF所用。在這 種情況下，該信息可以被存儲為移動(dòng)電話所拍攝的圖像。還可以本地存儲 信息以供將來參考。圖2和3顯示了依照本發(fā)明的程序產(chǎn)品30.1， 30.2的某些應(yīng)用例子的 粗略示意圖。依照本發(fā)明用于控制信息設(shè)備ll的程序產(chǎn)品30.1、 30.2可以 由存儲器MEM1、MEM2形成并且由程序代碼31、32形成,存儲器MEM1、 MEM2可以結(jié)合控制裝置10和服務(wù)器11被安裝，程序代碼31、 32可以 被處理器51、 CPU2執(zhí)行并且被寫入存儲器MEM1、 MEM2中。用于程 序代碼31、 32的存儲裝置MEM1、 MEM2可以是，例如，可以安裝在便 攜i殳備中的存儲卡、可以結(jié)合PC環(huán)境安裝的CD介質(zhì)、或者是裝置IO、 11的靜態(tài)或者動(dòng)態(tài)應(yīng)用存儲器，應(yīng)用存儲器可以被直接地集成在或安裝在 該裝置中。在服務(wù)器11的情況下，程序產(chǎn)品還可以集成在呈現(xiàn)軟件34中。配置在依照本發(fā)明的裝置10和裝置11中的程序代碼31， 32，可以包 含多個(gè)代碼單元31.1-31.7， 32.1-32.13，代碼單元可以被處理器51、 CPU2 執(zhí)行。它們的功能可以適合于以上結(jié)合其參考標(biāo)號所介紹的應(yīng)用程序說明。 代碼單元31.1-31.7， 32.1-32.13可以由一組處理器命令形成，該處理器命 令可以被逐個(gè)執(zhí)行，并且可以用于導(dǎo)致本發(fā)明中依照本發(fā)明的裝置IO、 11 的預(yù)期功能。信息設(shè)備復(fù)合體或者信息裝置組合體ll、 12的功能，通?？梢圆粌H,皮 一個(gè)用戶還可以被幾個(gè)用戶控制。由于每一參會者都可以利用其自己的移動(dòng)i殳備10、 10.1、 10.2，甚至從自身位置，參與控制信息裝置組合體ll、 12,這允許非常有效率的*。此外，呈現(xiàn)系統(tǒng)ll、 12可以容易地從^i義 場所移動(dòng)到其它^i義場所，并且還可以快速建立。該系統(tǒng)不需要專門的校 準(zhǔn)動(dòng)作，而是可以在其啟動(dòng)后立即被使用。這種方案允許各種交互方法(指 向和點(diǎn)擊等)。即使電話10沒有分立的指向裝置，例如指示筆(筆)或者 鼠標(biāo)，也進(jìn)行指向。電話IO自身的用戶接口 Ul可以用作信息輸入裝置。對桌面的各種指向是本發(fā)明允許的動(dòng)作的例子。在信息表面13上呈現(xiàn) 的鼠標(biāo)指針21或者信息INFO可以被隨心所欲地傳輸或編輯。令人吃驚的， 本發(fā)明還允許三維信息控制。例如，可以在信息表面13上改變信息INFO 的大小。例如如果期望改變信息表面13上所顯示的圖像18的尺寸，則控 制裝置10因此可以更加靠近信息表面13 (減小)或者更加遠(yuǎn)離信息表面 13(增大)。甚至可以移動(dòng)信息18并且同時(shí)改變其尺寸。這可以如前所迷 通過應(yīng)用變量比例來實(shí)現(xiàn)。本發(fā)明還允許，例如通過藍(lán)牙連接BT，從公共屏幕13下載或向公共 屏幕13上傳文件FILE。因此，移動(dòng)設(shè)備10的用戶可以從設(shè)備10的存儲 器MEM向J3良務(wù)器11上傳文件FILE (Concert_video.3gp )，在這種情況 下將在屏幕表面13上呈現(xiàn)文件FILE的下載圖標(biāo)。其它移動(dòng)設(shè)備10.1、10.2 的用戶可以M儲在有關(guān)服務(wù)器11的數(shù)據(jù)存儲器MEM，中的視頻文件 FILE下載到它們自身的裝置10.1， 10.2。還可以對圖像18 (Concert.jpg) 實(shí)行相應(yīng)的過程。圖像18可以如此或者作為相應(yīng)的文件引用被呈現(xiàn)在表面 13上。這種方案還可以用于向屏幕13發(fā)送文本單元，并且還通常用于書寫文 本20。除了編輯現(xiàn)有信息INFO外，用戶還可以繪制出或者徒手畫出預(yù)定 的形狀(例如，單元之間的箭頭，矩形，圓等)， 一般這產(chǎn)生新信息19。 一般來講，至少如在傳統(tǒng)虛擬呈現(xiàn)環(huán)境中那樣的相應(yīng)動(dòng)作是可能的。并且 還避免本發(fā)明與基于接觸的傳統(tǒng)白板并行使用。這意味著概念"表面13" 不應(yīng)僅僅被理解為例如信息被投影于其上的表面的二維平面，還應(yīng)被理解 為其上呈現(xiàn)信息的電子結(jié)構(gòu)(例如LCD顯示器)。如之前所述，還可以考慮照相裝置10的旋轉(zhuǎn)和傾斜。這可以從標(biāo)簽 16.1， 16.2的取向中并且利用對標(biāo)簽的特定類型"編碼"來推出。處于如之前所述的基^向的4個(gè)L形字形的基本組16.1， 16.2將編 碼網(wǎng)格ID(O)。如果用戶把照相機(jī)52旋轉(zhuǎn)卯、180和270度，則他將獲 得相同字形組的其它ID (分別在十進(jìn)的85, 170和255)。依照一個(gè)實(shí)施 例，可能使用編碼，通過使用編碼可以確定照相裝置10、 10.1-10.2的取向。對此進(jìn)行處理的一種方式是對4個(gè)網(wǎng)格的組僅僅編碼值0-63 (通過仔 細(xì)選擇的方式，從而使得沒有一個(gè)編碼是另一個(gè)的旋轉(zhuǎn)例如根據(jù)上面的 情況，如果使用ID(O),則不可能使用ID85， 170和255——如同當(dāng)前 編碼中所做的這將使用限定為使用0-63，(但是這將導(dǎo)致L中的一個(gè)位于 固定位置)。其它方式將使用4個(gè)字形的當(dāng)前組，并且為了能檢測旋轉(zhuǎn)而 ;改置一個(gè)外部標(biāo)記(例如，第五字形或者單個(gè)方形之類)。 一個(gè)例子可以 是字形組L L L或者另一例子OL L在該替代方案中，O可以是L大小的紅色填充方形或者寬度和高度是 L的寬度的1/2的方形)。后一替代方案可以看上去如下，當(dāng)然，點(diǎn)位置 還可以不同或者(對于值0-63)O L或者(對于值0-63)
上述兩種方式都將允許檢測照相電話裝置IO、 10.1-10.2的"基本"取 向(旋轉(zhuǎn)O,卯，180和270度)。此外，還可能需要處理"兩者之間"的 取向，例如從而使得可以具有110度旋轉(zhuǎn)的圖像并且可以將其解釋為旋轉(zhuǎn) 卯+20度的圖像并且分別進(jìn)行計(jì)算。盡管已經(jīng)作為一個(gè)應(yīng)用對本發(fā)明進(jìn)行了一定程度的描述，其中從圖像 信息50中確定的數(shù)據(jù)xl、 yl并且相關(guān)的控制信息15、 16被發(fā)送到服務(wù)器 11，但還可以把圖像數(shù)據(jù)50全部發(fā)送到服務(wù)器11。因此，與目標(biāo)位置21 相關(guān)的所有確定都在服務(wù)器11上執(zhí)行，而控制裝置10僅僅被用于執(zhí)行圖 像信息50的拍攝。特別地，還可以在控制裝置10中執(zhí)行所有位置確定和與其相關(guān)的計(jì) 算。在這種情況下，控制裝置10可以向服務(wù)器11或者甚至直接向數(shù)據(jù)投 影儀或者播放裝置12僅僅發(fā)送最后的屏幕坐標(biāo)y和x、變量比例的值，以 及指示將被執(zhí)行的動(dòng)作的編碼，或者僅僅是控制命令，從而控制直接控制 數(shù)據(jù)投影儀或者顯示裝置12。在這種情況下，服務(wù)器11可以向控制裝置 10發(fā)送進(jìn)行確定所需的數(shù)據(jù)。也因此，通常，陣列(GENERATED /VISIBLE)的比粉計(jì)算可以發(fā)生在不同位置1)已經(jīng)生成所產(chǎn)生的數(shù)據(jù) 矩陣的陣列的計(jì)算裝置ll， 2)附連到照相機(jī)52的計(jì)算裝置51， 3)在某 些i殳置中，l+2可以是相同的計(jì)算裝置，例如可以是移動(dòng)電話IO.I。在第一種可能的情況中，服務(wù)器u清楚每個(gè)控制信息的位置，客戶10進(jìn)行計(jì)算并向服務(wù)器11發(fā)送低帶寬數(shù)據(jù)以執(zhí)行全部計(jì)算。在第二種可 能的情況中，控制信息的位置被發(fā)送到客戶10 (數(shù)據(jù)庫23)，從而客戶 IO可以計(jì)算實(shí)際的指向位置。在第三實(shí)施例中，客戶10和服務(wù)器11位于 相同的裝置10中。在這種情況下，客戶10自身控制指向。依照本發(fā)明的方法和裝置10適用于例如具有至少兩個(gè)參與者的團(tuán)體 事件。這種情況的一些例子是談判事件、想法產(chǎn)生事件和自由討論事件。 本發(fā)明還可以用于在大眾事件中有效地發(fā)布信息，例如展覽會。
因此，例如，在展覽會的入口大廳中，可以有依照本發(fā)明的服務(wù)器ll、呈現(xiàn)裝置12和信息表面13。由此，信息表面13可以用于呈現(xiàn)例如依照本 發(fā)明的控制和設(shè)置信息，以及例如與具有設(shè)定形式的格式的內(nèi)容有關(guān)的文 件下載圖標(biāo)(引用)?？梢栽谘b置10中下載的文件可以包含，例如，有關(guān) 展覽會的細(xì)節(jié)(例如，時(shí)間表和展出者的信息)。當(dāng)進(jìn)入時(shí)，展覽會參觀者可以依照本發(fā)明的方式與服務(wù)器11建立M 并且選擇向其便攜裝置10下載相關(guān)的文件，便攜裝置10具有照相機(jī)52。 通過這種方式，本發(fā)明允許向多個(gè)人有效地發(fā)布信息，而不需要涉及任何 信息呈現(xiàn)或者產(chǎn)生。該信息在裝置10中是電子形式的便于展覽會的訪問者 觀看。依照又一實(shí)施例，控制裝置IO和信息設(shè)備可以是相同的統(tǒng)一設(shè)備，并 且僅僅具有外部顯示器。甚至使用現(xiàn)有硬件也可行的真實(shí)案例可以是，例 如運(yùn)行在諾基亞9500通信者或者相應(yīng)"智能裝置"上的具有兩個(gè)功能(照 相部分和字形產(chǎn)生部分)的軟件。該裝置可以通過藍(lán)牙或者WLAN直接 連接(連接的模塊)到數(shù)據(jù)投影儀12。在"智能投影儀，，的實(shí)施例中，編碼位置元素的產(chǎn)生功能以及編碼位 置元素的隱藏功能,皮嵌入一個(gè)顯示裝置(可能嵌入到先前已知的位置)。用作服務(wù)器的單個(gè)控制裝置10還可以作為鼠標(biāo)的替代被連接到智能 投影儀，同時(shí)不需要在PC上安裝任何軟件。智能投影儀可以連接到PC(沒 有"服務(wù)器，，功能)。相同的類推可以應(yīng)用到作為到PC的鼠標(biāo)而連接的、 某些當(dāng)前投影儀遠(yuǎn)程控制的"虛擬"鼠標(biāo)連接。圖10呈現(xiàn)了具有多個(gè)照相機(jī)的控制裝置被應(yīng)用在準(zhǔn)確的3D定位中的 實(shí)施例。這是通過投影在或者印刷在表面41上或者繪制到顯示器或者屏幕 13的數(shù)據(jù)才莫式的幫助而執(zhí)行的。該實(shí)施例可以用于，例如檢測手持品的運(yùn) 動(dòng)(例如，在3D空間中移動(dòng)虛擬品)或者檢測頭部運(yùn)動(dòng)。在該實(shí)施例中使用多個(gè)照相機(jī)52和固定點(diǎn)來確定準(zhǔn)確的位置，例如， 所指向的位置以及控制裝置10.3-10.8相對于表面的取向，或者更一般的說， 相對于至少一個(gè)參考點(diǎn)的取向。因此，除了所指向的位置21外，還可以基
于由控制信息15、 16確定的所接收圖像信息50的原點(diǎn)，來確定控制裝置 10， 10.1-10.8的取向。照相機(jī)52被安裝在手持或者頭盔裝置10.3-10.8上。照相裝置10.3-10.8 可以例如與具有顯示器13、 13，的系統(tǒng)10.6無線地通信。通過這些方式， 照相裝置可以用于操縱和操作3D環(huán)境。上述裝置10.3-10.8還可以用于， 例如檢測并發(fā)射虛擬會議中的運(yùn)動(dòng)。第一實(shí)施例僅僅需要裝配有編碼位置信息14的單個(gè)平面。照相機(jī)52 中的一個(gè)一直指向具有坐標(biāo)數(shù)據(jù)16.1的平面。這取決于照相機(jī)鏡頭的屬性。 如果用戶靠近平面13、 41從而使得顯示角度足夠小，則^J^發(fā)現(xiàn)坐標(biāo)數(shù)據(jù)。 可以應(yīng)用變焦來解決與此相關(guān)的問題。圖11顯示了應(yīng)用在該實(shí)施例中的控制裝置10.3的一個(gè)例子?，F(xiàn)在裝 置10.3具有6個(gè)照相機(jī)52。裝置10.3僅僅需要一個(gè)"加標(biāo)簽"的墻從而 執(zhí)行依照所述實(shí)施例的3D-指向。被力口標(biāo)簽的表面13、 41可以具有不同的 形式，例如，其可以是桌子表面、印好的T恤41 (例如移動(dòng)3D游戲的思 想)或者投影墻13.1-13.3 (圖15)。因此所接收的圖傳_信息50的原點(diǎn)可 以是4言息表面13的外部。在裝置10.3中，在裝置10的上端的5個(gè)側(cè)面都有照相機(jī)52。例如， 這一端可以具有立方體形狀。 一側(cè)被固定把手42。其它側(cè)包括照相機(jī)52。 把手42可以具有按鈕等(沒有呈現(xiàn))。而且，在具有5個(gè)照相機(jī)的上端的 相反的對端具有一個(gè)照相機(jī)52。該實(shí)施例每次使用至少一個(gè)照相機(jī)52。在上面描述的方法還可以部分 地應(yīng)用到連接中。然而，這或多或少地假i殳照相機(jī)52稍孩i指向背景13、 13.1-13.3，并且因此需要多一些照相機(jī)。下面呈現(xiàn)用于尋找控制裝置 10.3-10.8的位置和取向的3D指向?qū)崿F(xiàn)的偽碼描述。循環(huán)執(zhí)行IF當(dāng)前照相機(jī)發(fā)現(xiàn)數(shù)據(jù)矩陣，THEN1.計(jì)算當(dāng)前current—camera的位置和取向，
2. 考慮current—camera的定位和取向，并得到控制裝置的3D 位置(x, y， z)和3D方向(a， P， y )作為結(jié)果ELSE3. 尋找發(fā)現(xiàn)數(shù)據(jù)矩陣的照相機(jī)并繼續(xù)END IF在步驟1中，相對于背景坐標(biāo)系統(tǒng)，又名世界坐標(biāo)系統(tǒng)(World coordiante system)，計(jì)算照相才幾的位置和取向。步驟2的實(shí)現(xiàn)方式對于 本領(lǐng)域技術(shù)人員是微不足道的，并且其基本上涉及從照相機(jī)的坐標(biāo)和方向 到控制裝置的坐標(biāo)(x, y, z)和方向(oc， P, y )的變換(移動(dòng))和旋 轉(zhuǎn)。而且，步驟3也是孩i不足道的并且不再對其進(jìn)行詳細(xì)描述。下面描述實(shí)現(xiàn)步驟1和2的應(yīng)用例子，世界坐標(biāo)系統(tǒng)可以如下定義。 假設(shè)坐標(biāo)系統(tǒng)的原點(diǎn)(0， 0， 0)是在表面13、 13.1上具有參考點(diǎn)(字形) 16.1、 16.2的平面13、 13.1的中間點(diǎn)，并且Z軸位于表面的正表面(即， 觀察者的方向)。因此表面13、 13.1是(x， y， 0)，其中x和y是變量。算法的輸入是具有位置和取向已知的參考元素16.1、 16.2的照相圖1象 50，所有這些參考元素位于平面13、 13.1上。算法的輸出是控制裝置相對 于原點(diǎn)的坐標(biāo)(x， y， z)以及取向(oc， P， y )。位置(x, y， z)和 取向(oc, P ， y )是足夠的。為此，可以應(yīng)用例如反向透視變換(關(guān)于上述步驟1)。用于反向透 視轉(zhuǎn)換的一種可能的方法是，例如，單應(yīng)性變換。單應(yīng)性意味著兩個(gè)圖形 之間的關(guān)系，也就是一個(gè)圖形中的任何點(diǎn)與另 一圖形中的一個(gè)且僅一個(gè)點(diǎn) 相對應(yīng)，反之亦然。姿勢估計(jì)可以是計(jì)算控制裝置相對于表面13、 13.1的位置的一種可能 過程。這給出了表示在真實(shí)世界坐標(biāo)Xi和圖像坐標(biāo)Xi之間的映射的3x4 單應(yīng)性矩陣。關(guān)系可以寫為Xi-入PXi 其中Xj和Xi具有單應(yīng)性形式。一旦發(fā)現(xiàn)矩陣P，則矩陣P可以用于尋找照相機(jī)的位置和照相機(jī)的取 向。根據(jù)一對點(diǎn)，可以找到照相機(jī)在上述世界坐標(biāo)系統(tǒng)中的方向向量(=
照相圖^_的向上、向左、和向外)。步驟2是關(guān)于把current_camera的方向向量和位置映射到控制裝置的 方向向量和位置。假設(shè)對于控制裝置，原點(diǎn)和方向;li義定的(從控制裝置 的角度知道哪里是"上"、"右"、"向外，，)。從照相機(jī)位置+取向到 裝置位置+取向的轉(zhuǎn)換是微不足道的，基本上僅僅是已知角度的轉(zhuǎn)換(= 移動(dòng))和旋轉(zhuǎn)，并且這些伴隨著簡單的矩陣乘法。在圖13a-14b中呈現(xiàn)某些替代控制裝置10.5-10.8。在圖13a、 13b中， 照相機(jī)52被配置到頭戴式定位裝置10.6。照相機(jī)52可以;故包括在(或附 連到)圖13c中呈現(xiàn)的頭戴式顯示裝置10.5中。通常，如果照相機(jī)可以"看 到"參考點(diǎn)，則可以通過〗吏用附連到一個(gè)人的頭頂?shù)囊粋€(gè)或多個(gè)照相機(jī)52 來追蹤頭部的運(yùn)動(dòng)。顯示器13'可以基于現(xiàn)有的頭戴式顯示技術(shù)。還可以 有其它位于背面用于自由旋轉(zhuǎn)的附加照相機(jī)52 (如圖13b中所示)。如果 照相機(jī)52僅僅位于前面，則旋轉(zhuǎn)并不自由。頭戴式裝置10.6的一個(gè)例子 可以是3D眼鏡的現(xiàn)有形式或者是太陽鏡的形式。另一個(gè)例子是呈現(xiàn)在圖16中的照相機(jī)手套40。通常，除了頭戴式和 手持式以外，還可以是任何可以穿的衣服。而且，僅僅具有兩個(gè)照相機(jī)52 的裝置也是可能的。例如，具有兩個(gè)照相機(jī)的照相手機(jī)也是該實(shí)施例的一 種可能的裝置。頭戴式的、獨(dú)立的顯示器也是可能的。其可以具有將纟皮附連到額頭的 帶子/皮帶的形狀。這種裝置可以是，例如用于夜間定向的前額燈。外部照 相機(jī)52還可以被附連到眼鏡的某部分，而非分立的帶子。在圖15中呈現(xiàn)了手持裝置10.3，的又一個(gè)例子?，F(xiàn)在其配備有至少兩 個(gè)照相機(jī)。其可以形成為另一端上具有照相機(jī)的把手。使用兩個(gè)照相機(jī)， 可以檢測3墻空間13.1-13.3 (地面或者天花板+ 2個(gè)墻)的前方的自由運(yùn) 動(dòng)一一任何一個(gè)照相;lJL將一直指向具有編碼數(shù)據(jù)的墻。僅^吏用兩個(gè)墻13.1、 13.2，可以以有限的旋轉(zhuǎn)可能性進(jìn)行工作。該實(shí)施例對于具有兩個(gè)照相機(jī) 的照相電話也是可行的。圖15呈現(xiàn)了對于兩個(gè)照相機(jī)裝置10.3的^f吏用i殳置的例子。存在兩個(gè)
投影墻13.1、 13.2，或者其它較大的顯示器，或者具有關(guān)于編碼位置信息 15、 16.1、 16.2的標(biāo)簽的墻。用戶處于空間43中并且具有手持裝置10.3，， 在空間43中的自由旋轉(zhuǎn)由用戶掌握。如果應(yīng)用并不需要絕對自由的移動(dòng)， 則可以不考慮某些表面，例如地面13.3。在6個(gè)照相機(jī)裝置的情況下，可 以只有一個(gè)墻13.1被配置有控制信息16.1、 16.2。圖16中呈現(xiàn)了手套實(shí)施例。與手持裝置不同，照相機(jī)可以安裝于手套 40上。照相機(jī)52的位置可以是，例如， 一個(gè)位于手套的兩個(gè)側(cè)面，以及 一個(gè)在例如進(jìn)行指向的手指上。通過圖10-16所呈現(xiàn)的實(shí)施例可以獲得多個(gè)優(yōu)點(diǎn)。其使得能夠進(jìn)行真 實(shí)空間中的準(zhǔn)確的3維定位。通過使用例如依照現(xiàn)有技術(shù)的移動(dòng)傳感器， 定位并不準(zhǔn)確。通過在手里持有裝置10.3、 10.3，、 10.4，可以容易地估算 運(yùn)動(dòng)。手持裝置可以被造得較輕。解決方案也比較簡單。僅僅需要一定數(shù) 量的照相機(jī)以及貼于墻13.1-13.3上的一對標(biāo)簽或者印好的紙單(或者印好 的T恤41)。手持裝置可以與頭戴式顯示器、大屏幕等一起使用。代替需 要有數(shù)據(jù)標(biāo)簽的表面，還可以識別作為固定點(diǎn)的利用角檢測的對象。因此， 除非必要并不需要特別地對表面13.1-13.3加標(biāo)簽。對于頭戴式3D定位，可以容易地發(fā)現(xiàn)幾個(gè)應(yīng)用。某些應(yīng)用，例如是 CAD/52、 3D游戲和虛擬會議。在這些應(yīng)用中，頭戴式裝置可以檢測用戶 的頭部運(yùn)動(dòng)。這些檢測的運(yùn)動(dòng)可以被顯示給會漢的其它參與者。實(shí)施例還 可以用作"看我看到的，，3D系統(tǒng)。通常，可以通過4吏用身體的運(yùn)動(dòng)來談?wù)?指向。此外，已經(jīng)在上述不同關(guān)系中呈現(xiàn)的數(shù)據(jù)(xl， yl, hei， wid， gx， gy)工作在基本的2D情況中，但是在3D版本中，可以通過使用字形組 16.1， 16.2 (或者更多字形組)的角點(diǎn)來計(jì)算映射。因此，與xl， yl, wid, hei (表示非旋轉(zhuǎn)的矩形)不同，可以應(yīng)用例如4個(gè)不同參考點(diǎn)的XY坐標(biāo) 字形組16.1的左上TL,右上TR,左下BL，右下BR (加上gx， gy )。 根據(jù)這些"伸展"的字形角點(diǎn)，可以確定控制裝置10的旋轉(zhuǎn)角。圖17呈現(xiàn)了關(guān)于控制裝置10的取向相對于3個(gè)旋轉(zhuǎn)軸(X, Y， Z)
旋轉(zhuǎn)的一個(gè)例子。對于3D的情況，控制信息項(xiàng)目16.1、 16.2在照相圖像 50中并不是矩形。通常，對于3D取向和位置，例如，需要多個(gè)控制信息 中的至少6個(gè)參考點(diǎn)。該信息可以用于計(jì)算裝置10、 10.1-10.8相對于參考表面13， 41或者 可以展現(xiàn)的其它相應(yīng)參考目標(biāo)的取向和位置。應(yīng)當(dāng)明白，上述說明和相關(guān)的圖形僅僅用于對本發(fā)明進(jìn)行舉例說明。 因此，本發(fā)明決僅局限于上述或者權(quán)利要求中限定的實(shí)施例，而是對于本 領(lǐng)域?qū)I(yè)人員來說，在所附的權(quán)利要求限定的發(fā)明思想的范圍內(nèi)可能的本發(fā)明的多種不同變形和修改是顯而易見的。參考文獻(xiàn) 〔1〕http:〃www.cl.cam.ac.uk/Research/SRG/netos/uid/spotcode.html (至少 2005年6月27日可獲得)
權(quán)利要求
1.一種對于信息顯示器(13，13’)的控制裝置(10，10.1-10.8)，包括-視頻傳感器(52)，用于接收圖像信息(50)，-處理器(51)，用于確定所述圖像信息(50)內(nèi)的控制信息(15，16)，其中在所述控制裝置(10，10.1-10.8)和所述信息顯示器(13，13’)之間的后續(xù)數(shù)據(jù)傳10取決于由所述控制信息(15，16)確定的所接收圖像信息(50)的原點(diǎn)。
2. 依照權(quán)利要求l的控制裝置(10， 10.1-10.8),其特征在 于，在所述控制裝置(10， 10.1-10.8)和所述信息顯示器(13， 13，)之間的所述后續(xù)數(shù)據(jù)傳輸包括從所述信息顯示器(13, 13，) 到所述控制裝置(10, 10.1-10.8)的數(shù)據(jù)傳輸。
3. 依照權(quán)利要求1或2的控制裝置(10， 10.1-10.8)，其特 征在于，在所述控制裝置(10, 10.1-10.8)和所述信息顯示器(l3， 13，)之間的后續(xù)數(shù)據(jù)傳輸包括從所述控制裝置(10， 10.1-10.8) 到所述信息顯示器(13， 13，)的數(shù)據(jù)傳輸。
4. 依照權(quán)利要求1到3中任意一項(xiàng)的控制裝置(10， 10.1-10.8),其特征在于，在所述控制裝置(IO， 10.1-10.8)和所 述信息顯示器(13, 13，)之間的后續(xù)數(shù)據(jù)傳輸包括涉及所述信息 顯示器(13， 13，)的控制命令的數(shù)據(jù)傳輸。
5. 依照權(quán)利要求1到4中任意一項(xiàng)的控制裝置(10， 10.1-10.8)，其特征在于，所述控制裝置(IO， 10.1-10.8)適用于 從所述控制信息(15， 16)中連續(xù)地確定數(shù)據(jù)(xl, yl, wid， hei， gx， gy),以便確定在所述信息顯示器(13， 13，)上的位置(21) 的連續(xù)流。
6. 依照權(quán)利要求1到5中任意一項(xiàng)的控制裝置(10, 10.1-10.8)，其特征在于，所述處理器(51)適用于從所述圖像 信息(50)中識別設(shè)置信息(17)，其中將從所述設(shè)置信息(17) 中形成所述信息顯示器(13， 13，)的連接設(shè)置數(shù)據(jù)(17，)以用于 在所述控制裝置(10， 10.1-10.8)和所述信息顯示器(13， 13，) 之間的所述數(shù)據(jù)傳輸。
7. 依照權(quán)利要求5的控制裝置(10， 10.1-10.8)，其特征在 于，所述控制裝置(10， 10.1-10.8)的特定運(yùn)動(dòng)被配置為用作與 所述信息顯示器(13， 13，)的交互方法，其中從位置(21)的 連續(xù)流中確定所述特定運(yùn)動(dòng)。
8. 依照權(quán)利要求1到7中任意一項(xiàng)的控制裝置(10， 10.1-10.8)，其特征在于，除了所接收圖像信息(50)的原點(diǎn)外， 在所述控制裝置(10， 10.1-10.8)和所述信息顯示器(13， 13，) 之間的后續(xù)數(shù)據(jù)傳輸取決于從所接收圖像信息(50)的控制信息(15， 16)中確定的所述控制裝置(10, 10.1-10.8)的取向。
9. 依照權(quán)利要求1到8中任意一項(xiàng)的控制裝置(10, 10.1-10.8)，其特征在于，所述控制裝置(10， 10.1-10.8)包括至 少兩個(gè)或兩個(gè)以上的視頻傳感器(52)，所述至少兩個(gè)或兩個(gè)以 上的視頻傳感器(52)以這樣的方式被配置到所述控制裝置(10， 10.1-10.8),從而使得無論所述控制裝置(10， 10.1-10.8)的姿勢 如何，至少一個(gè)視頻傳感器(52)所接收的圖像信息(50)包括 控制信息(15, 16)。
10. —種便攜計(jì)算機(jī)(10， 10.1-10.8)，包括依照權(quán)利要求1 到9中任意一項(xiàng)的控制裝置。
11. 一種便攜傳輸裝置(10， 10.1-10.8)，包括依照權(quán)利要求 1到9中任意一項(xiàng)的控制裝置。
12. —種信息顯示系統(tǒng)，包括-信息裝置組合體(ll， 12, 10.5)，包括至少一個(gè)信息顯示 器(13， 13，)以及 -對于所述信息裝置組合體(11, 12， 10.5)的至少一個(gè)控制 裝置(10， 10.1-10.8)，包括用于接收圖像信息(50)的視頻傳 感器(52)以及用于確定所述圖像信息(50)中的控制信息(15， 16)的處理器(51 )，其中在所述控制裝置(10, 10.1-10.8)和所述信息裝置組合體 (10-13, 10.5)之間的后續(xù)數(shù)據(jù)傳輸取決于由所述控制信息(15， 16)確定的所接收圖像信息(50)的原點(diǎn)。
13. 依照權(quán)利要求12的信息顯示系統(tǒng)，其特征在于，在所述 系統(tǒng)中，從所述控制信息(15, 16)中連續(xù)地確定數(shù)據(jù)(xl, yl， wid， hei， gx， gy)，以便確定在所述信息顯示器(13， 13，) 上的位置(21)的連續(xù)流。
14. 依照權(quán)利要求12或13的信息顯示系統(tǒng)，其特征在于，在 所述控制裝置(10， 10.1-10.8)和所述信息顯示器(13， 13，) 之間的后續(xù)數(shù)據(jù)傳輸取決于從所接收圖像信息(50)中確定的所 述控制裝置(10， 10.1-10.8)相對于所述控制信息(15， 16)的 取向。
15. 依照權(quán)利要求12到14中任意一項(xiàng)的信息顯示系統(tǒng)，其特 征在于，所述控制信息(15， 16)由可視編碼控制元素(15)形 成，對所迷可視編碼控制元素的檢測以所述取向?yàn)榛A(chǔ)。
16. 依照權(quán)利要求15的信息顯示系統(tǒng)，其特征在于，所述可 牙見編碼控制元素(15)適用于形成控制元素組(16.1， 16.2)，所 述控制元素組(16.1， 16.2)中的每一個(gè)包括多個(gè)控制元素(15), 并且所述控制元素組(16.1, 16.2),支排列為形成以i殳定方式排列 的控制模式實(shí)體(14)，從所述控制模式實(shí)體中能夠確定所述圖 像信息(50)的取向。
17. 依照權(quán)利要求12到16中任意一項(xiàng)的信息顯示系統(tǒng)，其特 征在于，與所接收圖像信息(50)的原點(diǎn)相關(guān)的所迷數(shù)據(jù)(xl, yl， wid， hei， gx， gy)包括關(guān)于所接收圖像信息(50)中的所 述控制信息(15， 16)的地點(diǎn)(xl, yl)和尺寸(hei， wid)的 信息，其中所述信息(xl, yl， hei， wid)和所述圖像信息(50) 的尺寸(vf—hei，vf一wid )適用于被至少部分地發(fā)送到所述信息裝 置組合體(ll， 10.5)，以便控制所述信息裝置組合體(11， 10.5)。
18. 依照權(quán)利要求12到17中任意一項(xiàng)的信息顯示系統(tǒng)，其特 征在于，與所接收圖像信息(50)的原點(diǎn)相關(guān)的所述數(shù)據(jù)(xl， yl， wid， hei， gx， gy)包括所述控制信息(15， 16)的參考點(diǎn)(TL， TR， BL， BR)的信息，通過使用所述參考點(diǎn)的信息將確 定所述控制裝置(10， 10.1-10.8)相對于為其設(shè)定的參考取向的 的取向。
19. 依照權(quán)利要求12到18中任意一項(xiàng)的信息顯示系統(tǒng)，其特 征在于，所接收圖像信息(50 )的所述原點(diǎn)位于所述信息表面(13 ) 的外部。
20. 依照;K利要求12到18中任意一項(xiàng)的信息顯示系統(tǒng)，其特 征在于，所述控制信息(15， 16)以及所迷信息裝置組合體(11, 12)所顯現(xiàn)的信息(INFO)適用于在公共信息表面(13)上的顯 現(xiàn)。
21. 依照權(quán)利要求20的信息顯示系統(tǒng)，其特征在于，所述控 制信息(15, 16)適用于被所述信息裝置組合體(11， 12)結(jié)合到 適用于在所述信息表面(13)上顯現(xiàn)的所述信息(INFO)中。
22. 依照權(quán)利要求20或21的信息顯示系統(tǒng)，其特征在于，所 述控制信息(15， 16)能夠被從所述信息表面(13)弱化。
23. 依照權(quán)利要求20到22中任意一項(xiàng)的信息顯示系統(tǒng)，其特 征在于，所述控制信息(15， 16)適用于通過使用人眼不可視的 波長范圍顯示在所述信息表面(13)上。
24. 依照權(quán)利要求12到23中任意一項(xiàng)的信息顯示系統(tǒng)，其特 征在于，所述控制信息(15， 16)的表達(dá)適用于所述視頻傳感器(52)的檢測特征。
25. 依照權(quán)利要求20到24中任意一項(xiàng)的信息顯示系統(tǒng)，其特 征在于，所述控制和/或設(shè)置信息(15， 16， 17)的表達(dá)適用于與 呈現(xiàn)在所述信息表面(13)上的信息(INFO)的表達(dá)和/或與所述 信息表面(13)的背景的表達(dá)進(jìn)行比較，并且如果它們之間的差 異并不滿足依照所述設(shè)置的標(biāo)準(zhǔn)，則改變預(yù)定的表達(dá)以便引起差 異。
26. —種^皮配置為由控制裝置(10， 10.1-10.8)控制的信息顯 示裝置(13， 13，)，其中所述控制裝置(10， 10.1-10.8)包括用 于接收圖像信息(50)的視頻傳感器(52)和用于確定所述圖像 信息(50)內(nèi)的控制信息(15， 16)的處理器(51)，其特征在 于，通過使用所述控制裝置(10， 10.1-10.8)來控制所迷信息顯 示裝置(13， 13，)，其中所述控制取決于由所述控制信息(15, 16)確定的所接收圖像信息(15， 16)的原點(diǎn)。
27. —種通過控制裝置(10， 10.1-10.8 )來控制信息顯示器(13， 13，)的方法，其中通過所述控制裝置(10， 10.1-10.8)-接收圖像信息(50)，-確定在所述圖像信息(50)中的控制信息(15， 16), 并且其中，在所述控制裝置(IO， 10.1-10.8)和所述信息顯示器(13, 13，)之間的后續(xù)數(shù)據(jù)傳輸取決于由所述控制信息(15，16)確定的所接收圖像信息(50)的原點(diǎn)。
28. 依照權(quán)利要求26的方法，其特征在于，所述控制信息(15， 16)由可纟見編碼控制元素(15)形成，對所迷可視編碼控制元素 的檢測以取向?yàn)榛A(chǔ)。
29. 依照權(quán)利要求28的方法，其特征在于，所述可視編碼控 制元素(15)形成控制元素組(16.1, 16.2)，所述控制元素組(16.1, 16.2)中的每一個(gè)包括多個(gè)控制元素(15),并且所迷控制元素組(16.1， 16.2)形成以設(shè)定方式排列的控制模式實(shí)體(14)，從所 述控制模式實(shí)體能夠確定所述圖像信息(50)的取向。
30. 依照權(quán)利要求27到29中任意一項(xiàng)的方法，其特征在于， 將從所述圖像信息(50)中確定設(shè)置信息(17)，從所述設(shè)置信 息(17)中形成所述信息顯示器(13， 13，)的連接設(shè)置信息(17，)， 以便執(zhí)行在所述控制裝置(10， 10.1-10.8 )和所述信息顯示器(13， 13，)之間的后續(xù)數(shù)據(jù)傳輸。
31. 依照權(quán)利要求27到30中任意一項(xiàng)的方法，其特征在于， 所述控制信息(15, 16)以及由所述信息顯示器(13)呈現(xiàn)的信 息(INFO)被顯現(xiàn)在公共信息顯示器(13)上。
32. 依照權(quán)利要求31的方法，其特征在于，所述控制信息(15， 16)被結(jié)合進(jìn)將由所述信息顯示器(13)顯現(xiàn)的所述信息(INFO) 中。
33. —種用于控制信息顯示器(13， 13，)的程序產(chǎn)品，其中 對所述信息顯示器(13,13，)的控制適于被控制裝置(10,10.1-10.8) 執(zhí)行，由此所述程序產(chǎn)品(30.1)包括能夠結(jié)合所述控制裝置(10， 10.1-10.8)安裝的存儲器(MEM1)，以及程序代碼(31)，所 述程序代碼能夠由所述控制裝置(10, 10.1-10.8)的處理器(51) 執(zhí)行并且被寫入到所述存儲器(MEM1)中，其特征在于，所述 程序代碼(31)適用于接收包括控制信息(15， 16)的圖像信息(50)作為輸入，所述圖像信息(50)是由所迷控制裝置(10) 的至少一個(gè)視頻傳感器(52)形成的，并且所述程序代碼(31) 包括-代碼(31.1， 31.6),其被配置為執(zhí)行在所述控制裝置(10， 10.1-10.8)和所述信息顯示器(13， 13，)之間的后續(xù)數(shù)據(jù)傳輸， 所迷數(shù)據(jù)傳輸取決于由所述控制信息(15， 16)確定的所接收圖 像信息(50)的原點(diǎn)。
全文摘要
本發(fā)明涉及一種對于信息顯示器(13，13’)的控制裝置(10，10.1-10.8)，包括用于接收圖像信息(50)的視頻傳感器(52)，用于確定位于所述圖像信息(50)中的控制信息(15，16)的處理器(51)，其中在所述控制裝置(10，10.1-10.8)與所述信息顯示器(13，13’)之間的后續(xù)數(shù)據(jù)傳輸取決于由控制信息(15，16)確定的所接收圖像信息(50)的原點(diǎn)。此外，系統(tǒng)、方法和程序產(chǎn)品也是本發(fā)明的目標(biāo)。
文檔編號G06F3/0346GK101213507SQ200680024113
公開日2008年7月2日 申請日期2006年6月30日 優(yōu)先權(quán)日2005年6月30日
發(fā)明者K·拉默, P·法爾蒂埃寧, S·錢德 申請人:諾基亞公司