專利名稱：確定顯示面上的位置的方法和交互式顯示系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及與顯示系統(tǒng)交互作用的輸入裝置，更具體地說(shuō)，涉及和這樣的顯示系統(tǒng)一起使用的光筆。
背景技術(shù)：
光筆通常作為輸入裝置與圖形用戶界面一起使用，其簡(jiǎn)要?dú)v史參見(jiàn)Myers的“A Brief History of Human Computer InteractionTechnology”，ACM Interactions，Vol.5，no.2，pp.44-54，March 1998。雖然光筆自1954年就已被使用，不過(guò)正是Ivan Sutherland在LincolnLaboratories的工作普及了光筆與計(jì)算機(jī)的一同應(yīng)用，Sutherland，“SketchpadThe First Interactive Computer Graphics”，Ph.D.Thesis，MIT，1963。
作為一種輸入裝置，光筆具有優(yōu)于鼠標(biāo)的一些優(yōu)點(diǎn)。鼠標(biāo)是一種間接輸入裝置。鼠標(biāo)在水平面上的移動(dòng)導(dǎo)致光標(biāo)在垂直顯示畫面上的移動(dòng)。鼠標(biāo)和光標(biāo)的移動(dòng)量，以及移動(dòng)速度可能不同。相反，光筆的指示是直接的，從而更直觀。
現(xiàn)有技術(shù)中，典型的光筆如下所述與顯示系統(tǒng)一起使用。多數(shù)CRT顯示器是光柵掃描顯示器。顯示器上的各個(gè)像素在預(yù)定時(shí)間被照亮，取決于掃描順序中該像素的位置。通過(guò)檢測(cè)像素何時(shí)被照亮，能夠確定顯示面上該像素的位置。于是，典型的光筆包括與計(jì)時(shí)電路連接的光傳感器。與光柵掃描同步的被感測(cè)像素的計(jì)時(shí)揭示其位置。一般來(lái)說(shuō)，如果不與屏幕接觸，光筆也非常接近于屏幕。
不幸的是，傳統(tǒng)的掃描CRT顯示器正被面向像素的顯示器，比如LCD屏幕，數(shù)字鏡陣列和有機(jī)LED技術(shù)代替。這些基于像素的顯示器不被掃描，從而基于光柵掃描的計(jì)時(shí)的傳統(tǒng)光筆技術(shù)不適用于這些較新的顯示模態(tài)。
于是，需要一種使光筆與基于像素的顯示器面接(interface)的系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明把結(jié)構(gòu)光(structured light)的不可察覺(jué)的圖案(pattern)投射到基于像素的顯示設(shè)備上。所述圖案可以是黑白的，灰度，或者全紅、綠、藍(lán)(RGB)顏色。有色圖案能夠傳遞比二值黑白圖案更多的信息。所述圖案與可察覺(jué)的內(nèi)容交織。
圖案被排列，以便對(duì)位置信息編碼。雖然人類視覺(jué)系統(tǒng)不能察覺(jué)這些圖案，不過(guò)所述圖案可由光傳感器探測(cè)。由于對(duì)于所有像素位置，編碼是唯一的，因此能夠?qū)D案解碼，以確定位置信息。在每個(gè)位置，結(jié)構(gòu)光的圖案可以是空間、時(shí)間或者時(shí)空上唯一的。
在時(shí)間實(shí)施例中，編碼完全在時(shí)域中。隨著時(shí)間的過(guò)去，在每個(gè)像素的光強(qiáng)度的圖案對(duì)位置信息編碼。從而，隨著時(shí)間的過(guò)去，對(duì)在單個(gè)像素的光強(qiáng)度采樣就足以確定該像素的位置。
在空間實(shí)施例中，位置由相鄰區(qū)域的像素上的獨(dú)特強(qiáng)度變化編碼。于是，對(duì)相鄰的像素采樣，以便確定像素位置。該實(shí)施例使用多個(gè)光傳感器。作為優(yōu)于時(shí)間實(shí)施例的一個(gè)優(yōu)點(diǎn)，空間實(shí)現(xiàn)能夠根據(jù)單個(gè)圖案確定位置。
在時(shí)空實(shí)施例中，圖案在空間和時(shí)間上變化。這種技術(shù)可使用與空間實(shí)施例相比更小的鄰域，以及與時(shí)間實(shí)施例相比更少的圖案。從而，成本和速度可被折衷，以便對(duì)于特定應(yīng)用使系統(tǒng)最優(yōu)化。
可以使用許多不同的技術(shù)來(lái)使人類視覺(jué)系統(tǒng)不能察覺(jué)所述圖案。首先，光可以是紅外光(IR)或者在人類視覺(jué)范圍之外的其它頻率的光。在基于數(shù)字鏡的投影儀中，可向這樣的設(shè)備使用的色輪中增加紅外濾光片。
第二種技術(shù)使用均衡掩蔽。在這種實(shí)現(xiàn)中，光在可見(jiàn)光范圍中。但是，隨著時(shí)間的過(guò)去，到所有像素的光的總和是相等的。例如，每個(gè)圖案后面緊接其負(fù)像(reverse)。當(dāng)快速連續(xù)顯示時(shí)，這兩個(gè)圖案形成連續(xù)的灰色調(diào)。如果圖案被顯示相當(dāng)短的時(shí)間，那么唯一可察覺(jué)的后果是對(duì)比度的輕微降低。
結(jié)構(gòu)光圖案可由光傳感器探測(cè)。探測(cè)的圖案被解碼，以確定位置信息。
對(duì)于紅外光的時(shí)間圖案，具有單個(gè)光傳感器的光筆產(chǎn)生足以進(jìn)行位置估計(jì)的信息。對(duì)于空間圖案，使用光傳感器陣列，例如照相機(jī)來(lái)探測(cè)相鄰像素的光強(qiáng)度變化。


圖1是根據(jù)本發(fā)明的顯示器和光筆系統(tǒng)的方框圖；圖2是產(chǎn)生根據(jù)本發(fā)明的覺(jué)察不到的圖案的過(guò)程的流程圖；圖3是對(duì)根據(jù)本發(fā)明的圖案解碼，以獲得位置信息的過(guò)程的流程圖；圖4是根據(jù)本發(fā)明的圖案；圖5是顯示相拼圖案的方框圖；圖6是具有彎曲面的顯示系統(tǒng)的圖。
具體實(shí)施例方式
圖1表示用于基于像素的顯示器的光筆系統(tǒng)100。該系統(tǒng)包括與圖像發(fā)生器120，例如投影儀耦接的圖案和內(nèi)容發(fā)生器110。圖像發(fā)生器在顯示面130上呈現(xiàn)一系列的圖案111。在優(yōu)選實(shí)施例中，顯示面是基于像素的顯示面，而不是光柵掃描顯示面，不過(guò)該系統(tǒng)也可與光柵掃描顯示器一起工作。該系統(tǒng)還包括與位置解碼器150耦接的光筆140。其任務(wù)是確定顯示面130上的任意位置101的2D坐標(biāo)。
圖像發(fā)生器120能夠使用正投或背投模式的LCD屏幕，數(shù)字鏡陣列，硅基液晶(LCOS)和有機(jī)LED技術(shù)。應(yīng)注意本發(fā)明還可和常規(guī)的CRT顯示器一起使用。光筆可使用單個(gè)光傳感器141或者如同照相機(jī)中那樣的傳感器的陣列，例如CCD。光筆可包括壓敏開關(guān)，當(dāng)傳感器被壓在顯示面上時(shí)，壓敏開關(guān)被激活。這可避免假讀取。
在一個(gè)實(shí)施例中，利用紅外(IR)光投射圖案111。這可通過(guò)使光通過(guò)聚光鏡(condensing lens)、安裝在色輪上的紅外顏色過(guò)濾器、修整透鏡到達(dá)數(shù)字鏡器件(DMD)，隨后通過(guò)投影儀透鏡到達(dá)顯示面130來(lái)實(shí)現(xiàn)。這些技術(shù)眾所周知。
通過(guò)順序改變鏡的狀態(tài)，產(chǎn)生所述一系列的圖案111。由于圖案由光傳感器141探測(cè)，而不是由人類視覺(jué)系統(tǒng)探測(cè)，因此能夠以極高的速率，例如大于1 KHz產(chǎn)生圖案。已知人類視覺(jué)系統(tǒng)只對(duì)一定時(shí)間窗(稱為可視性窗口)中的刺激敏感，參見(jiàn)Watson等的“Window ofVisibilitya psychophysical theory of fidelity in time-sampled visualmotion displays”，J.Opt.Soc.Am.A，Vol.3，No.3，pp.300-307，March1986。人類視覺(jué)系統(tǒng)不能理解超過(guò)一定時(shí)間頻率極限的圖像。本發(fā)明在1毫秒內(nèi)產(chǎn)生約100種獨(dú)特的圖案，這完全在可視性的時(shí)間窗口之外。
如圖2中所示，所述一系列的圖案被反復(fù)240產(chǎn)生200，并具有下述截然不同的部分。首先，產(chǎn)生210頭部(header)圖案。在頭部圖案中，如下所述一致地接通和斷開所有像素。頭部圖案被用于指示序列的開始，產(chǎn)生圖案的速率。頭部還可被用于相對(duì)于圖案的相對(duì)明暗強(qiáng)度，校準(zhǔn)光筆。就多投影儀系統(tǒng)來(lái)說(shuō)，如下所述，頭部還可識(shí)別投影儀。
隨后，產(chǎn)生水平格雷(Gray)碼220和垂直格雷碼230圖案，參見(jiàn)Gray的“Pulse Code Communication”，美國(guó)專利2632058，March17，1953。對(duì)于顯示器130的每個(gè)單獨(dú)的像素，這些圖案具有唯一的時(shí)間序列的光強(qiáng)度。如果感測(cè)多組像素，那么每組具有唯一的圖案。這樣，隨著時(shí)間的過(guò)去感測(cè)在特定像素的光強(qiáng)度，并對(duì)圖案解碼能夠確定該像素的位置101的2D坐標(biāo)。
雖然格雷碼不是獲得該性質(zhì)的唯一途徑，不過(guò)格雷碼具有其它益處。最重要的是，格雷碼圖案確保后續(xù)圖案中的邊緣不會(huì)對(duì)直(lineup)。在光筆140還感測(cè)相鄰像素的多個(gè)部分的情況下，這使模糊度降至最小。
圖4表示4×4像素陣列的一系列圖案400。第一個(gè)圖案401全部明亮，第二個(gè)圖案402與第一圖案相反，即，全黑。該對(duì)圖案是所述頭部，使光筆能夠與所述序列的起點(diǎn)同步。通過(guò)求圖案的平均值，頭部的該對(duì)圖案還能夠給出用于校準(zhǔn)的光強(qiáng)度的參考水平。另外，顯示頭部圖案的時(shí)間長(zhǎng)度指示圖案的計(jì)時(shí)。從而，圖案發(fā)生器110和解碼器150不必相互同步。可按照任意順序重復(fù)頭部圖案，以根據(jù)全亮和全黑圖案產(chǎn)生二進(jìn)制信號(hào)，例如01011101，其中前四“位”是序列指示符的起點(diǎn)，接下來(lái)的n是其它信息。
后續(xù)的每對(duì)403-404、405-406、407-408把顯示器分成兩半，一直到像素級(jí)別(pixel level)，第一個(gè)圖案用于水平形式(version)，第二個(gè)圖案被用于垂直形式，以致格雷碼的鄰接性質(zhì)被滿足。在顯示底層的可察覺(jué)內(nèi)容的時(shí)候，多數(shù)時(shí)間光筆是不活動(dòng)的。
圖3表示位置解碼方法300。首先，探測(cè)310頭部。隨后，測(cè)量320水平強(qiáng)度值，之后測(cè)量330垂直強(qiáng)度值。根據(jù)這些測(cè)量值，確定340位置101的坐標(biāo)。
應(yīng)注意每個(gè)圖案圖像的持續(xù)時(shí)間可以極短，約為10微秒級(jí)。對(duì)于常規(guī)的XGA分辨率投影儀來(lái)說(shuō)，對(duì)于所述頭部和所有位置信息來(lái)說(shuō)，只需要22種圖案。從而，圖案序列可以很短，例如小于1毫秒。從而，增加序列111對(duì)投影顯示的整體亮度影響極小。事實(shí)上，影響如此之小，以致可以更高的速率顯示所述序列，以便增大位置信息的更新速率。
其它實(shí)施例是可能的。對(duì)于有機(jī)LED顯示器，增加IR發(fā)射器可能不切實(shí)際。這種情況下，用紅、綠或藍(lán)(RGB)圖案對(duì)位置信息編碼。這是按照?qǐng)D案保持不可察覺(jué)的方式來(lái)實(shí)現(xiàn)的。一種方式顯示每個(gè)圖案很短的時(shí)間，如上所述。
當(dāng)顯示較大的‘黑色’區(qū)域時(shí)，可能察覺(jué)一些變化的光強(qiáng)度。這可由均衡掩蔽技術(shù)來(lái)補(bǔ)救。在這種技術(shù)中，每個(gè)圖像后面緊接其負(fù)像(negative)。在顯示圖案序列的時(shí)候，這給予每個(gè)像素平均50％的占空度。察覺(jué)的凈效果是幾乎不可察覺(jué)的平滑灰度圖像，它是序列中所有圖像的平均值，這只導(dǎo)致對(duì)比度的輕微降低。
對(duì)于LCD顯示器，可能難以獲得嚴(yán)格時(shí)間解決方案所需的速度。降低序列中的圖案的數(shù)目的一種方式是通過(guò)在光筆140中使用多個(gè)傳感器來(lái)擴(kuò)大感測(cè)面積。
在一種極端情況下，序列111具有單個(gè)圖案。在該系統(tǒng)中，光筆至少具有和時(shí)間序列中的圖案的數(shù)目一樣多的傳感器，即22個(gè)傳感器。
在備選實(shí)施例中，使用兩個(gè)投影儀，第一個(gè)投影儀顯示不可察覺(jué)的圖案111，而第二個(gè)投影儀121顯示底層的可察覺(jué)內(nèi)容122。第三個(gè)投影儀(未示出)能夠交織第二序列的圖案，以致在顯示面610如圖6所示彎曲的情況下能夠獲得位置信息的3D坐標(biāo)，如Raskar等在2003年3月21日提交的美國(guó)專利申請(qǐng)Sn.10/394315，“Method and Systemfor Displaying Images on Curved Surface”中所述，該專利申請(qǐng)?jiān)诖艘秊閰⒖肌?br> 在圖5中所示的另一備選實(shí)施例中，顯示是多個(gè)重疊圖像501的相拼圖案(mosaic)，從而產(chǎn)生更大的全景圖像510，如Raskar等在2003年3月21日提交的美國(guó)專利申請(qǐng)10/394688，“Self-ConfigurableAd-Hoc Projector Cluster”中所述，該專利申請(qǐng)?jiān)诖艘秊閰⒖肌＿@種情況下，每個(gè)頭部序列210可包括一個(gè)標(biāo)識(shí)，以致解碼器能夠區(qū)分由多個(gè)投影儀投射的不同圖案序列。
另外應(yīng)注意，在多用戶界面可同時(shí)使用多個(gè)光筆。從而，本發(fā)明具有優(yōu)于電阻式觸摸屏的優(yōu)點(diǎn)，電阻式觸摸屏相當(dāng)昂貴，并且在任意時(shí)刻只能區(qū)分單個(gè)觸摸位置。常規(guī)的基于視覺(jué)的系統(tǒng)實(shí)現(xiàn)起來(lái)同樣更復(fù)雜，并且這些類型的系統(tǒng)具有陰影和精度的問(wèn)題。
雖然通過(guò)優(yōu)先實(shí)施例的例子，說(shuō)明了本發(fā)明，不過(guò)在本發(fā)明的精神和范圍內(nèi)，顯然可做出各種其它適應(yīng)和修改。于是，附加權(quán)利要求的目的是覆蓋在本發(fā)明的精神和范圍內(nèi)的所有這種變化和修改。
權(quán)利要求
1.一種確定顯示面上的位置的方法，包括把一系列的圖案投射到顯示面上，對(duì)于顯示面的每個(gè)位置，所述一系列的圖案具有唯一的一系列光強(qiáng)度；在投射所述一系列的圖案的同時(shí)，感測(cè)任意位置的光的強(qiáng)度；和對(duì)光的強(qiáng)度解碼，以確定所述任意位置的坐標(biāo)。
2.按照權(quán)利要求1所述的方法，其中校準(zhǔn)圖案采取格雷碼的形式。
3.按照權(quán)利要求1所述的方法，其中顯示面是平面，坐標(biāo)是二維坐標(biāo)。
4.按照權(quán)利要求1所述的方法，其中顯示面是二次曲面，坐標(biāo)是三維坐標(biāo)。
5.按照權(quán)利要求1所述的方法，其中光筆和投影儀位于顯示面的相對(duì)兩側(cè)。
6.按照權(quán)利要求1所述的方法，其中光筆和投影儀位于顯示面的同側(cè)。
7.按照權(quán)利要求1所述的方法，其中光傳感器是單個(gè)光二極管。
8.按照權(quán)利要求1所述的方法，其中光傳感器是具有多個(gè)光敏元件的照相機(jī)。
9.按照權(quán)利要求1所述的方法，其中光是紅外光。
10.按照權(quán)利要求1所述的方法，其中成對(duì)產(chǎn)生所述一系列圖案，每對(duì)圖案中的第二個(gè)圖案是該對(duì)圖案中的第一個(gè)圖案的負(fù)像。
11.按照權(quán)利要求1所述的方法，其中顯示面是基于像素的顯示面。
12.按照權(quán)利要求1所述的方法，其中所述一系列的圖案包括圖案的頭部序列。
13.按照權(quán)利要求12所述的方法，還包括檢測(cè)圖案的頭部序列，以確定所述一系列圖案的起點(diǎn)。
14.按照權(quán)利要求12所述的方法，還包括從圖案的頭部序列確定圖案的速率。
15.按照權(quán)利要求12所述的方法，還包括從圖案的頭部序列，依相對(duì)光強(qiáng)度校準(zhǔn)光筆。
16.按照權(quán)利要求1所述的方法，其中對(duì)于人類視覺(jué)系統(tǒng)來(lái)說(shuō)，所述一系列圖案是不可察覺(jué)的。
17.按照權(quán)利要求16所述的方法，還包括在顯示所述一系列圖案的同時(shí)，顯示可察覺(jué)的內(nèi)容。
18.按照權(quán)利要求12所述的方法，其中頭部序列包括所述一系列圖案的標(biāo)識(shí)。
19.一種交互式顯示系統(tǒng)，包括顯示面；投影儀，所述投影儀被配置成把一系列的圖案顯示到顯示面上，對(duì)于顯示面的每個(gè)位置，所述一系列的圖案具有唯一的一系列光強(qiáng)度；光傳感器，所述光傳感器被配置成在投影儀顯示所述一系列圖案的同時(shí)，感測(cè)顯示面上的任意位置的光的強(qiáng)度；和對(duì)光的強(qiáng)度解碼，以確定所述任意位置的坐標(biāo)的裝置。
20.按照權(quán)利要求19所述的系統(tǒng)，其中顯示面是基于像素的顯示面，所述圖案是格雷碼。
全文摘要
交互式顯示系統(tǒng)包括基于像素的顯示面和光筆。一系列圖案被投射到顯示面上。對(duì)于顯示面的每個(gè)位置，所述一系列的圖案具有唯一的一系列光強(qiáng)度。在投射所述一系列圖案的同時(shí)，光筆感測(cè)任意位置的光的強(qiáng)度。對(duì)光的強(qiáng)度解碼，以確定所述任意位置的坐標(biāo)。
文檔編號(hào)G06F3/033GK1875337SQ20048003238
公開日2006年12月6日 申請(qǐng)日期2004年11月2日 優(yōu)先權(quán)日2003年11月7日
發(fā)明者保羅·H.·戴爾茲, 達(dá)林·L.·利, 萊彌施·拉斯卡, 約翰尼·C.·李 申請(qǐng)人:三菱電機(jī)株式會(huì)社