專利名稱：信息交互方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于人機(jī)交互及數(shù)字圖像處理領(lǐng)域。尤其是，本發(fā)明提供了一種在投影屏幕交互顯示設(shè)備上使用激光筆作為輸入設(shè)備實(shí)現(xiàn)的非接觸的或者遠(yuǎn)距離手寫輸入的信息交互方法和系統(tǒng)。
背景技術(shù)：
在各種研討會(huì)中，采用投影儀作為輔助工具對(duì)于演講的進(jìn)行非常有幫助。但是在演講的過程中，演講人通常會(huì)有一些即興的講解內(nèi)容可能是預(yù)先準(zhǔn)備的演示文稿中不存在的，因此演講人通常需要在一種固定白板上進(jìn)行板書以便聽眾理解。這種實(shí)體板書方式非常費(fèi)時(shí)費(fèi)力，并且聽眾來回在投影屏幕和固定白板直接轉(zhuǎn)換也很不方便。因此，人們希望采用一種能夠直接在投影屏幕上手書的系統(tǒng)和方法來解決上述問題。因此，人們提出了一種人機(jī)交互系統(tǒng)，該系統(tǒng)使用激光筆作為輸入設(shè)備在大屏幕交互系統(tǒng)里實(shí)現(xiàn)非接觸的或者遠(yuǎn)距離的手寫操作。發(fā)明名稱為"System and Method For Presenting, Capturing, and ModifyingImages on A Presentation Board” 美國專利 US8802611B2 披露了一種用于演示和拍攝演示板上的圖片的方法和系統(tǒng)，并且提供了一個(gè)耦合了投影儀和攝像頭的界面， 用戶可以通過該界面控制該演示系統(tǒng)，在演示板上修改圖片或者書寫字符。發(fā)明名稱為 "Collaborative Pointing Devices”美國專利公開US20040239653A1 披露了一種在初始圖像中依據(jù)某種投票規(guī)則判斷激光點(diǎn)位置的方法和系統(tǒng)。該方法包含有從攝像頭拍攝一系列圖像用于產(chǎn)生要處理的圖像，并使用了激光筆的狀態(tài)去區(qū)分圖像當(dāng)中多個(gè)激光筆產(chǎn)生的激光點(diǎn)。但是這些采用激光筆作為輸入裝置的交互系統(tǒng)都存在如下問題在激光筆移動(dòng)時(shí)不能準(zhǔn)確確定書寫的初始落筆位置；不能正確地確定激光筆的那些移動(dòng)屬于筆畫，那些移動(dòng)屬于書寫定位過程；不能準(zhǔn)確獲得筆畫的開始/結(jié)束位置；在分辨率較大的情況下，不能在在大屏幕交互系統(tǒng)中寫小字符；以及不能非接觸手寫過程中克服手抖動(dòng)帶來的影響。因此，人們希望能夠有一種方法和系統(tǒng)能夠解決上述問題，從而能夠準(zhǔn)確在投影屏幕上現(xiàn)實(shí)激光筆所書寫的內(nèi)容。

發(fā)明內(nèi)容
本發(fā)明提供了一種協(xié)作型虛擬白板系統(tǒng)和信息交互方法。這種系統(tǒng)可以把計(jì)算機(jī)生成的圖像通過投影設(shè)備投射到屏幕或者墻面上，激光筆作為該系統(tǒng)的輸入設(shè)備，可以讓用戶手執(zhí)激光筆在投影屏幕上畫出激光軌跡轉(zhuǎn)換為字符筆畫并顯示出來。具體而言，本發(fā)明提供了一種信息交互系統(tǒng)，包括激光筆，用于發(fā)射激光并在投影屏幕上形成激光點(diǎn)；圖像捕獲裝置，用于捕獲包含有投影屏幕的圖像；激光點(diǎn)檢測(cè)單元， 用于檢測(cè)所述圖像捕獲裝置所捕獲的每幀圖像中的激光點(diǎn)以及所述激光點(diǎn)在所述投影屏幕中位置信息和時(shí)間信息；激光點(diǎn)狀態(tài)確定單元，基于所述激光點(diǎn)檢測(cè)單元所檢測(cè)的位置信息和時(shí)間信息，確定激光點(diǎn)是出于移動(dòng)狀態(tài)或停頓狀態(tài)；激光點(diǎn)軌跡分割單元，用于根據(jù)所述激光點(diǎn)狀態(tài)信息，按照書寫一個(gè)字符的過程中定位于書寫交替進(jìn)行的規(guī)律，將激光點(diǎn)在所述投影屏幕上的軌跡分割為定位軌跡和書寫軌跡；以及筆畫映射單元，用于對(duì)所述激光點(diǎn)軌跡分割單元所分割出的書寫軌跡進(jìn)行處理并將其映射為能夠顯示在投影屏幕上的字符的筆畫。根據(jù)本發(fā)明的信息交互系統(tǒng)，所述激光點(diǎn)狀態(tài)確定單元還包括超時(shí)計(jì)數(shù)器，用于累計(jì)不包含激光點(diǎn)的圖像的連續(xù)幀數(shù)，當(dāng)所述超時(shí)計(jì)數(shù)器所累計(jì)的不包含激光點(diǎn)的圖像的連續(xù)幀數(shù)超過以預(yù)定時(shí)間閾值時(shí)，則確定激光筆處于激光筆處于關(guān)狀態(tài)。根據(jù)本發(fā)明的信息交互系統(tǒng)，所述激光點(diǎn)狀態(tài)確定單元還包括激光點(diǎn)位置比較單元，用于計(jì)算當(dāng)前一幀圖像中的激光點(diǎn)位置與前一幀圖像中的激光點(diǎn)之間的距離，其中當(dāng)所述激光點(diǎn)位置比較單元所計(jì)算的兩者的距離大于一預(yù)定的距離時(shí)，所述激光點(diǎn)狀態(tài)確定單元將激光點(diǎn)的狀態(tài)確定為所述移動(dòng)狀態(tài)。根據(jù)本發(fā)明的信息交互系統(tǒng)，所述激光點(diǎn)狀態(tài)確定單元還包括停頓計(jì)數(shù)器，當(dāng)所述激光點(diǎn)位置比較單元所計(jì)算的兩者的距離小于所述預(yù)定的距離時(shí)，累計(jì)激光點(diǎn)距離小于所述預(yù)定距離連續(xù)圖像幀數(shù)，其中當(dāng)所述停頓計(jì)數(shù)器所累計(jì)的激光點(diǎn)距離小于所述預(yù)定距離連續(xù)圖像幀數(shù)超過預(yù)定的時(shí)間閾值時(shí)，所述激光點(diǎn)狀態(tài)確定單元將激光點(diǎn)的狀態(tài)確定為停頓狀態(tài)。根據(jù)本發(fā)明的信息交互系統(tǒng)，其還包括線性變換單元，采用矩陣的線性變換，將字符筆畫映射到投影屏幕上的指定區(qū)域。根據(jù)本發(fā)明的另一個(gè)方面，還提供了一種信息交互方法，包括發(fā)射激光并在投影屏幕上形成激光點(diǎn)；捕獲包含有投影屏幕的圖像；檢測(cè)所捕獲的每幀圖像中的激光點(diǎn)以及所述激光點(diǎn)在所述投影屏幕中位置信息和時(shí)間信息；基于所檢測(cè)的位置信息和時(shí)間信息， 確定激光點(diǎn)是出于移動(dòng)狀態(tài)或停頓狀態(tài)；根據(jù)所述激光點(diǎn)狀態(tài)信息，按照書寫一個(gè)字符的過程中定位于書寫交替進(jìn)行的規(guī)律，將激光點(diǎn)在所述投影屏幕上的軌跡分割為定位軌跡和書寫軌跡；以及對(duì)所分割出的書寫軌跡進(jìn)行處理并將其映射為能夠顯示在投影屏幕上的字符的筆畫。根據(jù)本發(fā)明的信息交互方法，其中所述確定激光點(diǎn)是出于移動(dòng)狀態(tài)或停頓狀態(tài)還包括累計(jì)不包含激光點(diǎn)的圖像的連續(xù)幀數(shù)，當(dāng)所述超時(shí)計(jì)數(shù)器所累計(jì)的不包含激光點(diǎn)的圖像的連續(xù)幀數(shù)超過以預(yù)定時(shí)間閾值時(shí)，則確定激光筆處于激光筆處于關(guān)狀態(tài)。根據(jù)本發(fā)明的信息交互方法，其中所述確定激光點(diǎn)是出于移動(dòng)狀態(tài)或停頓狀態(tài)還包括計(jì)算當(dāng)前一幀圖像中的激光點(diǎn)位置與前一幀圖像中的激光點(diǎn)之間的距離，并且所計(jì)算的距離大于一預(yù)定的距離時(shí)，將激光點(diǎn)的狀態(tài)確定為所述移動(dòng)狀態(tài)。根據(jù)本發(fā)明的信息交互方法，其中所述確定激光點(diǎn)是出于移動(dòng)狀態(tài)或停頓狀態(tài)還包括當(dāng)所述激光點(diǎn)位置比較單元所計(jì)算的兩者的距離小于所述預(yù)定的距離時(shí)，累計(jì)激光點(diǎn)距離小于所述預(yù)定距離連續(xù)圖像幀數(shù)，并且當(dāng)所累計(jì)的激光點(diǎn)距離小于所述預(yù)定距離連續(xù)圖像幀數(shù)超過預(yù)定的時(shí)間閾值時(shí)，將激光點(diǎn)的狀態(tài)確定為停頓狀態(tài)。根據(jù)本發(fā)明的信息交互方法，其還包括采用矩陣的線性變換，將字符筆畫映射到投影屏幕上的指定區(qū)域。


圖1所示的是根據(jù)本發(fā)明的信息交互系統(tǒng)的示意圖。圖2所示的是構(gòu)成根據(jù)本發(fā)明的信息交互系統(tǒng)的模塊化示意圖。圖3所示的是根據(jù)本發(fā)明信息交互方法的流程示意圖。圖4所示的是用激光筆書寫漢字的一個(gè)實(shí)例。圖5所示的是激光筆懸停時(shí)投影屏幕上停頓激光點(diǎn)的放大示意圖。圖6所示的是激光點(diǎn)狀態(tài)的表示及其包含的三個(gè)維度的信息的示意圖。圖7所示的是進(jìn)行激光點(diǎn)檢測(cè)和激光點(diǎn)狀態(tài)轉(zhuǎn)換的流程圖。圖8所示的是進(jìn)行筆畫分割的流程圖。圖9所示的是在投影屏幕上進(jìn)行筆畫映射的示意圖，其中激光筆所書寫的較大的字符被映射到指定的區(qū)域里。
具體實(shí)施例方式以下，將參照附圖來詳細(xì)說明本發(fā)明的具體實(shí)施例。圖1所示的是根據(jù)本發(fā)明的信息交互系統(tǒng)的示意圖。該系統(tǒng)包括攝像頭1、投影屏幕2、計(jì)算機(jī)3、投影儀4以及激光筆5。圖2所示的是構(gòu)成根據(jù)本發(fā)明的信息交互系統(tǒng)中的計(jì)算機(jī)3的模塊化示意圖。該計(jì)算機(jī)3中包括了激光點(diǎn)檢測(cè)單元31、由虛線框表示的激光點(diǎn)狀態(tài)確定單元32以及筆畫分割單元33。其中激光點(diǎn)狀態(tài)確定單元32包括激光點(diǎn)存在判斷單元321、超時(shí)計(jì)數(shù)器322、 激光筆關(guān)閉判斷單元323、激光點(diǎn)位置比較單元324、激光點(diǎn)移動(dòng)確定單元325、停頓計(jì)數(shù)器 326以及激光點(diǎn)停頓確定單元327。筆畫分割單元33中包含一個(gè)分割觸發(fā)單元331下面結(jié)合圖1和圖2，按照?qǐng)D3所示的流程描述根據(jù)本發(fā)明的信息交互方法。圖3所示的根據(jù)本發(fā)明信息交互方法的流程示意圖。如圖1所示，根據(jù)本發(fā)明的信息交互方法通過如下步驟來實(shí)現(xiàn)。首先，在步驟Sl處，攝像頭1拍攝包含有投影屏幕2的圖像，并將所拍攝的圖像輸入到計(jì)算機(jī)3。計(jì)算機(jī)3中的激光點(diǎn)檢測(cè)單元31對(duì)所接收到的圖像進(jìn)行激光點(diǎn)檢測(cè)，檢測(cè)這些圖像中是否存在激光點(diǎn)，從而獲得激光點(diǎn)信號(hào)。也就是說獲得關(guān)于攝像頭1所拍攝的圖像中的激光點(diǎn)的激光點(diǎn)信號(hào)。在已知發(fā)明及文獻(xiàn)中有許多方法可以用來檢測(cè)激光點(diǎn)，所以這里就不再詳細(xì)敘述。激光點(diǎn)檢測(cè)單元31以攝像頭拍攝的圖像作為輸入，檢測(cè)每幅圖像中的激光點(diǎn)，并生成一系列的激光點(diǎn)信號(hào)S。S可以表示為一個(gè)二元組((x，y)，t)，其中(X， y)是激光點(diǎn)在圖像中的坐標(biāo)位置，t是激光點(diǎn)檢測(cè)時(shí)的時(shí)間信息。然后這些激光點(diǎn)信號(hào)被激光點(diǎn)檢測(cè)單元31傳送到計(jì)算機(jī)3中的激光點(diǎn)狀態(tài)確定單元32。在步驟S2處，激光點(diǎn)狀態(tài)確定單元32分析這些激光點(diǎn)信號(hào)的坐標(biāo)位置及時(shí)間信息，并將其轉(zhuǎn)換成激光點(diǎn)狀態(tài)信息。圖6所示的是激光點(diǎn)狀態(tài)的表示及其包含的三個(gè)維度的信息的示意圖。每一個(gè)激光點(diǎn)狀態(tài)信息包含有三個(gè)維度的信息(1) 一個(gè)維度是如前所述的激光點(diǎn)位置信息，即激光點(diǎn)在圖像當(dāng)中的坐標(biāo)。(2) 一個(gè)維度是激光筆開關(guān)的物理狀態(tài)信息，即此時(shí)激光筆的打開或者關(guān)閉。(3)最后一個(gè)維度是關(guān)于激光點(diǎn)的時(shí)間信息，包括激光點(diǎn)在所述投影畫面上的停頓時(shí)間及激光筆打開，關(guān)閉或者閃動(dòng)的時(shí)刻。
在本發(fā)明中，總共定義了如下四種激光點(diǎn)狀態(tài)(1)激光開(Laser On)表明當(dāng)前激光筆處于打開狀態(tài)，系統(tǒng)檢測(cè)到了激光筆發(fā)射的光線在投影屏幕上形成的激光點(diǎn)。(2)激光關(guān)(Laser Off)表明當(dāng)前激光筆處于關(guān)閉狀態(tài)，系統(tǒng)無法檢測(cè)到投影屏幕上的激光點(diǎn)。(3)激光移動(dòng)(Laser Move)表明用戶當(dāng)前正手執(zhí)激光筆移動(dòng)，表現(xiàn)為投影屏幕上的激光點(diǎn)的位置不斷變化。(4)激光停頓(Laser Dwell)表明用戶當(dāng)前手執(zhí)激光筆，但懸停不動(dòng)，表現(xiàn)為投影屏幕上的激光點(diǎn)的位置在一定時(shí)間內(nèi)沒有發(fā)生明顯的變化。在激光點(diǎn)狀態(tài)轉(zhuǎn)換單元的處理過程中，要判斷當(dāng)前激光筆是否停頓，系統(tǒng)需要通過激光點(diǎn)計(jì)時(shí)器單元計(jì)算確定激光筆的停頓時(shí)間來進(jìn)行判斷。關(guān)于這方面的具體過程將在下面結(jié)合附圖7進(jìn)行描述。接著，在步驟S3中，計(jì)算機(jī)3中的筆畫分割單元33依據(jù)上述的激光點(diǎn)狀態(tài)信息， 從激光點(diǎn)軌跡中分割出字符筆畫。也就是，基于人們的書寫規(guī)律，將所述激光軌跡分割為兩種部分書寫定位軌跡和書寫軌跡。所謂書寫定位軌跡就是用戶打開并移動(dòng)激光筆在屏幕上定位到所要起筆的位置的過程中產(chǎn)生的那部分軌跡。所謂書寫軌跡，是用戶打開并移動(dòng)激光筆在屏幕上真正書寫的那部分軌跡，即用戶的實(shí)際書寫筆畫。關(guān)于書寫定位軌跡和書寫軌跡的分割的描述將在下面結(jié)合附圖8進(jìn)行。隨后，在步驟S4中，計(jì)算機(jī)3中的筆畫映射單元34對(duì)筆畫分割單元33所分割出的筆畫進(jìn)行處理。之后，在步驟S5中將其投影到投影屏幕上相應(yīng)的位置區(qū)域。如何將筆畫投射到屏幕上屬于現(xiàn)有技術(shù)，這里將不再詳細(xì)敘述這方面的內(nèi)容。當(dāng)完成上述幾個(gè)步驟后，一條激光軌跡的整個(gè)處理過程就完成了。每個(gè)被處理過的筆畫都顯示在屏幕上，這些筆畫組成了完整的字符。如果用戶再次書寫字符，只要重復(fù)以上各步，由用戶控制激光筆所產(chǎn)生的新的激光軌跡會(huì)被再次處理，形成新的字符。為方便后面的描述，這里先以圖4所示的實(shí)例為例子描述一些人們通常采用激光筆進(jìn)行書寫的過程。圖4所示的是用激光筆書寫漢字的一個(gè)實(shí)例。如圖4所示，用戶用激光筆在投影屏幕上書寫一個(gè)漢字字符“山”，從而在投影屏幕上形成了如圖4所示的激光點(diǎn)軌跡。根據(jù)圖4所示的字符，其中參考標(biāo)記401、402、403所指代的深黑實(shí)線是書寫軌跡，即筆畫，而參考標(biāo)記404、405所指代的虛線是書寫定位軌跡， 其中每個(gè)書寫軌跡的端點(diǎn)處的粗重的實(shí)心點(diǎn)表示該字符的書寫軌跡的起筆或落筆位置。在本發(fā)明中起筆或落筆處通常為本發(fā)明所述的處于停頓狀態(tài)的激光點(diǎn)。在圖4所示的包含多個(gè)筆畫實(shí)例性字符中，在找到起筆點(diǎn)后，人們書寫的規(guī)律通常為“停頓、移動(dòng)激光點(diǎn)書寫第一筆畫、停頓、移動(dòng)激光點(diǎn)尋找第二筆起點(diǎn)、停頓、移動(dòng)激光點(diǎn)書寫第二筆畫、停頓、移動(dòng)激光點(diǎn)尋找第三筆起點(diǎn)、停頓、移動(dòng)激光點(diǎn)書寫第三筆畫......”。在本發(fā)明中，由用戶手執(zhí)激光筆所畫的包含多個(gè)筆畫的字符可以由一條激光軌跡完成。也就是說，用戶僅需要畫出一條激光軌跡就可以完成一個(gè)字符的手寫輸入。在書寫一個(gè)字符的過程中激光筆不需要頻繁的閃滅，而是一直保持亮的狀態(tài)，這樣用戶可以很容易的通過亮著的激光點(diǎn)進(jìn)行定位手移動(dòng)的方向和位置。
圖5所示的是激光筆懸停時(shí)投影屏幕上停頓激光點(diǎn)的放大示意圖。當(dāng)檢測(cè)到的激光點(diǎn)的位置都落在一定的范圍內(nèi)且激光筆被用戶懸停了一定的時(shí)間后，產(chǎn)生了激光點(diǎn)的停頓現(xiàn)象。激光點(diǎn)的停頓狀態(tài)被用來在激光軌跡中分割出筆畫，這將在結(jié)合附圖6解釋軌跡的分割時(shí)進(jìn)行詳細(xì)描述。圖7所示的是進(jìn)行激光點(diǎn)檢測(cè)和激光點(diǎn)狀態(tài)確定的具體流程圖。在如圖7所示的檢測(cè)和確定的流程中，在步驟S701處，激光點(diǎn)檢測(cè)單元31對(duì)攝像頭1所拍攝的圖像幀執(zhí)行檢測(cè)，獲取激光點(diǎn)信號(hào)S,即一個(gè)二元組((X，y)，t)，并將該二元組輸入激光點(diǎn)狀態(tài)確定單元32。在步驟S702處，激光點(diǎn)狀態(tài)確定單元32中激光點(diǎn)存在判斷單元321判斷是否存在激光點(diǎn)。如果確定存在激光點(diǎn)S，則步驟進(jìn)入S703。如果確定不存在激光點(diǎn)，則步驟進(jìn)入S704.在步驟S704處，由激光點(diǎn)狀態(tài)確定單元32中的超時(shí)計(jì)數(shù)器322對(duì)連續(xù)不存在激光點(diǎn)的圖像幀的數(shù)量進(jìn)行累計(jì)，并將累計(jì)值A(chǔ)輸入到激光點(diǎn)狀態(tài)確定單元32中的激光筆關(guān)閉判斷單元323，隨后進(jìn)入步驟S705。在步驟S705處，激光點(diǎn)狀態(tài)確定單元32中的激光筆關(guān)閉判斷單元323判斷所接收的所述累計(jì)值A(chǔ)是否大于一個(gè)預(yù)定的時(shí)間閾值，如果大于預(yù)定的時(shí)間閾值Tl，則在步驟S706處輸出激光點(diǎn)狀態(tài)信息為“激光關(guān)(Laser Off)”，否則，返回到步驟S701進(jìn)行下一幀圖像的檢測(cè)。相反，如果在步驟S702處，激光點(diǎn)存在判斷單元321判斷存在激光點(diǎn)，直接在步驟 503處輸出激光點(diǎn)狀態(tài)信息“激光開(Laser On) ”，從而觸發(fā)步驟C，即開始筆畫分割進(jìn)程。 與此同時(shí)，將超時(shí)計(jì)數(shù)器322清零，并使得進(jìn)程進(jìn)入步驟S707。在步驟S707，激光點(diǎn)狀態(tài)確定單元32中的激光點(diǎn)位置比較單元3M搜索前一幀圖像中激光點(diǎn)狀態(tài)信息，如果前一幀圖像中的激光點(diǎn)狀態(tài)信息為“激光關(guān)(Laser Off) ”，則進(jìn)程返回到步驟S701，如果前一幀圖像的激光點(diǎn)狀態(tài)信息為“激光開(Laser 0η)”，則比較當(dāng)前圖像幀中的激光點(diǎn)的位置與前一幀圖像中的激光點(diǎn)的位置之間的距離L，并將該距離輸出到激光點(diǎn)狀態(tài)確定單元32中的激光點(diǎn)移動(dòng)確定單元325，隨后進(jìn)程進(jìn)入步驟S709。在步驟S708處，激光點(diǎn)移動(dòng)確定單元325判斷所接收的距離L是否大于一預(yù)定的距離閾值D。如果判斷結(jié)果表示所接收的距離是否大于一預(yù)定的距離閾值D，則在步驟S709 處輸出激光點(diǎn)狀態(tài)信息“激光移動(dòng)(Laser Move) ” ；否則，進(jìn)程進(jìn)入步驟S710。該預(yù)定的距離閾值通過如下方式確定1.通過大量試驗(yàn)找到一個(gè)對(duì)于大多數(shù)用戶都較合適的值。2.通過用戶訓(xùn)練，針對(duì)每個(gè)用戶的習(xí)慣，系統(tǒng)記錄相應(yīng)的值。在步驟S710處，激光點(diǎn)狀態(tài)確定單元32中的停頓計(jì)數(shù)器3 對(duì)連續(xù)出現(xiàn)的相鄰兩幀圖像中的激光點(diǎn)的位置之間的距離小于預(yù)定閾值D的幀數(shù)進(jìn)行累計(jì)，并將累計(jì)值B輸出到激光點(diǎn)狀態(tài)確定單元32中的停頓狀態(tài)確定單元327。之后進(jìn)程進(jìn)入步驟S711。在步驟S711處，停頓狀態(tài)確定單元327判斷所接收的累計(jì)值B是否大于一預(yù)定的時(shí)間閾值T2。 如果判斷的結(jié)果為累計(jì)值B大于一預(yù)定的時(shí)間閾值T2，則在步驟S712中輸出激光點(diǎn)狀態(tài)信息“激光停頓(Laser Dwell) ” ；否則，返回到步驟S701進(jìn)行下一圖像幀的檢測(cè)。如上所述的激光筆停頓時(shí)間B可以用如下方法來確定首先確定最小反應(yīng)時(shí)間。假設(shè)攝像頭的幀率為f，采樣率為r，則最小反應(yīng)時(shí)間t 可以由t = 1000/(f*r)，單位為毫秒。這樣，信息交互系統(tǒng)在一定的配置下，反應(yīng)時(shí)間是可以確定的，則檢測(cè)到的激光點(diǎn)信號(hào)的數(shù)量可以反映時(shí)間。假設(shè)連續(xù)出現(xiàn)的相鄰兩幀圖像中的激光點(diǎn)的位置之間的距離L 小于預(yù)定閾值D的激光點(diǎn)信號(hào)數(shù)量為N，則N*t可以表示停頓計(jì)數(shù)器3 所累計(jì)的停頓時(shí)間B。進(jìn)一步，假設(shè)停頓時(shí)間閾值為T2，如果滿足條件B >= T2，且當(dāng)前的激光點(diǎn)狀態(tài)不是 “激光移動(dòng)(LaserMove) ”而是“激光停頓(Laser Dwell)”狀態(tài)。如前所述的采樣率r，是一個(gè)統(tǒng)計(jì)量，它表明了所采用的激光點(diǎn)檢測(cè)算法的正確率。只有正確檢測(cè)出的激光點(diǎn)信號(hào)對(duì)于轉(zhuǎn)換激光點(diǎn)狀態(tài)才是有效的。如前所述的停頓時(shí)間閾值T2，不是一個(gè)固定值，它可以依據(jù)不同的用戶習(xí)慣進(jìn)行自適應(yīng)的調(diào)整。要做到這點(diǎn)，可以通過某些訓(xùn)練方法或者分類算法在系統(tǒng)初始化階段時(shí)依據(jù)用戶訓(xùn)練的數(shù)據(jù)確定該閾值T2。通過上面結(jié)合附圖5所描述的檢測(cè)和確定過程，可以確定一條連續(xù)的激光筆移動(dòng)過程中投射在投影屏幕上的激光點(diǎn)軌跡中那些部分屬于移動(dòng)軌跡，那些部分屬于激光點(diǎn)的停頓。圖8所示的是根據(jù)本發(fā)明的實(shí)施方式進(jìn)行筆畫分割的流程圖。該流程隨著激光點(diǎn)狀態(tài)確定單元32所依次輸出的激光點(diǎn)狀態(tài)信息而依此執(zhí)行步驟S801-S809。當(dāng)上面結(jié)合附圖7所述的步驟S703中初次輸出“激光開(Laser On) ”時(shí)，觸發(fā)本發(fā)明所述的信息交互過程的開始，即觸發(fā)激光筆書寫過程(步驟S801)。該過程有計(jì)算機(jī)3 中的筆畫分割單元33進(jìn)行。筆畫分割單元33通過獲得激光點(diǎn)狀態(tài)確定單元32所依次輸出的機(jī)關(guān)點(diǎn)狀態(tài)信息對(duì)已經(jīng)處理的激光點(diǎn)軌跡在下述步驟中進(jìn)行分割，從而分割出書寫定位軌跡和書寫軌跡。在步驟S703處，當(dāng)初次出現(xiàn)Laser On狀態(tài)時(shí)，進(jìn)入隨后的步驟S801，，并。在步驟 S801處，筆畫分割單元33中的分割觸發(fā)單元331觸發(fā)筆畫分割過程。當(dāng)筆畫分割單元33在初次獲得Laser On狀態(tài)之后，從激光點(diǎn)狀態(tài)確定單元32所獲取的激光點(diǎn)狀態(tài)信息為“激光移動(dòng)(Laser Move) ”時(shí)，則執(zhí)行步驟S802，在步驟S802中將隨后的連續(xù)出現(xiàn)的屬于“激光移動(dòng)(Laser Move) ”的所有激光點(diǎn)組成的軌跡都分割為“初始書寫定位軌跡”，直到從激光點(diǎn)狀態(tài)確定單元32所獲取的激光點(diǎn)狀態(tài)信息為“激光停頓 (Laser Dwell) ”為止，從而進(jìn)入步驟S803。如果當(dāng)筆畫分割單元33在初次獲得Laser On狀態(tài)之后，從激光點(diǎn)狀態(tài)確定單元32所獲取的激光點(diǎn)狀態(tài)信息為“激光停頓(LaserDwell) ”， 則直接進(jìn)入步驟S803。在步驟S803中，將激光點(diǎn)停頓點(diǎn)確定為書寫軌跡的起點(diǎn)。隨后，如果筆畫分割單元33從激光點(diǎn)狀態(tài)確定單元32所獲取的激光點(diǎn)狀態(tài)信息為“激光移動(dòng)(Laser Move) ”時(shí)，執(zhí)行步驟S804。在步驟S804中，將隨后的連續(xù)出現(xiàn)的屬于“激光移動(dòng)(Laser Move) ”的所有激光點(diǎn)組成的軌跡都分割為“書寫軌跡”，直到從激光點(diǎn)狀態(tài)確定單元32再次獲取激光點(diǎn)狀態(tài)信息“激光停頓(Laser Dwell)”為止。當(dāng)再次獲取激光點(diǎn)狀態(tài)信息“激光停頓(Laser Dwell) ”時(shí)，進(jìn)入步驟S805。在該步驟S805處，將再次獲取的激光點(diǎn)狀態(tài)信息“激光停頓(Laser Dwell) ”的停頓點(diǎn)作為所述書寫軌跡的終點(diǎn)。隨后，筆畫分割單元33在步驟S806中對(duì)所分割出的書寫軌跡進(jìn)行處理，并將處理后的書寫軌跡作為筆畫投射到投影屏幕上。之后，筆畫分割單元33依據(jù)人們書寫多個(gè)筆畫的字符的規(guī)律重復(fù)步驟 S802-S805，直到在步驟S807從激光點(diǎn)狀態(tài)確定單元32所獲取的激光點(diǎn)狀態(tài)信息為“激光關(guān)(Laser Off) ”為止，從而在步驟S807處結(jié)束筆畫分割，由此結(jié)束一個(gè)字符的書寫。
激光點(diǎn)狀態(tài)確定單元32所輸出激光點(diǎn)狀態(tài)信息的規(guī)律也符合上面結(jié)合附圖4所給出的書寫規(guī)律，即“停頓、移動(dòng)激光點(diǎn)書寫第一筆畫、停頓、移動(dòng)激光點(diǎn)尋找第二筆起點(diǎn)、 停頓、移動(dòng)激光點(diǎn)書寫第二筆畫、停頓、移動(dòng)激光點(diǎn)尋找第三筆起點(diǎn)、停頓、移動(dòng)激光點(diǎn)書寫
第三筆畫......”。也就是，當(dāng)進(jìn)入書寫狀態(tài)時(shí)，激光點(diǎn)狀態(tài)確定單元32所輸出激光點(diǎn)狀態(tài)
信息為“激光移動(dòng)(Laser Move)”與“激光停頓(Laser Dwell)”交替出現(xiàn)。而筆畫分割單元33則基于所獲得的狀態(tài)信息依據(jù)上述書寫規(guī)律重復(fù)執(zhí)行步驟S802-S806來分割激光點(diǎn)軌跡。圖9所示的是在投影屏幕上進(jìn)行筆畫映射的示意圖，其中激光筆所書寫的較大的字符被映射到指定的區(qū)域里。用戶手執(zhí)激光筆在根據(jù)本發(fā)明的信息交互系統(tǒng)的投影屏幕左下方寫下了一個(gè)較大的漢字“山”。經(jīng)過筆畫映射單元的處理與映射后，這個(gè)漢字“山”被映射到投影屏幕上的映射區(qū)域內(nèi)，圖中的虛線矩形框表示該映射區(qū)域，該矩形框內(nèi)的實(shí)心線條表示被映射后的字符。令p(x，y)表示書寫的軌跡上點(diǎn)的坐標(biāo)，P(X，Y)表示點(diǎn)ρ經(jīng)過映射后的新坐標(biāo)，則 P與P的坐標(biāo)變換可由下面的矩陣表示
權(quán)利要求
1.一種信息交互系統(tǒng)，包括激光筆，用于發(fā)射激光并在投影屏幕上形成激光點(diǎn)；圖像捕獲裝置，用于捕獲包含有投影屏幕的圖像；激光點(diǎn)檢測(cè)單元，用于檢測(cè)所述圖像捕獲裝置所捕獲的每幀圖像中的激光點(diǎn)以及所述激光點(diǎn)在所述投影屏幕中位置信息和時(shí)間信息；激光點(diǎn)狀態(tài)確定單元，基于所述激光點(diǎn)檢測(cè)單元所檢測(cè)的位置信息和時(shí)間信息，確定激光點(diǎn)是出于移動(dòng)狀態(tài)或停頓狀態(tài)；激光點(diǎn)軌跡分割單元，用于根據(jù)所述激光點(diǎn)狀態(tài)信息，按照書寫一個(gè)字符的過程中定位于書寫交替進(jìn)行的規(guī)律，將激光點(diǎn)在所述投影屏幕上的軌跡分割為定位軌跡和書寫軌跡；筆畫映射單元，用于對(duì)所述激光點(diǎn)軌跡分割單元所分割出的書寫軌跡進(jìn)行處理并將其映射為能夠顯示在投影屏幕上的字符的筆畫。
2.根據(jù)權(quán)利要求1所述的信息交互系統(tǒng)，其中所述激光點(diǎn)狀態(tài)確定單元還包括超時(shí)計(jì)數(shù)器，用于累計(jì)不包含激光點(diǎn)的圖像的連續(xù)幀數(shù)，當(dāng)所述超時(shí)計(jì)數(shù)器所累計(jì)的不包含激光點(diǎn)的圖像的連續(xù)幀數(shù)超過以預(yù)定時(shí)間閾值時(shí)，則確定激光筆處于激光筆處于關(guān)狀態(tài)。
3.根據(jù)權(quán)利要求1所述的信息交互系統(tǒng)，其中所述激光點(diǎn)狀態(tài)確定單元還包括激光點(diǎn)位置比較單元，用于計(jì)算當(dāng)前一幀圖像中的激光點(diǎn)位置與前一幀圖像中的激光點(diǎn)之間的距 1 ，其中當(dāng)所述激光點(diǎn)位置比較單元所計(jì)算的兩者的距離大于一預(yù)定的距離時(shí)，所述激光點(diǎn)狀態(tài)確定單元將激光點(diǎn)的狀態(tài)確定為所述移動(dòng)狀態(tài)。
4.根據(jù)權(quán)利要求3所述的信息交互系統(tǒng)，其中所述激光點(diǎn)狀態(tài)確定單元還包括停頓計(jì)數(shù)器，當(dāng)所述激光點(diǎn)位置比較單元所計(jì)算的兩者的距離小于所述預(yù)定的距離時(shí)，累計(jì)激光點(diǎn)距離小于所述預(yù)定距離連續(xù)圖像幀數(shù)，其中當(dāng)所述停頓計(jì)數(shù)器所累計(jì)的激光點(diǎn)距離小于所述預(yù)定距離連續(xù)圖像幀數(shù)超過預(yù)定的時(shí)間閾值時(shí)，所述激光點(diǎn)狀態(tài)確定單元將激光點(diǎn)的狀態(tài)確定為停頓狀態(tài)。
5.根據(jù)權(quán)利要求1所述的信息交互系統(tǒng)，其還包括線性變換單元，采用矩陣的線性變換，將字符筆畫映射到投影屏幕上的指定區(qū)域。
6.一種信息交互方法，包括發(fā)射激光并在投影屏幕上形成激光點(diǎn)；捕獲包含有投影屏幕的圖像；檢測(cè)所捕獲的每幀圖像中的激光點(diǎn)以及所述激光點(diǎn)在所述投影屏幕中位置信息和時(shí)間信息；基于所檢測(cè)的位置信息和時(shí)間信息，確定激光點(diǎn)是出于移動(dòng)狀態(tài)或停頓狀態(tài)；根據(jù)所述激光點(diǎn)狀態(tài)信息，按照書寫一個(gè)字符的過程中定位于書寫交替進(jìn)行的規(guī)律， 將激光點(diǎn)在所述投影屏幕上的軌跡分割為定位軌跡和書寫軌跡；對(duì)所分割出的書寫軌跡進(jìn)行處理并將其映射為能夠顯示在投影屏幕上的字符的筆畫。
7.根據(jù)權(quán)利要求6所述的信息交互方法，其中所述確定激光點(diǎn)是出于移動(dòng)狀態(tài)或停頓狀態(tài)還包括累計(jì)不包含激光點(diǎn)的圖像的連續(xù)幀數(shù)，當(dāng)所述超時(shí)計(jì)數(shù)器所累計(jì)的不包含激光點(diǎn)的圖像的連續(xù)幀數(shù)超過以預(yù)定時(shí)間閾值時(shí)，則確定激光筆處于激光筆處于關(guān)狀態(tài)。
8.根據(jù)權(quán)利要求6所述的信息交互方法，其中所述確定激光點(diǎn)是出于移動(dòng)狀態(tài)或停頓狀態(tài)還包括計(jì)算當(dāng)前一幀圖像中的激光點(diǎn)位置與前一幀圖像中的激光點(diǎn)之間的距離，并且所計(jì)算的距離大于一預(yù)定的距離時(shí)，將激光點(diǎn)的狀態(tài)確定為所述移動(dòng)狀態(tài)。
9.根據(jù)權(quán)利要求8所述的信息交互方法，其中所述確定激光點(diǎn)是出于移動(dòng)狀態(tài)或停頓狀態(tài)還包括當(dāng)所述激光點(diǎn)位置比較單元所計(jì)算的兩者的距離小于所述預(yù)定的距離時(shí)，累計(jì)激光點(diǎn)距離小于所述預(yù)定距離連續(xù)圖像幀數(shù)，并且當(dāng)所累計(jì)的激光點(diǎn)距離小于所述預(yù)定距離連續(xù)圖像幀數(shù)超過預(yù)定的時(shí)間閾值時(shí)，將激光點(diǎn)的狀態(tài)確定為停頓狀態(tài)。
10.根據(jù)權(quán)利要求6所述的信息交互方法，其還包括采用矩陣的線性變換，將字符筆畫映射到投影屏幕上的指定區(qū)域。
全文摘要
本發(fā)明提供了一種信息交互方法和系統(tǒng)，所述系統(tǒng)通過圖像捕獲裝置捕獲包含激光筆投射在投影屏幕上形成激光點(diǎn)投影屏幕的圖像，并檢測(cè)所述圖像捕獲裝置所捕獲的每幀圖像中的激光點(diǎn)以及所述激光點(diǎn)在所述投影屏幕中位置信息和時(shí)間信息。之后，該系統(tǒng)基于所檢測(cè)的位置信息和時(shí)間信息，確定激光點(diǎn)是出于移動(dòng)狀態(tài)或停頓狀態(tài)，并根據(jù)所述激光點(diǎn)狀態(tài)信息，按照書寫一個(gè)字符的過程中定位于書寫交替進(jìn)行的規(guī)律，將激光點(diǎn)在所述投影屏幕上的軌跡分割為定位軌跡和書寫軌跡。最后，對(duì)所分割出的書寫軌跡進(jìn)行處理并將其映射為能夠顯示在投影屏幕上的字符的筆畫。
文檔編號(hào)G06F3/042GK102279668SQ20101019403
公開日2011年12月14日 申請(qǐng)日期2010年6月8日 優(yōu)先權(quán)日2010年6月8日
發(fā)明者于海龍, 張文波, 李東來, 潘萍萍 申請(qǐng)人:株式會(huì)社理光