專利名稱：一種基于激光投影定位的人機交互方法與系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及顯示系統(tǒng)的交互技術(shù)領(lǐng)域，尤其涉及一種基于激光投影定位的人機交互方法與系統(tǒng)。
背景技術(shù)：
隨著計算機技術(shù)的發(fā)展，人機交互的方式越來越多樣化，從鼠標(biāo)、鍵盤到手勢、體感、聲控等，一直朝著方便用戶使用的方向發(fā)展。激光定位的交互系統(tǒng)是一種類似于鼠標(biāo)的交互系統(tǒng)，可以利用激光精確定位鼠標(biāo)光標(biāo)的位置，并且可以產(chǎn)生鼠標(biāo)消息。在進行演講展示或者玩一些遠程操控類的游戲時使用這種激光筆會帶來一種全新的體驗。
現(xiàn)有技術(shù)中的激光定位的人機交互系統(tǒng)主要分為兩類
一是利用激光筆射出的亮點來完成所有交互功能。例如專利CN200810035544. 6公開了一種激光筆指示與光點軌跡識別的方法，采用計算機與嵌入式設(shè)備交互的方法，實現(xiàn)激光筆、嵌入式設(shè)備、計算機三者的交互，由嵌入式設(shè)備連接視頻采集設(shè)備，通過獲得的視頻的亮度信息來獲得激光筆的光點位置，然后傳送至計算機中，由計算機對用戶展示效果。該專利能成功識別光點的軌跡信息，形成各種形狀、字母、數(shù)字燈的展示效果。專利CN201010194032. I通過捕獲包含激光點的投影屏幕的圖像，檢測激光點在所述投影屏幕中位置信息和時間信息。確定激光點是出于移動狀態(tài)或停頓狀態(tài)，并根據(jù)所述激光點狀態(tài)信息，按照書寫一個字符的過程中定位于書寫交替進行的規(guī)律，將激光點在所述投影屏幕上的軌跡分割為定位軌跡和書寫軌跡，并將其映射為能夠顯示在投影屏幕上的字符的筆畫，實現(xiàn)人機交互的目的。二是帶有無線傳輸模塊的激光筆交互系統(tǒng)。例如專利CN201210026754. 5發(fā)明了一種能用激光筆直接控制電腦的新型鼠標(biāo)控制系統(tǒng)。由激光筆模塊，位置檢測模塊，USB無線接收模塊組成，激光筆模塊和位置檢測模塊分別向USB無線接收模塊反饋按鍵開關(guān)狀態(tài)信息和鼠標(biāo)位置信息。從而使激光筆具有一個功能鍵并可以控制鼠標(biāo)光標(biāo)的移動。專利CN200810101593. 5發(fā)明了一種帶用戶身份標(biāo)識的無線控制激光筆由激光筆外殼、激光發(fā)射電路和無線發(fā)射電路組成，并且具有握式和書寫等多種操作方式。同時激光筆上配置有鼠標(biāo)左鍵右鍵，可以完成鼠標(biāo)的所有功能，并支持多用戶并用時匹配用戶和光點軌跡，進而區(qū)分多用戶同時支持多用戶無沖突并行使用。從上述分類可以看出，現(xiàn)有技術(shù)中一類是通過檢測激光筆模塊光點產(chǎn)生的耀斑，根據(jù)預(yù)先設(shè)定位置編碼或時序編碼來實現(xiàn)指定內(nèi)容的交互，該方法雖然實現(xiàn)了激光直接指向性交互的優(yōu)點，但其實現(xiàn)上需要改變用戶使用習(xí)慣；另一類通過紅光激光器加鼠標(biāo)按鍵消息的方式也實現(xiàn)了激光直接指向性交互的優(yōu)點，但其對光點反射耀斑的檢測精度和實時性要求較高，否則會給用戶感覺激光光線和屏幕光標(biāo)不重合或者移動不流暢。要解決這個問題，系統(tǒng)的復(fù)雜度提高；同時該系統(tǒng)使用必須標(biāo)定，增加了系統(tǒng)使用復(fù)雜度。有鑒于此，現(xiàn)有技術(shù)有待改進和提聞。

發(fā)明內(nèi)容
鑒于現(xiàn)有技術(shù)的不足，本發(fā)明目的在于提供一種基于激光投影定位的人機交互方法與系統(tǒng)。旨在解決現(xiàn)有技術(shù)中人機交互時存在的系統(tǒng)復(fù)雜度高、必須使用系統(tǒng)標(biāo)定等問題。本發(fā)明的技術(shù)方案如下
一種基于激光投影定位的人機交互系統(tǒng)，其中，包括
投影設(shè)備，用于投影出上位機傳送的圖像信息，形成一交互界面；
交互設(shè)備，用于在交互界面上形成交互信息，以及接收用戶的交互指令，將所述交互指令發(fā)送至上位機中；
圖像采集裝置，用于實時獲取交互界面上的圖像信息和交互信息，并將其發(fā)送到上位·機中；
上位機，用于根據(jù)交互信息和圖像信息，經(jīng)過計算獲得交互信息在交互界面上的位置；同時，上位機還將交互指令轉(zhuǎn)化為相應(yīng)的鼠標(biāo)按鍵信息，實現(xiàn)鼠標(biāo)的多個按鍵功能，完成人機交互；
所述圖像采集裝置固定在投影設(shè)備旁，所述交互設(shè)備連接上位機，所述圖像采集裝置和投影裝置分別連接上位機。優(yōu)選地，所述的基于激光投影定位的人機交互系統(tǒng)，其中，所述交互設(shè)備為激光筆或點觸筆。優(yōu)選地，所述的基于激光投影定位的人機交互系統(tǒng)，其中，所述圖像采集裝置包括攝像機、與攝像機相連的曝光調(diào)整單元和設(shè)置在攝像機的鏡頭前的濾光片。 優(yōu)選地，所述的基于激光投影定位的人機交互系統(tǒng)，其中，所述上位機為臺式計算機、筆記本電腦或嵌入式系統(tǒng)。優(yōu)選地，所述的基于激光投影定位的人機交互系統(tǒng)，其中，所述上位機包括一與曝光調(diào)整單元相連的圖像處理單元，用于對攝像機獲取的圖像信息和交互信息進行處理。一種基于激光投影定位的人機交互方法，其中，所述方法包括以下步驟
51、投影設(shè)備將上位機傳送的圖像信息投影出來，形成一交互界面；
52、交互設(shè)備在所述交互界面上形成交互信息；同時交互設(shè)備還接收用戶的交互指令，并將所述交互指令發(fā)送至上位機中；
53、圖像采集裝置實時獲取交互界面上的圖像信息和交互信息，并將其發(fā)送到上位機
中；
54、上位機根據(jù)交互信息和圖像信息，經(jīng)過計算獲得交互信息在交互界面上的位置；同時，上位機還將交互指令轉(zhuǎn)化為相應(yīng)的鼠標(biāo)按鍵信息，實現(xiàn)鼠標(biāo)的多個按鍵功能，完成人機交互。優(yōu)選地，所述的基于激光投影定位的人機交互方法，其中，所述步驟S3中圖像采集裝置實時獲取交互界面上的圖像信息和交互信息具體包括
531、固定圖像采集裝置的攝像頭和投影設(shè)備的位置，將攝像頭放在靠近投影儀的地方，使攝像頭鏡頭的平面與投影儀鏡頭的平面平行；
532、令上位機的顯示屏全屏顯示一全白的圖片，用投影設(shè)備將這個全白的圖片投射出
去；533、預(yù)先設(shè)置攝像頭的一個曝光時間，然后根據(jù)所述曝光時間，攝像頭開始捕捉畫面，并發(fā)送至上位機中；
534、上位機將攝像頭捕捉的畫面轉(zhuǎn)化為灰度圖，再計算出灰度圖的平均灰度值，并判斷所述平均灰度值是不是在預(yù)先設(shè)定的范圍內(nèi)，如是則完成曝光設(shè)置，否則繼續(xù)捕捉畫面，調(diào)整曝光時間，直到捕捉到的圖像的平均灰度值在預(yù)設(shè)的范圍之內(nèi)。優(yōu)選地，所述的基于激光投影定位的人機交互方法，其中，所述步驟S3中進一步包括
535、利用圖像處理單元對圖像進行處理，在捕捉到的圖像上，先去噪聲然后提取直線，再檢測直線與直線的夾角是否可以成為矩形的條件，最后找到圖像中的矩形，把矩形的四個點確定下來。優(yōu)選地，所述的基于激光投影定位的人機交互方法，其中，所述步驟S4中上位機 根據(jù)交互信息和圖像信息計算獲得交互信息在交互界面上的位置具體包括
541、找出交互設(shè)備在交互界面上形成交互信息；
542、進行消除亮點抖動與運動預(yù)測；
543、根據(jù)交互信息定位鼠標(biāo)。優(yōu)選地，所述的基于激光投影定位的人機交互方法，其中，當(dāng)所述交互設(shè)備為點觸筆時，在所述步驟S42中還包括對點觸筆進行自標(biāo)定。有益效果
本申請的基于激光投影定位的人機交互方法與系統(tǒng)，兼顧了傳統(tǒng)鼠標(biāo)按鍵定義方式，以及光標(biāo)位置指示的相對定位方式，具備絕對定位方式光標(biāo)位置指示操作直接感，避免了系統(tǒng)標(biāo)定問題，方便了使用，降低該交互系統(tǒng)對應(yīng)用環(huán)境的要求。


圖I為本申請的基于激光投影定位的人機交互系統(tǒng)的結(jié)構(gòu)框圖。圖2為本申請的基于激光投影定位的人機交互系統(tǒng)的實施例中激光筆的示意圖。圖3為本申請的基于激光投影定位的人機交互系統(tǒng)的實施例中點觸筆的示意圖。圖4為本申請的基于激光投影定位的人機交互方法的流程圖。圖5為本申請的基于激光投影定位的人機交互方法中的硬件結(jié)構(gòu)示意圖。圖6是本申請的基于激光投影定位的人機交互方法中定位鼠標(biāo)的軟件識別算法的流程圖。圖7是本申請的基于激光投影定位的人機交互方法中坐標(biāo)定位的示意圖。
具體實施例方式本發(fā)明提供一種基于激光投影定位的人機交互方法與系統(tǒng)，為使本發(fā)明的目的、技術(shù)方案及效果更加清楚、明確，以下對本發(fā)明進一步詳細說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。請參閱圖1，其為本申請的基于激光投影定位的人機交互系統(tǒng)的結(jié)構(gòu)框圖。如圖所示，所述基于激光投影定位的人機交互系統(tǒng)包括投影設(shè)備100、交互設(shè)備200、圖像采集裝置300和上位機400，所述圖像采集裝置300固定在投影設(shè)備100旁，所述交互設(shè)備200連接上位機400，所述圖像采集裝置300和投影設(shè)備100分別連接上位機400。具體來說，所述投影設(shè)備100用于投影出上位機400傳送的圖像信息，形成一交互界面；所述交互界面即是用于顯示上位機400傳送的圖像信息，其中，所述圖像信息包括預(yù)設(shè)的圖像、文字數(shù)據(jù)、桌面、菜單、虛擬鍵盤等。所述交互設(shè)備200用于在交互界面上形成交互信息，以及接收用戶的交互指令，將所述交互指令發(fā)送至上位機中。在本實施例中，所述交互設(shè)備可以為激光筆或點觸筆。當(dāng)交互設(shè)備為激光筆時，如圖2所示，所述激光筆包括激光發(fā)光器件10、左鍵按鈕20、右鍵按鈕30、左鍵雙擊按鈕40、無線2. 4G發(fā)送模塊及電源管理模塊50和電池60 (在本實施例中為7號電池)，所述交互信息即用戶使用激光筆在交互界面上(如投影畫面)打出的紅外激光耀斑。當(dāng)所述交互設(shè)備為點觸筆時，如圖3所示，所述點觸筆由一個點觸開關(guān)控制紅外燈的開關(guān)，不需要任何按鍵，其包括點觸筆筆端11、保護蓋12、內(nèi)置電池13和紅外發(fā)光器件14。交互信息為用戶使用點觸筆以點觸的方式在交互畫面上進行交互，點觸筆在用戶點觸瞬間發(fā)出的紅外光?！?br> 所述圖像采集裝置300用于實時獲取交互界面上的圖像信息和交互信息，并將其發(fā)送到上位機400中。在本實施例中，所述圖像采集裝置包括攝像機、與攝像機相連的曝光調(diào)整單元和設(shè)置在攝像機的鏡頭前的濾光片。所述攝像機的攝像頭可以采用CCD或者CMOS等，為了保證采集的圖像信息的精度和準(zhǔn)確性，應(yīng)當(dāng)保證所述攝像頭具有一定的定位精度和速度，如定位精度為O. I個像素，速度為每秒30幀等。為了提高對外界光線的抗干擾性，所述攝像頭可以設(shè)置一濾光片，對外界光線進行過濾，一定程度上降低光線的干擾，大大提高了系統(tǒng)的穩(wěn)定性，并且降低了圖像處理的復(fù)雜度。與攝像機連接的曝光調(diào)整單元，用于調(diào)節(jié)攝像機的曝光時間，使攝像機捕捉的投影在屏幕上的圖像信息的平均灰度值在預(yù)設(shè)的范圍之內(nèi)，如何調(diào)整方法會在后面進行介紹。進一步地，所述上位機還包括一與曝光調(diào)整單元相連的圖像處理單元，用于對攝像機獲取的圖像信息和交互信息進行處理。關(guān)于具體處理步驟也會在后續(xù)進行介紹。所述上位機400用于根據(jù)交互信息和圖像信息，經(jīng)過計算獲得交互信息在交互界面上的位置；同時，上位機400還將交互指令轉(zhuǎn)化為相應(yīng)的鼠標(biāo)按鍵信息，實現(xiàn)鼠標(biāo)的多個按鍵功能，完成人機交互。在本實施例中，所述上位機可以是臺式計算機、筆記本電腦、嵌入式系統(tǒng)等控制器，可以進行數(shù)據(jù)處理及數(shù)據(jù)運行。本發(fā)明還提供了一種基于激光投影定位的人機交互方法，如圖4所示，所述方法包括以下步驟
51、投影設(shè)備將上位機傳送的圖像信息投影出來，形成一交互界面；
52、交互設(shè)備在所述交互界面上形成交互信息；同時交互設(shè)備還接收用戶的交互指令，并將所述交互指令發(fā)送至上位機中；
53、圖像采集裝置實時獲取交互界面上的圖像信息和交互信息，并將其發(fā)送到上位機
中；
54、上位機根據(jù)交互信息和圖像信息，經(jīng)過計算獲得交互信息在交互界面上的位置；同時，上位機還將交互指令轉(zhuǎn)化為相應(yīng)的鼠標(biāo)按鍵信息，實現(xiàn)鼠標(biāo)的多個按鍵功能，完成人機交互。下面通過一個具體例子(以激光筆為例)來說明基于激光投影定位的人機交互方法是如何實現(xiàn)的。請參閱圖5，其為基于激光投影定位的人機交互方法中的硬件結(jié)構(gòu)示意圖。所述激光筆包括USB無線發(fā)射模塊、按鍵和激光頭，上位機通過一 USB無線接收模塊與激光筆的USB無線發(fā)射模塊通訊，所述上位機通過USB連接一用于圖像捕捉的攝像頭。用戶使用激光筆在交互界面上(如投影畫面)打出一個紅外激光耀斑；與此同時，系統(tǒng)實時通過攝像頭采集圖像信息，然后發(fā)送至上位機；當(dāng)上位機接收到新的圖像信息后，經(jīng)過運算獲得激光耀斑所在點的位置，控制程序把鼠標(biāo)或標(biāo)識點移動到相應(yīng)人眼不可見的激光耀斑位置或附近；同時，當(dāng)用戶按下激光筆上的按鍵開關(guān)后，激光筆通過無線發(fā)射模塊把按鍵消息發(fā)出，上位機的USB無線接收模塊接收到按鍵消息后，控制程序把按鍵消息轉(zhuǎn)化為相應(yīng)的鼠標(biāo)按鍵消息，從而實現(xiàn)鼠標(biāo)的多個按鍵功能，完成人機交互全過程。為了實現(xiàn)真正意義上地互動，即通過激光筆真正實現(xiàn)鼠標(biāo)功能。還需要在激光筆上設(shè)置相應(yīng)的按鍵，具體說來，包括鼠標(biāo)左鍵、鼠標(biāo)右鍵、鼠標(biāo)中鍵、左鍵雙擊等。當(dāng)相應(yīng)的按鍵按下，激光筆上的無線發(fā)送模塊會把相應(yīng)按鍵的信息通過無線信號發(fā)送給上位機的USB無線接收模塊，最后上位機就接收到激光筆發(fā)出的按鍵信息，另外結(jié)合所述攝像頭從視頻采集裝置捕捉到的 圖像信息中提取出光標(biāo)的位置信息；產(chǎn)生相應(yīng)的鼠標(biāo)動作。同樣地，當(dāng)交互設(shè)備為點觸筆時，用戶使用點觸筆以點觸的方式在交互畫面上進行交互，點觸筆在用戶點觸的瞬間發(fā)出紅外光，系統(tǒng)實時通過攝像頭采集圖像信息，使用與激光筆一樣的處理方法定位鼠標(biāo)光標(biāo)的位置。點觸筆不含無線模塊，當(dāng)系統(tǒng)檢測到激光筆發(fā)出的紅外光時，就認為有鼠標(biāo)左鍵消息產(chǎn)生。使用這種方式進行交互時，用戶可以直接在投影畫面上進行繪圖、寫字等操作，類似于現(xiàn)行的在觸摸屏幕上實現(xiàn)點觸摸交互方式。為了實現(xiàn)鼠標(biāo)功能，肯定需要計算鼠標(biāo)位置；即首先要計算出激光指示點(即激光束)在圖像中的位置，然后根據(jù)這個位置再計算出鼠標(biāo)在電腦屏幕中的坐標(biāo)?，F(xiàn)有技術(shù)是利用視頻采集裝置(如攝像頭)讀入的圖像坐標(biāo)與鼠標(biāo)在電腦屏幕中的坐標(biāo)的轉(zhuǎn)換來實現(xiàn)的。上面已經(jīng)介紹到了，這一過程很容易受到外界的影響，及時在攝像頭上安裝一濾光片也不能完全解決問題。為了減小這種影響，在使用攝像頭捕捉畫面時，首先讓程序自動調(diào)整攝像頭的曝光時間，調(diào)整到合適的范圍之后，再進行自動標(biāo)定。具體步驟可以如下方法
A、固定攝像頭和投影儀的位置，將攝像頭放在靠近投影儀的地方，并盡量讓攝像頭鏡頭的平面與投影儀鏡頭的平面平行，這樣有利于精度的提高；
B、讓計算機的顯示屏全屏顯示一個全白的圖片，用投影儀將這個全白的圖片投射到屏眷上;
C、預(yù)先設(shè)置攝像頭的一個曝光時間，然后攝像頭開始捕捉畫面，攝像頭捕捉到的畫面除了白色的屏幕外，可能還會有屏幕外的墻壁或者桌面等雜物的干擾。然后，通將攝像頭讀取的圖片轉(zhuǎn)化為灰度圖，再計算出灰度圖的平均灰度值，如果此值不在合適的范圍就增大和減小曝光時間，再繼續(xù)捕捉畫面，調(diào)整曝光時間，直到捕捉到的圖像的平均灰度值在預(yù)設(shè)的范圍之內(nèi)。這時，曝光設(shè)置好了，則可以進一步利用圖像處理單元對圖像進行處理，在讀取的圖像上，先去噪聲然后提取直線，然后檢測直線與直線的夾角是否可以成為矩形的條件，然后找到圖像中的矩形，再把矩形的四個點確定下來。曝光時間調(diào)整好之后，因為激光指示點(即激光束)的亮度遠遠超過投影儀投射出的影像的亮度，減少曝光時間圖像就會變黑，不停地減少曝光時間直到投影影像經(jīng)攝像頭讀回后變?yōu)槿跒橹?。這時候因為激光指示點亮度很高，所以呈現(xiàn)出的效果就是在全黑的圖像上，只能看到激光指示點。投影影響在被讀取之前，進行攝像頭曝光時間的調(diào)整，極大地降低了圖像處理的難度，并且識別激光指示點不會受到周圍環(huán)境光線的影響。計算出鼠標(biāo)的位置。與此同時當(dāng)用戶按下激光筆上的按鍵后，激光筆內(nèi)的無線發(fā)射模塊便將按鍵的信息發(fā)送出去，上位機的USB無線接收模塊接收到按鍵信號后便提交給上位機系統(tǒng)，系統(tǒng)響應(yīng)響應(yīng)的鼠標(biāo)按鍵操作。本系統(tǒng)在計算激光筆耀斑的位置是持續(xù)的，與響應(yīng)激光筆按鍵可以做到并行操作，不像其他的系統(tǒng)只有在按下按鍵后才計算一次耀斑的位置，這樣可以完全真實的模擬鼠標(biāo)的操作。進一步地，位機根據(jù)交互信息和圖像信息計算獲得交互信息在交互界面上的位置具體包括
541、找出交互設(shè)備在交互界面上形成交互信息；·
542、進行消除亮點抖動與運動預(yù)測；
543、根據(jù)交互信息定位鼠標(biāo)。下面分別進行詳細介紹
步驟S41為找出交互設(shè)備在交互界面上形成交互信息，以激光筆為例，即找出激光筆產(chǎn)生的亮點在圖像中的位置。通過攝像頭讀取的圖像因為已經(jīng)過濾掉了可見光，所以圖像幾乎是全黑的，這時如果激光筆照射在屏幕上，圖像上會出現(xiàn)一個很明顯的亮點，但是由于環(huán)境光線的影響，攝像頭讀取的圖像的平均灰度在不同的光照條件下是不相同的。本設(shè)計采用自適應(yīng)閾值的方法對圖像進行二值化處理，之后在找到亮點的重心位置，作為亮點在圖像中的位置。程序的流程圖如圖6所示。步驟S42為消除亮點抖動與運動預(yù)測。在使用激光筆進行互動操作時，因為人手會有抖動、攝像頭噪聲或者激光筆快速運動造成運動模糊的影響，會造成激光點的抖動、跳躍和漏檢，所以激光點的穩(wěn)定和消除抖動很重要，本發(fā)明從三個方面進行激光點的穩(wěn)定和抖動的消除。1，在光點移動時的運動預(yù)測處理，攝像頭在工作時，由于光點運動過快，可能會出現(xiàn)亮點丟失的情況，這樣會造成光標(biāo)的跳躍，對于這種情況，本發(fā)明采用對運動軌跡的預(yù)測的方式，使光標(biāo)在移動時更加平滑。2，在光筆手持不動時，因為人手的顫抖，在相鄰幾幀中，光點的位置會出現(xiàn)不規(guī)則的運動，本發(fā)明針對這種情況，提出了一種檢測不規(guī)則運動的方法，定義了幾種規(guī)則運動模式，如向上向下向左向右，系統(tǒng)在運行時，首先判斷光點是否為規(guī)則運動，如果不是則為不規(guī)則運動，則當(dāng)前幀光點的位置用前一幀圖像中光點的位置代替，這樣可以起到穩(wěn)定光點的作用。3，抖動最嚴重的時候是當(dāng)使用者按下激光筆按鍵的那一瞬間，在人手按下按鍵的時候，不可避免的會發(fā)生抖動，為了使這種影響降到最低，本發(fā)明設(shè)計了一種延時消抖的方法當(dāng)系統(tǒng)檢測有按鍵按下時，立即進入延時狀態(tài)，讓系統(tǒng)等待抖動的結(jié)束，經(jīng)過短暫的延時后再繼續(xù)進行光點位置的判斷。使用這種方法可以有效的避免因按鍵時產(chǎn)生抖動對交互造成的干擾又不影響交互的效果。步驟S43為根據(jù)交互信息定位鼠標(biāo)。為了實現(xiàn)坐標(biāo)位置的轉(zhuǎn)換，首先要在兩個平面中選擇幾對對應(yīng)點作為基準(zhǔn)，然后根據(jù)將第一步中找到的亮點位置計算出在顯示屏中對應(yīng)的位置，即鼠標(biāo)光標(biāo)的位置。因為顯示屏和攝像頭讀取的圖像有可能不是嚴格的矩形，為了增加準(zhǔn)確度，計算坐標(biāo)位置的變換時采用觸摸屏中常用的三點校正算法，此方法的原理與步驟這里不再介紹。三點校正算法需要提供三組對應(yīng)的坐標(biāo)點。更進一步地，在所述步驟S42中進一步包括激光筆無標(biāo)定與點觸筆自標(biāo)定。在計算出激光筆亮點在圖像中的位置之后，還需要通過此信息計算鼠標(biāo)光標(biāo)的位置。本系統(tǒng)通過如下方式實現(xiàn)首先，在顯示屏幕和攝像頭讀取的圖像之間建立一種對應(yīng)關(guān)系。顯示屏幕中的abc三點，分別對應(yīng)于讀取圖像中的a’ b’ c’三點，如圖7所示。在激光筆模式下，由于激光點不可見，并且通過遙控方式遠距離進行操作，鼠標(biāo)光標(biāo)的位置不需要和激光點的位置重合，只要一個相對位置就能模擬鼠標(biāo)的移動。所以可以讓系統(tǒng)自動設(shè)置對應(yīng)點。例如攝像頭讀取的圖像的分辨率是640*480，電腦屏幕的分辨率是1280*1024，那么可以建立這樣的對應(yīng)關(guān)系規(guī)定攝像頭圖像中(0，O)點對應(yīng)電腦屏.的(0，O)點，攝像頭圖像中的(640, 480 )點對應(yīng)電腦屏幕的(1280, 1024)點，攝像頭圖像中的(0，480 )點對應(yīng)電腦屏幕的(0，1024)點。其他坐標(biāo)點的位置可以根據(jù)選擇的幾組對應(yīng)點計算出來。在點觸筆模式下，鼠標(biāo)光標(biāo)的位置要和點觸筆的位置重合，所以在建立對應(yīng)關(guān)系時需要進行標(biāo)定。本發(fā)明采·用一種自標(biāo)定技術(shù)，在標(biāo)定階段，使用紅外光照射出一些特殊的圖案，然后利用攝像頭捕捉紅外光照射出的畫面，通過分析圖像，建立投影平面和點觸筆平面的對應(yīng)關(guān)系，實現(xiàn)點觸筆模式下的自標(biāo)定。綜上所述，本發(fā)明的基于激光投影定位的人機交互方法與系統(tǒng)，其中，所述系統(tǒng)包括投影設(shè)備、交互設(shè)備、圖像采集裝置和上位機，所述圖像采集裝置固定在投影設(shè)備旁，所述交互設(shè)備連接上位機，所述圖像采集裝置和投影設(shè)備分別連接上位機。所述人機交互方法兼顧了傳統(tǒng)鼠標(biāo)按鍵定義方式，以及光標(biāo)位置指示的相對定位方式，具備絕對定位方式光標(biāo)位置指示操作直接感，避免了系統(tǒng)標(biāo)定問題，方便了使用，降低該交互系統(tǒng)對應(yīng)用環(huán)境的要求。應(yīng)當(dāng)理解的是，本發(fā)明的應(yīng)用不限于上述的舉例，對本領(lǐng)域普通技術(shù)人員來說，可以根據(jù)上述說明加以改進或變換，所有這些改進和變換都應(yīng)屬于本發(fā)明所附權(quán)利要求的保護范圍。
權(quán)利要求
1.一種基于激光投影定位的人機交互系統(tǒng)，其特征在于，包括 投影設(shè)備，用于投影出上位機傳送的圖像信息，形成一交互界面； 交互設(shè)備，用于在交互界面上形成交互信息，以及接收用戶的交互指令，將所述交互指令發(fā)送至上位機中； 圖像采集裝置，用于實時獲取交互界面上的圖像信息和交互信息，并將其發(fā)送到上位機中； 上位機，用于根據(jù)交互信息和圖像信息，經(jīng)過計算獲得交互信息在交互界面上的位置；同時，上位機還將交互指令轉(zhuǎn)化為相應(yīng)的鼠標(biāo)按鍵信息，實現(xiàn)鼠標(biāo)的多個按鍵功能，完成人機交互； 所述圖像采集裝置固定在投影設(shè)備旁，所述交互設(shè)備連接上位機，所述圖像采集裝置和投影裝置分別連接上位機。
2.根據(jù)權(quán)利要求I所述的基于激光投影定位的人機交互系統(tǒng)，其特征在于，所述交互設(shè)備為激光筆或點觸筆。
3.根據(jù)權(quán)利要求I所述的基于激光投影定位的人機交互系統(tǒng)，其特征在于，所述圖像采集裝置包括攝像機、與攝像機相連的曝光調(diào)整單元和設(shè)置在攝像機的鏡頭前的濾光片。
4.根據(jù)權(quán)利要求I所述的基于激光投影定位的人機交互系統(tǒng)，其特征在于，所述上位機為臺式計算機、筆記本電腦或嵌入式系統(tǒng)。
5.根據(jù)權(quán)利要求3所述的基于激光投影定位的人機交互系統(tǒng)，其特征在于，所述上位機包括一與曝光調(diào)整單元相連的圖像處理單元，用于對攝像機獲取的圖像信息和交互信息進行處理。
6.一種基于激光投影定位的人機交互方法，其特征在于，所述方法包括以下步驟 51、投影設(shè)備將上位機傳送的圖像信息投影出來，形成一交互界面； 52、交互設(shè)備在所述交互界面上形成交互信息；同時交互設(shè)備還接收用戶的交互指令，并將所述交互指令發(fā)送至上位機中； 53、圖像采集裝置實時獲取交互界面上的圖像信息和交互信息，并將其發(fā)送到上位機中； 54、上位機根據(jù)交互信息和圖像信息，經(jīng)過計算獲得交互信息在交互界面上的位置；同時，上位機還將交互指令轉(zhuǎn)化為相應(yīng)的鼠標(biāo)按鍵信息，實現(xiàn)鼠標(biāo)的多個按鍵功能，完成人機交互。
7.根據(jù)權(quán)利要求6所述的基于激光投影定位的人機交互方法，其特征在于，所述步驟S3中圖像采集裝置實時獲取交互界面上的圖像信息和交互信息具體包括 .531、固定圖像采集裝置的攝像頭和投影設(shè)備的位置，將攝像頭放在靠近投影儀的地方，使攝像頭鏡頭的平面與投影儀鏡頭的平面平行； .532、令上位機的顯示屏全屏顯示一全白的圖片，用投影設(shè)備將這個全白的圖片投射出去; .533、預(yù)先設(shè)置攝像頭的一個曝光時間，然后根據(jù)所述曝光時間，攝像頭開始捕捉畫面，并發(fā)送至上位機中； .534、上位機將攝像頭捕捉的畫面轉(zhuǎn)化為灰度圖，再計算出灰度圖的平均灰度值，并判斷所述平均灰度值是不是在預(yù)先設(shè)定的范圍內(nèi)，如是則完成曝光設(shè)置，否則繼續(xù)捕捉畫面，調(diào)整曝光時間，直到捕捉到的圖像的平均灰度值在預(yù)設(shè)的范圍之內(nèi)。
8.根據(jù)權(quán)利要求7所述的基于激光投影定位的人機交互方法，其特征在于，所述步驟S3中進一步包括 S35、利用圖像處理單元對圖像進行處理，在捕捉到的圖像上，先去噪聲然后提取直線，再檢測直線與直線的夾角是否可以成為矩形的條件，最后找到圖像中的矩形，把矩形的四個點確定下來。
9.根據(jù)權(quán)利要求6所述的基于激光投影定位的人機交互方法，其特征在于，所述步驟S4中上位機根據(jù)交互信息和圖像信息計算獲得交互信息在交互界面上的位置具體包括 541、找出交互設(shè)備在交互界面上形成交互信息； 542、進行消除亮點抖動與運動預(yù)測； 543、根據(jù)交互信息定位鼠標(biāo)。
10.根據(jù)權(quán)利要求9所述的基于激光投影定位的人機交互方法，其特征在于，當(dāng)所述交互設(shè)備為點觸筆時，在所述步驟S42中還包括對點觸筆進行自標(biāo)定。
全文摘要
本發(fā)明公開了一種基于激光投影定位的人機交互方法與系統(tǒng)，其中，所述系統(tǒng)包括投影設(shè)備、交互設(shè)備、圖像采集裝置和上位機，所述圖像采集裝置固定在投影設(shè)備旁，所述交互設(shè)備連接上位機，所述圖像采集裝置和投影設(shè)備分別連接上位機。所述人機交互方法兼顧了傳統(tǒng)鼠標(biāo)按鍵定義方式，以及光標(biāo)位置指示的相對定位方式，具備絕對定位方式光標(biāo)位置指示操作直接感，避免了系統(tǒng)標(biāo)定問題，方便了使用，降低該交互系統(tǒng)對應(yīng)用環(huán)境的要求。
文檔編號G06F3/0354GK102945091SQ20121047127
公開日2013年2月27日 申請日期2012年11月20日 優(yōu)先權(quán)日2012年11月20日
發(fā)明者金勁松 申請人:深圳市中科睿成智能科技有限公司