專利名稱：一種定位交互方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及定位交互技術(shù)，特別是涉及一種可在普通屏幕上徒手實(shí)現(xiàn)交互的定位交互系統(tǒng)。
背景技術(shù)：
基于計(jì)算機(jī)視覺技術(shù)的發(fā)展，近年來已出現(xiàn)多種基于計(jì)算機(jī)視覺技術(shù)和投影顯示技術(shù)來構(gòu)造交互系統(tǒng)，給用戶營(yíng)造一種自然、舒暢的交互操作感受?，F(xiàn)有的交互系統(tǒng)中，主要是通過人手持的交互設(shè)備與投影屏幕，計(jì)算機(jī)系統(tǒng)等建立有接觸，或者無接觸的交互方式實(shí)現(xiàn)。例如，基于壓感技術(shù)的交互書寫裝置，需要將交互書寫裝置與投影屏幕接觸，將接觸的壓力信息通過通訊模塊發(fā)送給計(jì)算機(jī)系統(tǒng)，計(jì)算機(jī)系統(tǒng)將接觸時(shí)的壓力信息轉(zhuǎn)化為相關(guān)文字筆跡信息投影輸出至屏幕上。再有，基于激光技術(shù)、電磁波技術(shù)、紅外線技術(shù)，超聲波技術(shù)的交互書寫裝置，不需要交互書寫裝置與投影屏幕接觸，主要依賴于交互書寫設(shè)備中 各組件模塊進(jìn)行工作。上述接觸式的交互設(shè)備，需要與投影屏幕接觸，因此將用戶的活動(dòng)范圍限制在投影屏幕區(qū)域前；且接觸的投影屏幕需要利用特定的交互式電子白板，安裝和使用均存在局限性。同時(shí)，兩種方式下的交互，都需要利用到特定的交互設(shè)備，需用戶始終持有交互設(shè)備。如用戶沒有攜帶相關(guān)交互設(shè)備，則無法實(shí)現(xiàn)交互。且由于需要用戶手持交互設(shè)備，因此會(huì)涉及用戶手部遮擋信號(hào)的問題，導(dǎo)致交互過程中數(shù)據(jù)丟失，交互過程無法實(shí)時(shí)準(zhǔn)確地進(jìn)行。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是彌補(bǔ)上述現(xiàn)有技術(shù)的不足，提出一種定位交互方法及系統(tǒng)，可通過普通的投影屏幕實(shí)現(xiàn)徒手交互，不再需要依賴特定的交互設(shè)備，也不需要特定的電子白板。本發(fā)明的技術(shù)問題通過以下的技術(shù)方案予以解決
一種定位交互方法，包括以下步驟1)通過投影系統(tǒng)投影形成投影場(chǎng)景，并通過攝像系統(tǒng)拍攝所述投影場(chǎng)景內(nèi)的交互物體以及交互物體陰影的圖像；2)根據(jù)如下步驟處理所述交互物體以及交互物體陰影的圖像得到所述交互物體尖端的位置信息2-1)檢測(cè)圖像上交互物體尖端與交互物體尖端陰影之間的距離；2_2)判斷所述距離是否大于設(shè)定值，如果大于設(shè)定值，則計(jì)算交互物體尖端的三維位置信息；如果小于設(shè)定值，則計(jì)算交互物體尖端的二維位置信息；3)將步驟2)得到的位置信息轉(zhuǎn)化為投影信息，投影到屏幕區(qū)域上。本發(fā)明的技術(shù)問題通過以下進(jìn)一步的技術(shù)方案予以解決
一種定位交互系統(tǒng)，包括投影系統(tǒng)(100)，攝像系統(tǒng)(200)和處理系統(tǒng)(300);所述投影系統(tǒng)(100)用于形成投影場(chǎng)景，將投影信息投射到屏幕區(qū)域；所述攝像系統(tǒng)(200)用于將所述投影場(chǎng)景內(nèi)的交互物體以及交互物體陰影的圖像拍攝下來；所述處理系統(tǒng)(300)接收所述攝像系統(tǒng)(200)拍攝的交互物體以及交互物體陰影圖像，并根據(jù)上述所述步驟2)處理得到所述交互物體尖端的位置信息，并將得到的位置信息轉(zhuǎn)化為投影信息，輸出到所述投影系統(tǒng)。本發(fā)明與現(xiàn)有技術(shù)對(duì)比的有益效果是
本發(fā)明的定位交互方法及系統(tǒng)，通過攝像系統(tǒng)拍攝下投影場(chǎng)景內(nèi)交互物體以及交互物體陰影的圖像，配合處理系統(tǒng)對(duì)交互物體以及交互物體陰影的圖像進(jìn)行處理從而獲取尖端的位置信息，將尖端的位置信息轉(zhuǎn)化為投影信息輸出到投影屏幕區(qū)域后，即可實(shí)現(xiàn)交互。整個(gè)定位交互過程中，用戶不需手持特定的交互設(shè)備，通過手指或者普通細(xì)棒，筆等均可實(shí)現(xiàn)定位交互。同時(shí)投影屏幕為普通投影屏幕并可實(shí)現(xiàn)上述定位交 互過程，不再需要特定的交互式電子白板。


圖I是本發(fā)明具體實(shí)施方式
中的定位交互方法的流程 圖2是本發(fā)明具體實(shí)施方式
中的定位交互方法中第二步的具體流程 圖3是本發(fā)明具體實(shí)施方式
中的定位交互系統(tǒng)的組成示意 圖4是本發(fā)明具體實(shí)施方式
中的定位交互系統(tǒng)的俯視示意圖。
具體實(shí)施例方式下面結(jié)合具體實(shí)施方式
并對(duì)照附圖對(duì)本發(fā)明做進(jìn)一步詳細(xì)說明。如圖I所示，為本具體實(shí)施方式
的定位交互方法的流程圖，包括以下步驟
Pl)通過投影系統(tǒng)投影形成投影場(chǎng)景，并通過攝像系統(tǒng)拍攝所述投影場(chǎng)景內(nèi)的交互物體以及交互物體陰影的圖像。其中，交互物體可為人的手指，人手持的細(xì)棒，普通書寫筆等。本具體實(shí)施方式
中，交互物體直接為人的手指，以指示時(shí)通常會(huì)選擇的食指為例說明。此步驟中，即人手在投影場(chǎng)景中指示投影屏幕區(qū)域上的內(nèi)容時(shí)，投影系統(tǒng)投射的光線被人手遮擋，在投影的屏幕區(qū)域上形成陰影，此時(shí)攝像系統(tǒng)拍攝投影場(chǎng)景內(nèi)人手指及人手指陰影的圖像。食指指示內(nèi)容時(shí)，可接觸投影屏幕區(qū)域從而指示，也可不接觸屏幕區(qū)域僅在投影場(chǎng)景內(nèi)遠(yuǎn)距離指示。P2)處理交互物體以及交互物體陰影的圖像得到所述交互物體尖端的位置信息。具體地，按照?qǐng)D2所示的步驟處理得到位置信息P21)檢測(cè)圖像上交互物體尖端與交互物體尖端陰影之間的距離；P22)判斷所述距離是否大于設(shè)定值，如果大于設(shè)定值，則進(jìn)入步驟P231)計(jì)算交互物體尖端的三維位置信息；如果小于設(shè)定值，則進(jìn)入步驟P232)計(jì)算交互物體尖端的二維位置信息。本具體實(shí)施方式
中，步驟Pl)得到人手及其陰影的圖像后，本步驟中即對(duì)圖像進(jìn)行處理得到食指尖端的空間位置信息。從圖像上判斷食指尖端與食指尖端陰影之間的距離，如果該距離大于設(shè)定值，則表示食指并未觸碰到投影屏幕區(qū)域上，則需要計(jì)算食指在三維空間中的位置信息；如果該距離小于設(shè)定值，則表示食指已觸碰到投影屏幕區(qū)域上，則計(jì)算食指的二維位置信息。通過該步驟的處理，即可判斷出食指對(duì)投影屏幕觸控與否。優(yōu)選地，從人手指以及手指陰影圖像獲取手指尖端陰影的圖像時(shí)，可用人手指陰影上的點(diǎn)進(jìn)行曲線擬合得到手指尖端陰影圖像。這樣，從步驟I)得到的圖像上提取到手指尖端圖像信息以及手指尖端陰影圖像信息后，即可進(jìn)而進(jìn)入步驟P21)至P23)，從而得到手指尖端的位置信息。需說明的是，獲取手指尖端陰影的圖像信息時(shí)，除采用上述曲線擬合的方法外，還可采用其它圖像處理操作如陰影檢測(cè)算法來獲取。上述三維空間的xyz軸分別為，z軸為與投影屏幕區(qū)域所在平面垂直的方向；投影屏幕區(qū)域所在平面即為χ-y平面，y軸為投影屏幕區(qū)域所在平面中沿所述投影系統(tǒng)與所述攝像系統(tǒng)連線的方向，X軸為投影屏幕區(qū)域所在平面中與所述投影系統(tǒng)與所述攝像系統(tǒng)連線方向垂直的方向。所述的二維位置信息，即為上述三維空間中z=0時(shí)，x-y平面的坐標(biāo)信息。而判斷觸控與否的設(shè)定值，則可由定位交互方法的使用者根據(jù)經(jīng)驗(yàn)情況設(shè)定，例如，實(shí)際已觸控到投影屏幕時(shí)圖像上兩者距離為多少，而看上去已觸控到投影屏幕但實(shí)際還未觸控到時(shí)圖像上兩者距離為多少，取兩個(gè)值之間的一個(gè)中間值作為設(shè)定值。P3)將步驟P2)得到的位置信息轉(zhuǎn)換為投影信息，投影到屏幕區(qū)域上，從而實(shí)現(xiàn)定位后的交互輸入。本具體實(shí)施方式
中，還提供一種定位交互系統(tǒng)。如圖3所示，為定位交互系統(tǒng)的組 成示意圖。定位交互系統(tǒng)包括投影系統(tǒng)100，攝像系統(tǒng)200和處理系統(tǒng)300。其中，投影系統(tǒng)100用于形成投影場(chǎng)景，將投影信息投射到屏幕區(qū)域4內(nèi)。攝像系統(tǒng)200用于將所述投影系統(tǒng)100的投影場(chǎng)景內(nèi)的交互物體以及交互物體陰影的圖像拍攝下來。交互物體可為人的手指，人手持的細(xì)棒，普通書寫筆等。本具體實(shí)施方式
中，交互物體直接為人的手指，以指示時(shí)通常會(huì)選擇的食指為例說明。即拍攝下包含有人手5及其陰影6信息的圖像，需要利用的是圖像上人手5的食指尖端、人手陰影6的食指尖端陰影的相關(guān)信息。處理系統(tǒng)300接收攝像系統(tǒng)200拍攝的交互物體以及交互物體陰影圖像，并根據(jù)前述定位交互方法中的所述步驟P2)處理得到所述交互物體尖端的位置信息，并將得到的位置信息轉(zhuǎn)化為投影信息，輸出到所述投影系統(tǒng)100。工作時(shí)，人手5作為交互物體在投影場(chǎng)景中指示投影屏幕區(qū)域上的內(nèi)容時(shí)，投影系統(tǒng)100投射的光線被人手5遮擋，在投影的屏幕區(qū)域4上形成人手陰影6，此時(shí)攝像系統(tǒng)200拍攝投影場(chǎng)景內(nèi)包含人手5及人手陰影6的圖像。處理系統(tǒng)300接收到攝像系統(tǒng)200傳送的圖像后，即對(duì)圖像進(jìn)行處理，得到人手5的食指尖端的位置信息，得到其位置信息后，并將該位置信息結(jié)合時(shí)間信息后，轉(zhuǎn)化為投影信息，將其輸出至投影系統(tǒng)100，由投影系統(tǒng)100投影到屏幕區(qū)域4上，從而實(shí)現(xiàn)定位后的交互式輸入。例如，人手5在投影場(chǎng)景內(nèi)畫出一條直線，則經(jīng)過本具體實(shí)施方式
的定位交互系統(tǒng)后，即可在屏幕區(qū)域的相應(yīng)位置顯示出一條直線。本具體實(shí)施方式
的定位交互方法及系統(tǒng)，通過獲取交互物體及其陰影的圖像后，利用圖像處理得到位置信息，從而實(shí)現(xiàn)定位交互。整個(gè)定位交互過程中，用戶不需手持特定的交互設(shè)備，通過手指或者普通細(xì)棒，筆等均可實(shí)現(xiàn)定位交互，用戶無須攜帶交互設(shè)備，自由方便。由于通過人手手指即可實(shí)現(xiàn)交互，因此不需手持特定交互設(shè)備，也就不存在用戶手部遮擋信號(hào)的問題，數(shù)據(jù)接收完整，交互過程能實(shí)時(shí)準(zhǔn)確地進(jìn)行。同時(shí)投影屏幕為普通投影屏幕并可實(shí)現(xiàn)上述定位交互過程，不再需要特定的交互式電子白板，整個(gè)系統(tǒng)的成本有所降低。優(yōu)選地，投影系統(tǒng)100所在位置與攝像系統(tǒng)200所在位置的連線平行于屏幕區(qū)域4，則處理系統(tǒng)300處理圖像計(jì)算位置信息時(shí)，根據(jù)如下公式計(jì)算得到所述交互物體尖端的三維位置信息中的z軸坐標(biāo)
權(quán)利要求
1.一種定位交互方法，其特征在于包括以下步驟1)通過投影系統(tǒng)投影形成投影場(chǎng)景，并通過攝像系統(tǒng)拍攝所述投影場(chǎng)景內(nèi)的交互物體以及交互物體陰影的圖像；2)根據(jù)如下步驟處理所述交互物體以及交互物體陰影的圖像得到所述交互物體尖端的位置信息2-1)檢測(cè)圖像上交互物體尖端與交互物體尖端陰影之間的距離；2-2)判斷所述距離是否大于設(shè)定值，如果大于設(shè)定值，則計(jì)算交互物體尖端的三維位置信息；如果小于設(shè)定值，則計(jì)算交互物體尖端的二維位置信息；3)將步驟2)得到的位置信息轉(zhuǎn)化為投影信息，投影到屏幕區(qū)域上。
2.根據(jù)權(quán)利要求I所述的定位交互方法，其特征在于所述步驟I)中還包括設(shè)置所述投影系統(tǒng)所在位置與所述攝像系統(tǒng)所在位置的連線平行于投影屏幕區(qū)域；所述步驟2)中根據(jù)如下公式計(jì)算得到所述交互物體尖端的三維位置信息中的z軸坐標(biāo)，
3.根據(jù)權(quán)利要求I所述的定位交互方法，其特征在于所述步驟I)中還包括在所述投影系統(tǒng)中設(shè)置紅外光發(fā)射裝置和在所述攝像系統(tǒng)上安裝紅外濾光片的步驟。
4.根據(jù)權(quán)利要求I所述的定位交互方法，其特征在于所述交互物體為人的手指，人手持的細(xì)棒，普通書寫筆。
5.根據(jù)權(quán)利要求I所述的定位交互方法，其特征在于所述交互物體為人的手指，所述步驟I)中拍攝得到人手指以及手指陰影的圖像；所述步驟2)中還包括對(duì)得到的圖像上手指陰影上的點(diǎn)進(jìn)行曲線擬合得到手指尖端陰影圖像的步驟。
6.一種定位交互系統(tǒng)，其特征在于包括投影系統(tǒng)(100)，攝像系統(tǒng)(200)和處理系統(tǒng)(300);所述投影系統(tǒng)(100)用于形成投影場(chǎng)景，將投影信息投射到屏幕區(qū)域；所述攝像系統(tǒng)(200)用于將所述投影場(chǎng)景內(nèi)的交互物體以及交互物體陰影的圖像拍攝下來；所述處理系統(tǒng)(300)接收所述攝像系統(tǒng)(200)拍攝的交互物體以及交互物體陰影圖像，并根據(jù)權(quán)利要求I中所述步驟2)處理得到所述交互物體尖端的位置信息，并將得到的位置信息轉(zhuǎn)化為投影信息，輸出到所述投影系統(tǒng)。
7.根據(jù)權(quán)利要求6所述的定位交互系統(tǒng)，其特征在于所述投影系統(tǒng)(100)所在位置與所述攝像系統(tǒng)(200)所在位置的連線平行于所述屏幕區(qū)域；所述處理系統(tǒng)(300)中根據(jù)如 下公式計(jì)算得到所述交互物體尖端的三維位置信息中的Z軸坐標(biāo),
8.根據(jù)權(quán)利要求6所述的定位交互系統(tǒng)，其特征在于所述投影系統(tǒng)(100)還包括用于發(fā)射紅外光的紅外光發(fā)射裝置，所述攝像系統(tǒng)(200)上安裝有紅外濾光片。
9.根據(jù)權(quán)利要求6所述的的定位交互系統(tǒng)，其特征在于所述交互物體為人的手指，人手持的細(xì)棒，普通書寫筆。
全文摘要
本發(fā)明公開了一種定位交互方法及系統(tǒng)，定位交互方法包括以下步驟1)通過投影系統(tǒng)投影形成投影場(chǎng)景，并通過攝像系統(tǒng)拍攝投影場(chǎng)景內(nèi)的交互物體以及交互物體陰影的圖像；2)處理交互物體以及交互物體陰影的圖像得到交互物體尖端的位置信息；3)將步驟2)得到的位置信息轉(zhuǎn)化為投影信息，投影到屏幕區(qū)域上。本發(fā)明的定位交互方法及系統(tǒng)，整個(gè)定位交互過程中，用戶不需手持特定的交互設(shè)備，同時(shí)投影屏幕為普通投影屏幕并可實(shí)現(xiàn)上述定位交互過程。
文檔編號(hào)G06F3/01GK102722254SQ20121020499
公開日2012年10月10日 申請(qǐng)日期2012年6月20日 優(yōu)先權(quán)日2012年6月20日
發(fā)明者喬曉蕊, 倪凱, 周倩, 李陽(yáng), 毛樂山 申請(qǐng)人:清華大學(xué)深圳研究生院