專利名稱：一種基于圖像處理技術(shù)的便捷式觸控交互系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種人機(jī)交互系統(tǒng)，尤其是涉及一種基于圖像處理技術(shù)的便捷式觸控交互系統(tǒng)。
背景技術(shù)：
目前，各式各樣的移動(dòng)互聯(lián)網(wǎng)終端已經(jīng)是人們生活必不可少的一部分，例如智能手機(jī)、平板電腦等，這些終端漸漸成為現(xiàn)代人互聯(lián)網(wǎng)接入的主要手段。甚至在現(xiàn)在的發(fā)達(dá)地區(qū)，IPad等智能終端也漸漸進(jìn)入中小學(xué)課堂，代替原來(lái)的課本。而與此同時(shí)人們對(duì)移動(dòng)智能設(shè)備也提出了更高的要求。如更加便攜、使用更加方便等。傳統(tǒng)的交互方式主要有鍵盤，電阻電容式的觸摸屏等，但是傳統(tǒng)的交互方式存在著很大的局限性。如，使用時(shí)無(wú)法解放雙手；屏幕具有固定的大小，無(wú)法適應(yīng)各種情況下的使用；長(zhǎng)時(shí)間使用觸摸屏或手機(jī)鍵盤等亦會(huì)使手部軟骨受傷導(dǎo)致觸屏手、拇指病等；應(yīng)用于教學(xué)也會(huì)使兒童沉迷于虛擬世界而忽視與現(xiàn)實(shí)世界和人際間的交流和互動(dòng)。但是隨著技術(shù)的進(jìn)步，產(chǎn)生了很多基于計(jì)算機(jī)視覺的手勢(shì)識(shí)別的交互方式。按照識(shí)別條件分為標(biāo)記識(shí)別和徒手識(shí)別。標(biāo)記識(shí)別主要依靠硬件或手部的標(biāo)記。如，基于數(shù)據(jù)手套的手語(yǔ)識(shí)別系統(tǒng)，利用手套中的傳感器來(lái)獲取手部的關(guān)節(jié)運(yùn)動(dòng)信息；在手指做上相應(yīng)的顔色標(biāo)記，來(lái)方便攝像頭對(duì)手指部分的分割和檢測(cè)，進(jìn)一歩通過(guò)手勢(shì)分析識(shí)別實(shí)現(xiàn)各種功能和與外界的交互。但是標(biāo)記識(shí)別也有很大的缺點(diǎn)，如數(shù)據(jù)手套使用成本太高，而且，在識(shí)別過(guò)程中需要用戶一直佩戴特定的設(shè)備，使用非常不方便。在徒手識(shí)別方面對(duì)于指尖的檢測(cè)主要有基于指尖曲率算法和模板匹配算法，基于指尖的曲率算法主要根據(jù)指尖和手指曲率的不同來(lái)對(duì)手指進(jìn)行檢測(cè)；模板匹配算法是通過(guò)在輸入圖像上滑動(dòng)圖像塊對(duì)實(shí)際的圖像塊和輸入的圖像進(jìn)行匹配，主要有平方差匹配、相關(guān)匹配和歸ー化匹配。因?yàn)槎夹枰獙?duì)手指進(jìn)行精確的平滑分割，所以都不能在與手部膚色接近的背景下使用。

發(fā)明內(nèi)容
本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供ー種可攜帯、識(shí)別率高、容易實(shí)現(xiàn)、調(diào)和簡(jiǎn)單的基于圖像處理技術(shù)的便捷式觸控交互系統(tǒng)。本發(fā)明的目的可以通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn):一種基于圖像處理技術(shù)的便捷式觸控交互系統(tǒng)，用于在交互載體上的人機(jī)交互，包括投影儀、攝像頭、處理中心和舵機(jī)云臺(tái)，所述的處理中心分別連接投影儀、攝像頭和舵機(jī)云臺(tái)，所述的舵機(jī)云臺(tái)分別連接投影儀和攝像頭；舵機(jī)云臺(tái)跟蹤交互載體，并控制投影儀將交互界面投影到交互載體上，同時(shí)控制攝像頭的拍攝角度，攝像頭拍攝人機(jī)交互過(guò)程傳遞給處理中心，處理中心對(duì)接收到的圖像進(jìn)行預(yù)處理，采用指尖識(shí)別算法識(shí)別人的手勢(shì)。所述的交互載體包括手掌、書本、打印稿或白板。所述的處理中心包括FPGA芯片和處理器，所述的FPGA芯片與處理器通過(guò)PCIe總線通信連接，所述的處理器與投影儀連接，所述的FPGA芯片分別連接攝像頭和舵機(jī)云臺(tái)。所述的FPGA芯片包括視頻解碼單元、PWM發(fā)生單元和同步存儲(chǔ)単元，所述的同步存儲(chǔ)單元與視頻解碼單元連接，所述的視頻解碼単元與攝像頭連接，所述的PWM發(fā)生單元與舵機(jī)云臺(tái)連接。所述的舵機(jī)云臺(tái)為兩自由度舵機(jī)云臺(tái)，該舵機(jī)云臺(tái)上設(shè)有舵機(jī)攝像頭。所述的舵機(jī)云臺(tái)跟蹤交互載體的具體步驟為:11)對(duì)交互載體進(jìn)行平面分割，取出交互載體的中心點(diǎn)P ；12)舵機(jī)攝像頭采集交互載體的圖像；13)對(duì)采集到的圖像進(jìn)行標(biāo)定，去除水平和垂直方向的畸變；14)根據(jù)標(biāo)定的圖像采用以下公式計(jì)算舵機(jī)的轉(zhuǎn)向量e:
權(quán)利要求
1.種基于圖像處理技術(shù)的便捷式觸控交互系統(tǒng)，用于在交互載體上的人機(jī)交互，其特征在于，包括投影儀、攝像頭、處理中心和舵機(jī)云臺(tái)，所述的處理中心分別連接投影儀、攝像頭和舵機(jī)云臺(tái)，所述的舵機(jī)云臺(tái)分別連接投影儀和攝像頭； 舵機(jī)云臺(tái)跟蹤交互載體，并控制投影儀將交互界面投影到交互載體上，同時(shí)控制攝像頭的拍攝角度，攝像頭拍攝人機(jī)交互過(guò)程傳遞給處理中心，處理中心對(duì)接收到的圖像進(jìn)行預(yù)處理，采用指尖識(shí)別算法識(shí)別人的手勢(shì)。
2.據(jù)權(quán)利要求1所述的ー種基于圖像處理技術(shù)的便捷式觸控交互系統(tǒng)，其特征在于，所述的交互載體包括手掌、書本、打印稿或白板。
3.據(jù)權(quán)利要求1所述的ー種基于圖像處理技術(shù)的便捷式觸控交互系統(tǒng)，其特征在于，所述的處理中心包括FPGA芯片和處理器，所述的FPGA芯片與處理器通過(guò)PCIe總線通信連接，所述的處理器與投影儀連接，所述的FPGA芯片分別連接攝像頭和舵機(jī)云臺(tái)。
4.據(jù)權(quán)利要求3所述的ー種基于圖像處理技術(shù)的便捷式觸控交互系統(tǒng)，其特征在于，所述的FPGA芯片包括視頻解碼單元、PWM發(fā)生單元和同步存儲(chǔ)単元，所述的同步存儲(chǔ)單元與視頻解碼單元連接，所述的視頻解碼単元與攝像頭連接，所述的PWM發(fā)生單元與舵機(jī)云臺(tái)連接。
5.據(jù)權(quán)利要求3所述的ー種基于圖像處理技術(shù)的便捷式觸控交互系統(tǒng)，其特征在于，所述的舵機(jī)云臺(tái)為兩自由度舵機(jī)云臺(tái)，該舵機(jī)云臺(tái)上設(shè)有舵機(jī)攝像頭。
6.據(jù)權(quán)利要求5所述的ー種基于圖像處理技術(shù)的便捷式觸控交互系統(tǒng)，其特征在于，所述的舵機(jī)云臺(tái)跟蹤交互載體的具體步驟為: 11)對(duì)交互載體進(jìn)行平面分割，取出交互載體的中心點(diǎn)P; 12)舵機(jī)攝像頭采集交互 載體的圖像； 13)對(duì)采集到的圖像進(jìn)行標(biāo)定，去除水平和垂直方向的畸變； 14)根據(jù)標(biāo)定的圖像采用以下公式計(jì)算舵機(jī)的轉(zhuǎn)向量0: ^afl-c) B = Mdm- 6(1+ c) 其中,= c = Lcp:Lpb, 0。為舵機(jī)攝像頭的視場(chǎng)角,舵機(jī)攝像頭位于O Jutム點(diǎn)，B、C為圖像的邊緣點(diǎn)。
7.據(jù)權(quán)利要求3所述的ー種基于圖像處理技術(shù)的便捷式觸控交互系統(tǒng)，其特征在于，所述的FPGA芯片與舵機(jī)云臺(tái)間連接有電平變換單元，該電平變換單元由兩個(gè)三極管連接而成。
8.據(jù)權(quán)利要求1所述的ー種基于圖像處理技術(shù)的便捷式觸控交互系統(tǒng)，其特征在于，所述的指尖識(shí)別算法包括直接識(shí)別步驟和間接識(shí)別步驟，所述的直接識(shí)別步驟具體為:在指尖進(jìn)行交互載體前，采用特征向量法識(shí)別出指尖，選取兩個(gè)參考點(diǎn)，計(jì)算并記錄識(shí)別出的指尖與兩個(gè)參考點(diǎn)的距離和角度信息； 所述的間接識(shí)別步驟具體為:指尖進(jìn)行交互載體后，首先識(shí)別出兩個(gè)參考點(diǎn)的位置，根據(jù)直接識(shí)別步驟記錄的距離和角度信息以及當(dāng)前參考點(diǎn)的位置重構(gòu)出指尖，并計(jì)算當(dāng)前指尖的位置。
9.據(jù)權(quán)利要求8所述的ー種基于圖像處理技術(shù)的便捷式觸控交互系統(tǒng)，其特征在于，所述的特征向量法具體為: 21)在經(jīng)預(yù)處理后得到的ニ值圖像中，以白色像素點(diǎn)作為前景，黒色像素點(diǎn)作為背景； 22)假設(shè)要計(jì)算的像素點(diǎn)為(iO，jO)，以(iO，jO)為中心畫n個(gè)正方形，n為特征向量的維度，第k個(gè)正方 形的邊到(iO，jO)的棋盤距離為k個(gè)像素點(diǎn)，k = 1,2,…，n ; 23)對(duì)各正方形的邊長(zhǎng)經(jīng)過(guò)的前景像素點(diǎn)的個(gè)數(shù)進(jìn)行計(jì)數(shù)，第k個(gè)正方形的計(jì)數(shù)值對(duì)應(yīng)特征向量第k維的值； 24)將計(jì)算得到的特征向量 與標(biāo)準(zhǔn)模板的特征值采用平方差匹配法進(jìn)行匹配，識(shí)別出指尖。
全文摘要
本發(fā)明涉及一種基于圖像處理技術(shù)的便捷式觸控交互系統(tǒng)，用于在交互載體上的人機(jī)交互，包括投影儀、攝像頭、處理中心和舵機(jī)云臺(tái)，所述的處理中心分別連接投影儀、攝像頭和舵機(jī)云臺(tái)，所述的舵機(jī)云臺(tái)分別連接投影儀和攝像頭；舵機(jī)云臺(tái)跟蹤交互載體，并控制投影儀將交互界面投影到交互載體上，同時(shí)控制攝像頭的拍攝角度，攝像頭拍攝人機(jī)交互過(guò)程傳遞給處理中心，處理中心對(duì)接收到的圖像進(jìn)行預(yù)處理，采用指尖識(shí)別算法識(shí)別人的手勢(shì)。與現(xiàn)有技術(shù)相比，本發(fā)明通過(guò)舵機(jī)對(duì)交互載體進(jìn)行跟蹤，并通過(guò)新穎的指尖識(shí)別算法對(duì)指尖進(jìn)行識(shí)別，具有可攜帶性、識(shí)別率高、容易實(shí)現(xiàn)、配置方便等優(yōu)點(diǎn)。
文檔編號(hào)G06F3/042GK103092437SQ201210541698
公開日2013年5月8日 申請(qǐng)日期2012年12月13日 優(yōu)先權(quán)日2012年12月13日
發(fā)明者葉晨, 居征宇, 簡(jiǎn)榮軍, 陳偉, 周文宗 申請(qǐng)人:同濟(jì)大學(xué)