一種紅外精準(zhǔn)多點(diǎn)觸控平臺的制作方法
【專利摘要】一種紅外精準(zhǔn)多點(diǎn)觸控平臺，包括硬件系統(tǒng)部分和軟件系統(tǒng)部分，所述硬件系統(tǒng)部分包括紅外光發(fā)射管陣列、觸摸屏、攝像頭、計(jì)算機(jī)和投影儀，所述軟件系統(tǒng)部分包括觸點(diǎn)追蹤模塊和手勢識別模塊，所述觸點(diǎn)追蹤模塊包括圖像處理子模塊、觸點(diǎn)輪廓提取子模塊和觸點(diǎn)追蹤子模塊，所述手勢識別模塊包括多點(diǎn)觸摸手勢分析定義子模塊、手勢識別判斷子模塊和手勢驅(qū)動(dòng)子模塊。本發(fā)明通過與特定攝像頭捕捉紅外線的變化再回饋到計(jì)算機(jī)里面進(jìn)行定位處理來實(shí)現(xiàn)人機(jī)智能互動(dòng)，在硬件上具有識別精度高、成本低、結(jié)構(gòu)簡單、升級方便等優(yōu)勢，在軟件上具有程序簡潔易懂，易操作、易擴(kuò)展、移植性強(qiáng)、適應(yīng)性強(qiáng)等特點(diǎn)，能夠保障軟硬件系統(tǒng)協(xié)調(diào)工作運(yùn)行流暢，實(shí)現(xiàn)簡單。
【專利說明】一種紅外精準(zhǔn)多點(diǎn)觸控平臺

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于紅外觸摸【技術(shù)領(lǐng)域】，尤其涉及一種紅外精準(zhǔn)多點(diǎn)觸控平臺。

【背景技術(shù)】
[0002]紅外多點(diǎn)觸摸系統(tǒng)在硬件上是利用X、Y方向上密布的紅外線矩陣來檢測并定位人的觸摸手勢的電子設(shè)備。紅外觸摸屏在顯示器的前面安裝一個(gè)電路板外框，電路板在屏幕四邊排布紅外發(fā)射管和紅外接收管，一一對應(yīng)形成橫豎交叉的紅外線矩陣。手指在觸摸屏幕時(shí)，就會擋住經(jīng)過該位置的橫豎兩條紅外線，因而可以判斷出觸摸點(diǎn)在屏幕的坐標(biāo)位置，任何非透明物體都可改變觸點(diǎn)上的紅外線而實(shí)現(xiàn)觸摸屏操作。
[0003]紅外多點(diǎn)觸摸系統(tǒng)是相對于單點(diǎn)紅外屏和虛擬兩點(diǎn)紅外屏的一種觸摸產(chǎn)品，是紅外觸摸屏的一種技術(shù)革新，它的原理主要靠固件中軟件的算法來解決兩點(diǎn)以上同時(shí)觸摸操作的不干擾問題。真兩點(diǎn)和虛擬兩點(diǎn)的區(qū)別表現(xiàn)在高穩(wěn)定性和快速響應(yīng)上，不會跳點(diǎn)、跑點(diǎn)等誤操作。
[0004]早期的紅外觸摸屏存在分辨率低、觸摸方式受限制和易受環(huán)境干擾而誤動(dòng)作等技術(shù)上的局限，因而一度淡出過市場。此后第二代紅外屏部分解決了抗光干擾的問題，第三代和第四代在提升分辨率和穩(wěn)定性能上亦有所改進(jìn)。紅外觸摸屏與電容電阻屏的明顯優(yōu)勢是不受電流、電壓和靜電干擾，適宜惡劣的環(huán)境條件。紅外線技術(shù)是觸摸屏產(chǎn)品主流的發(fā)展趨勢，采用聲學(xué)和其它材料學(xué)技術(shù)的觸屏都有其難以逾越的屏障，如單一傳感器的受損、老化，觸摸界面怕受污染、破壞性使用，維護(hù)繁雜等問題。紅外線觸摸屏只要真正實(shí)現(xiàn)了高穩(wěn)定性能和高分辨率，必將替代其它技術(shù)產(chǎn)品而成為觸摸屏市場主流。
[0005]隨著科技的不斷發(fā)展，多點(diǎn)觸摸技術(shù)已經(jīng)取得了巨大的發(fā)展，人們對于觸摸的要求越來越高，傳統(tǒng)的紅外觸摸已經(jīng)無法滿足市場的需要，多點(diǎn)觸摸技術(shù)已經(jīng)從傳統(tǒng)的兩點(diǎn)觸摸時(shí)代進(jìn)入了真正的多點(diǎn)觸摸觸控時(shí)代。
[0006]紅外多點(diǎn)觸摸屏憑借其體積小、穩(wěn)定性強(qiáng)、抗光性高以及低成本的有利優(yōu)勢，可以輕易的集成在產(chǎn)品之中，相比較傳統(tǒng)的紅外觸摸技術(shù)，紅外多點(diǎn)觸摸屏能夠準(zhǔn)確的檢測多個(gè)觸摸點(diǎn)，滿足各個(gè)行業(yè)，各種產(chǎn)品的不同需求，必將在不久的將來取代傳統(tǒng)的觸摸技術(shù)。
[0007]紅外多點(diǎn)觸摸屏的產(chǎn)生與應(yīng)用，方便了人們對于數(shù)字生活的操作使用，真正實(shí)現(xiàn)了一個(gè)完整的人機(jī)互動(dòng)體系,紅外多點(diǎn)觸摸技術(shù)從各種觸摸技術(shù)之中脫穎而出，已經(jīng)開始取代鼠標(biāo)、書寫板甚至是鍵盤的使用，逐漸成為了觸摸屏市場未來發(fā)展的方向。紅外多點(diǎn)觸摸屏的發(fā)展也越來越呈現(xiàn)出多元化、專業(yè)化、簡單化和大屏幕化等趨勢。
[0008]隨著科技的不斷發(fā)展與進(jìn)步，觸摸技術(shù)也獲得了不斷創(chuàng)新與發(fā)展，紅外觸屏技術(shù)也經(jīng)歷了從單點(diǎn)識別，到兩點(diǎn)識別，再到目前的多點(diǎn)識別，然而目前市場上已有的多點(diǎn)紅外觸摸技術(shù)的產(chǎn)品，還沒有一種既在硬件上能滿足用戶需求，也在軟件上操作便捷，高移植性和高擴(kuò)展性的紅外精準(zhǔn)多點(diǎn)觸控平臺出現(xiàn)。


【發(fā)明內(nèi)容】

[0009]本發(fā)明的目的在于提供一種紅外精準(zhǔn)多點(diǎn)觸控平臺，從而解決【背景技術(shù)】中存在的問題。
[0010]本發(fā)明所解決的技術(shù)問題采用以下技術(shù)方案來實(shí)現(xiàn):
一種紅外精準(zhǔn)多點(diǎn)觸控平臺，包括硬件系統(tǒng)部分和軟件系統(tǒng)部分，所述硬件系統(tǒng)部分包括紅外光發(fā)射管陣列、觸摸屏、攝像頭、計(jì)算機(jī)和投影儀，所述軟件系統(tǒng)部分包括觸點(diǎn)追蹤模塊和手勢識別模塊，所述觸點(diǎn)追蹤模塊包括圖像處理子模塊、觸點(diǎn)輪廓提取子模塊和觸點(diǎn)追蹤子模塊，所述手勢識別模塊包括多點(diǎn)觸摸手勢分析定義子模塊、手勢識別判斷子模塊和手勢驅(qū)動(dòng)子模塊。
[0011]所述紅外光發(fā)射管陣列提供紅外光源，所述觸摸屏用于接收用戶觸摸操作，所述攝像頭用于捕獲手指反射的紅外光圖像，所述計(jì)算機(jī)完成觸點(diǎn)跟蹤，手勢識別以及手勢操作屏幕對象的點(diǎn)擊、放大、縮小功能，所述投影儀則用于顯示最終處理結(jié)果。
[0012]所述圖像處理子模塊的功能是進(jìn)行圖像預(yù)處理操作，包括視頻流捕獲，圖像色彩空間轉(zhuǎn)換和圖像去除背景處理，然后對包含觸點(diǎn)對象的前景圖像進(jìn)行處理，包括圖像平滑、模糊處理，以及形態(tài)學(xué)操作，使圖像中非主體部分的干擾程度達(dá)到最小。
[0013]所述觸點(diǎn)輪廓提取子模塊的功能是提取所有觸點(diǎn)的外輪廓，計(jì)算并保存每個(gè)輪廓中心的X坐標(biāo)和I坐標(biāo)，在此過程中依據(jù)設(shè)置的輪廓閾值大小，排除無效觸點(diǎn)。
[0014]所述觸點(diǎn)追蹤子模塊的功能是依據(jù)連續(xù)兩幀圖像內(nèi)觸點(diǎn)中心坐標(biāo)移動(dòng)距離的長短，判斷哪些觸點(diǎn)是新出現(xiàn)的觸點(diǎn)，哪些與之前存在的觸點(diǎn)相同，追蹤到圖像中的觸點(diǎn)對象后，還需要對其進(jìn)行歸一化處理，這樣方便移植到其他尺寸的顯示設(shè)備上，然后封裝數(shù)據(jù)為TU1數(shù)據(jù)包并通過Socket通信方式發(fā)送給手勢識別模塊。
[0015]所述手勢識別模塊的功能是負(fù)責(zé)接收到觸點(diǎn)追蹤模塊發(fā)送的數(shù)據(jù)包后，按照TU1協(xié)議格式分析數(shù)據(jù)包相應(yīng)的字節(jié)信息，根據(jù)觸點(diǎn)的狀態(tài)信息和坐標(biāo)集合分析觸點(diǎn)運(yùn)行軌跡的形狀，識別出觸摸手勢，然后匹配手勢完成對應(yīng)的操作。
[0016]所述圖像處理子模塊包括預(yù)處理模塊、圖像增強(qiáng)模塊、圖像形態(tài)學(xué)處理模塊:
(O圖像預(yù)處理模塊:負(fù)責(zé)完成對圖像的預(yù)處理操作，包括視頻流的捕獲過程，圖像色彩空間轉(zhuǎn)換的過程和圖像背景去除處理，用于去除噪點(diǎn)比較多的背景圖像，為后續(xù)的圖像處理操作提供只包含觸點(diǎn)對象的前景圖像；
(2)圖像增加模塊:負(fù)責(zé)對去除背景后的灰度圖像進(jìn)行自適應(yīng)取閾值操作，并依據(jù)找到的合適閾值二值化圖像，以及使用中值濾波器、高通模糊平滑圖像。使用上述操作進(jìn)行圖像增強(qiáng)的目的是為了改進(jìn)圖片的質(zhì)量，如增加對比度、去掉模糊和噪聲、修正幾何畸變。圖像增強(qiáng)可以將圖像轉(zhuǎn)換為更適合人或機(jī)器分析的形式，對拍攝條件有限情況下得到的圖片有很好的應(yīng)用；
(3)圖像形態(tài)學(xué)處理模塊:主要實(shí)現(xiàn)使用腐蝕操作和膨脹操作對二值圖像進(jìn)行特征提取和邊界檢測操作。這種形態(tài)學(xué)操作可以簡化圖像數(shù)據(jù)，保持他們基本的形狀特征，并去除不相關(guān)的結(jié)構(gòu)。對圖像進(jìn)行腐蝕操作和膨脹操作以后，觸點(diǎn)的輪廓邊界清晰可見，一些輪廓上的噪點(diǎn)以及不相關(guān)的結(jié)構(gòu)被去除掉，這樣更易于后續(xù)的提取觸點(diǎn)輪廓操作。
[0017]所述觸點(diǎn)輪廓提取子模塊包括輪廓提取模塊、輪廓中心坐標(biāo)計(jì)算模塊和無效觸點(diǎn)排除模塊:
(I)輪廓提取模塊:依據(jù)輪廓邊緣界定值，在二值圖像中提取所有觸點(diǎn)的外輪廓并保存相關(guān)數(shù)據(jù)；
(2)輪廓中心坐標(biāo)計(jì)算模塊依據(jù)觸點(diǎn)輪廓上的灰度值以及其X，y坐標(biāo)，計(jì)算并存儲觸點(diǎn)輪廓的中心坐標(biāo)；
(3)無效觸點(diǎn)排除模塊則依據(jù)提取到的外輪廓面積和周長閾值，對無效手指觸點(diǎn)進(jìn)行排除處理。
[0018]所述手勢識別模塊包括多點(diǎn)觸摸手勢分析定義子模塊、手勢識別判斷子模塊和手勢驅(qū)動(dòng)子模塊:
(1)所述多點(diǎn)觸摸手勢分析定義子模塊負(fù)責(zé)從系統(tǒng)平臺和項(xiàng)目任務(wù)出發(fā)來決定交換手勢庫的方法，分別對應(yīng)多種交互式手勢以及手勢對應(yīng)的手指動(dòng)作；
(2)所述手勢識別判斷子模塊負(fù)責(zé)把接收到的數(shù)據(jù)包按照TU1協(xié)議格式進(jìn)行分析，取出觸點(diǎn)的相應(yīng)信息，然后以對象的形式將觸點(diǎn)的運(yùn)行軌跡、狀態(tài)信息保存起來。一旦觸點(diǎn)全部離開觸摸屏幕則表示觸摸手勢結(jié)束，這時(shí)開始對該觸點(diǎn)對象保存的數(shù)據(jù)信息進(jìn)行分析處理，并依據(jù)當(dāng)前屏幕上的觸點(diǎn)個(gè)數(shù)，以及觸點(diǎn)的實(shí)際運(yùn)行軌跡形狀進(jìn)行手勢識別；
(3)所述手勢驅(qū)動(dòng)子模塊負(fù)責(zé)根據(jù)手勢識別子模塊的識別結(jié)果，結(jié)合業(yè)務(wù)系統(tǒng)需求來完成實(shí)際的手勢業(yè)務(wù)操作。
[0019]本發(fā)明具有以下有益效果:
本發(fā)明提供了一種紅外精準(zhǔn)多點(diǎn)觸控平臺，是一種高效而實(shí)用的手指多點(diǎn)觸摸采集、識別、處理平臺，通過與特定攝像頭捕捉紅外線的變化再回饋到計(jì)算機(jī)里面進(jìn)行定位處理來實(shí)現(xiàn)人機(jī)智能互動(dòng)，當(dāng)用戶的手觸摸到玻璃上時(shí)，可以手就代替鼠標(biāo)功能，有點(diǎn)擊和拖動(dòng)的功能。本發(fā)明兼容Win7/WinXP系統(tǒng)，內(nèi)存占用低，在硬件上具有識別精度高、成本低、結(jié)構(gòu)簡單、升級方便等優(yōu)勢，在軟件上具有程序簡潔易懂，易操作、易擴(kuò)展、移植性強(qiáng)、適應(yīng)性強(qiáng)等特點(diǎn)，能夠保障軟硬件系統(tǒng)協(xié)調(diào)工作運(yùn)行流暢，實(shí)現(xiàn)簡單。

【專利附圖】

【附圖說明】
[0020]圖1為本發(fā)明圖像預(yù)處理過程流程圖；
圖2為本發(fā)明圖像增強(qiáng)處理過程流程圖；
圖3為本發(fā)明觸點(diǎn)輪廓提取處理過程流程圖。

【具體實(shí)施方式】
[0021]為了使本發(fā)明實(shí)現(xiàn)的技術(shù)手段、創(chuàng)作特征、達(dá)成目的與功效易于明白了解，下面結(jié)合具體圖示，進(jìn)一步闡述本發(fā)明。
[0022]一種紅外精準(zhǔn)多點(diǎn)觸控平臺，包括硬件系統(tǒng)部分和軟件系統(tǒng)部分，硬件系統(tǒng)部分采用Rear-DI技術(shù)搭建的基于光學(xué)和計(jì)算機(jī)視覺的多點(diǎn)觸摸技術(shù)平臺，平臺的實(shí)現(xiàn)原理是使用紅外光源照射投影屏幕形成均勻的照射效果，當(dāng)有手指觸摸屏幕時(shí)，紅外光會被反射形成陰影，從而被紅外攝像頭捕獲。包括硬件系統(tǒng)部分和軟件系統(tǒng)部分，硬件系統(tǒng)部分包括紅外光發(fā)射管陣列、觸摸屏、攝像頭、計(jì)算機(jī)和投影儀，其中紅外光發(fā)射管陣列可以提供紅外光源，紅外觸摸屏捕獲觸摸屏上手指反射的紅外光圖像，觸點(diǎn)追蹤模塊識別紅外光圖像，提取觸點(diǎn)輪廓，并計(jì)算輪廓中心坐標(biāo)，最后取得手指觸摸點(diǎn)的空間位置，追蹤觸點(diǎn)的移動(dòng)軌跡。追蹤到的觸點(diǎn)移動(dòng)軌跡信息，以及觸點(diǎn)的狀態(tài)信息會被發(fā)送給手勢識別模塊。手勢識別模塊完成對手勢的識別任務(wù)，并依據(jù)識別出來的手勢完成預(yù)先定義的業(yè)務(wù)操作，并將處理結(jié)果經(jīng)過投影儀投影到觸摸屏幕上，從而通過硬件系統(tǒng)以及建立在硬件系統(tǒng)上的軟件系統(tǒng)，實(shí)現(xiàn)多點(diǎn)觸摸手勢直接操作控制。
[0023]軟件系統(tǒng)部分包括觸點(diǎn)追蹤模塊和手勢識別模塊，觸點(diǎn)追蹤模塊包括圖像處理子模塊、觸點(diǎn)輪廓提取子模塊和觸點(diǎn)追蹤子模塊，手勢識別模塊包括多點(diǎn)觸摸手勢分析定義子模塊、手勢識別判斷子模塊和手勢驅(qū)動(dòng)子模塊；觸點(diǎn)輪廓提取子模塊包括輪廓提取模塊、輪廓中心坐標(biāo)計(jì)算模塊和無效觸點(diǎn)排除模塊；手勢識別模塊包括多點(diǎn)觸摸手勢分析定義子模塊、手勢識別判斷子模塊和手勢驅(qū)動(dòng)子模塊。
[0024]圖像處理模塊負(fù)責(zé)首先進(jìn)行圖像預(yù)處理操作，包括視頻流捕獲，圖像色彩空間轉(zhuǎn)換和圖像去除背景處理，然后對包含觸點(diǎn)對象的前景圖像進(jìn)行處理，包括圖像平滑、模糊處理，以及形態(tài)學(xué)等操作，使圖像中非主體部分的干擾程度達(dá)到最小。
[0025]圖像處理子模塊負(fù)責(zé)完成對圖像的預(yù)處理操作，包括視頻流的捕獲過程，圖像色彩空間轉(zhuǎn)換的過程和圖像背景去除處理，用于去除噪點(diǎn)比較多的背景圖像，為后續(xù)的圖像處理操作提供只包含觸點(diǎn)對象的前景圖像。
[0026]如圖1所示的圖像預(yù)處理的流程圖可以看出首先完成視頻流捕獲，系統(tǒng)使用攝像機(jī)捕獲手指操作視頻流，通過調(diào)用OpenCV庫函數(shù)完成視頻流讀取。首先定義用于控制攝像頭并獲取視頻流的CvCapture結(jié)構(gòu)，再定義用來存放視頻每一巾貞圖像的結(jié)構(gòu)體,然后創(chuàng)建顯示原始視頻的窗口 Video,以及顯示處理后視頻的窗口 Foreground,讀取攝像頭視頻流，設(shè)置循環(huán)讀取的每一幀，如果是第一幀圖像，則還需要申請內(nèi)存并進(jìn)行初始化，如果不是第一幀圖像，則開始對圖像進(jìn)行處理并追蹤觸點(diǎn)的移動(dòng)軌跡。在讀取完視頻流后，銷毀窗口并釋放圖像。然后進(jìn)行圖像色彩空間轉(zhuǎn)換處理，在實(shí)現(xiàn)上采用OpenCV提供的cvCvtColorO函數(shù)實(shí)現(xiàn)將圖像進(jìn)行色彩空間轉(zhuǎn)換，再將圖片格式轉(zhuǎn)化為矩陣格式后供后續(xù)操作使用。最后進(jìn)行圖像背景去除處理，在視頻圖像的第一幀中，往往手指觸點(diǎn)還未出現(xiàn)的時(shí)候，來保存第一幀圖像為背景圖像，以后讀取的每一幀圖像均為背景圖像的灰度矩陣做相減法處理，計(jì)算結(jié)果為零處，則將此處矩陣中對應(yīng)的灰度值置為O ;相減結(jié)果不為零處，則將此處的灰度值為相減結(jié)果后的絕對值。
[0027]圖像增強(qiáng)模塊的實(shí)現(xiàn)主要是使用OSTU算法對去除背景后的灰度圖像進(jìn)行自適應(yīng)取閾值操作，并依據(jù)找到的合適的閾值二值化圖像，以及使用中值濾波器、高通模糊平滑圖像。使用這些操作進(jìn)行圖像增強(qiáng)的目的是為了改進(jìn)圖片的質(zhì)量，如增加對比度、去掉模糊和噪聲、修正幾何畸變等。圖像增強(qiáng)可以將圖像轉(zhuǎn)換為更適合人或機(jī)器分析的形式，對拍攝條件有限情況下得到的圖片有很好的應(yīng)用。
[0028]如圖2所示的圖像增強(qiáng)處理過程流程圖，在具體實(shí)現(xiàn)上首先使用OSTU算法，依據(jù)圖像中的灰度均值以及最大類間方差，找到灰度圖像中合適的閾值，然后通過函數(shù)cvThreshoId對圖像進(jìn)行灰度值分割處理，將圖像中灰度值在閥值以下的點(diǎn)置為O，反之置為255，得到的圖像黑白對比度強(qiáng)烈，除了觸點(diǎn)位置為亮色，其他部位一律為黑色，這樣有利于清晰分離出觸點(diǎn)對象，提取出觸點(diǎn)的輪廓。圖像的平滑處理，主要使用函數(shù)CvSm00th()實(shí)現(xiàn)中值濾波平滑圖像和高斯模糊平滑圖像，用以去除圖像中的噪點(diǎn)和模糊部分，提高圖像清晰度。
[0029]圖像形態(tài)學(xué)處理模塊在實(shí)現(xiàn)上主要使用腐蝕操作和膨脹操作對二值圖像進(jìn)行特征提取和邊界檢測等操作。形態(tài)學(xué)操作可以簡化圖像數(shù)據(jù)，保持他們基本的形狀特征，并去除不相關(guān)的結(jié)構(gòu)。使用OpenCV的函數(shù)cvErode ()和函數(shù)cvDilate ()實(shí)現(xiàn)對二值圖像的形態(tài)學(xué)處理。對圖像進(jìn)行腐蝕操作和膨脹操作以后，觸點(diǎn)的輪廓邊界清晰可見，一些輪廓上的噪點(diǎn)以及不相關(guān)的結(jié)構(gòu)被去除掉，易于后續(xù)的提取觸點(diǎn)輪廓操作。
[0030]觸點(diǎn)輪廓提取過程，包括觸點(diǎn)輪廓提取、輪廓中心坐標(biāo)計(jì)算和無效觸點(diǎn)排除處理這三個(gè)部分。觸點(diǎn)輪廓提取依據(jù)輪廓邊緣界定值，在二值圖像中提取所有觸點(diǎn)的外輪廓并保存相關(guān)數(shù)據(jù)。輪廓中心坐標(biāo)計(jì)算過程依據(jù)觸點(diǎn)輪廓上的灰度值以及其x，y坐標(biāo)，計(jì)算并存儲觸點(diǎn)輪廓的中心坐標(biāo)。無效觸點(diǎn)排除過程則依據(jù)提取到的外輪廓面積和周長閾值，對無效手指觸點(diǎn)進(jìn)行排除處理。
[0031]如圖3所示的觸點(diǎn)輪廓提取流程圖,在具體實(shí)現(xiàn)上使用cvFindContours函數(shù)可以實(shí)現(xiàn)從二值圖像中檢索輪廓，并返回檢測到的輪廓的個(gè)數(shù)和第一個(gè)輪廓的指針，然后可得到圖像中第一個(gè)外輪廓的指針contour,算法使用h_next循環(huán)讀取每一個(gè)觸點(diǎn)輪廓指針，得到每一個(gè)觸點(diǎn)外輪廓，然后經(jīng)過零階矩公式計(jì)算得出輪廓中心坐標(biāo)。然后在獲取到觸點(diǎn)的輪廓面積和輪廓周長后，需要依據(jù)設(shè)置的面積閾值:400-450像素和周長閾值:80-100像素來判斷當(dāng)前觸點(diǎn)輪廓是否在規(guī)定閾值范圍內(nèi)，若不在則視為無效觸點(diǎn)輪廓，舍棄該觸點(diǎn)；否則為有效觸點(diǎn)輪廓，繼續(xù)執(zhí)行后續(xù)操作。
[0032]觸點(diǎn)追蹤實(shí)現(xiàn)判斷哪些觸點(diǎn)是新出現(xiàn)的觸點(diǎn)，哪些與之前存在的觸點(diǎn)相同，追蹤到圖像中的觸點(diǎn)對象后，還需要對其進(jìn)行歸一化處理，這樣方便移植到其他尺寸的顯示設(shè)備上，然后封裝數(shù)據(jù)為TU1數(shù)據(jù)包并通過Socket通信方式發(fā)送出去。觸點(diǎn)追蹤觸點(diǎn)部分的實(shí)現(xiàn)過程，包括數(shù)據(jù)包封裝過程，觸點(diǎn)追蹤模塊和GIS手勢識別模塊之間的數(shù)據(jù)通信協(xié)議，以及觸點(diǎn)的狀態(tài)信息。
[0033]手勢識別模塊負(fù)責(zé)接收到觸點(diǎn)追蹤模塊發(fā)送的數(shù)據(jù)包后，按照TU1協(xié)議格式分析數(shù)據(jù)包相應(yīng)的字節(jié)信息，根據(jù)觸點(diǎn)的狀態(tài)信息和坐標(biāo)集合分析觸點(diǎn)運(yùn)行軌跡的形狀，識別出觸摸手勢，然后匹配手勢完成對應(yīng)的操作。
[0034]多點(diǎn)觸摸手勢分析定義子模塊負(fù)責(zé)從系統(tǒng)平臺和項(xiàng)目任務(wù)出發(fā)來決定交換手勢庫的方法，分別對應(yīng)多種交互式手勢以及手勢對應(yīng)的手指動(dòng)作。本發(fā)明的觸摸多點(diǎn)觸摸手勢識別的手勢分析在實(shí)現(xiàn)沒有采用從通用手勢分析設(shè)計(jì)框架中直接從手勢庫中選擇出對于手勢的方式，因?yàn)檫@種方式盡管使用方便，實(shí)用性強(qiáng)，但其冗余度比較高，本發(fā)明的手勢分析從業(yè)務(wù)任務(wù)出發(fā)來決定交互式庫的選擇，能夠進(jìn)一步提高系統(tǒng)的靈敏度和實(shí)時(shí)性。
[0035]手勢識別判斷子模塊負(fù)責(zé)把接收到的數(shù)據(jù)包按照TU1協(xié)議格式進(jìn)行分析，取出觸點(diǎn)的相應(yīng)信息，然后以對象的形式將觸點(diǎn)的運(yùn)行軌跡、狀態(tài)信息保存起來。一旦觸點(diǎn)全部離開觸摸屏幕則表示觸摸手勢結(jié)束，這時(shí)開始對該觸點(diǎn)對象保存的數(shù)據(jù)信息進(jìn)行分析處理，并依據(jù)當(dāng)前屏幕上的觸點(diǎn)個(gè)數(shù)，以及觸點(diǎn)的實(shí)際運(yùn)行軌跡形狀進(jìn)行手勢識別。在具體的在手勢識別實(shí)現(xiàn)中，首先讀取觸點(diǎn)對象的移動(dòng)軌跡數(shù)據(jù)，并設(shè)置觸點(diǎn)在觸摸屏幕上停留的有效停留時(shí)間為800-1200ms，然后依據(jù)觸點(diǎn)在觸摸屏上停留的時(shí)間是否在有效時(shí)間范圍內(nèi)判斷觸點(diǎn)是否有效。對于有效觸點(diǎn)，依據(jù)觸點(diǎn)移動(dòng)距離是否在閾值Si (單位:像素)范圍內(nèi)判斷為手勢是動(dòng)態(tài)手勢還是靜態(tài)手勢。即，若觸點(diǎn)移動(dòng)距離小于Si，為靜態(tài)手勢；否則為動(dòng)態(tài)手勢。對于靜態(tài)手勢，依據(jù)靜止觸點(diǎn)的個(gè)數(shù)判斷手勢。若是1，則為單指觸摸手勢；若是2，則為兩指觸摸手勢。若多于2，則為無效觸點(diǎn)。對于動(dòng)態(tài)手勢，依據(jù)觸點(diǎn)間相對運(yùn)動(dòng)距離是否大于閾值s2 (單位:像素)來判斷是否有相對移動(dòng)。若相對運(yùn)動(dòng)距離大于閾值s2，則為有相對運(yùn)動(dòng)；否則為無相對運(yùn)動(dòng)。
[0036]手勢驅(qū)動(dòng)子模塊根據(jù)手勢識別子模塊的識別結(jié)果，結(jié)合業(yè)務(wù)系統(tǒng)需求來完成實(shí)際的手勢業(yè)務(wù)操作。具體實(shí)現(xiàn)上是使用OpenCV中的庫函數(shù)結(jié)合手勢識別處理識別出有效操作手勢并驅(qū)動(dòng)實(shí)際業(yè)務(wù)動(dòng)作的完成。
[0037]以上顯示和描述了本發(fā)明的基本原理和主要特征和本發(fā)明的優(yōu)點(diǎn)。本行業(yè)的技術(shù)人員應(yīng)該了解，本發(fā)明不受上述實(shí)施例的限制，上述實(shí)施例和說明書中描述的只是說明本發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會有各種變化和改進(jìn)，這些變化和改進(jìn)都落入要求保護(hù)的本發(fā)明范圍內(nèi)。本發(fā)明要求保護(hù)范圍由所附的權(quán)利要求書及其等效物界定。
【權(quán)利要求】
1.一種紅外精準(zhǔn)多點(diǎn)觸控平臺，其特征是:包括硬件系統(tǒng)部分和軟件系統(tǒng)部分，所述硬件系統(tǒng)部分包括紅外光發(fā)射管陣列、觸摸屏、攝像頭、計(jì)算機(jī)和投影儀，所述軟件系統(tǒng)部分包括觸點(diǎn)追蹤模塊和手勢識別模塊，所述觸點(diǎn)追蹤模塊包括圖像處理子模塊、觸點(diǎn)輪廓提取子模塊和觸點(diǎn)追蹤子模塊，所述手勢識別模塊包括多點(diǎn)觸摸手勢分析定義子模塊、手勢識別判斷子模塊和手勢驅(qū)動(dòng)子模塊。
2.根據(jù)權(quán)利要求1所述的一種紅外精準(zhǔn)多點(diǎn)觸控平臺，其特征是:所述圖像處理子模塊包括預(yù)處理模塊、圖像增強(qiáng)模塊、圖像形態(tài)學(xué)處理模塊。
3.根據(jù)權(quán)利要求1所述的一種紅外精準(zhǔn)多點(diǎn)觸控平臺，其特征是:所述觸點(diǎn)輪廓提取子模塊包括輪廓提取模塊、輪廓中心坐標(biāo)計(jì)算模塊和無效觸點(diǎn)排除模塊。
4.根據(jù)權(quán)利要求1所述的一種紅外精準(zhǔn)多點(diǎn)觸控平臺，其特征是:所述紅外光發(fā)射管陣列提供紅外光源，所述觸摸屏用于接收用戶觸摸操作，所述攝像頭用于捕獲手指反射的紅外光圖像，所述計(jì)算機(jī)完成觸點(diǎn)跟蹤，手勢識別以及手勢操作屏幕對象的點(diǎn)擊、放大、縮小功能，所述投影儀則用于顯示最終處理結(jié)果。
5.根據(jù)權(quán)利要求1所述的一種紅外精準(zhǔn)多點(diǎn)觸控平臺，其特征是:所述圖像處理子模塊進(jìn)行圖像預(yù)處理操作，包括視頻流捕獲，圖像色彩空間轉(zhuǎn)換和圖像去除背景處理，然后對包含觸點(diǎn)對象的前景圖像進(jìn)行處理，包括圖像平滑、模糊處理，以及形態(tài)學(xué)操作，使圖像中非主體部分的干擾程度達(dá)到最小。
6.根據(jù)權(quán)利要求1所述的一種紅外精準(zhǔn)多點(diǎn)觸控平臺，其特征是:觸點(diǎn)輪廓提取子模塊提取所有觸點(diǎn)的外輪廓，計(jì)算并保存每個(gè)輪廓中心的X坐標(biāo)和I坐標(biāo)，在此過程中依據(jù)設(shè)置的輪廓閾值大小，排除無效觸點(diǎn)。
7.根據(jù)權(quán)利要求1所述的一種紅外精準(zhǔn)多點(diǎn)觸控平臺，其特征是:所述觸點(diǎn)追蹤子模塊依據(jù)連續(xù)兩幀圖像內(nèi)觸點(diǎn)中心坐標(biāo)移動(dòng)距離的長短，判斷哪些觸點(diǎn)是新出現(xiàn)的觸點(diǎn)，哪些與之前存在的觸點(diǎn)相同，追蹤到圖像中的觸點(diǎn)對象后，還需要對其進(jìn)行歸一化處理，這樣方便移植到其他尺寸的顯示設(shè)備上，然后封裝數(shù)據(jù)為TU1數(shù)據(jù)包并通過Socket通信方式發(fā)送給手勢識別模塊。
8.根據(jù)權(quán)利要求1所述的一種紅外精準(zhǔn)多點(diǎn)觸控平臺，其特征是:所述手勢識別模塊負(fù)責(zé)接收到觸點(diǎn)追蹤模塊發(fā)送的數(shù)據(jù)包后，按照TU1協(xié)議格式分析數(shù)據(jù)包相應(yīng)的字節(jié)信息，根據(jù)觸點(diǎn)的狀態(tài)信息和坐標(biāo)集合分析觸點(diǎn)運(yùn)行軌跡的形狀，識別出觸摸手勢，然后匹配手勢完成對應(yīng)的操作。
【文檔編號】G06F3/042GK104331193SQ201410709584
【公開日】2015年2月4日 申請日期:2014年12月1日 優(yōu)先權(quán)日:2014年12月1日
【發(fā)明者】曾芝冰, 張茹, 孫帥, 趙佳, 劉瓊, 梁安琪 申請人:湖北印象光電信息產(chǎn)業(yè)有限公司