一種虛擬觸摸屏的方法、系統(tǒng)及計(jì)算設(shè)備的制作方法
【專利摘要】本發(fā)明適用于計(jì)算機(jī)處理領(lǐng)域，提供了一種虛擬觸摸屏的方法、系統(tǒng)及計(jì)算設(shè)備。所述方法包括以下步驟：通過兩個(gè)攝像機(jī)同時(shí)捕捉到的顯示設(shè)備圖像，利用視覺的方法提取圖像上面的人手；定位所述人手的指尖位置；根據(jù)所述指尖位置判斷人手是否接觸顯示設(shè)備屏幕；如果判斷出人手接觸顯示設(shè)備屏幕，則模擬觸摸事件。本發(fā)明不需要使用輔助材料，用手指就可以直接操作計(jì)算機(jī)，在使用過程中，不受顯示器背景畫面的影響，也不需要進(jìn)行復(fù)雜的攝像機(jī)系統(tǒng)內(nèi)外參數(shù)的標(biāo)定過程。
【專利說明】一種虛擬觸摸屏的方法、系統(tǒng)及計(jì)算設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)處理領(lǐng)域，尤其涉及一種虛擬觸摸屏的方法、系統(tǒng)及計(jì)算設(shè)備。【背景技術(shù)】
[0002]隨著計(jì)算機(jī)科學(xué)的發(fā)展，人機(jī)交互的方式更加簡單、自然、友好，觸摸屏是近些年來新出現(xiàn)的一種電腦輸入設(shè)備，觸摸屏的交互方式十分簡單，不用學(xué)習(xí)，人人都會(huì)使用，是觸摸屏最大的魔力。常用的觸摸屏有電阻式觸摸屏和電容式觸摸屏。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，也出現(xiàn)了基于視覺的觸摸屏。即將目前只具有顯示的功能而不具備觸摸屏的輸入功能的家用電腦的顯示器模擬真實(shí)的觸摸屏，其采用計(jì)算機(jī)視覺的方法來模擬真實(shí)的觸摸屏，大致分為兩類:一類是使用輔助光進(jìn)行定位，另一類是用視覺的方法直接尋找手指。
[0003]專利CN200910312205.2公開了一種使用紅外光進(jìn)行輔助定位的虛擬觸摸屏系統(tǒng)，使用兩組攝像機(jī)同時(shí)進(jìn)行拍攝，第一組攝像機(jī)設(shè)置在目標(biāo)觸摸區(qū)域背面，用于采集投射到目標(biāo)觸摸區(qū)域的光斑動(dòng)作信號(hào)，第二組攝像機(jī)設(shè)置在目標(biāo)觸摸區(qū)域表面，用于采集觸摸動(dòng)作信號(hào)。
[0004]專利CN200510089933.3公開了一種基于視覺的虛擬觸摸屏系統(tǒng)，使用兩個(gè)或多個(gè)攝像機(jī)從不同視角同時(shí)拍攝顯示屏，根據(jù)人手的膚色和形狀跟蹤定位人手，并利用多個(gè)攝像機(jī)獲取手指的三維信息判斷手指是否接觸屏幕，然后模擬觸摸屏的功能。
[0005]然而，專利CN200910312205.2公開的使用紅外光進(jìn)行輔助定位的方法，需要將攝像機(jī)準(zhǔn)確的安裝在觸摸屏幕的平面，系統(tǒng)的安裝過程復(fù)雜，并且在進(jìn)行人機(jī)交互時(shí)需要特制的紅外筆，不符合人們徒手進(jìn)行交互的習(xí)慣。
[0006]另外，專利CN200510089933.3公開的基于徒手的虛擬觸摸屏系統(tǒng)，利用人手特定的顏色和形狀在捕捉到的圖像上定位人手，這種方法容易受到顯示器圖像的影響，例如顯示器的圖像上也有一只人手，或者有很接近人手膚色的顏色存在時(shí)，這種方法就會(huì)出現(xiàn)問題。在立體視覺中，攝像機(jī)系統(tǒng)的立體標(biāo)定過程很繁瑣，而且標(biāo)定的結(jié)果直接影響著后面三維重建的精度，這種方法不適宜普通用戶使用。

【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的在于提供一種不需要使用輔助材料，用手指就可以直接操作計(jì)算機(jī)，在使用過程中，不受顯示器背景畫面的影響，也不需要進(jìn)行復(fù)雜的攝像機(jī)系統(tǒng)內(nèi)外參數(shù)的標(biāo)定過程的虛擬觸摸屏的方法、系統(tǒng)及計(jì)算設(shè)備。
[0008]本發(fā)明是這樣實(shí)現(xiàn)的，一種虛擬觸摸屏的方法，所述方法包括以下步驟:
[0009]通過兩個(gè)攝像機(jī)同時(shí)捕捉到的顯示設(shè)備圖像，利用視覺的方法提取圖像上面的人手;
[0010]定位所述人手的指尖位置；
[0011]根據(jù)所述指尖位置判斷人手是否接觸顯示設(shè)備屏幕；
[0012]如果判斷出人手接觸顯示設(shè)備屏幕，則模擬觸摸事件。[0013]本發(fā)明的另一目的在于提供一種虛擬觸摸屏的系統(tǒng)，所述系統(tǒng)包括:
[0014]提取模塊，用于通過兩個(gè)攝像機(jī)同時(shí)捕捉到的顯示設(shè)備圖像，利用視覺的方法提取圖像上面的人手；
[0015]定位模塊，用于定位所述人手的指尖位置；
[0016]判斷模塊，用于根據(jù)所述指尖位置判斷人手是否接觸顯示設(shè)備屏幕；
[0017]模擬模塊，用于如果判斷出人手接觸顯示設(shè)備屏幕，則模擬觸摸事件。
[0018]本發(fā)明的另一目的在于提供一種包括上面所述的虛擬觸摸屏的系統(tǒng)的計(jì)算設(shè)備。
[0019]在本發(fā)明中，將任意一個(gè)顯示設(shè)備變?yōu)橐粋€(gè)觸摸屏，實(shí)現(xiàn)方案為:包括兩個(gè)攝像機(jī)、計(jì)算設(shè)備以及顯示設(shè)備。兩個(gè)攝像機(jī)同時(shí)捕捉顯示設(shè)備圖像，并且兩個(gè)攝像機(jī)的視野范圍要完全覆蓋整個(gè)顯示設(shè)備。計(jì)算設(shè)備通過攝像機(jī)捕捉到的圖像，利用計(jì)算設(shè)備視覺的方法分析圖像上面是否有人手，手指的位置以及判斷手指是否接觸屏幕，然后根據(jù)計(jì)算出的指尖位置定位電腦光標(biāo)位置，模擬觸摸屏輸入，實(shí)現(xiàn)人際交互的目的。本發(fā)明不需要使用輔助材料，用手指就可以直接操作計(jì)算機(jī)，在使用過程中，不受顯示器背景畫面的影響，也不需要進(jìn)行復(fù)雜的攝像機(jī)系統(tǒng)內(nèi)外參數(shù)的標(biāo)定過程。
【專利附圖】

【附圖說明】
[0020]圖1是本發(fā)明實(shí)施例提供的虛擬觸摸屏的方法的實(shí)現(xiàn)流程示意圖。
[0021]圖2是本發(fā)明實(shí)施例提供的控制顯示設(shè)備顯示出一個(gè)棋盤格圖像的示意圖。
[0022]圖3是本發(fā)明實(shí)施例提供的虛擬觸摸屏的系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0023]為了使本發(fā)明的目的、技術(shù)方案及有益效果更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0024]在本發(fā)明實(shí)施例中，將任意一個(gè)顯示設(shè)備變?yōu)橐粋€(gè)觸摸屏，實(shí)現(xiàn)方案為:包括兩個(gè)攝像機(jī)、計(jì)算設(shè)備以及顯示設(shè)備。兩個(gè)攝像機(jī)同時(shí)捕捉顯示設(shè)備圖像，并且兩個(gè)攝像機(jī)的視野范圍要完全覆蓋整個(gè)顯示設(shè)備。計(jì)算設(shè)備通過攝像機(jī)捕捉到的圖像，利用計(jì)算設(shè)備視覺的方法分析圖像上面是否有人手，手指的位置以及判斷手指是否接觸屏幕，然后根據(jù)計(jì)算出的指尖位置定位電腦光標(biāo)位置，模擬觸摸屏輸入，實(shí)現(xiàn)人際交互的目的。
[0025]請(qǐng)參閱圖1，為本發(fā)明實(shí)施例提供的虛擬觸摸屏的方法的實(shí)現(xiàn)流程，其包括以下步驟:
[0026]在步驟SlOl中，通過兩個(gè)攝像機(jī)同時(shí)捕捉到的顯示設(shè)備圖像，利用視覺的方法提取圖像上面的人手；
[0027]在步驟S102中，定位所述人手的指尖位置；
[0028]在本發(fā)明實(shí)施例中，步驟S102具體為:
[0029]對(duì)輪廓圖的每一點(diǎn)上分別進(jìn)行曲率的計(jì)算；
[0030]對(duì)輪廓圖上的所有點(diǎn)進(jìn)行曲率的計(jì)算之后，選擇曲率較大的點(diǎn)作為指尖的候選點(diǎn)；其中，曲率較大的點(diǎn)的確定方案為:將所有點(diǎn)進(jìn)行曲率的計(jì)算后得到的值與預(yù)設(shè)的值進(jìn)行比較，大于該預(yù)設(shè)值的點(diǎn)則認(rèn)為是曲率較大的點(diǎn)。[0031]使用重心抑制條件進(jìn)行候選點(diǎn)的排除，將距離重心最遠(yuǎn)的候選點(diǎn)作為指尖所在的位置。
[0032]在步驟S103中，根據(jù)所述指尖位置判斷人手是否接觸顯示設(shè)備屏幕；
[0033]在步驟S104中，如果判斷出人手接觸顯示設(shè)備屏幕，則模擬觸摸事件。
[0034]在本發(fā)明實(shí)施例中，所述通過兩個(gè)攝像機(jī)同時(shí)捕捉到的顯示設(shè)備圖像，利用視覺的方法提取圖像上面的人手的步驟，具體為:
[0035]生成預(yù)測(cè)圖像；具體為:采用幾何標(biāo)定及顏色標(biāo)定生成預(yù)測(cè)圖像。
[0036]將所述預(yù)測(cè)圖像與兩個(gè)攝像機(jī)同時(shí)捕捉到的顯示設(shè)備圖像進(jìn)行比對(duì)；
[0037]提取比對(duì)出不一致的區(qū)域，所述區(qū)域則為人手區(qū)域。
[0038]在本發(fā)明實(shí)施例中，使用兩個(gè)攝像機(jī)同時(shí)捕捉顯示設(shè)備圖像，對(duì)于計(jì)算設(shè)備來說，顯示設(shè)備的畫面是已知的，所以計(jì)算設(shè)備可以預(yù)測(cè)出顯示設(shè)備本身顯示的圖像。當(dāng)我們用手指在顯示設(shè)備上與計(jì)算機(jī)進(jìn)行交互時(shí)，因?yàn)槿耸值恼趽?，攝像機(jī)捕捉的圖像和計(jì)算設(shè)備預(yù)測(cè)的圖像會(huì)有一定的差異，根據(jù)這個(gè)差異，我們可以精確的找到人手區(qū)域。
[0039]下面詳細(xì)描述幾何標(biāo)定:
[0040]為了生成預(yù)測(cè)圖像，我們需要知道顯示設(shè)備屏幕上任意一點(diǎn)P在攝像機(jī)圖像上的位置P’，這就是幾何標(biāo)定的任務(wù)。理論上，從一個(gè)平面到另一個(gè)平面的映射關(guān)系，可以使用一個(gè)3X3的矩陣H描述。對(duì)于顯示設(shè)備屏幕上任意一點(diǎn)P，我們可以利用公式(I)計(jì)算這一點(diǎn)在攝像機(jī)圖像上的位置`P’
[0041]p’ =Hp(I)
[0042]為了計(jì)算矩陣H，本發(fā)明實(shí)施例采用以下步驟:
[0043]a)控制顯示設(shè)備顯示出一個(gè)棋盤格圖像，如圖2所示。
[0044]b)通過攝像機(jī)捕捉顯示設(shè)備圖像，并分別檢測(cè)顯示設(shè)備本身顯示的圖像與攝像機(jī)捕捉圖像的棋盤格角點(diǎn)。
[0045]c)通過對(duì)應(yīng)的角點(diǎn)，計(jì)算轉(zhuǎn)移矩陣H。
[0046]下面詳細(xì)描述顏色標(biāo)定:
[0047]對(duì)于顯示設(shè)備上的一點(diǎn)P，可以通過矩陣H計(jì)算出該點(diǎn)在攝像機(jī)圖像上的位置，我們還需要知道該點(diǎn)經(jīng)過攝像機(jī)成像后在攝像機(jī)圖像上的像素值，這就是顏色標(biāo)定的任務(wù)。由于攝像機(jī)感光不均勻、攝像機(jī)鏡頭畸變以及環(huán)境光線的影響等原因，即使相同的顏色在攝像機(jī)的邊緣和中心也表現(xiàn)出不同的像素值。顏色的標(biāo)定過程，像素值和像素點(diǎn)的位置必須是相關(guān)的。我們的任務(wù)是求解一個(gè)數(shù)學(xué)模型，通過這個(gè)數(shù)學(xué)模型，可以根據(jù)顯示設(shè)備本身顯示的圖像，生成一幅預(yù)測(cè)圖像。
[0048]在本發(fā)明實(shí)施例中，該數(shù)學(xué)模型可以用公式(2)描述:
[0049]C = A (VP+F) (2)
[0050]其中，
TJ [4 O O]
[0051]C= Cc A= O Jg O F= 4
—rJ, L0 ο 4J, k?，
【權(quán)利要求】
1.一種虛擬觸摸屏的方法，其特征在于，所述方法包括以下步驟: 通過兩個(gè)攝像機(jī)同時(shí)捕捉到的顯示設(shè)備圖像，利用視覺的方法提取圖像上面的人手； 定位所述人手的指尖位置； 根據(jù)所述指尖位置判斷人手是否接觸顯示設(shè)備屏幕； 如果判斷出人手接觸顯示設(shè)備屏幕，則模擬觸摸事件。
2.如權(quán)利要求1所述的方法，其特征在于，所述通過兩個(gè)攝像機(jī)同時(shí)捕捉到的顯示設(shè)備圖像，利用視覺的方法提取圖像上面的人手的步驟，具體為: 生成預(yù)測(cè)圖像； 將所述預(yù)測(cè)圖像與兩個(gè)攝像機(jī)同時(shí)捕捉到的顯示設(shè)備圖像進(jìn)行比對(duì)； 提取比對(duì)出不一致的區(qū)域，所述區(qū)域則為人手區(qū)域。
3.如權(quán)利要求2所述的方法，其特征在于，所述生成預(yù)測(cè)圖像的步驟，具體為: 采用幾何標(biāo)定及顏色標(biāo)定生成預(yù)測(cè)圖像。
4.如權(quán)利要求1所述的方法，其特征在于，所述定位所述人手的指尖位置的步驟，具體為: 對(duì)輪廓圖的每一點(diǎn)上分別進(jìn)行曲率的計(jì)算； 對(duì)輪廓圖上的所有點(diǎn)進(jìn)行曲率的計(jì)算之后，選擇曲率較大的點(diǎn)作為指尖的候選點(diǎn)； 使用重心抑制條件進(jìn)行候選點(diǎn)的排除，將距離重心最遠(yuǎn)的候選點(diǎn)作為指尖所在的位置。
5.一種虛擬觸摸屏的系統(tǒng)，其特征在于，所述系統(tǒng)包括: 提取模塊，用于通過兩個(gè)攝像機(jī)同時(shí)捕捉到的顯示設(shè)備圖像，利用視覺的方法提取圖像上面的人手； 定位模塊，用于定位所述人手的指尖位置； 判斷模塊，用于根據(jù)所述指尖位置判斷人手是否接觸顯示設(shè)備屏幕； 模擬模塊，用于如果判斷出人手接觸顯示設(shè)備屏幕，則模擬觸摸事件。
6.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括: 生成模塊，用于生成預(yù)測(cè)圖像； 比對(duì)模塊，用于將所述預(yù)測(cè)圖像與兩個(gè)攝像機(jī)同時(shí)捕捉到的顯示設(shè)備圖像進(jìn)行比對(duì)； 確認(rèn)模塊，用于提取比對(duì)出不一致的區(qū)域，所述區(qū)域則為人手區(qū)域。
7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述生成模塊，具體用于采用幾何標(biāo)定及顏色標(biāo)定生成預(yù)測(cè)圖像。
8.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括: 計(jì)算模塊，用于對(duì)輪廓圖的每一點(diǎn)上分別進(jìn)行曲率的計(jì)算； 選擇模塊，用于對(duì)輪廓圖上的所有點(diǎn)進(jìn)行曲率的計(jì)算之后，選擇曲率較大的點(diǎn)作為指尖的候選點(diǎn)； 指尖確定模塊，用于使用重心抑制條件進(jìn)行候選點(diǎn)的排除，將距離重心最遠(yuǎn)的候選點(diǎn)作為指尖所在的位置。
9.一種包括權(quán)利要求5至8任一項(xiàng)所述的虛擬觸摸屏的系統(tǒng)的計(jì)算設(shè)備。
【文檔編號(hào)】G06F3/042GK103761011SQ201310218824
【公開日】2014年4月30日 申請(qǐng)日期:2013年6月4日 優(yōu)先權(quán)日:2013年6月4日
【發(fā)明者】程俊, 王群, 張子銳, 郭疆, 沈三明 申請(qǐng)人:深圳先進(jìn)技術(shù)研究院