專利名稱：一種基于圖像識別的虛擬觸摸屏系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明是基于圖像識別的虛擬觸摸屏系統(tǒng)，屬于人機交互領(lǐng)域。
背景技術(shù)：
觸摸屏是繼鍵盤、鼠標之后最為普遍接受、極有發(fā)展前途的交互式輸入方式，應(yīng)用領(lǐng)域 廣泛，目前，普通觸摸屏主要有紅外線式、電阻式、表面聲波式、電容式等類型。這些類型 的大屏幕尤其是超大屏幕觸摸屏產(chǎn)品，均存在價格昂貴、通用性差、穩(wěn)定性差、準確性差的 問題。另一方面，觸摸屏技術(shù)方便了人們對計算機的操作使用，用戶只要用手指輕輕地觸碰 計算機顯示屏上的圖符或文字就能實現(xiàn)對主機操作，從而使人機交互更為直截了當(dāng)，非常適 合多媒體信息查詢，是一種極有發(fā)展前途的交互式輸入設(shè)備，大屏幕尤其是超大屏幕更具有 巨大的應(yīng)用前景。
CN1912816A號發(fā)明專利公告公布了一種基于攝像頭的虛擬觸摸屏系統(tǒng)，由多個攝像頭 拍攝手指在虛擬觸摸屏上的移動和點擊操作，從拍攝的圖像中將人手區(qū)域分割出來，進而提 取手指的邊緣輪廓，將手指輪廓的B樣條曲線的第4個控制點定義為手指位置，由二維坐標 射影變換公式轉(zhuǎn)換進而獲得手指在顯示屏幕的位置。這一技術(shù)方案本質(zhì)是用多個攝像頭將手 指及觸摸屏的三維圖像轉(zhuǎn)換成多個二維圖像，進而從這些二維圖像中識別出手指及手指的移 動、點擊等動作。由于拍攝的圖像必須包含顯示屏幕，所以攝像頭必須放置在顯示屏幕的前 方，這必然存在人體遮擋無法識別手指的問題。

發(fā)明內(nèi)容
本發(fā)明是為避免上述現(xiàn)有技術(shù)所存在的不足之處，提供一種基于圖像識別的虛擬觸摸屏 系統(tǒng)，其結(jié)構(gòu)簡單，實現(xiàn)方便，造價低廉，尤其可以解決人體遮擋無法識別手指的問題；使 用一維圖像采集裝置實現(xiàn)普通觸摸屏具有的觸摸功能，使任意一個普通顯示屏幕具備觸摸屏 的功能。
本發(fā)明解決技術(shù)問題采用如下技術(shù)方案
本發(fā)明基于圖像識別的虛擬觸摸屏系統(tǒng)的特點是由至少兩個一維圖像采集裝置、顯示屏 和計算裝置組成，所述一維圖像采集裝置設(shè)置在虛擬觸摸屏的四周，每個一維圖像采集裝置 獲取的一維圖像所在面與所述虛擬觸摸屏處于同一平面；所述虛擬觸摸屏與顯示屏幕的形狀 和尺寸完全相同，虛擬觸摸屏與顯示屏幕處在同一平面內(nèi)，或虛擬觸摸屏處于顯示屏幕的正 前方且平行于顯示屏幕；多個一維圖像采集裝置將手指在虛擬觸摸屏上的位置和點擊動作轉(zhuǎn) 換成多個一維圖像中的點及點的有無，計算裝置根據(jù)所述一維圖像中點的信息識別手指在虛
擬觸摸屏中的兩維直角坐標，并執(zhí)行相應(yīng)的操作，完成人機交互功能。
本發(fā)明的結(jié)構(gòu)特點也在于所述一維圖像采集裝置采用一維線性傳感器；或采用兩維圖像
攝像頭，以所述兩維圖像攝像頭中的一行或一列的圖像數(shù)據(jù)為所需的一維圖像數(shù)據(jù)。
本發(fā)明采用圖像識別和幾何投影技術(shù)實現(xiàn)計算機顯示屏虛擬觸摸功能，使任意一個普通
顯示屏幕具備觸摸屏的功能。
本發(fā)明計算裝置綜合應(yīng)用的識別算法包括初始定位算法、手指識別算法、手指定位算
法、點擊判定算法等。
初始定位算法的目的是確定手指在觸摸時虛擬觸摸屏中若干棋盤格投影到一維圖像坐 標上的范圍、 一維圖像采集裝置拍攝方向的斜率；指尖識別算法完成指尖識別，且給出指尖 是否在虛擬觸摸屏上的判斷；手指定位算法實時并且準確地計算出手指觸摸在顯示屏上的位 置；點擊判定算法根據(jù)不同時間的手指位置檢測是否產(chǎn)生點擊操作。
與已有技術(shù)相比，本發(fā)明有益效果體現(xiàn)在
1、 本發(fā)明的圖像采集裝置設(shè)置在虛擬觸摸屏的四周，其拍攝方向與虛擬觸摸屏平行， 從根本上解決了人體遮擋引起手指無法識別的問題，尤其是因其避免了人體遮擋的問題，因 而可以擴展到投影屏幕、普通墻面等任何大屏幕，通用性好。
2、 本發(fā)明為一維圖像數(shù)據(jù)的處理，相比于二維圖像的數(shù)據(jù)處理，其過程大為簡化、算 法簡單。
3、 本發(fā)明采用一維圖像傳感器，配合設(shè)置鏡頭、信號轉(zhuǎn)換和接口電路，其配置簡單， 價格便宜。
4、 本發(fā)明也可以采用兩維圖像攝像頭，以所述兩維圖像攝像頭中的一行或一列的圖像 數(shù)據(jù)為所需的一維圖像數(shù)據(jù)，易于實施。
5、 本發(fā)明一般情況下只要使用兩個圖像采集裝置。使用兩個以上圖像采集裝置可以減 小圖像采集裝置與顯示屏之間的距離，對于較大屏幕來說，可以使整個系統(tǒng)更加緊湊。


圖1為本發(fā)明系統(tǒng)結(jié)構(gòu)主視示意圖。
圖2a為本發(fā)明中虛擬觸摸屏與顯示屏幕處于同一平面內(nèi)。
圖2b為本發(fā)明中虛擬觸摸屏處于顯示屏幕的正前方。
圖3為本發(fā)明原理示意圖。
圖4為本發(fā)明坐標設(shè)置示意圖。
圖5為本發(fā)明虛擬觸摸屏劃分為棋盤格及棋盤格內(nèi)平行投影示意圖。
圖6為本發(fā)明中斜率計算示意圖。 圖7為本發(fā)明截距計算示意圖。
圖中標號1顯示屏幕、2圖像采集裝置、3虛擬觸摸屏。
以下通過實施例，并結(jié)合附圖對本發(fā)明作進一步說明。
具體實施例方式
實施例l:本實施例采用一維圖像采集裝置。
參見圖l，在虛擬觸摸屏3的上方設(shè)置兩個圖像采集裝置2，本實施例中的圖像采集裝 置2是采用一維圖像采集裝置， 一維圖像采集裝置獲取的一維圖像所在面與虛擬觸摸屏在同 一平面，每個一維圖像采集裝置的軸線與水平方向成0°到908之間的夾角，兩條軸線夾角在 0°到180°之間，取接近90^為佳。
參見圖2a，虛擬觸摸屏3可以與顯示屏幕1處于同一平面，此時，圖像采集裝置獲取 的一維圖像所在面與顯示屏幕在同一平面。
參見圖2b，虛擬觸摸屏3也可以處于顯示屏幕1的正前方，此時，圖像采集裝置獲取 的一維圖像所在面與顯示屏幕平行且在其正前方。
實施例2:本實施例以攝像頭代替一維圖像采集裝置。
本實施例中，在虛擬觸摸屏3的上方設(shè)置的圖像采集裝置2是兩個攝像頭，攝像頭的鏡 片與顯示屏垂直，每個攝像頭的軸線與水平方向成(^到900之間的夾角，兩條軸線夾角在0° 到180。之間，取接近90"為佳。攝像頭的軸線處于虛擬觸摸屏的平面內(nèi)。由于攝像頭鏡片與 虛擬觸摸屏垂直，當(dāng)用戶進行手指觸摸操作時，手指的運動平面與鏡片垂直，因此手指在虛 擬觸摸屏上的運動軌跡一直顯示在攝像頭所拍攝圖像的某條確定直線上。于是手指在二維顯 示屏幕平面上的運動，轉(zhuǎn)換為手指點在攝像頭拍攝的兩幅圖像的某條確定直線上的移動。左 右攝像頭拍攝的兩幅圖像中直線上的點和二維顯示屏平面中的某點存在一一對應(yīng)的關(guān)系。如 圖3所示，問題即轉(zhuǎn)換為根據(jù)兩幅圖像中手指移動直線上的點的位置來唯一確定用戶手指觸 摸的二維平面上的點坐標。其實質(zhì)為由兩個一維坐標點和一些初始角度值來唯一確定二維平 面內(nèi)的一點坐標。解決該問題的方法很多，本實施例是其中一種方法。
當(dāng)用戶在虛擬觸摸屏上某個位置進行觸摸時，左右兩個攝像頭分別拍攝出兩幅圖像。手 指在虛擬觸摸屏上任意一點的觸摸均表現(xiàn)為圖像的一條確定直線上的點。根據(jù)手指在兩幅圖 像中的直線上的位置，確定其在虛擬觸摸屏中的兩維坐標位置。以兩幅圖像中直線上的兩點 來建立虛擬觸摸屏平面上的兩條直線方程，兩條直線相交即獲得手指在虛擬觸摸屏平面內(nèi)的 點坐標。直線方程少=&^ + 6 (式l)，其中A:表示斜率，6表示截距。
下面以左邊攝像頭為例來說明轉(zhuǎn)換過程，右邊攝像頭類似。
假設(shè)虛擬觸摸屏是如圖4所示的矩形區(qū)域，以左下角為原點，建立二維坐標平面X、少。
左邊攝像頭C,位于虛擬觸摸屏左上角某處。其視角范圍應(yīng)包含整個矩形區(qū)域，將^與矩形的 四個頂點連接構(gòu)成攝像頭拍攝各點的光線方向，以經(jīng)過左下角和右上角頂點的光線方向為 腰，c,為頂點作一個等腰三角形，底為虛線所示的Oi,^)。當(dāng)手指在矩形區(qū)域內(nèi)任意一點
觸摸時，其在攝像頭所拍攝的圖像中表現(xiàn)為虛線上的一點，手指在二維虛擬觸摸屏上的移動 投影到圖像上不會超過這條虛線(A，&)范圍，這是算法關(guān)注的興趣區(qū)域，區(qū)域以外的部分
不需要處理。因此以A為原點沿著虛線方向建立一維坐標A，右邊攝像頭拍攝圖像中的一維
坐標A類似設(shè)立。
具體實施中，為準確識別手指位置，將虛擬觸摸屏劃分為n X n的棋盤格，如圖5所示， 由于攝像頭離棋盤格距離較遠，且每個棋盤格足夠小，于是可以假設(shè)在棋盤格內(nèi)，攝像頭拍 攝的角度是平行的，以簡化點位置的轉(zhuǎn)換。
初始設(shè)置時，用戶在虛擬觸摸屏nXn的棋盤格的每個頂點上均觸摸一次，以確定每個 棋盤格在攝像頭拍攝圖像一維坐標上的位置范圍，即建立每個棋盤格編號及其投影的起始位 置和終止位置坐標的對照表。例如0'，Xn，j^，:^，JC^)記錄的是第/個棋盤格在;q坐標軸上
的起始位置為Xu，終點位置為112,在;^坐標軸上的起始位置為x^，終點位置為乂22。
同時初始設(shè)置時可以根據(jù)虛擬觸摸屏的長寬和每個棋盤格在圖像上的投影確定攝像頭 拍攝的每個棋盤格平行光的斜率。放大圖5中的棋盤格s ，得到圖6。假設(shè)攝像頭q以斜率A:
平行拍攝由頂點v,，V2,^,v-組成的棋盤格^其長(v,，v》的長度為o，在圖像平面上的投影
(、，v"的長度為a'，其寬(v"vj的長度為6，在圖像平面的投影(、，v"的長度為6'。已知
虛擬觸摸屏的長寬，每個棋盤格的長a和寬6為其1/n， a'、 6'可從拍攝的圖像上獲得，于
是從攝像頭拍攝該棋盤格的平行光的斜率A:可由<formula>formula see original document page 6</formula>(式2)獲得。 將每個棋盤格的平行光的斜率構(gòu)造一張斜率表，例如(f,A:)表示攝像頭拍攝第z'個棋盤格的
平行光的斜率。
另外，初始設(shè)置時可以確定手指觸摸投影到圖像上的直線的位置。如果在該直線上識別
出手指，則認為用戶進行了觸摸操作。
當(dāng)確定用戶進行觸摸操作后，首先由左右攝像頭拍攝的圖像上的點確定用戶觸摸的位置
處于虛擬觸摸屏的哪些棋盤格內(nèi)，再由這些候選的棋盤格內(nèi)的處理來確定斜率A:及其截距 6，從而獲得兩條直線方程，求出直線方程的交點。由于存在交叉問題，某點同時屬于若干 個棋盤格，出現(xiàn)這種情況，則檢查作出的兩條直線方程的交點是否落于該棋盤格內(nèi)，若是則
取該點；否則保留下來，取一個離棋盤格中心點偏離值最小的點作為結(jié)果。具體方法如下 首先根據(jù)兩幅圖像中手指點的一維坐標來確定觸摸的二維平面的棋盤格范圍。査坐標對
照表，如果該點既在A軸上第i'個棋盤格的范圍內(nèi)，又在^軸上第/個棋盤格的范圍內(nèi)，則
該點屬于第/個棋盤格。
確定棋盤格后，査斜率表可獲得直線方程的斜率A:，接下來需要求出截距6。如圖7所
示，當(dāng)用戶在某點觸摸時，表現(xiàn)為圖像中直線上的某點v'，它是由虛擬觸摸屏平面內(nèi)過棋盤
格內(nèi)對角線上的點v、斜率為A的直線上的任意一點產(chǎn)生的，其中點v是由v'作攝像頭拍攝 光的平行線與棋盤格的對角線的交點。由于|^ =風(fēng)=卜H， Iv,v'l和lv^'l為圖像直
|V1V3 I |V1V3| V"2+62
線上的距離，根據(jù)v,的坐標和卜H -MVa2 +62 (式3)可求出v點的二維坐標，于是以斜率
A:、點v的坐標代入直線方程y-lx + 6求出截距6。
于是，圖像中的任意一點v'，實際上是手指在直線方程為y-A:.x + 6的直線上的運動
產(chǎn)生的。其中A:是該棋盤格內(nèi)攝像頭拍攝方向的斜率，6是通過v點直線方程的截距。
同時在右邊攝像頭拍攝的圖像中的對應(yīng)點可以獲得虛擬觸摸屏平面內(nèi)的另外一條直線， 兩條直線相交，即可根據(jù)兩幅圖像中的點坐標求得手指觸摸虛擬觸摸屏平面上的點坐標。
因此，算法實際上是根據(jù)兩個攝像頭同時拍攝的圖像直線上的兩點，分別建立虛擬觸摸 屏平面內(nèi)的兩條直線方程，二者相交的點即為虛擬觸摸屏平面上的點。當(dāng)某點屬于若干個棋 盤格時，需進行特殊處理，計算出點坐標，檢査其是否在該棋盤格內(nèi)，若是，則得出點坐標； 否則，保留直線方程，選擇一個離棋盤格中心點距離最近的點作為點坐標。
本發(fā)明由初始定位算法、手指識別算法、手指定位算法、點擊判定算法等部分組成。 初始定位算法的目的是確定一些初始值。在虛擬觸摸屏上顯示n X n的棋盤格，用戶在 各點上觸摸一下，以確定手指在其中觸摸時投影到攝像頭拍攝的圖像上一維坐標的范圍、每 個棋格內(nèi)的攝像頭拍攝方向的斜率及圖像上直線的位置。一維坐標范圍用來確定任意一維坐
標點處于哪些棋盤格內(nèi)，斜率用來計算直線方程，直線位置用于識別用戶手指的觸摸。
手指識別算法完成手指識別，且給出手指是否在虛擬觸摸屏上的判斷。如果在初始定位 時設(shè)置的直線位置上識別到手指，即表明手指在虛擬觸摸屏上，同時獲得手指在圖像中直線 上的一維坐標。
手指定位算法實時并且準確地計算出手指觸摸屏幕的位置，即根據(jù)兩個一維坐標唯一確 定一個二維坐標點。首先根據(jù)兩幅圖像中手指的點坐標根據(jù)其所屬棋盤格范圍確定手指在虛 擬觸摸屏平面內(nèi)的哪些棋盤格內(nèi)，再根據(jù)式2計算出斜率。由式l、 3計算出截距6，以此
產(chǎn)生虛擬觸摸屏平面內(nèi)的兩條直線方程，二者相交，即求出對應(yīng)的虛擬觸摸屏平面內(nèi)的點坐
標，如果點坐標確實處于某棋盤格內(nèi)，則得到用戶觸摸的虛擬觸摸屏位置；如果不在該棋盤 格內(nèi)，則保留下來，取離棋盤格中心點偏離值最小的點。
點擊判定算法根據(jù)不同時間的手指位置檢測是否產(chǎn)生點擊操作。如果在初始定位時設(shè)置 的直線位置上極短時間內(nèi)識別到手指的有無，則表明進行點擊操作。
權(quán)利要求
1、一種基于圖像識別的虛擬觸摸屏系統(tǒng)，其特征是由至少兩個一維圖像采集裝置、顯示屏和計算裝置組成，所述一維圖像采集裝置設(shè)置在虛擬觸摸屏的四周，每個一維圖像采集裝置獲取的一維圖像所在面與所述虛擬觸摸屏處于同一平面；所述虛擬觸摸屏與顯示屏幕的形狀和尺寸完全相同，虛擬觸摸屏與顯示屏幕處在同一平面內(nèi)，或虛擬觸摸屏處于顯示屏幕的正前方且平行于顯示屏幕；多個一維圖像采集裝置將手指在虛擬觸摸屏上的位置和點擊動作轉(zhuǎn)換成多個一維圖像中的點及點的有無，計算裝置根據(jù)所述一維圖像中點的信息識別手指在虛擬觸摸屏中的兩維直角坐標，并執(zhí)行相應(yīng)的操作，完成人機交互功能。
2、 根據(jù)權(quán)利要求1所述的一種基于圖像識別的虛擬觸摸屏系統(tǒng)，其特征是所述一維圖 像采集裝置采用一維線性傳感器；或采用兩維圖像攝像頭，以所述兩維圖像攝像頭中的一行 或一列的圖像數(shù)據(jù)為所需的一維圖像數(shù)據(jù)。
全文摘要
一種基于圖像識別的虛擬觸摸屏系統(tǒng)，其特征是由至少兩個一維圖像采集裝置、顯示屏和計算裝置組成，一維圖像采集裝置設(shè)置在虛擬觸摸屏的四周，每個一維圖像采集裝置獲取的一維圖像所在面與虛擬觸摸屏處于同一平面；多個一維圖像采集裝置將手指在虛擬觸摸屏上的位置和點擊動作轉(zhuǎn)換成多個一維圖像中的點及點的有無，計算裝置根據(jù)所述一維圖像中點的信息識別手指在虛擬觸摸屏中的兩維直角坐標，并執(zhí)行相應(yīng)的操作，完成人機交互功能。本發(fā)明解決了使用圖像技術(shù)實現(xiàn)的觸摸屏存在的人體遮擋手指的問題，特別適用于大屏幕觸摸系統(tǒng)。
文檔編號G06K9/22GK101364159SQ20081019631
公開日2009年2月11日 申請日期2008年9月4日 優(yōu)先權(quán)日2008年9月4日
發(fā)明者劉政怡, 劉蘇南, 吳建國, 吳海輝, 周健強, 煒 李, 照 趙, 星 郭 申請人:合肥吉天電子科技有限公司;安徽大學(xué)