專利名稱：具有多點(diǎn)觸控功能的電視系統(tǒng)、觸控定位識(shí)別方法及系統(tǒng)的制作方法
具有多點(diǎn)觸控功能的電視系統(tǒng)、觸控定位識(shí)別方法及系統(tǒng)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺與人機(jī)交互領(lǐng)域，特別涉及一種具有多點(diǎn)觸控功能的電視系統(tǒng)、觸控定位識(shí)別方法及系統(tǒng)。背景技術(shù)：
隨著智能電視的發(fā)展，電視已經(jīng)從以前的終端設(shè)備發(fā)展到具有全開放式平臺(tái)，并搭載了操作系統(tǒng)，可以由用戶自行安裝和卸載軟件、游戲等第三方服務(wù)商提供的程序的智能電視。作為全新的家庭娛樂終端，傳統(tǒng)的遙控式和菜單式的人機(jī)交互方法已經(jīng)無法滿足人們的操作需求，因此電視的人機(jī)交互方式急需改變。
多點(diǎn)觸控已經(jīng)廣泛應(yīng)用于智能手機(jī)，平板電腦等終端，已經(jīng)成為人機(jī)交互的主流方式，但是在電視中的應(yīng)用受制于成本較高，體積較大，安裝較復(fù)雜等問題無法得到廣泛推廣。傳統(tǒng)的觸摸屏技術(shù)應(yīng)用于電視機(jī)，主要是在電視機(jī)屏幕表面加裝觸摸屏，或者在電視機(jī)四周加裝傳感單元，如此需要安裝尺寸較大的電容/電阻觸摸屏幕，或者需要大量發(fā)射/接受二極管，容易損壞而且維修較為困難，成本較高，同時(shí)切割和安裝也較為復(fù)雜，需要專門進(jìn)行定制，無法應(yīng)用于普通的電視上，且體積也較為龐大，會(huì)影響電視機(jī)顯示效果。
而目前的光學(xué)多點(diǎn)觸摸屏幕方法是通過手指壓力阻礙觸摸屏的全內(nèi)反射來實(shí)現(xiàn)手指定位，需要安裝多個(gè)LED發(fā)光體，無法對(duì)現(xiàn)有電視進(jìn)行改造，成本較高，同時(shí)對(duì)手指壓力要求較高，且不支持其他外設(shè)設(shè)備的輸入?；诩t外發(fā)射-接收技術(shù)的紅外觸摸屏，其需要在電視機(jī)外圍加裝一圈紅外LED發(fā)射和接收電路，并需專門的硬件板卡對(duì)其進(jìn)行控制， 改裝成本較高，且顯著增加了電視機(jī)的體積，若有部分紅外LED發(fā)生損壞時(shí)，需要整體更換，后期維護(hù)成本也較高。
發(fā)明內(nèi)容
基于此，有必要提供一種成本較低的具有多點(diǎn)觸控功能的電視系統(tǒng)。
一種具有多點(diǎn)觸控功能的電視系統(tǒng)，其特征在于，包括電視機(jī)、紅外激光器、攝像機(jī)支架及攝像頭，所述電視機(jī)具有操作系統(tǒng)和嵌入式處理單元，所述攝像頭的視角覆蓋整個(gè)的電視機(jī)的屏幕，所述攝像頭用于捕捉接觸電視機(jī)的屏幕阻擋所述紅外激光器發(fā)射的紅外光線形成的紅外光斑，并將捕捉的紅外光斑發(fā)送給所述嵌入式處理單元，所述攝像機(jī)支架一端安裝于所述電視機(jī)上，另一端與所述攝像頭相連，所述嵌入式處理單元用于提取所述紅外光斑的輪廓，計(jì)算得到輪廓中心的圖像坐標(biāo)，將所述輪廓中心的圖像坐標(biāo)作為觸點(diǎn)的圖像坐標(biāo)，根據(jù)預(yù)先設(shè)定的觸點(diǎn)的圖像坐標(biāo)與電視機(jī)的屏幕坐標(biāo)的對(duì)應(yīng)關(guān)系，將觸點(diǎn)的圖像坐標(biāo)轉(zhuǎn)換為觸點(diǎn)的電視機(jī)的屏幕坐標(biāo)，根據(jù)所述觸點(diǎn)的電視機(jī)的屏幕坐標(biāo)形成觸控軌跡，將所述觸控軌跡與所述預(yù)先定義的手勢(shì)軌跡進(jìn)行比較，返回匹配度最高的手勢(shì)作為識(shí)別出的手勢(shì)，并返回相應(yīng)的手勢(shì)控制信息及控制指令。
優(yōu)選地，所述攝像機(jī)支架可拆卸或折疊。
優(yōu)選地，所述電視機(jī)包括電視邊框和電視屏幕，所述電視邊框設(shè)于所述電視屏幕周邊，所述紅外激光器和攝像機(jī)支架安裝在所述電視邊框上。
此外，還提供一種觸控定位識(shí)別方法。
一種觸控定位識(shí)別方法，包括以下步驟
捕捉接觸電視機(jī)的屏幕阻擋紅外光線形成的紅外光斑；
提取所述紅外光斑的輪廓，計(jì)算得到輪廓中心的圖像坐標(biāo)，將所述輪廓中心的圖像坐標(biāo)作為觸點(diǎn)的圖像坐標(biāo)；
根據(jù)預(yù)先設(shè)定的觸點(diǎn)的圖像坐標(biāo)與電視機(jī)的屏幕坐標(biāo)的對(duì)應(yīng)關(guān)系，將觸點(diǎn)的圖像坐標(biāo)轉(zhuǎn)換為觸點(diǎn)的電視機(jī)的屏幕坐標(biāo)；
根據(jù)所述觸點(diǎn)的電視機(jī)的屏幕坐標(biāo)形成觸控軌跡；
將所述觸控軌跡與所述預(yù)先定義的手勢(shì)軌跡進(jìn)行比較，返回匹配度最高的手勢(shì)作為識(shí)別出的手勢(shì)，并返回相應(yīng)的手勢(shì)控制信息及控制指令。
優(yōu)選地，在所述捕捉接觸電視機(jī)的屏幕阻擋紅外光線形成的紅外光斑的步驟之后，還包括步驟對(duì)所述捕捉的紅外光斑進(jìn)行圖像去噪、高通濾波和圖像增強(qiáng)處理。
優(yōu)選地，所述預(yù)先設(shè)定觸點(diǎn)的圖像坐標(biāo)與電視機(jī)的屏幕坐標(biāo)的對(duì)應(yīng)關(guān)系的步驟具體為
對(duì)攝像頭畸變參數(shù)進(jìn)行矯正；
在電視機(jī)的屏幕上選取多個(gè)標(biāo)定點(diǎn)；
捕捉標(biāo)定過程中用戶依順序觸碰到標(biāo)定點(diǎn)所形成的紅外光斑，并提取每個(gè)紅外光斑的圖像坐標(biāo)；
獲取每個(gè)標(biāo)定點(diǎn)的電視機(jī)的屏幕坐標(biāo)，根據(jù)所述標(biāo)定點(diǎn)的屏幕坐標(biāo)和相應(yīng)的紅外光斑的圖像坐標(biāo)，計(jì)算得到圖像坐標(biāo)與屏幕坐標(biāo)之間轉(zhuǎn)換的轉(zhuǎn)換矩陣。
優(yōu)選地，所述根據(jù)所述觸點(diǎn)的電視機(jī)的屏幕坐標(biāo)形成觸控軌跡的具體步驟為在距離閾值范圍內(nèi)查找與所述觸點(diǎn)的屏幕坐標(biāo)的空間距離最近的存儲(chǔ)的歷史屏幕坐標(biāo)，將所述歷史屏幕坐標(biāo)對(duì)應(yīng)的觸控點(diǎn)更新為所述觸點(diǎn)對(duì)應(yīng)的觸控點(diǎn)，并根據(jù)觸控點(diǎn)的屏幕坐標(biāo)形成觸控軌跡。
此外，還提供一種觸控定位識(shí)別系統(tǒng)。
一種觸控定位識(shí)別系統(tǒng)，包括
捕捉模塊，用于捕捉接觸電視機(jī)的屏幕阻擋紅外光線形成的紅外光斑；
提取模塊，用于提取所述紅外光斑的輪廓，計(jì)算得到輪廓中心的圖像坐標(biāo)，將所述輪廓中心的圖像坐標(biāo)作為觸點(diǎn)的圖像坐標(biāo)；
轉(zhuǎn)換模塊，用于根據(jù)預(yù)先設(shè)定的觸點(diǎn)的圖像坐標(biāo)與電視機(jī)的屏幕坐標(biāo)的對(duì)應(yīng)關(guān)系，將觸點(diǎn)的圖像坐標(biāo)轉(zhuǎn)換為觸點(diǎn)的電視機(jī)的屏幕坐標(biāo)；
軌跡形成模塊，用于根據(jù)所述觸點(diǎn)的電視機(jī)的屏幕坐標(biāo)形成觸控軌跡；
識(shí)別模塊，用于將所述觸控軌跡與所述預(yù)先定義的手勢(shì)軌跡進(jìn)行比較，返回匹配度最高的手勢(shì)作為識(shí)別出的手勢(shì)，并返回相應(yīng)的手勢(shì)控制信息及控制指令。
優(yōu)選地，還包括去噪處理模塊，用于對(duì)所述捕捉的紅外光斑進(jìn)行圖像去噪、高通濾波和圖像增強(qiáng)處理。
優(yōu)選地，還包括創(chuàng)建模塊，所述創(chuàng)建模塊用于預(yù)先設(shè)定的觸點(diǎn)的圖像坐標(biāo)與電視機(jī)的屏幕坐標(biāo)的對(duì)應(yīng)關(guān)系，所述創(chuàng)建模塊包括
矯正單元，用于對(duì)攝像頭畸變參數(shù)進(jìn)行矯正；
選取單元，用于在電視機(jī)的屏幕上選取多個(gè)標(biāo)定點(diǎn)；
提取單元，用于捕捉標(biāo)定過程中用戶依順序觸碰到標(biāo)定點(diǎn)所形成的紅外光斑，并提取每個(gè)紅外光斑的圖像坐標(biāo)；
關(guān)系建立單元，用于獲取每個(gè)標(biāo)定點(diǎn)的電視機(jī)的屏幕坐標(biāo)，根據(jù)所述標(biāo)定點(diǎn)的屏幕坐標(biāo)和相應(yīng)的紅外光斑的圖像坐標(biāo)，計(jì)算得到圖像坐標(biāo)與屏幕坐標(biāo)之間轉(zhuǎn)換的轉(zhuǎn)換矩陣。
上述具有多點(diǎn)觸控功能的電視系統(tǒng)、觸控定位識(shí)別方法及系統(tǒng)，無需對(duì)現(xiàn)有電視機(jī)硬件做出改動(dòng)，安裝方便，成本低，適用范圍廣，適用于各種尺寸的電視機(jī)屏幕，而不顯著增加硬件成本。

圖1為一個(gè)實(shí)施例中具有多點(diǎn)觸控功能的電視系統(tǒng)的結(jié)構(gòu)示意圖2為系統(tǒng)標(biāo)定的示意圖3為手勢(shì)識(shí)別過程示意圖4為另一個(gè)實(shí)施例中具有多點(diǎn)觸控功能的電視系統(tǒng)的結(jié)構(gòu)示意圖5為一種觸控定位識(shí)別方法的流程圖6為預(yù)先設(shè)定的觸點(diǎn)的圖像坐標(biāo)與電視機(jī)的屏幕坐標(biāo)的對(duì)應(yīng)關(guān)系的步驟具體流程圖7為一個(gè)實(shí)施例中一種觸控定位識(shí)別系統(tǒng)的內(nèi)部結(jié)構(gòu)示意圖8為另一個(gè)實(shí)施例中一種觸控定位識(shí)別系統(tǒng)的內(nèi)部結(jié)構(gòu)示意圖9為圖8中創(chuàng)建模塊的內(nèi)部結(jié)構(gòu)示意圖。
具體實(shí)施方式
下面結(jié)合具體的實(shí)施例及附圖對(duì)技術(shù)方案進(jìn)行詳細(xì)的描述，以使其更加清楚。
如圖1所示，一種具有多點(diǎn)觸控功能的電視系統(tǒng)，包括電視機(jī)10、紅外激光器20、 攝像機(jī)支架30及攝像頭40。
其中，電視機(jī)10具有操作系統(tǒng)和嵌入式處理單元。電視機(jī)10安裝有操作系統(tǒng)，如 Windows, Linux, Android等，并且可安裝第三方程序。
電視機(jī)10包括電視屏幕110和電視邊框120。電視邊框120設(shè)于電視屏幕110的周邊，以保護(hù)電視屏幕110，防止其損傷。電視屏幕110供用戶通過手指或其他任意不透明物體進(jìn)行操作。
紅外激光器20安裝在電視邊框120上，用于發(fā)射紅外光線。紅外光線波長可根據(jù)需要進(jìn)行選擇，本實(shí)施例中，選取近紅外波段，如850納米或940納米。紅外激光器20為一字線紅外激光器，視角在90度以上。紅外激光器20安裝時(shí)確保激光光束嚴(yán)格平行于電視屏幕110，激光光線覆蓋整個(gè)電視屏幕110區(qū)域，盡量靠近電視屏幕110而保持照射不到電視屏幕110。另外，根據(jù)電視屏幕110的大小，可選擇不同功率的紅外激光器20，確保有足夠的光線強(qiáng)度。此外，采用2個(gè)紅外激光器20，紅外激光器20設(shè)置在電視邊框120兩端，可消除照射死角，確保整個(gè)區(qū)域可操作。
攝像頭支架30的一端安裝在電視邊框120上，另一端與攝像頭40相連。攝像頭支架30可從電視邊框120上拆卸，也可折疊到電視邊框120后。攝像頭支架30上設(shè)有定位螺孔，方便對(duì)其進(jìn)行定位。
攝像頭40的視角覆蓋整個(gè)的電視屏幕110。攝像頭40用于捕捉接觸電視屏幕110 阻擋紅外激光器20發(fā)射的紅外光線形成的紅外光斑，并將捕捉的紅外光斑發(fā)送給嵌入式處理單元。嵌入式處理單元對(duì)該紅外光斑進(jìn)行識(shí)別處理并返回相應(yīng)的控制指令。
攝像頭40采用USB接口與電視機(jī)10相接，進(jìn)行數(shù)據(jù)傳輸。
嵌入式處理單元對(duì)紅外光斑進(jìn)行識(shí)別處理過程，包括
(1)提取紅外光斑的輪廓，計(jì)算得到輪廓中心的圖像坐標(biāo)，將輪廓中心的圖像坐標(biāo)作為觸點(diǎn)的圖像坐標(biāo)。
采用閾值法將紅外光斑與背景有效分離，提取紅外光斑的輪廓，使用一階矩計(jì)算出輪廓中心的圖像坐標(biāo)，將其作為觸點(diǎn)的圖像坐標(biāo)。
在過程(1)之前，嵌入式處理單元還可對(duì)捕捉的紅外光斑進(jìn)行圖像去噪、高通濾波和圖像增強(qiáng)處理。
其中，圖像去噪的過程是對(duì)圖像進(jìn)行平滑去噪。首先需要對(duì)圖像進(jìn)行平滑去噪， 去除攝像頭40所帶來的高斯噪聲，具體平滑參數(shù)需要根據(jù)圖像信噪比來確定，一般取3X3 或者5X5的高斯模板進(jìn)行平滑處理。
高通濾波的過程是濾除圖像中的非極大值點(diǎn)。去除非指尖觸碰區(qū)域以及較大的移動(dòng)物體。本實(shí)施例中，高通濾波采用原始圖像與高斯平滑圖像的差值來提取。
圖像增強(qiáng)的過程是對(duì)圖像高通濾波后的整體像素值進(jìn)行加權(quán)平方。在圖像高通濾波后，整體圖像信號(hào)強(qiáng)度有較大損失，為了有效區(qū)分背景與紅外光斑的位置，需要對(duì)圖像的像素值進(jìn)行放大處理。
(2)根據(jù)預(yù)先設(shè)定的觸點(diǎn)的圖像坐標(biāo)與電視機(jī)的屏幕坐標(biāo)的對(duì)應(yīng)關(guān)系，將觸點(diǎn)的圖像坐標(biāo)轉(zhuǎn)換為觸點(diǎn)的電視機(jī)的屏幕坐標(biāo)。
預(yù)先設(shè)定的觸點(diǎn)的圖像坐標(biāo)與電視機(jī)的屏幕坐標(biāo)的對(duì)應(yīng)關(guān)系，即進(jìn)行標(biāo)定的具體過程為
(a)對(duì)攝像頭鏡頭畸變參數(shù)矯正。
采用常規(guī)的小孔成像相機(jī)畸變參數(shù)模型校正，計(jì)算公式如下
xu = xd+ (xd-xc) (ΚιΓ2+Κ2Γ4+. . · ) + (P1 (r2+2 (xd_xc)2) +2P2 (xd_xc) (yd-yc)) (1+P3r2+...)
yu = yd+ (yd-yc) (ΚιΓ2+Κ2Γ4+. . · ) + (P2 (r2+2 (yd-yc)2) +ZP1 (Xd-Xc) (yd-yc)) (1+P3r2+...)，
其中，(xu, yu)為校正畸變后坐標(biāo)，(xd，yd)為校正前坐標(biāo)，(x。，yc)為相機(jī)光心坐標(biāo)，Kn為η階徑向畸變參數(shù)，Pn為η階切向畸變系數(shù)。
在標(biāo)定出攝像頭畸變參數(shù)后，即可使用上述公式完成圖像畸變坐標(biāo)的校正，標(biāo)定物采用普通棋盤圖像，對(duì)于同種型號(hào)鏡頭，該過程只需離線進(jìn)行一次標(biāo)定即可。
(b)選取多個(gè)標(biāo)定點(diǎn)，生成標(biāo)定圖案。
多個(gè)標(biāo)定點(diǎn)應(yīng)在4個(gè)點(diǎn)以上，優(yōu)選地，為9-16個(gè)點(diǎn)，標(biāo)定圖案可以為圓形/同心圓 /方形等任何形狀。如圖2所示，圖中黑點(diǎn)為標(biāo)定點(diǎn)，按照箭頭所指依次點(diǎn)擊標(biāo)定點(diǎn)進(jìn)行標(biāo)wxbKlKPb =w'yb有 A = HabPa，其中=Kh "22h "23Wh _"32Zz32h "33定。
(c)捕捉標(biāo)定過程中用戶依順序觸碰到標(biāo)定點(diǎn)所形成的紅外光斑，并提取每個(gè)紅外光斑的圖像坐標(biāo)。
(d)獲取每個(gè)標(biāo)定點(diǎn)的電視機(jī)的屏幕坐標(biāo)，根據(jù)該標(biāo)定點(diǎn)的屏幕坐標(biāo)和相應(yīng)的紅外光斑的圖像坐標(biāo)，計(jì)算得到圖像坐標(biāo)與屏幕坐標(biāo)之間轉(zhuǎn)換的轉(zhuǎn)換矩陣。
根據(jù)標(biāo)定點(diǎn)的屏幕坐標(biāo)和對(duì)應(yīng)的光斑相機(jī)坐標(biāo)完成整個(gè)標(biāo)定過程，具體算法描述如下設(shè)標(biāo)定點(diǎn)的屏幕坐標(biāo)為(xa，ya)，檢測(cè)到的紅外光斑的圖像坐標(biāo)為(xb，P a = ya1即為需要計(jì)算的轉(zhuǎn)換矩陣H，之后可以根據(jù)該轉(zhuǎn)換矩陣計(jì)算出紅外光斑所對(duì)應(yīng)的屏幕坐標(biāo)。
根據(jù)該計(jì)算得到的轉(zhuǎn)換矩陣可將捕捉的觸點(diǎn)的圖像坐標(biāo)轉(zhuǎn)換為對(duì)應(yīng)的屏幕坐標(biāo)。 計(jì)算攝像頭40捕捉的每一幀圖像中檢測(cè)到的所有紅外光斑，獲取所有紅外光斑圖像坐標(biāo)， 通過該轉(zhuǎn)換矩陣，轉(zhuǎn)換得到電視機(jī)屏幕坐標(biāo)。
(3)根據(jù)該觸點(diǎn)的屏幕坐標(biāo)形成觸控軌跡。
在距離閾值范圍內(nèi)查找與該觸點(diǎn)的屏幕坐標(biāo)的空間距離最近的存儲(chǔ)的歷史屏幕坐標(biāo)，將該歷史屏幕坐標(biāo)對(duì)應(yīng)的觸控點(diǎn)更新為該觸點(diǎn)對(duì)應(yīng)的觸控點(diǎn)，并形成觸控軌跡。另外依據(jù)當(dāng)前活動(dòng)觸點(diǎn)列表，刪除不活動(dòng)的觸控軌跡，并增加新觸控點(diǎn)所構(gòu)成的觸控軌跡。刪除不活動(dòng)的觸控軌跡可減小負(fù)荷，提高響應(yīng)效率。
(4)將該觸控軌跡與該預(yù)先定義的手勢(shì)軌跡進(jìn)行比較，返回匹配度最高的手勢(shì)作為識(shí)別出的手勢(shì)，并返回相應(yīng)的手勢(shì)控制信息及控制指令。
本實(shí)施例中，觸控軌跡所形成的包圍盒，并將包圍盒進(jìn)行旋轉(zhuǎn)和尺度變換，然后與預(yù)先定義的手勢(shì)軌跡比較，得到匹配度最高的手勢(shì)，返回相應(yīng)的手勢(shì)控制信息及控制指令。 手勢(shì)控制信息可包括角度和控制點(diǎn)坐標(biāo)等。控制指令有放大、縮小、增加、刪除等。
圖3為手勢(shì)識(shí)別過程示意圖，1為第一幀圖像，2為第二幀圖像，3為第三幀圖像，黑色和白色圓圈即為檢測(cè)到的觸控點(diǎn)列表，4為檢測(cè)到的觸控軌跡以及觸控軌跡對(duì)應(yīng)的包圍盒，5為手勢(shì)識(shí)別錯(cuò)誤匹配，6為手勢(shì)識(shí)別正確匹配。
圖4為另一個(gè)實(shí)施例中具有多點(diǎn)觸控功能的電視系統(tǒng)的結(jié)構(gòu)示意圖，與圖1中區(qū)別在于，2個(gè)紅外激光器20靠近攝像機(jī)支架30，分別照亮電視屏幕110的左右區(qū)域。
如圖5所示，一種觸控定位識(shí)別方法，包括以下步驟
步驟S10，捕捉接觸電視機(jī)的屏幕阻擋紅外光線形成的紅外光斑。
通過攝像頭捕捉用戶通過手機(jī)或其他不透明物體接觸電視機(jī)的屏幕阻擋紅外激光器發(fā)射的紅外光線形成的紅外光斑。
步驟S20，提取該紅外光斑的輪廓，計(jì)算得到輪廓中心的圖像坐標(biāo)，將該輪廓中心的圖像坐標(biāo)作為觸點(diǎn)的圖像坐標(biāo)。
采用閾值法將紅外光斑與背景有效分離，提取紅外光斑的輪廓，使用一階矩計(jì)算出輪廓中心的圖像坐標(biāo)，將其作為觸點(diǎn)的圖像坐標(biāo)。
在步驟S20之前，還包括步驟對(duì)該捕捉的紅外光斑進(jìn)行圖像去噪、高通濾波和圖像增強(qiáng)處理。
其中，圖像去噪的步驟是對(duì)圖像進(jìn)行平滑去噪。去除攝像頭40所帶來的高斯噪聲，具體平滑參數(shù)需要根據(jù)圖像信噪比來確定，一般取3 X 3或者5 X 5的高斯模板進(jìn)行平滑處理。
高通濾波的步驟是濾除圖像中的非極大值點(diǎn)。去除非指尖觸碰區(qū)域以及較大的移動(dòng)物體。本實(shí)施例中，高通濾波采用原始圖像與高斯平滑圖像的差值來提取。
圖像增強(qiáng)的步驟是對(duì)圖像高通濾波后的整體像素值進(jìn)行加權(quán)平方。在圖像高通濾波以后，整體圖像信號(hào)強(qiáng)度有較大損失，為了有效區(qū)分背景與紅外光斑的位置，需要對(duì)圖像的像素值進(jìn)行放大處理。
步驟S30，根據(jù)預(yù)先設(shè)定的觸點(diǎn)的圖像坐標(biāo)與電視機(jī)的屏幕坐標(biāo)的對(duì)應(yīng)關(guān)系，將觸點(diǎn)的圖像坐標(biāo)轉(zhuǎn)換為觸點(diǎn)的電視機(jī)的屏幕坐標(biāo)。
如圖6所示，預(yù)先設(shè)定的觸點(diǎn)的圖像坐標(biāo)與電視機(jī)的屏幕坐標(biāo)的對(duì)應(yīng)關(guān)系，即進(jìn)行標(biāo)定的具體步驟為
步驟S310，對(duì)攝像頭鏡頭畸變參數(shù)矯正。
采用常規(guī)的小孔成像相機(jī)畸變參數(shù)模型校正，計(jì)算公式如下
xu = xd+ (xd-xc) (ΚιΓ2+Κ2Γ4+. . · ) + (P1 (r2+2 (xd-xc)2) +2P2 (xd-xc) (yd-yc)) (1+P3r2+...)
yu = yd+ (yd-yc) (ΚιΓ2+Κ2Γ4+. . · ) + (P2 (r2+2 (yd-yc)2) +ZP1 (Xd-Xc) (yd-yc)) (1+P3r2+...)，
其中，(xu, yu)為校正畸變后坐標(biāo)，(xd，yd)為校正前坐標(biāo)，(x。，yc)為相機(jī)光心坐標(biāo)，Kn為η階徑向畸變參數(shù)，Pn為η階切向畸變系數(shù)。
在標(biāo)定出攝像頭畸變參數(shù)后，即可使用上述公式完成圖像畸變坐標(biāo)的校正，標(biāo)定物采用普通棋盤圖像，對(duì)于同種型號(hào)鏡頭，該過程只需離線進(jìn)行一次標(biāo)定即可。
步驟S320，在電視機(jī)的屏幕上選取多個(gè)標(biāo)定點(diǎn)。
多個(gè)標(biāo)定點(diǎn)應(yīng)在4個(gè)點(diǎn)以上，優(yōu)選地，為9-16個(gè)點(diǎn)，標(biāo)定圖案可以為圓形/同心圓 /方形等任何形狀。如圖2所示，圖中黑點(diǎn)為標(biāo)定點(diǎn)，按照箭頭所指依次點(diǎn)擊標(biāo)定點(diǎn)進(jìn)行標(biāo)定。
步驟S330，捕捉標(biāo)定過程中用戶依順序觸碰到標(biāo)定點(diǎn)所形成的紅外光斑，并提取每個(gè)紅外光斑的圖像坐標(biāo)。
步驟S340，獲取每個(gè)標(biāo)定點(diǎn)的電視機(jī)的屏幕坐標(biāo)，根據(jù)該標(biāo)定點(diǎn)的屏幕坐標(biāo)和相應(yīng)的紅外光斑的圖像坐標(biāo)，計(jì)算得到圖像坐標(biāo)與屏幕坐標(biāo)之間轉(zhuǎn)換的轉(zhuǎn)換矩陣。
根據(jù)標(biāo)定點(diǎn)的屏幕坐標(biāo)和對(duì)應(yīng)的光斑相機(jī)坐標(biāo)完成整個(gè)標(biāo)定步驟，具體算法描述如下設(shè)標(biāo)定點(diǎn)的屏幕坐標(biāo)為(xa，ya)，檢測(cè)到的紅外光斑的圖像坐標(biāo)為( ，yb)，凡=凡,權(quán)利要求
1.一種具有多點(diǎn)觸控功能的電視系統(tǒng)，其特征在于，包括電視機(jī)、紅外激光器、攝像機(jī)支架及攝像頭，所述電視機(jī)具有操作系統(tǒng)和嵌入式處理單元，所述攝像頭的視角覆蓋整個(gè)的電視機(jī)的屏幕，所述攝像頭用于捕捉接觸電視機(jī)的屏幕阻擋所述紅外激光器發(fā)射的紅外光線形成的紅外光斑，并將捕捉的紅外光斑發(fā)送給所述嵌入式處理單元，所述攝像機(jī)支架一端安裝于所述電視機(jī)上，另一端與所述攝像頭相連，所述嵌入式處理單元用于提取所述紅外光斑的輪廓，計(jì)算得到輪廓中心的圖像坐標(biāo)，將所述輪廓中心的圖像坐標(biāo)作為觸點(diǎn)的圖像坐標(biāo)，根據(jù)預(yù)先設(shè)定的觸點(diǎn)的圖像坐標(biāo)與電視機(jī)的屏幕坐標(biāo)的對(duì)應(yīng)關(guān)系，將觸點(diǎn)的圖像坐標(biāo)轉(zhuǎn)換為觸點(diǎn)的電視機(jī)的屏幕坐標(biāo)，根據(jù)所述觸點(diǎn)的電視機(jī)的屏幕坐標(biāo)形成觸控軌跡，將所述觸控軌跡與所述預(yù)先定義的手勢(shì)軌跡進(jìn)行比較，返回匹配度最高的手勢(shì)作為識(shí)別出的手勢(shì)，并返回相應(yīng)的手勢(shì)控制信息及控制指令。
2.根據(jù)權(quán)利要求1所述的具有多點(diǎn)觸控功能的電視系統(tǒng)，其特征在于，所述攝像機(jī)支架可拆卸或折疊。
3.根據(jù)權(quán)利要求1所述的具有多點(diǎn)觸控功能的電視系統(tǒng)，其特征在于，所述電視機(jī)包括電視邊框和電視屏幕，所述電視邊框設(shè)于所述電視屏幕周邊，所述紅外激光器和攝像機(jī)支架安裝在所述電視邊框上。
4.一種觸控定位識(shí)別方法，包括以下步驟捕捉接觸電視機(jī)的屏幕阻擋紅外光線形成的紅外光斑；提取所述紅外光斑的輪廓，計(jì)算得到輪廓中心的圖像坐標(biāo)，將所述輪廓中心的圖像坐標(biāo)作為觸點(diǎn)的圖像坐標(biāo)；根據(jù)預(yù)先設(shè)定的觸點(diǎn)的圖像坐標(biāo)與電視機(jī)的屏幕坐標(biāo)的對(duì)應(yīng)關(guān)系，將觸點(diǎn)的圖像坐標(biāo)轉(zhuǎn)換為觸點(diǎn)的電視機(jī)的屏幕坐標(biāo)；根據(jù)所述觸點(diǎn)的電視機(jī)的屏幕坐標(biāo)形成觸控軌跡；將所述觸控軌跡與所述預(yù)先定義的手勢(shì)軌跡進(jìn)行比較，返回匹配度最高的手勢(shì)作為識(shí)別出的手勢(shì)，并返回相應(yīng)的手勢(shì)控制信息及控制指令。
5.根據(jù)權(quán)利要求4所述的觸控定位識(shí)別方法，其特征在于，在所述捕捉接觸電視機(jī)的屏幕阻擋紅外光線形成的紅外光斑的步驟之后，還包括步驟對(duì)所述捕捉的紅外光斑進(jìn)行圖像去噪、高通濾波和圖像增強(qiáng)處理。
6.根據(jù)權(quán)利要求4所述的觸控定位識(shí)別方法，其特征在于，所述預(yù)先設(shè)定觸點(diǎn)的圖像坐標(biāo)與電視機(jī)的屏幕坐標(biāo)的對(duì)應(yīng)關(guān)系的步驟具體為對(duì)攝像頭畸變參數(shù)進(jìn)行矯正；在電視機(jī)的屏幕上選取多個(gè)標(biāo)定點(diǎn)；捕捉標(biāo)定過程中用戶依順序觸碰到標(biāo)定點(diǎn)所形成的紅外光斑，并提取每個(gè)紅外光斑的圖像坐標(biāo)；獲取每個(gè)標(biāo)定點(diǎn)的電視機(jī)的屏幕坐標(biāo)，根據(jù)所述標(biāo)定點(diǎn)的屏幕坐標(biāo)和相應(yīng)的紅外光斑的圖像坐標(biāo)，計(jì)算得到圖像坐標(biāo)與屏幕坐標(biāo)之間轉(zhuǎn)換的轉(zhuǎn)換矩陣。
7.根據(jù)權(quán)利要求4所述的觸控定位識(shí)別方法，其特征在于，所述根據(jù)所述觸點(diǎn)的電視機(jī)的屏幕坐標(biāo)形成觸控軌跡的具體步驟為在距離閾值范圍內(nèi)查找與所述觸點(diǎn)的屏幕坐標(biāo)的空間距離最近的存儲(chǔ)的歷史屏幕坐標(biāo)，將所述歷史屏幕坐標(biāo)對(duì)應(yīng)的觸控點(diǎn)更新為所述觸點(diǎn)對(duì)應(yīng)的觸控點(diǎn)，根據(jù)觸控點(diǎn)的屏幕坐標(biāo)形成觸控軌跡。
8.—種觸控定位識(shí)別系統(tǒng)，其特征在于，包括捕捉模塊，用于捕捉接觸電視機(jī)的屏幕阻擋紅外光線形成的紅外光斑； 提取模塊，用于提取所述紅外光斑的輪廓，計(jì)算得到輪廓中心的圖像坐標(biāo)，將所述輪廓中心的圖像坐標(biāo)作為觸點(diǎn)的圖像坐標(biāo)；轉(zhuǎn)換模塊，用于根據(jù)預(yù)先設(shè)定的觸點(diǎn)的圖像坐標(biāo)與電視機(jī)的屏幕坐標(biāo)的對(duì)應(yīng)關(guān)系，將觸點(diǎn)的圖像坐標(biāo)轉(zhuǎn)換為觸點(diǎn)的電視機(jī)的屏幕坐標(biāo)；軌跡形成模塊，用于根據(jù)所述觸點(diǎn)的電視機(jī)的屏幕坐標(biāo)形成觸控軌跡； 識(shí)別模塊，用于將所述觸控軌跡與所述預(yù)先定義的手勢(shì)軌跡進(jìn)行比較，返回匹配度最高的手勢(shì)作為識(shí)別出的手勢(shì)，并返回相應(yīng)的手勢(shì)控制信息及控制指令。
9.根據(jù)權(quán)利要求8所述的觸控定位識(shí)別系統(tǒng)，其特征在于，還包括去噪處理模塊，用于對(duì)所述捕捉的紅外光斑進(jìn)行圖像去噪、高通濾波和圖像增強(qiáng)處理。
10.根據(jù)權(quán)利要求8所述的觸控定位識(shí)別系統(tǒng)，其特征在于，還包括創(chuàng)建模塊，所述創(chuàng)建模塊用于預(yù)先設(shè)定的觸點(diǎn)的圖像坐標(biāo)與電視機(jī)的屏幕坐標(biāo)的對(duì)應(yīng)關(guān)系，所述創(chuàng)建模塊包括矯正單元，用于對(duì)攝像頭畸變參數(shù)進(jìn)行矯正； 選取單元，用于在電視機(jī)的屏幕上選取多個(gè)標(biāo)定點(diǎn)；提取單元，用于捕捉標(biāo)定過程中用戶依順序觸碰到標(biāo)定點(diǎn)所形成的紅外光斑，并提取每個(gè)紅外光斑的圖像坐標(biāo)；關(guān)系建立單元，用于獲取每個(gè)標(biāo)定點(diǎn)的電視機(jī)的屏幕坐標(biāo)，根據(jù)所述標(biāo)定點(diǎn)的屏幕坐標(biāo)和相應(yīng)的紅外光斑的圖像坐標(biāo)，計(jì)算得到圖像坐標(biāo)與屏幕坐標(biāo)之間轉(zhuǎn)換的轉(zhuǎn)換矩陣。
全文摘要
本發(fā)明涉及一種具有多點(diǎn)觸控功能的電視系統(tǒng)、觸控定位識(shí)別方法及系統(tǒng)。一種具有多點(diǎn)觸控功能的電視系統(tǒng)，包括電視機(jī)、紅外激光器、攝像機(jī)支架及攝像頭，所述電視機(jī)具有操作系統(tǒng)和嵌入式處理單元，所述攝像頭的視角覆蓋整個(gè)的電視機(jī)的屏幕，所述攝像頭用于捕捉接觸電視機(jī)的屏幕阻擋所述紅外激光器發(fā)射的紅外光線形成的紅外光斑，并將捕捉的紅外光斑發(fā)送給所述嵌入式處理單元，所述攝像機(jī)支架一端安裝于所述電視機(jī)上，另一端與所述攝像頭相連。上述具有多點(diǎn)觸控功能的電視系統(tǒng)、觸控定位識(shí)別方法及系統(tǒng)，無需對(duì)現(xiàn)有電視機(jī)硬件做出改動(dòng)，安裝方便，成本低，適用范圍廣，適用于各種尺寸的電視機(jī)屏幕，而不顯著增加硬件成本。
文檔編號(hào)H04N5/44GK102523395SQ201110403660
公開日2012年6月27日 申請(qǐng)日期2011年12月7日 優(yōu)先權(quán)日2011年11月15日
發(fā)明者宋展, 聶磊, 馬天馳 申請(qǐng)人:中國科學(xué)院深圳先進(jìn)技術(shù)研究院