專利名稱：基于投影屏幕的多點觸控檢測方法及多點觸控系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及人機交互技術領域，特別涉及一種基于投影屏幕的多點觸控檢測方法及多點觸控系統(tǒng)。
背景技術：
人們渴望隨時隨地與數(shù)字世界進行溝通，因此伴隨電子產品微型化的趨勢，智能手機、平板電腦等移動便攜式數(shù)字產品受到了消費者的青睞。手機、移動電腦的體積越來越小，性能越來越高、功能越來越多。如今大量的傳感器，例如加速度計、陀螺儀、圖像傳感器等已經廣泛的應用于智能手機、平板電腦中。隨著微電子技術的高速發(fā)展，可以預計將會有越來越多的傳感器嵌入到智能手機、平板電腦等便攜式微型設備中。
如今的電子產品多采用LED顯示器、CRT顯示器、液晶顯示屏(IXD)等作為顯示設備，采用物理鍵盤、觸控面板(Touch Panel)等作為輸入設備，從而實現(xiàn)人機交互。前面提到的電子產品的微型化從本質上并不希望看到人機交互界面的微型化。人機交互界面的小型化在很多應用環(huán)境中只會影響人機交互的便捷性、舒適性——比如，人們更愿意在物理鍵盤上打字、更愿意在大屏幕的顯示器上瀏覽信息。因此人機交互的便捷性、舒適性要求輸入設備適合人手操作、顯示界面適合信息瀏覽。這與電子產品的微型化成為了一對矛盾。而采用現(xiàn)有的人機交互方式，電子產品的微型化必然會導致交互界面的小型化。例如，現(xiàn)在的手機尺寸過小，導致顯示屏幕小，不適合人觀察，鍵盤太小，也非常不方便用戶操作。
為了克服傳統(tǒng)輸入輸出設備的缺陷，近年來出現(xiàn)了一些新的人機交互系統(tǒng)。專利 CN 101881921A、專利CN 102063618A以及專利US 2011/0197147A1中采用投影裝置顯示圖像，然后通過投影平面上的手勢實現(xiàn)人機交互——系統(tǒng)中定義若干手勢，每種手勢與指令相對應，存儲在指令數(shù)據(jù)庫中。比如，利用手勢可以實現(xiàn)比如翻頁、放大、縮小等操作。該系統(tǒng)最大的缺陷是手勢定義的指令數(shù)量有限。一方面，指令數(shù)的增加必然會加大用戶的學習難度，很難被普通用戶接受；另外一方面，即使指令數(shù)量增加到一定程度也很難實現(xiàn)字符、 數(shù)字輸入的功能。最近，賽路恩公司推出了一款鐳射虛擬鍵盤(VKB)。該產品采用激光在桌面上投影出一個虛擬鍵盤，紅外傳感器判斷手指是否敲擊鍵盤。該產品投影出的鍵盤圖像色彩單調，也只能完成字符、數(shù)字輸入的功能，而不能實現(xiàn)色彩豐富圖形界面投影與操作。發(fā)明內容
(一)要解決的技術問題
本發(fā)明要解決的技術問題是如何實現(xiàn)微型移動便攜式設備的方便、舒適、快速、 準確以及穩(wěn)定的人機交互。
( 二 )技術方案
為解決上述技術問題，本發(fā)明提供了一種基于投影屏幕的多點觸控檢測方法，包括以下步驟
Sl 測定投影平面、計算所述投影平面參數(shù)，并對所述投影平面進行背景模型訓4練，形成背景圖像；
S2:向投影平面投影圖形界面后并判斷是否開始監(jiān)測觸控操作，若沒有觸控操作， 則繼續(xù)監(jiān)測；
S3 采集觸控操作的圖像s ；
S4:依據(jù)所述背景圖像對步驟S3中采集的圖像s進行背景分割，提取出前景圖像， 該前景圖像中至少包括了指尖、手掌、手臂以及各自形成的陰影；
S5 從前景圖像中提取出指尖，濾除手掌、手臂以及相應的陰影；
S6 根據(jù)提取出的指尖的三維信息判斷接觸點；
S7:如果指尖與投影平面接觸，那么判定為一次有效的觸控操作，并返回接觸點的位置坐標。
其中，所述步驟Sl中的平面參數(shù)計算包括如下步驟
采用結構光方法檢測出投影平面上N個點，N >=3，非N點共線，在圖像傳感器坐標系的坐標(Xi Yi Zi)T，i = 1，2···，Ν，當N= 3時，通過如下公式計算平面參數(shù)
否則，通過最小二乘法估計投影平面參數(shù)，其中α、β、Y為所述投影平面的方程系數(shù)，滿足平面方程α χ+ β y+ Υ ζ = 1。
其中，所述步驟S4中分割背景圖像的方式為遍歷圖像s中每一個像素點，將偏離背景圖像統(tǒng)計均值大于第一門限值的像素判斷為前景圖像；將偏離背景圖像統(tǒng)計均值小于第二門限值的像素判定為背景圖像，根據(jù)該像素值更新背景圖像；偏離在第一門限值和第二門限值之間的像素判定為背景圖像，但不更新背景圖像，所述第一門限值大于所述第二門限值。
其中，所述步驟S4中，在遍歷之前通過投影圖像四個角的坐標計算采集圖像平面上對應的四個坐標，以確定在圖像s中的投影圖像的區(qū)域，遍歷時只遍歷圖像s中的投影圖像所在區(qū)域。
其中，所述步驟S5具體包括
(1)判斷像素點是否為前景圖像，若不為前景圖像，則結束對該像素點的處理；
(2)若為前景圖像，則判斷是否為陰影，如果該像素點為陰影，結束對該像素點的處理，否則斷定所述像素點為指尖；
(3)按上述(1)42)遍歷圖像s的每一個像素點。
其中，所述步驟S5具體包括
(1)判斷像素點是否為前景圖像，若不為前景圖像，則結束對該像素點的處理；
(2)若為前景圖像，則判斷是否為陰影，如果所述像素點為陰影，則結束對所述像素點的處理；
(3)計算所述像素點的像素斜率；
(4)判斷同一斜率上是否有陰影點，如果與所述像素點相同斜率上存在陰影點，則斷定所述像素點所在區(qū)域不與投影屏幕接觸，結束對該像素點的處理，否則斷定所述像素點為指尖；
(5)按上述(1)-(4)遍歷圖像s的每一個像素點。
其中，所述步驟S6具體包括
將結構光投影到指尖區(qū)域，并捕獲失真的結構光圖案；
查找指尖區(qū)域中投影結構光圖像與失真結構光圖案的像素點映射關系；
計算指尖到投影平面的距離，通過結構光的方法得到指尖在圖像傳感器坐標系的坐標為(Xi Yi Zi)T，那么指尖與投影平面之間的距離為
權利要求
1.一種基于投影屏幕的多點觸控檢測方法，其特征在于，包括以下步驟51測定投影平面、計算所述投影平面參數(shù)，并對所述投影平面進行背景模型訓練，形成背景圖像；52向投影平面投影圖形界面后并判斷是否開始監(jiān)測觸控操作，若沒有觸控操作，則繼續(xù)監(jiān)測；S3:采集觸控操作的圖像s;S4:依據(jù)所述背景圖像對步驟S3中采集的圖像s進行背景分割，提取出前景圖像，該前景圖像中至少包括了指尖、手掌、手臂以及各自形成的陰影；55從前景圖像中提取出指尖，濾除手掌、手臂以及相應的陰影；56根據(jù)提取出的指尖的三維信息判斷接觸點；57如果指尖與投影平面接觸，那么判定為一次有效的觸控操作，并返回接觸點的位置坐標。
2.如權利要求1所述的基于投影屏幕的多點觸控檢測方法，其特征在于，所述步驟Sl 中的平面參數(shù)計算包括如下步驟采用結構光方法檢測出投影平面上N個點，N >= 3，非N點共線，在圖像傳感器坐標系的坐標(Xi Yi Zi)T，i = 1，2···，Ν，當N= 3時，通過如下公式計算平面參數(shù)
3.如權利要求1所述的基于投影屏幕的多點觸控檢測方法，其特征在于，所述步驟S4 中分割背景圖像的方式為遍歷圖像s中每一個像素點，將偏離背景圖像統(tǒng)計均值大于第一門限值的像素判斷為前景圖像；將偏離背景圖像統(tǒng)計均值小于第二門限值的像素判定為背景圖像，根據(jù)該像素值更新背景圖像；偏離在第一門限值和第二門限值之間的像素判定為背景圖像，但不更新背景圖像，所述第一門限值大于所述第二門限值。
4.如權利要求3所述的基于投影屏幕的多點觸控檢測方法，其特征在于，所述步驟S4 中，在遍歷之前通過投影圖像四個角的坐標計算采集圖像平面上對應的四個坐標，以確定在圖像s中的投影圖像的區(qū)域，遍歷時只遍歷圖像s中的投影圖像所在區(qū)域。
5.如權利要求1所述的基于投影屏幕的多點觸控檢測方法，其特征在于，所述步驟S5 具體包括(1)判斷像素點是否為前景圖像，若不為前景圖像，則結束對該像素點的處理；(2)若為前景圖像，則判斷是否為陰影，如果該像素點為陰影，結束對該像素點的處理， 否則斷定所述像素點為指尖；(3)按上述(1)42)遍歷圖像s的每一個像素點。
6.如權利要求1所述的基于投影屏幕的多點觸控檢測方法，其特征在于，所述步驟S5 具體包括(1)判斷像素點是否為前景圖像，若不為前景圖像，則結束對該像素點的處理；(2)若為前景圖像，則判斷是否為陰影，如果所述像素點為陰影，則結束對所述像素點的處理；(3)計算所述像素點的像素斜率；(4)判斷同一斜率上是否有陰影點，如果與所述像素點相同斜率上存在陰影點，則斷定所述像素點所在區(qū)域不與投影屏幕接觸，結束對該像素點的處理，否則斷定所述像素點為指尖；(5)按上述(1)44)遍歷圖像s的每一個像素點。
7.如權利要求1所述的基于投影屏幕的多點觸控檢測方法，其特征在于，所述步驟S6 具體包括將結構光投影到指尖區(qū)域，并捕獲失真的結構光圖案； 查找指尖區(qū)域中投影結構光圖像與失真結構光圖案的像素點映射關系； 計算指尖到投影平面的距離，通過結構光的方法得到指尖在圖像傳感器坐標系的坐標為(Xi Yi Zi)T，那么指尖與投影平面之間的距離為 ,axi +Pyj+Yzi , = —ι判斷接觸點，如果Cli > thresholcLl，則指尖不與投影平面接觸，否則指尖與投影平面接觸，其中，threshold_l為預定閾值。
8.如權利要求1所述的基于投影屏幕的多點觸控檢測方法，其特征在于，所述步驟S6 具體包括向指尖區(qū)域投影結構光條紋，并捕獲結構光圖像；檢測捕獲結構光圖像中條紋上邊緣像素橫坐標X1和下邊緣像素橫坐標& ； 計算條紋中心ip; 判斷指尖是否與投影平面接觸，如果 xc< threshold—2，那么斷定指尖與投影平面接觸，其中^為指尖中心橫坐標，threshold_2為預定閾值。
9.一種基于投影屏幕的多點觸控系統(tǒng)，包括投影儀、圖像傳感器、I/O端口、輸入設備、存儲設備及中央控制器，所述投影儀圖像傳感器、I/O端口、輸入設備、存儲設備均與所述中央控制器相連，其特征在于，所述I/O端口用于連接移動終端，所述投影儀用于將移動終端顯示的圖像和操作界面投影到投影平面；所述圖像傳感器用于捕獲投影屏幕上手勢； 所述中央控制器用于解析所述手勢的觸控操作，并將解析出的觸控信息反饋給移動終端， 所述輸入設備用于輸入配置信息及指令。
10.如權利要求9所述的基于投影屏幕的多點觸控系統(tǒng)，其特征在于，所述輸入設備包括感光傳感器，用于檢測環(huán)境光的亮度，所述中央控制器根據(jù)感光傳感器的輸出值調節(jié)投影儀的亮度。
全文摘要
本發(fā)明公開了基于投影屏幕的多點觸控檢測方法，涉及人機交互技術領域，包括測定投影平面、計算投影平面參數(shù)，并對投影平面進行背景模型訓練，形成背景圖像；向投影平面投影圖形界面后并判斷是否開始監(jiān)測觸控操作；采集觸控操作的圖像s；依據(jù)背景圖像采集的圖像s進行背景分割，提取出前景圖像；從前景圖像中提取出指尖，濾除手掌、手臂以及相應的陰影；根據(jù)提取出的指尖的空間三維信息判斷接觸點；如果指尖與投影平面接觸，那么判定為一次有效的觸控操作，并返回接觸點的位置坐標。還公開了一種基于投影屏幕的多點觸控系統(tǒng)。本發(fā)明實現(xiàn)了一種便捷、舒適、精確、實時和穩(wěn)定的人機交互方式。
文檔編號G06F3/041GK102508574SQ20111035351
公開日2012年6月20日 申請日期2011年11月9日 優(yōu)先權日2011年11月9日
發(fā)明者劉金, 李國林, 王志華, 胡軍, 謝翔 申請人:清華大學