專利名稱：：虛擬觸摸屏系統(tǒng)以及方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種人機交互領(lǐng)域，尤其是設(shè)計數(shù)字圖像處理領(lǐng)域。具體而言，本發(fā)明涉及一種用于觸摸屏幕系統(tǒng)的虛擬觸摸方法以及采用這種方法的虛擬觸摸屏系統(tǒng)。
背景技術(shù)：
：觸摸屏幕技術(shù)現(xiàn)在被越來越廣泛地用于作為HMI設(shè)備的手持式設(shè)備(例如智能電話)以及PC(例如臺式PC)中。通過觸摸屏幕，用戶可以更舒適和方便地操作該設(shè)備并帶來良好的體驗。盡管觸摸屏幕技術(shù)在手持設(shè)備中非常成功，但是對于大尺寸顯示器的觸摸屏幕卻依然存在一些問題和機會屬于Canesta,Inc標(biāo)題為“SystemandMethodforDetermininganInputSelectedByaUserthroughaVirtualInterface(通過虛擬界面確定用戶所選擇的輸入的系統(tǒng)和方法)”的美國專利US7151530B2提出了一種用于在一組鍵值中選擇哪個鍵值被指派為當(dāng)前鍵值的方法，因此得以提供與虛擬界面中的區(qū)域交叉的對象。該虛擬界面能夠?qū)崿F(xiàn)在鍵值組中選擇單一的鍵值并使用深度傳感器來確定位置，該深度傳感器可以確定與深度傳感器的位置相關(guān)的位置的深度。此外，對象的位移特性或?qū)ο蟮男螤钐匦灾辽僦豢梢缘靡源_定。位置信息可以近似于對象相對于位置傳感器或其他參考點的深度。當(dāng)照相機的像素陣列中足夠數(shù)量的像素指示對象的存在時，就認(rèn)為檢測到該對象。確定與虛擬輸入?yún)^(qū)域的表面交叉的對象的形狀并與多種已知的形狀(例如手指或指示筆)進行比較。同樣屬于Canesta,Inc標(biāo)題為“Quasi-Three-DimensionalMethodAndApparatusToDetectAndLocalizeInteractionOfUser-ObjectAndVirtualTransferDevice(用于檢測和定位用戶-對象和虛擬轉(zhuǎn)換裝置的交互的準(zhǔn)三位方法和設(shè)備)”的美國專利US6710770B2披露了一種采用虛擬裝置輸入或傳輸信息到附屬裝置的系統(tǒng)，包括兩個光學(xué)系統(tǒng)OSl和0S2。在光線構(gòu)造實施方式中，OSl在虛擬裝置上并平行于該虛擬裝置發(fā)射扇形光束平面0的光能量。當(dāng)用戶對象穿透感興趣的光束平面時，0S2登記該事件。三角測量方法能夠定位虛擬接觸，并將用戶預(yù)定信息傳輸?shù)礁綄傧到y(tǒng)。在非結(jié)構(gòu)主動光線結(jié)構(gòu)中，OSl優(yōu)選為一種數(shù)字照相機，其視野定義了感興趣的平面，該平面由一主動光能量源照亮。屬于Touchtable,Inc的標(biāo)題為“TouchDetectingInteractiveDisplay(觸摸檢測互動顯示器)”的美國專利US7728821B2披露了一種由在觸摸檢測顯示表面上的所識別的用戶姿態(tài)控制的互動顯示器。影像從位于投射表面上的投影儀被投射到水平投影表面上。使用排列在投影表面的周邊的一組紅外發(fā)射器和接收器檢測用戶接觸投影表面的位置。對于每個接觸位置，計算機軟件應(yīng)用存儲接觸位置信息的歷史，并且根據(jù)該位置歷史確定每個接觸位置的速度。基于該位置歷史和速度信息，識別姿態(tài)。所識別的姿態(tài)與顯示命令相關(guān)聯(lián)，相應(yīng)地，這些顯示命令被執(zhí)行以更新所顯示的影像。因此，該美國專利使得用戶能夠通過與影像之間的直接物理交互來控制顯示器。屬于微軟公司的標(biāo)題為“CompactInteractiveTabletopwithProjection-Vision(具有投影視界的小型交互桌面)”的美國專利US7599561B2披露了一種便于任何圖像(靜態(tài)或移動)基于視覺的投影到任何表面的系統(tǒng)和方法。尤其是提供了一種正投影計算機基于視覺的交互表面系統(tǒng)，其使用一種新型的商業(yè)上可獲得的投影技術(shù)來獲得一種小型獨立(self-contained)形式的因子(factor)。這種系統(tǒng)的配置解決了在大多數(shù)基于視覺的臺面系統(tǒng)中所主要關(guān)注的安裝、校準(zhǔn)以及便攜的問題。其中，輸入的圖像被二值化以產(chǎn)生陰影圖像，并且隨后分析該圖像中的陰影形狀以確定是該陰影的原物是“觸摸”到了表面上還是“懸?！痹诒砻嫔戏?。從上面所提到的這些現(xiàn)有技術(shù)看來，大多數(shù)大尺寸觸摸屏幕都是基于電磁板(諸如電子白板)，IRborder(諸如互動性大尺寸顯示器)等。當(dāng)時對于大尺寸觸摸屏幕的當(dāng)前的技術(shù)方案而言依然存在很多問題，例如總體而言，這些類型的設(shè)備通常由于其硬件而導(dǎo)致的其體積大而笨重，因此難以攜帶，不具有便攜性。而且這些類型的設(shè)備屏幕尺寸受到硬件的限制而尺寸固定而不能根據(jù)環(huán)境的需要而自由地調(diào)節(jié)，而且還需要一種特殊的電磁筆或一種IR筆來進行操作。對于有些虛擬白板投影儀而言，用戶必須控制激光筆的開啟/關(guān)閉開關(guān)，這非常繁瑣，因此存在激光筆難以控制的問題。另外，在這種虛擬白板投影儀中，一旦激光筆關(guān)閉，就很難精確地將激光點定位到下一個位置，因此存在激光點定位難的問題。有些虛擬白板投影儀中采用了手指鼠標(biāo)來替代激光筆，但是，采用手指鼠標(biāo)的虛擬白板投影儀不能檢測到觸摸開始(touchon)或觸摸結(jié)束(touchup)。
發(fā)明內(nèi)容為了解決上面所提到的現(xiàn)有技術(shù)中的這些問題，本發(fā)明提出了一種用于觸摸屏幕系統(tǒng)的虛擬觸摸方法以及使用這種方法的虛擬觸摸屏系統(tǒng)。具體而言，該用于觸摸屏幕系統(tǒng)的虛擬觸摸方法包括初始獲得包含一觸摸操作區(qū)域的環(huán)境的深度信息，基于所述初始獲得的深度信息創(chuàng)建初始深度圖，以及基于所述初始深度圖確定所述觸摸操作區(qū)域的位置；連續(xù)獲得所述確定的觸摸操作區(qū)域的環(huán)境的圖像；從所獲得的每幀圖像中，檢測位于所述觸摸操作區(qū)域前預(yù)定距離內(nèi)的至少一個對象的候選斑塊；根據(jù)前后相鄰兩幀圖像中所獲得斑塊的形心點在時間和空間上的關(guān)系將各個斑塊歸入相應(yīng)的點序列。其中所述確定所述觸摸操作區(qū)域的位置的步驟包括檢測并標(biāo)記所述初始深度圖中的聯(lián)通分量；確定所檢測并標(biāo)記的聯(lián)通分量是否包含所述初始深度圖兩條對角線的交點；在所檢測并標(biāo)記的聯(lián)通分量包含所述初始深度圖兩條對角線的交點的情況下，計算所述初始深度圖的對角線與所檢測并標(biāo)記的聯(lián)通分量的交點；以及依次連接所計算的交點，并將所連接獲得凸多邊形確定為所述觸摸操作區(qū)域。根據(jù)本發(fā)明的用于觸摸屏幕系統(tǒng)的虛擬觸摸方法，所述的用于觸摸屏幕系統(tǒng)的虛擬觸摸方法，其中，所述觸摸操作區(qū)域與所述觸摸屏幕系統(tǒng)的投影區(qū)域重疊。根據(jù)本發(fā)明的用于觸摸屏幕系統(tǒng)的虛擬觸摸方法，所述觸摸操作區(qū)域不與所述觸摸屏幕系統(tǒng)的投影區(qū)域重疊。根據(jù)本發(fā)明的用于觸摸屏幕系統(tǒng)的虛擬觸摸方法，其中所述檢測并標(biāo)記所述初始深度圖中的聯(lián)通分量的步驟包括計算每個聯(lián)通分量其面積；以及確定所計算的面積是否大于一個預(yù)定的面積閾值，并丟棄其面積小于所述預(yù)定面積閾值的連通分量。根據(jù)本發(fā)明的用于觸摸屏幕系統(tǒng)的虛擬觸摸方法，所述預(yù)定面積閾值為所述初始深度圖的面積的四分之一。根據(jù)本發(fā)明的用于觸摸屏幕系統(tǒng)的虛擬觸摸方法，其中所述依次連接所計算的交點，并將所連接獲得凸多邊形確定為所述觸摸操作區(qū)域的步驟包括確定依次連接所計算的交點所形成的形狀是否為凸多邊形，如果不是凸多邊形，則丟棄所形成的聯(lián)通分量。根據(jù)本發(fā)明的用于觸摸屏幕系統(tǒng)的虛擬觸摸方法，所述根據(jù)前后相鄰兩幀圖像中所獲得斑塊的形心點在時間和空間上的關(guān)系將各個斑塊歸入相應(yīng)的點序列的步驟包括接收從一幀新圖像中獲得多個新斑塊的形心點；檢索多個已有點序列，針對每個已有點序列，尋找距離該已有點序列臨近的形心點，將距離最近的形心點所對應(yīng)的新斑塊作為該已有序列點最近的新斑塊；以及將距離該已有點序列最近的新斑塊歸入該已有點序列。根據(jù)本發(fā)明的用于觸摸屏幕系統(tǒng)的虛擬觸摸方法，所述根據(jù)前后相鄰兩幀圖像中所獲得斑塊的形心點在時間和空間上的關(guān)系將各個斑塊歸入相應(yīng)的點序列的步驟還包括針對任何一個已有點序列，如果在不存在任何與其臨近的新斑塊，則給出該已有點序列已結(jié)束的通知并刪除該已有點序列。根據(jù)本發(fā)明的用于觸摸屏幕系統(tǒng)的虛擬觸摸方法，所述根據(jù)前后相鄰兩幀圖像中所獲得斑塊的形心點在時間和空間上的關(guān)系將各個斑塊歸入相應(yīng)的點序列的步驟還包括針對所輸入的一幀圖像中的多個新斑塊中的任意一個新斑塊，如果不存在任何與其臨近的已有點序列，則給出該新斑塊為一個新點序列的起點的通知，并創(chuàng)建一個新的點序列。根據(jù)本發(fā)明的用于觸摸屏幕系統(tǒng)的虛擬觸摸方法，所述針對每個已有點序列尋找距離該已有點序列最近的形心點的步驟包括輸入一個已有點序列，并從所輸入的一幀圖像中的多個新斑塊中尋找距離該已有點序列臨近的新斑塊；在從所輸入的一幀圖像中的多個新斑塊沒有找到距離所輸入的已有點序列臨近的新斑塊的情況下，則給出所輸入的已有點序列將要被刪除的通知；在從所輸入的一幀圖像中的多個新斑塊找到了距離所輸入的已有點序列臨近的新斑塊，且所找到的臨近的新斑塊僅僅為所輸入的已有點序列的臨近的新斑塊，則確定該新斑塊屬于所輸入的已有點序列；以及在從所輸入的一幀圖像中的多個新斑塊找到了距離所輸入的已有點序列臨近的新斑塊，且所找到的臨近的新斑塊還是其他已有點序列的臨近的新斑塊，如果所找到的臨近的新斑塊與所輸入的已有點序列的距離比與其他已有點序列的距離小，則確定該新斑塊屬于與所輸入的已有點序列最近的新斑塊，否貝U，給出所輸入的已有點序列將要被刪除的通知；核實是否已經(jīng)對所有的已有序列點執(zhí)行了上述步驟。根據(jù)本發(fā)明的用于觸摸屏幕系統(tǒng)的虛擬觸摸方法，所述從所輸入的一幀圖像中的多個新斑塊中尋找距離該已有點序列臨近的新斑塊的步驟包括輸入一個新斑塊，計算所輸入的新斑塊與所輸入的已有已有點序列之間的距離；在所計算的所輸入新斑塊與所輸入的已有點序列之間的距離小于一預(yù)定的距離閾值Td的情況下，將所輸入新斑塊插入到屬于所輸入的已有軌跡的候選臨近新斑塊列表中，否則，確認(rèn)是否已經(jīng)對所有新斑塊執(zhí)行了上述步驟；在確定屬于所輸入的已有點序列的候選臨近新斑塊列表的大小小于一個預(yù)定的大小閾值Tsize的情況下，確認(rèn)是否已經(jīng)對所有新斑塊執(zhí)行了上述步驟，否則，刪除屬于所輸入的已有點序列的候選臨近新斑塊列表中的與所輸入的已有點序列最遠的新斑塊后，確認(rèn)是否已經(jīng)對所有新斑塊執(zhí)行了上述步驟；在確認(rèn)已經(jīng)對所有新斑塊執(zhí)行了上述步驟的情況下，如果屬于所輸入的已有點序列的候選臨近新斑塊列表不為空，則從所述列表中的候選臨近新斑塊中找出與所輸入的已有點序列最近的新斑塊作為所輸入的已有點序列的最近新斑塊。根據(jù)本發(fā)明的用于觸摸屏幕系統(tǒng)的虛擬觸摸方法，還包括對最終獲得的點序列采用以下公式進行坐標(biāo)優(yōu)化以進行平滑處理，權(quán)利要求1.一種用于觸摸屏幕系統(tǒng)的虛擬觸摸方法，包含初始獲得包含一觸摸操作區(qū)域的環(huán)境的深度信息，基于所述初始獲得的深度信息創(chuàng)建初始深度圖，以及基于所述初始深度圖確定所述觸摸操作區(qū)域的位置；連續(xù)獲得所述確定的觸摸操作區(qū)域的環(huán)境的圖像；從所獲得的每幀圖像中，檢測位于所述觸摸操作區(qū)域前預(yù)定距離內(nèi)的至少一個對象的候選斑塊；根據(jù)前后相鄰兩幀圖像中所獲得斑塊的形心點在時間和空間上的關(guān)系將各個斑塊歸入相應(yīng)的點序列，其中所述確定所述觸摸操作區(qū)域的位置的步驟包括檢測并標(biāo)記所述初始深度圖中的聯(lián)通分量；確定所檢測并標(biāo)記的聯(lián)通分量是否包含所述初始深度圖兩條對角線的交點；在所檢測并標(biāo)記的聯(lián)通分量包含所述初始深度圖兩條對角線的交點的情況下，計算所述初始深度圖的對角線與所檢測并標(biāo)記的聯(lián)通分量的交點；以及依次連接所計算的交點，并將所連接獲得凸多邊形確定為所述觸摸操作區(qū)域。2.根據(jù)權(quán)利要求I所述的用于觸摸屏幕系統(tǒng)的虛擬觸摸方法，其中，所述觸摸操作區(qū)域與所述觸摸屏幕系統(tǒng)的投影區(qū)域重疊。3.根據(jù)權(quán)利要求I所述的用于觸摸屏幕系統(tǒng)的虛擬觸摸方法，其中，所述觸摸操作區(qū)域不與所述觸摸屏幕系統(tǒng)的投影區(qū)域重疊。4.根據(jù)權(quán)利要求1-3任意一個所述的用于觸摸屏幕系統(tǒng)的虛擬觸摸方法，其中所述檢測并標(biāo)記所述初始深度圖中的聯(lián)通分量的步驟包括計算每個聯(lián)通分量其面積；確定所計算的面積是否大于一個預(yù)定的面積閾值，并丟棄其面積小于所述預(yù)定面積閾值的連通分量。5.根據(jù)權(quán)利要求4任意一個所述的用于觸摸屏幕系統(tǒng)的虛擬觸摸方法，其中，所述預(yù)定面積閾值為所述初始深度圖的面積的四分之一。6.根據(jù)權(quán)利要求4任意一個所述的用于觸摸屏幕系統(tǒng)的虛擬觸摸方法，其中所述依次連接所計算的交點，并將所連接獲得凸多邊形確定為所述觸摸操作區(qū)域的步驟包括確定依次連接所計算的交點所形成的形狀是否為凸多邊形，如果不是凸多邊形，則丟棄所形成的聯(lián)通分量。7.—種虛擬觸摸屏.系統(tǒng)，包括投影儀，將圖像投射到以一投影表面上；深度照相機，獲得包含一觸摸操作區(qū)域的環(huán)境的深度信息；深度圖處理單元，基于深度照相機在初始狀況下獲得的深度信息創(chuàng)建初始深度圖，并基于所述初始深度圖確定所述觸摸操作區(qū)域的位置；對象檢測單元，從深度照相機在初始狀況之后連續(xù)所獲得的每幀圖像中，檢測位于所確定的觸摸操作區(qū)域前預(yù)定距離內(nèi)的至少一個對象的候選斑塊；跟蹤單元，根據(jù)前后相鄰兩幀圖像中所獲得斑塊的形心點在時間和空間上的關(guān)系將各個斑塊歸入相應(yīng)的點序列，其中，所述觸摸操作區(qū)域確定單元通過如下過程來確定所述觸摸操作區(qū)域的位置檢測并標(biāo)記所述初始深度圖中的聯(lián)通分量；確定所檢測并標(biāo)記的聯(lián)通分量是否包含所述初始深度圖兩條對角線的交點；在所檢測并標(biāo)記的聯(lián)通分量包含所述初始深度圖兩條對角線的交點的情況下，計算所述初始深度圖的對角線與所檢測并標(biāo)記的聯(lián)通分量的交點；以及依次連接所計算的交點，并將所連接獲得凸多邊形確定為所述觸摸操作區(qū)域。全文摘要本發(fā)明提供了一種用于觸摸屏幕系統(tǒng)的虛擬觸摸方法以及使用該方法的虛擬觸摸屏幕系統(tǒng)。所述方法包括初始獲得包含一觸摸操作區(qū)域的環(huán)境的深度信息，基于所述初始獲得的深度信息創(chuàng)建初始深度圖，以及基于所述初始深度圖確定所述觸摸操作區(qū)域的位置；連續(xù)獲得所述確定的觸摸操作區(qū)域的環(huán)境的圖像；從所獲得的每幀圖像中，檢測位于所述觸摸操作區(qū)域前預(yù)定距離內(nèi)的至少一個對象的候選斑塊；根據(jù)前后相鄰兩幀圖像中所獲得斑塊的形心點在時間和空間上的關(guān)系將各個斑塊歸入相應(yīng)的點序列。文檔編號G06F3/041GK102799344SQ201110140079公開日2012年11月28日申請日期2011年5月27日優(yōu)先權(quán)日2011年5月27日發(fā)明者張文波,李磊申請人:株式會社理光