專利名稱：使用虛擬按鍵的輸入設(shè)備及輸入方法
使用虛擬按鍵的輸入設(shè)備及輸入方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息輸入，尤其涉及ー種使用虛擬按鍵輸入設(shè)備及其輸入方法。
背景技木鍵盤是最常見最主要的計(jì)算機(jī)輸入設(shè)備，它廣泛應(yīng)用于微型計(jì)算機(jī)和各種終端設(shè)備上。計(jì)算機(jī)操作者通過鍵盤向計(jì)算機(jī)輸入各種指令、數(shù)據(jù)，指揮計(jì)算機(jī)的工作。計(jì)算機(jī)的運(yùn)行情況輸出到顯示器，操作者可以很方便地利用鍵盤和顯示器與計(jì)算機(jī)對話，對程序進(jìn)行修改、編輯、控制和觀察計(jì)算機(jī)的運(yùn)行。常見的鍵盤主要是具有實(shí)體按鍵的鍵盤。觸點(diǎn)式實(shí)體按鍵鍵盤主要通過觸點(diǎn)的通斷實(shí)現(xiàn)信號的輸入。無觸點(diǎn)式實(shí)體按鍵鍵盤主要通過霍爾效應(yīng)和電容開關(guān)實(shí)現(xiàn)信號的輸 入。傳統(tǒng)的實(shí)體按鍵鍵盤具有成本低、制造方便的優(yōu)點(diǎn)，其主要缺點(diǎn)是按鍵之間存在的間隙 比較大，容易藏污納垢，難以清潔，從而導(dǎo)致按鍵失靈。另外，實(shí)體按鍵上印有所需國家語言的字碼和符號用以標(biāo)記。一旦鍵盤的字碼和符號印上后則無法更改。當(dāng)使用者需要在各國語言之間進(jìn)行切換時(shí)，傳統(tǒng)的實(shí)體鍵盤無法根據(jù)需要更換所需的鍵盤界面。此外，傳統(tǒng)的實(shí)體按鍵鍵盤還具有體積大、攜帯不變的缺點(diǎn)。因此,亟需一種改良的輸入設(shè)備。

發(fā)明內(nèi)容本發(fā)明一方面提供ー種使用虛擬按鍵的輸入方法，所述輸入方法包括以下步驟將鍵位影像投射到物理平面；拍攝投射后的鍵位影像以及所述物理平面上的手指影像；將所拍攝的鍵位影像和手指影像轉(zhuǎn)換成數(shù)字圖形序列；根據(jù)手指模型和所述數(shù)字圖像序列識別出手指敲擊的鍵位，并產(chǎn)生對應(yīng)的輸入信號。作為ー種改進(jìn)方案，以預(yù)設(shè)的時(shí)間間隔拍攝所述鍵位影像和手指影像。作為ー種改進(jìn)方案，所述輸入方法包括根據(jù)所述數(shù)字圖像序列中相鄰的兩幀或多幀數(shù)字圖像識別出活動的手指。作為ー種改進(jìn)方案，所述手指模型包括骨架模型和指尖模型；所述根據(jù)手指模型和數(shù)字圖像序列識別出手指敲擊的鍵位的步驟包括根據(jù)所述指尖模型識別出所述數(shù)字圖像序列的指尖，根據(jù)所述骨架模型識別出所述數(shù)字圖像序列的手指運(yùn)動，根據(jù)所述手指運(yùn)動以及指尖判斷是否出現(xiàn)擊鍵動作。作為ー種改進(jìn)方案，根據(jù)骨架模型識別出所述數(shù)字圖像序列的手指運(yùn)動的步驟包括識別手指的節(jié)點(diǎn)，所述節(jié)點(diǎn)包括手指每個(gè)關(guān)節(jié)處的節(jié)點(diǎn)以及指尖的節(jié)點(diǎn)；根據(jù)所述數(shù)字圖像序列尋找出所有節(jié)點(diǎn)的軌跡；根據(jù)所述所有節(jié)點(diǎn)的軌跡獲取手指的軌跡信息；根據(jù)所述手指的軌跡信息提取當(dāng)前活動的手指信息。本發(fā)明的另一方面提供ー種使用虛擬按鍵的輸入設(shè)備，所述輸入設(shè)備包括投影模塊，用于將鍵位影像投射到物理平面；攝像模塊，用于拍攝所投射的鍵位影像以及所述物理平面上的手指影像；模數(shù)轉(zhuǎn)換模塊，所述模數(shù)轉(zhuǎn)換模塊與攝像模塊連接，將所述鍵位影像、手指影像轉(zhuǎn)換成數(shù)字圖像序列；手指模型庫，用于存儲手指模型；處理模塊，所述處理模塊與所述模數(shù)轉(zhuǎn)換模塊、手指模型庫連接，根據(jù)所述數(shù)字圖像序列、手指模型識別出手指敲擊的鍵位，并產(chǎn)生對應(yīng)的輸入信號。作為ー種改進(jìn)方案，所述投影模塊的光源為發(fā)光二極管或激光二極管。作為ー種改進(jìn)方案，所述輸入設(shè)備包括柔性物件，用于提供所述物理平面。作為ー種改進(jìn)方案，所述手指模型包括骨架模型和指尖模型，所述指尖模型用于識別出所述數(shù)字圖像序列的指尖，所述骨架模型用于識別出所述數(shù)字圖像序列的手指運(yùn)動位置，以識別出擊鍵動作。作為ー種改進(jìn)方案，所述輸入設(shè)備還包括鍵位模塊，所述鍵位模塊接收用戶的設(shè)定以改變鍵位方案，并向所述投影模塊提供改變后的鍵位方案。 實(shí)施本發(fā)明，不需要實(shí)體鍵位就能夠?qū)崿F(xiàn)輸入，并且結(jié)構(gòu)簡單，成本低廉。

圖I是本發(fā)明一實(shí)施例提供的使用虛擬鍵位的輸入設(shè)備的示意框圖；圖2是本發(fā)明另ー實(shí)施例提供的輸入設(shè)備的示意框圖；圖3是本發(fā)明一實(shí)施例使用虛擬鍵位的輸入方法的流程圖；圖4是本發(fā)明一實(shí)施例采用的骨架模型的示意圖；圖5是本發(fā)明ー實(shí)施例采用的檢測手指中心線的示意圖；圖6是本發(fā)明ー實(shí)施例采用的指尖模型；圖7是把手指節(jié)點(diǎn)歸類后的手指模型信息；圖8是本發(fā)明一實(shí)施例使用骨架模型識別手指擊鍵的流程圖。
具體實(shí)施方式參考圖1，本發(fā)明的一個(gè)實(shí)施例中提供的使用虛擬按鍵的輸入設(shè)備包括投影模塊
11、攝影模塊13、模數(shù)轉(zhuǎn)換模塊15、處理模塊17和手指模型庫19。其中，投影模塊11將鍵位影像投射到物理平面12，每個(gè)鍵位影像表示一個(gè)按鍵，供用戶敲擊。應(yīng)當(dāng)意識到，物理平面12的作用主要是用來顯示鍵位的投影，因此，物理平面12可以是嚴(yán)格平坦的平面，也可以是大致平整的面；可以是某種剛性平面，也可以是某種柔性物件的表面，例如，該柔性物件是可以折疊或者收卷的塑料件，以便于攜帯。攝像模塊13物理平面的拍攝鍵位影像以及物理平面上的手指影像。模數(shù)轉(zhuǎn)換模塊15與攝像模塊13連接，將鍵位影像、手指影像轉(zhuǎn)換成數(shù)字圖像序列。處理模塊17與模數(shù)轉(zhuǎn)換模塊15、手指模型庫19連接。手指模型庫19存儲手指模型，供處理模塊17調(diào)用。處理模塊17根據(jù)數(shù)字圖像序列、手指模型識別出手指敲擊的鍵位，并產(chǎn)生對應(yīng)的輸入信號。投影模塊11可以與輸入設(shè)備的其他零部件分離，其光源可以是發(fā)光二極管或激光二極管。每個(gè)鍵位具有特定信息，以供處理單元17識別。替換地，投影模塊11也可以與輸入設(shè)備的其他零部件組裝成ー個(gè)整體。手指模型庫19中存儲的手指模型包括骨架模型和指尖模型，指尖模型用于識別出數(shù)字圖像序列的指尖，骨架模型用于識別出數(shù)字圖像序列的手指運(yùn)動位置，以識別出擊鍵動作。
參考圖2，另ー實(shí)施例提供的輸入設(shè)備與圖I所示的輸入設(shè)備的主要區(qū)別是，該輸入設(shè)備還包括鍵位模塊21。鍵位模塊21用于接收用戶的設(shè)定以改變鍵位方案，井向投影模塊提供改變后的鍵位方案。在該實(shí)施例中，鍵位模塊21與投影模塊11連接，因此，投影模塊11投影出的虛擬鍵盤鍵位可根據(jù)用戶習(xí)慣進(jìn)行設(shè)定，以輕松地切換不同的鍵位方案，滿足各國使用者不同語言的需求。在另ー個(gè)實(shí)施例中，輸入設(shè)備還包括與處理模塊17通信連接的藍(lán)牙模塊，用于將處理模塊17產(chǎn)生對應(yīng)的輸入信號的通過藍(lán) 牙發(fā)送出去。例如，發(fā)送給具有藍(lán)牙接收模塊的筆記本電腦、平板電腦等。參考圖3，在一個(gè)實(shí)施例中，使用虛擬按鍵進(jìn)行輸入時(shí)，在初始化過程中，通過投影模塊將鍵位影像投射到物理平面，通過攝像模塊拍攝鍵位影像，然后識別各鍵位所在位置。拍攝模塊還拍攝物理平面上的手指影像。接著，模數(shù)轉(zhuǎn)換模塊將所拍攝的鍵位影像和手指影像轉(zhuǎn)換成數(shù)字圖形序列。接著，處理模塊根據(jù)手指模型和數(shù)字圖像序列進(jìn)行分析，判斷是否發(fā)生擊鍵事件。如果沒有發(fā)生擊鍵事件，則繼續(xù)獲取和分析后續(xù)的圖像序列。如果發(fā)生擊鍵事件，就識別指尖所謂位置，識別出手指敲擊的鍵位，并產(chǎn)生對應(yīng)的輸入信號。接著，如果繼續(xù)輸入，則流程繼續(xù)獲取和分析數(shù)字圖像序列。否則，流程結(jié)束。對應(yīng)地，對于具有藍(lán)牙模塊的方案，那么，在產(chǎn)生對應(yīng)的輸入信號之后，還包括通過藍(lán)牙把所產(chǎn)生的輸入信號發(fā)送出去。優(yōu)選地，以預(yù)設(shè)的時(shí)間間隔拍攝鍵位影像和手指影像，以減少數(shù)據(jù)處理量。本實(shí)例中，采用ー種骨架模型對手部進(jìn)行運(yùn)動分析。該模型認(rèn)為手部是由一系列的節(jié)點(diǎn)組成的，如圖4所示，其中，拇指有3個(gè)節(jié)點(diǎn)J1至J3,其他四個(gè)手指各有4個(gè)節(jié)點(diǎn)，即，手指的每個(gè)關(guān)節(jié)為ー個(gè)節(jié)點(diǎn)，每個(gè)手指的指尖也是節(jié)點(diǎn)。通過對圖像序列中各個(gè)節(jié)點(diǎn)的運(yùn)動進(jìn)行分析，挑選出符合敲擊事件規(guī)律的手指，并得出敲擊時(shí)該手指指尖所處位置，由此得到所敲擊的鍵位。下面描述如何檢測手指的節(jié)點(diǎn)。本模型中，數(shù)字圖像序列中，屬于ー個(gè)手指的條件有①.手指的色彩密度一致，該一致可以是嚴(yán)格一致或者大體一致。②.手指由兩條近似平行的線組成。③.手指有ー個(gè)彎曲的指尖。④.手指的柱狀部分和彎曲的部分在指尖相交。⑤.手指的長寬比在一定范圍以內(nèi)。手指檢測的第一歩平行線(柱狀體)(I).使用Burns算法找出圖像中所有直線，并把直線用極坐標(biāo)形式表示P =ycos 9 +xsm 9。(2).確定ー對平行線，如果兩條直線的0值相差不超過15度，我們就認(rèn)為這兩條直線為平行線。(3).對于ー對候選的平行線，先找到它們對應(yīng)的中心線，如圖5所示。利用這條中心線30來消除平行線上41和42投影在中心線30上不重疊的部分。投影重疊的部分，稱之為“交叉部分”。為了提取出屬于候選柱狀體上的像素，首先把每條線41、42上的所有點(diǎn)投影到中心線30上并找出點(diǎn)投影對，所謂點(diǎn)投影對，是投影到中心線30上同一個(gè)點(diǎn)的、分別來自于線41和42的ー對點(diǎn)。如圖5中所示，線41上的點(diǎn)W11和線42上的點(diǎn)W21都投影到中心線上的相同位置，所以點(diǎn)W11和W21是ー對點(diǎn)投影對。同樣，線41上的點(diǎn)Wlm和線42上的點(diǎn)W2n也是ー對點(diǎn)投影對。接下來，找出投影點(diǎn)的ー維交點(diǎn)以確定中心線30上的交集部分，如圖5中所示，中心線30中，點(diǎn)W11和W21的投影點(diǎn)、點(diǎn)Wlm和W2n的投影點(diǎn)之間，就是屬于線41和42的投影部分的交集，或者叫投影的交叉部分(如圖5中，中心線30的加粗部分所示)。確定了平行線上投影到中心線上交集部分的點(diǎn)后，就通過線性內(nèi)插函數(shù)提取出平行線上的點(diǎn)W11和W21、Wlm和W2n。W11和W21與對應(yīng)投影點(diǎn)的連線、Wlm和W2n與對應(yīng)投影點(diǎn)的連線、線41中點(diǎn)W11與Wlffl之間的部分、線42中點(diǎn)W21與W2n之間的部分，就定義了柱狀體。為了判斷ー個(gè)柱狀體是否是一根手指，諸如長度、寬度、面積、平均值以及方差色度等屬性都要檢測。例如，為了滿足手指的色彩密度條件，手指的方差必須要小。通過以上的步驟，基本上找出了符合條件的候選的手指平行線。
手指檢測的第二步彎曲的指尖本文使用一個(gè)改進(jìn)的尋人算法來尋找彎曲的指尖，指尖模型的數(shù)目增加到8個(gè)，如圖6所示，這些模型可以描述任意方向的指尖。圖6的指尖模型中，“ X ”代表指尖的頂部。對于實(shí)驗(yàn)圖片的Canny邊緣，同一個(gè)方向的相鄰像素組成一組，每ー組的中心點(diǎn)被標(biāo)記為候選指尖。然后針對每ー個(gè)候選指尖，依據(jù)其方向來選擇合適的模板與之對比，得出匹配
度。如果ー個(gè)模型和一個(gè)候選的指尖重疊，模型邊緣的k個(gè)像素有方向Wi，...，/ ん和單位法向I V ,Ok匹配度函數(shù)如下
權(quán)利要求
1.一種使用虛擬按鍵的輸入方法，其特征在于，包括以下步驟 將鍵位影像投射到物理平面； 拍攝投射后的鍵位影像以及所述物理平面上的手指影像； 將所拍攝的鍵位影像和手指影像轉(zhuǎn)換成數(shù)字圖形序列； 根據(jù)手指模型和所述數(shù)字圖像序列識別出手指敲擊的鍵位，并產(chǎn)生對應(yīng)的輸入信號。
2.根據(jù)權(quán)利要求I所述的輸入方法，其特征在于，以預(yù)設(shè)的時(shí)間間隔拍攝所述鍵位影像和手指影像。
3.根據(jù)權(quán)利要求2所述的輸入方法，其特征在于，所述輸入方法包括根據(jù)所述數(shù)字圖像序列中相鄰的兩幀或多幀數(shù)字圖像識別出活動的手指。
4.根據(jù)權(quán)利要求I至3中任意一項(xiàng)所述的輸入方法，其特征在于 所述手指模型包括骨架模型和指尖模型； 所述根據(jù)手指模型和數(shù)字圖像序列識別出手指敲擊的鍵位的步驟包括根據(jù)所述指尖模型識別出所述數(shù)字圖像序列的指尖，根據(jù)所述骨架模型識別出所述數(shù)字圖像序列的手指運(yùn)動，根據(jù)所述手指運(yùn)動以及指尖判斷是否出現(xiàn)擊鍵動作。
5.根據(jù)權(quán)利要求4所述的輸入方法，其特征在于，所述根據(jù)骨架模型識別出所述數(shù)字圖像序列的手指運(yùn)動的步驟包括 識別手指的節(jié)點(diǎn)，所述節(jié)點(diǎn)包括手指每個(gè)關(guān)節(jié)處的節(jié)點(diǎn)以及指尖的節(jié)點(diǎn)； 根據(jù)所述數(shù)字圖像序列尋找出所有節(jié)點(diǎn)的軌跡； 根據(jù)所述所有節(jié)點(diǎn)的軌跡獲取手指的軌跡信息； 根據(jù)所述手指的軌跡信息提取當(dāng)前活動的手指信息。
6.一種使用虛擬按鍵的輸入設(shè)備，其特征在于，包括 投影模塊，用于將鍵位影像投射到物理平面； 攝像模塊，用于拍攝投射后的鍵位影像以及所述物理平面上的手指影像； 模數(shù)轉(zhuǎn)換模塊，所述模數(shù)轉(zhuǎn)換模塊與攝像模塊連接，將所述鍵位影像、手指影像轉(zhuǎn)換成數(shù)字圖像序列； 手指模型庫，用于存儲手指模型； 處理模塊，所述處理模塊與所述模數(shù)轉(zhuǎn)換模塊、手指模型庫連接，根據(jù)所述數(shù)字圖像序列、手指模型識別出手指敲擊的鍵位，并產(chǎn)生對應(yīng)的輸入信號。
7.根據(jù)權(quán)利要求6所述的輸入設(shè)備，其特征在于，所述投影模塊的光源為發(fā)光二極管或激光二極管。
8.根據(jù)權(quán)利要求6所述的輸入設(shè)備，其特征在于，所述輸入設(shè)備還包括藍(lán)牙模塊，所述藍(lán)牙模塊與處理模塊通信連接，用于將所述產(chǎn)生的輸入信號發(fā)送出去。
9.根據(jù)權(quán)利要求6所述的輸入設(shè)備，其特征在于，所述手指模型包括骨架模型和指尖模型，所述指尖模型用于識別出所述數(shù)字圖像序列的指尖，所述骨架模型用于識別出所述數(shù)字圖像序列的手指運(yùn)動位置，以識別出擊鍵動作。
10.根據(jù)權(quán)利要求6至9中任意一項(xiàng)所述的輸入設(shè)備，其特征在于，所述輸入設(shè)備還包括鍵位模塊，所述鍵位模塊接收用戶的設(shè)定以改變鍵位方案，并向所述投影模塊提供改變后的鍵位方案。
全文摘要
本發(fā)明公開了使用虛擬按鍵的輸入設(shè)備及輸入方法。所述輸入設(shè)備包括投影模塊，用于將鍵位影像投射到物理平面；攝像模塊，用于拍攝所述鍵位影像以及所述物理平面上的手指影像；模數(shù)轉(zhuǎn)換模塊，所述模數(shù)轉(zhuǎn)換模塊與攝像模塊連接，將所述鍵位影像、手指影像轉(zhuǎn)換成數(shù)字圖像序列；手指模型庫，用于存儲手指模型；處理模塊，所述處理模塊與所述模數(shù)轉(zhuǎn)換模塊、手指模型庫連接，根據(jù)所述數(shù)字圖像序列、手指模型識別出手指敲擊的鍵位，并產(chǎn)生對應(yīng)的輸入信號。實(shí)施本發(fā)明，不需要實(shí)體鍵位就能夠?qū)崿F(xiàn)輸入，并且結(jié)構(gòu)簡單，成本低廉，便于攜帶。
文檔編號G06F3/01GK102778951SQ201210199280
公開日2012年11月14日 申請日期2012年6月15日 優(yōu)先權(quán)日2012年6月15日
發(fā)明者胡元峰 申請人:惠州華陽通用電子有限公司