專利名稱：模擬鼠標(biāo)輸入的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明提供一種涉及虛擬現(xiàn)實(shí)系統(tǒng)中的人機(jī)交互技術(shù)，特別是一種模擬鼠標(biāo)輸入 的方法及裝置。
背景技術(shù)：
隨著時(shí)下電子設(shè)備發(fā)展的日新月異，人機(jī)間的交互活動(dòng)日益頻繁。鼠標(biāo)、鍵盤等這 些傳統(tǒng)的人機(jī)交互設(shè)備在符合人體工程學(xué)設(shè)計(jì)上存在著一定的局限性，長期使用會(huì)造成人 體肌肉疲勞甚至造成肌肉損傷，而且對(duì)于移動(dòng)設(shè)備來說，鼠標(biāo)、鍵盤無疑是一種負(fù)擔(dān)。觸摸 屏雖然在一定程度上解決了鼠標(biāo)和鍵盤在攜帶不方便上的問題，但卻存在著操作時(shí)需要擋 住屏幕的問題。為了解決這一問題，視頻識(shí)別技術(shù)被引入人機(jī)交互領(lǐng)域。如，申請(qǐng)?zhí)枮?2117354. 0 的中國專利申請(qǐng)公開了一種由圖像感應(yīng)裝置和感應(yīng)信息提取裝置構(gòu)成的計(jì)算機(jī)輸入系統(tǒng)， 可以由圖像感應(yīng)裝置獲取手或指定物在空間的形態(tài)信息，圖像信息特征提取裝置提取出該 空間形態(tài)的特征信息并傳入計(jì)算機(jī)主機(jī)，在計(jì)算機(jī)顯示器屏幕上顯示出手或指定物的空間 形態(tài)，同時(shí)計(jì)算機(jī)依據(jù)所傳入的特征信息產(chǎn)生計(jì)算機(jī)操作指令。但該系統(tǒng)需要特定的圖像感應(yīng)裝置和感應(yīng)信息提取裝置，設(shè)備復(fù)雜且體積大，成 本較高，不宜在移動(dòng)設(shè)備上使用。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明的主要目的在于提供一種模擬鼠標(biāo)輸入的方法及裝置，以解決 在觸摸屏上進(jìn)行操作時(shí)手指擋住屏幕的問題及實(shí)現(xiàn)制造體積小、成本低的該類裝置的目 的。本發(fā)明提供的一種模擬鼠標(biāo)輸入的方法，包括步驟A、對(duì)包含主圖像的圖像進(jìn)行采集；B、對(duì)所采集的圖像進(jìn)行主圖像的識(shí)別以及確定出識(shí)別出的主圖像在所采集的圖 像中的坐標(biāo)；C、根據(jù)所確定出的主圖像坐標(biāo)確定所模擬的鼠標(biāo)的輸出坐標(biāo)；D、根據(jù)檢測(cè)到的用于模擬鼠標(biāo)點(diǎn)擊的振動(dòng)或/和聲音信號(hào)生成鼠標(biāo)點(diǎn)擊指令輸
出ο由此可知，根據(jù)采集來的圖像包括對(duì)其主圖像的坐標(biāo)的識(shí)別，可以確定圖像內(nèi)的 模擬鼠標(biāo)的運(yùn)動(dòng)軌跡；再根據(jù)檢測(cè)到的用于模擬鼠標(biāo)點(diǎn)擊的振動(dòng)或/和聲音信號(hào)生成鼠標(biāo) 點(diǎn)擊指令輸出，從而實(shí)現(xiàn)模擬鼠標(biāo)對(duì)設(shè)備的操作，達(dá)到以解決在觸摸屏上進(jìn)行操作時(shí)手指 擋住屏幕的問題及實(shí)現(xiàn)制造體積小、成本低的該類裝置的目的。上述的方法中，其特征在于，步驟A之前還包括主圖像初始化步驟，包括記錄主圖像初始化過程中采集的圖像為主圖像。由此可知，在初始化的過程中對(duì)主圖像的識(shí)別可以有效區(qū)分主圖像跟背景圖像。
4
上述的方法中，其特征在于，步驟A所述采集包括實(shí)時(shí)采集包含主圖像的視頻流；將所采集的視頻流單幀化為連續(xù)的圖像作為所采集的圖像。由此可知，實(shí)時(shí)采集可以最大程度地減小動(dòng)作延遲時(shí)間，使鼠標(biāo)控制操作更平順。上述的方法中，其特征在于，步驟C所述確定所模擬的鼠標(biāo)的輸出坐標(biāo)包括根據(jù) 主圖像坐標(biāo)映射為所模擬鼠標(biāo)控制的屏幕光標(biāo)在屏幕上的坐標(biāo)。由此可知，根據(jù)主圖像坐標(biāo)映射為所模擬鼠標(biāo)控制的屏幕光標(biāo)在屏幕上的坐標(biāo)， 結(jié)果反映直觀。上述的方法中，其特征在于，步驟C所述確定所模擬的鼠標(biāo)的輸出坐標(biāo)包括根據(jù) 主圖像坐標(biāo)相對(duì)所采集圖像中心位置的方向，控制所模擬鼠標(biāo)控制的屏幕光標(biāo)在屏幕上的 移動(dòng)。由此可知，根據(jù)主圖像坐標(biāo)相對(duì)所采集圖像中心位置的方向，控制所模擬鼠標(biāo)控 制的屏幕光標(biāo)在屏幕上的移動(dòng)，模擬鼠標(biāo)屏幕定位更加準(zhǔn)確。上述的方法中，其特征在于，步驟D所述檢測(cè)包括將采集的振動(dòng)或/和聲音信號(hào) 與預(yù)先設(shè)置的采樣參數(shù)相比較以確認(rèn)為有效信號(hào)。由此可知，將采集的振動(dòng)或/和聲音信號(hào)與預(yù)先設(shè)置的采樣參數(shù)相比較以確認(rèn)為 有效信號(hào)，可以有效地過濾掉環(huán)境噪音，減少環(huán)境噪音對(duì)有效振動(dòng)或/和聲音信號(hào)的干擾。上述的方法中，其特征在于，所述步驟D還包括根據(jù)所檢測(cè)的振動(dòng)或/和聲音信 號(hào)的強(qiáng)度作為模擬鼠標(biāo)點(diǎn)擊力量的強(qiáng)度輸出。由此可知，根據(jù)所檢測(cè)的振動(dòng)或/和聲音信號(hào)的強(qiáng)度作為模擬鼠標(biāo)點(diǎn)擊力量的強(qiáng) 度輸出，操作反映直觀，增強(qiáng)人機(jī)交互的趣味性。上述的方法中，其特征在于，還包括步驟C所確定出的主圖像坐標(biāo)在設(shè)定時(shí)間內(nèi)上下移動(dòng)時(shí)，判斷步驟D是否生成鼠 標(biāo)點(diǎn)擊指令，若是，則步驟C不輸出所述設(shè)定時(shí)間內(nèi)的坐標(biāo)。由此可知，根據(jù)主圖像坐標(biāo)在設(shè)定時(shí)間內(nèi)上下移動(dòng)，判斷步驟D是否生成鼠標(biāo)點(diǎn) 擊指令，可以對(duì)根據(jù)振動(dòng)或/和聲音信號(hào)判斷鼠標(biāo)點(diǎn)擊操作做一個(gè)補(bǔ)充，提高判斷鼠標(biāo)點(diǎn) 擊操作的準(zhǔn)確性。本發(fā)明提供的一種模擬鼠標(biāo)輸入的裝置，其特征在于，包括圖像采集模塊11用于對(duì)包含主圖像的圖像進(jìn)行采集；圖像處理模塊12用于對(duì)圖像采集模塊11所采集的圖像進(jìn)行主圖像的識(shí)別以及確 定出識(shí)別出的主圖像在所采集的圖像中的坐標(biāo)；振動(dòng)采集模塊13用于采集振動(dòng)信號(hào)；振動(dòng)處理模塊14用于識(shí)別出振動(dòng)采集模塊13采集的振動(dòng)信號(hào)中包含的用于模擬 鼠標(biāo)點(diǎn)擊的振動(dòng)信號(hào)；目標(biāo)判斷模塊17，用于根據(jù)圖像處理模塊12所確定出的主圖像坐標(biāo)確定所模擬 的鼠標(biāo)的輸出坐標(biāo)，以及根據(jù)振動(dòng)處理模塊14檢測(cè)到的用于模擬鼠標(biāo)點(diǎn)擊的振動(dòng)信號(hào)作 為鼠標(biāo)點(diǎn)擊指令的輸出。由此可知，根據(jù)采集模塊11采集來的圖像，可以確定圖像內(nèi)的模擬鼠標(biāo)的運(yùn)動(dòng)軌 跡；再根據(jù)檢測(cè)到的用于模擬鼠標(biāo)點(diǎn)擊的振動(dòng)信號(hào)生成鼠標(biāo)點(diǎn)擊指令輸出，從而實(shí)現(xiàn)模擬鼠標(biāo)對(duì)設(shè)備的操作，達(dá)到以解決在觸摸屏上進(jìn)行操作時(shí)手指擋住屏幕的問題及實(shí)現(xiàn)制造體 積小、成本低的該類裝置的目的。本發(fā)明提供的一種模擬鼠標(biāo)輸入的裝置，其特征在于，包括圖像采集模塊11，用于對(duì)包含主圖像的圖像進(jìn)行采集；圖像處理模塊12，用于對(duì)圖像采集模塊11所采集的圖像進(jìn)行主圖像的識(shí)別以及 確定出識(shí)別出的主圖像在所采集的圖像中的坐標(biāo)；聲音采集模塊15，用于采集聲音信號(hào)；聲音處理模塊16，用于識(shí)別出聲音采集模塊15采集的聲音信號(hào)中包含的用于模 擬鼠標(biāo)點(diǎn)擊的聲音信號(hào)；目標(biāo)判斷模塊17，用于根據(jù)圖像處理模塊12所確定出的主圖像坐標(biāo)確定所模擬 的鼠標(biāo)的輸出坐標(biāo)，以及根據(jù)聲音處理模塊16檢測(cè)到的用于模擬鼠標(biāo)點(diǎn)擊的聲音信號(hào)作 為鼠標(biāo)點(diǎn)擊指令的輸出。由此可知，根據(jù)采集模塊11采集來的圖像，可以確定圖像內(nèi)的模擬鼠標(biāo)的運(yùn)動(dòng)軌 跡；再根據(jù)檢測(cè)到的用于模擬鼠標(biāo)點(diǎn)擊的聲音信號(hào)生成鼠標(biāo)點(diǎn)擊指令輸出，從而實(shí)現(xiàn)模擬 鼠標(biāo)對(duì)設(shè)備的操作，達(dá)到以解決在觸摸屏上進(jìn)行操作時(shí)手指擋住屏幕的問題及實(shí)現(xiàn)制造體 積小、成本低的該類裝置的目的。


圖1為本發(fā)明的功能模塊示意圖；圖2為本發(fā)明的模擬鼠標(biāo)控制流程圖；圖3為本發(fā)明的點(diǎn)擊操作模擬流程圖；圖4為本發(fā)明的模擬鍵盤操作流程圖。
具體實(shí)施例方式如圖1示出了本發(fā)明提供的模擬鼠標(biāo)輸入的裝置，用來實(shí)現(xiàn)在各種電子設(shè)備，特 別是移動(dòng)電子設(shè)備上操控的靈活性及方便性。下面以模擬鼠標(biāo)輸入的裝置應(yīng)用于手機(jī)為例，對(duì)本發(fā)明模擬鼠標(biāo)輸入的裝置進(jìn)行 說明。其中該裝置包括圖像采集模塊11，用于實(shí)時(shí)采集圖像，并傳輸?shù)綀D像處理模塊12中。其中，該圖像 內(nèi)容包含了作為主圖像的用戶手指或指定物(如筆或筆狀物)。本例中，采用手機(jī)上的攝像 頭作為圖像采集模塊11，所采集的圖像內(nèi)容包含用戶一特定手指。圖像處理模塊12，用于對(duì)來自圖像采集模塊11的圖像信號(hào)進(jìn)行主圖像的識(shí)別以 及進(jìn)行主圖像坐標(biāo)的確定，并將確定出的坐標(biāo)發(fā)送給目標(biāo)判斷模塊17。其中，通過圖像識(shí)別 技術(shù)，如特征參數(shù)的識(shí)別，來確認(rèn)出作為主圖像的手指，并確認(rèn)出其在所采集圖像中的邏輯 坐標(biāo)。振動(dòng)采集模塊13，用于采集振動(dòng)信號(hào)，并傳輸?shù)秸駝?dòng)處理模塊14中。其中，振動(dòng)采 集模塊可以設(shè)置在所述手機(jī)殼體一側(cè)，從而采集手機(jī)所放置的物體平面，如桌面上的振動(dòng) 信號(hào)。該振動(dòng)采集模塊13也可以采用有線或無線方式外置于手機(jī)，從而采集該振動(dòng)采集模 塊13所放置的物體平面的振動(dòng)信號(hào)。
振動(dòng)處理模塊14，用于將來自振動(dòng)采集模塊13的振動(dòng)信號(hào)與預(yù)先設(shè)置的采樣參 數(shù)，如點(diǎn)擊動(dòng)作振動(dòng)頻率、振幅等相比較，判斷出有效振動(dòng)信號(hào)，并輸出相應(yīng)次數(shù)的電子脈 沖到目標(biāo)判斷模塊17。聲音采集模塊15，用于實(shí)時(shí)采集用戶敲擊物體產(chǎn)生的聲音信號(hào)，并傳輸?shù)铰曇籼?理模塊16中。同振動(dòng)采集模塊13 —樣，可以設(shè)置在所述手機(jī)殼體一側(cè)或采用有線或無線 方式外置于手機(jī)。其中，可以采用手機(jī)的話筒或外置話筒。聲音處理模塊16，用于將來自聲音采集模塊15的聲音信號(hào)與預(yù)先設(shè)置的采樣參 數(shù)，如點(diǎn)擊聲音的頻率、振幅、持續(xù)時(shí)間等參數(shù)相比較，以識(shí)別出有效的聲音信號(hào)，并輸出相 應(yīng)的電子脈沖到目標(biāo)判斷模塊17。目標(biāo)判斷模塊17，用于根據(jù)接收的圖像處理模塊12的信號(hào)將作為主圖像的手指 的坐標(biāo)轉(zhuǎn)換成手機(jī)屏幕顯示的光標(biāo)的移動(dòng)，以及根據(jù)接收的振動(dòng)處理模塊14或/聲音處理 模塊16的信號(hào)轉(zhuǎn)換成鼠標(biāo)點(diǎn)擊的控制動(dòng)作。另外，目標(biāo)判斷模塊17還用于根據(jù)所述主圖像的變化快慢確定為點(diǎn)擊控制動(dòng)作 還是光標(biāo)移動(dòng)的控制動(dòng)作，例如將設(shè)定短時(shí)間內(nèi)的一次上下移動(dòng)視為模擬鼠標(biāo)的點(diǎn)擊動(dòng) 作，超過設(shè)定時(shí)間內(nèi)的移動(dòng)則視為對(duì)光標(biāo)的移動(dòng)控制。下面參見圖2、3示出的模擬鼠標(biāo)輸入的方法，以該裝置應(yīng)用于手機(jī)上，且以手機(jī) 內(nèi)置的攝像頭(也可外接)作為圖像采集模塊，設(shè)置在手機(jī)上的振動(dòng)傳感器作為振動(dòng)采集 模塊、話筒作為聲音采集模塊為例，模擬用于手機(jī)的鼠標(biāo)操作為例，對(duì)本發(fā)明裝置實(shí)現(xiàn)模擬 鼠標(biāo)輸入的方法進(jìn)行詳細(xì)介紹。首先進(jìn)行初始化過程，該初始化主要是為了將手機(jī)屏幕的光標(biāo)當(dāng)前坐標(biāo)與主參考 物(即本例中的人手)坐標(biāo)進(jìn)行對(duì)應(yīng)。其中，可以是根據(jù)確認(rèn)的主參考物在所采集圖像中 的坐標(biāo)，將手機(jī)屏幕光標(biāo)初始化在相應(yīng)的位置。也可以是使手機(jī)屏幕上的顯示光標(biāo)位于屏 幕顯示的中心，使主參考物在所采集圖像中的坐標(biāo)與之對(duì)應(yīng)，較佳的，在初始化時(shí)使主參考 物正對(duì)攝像頭以在所采集圖像的中心位置。另外，至少在首次使用本發(fā)明方法時(shí)，可以進(jìn)行主圖像的初始化，即將要作為主圖 像的手指或指定物位于如攝像頭正前方的指定位置，記錄指定位置的圖像，以將該圖像作 為主圖像。其中，可以在首次使用或需要校正時(shí)調(diào)用初始化過程進(jìn)行主圖像的重新初始化， 也可以在每次使用本發(fā)明方法時(shí)調(diào)用初始化過程進(jìn)行主圖像的重新初始化。之后，參見如圖2示出的模擬鼠標(biāo)控制流程圖，包括以下步驟步驟201 由作為圖像采集模塊11手機(jī)內(nèi)置攝像頭進(jìn)行圖像采集，周期地將采集 的圖像發(fā)送給手機(jī)圖像處理模塊12。其中，圖像采集時(shí)可以周期進(jìn)行采集。圖像采集也可以實(shí)時(shí)采集形成視頻流(WMA) 數(shù)據(jù)緩存，在通過加載該數(shù)據(jù)流文件，實(shí)現(xiàn)視頻數(shù)據(jù)單幀化，并將連續(xù)的圖像分組，以40幀 /秒形成數(shù)組傳遞給圖像處理系統(tǒng)進(jìn)行處理，最后系統(tǒng)自動(dòng)刪除處理后的圖像。步驟202 由手機(jī)的圖像處理模塊12對(duì)接收的圖像信號(hào)進(jìn)行主圖像的識(shí)別以及進(jìn) 行識(shí)別出的主圖像坐標(biāo)的確定。例如，當(dāng)手指位于攝像頭采集的圖像內(nèi)時(shí)，識(shí)別出作為手指的主圖像，并確認(rèn)其在 主圖像上的位置坐標(biāo)，以二維數(shù)組形式(X，Y)輸出。步驟203 由目標(biāo)判斷模塊17根據(jù)主圖像坐標(biāo)的確定控制手機(jī)屏幕上顯示的光標(biāo)的坐標(biāo)。其中，可以是根據(jù)主圖像坐標(biāo)影射為屏幕光標(biāo)所在屏幕上的坐標(biāo)進(jìn)行對(duì)應(yīng)顯示?；蛘撸灾鲌D像坐標(biāo)相對(duì)圖像中心位置，控制屏幕光標(biāo)向?qū)?yīng)方向的移動(dòng)，如判斷 主圖像坐標(biāo)位于圖像中心左側(cè)，則控制屏幕光標(biāo)向其左側(cè)移動(dòng)，直到檢測(cè)到主圖像被移動(dòng) 到其圖像中心位置停止移動(dòng)?？梢愿鶕?jù)主圖像坐標(biāo)距離圖像中心距離的遠(yuǎn)近控制光標(biāo)移動(dòng) 速度的快慢?？梢?，由以上步驟，便可以不斷采集用戶手指的移動(dòng)的圖像，并識(shí)別出手指指尖運(yùn) 動(dòng)軌跡坐標(biāo)，以二維數(shù)組形式(X，Y)輸出，映射為屏幕光標(biāo)的移動(dòng)信息。即，以手指的移動(dòng) 模擬成鼠標(biāo)移動(dòng)。步驟204:當(dāng)手機(jī)檢測(cè)到用于模擬鼠標(biāo)點(diǎn)擊的振動(dòng)信號(hào)或聲音信號(hào)時(shí)，映射為鼠 標(biāo)點(diǎn)擊的指令提供給手機(jī)。下文將對(duì)步驟204進(jìn)行詳述。其中，步驟204中所述對(duì)模擬鼠標(biāo)點(diǎn)擊操作進(jìn)行模擬的過程，參見圖3示出的本發(fā) 明的點(diǎn)擊操作模擬流程圖，包括以下具體步驟步驟301 使手機(jī)內(nèi)置的作為振動(dòng)采集模塊13的振動(dòng)傳感器與操作平面(例如， 設(shè)備放置在桌面上，則桌面為操作平面)接觸放置，采集該平面被用戶手指敲擊所產(chǎn)生的 振動(dòng)信號(hào)。或者，使手機(jī)內(nèi)置或外接的作為聲音采集模塊15的話筒與所述操作平面接觸放 置，采集該平面被用戶手指敲擊所產(chǎn)生的聲音信號(hào)。將話筒與所述操作平面接觸放置，是為 了使所述操作平面作為聲音傳輸?shù)慕橘|(zhì)，相比空氣傳輸衰減更小。步驟302 由振動(dòng)處理模塊14或聲音處理模塊16將來采集的振動(dòng)或聲音信號(hào)與 預(yù)先設(shè)置的采樣參數(shù)，如點(diǎn)擊動(dòng)作振動(dòng)或聲音頻率、振幅等相比較，判斷出有效的信號(hào)，并 輸出相應(yīng)次數(shù)的電子脈沖。具體為以下步驟判斷振動(dòng)傳感器采集的振動(dòng)或聲音信號(hào)是否在屬于預(yù)先設(shè)置的模擬鼠標(biāo)點(diǎn)擊的 振動(dòng)或聲音信號(hào)采樣參數(shù)規(guī)定的范圍之內(nèi)，判斷條件可以包括振動(dòng)或聲音的頻率、振幅等， 如果屬于，則視為該振動(dòng)或聲音信號(hào)為有效。通過該步驟可以有效的去掉干擾信號(hào)。進(jìn)一步判斷在設(shè)定時(shí)間內(nèi)是否存在第二個(gè)有效的信號(hào)，以模擬鼠標(biāo)的單擊操作或 雙擊操作，并發(fā)出相應(yīng)數(shù)量的脈沖。步驟303 由目標(biāo)判斷模塊17根據(jù)每次傳送脈沖信號(hào)的數(shù)量，例如，一次模擬鼠標(biāo) 單擊操作產(chǎn)生的振動(dòng)經(jīng)振動(dòng)處理模塊14處理后發(fā)送的一個(gè)脈沖信號(hào)，來返回以上述鼠標(biāo) 操作的系統(tǒng)參數(shù)值為對(duì)應(yīng)的鼠標(biāo)點(diǎn)擊動(dòng)作指令，完成鼠標(biāo)動(dòng)作的模擬。進(jìn)一步的，當(dāng)根據(jù)上述步驟203中識(shí)別出手指為豎直(或接近豎直)方向連續(xù)往 復(fù)運(yùn)動(dòng)時(shí)，即坐標(biāo)軌跡為豎直(或接近豎直)方向連續(xù)往復(fù)運(yùn)動(dòng)時(shí)，結(jié)合步驟301 303便 可以判斷出是在模擬鼠標(biāo)的移動(dòng)還是進(jìn)行點(diǎn)擊動(dòng)作，從而可以避免用戶在敲擊操作平面的 手指動(dòng)作被誤用來控制光標(biāo)的移動(dòng)。下面進(jìn)行詳細(xì)說明根據(jù)手指的運(yùn)動(dòng)狀況，跟蹤運(yùn)動(dòng)軌跡，分析是哪個(gè)手指處于上下運(yùn)動(dòng)的狀態(tài)，例 如，其中一個(gè)手指在設(shè)定時(shí)間內(nèi)(為單擊時(shí)間參數(shù))抬起后落下，視為一次單擊；其中一個(gè) 手指在設(shè)定時(shí)間內(nèi)(為雙擊時(shí)間參數(shù))做兩次抬起落下運(yùn)動(dòng)，則視為一次雙擊。將采集的 點(diǎn)擊動(dòng)作與上述采集的點(diǎn)擊振動(dòng)或聲音進(jìn)行結(jié)合判斷，便可以將符合范圍的意外的振動(dòng)或 意外的聲音(未檢測(cè)到手勢(shì))屏蔽掉，避免誤模擬鼠標(biāo)點(diǎn)擊動(dòng)作。
此外，該裝置及方法還適用于模擬鍵盤操作。如圖4所示，以左右手的手指(拇指 除外)為基準(zhǔn)建立鍵盤坐標(biāo)系，該鍵盤坐標(biāo)系的零點(diǎn)位置以手指第一次進(jìn)入采集區(qū)域，初 始化手指時(shí)的位置為準(zhǔn)，并隨每一次進(jìn)入的位置的不同而變化。通過啟動(dòng)虛擬鍵盤程序，使 手指平面與虛擬鍵盤平面重合。為鍵盤上每個(gè)鍵楞相交的點(diǎn)劃分一個(gè)相對(duì)于鍵盤零點(diǎn)的坐 標(biāo)，再通過與上述步驟203的原理識(shí)別出手指所在坐標(biāo)對(duì)應(yīng)的鍵位，結(jié)合步驟301-303的原 理作為識(shí)別手指點(diǎn)擊鍵盤的方法，最后返回上述過程中虛擬操作相應(yīng)的ASCII碼，完成整 個(gè)模擬擊鍵動(dòng)作?？梢姡@樣可以準(zhǔn)確的識(shí)別出鍵盤的敲擊動(dòng)作，與僅通過攝像頭采集信息 去識(shí)別敲擊按鍵相比，采用本發(fā)明可以避免手指的任何上下相應(yīng)移動(dòng)都被誤模擬為敲擊動(dòng) 作。需要說明的時(shí)，由于采集振動(dòng)和聲音信息時(shí)可以一并采集振動(dòng)或聲音大小，因此 還可以將此作為第三個(gè)參數(shù)模擬出鼠標(biāo)點(diǎn)擊的力量大小。這對(duì)于某些程序，例如需要根據(jù) 點(diǎn)擊鼠標(biāo)的力度模擬出鼠標(biāo)寫字的粗細(xì)(或顏色的深淺)力度時(shí)，則可以結(jié)合上述第三個(gè) 參數(shù)進(jìn)行模擬。使模擬出的字體更具有手寫的特征。以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明。凡在本發(fā)明的精 神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
一種模擬鼠標(biāo)輸入的方法，其特征在于，包括A、對(duì)包含主圖像的圖像進(jìn)行采集；B、對(duì)所采集的圖像進(jìn)行主圖像的識(shí)別以及確定出識(shí)別出的主圖像在所采集的圖像中的坐標(biāo)；C、根據(jù)所確定出的主圖像坐標(biāo)確定所模擬的鼠標(biāo)的輸出坐標(biāo)；D、根據(jù)檢測(cè)到的用于模擬鼠標(biāo)點(diǎn)擊的振動(dòng)或/和聲音信號(hào)生成鼠標(biāo)點(diǎn)擊指令輸出。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟A之前還包括主圖像初始化步驟，包括記錄主圖像初始化過程中采集的圖像為主圖像。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟A所述采集包括實(shí)時(shí)采集包含主圖像的視頻流；將所采集的視頻流單幀化為連續(xù)的圖像作為所采集的圖像。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟C所述確定所模擬的鼠標(biāo)的輸出坐標(biāo) 包括根據(jù)主圖像坐標(biāo)映射為所模擬鼠標(biāo)控制的屏幕光標(biāo)在屏幕上的坐標(biāo)。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟C所述確定所模擬的鼠標(biāo)的輸出坐標(biāo) 包括根據(jù)主圖像坐標(biāo)相對(duì)所采集圖像中心位置的方向，控制所模擬鼠標(biāo)控制的屏幕光標(biāo) 在屏幕上的移動(dòng)。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟D所述檢測(cè)包括將采集的振動(dòng)或/ 和聲音信號(hào)與預(yù)先設(shè)置的采樣參數(shù)相比較以確認(rèn)為有效信號(hào)。
7.根據(jù)權(quán)利要求1或6所述的方法，其特征在于，所述步驟D還包括根據(jù)所檢測(cè)的振 動(dòng)或/和聲音信號(hào)的強(qiáng)度作為模擬鼠標(biāo)點(diǎn)擊力量的強(qiáng)度輸出。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括步驟C所確定出的主圖像坐標(biāo)在設(shè)定時(shí)間內(nèi)上下移動(dòng)時(shí)，判斷步驟D是否生成鼠標(biāo)點(diǎn) 擊指令，若是，則步驟C不輸出所述設(shè)定時(shí)間內(nèi)的坐標(biāo)。
9.一種模擬鼠標(biāo)輸入的裝置，其特征在于，包括圖像采集模塊(11)，用于對(duì)包含主圖像的圖像進(jìn)行采集；圖像處理模塊(12)，用于對(duì)圖像采集模塊(11)所采集的圖像進(jìn)行主圖像的識(shí)別以及 確定出識(shí)別出的主圖像在所采集的圖像中的坐標(biāo)；振動(dòng)采集模塊(13)，用于采集振動(dòng)信號(hào)；振動(dòng)處理模塊(14)，用于識(shí)別出振動(dòng)采集模塊(13)采集的振動(dòng)信號(hào)中包含的用于模 擬鼠標(biāo)點(diǎn)擊的振動(dòng)信號(hào)；目標(biāo)判斷模塊(17)，用于根據(jù)圖像處理模塊(12)所確定出的主圖像坐標(biāo)確定所模擬 的鼠標(biāo)的輸出坐標(biāo)，以及根據(jù)振動(dòng)處理模塊(14)檢測(cè)到的用于模擬鼠標(biāo)點(diǎn)擊的振動(dòng)信號(hào) 作為鼠標(biāo)點(diǎn)擊指令的輸出。
10.一種模擬鼠標(biāo)輸入的裝置，其特征在于，所述裝置包括圖像采集模塊(11)，用于對(duì)包含主圖像的圖像進(jìn)行采集；圖像處理模塊(12)，用于對(duì)圖像采集模塊(11)所采集的圖像進(jìn)行主圖像的識(shí)別以及 確定出識(shí)別出的主圖像在所采集的圖像中的坐標(biāo)；聲音采集模塊(15)，用于采集聲音信號(hào)；聲音處理模塊(16)，用于識(shí)別出聲音采集模塊(15)采集的聲音信號(hào)中包含的用于模 擬鼠標(biāo)點(diǎn)擊的聲音信號(hào)；目標(biāo)判斷模塊(17)，用于根據(jù)圖像處理模塊(12)所確定出的主圖像坐標(biāo)確定所模擬 的鼠標(biāo)的輸出坐標(biāo)，以及根據(jù)聲音處理模塊(16)檢測(cè)到的用于模擬鼠標(biāo)點(diǎn)擊的聲音信號(hào) 作為鼠標(biāo)點(diǎn)擊指令的輸出。
全文摘要
本發(fā)明提供了一種模擬鼠標(biāo)輸入的方法及裝置，其中，方法包括對(duì)包含主圖像的圖像進(jìn)行采集；對(duì)所采集的圖像進(jìn)行主圖像的識(shí)別以及確定出識(shí)別出的主圖像在所采集的圖像中的坐標(biāo)；根據(jù)所確定出的主圖像坐標(biāo)確定所模擬的鼠標(biāo)的輸出坐標(biāo)；根據(jù)檢測(cè)到的用于模擬鼠標(biāo)點(diǎn)擊的振動(dòng)或/和聲音信號(hào)生成鼠標(biāo)點(diǎn)擊指令輸出。其中，裝置包括圖像采集模塊(11)、圖像處理模塊(12)、振動(dòng)采集模塊(13)/聲音采集模塊(15)、振動(dòng)處理模塊(14)/聲音處理模塊(16)和目標(biāo)判斷模塊(17)。使用本發(fā)明，利用設(shè)備攝像頭采集操控物圖像來實(shí)現(xiàn)在各種電子設(shè)備，特別是移動(dòng)電子設(shè)備上鼠標(biāo)操控的靈活性及方便性。
文檔編號(hào)G06F3/038GK101937267SQ20091008838
公開日2011年1月5日 申請(qǐng)日期2009年7月3日 優(yōu)先權(quán)日2009年7月3日
發(fā)明者嚴(yán)志, 柳玉冬 申請(qǐng)人:北京宏景捷訊網(wǎng)絡(luò)技術(shù)股份有限公司