專利名稱：一種基于機(jī)器視覺的輸入方法及其系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信號(hào)轉(zhuǎn)換技術(shù)領(lǐng)域，更具體地，涉及一種基于機(jī)器視 覺的輸入方法以及一種基于機(jī)器視覺的輸入系統(tǒng)。
背景技術(shù)：
隨著科學(xué)技術(shù)的高度發(fā)展，計(jì)算機(jī)已經(jīng)成為人們生活工作的必要 設(shè)備，計(jì)算機(jī)包括主機(jī)以及鍵盤、鼠標(biāo)等周邊設(shè)備。隨著人們對(duì)計(jì)算 機(jī)的依賴程度的加深，通過(guò)鼠標(biāo)和鍵盤進(jìn)行的繁重的計(jì)算機(jī)輸入操作 導(dǎo)致了大量問(wèn)題的產(chǎn)生，例如敲擊鍵盤導(dǎo)致的手指肌肉勞損，或常見 的鼠標(biāo)手病等等。而現(xiàn)有技術(shù)中為改進(jìn)鼠標(biāo)和鍵盤引進(jìn)的輔助輸入設(shè) 備造價(jià)均比較昂貴，且對(duì)于特殊用戶來(lái)說(shuō)使用很不方便，特別地，這 些設(shè)備還不能夠隨時(shí)隨地獨(dú)立使用。例如，對(duì)于可能由于安全衛(wèi)生等 原因而不能用雙手接觸計(jì)算機(jī)的醫(yī)生、護(hù)士們來(lái)說(shuō)，若使用這些改進(jìn) 的輔助輸入設(shè)備還需要其他人的幫助。
如中國(guó)專利公開號(hào)為CN101038523A的專利文獻(xiàn)公開了一種基于 視覺跟蹤與語(yǔ)音識(shí)別的鼠標(biāo)系統(tǒng)，包括鼠標(biāo)驅(qū)動(dòng)模塊、信息反饋模塊 和語(yǔ)音指令處理模塊；鼠標(biāo)驅(qū)動(dòng)模塊由攝像頭、紅外發(fā)光標(biāo)志物以及 光標(biāo)定位子模塊構(gòu)成，攝像頭通過(guò)檢測(cè)跟蹤紅外標(biāo)志物的光斑圖像， 動(dòng)態(tài)跟蹤光斑在攝像頭成像平面上的位置移動(dòng)，然后通過(guò)光標(biāo)定位子 模塊將光斑在圖像上的運(yùn)動(dòng)轉(zhuǎn)換為鼠標(biāo)光標(biāo)在顯示桌面上的運(yùn)動(dòng)，并 將鼠標(biāo)的位置信息傳遞給信息反饋模塊；信息反饋模塊通過(guò)計(jì)算機(jī)顯 示器將鼠標(biāo)驅(qū)動(dòng)模塊傳來(lái)的鼠標(biāo)光標(biāo)的位置表示出來(lái)，并給用戶相應(yīng) 的信息指示；語(yǔ)音指令處理模塊由麥克風(fēng)及語(yǔ)音識(shí)別子模塊組成，當(dāng)
信息反饋模塊顯示鼠標(biāo)光標(biāo)到達(dá)用戶的感興趣位置時(shí)，語(yǔ)音指令處理 模塊通過(guò)與計(jì)算機(jī)主機(jī)相連接的麥克風(fēng)接收用戶發(fā)出的語(yǔ)音指令，通過(guò)語(yǔ)音識(shí)別子模塊對(duì)輸入語(yǔ)音信號(hào)進(jìn)行識(shí)別，由分類結(jié)果激發(fā)并驅(qū)動(dòng) 相應(yīng)的鼠標(biāo)事件響應(yīng)。該發(fā)明通過(guò)攝像頭實(shí)時(shí)跟蹤檢測(cè)紅外發(fā)光標(biāo)志 物的移動(dòng)，以此控制鼠標(biāo)光標(biāo)的位置，通過(guò)麥克風(fēng)接收語(yǔ)音指令，從 而為計(jì)算機(jī)系統(tǒng)提供方便友好的人機(jī)接口。但其需要額外的輔助紅外 線裝置，通過(guò)移動(dòng)光斑實(shí)現(xiàn)對(duì)光標(biāo)的控制，這一過(guò)程對(duì)身體不便的特 殊人士來(lái)說(shuō)并不方便。
再如，中國(guó)專利公開號(hào)CN1357862A的專利文獻(xiàn)公開了一種視窗 的光標(biāo)視覺點(diǎn)選裝置，利用眼球的移動(dòng)作為操作電腦光標(biāo)移動(dòng)的依 據(jù)，包含 一影像攝取裝置，對(duì)使用者的外型進(jìn)行定位辨識(shí)而取得使 用者的瞳孔的位置，并且修定一參考用的定位框，同時(shí)輸出該瞳孔與 該定位框的相對(duì)位置的信息； 一電腦，通過(guò)一接口與該攝像攝取裝置 溝通，依據(jù)該瞳孔與該定位框間的相對(duì)位置變化量，而動(dòng)態(tài)調(diào)整該光 標(biāo)與電腦視窗間的相對(duì)位置。該裝置能夠讓操作者無(wú)需移動(dòng)鼠標(biāo)即可 任意操作光標(biāo)，避免鼠標(biāo)和鍵盤間切換操作的不便，但該技術(shù)方案是 根據(jù)操作者瞳孔的移動(dòng)定位光標(biāo)，使得操作者的眼部活動(dòng)受到限制， 容易造成操作者眼睛的疲勞，帶來(lái)使用上的不便。
總之，目前本領(lǐng)域的技術(shù)人員需要迫切解決的 一個(gè)技術(shù)問(wèn)題就
是如何能夠簡(jiǎn)單、且更方便、快捷地輸入使用者需要的指令。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種能夠簡(jiǎn)單、且更方便、快捷地輸入使用 者需要的指令的基于機(jī)器視覺的輸入系統(tǒng)以及一種基于機(jī)器視覺的 輸入方法。
為實(shí)現(xiàn)上述目的，本發(fā)明公開了一種基于機(jī)器視覺的輸入方法， 包括
捕捉和/或釆集目標(biāo)信號(hào)； 存儲(chǔ)并獲取該目標(biāo)信號(hào)的特征點(diǎn)；
依據(jù)第 一 預(yù)置規(guī)則將所述目標(biāo)信號(hào)的特征點(diǎn)轉(zhuǎn)化為光標(biāo)信號(hào)，以及依據(jù)第二預(yù)置規(guī)則執(zhí)行相應(yīng)的操作。
進(jìn)一步地，所述第一預(yù)置規(guī)則為釆用檢測(cè)算法分析所述特征點(diǎn) 是否與設(shè)定值相應(yīng)，若是，將該目標(biāo)信號(hào)轉(zhuǎn)化為光標(biāo)信號(hào)。
進(jìn)一步地，所述捕捉和/或釆集目標(biāo)信號(hào)的步驟包括
獲取一包括所述目標(biāo)信號(hào)的特征信息的數(shù)據(jù)庫(kù)；
捕捉和/或釆集信號(hào)；
判斷所述信號(hào)與所述特征信息是否相符，若是，存儲(chǔ)所述信號(hào)，
若否，結(jié)東或重復(fù)所述捕捉和/或采集信號(hào)。
進(jìn)一步地，所述數(shù)據(jù)庫(kù)為圖像數(shù)據(jù)庫(kù)或語(yǔ)音數(shù)據(jù)庫(kù)。
進(jìn) 一 步地，所述依據(jù)第 一 預(yù)置規(guī)則將所述目標(biāo)信號(hào)的特征點(diǎn)轉(zhuǎn)化
為光標(biāo)信號(hào)，以及依據(jù)第二預(yù)置規(guī)則執(zhí)行相應(yīng)的操作的步驟之前還包
括
對(duì)所述特征點(diǎn)進(jìn)行修正或降低噪聲。
進(jìn)一步地，所述第二預(yù)置規(guī)則為相應(yīng)于鼠標(biāo)和/或鍵盤操作的指
為實(shí)現(xiàn)上述目的，本發(fā)明還公開了 一種基于機(jī)器視覺的輸入系 統(tǒng)，包括
目標(biāo)信號(hào)獲取單元，用于捕捉和/或釆集目標(biāo)信號(hào)； 特征點(diǎn)提取單元，用于存儲(chǔ)并獲取該目標(biāo)信號(hào)的特征點(diǎn)； 光標(biāo)信號(hào)獲取及操作單元，用于依據(jù)第一預(yù)置規(guī)則將所述目標(biāo)信 號(hào)的特征點(diǎn)轉(zhuǎn)化為光標(biāo)信號(hào)，以及依據(jù)第二預(yù)置規(guī)則執(zhí)行相應(yīng)的操作。
進(jìn)一步地，所述第一預(yù)置規(guī)則為釆'用檢測(cè)算法分析所述特征點(diǎn) 是否與設(shè)定值相應(yīng)，若是，將該目標(biāo)信號(hào)轉(zhuǎn)化為光標(biāo)信號(hào)。
進(jìn)一步地，所述系統(tǒng)還包括噪聲消除單元，用于對(duì)所述特征點(diǎn) 進(jìn)行修正或降低噪聲。
進(jìn)一步地，所述目標(biāo)信號(hào)獲取單元進(jìn)一步包括數(shù)據(jù)庫(kù)獲取單元，用于獲取一包括所述目標(biāo)信號(hào)的特征信息的數(shù) 據(jù)庫(kù)；
信號(hào)獲取單元，用于捕捉和/或釆集信號(hào)；
分析單元，用于判斷所述信號(hào)與所述特征信息是否相符，若是，
存儲(chǔ)所述信號(hào)，若否，結(jié)束或重復(fù)所述捕捉或釆集信號(hào)； 進(jìn)一步地，所述數(shù)據(jù)庫(kù)為圖像數(shù)據(jù)庫(kù)或語(yǔ)音數(shù)據(jù)庫(kù)； 進(jìn)一步地，所述分析單元包括界面選擇單元，用于依據(jù)存儲(chǔ)的
信號(hào)選擇相應(yīng)的操作界面。
與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)
首先，本發(fā)明通過(guò)在計(jì)算機(jī)內(nèi)部建立或指定一圖像數(shù)據(jù)庫(kù)，對(duì)采 集或捕捉到的目標(biāo)圖像的信號(hào)進(jìn)行分析，判斷該目標(biāo)圖像的信號(hào)的特 征點(diǎn)是否與光標(biāo)信號(hào)轉(zhuǎn)換的標(biāo)準(zhǔn)相匹配，若匹配，則將其轉(zhuǎn)換為光標(biāo) 信號(hào)，執(zhí)行相應(yīng)于鼠標(biāo)的任何操作，本發(fā)明無(wú)需增加任何的輔助設(shè)備， 操作簡(jiǎn)單，快捷；
其次，本發(fā)明對(duì)所釆集的信號(hào)進(jìn)行分析，在判斷其為符合預(yù)置要 求的目標(biāo)信號(hào)后才進(jìn)一步執(zhí)行使用者期望的操作指令，這一過(guò)程為 使用者提供了 一定程度的保護(hù)，使得本發(fā)明可以應(yīng)用于特殊的識(shí)別 系統(tǒng)中；
再者，本發(fā)明通過(guò)檢測(cè)算法將釆集的目標(biāo)信號(hào)轉(zhuǎn)換為光標(biāo)信號(hào)， 以及在轉(zhuǎn)換之前進(jìn)行誤差修正和降低噪聲的處理，使得目標(biāo)信號(hào)的轉(zhuǎn) 換能夠符合要求，并且能夠減少出錯(cuò)率；
最后，本發(fā)明通過(guò)提前建立語(yǔ)音數(shù)據(jù)庫(kù)，以將語(yǔ)音信號(hào)轉(zhuǎn)換為操 作指令并執(zhí)行相應(yīng)操作的方式為特珠的使用者提供方便。


圖i是本發(fā)明的基于機(jī)器視覺的輸入方法實(shí)施例一的流程圖； 圖2是本發(fā)明的基于機(jī)器視覺的輸入方法實(shí)施例二的流程圖； 圖3是圖2中的具體操作的第一界面的示例性示意圖；圖4是圖2中具體操作的輔助菜單的示例性示意圖； 圖5是本發(fā)明的基于機(jī)器視覺的輸入系統(tǒng)的結(jié)構(gòu)框圖。
具體實(shí)施例方式
為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié) 合附圖和具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。
本發(fā)明的核心構(gòu)思在于，對(duì)獲取的目標(biāo)信號(hào)進(jìn)行分析以獲取該目 標(biāo)信號(hào)的特征點(diǎn)，并對(duì)該特征點(diǎn)進(jìn)行修正或噪聲處理，進(jìn)而利用檢測(cè) 算法將所述的目標(biāo)信號(hào)轉(zhuǎn)換為光標(biāo)信號(hào)執(zhí)行相應(yīng)的指令操作。 實(shí)施例一
圖1為本發(fā)明的基于機(jī)器視覺的輸入方法實(shí)施例 一 的流程圖，如 圖1所示，基于機(jī)器視覺的輸入方法的主要步驟包括
步驟101:捕捉和/或采集目標(biāo)信號(hào)，其中，該處目標(biāo)信號(hào)可以是 圖像信號(hào)，包括靜態(tài)圖像信號(hào)和動(dòng)態(tài)圖像信號(hào)，例如人臉圖像信號(hào)； 也可以是特定的語(yǔ)音信號(hào)；
在具體實(shí)施例中，可通過(guò)以下子步驟獲取所述目標(biāo)信號(hào)；
子步驟1011:獲取一包括所述目標(biāo)信號(hào)的特征信息的數(shù)據(jù)庫(kù)， 所述特征信息可以是通用人臉特征信息，例如通用人臉輪廓特征信息 或通用人臉膚色特征信息，也可以是特定的語(yǔ)音信息，如包含各種指 令的語(yǔ)音信號(hào)，當(dāng)然，該數(shù)據(jù)庫(kù)可以使用現(xiàn)有技術(shù)中的任何一個(gè)數(shù)據(jù) 庫(kù)，可以同時(shí)包括不同的圖像和語(yǔ)音信息，也可以是使用者新建立的 專用于個(gè)人的數(shù)據(jù)庫(kù)，本發(fā)明不對(duì)此數(shù)據(jù)庫(kù)進(jìn)行限定；
子步驟1012:捕捉或釆集信號(hào)，該處可以通過(guò)計(jì)算機(jī)增加一攝 像頭進(jìn)行采集人臉圖像，以及任何一個(gè)可以用于釆集圖像的裝置都可 以在此使用；
當(dāng)然，需要進(jìn)行說(shuō)明的是，若使用者使用的是語(yǔ)音數(shù)據(jù)庫(kù)，可以 通過(guò)增加一話簡(jiǎn)，其它任何可以接受并輸入語(yǔ)音的設(shè)備都可以在此使 用，本發(fā)明不對(duì)此進(jìn)行限定；子步驟1013:判斷所述信號(hào)與所述特征信息是否相符，若所述 釆集/捕捉的信號(hào)與本實(shí)施例中的數(shù)據(jù)庫(kù)中所包含的特征信息匹配，
執(zhí)行步驟102 ,即存儲(chǔ)并獲取所述信號(hào)的特征點(diǎn)，若否，結(jié)東，或 重復(fù)執(zhí)行步驟1012的操作，即重新捕捉或釆集信號(hào)，例如，若人臉 圖像信號(hào)與通用人臉輪廓特征信息匹配(如Yale B數(shù)據(jù)庫(kù)中設(shè)定的 人臉圖像的特征信息)或通用人臉膚色信息相符，則該人臉圖像信號(hào) 為目標(biāo)信號(hào)；
在本步驟的操作中，當(dāng)數(shù)據(jù)庫(kù)中存儲(chǔ)的人臉特征信息為某個(gè)特定 使用者的個(gè)人信息時(shí)，所述系統(tǒng)判斷所述釆集的信號(hào)與數(shù)據(jù)庫(kù)特征信 息不匹配時(shí)，可以選擇關(guān)機(jī)或不執(zhí)行后續(xù)步驟的方式保護(hù)計(jì)算機(jī)不被 非法用戶使用；當(dāng)數(shù)據(jù)庫(kù)中存儲(chǔ)的人臉特征信息為多個(gè)使用者的分別 的識(shí)別性的特征信息時(shí)，所述系統(tǒng)可以判斷并識(shí)別分別的使用者，并
、U"丄"丄l. 乂一 "7" hrrt丄L丄t . /仁/" - 丄A "t"'1 、丄A4" hn 丄y、U> hi Vtt
迎伴饑fi個(gè)i口」w侏tf，鄧卞力伏到該1^廳」百—自效町1^用介囬寺；
步驟102:存儲(chǔ)并獲取該目標(biāo)信號(hào)的特征點(diǎn)，在本實(shí)施例中，可 以先存儲(chǔ)所述目標(biāo)信號(hào)，再進(jìn)行分析并提取所述目標(biāo)信號(hào)的特征點(diǎn)， 也可以上述的兩個(gè)動(dòng)作同時(shí)進(jìn)行，對(duì)于該處的動(dòng)作先后順序本實(shí)施例
中不做限定；
其中，所述特征點(diǎn)可以是靜態(tài)的圖像信息，例如從多個(gè)釆樣點(diǎn)中 提取的人臉輪廓或五官輪廓，也可以是預(yù)置的易于識(shí)別的特殊釆樣
點(diǎn)手的五指、手紋、光照較亮的皮膚、較突出的面部器官等等，可 以是對(duì)釆集的圖像信息所提取的特征點(diǎn)進(jìn)行的歸一化處理的結(jié)果，例 如對(duì)較突出的某個(gè)面部器官周圍的多個(gè)釆樣點(diǎn)進(jìn)行求平均、或進(jìn)行誤 差修正的結(jié)果，另外，還可以是對(duì)面部五官進(jìn)行識(shí)別后構(gòu)建的精確的 3D線框模型；或這些靜態(tài)信息的變化的識(shí)別、跟蹤等，例如人臉輪 廓的變化、特殊釆樣點(diǎn)或其歸 一化結(jié)果的變化或3D線框模型的變化； 所述變化可以是由橫向、縱向的移動(dòng)產(chǎn)生的距離變化，也可以是由以 某參考點(diǎn)為基準(zhǔn)的轉(zhuǎn)動(dòng)產(chǎn)生的角度變化；所述特征點(diǎn)的獲取方式可以是人臉在信號(hào)釆集范圍內(nèi)停留一定的時(shí)間長(zhǎng)度，也可以是人臉的移動(dòng) 或轉(zhuǎn)動(dòng)，例如人臉整體的橫向或縱向的移動(dòng)或額頭、鼻子、下巴或眼
球的轉(zhuǎn)動(dòng)；
需要說(shuō)明的是，對(duì)于語(yǔ)音信息，本實(shí)施例中釆取輸入一包括相應(yīng) 于指令信息的語(yǔ)音信號(hào)的方式。這些語(yǔ)音信號(hào)可以是"雙擊"、"上翻 頁(yè)"、"粘貼"等指令，在本步驟的操作中，對(duì)所述釆集的語(yǔ)音信息釆
取提取特征點(diǎn)的方式實(shí)現(xiàn)與數(shù)據(jù)庫(kù)中的語(yǔ)音指令的匹配；
步驟103:依據(jù)第一預(yù)置規(guī)則將所述目標(biāo)信號(hào)的特征點(diǎn)轉(zhuǎn)化為光
標(biāo)信號(hào)，以及依據(jù)第二預(yù)置規(guī)則執(zhí)行相應(yīng)的操作；
其中，所述第一預(yù)置規(guī)則為釆用檢測(cè)算法分析所述特征點(diǎn)是否
與設(shè)定值相應(yīng)，若是，將該目標(biāo)信號(hào)轉(zhuǎn)化為光標(biāo)信號(hào)；
在實(shí)際應(yīng)用過(guò)程中，以人臉圖像檢測(cè)為例，所述的檢測(cè)算法可以
是確定人臉輪廓的人臉檢測(cè)算法，例如基于haar小波變換的邊緣檢
測(cè)-膚色檢測(cè)等；也可以是精確追蹤人臉面部輪廓的變化的運(yùn)動(dòng)檢測(cè)
算法，例如，使用幀間差分和金字塔迭代Lucas-Kanade的光流法等 等；
所述設(shè)定值可以是任意的預(yù)先設(shè)定的特征點(diǎn)類型，且可以通過(guò)用
戶/使用者自己來(lái)改變；所述將目標(biāo)信號(hào)轉(zhuǎn)化為光標(biāo)信號(hào)的過(guò)程可以
是將所述人臉輪廓、多個(gè)釆樣點(diǎn)或其歸一化結(jié)果、3D線框模型的位 置或移動(dòng)通過(guò)計(jì)算機(jī)接口轉(zhuǎn)化為光標(biāo)信號(hào)的過(guò)程；
所述第二預(yù)置規(guī)則為相應(yīng)于所有鼠標(biāo)和鍵盤操作的命令程序，包 括鼠標(biāo)左鍵、右鍵、中鍵的單擊、雙擊，鼠標(biāo)按下并拖拽，滾輪、上 翻頁(yè)、下翻頁(yè)等，還包括鍵盤的字母、符號(hào)、系統(tǒng)指令的輸入命令程 序，此外通過(guò)對(duì)程序的擴(kuò)展，還可以是其他用戶設(shè)定的系統(tǒng)操作指令， 例如，開啟瀏覽器等；所述執(zhí)行操作的方式可以是通過(guò)軟件生成一個(gè) 響應(yīng)特定特征點(diǎn)的包含期望功能鍵的菜單界面，以獲取這些特定特征 點(diǎn)的方式通過(guò)該菜單界面執(zhí)行期望的操作，也可以是其他可實(shí)現(xiàn)的方式。
在本實(shí)施例中，優(yōu)選的實(shí)現(xiàn)方式還可以為，對(duì)所述特征點(diǎn)進(jìn)行修 正或降低噪聲，進(jìn)而再執(zhí)行步驟103,這樣可以避免釆集到的目標(biāo)信 號(hào)在轉(zhuǎn)換為光標(biāo)信號(hào)的過(guò)程中轉(zhuǎn)換速度較慢的現(xiàn)象，以及降低光標(biāo)信 號(hào)轉(zhuǎn)換的錯(cuò)誤率。例如，當(dāng)所述設(shè)定值為人臉面部特定釆樣點(diǎn)的移動(dòng)
時(shí)，所述修正方法可以是提高釆樣點(diǎn)的數(shù)量，對(duì)通過(guò)檢測(cè)算法得到
的多個(gè)釆樣點(diǎn)中的每一個(gè)的移動(dòng)量進(jìn)行平均處理，獲得移動(dòng)量的平均
值，這祥可以降低個(gè)別錯(cuò)誤釆樣點(diǎn)的誤差；也可以是動(dòng)態(tài)剔除錯(cuò)誤釆 樣點(diǎn)；當(dāng)所述設(shè)定值為人臉輪廓時(shí)，可以釆用噪音消除算法降低噪聲 在操作者頭部移動(dòng)到某些位置時(shí)，當(dāng)人臉輪廓特征信號(hào)比較強(qiáng)烈，即 超過(guò)一定閥值時(shí)，系統(tǒng)會(huì)重新計(jì)算正確的釆樣區(qū)域，增加區(qū)域內(nèi)的釆 樣點(diǎn)，而將區(qū)域外的釆樣點(diǎn)刪除。
本實(shí)施例的最主要的優(yōu)點(diǎn)是通過(guò)檢測(cè)算法將所述釆集的目標(biāo)信 號(hào)轉(zhuǎn)換為光標(biāo)信號(hào)，以及釆用修正特征點(diǎn)的方式進(jìn)一步提高目標(biāo)信號(hào) 轉(zhuǎn)換為光標(biāo)信號(hào)的轉(zhuǎn)換率，可以更快捷、更方便地實(shí)現(xiàn)用戶的指令操 作。
實(shí)施例二
結(jié)合圖2、圖3、以及圖4對(duì)本發(fā)明的基于機(jī)器視覺的輸入方法進(jìn) 行具體說(shuō)明，在本實(shí)施例中，基于機(jī)器視覺的輸入方法的具體操作步 驟如下所述
當(dāng)使用者通過(guò)攝像頭釆集圖像時(shí)，如圖3所示為本實(shí)施例中用于 采集并轉(zhuǎn)換目標(biāo)信號(hào)的第一界面，
步驟A01:采集人臉圖像，計(jì)算機(jī)上配置的圖像捕捉裝置-視頻攝 像設(shè)備會(huì)通過(guò)已儲(chǔ)存在軟件中的通用人臉面部特征信息自動(dòng)識(shí)別操 作者的面孔；當(dāng)操作者輕輕的左右上下轉(zhuǎn)動(dòng)頭部，攝像頭會(huì)自動(dòng)釆集 操作者的面部圖像；
步驟A02:通過(guò)基于haar小波變換的邊緣檢測(cè)-膚色檢測(cè)等檢測(cè)算法確定視頻圖像中人臉輪廓的當(dāng)前位置；
步驟A03:然后在檢測(cè)到的人臉圖像區(qū)域內(nèi)通過(guò)使用幀間差分或
金字塔迭代lucas-kanade的光流法等運(yùn)動(dòng)檢測(cè)算法精確跟蹤人臉面部 輪廓的移動(dòng)；
步驟A04:對(duì)所獲得的移動(dòng)信號(hào)進(jìn)行誤差修正與噪聲降低(比如 提高釆樣點(diǎn)數(shù)量，對(duì)移動(dòng)數(shù)據(jù)進(jìn)行平均處理，這樣可以降低個(gè)別錯(cuò)誤 釆樣點(diǎn)的誤差，此外，動(dòng)態(tài)剔除錯(cuò)誤釆樣點(diǎn)也可以提高精度，還可以 釆用噪聲消除算法降低噪聲)，提高處理精度，以便得到高精度的移 動(dòng)信號(hào)；
步驟A05:處理后的臉部的移動(dòng)信號(hào)通過(guò)計(jì)算機(jī)操作系統(tǒng)接口轉(zhuǎn) 化為鼠標(biāo)光標(biāo)的移動(dòng)，例如，微軟windows系統(tǒng)提供的mouse—event api 函數(shù)即可通過(guò)輸入坐標(biāo)的方式對(duì)光標(biāo)進(jìn)行移動(dòng)；特定的移動(dòng)信號(hào)可以 通過(guò)軟件激活一個(gè)包含期望的所有鼠標(biāo)和鍵盤指令的功能鍵的菜單 界面，這樣，操作者即可通過(guò)眼球、鼻子、額頭、下巴的轉(zhuǎn)動(dòng)或面部 的整體移動(dòng)來(lái)產(chǎn)生移動(dòng)信號(hào)輕松的控制計(jì)算機(jī)。
在本實(shí)施例中，打開計(jì)算機(jī)后，軟件自動(dòng)彈出一個(gè)包括多個(gè)設(shè)置 功能塊和圖像攝取窗口的第一界面，如圖3所示，操作者通過(guò)將面部 朝向計(jì)算機(jī)屏幕任意位置處停留 一個(gè)預(yù)置可調(diào)的時(shí)間長(zhǎng)度(該時(shí)間長(zhǎng) 度可以在第一界面進(jìn)行設(shè)置)，如0.8s，即可在光標(biāo)旁激活一個(gè)輔助 菜單，如圖4所示，該輔助菜單可以包括所有的鼠標(biāo)指令的功能鍵， 如鼠標(biāo)左鍵、右鍵、中鍵的單擊、雙擊，鼠標(biāo)按下并拖拽，滾輪等， 還可以包括屏幕鍵盤，實(shí)現(xiàn)字母、符號(hào)和系統(tǒng)指令的輸入命令；操作 者可以通過(guò)使光標(biāo)在輔助菜單中與期望的操作對(duì)應(yīng)的功能鍵處停留 一個(gè)預(yù)置可調(diào)的時(shí)間長(zhǎng)度(該時(shí)間長(zhǎng)度可以在第一界面中設(shè)置，在本 實(shí)施例中是0.8s)來(lái)實(shí)現(xiàn)期望的操作，如鼠標(biāo)的單擊、或者翻頁(yè)，或 者改由鍵盤輸入，這種執(zhí)行方式為直接執(zhí)行方式；操作者還可以采用 選擇執(zhí)行方式操作者先通過(guò)圖4所示的輔助菜單選擇期望的操作命令，然后將光標(biāo)停留在特定位置固定時(shí)間間隔，本發(fā)明的系統(tǒng)即在此 位置執(zhí)行先前選擇的搡作命令；此外，通過(guò)對(duì)軟件程序的擴(kuò)展，還可 以在輔助菜單上設(shè)置操作者期望的快捷功能鍵，如開啟網(wǎng)頁(yè)等等。
以上對(duì)本發(fā)明實(shí)施例中的基于機(jī)器視覺的輸入方法進(jìn)行了詳細(xì) 描述；但是本領(lǐng)域技術(shù)人員應(yīng)該知悉，本發(fā)明并不受所描述的動(dòng)作順 序的限制，因?yàn)橐罁?jù)本發(fā)明，某些步驟可以釆用其他順序或者同時(shí)進(jìn) 行。其次，本領(lǐng)域技術(shù)人員也應(yīng)該知悉，說(shuō)明書中所描述的實(shí)施例均 屬于優(yōu)選實(shí)施例，所涉及的動(dòng)作和模塊并不一定是本發(fā)明所必須的。 實(shí)施例三
如圖5所示的根據(jù)本發(fā)明的基于機(jī)器視覺的輸入系統(tǒng)包括
目標(biāo)信號(hào)獲取單元501,用于捕捉或釆集目標(biāo)信號(hào)，所述目標(biāo)信 號(hào)可以是圖像信號(hào)，包括靜態(tài)圖像信號(hào)和動(dòng)態(tài)圖像信號(hào)，例如人臉圖 像信號(hào)；也可以是特定的語(yǔ)音信號(hào)；
其中，所述目標(biāo)信號(hào)獲取單元的子單元包括
數(shù)據(jù)庫(kù)獲取子單元5011，用于獲取一包括所述目標(biāo)信號(hào)的特征 信息的數(shù)據(jù)庫(kù)，所述數(shù)據(jù)庫(kù)獲取單元獲取的特征信息可以是通用人臉 特征信息；
信號(hào)獲取子單元5012,用于捕捉或釆集信號(hào)，可以是能夠獲取 圖像和語(yǔ)音信號(hào)的任何設(shè)備，包括攝像設(shè)備和錄音設(shè)備；
分析子單元5013，用于判斷所述信號(hào)與所述特征信息是否相符， 若是，存儲(chǔ)所述信號(hào)，若否，結(jié)東或重復(fù)所述捕捉或釆集信號(hào)。例如， 若人臉圖像信號(hào)與通用人臉輪廓特征信息或通用人臉膚色信息相符， 分析單元判斷該人臉圖像信號(hào)為目標(biāo)信號(hào)；
其中，所述分析子單元5013進(jìn)一步包括界面選擇單元，用于 依據(jù)存儲(chǔ)的信號(hào)選擇相應(yīng)的操作界面；其中，所述存儲(chǔ)的信號(hào)即為目 標(biāo)信號(hào)；
特征點(diǎn)提取單元502，用于存儲(chǔ)并獲取該目標(biāo)信號(hào)的特征點(diǎn)，所述單元獲取的特征點(diǎn)可以是靜態(tài)的圖像信息，也可以是這些靜態(tài)信息 的變化；
光標(biāo)信號(hào)獲取及操作單元503，用于依據(jù)第一預(yù)置規(guī)則將所述目 標(biāo)信號(hào)的特征點(diǎn)轉(zhuǎn)化為光標(biāo)信號(hào)，以及依據(jù)第二預(yù)置規(guī)則執(zhí)行相應(yīng)的
搡作；所述第一預(yù)置規(guī)則為釆用檢測(cè)算法分析所述特征點(diǎn)是否與第
二設(shè)定值相應(yīng)，若是，將該目標(biāo)信號(hào)轉(zhuǎn)化為光標(biāo)信號(hào)；所述第二預(yù)置 規(guī)則為相應(yīng)于所有鼠標(biāo)和鍵盤操作的命令程序；
所述系統(tǒng)還包括對(duì)所述特征點(diǎn)進(jìn)行修正或降低噪聲的噪聲消除 單元；例如，當(dāng)所述設(shè)定值為人臉面部特定釆樣點(diǎn)的移動(dòng)時(shí)，所述單 元提高采樣點(diǎn)的數(shù)量以降低個(gè)別錯(cuò)誤采樣點(diǎn)的誤差；所述單元也可以 動(dòng)態(tài)剔除錯(cuò)誤釆樣點(diǎn)；所述單元還可以釆用噪音消除算法降低噪音。
本發(fā)明的基于機(jī)器視覺的輸入系統(tǒng)具有的優(yōu)點(diǎn)如下
1、 設(shè)備簡(jiǎn)單；由于釆用了較先進(jìn)的計(jì)算機(jī)圖像處理算法，大大 簡(jiǎn)化了周邊硬件設(shè)備，只需要一臺(tái)普通的多媒體計(jì)算機(jī)，并配置一臺(tái) 普通的視頻攝像設(shè)備(如普通家用的用于網(wǎng)絡(luò)視頻聊天的攝像頭，很 便宜)即可滿足該系統(tǒng)的正常運(yùn)作。
2、 輸入精度高；釆用獨(dú)特的圖像處理算法，可以在輸入較低低 圖像釆樣的信號(hào)時(shí)(如輸入320X240像素的低分辨率視頻信號(hào))也能 完全滿足對(duì)高分辨率(如1280X800的寬屏顯示設(shè)備)的計(jì)算機(jī)顯示 設(shè)備的鼠標(biāo)光標(biāo)的準(zhǔn)確定位。
3、 使用方便；不需要額外的輔助設(shè)備，搡作者無(wú)需佩戴任何設(shè) 備或標(biāo)志，只需要像常規(guī)使用計(jì)算機(jī)一樣，保持面部或其他特征部位 或物體位于攝像設(shè)備拾取范圍內(nèi)。操作環(huán)境為普通的環(huán)境光強(qiáng)度即 可，對(duì)環(huán)境光沒有特殊的要求，不需要額外的照明或指示光源。通過(guò) 軟件模擬實(shí)現(xiàn)所有的普通鼠標(biāo)操作，包括鼠標(biāo)左鍵、右鍵、中鍵的單 擊、雙擊，鼠標(biāo)按下并拖拽，滾輪等，如微軟windows操作系統(tǒng)提供 的mouse-event api函數(shù)即可通過(guò)輸入坐標(biāo)的方式對(duì)光標(biāo)進(jìn)行移動(dòng)。在不需要任何額外硬件設(shè)備的前提下，通過(guò)軟件模擬實(shí)現(xiàn)鍵盤的 快速字母、符號(hào)、系統(tǒng)指令輸入。
4、應(yīng)用范圍廣；此外，本發(fā)明的方法及其系統(tǒng)還可以對(duì)計(jì)算機(jī) 搡作者的面孔進(jìn)行安全識(shí)別，阻止非法操作者對(duì)計(jì)算機(jī)進(jìn)行操作。可 以通過(guò)判斷計(jì)算機(jī)操作者和攝像頭的距離，向計(jì)算機(jī)輸入不同的信 號(hào)，實(shí)現(xiàn)顯示屏幕上畫面大小、遠(yuǎn)近變化，或?qū)崿F(xiàn)虛擬實(shí)景交互，甚 至模擬壓感筆觸，讓操作者可以實(shí)現(xiàn)帶壓感的計(jì)算機(jī)繪畫、毛筆字書 寫等等。
綜上所述，計(jì)算機(jī)操作者使用本發(fā)明的系統(tǒng)，能夠完全或部分告 別對(duì)傳統(tǒng)鼠標(biāo)、鍵盤等輸入設(shè)備的依賴。
需要說(shuō)明的是，本說(shuō)明書中的實(shí)施例重點(diǎn)說(shuō)明的都是與其它實(shí)施 例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見即可。
本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，
以上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核心思想；同 時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方 式及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說(shuō)明書內(nèi)容不應(yīng)理解 為對(duì)本發(fā)明的限制，在不脫離本發(fā)明的精神和范圍的情況下，還可以 做出各種變化和變型，因此所有等同的技術(shù)方案也屬于本發(fā)明的范 疇，本發(fā)明的專利保護(hù)范圍應(yīng)由權(quán)利要求限定。
權(quán)利要求
1、一種基于機(jī)器視覺的輸入方法，其特征在于，包括捕捉和/或采集目標(biāo)信號(hào)；存儲(chǔ)并獲取該目標(biāo)信號(hào)的特征點(diǎn)；依據(jù)第一預(yù)置規(guī)則將所述目標(biāo)信號(hào)的特征點(diǎn)轉(zhuǎn)化為光標(biāo)信號(hào)，以及依據(jù)第二預(yù)置規(guī)則執(zhí)行相應(yīng)的操作。
2、 如權(quán)利要求l所述的方法，其特征在于，所述第一預(yù)置規(guī)則為釆用檢測(cè)算法分析所述特征點(diǎn)是否與設(shè)定 值相應(yīng)，若是，將該目標(biāo)信號(hào)轉(zhuǎn)化為光標(biāo)信號(hào)。
3、 如權(quán)利要求l所述的方法，其特征在于，所述捕捉和/或釆集 目標(biāo)信號(hào)的步驟包括獲取一包括所述目標(biāo)信號(hào)的特征信息的數(shù)據(jù)庫(kù)； 捕捉和/或釆集信號(hào)；判斷所述信號(hào)與所述特征信息是否相符，若是，存儲(chǔ)所述信號(hào)， 若否，結(jié)束或重復(fù)所述捕捉和/或釆集信號(hào)。
4、 如權(quán)利要求3所述的方法，其特征在于，所述數(shù)據(jù)庫(kù)為圖像數(shù)據(jù)庫(kù)或語(yǔ)音數(shù)據(jù)庫(kù)。
5、 如權(quán)利要求l、 2或3所述的方法，其特征在于，所述依據(jù)第 一預(yù)置規(guī)則將所述目標(biāo)信號(hào)的特征點(diǎn)轉(zhuǎn)化為光標(biāo)信號(hào)，以及依據(jù)第二 預(yù)置規(guī)則執(zhí)行相應(yīng)的操作的步驟之前還包括對(duì)所述特征點(diǎn)進(jìn)行修正或降低噪聲。
6、 如權(quán)利要求l所述的方法，其特征在于，所述第二預(yù)置規(guī)則 為相應(yīng)于鼠標(biāo)和/或鍵盤操作的指令。
7、 一種基于機(jī)器視覺的輸入系統(tǒng)，其特征在于，包括 目標(biāo)信號(hào)獲取單元，用于捕捉和/或釆集目標(biāo)信號(hào)； 特征點(diǎn)提取單元，用于存儲(chǔ)并獲取該目標(biāo)信號(hào)的特征點(diǎn)； 光標(biāo)信號(hào)獲取及操作單元，用于依據(jù)第一預(yù)置規(guī)則將所述目標(biāo)信號(hào)的特征點(diǎn)轉(zhuǎn)化為光標(biāo)信號(hào)，以及依據(jù)第二預(yù)置規(guī)則執(zhí)行相應(yīng)的操 作。
8、 如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述第一預(yù)置規(guī)則為釆用檢測(cè)算法分析所述特征點(diǎn)是否與設(shè)定值相應(yīng)，若是，將該目標(biāo)信號(hào)轉(zhuǎn)化為光標(biāo)信號(hào)。
9、 如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括 噪聲消除單元，用于對(duì)所述特征點(diǎn)進(jìn)行修正或降低噪聲。
10、 如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述目標(biāo)信號(hào)獲取 單元進(jìn)一步包括數(shù)據(jù)庫(kù)獲取單元，用于獲取一包括所述目標(biāo)信號(hào)的特征信息的數(shù) 據(jù)庫(kù)；信號(hào)獲取單元，用于捕捉和/或釆集信號(hào)；分析單元，用于判斷所述信號(hào)與所述特征信息是否相符，若是， 存儲(chǔ)所述信號(hào)，若否，結(jié)束或重復(fù)所述捕捉或釆集信號(hào)。
11、 如權(quán)利要求10所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)庫(kù)為圖 像數(shù)據(jù)庫(kù)或語(yǔ)音數(shù)據(jù)庫(kù)。
12、 如權(quán)利要求IO所述的系統(tǒng)，其特征在于，所述分析單元進(jìn) 一步包括界面選擇單元，用于依據(jù)存儲(chǔ)的信號(hào)選擇相應(yīng)的操作界面。
全文摘要
本發(fā)明提供一種基于機(jī)器視覺的輸入方法及其系統(tǒng)，該方法包括捕捉和/或采集目標(biāo)信號(hào)；存儲(chǔ)并獲取該目標(biāo)信號(hào)的特征點(diǎn)；依據(jù)第一預(yù)置規(guī)則將所述目標(biāo)信號(hào)的特征點(diǎn)轉(zhuǎn)化為光標(biāo)信號(hào)，以及依據(jù)第二預(yù)置規(guī)則執(zhí)行相應(yīng)的操作；該方法能夠簡(jiǎn)單、方便、且更快捷地輸入使用者需要的指令。
文檔編號(hào)G06F3/01GK101446859SQ200810240719
公開日2009年6月3日 申請(qǐng)日期2008年12月23日 優(yōu)先權(quán)日2008年12月23日
發(fā)明者黃通兵 申請(qǐng)人:黃通兵