專利名稱：視覺(jué)跟蹤與語(yǔ)音識(shí)別的鼠標(biāo)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本實(shí)用新型涉及視覺(jué)技術(shù)領(lǐng)域，尤其涉及一種視覺(jué)跟蹤與語(yǔ)音識(shí)別相結(jié)合的鼠標(biāo)系統(tǒng)。
技術(shù)背景 目前人們使用的鼠標(biāo)主要以有線和無(wú)線鼠標(biāo)為主，但是隨著人機(jī)交互的不斷發(fā)展，這種有形的鼠標(biāo)極大地限制了人機(jī)交互的速度。同時(shí)，對(duì)于用電腦辦公或者玩游戲的人來(lái)說(shuō)，在操作電腦吋，由于鍵盤和鼠標(biāo)有一定的高度，手腕必須背屈一定角度，這時(shí)腕部就處于強(qiáng)迫體位，不能自然伸展，長(zhǎng)年累月，容易得“鼠標(biāo)手”這ー病癥。而且，對(duì)于雙臂或雙手殘疾的人來(lái)說(shuō)，則無(wú)法正常使用鼠標(biāo)或鍵盤操作電腦。對(duì)于有些游戲或控制類應(yīng)用，使用鼠標(biāo)也不是ー個(gè)最好的操作工具。中國(guó)專利授權(quán)公告號(hào)CN101038523A，授權(quán)公告日2007年09月19日，公開了ー種基于視覺(jué)跟蹤與語(yǔ)音識(shí)別的鼠標(biāo)系統(tǒng)，在該發(fā)明中，攝像頭通過(guò)檢測(cè)跟蹤紅外標(biāo)志物的光斑圖像，動(dòng)態(tài)跟蹤光斑在攝像頭成像平面上的位置移動(dòng)，然后通過(guò)光標(biāo)定位子模塊將光斑在圖像上的運(yùn)動(dòng)轉(zhuǎn)換為鼠標(biāo)光標(biāo)在顯示桌面上的運(yùn)動(dòng)，并將鼠標(biāo)的位置信息傳遞給信息反饋模塊；信息反饋模塊通過(guò)計(jì)算機(jī)顯示器將鼠標(biāo)驅(qū)動(dòng)模塊傳來(lái)的鼠標(biāo)光標(biāo)的位置表示出來(lái)，并給用戶相應(yīng)的信息提示；語(yǔ)音指令處理模塊通過(guò)與計(jì)算機(jī)主機(jī)相連接的麥克風(fēng)接收用戶發(fā)出的語(yǔ)音指令，通過(guò)語(yǔ)音識(shí)別子模塊對(duì)輸入語(yǔ)音信號(hào)進(jìn)行識(shí)別，由分類結(jié)果激發(fā)并驅(qū)動(dòng)相應(yīng)的鼠標(biāo)事件響應(yīng)。由于顯示屏上的鼠標(biāo)光標(biāo)只隨紅外標(biāo)志物的移動(dòng)而移動(dòng)，當(dāng)需移動(dòng)光標(biāo)時(shí)，使用者得手持紅外發(fā)光標(biāo)志物在攝像頭可視范圍內(nèi)移動(dòng)，這并沒(méi)有擺脫手工操作的弊端，且使用者保持著手握的姿勢(shì)，長(zhǎng)時(shí)間使用，會(huì)出現(xiàn)手部酸痛乃至僵硬的情況，并沒(méi)有從根本上改變鼠標(biāo)的操作模式。

實(shí)用新型內(nèi)容本實(shí)用新型針對(duì)現(xiàn)有技術(shù)的問(wèn)題和不足，提供了ー種使用方便、能精確定位光標(biāo)的視覺(jué)跟蹤與語(yǔ)音識(shí)別的鼠標(biāo)系統(tǒng)。為了實(shí)現(xiàn)上述目的，本實(shí)用新型采用以下技術(shù)方案一種視覺(jué)跟蹤與語(yǔ)音識(shí)別的鼠標(biāo)系統(tǒng)，它包括麥克風(fēng)和攝像頭，鼠標(biāo)系統(tǒng)還包括模數(shù)轉(zhuǎn)換器、數(shù)字信號(hào)處理器，數(shù)字信號(hào)處理器接有能與計(jì)算機(jī)主機(jī)進(jìn)行數(shù)據(jù)傳輸連接的通訊端ロ ；攝像頭通過(guò)視頻接ロ接在模數(shù)轉(zhuǎn)換器上，攝像頭數(shù)為兩個(gè)；攝像頭通過(guò)檢測(cè)跟蹤眼球瞳孔的運(yùn)動(dòng)，動(dòng)態(tài)跟蹤瞳孔聚焦點(diǎn)在攝像頭成像平面上的位置移動(dòng)，然后通過(guò)模數(shù)轉(zhuǎn)換器與數(shù)字信號(hào)處理器將聚焦點(diǎn)在圖像上的運(yùn)動(dòng)轉(zhuǎn)換為鼠標(biāo)光標(biāo)在顯示器上的運(yùn)動(dòng)，麥克風(fēng)通過(guò)音頻接ロ接在模數(shù)轉(zhuǎn)換器上，麥克風(fēng)接收用戶發(fā)出的語(yǔ)音指令，經(jīng)模數(shù)轉(zhuǎn)換器轉(zhuǎn)換成數(shù)字信號(hào)，再由數(shù)字信號(hào)處理器進(jìn)行處理生成按鍵命令以形成相應(yīng)的鼠標(biāo)響應(yīng)。上述過(guò)程將目光的視覺(jué)跟蹤與語(yǔ)音的識(shí)別結(jié)合起來(lái)實(shí)現(xiàn)傳統(tǒng)鼠標(biāo)的功能。此裝置通過(guò)采用傳統(tǒng)通訊端ロ連接計(jì)算機(jī)主機(jī)；采用兩個(gè)攝像頭是為了采用機(jī)器視覺(jué)中的雙目測(cè)量技術(shù)，實(shí)現(xiàn)精確的瞳孔焦點(diǎn)測(cè)量，從而能更精確的定位鼠標(biāo)光標(biāo)的位置。作為優(yōu)選，攝像頭的鏡頭上設(shè)有紅外LED燈，紅外LED燈的電路連接到攝像頭的電路板。具有紅外LED燈，是本裝置即可在白天使用，也可以在夜晚的情況下發(fā)揮夜視拍攝的能力，不受光線條件的影響。作為優(yōu)選，麥克風(fēng)接收的語(yǔ)音指令包括左鍵單擊指令、右鍵單擊指令以及雙擊指令。使用者可根據(jù)自己的喜好或習(xí)慣，給左鍵單擊指令、右鍵單擊指令及雙擊指令分別設(shè)置多個(gè)不同的用語(yǔ)，這樣使用者只要對(duì)著麥克風(fēng)說(shuō)出其中ー個(gè)時(shí)，計(jì)算機(jī)便可執(zhí)行命令。作為優(yōu)選，攝像頭分別安裝在顯示器上端的左右兩個(gè)角上，利用雙目測(cè)量技木精確測(cè)量瞳孔的位置井折算出目光聚焦點(diǎn)。這樣可以保證使用者目光在攝像頭可視范圍內(nèi)移動(dòng)。作為優(yōu)選，語(yǔ)音指令是設(shè)定的語(yǔ)音指令。在這里，設(shè)定的語(yǔ)音指令可以進(jìn)行修改， 不同的操作者可以使用不同的語(yǔ)音指令。作為優(yōu)選，聚焦點(diǎn)是設(shè)定的聚焦點(diǎn)。在這里，設(shè)定的聚焦點(diǎn)是可以進(jìn)行修改的，不同的操作者可以有不同的聚焦點(diǎn)參數(shù)。與現(xiàn)有技術(shù)相比，本實(shí)用新型的有益效果為改變了傳統(tǒng)的鼠標(biāo)操作方式，且結(jié)構(gòu)簡(jiǎn)單，方便操作，適用人群廣，可適用于雙臂或雙手殘疾的人，也可用于工程控制、軍事指揮，甚至是青少年玩游戲。

圖I為本實(shí)用新型組成示意圖。圖2為本實(shí)用新型內(nèi)部結(jié)構(gòu)示意圖。圖中1 一攝像頭,2—顯不器，3—麥克風(fēng)，4一計(jì)算機(jī)主機(jī)，5 —鼠標(biāo)系統(tǒng)內(nèi)部結(jié)構(gòu)。
具體實(shí)施方式

以下結(jié)合附圖和具體實(shí)施方式
對(duì)本實(shí)用新型作進(jìn)ー步的描述。如圖I、圖2所示的一種視覺(jué)跟蹤與語(yǔ)音識(shí)別的鼠標(biāo)系統(tǒng)，它包括麥克風(fēng)3和攝像頭I，在該鼠標(biāo)系統(tǒng)還包括模數(shù)轉(zhuǎn)換器8、數(shù)字信號(hào)處理器9，數(shù)字信號(hào)處理器9接有能與計(jì)算機(jī)主機(jī)4進(jìn)行數(shù)據(jù)傳輸連接的通訊端ロ ；攝像頭I通過(guò)視頻接ロ 11接模數(shù)轉(zhuǎn)換器8上，攝像頭I通過(guò)檢測(cè)跟蹤眼球瞳孔的運(yùn)動(dòng)，動(dòng)態(tài)跟蹤瞳孔聚焦點(diǎn)在攝像頭成像平面上的位置移動(dòng)，然后通過(guò)模數(shù)轉(zhuǎn)換器8與數(shù)字信號(hào)處理器9將聚焦點(diǎn)在圖像上的運(yùn)動(dòng)轉(zhuǎn)換為鼠標(biāo)光標(biāo)在顯示器2桌面上的運(yùn)動(dòng)，攝像頭數(shù)為兩個(gè)；麥克風(fēng)3通過(guò)音頻接ロ 7接在模數(shù)轉(zhuǎn)換器13上，麥克風(fēng)3接收用戶發(fā)出的語(yǔ)音指令，經(jīng)模數(shù)轉(zhuǎn)換器12轉(zhuǎn)換成數(shù)字信號(hào)，再由數(shù)字信號(hào)處理器9進(jìn)行處理生成按鍵命令以形成相應(yīng)的鼠標(biāo)響應(yīng)；攝像頭I的鏡頭上設(shè)有紅外LED燈，紅外LED燈的電路連接到攝像頭I的電路板；麥克風(fēng)3接收的語(yǔ)音指令包括左鍵單擊指令、右鍵單擊指令以及雙擊指令；攝像頭I分別安裝在顯示器2上端的左右兩個(gè)角上，利用雙目測(cè)量技木精確測(cè)量瞳孔的位置井折算出目光聚焦點(diǎn)；語(yǔ)音指令是設(shè)定的語(yǔ)音指令，聚焦點(diǎn)是設(shè)定的聚焦點(diǎn)。本實(shí)施例首先使用兩個(gè)攝像頭對(duì)準(zhǔn)使用者的眼睛，并且使用者的目光在攝像頭可視范圍內(nèi)，顯示屏上的光標(biāo)隨著目光的移動(dòng)而移動(dòng)，從而實(shí)現(xiàn)用目光視覺(jué)信號(hào)控制光標(biāo)的功能。然后，使用麥克風(fēng)3采集使用者使用的所有語(yǔ)言指令信號(hào)存儲(chǔ)到計(jì)算機(jī)的磁盤上作為標(biāo)準(zhǔn)語(yǔ)音樣本。使用吋，使用者只需要語(yǔ)音發(fā)出指令，便可完成鼠標(biāo)的左鍵單擊、右鍵單擊或雙擊的操作，同時(shí)，使用者只需轉(zhuǎn)動(dòng)目光，便能實(shí)現(xiàn)顯示器2上光標(biāo)的移動(dòng)，在本實(shí)用新型中，采用兩個(gè)攝像頭，利用雙目視覺(jué)測(cè)量技術(shù)的原理，使得光標(biāo)定位變得更精確。通訊端ロ可為PS/2接ロ 10，模數(shù)轉(zhuǎn)換器為3個(gè)，數(shù)字信號(hào)處理器為I個(gè)，模數(shù)轉(zhuǎn)換器分別與兩個(gè)視頻接ロ、一個(gè)音頻接ロ相連接，與音頻接ロ、視頻接ロ相連接的模數(shù)轉(zhuǎn)換器連接在同一個(gè)數(shù)字信號(hào)處理器上?？紤]到使用者發(fā)出語(yǔ)音指令時(shí)，會(huì)受到噪音的干擾而使得語(yǔ)音指令的準(zhǔn)確執(zhí)行率下降，可采用兩個(gè)數(shù)字信號(hào)處理器，其中一個(gè)與連接攝像頭的模數(shù)轉(zhuǎn)換器相連接，另ー個(gè)與連接麥克風(fēng)的模數(shù)轉(zhuǎn)換器相連接。其中連接麥克風(fēng)的數(shù)字信號(hào)處理器為對(duì)音頻信號(hào)進(jìn)行噪音抑制的芯片。因語(yǔ)音識(shí)別會(huì)識(shí)別使用者本身的語(yǔ)音特征，所以在嘈雜環(huán)境下不會(huì)錯(cuò)誤接收語(yǔ)首指令。以上實(shí)施例僅為說(shuō)明本實(shí)用新型的技術(shù)思想，不能以此限定本實(shí)用新型的保護(hù)范圍，凡是按照本實(shí)用新型提出的技術(shù)思想，在技術(shù)方案基礎(chǔ)上所做的任何改動(dòng)，均落入本實(shí)用新型的保護(hù)范圍之內(nèi)。
權(quán)利要求1.一種視覺(jué)跟蹤與語(yǔ)音識(shí)別的鼠標(biāo)系統(tǒng)，它包括麥克風(fēng)和攝像頭，其特征在于所述鼠標(biāo)系統(tǒng)還包括模數(shù)轉(zhuǎn)換器、數(shù)字信號(hào)處理器，所述數(shù)字信號(hào)處理器接有能與計(jì)算機(jī)主機(jī)進(jìn)行數(shù)據(jù)傳輸連接的通訊端口 ；所述攝像頭通過(guò)視頻接口接在模數(shù)轉(zhuǎn)換器上，所述攝像頭數(shù)為兩個(gè)。
2.根據(jù)權(quán)利要求I所述的視覺(jué)跟蹤與語(yǔ)音識(shí)別的鼠標(biāo)系統(tǒng)，其特征在于所述攝像頭的鏡頭上設(shè)有紅外LED燈，所述紅外LED燈的電路連接到攝像頭的電路板。
3.根據(jù)權(quán)利要求I或2所述的視覺(jué)跟蹤與語(yǔ)音識(shí)別的鼠標(biāo)系統(tǒng)，其特征在于所述的攝像頭分別安裝在顯示器上端的左右兩個(gè)角上。
專利摘要本實(shí)用新型公開了一種視覺(jué)跟蹤與語(yǔ)音識(shí)別的鼠標(biāo)系統(tǒng)，它包括麥克風(fēng)和攝像頭，所述鼠標(biāo)系統(tǒng)還包括模數(shù)轉(zhuǎn)換器、數(shù)字信號(hào)處理器，所述數(shù)字信號(hào)處理器接有能與計(jì)算機(jī)主機(jī)進(jìn)行數(shù)據(jù)傳輸連接的通訊端口；所述攝像頭通過(guò)視頻接口接在模數(shù)轉(zhuǎn)換器上，所述攝像頭數(shù)為兩個(gè)。本實(shí)用新型，結(jié)構(gòu)簡(jiǎn)單，通用性強(qiáng)，為人們使用計(jì)算機(jī)帶來(lái)了很大的方便。
文檔編號(hào)G06F3/16GK202533895SQ201120514820
公開日2012年11月14日 申請(qǐng)日期2011年12月12日 優(yōu)先權(quán)日2011年12月12日
發(fā)明者鞠怡明 申請(qǐng)人:蘇州科雷芯電子科技有限公司