一種基于鼠標(biāo)的語音識(shí)別人機(jī)交互裝置及其方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)輸入輸出設(shè)備，尤其涉及一種基于鼠標(biāo)的語音識(shí)別人機(jī)交互裝置及其方法。
【背景技術(shù)】
[0002]鼠標(biāo)發(fā)明到現(xiàn)在已經(jīng)有幾十年歷史，其作為一種計(jì)算機(jī)的人機(jī)交互設(shè)備被廣泛應(yīng)用，現(xiàn)在市場(chǎng)上的鼠標(biāo)基本功能是用來控制光標(biāo)移動(dòng)，和實(shí)現(xiàn)一些簡(jiǎn)單按鍵功能，例如左鍵、右鍵、滾輪等，這些嚴(yán)重限制了鼠標(biāo)的人機(jī)交互能力，所以人們開始設(shè)計(jì)一些具備更多功能的鼠標(biāo)。具備語音識(shí)別能力的鼠標(biāo)一直是人們夢(mèng)想的，在很多發(fā)明專利里面也提出相關(guān)設(shè)計(jì)方案。主要概況起來有三大類:一是利用語音識(shí)別技術(shù)來實(shí)現(xiàn)鼠標(biāo)的功能，解決一些殘疾人無法用手操作鼠標(biāo)的問題，該方案不是提升鼠標(biāo)功能，是替代鼠標(biāo)操作方式。二是在鼠標(biāo)上集成語音識(shí)別處理模塊，依賴鼠標(biāo)上的語音識(shí)別處理模塊實(shí)現(xiàn)語音識(shí)別，從而達(dá)到語音控制計(jì)算機(jī)和鼠標(biāo)的目的，由于語音識(shí)別模塊本身計(jì)算能力限制，不能實(shí)現(xiàn)復(fù)雜的語音識(shí)別算法，在識(shí)別準(zhǔn)確率率和識(shí)別范圍方面都受到嚴(yán)重限制，在識(shí)別結(jié)果的二次處理方面也未提及，這也嚴(yán)重限制了用戶的語音交互效果。三是利用語音識(shí)別技術(shù)跟其它交互技術(shù)融合解決人機(jī)交互問題，例如:基于視覺跟蹤和語音識(shí)別結(jié)合的方案(專利號(hào):ZL200710039996.7)，在該專利里重點(diǎn)提到了如何利用視覺跟蹤和語音識(shí)別結(jié)合實(shí)現(xiàn)鼠標(biāo)控制的功能，語音識(shí)別也僅限制于“左鍵單機(jī)”、“右鍵單機(jī)”、“左鍵雙擊”等基本的功能，語音識(shí)別率也不是很高，只有86%，其在語音識(shí)別方面的研宄不夠深入，具體如何應(yīng)用語音識(shí)別方面更沒有詳細(xì)介紹。

【發(fā)明內(nèi)容】

[0003]本發(fā)明要解決的技術(shù)問題是現(xiàn)有的鼠標(biāo)集成語音技術(shù)功能單一、識(shí)別準(zhǔn)確率低、識(shí)別范圍窄、人機(jī)交互的復(fù)雜度較高，交互效率較低，為此提供一種基于鼠標(biāo)的語音識(shí)別人機(jī)交互裝置及其方法。
[0004]本發(fā)明的技術(shù)方案是:一種基于鼠標(biāo)的語音識(shí)別人機(jī)交互裝置，它包括語音采集功能的鼠標(biāo)和集成語音識(shí)別處理能力的鼠標(biāo)驅(qū)動(dòng)程序，所述鼠標(biāo)內(nèi)集成有鼠標(biāo)芯片、語音識(shí)別按鍵、麥克風(fēng)、語音編解碼模塊和LED指示燈，所述鼠標(biāo)芯片和語音編解碼模塊通過USB HUB芯片/RF芯片與計(jì)算機(jī)內(nèi)的鼠標(biāo)驅(qū)動(dòng)程序通信，所述鼠標(biāo)驅(qū)動(dòng)程序包括離線命令詞語音識(shí)別模塊、離線隨意語音轉(zhuǎn)寫模塊、在線隨意語音轉(zhuǎn)寫模塊、語音識(shí)別引擎自動(dòng)選擇模塊、語義理解模塊和計(jì)算機(jī)操作控制模塊。
[0005]一種基于鼠標(biāo)的語音識(shí)別人機(jī)交互的方法，它包括以下步驟:(1)、在鼠標(biāo)內(nèi)集成的麥克風(fēng)實(shí)時(shí)采集語音信息，采集到的語音通過語音編解碼模塊處理后上傳至計(jì)算機(jī)，計(jì)算機(jī)內(nèi)安裝的鼠標(biāo)驅(qū)動(dòng)程序?qū)崟r(shí)接收語音信息；(2)、鼠標(biāo)驅(qū)動(dòng)程序同時(shí)檢測(cè)鼠標(biāo)上的語音識(shí)別按鍵，當(dāng)按鍵按下時(shí)，鼠標(biāo)驅(qū)動(dòng)程序啟動(dòng)錄音功能，LED指不燈殼，松開語音識(shí)別按鍵時(shí)，錄音結(jié)束；(3)、在啟動(dòng)錄音功能同時(shí)啟動(dòng)語音識(shí)別引擎自動(dòng)選擇模塊，根據(jù)特定的邏輯完成離線命令詞模塊、離線隨意語音轉(zhuǎn)寫識(shí)別模塊、在線隨意語音轉(zhuǎn)寫模塊之間的自動(dòng)選擇，具體選擇邏輯如下:首先判斷是否有文本輸入的光標(biāo)聚焦，如無，則直接啟動(dòng)離線命令詞識(shí)別模塊，如有，判斷是否計(jì)算機(jī)在線，離線時(shí)，啟動(dòng)離線隨意語音轉(zhuǎn)寫模塊，在線時(shí)，啟動(dòng)在線隨意語音轉(zhuǎn)寫模塊；如果有文本輸入光標(biāo)聚焦時(shí)，啟動(dòng)離線命令詞語音識(shí)別模塊，同時(shí)啟動(dòng)在線或者離線隨意語音轉(zhuǎn)寫模塊，獲得兩個(gè)識(shí)別結(jié)果返回值，再判斷離線命令詞語音識(shí)別模塊返回的置信度，根據(jù)置信度判斷，當(dāng)置信度高于設(shè)定的預(yù)值時(shí)，則將離線命令詞語音識(shí)別模塊返回值作為我們的結(jié)果，并完成計(jì)算機(jī)控制操作；當(dāng)置信度低于設(shè)定的預(yù)值時(shí)，則將在線或者離線隨意語音轉(zhuǎn)寫作為我們的結(jié)果，并完成文本輸入；(4)、在完成錄音和語音識(shí)別引擎自動(dòng)選擇模塊選擇后，將錄音信息提交給離線命令詞語音識(shí)別模塊，返回識(shí)別結(jié)果，LED燈熄滅；(5)、對(duì)識(shí)別結(jié)果進(jìn)行置信度判斷，判斷置信度是否達(dá)到我們?cè)O(shè)置的門限，如果高于門限值，啟動(dòng)語義理解模塊對(duì)識(shí)別結(jié)果進(jìn)行分析處理，根據(jù)分析結(jié)果啟動(dòng)計(jì)算機(jī)控制模塊完成計(jì)算機(jī)控制操作；(6)、如果低于設(shè)置的門限值，啟動(dòng)文本輸入功能，完成信息輸入，如果沒有文本輸入光標(biāo)聚焦，放棄識(shí)別結(jié)果，不做任何操作。
[0006]上述方案中鼠標(biāo)和計(jì)算機(jī)之間是有線或無線連接。
[0007]本發(fā)明的有益效果是提供了既具備傳統(tǒng)鼠標(biāo)功能又實(shí)現(xiàn)高性能語音識(shí)別功能的鼠標(biāo)產(chǎn)品。集成了多種語音識(shí)別功能，通過語音命令詞控制計(jì)算機(jī)，識(shí)別準(zhǔn)確率達(dá)到95%以上，通過在線語音識(shí)別實(shí)現(xiàn)隨意文本輸入，識(shí)別范圍大幅擴(kuò)大，識(shí)別準(zhǔn)確率平均超過85%。通過該發(fā)明可以大大降低語音識(shí)別應(yīng)用的使用門檻，并成為計(jì)算機(jī)輸入輸出方式的重要補(bǔ)充。通過本發(fā)明可以充分發(fā)揮語音識(shí)別交互技術(shù)的優(yōu)勢(shì)特點(diǎn)，降低人機(jī)交互的復(fù)雜度，提高人機(jī)交互效率。
【附圖說明】
[0008]圖1是本發(fā)明整體示意圖；
圖2是本發(fā)明硬件框圖；
圖3是本發(fā)明鼠標(biāo)驅(qū)動(dòng)程序框圖；
圖4是本發(fā)明鼠標(biāo)驅(qū)動(dòng)程序流程圖。
【具體實(shí)施方式】
[0009]下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步說明。
[0010]如圖1所示，本發(fā)明包括鼠標(biāo)和鼠標(biāo)驅(qū)動(dòng)程序兩大部分，首先鼠標(biāo)和鼠標(biāo)驅(qū)動(dòng)程序保留傳統(tǒng)鼠標(biāo)要求的構(gòu)成和功能，鼠標(biāo)和計(jì)算機(jī)之間可以是有線或無線連接。在此基礎(chǔ)上，本發(fā)明對(duì)其進(jìn)行了創(chuàng)新設(shè)計(jì)。鼠標(biāo)上，本發(fā)明增加了語音控制按鍵、聲音采集麥克風(fēng)、音頻編解碼模塊以及LED指示燈。在鼠標(biāo)驅(qū)動(dòng)程序上，本發(fā)明增加了離線命令詞語音識(shí)別模塊、離線隨意語音轉(zhuǎn)寫模塊、在線隨意語音轉(zhuǎn)寫模塊、語音識(shí)別引擎自動(dòng)選擇模塊、語義理解模塊和計(jì)算機(jī)操作控制模塊等。
[0011]如圖2所示，本發(fā)明硬件包括語音按鍵、鼠標(biāo)芯片、LED指示燈、鼠標(biāo)其它功能鍵、采集語音麥克風(fēng)、語音編解碼芯片、USB HUB芯片/RF芯片等部分組成。
[0012]語音按鍵:用來啟動(dòng)語音識(shí)別的專用按鍵，按下該按鍵，開始采集語音，松開按鍵結(jié)束語音采集。
[0013]鼠標(biāo)芯片:主要用來實(shí)現(xiàn)鼠標(biāo)傳統(tǒng)功能，檢測(cè)鼠標(biāo)移動(dòng)，檢查各按鍵，控制指示燈，并跟驅(qū)動(dòng)程序之間進(jìn)行數(shù)據(jù)交互。
[0014]LED指示燈:主要功能是指示識(shí)別狀態(tài)，開始語音采集，指示燈亮，返回識(shí)別結(jié)果，指示燈滅。
[0015]鼠標(biāo)其它功能鍵:主要指左鍵、右鍵、滾輪等。
[0016]采集語音麥克風(fēng):本方案中可以采用駐極體麥克風(fēng)或者硅麥作為采集語音麥克風(fēng)。
[0017]音頻編解碼模塊:主要用來實(shí)現(xiàn)音頻模數(shù)轉(zhuǎn)換和壓縮編碼功能。
[0018]USB HUB芯片/RF芯片:根據(jù)鼠標(biāo)是USB有線鼠標(biāo)還是RF無線鼠標(biāo)進(jìn)行適當(dāng)選擇，實(shí)現(xiàn)鼠標(biāo)跟計(jì)算機(jī)之間的通訊問題。
[0019]如果3所示，本發(fā)明的鼠標(biāo)驅(qū)動(dòng)程序處理語音數(shù)據(jù)框圖，鼠標(biāo)收到音頻數(shù)據(jù)后，首先啟動(dòng)識(shí)別引擎自動(dòng)選擇模塊，判斷啟動(dòng)哪個(gè)語音識(shí)別模塊最合適用戶的需求，再啟動(dòng)語義理解模塊分析用戶意圖，最后啟動(dòng)計(jì)算機(jī)控制模塊完成計(jì)算機(jī)控制或文本輸入。
[0020]離線命令詞識(shí)別模塊:指針對(duì)預(yù)置的特點(diǎn)詞語的語音識(shí)別。離線命令詞識(shí)別的優(yōu)點(diǎn)是:占用資源低，識(shí)別速度快，識(shí)別準(zhǔn)確率高，不依賴網(wǎng)絡(luò)。缺點(diǎn)是:識(shí)別范圍小，要求用戶嚴(yán)格按照命令詞說語音。
[0021]離線隨意語音轉(zhuǎn)寫模塊:指針對(duì)特定范圍的隨意語音識(shí)別轉(zhuǎn)寫，不依賴網(wǎng)絡(luò)工作。優(yōu)點(diǎn)是，不依賴網(wǎng)絡(luò)，用戶可以隨意說口語，不限制用戶