本發(fā)明涉及語音識別控制技術(shù)，具體涉及多媒體教學(xué)中利用語音控制命令控制多媒體教室的硬件設(shè)備和教學(xué)輔助軟件。

背景技術(shù)：

如今的教學(xué)方式主流是多媒體教學(xué)，而在我們?nèi)粘５慕虒W(xué)當(dāng)中最為常用的就是PowerPoint這一輔助軟件。在很多時候，教師授課時需要脫離電教平臺，如在教師在黑板板書，這時教師若想要對幻燈片進行操作的話，通常情況下得回到計算機旁點擊鼠標(biāo)或者鍵盤來操作PowerPoint，這就造成授課的不便。本發(fā)明專利實現(xiàn)了語音控制PowerPoint的操作功能，使教師可以脫離電教平臺進行授課，同時可以用語音控制教學(xué)視頻或者音頻，從而達到教師教學(xué)的最佳效果。除此之外，還可以通過語音中間件對其他串口設(shè)備進行控制，例如教室LED燈光、空調(diào)、電動窗簾、投影儀等設(shè)備，實現(xiàn)語音控制設(shè)備智能化、一體化的目的。

專利“語音控制的PPT翻頁器，申請?zhí)?0140670519.6”發(fā)明了一種語音控制PPT翻頁器，教師可以通過語音對PPT進行翻頁操作，便于教師在上課環(huán)境中通過語音對PPT進行翻頁操作，但本發(fā)明功能教簡單，只能實現(xiàn)“上一頁”和“下一頁”的翻頁操作功能，無法實現(xiàn)全屏播放、首頁，末頁等更具體的功能；此外，該語音控制系統(tǒng)不具有控制設(shè)備的功能。

專利“語音控制視頻播放器的系統(tǒng)及其方法，申請?zhí)?01410016388.4”通過將視頻播放器和語音程序進行綁定，從而實現(xiàn)用語音控制視頻播放器快進、快退、音量控制及播放時間定位等功能。但該發(fā)明涉及的是具有語音程序功能的電視機，應(yīng)用范圍較小。且功能設(shè)計較簡單，無法實現(xiàn)其他電子設(shè)備的智能語音控制。

專利“一種用擴音器的語音輸入控制PPT演示軟件的方法，申請?zhí)?01310181711.9”采用帶有語音識別、訓(xùn)練、語音存儲功能的專用中央處理器、編制及調(diào)制無線發(fā)射模塊、無線接收解調(diào)模塊、USB接口控制模塊實現(xiàn)遠(yuǎn)程語音無線控制PPT演示軟件。但該發(fā)明中，實現(xiàn)語音無線控制PPT演示軟件需要依賴擴音器這一設(shè)備，若擴音器設(shè)備出現(xiàn)故障，則無法實現(xiàn)語音控制PPT演示軟件這一功能。且該發(fā)明不能做到直接用語音隨時控制PPT演示軟件，交互體驗較差。

上述發(fā)明中，語音控制裝置功能較單一，只能實現(xiàn)教學(xué)設(shè)備或者教學(xué)軟件中某一項特定的語音控制，無法實現(xiàn)更多實用、復(fù)雜的功能。同時，部分發(fā)明涉及的對象是具有語音程序功能的電視機，無法在多媒體教學(xué)實現(xiàn)語音智能控制。

技術(shù)實現(xiàn)要素：

本發(fā)明目的在于克服現(xiàn)有技術(shù)的不足，解決教師在多媒體課室進行教學(xué)活動時，受限于手動控制各種設(shè)備的問題。本發(fā)明專利通過網(wǎng)絡(luò)遠(yuǎn)程監(jiān)控，利用語音命令控制多媒體教室的硬件設(shè)備(空調(diào)、電燈、投影屏幕、學(xué)生主機等)和教學(xué)輔助軟件(PowerPoint、播放器、Author Ware等)。

為解決上述技術(shù)問題，本發(fā)明采用如下的技術(shù)方案：

一種語音數(shù)碼控制中間件，其特征在于，語音輸入設(shè)備通過音頻接口或者USB接口與上位計算機相連接，上位計算機通過網(wǎng)口與語音控制中間件相連接，語音控制中間件通過串口與控制應(yīng)用單元：空調(diào)、電動窗簾、燈光等相連接。語音控制中間件包括用于接收語音信號的語音輸入模塊；用于對輸入的語音信號進行識別，得到語音消息的語音識別模塊；用于根據(jù)語音消息控制PowerPoint開啟關(guān)閉等功能的語音PowerPoint控制模塊；用于根據(jù)語音消息控制多媒體開啟、關(guān)閉、快進、后退等功能的語音多媒體控制模塊；用于根據(jù)語音消息控制開啟關(guān)閉等功能的語音設(shè)備控制模塊。

所述的語音輸入模塊，其特征在于，由麥克風(fēng)對來自用戶發(fā)送的語音指令進行采樣，得到語音信號，將所述語音信號輸入語音中間件模塊。

所述的語音識別模塊，其特征在于，用于對所述輸入的語音信號進行識別，得到語音消息，并根據(jù)語音消息的內(nèi)容將之輸入到對應(yīng)的語音控制模塊。它包括以下幾個部分：

(1)PIC18F45J10集成單片機。本模塊通過串口通信技術(shù)從而實現(xiàn)上位計算機與PIC18F45J10單片機進行通信。

(2)語音識別程序。在本發(fā)明專利中，語音識別程序基于Microsoft Speech SDK進行設(shè)計和開發(fā)，包括以下主要過程：

初始化COM端口。調(diào)用CoInitializeEx函數(shù)進行COM初始化；

創(chuàng)建識別引擎；

創(chuàng)建識別上下文接口。調(diào)用ISpRecognizer：：CreateRecoContext函數(shù)創(chuàng)建識別上下文接口(ISpRecoContext)；

設(shè)置識別消息。調(diào)用SetNotifyWindowMessage函數(shù)；

設(shè)置感興趣的事件；

創(chuàng)建語法規(guī)則。先調(diào)用ISpRecoContext：：CreateGrammar函數(shù)創(chuàng)建語法對象，然后加載不同的語法規(guī)則，然后調(diào)用ISpRecoGrammar：：LoadCmdxxx加載語法；

獲取識別消息；

釋放創(chuàng)建的引擎、識別上下文對象、語法等。調(diào)用Release函數(shù)

(3)匹配數(shù)據(jù)字典XML命令實現(xiàn)。由于SDK提供的接口方法存在每次只能識別一次語音命令的局限，而本系統(tǒng)需要在長時間監(jiān)聽用戶的語音命令并且需要在監(jiān)聽命令的同時進行動作判斷，單線程的程序只能專注于語音命令監(jiān)聽或相應(yīng)動作標(biāo)記的檢測，所以在本設(shè)計中使用多線程與計時器相結(jié)合的方式解決系統(tǒng)的需求。

所述的語音PowerPoint控制模塊，其特征在于，本設(shè)計通過添加Microsoft PowerPoint類型庫msppt.olb，從而實現(xiàn)程序自動化操作PowerPoint，其中提供的可控制動作包括啟動\結(jié)束PowerPoint放映、翻到上一頁\下一頁、跳到上一步\下一步、翻到首頁\末頁等。具體實施過程為：當(dāng)語音識別程序識別特定的命令時，語音識別程序?qū)⑵漭斎氲秸Z音消息控制程序，語音消息控制程序根據(jù)消息的不同，從而進行相關(guān)PowerPoint控制功能，具體包括開啟、關(guān)閉、翻頁、全屏、隱藏、計時等功能。

所述的語音多媒體控制模塊，具體實現(xiàn)如下：

(1)在線程監(jiān)聽中獲取用戶指令；

(2)實現(xiàn)具體功能，本設(shè)計采取抓取播放器窗口句柄，發(fā)生虛擬按鍵進行控制，對多媒體進行開啟、關(guān)閉、快進、后退等控制操作。

所述的語音設(shè)備控制模塊，其特征在于，本模塊在Visual C++6.0集成開發(fā)環(huán)境中利用MSComm控件開發(fā)串口通信程序，實現(xiàn)計算機通過串口智能控制燈泡、電動窗簾、空調(diào)等功能。具體的功能包括設(shè)備開啟、關(guān)閉、增大控制量、減少控制量等功能。

附圖說明

圖1是本發(fā)明中語音數(shù)碼控制中間件的系統(tǒng)結(jié)構(gòu)示意圖。

圖2是本發(fā)明中語音數(shù)碼控制中間件各模塊實現(xiàn)的流程圖。

圖3是PIC18F45J10集成單片機與PC機的連接示意圖。

圖4是RS232串口接線圖。

圖5是基于Speech SDK涉及的語音識別流程圖。

圖6是多媒體播放器設(shè)計示意圖。

具體實施方式

下面結(jié)合附圖及具體實施例對本發(fā)明進行更加詳細(xì)與完整的說明?？梢岳斫獾氖?，此處所描述的具體實施例僅用于解釋本發(fā)明，而非對本發(fā)明的限定。

參見圖1，所述的語音數(shù)碼控制中間件裝置及系統(tǒng)包括語音輸入設(shè)備、上位計算機、語音控制中間件、控制應(yīng)用單元。

參見圖1，所述語音輸入設(shè)備1通過音頻接口或者USB接口與上位計算機2相連接，所述上位計算機2通過網(wǎng)口與語音控制中間件3相連接，所述語音控制中間件3通過串口與控制應(yīng)用單元：空調(diào)5、電動窗簾6、燈光7等相連接。

參見圖1，所述的語音控制中間件包括嵌入在PIC18F45J10集成單片機內(nèi)的語音輸入模塊、語音識別模塊、語音PPT控制模塊、語音多媒體控制模塊、語音設(shè)備控制模塊，其中：

參照圖2，所述語音輸入模塊接收來自上位計算機從網(wǎng)口發(fā)送的語音信號，將之輸入語音識別模塊，語音識別模塊將語音信號識別為語音消息。當(dāng)語音消息為PPT控制消息時，轉(zhuǎn)發(fā)至語音PPT控制模塊，實現(xiàn)對PPT開啟、關(guān)閉、翻頁、全屏、隱藏、計時等控制；當(dāng)語音消息為多媒體控制消息時，轉(zhuǎn)發(fā)至語音語音多媒體控制模塊，實現(xiàn)對多媒體播放器進行開啟、關(guān)閉、快進、后退等控制；當(dāng)語音消息為設(shè)備控制消息時，轉(zhuǎn)發(fā)至語音設(shè)備控制模塊，實現(xiàn)對燈泡、電動窗簾、空調(diào)等設(shè)備的開啟、關(guān)閉、增大控制量、減少控制量等控制。

所述的語音識別模塊用于對所述輸入的語音信號進行識別，得到語音消息，并根據(jù)語音消息的內(nèi)容將之輸入到對應(yīng)的語音控制模塊。

參照圖3，本模塊通過串口通信技術(shù)從而實現(xiàn)上位計算機與PIC18F45J10單片機進行通信。具體實現(xiàn)如下：

(1)PIC單片機連接線為三線控制接發(fā)；

(2)參照圖3、4，PIC單片機通過RXD與TXD連接，GND與GND連接，將單片機和PC機相連；

(3)利用單片機燒錄器將寫好的語音識別程序燒錄在PIC單片機上。

參照圖5，在本發(fā)明專利中，語音識別程序基于Microsoft Speech SDK進行設(shè)計和開發(fā)，具體實現(xiàn)如下：

(1)在Microsoft Speech SDK中利用命令識別模式，數(shù)字字典技術(shù)進行命令的編寫；

(2)Microsoft Speech SDK開發(fā)步驟：

初始化COM端口。一般在CWinApp的子類中，調(diào)用CoInitializeEx函數(shù)進行COM初始化；

創(chuàng)建識別引擎。微軟Speech SDK 5.1支持兩種模式的：共享(Share)和獨享(InProc)。一般情況下可以使用共享型，大的服務(wù)型程序使用InProc；

創(chuàng)建識別上下文接口。調(diào)用ISpRecognizer：：CreateRecoContext創(chuàng)建識別上下文接口(ISpRecoContext)；

設(shè)置識別消息。調(diào)用SetNotifyWindowMessage告訴Windows哪個是我們的識別消息，需要進行處理；

設(shè)置感興趣的事件；

創(chuàng)建語法規(guī)則。首先利用ISpRecoContext：：CreateGrammar創(chuàng)建語法對象，然后加載不同的語法規(guī)則，然后利用ISpRecoGrammar：：LoadCmdxxx加載語法；

獲取識別消息，進行處理。截獲識別消息(WM_RECOEVENT)，然后處理。識別的結(jié)果放在CSpEvent的ISpRecoResult中。

釋放創(chuàng)建的引擎、識別上下文對象、語法等。調(diào)用相應(yīng)的Release函數(shù)即可。

(3)匹配數(shù)據(jù)字典XML命令實現(xiàn)。由于SDK提供的接口方法存在每次只能識別一次語音命令的局限，而本系統(tǒng)需要在長時間監(jiān)聽用戶的語音命令并且需要在監(jiān)聽命令的同時進行動作判斷，單線程的程序只能專注于語音命令監(jiān)聽或相應(yīng)動作標(biāo)記的檢測，所以在本設(shè)計中使用多線程與計時器相結(jié)合的方式解決系統(tǒng)的需求。具體的設(shè)計如下：

線程函數(shù)：把初始化組件、創(chuàng)建語音引擎、加載數(shù)據(jù)字典、和監(jiān)聽用戶語音口令的代碼寫進線程函數(shù)中，當(dāng)用戶的口令與speech sdk后綴名為xml語法庫里面定義的語法相同時，則改變相應(yīng)的動作標(biāo)記(動作標(biāo)記為work)。

計時器函數(shù)：由于該軟件需要每時每刻的檢測用戶輸入的命令是否與語法里面相應(yīng)的語法是否對應(yīng)，所以在本設(shè)計的主線程中定義一個計時函數(shù)，定義相隔0.1s進行一次動作標(biāo)記的檢測從而調(diào)用相應(yīng)的函數(shù)，進行相應(yīng)的動作。

參照圖6，用于語音控制多媒體的是一個輔助的小軟件，不同于其他一般的運用程序，運用于教學(xué)時ppt播放、視頻播放等。當(dāng)頁面顯示1時，表示打開受控的PowerPoint演示文稿；當(dāng)頁面顯示2時，顯示當(dāng)前是監(jiān)聽狀態(tài)；當(dāng)頁面顯示3時，顯示當(dāng)前接受到的語音命令；當(dāng)頁面顯示4時，表示在放映演示文稿時可進行計時或使用語音命令切換顯示當(dāng)前系統(tǒng)時間；當(dāng)頁面顯示5時，顯示當(dāng)前系統(tǒng)音量，也可通過語音命令或手動方式調(diào)節(jié)。