像處理模塊、網(wǎng)絡模塊都安置在手表主體的封閉體內(nèi)部。其中麥克風、揚聲器與語音處理模塊相連接，以模擬信號作通信方式；攝像頭104與圖像處理模塊相連接，以數(shù)字信號作通信方式；激光發(fā)射器與嵌入式微處理器、光圈調(diào)節(jié)旋鈕相連接，嵌入式微處理器以電平輸出控制激光發(fā)射器的開關，光圈調(diào)節(jié)旋鈕用機械方式控制激光發(fā)射器的發(fā)射光圈的寬度；顯示屏103與嵌入式微處理器模塊相連接，以數(shù)字信號作通信方式；嵌入式微處理器模塊與圖像處理模塊、語音處理模塊、網(wǎng)絡模塊之間進行串口通信。
[0046]圖像處理模塊可以識別攝像范圍內(nèi)的矩形光圈，并采用OCR文字識別技術對矩形光圈圈取的區(qū)域進行文字或圖片等內(nèi)容的智能識別。
[0047]語音處理模塊可以根據(jù)上述智能識別的結(jié)果或網(wǎng)絡搜索結(jié)果，采用TTS技術進行語音合成，通過揚聲器播放相應的語音結(jié)果。
[0048]語音處理模塊可以捕獲并識別用戶發(fā)出的固定的語音控制命令和對用戶播放固定的語音回復。所述固定的語音控制命令和固定的語音回復由系統(tǒng)預先設置。
[0049]語音處理模塊可以記錄用戶的語音信息并存儲下來，也可以播放記錄的語音信息。
[0050]網(wǎng)絡模塊可以接入WIFI網(wǎng)絡，當嵌入式微處理器模塊調(diào)用網(wǎng)絡搜索函數(shù)時，將指定內(nèi)容的搜索請求發(fā)送至局域網(wǎng)或互聯(lián)網(wǎng)數(shù)據(jù)庫服務器，并接收返回的搜索結(jié)果。
[0051]嵌入式微處理器模塊內(nèi)嵌嵌入式微處理器，負責綜合調(diào)控各模塊通信與工作時序，調(diào)用各個模塊，處理數(shù)據(jù)等。嵌入式微處理器模塊實時通過顯示屏103顯示當前的時鐘和工作狀態(tài)。
[0052]如圖3所示，為本發(fā)明基于語音控制的點讀手表的點讀方法流程圖，該點讀手表使用語音控制的交互方式:語音處理模塊通過麥克風實時捕獲用戶的語音輸入信息，對語音輸入信息進行降噪處理后，根據(jù)關鍵字識別出固定的語音控制指令，并將語音控制指令發(fā)送到嵌入式微處理器模塊；嵌入式微處理器模塊根據(jù)語音控制指令轉(zhuǎn)化為相應的控制指令，調(diào)用對應的操作函數(shù)或模塊；嵌入式微處理器模塊也可以發(fā)送語音回復指令到語音處理模塊，命令語音處理模塊通過揚聲器對用戶播放固定的語音回復；實現(xiàn)了語音控制的智能交互。
[0053]語音處理模塊對語音輸入信息的降噪處理利用抵消原理，使用主動降噪的方法。具體地實現(xiàn)可以采用兩個麥克風:一個用于捕獲用戶的語言信息，另一個麥克風物理主動消除噪音，通過采集外界的聲音，經(jīng)過處理后發(fā)出與噪聲相反的聲波，利用抵消原理消除噪聲。
[0054]語音處理模塊的語音識別算法為基于HMM模型的語音識別系統(tǒng)，該語音識別系統(tǒng)的實現(xiàn)分為兩部分，第一部分為HMM模型的訓練:
[0055](I)采集訓練語音信息。訓練語音由制作人員錄制，語音為語音控制指令的詞匯，屬于特定人的聲音樣本；
[0056](2)經(jīng)數(shù)據(jù)采樣后使用MFCC算法提取特定人的指令詞匯的特征參數(shù)；
[0057](3)使用上一步提取的特征參數(shù)進行HMM模型的訓練，并得到指令詞匯集模型。
[0058]第二部分為算法的識別部分:
[0059]A、采集用戶語音信號?？梢允菢颖居柧毴艘部蔀榉菢颖居柧毴说匿浺?；
[0060]B、經(jīng)數(shù)據(jù)采樣后使用MFCC算法提取用戶的詞匯的特征參數(shù)；
[0061]C、使用上一步提取的特征參數(shù)進行HMM識別，與第一部分的指令模型進行匹配，得出識別的語音控制指令結(jié)果。
[0062]如圖3所示，本發(fā)明基于語音控制的點讀手表的點讀方在語音控制后還包括以下步驟:
[0063]步驟1、用戶發(fā)出語音控制命令執(zhí)行點讀的操作。本系統(tǒng)的命令都是固定的語音控制命令，由本系統(tǒng)預先設置，例如執(zhí)行點讀操作的命令可以為“Begin”。
[0064]步驟2、激光發(fā)射器105發(fā)射光線，在平面上形成矩形的光圈，用戶通過移動手表和旋動光圈調(diào)節(jié)旋鈕106，使光圈圈取需要點讀的內(nèi)容。
[0065]步驟3、用戶發(fā)出確認命令，例如“0K”，圖像處理模塊通過攝像頭104獲得矩形區(qū)域內(nèi)文字或圖片等內(nèi)容。
[0066]步驟4、圖像處理模塊通過OCR文字識別技術識別上述所獲得的內(nèi)容，解析出文本并發(fā)送給嵌入式微處理器模塊。
[0067]步驟5、嵌入式微處理器模塊把文本發(fā)送給語音處理模塊；語音處理模塊根據(jù)文本進行TTS語音合成，通過揚聲器播放相應的語音結(jié)果，完成點讀的操作。
[0068]步驟6、用戶可以對上述點讀內(nèi)容作進一步操作。若需要通過互聯(lián)網(wǎng)作知識拓展，用戶可以發(fā)出語音控制命令執(zhí)行網(wǎng)絡搜索的操作，例如“Search”，執(zhí)行步驟7 ;若需要跟讀，用戶可以發(fā)出語音控制命令執(zhí)行跟讀的操作，例如“Repeat”，進入步驟9。
[0069]步驟7、網(wǎng)絡模塊接入網(wǎng)絡搜索與該內(nèi)容相關的內(nèi)容，過濾不需要的內(nèi)容，將搜索結(jié)果的文本返回給嵌入式微處理器模塊。
[0070]步驟8、嵌入式微處理器模塊把文本發(fā)送給語音處理模塊；語音處理模塊根據(jù)文本進行TTS語音合成，通過揚聲器播放相應的語音結(jié)果，完成網(wǎng)絡搜索的操作。
[0071]步驟9、語音處理模塊再一次播放點讀內(nèi)容后，開始記錄用戶的語音信息并存儲下來。用戶可以再次執(zhí)行跟讀的操作，說出“R印eat”，則重復步驟9。用戶也可以發(fā)出語音控制命令執(zhí)行自檢的操作，例如“My Voice”，語音處理模塊播放剛剛記錄的語音信息，讓用戶聽到自己的跟讀的聲音。
[0072]本發(fā)明基于語音控制的點讀手表在用戶執(zhí)行點讀的操作時，配合攝像頭和激光發(fā)射器發(fā)射的矩形光圈對用戶圈取的內(nèi)容進行OCR文字識別，識別后的文本內(nèi)容將進行TTS語音合成并播放給用戶聽。用戶既可以通過聯(lián)網(wǎng)進一步了解關于圈取內(nèi)容的更多信息，也可以進行跟讀練習。本發(fā)明滿足了用戶對任意圖書的點讀需求，提高操作便利性，而且能夠隨時攜帶。
[0073]上述實施例為本發(fā)明較佳的實施方式，但本發(fā)明的實施方式并不受上述實施例的限制，其他的任何未背離本發(fā)明的精神實質(zhì)與原理下所作的改變、修飾、替代、組合、簡化，均應為等效的置換方式，都包含在本發(fā)明的保護范圍之內(nèi)。
【主權項】
1.一種基于語音控制的點讀手表，其特征在于，包括手表本體和表帶；所述手表本體包括表殼、顯示屏、攝像頭、激光發(fā)射器、光圈調(diào)節(jié)旋鈕、麥克風、揚聲器和內(nèi)部處理單元；所述內(nèi)部處理單元包括嵌入式微處理器模塊、圖像處理模塊、語音處理模塊和網(wǎng)絡模塊；所述表帶用于將手表主體佩戴在用戶的手腕上；顯示屏安置在表殼上，與表殼共同構(gòu)成封閉的手表主體；攝像頭安置在表殼有表帶側(cè)的邊沿；激光發(fā)射器安置在攝像頭旁；光圈調(diào)節(jié)旋鈕安置在表殼無表帶側(cè)的邊沿；麥克風、揚聲器、內(nèi)部處理單元安置在手表主體的封閉體內(nèi)部；麥克風、揚聲器與語音處理模塊相連接，以模擬信號作通信方式；攝像頭與圖像處理模塊相連接，以數(shù)字信號作通信方式；激光發(fā)射器與嵌入式微處理器、光圈調(diào)節(jié)旋鈕相連接，嵌入式微處理器以電平輸出控制激光發(fā)射器的開關，光圈調(diào)節(jié)旋鈕用機械方式控制激光發(fā)射器的發(fā)射光圈的寬度；顯示屏與嵌入式微處理器模塊相連接，以數(shù)字信號作通信方式；嵌入式微處理器模塊與圖像處理模塊、語音處理模塊、網(wǎng)絡模塊之間進行串口通信。2.根據(jù)權利要求1所述的基于語音控制的點讀手表，其特征在于，所述點讀手表使用語音控制的交互方式:語音處理模塊通過麥克風實時捕獲用戶的語音輸入信息，對語音輸入信息進行降噪處理后，根據(jù)關鍵字識別出固定的語音控制指令，并將語音控制指令發(fā)送到嵌入式微處理器模塊；嵌入式微處理器模塊根據(jù)語音控制指令轉(zhuǎn)化為相應的控制指令，調(diào)用對應的操作函數(shù)或模塊；嵌入式微處理器模塊也可以發(fā)送語音回復指令到語音處理模塊，命令語音處理模塊通過揚聲器對用戶播放固定的語音回復；實現(xiàn)了語音控制的智能交互。3.—種應用于權利要求1所述的基于語音控制的點讀手表的點讀方法，其特征在于，包括以下步驟: (1)用戶發(fā)出語音控制命令執(zhí)行點讀的操作； (2)用戶移動手表使光圈圈取需點讀的內(nèi)容； (3)圖像處理模塊對矩形光圈圈取的區(qū)域進行智能識別，生成文本； (4)語音處理模塊根據(jù)文本進行TTS語音合成，播放相應的點讀內(nèi)容； (5)用戶可以對點讀內(nèi)容作進一步操作。4.根據(jù)權利要求3所述的基于語音控制的點讀手表的點讀方法，其特征在于，所述步驟(5)包括以下步驟: (a)用戶發(fā)出語音控制命令對上述點讀內(nèi)容作進一步操作:執(zhí)行網(wǎng)絡搜索的操作進入步驟(b)，執(zhí)行跟讀的操作進入步驟(d); (b)網(wǎng)絡模塊接入網(wǎng)絡搜索與該內(nèi)容相關的內(nèi)容，返回搜索結(jié)果的文本； (c)語音處理模塊根據(jù)文本進行TTS語音合成，播放相應的點讀內(nèi)容； (d)語音處理模塊再一次播放點讀內(nèi)容后，開始記錄用戶的語音信息并存儲下來；如果用戶要再次執(zhí)行跟讀的操作，則重復本步驟；如果用戶要發(fā)出語音控制命令執(zhí)行自檢的操作，則語音處理模塊播放剛剛記錄的語音信息，讓用戶聽到自己的跟讀的聲音。
【專利摘要】本發(fā)明公開一種基于語音控制的點讀手表，包括手表本體和表帶；本發(fā)明還公開了一種應用于所述的基于語音控制的點讀手表的點讀方法，包括以下步驟：(1)用戶發(fā)出語音控制命令執(zhí)行點讀的操作；(2)用戶移動手表使光圈圈取需點讀的內(nèi)容；(3)圖像處理模塊對矩形光圈圈取的區(qū)域進行智能識別，生成文本；(4)語音處理模塊根據(jù)文本進行TTS語音合成，播放相應的點讀內(nèi)容；(5)用戶可以對點讀內(nèi)容作進一步操作。具有既滿足了用戶對任意圖書的點讀需求，也使用戶在學習中更加方便地執(zhí)行點讀的操作等優(yōu)點。
【IPC分類】G06F3/01, G10L15/26
【公開號】CN105224073
【申請?zhí)枴緾N201510541016
【發(fā)明人】阮嘉偉, 黃中一, 徐向民
【申請人】華南理工大學
【公開日】2016年1月6日
【申請日】2015年8月27日