專利名稱：一種窗簾的智能手勢和語音控制系統(tǒng)及其控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及窗簾控制裝置，具體涉及ー種窗簾的智能手勢和語音控制系統(tǒng)及其控制方法。
背景技術(shù)：
窗簾是現(xiàn)代家居中必不可少的家居用品，隨著生活水平的提高和智能家居的普及，人們希望窗簾也能成為智能家居人機交互的一部分，對窗簾控制智能化的要求也越來越高。目前，較新的控制窗簾的技術(shù)主要是紅外遙控、亮度與溫度控制、聲控等，它們各自都存在缺點，實際操作起來不理想。經(jīng)查詢，專利公開號為CN2899646的具有紅外線控制傳動裝置的智能窗簾，讓使用者無法擺脫遙控器的束縛，且容易與家中其它眾多遙控器混淆，專利公開號為CN201210241的帶光敏電阻的光控智能窗簾和公開號為CN101976090A的智能 窗簾，對安裝環(huán)境的要求高，當其安裝在ー些長期環(huán)境不變的地方時無法發(fā)揮智能作用，專利公開號為CN202234681U的聲控窗簾,根據(jù)現(xiàn)有的語音識別技術(shù),該聲控窗簾對使用者的普通話水平要求高，且不適用于有語言阻礙者的家庭使用。為了克服現(xiàn)有智能窗簾的不足，本發(fā)明提供ー種使用手勢和語音結(jié)合控制窗簾的裝置。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)存在的上述不足，提供一種窗簾的智能手勢和語音控制系統(tǒng)及其控制方法，具體技術(shù)方案如下。一種窗簾的智能手勢和語音控制系統(tǒng)，包括手勢采集単元、語音采集単元、識別単元、外接設(shè)備單元；手勢采集単元和語音采集單元并行接到識別單元，識別單元將輸出控制信息給外接設(shè)備單元；所述圖像采集單元主要由安裝在窗簾上部的攝像頭組成，攝像頭采集窗簾前一定區(qū)域內(nèi)用戶的手勢圖像，并將采集到的圖像傳輸?shù)阶R別單元的手勢控制接ロ ；語音采集單元主要由分別安裝在窗簾兩側(cè)的麥克風組成，通過麥克風采集用戶發(fā)出的語音指令，并將采集到的語音指令傳輸?shù)阶R別單元的語音控制接ロ。上述的窗簾的智能手勢和語音控制系統(tǒng)中，識別單元實現(xiàn)的功能包括手勢識別、語音識別和多通道整合，其中，手勢識別是對攝像頭采集到的用戶手勢圖像進行識別，語音識別是對麥克風采集的用戶語音指令進行識別，多通道整合是對手勢識別和語音識別的判斷結(jié)果進行整合。上述的窗簾的智能手勢和語音控制系統(tǒng)中，外接設(shè)備單元包括控制器、驅(qū)動電機和顯不器。所述控制器，用于將多通道整合結(jié)果輸出的用戶指令轉(zhuǎn)為硬件的中斷指令，輸出到驅(qū)動電機；所述驅(qū)動電機，用于根據(jù)控制器傳輸?shù)闹袛嘀噶顚Υ昂熅磔S進行驅(qū)動，窗簾卷軸帶動窗簾上的滾輪實現(xiàn)對窗簾的拉伸控制；所述的顯示器，用于向用戶顯示任務(wù)的完成情況和窗簾的開閉狀態(tài)以及窗簾的打開程度。上述一種窗簾的智能手勢和語音控制系統(tǒng)的控制方法，具體是分別對采集到的手勢圖像和語音指令進行手勢識別和語音識別，控制器根據(jù)手勢識別過程或語音識別過程的判斷結(jié)果獨立地對窗簾進行控制或根據(jù)手勢識別過程和語音識別過程的判斷整合結(jié)果對窗簾進行控制；所述控制包括對窗簾的打開、閉合或指定打開程度的控制。上述控制方法中，所述手勢識別過程包括將采集的圖像進行預(yù)處理，去除圖像冗余信息，平滑和濾波；對預(yù)處理后的圖像進行檢測，將檢測到的手勢區(qū)域和背景區(qū)域分離；將分離后的手勢圖像提取手勢的特征值；
對提取的特征值實現(xiàn)訓練和分類識別，將特征值與手勢數(shù)據(jù)庫中的相應(yīng)手勢進行匹配，得到識別結(jié)果；根據(jù)識別結(jié)果輸出控制信息流。上述控制方法中，所述語音識別過程包括采集大量的語音數(shù)據(jù)組成語料庫；對采集到不平穩(wěn)的語音信號進行處理，使其變成簡短而平穩(wěn)的隨機過程；提取每ー個簡短信號的多維特征向量；
在對語料庫中訓練句子進行特征提取之后，就開始進行聲學建模工作，即利用語音多維特征向量進行聲學模型訓練。再在語法和語義的層面上結(jié)合語言的規(guī)則建立語言模型，即在給出固定的詞序列的前提下，設(shè)定每ー個詞序列與其前面所有詞序列的相關(guān)性，從而排除某些不期望的詞序列，輔助聲學模型構(gòu)成完整的詞網(wǎng)絡(luò)，提高在模型庫中搜索的效率；在模型庫中根據(jù)已經(jīng)建立的詞網(wǎng)絡(luò)中找到最佳路徑，得到識別結(jié)果；根據(jù)識別結(jié)果輸出控制信息流。上述控制方法中，所述手勢數(shù)據(jù)庫是通過采集大量的手勢正負樣本進行特征值提取和分類訓練后所建立的。上述控制方法中，所述模型庫是通過構(gòu)建控制窗簾所需要的語料庫，對語料庫中的語音數(shù)據(jù)進行預(yù)處理和特征提取后，進行聲學建模訓練，再結(jié)合語法和語義組成的。與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點和技術(shù)效果(I)本發(fā)明智能化程度高，與用戶的交互方式自然，在使用本發(fā)明時，既無需用戶親自去拉動窗簾，也不需為窗簾添加ー個實體遙控器，，用戶只需要在窗簾面前ー個可控范圍內(nèi)用手做出對應(yīng)的手勢，或者指著窗簾發(fā)出語音指令，即可以輕松控制窗簾。(2)本發(fā)明兼顧多種特殊情況，對于行動不便者可以單獨使用語音控制功能，而對于普通話障礙者可以單獨使用手勢控制功能，非常利于有老人、小孩或者殘疾人的家庭。(3)本發(fā)明可以讓用戶自由選擇手勢或者語音控制窗簾，控制方式簡單、直接，使窗簾更加人性化，充分體現(xiàn)了現(xiàn)代智能家居的特點。


圖I為窗簾的智能手勢和語音控制系統(tǒng)框架圖。圖2為手勢識別流程圖。
圖3為語音識別流程圖。圖4為左ー右隱馬爾可夫模型。圖5為多通道整合圖。
具體實施例方式以下結(jié)合附圖對本發(fā)明的具體實施作進ー步說明，但本發(fā)明的實施和保護不限于此。本發(fā)明提供一種窗簾的智能手勢和語音控制系統(tǒng)，該裝置包括手勢采集単元、語音采集單元、識別單元、外接設(shè)備單元。如圖I所示，手勢采集単元和所述語音采集單元并行連接識別單元的圖像和語音輸入接ロ，所述識別單元連接外接設(shè)備單元。其中，手勢識別用于對采集的有效用戶手勢圖像進行實時跟蹤手掌的移動情況，并對手勢圖像進行識別判斷，語音識別用于接收用戶發(fā)出的語音指令，對語音進行識別判斷，分別將手勢和語音的 識別判斷結(jié)果進行多通道整合，將整合后的信息分別傳遞給外接設(shè)備單元的控制器和顯示器，再由控制器作用于驅(qū)動電機，使其對窗簾的卷軸進行啟動、停止控制，并且將窗簾的狀態(tài)及時反饋到顯示器上。如圖2所示，手勢識別的過程圖像預(yù)處理、手勢檢測和區(qū)域分割、特征提取、手勢識別和結(jié)果輸出。在啟動系統(tǒng)后，通過攝像頭采集窗簾前用戶的手勢圖像后進行A/D轉(zhuǎn)換，將數(shù)據(jù)傳輸?shù)阶R別單元的接ロ，。所采集的圖像由于光照、環(huán)境原因，可能會存在噪點，為減小圖像在區(qū)域分割時產(chǎn)生的誤差，首先對采集的圖像進行圖像預(yù)處理，采用圖像均值濾波對圖像進行平滑濾波，以NXN (模板大小)均值濾波模板對圖像中的每ー個像素點的值f(i，j)進行處理，得到新的像素點值r(i，j)ΣΣ
/(/ /)_ —NxN—手勢檢測和區(qū)域分割用于對所述的預(yù)處理后的圖像檢測是否存在手勢，考慮到復(fù)雜背景和周圍環(huán)境光線的變化，對采集的圖像進立YCrCb顔色空間模型，基于膚色聚類特征和對光照的不敏感，將采集的三個通道彩色圖像的數(shù)據(jù)利用膚色的特征信息，采用閾值設(shè)置的方法，分別根據(jù)三個通道值將背景和目標區(qū)域先后進行粗分割和細分割，得到ニ值化圖像，實現(xiàn)復(fù)雜背景下的膚色分割。特征提取即用于對所述的ニ值化后的手勢圖像采用梯度方向直方圖(histogramsof oriented gradient, HOG)方法提取手勢特征,具體步驟如下(I)將ニ值化圖像劃分成ー個個2X2的單元(cell)；(2)分別在水平和垂直方向上，利用一維離散微分模板計算出每個cell的梯度；(3)統(tǒng)計每ー個cell的梯度直方圖(即不同梯度的個數(shù))；(4)將若干個cell組成ー個區(qū)間(block), —幅圖像由若干個block構(gòu)成；(5)利用L2范數(shù)為因子在block中進行梯度歸ー化
權(quán)利要求
1.一種窗簾的智能手勢和語音控制系統(tǒng)，其特征在于，包括手勢采集単元、語音采集単元、識別單元、外接設(shè)備單元；手勢采集単元和語音采集單元并行接到識別單元，識別單元將輸出控制信息給外接設(shè)備單元；所述圖像采集單元主要由安裝在窗簾上部的攝像頭組成，攝像頭采集窗簾前一定區(qū)域內(nèi)用戶的手勢圖像，并將采集到的圖像傳輸?shù)阶R別單元的手勢控制接ロ ；語音采集單元主要由分別安裝在窗簾兩側(cè)的麥克風組成，通過麥克風采集用戶發(fā)出的語音指令，并將采集到的語音指令傳輸?shù)阶R別單元的語音控制接ロ。
2.如權(quán)利要求I所述的ー種窗簾的智能手勢和語音控制系統(tǒng)，其特征在于識別單元實現(xiàn)的功能包括手勢識別、語音識別和多通道整合，其中，手勢識別是對攝像頭采集到的用戶手勢圖像進行識別，語音識別是對麥克風采集的用戶語音指令進行識別，多通道整合是對手勢識別和語音識別的判斷結(jié)果進行整合。
3.如權(quán)利要求I所述的ー種窗簾的智能手勢和語音控制系統(tǒng)，其特征在于，外接設(shè)備単元包括控制器、驅(qū)動電機和顯示器，所述控制器，用于將多通道整合結(jié)果輸出的用戶指令轉(zhuǎn)為硬件的中斷指令，輸出到驅(qū)動電機；所述驅(qū)動電機，用于根據(jù)控制器傳輸?shù)闹袛嘀噶顚Υ昂熅磔S進行驅(qū)動，窗簾卷軸帶動窗簾上的滾輪實現(xiàn)對窗簾的拉伸控制；所述的顯示器，用于向用戶顯示任務(wù)的完成情況和窗簾的開閉狀態(tài)以及窗簾的打開程度。
4.用于權(quán)利要求I所述ー種窗簾的智能手勢和語音控制系統(tǒng)的控制方法，其特征在于分別對采集到的手勢圖像和語音指令進行手勢識別和語音識別，控制器根據(jù)手勢識別過程或語音識別過程的判斷結(jié)果獨立地對窗簾進行控制或根據(jù)手勢識別過程和語音識別過程的判斷整合結(jié)果對窗簾進行控制；所述控制包括對窗簾的打開、閉合或指定打開程度的控制。
5.如權(quán)利要求4所述ー種窗簾的智能手勢和語音控制系統(tǒng)的控制方法，其特征在于所述手勢識別過程包括將采集的圖像進行預(yù)處理，去除圖像冗余信息，平滑和濾波；對預(yù)處理后的圖像進行檢測，將檢測到的手勢區(qū)域和背景區(qū)域分離；將分離后的手勢圖像提取手勢的特征值；對提取的特征值實現(xiàn)訓練和分類識別，將特征值與手勢數(shù)據(jù)庫中的相應(yīng)手勢進行匹配，得到識別結(jié)果；根據(jù)識別結(jié)果輸出控制信息流。
6.如權(quán)利要求5所述的控制方法中，其特征在于所述語音識別過程包括采集大量的語音數(shù)據(jù)組成語料庫；對采集到不平穩(wěn)的語音信號進行處理，使其變成簡短而平穩(wěn)的隨機過程；提取每ー個簡短信號的多維特征向量；在對語料庫中訓練句子進行特征提取之后，就開始進行聲學建模工作，即利用語音多維特征向量進行聲學模型訓練；再在語法和語義的層面上結(jié)合語言的規(guī)則建立語言模型，即在給出固定的詞序列的前提下，設(shè)定每ー個詞序列與其前面所有詞序列的相關(guān)性，從而排除不期望的詞序列，輔助聲學模型構(gòu)成完整的詞網(wǎng)絡(luò)，提高在模型庫中搜索的效率；在模型庫中根據(jù)已經(jīng)建立的詞網(wǎng)絡(luò)中找到最佳路徑，得到識別結(jié)果；根據(jù)識別結(jié)果輸出控制信息流。
7.如權(quán)利要求5所述的控制方法中，其特征在于所述手勢數(shù)據(jù)庫是通過采集大量的手勢正負樣本進行特征值提取和分類訓練后所建立的。
8.如權(quán)利要求6所述的控制方法中，其特征在于，所述模型庫是通過構(gòu)建控制窗簾所需要的語料庫，對語料庫中的語音數(shù)據(jù)進行預(yù)處理和特征提取后，進行聲學建模訓練，再結(jié)合語法和語義組成的。
全文摘要
本發(fā)明公開一種窗簾的智能手勢和語音控制系統(tǒng)及其控制方法。控制系統(tǒng)包括手勢采集單元、語音采集單元、識別單元、外接設(shè)備單元。其中，手勢采集單元是通過攝像頭獲取用戶的手勢動作，語音采集單元通過麥克風獲取用戶指令，在識別單元中分別對手勢和語音進行識別判斷后，根據(jù)識別后的信息流的時序關(guān)系，對兩個通道信息進行整合。根據(jù)整合結(jié)果，可對窗簾進行操作。本發(fā)明中的手勢控制和語音控制既可以獨立使用也可以聯(lián)合使用，讓用戶在智能家居中有更自然和諧的體驗。本發(fā)明結(jié)合手勢和語音同時控制窗簾，主要是為了減少現(xiàn)在家庭中手動開合窗簾所帶來的麻煩，減少家庭中遙控器的數(shù)量，同時也可以方便家庭中老人小孩以及行動不便者對窗簾的使用。
文檔編號G06K9/00GK102824092SQ20121032047
公開日2012年12月19日 申請日期2012年8月31日 優(yōu)先權(quán)日2012年8月31日
發(fā)明者羅雅愉, 徐向民, 石嘉豪, 王羽 申請人:華南理工大學