專利名稱：一種窗簾的智能手勢和語音控制系統(tǒng)的制作方法
技術領域：
一種窗簾的智能手勢和語音控制系統(tǒng)技術領域[0001]本實用新型涉及窗簾控制裝置，具體涉及一種窗簾的智能手勢和語音控制系統(tǒng)。
技術背景[0002]窗簾是現代家居中必不可少的家居用品，隨著生活水平的提高和智能家居的普及，人們希望窗簾也能成為智能家居人機交互的一部分，對窗簾控制智能化的要求也越來越高。目前，較新的控制窗簾的技術主要是紅外遙控、亮度與溫度控制、聲控等，它們各自都存在缺點，實際操作起來不理想。經查詢，專利公開號為CN2899646的具有紅外線控制傳動裝置的智能窗簾，讓使用者無法擺脫遙控器的束縛，且容易與家中其它眾多遙控器混淆，專利公開號為CN201210241的帶光敏電阻的光控智能窗簾和公開號為CN101976090A的智能窗簾，對安裝環(huán)境的要求高，當其安裝在一些長期環(huán)境不變的地方時無法發(fā)揮智能作用，專利公開號為CN202234681U的聲控窗簾,根據現有的語音識別技術,該聲控窗簾對使用者的普通話水平要求高，且不適用于有語言阻礙者的家庭使用。為了克服現有智能窗簾的不足， 本實用新型提供一種使用手勢和語音結合控制窗簾的裝置。實用新型內容[0003]本實用新型的目的在于克服現有技術存在的上述不足，提供一種窗簾的智能手勢和語音控制系統(tǒng)，具體技術方案如下。[0004]一種窗簾的智能手勢和語音控制系統(tǒng)，包括手勢采集單元、語音采集單元、識別單元、外接設備單元；手勢采集單元和語音采集單元并行接到識別單元，識別單元將輸出控制信息給外接設備單元；所述圖像采集單元主要由安裝在窗簾上部的攝像頭組成，攝像頭采集窗簾前一定區(qū)域內用戶的手勢圖像，并將采集到的圖像傳輸到識別單元的手勢控制接口 ；語音采集單元主要由分別安裝在窗簾兩側的麥克風組成，通過麥克風采集用戶發(fā)出的語音指令，并將采集到的語音指令傳輸到識別單元的語音控制接口。[0005]上述的窗簾的智能手勢和語音控制系統(tǒng)中，識別單元實現的功能包括手勢識別、 語音識別和多通道整合，其中，手勢識別是對攝像頭采集到的用戶手勢圖像進行識別，語音識別是對麥克風采集的用戶語音指令進行識別，多通道整合是對手勢識別和語音識別的判斷結果進行整合。[0006]上述的窗簾的智能手勢和語音控制系統(tǒng)中，外接設備單元包括控制器、驅動電機和顯不器。[0007]所述控制器，用于將多通道整合結果輸出的用戶指令轉為硬件的中斷指令，輸出到驅動電機；[0008]所述驅動電機，用于根據控制器傳輸的中斷指令對窗簾卷軸進行驅動，窗簾卷軸帶動窗簾上的滾輪實現對窗簾的拉伸控制；[0009]所述的顯示器，用于向用戶顯示任務的完成情況和窗簾的開閉狀態(tài)以及窗簾的打開程度。[0010]上述一種窗簾的智能手勢和語音控制系統(tǒng)的控制方法，具體是分別對采集到的手勢圖像和語音指令進行手勢識別和語音識別，控制器根據手勢識別過程或語音識別過程的判斷結果獨立地對窗簾進行控制或根據手勢識別過程和語音識別過程的判斷整合結果對窗簾進行控制；所述控制包括對窗簾的打開、閉合或指定打開程度的控制。[0011]上述控制方法中，所述手勢識別過程包括[0012]將采集的圖像進行預處理，去除圖像冗余信息，平滑和濾波；[0013]對預處理后的圖像進行檢測，將檢測到的手勢區(qū)域和背景區(qū)域分離；[0014]將分離后的手勢圖像提取手勢的特征值；[0015]對提取的特征值實現訓練和分類識別，將特征值與手勢數據庫中的相應手勢進行匹配，得到識別結果；[0016]根據識別結果輸出控制信息流。[0017]上述控制方法中，所述語音識別過程包括[0018]采集大量的語音數據組成語料庫；[0019]對采集到不平穩(wěn)的語音信號進行處理，使其變成簡短而平穩(wěn)的隨機過程；[0020]提取每一個簡短信號的多維特征向量；[0021]在對語料庫中訓練句子進行特征提取之后，就開始進行聲學建模工作，即利用語音多維特征向量進行聲學模型訓練。[0022]再在語法和語義的層面上結合語言的規(guī)則建立語言模型，即在給出固定的詞序列的前提下，設定每一個詞序列與其前面所有詞序列的相關性，從而排除某些不期望的詞序列，輔助聲學模型構成完整的詞網絡，提高在模型庫中搜索的效率；[0023]在模型庫中根據已經建立的詞網絡中找到最佳路徑，得到識別結果；[0024]根據識別結果輸出控制信息流。[0025]上述控制方法中，所述手勢數據庫是通過采集大量的手勢正負樣本進行特征值提取和分類訓練后所建立的。[0026]上述控制方法中，所述模型庫是通過構建控制窗簾所需要的語料庫，對語料庫中的語音數據進行預處理和特征提取后，進行聲學建模訓練，再結合語法和語義組成的。[0027]與現有技術相比，本實用新型具有如下優(yōu)點和技術效果[0028](I)本實用新型智能化程度高，與用戶的交互方式自然，在使用本實用新型時，既無需用戶親自去拉動窗簾，也不需為窗簾添加一個實體遙控器，，用戶只需要在窗簾面前一個可控范圍內用手做出對應的手勢，或者指著窗簾發(fā)出語音指令，即可以輕松控制窗簾。[0029](2)本實用新型兼顧多種特殊情況，對于行動不便者可以單獨使用語音控制功能， 而對于普通話障礙者可以單獨使用手勢控制功能，非常利于有老人、小孩或者殘疾人的家庭。[0030](3)本實用新型可以讓用戶自由選擇手勢或者語音控制窗簾，控制方式簡單、直接，使窗簾更加人性化，充分體現了現代智能家居的特點。


[0031]圖I為窗簾的智能手勢和語音控制系統(tǒng)框架圖。[0032]圖2為手勢識別流程圖。[0033]圖3為語音識別流程圖。[0034]圖4為左一右隱馬爾可夫模型。[0035]圖5為多通道整合圖。
具體實施方式
[0036]
以下結合附圖對本實用新型的具體實施作進一步說明，但本實用新型的實施和保護不限于此。[0037]本實用新型提供一種窗簾的智能手勢和語音控制系統(tǒng)，包括手勢采集單元、語音采集單元、識別單元、外接設備單元。手勢采集單元和語音采集單元并行接到識別單元，識別單元將輸出控制信息給外接設備單元；所述圖像采集單元主要由安裝在窗簾上部的攝像頭組成，攝像頭采集窗簾前一定區(qū)域內用戶的手勢圖像，并將采集到的圖像傳輸到識別單元的手勢控制接口 ；語音采集單元主要由分別安裝在窗簾兩側的麥克風組成，通過麥克風采集用戶發(fā)出的語音指令，并將采集到的語音指令傳輸到識別單元的語音控制接口。[0038]如圖I所示，手勢采集單元和所述語音采集單元并行連接識別單元的圖像和語音輸入接口，所述識別單元連接外接設備單元。其中，手勢識別用于對采集的有效用戶手勢圖像進行實時跟蹤手掌的移動情況，并對手勢圖像進行識別判斷，語音識別用于接收用戶發(fā)出的語音指令，對語音進行識別判斷，分別將手勢和語音的識別判斷結果進行多通道整合， 將整合后的信息分別傳遞給外接設備單元的控制器和顯示器，再由控制器作用于驅動電機，使其對窗簾的卷軸進行啟動、停止控制，并且將窗簾的狀態(tài)及時反饋到顯示器上。[0039]如圖2所示，手勢識別的過程圖像預處理、手勢檢測和區(qū)域分割、特征提取、手勢識別和結果輸出。[0040]在啟動系統(tǒng)后，通過攝像頭采集窗簾前用戶的手勢圖像后進行A/D轉換，將數據傳輸到識別單元的接口，[0041]所采集的圖像由于光照、環(huán)境原因，可能會存在噪點，為減小圖像在區(qū)域分割時產生的誤差，首先對采集的圖像進行圖像預處理，采用圖像均值濾波對圖像進行平滑濾波，以 NXN (模板大小)均值濾波模板對圖像中的每一個像素點的值f(i，j)進行處理，得到新的像素點值r(i，j)[0042]tZMJ)輸-[0043]手勢檢測和區(qū)域分割用于對所述的預處理后的圖像檢測是否存在手勢，考慮到復雜背景和周圍環(huán)境光線的變化，對采集的圖像進立YCrCb顏色空間模型，基于膚色聚類特征和對光照的不敏感，將采集的三個通道彩色圖像的數據利用膚色的特征信息，采用閾值設置的方法，分別根據三個通道值將背景和目標區(qū)域先后進行粗分割和細分割，得到二值化圖像，實現復雜背景下的膚色分割。[0044]特征提取即用于對所述的二值化后的手勢圖像采用梯度方向直方圖(histograms of oriented gradient, HOG)方法提取手勢特征,具體步驟如下[0045](I)將二值化圖像劃分成一個個2X2的單元(cell)；[0046](2)分別在水平和垂直方向上，利用一維離散微分模板計算出每個cell的梯度；[0047](3)統(tǒng)計每一個cell的梯度直方圖(即不同梯度的個數)；[0048](4)將若干個cell組成一個區(qū)間(block), —幅圖像由若干個block構成；[0049](5)利用L2范數為因子在block中進行梯度歸一化[0050]
權利要求1.一種窗簾的智能手勢和語音控制系統(tǒng)，其特征在于，包括手勢采集單元、語音采集單元、識別單元、外接設備單元；手勢采集單元和語音采集單元并行接到識別單元，識別單元將輸出控制信息給外接設備單元；所述圖像采集單元主要由安裝在窗簾上部的攝像頭組成，攝像頭采集窗簾前一定區(qū)域內用戶的手勢圖像，并將采集到的圖像傳輸到識別單元的手勢控制接口 ；語音采集單元主要由分別安裝在窗簾兩側的麥克風組成，通過麥克風采集用戶發(fā)出的語音指令，并將采集到的語音指令傳輸到識別單元的語音控制接口。
2.如權利要求I所述的一種窗簾的智能手勢和語音控制系統(tǒng)，其特征在于，外接設備單元包括控制器、驅動電機和顯示器， 所述控制器，用于將多通道整合結果輸出的用戶指令轉為硬件的中斷指令，輸出到驅動電機； 所述驅動電機，用于根據控制器傳輸的中斷指令對窗簾卷軸進行驅動，窗簾卷軸帶動窗簾上的滾輪實現對窗簾的拉伸控制； 所述的顯示器，用于向用戶顯示任務的完成情況和窗簾的開閉狀態(tài)以及窗簾的打開程度。
專利摘要本實用新型公開一種窗簾的智能手勢和語音控制系統(tǒng)?？刂葡到y(tǒng)包括手勢采集單元、語音采集單元、識別單元、外接設備單元。其中，手勢采集單元是通過攝像頭獲取用戶的手勢動作，語音采集單元通過麥克風獲取用戶指令，在識別單元中分別對手勢和語音進行識別判斷后，根據識別后的信息流的時序關系，對兩個通道信息進行整合。根據整合結果，可對窗簾進行操作。本實用新型中的手勢控制和語音控制既可以獨立使用也可以聯(lián)合使用，讓用戶在智能家居中有更自然和諧的體驗。本實用新型結合手勢和語音同時控制窗簾，主要是為了減少現在家庭中手動開合窗簾所帶來的麻煩，減少家庭中遙控器的數量，同時也可以方便家庭中老人小孩以及行動不便者對窗簾的使用。
文檔編號G06F3/01GK202801140SQ20122044564
公開日2013年3月20日 申請日期2012年8月31日 優(yōu)先權日2012年8月31日
發(fā)明者羅雅愉, 徐向民, 石嘉豪, 王羽 申請人:華南理工大學