一種面向互動電視的手勢交互方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明屬于人機交互【技術領域】，具體為一種面向互動電視的手勢交互方法和系統(tǒng)。本發(fā)明采用簡單高效的時域特征提取方法，對加速度信號進行平穩(wěn)降噪、去冗余和歸一化處理，并用SVM進行分類和識別。手勢識別結果應用于基于Android平臺的機頂盒原型系統(tǒng)，實現用戶與電視的實時交互。實驗結果表明本發(fā)明實現了電視常用手勢的準確識別，識別率達到了96%，手勢動作的識別時間介于48~63ms。
【專利說明】—種面向互動電視的手勢交互方法和系統(tǒng)
【技術領域】
[0001]本發(fā)明屬于人機交互【技術領域】，具體涉及一種面向互動電視的手勢交互方法和系統(tǒng)。
【背景技術】
[0002]電視數字化和網絡化的發(fā)展在增強電視功能性和互動性的同時，也為人機交互的研究帶來了挑戰(zhàn)用戶如何快捷而高效地操控電視成為一個關鍵問題。一般而言，電視用戶倚靠在沙發(fā)上，并與電視機有廣3米的距離。對于這種有一定距離的交互場景，目前用戶仍廣泛使用傳統(tǒng)式紅外遙控器。遙控器面板相應地增加了更多的按鍵，一定程度上滿足了操控大量節(jié)目頻道和多種功能選項的需求，但也隨之帶來可擴展性差、占用視覺注意的問題[3]?；谑髽撕玩I盤的人機交互模式極大地方便了人們操作和訪問計算機上成千上萬的資源，但它并不適用于電視場景和“沙發(fā)文化”MM。文獻[6]指出，相比手持式設備，使用無線鼠標和鍵盤的錯誤率顯著增加?；谝曈X的手勢交互通過攝像頭采集并識別用戶動作信息，對周圍環(huán)境的光線和用戶所處的位置方向等有強烈的依賴性[5][7]，因此應用有一定的局限性。
[0003]加速度傳感器以其低功耗、低成本、高靈敏度和小體積而廣泛應用于智能終端上，可以檢測宿主設備的三維運動信息，且不受外部環(huán)境條件的限制?；诩铀俣葌鞲衅鞯氖謩萁换ブ鸩揭鹬匾昅。同時，以手機為代表的智能移動終端不斷發(fā)展和普及，且具有“隨時隨身”、操作輕便、用戶個性化的特點，也為基于手勢的實時交互提供了契機和支撐環(huán)境。
[0004]手勢特征選取和分類器設計是影響手勢識別效果及速度的兩個關鍵問題。文獻
[9]將加速度數據量化后直接利用HMM(Hidden Markov Model,隱馬爾科夫)模型對手勢建模。文獻[10]基于DTW(Dynamic Time Warping,動態(tài)時間歸整)算法實現手勢識別。然而，人手的自由度和噪聲等因素給手勢識別帶來了很大的困難，如何克服這些困難以獲得更加簡潔干凈的手勢數據成為難點。文獻[11]設計了一種基于幀描述的手勢特征提取方法，結合了信號的頻域特征和時域特征。但是頻域特征的提取需要對手勢數據進行離散傅里葉變換，計算復雜度是，不適用于計算能力受限的智能移動設備。
[0005]另外，現有的手勢識別研究成果多是使用加速度傳感器采集數據后在PC平臺上處理得到，不利于手勢識別技術的推廣。
[0006]為解決上述問題，本發(fā)明解決的問題有:(I)選擇內置加速度傳感器的智能移動終端作為交互載體；(2)針對智能移動終端計算能力受限的特性，采用復雜度為的時域特征提取方法，對手勢數據依次進行平穩(wěn)降噪、去冗余和歸一化處理，減小同類手勢不同采樣數據間的差異性，降低隨機噪聲的影響，提升識別質量。由于SVM(Supp0rt VectorMachine,支持向量機)在解決小樣本、非線性及高維模式識別問題中具有一定的魯棒性，系統(tǒng)采用SVM分類器實現手勢的建模和識別；(3)將實時識別的手勢動作結果以指令的形式發(fā)送到應用模塊，實現對電視機頂盒的遙控。
【發(fā)明內容】

[0007]本發(fā)明的目的在于設計一種對實時手勢識別準確率高，且響應及時的面向互動電視的手勢交互方法和系統(tǒng)。
[0008]本發(fā)明設計的面向互動電視的手勢交互方法，具體步驟如下:
1、特征提取。
[0009]特征提取的主要任務和難點是如何去除原始信號的噪聲及冗余，減小同類手勢不同采樣數據間的差異性，保留手勢動作的主要特征，便于后期進行建模和識別。一個手勢G可以定義為:
【權利要求】
1.一種面向互動電視的手勢交互方法，其特征在于具體步驟如下: (I)特征提取 設一個手勢G定義為:
2.根據權利要求1所述的面向互動電視的手勢交互方法，其特征在于所述基于SVM手勢分類和識別，使用LIBSVM開源庫作為SVM算法包進行手勢數據的分類及識別，其算法步驟如下: (1)將特征提取后的手勢數據按照如下格式進行標記，生成特征值向量: <label> <indexl>:<valuel> <index2>:<value2> … 其中，〈label〉用來標識當前數據所屬的類別，類別值共有6種，O為“向右”，I為“向左”，2為“向上”，3為“向下”，4為“確定”，5為“返回” ；<index>是從I開始的連續(xù)整數，代表采樣序列；〈value>為實數，是實際記錄的加速度向量值；





2 (2)選取徑向基函數(RBF)，即
3.一種基于權利要求1或2所述方法的面向互動電視的手勢交互系統(tǒng)，其特征在于手勢數據采集模塊、手勢識別模塊和手勢應用模塊；其中，手勢數據采集模塊用于對用戶手勢動作的加速度信號采集獲取，并傳輸給手勢識別模塊；手勢識別模塊用于提取加速度信號的時域特征，利用SVM完成手勢的建模和識別；手勢應用模塊將手勢識別結果反饋給用戶，同時解析成電視機頂盒系統(tǒng)能夠響應的命令，以實現對電視的實時控制；手勢識別模塊又分為離線SVM模型訓練子模塊和在線手勢識別子模塊兩部分； 系統(tǒng)的手持端是iPod Touch4，它內置三維加速度傳感器以及用于通信的Wifi模塊，加速度數據通過系統(tǒng)API獲取并傳送到手勢識別模塊；離線SVM模型訓練子模塊運行在PC端，在線手勢識別子模塊運行在手持端；系統(tǒng)的電視機頂盒端的硬件平臺為sigma8654開發(fā)板，硬件配置為IGHz CPU，512MRAM，通過LAN接口與無線路由器連接，搭載了 Android2.2系統(tǒng)。
4.根據權利要求3所述的面向互動電視的手勢交互系統(tǒng)，其特征在于手勢數據采集模塊采集手勢數據時，用戶對系統(tǒng)支持的6組基本手勢進行交互實驗；離線訓練階段，手勢數據傳輸到PC端進行后續(xù)的特征提取及建模；在線識別階段，手勢數據保留在iPod Touch4端；一個手勢動作的開始和結束由智能移動終端上的按鈕觸發(fā)，按下按鈕表示開始執(zhí)行一個手勢動作，釋放按鈕表示一個手勢動作結束，即可觸發(fā)手勢特征提取算法，進而訓練或識別；以6類手勢動作實現對電視機頂盒的控制，依次是向右、向左、向上、向下、確定和返回。
5.根據權利要求4所述的面向互動電視的手勢交互系統(tǒng)，其特征在于手勢應用模塊主要有兩大功能:一是展示手勢識別結果，由智能移動終端通過語音的形式為用戶提供反饋，同時為系統(tǒng)的手勢識別率統(tǒng)計提供直觀的依據，二是將識別結果應用于實際用途，即用手勢進行電視機頂盒的遙控，檢驗本發(fā)明算法的實際效果。
6.根據權利要求4所述的面向互動電視的手勢交互系統(tǒng)，其特征在于智能移動終端對電視機頂盒的遙控通過二者之間建立的穩(wěn)定可靠的通信協(xié)議實現；借鑒FTP協(xié)議的架構，所述通信協(xié)議定義在TCP/IP協(xié)議的應用層，并在協(xié)議的命令中加入機頂盒系統(tǒng)能夠識別的命令； 根據制定的通信協(xié)議，客戶端發(fā)送手勢命令，服務器端接受到這些命令后，解析命令格式為系統(tǒng)的模擬按鍵信息，并將按鍵事件插入到系統(tǒng)的按鍵事件的隊列，由此做出正確的響應。
【文檔編號】G06F3/01GK103914149SQ201410128223
【公開日】2014年7月9日 申請日期:2014年4月1日 優(yōu)先權日:2014年4月1日
【發(fā)明者】金城, 劉雪君, 劉亞波, 張玥杰, 薛向陽 申請人:復旦大學