一種基于手勢識別的相似度閾值分析的手勢運動平滑處理方法
【專利摘要】一種基于手勢識別的相似度閾值分析的手勢運動平滑處理方法，包括利用視頻或圖像采集裝置獲取手勢圖像，進行預處理，將人物圖像按照輪廓、顏色、紋理分割為輪廓圖像、顏色圖像和紋理圖像；將經(jīng)過處理的輪廓圖像、顏色圖像和紋理圖像進行再合成，建立手勢圖像數(shù)據(jù)庫；基于手勢圖像數(shù)據(jù)庫中的手勢圖像，通過高階四元數(shù)插值的關鍵幀插值進行平滑連接合成連貫的手勢動作，建立與手勢圖像匹配的手勢運動基元模型?；谑謩葑R別的相似度閾值分析的手勢運動平滑處理方法基于真人圖像建立，畫面生動真實，并且虛擬人模型靈活多變，能夠直觀、生動的表現(xiàn)，消除了運動跨度過大導致運動過渡的難題并有效地實現(xiàn)了運動細節(jié)的增強與保持，進行插值平滑以協(xié)調(diào)過渡前后的運動序列。
【專利說明】一種基于手勢識別的相似度閾值分析的手勢運動平滑處理 方法

【技術領域】
[0001] 本發(fā)明涉及手勢動畫研究領域，更具體地說涉及到手勢動畫合成中基于手勢識別 的手勢運動基元過渡幀定位方法。

【背景技術】
[0002] 語言伴隨性手勢合成是以自然語言理解為基礎，使用手勢作為虛擬人語言信息表 達的輔助輸出方式。已有手勢合成研究主要集中在以自然文本漢語詞與手語詞映射為基礎 的手語動畫合成，并未考慮語言伴隨手勢，使得虛擬人類似于機器人一樣機械運動，無法滿 足人機交互的智能性和交互性要求，在交互性和真實感方面還有待提升。在人機交互過程 中，通過語言伴隨性手勢合成研究能夠為人機交互中手勢和語音協(xié)同表達提供解決方案， 提高手勢動畫的真實感，實現(xiàn)虛擬人生動、形象、直觀的視覺運動效果。
[0003] 手勢識別主要是通過分析手勢具有的各種特征實現(xiàn)對手勢的判斷，這些特征主要 包括顏色特征、紋理特征、形狀特征、輪廓特征及動態(tài)手勢具有的運動特征等。目前，手勢識 別系統(tǒng)主要分為基于數(shù)據(jù)手套的識別系統(tǒng)和基于視覺的識別系統(tǒng)?；跀?shù)據(jù)手套的識別系 統(tǒng)主要通過傳感器獲取人手運動的信號，這種方式更有利于獲取手勢運動信息；然而，這 些設備價格非常昂貴而且在使用這些設備的同時往往給用戶帶來諸多不便。但是，基于視 覺的識別系統(tǒng)由于不需要價格昂貴的硬件設備，因此越來越適合人機交互技術。早期的基 于視覺的手勢識別系統(tǒng)往往需要對手勢進行標記然后再進行圖像處理；然而，目前基于視 覺的手勢識別系統(tǒng)主要是利用手勢特征如手勢顏色、手勢形狀、手勢輪廓或其他深度信息 進行識別?；谝曈X的手勢識別系統(tǒng)可以識別輸入視頻中的不同手勢，并且用這些手勢作 為計算機的人工輸入命令，并且可以建立包括有完整人物及其手勢的圖庫、并且這種手勢 識別系統(tǒng)由于設備簡單，因而使用方便有效?；谝曈X的手勢識別系統(tǒng)為人機交互提供了 一種直觀的交流方式。
[0004] 語言伴隨性手勢作為一種動作語言，是手和手臂運動的統(tǒng)一，需要計算機動畫來 實現(xiàn)具體動作。人體的外形主要由皮膚和所附著骨骼肌肉運動決定的，因此，在描述手勢動 作之前必須先建立一個靜態(tài)幾何模型，通過激活具有大量關節(jié)的復雜模型，根據(jù)決定運動 的幾個主關節(jié)的最終角度可以確定手臂運動，從而創(chuàng)建精確靈活的基本手勢動作單元一 手勢運動基元。根據(jù)伴隨語言學和統(tǒng)計學分析，基于語言連貫表達的手勢運動基元連接能 夠實現(xiàn)的手勢和有聲語言的協(xié)同表達，提高運動合成效果和真實感。然而，目前虛擬人并非 基于真人圖像建立，不夠生動真實，并且虛擬人模型固定，無法根據(jù)環(huán)境和需要進行變換。
[0005] 此外，手勢和語言是時序并行輸出的，手勢運動要素會隨著語言的連貫表達而時 刻變化。當人們進行口語交流時形成連續(xù)不斷的語流，同樣手勢姿態(tài)連續(xù)表達會生成相應 的手勢動作，語言和手勢之間存在相互的層級關系。作為生成手勢動畫的基礎，如何實現(xiàn)基 本的手勢動作在語言中的定位成為語言伴隨學和虛擬現(xiàn)實技術的研究難點。隨著計算機技 術的進一步發(fā)展，數(shù)字媒體技術的出現(xiàn)為手勢與語言映射提供了解決方案一音視頻數(shù)據(jù) 分析。通過對音視頻數(shù)據(jù)進行分析，將其中的語言和手勢進行轉寫，并標記對應位置，將能 夠有效地實現(xiàn)手勢與語言的協(xié)同表達。
[0006] 然而，現(xiàn)有的方法存在諸多不足源于所處理的主要是非結構化運動模型之間的過 渡，運動過渡關鍵幀只能實現(xiàn)時序性，單純靠關鍵幀數(shù)值相似度計算進行運動平滑容易造 成運動細節(jié)丟失。大多數(shù)運動過渡都會在運動過程中產(chǎn)生一個微小的不連貫，但是如果一 個運動序列僅是從一個運動姿態(tài)直接跳轉到另一個運動姿態(tài)，將會產(chǎn)生運動跳躍現(xiàn)象影響 動畫合成的可理解性和真實感，主要以手臂運動為主的虛擬人手勢動作之間平滑過渡則 要更復雜些，因為兩個手勢動作之間運動幅度較大，前一個手勢動作的最后一個手勢姿態(tài) (最后一幀）與下一個手勢動作的第1個手勢姿態(tài)（第1幀）之間一般不存在運動相關性， 并且它們之間的差別可以是任意的，如果不做平滑處理，必然導致手勢動作的跳躍現(xiàn)象。
[0007] 本發(fā)明利用具有結構化和實例化的手勢運動模型不但消除了運動跨度過大導致 運動過渡難以實現(xiàn)問題，還有效地實現(xiàn)了運動細節(jié)的增強與保持，還提出了關鍵幀相似度 閾值分析的高階四元數(shù)插值方法對待合成的整個關鍵幀序列（而不是僅對過渡幀）進行插 值平滑以協(xié)調(diào)過渡前后的運動序列。


【發(fā)明內(nèi)容】

[0008] 本發(fā)明的目的在于克服現(xiàn)有技術的不足，提供一種基于真人圖像建立，畫面生動 真實，并且虛擬人模型靈活多變，能夠直觀、生動的方式表現(xiàn)手勢動作，而且消除了運動跨 度過大導致運動過渡的難題并有效地實現(xiàn)了運動細節(jié)的增強與保持的基于手勢識別的手 勢運動基元過渡幀定位方法，并且云數(shù)據(jù)庫單元的使用，使得數(shù)據(jù)備份份數(shù)更多，更有保 障，利用了云計算端大的存儲容量，優(yōu)越的運算能力和更廣的數(shù)據(jù)網(wǎng)絡，功能更加強大，結 合遠程客戶端，可以對數(shù)據(jù)進行自定義編輯后更新，操作和查詢更加方便，可控性更強，更 加靈活多變，適應性更強。
[0009] 本發(fā)明提供了一種基于手勢識別的相似度閾值分析的手勢運動平滑處理方法，依 次包括以下步驟：
[0010] ⑴利用視頻或圖像采集裝置獲取一個或多個分辨率為NXM的手勢圖像，對一個 或多個手勢圖像進行預處理，將一個或多個手勢圖像中的人物圖像提取出來，刪除除了人 物圖像部分之外的背景圖像；
[0011] (2)對提取后的人物圖像進行去噪處理，消除傳輸和采集過程中的噪聲干擾，之后 將去噪后的人物圖像按照輪廓、顏色、紋理分割為輪廓圖像、顏色圖像和紋理圖像；
[0012] (3)對輪廓圖像進行修正，進行平滑處理；
[0013] (4)將顏色圖像按照RGB圖像的R、G、B三個分量通道進行分解，分別將三個分量 通道中的每一個像素與其鄰近的8個像素構成3X3的像素塊，按照如下公式分別得到處理 后的每一個像素分別對應的R、G、B三個分量的值：

【權利要求】
1. 一種基于手勢識別的相似度閾值分析的手勢運動平滑處理方法，其特征在于，依次 包括以下步驟： (1) 利用視頻或圖像采集裝置獲取一個或多個分辨率為NXM的手勢圖像，對一個或多 個手勢圖像進行預處理，將一個或多個手勢圖像中的人物圖像提取出來，刪除除了人物圖 像部分之外的背景圖像； (2) 對提取后的人物圖像進行去噪處理，消除傳輸和采集過程中的噪聲干擾，之后將去 噪后的人物圖像按照輪廓、顏色、紋理分割為輪廓圖像、顏色圖像和紋理圖像； (3) 對輪廓圖像進行修正，進行平滑處理； (4) 將顏色圖像按照RGB圖像的R、G、B三個分量通道進行分解，分別將三個分量通道 中的每一個像素與其鄰近的8個像素構成3 X 3的像素塊，按照如下公式分別得到處理后的 每一個像素分別對應的R、G、B三個分量的值：
Pij (R)、Pij (G)、Pij⑶分別為經(jīng)過處理后的R、G、B三個分量通道中的像素值，Pij為R、 G、B三個分量通道中對應第i行、第j列的像素值，其中i = 1，2, ...，N，j = 1，2, (5) 將經(jīng)過處理后的R、G、B三個分量通道中的像素值進行分配，合成經(jīng)過處理后的顏 色圖像； (6) 對紋理圖像進行修正，進行平滑處理； (7) 將經(jīng)過處理的輪廓圖像、顏色圖像和紋理圖像進行再合成，建立手勢圖像數(shù)據(jù)庫； (8) 基于手勢圖像數(shù)據(jù)庫中的手勢圖像，按照身體的生理結構以及各個關節(jié)運動時的 約束關系，以關鍵幀的方式建立手勢動作的基本單位，并且描述所述基本單位的時序變化 信息； (9) 通過高階四元數(shù)插值的關鍵幀插值進行平滑連接合成連貫的手勢動作，建立與手 勢圖像匹配的手勢運動基元模型； (10) 將手勢運動基元模型和圖像數(shù)據(jù)庫中的手勢圖像對應合成，建立虛擬人數(shù)據(jù)庫； (11) 將虛擬人數(shù)據(jù)庫中的數(shù)據(jù)上傳至云數(shù)據(jù)庫單元，所述云數(shù)據(jù)庫單元將接收到的數(shù) 據(jù)存儲后作為備份數(shù)據(jù)，供遠程客戶端下載；遠程客戶端下載云數(shù)據(jù)庫單元中存儲的數(shù)據(jù)， 進行自定義編輯，將自定義編輯后的數(shù)據(jù)回傳至虛擬人數(shù)據(jù)庫，對虛擬人數(shù)據(jù)庫中的數(shù)據(jù) 進行更新。
2. 如權利要求1所述的基于手勢識別的手勢運動基元過渡幀定位方法，其特征在于：所述步驟（8)中以關鍵幀的方式建立手勢動作的基本單位，并且描述所述基本單位的時序 變化信息步驟中，還包括為手勢運動基元模型中的關鍵幀添加 flag標記位，將手勢運動 基兀按具有時間次序關鍵巾貞標注 "start"，"prepare"，"achieve_goal"，"release_goal "， "end"，并且將每個手勢運動基元分解為四個運動時段：準備階段、伸出階段、后伸出階段、 恢復階段。
3. 如權利要求1所述的基于手勢識別的手勢運動基元過渡幀定位方法，其特征在于：所述通過高階四元數(shù)插值的關鍵幀插值進行平滑連接合成連貫的手勢動作，建立與手勢圖 像匹配的手勢運動基元模型，具體包括如下步驟： 基于高階四元數(shù)插值的手勢運動平滑：假設Qi(I)和+(1)分別表示運動序列S中 相鄰關鍵幀Gi和關鍵幀處上肢第1個關節(jié)旋轉角所表示的四元數(shù)組的關鍵姿態(tài)，其中 I < 1 < 6, H表示要插補的關鍵幀數(shù)量，通過衡量相鄰關鍵幀距離來獲得，則插補第k幀時 可通過以下方式獲得，其中I< k < H :
其中，qk(l)表示合成運動中新插第k幀中第1關節(jié)姿態(tài)，0是其所旋轉的角度大小， 并且C〇S0 = qi(l) ? qj(l)，插值系數(shù)a(k)與需要在1(1)和％(1)之間進行插補的幀數(shù) H相關，取值范圍為[0, 1]; 利用插補的關鍵幀數(shù)量N和插值系數(shù)權值a (k)對運動序列進行插值平滑，通過衡量 關鍵幀相似度Sim來計算插補的關鍵幀數(shù)量H和關鍵幀插值系數(shù)a (k)，達到動作均勻平滑 過渡。
4. 如權利要求1或3所述的基于手勢識別的手勢運動基元過渡幀定位方法， 其特征在于：對手勢關鍵幀Gi與相似度SinKGi, Gp計算如下：SinKGi, GJ = Dist (Pi, Pj)+VDist(VpVj),其中 Dist (Pi, Pj)表示各個關節(jié)角度加權距離，Dist(VpVj)表 示各關節(jié)旋轉加速度的加權距離，參數(shù)V表示不同關節(jié)位置對速度差異的影響權重。
5. 如權利要求1所述的基于手勢識別的手勢運動基元過渡幀定位方法，其特征在于：還包括步驟（12):在手勢與語言協(xié)同表達的手勢動畫合成過程中，根據(jù)轉寫規(guī)則在手勢運 動基元全集上存在一個運動基元覆蓋路徑，在以上運動基元覆蓋路徑下實現(xiàn)基于運動基元 連接的手勢動畫合成。
6. 如權利要求5所述的基于手勢識別的手勢運動基元過渡幀定位方法，其特征在于：通過MacSHAPA獲取手勢與自然語言的映射匹配。
7. 如權利要求1所述的基于手勢識別的手勢運動基元過渡幀定位方法，其特征在于：步驟（8)中所述基于手勢圖像數(shù)據(jù)庫中的手勢圖像，按照身體的生理結構以及各個關節(jié)運 動時的約束關系，以關鍵幀的方式建立手勢動作的基本單位，并且描述所述基本單位的時 序變化信息，具體包括如下步驟： 對兩個待合成手勢運動基元Oi和假設長度分別為m和n ; a. 提取手勢運動基元Oi運動恢復時段的關鍵幀序列Fl，假設長度為Ienl ; b. 提取手勢運動基元運動準備時段關鍵幀序列F2,假設長度為len2 ; c. 對運動關鍵幀序列Fl，從起始關鍵幀位置1，開始移動到末尾關鍵幀位置Ienl，對每 一個位置k，依次循環(huán)計算關鍵幀序列F2中第len2-i個關鍵幀與運動關鍵幀序列Fl中第 k關鍵幀的相似度Sim，如果存在相似度小于閾值e，則終止循環(huán)，否則直至循環(huán)結束，定位 到過渡幀。
8. 如權利要求3所述的基于手勢識別的手勢運動基元過渡幀定位方法，其特征在于：所述插值系數(shù)a (k)滿足： A. 當Sim < Kl時，相鄰關鍵幀之間的動作變化幅度足夠小，不需要進行插值處理； B. 當KKSim < K2時，通過一個線性遞減的運動混合函數(shù)來決定相鄰關鍵幀之間插值
【文檔編號】G06F3/01GK104331164SQ201410708575
【公開日】2015年2月4日 申請日期:2014年11月27日 優(yōu)先權日:2014年11月27日
【發(fā)明者】韓慧健, 張銳, 賈可亮, 劉崢, 梁秀霞, 其他發(fā)明人請求不公開姓名 申請人:韓慧健