一種基于Kinect手勢控制顯示墻的方法
【專利摘要】本發(fā)明涉及一種基于Kinect手勢控制顯示墻的方法，該方法利用與計算機(jī)相連的Kinect采集用戶雙手動作，通過特定的手勢識別算法識別出手勢，并用識別出的手勢對顯示墻中的窗口實施控制操作。本發(fā)明涉及向左切換、向右切換、選中、取消、移動、放大、縮小共7種手勢，基本覆蓋了顯示墻窗口控制的需求，同時7種手勢易學(xué)易用、擁有直觀交互意圖，操作顯示墻更加簡單方便。
【專利說明】—種基于Kinect手勢控制顯示墻的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種顯示墻控制方法，具體來說是一種基于Kinect手勢控制顯示墻的方法。
【背景技術(shù)】
[0002]隨著高分辨率并行顯示理論技術(shù)的研究和發(fā)展，顯示墻技術(shù)解決方案解決了數(shù)據(jù)可視化、高分辨顯示、可視化協(xié)同合作等方面的瓶頸。由于顯示墻技術(shù)剛剛興起，許多部分存在不少研究價值，尤其是交互方式。傳統(tǒng)的顯示墻交互通過鼠標(biāo)鍵盤輸入消息指令來操作后臺，這種方式極大限制了顯示墻與生俱來的交互體驗。與此同時，人機(jī)交互技術(shù)的持續(xù)發(fā)展，手勢動作等肢體交互方式備受關(guān)注，諸如Wi1、PS Move、Kinect等體感設(shè)備也相繼進(jìn)入市場。由于手勢動作包含各種豐富直觀的交互意圖，將顯示墻窗口操作通過手勢控制，將大幅度提升用戶的交互體驗。

【發(fā)明內(nèi)容】

[0003]本發(fā)明要解決的技術(shù)問題是提供一種新型的顯示墻控制方法，具體來說是基于Kinect手勢控制顯示墻的方法。
[0004]為了解決以上技術(shù)問題，本發(fā)明采取以下技術(shù)方案:一種基于Kinect手勢控制顯示墻的方法，采用Kinect采集用戶雙手動作，通過特定的手勢識別算法識別出手勢，并用識別出的手勢對顯示墻中的窗口實施控制操作。
[0005]本發(fā)明采取的手勢識別算法包含以下步驟:
[0006]步驟1.令Q= {Fl`，F(xiàn)2，…，F(xiàn)J為Kinect采集到的各幀中雙手空間坐標(biāo)數(shù)據(jù)的緩存隊列，其中Fi=Kxu, yL1.Zu), (xEi, yEi, zEi), tj，(xLi, yLi, zLi)為第i幀中左手的空間坐標(biāo)數(shù)據(jù)，(xEi, yEi, zEi)為第i幀中右手的空間坐標(biāo)數(shù)據(jù)，\為該幀的采樣時刻；
[0007]步驟2.每當(dāng)Kinect采集到新的一幀數(shù)據(jù)Fn后,將其放入隊列Q中并計算1^-tp若結(jié)果大于I秒，則認(rèn)為隊列Q已滿，轉(zhuǎn)步驟3 ;否則繼續(xù)采集下一幀的數(shù)據(jù)；
[0008]步驟3.根據(jù)隊列中的元素計算下述結(jié)果:隊首元素左右手空間坐標(biāo)的距離D1=SQRT ((xLn-xEn)2+ (yLn-yEn)2+ (Zln-Zsn)2)、隊尾兀素左右手空間坐標(biāo)的距尚 D2=SQRT ((xL1-xE1)2+ (Yl1-Yei) 2+ (zLi_zK1)2)、整個隊列中左手的移動距咼 D3=SQRT ((xLn_xL1)2+ (yLn-yL1)2+ (zLn_zL1)2)、整個隊列中右手的移動距離D4=SQRT ((xEn-xE1)2+ (yEn-yE1)2+ (zEn-zE1)2)、整個隊列中左手移動的單位方向向量((Xu1-XuVD3, (yLn-yL1)/D3, (zLn-zL1)/D3)以及整個隊列中右手移動的單位方向向量((xEn-xE1)/D4, (yEn-yE1)/D4, (zEn-zE1)/D4)；
[0009]步驟4.根據(jù)步驟3的計算結(jié)果，從手勢庫中匹配已定義的手勢，若匹配成功，則發(fā)送相應(yīng)消息命令至顯示墻并清空緩存隊列Q，轉(zhuǎn)步驟2繼續(xù)采集下一個輸入手勢，若匹配失敗，則刪除隊列Q的隊尾元素并轉(zhuǎn)步驟2繼續(xù)采集下一個輸入手勢。
[0010]本發(fā)明中采用的控制操作手勢包括了向左切換、向右切換、選中、取消、移動、放大、縮小共7種手勢。[0011]所述的向左切換手勢用于將操作目標(biāo)窗口改變?yōu)樵诋?dāng)前的操作目標(biāo)窗口左側(cè)且距離最近的窗口，該手勢的定義如下:左手自然舉起保持在胸前位置，勻速向左移動至自然伸直狀態(tài)，整個移動過程應(yīng)在0.5至1.0秒之間完成。
[0012]所述的向右切換手勢用于將操作目標(biāo)窗口改變?yōu)樵诋?dāng)前的操作目標(biāo)窗口右側(cè)且距離最近的窗口，該手勢的定義如下:右手自然舉起保持在胸前位置，勻速向右移動至自然伸直狀態(tài)，整個移動過程應(yīng)在0.5至1.0秒之間完成。
[0013]所述的選中手勢用于選中當(dāng)前操作目標(biāo)窗口，該手勢定義如下:右手自然舉起保持在胸前位置，勻速向前推出至自然伸直狀態(tài)，整個推出過程應(yīng)在0.5至1.0秒之間完成。
[0014]所述的取消手勢用于取消當(dāng)前操作目標(biāo)窗口的選中狀態(tài)，該手勢操作如下:左手自然舉起保持在胸前位置，保持右手不動，左手勻速舉高至向上伸直，整個左手舉起過程在0.5至1.0秒之間完成。
[0015]所述的移動手勢用于移動當(dāng)前選中的操作目標(biāo)窗口，該手勢定義如下:將自然伸直的右手在胸前任意移動，移動速度應(yīng)保持在0.3米/秒至0.5米/秒之間。
[0016]所述的放大手勢用于放大顯示操作目標(biāo)窗口，該手勢的定義如下:雙手自然向胸口方向舉起并靠攏在胸前位置，然后同時沿水平方向向兩側(cè)勻速移動，整個移動過程應(yīng)在
0.5至3.0秒之間完成。
[0017]所述的縮小手勢用于縮小顯示操作目標(biāo)窗口，該手勢的定義如下:雙手自然向兩側(cè)舉起并保持在水平位置，然后同時沿水平方向向內(nèi)側(cè)勻速移動，整個移動過程應(yīng)在0.5至3.0秒之間完成。
[0018]與現(xiàn)有傳統(tǒng)技術(shù)相比，本發(fā)明的有益效果是:
[0019](I)、將本發(fā)明用于顯示墻窗口控制，可以代替后臺傳統(tǒng)鼠標(biāo)鍵盤控制的交互，將人體雙手動作傳遞給顯示墻控制系統(tǒng)，操作方式更加直觀方便。與目前很多現(xiàn)存的手勢控制方法一樣，本發(fā)明中用戶不需要佩戴任何標(biāo)簽。
[0020](2)、同時本發(fā)明中設(shè)計的7種手勢易學(xué)易用，擁有直觀的交互意圖；手勢識別算法簡單實用，處理響應(yīng)速度較快，能夠?qū)崟r地控制顯示墻窗口布局。
【專利附圖】

【附圖說明】
[0021]附圖1為本發(fā)明手勢識別算法流程示意圖。
[0022]附圖2為本發(fā)明7種手勢定義示意圖。
【具體實施方式】
[0023]為了使本發(fā)明的目的、技術(shù)方案更加清楚明白，以下將結(jié)合附圖及實施例對本發(fā)明進(jìn)行詳細(xì)說明。此處所表述的具體實施例僅用于解釋本發(fā)明，并不用于限定本發(fā)明。
[0024]本發(fā)明要解決的技術(shù)問題是提供一種新型的顯示墻控制方法代替?zhèn)鹘y(tǒng)的鼠標(biāo)鍵盤方法，具體來說是基于Kinect的手勢控制顯示墻方法。
[0025]針對以上技術(shù)問題，采取以下技術(shù)方案:采用Kinect采集用戶雙手動作，通過特定的手勢識別算法識別出手勢，并用識別出的手勢對顯示墻中的窗口實施控制操作。具體來說是，將安裝好Kinect驅(qū)動的電腦連接上Kinect設(shè)備,Kinect攝像頭將采集彩色數(shù)據(jù)、深度數(shù)據(jù)、骨骼數(shù)據(jù)傳至應(yīng)用程序，應(yīng)用程序?qū)⑻幚硖崛∮脩綦p手坐標(biāo)數(shù)據(jù)，通過特定的手勢識別算法識別7種已定義手勢，并將相應(yīng)的手勢消息命令發(fā)送至顯示墻控制系統(tǒng)并做出反饋。
[0026]附圖1給出了本發(fā)明一種基于Kinect手勢控制顯示墻方法中手勢識別算法的一個實施例。具體手勢識別算法包括以下步驟:
[0027]步驟1.令Q= {Fl，F(xiàn)2，…，F(xiàn)J為Kinect采集到的各幀中雙手空間坐標(biāo)數(shù)據(jù)的緩存隊列，其中Fi=Kxu, yL1.Zu), (xEi, yEi, zEi), tj，(xLi, yLi, zLi)為第i幀中左手的空間坐標(biāo)數(shù)據(jù)，(xEi, yEi, zEi)為第i幀中右手的空間坐標(biāo)數(shù)據(jù)，\為該幀的采樣時刻；
[0028]步驟2.每當(dāng)Kinect采集到新的一幀數(shù)據(jù)Fn后,將其放入隊列Q中并計算1^-tp若結(jié)果大于I秒，則認(rèn)為隊列Q已滿，轉(zhuǎn)步驟3 ;否則繼續(xù)采集下一幀的數(shù)據(jù)；
[0029]步驟3.根據(jù)隊列中的元素計算下述結(jié)果:隊首元素左右手空間坐標(biāo)的距離D1=SQRT ((xLn-xEn)2+ (yLn-yEn)2+ (Zln-Zsn)2)、隊尾兀素左右手空間坐標(biāo)的距尚 D2=SQRT ((xL1-xE1)2+ (Yl1-Yei) 2+ (zLi_zK1)2)、整個隊列中左手的移動距咼 D3=SQRT ((xLn_xL1)2+ (yLn-yL1)2+ (zLn_zL1)2)、整個隊列中右手的移動距離D4=SQRT ((xEn-xE1)2+ (yEn-yE1)2+ (zEn-zE1)2)、整個隊列中左手移動的單位方向向量((Xu1-XuVD3, (yLn-yL1)/D3, (zLn-zL1)/D3)以及整個隊列中右手移動的單位方向向量((xEn-xE1)/D4, (yEn-yE1)/D4, (zEn-zE1)/D4)；
[0030]步驟4.根據(jù)步驟3的計算結(jié)果，從手勢庫中匹配已定義的手勢，若匹配成功，則發(fā)送相應(yīng)消息命令至顯示墻并清空緩存隊列Q，轉(zhuǎn)步驟2繼續(xù)采集下一個輸入手勢，若匹配失敗，則刪除隊列Q的隊尾元素并轉(zhuǎn)步驟2繼續(xù)采集下一個輸入手勢。
[0031]附圖2給出了本發(fā)明一種基于Kinect手勢控制顯示墻方法中7種不同手勢控制顯不墻的另一實施例。
[0032]Kinect擺放高度與用戶肩部齊平，用戶面對Kinect站立2至3米為宜，確保Kinect在視角下能夠識別人體并捕捉采集用戶動作，同時確保Kinect視角下無其他人干擾。`
[0033]在部署好顯示墻窗口顯示以及Kinect擺放位置后，用戶就可以用手勢控制顯示墻窗口。
[0034]當(dāng)用戶將左手自然舉起保持在胸前位置，并勻速向左移動0.5秒到1.0秒至左手自然伸直狀態(tài)后，完成向左切換手勢；與此同時顯示墻將操作目標(biāo)窗口改變?yōu)樵诋?dāng)前的操作目標(biāo)窗口左側(cè)且距離最近的窗口，如果左側(cè)無窗口，則忽略此操作。
[0035]當(dāng)用戶將右手自然舉起保持在胸前位置，并勻速向右移動0.5秒到1.0秒至右手自然伸直狀態(tài)后，完成向右切換手勢；與此同時顯示墻將操作目標(biāo)窗口改變?yōu)樵诋?dāng)前的操作目標(biāo)窗口右側(cè)且距離最近的窗口，如果右側(cè)無窗口，則忽略此操作。
[0036]當(dāng)用戶將右手自然舉起保持在胸前位置，勻速向前推出0.5到1.0秒至自然伸直狀態(tài)后，完成選中手勢；與此同時顯示墻將選中當(dāng)前操作目標(biāo)窗口，以便進(jìn)行下一步移動手勢。
[0037]當(dāng)用戶完成選中手勢之后，將自然伸直的右手在胸前以0.3米/秒至0.5米/秒的速度任意移動，則完成移動手勢；與此同時顯示墻將根據(jù)用戶右手移動位置實時顯示當(dāng)前操作目標(biāo)窗口的位置。
[0038]當(dāng)用戶完成移動手勢之后，保持右手不動，將左手自然舉起保持在胸前位置并勻速0.5至1.0秒舉起高至向上伸直，則完成取消手勢；與此同時顯示墻將停止對當(dāng)前操作目標(biāo)窗口的移動。
[0039]當(dāng)用戶將雙手自然向胸口方向舉起并靠攏在胸前位置，然后同時沿水平方向向兩側(cè)勻速移動0.5至3.0秒，則完成放大手勢；與此同時顯示墻將以一定比率放大顯示當(dāng)前操作目標(biāo)窗口。
[0040]當(dāng)用戶將雙手自然向兩側(cè)舉起并保持在水平位置，然后同時沿水平方向向內(nèi)側(cè)勻速移動0.5至3.0秒，則完成縮小手勢；與此同時顯示墻將以一定比率縮小顯示當(dāng)前操作目標(biāo)窗口。
[0041]在手勢控制顯示墻交互過程中，將窗口移動至顯示墻特定位置需要用戶使用選中、移動、取消三種手勢配合使用完成。
[0042]本發(fā)明將Kinect采集的用戶動作用于顯示墻窗口控制，操作方式更加直觀方便，可以代替后臺傳統(tǒng)鼠標(biāo)鍵盤控制的交互；同時本發(fā)明設(shè)計的7種手勢易學(xué)易用，擁有直觀的交互圖，基本覆蓋了顯示墻窗口布局操作的需求；手勢識別算法簡單實用，處理響應(yīng)速度較快，能夠滿足實時的人機(jī)交互體驗。如果用戶想要加強(qiáng)交互體驗，我們推薦用戶加入Kinect的麥克風(fēng)陣列進(jìn)行語音識別。
【權(quán)利要求】
1.一種基于Kinect手勢控制顯示墻的方法，其特征在于:采用Kinect采集用戶雙手動作，通過特定的手勢識別算法識別出手勢，并用識別出的手勢對顯示墻中的窗口實施控制操作，所述的手勢識別算法包含以下步驟: 步驟1.令Q=汜，F(xiàn)2，…，F(xiàn)J為Kinect采集到的各幀中雙手空間坐標(biāo)數(shù)據(jù)的緩存隊列，其中Fi=Kxu, yL1.zu), (xEi, yEi, zEi), tj，(xLi, yLi, zLi)為第i幀中左手的空間坐標(biāo)數(shù)據(jù)，(xEi, yEi, zEi)為第i幀中右手的空間坐標(biāo)數(shù)據(jù)，\為該幀的采樣時刻； 步驟2.每當(dāng)Kinect采集到新的一幀數(shù)據(jù)Fn后,將其放入隊列Q中并計算1^-1^,若結(jié)果大于I秒，則認(rèn)為隊列Q已滿，轉(zhuǎn)步驟3 ;否則繼續(xù)采集下一幀的數(shù)據(jù)； 步驟3.根據(jù)隊列中的元素計算下述結(jié)果:隊首元素左右手空間坐標(biāo)的距離D1=SQRTGXLn_XEn) 2+ (Υ^Υεπ) 2+ (zLrTzEn) ^、隊尾兀素左右手空間坐標(biāo)的距尚 D2=SQRT ( (XL1_XR1) 2+ (yL「yRI)2+ (zL1-zRi)2)、整個隊列中左手的移動距尚 D3=SQRT ((xLn-xL1)2+ (yLn-yL1)2+ (zLn-zL1)2)、整個隊列中右手的移動距離D4=SQRT ( (Xeh-Xei) 2+ (Ysn-YE1)2+ (Zeh-Zei) 2)、整個隊列中左手移動的單位方向向量((XLn-Xu)/D3, (yLn-yL1)/D3, (zLn-zL1)/D3)以及整個隊列中右手移動的單位方向向量((xKn_xK1)/D4, (yEn-yE1)/D4, (zEn-zE1)/D4)； 步驟4.根據(jù)步驟3的計算結(jié)果，從手勢庫中匹配已定義的手勢，若匹配成功，則發(fā)送相應(yīng)消息命令至顯示墻并清空緩存隊列Q，轉(zhuǎn)步驟2繼續(xù)采集下一個輸入手勢，若匹配失敗，則刪除隊列Q的隊尾元素并轉(zhuǎn)步驟2繼續(xù)采集下一個輸入手勢。
2.根據(jù)權(quán)利要求1所述的一種基于Kinect手勢控制顯示墻的方法，其特征在于:所述的控制操作包括了向左切換、向右切換、選中、取消、移動、放大、縮小共7種手勢。
3.根據(jù)權(quán)利要求1所述的一種基于Kinect手勢控制顯示墻的方法，其特征在于:所述的向左切換手勢用于將操作目標(biāo)窗口改變?yōu)樵诋?dāng)前的操作目標(biāo)窗口左側(cè)且距離最近的窗口，該手勢的定義如下:左手自然舉起保持在胸前位置，勻速向左移動至自然伸直狀態(tài)，整個移動過程應(yīng)在0.5至1.0秒之間完成。
4.根據(jù)權(quán)利要求1所述的一種基于Kinect手勢控制顯示墻的方法，其特征在于:所述的向右切換手勢用于將操作目標(biāo)窗口改變?yōu)樵诋?dāng)前的操作目標(biāo)窗口右側(cè)且距離最近的窗口，該手勢的定義如下:右手自然舉起保持在胸前位置，勻速向右移動至自然伸直狀態(tài)，整個移動過程應(yīng)在0.5至1.0秒之間完成。
5.根據(jù)權(quán)利要求1所述的一種基于Kinect手勢控制顯示墻的方法，其特征在于:所述的選中手勢用于選中當(dāng)前操作目標(biāo)窗口，該手勢定義如下:右手自然舉起保持在胸前位置，勻速向前推出至自然伸直狀態(tài)，整個推出過程應(yīng)在0.5至1.0秒之間完成。
6.根據(jù)權(quán)利要求1所述的一種基于Kinect手勢控制顯示墻的方法，其特征在于:所述的取消手勢用于取消當(dāng)前操作目標(biāo)窗口的選中狀態(tài)，該手勢操作如下:左手自然舉起保持在胸前位置，保持右手不動，左手勻速舉高至向上伸直，整個左手舉起過程在0.5至1.0秒之間完成。
7.根據(jù)權(quán)利要求1所述的一種基于Kinect手勢控制顯示墻的方法，其特征在于:所述的移動手勢用于移動當(dāng)前選中的操作目標(biāo)窗口，該手勢定義如下:將自然伸直的右手在胸前任意移動，移動速度應(yīng)保持在0.3米/秒至0.5米/秒之間。
8.根據(jù)權(quán)利要求1所述的一種基于Kinect手勢控制顯示墻的方法，其特征在于:所述的放大手勢用于放大顯示操作目標(biāo)窗口，該手勢的定義如下:雙手自然向胸口方向舉起并靠攏在胸前位置，然后同時沿水平方向向兩側(cè)勻速移動，整個移動過程應(yīng)在0.5至3.0秒之間完成。
9.根據(jù)權(quán)利要 求1所述的一種基于Kinect手勢控制顯示墻的方法，其特征在于:所述的縮小手勢用于縮小顯示操作目標(biāo)窗口，該手勢的定義如下:雙手自然向兩側(cè)舉起并保持在水平位置，然后同時沿水平方向向內(nèi)側(cè)勻速移動，整個移動過程應(yīng)在0.5至3.0秒之間完成。
【文檔編號】G06F3/01GK103713741SQ201410007648
【公開日】2014年4月9日 申請日期:2014年1月8日 優(yōu)先權(quán)日:2014年1月8日
【發(fā)明者】樓奕華, 張海闊, 吳文峻 申請人:北京航空航天大學(xué)