人機(jī)交互界面中基于視覺關(guān)注模型的手勢跟蹤方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種人機(jī)交互界面中基于視覺關(guān)注模型的手勢跟蹤方法。
【背景技術(shù)】
[0002] 隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，人與計(jì)算機(jī)的交互活動(dòng)逐漸成為人們?nèi)粘Ｉ畹囊?個(gè)重要組成部分，而符合人際交流習(xí)慣的人機(jī)交互技術(shù)成為當(dāng)前的發(fā)展趨勢。當(dāng)前的人機(jī) 交互技術(shù)已經(jīng)從"以機(jī)器為中心"向"以人為中心"轉(zhuǎn)變，更加注重追求自然的人機(jī)交互風(fēng) 格。
[0003] 手勢是一種自然舒服且符合人們習(xí)慣的交互方式，目前已有很多手勢交互算法用 于來模擬人們的交互機(jī)制，但是都不能真實(shí)的模擬人們的交互行為，后來，人們通過對人類 視覺系統(tǒng)進(jìn)行研宄發(fā)現(xiàn)，面對一個(gè)復(fù)雜的場景，人類視覺關(guān)注系統(tǒng)能快速的將注意力集中 在少數(shù)幾個(gè)顯著的視覺對象上，這個(gè)過程就是視覺關(guān)注。因此，基于視覺的手勢交互可以以 其自然友好的交互方式最符合人類的交互習(xí)慣，從而使得基于視覺的手勢交互成為人機(jī)交 互方面研宄的熱點(diǎn)基于視線跟蹤和基于手勢識(shí)別的人機(jī)交互方式具有自然性、直接性和簡 潔性，可以節(jié)省自然資源，真正實(shí)現(xiàn)和諧自然的人機(jī)交互方式。
[0004] 目前關(guān)于手勢交互算法的研宄已經(jīng)很多，這些算法都可以改善手勢跟蹤的性能， 提高系統(tǒng)的穩(wěn)定性和準(zhǔn)確性，如：MeanShift算法是一種基于核函數(shù)密度估計(jì)得圖像特征 分析方法，該算法因計(jì)算簡單、實(shí)時(shí)性好而得到廣泛應(yīng)用，它主要是神對靜態(tài)的概率密度 分布而設(shè)計(jì)的算法；楊杰提出了一種改進(jìn)的Camshift跟蹤算法，該算法首先進(jìn)行目標(biāo)檢 測，然后確定分割閾值，最后采用Camshift算法進(jìn)行目標(biāo)跟蹤。實(shí)驗(yàn)表明，該算法可以得到 很好的跟蹤效果。HuPeng提出了一種半自動(dòng)化的目標(biāo)分割方法，該方法可以有效地分割出 運(yùn)動(dòng)目標(biāo)并提取其特征。LiangJuan提出了基于Kalman濾波與Camshift相結(jié)合的跟蹤 算法，該算法在目標(biāo)被嚴(yán)重遮擋和顏色干擾的情況下仍可以得到穩(wěn)健地跟蹤。TanWen-jun 提出了將Kalman濾波和膚色模型相結(jié)合的手勢跟蹤算法，該算法采用的膚色模型是YCbCr 空間上的橢圓膚色模型。實(shí)驗(yàn)表明，該算法在手勢運(yùn)動(dòng)過程中的手形變化和軌跡轉(zhuǎn)彎等情 況都能有效的跟蹤手勢。Raskin將高斯動(dòng)態(tài)模型和退火粒子濾波相結(jié)合，以達(dá)到降低狀態(tài) 向量維數(shù)的目的。FengZhi-Quan以行為分析和建模為切入點(diǎn)，提出了基于狀態(tài)微觀結(jié)構(gòu) 的手勢跟蹤算法，該算法可以得到較精確的跟蹤結(jié)果。利用基于高斯采樣的PF(Particle Filter)方法進(jìn)行運(yùn)動(dòng)自然人手的跟蹤研宄，PF算法能夠提高三維手勢的跟蹤精度。盡管 國內(nèi)外對手勢跟蹤的研宄取得了很大進(jìn)展，但是這些算法都是逐幀跟蹤，計(jì)算量非常大，導(dǎo) 致交互效率低下。
[0005] 視覺關(guān)注機(jī)制是一個(gè)復(fù)雜的過程，因其超乎尋常的復(fù)雜性和不確定性，涵蓋了認(rèn) 知科學(xué)、神經(jīng)生物學(xué)、心理學(xué)等多個(gè)學(xué)科。近年來，視覺關(guān)注模型已經(jīng)取得了巨大的進(jìn)展，這 些視覺關(guān)注模型的研宄主要集中在對圖像進(jìn)行處理，得到圖像的色調(diào)、飽和度和亮度特征， 然后對各特征圖進(jìn)行變換，分析目標(biāo)的顯著性，去除冗余背景信息，得到相應(yīng)的顯著圖，最 后根據(jù)顯著圖，對原始圖像進(jìn)行分割，得到目標(biāo)。

【發(fā)明內(nèi)容】

[0006] 為解決以上技術(shù)上的不足，本發(fā)明提供了一種提高人機(jī)交互速度和跟蹤精度的人 機(jī)交互界面中基于視覺關(guān)注模型的手勢跟蹤方法。
[0007] 本發(fā)明是通過以下措施實(shí)現(xiàn)的：
[0008] 本發(fā)明的一種人機(jī)交互界面中基于視覺關(guān)注模型的手勢跟蹤方法，包括以下步 驟：
[0009] 步驟1，將實(shí)驗(yàn)者的一次人機(jī)交互任務(wù)分成四個(gè)階段，分別為手勢平移階段、抓取 物體階段、抓住物體平移階段和釋放物體階段；在實(shí)驗(yàn)者進(jìn)行人機(jī)交互任務(wù)過程中利用眼 動(dòng)儀采集實(shí)驗(yàn)者每個(gè)階段的相關(guān)數(shù)據(jù)；
[0010] 步驟2,根據(jù)步驟1中采集的相關(guān)數(shù)據(jù)分析得出每個(gè)階段的視覺關(guān)注強(qiáng)度P的數(shù) 據(jù)，并對視覺關(guān)注強(qiáng)度P的數(shù)據(jù)分析，歸納出距離Distance與視覺關(guān)注強(qiáng)度P的數(shù)據(jù)之間 的對應(yīng)關(guān)系，其中距離Distance為手勢模型到目標(biāo)位置Goals的距離；在三維場景中目
【主權(quán)項(xiàng)】
1. 一種人機(jī)交互界面中基于視覺關(guān)注模型的手勢跟蹤方法，其特征在于，包括以下步 驟： 步驟1，將實(shí)驗(yàn)者的一次人機(jī)交互任務(wù)分成四個(gè)階段，分別為手勢平移階段、抓取物體 階段、抓住物體平移階段和釋放物體階段；在實(shí)驗(yàn)者進(jìn)行人機(jī)交互任務(wù)過程中利用眼動(dòng)儀 采集實(shí)驗(yàn)者每個(gè)階段的相關(guān)數(shù)據(jù)； 步驟2,根據(jù)步驟1中采集的相關(guān)數(shù)據(jù)分析得出每個(gè)階段的視覺關(guān)注強(qiáng)度P的數(shù)據(jù)，并 對視覺關(guān)注強(qiáng)度P的數(shù)據(jù)分析，歸納出距離Distance與視覺關(guān)注強(qiáng)度P的數(shù)據(jù)之間的對 應(yīng)關(guān)系，其中距離Distance為手勢模型到目標(biāo)位置Goals的距離；在三維場景中目標(biāo)位置 Goals的視覺關(guān)注強(qiáng)度P定義為：
其中T1表示在總時(shí)間T中對目標(biāo)位置Goals 的關(guān)注時(shí)間； 步驟3,根據(jù)各個(gè)階段中距離Distance和視覺關(guān)注強(qiáng)度P的對應(yīng)數(shù)據(jù)，找出視覺關(guān)注強(qiáng) 度P的變化規(guī)律，借用相關(guān)的數(shù)據(jù)分析軟件，得到各個(gè)階段的視覺關(guān)注強(qiáng)度模型； 步驟4,將步驟3得出的視覺關(guān)注強(qiáng)度模型與手勢跟蹤中采用的粒子濾波PF算法相結(jié) 合，找出手勢跟蹤精度A和粒子濾波PF算法中粒子數(shù)Num的關(guān)系，進(jìn)而得出粒子數(shù)Num和 視覺關(guān)注強(qiáng)度P存在的線性關(guān)系，在采用粒子濾波PF算法進(jìn)行運(yùn)算時(shí)，隨著視覺關(guān)注強(qiáng)度 P的變化更新粒子數(shù)Num的值。
2. 根據(jù)權(quán)利要求1所述手勢交互界面中三維手勢的視覺關(guān)注分布模型構(gòu)建方法， 其特征在于：在步驟3中，手勢平移階段和抓住物體平移階段的視覺關(guān)注強(qiáng)度模型T為：
其中，X為手勢模型到目標(biāo)位置Goals的距離Distance，t (X)表示Distance對應(yīng)的視 覺關(guān)注強(qiáng)度，apb, c i (1〈 = i〈 = 3)是參數(shù)，且 B1= 0· 1579, b 丨=114. 6, c 丨=21. 43, a 2 =1. 388, b2= -25. 56, c 2= 37. 29, a 3= 0. 7465, b 3= 30. 12, c 3= 24. 67, a 4= 0. 6378, b 4 =57. 04, C4= 17. 71。
3. 根據(jù)權(quán)利要求1所述人機(jī)交互界面中基于視覺關(guān)注模型的手勢跟蹤方法，其特征在 于：在步驟3中，抓取物體階段的視覺關(guān)注強(qiáng)度模型G :g(x) = ρΖ+ρΖ+ρΖ+ρΖ+ρρ+ΡΜ 其中，X為手勢模型到目標(biāo)位置Goals的距離Distance，g(x)表示Distance對應(yīng)的視覺 關(guān)注強(qiáng)度，P i (1〈 = i〈 = 6)是參數(shù)且 P1= 0· 0008501，p 2= -0· 0125, p 3= 0· 06148, p 4 = -〇. 1083, P5= 0. 03885, p 6= 0. 9664。
4. 根據(jù)權(quán)利要求1所述人機(jī)交互界面中基于視覺關(guān)注模型的手勢跟蹤方法，其特征在 于：在步驟3中，釋放物體階段的視覺關(guān)注強(qiáng)度模型R :r(x) = ry+iv^+iv^+iv^+rgX+rj；; 其中，x為手勢模型到目標(biāo)位置Goals的距離Distance，r (X)表示Distance對應(yīng)的視覺 關(guān)注強(qiáng)度，A (1〈 = i〈 = 6)是參數(shù)且 A= 0· 000799, r 2= -0· 01286, r 3= 0· 07247, r 4 =-0. 1658, r5= 0. 1307, r6= 0. 9641〇
5. 根據(jù)權(quán)利要求1所述人機(jī)交互界面中基于視覺關(guān)注模型的手勢跟蹤方法，其特征在 于：在步驟4中，手勢跟蹤精度A和粒子數(shù)Num的關(guān)系式：A = f(Num);粒子數(shù)Num和P存 在的線性關(guān)系式
【專利摘要】本發(fā)明的人機(jī)交互界面中基于視覺關(guān)注模型的手勢跟蹤方法，首先，通過眼動(dòng)儀實(shí)現(xiàn)了對人眼視線變化過程準(zhǔn)確追蹤；然后，對眼動(dòng)儀輸出的數(shù)據(jù)進(jìn)行分析，建立操作者對有關(guān)事件的視覺關(guān)注模型；最后，以視覺關(guān)注模型為基礎(chǔ)，設(shè)計(jì)三維手勢跟蹤算法。核心在于獲取操作者在三維場景中的視覺關(guān)注模型。本發(fā)明的有益效果是：將視覺關(guān)注與人機(jī)交互相結(jié)合，能夠呈現(xiàn)人類的視覺規(guī)律，更加注重追求自然的人機(jī)交互風(fēng)格，而且通過用戶在人機(jī)交互過程中的視覺關(guān)注分布規(guī)律來突破了目前存在的手勢跟蹤速度的瓶頸問題。通過引入視覺關(guān)注機(jī)制，降低了平均運(yùn)行時(shí)間，提高了人機(jī)交互效率、人機(jī)交互速度和手勢跟蹤精度。
【IPC分類】G06K9-00
【公開號】CN104766054
【申請?zhí)枴緾N201510137223
【發(fā)明人】馮志全, 何娜娜
【申請人】濟(jì)南大學(xué)
【公開日】2015年7月8日
【申請日】2015年3月26日