專(zhuān)利名稱(chēng)：基于視頻流的對(duì)變形手勢(shì)進(jìn)行跟蹤的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理、模式識(shí)別、人機(jī)交互等技術(shù)領(lǐng)域，尤其涉及一種基于視頻流的對(duì)變形手勢(shì)進(jìn)行跟蹤的方法。
背景技術(shù)：
基于計(jì)算機(jī)視覺(jué)的人機(jī)手勢(shì)交互，其核心是利用計(jì)算機(jī)視覺(jué)、圖像處理、模式識(shí)別等技術(shù)，對(duì)攝像頭采集到的視頻序列中的幀圖像進(jìn)行檢測(cè)、跟蹤和識(shí)別，得到人們的各種手勢(shì)，并對(duì)該手勢(shì)所表示的行為進(jìn)行理解和響應(yīng)。近些年來(lái)，隨著計(jì)算機(jī)視覺(jué)和模式識(shí)別技術(shù)的不斷發(fā)展，手勢(shì)交互技術(shù)已經(jīng)應(yīng)用到了電視遙控、視頻游戲、視頻會(huì)議等領(lǐng)域中，給人們的生活和娛樂(lè)帶來(lái)了極大的便利?；谟?jì)算機(jī)視覺(jué)的手勢(shì)交互是先進(jìn)人機(jī)交互領(lǐng)域中的一項(xiàng)關(guān)鍵技術(shù)，也是當(dāng)前的一個(gè)比較熱門(mén)的研究課題。國(guó)內(nèi)外已有很多的學(xué)者在這個(gè)領(lǐng)域取得了一定的成果，然而這項(xiàng)技術(shù)尚未完善。在手勢(shì)交互技術(shù)研究的早期，基于數(shù)據(jù)手套的手勢(shì)識(shí)別研究較多，但是隨著用戶(hù)要求的不斷提高和科學(xué)技術(shù)的不斷發(fā)展，基于視覺(jué)的手勢(shì)識(shí)別逐步凸顯它的優(yōu)越性。因?yàn)?，基于視覺(jué)的手勢(shì)識(shí)別在一定程度上為使用者提供了更加自然，更加直接的人機(jī)交互方式。對(duì)于一個(gè)基于計(jì)算機(jī)視覺(jué)的手勢(shì)交互系統(tǒng)，由于研究人員為了處理方便，往往會(huì)對(duì)使用者進(jìn)行限制，例如，對(duì)手勢(shì)的形狀進(jìn)行限制，在手勢(shì)移動(dòng)過(guò)程中需要用戶(hù)的手一直處于張開(kāi)狀態(tài)并且與攝像頭保持平行。然而，過(guò)多類(lèi)似的限制就會(huì)對(duì)手勢(shì)動(dòng)作的內(nèi)容提出很高的限定性，不利于深入拓展復(fù)雜的手勢(shì)識(shí)別。對(duì)于一個(gè)基于計(jì)算機(jī)視覺(jué)的手勢(shì)交互系統(tǒng)，對(duì)手勢(shì)的快速跟蹤是整個(gè)過(guò)程的重要基礎(chǔ)，也是研究的熱點(diǎn)和難點(diǎn)。雖然手勢(shì)識(shí)別技術(shù)研究已經(jīng)取得了很大的進(jìn)步，但是距離性能穩(wěn)定、可靠的要求還有一定的距離，它存在若干難點(diǎn)和亟待解決的問(wèn)題。首先，如何應(yīng)對(duì)變化的環(huán)境，例如，光線(xiàn)、背景、視角等，這也是計(jì)算機(jī)視覺(jué)領(lǐng)域常見(jiàn)的問(wèn)題；其次，如何應(yīng)對(duì)人手的各種變形，人手是最為靈活的器官之一，有很高的自由度，能否在人手任意變化的情況下都能識(shí)別出各種手勢(shì)是很關(guān)鍵的問(wèn)題，在利用手勢(shì)進(jìn)行交互的過(guò)程中，如果過(guò)多的限制人手的形狀和運(yùn)動(dòng)方式，必將給使用者帶來(lái)不適，也不滿(mǎn)足自然、舒適、和諧的初衷。

發(fā)明內(nèi)容
(一)要解決的技術(shù)問(wèn)題有鑒于此，本發(fā)明的主要目的是提供一種基于視頻流的對(duì)變形手勢(shì)進(jìn)行跟蹤的方法，以在普通單目攝像頭下，對(duì)任意變化的人手進(jìn)行實(shí)時(shí)跟蹤，在嘈雜的背景下和大面積膚色干擾的情況下，都能魯棒和快速的跟蹤人手的位置。( 二 )技術(shù)方案為達(dá)到上述目的，本發(fā)明提供了一種基于視頻流的對(duì)變形手勢(shì)進(jìn)行跟蹤的方法，包括獲取幀圖像，并從獲取的幀圖像中提取包含人手的子圖像；從該包含人手的子圖像中選取特征跟蹤點(diǎn)，并利用該包含人手的子圖像對(duì)連續(xù)自適應(yīng)均值漂移(Camshift)
4跟蹤器進(jìn)行初始化；對(duì)選取的特征跟蹤點(diǎn)進(jìn)行光流計(jì)算，作為局部跟蹤結(jié)果，同時(shí)利用 Camshift跟蹤器對(duì)人手進(jìn)行整體跟蹤，作為全局跟蹤結(jié)果；對(duì)特征跟蹤點(diǎn)進(jìn)行更新；以及以光流跟蹤的結(jié)果作為變形手勢(shì)的最終輸出結(jié)果。(三)有益效果本發(fā)明提供的基于視頻流的對(duì)變形手勢(shì)進(jìn)行跟蹤的方法，是針對(duì)任意變化的手型進(jìn)行跟蹤，其具有的有益效果如下首先，由于采用了膚色特征角點(diǎn)的光流計(jì)算進(jìn)行跟蹤，所以消除了背景變化和大面積膚色的干擾；其次，由于采用了膚色特征角點(diǎn)和連續(xù)自適應(yīng)均值漂移整體控制的局部加全局的策略，充分利用到了兩種方法的優(yōu)點(diǎn)，使對(duì)變形人手的跟蹤更為魯棒；最后，由于采用了特征點(diǎn)實(shí)時(shí)更新的策略，所以能夠在手型劇烈變化下進(jìn)行實(shí)時(shí)跟蹤，特征點(diǎn)的更新策略充分利用到了運(yùn)動(dòng)預(yù)測(cè)和連續(xù)自適應(yīng)均值漂移全局的控制，使特征點(diǎn)的更新更為精確和可靠。總之，本發(fā)明提供的基于視頻流的對(duì)變形手勢(shì)進(jìn)行跟蹤的方法，在普通單目攝像頭下，能夠?qū)θ我庾兓娜耸诌M(jìn)行實(shí)時(shí)跟蹤，在嘈雜的背景下和大面積膚色干擾的情況下， 都能魯棒和快速的跟蹤人手的位置，實(shí)現(xiàn)了實(shí)時(shí)的、魯棒的手勢(shì)跟蹤。


圖1是依照本發(fā)明實(shí)施例的基于視頻流的對(duì)變形手勢(shì)進(jìn)行跟蹤的方法流程圖；圖2是光流跟蹤結(jié)果與Camshift跟蹤器之間相互作用的示意圖；圖3是運(yùn)動(dòng)預(yù)測(cè)的示意圖。
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。圖1示出了依照本發(fā)明實(shí)施例的基于視頻流的對(duì)變形手勢(shì)進(jìn)行跟蹤的方法流程圖，其具體步驟如下步驟1 獲取幀圖像，并從獲取的幀圖像中提取包含人手的子圖像。采用單目攝像頭獲取幀圖像，并運(yùn)用檢測(cè)算法從獲取的幀圖像中提取包含人手的子圖像。此步驟是要選定跟蹤目標(biāo)，本實(shí)施例利用自動(dòng)的選取方法，將人手作為跟蹤目標(biāo)。步驟2 從該包含人手的子圖像中選取特征跟蹤點(diǎn)，并利用該包含人手的子圖像對(duì)Camshift跟蹤器進(jìn)行初始化。在利用光流進(jìn)行跟蹤的實(shí)現(xiàn)過(guò)程中，計(jì)算每一個(gè)像素點(diǎn)的光流實(shí)際上是沒(méi)有必要的，跟蹤的目的是想知道目標(biāo)的移動(dòng)方向和位置，所以本實(shí)施例是選擇一些有代表性的像素點(diǎn)作為特征點(diǎn)進(jìn)行光流跟蹤，在這里選擇包含人手的子圖像上面的一些包含豐富紋理信息的角點(diǎn)作為跟蹤點(diǎn)，這樣就融合了紋理和膚色信息，在一定程度上可以與背景點(diǎn)和其他膚色干擾點(diǎn)做出區(qū)分，在這里從包含人手的子圖像中選擇強(qiáng) Harris特征角點(diǎn)作為跟蹤點(diǎn)；在選取特征跟蹤點(diǎn)的同時(shí)，利用檢測(cè)到的包含人手的子圖像對(duì)Camshift跟蹤器進(jìn)行初始化，作為一個(gè)全局跟蹤的約束，而光流特征點(diǎn)作為局部跟蹤的約束。
步驟3 對(duì)選取的特征跟蹤點(diǎn)進(jìn)行光流計(jì)算，作為局部跟蹤結(jié)果，同時(shí)利用 Camshift跟蹤器對(duì)人手進(jìn)行整體跟蹤，作為全局跟蹤結(jié)果。本實(shí)施例采用局部跟蹤加全局約束的融合策略，即采用人手上的特征點(diǎn)作為局部跟蹤目標(biāo)，采用Camshift針對(duì)人手進(jìn)行全局的跟蹤約束，控制特征點(diǎn)的更新范圍。本實(shí)施例選取30個(gè)哈里斯(Harris)特征點(diǎn)并且是膚色的像素點(diǎn)進(jìn)行稀疏點(diǎn)光流計(jì)算，這里稀疏點(diǎn)光流計(jì)算使用的是Lucas-Kanade算法；采用稀疏點(diǎn)光流計(jì)算進(jìn)行手勢(shì)跟蹤，一方面滿(mǎn)足了跟蹤的需求，另一方面極大的加快了跟蹤的速度。利用初始化的膚色模型，Camshift跟蹤器對(duì)人手進(jìn)行整體跟蹤。步驟4 對(duì)特征跟蹤點(diǎn)進(jìn)行更新。利用光流特征跟蹤點(diǎn)在前后兩幀的位置關(guān)系統(tǒng)計(jì)出人手的運(yùn)動(dòng)方向和大小，結(jié)合Camshift跟蹤結(jié)果的整體性約束，對(duì)跟蹤特征點(diǎn)進(jìn)行更新，刪除那些由于人手變形造成的丟失的特征點(diǎn)，添加一些新的特征點(diǎn)，使得特征點(diǎn)的總數(shù)保持30個(gè)。步驟5 輸出跟蹤結(jié)果。整個(gè)跟蹤方法以光流跟蹤的結(jié)果作為變形手勢(shì)的最終輸
出結(jié)果ο在利用光流進(jìn)行跟蹤的實(shí)現(xiàn)過(guò)程中，計(jì)算每一個(gè)像素點(diǎn)的光流實(shí)際上是沒(méi)有必要的，因?yàn)楸緦?shí)施例只需要知道目標(biāo)的整體移動(dòng)方向和位置，如果計(jì)算全圖光流的話(huà)，速度也會(huì)大大的降低。所以，本實(shí)施例要選擇一些有代表性的像素點(diǎn)作為跟蹤點(diǎn)進(jìn)行光流計(jì)算。 考慮到本實(shí)施例是對(duì)人手進(jìn)行實(shí)時(shí)跟蹤，本實(shí)施例可以選擇人手上面的一些包含豐富紋理信息的角點(diǎn)作為特征跟蹤點(diǎn)，這樣一來(lái)本實(shí)施例就融合了紋理和膚色信息，在一定程度上可以與背景點(diǎn)和其他膚色干擾點(diǎn)做出區(qū)分。在這里采用強(qiáng)Harris特征點(diǎn)作為特征跟蹤點(diǎn)， 強(qiáng)Harris特征點(diǎn)實(shí)際上是采用Harris特征點(diǎn)的思想，在圖像鄰域內(nèi)選擇特征最強(qiáng)的那些角點(diǎn)作為特征跟蹤點(diǎn)。采用強(qiáng)Harris特征點(diǎn)方法，在包含手勢(shì)的子圖像內(nèi)選擇特征較強(qiáng)的 Harris特征點(diǎn)，在這些Harris特征點(diǎn)內(nèi)再篩選是膚色特征點(diǎn)的像素點(diǎn)作為跟蹤的目標(biāo)，即特征跟蹤點(diǎn)。因此，圖1中所述從該包含人手的子圖像中選取特征跟蹤點(diǎn)的具體實(shí)現(xiàn)步驟如下步驟1 在包含人手的子圖像的檢測(cè)框內(nèi)選取若干Harris特征點(diǎn)，作為特征跟蹤點(diǎn)的備選對(duì)象；步驟2 從選取的若干Harris特征點(diǎn)選出膚色特征點(diǎn)，刪除非膚色特征點(diǎn)；步驟3 對(duì)選出的膚色特征點(diǎn)進(jìn)行篩選，首先選取位置處于中心地帶的一個(gè)膚色特征點(diǎn)，然后通過(guò)距離閾值的判斷，以此點(diǎn)為中心往四周擴(kuò)散，再選取若干特征較強(qiáng)的膚色特征點(diǎn)，保證這些點(diǎn)分布比較均勻；步驟4 選取30個(gè)分布均勻的膚色特征點(diǎn)，然后針對(duì)這些膚色特征點(diǎn)進(jìn)行光流跟
S示ο圖1中所述利用Camshift跟蹤器對(duì)人手進(jìn)行整體跟蹤，采用的是Camshift跟蹤算法，該Camshift跟蹤算法是以均值漂移(Mear^hift)算法為基礎(chǔ)的一種跟蹤算法，在建立好跟蹤模型之后，對(duì)以后的每一幀圖像，Camshift跟蹤器能夠自動(dòng)調(diào)節(jié)搜索框的大小和位置，利用當(dāng)前幀的跟蹤結(jié)果去預(yù)測(cè)下一幀圖像中目標(biāo)的中心和大小。Camshift跟蹤算法是一種動(dòng)態(tài)變化分布的密度函數(shù)估計(jì)的非參數(shù)方法。為了減少光照的影響，Camshift跟蹤算法一般將顏色空間轉(zhuǎn)換到HSV空間，并使用H通道的信息。Camshift跟蹤算法可以分為以下幾個(gè)步驟
步驟1 初始化跟蹤目標(biāo)的搜索框大??；步驟2 計(jì)算目標(biāo)顏色概率分布情況；步驟3 運(yùn)行Mear^hift獲得搜索窗口新的大小和位置；步驟4 重新設(shè)定搜索窗口大小，并輸出參數(shù)；步驟5 將當(dāng)前幀的跟蹤結(jié)果賦值給下一幀并進(jìn)行下一幀循環(huán)。圖1中所述在對(duì)特征跟蹤點(diǎn)進(jìn)行更新的步驟中，利用光流跟蹤結(jié)果和Camshift 相結(jié)合排除大面積膚色干擾。圖2示出了光流跟蹤結(jié)果與Camshift跟蹤器之間相互作用的示意圖。Camshift的跟蹤僅僅依靠膚色特征，這樣一來(lái)很容易受到其他大面積膚色物體的干擾，尤其是當(dāng)人手和人臉有重疊時(shí)，Camshift便漂移到人臉上去。為了能夠除去這種干擾，考慮到光流跟蹤幾乎不受人臉的影響，本實(shí)施例添加了一個(gè)判斷機(jī)制，即在每一幀對(duì) Camshift跟蹤中心與光流跟蹤中心之間的距離d進(jìn)行判斷，當(dāng)這個(gè)距離d達(dá)到某一閾值時(shí)， 便利用光流跟蹤的結(jié)果對(duì)Camshift跟蹤器重定位，在人手離開(kāi)與人臉的重疊區(qū)時(shí)，就可以把Camshift “拉到”人手上來(lái)，從而擺脫了人臉的影響。圖1中所述在對(duì)特征跟蹤點(diǎn)進(jìn)行更新的步驟中，利用光流特征跟蹤點(diǎn)在前后兩幀的位置關(guān)系統(tǒng)計(jì)出人手的運(yùn)動(dòng)方向和大小，即人手運(yùn)動(dòng)預(yù)測(cè)的具體實(shí)現(xiàn)采用了運(yùn)動(dòng)預(yù)測(cè)的機(jī)制，該運(yùn)動(dòng)預(yù)測(cè)的機(jī)制基于對(duì)相鄰兩幀內(nèi)若干特征點(diǎn)的運(yùn)動(dòng)向量的統(tǒng)計(jì)，如圖3所示，圖 3所示為人手運(yùn)動(dòng)預(yù)測(cè)的示意圖。已知這個(gè)運(yùn)動(dòng)向量，本實(shí)施例可以用這些運(yùn)動(dòng)向量來(lái)估計(jì)一個(gè)整體的運(yùn)動(dòng)方向和大小，計(jì)算方法如下其中，Vi表示某一特征點(diǎn)前后兩幀的運(yùn)動(dòng)矢量，η表示特征點(diǎn)的總數(shù)目，歸一化的向量V表示對(duì)人手運(yùn)動(dòng)方向和大小的預(yù)估，i表示特征點(diǎn)的序號(hào)?；诖?，本實(shí)施例中對(duì)特征跟蹤點(diǎn)進(jìn)行更新，具體包括步驟1 根據(jù)人手運(yùn)動(dòng)預(yù)測(cè)的結(jié)果獲得人手的大致運(yùn)動(dòng)速度和方向，利用這個(gè)運(yùn)動(dòng)向量乘以一個(gè)放縮因子生成一個(gè)矩形框；步驟2 將生成的矩形框與Camshift跟蹤結(jié)果進(jìn)行對(duì)比，計(jì)算出重疊的那部分區(qū)域；步驟3 在重疊的那部分區(qū)域中選擇若干新的膚色特征點(diǎn)作為備選特征跟蹤點(diǎn)；步驟4 在備選特征跟蹤點(diǎn)中選擇若干位于區(qū)域中心的像素點(diǎn)作為新的特征跟蹤點(diǎn)添加到特征跟蹤點(diǎn)集中，使得特征跟蹤點(diǎn)總數(shù)目為30個(gè)。以上所述的具體實(shí)施例，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說(shuō)明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種基于視頻流的對(duì)變形手勢(shì)進(jìn)行跟蹤的方法，其特征在于，包括獲取幀圖像，并從獲取的幀圖像中提取包含人手的子圖像；從該包含人手的子圖像中選取特征跟蹤點(diǎn)，并利用該包含人手的子圖像對(duì)連續(xù)自適應(yīng)均值漂移跟蹤器進(jìn)行初始化；對(duì)選取的特征跟蹤點(diǎn)進(jìn)行光流計(jì)算，作為局部跟蹤結(jié)果，同時(shí)利用連續(xù)自適應(yīng)均值漂移跟蹤器對(duì)人手進(jìn)行整體跟蹤，作為全局跟蹤結(jié)果；對(duì)特征跟蹤點(diǎn)進(jìn)行更新；以及以光流跟蹤的結(jié)果作為變形手勢(shì)的最終輸出結(jié)果。
2.根據(jù)權(quán)利要求1所述的基于視頻流的對(duì)變形手勢(shì)進(jìn)行跟蹤的方法，其特征在于，所述獲取幀圖像，并從獲取的幀圖像中提取包含人手的子圖像的步驟中，采用單目攝像頭獲取幀圖像，并運(yùn)用檢測(cè)算法從獲取的幀圖像中提取包含人手的子圖像。
3.根據(jù)權(quán)利要求1所述的基于視頻流的對(duì)變形手勢(shì)進(jìn)行跟蹤的方法，其特征在于，所述從該包含人手的子圖像中選取特征跟蹤點(diǎn)的步驟中，選取包含人手的子圖像中的包含豐富紋理信息的強(qiáng)哈里斯Harris特征點(diǎn)作為跟蹤點(diǎn)，以融合紋理和膚色信息，并與背景點(diǎn)和其他膚色干擾點(diǎn)做出區(qū)分。
4.根據(jù)權(quán)利要求1或3所述的基于視頻流的對(duì)變形手勢(shì)進(jìn)行跟蹤的方法，其特征在于， 所述從該包含人手的子圖像中選取特征跟蹤點(diǎn)，具體包括在包含人手的子圖像的檢測(cè)框內(nèi)選取若干Harris特征點(diǎn)，作為特征跟蹤點(diǎn)的備選對(duì)象；從選取的若干Harris特征點(diǎn)選出膚色特征點(diǎn)，刪除非膚色特征點(diǎn)；對(duì)選出的膚色特征點(diǎn)進(jìn)行篩選，首先選取位置處于中心地帶的一個(gè)膚色特征點(diǎn)，然后通過(guò)距離閾值的判斷，以此點(diǎn)為中心往四周擴(kuò)散，再選取若干特征較強(qiáng)的膚色特征點(diǎn)，保證這些點(diǎn)分布比較均勻；以及選取30個(gè)分布均勻的膚色特征點(diǎn)，然后針對(duì)這些膚色特征點(diǎn)進(jìn)行光流跟蹤。
5.根據(jù)權(quán)利要求1、3或4所述的基于視頻流的對(duì)變形手勢(shì)進(jìn)行跟蹤的方法，其特征在于，所述在從該包含人手的子圖像中選取特征跟蹤點(diǎn)的同時(shí)，利用檢測(cè)到的包含人手的子圖像對(duì)連續(xù)自適應(yīng)均值漂移跟蹤器進(jìn)行初始化，作為一個(gè)全局跟蹤的約束，而光流特征點(diǎn)作為局部跟蹤的約束。
6.根據(jù)權(quán)利要求1所述的基于視頻流的對(duì)變形手勢(shì)進(jìn)行跟蹤的方法，其特征在于，所述對(duì)選取的特征跟蹤點(diǎn)進(jìn)行光流計(jì)算，是選取30個(gè)Harris特征點(diǎn)并且是膚色的像素點(diǎn)進(jìn)行稀疏點(diǎn)光流計(jì)算，該稀疏點(diǎn)光流計(jì)算使用的是Lucas-Kanade算法。
7.根據(jù)權(quán)利要求1所述的基于視頻流的對(duì)變形手勢(shì)進(jìn)行跟蹤的方法，其特征在于，所述利用連續(xù)自適應(yīng)均值漂移跟蹤器對(duì)人手進(jìn)行整體跟蹤，采用的是連續(xù)自適應(yīng)均值漂移跟蹤算法，該連續(xù)自適應(yīng)均值漂移跟蹤算法是以均值漂移算法為基礎(chǔ)的一種跟蹤算法，在建立好跟蹤模型之后，對(duì)以后的每一幀圖像，連續(xù)自適應(yīng)均值漂移跟蹤器能夠自動(dòng)調(diào)節(jié)搜索框的大小和位置，利用當(dāng)前幀的跟蹤結(jié)果去預(yù)測(cè)下一幀圖像中目標(biāo)的中心和大小。
8.根據(jù)權(quán)利要求1或7所述的基于視頻流的對(duì)變形手勢(shì)進(jìn)行跟蹤的方法，其特征在于， 所述連續(xù)自適應(yīng)均值漂移跟蹤算法是一種動(dòng)態(tài)變化分布的密度函數(shù)估計(jì)的非參數(shù)方法，為了減少光照的影響，連續(xù)自適應(yīng)均值漂移跟蹤算法一般將顏色空間轉(zhuǎn)換到HSV空間，并使用H通道的信息；該連續(xù)自適應(yīng)均值漂移跟蹤算法包括 初始化跟蹤目標(biāo)的搜索框大小； 計(jì)算目標(biāo)顏色概率分布情況； 運(yùn)行均值漂移獲得搜索窗口新的大小和位置； 重新設(shè)定搜索窗口大小，并輸出參數(shù)；以及將當(dāng)前幀的跟蹤結(jié)果賦值給下一幀并進(jìn)行下一幀循環(huán)。
9.根據(jù)權(quán)利要求1所述的基于視頻流的對(duì)變形手勢(shì)進(jìn)行跟蹤的方法，其特征在于，所述對(duì)特征跟蹤點(diǎn)進(jìn)行更新，是利用光流特征跟蹤點(diǎn)在前后兩幀的位置關(guān)系統(tǒng)計(jì)出人手的運(yùn)動(dòng)方向和大小，結(jié)合連續(xù)自適應(yīng)均值漂移跟蹤結(jié)果的整體性約束，對(duì)跟蹤特征點(diǎn)進(jìn)行更新， 刪除那些由于人手變形造成的丟失的特征點(diǎn)，添加一些新的特征點(diǎn)，使得特征點(diǎn)的總數(shù)保持30個(gè)。
10.根據(jù)權(quán)利要求1或9所述的基于視頻流的對(duì)變形手勢(shì)進(jìn)行跟蹤的方法，其特征在于，所述在對(duì)特征跟蹤點(diǎn)進(jìn)行更新的步驟中，利用光流跟蹤結(jié)果和連續(xù)自適應(yīng)均值漂移相結(jié)合排除大面積膚色干擾，具體是在每一幀對(duì)連續(xù)自適應(yīng)均值漂移跟蹤中心與光流跟蹤中心之間的距離進(jìn)行判斷，當(dāng)這個(gè)距離達(dá)到某一閾值時(shí)，便利用光流跟蹤的結(jié)果對(duì)連續(xù)自適應(yīng)均值漂移跟蹤器重定位，在人手離開(kāi)與人臉的重疊區(qū)時(shí)，就可以把連續(xù)自適應(yīng)均值漂移 “拉到”人手上來(lái)，從而擺脫人臉的影響。
11.根據(jù)權(quán)利要求1或9所述的基于視頻流的對(duì)變形手勢(shì)進(jìn)行跟蹤的方法，其特征在于，所述在對(duì)特征跟蹤點(diǎn)進(jìn)行更新的步驟中，利用光流特征跟蹤點(diǎn)在前后兩幀的位置關(guān)系統(tǒng)計(jì)出人手的運(yùn)動(dòng)方向和大小，人手運(yùn)動(dòng)預(yù)測(cè)的具體實(shí)現(xiàn)采用運(yùn)動(dòng)預(yù)測(cè)的機(jī)制，該運(yùn)動(dòng)預(yù)測(cè)的機(jī)制基于對(duì)相鄰兩幀內(nèi)若干特征點(diǎn)的運(yùn)動(dòng)向量的統(tǒng)計(jì)。
12.根據(jù)權(quán)利要求1所述的基于視頻流的對(duì)變形手勢(shì)進(jìn)行跟蹤的方法，其特征在于，所述對(duì)特征跟蹤點(diǎn)進(jìn)行更新，具體包括根據(jù)人手運(yùn)動(dòng)預(yù)測(cè)的結(jié)果獲得人手的大致運(yùn)動(dòng)速度和方向，利用這個(gè)運(yùn)動(dòng)向量乘以一個(gè)放縮因子生成一個(gè)矩形框；將生成的矩形框與連續(xù)自適應(yīng)均值漂移跟蹤結(jié)果進(jìn)行對(duì)比，計(jì)算出重疊的那部分區(qū)域；在重疊的那部分區(qū)域中選擇若干新的膚色特征點(diǎn)作為備選特征跟蹤點(diǎn)；以及在備選特征跟蹤點(diǎn)中選擇若干位于區(qū)域中心的像素點(diǎn)作為新的特征跟蹤點(diǎn)添加到特征跟蹤點(diǎn)集中，使得特征跟蹤點(diǎn)總數(shù)目為30個(gè)。
全文摘要
本發(fā)明公開(kāi)了一種基于視頻流的對(duì)變形手勢(shì)進(jìn)行跟蹤的方法，包括獲取幀圖像，并從獲取的幀圖像中提取包含人手的子圖像；從該包含人手的子圖像中選取特征跟蹤點(diǎn)，并利用該包含人手的子圖像對(duì)連續(xù)自適應(yīng)均值漂移跟蹤器進(jìn)行初始化；對(duì)選取的特征跟蹤點(diǎn)進(jìn)行光流計(jì)算，作為局部跟蹤結(jié)果，同時(shí)利用連續(xù)自適應(yīng)均值漂移跟蹤器對(duì)人手進(jìn)行整體跟蹤，作為全局跟蹤結(jié)果；對(duì)特征跟蹤點(diǎn)進(jìn)行更新；以及以光流跟蹤的結(jié)果作為變形手勢(shì)的最終輸出結(jié)果。本發(fā)明可以跟蹤任意變化手型的人手，能使人機(jī)手勢(shì)交互以更舒適的方式進(jìn)行操作。針對(duì)任意變化的手型進(jìn)行跟蹤，消除了背景變化和大面積膚色的干擾，實(shí)現(xiàn)了實(shí)時(shí)的、魯棒的手勢(shì)跟蹤。
文檔編號(hào)G06T7/20GK102270348SQ20111024258
公開(kāi)日2011年12月7日 申請(qǐng)日期2011年8月23日 優(yōu)先權(quán)日2011年8月23日
發(fā)明者王陽(yáng)生, 石磊 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所, 北京盛開(kāi)互動(dòng)科技有限公司