一種基于在線機器學(xué)習(xí)的視覺人手跟蹤方法
【專利摘要】本發(fā)明公開了一種基于在線機器學(xué)習(xí)的視覺人手跟蹤方法，本發(fā)明屬于智能人機交互領(lǐng)域。本方法為：1)在人手圖像中圈定人手目標(biāo)；2)對圖像進行特征提取，訓(xùn)練霍夫森林檢測器；同時在目標(biāo)窗口中進行特征點檢測來初始化子跟蹤器中的特征點群；3)對于后續(xù)拍攝的每一幀圖像，進行特征提取，然后利用霍夫森林檢測器在局部搜索窗口中進行人手檢測，確定當(dāng)前幀的目標(biāo)窗口；如果檢測失敗，則采用子跟蹤器估計的上一幀處于目標(biāo)上的特征點在當(dāng)前幀的位置，得到成功跟蹤的特征點，如果成功跟蹤的特征點數(shù)相對于特征點群總特征點數(shù)比例大于設(shè)定閾值，則認(rèn)為跟蹤有效，反之子跟蹤器跟蹤無效。本方法實現(xiàn)跟蹤器和檢測器的互補，來獲得更加魯棒的跟蹤結(jié)果。
【專利說明】—種基于在線機器學(xué)習(xí)的視覺人手跟蹤方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于視覺目標(biāo)跟蹤和智能人機交互領(lǐng)域，具體涉及一種魯棒的基于在線機器學(xué)習(xí)的視覺人手跟蹤算法。
【背景技術(shù)】
[0002]視覺人手跟蹤技術(shù)是一門融合了圖像處理、模式識別、人工智能等許多領(lǐng)域的關(guān)鍵技術(shù)。視覺人手跟蹤技術(shù)廣泛應(yīng)用于視頻監(jiān)控、智能電視、智能機器人等需要人機交互的領(lǐng)域。因為具有巨大的應(yīng)用前景，國際和國內(nèi)對視覺人手跟蹤的研究方興未艾。
[0003]在人機交互環(huán)境下，受日光和燈光的影響，光線變化較大；背景中靜態(tài)干擾物和動態(tài)干擾物形態(tài)各異且運動方式無法預(yù)測；人手與環(huán)境中其他物體之間的相互運動較為復(fù)雜，且容易受到遮擋。面對這些困難，如何實現(xiàn)穩(wěn)定的人手跟蹤，從而進行更智能和穩(wěn)定的人機交互，具有重要的研究意義。
[0004]當(dāng)前視覺人手跟蹤的傳統(tǒng)技術(shù)可以分為基于外觀的方法和基于模型的方法?；谕庥^的方法從圖像中提取特征，與人手具有的特定特征進行匹配，如光流法、均值漂移法、最大穩(wěn)定極值區(qū)域法等?；谀Ｐ偷姆椒ɡ萌耸值?D模型或2D模型估計人手的特征，并與觀測到的特征進行匹配，如粒子濾波、幾何人手模型、圖模型等。上述傳統(tǒng)方法在魯棒性方面依賴于針對特定環(huán)境的多特征的融合，并且缺乏可靠的理論基礎(chǔ)。近年來機器學(xué)習(xí)在機器視覺領(lǐng)域得到了廣泛的研究。基于分類器的目標(biāo)檢測方法為目標(biāo)跟蹤提供了更高的魯棒性。但是單純的目標(biāo)檢測對于簡單的外觀變化如光照變化、快速運動等卻缺乏魯棒性。如何結(jié)合目標(biāo)檢測和目標(biāo)跟蹤的優(yōu)點來達到更高的魯棒性具有重要的理論研究和應(yīng)用意義。

【發(fā)明內(nèi)容】

[0005]針對現(xiàn)有技術(shù)中存在的技術(shù)問題，本發(fā)明的目的在于提供一種基于在線機器學(xué)習(xí)的視覺人手跟蹤方法；本發(fā)明通過在線學(xué)習(xí)將基于分類器的檢測和基于運動連續(xù)性的跟蹤結(jié)合起來，以實現(xiàn)對現(xiàn)實應(yīng)用場景魯棒的人手跟蹤。通過利用霍夫森林分類器(檢測器)對搜索區(qū)域內(nèi)的像素點進行分類，得到對目標(biāo)的保守但穩(wěn)定的估計；利用基于光流法的跟蹤器(稱為子跟蹤器)來對目標(biāo)進行適應(yīng)性較強但欠穩(wěn)定的估計；利用半監(jiān)督學(xué)習(xí)機制將二者結(jié)合得到的跟蹤結(jié)果來產(chǎn)生新的樣本來在線更新霍夫森林檢測器，從而實現(xiàn)跟蹤器和檢測器的互補，來獲得更加魯棒的跟蹤結(jié)果。
[0006]本發(fā)明的技術(shù)內(nèi)容:
[0007]一種基于機器學(xué)習(xí)的魯棒的人手跟蹤方法，主要包括如下步驟:
[0008]1、初始化:用豎立的拳頭面對攝像頭，在圖像中做基于膚色的簡單的人手檢測或手動選擇的方式來圈定人手目標(biāo)。利用獲取的人手目標(biāo)所在窗口(即目標(biāo)窗口)和提取的16通道圖像特征產(chǎn)生正負(fù)樣本，用這些樣本訓(xùn)練霍夫森林檢測器；同時在目標(biāo)窗口中做用于光流法跟蹤的Good-Features-to-Track特征點檢測來初始化跟蹤器中的特征點群。[0009]2、每通過攝像頭獲取一幀新的圖像，先進行特征提取。然后以上幀目標(biāo)窗口的一定鄰域作為當(dāng)前幀的局部搜索窗口，利用霍夫森林檢測器在局部搜索窗口中對每個像素點的特征進行分類，并返回其屬于各類的概率。若像素點屬于人手目標(biāo)的概率大于一定閾值，則認(rèn)為其屬于人手，否則認(rèn)為屬于背景。同時屬于人手目標(biāo)的像素點按照廣義霍夫變換的機制產(chǎn)生對人手目標(biāo)中心的一次投票。最終投票圖的距離上幀目標(biāo)中心位置最近的極值點為檢測目標(biāo)的中心位置，并記錄此極值點的投票值。若極值點投票值小于一定閾值，則認(rèn)為檢測失敗，進一步檢驗步驟3的結(jié)果；否則認(rèn)為檢測成功，上述極值點為有效的目標(biāo)中心的位置。依據(jù)當(dāng)前目標(biāo)中心位置相對于上一幀目標(biāo)中心位置的位移確定當(dāng)前幀的新的目標(biāo)窗□。
[0010]3、基于半監(jiān)督學(xué)習(xí)的機制，與檢測過程并行，采用基于LK光流法的特征群跟蹤器估計上一幀處于目標(biāo)上的特征點在當(dāng)前幀上相對應(yīng)的位置，得到成功跟蹤的特征點。對于跟蹤丟失的特征點用特征點檢測的方法予以補充，得到新的特征點群。如果光流法成功跟蹤的特征點數(shù)相對于特征點群總特征點數(shù)比例大于一定閾值，則認(rèn)為子跟蹤器跟蹤有效；反之認(rèn)為子跟蹤器跟蹤無效，此時若前述檢測成功，則在檢測確定的目標(biāo)窗口中產(chǎn)生新的特征點用于重啟跟蹤器 的跟蹤(即重新初始化跟蹤器的目標(biāo)窗口)。
[0011]4、為產(chǎn)生較精確的霍夫森林檢測器的在線訓(xùn)練的樣本，需要進行目標(biāo)的分割。如果檢測成功，利用檢測到的目標(biāo)中心的位置進行霍夫投票的反向投影，得到“圖割”分割法的種子點，并產(chǎn)生目標(biāo)的分割結(jié)果。基于此分割結(jié)果來定義正負(fù)樣本，從而在線訓(xùn)練霍夫森林分類器。如果檢測失敗，則利用跟蹤器有效跟蹤的特征點作為“圖割”分割法的種子點來進行分割和在線訓(xùn)練。如果檢測和跟蹤都失敗，則當(dāng)前幀不進行在線訓(xùn)練；而在后續(xù)若干幀中進行全圖像的檢測過程，直到成功檢測到目標(biāo)位置，此時利用檢測到的目標(biāo)來重新啟動系統(tǒng)的跟蹤過程。
[0012]具體的，初始化階段本發(fā)明采用基于人臉檢測的膚色提取來初始化人手目標(biāo)。利用基于類Haar特征的Adaboost人臉檢測算法檢測人臉，提取膚色。對非人臉的各膚色區(qū)域做形狀分析，定位初始人手目標(biāo)。
[0013]特征提取模塊提取用于目標(biāo)檢測的16通道(我們對后9個通道做了改進)的特征的方法為:
[0014]I)將攝像機采集的RGB圖像轉(zhuǎn)化到Lab空間提供L、a和b三個通道的特征；
[0015]2)將攝像機采集的RGB圖像轉(zhuǎn)化為灰度圖，對灰度圖求X方向(即水平方向)和y方向(即垂直方向)的一階導(dǎo)數(shù)，在一階導(dǎo)數(shù)的基礎(chǔ)上求二階導(dǎo)數(shù)，從而提供另外四個通道的特征，記為Ix，Iy7 Ιχχ? Iyy ;采用的求導(dǎo)算子為三階的Sobel算子:
[0016]
【權(quán)利要求】
1.一種基于在線機器學(xué)習(xí)的視覺人手跟蹤方法，其步驟為: 1)在拍攝的人手圖像中圈定人手目標(biāo)，并將人手所在窗口作為目標(biāo)窗口； 2)對拍攝的圖像進行特征提取，訓(xùn)練霍夫森林檢測器；同時在目標(biāo)窗口中進行特征點檢測來初始化子跟蹤器中的特征點群； 3)對于后續(xù)拍攝的每一幀圖像，進行特征提取，然后以上一幀目標(biāo)窗口的鄰近設(shè)定范圍為當(dāng)前幀的局部搜索窗口，利用霍夫森林檢測器在局部搜索窗口中進行人手檢測，確定當(dāng)前幀的目標(biāo)窗口 ；如果檢測失敗，則進行步驟4)； 4)采用子跟蹤器估計的上一幀處于目標(biāo)上的特征點在當(dāng)前幀的位置，得到成功跟蹤的特征點，如果成功跟蹤的特征點數(shù)相對于特征點群總特征點數(shù)比例大于設(shè)定閾值，則認(rèn)為跟蹤有效，反之認(rèn)為子跟蹤器跟蹤無效； 其中，如果步驟3)檢測成功，則在當(dāng)前幀的目標(biāo)窗口中產(chǎn)生新的特征點用于重啟跟蹤器的跟蹤；并且對目標(biāo)進行分割，基于此分割結(jié)果在線訓(xùn)練霍夫森林分類器；如果檢測失敗，則利用步驟4)成功跟蹤的特征點對目標(biāo)進行分割，基于此分割結(jié)果進行在線霍夫森林分類器的訓(xùn)練；如果檢測和跟蹤都失敗，則在后續(xù)若干幀中進行全圖像檢測，直到成功檢測出目標(biāo)位置，然后對檢測到的目標(biāo)進行跟蹤。
2.如權(quán)利要求1所述的方法，其特征在于對拍攝的圖像進行特征提取方法為: 21)將拍攝的RGB圖像轉(zhuǎn)化到Lab空間提供L、a和b三個通道的特征； 22)將拍攝的RGB圖像轉(zhuǎn)化為灰度圖，對灰度圖求X方向(即水平方向)和y方向(即垂直方向)的一階導(dǎo)數(shù)，在一階導(dǎo)數(shù)的基礎(chǔ)上求二階導(dǎo)數(shù)，得到另外四個通道的特征，記為Ix, Iy, Ixx, Iyy ； 23)對于灰度圖中每個像素點，求其局部窗口內(nèi)的梯度方向直方圖特征:梯度的方向Ang和大小Mag ； 24)將O~間的梯度方向Ang分為9等分，局部窗口中每個像素點的梯度方向?qū)χ狈綀D9個區(qū)間的投票用梯度幅度大小Mag進行加權(quán)，計算每個像素點的梯度方向，得到9個通道的梯度方向圖像=Ang1~Ang9 ； 25)對每個方向圖像求其積分圖像得到9個通道的直方圖積分圖像，并利用直方圖積分圖像計算每個像素點9個通道的梯度直方圖； 26)將整個圖像所有像素點的9通道梯度直方圖組成另外9個通道的特征，記為hl，h2，...，h9ο
3.如權(quán)利要求1或2所述的方法，其特征在于利用霍夫森林檢測器在局部搜索窗口中進行人手檢測，確定當(dāng)前幀的目標(biāo)窗口的方法為:利用霍夫森林檢測器在局部搜索窗口中對每個像素點的特征進行分類，并返回其屬于各類的概率；若像素點屬于人手目標(biāo)的概率大于設(shè)定閾值，則認(rèn)為其屬于人手目標(biāo)，否則認(rèn)為屬于背景；同時將屬于人手目標(biāo)的像素點產(chǎn)生對人手目標(biāo)中心的一次投票；然后將最終投票圖的距離上幀目標(biāo)中心位置最近的極值點為檢測目標(biāo)的中心位置，并記錄此極值點的投票值；若該極值點投票值小于一定閾值H，則認(rèn)為檢測失敗；否則認(rèn)為檢測成功，依據(jù)當(dāng)前目標(biāo)中心位置相對于上一幀目標(biāo)中心位置的位移確定當(dāng)前幀的目標(biāo)窗口。
4.如權(quán)利要求3所述的方法，其特征在于獲取所述極值點作為檢測目標(biāo)的中心位置的方法為:41)對當(dāng)前幀中每個像素點，利用霍夫森林分類器對其進行分類，得到該點屬于人手目標(biāo)的概率； 42)遍歷所有像素點后得到關(guān)于目標(biāo)位置的置信圖，置信圖的極值點為檢測到的目標(biāo)位置；如果該極值點的投票值不小于設(shè)定閾值H，則認(rèn)為檢測有效，該極值點作為檢測目標(biāo)的中心位置。
5.如權(quán)利要求1所述的方法，其特征在對于所述子跟蹤器跟蹤丟失的特征點用特征點檢測的方法予以補充，得到新的特征點群。
6.如權(quán)利要求1所述的方法，其特征在于在線訓(xùn)練霍夫森林分類器的方法為: 61)如果檢測成功，則利用目標(biāo)的中心位置進行霍夫投票的反向投影，得到該位置的支撐點；利用這些支撐點作為種子點進行目標(biāo)分割；所述支撐點為在目標(biāo)的中心位置附近產(chǎn)生投票的像素點； 62)如果檢測失敗，則利用所述成功跟蹤的特征點來引導(dǎo)分割過程，使用LK光流法穩(wěn)定跟蹤到的特征點作為種子點進行目標(biāo)分割； 63)基于61)或62)得到的分割結(jié)果，將分割為前景的像素點作為正樣本，分割為背景的像素點作為負(fù)樣本，對霍夫森林分類器進行在線訓(xùn)練。
7.如權(quán)利要求 1所述的方法，其特征在于所述子跟蹤器為基于光流法的跟蹤器。
【文檔編號】G06K9/46GK103593679SQ201210292291
【公開日】2014年2月19日 申請日期:2012年8月16日 優(yōu)先權(quán)日:2012年8月16日
【發(fā)明者】劉宏, 崔文歡 申請人:北京大學(xué)深圳研究生院