基于最大穩(wěn)定曲率區(qū)域的視覺人手檢測跟蹤方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種基于最大穩(wěn)定曲率區(qū)域的視覺人手檢測跟蹤方法及系統(tǒng)，在由人手檢測單元和空間條件約束單元以及輸入/輸出端組成的系統(tǒng)中，其跟蹤方法如下：1）采用攝像頭提取得到RGB圖和/或深度圖，通過待跟蹤物體的初始位置，得到前景物體和背景物體；2）根據(jù)膚色點的連通區(qū)域?qū)GB圖進行膚色檢測得到人手和/或人臉的候選膚色區(qū)域；3）根據(jù)深度圖中的正向投影對深度圖進行最大穩(wěn)定曲率計算，得到最大穩(wěn)定曲率區(qū)域；4）對所說候選膚色區(qū)域和最大穩(wěn)定曲率區(qū)域按照空間約束條件進行結(jié)合，確定出人手和頭部位置，得到人手的檢測跟蹤結(jié)果。本發(fā)明實現(xiàn)了魯棒的基于視覺的人手跟蹤，增強了對光照變化和快速運動的魯棒性。
【專利說明】基于最大穩(wěn)定曲率區(qū)域的視覺人手檢測跟蹤方法及系統(tǒng)
【技術(shù)領域】:
[0001]本發(fā)明屬于視覺目標檢測跟蹤和智能人機交互領域，具體涉及一種魯棒的基于最大穩(wěn)定曲率區(qū)域的視覺人手檢測跟蹤方法及系統(tǒng)。
【背景技術(shù)】:
[0002]基于視覺的人手跟蹤技術(shù)是一門融合了圖像處理、機器學習、模式識別、人工智能等許多領域的關(guān)鍵技術(shù)，它有著非常廣泛的應用背景。例如視頻監(jiān)控、人機交互、智能電視控制、機器人控制、3D體感游戲等需要人手交互的領域。由于人手跟蹤技術(shù)有著巨大的應用前景，在國際和國內(nèi)對視覺人手跟蹤的研究方興未艾。
[0003]在真實的人機交互應用中，人手跟蹤技術(shù)受到了很多挑戰(zhàn)。比如受日光和燈光的影響，光線變化較大，傳統(tǒng)經(jīng)典的人手跟蹤算法會失效，例如基于膚色的人手檢測與跟蹤算法；背景中靜態(tài)干擾物和動態(tài)干擾物形態(tài)各異且運動方式無法預測；人手與環(huán)境中其他物體之間的相互運動較為復雜，且容易受到遮擋。面對這些困難，如何實現(xiàn)穩(wěn)定的人手跟蹤，從而進行更智能和穩(wěn)定的人機交互，具有著重要的意義。
[0004]目前基于視覺的人手跟蹤技術(shù)大致可以分為基于外觀的方法和基于模型的方法。在這些方法中，魯棒性都依賴于對特定環(huán)境中的多特征融合，缺乏可靠的理論基礎。基于模型的方法在速度上有著較大的缺陷，而外觀的方法在準確性上有著明顯的不足。
[0005]近年來深度信息得到了廣泛的研究。基于深度信息的人手跟蹤算法可以提供更多線索，使得人手跟蹤更加魯棒。但是單純的線索融合并不能真正將深度信息利用起來。人手在曲率方面有著獨特的特征，在人體范圍中，人手有著最大穩(wěn)定曲率，這一特征可以用來在人體輪廓中檢測人手的位置。如何結(jié)合膚色信息和深度信息的優(yōu)點來達到更高的魯棒性具有著重要的理論研究和應用意義。

【發(fā)明內(nèi)容】
:
[0006]針對現(xiàn)有技術(shù)中存在的技術(shù)問題，本發(fā)明的目的在于提供一種基于最大穩(wěn)定曲率區(qū)域算法的視覺人手跟蹤方法。本發(fā)明通過空間約束線索將基于膚色的人手檢測和基于最大穩(wěn)定曲率區(qū)域算法的人手檢測結(jié)合起來，以實現(xiàn)對現(xiàn)實應用場景魯棒的人手跟蹤。通過利用膚色檢測器對搜索區(qū)域內(nèi)的像素點進行分類，得到對目標的保守但穩(wěn)定的估計；利用基于最大穩(wěn)定曲率區(qū)域算法對目標進行適應性較強但不太穩(wěn)定的估計；利用空間約束機制將二者結(jié)合得到的檢測結(jié)果，從而實現(xiàn)膚色檢測器和基于最大穩(wěn)定曲率區(qū)域的檢測器的互補，來獲得更加魯棒的跟蹤結(jié)果。
[0007]為了解決上述的技術(shù)問題，本發(fā)明的技術(shù)方案如下:基于最大穩(wěn)定曲率區(qū)域的視覺人手檢測跟蹤方法，其步驟包括:
[0008]I)采用攝像頭提取得到RGB圖和/或深度圖，通過待跟蹤物體的初始位置，得到前景物體和背景物體；
[0009]2 )根據(jù)膚色點的連通區(qū)域?qū)λ鯮GB圖進行膚色檢測得到人手和/或人臉的候選膚色區(qū)域；
[0010]3)根據(jù)深度圖中的正向投影對所述深度圖進行最大穩(wěn)定曲率計算，得到最大穩(wěn)定曲率區(qū)域；
[0011]4)對所說候選膚色區(qū)域和所述最大穩(wěn)定曲率區(qū)域按照空間約束條件進行結(jié)合，確定出人手和頭部位置，得到人手的檢測跟蹤結(jié)果。
[0012]更進一步，所述最大穩(wěn)定曲率區(qū)域計算方法如下:
[0013]I)初始化搜索輪廓區(qū)域，通過正向投影得到人體輪廓圖，將封閉且連續(xù)的人體輪廓圖作為最大穩(wěn)定曲率區(qū)域的輸入；
[0014]2)初始化步長并根據(jù)變換步長，在不同步長下計算所述人體輪廓圖區(qū)域中所有輪廓上的點的曲率，記錄為曲率圖；
[0015]3)根據(jù)設定的最大穩(wěn)定曲率對所述曲率圖中的輪廓點在不同步長下的曲率進行分析；
[0016]4)如果輪廓點在不同步長下的曲率值都很高，且相互之間的方差較小，則該點為較大穩(wěn)定曲率點，并加入到區(qū)域輪廓中；
[0017]5)對得到的較大穩(wěn)定曲率點集進行分析，設置閾值，并根據(jù)連通域計算得到最大的連通區(qū)域，即為人手和頭部的候選位置。
[0018]更進一步，所述初始化步長設置為I。
[0019]更進一步，計算人體輪廓上任意點Pi的曲率的方法為ffs/cKPh，pi+s),其中d (P1-S, Pi+S)為兩點P1-S，Pi+S在輪廓上的距離。
[0020]更進一步，所述設定的最大穩(wěn)定曲率為:曲率平均值超過閾值Ii1且曲率方差值低于閾值h2。
[0021]更進一步，所述空間約束條件包括:人手頭部幾何約束和人手運動幾何約束。
[0022]更進一步，通過手動矩形框圈出待跟蹤物體的初始位置。
[0023]更進一步，按照如下方法進行膚色檢測:
[0024]I)提取感興趣目標的特征點，通過膚色檢測機制，在感興趣的區(qū)域中搜索膚色點，膚色點的RGB值滿足設定條件；
[0025]2)將提取得到的膚色點添加到膚色點集中，并構(gòu)成連通區(qū)域；通過計算連通域得到候選膚色塊，并記錄為人手和人臉候選區(qū)域。
[0026]更進一步，采用Kinect攝像頭提取得到RGB圖和/或深度圖。
[0027]基于最大穩(wěn)定曲率區(qū)域的視覺人手檢測跟蹤系統(tǒng)，其特征在于，包括人手檢測單元和空間條件約束單元以及輸入/輸出端:
[0028]所述系統(tǒng)輸入端用于獲得的深度圖和RGB圖；
[0029]所述系統(tǒng)輸出端用于輸出跟蹤目標中心位置和窗口 ；
[0030]所述人手檢測單元，用于采用攝像頭得到RGB圖和/或深度圖，通過待跟蹤物體的初始位置，得到前景物體和背景物體；根據(jù)膚色點的連通區(qū)域?qū)λ鯮GB圖進行膚色檢測得到人手和人臉的候選膚色區(qū)域；根據(jù)深度圖中的正向投影對所述深度圖進行最大穩(wěn)定曲率計算，得到最大穩(wěn)定曲率區(qū)域；
[0031]所述空間條件約束單元，用于對所說候選膚色區(qū)域和所述最大穩(wěn)定曲率區(qū)域按照空間約束條件進行結(jié)合，確定出人手和頭部位置，得到人手的檢測跟蹤結(jié)果。[0032]本發(fā)明的有益效果:
[0033]本發(fā)明實現(xiàn)了魯棒的基于視覺的人手跟蹤，通過利用基于膚色檢測器的目標檢測，獲得了初步的檢測結(jié)果，通過最大穩(wěn)定曲率區(qū)域算法對深度輪廓圖進行檢測，增強了對光照變化和快速運動的魯棒性。本發(fā)明與現(xiàn)有技術(shù)在統(tǒng)一條件下測試的結(jié)果如參考圖6
(a)、圖6 (b)所示，圖6 (a)為僅使用膚色檢測方法得到的人臉和人手區(qū)域，可以看出膚色檢測機制無法區(qū)分人手和人臉。而圖6 (b)為本發(fā)明準確跟蹤到人手的結(jié)果，頭部區(qū)域并沒有干擾本發(fā)明的效果。
【專利附圖】

【附圖說明】:
[0034]下面結(jié)合附圖，對本發(fā)明做出詳細描述。
[0035]圖1是本發(fā)明基于最大穩(wěn)定曲率區(qū)域的視覺人手跟蹤方法一實施例中跟蹤總流程圖；
[0036]圖2是本發(fā)明基于最大穩(wěn)定曲率區(qū)域的視覺人手跟蹤方法一實施例中基于最大穩(wěn)定曲率區(qū)域算法的人手檢測流程圖；
[0037]圖3 (a)是本發(fā)明基于最大穩(wěn)定曲率區(qū)域的視覺人手跟蹤方法一實施例中最大穩(wěn)定曲率區(qū)域輸入為封閉且連續(xù)的輪廓圖；
[0038]圖3 (b)是本發(fā)明基于最大穩(wěn)定曲率區(qū)域的視覺人手跟蹤方法一實施例中在不同步長下,計算Pi點的曲率示意圖；
[0039]圖4是本發(fā)明基于最大穩(wěn)定曲率區(qū)域的視覺人手跟蹤方法一實施例中基于膚色的人手檢測算法的流程圖；
[0040]圖5是本發(fā)明基于最大穩(wěn)定曲率區(qū)域的視覺人手跟蹤方法一實施例中膚色檢測與最大穩(wěn)定曲率區(qū)域結(jié)果融合的流程圖；
[0041]圖6 (a)是本發(fā)明基于最大穩(wěn)定曲率區(qū)域的視覺人手跟蹤方法一實施例中現(xiàn)有技術(shù)在統(tǒng)一條件下測試的結(jié)果圖；
[0042]圖6 (b)是本發(fā)明基于最大穩(wěn)定曲率區(qū)域的視覺人手跟蹤方法一實施例中本發(fā)明在統(tǒng)一條件下測試的結(jié)果圖。
【具體實施方式】:
[0043]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，可以理解的是，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0044]本發(fā)明基于的原理如下:
[0045]1.基于最大穩(wěn)定曲率區(qū)域的人手與頭部檢測算法
[0046]分析傳統(tǒng)的深度線索算法，可以看出，當前將深度線索用到人手跟蹤中的算法一般都是利用其深度數(shù)據(jù)來處理遮擋等難題。在本發(fā)明中，深度信息被用來提取人體輪廓，更有效的利用了 Kinect攝像頭得到的深度圖。在得到人體輪廓之后，本發(fā)明提出了最大穩(wěn)定曲率區(qū)域的人手與頭部檢測算法，通過計算人體輪廓上每一點的曲率信息，從而得到人體中曲率較大且穩(wěn)定的區(qū)域，也就是人手和頭部區(qū)域。[0047]2.利用空間約束線索將膚色檢測與曲率檢測結(jié)果相結(jié)合
[0048]目前由于深度信息有著對光照的不敏感性，越來越多的應用到實際問題中，但是當前的大部分算法僅僅只是將深度信息與膚色信息等進行融合，沒有發(fā)揮深度信息的作用。本發(fā)明旨在將深度信息更有效的應用，通過空間約束線索將基于膚色的人手檢測器與基于曲率的人手檢測結(jié)合起來，最后得到魯棒的人手檢測系統(tǒng)。
[0049]本發(fā)明的技術(shù)方案為:一種通過空間約束將膚色檢測器和穩(wěn)定曲率區(qū)域檢測器相結(jié)合的人手跟蹤方法，方法包括膚色檢測(識別)、曲率檢測，多線索融合:
[0050]I)初始化標定待跟蹤物體的位置，通過手動矩形框圈出待跟蹤物體，以得到前景和背景物體。
[0051]2)通過膚色檢測機制(可以參見 J.Kovac, P.Peer, and F.Solina, “HumanSkin color clustering for face detection，，，EUR0C0N, pp.144 - 148，2003),膚色檢測機制也可以替換為其他方法，例如基于橢圓高斯模型建模的人手膚色模型(可以參JAL, V.Vezhnevets, V.Sazonov, A.Andreeva, “A survey on pixel - based skin colordetection techniques”，ICCGV, pp.85 - 92, 2003),在感興趣的區(qū)域中搜索膚色點，膚色點的RGB值需要滿足:
[0052]R > 95，G > 40，B > 20，max {R，G, B} -min {R, G, B} > 15，R-G > 15，R > B,將提
取得到的膚色點添加到膚色點集中，并構(gòu)成連通區(qū)域；通過計算連通域得到較大膚色塊，并記錄為人手和人臉候選區(qū)域。
[0053]3)通過最大穩(wěn)定曲率區(qū)域算法對人體輪廓進行遍歷，得到最大曲率區(qū)域，即人手和頭部候選區(qū)域。首先從 Kinect (Microsoft Corporation, Kinect for Xbox360)得到深度圖，接著對深度圖進行正向投影，以得到人體輪廓。在得到人體輪廓之后，采用上述算法可以得到最大穩(wěn)定曲率區(qū)域，即為人手和頭部的候選區(qū)域。具體算法如算法I中所示。
[0054]4)根據(jù)空間約束(可以參見 H.Trinh, Quanfu Fan.P.Gabbur, andS.Panksanti, “Hand Tracking by binary quadratic programming and its applicationto real activity recognition”，CVPR, pp.1902 - 1909，2012)對膚色檢測結(jié)果和最大曲率區(qū)域檢測結(jié)果進行結(jié)合?？臻g約束包含人手頭部幾何約束和人手運動幾何約束。通過這兩種約束可以將膚色檢測結(jié)果和曲率檢測結(jié)果相結(jié)合，最后確定出來人手與頭部位置。
[0055]以下根據(jù)附圖對本發(fā)明的實施方式進行具體的說明。
[0056]如圖1所示是本發(fā)明基于最大穩(wěn)定曲率區(qū)域的視覺人手跟蹤方法一實施例中跟足示總流程圖:
[0057]1.系統(tǒng)功能:
[0058]程序利用Kinect攝像頭獲取深度圖和RGB圖，提取膚色特征并檢測到初始人手目標之后，進行曲率檢測，最后通過空間約束對兩者結(jié)果進行結(jié)合，最終得到人手和頭部位置。
[0059]2.系統(tǒng)輸入:
[0060]采用Kinect攝像頭獲得的深度圖和RGB圖，Kinect攝像頭是目前微軟生產(chǎn)的技術(shù)比較成熟的一款攝像頭，它可以同時獲取深度圖和RGB圖，而普通攝像頭一般只能獲取到RGB圖。
[0061]3.系統(tǒng)輸出:[0062]圈出的人手目標，包括跟蹤目標中心位置和窗口。
[0063]4.具體實現(xiàn):
[0064]主要分為兩個階段，即膚色檢測階段和曲率檢測階段。如圖4所示本發(fā)明基于最大穩(wěn)定曲率區(qū)域的視覺人手跟蹤方法一實施例中基于膚色的人手檢測算法的流程圖。
[0065]在膚色檢測階段，采用傳統(tǒng)的人手膚色檢測(可以參見J.Kovac，P.Peer, andF.Solina, “Human Skin color clustering for face detection”, EUR0C0N, pp.144 -148，2003)。
[0066]在曲率檢測階段，如圖2所示，從Kinect得到的深度圖，進行正向投影而得到人體輪廓圖，通過計算輪廓點距離矩陣，運行曲率算法，得到輪廓點的曲率圖。曲率平均值超過閾值h且曲率方差值低于閾值h2 (此兩者閾值均需要針對固定場景中設定范圍，同時在針對固定場景時均需要重新進行設定)，即為最大穩(wěn)定曲率點。具體如算法I所示。具體的最大曲率區(qū)域算法如下:
[0067]a)最大穩(wěn)定曲率區(qū)域輸入為封閉且連續(xù)的輪廓圖。如圖3 (a)所示，R1 *R2，R3, R4為候選區(qū)域。根據(jù)最大穩(wěn)定曲率區(qū)域算法可知，R1為最大穩(wěn)定曲率區(qū)域。而R2為凹區(qū)域，不符合條件。R3僅在步長較小時曲率穩(wěn)定，也不符合。R4區(qū)域的曲率較小，不符合條件。因此，最大穩(wěn)定曲率區(qū)域為R1。
[0068]b)初始化搜索輪廓區(qū)域，即為正向投影得到的人體輪廓圖C。初始化步長S，一般設置為I。接下來對所有輪廓上的點都進行曲率計算。具體方法為，變換步長，在不同步長下計算該點的曲率，記錄為曲率圖M。如圖3(b)所示，在不同步長下，計算Pi點的曲率。計算曲率的方法為:Cs=s/d(Pi_s，pi+s)，其中d(Pi_s，pi+s)為兩點Pi_s，pi+s在輪廓上的距離。
[0069]c)在得到曲率圖之后，可以對輪廓點在不同步長下的曲率進行分析。根據(jù)本發(fā)明定義的最大穩(wěn)定曲率，通過統(tǒng)計輪廓點在不同步長下的曲率可以得到:如果輪廓點在不同步長下的曲率值都很高，且相互之間的方差較小，則該點為較大穩(wěn)定曲率點，可以加入到區(qū)域輪廓中去。
[0070]d)對得到的穩(wěn)定較大曲率點集進行分析，設置閾值，根據(jù)連通域計算得到最大的連通區(qū)域，即為人手和頭部的候選位置。具體過程如算法I所示。
[0071]人體膚色檢測結(jié)果與最大穩(wěn)定曲率區(qū)域結(jié)果融合，如圖5所示，包括人手檢測單元和空間條件約束單元以及輸入/輸出端:系統(tǒng)輸入端用于獲得的深度圖和RGB圖；系統(tǒng)輸出端用于輸出跟蹤目標中心位置和窗口；
[0072]人手檢測單元，用于采用攝像頭得到RGB圖和/或深度圖，通過待跟蹤物體的初始位置，得到前景物體和背景物體；根據(jù)膚色點的連通區(qū)域?qū)λ鯮GB圖進行膚色檢測得到人手和人臉的候選膚色區(qū)域；根據(jù)深度圖中的正向投影對所述深度圖進行最大穩(wěn)定曲率計算，得到最大穩(wěn)定曲率區(qū)域；
[0073]空間條件約束單元，用于對所說候選膚色區(qū)域和所述最大穩(wěn)定曲率區(qū)域按照空間約束條件進行結(jié)合，確定出人手和頭部位置，得到人手的檢測跟蹤結(jié)果。
[0074]由膚色檢測結(jié)果得到的人臉和人手位置(可能沒有人臉)，由最大穩(wěn)定曲率區(qū)域得到的頭部和人手位置為輸入。空間約束包含:1.人手、頭部幾何約束，即在人體位置上，頭部和人手分布有著一定的概率和幾何限制，例如人手不可能離頭部太遠；2.人手運動幾何約束，即在人手運動過程中，由于運動的連續(xù)性和平滑性，不可能出現(xiàn)較大的變化，因此可以用這種運動幾何約束來去掉不符合條件的候選區(qū)域。
[0075]算法I最大穩(wěn)定曲率區(qū)域算法
【權(quán)利要求】
1.基于最大穩(wěn)定曲率區(qū)域的視覺人手檢測跟蹤方法，其步驟包括: 1)采用攝像頭提取得到RGB圖和/或深度圖，通過待跟蹤物體的初始位置，得到前景物體和背景物體； 2)根據(jù)膚色點的連通區(qū)域?qū)λ鯮GB圖進行膚色檢測得到人手和/或人臉的候選膚色區(qū)域； 3)根據(jù)深度圖中的正向投影對所述深度圖進行最大穩(wěn)定曲率計算，得到最大穩(wěn)定曲率區(qū)域； 4)對所說候選膚色區(qū)域和所述最大穩(wěn)定曲率區(qū)域按照空間約束條件進行結(jié)合，確定出人手和頭部位置，得到人手的檢測跟蹤結(jié)果。
2.如權(quán)利要求1所述的基于最大穩(wěn)定曲率區(qū)域的視覺人手檢測跟蹤方法，其特征在于，所述最大穩(wěn)定曲率區(qū)域計算方法如下: 1)初始化搜索輪廓區(qū)域，通過正向投影得到人體輪廓圖，將封閉且連續(xù)的人體輪廓圖作為最大穩(wěn)定曲率區(qū)域的輸入； 2)初始化步長并根據(jù)變換步長，在不同步長下計算所述人體輪廓圖區(qū)域中所有輪廓上的點的曲率，記錄為曲率圖； 3)根據(jù)設定的最大穩(wěn)定曲率對所述曲率圖中的輪廓點在不同步長下的曲率進行分析； 4)如果輪廓點在不同步長下的曲率值都很高，且相互之間的方差較小，則該點為較大穩(wěn)定曲率點，并加入到區(qū)域輪廓中； 5)對得到的較大穩(wěn)定曲率點集進行分析，設置閾值，并根據(jù)連通域計算得到最大的連通區(qū)域，即為人手和頭部的候選位置。
3.如權(quán)利要求2所述的基于最大穩(wěn)定曲率區(qū)域的視覺人手檢測跟蹤方法，其特征在于，所述初始化步長設置為I。
4.如權(quán)利要求2所述的基于最大穩(wěn)定曲率區(qū)域的視覺人手檢測跟蹤方法，其特征在于，計算人體輪廓上任意點Pi的曲率的方法為:Cs=s/d(Pi_s，pi+s)，其中d(Pi_s，pi+s)為兩點P1-S, Pi+S在輪廓上的距離。
5.如權(quán)利要求2所述的基于最大穩(wěn)定曲率區(qū)域的視覺人手檢測跟蹤方法，其特征在于，所述設定的最大穩(wěn)定曲率為:曲率平均值超過閾值h且曲率方差值低于閾值h2。
6.如權(quán)利要求1所述的基于最大穩(wěn)定曲率區(qū)域的視覺人手檢測跟蹤方法，其特征在于，所述空間約束條件包括:人手頭部幾何約束和人手運動幾何約束。
7.如權(quán)利要求1所述的基于最大穩(wěn)定曲率區(qū)域的視覺人手檢測跟蹤方法，其特征在于，通過手動矩形框圈出待跟蹤物體的初始位置。
8.如權(quán)利要求1所述的基于最大穩(wěn)定曲率區(qū)域的視覺人手檢測跟蹤方法，其特征在于，按照如下方法進行膚色檢測: 1)提取感興趣目標的特征點，通過膚色檢測機制，在感興趣的區(qū)域中搜索膚色點，膚色點的RGB值滿足設定條件； 2)將提取得到的膚色點添加到膚色點集中，并構(gòu)成連通區(qū)域；通過計算連通域得到候選膚色塊，并記錄為人手和人臉候選區(qū)域。
9.如權(quán)利要求1所述的基于最大穩(wěn)定曲率區(qū)域的視覺人手檢測跟蹤方法，其特征在于，采用Kinect攝像頭提取得到RGB圖和/或深度圖。
10.基于最大穩(wěn)定曲率區(qū)域的視覺人手檢測跟蹤系統(tǒng)，其特征在于，包括人手檢測單元和空間條件約束單元以及輸入/輸出端: 所述系統(tǒng)輸入端用于獲得的深度圖和RGB圖； 所述系統(tǒng)輸出端用于輸出跟蹤目標中心位置和窗口； 所述人手檢測單元，用于采用攝像頭得到RGB圖和/或深度圖，通過待跟蹤物體的初始位置，得到前景物體和背景物體；根據(jù)膚色點的連通區(qū)域?qū)λ鯮GB圖進行膚色檢測得到人手和人臉的候選膚色區(qū)域；根據(jù)深度圖中的正向投影對所述深度圖進行最大穩(wěn)定曲率計算，得到最大穩(wěn)定曲率區(qū)域； 所述空間條件約束單元，用于對所說候選膚色區(qū)域和所述最大穩(wěn)定曲率區(qū)域按照空間約束條件進行結(jié)合，確定 出人手和頭部位置，得到人手的檢測跟蹤結(jié)果。
【文檔編號】G06K9/46GK103456012SQ201310395199
【公開日】2013年12月18日 申請日期:2013年9月3日 優(yōu)先權(quán)日:2013年9月3日
【發(fā)明者】劉宏, 王燦, 劉星 申請人:北京大學深圳研究生院