專利名稱：基于CamShift算法與手形遮罩的手識別裝置及其方法
技術領域：
本發(fā)明涉及虛擬現(xiàn)實與計算機圖像學領域，特別涉及一種對視頻中的人手部位進行連續(xù) 識別與跟蹤定位的基于CamShift算法與手形遮罩的手識別裝置及其方法。
背景技術：
手識別是人機交互、機器人、計算機視覺以及數字圖像處理等領域一個重要內容。對手 的位置進行準確測定與跟蹤，在人機交互，手勢識別等方面具有重要意義。
手識別與跟蹤的方法很多，現(xiàn)有的方法包括基于膚色信息、基于運動信息、基于運動模 型等。目前，中科大的顧理、莊鎮(zhèn)泉等人利用光照補償和基于分類搜索的局部閾值手形提取 方法對手形進行提取，提取效果較好，但未能實現(xiàn)在連續(xù)視頻中的追蹤。哈工大的張良國等 提出了基于hausdorff距離的手識別系統(tǒng)并利用其進行手勢識別，但對光照與復雜背景等因 素較敏感。哈工大的孫超、姜立利用FSR傳感器檢測加支持向量機的方式進行檢測，效果較 好但對硬件要求較高。
現(xiàn)有的手識別技術或是技術較復雜，在實時性上有一定缺陷，或是主要運用于單幀的靜 態(tài)圖像，不能對連續(xù)視頻進行準確性較高的跟蹤與識別。本系統(tǒng)提出一種利用Camshift算法 與手形遮罩相結合的手識別方法。該方法針對連續(xù)視頻，以基于CamShift的顏色分析為主， 結合手形模板的形狀分析技術，并利用Haar算法等對視頻的干擾成分進行處理與去除，能對 視頻中手所在部位進行連續(xù)與準確性較高的識別與跟蹤。
其中的CamShift是"Continuously Adaptive Mean-SHIFT"的縮寫，即連續(xù)自適應 Mean-SHIFT算法，是一種基于Mean-SHIFT算法，應用于連續(xù)視頻的跟蹤算法。CamShift基 于隨機顏色概率模型，與被跟蹤對象的具體形狀模型無關。CamShift算法采用了 HSV色彩空 間，受光照等環(huán)境因素影響較小，且人手膚色在HSV空間色度值分布鮮明。CamShift分為反 向投影(Back Projection) ， MeanShift算法與CamShift算法三部分。
參考文獻[1 ]和[2]公開了 Haar算法。 Paul Viola, Michael J. Jones. Robust Real-Time Face Detection[J]. International Journal of Computer Vision, May 2004， 57: 137-154. Friedman, J. H.， Hastie， T. and Tibshirani， R. Additive Logistic Regression:
4a Statistical View of Boosting. Technical Report[R], Dept. of Statistics, Stanford University, 1998.
有鑒于此，本領域發(fā)明人針對上述問題，研發(fā)了一種對視頻中的人手部位進行連續(xù)識別 與跟蹤定位的基于CamShift算法與手形遮罩的手識別裝置及其方法。

發(fā)明內容
本發(fā)明的目的在于，提供一種基于C柳Shift算法與手形遮罩的手識別裝置及其方法，克 服了現(xiàn)有技術的困難，達到對視頻中的人手部位進行連續(xù)識別與跟蹤定位的目的。
本發(fā)明采用如下技術方案
本發(fā)明的一種基于CamShift算法與手形遮罩的手識別裝置，包括干擾區(qū)域去除模塊、手
部區(qū)域初步追蹤模塊、圖像處理模塊以及基于手形模板的識別模塊；
所述干擾區(qū)域去除模塊通過Haar算法識別并去除人臉等包含膚色的干擾部位； 所述手部區(qū)域初步追蹤模塊通過CamShift算法對視頻中的手區(qū)域進行初步的識別與連續(xù)
追蹤；
所述圖像處理模塊對經CamShift處理得到的每一幀，進行圖像的二值化、腐蝕、膨脹、 劃分出各個連通區(qū)域等操作，去除圖像噪點；
所述基于手形模板的識別模塊利用手形模板對圖像進行處理，判斷每個連通區(qū)域是否為 手區(qū)域，確定最終的識別與跟蹤區(qū)域。
進一步地，所述干擾區(qū)域去除模塊至少包括Haar算法訓練模塊以及Haar算法識別模塊。
進一步地，所述手部區(qū)域初步追蹤模塊至少包括基于CamShift算法的處理模塊和識別模塊。
進一步地，所述基于手形模板的識別模塊中手形遮罩分為左張開，左合并，右張開，右 合并四種。
進一步地，四種所述手形遮罩再分為旋轉O度，正負45度，正負90度五種，共20種遮罩。
本發(fā)明的一種基于CamShift算法與手形遮罩的手識別方法，采用上述基于CamShift算 法與手形遮罩的手識別裝置，包括以下步驟
1) 采用Haar算法識別臉部區(qū)域并加于去除；
2) 采用CamShift算法對圖像的手部區(qū)域進行初步的識別；
3) 對CamShift算法生成的顏色概率分布圖進行二值化、腐蝕、膨脹處理；4) 將處理后的圖中滿足一定大小的連通區(qū)域分割出來，分別與每一個手形遮罩進行相似 度對比，式(1)為計算針對某一手形遮罩的相似度值的公式
A =05/&+S/S2)/2 (1)
其中，/v為相似度值，Si為某連通區(qū)域面積，S2為手遮罩面積，S為兩者重疊面積， 對每一個手形遮罩計算相應的A值，取所有A中最大值^皿為最終相似度值；
5) 判斷所述最終相似度值P-是否大于閾值，若是，則判定為手，標出該連通區(qū)域；若
否，則輸入下一幀，執(zhí)行步驟l)。
進一步地，所述步驟l)之前還包括預設閾值。
進一步地，所述步驟4)中的手形遮罩分為左張開，左合并，右張開，右合并四種。 進一步地，四種所述手形遮罩再分為旋轉O度，正負45度，正負90度五種，共20種遮罩。
進一步地，所述歩驟5)中當判定為手時，將所述連通區(qū)域用方框標出，完成手部位的追
相對于己有的其他方法，本發(fā)明創(chuàng)造性地將Haar算法，CamShift算法，手形遮罩處理方 法等計算機視覺與數字圖像處理算法結合在一起，集中幾種算法的優(yōu)勢，先對圖像進行干擾 區(qū)域去除，再將基于色彩的識別跟蹤與基于形狀的識別跟蹤算法結合起來，可以對視頻中的 手所在區(qū)域進行連續(xù)跟蹤，試驗證明，該方法執(zhí)行效率較高，跟蹤準確性較高。相比現(xiàn)有技 術還具有能對連續(xù)視頻進行準確性較高的跟蹤與識別，對光照與復雜背景等因素敏感度低， 降低硬件要求的優(yōu)點。
以下結合附圖及實施例進一步說明本發(fā)明。


圖1為本發(fā)明中基于CamShift算法與手形遮罩的手識別裝置的結構示意圖； 圖2為本發(fā)明中基于CamShift算法與手形遮罩的手識別方法的流程圖； 圖3為實施例1中所用到部分手形模板圖。
具體實施例方式
下面通過圖1至3，來介紹本發(fā)明的一種具體實施例。形遮罩的手識別裝置，包括通過數據 線相連并交換數據的干擾區(qū)域去除模塊、手部區(qū)域初步追蹤模塊、圖像處理模塊以及基于手 形模板的識別模塊。
其中，所述干擾區(qū)域去除模塊通過Haar算法識別并去除人臉等包含膚色的干擾部位，所 述干擾區(qū)域去除模塊至少包括Haar算法訓練模塊以及Haar算法識別模塊。
所述手部區(qū)域初步追蹤模塊通過CamShift算法對視頻中的手區(qū)域進行初步的識別與連續(xù) 追蹤，所述手部區(qū)域初步追蹤模塊至少包括基于CamShift算法的處理模塊和識別模塊。
所述圖像處理模塊對經CamShift處理得到的每一幀，進行圖像的二值化、腐蝕、膨脹、 劃分出各個連通區(qū)域等操作，去除圖像噪點；
所述基于手形模板的識別模塊利用手形模板對圖像進行處理，判斷每個連通區(qū)域是否為 手區(qū)域，確定最終的識別與跟蹤區(qū)域。所述基于手形模板的識別模塊中手形遮罩分為左張開， 左合并，右張開，右合并四種，這四種所述手形遮罩再分為旋轉0度，正負45度，正負90 度五種，共20種遮罩。
參見圖3，列舉了其中的8種 (左合并，0度)、(右合并，0度)； (左張開，0度)、(右張開，0度)； (左合并，90度)、(右合并，90度)； (左合并，45度)、(右合并，45度)。 如圖2所示，本發(fā)明的一種基于CamShift算法與手形遮罩的手識別方法，采用上述基于 CamShift算法與手形遮罩的手識別裝置，包括以下步驟 預設閾值。
1) 采用Haar算法識別臉部區(qū)域并加于去除；
2) 采用CamShift算法對圖像的手部區(qū)域進行初步的識別；
3) 對CamShift算法生成的顏色概率分布圖進行二值化、腐蝕、膨脹處理；
4) 將處理后的圖中滿足一定大小的連通區(qū)域分割出來，分別與每一個手形遮罩進行相似 度對比，式(1)為計算針對某一手形遮罩的相似度值的公式
+S/S2)/2 (1)
其中，A為相似度值，Si為某連通區(qū)域面積，S2為手遮罩面積，S為兩者重疊面積， 對每一個手形遮罩計算相應的A值，取所有A中最大值An^為最終相似度值；手形遮罩分為左張開，左合并，右張開，右合并四種，這四種所述手形遮罩再分為旋轉0 度，正負45度，正負90度五種，共20種遮罩。 參見圖3，列舉了其中的8種 (左合并，0度)、(右合并，0度)；
(左張開，0度)、(右張開，0度)；
(左合并，90度)、(右合并，90度)； (左合并，45度)、(右合并，45度)。
5)判斷所述最終相似度值^皿是否大于閾值，若是，則判定為手，將所述連通區(qū)域用方
框標出，完成手部位的追蹤；若否，則輸入下一幀，執(zhí)行步驟l)。
綜上可知，本發(fā)明創(chuàng)造性地將Haar算法，CamShift算法，手形遮罩處理方法等計算機視 覺與數字圖像處理算法結合在一起，集中幾種算法的優(yōu)勢，先對圖像進行干擾區(qū)域去除，再 將基于色彩的識別跟蹤與基于形狀的識別跟蹤算法結合起來，可以對視頻中的手所在區(qū)域進 行連續(xù)跟蹤，試驗證明，該方法執(zhí)行效率較高，跟蹤準確性較高。
以上所述的實施例僅用于說明本發(fā)明的技術思想及特點，其目的在于使本領域內的技術 人員能夠了解本發(fā)明的內容并據以實施，不能僅以本實施例來限定本發(fā)明的專利范圍，即凡 依本發(fā)明所揭示的精祌所作的同等變化或修飾，仍落在本發(fā)明的專利范圍內。
權利要求
1、一種基于CamShift算法與手形遮罩的手識別裝置，其特征在于包括干擾區(qū)域去除模塊、手部區(qū)域初步追蹤模塊、圖像處理模塊以及基于手形模板的識別模塊；所述干擾區(qū)域去除模塊通過Haar算法識別并去除人臉等包含膚色的干擾部位；所述手部區(qū)域初步追蹤模塊通過CamShift算法對視頻中的手區(qū)域進行初步的識別與連續(xù)追蹤；所述圖像處理模塊對經CamShift處理得到的每一幀，進行圖像的二值化、腐蝕、膨脹、劃分出各個連通區(qū)域等操作，去除圖像噪點；所述基于手形模板的識別模塊利用手形模板對圖像進行處理，判斷每個連通區(qū)域是否為手區(qū)域，確定最終的識別與跟蹤區(qū)域。
2、 根據權利要求1所述的基于CamShift算法與手形遮罩的手識別裝置，其特征在于所述干擾區(qū)域去除模塊至少包括Haar算法訓練模塊以及Haar算法識別模塊。
3、 根據權利要求1所述的基于CamShift算法與手形遮罩的手識別裝置，其特征在于-所述手部區(qū)域初步追蹤模塊至少包括基于CamShift算法的處理模塊和識別模塊。
4、 根據權利要求1所述的基于CamShift算法與手形遮罩的手識別裝置，其特征在于所述基于手形模板的識別模塊中手形遮罩分為左張開，左合并，右張開，右合并四種。
5、 根據權利要求4所述的基于CamShift算法與手形遮罩的手識別裝置，其特征在于四種所述手形遮罩再分為旋轉O度，正負45度，正負90度五種，共20種遮罩。
6、 一種基于CamShift算法與手形遮罩的手識別方法，采用如所述權利要求1至5中的任意一項基于CamShift算法與手形遮罩的手識別裝置，其特征在于包括以下步驟1) 采用Haar算法識別臉部區(qū)域并加于去除；2) 采用CamShift算法對圖像的手部區(qū)域進行初步的識別；3) 對CamShift算法生成的顏色概率分布圖進行二值化、腐蝕、膨脹處理；4) 將處理后的圖中滿足一定大小的連通區(qū)域分割出來，分別與每一個手形遮罩進行相似度對比，式(1)為計算針對某一手形遮罩的相似度值的公式<formula>formula see original document page 2</formula>(1)其中，^為相似度值，Si為某連通區(qū)域面積，S2為手遮罩面積，S為兩者重疊面積，對每一個手形遮罩計算相應的^值，取所有A中最大值^皿為最終相似度值；5) 判斷所述最終相似度值A皿是否大于閾值，若是，則判定為手，標出該連通區(qū)域；若否，則輸入下一幀，執(zhí)行步驟l)。
7、 根據權利要求6所述的基于CamShift算法與手形遮罩的手識別方法，其特征在于: 所述步驟l)之前還包括預設閾值。
8、 根據權利要求6所述的基于CamShift算法與手形遮罩的手識別方法，其特征在于: 所述步驟4)中的手形遮罩分為左張開，左合并，右張開，右合并四種。
9、 根據權利要求8所述的基于CamShift算法與手形遮罩的手識別方法，其特征在于: 四種所述手形遮罩再分為旋轉O度，正負45度，正負90度五種，共20種遮罩。
10、 根據權利要求6所述的基于CamShift算法與手形遮罩的手識別方法，其特征在于.-所述歩驟5)中當判定為手時，將所述連通區(qū)域用方框標出，完成手部位的追蹤。
全文摘要
本發(fā)明揭示了一種基于CamShift算法與手形遮罩的手識別裝置及其方法，包括干擾區(qū)域去除模塊、手部區(qū)域初步追蹤模塊、圖像處理模塊以及基于手形模板的識別模塊；其方法為1)采用Haar算法識別臉部區(qū)域并加于去除；2)采用CamShift算法對圖像的手部區(qū)域進行初步的識別；3)對CamShift算法生成的顏色概率分布圖進行二值化、腐蝕、膨脹處理；4)將處理后的圖中滿足一定大小的連通區(qū)域分割出來，分別與每一個手形遮罩進行相似度對比；5)判斷所述相似度值中的最大值是否大于閾值，若是，則判定為手，標出該連通區(qū)域；若否，則輸入下一幀，執(zhí)行步驟1)；本發(fā)明集中幾種算法的優(yōu)勢，對視頻中的手所在區(qū)域進行連續(xù)跟蹤，方法執(zhí)行效率較高，跟蹤準確性較高。
文檔編號G06K9/00GK101667250SQ20091019698
公開日2010年3月10日 申請日期2009年10月10日 優(yōu)先權日2009年10月10日
發(fā)明者周暖云, 季斐翀, 晉 潘, 濤 陸 申請人:上海水晶石信息技術有限公司