本發(fā)明涉及圖像識別技術(shù)領(lǐng)域,特別涉及一種基于視覺的手勢識別方法和系統(tǒng)。
背景技術(shù):
近年來計算機已經(jīng)成為人們?nèi)粘I畹囊徊糠?,人們與計算機的交互也日益成為科研領(lǐng)域的熱點。傳統(tǒng)的人機交互方式已經(jīng)不能滿足人們對“智能化”人機交互領(lǐng)域的需求。但是如何讓機器理解人一直是一個難題,因此如果能夠借助各種傳感設(shè)備實時提取人的行為的三維操控信息并設(shè)定某些規(guī)則使機器理解這些信息,將是解決這個問題的關(guān)鍵。
目前實現(xiàn)3D目標重建的方法主要有三種技術(shù)路線:(1)結(jié)構(gòu)光技術(shù):結(jié)構(gòu)光技術(shù)利用可控光源和圖像處理技術(shù)結(jié)合來進行目標重建。其基本思想是利用光源中的幾何信息來幫助提取目標的幾何信息。這種技術(shù)的缺點是物體需要跟光源保持一定的距離,不能用于過短或過長的距離,而且其精度也不高。(2)飛行時間技術(shù):是基于測量激光或者其它光源脈沖光束的飛行時間來進行物體深度測量,這種技術(shù)的缺點是成本高,不利于大范圍推廣。(3)雙目立體視覺技術(shù):屬于計算機視覺領(lǐng)域,它是通過兩臺不同位置的攝像機拍攝同一幅場景,并通過計算對應(yīng)點在兩幅圖像中的位置偏差,來獲得該點的三維 坐標值。它系統(tǒng)結(jié)構(gòu)簡單,精度較高,成本低,在很多領(lǐng)域都極具應(yīng)用價值?;谝曈X的手勢識別是實現(xiàn)新一代人機交互所不可缺少的一項關(guān)鍵技術(shù)。
已有的傳統(tǒng)的手勢識別方法有很多的缺點。目前較為典型的手勢識別技術(shù)是基于RGB彩色相機的手勢動作識別方法,例如已公開的專利文獻(公開號為CN102592113A)。這種識別方法通常采用基于皮膚顏色來確定手的位置,利用攝像頭對拍攝圖像,通過對圖像進行膚色識別,識別出用戶的手部。由于圖像對可見光線敏感,容易受光照、復(fù)雜背景等因素的影響,導(dǎo)致這種識別方式的提取效果、通用性差。
已公開的專利文獻(公開號為CN103714322A)提出了一種實時手勢識別方法及裝置,能在一幀內(nèi)邊進行圖像實時輸出邊進行該算法圖像處理,但是其計算和處理信息量大,識別速度低。
技術(shù)實現(xiàn)要素:
針對以上問題,本發(fā)明專利目的在于設(shè)計了一種基于視覺的手勢識別方法和系統(tǒng),可實現(xiàn)快速、精確、實時的手勢識別功能。
本發(fā)明是通過以下技術(shù)方案實現(xiàn)的:
一種基于視覺的手勢識別方法,包括:
分別獲取在紅外LED燈關(guān)和開的情況下的手勢的紅外圖像R和L;
對所述紅外圖像R和紅外圖像L進行灰度對比,提取得到手勢 區(qū)域圖;
利用圖像檢測邊緣算法在所述手勢區(qū)域圖上獲取手勢邊緣圖;
通過視頻濾波算法在所述手勢邊緣圖上計算出手勢特征點,再根據(jù)所述手勢特征點對用戶的手勢進行識別。
進一步,本發(fā)明所述獲取手勢區(qū)域圖進一步包括:
設(shè)置一個灰度閾值;
逐點計算紅外圖像R和紅外圖像L中每個像素點灰度值的差值;
提取差值超過所述灰度閾值的區(qū)域,得到手勢區(qū)域圖。
進一步,本發(fā)明所述圖像檢測邊緣算法為Canny算子或者Sobel算子。
進一步,本發(fā)明選取手指尖位置作為所述手勢特征點。
本發(fā)明還提供一種基于視覺的手勢識別系統(tǒng),包括:
視頻采集模塊,用于獲取手勢紅外圖像;
圖像處理模塊,用于對所述紅外圖像進行灰度對比,得到手勢區(qū)域圖;
邊緣提取模塊,用于在所述手勢區(qū)域圖上獲取手勢邊緣圖;
特征提取模塊,用于在所述手勢邊緣圖上計算出手勢特征點。
進一步,本發(fā)明所述視頻采集模塊包括紅外攝像頭、紅外LED、紅外濾光片和控制器。
進一步,本發(fā)明所述邊緣提取模塊采用Canny算子或者Sobel算子獲取手勢邊緣圖。
附圖說明
以下參照附圖對本發(fā)明實施例作進一步說明,其中:
圖1是本發(fā)明基于視覺的手勢識別方法的流程圖;
圖2是本發(fā)明基于視覺的手勢識別系統(tǒng)的視頻采集模塊示意圖;
圖3是本發(fā)明基于視覺的手勢識別方法的提取手勢區(qū)域圖的流程圖;
圖4是本發(fā)明基于視覺的手勢識別方法的原理圖;
圖5是本發(fā)明基于視覺的手勢識別系統(tǒng)的示意圖。
具體實施方式
下面結(jié)合附圖和具體實施例對本發(fā)明作進一步的詳細說明。
本發(fā)明提出了一種基于視覺的手勢識別方法,主要是針對近距離應(yīng)用條件下,結(jié)合紅外LED的輔助,精確提取有效區(qū)域,去除無效點,通過模式識別達到實現(xiàn)實時手勢識別的目的,同時利用這些信息結(jié)合操作規(guī)則實現(xiàn)體感操控。
請參閱圖1是本發(fā)明基于視覺的手勢識別方法的流程圖,包括如下步驟:
步驟S101,分別獲取在紅外LED燈關(guān)和開的情況下的手勢的紅外圖像R和L;
具體的,視頻獲取利用視頻采集模塊實現(xiàn)視頻的獲取,請參閱圖2是本發(fā)明的基于視覺的手勢識別系統(tǒng)的視頻采集模塊示意圖,主要部件包括:紅外攝像頭,紅外LED,紅外濾光片以及相應(yīng)的控制器。通過該模塊結(jié)合算法可以實現(xiàn)區(qū)域選擇與操作點計算功能。
首先,紅外LED燈處于關(guān)閉狀態(tài),先利用攝像頭拍攝一張圖片,得到紅外圖像R;然后打開紅外LED燈,得到由攝像頭拍攝到的紅外圖像L。
步驟S102,對所述紅外圖像R和紅外圖像L進行灰度對比,提取得到手勢區(qū)域圖;
具體的,將紅外圖像R和紅外圖像L通過逐點計算每個像素灰度值的大小差值,把差值超過一個設(shè)定閾值的點提取出來,從而得到有效區(qū)域的信息,提取得到手勢區(qū)域圖。請參閱圖3是本發(fā)明基于視覺的手勢識別方法的提取手勢區(qū)域圖的流程圖,為實現(xiàn)實時區(qū)域選擇,需要使LED以一定的頻率閃爍。
步驟S103,利用圖像檢測邊緣算法在所述手勢區(qū)域圖上獲取手勢邊緣圖;
具體的,對得到的手勢區(qū)域圖進行腐蝕操作,去除邊緣處由于遮擋產(chǎn)生的無效的邊緣點,得到可靠的手勢區(qū)域圖,利用圖像邊緣檢測算法,比如Canny算子、Sobel算子等方法計算得到手勢邊緣圖。
步驟S104,通過視頻濾波算法在所述手勢邊緣圖上計算出手勢 特征點;
具體的,為了得到可靠應(yīng)用點,通過濾波計算算法所述手勢邊緣圖上計算出手指尖位置作為特征點。為了重構(gòu)出完整物體,通過抓取邊緣得到邊緣點,內(nèi)部的點在計算完成后通過對邊緣點進行插值得到。由于我們在近距離中絕大多數(shù)情況下得到的內(nèi)部區(qū)域滿足平滑條件,這樣的插值理論上是比較精確的。
請參閱圖4是本發(fā)明基于視覺的手勢識別方法的原理圖,通過上述的計算,可以得到目標的手勢特征點點在視場內(nèi)X方向、Y方向的實時坐標,通過該實時坐標,并結(jié)合一定的規(guī)則,就可以利用該設(shè)備進行體感操作。
本發(fā)明還提供一種基于視覺的手勢識別系統(tǒng),請參閱圖5是本發(fā)明基于視覺的手勢識別系統(tǒng)的示意圖,包括:
視頻采集模塊,用于獲取手勢紅外圖像,主要部件包括紅外攝像頭,紅外LED,紅外濾光片以及相應(yīng)的控制器;
圖像處理模塊,用于對所述紅外圖像進行灰度對比,得到手勢區(qū)域圖;
邊緣提取模塊,用于在所述手勢區(qū)域圖上獲取手勢邊緣圖;
特征提取模塊,用于在所述手勢邊緣圖上計算出手勢特征點。
本發(fā)明主要是針對近距離應(yīng)用條件下,結(jié)合紅外LED的輔助,精確提取有效區(qū)域,去除無效點,通過模式識別達到實現(xiàn)實時手勢識別的目的,同時利用這些信息結(jié)合操作規(guī)則實現(xiàn)體感操控。
以上所述本發(fā)明的具體實施方式,并不構(gòu)成對本發(fā)明保護范圍的限定。任何根據(jù)本發(fā)明的技術(shù)構(gòu)思所做出的各種其他相應(yīng)的改變與變形,均應(yīng)包含在本發(fā)明權(quán)利要求的保護范圍內(nèi)。