專利名稱：基于視頻流的人手定位方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人機(jī)交互領(lǐng)域，尤其是指一種基于視頻流的人手定位方法。
背景技術(shù)：
手勢(shì)是人們?nèi)粘Ｉ钪袕V泛使用的一種交流方式，具有很強(qiáng)的表意功能。隨著計(jì)算機(jī)技術(shù)的發(fā)展，手勢(shì)控制以其操作自然、直觀、非接觸等優(yōu)勢(shì)逐步被應(yīng)用于家電控制、互動(dòng)展示、游戲控制等場(chǎng)合?；谟?jì)算機(jī)視覺(jué)的手勢(shì)交互，其核心是利用計(jì)算機(jī)視覺(jué)、圖像處理等技術(shù)對(duì)圖像采集設(shè)備采集到的視頻序列進(jìn)行處理，得到對(duì)手勢(shì)控制行為的理解，從而進(jìn)行相應(yīng)響應(yīng)。手勢(shì)人機(jī)交互系統(tǒng)中，通常會(huì)設(shè)計(jì)啟動(dòng)、跟蹤、識(shí)別等過(guò)程，因?yàn)楦欓_始的時(shí)候 往往需要知道被跟蹤目標(biāo)的信息，常見的方法是利用固定手形的檢測(cè)來(lái)實(shí)現(xiàn)，這種方法不夠貼近人的自然行為。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于視頻流的人手定位方法，其能夠簡(jiǎn)單化人手定位的方法，更富有人性化。本發(fā)明的目的是這樣實(shí)現(xiàn)的
一種基于視頻流的人手定位方法，該方法包括如下步驟
(1)攝像頭采集一段圖像序列，并在采集的圖像中獲取人臉的位置與大小信息；
(2)根據(jù)人臉的位置與大小信息，確定揮手檢測(cè)區(qū)域，并計(jì)算出人手大??；
(3)計(jì)算所述揮手檢測(cè)區(qū)域內(nèi)是否產(chǎn)生揮手，若檢測(cè)到揮手，并獲得變化像素區(qū)域的位置中心點(diǎn)；
(4)以變化像素區(qū)域的位置中心點(diǎn)作為參考點(diǎn)，并根據(jù)步驟(2)計(jì)算出人手的大小，確定人手搜索區(qū)域，再定位人手的精確位置。在其中一個(gè)實(shí)施例中，所述步驟(3)計(jì)算所述揮手檢測(cè)區(qū)域包括如下步驟
A :計(jì)算采集到圖像的幀間差分圖像D (x，y, t)；
B :計(jì)算二值化后的巾貞間差分圖像B(x, y, t),設(shè)定閥值Thl,如果D(x, y, t)>Thl,則B (X，y, t) =V1,相反 B (X，y, t) =V2 ；
C :對(duì)二值化后的幀間差分圖像B (x，y, t)進(jìn)行標(biāo)定，確定揮手的像素點(diǎn)總數(shù)S ；
D :設(shè)定閥值Th2，若S>Th2，則判定檢測(cè)到揮手，初步確定手勢(shì)位置。在其中一個(gè)實(shí)施例中，所述步驟(4)包括如下步驟
A :確定揮手區(qū)域的中心點(diǎn)，并根據(jù)步驟(2)計(jì)算出人手的大小，確定人手搜索區(qū)域；
B :將人手搜索區(qū)域中的圖像轉(zhuǎn)換到適宜膚色分割的顏色空間，在該顏色空間上建立初始膚色模型；
C :根據(jù)建立的初始膚色模型，對(duì)圖像進(jìn)行膚色的粗分割；
D :根據(jù)粗分割的結(jié)果更新膚色模型，對(duì)圖像再次進(jìn)行膚色分割；E :重復(fù)步驟D，對(duì)比前后膚色模型參數(shù)，若參數(shù)趨于穩(wěn)定，則停止，獲得膚色的細(xì)分割結(jié)果;
F :根據(jù)細(xì)分割后的結(jié)果，計(jì)算出人手位置中心點(diǎn)，得到精確的人手位置。本發(fā)明基于視頻流的人手定位方法與現(xiàn)有技術(shù)相比，具有如下有益效果
(1)本發(fā)明人手定位方法對(duì)揮手時(shí)用戶的手形不做限制，更符合人的自然操作，貼近人的日常行為習(xí)慣，提高人機(jī)交互系統(tǒng)的交互體驗(yàn)；
(2)結(jié)合人臉檢測(cè)及揮手檢測(cè)區(qū)域的設(shè)定，減少誤操作的出現(xiàn)，提高識(shí)別準(zhǔn)確度；
(3)與動(dòng)態(tài)膚色分割技術(shù)的結(jié)合使用，使得人手位置確定更加精確。


圖I為本發(fā)明基于視頻流的人手定位方法確定揮手區(qū)域的示意 圖2為本發(fā)明基于視頻流的人手定位方法利用膚色分割方法修正揮手檢測(cè)位置示意圖。
具體實(shí)施例方式本發(fā)明基于視頻流的人手定位方法，該方法包括如下步驟
(1)攝像頭采集一段圖像序列，并在采集的圖像中獲取人臉的位置與大小信息；
(2)根據(jù)人臉的位置與大小信息，確定揮手檢測(cè)區(qū)域，并計(jì)算出人手大?。?br> (3)計(jì)算所述揮手檢測(cè)區(qū)域內(nèi)是否產(chǎn)生揮手，若檢測(cè)到揮手，并獲得變化像素區(qū)域的位置中心點(diǎn)；
(4)以變化像素區(qū)域的位置中心點(diǎn)作為參考點(diǎn)，并根據(jù)步驟(2)計(jì)算出人手的大小，確定人手搜索區(qū)域，再定位人手的精確位置。其中，所述步驟(3)計(jì)算所述揮手檢測(cè)區(qū)域包括如下步驟
A :計(jì)算采集到圖像的幀間差分圖像D (x，y, t)；
B :計(jì)算二值化后的巾貞間差分圖像B(x, y, t),設(shè)定閥值Thl,如果D(x, y, t)>Thl,則B (X，y, t) =V1,相反 B (X，y, t) =V2 ；
C :對(duì)二值化后的幀間差分圖像B (x，y, t)進(jìn)行標(biāo)定，確定揮手的像素點(diǎn)總數(shù)S ；
D :設(shè)定閥值Th2，若S>Th2，則判定檢測(cè)到揮手，初步確定手勢(shì)位置。其中，所述步驟(4)包括如下步驟
A :確定揮手區(qū)域的中心點(diǎn)，并根據(jù)步驟(2)計(jì)算出人手的大小，確定人手搜索區(qū)域；
B :將人手搜索區(qū)域中的圖像轉(zhuǎn)換到適宜膚色分割的顏色空間，在該顏色空間上建立初始膚色模型；
C :根據(jù)建立的初始膚色模型，對(duì)圖像進(jìn)行膚色的粗分割；
D :根據(jù)粗分割的結(jié)果更新膚色模型，對(duì)圖像再次進(jìn)行膚色分割；
E :重復(fù)步驟D，對(duì)比前后膚色模型參數(shù)，若參數(shù)趨于穩(wěn)定，則停止，獲得膚色的細(xì)分割結(jié)果;
F :根據(jù)細(xì)分割后的結(jié)果，計(jì)算出人手位置中心點(diǎn)，得到精確的人手位置，初步定為手勢(shì)位置。
下面對(duì)本實(shí)施例所述檢測(cè)方法再詳細(xì)說(shuō)明
步驟(I):用戶進(jìn)入攝像頭范圍內(nèi)，身體正對(duì)攝像頭，并揮手，攝像頭采集一段序列圖像，人機(jī)交互系統(tǒng)采用haar小波變換進(jìn)行特征提取，選擇Adoboost分類器做人臉檢測(cè)，搜索到人臉后，獲取圖像中人臉位置( , %)與大小信息(Wtl, hd。步驟(2):根據(jù)人臉位置與大小信息，設(shè)定揮手檢測(cè)區(qū)域，按照日常習(xí)慣，我們將以人的右肩膀?yàn)橹行牡囊粔K矩形區(qū)域設(shè)定為揮手檢測(cè)區(qū)域(xd，yd, wd, hd)，并且根據(jù)人體結(jié)構(gòu)特點(diǎn)計(jì)算出人手大小(W1, hi),具體計(jì)算方法如下
W1 = a0*w0，h: = b0*h0
Wd = B1^W1, hd=
Xd = X0 + W0, yd = y0 + h0 - 0. 5*hd(其中aQ，b0, B1, b1為比例系數(shù))。
·
步驟(3):通過(guò)對(duì)攝像頭采集視頻圖像序列進(jìn)行計(jì)算，在設(shè)定的揮手檢測(cè)區(qū)域中檢測(cè)是否有揮手產(chǎn)生，并獲得變化像素區(qū)域的位置中心點(diǎn)，初步定為手勢(shì)位置。該步驟的具體步驟如下
A :計(jì)算采集到視頻圖像序列的巾貞間差分圖像D(x, y, t) = | I (x, y, t)_I (x, y, t_l) | ,其中，I (x，y, t)表示t時(shí)刻采集到的一幅圖像中的揮手檢測(cè)區(qū)域圖像；
B :計(jì)算二值化后的巾貞間差分圖像B(x, y, t),設(shè)定閥值Thl,如果D(x, y, t)>Thl,則B (X，y, t) =V1,相反 B (X，y, t) =V2 ；
C :通過(guò)對(duì)比二值化后的幀間差分圖像對(duì)揮手像素點(diǎn)進(jìn)行標(biāo)定，確定揮手的像素點(diǎn)總數(shù)S。具體步驟如下
設(shè)定一段時(shí)間長(zhǎng)度T，獲取T時(shí)間長(zhǎng)度的二值化后的幀間差分圖像。對(duì)一個(gè)二維的標(biāo)定記錄矩陣U(x，y)進(jìn)行操作，如果B(x，y，t)的值不等于B(x，y，t_l)的值，則認(rèn)為是變化像素點(diǎn)，若記錄到連續(xù)n次發(fā)生變化，則標(biāo)記U(x，y)是揮手像素點(diǎn)；相反，如果B(x，y，t)的值等于B (x, y, t-1)的值，則認(rèn)為該像素點(diǎn)未發(fā)生變化，若該像素點(diǎn)連續(xù)未發(fā)生變化，則標(biāo)記U(x，y)是靜止像素點(diǎn)。對(duì)U(x，y)中標(biāo)記的揮手像素點(diǎn)進(jìn)行統(tǒng)計(jì)求和，得到揮手像素點(diǎn)的總數(shù)S。D :設(shè)定閥值Th2，若S>Th2，則判定為檢測(cè)到揮手。由于揮手動(dòng)作是動(dòng)態(tài)的，所以揮手成功后得到的位置是不精確的，必須通過(guò)其他途徑來(lái)確定揮手的精確位置。本實(shí)施例采用自適應(yīng)閾值的膚色分割技術(shù)定位人手位置。(4)以變化像素區(qū)域的位置中心點(diǎn)作為參考點(diǎn)，并根據(jù)步驟(2)計(jì)算出人手的大小，確定人手搜索區(qū)域，再定位人手的精確位置。該步驟具體包括如下步驟
A :如圖I中所示，以獲得的粗略的手勢(shì)位置中心點(diǎn)為參考點(diǎn)，參考步驟(2)計(jì)算出的人手大小信息，劃定人手搜索區(qū)域；
B :將搜索區(qū)域中的圖像轉(zhuǎn)換到對(duì)膚色分割具有良好效果的顏色空間YCrCb，在該顏色空間上建立初始膚色閥值模型；
C :根據(jù)建立的初始膚色模型，對(duì)圖像進(jìn)行膚色的粗分割，把Y，Cr, Cb三個(gè)通道的閾值適當(dāng)?shù)姆糯?，然后用放大后的膚色模型對(duì)這個(gè)圖像進(jìn)行處理，確保是膚色的地方都能分割出來(lái)，允許部分類膚色的圖像干擾；
D :對(duì)已經(jīng)分割出來(lái)的圖像進(jìn)行統(tǒng)計(jì)處理，對(duì)每個(gè)通道的像素求平均值，得到適合當(dāng)前場(chǎng)景內(nèi)膚色的模型，設(shè)定比較窄的通道閾值，對(duì)圖像再次進(jìn)行膚色分割；
E :重復(fù)步驟D，對(duì)比前后膚色模型參數(shù)，若參數(shù)趨于穩(wěn)定，則停止，獲得膚色的細(xì)分割結(jié)果;
F :根據(jù)細(xì)分割后的結(jié)果，計(jì)算出位置中心點(diǎn)，得到精確的人手位置。
以上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)，但并不能因此而理解為對(duì)本發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。因此，本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。
權(quán)利要求
1.一種基于視頻流的人手定位方法，其特征在于，該方法包括如下步驟 (1)攝像頭采集一段圖像序列，并在采集的圖像中獲取人臉的位置與大小信息； (2)根據(jù)人臉的位置與大小信息，確定揮手檢測(cè)區(qū)域，并計(jì)算出人手大小； (3)計(jì)算所述揮手檢測(cè)區(qū)域內(nèi)是否產(chǎn)生揮手，若檢測(cè)到揮手，并獲得變化像素區(qū)域的位置中心點(diǎn)； (4)以變化像素區(qū)域的位置中心點(diǎn)作為參考點(diǎn)，井根據(jù)步驟(2)計(jì)算出人手的大小，確定人手捜索區(qū)域，再定位人手的精確位置。
2.根據(jù)權(quán)利要求I所述的基于視頻流的人手定位方法，其特征在于，所述步驟(3)計(jì)算所述揮手檢測(cè)區(qū)域包括如下步驟 A :計(jì)算采集到圖像的幀間差分圖像D(x，y, t)； B :計(jì)算ニ值化后的巾貞間差分圖像B(x, y, t),設(shè)定閥值Thl,如果D(x, y, t)>Thl,則B (X，y, t) =V1,相反 B (X，y, t) =V2 ； C :對(duì)ニ值化后的幀間差分圖像B (X，y, t)進(jìn)行標(biāo)定，確定揮手的像素點(diǎn)總數(shù)S ； D :設(shè)定閥值Th2，若S>Th2，則判定檢測(cè)到揮手，初步確定手勢(shì)位置。
3.根據(jù)權(quán)利要求I所述的基于視頻流的人手定位方法，其特征在于，所述步驟(4)包括如下步驟 A :確定揮手區(qū)域的中心點(diǎn)，井根據(jù)步驟(2)計(jì)算出人手的大小，確定人手捜索區(qū)域； B :將人手捜索區(qū)域中的圖像轉(zhuǎn)換到適宜膚色分割的顔色空間，在該顏色空間上建立初始膚色模型； C :根據(jù)建立的初始膚色模型，對(duì)圖像進(jìn)行膚色的粗分割； D :根據(jù)粗分割的結(jié)果更新膚色模型，對(duì)圖像再次進(jìn)行膚色分割； E :重復(fù)步驟D，對(duì)比前后膚色模型參數(shù)，若參數(shù)趨于穩(wěn)定，則停止，獲得膚色的細(xì)分割結(jié)果; F :根據(jù)細(xì)分割后的結(jié)果，計(jì)算出人手位置中心點(diǎn)，得到精確的人手位置。
全文摘要
本發(fā)明公開了一種基于視頻流的人手定位方法，該方法包括如下步驟(1)攝像頭采集一段圖像序列，并在采集的圖像中獲取人臉的位置與大小信息；(2)根據(jù)人臉的位置與大小信息，確定揮手檢測(cè)區(qū)域，并計(jì)算出人手大??；(3)計(jì)算所述揮手檢測(cè)區(qū)域內(nèi)是否產(chǎn)生揮手，若檢測(cè)到揮手，并獲得變化像素區(qū)域的位置中心點(diǎn)；(4)以變化像素區(qū)域的位置中心點(diǎn)作為參考點(diǎn)，并根據(jù)步驟(2)計(jì)算出人手的大小，確定人手搜索區(qū)域，再定位人手的精確位置。本發(fā)明基于視頻流的人手定位方法，其能夠簡(jiǎn)單化人手定位的方法，更富有人性化。
文檔編號(hào)G06F3/01GK102799855SQ20121019560
公開日2012年11月28日 申請(qǐng)日期2012年6月14日 優(yōu)先權(quán)日2012年6月14日
發(fā)明者徐向民, 裘索, 王恩翔 申請(qǐng)人:華南理工大學(xué)