一種手勢識別方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供了一種手勢識別方法和系統(tǒng)，在對用戶的手勢進行拍攝和識別之前，先通過拍攝到的用戶圖像確定用戶的位置，然后根據(jù)用戶的位置對攝像設(shè)備的角度進行調(diào)整，使其對準(zhǔn)用戶；同時根據(jù)用戶的手勢范圍，對攝像設(shè)備的焦距進行調(diào)整，使攝像設(shè)備拍攝到的用戶圖像盡量最大化，這樣，由于用戶的手部在拍攝到的畫面中比較大，因而容易識別且識別準(zhǔn)確率較高,由于攝像設(shè)備會根據(jù)用戶的位置自動調(diào)整，因此用戶不必專門站到攝像設(shè)備的正前方進行操作，因此本發(fā)明的手勢識別方法更為靈活。
【專利說明】一種手勢識別方法和系統(tǒng)
[0001]

【技術(shù)領(lǐng)域】
[0002] 本發(fā)明涉及圖像識別【技術(shù)領(lǐng)域】，具體而言，涉及一種手勢識別方法和系統(tǒng)。

【背景技術(shù)】
[0003] 電視機等視頻設(shè)備由于用戶都是遠距離觀看，因此大都使用遙控器操作，隨著產(chǎn) 品的智能化越來越高，使用遙控器的操作方式已經(jīng)不能滿足用戶的需求。手勢控制作為一 種新型的控制方式，逐漸被應(yīng)用于控制電視機等產(chǎn)品上。
[0004] 目前較為典型的手勢識別技術(shù)是利用攝像設(shè)備對拍攝圖像，通過對圖像的分析識 別出用戶的手部的形態(tài)和位移，從而確定用戶的手勢。手勢識別技術(shù)實現(xiàn)了手部信息的捕 捉以及手部信息到命令的轉(zhuǎn)換，但現(xiàn)有的采用攝像設(shè)備采集數(shù)據(jù)方式進行手勢識別的方式 對用戶有較大的限制，一般都需要用戶在固定的位置才能達到較好的識別效果，例如要求 用戶正面站在攝像設(shè)備的正前方，且距離不能太遠也不能太近。而一旦用戶沒有在固定的 位置進行操作時，手勢的識別率較低。因此，需要一種新的手勢識別技術(shù)，能夠避免手勢動 作必須在某固定位置的限制的同時又能保證手勢識別的準(zhǔn)確率。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明提供了一種手勢識別方法，能夠避免手勢動作必須在某固定位置的限制以 及對使用者施加的相關(guān)限制，提高手勢識別的靈活性和準(zhǔn)確率。
[0006] 具體的，本發(fā)明提供了一種手勢識別方法，包括：通過攝像設(shè)備獲取第一圖像，根 據(jù)第一圖像確定用戶的位置，根據(jù)用戶的位置調(diào)整攝像設(shè)備的角度；調(diào)整攝像設(shè)備的焦距， 使其與用戶的手勢范圍相適應(yīng)；通過攝像設(shè)備獲取第二圖像，根據(jù)第二圖像對用戶手勢進 行識別。
[0007] 優(yōu)選的，本發(fā)明的手勢識別方法對第一圖像進行面部識別，根據(jù)面部識別結(jié)果確 定用戶位置。
[0008] 優(yōu)選的，本發(fā)明的手勢識別方法對第一圖像進行膚色識別之后進行眼部識別。
[0009] 優(yōu)選的，本發(fā)明的手勢識別方法根據(jù)用戶面部在所述第一圖像中的位置，計算攝 像設(shè)備的左右調(diào)整角度和/或上下調(diào)整角度。
[0010] 優(yōu)選的，本發(fā)明的手勢識別方法根據(jù)攝像設(shè)備當(dāng)前的焦距、用戶的手勢范圍與所 述第一圖像的比例計算攝像設(shè)備的目標(biāo)焦距。
[0011] 優(yōu)選的，本發(fā)明的手勢識別方法還包括：通過攝像設(shè)備獲取第三圖像，根據(jù)第三圖 像確定用戶的手勢范圍，并根據(jù)攝像設(shè)備當(dāng)前的焦距、用戶的手勢范圍與所述第三圖像的 比例計算攝像設(shè)備的目標(biāo)焦距。
[0012] 優(yōu)選的，本發(fā)明的手勢識別方法中的根據(jù)第二圖像對用戶手勢進行識別包括：對 第二圖像進行手部識別，獲得每幀圖像的手部位置；根據(jù)各幀圖像的手部位置確定手部的 運動軌跡；將手部的運動軌跡與預(yù)先存儲的手勢進行匹配。
[0013] 優(yōu)選的，本發(fā)明的手勢識別方法通過計算每幀圖像的手部質(zhì)心坐標(biāo)，將每幀圖像 的手部質(zhì)心坐標(biāo)相連得到手部的運動軌跡。
[0014] 本發(fā)明還提供了一種手勢識別系統(tǒng)，包括攝像設(shè)備和手勢識別設(shè)備，所述攝像設(shè) 備包括角度調(diào)整單元和焦距調(diào)整單元，所述手勢識別設(shè)備包括圖像處理單元和手勢識別單 元；所述圖像處理單元根據(jù)攝像設(shè)備獲取的第一圖像確定用戶的位置及手勢范圍，所述角 度調(diào)整單元根據(jù)用戶的位置對攝像設(shè)備的角度進行調(diào)整；所述焦距調(diào)整單元根據(jù)用戶的手 勢范圍對攝像設(shè)備的焦距進行調(diào)整；所述手勢識別單元根據(jù)攝像設(shè)備獲取的第二圖像獲取 用戶手勢信息并進行識別。
[0015] 優(yōu)選的，所述圖像處理單元通過對第一圖像進行面部識別，根據(jù)面部識別結(jié)果確 定用戶位置。
[0016] 優(yōu)選的，所述圖像處理單元對第一圖像進行膚色識別之后進行眼部識別，根據(jù)膚 色識別和眼部識別的結(jié)果確定用戶的面部區(qū)域。
[0017] 優(yōu)選的，所述圖像處理單元根據(jù)用戶面部在所述第一圖像中的位置，計算攝像設(shè) 備的左右調(diào)整角度和/或上下調(diào)整角度，所述角度調(diào)整單元根據(jù)所述調(diào)整角度對攝像設(shè)備 的角度進行調(diào)整。
[0018] 優(yōu)選的，所述圖像處理單元根據(jù)攝像設(shè)備當(dāng)前的焦距、用戶的手勢范圍與所述第 一圖像的比例計算攝像設(shè)備的目標(biāo)焦距，所述焦距調(diào)整單元根據(jù)目標(biāo)焦距對攝像設(shè)備的焦 距進行調(diào)整。
[0019] 優(yōu)選的，所述圖像處理單元對第二圖像的每幀圖像進行手部識別，獲得每幀圖像 的手部位置；所述手勢識別單元根據(jù)各幀圖像的手部位置確定手部的運動軌跡，根據(jù)手部 的運動軌跡識別出用戶的手勢。
[0020] 優(yōu)選的，本發(fā)明的手勢識別系統(tǒng)還包括被控設(shè)備，所述手勢識別設(shè)備根據(jù)手勢識 別單元的識別結(jié)果對被控設(shè)備進行控制。。
[0021] 本發(fā)明的實施例通過攝像設(shè)備獲得的用戶圖像對用戶的位置進行確定，根據(jù)用戶 的位置對攝像設(shè)備的角度進行調(diào)整，使其對準(zhǔn)用戶，這樣，攝像設(shè)備獲得的用戶圖像將是正 面的圖像；在此基礎(chǔ)上，根據(jù)用戶的手勢范圍對攝像設(shè)備的焦距進行調(diào)整，將攝像設(shè)備的攝 像范圍控制在用戶的手勢范圍之內(nèi)，這樣就避免了用戶距離攝像設(shè)備較遠時，用戶手勢相 對整個攝像畫面比例較小的問題，由于拍攝到的用戶手勢畫面較大，就可以比較容易的識 別出用戶的手部及手部的姿勢或運動軌跡，從而提高了手勢識別的準(zhǔn)確率；而對于用戶來 說，則不需要被限制在攝像設(shè)備正面固定的位置，從而提高了手勢識別設(shè)備使用的靈活性。
[0022]

【專利附圖】

【附圖說明】
[0023] 圖1是根據(jù)本發(fā)明的實施例的手勢識別方法的示意圖； 圖2是根據(jù)本發(fā)明的實施例的手勢識別方法的第一圖像的示意圖； 圖3是根據(jù)本發(fā)明的實施例的手勢識別方法的第二圖像的示意圖； 圖4是根據(jù)本發(fā)明的實施例的手勢識別系統(tǒng)的示意圖。
[0024]

【具體實施方式】
[0025] 為了能夠更清楚地理解本發(fā)明的上述目的、特征和優(yōu)點，下面結(jié)合附圖和具體實 施方式對本發(fā)明進行進一步的詳細描述。
[0026] 在下面的描述中闡述了很多具體細節(jié)以便于充分理解本發(fā)明，但是，本發(fā)明還可 以采用其他不同于在此描述的其他方式來實施，因此，本發(fā)明并不限于下面公開的具體實 施例的限制。
[0027] 圖1是根據(jù)本發(fā)明的實施例的手勢識別方法的流程圖。
[0028] 如圖1所示，根據(jù)本發(fā)明的實施例的手勢識別方法包括以下步驟： 步驟102,通過攝像設(shè)備獲取第一圖像，根據(jù)第一圖像確定用戶的位置； 具體的，第一圖像可以是單張圖片，也可以是連續(xù)的圖片，連續(xù)圖片的獲得可以可以采 用一般的連續(xù)拍攝獲得，也可以間隔拍攝獲得。
[0029] 若第一圖像為單張圖片，用戶的位置可以通過對圖像進行膚色識別，在膚色識別 的基礎(chǔ)上確定出用戶眼睛的位置，這樣，就可以據(jù)此確定用戶的面部位置。
[0030] 下面將詳細說明本實施例如何通過一張或一幀圖像獲得用戶的位置。
[0031] 一般情況下，攝像設(shè)備獲得的圖像是RGB格式的。RGB格式中的R值、G值、B值分 別表示紅色、綠色和藍色的值。一般情況下，人體的膚色都是紅色占主導(dǎo)，無論光照如何變 化都是這樣，在圖像表現(xiàn)上，就是人體膚色的R值大于G值和B值，根據(jù)這一特點，對R、G、B 的值進行一次篩選，剔除R值小于G值或B值的區(qū)域，只留下符合條件的色彩區(qū)域，如果沒 有其他與膚色相近的顏色的干擾，這樣就可以大體上檢測出人體膚色的區(qū)域。
[0032] 為了更準(zhǔn)確的識別出膚色區(qū)域，本實施例在RGB檢測的基礎(chǔ)上將圖片在YCrCb和 /或HSV色彩空間中繼續(xù)進行檢測。HSV是一個表示色相、飽和度和亮度的色彩空間，這個 色彩空間的模型對應(yīng)于圓柱坐標(biāo)系中的一個圓錐形子集。在HSV顏色模型中，每一種顏色 和它的補色相差180°。飽和度S取值從0到1，所以圓錐頂面的半徑為1。HSV顏色模型 所代表的顏色域是CIE色度圖的一個子集，這個模型中飽和度為百分之百的顏色，其純度 一般小于百分之百。YCrCb是表示色差的色彩空間，Cr與Cb是紅色與綠色的差和綠色與藍 色的差，人體這兩個差值是有一定范圍的。HSV色彩空間中利用的H值，這個值相當(dāng)于圖像 的亮度，利用色相值值可以剔除一些曝光過度引起的誤差。例如，可以將H值的范圍選擇為 0. 01;而Cr/Cb的比值范圍選擇為I. 1786>Cr/Cb>0. 5641，或者也可以將Cr與Cb分 別計算，閾值范圍選擇為165>Cr>110、195>Cb>140,不過也可以根據(jù)實際需要進行調(diào)整。通 過這樣的檢測和篩選，同樣可以檢測出圖像中人體膚色的區(qū)域。
[0033] 上面的人體膚色的檢測也可以是其他方法，例如通過圖像的R、G、B的值都進行閥 值判斷，僅通過RGB圖像即可檢測出膚色，或者也可以先對圖像的直方圖進行濾波，濾波之 后保留符合膚色特征的部分，然后在YCrCb色彩空間進行第二次檢測，這樣檢測出來的人 體膚色更為準(zhǔn)確。
[0034] 在人體膚色檢測出來之后，繼續(xù)根據(jù)膚色區(qū)域的形狀和位置信息提取人體的眼睛 區(qū)域。眼睛區(qū)域的檢測有多重方法，例如常用的霍夫變換法、變形模板法、邊緣特征分析法 和對稱變換法等人眼定位方法。在本發(fā)明實施例中，為了計算及分析方便，采用如下方式給 眼睛定位：一般人眼的位置大概在圖像中心偏上的區(qū)域，另外兩個眼睛的形狀應(yīng)該相似，也 就是以圓作為這個區(qū)域的近似形狀，圓的半徑要相差較小，這個即膚色區(qū)域的眼睛形狀。兩 個眼睛中心在水平方向高低一致，堅直方向上又不能太近，以此留下的區(qū)域為候選區(qū)域，即 確定眼睛的位置。
[0035] 在人體膚色和眼睛的位置確定之后，即可確定出用戶的位置。
[0036] 在上面的膚色檢測過程中，除了面部的膚色被檢測出來，用戶的其他裸露的部位 也同樣會被檢測出來，包括手部、腿部等。由于眼睛的位置已經(jīng)確定，因此用戶臉部的位置 也會被確定，接著可以利用各膚色塊的位置關(guān)系，確定出用戶的手部。例如，一般情況下，人 的手部位置都會在腿部之上，而距離眼睛的水平距離較遠，而且手部的面積也比腿部的面 積要小，依照這些條件，可以確定出各膚色塊對應(yīng)的人體部位。
[0037] 除了上面這些膚色識別方法之外，本實施例還可以使用其他膚色識別方法，例如 簡單定義膚色模型的膚色識別方法、非參數(shù)膚色模型的膚色識別方法、參數(shù)膚色模型的膚 色識別方法或者基于自適應(yīng)閾值的膚色檢測算法的膚色識別方法等。簡單定義膚色模型 是通過實驗觀察，通過定義一系列規(guī)則來定義顏色空間中的膚色區(qū)域，采用的規(guī)則包括有 人工定義的簡單的線性函數(shù)、復(fù)雜的非線性函數(shù)，或者通過機器學(xué)習(xí)自動找到規(guī)則。非參 數(shù)膚色模型通過訓(xùn)練集中的膚色出現(xiàn)頻率直接估計每種顏色的膚色概率，常用方法有查表 法、Bayes法、SOM法等，這類模型中的各顏色點的膚色概率值獨立，準(zhǔn)確性高，但缺乏泛化 能力。參數(shù)膚色模型假定膚色分布符合某類具體的數(shù)學(xué)函數(shù)，并通過訓(xùn)練數(shù)據(jù)來確定出相 應(yīng)的參數(shù)，模型通常被假定為服從單高斯分布、多高斯分布、橢圓分布等，這種模型在訓(xùn)練 數(shù)據(jù)不充分的情況下具有泛化能力?；谧赃m應(yīng)閾值的膚色檢測算法不同于固定閾值的直 方圖檢測方法，可以針對不同的圖像內(nèi)容產(chǎn)生相應(yīng)的最優(yōu)分割閾值。通過對膚色概率分布 直方圖（STOH)的觀察分析，可以提取出4點線索來幫助尋找最優(yōu)閾值，在此基礎(chǔ)上訓(xùn)練 出一個人工神經(jīng)網(wǎng)絡(luò)分類器來確定最優(yōu)閾值。
[0038] 以上說明都是基于第一圖像是單張圖片進行說明的，若第一圖像為連續(xù)的圖片， 那么可以通過對連續(xù)兩幀、多幀或間隔的兩幀、多幀進行運算之后再進行膚色識別。由于在 獲取連續(xù)圖片的過程中，攝像設(shè)備的位置是不變的，因而圖片的背景部分是不變的，這樣， 通過對兩張圖片進行運算，例如對每個像素進行減法運算可以有效的去除背景。這樣運算 之后的圖片基本上只剩下用戶的那部分圖像。接下來，仍然可以使用上面的膚色識別方法 對該圖片進行面部識別。當(dāng)然，第一圖像為連續(xù)的圖片時，也可是使用其他方法進行膚色識 另Ij，例如基于動態(tài)膚色模型的膚色識別方法。
[0039] 除此之外，本發(fā)明實施例對用戶的位置進行確定也可以借助其他方法，例如傳感 器、關(guān)節(jié)定位等。
[0040] 步驟104,根據(jù)用戶的位置調(diào)整攝像設(shè)備的角度； 步驟102對用戶的位置進行了確定，下面將詳細說明如何調(diào)整攝像設(shè)備的角度。
[0041] 如圖2所示，用戶的面部檢測結(jié)果顯示，用戶的位置在圖片的右側(cè)，距離圖片中軸 的距離為b，圖片的寬度為a。根據(jù)攝像設(shè)備當(dāng)前的焦距，CXD的尺寸，可以計算出攝像設(shè) 備當(dāng)前的拍攝角度，或者通過焦距、CCD的尺寸查表獲得攝像設(shè)備的拍攝角度。例如，當(dāng)鏡 頭焦距為2. 8mm時，若搭配1/3〃的(XD，其拍攝角度為89.9°，搭配1/4〃的(XD，其拍攝 角度為75.6° ;當(dāng)鏡頭焦距為3. 6mm時，若搭配1/3〃的(XD，其拍攝角度為75. 7°，搭配 1/4〃的(XD，其拍攝角度為62. 2° ;當(dāng)鏡頭焦距為6mm時，若搭配1/3〃的(XD，其拍攝角度 為50.0°，搭配1/4〃的(XD，其拍攝角度為39.8° ;當(dāng)鏡頭焦距為12mm時，若搭配1/3〃的 (XD，其拍攝角度為26. 2°，搭配1/4〃的(XD，其拍攝角度為20. 5°。
[0042]這里通過計算或這查表獲得當(dāng)前攝像設(shè)備的拍攝角度為α。那么通過三角函數(shù)， 我們即可根據(jù)以下方程計算出用戶的偏離角度β。
[0043]另外，這里也可以對β進行估算，例如，簡單的計算出。從而確定出攝像設(shè)備的水 平旋轉(zhuǎn)角度。
[0044] 本實施例也可以對攝像設(shè)備的垂直角度進行調(diào)整，整個計算和調(diào)整的過程和水平 方向的類似，這里不再贅述。
[0045] 步驟106,調(diào)整攝像設(shè)備的焦距，使其與用戶的手勢范圍相適應(yīng)； 在對攝像設(shè)備的角度進行調(diào)整之后，攝像設(shè)備即可正對用戶的面部。為了進一步提高 手勢識別的準(zhǔn)確率，本實施例將對攝像設(shè)備的焦距進行調(diào)整，一來使用戶的手部的動作都 可以被攝像設(shè)備拍攝到，二來使拍攝到的人體圖像盡量擴大，從而提高識別率。
[0046] -般來說，用戶手部的活動范圍可以以肩部的位置來確定，由于用戶的肩部一般 并不會暴露在外，因此通過膚色識別不能將肩部識別出來，而且即使其暴露在外，也很難確 定其位置。本實施例可以單獨通過面部識別的結(jié)果計算和確定手部的活動范圍，也可以同 時借助手部識別的結(jié)果一起計算和確定手部的活動范圍。
[0047]從人體結(jié)構(gòu)方面來講，人體面部的寬度、長度、肩部與頭部的位置關(guān)系以及手臂的 長度等都有一定的比例關(guān)系。一般來講，人的雙臂水平伸展開后，其整個長度不超過10個 人體面部的寬度。
[0048] 用戶的手勢范圍確定之后，即可通過計算手勢范圍和圖像的比例關(guān)系計算出合適 的攝像設(shè)備拍攝角度。本實施例以用戶的手勢范圍的水平寬度為c進行計算，設(shè)攝像設(shè)備 的拍攝角度為f，則根據(jù)以下方程可以計算出的角度： 當(dāng)然，本實施例也可以用其他方法粗略的計算出廠例如。
[0049] 在確定好攝像設(shè)備的拍攝角度之后，結(jié)合攝像設(shè)備CCD的尺寸，通過計算或者查 表，可以獲得攝像設(shè)備對應(yīng)的焦距。
[0050] 根據(jù)此算法，如果攝像設(shè)備CXD的寬高比較小，例如4:3或更小，在攝像設(shè)備水平 角度和焦距調(diào)整之后，攝像設(shè)備一般就可以拍攝到用戶手部所及的所有范圍，因而即可結(jié) 束調(diào)整。如果攝像設(shè)備C⑶的寬高比比較大，例如16:9或更大，則在焦距調(diào)整時，有可能需 要考慮攝像設(shè)備垂直角度的問題。如果需要的話，可以根據(jù)用戶的手部活動的垂直范圍，計 算出攝像設(shè)備的垂直角度，具體計算方法與水平角度的計算方法類似，這里不再贅述。在計 算出攝像設(shè)備的垂直角度之后，通過查表或計算出同時滿足攝像設(shè)備水平角度和垂直角度 的攝像設(shè)備的焦距，從而對攝像設(shè)備的焦距進行調(diào)整。
[0051]為了達到更好的效果，本實施例還可以在步驟104之后，在此通過攝像設(shè)備獲取 一張圖片或一張連續(xù)的圖像。此時，由于攝像設(shè)備已經(jīng)對準(zhǔn)了用戶，因此此時獲取的圖片 上，用戶的面部在圖片的中心，在此基礎(chǔ)上再一次按照步驟102的方法對圖片進行面部識 另IJ，可以獲得更加準(zhǔn)確的用戶面部圖像數(shù)據(jù)和手部的位置等數(shù)據(jù)。在此基礎(chǔ)上對攝像設(shè)備 的焦距進行調(diào)整可以達到更好的效果。
[0052] 步驟108,通過攝像設(shè)備獲取第二圖像；根據(jù)第二圖像獲得用戶手勢信息。
[0053] 圖3所示為焦距調(diào)整之后，攝像頭拍攝到的第二圖像的示意圖，和圖2的圖像相 t匕，用戶的面部和手部區(qū)域都被放大，這樣非常有利于用戶的膚色識別和手勢識別。
[0054] 第二圖像是連續(xù)的圖像，對連續(xù)圖像中的手勢識別可以使用多種方法，例如基于 馬爾可夫模型的手勢識別方法，基于手勢模型的匹配算法等。
[0055] 優(yōu)選的，本實施例通過下述過程進行手勢識別： 和步驟102類似，首先對第二圖像的每幀或每隔幾幀進行面部和手部識別，獲得用戶 的手部區(qū)域，具體的識別方法則可以參照步驟102,在此不再贅述。對每幀圖像進行識別會 增加運算量，但可以提高后續(xù)手勢識別的準(zhǔn)確率，如果每隔幾幀進行識別則可以加快運算 速度，本實施例對此不加限制，下面基于對每幀圖像進行面部和手部識別來說明。
[0056] 在對每幀圖像進行手部識別之后，會獲得一個手部區(qū)域，這一手部區(qū)域是一個連 續(xù)的區(qū)域，在圖像上表現(xiàn)為若干個像素點的集合。由于這一像素組合中的每個像素都有確 定的位置坐標(biāo)，這些像素的位置坐標(biāo)會被記錄下來。由于手部位置覆蓋的是一個連續(xù)的區(qū) 域，如果對每個像素的位置坐標(biāo)進行記錄則需要比較大的存儲空間和運算時間。為了解決 這一問題，本實施例優(yōu)選的使用下面的方法對手部的位置進行記錄。一種方法是僅記錄手 部區(qū)域的邊緣坐標(biāo)，這樣的像素點和整個手部區(qū)域的像素點數(shù)量要少得多；還有一種方法 是僅記錄手部區(qū)域的邊緣坐標(biāo)中的部分坐標(biāo)，例如拐點處的坐標(biāo)或者間隔幾個坐標(biāo)記錄其 中一個。
[0057] 當(dāng)每幀圖像的手部區(qū)域被識別并且被記錄下來之后，通過將手部位置按照時間順 序排列即可得到一個手部的移動軌跡。
[0058] 優(yōu)選的，本實施例通過計算手部為質(zhì)心位置來確定手部的移動軌跡。這一質(zhì)心位 置可以是手部區(qū)域形成的不規(guī)則圖像的重心，也可以是其他的點。如前所述，手部的位置記 錄有多種方式，其中包括對手部的邊緣坐標(biāo)進行記錄。本實施例可以通過一種簡單的方法 計算手部的質(zhì)心位置。在手部的邊緣坐標(biāo)中，選取最上面的一個點、最下面的一個點，最左 邊的一個點和最右邊的一個點。當(dāng)最上面的點為多個時，優(yōu)選的選取最中間的點，其他的三 個點也可采用類似的方式。將最上面的坐標(biāo)點和最下面的點連線形成一個直線，最左邊的 點和最右邊的點連線形成另一條直線，這兩成直線會有一個交叉點，這個點即可作為手部 的質(zhì)心位置。這樣，將記錄下來的每幀圖像的手部的質(zhì)心位置按時間順序相連，即可得到手 部的移動軌跡。
[0059] 上面記載的質(zhì)心位置計算方法相對簡單，本實施例也可使用其他方法確定手部的 質(zhì)心位置，例如通過間隔選取手部邊緣的至少3個點，將這些點依次連線形成一個多邊形， 通過計算該多邊形的重心，將該重心位置確定為手部的質(zhì)心位置。
[0060] 在獲得手部的移動軌跡之后，即可通過和預(yù)先存儲的手勢進行比較，從而識別出 用戶的手勢。類似的技術(shù)已經(jīng)有相應(yīng)的現(xiàn)有技術(shù)，例如模型匹配等，在此不再詳細說明。
[0061] 本發(fā)明實施例的手勢識別方法，在對用戶的手勢進行拍攝和識別之前，先通過拍 攝用戶圖像，根據(jù)用戶圖像確定用戶的位置，根據(jù)用戶的位置對攝像設(shè)備的角度進行調(diào)整， 使其對準(zhǔn)用戶；同時根據(jù)用戶的手勢范圍，對攝像設(shè)備的焦距進行調(diào)整，使拍攝到的用戶圖 像盡量最大化，這樣，由于用戶的手部在拍攝到的畫面中比較大，因而容易識別且識別準(zhǔn)確 率較高。由于攝像設(shè)備會根據(jù)用戶的位置自動調(diào)整，因此用戶不必專門站到攝像設(shè)備的正 前方進行操作，因此本發(fā)明實施例的手勢識別方法更為靈活。
[0062] 圖4所示為本發(fā)明實施例的手勢識別系統(tǒng)的示意圖。
[0063]如圖所示，本發(fā)明實施例的手勢識別系統(tǒng)200,包括攝像設(shè)備210和手勢識別設(shè)備 220,攝像設(shè)備210包括角度調(diào)整單元212和焦距調(diào)整單元214,手勢識別設(shè)備220包括圖像 處理單元222和手勢識別單元224。下面對手勢識別系統(tǒng)200的具體工作過程進行說明： 攝像設(shè)備210首先拍攝獲得用戶的第一圖像，圖像處理單元222根據(jù)第一圖像確定用 戶的位置。
[0064]具體的，第一圖像可以是單張圖片，也可以是連續(xù)的圖片，連續(xù)圖片的獲得可以可 以采用一般的連續(xù)拍攝獲得，也可以間隔拍攝獲得。
[0065]若第一圖像為單張圖片，用戶的位置可以通過對圖像進行膚色識別，在膚色識別 的基礎(chǔ)上確定出用戶眼睛的位置，這樣，就可以據(jù)此確定用戶的面部位置。
[0066]下面將詳細說明圖像處理單元222如何通過一張或一幀圖像獲得用戶的位置。 [0067]一般情況下，攝像設(shè)備210獲得的圖像是RGB格式的。RGB格式中的R值、G值、B 值分別表示紅色、綠色和藍色的值。一般情況下，人體的膚色都是紅色占主導(dǎo)，無論光照如 何變化都是這樣，在圖像表現(xiàn)上，就是人體膚色的R值大于G值和B值，根據(jù)這一特點，圖像 處理單元222對R、G、B的值進行一次篩選，剔除R值小于G值或B值的區(qū)域，只留下符合條 件的色彩區(qū)域，如果沒有其他與膚色相近的顏色的干擾，這樣就可以大體上檢測出人體膚 色的區(qū)域。
[0068] 為了更準(zhǔn)確的識別出膚色區(qū)域，圖像處理單元222在RGB檢測的基礎(chǔ)上將圖片在 YCrCb和/或HSV色彩空間中繼續(xù)進行檢測。HSV是一個表示色相、飽和度和亮度的色彩空 間，這個色彩空間的模型對應(yīng)于圓柱坐標(biāo)系中的一個圓錐形子集。在HSV顏色模型中，每一 種顏色和它的補色相差180°。飽和度S取值從0到1，所以圓錐頂面的半徑為1。HSV顏 色模型所代表的顏色域是CIE色度圖的一個子集，這個模型中飽和度為百分之百的顏色， 其純度一般小于百分之百。YCrCb是表示色差的色彩空間，Cr與Cb是紅色與綠色的差和 綠色與藍色的差，人體這兩個差值是有一定范圍的。HSV色彩空間中利用的H值，這個值相 當(dāng)于圖像的亮度，圖像處理單元222利用色相值值可以剔除一些曝光過度引起的誤差。例 如，圖像處理單元222可以將H值的范圍選擇為0. 1>H>0.01;而Cr/Cb的比值范圍選擇 為I. 1786>Cr/Cb>0. 5641，或者也可以將Cr與Cb分別計算，閾值范圍選擇為165>Cr>110、 195>Cb>140,不過也可以根據(jù)實際需要進行調(diào)整。通過這樣的檢測和篩選，同樣可以檢測出 圖像中人體膚色的區(qū)域。
[0069] 圖像處理單元222也可以使用其他方法對膚色進行識別，例如通過圖像的R、G、B 的值都進行閥值判斷，僅通過RGB圖像即可檢測出膚色，或者也可以先對圖像的直方圖進 行濾波，濾波之后保留符合膚色特征的部分，然后在YCrCb色彩空間進行第二次檢測，這樣 檢測出來的人體膚色更為準(zhǔn)確。
[0070] 在人體膚色檢測出來之后，圖像處理單元222繼續(xù)根據(jù)膚色區(qū)域的形狀和位置信 息提取人體的眼睛區(qū)域。眼睛區(qū)域的檢測有多重方法，例如常用的霍夫變換法、變形模板 法、邊緣特征分析法和對稱變換法等人眼定位方法。在本發(fā)明實施例中，為了計算及分析方 便，圖像處理單元222采用如下方式給眼睛定位：一般人眼的位置大概在圖像中心偏上的 區(qū)域，另外兩個眼睛的形狀應(yīng)該相似，也就是以圓作為這個區(qū)域的近似形狀，圓的半徑要相 差較小，這個即膚色區(qū)域的眼睛形狀。兩個眼睛中心在水平方向高低一致，堅直方向上又不 能太近，以此留下的區(qū)域為候選區(qū)域，即確定眼睛的位置。
[0071] 在人體膚色和眼睛的位置確定之后，即可確定出用戶的位置。
[0072] 在上面的膚色檢測過程中，除了面部的膚色被檢測出來，用戶的其他裸露的部位 也同樣會被檢測出來，包括手部、腿部等。由于眼睛的位置已經(jīng)確定，因此用戶臉部的位置 也會被確定，接著可以利用各膚色塊的位置關(guān)系，確定出用戶的手部。例如，一般情況下，人 的手部位置都會在腿部之上，而距離眼睛的水平距離較遠，而且手部的面積也比腿部的面 積要小，依照這些條件，可以確定出各膚色塊對應(yīng)的人體部位。
[0073] 圖像處理單元222在對用戶的位置進行確定之后，角度調(diào)整單元212將根據(jù)用戶 的位置對攝像設(shè)備210的角度進行調(diào)整，角度調(diào)整包括水平角度和垂直角度。水平角度和 垂直角度的調(diào)整類似，下面以水平調(diào)整為例進行詳細說明。
[0074] 繼續(xù)以圖2為例進行說明，用戶的第一圖像結(jié)果顯示，用戶的位置在圖片的右側(cè)， 距離圖片中軸的距離為b，圖片的寬度為a。根據(jù)攝像設(shè)備210當(dāng)前的焦距、CXD的尺寸，可 以計算出攝像設(shè)備當(dāng)前的拍攝角度，或者通過焦距、CCD的尺寸查表獲得攝像設(shè)備的拍攝角 度。例如，當(dāng)鏡頭焦距為2. 8mm時，若搭配1/3〃的(XD，其拍攝角度為89.9°，搭配1/4〃 的(XD，其拍攝角度為75.6°;當(dāng)鏡頭焦距為3. 6mm時，若搭配1/3〃的(XD，其拍攝角度 為75. 7°，搭配1/4〃的(XD，其拍攝角度為62. 2° ;當(dāng)鏡頭焦距為6mm時，若搭配1/3〃的 (XD，其拍攝角度為50.0°，搭配1/4〃的(XD，其拍攝角度為39.8° ;當(dāng)鏡頭焦距為12mm時， 若搭配1/3〃的(XD，其拍攝角度為26. 2°，搭配1/4〃的(XD，其拍攝角度為20. 5°。
[0075] 假設(shè)當(dāng)前攝像設(shè)備210的拍攝角度為α。那么通過三角函數(shù)，我們即可根據(jù)以下 方程計算出用戶的偏離角度β。
[0076] 另外，這里也可以對β進行估算，例如，簡單的計算出。
[0077] 這里計算得出的用戶的偏離角度β同時也是攝像設(shè)備210需要調(diào)整的角度，在該 例子中，角度調(diào)整單元212通過機械方式將攝像設(shè)備210的水平角度向右移動角度β即可 將攝像設(shè)備210對準(zhǔn)用戶。
[0078] 垂直角度的調(diào)整和水平調(diào)整類似，整個計算和調(diào)整的過程都可參考水平角度調(diào) 整，這里不再贅述。
[0079] 在對攝像設(shè)備210的角度進行調(diào)整之后，攝像設(shè)備即可正對用戶。為了進一步提 高手勢識別的準(zhǔn)確率，手勢識別系統(tǒng)200繼續(xù)對攝像設(shè)備210的焦距進行調(diào)整，一來使用戶 的手部的動作都可以被攝像設(shè)備拍攝到，二來使拍攝到的人體圖像盡量擴大，從而提高識 別率。
[0080] 圖像處理單元222前面對用戶的面部和手部進行了識別，在此基礎(chǔ)上，可以繼續(xù) 對用戶的手勢范圍進行確定，圖像處理單元222可以單獨通過面部識別的結(jié)果計算和確定 手部的活動范圍，也可以同時借助手部識別的結(jié)果一起計算和確定手部的活動范圍。從人 體結(jié)構(gòu)方面來講，人體面部的寬度、長度、肩部與頭部的位置關(guān)系以及手臂的長度等都有一 定的比例關(guān)系。一般來講，人的雙臂水平伸展開后，其整個長度不超過10個人體面部的寬 度。因此，圖像處理單元222可以對用戶的面部寬度進行計算，從而計算出用戶的手勢范 圍。
[0081] 用戶的手勢范圍確定之后，即可通過計算手勢范圍和圖像的比例關(guān)系計算出合適 的攝像設(shè)備拍攝角度。假設(shè)用戶的水平方向的手勢范圍寬度為C，設(shè)攝像設(shè)備的拍攝角度為 h則根據(jù)以下方程可以計算出Γ的角度： 當(dāng)然，本實施例的手勢識別系統(tǒng)200也可以用其他方法粗略的計算出F，例如。
[0082] 在確定好攝像設(shè)備的拍攝角度之后，結(jié)合攝像設(shè)備CCD的尺寸，通過計算或者查 表，可以獲得攝像設(shè)備對應(yīng)的目標(biāo)焦距。焦距調(diào)整單元214對攝像設(shè)備210的焦距進行調(diào) 整，使其達到該目標(biāo)焦距。
[0083] 在上述調(diào)整完成之后，攝像設(shè)備210獲取第二圖像，圖像處理單元222對第二圖像 進行處理，手勢識別單元224根據(jù)處理結(jié)果用戶的手勢進行識別。
[0084] 第二圖像是連續(xù)的圖像，對連續(xù)圖像中的手勢識別可以使用多種方法，例如基于 馬爾可夫模型的手勢識別方法，基于手勢模型的匹配算法等。
[0085] 優(yōu)選的，本實施例通過下述過程進行手勢識別： 圖像處理單元222首選對第二圖像的每幀或每隔幾幀進行面部和手部識別，獲得用戶 的手部區(qū)域，具體的識別方法在上面的說明中已有描述，在此不再贅述。對每幀圖像進行識 別會增加運算量，但可以提高后續(xù)手勢識別的準(zhǔn)確率，如果每隔幾幀進行識別則可以加快 運算速度，本實施例對此不加限制，下面基于對每幀圖像進行面部和手部識別來說明。
[0086] 圖像處理單元222在對每幀圖像進行手部識別之后，會獲得一個手部區(qū)域，這一 手部區(qū)域是一個連續(xù)的區(qū)域，在圖像上表現(xiàn)為若干個像素點的集合。由于這一像素組合中 的每個像素都有確定的位置坐標(biāo)，這些像素的位置坐標(biāo)會被記錄下來。由于手部位置覆蓋 的是一個連續(xù)的區(qū)域，如果對每個像素的位置坐標(biāo)進行記錄則需要比較大的存儲空間和運 算時間。為了解決這一問題，圖像處理單元222優(yōu)選的使用下面的方法對手部的位置進行 記錄。一種方法是僅記錄手部區(qū)域的邊緣坐標(biāo)，這樣的像素點和整個手部區(qū)域的像素點數(shù) 量要少得多；還有一種方法是僅記錄手部區(qū)域的邊緣坐標(biāo)中的部分坐標(biāo)，例如拐點處的坐 標(biāo)或者間隔幾個坐標(biāo)記錄其中一個。
[0087] 當(dāng)每幀圖像的手部區(qū)域被識別并且被記錄下來之后，通過將手部位置按照時間順 序排列即可得到一個手部的移動軌跡。
[0088] 優(yōu)選的，本實施例的手勢識別單元224通過計算手部為質(zhì)心位置來確定手部的移 動軌跡。這一質(zhì)心位置可以是手部區(qū)域形成的不規(guī)則圖像的重心，也可以是其他的點。如 前所述，手部的位置記錄有多種方式，其中包括對手部的邊緣坐標(biāo)進行記錄。手勢識別單元 224可以通過一種簡單的方法計算手部的質(zhì)心位置。在手部的邊緣坐標(biāo)中，選取最上面的一 個點、最下面的一個點，最左邊的一個點和最右邊的一個點。當(dāng)最上面的點為多個時，優(yōu)選 的選取最中間的點，其他的三個點也可采用類似的方式。將最上面的坐標(biāo)點和最下面的點 連線形成一個直線，最左邊的點和最右邊的點連線形成另一條直線，這兩成直線會有一個 交叉點，這個點即可作為手部的質(zhì)心位置。這樣，將記錄下來的每幀圖像的手部的質(zhì)心位置 按時間順序相連，即可得到手部的移動軌跡。
[0089] 上面記載的質(zhì)心位置計算方法相對簡單，手勢識別單元224也可使用其他方法確 定手部的質(zhì)心位置，例如通過間隔選取手部邊緣的至少3個點，將這些點依次連線形成一 個多邊形，通過計算該多邊形的重心，將該重心位置確定為手部的質(zhì)心位置。
[0090] 在獲得手部的移動軌跡之后，手勢識別單元224即可通過將手部的移動軌跡和預(yù) 先存儲的手勢進行比較，從而識別出用戶的手勢。類似的技術(shù)已經(jīng)有相應(yīng)的現(xiàn)有技術(shù)，例如 模型匹配等，在此不再詳細說明。
[0091] 本發(fā)明實施例的手勢識別系統(tǒng)，在對用戶的手勢進行拍攝和識別之前，先通過拍 攝用戶圖像，根據(jù)用戶圖像確定用戶的位置，根據(jù)用戶的位置對攝像設(shè)備的角度進行調(diào)整， 使其對準(zhǔn)用戶；同時根據(jù)用戶的手勢范圍，對攝像設(shè)備的焦距進行調(diào)整，使拍攝到的用戶圖 像盡量最大化，這樣，由于用戶的手部在拍攝到的畫面中比較大，因而容易識別且識別準(zhǔn)確 率較高。由于攝像設(shè)備會根據(jù)用戶的位置自動調(diào)整，因此用戶不必專門站到攝像設(shè)備的正 前方進行操作，因此本發(fā)明實施例的手勢識別方法更為靈活。
[0092] 以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技 術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修 改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
【權(quán)利要求】
1. 一種手勢識別方法，其特征在于，包括： 通過攝像設(shè)備獲取第一圖像，根據(jù)第一圖像確定用戶的位置，根據(jù)用戶的位置調(diào)整攝 像設(shè)備的角度； 調(diào)整攝像設(shè)備的焦距，使其與用戶的手勢范圍相適應(yīng)； 通過攝像設(shè)備獲取第二圖像，根據(jù)第二圖像對用戶手勢進行識別。
2. 根據(jù)權(quán)利要求1所述的手勢識別方法，其特征在于，所述根據(jù)第一圖像確定用戶的 位置及手勢范圍包括： 對第一圖像進行面部識別，根據(jù)面部識別結(jié)果確定用戶位置。
3. 根據(jù)權(quán)利要求2所述的手勢識別方法，其特征在于，所述對第一圖像進行面部識別 包括： 對第一圖像進行膚色識別之后進行眼部識別。
4. 根據(jù)權(quán)利要求2或3所述的手勢識別方法，其特征在于，所述根據(jù)用戶的位置調(diào)整攝 像設(shè)備的角度包括： 根據(jù)用戶面部在所述第一圖像中的位置，計算攝像設(shè)備的左右調(diào)整角度和/或上下調(diào) 整角度。
5. 根據(jù)權(quán)利要求1所述的手勢識別方法，其特征在于，所述調(diào)整攝像設(shè)備的焦距，使其 與用戶的手勢范圍相適應(yīng)包括： 根據(jù)攝像設(shè)備當(dāng)前的焦距、用戶的手勢范圍與所述第一圖像的比例計算攝像設(shè)備的目 標(biāo)焦距。
6. 根據(jù)權(quán)利要求1所述的手勢識別方法，其特征在于，所述調(diào)整攝像設(shè)備的焦距包括： 通過攝像設(shè)備獲取第三圖像，根據(jù)第三圖像確定用戶的手勢范圍，并根據(jù)攝像設(shè)備當(dāng)前的 焦距、用戶的手勢范圍與所述第三圖像的比例計算攝像設(shè)備的目標(biāo)焦距。
7. 根據(jù)權(quán)利要求1所述的手勢識別方法，其特征在于，所述根據(jù)第二圖像對用戶手勢 進行識別包括： 對第二圖像進行手部識別，獲得每幀圖像的手部位置； 根據(jù)各幀圖像的手部位置確定手部的運動軌跡； 將手部的運動軌跡與預(yù)先存儲的手勢進行匹配。
8. 根據(jù)權(quán)利要求7所述的手勢識別方法，其特征在于： 計算每幀圖像的手部質(zhì)心坐標(biāo)，將每幀圖像的手部質(zhì)心坐標(biāo)相連得到手部的運動軌 跡。
9. 一種手勢識別系統(tǒng)，包括攝像設(shè)備和手勢識別設(shè)備，其特征在于：所述攝像設(shè)備包括角 度調(diào)整單元和焦距調(diào)整單元，所述手勢識別設(shè)備包括圖像處理單元和手勢識別單元； 所述圖像處理單元根據(jù)攝像設(shè)備獲取的第一圖像確定用戶的位置及手勢范圍，所述角 度調(diào)整單元根據(jù)用戶的位置對攝像設(shè)備的角度進行調(diào)整；所述焦距調(diào)整單元根據(jù)用戶的手 勢范圍對攝像設(shè)備的焦距進行調(diào)整；所述手勢識別單元根據(jù)攝像設(shè)備獲取的第二圖像獲取 用戶手勢信息并進行識別。
10. 根據(jù)權(quán)利要求9所述的手勢識別系統(tǒng)，其特征在于： 所述圖像處理單元通過對第一圖像進行面部識別，根據(jù)面部識別結(jié)果確定用戶位置。
11. 根據(jù)權(quán)利要求10所述的手勢識別系統(tǒng)，其特征在于： 所述圖像處理單元對第一圖像進行膚色識別之后進行眼部識別，根據(jù)膚色識別和眼部 識別的結(jié)果確定用戶的面部區(qū)域。
12. 根據(jù)權(quán)利要求10或11所述的手勢識別系統(tǒng)，其特征在于： 所述圖像處理單元根據(jù)用戶面部在所述第一圖像中的位置，計算攝像設(shè)備的左右調(diào)整 角度和/或上下調(diào)整角度，所述角度調(diào)整單元根據(jù)所述調(diào)整角度對攝像設(shè)備的角度進行調(diào) 整。
13. 根據(jù)權(quán)利要求9所述的手勢識別系統(tǒng)，其特征在于： 所述圖像處理單元根據(jù)攝像設(shè)備當(dāng)前的焦距、用戶的手勢范圍與所述第一圖像的比例 計算攝像設(shè)備的目標(biāo)焦距，所述焦距調(diào)整單元根據(jù)目標(biāo)焦距對攝像設(shè)備的焦距進行調(diào)整。
14. 根據(jù)權(quán)利要求1所述的手勢識別系統(tǒng)，其特征在于： 所述圖像處理單元對第二圖像的每幀圖像進行手部識別，獲得每幀圖像的手部位置； 所述手勢識別單元根據(jù)各幀圖像的手部位置確定手部的運動軌跡，根據(jù)手部的運動軌跡識 別出用戶的手勢。
15. 根據(jù)權(quán)利要求9-14任一所述的手勢識別系統(tǒng)，其特征在于：所述手勢識別系統(tǒng)還 包括被控設(shè)備，所述手勢識別設(shè)備根據(jù)手勢識別單元的識別結(jié)果對被控設(shè)備進行控制。
【文檔編號】G06K9/00GK104317385SQ201410289840
【公開日】2015年1月28日 申請日期:2014年6月26日 優(yōu)先權(quán)日:2014年6月26日
【發(fā)明者】張文軍 申請人:青島海信電器股份有限公司