一種基于達(dá)芬奇技術(shù)的手語識(shí)別翻譯方法
【專利摘要】本發(fā)明提出一種基于達(dá)芬奇技術(shù)的手語識(shí)別翻譯方法，所述方法包括以下步驟：采集手語者的動(dòng)作視頻；在前景圖像中提取膚色塊；計(jì)算提取到的膚色塊的深度信息，并根據(jù)膚色塊的深度信息對(duì)臉部區(qū)域進(jìn)行定位；根據(jù)膚色塊的深度信息對(duì)手部進(jìn)行定位并提取關(guān)鍵幀并修補(bǔ)填充膚色塊；提取關(guān)鍵幀的一種或多種手型特征；根據(jù)提取的手型特征，使用單個(gè)分類器進(jìn)行分類或者使用多個(gè)分類器進(jìn)行投票表決，得到靜態(tài)手勢(shì)識(shí)別結(jié)果；對(duì)手勢(shì)的運(yùn)動(dòng)軌跡進(jìn)行識(shí)別，得到軌跡識(shí)別結(jié)果；對(duì)靜態(tài)手勢(shì)識(shí)別結(jié)果和軌跡識(shí)別結(jié)果進(jìn)行糾錯(cuò)與拼接，得到手語的識(shí)別翻譯結(jié)果。本發(fā)明具有識(shí)別率高、實(shí)時(shí)性強(qiáng)的優(yōu)點(diǎn)。
【專利說明】一種基于達(dá)芬奇技術(shù)的手語識(shí)別翻譯方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理、模式識(shí)別領(lǐng)域，更具體地，涉及一種基于達(dá)芬奇技術(shù)的手語 識(shí)別翻譯方法。

【背景技術(shù)】
[0002] 在日常生活中，打手勢(shì)、做手語是一種重要的交流方式。對(duì)于聾啞人們來說，手語 更是必不可少。然而多數(shù)人對(duì)手語并不夠了解，所以為了讓人們能夠看懂手語，手語識(shí)別的 研宄也隨之展開。最開始出現(xiàn)的手語翻譯系統(tǒng)是基于數(shù)據(jù)手套的，識(shí)別效果比較可觀，但造 價(jià)昂貴，也不利于攜帶。人們便逐漸聚焦在基于視覺的手語翻譯系統(tǒng)的研宄中，但卻也面臨 著系統(tǒng)識(shí)別率低、實(shí)時(shí)性差額、不便于攜帶和系統(tǒng)成本較高等問題，對(duì)手語翻譯系統(tǒng)的普及 造成很大的困難。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明克服上述現(xiàn)有技術(shù)所述的系統(tǒng)識(shí)別率低、實(shí)時(shí)性差額、不便于攜帶和系統(tǒng) 成本較高的缺陷，提供一種識(shí)別率高、實(shí)時(shí)性強(qiáng)的基于達(dá)芬奇技術(shù)的手語識(shí)別翻譯方法。
[0004] 為解決上述技術(shù)問題，本發(fā)明的技術(shù)方案如下：
[0005] 一種基于達(dá)芬奇技術(shù)的手語識(shí)別翻譯方法，所述方法包括以下步驟：
[0006] Sl :采集手語者的動(dòng)作視頻，對(duì)視頻流建立背景，當(dāng)前幀與背景作差得到前景圖 像；
[0007] S2 :在前景圖像中提取膚色塊；
[0008] S3:計(jì)算提取到的膚色塊的深度信息，并根據(jù)膚色塊的深度信息對(duì)臉部區(qū)域進(jìn)行 定位；
[0009] S4 :根據(jù)膚色塊的深度信息對(duì)手部進(jìn)行定位并提取關(guān)鍵幀，并對(duì)關(guān)鍵幀的手部區(qū) 域膚色塊進(jìn)行修補(bǔ)填充，所述關(guān)鍵幀為手部在一個(gè)區(qū)域內(nèi)停留達(dá)到預(yù)設(shè)幀數(shù)的幀；
[0010] S5 :提取關(guān)鍵幀的一種或多種手型特征；
[0011] S6:根據(jù)提取的手型特征，使用單個(gè)分類器進(jìn)行分類或者使用多個(gè)分類器進(jìn)行投 票表決，得到靜態(tài)手勢(shì)識(shí)別結(jié)果；
[0012] S7 :對(duì)手勢(shì)的運(yùn)動(dòng)軌跡進(jìn)行識(shí)別，得到軌跡識(shí)別結(jié)果；
[0013] S8:對(duì)靜態(tài)手勢(shì)識(shí)別結(jié)果和軌跡識(shí)別結(jié)果進(jìn)行糾錯(cuò)與拼接，得到手語的識(shí)別翻譯 結(jié)果。
[0014] 在一種優(yōu)選的方案中，所述方法還包括：步驟Sl中，使用2個(gè)攝像頭同時(shí)采集手語 者的動(dòng)作視頻，首先調(diào)整攝像頭使2個(gè)攝像頭水平，然后分別對(duì)2個(gè)攝像頭采集的視頻流建 立背景，選取某一幀圖像作為初始的背景，當(dāng)前幀與背景作差得到前景圖像，使用均值漂移 的方法對(duì)背景進(jìn)行更新。
[0015] 在一種優(yōu)選的方案中，所述方法還包括：步驟S2中，使用高斯膚色模型在前景圖 像中提取膚色塊。
[0016] 在一種優(yōu)選的方案中，所述方法還包括：步驟S3中，2個(gè)攝像頭采集到的膚色塊的 重心點(diǎn)相互對(duì)應(yīng)，計(jì)算這些相互對(duì)應(yīng)的重心點(diǎn)之間的歐氏距離，即可得到這些膚色塊的深 度信息；
[0017] 相對(duì)應(yīng)的膚色塊的重心點(diǎn)距離越大，則該膚色塊離攝像頭越近，在準(zhǔn)備階段，臉部 和手部與攝像頭的距離一樣，而使用者背后的膚色物體的深度信息明顯與臉部區(qū)域的不 同，再根據(jù)雙手和臉部區(qū)域的相對(duì)位置，即可對(duì)臉部區(qū)域進(jìn)行定位。
[0018] 在一種優(yōu)選的方案中，所述方法還包括：步驟S4中，在做手語手勢(shì)時(shí)，離攝像頭最 近的運(yùn)動(dòng)膚色塊為手部，而遠(yuǎn)的運(yùn)動(dòng)膚色塊為臉部或其他運(yùn)動(dòng)的膚色物體，根據(jù)這一特性 對(duì)手部進(jìn)行定位，然后提取關(guān)鍵幀，并利用感知器算法對(duì)手部膚色塊進(jìn)行修補(bǔ)填充，所述關(guān) 鍵幀為手部在一個(gè)區(qū)域內(nèi)停留達(dá)到預(yù)設(shè)幀數(shù)的幀。
[0019] 在一種優(yōu)選的方案中，所述方法還包括：步驟S5中，提取關(guān)鍵幀的歸一化傅里葉 描述子、手型骨架和指尖數(shù)目的特征，具體方法為：
[0020] 首先提取手型骨架特征：將手勢(shì)圖像用最小的矩形包圍住，把該矩形四等分，計(jì)算 出各塊圖像的重心點(diǎn)，將四個(gè)重心點(diǎn)連接成一個(gè)四邊形，計(jì)算出該四邊形的各邊長、對(duì)角線 長、矩形度、角度共同作為手型骨架的特征；
[0021] 然后提取歸一化傅里葉描述子特征；
[0022] 最后提取指尖數(shù)目特征，計(jì)算手勢(shì)輪廓的曲率，若某段輪廓的曲率大于預(yù)設(shè)的閾 值則該段為指尖，判斷出該手勢(shì)伸出了多少根手指，即為指尖數(shù)目特征。
[0023] 在一種優(yōu)選的方案中，步驟S6中，投票表決的方法如下：
[0024] 先對(duì)每個(gè)分類器所能投的票數(shù)進(jìn)行初始化；統(tǒng)計(jì)各個(gè)先前訓(xùn)練好的分類器的識(shí)別 結(jié)果，采用獎(jiǎng)懲方式調(diào)整各分類器所能投出的票數(shù)；根據(jù)各分類器所能投的票數(shù)，按手勢(shì)特 征與分類器各類的相似程度進(jìn)行分散投票，最相似者票數(shù)最多，票數(shù)最多的一類作為為識(shí) 別結(jié)果。
[0025] 在一種優(yōu)選的方案中，步驟S7中，采用分層的軌跡識(shí)別方法對(duì)手勢(shì)的運(yùn)動(dòng)軌跡進(jìn) 行識(shí)別，其具體方法包括以下步驟：
[0026] (1)先進(jìn)行第一層的軌跡識(shí)別，以兩個(gè)關(guān)鍵幀之間的軌跡點(diǎn)坐標(biāo)，使用Freeman鏈 碼對(duì)這些軌跡點(diǎn)進(jìn)行編碼，使其連成一個(gè)鏈碼序列用于短軌跡的識(shí)別；
[0027] (2)將軌跡點(diǎn)數(shù)分成4、8、12、16個(gè)點(diǎn)四種，對(duì)于實(shí)際的短軌跡段的長度則按這四 種情況進(jìn)行軌跡點(diǎn)數(shù)的調(diào)整，即根據(jù)各坐標(biāo)點(diǎn)的間距，進(jìn)行補(bǔ)點(diǎn)或刪點(diǎn)，使長度達(dá)到四種 點(diǎn)數(shù)的其中一種；
[0028] (3)設(shè)定多種基本情況的短軌跡類型，如向左、向上、向坐上等類型，使這些短軌跡 能組成各種各樣的長軌跡，并根據(jù)短軌跡首末坐標(biāo)點(diǎn)進(jìn)行軌跡的移動(dòng)方向的分類；
[0029] (4)根據(jù)短軌跡的長度，將目標(biāo)短軌跡與事先訓(xùn)練好的有可能與之相匹配的短軌 跡類型使用簡單的歐氏距離公式計(jì)算相似度，以完成短軌跡識(shí)別，得到短軌跡的識(shí)別結(jié)果 編號(hào)，因?yàn)槎誊壽E的軌跡點(diǎn)少，所以短軌跡并不需要事先訓(xùn)練，只需要按Freeman鏈碼所設(shè) 定的方向編號(hào)自行設(shè)定短軌跡的類型即可；
[0030] (5)計(jì)算出短軌跡的長度，并將其起始點(diǎn)、終點(diǎn)的坐標(biāo)和短軌跡的長度保存下來；
[0031] (6)進(jìn)行第二層的長軌跡處理，將各個(gè)短軌跡的識(shí)別結(jié)果進(jìn)行續(xù)接排列起來作為 HMM的觀察序列O ;
[0032] (7)使用Viterbi算法對(duì)長軌跡進(jìn)行識(shí)別，將采集到的觀察序列O輸入到Viterbi 函數(shù)中，利用Viterbi算法計(jì)算出觀察序列O在各個(gè)事先訓(xùn)練好的長軌跡模型λ下的概率 P (〇 I λ )，并重復(fù)迭代直至收斂，將最接近的模型對(duì)應(yīng)的軌跡作為識(shí)別結(jié)果。
[0033] 在一種優(yōu)選的方案中，步驟S8中，首先使用Bigram(二元文法）模型對(duì)詞根序列 進(jìn)行第一層糾錯(cuò)，然后使用Trie (字典樹）索引樹進(jìn)行第二層的糾錯(cuò)處理。
[0034] 與現(xiàn)有技術(shù)相比，本發(fā)明技術(shù)方案的有益效果是：本發(fā)明基于達(dá)芬奇技術(shù)的手語 識(shí)別翻譯方法，采用達(dá)芬奇技術(shù)實(shí)現(xiàn)手語識(shí)別翻譯，達(dá)芬奇技術(shù)相比傳統(tǒng)的數(shù)據(jù)手套具有 便于攜帶、低成本的優(yōu)點(diǎn)；本發(fā)明通過對(duì)深度信息的提取實(shí)現(xiàn)手部和臉部的定位，運(yùn)算量更 少，定位更加快捷準(zhǔn)確；本發(fā)明使用感知器算法對(duì)手部膚色塊進(jìn)行修補(bǔ)填充，削弱了光照對(duì) 手部膚色提取的影響，使膚色提取更完整；本發(fā)明使用傅里葉描述子分類器、手型骨架分類 器和指尖數(shù)目分類器進(jìn)行投票表決，將三個(gè)分類器組合起來共同對(duì)靜態(tài)手勢(shì)進(jìn)行識(shí)別的方 法使得靜態(tài)手勢(shì)識(shí)別率大大提高；本發(fā)明使用Bigram模型和trie索引樹對(duì)詞根進(jìn)行雙層 糾錯(cuò)處理，提高句子識(shí)別的正確率。

【專利附圖】

【附圖說明】
[0035] 圖1為本發(fā)明的硬件結(jié)構(gòu)圖。
[0036] 圖2為本發(fā)明的DM6446處理器的功能圖。
[0037] 圖3為本發(fā)明的方法原理圖。
[0038] 圖4為本發(fā)明的膚色塊（手部+臉部）提取的結(jié)果示例圖。
[0039] 圖5為本發(fā)明的膚色塊（手部）提取的結(jié)果示例圖。
[0040] 圖6為本發(fā)明的感知器膚色填充的結(jié)果示例圖。
[0041] 圖7為本發(fā)明的種子填充尋找最大連通域的結(jié)果示例圖。
[0042] 圖8為本發(fā)明的手型骨架特征提取的結(jié)果示例圖。
[0043] 圖9為本發(fā)明的輪廓檢測的結(jié)果示例圖。
[0044] 圖10為本發(fā)明的指尖數(shù)目特征提取的結(jié)果示例圖。
[0045] 圖11為本發(fā)明的軌跡識(shí)別算法對(duì)部分軌跡進(jìn)行統(tǒng)計(jì)識(shí)別率的檢測圖。

【具體實(shí)施方式】
[0046] 附圖僅用于示例性說明，不能理解為對(duì)本專利的限制；
[0047] 對(duì)于本領(lǐng)域技術(shù)人員來說，附圖中某些公知結(jié)構(gòu)及其說明可能省略是可以理解 的。
[0048] 下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的說明。
[0049] 實(shí)施例1
[0050] 一種基于達(dá)芬奇技術(shù)的手語識(shí)別翻譯方法，所述達(dá)芬奇技術(shù)由達(dá)芬奇處理器、達(dá) 芬奇軟件、達(dá)芬奇開發(fā)工具和達(dá)芬奇技術(shù)支持系統(tǒng)等組件優(yōu)化構(gòu)成。
[0051] 如圖1所示，達(dá)芬奇處理器采用DM6446處理器，DM6446處理器就是一款利用達(dá)芬 奇技術(shù)面向視頻和圖像處理的多功能高速芯片，具有高性能、低功耗、低成本等優(yōu)點(diǎn)，采用 ARM子系統(tǒng)+DSP子系統(tǒng)雙核架構(gòu)開放架構(gòu)，其中ARM子系統(tǒng)采用ARM926E-J內(nèi)核，工作主頻 為297MHz，DSP子系統(tǒng)采用C64x+內(nèi)核并攜帶視頻加速器，工作主頻為594MHz。DM6446處 理器還包括VPSS(視頻處理子系統(tǒng)）和外圍設(shè)備，VPSS輸入攝像頭采集的視頻圖像，輸出 視頻圖像到顯示屏；外圍設(shè)備包括DDR SDRAM和SD卡；ARM子系統(tǒng)、DSP子系統(tǒng)、VPSS和外 圍設(shè)備之間通過交換中央資源（SCR)進(jìn)行通信。
[0052] 如圖2所示，達(dá)芬奇軟件的框架共分為應(yīng)用層、信號(hào)處理層和I/O層三部分，其中 信號(hào)處理層運(yùn)行在DSP端，實(shí)現(xiàn)接收雙攝像頭輸入的手語視頻、靜態(tài)手勢(shì)識(shí)別、軌跡識(shí)別以 及詞根的糾錯(cuò)和拼接；而應(yīng)用層則運(yùn)行在ARM端，實(shí)現(xiàn)OSD圖像疊加、添加字幕。
[0053] 如圖3所示，所述手語識(shí)別翻譯方法包括以下步驟：
[0054] Sl:采用2個(gè)攝像頭分別采集手語者的動(dòng)作視頻，對(duì)視頻流建立背景，當(dāng)前幀與背 景作差得到前景圖像。
[0055] 調(diào)整攝像頭位置：將兩型號(hào)相同的電視線為420的CXD攝像頭大致平行放在一起， 連接好各攝像頭與DM6446之間的視頻輸入線。分別截取輸入到DM6446中的兩個(gè)視頻流中 的同一幀圖像，忽略輸入視頻流中的Cb和Cr部分的數(shù)據(jù)，取一個(gè)較大的值，將視頻圖像閾 值化。尋找一塊特征較明顯的像素塊，如一些角點(diǎn)。通過對(duì)這些像素塊的定位，對(duì)兩個(gè)攝像 頭進(jìn)行位置的調(diào)整，使之接近完全平行，后將其相互固定下來，以后便可直接使用。其目的 在于對(duì)于平行的攝像頭，在做深度圖像生成時(shí)只需要對(duì)目標(biāo)點(diǎn)進(jìn)行左右搜索即可，可減少 運(yùn)算量、提高運(yùn)算速度。對(duì)于使用雙目攝像機(jī)的可省略此步，直接放平攝像機(jī)即可。
[0056] 在調(diào)整好攝像頭后，分別對(duì)兩個(gè)攝像頭傳到DM6446中的視頻流建立背景，為保留 一定的緩沖時(shí)間，可將在第6幀的圖像存下作為背景圖像。而后，用當(dāng)前幀與背景的差值便 可得到前景圖像，將判定為前景的部分用mask(x，y)表示，將dst(x，y)表示累計(jì)得到的背 景圖像，src (X，y)表示當(dāng)前圖像，用常數(shù)a表示漂移程度，使用均值漂移的方法對(duì)背景進(jìn)行 更新，在一定程度上減少光照影響，公式如下：
[0057] dst (x, y) = (l~a) · dst (x, y) +a · src (x, y) ifmask (x, y)辛 0
[0058] S2 :使用高斯膚色模型在前景圖像中提取膚色塊；
[0059] 在檢測到的運(yùn)動(dòng)前景的區(qū)域內(nèi)，使用高斯膚色模型進(jìn)行膚色的提取，提取運(yùn)動(dòng)膚 色結(jié)果如圖4-5所示。而后面所要用到的頭部位置和手部位置則將會(huì)在這些膚色塊的某一 部分中。
[0060] S3:計(jì)算提取到的膚色塊的深度信息，并根據(jù)膚色塊的深度信息對(duì)臉部區(qū)域進(jìn)行 定位；
[0061] 計(jì)算面積較大或面積小但有多塊聚集在一起的膚色塊各自的重心點(diǎn)。因?yàn)閮蓚€(gè)攝 像頭所拍攝的景物一致，光照相同，且使用的算法也一樣，所以得到的這些膚色塊重心點(diǎn)也 各自相互對(duì)應(yīng)。由此，通過計(jì)算這些對(duì)應(yīng)的重心點(diǎn)的相對(duì)位置的歐氏距離，便可以知道這些 膚色塊的深度信息。相對(duì)位置距離大者離攝像頭近，反之則遠(yuǎn)。
[0062] 在得到這些膚色塊的大致深度信息后，即可進(jìn)行臉部區(qū)域的定位。臉部的定位在 開始做手語之前的準(zhǔn)備階段中進(jìn)行。在準(zhǔn)備階段，臉部和手部與攝像機(jī)的距離幾乎一樣，而 正常情況下使用者與攝像機(jī)之間不會(huì)有物體擋住，而使用者背后的膚色物體的深度信息明 顯與臉部區(qū)域的不同，再根據(jù)雙手和臉部區(qū)域的相對(duì)位置，可簡單準(zhǔn)確地對(duì)臉部區(qū)域進(jìn)行 定位。
[0063] S4 :根據(jù)膚色塊的深度信息對(duì)手部進(jìn)行定位并提取關(guān)鍵幀，所述關(guān)鍵幀為手部在 一個(gè)區(qū)域內(nèi)停留達(dá)到預(yù)設(shè)幀數(shù)的幀；
[0064] 在完成臉部定位后，進(jìn)行手語識(shí)別階段。根據(jù)實(shí)際情況，在做手語手勢(shì)時(shí)，離攝像 頭最近的運(yùn)動(dòng)膚色塊為手部，而遠(yuǎn)的運(yùn)動(dòng)膚色塊為臉部或是一些運(yùn)動(dòng)的膚色物體。可根據(jù) 這一點(diǎn)對(duì)手部的大致位置進(jìn)行定位。
[0065] 在得到手部和臉部的位置坐標(biāo)后，可對(duì)兩個(gè)攝像頭的其中一個(gè)傳回來的視頻流進(jìn) 行后面識(shí)別操作。先分析手部的運(yùn)動(dòng)情況，當(dāng)手部停留在一個(gè)區(qū)域達(dá)到三幀以上，則可認(rèn)為 該幀為關(guān)鍵幀。為了減少運(yùn)算量，簡化識(shí)別結(jié)果，僅需要對(duì)關(guān)鍵幀中的手勢(shì)部位進(jìn)行靜態(tài)手 勢(shì)的識(shí)別處理。
[0066] 本發(fā)明中使用是基于YCbCr顏色空間的膚色提取，亮度Y會(huì)影響到膚色在該顏色 空間的投影，不同光照下提取的效果也不同，會(huì)導(dǎo)致有部分亮度不太合適的膚色部分檢測 不到，所以不能將提取到的手部的膚色圖像直接用作識(shí)別。
[0067] 為了解決這個(gè)問題，本發(fā)明使用感知器算法對(duì)檢測到的膚色圖像進(jìn)行填充。感知 器是二類線性分類模型，令w為權(quán)向量，X為輸入，則其判別函數(shù)如下：
[0068] d (X) = W1X
[0069] 令Se是在訓(xùn)練時(shí)為被w錯(cuò)誤分類的樣本集合，而感知器準(zhǔn)則函數(shù)定義為：

【權(quán)利要求】
1. 一種基于達(dá)芬奇技術(shù)的手語識(shí)別翻譯方法，其特征在于，所述方法包括w下步驟： S1 ;采集手語者的動(dòng)作視頻，對(duì)視頻流建立背景，當(dāng)前帖與背景作差得到前景圖像； S2;在前景圖像中提取膚色塊； 53 ;計(jì)算提取到的膚色塊的深度信息，并根據(jù)膚色塊的深度信息對(duì)臉部區(qū)域進(jìn)行定 位； 54 ;根據(jù)膚色塊的深度信息對(duì)手部進(jìn)行定位并提取關(guān)鍵帖，并對(duì)關(guān)鍵帖的手部區(qū)域膚 色塊進(jìn)行修補(bǔ)填充，所述關(guān)鍵帖為手部在一個(gè)區(qū)域內(nèi)停留達(dá)到預(yù)設(shè)帖數(shù)的帖； 55 ;提取關(guān)鍵帖的一種或多種手型特征； 56 ;根據(jù)提取的手型特征，使用單個(gè)分類器進(jìn)行分類或者使用多個(gè)分類器進(jìn)行投票表 決，得到靜態(tài)手勢(shì)識(shí)別結(jié)果； 57 ;對(duì)手勢(shì)的運(yùn)動(dòng)軌跡進(jìn)行識(shí)別，得到軌跡識(shí)別結(jié)果； 58 ;對(duì)靜態(tài)手勢(shì)識(shí)別結(jié)果和軌跡識(shí)別結(jié)果進(jìn)行糾錯(cuò)與拼接，得到手語的識(shí)別翻譯結(jié)果。
2. 根據(jù)權(quán)利要求1所述的基于達(dá)芬奇技術(shù)的手語識(shí)別翻譯方法，其特征在于，所述方 法還包括；步驟S1中，使用2個(gè)攝像頭同時(shí)采集手語者的動(dòng)作視頻，首先調(diào)整攝像頭使2個(gè) 攝像頭水平，然后分別對(duì)2個(gè)攝像頭采集的視頻流建立背景，選取某一帖圖像作為初始的 背景，當(dāng)前帖與背景作差得到前景圖像，使用均值漂移的方法對(duì)背景進(jìn)行更新。
3. 根據(jù)權(quán)利要求1所述的基于達(dá)芬奇技術(shù)的手語識(shí)別翻譯方法，其特征在于，所述方 法還包括；步驟S2中，使用高斯膚色模型在前景圖像中提取膚色塊。
4. 根據(jù)權(quán)利要求2所述的基于達(dá)芬奇技術(shù)的手語識(shí)別翻譯方法，其特征在于，所述方 法還包括；步驟S3中，2個(gè)攝像頭采集到的膚色塊的重屯、點(diǎn)相互對(duì)應(yīng)，計(jì)算該些相互對(duì)應(yīng)的 重屯、點(diǎn)之間的歐氏距離，即可得到該些膚色塊的深度信息； 相對(duì)應(yīng)的膚色塊的重屯、點(diǎn)距離越大，則該膚色塊離攝像頭越近，在準(zhǔn)備階段，臉部和手 部與攝像頭的距離一樣，而使用者背后的膚色物體的深度信息明顯與臉部區(qū)域的不同，再 根據(jù)雙手和臉部區(qū)域的相對(duì)位置，即可對(duì)臉部區(qū)域進(jìn)行定位。
5. 根據(jù)權(quán)利要求1所述的基于達(dá)芬奇技術(shù)的手語識(shí)別翻譯方法，其特征在于，所述方 法還包括；步驟S4中，在做手語手勢(shì)時(shí)，離攝像頭最近的運(yùn)動(dòng)膚色塊為手部，而遠(yuǎn)的運(yùn)動(dòng)膚 色塊為臉部或其他運(yùn)動(dòng)的膚色物體，根據(jù)該一特性對(duì)手部進(jìn)行定位，然后提取關(guān)鍵帖，并使 用感知器算法對(duì)手部區(qū)域膚色塊進(jìn)行修補(bǔ)填充，所述關(guān)鍵帖為手部在一個(gè)區(qū)域內(nèi)停留達(dá)到 預(yù)設(shè)帖數(shù)的帖。
6. 根據(jù)權(quán)利要求1所述的基于達(dá)芬奇技術(shù)的手語識(shí)別翻譯方法，其特征在于，所述方 法還包括；步驟S5中，提取關(guān)鍵帖的歸一化傅里葉描述子、手型骨架和指尖數(shù)目的特征，具 體方法為： 首先提取手型骨架特征；將手勢(shì)圖像用最小的矩形包圍住，把該矩形四等分，計(jì)算出各 塊圖像的重屯、點(diǎn)，將四個(gè)重屯、點(diǎn)連接成一個(gè)四邊形，計(jì)算出該四邊形的各邊長、對(duì)角線長、 矩形度、角度共同作為手型骨架的特征； 然后提取歸一化傅里葉描述子特征； 最后提取指尖數(shù)目特征，計(jì)算手勢(shì)輪廓的曲率，若某段輪廓的曲率大于預(yù)設(shè)的闊值則 該段為指尖，判斷出該手勢(shì)伸出了多少根手指，即為指尖數(shù)目特征。
7. 根據(jù)權(quán)利要求1所述的基于達(dá)芬奇技術(shù)的手語識(shí)別翻譯方法，其特征在于，步驟S6 中，投票表決的方法如下： 先對(duì)每個(gè)分類器所能投的票數(shù)進(jìn)行初始化；統(tǒng)計(jì)各個(gè)先前訓(xùn)練好的分類器的識(shí)別結(jié) 果，采用獎(jiǎng)懲方式調(diào)整各分類器所能投出的票數(shù)；根據(jù)各分類器所能投的票數(shù)，按手勢(shì)特征 與分類器各類的相似程度進(jìn)行分散投票，最相似者票數(shù)最多，票數(shù)最多的一類作為為識(shí)別 結(jié)果。
8. 根據(jù)權(quán)利要求1所述的基于達(dá)芬奇技術(shù)的手語識(shí)別翻譯方法，其特征在于，步驟S7 中，采用分層的軌跡識(shí)別方法對(duì)手勢(shì)的運(yùn)動(dòng)軌跡進(jìn)行識(shí)別，其具體方法包括W下步驟： (1) 先進(jìn)行第一層的軌跡識(shí)別，W兩個(gè)關(guān)鍵帖之間的軌跡點(diǎn)坐標(biāo)，使用化eeman鏈碼對(duì) 該些軌跡點(diǎn)進(jìn)行編碼，使其連成一個(gè)鏈碼序列用于短軌跡的識(shí)別； (2) 將軌跡點(diǎn)數(shù)分成4、8、12、16個(gè)點(diǎn)四種，對(duì)于實(shí)際的短軌跡段的長度則按該四種情 況進(jìn)行軌跡點(diǎn)數(shù)的調(diào)整，即根據(jù)各坐標(biāo)點(diǎn)的間距，進(jìn)行補(bǔ)點(diǎn)或刪點(diǎn)，使長度達(dá)到四種點(diǎn)數(shù) 的其中一種. (3) 設(shè)定多種基本情況的短軌跡類型，如向左、向上、向坐上等類型，使該些短軌跡能組 成各種各樣的長軌跡，并根據(jù)短軌跡首末坐標(biāo)點(diǎn)進(jìn)行軌跡的移動(dòng)方向的分類. (4) 根據(jù)短軌跡的長度，將目標(biāo)短軌跡與事先訓(xùn)練好的有可能與之相匹配的短軌跡類 型使用簡單的歐氏距離公式計(jì)算相似度，W完成短軌跡識(shí)別，得到短軌跡的識(shí)別結(jié)果編號(hào)， 因?yàn)槎誊壽E的軌跡點(diǎn)少，所W短軌跡并不需要事先訓(xùn)練，只需要按化eeman鏈碼所設(shè)定的 方向編號(hào)自行設(shè)定短軌跡的類型即可； (5) 計(jì)算出短軌跡的長度，并將其起始點(diǎn)、終點(diǎn)的坐標(biāo)和短軌跡的長度保存下來； (6) 進(jìn)行第二層的長軌跡處理，將各個(gè)短軌跡的識(shí)別結(jié)果進(jìn)行續(xù)接排列起來作為HMM 的觀察序列0 ; (7) 使用Viterbi算法對(duì)長軌跡進(jìn)行識(shí)別，將采集到的觀察序列0輸入到Viterbi函 數(shù)中，利用Viterbi算法計(jì)算出觀察序列0在各個(gè)事先訓(xùn)練好的長軌跡模型A下的概率 P (01 A )，并重復(fù)迭代直至收斂，將最接近的模型對(duì)應(yīng)的軌跡作為識(shí)別結(jié)果。
9. 根據(jù)權(quán)利要求1所述的基于達(dá)芬奇技術(shù)的手語識(shí)別翻譯方法，其特征在于，步驟S8 中，首先使用Bigram模型對(duì)詞根序列進(jìn)行第一層糾錯(cuò)，然后使用Trie索引樹進(jìn)行第二層的 糾錯(cuò)處理。
【文檔編號(hào)】G06K9/66GK104463250SQ201410764770
【公開日】2015年3月25日 申請(qǐng)日期:2014年12月12日 優(yōu)先權(quán)日:2014年12月12日
【發(fā)明者】陳健明, 周冬躍, 陳麗, 葉俊有 申請(qǐng)人:廣東工業(yè)大學(xué)