專利名稱：一種基于手勢(shì)的漢字交互輸入與識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域，涉及一種基于手勢(shì)的漢字交互輸入與識(shí)別方法。
背景技術(shù)：
近二十年來(lái)借助于觸摸屏幕(板)和手寫(xiě)筆的聯(lián)機(jī)手寫(xiě)識(shí)別技術(shù)大大增加了漢字輸入的實(shí)時(shí)性與交互性，已經(jīng)被廣泛地置于各種手機(jī)、便攜計(jì)算機(jī)終端，用于文字記錄、簽名驗(yàn)證、圖標(biāo)標(biāo)注等應(yīng)用。但使用這種的輸入方式，用戶還是脫離不開(kāi)硬件設(shè)備，并受到設(shè)備(觸摸板(屏))的尺寸限制，不能完全達(dá)到自然、自由的人機(jī)交互目的。而隨著計(jì)算機(jī)視覺(jué)技術(shù)的不斷發(fā)展與完善，基于視覺(jué)的手勢(shì)與人體動(dòng)作的識(shí)別與跟蹤技術(shù)的已成為新型人機(jī)交互接口中一個(gè)重要的研究方向。用戶可以不攜帶任何硬件設(shè)備直接用最自然的手勢(shì)和肢體語(yǔ)言等與計(jì)算機(jī)進(jìn)行交流，例如在如三星、海信等品牌的電視機(jī)和微軟基于Kinect的游戲中的基于手勢(shì)的菜單選擇和基于肢體動(dòng)作的視頻互動(dòng)游戲等。而利用單目視覺(jué)(一個(gè)攝像機(jī)或一個(gè)普通攝像頭)實(shí)時(shí)獲取人手形態(tài)與位置進(jìn)行漢字的實(shí)時(shí)交互性輸入與識(shí)別因成本低廉、實(shí)施容易，在數(shù)字家庭、游戲、娛樂(lè)、助殘等領(lǐng)域具有較強(qiáng)的實(shí)際應(yīng)用價(jià)值。國(guó)內(nèi)完成類(lèi)似目的工作有《手寫(xiě)虛擬漢字識(shí)別研究及其在多通道短信交互系統(tǒng)中的應(yīng)用》，華南理工大學(xué)博士學(xué)位論文，2007年4月。該文所述方法主要通過(guò)跟蹤食指在簡(jiǎn)單背景下小范圍區(qū)域內(nèi)識(shí)別手寫(xiě)漢字，對(duì)漢字的輸入、選擇等控制不能完全用手勢(shì)進(jìn)行，應(yīng)用范圍有限、給用戶的交互體驗(yàn)感較差，此外該文僅利用了二維手寫(xiě)漢字的脫機(jī)圖像特征，采用神經(jīng)網(wǎng)絡(luò)類(lèi)分類(lèi)方法進(jìn)行漢字識(shí)別，存在著訓(xùn)練與識(shí)別階段的存儲(chǔ)和計(jì)算量較大、對(duì)于大漢字集識(shí)別效率底等缺點(diǎn)。目前單目下基于手勢(shì)漢字自然交互輸入與識(shí)別方法的難點(diǎn)在于:(I)有效手勢(shì)區(qū)域的分割與識(shí)別。從視頻圖像中分割出人手部區(qū)域是手寫(xiě)漢字的基礎(chǔ)。但在比較復(fù)雜的背景條件下，如人臉、人體或者其它非用于漢字輸入的手部等膚色區(qū)域同時(shí)存在于視頻之中的情況，對(duì)有效手勢(shì)的正確分割與識(shí)別具有一定的難度。(2)漢字輸入與交互控制的設(shè)計(jì)。完全利用手勢(shì)進(jìn)行漢字的輸入與在紙或觸摸屏上書(shū)寫(xiě)不同，手勢(shì)的運(yùn)動(dòng)軌跡是連續(xù)的，書(shū)寫(xiě)漢字過(guò)程中沒(méi)有離開(kāi)紙面或觸摸屏面的動(dòng)作，視頻記錄是整個(gè)漢字書(shū)寫(xiě)的手勢(shì)軌跡，那么因此形成的漢字除了本身應(yīng)具有的筆畫(huà)之外，還多了一些筆畫(huà)之間的過(guò)渡，以及用戶無(wú)意識(shí)的手部動(dòng)作的軌跡等，這給漢字的識(shí)別增加了難度。此外每個(gè)漢字的開(kāi)始與結(jié)束也無(wú)法通過(guò)抬落筆進(jìn)行判斷，所以需要設(shè)計(jì)具有良好交互性的漢字輸入與控制手勢(shì)并對(duì)其進(jìn)行跟蹤識(shí)別。(3)漢字的特征選取與分類(lèi)器設(shè)計(jì)。對(duì)于復(fù)雜漢字在書(shū)寫(xiě)時(shí)可能出現(xiàn)部首之間的重疊、字體變形、字體以一定角度傾斜、旋轉(zhuǎn)等，所以必須找到滿足以上條件的漢字不變性特征作為漢字識(shí)別的基礎(chǔ)。最后最重要的是設(shè)計(jì)一種計(jì)算復(fù)雜度較低的分類(lèi)器才能保證在聯(lián)機(jī)書(shū)寫(xiě)漢字時(shí)，在對(duì)復(fù)雜背景進(jìn)行手勢(shì)分割、有效手勢(shì)識(shí)別后，利用漢字特征能快速的在大字集中進(jìn)行正確檢測(cè)出漢字，因此漢字特征選取與分類(lèi)器的設(shè)計(jì)是整個(gè)系統(tǒng)能達(dá)到實(shí)時(shí)自然交互性目的關(guān)鍵。

發(fā)明內(nèi)容
本發(fā)明提供一種單目視覺(jué)環(huán)境下利用手勢(shì)進(jìn)行漢字交互輸入與識(shí)別方法。本發(fā)明的技術(shù)方案如下:一種基于手勢(shì)的漢字交互輸入與識(shí)別方法包括預(yù)處理部分和聯(lián)機(jī)部分。一、預(yù)處理部分步驟1:建立視覺(jué)漢字特征向量庫(kù)。1-1確定待識(shí)別漢字范圍形成總庫(kù)RC，根據(jù)RC的規(guī)模按漢字在日常中的使用頻度高低分為k個(gè)子字庫(kù){Re。，Rck_J，在子庫(kù)中為每個(gè)漢字編號(hào):Ci(Ci e Rcj, i=(0，...，n_l))，j=(0,…，k-1))。1-2建立視覺(jué)漢字的方向邊譜。1-2-1在極坐標(biāo)系下，令視覺(jué)漢字方向邊的基準(zhǔn)向量為集合
權(quán)利要求
1.一種基于手勢(shì)的漢字交互輸入與識(shí)別方法，其特征在于，該方法包括預(yù)處理部分和聯(lián)機(jī)部分 一、預(yù)處理部分 步驟1:建立視覺(jué)漢字特征向量庫(kù)； 1-1確定待識(shí)別漢字范圍形成總庫(kù)Re，根據(jù)RC的規(guī)模按漢字在日常中的使用頻度高低分為k個(gè)子字庫(kù){Re。，Rck_J，在子庫(kù)中為每個(gè)漢字編號(hào):Ci (Ci e Rcj, i= (O，...，n_l))，j= (0,..., k-1))； 1-2建立視覺(jué)漢字的方向邊譜； 1-2-1在極坐標(biāo)系下，令視覺(jué)漢字方向邊的基準(zhǔn)向量為集合1){毛，…，式5}，其中J。為從原點(diǎn)起始水平向右的第O號(hào)方向邊的基準(zhǔn)向量，用極坐標(biāo)表示為< =(1，0),其中第一分量代表第O號(hào)方向邊的基準(zhǔn)向量的長(zhǎng)度，第二分量代表其角度；其它15個(gè)方向邊的基準(zhǔn)向量計(jì)算規(guī)則如下公式:
全文摘要
本發(fā)明屬于計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域，涉及一種基于手勢(shì)的漢字交互輸入與識(shí)別方法。本發(fā)明能夠讓用戶在不佩戴任何的硬件設(shè)備情況下，通過(guò)一個(gè)普通網(wǎng)絡(luò)攝像頭，用手作為媒介按照正規(guī)書(shū)寫(xiě)漢字和詞組的規(guī)則與順序來(lái)完成漢字的輸入、識(shí)別與選擇等功能。該發(fā)明突破了以往鍵盤(pán)輸入、接觸屏輸入、語(yǔ)音輸入漢字的局限，對(duì)使用者的限制較小，識(shí)別準(zhǔn)確率較高，作為一種全新的輸入方式，在人機(jī)界面、數(shù)字家庭、游戲與娛樂(lè)等領(lǐng)域有著很好的應(yīng)用前景。
文檔編號(hào)G06F3/01GK103093196SQ20131001258
公開(kāi)日2013年5月8日 申請(qǐng)日期2013年1月14日 優(yōu)先權(quán)日2013年1月14日
發(fā)明者王祎, 樊鑫, 李豪杰, 羅鐘鉉, 劉斌, 賈棋, 王智慧 申請(qǐng)人:大連理工大學(xué)