1.一種基于雙視點(diǎn)手勢(shì)識(shí)別的漢字識(shí)別方法,將手的動(dòng)作分為筆劃書(shū)寫(xiě)的動(dòng)作和兩筆劃之間的過(guò)渡動(dòng)作,與此相對(duì)應(yīng),定義有效手勢(shì)和無(wú)效手勢(shì)分別代表兩種輸入狀態(tài),分別對(duì)應(yīng)漢字筆畫(huà)書(shū)寫(xiě)軌跡和筆畫(huà)之間的過(guò)渡軌跡;定義伸出一只食指朝上為有效手勢(shì),寫(xiě)有效筆劃的時(shí)候使用有效手勢(shì);定義握拳為無(wú)效輸入手勢(shì),手在兩筆劃位置之間過(guò)渡時(shí)使用無(wú)效手勢(shì)。包括下列步驟:
第一步:對(duì)書(shū)寫(xiě)漢字時(shí)采集的手部圖像進(jìn)行色彩空間轉(zhuǎn)換,選取在YCbCr色彩空間進(jìn)行膚色建模并進(jìn)行手勢(shì)分割,分割出的手勢(shì)二值化圖像。
第二步:在分割出的手勢(shì)二值化圖像中,手勢(shì)區(qū)域像素值為1,背景區(qū)域的像素值為0,計(jì)算手勢(shì)中心點(diǎn)
第三步:在書(shū)寫(xiě)漢字時(shí),在進(jìn)行動(dòng)態(tài)軌跡識(shí)別時(shí),先判斷一下此手勢(shì)是否為有效手勢(shì)方法如下:
利用canny算子進(jìn)行邊緣提取,根據(jù)提取的邊緣得到一個(gè)矩形邊界,計(jì)算手的指尖與中心的距離,即上邊界與中心點(diǎn)的距離d1,手腕與中心點(diǎn),即下邊界和中心點(diǎn)的距離d2,若滿足d1/d2≥1.4,則判斷該手勢(shì)為有效手勢(shì),否則為無(wú)效手勢(shì);
第四步:對(duì)于含有有效手勢(shì)的幀圖像,在雙目相機(jī)獲得的左右兩幅圖像中,選右圖為基準(zhǔn)圖進(jìn)行立體匹配并計(jì)算視差。計(jì)算步驟如下:
1)將基準(zhǔn)圖和待匹配圖都轉(zhuǎn)為灰度圖;
2)選基準(zhǔn)圖的指尖點(diǎn)p為興趣點(diǎn),以其為中心建立窗口,計(jì)算窗口里的像素灰度特征作為參考值;
3)在待匹配圖里建立一個(gè)相同尺寸的窗口,移動(dòng)并不斷計(jì)算窗口覆蓋區(qū)域的像素灰度特征;
4)判斷移動(dòng)窗口和基準(zhǔn)窗口特征值的相似性,取相似程度最高的窗口為匹配的窗口,窗口的中心點(diǎn)即為匹配點(diǎn)p';
5)計(jì)算視差disparity=p'(x)-p(x)。
第五步:根據(jù)視差原理,計(jì)算獲得指尖點(diǎn)的三維坐標(biāo);
第六步:對(duì)所有含有有效手勢(shì)的幀進(jìn)行第四步和第五步處理,連接有效手勢(shì)的空間位置,得到書(shū)寫(xiě)漢字的軌跡。