專利名稱：移動終端的手語處理方法和手語處理移動終端的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及移動終端，尤其涉及移動終端的手語處理方法和基于該方 法的手語處理終端。
背景技術(shù)：
聾啞人或語言障礙人士在生活中，其交流通常通過手語進(jìn)行，理解手 語不是一個簡單的任務(wù)，在遇到對方不懂手語的情況下，其交流存在4艮大 的障礙。
隨著人們生活水平的提高，移動終端裝置的普及范圍也越來越廣。但 是對于聾啞人或語言障礙人群來說，由于他們無法正常地使用語音通話功 能，使得利用普通的移動終端裝置和親朋好友聯(lián)系變成一件非常困難的事 情。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是提供使得聾啞人無障礙交流的移動終端手 語處理方法和手語處理移動終端。
本發(fā)明的技術(shù)問題通過以下技術(shù)方案加以解決
移動終端的手語處理方法，包括捕捉手語動作并轉(zhuǎn)換為語音的過程， 所述過程包括以下步驟
步驟Al.移動終端捕捉手語動作畫面；
步驟Bl.移動終端將所述手語動作畫面轉(zhuǎn)換為與手語動作對應(yīng)的語 音信息；
步驟Cl.移動終端將轉(zhuǎn)換后的語音信息通過移動網(wǎng)絡(luò)發(fā)送給^c叫終端。
上述步驟Al具體通過移動終端所具有的攝像裝置拍攝手語動作畫面 加以實(shí)現(xiàn)。上述步驟B1具體執(zhí)行以下操作
步驟Bll.移動終端將所述手語動作畫面轉(zhuǎn)換為與手語動作對應(yīng)的手 語特定語言符號信息；
步驟B12.移動終端將所述手語特定語言符號信息轉(zhuǎn)換為語音信息；
上述方法還包括存儲手語特定語言符號信息與語音信息對應(yīng)關(guān)系的過 程，所述步驟B12通過查詢該對應(yīng)關(guān)系來執(zhí)行所述轉(zhuǎn)換。
上述步驟Cl具體執(zhí)行以下操作移動終端對語音信息進(jìn)行處理并輸 出到語音通道中，再將語音通道中的語音信息通過移動網(wǎng)絡(luò)發(fā)送給被叫終 端。
上述步驟CI還包括移動終端將語音通道中的語音信息通過播放裝置 進(jìn)行語音播放的過程。
手語處理移動終端，包括第一手語處理模塊，用于捕捉手語動作畫面， 將所述手語動作畫面轉(zhuǎn)換為與手語動作對應(yīng)的語音信息；所述移動終端還 用于將轉(zhuǎn)換后的語音信息通過移動網(wǎng)絡(luò)發(fā)送給^皮叫終端。
上述第一手語處理模塊包括第一攝像裝置，用于拍攝手語動作畫面。
上述第一手語處理模塊包括第一圖像處理單元，用于將所述手語動作 畫面轉(zhuǎn)換為與手語動作對應(yīng)的手語特定語言符號信息；上述第 一手語處理 模塊還包括第一手語編碼單元，用于將所述手語特定語言符號信息轉(zhuǎn)換為 語音信息。
上述第一手語處理模塊還包括第一手語符號數(shù)據(jù)庫，用于存儲手語特 定語言符號信息與語音信息的對應(yīng)關(guān)系；上述第一手語編碼單元還用于通 過查詢所述第一手語符號凄t據(jù)庫獲得手語特定語言符號信息與語音信息的 對應(yīng)關(guān)系并進(jìn)行手語特定語言符號信息到語音信息的轉(zhuǎn)換。
上述第一手語處理^f莫塊包括第一音頻處理單元，用于對語音信息進(jìn)行 處理并輸出到語音通道中，上述移動終端還用于將語音通道中的語音信息 通過移動網(wǎng)絡(luò)發(fā)送給被叫終端。
上述第一手語處理才莫塊還包括第一音頻發(fā)送單元，用于將語音通道中 的語音信息發(fā)送到播放裝置進(jìn)行語音播放。
移動終端的手語處理方法，包括將接收到的語音信息轉(zhuǎn)換為手語動作 的過程，所述過程包括以下步驟步驟A2.移動終端將接收到的語音信息轉(zhuǎn)換為手語動作動畫； 步驟B2.移動終端顯示所述手語動作動畫。 上述步驟A2具體執(zhí)行以下操作
步驟A21.移動終端將接收到的語音信息轉(zhuǎn)換為手語符號信息； 步驟A22.移動終端將手語符號信息轉(zhuǎn)換為手語動作動畫。 上述步驟A21具體通過移動終端將接收到的語音信息先轉(zhuǎn)換成特定的 音頻信息，然后再將所述音頻信息轉(zhuǎn)換為手語符號信息；
上述方法還包括存儲手語符號信息與手語動作動畫對應(yīng)關(guān)系的過程， 所述步驟A22通過查詢該對應(yīng)關(guān)系來執(zhí)行所述轉(zhuǎn)換。
手語處理移動終端，包括第二手語處理才莫塊，用于將接收到的語音信 息轉(zhuǎn)換為手語動作動畫；所述第二手語處理^f莫塊還包括第一顯示單元，用 于顯示所述手語動作動畫。
上述第二手語處理模塊還包括第二音頻處理單元和第一手語解碼單 元，所述第二音頻處理單元用于接受到的語音信息轉(zhuǎn)換成特定的音頻信息；
所述第 一手語解碼單元將所述第二音頻處理單元輸出的音頻信息轉(zhuǎn)換為手 語符號信息，再將手語符號信息轉(zhuǎn)換為手語動作動畫。
上述第二手語處理模塊還包括第一手語動畫數(shù)據(jù)庫，用于存儲手語符 號信息與手語動作動畫的對應(yīng)關(guān)系，上述第一手語解碼單元還用于通過查 詢所述手語動畫數(shù)據(jù)庫獲得手語符號信息與手語動作動畫的對應(yīng)關(guān)系并進(jìn) 行手語符號信息到手語動作動畫的轉(zhuǎn)換。
移動終端的手語處理方法，包括捕捉手語動作并轉(zhuǎn)換為語音的過程， 該過程包括以下步驟
步驟A3.移動終端捕捉手語動作畫面；
步驟B3.移動終端將所述手語動作畫面轉(zhuǎn)換為與手語動作對應(yīng)的語 音信息；
步驟C3.移動終端將轉(zhuǎn)換后的語音信息通過移動網(wǎng)絡(luò)發(fā)送給被叫終
端；
上述方法還包括將接收到的語音信息轉(zhuǎn)換為手語動作的過程，該過程 包括以下步驟
步驟A4.移動終端將接收到的語音信息轉(zhuǎn)換為手語動作動畫；步驟B4，移動終端顯示所述手語動作動畫。
上述步驟A3具體通過移動終端所具有的攝像裝置拍攝手語動作畫面 加以實(shí)J見。
上述步驟B3具體執(zhí)行以下操作
步驟B31.移動終端將所述手語動作畫面轉(zhuǎn)換為與手語動作對應(yīng)的手 語特定語言符號信息；
步驟B32.移動終端將所述手語特定語言符號信息轉(zhuǎn)換為語音信息；
上述方法還包括存儲手語特定語言符號信息與語音信息對應(yīng)關(guān)系的過 程，上述步驟B32通過查詢該對應(yīng)關(guān)系來執(zhí)行所述轉(zhuǎn)換。
上迷步驟C3具體執(zhí)行以下操作移動終端對語音信息進(jìn)行處理并輸 出到語音通道中，再將語音通道中的語音信息通過移動網(wǎng)絡(luò)發(fā)送給被叫終端。
上述步驟C3還包括移動終端將語音通道中的語音信息通過播放裝置 進(jìn)行語音播^t的過考呈。
上述步驟A4具體執(zhí)行以下操作
步驟A41.移動終端將接收到的語音信息轉(zhuǎn)換為手語符號信息；
步驟A42.移動終端將手語符號信息轉(zhuǎn)換為手語動作動畫。
上述步驟A41具體通過移動終端將接收到的語音信息先轉(zhuǎn)換成特定的 音頻信息，然后再將上述音頻信息轉(zhuǎn)換為手語符號信息；
上述方法還包括存儲手語符號信息與手語動作動畫對應(yīng)關(guān)系的過程， 上述步驟A42通過查詢該對應(yīng)關(guān)系來執(zhí)行所述轉(zhuǎn)換。
手語處理移動終端，包括第三手語處理模塊，用于捕捉手語動作畫面， 將所述手語動作畫面轉(zhuǎn)換為與手語動作對應(yīng)的語音信息；上述移動終端還 用于將轉(zhuǎn)換后的語音信息通過移動網(wǎng)絡(luò)發(fā)送給#:叫終端；上述第三手語處 理模塊還用于將接收到的語音信息轉(zhuǎn)換為手語動作動畫；上述第三手語處 理模塊包括第二顯示單元，用于顯示所述手語動作動畫。
上述第三手語處理模塊還包括第二攝像裝置，用于拍攝手語動作畫面。
上述第三手語處理;溪塊還包括第二圖^(象處理單元，用于將上述手語動 作畫面轉(zhuǎn)換為與手語動作對應(yīng)的手語特定語言符號信息；上述第三手語處 理模塊還包括第二手語編碼單元，用于將所述手語特定語言符號信息轉(zhuǎn)換為語音信息。
上述第三手語處理模塊還包括第二手語符號數(shù)據(jù)庫，用于存儲手語特
定語言符號信息與語音信息的對應(yīng)關(guān)系；上述第二手語編碼單元還用于通 過查詢所述第二手語符號數(shù)據(jù)庫獲得手語特定語言符號信息與語音信息的 對應(yīng)關(guān)系進(jìn)行手語特定語言符號信息到語音信息的轉(zhuǎn)換。
上述第三手語處理才莫塊還包括第三音頻處理單元，用于對語音信息進(jìn) 行處理并輸出到語音通道中，上述移動終端還用于將語音通道中的語音信 息通過移動網(wǎng)絡(luò)發(fā)送給被叫終端。
上述第三手語處理模塊還包括第二音頻發(fā)送單元，用于將語音通道中 的語音信息發(fā)送到播放裝置進(jìn)行語音播放。
上述第三手語處理模塊還包括第四音頻處理單元和第二手語解碼單 元，上述第四音頻處理單元用于將接收到的語音信息轉(zhuǎn)換成特定的音頻信 息；上述第二手語解碼單元將所述第四音頻處理單元輸出的音頻信息轉(zhuǎn)換 為手語符號信息，再將手語符號信息轉(zhuǎn)換為手語動作動畫。
上述第三手語處理模塊還包括第二手語動畫數(shù)據(jù)庫，用于存儲手語符 號信息與手語動作動畫的對應(yīng)關(guān)系，上述第二手語解碼單元還用于通過查 詢所述第二手語動畫數(shù)據(jù)庫獲得手語符號信息與手語動作動畫的對應(yīng)關(guān)系 并進(jìn)行手語符號信息到手語動作動畫的轉(zhuǎn)換。
本發(fā)明與現(xiàn)有技術(shù)相比較的有益效果是
(1) 本發(fā)明通過捕捉手語動作畫面，將其轉(zhuǎn)換為對應(yīng)的語音信息，實(shí)現(xiàn) 了手語到語音的翻譯，并通過移動網(wǎng)絡(luò)建立通話，把該語音信息傳送到被 叫終端，使得聾啞人或語言障礙人士也能夠使用移動終端和其他人進(jìn)行通 話；
(2) 本發(fā)明還可以將手語動作轉(zhuǎn)換成的語音信息，通過4番放裝置播放出 來，方便移動終端用戶本人和其它不懂手語的人面對面的進(jìn)行交流；
(3) 本發(fā)明通過將接收到的語音信息轉(zhuǎn)換為手語動作動畫，實(shí)現(xiàn)了語音 到手語的翻譯，并通過顯示裝置顯示給聾啞人或語言障礙人士，卩吏他們也 能和其他人通過移動終端進(jìn)行暢通無阻的交流。


圖1是本發(fā)明移動終端的一種具體實(shí)施方式
結(jié)構(gòu)示意圖； 圖2是本發(fā)明移動終端的另一種具體實(shí)施方式
結(jié)構(gòu)示意圖； 圖3是本發(fā)明移動終端的再一種具體實(shí)施方式
結(jié)構(gòu)示意圖； 圖4是本發(fā)明移動終端實(shí)施例1結(jié)構(gòu)示意圖； 圖5是本發(fā)明手語處理方法實(shí)施例2流程圖。
具體實(shí)施例方式
下面用具體實(shí)施方式
結(jié)合附圖對本發(fā)明做進(jìn)一步詳細(xì)說明。
本發(fā)明一種手語處理移動終端，其一種具體實(shí)施方式
，如圖1所示， 聾啞人或語言障礙人士可以通過該移動終端將其手語經(jīng)過轉(zhuǎn)換后發(fā)送給被 叫終端，實(shí)現(xiàn)和對方的通話。該移動終端包括第一手語處理才莫塊，用于捕 捉手語動作畫面，將所述手語動作畫面轉(zhuǎn)換為與手語動作對應(yīng)的語音信息； 該移動終端還用于將轉(zhuǎn)換后的語音信息通過移動網(wǎng)絡(luò)發(fā)送給^皮叫終端。
第一手語處理模塊包括第一攝像裝置，用于拍攝手語動作畫面，該攝 像裝置可以具體實(shí)現(xiàn)為攝像頭。
第 一手語處理才莫塊還進(jìn)一步包括第 一 圖像處理單元和第 一手語編碼單 元，第 一 圖^Jt理單元用于將手語動作畫面轉(zhuǎn)換為與手語動作對應(yīng)的手語 特定語言符號信息；第一手語編碼單元用于將所述手語特定語言符號信息 轉(zhuǎn)換為語音信息。
第一手語處理才莫塊還包括第一手語符號數(shù)據(jù)庫，用于存儲手語特定語 言符號信息與語音信息的對應(yīng)關(guān)系；第一手語編碼單元還用于通過查詢該 第 一手語符號數(shù)據(jù)庫獲得手語特定語言符號信息與語音信息的對應(yīng)關(guān)系進(jìn) 行手語特定語言符號信息到語音信息的轉(zhuǎn)換。
第一手語處理4莫塊還包括第一音頻處理單元，用于對語音信息進(jìn)行處 理并輸出到語音通道中，該移動終端還用于將語音通道中的語音信息通過 移動網(wǎng)絡(luò)發(fā)送給被叫終端。
第 一手語處理模塊還包括第 一音頻發(fā)送單元，用于將語音通道中的語 音信息發(fā)送到播放裝置進(jìn)行語音播放，該播放裝置可以具體為移動終端的 揚(yáng)聲器。
移動終端具體通過音頻發(fā)送單元將語音通道中的語音信息經(jīng)無線傳輸裝置進(jìn)行發(fā)送。
本發(fā)明手語處理移動終端，其另一種具體實(shí)施方式
，如圖2所示，聾 啞人或語言障礙人士可以通過該移動終端接收語音信息并將其轉(zhuǎn)換為手語 動畫，實(shí)現(xiàn)和對方的通話。該移動終端包括第二手語處理;漠塊，用于將接 收到的語音信息轉(zhuǎn)換為手語動作動畫；該第二手語處理才莫塊還包括第 一顯 示單元，用于顯示手語動作動畫。
第二手語處理才莫塊還包括第二音頻處理單元和第 一手語解碼單元，第 二音頻處理單元用于將接收到的語音信息轉(zhuǎn)換成特定的音頻信息，其具體 通過無線傳輸裝置來接收語音信息；第一手語解碼單元將第二音頻處理單 元輸出的音頻信息轉(zhuǎn)換為手語符號信息，再將手語符號信息轉(zhuǎn)換為手語動
第二手語處理4莫塊還包括第一手語動畫數(shù)據(jù)庫，用于存儲手語符號信 息與手語動作動畫的對應(yīng)關(guān)系，第一手語解碼單元還用于通過查詢所述手
語動畫數(shù)據(jù)庫獲得手語符號信息與手語動作動畫的對應(yīng)關(guān)系并進(jìn)4亍手語符 號信息到手語動作動畫的轉(zhuǎn)換。
本發(fā)明手語處理移動終端，再一種實(shí)施方式，如圖3所示 手語處理移動終端，包括第三手語處理才莫塊，用于捕捉手語動作畫面， 將所述手語動作畫面轉(zhuǎn)換為與手語動作對應(yīng)的語音信息；移動終端還用于 將轉(zhuǎn)換后的語音信息通過移動網(wǎng)絡(luò)發(fā)送給被叫終端；第三手語處理模塊還 用于將接收到的語音信息轉(zhuǎn)換為手語動作動畫；第三手語處理模塊包括第 二顯示單元，用于顯示所述手語動作動畫。
第三手語處理才莫塊還包括第二攝像裝置，用于拍^l手語動作畫面，具 體為移動終端的攝像頭。
第三手語處理才莫塊還包括第二圖像處理單元，用于將上述手語動作畫 面轉(zhuǎn)換為與手語動作對應(yīng)的手語特定語言符號信息；第三手語處理模塊還 包括第二手語編碼單元，用于將手語特定語言符號信息轉(zhuǎn)換為語音信息。
第三手語處理才莫塊還包括第二手語符號數(shù)據(jù)庫，用于存儲手語特定語 言符號信息與語音信息的對應(yīng)關(guān)系；第二手語編碼單元還用于通過查詢第 二手語符號數(shù)據(jù)庫獲得手語特定語言符號信息與語音信息的對應(yīng)關(guān)系進(jìn)行 手語特定語言符號信息到語音信息的轉(zhuǎn)換。第三手語處理才莫塊還包括第三音頻處理單元，用于對語音信息進(jìn)行處 理并輸出到語音通道中，該移動終端還用于將語音通道中的語音信息通過 移動網(wǎng)絡(luò)發(fā)送給被叫終端。
第三手語處理才莫塊還包括第二音頻發(fā)送單元，用于將語音通道中的語 音信息發(fā)送到播放裝置進(jìn)行語音播放。
第三手語處理模塊還包括第四音頻處理單元和第二手語解碼單元，第
四音頻處理單元用于將"J妄收到的語音信息轉(zhuǎn)換成特定的音頻信息；上述第 二手語解碼單元將第四音頻處理單元輸出的音頻信息轉(zhuǎn)換為手語符號信 息，再將手語符號信息轉(zhuǎn)換為手語動作動畫。
第三手語處理it塊還包括第二手語動畫數(shù)據(jù)庫，用于存儲手語符號信 息與手語動作動畫的對應(yīng)關(guān)系，第二手語解碼單元還用于通過查詢第二手
語動畫數(shù)據(jù)庫獲得手語符號信息與手語動作動畫的對應(yīng)關(guān)系并進(jìn)行手語符 號信息到手語動作動畫的轉(zhuǎn)換。
本實(shí)施方式可以具體實(shí)現(xiàn)為實(shí)施例1所示的結(jié)構(gòu)
實(shí)施例1:
如圖4所示，本例包括手語處理模塊，該模塊進(jìn)一步包括攝像頭、圖 像處理單元、手語編解碼單元、音頻處理單元、音頻發(fā)送單元、音頻接收 單元、顯示單元和存儲器。
其中，攝像頭把用戶的手語動作錄制下來，存儲成相應(yīng)的圖像信息， 輸入到圖像處理單元。
圖像處理單元把接收到的圖像信息進(jìn)行取樣，提取出有用的手語動畫 信息，并把這些手語動畫信息加工成特定的手語符號。
手語編解碼單元完成編碼和解碼兩個功能。 一方面可以把語音符號信 息編譯成對應(yīng)的手語符號信息，另一方面，可以把手語符號信息解碼為語 音信息，即可以進(jìn)行語音符號信息和手語符號信息之間的雙向轉(zhuǎn)換。
音頻處理單元把接收到的語音信息進(jìn)行處理，加工成可以輸送到無線 終端裝置音頻發(fā)送單元中的語音信息。
音頻發(fā)送單元把音頻處理單元發(fā)送過來的語音信息通過移動終端的插-放裝置播放出來，包括通過揚(yáng)聲器的播放，或者通過移動終端通話中建立 的無線通信鏈路輸出到通話對方的無線終端裝置聽筒中。音頻接收單元主要包含無線終端裝置的麥克部分，把從通話中接收到 的聲音信息或者錄音裝置中錄取的聲音信息等記錄下來，輸出到音頻處理 單元。顯示單元把圖像處理單元中輸出的手語動畫信息通過無線終端裝置顯 示屏顯示出來，供聾啞人或者語言障礙用戶瀏覽該手語動畫。在本例中，手語編解碼單元可以集成為一個專用的手語編解碼芯片。 在該芯片中，有存儲器裝置，存儲手語動畫信息數(shù)據(jù)庫和對應(yīng)的語音信息 數(shù)據(jù)庫。其中的處理器可以把輸入的手語動畫解碼為語音信息或者把輸入的語音信息編碼成手語動畫。在卑啞人或語言障礙人士使用的過程中，當(dāng) 用戶用攝像頭錄制下自己的手語動作后，通過手語編解碼單元的中間樞紐， 在移動終端的顯示屏上再次顯示出翻譯后的手語動畫。用戶以此來確定手語編解碼單元的翻譯是否正確如果正確，用戶可以選擇把其對應(yīng)的語音 信息發(fā)送出去；如果不正確，用戶再重新完成手語動作的捕捉過程。本發(fā)明移動終端的手語處理方法，其一種實(shí)施方式，包括捕捉手語動 作并轉(zhuǎn)換為語音的過程，該過程包括以下步驟 步驟Al.移動終端捕捉手語動作畫面；步驟Bl.移動終端將所述手語動作畫面轉(zhuǎn)換為與手語動作對應(yīng)的語 音J呂息;步驟Cl.移動終端將轉(zhuǎn)換后的語音信息通過移動網(wǎng)絡(luò)發(fā)送給被叫終端。步驟Al具體通過移動終端所具有的攝像裝置拍攝手語動作畫面加以 實(shí)現(xiàn)。步驟B1具體執(zhí)行以下操作步驟Bll.移動終端將所述手語動作畫面轉(zhuǎn)換為與手語動作對應(yīng)的手 語特定語言符號信息；步驟B12.移動終端將所述手語特定語言符號信息轉(zhuǎn)換為語音信息；本實(shí)施方式還包括存儲手語特定語言符號信息與語音信息對應(yīng)關(guān)系的 過程，步驟B12通過查詢該對應(yīng)關(guān)系來執(zhí)行所述轉(zhuǎn)換。步驟Cl具體執(zhí)行以下操作移動終端對語音信息進(jìn)行處理并輸出到 語音通道中，再將語音通道中的語音信息通過移動網(wǎng)絡(luò)發(fā)送給被叫終端。步驟Cl還包括移動終端將語音通道中的語音信息通過纟番放裝置進(jìn)行語音播放的過程。本發(fā)明方法的另一種實(shí)施方式，包括將接收到的語音信息轉(zhuǎn)換為手語動作的過程，該過程包括以下步驟步驟A2.移動終端將接收到的語音信息轉(zhuǎn)換為手語動作動畫； 步驟B2.移動終端顯示所述手語動作動畫。 步驟A2具體執(zhí)行以下操作步驟A21.移動終端將接收到的語音信息轉(zhuǎn)換為手語符號信息；步驟A22.移動終端將手語符號信息轉(zhuǎn)換為手語動作動畫。步驟A21具體通過移動終端將接收到的語音信息先轉(zhuǎn)換成特定的音頻信息，然后再將音頻信息轉(zhuǎn)換為手語符號信息；本實(shí)施方式還包括存儲手語符號信息與手語動作動畫對應(yīng)關(guān)系的過程，步驟A22通過查詢該對應(yīng)關(guān)系來執(zhí)行所述轉(zhuǎn)換。本發(fā)明方法的再一種實(shí)施方式，包括捕捉手語動作并轉(zhuǎn)換為語音的過 程，該過程包括以下步驟步驟A3.移動終端捕捉手語動作畫面；步驟B3.移動終端將所述手語動作畫面轉(zhuǎn)換為與手語動作對應(yīng)的語 音信息；步驟C3.移動終端將轉(zhuǎn)換后的語音信息通過移動網(wǎng)絡(luò)發(fā)送給被叫終本實(shí)施方式還包括將接收到的語音信息轉(zhuǎn)換為手語動作的過程，該過 程包括以下步驟步驟A4.移動終端將接收到的語音信息轉(zhuǎn)換為手語動作動畫；步驟B4.移動終端顯示所述手語動作動畫。步驟A3具體通過移動終端所具有的攝像裝置拍攝手語動作畫面加以 實(shí)現(xiàn)。步驟B3具體執(zhí)行以下操作步驟B31.移動終端將所述手語動作畫面轉(zhuǎn)換為與手語動作對應(yīng)的手 語特定語言符號信息；步驟B32.移動終端將所述手語特定語言符號信息轉(zhuǎn)換為語音信息； 本實(shí)施方式還包括存儲手語特定語言符號信息與語音信息對應(yīng)關(guān)系的 過程，步驟B32通過查詢該對應(yīng)關(guān)系來執(zhí)行所述轉(zhuǎn)換。步驟C3具體執(zhí)行以下操作移動終端對語音信息進(jìn)行處理并輸出到 語音通道中，再將語音通道中的語音信息通過移動網(wǎng)絡(luò)發(fā)送給被叫終端。步驟C3還包括移動終端將語音通道中的語音信息通過播放裝置進(jìn)行 語音播放的過程。步驟A4具體執(zhí)行以下操作步驟A41.移動終端將接收到的語音信息轉(zhuǎn)換為手語符號信息；步驟A42.移動終端將手語符號信息轉(zhuǎn)換為手語動作動畫。步驟A41具體通過移動終端將接收到的語音信息先轉(zhuǎn)換成特定的音頻 信息，然后再將音頻信息轉(zhuǎn)換為手語符號信息；本實(shí)施方式還包括存儲手語符號信息與手語動作動畫對應(yīng)關(guān)系的過 程，步驟A42通過查詢該對應(yīng)關(guān)系來執(zhí)行所述轉(zhuǎn)換。本實(shí)施方式可具體實(shí)現(xiàn)為實(shí)施例2。實(shí)施例2:本例流程如圖5所示，主要包含兩個流程，流程l是把捕捉到的手語 圖像信息翻譯成語音信息，通過揚(yáng)聲器播放出來，或者發(fā)送到通話中的語 音通道中；流程2是把接收到的語音信息轉(zhuǎn)變?yōu)槭终Z動畫信息，通過無線 終端裝置顯示屏顯示出來供用戶識別。步驟501.用戶開啟手語處理功能；對于流程1而言，步驟502.移動終端裝置首先通過攝像頭攝制用戶的手語動作，把捕捉 到的手語動作信息轉(zhuǎn)換為相應(yīng)的手語動畫；步驟503.把手語動畫信息進(jìn)行相應(yīng)的圖像處理，轉(zhuǎn)變成手語符號信 息，輸入到手語編解碼單元，手語編解碼單元把手語符號信息編碼成相應(yīng) 的語音信息；步驟504.輸出語音信息，同步播放手語動畫；步驟505.用戶判斷是否把該語音信息直接播放出來和發(fā)送，是則轉(zhuǎn)步驟506，否則轉(zhuǎn)步驟502重新開始手語佶息的識別過程； 步驟506.播放語音信息； 步驟507.發(fā)送語音信息，流程結(jié)束。 對于流禾呈2而言，步驟508.移動終端把接收到的語音信息，包括從通話中無線終端裝置 聽筒發(fā)出的語音信息，或者通過移動終端錄音裝置錄制的語音信息；步驟509.經(jīng)過音頻處理器的處理，輸入到手語編解碼單元進(jìn)行編解碼 操作識別語音信息；步驟510.轉(zhuǎn)換為對應(yīng)的手語動畫信息；步驟511.把手語動畫信息經(jīng)過圖像處理器的加工，用戶選擇是否進(jìn)行 顯示，是則轉(zhuǎn)步驟512;否則轉(zhuǎn)步驟508;步驟512.在移動終端的顯示界面中顯示出語音信息對應(yīng)的手語動畫， 讓用戶本人看到動畫信息，了解到語音信息的含義，流程結(jié)束。以上內(nèi)容是結(jié)合具體的優(yōu)選實(shí)施方式對本發(fā)明所作的進(jìn)一步詳細(xì)說 明，不能認(rèn)定本發(fā)明的具體實(shí)施只局限于這些說明。對于本發(fā)明所屬技術(shù) 領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若 干簡單推演或替換，都應(yīng)當(dāng)視為屬于本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.移動終端的手語處理方法，其特征在于，包括捕捉手語動作并轉(zhuǎn)換為語音的過程，所述過程包括以下步驟步驟A1.移動終端捕捉手語動作畫面；步驟B1.移動終端將所述手語動作畫面轉(zhuǎn)換為與手語動作對應(yīng)的語音信息；步驟C1.移動終端將轉(zhuǎn)換后的語音信息通過移動網(wǎng)絡(luò)發(fā)送給被叫終端。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟A1具體通過 移動終端所具有的4聶像裝置拍攝手語動作畫面加以實(shí)現(xiàn)。
3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟B1具體執(zhí)行 以下操作步驟Bll.移動終端將所述手語動作畫面轉(zhuǎn)換為與手語動作對應(yīng)的手 語特定語言符號信息；步驟B12.移動終端將所述手語特定語言符號信息轉(zhuǎn)換為語音信息；
4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，還包括存儲手語特定語 言符號信息與語音信息對應(yīng)關(guān)系的過程，所述步驟B12通過查詢該對應(yīng)關(guān) 系來執(zhí)行所述轉(zhuǎn)換。
5. 根據(jù)權(quán)利要求1至4任一所述的方法，其特征在于，所述步驟C1 具體執(zhí)行以下操作移動終端對語音信息進(jìn)行處理并輸出到語音通道中， 再將語音通道中的語音信息通過移動網(wǎng)絡(luò)發(fā)送給^皮叫終端。
6. 根據(jù)權(quán)利要求5所述的方法，其特征在于，所述步驟Cl還包括移 動終端將語音通道中的語音信息通過纟番放裝置進(jìn)4于語音l番;故的過程。
7. 手語處理移動終端，其特征在于，包括第一手語處理^t塊，用于捕 捉手語動作畫面，將所述手語動作畫面轉(zhuǎn)換為與手語動作對應(yīng)的語音信息； 所述移動終端還用于將轉(zhuǎn)換后的語音信息通過移動網(wǎng)絡(luò)發(fā)送給^皮叫終端。
8. 根據(jù)權(quán)利要求7所述的移動終端，其特征在于，所述第一手語處理 模塊包括第一攝像裝置，用于拍攝手語動作畫面。
9. 根據(jù)權(quán)利要求7所述的移動終端，其特征在于，所述第一手語處理 模塊包括第 一 圖像處理單元，用于將所述手語動作畫面轉(zhuǎn)換為與手語動作對應(yīng)的手語特定語言符號信息；所述第 一手語處理才莫塊還包括第一手語編 碼單元，用于將所述手語特定語言符號信息轉(zhuǎn)換為語音信息。
10. 根據(jù)權(quán)利要求9所述的移動終端，其特征在于，所述第一手語處 理模塊還包括第一手語符號數(shù)據(jù)庫，用于存儲手語特定語言符號信息與語 音信息的對應(yīng)關(guān)系；所述第一手語編碼單元還用于通過查詢所述第一手語 符號數(shù)據(jù)庫獲得手語特定語言符號信息與語音信息的對應(yīng)關(guān)系并進(jìn)行手語 特定語言符號信息到語音信息的轉(zhuǎn)換。
11. 根據(jù)權(quán)利要求7至IO任一所述的移動終端，其特征在于，所述 第一手語處理模塊包括第一音頻處理單元，用于對語音信息進(jìn)行處理并輸 出到語音通道中，所述移動終端還用于將語音通道中的語音信息通過移動 網(wǎng)絡(luò)發(fā)送給被叫終端。
12. 根據(jù)權(quán)利要求11所述的移動終端，其特征在于，所述第一手語 處理模塊還包括第一音頻發(fā)送單元，用于將語音通道中的語音信息發(fā)送到 播放裝置進(jìn)行語音播放。
13. 移動終端的手語處理方法，其特征在于，包括將接收到的語音信 息轉(zhuǎn)換為手語動作的過程，所述過程包括以下步驟步驟A2.移動終端將接收到的語音信息轉(zhuǎn)換為手語動作動畫；步驟B2.移動終端顯示所述手語動作動畫。
14. 根據(jù)權(quán)利要求13所述的方法，其特征在于，所述步驟A2具體 執(zhí)行以下操作步驟A21.移動終端將接收到的語音信息轉(zhuǎn)換為手語符號信息； 步驟A22.移動終端將手語符號信息轉(zhuǎn)換為手語動作動畫。
15. 根據(jù)權(quán)利要求14所述的方法，其特征在于，所述步驟A21具體 通過移動終端將接收到的語音信息先轉(zhuǎn)換成特定的音頻信息，然后再將所 述音頻信息轉(zhuǎn)換為手語符號信息；
16. 根據(jù)權(quán)利要求14所述的方法，其特征在于，還包括存儲手語符 號信息與手語動作動畫對應(yīng)關(guān)系的過程，所述步驟A22通過查詢該對應(yīng)關(guān) 系來執(zhí)行所述轉(zhuǎn)換。
17. 手語處理移動終端，其特征在于，包括第二手語處理模塊，用于 將接收到的語音信息轉(zhuǎn)換為手語動作動畫；所述第二手語處理模塊還包括第一顯示單元，用于顯示所述手語動作動畫。
18. 根據(jù)權(quán)利要求17所述的移動終端，其特征在于，所述第二手語 處理模塊還包括第二音頻處理單元和第 一手語解碼單元，所述第二音頻處 理單元用于將^^委收到的語音信息轉(zhuǎn)換成特定的音頻信息；所述第一手語解 碼單元將所述第二音頻處理單元輸出的音頻信息轉(zhuǎn)換為手語符號信息，再 將手語符號信息轉(zhuǎn)換為手語動作動畫。
19. 根據(jù)權(quán)利要求18所述的移動終端，其特征在于，所述第二手語 處理模塊還包括第一手語動畫數(shù)據(jù)庫，用于存儲手語符號信息與手語動作 動畫的對應(yīng)關(guān)系，所述第一手語解碼單元還用于通過查詢所述第一手語動 畫數(shù)據(jù)庫獲得手語符號信息與手語動作動畫的對應(yīng)關(guān)系并進(jìn)行手語符號信 息到手語動作動畫的轉(zhuǎn)換。
20. 移動終端的手語處理方法，其特征在于，包括捕捉手語動作并轉(zhuǎn) 換為語音的過程，該過程包括以下步驟步驟A3.移動終端捕捉手語動作畫面；步驟B3.移動終端將所述手語動作畫面轉(zhuǎn)換為與手語動作對應(yīng)的語 音信息；步驟C3.移動終端將轉(zhuǎn)換后的語音信息通過移動網(wǎng)絡(luò)發(fā)送給被叫終端；所述方法還包括將接收到的語音信息轉(zhuǎn)換為手語動作的過程，該過程 包括以下步驟步驟A4.移動終端將接收到的語音信息轉(zhuǎn)換為手語動作動畫； 步驟B4.移動終端顯示所述手語動作動畫。
21. 根據(jù)權(quán)利要求20所述的方法，其特征在于，所述步驟A3具體 通過移動終端所具有的攝像裝置拍攝手語動作畫面加以實(shí)現(xiàn)。
22. 根據(jù)權(quán)利要求20所述的方法，其特征在于，所述步驟B3具體 執(zhí)行以下操作步驟B31.移動終端將所述手語動作畫面轉(zhuǎn)換為與手語動作對應(yīng)的手 語特定語言符號信息；步驟B32.移動終端將所述手語特定語言符號信息轉(zhuǎn)換為語音信息；
23. 根據(jù)權(quán)利要求22所述的方法，其特征在于，還包括存儲手語特定語言符號信息與語音信息對應(yīng)關(guān)系的過程，所述步驟B32通過查詢該對 應(yīng)關(guān)系來執(zhí)行所述轉(zhuǎn)換。
24. 根據(jù)權(quán)利要求20至23任一所述的方法，其特征在于，所述步驟 C3具體執(zhí)行以下操作移動終端對語音信息進(jìn)行處理并輸出到語音通道 中，再將語音通道中的語音信息通過移動網(wǎng)絡(luò)發(fā)送給祐:叫終端。
25. 根據(jù)權(quán)利要求24所述的方法，其特征在于，所述步驟C3還包 括移動終端將語音通道中的語音信息通過播放裝置進(jìn)行語音播放的過程。
26. 根據(jù)權(quán)利要求20至23任一所述的方法，其特征在于，所述步驟 A4具體執(zhí)行以下操作步驟A41.移動終端將接收到的語音信息轉(zhuǎn)換為手語符號信息；步驟A42.移動終端將手語符號信息轉(zhuǎn)換為手語動作動畫。
27. 根據(jù)權(quán)利要求26所述的方法，其特征在于，所述步驟A41具體 通過移動終端將接收到的語音信息先轉(zhuǎn)換成特定的音頻信息，然后再將所 述音頻信息轉(zhuǎn)換為手語符號信息；
28. 根據(jù)權(quán)利要求26所述的方法，其特征在于，還包括存儲手語符 號信息與手語動作動畫對應(yīng)關(guān)系的過程，所述步驟A42通過查詢該對應(yīng)關(guān) 系來執(zhí)行所述轉(zhuǎn)換。
29. 手語處理移動終端，其特征在于，包括第三手語處理模塊，用于 捕捉手語動作畫面，將所述手語動作畫面轉(zhuǎn)換為與手語動作對應(yīng)的語音信 息；所述移動終端還用于將轉(zhuǎn)換后的語音信息通過移動網(wǎng)絡(luò)發(fā)送給^^皮叫終 端；所述第三手語處理模塊還用于將接收到的語音信息轉(zhuǎn)換為手語動作動 畫；所述第三手語處理4莫塊包括第二顯示單元，用于顯示所述手語動作動 畫。
30. 根據(jù)權(quán)利要求29所述的移動終端，其特征在于，所述第三手語 處理模塊還包括第二纟聶^象裝置，用于拍^^手語動作畫面。
31. 根據(jù)權(quán)利要求29所述的移動終端，其特征在于，所述第三手語 處理模塊還包括第二圖像處理單元，用于將所述手語動作畫面轉(zhuǎn)換為與手 語動作對應(yīng)的手語特定語言符號信息；所述第三手語處理才莫塊還包括第二 手語編碼單元，用于將所述手語特定語言符號信息轉(zhuǎn)換為語音信息。
32. 根據(jù)權(quán)利要求31所述的移動終端，其特征在于，所述第三手語處理模塊還包括第二手語符號數(shù)據(jù)庫，用于存儲手語特定語言符號信息與語音信息的對應(yīng)關(guān)系；所述第二手語編碼單元還用于通過查詢所述第二手語符號數(shù)據(jù)庫獲得手語特定語言符號信息與語音信息的對應(yīng)關(guān)系進(jìn)行手語特定語言符號信息到語音信息的轉(zhuǎn)換。
33. 根據(jù)權(quán)利要求29至32任一所述的移動終端，其特征在于，所述第三手語處理模塊還包括第三音頻處理單元，用于對語音信息進(jìn)行處理并輸出到語音通道中，所述移動終端還用于將語音通道中的語音信息通過移動網(wǎng)絡(luò)發(fā)送給被叫終端。
34. 根據(jù)權(quán)利要求33所述的移動終端，其特征在于，所述第三手語處理模塊還包括第二音頻發(fā)送單元，用于將語音通道中的語音信息發(fā)送到播放裝置進(jìn)行語音播放。
35. 根據(jù)權(quán)利要求29至32任一所述的移動終端，其特征在于，所述第三手語處理^^莫塊還包括第四音頻處理單元和第二手語解碼單元，所述第四音頻處理單元用于將接收到的語音信息轉(zhuǎn)換成特定的音頻信息；所述第二手語解碼單元將所述第四音頻處理單元輸出的音頻信息轉(zhuǎn)換為手語符號信息，再將手語符號信息轉(zhuǎn)換為手語動作動畫。
36. 根據(jù)權(quán)利要求35所述的移動終端，其特征在于，所述第三手語處理模塊還包括第二手語動畫數(shù)據(jù)庫，用于存儲手語符號信息與手語動作動畫的對應(yīng)關(guān)系，所述第二手語解碼單元還用于通過查詢所述第二手語動畫數(shù)據(jù)庫獲得手語符號信息與手語動作動畫的對應(yīng)關(guān)系并進(jìn)行手語符號信息到手語動作動畫的轉(zhuǎn)換。
全文摘要
本發(fā)明公開了移動終端的手語處理方法，包括捕捉手語動作并轉(zhuǎn)換為語音的過程，所述過程包括以下步驟步驟A1.移動終端捕捉手語動作畫面；步驟B1.移動終端將所述手語動作畫面轉(zhuǎn)換為與手語動作對應(yīng)的語音信息；步驟C1.移動終端將轉(zhuǎn)換后的語音信息通過移動網(wǎng)絡(luò)發(fā)送給被叫終端。本發(fā)明公開了手語處理移動終端。本發(fā)明通過捕捉手語動作畫面，將其轉(zhuǎn)換為對應(yīng)的語音信息，實(shí)現(xiàn)了手語到語音的翻譯，并通過移動網(wǎng)絡(luò)建立通話，把該語音信息傳送到被叫終端，使得聾啞人或語言障礙人士也能夠使用移動終端和其他人進(jìn)行通話。
文檔編號H04M3/42GK101594434SQ200910108088
公開日2009年12月2日 申請日期2009年6月16日 優(yōu)先權(quán)日2009年6月16日
發(fā)明者麗 汶 申請人:中興通訊股份有限公司