專(zhuān)利名稱(chēng)：手語(yǔ)翻譯系統(tǒng)、手語(yǔ)翻譯裝置及手語(yǔ)翻譯方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種手語(yǔ)翻譯系統(tǒng)、手語(yǔ)翻譯裝置及手語(yǔ)翻譯方法。
背景技術(shù)：
通常正常人與聾啞人士溝通時(shí)需要學(xué)習(xí)一套手語(yǔ)，手語(yǔ)的學(xué)習(xí)需要花費(fèi)相當(dāng)大的精力及相當(dāng)長(zhǎng)的時(shí)間。另外，大多數(shù)手語(yǔ)的表達(dá)方式因國(guó)籍或地區(qū)的不同而不同，故不同國(guó)籍或地區(qū)的聾啞人士相互進(jìn)行交流也存在溝通的問(wèn)題。

發(fā)明內(nèi)容
鑒于以上內(nèi)容，有必要提供一種可對(duì)手語(yǔ)進(jìn)行識(shí)別并將手語(yǔ)所表達(dá)的意思轉(zhuǎn)換為·文字或語(yǔ)音信息的手語(yǔ)翻譯系統(tǒng)、手語(yǔ)翻譯裝置及手語(yǔ)翻譯方法。一種手語(yǔ)翻譯系統(tǒng)，包括
一存儲(chǔ)單元，用于存儲(chǔ)標(biāo)準(zhǔn)手語(yǔ)的三維模型及與標(biāo)準(zhǔn)手語(yǔ)的三維模型對(duì)應(yīng)的文字信
息；
一三維模型建立模塊，用于根據(jù)由一深度攝像機(jī)對(duì)手勢(shì)進(jìn)行拍攝得到的圖像及拍攝場(chǎng)景內(nèi)各點(diǎn)與深度攝像機(jī)之間的距離信息建立該手勢(shì)的三維模型；
一轉(zhuǎn)換模塊，用于根據(jù)該存儲(chǔ)單元中的標(biāo)準(zhǔn)手語(yǔ)的三維模型將得到的手勢(shì)的三維模型轉(zhuǎn)換為對(duì)應(yīng)的標(biāo)準(zhǔn)手語(yǔ)的三維模型；及
一手語(yǔ)翻譯模塊，用于根據(jù)該轉(zhuǎn)換模塊得到的標(biāo)準(zhǔn)手語(yǔ)的三維模型及該存儲(chǔ)單元中的文字信息將由該轉(zhuǎn)換模塊得到的標(biāo)準(zhǔn)手語(yǔ)的三維模型轉(zhuǎn)換為對(duì)應(yīng)的文字信息，該對(duì)應(yīng)的文字信息通過(guò)一第一輸出單元進(jìn)行顯示。一種手語(yǔ)翻譯裝置，包括
一深度攝像機(jī)，用于拍攝交流者進(jìn)行手語(yǔ)表達(dá)時(shí)所作出的手勢(shì)并得到手勢(shì)的圖像及被攝場(chǎng)景內(nèi)各點(diǎn)與深度攝像機(jī)之間的距離信息；
一手語(yǔ)翻譯系統(tǒng)，該手語(yǔ)翻譯系統(tǒng)內(nèi)存儲(chǔ)有標(biāo)準(zhǔn)手語(yǔ)的三維模型及與標(biāo)準(zhǔn)手語(yǔ)的三維模型對(duì)應(yīng)的文字信息，該手語(yǔ)翻譯系統(tǒng)用于根據(jù)由深度攝像機(jī)所得到的圖像及距離信息得到手勢(shì)的三維模型，并將得到的手勢(shì)的三維模型根據(jù)存儲(chǔ)的標(biāo)準(zhǔn)手語(yǔ)的三維模型轉(zhuǎn)換為對(duì)應(yīng)的標(biāo)準(zhǔn)手語(yǔ)的三維模型，還根據(jù)存儲(chǔ)的標(biāo)準(zhǔn)手語(yǔ)的三維模型及其對(duì)應(yīng)的文字信息將標(biāo)準(zhǔn)手語(yǔ)的三維模型轉(zhuǎn)換為對(duì)應(yīng)的文字信息；及
至少一輸出單元，用于輸出該手語(yǔ)翻譯系統(tǒng)的文字信息。一種手語(yǔ)翻譯方法，包括以下步驟
根據(jù)由一深度攝像機(jī)對(duì)手勢(shì)進(jìn)行拍攝得到的圖像及拍攝場(chǎng)景內(nèi)各點(diǎn)與深度攝像機(jī)之間的距離信息建立該手勢(shì)的三維模型；
將得到的手勢(shì)的三維模型轉(zhuǎn)換為對(duì)應(yīng)的標(biāo)準(zhǔn)手語(yǔ)的三維模型；
將標(biāo)準(zhǔn)手語(yǔ)的三維模型轉(zhuǎn)換為對(duì)應(yīng)的文字信息；以及 輸出該文字信息。
上述手語(yǔ)翻譯系統(tǒng)、手語(yǔ)翻譯裝置及手語(yǔ)翻譯方法通過(guò)對(duì)深度攝像機(jī)得到的手勢(shì)的圖像及距離信息建立手勢(shì)的三維模型，之后通過(guò)轉(zhuǎn)換模塊將得到的手勢(shì)的三維模型轉(zhuǎn)換為對(duì)應(yīng)的標(biāo)準(zhǔn)手語(yǔ)的三維模型，該手語(yǔ)翻譯模塊將標(biāo)準(zhǔn)手語(yǔ)的三維模型轉(zhuǎn)換為對(duì)應(yīng)的文字信息，該輸出單元輸出文字信息，從而對(duì)手語(yǔ)進(jìn)行識(shí)別并將手語(yǔ)所表達(dá)的意思轉(zhuǎn)換為對(duì)應(yīng)的文字或語(yǔ)音信息，方便與聾啞人士進(jìn)行交流。


圖I是本發(fā)明手語(yǔ)翻譯裝置的較佳實(shí)施方式的方框圖。圖2是本發(fā)明手語(yǔ)翻譯裝置的立體圖。圖3是圖2中手語(yǔ)翻譯裝置的反面示意圖。
圖4是本發(fā)明手語(yǔ)翻譯裝置的另一較佳實(shí)施方式的立體圖。圖5是本發(fā)明手語(yǔ)翻譯方法的較佳實(shí)施方式的流程圖。主要元件符號(hào)說(shuō)明
權(quán)利要求
1.一種手語(yǔ)翻譯系統(tǒng)，包括 一存儲(chǔ)單元，用于存儲(chǔ)標(biāo)準(zhǔn)手語(yǔ)的三維模型及與標(biāo)準(zhǔn)手語(yǔ)的三維模型對(duì)應(yīng)的文字信息； 一三維模型建立模塊，用于根據(jù)由一深度攝像機(jī)對(duì)手勢(shì)進(jìn)行拍攝得到的圖像及拍攝場(chǎng)景內(nèi)各點(diǎn)與深度攝像機(jī)之間的距離信息建立該手勢(shì)的三維模型； 一轉(zhuǎn)換模塊，用于根據(jù)該存儲(chǔ)單元中的標(biāo)準(zhǔn)手語(yǔ)的三維模型將得到的手勢(shì)的三維模型轉(zhuǎn)換為對(duì)應(yīng)的標(biāo)準(zhǔn)手語(yǔ)的三維模型；及 一手語(yǔ)翻譯模塊，用于根據(jù)該轉(zhuǎn)換模塊得到的標(biāo)準(zhǔn)手語(yǔ)的三維模型及該存儲(chǔ)單元中的文字信息將由該轉(zhuǎn)換模塊得到的標(biāo)準(zhǔn)手語(yǔ)的三維模型轉(zhuǎn)換為對(duì)應(yīng)的文字信息，該對(duì)應(yīng)的文字信息通過(guò)一第一輸出單元進(jìn)行顯示。
2.如權(quán)利要求I所述的手語(yǔ)翻譯系統(tǒng)，其特征在于該手語(yǔ)翻譯系統(tǒng)還包括一手語(yǔ)體系設(shè)定模塊，該手語(yǔ)體系設(shè)定模塊用于設(shè)定手語(yǔ)翻譯系統(tǒng)的手語(yǔ)體系。
3.如權(quán)利要求I所述的手語(yǔ)翻譯系統(tǒng)，其特征在于該手語(yǔ)翻譯系統(tǒng)還包括一手語(yǔ)體系識(shí)別模塊，當(dāng)使用者未設(shè)定該手語(yǔ)翻譯系統(tǒng)的手語(yǔ)體系時(shí)，該手語(yǔ)體系識(shí)別模塊根據(jù)交流者已做出的手勢(shì)判斷交流者使用的手語(yǔ)體系，從而對(duì)應(yīng)設(shè)定該手語(yǔ)翻譯系統(tǒng)的手語(yǔ)體系O
4.如權(quán)利要求I所述的手語(yǔ)翻譯系統(tǒng)，其特征在于該存儲(chǔ)單元還存儲(chǔ)有與文字信息對(duì)應(yīng)的語(yǔ)音信息，該手語(yǔ)翻譯系統(tǒng)還包括一文字轉(zhuǎn)語(yǔ)音模塊，該文字轉(zhuǎn)語(yǔ)音模塊根據(jù)手語(yǔ)翻譯模塊輸出的文字信息及存儲(chǔ)單元中的語(yǔ)音信息將該手語(yǔ)翻譯模塊輸出的文字信息轉(zhuǎn)換為對(duì)應(yīng)的語(yǔ)音信息，該對(duì)應(yīng)的文字信息通過(guò)一第二輸出單元進(jìn)行顯示。
5.一種手語(yǔ)翻譯裝置，包括 一深度攝像機(jī)，用于拍攝交流者進(jìn)行手語(yǔ)表達(dá)時(shí)所作出的手勢(shì)并得到手勢(shì)的圖像及被攝場(chǎng)景內(nèi)各點(diǎn)與深度攝像機(jī)之間的距離信息； 一手語(yǔ)翻譯系統(tǒng)，該手語(yǔ)翻譯系統(tǒng)存儲(chǔ)有標(biāo)準(zhǔn)手語(yǔ)的三維模型及與標(biāo)準(zhǔn)手語(yǔ)的三維模型對(duì)應(yīng)的文字信息，該手語(yǔ)翻譯系統(tǒng)用于根據(jù)由深度攝像機(jī)所得到的圖像及距離信息得到手勢(shì)的三維模型，并將得到的手勢(shì)的三維模型根據(jù)存儲(chǔ)的標(biāo)準(zhǔn)手語(yǔ)的三維模型轉(zhuǎn)換為對(duì)應(yīng)的標(biāo)準(zhǔn)手語(yǔ)的三維模型，還根據(jù)存儲(chǔ)的標(biāo)準(zhǔn)手語(yǔ)的三維模型及其對(duì)應(yīng)的文字信息將標(biāo)準(zhǔn)手語(yǔ)的三維模型轉(zhuǎn)換為對(duì)應(yīng)的文字信息；及 至少一輸出單元，用于輸出該手語(yǔ)翻譯系統(tǒng)的文字信息。
6.如權(quán)利要求5所述的手語(yǔ)翻譯裝置，其特征在于該手語(yǔ)翻譯裝置還包括一按鍵，該手語(yǔ)翻譯系統(tǒng)還用于通過(guò)該按鍵設(shè)定手語(yǔ)翻譯裝置的手語(yǔ)體系。
7.如權(quán)利要求6所述的手語(yǔ)翻譯裝置，其特征在于該手語(yǔ)翻譯系統(tǒng)包括一存儲(chǔ)單元、一三維模型建立模塊、一轉(zhuǎn)換模塊及一手語(yǔ)翻譯模塊，該存儲(chǔ)單元用于存儲(chǔ)標(biāo)準(zhǔn)手語(yǔ)的三維模型及與標(biāo)準(zhǔn)手語(yǔ)的三維模型對(duì)應(yīng)的文字信息，該三維模型建立模塊用于根據(jù)該深度攝像機(jī)得到的圖像及距離信息建立該手勢(shì)的三維模型，該轉(zhuǎn)換模塊用于根據(jù)存儲(chǔ)單元中的標(biāo)準(zhǔn)手語(yǔ)的三維模型將得到的手勢(shì)的三維模型轉(zhuǎn)換為對(duì)應(yīng)的標(biāo)準(zhǔn)手語(yǔ)的三維模型，該手語(yǔ)翻譯模塊根據(jù)轉(zhuǎn)換模塊的標(biāo)準(zhǔn)手語(yǔ)的三維模型及存儲(chǔ)單元中的文字信息將該轉(zhuǎn)換模塊得到的標(biāo)準(zhǔn)手語(yǔ)的三維模型轉(zhuǎn)換為對(duì)應(yīng)的文字信息。
8.如權(quán)利要求7所述的手語(yǔ)翻譯裝置，其特征在于該手語(yǔ)翻譯系統(tǒng)還包括一手語(yǔ)體系設(shè)定模塊，當(dāng)使用者按壓該按鍵時(shí)，該手語(yǔ)體系設(shè)定模塊即對(duì)應(yīng)設(shè)定該手語(yǔ)翻譯裝置的手語(yǔ)體系。
9.如權(quán)利要求8所述的手語(yǔ)翻譯裝置，其特征在于該手語(yǔ)翻譯系統(tǒng)還包括一手語(yǔ)體系識(shí)別模塊，當(dāng)使用者未設(shè)定該手語(yǔ)翻譯裝置的手語(yǔ)體系時(shí)，該手語(yǔ)體系識(shí)別模塊根據(jù)交流者已做出的手勢(shì)判斷交流者使用的手語(yǔ)體系，從而對(duì)應(yīng)設(shè)定該手語(yǔ)翻譯裝置的手語(yǔ)體系O
10.如權(quán)利要求7所述的手語(yǔ)翻譯裝置，其特征在于該手語(yǔ)翻譯系統(tǒng)的存儲(chǔ)單元還存儲(chǔ)有與文字信息對(duì)應(yīng)的語(yǔ)音信息，該手語(yǔ)翻譯系統(tǒng)還用于根據(jù)該手語(yǔ)翻譯模塊輸出的文字信息及該存儲(chǔ)單元中的語(yǔ)音信息將該文字信息轉(zhuǎn)換為對(duì)應(yīng)的語(yǔ)音信息。
11.如權(quán)利要求10所述的手語(yǔ)翻譯裝置，其特征在于該手語(yǔ)翻譯系統(tǒng)還包括一文字轉(zhuǎn)語(yǔ)音模塊，該手語(yǔ)翻譯系統(tǒng)通過(guò)該文字轉(zhuǎn)語(yǔ)音模塊將該文字信息轉(zhuǎn)換為對(duì)應(yīng)的語(yǔ)音信肩、O
12.如權(quán)利要求11所述的手語(yǔ)翻譯裝置，其特征在于該輸出單元為一耳機(jī)，用于發(fā)出該文字轉(zhuǎn)語(yǔ)音模塊輸出的語(yǔ)音信息。
13.如權(quán)利要求5所述的手語(yǔ)翻譯裝置，其特征在于該輸出單元為一顯示屏，用于顯示該手語(yǔ)翻譯模塊輸出的文字信息。
14.一種手語(yǔ)翻譯方法，包括以下步驟 根據(jù)由一深度攝像機(jī)對(duì)手勢(shì)進(jìn)行拍攝得到的圖像及拍攝場(chǎng)景內(nèi)各點(diǎn)與深度攝像機(jī)之間的距離信息建立該手勢(shì)的三維模型； 將得到的手勢(shì)的三維模型轉(zhuǎn)換為對(duì)應(yīng)的標(biāo)準(zhǔn)手語(yǔ)的三維模型； 將標(biāo)準(zhǔn)手語(yǔ)的三維模型轉(zhuǎn)換為對(duì)應(yīng)的文字信息；以及 輸出該文字信息。
15.如權(quán)利要求14所述的手語(yǔ)翻譯方法，其特征在于該手語(yǔ)翻譯方法還包括 判斷是否需要人工設(shè)定一手語(yǔ)翻譯系統(tǒng)的手語(yǔ)體系； 若需要人工設(shè)定手語(yǔ)體系，則進(jìn)行人工設(shè)定手語(yǔ)體系；以及 若不需要人工設(shè)定手語(yǔ)體系，該手語(yǔ)翻譯系統(tǒng)則自動(dòng)設(shè)定其手語(yǔ)體系。
16.如權(quán)利要求14所述的手語(yǔ)翻譯方法，其特征在于該手語(yǔ)翻譯方法還包括 將轉(zhuǎn)換得到的文字信息轉(zhuǎn)換為對(duì)應(yīng)的語(yǔ)音信息；以及 發(fā)出該語(yǔ)音信息。
全文摘要
一種手語(yǔ)翻譯裝置包括一深度攝像機(jī)、一手語(yǔ)翻譯裝置及輸出單元。深度攝像機(jī)拍攝交流者所作出的手勢(shì)。手語(yǔ)翻譯裝置包括一三維模型建立模塊、一存儲(chǔ)單元、一轉(zhuǎn)換模塊及一手語(yǔ)翻譯模塊，三維模型建立模塊建立手勢(shì)的三維模型，存儲(chǔ)單元存儲(chǔ)標(biāo)準(zhǔn)手語(yǔ)的三維模型及與標(biāo)準(zhǔn)手語(yǔ)的三維模型對(duì)應(yīng)的文字信息，轉(zhuǎn)換模塊將得到的手勢(shì)的三維模型像轉(zhuǎn)換為標(biāo)準(zhǔn)手語(yǔ)的三維模型，手語(yǔ)翻譯模塊將標(biāo)準(zhǔn)手語(yǔ)的三維模型轉(zhuǎn)換為文字信息，輸出單元輸出文字信息。本發(fā)明還提供了一種手語(yǔ)翻譯系統(tǒng)及方法。
文檔編號(hào)G09B21/00GK102956132SQ20111024573
公開(kāi)日2013年3月6日 申請(qǐng)日期2011年8月25日 優(yōu)先權(quán)日2011年8月25日
發(fā)明者李后賢, 李章榮, 羅治平 申請(qǐng)人:鴻富錦精密工業(yè)(深圳)有限公司, 鴻海精密工業(yè)股份有限公司