專利名稱：一種基于動作識別的手語翻譯系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及動作識別裝置領(lǐng)域，具體為一種基于動作識別的手語翻譯系統(tǒng)。
背景技術(shù)：
手語是一種廣泛應(yīng)用于聽力障礙人群交流的語言，其是通過手語者的動作來表達(dá)意思的，因此手語是一種視覺性的語言。在手語中有規(guī)定的動作與英文26個字母、數(shù)字相互對應(yīng)，并且一些常用的語句都有對應(yīng)的手語動作，人們可以通過手語者的動作來明白手語者想要表達(dá)的意思。由于手語是視覺性的語言，因此，可通過動作識別的方式，由智能終端采集動作圖像后進(jìn)行判斷得到手語者要表帶的意思。但現(xiàn)有技術(shù)尚沒有基于動作識別的手語翻譯系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于動作識別的手語翻譯系統(tǒng)，以解決現(xiàn)有技術(shù)沒有基于動作識別的手語翻譯系統(tǒng)的問題。為了達(dá)到上述目的，本發(fā)明所采用的技術(shù)方案為
一種基于動作識別的手語翻譯系統(tǒng)，其特征在于包括有盒體，盒體內(nèi)設(shè)置有主控制器、接入主控制器的DSP、接入DSP的FPGA，以及接入主控制器的語音芯片，盒體側(cè)壁上設(shè)置有一對攝像頭，所述攝像頭分別接入FPGA，所述DSP分別通過I2C總線與兩攝像頭連接；所述主控制器內(nèi)設(shè)有標(biāo)準(zhǔn)手語動作圖像數(shù)據(jù)、每個手語動作對應(yīng)的字母信息，兩攝像頭在FPGA、DSP控制下采集手語者的手語動作圖像，并通過DSP將采集到的手語動作圖像傳送至主控制器，所述主控制器將傳送來的手語動作圖像與標(biāo)準(zhǔn)手語動作圖像進(jìn)行比對，并根據(jù)比對結(jié)果判斷手語者的手語動作對應(yīng)的字母信息，然后主控制器將手語者完整手語動作所包含的字母信息排序后并按正常人語法翻譯成語句，最后主控制器控制語音芯片將語句讀出。所述的一種基于動作識別的手語翻譯系統(tǒng)，其特征在于所述主控制器中設(shè)定若干標(biāo)點(diǎn)動作圖像，所述標(biāo)點(diǎn)動作圖像與標(biāo)點(diǎn)符號一一對應(yīng)，所述主控制器接收手語者手語動作圖像時，首先判斷是否包含標(biāo)點(diǎn)動作圖像，若沒有標(biāo)點(diǎn)動作圖像則不進(jìn)行比對，若有標(biāo)點(diǎn)動作圖像，對于第一個標(biāo)點(diǎn)動作圖像以第一個標(biāo)點(diǎn)動作圖像前的手語者手語動作圖像為一組進(jìn)行比對，對于最后一個標(biāo)點(diǎn)動作圖像以最后個標(biāo)點(diǎn)動作圖像后的手語者手語動作圖像為一組進(jìn)行比對。對于其他標(biāo)點(diǎn)動作圖像以相鄰標(biāo)點(diǎn)動作圖像之間的手語者手語動作圖像為一組進(jìn)行比對。所述的一種基于動作識別的手語翻譯系統(tǒng)，其特征在于所述盒體內(nèi)還設(shè)置有接入主控制器的無線模塊。所述的一種基于動作識別的手語翻譯系統(tǒng)，其特征在于所述盒體側(cè)壁上還設(shè)置有接入主控制器的接線端口。本發(fā)明采用雙攝像頭采集手語者的手語動作圖像，依據(jù)Bumblebee雙目測量原理，應(yīng)用FPGA驅(qū)動兩個攝像頭，并通過DSP的I2C總線使兩個攝像頭同步采集運(yùn)動圖像，圖像數(shù)據(jù)在DSP進(jìn)行預(yù)處理后傳送至主控制器，由主控制器進(jìn)行比對后翻譯，并將翻譯的語句通過語音芯片播放。本發(fā)明能有效地對手語者的手語動作進(jìn)行翻譯，并且利用設(shè)定的標(biāo)點(diǎn)動作圖像按意思進(jìn)行翻譯，翻譯準(zhǔn)確可靠，能大大促進(jìn)聽力障礙人群的交流工作。


圖1為本發(fā)明結(jié)構(gòu)原理示意圖。
具體實(shí)施例方式如圖1所示。一種基于動作識別的手語翻譯系統(tǒng)，包括有盒體1，盒體I內(nèi)設(shè)置有主控制器2、接入主控制器2的DSP3、接入DSP3的FPGA4，以及接入主控制器2的語音芯片5，盒體I側(cè)壁上設(shè)置有一對攝像頭6，攝像頭6分別接入FPGA4，DSP3分別通過I2C總線與兩攝像頭6連接；主控制器2內(nèi)設(shè)有標(biāo)準(zhǔn)手語動作圖像數(shù)據(jù)、每個手語動作對應(yīng)的字母信息，兩攝像頭6在FPGA4、DSP3控制下采集手語者的手語動作圖像，并通過DSP3將采集到的手語動作圖像傳送至主控制器2，主控制器2將傳送來的手語動作圖像與標(biāo)準(zhǔn)手語動作圖像進(jìn)行比對，并根據(jù)比對結(jié)果判斷手語者的手語動作對應(yīng)的字母信息，然后主控制器2將手語者完整手語動作所包含的字母信息排序后并按正常人語法翻譯成語句，最后主控制器控制語音芯片將語句讀出。主控制器2中設(shè)定若干標(biāo)點(diǎn)動作圖像,標(biāo)點(diǎn)動作圖像與標(biāo)點(diǎn)符號 對應(yīng),主控制器2接收手語者手語動作圖像時，首先判斷是否包含標(biāo)點(diǎn)動作圖像，若沒有標(biāo)點(diǎn)動作圖像則不進(jìn)行比對，若有標(biāo)點(diǎn)動作圖像，對于第一個標(biāo)點(diǎn)動作圖像以第一個標(biāo)點(diǎn)動作圖像前的手語者手語動作圖像為一組進(jìn)行比對，對于最后一個標(biāo)點(diǎn)動作圖像以最后個標(biāo)點(diǎn)動作圖像后的手語者手語動作圖像為一組進(jìn)行比對。對于其他標(biāo)點(diǎn)動作圖像以相鄰標(biāo)點(diǎn)動作圖像之間的手語者手語動作圖像為一組進(jìn)行比對。盒體I內(nèi)還設(shè)置有接入主控制器2的無線模塊7。盒體I側(cè)壁上還設(shè)置有接入主控制器2的接線端口 8。
權(quán)利要求
1.一種基于動作識別的手語翻譯系統(tǒng)，其特征在于包括有盒體，盒體內(nèi)設(shè)置有主控制器、接入主控制器的DSP、接入DSP的FPGA，以及接入主控制器的語音芯片，盒體側(cè)壁上設(shè)置有一對攝像頭，所述攝像頭分別接入FPGA，所述DSP分別通過I2C總線與兩攝像頭連接；所述主控制器內(nèi)設(shè)有標(biāo)準(zhǔn)手語動作圖像數(shù)據(jù)、每個手語動作對應(yīng)的字母信息，兩攝像頭在FPGA、DSP控制下采集手語者的手語動作圖像，并通過DSP將采集到的手語動作圖像傳送至主控制器，所述主控制器將傳送來的手語動作圖像與標(biāo)準(zhǔn)手語動作圖像進(jìn)行比對，并根據(jù)比對結(jié)果判斷手語者的手語動作對應(yīng)的字母信息，然后主控制器將手語者完整手語動作所包含的字母信息排序后并按正常人語法翻譯成語句，最后主控制器控制語音芯片將語句讀出。
2.根據(jù)權(quán)利要求1所述的一種基于動作識別的手語翻譯系統(tǒng)，其特征在于所述主控制器中設(shè)定若干標(biāo)點(diǎn)動作圖像，所述標(biāo)點(diǎn)動作圖像與標(biāo)點(diǎn)符號一一對應(yīng)，所述主控制器接收手語者手語動作圖像時，首先判斷是否包含標(biāo)點(diǎn)動作圖像，若沒有標(biāo)點(diǎn)動作圖像則不進(jìn)行比對，若有標(biāo)點(diǎn)動作圖像，對于第一個標(biāo)點(diǎn)動作圖像以第一個標(biāo)點(diǎn)動作圖像前的手語者手語動作圖像為一組進(jìn)行比對，對于最后一個標(biāo)點(diǎn)動作圖像以最后個標(biāo)點(diǎn)動作圖像后的手語者手語動作圖像為一組進(jìn)行比對，對于其他標(biāo)點(diǎn)動作圖像以相鄰標(biāo)點(diǎn)動作圖像之間的手語者手語動作圖像為一組進(jìn)行比對。
3.根據(jù)權(quán)利要求1所述的一種基于動作識別的手語翻譯系統(tǒng)，其特征在于所述盒體內(nèi)還設(shè)置有接入主控制器的無線模塊。
4.根據(jù)權(quán)利要求1所述的一種基于動作識別的手語翻譯系統(tǒng)，其特征在于所述盒體側(cè)壁上還設(shè)置有接入主控制器的接線端口。
全文摘要
本發(fā)明公開了一種基于動作識別的手語翻譯系統(tǒng)，包括有盒體，盒體內(nèi)設(shè)置有主控制器、接入主控制器的DSP、接入DSP的FPGA，接入主控制器的語音芯片，盒體側(cè)壁上設(shè)置有一對攝像頭，攝像頭分別接入FPGA、DSP。本發(fā)明能有效地對手語者的手語動作進(jìn)行翻譯，并且利用設(shè)定的標(biāo)點(diǎn)動作圖像按意思進(jìn)行翻譯，翻譯準(zhǔn)確可靠，能大大促進(jìn)聽力障礙人群的交流工作。
文檔編號G09B21/00GK103035150SQ20121056238
公開日2013年4月10日 申請日期2012年12月21日 優(yōu)先權(quán)日2012年12月21日
發(fā)明者陳擁權(quán), 張羽, 胡翀豪 申請人:合肥寰景信息技術(shù)有限公司