本實(shí)用新型涉及一種基于手勢識別的交流裝置。

背景技術(shù)：

根據(jù)聯(lián)合國和世界衛(wèi)生組織公布的數(shù)據(jù)，全世界殘疾人數(shù)量已經(jīng)超過6.5億，其中約有3億6千萬聽力障礙人群，在中國聽力殘疾和言語殘疾超過2000萬人。如何幫助聾啞人更好的生活，融入社會，成為世界關(guān)注殘疾人的各界人士所思考的問題。目前手勢識別技術(shù)、將語音轉(zhuǎn)換為文字的技術(shù)已經(jīng)逐漸走向成熟。手勢識別技術(shù)主要分為基于視覺的和基于運(yùn)動傳感器的兩種，如東北林業(yè)大學(xué)機(jī)電工程學(xué)院顧偉宏等在《新型數(shù)據(jù)手套及其手勢識別研究》中公開了一種將手勢轉(zhuǎn)譯成語音的方案，該系統(tǒng)以30個(gè)漢語手指語拼音字母作為識別目標(biāo),并將識別結(jié)果通過語音播放出來。系統(tǒng)總體設(shè)計(jì)方案是利用加速度傳感器的動態(tài)加速度測量特性來采集手指運(yùn)動的方向和運(yùn)動的軌跡以及行程大小,并利用其靜態(tài)加速度測量特性來識別手語動作靜止時(shí)手勢的方向性以及各個(gè)手指之間的角度關(guān)系。將這兩個(gè)測量結(jié)果結(jié)合起來,由單片機(jī)分析出手勢語所表達(dá)的含義,然后將識別的結(jié)果通過調(diào)用語音庫和語音播放電路播放出來。而且，各種將語音轉(zhuǎn)換為文字的技術(shù)(或軟件)也已經(jīng)成熟。但是這還處于解決單向問題的解決方案，尚未有較為完整的便于聾啞人與正常人適時(shí)交流的方法和裝置。

另外，根據(jù)世界衛(wèi)生組織提供的數(shù)據(jù)，中國是全世界盲人最多的國家，占全世界盲人口的18％。每年在中國約有45萬人失明，2010年中國盲人(blind)824.8萬，低視力(low vision)6727.4萬，視力殘疾(visual impairment)是兩者的總和7551.2萬。按照這個(gè)勢頭，目前的盲人，估計(jì)可能超過1300萬，也就是，每一百個(gè)人里面，就有一個(gè)盲人。對于很多人來說，閱讀和交流是件很簡單的事情，然而，對于盲人來說，他們的閱讀卻要通過“聽”與“觸摸”來實(shí)現(xiàn)。社會對盲文讀物出版給予大力支持，但是“書荒仍存”，有一個(gè)重要原因就是制作成本高、印刷效率遠(yuǎn)低于普通出版物。目前，出現(xiàn)了一些幫助盲人上網(wǎng)的讀屏軟件， 一定程度上可以解決盲人上網(wǎng)的困難，但對于解決閱讀紙質(zhì)書籍、同時(shí)幫助盲人與正常人交流的技術(shù)或設(shè)備還是不夠方便或低廉。

因此，有必要設(shè)計(jì)一種新的基于手勢識別的交流裝置。

技術(shù)實(shí)現(xiàn)要素：

本實(shí)用新型所要解決的技術(shù)問題是提供一種基于手勢識別的交流裝置，該裝置易于實(shí)施，結(jié)構(gòu)獨(dú)特，功能豐富，特別適合聾啞人使用。

實(shí)用新型的技術(shù)解決方案如下：

一種基于手勢識別的交流裝置，包括主機(jī)和手勢檢測模塊；主機(jī)與手勢檢測模塊通過導(dǎo)線或無線方式通信連接；所述的無線方式為藍(lán)牙方式；

手勢檢測模塊為手套型檢測模塊，包括手套(21)和設(shè)置在手套上的多個(gè)姿勢檢測傳感器(20)；

手套由手臂套、手掌套和5個(gè)手指套依次對接而成；手臂套、手掌套和手指套上均至少設(shè)置有一個(gè)所述的姿勢檢測傳感器；

主機(jī)的結(jié)構(gòu)為：

在殼體(1)的背面設(shè)有顯示屏(2)和揚(yáng)聲器(4)；

殼體內(nèi)設(shè)有主板；主板用于基于姿勢檢測傳感器的檢測數(shù)據(jù)識別手勢，并將手勢表達(dá)的含義形成文字，以及將文本文檔轉(zhuǎn)化為語音在揚(yáng)聲器中播放，主板還用于獲取照片，并針對照片進(jìn)行文字識別形成文本文檔，以及基于姿勢檢測傳感器的檢測數(shù)據(jù)識別手勢，并將手勢表達(dá)的含義形成文字，以及將文本文檔轉(zhuǎn)化為語音在揚(yáng)聲器中播放出來，以上實(shí)現(xiàn)均為現(xiàn)有成熟技術(shù)。

所述的姿勢檢測傳感器為傾角傳感器、加速度傳感器和陀螺儀中的至少一種；所述的5個(gè)手指套的每一個(gè)與人手手指的關(guān)節(jié)對應(yīng)部位各設(shè)有一個(gè)姿勢檢測傳感器，即大拇指手指套上設(shè)有2個(gè)姿勢檢測傳感器，其余4個(gè)手指套上均設(shè)有3個(gè)姿勢檢測傳感器，手臂套上設(shè)有2個(gè)姿勢檢測傳感器。

殼體上還設(shè)有與主板相連的調(diào)音模塊和進(jìn)程控制按鍵；進(jìn)程控制按鍵包括下一首按鍵(7)、暫停/播放按鍵(9)和前一首按鍵(11)；

殼體的正面設(shè)有攝像頭(16)和補(bǔ)光燈；

殼體上還設(shè)有與主板連接的位置感應(yīng)模塊；

所述的位置感應(yīng)模塊包括設(shè)置在殼體背面的導(dǎo)軌(8)以及設(shè)置在導(dǎo)軌上的滑塊(10)(為穩(wěn)定起見，導(dǎo)軌為平行的兩條)；位置感應(yīng)模塊還包括設(shè)置在殼體內(nèi)的2個(gè)同步輪(15)和張?jiān)O(shè)在2個(gè)同步輪上的同步帶(14)；所述的滑塊固定在同步帶上與同步帶聯(lián)動；其中一個(gè)同步輪上設(shè)有同軸的編碼盤，編碼盤輸出編碼到主板。編碼盤能記錄同步轉(zhuǎn)動的角度，從而能間接檢測出滑塊的位移，滑塊用于播放控制，滑塊位于最左側(cè)時(shí)，一篇文章從頭開始播放，滑塊位于導(dǎo)軌的正中時(shí)，文章跳至50％的位置播放，更進(jìn)一步，同步輪還連接有驅(qū)動電機(jī)，文章播放時(shí)，驅(qū)動電機(jī)驅(qū)動同步輪旋轉(zhuǎn)，使得滑塊同步移動，如播放到80％時(shí)，滑塊也移動到80％的位置。

殼體的頂部設(shè)有快門鍵(3)，快門鍵用于控制攝像頭，也可以不使用快門鍵，直接在屏幕上操作，顯示屏為觸摸顯示屏。

殼體上設(shè)有USB插口(12)和SD卡插槽(13)中的至少一種，用于插入U(xiǎn)盤或SD卡等，將生成的文本文件存儲到存儲介質(zhì)中，或?qū)⑼獠康奈谋疚募ㄟ^存儲介質(zhì)轉(zhuǎn)移到本裝置中。

殼體上設(shè)有耳機(jī)插孔。

調(diào)壓模塊為調(diào)音按鍵或調(diào)音旋鈕(6)。

攝像頭的左右兩側(cè)各設(shè)有1個(gè)作為補(bǔ)光燈的主閃光燈(17)；殼體背面還設(shè)有由多個(gè)輔助閃光燈(19)和一片導(dǎo)光板(18)形成的環(huán)形閃光模塊(導(dǎo)光板為回字形，由4條長方形的子板依次首尾回環(huán)連接而成，每條子板下方設(shè)有2個(gè)輔助LED燈。殼體為方形殼體)；

揚(yáng)聲器為2個(gè)，分布在殼體背面的左右兩側(cè)。形成立體聲輸出，音質(zhì)好。

殼體內(nèi)設(shè)有電池和用于為電池充電的充電電路，殼體上設(shè)有于所述充電電路相連的充電接口(充電接口用于接電源適配器，電源適配器接220V交流市電)。

殼體內(nèi)集成有WiFi模塊或移動通信模塊(3G或4G模塊)，用于通過網(wǎng)絡(luò)獲取文本資源。

本裝置的使用方法：

步驟1：手勢檢測模塊中的姿勢檢測傳感器將采集的姿勢數(shù)據(jù)通過有線或無線方式發(fā)送到主機(jī)中；姿勢數(shù)據(jù)為加速度數(shù)據(jù)或傾角數(shù)據(jù)中的至少一種；

步驟2：主機(jī)對收到的姿勢數(shù)據(jù)進(jìn)行處理，識別出手勢，并將手勢轉(zhuǎn)化為 文字信息；具體識別技術(shù)為現(xiàn)有技術(shù)。主板為現(xiàn)有成熟可外購的模塊。

步驟3：主機(jī)將文字信息轉(zhuǎn)化為音頻在揚(yáng)聲器中播發(fā)。

將圖片轉(zhuǎn)化為語音的步驟如下：

步驟1：采用攝像頭獲取帶有文字信息的圖片；

步驟2：主板上的文字識別模塊將圖片上的文字內(nèi)容轉(zhuǎn)換為文本信息，并將多個(gè)圖片上的文字信息整合到一個(gè)文本文件中；

步驟3：基于主板上的文本信息‐語音模塊將文本文件轉(zhuǎn)換為音頻播放。

通過本裝置還可以將可視的圖片、以及包括文字的紙質(zhì)(或電子屏幕顯示)頁面實(shí)時(shí)轉(zhuǎn)換為語音輸出。

所述第一步設(shè)有一個(gè)拍攝完整度提醒功能，根據(jù)取景的外邊緣的灰度判斷目標(biāo)是否已經(jīng)全部進(jìn)入鏡頭，進(jìn)而通過語音提示相機(jī)鏡頭移動的方向，包括上/下、左/右、遠(yuǎn)/近動作指令。

所述文字/語音合成器可根據(jù)設(shè)置選擇語音的語種、男女聲、語速。

所述控制鍵盤與微處理器單元的控制信號輸入端相連，該微處理器單元通過數(shù)據(jù)/地址線與圖片/文字譯碼器、文字/語音合成器、圖片存儲器、文本存儲器的相應(yīng)數(shù)據(jù)端口或地址端口相連，并完成相應(yīng)的控制和數(shù)據(jù)調(diào)用、存儲動作；

有益效果：

本實(shí)用新型提供了一種基于手勢識別的交流裝置，其核心在于采用具有姿勢檢測傳感器的手套型檢測模塊，手套型檢測模塊中的姿勢檢測傳感器設(shè)置在各關(guān)節(jié)處，能檢測手指節(jié)、手掌和手臂的位置、姿勢和動作，再由主板上的控制器(如DSP等)基于上述位置、姿勢和動作進(jìn)行手勢識別；再將手勢形成語音播出，便于聾啞人與非聾啞人交流。非聾啞人的語音可以轉(zhuǎn)換為文字在顯示屏上顯示，聽力障礙的人能通過顯示屏獲得信息，沒有聽力障礙的人能通過語音和顯示屏獲得信息。

該裝置還特別針對盲人群體做了獨(dú)特的設(shè)計(jì)，比如位置感應(yīng)模塊能便于使用者手動調(diào)節(jié)播放進(jìn)度，這一特征為本實(shí)用新型的又一亮點(diǎn)。另外，設(shè)置有物理按鍵，如播放鍵等，便于操作。

本裝置具有豐富的拍照功能，環(huán)形閃光模塊有利于獲取無陰影的高素質(zhì)的圖 片；

本裝置具有豐富的接口和通信模塊，USB接口等便于通過有線模式傳輸文本文件，WiFi模塊和移動通信模塊便于通過無線網(wǎng)絡(luò)方式傳輸文本資源，從而極大地?cái)U(kuò)展了本產(chǎn)品的功能。

總之，采用本裝置能對手勢進(jìn)行識別，并轉(zhuǎn)成語音播放，而且，能方便地將紙質(zhì)的樹制作成電子書，便于攜帶，另外，具有語音播放文本信息的功能，減緩使用者的視覺疲勞，該裝置特別適用于盲人和聾啞人群體。

附圖說明

圖1為主機(jī)的背面結(jié)構(gòu)示意圖；

圖2為主機(jī)的正面結(jié)構(gòu)示意圖；

圖3為位置感應(yīng)模塊的結(jié)構(gòu)示意圖；

圖4為電原理框圖；

圖5為手勢檢測模塊的結(jié)構(gòu)示意圖。

標(biāo)號說明：1-殼體，2-顯示屏，3-快門鍵，4-揚(yáng)聲器，5-充電接口，6-音量調(diào)節(jié)旋鈕，7-下一首按鍵，8-導(dǎo)軌，9-暫停/播放按鍵，10-滑塊，11-前一首按鍵，12-USB插口，13-SD卡插槽；14-同步帶，15-同步輪，16-攝像頭，17-主閃光燈，18-導(dǎo)光板，19-輔助閃光燈，20-姿勢檢測傳感器，21-手套。

具體實(shí)施方式

以下將結(jié)合附圖和具體實(shí)施例對本實(shí)用新型做進(jìn)一步詳細(xì)說明：

實(shí)施例1：如圖1-5，一種基于手勢識別的交流裝置，包括主機(jī)和手勢檢測模塊；主機(jī)與手勢檢測模塊通過導(dǎo)線或無線方式通信連接；所述的無線方式為藍(lán)牙方式；

手勢檢測模塊為手套型檢測模塊，包括手套21和設(shè)置在手套上的多個(gè)姿勢檢測傳感器20；

手套由手臂套、手掌套和5個(gè)手指套依次對接而成；手臂套、手掌套和手指套上均至少設(shè)置有一個(gè)所述的姿勢檢測傳感器；

主機(jī)的結(jié)構(gòu)為：

在殼體1的背面設(shè)有顯示屏2和揚(yáng)聲器4；

殼體內(nèi)設(shè)有主板；主板用于基于姿勢檢測傳感器的檢測數(shù)據(jù)識別手勢，并將手勢表達(dá)的含義形成文字，以及將文本文檔轉(zhuǎn)化為語音在揚(yáng)聲器中播放，主板還用于獲取照片，并針對照片進(jìn)行文字識別形成文本文檔，以及基于姿勢檢測傳感器的檢測數(shù)據(jù)識別手勢，并將手勢表達(dá)的含義形成文字，以及將文本文檔轉(zhuǎn)化為語音在揚(yáng)聲器中播放出來，以上實(shí)現(xiàn)均為現(xiàn)有成熟技術(shù)。

所述的姿勢檢測傳感器為傾角傳感器、加速度傳感器和陀螺儀中的至少一種；所述的5個(gè)手指套的每一個(gè)與人手手指的關(guān)節(jié)對應(yīng)部位各設(shè)有一個(gè)姿勢檢測傳感器，即大拇指手指套上設(shè)有2個(gè)姿勢檢測傳感器，其余4個(gè)手指套上均設(shè)有3個(gè)姿勢檢測傳感器，手臂套上設(shè)有2個(gè)姿勢檢測傳感器。

殼體上還設(shè)有與主板相連的調(diào)音模塊和進(jìn)程控制按鍵；進(jìn)程控制按鍵包括下一首按鍵7、暫停/播放按鍵9和前一首按鍵11；

殼體的正面設(shè)有攝像頭16和補(bǔ)光燈；

殼體上還設(shè)有與主板連接的位置感應(yīng)模塊；

所述的位置感應(yīng)模塊包括設(shè)置在殼體背面的導(dǎo)軌8以及設(shè)置在導(dǎo)軌上的滑塊10(為穩(wěn)定起見，導(dǎo)軌為平行的兩條)；位置感應(yīng)模塊還包括設(shè)置在殼體內(nèi)的2個(gè)同步輪15和張?jiān)O(shè)在2個(gè)同步輪上的同步帶14；所述的滑塊固定在同步帶上與同步帶聯(lián)動；其中一個(gè)同步輪上設(shè)有同軸的編碼盤，編碼盤輸出編碼到主板。編碼盤能記錄同步轉(zhuǎn)動的角度，從而能間接檢測出滑塊的位移，滑塊用于播放控制，滑塊位于最左側(cè)時(shí)，一篇文章從頭開始播放，滑塊位于導(dǎo)軌的正中時(shí)，文章跳至50％的位置播放，更進(jìn)一步，同步輪還連接有驅(qū)動電機(jī)，文章播放時(shí)，驅(qū)動電機(jī)驅(qū)動同步輪旋轉(zhuǎn)，使得滑塊同步移動，如播放到80％時(shí)，滑塊也移動到80％的位置。

殼體的頂部設(shè)有快門鍵3，快門鍵用于控制攝像頭(也可以不使用快門鍵，直接在屏幕上操作，顯示屏為觸摸顯示屏)。

殼體上設(shè)有USB插口12和SD卡插槽13中的至少一種；用于插入U(xiǎn)盤或SD卡等，將生成的文本文件存儲到存儲介質(zhì)中，或?qū)⑼獠康奈谋疚募ㄟ^存儲介質(zhì)轉(zhuǎn)移到本裝置中。

殼體上設(shè)有耳機(jī)插孔。

調(diào)壓模塊為調(diào)音按鍵或音量調(diào)節(jié)旋鈕6。

攝像頭的左右兩側(cè)各設(shè)有1個(gè)作為補(bǔ)光燈的主閃光燈17；殼體背面還設(shè)有由多個(gè)輔助閃光燈19和一片導(dǎo)光板18形成的環(huán)形閃光模塊，導(dǎo)光板為回字形，由4條長方形的子板依次首尾回環(huán)連接而成，每條子板下方設(shè)有2個(gè)輔助LED燈。殼體為方形殼體；

揚(yáng)聲器為2個(gè)，分布在殼體背面的左右兩側(cè)。形成立體聲輸出，音質(zhì)好。

殼體內(nèi)設(shè)有電池和用于為電池充電的充電電路，殼體上設(shè)有于所述充電電路相連的充電接口(充電接口用于接電源適配器，電源適配器接220V交流市電)。

殼體內(nèi)集成有WiFi模塊或移動通信模塊(3G或4G模塊)，用于通過網(wǎng)絡(luò)獲取文本資源。