專利名稱：唇形識別發(fā)聲器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種發(fā)聲器，特別涉及一種唇形識別發(fā)聲器。
背景技術(shù)：
臨床上，許多病人因為喉或者聲帶病變進(jìn)行了喉或者聲帶切除手術(shù)，術(shù)后不能發(fā)聲從而阻礙了他們與正常人進(jìn)行交流。聾啞人一般和正常人進(jìn)行交流是通過讀正常人的唇語來確定對方說話內(nèi)容的。聾啞人卻很難讓別人明白自己的意思。利用唇形圖像識別和語音合成發(fā)聲儀器，它可以幫助不能發(fā)聲的人發(fā)出聲音，去除他們和正常人交流障礙。但是目前尚未有一種儀器和技術(shù)方案可以幫助上述病人和聾啞人發(fā)出聲音，方便他們和正常人交流。

發(fā)明內(nèi)容
本發(fā)明的目的，在于提供一種發(fā)聲儀器可以幫助上述病人和聾啞人發(fā)聲，方便和正常人進(jìn)行交流。本發(fā)明是通過辨識說話者的唇形，通過模式識別確定其說話內(nèi)容，然后通過語音合成技術(shù)發(fā)出聲音。語言的絕大多數(shù)音，在說話時都有確定的唇形。本發(fā)明能夠把說話者的唇形和想發(fā)聲的“音”一一對應(yīng)，采用語音合成技術(shù)通過揚聲器發(fā)出聲音。
本發(fā)明是通過下述技術(shù)方案加以實現(xiàn)的1.通過攝像頭和圖像采集單元采集說話者唇形圖像。
2.對唇形圖像進(jìn)行圖像處理，實時、動態(tài)提取唇形特征，然后用唇形模式識別算法確定說話內(nèi)容。
3.根據(jù)模式識別結(jié)果，語音合成單元從語音存儲單元提取語音，合成說話內(nèi)容并通過發(fā)聲單元送出。
本發(fā)明如圖1所示微型攝像頭1與圖像采集單元2相連接，圖像采集單元2的輸出接唇型圖像模式識別單元3，唇型圖像模式識別單元3的信號輸出到語音合成單元4，語音合成單元4與語音存儲單元5相連接，語音合成單元4從語音存儲單元5提取語音合成要素合成聲音信號，輸出到發(fā)聲單元6，而后通過揚聲器7發(fā)出與唇型及其變化順序相對應(yīng)的聲音。
可以將唇形圖像處理和模式識別單元，語音合成單元，語音存儲單元用處理器8來實現(xiàn)，處理器可以是數(shù)字信號處理器(DSP)或其他微處理器(如ARM)等。
而微型攝像頭1與圖像采集單元可以是集成在一起的具有數(shù)字信號輸出的攝像頭，如CCD攝像頭和其他圖象傳感器。
發(fā)聲單元6可以采用數(shù)字/模擬轉(zhuǎn)換器和放大器組成，也可以采用多媒體數(shù)字信號編解碼器。
本發(fā)明通過識別說話者的唇形，確定說話內(nèi)容，語音合成說話內(nèi)容，實時通過揚聲器發(fā)出聲音。本發(fā)明可以幫助因為喉或者聲帶切除不能發(fā)聲的人或者會唇語的聾啞人發(fā)出聲音，方便了他們和正常人交流。


圖1為本發(fā)明的系統(tǒng)連接框圖。
圖2本發(fā)明的一種唇形識別發(fā)聲器。
具體實施例方式
下面結(jié)合附圖對本發(fā)明作詳細(xì)說明
如圖1所示的連接方法，微型攝像頭1與圖像采集單元2相連接，圖像采集單元2的輸出接唇型圖像模式識別單元3，唇型圖像模式識別單元3的信號輸出到語音合成單元4，語音合成單元4與語音存儲單元5相連接，語音合成單元4從語音存儲單元5提取語音合成要素合成聲音信號，輸出到發(fā)聲單元6，而后通過揚聲器7發(fā)出與唇型及其變化順序相對應(yīng)的聲音。
采用微型攝像頭1，減小體積，微型攝像頭放于唇前，只攝取唇形圖像，不攝取面部其它圖像，它的輸出接圖像采集單元。圖像采集單元2采用視頻采集芯片，輸入接微型攝像頭的輸出，輸出和圖像處理和模式識別單元3連接。圖像處理和模式識別單元是儀器的核心，采用數(shù)字信號處理器(DSP)或其他微處理器(如ARM)，主要進(jìn)行唇形圖像的預(yù)處理、特征提取和模式識別。語音合成單元4根據(jù)唇形模式識別的結(jié)果合成語音。它也由數(shù)字信號處理器完成。語音存儲單元5為一個數(shù)據(jù)庫，存儲所有基本音素，采用大容量存儲器存儲。發(fā)聲單元6由數(shù)模轉(zhuǎn)換器和放大器組成。數(shù)模轉(zhuǎn)換器把數(shù)字音頻信號轉(zhuǎn)換成模擬音頻信號，經(jīng)放大器放大后驅(qū)動揚聲器7。發(fā)聲單元也可以采用多媒體數(shù)字信號編解碼器。揚聲器送出聲音。
本實施例的微型攝像頭和圖像采集單元可以采用集成一體化圖象傳感器。
本實施例的唇形圖像處理和模式識別單元，語音合成單元，語音存儲單元采用的處理器8可以是數(shù)字信號微處理器或數(shù)字信號微處理器系統(tǒng)，也可以采用微處理器或微處理器系統(tǒng)，或者采用采用ARM微處理器或ARM微處理器系統(tǒng)。
本實施例的發(fā)聲單元包括數(shù)模轉(zhuǎn)換器和放大器組成。
為方便適用，本發(fā)明外觀為耳機形狀。微型攝像頭放于普通耳機放麥克風(fēng)的位置，揚聲器通過連線接出，儀器其它功能單元電路放置耳朵部位。如附圖2所示。
使用者像帶耳機一樣帶上本裝置，將微型攝像頭拉下，對準(zhǔn)自己的唇部，打開開關(guān)，開始說話。盡管使用者發(fā)不出聲音，只要唇部像正常說話時的動作一樣，本裝置就可以發(fā)出正確聲音。對于有些使用者說話時唇形不標(biāo)準(zhǔn)，需經(jīng)過一定訓(xùn)練。經(jīng)過訓(xùn)練的使用者，本儀器可以滿足日常交流。
權(quán)利要求
1.一種唇形識別發(fā)聲器，它由六部分構(gòu)成微型攝像頭，圖像采集單元，唇形圖像處理和模式識別單元，語音合成單元，語音存儲單元和發(fā)聲單元；其特征是微型攝像頭(1)與圖像采集單元(2)相連接，圖像采集單元(2)的輸出接唇型圖像模式識別單元(3)，唇型圖像模式識別單元(3)的信號輸出到語音合成單元(4)，語音合成單元(4)與語音存儲單元(5)相連接，語音合成單元(4)從語音存儲單元(5)提取語音合成要素合成聲音信號，輸出到發(fā)聲單元(6)，而后通過揚聲器(7)發(fā)出與唇型及其變化順序相對應(yīng)的聲音。
2.按權(quán)利要求1所說的唇形識別發(fā)聲器，其特征在于微型攝像頭和圖像采集單元采用集成一體化圖像傳感器。
3.按權(quán)利要求1所說的唇形識別發(fā)聲器，其特征在于唇形圖像處理和模式識別單元，語音合成單元，語音存儲單元采用數(shù)字信號微處理器或數(shù)字信號微處理器系統(tǒng)。
4.按權(quán)利要求1所說的唇形識別發(fā)聲器，其特征在于唇形圖像處理和模式識別單元，語音合成單元，語音存儲單元采用微處理器或微處理器系統(tǒng)。
5.按權(quán)利要求1所說的唇形識別發(fā)聲器，其特征在于唇形圖像處理和模式識別單元，語音合成單元，語音存儲單元采用ARM微處理器或ARM微處理器系統(tǒng)。
6.按權(quán)利要求1所說的唇形識別發(fā)聲器，其特征在于發(fā)聲單元包括數(shù)模轉(zhuǎn)換器和放大器組成。
7.按權(quán)利要求1所說的唇形識別發(fā)聲器，其特征在于發(fā)聲單元采用多媒體數(shù)字信號編解碼器。
8.按權(quán)利要求1所說的唇形識別發(fā)聲器，其特征在于微型攝像頭設(shè)置在嘴唇前方。
全文摘要
本發(fā)明公開一種唇形識別發(fā)聲器，它的連接方式是微型攝像頭1與圖像采集單元2相連接，圖像采集單元2的輸出接唇型圖像模式識別單元3，唇型圖像模式識別單元3的信號輸出到語音合成單元4，語音合成單元4與語音存儲單元5相連接，語音合成單元4從語音存儲單元5提取語音合成要素合成聲音信號，輸出到發(fā)聲單元6，而后通過揚聲器7發(fā)出與唇型及其變化順序相對應(yīng)的聲音。本發(fā)明通過識別說話者的唇形，確定說話內(nèi)容，語音合成說話內(nèi)容，實時通過揚聲器發(fā)出聲音。本發(fā)明可以幫助因為喉或者聲帶切除不能發(fā)聲的人或者會唇語的聾啞人發(fā)出聲音，方便了他們和正常人交流。
文檔編號G06K9/78GK1556496SQ20031012202
公開日2004年12月22日 申請日期2003年12月31日 優(yōu)先權(quán)日2003年12月31日
發(fā)明者李剛, 解國明, 林凌, 任惠茹, 李 剛 申請人:天津大學(xué)