本發(fā)明屬于信號處理領(lǐng)域，特別涉及一種人工耳蝸音頻實時處理系統(tǒng)和方法。

背景技術(shù)：

人工耳蝸主要是幫助重度和極重度耳聾患者重獲聽力的助聽設(shè)備，其由體外機(jī)言語處理器和體內(nèi)植入體組成。其中言語處理器通過麥克風(fēng)采集外部語音信號，然后經(jīng)過聲音預(yù)處理和聲音編碼策略等，將聲音信號轉(zhuǎn)換為各個頻帶的脈沖信號，最后通過射頻的方式發(fā)射編碼好的信號；植入體解碼芯片收集到射頻信號后，通過植入耳蝸的電極陣列，繞過耳蝸的外毛細(xì)胞直接刺激聽神經(jīng)，使患者重獲聽力。

在人工耳蝸的信號處理系統(tǒng)中，聲音預(yù)處理及聲音編碼算法的好壞，直接決定了病人的聽聲質(zhì)量，因此，研發(fā)和優(yōu)化更高質(zhì)量的聲音處理算法，是改善人工耳蝸植入者生活質(zhì)量的主要手段。而目前并沒有適用于人工耳蝸的算法研發(fā)系統(tǒng)，這也給研發(fā)人員的工作帶了很多不便之處。因此，推出一款適用于人工耳蝸的算法研發(fā)系統(tǒng)，有利于推動相關(guān)行業(yè)的技術(shù)發(fā)展，可更好地提升聽障人群的生活質(zhì)量。

現(xiàn)有人工耳蝸言語處理器的算法研發(fā)系統(tǒng)，主要依托于PC(personal computer個人電腦)仿真軟件，需要將采集好的一段聲音信號作為算法的信號輸入而導(dǎo)入算法仿真軟件，再通過仿真軟件整體處理，處理完后才能檢測和演示處理結(jié)果。此種方法不能及時有效地反應(yīng)輸入信號及周圍環(huán)境的變化對算法輸出的影響，不具有實時性。

同時，在人工耳蝸言語處理器的算法DSP開發(fā)實現(xiàn)階段，無特別方便的DSP算法調(diào)試系統(tǒng)。為了調(diào)試算法實現(xiàn)的中間過程是否正確，以及檢驗一些特殊信號的變化過程在DSP中是否與在PC算法仿真階段一致，通常要將需要觀察的信號存儲在DSP的內(nèi)存中導(dǎo)出觀察。但由于受其內(nèi)存存儲容量的限制，只能觀察有限長度的信號，并且同樣不具有實時性。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明的目的在于提供一種人工耳蝸音頻實時處理系統(tǒng)和方法，能實時輸出、調(diào)試及演示PC端仿真軟件和DSP中算法的處理結(jié)果和過程。

為達(dá)到上述目的，本發(fā)明提供了一種人工耳蝸音頻實時處理系統(tǒng)，包括聲音信號采集單元、DSP處理單元、DSP信號輸出單元、DSP到PC數(shù)據(jù)轉(zhuǎn)換單元、PC端信號實時采集單元、PC端實時處理單元和PC端實時調(diào)試單元，其中，

所述聲音信號采集單元與所述DSP處理單元連接，包括采集模塊和模數(shù)轉(zhuǎn)換模塊，采集模塊對外界的聲音進(jìn)行采集后，經(jīng)模數(shù)轉(zhuǎn)換模塊輸出數(shù)字信號；

所述DSP處理單元與所述DSP信號輸出單元連接，至少包括快速傅里葉變換模塊，分頻處理模塊和包絡(luò)提取模塊，將處理后的信號緩存至所述DSP信號輸出單元，DSP信號輸出單元以串行I2S格式進(jìn)行輸出；

所述DSP到PC數(shù)據(jù)轉(zhuǎn)換單元的輸入與所述DSP信號輸出單元的輸出連接，輸出與所述PC端信號實時采集單元連接，至少包括I2S轉(zhuǎn)USB硬件模塊；

所述PC端信號實時采集單元、所述PC端實時處理單元與PC端實時調(diào)試單元依次連接，其中PC端信號實時采集單元至少包括連續(xù)分幀采樣模塊，采集語音信號的音節(jié)片段輸出給PC端實時處理單元進(jìn)行語音算法處理，處理后由PC端實時調(diào)試單元進(jìn)行實時調(diào)試。

優(yōu)選地，還包括DSP演示單元，與所述DSP信號輸出單元連接，對緩存在DSP信號輸出單元中的聲音信號進(jìn)行同步演示。

優(yōu)選地，還包括PC端實時演示單元，與所述PC端實時處理單元連接，將實時處理的結(jié)果或處理的中間過程同步演示。

優(yōu)選地，所述PC端信號實時采集單元包括依次連接的USB模塊、緩存模塊和PC分幀采集模塊，所述USB模塊將傳輸過來的并行數(shù)據(jù)流放入緩存模塊，將緩存模塊中的數(shù)據(jù)構(gòu)成隊列，隊列長短設(shè)置改變緩存模塊的緩存容量，最后PC分幀采集模塊進(jìn)行采集。

基于上述目的，本發(fā)明還提供了一種采用上述系統(tǒng)的人工耳蝸音頻實時處理方法，包括以下步驟：

聲音信號采集單元采集聲音信號后，經(jīng)模數(shù)轉(zhuǎn)換模塊轉(zhuǎn)換為數(shù)字信號，輸出給DSP處理單元；

經(jīng)DSP處理單元處理后傳輸給DSP信號輸出單元，將調(diào)試需要的數(shù)據(jù)進(jìn)行提取和檢測，通過DSP到PC數(shù)據(jù)轉(zhuǎn)換單元傳輸?shù)絇C端；

在PC端進(jìn)行連續(xù)分幀采樣采集所需要的時間長度的數(shù)據(jù)；

進(jìn)行語音算法處理后，進(jìn)行算法調(diào)試。

優(yōu)選地，所述經(jīng)DSP處理單元處理后傳輸給DSP信號輸出單元后，由DSP演示單元對聲音信號進(jìn)行播放演示。

優(yōu)選地，所述進(jìn)行語音算法處理后，將處理結(jié)果或處理的中間過程進(jìn)行同步演示。

優(yōu)選地，所述在PC端進(jìn)行連續(xù)分幀采樣采集所需要的時間長度的數(shù)據(jù)，是由USB模塊傳輸并行數(shù)據(jù)流放在緩存模塊中，然后將緩存模塊中的數(shù)據(jù)構(gòu)成隊列，通過設(shè)置隊列大小來改變緩存模塊的緩存容量，通過設(shè)置采樣率、每一幀的采樣點(diǎn)數(shù)和聲音的通道數(shù)對語音信號實時分幀采集。

本發(fā)明的有益效果在于：能有效解決在PC仿真軟件上研發(fā)時，采用事先錄音作為算法輸入信號的方法不具有實時性的問題；并且在算法的數(shù)字信號處理系統(tǒng)實現(xiàn)過程中，由于DSP存儲數(shù)據(jù)內(nèi)存不足而導(dǎo)致算法調(diào)試時僅能觀察非常有限的數(shù)據(jù)信號的問題；以及在算法評估演示時，不具有實時性的問題。

附圖說明

為了使本發(fā)明的目的、技術(shù)方案和有益效果更加清楚，本發(fā)明提供如下附圖進(jìn)行說明：

圖1為本發(fā)明實施例1的一種人工耳蝸音頻實時處理系統(tǒng)結(jié)構(gòu)示意圖；

圖2為本發(fā)明實施例2的一種人工耳蝸音頻實時處理系統(tǒng)結(jié)構(gòu)示意圖；

圖3為本發(fā)明實施例的一種人工耳蝸音頻實時處理方法的步驟流程圖；

圖4為本發(fā)明實施例的一種人工耳蝸音頻實時處理系統(tǒng)采集的1kHz純音的測試波形圖；

圖5為本發(fā)明實施例的一種人工耳蝸音頻實時處理系統(tǒng)PC端采集的元音“a”的波形圖。

具體實施方式

下面將結(jié)合附圖，對本發(fā)明的優(yōu)選實施例進(jìn)行詳細(xì)的描述。

實施例1

參見圖1，所示為本發(fā)明實施例1的一種人工耳蝸音頻實時處理系統(tǒng)，包括聲音信號采集單元10、DSP處理單元20、DSP信號輸出單元30、DSP到PC數(shù)據(jù)轉(zhuǎn)換單元40、PC端信號實時采集單元50、PC端實時處理單元60和PC端實時調(diào)試單元70，其中，

聲音信號采集單元10與DSP處理單元20連接，包括采集模塊和模數(shù)轉(zhuǎn)換模塊，采集模塊對外界的聲音進(jìn)行采集后，經(jīng)模數(shù)轉(zhuǎn)換模塊輸出數(shù)字信號；

DSP處理單元20與DSP信號輸出單元30連接，至少包括快速傅里葉變換模塊，分頻處理模塊和包絡(luò)提取模塊，將處理后的信號緩存至DSP信號輸出單元30，DSP信號輸出單元30以串行I2S格式進(jìn)行輸出；

DSP到PC數(shù)據(jù)轉(zhuǎn)換單元40的輸入與DSP信號輸出單元30的輸出連接，輸出與PC端信號實時采集單元50連接，至少包括I2S轉(zhuǎn)USB硬件模塊；

PC端信號實時采集單元50、PC端實時處理單元60與PC端實時調(diào)試單元70依次連接，其中PC端信號實時采集單元50至少包括連續(xù)采樣模塊和分幀采樣模塊，采集語音信號的音節(jié)片段輸出給PC端實時處理單元60進(jìn)行語音算法處理，處理后由PC端實時調(diào)試單元70進(jìn)行實時調(diào)試。

實施例2

在實施例1的基礎(chǔ)上，參見圖2，所示為本發(fā)明實施例2的一種人工耳蝸音頻實時處理系統(tǒng)，還包括DSP演示單元80，與DSP信號輸出單元30連接，將緩存在DSP信號輸出單元30中的聲音信號演示。

還包括PC端實時演示單元90，與PC端實時處理單元60連接，將實時處理的結(jié)果或處理的中間過程同步演示。

在具體實施例中，PC端信號實時采集單元50包括依次連接的USB模塊、緩存模塊和PC分幀采集模塊，USB模塊將傳輸過來的并行數(shù)據(jù)流放入緩存模塊，將緩存模塊中的數(shù)據(jù)構(gòu)成隊列，隊列長短設(shè)置改變緩存模塊的緩存容量，最后PC分幀采集模塊進(jìn)行采集。

環(huán)境聲音信號經(jīng)聲音信號采集單元10采集傳輸?shù)紻SP中，在DSP中可經(jīng)過DSP處理單元20處理，或直接將原始聲音信號傳輸?shù)紻SP信號輸出單元30。在DSP信號輸出單元30中，可將信號直接以音頻或電刺激的形式進(jìn)行輸出演示，或者將信號傳遞給DSP到PC數(shù)據(jù)轉(zhuǎn)換單元40，再由PC端信號實時采集單元50進(jìn)行采集。采集到的信號若是DSP算法處理的中間變量或數(shù)據(jù)，則可在PC端進(jìn)行實時的算法調(diào)試工作；若是采集的為原始聲音信號，則可在PC端實時處理單元60進(jìn)行仿真處理，并對處理過程中的數(shù)據(jù)及變量進(jìn)行調(diào)試檢驗，或者將處理好的數(shù)據(jù)進(jìn)行輸出演示。

在人工耳蝸言語處理器中使用雙麥克風(fēng)陣列采集外部環(huán)境聲音信號，其雙麥克風(fēng)位置呈現(xiàn)一前一后的相對關(guān)系，其相對水平位置為2cm。語音采集單元的雙麥克風(fēng)陣列將音頻聲信號采集后經(jīng)聲電轉(zhuǎn)換為模擬電信號，然后通過DSP進(jìn)行量化采樣為數(shù)字信號，作為整個研發(fā)系統(tǒng)的輸入信號。

系統(tǒng)中，設(shè)置數(shù)據(jù)傳輸轉(zhuǎn)換(I2S轉(zhuǎn)USB)硬件模塊為主芯片，DSP為從芯片。同時，在PC端設(shè)置錄音設(shè)備相應(yīng)的數(shù)據(jù)傳輸位寬和采樣率，互聯(lián)其相關(guān)接口信號。這樣即實現(xiàn)由麥克風(fēng)采集的語音信號通過DSP數(shù)字信號輸出模塊以I2S格式輸出，后經(jīng)語音通信轉(zhuǎn)換單元轉(zhuǎn)換成USB信號傳輸?shù)絇C端。為防止出現(xiàn)PC讀取USB數(shù)據(jù)的速率低于I2S傳輸速率導(dǎo)致寫滿丟失數(shù)據(jù)的問題，可在I2S端設(shè)置相應(yīng)存儲深度的緩存I2S數(shù)據(jù)；同時也可采用調(diào)節(jié)USB傳輸速率加快讀取速度解決。需注意緩存的深度涉及到語音潛伏期的問題，深度越大潛伏期越長，語音時間延時越大。

在PC端實現(xiàn)實時采集USB數(shù)字音頻信號的方式分為：連續(xù)采樣和分幀采樣。為了實現(xiàn)DSP語音算法的調(diào)試功能，且為解決傳統(tǒng)DSP算法調(diào)試方法中采用將需要觀察的信號通過存儲在DSP內(nèi)存中導(dǎo)出觀察，此方法由于受其存儲容量限制僅能觀察很小的數(shù)據(jù)量的問題。在本系統(tǒng)中將DSP內(nèi)部相關(guān)信號輸出并在PC端采用連續(xù)采樣的方式，以此來觀察判斷其相關(guān)信號在DSP中的運(yùn)算過程的變化是否與在PC算法仿真軟件中一致，來實現(xiàn)DSP算法調(diào)試功能。在PC軟件中實現(xiàn)從USB端口連續(xù)采樣的方式相對簡單，只需設(shè)置其相應(yīng)采樣位寬、采樣率、通道數(shù)和設(shè)備ID即可，然后再設(shè)置其采樣時間長度和讀取采樣數(shù)據(jù)即完成USB數(shù)據(jù)的連續(xù)采集。

為了使PC語音算法仿真開發(fā)具有實時性，需在PC端分幀采集由數(shù)據(jù)轉(zhuǎn)換模塊傳遞來的USB音頻數(shù)據(jù)。在語音算法處理中語音的實時性的實現(xiàn)，僅能通過將時間連續(xù)的語音信號分成一段一段的音節(jié)片段(幀)來實現(xiàn)。其具體方式為語音的分幀采集、分幀語音算法處理、分幀語音效果播放展示等。由于每一幀(音節(jié)片段)在時間長度上非常短，需將許多幀語音信號連續(xù)處理播放展示，使之成為實時語音。物理設(shè)備USB接口傳輸?shù)牟⑿袛?shù)據(jù)流先被放在緩存中，并設(shè)置其緩存的數(shù)據(jù)量的大??；然后，將緩存中的數(shù)據(jù)構(gòu)成隊列，并通過設(shè)置隊列大小來改變其緩存容量，但需注意的是隊列的長短直接決定了實時傳遞的USB語音信號在隊列中的潛伏時間長短，即決定了PC端語音算法中輸入的語音與環(huán)境產(chǎn)生的語音是否同步；最后，通過設(shè)置采樣率、每一幀的采樣點(diǎn)數(shù)、聲音的通道數(shù)等來實現(xiàn)實時語音的分幀采集。

為實現(xiàn)實時采集、處理和同步演示，這里采用分幀采集的方式，音節(jié)片段由多幀語音信號組成，其每段音節(jié)片段包含的幀數(shù)計算方法如下式所示：

式中fs為分幀采樣的采樣率、Period為每一音節(jié)片段的執(zhí)行時間長度、SamplesPerFrame為分幀采樣中每一幀采樣的采樣點(diǎn)數(shù)。

在并行操作中，通過調(diào)用相關(guān)函數(shù)來分別實現(xiàn)語音信號的采集、語音算法處理和處理結(jié)果音效的實時同步播放的并行操作。并且每一函數(shù)都由函數(shù)開始、函數(shù)執(zhí)行和函數(shù)停止三部分組成。通過不斷重復(fù)執(zhí)行函數(shù)執(zhí)行部分來具體完成函數(shù)的實際工作。在PC算法中通過設(shè)置每一函數(shù)所對應(yīng)的開始函數(shù)到執(zhí)行函數(shù)第一次開始執(zhí)行的延時時間，來達(dá)到PC語音采樣、PC語音算法處理和PC音效播放展示的時間同步。其具體的并行流水執(zhí)行流程為：分幀采集當(dāng)前音節(jié)片段；同時進(jìn)行上一音節(jié)片段采集的語音信號的語音算法處理；并同時并行執(zhí)行上上一音節(jié)片段采集的語音信號經(jīng)語音算法處理后的結(jié)果播放展示。通過這種并行流水執(zhí)行的方式，以及短時音節(jié)片段的分幀采樣、語音算法處理和播放展示，即能實現(xiàn)PC端語音算法開發(fā)的實時性。它不僅能以實時將環(huán)境語音通過麥克風(fēng)陣列采集作為算法的輸入；還能實時的監(jiān)聽和展示語音算法的音效結(jié)果。

與上述系統(tǒng)對應(yīng)的，本發(fā)明還提供了一種人工耳蝸音頻實時處理方法，其流程圖參見圖3，包括以下步驟：

S101，聲音信號采集單元采集聲音信號后，經(jīng)模數(shù)轉(zhuǎn)換模塊轉(zhuǎn)換為數(shù)字信號，輸出給DSP處理單元；

S102，經(jīng)DSP處理單元處理后傳輸給DSP信號輸出單元，將調(diào)試需要的數(shù)據(jù)進(jìn)行提取和檢測，通過DSP到PC數(shù)據(jù)轉(zhuǎn)換單元傳輸?shù)絇C端；

S103，在PC端進(jìn)行連續(xù)分幀采樣采集所需要的時間長度的數(shù)據(jù)；

S104，進(jìn)行語音算法處理后，進(jìn)行算法調(diào)試。

進(jìn)一步地，S102經(jīng)DSP處理單元處理后傳輸給DSP信號輸出單元后，由DSP演示單元對聲音信號進(jìn)行播放演示。

S104進(jìn)行語音算法處理后，將處理結(jié)果或處理的中間過程進(jìn)行同步演示。

S103在PC端進(jìn)行連續(xù)分幀采樣采集所需要的時間長度的數(shù)據(jù)，是由USB模塊傳輸并行數(shù)據(jù)流放在緩存模塊中，然后將緩存模塊中的數(shù)據(jù)構(gòu)成隊列，通過設(shè)置隊列大小來改變緩存模塊的緩存容量，通過設(shè)置采樣率、每一幀的采樣點(diǎn)數(shù)和聲音的通道數(shù)對語音信號實時分幀采集。

具體實施例參照上述系統(tǒng)實施例，在此不贅述。

為了說明本發(fā)明的有益效果，判定其是否在數(shù)字語音信號傳遞轉(zhuǎn)換過程中受器件固有噪聲干擾。設(shè)計了兩種實驗方案來進(jìn)行驗證。

參見圖4，為本發(fā)明實施例的一種人工耳蝸音頻實時處理系統(tǒng)的信號采集測試波形圖；實線和圓圈皆為1kHz純音信號。

首先，在PC端產(chǎn)生標(biāo)準(zhǔn)的幅度為0.3、頻率為1kHz、采樣率為96kHz的純音正弦信號通過音頻線連接到DSP音頻輸入接口，用以代替雙麥克風(fēng)采集的環(huán)境聲音輸入。然后，通過本系統(tǒng)在另一臺PC端采集傳遞過來的數(shù)字語音信號。

實線為PC端產(chǎn)生的原始輸入正弦純音信號，其采樣率為96kHz、頻率為1kHz和幅度為0.3。圓圈為經(jīng)過DSP的16kHz采樣率的模數(shù)轉(zhuǎn)換采樣后，通過I2S輸出最后在PC端采集的正弦信號?？梢钥闯?，聲音信號采集系統(tǒng)在數(shù)據(jù)采集傳遞過程中基本正確，無頻率的飄移和畸變。

參見圖5為本發(fā)明實施例的一種人工耳蝸音頻實時處理系統(tǒng)的元音“a”測試波形圖。

為了防止麥克風(fēng)采集到環(huán)境中的背景噪聲，使用通過音頻線連接到DSP音頻輸入接口替代麥克風(fēng)作為信號輸入源。在PC端播放元音“a”二聲，其原始語音的采樣率為16kHz，時長約為0.5s。最后，將采集的信號通過DSP的I2S接口輸出，通過本系統(tǒng)在PC端采集數(shù)字語音信號，并利用PC相關(guān)軟件對比分析原始語音和采集的語音的時域波形圖。

曲線1為在16kHz采樣率下通過系統(tǒng)采集傳遞轉(zhuǎn)換后在PC中采集到的語音信號的時域波形圖，曲線2為原始標(biāo)準(zhǔn)普通話元音“a”二聲、采樣率為16kHz的語音輸入信號的時域波形圖。對比曲線1、2可知，經(jīng)過本系統(tǒng)語音信號實時采集處理系統(tǒng)后被采集的語音信號，與原始信號基本保持一致，但會受很低的電路固有噪聲和音頻傳輸線的傳輸噪聲影響。這些影響從聽覺上判斷，不會降低漢字識別率。

最后說明的是，以上優(yōu)選實施例僅用以說明本發(fā)明的技術(shù)方案而非限制，盡管通過上述優(yōu)選實施例已經(jīng)對本發(fā)明進(jìn)行了詳細(xì)的描述，但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，可以在形式上和細(xì)節(jié)上對其作出各種各樣的改變，而不偏離本發(fā)明權(quán)利要求書所限定的范圍。