一種提高人工耳蝸音高感知能力的方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明適用于醫(yī)療器械領域，提供了一種提高人工耳蝸音高感知能力的方法及系統(tǒng)，其方法包括基頻(F0)處理過程和響度調整過程，其中基頻(F0)處理過程為：首先對采集到的聲音信號進行實時基頻(F0)提取，再將所提取的基頻(F0)帶入預先生成的“F0-聲級映射函數(shù)S(F0)”計算得到S(F0)函數(shù)值，將S(F0)函數(shù)值代入公式進一步計算得到增益函數(shù)值；響度調整過程為利用得到的增益函數(shù)值與待調整信號相乘，從而實現(xiàn)對時域聲信號的響度調整。本發(fā)明能夠在植入者音高感知能力較差時，通過對基頻(F0)進行處理并用于響度調整過程，進而提高人工耳蝸植入者在音樂旋律、語音語調、漢語聲調等方面的音高感知能力。
【專利說明】一種提高人工耳蝸音高感知能力的方法及系統(tǒng)

【技術領域】
[0001] 本發(fā)明屬于醫(yī)療器械領域，尤其涉及一種提高人工耳蝸音高感知能力的方法及系 統(tǒng)。

【背景技術】
[0002] 現(xiàn)代人工耳蝸（Cochlear Implant, Cl)采用電流直接刺激聽神經的方式來幫助重 度以上聽力損失者恢復部分聽力，其基本原理是彌補這些聽力損失者耳蝸中內毛細胞缺失 導致的聲電轉換功能喪失?，F(xiàn)代CI系統(tǒng)中采用的信號處理策略的基本框架是連續(xù)間隔采 樣策略（Continuous Interleaved Sampling Strategy, CIS)。在 CIS 策略中，首先將傳聲 器采集到的信號進行分頻帶濾波，然后提取每個帶通濾波器輸出信號的時域包絡，再將時 域包絡進行非線性壓縮，之后用壓縮過的時域包絡對電脈沖串進行幅度調制，最后將調制 結果（以電流形式）送到不同的電極位置上，其中不同電極上的電脈沖不同時發(fā)生（即采 用間隔刺激模式）?，F(xiàn)代CI中的通道數(shù)目（即植入耳蝸內的電極陣列上的電極數(shù)目）為 12-24個，可見電極數(shù)遠少于正常耳蝸中的內毛細胞數(shù)量（約3500個）。然而由于語音信 號中的冗余度很大，安靜環(huán)境下的語音理解對于頻域信息的精細程度要求不高，有研究表 明三個通道以上的時域包絡就已經可以提供安靜環(huán)境下的語意理解。
[0003] 音高（或音調）是所有聲音的重要感覺因素之一。音高感知能力直接影響著聲調 識別、語調判斷、音樂欣賞、聽覺場景分析、聽覺客體識別等諸多方面的聲音感知能力。音高 主要與聲音中的周期性有關。在純音中周期性主要表現(xiàn)為信號的頻率，頻率越高對應的音 高越高。在復合音中，周期性主要表現(xiàn)為信號的基頻（FO)和諧波成分。其中R)通常表現(xiàn)了 聲源發(fā)生源頭部位物體的振動周期，而諧波成分的相對大小表現(xiàn)出了聲源對原始振動信號 的加工情況。在正常聽力外周聽覺神經中的對有諧波成分的復合音的音高感知機理包括： (1)低頻可分辨諧波成分在基底膜上的不同位置引起響應；（3)上至約5kHz的信號有可能 被聽神經利用相位鎖定來檢測到；（2)多個高頻不可分辨諧波成分構成的時域周期性被聽 神經檢測到，而這種時域周期性往往能夠反映出基頻信息，典型的例子是"基頻缺失"現(xiàn)象。 目前的CI系統(tǒng)已經可以使得安靜環(huán)境下的語音交流接近正常聽力者的水平。但是由于CI 系統(tǒng)中的頻率分辨率低，且在時域上僅保留了時域包絡信息而丟棄了時域精細結構信息， 所以CI產品并不能提供給植入者準確的音高信息。近年來，在商用CI產品中，試圖改善這 一現(xiàn)狀的技術有虛擬通道、新的電脈沖波形、在低頻通道加入時域精細結構信息等。這些方 法都是試圖增加頻域精細結構或時域精細結構。
[0004] 由于音高感知主要取決于聲音中的周期性信息，近十余年來，國內外多個研究組 提出了多種在現(xiàn)有的CI時域包絡中增強周期性的策略。各自的研究報告都發(fā)現(xiàn)CI聲調或 音樂音高感知得到了一定程度的增強。這種方法暫時還沒有在商用人工耳蝸中得到使用。 這類方法適合于那些時域波動檢測能力較強的植入者。然而，對于那些時域波動檢測能力 較弱的植入者，這種做法的效果可能很有限或者沒有效果。并且，這種方法存在影響其他方 面感知能力的可能。
[0005] 針對這種現(xiàn)狀，本發(fā)明提出一種基于響度調整的人工耳蝸音高感知方法。近年來 有研究發(fā)現(xiàn)，雖然音高感知主要取決于聲音中的周期性，但是它也是與響度、音色等其他主 觀感知量有關的。尤其是當周期性信息較為粗糙或被人為破壞時，響度的變化可能引起音 高感知的變化。例如，在CI植入者或聲碼器仿真聲中，有研究發(fā)現(xiàn)響度的變化趨勢會影響 音樂旋律、語音語調、漢語聲調等識別率的變化，然而，這些任務通常被認為是"音高"任務。 現(xiàn)有的關于利用響度調整來提高音高感知能力方面的技術皆存在三點明顯的缺點，導致至 今尚未在CI系統(tǒng)中進行驗證：第一，該方法不具有因果性；第二，該方法中采用了線性加權 方式進行包絡調整，這導致包絡調整的動態(tài)范圍較?。坏谌?，該方法僅表現(xiàn)了單個音內的音 高變化，而忽略了兩個音之間的音高差別。


【發(fā)明內容】

[0006] 本發(fā)明所要解決的技術問題在于提供一種提高人工耳蝸音高感知能力的方法及 系統(tǒng)，旨在通過調整聲音的響度來提高人工耳蝸植入者在音樂旋律、語音語調、漢語聲調等 方面的音高感知能力。
[0007] 本發(fā)明是這樣實現(xiàn)的，一種提高人工耳蝸音高感知能力的方法，包括下述步驟：
[0008] 基頻（FO)處理步驟：實時提取采集到的有諧波成分的聲音信號中的基頻（FO)，根 據(jù)提取的基頻（FO)生成增益函數(shù)G(FO);
[0009] 響度調整步驟：在對所采集的聲音信號進行連續(xù)間隔采樣過程之前或過程之中， 利用增益函數(shù)G(FO)對采集的時域聲信號進行響度調整。
[0010] 進一步地，所述增益函數(shù)為： S(FQ)
[0011] G(TO) = IO 20
[0012] 其中，F(xiàn)O-聲級映射函數(shù)S (FO)為預設的當前音高任務的最小基頻值&、預設的當 iu首商任務的最大基頻值fh、預設的聲級調整的動態(tài)范圍△ SL的函數(shù)； C-T
[0013] 所述預設的聲級調整的動態(tài)范圍Λ SL需滿足不等式：ASL < γ (dB)其中， c、T分別為預設的待調整信號的心理物理最大舒適閾值和最小可聽閾值。
[0014] 進一步地，所述響度調整步驟具體為下述三個步驟中的一個：
[0015] 步驟a，直接將采集到的聲音信號與增益函數(shù)G(FO)相乘實現(xiàn)響度調整，然后再進 入連續(xù)間隔采樣處理過程；
[0016] 步驟b，在連續(xù)間隔采樣過程中，每個時域通道的聲音信號經濾波后并且在包絡提 取之前，與各自時域通道相對應的增益函數(shù)相乘實現(xiàn)響度調整；
[0017] 步驟c，在連續(xù)間隔采樣過程中，每個時域通道的聲音信號經包絡提取后并且在壓 縮之前，與各自時域通道相對應的增益函數(shù)相乘實現(xiàn)響度調整。
[0018] 進一步地，在所述響度調整步驟中，若調整后的信號幅度大于上限值C，則將對應 信號的幅度設置為C。
[0019] 本發(fā)明還提供了一種提1?人工耳蝸首1?感知能力的系統(tǒng)，包括：
[0020] 基頻（FO)處理模塊，用于實時提取所采集到的有諧波成分的聲音信號中的基頻 (H))，再利用提取的基頻（FO)生成增益函數(shù)G (FO);
[0021] 響度調整模塊，用于對所采集的聲音信號進行連續(xù)間隔采樣過程之前或過程之 中，利用所述的增益函數(shù)G(FO)對采集的時域聲信號進行響度調整。
[0022] 進一步地，所述響度調整模塊中的增益函數(shù)為： S(FO)
[0023] (7(廠0) = 10 20
[0024] 其中，F(xiàn)O-聲級映射函數(shù)S (FO)為預設的當前音高任務的最小基頻值&、預設的當 iu首商任務的最大基頻值fh、預設的聲級調整的動態(tài)范圍△ SL的函數(shù)；
[0025] 所述預設的聲級調整的動態(tài)范圍Λ SL需滿足不等式：Δ5Τ (dB)其中， c、T分別為預設的待調整信號的心理物理最大舒適閾值和最小可聽閾值。進一步地，所述 響度調整模塊用于直接將采集到的聲音信號與增益函數(shù)G(FO)相乘實現(xiàn)響度調整，然后再 進入連續(xù)間隔采樣處理過程；
[0026] 或所述響度調整模塊用于在連續(xù)間隔采樣過程中，每個時域通道的聲音信號經濾 波后并且在包絡提取之前，與各自時域通道相對應的增益函數(shù)相乘實現(xiàn)響度調整；
[0027] 或所述響度調整模塊用于在連續(xù)間隔采樣過程中，每個時域通道的聲音信號經包 絡提取后并且在壓縮之前，與各自時域通道相對應的增益函數(shù)相乘實現(xiàn)響度調整。
[0028] 進一步地，所述響度調整模塊在響度調整過程中，若調整后的信號幅度大于上限 值C，則將對應信號的幅度設置為C。
[0029] 本發(fā)明與現(xiàn)有技術相比，有益效果在于：本發(fā)明能夠在植入者音高感知能力較差 時，尤其是對那些時域波動檢測能力較差的植入者，通過對基頻（FO)進行處理并用于響度 調整過程，進而提高人工耳蝸植入者在音樂旋律、語音語調、漢語聲調等方面的音高感知能 力。

【專利附圖】

【附圖說明】
[0030] 圖1是本發(fā)明實施例提供的提高音高感知能力的人工耳蝸聲音處理總流程圖；
[0031] 圖2是本發(fā)明實施例提供的基頻（FO)處理流程圖；
[0032] 圖3是本發(fā)明實施例提供的"F0-聲級映射函數(shù)S(FO) "示意圖。

【具體實施方式】
[0033] 為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合附圖及實施例，對 本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并 不用于限定本發(fā)明。
[0034] 本發(fā)明提出的提高人工耳蝸音高感知能力的方法的總流程圖見圖1所示。現(xiàn)代人 工耳蝸系統(tǒng)由兩部分組成，分別位于頭皮外側和內側，其中位于外側的部分被總稱為體外 機（其中負責信號處理的電路部分是言語處理器），位于內側的部分是植入體（包括射頻接 收和解碼電路、刺激電流生成電路、電極陣列等）。本發(fā)明中開發(fā)的方法適用于現(xiàn)有的植入 體，且刺激模式與現(xiàn)有的植入體商用產品兼容，故而在圖1中未詳細繪制植入體部分的信 號處理流程。
[0035] 在體外機中，實線箭頭部分為商用連續(xù)間隔采樣（CIS)策略的處理流程。首先由 傳聲器（即麥克風）采集聲音信號，（通常要對采集到的信號進行一步預加重操作，此圖中 省略），然后對采集到的聲音信號經N個帶通濾波器構成的濾波組進行濾波，再對N個帶通 濾波器輸出的N個信號進行包絡提取，最后對N個包絡進行非線性壓縮。
[0036] 本發(fā)明實施例提出了一種利用當前時刻的基頻（FO)信息對當前時刻的響度進行 調整的方法，進而能夠幫助人工耳蝸植入者提高音高感知能力。實施流程為圖1中點劃線 所示部分。（由上述可知響度調整過程是在人工耳蝸體外機的言語處理器中采用連續(xù)間隔 采樣過程前或過程中的某個環(huán)節(jié)處進行的。）對傳聲器采集到的信號的瞬時進行提取 和加工后，用于調整CIS后續(xù)處理通路中某個環(huán)節(jié)處的信號強度，進而實現(xiàn)對響度的調整， 其中，對于信號的調整實際上對應于聲音能量的變化，而能量的變化直接影響的是響度的 變化。另外按照被調整的信號不同，響度調整步驟采取下列三個步驟中的一個（即圖1中 的步驟a、b、c)。步驟a，直接對采集到的信號進行整體調整；步驟b，對帶通濾波后的每個 帶限信號分別進行相同或不同程度的調整；步驟c，對每個通道中的時域包絡進行相同或 不同程度的調整，其中調整的方式和程度由預先設定的"F0-聲級映射函數(shù)S(R)) "來控制， 這里的響度調整方法是本發(fā)明的主要
【發(fā)明內容】
。不同于前人的線性加權的方式，本發(fā)明在 "H)處理"模塊計算得到了一個"F0-聲級映射函數(shù)S(FO) "，利用該函數(shù)與待調整信號直接 進行相乘即可實現(xiàn)響度調整的目的。其中，"H)處理"模塊的流程圖見圖2所示。
[0037] 在"R)處理"模塊中主要包含兩個步驟。第一步對當前時刻采集到的聲音信號的 基頻（FO)進行提取?；l（FO)是能夠直接反映有諧波成分的聲音的音高的主要物理量。 典型的有諧波成分的聲音包括語音中的帶音、大部分樂音等。在基頻（FO)提取過程中需 要對當前時刻是否為有諧波成分的聲音進行判斷，若"是"則提取當前時刻并且據(jù)此開 展后續(xù)操作，若"否"則對當前時刻的信號不進行響度調整。對于有諧波成分的聲音的基頻 (R))，第二步操作是將提取的基頻（FO)帶入預先設定的"F0-聲級映射函數(shù)S(R)) "進行計 算。其中"F0-聲級映射函數(shù)S (FO) "的生成過程首先需要人為設定三組參數(shù)：每個通道的 映射函數(shù)形式，當前音高任務（這里的音高任務指音樂旋律識別率、語音語調識別率、漢語 聲調識別率等任務）的基頻值范圍（最小值為，最大值為f h，單位Hz)，以及當前待調整 信號的聲級或電流動態(tài)范圍（最小值為T，最大值為C，單位為dB A，其中C、T具體分別為 預設的待調整信號的心理物理最大舒適閾值和最小可聽閾值），然后設定聲級調整的范圍 Λ SL，本發(fā)明所選擇的ASL滿足不等式（1)。然后再根據(jù)所選擇的映射函數(shù)形式結合這三 個參數(shù)（f\、fh、ASL)計算得到"F0-聲級映射函數(shù)S (FO) "，用符號S (FO)表示。該函數(shù)的 實際物理意義是，在每個值條件下準備調整的聲級量。圖3中給出了兩個S(FO)的例 子。針對語音和樂音由于其基頻范圍的不同，設定了不同的映射函數(shù)。另外，其中虛線表示 的映射函數(shù)的意義是，聲級調整量與基頻值之間為線性關系。但是由于聽覺系統(tǒng)對頻率分 辨能力隨著頻率升高而降低，并且對不同聲級的響度感知存在明顯的非線性，故在實際操 作中可能采用弧形映射函數(shù)，例如圖3中實現(xiàn)繪制的類似對數(shù)形狀的函數(shù)。其中ASL的大 小直接限制聲級隨著基頻變化的動態(tài)范圍大小，ASL由人為預先設定，該值越大表示聲級 (或響度）隨基頻的變化范圍越大。為了避免調整后的信號過大或過小，所以本發(fā)明提出不 等式（1)，即建議ASL小于待調整信號的動態(tài)范圍的一半。另外，上述"F0-聲級映射函數(shù) S(FO) "并不限于圖3中所示的兩種情況，還可以有無數(shù)種可能的選擇。
[0038] 然后根據(jù)公式（2)計算得到待處理信號的增益函數(shù)G(FO)。

【權利要求】
1. 一種提高人工耳蝸音高感知能力的方法，其特征在于，包括下述步驟： 基頻（FO)處理步驟：實時提取采集到的有諧波成分的聲音信號中的基頻（FO)，根據(jù)提 取的基頻（FO)生成增益函數(shù)G(FO); 響度調整步驟：在對所采集的聲音信號進行連續(xù)間隔采樣過程之前或過程之中，利用 增益函數(shù)G(FO)對采集的時域聲信號進行響度調整。
2. 如權利要求1所述的提高人工耳蝸音高感知能力的方法，其特征在于，所述增益函 數(shù)G(FO)為： spo) G(FO) = IO -(Γ 其中，F(xiàn)O-聲級映射函數(shù)S(FO)為預設的當前音高任務的最小基頻值、預設的當前音 商任務的最大基頻值fh、預設的聲級調整的動態(tài)范圍△SL的函數(shù)； C-T 所述預設的聲級調整的動態(tài)范圍ΛSL需滿足不等式：夂^Sγ(ClB)其中，c、T 分別為預設的待調整信號的心理物理最大舒適閾值和最小可聽閾值。
3. 如權利要求1所述的提高人工耳蝸音高感知能力的方法，其特征在于，所述響度調 整步驟具體為下述三個步驟中的一個： 步驟a，直接將采集到的聲音信號與增益函數(shù)G(FO)相乘實現(xiàn)響度調整，然后再進入連 續(xù)間隔采樣處理過程； 步驟b，在連續(xù)間隔采樣過程中，每個時域通道的聲音信號經濾波后并且在包絡提取之 前，與各自時域通道相對應的增益函數(shù)相乘實現(xiàn)響度調整； 步驟c，在連續(xù)間隔采樣過程中，每個時域通道的聲音信號經包絡提取后并且在壓縮之 前，與各自時域通道相對應的增益函數(shù)G(FO)相乘實現(xiàn)響度調整。
4. 如權利要求1所述的提高人工耳蝸音高感知能力的方法，其特征在于，在所述響度 調整步驟中，若調整后的信號幅度大于上限值C，則將對應信號的幅度設置為C。
5. -種提商人工耳蝸首商感知能力的系統(tǒng)，其特征在于，包括： 基頻（FO)處理模塊，用于實時提取所采集到的有諧波成分的聲音信號中的基頻（FO)， 利用提取的基頻（FO)生成增益函數(shù)G(FO); 響度調整模塊，用于對所采集的聲音信號進行連續(xù)間隔采樣過程之前或過程之中，利 用增益函數(shù)G(FO)對采集的時域聲信號進行響度調整。
6. 如權利要求5所述的提高人工耳蝸音高感知能力的系統(tǒng)，其特征在于，所述響度調 整模塊中的增益函數(shù)為： S(FO) G(FO) = IO 其中，F(xiàn)O-聲級映射函數(shù)S(FO)為預設的當前音高任務的最小基頻值、預設的當前音 商任務的最大基頻值fh、預設的聲級調整的動態(tài)范圍△SL的函數(shù)； 所述預設的聲級調整的動態(tài)范圍ΛSL需滿足不等式(dB)其中，c、τ分別為預設的待調整信號的心理物理最大舒適閾值和最小可聽閾值。
7. 如權利要求5所述的提高人工耳蝸音高感知能力的系統(tǒng)，其特征在于，所述響度調 整模塊用于直接將采集到的聲音信號與增益函數(shù)G(FO)相乘實現(xiàn)響度調整，然后再進入連 續(xù)間隔采樣處理過程； 或所述響度調整模塊用于在連續(xù)間隔采樣過程中，每個時域通道的聲音信號經濾波后 并且在包絡提取之前，與各自時域通道相對應的增益函數(shù)相乘實現(xiàn)響度調整； 或所述響度調整模塊用于在連續(xù)間隔采樣過程中，每個時域通道的聲音信號經包絡提 取后并且在壓縮之前，與各自時域通道相對應的增益函數(shù)相乘實現(xiàn)響度調整。
8. 如權利要求5所述的提高人工耳蝸音高感知能力的系統(tǒng)，其特征在于，所述響度調 整模塊在響度調整過程中，若調整后的信號幅度大于上限值C，則將對應信號的幅度設置為 C0
【文檔編號】A61F11/00GK104307100SQ201410532335
【公開日】2015年1月28日 申請日期:2014年10月10日 優(yōu)先權日:2014年10月10日
【發(fā)明者】孟慶林, 李霞, 鄭能恒, 汪天 申請人:深圳大學