本發(fā)明涉及計算機應用技術領域，具體地說，本發(fā)明涉及步態(tài)分析技術領域。

背景技術：

步態(tài)分析(gait analysis)是一種通過觀察或采集行走時人體的姿態(tài)，得出并分析步態(tài)參數(shù)的技術，常見的步態(tài)參數(shù)包括空間參數(shù)(步幅、步長、步寬等)，時間參數(shù)(步頻、步速等)，以及這些參數(shù)的左右腳的對稱性、長期數(shù)據(jù)的穩(wěn)定性等。步態(tài)分析在體育運動、醫(yī)療康復等方面發(fā)揮著非常重要的作用，并得到了廣泛的應用和研究。

現(xiàn)有的步態(tài)分析技術大多基于視頻圖像、壓力傳感器、肌電技術等，這些設備對被測者有較大的侵入性，因此適用范圍有限。王成等在中國專利申請201610519761.7中提出了一種步態(tài)參數(shù)的采集方法及設備。它是一種基于雙聲道的步態(tài)參數(shù)的采集方案。具體地，采集設備包含左右腳兩個部分，每個都包含聲音采集傳感器，分別佩戴在兩只腳的腳踝上。在行走過程中同時采集雙腳的腳步聲數(shù)據(jù)，并通過藍牙實現(xiàn)兩個設備的同步控制，滿足了雙腳數(shù)據(jù)的完整和對稱性的要求。該方案首次提出了基于雙聲道的聲音信號來獲取步態(tài)參數(shù)，并給出了相應的腳步識別方案。然而，基于聲音信號的腳步識別面臨十分復雜的應用場景，不同類型的鞋子，不同類型的地面，不同的行走方向和負重情況都可能會影響到腳步識別的準確度。因此，當前迫切需要一種能夠提高識別準確度的雙聲道的腳步檢測解決方案。

技術實現(xiàn)要素：

本發(fā)明的任務是提供一種能夠提高識別準確度的雙聲道的腳步檢測解決方案。

本發(fā)明提供了一種基于雙聲道的腳步檢測方法，包括下列步驟：

1)獲取待檢測的雙聲道音頻數(shù)據(jù)并進行分幀處理，得到相應的音頻幀；所述雙聲道音頻數(shù)據(jù)包括固定在左腳的采集設備所采集的左腳聲道音頻數(shù)據(jù)和固定在右腳的采集設備所采集的右腳聲道音頻數(shù)據(jù)；

2)提取每個音頻幀的特征向量，基于腳步檢測模型得出每個音頻幀屬于腳步的概率；其中，所述腳步檢測模型是以音頻幀的特征向量為輸入，以音頻幀屬于腳步的概率為輸出的機器學習模型，該機器學習模型以標注了腳跟著地聲的音頻幀和標注了前腳掌著地聲的音頻幀為正樣本，以前一步的前腳掌著地聲與后一步的腳跟著地聲之間的多個音頻幀為負樣本進行訓練；

3)根據(jù)所得出的各個音頻幀屬于腳步的概率，得出各個音頻幀是否含有腳步聲，進而得出腳步對應的時間區(qū)間。

其中，所述步驟2)中，左腳聲道的音頻幀及其屬于腳步的概率構成左腳聲道概率曲線，右腳聲道的音頻幀及其屬于腳步的概率構成右腳聲道概率曲線；

所述步驟3)還包括：將左、右腳聲道概率曲線融合成綜合概率曲線，對綜合概率曲線進行平滑處理，基于預設的概率閾值得出各個音頻幀是否含有腳步聲，進而得出腳步對應的時間區(qū)間。

其中，所述步驟1)中，采用漢明窗對雙聲道音頻數(shù)據(jù)進行分幀處理。

其中，所述步驟1)中，所得到的所述音頻幀長度為10～30ms，相鄰幀的重疊部分為漢明窗窗口長度的20％～30％。

其中，所述步驟2)中，構成所述音頻幀的特征向量的特征包括：自相關系數(shù)、子帶能量特征、過零率、線性預測系數(shù)特征和梅爾倒譜系數(shù)特征。

其中，所述步驟2)中，所述機器學習模型采用SVM分類器模型，所述正樣本包括已知的左腳聲道音頻數(shù)據(jù)中的以每個標注腳跟著地聲的位置為中心的三個音頻幀和以每個標注前腳掌著地聲的位置為中心的三個音頻幀，以及已知的右腳聲道音頻數(shù)據(jù)中的以每個標注腳跟著地聲的位置為中心的三個音頻幀和以每個標注前腳掌著地聲的位置為中心的三個音頻幀；所述負樣本包括：左腳聲道音頻數(shù)據(jù)中的前一步的前腳掌著地聲與后一步的腳跟著地聲之間的九個音頻幀，以及右腳聲道音頻數(shù)據(jù)中的前一步的前腳掌著地聲與后一步的腳跟著地聲之間的九個音頻幀。

其中，所述步驟3)中，用低通濾波器對綜合概率曲線進行平滑處理。

其中，所述步驟3)中，所述低通濾波器的相對截止頻率不超過0.1。

其中，所述步驟3)中，所述綜合概率曲線是左、右腳聲道概率曲線的求和疊加。

其中，所述步驟3)中，所述綜合概率曲線是對左、右腳聲道概率曲線取較大值后得到的融合概率曲線。

與現(xiàn)有技術相比，本發(fā)明具有下列技術效果：

1、本發(fā)明僅依靠雙聲道音頻即可檢測出對應的腳步，并且具有很高的精確率和召回率。

2、本發(fā)明能夠適應多種不同的應用場景，通用性強。

附圖說明

以下，結(jié)合附圖來詳細說明本發(fā)明的實施例，其中：

圖1示出了本發(fā)明所涉及的雙聲道音頻數(shù)據(jù)的一個示例；

圖2示出了本發(fā)明一個實施例中的分幀處理方式；

圖3示出了本發(fā)明一個實施例中的雙聲道數(shù)據(jù)標注示例，其中，標注為腳后跟的峰(豎線)表示后腳跟著地聲，為使圖面整潔，本圖中未直接標注前腳掌，事實上，每個標注為腳后跟的峰后方的淺色的峰可標注為前腳掌，它表示前腳掌著地聲；

圖4示出了本發(fā)明一個實施例中左腳聲道和右腳聲道各自的概率曲線；

圖5示出了本發(fā)明一個實施例中左腳聲道和右腳聲道概率曲線求和后的綜合概率曲線；

圖6示出了本發(fā)明一個實施例中左腳聲道和右腳聲道概率取較大值后的綜合概率曲線；

圖7示出了求和后得到的綜合概率曲線平滑后的結(jié)果；

圖8示出了取較大值后得到的綜合概率曲線平滑后的結(jié)果；

圖9示出了本發(fā)明一個實施例的腳步檢測方法的流程圖。

具體實施方式

下面結(jié)合附圖和具體實施方式對本發(fā)明作詳細說明。

根據(jù)本發(fā)明的一個實施例，提供了一種基于雙聲道的腳步檢測方法。該方法中，單獨使用可穿戴的聲傳感器采集步態(tài)數(shù)據(jù)，然后根據(jù)所采集的聲學步態(tài)數(shù)據(jù)，基于一定的算法對數(shù)據(jù)進行處理分析，從中檢測出對應的腳步。

本實施例中，基于雙聲道的腳步檢測方法的檢測對象是雙聲道的音頻數(shù)據(jù)，它是將兩個聲傳感器分別部署在被測人左腳和右腳處，并在被測人行走過程中實時采集相應的聲信號而得到的音頻數(shù)據(jù)。而左腳處和右腳處的兩個聲傳感器就構成所述雙聲道。在下文中將進一步地示例性地介紹采集雙聲道的音頻數(shù)據(jù)的方法。

本實施例中，首先對雙聲道的音頻數(shù)據(jù)進行分幀，然后對音頻幀提特征，通過人工標注的正負樣本訓練分類器，再基于訓練后的分類其識別某個音頻幀是否屬于腳步聲的一部分，獲取該音頻幀屬于腳步聲的概率。對于雙聲道的音頻數(shù)據(jù)，可以得出所有音頻幀屬于腳步聲的概率，從而獲得對應的概率曲線。進一步地，結(jié)合兩道音頻的判斷結(jié)果并進行平滑處理后，可以分析出腳步概率較大的連續(xù)區(qū)間，從而確定腳步的區(qū)間。

具體地，本實施例的腳步檢測方法包括下列步驟(參見圖9)：

步驟1：對雙聲道的音頻數(shù)據(jù)進行分幀加窗，得到一系列的音頻幀。圖2示出了分幀加窗的一個實例。在該例子中，在8000hz的音頻采樣率下，每個音頻幀包含200個樣本，相鄰幀之間的有120個樣本的重疊區(qū)間，每個音頻幀加漢明(hamming)窗。也就是說，在音頻數(shù)據(jù)加滑動窗口，用滑動窗口取對應的音頻幀作為本實施例的基本考察單元。適當選擇滑動窗口的滑動步長，使得相鄰音頻幀具有重疊。漢明窗的窗口長度一般為10～30ms，取窗口長度的約20％～30％作為滑動步長。

步驟2：對音頻幀進行特征提取，得到該音頻幀的特征向量。本實施例中，特征向量包括：自相關系數(shù)、子帶能量(0～4kHz)特征、過零率、線性預測系數(shù)(LPCC)特征和梅爾倒譜系數(shù)(MFCC)特征。在一個具體實例中，特征向量的具體構成為：10維子帶能量特征、12維梅爾倒譜系數(shù)特征、12維線性預測系數(shù)以及過零率和自相關系數(shù)，共36維。表1示出了特征向量的各個維度。

表1

需要注意的是，上述特征向量的維度和構成特征向量的具體特征組合并不是唯一的。在其他實施例中，特征向量也可以是：自相關系數(shù)、子帶能量(0～4kHz)、過零率、LPCC和MFCC這些特征中的一部分或全部的自由組合。只要這些特征組合能夠較好地表征音頻幀所蘊含的信息即可。

步驟3：選擇訓練用的正負樣本。

本申請發(fā)明人分析，腳步聲典型的特點是包含腳后跟和腳前掌著地的兩聲，且左右腳的設備均能采集到包含對應的著地聲信號，但本側(cè)腳的音頻信號相對較強。因此，可以在人工標注時，在左右腳兩道音頻上按照左右腳依次在對應側(cè)的音頻數(shù)據(jù)上標注出每個腳步兩聲(腳后跟和腳前掌著地的兩聲)的位置(參考圖3)。

本實施例中，在左右腳的兩道音頻上以每個標注的位置為中心，各取3幀作為正樣本，這樣，單聲道中每個腳步對應6個正樣本，雙聲道共12個正樣本。然后在相鄰兩個腳步的中間位置(前一腳的第二聲和后一腳的第一聲中間)取連續(xù)的9幀作為負樣本，這樣，單聲道中每兩個腳步之間(即相鄰的左腳著地聲和右腳著地聲之間或者相鄰的右腳著地聲和左腳著地聲之間)有9個負樣本，雙聲道中每兩個腳步之間共有18個負樣本。

步驟4：利于上述正負樣本組成樣本庫，訓練腳步檢測分類器。腳步檢測分類器可以采用SVM分類器。其輸入為代表一個音頻幀的特征向量，輸出為該音頻幀屬于腳步的概率。對于正樣本，該概率為1，對于負樣本，該概率為0。

步驟5：利用訓練后的腳步檢測分類器對待檢測的雙聲道音頻數(shù)據(jù)的各個音頻幀進行檢測，得到各個音頻幀屬于腳步的概率，建立對應的概率曲線。該概率曲線是指橫坐標為音頻幀序號(或者音頻幀所代表的時刻)縱坐標為對應音頻幀屬于腳步的概率的曲線。在腳步檢測過程中，對待檢測的雙聲道音頻數(shù)據(jù)進行連續(xù)分幀后，每幀提取特征向量，然后利用訓練后的分類器計算屬于腳步聲的概率，可以得出連續(xù)的音頻幀屬于腳步聲的概率變化曲線，左右腳的兩道音頻數(shù)據(jù)對應兩條概率曲線(參考圖4)。本步驟中，待檢測的雙聲道音頻數(shù)據(jù)的音頻幀根據(jù)步驟1的方法獲得，然后根據(jù)步驟2的方法提取特征向量，此處不再贅述。

步驟6：對左右腳的概率曲線進行平滑處理，在平滑后的曲線中找出取值連續(xù)大于預設閾值的區(qū)間，進而得出屬于腳步的區(qū)間。

在一個實施例(參考圖5)，基于概率求和法將左右腳的概率曲線合并，然后為了克服概率曲線存在的較大的不穩(wěn)定性和噪聲點，用低通濾波器(相對截止頻率為0.1)進行平滑處理，平滑后的概率曲線存在較為明顯的“大概率”區(qū)間，因此可以根據(jù)預設的閾值(例如0.8或1)找出連續(xù)超出閾值的區(qū)間，將這些區(qū)間判定為屬于腳步的區(qū)間。這種處理方法的原理是：在腳步聲的位置，兩邊的概率均較大，求和后可以更加突出一個腳步的概率。圖7示出了求和后得到的綜合概率曲線平滑后的結(jié)果。

在另一個實施例中(參考圖6)，基于雙聲道概率最大值法確定腳步區(qū)間。通常來說本側(cè)聲道的音頻數(shù)據(jù)被判定為腳步的概率更大，所以可以更多依賴本側(cè)聲道的音頻數(shù)據(jù)，而另一側(cè)的音頻數(shù)據(jù)的概率起補充作用。此時，預設的閾值可以為0.5。對于每對候選的音頻幀(指代表時刻相同的左右聲道的音頻幀)，先選出概率較大的一個，然后用它代表綜合概率曲線中該音頻幀位置的概率值，這樣就得出了綜合左右腳音頻數(shù)據(jù)的概率曲線。對上述綜合概率曲線，用預設的概率閾尋找連續(xù)超出閾值的區(qū)間，將這些區(qū)間被判定為屬于腳步的區(qū)間。圖8示出了取較大值后得到的綜合概率曲線平滑后的結(jié)果。

上述基于聲音的檢測方法，往往不會錯過真正的腳步聲，具有較高的召回率和精確率。

發(fā)明人依據(jù)以上方法進行了測試，測試數(shù)據(jù)如表2所示。

表2

測試結(jié)果：針對包括運動鞋、皮鞋、木質(zhì)地面、水泥地面、不同行走方向、不同負重的測試數(shù)據(jù)，本發(fā)明的平均精確率和召回率分別是：90.89％和97.29％。

進一步地，下面示例性地介紹用于獲取雙聲道音頻數(shù)據(jù)的可穿戴步態(tài)數(shù)據(jù)采集裝置及采集方法。示例性地，可穿戴步態(tài)數(shù)據(jù)采集裝置包括能夠采集聲波信號的麥克風單元。該采集裝置能夠?qū)⒉杉降臄?shù)據(jù)傳輸至用于處理信號的智能終端。步態(tài)數(shù)據(jù)采集裝置包括左腳步態(tài)數(shù)據(jù)采集節(jié)點和右腳步態(tài)數(shù)據(jù)采集節(jié)點。每個步態(tài)數(shù)據(jù)采集節(jié)點包括存儲單元、微處理器(MCU)、電源單元、無線收發(fā)單元(主要用于與步態(tài)數(shù)據(jù)分析端連接并發(fā)送采集節(jié)點的數(shù)據(jù)給步態(tài)數(shù)據(jù)分析端，可以是例如藍牙或者WIFI或者電信網(wǎng)絡等)、信號采集器(可以是例如能夠同時接收普通聲波和超聲波的麥克風)、信號發(fā)射器(例如帶有超聲發(fā)射功能的麥克風)。在采集數(shù)據(jù)時，由信號采集器(例如麥克風)采集聲音信號，所采集到的信號發(fā)送到MCU進行處理。另外，MCU還用于對無線收發(fā)單元收發(fā)的數(shù)據(jù)、存儲單元數(shù)據(jù)的進出等進行調(diào)度。

如前文所述，基于雙聲道的腳步檢測需要被測人行走過程所采集的雙聲道音頻數(shù)據(jù)。示例性地，該雙聲道音頻數(shù)據(jù)的采集方法包括下列步驟：

步驟a：將左腳步態(tài)數(shù)據(jù)采集節(jié)點和右腳步態(tài)數(shù)據(jù)采集節(jié)點分別固定在被測人的左腳和右腳。在雙足(本文中“足”和“腳”的意思相同，二者可以互相替換)上同時使用兩個步態(tài)數(shù)據(jù)采集設備節(jié)點，將左右腳的數(shù)據(jù)進行分析融合，可以獲得比單足測量方式更準確的信息。具體地，可以將步態(tài)數(shù)據(jù)采集節(jié)點穿戴在鞋底處的不同位置，步態(tài)數(shù)據(jù)采集節(jié)點可以在生產(chǎn)鞋時預裝在鞋里，例如預裝位置可以是鞋幫的前側(cè)、外側(cè)或后側(cè)，也可以是鞋底的靠近前腳掌處、中部或者靠近腳跟處。優(yōu)選地，左腳步態(tài)數(shù)據(jù)采集節(jié)點和右腳步態(tài)數(shù)據(jù)采集節(jié)點佩戴在左右腳的對稱位置上。

在另一個實施例中，步態(tài)數(shù)據(jù)采集節(jié)點也可以是獨立于鞋子的裝置，獨立的步態(tài)數(shù)據(jù)采集節(jié)點可以穿戴在雙腳腳踝處。步態(tài)數(shù)據(jù)采集節(jié)點可以用松緊繃帶固定在腳踝外側(cè)、后側(cè)或前側(cè)。優(yōu)選地，左腳步態(tài)數(shù)據(jù)采集節(jié)點和右腳步態(tài)數(shù)據(jù)采集節(jié)點佩戴在左右腳的對稱位置上。雙腳穿戴上步態(tài)數(shù)據(jù)采集節(jié)點后，可以根據(jù)需要調(diào)整松緊繃帶，使其緊緊固定在足部，不發(fā)生移動。這種佩戴方式有利于用戶穿戴的舒適度，同時也能夠很好地使步態(tài)數(shù)據(jù)采集節(jié)點與足部固定，進而腳步檢測的準確性。在進行步態(tài)數(shù)據(jù)采集時，將采集設備(節(jié)點)上電開機，雙足節(jié)點程序啟動，在被測對象開始行走后，采集被測對象的步態(tài)行走數(shù)據(jù)。

步驟b：在被測人行走過程中，左腳步態(tài)數(shù)據(jù)采集節(jié)點和右腳步態(tài)數(shù)據(jù)采集節(jié)點分別采集由于腳步行走而產(chǎn)生的聲音信號，從而獲得所需的雙聲道音頻數(shù)據(jù)。

最后應說明的是，以上實施例僅用以描述本發(fā)明的技術方案而不是對本技術方法進行限制，本發(fā)明在應用上可以延伸為其它的修改、變化、應用和實施例，并且因此認為所有這樣的修改、變化、應用、實施例都在本發(fā)明的精神和教導范圍內(nèi)。