本發(fā)明涉及基于聲音信號(hào)識(shí)別領(lǐng)域，尤其涉及一種利用聲音信號(hào)檢測(cè)鍵盤(pán)敲擊內(nèi)容的方法及系統(tǒng)。

背景技術(shù)：

如今，隨著各種信號(hào)檢測(cè)系統(tǒng)的發(fā)展，鍵盤(pán)擊鍵識(shí)別變得越來(lái)越重要。通過(guò)不同的信號(hào)檢測(cè)，我們能夠重現(xiàn)出敲擊鍵盤(pán)的內(nèi)容。隨著信息安全技術(shù)的發(fā)展和人們對(duì)信息保密的要求越來(lái)越高，能夠檢測(cè)信號(hào)的同時(shí)做好反檢測(cè)，正是當(dāng)下所要考慮的。在做好檢測(cè)擊鍵行為的同時(shí)，設(shè)計(jì)出更好地方式來(lái)保護(hù)人的隱私。現(xiàn)有的室內(nèi)環(huán)境中，擊鍵所產(chǎn)生的聲音，手勢(shì)對(duì)室內(nèi)WiFi信號(hào)的影響及擊鍵動(dòng)力方面的研究都可以被作為竊聽(tīng)的技術(shù)，從技術(shù)原理上研究鍵盤(pán)識(shí)別技術(shù)，從而更好地防止擊鍵行為被竊聽(tīng)。

現(xiàn)有鍵盤(pán)識(shí)別系統(tǒng)主要可以分為兩個(gè)方面，其一，根據(jù)擊鍵動(dòng)力學(xué)獲取個(gè)人敲擊鍵盤(pán)的特征進(jìn)行個(gè)人身份的認(rèn)證；其二，采用聲音，WiFi，光等信號(hào)進(jìn)行鍵盤(pán)敲擊內(nèi)容的識(shí)別。第二種的研究方面又可以分為以下幾類(lèi)。（1）基于WiFi信號(hào)，采用CSI技術(shù)進(jìn)行鍵盤(pán)敲擊內(nèi)容的識(shí)別。如Wikey,（2）基于聲音信號(hào)等進(jìn)行敲擊鍵盤(pán)內(nèi)容的識(shí)別.Context-free，通過(guò)捕捉聲音信號(hào)進(jìn)行鍵盤(pán)布局的重構(gòu)。

以上的方法，要么需要采用專(zhuān)用的信號(hào)采集技術(shù)且對(duì)環(huán)境的條件要求比較高，要么需要的檢測(cè)設(shè)備數(shù)量比較高且計(jì)算成本較高，不具有普適性。

技術(shù)實(shí)現(xiàn)要素：

為了克服上述所指的現(xiàn)有技術(shù)中的不足之處，本發(fā)明提供一種利用聲音信號(hào)檢測(cè)鍵盤(pán)敲擊內(nèi)容的方法及系統(tǒng)，以在特定的布局中，通過(guò)利用分析采集過(guò)來(lái)的聲音信號(hào)，實(shí)現(xiàn)對(duì)擊鍵內(nèi)容的識(shí)別，且整個(gè)過(guò)程耗費(fèi)的時(shí)間及計(jì)算資源相對(duì)之前的方法較少。

本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：

一種基于聲音信號(hào)檢測(cè)鍵盤(pán)敲擊動(dòng)作的方法，其步驟包括：

S1、聲音搜集裝置搜集敲擊鍵盤(pán)產(chǎn)生的聲音信號(hào)，并對(duì)聲音信號(hào)進(jìn)行預(yù)處理；

S2、利用能量檢測(cè)算法并提取出每個(gè)敲擊動(dòng)作的擊鍵高峰的信號(hào)片段；

S3、計(jì)算每個(gè)敲擊動(dòng)作的短時(shí)能量歸一化值并結(jié)合時(shí)間差值作為特征進(jìn)行分類(lèi)

S4、反饋針對(duì)識(shí)別結(jié)果的響應(yīng)信息，調(diào)整分類(lèi)算法的參數(shù)，進(jìn)一步提升準(zhǔn)確性。

作為本發(fā)明的進(jìn)一步改進(jìn)：所述步驟S1對(duì)聲音信號(hào)進(jìn)行的預(yù)處理包括：

S11、聲音采集裝置采集得到的聲音信號(hào)，采用巴特沃斯過(guò)濾方法去進(jìn)行過(guò)濾；

S12、先采集一段環(huán)境中的聲音信號(hào)，將后期的信號(hào)減去起初采集的信號(hào)，達(dá)到更好的過(guò)濾效果；

作為本發(fā)明的進(jìn)一步改進(jìn)：所述步驟S2利用能量檢測(cè)算法檢測(cè)并提取出每個(gè)敲擊動(dòng)作的聲音片段包括：

S21、一個(gè)敲擊動(dòng)作存在三個(gè)波峰，根據(jù)能量檢測(cè)算法檢測(cè)出所要分析的敲擊波峰；

S22、對(duì)識(shí)別出的敲擊波峰后，通過(guò)一個(gè)閾值來(lái)判斷敲擊的起始點(diǎn)和終止點(diǎn)

作為本發(fā)明的進(jìn)一步改進(jìn)：所述步驟S3包括：

S31、為了使得整個(gè)鍵盤(pán)敲擊的識(shí)別準(zhǔn)確率更高，引入時(shí)間差作為每次敲擊的另外一個(gè)特征并將兩個(gè)特征進(jìn)行融合；

S32、為了將分類(lèi)匹配算法更為準(zhǔn)確，引入性能更優(yōu)的神經(jīng)網(wǎng)絡(luò)算法進(jìn)行分類(lèi)匹配，識(shí)別出每次的敲擊；

作為本發(fā)明的進(jìn)一步改進(jìn)：S4、反饋針對(duì)識(shí)別結(jié)果的響應(yīng)信息，調(diào)整分類(lèi)算法的參數(shù)，進(jìn)一步提升準(zhǔn)確性。

另外，本發(fā)明還提供了一種基于聲音信號(hào)進(jìn)行鍵盤(pán)識(shí)別的系統(tǒng)，包括：

信號(hào)接收端，用于接收敲擊鍵盤(pán)產(chǎn)生的聲音信號(hào)并進(jìn)行預(yù)處理；

判斷模塊，用于根據(jù)接收端接收到的信息，根據(jù)特征進(jìn)行之前訓(xùn)練的參數(shù)進(jìn)行分類(lèi)匹配，識(shí)別出所敲擊的鍵；

反饋模塊，將判斷模塊檢測(cè)出的結(jié)果和已知的類(lèi)別進(jìn)行比對(duì)，如果出現(xiàn)偏差，進(jìn)行校正，從而是判別算法更為精確；

顯示模塊，可利用手機(jī)端的顯示屏或者其他顯示模塊，用來(lái)顯示識(shí)別出的結(jié)果。

作為本發(fā)明的進(jìn)一步改進(jìn)：所述信號(hào)接收端用于接收敲擊鍵盤(pán)所產(chǎn)生的聲音信號(hào),包括但不限于智能手機(jī)及樹(shù)莓派鏈接的麥克風(fēng)系統(tǒng)。

作為本發(fā)明的進(jìn)一步改進(jìn)：所述判斷模塊中，根據(jù)接收端接收到信息，將能量歸一化后值及時(shí)間差作為特征，調(diào)整參數(shù)后，利用分類(lèi)算法進(jìn)行更好的匹配。

作為本發(fā)明的進(jìn)一步改進(jìn)：所述反饋模塊用于反饋針對(duì)分類(lèi)識(shí)別的結(jié)果的響應(yīng)信息，調(diào)整分類(lèi)算法模型。

作為本發(fā)明的進(jìn)一步改進(jìn)：所述判斷模塊采用以下步驟進(jìn)行鍵的識(shí)別：

321，采用統(tǒng)計(jì)學(xué)習(xí)理論，預(yù)先建立起以設(shè)定空間內(nèi)由于鍵盤(pán)敲擊的特性不通所導(dǎo)致聲音信號(hào)變化的模式作為訓(xùn)練樣本的模型；

322，用于兩個(gè)麥克風(fēng)接收到能量差值和時(shí)間差值作為特征值輸入到訓(xùn)練樣本的模型中，從而得出目標(biāo)鍵的類(lèi)別。

本發(fā)明的有益效果是：本發(fā)明利用聲音檢測(cè)的優(yōu)點(diǎn)，設(shè)計(jì)出了一種基于聲音檢測(cè)的鍵盤(pán)敲擊系統(tǒng)，并使用改進(jìn)的算法和校正模塊能夠更準(zhǔn)確對(duì)聲音進(jìn)行識(shí)別；本發(fā)明的聲音信號(hào)的鍵盤(pán)擊鍵檢測(cè)的處理過(guò)程，首先根據(jù)將接收端的信號(hào)進(jìn)行預(yù)處理，并結(jié)合時(shí)間差另外的這一特征，使用機(jī)器學(xué)習(xí)的分類(lèi)算法判斷擊鍵內(nèi)容，再通過(guò)人工和算法的不斷的校正，達(dá)到更為精確的識(shí)別；本發(fā)明可以滿足對(duì)所擊鍵的內(nèi)容進(jìn)行分類(lèi)識(shí)別，識(shí)別穩(wěn)定性好。

附圖說(shuō)明

圖1 為本發(fā)明的一種實(shí)施例的基于聲音檢測(cè)鍵盤(pán)敲擊內(nèi)容的系統(tǒng)配置示意圖；

圖2 為本發(fā)明的基于聲音檢測(cè)鍵盤(pán)敲擊內(nèi)容的方法的數(shù)據(jù)處理實(shí)時(shí)流程簡(jiǎn)圖；

圖3 為本發(fā)明的一種基于聲音檢測(cè)鍵盤(pán)敲擊內(nèi)容的系統(tǒng)實(shí)現(xiàn)控制流程圖；

具體實(shí)施方式

為了便于本領(lǐng)域技術(shù)人員的理解，下面結(jié)合附圖和實(shí)例對(duì)本發(fā)明作進(jìn)一步的描述。

一種基于聲音信號(hào)檢測(cè)鍵盤(pán)敲擊內(nèi)容的方法，其步驟包括：

S1、聲音搜集裝置搜集敲擊鍵盤(pán)產(chǎn)生的聲音信號(hào)，并對(duì)聲音信號(hào)進(jìn)行預(yù)處理；

S2、利用能量檢測(cè)算法并提取出每個(gè)敲擊動(dòng)作的擊鍵高峰的信號(hào)片段；

S3、計(jì)算每個(gè)敲擊動(dòng)作的短時(shí)能量歸一化值并結(jié)合時(shí)間差值作為特征進(jìn)行分類(lèi)

S4、反饋針對(duì)識(shí)別結(jié)果的響應(yīng)信息，調(diào)整分類(lèi)算法的參數(shù)，進(jìn)一步提升準(zhǔn)確性。

具體地，在步驟S1中，所述聲音搜集裝置可以是現(xiàn)有的智能手機(jī)，裝置在樹(shù)莓派上的麥克風(fēng)等，其必須攜帶兩個(gè)麥克風(fēng)且兩個(gè)麥克風(fēng)的相對(duì)位置保持不變，將鍵盤(pán)與聲音搜集裝置放置在同一水平面上且保持平行，兩者之間相距一定的距離，并且在步驟S1中，每次搜集信號(hào)鍵盤(pán)與手機(jī)的位置保持相對(duì)固定。

請(qǐng)參閱圖1，其是整個(gè)實(shí)驗(yàn)場(chǎng)景的實(shí)驗(yàn)布置圖。

所述步驟S2是利用能量檢測(cè)方法判斷出敲擊波峰并提取出完整的整個(gè)敲擊動(dòng)作的信號(hào)片段：

S21、一個(gè)敲擊動(dòng)作存在三個(gè)波峰，根據(jù)能量檢測(cè)算法檢測(cè)出所要分析的敲擊波峰；

S22、對(duì)識(shí)別出的敲擊波峰后，通過(guò)一個(gè)閾值來(lái)判斷敲擊的起始點(diǎn)和終止點(diǎn)

作為本發(fā)明的進(jìn)一步改進(jìn)：所述步驟S3包括：

S31、為了使得整個(gè)鍵盤(pán)敲擊的識(shí)別準(zhǔn)確率更高，引入時(shí)間差作為每次敲擊的另外一個(gè)特征并將兩個(gè)特征進(jìn)行融合；

S32、為了將分類(lèi)匹配算法更為準(zhǔn)確，引入性能更優(yōu)的神經(jīng)網(wǎng)絡(luò)算法進(jìn)行分類(lèi)匹配，識(shí)別出每次的敲擊；

本發(fā)明的基于聲音信號(hào)檢測(cè)鍵盤(pán)的方法還包括：反饋針對(duì)識(shí)別結(jié)果的響應(yīng)信息，調(diào)整匹配算法的模型。

具體地，如附圖2所示，本發(fā)明提供了一種實(shí)施例的基于聲音信號(hào)檢測(cè)敲擊鍵盤(pán)的實(shí)現(xiàn)流程，求步驟包括：

S301、雙手以正常的敲擊速度敲擊鍵盤(pán)上鍵；

S302、在信號(hào)采集階段，進(jìn)行信號(hào)的搜集并采用巴特沃斯方法進(jìn)行濾波及白噪聲去除的方式去除噪聲；

S303、采用常見(jiàn)的分段算法，對(duì)獲取到信號(hào)進(jìn)行分割，以截取敲擊動(dòng)作的信號(hào)片段；

S304、計(jì)算兩個(gè)麥克風(fēng)獲取的同一按鍵的短時(shí)能量值，并求出兩者的短時(shí)能量差值

S305、進(jìn)行多組實(shí)驗(yàn)，以求出多組能量差值并做歸一化處理，并將此數(shù)值作為一個(gè)特征；

S306、計(jì)算兩個(gè)麥克風(fēng)獲取同一信號(hào)片段的時(shí)間差值，并將作為一個(gè)特征與能量值進(jìn)行融合；

S307、將以上兩個(gè)特征作為一組向量值，利用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行分類(lèi)；

S308、從而識(shí)別出單個(gè)鍵以及組合鍵。

在一實(shí)施例中，一種基于聲音信號(hào)進(jìn)行鍵盤(pán)識(shí)別的系統(tǒng)，包括：

信號(hào)接收端，用于接收敲擊鍵盤(pán)產(chǎn)生的聲音信號(hào)并進(jìn)行預(yù)處理；

判斷模塊，用于根據(jù)接收端接收到的信息，根據(jù)特征進(jìn)行之前訓(xùn)練的參數(shù)進(jìn)行分類(lèi)匹配，識(shí)別出所敲擊的鍵；

反饋模塊，將判斷模塊檢測(cè)出的結(jié)果和已知的類(lèi)別進(jìn)行比對(duì)，如果出現(xiàn)偏差，進(jìn)行校正，從而是判別算法更為精確；

顯示模塊，可利用手機(jī)端的顯示屏或者其他顯示模塊，用來(lái)顯示識(shí)別出的結(jié)果。

所述信號(hào)接收端用于接收敲擊鍵盤(pán)所產(chǎn)生的聲音信號(hào),包括但不限于智能手機(jī)及樹(shù)莓派鏈接的麥克風(fēng)系統(tǒng)。

所述判斷模塊中，根據(jù)接收端接收到信息，將能量歸一化后值及時(shí)間差作為特征，調(diào)整參數(shù)后，利用分類(lèi)算法進(jìn)行更好的匹配。

所述反饋模塊用于反饋針對(duì)分類(lèi)識(shí)別的結(jié)果的響應(yīng)信息，調(diào)整分類(lèi)算法模型。

所述判斷模塊采用以下步驟進(jìn)行鍵的識(shí)別：

321，采用統(tǒng)計(jì)學(xué)習(xí)理論，預(yù)先建立起以設(shè)定空間內(nèi)由于鍵盤(pán)敲擊的特性不通所導(dǎo)致聲音信號(hào)變化的模式作為訓(xùn)練樣本的模型；

322，用于兩個(gè)麥克風(fēng)接收到能量差值和時(shí)間差值作為特征值輸入到訓(xùn)練樣本的模型中，從而得出目標(biāo)鍵的類(lèi)別。利用單一移動(dòng)終端（如手機(jī)）即可實(shí)現(xiàn)上述鍵盤(pán)按鍵的識(shí)別。

以上內(nèi)容是結(jié)合具體的優(yōu)選方式對(duì)本發(fā)明所作的進(jìn)一步詳細(xì)說(shuō)明，不應(yīng)認(rèn)定本發(fā)明的具體實(shí)施只局限于以上說(shuō)明。對(duì)于本技術(shù)領(lǐng)域的技術(shù)人員而言，在不脫離本發(fā)明構(gòu)思的前提下，還可以作出若干簡(jiǎn)單推演或替換，均應(yīng)視為由本發(fā)明所提交的權(quán)利要求確定的保護(hù)范圍之內(nèi)。