多媒體指紋哈希矢量構(gòu)建方法及其裝置制造方法
【專利摘要】本發(fā)明涉及多媒體指紋哈希矢量構(gòu)建方法，包括：步驟1，對(duì)當(dāng)前幀多媒體信號(hào)進(jìn)行時(shí)頻變換，以獲取當(dāng)前幀多媒體信號(hào)的頻譜信息；步驟2，在頻譜信息中，搜索局部峰值，獲取可構(gòu)成多媒體指紋的待選峰值點(diǎn)集合；步驟3，在待選峰值點(diǎn)集合中選擇哈希矢量起點(diǎn)，選取待選哈希矢量終點(diǎn)集合；步驟4，根據(jù)當(dāng)前幀多媒體信號(hào)中提取指紋個(gè)數(shù)的限制，為哈希矢量起點(diǎn)選取哈希矢量終點(diǎn)；步驟5，根據(jù)所述哈希矢量終點(diǎn)，為哈希矢量起點(diǎn)建立該哈希矢量起點(diǎn)對(duì)應(yīng)的多媒體指紋哈希矢量；步驟6，重復(fù)步驟3至5，直至完成當(dāng)前幀中全部哈希矢量起點(diǎn)的多媒體指紋提取。通過(guò)上述處理過(guò)程，可以有效提高在實(shí)際應(yīng)用場(chǎng)景下多媒體信號(hào)指紋正確匹配的成功率。
【專利說(shuō)明】多媒體指紋哈希矢量構(gòu)建方法及其裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及多媒體數(shù)據(jù)處理領(lǐng)域，具體涉及一種多媒體指紋哈希矢量構(gòu)建方法及 其裝置。

【背景技術(shù)】
[0002] 近年來(lái)，計(jì)算技術(shù)、網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，使人類積累了大量的多媒體數(shù)據(jù)，通過(guò) 多媒體數(shù)據(jù)指紋對(duì)多媒體數(shù)據(jù)進(jìn)行匹配檢索的應(yīng)用越來(lái)越廣泛。以音頻數(shù)據(jù)為例，音頻數(shù) 據(jù)是多媒體數(shù)據(jù)的重要類型，它廣泛存在于互聯(lián)網(wǎng)和個(gè)人計(jì)算機(jī)中。
[0003] 音頻指紋技術(shù)是一種音頻信息檢索技術(shù)，過(guò)對(duì)原始音頻信號(hào)進(jìn)行時(shí)頻變換后在頻 域提取特征信息即音頻指紋，將特征信息保留下來(lái)構(gòu)建特征庫(kù)。當(dāng)需要進(jìn)行音頻檢索時(shí)，對(duì) 待檢索音頻用同樣的方法提取音頻指紋，然后到特征庫(kù)進(jìn)行匹配，當(dāng)匹配成功時(shí)就能得到 待檢索音頻的具體信息。
[0004] 如圖1所示，音頻指紋用一個(gè)哈希矢量來(lái)表征，在頻譜圖中找一特定峰值點(diǎn)作為 矢量起點(diǎn)，在矢量起點(diǎn)的搜索范圍內(nèi)，例如圖中矩形標(biāo)定的范圍，搜索到符合條件的峰值點(diǎn) 作為矢量終點(diǎn)，，其中，F(xiàn)l是矢量起點(diǎn)的頻率值，AF是矢量終點(diǎn)和矢量起點(diǎn)之間的頻率差， AT是矢量終點(diǎn)和矢量起點(diǎn)的時(shí)間差，Indexing= [Fl，AF，AT]，如果用8bit信息表示矢量 起點(diǎn)可能的頻率值，6bit信息表示搜索范圍的時(shí)間可能值，6bit信息表示搜索范圍的頻率 可能值，那么就可以用20bit信息表示一個(gè)音頻指紋。
[0005] 在實(shí)際應(yīng)用場(chǎng)景中，受到服務(wù)器容量大小，搜索時(shí)間長(zhǎng)短等條件制約，音頻指紋數(shù) 據(jù)庫(kù)大小有一定限制，能存儲(chǔ)的音頻指紋的數(shù)量也受限制，因此在提取音頻指紋的時(shí)候，需 要對(duì)搜索范圍內(nèi)符合條件的峰值點(diǎn)進(jìn)行取舍，構(gòu)建合適的哈希矢量形成音頻指紋。現(xiàn)有技 術(shù)是按照待選終點(diǎn)與起點(diǎn)之間的時(shí)間距離遠(yuǎn)近進(jìn)行排序選擇，如圖2所示的場(chǎng)景中，在數(shù) 據(jù)庫(kù)中對(duì)于起點(diǎn)P最多只能構(gòu)建三個(gè)哈希矢量，按照時(shí)間距離由近至遠(yuǎn)，建立的矢量為[P pl] [pp3][pp4]。
[0006] 但是，當(dāng)音頻信號(hào)受到干擾出現(xiàn)失真時(shí)，很多在原始信號(hào)頻譜中出現(xiàn)的峰值點(diǎn)會(huì) 被噪聲譜淹沒或者消失。如圖3中信號(hào)經(jīng)過(guò)干擾失真后，原始信號(hào)中的p3，p4峰值點(diǎn)由于能 量較小，會(huì)被噪聲譜淹沒，在需要進(jìn)行音頻指紋檢索時(shí)，構(gòu)建的哈希矢量為[Ppl][PP2]， 在數(shù)據(jù)庫(kù)匹配時(shí)只能找到1個(gè)匹配指紋[Ppl]。因此在實(shí)際應(yīng)用場(chǎng)景下，如果按照時(shí)間距 離遠(yuǎn)近構(gòu)建哈希矢量會(huì)導(dǎo)致提取出的音頻指紋匹配成功率急劇降低。


【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的是提供一種多媒體指紋哈希矢量構(gòu)建方法，以解決現(xiàn)有技術(shù)中對(duì)多 媒體信號(hào)進(jìn)行指紋提取和檢索時(shí)，由于受到噪聲干擾，造成指紋匹配度降低的問題。
[0008] 第一方面，本發(fā)明實(shí)施例提供了一種多媒體指紋哈希矢量構(gòu)建方法，所述方法包 括：
[0009] 步驟1，對(duì)當(dāng)前幀多媒體信號(hào)進(jìn)行時(shí)頻變換，以獲取所述的當(dāng)前幀多媒體信號(hào)的頻 譜信息；
[0010] 步驟2,在獲取的所述當(dāng)前幀多媒體信號(hào)的頻譜信息中，搜索局部峰值，以獲取所 述頻譜信息中可構(gòu)成多媒體指紋的待選峰值點(diǎn)集合；
[0011] 步驟3,在所述待選峰值點(diǎn)集合中選擇哈希矢量起點(diǎn)，并根據(jù)所選擇的所述哈希矢 量起點(diǎn)的時(shí)間和頻率信息在所述待選峰值點(diǎn)集合中選取待選哈希矢量終點(diǎn)集合；
[0012] 步驟4,根據(jù)當(dāng)前幀多媒體信號(hào)中提取指紋個(gè)數(shù)的限制，為所述哈希矢量起點(diǎn)在所 述待選哈希矢量終點(diǎn)集合中選取哈希矢量終點(diǎn)；
[0013] 步驟5,根據(jù)所述的哈希矢量終點(diǎn)，為所述哈希矢量起點(diǎn)建立該哈希矢量起點(diǎn)對(duì)應(yīng) 的多媒體指紋哈希矢量；
[0014] 步驟6,重復(fù)步驟3至5,直至完成當(dāng)前幀中的待選峰值點(diǎn)集合中全部哈希矢量起 點(diǎn)的多媒體指紋提取。
[0015] 基于第一方面，在第一種可能的實(shí)施方式中，所述當(dāng)前巾貞多媒體信號(hào)中提取指紋 個(gè)數(shù)的限制為每一個(gè)哈希矢量起點(diǎn)能夠提取的多媒體指紋個(gè)數(shù)。
[0016] 基于第一方面的在第一種可能的實(shí)施方式中，在第二種可能的實(shí)施方式中，在步 驟3之后，還包括：
[0017] 對(duì)所述待選哈希矢量終點(diǎn)集合中的待選矢量終點(diǎn)按照能量大小進(jìn)行排序，以獲取 能量加權(quán)后的待選矢量終點(diǎn)集合；
[0018] 根據(jù)所述的每一個(gè)哈希矢量起點(diǎn)能夠提取的多媒體指紋個(gè)數(shù)的閾值，為所述哈希 矢量起點(diǎn)在所述能量加權(quán)后的待選矢量終點(diǎn)集合中，按照能量大小順序選取哈希矢量終 點(diǎn)。
[0019] 基于第一方面的在第一種可能的實(shí)施方式中，在第三種可能的實(shí)施方式中，所述 步驟3之后,還包括：
[0020] 對(duì)所述待選哈希矢量終點(diǎn)集合中的待選矢量終點(diǎn)按照能量大小進(jìn)行排序，以獲取 能量加權(quán)后的待選矢量終點(diǎn)集合；
[0021 ] 根據(jù)當(dāng)前哈希矢量起點(diǎn)的頻點(diǎn)能量在全部待選峰值點(diǎn)集合中全部待選峰值點(diǎn)頻 點(diǎn)能量之和中的占比，獲取當(dāng)前哈希矢量起點(diǎn)的能夠提取的多媒體指紋個(gè)數(shù)的閾值；
[0022] 根據(jù)當(dāng)前哈希矢量起點(diǎn)能夠提取的多媒體指紋個(gè)數(shù)的閾值，為所述當(dāng)前哈希矢量 起點(diǎn)在所述能量加權(quán)后的待選矢量終點(diǎn)集合中，按照能量大小順序選取哈希矢量終點(diǎn)。
[0023] 基于第一方面的第一種可能的實(shí)施方式，在第四種可能的實(shí)施方式中，所述根據(jù) 當(dāng)前幀多媒體信號(hào)中提取指紋個(gè)數(shù)的限制，為所述哈希矢量起點(diǎn)在所述待選哈希矢量終點(diǎn) 集合中選取哈希矢量終點(diǎn)具體包括：
[0024] 根據(jù)當(dāng)前哈希矢量起點(diǎn)的頻點(diǎn)能量在全部待選峰值點(diǎn)集合中全部待選峰值點(diǎn)頻 點(diǎn)能量之和中的占比，獲取當(dāng)前哈希矢量起點(diǎn)的能夠提取的多媒體指紋個(gè)數(shù)的閾值；
[0025] 根據(jù)當(dāng)前哈希矢量起點(diǎn)能夠提取的多媒體指紋個(gè)數(shù)的閾值，為所述當(dāng)前哈希矢量 起點(diǎn)在所述待選哈希矢量終點(diǎn)集合中，按照時(shí)間順序選取哈希矢量終點(diǎn)。
[0026] 第二方面，本發(fā)明實(shí)施例提供了一種多媒體指紋哈希矢量構(gòu)建裝置，所述裝置包 括：
[0027] 時(shí)頻變換單元，用于對(duì)當(dāng)前幀多媒體信號(hào)進(jìn)行時(shí)頻變換，以獲取所述的當(dāng)前幀多 媒體信號(hào)的頻譜信息；
[0028] 搜索單元，用以在獲取的所述當(dāng)前幀多媒體信號(hào)的頻譜信息中，搜索局部峰值，以 獲取所述頻譜信息中可構(gòu)成多媒體指紋的待選峰值點(diǎn)集合；
[0029] 選取單元，用于在所述待選峰值點(diǎn)集合中選擇哈希矢量起點(diǎn)，并根據(jù)所選擇的所 述哈希矢量起點(diǎn)的時(shí)間和頻率信息在所述待選峰值點(diǎn)集合中選取待選哈希矢量終點(diǎn)集 合；
[0030] 確定單元，用于根據(jù)當(dāng)前幀多媒體信號(hào)中提取指紋個(gè)數(shù)的限制，為所述哈希矢量 起點(diǎn)在所述待選哈希矢量終點(diǎn)集合中選取哈希矢量終點(diǎn)；
[0031] 處理單元，用于根據(jù)所述的哈希矢量終點(diǎn)，為所述哈希矢量起點(diǎn)建立該哈希矢量 起點(diǎn)對(duì)應(yīng)的多媒體指紋哈希矢量；
[0032] 控制單元，用于控制所述選取單元、確定單元和所述處理單元，直至完成當(dāng)前幀的 待選峰值點(diǎn)集合中全部哈希矢量起點(diǎn)的多媒體指紋提取。
[0033] 基于第二方面，在第一種可能的實(shí)施方式中，所述當(dāng)前幀多媒體信號(hào)中提取指紋 個(gè)數(shù)的限制為每一個(gè)哈希矢量起點(diǎn)能夠提取的多媒體指紋個(gè)數(shù)。
[0034] 基于第二方面的在第一種可能的實(shí)施方式中，在第二種可能的實(shí)施方式中，所述 裝置還包括：
[0035] 加權(quán)單元，用于對(duì)所述選取單元選取的所述待選哈希矢量終點(diǎn)集合中的待選矢量 終點(diǎn)按照能量大小進(jìn)行排序，以獲取能量加權(quán)后的待選矢量終點(diǎn)集合；
[0036] 所述確定單元：根據(jù)所述的每一個(gè)哈希矢量起點(diǎn)能夠提取的多媒體指紋個(gè)數(shù)的閾 值，為所述哈希矢量起點(diǎn)在所述能量加權(quán)后的待選矢量終點(diǎn)集合中，按照能量大小順序選 取哈希矢量終點(diǎn)。
[0037] 基于第二方面的在第一種可能的實(shí)施方式中，在第三種可能的實(shí)施方式中，所述 裝置還包括：
[0038] 加權(quán)單元，對(duì)所述待選哈希矢量終點(diǎn)集合中的待選矢量終點(diǎn)按照能量大小進(jìn)行排 序，以獲取能量加權(quán)后的待選矢量終點(diǎn)集合；
[0039] 所述確定單元：根據(jù)當(dāng)前哈希矢量起點(diǎn)的頻點(diǎn)能量在全部待選峰值點(diǎn)集合中全部 待選峰值點(diǎn)頻點(diǎn)能量之和中的占比，獲取當(dāng)前哈希矢量起點(diǎn)的能夠提取的多媒體指紋個(gè)數(shù) 的閾值；
[0040] 根據(jù)當(dāng)前哈希矢量起點(diǎn)能夠提取的多媒體指紋個(gè)數(shù)的閾值，為所述當(dāng)前哈希矢量 起點(diǎn)在所述能量加權(quán)后的待選矢量終點(diǎn)集合中，按照能量大小順序選取哈希矢量終點(diǎn)。
[0041] 基于第二方面的第一種可能的實(shí)施方式，在第四種可能的實(shí)施方式中，所述確定 單元：
[0042] 根據(jù)當(dāng)前哈希矢量起點(diǎn)的頻點(diǎn)能量在全部待選峰值點(diǎn)集合中全部待選峰值點(diǎn)頻 點(diǎn)能量之和中的占比，獲取當(dāng)前哈希矢量起點(diǎn)的能夠提取的多媒體指紋個(gè)數(shù)；
[0043] 根據(jù)當(dāng)前哈希矢量起點(diǎn)能夠提取的多媒體指紋個(gè)數(shù)的閾值，為所述當(dāng)前哈希矢量 起點(diǎn)在所述待選哈希矢量終點(diǎn)集合中，按照時(shí)間順序選取哈希矢量終點(diǎn)。
[0044] 本發(fā)明實(shí)施例提供了一種多媒體指紋哈希矢量構(gòu)建方法、在對(duì)當(dāng)前需要處理的當(dāng) 前幀多媒體信號(hào)進(jìn)行時(shí)頻變換后，獲取當(dāng)前幀多媒體信號(hào)的頻譜信息，然后在頻譜信息中， 搜索可構(gòu)成多媒體指紋的待選峰值點(diǎn)集合，之后在待選峰值點(diǎn)集合中選擇哈希矢量起點(diǎn)， 和待選哈希矢量終點(diǎn)集合，最后根據(jù)能量加權(quán)在在待選哈希矢量終點(diǎn)集合中選取哈希矢量 終點(diǎn)，并為哈希矢量起點(diǎn)建立該哈希矢量起點(diǎn)對(duì)應(yīng)的多媒體指紋哈希矢量；通過(guò)上述處理 過(guò)程，確保頻譜信息中大能量峰值有較多的多媒體指紋可以被提取，從而解決了多媒體指 紋技術(shù)在實(shí)際應(yīng)用場(chǎng)景中受噪聲、失真等干擾會(huì)引起頻譜變化，使得原始信號(hào)頻譜中出現(xiàn) 的峰值點(diǎn)被噪聲譜淹沒或者消失，從而導(dǎo)致按照時(shí)間距離遠(yuǎn)近構(gòu)建哈希矢量時(shí)音頻指紋匹 配成功率急劇降低的問題，有效的提高了在實(shí)際應(yīng)用場(chǎng)景下音頻指紋正確匹配的成功率。

【專利附圖】

【附圖說(shuō)明】
[0045] 為了更清楚地說(shuō)明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述 中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些 實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些 附圖獲得其他的附圖。
[0046] 圖1為現(xiàn)有技術(shù)構(gòu)建首頻指紋的不意圖；
[0047] 圖2為現(xiàn)有技術(shù)構(gòu)建音頻指紋的原理圖；
[0048] 圖3為本發(fā)明實(shí)施例提供的多媒體指紋哈希矢量構(gòu)建方法的流程圖；
[0049] 圖4為本發(fā)明實(shí)施例提供的多媒體指紋哈希矢量構(gòu)建裝置的結(jié)構(gòu)圖；
[0050] 圖5為本發(fā)明實(shí)施例提供的多媒體指紋哈希矢量構(gòu)建裝置的另一種實(shí)施例的結(jié) 構(gòu)圖。

【具體實(shí)施方式】
[0051] 下面通過(guò)附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。
[0052] 為了解決現(xiàn)有技術(shù)中當(dāng)多媒體信號(hào)受到干擾出現(xiàn)失真時(shí)，很多在原始信號(hào)頻譜中 出現(xiàn)的峰值點(diǎn)會(huì)被噪聲譜淹沒或者消失，導(dǎo)致的按照時(shí)間距離遠(yuǎn)近構(gòu)建哈希矢量提取出的 音頻指紋匹配成功率急劇降低，本發(fā)明實(shí)施例的核心思想是提出一種基于能量加權(quán)的哈希 矢量構(gòu)建方法，提高音頻指紋的魯棒性，從而提高音頻檢索的成功率。本發(fā)明的實(shí)施例，不 僅可以應(yīng)用于音頻信號(hào)，還可以應(yīng)用在圖像、視頻信號(hào)燈多媒體數(shù)據(jù)。
[0053] 如圖3所示，在第一方面，本發(fā)明實(shí)施例提供了一種多媒體指紋哈希矢量構(gòu)建方 法，所述方法包括：
[0054] 步驟1，對(duì)當(dāng)前幀多媒體信號(hào)進(jìn)行時(shí)頻變換，以獲取所述的當(dāng)前幀多媒體信號(hào)的頻 譜信息；
[0055] 具體的，所述多媒體信號(hào)的頻譜信息為多個(gè)頻點(diǎn)的頻率、時(shí)間以及幅度信息，幅度 信息用以表征能量大小。
[0056] 步驟2,在獲取的所述當(dāng)前幀多媒體信號(hào)的頻譜信息中，搜索局部峰值，以獲取所 述頻譜信息中可構(gòu)成多媒體指紋的待選峰值點(diǎn)集合；
[0057] 具體而言，在當(dāng)前多媒體信號(hào)的頻譜信息中，按照不同的覆蓋區(qū)域大小，搜索一個(gè) 覆蓋區(qū)域范圍內(nèi)的局部峰值，將這些局部峰值點(diǎn)，作為待選峰值點(diǎn)集合。
[0058] 步驟3,在所述待選峰值點(diǎn)集合中選擇哈希矢量起點(diǎn)，并根據(jù)所述哈希矢量起點(diǎn)的 時(shí)間和頻率信息在所述待選峰值點(diǎn)集合中選取待選哈希矢量終點(diǎn)集合；
[0059] 具體而言，在待選峰值點(diǎn)集合中任意選取一個(gè)哈希矢量起點(diǎn)，按照與選中的哈希 矢量起點(diǎn)的時(shí)間差和頻率差都在設(shè)定范圍內(nèi)的約束，選取一個(gè)待選哈希矢量終點(diǎn)集合。
[0060] 步驟4,根據(jù)當(dāng)前幀多媒體信號(hào)中提取指紋個(gè)數(shù)的限制，為所述哈希矢量起點(diǎn)在所 述待選哈希矢量終點(diǎn)集合中選取哈希矢量終點(diǎn)；
[0061] 具體而言，在選定哈希矢量起點(diǎn)和待選哈希矢量終點(diǎn)之后，如果系統(tǒng)對(duì)每個(gè)哈希 矢量起點(diǎn)的指紋數(shù)有限制，則根據(jù)系統(tǒng)對(duì)每個(gè)哈希矢量起點(diǎn)能夠提取的指紋數(shù)的限制，選 取哈希矢量終點(diǎn)；如果系統(tǒng)沒有對(duì)一個(gè)哈希矢量起點(diǎn)能夠提取的指紋數(shù)據(jù)進(jìn)行限制，而是 對(duì)一陣多媒體信號(hào)總的指紋提取數(shù)有所限制，則要根據(jù)每個(gè)哈希矢量起點(diǎn)的能量在全部可 選的哈希矢量起點(diǎn)的能量和中的占比，再根據(jù)能量大小，確定該哈希矢量起點(diǎn)對(duì)應(yīng)的哈希 矢量終點(diǎn)數(shù)目。
[0062] 步驟5,根據(jù)所述的哈希矢量終點(diǎn)，為所述哈希矢量起點(diǎn)建立該哈希矢量起點(diǎn)對(duì)應(yīng) 的多媒體指紋哈希矢量；
[0063] 具體而言，在確定了哈希矢量起點(diǎn)和哈希矢量終點(diǎn)之后，按照IndeXing=[Fl，AF， AT]建立哈希矢量起點(diǎn)和哈希矢量終點(diǎn)之間的多媒體指紋哈希矢量。
[0064] 步驟6,重復(fù)步驟3至5,直至完成當(dāng)前幀的待選峰值點(diǎn)集合中全部哈希矢量起點(diǎn) 的多媒體指紋提取。
[0065] 具體的，在待選峰值點(diǎn)集合中不斷更換哈希矢量起點(diǎn)，重復(fù)上述的步驟3到步驟 5，直到完成當(dāng)前幀中全部哈希矢量起點(diǎn)的多媒體指紋提取。
[0066] 通過(guò)上述實(shí)施例，能夠確保多媒體信號(hào)的頻譜信息中大能量峰值有較多的多媒體 指紋可以被提取，從而解決了多媒體指紋技術(shù)在實(shí)際應(yīng)用場(chǎng)景中受噪聲、失真等干擾會(huì)引 起頻譜變化，使得原始信號(hào)頻譜中出現(xiàn)的峰值點(diǎn)被噪聲譜淹沒或者消失，從而導(dǎo)致按照時(shí) 間距離遠(yuǎn)近構(gòu)建哈希矢量時(shí)音頻指紋匹配成功率急劇降低的問題，有效的提高了在實(shí)際應(yīng) 用場(chǎng)景下音頻指紋正確匹配的成功率。
[0067] 以下以音頻信號(hào)為例，詳細(xì)說(shuō)明本發(fā)明的幾個(gè)實(shí)施例。
[0068] 以音頻信號(hào)為例，音頻指紋可以表示為一個(gè)哈希矢量的特征值：[FIAFAT]，其中 Fl為哈希矢量起點(diǎn)對(duì)應(yīng)的頻率，可以用R個(gè)bit二進(jìn)制數(shù)表示；AF是矢量終點(diǎn)和矢量起點(diǎn) 之間的相對(duì)頻率差，可以用P個(gè)bit二進(jìn)制數(shù)表示；AT是矢量終點(diǎn)和矢量起點(diǎn)的時(shí)間差， 可以用Q個(gè)bit二進(jìn)制數(shù)表示，在該實(shí)施例中，在本實(shí)施例中R=8,P=6,Q=6,但根據(jù)不同系 統(tǒng)的需求，可以根據(jù)需求設(shè)置，不做贅述。
[0069] 音頻指紋提取受到實(shí)際實(shí)現(xiàn)系統(tǒng)的限制，對(duì)每一幀音頻信號(hào)能提取的音頻指紋個(gè) 數(shù)有限制，可以通過(guò)對(duì)每一幀音頻信號(hào)中每個(gè)哈希矢量起點(diǎn)能夠構(gòu)成的音頻指紋個(gè)數(shù)進(jìn)行 約束，或者對(duì)全部哈希矢量起點(diǎn)構(gòu)成音頻指紋總數(shù)進(jìn)行約束來(lái)實(shí)現(xiàn)對(duì)每一幀音頻信號(hào)能提 取的音頻指紋個(gè)數(shù)的限制。在本實(shí)施例中對(duì)音頻指紋提取個(gè)數(shù)的限制具體指同一個(gè)哈希矢 量起點(diǎn)能構(gòu)成音頻指紋的個(gè)數(shù)不超過(guò)V，即對(duì)同一個(gè)哈希矢量起點(diǎn)，在選擇哈希矢量終點(diǎn)是 個(gè)數(shù)不超過(guò)V，在本實(shí)施例中V=4。
[0070] 在步驟201中，對(duì)當(dāng)前需要處理的當(dāng)前幀音頻進(jìn)行時(shí)頻變換，以獲取所述的當(dāng)前 幀音頻信號(hào)的頻譜信息；
[0071] 在需要建立音頻指紋之前，需要將當(dāng)前待處理的第N幀音頻信號(hào)進(jìn)行時(shí)頻變換得 到頻譜信息集合為S={[s，i，j]}，其中s為當(dāng)前頻點(diǎn)幅度譜絕對(duì)值，i為當(dāng)前頻點(diǎn)對(duì)應(yīng)的相 對(duì)時(shí)間信息，j為當(dāng)前頻點(diǎn)對(duì)應(yīng)的頻率信息，s、i、j都受系統(tǒng)限制，具體為，0 <i<R，0 <j， R、T由系統(tǒng)音頻指紋限制條件決定，在本實(shí)施例中R=133,T=255。
[0072] 步驟202,在所述當(dāng)前幀音頻信號(hào)的頻譜信息中，搜索局部峰值，以獲取所述頻譜 信息中可構(gòu)成多媒體指紋的待選峰值點(diǎn)集合；
[0073] 具體而言，以音頻信號(hào)為例，在對(duì)當(dāng)前幀的音頻信號(hào)進(jìn)行時(shí)頻轉(zhuǎn)換后，在當(dāng)前幀頻 譜信息集合S中搜索局部峰值，得到當(dāng)前幀中所有可構(gòu)成音頻指紋的K個(gè)待選峰值點(diǎn)集合M={ma=[saiajj}(MeS，1彡a:)，其中叫按照先時(shí)間從小到大，后頻率從小到大的順序 排序，即若a〈b，則ia〈ib或者當(dāng)ia=ib時(shí)，ja彡jb。
[0074] 步驟203,在所述待選峰值點(diǎn)集合中選擇哈希矢量起點(diǎn)，并根據(jù)所述哈希矢量起點(diǎn) 的時(shí)間和頻率信息在所述待選峰值點(diǎn)集合中選取待選哈希矢量終點(diǎn)集合；
[0075] 具體的，首先在待選峰值點(diǎn)集合M中選取Hi0做為哈希矢量起點(diǎn)，在待選峰值 點(diǎn)集合M中根據(jù)系統(tǒng)音頻指紋限制條件確定的搜索范圍確定的W個(gè)待選矢量終點(diǎn)集合 E={eb=[sbibjb]} (EGM，1彡b彡W，且W〈K)。在本實(shí)施例中系統(tǒng)音頻指紋限制條件指0 <ib-i0<64，-31<jb-j0<32。
[0076] 在選取待選哈希矢量終點(diǎn)集合E之后，對(duì)所述待選哈希矢量終點(diǎn)集合中的待選矢 量終點(diǎn)按照能量大小進(jìn)行排序，以獲取能量加權(quán)后的待選矢量終點(diǎn)集合E'對(duì)E中的點(diǎn)按照 能量大小從大到小排序，得到按照能量加權(quán)后的待選矢量終點(diǎn)集合E' ={e'k=[skikjk]}, 艮PS1S2)......>sw。
[0077] 步驟4,根據(jù)當(dāng)前幀多媒體信號(hào)中提取指紋個(gè)數(shù)的閾值，為所述哈希矢量起點(diǎn)在待 選哈希矢量終點(diǎn)集合中選取哈希矢量終點(diǎn)；
[0078] 在該實(shí)施例中，由于系統(tǒng)對(duì)每個(gè)哈希矢量起點(diǎn)的指紋數(shù)有限制，則根據(jù)系統(tǒng)對(duì)每 個(gè)哈希矢量起點(diǎn)能夠提取的指紋數(shù)的限制，選取哈希矢量終點(diǎn)；
[0079] 按照音頻指紋提取個(gè)數(shù)的限制，按照能量從大到小的順序，從加權(quán)后的待選矢量 終點(diǎn)集合E'中選擇哈希矢量終點(diǎn)，e/、e2' ......ev'。
[0080] 步驟5,根據(jù)所述的哈希矢量終點(diǎn)，為所述哈希矢量起點(diǎn)建立該哈希矢量起點(diǎn)對(duì)應(yīng) 的音頻指紋哈希矢量；
[0081] 具體而言，在確定了哈希矢量起點(diǎn)和哈希矢量終點(diǎn)之后，按照IndeXing=[Fl，AF， △T]建立哈希矢量起點(diǎn)和哈希矢量終點(diǎn)之間的音頻指紋哈希矢量。
[0082] 更具體的，按照選取的哈希矢量終點(diǎn)，構(gòu)成哈希矢量[mQ，ei' ]……[mQ，ev' ]，按照 Fl=j|m。，AF=F2-Fl=j|e/-j|m。，AT=T2-Tl=ile/-i|m。，由哈希矢量的特征值構(gòu)成音頻指 紋。
[0083] 步驟6,重復(fù)步驟3至5,直至完成當(dāng)前幀中全部哈希矢量起點(diǎn)的音頻指紋提取。
[0084] 具體的，在待選峰值點(diǎn)集合中不斷更換哈希矢量起點(diǎn)，重復(fù)上述的步驟3到步驟 5,直到完成當(dāng)前幀中全部哈希矢量起點(diǎn)的音頻指紋提取。
[0085] 通過(guò)上述實(shí)施例,在選取待選哈希矢量終點(diǎn)集合之后,對(duì)所述待選哈希矢量終點(diǎn) 集合中的待選矢量終點(diǎn)按照能量大小進(jìn)行排序，之后再加權(quán)后的待選哈希矢量終點(diǎn)集合中 選取能量加大的點(diǎn)作為哈希矢量終點(diǎn)，能夠確保多媒體信號(hào)的頻譜信息中大能量峰值有較 多的多媒體指紋可以被提取，從而解決了多媒體指紋技術(shù)在實(shí)際應(yīng)用場(chǎng)景中受噪聲、失真 等干擾會(huì)引起頻譜變化，使得原始信號(hào)頻譜中出現(xiàn)的峰值點(diǎn)被噪聲譜淹沒或者消失，從而 導(dǎo)致按照時(shí)間距離遠(yuǎn)近構(gòu)建哈希矢量時(shí)音頻指紋匹配成功率急劇降低的問題，有效的提高 了在實(shí)際應(yīng)用場(chǎng)景下音頻指紋正確匹配的成功率。
[0086] 再次以首頻指紋獲取為例，在另一種實(shí)施例中，
[0087] 音頻指紋提取受到實(shí)際實(shí)現(xiàn)系統(tǒng)的限制，是對(duì)每一幀音頻信號(hào)中每個(gè)哈希矢量起 點(diǎn)能夠構(gòu)成的音頻指紋個(gè)數(shù)進(jìn)行約束。，在本實(shí)施例中對(duì)音頻指紋提取個(gè)數(shù)的限制具體指 當(dāng)前幀信號(hào)總體可提取的音頻指紋個(gè)數(shù)不超過(guò)V，在本實(shí)施例中V=200。
[0088] 因此，在獲取到所述的當(dāng)前幀音頻信號(hào)的頻譜信息，選中可構(gòu)成音頻指紋的待選 峰值點(diǎn)集合，并且在所述待選峰值點(diǎn)集合中選擇哈希矢量起點(diǎn)，并根據(jù)所述哈希矢量起點(diǎn) 的時(shí)間和頻率信息在所述待選峰值點(diǎn)集合中選取待選哈希矢量終點(diǎn)集合之后，還對(duì)所述待 選哈希矢量終點(diǎn)集合中的待選矢量終點(diǎn)按照能量大小進(jìn)行排序，以獲取能量加權(quán)后的待選 矢量終點(diǎn)集合E'，例如對(duì)E中的點(diǎn)按照能量大小從大到小排序，得到按照能量加權(quán)后的待 選矢量終點(diǎn)集合E' = {e'k=[skikjk]},即S1S2)......>sw。
[0089] 與前述的實(shí)施例的區(qū)別在于，還需要確定每個(gè)哈希矢量起點(diǎn)能夠提取的指紋數(shù) 目，具體為：
[0090] 根據(jù)當(dāng)前哈希矢量起點(diǎn)的頻點(diǎn)能量在全部待選峰值點(diǎn)集合中全部待選峰值點(diǎn)頻 點(diǎn)能量之和中的占比，獲取當(dāng)前哈希矢量起點(diǎn)的能夠提取的多媒體指紋個(gè)數(shù)；
[0091] 具體而言，根據(jù)當(dāng)前哈希矢量起點(diǎn)的頻點(diǎn)能量特性計(jì)算當(dāng)前哈希矢量起點(diǎn)的可選 終點(diǎn)個(gè)數(shù)V'，其中，II表示取整，即起點(diǎn)能量越大，可提取的音頻指紋 個(gè)數(shù)越多。

【權(quán)利要求】
1. 一種多媒體指紋哈希矢量構(gòu)建方法，其特征在于，所述方法包括： 步驟1，對(duì)當(dāng)前幀多媒體信號(hào)進(jìn)行時(shí)頻變換，以獲取所述的當(dāng)前幀多媒體信號(hào)的頻譜信 息； 步驟2,在獲取的所述當(dāng)前幀多媒體信號(hào)的頻譜信息中，搜索局部峰值，以獲取所述頻 譜信息中可構(gòu)成多媒體指紋的待選峰值點(diǎn)集合； 步驟3,在所述待選峰值點(diǎn)集合中選擇哈希矢量起點(diǎn)，并根據(jù)所選擇的所述哈希矢量起 點(diǎn)的時(shí)間和頻率信息在所述待選峰值點(diǎn)集合中選取待選哈希矢量終點(diǎn)集合； 步驟4,根據(jù)當(dāng)前幀多媒體信號(hào)中提取指紋個(gè)數(shù)的限制，為所述哈希矢量起點(diǎn)在所述待 選哈希矢量終點(diǎn)集合中選取哈希矢量終點(diǎn)； 步驟5,根據(jù)所述的哈希矢量終點(diǎn)，為所述哈希矢量起點(diǎn)建立該哈希矢量起點(diǎn)對(duì)應(yīng)的多 媒體指紋哈希矢量； 步驟6,重復(fù)步驟3至5,直至完成當(dāng)前幀的待選峰值點(diǎn)集合中全部哈希矢量起點(diǎn)的多 媒體指紋提取。
2. 如權(quán)利要求1所述的方法，其特征在于，所述當(dāng)前幀多媒體信號(hào)中提取指紋個(gè)數(shù)的 限制為每一個(gè)哈希矢量起點(diǎn)能夠提取的多媒體指紋個(gè)數(shù)。
3. 如權(quán)利要求2所述的方法，其特征在于，在步驟3之后，還包括： 對(duì)所述待選哈希矢量終點(diǎn)集合中的待選矢量終點(diǎn)按照能量大小進(jìn)行排序，以獲取能量 加權(quán)后的待選矢量終點(diǎn)集合； 根據(jù)所述的每一個(gè)哈希矢量起點(diǎn)能夠提取的多媒體指紋個(gè)數(shù)的閾值，為所述哈希矢量 起點(diǎn)在所述能量加權(quán)后的待選矢量終點(diǎn)集合中，按照能量大小順序選取哈希矢量終點(diǎn)。
4. 如權(quán)利要求2所述的方法，其特征在于，所述步驟3之后，還包括： 對(duì)所述待選哈希矢量終點(diǎn)集合中的待選矢量終點(diǎn)按照能量大小進(jìn)行排序，以獲取能量 加權(quán)后的待選矢量終點(diǎn)集合； 根據(jù)當(dāng)前哈希矢量起點(diǎn)的頻點(diǎn)能量在全部待選峰值點(diǎn)集合中全部待選峰值點(diǎn)頻點(diǎn)能 量之和中的占比，獲取當(dāng)前哈希矢量起點(diǎn)的能夠提取的多媒體指紋個(gè)數(shù)的閾值； 根據(jù)當(dāng)前哈希矢量起點(diǎn)能夠提取的多媒體指紋個(gè)數(shù)的閾值，為所述當(dāng)前哈希矢量起點(diǎn) 在所述能量加權(quán)后的待選矢量終點(diǎn)集合中，按照能量大小順序選取哈希矢量終點(diǎn)。
5. 如權(quán)利要求2所述的方法，其特征在于，所述根據(jù)當(dāng)前幀多媒體信號(hào)中提取指紋個(gè) 數(shù)的限制，為所述哈希矢量起點(diǎn)在所述待選哈希矢量終點(diǎn)集合中選取哈希矢量終點(diǎn)具體包 括： 根據(jù)當(dāng)前哈希矢量起點(diǎn)的頻點(diǎn)能量在全部待選峰值點(diǎn)集合中全部待選峰值點(diǎn)頻點(diǎn)能 量之和中的占比，獲取當(dāng)前哈希矢量起點(diǎn)的能夠提取的多媒體指紋個(gè)數(shù)的閾值； 根據(jù)當(dāng)前哈希矢量起點(diǎn)能夠提取的多媒體指紋個(gè)數(shù)的閾值，為所述當(dāng)前哈希矢量起點(diǎn) 在所述待選哈希矢量終點(diǎn)集合中，按照時(shí)間順序選取哈希矢量終點(diǎn)。
6. -種多媒體指紋哈希矢量構(gòu)建裝置，其特征在于，所述裝置包括： 時(shí)頻變換單元，用于對(duì)當(dāng)前幀多媒體信號(hào)進(jìn)行時(shí)頻變換，以獲取所述的當(dāng)前幀多媒體 信號(hào)的頻譜信息； 搜索單元，用以在獲取的所述當(dāng)前幀多媒體信號(hào)的頻譜信息中，搜索局部峰值，以獲取 所述頻譜信息中可構(gòu)成多媒體指紋的待選峰值點(diǎn)集合； 選取單元，用于在所述待選峰值點(diǎn)集合中選擇哈希矢量起點(diǎn)，并根據(jù)所選擇的所述哈 希矢量起點(diǎn)的時(shí)間和頻率信息在所述待選峰值點(diǎn)集合Μ中選取待選哈希矢量終點(diǎn)集合E ; 確定單元，用于根據(jù)當(dāng)前幀多媒體信號(hào)中提取指紋個(gè)數(shù)的限制，為所述哈希矢量起點(diǎn) 在所述待選哈希矢量終點(diǎn)集合中選取哈希矢量終點(diǎn)； 處理單元，用于根據(jù)所述的哈希矢量終點(diǎn)，為所述哈希矢量起點(diǎn)建立該哈希矢量起點(diǎn) 對(duì)應(yīng)的多媒體指紋哈希矢量； 控制單元，用于控制所述選取單元、確定單元和所述處理單元，直至完成當(dāng)前幀的待選 峰值點(diǎn)集合中全部哈希矢量起點(diǎn)的多媒體指紋提取。
7. 如權(quán)利要求6所述的裝置，其特征在于，所述當(dāng)前幀多媒體信號(hào)中提取指紋個(gè)數(shù)的 限制為每一個(gè)哈希矢量起點(diǎn)能夠提取的多媒體指紋個(gè)數(shù)。
8. 如權(quán)利要求7所述的裝置，其特征在于，還包括： 加權(quán)單元，用于對(duì)所述待選哈希矢量終點(diǎn)集合中的待選矢量終點(diǎn)按照能量大小進(jìn)行排 序，以獲取能量加權(quán)后的待選矢量終點(diǎn)集合； 所述確定單元：根據(jù)所述的每一個(gè)哈希矢量起點(diǎn)能夠提取的多媒體指紋個(gè)數(shù)的閾值， 為所述哈希矢量起點(diǎn)在所述能量加權(quán)后的待選矢量終點(diǎn)集合中，按照能量大小順序選取哈 希矢量終點(diǎn)。
9. 如權(quán)利要求7所述的裝置，其特征在于，還包括： 加權(quán)單元，對(duì)所述待選哈希矢量終點(diǎn)集合中的待選矢量終點(diǎn)按照能量大小進(jìn)行排序， 以獲取能量加權(quán)后的待選矢量終點(diǎn)集合； 所述確定單元：根據(jù)當(dāng)前哈希矢量起點(diǎn)的頻點(diǎn)能量在全部待選峰值點(diǎn)集合中全部待選 峰值點(diǎn)頻點(diǎn)能量之和中的占比，獲取當(dāng)前哈希矢量起點(diǎn)的能夠提取的多媒體指紋個(gè)數(shù)的閾 值； 根據(jù)當(dāng)前哈希矢量起點(diǎn)能夠提取的多媒體指紋個(gè)數(shù)的閾值，為所述當(dāng)前哈希矢量起點(diǎn) 在所述能量加權(quán)后的待選矢量終點(diǎn)集合中，按照能量大小順序選取哈希矢量終點(diǎn)。
10. 如權(quán)利要求7所述的裝置，其特征在于，所確定單元： 根據(jù)當(dāng)前哈希矢量起點(diǎn)的頻點(diǎn)能量在全部待選峰值點(diǎn)集合中全部待選峰值點(diǎn)頻點(diǎn)能 量之和中的占比，獲取當(dāng)前哈希矢量起點(diǎn)的能夠提取的多媒體指紋個(gè)數(shù)； 根據(jù)當(dāng)前哈希矢量起點(diǎn)能夠提取的多媒體指紋個(gè)數(shù)的閾值，為所述當(dāng)前哈希矢量起點(diǎn) 在所述待選哈希矢量終點(diǎn)集合中，按照時(shí)間順序選取哈希矢量終點(diǎn)。
【文檔編號(hào)】G06F17/30GK104239306SQ201310227474
【公開日】2014年12月24日 申請(qǐng)日期:2013年6月8日 優(yōu)先權(quán)日:2013年6月8日
【發(fā)明者】張德明, 張琦 申請(qǐng)人:華為技術(shù)有限公司