基于多媒體信息指紋技術(shù)的信息搜索方法、系統(tǒng)和應(yīng)用的制作方法
【專利摘要】本發(fā)明提供了通過多媒體信息片段/樣本進(jìn)行信息搜索的方法、系統(tǒng)和服務(wù)、搜索應(yīng)用客戶端，以及基于此的服務(wù)或信息推廣方法，要點(diǎn)在于通過對(duì)多媒體信息建立多媒體指紋庫(kù)，并以這些指紋作為對(duì)應(yīng)的關(guān)聯(lián)信息的索引，提供查詢服務(wù)，當(dāng)用戶使用終端將待查詢的多媒體信息樣本/片段提交到應(yīng)用或系統(tǒng)后，對(duì)該查詢多媒體信息樣本/片段生成對(duì)應(yīng)信息指紋，并在系統(tǒng)中查詢指紋庫(kù)，如果發(fā)現(xiàn)有相似指紋，則返回此指紋對(duì)應(yīng)的關(guān)聯(lián)信息或服務(wù)。目前各種智能設(shè)備(如智能手機(jī)、智能電視、平板電腦等)越來越普及，普遍具備攝像頭、麥克風(fēng)等輸入外設(shè)，可以進(jìn)行多媒體信息采集，進(jìn)而使用戶進(jìn)行以多媒體樣本/片段為搜索條件的信息搜索非常方便。并且，本發(fā)明使現(xiàn)有的電視、廣播、戶外廣告等傳統(tǒng)單向媒體方式能和用戶進(jìn)行實(shí)時(shí)互動(dòng)，提供用戶隨著媒體內(nèi)容實(shí)時(shí)搜索更深入信息或立即行動(dòng)的能力。
【專利說明】基于多媒體信息指紋技術(shù)的信息搜索方法、系統(tǒng)和應(yīng)用
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及多媒體信息指紋及搜索【技術(shù)領(lǐng)域】，以及互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)【技術(shù)領(lǐng)域】。
【背景技術(shù)】
[0002]多媒體信息的識(shí)別和搜索技術(shù)在計(jì)算機(jī)和互聯(lián)網(wǎng)領(lǐng)域目前是一個(gè)熱門研究方向，目前的應(yīng)用和研究方向主要集中于內(nèi)容的識(shí)別，比如語(yǔ)音識(shí)別，用識(shí)別的結(jié)果轉(zhuǎn)化成文本再進(jìn)行搜索，返回相應(yīng)結(jié)果。其中，內(nèi)容識(shí)別技術(shù)主要基于統(tǒng)計(jì)分析的方法，通過對(duì)大量實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析，得出統(tǒng)計(jì)模型，進(jìn)而對(duì)目標(biāo)內(nèi)容進(jìn)行識(shí)別。因此，需要復(fù)雜的算法、大量的數(shù)據(jù)積累和計(jì)算量，并且當(dāng)目標(biāo)內(nèi)容模式超出現(xiàn)有模型后識(shí)別正確率也不理想，目前的應(yīng)用還處于初始階段，有一些簡(jiǎn)單的應(yīng)用，比如蘋果公司iPhone產(chǎn)品中的Siri應(yīng)用，可以通過語(yǔ)音進(jìn)行簡(jiǎn)單的交互，是對(duì)傳統(tǒng)的文本搜索和指令方式的一種拓展，但在實(shí)際使用效果和價(jià)值上并不理想。
[0003]同時(shí)，現(xiàn)實(shí)生活中，大量的多媒體信息無處不在，用語(yǔ)言或文字又難以描述，如何利用這些多媒體信息直接進(jìn)行搜索，進(jìn)而獲得相關(guān)信息展現(xiàn)給用戶是一個(gè)非常有價(jià)值的問題。比如，廣告主在電視或廣播中投放的廣告，目前主要希望廣告在用戶記憶中留下映像，以便對(duì)將來的購(gòu)買決策產(chǎn)生有利于廣告主的影響。然而，用戶接觸廣告和實(shí)際購(gòu)買在時(shí)間上可能會(huì)有很長(zhǎng)的間隔，對(duì)廣告的效果造成不利影響。同時(shí)，用戶在接觸廣告的第一時(shí)間，往往有了解更詳細(xì)信息的需求或好奇心，如果能通過一種方式在廣告播放的同時(shí)能夠讓用戶更深入了解相關(guān)信息甚至直接購(gòu)買，對(duì)用戶和廣告主都非常有價(jià)值。互聯(lián)網(wǎng)廣告具有此優(yōu)勢(shì)，近年發(fā)展非常迅速。
[0004]多媒體信息指紋是通過特定算法從多媒體信息中提取的一段數(shù)字摘要，通常用于識(shí)別多媒體樣本或者快速定位多媒體數(shù)據(jù)庫(kù)中的相似多媒體。業(yè)界對(duì)指紋生成算法本身的研究較多，比如“感知哈希算法(Perceptual hash algorithm) ”等,本發(fā)明不限定于具體指紋生成算法。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于提供一種基于多媒體信息指紋技術(shù)的信息搜索和查詢方法、應(yīng)用和系統(tǒng)，使用戶可以以多媒體方式進(jìn)行信息查詢，多媒體的形式可以包括但不限于:圖片、音頻、視頻。本發(fā)明的要點(diǎn)在于通過對(duì)多媒體信息建立多媒體信息指紋庫(kù)，并以這些指紋作為對(duì)應(yīng)的關(guān)聯(lián)信息的索引，提供搜索服務(wù)，當(dāng)用戶使用終端將待搜索的多媒體信息樣本/片段提交到應(yīng)用或系統(tǒng)后，對(duì)該搜索多媒體信息樣本/片段生成對(duì)應(yīng)信息指紋，并在系統(tǒng)中查詢指紋庫(kù)，如果發(fā)現(xiàn)有相似指紋，則返回此指紋對(duì)應(yīng)的關(guān)聯(lián)信息或服務(wù)。
[0006]如上所述，本發(fā)明首先提供了一種信息索引和搜索方法，在多媒體信息和相關(guān)信息間建立關(guān)聯(lián)，以多媒體信息的指紋作為此多媒體信息和其關(guān)聯(lián)信息的索引，通過提交多媒體信息樣本，比較此樣本的指紋和指紋庫(kù)/索引中指紋的相似度進(jìn)行搜索。即，用戶的搜索以多媒體樣本為查詢條件，區(qū)別于傳統(tǒng)的以文本作為查詢條件的搜索方式。同時(shí)，返回結(jié)果不限定于相似的多媒體信息本身，比如返回相似圖片、相似音樂等，還可以是和這些圖片、音樂相關(guān)聯(lián)的信息，比如圖片中的人物、場(chǎng)景等相關(guān)信息。
[0007]其次，本發(fā)明提供了一種系統(tǒng)和服務(wù)。該系統(tǒng)和服務(wù)提供用戶以多媒體信息樣本作為搜索條件(手段)，系統(tǒng)和服務(wù)返回與該多媒體信息樣本相關(guān)聯(lián)的信息。
[0008]再者，本發(fā)明提供了一種終端/客戶端應(yīng)用，該應(yīng)用程序能運(yùn)行在多種終端上，可以采集多媒體樣本，可以直接上傳此樣本進(jìn)行搜索，也可以生成樣本多媒體信息指紋，以指紋作為查詢條件進(jìn)行搜索。此應(yīng)用程序一方面支持了用戶的多媒體搜索方式，另一方面由于信息指紋通常遠(yuǎn)小于多媒體樣本本身，使網(wǎng)絡(luò)數(shù)據(jù)傳輸量大大降低。該應(yīng)用程序可以是但不限定于:手機(jī)應(yīng)用程序、平板電腦應(yīng)用程序、智能電視應(yīng)用程序、個(gè)人電腦應(yīng)用程序等。利用這些設(shè)備上的攝像頭和麥克風(fēng)等部件可以很容易采集多媒體樣本。
[0009]再者，本發(fā)明提供了一種商業(yè)信息或服務(wù)推廣方法，將廣播、電視、戶外、廣告等渠道中的多媒體信息和相關(guān)商業(yè)信息或服務(wù)相關(guān)聯(lián)，用戶可以通過各種終端采集這些多媒體信息樣本，進(jìn)而查詢相關(guān)聯(lián)的商業(yè)信息或服務(wù)，進(jìn)行相關(guān)操作，如產(chǎn)品購(gòu)買等。
[0010]由于本發(fā)明利用以信息指紋建立索引的方式對(duì)多媒體信息進(jìn)行搜索，避免了對(duì)多媒體信息理解式識(shí)別的要求，減少了系統(tǒng)的復(fù)雜性和實(shí)現(xiàn)難度，同時(shí)也由于無需理解信息內(nèi)容而提高了最終搜索結(jié)果的準(zhǔn)確度。同時(shí)，本發(fā)明采用多媒體樣本進(jìn)行搜索，可以利用現(xiàn)代大多終端設(shè)備上具備的攝像、麥克風(fēng)等部件，使用戶輸入的難度大幅降低。
[0011]并且，本發(fā)明使現(xiàn)有的電視、廣播、戶外廣告等傳統(tǒng)單向媒體方式能和用戶進(jìn)行實(shí)時(shí)互動(dòng)，提供用戶隨媒體內(nèi)容實(shí)時(shí)搜索更深入信息或立即行動(dòng)的能力。
【專利附圖】

【附圖說明】
[0012]結(jié)合附圖，本發(fā)明的特征和優(yōu)點(diǎn)將從以下詳細(xì)描述中顯而易見，附圖中:
[0013]圖1示出了本發(fā)明優(yōu)選實(shí)施例的系統(tǒng)結(jié)構(gòu)示意圖。
[0014]圖2示出了本發(fā)明優(yōu)選實(shí)施例的多媒體和關(guān)聯(lián)信息上傳及索引生成流程示意圖。
[0015]圖3示出了本發(fā)明優(yōu)選實(shí)施例的用戶搜索流程示意圖。
【具體實(shí)施方式】
[0016]以下，參照附圖描述本發(fā)明的優(yōu)選實(shí)施例，但本發(fā)明不限于下述優(yōu)選實(shí)施例。
[0017]如前所述，系統(tǒng)主要組成部分如附圖1所示，系統(tǒng)由信息錄入系統(tǒng)⑴、服務(wù)端(2)和搜索客戶端(3)各模塊組成:
[0018]多媒體信息上傳11:通過此模塊上傳搜索目標(biāo)多媒體信息，此多媒體信息在上傳到服務(wù)端之后，會(huì)通過指紋生成21模塊生成指紋，存入信息及指紋索引數(shù)據(jù)庫(kù)23，作為關(guān)聯(lián)信息的索引，以便后繼搜索。
[0019]關(guān)聯(lián)信息錄入12:通過此模塊錄入和上述多媒體信息關(guān)聯(lián)的信息，比如關(guān)聯(lián)的網(wǎng)址、介紹等，這些信息會(huì)提交到服務(wù)端⑵，并以相關(guān)聯(lián)的多媒體信息指紋作為索引，以便后繼搜索。
[0020]指紋生成21:此模塊可以為多媒體信息生成信息指紋。信息錄入系統(tǒng)(I)上傳的搜索目標(biāo)多媒體信息通過此模塊生成信息指紋，以便作為此多媒體信息和關(guān)聯(lián)信息作為索弓丨。搜索客戶端(3)通過此模塊生成多媒體搜索樣本的信息指紋，以此作為搜索條件進(jìn)行搜索。
[0021]搜索引擎22:通過將多媒體搜索樣本的信息指紋和信息及指紋索引數(shù)據(jù)庫(kù)23中的索引進(jìn)行比較，找出相近的索引，通過這些索引在找出相關(guān)聯(lián)的信息，返回給搜索客戶端⑶。
[0022]信息及指紋索引數(shù)據(jù)庫(kù)23:存儲(chǔ)通過信息錄入系統(tǒng)(I)錄入的搜索目標(biāo)多媒體信息、關(guān)聯(lián)信息以及由多媒體信息生成的多媒體信息指紋，以便完成后繼由搜索客戶端(3)發(fā)起的搜索。
[0023]多媒體樣本采集31:用戶通過此模塊采集作為搜索條件的多媒體樣本。在不同終端設(shè)備上，搜索客戶端利用該設(shè)備上具備的外設(shè)能力實(shí)現(xiàn)此模塊，如終端設(shè)備上的攝像頭、麥克風(fēng)等。
[0024]搜索樣本上傳32:通過此模塊將多媒體樣本采集31模塊的搜索樣本上傳到服務(wù)端(2)進(jìn)行搜索。在某些終端設(shè)備的搜索客戶端(3)實(shí)現(xiàn)上，也可以將搜索多媒體樣本生成指紋后，提交指紋到服務(wù)端(2)進(jìn)行搜索。
[0025]搜索結(jié)果展現(xiàn)33:在服務(wù)端(2)完成搜索，返回搜索結(jié)果后，通過此模塊展示給用戶。
[0026]以下，參照附圖2和附圖3描述本發(fā)明的流程實(shí)施例，但本發(fā)明不限于下述優(yōu)選實(shí)施例。
[0027]附圖2描述了多媒體及關(guān)聯(lián)信息上傳及索引生成流程。主要包含如下步驟:
[0028]步驟S200，流程的開始，此流程既可以是由用戶發(fā)起，也可以由其他系統(tǒng)由系統(tǒng)發(fā)起，如和電視臺(tái)、廣告公司的信息管理系統(tǒng)的對(duì)接，授權(quán)其他系統(tǒng)調(diào)用接口上傳多媒體信息以及關(guān)聯(lián)?目息完成。
[0029]步驟S201，上傳搜索目標(biāo)多媒體信息到服務(wù)端⑵。
[0030]步驟S202，上傳上述多媒體信息關(guān)聯(lián)的信息到服務(wù)端(2)。
[0031]步驟S203，服務(wù)端(2)根據(jù)上傳的多媒體信息生成多媒體指紋。
[0032]步驟204:將指紋和相關(guān)信息更新到信息及指紋索引數(shù)據(jù)庫(kù)23。
[0033]步驟205:流程結(jié)束。
[0034]附圖3描述了用戶使用搜索終端進(jìn)行搜索的流程的步驟。主要包含如下步驟:
[0035]步驟S300，算法的開始，用戶通過搜索客戶端(3)開始此流程。
[0036]步驟S301，用戶通過搜索客戶端采集搜索多媒體樣本，比如通過移動(dòng)設(shè)備上的麥克風(fēng)錄入廣播里播放的廣告片段。
[0037]步驟S302，客戶端將錄入的多媒體信息生成指紋。在某些情況下也可直接將錄入的多媒體信息直接上傳到服務(wù)端(2)再生成指紋，比如網(wǎng)絡(luò)足夠快。
[0038]步驟S303，通過搜索樣本上傳32模塊將指紋提交服務(wù)端(2)。
[0039]步驟S304，搜索引擎根據(jù)提交的信息指紋查詢指紋索引。
[0040]步驟305:判斷是否存在相似索引，如果存在，則執(zhí)行步驟306，否則執(zhí)行步驟307。
[0041]步驟306:根據(jù)查詢到的索引指紋，查找關(guān)聯(lián)信息。
[0042]步驟307:返回搜索結(jié)果到搜索客戶端(3)。
[0043]步驟308:搜索客戶端展現(xiàn)搜索結(jié)果給用戶。[0044]步驟309:流程結(jié)束。
[0045]以上對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行了具體描述，本發(fā)明的方法、流程和系統(tǒng)可以應(yīng)用于任何多媒體搜索相關(guān)系統(tǒng)和產(chǎn)品，尤其在商業(yè)廣告和信息領(lǐng)域具有廣泛應(yīng)用價(jià)值。
[0046]雖然參照實(shí)施例具體示出并描述了本發(fā)明，但是本發(fā)明不限于上述實(shí)施例。本領(lǐng)域普通技術(shù)人員將理解，在不背離由權(quán)利要求限定的本發(fā)明精神和范圍的前提下可以進(jìn)行形式和細(xì)節(jié)上的多種改變。
【權(quán)利要求】
1.一種基于多媒體信息指紋的信息搜索方法，其特征在于，包括: 以多媒體信息指紋為索引，提供對(duì)關(guān)聯(lián)信息的搜索，以多媒體樣本或其信息指紋為搜索條件進(jìn)行搜索。
2.根據(jù)權(quán)利要求1所述的方法，還包括: 以某種方式為多媒體信息和其關(guān)聯(lián)信息建立關(guān)系，包括但不限于:以人工的方式、系統(tǒng)自動(dòng)的方式。
3.一種基于多媒體信息指紋的信息搜索的服務(wù)或系統(tǒng)，其特征在于，包括: 利用上述1-2之一或多種方法，為用戶提供以多媒體樣本為搜索條件(手段)的搜索服務(wù)。
4.根據(jù)權(quán)利要求3所述的服務(wù)或系統(tǒng)，還包括: 以某種方式為多媒體信息和其關(guān)聯(lián)信息建立關(guān)系，包括但不限于:以人工的方式、提供第三方接口的方式、系統(tǒng)自動(dòng)的方式。
5.一種客戶端應(yīng)用程序，其特征在于，包括: 提供以多媒體樣本為搜索條件的搜索功能。
6.根據(jù)權(quán)利要求5所述的應(yīng)用程序，還包括: 根據(jù)多媒體樣本生成多媒體信息指紋，以此作為搜索條件提交給搜索服務(wù)器進(jìn)行搜索。
7.根據(jù)權(quán)利要求5或6所述的應(yīng)用程序，還包括: 利用應(yīng)用程序所在設(shè)備的能力或外設(shè)，進(jìn)行多媒體樣本采集，以便進(jìn)行搜索。應(yīng)用程序可安裝運(yùn)行的設(shè)備包含但不限于:個(gè)人計(jì)算機(jī)、手機(jī)、平板電腦、智能電視等。
8.一種信息或服務(wù)推廣方法，其特征在于，包括: 以電視、電影、音樂、廣播、戶外、廣告等渠道傳遞的音頻、視頻、圖片等類型多媒體為基礎(chǔ)，關(guān)聯(lián)要推廣的信息或服務(wù)，使用戶能以上述多媒體信息片段或樣本進(jìn)行關(guān)聯(lián)信息搜索，獲取關(guān)聯(lián)的信息或服務(wù)。
9.根據(jù)權(quán)利要求8所述的信息或服務(wù)推廣方法，還包括: 利用上述1-7之一或多種方法、服務(wù)或系統(tǒng)、應(yīng)用程序，進(jìn)行用戶服務(wù)或信息推廣。
10.根據(jù)權(quán)利要求1-2之一的方法、根據(jù)權(quán)利要求3-4之一的服務(wù)或系統(tǒng)、根據(jù)權(quán)利要求5-7之一的應(yīng)用程序、根據(jù)權(quán)利要求8-9之一的信息或服務(wù)推廣方法在信息搜索領(lǐng)域的應(yīng)用。
【文檔編號(hào)】G06F17/30GK103593356SQ201210290342
【公開日】2014年2月19日 申請(qǐng)日期:2012年8月16日 優(yōu)先權(quán)日:2012年8月16日
【發(fā)明者】丁瑞彭 申請(qǐng)人:丁瑞彭