專利名稱：視頻簽名產(chǎn)生設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及產(chǎn)生用于檢索視頻的視頻簽名的設(shè)備、方法和程序，能夠在多個(gè)運(yùn)動(dòng)圖像中檢測(cè)相似或相同的運(yùn)動(dòng)圖像。
背景技術(shù)：
非專利文獻(xiàn)1中描述了一種用于提取和匹配運(yùn)動(dòng)圖像的特征的示例設(shè)備。圖9是示出了專利文獻(xiàn)1中描述的設(shè)備的框圖。塊單位特征提取單元1000以塊為單位從輸入的第一視頻中提取特征，并將第一特征輸出至匹配單元1030。另一塊單位特征提取單元1010以塊為單位從輸入的第二視頻中提取特征，并將第二特征輸出至匹配單元1030。加權(quán)系數(shù)計(jì)算單元1020基于輸入的學(xué)習(xí)視頻，計(jì)算每個(gè)塊的加權(quán)值，并將加權(quán)系數(shù)輸出至匹配單元1030。匹配單元1030使用從加權(quán)系數(shù)計(jì)算單元1020輸出的加權(quán)系數(shù)，將從塊單位特征提取單元1000輸出的第一特征與從塊單元特征提取單元1010輸出的第二特征進(jìn)行比較，并輸出匹配結(jié)果。接下來(lái)，將描述圖9中所示的設(shè)備的操作。塊單元特征提取單元1000將輸入的第一視頻的每個(gè)幀分為塊，并根據(jù)每個(gè)塊來(lái)計(jì)算用于標(biāo)識(shí)視頻的特征。具體地，塊單位特征提取單元1000確定每個(gè)塊的邊緣的類型， 并將該類型計(jì)算為每個(gè)塊的特征。然后，針對(duì)每一幀，塊單位特征提取單元1000形成特征向量，所述特征向量由相應(yīng)塊的邊緣類型構(gòu)成。然后，塊單位特征提取單元1000計(jì)算每一幀的特征向量，并將所獲取的特征輸出至匹配單元1030作為第一特征。塊單位特征提取單元1010的操作類似于塊單位特征提取單元1000的操作。塊單位特征提取單元1010根據(jù)輸入的第二視頻計(jì)算第二特征，并將所獲取的第二特征輸出至匹配單元1030。另一方面，加權(quán)系數(shù)計(jì)算單元1020使用學(xué)習(xí)視頻，計(jì)算字幕預(yù)先插入幀中的每個(gè)塊的概率。然后，基于所計(jì)算的概率，加權(quán)系數(shù)計(jì)算單元1020計(jì)算每個(gè)塊的加權(quán)系數(shù)。具體地，加權(quán)系數(shù)被計(jì)算為使得疊加字幕的概率越低加權(quán)越高，以改進(jìn)相對(duì)于字幕疊加的健壯性。所獲取的加權(quán)系數(shù)輸出至匹配單元1030。匹配單元1030使用從加權(quán)系數(shù)計(jì)算單元1020輸出的加權(quán)系數(shù)，將從塊單位特征提取單元1000輸出的第一特征與從塊單元特征提取單元1010輸出的第二特征進(jìn)行比較。 具體地，匹配單元1030將兩幀中在相同位置處的塊的特征進(jìn)行比較，并計(jì)算塊單位的得分，使得如果塊的特征相同，則得分為1，如果塊的特征不相同，則得分為0。匹配單元1030 通過(guò)使用加權(quán)系數(shù)對(duì)所獲取的塊單位的得分進(jìn)行加權(quán)來(lái)對(duì)其進(jìn)行求和，，并計(jì)算幀的匹配得分(以幀為單位的相似度)。匹配單元1030對(duì)各個(gè)幀執(zhí)行這些過(guò)程，從而獲取第一視頻與第二視頻之間的匹配結(jié)果。通過(guò)這些過(guò)程，可以執(zhí)行運(yùn)動(dòng)圖像之間的匹配，同時(shí)在字幕疊加的影響可能較大的部分中減小字幕疊加的影響，并且即使在字母疊加的情況下也能夠?qū)崿F(xiàn)高匹配精度。非專利文獻(xiàn) 1 :Kota IwamotoiEiji KasutaniiAkio Yamada, “ Image SignatureRobust to Caption Superimposition for Video Sequence Identification ", Proceedings of International Conference on Image Processing (ICIP2006),2006非專利文獻(xiàn)2 :Eiji Kasutani,Ryoma Oami,Akio Yamada,Takami Sato,and Kyoji Hirata, " Video Material Archive System for Efficient Video Editing Based on Media Identification" ， Proceedings of International Conference on Multimedia and Expo(ICME2004)，pp.727-730，200
發(fā)明內(nèi)容
除了上述字幕疊加之外，還存在其他原因?qū)е逻\(yùn)動(dòng)圖像的匹配精度惡化。例如，由于許多視頻中通常會(huì)出現(xiàn)漸弱為黑幀的場(chǎng)景，這種場(chǎng)景使得匹配精度惡化。此外，由于針對(duì)具有幾乎均勻值的幀不能穩(wěn)定地獲得特征，這種幀使得匹配精度惡化。因此，如果通過(guò)對(duì)其中特征具有較低可靠性的視頻片段(如包括漸弱為黑幀的場(chǎng)景的相似(幾乎相同)的視頻片段(即使在獨(dú)立視頻之間也可能出現(xiàn)))或者具有幾乎均勻值的幀進(jìn)行處理來(lái)執(zhí)行匹配，則以與一般片段類似的方式，可能導(dǎo)致過(guò)多的檢測(cè)或檢測(cè)的遺漏。因此，已經(jīng)導(dǎo)致了匹配精度惡化的問(wèn)題。本發(fā)明的目的是提供一種視頻簽名產(chǎn)生設(shè)備，能夠解決當(dāng)視頻包括在多個(gè)視頻中共同出現(xiàn)的視頻圖案或者不能穩(wěn)定獲得特征的視頻圖案時(shí)導(dǎo)致的視頻匹配精度惡化的問(wèn)題。根據(jù)本發(fā)明一方面，一種視頻簽名產(chǎn)生設(shè)備，包括視覺(jué)特征提取單元，基于視頻中多個(gè)子區(qū)域?qū)Φ奶卣鱽?lái)提取用于標(biāo)識(shí)視頻的視覺(jué)特征；以及確信度值計(jì)算單元，計(jì)算視覺(jué)特征的確信度值，其中，如果所述視頻是特定視頻，則與所述視頻不同于所述特定視頻的情況相比，確信度值計(jì)算單元計(jì)算的確信度值具有較小值。根據(jù)本發(fā)明，可以防止由于在多個(gè)視頻中共同出現(xiàn)的視頻圖案或者不能穩(wěn)定獲得特征的視頻圖案導(dǎo)致的匹配精度惡化。


圖1是示出了根據(jù)本發(fā)明的視頻簽名產(chǎn)生設(shè)備的第一實(shí)施例的框圖。圖2是示出了根據(jù)本發(fā)明的視頻簽名產(chǎn)生設(shè)備的第二實(shí)施例的框圖。圖3是示出了根據(jù)本發(fā)明的視頻簽名產(chǎn)生設(shè)備的第三實(shí)施例的框圖。圖4是示出了根據(jù)本發(fā)明的視頻簽名產(chǎn)生設(shè)備的第四實(shí)施例的框圖。圖4A是示出了根據(jù)本發(fā)明的視頻簽名產(chǎn)生設(shè)備的另一實(shí)施例的框圖。圖5是示出了根據(jù)本發(fā)明的視頻簽名匹配設(shè)備的實(shí)施例的框圖。圖5A是示出了根據(jù)本發(fā)明的視頻簽名匹配設(shè)備的另一實(shí)施例的框圖。圖6示意了對(duì)兩個(gè)視頻執(zhí)行的匹配過(guò)程。圖7是示意了圖3所示的公共視頻圖案學(xué)習(xí)單元250的操作的流程圖。圖8是示意了圖4所示健壯性惡化視頻圖案學(xué)習(xí)單元350的操作的流程圖。圖9是示意了與本發(fā)明相關(guān)的技術(shù)的框圖。
具體實(shí)施方式
接下來(lái)參照附圖來(lái)詳細(xì)描述本發(fā)明的實(shí)施例。參照?qǐng)D1，示出了根據(jù)本發(fā)明第一實(shí)施例的視頻簽名提取設(shè)備，該設(shè)備包括特征提取單元130、特定視頻圖案檢測(cè)單元110以及確信度值計(jì)算單元120。特征提取單元130從輸入視頻中提取特征，并輸出視覺(jué)特征。特定視頻圖案檢測(cè)單元110從輸入視頻中檢測(cè)特定圖案，并將特定圖案檢測(cè)結(jié)果輸出至確信度值計(jì)算單元 120。確信度值計(jì)算單元120基于從特定視頻圖案檢測(cè)單元110輸出的特定圖案檢測(cè)結(jié)果來(lái)計(jì)算確信度值，并輸出確信度值信息。從特征提取單元130輸出的視覺(jué)特征和從確信度值計(jì)算單元120輸出的確信度值信息構(gòu)成輸入視頻的視頻簽名。如果明確定義了視覺(jué)特征與確信度值信息之間的對(duì)應(yīng)關(guān)系，則視覺(jué)特征和確信度值信息可以相互獨(dú)立；或者，如以下描述的實(shí)施例，可以使用復(fù)用單元將視覺(jué)特征和確信度值信息集成。接下來(lái)詳細(xì)描述第一實(shí)施例的操作。首先，視頻輸入至特征提取單元130。如果原始視頻是編碼的，則首先由解碼器對(duì)視頻進(jìn)行解碼，然后以畫面為單位來(lái)輸入數(shù)據(jù)。應(yīng)當(dāng)注意，畫面是構(gòu)成屏幕的單位，通常由幀或場(chǎng)形成。然而，畫面不限于這種配置，并且可以具有任何形式，只要其為構(gòu)成屏幕的單位。畫面可以是通過(guò)對(duì)屏幕的一部分進(jìn)行截取來(lái)形成的部分圖像。例如，在具有黑條的圖像的情況下，可以將排除黑條的部分作為畫面來(lái)處理。應(yīng)當(dāng)注意，黑條指示由于4 3與16 9之間的寬高比轉(zhuǎn)換而在屏幕的頂部和底部或右側(cè)和左側(cè)插入的邊緣區(qū)域。特征提取單元130計(jì)算每個(gè)畫面的特征向量。特征提取單元130將畫面視為一個(gè)靜止圖像，并提取指示該畫面的如顏色、圖案、形狀等特征的視覺(jué)特征的向量?？梢允褂猛ㄟ^(guò)關(guān)于與特征向量的每個(gè)維度相對(duì)應(yīng)的局部區(qū)域?qū)?lái)計(jì)算區(qū)域的特征之間的差值(例如， 關(guān)于區(qū)域?qū)χ械拿總€(gè)區(qū)域，獲得區(qū)域內(nèi)的像素值的平均值，并計(jì)算區(qū)域之間的平均值的差值)并使用通過(guò)對(duì)差值進(jìn)行量化而獲得的量化值作為每個(gè)維度的值而獲得的特征向量作為特征。針對(duì)每個(gè)畫面計(jì)算的特征向量作為視覺(jué)特征輸出。另一方面，輸入視頻也輸入至特定視頻圖案檢測(cè)單元110。特定視頻圖案檢測(cè)單元 110檢測(cè)不利于標(biāo)識(shí)視頻的視頻圖案，并輸出特定圖案檢測(cè)結(jié)果。不利視頻圖案包括盡管原先完全不同但是偶然顯現(xiàn)為幾乎相同的視頻圖案(場(chǎng)景)。例如，在電影中經(jīng)常使用的漸弱為黑幀的場(chǎng)景是其代表性示例。稱為漸弱(fadeout) 的視頻編輯技術(shù)常用于許多不同視頻。利用這種技術(shù)，在漸弱之后，場(chǎng)景變?yōu)楹谏?，不論原始視頻內(nèi)容為何，從而在視頻之間找不到差異。如上所述，不利視頻圖案是指在實(shí)際上完全不同的多個(gè)視頻中可能產(chǎn)生的公共視頻圖案。這些視頻圖案導(dǎo)致使用任何特征來(lái)進(jìn)行標(biāo)識(shí)時(shí)的問(wèn)題，不論特征的類型如何。另一方面，還存在根據(jù)特征類型而變化的不利視頻圖案。具體地，存在特征不穩(wěn)定和缺乏健壯性的情況。例如，如果圖像中的特征數(shù)目較小，如具有平坦像素值的場(chǎng)景，則一些特征容易受到噪聲等的影響，使得健壯性降低。盡管健壯性降低的圖像取決于特征，但是存在特征的獨(dú)有健壯性惡化而與特征無(wú)關(guān)的視頻圖案。例如，在與顏色相關(guān)的特征的情況下，黑色和白色具有較低健壯性。另一方面，在特征指示圖案的情況下，平坦圖像具有較低健壯性。特定視頻圖案檢測(cè)單元110檢測(cè)如上所述不利于標(biāo)識(shí)視頻的特定視頻圖案。檢測(cè)方法依賴于視頻圖案。例如，在如上所述的漸弱場(chǎng)景的情況下，可以使用整個(gè)圖像的亮度值的平均值和指示平坦性的準(zhǔn)則來(lái)確定不利圖案。例如，可以使用亮度值的方差作為指示平坦性的準(zhǔn)則。如果方差充分小，并且亮度的平均值等于或小于特定閾值并充分接近于黑色， 則可以確定圖像為漸弱之后的黑色圖像。還可以測(cè)量亮度值的時(shí)間改變，從而確定漸弱。例如，可以關(guān)于屏幕內(nèi)的時(shí)間序列畫面獲得亮度值的方差值和平均值，如果發(fā)生隨時(shí)間的改變，使得方差逐漸降低至0，并且平均值逐漸降低，則確定場(chǎng)景漸弱為黑色圖像。盡管以上描述了漸弱為黑色圖像，但是可以以類似方式檢測(cè)關(guān)于其他像素值的漸弱。這意味著，可以通過(guò)檢查平均值是否收斂于特定值同時(shí)以相同方式來(lái)檢查方差，從而檢測(cè)漸弱。檢測(cè)到的特定圖案檢測(cè)結(jié)果可以是指示是否檢測(cè)到這種圖案的二進(jìn)制值。例如， 當(dāng)檢測(cè)到不利圖案是輸出值1，而如果未檢測(cè)到不利圖案則輸出值0。還可以根據(jù)檢測(cè)時(shí)的確定性(概率)，使用0和1之間的連續(xù)值(或者表示利用多個(gè)等級(jí)階段來(lái)指示的確信度的等級(jí)值)。這是針對(duì)每個(gè)畫面來(lái)示出的。可以以恒定周期集合地輸出檢測(cè)結(jié)果。將特定圖案檢測(cè)結(jié)果輸出至確信度值計(jì)算單元120。確信度值計(jì)算單元120根據(jù)從特定視頻圖案檢測(cè)單元110輸出的特定圖案檢測(cè)結(jié)果，關(guān)于每個(gè)畫面的特征來(lái)計(jì)算確信度值，并輸出確信度值。在該情況下，如果特定圖案檢測(cè)結(jié)果指示未檢測(cè)到特定圖案，則確信度值計(jì)算單元120輸出最大值作為確信度值(例如， 如果確信度值取從0至1的值，并且1表示最大確信度值，則該單元輸出1)。如果特定圖案檢測(cè)結(jié)果指示檢測(cè)到特定圖案，或者檢測(cè)到特定圖案的可能性較高，則確信度值計(jì)算單元 120根據(jù)程度來(lái)降低確信度值。這意味著，如果檢測(cè)到特定圖案，則將最小等級(jí)的值確定為確信度值；如果結(jié)果指示檢測(cè)到特定圖案的可能性較高，則根據(jù)程度來(lái)降低確信度值。針對(duì)每個(gè)畫面執(zhí)行該過(guò)程，將所獲得的值作為確信度值輸出。還可以以特定周期集合地獲得畫面的確信度值，并輸出確信度值。應(yīng)當(dāng)注意，在圖1中，將從特征提取單元130輸出的視覺(jué)特征而不是視頻輸入至特定視頻圖案檢測(cè)單元110(圖1中的虛線)。在該情況下，特定視頻圖案檢測(cè)單元110根據(jù)輸入的特征的來(lái)估計(jì)特定視頻圖案，從而檢測(cè)特定圖案。具體地，特定視頻圖案檢測(cè)單元 110關(guān)于被定義為特定視頻圖案的視頻來(lái)提取特征，并確定與輸入的視覺(jué)特征的相似度，從而檢測(cè)特定圖案。在上述漸弱的情況下，例如，特定視頻圖案檢測(cè)單元110通過(guò)檢測(cè)視覺(jué)特征是否接近于與亮度值在整個(gè)屏幕中恒定的情況相對(duì)應(yīng)的特征的值，來(lái)計(jì)算特定圖案檢測(cè)結(jié)果。如果使用亮度值的平均值和方差作為視覺(jué)特征，則如上所述，如果方差充分小并且平均值充分小，則確定場(chǎng)景漸弱為黑幀。如上所述，可以根據(jù)特征本身獲得特定視頻圖案，并計(jì)算確信度值。如上所述，在第一實(shí)施例中，由于檢測(cè)不利于標(biāo)識(shí)視頻的視頻圖案并且利用特征來(lái)產(chǎn)生確信度值以降低對(duì)應(yīng)畫面的確信度值，可以在執(zhí)行匹配時(shí)使用確信度值來(lái)提高匹配精度。此外，由于對(duì)預(yù)定的特定視頻圖案執(zhí)行檢測(cè)，可以采用適于特定視頻圖案的檢測(cè)方法，從而可以提高檢測(cè)精度。接下來(lái)，使用附圖來(lái)描述圖2中示出的本發(fā)明的第二實(shí)施例。參照?qǐng)D2，示出了根據(jù)本發(fā)明第二實(shí)施例的視頻簽名提取設(shè)備，該設(shè)備包括特征提取單元130、特定視頻圖案檢測(cè)單元210以及確信度值計(jì)算單元120。與圖1的情況相比，該設(shè)備類似于圖1所示的設(shè)備，只是使用特定視頻圖案檢測(cè)單元210來(lái)代替特定視頻圖案檢測(cè)單元110。特定視頻圖案檢測(cè)單元210基于輸入的特定視頻圖案信息，從視頻中檢測(cè)特定圖案，并將特定圖案檢測(cè)結(jié)果輸出至確信度值計(jì)算單元120。接下來(lái)描述圖2所示的視頻簽名提取設(shè)備的操作。特征提取單元130和確信度值計(jì)算單元120的操作與圖1中相同。將視頻和特定視頻圖案信息輸入至特定視頻圖案檢測(cè)單元210。特定視頻圖案信息是描述上述不利于標(biāo)識(shí)的視頻圖案的信息，例如可以是特定視頻本身。特定視頻可以是表示視頻的一個(gè)圖像，或者由多個(gè)連續(xù)圖像構(gòu)成的視頻片段，或者從視頻片段中獲得的多個(gè)圖像。此外，特定視頻圖案信息可以是檢測(cè)特定視頻圖案所需的視覺(jué)特征。應(yīng)當(dāng)注意，所述視覺(jué)特征不必需與特征提取單元130獲得的視覺(jué)特征相同。例如，在上述漸弱為黑色圖像的情況下，可以使用整個(gè)屏幕的亮度值的平均值和方差作為特征。特定視頻圖案檢測(cè)單元210根據(jù)輸入視頻與特定視頻圖案信息中描述的視頻之間的相似度來(lái)檢測(cè)特定視頻圖案。因此，如果特定視頻圖案信息是圖像本身，則特定視頻圖案檢測(cè)單元210根據(jù)輸入視頻的畫面和作為特定視頻圖案信息輸入的圖像來(lái)計(jì)算視覺(jué)特征，并比較其相似度，從而檢測(cè)特定圖案。在該過(guò)程中，可以使用特征之間的距離或者相似度值作為確定相似度的基礎(chǔ)。如果距離較小或者相似度值較大，則特定視頻圖案檢測(cè)單元 210根據(jù)程度定義檢測(cè)的確定性，并將其輸出作為特定圖案檢測(cè)結(jié)果。另一方面，如果特定視頻圖案信息是從圖像中提取的特征，則特定視頻圖案檢測(cè)單元210從輸入圖像中提取相同類型的特征，并執(zhí)行匹配。例如，如果利用邊緣直方圖的特征來(lái)描述特定視頻圖案信息，則特定視頻圖案檢測(cè)單元210根據(jù)輸入圖像計(jì)算每個(gè)畫面的邊緣直方圖。計(jì)算特征之后的操作與輸入圖像作為特定視頻圖案信息的情況相似。應(yīng)當(dāng)注意，對(duì)特定視頻圖案檢測(cè)單元210的輸入可以是從特征提取單元130輸出的視覺(jué)特征而不是視頻(圖2中的虛線)。在該情況下，特定視頻圖案檢測(cè)單元210根據(jù)輸入特征來(lái)估計(jì)特定視頻圖案，從而檢測(cè)特定圖案。如果特定視頻圖案信息是視頻本身，則特定視頻圖案檢測(cè)單元210從視頻中提取可以用于與從特征提取單元130輸出的特征執(zhí)行匹配的特征，并將其進(jìn)行比較。如果特定視頻圖案信息視覺(jué)特征，則該視覺(jué)特征必須是可以用于與從特征提取單元130輸出的特征執(zhí)行匹配的特征。如上所述，通過(guò)計(jì)算與特定視頻圖案的相似度值或距離，可以檢測(cè)不利視頻圖案并計(jì)算確信度值。在本方法的情況下，可以僅通過(guò)改變作為特定視頻圖案信息而給定的信息，在不確定每個(gè)特定視頻圖案的檢測(cè)方法的情況下，處理各種圖案。因此，即使在設(shè)備制造之后，也可以僅通過(guò)改變特定視頻圖案信息來(lái)擴(kuò)展設(shè)備能夠支持的視頻圖案。接下來(lái)使用附圖來(lái)描述圖3所示的本發(fā)明的第三實(shí)施例。參照?qǐng)D3，示出了根據(jù)本發(fā)明第三實(shí)施例的視頻簽名提取設(shè)備，該設(shè)備包括特征提取單元130、特定視頻圖案檢測(cè)單元210、確信度值計(jì)算單元120和公共視頻圖案學(xué)習(xí)單元250。與圖2的情況相比，該設(shè)備類似于圖2所示的視頻簽名提取設(shè)備，只是添加了公共視頻圖案學(xué)習(xí)單元250，從中輸出的特定視頻圖案信息連接至特定視頻圖案檢測(cè)單元210。接下來(lái)描述第三實(shí)施例的操作。特征提取單元130、特定視頻圖案檢測(cè)單元210和確信度值計(jì)算單元120的操作與圖2的情況相同。將學(xué)習(xí)視頻組輸入公共視頻圖案學(xué)習(xí)單元250。有利地，在該過(guò)程中輸入的視頻是獨(dú)立產(chǎn)生并且互相沒(méi)有導(dǎo)出關(guān)系的視頻組。這意味著，有利地，這些視頻沒(méi)有關(guān)系(如一個(gè)視頻是通過(guò)對(duì)另一視頻進(jìn)行編輯而產(chǎn)生之類的關(guān)系)。公共視頻圖案學(xué)習(xí)單元250從視頻組中提取視頻片段，所述視頻片段彼此幾乎一致地相同。具體地，公共視頻圖案學(xué)習(xí)單元 250針對(duì)每個(gè)畫面計(jì)算每個(gè)視頻的特征，并執(zhí)行計(jì)算在多個(gè)視頻對(duì)上特征之間的距離(相似度值)。因此，盡管視頻片段是獨(dú)立視頻，如果找到可以被認(rèn)為幾乎相同的視頻片段，則提取這些視頻片段作為特定視頻圖案信息。從而，可以通過(guò)學(xué)習(xí)自動(dòng)提取特定視頻圖案，而不是手動(dòng)確定特定視頻圖案。應(yīng)當(dāng)注意，如上所述，特定視頻圖案信息可以是從視頻中提取的特征，而不是視頻本身。在該情況下，公共視頻圖案學(xué)習(xí)單元250計(jì)算所提取的視頻圖案的特征，并將其輸出作為特定視頻圖案信息。圖7是示出了公共視頻圖案學(xué)習(xí)單元250的操作的流程圖。在步驟S10，從每個(gè)輸入視頻中提取視覺(jué)特征。在該步驟中使用的視覺(jué)特征提取方法不必需與特征提取單元130所使用的方法相同。在步驟S20，在所提取的視覺(jué)特征之間執(zhí)行匹配。從而，獲得要輸入的學(xué)習(xí)視頻的任何兩個(gè)視頻對(duì)之間的匹配結(jié)果。然后，在步驟S30，從匹配結(jié)果中提取具有較高相似度值(或較小距離)的視頻片段。在步驟S40，輸出所提取的視頻片段的信息，作為特定視頻圖案信息。如上所述輸出的特定視頻圖案信息輸入至特定視頻圖案檢測(cè)單元210。利用第三實(shí)施例，可以從多個(gè)視頻中自動(dòng)提取不利視頻圖案，具體地，提取在完全不同的多個(gè)視頻中產(chǎn)生的公共視頻圖案。接下來(lái)使用附圖來(lái)描述第四實(shí)施例。參照?qǐng)D4，示出了根據(jù)本發(fā)明第四實(shí)施例的視頻簽名提取設(shè)備，該設(shè)備包括特征提取單元130、特定視頻圖案檢測(cè)單元210、確信度值計(jì)算單元120以及健壯性惡化視頻圖案學(xué)習(xí)單元350。與圖3的情況相比，該設(shè)備類似于圖3所示的視頻簽名提取設(shè)備，只是使用健壯性惡化視頻圖案學(xué)習(xí)單元350來(lái)替代公共視頻圖案學(xué)習(xí)單元250。接下來(lái)描述第四實(shí)施例的操作。特征提取單元130、特定視頻圖案檢測(cè)單元210和確信度值計(jì)算單元120的操作與圖2的情況相同。將學(xué)習(xí)視頻組輸入至健壯性惡化視頻圖案學(xué)習(xí)單元350。學(xué)習(xí)視頻組用于學(xué)習(xí)在特征提取單元130中使用的視覺(jué)特征較不健壯的視頻圖案。在健壯性惡化視頻圖案學(xué)習(xí)單元350中，通過(guò)與在特征提取單元130中使用的相同的特征提取方法，從視頻中提取視覺(jué)特征。同時(shí)，執(zhí)行各種改變過(guò)程(編碼過(guò)程、噪聲添加、字幕疊加等等)，在這些過(guò)程之后，以類似方式執(zhí)行特征提取。然后，對(duì)這些過(guò)程之前的視覺(jué)特征和這些過(guò)程之后的視覺(jué)特征進(jìn)行比較，以檢查其如何改變。具體地，計(jì)算在這些過(guò)程之前和之后，特征之間的距離或相似度值。在該情況下，如果找到相似度值減小或者距離值增大的視頻，則提取該視頻作為特定視頻圖案信息。具體地，使用閾值來(lái)處理相似度值或距離值，提取相似度值變?yōu)樾∮谔囟ㄩ撝祷蛘呔嚯x值變?yōu)榇笥谔囟ㄩ撝档那闆r。從而，可以通過(guò)學(xué)習(xí)自動(dòng)提取特定視頻圖案，而不是手動(dòng)確定特定視頻圖案。應(yīng)當(dāng)注意，如上所述，特定視頻圖案信息可以是從視頻中提取的特征，而不是視頻本身。在該情況下，計(jì)算所提取的視頻圖案的特征，并將其輸出作為特定視頻圖案信息。圖8是示出了健壯性惡化視頻圖案學(xué)習(xí)單元350的操作的流程圖。首先，在步驟 S50，產(chǎn)生改變后的視頻。在該步驟中，通過(guò)對(duì)輸入視頻應(yīng)用各種預(yù)期改變過(guò)程來(lái)產(chǎn)生改變后的視頻。這些過(guò)程可以在以下描述的步驟S60之后執(zhí)行(在步驟S60在步驟S70之前執(zhí)行的情況下)。在步驟S60，從改變之前的視頻中提取視覺(jué)特征。在該步驟中使用的特征提取方法與特征提取單元130中使用的方法相同。從而，針對(duì)每個(gè)改變之前的視頻計(jì)算視覺(jué)特征。在步驟S70，從改變后的視頻中提取視覺(jué)特征。在該步驟中，針對(duì)在步驟S50產(chǎn)生的改變后的視頻中的每一個(gè)，提取視覺(jué)特征。在該步驟中使用的特征提取方法與特征提取單元130中使用的方法相同。從而，針對(duì)每個(gè)改變后的視頻，計(jì)算視覺(jué)特征。在步驟S80，對(duì)改變之前和之后的視覺(jué)特征執(zhí)行匹配。在該步驟中，在改變之前和之后的對(duì)應(yīng)特征的視覺(jué)特征之間執(zhí)行匹配。在該匹配中，通過(guò)將改變之前和之后的畫面相關(guān)來(lái)執(zhí)行匹配。然后，針對(duì)每個(gè)畫面或者通過(guò)以時(shí)間序列方式將多個(gè)畫面置于一起而形成的每個(gè)視頻片段，輸出匹配結(jié)果。然后，在步驟S90，從匹配結(jié)果中提取特征之間的距離較大或者特征之間的相似度值較小的視頻片段。最終，在步驟S100，從所提取的視頻片段中的視頻產(chǎn)生特定視頻圖案信息，并輸出 iMin 息。按照這種方式輸出的特定視頻圖案信息輸入至特定視頻圖案檢測(cè)單元210。利用第四實(shí)施例，與第三實(shí)施例的情況相同，可以從多個(gè)視頻中自動(dòng)提取不利視頻圖案。接下來(lái)描述圖1至4所示的視頻簽名提取設(shè)備產(chǎn)生的視頻簽名的匹配設(shè)備的實(shí)施例。參照?qǐng)D5，示出了對(duì)圖1至4中示出的視頻簽名提取設(shè)備產(chǎn)生的視頻簽名執(zhí)行匹配的視頻簽名匹配設(shè)備的實(shí)施例，該視頻簽名匹配設(shè)備包括匹配參數(shù)計(jì)算單元410和匹配單元 400。匹配參數(shù)計(jì)算單元410從第一確信度值信息和第二確信度值信息中獲得匹配參數(shù)，并將其輸出至匹配單元400。匹配單元400使用匹配參數(shù)來(lái)執(zhí)行第一視覺(jué)特征與第二視覺(jué)特征之間的匹配，并輸出匹配結(jié)果。應(yīng)當(dāng)注意，第一視覺(jué)特征和第一確信度值信息構(gòu)成第一視頻的視頻簽名，第二視覺(jué)特征和第二確信度值信息構(gòu)成第二視頻的視頻簽名。接下來(lái)描述圖5所示的視頻簽名匹配設(shè)備的操作。首先，將從第一視頻獲取的第一確信度值信息和第二確信度值信息輸入至匹配參數(shù)計(jì)算單元410。匹配參數(shù)計(jì)算單元410根據(jù)第一確信度值信息和第二確信度值信息，計(jì)算用于在第一視頻的片段與第二視頻的片段之間進(jìn)行匹配的匹配參數(shù)。例如，根據(jù)第一確信度值信息和第二確信度值信息，計(jì)算用于對(duì)每個(gè)畫面執(zhí)行匹配的加權(quán)系數(shù)，作為匹配參數(shù)。盡管存在多種方法以根據(jù)第一確信度值信息和第二確信度值信息來(lái)計(jì)算加權(quán)系數(shù)，但是如果滿足以下條件，則可以使用任何方法當(dāng)確信度值中的任一個(gè)與較小值相對(duì)應(yīng)時(shí)，加權(quán)系數(shù)減小；當(dāng)與確信度值信息相對(duì)應(yīng)的加權(quán)系數(shù)增大時(shí)，加權(quán)系數(shù)增大。例如，如果從第一確信度值信息和第二確信度值信息中獲取的第一視頻的第h個(gè)畫面的確信度值和第二視頻的第1 個(gè)畫面的確信度值分別為GO和r2 (k2)，則可以利用表達(dá)式1來(lái)計(jì)算用于在這些畫面之間執(zhí)行匹配的加權(quán)系數(shù)k2)。[表達(dá)式1]W (Ii1，k2) = min (Ii1)，r2 (k2))匹配單元400對(duì)第一視覺(jué)特征和第二視覺(jué)特征執(zhí)行匹配?？梢允褂弥甘緝蓚€(gè)特征之間的相似度的相似度值，或者使用指示兩個(gè)特征之間的差異等級(jí)的距離，來(lái)對(duì)兩個(gè)特征進(jìn)行比較。在使用距離來(lái)進(jìn)行比較的情況下，基于表達(dá)式2計(jì)算的距離d來(lái)執(zhí)行比較。[表達(dá)式2]
權(quán)利要求
1.一種視頻簽名產(chǎn)生設(shè)備，包括視覺(jué)特征提取單元，基于視頻中多個(gè)子區(qū)域?qū)Φ奶卣鱽?lái)提取用于標(biāo)識(shí)視頻的視覺(jué)特征；以及確信度值計(jì)算單元，計(jì)算視覺(jué)特征的確信度值，其中，如果所述視頻是特定視頻，則與所述視頻不同于所述特定視頻的情況相比，確信度值計(jì)算單元計(jì)算的確信度值具有較小值。
2.根據(jù)權(quán)利要求1所述的視頻特征產(chǎn)生設(shè)備，其中，所述確信度值是表示在使用視覺(jué)特征在所述視頻與另一視頻之間執(zhí)行匹配時(shí)的匹配結(jié)果的確定性的值。
3.根據(jù)權(quán)利要求1或2所述的視頻特征產(chǎn)生設(shè)備，其中視覺(jué)特征提取單元基于構(gòu)成所述視頻中的每個(gè)子區(qū)域?qū)Φ膬蓚€(gè)子區(qū)域的特征之間的差值來(lái)提取視覺(jué)特征。
4.根據(jù)權(quán)利要求3所述的視頻特征產(chǎn)生設(shè)備，其中，子區(qū)域的特征是子區(qū)域的平均像素值。
5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的視頻特征產(chǎn)生設(shè)備，其中，所述特定視頻是具有平坦像素值的視頻。
6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的視頻特征產(chǎn)生設(shè)備，其中，所述特定視頻是整個(gè)視頻中的亮度值的方差較小的視頻。
7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的視頻特征產(chǎn)生設(shè)備，其中，所述特定視頻是整個(gè)屏幕中亮度值幾乎均勻的視頻。
8.根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的視頻特征產(chǎn)生設(shè)備，其中，提取視覺(jué)特征和計(jì)算確信度值是針對(duì)每個(gè)畫面來(lái)執(zhí)行的。
9.根據(jù)權(quán)利要求8所述的視頻特征產(chǎn)生設(shè)備，其中，所述畫面是幀。
10.根據(jù)權(quán)利要求3至9中任一項(xiàng)所述的視頻特征產(chǎn)生設(shè)備，其中，視覺(jué)特征提取單元通過(guò)量化所述差值來(lái)計(jì)算視覺(jué)特征。
11.根據(jù)權(quán)利要求1至10中任一項(xiàng)所述的視頻特征產(chǎn)生設(shè)備，還包括復(fù)用單元，對(duì)視覺(jué)特征和確信度值進(jìn)行復(fù)用，并輸出復(fù)用后的視覺(jué)特征和確信度值作為視頻簽名。
12.一種視頻簽名匹配設(shè)備，使用第一視覺(jué)特征，根據(jù)第一視頻中的多個(gè)子區(qū)域?qū)Φ奶卣鱽?lái)計(jì)算，并且用于標(biāo)識(shí)視頻； 第一確信度值信息，指示第一視覺(jué)特征的確信度值，如果第一視頻是特定視頻，則與第一視頻不同于所述特定視頻的情況相比，所述第一確信度值信息被計(jì)算為取較小值；第二視覺(jué)特征，根據(jù)第二視頻中的多個(gè)子區(qū)域?qū)Φ奶卣鱽?lái)計(jì)算，并且用于標(biāo)識(shí)第二視頻；以及第二確信度值信息，指示第二視覺(jué)特征的確信度值，如果第二視頻是特定視頻，則與第二視頻不同于所述特定視頻的情況相比，所述第二確信度值信息被計(jì)算為取較小值； 所述設(shè)備包括匹配參數(shù)計(jì)算單元，基于第一確信度值信息和第二確信度值信息來(lái)計(jì)算匹配參數(shù)；以及匹配單元，根據(jù)匹配參數(shù)來(lái)執(zhí)行第一視覺(jué)特征與第二視覺(jué)特征之間的匹配，并輸出匹配結(jié)果。
13.根據(jù)權(quán)利要求12所述的視頻簽名匹配設(shè)備，其中第一視覺(jué)特征是根據(jù)構(gòu)成第一視頻中的每個(gè)子區(qū)域?qū)Φ膬蓚€(gè)子區(qū)域的特征之間的差值來(lái)計(jì)算的，第二視覺(jué)特征是根據(jù)構(gòu)成第二視頻中的每個(gè)子區(qū)域?qū)Φ膬蓚€(gè)子區(qū)域的特征之間的差值來(lái)計(jì)算的。
14.根據(jù)權(quán)利要求12或13所述的視頻簽名匹配設(shè)備，其中所述匹配參數(shù)是根據(jù)第一確信度值和第二確信度值中的較小值來(lái)確定的。
15.根據(jù)權(quán)利要求12至14中任一項(xiàng)所述的視頻簽名匹配設(shè)備，其中匹配參數(shù)計(jì)算單元計(jì)算指示在計(jì)算第一視覺(jué)特征與第二視覺(jué)特征之間的距離或相似度時(shí)使用的權(quán)重的值，作為匹配參數(shù)；以及匹配單元通過(guò)使用由匹配參數(shù)確定的權(quán)重來(lái)計(jì)算第一視覺(jué)特征與第二視覺(jué)特征之間的距離或相似度，從而獲得匹配結(jié)果。
16.根據(jù)權(quán)利要求12至15中任一項(xiàng)所述的視頻簽名匹配設(shè)備，其中如果第一視覺(jué)特征與第二視覺(jué)特征之一的確信度值較低，則匹配參數(shù)計(jì)算單元輸出特定參數(shù)作為匹配參數(shù)；以及如果匹配參數(shù)是所述特定參數(shù)，則匹配單元通過(guò)消除第一視覺(jué)特征與第二視覺(jué)特征之間的距離或相似度，來(lái)計(jì)算匹配結(jié)果。
17.根據(jù)權(quán)利要求12至16中任一項(xiàng)所述的視頻簽名匹配設(shè)備，其中當(dāng)針對(duì)每個(gè)畫面來(lái)執(zhí)行第一視覺(jué)特征與第二視覺(jué)特征之間的匹配時(shí)，匹配參數(shù)計(jì)算單元輸出定義針對(duì)每個(gè)畫面的匹配失敗次數(shù)的可允許值的參數(shù)，作為匹配參數(shù)；以及如果針對(duì)每個(gè)畫面的匹配失敗次數(shù)在可允許值之內(nèi)，則匹配單元繼續(xù)匹配，并計(jì)算匹配結(jié)果。
18.—種匹配設(shè)備，利用根據(jù)權(quán)利要求1至11中任一項(xiàng)所述的視頻簽名產(chǎn)生設(shè)備所產(chǎn)生的視頻簽名來(lái)執(zhí)行匹配。
19.一種視頻簽名產(chǎn)生方法，包括基于視頻中多個(gè)子區(qū)域?qū)Φ奶卣鱽?lái)提取用于標(biāo)識(shí)視頻的視覺(jué)特征；以及計(jì)算視覺(jué)特征的確信度值，其中，如果所述視頻是特定視頻，則與所述視頻不同于所述特定視頻的情況相比，計(jì)算的確信度值具有較小值。
20.根據(jù)權(quán)利要求19所述的視頻特征產(chǎn)生方法，其中，所述確信度值是表示在使用視覺(jué)特征在所述視頻與另一視頻之間執(zhí)行匹配時(shí)的匹配結(jié)果的確定性的值。
21.根據(jù)權(quán)利要求19或20所述的視頻特征產(chǎn)生方法，其中基于構(gòu)成所述視頻中的每個(gè)子區(qū)域?qū)Φ膬蓚€(gè)子區(qū)域的特征之間的差值來(lái)提取視覺(jué)特征。
22.根據(jù)權(quán)利要求21所述的視頻特征產(chǎn)生方法，其中，子區(qū)域的特征是子區(qū)域的平均像素值。
23.根據(jù)權(quán)利要求19至22中任一項(xiàng)所述的視頻特征產(chǎn)生方法，其中，所述特定視頻是具有平坦像素值的視頻。
24.根據(jù)權(quán)利要求19至23中任一項(xiàng)所述的視頻特征產(chǎn)生方法，其中，所述特定視頻是整個(gè)視頻中的亮度值的方差較小的視頻。
25.根據(jù)權(quán)利要求19至24中任一項(xiàng)所述的視頻特征產(chǎn)生方法，其中，所述特定視頻是整個(gè)屏幕中亮度值幾乎均勻的視頻。
26.根據(jù)權(quán)利要求19至25中任一項(xiàng)所述的視頻特征產(chǎn)生方法，其中，提取視覺(jué)特征和計(jì)算確信度值是針對(duì)每個(gè)畫面來(lái)執(zhí)行的。
27.根據(jù)權(quán)利要求沈所述的視頻特征產(chǎn)生方法，其中，所述畫面是幀。
28.根據(jù)權(quán)利要求21至27中任一項(xiàng)所述的視頻特征產(chǎn)生方法，其中，通過(guò)量化所述差值來(lái)計(jì)算視覺(jué)特征。
29.根據(jù)權(quán)利要求19至觀中任一項(xiàng)所述的視頻特征產(chǎn)生方法，還包括對(duì)視覺(jué)特征和確信度值進(jìn)行復(fù)用，并輸出復(fù)用后的視覺(jué)特征和確信度值作為視頻簽名。
30.一種視頻簽名匹配方法，使用第一視覺(jué)特征，根據(jù)第一視頻中的多個(gè)子區(qū)域?qū)Φ奶卣鱽?lái)計(jì)算，并且用于標(biāo)識(shí)視頻；第一確信度值信息，指示第一視覺(jué)特征的確信度值，如果第一視頻是特定視頻，則與第一視頻不同于所述特定視頻的情況相比，所述第一確信度值信息被計(jì)算為取較小值；第二視覺(jué)特征，根據(jù)第二視頻中的多個(gè)子區(qū)域?qū)Φ奶卣鱽?lái)計(jì)算，并且用于標(biāo)識(shí)第二視頻；以及第二確信度值信息，指示第二視覺(jué)特征的確信度值，如果第二視頻是特定視頻，則與第二視頻不同于所述特定視頻的情況相比，所述第二確信度值信息被計(jì)算為取較小值；所述方法包括基于第一確信度值信息和第二確信度值信息來(lái)計(jì)算匹配參數(shù)；以及根據(jù)匹配參數(shù)來(lái)執(zhí)行第一視覺(jué)特征與第二視覺(jué)特征之間的匹配，并輸出匹配結(jié)果。
31.根據(jù)權(quán)利要求30所述的視頻簽名匹配方法，其中第一視覺(jué)特征是根據(jù)構(gòu)成第一視頻中的每個(gè)子區(qū)域?qū)Φ膬蓚€(gè)子區(qū)域的特征之間的差值來(lái)計(jì)算的，第二視覺(jué)特征是根據(jù)構(gòu)成第二視頻中的每個(gè)子區(qū)域?qū)Φ膬蓚€(gè)子區(qū)域的特征之間的差值來(lái)計(jì)算的。
32.根據(jù)權(quán)利要求30或31所述的視頻簽名匹配方法，其中所述匹配參數(shù)是根據(jù)第一確信度值和第二確信度值中的較小值來(lái)確定的。
33.根據(jù)權(quán)利要求30至32中任一項(xiàng)所述的視頻簽名匹配方法，其中計(jì)算指示在計(jì)算第一視覺(jué)特征與第二視覺(jué)特征之間的距離或相似度時(shí)使用的權(quán)重的值，作為匹配參數(shù)；以及通過(guò)使用由匹配參數(shù)確定的權(quán)重來(lái)計(jì)算第一視覺(jué)特征與第二視覺(jué)特征之間的距離或相似度，從而獲得匹配結(jié)果。
34.根據(jù)權(quán)利要求30至33中任一項(xiàng)所述的視頻簽名匹配方法，其中如果第一視覺(jué)特征與第二視覺(jué)特征之一的確信度值較低，則輸出特定參數(shù)作為匹配參數(shù)；以及如果匹配參數(shù)是所述特定參數(shù)，則通過(guò)消除第一視覺(jué)特征與第二視覺(jué)特征之間的距離或相似度，來(lái)計(jì)算匹配結(jié)果。
35.根據(jù)權(quán)利要求30至34中任一項(xiàng)所述的視頻簽名匹配方法，其中當(dāng)針對(duì)每個(gè)畫面來(lái)執(zhí)行第一視覺(jué)特征與第二視覺(jué)特征之間的匹配時(shí)，輸出定義針對(duì)每個(gè)畫面的匹配失敗次數(shù)的可允許值的參數(shù)，作為匹配參數(shù)；以及如果針對(duì)每個(gè)畫面的匹配失敗次數(shù)在可允許值之內(nèi)，則繼續(xù)匹配，并計(jì)算匹配結(jié)果。
36.一種匹配方法，利用根據(jù)權(quán)利要求19至四中任一項(xiàng)所述的視頻簽名產(chǎn)生方法所產(chǎn)生的視頻簽名來(lái)執(zhí)行匹配。
37.一種程序，使計(jì)算機(jī)用作視覺(jué)特征提取單元，基于視頻中多個(gè)子區(qū)域?qū)Φ奶卣鱽?lái)提取用于標(biāo)識(shí)視頻的視覺(jué)特征；以及確信度值計(jì)算單元，計(jì)算視覺(jué)特征的確信度值，其中，如果所述視頻是特定視頻，則與所述視頻不同于所述特定視頻的情況相比，確信度值計(jì)算單元計(jì)算的確信度值具有較小值。
38.一種程序，使計(jì)算機(jī)使用第一視覺(jué)特征，根據(jù)第一視頻中的多個(gè)子區(qū)域?qū)Φ奶卣鱽?lái)計(jì)算，并且用于標(biāo)識(shí)視頻； 第一確信度值信息，指示第一視覺(jué)特征的確信度值，如果第一視頻是特定視頻，則與第一視頻不同于所述特定視頻的情況相比，所述第一確信度值信息被計(jì)算為取較小值；第二視覺(jué)特征，根據(jù)第二視頻中的多個(gè)子區(qū)域?qū)Φ奶卣鱽?lái)計(jì)算，并且用于標(biāo)識(shí)第二視頻；以及第二確信度值信息，指示第二視覺(jué)特征的確信度值，如果第二視頻是特定視頻，則與第二視頻不同于所述特定視頻的情況相比，所述第二確信度值信息被計(jì)算為取較小值； 以用作匹配參數(shù)計(jì)算單元，基于第一確信度值信息和第二確信度值信息來(lái)計(jì)算匹配參數(shù)；以及匹配單元，根據(jù)匹配參數(shù)來(lái)執(zhí)行第一視覺(jué)特征與第二視覺(jué)特征之間的匹配，并輸出匹配結(jié)果。
全文摘要
本發(fā)明提供了一種視頻簽名產(chǎn)生設(shè)備，包括視覺(jué)特征提取單元，基于視頻中多個(gè)子區(qū)域?qū)Φ奶卣鱽?lái)提取要用于標(biāo)識(shí)視頻的視覺(jué)特征；以及確信度值計(jì)算單元，計(jì)算視覺(jué)特征的確信度值，其中，如果所述視頻是特定視頻，則與所述視頻不同于所述特定視頻的情況相比，確信度值計(jì)算單元計(jì)算的確信度值具有較小值。
文檔編號(hào)G06F17/30GK102301697SQ20108000560
公開(kāi)日2011年12月28日 申請(qǐng)日期2010年1月20日 優(yōu)先權(quán)日2009年1月29日
發(fā)明者大網(wǎng)亮磨, 巖元浩太 申請(qǐng)人:日本電氣株式會(huì)社