本發(fā)明屬于圖像處理
技術(shù)領(lǐng)域：
，涉及一種視頻同步方法，具體涉及一種基于投影不變描述子的視頻同步方法，可應(yīng)用于目標(biāo)識(shí)別與跟蹤、視頻拼接、高分辨率視頻合成及三維重建等領(lǐng)域。
背景技術(shù)：
：視頻同步是將非標(biāo)定且放置在不同視角位置的多個(gè)攝像機(jī)記錄的同一動(dòng)態(tài)場(chǎng)景的多個(gè)視頻進(jìn)行時(shí)間校準(zhǔn)的技術(shù)，視頻同步的核心目標(biāo)是建立多個(gè)視頻中來自同一物理時(shí)刻的視頻幀的對(duì)應(yīng)關(guān)系。視頻同步大致分為兩類：直接法和基于特征的方法。直接法通常以一整個(gè)視頻幀作為輸入，針對(duì)所有的像素值進(jìn)行綜合計(jì)算處理，其主要使用視頻中全局性的灰度值動(dòng)態(tài)信息完成視頻同步，例如流水、飄動(dòng)的旗幟、閃爍的火焰、光照變換等等。基于特征的視頻同步方法主要使用視頻中具有代表性的動(dòng)態(tài)特征完成視頻同步，例如場(chǎng)景中物體的形狀變化，運(yùn)動(dòng)目標(biāo)軌跡等。對(duì)直接法和基于特征的方法進(jìn)行對(duì)比可以發(fā)現(xiàn)。直接法對(duì)于視角差異較大，視頻間“外貌”差異較大的場(chǎng)景無法獲得較好的結(jié)果，且由于直接法是對(duì)每個(gè)像素點(diǎn)都進(jìn)行計(jì)算，所以算法的運(yùn)算復(fù)雜度比較高，計(jì)算量非常大。而基于特征的方法比直接法具有較高的效率和較低的計(jì)算量，且基于特征的視頻同步方法可以應(yīng)用于不同光譜特性的視頻同步問題。所以，基于特征的視頻同步方法具有更廣泛的適用性，是當(dāng)前的研究熱點(diǎn)。在基于特征的視頻同步方法中，基于軌跡的視頻同步方法占有主導(dǎo)地位，該類方法的基本思想是，含有重疊視角區(qū)域的像機(jī)所獲得的視頻的離散軌跡點(diǎn)集之間含有軌跡點(diǎn)的匹配對(duì)應(yīng)關(guān)系，通過軌跡點(diǎn)的匹配對(duì)應(yīng)關(guān)系獲得視頻的時(shí)間對(duì)應(yīng)關(guān)系。通常情況下，基于軌跡的視頻同步方法首先分別從參考視頻和待同步視頻中提取出各自的軌跡點(diǎn)集，每一個(gè)軌跡點(diǎn)包含它的位置信息和時(shí)間信息。然后使用投影不變表示或者多視圖幾何技術(shù)建立兩個(gè)離散軌跡點(diǎn)集之間的軌跡點(diǎn)匹配關(guān)系，提取出軌跡點(diǎn)的時(shí)間信息，從而獲得輸入視頻的時(shí)間對(duì)應(yīng)關(guān)系。目前，基于軌跡的視頻同步方法中典型的有基于仿射模型、基于投影不變表示和基于對(duì)極幾何約束三種方法，其中，基于仿射模型的視頻同步方法(luc,mandalm.arobusttechniqueformotion-basedvideosequencestemporalalignment.ieeetransactionsonmultimedia,2013,15(1):70-82.)，使用仿射變換作為軌跡點(diǎn)集之間的幾何變換模型，能夠?qū)ο駲C(jī)間視角差異較小的平面運(yùn)動(dòng)場(chǎng)景獲得較好的效果。但是，當(dāng)像機(jī)間視角差異較大或者運(yùn)動(dòng)目標(biāo)做非平面運(yùn)動(dòng)時(shí)，基于仿射模型的視頻同步方法不能正確模擬不同視角之間的幾何變換關(guān)系，將計(jì)算出大量的錯(cuò)誤軌跡點(diǎn)匹配對(duì)。因此基于仿射模型的視頻同步方法不能對(duì)存在較大視角差異或者運(yùn)動(dòng)目標(biāo)做非平面運(yùn)動(dòng)的兩個(gè)視頻進(jìn)行同步?；谕队安蛔儽硎镜囊曨l同步方法(nunziatiw,sclaroffs,delbimboa.matchingtrajectoriesbetweenvideosequencesbyexploitingasparseprojectiveinvariantrepresentation.ieeetransactionsonpatternanalysisandmachineintelligence,2010,32(3):517-529.)，使用當(dāng)前軌跡點(diǎn)及其四個(gè)鄰域軌跡點(diǎn)構(gòu)造出一個(gè)五共面點(diǎn)結(jié)構(gòu)，并且以五共面點(diǎn)交比作為軌跡點(diǎn)的描述，因此能夠?qū)Υ嬖谳^大視角差異的視頻進(jìn)行同步。但是由于其要求軌跡點(diǎn)共面，所以不能應(yīng)對(duì)運(yùn)動(dòng)目標(biāo)做非平面運(yùn)動(dòng)的場(chǎng)景。并且由于其使用鄰域軌跡點(diǎn)構(gòu)造五點(diǎn)結(jié)構(gòu)，且其使用的時(shí)間間隔參數(shù)與視頻幀率比相關(guān)，所以當(dāng)運(yùn)動(dòng)目標(biāo)的軌跡含有較多形狀相似的片段或者輸入視頻間幀率未知不等時(shí)，該方法不能將這些軌跡點(diǎn)進(jìn)行區(qū)分，從而導(dǎo)致獲得較差的同步結(jié)果。基于對(duì)極幾何約束的視頻同步方法(paduaf,carceronir,santosg,etal,linearsequence-to-sequencealignment,ieeetransactionsonpatternanalysisandmachineintelligence.32(2)(2010)304-320.)，以對(duì)極線與軌跡曲線的交點(diǎn)作為待求的匹配軌跡點(diǎn)，因此基于對(duì)極幾何約束的視頻同步方法可以應(yīng)對(duì)運(yùn)動(dòng)目標(biāo)做非平面運(yùn)動(dòng)或含有較多相似軌跡片段的場(chǎng)景。但是該方法由于使用對(duì)極線與軌跡曲線的交點(diǎn)作為待求的匹配軌跡點(diǎn)，因此僅適用于對(duì)極線與軌跡曲線含有較少交點(diǎn)的情況，當(dāng)場(chǎng)景中含有較多運(yùn)動(dòng)目標(biāo)或者運(yùn)動(dòng)目標(biāo)做復(fù)雜運(yùn)動(dòng)時(shí)，對(duì)極線與軌跡曲線含有大量交點(diǎn)，從而導(dǎo)致該方法得到較差的結(jié)果。綜上所述，當(dāng)面對(duì)攝像機(jī)幀率未知不等、像機(jī)間視角差較大、多個(gè)運(yùn)動(dòng)目標(biāo)及運(yùn)動(dòng)目標(biāo)做平面或者非平面運(yùn)動(dòng)等多種場(chǎng)景時(shí)，現(xiàn)有的技術(shù)往往很難對(duì)軌跡點(diǎn)進(jìn)行有效的描述及匹配，從而導(dǎo)致其僅能部分的應(yīng)對(duì)上述不同場(chǎng)景的視頻同步問題，適用范圍較窄。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)存在的缺陷，提出了一種基于投影不變描述子的視頻同步方法，用于解決現(xiàn)有技術(shù)無法適用多種不同場(chǎng)景的視頻同步導(dǎo)致的適用范圍較窄的技術(shù)問題。本發(fā)明的技術(shù)思路是：首先對(duì)輸入視頻進(jìn)行運(yùn)動(dòng)目標(biāo)軌跡提取及背景圖像匹配；接下來利用背景特征點(diǎn)匹配對(duì)進(jìn)行對(duì)極幾何估計(jì)，得到背景圖像間的基礎(chǔ)矩陣及對(duì)極點(diǎn)；利用若干背景特征點(diǎn)及對(duì)極點(diǎn)，基于五共面點(diǎn)交比為每一個(gè)軌跡點(diǎn)構(gòu)建投影不變描述子；然后按照最近鄰比次近鄰小于指定閾值的準(zhǔn)則獲得初始軌跡點(diǎn)匹配對(duì)；采用軌跡點(diǎn)聯(lián)合匹配及對(duì)極幾何約束剔除錯(cuò)誤軌跡點(diǎn)匹配對(duì)；提取軌跡點(diǎn)的時(shí)間信息，獲得視頻間的初級(jí)幀匹配對(duì)；以重復(fù)多次采樣構(gòu)建計(jì)分矩陣及閾值化的方法獲得最終幀匹配對(duì)，最后使用隨機(jī)抽樣一致算法計(jì)算出輸入視頻間的時(shí)間模型參數(shù)。根據(jù)上述技術(shù)思路，實(shí)現(xiàn)本發(fā)明的目的所采取的技術(shù)方案包括如下步驟：(1)獲取同一動(dòng)態(tài)場(chǎng)景的參考視頻和待同步視頻：使用兩臺(tái)未標(biāo)定的攝像機(jī)，從不同視角位置拍攝含有多個(gè)運(yùn)動(dòng)目標(biāo)的同一動(dòng)態(tài)場(chǎng)景，得到兩個(gè)視頻v1和v2，并將視頻v1作為參考視頻，視頻v2作為待同步視頻；(2)運(yùn)動(dòng)目標(biāo)軌跡提取及背景圖像匹配：對(duì)參考視頻v1進(jìn)行特征提取，得到參考視頻v1的運(yùn)動(dòng)目標(biāo)軌跡點(diǎn)集t1＝{p1i|i＝1,2,3...n1}和背景圖像i1，對(duì)待同步視頻v2進(jìn)行特征提取，得到待同步視頻v2的運(yùn)動(dòng)目標(biāo)軌跡點(diǎn)集t2＝{p2j|j＝1,2,3...n2}和背景圖像i2，并對(duì)背景圖像i1和背景圖像i2進(jìn)行圖像匹配，得到背景圖像i1和背景圖像i2之間的特征點(diǎn)匹配對(duì)集合b＝{(bi,bi′)|i＝1,2,3...n0}，其中，p1i是軌跡點(diǎn)集t1中的第i個(gè)軌跡點(diǎn)，n1是軌跡點(diǎn)集t1中的軌跡點(diǎn)總數(shù)，p2j是軌跡點(diǎn)集t2中的第j個(gè)軌跡點(diǎn)，n2是軌跡點(diǎn)集t2中的軌跡點(diǎn)總數(shù)，bi是背景圖像i1中的特征點(diǎn)，bi′是背景圖像i2中的特征點(diǎn)，n0是背景特征點(diǎn)匹配對(duì)集合b中的特征點(diǎn)匹配對(duì)總數(shù)；(3)估計(jì)背景圖像i1和背景圖像i2之間的對(duì)極幾何：利用特征點(diǎn)匹配對(duì)集合b，對(duì)背景圖像i1和背景圖像i2之間的對(duì)極幾何進(jìn)行估計(jì)，得到背景圖像i1和背景圖像i2之間的基礎(chǔ)矩陣f，及背景圖像i1的對(duì)極點(diǎn)e和背景圖像i2的對(duì)極點(diǎn)e′；(4)初始化循環(huán)控制數(shù)及幀匹配對(duì)計(jì)分矩陣：設(shè)置構(gòu)建幀匹配對(duì)計(jì)分矩陣的循環(huán)控制數(shù)為s，循環(huán)控制變量s＝0,初始化幀匹配對(duì)計(jì)分矩陣mc中所有元素的值為零；(5)構(gòu)建軌跡點(diǎn)集t1對(duì)應(yīng)的投影不變描述子集合d1和軌跡點(diǎn)集t2對(duì)應(yīng)的投影不變描述子集合d2：5a)設(shè)置投影不變描述子的維度數(shù)為n，循環(huán)控制變量index＝0；5b)從背景圖像特征點(diǎn)匹配對(duì)集合b中，分塊隨機(jī)采樣出在背景圖像i1中的3個(gè)特征點(diǎn){b1,b2,b3}，及在背景圖像i2中與背景圖像i1中的3個(gè)特征點(diǎn)匹配的3個(gè)特征點(diǎn){b′1,b′2,b′3}；5c)經(jīng)過特征點(diǎn)b1和b2做直線l1，經(jīng)過對(duì)極點(diǎn)e和特征點(diǎn)b3做直線l2，并求出直線l1和l2的交點(diǎn)bc；5d)對(duì)t1中的每一個(gè)軌跡點(diǎn)p1i(i＝1,...,n1)，計(jì)算五共面點(diǎn)的交比γ(p1i,b1,b2,bc,e)，并將其作為軌跡點(diǎn)p1i的投影不變描述子向量的第index個(gè)分量；5e)經(jīng)過特征點(diǎn)b′1和b′2做直線l′1，經(jīng)過對(duì)極點(diǎn)e′和特征點(diǎn)b′3做直線l′2，并求出直線l′1和l′2的交點(diǎn)b′c；5f)對(duì)t2中的每一個(gè)軌跡點(diǎn)p2j(j＝1,...,n2)，計(jì)算五共面點(diǎn)的交比γ(p2j,b′1,b′2,b′c,e′)，并將其作為軌跡點(diǎn)p2j的投影不變描述子向量的第index個(gè)分量；5g)令循環(huán)控制變量index加1，判斷循環(huán)控制變量index是否小于等于投影不變描述子的維度數(shù)n，若是，執(zhí)行步驟5b)，否則，結(jié)束循環(huán)，得到軌跡點(diǎn)集t1對(duì)應(yīng)的投影不變描述子集合d1和軌跡點(diǎn)集t2對(duì)應(yīng)的投影不變描述子集合d2；(6)獲取軌跡點(diǎn)集t1與軌跡點(diǎn)集t2之間的初始軌跡點(diǎn)匹配對(duì)集合按照最近鄰比次近鄰小于指定閾值的準(zhǔn)則，對(duì)軌跡點(diǎn)集t1的描述子集合d1和軌跡點(diǎn)集t2的描述子集合d2進(jìn)行描述子匹配，得到軌跡點(diǎn)集t1與軌跡點(diǎn)集t2之間的初始軌跡點(diǎn)匹配對(duì)集合(7)對(duì)軌跡點(diǎn)集t1與軌跡點(diǎn)集t2之間的初始軌跡點(diǎn)匹配對(duì)集合進(jìn)行修正：7a)對(duì)與初始軌跡點(diǎn)匹配對(duì)集合中的每一對(duì)軌跡點(diǎn)匹配對(duì)來自同一幀的軌跡點(diǎn)子集進(jìn)行聯(lián)合匹配，并根據(jù)匹配結(jié)果，檢查初始軌跡點(diǎn)匹配對(duì)集合中的每一對(duì)軌跡點(diǎn)匹配對(duì)是否為正確匹配對(duì)；7b)剔除初始軌跡點(diǎn)匹配對(duì)集合中的錯(cuò)誤的軌跡點(diǎn)匹配對(duì)，得到軌跡點(diǎn)匹配對(duì)集合(8)對(duì)軌跡點(diǎn)匹配對(duì)集合進(jìn)行修正：對(duì)軌跡點(diǎn)匹配對(duì)集合中的每一對(duì)軌跡點(diǎn)匹配對(duì)施加對(duì)極幾何約束，并將錯(cuò)誤的軌跡點(diǎn)匹配對(duì)從中剔除，得到軌跡點(diǎn)匹配對(duì)集合(9)獲取初級(jí)幀匹配對(duì)集合提取軌跡點(diǎn)匹配對(duì)集合中的每一對(duì)軌跡點(diǎn)的時(shí)間信息，得到參考視頻v1與待同步視頻v2之間的初級(jí)幀匹配對(duì)集合(10)分別對(duì)幀匹配對(duì)計(jì)分矩陣和循環(huán)控制變量進(jìn)行更新：給幀匹配對(duì)計(jì)分矩陣mc中與當(dāng)前的初級(jí)幀匹配對(duì)集合中的所有幀匹配對(duì)所對(duì)應(yīng)的所有元素加1，同時(shí)給循環(huán)控制變量s加1，并判斷循環(huán)控制變量s是否小于等于構(gòu)建幀匹配對(duì)計(jì)分矩陣的循環(huán)控制數(shù)s，若是，執(zhí)行步驟(5)，否則執(zhí)行步驟(11)；(11)獲取最終幀匹配對(duì)集合mf：設(shè)定幀匹配對(duì)選擇閾值，并將幀匹配對(duì)計(jì)分矩陣mc中的各元素分別與幀匹配對(duì)選擇閾值進(jìn)行比較，然后選擇出所有大于等于幀匹配對(duì)選擇閾值的元素所對(duì)應(yīng)的幀匹配對(duì)，得到最終幀匹配對(duì)集合mf；(12)計(jì)算時(shí)間模型參數(shù)：對(duì)最終幀匹配對(duì)集合mf進(jìn)行直線擬合，得到參考視頻v1與待同步視頻v2之間的時(shí)間模型參數(shù)：幀率比α和時(shí)間偏移δt。本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點(diǎn)：第一，本發(fā)明基于五共面點(diǎn)交比這個(gè)投影不變量，為每一個(gè)軌跡點(diǎn)構(gòu)建出一個(gè)投影不變描述子，將視頻同步問題轉(zhuǎn)化為兩個(gè)離散軌跡點(diǎn)集的匹配問題。且由于對(duì)軌跡點(diǎn)構(gòu)建的多維投影不變描述子具有較高的魯棒性、區(qū)分性以及完全投影不變，且在運(yùn)動(dòng)目標(biāo)做任意平面及非平面運(yùn)動(dòng)時(shí)都成立，可以適用于多種不同場(chǎng)景的視頻同步問題，具有較大的適用范圍。第二，本發(fā)明提出的軌跡點(diǎn)聯(lián)合匹配策略利用了多個(gè)運(yùn)動(dòng)目標(biāo)在同一時(shí)刻時(shí)的相對(duì)位置信息，包含了動(dòng)態(tài)場(chǎng)景的瞬時(shí)狀態(tài)信息，對(duì)含有多個(gè)運(yùn)動(dòng)目標(biāo)的場(chǎng)景可以獲得較低的平均時(shí)間同步誤差和較高的正確匹配率。第三，本發(fā)明以重復(fù)多次采樣構(gòu)建計(jì)分矩陣及閾值化的方法獲得最終幀匹配對(duì)，使用隨機(jī)抽樣一致算法計(jì)算輸入視頻間的時(shí)間模型參數(shù)，使得本發(fā)明相較已有技術(shù)具有更高的魯棒性和穩(wěn)定性。附圖說明圖1為本發(fā)明的實(shí)現(xiàn)流程圖；圖2為本發(fā)明與現(xiàn)有三種視頻同步方法對(duì)一組人工合成場(chǎng)景的數(shù)據(jù)進(jìn)行同步的仿真結(jié)果對(duì)比圖；圖3為本發(fā)明與現(xiàn)有三種視頻同步方法對(duì)一組真實(shí)場(chǎng)景的視頻進(jìn)行同步的仿真結(jié)果圖。具體實(shí)施方式下面結(jié)合附圖和具體實(shí)施例，對(duì)本發(fā)明作進(jìn)一步的描述。參照?qǐng)D1，基于投影不變描述子的視頻同步方法，包括如下步驟：步驟1)、獲取同一動(dòng)態(tài)場(chǎng)景的參考視頻和待同步視頻：使用兩臺(tái)未標(biāo)定的攝像機(jī)，從不同視角位置拍攝含有多個(gè)運(yùn)動(dòng)目標(biāo)的同一動(dòng)態(tài)場(chǎng)景，得到兩個(gè)視頻v1和v2，并將視頻v1作為參考視頻，視頻v2作為待同步視頻；步驟2)、運(yùn)動(dòng)目標(biāo)軌跡提取及背景圖像匹配：對(duì)參考視頻v1和待同步視頻v2分別進(jìn)行特征提取，得到參考視頻v1的背景圖像i1和運(yùn)動(dòng)目標(biāo)軌跡點(diǎn)集t1＝{p1i|i＝1,2,3...n1}，以及待同步視頻v2的背景圖像i2和運(yùn)動(dòng)目標(biāo)軌跡點(diǎn)集t2＝{p2j|j＝1,2,3...n2}，并對(duì)背景圖像i1和背景圖像i2進(jìn)行圖像匹配，得到背景圖像i1和背景圖像i2之間的特征點(diǎn)匹配對(duì)集合b＝{(bi,b′i)|i＝1,2,3...n0}，其中，p1i是軌跡點(diǎn)集t1中的第i個(gè)軌跡點(diǎn)，n1是軌跡點(diǎn)集t1中的軌跡點(diǎn)總數(shù)，p2j是軌跡點(diǎn)集t2中的第j個(gè)軌跡點(diǎn)，n2是軌跡點(diǎn)集t2中的軌跡點(diǎn)總數(shù)，bi是背景圖像i1中的特征點(diǎn)，b′i是背景圖像i2中的特征點(diǎn)，n0是背景特征點(diǎn)匹配對(duì)集合b中的特征點(diǎn)匹配對(duì)總數(shù)；步驟3)、估計(jì)背景圖像i1和背景圖像i2之間的對(duì)極幾何：3a)設(shè)置循環(huán)控制數(shù)為num，循環(huán)控制變量i＝0，對(duì)極距離閾值為th1，最大內(nèi)點(diǎn)集mmax為空；3b)從背景圖像特征點(diǎn)匹配對(duì)集合b中，分塊隨機(jī)采樣出8對(duì)特征點(diǎn)匹配對(duì)；3b1)從背景圖像特征點(diǎn)匹配對(duì)集合b中，提取出背景圖像i1中的特征點(diǎn)集b1f；3b2)提取出特征點(diǎn)集b1f中特征點(diǎn)的橫坐標(biāo)最小值xmin和最大值xmax以及縱坐標(biāo)最小值ymin和最大值ymax，得到包含特征點(diǎn)集b1f的最小矩形的左上角點(diǎn)[xmin,ymin]和右下角點(diǎn)[xmax,ymax]；3b3)將最小矩形等分為8×8個(gè)子塊，按由左上到右下的順序統(tǒng)計(jì)特征點(diǎn)集b1f中落在各個(gè)子塊內(nèi)的特征點(diǎn)總數(shù)，并將各個(gè)子塊按照從左上到右下的順序映射到一個(gè)包含于[0-1]的子區(qū)間，該子區(qū)間的長(zhǎng)度為對(duì)應(yīng)子塊內(nèi)的特征點(diǎn)總數(shù)與特征點(diǎn)集b1f中的特征點(diǎn)總數(shù)的比值；3b4)均勻隨機(jī)生成一個(gè)在區(qū)間[0-1]中的隨機(jī)數(shù)x，根據(jù)x所落入的子區(qū)間得到與該子區(qū)間所對(duì)應(yīng)的矩形子塊，再從落在此矩形子塊內(nèi)的特征點(diǎn)集中均勻隨機(jī)采樣一個(gè)特征點(diǎn)；3b5)重復(fù)步驟3b4)8次，得到從特征點(diǎn)集b1f中分塊隨機(jī)采樣的8個(gè)特征點(diǎn)；3b6)根據(jù)從特征點(diǎn)集b1f中分塊隨機(jī)采樣的8個(gè)特征點(diǎn)，提取出與此8個(gè)特征點(diǎn)對(duì)應(yīng)的、在背景圖像特征點(diǎn)匹配對(duì)集合b中的8對(duì)特征點(diǎn)匹配對(duì)，得到從背景圖像特征點(diǎn)匹配對(duì)集合b中，分塊隨機(jī)采樣出的8對(duì)特征點(diǎn)匹配對(duì)；3c)對(duì)分塊隨機(jī)采樣出的8對(duì)特征點(diǎn)匹配對(duì)，使用歸一化八點(diǎn)算法計(jì)算出初級(jí)基礎(chǔ)矩陣f(i)；3d)根據(jù)初級(jí)基礎(chǔ)矩陣f(i)，計(jì)算背景圖像特征點(diǎn)匹配對(duì)集合b中的每一對(duì)特征點(diǎn)匹配對(duì)的對(duì)極距離，并將計(jì)算出的對(duì)極距離與對(duì)極距離閾值th1進(jìn)行比較，然后選擇出所有對(duì)極距離小于對(duì)極距離閾值th1的特征點(diǎn)匹配對(duì)，得到當(dāng)前內(nèi)點(diǎn)集min；3e)將當(dāng)前內(nèi)點(diǎn)集min中的內(nèi)點(diǎn)總數(shù)與最大內(nèi)點(diǎn)集mmax中的內(nèi)點(diǎn)總數(shù)進(jìn)行比較，若min中的內(nèi)點(diǎn)總數(shù)大于mmax中的內(nèi)點(diǎn)總數(shù)，則更新mmax為min，若min中的內(nèi)點(diǎn)總數(shù)小于等于mmax中的內(nèi)點(diǎn)總數(shù)，則保持mmax不變，循環(huán)控制變量i加1，若循環(huán)控制變量i小于等于循環(huán)控制數(shù)num，且最大內(nèi)點(diǎn)集mmax中的內(nèi)點(diǎn)總數(shù)小于0.85倍的背景圖像特征點(diǎn)匹配對(duì)集合b中的匹配對(duì)總數(shù)，執(zhí)行步驟3b)，否則執(zhí)行步驟3f)；3f)對(duì)最大內(nèi)點(diǎn)集mmax，使用歸一化八點(diǎn)算法計(jì)算出背景圖像i1和背景圖像i2之間的基礎(chǔ)矩陣f，并求解fe＝0，得到背景圖像i1的對(duì)極點(diǎn)e，求解fte′＝0，得到背景圖像i2的對(duì)極點(diǎn)e′；步驟4)、初始化循環(huán)控制數(shù)及幀匹配對(duì)計(jì)分矩陣：設(shè)置構(gòu)建幀匹配對(duì)計(jì)分矩陣的循環(huán)控制數(shù)為s，循環(huán)控制變量s＝0,初始化幀匹配對(duì)計(jì)分矩陣mc中所有元素的值為零；步驟5)、構(gòu)建軌跡點(diǎn)集t1對(duì)應(yīng)的投影不變描述子集合d1和軌跡點(diǎn)集t2對(duì)應(yīng)的投影不變描述子集合d2：5a)設(shè)置投影不變描述子的維度數(shù)為n，循環(huán)控制變量index＝0；5b)從背景圖像特征點(diǎn)匹配對(duì)集合b中，分塊隨機(jī)采樣出在背景圖像i1中的3個(gè)特征點(diǎn){b1,b2,b3}，及在背景圖像i2中與背景圖像i1中的3個(gè)特征點(diǎn)匹配的3個(gè)特征點(diǎn){b′1,b′2,b′3}；5b1)從背景圖像特征點(diǎn)匹配對(duì)集合b中，提取出背景圖像i1中的特征點(diǎn)集b1f；5b2)提取出特征點(diǎn)集b1f中特征點(diǎn)的橫坐標(biāo)最小值xmin和最大值xmax以及縱坐標(biāo)最小值ymin和最大值ymax，得到包含特征點(diǎn)集b1f的最小矩形的左上角點(diǎn)[xmin,ymin]和右下角點(diǎn)[xmax,ymax]；5b3)將最小矩形等分為3×3個(gè)子塊，按由左上到右下的順序統(tǒng)計(jì)特征點(diǎn)集b1f中落在各個(gè)子塊內(nèi)的特征點(diǎn)總數(shù)，并將各個(gè)子塊按照從左上到右下的順序映射到一個(gè)包含于[0-1]的子區(qū)間，該子區(qū)間的長(zhǎng)度為對(duì)應(yīng)子塊內(nèi)的特征點(diǎn)總數(shù)與特征點(diǎn)集b1f中的特征點(diǎn)總數(shù)的比值；5b4)均勻隨機(jī)生成一個(gè)在區(qū)間[0-1]中的隨機(jī)數(shù)x，根據(jù)x所落入的子區(qū)間得到與該子區(qū)間所對(duì)應(yīng)的矩形子塊，再從落在此矩形子塊內(nèi)的特征點(diǎn)集中均勻隨機(jī)采樣一個(gè)特征點(diǎn)；5b5)重復(fù)步驟5b4)3次，得到從特征點(diǎn)集b1f中分塊隨機(jī)采樣的在背景圖像i1中的3個(gè)特征點(diǎn){b1,b2,b3}；5b6)根據(jù)從特征點(diǎn)集b1f中分塊隨機(jī)采樣的3個(gè)特征點(diǎn){b1,b2,b3}，提取出與此3個(gè)特征點(diǎn)對(duì)應(yīng)的，在背景圖像特征點(diǎn)匹配對(duì)集合b中的3對(duì)特征點(diǎn)匹配對(duì)，得到從背景圖像特征點(diǎn)匹配對(duì)集合b中，分塊隨機(jī)采樣出的在背景圖像i1中的3個(gè)特征點(diǎn){b1,b2,b3}，及與此3點(diǎn)匹配的在背景圖像i2中的3個(gè)特征點(diǎn){b′1,b′2,b′3}；5c)經(jīng)過特征點(diǎn)b1和b2做直線l1，經(jīng)過對(duì)極點(diǎn)e和特征點(diǎn)b3做直線l2，并求出直線l1和l2的交點(diǎn)bc；5d)對(duì)t1中的每一個(gè)軌跡點(diǎn)p1i(i＝1,...,n1)，計(jì)算五共面點(diǎn)的交比γ(p1i,b1,b2,bc,e)，并將其作為軌跡點(diǎn)p1i的投影不變描述子向量的第index個(gè)分量，五共面點(diǎn)的交比計(jì)算公式為：其中mijk是以pi，pj，pk為列的3×3矩陣，|m|是矩陣m的行列式；5e)經(jīng)過特征點(diǎn)b′1和b′2做直線l′1，經(jīng)過對(duì)極點(diǎn)e′和特征點(diǎn)b′3做直線l′2，并求出直線l′1和l′2的交點(diǎn)b′c；5f)對(duì)t2中的每一個(gè)軌跡點(diǎn)p2j(j＝1,...,n2)，計(jì)算五共面點(diǎn)的交比γ(p2j,b′1,b′2,b′c,e′)，并將其作為軌跡點(diǎn)p2j的投影不變描述子向量的第index個(gè)分量；5g)令循環(huán)控制變量index加1，判斷循環(huán)控制變量index是否小于等于投影不變描述子的維度數(shù)n，若是，執(zhí)行步驟5b)，否則，結(jié)束循環(huán)，得到軌跡點(diǎn)集t1對(duì)應(yīng)的投影不變描述子集合d1和軌跡點(diǎn)集t2對(duì)應(yīng)的投影不變描述子集合d2；步驟6)、獲取軌跡點(diǎn)集t1與軌跡點(diǎn)集t2之間的初始軌跡點(diǎn)匹配對(duì)集合6a)按照下式計(jì)算參考視頻軌跡點(diǎn)集t1中每一個(gè)軌跡點(diǎn)的描述子與待同步視頻軌跡點(diǎn)集t2中每一個(gè)軌跡點(diǎn)的描述子之間的歐式距離：其中n表示描述子的維度，本發(fā)明中n＝3；表示參考視頻軌跡點(diǎn)集t1中軌跡點(diǎn)p1i的描述子，表示待同步視頻軌跡點(diǎn)集t2中軌跡點(diǎn)p2j的描述子；d(d1i,d2j)表示描述子d1i與描述子d2j之間的歐式距離；6b)假設(shè)t2中軌跡點(diǎn)p2j對(duì)應(yīng)的描述子d2j是與t1中軌跡點(diǎn)p1i對(duì)應(yīng)的描述子d1i歐式距離最近的描述子，假設(shè)t2中軌跡點(diǎn)p2j′對(duì)應(yīng)的描述子d2j′是與t1中軌跡點(diǎn)p1i對(duì)應(yīng)的描述子d1i歐式距離次近的描述子，如果滿足下式，則認(rèn)為p1i與p2j是一對(duì)正確的軌跡點(diǎn)匹配對(duì)：d(d1i,d2j)/d(d1i,d2j′)＜th，反之，p1i與p2j不是一對(duì)正確的軌跡點(diǎn)匹配對(duì)，其中th是判決閾值，th的取值范圍在0.7～0.9之間；6c)計(jì)算t1中的每一個(gè)軌跡點(diǎn)在t2中的匹配軌跡點(diǎn)，獲得初始軌跡點(diǎn)匹配對(duì)集合步驟7)、對(duì)軌跡點(diǎn)集t1與軌跡點(diǎn)集t2之間的初始軌跡點(diǎn)匹配對(duì)集合進(jìn)行修正：7a)對(duì)與初始軌跡點(diǎn)匹配對(duì)集合中的每一對(duì)軌跡點(diǎn)匹配對(duì)來自同一幀的軌跡點(diǎn)子集進(jìn)行聯(lián)合匹配，并根據(jù)匹配結(jié)果，檢查初始軌跡點(diǎn)匹配對(duì)集合中的每一對(duì)軌跡點(diǎn)匹配對(duì)是否為正確匹配對(duì)；7a1)對(duì)于當(dāng)前待檢查的一對(duì)軌跡點(diǎn)匹配對(duì)(p1i,p2j)，從軌跡點(diǎn)集t1中提取出與p1i來自同一幀的軌跡點(diǎn)子集從軌跡點(diǎn)集t2中提取出與p2j來自同一幀的軌跡點(diǎn)子集m是軌跡點(diǎn)子集p1中的軌跡點(diǎn)總數(shù)，n是軌跡點(diǎn)子集p2中的軌跡點(diǎn)總數(shù)；7a2)對(duì)于軌跡點(diǎn)子集p1中的每一個(gè)軌跡點(diǎn)計(jì)算其投影不變描述子與軌跡點(diǎn)子集p2中的每一個(gè)軌跡點(diǎn)的投影不變描述子之間的歐氏距離，如果計(jì)算得到的n個(gè)歐氏距離中的最小值小于等于1.5倍的當(dāng)前軌跡點(diǎn)匹配對(duì)(p1i,p2j)的描述子之間的歐氏距離，則認(rèn)為p1與p2之間存在一對(duì)潛在的軌跡點(diǎn)匹配對(duì)；7a3)統(tǒng)計(jì)出p1與p2之間存在的潛在的軌跡點(diǎn)匹配對(duì)的總數(shù)，如果潛在的軌跡點(diǎn)匹配對(duì)的總數(shù)大于等于0.5*min(m,n)，則當(dāng)前軌跡點(diǎn)匹配對(duì)(p1i,p2j)為一對(duì)正確匹配對(duì)，否則為一對(duì)錯(cuò)誤匹配對(duì)，其中min(m,n)是m和n中的較小數(shù)；7b)剔除初始軌跡點(diǎn)匹配對(duì)集合中的錯(cuò)誤的軌跡點(diǎn)匹配對(duì)，得到軌跡點(diǎn)匹配對(duì)集合步驟8)、對(duì)軌跡點(diǎn)匹配對(duì)集合進(jìn)行修正：對(duì)軌跡點(diǎn)匹配對(duì)集合中的每一對(duì)軌跡點(diǎn)匹配對(duì)施加對(duì)極幾何約束，檢查每一對(duì)軌跡點(diǎn)匹配對(duì)的對(duì)極距離是否大于指定閾值，如果大于則為一對(duì)錯(cuò)誤的匹配對(duì)，并將錯(cuò)誤的軌跡點(diǎn)匹配對(duì)從中剔除，得到最終的軌跡點(diǎn)匹配對(duì)集合步驟9)、獲取初級(jí)幀匹配對(duì)集合由于每一個(gè)軌跡點(diǎn)都含有它的時(shí)間信息，即該軌跡點(diǎn)所在的視頻幀的幀索引，所以，對(duì)于最終的軌跡點(diǎn)匹配對(duì)集合中的每一對(duì)軌跡點(diǎn)匹配對(duì)，分別提取軌跡點(diǎn)的時(shí)間信息(幀索引)，得到參考視頻v1和待同步視頻v2的初級(jí)幀匹配對(duì)集合步驟10)、分別對(duì)幀匹配對(duì)計(jì)分矩陣和循環(huán)控制變量進(jìn)行更新：給幀匹配對(duì)計(jì)分矩陣mc中與當(dāng)前的初級(jí)幀匹配對(duì)集合中的所有幀匹配對(duì)所對(duì)應(yīng)的所有元素加1，同時(shí)給循環(huán)控制變量s加1，并判斷循環(huán)控制變量s是否小于等于構(gòu)建幀匹配對(duì)計(jì)分矩陣的循環(huán)控制數(shù)s，若是，執(zhí)行步驟5)，否則執(zhí)行步驟11)；步驟11)、獲取最終幀匹配對(duì)集合mf：設(shè)定幀匹配對(duì)選擇閾值，并將幀匹配對(duì)計(jì)分矩陣mc中的各元素分別與幀匹配對(duì)選擇閾值進(jìn)行比較，然后選擇出所有大于等于幀匹配對(duì)選擇閾值的元素所對(duì)應(yīng)的幀匹配對(duì)，得到最終幀匹配對(duì)集合mf；步驟12)、計(jì)算時(shí)間模型參數(shù)：對(duì)最終幀匹配對(duì)集合mf進(jìn)行直線擬合，使用隨機(jī)抽樣一致(ransac)算法計(jì)算出參考視頻v1與待同步視頻v2之間的時(shí)間模型參數(shù)：幀率比α和時(shí)間偏移δt。以下結(jié)合仿真實(shí)驗(yàn)，對(duì)本發(fā)明的技術(shù)效果作進(jìn)一步說明：1、仿真條件：所有仿真實(shí)驗(yàn)都是在windows7操作系統(tǒng)下采用matlabr2014a軟件實(shí)現(xiàn)。2、仿真內(nèi)容及結(jié)果分析：仿真1將本發(fā)明與現(xiàn)有基于仿射模型、基于投影不變表示及基于對(duì)極幾何約束這三種方法對(duì)一組人工合成場(chǎng)景數(shù)據(jù)的實(shí)驗(yàn)結(jié)果進(jìn)行比較，人工合成場(chǎng)景和仿真結(jié)果如圖2所示，其中：圖2(a)為人工合成數(shù)據(jù)的三維場(chǎng)景，其中，相機(jī)間夾角為π/6，含有兩個(gè)做非平面運(yùn)動(dòng)的運(yùn)動(dòng)目標(biāo)；圖2(b)-圖2(c)分別為人工合成場(chǎng)景投影到兩個(gè)攝像機(jī)成像平面上的運(yùn)動(dòng)目標(biāo)軌跡和背景特征點(diǎn)；圖2(d)-圖2(g)分別為基于仿射模型、基于投影不變表示、基于對(duì)極幾何約束及本發(fā)明對(duì)于此人工合成場(chǎng)景的時(shí)間模型參數(shù)的估計(jì)結(jié)果圖，其中橫坐標(biāo)為參考視頻幀索引，縱坐標(biāo)為待同步視頻幀索引，星號(hào)表示一對(duì)視頻幀匹配對(duì)，直線為估計(jì)出的時(shí)間模型；圖2(h)為基于仿射模型、基于投影不變表示、基于對(duì)極幾何約束及本發(fā)明對(duì)于此人工合成場(chǎng)景的正確匹配率柱形圖。表1給出了此人工合成場(chǎng)景的時(shí)間模型參數(shù)的真實(shí)值及基于仿射模型、基于投影不變表示、基于對(duì)極幾何約束及本發(fā)明對(duì)于此人工合成場(chǎng)景估計(jì)出的時(shí)間模型參數(shù)值。表1真值仿射模型投影不變表示對(duì)極幾何約束本發(fā)明方法幀率比α22.0012.02612.01232時(shí)間偏移δt515.9217-20.68754.98755從圖2及表1可以看出，相對(duì)于現(xiàn)有基于仿射模型、基于投影不變表示及基于對(duì)極幾何約束等視頻同步方法，本發(fā)明能夠獲得更好的視頻同步結(jié)果、更高的正確匹配率及更接近真值的時(shí)間模型參數(shù)值。仿真2將本發(fā)明與現(xiàn)有基于仿射模型、基于投影不變表示及基于對(duì)極幾何約束這三種方法對(duì)一組真實(shí)場(chǎng)景下的視頻數(shù)據(jù)的實(shí)驗(yàn)結(jié)果進(jìn)行比較，真實(shí)場(chǎng)景和仿真結(jié)果如圖3所示，其中：圖3(a)-圖3(b)為真實(shí)場(chǎng)景視頻的背景圖像及運(yùn)動(dòng)目標(biāo)軌跡，其中，含有五個(gè)做非平面運(yùn)動(dòng)的運(yùn)動(dòng)目標(biāo)；圖3(c)-圖3(f)分別為基于仿射模型、基于投影不變表示、基于對(duì)極幾何約束及本發(fā)明對(duì)于此真實(shí)場(chǎng)景的時(shí)間模型參數(shù)的估計(jì)結(jié)果圖，其中橫坐標(biāo)為參考視頻幀索引，縱坐標(biāo)為待同步視頻幀索引，星號(hào)表示一對(duì)視頻幀匹配對(duì)，直線為估計(jì)出的時(shí)間模型；圖3(g)為基于仿射模型、基于投影不變表示、基于對(duì)極幾何約束及本發(fā)明對(duì)于此真實(shí)場(chǎng)景的正確匹配率柱形圖。表2給出了此真實(shí)場(chǎng)景的時(shí)間模型參數(shù)的真實(shí)值及基于仿射模型、基于投影不變表示、基于對(duì)極幾何約束及本發(fā)明對(duì)于此真實(shí)場(chǎng)景估計(jì)出的時(shí)間模型參數(shù)值。表2真值仿射模型投影不變表示對(duì)極幾何約束本發(fā)明方法幀率比α11.01691.01910.97631.0012時(shí)間偏移δt19-4.010817.111619.322218.9864從圖3及表2可以看出，相對(duì)于現(xiàn)有基于仿射模型、基于投影不變表示及基于對(duì)極幾何約束等視頻同步方法，本發(fā)明能夠獲得更好的視頻同步結(jié)果、更高的正確匹配率及更接近真值的時(shí)間模型參數(shù)值。為了進(jìn)一步比較上述四種方法的性能，給出了基于仿射模型、基于投影不變表示、基于對(duì)極幾何約束及本發(fā)明的平均時(shí)間同步誤差，如表3所示。表3仿射模型投影不變表示對(duì)極幾何約束本發(fā)明方法仿真110.972124.40920.60870仿真220.79762.28910.91530.0484從表3中數(shù)據(jù)可以看出，與現(xiàn)有基于仿射模型、基于投影不變表示、基于對(duì)極幾何約束等視頻同步方法相比，本發(fā)明能適用于多種復(fù)雜場(chǎng)景的視頻同步，且可以獲得較低的平均時(shí)間同步誤差。當(dāng)前第1頁12