式 距罔）。n是時(shí)序序列X的指針，而m是時(shí)序序列Y的指針。為了進(jìn)行兩條序列的比對(duì)，路 徑在矩陣中的距離總和被定義如下：
[00%]
【主權(quán)項(xiàng)】
1. 一種視頻序列比對(duì)方法，其特征在于，包括如下步驟： 輸入第一及第二視頻序列； 從第一及第二視頻序列中提取視頻特征； 使用層次結(jié)構(gòu)比對(duì)算法生成擴(kuò)充路徑； 使用關(guān)鍵幀匹配的方法來生成包含搜索空間的圖像掩膜； 使用區(qū)域A*算法計(jì)算搜索空間中最低的路徑成本，從而找出最小比對(duì)路徑，以及 在搜索空間中使用區(qū)域A*算法，輸出最終的序列比對(duì)結(jié)果。
2. 根據(jù)權(quán)利要求1所述的視頻序列比對(duì)方法，其特征在于，所述使用層次結(jié)構(gòu)比對(duì)算 法生成擴(kuò)充路徑的步驟具體包括： 從第一及第二視頻時(shí)序序列提取關(guān)鍵幀； 根據(jù)從第一及第二視頻時(shí)序序列獲得的關(guān)鍵幀，使用帶限制條件的動(dòng)態(tài)時(shí)間歸整算法 來獲取具有最小累積成本的路徑，以及 通過直線聯(lián)系所有計(jì)劃內(nèi)節(jié)點(diǎn)來創(chuàng)建一個(gè)對(duì)路徑的預(yù)估結(jié)果，并將所述搜索空間提供 給區(qū)域A*算法使用。
3. 根據(jù)權(quán)利要求2所述的視頻序列比對(duì)方法，其特征在于，所述從第一及第二視頻時(shí) 序序列提取關(guān)鍵幀的步驟還包括： 計(jì)算第一視頻序列X = [X1, χ2,... χΝ]及第二視頻序列Y = [yi，y2,... yM]的差異程度 dx以及dY，其中N和M分別為序列X和Y的長度；通過對(duì)dx及dY使用鏡頭檢測(cè)方法來定 義每個(gè)場(chǎng)景的起始及結(jié)束位置，以及 選擇每個(gè)場(chǎng)景中局部最小的的第一及最后一個(gè)dX及dY作為關(guān)鍵幀。
4. 根據(jù)權(quán)利要求3所述的視頻序列比對(duì)方法，其特征在于，計(jì)算第一視頻序列X = [X1, X2,... xN]及第二視頻序列Y = Iiy1, y2,... yM]的差異程度dx以及dY的步驟具體包括： 元素之間的差異程度dX = [(Ix1, dx2,. . . dxN_J由如下算式計(jì)算： dxn= |χη+1-χη|, 其中η為1到N-I的整數(shù)； 元素之間的差異程度dY = [(Iy1, dy2, . . . dM_2]由如下算式計(jì)算： dym= I y m+i, yj， 其中m為1到M-I的整數(shù)。
5. 根據(jù)權(quán)利要求2所述的視頻序列比對(duì)方法，其特征在于，所述通過直線聯(lián)系所有計(jì) 劃內(nèi)節(jié)點(diǎn)來創(chuàng)建一個(gè)對(duì)路徑的預(yù)估結(jié)果，并將該標(biāo)記區(qū)域提供給區(qū)域A*算法使用的步驟 具體包括： 通過如下算式計(jì)算直線上結(jié)構(gòu)元素的關(guān)鍵節(jié)點(diǎn)i-Ι與i之間的換算系數(shù)f^，i:
其中，C是一個(gè)用來調(diào)整路徑預(yù)估結(jié)果不確定性的預(yù)定值，
為對(duì)角線上的單位向 量，i為整數(shù)，V^i是關(guān)鍵節(jié)點(diǎn)i-Ι到i的向量。
6. 根據(jù)權(quán)利要求1所述的視頻序列比對(duì)方法，其特征在于，所述使用區(qū)域A*算法計(jì)算 搜索空間中最低的路徑成本，從而找出最小比對(duì)路徑的步驟還包括： 將成本矩陣分割為多個(gè)區(qū)域； 評(píng)價(jià)每個(gè)區(qū)域； 獲得每個(gè)區(qū)域的啟發(fā)性成本函數(shù)； 獲得每個(gè)區(qū)域的最佳路徑成本，以及 更新對(duì)應(yīng)區(qū)域的評(píng)價(jià)。
7. 根據(jù)權(quán)利要求6所述的視頻序列比對(duì)方法，其特征在于，所述推動(dòng)做對(duì)角線移動(dòng)的 啟發(fā)性成本函數(shù)被定義為當(dāng)前位置與直線uT的距離，其中，u T垂直于對(duì)角線；以及所述啟發(fā) 性成本函數(shù)被定義如下：
其中，H是啟發(fā)性成本向量的一個(gè)恒定值，由輸入數(shù)據(jù)所決定
_為對(duì)角線上的單位 向量；N和M分別為成本矩陣的維數(shù)；η和m分別為兩個(gè)序列的指針。
8. 根據(jù)權(quán)利要求6所述的視頻序列比對(duì)方法，其特征在于， 一個(gè)可采納的啟發(fā)性成本函數(shù)被定義如下： h (n, m) = abs (N-n) - (M-m) *ff ； 其中，N和M表示序列的長度，非對(duì)角線移動(dòng)W為預(yù)定的罰分值；以及n和m分別為兩 個(gè)序列的指針。
9. 根據(jù)權(quán)利要求6所述的視頻序列比對(duì)方法，其特征在于， A*算法對(duì)于每一個(gè)區(qū)域值存儲(chǔ)一個(gè)累積最佳路徑成本i得分；以及區(qū)域的路徑成本 由如下算式計(jì)算：
其中，hint"表示從較高的區(qū)域的頂點(diǎn)到全局序列的啟發(fā)性成本，?代表當(dāng)前區(qū)域的i 得分的評(píng)價(jià)。
10. -個(gè)視頻序列比對(duì)系統(tǒng)，其特征在于，所述系統(tǒng)包括： 輸入視頻序列模塊，用于提供從任何合適類型的視頻中獲取兩條相應(yīng)的第一及第二視 頻序列； 視頻特征提取模塊，用于從第一及第二視頻序列中提取特征； 層次結(jié)構(gòu)序列比對(duì)模塊，用于使用層次結(jié)構(gòu)比對(duì)算法生成擴(kuò)充路徑； 關(guān)鍵幀匹配模塊，用于生成包含搜索空間的圖像掩膜； 計(jì)算模塊，用于使用區(qū)域A*算法計(jì)算搜索空間中最低的路徑成本，從而找出最小比對(duì) 路徑，以及 輸出模塊，用于在搜索空間中使用區(qū)域A*算法后，輸出最終的序列比對(duì)結(jié)果。
11. 根據(jù)權(quán)利要求10所述的視頻序列比對(duì)系統(tǒng)，其特征在于，層次結(jié)構(gòu)序列比對(duì)模塊 還包括： 關(guān)鍵幀提取單元，用于從第一及第二視頻時(shí)序序列提取關(guān)鍵幀； 路徑獲取單元，用于根據(jù)從第一及第二視頻時(shí)序序列獲得的關(guān)鍵幀，使用帶限制條件 的動(dòng)態(tài)時(shí)間歸整算法來獲取具有最小累積成本的路徑，以及 路徑評(píng)估單元，用于通過直線聯(lián)系所有的計(jì)劃內(nèi)節(jié)點(diǎn)來創(chuàng)建一個(gè)對(duì)路徑的預(yù)估結(jié)果， 并將所述搜索空間提供計(jì)算模塊使用。
12. 根據(jù)權(quán)利要求11所述的視頻序列比對(duì)系統(tǒng)，其特征在于，關(guān)鍵幀提取單元具體用 于： 計(jì)算第一視頻序列X = [X1, χ2,... χΝ]及第二視頻序列Y = [yi，y2,... yM]的差異程度 dx以及dY，其中N和M分別為序列X和Y的長度；通過對(duì)dx及dY使用鏡頭檢測(cè)方法來定 義每個(gè)場(chǎng)景的起始及結(jié)束位置，以及； 選擇每個(gè)場(chǎng)景中局部最小的的第一及最后一個(gè)dX及dY作為關(guān)鍵幀。
13. 根據(jù)權(quán)利要求12所述的視頻序列比對(duì)系統(tǒng)，其特征在于，關(guān)鍵幀提取單元還用于： 元素之間的差異程度dX = [(Ix1, dx2, . . . dxN_J由如下算式計(jì)算： dxn= |χη+1-χη|, 其中η為1到N-I的整數(shù)； 元素之間的差異程度dY = [(Iy1, dy2, . . . dM_2]由如下算式計(jì)算： dym= I y m+i, yj， 其中m為1到M-I的整數(shù)。
14. 根據(jù)權(quán)利要求11所述的視頻序列比對(duì)系統(tǒng)，其特征在于， 所述路徑評(píng)估單元還用于： 通過如下算式計(jì)算直線上結(jié)構(gòu)元素的關(guān)鍵節(jié)點(diǎn)i-Ι與i之間的度量向量fui:
其中，C是一個(gè)用來調(diào)整路徑預(yù)估結(jié)果不確定性的預(yù)定值
為對(duì)角線上的單位向 量，i為整數(shù)，V^i是關(guān)鍵節(jié)點(diǎn)i-Ι到i的向量。
15. 根據(jù)權(quán)利要求10所述的視頻序列比對(duì)系統(tǒng)，其特征在于，所述計(jì)算模塊還用于： 將成本函數(shù)分割為多個(gè)區(qū)域； 評(píng)價(jià)每個(gè)區(qū)域； 獲得每個(gè)區(qū)域的啟發(fā)性成本函數(shù)； 獲得每個(gè)區(qū)域的最佳路徑成本，以及 更新對(duì)應(yīng)區(qū)域的評(píng)價(jià)。
16. 根據(jù)權(quán)利要求15所述的視頻序列比對(duì)系統(tǒng)，其特征在于，所述推動(dòng)做對(duì)角線移動(dòng) 的啟發(fā)性成本函數(shù)被定義為當(dāng)前位置與直線uT的距離，其中，1^垂直于對(duì)角線；以及所述啟 發(fā)性成本函數(shù)被定義如下：
其中，H是啟發(fā)性成本向量的一個(gè)恒定值，由輸入數(shù)據(jù)所決定
為對(duì)角線上的單位 向量；N和M分別為成本矩陣的維數(shù)；η和m分別為兩個(gè)序列的指針。
17. 根據(jù)權(quán)利要求15所述的視頻序列比對(duì)系統(tǒng)，其特征在于， 一個(gè)可采納的啟發(fā)性成本函數(shù)被定義如下： h (n, m) = abs (N-n) - (M-m) *ff ； 其中，N和M表示序列的長度，非對(duì)角線移動(dòng)W為預(yù)定的罰分值；以及n和m分別為兩 個(gè)序列的指針。
18. 根據(jù)權(quán)利要求15所述的視頻序列比對(duì)系統(tǒng)，其特征在于， 所述A*算法對(duì)于每一個(gè)區(qū)域值存儲(chǔ)一個(gè)累積最佳路徑成本g .查得分； 以及區(qū)域的路徑成本由如下算式計(jì)算： I=Kter+S 其中，hinte表示從較高的區(qū)域的頂點(diǎn)到全局序列的的啟發(fā)性成本。#代表當(dāng)前區(qū)域的 g得分的評(píng)價(jià)。
【專利摘要】本發(fā)明提供了一種視頻序列比對(duì)的方法及其系統(tǒng)，其中，所述方法包括輸入第一及第二視頻序列以及從第一及第二視頻序列中提取視頻特征。所述方法還包括使用層次結(jié)構(gòu)比對(duì)算法生成擴(kuò)充路徑以及使用關(guān)鍵幀匹配的方法來生成帶搜索空間的掩膜。最后，使用區(qū)域A*算法計(jì)算搜索空間中最低的路徑成本，從而找出最小比對(duì)路徑，以及在搜索空間中使用區(qū)域A*算法后，輸出最終的序列比對(duì)結(jié)果。
【IPC分類】H04N21-44, H04N21-234
【公開號(hào)】CN104754403
【申請(qǐng)?zhí)枴緾N201410828514
【發(fā)明人】阿曼·卡佩勒, 李海光, 邁克, 汪灝泓
【申請(qǐng)人】Tcl集團(tuán)股份有限公司
【公開日】2015年7月1日
【申請(qǐng)日】2014年12月25日
【公告號(hào)】US20150189193