視頻序列比對(duì)的方法及其系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及視頻處理技術(shù)領(lǐng)域，尤其設(shè)及視頻序列比對(duì)的方法及其系統(tǒng)。
【背景技術(shù)】
[0002] 如今，視頻時(shí)序比對(duì)在許多視頻應(yīng)用，例如場(chǎng)景檢測(cè)，內(nèi)容監(jiān)控等中展示出巨大的 應(yīng)用價(jià)值。所述序列比對(duì)方法可W看成是在成本矩陣中不斷解決問(wèn)題的路徑。也就是，所 述雙序列比對(duì)的過(guò)程可W轉(zhuǎn)化為尋找一條從所述矩陣的左下角到右上角的路徑。所述矩陣 的每一維都分別代表對(duì)應(yīng)的視頻序列的視頻帖的特征。
[0003] 現(xiàn)有技術(shù)中，一般應(yīng)用動(dòng)態(tài)時(shí)間歸整值TW)算法來(lái)進(jìn)行時(shí)序比對(duì)（具體例如 needleman-wusch全局比對(duì)算法，dijkstra算法等）。所述DTW算法用于尋找用于比對(duì)的 兩條序列之間不同的部分的可能的比對(duì)結(jié)果。例如，needleman-wusch全局比對(duì)算法運(yùn)行 雙序列比對(duì)并找出其中得分最高的比對(duì)結(jié)果。但是，上述算法都存在當(dāng)比對(duì)序列較為龐大 時(shí)，需要耗費(fèi)極大運(yùn)算時(shí)間及存儲(chǔ)容量的問(wèn)題。因?yàn)?，上述算法的?fù)雜度為〇(NM)，N和M為 矩陣的維數(shù)。顯然地，上述算法W平方階增長(zhǎng)的時(shí)間及空間復(fù)雜度限制了它們?cè)趯?shí)時(shí)服務(wù) 中的應(yīng)用。
[0004] 本發(fā)明公開的方法及其系統(tǒng)用于解決現(xiàn)有技術(shù)中的一個(gè)或者多個(gè)問(wèn)題。
[000引發(fā)明概述
[0006] 本發(fā)明一方面公開了視頻序列比對(duì)方法，所述方法包括輸入第一及第二視頻序列 并且從第一及第二視頻序列中獲取視頻特征。所述方法還包括通過(guò)層次結(jié)構(gòu)序列比對(duì)方法 生成一個(gè)拓展路徑并使用關(guān)鍵帖比對(duì)方法生成包含捜索空間的圖像掩膜。更進(jìn)一步的，所 述方法還包括使用區(qū)域A*算法計(jì)算捜索空間中最低的路徑成本，從而找出最小比對(duì)路徑， W及在捜索空間中使用區(qū)域A*算法后，輸出最終的序列比對(duì)結(jié)果。
[0007] 本發(fā)明另一方面公開了視頻序列比對(duì)的系統(tǒng)，所述系統(tǒng)包括輸入視頻序列模塊， 用于提供從任何合適類型的視頻中獲取兩條相應(yīng)的第一及第二視頻序列W及視頻特征提 取模塊，用于從第一及第二視頻序列中提取特征。所述系統(tǒng)還包括；層次結(jié)構(gòu)序列比對(duì)模 塊，用于使用層次結(jié)構(gòu)比對(duì)算法生成擴(kuò)充路徑W及關(guān)鍵帖匹配模塊，用于生成帶捜索空間 的掩膜。更具體的，所述系統(tǒng)還包括；計(jì)算模塊，用于使用區(qū)域A*算法計(jì)算捜索空間中最低 的路徑成本，從而找出最小比對(duì)路徑，W及輸出模塊，用于在捜索空間中使用區(qū)域A*算法 后，輸出最終的序列比對(duì)結(jié)果。
[000引本發(fā)明的其他方面，所屬技術(shù)領(lǐng)域技術(shù)人員能夠依據(jù)本發(fā)明的權(quán)利要求書，說(shuō)明 書，W及附圖有效實(shí)施并充分公開。
[0009] 附圖簡(jiǎn)要說(shuō)明
[0010] 圖1為本發(fā)明【具體實(shí)施方式】提供的具體工作系統(tǒng)的示意圖。
[0011] 圖2為本發(fā)明【具體實(shí)施方式】提供的計(jì)算系統(tǒng)的結(jié)構(gòu)框圖。
[0012] 圖3為本發(fā)明【具體實(shí)施方式】提供的視頻序列比對(duì)方法的方法流程圖。
[0013] 圖4為本發(fā)明【具體實(shí)施方式】提供的成本矩陣的示意圖。
[0014] 圖5為本發(fā)明【具體實(shí)施方式】提供的視頻序列比對(duì)方法中的關(guān)鍵帖比對(duì)方法的方 法流程。
[0015] 圖6a-6f為本發(fā)明【具體實(shí)施方式】提供的視頻序列比對(duì)方法中的帶關(guān)鍵帖的路徑 評(píng)估的示意圖。
[0016] 圖7為本發(fā)明【具體實(shí)施方式】提供的視頻序列比對(duì)方法中的啟發(fā)性成本函數(shù)的示 意圖。
[0017] 圖8為本發(fā)明【具體實(shí)施方式】提供的視頻序列比對(duì)方法中的計(jì)算別導(dǎo)分的示意圖。 [001引圖9為本發(fā)明【具體實(shí)施方式】提供的視頻序列比對(duì)系統(tǒng)的結(jié)構(gòu)框圖。
[0019] 圖10為本發(fā)明【具體實(shí)施方式】提供的視頻序列比對(duì)系統(tǒng)的層次結(jié)構(gòu)序列比對(duì)模塊 的結(jié)構(gòu)框圖。
[0020] 詳細(xì)說(shuō)明
[0021] 附圖中展示的部分將被引用W具體說(shuō)明，闡述本發(fā)明具體技術(shù)實(shí)施方案。說(shuō)明書 中引用的數(shù)字代表附圖的相應(yīng)部分。
[0022] 如圖1所示，該是本發(fā)明【具體實(shí)施方式】中的工作系統(tǒng)100。所述工作系統(tǒng)100中包 括有：電視機(jī)102、遙控器104、用戶108。當(dāng)然，還可W包括網(wǎng)絡(luò)設(shè)備106。
[0023] 電視機(jī)102可W是任何合適類型的終端或者計(jì)算設(shè)備，電視機(jī)102可W是電視機(jī)， 例如等離子電視，LCD電視，背投式電視，智能電視或者非智能電視。電視機(jī)102還可W是 個(gè)人電腦，掌上電腦或者智能手機(jī)等。
[0024] 所述遙控器104可W是任何合適類型的能夠遙控操作電視機(jī)102的遙控器，例如 配套的電視遙控器，通用電視遙控器，掌上電腦，智能手機(jī)或者其他能夠?qū)崿F(xiàn)遙控功能的智 能設(shè)備。遙控器104還可W包括其他不同類型的設(shè)備，例如動(dòng)作感應(yīng)遙控設(shè)備，圖像感應(yīng)遙 控設(shè)備W及其他一些簡(jiǎn)單輸入設(shè)備，例如鍵盤，鼠標(biāo)，聲控輸入等。當(dāng)電視機(jī)102為個(gè)人電 腦或者其他計(jì)算機(jī)設(shè)備時(shí)，所述遙控器104可W減省。
[0025] 為了觀看電視102或者進(jìn)行其他感興趣的活動(dòng)，例如購(gòu)物或者觀看，編輯視頻節(jié) 目，用戶108使用遙控器104控制電視機(jī)102播放不同的節(jié)目或者進(jìn)行該感興趣的活動(dòng)。如 果電視機(jī)配備有動(dòng)作感應(yīng)或者圖像感應(yīng)裝置，用戶還可W簡(jiǎn)單的使用手勢(shì)動(dòng)作進(jìn)行控制。 通過(guò)上述過(guò)程，用戶108可W與電視機(jī)102和/或網(wǎng)絡(luò)設(shè)備106互動(dòng)。
[0026] 具體的，所述網(wǎng)絡(luò)設(shè)備106可W是任何合適類型的計(jì)算機(jī)網(wǎng)絡(luò)或者通信網(wǎng)絡(luò)，用 于實(shí)現(xiàn)遙控器104W及電視102之間的通信，數(shù)據(jù)存儲(chǔ)及處理。當(dāng)然，電視機(jī)102,遙控器 104W及網(wǎng)絡(luò)設(shè)備106之間通過(guò)一個(gè)或多個(gè)通信網(wǎng)絡(luò)相互連接。
[0027] 電視機(jī)102,遙控器104W及網(wǎng)絡(luò)設(shè)備106在一個(gè)合適的電子計(jì)算平臺(tái)實(shí)現(xiàn)其功 能。圖2是本發(fā)明【具體實(shí)施方式】中的一種可用于實(shí)現(xiàn)上述電視機(jī)102,遙控器104W及網(wǎng)絡(luò) 設(shè)備106功能的計(jì)算系統(tǒng)200的結(jié)構(gòu)框圖
[002引如圖2所示，所述計(jì)算系統(tǒng)200包括一個(gè)處理模塊202,存儲(chǔ)模塊204,監(jiān)視器206， 通信模塊208,數(shù)據(jù)庫(kù)210W及外圍設(shè)備212。所述計(jì)算系統(tǒng)可W減省上述設(shè)備，也可W添 加一些其他類型的設(shè)備，而不限于上述設(shè)備。
[0029] 所述處理模塊202可W是任何合適的處理器或處理器組。具體的，所述處理模塊 202為能夠進(jìn)行多線程處理的多核屯、處理器。存儲(chǔ)器204可W是任何合適的存儲(chǔ)設(shè)備，例 如ROM,RAM,閃存或者大容量存儲(chǔ)器，例如CD-ROM,硬盤等。存儲(chǔ)器204用于存儲(chǔ)為進(jìn)行各 種數(shù)據(jù)處理而預(yù)設(shè)的計(jì)算機(jī)運(yùn)行程序。
[0030] 所述外圍設(shè)備212具體包括；各種類型的傳感器W及輸入，輸出設(shè)備，例如鍵盤， 鼠標(biāo)。通信模塊208具體包括；各類網(wǎng)絡(luò)交互設(shè)備，用于在設(shè)備間通過(guò)網(wǎng)絡(luò)系統(tǒng)建立連接。 數(shù)據(jù)庫(kù)210具體包括一到多個(gè)用于存儲(chǔ)不同數(shù)據(jù)W及對(duì)數(shù)據(jù)進(jìn)行一些處理，例如捜索數(shù)據(jù) 的數(shù)據(jù)庫(kù)。
[0031] 實(shí)際運(yùn)行中，電視機(jī)102和/或網(wǎng)絡(luò)設(shè)備106可W用于執(zhí)行一系列視頻分析程序， 該分析程序作用為捜索，對(duì)比和/或編輯輸入電視機(jī)102的視頻序列。圖3為本發(fā)明執(zhí)行 視頻序列比對(duì)程序的具體實(shí)施例的方法流程圖。
[0032] 如圖3所示，首先，獲取第一視頻序列及第二視頻序列（S301)。所述視頻序列可W 包括任何類型的視頻內(nèi)容。所述視頻內(nèi)容可W包括視頻信息及元數(shù)據(jù)。所述視頻內(nèi)容可W 與許多視頻帖相關(guān)聯(lián)，并且視頻帖也可W交由其他模塊進(jìn)行各種不同類型的處理。
[0033] 具體的，從第一及第二視頻序列中提取視頻特征（S302)。所述視頻特征是分別從 第一視頻序列X及第二視頻序列Y中的每一帖中提取的。所述視頻特征可W被矢量化為一 個(gè)恒定的長(zhǎng)度向量，可W使用曼哈頓距離來(lái)表示特征之間的相似度，具體定義如下：
[0034] cost(x",yj= |x"-yj(1)
[0035] X。分別ym代表視頻X第n帖W及視頻Y第m帖的特征向量。
[0036] 在獲得第一及第二視頻序列的特征后，通過(guò)層次結(jié)構(gòu)序列比對(duì)算法獲得一個(gè)拓展 的路徑。（S303)
[0037] 圖4展示了一個(gè)雙序列比對(duì)的成本矩陣，W及在成本矩陣中具有最小總距離的 扭曲路徑的具體實(shí)施例。如圖4所示，假設(shè)X= [Xi，X2,…Xn]G及Y= [y^y2，''' yjGR"w為兩個(gè)待比對(duì)序列，其中，N和M分別表示時(shí)序序列X及Y的長(zhǎng)度。為了比對(duì)所 述時(shí)序序列X和Y，首先創(chuàng)建一個(gè)大小為NXM的矩陣D?？蒞看到路徑（灰色區(qū)域）從矩 陣的左下角延伸到右上角。在視頻序列比對(duì)中，所述視頻時(shí)序中的每個(gè)元素包括了對(duì)應(yīng)視 頻帖中的多個(gè)的特征，所述多個(gè)特征合并，堆積成為一個(gè)長(zhǎng)度為L(zhǎng)的特征向量。矩陣D中的 每個(gè)元素d(n，m)的計(jì)算方法是cost(x"，ym)，此時(shí)可W用成本函數(shù)表征距離度量（如歐