一種消除線段交叉誤匹配點(diǎn)的視頻補(bǔ)償方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種消除線段交叉誤匹配點(diǎn)的視頻補(bǔ)償方法。
【背景技術(shù)】
[0002] 應(yīng)用于車載、無(wú)人機(jī)、艦船等運(yùn)動(dòng)平臺(tái)或野外監(jiān)控系統(tǒng)的攝像系統(tǒng)往往會(huì)由于 自身運(yùn)動(dòng)導(dǎo)致輸出圖像序列存在隨機(jī)抖動(dòng)，從而對(duì)視頻監(jiān)控及后續(xù)圖像處理產(chǎn)生不利影 響.消除這種圖像抖動(dòng)的技術(shù)叫做穩(wěn)像技術(shù)，穩(wěn)像技術(shù)已經(jīng)從最初的機(jī)械穩(wěn)像、光學(xué)穩(wěn)像 逐步過(guò)渡到電子穩(wěn)像（ElectronicImageStabilization)階段。電子穩(wěn)像的視頻幀補(bǔ)償 環(huán)節(jié)一般需要建立仿射變換模型，而仿射變換矩陣的計(jì)算需要使用參考幀與當(dāng)前幀的圖像 匹配點(diǎn)，錯(cuò)誤的匹配將得到錯(cuò)誤的仿射變換矩陣，進(jìn)而影響視頻補(bǔ)償?shù)男Ч?br>[0003] 中國(guó)專利申請(qǐng)201410326103. 7公開了公開了一種視頻圖像的穩(wěn)像方法及裝置， 該方法包括如下步驟：使用SURF特征點(diǎn)檢測(cè)算法提取第n-1幀和第n幀圖像的特征點(diǎn)。將 第n幀圖像的特征點(diǎn)與第n-1幀圖像的特征點(diǎn)進(jìn)行匹配，形成多對(duì)匹配點(diǎn)對(duì)，確定第n幀圖 像與第n-1幀之間的仿射關(guān)系，通過(guò)匹配特征點(diǎn)解出仿射矩陣；將前n-1個(gè)仿射矩陣參考第 1幀進(jìn)行參數(shù)級(jí)聯(lián)，通過(guò)濾波器對(duì)級(jí)聯(lián)后的仿射參數(shù)進(jìn)行kalman濾波，得到濾波后的級(jí)聯(lián) 仿射矩陣參數(shù)；根據(jù)所述濾波后的仿射參數(shù)對(duì)第n幀圖像進(jìn)行補(bǔ)償?shù)玫綖V波后的第n幀圖 像。
[0004] 中國(guó)專利201110178881. 2公開了一種基于特征匹配的電子穩(wěn)像方法，其包括以 下步驟：1、運(yùn)動(dòng)估計(jì)，估算出當(dāng)前幀與前一幀間的運(yùn)動(dòng)參數(shù)，得到全局運(yùn)動(dòng)矢量和局部運(yùn) 動(dòng)矢量；2、運(yùn)動(dòng)濾波，采用Kalman濾波器對(duì)全局運(yùn)動(dòng)參數(shù)進(jìn)行濾波，得出有意掃描矢量， 到需要補(bǔ)償?shù)亩秳?dòng)參數(shù)；3、運(yùn)動(dòng)補(bǔ)償，利用濾波得到的補(bǔ)償參數(shù)對(duì)視頻序列進(jìn)行逐幀補(bǔ) 償；4、視頻修復(fù)，利用視頻的時(shí)空冗余信息，采用運(yùn)動(dòng)修復(fù)的方法對(duì)局部運(yùn)動(dòng)矢量進(jìn)行修 復(fù)，并以此引導(dǎo)像素點(diǎn)的填充。
[0005] 上述技術(shù)方案使用基于SIFT、SURF圖像特征點(diǎn)匹配方法計(jì)算視頻幀仿射變換矩 陣時(shí)，僅使用了特征點(diǎn)特征值的大小進(jìn)行特征點(diǎn)匹配，而沒(méi)有針對(duì)視頻幀之間運(yùn)動(dòng)的特殊 性-相鄰視頻之間旋轉(zhuǎn)平移運(yùn)動(dòng)較小、匹配特征點(diǎn)之間運(yùn)動(dòng)位移矢量相近的特點(diǎn)，從而產(chǎn) 生了有線段交叉的誤匹配點(diǎn)，而這種誤匹配點(diǎn)給仿射變換矩陣計(jì)算帶來(lái)了誤差。

【發(fā)明內(nèi)容】

[0006] 針對(duì)現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的是提供一種消除線段交叉誤匹配點(diǎn)的視頻補(bǔ) 償方法。
[0007] 為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種消除線段交叉誤匹配點(diǎn)的視頻補(bǔ)償方法， 該視頻補(bǔ)償方法包括如下步驟：
[0008] A、視頻幀輸入；
[0009] B、在當(dāng)前幀及參考幀進(jìn)行特征點(diǎn)提取，其中參考幀為當(dāng)前幀的前一幀圖像；
[0010] C、進(jìn)行參考幀及當(dāng)前幀圖像特征點(diǎn)匹配；
[0011] D、消除具有線段交叉的匹配點(diǎn)對(duì)；
[0012] E、隨機(jī)選擇位于參考幀上三個(gè)特征點(diǎn)、以及在當(dāng)前幀與其對(duì)應(yīng)的匹配點(diǎn)，利用該 三對(duì)匹配點(diǎn)的坐標(biāo)求出變換矩陣；
[0013] F、對(duì)當(dāng)前幀圖像中的每一點(diǎn)，利用所述變換矩陣，經(jīng)過(guò)圖像插值后得到補(bǔ)償后圖 像。
[0014] 本發(fā)明的方法特別適用于存在連續(xù)抖動(dòng)且旋轉(zhuǎn)幅度較小的視頻穩(wěn)像情況。
[0015] 傳統(tǒng)方法沒(méi)有考慮到正確匹配點(diǎn)對(duì)之間的連接線段一般不會(huì)有交點(diǎn)的特點(diǎn)，傳統(tǒng) 方法基于特征點(diǎn)的特征值大小匹配特征點(diǎn)無(wú)法消除該類錯(cuò)誤匹配點(diǎn)對(duì)。本發(fā)明利用了視頻 幀之間聯(lián)系較為緊密的特點(diǎn)，消除有線段交叉的誤匹配點(diǎn)，提高了正確匹配點(diǎn)對(duì)的比例，使 仿射變換矩陣的計(jì)算更加準(zhǔn)確。
[0016] 根據(jù)本發(fā)明另一【具體實(shí)施方式】，步驟D具體包括如下步驟：
[0017] D1、求出n對(duì)匹配點(diǎn)連成直線后的斜率均值
[0018] D2、若位于當(dāng)前幀上點(diǎn)PpQi、分別與參考幀上的點(diǎn)P2、Q2完成匹配，當(dāng)滿足以下關(guān) 系時(shí)可確定線段Pf2和線段QA有交點(diǎn)：
[0019]
[0020] D3、當(dāng)線段PR和線段QA存在交點(diǎn)時(shí)，直線P心和直線QA對(duì)應(yīng)的斜率分別為 KP、kq，若_p-k|>|kQ-k|貝1J消除匹配點(diǎn)對(duì)Pi、p2;否則消除匹配點(diǎn)對(duì)Qi、q2。 9
[0021] 根據(jù)本發(fā)明另一【具體實(shí)施方式】，步驟B提取圖像ORB特征點(diǎn)。
[0022] 根據(jù)本發(fā)明另一【具體實(shí)施方式】，0RB為帶有方向的FAST算子和旋轉(zhuǎn)的BRIEF算子。
[0023] 根據(jù)本發(fā)明另一【具體實(shí)施方式】，步驟C使用RANSAC(隨機(jī)抽樣一致）完成特征點(diǎn) 匹配。
[0024] 根據(jù)本發(fā)明另一【具體實(shí)施方式】，步驟E具體包括如下步驟：
[0025] E1、在參考幀上隨機(jī)選擇三個(gè)特征點(diǎn)隊(duì)、Q、D1;
[0026] E2、在當(dāng)前幀上選擇與隊(duì)、Q、Di對(duì)應(yīng)的匹配點(diǎn)B2、C2、D2;
[0027] E3、分別將B2、C2、02的X軸坐標(biāo)和Y軸坐標(biāo)代入以下公式右側(cè)的（x2、y2)，將隊(duì)、 (：1、01的父軸坐標(biāo)和￥軸坐標(biāo)代入以下公式左側(cè)的〇^ 1、71):
[0030] 與現(xiàn)有技術(shù)相比，本發(fā)明具備如下有益效果：
[0031] 本發(fā)明利用了視頻幀之間聯(lián)系較為緊密的特點(diǎn)，消除有線段交叉的誤匹配點(diǎn)，提 高了正確匹配點(diǎn)對(duì)的比例，使仿射變換矩陣的計(jì)算更加準(zhǔn)確。
[0032] 下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明。
【附圖說(shuō)明】
[0033] 圖1是實(shí)施例1中，當(dāng)前幀與參考幀圖像的匹配點(diǎn)。
【具體實(shí)施方式】
[0034] 實(shí)施例1
[0035] 本實(shí)施例提供了一種消除線段交叉誤匹配點(diǎn)的視頻補(bǔ)償方法，該視頻補(bǔ)償方法包 括如下步驟：
[0036] A、視頻幀輸入。
[0037] B、在當(dāng)前幀及參考幀進(jìn)行特征點(diǎn)提取，其中參考幀為當(dāng)前幀的前一幀圖像；該步 驟提取圖像0RB(帶有方向的FAST算子和旋轉(zhuǎn)的BRIEF算子）特征點(diǎn)。
[0038] C、進(jìn)行參考幀及當(dāng)前幀圖像特征點(diǎn)匹配（如圖1所示）；該步驟使用RANSAC(隨 機(jī)抽樣一致）完成參考幀及當(dāng)前幀圖像特征點(diǎn)匹配。
[0039] D、消除具有線段交叉的匹配點(diǎn)對(duì)；其具體包括如下步驟：
[0040] D1、求出n對(duì)匹配點(diǎn)連成直線后的斜率均值
[0041] D2、若位于當(dāng)前幀上點(diǎn)PpQi、分別與參考幀上的點(diǎn)P2、Q2完成匹配，當(dāng)滿足以下關(guān) 系時(shí)可確定線段Pf2和線段QA有交點(diǎn)：
[0042]
[0043] D3、當(dāng)線段PR和線段QA存在交點(diǎn)時(shí)，直線P心和直線QA對(duì)應(yīng)的斜率分別為 kp、kq，若貝ij消除匹配點(diǎn)對(duì)Pi、p2;否則消除匹配點(diǎn)對(duì)Qi、q2(圖！中，消除線段 9 1兩端對(duì)應(yīng)的錯(cuò)誤匹配點(diǎn)）。
[0044] E、隨機(jī)選擇位于參考幀上三個(gè)特征點(diǎn)、以及在當(dāng)前幀與其對(duì)應(yīng)的匹配點(diǎn)，利用該 三對(duì)匹配點(diǎn)的坐標(biāo)求出變換矩陣；其具體包括如下步驟：
[0045] E1、在參考幀上隨機(jī)選擇三個(gè)特征點(diǎn)隊(duì)、Q、Di，其坐標(biāo)分別為（xB1，yB1)、（xei，ycl)、 (xDi,yDi);
[0046] E2、在當(dāng)前幀上選擇與隊(duì)、Q、Di對(duì)應(yīng)的匹配點(diǎn)B2、C2、D2，其坐標(biāo)分別為（xB2,yB2)、 (XC2,y"c2)、（XD2,y"D2);
[0047] E3、分別將（xB2,yB2)、（xC2,yC2)、（xD2,yD2)代入以下公式右側(cè)的（x2、y2)，將 (xBi，yBi)、（xcl，ycl)、（xD1，yD1)代入以下公式左側(cè)的（x^yj:
[0050] F、對(duì)當(dāng)前幀圖像中的每一點(diǎn)，利用變換矩陣，經(jīng)過(guò)圖像插值后得到補(bǔ)償后圖像。
[0051] 雖然本發(fā)明以較佳實(shí)施例揭露如上，但并非用以限定本發(fā)明實(shí)施的范圍。任何本 領(lǐng)域的普通技術(shù)人員，在不脫離本發(fā)明的發(fā)明范圍內(nèi)，當(dāng)可作些許的改進(jìn)，即凡是依照本發(fā) 明所做的同等改進(jìn)，應(yīng)為本發(fā)明的范圍所涵蓋。
【主權(quán)項(xiàng)】
1. 一種消除線段交叉誤匹配點(diǎn)的視頻補(bǔ)償方法，其特征在于，所述視頻補(bǔ)償方法包括 如下步驟： A、 視頻帖輸入； B、 在當(dāng)前帖及參考帖進(jìn)行特征點(diǎn)提取，其中，所述參考帖為所述當(dāng)前帖的前一帖圖 像； C、 進(jìn)行參考帖及當(dāng)前帖圖像特征點(diǎn)匹配； D、 消除具有線段交叉的匹配點(diǎn)對(duì)； E、 隨機(jī)選擇位于參考帖上=個(gè)特征點(diǎn)、W及在當(dāng)前帖與其對(duì)應(yīng)的匹配點(diǎn)，利用該=對(duì) 匹配點(diǎn)的坐標(biāo)求出變換矩陣； F、 對(duì)當(dāng)前帖圖像中的每一點(diǎn)，利用所述變換矩陣，經(jīng)過(guò)圖像插值后得到補(bǔ)償后圖像。2. 根據(jù)權(quán)利要求1所述的視頻補(bǔ)償方法，其特征在于，所述步驟D具體包括如下步驟： D1、求出n對(duì)匹配點(diǎn)連成直線后的斜率均值D2、若位于當(dāng)前帖上點(diǎn)Pi、Qi、分別與參考帖上的點(diǎn)？2、Q2完成匹配，當(dāng)滿足W下關(guān)系時(shí) 可確定線段PA和線段QA有交點(diǎn)：D3、當(dāng)線段PA和線段QA存在交點(diǎn)時(shí)，直線PA和直線QA對(duì)應(yīng)的斜率分別為Kp、Ke， 若|kp-k| >IVkI，則消除匹配點(diǎn)對(duì)Pi、P2;否則消除匹配點(diǎn)對(duì)Qi、Q2。3. 根據(jù)權(quán)利要求1所述的視頻補(bǔ)償方法，其特征在于，所述步驟B提取圖像ORB特征 點(diǎn)。4. 根據(jù)權(quán)利要求3所述的視頻補(bǔ)償方法，其特征在于，所述，所述ORB為帶有方向的 FAST算子和旋轉(zhuǎn)的BRIEF算子。5. 根據(jù)權(quán)利要求1所述的視頻補(bǔ)償方法，其特征在于，所述步驟C使用RANSAC完成特 征點(diǎn)匹配。6. 根據(jù)權(quán)利要求1所述的視頻補(bǔ)償方法，其特征在于，所述步驟E具體包括如下步驟： E1、在參考帖上隨機(jī)選擇S個(gè)特征點(diǎn)Bi、Cl、化； E2、在當(dāng)前帖上選擇與Bi、。、Di對(duì)應(yīng)的匹配點(diǎn)B2、C2、〇2; E3、分別將Bz、C2、〇2的X軸坐標(biāo)和Y軸坐標(biāo)代入W下公式右側(cè)的（X2、y2)，將町、Cl、化 的X軸坐標(biāo)和Y軸坐標(biāo)代入W下公式左側(cè)的（XI、yi):
【專利摘要】本發(fā)明提供了一種消除線段交叉誤匹配點(diǎn)的視頻補(bǔ)償方法，該視頻補(bǔ)償方法包括如下步驟：A、視頻幀輸入；B、在當(dāng)前幀及參考幀進(jìn)行特征點(diǎn)提取，其中，參考幀為當(dāng)前幀的前一幀圖像；C、進(jìn)行參考幀及當(dāng)前幀圖像特征點(diǎn)匹配；D、消除具有線段交叉的匹配點(diǎn)對(duì)；E、隨機(jī)選擇位于參考幀上三個(gè)特征點(diǎn)、以及在當(dāng)前幀與其對(duì)應(yīng)的匹配點(diǎn)，利用該三對(duì)匹配點(diǎn)的坐標(biāo)求出變換矩陣；F、對(duì)當(dāng)前幀圖像中的每一點(diǎn)，利用所述變換矩陣，經(jīng)過(guò)圖像插值后得到補(bǔ)償后圖像。本發(fā)明利用了視頻幀之間聯(lián)系較為緊密的特點(diǎn)，消除有線段交叉的誤匹配點(diǎn)，提高了正確匹配點(diǎn)對(duì)的比例，使仿射變換矩陣的計(jì)算更加準(zhǔn)確。
【IPC分類】H04N5/21
【公開號(hào)】CN105007397
【申請(qǐng)?zhí)枴緾N201510221816
【發(fā)明人】吳新橋, 張?jiān)? 楊鶴猛, 張貴峰, 王兵, 張巍
【申請(qǐng)人】南方電網(wǎng)科學(xué)研究院有限責(zé)任公司, 天津航天中為數(shù)據(jù)系統(tǒng)科技有限公司
【公開日】2015年10月28日
【申請(qǐng)日】2015年4月30日