一種消除誤匹配點(diǎn)的視頻補(bǔ)償方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種消除誤匹配點(diǎn)的視頻補(bǔ)償方法。
【背景技術(shù)】
[0002] 應(yīng)用于車載、無人機(jī)、艦船等運(yùn)動(dòng)平臺或野外監(jiān)控系統(tǒng)的攝像系統(tǒng)往往會由于 自身運(yùn)動(dòng)導(dǎo)致輸出圖像序列存在隨機(jī)抖動(dòng)，從而對視頻監(jiān)控及后續(xù)圖像處理產(chǎn)生不利影 響.消除這種圖像抖動(dòng)的技術(shù)叫做穩(wěn)像技術(shù)，穩(wěn)像技術(shù)已經(jīng)從最初的機(jī)械穩(wěn)像、光學(xué)穩(wěn)像 逐步過渡到電子穩(wěn)像（ElectronicImageStabilization)階段。電子穩(wěn)像的視頻幀補(bǔ)償 環(huán)節(jié)一般需要建立仿射變換模型，而仿射變換矩陣的計(jì)算需要使用參考幀與當(dāng)前幀的圖像 匹配點(diǎn)，錯(cuò)誤的匹配將得到錯(cuò)誤的仿射變換矩陣，進(jìn)而影響視頻補(bǔ)償?shù)男Ч?br>[0003] 中國專利申請201410326103. 7公開了公開了一種視頻圖像的穩(wěn)像方法及裝置， 該方法包括如下步驟：使用SURF特征點(diǎn)檢測算法提取第n-1幀和第n幀圖像的特征點(diǎn)。將 第n幀圖像的特征點(diǎn)與第n-1幀圖像的特征點(diǎn)進(jìn)行匹配，形成多對匹配點(diǎn)對，確定第n幀圖 像與第n-1幀之間的仿射關(guān)系，通過匹配特征點(diǎn)解出仿射矩陣；將前n-1個(gè)仿射矩陣參考第 1幀進(jìn)行參數(shù)級聯(lián)，通過濾波器對級聯(lián)后的仿射參數(shù)進(jìn)行kalman濾波，得到濾波后的級聯(lián) 仿射矩陣參數(shù)；根據(jù)所述濾波后的仿射參數(shù)對第n幀圖像進(jìn)行補(bǔ)償?shù)玫綖V波后的第n幀圖 像。
[0004] 中國專利201110178881. 2公開了一種基于特征匹配的電子穩(wěn)像方法，其包括以 下步驟：1、運(yùn)動(dòng)估計(jì)，估算出當(dāng)前幀與前一幀間的運(yùn)動(dòng)參數(shù)，得到全局運(yùn)動(dòng)矢量和局部運(yùn) 動(dòng)矢量；2、運(yùn)動(dòng)濾波，采用Kalman濾波器對全局運(yùn)動(dòng)參數(shù)進(jìn)行濾波，得出有意掃描矢量， 到需要補(bǔ)償?shù)亩秳?dòng)參數(shù)；3、運(yùn)動(dòng)補(bǔ)償，利用濾波得到的補(bǔ)償參數(shù)對視頻序列進(jìn)行逐幀補(bǔ) 償；4、視頻修復(fù)，利用視頻的時(shí)空冗余信息，采用運(yùn)動(dòng)修復(fù)的方法對局部運(yùn)動(dòng)矢量進(jìn)行修 復(fù)，并以此引導(dǎo)像素點(diǎn)的填充。
[0005] 上述技術(shù)方案使用基于SIFT、SURF圖像特征點(diǎn)匹配方法計(jì)算視頻幀仿射變換矩 陣時(shí)，僅使用了特征點(diǎn)特征值的大小進(jìn)行特征點(diǎn)匹配，而沒有針對視頻幀之間運(yùn)動(dòng)的特殊 性-相鄰視頻之間旋轉(zhuǎn)平移運(yùn)動(dòng)較小、匹配特征點(diǎn)之間運(yùn)動(dòng)位移矢量相近的特點(diǎn)，從而產(chǎn) 生了位移過大、過小的匹配點(diǎn)對，而這種誤匹配點(diǎn)給仿射變換矩陣計(jì)算帶來了誤差。

【發(fā)明內(nèi)容】

[0006] 針對現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的是提供一種消除誤匹配點(diǎn)的視頻補(bǔ)償方法。
[0007] 為了實(shí)現(xiàn)上述目的，本發(fā)明提供了 一種消除誤匹配點(diǎn)的視頻補(bǔ)償方法，該視頻補(bǔ) 償方法包括如下步驟：
[0008]A、視頻幀輸入；
[0009]B、在當(dāng)前幀及參考幀進(jìn)行特征點(diǎn)提取，其中，參考幀為當(dāng)前幀的前一幀圖像；
[0010] C、進(jìn)行參考幀及當(dāng)前幀圖像特征點(diǎn)匹配；
[0011] D、計(jì)算全局位移矢量；
[0012] E、消除位移過大或過小的匹配點(diǎn)對；
[0013] F、隨機(jī)選擇位于參考幀上三個(gè)特征點(diǎn)、以及在當(dāng)前幀與其對應(yīng)的匹配點(diǎn)，利用該 三對匹配點(diǎn)的坐標(biāo)求出變換矩陣；
[0014] G、對當(dāng)前幀圖像中的每一點(diǎn)，利用所述變換矩陣，經(jīng)過圖像插值后得到補(bǔ)償后圖 像。
[0015] 全局運(yùn)動(dòng)估計(jì)給誤匹配點(diǎn)的消除提供了參考量，消除了運(yùn)動(dòng)位移矢量過大或過小 匹配點(diǎn)對。而傳統(tǒng)技術(shù)確定匹配點(diǎn)的關(guān)系時(shí)僅使用了特征點(diǎn)的特征值沒有考慮全局運(yùn)動(dòng)大 小。本發(fā)明利用了視頻幀之間聯(lián)系較為緊密的特點(diǎn)，消除位移過大、過小的匹配點(diǎn)提高了正 確匹配點(diǎn)對的比例，使仿射變換矩陣的計(jì)算更加準(zhǔn)確。
[0016] 根據(jù)本發(fā)明另一【具體實(shí)施方式】，步驟D采用灰度投影法計(jì)算全局位移矢量。
[0017] 根據(jù)本發(fā)明另一【具體實(shí)施方式】，步驟D具體包括如下步驟：
[0018] D1、分別對參考幀和當(dāng)前幀進(jìn)行行投影；
[0019] D2、確定行投影和垂直方向位移矢量〒；
[0020] D3、確定列投影和水平方向位移矢量i:;
[0021] D4、確定平移矢量為7/ ,S=i+〒。
[0022] 具體而言，分別對參考幀和當(dāng)前幀進(jìn)行行投影
[0024] 式中視頻幀寬度為W像素，高度為H像素，Gh⑴表示第i行的投影，G(i，j)表示 圖像的第i行第j列的圖像灰度值。使用自相關(guān)函數(shù)確定垂直方向位移f
[0026] 1 彡j彡 2n+l
[0027] 式中，Gk⑴和G力）分別為當(dāng)前幀和參考幀的第i行投影值，然后用同樣的方法 求取列投影和水平方向位移矢量:K平移矢量為<3 :，=X+ .V。
[0028] 根據(jù)本發(fā)明另一【具體實(shí)施方式】，步驟E中，位移過大或過小的匹配點(diǎn)對判斷方法 如下：
[0029] 若某匹配點(diǎn)對的平移矢量與a之差的絕對值大于閾值，則該匹配點(diǎn)對位移過大或 過小，其中《=例。
[0030] 例如，假設(shè)參考幀和當(dāng)前幀圖像中的匹配點(diǎn)分別為A1U1,yi)和隊(duì)(1'，y')，模 塊一中計(jì)算的全局位移矢量大小為a，其中& =M。
[0033] 對于符合上述公式要求的匹配點(diǎn)對應(yīng)消除。
[0034] 根據(jù)本發(fā)明另一【具體實(shí)施方式】，步驟B提取圖像ORB特征點(diǎn)。
[0035] 根據(jù)本發(fā)明另一【具體實(shí)施方式】，ORB為帶有方向的FAST算子和旋轉(zhuǎn)的BRIEF算子。
[0036] 根據(jù)本發(fā)明另一【具體實(shí)施方式】，步驟C使用RANSAC完成特征點(diǎn)匹配。
[0037] 根據(jù)本發(fā)明另一【具體實(shí)施方式】，步驟E具體包括如下步驟：
[0038] EU在參考幀上隨機(jī)選擇三個(gè)特征點(diǎn)B1、C1、D1;
[0039] E2、在當(dāng)前幀上選擇與隊(duì)、Q、D1對應(yīng)的匹配點(diǎn)B2、C2、D2;
[0040] E3、分別將B2、C2、02的X軸坐標(biāo)和Y軸坐標(biāo)代入以下公式右側(cè)的（x2、y2)，將隊(duì)、 Q、X軸坐標(biāo)和Y軸坐標(biāo)代入以下公式左側(cè)的（Xl、yi):
[0043] 與現(xiàn)有技術(shù)相比，本發(fā)明具備如下有益效果：
[0044] 本發(fā)明利用了視頻幀之間聯(lián)系較為緊密的特點(diǎn)，消除位移過大、過小的匹配點(diǎn)提 高了正確匹配點(diǎn)對的比例，使仿射變換矩陣的計(jì)算更加準(zhǔn)確。
[0045] 下面結(jié)合附圖對本發(fā)明作進(jìn)一步的詳細(xì)說明。
【附圖說明】
[0046] 圖1是實(shí)施例1中，當(dāng)前幀與參考幀圖像的匹配點(diǎn)；
[0047] 圖2是實(shí)施例2中，圖像分區(qū)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0048] 實(shí)施例1
[0049]