本發(fā)明涉及視頻相機(jī)視頻圖像處理領(lǐng)域，可應(yīng)用于各種視頻相機(jī)，如視頻監(jiān)控、手持?jǐn)z像機(jī)、航天航空監(jiān)測(cè)、軍事監(jiān)測(cè)等，可較好的應(yīng)用于紅外視頻相機(jī)電子穩(wěn)像。

背景技術(shù)：

電子穩(wěn)像一直是視頻相機(jī)圖像采集系統(tǒng)的重點(diǎn)內(nèi)容，視頻相機(jī)在成像過程中由于平臺(tái)的抖動(dòng)和外界干擾導(dǎo)致相機(jī)在成像過程中得到的視頻序列帶有抖動(dòng)甚至畸變，對(duì)場(chǎng)景觀測(cè)產(chǎn)生了極大的影響，同時(shí)也限制了高層次的視覺任務(wù)，比如視頻中特定運(yùn)動(dòng)目標(biāo)的檢測(cè)和跟蹤。

視頻相機(jī)的電子穩(wěn)像方法留有諸多難點(diǎn)：現(xiàn)有的電子穩(wěn)像如塊匹配法通常適用于只有平移運(yùn)動(dòng)矢量的情況下，且對(duì)噪聲比較敏感以及對(duì)在動(dòng)態(tài)場(chǎng)景中獲得的視頻幀序列匹配時(shí)容易引起匹配誤差?；叶韧队胺m然算法速度比較快,但是要求圖像具有的灰度信息要變化豐富,否則將得不到準(zhǔn)確的變化明顯的灰度投影曲線,導(dǎo)致電子穩(wěn)像效果差。對(duì)于紅外視頻相機(jī)，獲取的視頻圖像噪聲較大、灰度信息變化不豐富，因此不適合利用塊匹配法和灰度投影法來實(shí)現(xiàn)電子穩(wěn)像功能。

針對(duì)以上問題，本方法采用基于改進(jìn)的klt和卡爾曼濾波的電子穩(wěn)像方法，klt光流跟蹤法能夠比較精確的獲取視頻序列的當(dāng)前幀與參考幀圖像的運(yùn)動(dòng)矢量，精度高，可以達(dá)到亞像素級(jí)，同時(shí)適用于存在平移、旋轉(zhuǎn)、縮放等復(fù)雜的場(chǎng)景中。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的，是要提供一種實(shí)時(shí)電子穩(wěn)像方法，用于解決視頻相機(jī)由于平臺(tái)抖動(dòng)和外界干擾引起的視頻序列抖動(dòng)和畸變問題。

為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

1、本方法將電子穩(wěn)像三步實(shí)施：1)運(yùn)動(dòng)矢量估計(jì)、2)運(yùn)動(dòng)濾波、3)運(yùn)動(dòng)補(bǔ)償。

2、所述的運(yùn)動(dòng)矢量估計(jì)方法如下，首先利用shi-tomasi角點(diǎn)檢測(cè)算法檢測(cè)參考幀圖像中的特征角點(diǎn)，然后利用金字塔模型改進(jìn)lucas-kanade光流算法跟蹤匹配檢測(cè)到的特征角點(diǎn)，再利用基于統(tǒng)計(jì)方法的隨機(jī)抽樣一致性算法剔除匹配過程中產(chǎn)生的誤匹配點(diǎn)對(duì)，最后利用獲得的匹配點(diǎn)對(duì)帶入?yún)⒖紟c當(dāng)前幀圖像變換模型中，得到一組超定方程，利用最小二乘法擬合得到圖像序列間的全局運(yùn)動(dòng)矢量；

3、所述的運(yùn)動(dòng)濾波方法如下，利用卡爾曼濾波算法分離紅外視頻相機(jī)有意運(yùn)動(dòng)和無意的抖動(dòng)，從而保留相機(jī)的有意運(yùn)動(dòng)，且對(duì)步驟1)得到的全局運(yùn)動(dòng)矢量參數(shù)進(jìn)行修正得到修正的運(yùn)動(dòng)矢量參數(shù)。

4、所述的運(yùn)動(dòng)補(bǔ)償方法如下，利用步驟3)得到的修正運(yùn)動(dòng)矢量參數(shù)和視頻序列中的當(dāng)前幀圖像和參考幀圖像之間的仿射變換模型對(duì)視頻序列運(yùn)動(dòng)矢量進(jìn)行補(bǔ)償，得到穩(wěn)定的視頻序列。

本發(fā)明的優(yōu)點(diǎn)在于，有效解決視頻相機(jī)電子穩(wěn)像處理過程中遺留的諸多難題：處理速度慢，不能做到實(shí)時(shí)，圖像紋理不明顯導(dǎo)致穩(wěn)像精度差，不能解決圖像間存在旋轉(zhuǎn)等問題。同時(shí)，本方法不需要外加處理芯片，成本低，便于實(shí)現(xiàn)。

附圖說明

圖1為本發(fā)明詳細(xì)實(shí)現(xiàn)過程圖。

圖2為本發(fā)明具體實(shí)施示例穩(wěn)像結(jié)果，圖a為穩(wěn)像前視頻序列，其中圖(1)為穩(wěn)像前的第30幀，圖(2)為穩(wěn)像前的第54幀，圖(3)為穩(wěn)像前的第78幀；圖b為穩(wěn)像后視頻序列，其中圖(1)為穩(wěn)像后的第30幀，圖(2)為穩(wěn)像后的第54幀，圖(3)為穩(wěn)像后的第78幀。

具體實(shí)施方式

下面結(jié)合具體實(shí)施例，即制冷型紅外視頻相機(jī)的電子穩(wěn)像對(duì)本發(fā)明作進(jìn)一步描述，在此僅用本發(fā)明的適宜性實(shí)例說明來解釋本發(fā)明，但并不作為本發(fā)明的限定。

制冷型紅外視頻相機(jī)由紅外探測(cè)器、模擬抖動(dòng)平臺(tái)、數(shù)據(jù)采集系統(tǒng)、電源組成。在具體實(shí)施例中，利用抖動(dòng)平臺(tái)模擬無意的抖動(dòng)，從而會(huì)引起輸出視頻序列抖動(dòng)，利用本發(fā)明方法解決這一問題。方法如圖1所示，由運(yùn)動(dòng)矢量估計(jì)、運(yùn)動(dòng)濾波、和運(yùn)動(dòng)補(bǔ)償三個(gè)部分組成。

首先，以紅外視頻序列中的某一幀為參考幀，對(duì)圖像進(jìn)行預(yù)處理后，利用shi-tomasi角點(diǎn)檢測(cè)算法提取參考幀圖像中的特征角點(diǎn)，然后利用改進(jìn)的基于金字塔模型的lucas-kanade光流算法跟蹤匹配檢測(cè)到的特征角點(diǎn)，再利用ransac算法剔除匹配過程中產(chǎn)生的誤匹配點(diǎn)對(duì)，最后根據(jù)匹配點(diǎn)對(duì)利用最小二乘法擬合得到當(dāng)前幀圖像與參考幀圖像的全局運(yùn)動(dòng)矢量；

其次，利用卡爾曼濾波算法分離紅外視頻相機(jī)有意運(yùn)動(dòng)和無意的抖動(dòng)，從而保留相機(jī)的有意運(yùn)動(dòng)，這里的無意抖動(dòng)即模擬抖動(dòng)平臺(tái)產(chǎn)生的不必要的抖動(dòng)。

最后，利用經(jīng)過濾波后得到的最終修正運(yùn)動(dòng)矢量參數(shù)和視頻序列中的當(dāng)前幀圖像和參考幀圖像之間的仿射變換模型對(duì)視頻序列運(yùn)動(dòng)矢量進(jìn)行補(bǔ)償，得到穩(wěn)定的視頻序列。本例中電子穩(wěn)像平均誤差為0.1318pixel,均方根值為0.0457.速度為每秒34幀。穩(wěn)像結(jié)果見圖2所示。

以上所述，僅為本發(fā)明較佳的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，根據(jù)本發(fā)明所述系統(tǒng)及其實(shí)施方法所做的同等變化及修飾，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求的保護(hù)范圍為準(zhǔn)。

技術(shù)特征：

技術(shù)總結(jié)
本發(fā)明公開了一種基于改進(jìn)的KLT和卡爾曼濾波的電子穩(wěn)像方法。方法包括：運(yùn)動(dòng)矢量估計(jì)、運(yùn)動(dòng)濾波、和運(yùn)動(dòng)補(bǔ)償。所述運(yùn)動(dòng)矢量估計(jì)為利用Shi?Tomasi算法檢測(cè)參考幀圖像特征角點(diǎn)，金字塔模型的Lucas?Kanade光流算法跟蹤匹配角點(diǎn)，隨機(jī)抽樣一致性算法去除誤匹配點(diǎn)，最小二乘法擬合全局運(yùn)動(dòng)矢量；所述運(yùn)動(dòng)濾波利用卡爾曼濾波算法分離視頻相機(jī)有意運(yùn)動(dòng)和無意的抖動(dòng)；所述運(yùn)動(dòng)補(bǔ)償利用變換參數(shù)和圖像仿射變換模型補(bǔ)償視頻序列當(dāng)前幀圖像相對(duì)于參考幀圖像的運(yùn)動(dòng)矢量。本發(fā)明所用方法簡(jiǎn)單、穩(wěn)像精度高、處理耗時(shí)短，同時(shí)，較好的解決了視頻相機(jī)由于平臺(tái)抖動(dòng)等不必要的外界干擾引起的視頻序列抖動(dòng)問題，而且本方法具有通用性，可以用在手持?jǐn)z像設(shè)備、視頻監(jiān)控、軍事監(jiān)測(cè)等場(chǎng)合。

技術(shù)研發(fā)人員：李鋒;董峰;馮旗;王文秀;王梅竹;劉文浩;朱天佑
受保護(hù)的技術(shù)使用者：中國(guó)科學(xué)院上海技術(shù)物理研究所
技術(shù)研發(fā)日：2017.07.12
技術(shù)公布日：2017.09.29