本發(fā)明涉及圖像處理領(lǐng)域，尤其是一種基于特征匹配與運(yùn)動(dòng)補(bǔ)償?shù)囊曨l穩(wěn)像方法及系統(tǒng)。

背景技術(shù)：

視頻作為一種重要的載體，里面包含有豐富的信息，在很多場(chǎng)合被加以廣泛運(yùn)用，發(fā)揮著越來(lái)越重要的作用。為了能夠提取有效的區(qū)域信息，獲取的視頻需要具有一定的穩(wěn)定性和清晰度。

伴隨著攝像設(shè)備的廣泛應(yīng)用，攝像平臺(tái)也越來(lái)越多樣化，其可主要?jiǎng)澐譃楣潭ㄆ脚_(tái)和移動(dòng)平臺(tái)這兩種。攝像平臺(tái)中各種手持?jǐn)z像設(shè)備、航拍器、車(chē)載攝像系統(tǒng)等由于受姿態(tài)變化和攝像機(jī)抖動(dòng)等因素的影響，使得視頻信息發(fā)生旋轉(zhuǎn)或平移等隨機(jī)運(yùn)動(dòng)，造成同一背景下存在有多種運(yùn)動(dòng)矢量和相鄰幀間圖像的坐標(biāo)系不一致，使得輸出的圖像沒(méi)有很好的穩(wěn)定性，容易導(dǎo)致攝像平臺(tái)因輸出圖像不穩(wěn)定所帶來(lái)的誤差而無(wú)法提取有效正確的信息。因此，如何將這些抖動(dòng)模糊的視頻信號(hào)轉(zhuǎn)化為穩(wěn)定清晰的視頻信號(hào)，就顯得尤為重要。

目前國(guó)內(nèi)外防抖方法主要包括機(jī)械穩(wěn)像法、光學(xué)穩(wěn)像法以及電子防抖法等。光學(xué)穩(wěn)像法存在成本高、結(jié)構(gòu)較為精密復(fù)雜等缺點(diǎn)。而機(jī)械穩(wěn)像法的精度較低，同時(shí)其對(duì)一些較為明顯的噪聲處理效果不佳。電子穩(wěn)像法能直接從視頻序列中消除設(shè)想載體帶來(lái)的抖動(dòng)，不依賴(lài)與任何支撐體系。相比前兩種方法而言，電子防抖技術(shù)具有成本低、靈活精確、能耗小等優(yōu)點(diǎn)，具有廣闊的應(yīng)用前景，逐漸取代機(jī)械穩(wěn)像法和光學(xué)穩(wěn)像法成為防抖技術(shù)的主流。

近年來(lái)，針對(duì)電子防抖算法的研究有很多，其中既有基于Harris角點(diǎn)、SUSAN角點(diǎn)進(jìn)行運(yùn)動(dòng)估計(jì)的方法，也有基于尺度不變性(如SIFT算法、SURF算法)的征匹配方法。Harris角點(diǎn)和SUSAN角點(diǎn)對(duì)較為穩(wěn)定視頻圖像進(jìn)行匹配的效果好，但該算法的特征檢測(cè)和匹配速度較慢。SIFT算法具有尺度不變性，能夠適應(yīng)圖像的多種變化情況，因此得到了廣泛的使用，但該算法的計(jì)算量大，處理速度慢，不適用于實(shí)時(shí)處理。SURF算法，是一種對(duì)SIFT改進(jìn)的算法，其性能超過(guò)了SIFT且在處理速度上有了提高，但它同樣存在計(jì)算量大，不適用于實(shí)時(shí)處理的缺點(diǎn)，而且其進(jìn)行特征匹配的正確率不高，需要進(jìn)行進(jìn)一步改進(jìn)。

技術(shù)實(shí)現(xiàn)要素：

為解決上述技術(shù)問(wèn)題，本發(fā)明的目的在于：提供一種處理速度快和正確率高的，基于特征匹配與運(yùn)動(dòng)補(bǔ)償?shù)囊曨l穩(wěn)像方法。

本發(fā)明的另一目的在于：提供一種處理速度快和正確率高的，基于特征匹配與運(yùn)動(dòng)補(bǔ)償?shù)囊曨l穩(wěn)像系統(tǒng)。

本發(fā)明所采取的技術(shù)方案是：

一種基于特征匹配與運(yùn)動(dòng)補(bǔ)償?shù)囊曨l穩(wěn)像方法，包括以下步驟：

選取視頻幀圖像的局部特征匹配區(qū)域，所述視頻幀圖像的局部特征匹配區(qū)域包括四個(gè)矩形框區(qū)域，所述四個(gè)矩形框區(qū)域由視頻幀圖像的四個(gè)邊角區(qū)域分別向內(nèi)縮進(jìn)設(shè)定的距離得到；

在視頻幀圖像的局部特征匹配區(qū)域中采用SURF算法提取視頻幀圖像特征點(diǎn)，并計(jì)算相應(yīng)的SURF特征點(diǎn)描述符；

采用改進(jìn)的快速近似最鄰近匹配算法對(duì)視頻幀圖像進(jìn)行局部特征點(diǎn)匹配，所述改進(jìn)的快速近似最鄰近匹配算法先訓(xùn)練好匹配器，再選取最優(yōu)索引類(lèi)型來(lái)為SURF特征點(diǎn)描述符構(gòu)建索引樹(shù)，最后根據(jù)匹配器和索引樹(shù)采用權(quán)值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點(diǎn)；

根據(jù)匹配的結(jié)果采用最小二乘法來(lái)求解視頻幀圖像的仿射變換參數(shù)，然后根據(jù)求解出的仿射變換參數(shù)采用雙線性插值法對(duì)視頻幀圖像進(jìn)行全局運(yùn)動(dòng)補(bǔ)償。

進(jìn)一步，所述在視頻幀圖像的局部特征匹配區(qū)域中采用SURF算法提取視頻幀圖像特征點(diǎn)，并計(jì)算相應(yīng)的SURF特征描述符這一步驟，其包括：

為視頻幀圖像的局部特征匹配區(qū)域中的圖像點(diǎn)構(gòu)建海森矩陣；

構(gòu)造高斯金字塔尺度空間；

在高斯金字塔尺度空間中根據(jù)設(shè)定的海森矩陣判別式采用非極大值抑制的方式初步確定視頻幀圖像特征點(diǎn)；

構(gòu)造視頻幀圖像的SURF特征描述符；

選取視頻幀圖像特征點(diǎn)的主方向；

根據(jù)SURF特征描述符和選取的主方向從初步確定的視頻幀圖像特征點(diǎn)中精確定位出極值點(diǎn)，并以定位出的極值點(diǎn)作為提取出的視頻幀圖像特征點(diǎn)。

進(jìn)一步，所述采用改進(jìn)的快速近似最鄰近匹配算法對(duì)視頻幀圖像進(jìn)行局部特征點(diǎn)匹配這一步驟，其包括：

根據(jù)視頻幀圖像特征點(diǎn)訓(xùn)練好相應(yīng)的匹配器；

根據(jù)視頻幀圖像特征點(diǎn)數(shù)據(jù)選取最優(yōu)的索引類(lèi)型隨機(jī)KD-tree樹(shù)和層次K-means tree為SURF特征描述子建立索引樹(shù)；

根據(jù)匹配器和索引樹(shù)采用權(quán)值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點(diǎn)。

進(jìn)一步，所述根據(jù)匹配器和索引樹(shù)采用權(quán)值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點(diǎn)這一步驟，其包括：

S1、從視頻幀圖像中選取基準(zhǔn)幀圖像和當(dāng)前幀圖像，并得到基準(zhǔn)幀圖像與當(dāng)前幀圖像的對(duì)應(yīng)特征點(diǎn)，其中，當(dāng)前幀圖像為視頻幀圖像中除了基準(zhǔn)幀圖像外的任一幀圖像；

S2、計(jì)算基準(zhǔn)幀圖像與當(dāng)前幀圖像的對(duì)應(yīng)特征點(diǎn)的歐氏距離和最小歐氏距離，然后根據(jù)計(jì)算的最小歐氏距離設(shè)定距離閾值，并將基準(zhǔn)幀圖像與當(dāng)前幀圖像的對(duì)應(yīng)特征點(diǎn)中歐氏距離小于設(shè)定距離閾值的對(duì)應(yīng)特征點(diǎn)作為匹配點(diǎn)對(duì)保留而將其余對(duì)應(yīng)特征點(diǎn)剔除，其中，設(shè)定距離閾值為最小歐氏距離閾值的若干倍；

S3、將基準(zhǔn)幀圖像與當(dāng)前幀圖像進(jìn)行雙向匹配，從而將基準(zhǔn)幀圖像與當(dāng)前幀圖像的對(duì)應(yīng)特征點(diǎn)中不符合雙向匹配原則的對(duì)應(yīng)特征點(diǎn)從步驟S2保留的匹配點(diǎn)對(duì)中剔除；

S4、采用K-近鄰算法從步驟S3得到的匹配點(diǎn)對(duì)中篩選出最終的匹配點(diǎn)。

進(jìn)一步，所述步驟S4，其包括：

S41、根據(jù)對(duì)應(yīng)特征點(diǎn)的歐氏距離為當(dāng)前幀圖像的每個(gè)SURF特征描述子尋找最優(yōu)匹配點(diǎn)和次最優(yōu)匹配點(diǎn)，其中，最優(yōu)匹配點(diǎn)是對(duì)應(yīng)特征點(diǎn)的最小歐氏距離對(duì)應(yīng)的點(diǎn)，次最優(yōu)匹配點(diǎn)是對(duì)應(yīng)特征點(diǎn)的次最小歐氏距離對(duì)應(yīng)的點(diǎn)；

S42、判斷最優(yōu)匹配點(diǎn)的歐氏距離與次最優(yōu)匹配點(diǎn)的歐氏距離的比值是否趨于0，若是，則將對(duì)應(yīng)特征點(diǎn)保留在步驟S3得到的匹配點(diǎn)對(duì)中，反之，則將對(duì)應(yīng)特征點(diǎn)從步驟S3得到的匹配點(diǎn)對(duì)中剔除，從而得到最終的匹配點(diǎn)。

進(jìn)一步，所述基準(zhǔn)幀圖像的選取間隔為10幀。

進(jìn)一步，所述根據(jù)匹配的結(jié)果采用最小二乘法來(lái)求解視頻幀圖像的仿射變換參數(shù)，然后根據(jù)求解出的仿射變換參數(shù)采用雙線性插值法對(duì)視頻幀圖像進(jìn)行全局運(yùn)動(dòng)補(bǔ)償這一步驟，其包括：

根據(jù)仿射變換模型和視頻幀圖像中相鄰兩幀圖像匹配的結(jié)果采用最小二乘法來(lái)求解視頻幀圖像的仿射變換參數(shù)；

根據(jù)求解出的仿射變換參數(shù)采用雙線性插值法對(duì)視頻幀圖像進(jìn)行全局運(yùn)動(dòng)補(bǔ)償。

本發(fā)明解決其技術(shù)問(wèn)題所采取的另一技術(shù)方案是：

一種基于特征匹配與運(yùn)動(dòng)補(bǔ)償?shù)囊曨l穩(wěn)像系統(tǒng)，包括：

局部特征匹配區(qū)域選取模塊，用于選取視頻幀圖像的局部特征匹配區(qū)域，所述視頻幀圖像的局部特征匹配區(qū)域包括四個(gè)矩形框區(qū)域，所述四個(gè)矩形框區(qū)域由視頻幀圖像的四個(gè)邊角區(qū)域分別向內(nèi)縮進(jìn)設(shè)定的距離得到；

特征點(diǎn)提取模塊，用于在視頻幀圖像的局部特征匹配區(qū)域中采用SURF算法提取視頻幀圖像特征點(diǎn)，并計(jì)算相應(yīng)的SURF特征點(diǎn)描述符；

局部特征點(diǎn)匹配模塊，用于采用改進(jìn)的快速近似最鄰近匹配算法對(duì)視頻幀圖像進(jìn)行局部特征點(diǎn)匹配，所述改進(jìn)的快速近似最鄰近匹配算法先訓(xùn)練好匹配器，再選取最優(yōu)索引類(lèi)型來(lái)為SURF特征點(diǎn)描述符構(gòu)建索引樹(shù)，最后根據(jù)匹配器和索引樹(shù)采用權(quán)值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點(diǎn)；

仿射變換與全局運(yùn)動(dòng)補(bǔ)償模塊，用于根據(jù)匹配的結(jié)果采用最小二乘法來(lái)求解視頻幀圖像的仿射變換參數(shù)，然后根據(jù)求解出的仿射變換參數(shù)采用雙線性插值法對(duì)視頻幀圖像進(jìn)行全局運(yùn)動(dòng)補(bǔ)償。

進(jìn)一步，所述局部特征點(diǎn)匹配模塊包括：

訓(xùn)練單元，用于根據(jù)視頻幀圖像特征點(diǎn)訓(xùn)練好相應(yīng)的匹配器；

索引樹(shù)建立單元，用于根據(jù)視頻幀圖像特征點(diǎn)數(shù)據(jù)選取最優(yōu)的索引類(lèi)型隨機(jī)KD-tree樹(shù)和層次K-means tree為SURF特征描述子建立索引樹(shù)；

匹配點(diǎn)篩選單元，用于根據(jù)匹配器和索引樹(shù)采用權(quán)值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點(diǎn)。

進(jìn)一步，所述匹配點(diǎn)篩選單元包括：

初始化子單元，用于從視頻幀圖像中選取基準(zhǔn)幀圖像和當(dāng)前幀圖像，并得到基準(zhǔn)幀圖像與當(dāng)前幀圖像的對(duì)應(yīng)特征點(diǎn)，其中，當(dāng)前幀圖像為視頻幀圖像中除了基準(zhǔn)幀圖像外的任一幀圖像；

權(quán)值法篩選子單元，用于計(jì)算基準(zhǔn)幀圖像與當(dāng)前幀圖像的對(duì)應(yīng)特征點(diǎn)的歐氏距離和最小歐氏距離，然后根據(jù)計(jì)算的最小歐氏距離設(shè)定距離閾值，并將基準(zhǔn)幀圖像與當(dāng)前幀圖像的對(duì)應(yīng)特征點(diǎn)中歐氏距離小于設(shè)定距離閾值的對(duì)應(yīng)特征點(diǎn)作為匹配點(diǎn)對(duì)保留而將其余對(duì)應(yīng)特征點(diǎn)剔除，其中，設(shè)定距離閾值為最小歐氏距離閾值的若干倍；

雙向匹配子單元，用于將基準(zhǔn)幀圖像與當(dāng)前幀圖像進(jìn)行雙向匹配，從而將基準(zhǔn)幀圖像與當(dāng)前幀圖像的對(duì)應(yīng)特征點(diǎn)中不符合雙向匹配原則的對(duì)應(yīng)特征點(diǎn)從權(quán)值法篩選子單元保留的匹配點(diǎn)對(duì)中剔除；

K-近鄰算法篩選子單元，用于采用K-近鄰算法從雙向匹配子單元得到的匹配點(diǎn)對(duì)中篩選出最終的匹配點(diǎn)。

本發(fā)明的方法的有益效果是：包括選取視頻幀圖像的局部特征匹配區(qū)域，采用SURF算法提取視頻幀圖像特征點(diǎn)，采用改進(jìn)的快速近似最鄰近匹配算法對(duì)視頻幀圖像進(jìn)行局部特征點(diǎn)匹配以及對(duì)視頻幀圖像進(jìn)行全局運(yùn)動(dòng)補(bǔ)償?shù)牟襟E，將局部特征匹配與運(yùn)動(dòng)補(bǔ)償相結(jié)合，有效加快了算法的處理速度，并對(duì)現(xiàn)有特征點(diǎn)匹配步驟所采用的快速近似最鄰近匹配算法進(jìn)行了改進(jìn)，增設(shè)了采用權(quán)值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點(diǎn)過(guò)程，大大提高了特征匹配的正確率。

本發(fā)明的系統(tǒng)的有益效果是：包括用于選取視頻幀圖像的局部特征匹配區(qū)域的局部特征匹配區(qū)域選取模塊，用于采用SURF算法提取視頻幀圖像特征點(diǎn)的特征點(diǎn)提取模塊，用于采用改進(jìn)的快速近似最鄰近匹配算法對(duì)視頻幀圖像進(jìn)行局部特征點(diǎn)匹配的局部特征點(diǎn)匹配模塊以及用于對(duì)視頻幀圖像進(jìn)行全局運(yùn)動(dòng)補(bǔ)償?shù)姆律渥儞Q與全局運(yùn)動(dòng)補(bǔ)償模塊，將局部特征匹配與運(yùn)動(dòng)補(bǔ)償相結(jié)合，有效加快了算法的處理速度，并對(duì)現(xiàn)有特征點(diǎn)匹配過(guò)程所采用的快速近似最鄰近匹配算法進(jìn)行了改進(jìn)，在局部特征點(diǎn)匹配模塊中增設(shè)了采用權(quán)值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點(diǎn)過(guò)程，大大提高了特征匹配的正確率。

附圖說(shuō)明

圖1為本發(fā)明一種基于特征匹配與運(yùn)動(dòng)補(bǔ)償?shù)囊曨l穩(wěn)像方法的整體流程圖；

圖2為本發(fā)明所選取的局部特征匹配區(qū)域示意圖；

圖3為本發(fā)明SURF算法的流程圖；

圖4為本發(fā)明實(shí)施例一的一個(gè)優(yōu)選實(shí)施流程圖。

具體實(shí)施方式

參照?qǐng)D1和2，一種基于特征匹配與運(yùn)動(dòng)補(bǔ)償?shù)囊曨l穩(wěn)像方法，包括以下步驟：

選取視頻幀圖像的局部特征匹配區(qū)域，所述視頻幀圖像的局部特征匹配區(qū)域包括四個(gè)矩形框區(qū)域，所述四個(gè)矩形框區(qū)域由視頻幀圖像的四個(gè)邊角區(qū)域分別向內(nèi)縮進(jìn)設(shè)定的距離得到；

在視頻幀圖像的局部特征匹配區(qū)域中采用SURF算法提取視頻幀圖像特征點(diǎn)，并計(jì)算相應(yīng)的SURF特征點(diǎn)描述符；

采用改進(jìn)的快速近似最鄰近匹配算法對(duì)視頻幀圖像進(jìn)行局部特征點(diǎn)匹配，所述改進(jìn)的快速近似最鄰近匹配算法先訓(xùn)練好匹配器，再選取最優(yōu)索引類(lèi)型來(lái)為SURF特征點(diǎn)描述符構(gòu)建索引樹(shù)，最后根據(jù)匹配器和索引樹(shù)采用權(quán)值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點(diǎn)；

根據(jù)匹配的結(jié)果采用最小二乘法來(lái)求解視頻幀圖像的仿射變換參數(shù)，然后根據(jù)求解出的仿射變換參數(shù)采用雙線性插值法對(duì)視頻幀圖像進(jìn)行全局運(yùn)動(dòng)補(bǔ)償。

參照?qǐng)D3，進(jìn)一步作為優(yōu)選的實(shí)施方式，所述在視頻幀圖像的局部特征匹配區(qū)域中采用SURF算法提取視頻幀圖像特征點(diǎn)，并計(jì)算相應(yīng)的SURF特征描述符這一步驟，其包括：

為視頻幀圖像的局部特征匹配區(qū)域中的圖像點(diǎn)構(gòu)建海森矩陣；

構(gòu)造高斯金字塔尺度空間；

在高斯金字塔尺度空間中根據(jù)設(shè)定的海森矩陣判別式采用非極大值抑制的方式初步確定視頻幀圖像特征點(diǎn)；

構(gòu)造視頻幀圖像的SURF特征描述符；

選取視頻幀圖像特征點(diǎn)的主方向；

根據(jù)SURF特征描述符和選取的主方向從初步確定的視頻幀圖像特征點(diǎn)中精確定位出極值點(diǎn)，并以定位出的極值點(diǎn)作為提取出的視頻幀圖像特征點(diǎn)。

進(jìn)一步作為優(yōu)選的實(shí)施方式，所述采用改進(jìn)的快速近似最鄰近匹配算法對(duì)視頻幀圖像進(jìn)行局部特征點(diǎn)匹配這一步驟，其包括：

根據(jù)視頻幀圖像特征點(diǎn)訓(xùn)練好相應(yīng)的匹配器；

根據(jù)視頻幀圖像特征點(diǎn)數(shù)據(jù)選取最優(yōu)的索引類(lèi)型隨機(jī)KD-tree樹(shù)和層次K-means tree為SURF特征描述子建立索引樹(shù)；

根據(jù)匹配器和索引樹(shù)采用權(quán)值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點(diǎn)。

進(jìn)一步作為優(yōu)選的實(shí)施方式，所述根據(jù)匹配器和索引樹(shù)采用權(quán)值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點(diǎn)這一步驟，其包括：

S1、從視頻幀圖像中選取基準(zhǔn)幀圖像和當(dāng)前幀圖像，并得到基準(zhǔn)幀圖像與當(dāng)前幀圖像的對(duì)應(yīng)特征點(diǎn)，其中，當(dāng)前幀圖像為視頻幀圖像中除了基準(zhǔn)幀圖像外的任一幀圖像；

S2、計(jì)算基準(zhǔn)幀圖像與當(dāng)前幀圖像的對(duì)應(yīng)特征點(diǎn)的歐氏距離和最小歐氏距離，然后根據(jù)計(jì)算的最小歐氏距離設(shè)定距離閾值，并將基準(zhǔn)幀圖像與當(dāng)前幀圖像的對(duì)應(yīng)特征點(diǎn)中歐氏距離小于設(shè)定距離閾值的對(duì)應(yīng)特征點(diǎn)作為匹配點(diǎn)對(duì)保留而將其余對(duì)應(yīng)特征點(diǎn)剔除，其中，設(shè)定距離閾值為最小歐氏距離閾值的若干倍；

S3、將基準(zhǔn)幀圖像與當(dāng)前幀圖像進(jìn)行雙向匹配，從而將基準(zhǔn)幀圖像與當(dāng)前幀圖像的對(duì)應(yīng)特征點(diǎn)中不符合雙向匹配原則的對(duì)應(yīng)特征點(diǎn)從步驟S2保留的匹配點(diǎn)對(duì)中剔除；

S4、采用K-近鄰算法從步驟S3得到的匹配點(diǎn)對(duì)中篩選出最終的匹配點(diǎn)。

進(jìn)一步作為優(yōu)選的實(shí)施方式，所述步驟S4，其包括：

S41、根據(jù)對(duì)應(yīng)特征點(diǎn)的歐氏距離為當(dāng)前幀圖像的每個(gè)SURF特征描述子尋找最優(yōu)匹配點(diǎn)和次最優(yōu)匹配點(diǎn)，其中，最優(yōu)匹配點(diǎn)是對(duì)應(yīng)特征點(diǎn)的最小歐氏距離對(duì)應(yīng)的點(diǎn)，次最優(yōu)匹配點(diǎn)是對(duì)應(yīng)特征點(diǎn)的次最小歐氏距離對(duì)應(yīng)的點(diǎn)；

S42、判斷最優(yōu)匹配點(diǎn)的歐氏距離與次最優(yōu)匹配點(diǎn)的歐氏距離的比值是否趨于0，若是，則將對(duì)應(yīng)特征點(diǎn)保留在步驟S3得到的匹配點(diǎn)對(duì)中，反之，則將對(duì)應(yīng)特征點(diǎn)從步驟S3得到的匹配點(diǎn)對(duì)中剔除，從而得到最終的匹配點(diǎn)。

進(jìn)一步作為優(yōu)選的實(shí)施方式，所述基準(zhǔn)幀圖像的選取間隔為10幀。

進(jìn)一步作為優(yōu)選的實(shí)施方式，所述根據(jù)匹配的結(jié)果采用最小二乘法來(lái)求解視頻幀圖像的仿射變換參數(shù)，然后根據(jù)求解出的仿射變換參數(shù)采用雙線性插值法對(duì)視頻幀圖像進(jìn)行全局運(yùn)動(dòng)補(bǔ)償這一步驟，其包括：

根據(jù)仿射變換模型和視頻幀圖像中相鄰兩幀圖像匹配的結(jié)果采用最小二乘法來(lái)求解視頻幀圖像的仿射變換參數(shù)；

根據(jù)求解出的仿射變換參數(shù)采用雙線性插值法對(duì)視頻幀圖像進(jìn)行全局運(yùn)動(dòng)補(bǔ)償。

參照?qǐng)D1和2，一種基于特征匹配與運(yùn)動(dòng)補(bǔ)償?shù)囊曨l穩(wěn)像系統(tǒng)，包括：

局部特征匹配區(qū)域選取模塊，用于選取視頻幀圖像的局部特征匹配區(qū)域，所述視頻幀圖像的局部特征匹配區(qū)域包括四個(gè)矩形框區(qū)域，所述四個(gè)矩形框區(qū)域由視頻幀圖像的四個(gè)邊角區(qū)域分別向內(nèi)縮進(jìn)設(shè)定的距離得到；

特征點(diǎn)提取模塊，用于在視頻幀圖像的局部特征匹配區(qū)域中采用SURF算法提取視頻幀圖像特征點(diǎn)，并計(jì)算相應(yīng)的SURF特征點(diǎn)描述符；

局部特征點(diǎn)匹配模塊，用于采用改進(jìn)的快速近似最鄰近匹配算法對(duì)視頻幀圖像進(jìn)行局部特征點(diǎn)匹配，所述改進(jìn)的快速近似最鄰近匹配算法先訓(xùn)練好匹配器，再選取最優(yōu)索引類(lèi)型來(lái)為SURF特征點(diǎn)描述符構(gòu)建索引樹(shù)，最后根據(jù)匹配器和索引樹(shù)采用權(quán)值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點(diǎn)；

仿射變換與全局運(yùn)動(dòng)補(bǔ)償模塊，用于根據(jù)匹配的結(jié)果采用最小二乘法來(lái)求解視頻幀圖像的仿射變換參數(shù)，然后根據(jù)求解出的仿射變換參數(shù)采用雙線性插值法對(duì)視頻幀圖像進(jìn)行全局運(yùn)動(dòng)補(bǔ)償。

進(jìn)一步作為優(yōu)選的實(shí)施方式，所述局部特征點(diǎn)匹配模塊包括：

訓(xùn)練單元，用于根據(jù)視頻幀圖像特征點(diǎn)訓(xùn)練好相應(yīng)的匹配器；

索引樹(shù)建立單元，用于根據(jù)視頻幀圖像特征點(diǎn)數(shù)據(jù)選取最優(yōu)的索引類(lèi)型隨機(jī)KD-tree樹(shù)和層次K-means tree為SURF特征描述子建立索引樹(shù)；

匹配點(diǎn)篩選單元，用于根據(jù)匹配器和索引樹(shù)采用權(quán)值篩選法、雙向匹配法以及K-近鄰算法篩選出最終的匹配點(diǎn)。

進(jìn)一步作為優(yōu)選的實(shí)施方式，所述匹配點(diǎn)篩選單元包括：

初始化子單元，用于從視頻幀圖像中選取基準(zhǔn)幀圖像和當(dāng)前幀圖像，并得到基準(zhǔn)幀圖像與當(dāng)前幀圖像的對(duì)應(yīng)特征點(diǎn)，其中，當(dāng)前幀圖像為視頻幀圖像中除了基準(zhǔn)幀圖像外的任一幀圖像；

權(quán)值法篩選子單元，用于計(jì)算基準(zhǔn)幀圖像與當(dāng)前幀圖像的對(duì)應(yīng)特征點(diǎn)的歐氏距離和最小歐氏距離，然后根據(jù)計(jì)算的最小歐氏距離設(shè)定距離閾值，并將基準(zhǔn)幀圖像與當(dāng)前幀圖像的對(duì)應(yīng)特征點(diǎn)中歐氏距離小于設(shè)定距離閾值的對(duì)應(yīng)特征點(diǎn)作為匹配點(diǎn)對(duì)保留而將其余對(duì)應(yīng)特征點(diǎn)剔除，其中，設(shè)定距離閾值為最小歐氏距離閾值的若干倍；

雙向匹配子單元，用于將基準(zhǔn)幀圖像與當(dāng)前幀圖像進(jìn)行雙向匹配，從而將基準(zhǔn)幀圖像與當(dāng)前幀圖像的對(duì)應(yīng)特征點(diǎn)中不符合雙向匹配原則的對(duì)應(yīng)特征點(diǎn)從權(quán)值法篩選子單元保留的匹配點(diǎn)對(duì)中剔除；

K-近鄰算法篩選子單元，用于采用K-近鄰算法從雙向匹配子單元得到的匹配點(diǎn)對(duì)中篩選出最終的匹配點(diǎn)。

下面結(jié)合說(shuō)明書(shū)附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步解釋和說(shuō)明。

實(shí)施例一

針對(duì)于現(xiàn)有的電子穩(wěn)像方法處理速度慢和特征匹配的正確率低的問(wèn)題，本發(fā)明提出了一種改進(jìn)的基于局部特征匹配與運(yùn)動(dòng)補(bǔ)償相結(jié)合的視頻穩(wěn)像方法，有效地提高了算法的處理速度以及匹配的正確度。本發(fā)明所提出的方法能對(duì)視頻幀圖像進(jìn)行正確的運(yùn)動(dòng)補(bǔ)償，最終能獲得良好的穩(wěn)像效果。如圖1所示，該方法主要包括：首先選取局部特征匹配區(qū)域來(lái)提高算法處理速度，并減少場(chǎng)景內(nèi)運(yùn)動(dòng)目標(biāo)對(duì)穩(wěn)像效果的影響；接著，通過(guò)SURF算法提取圖像特征點(diǎn)并計(jì)算描述符；結(jié)合改進(jìn)的快速近似最鄰近匹配算法對(duì)特征點(diǎn)進(jìn)行匹配，其中，為盡可能消除下一步對(duì)穩(wěn)像效果的影響，改進(jìn)的快速近似最鄰近匹配算法通過(guò)權(quán)值篩選、雙向匹配以及K-近鄰算法來(lái)篩選最終的匹配點(diǎn)(即優(yōu)秀匹配點(diǎn))；最后，建立仿射變換模型，通過(guò)最小二乘法求解視頻幀圖像的仿射變換參數(shù)，進(jìn)而對(duì)視頻幀圖像進(jìn)行全局運(yùn)動(dòng)補(bǔ)償。下面對(duì)本發(fā)明主要的穩(wěn)像過(guò)程進(jìn)行具體說(shuō)明。

(一)選取局部特征匹配區(qū)域

對(duì)全局的特征點(diǎn)進(jìn)行提取，存在著計(jì)算量大的缺點(diǎn)，而且由于拍攝的場(chǎng)景內(nèi)有大量的運(yùn)動(dòng)物體，如果進(jìn)行全局特征點(diǎn)匹配將會(huì)導(dǎo)致對(duì)攝像機(jī)移動(dòng)參數(shù)的錯(cuò)誤估計(jì)，無(wú)法求取正確的變換參數(shù)，使得無(wú)法進(jìn)行后續(xù)的運(yùn)動(dòng)補(bǔ)償。針對(duì)這一問(wèn)題，本發(fā)明提出了基于局部區(qū)域特征的匹配方法。大部分情況下，運(yùn)動(dòng)物體出現(xiàn)在中間區(qū)域，為避免選取到運(yùn)動(dòng)物體，需將特征匹配區(qū)域定在視頻幀圖像的四個(gè)角落區(qū)域；而攝像機(jī)的抖動(dòng)，會(huì)導(dǎo)致在視頻幀圖像的四個(gè)邊角地方信息發(fā)生變化。為此，本發(fā)明選取了視頻幀圖像內(nèi)的四個(gè)邊角區(qū)域向內(nèi)縮進(jìn)一定距離的四個(gè)矩形框區(qū)域作為局部特征匹配區(qū)域，如圖2中的斜線部分所示。

(二)通過(guò)SURF算法提取視頻幀圖像的特征點(diǎn)并計(jì)算相應(yīng)的特征描述符

(1)SURF算法理論

海森矩陣(即Hessian矩陣)是SURF算法的核心，設(shè)某圖像點(diǎn)為I(x,y)，則其在尺度σ的海森矩陣H(x,y,σ)為：

式中，L_xx(x,y,σ)、L_xy(x,y,σ)和L_yy(x,y,σ)為圖像在點(diǎn)(x，y)處分別與高斯函數(shù)二階偏導(dǎo)和的卷積，G(x,y,σ)為圖像在點(diǎn)(x，y)處的高斯濾波函數(shù)。

在構(gòu)建出海森矩陣前，考慮到特征點(diǎn)應(yīng)該具備尺度不變性，因此，本發(fā)明先采用高斯函數(shù)G(t)對(duì)圖像點(diǎn)I(x,t)進(jìn)行高斯濾波則有：

L(x,t)＝G(t)·I(x,t)

L(x,t)是在不同解析度下圖像的表示。

Bay等人提出了用方框?yàn)V波的近似值代替L(x,t)，并引入了權(quán)值系數(shù)來(lái)減小近似值與實(shí)際值的誤差。設(shè)圖像I(x,y)和方框?yàn)V波卷積后的結(jié)果分別為Dxx、Dyy、Dxy(這3個(gè)參數(shù)的定義可類(lèi)比L_xx(x,y,σ)、L_xy(x,y,σ)和L_yy(x,y,σ)的定義)，則根據(jù)相關(guān)理論，可以將海森的判別式表示為：

det(H)＝D_xxD_yy-(0.9D_xy)²

det(H)為海森矩陣H的特征值的乘積。

通過(guò)上述判別式可以確定極值點(diǎn)，然后利用非極大值抑制的方式確定特征點(diǎn)，接著選取特征點(diǎn)的方向，最后根據(jù)特征點(diǎn)的方向構(gòu)造SURF特征點(diǎn)描述符。

此外，為使提取的SURF特征具有尺度不變性，本發(fā)明在構(gòu)造SURF特征點(diǎn)描述符的同時(shí)還需要構(gòu)造尺度空間，并在各個(gè)尺度下通過(guò)海森矩陣的判別式得到最終的極值點(diǎn)。本發(fā)明的尺度空間可選擇高斯金字塔尺度空間。

(2)SURF算法流程

如圖3所示，本發(fā)明SURF算法的包含的步驟有：構(gòu)建海森矩陣，構(gòu)造高斯金字塔尺度空間，非極大值抑制初步確定特征點(diǎn)，構(gòu)造SURF特征描述符，選取特征點(diǎn)的主方向，精確定位極值點(diǎn)(即提取出的視頻幀圖像特征點(diǎn))。

(三)結(jié)合改進(jìn)的快速近似最鄰近匹配算法對(duì)特征點(diǎn)進(jìn)行匹配。

當(dāng)前提出了許多近似最近鄰搜索算法，它們都是以犧牲一定精度為代價(jià)，來(lái)提高速度。而在FLANN算法中分析了大量的近似最近鄰搜索算法，并提出了對(duì)于高維空間中的最鄰近搜索問(wèn)題，選出了性能最好的K-means tree分層和隨機(jī)KD-tree來(lái)進(jìn)行近似搜索。FLANN算法能根據(jù)使用者輸入的數(shù)據(jù)情況自動(dòng)確定最佳算法和最優(yōu)參數(shù)值。本發(fā)明引入了FLANN算法結(jié)合SURF算法來(lái)進(jìn)行特征點(diǎn)的快速高效匹配。出于匹配正確度的考慮，本發(fā)明還對(duì)快速近似最鄰近匹配算法進(jìn)行了改進(jìn)。

本發(fā)明的特征點(diǎn)匹配流程為：

(1)訓(xùn)練一個(gè)匹配器，并根據(jù)視頻幀圖像特征點(diǎn)數(shù)據(jù)選取最優(yōu)的索引類(lèi)型隨機(jī)KD-tree樹(shù)和層次K-means tree為特征描述子建立特征點(diǎn)的索引樹(shù)，以提高匹配的速度。

(2)計(jì)算相鄰兩幀圖像對(duì)應(yīng)特征點(diǎn)的歐氏距離，然后選取最小的歐氏距離d，設(shè)定一個(gè)閾值D＝u*d，這里可取u＝2。當(dāng)對(duì)應(yīng)特征點(diǎn)的歐氏距離小于D時(shí)，保留該對(duì)應(yīng)特征點(diǎn)為匹配點(diǎn)，否則將該對(duì)應(yīng)特征點(diǎn)剔除。

(3)將相鄰兩幀圖像進(jìn)行雙向匹配，通過(guò)重復(fù)(2)的步驟進(jìn)行匹配，當(dāng)匹配得到的特征點(diǎn)對(duì)與步驟(2)得到的結(jié)果一樣時(shí)，才是匹配點(diǎn)。

(4)通過(guò)K-鄰近算法篩選優(yōu)秀匹配點(diǎn)。

K-近鄰算法即對(duì)每個(gè)SURF特征描述子尋找K個(gè)最鄰近的匹配點(diǎn)，當(dāng)查詢(xún)的特征描述子的總數(shù)量少于K個(gè)的時(shí)候，則取總數(shù)量。這里可取K＝2，此時(shí)，根據(jù)歐氏距離確定的兩個(gè)最鄰近的點(diǎn)中一個(gè)是最優(yōu)匹配點(diǎn)，另一個(gè)則是次最優(yōu)匹配點(diǎn)。只有當(dāng)最優(yōu)匹配點(diǎn)的歐氏距離非常小，遠(yuǎn)遠(yuǎn)小于次最優(yōu)匹配點(diǎn)的歐氏距離時(shí)(即最優(yōu)匹配點(diǎn)的歐氏距離與次最優(yōu)匹配點(diǎn)的歐氏距離的比值趨于0，也就是說(shuō)該比值無(wú)限接近0)，保留最優(yōu)匹配點(diǎn)；當(dāng)這兩個(gè)匹配點(diǎn)的歐氏距離較為相近時(shí)，則該最優(yōu)匹配點(diǎn)有可能出錯(cuò)，因此需要將其剔除。

本發(fā)明的特征匹配流程通過(guò)權(quán)值篩選步驟(2)、雙向匹配步驟(3)和K-近鄰算法篩選步驟來(lái)對(duì)匹配點(diǎn)進(jìn)行多次篩選，保證了匹配的精度。

(四)仿射變換模型及全局運(yùn)動(dòng)補(bǔ)償

根據(jù)仿射變換模型，假設(shè)前一幀圖像和后一幀圖像對(duì)應(yīng)的像素點(diǎn)位置分別為和若用2*3的矩陣來(lái)表示仿射變換，設(shè)定和則X_n和X_n+1可以表示為：

X_n+1＝A·X_n+B

其中，A表示水平和垂直尺度，B為平移參數(shù)，則X_n+1可表示為：

根據(jù)上述方法，本發(fā)明可以通過(guò)相鄰幀圖像來(lái)求解變換參數(shù)。由于存在多個(gè)特征匹配點(diǎn)，本發(fā)明采用最小二乘法來(lái)求解仿射變換的最優(yōu)解，再采用雙線性插值法對(duì)當(dāng)前幀圖像進(jìn)行全局運(yùn)動(dòng)補(bǔ)償。

如圖4所示，本發(fā)明的視頻穩(wěn)像方法的一個(gè)優(yōu)選實(shí)施流程為：在輸入視頻中每10幀提取一幀圖像作為基準(zhǔn)幀，其余幀向基準(zhǔn)幀進(jìn)行配準(zhǔn)：首先選取基準(zhǔn)幀局部匹配區(qū)域，然后提取特征點(diǎn)，并計(jì)算相應(yīng)的描述符；接著讀入下一幀圖像作為當(dāng)前幀，采用同樣的方法選取局部匹配區(qū)域，提取特征點(diǎn)，并計(jì)算描述符；再接著采用快速近似最鄰近匹配算法對(duì)基準(zhǔn)幀和當(dāng)前幀這兩幀圖像進(jìn)行匹配，并通過(guò)權(quán)值篩選、雙向匹配以及K-近鄰算法這三個(gè)步驟來(lái)篩選出優(yōu)秀匹配點(diǎn)；然后通過(guò)最小二乘法來(lái)求解仿射變換的變換參數(shù)；最后使用雙線性插值法對(duì)當(dāng)前幀圖像進(jìn)行全局運(yùn)動(dòng)補(bǔ)償?；谙噜弾g的變化較小這一特性，該優(yōu)選實(shí)施流程每隔10幀選取一幀圖像作為基準(zhǔn)幀，其余幀向該基準(zhǔn)幀配準(zhǔn)，測(cè)試結(jié)果表明這種方法不但沒(méi)有影響圖像配準(zhǔn)的精度，而且使得匹配的速度大大加快。

與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：

(1)在局部特征匹配區(qū)域內(nèi)進(jìn)行特征匹配，采用了局部區(qū)域特征匹配法來(lái)取代全局區(qū)域特征匹配法，使得計(jì)算量大大減少，加快了處理速度，實(shí)時(shí)性好，并降低了運(yùn)動(dòng)物體位置的變化對(duì)后續(xù)運(yùn)動(dòng)參數(shù)估計(jì)的影響，魯棒性更好。

(2)在采用快速近似最鄰近搜索算法進(jìn)行特征點(diǎn)匹配時(shí)，先訓(xùn)練一個(gè)匹配器，再根據(jù)視頻幀圖像特征點(diǎn)數(shù)據(jù)選取最優(yōu)的索引類(lèi)型隨機(jī)KD-tree樹(shù)和層次K-means tree為特征描述子建立索引樹(shù)，加快了匹配的速度。

(3)在進(jìn)行特征點(diǎn)匹配時(shí)通過(guò)權(quán)值篩選、雙向匹配以及K-近鄰算法這三個(gè)步驟來(lái)確保匹配正確率：第一步先求取特征匹配點(diǎn)最小歐氏距離，再通過(guò)設(shè)定最小歐氏距離的若干倍，來(lái)篩選匹配點(diǎn)；第二步通過(guò)雙向匹配來(lái)確保匹配點(diǎn)的一一對(duì)應(yīng)；第三步存儲(chǔ)兩個(gè)最優(yōu)匹配點(diǎn)，只有當(dāng)最優(yōu)匹配點(diǎn)的歐氏距離遠(yuǎn)遠(yuǎn)小于次最優(yōu)匹配點(diǎn)的歐氏距離時(shí)，才保留匹配點(diǎn)。

(4)基于相鄰幀之間的變化較小這一特性，每隔10幀選取一幀圖像作為基準(zhǔn)幀，其余幀向該基準(zhǔn)幀配準(zhǔn)，在不影響圖像配準(zhǔn)精度的同時(shí)大大加快了匹配的速度。

以上是對(duì)本發(fā)明的較佳實(shí)施進(jìn)行了具體說(shuō)明，但本發(fā)明并不限于所述實(shí)施例，熟悉本領(lǐng)域的技術(shù)人員在不違背本發(fā)明精神的前提下還可做作出種種的等同變形或替換，這些等同的變形或替換均包含在本申請(qǐng)權(quán)利要求所限定的范圍內(nèi)。