專利名稱：一種多模式實時電子穩(wěn)像系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種多模式實時電子穩(wěn)像系統(tǒng)，用于完成不同平臺和環(huán)境下視頻圖像 的高精度、實時性處理，屬于圖像處理領(lǐng)域。
背景技術(shù)：
21世紀以來，電子穩(wěn)像技術(shù)以其易操作、高精度、體積小以及價格低、能耗小、智能 化等特點，在軍事領(lǐng)域、民用航測以及攝影系統(tǒng)中得到廣泛的應(yīng)用。但是，傳統(tǒng)的電子穩(wěn)像 理論和技術(shù)存在一些難題1)運動平臺環(huán)境和特征復雜，成像條件多變，各種運動與圖像 之間的數(shù)學模型建立非常艱難；2)實際拍攝景物的復雜性和多樣性，導致了穩(wěn)像算法的通 用性、實時性差；3)由于工作模式和成像理論多年來未有根本性突破，目前的電子穩(wěn)像技 術(shù)仍有許多不足，比如高頻抖動帶來的模糊問題，導致成像的清晰度不足以及穩(wěn)像精度低。針對以上難點，國內(nèi)外研究工作者提出了一系列的電子穩(wěn)像算法和實現(xiàn)技術(shù)，如 一種在大型搜索窗中進行運動估計的向量跟蹤算法，參見M. Mattavelli,"Vector-tracing algorithm formotion estimation in large search windows", IEEE Trans. Circuits Syst. Video Techno, 2000, Vol. 10,1426-1437 ；基于代表點匹配的電子穩(wěn)像算法，參見鐘 平，“一種改進的代表點匹配算法在穩(wěn)像技術(shù)中的應(yīng)用”，光學技術(shù)，2005，Vol.31, No. 5, 742-745 ；基于梯度信息的全局運動向量估計算法，參見T.Marius，A. Sakari, V. Markku， "Method of Motion Estimation forlmage Stabilization”，IEEE ICASSP，2006，Vol. 2, 277180 ；基于車載的電子穩(wěn)像技術(shù)，參見Hsu Sheng-Che，Liang Sheng_Fu，F(xiàn)an Kang-ffei, Lin Chin-Teng, "A Robust in-car digital imagestabilization technique，，，IEEE Transactions on Systems, Man and Cybernetics, 2007, Vol. 37, No. 2, 234-247。電子穩(wěn) 像算法研究比較多，但是，這些方法都忽略了平臺與圖像之間的關(guān)系，忽視了圖像中背景和 目標也存在運動的影響，僅適用于處理信息較單一的圖像序列，尤其是圖像信息復雜多變， 這些方法各自的局限性使其都無法滿足實時性和高精度的要求。國內(nèi)對電子穩(wěn)像技術(shù)的研究起步較晚，目前仍處于初級階段，大多數(shù)研究者只是 單一研究特定運動平臺下的電子穩(wěn)像算法的研究，如機載、車載或者船載等穩(wěn)像算法。工程 應(yīng)用的電子穩(wěn)像技術(shù)主要利用陀螺傳感器和伺服控制系統(tǒng)構(gòu)成的穩(wěn)定平臺來進行穩(wěn)像的， 而伺服系統(tǒng)固有的體積大、造價高、消耗功率大等缺點，在很多的場合往往難于滿足軍事和 民用設(shè)備進一步發(fā)展的需要。

發(fā)明內(nèi)容
本發(fā)明的技術(shù)解決問題是克服現(xiàn)有技術(shù)的不足，提供一種多模式實時電子穩(wěn)像 系統(tǒng)，該系統(tǒng)具有多模式、高精度、實時性、抗高頻振動及智能化的特點，以及結(jié)構(gòu)簡單、便 于集成、易于操作等優(yōu)點。本發(fā)明的技術(shù)解決方案是一種多模式實時電子穩(wěn)像系統(tǒng)，主要包括數(shù)學模型和 預(yù)處理模塊、幀間穩(wěn)像模塊和幀內(nèi)穩(wěn)像模塊。其中幀間穩(wěn)像模塊包括基于感興趣區(qū)域全局運動估計單元、運動矢量濾波單元、運動決定單元和運動補償單元；數(shù)學模型和預(yù)處理模塊 與幀間穩(wěn)像模塊中的基于感興趣區(qū)域全局運動估計單元連接，基于感興趣區(qū)域全局運動估 計單元分別與運動矢量濾波單元和幀內(nèi)穩(wěn)像模塊連接，運動矢量濾波單元、運動決定單元 和運動補償單元依次順序連接，運動補償單元分別與幀內(nèi)穩(wěn)像模塊和外部的DSP并行處理 連接；其中，數(shù)學模型和預(yù)處理模塊建立多模式電子穩(wěn)像數(shù)學模型并完成輸入視頻運動 類型的判定；幀間穩(wěn)像模塊中的基于感興趣區(qū)域全局運動估計單元完成對感興趣區(qū)域進行 全局運動估計，對圖像進行處理估算出當前幀相對于參考幀的全局運動偏移量，即由攝像 機參數(shù)或者位置變化而引起的整個圖像的變化，然后通過運動矢量濾波單元對圖像進行濾 波，并將濾波后的圖像發(fā)送至運動決定單元；運動決定單元對檢測出來的全局運動矢量進 行分析，判斷該運動是由攝像載體的隨機抖動引起的，還是屬于攝像機正常掃描運動，或者 是兩者兼有；運動補償模塊根據(jù)無意運動分量作為待補償參數(shù)，直接使圖像上的像素按照 被檢測出的運動偏移反方向做等量移動，以實現(xiàn)圖像的行、列重組；幀內(nèi)穩(wěn)像模塊針對由高 頻振動引起的圖像幀內(nèi)模糊，進行幀內(nèi)圖像的空間可變運動模糊的圖像復原。運動補償單元采用基于Kalman濾波的全景圖像補償方法進行補償，首先進行全 局運動的參數(shù)估計，其次計算出運動分量，然后利用遞歸Kalman濾波器對原始視頻序列的 累積全局運動分量序列，按照觀測量到達的時間順序進行序貫濾波處理，再提取出對應(yīng)的 抖動分量以補償當前圖像，最后結(jié)合圖像拼接技術(shù)重建丟失的邊界信息，保證圖像的完整 性。數(shù)學模型和預(yù)處理模塊對平移運動和繞光軸的旋轉(zhuǎn)運動，采用剛性數(shù)學模型；針 對自由度下的平移、旋轉(zhuǎn)和縮放運動，分別建立相似變換模型和仿射變換模型；對于平移、 水平掃動、垂直掃動、旋轉(zhuǎn)、鏡頭縮放運動，采用透視變換模型?；诟信d趣區(qū)域全局運動估計單元首先完成感興趣區(qū)域特征塊和點提取，通過跟 蹤特征點進一步估計出運動量，通過建立灰度分布特征函數(shù)，依據(jù)區(qū)域內(nèi)灰度分布特征數(shù) 值確定有效特征區(qū)域，并提取特征量，該特征量在參考圖像中進行匹配，得到特征量的運動 變化值，將這些局部運動量帶入到圖像全局運動模型中可擬和出圖像的全局運動量。在計算全局運動量之前首先對局部運動量進行誤差分析，并對精度低的局部運動 量去除，保證穩(wěn)像精度達到亞像元。采用FPGA結(jié)合多DSP小型化數(shù)字圖像實時處理器完成圖像數(shù)據(jù)的并行處理，F(xiàn)PGA 完成圖像預(yù)處理與電子穩(wěn)像數(shù)學模型建立，三塊DSP并行分別完成基于全局運動估計和數(shù) 字濾波、空間可變運動模糊的圖像復原算法和運動補償，實現(xiàn)視頻圖像的實時處理。本發(fā)明的原理在視頻序列的穩(wěn)像處理中，由于圖像的全局運動涉及到圖像的運 動、攝像機載體和攝像機自身的運動和被攝目標的運動，三種運動相互關(guān)聯(lián)、相互影響，因 此，為了確定圖像的運動，必須分析和研究平臺和攝像機的運動特點，根據(jù)輸入視頻圖像來 判斷運動類型，并分析幀間運動矢量，建立完善的電子穩(wěn)像數(shù)學模型。針對視頻序列中的幀 間運動，采用基于感興趣區(qū)域的運動預(yù)測新理論和新技術(shù)，并提出一種基于Kalman濾波的 全景圖像補償方法，實現(xiàn)視頻序列的實時濾波處理，以提取不穩(wěn)定抖動分量而保留穩(wěn)定的 掃描分量；對于幀內(nèi)運動，采用空間可變運動模糊的圖像復原技術(shù)。為能實時完成以上算 法，實現(xiàn)電子穩(wěn)像任務(wù)，專門設(shè)計了以大規(guī)模的FPGA為中心結(jié)合高性能多DSP小型化數(shù)字圖像實時處理器，充分利用FPGA和DSP并行資源和處理技術(shù)，F(xiàn)PGA完成圖像預(yù)處理與電子 穩(wěn)像數(shù)學模型建立，三塊DSP并行分別完成基于全局運動估計和數(shù)字濾波、空間可變運動 模糊的圖像復原算法和運動補償，實現(xiàn)視頻圖像的實時處理。 本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點在于1)本發(fā)明針對不同運動平臺和復雜成像環(huán) 境，建立了高實時性和可工程實現(xiàn)的多模式電子穩(wěn)像數(shù)學模型；幻本發(fā)明根據(jù)場景變化信 息設(shè)計出精度高、便于實時實現(xiàn)的并行電子穩(wěn)像算法，特別是基于感興趣區(qū)域的運動預(yù)測 新理論和新技術(shù)，提高電子穩(wěn)像的精度；空間可變運動模糊的圖像復原新技術(shù)，提高電子穩(wěn) 像的清晰度；快速的遞歸Kalman濾波處理方法，保證視頻圖像序列實時濾波處理；這幾種 方法的結(jié)合和并行算法的優(yōu)化突破多模式實時電子穩(wěn)像技術(shù)的關(guān)鍵問題之一，完成根本性 的理論創(chuàng)新；幻有效利用FPGA和DSP并行處理技術(shù)，充分挖掘這些處理器的并行特性和計 算資源，突破多模式實時電子穩(wěn)像系統(tǒng)綜合信號處理等關(guān)鍵技術(shù)，實現(xiàn)視頻圖像的實時處 理。


圖1為本發(fā)明的一種多模式實時電子穩(wěn)像系統(tǒng)結(jié)構(gòu)框圖；圖2為本發(fā)明分析成像過程的透視投影原理圖；圖3為本發(fā)明判定幀間運動類型的流程圖；圖4為本發(fā)明基于感興趣區(qū)域運動估計模塊技術(shù)路線框圖；圖5為本發(fā)明基于Kalman濾波的全景圖像補償流程圖；圖6為本發(fā)明基于空間可變運動模糊圖像復原流程圖；圖7為本發(fā)明設(shè)計的電子穩(wěn)像系統(tǒng)原理框圖；圖8為本發(fā)明設(shè)計的3X3高斯濾波器的FPGA實現(xiàn)示意圖。
具體實施例方式下面結(jié)合具體實施方式
及附圖對本發(fā)明做進一步詳細說明。如圖1所示，本發(fā)明主要三個模塊組成數(shù)學模型和預(yù)處理模塊、幀間穩(wěn)像模塊和 幀內(nèi)穩(wěn)像模塊，其中幀間穩(wěn)像模塊包括基于感興趣區(qū)域全局運動估計單元、運動矢量濾波 單元、運動決定單元和運動補償單元。1.本發(fā)明把平臺運動引起攝像機的運動對圖像變化的數(shù)學模型分成以下幾種情 況1)平移運動和繞光軸的旋轉(zhuǎn)運動，采用剛性數(shù)學模型
權(quán)利要求
1.一種多模式實時電子穩(wěn)像系統(tǒng)，該系統(tǒng)主要包括數(shù)學模型和預(yù)處理模塊、幀間穩(wěn)像 模塊和幀內(nèi)穩(wěn)像模塊；其中幀間穩(wěn)像模塊包括基于感興趣區(qū)域全局運動估計單元、運動矢 量濾波單元、運動決定單元和運動補償單元；數(shù)學模型和預(yù)處理模塊與幀間穩(wěn)像模塊中的 基于感興趣區(qū)域全局運動估計單元連接，基于感興趣區(qū)域全局運動估計單元分別與運動矢 量濾波單元和幀內(nèi)穩(wěn)像模塊連接，運動矢量濾波單元、運動決定單元和運動補償單元依次 順序連接，運動補償單元分別與幀內(nèi)穩(wěn)像模塊和外部的DSP并行處理連接；其特征在于其中，數(shù)學模型和預(yù)處理模塊建立多模式電子穩(wěn)像數(shù)學模型并完成輸入視頻運動類型 的判定；幀間穩(wěn)像模塊中的基于感興趣區(qū)域全局運動估計單元完成對感興趣區(qū)域進行全局 運動估計，對圖像進行處理估算出當前幀相對于參考幀的全局運動偏移量，即由攝像機參 數(shù)或者位置變化而引起的整個圖像的變化，然后通過運動矢量濾波單元對圖像進行濾波， 并將濾波后的圖像發(fā)送至運動決定單元；運動決定單元對檢測出來的全局運動矢量進行分 析，判斷該運動是由攝像載體的隨機抖動引起的，還是屬于攝像機正常掃描運動，或者是兩 者兼有；運動補償模塊根據(jù)無意運動分量作為待補償參數(shù)，直接使圖像上的像素按照被檢 測出的運動偏移反方向做等量移動，以實現(xiàn)圖像的行、列重組；幀內(nèi)穩(wěn)像模塊針對由高頻振 動引起的圖像幀內(nèi)模糊，進行幀內(nèi)圖像的空間可變運動模糊的圖像復原。
2.如權(quán)利要求1所述的一種多模式實時電子穩(wěn)像系統(tǒng)，其特征在于所述的運動補償 單元采用基于Kalman濾波的全景圖像補償方法進行補償，首先進行全局運動的參數(shù)估計， 其次計算出運動分量，然后利用遞歸Kalman濾波器對原始視頻序列的累積全局運動分量 序列，按照觀測量到達的時間順序進行序貫濾波處理，再提取出對應(yīng)的抖動分量以補償當 前圖像，最后結(jié)合圖像拼接技術(shù)重建丟失的邊界信息，保證圖像的完整性。
3.如權(quán)利要求2所述的一種多模式實時電子穩(wěn)像系統(tǒng)，其特征在于數(shù)學模型和預(yù)處 理模塊對平移運動和繞光軸的旋轉(zhuǎn)運動，采用剛性數(shù)學模型；針對自由度下的平移、旋轉(zhuǎn)和 縮放運動，分別建立相似變換模型和仿射變換模型；對于平移、水平掃動、垂直掃動、旋轉(zhuǎn)、 鏡頭縮放運動，采用透視變換模型。
4.如權(quán)利要求3所述的一種多模式實時電子穩(wěn)像系統(tǒng)，其特征在于基于感興趣區(qū)域 全局運動估計單元首先完成感興趣區(qū)域特征塊和點提取，通過跟蹤特征點進一步估計出運 動量，通過建立灰度分布特征函數(shù)，依據(jù)區(qū)域內(nèi)灰度分布特征數(shù)值確定有效特征區(qū)域，并提 取特征量，該特征量在參考圖像中進行匹配，得到特征量的運動變化值，將這些局部運動量 帶入到圖像全局運動模型中可擬和出圖像的全局運動量。
5.如權(quán)利要求4所述的一種多模式實時電子穩(wěn)像系統(tǒng)，其特征在于在計算全局運動 量之前首先對局部運動量進行誤差分析，并對精度低的局部運動量去除，保證穩(wěn)像精度達 到亞像元。
6.如權(quán)利要求5所述的一種多模式實時電子穩(wěn)像系統(tǒng)，其特征在于采用FPGA結(jié)合多 DSP小型化數(shù)字圖像實時處理器完成圖像數(shù)據(jù)的并行處理，F(xiàn)PGA完成圖像預(yù)處理與電子穩(wěn) 像數(shù)學模型建立，三塊DSP并行分別完成基于全局運動估計和數(shù)字濾波、空間可變運動模 糊的圖像復原算法和運動補償，實現(xiàn)視頻圖像的實時處理。
全文摘要
本發(fā)明涉及一種多模式實時電子穩(wěn)像系統(tǒng)，屬于圖像處理領(lǐng)域。主要包括數(shù)學模型和預(yù)處理模塊、幀間穩(wěn)像模塊和幀內(nèi)穩(wěn)像模塊。其中幀間穩(wěn)像模塊包括基于感興趣區(qū)域全局運動估計單元、運動矢量濾波單元、運動決定單元和運動補償單元；數(shù)學模型和預(yù)處理模塊與幀間穩(wěn)像模塊中的基于感興趣區(qū)域全局運動估計單元連接，基于感興趣區(qū)域全局運動估計單元分別與運動矢量濾波單元和幀內(nèi)穩(wěn)像模塊連接，運動矢量濾波單元、運動決定單元和運動補償單元依次順序連接，運動補償單元分別與幀內(nèi)穩(wěn)像模塊和外部的DSP并行處理連接；該系統(tǒng)具有多模式、高精度、實時性、抗高頻振動及智能化的特點，以及結(jié)構(gòu)簡單、便于集成、易于操作等優(yōu)點。
文檔編號G06T7/20GK102148934SQ20111008416
公開日2011年8月10日 申請日期2011年4月2日 優(yōu)先權(quán)日2011年4月2日
發(fā)明者梁炯, 石明珠, 許廷發(fā) 申請人:北京理工大學