一種面向微型無人機的視頻穩(wěn)像方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及圖像處理技術(shù)領(lǐng)域，具體的設(shè)及一種面向微型無人機的視頻穩(wěn)像方 法。
【背景技術(shù)】
[0002] 近年來，隨著自動化技術(shù)的不斷提高，無人機在軍用、工業(yè)和民用領(lǐng)域都得到了快 速發(fā)展?；跓o人機拍攝的視頻處理也成為計算機視覺領(lǐng)域中一個重要分支。無人機在飛 行過程中不可避免的存在機身晃動和動作突變，導(dǎo)致獲取的視頻圖像出現(xiàn)模糊晃動等現(xiàn) 象，嚴(yán)重影響了后續(xù)視頻處理的效果。因此，使用穩(wěn)像技術(shù)來對運種模糊晃動視頻進行處 理，在無人機視頻分析領(lǐng)域有非常好的應(yīng)用前景。
[0003] 穩(wěn)像方法是指由于拍攝平臺自身不穩(wěn)定，導(dǎo)致通過該平臺獲取的圖像模糊晃動的 視頻進行防抖處理，最終得到一個穩(wěn)定且流楊的視頻圖像序列的方法。穩(wěn)像方法大體可W 分為3類:機械穩(wěn)像、光學(xué)穩(wěn)像和電子穩(wěn)像。其中機械穩(wěn)像和光學(xué)穩(wěn)像由于設(shè)備制造難度大、 成本高、體積大等缺點，在應(yīng)用中多受限制。而電子穩(wěn)像具有成本低、易操作、靈活性強等優(yōu) 點，是目前穩(wěn)像技術(shù)領(lǐng)域的研究熱點。
[0004] 常見的電子穩(wěn)像方法有:塊匹配法、灰度投影法和特征匹配法。
[0005] 塊匹配法是最常見的運動矢量估計方法，通過合適的捜索路徑，快速準(zhǔn)確捜索最 佳匹配塊得到運動矢量。但塊匹配法是基于塊內(nèi)運動一致性的假設(shè)，只能估計平移運動，當(dāng) 圖像存在旋轉(zhuǎn)運動時，所得結(jié)果精度較低甚至?xí)霈F(xiàn)誤匹配情況，限制了該方法的實際應(yīng) 用。
[0006] 灰度投影法圖像處理速度較快，但對所處理圖像的質(zhì)量要求較高，運主要是因為 如果所處理圖像質(zhì)量較低，則灰度投影曲線變化不明顯，難W精確的求出運動矢量。
[0007] 特征匹配法是選取圖像中的典型特征，如邊緣、輪廓和角點等特征，通過特征匹配 來進行運動估計。其中的關(guān)鍵技術(shù)是如何提取特征和匹配正確的特征。由于該方法較好的 接近人類的視覺特性并且大量使用圖像的有用信息，能提供較好的穩(wěn)像結(jié)果。運類方法為 了穩(wěn)像的效果，往往使用比較復(fù)雜的特征，特征提取和特征匹配計算量比較大，不利于實時 處理。而且實際處理中該方法一般只能對旋轉(zhuǎn)角度較小的視頻進行穩(wěn)像，對同時存在大角 度旋轉(zhuǎn)和抖動的視頻穩(wěn)像效果較差。
[000引無人機作為一種特殊的飛行載體，具有更為復(fù)雜的運動特性，導(dǎo)致拍攝的視頻往 往存在大量的大角度旋轉(zhuǎn)和劇烈抖動圖像。另外，無人機視頻通常被用于實時處理系統(tǒng)，例 如跟蹤系統(tǒng)。運些情況都需要穩(wěn)像方法能實時對視頻進行處理。所W如何設(shè)計合理的穩(wěn)像 方法，能夠同時處理存在大角度旋轉(zhuǎn)和抖動的視頻，又要具有較高的實時處理能力，還不能 耗費較多的資源，現(xiàn)有各類穩(wěn)像方法均無法較好的解決運個難題。

【發(fā)明內(nèi)容】

[0009]本發(fā)明的目的在于提供一種面向微型無人機的視頻穩(wěn)像方法，該發(fā)明解決了現(xiàn)有 技術(shù)中穩(wěn)像處理方法無法實時高效的處理存在大角度旋轉(zhuǎn)和抖動的視頻的技術(shù)問題。
[0010] 本發(fā)明提供了一種面向微型無人機的視頻穩(wěn)像方法，包括W下步驟：
[0011] 步驟S100:將通過無人機獲得的視頻中的兩兩相鄰帖圖像分別設(shè)為參考帖和當(dāng)前 帖，將參考帖和當(dāng)前帖分別均勻分為多個子區(qū)域，在每個子區(qū)域內(nèi)提取一個區(qū)域特征點，將 每個區(qū)域特征點描述為128維的特征向量，并對當(dāng)前帖區(qū)域特征點集合Fi和參考帖區(qū)域特 征點集合F2通過雙向最近鄰距離比匹配法，求得從當(dāng)前帖到參考帖匹配點集合Kdot，dot/ 〉，doteFi,dot' eFs}和從參考帖到當(dāng)前帖的匹配點集合Kdot'，dot〉，dot' EF2,dote Fi}，并將二者的交集作為匹配點集合Μ;
[0012] 步驟S200:通過相似變換模型獲得參考帖和當(dāng)前帖之間的估計旋轉(zhuǎn)角度，累加多 個相鄰帖之間的估計旋轉(zhuǎn)角度，得到當(dāng)前帖相對于第1帖的旋轉(zhuǎn)角度，將當(dāng)前帖旋轉(zhuǎn)旋轉(zhuǎn)角 度，得到消除旋轉(zhuǎn)的視頻；
[0013] 步驟S300:通過位平面匹配法計算消除旋轉(zhuǎn)的視頻中的旋轉(zhuǎn)當(dāng)前帖的全局運動量 μ*，并對全局運動量μ*進行曲線擬合，得到主運動量興;按興=//-興得到旋轉(zhuǎn)當(dāng)前帖的運 動補償量興^，依據(jù)運動補償量始對旋轉(zhuǎn)當(dāng)前帖進行補償，得到穩(wěn)定的視頻。
[0014] 進一步地，步驟S100中包括W下步驟：
[0015] 步驟S110:將參考帖與當(dāng)前帖的兩幅圖像均勻地分為多個子區(qū)域，在每個子區(qū)域 中使用FAST角點檢測算法對每個子區(qū)域進行檢測，得到檢測特征點；
[0016] 步驟S120:如果檢測特征點為多個，則通過隨機方式從檢測特征點中任選一個特 征點作為該子區(qū)域的特征點，如果檢測特征點為零，則選取該子區(qū)域的中間點作為該子區(qū) 域的特征點。
[0017] 進一步地，步驟S100中將區(qū)域特征點描述為特征向量，包括W下步驟：
[0018] 步驟S130:w區(qū)域特征點為中屯、，W8為半徑的領(lǐng)域范圍內(nèi)的圖像作為區(qū)域特征點 對應(yīng)的圖像塊P(x，y)，圖像塊P(x，y)的尺寸為16*16;
[0019] 步驟S140:根據(jù)公式（1)~(2)計算圖像塊P(x，y)的每一個像素的梯度幅值G(x，y) 和每一個像素的方向λ(χ，γ)，
[0020]
CD
[0021] λ(χ,γ) =arctan(Gx(x,y)/Gy(x,y)) (2)
[0022] 其中，Gx(x，y)為圖像塊P(x，y)的水平方向梯度幅值，Gy(x，y)為圖像塊P(x，y)的垂 直方向梯度幅值，計算公式如下：
[0023] Gx(x,y) = (-1 0 l)*P(x,y) (3)
[0024] Gy(x，y) = (-1 0 1)τ 沖(x，y) (4)
[0025] 步驟S150:將圖像塊P(x，y)均勻的劃分成4*4的子塊，得到16個圖像子塊block,將 梯度方向空間0~如等分成8個方向，在每個block圖像里面統(tǒng)計每個方向的直方圖，并使用 梯度幅值G(x，y)作為權(quán)重，每個block圖像可W得到一個8維向量，16個block圖像共得到 128維向量。
[00%] 進一步地，步驟S100中雙向最近鄰距離比匹配法包括W下步驟：
[0027]步驟S160:取當(dāng)前帖區(qū)域特征點集合Fi中任一區(qū)域特征點do to，其對應(yīng)的特征向 量ftcbto,求區(qū)域特征點dotO在參考帖區(qū)域特征點集合F2中的最近鄰點dotl和第二近鄰點 dot2,記區(qū)域特征點dotO和最近鄰點dotl的距離為Distl，記區(qū)域特征點dotO和第二近鄰點 dot2的距離為01312,0131:1和01312按公式（5)~（6)計算：
[0030] 如果 Distl/Dist2<0.8，則將 dotO 和 dotl記為一對匹配點集 <dot0，dotl〉；
[0031] 步驟S170:按步驟S160中的步驟遍歷當(dāng)前帖區(qū)域特征點集合Fi中的所有區(qū)域特征 點，將滿足Distl/Dist2<0.8條件的所有區(qū)域特征點記錄于當(dāng)前帖到參考帖的匹配點集合 |<dot,dot'〉，dotEFi,dot' EFs}中；
[0032] 步驟S180:按照步驟S160中的步驟遍歷參考帖區(qū)域特征點集合F2中的所有區(qū)域特 征點，求取參考帖區(qū)域特征點集合F2在當(dāng)前帖區(qū)域特征點集合Fi中的匹配點，得到參考帖到 當(dāng)前帖匹配點集合Kdot'，dot〉，dot' eF2，doteFi};
[0033] 步驟S190:計算當(dāng)前帖到參考帖匹配點集合{〈dot,dol/〉,doteFi,dol/ eFs}和參 考帖到當(dāng)前帖匹配點集合Kdot'，dot〉，dol/ eF2，doteFi}的交集，作為匹配點集合Μ。
[0034] 進一步地，步驟S200包括W下步驟：
[0035] 步驟S210:W相似變換作模型為兩相鄰帖圖像之間的變換模型，記A(x，y)和Α/ (χ/，/)為匹配點集合Μ中的任一對匹配點，相似變換模型方程為公式(7):
[0036]
(7)
[0037] 其中，Θ為視頻的估計旋轉(zhuǎn)角度、ε為縮放因子、x，y，為A(x，y)中的任一對匹配點、 X'，y'為A' (X'，y')中的任一對匹配點、tx為水平方向上的平移量和ty為垂直方向上的平移 量；
[0038] 步驟S220:通過匹配特征對匹配點集合Μ采用隨機抽樣一致RANSAC算法求解相似 變換模型方程，得到估計旋轉(zhuǎn)角度0、縮放因子ε、水平方向上的平移量tx和垂直方向上的平 移量ty;
[0039] 步驟S230:從視頻的第1帖圖像開始，對任兩相鄰帖重復(fù)步驟S210~S220得到視頻 中所有相鄰兩帖圖像的估計旋轉(zhuǎn)角度9 ;
[0040] 設(shè)也為第t帖相對于第t-1帖的旋轉(zhuǎn)角度，則第t帖相對于第1帖的旋轉(zhuǎn)角度為
巧當(dāng)前帖進行旋轉(zhuǎn)，得到消除旋轉(zhuǎn)的視頻 帖。
[0041 ] 進一步地，步驟S300包括W下步驟：
[0042] 步驟S310:將消除旋轉(zhuǎn)的視頻中任一帖灰度為0~255的圖像在(x，y)位置的像素 值表示為：
[0043] f (x,y) =872^+862?+·--+802° (8)
[0044] 其中ak取0或1，0非。，為初始的比特值；
[0045] 將ak改寫成阱，作為改進的比特值：
[0046] 占 * * W 化
[0047] 其中貨表示異或操作；
[004引步驟S320:任一帖圖像上的每個像素有8個比特值gk，所有像素的第k個比特值組 成第k階比特平面bk(x，y)，任一帖圖像上共有8個比特平面圖像b0(x，y)~b7(x，y)，選取第4 位平面圖像進行匹配，得到參考帖的第4位平面圖像和當(dāng)前帖的第4位平面圖像，分別記為 況4和化4;
[00例在圖像饑4的四角和中屯、位置處各選擇一個Μ X N的子圖像，共得到5個子圖像 Csubl，…，Csub5，用一個ΜX Ν的窗口在圖像化4上進行滑動，每一次的滑動都在圖像化4上得 到一個ΜΧΝ的子圖像，記為化ubi，計算子圖像Csubi和子圖像化ubi的匹配度：
[(K)加 ]
[0051] 當(dāng)DT取值最小時，所對應(yīng)的兩幅圖像為最佳匹配；分別在圖像Db4上計算 Csubl,…，Csub5對應(yīng)的最佳匹配塊圖像，分別記為化ubl ,···,化ub5;最佳匹配的兩幅圖像 {Csubi ,Dsubi I i = l,…，5}的坐標(biāo)偏移量記為(mi,m)，即為子圖像Csubi的運動矢量；
[0052] 步驟S330:參考帖的5個子圖像中的每一個子圖像，按步驟S310~320計