一種面向微型無(wú)人機(jī)的視頻穩(wěn)像方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及圖像處理技術(shù)領(lǐng)域，具體的設(shè)及一種面向微型無(wú)人機(jī)的視頻穩(wěn)像方 法。
【背景技術(shù)】
[0002] 近年來(lái)，隨著自動(dòng)化技術(shù)的不斷提高，無(wú)人機(jī)在軍用、工業(yè)和民用領(lǐng)域都得到了快 速發(fā)展?；跓o(wú)人機(jī)拍攝的視頻處理也成為計(jì)算機(jī)視覺(jué)領(lǐng)域中一個(gè)重要分支。無(wú)人機(jī)在飛 行過(guò)程中不可避免的存在機(jī)身晃動(dòng)和動(dòng)作突變，導(dǎo)致獲取的視頻圖像出現(xiàn)模糊晃動(dòng)等現(xiàn) 象，嚴(yán)重影響了后續(xù)視頻處理的效果。因此，使用穩(wěn)像技術(shù)來(lái)對(duì)運(yùn)種模糊晃動(dòng)視頻進(jìn)行處 理，在無(wú)人機(jī)視頻分析領(lǐng)域有非常好的應(yīng)用前景。
[0003] 穩(wěn)像方法是指由于拍攝平臺(tái)自身不穩(wěn)定，導(dǎo)致通過(guò)該平臺(tái)獲取的圖像模糊晃動(dòng)的 視頻進(jìn)行防抖處理，最終得到一個(gè)穩(wěn)定且流楊的視頻圖像序列的方法。穩(wěn)像方法大體可W 分為3類:機(jī)械穩(wěn)像、光學(xué)穩(wěn)像和電子穩(wěn)像。其中機(jī)械穩(wěn)像和光學(xué)穩(wěn)像由于設(shè)備制造難度大、 成本高、體積大等缺點(diǎn)，在應(yīng)用中多受限制。而電子穩(wěn)像具有成本低、易操作、靈活性強(qiáng)等優(yōu) 點(diǎn)，是目前穩(wěn)像技術(shù)領(lǐng)域的研究熱點(diǎn)。
[0004] 常見(jiàn)的電子穩(wěn)像方法有:塊匹配法、灰度投影法和特征匹配法。
[0005] 塊匹配法是最常見(jiàn)的運(yùn)動(dòng)矢量估計(jì)方法，通過(guò)合適的捜索路徑，快速準(zhǔn)確捜索最 佳匹配塊得到運(yùn)動(dòng)矢量。但塊匹配法是基于塊內(nèi)運(yùn)動(dòng)一致性的假設(shè)，只能估計(jì)平移運(yùn)動(dòng)，當(dāng) 圖像存在旋轉(zhuǎn)運(yùn)動(dòng)時(shí)，所得結(jié)果精度較低甚至?xí)霈F(xiàn)誤匹配情況，限制了該方法的實(shí)際應(yīng) 用。
[0006] 灰度投影法圖像處理速度較快，但對(duì)所處理圖像的質(zhì)量要求較高，運(yùn)主要是因?yàn)?如果所處理圖像質(zhì)量較低，則灰度投影曲線變化不明顯，難W精確的求出運(yùn)動(dòng)矢量。
[0007] 特征匹配法是選取圖像中的典型特征，如邊緣、輪廓和角點(diǎn)等特征，通過(guò)特征匹配 來(lái)進(jìn)行運(yùn)動(dòng)估計(jì)。其中的關(guān)鍵技術(shù)是如何提取特征和匹配正確的特征。由于該方法較好的 接近人類的視覺(jué)特性并且大量使用圖像的有用信息，能提供較好的穩(wěn)像結(jié)果。運(yùn)類方法為 了穩(wěn)像的效果，往往使用比較復(fù)雜的特征，特征提取和特征匹配計(jì)算量比較大，不利于實(shí)時(shí) 處理。而且實(shí)際處理中該方法一般只能對(duì)旋轉(zhuǎn)角度較小的視頻進(jìn)行穩(wěn)像，對(duì)同時(shí)存在大角 度旋轉(zhuǎn)和抖動(dòng)的視頻穩(wěn)像效果較差。
[000引無(wú)人機(jī)作為一種特殊的飛行載體，具有更為復(fù)雜的運(yùn)動(dòng)特性，導(dǎo)致拍攝的視頻往 往存在大量的大角度旋轉(zhuǎn)和劇烈抖動(dòng)圖像。另外，無(wú)人機(jī)視頻通常被用于實(shí)時(shí)處理系統(tǒng)，例 如跟蹤系統(tǒng)。運(yùn)些情況都需要穩(wěn)像方法能實(shí)時(shí)對(duì)視頻進(jìn)行處理。所W如何設(shè)計(jì)合理的穩(wěn)像 方法，能夠同時(shí)處理存在大角度旋轉(zhuǎn)和抖動(dòng)的視頻，又要具有較高的實(shí)時(shí)處理能力，還不能 耗費(fèi)較多的資源，現(xiàn)有各類穩(wěn)像方法均無(wú)法較好的解決運(yùn)個(gè)難題。

【發(fā)明內(nèi)容】

[0009]本發(fā)明的目的在于提供一種面向微型無(wú)人機(jī)的視頻穩(wěn)像方法，該發(fā)明解決了現(xiàn)有 技術(shù)中穩(wěn)像處理方法無(wú)法實(shí)時(shí)高效的處理存在大角度旋轉(zhuǎn)和抖動(dòng)的視頻的技術(shù)問(wèn)題。
[0010] 本發(fā)明提供了一種面向微型無(wú)人機(jī)的視頻穩(wěn)像方法，包括W下步驟：
[0011] 步驟S100:將通過(guò)無(wú)人機(jī)獲得的視頻中的兩兩相鄰帖圖像分別設(shè)為參考帖和當(dāng)前 帖，將參考帖和當(dāng)前帖分別均勻分為多個(gè)子區(qū)域，在每個(gè)子區(qū)域內(nèi)提取一個(gè)區(qū)域特征點(diǎn)，將 每個(gè)區(qū)域特征點(diǎn)描述為128維的特征向量，并對(duì)當(dāng)前帖區(qū)域特征點(diǎn)集合Fi和參考帖區(qū)域特 征點(diǎn)集合F2通過(guò)雙向最近鄰距離比匹配法，求得從當(dāng)前帖到參考帖匹配點(diǎn)集合Kdot，dot/ 〉，doteFi,dot' eFs}和從參考帖到當(dāng)前帖的匹配點(diǎn)集合Kdot'，dot〉，dot' EF2,dote Fi}，并將二者的交集作為匹配點(diǎn)集合Μ;
[0012] 步驟S200:通過(guò)相似變換模型獲得參考帖和當(dāng)前帖之間的估計(jì)旋轉(zhuǎn)角度，累加多 個(gè)相鄰帖之間的估計(jì)旋轉(zhuǎn)角度，得到當(dāng)前帖相對(duì)于第1帖的旋轉(zhuǎn)角度，將當(dāng)前帖旋轉(zhuǎn)旋轉(zhuǎn)角 度，得到消除旋轉(zhuǎn)的視頻；
[0013] 步驟S300:通過(guò)位平面匹配法計(jì)算消除旋轉(zhuǎn)的視頻中的旋轉(zhuǎn)當(dāng)前帖的全局運(yùn)動(dòng)量 μ*，并對(duì)全局運(yùn)動(dòng)量μ*進(jìn)行曲線擬合，得到主運(yùn)動(dòng)量興;按興=//-興得到旋轉(zhuǎn)當(dāng)前帖的運(yùn) 動(dòng)補(bǔ)償量興^，依據(jù)運(yùn)動(dòng)補(bǔ)償量始對(duì)旋轉(zhuǎn)當(dāng)前帖進(jìn)行補(bǔ)償，得到穩(wěn)定的視頻。
[0014] 進(jìn)一步地，步驟S100中包括W下步驟：
[0015] 步驟S110:將參考帖與當(dāng)前帖的兩幅圖像均勻地分為多個(gè)子區(qū)域，在每個(gè)子區(qū)域 中使用FAST角點(diǎn)檢測(cè)算法對(duì)每個(gè)子區(qū)域進(jìn)行檢測(cè)，得到檢測(cè)特征點(diǎn)；
[0016] 步驟S120:如果檢測(cè)特征點(diǎn)為多個(gè)，則通過(guò)隨機(jī)方式從檢測(cè)特征點(diǎn)中任選一個(gè)特 征點(diǎn)作為該子區(qū)域的特征點(diǎn)，如果檢測(cè)特征點(diǎn)為零，則選取該子區(qū)域的中間點(diǎn)作為該子區(qū) 域的特征點(diǎn)。
[0017] 進(jìn)一步地，步驟S100中將區(qū)域特征點(diǎn)描述為特征向量，包括W下步驟：
[0018] 步驟S130:w區(qū)域特征點(diǎn)為中屯、，W8為半徑的領(lǐng)域范圍內(nèi)的圖像作為區(qū)域特征點(diǎn) 對(duì)應(yīng)的圖像塊P(x，y)，圖像塊P(x，y)的尺寸為16*16;
[0019] 步驟S140:根據(jù)公式（1)~(2)計(jì)算圖像塊P(x，y)的每一個(gè)像素的梯度幅值G(x，y) 和每一個(gè)像素的方向λ(χ，γ)，
[0020]
CD
[0021] λ(χ,γ) =arctan(Gx(x,y)/Gy(x,y)) (2)
[0022] 其中，Gx(x，y)為圖像塊P(x，y)的水平方向梯度幅值，Gy(x，y)為圖像塊P(x，y)的垂 直方向梯度幅值，計(jì)算公式如下：
[0023] Gx(x,y) = (-1 0 l)*P(x,y) (3)
[0024] Gy(x，y) = (-1 0 1)τ 沖(x，y) (4)
[0025] 步驟S150:將圖像塊P(x，y)均勻的劃分成4*4的子塊，得到16個(gè)圖像子塊block,將 梯度方向空間0~如等分成8個(gè)方向，在每個(gè)block圖像里面統(tǒng)計(jì)每個(gè)方向的直方圖，并使用 梯度幅值G(x，y)作為權(quán)重，每個(gè)block圖像可W得到一個(gè)8維向量，16個(gè)block圖像共得到 128維向量。
[00%] 進(jìn)一步地，步驟S100中雙向最近鄰距離比匹配法包括W下步驟：
[0027]步驟S160:取當(dāng)前帖區(qū)域特征點(diǎn)集合Fi中任一區(qū)域特征點(diǎn)do to，其對(duì)應(yīng)的特征向 量ftcbto,求區(qū)域特征點(diǎn)dotO在參考帖區(qū)域特征點(diǎn)集合F2中的最近鄰點(diǎn)dotl和第二近鄰點(diǎn) dot2,記區(qū)域特征點(diǎn)dotO和最近鄰點(diǎn)dotl的距離為Distl，記區(qū)域特征點(diǎn)dotO和第二近鄰點(diǎn) dot2的距離為01312,0131:1和01312按公式（5)~（6)計(jì)算：
[0030] 如果 Distl/Dist2<0.8，則將 dotO 和 dotl記為一對(duì)匹配點(diǎn)集 <dot0，dotl〉；
[0031] 步驟S170:按步驟S160中的步驟遍歷當(dāng)前帖區(qū)域特征點(diǎn)集合Fi中的所有區(qū)域特征 點(diǎn)，將滿足Distl/Dist2<0.8條件的所有區(qū)域特征點(diǎn)記錄于當(dāng)前帖到參考帖的匹配點(diǎn)集合 |<dot,dot'〉，dotEFi,dot' EFs}中；
[0032] 步驟S180:按照步驟S160中的步驟遍歷參考帖區(qū)域特征點(diǎn)集合F2中的所有區(qū)域特 征點(diǎn)，求取參考帖區(qū)域特征點(diǎn)集合F2在當(dāng)前帖區(qū)域特征點(diǎn)集合Fi中的匹配點(diǎn)，得到參考帖到 當(dāng)前帖匹配點(diǎn)集合Kdot'，dot〉，dot' eF2，doteFi};
[0033] 步驟S190:計(jì)算當(dāng)前帖到參考帖匹配點(diǎn)集合{〈dot,dol/〉,doteFi,dol/ eFs}和參 考帖到當(dāng)前帖匹配點(diǎn)集合Kdot'，dot〉，dol/ eF2，doteFi}的交集，作為匹配點(diǎn)集合Μ。
[0034] 進(jìn)一步地，步驟S200包括W下步驟：
[0035] 步驟S210:W相似變換作模型為兩相鄰帖圖像之間的變換模型，記A(x，y)和Α/ (χ/，/)為匹配點(diǎn)集合Μ中的任一對(duì)匹配點(diǎn)，相似變換模型方程為公式(7):
[0036]
(7)
[0037] 其中，Θ為視頻的估計(jì)旋轉(zhuǎn)角度、ε為縮放因子、x，y，為A(x，y)中的任一對(duì)匹配點(diǎn)、 X'，y'為A' (X'，y')中的任一對(duì)匹配點(diǎn)、tx為水平方向上的平移量和ty為垂直方向上的平移 量；
[0038] 步驟S220:通過(guò)匹配特征對(duì)匹配點(diǎn)集合Μ采用隨機(jī)抽樣一致RANSAC算法求解相似 變換模型方程，得到估計(jì)旋轉(zhuǎn)角度0、縮放因子ε、水平方向上的平移量tx和垂直方向上的平 移量ty;
[0039] 步驟S230:從視頻的第1帖圖像開(kāi)始，對(duì)任兩相鄰帖重復(fù)步驟S210~S220得到視頻 中所有相鄰兩帖圖像的估計(jì)旋轉(zhuǎn)角度9 ;
[0040] 設(shè)也為第t帖相對(duì)于第t-1帖的旋轉(zhuǎn)角度，則第t帖相對(duì)于第1帖的旋轉(zhuǎn)角度為
巧當(dāng)前帖進(jìn)行旋轉(zhuǎn)，得到消除旋轉(zhuǎn)的視頻 帖。
[0041 ] 進(jìn)一步地，步驟S300包括W下步驟：
[0042] 步驟S310:將消除旋轉(zhuǎn)的視頻中任一帖灰度為0~255的圖像在(x，y)位置的像素 值表示為：
[0043] f (x,y) =872^+862?+·--+802° (8)
[0044] 其中ak取0或1，0非。，為初始的比特值；
[0045] 將ak改寫成阱，作為改進(jìn)的比特值：
[0046] 占 * * W 化
[0047] 其中貨表示異或操作；
[004引步驟S320:任一帖圖像上的每個(gè)像素有8個(gè)比特值gk，所有像素的第k個(gè)比特值組 成第k階比特平面bk(x，y)，任一帖圖像上共有8個(gè)比特平面圖像b0(x，y)~b7(x，y)，選取第4 位平面圖像進(jìn)行匹配，得到參考帖的第4位平面圖像和當(dāng)前帖的第4位平面圖像，分別記為 況4和化4;
[00例在圖像饑4的四角和中屯、位置處各選擇一個(gè)Μ X N的子圖像，共得到5個(gè)子圖像 Csubl，…，Csub5，用一個(gè)ΜX Ν的窗口在圖像化4上進(jìn)行滑動(dòng)，每一次的滑動(dòng)都在圖像化4上得 到一個(gè)ΜΧΝ的子圖像，記為化ubi，計(jì)算子圖像Csubi和子圖像化ubi的匹配度：
[(K)加 ]
[0051] 當(dāng)DT取值最小時(shí)，所對(duì)應(yīng)的兩幅圖像為最佳匹配；分別在圖像Db4上計(jì)算 Csubl,…，Csub5對(duì)應(yīng)的最佳匹配塊圖像，分別記為化ubl ,···,化ub5;最佳匹配的兩幅圖像 {Csubi ,Dsubi I i = l,…，5}的坐標(biāo)偏移量記為(mi,m)，即為子圖像Csubi的運(yùn)動(dòng)矢量；
[0052] 步驟S330:參考帖的5個(gè)子圖像中的每一個(gè)子圖像，按步驟S310~320計(jì)