ce)作為準(zhǔn)則，即平均絕對(duì)差。原區(qū)塊中 心點(diǎn)記為（x，y)，搜索半徑記為r= 16，即搜索區(qū)域?yàn)樵瓍^(qū)塊位置周圍區(qū)域：(x-r，y-r)~ (X+r，y+r)。在搜索過(guò)程中發(fā)現(xiàn)的最優(yōu)位置，對(duì)應(yīng)最小的MAD值，記錄為（x'，y')。這樣 通過(guò)塊匹配，收集到了第二批點(diǎn)對(duì)集合，記錄為A2。
[0056] (d)將兩組點(diǎn)對(duì)集合組合成一對(duì)點(diǎn)對(duì)集，記為A=A1 U A2
[0057] (e)通過(guò)最小二乘法，將兩組點(diǎn)對(duì)寫(xiě)入如下公式：
[0058]
[0059] 其中，A中每一組點(diǎn)對(duì)，可以寫(xiě)出上述兩行等式，將A中所有點(diǎn)對(duì)寫(xiě)成公式即可獲 得一個(gè)超定的線性方程組。利用最小二乘法求解可獲得幀間運(yùn)動(dòng)單應(yīng)性變換參數(shù)。獲取的 幀間單應(yīng)性變換運(yùn)動(dòng)模型，為當(dāng)前幀往前一幀上運(yùn)算所獲得。若當(dāng)前幀時(shí)刻為t，前一幀時(shí) 刻為t-1，記單應(yīng)性變換運(yùn)動(dòng)模型為Ft。
[0060] 從第0時(shí)刻開(kāi)始，一直到視頻結(jié)束，每?jī)蓭g都可以算出一個(gè)Ft，將兩兩幀之間 的Ft依次級(jí)聯(lián)起來(lái)可以獲得一個(gè)串集合：F= {F。，F(xiàn)R，…FR. .Ft凡}。
[0061] 路徑優(yōu)化模塊是基于繞環(huán)自適應(yīng)的相機(jī)路徑優(yōu)化方法，其中，繞環(huán)是指在路徑優(yōu) 化中，初始抖動(dòng)路徑和優(yōu)化路徑之間，相鄰幀間存在著一個(gè)級(jí)聯(lián)式的環(huán)，通過(guò)繞環(huán)的方式可 迭代式的優(yōu)化相機(jī)路徑，從而有效的去除相機(jī)路徑中留存的低頻分量；自適應(yīng)是指，在相機(jī) 路徑繞環(huán)優(yōu)化的過(guò)程中，自動(dòng)檢測(cè)出不能進(jìn)行繞環(huán)的位置，從而避免因過(guò)渡優(yōu)化帶來(lái)的視 頻內(nèi)容留存度過(guò)小的問(wèn)題。通過(guò)在繞環(huán)的過(guò)程中，將代表幀間運(yùn)動(dòng)的單應(yīng)性變換設(shè)置為基 礎(chǔ)矩陣（IdentityMatrix),繞環(huán)優(yōu)化過(guò)程中亦可以將運(yùn)動(dòng)估計(jì)不準(zhǔn)確的部分，還原為原始 視頻幀，即將不能做路徑優(yōu)化的部分不做路徑優(yōu)化，部分結(jié)果變?yōu)樵嫉囊曨l幀，或者接近 原始視頻幀的位置，從而有效減小結(jié)果中的視頻幀扭曲。自適應(yīng)的繞環(huán)路徑優(yōu)化可在減小 視頻幀扭曲并克服視頻內(nèi)容留存度過(guò)小問(wèn)題的同時(shí)，有效抑制視頻中的低頻分量，從而提 升視頻的穩(wěn)定度。
[0062] 本實(shí)施例中，路徑優(yōu)化的具體內(nèi)容如下：
[0063] 對(duì)串集合：F= {F。，F(xiàn)fi，…Ffi. ?Ft丨]中的每一個(gè)元素作平滑操作，可以獲得一 個(gè)新的集合：H= {H。，，…H。!^. .HtiHj。如圖1所示，展示了初始的相機(jī)運(yùn)動(dòng)位置和穩(wěn) 定后相機(jī)的運(yùn)動(dòng)位置之間的關(guān)系圖，第一排為原始抖動(dòng)幀，幀間的運(yùn)動(dòng)由單應(yīng)性變換模型 Ft表示，第二排表示優(yōu)化中或優(yōu)化后的穩(wěn)定幀，幀間的運(yùn)動(dòng)由單應(yīng)性變換模型Ht表示。每 一個(gè)時(shí)刻t，幀由抖動(dòng)位置（第一排）變換到穩(wěn)定位置（第二排）的變換矩陣表示為Bt，該 變換矩陣匕也是一個(gè)單應(yīng)性變換。
[0064] 在平滑的過(guò)程中，對(duì)幀間運(yùn)動(dòng)模型矩陣中的相應(yīng)位置作低通高斯濾波。具體為：矩 陣中的每一個(gè)位置作低通濾波，如圖2所示，每一個(gè)九宮格表示一個(gè)單應(yīng)性變換矩陣Ft，將 每一個(gè)對(duì)應(yīng)格子里的值，連成一個(gè)串，組成一個(gè)信號(hào)，如左上角信號(hào)可表征為…at，除 右下角為1外，共可獲得8個(gè)有效信號(hào)。對(duì)8個(gè)信號(hào)，分別獨(dú)立的作平滑操作可獲得平滑信 號(hào)，平滑核心采用普通的高斯核心，記為G，將這一平滑過(guò)程記錄為：F?G，平滑之后可以 獲得每一幀對(duì)應(yīng)的變換矩陣Bt，進(jìn)而算出穩(wěn)定位置的變換Ht。
[0065] -次平滑操可以有效的去除掉視頻中的高頻分量，但卻很難有效的去除掉視頻中 的低頻分量，因此需要多次濾波。這里涉及到一個(gè)繞環(huán)操作，即將Ht通過(guò)F,與BJPBti，表 示出來(lái)。具體來(lái)說(shuō)，繞環(huán)公式為
，用繞環(huán)公式 算出的H，替換原始路徑中的F，就可以實(shí)施下一次的平滑操作，直到消除視頻中存在的低 頻分量為止。
[0066] 在繞環(huán)計(jì)算中，還應(yīng)當(dāng)對(duì)平滑后的幀作扭曲度檢測(cè)，對(duì)平滑后的幀作留存度檢測(cè)， 具體如下：
[0067] 1、對(duì)變換矩陣Bt作分析，可以獲得視頻幀扭曲量的客觀反映值。變換矩陣Bt亦為 一個(gè)單應(yīng)性變換，取其左上角四個(gè)元素，組成一個(gè)小的4x4矩_
，對(duì)該矩陣作奇異值 分解（singularvaluedecompositionSVD)分解，獲得
其主對(duì)角線上的 比值k= \17^2，可用來(lái)表征圖形是否扭曲，該值接近1，說(shuō)明扭曲越小，反之則扭曲越大。
[0068]2、對(duì)變換矩陣Bt作分析，還可以獲得該幀內(nèi)容的留存度。如圖3所示，通過(guò)對(duì)4個(gè) 角點(diǎn)進(jìn)行單應(yīng)性變換，可以獲得一個(gè)新的四邊形，在新四邊形中尋找最大內(nèi)切矩形，虛線表 示。可計(jì)算出最大內(nèi)切矩形占原始矩形的面積比例，記為31。
[0069]在每次平滑的過(guò)程中，觀察k與31的值，當(dāng)k〈〇. 9或者k>1. 1或者31〈〇. 8的 時(shí)候，即將該幀對(duì)應(yīng)的轉(zhuǎn)換矩陣Bt減半，減半方式為Bt=Bt+I，其中I表示單位矩陣，數(shù)值 表示停止條件。直到所有幀的匕對(duì)應(yīng)的k與均滿足第14條的條件，結(jié)束運(yùn)算。
[0070]運(yùn)用減半的Bt將視頻中的輸入幀變換到穩(wěn)定的位置上，采用的變換方式為基于單 應(yīng)性變換的圖像坐標(biāo)變換（Imagewarping)。完成路徑優(yōu)化后，最后通過(guò)圖像變換植染出最 終穩(wěn)定視頻。
[0071]按照上述實(shí)施例，便可很好地實(shí)現(xiàn)本發(fā)明。值得說(shuō)明的是，在上述技術(shù)方案的前提 下，為解決同樣的技術(shù)問(wèn)題，即使在本發(fā)明上做出一些無(wú)實(shí)質(zhì)性的改動(dòng)或潤(rùn)色，所采用的技 術(shù)方案的實(shí)質(zhì)仍然與本發(fā)明一樣，故其也應(yīng)當(dāng)在本發(fā)明的保護(hù)范圍內(nèi)。
【主權(quán)項(xiàng)】
1. 一種基于繞環(huán)自適應(yīng)相機(jī)路徑優(yōu)化的視頻防抖方法，其特征在于，包括以下步驟： 步驟1.通過(guò)相鄰幀特征點(diǎn)匹配和相鄰幀塊搜索共同作用，估算出相鄰幀間基于單應(yīng) 性變換的幀間運(yùn)動(dòng)模型； 步驟2.對(duì)抖動(dòng)幀的幀間運(yùn)動(dòng)模型進(jìn)行高斯平滑，得到穩(wěn)定幀的幀間運(yùn)動(dòng)模型的集合； 步驟3.對(duì)平滑后的幀作扭曲度檢測(cè)，對(duì)平滑后的幀作留存度檢測(cè)； 步驟4.相機(jī)路徑繞環(huán)； 步驟5.重復(fù)步驟2到步驟4直到去除掉視頻中的高頻分量和低頻分量； 步驟6.通過(guò)圖像變換渲染出最終穩(wěn)定視頻。2. 根據(jù)權(quán)利要求1所述的一種基于繞環(huán)自適應(yīng)相機(jī)路徑優(yōu)化的視頻防抖方法，其特征 在于，所述步驟1的具體方式如下： (11) 對(duì)幀間進(jìn)行運(yùn)動(dòng)估計(jì)，采用單應(yīng)性變換作為幀間運(yùn)動(dòng)模型，以描述相鄰幀間的運(yùn) 動(dòng)式中，（X'，y'，z')表示變換后的坐標(biāo)，對(duì)應(yīng)著當(dāng)前幀的前一幀中圖像點(diǎn)的位置， (X，y)表示變換前的坐標(biāo)，對(duì)應(yīng)著當(dāng)前幀圖形點(diǎn)的位置，單應(yīng)性變換矩陣中a,b,d,e表征圖動(dòng)模型； (12) 通過(guò)公式A={(x'，y' )_(x，y)}，估算出前一幀和后一幀中對(duì)應(yīng)點(diǎn)對(duì)位置，進(jìn) 而估算出幀間運(yùn)動(dòng)模型中的各個(gè)參數(shù)的值。3. 根據(jù)權(quán)利要求2所述的一種基于繞環(huán)自適應(yīng)相機(jī)路徑優(yōu)化的視頻防抖方法，其特征 在于，所述步驟（12)的具體方式如下： (121) 通過(guò)圖像的特征點(diǎn)匹配，獲取初始的點(diǎn)對(duì)集合，基于單應(yīng)性變換模型并利用 RANSAC，剔除掉匹配錯(cuò)誤的點(diǎn)對(duì)，最后形成的第一批點(diǎn)對(duì)集合記為Al; (122) 對(duì)圖像分塊，將圖像分成大小均等的16x16的區(qū)域塊，同時(shí)將視頻中的每一幀轉(zhuǎn) 換為灰度圖像，算出每一塊內(nèi)灰度圖像的方差值，并留下方差值大于指定閥值的區(qū)塊； (123) 塊匹配：對(duì)留下的每一個(gè)區(qū)塊，在前一幀灰度圖像內(nèi)容中搜索對(duì)應(yīng)的最匹配的 區(qū)塊，通過(guò)塊匹配，收集到了第二批點(diǎn)對(duì)集合，記錄為A2 ; (124) 將兩組點(diǎn)對(duì)集合組合成一對(duì)點(diǎn)對(duì)集，記為A=AlUA2 ; (125) 通過(guò)最小二乘法，將兩組點(diǎn)對(duì)寫(xiě)入如下公式：利用最小二乘法求解獲得幀間運(yùn)動(dòng)模型中的各個(gè)參數(shù)。4. 根據(jù)權(quán)利要求3所述的一種基于繞環(huán)自適應(yīng)相機(jī)路徑優(yōu)化的視頻防抖方法，其特征 在于，所述步驟2的具體方式如下：從第O時(shí)刻開(kāi)始，一直到視頻結(jié)束，每?jī)蓭g算出一個(gè) Ft，將兩兩幀之間的Ft依次級(jí)聯(lián)起來(lái)獲得抖動(dòng)幀幀間運(yùn)動(dòng)模型的串集合： F= (F01F0F1，…F0F1. .FtiFj 對(duì)集合中的每一個(gè)元素作平滑操作，獲得穩(wěn)定幀幀間運(yùn)動(dòng)模型的集合： H= {H。，H0H1，…H0H1--HtlHtK5. 根據(jù)權(quán)利要求4所述的一種基于繞環(huán)自適應(yīng)相機(jī)路徑優(yōu)化的視頻防抖方法，其特征 在于，所述步驟4中相機(jī)路徑繞環(huán)通過(guò)繞環(huán)公式：進(jìn)行多次平滑操作，直到消除視頻中存在的低頻分量為止；其中，用式（3)算出的Ht， 替換原始路徑中的FjP可實(shí)施下一次的平滑操作，B,表示每一個(gè)時(shí)刻t幀由抖動(dòng)變?yōu)榉€(wěn)定 的變換矩陣，其亦為一個(gè)單應(yīng)性變換運(yùn)動(dòng)模型。6. 根據(jù)權(quán)利要求5所述的一種基于繞環(huán)自適應(yīng)相機(jī)路徑優(yōu)化的視頻防抖方法，其特征 在于，所述步驟3中對(duì)變換矩陣Bt作分析，獲得視頻幀扭曲度的客觀反映值：值越接近1，說(shuō)明扭曲越小，反之，則扭曲越大； 對(duì)變換矩陣Bt作分析，獲得幀內(nèi)容的留存度：通過(guò)對(duì)幀內(nèi)圖像的4個(gè)角點(diǎn)進(jìn)行單應(yīng)性 變換，獲得4個(gè)新角點(diǎn)，然后根據(jù)4個(gè)新角點(diǎn)可以獲得一個(gè)新的四邊形，在新的四邊形中尋 找最大內(nèi)切矩形，計(jì)算出最大內(nèi)切矩形占原始矩形的面積比例，記為。7. 根據(jù)權(quán)利要求6所述的一種基于繞環(huán)自適應(yīng)相機(jī)路徑優(yōu)化的視頻防抖方法，其特征 在于，在每次平滑操作的過(guò)程中，觀察K與JT的值，當(dāng)K〈0.9,或者K>1.1，或者JT〈0.8 的時(shí)候，即將該幀對(duì)應(yīng)的變換矩陣Bt減半，減半方式為Bt=Bt+I，其中I表示單位矩陣。
【專利摘要】本發(fā)明公開(kāi)了一種基于繞環(huán)自適應(yīng)相機(jī)路徑優(yōu)化的視頻防抖方法，解決了現(xiàn)有視頻防抖技術(shù)受環(huán)境限制大，效果欠佳等問(wèn)題。該視頻防抖方法包括以下步驟：1.運(yùn)動(dòng)估計(jì)；2.平滑操作；3.對(duì)平滑后的幀作扭曲度檢測(cè)，對(duì)平滑后的幀作留存度檢測(cè)；4.相機(jī)路徑繞環(huán)；步驟5.重復(fù)步驟2到步驟4直到去除掉視頻中的高頻分量和低頻分量；步驟6.通過(guò)圖像變換渲染出最終穩(wěn)定視頻。本發(fā)明通過(guò)對(duì)傳統(tǒng)的運(yùn)動(dòng)估計(jì)進(jìn)行優(yōu)化，并通過(guò)繞環(huán)的方式，建立了一套可自適應(yīng)視頻扭曲度與視頻內(nèi)容留存度的路徑優(yōu)化方法，在減小視頻幀扭曲并克服視頻內(nèi)容留存度過(guò)小問(wèn)題的同時(shí)，有效抑制視頻中的低頻分量，從而提升視頻的穩(wěn)定度，能很好地應(yīng)對(duì)場(chǎng)景變換與相機(jī)運(yùn)動(dòng)變換。
【IPC分類】H04N5/14, H04N5/21
【公開(kāi)號(hào)】CN105049678
【申請(qǐng)?zhí)枴緾N201510504730
【發(fā)明人】陶科銳
【申請(qǐng)人】成都鷹眼視覺(jué)科技有限公司
【公開(kāi)日】2015年11月11日
【申請(qǐng)日】2015年8月17日