本發(fā)明涉及一種視頻穩(wěn)定質(zhì)量評價方法，特別涉及一種基于幀間運動光滑性的無參考視頻穩(wěn)定質(zhì)量評價方法，屬于視頻處理領(lǐng)域。
背景技術(shù)：
：隨著視頻采集設(shè)備的廉價化，越來越多的視頻采集設(shè)備應(yīng)用于我們生活，涉及娛樂、安全、生產(chǎn)等各個方面。但是，由于使用環(huán)境和使用人員的限制，如大風(fēng)對于監(jiān)控攝像頭的影響、業(yè)余愛好者沒有三腳架、云臺等專業(yè)的攝像穩(wěn)定設(shè)備的情況，往往導(dǎo)致我們采集到的視頻數(shù)據(jù)帶有一定的抖動或者晃動，影響人眼的觀看感受和后期的進一步處理。對于視頻穩(wěn)定這一具有較高應(yīng)用價值的問題，國內(nèi)外的學(xué)者已經(jīng)做了許多的基礎(chǔ)研究。現(xiàn)在擁有著大量的視頻穩(wěn)定方法，如基于l1優(yōu)化的視頻穩(wěn)定方法(m.grundmann,v.kwatraandi.eassa.auto-directedvideostabilizationwithrobustl1optimalcamerapaths.inproc.cvpr,225–232，2011)、基于內(nèi)容保護圖像扭曲的3d視頻穩(wěn)定方法(f.liu,m.gleicher,h.l.jin,anda.agarwala,content-preservingwarpsfor3dvideostabilization.acmtransactionsongraphics28(3):44:1–44:9,2009)、子空間穩(wěn)定方法(f.liu,m.gleicher,j.wang,h.l.jinanda.aharwala.subspacevideostabilization.acmtransactionsongraphics30(1):4:1–4:10,2011)。然而，在文獻中很少出現(xiàn)一種可靠地視頻穩(wěn)定質(zhì)量評價方法，用戶無法了解視頻穩(wěn)定算法的客觀性能，就無法挑選合適的穩(wěn)定算法。視頻穩(wěn)定質(zhì)量評價分為全參考質(zhì)量評價和無參考質(zhì)量評價。若存在原始穩(wěn)定的視頻，則可以通過對比穩(wěn)像視頻與原始視頻來計算抖動的去除程度和穩(wěn)定視頻的質(zhì)量，稱為全參考質(zhì)量評價。無參考質(zhì)量評價使用統(tǒng)計模型測量穩(wěn)像前后的運動變化從而進行質(zhì)量評價。現(xiàn)有的全參考質(zhì)量評價的處理方式一般是人工合成穩(wěn)定的視頻或者穩(wěn)定的攝像機路徑，然后進行質(zhì)量評價(offiahmc,aminn,grosst,etal.anapproachtowardsafull-reference-basedbenchmarkingforquality-optimizedendoscopicvideostabilizationsystems[c]//eighthindianconferenceoncomputervision,graphicsandimageprocessing.2012:1-8.)。這種處理方式實際上只能算部分參考評價，因為作為參考的視頻或路徑不是真實存在的。相對來說，無參考視頻穩(wěn)定質(zhì)量評價在實際中應(yīng)用更加廣泛，因為它靈活且廉價(battiatos,gallog,puglisig,etal.siftfeaturestrackingforvideostabilization[c]//internationalconferenceonimageanalysisandprocessing.ieee,2007:825-830.)。然而，當(dāng)前已有的無參考方法僅僅依賴于簡單的視覺線索，例如幀間變化或參數(shù)變化，這些都被證明是不夠準確的且與主觀質(zhì)量評價矛盾。技術(shù)實現(xiàn)要素：本發(fā)明的目的是針對現(xiàn)有無參考視頻質(zhì)量評價方法僅依賴于簡單的視覺線索，評價方法不夠準確且與主觀質(zhì)量評價矛盾，提出了一種基于幀間運動光滑性的無參考視頻穩(wěn)定質(zhì)量評價方法。本發(fā)明技術(shù)方案的思想是首先提取相鄰幀特征點，然后對視頻幀進行網(wǎng)格化處理，再計算網(wǎng)格單應(yīng)性矩陣，將單應(yīng)性矩陣組成捆綁路徑，再計算捆綁路徑的平滑性，最后將全部捆綁路徑的平滑性綜合得到最終視頻穩(wěn)定質(zhì)量評價結(jié)果。本發(fā)明的具體實現(xiàn)步驟如下：步驟一、提取待評價視頻中的相鄰幀特征點，引入變量t并初始化；其中，設(shè)置n為視頻總幀數(shù)；設(shè)置t為視頻幀索引數(shù)，并初始化t＝1，即從第一幀開始利用surf(herbertbay,andreasess,tinnetuytelaars,lucvangool.speeded-uprobustfeatures//similaritymatchingincomputervisionandmultimedia.2008:346-359.)算法提取相鄰幀的對應(yīng)特征點；步驟二、視頻幀網(wǎng)格化為w塊矩形網(wǎng)格，具體為：將待評價視頻中的視頻幀劃分為w塊矩形網(wǎng)格，對于某一網(wǎng)格，其形式化表示為如下公式(1)：其中，表示網(wǎng)格，j表示網(wǎng)格索引，它的范圍是1-w；w表示網(wǎng)格數(shù)量，是大于等于2的整數(shù)平方；t如步驟一所述表示視頻幀索引數(shù)；表示集合，元素表示網(wǎng)格四個頂點坐標，i的取值范圍是從1到4；步驟三、計算網(wǎng)格單應(yīng)性矩陣；其中，計算網(wǎng)格單應(yīng)性矩陣通過單應(yīng)性估計實現(xiàn)，為了保證單應(yīng)性估計的時空一致性，使用了liu等人提出的變形方法(lius,yuanl,tanp,etal.bundledcamerapathsforvideostabilization[j].acmtransactionsongraphics,2013,32(4):78.)對網(wǎng)格進行變形處理，然后進行單應(yīng)性估計；具體為：步驟3.1對于某一網(wǎng)格，利用其變形前后的位置關(guān)系可以計算出對應(yīng)的單應(yīng)性矩陣，其形式化表示為如下公式(2)：其中，表示變形后網(wǎng)格的頂點坐標，表示變形前網(wǎng)格的頂點坐標，表示計算得到的單應(yīng)性矩陣；步驟3.2再計算對應(yīng)于這些網(wǎng)格的捆綁路徑，其形式化表示為如下公式(3)：步驟四、計算從第t-1幀到第t幀的測地線，得到切向量步驟四到步驟六計算都針對某一網(wǎng)格所形成的捆綁路徑，執(zhí)行步驟四到步驟六可以獲得捆綁路徑上一個點的曲率，然后將一條路徑上每個點的曲率相加求平均就可以得到這條路徑的平均曲率，平均曲率可以表示一條路徑的平滑程度，最后再將w個網(wǎng)格的捆綁路徑的平滑程度結(jié)果求平均即可得到平均平滑程度，平均平滑程度可以衡量視頻穩(wěn)定性；假設(shè)第t-1幀到第t幀的單應(yīng)變換為ht-1，那么對應(yīng)的測地線為如下公式(4)：其中，表示第t-1幀到第t幀的測地線；表示這條測地線上的位置，當(dāng)γ(0)表示測地線起點，當(dāng)γ(1)表示測地線終點；和為定義id∈g上的黎曼指數(shù)函數(shù)和黎曼對數(shù)函數(shù)，g是一種空間幾何變換的集合，的具體表示如下公式(5)：其中，exp(·)為指數(shù)函數(shù)，是的逆映射；根據(jù)公式(6)計算測地線的切向量：公式(6)表示矩陣的冪級數(shù)求導(dǎo)公式，a是一個矩陣，t是矩陣函數(shù)的變量，計算可得公式(7)：令公式(7)中的則可以得到從t-1幀到第t幀測地線終點的切向量，如下公式(8)：其中，本步驟四里計算公式(5)、(7)和(8)中的u表示ht-1；步驟五、計算從第t幀到第t+1幀的測地線，得到切向量設(shè)第t幀到第t+1幀的單應(yīng)變換為ht，從第第t幀到第t+1幀測地線為如下公式(9)：令公式(9)中的則可以得到從第t幀到第t+1幀測地線起點的切向量為如下公式(10)：步驟六、計算切向量和的夾角αt；具體為：夾角αt根據(jù)公式(11)計算：可以計算出向量夾角的余弦值，也就得到了向量夾角αt，具體計算如公式(12):其中，tr表示矩陣的跡；步驟七、計算總體曲率；利用步驟四、五、六計算出某一網(wǎng)格對應(yīng)的捆綁路徑的曲率均值來衡量這條路徑的平滑程度，其形式化表示為如下公式(13)：其中t表示視頻幀索引數(shù)，j表示網(wǎng)格索引，n表示視頻總幀數(shù)；步驟八、計算所有捆綁路徑的平均平滑程度來衡量視頻穩(wěn)定性，其形式化表示為如下公式(14)：其中w是捆綁路徑的數(shù)量，也就是網(wǎng)格數(shù)量；至此，從步驟一到步驟八，完成了一種基于幀間運動光滑性的無參考視頻穩(wěn)定質(zhì)量評價方法。有益效果本發(fā)明一種基于幀間運動光滑性的無參考視頻穩(wěn)定質(zhì)量評價方法，與現(xiàn)有視頻穩(wěn)定質(zhì)量評價方法相比，具有如下有益效果：1.本發(fā)明所提的視頻穩(wěn)定質(zhì)量評價方法，能夠可靠地進行視頻穩(wěn)定質(zhì)量評價，使用戶挑選合適的穩(wěn)定算法；2.本發(fā)明是一種新的無參考視頻穩(wěn)定質(zhì)量評價算法，使用捆綁運動路徑的本征測地曲率來表示路徑的平滑程度，與主觀質(zhì)量評價具有很高的一致性；3.本發(fā)明所提方法在一個大規(guī)模數(shù)據(jù)集上做的實驗證明本方法在魯棒性、靈活性和效率方面均具有很大優(yōu)勢。附圖說明圖1是本發(fā)明一種基于幀間運動光滑性的無參考視頻穩(wěn)定質(zhì)量評價方法的流程圖；圖2是本發(fā)明一種基于幀間運動光滑性的無參考視頻穩(wěn)定質(zhì)量評價方法中網(wǎng)格單應(yīng)性矩陣計算方法的示例。具體實施方式下面結(jié)合附圖對本發(fā)明方法的實施方式做詳細說明。實施例1本實施例闡述了應(yīng)用本發(fā)明一種基于幀間運動光滑性的無參考視頻穩(wěn)定質(zhì)量評價方法的具體實施例。采用本發(fā)明所述方法，具體實現(xiàn)步驟如下：步驟a、surf算法提取相鄰幀特征點；具體到本實施例，是針對待評價視頻，提取其中的相鄰幀特征點，具體為：一副圖像中，有很多表征圖像屬性或類別的特征，包括形狀特征、顏色特征、紋理特征等；為了得到幀與幀之間的運動變換關(guān)系，首先檢測出圖像幀it(t＝1,2,…,n,n表示圖像幀數(shù)量)的特征點。提取特征點時,一般選用harris角點或者sift特征點(d.g.lowe.objectrecognitionfromlocalscale-invariantfeatures.inproc.iccv,pages1150–1157,1999.)，作為優(yōu)選，本實施例采用了surf算法實現(xiàn)特征點的檢測。首先設(shè)置n為視頻總幀數(shù)；設(shè)置t為視頻幀索引數(shù)，并初始化t＝1，然后從第一幀開始利用surf算法提取相鄰幀的對應(yīng)特征點。當(dāng)選取一定數(shù)量的特征點之后，通過光流法得到這些特征點在下一幀it+1中的對應(yīng)位置，為了得到較好效果，本實施例采用金字塔lucas-kanade光流方法實現(xiàn)。最后使用隨機采樣一致算法(randomsampleconsensus,ransac)篩選匹配點。步驟b、視頻幀網(wǎng)格化為w塊矩形網(wǎng)格，具體為：將待評價視頻中的視頻幀劃分為w塊矩形網(wǎng)格，對于某一網(wǎng)格，其形式化表示為如下公式(15)：其中，表示網(wǎng)格，j表示網(wǎng)格索引，它的范圍是1-w；w表示網(wǎng)格數(shù)量，是大于等于2的整數(shù)平方；t如步驟一所述表示視頻幀索引數(shù)；表示集合，元素表示網(wǎng)格四個頂點坐標，i的取值范圍是從1到4；步驟c、計算網(wǎng)格單應(yīng)性矩陣；其中，計算網(wǎng)格單應(yīng)性矩陣通過單應(yīng)性估計實現(xiàn)，為了保證單應(yīng)性估計的時空一致性，使用了liu等人提出的變形方法(lius,yuanl,tanp,etal.bundledcamerapathsforvideostabilization[j].acmtransactionsongraphics,2013,32(4):78.)對網(wǎng)格進行變形處理，然后進行單應(yīng)性估計；具體為：步驟c.1對于某一網(wǎng)格，利用其變形前后的位置關(guān)系可以計算出對應(yīng)的單應(yīng)性矩陣，其形式化表示為如下公式(16)：其中，表示變形后網(wǎng)格的頂點坐標，表示變形前網(wǎng)格的頂點坐標，表示計算得到的單應(yīng)性矩陣；步驟c.2再計算對應(yīng)于這些網(wǎng)格的捆綁路徑，其形式化表示為如下公式(17)：步驟d、計算從第t-1幀到第t幀的測地線，得到切向量步驟d到步驟f的計算都針對某一網(wǎng)格所形成的捆綁路徑，執(zhí)行步驟四到步驟八可以獲得捆綁路徑上一個點的曲率，然后將一條路徑上每個點的曲率相加求平均就可以得到這條路徑的平均曲率，平均曲率可以表示一條路徑的平滑程度，最后再將w個網(wǎng)格的捆綁路徑的平滑程度結(jié)果求平均即可得到平均平滑程度，平均平滑程度可以衡量視頻穩(wěn)定性；假設(shè)第t-1幀到第t幀的單應(yīng)變換為ht-1，那么對應(yīng)的測地線為如下公式(18)：其中，表示第t-1幀到第t幀的測地線；表示這條測地線上的位置，當(dāng)γ(0)表示測地線起點，當(dāng)γ(1)表示測地線終點；和為定義id∈g上的黎曼指數(shù)函數(shù)和黎曼對數(shù)函數(shù)，g是一種空間幾何變換的集合，的具體表示如下公式(19)：其中，exp(·)為指數(shù)函數(shù)，是的逆映射；根據(jù)公式(20)計算測地線的切向量：公式(20)表示矩陣的冪級數(shù)求導(dǎo)公式，a是一個矩陣，t是矩陣函數(shù)的變量，計算可得公式(21)：令公式(21)中的則可以得到從t-1幀到第t幀測地線終點的切向量，如下公式(22)：步驟d里計算公式中的u表示ht-1。步驟e、計算從第t幀到第t+1幀的測地線，得到切向量假設(shè)第t幀到第t+1幀的單應(yīng)變換為ht，那么對應(yīng)的測地線為如下公式(23)：那么，令公式(23)中的則可以得到從第t幀到第t+1幀測地線起點的切向量為如下公式(24)：步驟f、計算切向量和的夾角αt；具體為：夾角αt根據(jù)公式(25)計算：可以計算出向量夾角的余弦值，也就得到了向量夾角αt，具體計算如公式(26):其中tr表示矩陣的跡。步驟g、計算總體曲率；利用步驟d、e、f計算出某一網(wǎng)格對應(yīng)的捆綁路徑的曲率均值來衡量這條路徑的平滑程度，其形式化表示為如下公式(27)：其中t表示視頻幀索引數(shù)，j表示網(wǎng)格索引，n表示視頻總幀數(shù)；步驟h、計算所有捆綁路徑的平均平滑程度來衡量視頻穩(wěn)定性，其形式化表示為如下公式(28)：其中w是捆綁路徑的數(shù)量，也就是網(wǎng)格數(shù)量；實施例2本實施例通過客觀計算利用六種視頻穩(wěn)定算法得到的穩(wěn)像視頻及原始抖動視頻的穩(wěn)定質(zhì)量評價結(jié)果與主觀評價結(jié)果對比，驗證本發(fā)明的有效性。其中原始視頻數(shù)據(jù)集分為十二類視頻，包括simple,rotation,zooming,riding,running,climbing,driving,rollingshutter,dark,crowd,largeparallax以及near-rangeobject。六種視頻穩(wěn)定算法分別為thefull-framemethod(ff)、thespatiallyandtemporallyoptimizedmethod(sto)、bundledpathsmethods(pb)、adobeaftereffects(ae)warpstabilizer、googleyoutubestabilizer、virtualdubdeshaker。計算結(jié)果如表1所示：表1不同視頻穩(wěn)定算法排序：本發(fā)明的視頻穩(wěn)定質(zhì)量評價結(jié)果以及括號中的主觀視頻穩(wěn)定質(zhì)量評價結(jié)果，最后一列是兩種結(jié)果的相關(guān)系數(shù)視頻類別ffstopbaeyoutubedeshaker原始視頻相關(guān)系數(shù)simple5(5)1(1)4(4)3(3)2(2)6(6)7(7)1rotation3(3)7(7)5(5)2(2)1(1)4(4)6(6)1zooming4(5)1(1)5(4)3(3)2(2)6(6)7(7)0.964riding4(4)1(1)5(5)3(3)2(2)6(6)7(7)1running4(4)1(1)6(6)3(3)2(2)5(5)7(7)1climbing4(4)1(1)5(5)3(3)2(2)6(6)7(7)1driving4(4)1(1)6(6)3(2)2(3)5(5)7(7)0.964rollingshutter5(4)2(2)6(6)3(3)1(1)4(5)7(7)0.964dark4(4)1(2)5(6)3(3)2(1)6(5)7(7)0.928crowd4(5)1(1)6(6)2(3)3(2)5(4)7(7)0.928largeparallex5(5)1(1)6(6)3(3)2(2)4(4)7(7)1near-rangeobject4(4)1(1)5(6)3(3)2(2)6(5)7(7)0.9643平均結(jié)果4(4)1(1)6(6)3(3)2(2)5(5)7(7)0.976表一中的相關(guān)系數(shù)使用了斯皮爾曼相關(guān)系數(shù)(forthoferrn,lehnenrg.rankcorrelationmethods[m]//publicprogramanalysis.springerus,1981:146-163.)，數(shù)值越接近1表示兩組結(jié)果越相關(guān)。從表一可以看出本發(fā)明最終評價結(jié)果與主觀評價結(jié)果具有很高的一致性。實施例3本實施例通過計算其他三種無參考視頻穩(wěn)定質(zhì)量評價算法的評價結(jié)果與主觀質(zhì)量評價的評價結(jié)果之間的相關(guān)性，然后與實施例2中本發(fā)明計算得到的結(jié)果的相關(guān)性作對比，驗證本發(fā)明的優(yōu)越性。本實施例所使用的三種無參考視頻穩(wěn)定質(zhì)量評價算法分別為itf(battiatos,gallog,puglisig,etal.siftfeaturestrackingforvideostabilization[c]//internationalconferenceonimageanalysisandprocessing.ieeexplore,2007:825-830.)；lhr(lius,yuanl,tanp,etal.bundledcamerapathsforvideostabilization[j].acmtransactionsongraphics,2013,32(4):1-10.)；還有一種2d曲率的評價方法。所用原始視頻數(shù)據(jù)集是實施例2中的十二類視頻。對比結(jié)果如表2所示：表2斯皮爾曼相關(guān)系數(shù)對比視頻類別itflhr2d曲率本發(fā)明simple0.8571111rotation0.750.571411zooming0.64290.46850.750.9643riding0.750.964311running0.78570.96430.82141climbing0.82890.93711driving0.750.82140.92860.9643rollingshutter0.96430.35710.71430.9643dark0.750.85710.85710.9286crowd0.57140.92860.71430.9286largeparallex-0.392910.85711near-rangeobject0.64290.89290.96430.9643平均結(jié)果0.6580.8140.8840.976從表2平均結(jié)果可以看出本發(fā)明與主觀質(zhì)量評價的相關(guān)性相比于其他無參考視頻穩(wěn)定質(zhì)量評價方法的相關(guān)性更高，具有一定的優(yōu)越性。為了說明本發(fā)明的內(nèi)容及實施方法，本說明書給出了相關(guān)的具體實施例。在實施例中引入細節(jié)的目的不是限制權(quán)利要求書的范圍，而是幫助理解本發(fā)明所述方法。本領(lǐng)域的技術(shù)人員應(yīng)理解：在不脫離本發(fā)明及其所附權(quán)利要求的精神和范圍內(nèi)，對最佳實施例步驟的各種修改、變化或替換都是可能的。因此，本發(fā)明不應(yīng)局限于最佳實施例及附圖所公開的內(nèi)容。當(dāng)前第1頁12