專利名稱：一種結(jié)合運動特征的視頻質(zhì)量評價方法
技術(shù)領域：
本發(fā)明涉及計算機數(shù)字視頻處理領域，設計了一種結(jié)合運動特征的視頻質(zhì)量評價方法。
對于以人眼為最終信宿的圖像/視頻信息來說，對其的評價應和人眼的主觀感受相一致。人類視覺處理的機制非常復雜，到目前為止，還沒有被真正理解和掌握。但是，人們也發(fā)現(xiàn)了一些視覺現(xiàn)象，這些現(xiàn)象已對人們研究視頻質(zhì)量的評價產(chǎn)生了影響。具體而言，這些視覺特性有多通道結(jié)構(gòu)、視覺閾值及掩蔽。1.多通道結(jié)構(gòu)與視覺閾值人的視覺系統(tǒng)是一個多通道結(jié)構(gòu)，它把輸入的圖像分解成不同的感覺分量。每個感覺通道都有其自己的閾值，稱之為視覺閾值。給定通道中的激勵，如果其值低于通道所對應的視覺閾值，人眼就感覺不到該激勵。2.掩蔽效應當存在多個激勵時，它們之間就會互相干擾，導致視覺閾值發(fā)生變化，稱之為視覺掩蔽效應。對編碼傳輸?shù)囊曨l圖像，原圖像是掩蔽者，編碼傳輸損傷是目標。實際視頻圖像千變?nèi)f化，編碼后的損傷分量的背景也各式各樣，所以損傷分量的可見性也是變化的。
視覺閾值的存在使得低于閾值的損傷不被覺察，掩蔽的存在則使視覺閾值提升，從而使不可見的損傷增大。這是研究基于人眼視覺系統(tǒng)的視頻質(zhì)量度量的一個重要出發(fā)點。換句話說，如果設法使損傷出現(xiàn)在人眼看不見的地方，也就改善了圖像的質(zhì)量。
掩蔽有各種形式。人眼對損傷的敏感度在非常亮或非常暗的區(qū)域下降，稱為對比掩蔽；人眼對損傷的敏感度在圖像空間域變化大的區(qū)域比變化小的區(qū)域低，稱為紋理掩蔽；內(nèi)容隨時間變化大的圖像塊，人眼對其損傷的敏感度低，這是運動掩蔽；場景切換后的瞬間，人眼對損傷的可見性下降，這是切換掩蔽。
目前人們對視頻質(zhì)量的評價主要是基于對靜止圖像的評價來進行，通過平均峰值信噪比和幀頻來度量的。幀頻即每秒鐘傳輸?shù)膸瑪?shù)；平均峰值信噪比定義為PSNR‾=1PΣk=0P-1PSNRk]]>其中 fk(i，j)和f′k(i，j)分別是第k幀原圖像和重建圖像的灰度，M，N分別是圖像的寬和高。
平均峰值信噪比能夠客觀的反映視頻的失真程度，但并沒有考慮人眼的視覺特性，而且?guī)l和平均峰值信噪比是相互獨立的反映視頻時間域和空間域特性的，這種評價方法把視頻圖像的時間域特性和空間域特性割裂開來。因而這種評價結(jié)果往往和人的視覺感受不一致。
2、提出了視頻圖像運動劇烈程度的描述方法。其描述分為兩部分(1)一幀圖像中各圖像塊的運動劇烈程度分布，我們稱之為運動的空間分布特征，將其應用于視頻清晰度評價；(2)整幀視頻圖像的運動劇烈程度，我們稱之為運動的時間分布特征，將其應用于視頻流暢性評價。
3、考慮了人眼的視覺特性。人眼對視頻清晰度和流暢度的感受受到視頻畫面運動劇烈程度的影響。對于某一幀視頻圖像，其運動劇烈的部分往往引起人眼的注意，屬于人眼感興趣區(qū)。而當一段視頻的整幀圖像運動較劇烈時，圖像清晰度對人眼的刺激將相對減弱，而畫面流暢度的作用將相對增強。
4、將視頻圖像的清晰度和流暢度有機的結(jié)合起來，提出了計算視頻質(zhì)量綜合評價指標的方法。
本發(fā)明的技術(shù)方案參見

圖1、圖2。它結(jié)合了視頻圖像的運動特征以及人眼的視覺特性，對經(jīng)過計算機處理后的視頻圖像進行客觀的評價。該方案包括有攝像頭(1)將獲取的目標物視頻圖像序列的圖像光信號轉(zhuǎn)化為電信號，由采集卡(2)將來自于攝像頭的視頻序列數(shù)字化并輸入到計算機處理器中，其特征在于它還包括在計算機處理器(3)中設置的將視頻圖像的清晰度和流暢度有機的結(jié)合起來的計算視頻質(zhì)量綜合評價指標的方法，該方法依次包括下述步驟1)、計算機從視頻采集卡讀入視頻信號，并保存視頻采集間隔T；2)、進入完成對采集進入計算機的原始視頻幀進行運動補償、變換和編碼等處理，以壓縮有效冗余的視頻圖像壓縮處理子程序；3)、進入對壓縮后的視頻碼流進行解碼，重建視頻序列圖像的視頻圖像重建子程序；4)、根據(jù)視頻清晰度和視頻流暢度兩種定義，并將其作為視頻質(zhì)量評價的兩種度量方法先進入計算視頻序列運動劇烈程度子程序，將每一幀視頻圖像分成16×16的圖像塊，計算每一個圖像塊的運動劇烈程度和一整幀圖像的運動劇烈程度；再進入視頻質(zhì)量綜合評價子程序，依據(jù)前述的運動劇烈程度，先計算視頻序列的清晰度和流暢度，然后計算綜合評價結(jié)果；5)、從考慮人眼對視視頻清晰度和流暢度的感受受到視頻畫面運動劇烈程度的影響出發(fā)，對4)的綜合評價結(jié)果輸出，可以和人眼從顯示器觀看的視覺感受相比較。
根據(jù)前述本發(fā)明分兩步計算視頻的運動劇烈程度，第一步計算每一個圖像塊的運動劇烈程度，其計算可以通過兩種方法第一種是根據(jù)圖像塊的運動矢第一種是根據(jù)圖像塊的運動矢量來計算，其計算公式為MAk(i,j)=Δxk2(i,j)+Δyk2(i,j)]]>式中MAk(i，j)表示第k幀視頻圖像中第(i，j)個圖像塊的運動劇烈程度，(Δxk，Δyk)為該塊的運動矢量。第二種利用相鄰兩幀圖像的像素灰度差值來計算，其計算公式為MAk(i,j)=EXP(1255·NPΣ(m,n)∈block(i,j)|Lk(m,n)-Lk-1(m,n)|)]]>式中block(i，j)表示一幀圖像中第(i，j)個塊，Lk(m，n)和Lk-1(m，n)分別表示第k幀和第k-l幀圖像(m，n)處像素的灰度值，Np表示一個圖像塊中像素的個數(shù)。第二步計算一整幀視頻圖像的運動劇烈程度，其計算公式為MAk=1NMBΣiΣjMAk(i,j)]]>式中MAk表示第k幀視頻圖像的運動劇烈程度，NMB表示一幀圖像中圖像塊的個數(shù)，MAk(i，j)的意義和前述中的相同。
根據(jù)前述本發(fā)明在計算視頻圖像清晰度時，假設輸入到計算機的視頻序列是以恒定的高速幀頻采集得到的，采集間隔為T；一般情況下計算視頻圖像清晰度。不是所有幀都被編碼(處理)輸出。k表示被編碼(處理)的圖像幀編號，N表示被編碼(處理)圖像的總幀數(shù)。第k幀和第k-l幀之間相隔時間為FTk·T。我們以靜止圖像的峰值信噪比為基礎，考慮人眼的視覺特性，給運動較劇烈的圖像塊的峰值信噪比賦以較高的權(quán)重，運動較小的宏塊以較小的權(quán)重。首先計算一幀視頻圖像的清晰度，其計算公式為SSk=10·log10255·2551NMBΣi,jMAk(i,j)·Diffk(i,j)]]>式中SSk表示一幀視頻圖像清晰度，NMB和MAk(i，j)的意義和7中相同， ，其中Lk，Input(m，n)和Lk，Output(m，n)分別為原始采集的視頻和處理后重建視頻的(m，n)處像素灰度值，然后計算一段視頻的清晰度，其計算公式為PS=1NΣk=1N(1MAk·FTk·SSk)]]>式中PS表示一段(N幀)視頻的清晰度，PS越大說明視頻圖像畫面越清晰。此計算公式包含兩方面的含義一方面，運動較為劇烈的圖像幀的清晰度在整段視頻清晰度評價中的作用相對較弱；另一方面，視頻重放中占用時間較長的圖像幀的清晰度在整段視頻清晰度評價中的作用相對較強，這是符合人眼的視覺感受的。
根據(jù)前述本發(fā)明在計算一段視頻的流暢度時，考慮人眼對于運動較劇烈的圖像幀，無法分辨圖像的細節(jié)信息，這時圖像的清晰度對人眼的刺激變小，而運動的連續(xù)性對人眼的刺激變大，因而需要在運動劇烈的時候提高幀頻。對于運動較緩和的視頻幀，人眼能夠分辨圖像的細節(jié)信息，這時需提高每幀視頻圖像的清晰度，并不需要更高的幀頻。根據(jù)人眼的這一視覺特性計算視頻流暢度，其計算公式為PT=1NΣk=1N(MAk·FTk)]]>式中PT表示一段(N幀)視頻的流暢度，PT越小說明視頻越流暢。
根據(jù)前述本發(fā)明在計算一段視頻圖像的綜合評價指標值時，其計算公式為P=WS·PS+WT·1PT]]>式中P表示一段視頻圖像的質(zhì)量綜合評價值。PS為清晰度，PT為流暢度，WS和WT為清晰度和流暢度在綜合評價值中的權(quán)重。
依據(jù)大量的實驗，我們?nèi)S為0.55，WT為0.45，這樣的取值其綜合評價結(jié)果與人眼的視覺感受基本一致。
圖2是視頻質(zhì)量綜合評價系統(tǒng)主程序流程圖。
圖3是視頻壓縮處理子程序流程圖。
圖4是視頻重建子程序流程圖。
圖5是計算視頻運動劇烈程度子程序流程圖。
圖6是計算視頻綜合質(zhì)量評價指標值子程序流程圖。
圖7是利用運動矢量法計算得到的150幀視頻序列運動劇烈程度分布圖，其中橫軸表示視頻幀序號，縱軸表示視頻幀的運動劇烈程度。
圖8是利用絕對差值法計算得到的150幀視頻序列運動劇烈程度分布圖，其中橫軸表示視頻幀序號，縱軸表示視頻幀的運動劇烈程度。
圖9是兩個不同的實例中視頻序列各幀清晰度分布圖，其中橫軸表示視頻幀的序號，縱軸表示視頻幀的清晰度。圖中—■—Variable Frame Rate表示以可變幀頻進行播放的實例，—×—Constant Frame Rate表示以恒定幀頻播放的實例。
圖中1、攝像頭，2、視頻采集卡，3、計算機數(shù)字視頻處理器，4、輸出緩存，5、視頻質(zhì)量評價，6、顯示器，7、評價結(jié)果。
表1兩個不同實例中被壓縮編碼處理的視頻幀序號，第一組表示以恒定幀頻播放，第二組表示以可變幀頻播放。
視頻質(zhì)量評價主要通過軟件來實現(xiàn)。下面結(jié)合實例詳細描述視頻質(zhì)量評價的過程。
我們已由攝像頭和視頻采集卡得到了150幀視頻序列圖像，保存在計算機的硬盤。首先對這一段視頻進行壓縮編碼處理，壓縮后的視頻碼流重建后和原始視頻相比，一定有一定的失真?，F(xiàn)在對壓縮后再重建的視頻序列按本發(fā)明設計的方法進行綜合評價。
第一步計算視頻各幀的運動劇烈程度。分別用本發(fā)明提出的兩種描述運動劇烈程度的方法進行計算，圖7和圖8分別是用兩種方法得到的150幀視頻序列的運動劇烈程度分布圖，其中橫軸表示視頻幀序號，縱軸表示視頻幀的運動劇烈程度。
可以看出，圖7和圖8相似，這說明用這兩種方法都能夠客觀描述圖像的運動劇烈程度。而且可看出從第60幀到110幀，圖像運動得相對劇烈，其他各幀運動相對緩和，這與人眼觀察到的實際情況相吻合。
第二步計算視頻序列清晰度。為了說明本發(fā)明所設計的方法對視頻評價的有效性，這里設計兩組實例以便進行比較。
首先說明一下人眼對待視頻序列圖像的感受。當我們?nèi)搜墼谟^看一段視頻時，對于視頻畫面運動較緩慢的時間段，人眼能夠分辨圖像畫面的細節(jié)信息，也會對圖像的細節(jié)感興趣，由于運動緩和，前后幀的差別不大，所以較低的幀頻人眼是可以接受的；而對視頻畫面運動劇烈的時間段來說，人眼無法分辨圖像的細節(jié)信息，而對運動的連續(xù)性提出了更高的要求，所以這時提高幀頻給人眼的視覺感受更好一些。因此，如果視頻序列的播放幀頻能夠根據(jù)畫面的運動劇烈程度變化，那么人眼的視覺感受要比以恒定的幀頻播放時更好。
由于有這樣的事實，所以設計如下兩組實例。對同一段視頻序列，兩組實例中限制帶寬相同，其他條件也相同，只是幀頻不同。
第一組幀頻恒定為10幀/秒；第二組幀頻依據(jù)運動劇烈程度變化，但平均幀頻仍為10幀/秒。之所以平均幀頻和第一組相同，是因為這樣做對帶寬的要求是一樣的。
兩組實例中實際被編碼處理的幀號見表1所示，從中可以看出，第一組幀頻恒定，而第二組幀頻變化，在60幀至110幀的時間段內(nèi)，幀頻較高，其他時間段內(nèi)幀頻較低，這和前面計算的視頻幀的運動劇烈程度相吻合。
圖7和圖8可以看出，從第60幀到110幀，圖像運動得相對劇烈，因而在第二組實驗中，這一時間段中被編碼的幀數(shù)相對較多，而在其他時間段被編碼的幀數(shù)較少，這符合人眼的視覺特性。
圖9示出了兩組實例中視頻各幀清晰度統(tǒng)計結(jié)果，其中橫軸表示視頻幀的序號，縱軸表示視頻幀的清晰度。圖中—■—Variable Frame Rate表示可變幀頻，—×—Constant Frame Rate表示恒定幀頻。從圖9可以看出，第二組實例中，在運動比較緩和的視頻段，清晰度相對較高，而在運動劇烈的視頻段，清晰度相對較低。根據(jù)本發(fā)明設計的方法計算兩組實例的視頻序列清晰度為第一組28.2；第二組32.5。
視頻序列清晰度越高，給人的視覺感受越好，利用本發(fā)明設計的方法得到的結(jié)果與人眼的視覺感受一致。
第三步計算視頻序列流暢度。與第二步設計的實例相同，依據(jù)本發(fā)明設計的方法計算兩組實例視頻序列流暢度為第一組10.5；第二組9.0視頻序列流暢度越低，給人眼的視覺感受越好，此評價方法的結(jié)果與人眼的視覺感受相一致。
第四步計算視頻序列綜合評價值。根據(jù)本發(fā)明的綜合評價公式，我們?nèi)S為0.55，WT為0.45，兩組實驗的視頻序列綜合評價值為第一組15.6第二組17.9綜合評價值越高說明視頻序列給人眼的視覺感受越好。本發(fā)明設計的評價方法與人眼的主觀視覺感受相一致。
表1

權(quán)利要求
1.一種結(jié)合運動特征的視頻質(zhì)量評價方法，包括由攝像頭(1)將獲取的目標物的視頻圖像序列的圖像光信號轉(zhuǎn)化為電信號，由采集卡(2)將來自于攝像頭的視頻序列數(shù)字化并輸入到計算機處理器中，其特征在于它還包括在計算機處理器(3)中設置的將視頻圖像的清晰度和流暢度有機的結(jié)合起來的計算視頻質(zhì)量綜合評價指標的方法，該方法依次包括下述步驟1)、計算機從視頻采集卡讀入視頻信號，并保存視頻采集間隔T；2)、進入完成對采集進入計算機的原始視頻幀進行運動補償、變換和編碼等處理，以壓縮有效冗余的視頻圖像壓縮處理子程序；3)、進入對壓縮后的視頻碼流進行解碼，重建視頻序列圖像的視頻圖像重建子程序；4)、根據(jù)視頻清晰度和視頻流暢度兩種定義，并將其作為視頻質(zhì)量評價的兩種度量方法后的步驟為先進入計算視頻序列運動劇烈程度子程序，將每一幀視頻圖像分成16×16的圖像塊，計算每一個圖像塊的運動劇烈程度和一整幀圖像的運動劇烈程度；再進入視頻質(zhì)量綜合評價子程序，依據(jù)前述的運動劇烈程度，先計算視頻序列的清晰度和流暢度，然后計算綜合評價結(jié)果；5)、從考慮人眼對視視頻清晰度和流暢度的感受受到視頻畫面運動劇烈程度的影響出發(fā)，對4)的綜合評價結(jié)果輸出，用于和人眼從顯示器觀看的視覺感受相比較。
2.根據(jù)權(quán)利要求1所述的一種結(jié)合運動特征的視頻質(zhì)量評價方法，其特征在于分兩步計算視頻的運動劇烈程度，第一步計算每一個圖像塊的運動劇烈程度，其計算可以通過兩種方法第一種是根據(jù)圖像塊的運動矢量來計算，其計算公式為MAk(i,j)=Δxk2(i,j)+Δyk2(i,j)]]>式中MAk(i，j)表示第k幀視頻圖像中第(i，j)個圖像塊的運動劇烈程度，(Δxk，Δyk)為該塊的運動矢量，第二種利用相鄰兩幀圖像的像素灰度差值來計算，其計算公式為MAk(i,j)=EXP(1255.NpΣ(m,n)∈block(i,j)|Lk(m,n)-Lk-1(m,n)|)]]>式中block(i，j)表示一幀圖像中第(i，j)個塊，Lk(m，n)和Lk-l(m，n)分別表示第k幀和第k-l幀圖像(m，n)處像素的灰度值，Np表示一個圖像塊中的像素個數(shù)；第二步計算一整幀視頻圖像的運動劇烈程度，其計算公式為MAk=1NMBΣiΣjMAk(i,j)]]>式中MAk表示第k幀視頻圖像的運動劇烈程度，NMB表示一幀圖像中圖像塊的個數(shù)。
3.根據(jù)權(quán)利要求1所述的一種結(jié)合運動特征的視頻質(zhì)量評價方法，其特征在于計算視頻圖像清晰度時，假設輸入到計算機的視頻序列是以恒定的高速幀頻采集得到的，采集間隔為T；一般情況下，不是所有幀都被編碼(處理)輸出；k表示被編碼(處理)的圖像幀編號，N表示被編碼(處理)圖像的總幀數(shù)；第k幀和第k-l幀之間相隔時間為FTk·T；我們以靜止圖像的峰值信噪比為基礎，考慮人眼的視覺特性，給運動較劇烈的圖像塊的峰值信噪比賦以較高的權(quán)重，運動較小的宏塊以較小的權(quán)重；首先計算一幀視頻圖像的清晰度，其計算公式為SSk=10·log10255·2551NMBΣi,jMAk(i,j)·Diffk(i,j)]]>式中SSk表示一幀視頻圖像清晰度，NMB和MAk(i，j)的意義與前述相同， ，其中Lk，Input(m，n)和Lk，Output(m，n)分別為原始采集的視頻和處理后重建視頻的(m，n)處像素灰度值；然后計算一段視頻的清晰度，其計算公式為PS=1NΣk=1N(1MAk·FTk·SSk)]]>式中PS表示一段視頻的清晰度，PS越大說明視頻圖像畫面越清晰。
4.根據(jù)權(quán)利要求1所述的一種結(jié)合運動特征的視頻質(zhì)量評價方法，其特征在于計算一段視頻的流暢度時，根據(jù)人眼的這一視覺特性計算視頻流暢度，其計算公式為PT=1NΣk=1N(MAk·FTk)]]>式中PT表示一段(N幀)視頻的流暢度，PT越小說明視頻越流暢。
5.根據(jù)權(quán)利要求1所述的一種結(jié)合運動特征的視頻質(zhì)量評價方法，其特征在于計算一段視頻圖像的綜合評價指標值時，其計算公式為P=WS·PS+WT·1PT]]>式中P表示一段視頻圖像的質(zhì)量綜合評價值，PS為清晰度，PT為流暢度，WS和WT為清晰度和流暢度在綜合評價值中的權(quán)重。
全文摘要
一種結(jié)合運動特征的視頻質(zhì)量評價方法屬計算機數(shù)字視頻處理領域。其評價方法是結(jié)合視頻圖像序列的運動特征,并考慮了人眼視覺特性,將視頻的時間域特性和空間域特性有機結(jié)合起來的綜合評價方法。該方法提出了運動劇烈程度的描述方法,并在此基礎上提出了視頻清晰度和流暢度的度量方法,結(jié)合清晰度和流暢度給出綜合評價結(jié)果。其方法依次為計算機從視頻采集卡讀入視頻信號,并保存視頻采集間隔T;進入視頻圖像壓縮處理子程序;進入視頻圖像重建子程序;進入計算視頻序列運動劇烈程度子程序;進入視頻質(zhì)量綜合評價子程序后計算綜合評價結(jié)果;其結(jié)果可以和人眼從顯示器觀看的視覺感受相比較。依據(jù)實驗表明,其綜合評價結(jié)果與人眼的視覺感受基本一致。
文檔編號H04N5/91GK1359235SQ0210360
公開日2002年7月17日 申請日期2002年1月29日 優(yōu)先權(quán)日2002年1月29日
發(fā)明者沈蘭蓀, 田棟, 姚志恒 申請人:北京工業(yè)大學