專利名稱：：非介入式視頻質(zhì)量測(cè)量的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及視頻質(zhì)量量度(measure),具體地說，涉及在已經(jīng)利用壓縮算法對(duì)視頻信號(hào)進(jìn)行編碼的情形下的視頻質(zhì)量量度。
背景技術(shù)：
：當(dāng)將視頻信號(hào)從一個(gè)位置發(fā)送到另一個(gè)位置時(shí)，利用編碼算法對(duì)信號(hào)進(jìn)行編碼或壓縮是已知的，從而能夠利用比沒有編碼時(shí)所需要的帶寬更窄的帶寬來發(fā)送編碼后的信號(hào)。當(dāng)接收到時(shí)，編碼信號(hào)被解碼從而提取出原始信號(hào)。在許多編碼技術(shù)中進(jìn)行二維余弦變換，得到一系列其幅度被量化的變換系數(shù)。從而可以有效地分配帶寬，并且允許量化粒度即步長(zhǎng)變化。對(duì)視頻序列進(jìn)行編碼和解碼的處理會(huì)引起失真或者以別的方式降低信號(hào)質(zhì)量。測(cè)量失真程度的一種方法涉及到將觀者對(duì)失真視頻序列中可感知的失真程度的意見記錄下來，并且對(duì)結(jié)果進(jìn)行平均，從而獲得平均意見分值(MOS，MeanOpinionScore)。然而，這會(huì)是一個(gè)耗時(shí)的處理。結(jié)果，需要預(yù)測(cè)觀者在視頻序列中所感知到的質(zhì)量損失。雖然能夠通過參考原始序列而獲得作為編碼/解碼及傳送過程的結(jié)果的視頻質(zhì)量的惡化，但此方法通常不方便。
發(fā)明內(nèi)容根據(jù)本發(fā)明的一方面，提供一種針對(duì)表示多個(gè)幀的視頻信號(hào)生成質(zhì)量量度的方法，所述視頻信號(hào)具有原始形式；編碼形式，在該編碼形式中己經(jīng)利用壓縮算法對(duì)所述視頻信號(hào)進(jìn)行了編碼，該壓縮算法利用了可變量化器(quantiser)步長(zhǎng)，從而使編碼后的信號(hào)具有與其相關(guān)的量化器步長(zhǎng)參數(shù)；及解碼形式，在此解碼形式中已經(jīng)至少部分地將所述編碼視頻信號(hào)重新轉(zhuǎn)換為所述原始形式，該方法包括步驟a)產(chǎn)生第一質(zhì)量量度，該第一質(zhì)量量度為所述量化器步長(zhǎng)參數(shù)的函數(shù);b)產(chǎn)生第二質(zhì)量量度，該第二質(zhì)量量度為由所述解碼形式的視頻信號(hào)表示的至少一部分幀的空間復(fù)雜度的函數(shù)；及c)將所述第一量度與所述第二量度組合起來。因?yàn)榭梢詮乃鼍幋a視頻序列中可導(dǎo)出所述步長(zhǎng)，并且由于復(fù)雜度量度是從所述解碼信號(hào)中獲取的，因此減小了對(duì)原始信號(hào)參考的需求。另外，由于在許多編碼方案中，步長(zhǎng)作為參數(shù)而與視頻序列一起發(fā)送，可以方便地利用該參數(shù)來預(yù)測(cè)視頻質(zhì)量而不必重新計(jì)算該參數(shù)。重要的是已經(jīng)發(fā)現(xiàn)相對(duì)于根據(jù)步長(zhǎng)可靠性或單獨(dú)根據(jù)作為視頻質(zhì)量指示器的復(fù)雜度所能簡(jiǎn)單地期望到的可靠性相比，使用復(fù)雜度量度與步長(zhǎng)相結(jié)合更加改善了質(zhì)量量度的可靠性。根據(jù)本發(fā)明的另一方面，提供一種針對(duì)表示多個(gè)幀的視頻信號(hào)生成質(zhì)量量度的設(shè)備，所述視頻信號(hào)具有原始形式；編碼形式，在該編碼形式中已經(jīng)利用壓縮算法對(duì)所述視頻信號(hào)進(jìn)行了編碼，該壓縮算法利用了可變量化器步長(zhǎng)，從而使所述編碼信號(hào)具有與其相關(guān)的量化器步長(zhǎng)參數(shù)；及解碼形式，在此解碼形式中已經(jīng)至少部分地將編碼后的視頻信號(hào)重新轉(zhuǎn)換為所述原始形式，該設(shè)備包括a)產(chǎn)生第一質(zhì)量量度的裝置，該第一質(zhì)量量度為量化器步長(zhǎng)參數(shù)的函數(shù)；b)產(chǎn)生第二質(zhì)量量度的裝置，該第二質(zhì)量量度為由所述解碼形式的視頻信號(hào)表示的至少一部分幀的空間復(fù)雜度的函數(shù)；及c)將所述第一量度與所述第二量度組合起來的裝置，用于產(chǎn)生視頻信號(hào)的質(zhì)量量度?，F(xiàn)在通過僅參考附圖的示例來進(jìn)一步描述本發(fā)明，其中圖1為從功能性上示出用于估計(jì)視頻序列質(zhì)量的設(shè)備的框圖2示出如何針對(duì)圖像中的像素計(jì)算水平對(duì)比度量度；圖3示出如何針對(duì)圖2的圖像中的像素計(jì)算垂直對(duì)比度量度；圖4示出訓(xùn)練序列的AvPSNR與測(cè)量MOS的關(guān)系圖5示出訓(xùn)練序列的AvQP與測(cè)量MOS的關(guān)系圖；圖6示出訓(xùn)練序列的CS與測(cè)量MOS的關(guān)系圖7示出AvQP/CS模型的測(cè)量MOS與估計(jì)MOS的關(guān)系圖。具體實(shí)施例方式以下實(shí)施方式涉及到無參考的、基于解碼器的視頻質(zhì)量評(píng)估工具。用于該工具的算法可在視頻解碼器內(nèi)部運(yùn)行，其利用針對(duì)每個(gè)解碼宏塊的量化器步長(zhǎng)參數(shù)(通常為包含于輸入編碼視頻流中的變量)和來自每個(gè)解碼圖像的像素強(qiáng)度值(pixelintensityvalue)來對(duì)解碼視頻的主觀質(zhì)量進(jìn)行估計(jì)。對(duì)每個(gè)幀的解碼像素執(zhí)行滑動(dòng)窗口平均像素強(qiáng)度差值(像素對(duì)比度量度)計(jì)算，并且將作為結(jié)果的平均(TCF)用作視頻的噪聲掩蔽(mask)特性的量度。然后根據(jù)TFC參數(shù)和平均步長(zhǎng)參數(shù)的加權(quán)函數(shù)來作出質(zhì)量估計(jì)。通過對(duì)特征解碼序列的訓(xùn)練數(shù)據(jù)庫及先前獲取的針對(duì)該序列的主觀分值進(jìn)行多次回歸分析而預(yù)先確定加權(quán)函數(shù)。用來估計(jì)復(fù)雜度的、對(duì)一方面是步長(zhǎng)另一方面是滑動(dòng)窗口平均像素強(qiáng)度差值量度的組合的使用提供了良好的主觀質(zhì)量估計(jì)。所使用的測(cè)量處理原則上通常可應(yīng)用于這樣的視頻信號(hào)，該視頻信號(hào)利用了使用變換編碼且具有可變量化器步長(zhǎng)的壓縮技術(shù)來進(jìn)行編碼。然而，待描述的方案設(shè)計(jì)成用于根據(jù)H.264標(biāo)準(zhǔn)編碼的信號(hào)(雖然待描述的方案基于H.264視頻編解碼，它也應(yīng)用其他基于DCT的標(biāo)準(zhǔn)的編解碼，比如H.261、H.263、(基于幀的)MPEG-2等)。本測(cè)量方法屬于非介入式或"無參考式"，即它不需要使用原始信號(hào)的拷貝。該方法設(shè)計(jì)為在適當(dāng)?shù)慕獯a器內(nèi)使用，因?yàn)樗瑫r(shí)需要從編碼的比特流和解碼的視頻圖片(picture)中獲取參數(shù)。在圖1所示的設(shè)備中，在輸入端1處接收到輸入信號(hào)，并且輸入信號(hào)傳到視頻解碼器，該視頻解碼器進(jìn)行解碼并針對(duì)每個(gè)圖像輸出下列參數(shù)解碼圖像(D)水平解碼圖片像素大小(Px)垂直解碼圖片像素大小(PY)水平解碼圖片宏塊大小(Mx)垂直解碼圖片宏塊大小(my)量化器步長(zhǎng)參數(shù)集合(Q)。該設(shè)備中具有兩個(gè)分析路徑，用于計(jì)算圖片平均量化器步長(zhǎng)信號(hào)QPF(單元3)及圖片平均對(duì)比度量度CF(單元4)。然后單元5對(duì)信號(hào)QPF和CF進(jìn)行時(shí)間平均，從而分別得出信號(hào)TQPF和TCF。最后，這些信號(hào)在單元6內(nèi)組合起來，從而得出對(duì)解碼視頻序列D的主觀質(zhì)量的估計(jì)PMOS。元件3-6可由單獨(dú)的硬件元件實(shí)現(xiàn)，但更方便的實(shí)現(xiàn)方式是利用適當(dāng)?shù)木幊烫幚砥鲌?zhí)行所有這些階段。圖像平均值Q這使用了從解碼器輸出的量化器步長(zhǎng)信號(hào)Q。Q包含了當(dāng)前解碼圖片中的每個(gè)宏塊的一個(gè)量化器步長(zhǎng)參數(shù)值QP。對(duì)于H.264，量化器步長(zhǎng)參數(shù)值QP定義了用于對(duì)變換系數(shù)進(jìn)行編碼的線性量化器的間隔QSTEP。事實(shí)上，QP為預(yù)定義間隔表編索引，其中，QP中每增加6時(shí)QSTEP大小加倍。根據(jù)下式而在單元3中計(jì)算出圖片平均量化器參數(shù)QPF:<formula>formulaseeoriginaldocumentpage8</formula>其中Mx和MY分別是圖片中水平和垂直宏塊的數(shù)量，而Q(i,j)則是在位置(i，j)的宏塊的量化器步長(zhǎng)參數(shù)。計(jì)算對(duì)比度量度圖2示出如何在水平方向Px像素及垂直方向Py像素大小的圏片內(nèi)的位置(x，y)處計(jì)算像素P(x,y)的對(duì)比度量度。圖2示出對(duì)水平對(duì)比度量度進(jìn)行計(jì)算的分析。這里，相對(duì)于由陰影區(qū)域示出的像素P(x，y)計(jì)算對(duì)比度量度。選出大小相當(dāng)?shù)南噜弲^(qū)域(其中一個(gè)區(qū)域包含陰影像素)。每個(gè)區(qū)域由來自陰影像素所在的行的一組(優(yōu)選地為連續(xù)的)像素形成。對(duì)每個(gè)區(qū)域內(nèi)的像素強(qiáng)度進(jìn)行平均，然后根據(jù)下面的式(2)計(jì)算出平均值的絕對(duì)差，對(duì)比度量度即為該差值。如圖3所示，以類似的方式計(jì)算出垂直對(duì)比度量度。這里，選擇上組像素和下組像素。每個(gè)選出的像素位于同一列上，并且陰影像素相鄰于上組與下組之間的邊界。對(duì)上組和下組中的像素強(qiáng)度進(jìn)行平均，然后評(píng)估每組的平均強(qiáng)度的差，如下面的式(3)所示，該差的絕對(duì)值即為垂直對(duì)比度量度，即垂直方向上的對(duì)比度的量度。在本例子中，陰影像素包含在下組中。然而，對(duì)比度量度相關(guān)聯(lián)的像素的位置是任意的，只要其位于由正在被比較的像素組所共享的邊界附近即可。因此，為了獲得水平對(duì)比度量度，比較長(zhǎng)度為H的行部，而為了獲得垂直對(duì)比度量度，比較長(zhǎng)度為V的列部(columnportion)(長(zhǎng)度H和V可以相同但不是必需相同)。對(duì)比度量度與位置對(duì)于在一方面是行部而另一方面是列部的公共邊界為本地的像素相關(guān)。然后對(duì)如此計(jì)算出的水平對(duì)比度量度及垂直對(duì)比度量度進(jìn)行比較，并且將這兩個(gè)值(即在式(4)中設(shè)定的水平-垂直量度)中最大的一個(gè)與陰影像素相關(guān)聯(lián)，并存儲(chǔ)在存儲(chǔ)器中。對(duì)于圖片(在分別離圖片的垂直邊緣和水平邊緣的垂直距離V和水平距離H內(nèi))中的每個(gè)像素重復(fù)該過程，由此提供了對(duì)像素進(jìn)行的滑動(dòng)窗口分析，窗口大小為H或V。然后對(duì)圖片(幀)中的每個(gè)像素的水平-垂直量度進(jìn)行平均，從而得出綜合像素差量度CF(見式(5))。然后在多個(gè)圖片上對(duì)該與每個(gè)像素關(guān)聯(lián)的綜合量度進(jìn)行平均，從而獲得序列平均量度，即根據(jù)式(7)的時(shí)間平均量度TCF。對(duì)綜合量度(CF)進(jìn)行平均的圖片的數(shù)量將依賴于視頻序列的屬性及情景變化之間的時(shí)間，并且可以長(zhǎng)達(dá)數(shù)秒鐘。顯然，僅僅需要對(duì)圖片的一部分以這種方式進(jìn)行分析，尤其是當(dāng)量化步長(zhǎng)在整個(gè)圖像上變化。通過測(cè)量圖片中不同位置處的對(duì)比度并且取平均，就能獲得對(duì)圖片復(fù)雜度的簡(jiǎn)單量度。由于圖片中的復(fù)雜度能夠掩蔽失真，并且由此使得觀察者相信對(duì)于給定的失真，圖片具有較好的質(zhì)量，圖片中的復(fù)雜程度能夠在一定程度上用來預(yù)測(cè)觀者將與視頻信號(hào)關(guān)聯(lián)起來的主觀質(zhì)量水平。圍繞陰影像素的各區(qū)域的寬度(H)或高度(V)與觀賞者將會(huì)注意到復(fù)雜度的細(xì)節(jié)層次(detaillevel)有關(guān)。因此，如果從遠(yuǎn)處觀察圖像，則將H和V選擇為比想象到的觀者更靠近圖片的情形更大。因?yàn)橐话愕卣f，觀者會(huì)感覺到舒適的圖片距離依賴于圖片大小，H和V的大小也會(huì)依賴于像素大小和像素維數(shù)(更大的顯示器典型地具有更大的像素而不是具有更多的像素，盡管對(duì)于給定的像素密度，顯示器尺寸也可能是一個(gè)因素)。典型地，可以預(yù)料到H和V中的每一個(gè)都在對(duì)應(yīng)圖片長(zhǎng)寬尺寸的0.5c/。到2%之間。例如，水平值可以為4*100/720=0.56%,其中水平方向存在720個(gè)像素，并且每組平均包含4個(gè)像素，而在垂直方向的值可以為4*100/576=0.69%，其中垂直方向存在576個(gè)像素。可以參考下式而對(duì)計(jì)算對(duì)比度量度的分析描述如下該計(jì)算利用解碼視頻圖片D，并確定每個(gè)圖片的圖片平均復(fù)雜度量度CF。通過首先對(duì)解碼視頻圖片執(zhí)行滑動(dòng)窗口像素分析來確定CF。在示出對(duì)大小在水平方向上為Px而垂直方向上為Py的圈片內(nèi)的像素p(x，y)進(jìn)行水平分析的圖2中，根據(jù)下式計(jì)算出解碼序列D的第n圖片的水平對(duì)比度量度Ch:<formula>formulaseeoriginaldocumentpage10</formula>H是水平像素分析的窗口長(zhǎng)度。Ch(n,x，y)是解碼視頻序列D的第n圖片的像素p(x，y)的水平對(duì)比度參數(shù)。D(n，x，y)是解碼視頻序列D的第n圖片的像素p(x,y)的強(qiáng)度。在示出對(duì)應(yīng)垂直像素分析的圖3中，根據(jù)下式計(jì)算出垂直對(duì)比度量度Cv:<formula>formulaseeoriginaldocumentpage10</formula>(3)這里，V是垂直像素分析的窗口長(zhǎng)度。然后可以將CA和Cv組合起來，從而得出水平-垂直量度c&，其中<formula>formulaseeoriginaldocumentpage10</formula>這里應(yīng)當(dāng)注意對(duì)于某些應(yīng)用，將水平分量與垂直分量分開從而能夠在對(duì)主觀質(zhì)量(單元6)的估計(jì)中將不同的加權(quán)參數(shù)應(yīng)用于水平分量與垂直分量中的每一個(gè)。最后，根據(jù)下式根據(jù)對(duì)比度值Ch、Cv及/或Chv計(jì)算出綜合圖片平均像素差量度CF:<formula>formulaseeoriginaldocumentpage11</formula>時(shí)間平均這利用圖片平均參數(shù)QPF和CF，并根據(jù)下式確定對(duì)應(yīng)的時(shí)間平均參數(shù)TQPF禾口TCF:<formula>formulaseeoriginaldocumentpage11</formula>)<formula>formulaseeoriginaldocumentpage11</formula>應(yīng)當(dāng)在需要MOS估計(jì)的時(shí)間間隔上執(zhí)行參數(shù)的平均化。這可以是產(chǎn)生單對(duì)TQPF和TCF參數(shù)的單個(gè)分析階段，或者可以是產(chǎn)生一系列參數(shù)的一系列間隔?？梢酝ㄟ^CF和QPF時(shí)間序列在時(shí)間上"滑動(dòng)"分析窗口(典型地具有一秒鐘長(zhǎng)度量級(jí)的窗口間隔)而實(shí)現(xiàn)連續(xù)分析。估計(jì)MOS這利用時(shí)間平均參數(shù)TQPF和TCF，從而對(duì)解碼序列D的對(duì)應(yīng)時(shí)間間隔的主觀測(cè)量平均意見分值進(jìn)行PMOS估計(jì)。TQPF有助于估計(jì)解碼序列中存在的噪聲，而TCF有助于估計(jì)噪聲可能由視頻序列的內(nèi)容所屏蔽的程度。根據(jù)下式由參數(shù)的組合來計(jì)算出PMOS:<formula>formulaseeoriginaldocumentpage11</formula>(8)Ft和F2為AvQp和CS中的適當(dāng)線性函數(shù)或非線性函數(shù)。Kc為常數(shù)。PMOS為預(yù)測(cè)平均意見分值，且在1-5的范圍內(nèi)，其中5即是質(zhì)量極好，而l即為質(zhì)量低劣。F卜F2和Ko可以通過許多商業(yè)統(tǒng)計(jì)軟件包中可用的適當(dāng)回歸分析(比如線性、多項(xiàng)式或?qū)?shù))來確定。這種分析需要具有已知主觀質(zhì)量的一組訓(xùn)練序列。然后以MOS為因變量而TQPF和TCF為自變量通過回歸分析可以導(dǎo)出由F,、F2和Ko定義的模型。作為結(jié)果的模型典型地用來預(yù)測(cè)與訓(xùn)練中使用的序列類似地已經(jīng)經(jīng)受惡化(編解碼類型和壓縮率)的測(cè)試序列的質(zhì)量。然而，視頻內(nèi)容可能不同。對(duì)于全分辨率廣播材料的H.264壓縮，發(fā)現(xiàn)適當(dāng)?shù)木€性模型為尸M)S=-0.135*775^+0.04*CS+7,442(9>然后將根據(jù)下式對(duì)作為結(jié)果的估計(jì)進(jìn)行限定以下對(duì)上述實(shí)施方式的多個(gè)方面進(jìn)行了另外討論。##系已經(jīng)顯示出在分析時(shí)同時(shí)利用源視頻序列和惡化視頻序列的全參考視頻質(zhì)量測(cè)量工具能夠?qū)V播視頻的視頻質(zhì)量進(jìn)行高度精確的預(yù)測(cè)。未獲取預(yù)削弱"參考"序列的無參考(no-reference)設(shè)計(jì)技術(shù)是一項(xiàng)更為艱難的提議。無參考分析的另一種形式可以通過獲取位于網(wǎng)絡(luò)中的解碼器內(nèi)或其它位置的編碼比特流而實(shí)現(xiàn)。這種"比特流"分析的好處在于容易獲得幀緩沖器分析無法獲得的編碼參數(shù)，比如量化器步長(zhǎng)、運(yùn)動(dòng)向量和塊統(tǒng)計(jì)。比特流分析的范圍從不具有逆變或運(yùn)動(dòng)預(yù)測(cè)宏塊重構(gòu)的解碼參數(shù)的計(jì)算性輕分析(lightanalysis)到視頻序列的全解碼。PSNR是一種在視頻編碼器和全參考視頻質(zhì)量測(cè)量工具中進(jìn)行主觀視頻質(zhì)量估計(jì)時(shí)使用的量度。在無參考工具中，不能直接計(jì)算出PSNR，但可以對(duì)其進(jìn)行估計(jì)。這里給出一種無參考視頻質(zhì)量預(yù)測(cè)技術(shù)，該技術(shù)在比全參考PSNR量度更加優(yōu)越的H.264/AVC解碼器內(nèi)運(yùn)行。首先，利用PSNR量度對(duì)多個(gè)H.264編碼序列對(duì)基準(zhǔn)質(zhì)量估計(jì)給出結(jié)果。其次，考慮到比特流技術(shù)，該比特流技術(shù)使用平均量化器步長(zhǎng)(AvQP)的量度來估計(jì)主觀質(zhì)量。已經(jīng)顯示這種比特流無參考量度不是僅僅作為PSNR的逼近值，而是可以更加優(yōu)于用于質(zhì)量估計(jì)的全參考PSNR量度。最后引入噪音掩蔽(CS)量度，其進(jìn)一步增強(qiáng)了基于PSNR和量化器步長(zhǎng)的質(zhì)量估計(jì)技術(shù)的性能。該量度基于解碼圖像序列的像素差分析，并在視頻解碼器內(nèi)計(jì)算出。已經(jīng)顯示基于作為結(jié)果的解碼器的無參考模型實(shí)現(xiàn)了測(cè)量主觀分值與估計(jì)主觀分值之間的0.91以上的相關(guān)度。視頻測(cè)試材料-訓(xùn)練和測(cè)試數(shù)據(jù)庫用來訓(xùn)練和測(cè)試技術(shù)的視頻數(shù)據(jù)庫由均為625廣播格式的18個(gè)不同的8-秒序列。訓(xùn)練組由9個(gè)序列組成，并且序列中的6個(gè)來自VQEG1數(shù)據(jù)庫，而剩余的3個(gè)則來自其它地方。測(cè)試組包含9個(gè)序列。VQEG1內(nèi)容已為人知并且可以從VQEG網(wǎng)站下載。由于質(zhì)量參數(shù)是基于在每個(gè)序列持續(xù)時(shí)間上的平均，選擇具有一致的運(yùn)動(dòng)和細(xì)節(jié)屬性的內(nèi)容是重要的。序列的細(xì)節(jié)如表l所示。表1訓(xùn)練和測(cè)試序列<table>tableseeoriginaldocumentpage13</column></row><table>視頻測(cè)試材料-編碼利用對(duì)每個(gè)訓(xùn)練和測(cè)試序列設(shè)定相同的編碼器選項(xiàng)的H.264編碼器JM7.5c對(duì)所有的訓(xùn)練和測(cè)試序列進(jìn)行編碼。編碼器設(shè)定的鍵值為I、P、B、P、B、P、...幀模式；速度控制禁用；量化參數(shù)(QP)固定；適應(yīng)性幀/字節(jié)編碼啟用；循環(huán)濾波禁用。利用許多不同的可能的編碼器設(shè)定，決定保持上述設(shè)定恒定，而僅僅在每個(gè)源文件的測(cè)試之間改變量化器步長(zhǎng)參數(shù)。針對(duì)訓(xùn)練組和測(cè)試組利用12個(gè)被試者來執(zhí)行正式的單個(gè)刺激主觀測(cè)試。平均MOS結(jié)果如表2(訓(xùn)練組)和表3(測(cè)試組)所示。表2訓(xùn)練序列的主觀分值<table>tableseeoriginaldocumentpage13</column></row><table>表3測(cè)試序列的主觀分值<table>tableseeoriginaldocumentpage14</column></row><table>^^量仿:A麟澄信凝^:峰值信噪比(PSNR)是一種經(jīng)常使用的全參考質(zhì)量量度，并且是一種對(duì)許多視頻編碼器優(yōu)化的關(guān)鍵量度。利用正確對(duì)準(zhǔn)的參考和惡化的序列，PSNR是一種用于計(jì)算的直接量度，并且可以根據(jù)下式計(jì)算出時(shí)間平均量度(AvPSNR):^v/\SW=(I/A0§(101ogl0(25522(J(",A力-rf("，x,力)2))其中s(n，x,y)和d(n，x,y)為來自源s和尺寸為X個(gè)(f0...X-l)水平像素和Y個(gè)(y二O...Y-l)垂直像素惡化序列d的N個(gè)幀中的第n幀內(nèi)的對(duì)應(yīng)像素強(qiáng)度值(0...255)。該式用來計(jì)算9個(gè)訓(xùn)練序列中的每一個(gè)的8秒鐘內(nèi)的平均PSNR。平均PSNR相對(duì)于平均測(cè)量MOS的圖表如圖4所示。當(dāng)考慮25dB的平均PSNR處的MOS分值時(shí)，解釋了數(shù)據(jù)的內(nèi)容依賴特性。數(shù)據(jù)中的3個(gè)MOS-點(diǎn)范圍顯示了使用PSNR來估計(jì)感知質(zhì)量的潛在不精確性。多項(xiàng)式回歸分析產(chǎn)生了MOS與AvPSNR數(shù)據(jù)之間的0.78的相關(guān)度及0.715的RMS余差(residual)。廣量仿,蘆眾器,長(zhǎng)對(duì)于H.264，量化器參數(shù)QP定義了用于對(duì)變換系數(shù)進(jìn)行編碼的線性量化器的間隔QSTEP。QP為預(yù)定間隔表編索引，在表中，QP每增加6時(shí)QSTEP的大小加倍。對(duì)于訓(xùn)練組中的每次測(cè)試，對(duì)于P和I宏塊，QP固定為20、28、32、36、40或44中的一個(gè)值，而對(duì)于B宏塊QP則大2。圖5展示了平均QP相對(duì)于9個(gè)訓(xùn)練序列中的每一個(gè)的平均MOS的圖表。MOS與平均QP之間的多項(xiàng)式回歸分析產(chǎn)生了0.924的相關(guān)度及0.424的RMS余差。同時(shí)顯然在多個(gè)QP值處的期望MOS范圍遠(yuǎn)小于AvPSNR的MOS。根據(jù)量化器步長(zhǎng)對(duì)PSNR進(jìn)行的一次估計(jì)依賴于量化范圍內(nèi)的誤差值均勻分布的近似。然而，當(dāng)大多數(shù)系數(shù)"中心裁剪(centre-dipped)"到0時(shí)，該近似并不適用于大步長(zhǎng)的低比特率的情況。有些令人吃驚的是，結(jié)果示出與PSNR相比，AvQP可能是更好的主觀分值預(yù)測(cè)器。這里應(yīng)當(dāng)注意QP與H.264內(nèi)的實(shí)際量化器步長(zhǎng)之間的非線性映射可能一定程度上使多項(xiàng)式分析變得容易的可能性己經(jīng)減小，結(jié)果與針對(duì)實(shí)際步長(zhǎng)對(duì)MOS達(dá)到的結(jié)果類似。#^^^T^r_#^r-i^^"^:^r:失真掩蔽是影響編碼視頻序列中的失真感知度的重要因素。由于人類的感知機(jī)制無法在相同的頻譜、時(shí)間或空間位置內(nèi)區(qū)別信號(hào)分量與噪音分量，因此發(fā)生了這種屏蔽。在設(shè)計(jì)視頻編碼器時(shí)這種考慮至關(guān)重要，其中比特位的有效分配是基本的。該領(lǐng)域內(nèi)的研究已經(jīng)同時(shí)在變換域和像素域內(nèi)展開。這里，僅僅考慮像素域。像z素對(duì)^^^^^^^-像z素差澄對(duì)^^^^fi^:這里，將通過像素域內(nèi)的分析而確定圖像序列的掩蔽屬性的構(gòu)思應(yīng)用于視頻質(zhì)量估計(jì)。實(shí)驗(yàn)揭示通過滑動(dòng)窗口像素差分析計(jì)算的對(duì)比度量度表現(xiàn)特別良好。根據(jù)上式(2)和(3)計(jì)算出像素差值對(duì)比度量度Ch和Cv，其中H是用于水平像素分析的窗口長(zhǎng)度，而V是用于垂直像素分析的窗口長(zhǎng)度。然后可以根據(jù)式(4)將Q和Cv組合起來得出水平-垂直量度Chv。然后根據(jù)式(5)可將Chv用來計(jì)算幀的綜合像素差量度CF，然后又計(jì)算出上式(6)中定義的序列平均量度CS。利用H=4及V=2計(jì)算出每個(gè)解碼訓(xùn)練序列的序列平均量度CS(以上稱為TCF)，并且相對(duì)于平均量化器步長(zhǎng)而繪制出的結(jié)果如圖6所示。對(duì)于圖4中的PSNR對(duì)MOS結(jié)果，圖6中的結(jié)果顯示出調(diào)度顯著的相似性，對(duì)于圖5中的AvQstep對(duì)MOS結(jié)果則相似程度要差一些。"曰歷"和"巖石"序列具有最高CS值，并且在PSNR和AvQstep的很大范圍上具有最高M(jìn)OS值。類似地，"獨(dú)木舟"和"油炸食物"序列具有最低CS值和最低MOS數(shù)值。因此，根據(jù)解碼像素計(jì)算出的CS量度看起來與序列的噪音掩蔽屬性有關(guān)。對(duì)于給定的PSNR，較高的CS意味著較高的掩蔽性以及更高的MOS。無參考質(zhì)量估計(jì)中的CS量度的潛在使用通過將其包含在下述多個(gè)回歸分析中而得到測(cè)試。結(jié)果首先，通過PSNR(自變量)利用在許多商業(yè)統(tǒng)計(jì)軟件包中可用的標(biāo)準(zhǔn)多項(xiàng)式/對(duì)數(shù)回歸分析而對(duì)訓(xùn)練組的平均MOS(因變量)進(jìn)行建銜14]。然后將作為結(jié)果的模型用于該測(cè)試序列。然后通過將AvQP用作自變量而重復(fù)該過程。該過程在每種情況中被重復(fù)，并且以CS作為附加自變量，并且作為結(jié)果的估計(jì)MOS與測(cè)量MOS之間的相關(guān)度及RMS余差如表4所示。表4估^卜MOS與測(cè)量MOS之間的相關(guān)度及RMS余差。<table>tableseeoriginaldocumentpage16</column></row><table>結(jié)果顯示將序列平均對(duì)比度量度(CS)包含在基于PSNR或AvQP的MOS估計(jì)模型中增加了訓(xùn)練數(shù)據(jù)組和測(cè)量數(shù)據(jù)組的性能。利用了AvQP及CS參數(shù)的模型性能特別良好，從而既針對(duì)訓(xùn)練序列實(shí)現(xiàn)了超過0.9的相關(guān)度(0.95)，也對(duì)測(cè)試序列實(shí)現(xiàn)了超過0.9的相關(guān)度(0.916)。對(duì)于AvQP/CS模型的單獨(dú)訓(xùn)練和測(cè)試結(jié)果以分散繪圖(scatterplot)的形式示于圖7中。祭論己經(jīng)給出了一種用于在H.264視頻解碼器中估計(jì)主觀視頻質(zhì)量的雙參數(shù)模型。對(duì)應(yīng)于在視頻序列上平均化的H.264量化器步長(zhǎng)指數(shù)的AvQP參數(shù)有助于對(duì)噪音的估計(jì)。利用對(duì)解碼像素進(jìn)行滑動(dòng)窗口差值分析而計(jì)算出的CS參數(shù)增加了對(duì)視頻內(nèi)容噪聲掩蔽屬性的指示。已經(jīng)顯示出一起使用這些參數(shù)時(shí)，可在解碼器中獲得驚人地精確的主觀質(zhì)量估計(jì)。將8秒鐘的訓(xùn)練和測(cè)試序列選出，以便減小圖像屬性在時(shí)間上的顯著變化。目的是使用具有一致惡化屬性的解碼序列，從而使測(cè)量MOS分值不會(huì)不適當(dāng)?shù)赝ㄟ^短暫和明顯失真而進(jìn)行加權(quán)。通過這種方式，具有序列平均參數(shù)的MOS分值建模變?yōu)楦屿`敏和精確的處理。在式(5)中定義的對(duì)比度量度CF取決于在整個(gè)修剪圖像的每個(gè)像素上正在執(zhí)行的平均化。應(yīng)當(dāng)認(rèn)識(shí)到在空間-時(shí)間塊上對(duì)CF進(jìn)行分析可能是有利的。權(quán)利要求1、一種針對(duì)表示多個(gè)幀的視頻信號(hào)生成質(zhì)量量度的方法，所述視頻信號(hào)具有原始形式；編碼形式，在所述編碼形式中已經(jīng)利用壓縮算法對(duì)所述視頻信號(hào)進(jìn)行了編碼，所述壓縮算法利用了可變量化器步長(zhǎng)，從而使所述編碼信號(hào)具有與其相關(guān)的量化器步長(zhǎng)參數(shù)；及解碼形式，在此解碼形式中已經(jīng)至少部分地將所述編碼視頻信號(hào)重新轉(zhuǎn)換為所述原始形式，所述方法包括步驟a)產(chǎn)生第一質(zhì)量量度，所述第一質(zhì)量量度為所述量化器步長(zhǎng)參數(shù)的函數(shù)；b)產(chǎn)生第二質(zhì)量量度，所述第二質(zhì)量量度為由所述解碼形式的視頻信號(hào)表示的至少一部分幀的空間復(fù)雜度的函數(shù)；以及c)將所述第一量度與第二量度組合起來。2、根據(jù)權(quán)利要求1所述的方法，其中，通過在幀內(nèi)的多個(gè)位置確定局部對(duì)比度量度來測(cè)量所述空間復(fù)雜度。3、根據(jù)權(quán)利要求2所述的方法，其中，通過對(duì)幀的相鄰區(qū)域的強(qiáng)度執(zhí)行比較功能而獲得各個(gè)局部對(duì)比度量度。4、根據(jù)權(quán)利要求3所述的方法，其中，每個(gè)幀包括多個(gè)像素，且對(duì)于給定幀的至少一部分像素，對(duì)像素附近的相鄰區(qū)域執(zhí)行所述對(duì)比功能，從而獲得相關(guān)于該像素的比較值。5、根據(jù)以上權(quán)利要求中任何一項(xiàng)所述的方法，其中，所述相鄰區(qū)域是細(xì)長(zhǎng)形的。6、根據(jù)權(quán)利要求5所述的方法，其中，每個(gè)幀包括以柵格形式排列的多個(gè)像素，所述柵格具有多個(gè)行和多個(gè)列，并且每個(gè)細(xì)長(zhǎng)區(qū)域由沿著行部或列部而排列的多個(gè)像素形成。7、根據(jù)以上權(quán)利要求中任何一項(xiàng)所述的方法，其中，對(duì)沿第一方向延伸的相鄰區(qū)域?qū)M(jìn)行比較。8、根據(jù)權(quán)利要求7所述的方法，其中，對(duì)沿第二方向延伸的相鄰區(qū)域?qū)M(jìn)行比較。9、根據(jù)權(quán)利要求8所述的方法，其中，所述第一方向和所述第二方向互相垂直。10、根據(jù)權(quán)利要求3到9中任何一項(xiàng)所述的方法，其中，所述比較功能包括對(duì)相鄰區(qū)域?qū)Φ膹?qiáng)度差進(jìn)行評(píng)估。11、根據(jù)權(quán)利要求3到10中任何一項(xiàng)所述的方法，其中，對(duì)于像素附近的相鄰區(qū)域，所述比較功能包括對(duì)沿第一方向延伸的第一相鄰區(qū)域?qū)Φ膹?qiáng)度差進(jìn)行評(píng)估，并且對(duì)沿第二方向延伸的相鄰區(qū)域?qū)Φ膹?qiáng)度差進(jìn)行評(píng)估。12、根據(jù)權(quán)利要求ll所述的方法，其中，所述比較功能還包括選擇所述第一方向和所述第二方向上的差中較大的一個(gè)。13、根據(jù)以上權(quán)利要求中任何一項(xiàng)所述的方法，其中，每個(gè)所述幀包括多個(gè)像素，并且對(duì)于給定幀內(nèi)的至少一部分像素，根據(jù)在第一方向上在給定像素處的強(qiáng)度梯度和在第二方向上在所述像素處的強(qiáng)度梯度的量度而確定所述空間復(fù)雜度，所述第一方向和第二方向優(yōu)選地互相垂直。14、根據(jù)權(quán)利要求13所述的方法，其中，對(duì)于給定像素，利用在所述第一方向上和所述第二方向上在該像素處的所述梯度中較大的一個(gè)而計(jì)算出所述空間復(fù)雜度。15、根據(jù)權(quán)利要求13或14所述的方法，其中，所述強(qiáng)度梯度的量度與幀的相鄰區(qū)域的強(qiáng)度差線性相關(guān)。16、根據(jù)以上權(quán)利要求中任何一項(xiàng)所述的方法，其中，相鄰區(qū)域的強(qiáng)度根據(jù)該區(qū)域內(nèi)像素的平均強(qiáng)度而獲得。17、根據(jù)權(quán)利要求2到16中任一項(xiàng)所述的方法，其中，利用在幀內(nèi)不同位置獲取的局部對(duì)比度量度的平均而計(jì)算出幀的空間復(fù)雜度。18、根據(jù)權(quán)利要求2到16中任一項(xiàng)所述的方法，其中，對(duì)多個(gè)幀的所述空間復(fù)雜度求平均。19、根據(jù)以上權(quán)利要求中任何一項(xiàng)所述的方法，其中，通過對(duì)幀內(nèi)的相鄰區(qū)域執(zhí)行比較功能而獲得所述空間復(fù)雜度，所述相鄰區(qū)域是細(xì)長(zhǎng)的，使得每個(gè)相鄰區(qū)域具有長(zhǎng)軸和短軸，并且每個(gè)細(xì)長(zhǎng)區(qū)域的長(zhǎng)軸為所述幀在所述長(zhǎng)軸方向上的尺寸的0.5%到2%。20、根據(jù)權(quán)利要求19所述的方法，其中，每個(gè)細(xì)長(zhǎng)區(qū)域的所述短軸對(duì)應(yīng)于單個(gè)像素的寬度。21、一種針對(duì)表示多個(gè)幀的視頻信號(hào)生成質(zhì)量量度的設(shè)備，所述視頻信號(hào)具有原始形式；編碼形式，在所述編碼形式中已經(jīng)利用壓縮算法對(duì)所述視頻信號(hào)進(jìn)行了編碼，所述壓縮算法利用了可變量化器步長(zhǎng)，從而使所述編碼信號(hào)具有與其相關(guān)的量化器步長(zhǎng)參數(shù)；及解碼形式，在此解碼形式中己經(jīng)至少部分地將所述編碼視頻信號(hào)重新轉(zhuǎn)換為所述原始形式，所述設(shè)備包括a)產(chǎn)生第一質(zhì)量量度的裝置，所述第一質(zhì)量量度為所述量化器步長(zhǎng)參數(shù)的函數(shù)；b)產(chǎn)生第二質(zhì)量量度的裝置，所述第二質(zhì)量量度為由解碼形式的視頻信號(hào)表示的至少一部分幀的空間復(fù)雜度的函數(shù)；以及c)將所述第一量度與第二量度組合起來、產(chǎn)生所述視頻信號(hào)的質(zhì)量量度的裝置。全文摘要本申請(qǐng)涉及一種非介入式視頻質(zhì)量測(cè)量方法，具體地說，其中視頻信號(hào)具有原始形式；編碼形式，在該形式中已經(jīng)利用壓縮算法對(duì)該視頻信號(hào)進(jìn)行了編碼，該壓縮算法利用了可變量化器步長(zhǎng)，從而使所述編碼信號(hào)具有與其相關(guān)的量化器步長(zhǎng)參數(shù)；及解碼形式，在此形式中已經(jīng)至少部分地將所述編碼視頻信號(hào)重新轉(zhuǎn)換為所述原始形式，該方法包括a)產(chǎn)生第一質(zhì)量量度，該第一質(zhì)量量度為所述量化器步長(zhǎng)參數(shù)的函數(shù)；b)產(chǎn)生第二質(zhì)量量度，該第二質(zhì)量量度為由所述解碼形式的該視頻信號(hào)表示的至少一部分幀的空間復(fù)雜度的函數(shù)；及c)將所述第一量度與第二量度組合起來，以獲得對(duì)解碼視頻的主觀視頻質(zhì)量的估計(jì)。文檔編號(hào)H04N7/26GK101356827SQ200680050424公開日2009年1月28日申請(qǐng)日期2006年11月7日優(yōu)先權(quán)日2005年12月5日發(fā)明者安德魯·戈登·戴維斯申請(qǐng)人:英國電訊有限公司