基于視頻空間和時(shí)間信息的視頻質(zhì)量及壓縮碼率估計(jì)方法
【專(zhuān)利摘要】本發(fā)明提供一種基于視頻空間和時(shí)間信息的視頻質(zhì)量及壓縮碼率估計(jì)方法，其中：根據(jù)Sobel算子提取出視頻圖像幀的空間信息，用序列中空間信息最大的圖像幀的空間信息表示視頻序列的空間信息；根據(jù)視頻前后兩幀的亮度信息之差來(lái)表示視頻序列當(dāng)前幀的時(shí)間信息，用序列中時(shí)間信息最大的圖像幀的時(shí)間信息表示視頻序列的時(shí)間信息。用視頻的空間和時(shí)間信息作為視頻內(nèi)容的復(fù)雜程度，結(jié)合視頻編碼器類(lèi)型、視頻源分辨率、幀率來(lái)對(duì)壓縮編碼后的視頻進(jìn)行質(zhì)量預(yù)測(cè)評(píng)估；同時(shí)，也可以根據(jù)視頻序列的時(shí)間和空間信息預(yù)測(cè)達(dá)到要求等級(jí)的視頻質(zhì)量時(shí)所需要的壓縮碼率范圍。本發(fā)明充分考慮了視頻內(nèi)容對(duì)視頻質(zhì)量的影響，因而能夠獲得較高的預(yù)測(cè)性能。
【專(zhuān)利說(shuō)明】基于視頻空間和時(shí)間信息的視頻質(zhì)量及壓縮碼率估計(jì)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種視頻圖像處理【技術(shù)領(lǐng)域】中的視頻質(zhì)量評(píng)價(jià)方法，具體是一種基于視頻時(shí)間和空間信息，對(duì)壓縮編碼后的視頻進(jìn)行視頻質(zhì)量預(yù)測(cè)評(píng)估的方法，同時(shí)也是對(duì)達(dá)到要求視頻質(zhì)量的壓縮碼率范圍進(jìn)行預(yù)測(cè)的方法。
【背景技術(shù)】
[0002]由于各種視頻應(yīng)用和服務(wù)的快速推進(jìn)，對(duì)視頻質(zhì)量評(píng)估的需求不斷增長(zhǎng)。準(zhǔn)確而有效的視頻質(zhì)量評(píng)估對(duì)視頻編解碼器的發(fā)展、網(wǎng)絡(luò)協(xié)議的規(guī)劃、終端用戶(hù)的網(wǎng)絡(luò)質(zhì)量監(jiān)測(cè)和保證用戶(hù)QoE至關(guān)重要。運(yùn)用視頻質(zhì)量評(píng)價(jià)技術(shù)來(lái)對(duì)視頻服務(wù)，進(jìn)行準(zhǔn)確的質(zhì)量評(píng)估，進(jìn)而找出影響視頻質(zhì)量的因素，為提升視頻質(zhì)量乃至用戶(hù)體驗(yàn)質(zhì)量度具有重要意義。近年來(lái)，隨著視頻業(yè)務(wù)的跨越性發(fā)展，針對(duì)不同視頻服務(wù)、應(yīng)用場(chǎng)景的視頻質(zhì)量評(píng)估方法相繼被提出，VQEG也正在為相應(yīng)的標(biāo)準(zhǔn)化工作努力。
[0003]傳統(tǒng)的視頻質(zhì)量評(píng)估根據(jù)對(duì)視頻參考源的依賴(lài)程度分為全參考、部分參考和無(wú)參考評(píng)估方法。隨著大數(shù)據(jù)時(shí)代的帶來(lái)，在視頻質(zhì)量評(píng)估領(lǐng)域，部分參考和無(wú)參考評(píng)估方法將有著更大的發(fā)展空間。其中，基于視頻參數(shù)的視頻質(zhì)量評(píng)估模型就是部分參考方法的代表。這種參數(shù)模型在對(duì)視頻進(jìn)行簡(jiǎn)單的分析后，結(jié)合其他的視頻處理參數(shù)信息，對(duì)視頻質(zhì)量進(jìn)行評(píng)估?；谝唤M視頻參數(shù)，如編碼處理、視頻內(nèi)容和傳輸處理等，來(lái)預(yù)測(cè)視頻質(zhì)量的參數(shù)模型以一個(gè)或一組數(shù)學(xué)公式的形式對(duì)視頻質(zhì)量進(jìn)行預(yù)測(cè)。在視頻質(zhì)量預(yù)測(cè)過(guò)程中，由于不需要對(duì)視頻源數(shù)據(jù)進(jìn)行任何處理，視頻質(zhì)量評(píng)估的參數(shù)模型具有方便快捷等特點(diǎn)。
[0004]在視頻質(zhì)量評(píng)價(jià)領(lǐng)域，不考慮傳輸對(duì)視頻質(zhì)量帶來(lái)的損傷時(shí)，影響視頻質(zhì)量的最關(guān)鍵的因素是編碼器類(lèi)型、視頻分辨率、視頻幀率、壓縮碼率和視頻內(nèi)容。在之前提出的很多基于視頻參數(shù)的模型中，或多或少都涉及到了以上5個(gè)因素。如，Joskowicz等人在2013年 IEEE Transactions onBroadcasting (IEEE 廣播期干丨J )上發(fā)表的 “Towards a GeneralParametric Model for Perceptual Video Quality Estimation(面向視頻感知質(zhì)量評(píng)估的一般參數(shù)模型)”一文中對(duì)不同的視頻質(zhì)量參數(shù)評(píng)估模型進(jìn)行分析，最后提出了一個(gè)通用模型。
[0005]由于視頻內(nèi)容的描述方式不一致，因此，在視頻質(zhì)量評(píng)估方法研究中考慮視頻內(nèi)容的也從多種角度來(lái)描述。本發(fā)明以時(shí)間和空間信息的角度來(lái)描述視頻內(nèi)容,對(duì)視頻質(zhì)量進(jìn)行評(píng)估和預(yù)測(cè)。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于提供一種基于視頻空間和時(shí)間信息的視頻質(zhì)量及壓縮碼率估計(jì)方法，以時(shí)間和空間信息的角度來(lái)描述視頻內(nèi)容，對(duì)視頻質(zhì)量進(jìn)行評(píng)估和預(yù)測(cè)，可實(shí)現(xiàn)更為精確地估計(jì)。
[0007]本發(fā)明采用的技術(shù)方案如下:根據(jù)Sobel算子提取出視頻圖像幀的空間信息，用序列中空間信息最大的圖像幀的空間信息表示視頻序列的空間信息；根據(jù)視頻前后兩幀的亮度信息之差來(lái)表示視頻序列當(dāng)前幀的時(shí)間信息，用序列中時(shí)間信息最大的圖像幀的時(shí)間信息表示視頻序列的時(shí)間信息。用視頻的空間和時(shí)間信息作為視頻內(nèi)容的復(fù)雜程度，結(jié)合視頻編碼器類(lèi)型、視頻源分辨率、幀率來(lái)對(duì)壓縮編碼后的視頻進(jìn)行質(zhì)量預(yù)測(cè)評(píng)估；同時(shí)，也可以根據(jù)視頻序列的時(shí)間和空間信息預(yù)測(cè)達(dá)到要求等級(jí)的視頻質(zhì)量時(shí)所需要的壓縮碼率范圍。本發(fā)明充分考慮了視頻內(nèi)容對(duì)視頻質(zhì)量的影響，因而能夠獲得較高的預(yù)測(cè)性能。
[0008]具體的，本發(fā)明針對(duì)視頻業(yè)務(wù)在壓縮編碼時(shí)，結(jié)合ITU-T P.910中提出的視頻空間信息(SI)和時(shí)間信息(TI)(具體計(jì)算表達(dá)式如下)，對(duì)視頻壓縮編碼的碼率和視頻質(zhì)量之間的關(guān)系進(jìn)行評(píng)估和預(yù)測(cè)。
[0009]SI=max {std [Sobel (Fn) ]}, n=l,..N ；
[0010]TI=max {std [Fn-Fn-J}, n=l,..N ；
[0011]其中Fn是當(dāng)前幀的亮度信息，F(xiàn)lri表示前一幀的亮度信息，Sobel O表示經(jīng)典圖像處理中的Sobel算子，std []表示求標(biāo)準(zhǔn)差。
[0012]根據(jù)本發(fā)明的一個(gè)方面，提供一種基于視頻空間和時(shí)間信息的視頻質(zhì)量估計(jì)方法，該方法步驟如下:
[0013]步驟1，分別求出視頻源序列的空間信息(SI)和時(shí)間信息(TI)；
[0014]步驟2，根據(jù)視頻壓縮碼率，將步驟I中的視頻源序列的空間信息、視頻源序列的
時(shí)間信息結(jié)果帶入到以下視頻質(zhì)量預(yù)測(cè)模型中，對(duì)應(yīng)不同的編碼碼率，得到視頻質(zhì)量的預(yù)
測(cè)值，實(shí)現(xiàn)對(duì)壓縮編碼后的視頻的質(zhì)量評(píng)估；
【權(quán)利要求】
1.一種基于視頻空間信息和時(shí)間信息的視頻質(zhì)量預(yù)測(cè)方法，其特征在于所述方法包括如下步驟: 步驟1，按以下兩式分別求出視頻源序列的空間信息(SI)和時(shí)間信息(TI):
SI=max {std [Sobel (Fn) ]}, n=l,..N ；
TI=max {std [Fn-Fn_J}, n=l,..N ； 其中Fn是當(dāng)前幀的亮度信息，F(xiàn)lri表示前一幀的亮度信息，Sobel表示經(jīng)典圖像處理中的Sobel算子，std表示求標(biāo)準(zhǔn)差； 步驟2，將步驟I中的視頻源序列的空間信息、視頻源序列的時(shí)間信息結(jié)果帶入到以下視頻質(zhì)量預(yù)測(cè)模型中，對(duì)應(yīng)不同的編碼碼率，得到視頻質(zhì)量的預(yù)測(cè)值，實(shí)現(xiàn)對(duì)壓縮編碼后的視頻的質(zhì)量評(píng)估； 所述視頻質(zhì)量預(yù)測(cè)模型具體如下:
2.根據(jù)權(quán)利要求1所述的基于視頻空間信息和時(shí)間信息的視頻質(zhì)量預(yù)測(cè)方法，其特征在于，所述模型參數(shù)Cl，c2, c3, c4和a通過(guò)以下方法確定:在保證實(shí)際應(yīng)用中的編碼器類(lèi)型、視頻分辨率和幀率與主觀視頻質(zhì)量評(píng)價(jià)材料一致情況下，運(yùn)用主觀質(zhì)量評(píng)價(jià)結(jié)果對(duì)提出的數(shù)學(xué)模型進(jìn)行最小二乘回歸計(jì)算，求出針對(duì)特定應(yīng)用的模型參數(shù)。
3.一種基于視頻空間和時(shí)間信息的壓縮碼率估計(jì)方法，其特征在于:所述方法包括如下步驟: 步驟1，按以下兩式分別求出視頻源序列的空間信息(SI)和時(shí)間信息(TI):
SI=max {std [Sobel (Fn) ]}, n=l,..N ；
TI=max {std [Fn-Fn_J}, n=l,..N ； 其中Fn是當(dāng)前幀的亮度信息，F(xiàn)lri表示前一幀的亮度信息，Sobel表示經(jīng)典圖像處理中的Sobel算子，std表示求標(biāo)準(zhǔn)差； 步驟2，將步驟I中的視頻源序列的空間信息和時(shí)間信息結(jié)果帶入到視頻質(zhì)量預(yù)測(cè)模型的變形式中，求出壓縮碼率的范圍，實(shí)現(xiàn)對(duì)達(dá)到要求的視頻質(zhì)量進(jìn)行壓縮碼率范圍的估計(jì)； 所述視頻質(zhì)量預(yù)測(cè)模型的變形式如下:
4.根據(jù)權(quán)利要求3所述的基于視頻空間和時(shí)間信息的壓縮碼率估計(jì)方法，其特征在于，所述模型參數(shù)Cl，c2，c3, c4和a通過(guò)以下方法確定:在保證實(shí)際應(yīng)用中的編碼器類(lèi)型、視頻分辨率和幀率與主觀視頻質(zhì)量評(píng)價(jià)材料一致情況下，運(yùn)用主觀質(zhì)量評(píng)價(jià)結(jié)果對(duì)提出的數(shù)學(xué)模型進(jìn)行最小二乘回歸`計(jì)算，求出針對(duì)特定應(yīng)用的模型參數(shù)。
【文檔編號(hào)】H04N17/00GK103780901SQ201410029987
【公開(kāi)日】2014年5月7日 申請(qǐng)日期:2014年1月22日 優(yōu)先權(quán)日:2014年1月22日
【發(fā)明者】宋利, 張瑋, 楊小康 申請(qǐng)人:上海交通大學(xué)