專利名稱：一種基于插入宏塊亮度特殊值標(biāo)記視頻幀圖像序號(hào)的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種標(biāo)記視頻幀圖像序號(hào)的方法，尤其是涉及一種基于插入宏塊亮度特殊值標(biāo)記視頻幀圖像序號(hào)的方法。
背景技術(shù)：
在視頻圖像有參考質(zhì)量評(píng)價(jià)方法中，需要使用原始參考圖像和傳輸解碼播放圖像來計(jì)算兩者差異，獲得具體客觀質(zhì)量評(píng)價(jià)指標(biāo)?？陀^質(zhì)量評(píng)價(jià)具有操作簡(jiǎn)單、成本低、易于實(shí)現(xiàn)特點(diǎn)，它已經(jīng)成為視頻圖像質(zhì)量評(píng)價(jià)研究的重點(diǎn)。目前，在視頻圖像有參考評(píng)價(jià)方法中，廣泛采用均方誤差MSE、峰值信噪比PSNR和結(jié)構(gòu)相似SSIM等方法。而這些方法都需要使用原始參考幀圖像和傳輸解碼后的播放圖像來計(jì)算相關(guān)參數(shù)。這些在有關(guān)視頻圖像有參考質(zhì)量評(píng)價(jià)方法中的均有論述，由于經(jīng)過網(wǎng)絡(luò)傳輸和解碼播放，解碼視頻某一幀的數(shù)據(jù)對(duì)應(yīng)哪一幀視頻圖像作為其參考需要有一種方法來計(jì)算和確定，對(duì)于實(shí)時(shí)傳輸視頻應(yīng)用可能會(huì)出現(xiàn)丟幀、跳幀和靜幀等現(xiàn)象，為了確定這種圖像序號(hào)對(duì)應(yīng)關(guān)系，有效進(jìn)行有參考客觀質(zhì)量評(píng)價(jià)，視頻幀號(hào)的標(biāo)記對(duì)視頻圖像有參考質(zhì)量評(píng)價(jià)是十分必要的。目前視頻幀號(hào)標(biāo)識(shí)法主要是語義標(biāo)識(shí)法。語義標(biāo)識(shí)法就是利用各種編碼國(guó)際標(biāo)準(zhǔn)所規(guī)定的視頻流中的語義來標(biāo)識(shí)幀號(hào)。語義標(biāo)識(shí)幀號(hào)分為直接標(biāo)識(shí)幀號(hào)和間接標(biāo)識(shí)幀號(hào)， H. 263 中的TR(Temporal Reference)屬于直接標(biāo)識(shí)幀號(hào),MPEG-4 中的 time_code, modulo_ time_base, vopjimejncrement屬于間接標(biāo)識(shí)幀號(hào)。將這些語義作為視頻流的頭部信息同視頻數(shù)據(jù)一起編碼，而解碼之后這些語義就會(huì)被丟掉而無法獲得，因此從輸出視頻流中式無法得到幀號(hào)的，必須先對(duì)系統(tǒng)內(nèi)部的編碼視頻流解碼獲取這些語義信息之后才能得到幀號(hào)。語義標(biāo)識(shí)法雖然能精確地標(biāo)識(shí)視頻幀號(hào)，但由于它需要得到視頻流頭部被編碼的語義信息，因此就要求測(cè)試方具有對(duì)待測(cè)的視頻流進(jìn)行解碼的權(quán)限，而這個(gè)條件在很多情況下都難以滿足，大多數(shù)情況下，對(duì)視頻流進(jìn)行測(cè)試時(shí)，被測(cè)視頻其內(nèi)部程序是保密的，無法得到視頻流頭部被編碼的的語義信息。此時(shí)，語義標(biāo)識(shí)法就不適用。

發(fā)明內(nèi)容
本發(fā)明主要是解決現(xiàn)有技術(shù)所存在的語義標(biāo)識(shí)法雖然能精確地標(biāo)識(shí)視頻幀號(hào)，但由于它需要得到視頻流頭部被編碼的語義信息，因此就要求測(cè)試方具有對(duì)待測(cè)的視頻流進(jìn)行解碼的權(quán)限，而這個(gè)條件在很多情況下都難以滿足，大多數(shù)情況下，對(duì)視頻流進(jìn)行測(cè)試時(shí)，被測(cè)視頻其內(nèi)部程序是保密的，無法得到視頻流頭部被編碼的的語義信息等的技術(shù)問題；提供了一種方法簡(jiǎn)單、執(zhí)行效率高，適用于實(shí)時(shí)視屏通信應(yīng)用模式下的視頻質(zhì)量有參考質(zhì)量評(píng)價(jià)，可有效應(yīng)用到web視頻、視頻會(huì)議、視頻點(diǎn)播、p2p視頻播放等視頻業(yè)務(wù)質(zhì)量有參考評(píng)價(jià)當(dāng)中的一種基于插入宏塊亮度特殊值標(biāo)記視頻幀圖像序號(hào)的方法。本發(fā)明的上述技術(shù)問題主要是通過下述技術(shù)方案得以解決的
一種基于插入宏塊亮度特殊值標(biāo)記視頻幀圖像序號(hào)的方法，其特征在于，包括以下步驟
步驟1，在YUV420格式的參考視頻序列的各幀亮度分量中，以16x16宏塊為單位對(duì)整個(gè)亮度分量數(shù)據(jù)的空間排列進(jìn)行劃分，并按照由左至右和由上至下的順序?qū)Ω鲃澐趾蟮拿總€(gè)單位宏塊進(jìn)行編號(hào)；
步驟2，對(duì)參考視頻序列的各幀圖像，按照時(shí)間順序從前至后用自然數(shù)給出各幀的序
號(hào)；
步驟3，從完成步驟2的參考視頻序列中選取編號(hào)1、2、3、4的4個(gè)單位宏塊宏塊，即視頻序列圖像中上方第一行最左邊的連續(xù)4個(gè)宏塊，將其亮度值依據(jù)4進(jìn)制數(shù)字編碼值替代其值，即用每幀圖像的幀序號(hào)所表示的亮度，代替原來的亮度值。幀序號(hào)與亮度的對(duì)應(yīng)關(guān)系為，0，1，2，3依次對(duì)應(yīng)亮度值的0，85，170，255 ；
步驟4，將已經(jīng)完成步驟3后的參考視頻序列由媒體終端的視頻壓縮后，經(jīng)過數(shù)據(jù)通信網(wǎng)絡(luò)實(shí)時(shí)傳輸，最后在網(wǎng)絡(luò)另一端用視頻解碼器解碼輸出YUV420格式的視頻數(shù)據(jù)，并保存為文件；
步驟5，根據(jù)視頻圖像空間分辨率提取步驟4中的保存文件的每幀視頻數(shù)據(jù)，利用解碼圖像的尺寸，即空間分辨率，將一段連續(xù)的視頻文件，提取成一幀一幀的視頻數(shù)據(jù)，按照 YUV420的視頻格式，每幀視頻數(shù)據(jù)長(zhǎng)度為寬度X高度X 1.5；
步驟6，計(jì)算每幀視頻數(shù)據(jù)中前4個(gè)編號(hào)宏塊16x16亮度值的平均值； 步驟7，利用42、127、212三個(gè)閾值把0-255范圍內(nèi)的數(shù)值劃分為4段空間，觀察各宏塊亮度平均值落入那段空間，對(duì)應(yīng)給出0、1、2、3數(shù)字編碼值；所述0-255范圍為亮度值的范圍 0 255，亮度值(Γ255的范圍被42、127、212分為4段空間，分別為0 41、42 127、128 211、 212 255，這四段亮度值范圍分別對(duì)應(yīng)0、1、2、3四個(gè)數(shù)字編碼，根據(jù)各宏塊的亮度平均值落入的空間0 41或42 127或128 211或212 255，對(duì)應(yīng)出相應(yīng)的數(shù)字編碼0或1或2或3 ； 步驟8，經(jīng)過編碼、傳輸和解碼的視頻數(shù)據(jù)根據(jù)每幀視頻數(shù)據(jù)的前四個(gè)宏塊的數(shù)字編碼值的組合，確定該幀視頻的原始圖像序號(hào)；即所述四個(gè)單位宏塊的數(shù)字編碼從左至右排列， 得到一個(gè)四位的四進(jìn)制數(shù)，將該四進(jìn)制數(shù)轉(zhuǎn)換為十進(jìn)制數(shù)，就是該幀視頻的原始幀序號(hào)。步驟9，將接收到的各幀圖像序號(hào)，找到原始參考視頻對(duì)應(yīng)圖像序號(hào)的數(shù)據(jù)。在上述的一種基于插入宏塊亮度特殊值標(biāo)記視頻幀圖像序號(hào)的方法，所述步驟2 中，完成各幀圖像的排序后，將幀序號(hào)用4位4進(jìn)制數(shù)字編碼表示，總共256幀序號(hào)，并將4 進(jìn)制數(shù)字編碼0、1、2、3分別用0、85、170、255替代。因此，本發(fā)明具有如下優(yōu)點(diǎn)方法簡(jiǎn)單、執(zhí)行效率高，適用于實(shí)時(shí)視屏通信應(yīng)用模式下的視頻質(zhì)量有參考質(zhì)量評(píng)價(jià)，可有效應(yīng)用到web視頻、視頻會(huì)議、視頻點(diǎn)播、p2p視頻播放等視頻業(yè)務(wù)質(zhì)量有參考評(píng)價(jià)當(dāng)中。


圖1為有參考圖像質(zhì)量客觀評(píng)價(jià)過程示意圖2視頻序列的頭部加入4個(gè)宏塊的亮度信息的示意圖。
具體實(shí)施例方式下面通過實(shí)施例，并結(jié)合附圖，對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步具體的說明。
實(shí)施例圖1為有參考圖像質(zhì)量客觀評(píng)價(jià)過程示意圖，通過計(jì)算原始參考圖像和傳輸解碼播放圖像兩者差異，獲得具體客觀質(zhì)量評(píng)價(jià)指標(biāo)，首先要確定這種圖像序號(hào)對(duì)應(yīng)關(guān)系，為有效進(jìn)行有參考客觀質(zhì)量評(píng)價(jià)做準(zhǔn)備。本實(shí)施例中視頻樣本來自JVT和VQEG國(guó)際標(biāo)準(zhǔn)組織提供的實(shí)驗(yàn)序列。包括以下步驟
步驟1，在YUV420格式的參考視頻序列的各幀亮度分量中，以16x16宏塊為單位對(duì)整個(gè)亮度分量數(shù)據(jù)的空間排列進(jìn)行劃分，并按照由左至右和由上至下的順序?qū)Ω鲃澐趾蟮拿總€(gè)單位宏塊進(jìn)行編號(hào)；
步驟2，對(duì)參考視頻序列的各幀圖像，按照時(shí)間順序從前至后用自然數(shù)給出各幀的序號(hào)；完成各幀圖像的排序后，將幀序號(hào)用4位4進(jìn)制數(shù)字編碼表示，總共256幀序號(hào)，并將4 進(jìn)制數(shù)字編碼0、1、2、3分別用0、85、170、255替代；
步驟3，從完成步驟2的參考視頻序列中選取編號(hào)1、2、3、4的4個(gè)單位宏塊宏塊，即視頻序列圖像中上方第一行最左邊的連續(xù)4個(gè)宏塊，將其亮度值依據(jù)4進(jìn)制數(shù)字編碼值替代其值，即用每幀圖像的幀序號(hào)所表示的亮度，代替原來的亮度值。幀序號(hào)與亮度的對(duì)應(yīng)關(guān)系為，0，1，2，3依次對(duì)應(yīng)亮度值的0，85，170，255 ；
考慮到壓縮和傳輸引起的視頻失真影響，以及在盡量占用較少數(shù)據(jù)的前提下，不改變?cè)家曨l內(nèi)容特征，步驟1至步驟3完成了向原始視頻數(shù)據(jù)中插入幀號(hào)標(biāo)識(shí)信息，即對(duì)這些序列的頭部加入特殊編碼信息——4個(gè)宏塊(16X16piXelS)的亮度信息，每個(gè)宏塊內(nèi)亮度值取值分別為0、85、170、255組成的四個(gè)值的集合，總共可以表示256幀編號(hào)信息，編號(hào)的示意圖如圖2中傳輸之前的視頻幀所示。步驟4，將已經(jīng)完成步驟3后的參考視頻序列由媒體終端的視頻壓縮后，經(jīng)過數(shù)據(jù)通信網(wǎng)絡(luò)實(shí)時(shí)傳輸，最后在網(wǎng)絡(luò)另一端用視頻解碼器解碼輸出YUV420格式的視頻數(shù)據(jù)，并保存為文件；
步驟5，根據(jù)視頻圖像空間分辨率提取步驟4中的保存文件的每幀視頻數(shù)據(jù)，利用解碼圖像的尺寸，即空間分辨率，將一段連續(xù)的視頻文件，提取成一幀一幀的視頻數(shù)據(jù)，按照 YUV420的視頻格式，每幀視頻數(shù)據(jù)長(zhǎng)度為寬度X高度X 1.5；
步驟6，計(jì)算每幀視頻數(shù)據(jù)中前4個(gè)編號(hào)宏塊16x16亮度值的平均值； 步驟7，利用42、127、212三個(gè)閾值把0-255范圍內(nèi)的數(shù)值劃分為4段空間，觀察各宏塊亮度平均值落入那段空間，對(duì)應(yīng)給出0、1、2、3數(shù)字編碼值；所述0-255范圍為亮度值的范圍 0 255，亮度值(Γ255的范圍被42、127、212分為4段空間，分別為0 41、42 127、128 211、 212 255，這四段亮度值范圍分別對(duì)應(yīng)0、1、2、3四個(gè)數(shù)字編碼，根據(jù)各宏塊的亮度平均值落入的空間0 41或42 127或128 211或212 255，對(duì)應(yīng)出相應(yīng)的數(shù)字編碼0或1或2或3 ； 步驟8，經(jīng)過編碼、傳輸和解碼的視頻數(shù)據(jù)根據(jù)每幀視頻數(shù)據(jù)的前四個(gè)宏塊的數(shù)字編碼值的組合，確定該幀視頻的原始圖像序號(hào)；即所述四個(gè)單位宏塊的數(shù)字編碼從左至右排列， 得到一個(gè)四位的四進(jìn)制數(shù)，將該四進(jìn)制數(shù)轉(zhuǎn)換為十進(jìn)制數(shù)，就是該幀視頻的原始幀序號(hào)。步驟9，將接收到的各幀圖像序號(hào)，找到原始參考視頻對(duì)應(yīng)圖像序號(hào)的數(shù)據(jù)。步驟4至步驟9完成了通過解碼圖像中標(biāo)識(shí)信息的提取，計(jì)算對(duì)應(yīng)幀號(hào)，即經(jīng)過編碼和傳輸后引起的圖像失真，會(huì)改變插入的特殊編碼信息即亮度均值，但是由于特殊亮度值，在0-255之間只均勻的取了四個(gè)值，并且這四個(gè)值之間的差異很大，在經(jīng)過編碼量化失真、解碼濾波處理以及一般的傳輸失真情況下，不會(huì)改變特殊亮度取值特性，因此可以對(duì)解碼圖像的特殊編號(hào)信息進(jìn)行提取，計(jì)算判斷幀號(hào)，實(shí)現(xiàn)參考幀序號(hào)的計(jì)算。如圖2中，經(jīng)過視頻解碼后的圖像，其中各宏塊亮度平均值落入0-42，43-126，127-212，213-255中的區(qū)間，就對(duì)應(yīng)給出0、1、2、3數(shù)字編碼值，因?yàn)閰^(qū)間范圍很大，而宏塊的亮度取值變化不大，視頻幀的序號(hào)對(duì)應(yīng)正確率極高，基本為1。 本文中所描述的具體實(shí)施例僅僅是對(duì)本發(fā)明精神作舉例說明。本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員可以對(duì)所描述的具體實(shí)施例做各種各樣的修改或補(bǔ)充或采用類似的方式替代，但并不會(huì)偏離本發(fā)明的精神或者超越所附權(quán)利要求書所定義的范圍。
權(quán)利要求
1.一種基于插入宏塊亮度特殊值標(biāo)記視頻幀圖像序號(hào)的方法，其特征在于，包括以下步驟步驟1，在YUV420格式的參考視頻序列的各幀亮度分量中，以16x16宏塊為單位對(duì)整個(gè)亮度分量數(shù)據(jù)的空間排列進(jìn)行劃分，并按照由左至右和由上至下的順序?qū)Ω鲃澐趾蟮拿總€(gè)單位宏塊進(jìn)行編號(hào)；步驟2，對(duì)參考視頻序列的各幀圖像，按照時(shí)間順序從前至后用自然數(shù)給出各幀的序號(hào)；步驟3，從完成步驟2的參考視頻序列中選取編號(hào)1、2、3、4的4個(gè)單位宏塊宏塊，即視頻序列圖像中上方第一行最左邊的連續(xù)4個(gè)宏塊，將其亮度值依據(jù)4進(jìn)制數(shù)字編碼值替代其值，即用每幀圖像的幀序號(hào)所表示的亮度，代替原來的亮度值，幀序號(hào)與亮度的對(duì)應(yīng)關(guān)系為，0，1，2，3依次對(duì)應(yīng)亮度值的0，85，170，255 ；步驟4，將已經(jīng)完成步驟3后的參考視頻序列由媒體終端的視頻壓縮后，經(jīng)過數(shù)據(jù)通信網(wǎng)絡(luò)實(shí)時(shí)傳輸，最后在網(wǎng)絡(luò)另一端用視頻解碼器解碼輸出YUV420格式的視頻數(shù)據(jù)，并保存為文件；步驟5，根據(jù)視頻圖像空間分辨率提取步驟4中的保存文件的每幀視頻數(shù)據(jù)，利用解碼圖像的尺寸，即空間分辨率，將一段連續(xù)的視頻文件，提取成一幀一幀的視頻數(shù)據(jù)，按照 YUV420的視頻格式，每幀視頻數(shù)據(jù)長(zhǎng)度為寬度X高度X 1.5；步驟6，計(jì)算每幀視頻數(shù)據(jù)中前4個(gè)編號(hào)宏塊16x16亮度值的平均值； 步驟7，利用42、127、212三個(gè)閾值把0-255范圍內(nèi)的數(shù)值劃分為4段空間，觀察各宏塊亮度平均值落入那段空間，對(duì)應(yīng)給出0、1、2、3數(shù)字編碼值；所述0-255范圍為亮度值的范圍 0 255，亮度值(Γ255的范圍被42、127、212分為4段空間，分別為0 41、42 127、128 211、 212 255，這四段亮度值范圍分別對(duì)應(yīng)0、1、2、3四個(gè)數(shù)字編碼，根據(jù)各宏塊的亮度平均值落入的空間0 41或42 127或128 211或212 255，對(duì)應(yīng)出相應(yīng)的數(shù)字編碼0或1或2或3 ； 步驟8，經(jīng)過編碼、傳輸和解碼的視頻數(shù)據(jù)根據(jù)每幀視頻數(shù)據(jù)的前四個(gè)宏塊的數(shù)字編碼值的組合，確定該幀視頻的原始圖像序號(hào)；即所述四個(gè)單位宏塊的數(shù)字編碼從左至右排列， 得到一個(gè)四位的四進(jìn)制數(shù)，將該四進(jìn)制數(shù)轉(zhuǎn)換為十進(jìn)制數(shù)，就是該幀視頻的原始幀序號(hào)； 步驟9，將接收到的各幀圖像序號(hào)，找到原始參考視頻對(duì)應(yīng)圖像序號(hào)的數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的一種基于插入宏塊亮度特殊值標(biāo)記視頻幀圖像序號(hào)的方法， 其特征在于，所述步驟2中，完成各幀圖像的排序后，將幀序號(hào)用4位4進(jìn)制數(shù)字編碼表示， 總共256幀序號(hào)，并將4進(jìn)制數(shù)字編碼0、1、2、3分別用0、85、170、255替代。
全文摘要
本發(fā)明涉及一種基于插入宏塊亮度特殊值標(biāo)記視頻幀圖像序號(hào)的方法。本發(fā)明通過在視頻各幀圖像的頭部加入特殊編碼信息——4個(gè)宏塊(16x16pixels)的亮度信息，每個(gè)宏塊內(nèi)亮度值取值分別為0、85、170、255組成的四個(gè)值的集合，總共可以表示256幀編號(hào)信息，然后對(duì)解碼圖像的特殊編號(hào)信息進(jìn)行提取，計(jì)算判斷幀號(hào)，實(shí)現(xiàn)參考幀序號(hào)的計(jì)算。因此，本發(fā)明具有如下優(yōu)點(diǎn)方法簡(jiǎn)單、執(zhí)行效率高，適用于實(shí)時(shí)視屏通信應(yīng)用模式下的視頻質(zhì)量有參考質(zhì)量評(píng)價(jià)，可有效應(yīng)用到web視頻、視頻會(huì)議、視頻點(diǎn)播、p2p視頻播放等視頻業(yè)務(wù)質(zhì)量有參考評(píng)價(jià)當(dāng)中。
文檔編號(hào)H04N7/26GK102256130SQ20111021137
公開日2011年11月23日 申請(qǐng)日期2011年7月27日 優(yōu)先權(quán)日2011年7月27日
發(fā)明者吳禮華, 張新晨, 方圓, 江昊, 王瑩 申請(qǐng)人:武漢大學(xué)