專利名稱：基于主觀質(zhì)量失真預(yù)測(cè)的自適應(yīng)幀內(nèi)宏塊刷新方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字視頻信號(hào)編碼領(lǐng)域，具體來(lái)說(shuō)是一種基于主觀質(zhì)量失 真預(yù)測(cè)的自適應(yīng)幀內(nèi)宏塊刷新方法。
背景技術(shù)：
隨著Internet和無(wú)線通信網(wǎng)絡(luò)的迅速發(fā)展，網(wǎng)絡(luò)-現(xiàn)頻通信已成為近年 來(lái)的研究熱點(diǎn)。主流的^L頻編碼國(guó)際標(biāo)準(zhǔn)如MPEG-2、MPEG-4以及H.261 、 H.263和H.264都采用了時(shí)域空域預(yù)測(cè)技術(shù)和可變長(zhǎng)熵編碼技術(shù)來(lái)提高編 碼效率，所以編碼視頻數(shù)據(jù)對(duì)信息損失和信道誤碼非常敏感，在視頻數(shù) 據(jù)發(fā)生包丟失或比特錯(cuò)誤的情況下容易發(fā)生錯(cuò)誤在時(shí)間和空間上延續(xù)和 擴(kuò)散的現(xiàn)象，導(dǎo)致解碼端的重建視頻質(zhì)量急劇下降。而且，通常通信信道 狀態(tài)還具有可變性，如誤碼率、丟包率、帶寬和延遲等等都是時(shí)變的，在 無(wú)線信道中尤其顯著。這些使得編碼視頻碼流的抗誤碼能力成為了視頻編 碼領(lǐng)域急需考慮的問(wèn)題之一 。幀內(nèi)宏塊刷新是一種能提高視頻流容錯(cuò)性的 有效技術(shù)，因?yàn)閹瑑?nèi)宏塊刷新不使用參考幀，切斷了視頻碼率在時(shí)間上的 依賴，從而遏制了錯(cuò)誤在時(shí)間上的擴(kuò)散。但是也因?yàn)椴皇褂脜⒖紟瑏?lái)消除 時(shí)間冗余，過(guò)多的幀內(nèi)宏塊會(huì)使碼率急劇增加而影響編碼效率，同時(shí)也會(huì) 增加編碼端的通信延時(shí)。因此，給定目標(biāo)比特碼率下，如何判決幀內(nèi)宏塊 刷新的位置和頻率，從而在編碼效率和容錯(cuò)性之間取得平衡就顯得十分重 要。
而且，人眼是視頻圖像的最終接收端，所以視頻圖像主觀質(zhì)量為圖像 編碼的最終評(píng)價(jià)標(biāo)準(zhǔn)。在視頻應(yīng)用中，膚色區(qū)域，如人的臉部和手部等區(qū) 域，是人眼關(guān)注的區(qū)域。R,L. Hsu和M. Abdel-Mottaleb于2002年在文獻(xiàn) [1] R.誦L. Hsu， M. Abdel-Mottaleb, A. K. Jain. Face detection in color images. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002， 24(5):696-706.中提出的橢圓膚色區(qū)域檢測(cè)模型基于視頻編碼常用的 YCbCr顏色空間，具有使用簡(jiǎn)單和高效的特點(diǎn)，是應(yīng)用較廣泛的膚色檢測(cè) 模型。運(yùn)動(dòng)是另外一個(gè)人眼注意的因素。人眼對(duì)運(yùn)動(dòng)區(qū)域比靜止區(qū)域要敏感，而且全局運(yùn)動(dòng)時(shí)，運(yùn)動(dòng)速度快的區(qū)域比運(yùn)動(dòng)速度慢的區(qū)域敏感。Liu
在文獻(xiàn)[2] Y.Liu, Z. G Li， Y. C. Soh. A novel rate control scheme for low delay video communication of H.264/AVC standard. IEEE Transactions on Circuits and Systems for Video Technology, 2007， 17(1):68-78.中^f吏用空域和時(shí)域的 MAD (Mean Absolute Difference)值來(lái)預(yù)測(cè)圖l象的運(yùn)動(dòng)復(fù)雜度。
另外，人眼對(duì)同一圖像中的不同位置區(qū)域的關(guān)注度也不一樣。Lee等 在文獻(xiàn)[3]S. Lee, M. S. Pattichis, A. C. Bovik. Foveated video quality assessment. IEEE Transactions on Multimedia, 2002， 4(1):129-132.中提出視 網(wǎng)膜中央凹的光感受器隨著離心度的增大，其密度會(huì)快速下降。觀察圖像 時(shí)，通常圖像的中央?yún)^(qū)域先受到關(guān)注。

發(fā)明內(nèi)容
本發(fā)明提供了 一種基于主觀質(zhì)量失真預(yù)測(cè)的自適應(yīng)幀內(nèi)宏塊刷新方 法，主要是結(jié)合視覺感知模型和無(wú)線信道狀態(tài)信息，預(yù)測(cè)視頻編碼圖像主 觀質(zhì)量失真；最后根據(jù)視頻編碼圖像主觀質(zhì)量失真預(yù)測(cè)值，自適應(yīng)設(shè)定強(qiáng) 制幀內(nèi)宏塊刷新的位置，從而達(dá)到編碼效率和容錯(cuò)性之間的平衡，提高傳 輸后的視頻編碼主觀圖像質(zhì)量。
一種基于主觀質(zhì)量失真預(yù)測(cè)的自適應(yīng)幀內(nèi)宏塊刷新方法，包括以下步
驟
1. 輸入視頻圖像，并將輸入的視頻圖像劃分成宏塊。
2. 從網(wǎng)絡(luò)傳輸?shù)奈锢韺荧@取當(dāng)前輸入的視頻圖像碼流傳輸信道的狀態(tài) 信息，包括當(dāng)前信道的誤碼率和丟包率。因?yàn)閷?shí)時(shí)傳輸協(xié)議可以動(dòng)態(tài)測(cè)量 當(dāng)前傳輸信道的狀態(tài)信息。
3. 從輸入的視頻圖像中提取視覺感知權(quán)重圖。
視覺感知權(quán)重圖由膚色權(quán)重、運(yùn)動(dòng)權(quán)重和空間位置權(quán)重三個(gè)因素構(gòu) 成，先分別計(jì)算輸入視頻圖像每個(gè)宏塊的膚色權(quán)重圖、運(yùn)動(dòng)權(quán)重圖和空間 位置權(quán)重圖，然后再根據(jù)當(dāng)前輸入的視頻圖像的場(chǎng)景對(duì)應(yīng)的影響因素，給 膚色權(quán)重、運(yùn)動(dòng)權(quán)重和空間位置權(quán)重每個(gè)因素分別賦以對(duì)應(yīng)的權(quán)值，并將 加權(quán)后的膚色權(quán)重、運(yùn)動(dòng)權(quán)重和空間位置權(quán)重累加，得到總體的視頻圖像 的視覺感知權(quán)重圖。
4. 據(jù)宏塊編碼比特長(zhǎng)度和信道狀態(tài)信息構(gòu)建以宏塊為單位的視頻圖像的誤碼概率圖。
5. 結(jié)合視頻圖像的視覺權(quán)重圖和誤碼概率圖，對(duì)視頻圖像的宏塊進(jìn)行 主觀質(zhì)量失真預(yù)測(cè)。
當(dāng)前幀視頻圖像數(shù)據(jù)在傳輸時(shí)出錯(cuò)后，解碼端通常利用前一幀視頻圖 像的信息來(lái)重建當(dāng)前幀視頻圖像，根據(jù)當(dāng)前輸入的視頻圖像和前一幀輸入 的視頻圖像的差，結(jié)合宏塊視覺權(quán)重圖和誤碼概率圖，預(yù)測(cè)當(dāng)前宏塊地主 觀質(zhì)量失真。
6. 根據(jù)視頻圖像的宏塊主觀質(zhì)量失真預(yù)測(cè)，強(qiáng)制執(zhí)行宏塊刷新判決。
統(tǒng)計(jì)視頻圖像的同一坐標(biāo)位置的宏塊的累積主觀質(zhì)量失真預(yù)測(cè)值，當(dāng) 視頻圖像的某 一 坐標(biāo)位置的宏塊失真預(yù)測(cè)累積值達(dá)到或超過(guò)經(jīng)驗(yàn)閾值△
n， An取0.5時(shí)，判定該坐標(biāo)位置的宏塊刷新判決為幀內(nèi)編碼^t式，強(qiáng)制 執(zhí)行宏塊刷新判決，設(shè)置編碼器中該坐標(biāo)位置的宏塊的編碼模式為幀內(nèi)編 碼模式，切斷編碼碼流在時(shí)間上的依賴，提高碼流的容錯(cuò)性。
本發(fā)明自適應(yīng)幀內(nèi)宏塊刷新方法綜合考慮了視頻圖像內(nèi)容和信道狀 態(tài)信息兩個(gè)因素，通過(guò)對(duì)視頻編碼圖像主觀質(zhì)量的預(yù)測(cè)，自適應(yīng)判決幀內(nèi) 宏塊刷新的位置和頻率，達(dá)到了視頻編碼效率和碼流容錯(cuò)性之間的平衡， 從而提高所傳輸視頻圖像的整體主觀質(zhì)量。


圖1為本發(fā)明方法所在系統(tǒng)的結(jié)構(gòu)示意圖； 圖2為本發(fā)明方法流程圖； 圖3為本發(fā)明所采用的膚色權(quán)重算法流程圖； 圖4為本發(fā)明所采用的運(yùn)動(dòng)權(quán)重算法流程圖； 圖5為本發(fā)明所采用的空間位置權(quán)重算法流程圖； 圖6為本發(fā)明所采用的誤碼概率算法流程圖。
具體實(shí)施例方式
下面結(jié)合附圖對(duì)本發(fā)明 一種基于主觀質(zhì)量失真預(yù)測(cè)的自適應(yīng)幀內(nèi)宏 塊刷新方法通過(guò)實(shí)施例進(jìn)行詳細(xì)說(shuō)明。
如圖l所示，本發(fā)明方法所在系統(tǒng)工作流程如下 視頻圖像輸入至視頻編碼器中；視頻編碼器根據(jù)本發(fā)明方法一種基于主觀質(zhì)量失真預(yù)測(cè)的自適應(yīng)幀
內(nèi)宏塊刷新方法得到判決結(jié)果選擇視頻圖像的編碼模式； 編碼完成后編碼碼流送入至編碼碼流緩存區(qū)等待發(fā)送； 發(fā)送端將編碼碼流發(fā)送后通過(guò)傳輸信道傳輸；
接收端收到編碼碼流后將編碼碼流送入至解碼碼流緩存區(qū)等待解碼； 解碼器對(duì)收到的編碼碼流進(jìn)行解碼；解碼后的視頻圖像輸出。 如圖2所示，所述基于主觀質(zhì)量失真預(yù)測(cè)的自適應(yīng)幀內(nèi)宏塊刷新方法 包括以下步驟
1 .輸入視頻圖像，將輸入的視頻圖像按宏塊進(jìn)行劃分。
2. 從網(wǎng)絡(luò)傳輸?shù)奈锢韺荧@取當(dāng)前輸入的視頻圖像碼流傳輸信道的狀態(tài) 信息，包括當(dāng)前信道的誤碼率和丟包率等，因?yàn)閷?shí)時(shí)傳輸協(xié)議可以動(dòng)態(tài)測(cè) 量當(dāng)前傳輸信道的狀態(tài)信息。
3. 從輸入的視頻圖像中提取視覺感知權(quán)重圖。
視覺感知權(quán)重圖由膚色權(quán)重、運(yùn)動(dòng)權(quán)重和空間位置權(quán)重三個(gè)因素構(gòu) 成，先分別計(jì)算輸入視頻圖像的膚色權(quán)重圖、運(yùn)動(dòng)權(quán)重圖和空間位置權(quán)重 圖，然后再根據(jù)當(dāng)前輸入的視頻圖像的場(chǎng)景對(duì)應(yīng)的影響因素，給每個(gè)因素 賦以對(duì)應(yīng)的權(quán)值，并將三者累加，得到總體的視覺感知權(quán)重圖。
如圖3所示，視頻圖像的膚色權(quán)重計(jì)算步驟如下
1) 輸入視頻圖像，并將視頻圖像轉(zhuǎn)換到Y(jié)CbCr顏色空間； 采用基于YCbCr顏色空間的橢圓膚色檢測(cè)模型從視頻輸入圖像中檢
測(cè)出膚色區(qū)域；
2) 將輸入的視頻圖像按宏塊劃分，以宏塊為單位，統(tǒng)計(jì)每個(gè)宏塊中 膚色區(qū)域，得到每個(gè)宏塊的膚色權(quán)重；
3) 設(shè)宏塊膚色權(quán)重的經(jīng)驗(yàn)閾值為64,將每個(gè)宏塊的膚色權(quán)重與經(jīng)驗(yàn) 闊值比較，令大于經(jīng)驗(yàn)閾值的宏塊膚色權(quán)重值為1，小于經(jīng)驗(yàn)閾值的宏塊 膚色權(quán)重值設(shè)為0,將視頻圖像的膚色權(quán)重二值化，對(duì)照相應(yīng)宏塊的坐標(biāo) 生成以宏塊為單位的視頻圖像的膚色權(quán)重圖。
如圖4所示，；脫頻圖像的運(yùn)動(dòng)權(quán)重計(jì)算步驟如下 1)輸入視頻圖像，將輸入的視頻圖像按宏塊進(jìn)行劃分； 計(jì)算輸入的當(dāng)前幀視頻圖像的每個(gè)宏塊和輸入的前一幀視頻輸入圖 像的每個(gè)宏塊中的象素的平均絕對(duì)偏差(MAD),得到宏塊MAD值；
62) 計(jì)算輸入的當(dāng)前幀視頻圖像和輸入的前一幀視頻圖像所有象素整
體的平均絕對(duì)偏差(MAD)，得到全局MAD值；
3) 將每個(gè)宏塊的宏塊MAD值除以全局MAD值，得到的結(jié)果為每個(gè) 宏塊的運(yùn)動(dòng)權(quán)值，對(duì)照相應(yīng)宏塊的坐標(biāo)生成以宏塊為單位的視頻圖像的運(yùn) 動(dòng)權(quán)重圖。
如圖5所示，視頻圖像的空間位置權(quán)重計(jì)算步驟如下
1) 輸入視頻圖像，將輸入的視頻圖像按宏塊進(jìn)行劃分； 按照人眼視網(wǎng)膜中央凹原理生成對(duì)應(yīng)的空間位置權(quán)重分布2) 根據(jù)輸入視頻圖像的分辨率選擇空間位置權(quán)重分布圖，對(duì)照相應(yīng) 宏塊的坐標(biāo)得到以宏塊為單位的視頻圖像的空間位置權(quán)重圖。
生成三個(gè)因素對(duì)應(yīng)的感知權(quán)重圖后，根據(jù)當(dāng)前視頻輸入圖像場(chǎng)景對(duì)應(yīng)
的影響因素，每個(gè)因素賦以對(duì)應(yīng)的權(quán)值，然后將三者累加，得到總體的視
覺感知權(quán)重圖。計(jì)算式(l)所示
^Anb("y，") = wsps (/,_/,") + wm/;m(/，y'，") + Wf。v/7f。v(/,乂,") g)
式中(/，y,")表示第"幀視頻圖像中的宏塊坐標(biāo)，左上角第一個(gè)宏塊 為(0,0)起始坐標(biāo)，橫坐標(biāo)向右，縱坐標(biāo)向下， 一直到右下角最后一個(gè)宏塊，
『Pmb表示宏塊的視覺感知權(quán)重，Ws， Wm, Wf。v分別表示膚色、運(yùn)動(dòng)和空間
位置三個(gè)要素的權(quán)重，不同的場(chǎng)景取值不同。當(dāng)視頻圖像處于運(yùn)動(dòng)場(chǎng)景時(shí)，
三個(gè)要素權(quán)重的取值為ws=2, wm=2, wfov=l;當(dāng)視頻圖像處于靜止場(chǎng)景 時(shí)，三個(gè)要素權(quán)重的取值為ws=2， wm=l， wfov=l。 A表示以宏塊為單位 的膚色視覺權(quán)重值，/^表示以宏塊為單位的運(yùn)動(dòng)#見覺權(quán)重值，A。v以宏塊 為單位的空間位置視覺權(quán)重值。
4.據(jù)宏塊編碼比特長(zhǎng)度和信道狀態(tài)信息構(gòu)建以宏塊為單位的視頻圖像 的誤碼概率具體過(guò)程如圖6所示
1) 統(tǒng)計(jì)視頻圖像各宏塊的比特長(zhǎng)度；
2) 從網(wǎng)絡(luò)層獲取當(dāng)前信道的預(yù)測(cè)誤碼率；
3) 根據(jù)式(2)計(jì)算宏塊的誤碼概率，得到誤碼概率尸mb 0'， ") = S /， ")PBER (2)
式中/^表示宏塊的丟包和誤碼概率，鄧，/，")表示宏塊的編碼比特長(zhǎng) 度，p皿表示當(dāng)前通信信道的誤碼率。
5. 結(jié)合視頻圖像的視覺權(quán)重圖和誤碼概率圖，對(duì)視頻圖像的宏塊進(jìn)行 主觀質(zhì)量失真預(yù)測(cè)。
1 )首先根據(jù)式(3)計(jì)算當(dāng)前輸入視頻圖像和前一幀重建視頻圖像象素 差的絕對(duì)值，如下式所示
<formula>formula see original document page 8</formula>(3)
。61 1 式中Z)mb表示宏塊的失真預(yù)測(cè)，A表示一個(gè)宏塊的原始圖像象素值。
2)然后從視頻圖像的感知權(quán)重圖和誤碼概率圖中獲取對(duì)應(yīng)的感知權(quán) 重和誤碼概率，生成主觀質(zhì)量失真預(yù)測(cè)值，如下式所示
"ep一mb (",")=昨mb (" , ")"mb " ; ，《b ("")
式中化,—^表示宏塊的主觀質(zhì)量失真預(yù)測(cè)，w/u表示宏塊的視覺感知
權(quán)重，/^表示宏塊的失真預(yù)測(cè)，戶mb表示宏塊的誤比特率。
6. 根據(jù)宏塊主觀質(zhì)量失真預(yù)測(cè)，強(qiáng)制執(zhí)行宏塊刷新判決； 根據(jù)式(4)統(tǒng)計(jì)同 一坐標(biāo)位置的宏塊的累積主觀質(zhì)量失真預(yù)測(cè)值；
<formula>formula see original document page 8</formula> (4)
式中，wo表示該位置宏塊最后一次INTRA編碼的幀序號(hào)，該位置宏 塊每次INTRA編碼后，累積主觀質(zhì)量失真預(yù)測(cè)值就清零，重新開始計(jì)算， "表示該位置宏塊當(dāng)前幀序號(hào)，m是公式表達(dá)所需的中間變量，表示從"o 到w中間的值。
當(dāng)某一坐標(biāo)位置的失真預(yù)測(cè)累積值達(dá)到或超過(guò)經(jīng)驗(yàn)閾值△ n， △ n取0.5 時(shí)，該坐標(biāo)位置的宏塊刷新判決為幀內(nèi)編碼模式，強(qiáng)制執(zhí)行宏塊刷新判決， 設(shè)置編碼器中該坐標(biāo)位置的宏塊的編碼模式為幀內(nèi)編碼模式，切斷編碼碼 流在時(shí)間上的依賴，提高碼流的容錯(cuò)性。
權(quán)利要求
1. 一種基于主觀質(zhì)量失真預(yù)測(cè)的自適應(yīng)幀內(nèi)宏塊刷新方法，包括以下步驟(1)輸入視頻圖像，將輸入的視頻圖像劃分成宏塊；(2)從網(wǎng)絡(luò)傳輸?shù)奈锢韺荧@取當(dāng)前輸入的視頻圖像碼流傳輸信道的狀態(tài)信息，包括當(dāng)前信道的誤碼率和丟包率；(3)從輸入的視頻圖像中提取視覺感知權(quán)重圖；(4)根據(jù)視頻圖像的宏塊編碼比特長(zhǎng)度和當(dāng)前視頻碼流傳輸信道的狀態(tài)信息構(gòu)建以宏塊為單位的視頻圖像的誤碼概率圖；(5)結(jié)合視頻圖像的視覺權(quán)重圖和誤碼概率圖，對(duì)視頻圖像進(jìn)行主觀質(zhì)量失真預(yù)測(cè)；(6)根據(jù)視頻圖像主觀質(zhì)量失真預(yù)測(cè)，強(qiáng)制執(zhí)行宏塊刷新判決；統(tǒng)計(jì)視頻圖像的同一坐標(biāo)位置的宏塊的累積主觀質(zhì)量失真預(yù)測(cè)值，當(dāng)視頻圖像的某一坐標(biāo)位置的失真預(yù)測(cè)累積值達(dá)到或超過(guò)經(jīng)驗(yàn)閾值Δn時(shí)，該坐標(biāo)位置的宏塊刷新判決為幀內(nèi)編碼模式，強(qiáng)制執(zhí)行宏塊刷新判決，設(shè)置編碼器中該坐標(biāo)位置的宏塊的編碼模式為幀內(nèi)編碼模式。
2. 根據(jù)權(quán)利要求1所述的自適應(yīng)幀內(nèi)宏塊刷新方法，其特征在于，所 述的視覺感知權(quán)重圖由膚色權(quán)重、運(yùn)動(dòng)權(quán)重和空間位置權(quán)重三個(gè)因素構(gòu) 成，視覺感知權(quán)重圖的計(jì)算方法如下先分別計(jì)算輸入視頻圖像每個(gè)宏塊的膚色權(quán)重圖、運(yùn)動(dòng)權(quán)重圖和空間 位置權(quán)重圖，然后再根據(jù)當(dāng)前輸入的視頻圖像的場(chǎng)景對(duì)應(yīng)的影響因素，給 膚色權(quán)重、運(yùn)動(dòng)權(quán)重和空間位置權(quán)重每個(gè)因素分別賦以對(duì)應(yīng)的權(quán)值，并將 加權(quán)后的膚色權(quán)重、運(yùn)動(dòng)權(quán)重和空間位置權(quán)重累加，得到總體的視頻圖像 的視覺感知權(quán)重圖。
3. 根據(jù)權(quán)利要求1所述的自適應(yīng)幀內(nèi)宏塊刷新方法，其特征在于，所 述的失真預(yù)測(cè)累積值的經(jīng)驗(yàn)閾值△ n取0.5。
全文摘要
本發(fā)明公開了一種基于主觀質(zhì)量失真預(yù)測(cè)的自適應(yīng)幀內(nèi)宏塊刷新方法，包括以下步驟1)輸入視頻圖像并將其劃分成宏塊；2)從網(wǎng)絡(luò)傳輸?shù)奈锢韺荧@取當(dāng)前輸入的視頻圖像碼流傳輸信道的狀態(tài)信息；3)從輸入的視頻圖像中提取視覺感知權(quán)重圖；4)根據(jù)視頻圖像的宏塊編碼比特長(zhǎng)度和當(dāng)前視頻碼流傳輸信道的狀態(tài)信息構(gòu)建以宏塊為單位的視頻圖像的誤碼概率圖；5)結(jié)合視頻圖像的視覺權(quán)重圖和誤碼概率圖，對(duì)視頻圖像進(jìn)行主觀質(zhì)量失真預(yù)測(cè)；6)根據(jù)主觀質(zhì)量失真預(yù)測(cè)，強(qiáng)制執(zhí)行宏塊刷新判決。本發(fā)明通過(guò)對(duì)視頻編碼圖像主觀質(zhì)量的預(yù)測(cè)，自適應(yīng)判決幀內(nèi)宏塊刷新的位置和頻率，達(dá)到視頻編碼效率和碼流容錯(cuò)性之間的平衡，提高所傳輸視頻圖像的整體主觀質(zhì)量。
文檔編號(hào)H04N7/64GK101489141SQ20091009572
公開日2009年7月22日 申請(qǐng)日期2009年1月20日 優(yōu)先權(quán)日2009年1月20日
發(fā)明者周怡然, 陳耀武, 馬漢杰 申請(qǐng)人:浙江大學(xué)