專(zhuān)利名稱(chēng)：一種低碼率下視覺(jué)關(guān)注區(qū)域的視頻編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼領(lǐng)域，具體涉及一種低碼率下基于H.264的視覺(jué)關(guān)注區(qū)域的視頻編碼方法。
背景技術(shù)：
在碼率充足的情況下，視頻各幀各個(gè)部分的質(zhì)量都能夠得以保證；然而，在碼率非常有限的情況下，如手機(jī)視頻通信等，編碼時(shí)如果仍依照?qǐng)D像內(nèi)容進(jìn)行統(tǒng)計(jì)并平等對(duì)待，視頻整體的質(zhì)量會(huì)因碼率低而急劇下降。生理和心理研究表明:人類(lèi)總是主動(dòng)地特別關(guān)注于某些特定的、能夠產(chǎn)生新異刺激的區(qū)域。因此，在這種情況下有必要對(duì)人眼視覺(jué)重點(diǎn)關(guān)注區(qū)域分配相對(duì)多的碼率，保證該區(qū)域的質(zhì)量，從而提高人對(duì)視頻的主觀(guān)評(píng)價(jià)。1998年Itti等提出了自底向上的視覺(jué)顯著性注意檢測(cè)模型。該模型首先通過(guò)線(xiàn)性濾波將輸入圖像分解成多個(gè)多尺度的低級(jí)視覺(jué)特征(灰度、顏色、方向)通道；對(duì)于每個(gè)特征空間通道，利用中央刺激-周?chē)种撇呗?中心-周?chē)叨炔罘?計(jì)算視覺(jué)感受野，并應(yīng)用一種非線(xiàn)性空間競(jìng)爭(zhēng)機(jī)制將不同尺度信息進(jìn)行合并得到特征顯著圖；接著，通過(guò)使用預(yù)設(shè)的權(quán)值對(duì)各特征顯著圖進(jìn)行線(xiàn)性合并得到一張顯著圖；最后，神經(jīng)網(wǎng)絡(luò)的贏者全勝和抑制返回機(jī)制相互作用，并按照顯著級(jí)別從高到低產(chǎn)生人們的注意焦點(diǎn)。其后，該模型進(jìn)一步得到完善，中國(guó)專(zhuān)利第CN102164281A號(hào)提出一種基于Itti視覺(jué)顯著度模型的視頻編碼碼率控制方法，考慮了運(yùn)動(dòng)特征在視頻內(nèi)容感知中的重要作用。然而，該模型是基于像素點(diǎn)顯著值的統(tǒng)計(jì)，實(shí)現(xiàn)視覺(jué)關(guān)注區(qū)域的檢測(cè)過(guò)程異常復(fù)雜，無(wú)法實(shí)際應(yīng)用到實(shí)時(shí)的編碼環(huán)境中。在碼率有限的情況下，如何在特定的碼率和失真度之間進(jìn)行取舍，有賴(lài)于率失真優(yōu)化(RDO)技術(shù)的應(yīng)用。在H.264標(biāo)準(zhǔn)中，RDO大大提高了編碼的壓縮效率。而RDO中失真的衡量是使用絕對(duì)誤差和(SAD)、頻域絕對(duì)誤差和(SATD)或平方誤差和(SSD)等函數(shù)，這些測(cè)度由來(lái)已久并成為了傳統(tǒng)，但由于只對(duì)圖像塊中單個(gè)像素進(jìn)行統(tǒng)計(jì)而忽略了像素間的聯(lián)系，不能很好地適應(yīng)人眼視覺(jué)系統(tǒng)的特點(diǎn)。結(jié)構(gòu)相似度(SSIM)準(zhǔn)則是基于人眼在觀(guān)察圖像時(shí)對(duì)結(jié)構(gòu)信息的變化更敏感的視覺(jué)特點(diǎn)而提出的一種圖像質(zhì)量評(píng)價(jià)方法，與其它準(zhǔn)則相t匕，它更加符合人眼的視覺(jué)特點(diǎn)，并已引入至H.264各開(kāi)源編碼器中作為評(píng)價(jià)編碼視頻質(zhì)量的標(biāo)準(zhǔn)。已經(jīng)有學(xué)者開(kāi)展了基于SSIM的感知率失真優(yōu)化編碼的研究，研究結(jié)果顯示在RDO中采用SSIM代替原有的失真度量函數(shù)能實(shí)現(xiàn)更有效的視頻壓縮。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種低碼率下視覺(jué)關(guān)注區(qū)域的視頻編碼方法，該方法在低碼率下能檢測(cè)出視頻內(nèi)容中的視覺(jué)關(guān)注區(qū)域并保證其視覺(jué)質(zhì)量，可以實(shí)現(xiàn)快速的、準(zhǔn)確的碼率分配優(yōu)化，解決了現(xiàn)有技術(shù)實(shí)現(xiàn)視覺(jué)關(guān)注區(qū)域的檢測(cè)過(guò)程異常復(fù)雜，無(wú)法實(shí)際應(yīng)用到實(shí)時(shí)的編碼環(huán)境中的問(wèn)題。為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明采用如下技術(shù)方案:一種低碼率下視覺(jué)關(guān)注區(qū)域的視頻編碼方法，包含以下幾個(gè)步驟:
S1、讀取當(dāng)前編碼幀，判斷當(dāng)前編碼幀類(lèi)別，確定當(dāng)前編碼幀視覺(jué)關(guān)注區(qū)域；S2、確定當(dāng)前編碼幀所有宏塊的量化參數(shù)調(diào)整等級(jí)；S3、確定當(dāng)前編碼幀所有宏塊的視覺(jué)關(guān)注度權(quán)值；S4、采用結(jié)構(gòu)相似度SSIM作為宏塊預(yù)測(cè)模式選擇時(shí)RDO失真衡量標(biāo)準(zhǔn)；S5、根據(jù)視覺(jué)關(guān)注度權(quán)值確定新的RDO代價(jià)計(jì)算公式；S6、確定新的RDO代價(jià)計(jì)算公式中的經(jīng)驗(yàn)值；S7、根據(jù)新的RDO代價(jià)計(jì)算公式計(jì)算每種預(yù)測(cè)模式下的RDO代價(jià)；S8、根據(jù)宏塊等級(jí)重新分配每個(gè)宏塊的編碼量化參數(shù)；S9、根據(jù)重新分配的量化參數(shù)編碼當(dāng)前編碼幀的每個(gè)宏塊；重復(fù)步驟SI到S9，直到編碼結(jié)束。優(yōu)選的，所述的步驟SI中，如果當(dāng)前編碼幀是I幀，則通過(guò)Canny邊緣檢測(cè)算法檢測(cè)視覺(jué)關(guān)注區(qū)域，并統(tǒng)計(jì)該幀的邊緣點(diǎn)總數(shù)；如果當(dāng)前編碼幀是P幀或B幀，則根據(jù)運(yùn)動(dòng)矢量特征分布得到視覺(jué)關(guān)注區(qū)域，對(duì)所有宏塊進(jìn)行運(yùn)動(dòng)估計(jì)，得到宏塊運(yùn)動(dòng)矢量，如果宏塊運(yùn)動(dòng)矢量為(X，I),則其強(qiáng)度為再計(jì)算宏塊運(yùn)動(dòng)矢量強(qiáng)度均值以及方差，并統(tǒng)計(jì)該幀所有運(yùn)動(dòng)矢量強(qiáng)度方差之和。優(yōu)選的，所述的步驟S2中，如果當(dāng)前編碼幀是I幀，根據(jù)宏塊包含的邊緣像素點(diǎn)個(gè)數(shù)對(duì)宏塊進(jìn)行分級(jí)；如果當(dāng)前編碼幀是P幀或B幀，根據(jù)宏塊運(yùn)動(dòng)矢量強(qiáng)度與所在幀運(yùn)動(dòng)矢量強(qiáng)度均值的關(guān)系判定該宏塊的量化參數(shù)等級(jí)。優(yōu)選的，所述的步驟S3中，對(duì)于I幀中的宏塊，視覺(jué)關(guān)注度權(quán)值等于該宏塊包含邊緣像素點(diǎn)占整幀邊緣像素點(diǎn)的比例；對(duì)于P幀和B幀的宏塊，視覺(jué)關(guān)注度權(quán)值等于該宏塊運(yùn)動(dòng)矢量強(qiáng)度方差和該幀所有宏塊的運(yùn)動(dòng)矢量強(qiáng)度方差總和之比。優(yōu)選的，所述的步驟S4中，在采用結(jié)構(gòu)相似度SSIM作為失真準(zhǔn)則進(jìn)行宏塊預(yù)測(cè)模式選擇時(shí)，假設(shè)原圖像為X，重建圖像為y，則X和I的結(jié)構(gòu)相似度SSIM可表示為:SSIM(x，y) = I (X，y).c (X, y).s (X, y)其中 I (x, y)、c (x, y)、s (x, y)分別表示兩圖像的亮度相關(guān)性、對(duì)比度相關(guān)性以及結(jié)構(gòu)相關(guān)性。優(yōu)選的，所述的步驟S5中，新的RDO代價(jià)計(jì)算公式為:Jcmsst =K.Dssim.( a +w) + λ SSIM.Rmb ;其中Rmb為碼率大?。沪?SSIM為率失真平衡參數(shù)，取值與x264原有SSD失真標(biāo)準(zhǔn)下的相同；DSSIM為失真度，取值范圍為
；w為視覺(jué)關(guān)注度權(quán)值；1(和α為經(jīng)驗(yàn)值;w的大小直接影響失真度在RDO代價(jià)中所占的比重，從而對(duì)視覺(jué)關(guān)注區(qū)域的宏塊在率失真優(yōu)化階段優(yōu)先考慮視覺(jué)失真度，保證宏塊的視覺(jué)質(zhì)量。優(yōu)選的，所述的步驟S6中，確定經(jīng)驗(yàn)值α為0.01，并確定經(jīng)驗(yàn)值K為:1幀中非精細(xì)化RDO以及16x16分塊下精細(xì)化RDO的K值為300000，4x4分塊下精細(xì)化RDO的K值為5000 ;對(duì)于P幀和B幀非精細(xì)化RD0，統(tǒng)計(jì)幀中運(yùn)動(dòng)矢量強(qiáng)度不為O的宏塊數(shù)占幀宏塊總數(shù)的比例，若比例大于60%則K值設(shè)為300000，否則K值設(shè)為100000 ;精細(xì)化RDO下K值設(shè)為30000。優(yōu)選的，所述的步驟S8中，量化參數(shù)的調(diào)整根據(jù)宏塊級(jí)別得到，重新分配的量化參數(shù)隨著宏塊等級(jí)的遞增而線(xiàn)性遞減，對(duì)I幀宏塊降低其量化參數(shù)，而對(duì)P幀或B幀宏塊則提高其量化參數(shù)，以使視頻序列的碼率分配趨于均衡。本發(fā)明的原理為:對(duì)于視頻的內(nèi)容，在空域上，物體邊緣對(duì)人眼的視覺(jué)感知起著重要的作用，而在時(shí)域上，一個(gè)區(qū)域的運(yùn)動(dòng)屬性相對(duì)于其周?chē)鷧^(qū)域運(yùn)動(dòng)具有顯著變化會(huì)能引起人眼的重點(diǎn)關(guān)注。因此，在使用H.264標(biāo)準(zhǔn)進(jìn)行視頻編碼時(shí)，可利用其本身基于宏塊的分析機(jī)制實(shí)現(xiàn)快速的人眼視覺(jué)關(guān)注區(qū)域的檢測(cè)。本發(fā)明提出通過(guò)邊緣檢測(cè)算法識(shí)別視頻I幀中的視覺(jué)關(guān)注區(qū)域，邊緣檢測(cè)的目的是提取圖像中亮度變化明顯的區(qū)域。實(shí)現(xiàn)邊緣檢測(cè)的方法有許多種，目前最常用的是Canny邊緣檢測(cè)算法，該算法可以很好地降低圖像中的噪聲，同時(shí)較為準(zhǔn)確地確定圖像邊緣的位置；而對(duì)于視頻時(shí)域的運(yùn)動(dòng)顯著特征捕捉，目前已存在多種相關(guān)的視頻圖像運(yùn)動(dòng)檢測(cè)算法包括幀間差分法、背景差分法、光流法等，以上運(yùn)動(dòng)檢測(cè)方式均在實(shí)際應(yīng)用中取得過(guò)一定效果，但卻都是基于像素的分析，復(fù)雜度較高。本發(fā)明中將利用H.264中原有的幀間編碼運(yùn)動(dòng)矢量分析機(jī)制，提出一種運(yùn)動(dòng)顯著特征模型檢測(cè)P/B幀中的視覺(jué)關(guān)注區(qū)域，對(duì)視覺(jué)關(guān)注區(qū)域重點(diǎn)編碼；為保證視覺(jué)關(guān)注區(qū)域失真度衡量?jī)?yōu)先，本發(fā)明將建立基于視覺(jué)關(guān)注度權(quán)值與SSIM的RDO代價(jià)函數(shù)，可以進(jìn)一步提高視覺(jué)關(guān)注區(qū)域的圖像質(zhì)量。本發(fā)明以實(shí)際應(yīng)用為出發(fā)點(diǎn)，針對(duì)低帶寬網(wǎng)絡(luò)環(huán)境下的移動(dòng)視頻應(yīng)用而提出，并在x264 (版本為0.76.X)編碼器上驗(yàn)證了本方法的有效性。本發(fā)明應(yīng)用于低碼率情況下的視頻編碼系統(tǒng)中。區(qū)別于傳統(tǒng)的編碼方法，本發(fā)明能夠在碼率非常有限的情況下，智能地識(shí)別出人視覺(jué)關(guān)注的區(qū)域并調(diào)整宏塊的碼率分配，進(jìn)而結(jié)合結(jié)構(gòu)相似度重新構(gòu)造了與視覺(jué)關(guān)注區(qū)域權(quán)重相關(guān)的率失真模型，實(shí)現(xiàn)快速的、更符合人眼視覺(jué)特征的視頻編碼。與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果及主要優(yōu)點(diǎn):1、邊緣檢測(cè)技術(shù)的應(yīng)用有利于幀內(nèi)編碼實(shí)現(xiàn)符合人眼視覺(jué)特征的碼率分配。2、基于塊的運(yùn)動(dòng)矢量特征檢測(cè)模型的建立有利于幀間編碼實(shí)現(xiàn)符合人眼視覺(jué)特征的碼率分配。3、基于塊的運(yùn)動(dòng)矢量特征檢測(cè)模型嵌入在編碼過(guò)程，不需要任何離線(xiàn)操作，能夠?qū)σ曨l序列進(jìn)行實(shí)時(shí)運(yùn)動(dòng)檢測(cè)。4、能夠應(yīng)用于各種基于H.264標(biāo)準(zhǔn)的視頻編碼系統(tǒng)中，可移植性強(qiáng)。


圖1是基于H.264的視覺(jué)關(guān)注區(qū)域編碼方法框圖；圖2是基于視覺(jué)關(guān)注區(qū)域的編碼方法流程圖；圖3是基于視覺(jué)關(guān)注度權(quán)值和SSM的RDO流程圖。
具體實(shí)施例方式下面結(jié)合實(shí)施例及附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)的描述，但本發(fā)明的實(shí)施方式不限于此。實(shí)施例根據(jù)H.264編碼流程，基于本發(fā)明的編碼方法流程圖如圖1所示。該方法利用Canny邊緣檢測(cè)技術(shù)檢測(cè)出I幀中包含重要邊緣信息的宏塊,依據(jù)各宏塊包含邊緣信息的多少調(diào)整編碼量化參數(shù)，實(shí)現(xiàn)幀內(nèi)編碼比特率的合理分配；對(duì)于P幀和B幀，建立了基于宏塊級(jí)的運(yùn)動(dòng)特征檢測(cè)模型，該模型根據(jù)宏塊的運(yùn)動(dòng)矢量與所在幀的平均運(yùn)動(dòng)矢量的方差分布調(diào)整編碼量化參數(shù)，實(shí)現(xiàn)幀間編碼比特率的合理分配；并在率失真優(yōu)化技術(shù)的基礎(chǔ)上，建立基于結(jié)構(gòu)相似度的與視覺(jué)關(guān)注區(qū)域權(quán)重相關(guān)的率失真優(yōu)化函數(shù)。
本發(fā)明提供的編碼方法主要應(yīng)用于解決低碼率下基于H.264的視頻編碼系統(tǒng)中的碼率分配的快速優(yōu)化，實(shí)現(xiàn)在碼率有限情況下人眼對(duì)視頻視覺(jué)感知的更佳效果。如圖1、2及3所示，具體實(shí)施方法按以下三方面的具體步驟完成:一、基于邊緣檢測(cè)算法的I幀視覺(jué)關(guān)注區(qū)域檢測(cè)在本發(fā)明中，由于I幀采用幀內(nèi)模式編碼，對(duì)視頻圖像的細(xì)節(jié)如紋理、邊緣能更好地保存，因而邊緣檢測(cè)算法將主要應(yīng)用于I幀，包含較多邊緣點(diǎn)的宏塊可以認(rèn)為是I幀的視覺(jué)關(guān)注區(qū)域，再根據(jù)宏塊包含的邊緣點(diǎn)所占幀邊緣點(diǎn)比例大小分配I幀率失真優(yōu)化權(quán)值以及量化參數(shù)調(diào)整等級(jí)，進(jìn)而達(dá)到動(dòng)態(tài)調(diào)整每個(gè)宏塊碼率大小的目的。其主要流程原理如下:①在編碼I幀之前，應(yīng)用Canny邊緣檢測(cè)算法檢測(cè)視覺(jué)關(guān)注區(qū)域，并統(tǒng)計(jì)該幀的邊緣點(diǎn)總數(shù)；②對(duì)于每個(gè)16x16宏塊，根據(jù)宏塊包含的邊緣像素點(diǎn)個(gè)數(shù)對(duì)宏塊進(jìn)行分級(jí)，邊緣像素點(diǎn)越多，宏塊級(jí)別越高，在稍后的編碼中將會(huì)分配更低的量化參數(shù)以提高宏塊編碼質(zhì)量;③根據(jù)宏塊包含邊緣像素點(diǎn)占整幀邊緣像素點(diǎn)的比例計(jì)算出每個(gè)宏塊用于率失真優(yōu)化的視覺(jué)關(guān)注度權(quán)值w ;④根據(jù)宏塊等級(jí)重新分配量化參數(shù)，重新分配的量化參數(shù)隨著宏塊等級(jí)的遞增而線(xiàn)性遞減；⑤根據(jù)重新分配的量化參數(shù)編碼I幀的每個(gè)宏塊。本實(shí)施例中，采用邊緣檢測(cè)算法對(duì)I幀視覺(jué)關(guān)注區(qū)域進(jìn)行檢測(cè)時(shí)，具體步驟如下:①初始化結(jié)構(gòu)空間和變量；②讀取一巾貞為當(dāng)前巾貞curFrame,判斷當(dāng)前巾貞curFrame是否是I巾貞,如果是I巾貞，將I幀Y分量數(shù)據(jù)拷貝進(jìn)臨時(shí)結(jié)構(gòu)空間；③對(duì)I幀Y分量進(jìn)行Canny邊緣檢測(cè)算法檢測(cè)邊緣；④對(duì)于每個(gè)16x16宏塊,根據(jù)邊緣像素點(diǎn)的個(gè)數(shù)m分配量化參數(shù)等級(jí)level:a)若m為0，則level為O ;否貝丨J，轉(zhuǎn)b)；b)若m小于8,則level為I ;否則,轉(zhuǎn)c)；c)若m小于24,則level為2 ;否則,轉(zhuǎn)d)；d)若m小于56，則level為3 ;否則，轉(zhuǎn)e)；e)若m大于或等于56,貝丨J level為4 ;結(jié)束level賦值。⑤統(tǒng)計(jì)該巾貞所有邊緣像素點(diǎn)的個(gè)數(shù)s,對(duì)于每個(gè)16x16宏塊,根據(jù)邊緣像素點(diǎn)占該幀幀邊緣像素點(diǎn)的比例，確定該宏塊用于率失真優(yōu)化的視覺(jué)關(guān)注度權(quán)值w=m/s ；⑥對(duì)當(dāng)前幀curFrame進(jìn)行編碼，在編碼宏塊過(guò)程中，根據(jù)宏塊的量化參數(shù)等級(jí)level，對(duì)該宏塊進(jìn)行編碼量化參數(shù)調(diào)整，具體如下:如果level為O級(jí)，則量化參數(shù)qp減少O ;如果level為I級(jí)，則量化參數(shù)qp減少I(mǎi) ;如果level為2級(jí)，則量化參數(shù)qp減少2 ；如果level為3級(jí)，則量化參數(shù)qp減少3 ；如果level為4級(jí)，則量化參數(shù)qp減少4 ；
⑦使用調(diào)整后的量化參數(shù)對(duì)當(dāng)前巾貞curFrame進(jìn)行編碼,直至當(dāng)前巾貞curFrame所有宏塊編碼完成；⑧若當(dāng)前巾貞curFrame不是最后一巾貞,跳至第②步；否則編碼結(jié)束。二、基于運(yùn)動(dòng)矢量特征的P幀和B幀視覺(jué)關(guān)注區(qū)域檢測(cè)在視頻序列中，物體的運(yùn)動(dòng)特征越突出越容易吸引人眼的關(guān)注。P幀和B幀中運(yùn)動(dòng)物體所占據(jù)的宏塊一般具備較大的運(yùn)動(dòng)矢量強(qiáng)度，通過(guò)分析宏塊的矢量強(qiáng)度與幀整體的運(yùn)動(dòng)趨勢(shì)之間的關(guān)系，就可判定宏塊的運(yùn)動(dòng)特征是否突出，將運(yùn)動(dòng)特征突出的宏塊作為視覺(jué)關(guān)注區(qū)域進(jìn)行重點(diǎn)編碼，其他宏塊則相對(duì)降低編碼質(zhì)量，以達(dá)到P幀和B幀碼率均衡分配的效果。對(duì)于在P幀和B幀中檢測(cè)到的視覺(jué)關(guān)注區(qū)域，將根據(jù)其運(yùn)動(dòng)矢量強(qiáng)度方差分配率失真優(yōu)化權(quán)值，并根據(jù)運(yùn)動(dòng)矢量強(qiáng)度均值分配量化參數(shù)調(diào)整等級(jí)，以此達(dá)到動(dòng)態(tài)調(diào)整宏塊碼率分配的目的。其主要流程原理如下:①對(duì)于P幀或B幀中采用幀間編碼模式的宏塊，本發(fā)明先對(duì)所有宏塊進(jìn)行運(yùn)動(dòng)估計(jì)，得到所有宏塊的運(yùn)動(dòng)矢量，再計(jì)算其強(qiáng)度；②計(jì)算整幀所有宏塊的運(yùn)動(dòng)矢量強(qiáng)度均值以及每個(gè)宏塊的運(yùn)動(dòng)矢量強(qiáng)度的方差;③根據(jù)運(yùn)動(dòng)矢量強(qiáng)度方差和該幀所有宏塊的運(yùn)動(dòng)矢量強(qiáng)度方差總和之比確定每個(gè)宏塊用于率失真優(yōu)化的視覺(jué)關(guān)注度權(quán)值w ；④根據(jù)宏塊運(yùn)動(dòng)矢量強(qiáng)度與所在幀運(yùn)動(dòng)矢量強(qiáng)度均值的關(guān)系對(duì)宏塊進(jìn)行分級(jí)，運(yùn)動(dòng)矢量強(qiáng)度越大等級(jí)越高；⑤根據(jù)宏塊等級(jí)重新分配量化參數(shù)，重新分配的量化參數(shù)隨著宏塊等級(jí)的遞增而線(xiàn)性遞減；⑥根據(jù)重新分配的量化參數(shù)編碼P幀或B幀的每個(gè)宏塊。在本實(shí)施例中，基于運(yùn)動(dòng)矢量特征對(duì)P幀和B幀視覺(jué)關(guān)注區(qū)域檢測(cè)，具體包括以下步驟:①初始化用于運(yùn)動(dòng)矢量強(qiáng)度計(jì)算結(jié)構(gòu)體和變量；②如果當(dāng)前巾貞curFrame是P巾貞,遍歷巾貞中所有宏塊進(jìn)行運(yùn)動(dòng)估計(jì)后提取運(yùn)動(dòng)矢量(X，y)，將運(yùn)動(dòng)矢量轉(zhuǎn)化為強(qiáng)度，強(qiáng)度intensity=sqrt (x*x+y*y)；③為所有宏塊運(yùn)動(dòng)矢量強(qiáng)度求和，計(jì)算強(qiáng)度平均值avg_intenSity，再根據(jù)均值確定每個(gè)宏塊運(yùn)動(dòng)矢量強(qiáng)度的方差Oi，并統(tǒng)計(jì)所有宏塊強(qiáng)度方差的總和Σ oi；④確定每個(gè)宏塊用于率失真優(yōu)化的視覺(jué)關(guān)注度權(quán)值Wi= σ y Σ Qi⑤根據(jù)強(qiáng)度均值avg_intensity確定每個(gè)宏塊量化參數(shù)等級(jí)level:a)如果宏塊運(yùn)動(dòng)矢量強(qiáng)度為0，則level為O ;否則，轉(zhuǎn)b)；b)如果宏塊運(yùn)動(dòng)矢量強(qiáng)度小于或等于avg_intensity*0.5,則level為I ;否則，轉(zhuǎn)c)；c)如果宏塊運(yùn)動(dòng)矢量強(qiáng)度小于或等于avg_intensity,則level為2 ;否則,轉(zhuǎn)d)；d)如果宏塊運(yùn)動(dòng)矢量強(qiáng)度小于或等于avg_intensity*2,則level為3 ;否則,轉(zhuǎn)e)；e)如果宏塊運(yùn)動(dòng)矢量強(qiáng)度大于avg_intensity*2,則level為4 ;level賦值結(jié)束。⑥對(duì)宏塊進(jìn)行編碼時(shí)，根據(jù)宏塊的量化參數(shù)等級(jí)level對(duì)該宏塊的量化參數(shù)進(jìn)行調(diào)整，具體如下:如果level為O級(jí)，則量化參數(shù)qp增加4 ;如果level為I級(jí)，則量化參數(shù)qp增加3 ;如果level為2級(jí)，則量化參數(shù)qp增加2 ;如果level為3級(jí)，則量化參數(shù)qp增加I ;如果level為4級(jí)，則量化參數(shù)qp增加O ;⑦使用調(diào)整后的量化參數(shù)對(duì)當(dāng)前巾貞curFrame進(jìn)行編碼,直至當(dāng)前巾貞curFrame所有宏塊編碼完成；⑧若當(dāng)前巾貞curFrame不是最后一巾貞,跳至第②步；否則編碼結(jié)束。三、基于視覺(jué)關(guān)注度權(quán)值以及SSM的RDO改進(jìn)實(shí)施方案本發(fā)明中采用了結(jié)構(gòu)相似度(SSIM)作為了 RDO失真衡量標(biāo)準(zhǔn)，取代原x264編碼器中使用的SSD標(biāo)準(zhǔn)，以使編碼模式的選擇更為準(zhǔn)確，同時(shí)結(jié)合前述I和2中提到的視覺(jué)關(guān)注度權(quán)值w的計(jì)算，得到本發(fā)明使用的率失真優(yōu)化公式:Jcost — K.Dssim.( ct +w) + λ SSIM.Rmb (I)(I)式中Rmb為碼率大??；Xssim為率失真平衡參數(shù)，本發(fā)明中它的取值與χ264原有SSD失真標(biāo)準(zhǔn)下的相同；DSSIM為失真度，這里表示為1-SSM，SSM取值范圍是
。假設(shè)原圖像為X，重建圖像為y，則X和I的結(jié)構(gòu)相似度SSIM可表示為:SSIM (X, y) = I (x, y).c(x, y).s (x, y) (2)(2)式中，I(x, y)、c(x, y)、s(x, y)分別表示兩圖像的亮度相關(guān)性、對(duì)比度相關(guān)性以及結(jié)構(gòu)相關(guān)性。(具體見(jiàn)Wang Zhou, Bovik AC等人著的A universal image qualityindex 一文)。(I)式中K和α是經(jīng)驗(yàn)值，通過(guò)大量的實(shí)驗(yàn)表明，給I幀和P幀、B幀分配不同的K值可以得到較好的率失真優(yōu)化效果。本發(fā)明中設(shè)置α為0.01，對(duì)于K的設(shè)置如下:①I(mǎi)幀中非精細(xì)化RDO以及16x16分塊下精細(xì)化RDO的K值為300000,4x4分塊下精細(xì)化RDO的K值為5000 ；②對(duì)于P幀和B幀非精細(xì)化RD0，統(tǒng)計(jì)幀中運(yùn)動(dòng)矢量強(qiáng)度不為O的宏塊數(shù)占幀宏塊總數(shù)的比例，若比例大于60%則K值設(shè)為300000，否則K值設(shè)為100000 ;精細(xì)化RDO下K值設(shè)為30000。在本實(shí)施例中，改進(jìn)后的χ264基于視覺(jué)關(guān)注度權(quán)值和SSM的RDO可分為以下步驟:①使用SSM計(jì)算函數(shù)替換χ264編碼器Ι、Ρ、Β通用RDO函數(shù)x264_rd_cost_mb、I中貞4x4分塊下精細(xì)化RDO函數(shù)264_rd_cost_i4x4以及P巾貞精細(xì)化RDO函數(shù)x264_rd_cost_part>x264_rd_cost_subpart中原有的SSD計(jì)算函數(shù)，I巾貞8x8分塊下精細(xì)化RDO函數(shù)由于未啟用而不替換，SSIM的計(jì)算由公式(2)得到；②在第一輪RDO中，確定宏塊的最佳分塊模式，此階段的RDO函數(shù)是1、P、B幀通用RDO函數(shù)。根據(jù)公式(I )，如果當(dāng)前編碼幀是I幀，則經(jīng)驗(yàn)值K設(shè)為300000，如果是P或B幀，則根據(jù)當(dāng)前編碼幀中運(yùn)動(dòng)矢量不為O的比例分配K值，如果該比例大于60%，則設(shè)置K值為300000，否則設(shè)為100000 ；③在精細(xì)化RDO中，對(duì)最佳分塊模式下各種預(yù)測(cè)模式進(jìn)行率失真代價(jià)計(jì)算，以確定最佳預(yù)測(cè)模式。此階段I幀16x16分塊下精細(xì)化RDO函數(shù)的K值設(shè)為300000,4x4分塊下精細(xì)化RDO函數(shù)K值設(shè)為5000，P幀和B幀精細(xì)化RDO函數(shù)K值設(shè)為30000 ；④根據(jù)公式(1)，在1、P、B幀通用RDO函數(shù)以及各精細(xì)化RDO函數(shù)中加入每個(gè)宏塊的視覺(jué)關(guān)注度權(quán)值的影響，即K* (1-SSIM) * ( a +w)，經(jīng)驗(yàn)值α設(shè)為0.01，w為每個(gè)宏塊視覺(jué)關(guān)注度權(quán)值；⑤公式(I)中λ SSIM.Rmb的計(jì)算按照x264原有計(jì)算完成，接著各RDO函數(shù)返回公式(I)計(jì)算的結(jié)果，即RDO代價(jià)Jkbt用于幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)模式的選擇。表I本方法定義的主要數(shù)據(jù)結(jié)構(gòu)和變量
權(quán)利要求
1.一種低碼率下視覺(jué)關(guān)注區(qū)域的視頻編碼方法，其特征在于，包含以下幾個(gè)步驟: 51、讀取當(dāng)前編碼幀，判斷當(dāng)前編碼幀類(lèi)別，確定當(dāng)前編碼幀視覺(jué)關(guān)注區(qū)域； 52、確定當(dāng)前編碼幀所有宏塊的量化參數(shù)調(diào)整等級(jí)； 53、確定當(dāng)前編碼幀所有宏塊的視覺(jué)關(guān)注度權(quán)值； 54、采用結(jié)構(gòu)相似度SSIM作為宏塊預(yù)測(cè)模式選擇時(shí)RDO失真衡量標(biāo)準(zhǔn)； 55、根據(jù)視覺(jué)關(guān)注度權(quán)值確定新的RDO代價(jià)計(jì)算公式； 56、確定新的RDO代價(jià)計(jì)算公式中的經(jīng)驗(yàn)值； 57、根據(jù)新的RDO代價(jià)計(jì)算公式計(jì)算每種預(yù)測(cè)模式下的RDO代價(jià)； 58、根據(jù)宏塊等級(jí)重新分配每個(gè)宏塊的編碼量化參數(shù)； 59、根據(jù)重新分配 的量化參數(shù)編碼當(dāng)前編碼幀的每個(gè)宏塊； 重復(fù)步驟SI到S9，直到編碼結(jié)束。
2.根據(jù)權(quán)利要求1所述的低碼率下視覺(jué)關(guān)注區(qū)域的視頻編碼方法，其特征在于，所述的步驟SI中，如果當(dāng)前編碼幀是I幀，則通過(guò)Canny邊緣檢測(cè)算法檢測(cè)視覺(jué)關(guān)注區(qū)域，并統(tǒng)計(jì)該幀的邊緣點(diǎn)總數(shù)；如果當(dāng)前編碼幀是P幀或B幀，則根據(jù)運(yùn)動(dòng)矢量特征分布得到視覺(jué)關(guān)注區(qū)域，對(duì)所有宏塊進(jìn)行運(yùn)動(dòng)估計(jì)，得到宏塊運(yùn)動(dòng)矢量，如果宏塊運(yùn)動(dòng)矢量為(x，y)，則其強(qiáng)度為再計(jì)算宏塊運(yùn)動(dòng)矢量強(qiáng)度均值以及方差，并統(tǒng)計(jì)該幀所有運(yùn)動(dòng)矢量強(qiáng)度方差之和。
3.根據(jù)權(quán)利要求1所述的低碼率下視覺(jué)關(guān)注區(qū)域的視頻編碼方法，其特征在于，所述的步驟S2中，如果當(dāng)前編碼幀是I幀，根據(jù)宏塊包含的邊緣像素點(diǎn)個(gè)數(shù)對(duì)宏塊進(jìn)行分級(jí)；如果當(dāng)前編碼幀是P幀或B幀，根據(jù)宏塊運(yùn)動(dòng)矢量強(qiáng)度與所在幀運(yùn)動(dòng)矢量強(qiáng)度均值的關(guān)系判定該宏塊的量化參數(shù)等級(jí)。
4.根據(jù)權(quán)利要求1所述的低碼率下視覺(jué)關(guān)注區(qū)域的視頻編碼方法，其特征在于，所述的步驟S3中，對(duì)于I幀中的宏塊,視覺(jué)關(guān)注度權(quán)值等于該宏塊包含邊緣像素點(diǎn)占整幀邊緣像素點(diǎn)的比例；對(duì)于P幀和B幀的宏塊，視覺(jué)關(guān)注度權(quán)值等于該宏塊運(yùn)動(dòng)矢量強(qiáng)度方差和該幀所有宏塊的運(yùn)動(dòng)矢量強(qiáng)度方差總和之比。
5.根據(jù)權(quán)利要求1所述的低碼率下視覺(jué)關(guān)注區(qū)域的視頻編碼方法，其特征在于，所述的步驟S4中，在采用結(jié)構(gòu)相似度SSIM作為失真準(zhǔn)則進(jìn)行宏塊預(yù)測(cè)模式選擇時(shí)，假設(shè)原圖像為X，重建圖像為y，則X和y的結(jié)構(gòu)相似度SSIM可表示為:SSIM(x,y) = I (x, y).c(x,y) *s(x,y),其中I (x, y)、c(x, y)、s(x, y)分別表示兩圖像的亮度相關(guān)性、對(duì)比度相關(guān)性以及結(jié)構(gòu)相關(guān)性。
6.根據(jù)權(quán)利要求1或5所述的低碼率下視覺(jué)關(guān)注區(qū)域的視頻編碼方法，其特征在于，所述的步驟S5中，新的RDO代價(jià)計(jì)算公式為-Jcost = K.Dssim.( a +w) + λ SSIM.Rmb ;其中Rmb為碼率大小；λ ssiM為率失真平衡參數(shù)，取值與x264原有SSD失真標(biāo)準(zhǔn)下的相同；Dssim為失真度，取值范圍為
;w為視覺(jué)關(guān)注度權(quán)值；K和α為經(jīng)驗(yàn)值。
7.根據(jù)權(quán)利要求6所述的低碼率下視覺(jué)關(guān)注區(qū)域的視頻編碼方法，其特征在于，所述的步驟S6中，確定經(jīng)驗(yàn)值α為0.01，并確定經(jīng)驗(yàn)值K為:1幀中非精細(xì)化RDO以及16x16分塊下精細(xì)化RDO的K值為300000,4x4分塊下精細(xì)化RDO的K值為5000 ;對(duì)于P幀和B幀非精細(xì)化RD0，統(tǒng)計(jì)幀中運(yùn)動(dòng)矢量強(qiáng)度不為O的宏塊數(shù)占幀宏塊總數(shù)的比例，若比例大于60%則K值設(shè)為300000，否則K值設(shè)為100000 ;精細(xì)化RDO下K值設(shè)為30000。
8.根據(jù)權(quán)利要求6所述的低碼率下視覺(jué)關(guān)注區(qū)域的視頻編碼方法，其特征在于，所述的步驟S8中，量化參數(shù)的調(diào)整根據(jù)宏塊級(jí)別得到，重新分配的量化參數(shù)隨著宏塊等級(jí)的遞增而線(xiàn)性遞減，對(duì) I幀宏塊降低其量化參數(shù)，而對(duì)P幀或B幀宏塊則提高其量化參數(shù)。
全文摘要
本發(fā)明為一種低碼率下基于H.264的視覺(jué)關(guān)注區(qū)域的視頻編碼方法，包括步驟判斷當(dāng)前編碼幀類(lèi)別，確定視覺(jué)關(guān)注區(qū)域、當(dāng)前編碼幀所有宏塊的量化參數(shù)調(diào)整等級(jí)、當(dāng)前編碼幀所有宏塊的視覺(jué)關(guān)注度權(quán)值；采用結(jié)構(gòu)相似度SSIM作為失真準(zhǔn)則進(jìn)行宏塊預(yù)測(cè)模式選擇時(shí)RDO失真衡量標(biāo)準(zhǔn)；根據(jù)視覺(jué)關(guān)注度權(quán)值確定新的RDO代價(jià)計(jì)算公式；確定新的RDO代價(jià)計(jì)算公式中的經(jīng)驗(yàn)值；根據(jù)新的RDO代價(jià)計(jì)算公式計(jì)算每種預(yù)測(cè)模式下的RDO代價(jià)；根據(jù)宏塊等級(jí)重新分配每個(gè)宏塊的編碼量化參數(shù)；根據(jù)重新分配的量化參數(shù)編碼當(dāng)前編碼幀的每個(gè)宏塊；重復(fù)上述步驟直到編碼結(jié)束。本發(fā)明可在碼率非常有限的情況下優(yōu)化碼率分配，實(shí)現(xiàn)更符合人眼視覺(jué)特征的視頻編碼。
文檔編號(hào)H04N7/26GK103079063SQ20121055741
公開(kāi)日2013年5月1日 申請(qǐng)日期2012年12月19日 優(yōu)先權(quán)日2012年12月19日
發(fā)明者張星明, 林育蓓, 張吉, 陳銘洙 申請(qǐng)人:華南理工大學(xué)