專利名稱：一種感興趣區(qū)域的率失真優(yōu)化幀內(nèi)刷新與碼率分配方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種感興趣區(qū)域的率失真優(yōu)化幀內(nèi)刷新與碼率分配方法，屬于視 頻通信領(lǐng)域。
背景技術(shù)：
視頻處理技術(shù)廣泛采用預(yù)測編碼，當(dāng)視頻在易受干擾無線信道上傳輸時(shí)，傳 輸差錯(cuò)在時(shí)空域擴(kuò)散，導(dǎo)致視頻質(zhì)量迅速降低。受損宏塊的幀內(nèi)編碼更新能有效 的阻止差錯(cuò)在時(shí)域上的擴(kuò)散，提高視頻差錯(cuò)的恢復(fù)能力，然而卻以降低信源編碼 效率為代價(jià)。因此，如何合理的進(jìn)行幀內(nèi)宏塊刷取得視頻魯棒性和編碼效率的折 衷就具有重要研究意義。
在目前已有的幀內(nèi)刷新算法中，文獻(xiàn)Yuan Zhang, Wen Gao， Yan Lu, Qingming Huang, and Debin Zhao. Joint Source-Channel Rate-Distortion Optimization for H.264 Video Coding Over Error-Prone Networks, IEEE Trans. Multimedia, Vol.9， No.3, pp: 445-454. Apr.2007.分析了丟失信道下的端到端失真 估計(jì)方法，文獻(xiàn)Quqing Chen, Zhibo Chen, Xiaodong Gu, and Charles Wang. Attention-based adaptive intra refresh for error-prone video transmission, IEEE Communications Magazine, Vol.45， No.l， pp: 52-60. Jan.2007.根據(jù)人眼對視頻圖像 有的區(qū)域感興趣有的區(qū)域不太關(guān)注的特點(diǎn)，提出基于人眼視覺特性的感興趣區(qū)域 的幀內(nèi)宏塊刷新，但是感興趣區(qū)域幀內(nèi)宏塊的增加也必然增加了碼率開銷，在碼 率受限時(shí)會對主觀圖像質(zhì)量有很大影響。

發(fā)明內(nèi)容
為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種感興趣區(qū)域的率失真優(yōu)化 幀內(nèi)刷新與碼率分配方法，根據(jù)宏塊所在區(qū)域來計(jì)算失真并重新分配碼率，提高 了碼率受限情況下的主觀圖像質(zhì)量。
實(shí)現(xiàn)本發(fā)明目的采用的技術(shù)方案是一種感興趣區(qū)域的率失真優(yōu)化幀內(nèi)刷新 與碼率分配方法，其特征在于先根據(jù)端到端的全局失真理論分析易錯(cuò)下視頻傳
輸?shù)亩说蕉巳质д?，包括信源失真和信道失真；再推?dǎo)信道失真計(jì)算公式，并 根據(jù)率失真理論得到基于感興趣區(qū)域的視頻編碼拉格朗爾代價(jià)函數(shù)公式，然后根
據(jù)宏塊的時(shí)空相關(guān)性得到當(dāng)前宏塊的復(fù)雜度的加權(quán)預(yù)測模型，再根據(jù)預(yù)測得到的 當(dāng)前宏塊的復(fù)雜度和宏塊所在區(qū)域來計(jì)算該宏塊的目標(biāo)碼率，重復(fù)上述步驟，直 至當(dāng)前幀編碼完畢，具體步驟如下
(1) 根據(jù)全局率失真理論計(jì)算當(dāng)前宏塊的信源失真DS(n，m)，
<formula>complex formula see original document page 5</formula>
其中F(w, w) 、 F(w, w)分別為第"幀第m個(gè)宏塊的原始值和在編碼端的重建值；
(2) 根據(jù)假定的包丟失率p分別計(jì)算幀內(nèi)宏塊的信道失真和幀間宏 塊的信道失真Dc-I(n，m):
<formula>complex formula see original document page 5</formula>
其中Z^(",m)為錯(cuò)誤傳播失真，Z^(",m)為錯(cuò)誤掩蓋失真，F(xiàn)("，m)為第"幀第m 個(gè)宏塊在編碼端的重建值，D。("-l，y')為第n-l幀第y'個(gè)宏塊的信道失真，p為
假定的信道丟包率；
(3) 根據(jù)宏塊的信源失真和信道失真來計(jì)算其總失真DS(n，m)，
<formula>complex formula see original document page 5</formula>
(4) 根據(jù)宏塊所在區(qū)域的區(qū)域權(quán)重因子F,計(jì)算宏塊的拉格朗爾代價(jià)函數(shù) <formula>complex formula see original document page 5</formula>
其中J("，m，o)表示第"幀第m個(gè)宏塊的編碼模式o，化(",m，o)、 D印(",m,o)和 / (w, m，o)分別表示第w幀第w個(gè)宏塊在編碼模式o下的信源失真、錯(cuò)誤傳播失真
和碼率，F(xiàn)，是區(qū)域權(quán)重因子，；i為拉格朗爾乘子；
(5) 根據(jù)前一幀和當(dāng)前幀中已編碼宏塊的數(shù)據(jù)計(jì)算當(dāng)前宏塊的復(fù)雜度A^D值 和當(dāng)前幀所有宏塊的復(fù)雜度之和f]7W^i)(n，m)，其中M表示一幀中宏塊個(gè)數(shù)，
M4D(",附)表示第m個(gè)宏塊的復(fù)雜度
當(dāng)前宏塊的M^(D根據(jù)以下模型計(jì)算 如果當(dāng)前宏塊是當(dāng)前幀的第一個(gè)宏塊，那么 M4D(ra, w) = M4Z)(" — 1, m)
如果當(dāng)前宏塊是當(dāng)前幀的最后一個(gè)宏塊，那么 ilf^DO， m) = (2 x M^DO - 1, m) + A/^D(>, m — 1》/3
其余的
M^D(", m) = (MJDO -1， m) + 4 x w -1) + Mv4D( w — 1, m —1)) / 6
其中M^D(", m)表示第w幀第m個(gè)宏塊的M^D值；
AT
(6) 根據(jù)當(dāng)前幀的復(fù)雜度MJZ)和當(dāng)前宏塊的復(fù)雜度<formula>complex formula see original document page 6</formula>以及宏塊所 在區(qū)域的區(qū)域權(quán)重因子F，計(jì)算當(dāng)前宏塊的目標(biāo)碼率r(",m)
<formula>complex formula see original document page 6</formula>其中r(")是分配給第"幀所有宏塊的目標(biāo)比特?cái)?shù)，f]7l^4D("，m)是第"幀中所有
宏塊的M^D值之和，F(xiàn),是宏塊所在區(qū)域的區(qū)域權(quán)重因子；
(7) 根據(jù)全局率失真模型計(jì)算當(dāng)前幀當(dāng)前宏塊的量化步長g(O ;
(8) 若是最后一個(gè)宏塊，則更新碼率控制模型的參數(shù)，結(jié)束操作。
其中步驟(4)中的區(qū)域權(quán)重因子F,閾值在0.5-2.0之間，步驟(6)中的
區(qū)域權(quán)重因子F，閾值在0.5-2.0之間。
本發(fā)明提供的方法根據(jù)宏塊所在區(qū)域來計(jì)算失真并重新分配碼率，提高碼率 首先情況下，提高解碼圖像的主觀質(zhì)量特別是感興趣區(qū)域的主觀質(zhì)量。


下面結(jié)合附圖和具體實(shí)施方式
對本發(fā)明作進(jìn)一步說明。
圖1為本發(fā)明的仿真實(shí)驗(yàn)解碼端信噪比PSNR圖。
圖2為用傳統(tǒng)的非感興趣區(qū)域ROI方法解碼圖像的主觀質(zhì)量圖。
圖3為用本發(fā)明方法解碼圖像的主觀質(zhì)量圖。
圖中1為傳統(tǒng)的非感興趣區(qū)域ROI方法編、解碼后的信噪比，2為用本發(fā) 明方法編、解碼后的信噪比。
具體實(shí)施方式
、
下面結(jié)合實(shí)施例對本發(fā)明作進(jìn)一歩說明，但不限定本發(fā)明。
本實(shí)施例采用H.264/AVC的參考軟件JM12.2作為編解碼器，視頻傳輸采用 3GPP/3GPP2無線IP信道，以下為本發(fā)明實(shí)施例的具體步驟
(1)設(shè)定F(",m)、 F("，w)分別為第"幀第m個(gè)宏塊的原始值和在編碼端的 重建值，假定包丟失率戶=1%，并且感興趣區(qū)域ROI固定，分別計(jì)算幀內(nèi)宏塊 的信道失真Z)^(",m)和幀間宏塊的信道失真D^(",w):
Z)c—, (w, m) = Z)ep (w, m) + Z)ec ("， m) = m)-F("一l, m)]2} + />Z)C(" — 1, w)
Z)c__p (", m) = D印(w, m) + Z>ec O, m)
=(1 — (" — 1，力+ pE([F("， m) _ F(w — 1， /n)]2} + ; Z^ (" _ 1, m)
其中Z^(n，m)為錯(cuò)誤傳播失真，i^(n，m)為錯(cuò)誤掩蓋失真，F(xiàn)("，m)為第"幀第附
個(gè)宏塊在編碼端的重建值，z^("-i，力為第"-i幀第y個(gè)宏塊的信道失真。
(2) 根據(jù)全局率失真理論計(jì)算當(dāng)前宏塊的信源失真， A("，w) = ￡:{[F(w,m)-F(",/n)〗2}。
(3) 根據(jù)宏塊的信源失真和信道失真來計(jì)算其總失真D(",m)，
Z)(w,m) 二 Z)s( ,m) + Z)c(w,m)。
(4) 根據(jù)前一幀和當(dāng)前幀中已編碼宏塊的數(shù)據(jù)計(jì)算當(dāng)前宏塊的復(fù)雜度M^D
值和當(dāng)前幀所有宏塊的復(fù)雜度之和l]MJD^,m)，其中M表示一幀中宏塊個(gè)數(shù)M^D(",m)表示第m個(gè)宏塊的復(fù)雜度。當(dāng)前宏塊的M^4Z)根據(jù)以下模型計(jì)算
如果當(dāng)前宏塊是當(dāng)前幀的第一個(gè)宏塊，那么
M,w， m) = M4"(" -1, m)
如果當(dāng)前宏塊是當(dāng)前幀的最后一個(gè)宏塊，那么 M/1D (", w) = (2 x AfAD O - 1, m) + il^4Z) ("， m - l)) / 3
其余的M/1D(", w) = (MvlD(" -1， m) + 4 x M/1D(", m — 1) + MylD(" -1, n —1)) / 6
其中7^4"(", n)表示第"幀第m個(gè)宏塊的A￡4D值。
(5) 根據(jù)(4)中的計(jì)算結(jié)果計(jì)算當(dāng)前宏塊的目標(biāo)碼率r(",m) r(",附)
<formula>complex formula see original document page 8</formula>
<formula>complex formula see original document page 8</formula>
其中r(n)是分配給第"幀所有宏塊的目標(biāo)比特?cái)?shù)，2il^4Z)(",m)是第"幀中所有
宏塊的M^D值之和，F(xiàn)，是宏塊所在區(qū)域的區(qū)域權(quán)重因子，在本實(shí)施例中，如 果宏塊在ROI內(nèi)部，那么尸，=2.0，否則尸彥=0.5。
(6) 根據(jù)步驟(3)中得到宏塊的失真和步驟(5)中得到估計(jì)碼率以及所在 區(qū)域的區(qū)域權(quán)重因子F，計(jì)算宏塊的拉格朗爾代價(jià)函數(shù)
<formula>complex formula see original document page 8</formula>
其中J("，m，o)表示第"幀第m個(gè)宏塊的編碼模式o， j^(",m,0)、 Z)印(",m,o)和 i ("， m， o)分別表示第n幀第m個(gè)宏塊在編碼模式o下的信源失真、錯(cuò)誤傳播失真 和碼率，F(xiàn)，同步驟(5)， /l為拉格朗爾乘子。
(7) 根據(jù)JM12.2的碼率控制模型計(jì)算當(dāng)前幀當(dāng)前宏塊的量化步長20')。
(8) 重復(fù)步驟(1) (7)，若是最后一個(gè)宏塊，則更新碼率控制模型的參 數(shù)，結(jié)束操作。
本實(shí)施例對QCIF格式的Foreman序列進(jìn)行了測試。編碼碼率固定為 128Kbps，編碼幀數(shù)為100幀，順序?yàn)镮PPPPPP。編碼端分別用傳統(tǒng)的非感興趣 區(qū)域ROI方法和本發(fā)明中提出的方法進(jìn)行編碼，再將編碼碼流經(jīng)過3GPP/3GPP2
無線IP仿真信道傳輸，將得到的碼流在解碼端進(jìn)行解碼，其解碼后的信噪比PSNR 對照圖如圖1所示，圖1中線1為傳統(tǒng)的非感興趣區(qū)域ROI方法編、解碼后的信 噪比，線2為用本發(fā)明方法編、解碼后的信噪比。對應(yīng)的解碼圖像第76幀的主 觀質(zhì)量圖如圖2和圖3所示，圖2為用傳統(tǒng)的非感興趣區(qū)域ROI方法解碼圖像的 主觀質(zhì)量圖，圖3為用本發(fā)明方法解碼圖像的主觀質(zhì)量圖。由圖l、圖2和圖3 可以看出本發(fā)明提高解碼圖像的主觀質(zhì)量特別是感興趣區(qū)域的主觀質(zhì)量。
權(quán)利要求
1.一種感興趣區(qū)域的率失真優(yōu)化幀內(nèi)刷新與碼率分配方法，其特征在于先根據(jù)端到端的全局失真理論分析易錯(cuò)環(huán)境下視頻傳輸?shù)亩说蕉巳质д?，包括信源失真和信道失真；再推?dǎo)信道失真計(jì)算公式，并根據(jù)率失真理論得到基于感興趣區(qū)域的視頻編碼拉格朗爾代價(jià)函數(shù)公式，然后根據(jù)宏塊的時(shí)空相關(guān)性得到當(dāng)前宏塊的復(fù)雜度的加權(quán)預(yù)測模型，再根據(jù)預(yù)測得到的當(dāng)前宏塊的復(fù)雜度和宏塊所在區(qū)域來計(jì)算該宏塊的目標(biāo)碼率，重復(fù)上述步驟，直至當(dāng)前幀編碼完畢，具體步驟如下(1)根據(jù)全局率失真理論計(jì)算當(dāng)前宏塊的信源失真Ds(n，m)，
2. 根據(jù)權(quán)利要求1所述感興趣區(qū)域的率失真優(yōu)化幀內(nèi)刷新與碼率分配方法， 其特征在于步驟(4)中的區(qū)域權(quán)重因子F，閾值在0.5 2.0之間。
3. 根據(jù)權(quán)利要求1所述感興趣區(qū)域的率失真優(yōu)化幀內(nèi)刷新與碼率分配方法， 其特征在于步驟(6)中的區(qū)域權(quán)重因子F，閾值在0.5 2.0之間。
全文摘要
本發(fā)明公開了一種感興趣區(qū)域的率失真優(yōu)化幀內(nèi)刷新與碼率分配方法，首先，根據(jù)端到端的全局失真理論分析易錯(cuò)環(huán)境下視頻傳輸?shù)亩说蕉巳质д?，包括信源失真和信道失真；其次推?dǎo)信道失真計(jì)算公式，并根據(jù)率失真理論得到基于感興趣區(qū)域的視頻編碼拉格朗爾代價(jià)函數(shù)公式；然后根據(jù)宏塊的時(shí)空相關(guān)性得到當(dāng)前宏塊復(fù)雜度的加權(quán)預(yù)測模型；接著根據(jù)預(yù)測得到的當(dāng)前宏塊的復(fù)雜度和宏塊所在區(qū)域來計(jì)算該宏塊的目標(biāo)碼率；最后重復(fù)上述步驟，直至當(dāng)前幀編碼完畢。本發(fā)明根據(jù)人眼關(guān)注的感興趣區(qū)域進(jìn)行幀內(nèi)宏塊刷新和碼率分配，在解碼端獲得更好的主觀視頻圖像質(zhì)量。
文檔編號H04N7/26GK101198058SQ20071016890
公開日2008年6月11日 申請日期2007年12月14日 優(yōu)先權(quán)日2007年12月14日
發(fā)明者明 李, 肖旭青, 胡瑞敏, 阮若林, 浩 陳, 鎮(zhèn) 韓 申請人:武漢大學(xué)