用于估計(jì)視頻質(zhì)量評(píng)估的內(nèi)容復(fù)雜度的方法和裝置的制造方法
【專利說明】
[0001] 相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)要求2012年8月27日提交的TO國(guó)際申請(qǐng)?zhí)朠CT/CN2012/080632的權(quán)益。
技術(shù)領(lǐng)域
[0003] 本發(fā)明涉及一種視頻質(zhì)量測(cè)量，并且更具體地，涉及一種用于確定比特流級(jí)別的 視頻質(zhì)量度量的方法和裝置。所確定的視頻質(zhì)量度量可以隨后用于例如調(diào)整編碼參數(shù)，或 提供接收器側(cè)的所要求的視頻質(zhì)量。
【背景技術(shù)】
[0004] 通常，視頻內(nèi)容紋理越多或越復(fù)雜，人眼可以容忍的視頻內(nèi)容中的偽像越多。也就 是說，當(dāng)通過人眼觀看視頻內(nèi)容時(shí)，視覺偽像可以被視頻內(nèi)容本身屏蔽。人眼的該屬性被認(rèn) 為是屏蔽屬性或屏蔽效應(yīng)。因此，可以在視覺質(zhì)量評(píng)估中考慮內(nèi)容復(fù)雜度。
[0005] 在我們先前的工作中，我們估計(jì)內(nèi)容不可預(yù)測(cè)性（CU)參數(shù)以指示內(nèi)容復(fù)雜度。在 F. Zhang、N. Liao、K. Xie 和 Z. Chen 的、名稱為"Method and apparatus for video quality measurement"的共同擁有的PCT申請(qǐng)中（PCT/CN11/002096,代理人案號(hào)PA110061，在下文 中"Zhangl"），其教導(dǎo)通過引用具體合并于此，我們公開了一種用于使用量化參數(shù)（QP)預(yù) 測(cè)視頻質(zhì)量的方法，該參數(shù)通過取決于內(nèi)容不可預(yù)測(cè)性的校正函數(shù)而調(diào)整。
[0006] 在 F. Zhang、N. Liao、K. Xie 和 Z. Chen 的、名稱為 "Video quality measurement" 的另一共同擁有的PCT申請(qǐng)中（PCT/CN2011/082870,代理人案號(hào)PA110050,在下文中 "Zhang2"），其教導(dǎo)通過引用具體合并于此，我們公開了一種用于使用從比特流推導(dǎo)的參數(shù) (例如，量化參數(shù)、內(nèi)容不可預(yù)測(cè)性參數(shù)、丟失塊的比例、傳播塊的比例、錯(cuò)誤隱藏距離、運(yùn)動(dòng) 向量、凍結(jié)持續(xù)時(shí)間和幀速率）來估計(jì)壓縮失真因子、切片失真因子和凍結(jié)失真因子的方 法。

【發(fā)明內(nèi)容】

[0007] 本原理提供一種用于評(píng)估被包括在比特流中的視頻的視頻質(zhì)量的方法，包括如下 所述的下列步驟：響應(yīng)于視頻中的畫面的塊的預(yù)測(cè)殘差確定內(nèi)容不可預(yù)測(cè)性參數(shù)；響應(yīng)于 塊的編碼配置縮放內(nèi)容不可預(yù)測(cè)性參數(shù)；以及響應(yīng)于縮放的內(nèi)容不可預(yù)測(cè)性參數(shù)，確定表 示被包括在比特流中的視頻的視頻質(zhì)量的質(zhì)量度量。本原理還提供一種用于執(zhí)行這些步驟 的裝置。
[0008] 本原理還提供一種用于評(píng)估被包括在比特流中的視頻的視頻質(zhì)量的方法，包括如 下所述的下列步驟：響應(yīng)于視頻中的畫面的塊的預(yù)測(cè)殘差和編碼配置確定內(nèi)容不可預(yù)測(cè)性 參數(shù)，其中內(nèi)容不可預(yù)測(cè)性參數(shù)指示對(duì)塊進(jìn)行預(yù)測(cè)的難度；響應(yīng)于編碼配置縮放內(nèi)容不可 預(yù)測(cè)性參數(shù)，其中縮放的內(nèi)容不可預(yù)測(cè)性參數(shù)的值與具有類似內(nèi)容的另一塊的第二內(nèi)容不 可預(yù)測(cè)性參數(shù)的值基本上相同；以及響應(yīng)于確定的內(nèi)容不可預(yù)測(cè)性參數(shù)確定表示被包括在 比特流中的視頻的視頻質(zhì)量的質(zhì)量度量。本原理還提供一種用于執(zhí)行這些步驟的裝置。
[0009] 本原理還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，在其上存儲(chǔ)用于根據(jù)上述方法評(píng)估被包 括在比特流中的視頻的視頻質(zhì)量的指令。
【附圖說明】
[0010] 圖1A是分別描繪被編碼為I、P和B畫面的三個(gè)原始畫面的圖示示例，圖1B是描 繪與圖1A對(duì)應(yīng)的未處理（raw)的CU參數(shù)的圖示示例，以及圖1C是描繪根據(jù)本原理的實(shí)施 例生成的對(duì)準(zhǔn)的CU參數(shù)的圖示示例。
[0011] 圖2A是分別描繪被編碼為I、P和B畫面的另外三個(gè)原始畫面的另一圖示示例，圖 2B是描繪與圖2A對(duì)應(yīng)的未處理的CU參數(shù)的圖示示例，以及圖2C是描繪根據(jù)本原理的實(shí)施 例生成的對(duì)準(zhǔn)的CU參數(shù)的圖示示例。
[0012] 圖3是分別描繪I、P和B畫面的未處理的⑶參數(shù)分布的圖示示例。
[0013] 圖4是描繪根據(jù)本原理的實(shí)施例的基于內(nèi)容復(fù)雜度估計(jì)視頻質(zhì)量的示例的流程 圖。
[0014] 圖5是描繪可以與本原理的一個(gè)或多個(gè)實(shí)現(xiàn)方式一起使用的視頻質(zhì)量測(cè)量裝置 的示例的框圖。
[0015] 圖6是描繪可以與本原理的一個(gè)或多個(gè)實(shí)現(xiàn)方式一起使用的視頻處理系統(tǒng)的示 例的框圖。
【具體實(shí)施方式】
[0016] 已知方差和熵可以用于測(cè)量自然圖像的復(fù)雜度。對(duì)于一般的信號(hào)序列，方差量化 對(duì)比度或能量，而摘評(píng)估隨機(jī)性或不確定性。在A. B. Watson、R. Borthwick和M. Taylor的 "Image quality and entropy masking"SPIE Proceedings, vol. 3016, 1997 中描述的工作 提出除了對(duì)比度和隨機(jī)性之外的、被稱為學(xué)習(xí)能力的另一與復(fù)雜度相關(guān)的特性可以用于測(cè) 量?jī)?nèi)容復(fù)雜度。
[0017] 學(xué)習(xí)能力可以被認(rèn)為與可預(yù)測(cè)性類似。也就是說，信號(hào)可以通過鄰近信號(hào)表示的 可能性越高，其可預(yù)測(cè)性和學(xué)習(xí)能力越高。在視頻編碼中，幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)通常用于消 除視頻中的冗余。具體地，可以從先前編碼的塊預(yù)測(cè)當(dāng)前塊，并且可以對(duì)當(dāng)前塊和預(yù)測(cè)塊之 間的差（即，預(yù)測(cè)殘差），而非當(dāng)前塊本身進(jìn)行編碼。通常，當(dāng)幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)工作良好 時(shí)，也就是說，當(dāng)可以從先前編碼的塊良好地預(yù)測(cè)當(dāng)前塊時(shí)，預(yù)測(cè)殘差變小和/或變少。因 此，視頻編碼中的預(yù)測(cè)殘差的能量可以是視頻信號(hào)多難預(yù)測(cè)（即，內(nèi)容不可預(yù)測(cè)性）的良好 指示器。在本實(shí)施例中，我們使用內(nèi)容不可預(yù)測(cè)性來表示內(nèi)容復(fù)雜度。
[0018] 當(dāng)基于預(yù)測(cè)殘差定義內(nèi)容可預(yù)測(cè)性參數(shù)時(shí)，內(nèi)容可預(yù)測(cè)性參數(shù)可以被計(jì)算為測(cè)量 對(duì)視頻信號(hào)進(jìn)行預(yù)測(cè)的難度的參數(shù)。因?yàn)樵趬嚎s域中可獲得預(yù)測(cè)殘差，因此可以在沒有完 全解碼或獲取解碼的圖像像素的情況下測(cè)量?jī)?nèi)容可預(yù)測(cè)性參數(shù)，并且因此提高使用CU參 數(shù)，例如Q〇E (經(jīng)驗(yàn)質(zhì)量）評(píng)估和視頻指數(shù)的應(yīng)用的計(jì)算效率。
[0019] 大多數(shù)現(xiàn)有視頻壓縮標(biāo)準(zhǔn)，例如H. 264和MPEG-2,使用宏塊（MB)作為基本編碼單 元。因此，下列實(shí)施例使用宏塊作為基本處理單元。然而，本原理可以被適配為使用不同大 小的塊，例如8X8塊、16X8塊、32X32塊或64X64塊。
[0020] 在一個(gè)實(shí)施例中，對(duì)于每一個(gè)宏塊，可以使用預(yù)測(cè)殘差的方差或能量計(jì)算CU參 數(shù)，該方差或能量理論上等于平方去量化DCT系數(shù)的和減去去量化DC系數(shù)的平方和。當(dāng)沒 有對(duì)宏塊執(zhí)行預(yù)測(cè)時(shí)，CU參數(shù)可以被計(jì)算為像素的能量。也就是說，逆DCT(IDCT)對(duì)于計(jì) 算CU參數(shù)不是必要的。給定從比特流解析的QP和量化DCT系數(shù)，可以以足夠的精度估計(jì) 去量化DCT系數(shù)以便計(jì)算CU參數(shù)。
[0021] 在示例中，在Zhangl中，當(dāng)H. 264/AVC用于編碼時(shí)，第r個(gè)宏塊的⑶參數(shù)可以被 計(jì)算為：
[0022]
[0023] 其中常數(shù)Km是H. 264/AVC的宏塊中像素的總數(shù)，即256 ;0,625X 是關(guān)于 H. 264/AVC的QP值計(jì)算量化步驟的近似公式；1為第r個(gè)宏塊中的分區(qū)（partition)做索 引；11 L表示其中分區(qū)的總數(shù)，例如對(duì)于4X4塊分區(qū)為16分區(qū)以及對(duì)于8X8塊分區(qū)為4 分區(qū)；非負(fù)k為第r個(gè)宏塊的第1個(gè)分區(qū)中的量化D