相關申請的交叉引用
本申請是2012年1月20日提交的U.S.臨時專利申請序列號61/589,191的非臨時申請,其全部內容通過引用而并入于此。本申請是2012年4月13日提交的U.S.臨時專利申請序列號61/623,884的非臨時申請,其全部內容通過引用而并入于此。本申請是2012年4月16日提交的U.S.臨時專利申請序列號No.61/624,870的非臨時申請,其全部內容通過引用而并入于此。
有關聯邦政府資助的研究或開發(fā)的聲明
不適用
通過光盤提交的通過引用而并入的材料
不適用
服從版權保護的材料的通知
本專利文獻中的材料的一部分服從基于美國和其它國家的版權法的版權保護。版權的所有者不反對專利文獻或專利公開中任一項的傳真復制,如果其出現在美國專利商標局公共可獲得的文檔或記錄內,但是無論如何仍保留其所有的版權。版權所有者在此并不放棄其任何擁有仍處于保密中的該專利文獻的權力,包括但不限于37C.F.R§1.14所規(guī)定的其權力。
技術領域
本發(fā)明總體上涉及視頻編碼和解碼,并且更具體地說,涉及在視頻編碼器和解碼器內確定色度量化參數。
背景技術:
按有效方式傳送和存儲視頻需要用于縮減空間和時間冗余的編碼機制。盡管存在許多編碼技術,但正在進行的努力致力于增加這些分別壓縮和解壓縮視頻數據流的enCOder/DECoder(codec)的效率。codecs的目的是縮減數字視頻幀的尺寸,以便加速傳輸和節(jié)省存儲空間。在這些年取得的視頻編碼進展共同貢獻于由現有技術的codecs所提供的高水平編碼效率。然而,所希望的是,按更加高的效率來執(zhí)行編碼,以進一步減小視頻比特率。
這些開發(fā)編碼標準中的最新的標準被稱為高效視頻編碼(HEVC)(來自視頻編碼聯合小組(JCT-VC)),其是MPEG和VCEG標準化委員會的共同努力。HEVC采用編碼單元(CU)結構,其與宏塊結構(例如,在早先的MPEG-2或AVC codec中)的主要差別在于,代替固定尺寸(例如,16x16),該尺寸可以改變至高達128x128。一個編碼樹單元(CTU)表示平坦區(qū)和繁忙區(qū)兩者,由此,向一個CTU提供單一QP值不足以獲取高水平的主觀質量。因此,HEVC將CTU分區(qū)成多個編碼單元(CU),其皆用它們自身的QP來表示,該QP對于不同CU可以不同。
在HEVC(例如,HM 5.0)中的當前色度QP推導處理復制如表1中所示的H.264/AVC規(guī)范的該處理。針對范圍為0至29的QP值,遵循線性關系(QPC=QPY),而針對更高的QP值,遵循非線性關系。色度QP還在最大值39處飽和,而不需要對可以使用的顏色格式的任何考慮。應注意到,該表實際上按不同質量水平限定了亮度與色度之間的關系。
然而,范圍為[0,39]的有限色度QP具有若干缺點。
技術實現要素:
在高效視頻編碼(HEVC)標準測試模型HM 5.0中,色度QP僅可以采取范圍為[0,39]的值。本發(fā)明將色度QP擴展至高達并且包括范圍[0,51],以增強用于各種潛在應用的HEVC編碼標準的功能性、靈活性以及友好性。這些應用包括低比特率下的速率控制,同時提供靈活性以獲取亮度與色度之間的希望性能平衡點,并且用于處理具有不同顏色格式(例如,RGB)的視頻源。
本發(fā)明的其它方面將在本說明書的以下部分中加以說明,其中,該詳細描述出于完全公開本發(fā)明的優(yōu)選實施例而非在其上放置限制的目的。
附圖說明
通過引用下列圖,本發(fā)明將更完全明白,附圖僅出于例示性目的:
圖1是根據本發(fā)明一實施例的、在視頻編碼器中使用擴展色度量化參數(ECQP)的框圖。
圖2是根據本發(fā)明一實施例的、在視頻解碼器中使用擴展色度量化參數(ECQP)的框圖。
圖3是利用g_aucChromaScale[52]表的、具有比亮度QP更低的范圍的色度QP的當前HEVC HM 5.0映射的圖。
圖4是根據本發(fā)明至少一個實施例的、用于擴展色度量化參數的一般處理的流程圖。
圖5是根據本發(fā)明至少一個實施例的、用于擴展色度量化參數的片段(slice)水平處理的流程圖。
具體實施方式
當前HEVC標準(HM 5.0)將QP值在線性范圍內限制至高達29,而在非線性范圍內限制至高達39。存在由按這種方式限制QP而引發(fā)的許多問題。
第一,在比特率非常低時在針對亮度和色度的比特消耗上出現問題。利用HM 5.0的實驗結果表明,在高QP(例如,針對等于38、42、46、50的QP)下,亮度和色度針對它們的剩余編碼消耗幾乎相同數量的比特,其顯著不同于針對普通測試條件(即,針對等于22、27、32以及37的QP)所觀察到的。在普通測試條件下,亮度剩余比特和色度剩余比特的比率大約為9:1。隨著對色度QP的限制,速率控制算法在在亮度與色度之間分配或尋找希望比特預算平衡點方面具有難度。在低比特率應用的情況下,速率控制算法可能需要通過增加色度QP來限制色度比特,而色度QP在39處的飽和可能將這種嘗試變成難于實現的任務。第二個問題是,這種特性不允許codec將色度正確地量化至希望程度。
針對速率控制的另一問題是,早先的觀察使得比特率更加不可預測并且可能不穩(wěn)定。一般來說,針對速率控制算法,需要用于比特至QP映射的模型。相當常見的是,算法趨于使用亮度信息(失真)而忽略色度。如前所述,低比特率下的色度比特在總比特率方面可以具有嚴重影響。另外,相當常見的是,所使用的模型遵循比特率與QP之間的二次關系。給定色度QP的非線性行為,該模型可能不太準確。
視頻序列可以具有可能不遵循亮度與色度之間的可能非線性關系以及它們對似乎引起了色度QP推導過程的主觀質量的影響的顏色分量。相反的是,本發(fā)明在控制這些QP參數、處理更一般的內容空間方面提供更多靈活性,同時還能夠適當地處理其它顏色空間和格式(例如,RGB或YcoCg等)。視頻編碼標準應當針對具有不同顏色分量甚或其它顏色格式(例如,RGB和YCoCg)的視頻源提供功能性和靈活性。當視頻源具有不同的亮度分量和色度分量之間的關系(通過表1假定)時,則codec可以不可預測地運轉。
本發(fā)明通過替換或改變用于確定色度QP的映射表來提供擴展色度量化參數(QP)。
圖1到圖2例示了包括根據本發(fā)明配置的編碼器10和解碼器50的、用于利用本發(fā)明的擴展色度QP機制來編碼的編碼裝置的示例實施例。
圖1所示的編碼器10具有通過一個或多個處理器46執(zhí)行的編碼部件12。在該示例中,視頻幀輸入14連同基準幀16與幀輸出18一起示出。幀間預測20被描繪具有運動估算(ME)22和運動補償(MC)24。示出了幀內預測26,并且在幀間預測與幀內預測之間切換。和結點28被示出為輸出到正向變換30、量化級32、擴展色度QP確定34、以及CABAC編碼36。逆量化38也利用擴展色度QP確定34來執(zhí)行,后面是被示出為耦接至求和結點42的逆變換40,并且后面是濾波器44,如解塊和/或樣本自適應偏移(SAO)。為簡化例示起見,擴展色度QP確定34被示出為在量化級期間被利用,然而,應當清楚,擴展色度QP可以不受限制地在編碼器和/或解碼器內(如在解塊濾波器內)由其它塊利用,并且同時進行模式判定和執(zhí)行運動估算。
應當清楚,該編碼器被示出利用計算機處理部件46來實現,該計算機處理部件例如包括用于執(zhí)行與編碼相關聯的程序的至少一個處理裝置48(中央處理單元(CPU)、微控制器、包含計算機處理器的專用集成電路(ASIC)、并行處理裝置、或者被配置用于執(zhí)行程序指令的其它裝置)和至少一個存儲器49。另外,應當清楚,本發(fā)明的元件可以被實現為存儲在介質上的程序,該程序可以通過用于編碼器10和/或解碼器50的CPU訪問以執(zhí)行。
在圖2的解碼器50中,解碼塊52連同計算機處理部件78(其大致是包含在圖1所示的編碼器中的元件的子集)一起示出,其針對基準幀54和編碼信號56操作,以輸出解碼視頻76。解碼器塊接收通過CABAC熵解碼器58處理的編碼視頻信號56,逆量化60根據本發(fā)明一實施例利用擴展色度QP確定62來執(zhí)行。求和66被示出為在逆變換64的輸出與幀間預測68和幀內預測72間的選擇之間,幀間預測68被示出具有運動補償70。來自求和結點66的輸出被濾波器74接收。
應當清楚,該解碼器可以利用計算機處理部件78來實現,計算機處理部件78包括用于執(zhí)行與編碼相關聯的程序的至少一個處理裝置80(中央處理單元(CPU)、微控制器、包含計算機處理器的專用集成電路(ASIC)、并行處理裝置,或者被配置用于執(zhí)行程序指令的其它裝置)和至少一個存儲器82。另外,應注意到,本發(fā)明的元件可以被實現為存儲在介質上的程序,其中,所述介質可以被處理裝置(CPU)80訪問以執(zhí)行。
應當清楚,用于編碼器和解碼器的程序可從作為有形(物理)計算機可讀介質的存儲器執(zhí)行,該存儲器不是臨時性的,即,其不僅僅構成臨時性傳播信號,而是實際上能夠將程序保持在諸如任何希望形式和數量的靜態(tài)或動態(tài)的存儲器裝置內。這些存儲器裝置不需要被實現成在所有條件(例如,電源故障)下保持數據以在此被認為是非臨時性介質。
如前所述,在當前HEVC測試模型(HM 5.0)中,色度QP的值利用g_aucChromaScale[52]從亮度QP導出,并且色度QP能夠取處于0至于39的范圍中的值。然而,在亮度QP超出值48時利用該機制,色度保持在值39。響應于其,可以將比特率的大部分用于色度而非亮度。
圖3描繪了在當前HEVC測試模型(HM 5.0)中根據亮度QP的色度QP映射的圖。在這個圖中可以看出,色度QP針對較大QP值被迫使遠離跟隨亮度QP。然而,統(tǒng)計數據指出,在某些情況下,亮度QP和色度QP保持接近,但這不是所希望的。
圖4例示了用于擴展色度QP的一般策略,其中,映射表g_aucChromaScale[52]被替換90,并且擴展色度,如優(yōu)選地具有橫跨亮度QP的范圍的范圍。在示出的示例流程圖中,色度QP被設置為等于92亮度QP(優(yōu)選地加上色度偏置),由此允許色度QP達到從0至51的范圍。
更具體地說,可以根據以下方程來確定針對圖4的實施例的QP值:
QPCb=Clip(0,51,QPY+Cb_QP_offset) (1)
QPCr=Clip(0,51,QPY+Cr_QP_offset) (2)
首先,應注意到,在YCbCr顏色空間的視頻編碼中,Y表示亮度分量,而Cb和Cr表示需要量化參數的兩個不同色度分量(QPCb和QPCr,但本領域普通技術人員應當清楚,本發(fā)明可以容易適于在任何希望的顏色空間中使用。在方程(1)和(2)中,Cb_QP_offset和Cr_QP_offset是在日內瓦會議(MPEG number m22073)的文獻JCTVC-G509中介紹的兩個色度QP偏置參數。已經發(fā)現,即使利用這種簡化設計,利用根據上述實施例的擴展色度QP也提供有益的性能增強。
圖5例示了按片段水平擴展色度QP的一示例實施例,考慮到利用slice_qp_delta_cb和slice_qp_delta_cr在限制首部發(fā)信號。首先,確定110亮度QP,接著,添加112圖片水平色度QP偏置,接著添加114片段水平色度QP偏置,此后,利用g_aucChromaScale[52]確定116色度QP。
下面,方程(3)和(4)論證這種形式的片段水平擴展色度QP確定。
QPCb=
Clip(0,51,g_aucChromaScale[QPY+Cb_QP_offset+slice_qp_delta_cb]) (3)
QPCr=Clip(0,51,g_aucChromaScale[QPY+Cr_QP_offset+slice_qp_delta_cr]) (4)
該片段水平句法提供信號發(fā)送色度QP偏置(Cb和Cr)。片段水平色度QP擴展尤其非常適用于編碼系統(tǒng)內的片段水平并行處理。
本發(fā)明的實施例可以參照根據本發(fā)明實施例的方法和系統(tǒng)的流程圖例示、和/或算法、公式,或其它計算描繪來描述,其還可以被實現為計算機程序產品。在這點上,流程圖的每一個框或步驟、流程圖中的框(和/或步驟)的組合、算法、公式或計算描繪可以通過各種手段來實現,如硬件、固件、和/或包括按計算機可讀程序代碼邏輯具體實施的一個或多個計算機程序指令的軟件。如將清楚,任何這種計算機程序指令都可以加載到計算機上,包括而不限于通用計算機或專用計算機、或者用于生成機器的其它可編程處理裝置,以使得在計算機或其它可編程處理裝置上執(zhí)行的計算機程序指令創(chuàng)建用于實現在該流程圖的框中指定的功能的部件。
因此,流程圖的框、算法、公式或計算描繪支持用于執(zhí)行指定功能的部件的組合、用于執(zhí)行指定功能的步驟的組合、以及用于執(zhí)行指定功能的計算機程序指令(如具體實施在計算機可讀程序代碼邏輯部件中的)。還應明白,在此描述的流程圖例示的每一個框、算法、公式,或計算描述及其組合可以通過執(zhí)行指定功能或步驟的基于專用硬件的計算機系統(tǒng)或者專用硬件和計算機可讀程序代碼邏輯部件的組合來實現。
而且,這些計算機程序指令(如具體實施在計算機可讀程序代碼邏輯中的)還可以存儲在計算機可讀存儲器中,其可以指導計算機或其它可編程處理裝置按特定方式起作用,以使存儲在計算機可讀存儲器中的指令生成包括實現在該流程圖的框中指定的功能的指令部件的制造品。該計算機程序指令還可以加載到計算機或其它可編程處理裝置上,以使要在該計算機或其它可編程處理裝置上執(zhí)行的一系列可操作步驟生成計算機實現處理,使得在該計算機或其它可編程處理裝置上執(zhí)行的指令提供用于實現在該流程圖的框中指定的功能、算法、公式、或計算描繪的步驟。
根據上面的討論,應當清楚,本發(fā)明可以按各種方式來具體實施,包括以下:
1、一種用于執(zhí)行視頻編碼的裝置,包括:計算機處理器,被配置成用于接收視頻;和可在所述計算機處理器上執(zhí)行的程序,該程序用于通過執(zhí)行包括以下的步驟來進行視頻編碼:執(zhí)行幀間預測和/或幀內預測,以縮減所接收的視頻內的時間冗余和/或空間冗余;確定亮度量化參數(QP);將圖片水平色度QP偏置與所述亮度QP相加;基于亮度QP和圖片水平色度QP偏置確定色度QP值,所述色度QP值具有擴展范圍;在編碼所述接收的視頻期間執(zhí)行變換和/或在解碼所述接收的視頻期間執(zhí)行逆變換;以及利用所述色度QP值,在編碼所述接收的視頻期間執(zhí)行量化和/或在解碼所述接收的視頻期間執(zhí)行逆量化。
2、根據前述實施例中任一個所述的裝置,其中,所述程序還執(zhí)行包括在所述確定色度QP值之前添加片段水平色度QP偏置的步驟。
3、根據前述實施例中任一個所述的裝置,其中,所述程序還執(zhí)行包括針對利用片段水平并行處理的裝置添加片段水平色度QP偏置的步驟。
4、根據前述實施例中任一個所述的裝置,其中,所述擴展色度QP范圍等于亮度QP范圍。
5、根據前述實施例中任一個所述的裝置,其中,所述程序利用用于顏色空間的色度分量的圖片水平色度QP偏置與現有色度標度表來確定色度QP值。
6、根據前述實施例中任一個所述的裝置,其中,現有色度標度表包括g_aucChromaScale[52]。
7、根據前述實施例中任一個所述的裝置,其中,所述程序通過利用圖片水平色度偏置和替換現有色度標度表來確定色度QP值。
8、根據前述實施例中任一個所述的裝置,其中,所述視頻編碼根據高效視頻編碼(HEVC)標準來執(zhí)行。
9、根據前述實施例中任一個所述的裝置,其中,所述計算機處理器包括編碼器/解碼器(CODEC)。
10、一種用于執(zhí)行視頻編碼的裝置,包括:計算機處理器,被配置成用于接收視頻;和可在所述計算機處理器上執(zhí)行的程序,該程序用于通過執(zhí)行包括以下的步驟來進行視頻編碼:執(zhí)行幀間預測和/或幀內預測,以縮減所接收的視頻內的時間冗余和/或空間冗余;確定亮度量化參數(QP);將用于于Cb和Cr的圖片水平色度QP偏置與所述亮度QP相加;將用于Cb和Cr的片段水平色度QP偏置與所述亮度QP相加;基于亮度QP,以及用于Cb和Cr的圖片水平色度QP偏置和片段水平色度QP偏置,來確定用于Cb和Cr的色度QP值,其中,所述色度QP值具有等于亮度QP的QP范圍;在編碼所述接收的視頻期間執(zhí)行變換,和/或在解碼所述接收的視頻期間執(zhí)行逆變換;利用用于Cb和Cr的所述色度QP值,在編碼所述接收的視頻期間執(zhí)行量化,和/或在解碼所述接收的視頻期間執(zhí)行逆量化。
11、根據前述實施例中任一個所述的裝置,其中,在解碼期間所述接收的視頻包括經編碼的視頻。
12、根據前述實施例中任一個所述的裝置,其中,所述裝置被配置用于片段水平并行處理。
13、根據前述實施例中任一個所述的裝置,其中,所述程序利用用于Cb和Cr的圖片水平色度QP偏置和片段水平色度QP偏置與現有色度標度表來確定色度QP值。
14、根據前述實施例中任一個所述的裝置,其中,現有色度標度表包括g_aucChromaScale[52]。
15、根據前述實施例中任一個所述的裝置,其中,所述程序利用亮度QP以及用于Cb和Cr的圖片水平色度QP偏置和片段水平色度QP偏置,并且替換現有色度標度表,來確定色度QP。
16、根據前述實施例中任一個所述的裝置,其中,所述視頻編碼根據高效視頻編碼(HEVC)標準來執(zhí)行。
17、根據前述實施例中任一個所述的裝置,其中,所述計算機處理器包括編碼器/解碼器(CODEC)。
18、一種用于執(zhí)行視頻編碼的方法,包括:在視頻編碼器和/或解碼器內執(zhí)行幀間預測和/或幀內預測,以縮減所接收的視頻的時間冗余和/或空間冗余;確定亮度量化參數(QP);添加用于Cb和Cr的圖片水平色度QP偏置;添加用于Cb和Cr的片段水平色度QP偏置;基于亮度QP、以及用于Cb和Cr的圖片水平色度QP偏置和片段水平色度QP偏置,來確定用于Cb和Cr的擴展色度QP值;在編碼所述接收的視頻期間執(zhí)行變換和/或在解碼所述接收的視頻期間執(zhí)行逆變換;以及利用用于Cb和Cr的所述色度QP值,在編碼所述接收的視頻期間執(zhí)行量化,和/或在解碼所述接收的視頻期間執(zhí)行逆量化。
19、根據前述實施例中任一個所述的方法,其中,所述色度QP值具有等于亮度QP范圍的范圍。
20、根據前述實施例中任一個所述的方法,其中,所述確定色度QP利用用于Cb和Cr的圖片水平色度QP偏置和片段水平色度QP偏置與現有色度標度表一起或者通過替換現有色度標度表來執(zhí)行。
盡管上面的描述包含許多細節(jié),但這些不應被視為對本發(fā)明的范圍進行限制,而是僅僅提供本發(fā)明的一些當前優(yōu)選實施例的例示。因此,應當清楚,本發(fā)明的范圍完全涵蓋可以變得顯見于本領域技術人員的其它實施例,并由此本發(fā)明的范圍除了所附權利要求書以外不通過其它任何事物來限制,其中,按單數對部件的引用不是意指“一個且只有一個”,除非明確地這樣規(guī)定,而是意指“一個或多個”。針對本領域普通技術人員所已知的上述優(yōu)選實施例的元件的所有結構性和功能性等同物通過引用而明確地并入于此,并且被當前權利要求書所涵蓋。而且,裝置或方法不必致力于試圖要通過本發(fā)明解決的每個問題,因為其要通過本權利要求書來涵蓋。而且,在本公開中,沒有元件、組件,或方法步驟旨在專用于公眾,而不管該元件、組件、或方法步驟是否在權利要求書進行了明確陳述。沒有權利要求元件在此要在35U.S.C.112第六段的規(guī)定下解釋,除非該元件利用短語“用于…的裝置”進行了明確陳述。
表1
作為QPY的函數的QPC的規(guī)范