本公開涉及一種圖像處理設備和圖像處理方法。

背景技術：

為了提高編碼效率超過H.264/AVC，目前正在通過聯(lián)合協(xié)作團隊視頻編碼(JCTVC)推行所謂高效視頻編碼(HEVC)的圖像編碼方案的標準化，該JCTVC是ITU-T和ISO/IEC的聯(lián)合標準化組織(例如，見非專利文獻1)。

HEVC不僅提供了單層的編碼，而且還提供了可伸縮視頻編碼，與諸如MPEG2和高級視頻編碼(AVC)等公知圖像編碼方案中一樣。HEVC可伸縮視頻編碼技術也稱為可伸縮HEVC(SHVC)(例如，見非專利文獻2)。可伸縮視頻編碼通常是分層地對傳輸粗略圖像信號的層和傳輸精細圖像信號的層進行編碼的技術。

雖然HEVC的標準規(guī)范的第一個版本是在2013年初出版的，但是仍從不同角度，諸如除了SHVC之外的編碼工具(例如，見非專利文獻3)的增強，繼續(xù)對規(guī)范進行擴展。具體地，從HEVC應用稱為采樣自適應偏移(SAO)濾波的技術。在SAO濾波中，通過基于稱為帶偏移和邊緣偏移的技術從多種模式中選擇最佳模式來提高編碼效率。

引文列表

非專利文獻

非專利文獻1：Benjamin Bross等人，“High Efficiency Video Coding(HEVC)text specification draft 10(for FDIS&Consent)”(JCTVC-L1003_v4，2013年1月14日至23日)

非專利文獻2：Jianle Chen等人，“High efficiency video coding(HEVC)scalable extensions Draft 5”(JCTVC-P1008_v4，2014年1月9日至17日)

非專利文獻3：David Flynn等人，“High Efficiency Video Coding(HEVC)Range Extensions text specification:Draft 5”(JCTVC-O1005_v2，2013年10月23日至11月1日)

技術實現(xiàn)要素：

技術問題

在設置最佳模式和偏移值時，SAO濾波的處理量趨于增大，這可能會導致電路大小或者功耗的增加。

鑒于此，本公開提出了能夠減少成本計算的處理量的一種圖像處理設備和圖像處理方法。

解決問題的方案

根據(jù)本公開，提供了一種圖像處理設備，其包括：濾波處理部，該濾波處理部配置為執(zhí)行將偏移量應用于已經(jīng)解碼的解碼圖像的像素的濾波處理；以及控制單元，該控制單元配置為根據(jù)在對圖像進行編碼時使用的編碼參數(shù)控制在執(zhí)行濾波處理時使用的模式和用于該模式的偏移量。

根據(jù)本公開，提供了一種圖像處理方法，其包括：執(zhí)行將偏移量應用于已經(jīng)解碼的解碼圖像的像素的濾波處理；以及通過處理器根據(jù)在對圖像進行編碼時使用的編碼參數(shù)控制在執(zhí)行濾波處理時使用的模式和用于該模式的偏移量。

本發(fā)明的有益效果

如上所述，根據(jù)本公開，提供了能夠減少成本計算的處理量的一種圖像處理設備和圖像處理方法。

上述效果并不一定是限制性的。除了上述效果之外或者取代上述效果，可以獲得在本說明書中描述的效果或者可以從本說明書中理解到的其它效果。

附圖說明

圖1是描述邊緣偏移處理的概述的說明圖。

圖2是描述帶偏移處理的概述的說明圖。

圖3是圖示根據(jù)本公開的第一實施例的圖像編碼裝置的配置的示例的框圖。

圖4是圖示根據(jù)相同實施例的回路濾波器的配置的示例的框圖。

圖5是描述根據(jù)相同實施例的圖像編碼裝置的一系列處理的流程的說明圖。

圖6是圖示根據(jù)相同實施例的一系列處理的流程的示例的流程圖。

圖7是圖示根據(jù)相同實施例的SAO濾波器的配置的示例的框圖。

圖8是圖示根據(jù)相同實施例的SAO濾波器的一系列處理的流程的示例的流程圖。

圖9是圖示根據(jù)相同實施例的與通過切換確定部確定是否對各個切片應用SAO處理相關的處理的示例的流程圖。

圖10是圖示根據(jù)相同實施例的偏移量確定部的配置的示例的框圖。

圖11是圖示根據(jù)對比示例的各個偏移量測量部與各個偏移值之間的對應關系的示例的表。

圖12是圖示根據(jù)對比示例的偏移量確定部的一系列處理的流程的示例的流程圖。

圖13是圖示根據(jù)相同實施例的偏移量確定部的配置的示例的框圖。

圖14是圖示根據(jù)相同實施例的各個偏移量測量部與各個偏移值之間的對應關系的示例的表。

圖15是圖示根據(jù)相同實施例的各個偏移量測量部與各個偏移值之間的對應關系的示例的表。

圖16是圖示根據(jù)相同實施例的各個偏移量測量部與各個偏移值之間的對應關系的示例的表。

圖17是圖示根據(jù)相同實施例的偏移量確定部的一系列處理的流程的示例的流程圖。

圖18是描述在H.265/HEVC中的幀內預測的預測模式的說明圖。

圖19是描述在將方向預測選擇作為幀內預測的預測模式時解碼圖像數(shù)據(jù)的特征的說明圖。

圖20圖示了根據(jù)本公開的第二實施例的在圖像編碼裝置中幀內預測的預測模式與SAO的各個模式之間的對應關系的示例。

圖21是圖示根據(jù)相同實施例的回路濾波器的配置的示例的框圖。

圖22是圖示根據(jù)相同實施例的SAO濾波器的配置的示例的框圖。

圖23是圖示根據(jù)對比示例的模式確定部的一系列處理的流程的示例的流程圖。

圖24是圖示根據(jù)相同實施例的模式確定部的一系列處理的流程的示例的流程圖。

圖25是描述基于在切片B中的幀間預測中的雙向預測生成的預測圖像數(shù)據(jù)的示例的說明圖。

圖26是圖示根據(jù)本公開的第三實施例的SAO濾波器的配置的示例的框圖。

圖27是圖示根據(jù)相同實施例的第一確定部的配置的示例的框圖。

圖28是圖示根據(jù)相同實施例的SAO濾波器的一系列處理的流程的示例的流程圖。

圖29是圖示根據(jù)相同實施例的第一確定部的一系列處理的流程的示例的流程圖。

圖30是圖示根據(jù)相同實施例的第二確定部的一系列處理的流程的示例的流程圖。

圖31是描述根據(jù)本公開的第四實施例的圖像編碼裝置的概述的說明圖。

圖32是描述根據(jù)相同實施例的SAO濾波器的處理的內容的說明圖。

圖33是圖示根據(jù)相同實施例的偏移量確定部的一系列處理的流程的示例的流程圖。

圖34是圖示根據(jù)相同實施例的偏移量確定部的一系列處理的流程的示例的流程圖。

圖35是圖示編碼器的硬件配置的示例的框圖。

圖36是圖示智能手機的示意性配置的示例的框圖。

圖37是圖示記錄/再現(xiàn)裝置的示意性配置的示例的框圖。

圖38是圖示圖像捕捉裝置的示意性配置的示例的框圖。

圖39是圖示視頻裝置的示意性配置的示例的框圖。

圖40是圖示視頻處理器的示意性配置的示例的框圖。

圖41是圖示視頻處理器的示意性配置的另一個示例的框圖。

具體實施方式

下面將參照附圖對本公開的優(yōu)選實施例進行詳細說明。在本說明書和附圖中，用相同的附圖標記來表示具有大體上相同的功能和結構的元件，并且省略了重復的解釋。

將按照下列順序來進行說明。

1.SAO濾波器的概述

2.第一實施例

2-1.圖像編碼裝置的示例性整體配置

2-2.回路濾波器的示例性配置

2-3.一系列處理的流程

2-4.SAO濾波器

2-4-1.SAO濾波器的示例性配置

2-4-2.SAO濾波器的處理流程

2-5.偏移量確定部

2-5-1.偏移量確定部的對比示例

2-5-2.偏移量確定部的示例性配置

2-5-3.偏移量確定部的處理流程

2-6.總結

3.第二實施例

3-1.概述

3-2.回路濾波器的示例性配置

3-3.SAO濾波器的示例性配置

3-4.模式確定部的處理流程

3-4-1.模式確定部的對比示例

3-4-2.模式確定部的處理流程

3-5.修改示例

3-6.總結

4.第三實施例

4-1.概述

4-2.SAO濾波器的示例性配置

4-3.SAO濾波器的處理流程

4-4.修改示例

4-5.總結

5.第四實施例

5-1.概述

5-2.處理

5-3.總結

6.示例性硬件配置

7.應用示例

7-1.應用于各種產品

7-2.各個實施層

8.總結

<1.SAO濾波器的概述>

首先，將對SAO濾波器的概述進行說明。采樣自適應偏移(在下文中也稱為“SAO”)濾波器是在H.265/HEVC中最新引入的、在去塊濾波處理之后執(zhí)行的回路濾波技術。SAO配置有兩種類型的技術，分別稱為邊緣偏移(EO)和帶偏移(BO)，并且以編碼樹單元(CTU)(即，最大編碼單元(LCU))為單位來設置參數(shù)。

首先，將對邊緣偏移處理的概述進行說明。邊緣偏移處理是根據(jù)作為處理目標的像素與在該像素附近的兩個相鄰像素之間的相對關系來對各個像素的像素值的偏移值進行加法和減法的處理。

例如，圖1是描述邊緣偏移處理的概述的說明圖。圖1中所示的EO_0至EO_3表示在邊緣偏移處理中像素陣列的候選(級別)。在圖1中，用附圖標記c表示的像素是用作處理目標的像素，而用附圖標記a和b表示的像素是該用作處理目標的像素c的相鄰像素。基于用于亮度和色度的編碼參數(shù)“sao_eo_class_luma”和“sao_eo_class_chroma”，以CTU為單位，可以從級別EO_0至EO_3中選擇待使用的級別。

類別1至4是在目標像素c與相鄰像素a和b之間的像素值關系的分類。例如，類別1表示目標像素x的像素值小于相鄰像素a和b的像素值的類別。類別2表示目標c的像素值小于相鄰像素a和b的像素值中的一個并且等于另一個像素值的類別。在類別1和2的情況下，通過將偏移量和目標像素c相加，在目標像素c與相鄰像素a和b之間進行像素值平滑。

類別3表示目標像素c的像素值大于相鄰像素a和b的像素值中的一個并且等于另一個像素值的類別。類別4表示目標像素c的像素值大于相鄰像素a和b的像素值的類別。在類別3和4的情況下，通過將偏移量從目標像素c中減去，在目標像素c與相鄰像素a和b之間進行像素值平滑。

在邊緣偏移中，除了上述的類別1至4之外，還設置了表示不執(zhí)行邊緣偏移處理的類別0。

如上所述，在邊緣偏移處理中，選擇級別EO_0至EO_3中的一個，并且根據(jù)所選擇的級別指定與目標像素c的像素值和相鄰像素a和b的像素值的關系對應的其中一個類別0至4。然后，根據(jù)類別，通過加上或者減去偏移量，對一系列像素進行平滑處理。

接著，將對帶偏移處理的概述進行說明。在帶偏移處理中，將像素值(即，可根據(jù)位深度表達的最大值，從0開始)的梯度劃分成32條帶，并且，對于屬于這些帶中的四個連續(xù)帶的像素，基于為各個帶設置的偏移值來改變(加上或者減去)像素值。

例如，圖2是描述帶偏移處理的概述的說明圖，并且圖示了位深度為8位的示例。在H.265/HEVC中，可以將8位(像素值是0至255)和10位(像素值是0至1023)用作像素的位深度。換言之，在圖2所示的位深度為8位的示例中，將像素值0至255劃分成32條帶，并且從劃分的帶0至31中選擇出4條帶，即帶3至6。

如上所述，在SAO濾波器中，以CTU為單位選擇上述的邊緣偏移處理和帶偏移處理中的一個，并且根據(jù)所選的處理，通過將偏移量和像素值相加或者將偏移量從像素值中減去來進行平滑處理。

<2.第一實施例>

[2-1.圖像編碼裝置的示例性整體配置]

下面將對根據(jù)本公開的第一實施例的圖像編碼裝置進行說明。首先，將參照圖3對根據(jù)本公開的圖像編碼裝置1的配置的示例進行說明。圖3是圖示根據(jù)第一實施例的圖像編碼裝置1的配置的示例的框圖。如圖1所示，圖像編碼裝置1包括分選緩沖器11、減法部13、正交變換部14、量化部15、無損編碼部16、累積緩沖器17、速率控制部18、反量化部21、反正交變換部22、加法部23、回路濾波器24、幀存儲器25、選擇器26和27、幀內預測部30和幀間預測部35。

分選緩沖器11對一系列圖像數(shù)據(jù)中包括的圖像進行分選。在根據(jù)編碼處理根據(jù)GOP(圖片組)結構對圖像進行分選之后，分選緩沖器11將已經(jīng)分選的圖像數(shù)據(jù)輸出到減法部13、幀內預測部30、幀間預測部35和回路濾波器24。

將從分選緩沖器11輸入的圖像數(shù)據(jù)和由稍后描述的幀內預測部30或者幀間預測部35輸入的預測圖像數(shù)據(jù)提供給減法部13。減法部13計算預測誤差數(shù)據(jù)，并且將計算出的預測誤差數(shù)據(jù)輸出到正交變換部14，該預測誤差數(shù)據(jù)是從分選緩沖器11輸入的圖像數(shù)據(jù)與預測圖像數(shù)據(jù)之間的差值。

正交變換部14對從減法部13輸入的預測誤差數(shù)據(jù)進行正交變換。例如，待由正交變換部14進行的正交變換可以是離散余弦變換(DCT)或者Karhunen-Loeve變換。對通過劃分CU形成的各個變換單元(TU)進行正交變換。TU的大小自適應地從4×4像素、8×8像素、16×16像素和32×32像素中選擇。正交變換部14將通過正交變換處理獲得的變換系數(shù)數(shù)據(jù)輸出至量化部15。

量化部15提供有從正交變換部14輸入的變換系數(shù)數(shù)據(jù)和來自如下所述的速率控制部18的速率控制信號。量化部15利用根據(jù)速率控制信號決定的量化步長對變換系數(shù)數(shù)據(jù)進行量化。量化部15將量化的變換系數(shù)數(shù)據(jù)(在下文中稱為“量化數(shù)據(jù)”)輸出至無損編碼部16和反量化部21。該量化數(shù)據(jù)對應“位元流”的示例。

無損編碼部16對從量化部15輸入的量化數(shù)據(jù)進行無損編碼以生成編碼流。無損編碼部16對由解碼器交付的各種參數(shù)進行編碼，并且將編碼的參數(shù)插入到編碼流的頭區(qū)域中。由無損編碼部16編碼的參數(shù)可以包括指定四叉樹結構的參數(shù)、以及下面將描述的與幀內預測有關的信息和與幀間預測有關的信息。然后，無損編碼部16將生成的編碼流輸出至累積緩沖器17。

累積緩沖器17通過使用諸如半導體存儲器等存儲介質臨時性地累積從無損編碼部16輸入的編碼流。然后，累積緩沖器17根據(jù)傳輸路徑的帶以一定速率將累積的編碼流輸出至傳輸部(未示出)(例如，通信接口或者至外圍裝置的接口)。

速率控制部18監(jiān)測累積緩沖器17的空閑空間。然后，速率控制部18根據(jù)累積緩沖器17上的空閑空間生成速率控制信號，并且將生成的速率控制信號輸出至量化部15。例如，當在累積緩沖器17上沒有多少空閑空間時，速率控制部18生成用于降低量化數(shù)據(jù)的位速率的速率控制信號。同樣，例如，當累積緩沖器17上的空閑空間足夠大時，速率控制部18生成用于增加量化數(shù)據(jù)的位速率的速率控制信號。

反量化部21、反正交變換部22和加法部23構成了本地解碼器。該本地解碼器對應恢復量化數(shù)據(jù)并且生成解碼圖像數(shù)據(jù)的“復合部”。

按照量化部15使用的量化步長，反量化部21對量化數(shù)據(jù)進行反量化，從而恢復變換系數(shù)數(shù)據(jù)。然后，反量化部21將恢復的變換系數(shù)數(shù)據(jù)輸出至反正交變換部22。

反正交變換部22對從反量化部21輸入的變換系數(shù)數(shù)據(jù)進行反正交變換處理，從而恢復預測誤差數(shù)據(jù)。與在正交變換中一樣，針對各個TU進行反正交變換。然后，反正交變換部22將恢復的預測誤差數(shù)據(jù)輸出至加法部23。

加法部23將從反正交變換部22輸入的恢復的預測誤差數(shù)據(jù)和從幀內預測部30或者幀間預測部35輸入的預測圖像數(shù)據(jù)相加，從而生成解碼圖像數(shù)據(jù)(重構圖像)。然后，加法部23將生成的解碼圖像數(shù)據(jù)輸出至回路濾波器24和幀存儲器25。

回路濾波器24包括一組濾波器，諸如去塊濾波器(DF)、SAO濾波器和自適應回路濾波器(ALF)，以便提高圖像質量。回路濾波器24基于由分選緩沖器11提供的原始圖像數(shù)據(jù)對從加法部23輸入的解碼圖像數(shù)據(jù)進行濾波處理，并且將濾波后的解碼圖像數(shù)據(jù)輸出至幀存儲器25。稍后將單獨對回路濾波器24進行詳細說明。

幀存儲器25通過使用存儲介質來存儲從加法部23輸入的在濾波之前的解碼圖像數(shù)據(jù)和從回路濾波器24輸入的在濾波之后的解碼圖像數(shù)據(jù)。

選擇器26從幀存儲器25中讀取用于幀內預測的在濾波之前的解碼圖像數(shù)據(jù)，并且將讀取的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)提供給幀內預測部30。進一步地，選擇器26從幀存儲器25中讀取用于幀間預測的濾波后的解碼圖像數(shù)據(jù)，并且將讀取的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)提供給幀間預測部35。

在幀內預測模式中，選擇器27將預測圖像數(shù)據(jù)作為從幀內預測部30輸出的幀內預測結果輸出至減法部13，并且還將關于幀內預測的信息輸出至無損編碼部16。進一步地，在幀間預測模式中，選擇器27將預測圖像數(shù)據(jù)作為從幀間預測部35輸出的幀間預測結果輸出至減法部13，并且還將關于幀間預測的信息輸出至無損編碼部16。選擇器27根據(jù)成本的大小來切換幀間預測模式和幀內預測模式。

幀內預測部30基于原始圖像數(shù)據(jù)和解碼圖像數(shù)據(jù)對通過劃分CU形成的各個預測單元(PU)進行幀內預測處理。例如，幀內預測部30根據(jù)在通過使用預定成本函數(shù)設置的預測模式中的各個候選模式來評估預測結果。然后，幀內預測部30選擇成本最小的預測模式，即壓縮比最高的預測模式，作為最佳預測模式。幀內預測部30根據(jù)該最佳預測模式生成預測圖像數(shù)據(jù)。幀內預測部30將與幀內預測有關的信息、成本和預測圖像數(shù)據(jù)輸出至選擇器27，該與幀內預測有關的信息包括指示所選擇的最佳預測模式的預測模式信息。

幀間預測部35基于原始圖像數(shù)據(jù)和解碼圖像數(shù)據(jù)對通過劃分CU形成的各個PU進行幀間預測處理。例如，幀間預測部35根據(jù)在通過使用預定成本函數(shù)設置的預測模式中的各個候選模式來評估預測結果。然后，幀間預測部35選擇成本最小的預測模式，即壓縮比最高的預測模式，作為最佳預測模式。幀間預測部35根據(jù)該最佳預測模式生成預測圖像數(shù)據(jù)。然后，幀間預測部35將與幀間預測有關的信息、成本和預測圖像數(shù)據(jù)輸出至選擇器27，該與幀間預測有關的信息包括指示所選擇的最佳預測模式的預測模式信息和運動信息。

[2-2.回路濾波器的示例性配置]

接著，將參照圖4對根據(jù)本實施例的回路濾波器24的配置的示例進行說明。圖4是圖示根據(jù)本實施例的回路濾波器24的配置的示例的框圖。如圖4所示，回路濾波器24包括原始圖像保存部100、去塊濾波器200、SAO濾波器300和自適應回路濾波器400。

原始圖像保持部100是將由分選緩沖器11提供的原始圖像數(shù)據(jù)保存至回路濾波器24的保存部。回路濾波器24的各個部件通過適當?shù)貐⒄毡４嬖谠紙D像保持部100中的原始圖像數(shù)據(jù)來進行濾波處理。

首先將由反量化部21、反正交變換部22和加法部23(即，本地解碼器)解碼的解碼圖像數(shù)據(jù)(重構圖像)提供給去塊濾波器200。

去塊濾波器200通過適當?shù)貓?zhí)行去塊濾波處理來消除解碼圖像數(shù)據(jù)的塊失真。在本說明書中，省略了對去塊濾波處理的詳細說明。去塊濾波器200將濾波處理結果輸出至SAO濾波器300。

SAO濾波器300以CTU為單位決定出應用于由去塊濾波器200濾波的解碼圖像數(shù)據(jù)的SAO模式和偏移值。

SAO模式指示圖1和圖2所示的邊緣偏移和帶偏移中的所選擇的一個偏移。當選擇了邊緣偏移時，SAO模式指示在圖1所示的邊緣偏移的級別EO_0至EO_3中的所選擇級別和在類別0至4中與該級別對應的所選擇類別。進一步地，當選擇了帶偏移時，SAO模式指示在圖2所示的帶偏移的帶中的所選擇帶。

然后，SAO濾波器300基于確定的模式和偏移值以CTU為單位對解碼圖像數(shù)據(jù)進行濾波處理(在下文中也稱為“SAO處理”)。

具體地，根據(jù)本實施例的SAO濾波器300基于用于生成作為解碼圖像數(shù)據(jù)的解碼源的量化數(shù)據(jù)的量化步長(量化參數(shù)(QP))，減少SAO處理的處理負載。只要SAO濾波器300可以獲取作為解碼圖像數(shù)據(jù)的解碼源的量化數(shù)據(jù)的量化步長，便不會具體限制獲取源。作為具體示例，SAO濾波器300可以從量化部15獲取量化步長。稍后將單獨對根據(jù)本實施例的SAO濾波器300進行詳細說明。

SAO濾波器300將已經(jīng)經(jīng)過SAO處理的解碼圖像數(shù)據(jù)輸出至自適應回路濾波器400。SAO濾波器300將以CTU為單位決定的SAO模式和偏移量輸出至無損編碼部16作為編碼參數(shù)。在接收到該輸出后，無損編碼部16針對生成的編碼流對提供的SAO模式和偏移值進行編碼，然后將SAO模式和偏移值插入到編碼流的頭區(qū)域中。

自適應回路濾波器400對已經(jīng)經(jīng)過SAO處理的、由SAO濾波器300提供的解碼圖像數(shù)據(jù)進行自適應回路濾波(ALF)處理。在自適應回路濾波器400，例如，將二維維納(Wiener)濾波器用作濾波器。應該明白的是，可以使用除了維納濾波器之外的濾波器。

自適應回路濾波器400具有不同抽頭大小的多個濾波器，并且執(zhí)行自適應回路濾波處理。自適應回路濾波器400將濾波處理結果輸出至幀存儲器25。

上面已經(jīng)參照圖4對根據(jù)本實施例的回路濾波器24的配置的示例進行了說明。

[2-3.一系列處理的流程]

接著，將參照圖5和圖6對根據(jù)本實施例的圖像編碼裝置的一系列處理的流程進行說明。圖5和圖6是描述根據(jù)本實施例的圖像編碼裝置的一系列處理的流程的說明圖。

例如，圖5圖示了圖像編碼裝置將圖片P1劃分成多個塊(CTU)并且以塊為單位進行編碼的處理流程。如圖5所示，圖像編碼裝置以光柵掃描的方式從左上角到右下角掃描圖片P1，將圖片P1劃分成具有固定塊大小的多個CTU，并且對CTU進行處理。換言之，在圖5所示的示例的情況下，圖像編碼裝置將圖片P1進行劃分并且按照塊U11、U12、…U1m、U21、U22、U23和U24的順序對圖片P1進行處理。

具體地，下面的描述將繼續(xù)圖像編碼裝置的一系列處理的流程直到生成塊U23的解碼圖像數(shù)據(jù)，并且通過回路濾波器24進行濾波處理，重點放在將塊U23設置為處理目標時的操作。在這種情況下，塊U11至U1m、U21和U22均是已處理塊，而且，在已處理塊中，具體地，塊U13和U22是處理目標塊U23的相鄰塊。

接著，將參照圖6、圖3和圖4對直到生成圖片P1中的一個CTU的解碼圖像數(shù)據(jù)并且通過回路濾波器24進行濾波處理之前的處理流程進行說明。圖6是圖示根據(jù)本實施例的圖像編碼裝置的一系列處理的流程的示例的流程圖，具體地，圖示了直到生成圖片P1中的一個CTU的解碼圖像數(shù)據(jù)并且通過回路濾波器24進行濾波處理之前的處理流程。在本說明書中，描述的重點在于解碼圖像數(shù)據(jù)的生成，并且省略了對量化數(shù)據(jù)進行無損編碼并且生成和輸出編碼流的處理的描述。

(步驟S11)

分選緩沖器11(見圖3)對一系列圖像數(shù)據(jù)中包括的圖像進行分選。在根據(jù)編碼處理根據(jù)GOP(圖片組)結構對圖像進行分選之后，分選緩沖器11將已經(jīng)分選的圖像數(shù)據(jù)輸出到減法部13、幀內預測部30、幀間預測部35和回路濾波器24。

選擇器26從幀存儲器25中讀取用于幀內預測的在濾波之前的解碼圖像數(shù)據(jù)，并且將讀取的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)提供給幀內預測部30。進一步地，選擇器26從幀存儲器25中讀取用于幀間預測的濾波后的解碼圖像數(shù)據(jù)，并且將讀取的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)提供給幀間預測部35。

幀內預測部30基于提供的原始圖像數(shù)據(jù)和解碼圖像數(shù)據(jù)以通過劃分CU形成的PU為單位進行幀內預測處理。

此時，當將圖5所示的塊U23設置為幀內預測處理的目標時，幀內預測部30基于塊U23的原始圖像數(shù)據(jù)和相鄰已處理塊U13和U22的解碼圖像數(shù)據(jù)進行幀內預測處理。

幀內預測部30根據(jù)通過使用預定成本函數(shù)設置的預測模式中的各個候選模式來評估預測結果，并且基于評估結果選擇最佳預測模式。幀內預測部30根據(jù)該最佳預測模式生成預測圖像數(shù)據(jù)。然后，幀內預測部30將與幀內預測有關的信息、成本和預測圖像數(shù)據(jù)傳輸至選擇器27，該與幀內預測有關的信息包括指示所選擇的最佳預測模式的預測模式信息。

幀間預測部35基于原始圖像數(shù)據(jù)和解碼圖像數(shù)據(jù)以通過劃分CU形成的PU為單位進行幀間預測處理。

幀間預測部35根據(jù)通過使用預定成本函數(shù)設置的預測模式中的各個候選模式來評估預測結果，并且基于評估結果選擇最佳預測模式。幀間預測部35根據(jù)該最佳預測模式生成預測圖像數(shù)據(jù)。然后，幀間預測部35將與幀間預測有關的信息、成本和預測圖像數(shù)據(jù)輸出至選擇器27，該與幀間預測有關的信息包括指示所選擇的最佳預測模式的預測模式信息和運動信息。

在幀內預測模式中，選擇器27將預測圖像數(shù)據(jù)作為從幀內預測部30輸出的幀內預測結果輸出至減法部13，并且還將關于幀內預測的信息輸出至無損編碼部16。進一步地，在幀間預測模式中，選擇器27將預測圖像數(shù)據(jù)作為從幀間預測部35輸出的幀間預測結果輸出至減法部13，并且還將關于幀間預測的信息輸出至無損編碼部16。選擇器27根據(jù)成本的大小來切換幀間預測模式和幀內預測模式。

(步驟S12)

將從分選緩沖器11輸入的圖像數(shù)據(jù)和由幀內預測部30或者幀間預測部35輸入的預測圖像數(shù)據(jù)提供給減法部13。減法部13計算預測誤差數(shù)據(jù)，并且將計算出的預測誤差數(shù)據(jù)輸出到正交變換部14，該預測誤差數(shù)據(jù)是在從分選緩沖器11輸入的圖像數(shù)據(jù)與預測圖像數(shù)據(jù)之間的差值。

(步驟S13)

正交變換部14對從減法部13輸入的預測誤差數(shù)據(jù)進行正交變換。正交變換部14將通過正交變換處理獲得的變換系數(shù)數(shù)據(jù)輸出至量化部15。

將從正交變換部14輸入的變換系數(shù)數(shù)據(jù)和從速率控制部18輸入的速率控制信號提供給量化部15。量化部15利用根據(jù)速率控制信號確定的量化步長對變換系數(shù)數(shù)據(jù)進行量化。量化部15將量化的變換系數(shù)數(shù)據(jù)(即，量化數(shù)據(jù))輸出至無損編碼部16和反量化部21。

(步驟S14)

按照量化部15使用的量化步長，反量化部21對量化數(shù)據(jù)進行反量化，從而恢復變換系數(shù)數(shù)據(jù)。然后，反量化部21將恢復的變換系數(shù)數(shù)據(jù)輸出至反正交變換部22。

反正交變換部22對從反量化部21輸入的變換系數(shù)數(shù)據(jù)進行反正交變換處理，從而恢復預測誤差數(shù)據(jù)。與在正交變換中一樣，針對各個TU進行反正交變換。然后，反正交變換部22將恢復的預測誤差數(shù)據(jù)輸出至加法部23。

(步驟S15)

加法部23將從反正交變換部22輸入的恢復的預測誤差數(shù)據(jù)和從幀內預測部30或者幀間預測部35輸入的預測圖像數(shù)據(jù)相加，從而生成解碼圖像數(shù)據(jù)(重構圖像)。然后，加法部23將生成的解碼圖像數(shù)據(jù)輸出至回路濾波器24和幀存儲器25。

(步驟S16)

將輸出至回路濾波器24的解碼圖像數(shù)據(jù)提供給去塊濾波器200(見圖4)。去塊濾波器200通過適當?shù)貓?zhí)行去塊濾波處理來消除解碼圖像數(shù)據(jù)的塊失真。去塊濾波器200將濾波處理結果輸出至SAO濾波器300。

(步驟S17)

SAO濾波器300以CTU為單位決定出應用于由去塊濾波器200濾波的解碼圖像數(shù)據(jù)的SAO模式和偏移值。然后，SAO濾波器300基于決定的模式和偏移值以CTU為單位對解碼圖像數(shù)據(jù)進行濾波處理(即SAO處理)。換言之，在圖S17所示的時機中，對圖5所示的處理目標塊U23進行SAO處理。

SAO濾波器300將已經(jīng)經(jīng)過SAO處理的解碼圖像數(shù)據(jù)輸出至自適應回路濾波器400。SAO濾波器300將以CTU為單位(即，以LCU為單位)決定出的SAO模式和偏移量輸出至無損編碼部16作為編碼參數(shù)。在接收到該輸出后，無損編碼部16針對生成的編碼流對提供的SAO模式和偏移值進行編碼，然后將SAO模式和偏移值插入到編碼流的頭區(qū)域中。

(步驟S18)

自適應回路濾波器400對已經(jīng)經(jīng)過SAO處理并由SAO濾波器300提供的解碼圖像數(shù)據(jù)進行自適應回路濾波(ALF)處理。

(步驟S19)

自適應回路濾波器400將濾波處理結果輸出至幀存儲器25。從而，生成圖5所示的塊U23的解碼圖像數(shù)據(jù)，并且將該解碼圖像數(shù)據(jù)存儲在幀存儲器25中。在幀存儲器25中存儲的塊U23的解碼圖像數(shù)據(jù)用于，例如，在圖5所示的未處理塊中的與塊U23相鄰的塊(例如，塊U24)的幀內預測和幀間預測。

上面已經(jīng)參照圖5和圖6對根據(jù)本實施例的圖像編碼裝置的一系列處理的流程進行了說明。

[2-4.SAO濾波器]

<<2-4-1.SAO濾波器的示例性配置>>

接著，將對根據(jù)本實施例的SAO濾波器300進行詳細說明。首先，將參照圖7對根據(jù)本實施例的SAO濾波器300的配置的示例進行說明。圖7是圖示根據(jù)第一實施例的SAO濾波器300的配置的示例的框圖。

如圖7所示，根據(jù)本實施例的SAO濾波器300包括控制單元310和濾波處理部390?？刂茊卧?10包括分析部320和切換確定部360。

切換確定部360確定是否以解碼圖像數(shù)據(jù)的切片為單位將SAO處理應用于亮度和色度，并且基于該確定結果控制分析部320的操作。

具體地，當處理目標的切片是切片I或者切片P時，切換確定部360下令分析部320將SAO處理應用于該切片。

進一步地，當處理目標的切片是切片B時，切換確定部360根據(jù)在切片B的前一個切片(即，切片I或者切片B)中應用了SAO處理的CTU的數(shù)量(在下文中也稱為“模式的數(shù)量”)來確定是否將SAO處理應用于切片B。

作為具體示例，當在前一個切片中的模式的數(shù)量等于或者大于預定閾值TH11(例如，等于或者大于一半)時，切換確定部360下令分析部320將SAO處理應用于處理目標的切片B。另一方面，當在前一個切片中的模式的數(shù)量小于閾值TH11時，切換確定部360下令分析部320限制將SAO處理應用于處理目標的切片B(即，不將SAO處理應用于處理目標的切片B)。

切換確定部360將指示是否以切片為單位應用SAO處理的信息輸出至無損編碼部16作為編碼參數(shù)。用于控制是否以切片為單位應用SAO處理的參數(shù)的示例包括與亮度對應的“slice_sao_luma_flag”和與色度對應的“slice_sao_chroma_flag”。

分析部320包括統(tǒng)計值獲取部330和模式確定部340。分析部320基于在原始圖像保存部100(見圖4)中保存的原始圖像數(shù)據(jù)和從去塊濾波器200輸出的解碼圖像數(shù)據(jù)以CTU為單位(即，以LCU為單位)決定用于執(zhí)行SAO處理的SAO模式和偏移值?；谟汕袚Q確定部360給出的指令，控制是否以切片為單位應用分析部320的處理。下面將對分析部320的部件進行詳細說明。

統(tǒng)計值獲取部330基于原始圖像數(shù)據(jù)和解碼圖像數(shù)據(jù)計算用于指定SAO模式是和偏移值的統(tǒng)計值。

作為具體示例，統(tǒng)計值獲取部330針對圖1所示的邊緣偏移的各個級別EO_1至EO_3以解碼圖像數(shù)據(jù)中的像素為單位分析目標像素與相鄰像素之間的對應關系，并且將類別0至4的出現(xiàn)頻率相加。此時，統(tǒng)計值獲取部330針對相加的各個類別累積相加解碼圖像數(shù)據(jù)與原始圖像數(shù)據(jù)之間的像素值的差值。然后，統(tǒng)計值獲取部330計算針對級別EO_1至EO_3相加的類別0至4的出現(xiàn)頻率和針對各個類別累積相加的像素值以作為統(tǒng)計值。

統(tǒng)計值獲取部330針對圖2所示的帶偏移的各個帶0至31將對應像素的頻率相加，并且針對各個帶累積相加在像素中的解碼圖像數(shù)據(jù)與原始圖像數(shù)據(jù)之間的像素值的差值。然后，統(tǒng)計值獲取部330計算針對各個帶相加的頻率和針對各個帶累積相加的像素值的差值作為統(tǒng)計值。

統(tǒng)計值獲取部330將上述計算出的統(tǒng)計值輸出至模式確定部340。

模式確定部340包括偏移量確定部350。模式確定部340基于由統(tǒng)計值獲取部330提供的統(tǒng)計值使偏移量確定部350以解碼圖像數(shù)據(jù)中的CTU為單位針對各種SAO模式計算偏移值和與該偏移值對應的成本。

具體地，模式確定部340使偏移量確定部350針對邊緣偏移的級別EO_1至EO_3和類別1至4的各種組合計算偏移值和與該偏移值對應的成本。同樣，模式確定部340使偏移量確定部350針對帶偏移的各個帶計算偏移值和與該偏移值對應的成本。模式確定部340還計算在未應用SAO處理時的成本。

偏移量確定部350針對由模式確定部340下令的模式計算偏移值的候選的成本。然后，偏移量確定部350比較計算出的成本，并且指定可以最大程度提高編碼效率的偏移值和與該偏移值對應的成本。稍后將單獨對偏移量確定部350進行說明。

模式確定部340比較針對相應SAO模式計算出的成本，并且基于比較結果以CTU為單位(即，以LCU為單位)指定可以最大程度提高編碼效率的SAO模式和與該模式對應的偏移值。然后，模式確定部340將以CTU為單位指定的模式和與該模式對應的偏移值輸出至稍后描述的濾波處理部390。此時，當由于成本的比較結果確定不應用SAO處理時，模式確定部340下令濾波處理部390不將SAO處理應用于目標CTU。

模式確定部340將以CTU為單位指定的SAO模式和偏移值輸出至無損編碼部16作為編碼參數(shù)。作為編碼參數(shù)，例如，作為指示邊緣偏移和帶偏移中的一個的參數(shù)，存在與亮度對應的“sao_type_idx_luma”和與色度對應的“sao_typ_idx_chroma”。進一步地，當應用了邊緣偏移時，作為指示邊緣偏移的級別的參數(shù)，存在與亮度對應的“sao_eo_class_luma”或者與色度對應的“sao_eo_class_chroma”。進一步地，當應用了帶偏移時，作為指示帶的位置的參數(shù)，存在“sao_band_position”。作為用于通知偏移值的參數(shù)，存在指示偏移值的絕對值的“sao_offset_abs”和指示正或者負偏移值的“sao_offset_sign”。

濾波處理部390基于由模式確定部340提供的SAO模式和偏移值對解碼圖像數(shù)據(jù)的各個CTU進行SAO處理。當從模式確定部340接收到不應用SAO處理的指令時，濾波處理部390不會對目標CTU進行SAO處理。應該明白的是，同樣，針對基于切換確定部360的確定結果確定不應用SAO處理的切片，濾波處理部390基于確定結果不會對相應的切片進行SAP處理。

然后，濾波處理部390將已經(jīng)經(jīng)過SAO處理的解碼圖像數(shù)據(jù)輸出至自適應回路濾波器400(見圖4)。

<<2-4-2.SAO濾波器的處理流程>>

接著，將參照圖8對根據(jù)本實施例的SAO濾波器的一系列處理的流程進行說明。圖8是圖示根據(jù)本實施例的SAO濾波器的一系列處理的流程的示例的流程圖。

(步驟S100)

首先，切換確定部360確定是否以解碼圖像數(shù)據(jù)的切片為單位將SAO處理應用于亮度和色度，并且基于確定結果控制分析部320的操作。稍后將單獨對通過切換確定部360確定是否應用SAO處理的操作進行說明。

(步驟S500)

當確定將SAO處理應用于切片時(在步驟S200中為是)，分析部320基于原始圖像數(shù)據(jù)和解碼圖像數(shù)據(jù)(已經(jīng)經(jīng)過去塊濾波處理)以CTU為單位決定用于執(zhí)行SAO處理的SAO模式和偏移值。

具體地，統(tǒng)計值獲取部330基于原始圖像數(shù)據(jù)和解碼圖像數(shù)據(jù)計算用于指定SAO模式和偏移值的統(tǒng)計值，并且將計算出的統(tǒng)計值輸出至模式確定部340。

模式確定部340基于由統(tǒng)計值獲取部330提供的統(tǒng)計值使偏移量確定部350以解碼圖像數(shù)據(jù)中的CTU為單位針對相應SAO模式計算可應用為偏移值的值的成本。

模式確定部340比較針對相應SAO模式計算出的成本，并且基于比較結果以CTU為單位(即，以LCU為單位)指定可以最大程度提高編碼效率的SAO模式。然后，模式確定部340將以CTU為單位指定的模式和與該模式對應的偏移值輸出至稍后描述的濾波處理部390。模式確定部340將以CTU為單位指定的SAO模式和偏移值輸出至無損編碼部16作為編碼參數(shù)。

(步驟S600)

濾波處理部390基于由模式確定部340提供的SAO模式和偏移值對解碼圖像數(shù)據(jù)的各個CTU進行SAO處理。

(步驟S700)

對目標切片中的一系列CTU進行上述處理(在步驟S700中為否)，并且，當完成了對這一系列CTU的處理時(在步驟S700中為是)，完成了將SAO處理應用于目標切片。

(步驟S200)

進一步地，當SAO處理不應用于目標切片時(在步驟S200為否)，不會對切片進行步驟S300至S700的處理。

接著，將參照圖9對圖8所示的步驟S100的處理(即，通過切換確定部360確定是否以切片為單位應用SAO處理的處理的示例)進行說明。圖9是圖示通過根據(jù)本實施例的切換確定部確定是否以切片為單位應用SAO處理的處理的示例的流程圖。

(步驟S101和S104)

當處理目標的切片不是切片B時，即，當處理目標的切片是切片I或者切片P時(在步驟S101中為否)，切換確定部360下令分析部320將SAO處理應用于該切片(步驟S104)。

(步驟S101和S102)

當處理目標的切片是切片B時(在步驟S101中為是)，切換確定部360獲取在切片B的上一個切片(即，切片I或者切片P)中應用了SAO處理的CTU的數(shù)量(模式的數(shù)量)(步驟S102)。

(步驟S103和S104)

當獲取的模式的數(shù)量等于或者大于預定閾值TH11時(在步驟S103中為否)，切換確定部360下令分析部320將SAO處理應用于切片(步驟S104)。

(步驟S103和S105)

另一方面，當獲取的模式的數(shù)量小于預定閾值TH11時(在步驟S103中為是)，切換確定部360下令分析部320限制將SAO處理應用于切片(即，不會將SAO處理應用于切片)(步驟S105)。

因此，切換確定部360針對各個切片確定是否應用SAO處理，并且基于確定結果控制分析部320的操作。

上面已經(jīng)參照圖8和圖9對根據(jù)本實施例的SAO濾波器300的一系列處理的流程的示例進行了說明。

[2-5.偏移量確定部]

接著，將對偏移量確定部350進行詳細說明。偏移量確定部350基于由統(tǒng)計值獲取部330生成的統(tǒng)計值計算可應用為偏移值的值的成本，比較計算出的成本，并且指定可以最大程度提高編碼效率的偏移值。

如上所述，在H.265/HEVC中，可以將8位(像素值是0至255)和10位(像素值是0至1023)用作像素的位深度，并且，根據(jù)位深度，偏移值的可應用候選不同。具體地，當位深度為8位時，偏移值的可應用值為0至7；而當位深度為10位時，偏移值的可應用值為0至31。

由于這個原因，在根據(jù)相關技術的方案中，當像素的位深度為10位時，偏移值的候選的數(shù)量是位深度為8位時的四倍，從而成本計算的處理量可能增加，導致電路大小和功耗的增加。鑒于此，在本說明書中，為了促進對根據(jù)本實施例的偏移量確定部350的特征的理解，首先，將基于根據(jù)相關技術的方案的偏移量確定部的概述描述為對比示例，然后對根據(jù)本實施例的偏移量確定部350進行說明。

<<2-5-1.偏移確定部的對比示例>>

將參照圖10至圖12對根據(jù)對比示例的偏移量確定部進行說明。在下文中，當將根據(jù)對比示例的偏移量確定部與根據(jù)本實施例的偏移量確定部350明確地區(qū)分開來時，根據(jù)對比示例的偏移量確定部也稱為“偏移量確定部350a”。

首先，將參照圖10對根據(jù)對比示例的偏移量確定部350a的配置的示例進行說明。圖10是圖示根據(jù)對比示例的偏移量確定部350a的配置的示例的框圖。

如圖10所示，偏移量確定部350a包括一個或者多個偏移量測量部351和偏移量決定部353。

偏移量測量部351基于由統(tǒng)計值獲取部330生成的統(tǒng)計值(例如，用作處理目標的像素的出現(xiàn)頻率或者在解碼圖像數(shù)據(jù)與原始圖像數(shù)據(jù)之間的像素值的差值)針對各個偏移值計算在應用偏移值時的成本。此時，作為計算出的成本，例如，存在基于各個偏移值的偏移處理所需的數(shù)據(jù)量(即，待傳輸至解碼器側的數(shù)據(jù)量)，以便通過緩解與在解碼圖像數(shù)據(jù)中生成的原始圖像數(shù)據(jù)的誤差(例如，量化誤差)來接近原始圖像數(shù)據(jù)。在本說明書中省略了對成本計算的具體內容的具體說明。

在圖10所示的示例中，將Offset[0]測量部至Offset[31]測量部設置為偏移量測量部351以便并行地計算在位深度為10位時偏移值1至31的成本。

例如，在圖11中用附圖標記d40表示的表圖示了圖10所示的偏移測量部351(即，Offset[0]測量部至Offset[31]測量部)與偏移值之間的對應關系。如圖11所示，Offset[0]測量部計算在偏移值為0時的成本。同樣，Offset[1]測量部至Offset[31]測量部與偏移值1至31相關聯(lián)。

換言之，在圖10所示的示例中，當位深度為8位時，使用在Offset[0]測量部至Offset[31]測量部中的用附圖標記351a表示的Offset[0]測量部至Offset[7]測量部。進一步地，當位深度為10位時，使用用附圖標記351b表示的所有Offset[0]測量部至Offset[31]測量部。

偏移量決定部353比較由偏移量測量部351計算出的成本，并且基于比較結果從偏移值的候選中決定成本最低的偏移值。然后，偏移量決定部353輸出決定的偏移值和與該偏移值對應的成本。在接收到該輸出之后，模式確定部340(見圖7)比較針對相應SAO模式計算出的成本，并且基于比較結果以CTU為單位(即，以LCU為單位)指定可以最大程度提高編碼效率的SAO模式和與該模式對應的偏移值。

接著，將參照圖12對根據(jù)對比示例的偏移量確定部350a的一系列處理的流程的示例進行說明。圖12是圖示根據(jù)對比示例的偏移量確定部350a的一系列處理的流程的示例的流程圖。

(步驟S611至S614)

首先，偏移量確定部350a將用作計數(shù)器值的Count初始化為0(步驟S611)。然后，針對由計數(shù)器值Count指示的偏移值的候選計算成本。例如，當計數(shù)器值Count為0時，偏移量確定部350a計算偏移值“0”的成本。此時，在圖10所示的示例的情況下，偏移量測量部351中的Offset[0]測量部計算偏移值“0”的成本。同樣，當計數(shù)器值Count為1時，偏移量確定部350a計算偏移值_“1”的成本(步驟S613)。當完成了成本計算時，偏移量確定部350a對計數(shù)器值Count進行增量(步驟S614)。

如上所述，偏移量確定部350a根據(jù)像素的位深度計算偏移值的成本(在步驟S612中為否)。例如，當位深度為8位時，偏移量確定部350a計出偏移值“0”至“7”的成本。進一步地，當位深度為10位時，偏移量確定部350a計算偏移值“0”至“31”的成本。

(步驟S615)

當完成了根據(jù)位深度的計數(shù)器值的成本計算時(在步驟S612為是)，偏移量確定部530a比較偏移值的計算出的成本，并且基于比較結果決定成本最低的偏移值。

如上面參照圖10和圖12所述的，當像素的位深度為8位時，偏移值的可應用值為0至7，并且偏移量確定部350a針對偏移值0至7進行八次成本計算。進一步地，當位深度為10位時，偏移值的可應用值為0至31，因此偏移確定部350a針對偏移值0至31進行32次成本計算。

換言之，當像素的位深度為10位時，偏移值的候選的數(shù)量是當位深度為8位時的四倍，因此成本計算的處理量也是當位深度為8位時的四倍。因此，當位深度位10位的圖像是處理目標時，如上面參照圖12所述的，偏移值的成本計算的次數(shù)(處理量)是當位深度為8位時的四倍，導致功耗的增加。

進一步地，當位深度為10位的圖像是處理目標時，如圖10所示，偏移量測量部351(即，Offset[0]測量部至Offset[31]測量部)的數(shù)量是當位深度為8位時的四倍，從而通常會增加電路大小。進一步地，當位深度為10的圖像是處理目標時，計算偏移值8至31的成本額外需要的電路，即Offset[8]測量部至Offset[31]測量部是當像素的位深度為8位時不使用的。換言之，如果將位深度為8位的圖像設置為處理目標時，則Offset[8]測量部至Offset[31]測量部是冗余部件。

鑒于此，根據(jù)本實施例的偏移量確定部350限制在位深度為10位時可應用為偏移值的值(即，0至31)中的偏移值的候選，并且從限制的候選中指定待應用的偏移值。通過這種配置，根據(jù)本實施例的偏移量確定部350使在位深度為8位時的偏移值的成本計算的處理量等于在位深度為10位時的偏移值的成本計算的處理量，從而減少了電路大小或者功耗。鑒于此，下面將對根據(jù)本實施例的偏移量確定部350進行詳細說明。

<<2-5-2.偏移量確定部的示例性配置>>

首先，將參照圖13對根據(jù)本實施例的偏移量確定部350的配置的示例進行說明。圖13是圖示根據(jù)本實施例的偏移量確定部350的配置的示例的框圖。

如圖13所示，根據(jù)本實施例的偏移量確定部350與圖10所示的根據(jù)對比示例的偏移量確定部350a的不同之處在于，設置了候選控制單元355，并且僅將Offset[0]測量部至Offset[7]測量部設置為偏移量測量部351。因此，在本說明書中，將重點放在與偏移量確定部350a不同的部分對根據(jù)本實施例的偏移量確定部350的配置進行說明。

候選控制部355基于像素的位深度和用于生成用作解碼圖像數(shù)據(jù)的解碼源的量化數(shù)據(jù)的量化步長(QP)來決定偏移值的候選，并且將決定的候選分配到Offset[0]測量部至Offset[7]測量部。如上所述，未對量化步長的獲取源進行具體限制。作為具體示例，候選控制單元355可以從量化部15獲取在量化部15生成用作解碼圖像數(shù)據(jù)的解碼源的量化數(shù)據(jù)時應用的量化步長。

此處，將對量化步長與應用于SAO處理的偏移值之間的關系的趨勢進行說明。一般而言，當通過對變換系數(shù)數(shù)據(jù)(在正交變換之后的預測誤差數(shù)據(jù))進行量化而生成量化數(shù)據(jù)時，隨著量化步長的減小，原始圖像數(shù)據(jù)與編碼圖像數(shù)據(jù)之間的差值趨于減小(即，量化誤差趨于減小)。從而，當量化步長較小時，通常選擇相對較小的值作為應用于SAO處理的偏移值。

進一步地，當圖像的像素值發(fā)生變化時(例如，在紋理較細的圖像的情況下)，趨于選擇較大的量化步長。進一步地，隨著量化步長的增大，原始圖像數(shù)據(jù)與解碼圖像數(shù)據(jù)之間的差值趨于增大(即，量化誤差趨于增大)。如上所述，當量化誤差較大時，即使計算出了偏移值的候選的成本，通常，在相鄰候選之間，計算出的成本中的差值也不會明顯變化。

利用這種趨勢，候選控制單元355基于量化步長限制在像素的位深度為10位(即，0至31)時在可應用為偏移值的值中的偏移值的候選。然后，候選控制單元355將偏移值的限制的候選分配到Offset[0]測量部至Offset[7]測量部。

此處，將參照圖14至圖16對偏移值的候選與Offset[0]測量部至Offset[7]測量部之間的對應關系的示例進行說明。圖14至圖16是描述指示偏移值的候選與Offset[0]測量部至Offset[7]測量部之間的對應關系的控制表的示例的說明圖。在圖14至圖16中，常數(shù)N(N是N≤0的整數(shù))是根據(jù)偏移值的候選的數(shù)量(即，偏移量測量部351的數(shù)量)設置的值，而N+1對應偏移值的候選的數(shù)量。

例如，圖14所示的控制表d51對應像素的位深度為8位的情況或者像素的位深度為10位的情況，并且量化步長小于第一閾值TH21(QP<TH21)。

在圖14所示的控制表d51中，0至N與作為偏移值的候選的Offset[0]測量部至Offset[N]測量部相關聯(lián)。換言之，當基于控制表d51將偏移值的候選分配到偏移量測量部351時，候選控制單元355將“i”分配給Offset[i]測量部(i是0≤i≤N的整數(shù))作為偏移值。例如，當N＝7時，如圖13所示，將0、1、…和7分配到Offset[0]測量部、Offset[1]測量部、…和Offset[7]測量部作為偏移值的候選。

接著，將對圖15所示的控制表d52進行說明。控制表d52對應像素的位深度為10位并且量化步長大于第一閾值TH21但等于或者小于第二閾值TH22(TH21<QP≤TH22)的情況。應該明白的是，第二閾值TH22是大于第一閾值TH21的值。

在圖15所示的控制表d52中，0至2×N與作為偏移值的候選的Offset[0]測量部至Offset[N]測量部相關聯(lián)。換言之，當基于控制表d52將偏移值的候選分配到偏移量測量部351時，候選控制單元355將“2×i”分配給Offset[i]測量部(i是0≤i≤N的整數(shù))作為偏移值。例如，當N＝7時，如圖15所示，將0、2、…和14分配到Offset[0]測量部、Offset[1]測量部、…和Offset[7]測量部作為偏移值的候選。

接著，將對圖16所示的控制表d53進行說明?？刂票韉53對應像素的位深度為10位并且量化步長大于第二閾值TH22(TH22<QP)的情況。

在圖14所示的控制表d53中，0至4×N與作為偏移值的候選的Offset[0]測量部至Offset[N]測量部相關聯(lián)。換言之，當基于控制表d52將偏移值的候選分配到偏移量測量部351時，候選控制單元355將“4×i”分配給Offset[i]測量部(i是0≤i≤N的整數(shù))作為偏移值。例如，當N＝7時，如圖16所示，將0、4、…和28分配到Offset[0]測量部、Offset[1]測量部、…和Offset[7]測量部作為偏移值的候選。

如上所述，候選控制單元355基于像素的位深度和所獲取的量化步長選擇控制表d51至d53中的任意一個，并且根據(jù)所選擇的控制表將偏移值的候選分配到Offset[0]測量部至Offset[7]測量部。

具體地，當像素的位深度為10位時，候選控制單元355進行如下設置：隨著量化步長的減小，偏移值的候選的最大值減小，并且在相鄰候選之間的間隔(即，在相鄰候選之間的差值)也減小。進一步地，當像素的位深度為10位時，候選控制單元355進行如下設置：隨著量化步長的增大，偏移值的候選的最大值增大，并且在相鄰候選之間的間隔(即，在相鄰候選之間的差值)也增大。通過這種配置，候選控制單元355可以將在像素的位深度為10位時的偏移值的候選的數(shù)量限制為在像素的位深度為8位時的偏移值的候選的數(shù)量(在像素的位深度為8位時可應用為偏移值的值的范圍)。

第一閾值TH21和第二閾值TH22的值優(yōu)選地是通過根據(jù)圖像編碼裝置的配置或者各種參數(shù)(例如，原始圖像數(shù)據(jù)的分辨率等)執(zhí)行的實驗來預先決定的。上述的配置僅是示例，并且可以適當?shù)馗淖兤屏繙y量部351的數(shù)量或者用于指定偏移值的候選的控制表的數(shù)量。當然，當偏移量測量部351的數(shù)量或者控制表的數(shù)量發(fā)生了改變時，需要將預先基于實驗等決定的適當值設置為在相應控制表中設置的偏移值或者用于預先切換控制表的閾值。

隨后的處理與根據(jù)對比示例的偏移量確定部350a的處理相似。換言之，偏移量測量部351(即，Offset[0]測量部至Offset[7]測量部)針對偏移值的所分配的候選計算成本，并且將成本輸出至偏移量決定部353。

偏移量決定部353比較由偏移量測量部351計算出的成本，并且基于比較結果從偏移值的候選中決定出成本最低的偏移值。然后，偏移量決定部353輸出決定的偏移值和與該偏移值對應的成本。在接收到該輸出之后，模式確定部340(見圖7)比較針對相應SAO模式計算出的成本，并且基于比較結果以CTU為單位(即，以LCU為單位)指定可以最大程度提高編碼效率的SAO模式和與該模式對應的偏移值。

上面已經(jīng)參照圖13和圖16對根據(jù)本實施例的偏移量確定部350的配置的示例進行了說明。通過上述配置，根據(jù)本實施例的偏移量確定部350可以將在像素的位深度為10位時的成本計算的處理量限制為在像素的位深度為8位時的處理量。從而，即使當位深度為10位時，根據(jù)本實施例的偏移量確定部350也可以通過使用和在像素的位深度為8位時一樣的配置(即，Offset[0]測量部至Offset[7]測量部)作為偏移量測量部351來決定偏移值。換言之，根據(jù)本實施例的偏移量確定部350，可以將電路大小減小到小于根據(jù)對比示例的偏移量確定部350a中的電路大小。進一步地，隨著成本計算的處理量的減少，根據(jù)本實施例的偏移量確定部350可以將功耗減少到小于根據(jù)對比示例的偏移量確定部350a中的功耗。

上面參照圖13所述的偏移量確定部350的配置僅是示例，并且本公開并不一定限于圖10所示的配置。例如，根據(jù)本實施例的偏移量確定部350可以包括用作偏移量測量部351的Offset[0]測量部至Offset[31]測量部，并且偏移量確定部350可以配置為在將Offset[0]測量部至Offset[31]測量部中的一些用作偏移量測量部351的模式與將Offset[0]測量部至Offset[31]測量部中的全部用作偏移量測量部351的模式之間進行切換。

例如，當通過電池提供動力并且需要限制功耗時，可以只將Offset[0]測量部至Offset[7]測量部用作如上所述的偏移量測量部351。進一步地，例如，當通過電源提供電力并且可以進一步提高處理量時，可以利用作為偏移量測量部351的全部Offset[0]測量部至Offset[31]測量部來進行該操作，類似于根據(jù)對比示例的偏移量確定部350a。如上所述，根據(jù)本實施例的偏移量測量部351可以配置為進行至可以根據(jù)預定條件(例如，圖像編碼裝置運行從而減少成本計算的處理量的情況)使用一些偏移量測量部351的模式的切換。

<<2-5-3.偏移量確定部的處理流程>>

接著，將參照圖17對根據(jù)本實施例的偏移量確定部350的一系列處理的流程的示例進行說明。圖17是圖示根據(jù)本實施例的偏移量確定部350的一系列處理的流程的示例的流程圖。在圖17中，常數(shù)N(N是0≦N的整數(shù))是根據(jù)如上所述的偏移值的候選的數(shù)量(即，偏移量測量部351的數(shù)量)設置的值，而N+1對應偏移值的候選的數(shù)量。

(步驟S621)

首先，偏移量確定部350將用作計數(shù)器值的Count初始化為0(步驟S611)。然后，針對由計數(shù)器值Count指示的偏移值的候選計算成本。此時，偏移量確定部350基于像素的位深度和用于生成用作解碼圖像數(shù)據(jù)的解碼源的量化數(shù)據(jù)的量化步長(QP)來限制偏移值的候選。

(步驟S623和S624)

具體地，當像素的位深度為8位或者像素的位深度為10位，并且量化步長等于或者小于第一閾值TH21(QP≤TH21)時(在步驟S623中為否)，偏移量確定部350選擇與該條件對應的表1。作為表1的具體示例，使用圖14所示的控制表d51。

然后，偏移量確定部350基于所選擇的表1指定由計數(shù)器值Count指示的偏移值的候選，并且計算所指定的候選的成本。在這種情況下，當計數(shù)器值Count＝i(i是0≤i≤N的整數(shù))時，將“i”指定為偏移值的候選。

(步驟S625)

進一步地，當像素的位深度為10位，并且量化步長大于第一閾值TH21時(在步驟S624中為是)，偏移量確定部350確定量化步長是否大于第二閾值TH22(TH22>TH21)。

(步驟S626)

當量化步長等于或者小于第二閾值TH22時(在步驟S625中為否)，偏移量確定部350選擇與該條件對應的表2。作為表2的具體示例，使用圖15所示的控制表d52。

然后，偏移量確定部350基于所選擇的表2指定由計數(shù)器值Count指示的偏移值的候選，并且計算所指定的候選的成本。在這種情況下，當計數(shù)器值Count＝i(i是0≤i≤N)的整數(shù))時，將“2×i”指定為偏移值的候選。

(步驟S627)

當量化步長大于第二閾值TH22時(在步驟S625中為是)，偏移量確定部350選擇與該條件對應的表3。作為表3的具體示例，使用圖16所示的控制表d53。

然后，偏移量確定部350基于所選擇的表3指定由計數(shù)器值Count指示的偏移值的候選，并且計算所指定的候選的成本。在這種情況下，當計數(shù)器值Count＝i(i是0≤i≤N)的整數(shù))時，將“4×i”指定為偏移值的候選。

(步驟S628)

偏移量確定部350指定由計數(shù)器值Count指示的偏移值的候選，并且在完成了所指定的候選的成本計算時對計數(shù)器值Count進行增量。

(步驟S622)

如上所述，偏移量確定部350指定偏移值的候選，并且計算所指定的候選的成本直到計數(shù)器值Count大于預定常數(shù)N(在步驟S622中為否)。

(步驟S629)

當針對各個計數(shù)器值Count 0至N指定了偏移值的候選，并且完成了所指定的候選的成本計算時(在步驟S622中為是)，偏移量確定部350比較針對偏移值的候選計算出的成本。然后，偏移值確定部350基于比較結果將成本最低的候選決定為偏移值。

上面已經(jīng)參照圖17對根據(jù)本實施例的偏移量確定部350的一系列處理的流程的示例進行了說明。

[2-6.總結]

如上所述，在根據(jù)本實施例的圖像編碼裝置中，偏移量確定部350基于像素的位深度和用于生成用作解碼圖像數(shù)據(jù)的解碼源的量化數(shù)據(jù)的量化步長(QP)來限制用于SAO處理的偏移值的候選。

通過上述配置，根據(jù)本實施例的偏移量確定部350可以將在像素的位深度為10位時的成本計算的處理量限制到在像素的位深度為8位時的處理量。從而，根據(jù)本實施例的偏移量確定部350，即使當位深度為10位時，也可以通過使用與在像素的位深度為8位時一樣的配置作為計算偏移值的候選的成本的配置來決定偏移值。換言之，根據(jù)本實施例的圖像編碼裝置，可以將偏移量確定部350的電路大小減小到小于當針對在像素的位深度為10時的各個可應用的偏移值計算成本時的電路大小。進一步地，在根據(jù)本實施例的圖像編碼裝置中，隨著在像素的位深度為10位時的成本計算的處理量的減少，也可以減少功耗。

雖然上面已經(jīng)對基于量化步長來限制偏移值的候選的示例進行了說明，但是用于限制偏移值的候選的確定標準并不一定限于量化步長。作為具體示例，偏移量確定部350可以基于原始圖像數(shù)據(jù)的特征量來限制偏移值的候選。

作為原始圖像數(shù)據(jù)的特征量的具體示例，例如，存在用作原始圖像數(shù)據(jù)中像素值的變化量的指數(shù)的方差值。

例如，當原始圖像數(shù)據(jù)的方差值較小時，表明像素值的變化較小。作為方差值較小的原始圖像數(shù)據(jù)的具體示例，存在對比密度較小或者對比密度的變化較平緩的平面圖像。在這種情況下，存在塊(CTU)之間的相似性高而在原始圖像數(shù)據(jù)與解碼圖像數(shù)據(jù)之間的差值小的趨勢。由于這個原因，當原始圖像數(shù)據(jù)的方差值較小時，偏移量確定部350可以像圖14所示的控制表d51中一樣限制偏移量的候選，從而減小偏移值。

進一步地，當原始圖像數(shù)據(jù)的方差值較大時，表明像素值的變化較大。作為方差值較大的原始圖像數(shù)據(jù)的具體示例，存在紋理較細的圖像。在這種情況下，存在塊(CTU)之間的相似性低而在原始圖像數(shù)據(jù)與解碼圖像數(shù)據(jù)之間的差值大的趨勢。由于這個原因，當原始圖像數(shù)據(jù)的方差值較大時，偏移量確定部350可以像圖15和圖16所示的控制表d52和d53中一樣限制偏移量的候選，從而增大偏移值。

關于原始圖像數(shù)據(jù)的特征量，例如，統(tǒng)計值獲取部330可以基于獲取的原始圖像數(shù)據(jù)計算特征量。

如上所述，只要根據(jù)待應用的偏移值的趨勢預先設置條件，便不會對用于限制偏移值的候選的確定標準進行具體設置，并且偏移量確定部350可以根據(jù)該條件限制偏移值的候選。應該明白的是，只要可以根據(jù)待應用的偏移值的趨勢設置條件，便可以將除了方差值之外的參數(shù)用作原始圖像數(shù)據(jù)的特征量。

<3.第二實施例>

[3-1.概述]

接著，將對根據(jù)第二實施例的圖像編碼裝置進行說明。在根據(jù)第一實施例的圖像編碼裝置中，SAO濾波器通過限制偏移值的候選減少了指定偏移值的處理量和與一系列成本計算相關的處理量。另一方面，在根據(jù)本實施例的圖像編碼裝置中，SAO濾波器根據(jù)指定為對用作處理目標的CTU的幀內預測的結果的預測模式來限制SAO模式的候選。因此，在根據(jù)本實施例的圖像編碼裝置中，通過減少指定SAO模式的處理量減少了與一系列成本計算有關的處理量。鑒于此，首先，將參照圖18至圖20具體地將重點放在SAO濾波器上對根據(jù)本實施例的圖像編碼的概述進行說明。

圖18是描述在H.265/HEVC中的幀內預測的預測模式的說明圖。作為幀內預測的預測模式，存在平面預測、DC預測和方向預測，而在方向預測中設置有32種類型的預測方向。由于這個原因，在H.265/HEVC中，平面預測、DC預測和方向預測的預測方法和方向預測中的預測方向設置為預測模式以便相互區(qū)別開來。

具體地，如圖18所示，在平面預測的情況下，將“0”設置為預測模式的模式值。在DC預測的情況下，將“1”設置為預測模式的模式值。

在方向預測的情況下，根據(jù)預測方向將“2至34”中的任意一個設置為預測模式的模式值。作為具體示例，如圖18所示，當方向預測的預測方向是水平方向(向左方向)時，將“10”設置為預測模式的模式值。作為另一個示例，當方向預測的預測方向是垂直方向(向上方向)時，將“26”設置為預測模式的模式值。

此處，將參照圖19對在將方向預測選擇作為幀內預測的預測模式時的解碼圖像數(shù)據(jù)的特征進行說明。圖19是說明在將方向預測選擇作為幀內預測的預測模式時的解碼圖像數(shù)據(jù)的特征的說明圖。

在圖19中，附圖標記d10表示在原始圖像中的預測目標塊，而附圖標記d20表示預測目標塊d10的解碼圖像數(shù)據(jù)。附圖標記d11表示用于預測目標塊d10的幀內預測的預測塊，而附圖標記d13表示方向預測的預測方向。

在圖19所示的示例中，預測目標塊d10在縱向方向上的像素之間的相關性高。由于這個原因，在圖19所示的示例的情況下，將指示在由附圖標記d13表示的縱向方向上的預測方向的方向預測選擇作為幀內預測的預測模式，并且將“26”設置為預測模式的模式值。

在圖19所示的示例中，如通過比較預測目標塊d10和解碼圖像數(shù)據(jù)d20可以看出的是，解碼圖像數(shù)據(jù)d20的像素在和預測方向d13相同的方向上的像素之間的相關性高。因此，在解碼圖像數(shù)據(jù)d20中，在和幀內預測的預測方向d13相同的方向上不可能形成邊緣。由于這個原因，例如，當圖19所示的解碼圖像數(shù)據(jù)d20是處理目標時，在圖1所示的邊緣偏移的級別EO_0至EO_3中，不可能選擇具有和預測方向d13相同的組分的級別EO_1至EO_3，而可能選擇級別EO_0。

鑒于此，在根據(jù)本實施例的圖像編碼裝置中，SAO濾波器通過使用上述趨勢預先將幀內預測的預測模式與相應的SAO模式進行關聯(lián)。例如，圖20所示的控制表d30是在根據(jù)本實施例的圖像編碼裝置中幀內預測的預測模式與相應SAO模式之間的對應關系的示例。

在圖20所示的控制表d30中，“幀內模式”指示在上面參照圖18所述的幀內預測的預測模式中的模式值?！癝AO模式”指示圖1和圖2所示的相應SAO模式。“SaoTypeIdx”指示根據(jù)SAO模式設置的編碼參數(shù)，并且基于H.265/HEVC標準定義相同的參數(shù)。

如圖20所示，當預測模式的模式值為“0”(即，平面預測)時，并且當模式值為“1”(即，DC預測)時，將帶偏移設置為SAO模式。在圖20中，“BD”表示帶偏移。

當預測模式的模式值為“2”至“34”(即，方向預測)時，將邊緣偏移設置為SAO模式。具體地，模式值與邊緣偏移的級別EO_0至EO_3相關聯(lián)，這樣，在由預測模式的模式值指示的預測方向與相鄰像素a和b相對于邊緣偏移的目標像素c的方向之間的相對位置關系更接近于垂直。

例如，當預測模式的模式值為2至5或者30至34時，關聯(lián)邊緣偏移的級別EO_2。進一步地，當預測模式的模式值為6至13時，關聯(lián)級別EO_1。同樣，當預測模式的模式值為14至21時，關聯(lián)級別EO_3；而當預測模式的模式值為22至29時，關聯(lián)級別EO_0。

SAO濾波器將與解碼圖像數(shù)據(jù)d20(CTU單元)對應的預測目標塊d10的預測模式和圖20所示的控制表進行核對，并且指定在解碼圖像數(shù)據(jù)d20中的SAO模式。

如上所述，在根據(jù)第一實施例的圖像編碼裝置中，SAO濾波器針對相應SAO模式(即，針對帶偏移和邊緣偏移的級別)計算偏移值和成本，比較成本，并且決定待應用的SAO模式和偏移值。另一方面，在根據(jù)本實施例的圖像編碼裝置中，SAO濾波器根據(jù)幀內預測的預測模式?jīng)Q定SAO模式，從而優(yōu)選地，只進行在已決定的模式中的偏移值的計算。換言之，在根據(jù)本實施例的圖像編碼裝置中，可以將成本計算的處理量和功耗減少到小于在針對各個SAO模式計算偏移值和成本時的處理量和功耗。

鑒于此，下面將重點放在與第一實施例不同的部分(具體為在回路濾波器中的SAO濾波器)對根據(jù)本實施例的圖像編碼裝置進行更詳細說明。

[3-2.回路濾波器的示例性配置]

首先，將參照圖21對根據(jù)本實施例的圖像編碼裝置中的回路濾波器24的配置的示例進行說明。圖21是圖示根據(jù)本實施例的回路濾波器24的配置的示例的框圖。在本說明書中，將對不同于根據(jù)第一實施例的回路濾波器24(見圖4)的部件進行說明，而省略了對其它部件的說明。

如圖21所示，在根據(jù)本實施例的回路濾波器24中，SAO濾波器300獲取在對作為處理目標的解碼圖像數(shù)據(jù)的塊進行幀內預測時指定的預測模式(即，在編碼參數(shù)中的預測參數(shù))。例如，在圖6所示的圖像編碼裝置的一系列處理的流程中，在步驟S11中決定幀內預測的預測模式，并且在步驟S17的處理中，SAO濾波器300使用在步驟S11中決定的預測模式。

只要SAO濾波器可以獲取在作為處理目標的CTU中設置的幀內預測的預測模式，便不會對預測模式的獲取源進行具體限制。作為具體示例，SAO濾波器300可以從幀內預測部30(見圖3)中獲取與作為處理目標的塊對應的幀內預測的預測模式。

上面已經(jīng)參照圖21對根據(jù)本實施例的回路濾波器24進行了說明。

[3-3.SAO濾波器的示例性配置]

接著，將參照圖22對根據(jù)本實施例的SAO濾波器300的配置的示例進行說明。圖22是圖示根據(jù)本實施例的SAO濾波器300的配置的示例的框圖。在根據(jù)本實施例的SAO濾波器300中，模式確定部340的操作與根據(jù)第一實施例的SAO濾波器300中的模式確定部的操作(見圖7)不同。鑒于此，在本說明書中，將對模式確定部340進行說明，而省略了對其它部件的詳細說明。

根據(jù)本實施例的模式確定部340針對解碼圖像數(shù)據(jù)的各個CTU獲取設置于CTU中的幀內預測的預測模式(即，在編碼參數(shù)中的預測參數(shù))。作為預測模式的獲取源，例如，存在幀內預測部30(見圖3)。

模式確定部340配置為能夠參照圖20的控制表d30，在該控制表d30中，預先將幀內預測的預測模式與SAO模式進行關聯(lián)。只要模式確定部340可以參照控制表d30，便不會對存儲有控制表d30的數(shù)據(jù)的位置進行具體限制。

模式確定部340將獲取的幀內預測的預測模式和控制表d30進行核對，并且決定待設置于作為處理目標的CTU中的SAO模式。

例如，當幀內預測的預測模式的模式值為0時，即，在平面預測中，模式確定部340基于控制表d30選擇帶偏移作為SAO模式。即使當幀內預測的預測模式的模式值為1時，即，在DC預測中，模式確定部340也基于控制表d30選擇帶偏移作為SAO模式。在這種情況下，將指示帶偏移的1設置在SaoTypeIdx中。

當幀內預測的預測模式的模式值為2至34時，即，在方向預測中，模式確定部340基于控制表d30將邊緣偏移選擇作為SAO模式，并且指定邊緣偏移的級別。在這種情況下，將指示邊緣偏移的2設置在SaoTypeIdx中。

在決定SAO模式時，模式確定部340使偏移量確定部350針對已決定的SAO模式計算偏移值和與該偏移值對應的成本。

例如，當SAO模式為帶偏移時，模式確定部340使偏移量確定部350針對帶偏移的各個帶計算偏移值和與該偏移值對應的成本。

當SAO模式為邊緣偏移時，模式確定部340僅將邊緣偏移的級別EO_0至EO_3中的已決定級別設置為偏移值和與該偏移值對應的成本的計算目標。換言之，模式確定部340使偏移量確定部350針對已決定級別的各個類別1至4(見圖4)計算偏移值和與該偏移值對應的成本。

偏移量確定部350與第一實施例中的一樣。換言之，偏移量確定部350計算偏移值的各個候選的成本，比較計算出的成本，并且指定可以最大程度提高編碼效率的偏移值。

然后，模式確定部340評估由偏移量確定部350計算出的成本，并且以CTU為單位指定SAO模式和與該模式對應的偏移值。例如，當SAO模式為帶偏移時，模式確定部340比較針對相應帶計算出的成本，并且指定可以最大程度提高編碼效率的帶(四個連續(xù)帶)。進一步地，當SAO模式為邊緣偏移時，模式確定部340比較針對所指定的級別的類別1至4(見圖4)計算出的成本，并且指定可以最大程度提高編碼效率的類別。

然后，模式確定部340將以CTU為單位指定的模式和與該模式對應的偏移值輸出至濾波處理部390和無損編碼部16。

隨后的處理和根據(jù)第一實施例的SAO濾波器300中的一樣。換言之，濾波處理部390基于由模式確定部340提供的SAO模式和偏移值對解碼圖像數(shù)據(jù)的各個CTU進行SAO處理。然后，濾波處理部390將已經(jīng)經(jīng)過SAO處理的解碼圖像輸出至自適應回路濾波器400(見圖4)。

[3-4.模式確定部的處理流程]

接著，將對模式確定部的處理流程進行說明。在本說明書中，為了促進對根據(jù)本實施例的模式確定部的特征的理解，首先，將基于根據(jù)相關技術的方案的模式確定部的處理流程描述為對比示例，然后對根據(jù)本實施例的模式確定部340的處理流程進行說明。

<<3-4-1.模式確定部的對比示例>>

將參照圖23對根據(jù)對比示例的模式確定部的一系列處理的流程的示例進行說明。圖23是圖示根據(jù)對比示例的模式確定部的一系列處理的流程的示例的流程圖。在下文中，當將根據(jù)對比示例的模式確定部與根據(jù)本實施例的模式確定部340明確地區(qū)分開來時，根據(jù)對比示例的模式確定部也稱為“模式確定部340a”。

(步驟S501至S503)

模式確定部340a首先將0設置在指示SAO模式的參數(shù)“SaoTypeIdx”中(步驟S501)，并且計算在不應用SAO處理時的成本(步驟S502)。然后，當完成了對在不應用SAO處理時的成本的計算時，模式確定部340a對SaoTypeIdx進行增量(步驟S503)。從而，將1設置在SaoTypeIdx中。

(步驟S504、S511和S512)

接著，由于SaoTypeIdx的值為1(在步驟S504中為否，而在步驟S511中為是)，所以模式確定部340a使偏移量確定部350針對帶偏移的相應帶計算偏移值和與該偏移值對應的成本(步驟S512)。從而，針對帶偏移的相應帶設置偏移值和與該偏移值對應的成本。

(步驟S513)

當完成了對帶偏移的相應帶的成本計算時，模式確定部340a對SaoTypeIdx進行增量。從而，將2設置在SaoTypeIdx中。

(步驟S504、S511和S514)

接著，由于SaoTypeIdx的值為2(在步驟S504中為否，而在步驟S511中為是)，所以模式確定部340a使偏移量確定部350針對邊緣偏移的級別EO_0至EO_3和類別1至4的各個組合計算偏移值和與該偏移值對應的成本(步驟S514)。因此，針對邊緣偏移的各個級別的各個類別1至4設置偏移值和與該偏移值對應的成本。

(步驟S515)

當完成了對邊緣偏移的級別和類別的組合的成本計算時，模式確定部340a對SaoTypeIdx進行增量。從而，將3設置在SaoTypeIdx中。

(步驟S504)

如上所述，針對各個相應的SAO模式設置偏移值和與該偏移值對應的成本。此時，如上所述，將3設置在SaoTypeIdx中。

(步驟S520)

當SaoTypeIdx為3或者以上時(在步驟504中為是)，模式確定部340a比較針對相應SAO模式計算出的成本，并且基于比較結果指定可以最大程度提高編碼效率的SAO模式和與該模式對應的偏移值。

如上所述，根據(jù)對比示例的模式確定部340a對所有的SAO模式(即帶偏移和邊緣偏移的級別)進行成本計算。然后，模式確定部340a比較針對相應模式計算出的成本，并且基于比較結果指定用于SAP處理SAO模式。

具體地，當像素的位深度為8位時，模式確定部340a針對帶偏移中的帶0至31計算偏移值的候選0至7的成本。換言之，模式確定部340a針對帶偏移進行與(帶的數(shù)量)×(偏移量的候選的數(shù)量)(＝32×8＝256)對應的次數(shù)的成本計算。

同樣，模式確定部340a針對邊緣偏移中的級別EO_0至EO_3和類別1至4的各個組相加算出偏移值的候選0至7的成本。換言之，模式確定部340a在邊緣偏移中進行與(級別數(shù)量)×(類別數(shù)量)×(偏移量的候選的數(shù)量)(＝4×4×8＝128)對應的次數(shù)的成本計算。

換言之，當像素的位深度為8位時，根據(jù)對比示例的模式確定部340a進行384次成本計算以指定SAO模式。進一步地，當像素的位深度為10位時，同樣適用于除了偏移值的候選0至31之外的其它處理。如上所述，根據(jù)對比示例的模式確定部340a傾向于增加指定SAO模式的成本計算的處理量，導致功耗的增加。

鑒于此，根據(jù)本實施例的模式確定部340限制根據(jù)預測模式指定為對作為處理目標的CTU的幀內預測的結果的SAO模式的候選。因此，根據(jù)本實施例的圖像編碼裝置通過減少指定SAO模式的處理量而減少了與成本計算有關的處理量。

<<3-4-2.模式確定部的處理流程>>

下面將參照圖24對根據(jù)本實施例的模式確定部240的一系列處理的流程的示例進行說明。圖24是圖示根據(jù)本實施例的模式確定部240的一系列處理的流程的示例的流程圖。

步驟S501至S503的處理和根據(jù)對比實施例的模式確定部340a中的相同，省略了對該處理的詳細說明。換言之，模式確定部340將指示SAO模式的參數(shù)“SaoTypeIdx”設置為0(步驟S501)，并且計算在不應用SAO處理時的成本(步驟S502)。然后，當完成了對在不應用SAO處理時的成本的計算時，模式確定部340對SaoTypeIdx進行增量(步驟S503)。從而，將1設置在SaoTypeIdx中。

(步驟S504至S531)

然后，由于SaoTypeIdx的值為1(在步驟S504中為否)，所以模式確定部340獲取設置于作為處理目標的CTU中的幀內預測的預測模式。作為預測模式的獲取源，例如，存在幀內預測部30(見圖3)。

模式確定部340將獲取的預測模式和控制表d30(見圖20)進行核對，并且決定待設置于作為處理目標的CTU中的SAO模式，在該控制表d30中預先將幀內預測的預測模式與SAO模式進行關聯(lián)。然后，模式確定部340根據(jù)已決定的SAO模式設置SaoTypeIdx。

作為具體示例，當幀內預測的預測模式的模式值為0(即，表明平面預測)時，模式確定部340基于控制表d30將指示帶偏移的“1”設置在SaoTypeIdx中。進一步地，即使當幀內預測的預測模式的模式值為1(即，表明DC預測)時，模式確定部340也基于控制表d30將指示帶偏移的“1”設置在SaoTypeIdx中。

當幀內預測的預測模式的模式值為2(即，表明方向預測)時，模式確定部340基于控制表d30將指示邊緣偏移的“2”設置在SaoTypeIdx中。

(步驟S532至S533)

當將指示帶偏移的“1”設置在SaoTypeIdx中時(在步驟S532中為是)，模式確定部340使偏移量確定部350針對帶偏移的相應帶計算偏移值和與該偏移值對應的成本。

(步驟S534)

當完成了針對帶偏移的相應帶的偏移值和與該偏移值對應的成本的計算時，模式確定部340將“3”設置在SaoTypeIdx中。

(步驟S532至S535)

進一步地，當將除了“1”之外的值設置在SaoTypeIdx中時(在步驟S532中為是)，例如，當設置了指示邊緣偏移的“2”時，模式確定部340基于預測模式的模式值和控制表d30設置邊緣偏移的級別(見圖1)。

(步驟S536)

然后，模式確定部340使偏移量確定部350針對已決定級別的各個類別1至4(見圖1)計算偏移值和與該偏移值對應的成本。

(步驟S537)

當完成了針對已決定級別的類別1至4的偏移值和與該偏移值對應的成本的計算時，模式確定部340將“3”設置在SaoTypeIdx中。

(步驟S504)

如上所述，決定了SAO模式，并且對該模式設置了偏移值和與該偏移值對應的成本。此時，如上所述，將“3”設置在SaoTypeIdx中。

(步驟S520)

當SaoTypeIdx為3或者以上時(在步驟S504中為是)，模式確定部340評估由偏移量確定部350計算出的成本，并且指定SAO模式和與該模式對應的偏移值。

例如，當SAO模式為帶偏移時，僅針對帶偏移的帶設置偏移量和與該偏移量對應的成本。在這種情況下，模式確定部340比較針對相應帶計算出的成本，并且指定可以最大程度提高編碼效率的帶(四個連續(xù)帶)。在這種情況下，模式確定部340再次將指示帶偏移的“1”設置在SaoTypeIdx中。

進一步地，當SAO模式為邊緣偏移時，僅針對已選的級別對類別1至4(見圖1)設置偏移量和與該偏移量對應的成本。在這種情況下，模式確定部340比較針對指定級別計算出的成本，并且指定可以最大程度提高編碼效率的類別。在這種情況下，模式確定部340再次將指示邊緣偏移的_“2”設置在SaoTypeIdx中。

如上所述，根據(jù)本實施例的模式確定部340指定SAO模式和與該模式對應的偏移值。上面已經(jīng)參照圖24對根據(jù)本實施例的模式確定部340的一系列處理的流程的示例進行了說明。

[3-5.修改示例]

接著，將對根據(jù)本實施例的模式確定部340的修改示例進行說明。在上述示例中，模數(shù)確定部340基于幀內預測的預測模式限制SAO模式的候選。然而，只要可以根據(jù)原始圖像數(shù)據(jù)或者解碼圖像數(shù)據(jù)的特征來限制SAO模數(shù)的候選，限制SAO模式的方式并不一定限于使用幀內預測的預測模式的方法。鑒于此，將根據(jù)原始圖像數(shù)據(jù)或者解碼圖像數(shù)據(jù)的特征限制SAO模式的候選的方法的示例描述為修改示例。

例如，在H.265/HEVC中，可以應用在未對預測誤差數(shù)據(jù)進行正交變換的情況下通過量化預測誤差數(shù)據(jù)來生成量化數(shù)據(jù)的技術，稱為“變換跳過”。

例如，當對已經(jīng)經(jīng)過正交變換的預測誤差數(shù)據(jù)進行量化時，將與量化關聯(lián)的偏移量應用于某些帶(例如，高頻)。在另一方面，當在未進行正交變換的情況對預測誤差數(shù)據(jù)進行量化時，將偏移量統(tǒng)一應用于整個圖像數(shù)據(jù)。從而，當應用變換跳過時，有可能選擇帶偏移作為SAO模式。

利用這種趨勢，當應用變換跳過時，模式確定部340可以將帶偏移設置為SAO模式。

作為另一個示例，在H.265/HEVC中，可以應用稱為“強幀內平滑”的技術。在強幀內平滑中，針對預測目標塊上的幀內預測對預測塊進行平滑處理。從而，預測目標塊可能是像素值的變化較小的圖像，即，對比密度較少或者對比密度的變化較平緩的平面圖像。換言之，當應用強幀內平滑時，有可能選擇帶偏移作為SAO模式。

利用這種趨勢，當應用強幀內平滑時，模式確定部340可以將帶偏移設置為SAO模式。

在根據(jù)上述實施例的模式確定部340中，基于幀內預測的方向預測中的預測方向，識別像素之間的相關性高的方向。然而，只要可以識別出像素之間的相關性高的方向，本公開并不一定限于基于幀內預測的向預測中的預測方向的方法。

例如，模式確定部340可以基于原始圖像數(shù)據(jù)的特征量識別像素之間的相關性高的方向。作為基于原始圖像數(shù)據(jù)的特征量的方法，例如，存在根據(jù)原始圖像數(shù)據(jù)的紋理識別像素之間的相關性高的方法。

具體地，模式確定部340可以基于從原始圖像數(shù)據(jù)提取的邊緣的方向來識別像素之間的相關性高的方向。在這種情況下，例如，統(tǒng)計值獲取部330(見圖7或者圖22)優(yōu)選地對原始圖像數(shù)據(jù)進行索貝爾濾波器的濾波處理以從原始圖像數(shù)據(jù)提取邊緣，并且將提取出的邊緣的信息輸出至模式確定部340作為統(tǒng)計值。

上面已經(jīng)將根據(jù)原始圖像數(shù)據(jù)或者解碼圖像數(shù)據(jù)的特征限制SAO模式的候選的方式的示例描述為修改示例。上述描述為修改示例的一些或者全部方法可以適當?shù)嘏c基于幀內預測的預測模式的方法結合?；趲瑑阮A測的預測模式的方法可以適當?shù)赜蒙鲜雒枋鰹樾薷氖纠囊恍┗蛘呷糠椒▉泶妗?/p>

[3-6.總結]

如上所述，在根據(jù)本實施例的圖像編碼裝置中，模式確定部340預先將幀內預測的預測模式與相應的SAO模式進行關聯(lián)。模式確定部340獲取設置于作為處理目標的CTU中的幀內預測的預測模式，并且基于獲取的預測模式指定SAO模式。如上所述，根據(jù)本實施例的模式確定部340根據(jù)獲取的幀內預測的預測模式來限制SAO模式的候選。此外，模式確定部340僅針對指定的模式計算偏移值和與該偏移值對應的成本。

通過這種配置，在根據(jù)本實施例的模式確定部340中，類似于根據(jù)對比示例的模式確定部340a，與成本計算相關的處理量可以減少到明顯小于在針對相應SAO模式進行成本計算時的處理量。

具體地，當像素的位深度為8位時，當選擇了帶偏移，根據(jù)本實施例的模式確定部340僅針對帶0至31計算偏移值的候選0至7的成本。換言之，當選擇了帶偏移時，模式確定部340優(yōu)選地進行與(帶的數(shù)量)×(偏移量的候選的數(shù)量)(＝32×8＝256)對應的次數(shù)的成本計算。

同樣，當選擇了邊緣偏移時，模式確定部340優(yōu)選地針對邊緣偏移的僅所選擇級別的類別1至4計算偏移值的候選0至7的成本。換言之，當選擇了邊緣偏移時，模式確定部340優(yōu)選地進行與(帶的數(shù)量)×(偏移量的候選的數(shù)量)(＝4×8＝32)對應的次數(shù)的成本計算。

在根據(jù)對比示例的模式確定部340a中，鑒于需要進行384次用于指定SAO模式的成本計算的事實，可以理解的是，根據(jù)本實施例的模式確定部340可以明顯減少與成本計算相關的處理量。應該明白的是，在根據(jù)本實施例的模式確定部340中，隨著成本計算的處理量的減少，功耗可以減少到小于根據(jù)對比示例的模式確定部340a中的功耗。

根據(jù)本實施例的SAO濾波器300可以與根據(jù)第一實施例的SAO濾波器300組合。

作為具體示例，在根據(jù)本實施例的SAO濾波器300中，根據(jù)第一實施例的偏移量確定部350可以作為模式確定部340中的偏移量確定部350應用。通過這種配置，可以進一步減少用于指定偏移值的成本計算的處理量，并且可以減少偏移量確定部350的電路大小。應該明白的是，由于進一步減少了成本計算的處理量，所以可以進一步減少功耗。

<4.第三實施例>

[4-1.概述]

接著，將對根據(jù)第三實施例的圖像編碼裝置進行說明。在根據(jù)第一實施例的圖像編碼裝置中，SAO濾波器控制是否以切片為單位應用SAO處理。在根據(jù)本實施例的圖像編碼裝置中，除了以切片為單位進行控制之外，SAO濾波器還基于設置于解碼圖像數(shù)據(jù)中的編碼參數(shù)控制是否以CTU(即，LCU)為單位應用SAO處理。鑒于此，首先，將參照圖25具體地將重點放在SAO濾波器上對根據(jù)本實施例的圖像編碼裝置的概述進行說明。

圖25示意性地圖示了在切片B(或者圖片B)中基于幀間預測中的雙向預測生成的預測圖像數(shù)據(jù)的示例。在圖25中，附圖標記d60示意性地表示基于幀間預測中的雙向預測生成的預測圖像數(shù)據(jù)(TU)的像素的像素值的示例。附圖標記d61示意性地表示在(過去)用于生成預測圖像數(shù)據(jù)d60的方向L0上切片I或者切片P的預測圖像數(shù)據(jù)(TU)的像素的像素值的示例。同樣，附圖標記d62示意性地表示在(將來)用于生成預測圖像數(shù)據(jù)d60的方向L1上切片I或者切片P的預測圖像數(shù)據(jù)(TU)的像素的像素值的示例。

如圖25所示，當應用幀間預測的雙向預測時，待生成的預測圖像數(shù)據(jù)d60的像素的像素值是用于預測的解碼圖像數(shù)據(jù)d61和d62的像素的像素值的平均值。由于這個原因，當應用幀間預測的雙向預測時，切片B的解碼圖像數(shù)據(jù)(例如，預測圖像數(shù)據(jù)d60的解碼圖像數(shù)據(jù))很有可能是細節(jié)感受到破壞的圖像，并且像素值的變化小于切片I或者切片P的解碼圖像數(shù)據(jù)。應該理解的是，即使在將幀內預測應用于切片B時也存在相同的趨勢。

在切片B的預測圖像數(shù)據(jù)中，傾向于選擇比切片I或者切片P的預測圖像數(shù)據(jù)中的量化步長(QP)更大的量化步長。如上所述，即使當量化步長較大時，很有可能是細節(jié)感受到破壞的圖像，并且像素值的變化小于在量化步長較小時的像素值的變化。

如上所述，SAO處理對應緩解與在解碼圖像數(shù)據(jù)中生成的原始圖像數(shù)據(jù)的誤差(例如，量化誤差)的處理，并且對應進行將偏移量與目標像素值相加或者將偏移量從目標像素值中減去的平滑處理的處理。由于這個原因，當對切片B的解碼圖像數(shù)據(jù)(諸如，圖25所示的預測圖像數(shù)據(jù)的解碼圖像數(shù)據(jù))進行SAO處理時，可能會進一步破壞細節(jié)感。在這種情況下，在進行SAO處理時，會進一步增加切片B與行進的或者隨后的切片I或者切片P之間的圖像質量的差值，從而可以降低主觀圖像質量。

鑒于此，根據(jù)本實施例的SAO濾波器進一步根據(jù)設置于目標的解碼圖像數(shù)據(jù)中的編碼參數(shù)來控制是否應用SAO處理。進一步地，除了以切片單位進行控制之外，根據(jù)本實施例的SAO濾波器還控制是否以CTU為單位應用SAO處理。如稍后描述的，編碼參數(shù)的示例包括預測參數(shù)(諸如，幀間預測或者幀內預測的預測模式)和量化參數(shù)(諸如，量化步長)。

具體地，當該像素值的變化小于在其它切片中的像素值的變化時，例如，當應用幀間預測的雙向預測時，SAO濾波器不會以切片為單位或者以CTU為單位應用作為處理目標的SAO處理。

通過這種配置，在根據(jù)本實施例的圖像編碼裝置中，SAO濾波器抑制了編碼伴隨的圖像質量的降低，并且減少了成本計算的處理量。應該明白的是，在根據(jù)本實施例的圖像編碼裝置中，減少了成本計算的處理量，從而可以減少功耗。

鑒于此，下面將重點放在與第一實施例不同的部分(具體為在回路濾波器中的SAO濾波器)對根據(jù)本實施例的圖像編碼裝置進行更詳細說明。

[4-2.SAO濾波器的示例性配置]

首先，將參照圖26對根據(jù)本實施例的SAO濾波器300的配置的示例進行說明。圖26是圖示根據(jù)本實施例的SAO濾波器300的配置的示例的框圖。根據(jù)本實施例的SAO濾波器300與根據(jù)第一實施例的SAO濾波器300(見圖7)的不同之處在于切換確定部360的配置。鑒于此，在本說明書中，將對切換確定部360進行說明，而省略了對其它部件的詳細說明。

如圖26所示，根據(jù)本實施例的切換確定部360包括第一確定部370和第二確定部380。

第一確定部370的功能對應根據(jù)第一實施例的切換確定部360的功能。換言之，第一確定部370控制是否以切片為單位將SAO處理應用于解碼圖像數(shù)據(jù)。

此處，將參照圖27對根據(jù)本實施例的第一確定部370的配置進行詳細說明。圖27是圖示控制是否以切片為單位應用SAO處理的第一確定部370的配置的示例的框圖。

如圖27所示，第一確定部370包括模式數(shù)量計數(shù)部371和確定處理部373。

當處理目標的切片是切片B時，模式數(shù)量計數(shù)部371相加在切片B的上一個切片(即，切片I或者切片P)中應用了SAO處理的塊(CTU)的數(shù)量。然后，模式數(shù)量計數(shù)部371將相加的數(shù)量(即，在上一個切片中應用了SAO處理的塊(CTU)的數(shù)量)輸出至確定處理部373作為模式的數(shù)量。

當處理目標的切片是切片I或者切片P時，確定處理部373下令分析部320將SAO處理應用于切片。

進一步地，當處理目標的切片是切片B時，確定處理部373從模式數(shù)量計數(shù)部371獲取在切片B的上一個切片中應用了SAO處理的塊(CTU)的數(shù)量，即，模式的數(shù)量。然后，確定處理部373根據(jù)獲取的模式的數(shù)量控制是否減法SAO處理應用于切片B。

作為具體示例，當獲取的模式的數(shù)量小于預定閾值TH11時，確定處理部373下令分析部320限制將SAO處理應用于處理目標的切片B(即，不將SAO處理應用于處理目標的切片B)。

上述處理和根據(jù)第一實施例的SAO濾波器360中的一樣。

當獲取的模式數(shù)量(即，應用了SAO處理的塊(CTU)的數(shù)量)等于或者大于閾值TH11時，根據(jù)本實施例的確定處理部373獲取用于生成作為解碼圖像數(shù)據(jù)的解碼源的量化數(shù)據(jù)的量化步長(QP)。只要確定處理部373可以獲取作為解碼圖像數(shù)據(jù)的解碼源的量化數(shù)據(jù)的量化步長，便不會具體限制獲取源。作為具體示例，確定處理部373可以從量化部15(見圖3)獲取量化步長。

然后，確定處理部373基于獲取的量化步長控制是夠將SAO處理應用于處理目標的切片B。

具體地，當獲取的量化步長等于或者小于預定閾值TH12時，確定處理部373下令分析部320將SAO處理應用于處理目標的切片B。進一步地，當獲取的模式的數(shù)量大于預定閾值TH12時，確定處理部373下令分析部320限制將SAO處理應用于處理目標的切片B(即，不將SAO處理應用于處理目標的切片B)。

作為用于基于量化步長限制是否將SAO處理應用于處理目標的切片B的閾值TH12，優(yōu)選地，預先設置基于實驗等決定的適當值。

進一步地，確定處理部373將指示是否以切片為單位應用SAO處理的信息輸出至無損編碼部16作為編碼參數(shù)。本處理和根據(jù)第一實施例的切換確定部360中的一樣。

如上所述，第一確定部370控制是否以切片為單位應用SAO處理。

如上所述，在量化步長相對較大的切片B的解碼圖像數(shù)據(jù)中，與切片I或者切片P的解碼圖像數(shù)據(jù)相比較，細節(jié)感傾向于受到破壞，并且在進行SAO處理時存在細節(jié)感的損失明顯的情況。

然而，第一確定部370限制將SAO處理應用于量化步長相對較大的切片B。換言之，第一確定部370控制是否以切片為單位應用SAO處理，從而抑制了圖像質量的降低，而且減少了成本計算的處理量。

接著，將參照圖26對第二確定部380進行說明，第二確定部380基于設置于CTU中的編碼參數(shù)控制是否以CTU(即LCU)為單位將SAO處理應用于解碼圖像數(shù)據(jù)。

作為具體示例，第二確定部380使用指示設置于作為處理目標的CTU中的預測模式(即，幀內預測或者幀間預測)的預測參數(shù)來作為用于確定是否應用SAO處理的編碼參數(shù)。

只要第二確定部380可以獲取指示設置于作為處理目標的CTU中的預測模式的預測參數(shù)，便不會對獲取源進行具體限制。作為具體示例，第二確定部380可以從選擇器27獲取預測參數(shù)以作為選擇器27(見圖3)根據(jù)幀內預測和幀間預測的成本的大小進行切換和輸出的信息(即，與幀內預測或者幀間預測相關的信息)。

第二確定部380基于獲取的預測參數(shù)識別設置于作為處理目標的CTU中的預測模式。然后，當設置于作為處理目標的CTU中的預測模式是幀內預測或者幀間預測的雙向預測時，第二確定部380下令分析部320限制將SAO處理應用于該CTU(即，不將SAO處理應用于該CTU)。進一步地，當預測模式既不是幀內預測也不是幀間預測的雙向預測時，第二確定部380下令分析部320將SAO處理應用于作為處理目標的CTU。

如上所述，第二確定部380控制是否以CTU為單位應用SAO處理。

如上所述，在應用了幀內預測雙向預測的切片B的解碼圖像數(shù)據(jù)中，與切片I或者切片P的解碼圖像數(shù)據(jù)相比較，細節(jié)感傾向于受到破壞，并且在進行SAO處理時存在細節(jié)感的損失明顯的情況。進一步地，應該理解的是，即使在將幀內預測應用于切片B時也存在相同的趨勢。

然而，當設置于作為處理目標的CTU中的預測模式是幀內預測或者幀間預測的雙向預測時，第二確定部380限制將SAO處理應用于該CTU。換言之，第二確定部380控制是否以CTU為單位應用SAO處理，從而抑制了圖像質量的降低，而且減少了成本計算的處理量。

隨后的處理(即，分析部320和濾波處理吧90根據(jù)切換確定部360的控制的操作)和第一與第二實施例中的一樣。上面已經(jīng)參照圖26和圖27對根據(jù)本實施例的SAO濾波器300的配置的示例進行了說明。

[4-3.SAO濾波器的處理流程]

接著，將參照圖28對根據(jù)本實施例的SAO濾波器300的一系列處理的流程進行說明。圖28是圖示根據(jù)本實施例的SAO濾波器300的一系列處理的流程的示例的流程圖。

根據(jù)本實施例的SAO濾波器300與根據(jù)第一實施例的SAO濾波器300(見圖8)的不同之處在于，步驟S100a的處理的內容不同，并且增加了步驟S300和S400的處理。鑒于此，下面的描述將重點放在不同于根據(jù)第一實施例的SAO濾波器300的步驟S100a、S300和S400，而省略了對其它處理的詳細說明。

(步驟S100a)

切換確定部360確定是否以解碼圖像數(shù)據(jù)的切片為單位將SAO處理應用于亮度和色度，并且基于確定結果控制分析部320的操作。具體地，當處理目標的切片是切片B，并且量化步長等于或者大于預定閾值TH12時，根據(jù)本實施例的切換確定部360限制將SAO處理應用于該切片。稍后將單獨對通過切換確定部360確定是否以切片為單位應用SAO處理的操作進行說明。

(步驟S300)

當確定將SAO處理應用于切片時(在步驟S200中為是)，切換確定部360針對切片的各個CTU確定是否將SAO處理應用于亮度和色度，并且基于確定結果控制分析部320的操作。具體地，當設置于作為處理目標的CTU中的預測模式是幀內預測或者幀間預測的雙向預測時，根據(jù)本實施例的切換確定部360限制將SAO處理應用于CTU。稍后將單獨對通過切換確定部360確定是否以CTU為單位應用SAO處理的操作進行說明。

(步驟S500)

當確定將SAO處理應用于CTU(在步驟S400中的是摂)時，分析部320基于原始圖像數(shù)據(jù)和解碼圖像數(shù)據(jù)(已經(jīng)經(jīng)過去塊濾波處理)決定用于執(zhí)行SAO處理的SAO模式和用于CTU的偏移值。

(步驟S600)

濾波處理部390基于由模式確定部340提供的SAO模式和偏移值對解碼圖像數(shù)據(jù)的各個CTU進行SAO處理。

(步驟S700)

對目標切片的一系列CTU進行上述確定和處理(在步驟S700中為否)；而且，當完成了對這一系列CTU的確定和處理時(在步驟S700中為是)，完成了將SAO處理應用于目標切片。

(步驟S200)

進一步地，當SAO處理不應用于目標切片時(在步驟S200為否)，不會對切片進行步驟S300至S700的處理。

接著，將參照圖29對圖28所示的步驟S100的處理(即，通過根據(jù)本實施例的切換確定部360確定是否以切片為單位應用SAO處理的處理的示例)進行說明。圖29是圖示通過根據(jù)本實施例的切換確定部確定是否以切片為單位應用SAO處理的處理的示例的流程圖。

根據(jù)本實施例的切換確定部360與根據(jù)第一實施例的切換確定部360(見圖9)的不同之處在于增加了步驟S110的處理。鑒于此，下面的描述將重點放在不同于根據(jù)第一實施例的切換確定部360的步驟S110的處理，而省略了對其它處理的詳細說明。

(步驟S101和S102)

當處理目標的切片是切片B時(在步驟S101中為是)，根據(jù)本實施例的切換確定部360獲取在切片B的上一個切片(即切片I或者切片P)中應用了SAO處理的CTU的數(shù)量(模式數(shù)量)。

(步驟S103)

當獲取的模式數(shù)量等于或者大于預定閾值TH11時(在步驟S103中為否)，切換確定部360獲取用于生成作為解碼圖像數(shù)據(jù)的解碼源的量化數(shù)據(jù)的量化步長(QP)。然后，確定處理部373基于獲取的量化步長控制是夠將SAO處理應用于處理目標的切片B。

(步驟S104)

具體地，當獲取的量化步長等于或者小于預定閾值TH12時(在步驟S103中為否)，切換確定部360下令分析部320將SAO處理應用于處理目標的切片B。

(步驟S105)

進一步地，當獲取的模式的數(shù)量大于預定閾值TH12時(在步驟S103中為是)，切換確定部360下令分析部320限制將SAO處理應用于處理目標的切片B(即，不將SAO處理應用于處理目標的切片B)。

如上所述，根據(jù)本實施例的切換確定部360確定是否以切片為單位應用SAO處理，并且基于確定結果控制分析部320的操作。

接著，將參照圖30對圖28所示的步驟S300的處理(即，通過根據(jù)本實施例的切換確定部360(具體為第二確定部380)確定是否以CTU為單位應用SAO處理的處理的示例)進行說明。圖30是圖示通過根據(jù)本實施例的切換確定部確定是否以CTU為單位應用SAO處理的處理的示例的流程圖。

(步驟S301)

切換確定部360使用指示設置于作為處理目標的CTU中的預測模式(即，幀內預測或者幀間預測)的預測參數(shù)來作為用于確定是否應用SAO處理的編碼參數(shù)。切換確定部360例如選擇器27(見圖3)獲取預測參數(shù)，并且基于獲取的預測參數(shù)識別設置于作為處理目標的CTU中的預測模式。

(步驟S302)

然后，切換確定部360確定所識別出的預測模式是否對應幀內預測或者幀間預測的雙向預測。

(步驟S304)

當識別出的預測模式是幀內預測或者幀間預測的雙向預測時(在步驟S302中為是)，切換確定部360下令分析部320限制將SAO處理應用于CTU(即，不將SAO處理應用于CTU)。

(步驟S303)

當識別出的預測模式既不是幀內預測也不是幀間預測的雙向預測時(在步驟S302中為否)，切換確定部360下令分析部320將SAO處理應用于CTU。

其后，分析部320進行成本計算并且僅針對作為SAO處理的應用目標的CTU指定SAO模式和偏移值，并且濾波處理部390基于SAO模式和偏移值進行SAO處理。

上面已經(jīng)參照圖28至圖30對根據(jù)本實施例的SAO濾波器300的一系列處理的流程進行了說明。如上所述，根據(jù)本實施例的SAO濾波器根據(jù)設置于目標的解碼圖像數(shù)據(jù)中的編碼參數(shù)來控制是否應用SAO處理。除了以切片單位進行控制之外，根據(jù)本實施例的SAO濾波器還控制是否以CTU為單位應用SAO處理。

通過這種配置，在根據(jù)本實施例的圖像編碼裝置中，SAO濾波器抑制了編碼伴隨的圖像質量的降低，并且減少了成本計算的處理量。應該明白的是，在根據(jù)本實施例的圖像編碼裝置中，減少了成本計算的處理量，從而可以減少功耗。

[4-4.修改示例]

接著，將對根據(jù)本實施例的切換確定部360的修改示例進行說明。在上述的示例中，切換確定部360基于切片的類型、預測參數(shù)(諸如，幀間預測或者幀內預測的預測模式)或者量化參數(shù)(諸如，QP)控制是否以切片為單位或者以CTU為單位應用SAO處理。然而，如上所述，鑒于SAO處理的應用所伴隨的對圖像質量的影響，只要可以控制是否以切片為單位或者以CTU為單位應用SAO處理，該方法并不一定限于基于預測參數(shù)或者量化參數(shù)的方法。

作為解碼圖像數(shù)據(jù)的各個像素的亮度分量和色度分量的具體示例，通過實驗等執(zhí)行SAO處理，發(fā)現(xiàn)色度分量對圖像質量改善的影響更大。

利用這種趨勢，切換確定部360可以進行如下控制：限制將SAO處理應用于解碼圖像數(shù)據(jù)的亮度分量，而僅將SAO處理應用于色度分量。

此時，切換確定部360可以控制是否與切片為單位或者以CTU為單位應用SAO處理。應該明白的是，切換確定部360可以進行如下控制：僅將SAO處理共同應用于解碼圖像的全部色度分量。

上面描述為修改示例的方法可以與基于預測參數(shù)或者量化參數(shù)的方法結合?；陬A測參數(shù)或者量化參數(shù)的方法可以用上面描述為修改示例的方法替代。

[4-5.總結]

如上所述，根據(jù)本實施例的SAO濾波器根據(jù)設置于目標的解碼圖像數(shù)據(jù)中的編碼參數(shù)來控制是否應用SAO處理。進一步地，除了以切片單位進行控制之外，根據(jù)本實施例的SAO濾波器還控制是否以CTU為單位應用SAO處理。

通過這種配置，在根據(jù)本實施例的圖像編碼裝置中，SAO濾波器抑制了編碼伴隨的圖像質量的降低，并且減少了成本計算的處理量。應該明白的是，在根據(jù)本實施例的圖像編碼裝置中，減少了成本計算的處理量，從而可以減少功耗。

根據(jù)本實施例的SAO濾波器300可以與根據(jù)第一與第二實施例的SAO濾波器300中的一個或者兩者組合。

作為具體示例，在根據(jù)本實施例的SAO濾波器300中，根據(jù)第一實施例的偏移量確定部350作為在模式確定部340中的偏移量確定部350來應用。通過這種配置，可以減少用于指定偏移量的成本計算的處理量，而且減少了偏移量確定部350的電路大小。

進一步地，在根據(jù)本實施例的SAO濾波器300中，根據(jù)第二實施例的模式確定部340可以作為模式確定部340來應用。通過這種配置，可以進一步減少用于指定SAO模式的成本計算的處理量。

如上所述，應該明白的是，將根據(jù)各自實施例的SAO濾波器300適當?shù)亟Y合，進一步減少了成本計算的處理量，而且可以進一步減少功耗。

<5.第四實施例>

[5-1.概述]

接著，將對根據(jù)第四實施例的圖像編碼裝置進行說明。在根據(jù)第一實施例的圖像編碼裝置中，SAO濾波器通過限制偏移值的候選減少了指定偏移值的處理量，并且減少了與一系列成本計算相關的處理量。另一方面，在根據(jù)本實施例的圖像編碼裝置中，通過根據(jù)目標圖片的圖片類型進一步限制偏移值的候選，SAO濾波器進一步減少了指定偏移值的處理量。

通常，隨著各個圖片與原始圖像之間的差離度的增加(即，類似于隨著原始圖像的減小)，傾向于選擇較大的偏移值。另一方面，基于參照另一圖片(諸如，圖片P或者圖片B)的預測結果生成的圖片與作為參照目的地的圖片有時間相關性，并且與原始圖像(即，偏移值的候選的數(shù)量)的差值也取決于參照目的地的圖片。由于這個原因，在基于參照另一圖片的預測結果生成的圖片中，不傾向于選擇比在參照目的地的圖片中選擇的偏移值高的偏移值的候選(即，離原始圖像更遠的偏移值的候選)。換言之，在圖片P或者圖片B中可以選擇的偏移值的候選(即，與原始圖像的差值)是在值上等于或者小于在參照目的地的圖片中選擇的偏移值的候選的候選，因此在圖片P或者圖片B中可以選擇的偏移值的候選的數(shù)量等于或者小于參照目的地的圖片中選擇的偏移值的候選的數(shù)量。

鑒于此，在根據(jù)本實施例的圖像編碼裝置中，當作為處理目標的圖片的圖片類型是圖片P或者圖片B(即，基于參照另一圖片的預測結果生成的圖片)時，SAO濾波器將該圖片的偏移值的候選的數(shù)量限制為直到將在參照目的地的圖片中選擇的偏移值的最大值設置為目標時的候選的數(shù)量。通過這種控制，根據(jù)本實施例的SAO濾波器(具體為偏移量確定部350)通過限制偏移值的候選的數(shù)量決定待應用的偏移值，并且減少了偏移值的各個候選的成本計算的處理量。

下面將參照附圖對根據(jù)本實施例的圖像編碼裝置中的SAO濾波器的操作進行詳細說明。例如，圖31是描述根據(jù)本實施例的圖像編碼裝置的概述的說明圖，并且圖示了圖片(即，圖片I、圖片P和圖片B)之間的參照關系。圖31圖示了當圖片深度為3時圖片之間的參照關系。

此處，將對圖片深度的概述進行說明。在幀間預測中，通過使用編碼圖片預測當前待編碼的塊。由于這個原因，待編碼圖片的順序和參照關系非常重要。圖片深度是指示圖像的圖片(GOP結構)之間的參照關系的信息。具體地，例如，將在參照關系中在相同情況下的圖片分組成1至5。

在圖31所示的示例中，水平方向表示解碼順序的時間。各個矩形部分表示圖片，而存在矩形部分中的各個符號(諸如I、B和P)表示圖片的圖片類型。換言之，具有符號I的圖片表示圖片I。同樣，具有符號B的圖片表示圖片B，而具有符號P的圖片表示圖片P。箭頭連接的圖片表示在進行幀間預測時被參照的圖片(即，圖片之間的參照關系)。

例如，在圖31所示的示例中，圖片深度1表示圖片I和圖片P。圖片I不會參照另一個圖片。圖片P參照位于圖片P本身的左側(即，過去側)上的圖片I和圖片P之中的最新圖片。具體地，位于圖片I的右側上的圖片P參照圖片I。同樣，位于圖片I的右側上的另一個圖片P參照位于圖片P本身的左側上的圖片P。

圖片深度2表示參照圖片深度1的圖片的圖片B。例如，在圖31中，在圖片深度2處包括的圖片B之中，位于圖片I與圖片P之間的圖片B參照圖片I和圖片P。位于圖片P與另一個圖片P之間的圖片B參照圖片P和另一個圖片P。

圖片深度3包括圖片B，這些圖片B在前述的和隨后的(即，過去的和將來的)參照方向中的一個方向上參照圖片深度1的圖片(即，圖片I或者圖片P的圖片B)而在其它參照方向上參照圖片深度2的圖片(即，圖片B)。例如，在圖片深度3處包括的圖片B之中，位于在圖片深度1處包括的圖片I與在圖片深度2處包括的圖片B之間的圖片B參照在圖片深度1處包括的圖片I和在圖片深度2處包括的圖片B。同樣，位于在圖片深度2處包括的圖片B與在圖片深度1處包括的圖片P之間的圖片B參照在圖片深度2處包括的圖片B和在圖片深度1處包括的圖片P。

此處，將通過使用具體示例對通過根據(jù)本實施例的SAO濾波器(具體為偏移量確定部350)根據(jù)目標圖片的圖片類型來限制偏移值的候選的數(shù)量的處理的內容進行說明。例如，圖32是描述通過根據(jù)本實施例的SAO濾波器根據(jù)圖片類型來限制偏移值的候選的數(shù)量的處理的內容的說明圖。在圖32中，假定圖片I、圖片P和圖片B存在參照關系。換言之，在圖32中，圖片P參照圖片I，而圖片B參照圖片I和圖片P。

當圖片類型是圖片I時，根據(jù)本實施例的偏移量確定部350將偏移值的候選的數(shù)量的最大值設置為“8”，類似于根據(jù)第一實施例的偏移量確定部350。換言之，當圖片類型是圖片I時，例如，使用在圖13所示的偏移量測量部351中的全部Offset[0]測量部至Offset[7]測量部。

進一步地，當圖片類型是圖片P時，偏移量確定部350將在作為圖片P的參照目的地的圖片I中選擇的偏移值中的最大值設置為目標，并且限制在圖片P中的偏移值的候選的數(shù)量。例如，基于為指定參照目的地的圖片中的偏移值而計算出的統(tǒng)計值，可以獲取在參照目的地的圖片中選擇的偏移值的最大值。

作為具體示例，在圖32所示的示例中，假定在圖片I中選擇的偏移值的最大值是作為Offset[5]測量部的目標的偏移值。在這種情況下，偏移量確定部350將針對參照圖片I的圖片P的作為Offset[5]測量部的目標的偏移值(即，作為Offset[0]測量部至Offset[5]測量部的目標的偏移值)設置為與圖片P對應的偏移值的候選。換言之，在圖32所示的示例的情況下，針對圖片P，將偏移值的候選的數(shù)量限制為“6”，并且使用在圖13所示的偏移量測量部351中的Offset[0]測量部至Offset[5]測量部。

當圖片類型是圖片B時，偏移量確定部350將在作為圖片B的參照目的地的圖片I和圖片P中選擇的偏移值中的最大值設置為目標，并且限制在圖片B中的偏移值的候選的數(shù)量。

此時，偏移量確定部350基于在參照目的地(例如，圖片I和圖片P)中選擇的偏移值的最大值中較小的一個來限制在圖片B中的偏移值的候選的數(shù)量。這是因為圖片B可以參照在其前面和后面的圖片(例如，圖32中的圖片I和圖片P)，因此宜為參照在參照目的地的圖片之中的與原始圖像的差值較小的圖片。

例如，在圖32所示的示例中，假定在圖片I中選擇的偏移值的最大值是用作Offset[5]測量部的目標的偏移值，并且假定在圖片P中選擇的偏移值的最大值是用作Offset[3]測量部的目標的偏移值。在這種情況下，針對參照圖片I和圖片P的圖片B，偏移量確定部350將作為Offset[3]測量部的目標的偏移值(即，作為Offset[0]測量部至Offset[3]測量部的目標的偏移值)設置為與圖片B對應的偏移值的候選。換言之，在圖32所示的示例的情況下，針對圖片B，將偏移值的候選的數(shù)量限制為“4”，并且使用在圖_13所示的偏移量測量部351中的Offset[0]測量部至Offset[3]測量部。

在圖32所示的示例中，雖然在上面已經(jīng)將在圖31所示的示例中的圖片深度2處包括的圖片B的示例描述為圖片B，但是在其它圖片深度中針對圖片B的基本概念是相同的。

例如，在圖31所示的示例中，主要將重點放在位于在圖片深度1處包括的圖片I與在圖片深度2處包括的圖片B之間的圖片B(即，解碼順序用“1”表示的圖片B)。在這種情況下，基于在圖片深度1處包括的圖片I和在圖片深度2處包括的圖片B中選擇的偏移值的最大值中較小的一個，偏移量確定部350

限制在圖片深度2處包括的圖片B中的偏移值的候選的數(shù)量。作為具體示例，假定在圖片I側上選擇的偏移值的最大值是用作Offset[5]測量部的目標的偏移值，并且假定在圖片深度2處包括的圖片B側上選擇的偏移值的最大值是用作Offset[3]測量部的目標的偏移值。在這種情況下，偏移量確定部350基于用作Offset[3]測量部的目標的偏移值來限制在圖片深度2處包括的圖片B中的偏移值的候選的數(shù)量。

此時，在圖片深度2處包括的圖片B參照在圖片深度1處包括的圖片I。由于這個原因，在圖片深度2處包括的圖片B中選擇的偏移值的最大值不會超過在圖片深度1處包括的圖片I中選擇的偏移值的最大值。利用這種趨勢，例如，當參照目的地的圖片中的任意一個是圖片B時，偏移量確定部350可以基于在圖片B中選擇的偏移值的最大值來限制在目標圖片(即，具有較大圖片深度的圖片B)中的偏移值的候選的數(shù)量。

由于上述趨勢，隨著包括有圖片的圖片深度的增加，偏移值的最大值減小，并且偏移值的候選的數(shù)量得到進一步限制。由于這個原因，例如，在具有多個參照目的地的圖片(即，圖片B)的情況下，偏移量確定部350可以基于在較大圖片深度處包括的圖片中選擇的偏移值的最大值來限制在目標圖片中的偏移值的候選的數(shù)量。

上面已經(jīng)參照圖31和圖32對根據(jù)本實施例的圖像編碼裝置中的SAO濾波器的概述進行了說明。

[5-2.處理]

接著，具體地將重點放在偏移量確定部350的處理，將對根據(jù)本實施例的圖像編碼裝置中的SAO濾波器的一系列處理的流程的示例進行說明。圖33和圖34是圖示根據(jù)本實施例的圖像編碼裝置中的偏移量確定部350的一系列處理的流程的示例的流程圖。

可以從圖33所示的流程圖與圖17所示的流程圖的比較中看出，根據(jù)本實施例的偏移量確定部350與根據(jù)第一實施例的偏移量確定部350的不同之處在于，包括了步驟S800的處理(即，限制偏移值的候選的數(shù)量的處理)。鑒于此，在本說明書中，將主要將重點放在不同于根據(jù)第一實施例的偏移量確定部350(見圖17)的部分對根據(jù)本實施例的偏移量確定部350的處理流程的示例進行說明，而省略了對其它部件的詳細說明。

(步驟S800)

首先，偏移量確定部350根據(jù)目標圖片的圖片類型來限制偏移值的候選的數(shù)量(即，偏移值的候選的數(shù)量的最大值N)。

此處，參照圖34。圖34是圖示通過偏移量確定部350根據(jù)目標圖片的圖片類型來限制偏移值的候選的數(shù)量的處理(即，圖33中步驟S800的處理)的流程的示例的流程圖。

(步驟S801)

首先，偏移量確定部350基于指示處理目標圖片的圖片類型的信息來確定該圖片是否對應圖片I、圖片P和圖片B中的任意一個。

(步驟S805)

當目標圖片時圖片I時(在步驟S803為是)，偏移量確定部350將偏移值的候選的數(shù)量的最大值N設置為7。

(步驟S809)

當目標圖片時圖片P時(在S803中為否并且在步驟S807中為是)，偏移量確定部350基于在該圖片參照的另一個圖片(例如，圖片I或者圖片P)中選擇的偏移值的最大值來限制該圖片的偏移值的候選的數(shù)量的最大值N。此時，優(yōu)選地，基于為指定在作為參照目的地的另一個圖片中的偏移值而計算出的統(tǒng)計值，偏移量確定部350指定在另一個圖片中選擇的偏移值的最大值。

(步驟S809)

當目標圖片時圖片B時(在S803中為否并且在步驟S807中為否)，偏移量確定部350基于在該圖片參照的另一個圖片(例如，圖片I、圖片P或者圖片B)中選擇的偏移值的最大值中較小的一個來限制該圖片的偏移值的候選的數(shù)量的最大值N。此時，優(yōu)選地，基于為指定在作為參照目的地的另一個圖片中的偏移值而計算出的統(tǒng)計值，偏移量確定部350指定在另一個圖片中選擇的偏移值的最大值。

如上所述，偏移量確定部350根據(jù)目標圖片的圖片類型來限制偏移值的候選的數(shù)量(即，偏移值的候選的數(shù)量的最大值N)。

隨后的處理(即，圖33中的步驟S621之后的處理)和根據(jù)第一實施例的偏移量確定部350中的一樣。

在與圖17所示的示例相比較的圖33所示的示例中，基于步驟S800的處理結果來限制偏移值的候選的數(shù)量的最大值N。因此，根據(jù)本實施例的偏移量確定部350，當圖片類型是圖片P或者圖片B時，通過限制偏移值的候選的數(shù)量(即，限制步驟S622至S628的一系列處理的執(zhí)行次數(shù)(循環(huán)次數(shù)))，可以省略與候選對應的成本計算。因此，根據(jù)本實施例的偏移量確定部350可以將與為指定偏移值而進行的偏移值的各個候選的成本計算相關的處理量減小到小于根據(jù)第一實施例的偏移量確定部350(見圖17)。

上面已經(jīng)參照圖33和圖34具體地將重點放在偏移量確定部350的處理上對根據(jù)本實施例的圖像編碼裝置中的SAO濾波器的一系列處理的流程的示例進行了說明。

[5-3.總結]

如上所述，根據(jù)本實施例的圖像編碼裝置的SAO濾波器進一步根據(jù)目標圖片的圖片類型限制偏移值的候選。具體地，當目標圖片時圖片P或者圖片B(即，基于參照另一個圖片的預測結果生成的圖片)時，SAO濾波器基于在作為參照目的地的另一個圖片中選擇的偏移值的最大值來限制圖片的偏移值的候選的數(shù)量。通過這種配置，根據(jù)本實施例的SAO濾波器決定待應用的偏移值，從而可以減少偏移值的各個候選的成本計算的處理量。

具體地，在SAO濾波器中，通常，當圖片B或者圖片P為處理目標時，處理量傾向于大于在圖片I為處理目標時的處理量。另一方面，在根據(jù)本實施例的SAO濾波器中，當圖片P或者圖片B為目標時，減少了偏移值的各個候選的成本計算的處理負載，從而可以減少在圖片P或者圖片B為目標時的處理量。

隨著在參照關系中的圖片之間的相似性趨于增加，在各個圖片中選擇的偏移值趨于減小。換言之，在根據(jù)本實施例的SAO濾波器中，由于上述處理的趨勢，隨著在參照關系中的圖片之間的相似性的增加，進一步限制了在圖片P或者圖片B中的偏移值的候選的數(shù)量。

作為具體示例，隨著幀速率的增加，幀之間的時間距離減少，而幀之間的相似性趨于增加，從而傾向于選擇較小的偏移值。因此，在根據(jù)本實施例的SAO濾波器中，由于幀速率增加，可以進一步限制在圖片P或者圖片B中的偏移值的候選的數(shù)量并且進一步減少處理量。

<6.示例性硬件配置>

這些實施例可以通過使用軟件、硬件或者軟件和硬件的組合來實施。例如，當圖像編碼裝置10使用軟件時，將構成軟件的程序存儲在存儲介質(非暫時性介質)中，該存儲介質預先安裝在設備內部或者外部。例如，各個程序寫入隨機存取存儲器(RAM)并且由處理器諸如中央處理單元(CPU)來執(zhí)行。

圖35是圖示可以應用上述實施例的編碼器的硬件配置的示例的框圖。參照圖35，編碼器800包括系統(tǒng)總線810、圖像處理芯片820和片外存儲器890。圖像處理芯片820包括n(n為1或者以上)個處理電路830-1、830-2…和830-n、參考緩沖器840、系統(tǒng)總線接口850和本地總線結構860。

系統(tǒng)總線810在圖像處理芯片820與外部模塊(例如，中央控制功能、應用功能、通信接口或者用戶界面等)之間提供通信路徑。處理電路830-1、830-2…和830-n通過系統(tǒng)總線接口850與系統(tǒng)總線810連接，并且通過本地總線結構860與片外存儲器890連接。處理電路830-1、830-2…和830-n可以訪問參考緩沖器840，參考緩沖器840可以對應片上存儲器(例如，SRAM)。例如，片外存儲器890可以是存儲待由圖像處理芯片820處理的圖像數(shù)據(jù)的幀存儲器。

作為一個示例，處理電路830-1可以對應幀內預測部30，處理電路830-2可以對應幀間預測部35，另一個處理電路可以對應正交變換部14，而再另一個處理電路可以對應無損編碼部16。另一個處理電路可以對應回路濾波器24。構成回路濾波器24的去塊濾波器200、SAO濾波器300和自適應回路濾波器400可以分別配置為另一個處理電路。處理電路可以形成于另一個芯片上而不是同一個圖像處理芯片820上。

<7.應用示例>

[7.1應用于各種產品]

上述實施例可以應用于各種電子裝置，諸如，通過使用衛(wèi)星電路、有線電視電路、互聯(lián)網(wǎng)、蜂窩移動通信網(wǎng)絡等傳輸編碼流的傳輸裝置、或者將視頻的編碼流記錄在介質(諸如，光盤、磁盤或者閃存存儲器)中的記錄裝置。下面將對三種應用示例進行說明。

(1)第一應用示例

圖36是圖示應用上述實施例的移動電話的示意性配置的示例的示意圖。移動電話920包括天線921、通信單元922、音頻編解碼器923、揚聲器924、麥克風925、攝像頭單元926、圖像處理單元927、多路解復用單元928、記錄/再現(xiàn)單元929、顯示器930、控制單元931、操作單元932、傳感器單元933、總線934和電池935。

天線912連接至通信單元922。揚聲器924和麥克風925連接至音頻編解碼器923。操作單元932連接至控制單元931?？偩€934將通信單元922、音頻編解碼器923、攝像頭單元926、圖像處理單元927、多路解復用單元928、記錄/再現(xiàn)單元929、顯示器930、控制單元931和傳感器單元933相互連接。

移動電話920以各種操作模式進行操作，諸如，傳輸/接收音頻信號、傳輸/接收電子郵件或者圖像數(shù)據(jù)、成像圖像或者記錄數(shù)據(jù)，這些操作模式包括音頻呼叫模式、數(shù)據(jù)通信模式、攝像模式和視頻電話模式。

在音頻呼叫模式中，將由麥克風925生成的模擬音頻信號提供給音頻編解碼器923。然后，音頻編解碼器923將模擬音頻信號轉換成音頻數(shù)據(jù)，對轉換的音頻數(shù)據(jù)進行A/D轉換，并且壓縮該數(shù)據(jù)。其后，音頻編解碼器923將壓縮的音頻數(shù)據(jù)輸出至通信單元922。通信單元922對該音頻數(shù)據(jù)進行編碼和調制以生成傳輸信號。然后，通信單元922通過天線921將生成的傳輸信號傳輸至基站(未示出)。而且，通信單元922對通過天線921接收的無線電信號進行放大，轉換該信號的頻率，并且獲取接收信號。其后，通信單元922對接收信號進行解調制和解碼以生成音頻數(shù)據(jù)，并且將生成的音頻數(shù)據(jù)輸出至音頻編解碼器923。音頻編解碼器923擴展該音頻數(shù)據(jù)，對該數(shù)據(jù)進行D/A轉換，并且生成模擬音頻信號。然后，音頻編解碼器923通過提供生成的音頻信號來將音頻輸出至揚聲器924。

在數(shù)據(jù)通信模式中，例如，控制單元931通過操作單元932根據(jù)用戶操作生成配置電子郵件的字符數(shù)據(jù)?？刂茊卧?31進一步將字符顯示在顯示器930上。此外，控制單元931通過操作單元932根據(jù)來自用戶的傳輸指令生成電子郵件數(shù)據(jù)，并且將生成的電子郵件數(shù)據(jù)輸出至通信單元922。通信單元922對該電子郵件數(shù)據(jù)進行編碼和調制以生成傳輸信號。然后，通信單元922通過天線921將生成的傳輸信號傳輸至基站(未示出)。通信單元922進一步對通過天線921接收到的無線電信號進行放大，轉換該信號的頻率，并且獲取接收信號。其后，通信單元922對該接收信號進行解調制和解碼，恢復電子郵件數(shù)據(jù)，并且將恢復的電子郵件數(shù)據(jù)輸出至控制單元931?？刂茊卧?31將電子郵件的內容顯示在顯示器930上，而且還將電子郵件數(shù)據(jù)存儲在記錄/再現(xiàn)單元929的存儲介質中。

記錄/再現(xiàn)單元929包括可讀取且可寫入的任意存儲介質。例如，該存儲介質可以是內置存儲介質，諸如，RAM或者閃存存儲器，或者可以是外裝式存儲介質，諸如，硬盤、磁盤、磁光盤、光盤、USB(未分配空間位圖)存儲器或者存儲卡。

在攝像模式中，例如，攝像頭單元926使對象成像，生成圖像數(shù)據(jù)，并且將生成的圖像數(shù)據(jù)輸出至圖像處理單元927。圖像處理單元927對從攝像頭單元926輸入的圖像數(shù)據(jù)進行編碼，并且將編碼流存儲在記錄/再現(xiàn)單元929的存儲介質中。

在視頻電話模式中，例如，多路解復用單元928對由圖像處理裝置927編碼的視頻流和從音頻編解碼器923輸入的音頻流進行多路復用，并且將多路復用的流傳輸至通信單元922。通信單元922對該流進行編碼和調制以生成傳輸信號。隨后，通信單元922通過天線921將生成的傳輸信號傳輸至基站(未示出)。此外，通信單元922對通過天線921接收到的無線電信號進行放大，轉換該信號的頻率，并且獲取接收信號。該傳輸信號和該接收信號可以包括編碼位流。然后，通信單元922對該接收信號進行解調制和解碼以恢復該流，并且將恢復的流輸出至多路解復用單元928。多路解復用單元928將視頻流和音頻流與輸入流分離，并且分別將視頻流和音頻流輸出至圖像處理單元927和音頻編解碼器923。圖像處理單元927對視頻流進行解碼以生成視頻數(shù)據(jù)。然后將視頻數(shù)據(jù)提供給顯示一系列圖像的顯示器930。音頻編解碼器923對音頻流進行擴展和D/A轉換以生成模擬音頻信號。然后，音頻編解碼器923將生成的音頻信號提供給揚聲器924以便輸出音頻。

傳感器單元933包括一組傳感器，諸如，加速度傳感器和陀螺儀傳感器，并且輸出指示移動電話920的運動的指數(shù)。電池935通過供電線路(未示出)為通信單元922、音頻編解碼器923、攝像頭單元926、圖像處理單元927、多路解復用單元928、記錄/再現(xiàn)單元929、顯示器930、控制單元931和傳感器單元933提供電力。

在具有上述配置的移動電話920中，圖像處理單元927具有根據(jù)上述實施例的圖像編碼裝置10的功能。因此，在移動電話920中，可以減少用于決定待應用的SAO模式和待應用的偏移值的成本計算的處理量，并且減少移動電話920的功耗和電路大小。

(2)第二應用示例

圖37是圖示應用上述實施例的記錄/再現(xiàn)裝置的示意性配置的示例的示意圖。例如，記錄/再現(xiàn)裝置940對接收到的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)進行編碼，并且將數(shù)據(jù)記錄到記錄介質中。例如，記錄/再現(xiàn)裝置940也可以對從另一個裝置獲取的音頻數(shù)據(jù)和視頻數(shù)據(jù)進行編碼，并且將數(shù)據(jù)記錄到記錄介質中。響應于用戶指定，例如，記錄/再現(xiàn)裝置940將記錄介質中記錄的數(shù)據(jù)再現(xiàn)在監(jiān)控器和揚聲器上。此時，記錄/再現(xiàn)裝置940對音頻數(shù)據(jù)和視頻數(shù)據(jù)進行解碼。

記錄/再現(xiàn)裝置940包括調諧器941、外部接口942、編碼器943、HDD(硬盤驅動器，Hard Disk Drive)944、盤驅動器945、選擇器946、解碼器947、OSD(屏幕顯示器)948、控制單元949和用戶界面950。

調諧器941從通過天線(未示出)接收到的廣播信號提取期望頻道的信號，并且對提取出的信號進行解調制。然后，調諧器941將通過解調制獲得的編碼位流輸出至選擇器946。即，調諧器941在記錄/再現(xiàn)裝置940起著傳輸裝置的作用。

外部接口942是使記錄/再現(xiàn)裝置940與外部裝置或者網(wǎng)絡連接的接口。外部幾口942可以是，例如，IEEE 1394接口、網(wǎng)絡接口、USB接口或者閃存存儲器接口。例如，將榮國外部接口942接收到的視頻數(shù)據(jù)和音頻數(shù)據(jù)輸入至編碼器943。即，外部接口942在記錄/再現(xiàn)裝置940中起著傳輸裝置的作用。

當沒有對外部接口942輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)進行編碼時，編碼器943對視頻數(shù)據(jù)和音頻數(shù)據(jù)進行編碼。其后，編碼器943將編碼位流輸出至選擇器946。

HDD 944將編碼位流、各種程序和其它數(shù)據(jù)記錄到內置硬盤中，在編碼位流中的內容數(shù)據(jù)諸如視頻和音頻是壓縮的。在再現(xiàn)視頻和音頻時，HDD 944從硬盤中讀取這些數(shù)據(jù)。

盤驅動器945將數(shù)據(jù)記錄到安裝至盤驅動器的記錄介質中并且從該記錄介質中讀取數(shù)據(jù)。安裝至盤驅動器945的記錄介質可以是，例如，DVD盤(諸如，DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R或者DVD+RW)或者藍光(注冊商標)光碟。

在記錄視頻和音頻時，選擇器946選擇從調諧器941或者編碼器943輸入的編碼位流，并且將選擇的編碼位流輸出至HDD 944或者盤驅動器945。另一方面，在重現(xiàn)視頻和音頻時，選擇器946將從HDD 944或者盤驅動器945輸入的編碼位流輸出至解碼器947。

解碼器947對編碼位流進行解碼以生成視頻數(shù)據(jù)和音頻數(shù)據(jù)。然后，解碼器904將生成的視頻數(shù)據(jù)輸出至OSD 948而將生成的音頻數(shù)據(jù)輸出至外部揚聲器。

OSD 948再現(xiàn)從解碼器947輸入的視頻數(shù)據(jù)并且顯示該視頻。OSD 948也可以將GUI的圖像諸如菜單、按鈕或者光標疊置在顯示的視頻上。

控制單元949包括處理器，諸如CPU，和存儲器，諸如RAM和ROM。存儲器存儲由CPU執(zhí)行的程序以及程序數(shù)據(jù)。例如，在啟動記錄/再現(xiàn)裝置940時通過CPU讀取在存儲器中存儲的程序，并且執(zhí)行該程序。通過執(zhí)行程序，例如，CPU根據(jù)從用戶界面950輸入的操作信號控制記錄/再現(xiàn)裝置940的操作。

用戶界面950連接至控制單元949。例如，用戶界面950包括按鈕和開關以供用戶操作記錄/再現(xiàn)裝置940、以及接收遙控信號的接收部。用戶界面950通過這些部件檢測用戶操作，生成操作信號，并且將生成的操作信號輸出至控制單元949。

在具有上述配置的記錄/再現(xiàn)裝置940中，編碼器943具有根據(jù)上述實施例的圖像編碼裝置10的功能。因此，在記錄/再現(xiàn)裝置940中，可以減少用于決定待應用的SAO模式和待應用的偏移值的成本計算的處理量，并且減少記錄/再現(xiàn)裝置940的功耗和電路大小。

(3)第三應用示例

如38示出了應用上述實施例的圖像捕捉裝置的示意性配置的示例。成像裝置960使對象成像以生成圖像，對圖像數(shù)據(jù)進行編碼，并且將數(shù)據(jù)記錄到記錄介質中。

成像裝置960包括光學塊961、成像單元962、信號處理單元963、圖像處理單元964、顯示器965、外部接口966、存儲器967、媒體驅動器968、OSD 969、控制單元970、用戶界面971、傳感器972、總線973和電池974。

光學塊961連接至成像單元962。成像單元962連接至信號處理單元963。顯示器965連接至圖像處理單元964。用戶界面971連接至控制單元970?？偩€973將圖像處理單元964、外部接口966、存儲器967、媒體驅動器968、OSD 969、控制單元970和傳感器972相互連接。

光學塊961包括聚焦透鏡和隔膜機構。光學塊961在成像單元962的成像表面上形成對象的光學圖像。成像單元962包括圖像傳感器，諸如CCD(電荷耦合器件)或者(互補金屬氧化物半導體)，并且進行光電轉換以將形成于成像表面上的光學圖像轉換成圖像信號作為電信號。隨后，成像單元962將圖像信號輸出至信號處理單元963。

信號處理單元963對從成像單元962輸入的圖像信號進行各種攝像頭信號處理，諸如拐點校正、伽馬校正和顏色校正。信號處理單元963將已經(jīng)進行了攝像頭信號處理的圖像數(shù)據(jù)輸出至圖像處理單元964。

圖像處理單元964對從信號處理單元963輸入的圖像數(shù)據(jù)進行編碼，并且生成編碼數(shù)據(jù)。然后，圖像處理單元964將生成的編碼數(shù)據(jù)輸出至外部接口966或者媒體驅動器968。圖像處理單元964還對從外部接口966或者媒體驅動器968輸入的編碼數(shù)據(jù)進行解碼以生成圖像數(shù)據(jù)。然后，圖像處理單元964將生成的圖像數(shù)據(jù)輸出至顯示器965。此外，圖像處理單元964可以將從信號處理單元963輸入的圖像數(shù)據(jù)輸出至顯示器965以顯示圖像。而且，圖像處理單元964可以將從OSD 969獲取的顯示數(shù)據(jù)疊置在顯示器965上輸出的圖像上。

OSD 969生成GUI的圖像，諸如菜單、按鈕或者光標，并且將生成的圖像輸出至圖像處理單元964。

例如，外部接口966配置為USB輸入/輸出端。例如，當打印圖像時，外部接口966將成像裝置960與打印機連接。此外，必要時，將驅動器連接至外部接口966?？上橘|諸如磁盤或者光盤安裝至驅動器，例如，以便可以將從可消除介質中讀取的程序安裝至成像裝置960。外部接口966也可以配置為連接至網(wǎng)絡諸如LAN或者互聯(lián)網(wǎng)的網(wǎng)絡接口。即，外部接口966在成像裝置960中起著傳輸裝置的作用。

安裝至媒體取釘器968的記錄介質可以是可讀取且可寫入的任意可消除介質，諸如磁盤、磁光盤、光盤或者半導體存儲器。此外，記錄介質可以固定安裝至媒體驅動器968，例如，以便配置非便攜式存儲單元，諸如內置硬盤驅動器或者SSD(固態(tài)驅動器)。

控制單元970包括處理器(諸如，CPU)和存儲器(諸如，RAM和ROM)。存儲器存儲由CPU執(zhí)行的程序以及程序數(shù)據(jù)。在啟動成像裝置960時通過CPU讀取在存儲器中存儲的程序，并且執(zhí)行該程序。通過執(zhí)行程序，例如，CPU根據(jù)從用戶界面971輸入的操作信號控制成像裝置960的操作。

用戶界面971連接至控制單元970。例如，用戶界面971包括按鈕和開關以供用戶操作成像裝置960.用戶界面971通過這些部件檢測用戶操作，生成操作信號，并且將生成的操作信號輸出至控制單元970。

傳感器972包括一組傳感器，諸如加速度傳感器和陀螺儀傳感器，并且輸出指示成像裝置960的運動的指數(shù)。電池974通過供電線路(未示出)為成像單元962、信號處理單元963、圖像處理單元964、顯示器965、媒體驅動器968、OSD 969、控制單元970和傳感器972。

在具有上述配置的成像裝置960中，圖像處理單元964具有根據(jù)上述實施例的圖像編碼裝置10的功能。因此，在成像裝置960中，可以減少用于決定待應用的SAO模式和待應用的偏移值的成本計算的處理量，并且減少成像裝置960的功耗和電路大小。

[7-2.各個實施層]

根據(jù)本公開的技術可以在各個實施層處實施，諸如包系統(tǒng)大規(guī)模集成(LSI)等的處理器、使用多個處理器的模塊、使用多個模塊的單元、以及還將其它功能添加至單元的裝置。

(1)視頻裝置

將參照圖39對將根據(jù)本公開的技術實施為裝置的示例。圖39是圖示視頻裝置的示意性配置的示例的框圖。

近年來，電子裝置的功能已經(jīng)變得多樣化。在電子裝置的研發(fā)和制造中，針對各個獨立功能進行研發(fā)和制造，然后將多個功能進行集成。因此，存在只制造或者銷售一些電子裝置的公司。這些公司提供具有單種功能或者多種相關功能的部件，或者提供具有集成功能組的裝置。圖39所示的視頻裝置1300是包括了用于圖像的編碼和解碼(或者編碼和解碼中的一個)的部件以及以集成方式具有與該功能相關的另一種功能的部件的裝置。

參照圖39，視頻裝置1300包括模塊組(諸如，視頻模塊1311、外部存儲器1312、電源管理模塊1313和前端模塊1314)和具有相關功能(諸如，連接性模塊1321、攝像頭1322和傳感器1323)的裝置組。

模塊是通過集成用于若干相關功能的部分而形成的部件。模塊可以具有任何物理配置。作為一個示例，模塊可以是通過以集成的方式在電路板上設置具有相同或者不同功能的多個處理器、電子電路元件(諸如電阻器和電容器)和其它裝置而形成的。另一個模塊可以是通過將模塊與另一個模塊或者處理器等組合而形成的。

在圖39的示例中，用于與圖像處理相關的功能的部分集成在視頻模塊1311中。視頻模塊1311包括應用處理器1331、視頻處理器1332、寬帶調制解調器1333和基帶模塊1334。

處理器可以是，例如，片上系統(tǒng)(SOC)或者系統(tǒng)LSI。SoC或者系統(tǒng)LSI可以包括用于實施預定邏輯的硬件。SoC或者系統(tǒng)LSI可以包括CPU和非暫時性有形介質，該非暫時性有形介質存儲用于使CPU執(zhí)行預定功能的程序。該程序可以，例如，存儲在ROM中并在執(zhí)行時在RAM中讀取，并且由CPU來執(zhí)行。

應用處理器1331是執(zhí)行與圖像處理相關的應用程序的處理器。除了用于圖像處理的某些種類的操作之外，在應用處理器1331中執(zhí)行的應用程序還可以例如對視頻處理器1332和其它部件進行控制。視頻處理器1332是具有與圖像的編碼和解碼相關的功能的處理器。應用處理器1331和視頻處理器1332可以集成到一個處理器中(見圖39中的虛線)。

寬帶調制解調器1333是經(jīng)由網(wǎng)絡(諸如互聯(lián)網(wǎng)公用開關電話網(wǎng)絡(PSTN))進行與通信有關的處理的模塊。例如，寬帶調制解調器1333進行將包括傳輸數(shù)據(jù)的數(shù)字信號轉換成模擬信號的數(shù)字調制和將包括接收數(shù)據(jù)的模擬信號轉換成數(shù)字信號的數(shù)字解調制。通過寬帶調制解調器1333處理的傳輸數(shù)據(jù)和接收數(shù)據(jù)可以包括任意信息，諸如圖像數(shù)據(jù)、圖像數(shù)據(jù)的編碼流、應用數(shù)據(jù)、應用程序和設置數(shù)據(jù)。

基帶模塊1334是對通過前端模塊1314傳輸且接收的射頻(RF)信號進行基帶處理的模塊。例如，基帶模塊1334調制包括傳輸數(shù)據(jù)的傳輸寄到信號，進行頻率轉換將傳輸基帶信號轉換成RF信號，并且將RF信號輸出至前端模塊1314?；鶐K1314對從萬端模塊1314輸入的RF信號進行頻率轉換并且進行解調制以生成包括接受數(shù)據(jù)的接收基帶信號。

外部存儲器1312是安裝在視頻模塊1311外面且可從視頻模塊1311訪問的存儲裝置。當將大規(guī)模數(shù)據(jù)(諸如，包括多個幀的視頻數(shù)據(jù))存儲在外部存儲器1312中時，外部存儲器1312可以包括相對比較便宜的大容量半導體存儲器，諸如動態(tài)隨機存取存儲器(DRAM)。

電源管理模塊1313是控制至視頻模塊1311和前端模塊1314的電源供應的模塊。

前端模塊1314是連接至基帶模塊1334并且提供前端功能的模塊。在圖39的示例中，前端模塊1314包括天線部1351、濾波器1352和放大部1353。天線部1351包括傳輸或者接收無線電信號的一個或者多個天線元件和相關部件，諸如天線開關。天線部1351傳輸由放大部1353放大的作為無線電信號的RF信號。天線部1351將作為無線電信號接收的RF信號輸出至濾波器1352，并且使濾波器1352對RF信號進行濾波。

連接性模塊1321是具有與視頻裝置1300的外部連接相關的功能的模塊。連接性模塊1321可以支持任意外部連接協(xié)議。例如，連接性模塊1321可以包括子模塊和相應的天線，該子模塊支持無線連接協(xié)議，諸如Bluetooth(注冊商標)、IEEE 802.11(例如，Wi-Fi(注冊商標))、近場通信(NFC)或者紅外線數(shù)據(jù)協(xié)會(IrDA)。連接性模塊1321可以包括子模塊和相應的連接端，該子模塊支持有線連接協(xié)議，諸如通用串行總線(USB)或者高清晰度多媒體接口(HDMI)。

連接性模塊1321可以包括驅動器，該驅動器將數(shù)據(jù)寫入存儲裝置(諸如存儲介質，諸如，磁盤、光盤、磁光盤或者半導體存儲器、固態(tài)驅動器(SSD)或者網(wǎng)絡附加存儲(NAS))中或者從該存儲裝置中讀取數(shù)據(jù)。連接性模塊1321可以包括存儲介質或者存儲裝置。連接性模塊1321可以提供與顯示圖像的顯示器或者輸出聲音的揚聲器的連接性。

攝像頭1322是通過拍攝對象來獲取拍攝圖像的模塊。由攝像頭1322獲取的一系列拍攝圖像構成了視頻數(shù)據(jù)。例如，由攝像頭1322生成的視頻數(shù)據(jù)必要時可以通過視頻處理器1332來解碼，并且存儲到連接至連接性模塊1321的外部存儲器1312或者存儲介質中。

傳感器1323是可以包括例如GPS傳感器、聲音傳感器、超聲波傳感器、光學傳感器、亮度傳感器、紅外線傳感器、角速度傳感器、角加速度傳感器、速度傳感器、加速度傳感器、陀螺儀傳感器、地磁傳感器、震動傳感器和溫度傳感器中的一種或者多種的模塊。例如，由傳感器1323生成的傳感器數(shù)據(jù)可以由應用處理器1331用于執(zhí)行應用程序。

在具有上述配置的視頻裝置1300中，例如在視頻處理器1332中可以使用根據(jù)本公開的技術。在這種情況下，視頻裝置1300是應用了根據(jù)本公開的技術的裝置。

視頻裝置1300可以作為各種裝置來實施以處理圖像數(shù)據(jù)。例如，視頻裝置1300可以對應上面參照圖20至23描述的電視裝置900、移動電話920、記錄/再現(xiàn)裝置940或者成像裝置960。視頻裝置1300可以對應終端裝置，諸如，在上面參照圖24描述的數(shù)據(jù)傳輸系統(tǒng)1000中的個人計算機1004、AV裝置1005、平板裝置1006或者移動電話1007、在上面參照圖25描述的數(shù)據(jù)傳輸系統(tǒng)1100中的廣播站1101或者終端裝置1102、或者在上面參照圖26描述的成像系統(tǒng)1200中的成像裝置1201或者流存儲裝置1202。

(2)視頻處理器

圖40是描述視頻處理器1332的示意性配置的示例的框圖。視頻處理器1332具有對輸入視頻信號和輸入音頻信號進行編碼并且生成視頻數(shù)據(jù)和音頻數(shù)據(jù)的功能、以及對編碼視頻數(shù)據(jù)和音頻數(shù)據(jù)進行解碼并且生成輸出視頻信號和輸出音頻信號的功能。

參照圖40，視頻處理器1332包括視頻輸入處理部1401、第一縮放部1402、第二縮放部1405、視頻輸出處理部1404、幀存儲器1405、存儲器控制單元1406、編碼/解碼引擎1407、視頻基本流(ES)緩沖器1408A和1408B、音頻ES緩沖器1409A和1409B、音頻編碼器1410、音頻解碼器1411、多路復用器(MUX)1412、多路解復用器(DEMUX)1413和流緩沖器1414。

視頻輸入處理部1401將例如從連接性模塊1321輸入的視頻信號轉換成數(shù)字圖像數(shù)據(jù)。第一縮放部1402對從視頻輸入處理部1401輸入的圖像數(shù)據(jù)進行格式轉換和縮放(放大/還原)。第二縮放部1403對待輸出至視頻輸出處理部1404的圖像數(shù)據(jù)進行格式轉換和縮放(放大/還原)。在第一縮放部1402和第二縮放部1403中的格式轉換可以是，例如，4:2:2/Y-Cb-Cr方案與4:2:0/Y-Cb-Cr方案等之間的轉換。視頻輸出處理部1404將數(shù)字圖像數(shù)據(jù)轉換成輸出視頻信號，并且將該輸出視頻信號輸出至例如連接性模塊1321。

針存儲器1405是存儲由視頻輸入處理部1401、第一縮放部1402、第二縮放部1403、視頻輸出處理部1404和編碼/解碼引擎1407共用的圖像數(shù)據(jù)的存儲裝置。例如，幀存儲器1405可以通過使用半導體存儲器諸如DRAM來實施。

存儲器控制單元1406基于從編碼/解碼引擎1407輸入的同步信號根據(jù)存儲在存取管理表1406A中的幀存儲器1405的存儲時間表來控制對幀存儲器1405的存取。存取管理表1406A是由存儲器控制單元1406根據(jù)在編碼/解碼引擎1407、第一縮放部1402和第二縮放部1403等中進行的處理來更新的。

編碼/解碼引擎1407執(zhí)行對圖像數(shù)據(jù)進行編碼并且生成編碼視頻流的編碼處理和對來自編碼視頻流的圖像數(shù)據(jù)進行解碼的解碼處理。例如，編碼/解碼引擎1407對從幀存儲器1405讀取的圖像數(shù)據(jù)進行編碼，并且順序地將編碼視頻流寫入視頻ES緩沖器1408A中。例如，從視頻ES緩沖器1408B順序地讀取成編碼視頻流和解碼的圖像數(shù)據(jù)存儲在幀存儲器1405中。編碼/解碼引擎1407在這些處理中可以將幀存儲器1405用作工作區(qū)。例如，以各個LCU的處理開始的時序，編碼/解碼引擎1407將同步信號輸出至存儲器控制單元1406。

視頻ES緩沖器1408A緩存由編碼/解碼引擎1407生成的編碼視頻流。緩存在視頻ES緩沖器1408A中的編碼視頻流輸出至多路復用器1412。視頻ES緩沖器1408B緩存從多路解復用器1413輸入的編碼視頻流。緩存在視頻ES緩沖器1408B中的編碼視頻流輸出至編碼/解碼引擎1407。

音頻ES緩沖器1409A緩存由音頻編碼器1410生成的編碼音頻流。緩存在音頻ES緩沖器1409A中的編碼音頻流輸出至多路復用器1412。音頻ES緩沖器1409B緩存從多路解復用器1413輸入的編碼音頻流。緩存在音頻ES緩沖器1409B中的編碼音頻流輸出至音頻解碼器1411。

例如，音頻編碼器1410對從連接性模塊1321輸入的輸入音頻信號進行數(shù)字轉換，并且根據(jù)音頻編碼方案(諸如，MPEG音頻方案或者Audio Code number 3(AC3)方案)對輸入音頻信號進行編碼。音頻編碼器1410順序地將編碼音頻流寫入音頻ES緩沖器1409A。音頻解碼器1411對來自從音頻ES緩沖器1409B輸入的編碼音頻流的音頻數(shù)據(jù)進行解碼，并且將該音頻數(shù)據(jù)轉換成模擬信號。例如，音頻解碼器1411將音頻信號輸出至連接性模塊1321作為再現(xiàn)的模擬音頻信號。

多路復用器1412對編碼視頻流和編碼音頻流進行多路復用，并且生成多路復用的位流。該多路復用的位流可以具有任意格式。多路復用器1412可以將預定頭信息添加到該位流。多路復用器1412可以轉換該流的格式。例如，多路復用器1412可以生成傳送流(傳送格式的位流)，在該傳送流中多路復用了編碼視頻流和編碼音頻流。多路復用器1412可以生成文件數(shù)據(jù)(記錄格式的數(shù)據(jù))，在該文件數(shù)據(jù)總多路復用了編碼視頻流和編碼音頻流。

多路解復用器1413通過與多路復用器1412的多路復用相反的技術對來自多路復用的位流的編碼視頻流和編碼音頻流進行多路分解。換言之，多路解復用器1413從位流提取(或者分離)視頻流和音頻流，該位流是從流緩沖器1414讀取的。多路解復用器1413可以進行流的格式的轉換(反向轉換)。例如，多路解復用器1413可以通過流緩沖器1414傳送流，并且將該傳送流轉換成視頻流和音頻流，該傳送流可以是從連接性模塊1321或者寬帶調制解調器1333輸入的。多路解復用器1413可以通過流緩沖器1414獲取文件數(shù)據(jù)，并且將文件數(shù)據(jù)轉換成視頻流和音頻流，該文件數(shù)據(jù)是通過連接性模塊1312從存儲介質中讀取的。

流緩沖器1414緩存位流。例如，流緩沖器1414緩存從多路復用器1412輸入的傳送流，并且以預定時序或者根據(jù)來自外界的請求將傳送流輸出至例如連接性模塊1312或者寬帶調制解調器1333。例如，流緩沖器1414緩存從多路復用器1412輸入的文件流，并且以預定時序或者根據(jù)來自外界的請求將文件流輸出至例如連接性模塊1312以便記錄。進一步地，流緩沖器1414緩存例如通過連接性模塊1321或者帶寬調制解調器1333獲取的傳送流，并且以預定時序或者根據(jù)來自外界的請求將傳送流輸出至多路解復用器1413。流緩沖器1414緩存例如通過連接性模塊1321從存儲介質讀取的文件流，并且以預定時序或者根據(jù)來自外界的請求將文件流輸出至多路解復用器1413。

在具有上述配置的視頻處理器1332中，例如在編碼/解碼引擎1407中可以使用根據(jù)本公開的技術。在這種情況下，視頻處理器1332是應用了根據(jù)本公開的技術的芯片或者模塊。

圖41是圖示視頻處理器1332的示意性配置的另一個示例的框圖。在圖41的示例中，視頻處理器1332具有根據(jù)預定方案對視頻數(shù)據(jù)進行編碼和解碼的功能。

參照圖41，視頻處理器1332包括控制單元1511、顯示器接口1512、顯示器引擎1513、圖像處理引擎1514、內存儲器1515、編解碼器引擎1516、存儲器接口1517、多路復用器/多路解復用器(MUX DMUX)1518、網(wǎng)絡接口1519和視頻接口1520。

控制單元1511控制視頻處理器1332中的各處理部的操作，諸如顯示器接口1512、顯示器引擎1513、圖像處理引擎1514和編解碼器引擎1516。例如，控制單元1511包括主CPU 1531、子CPU 1532和系統(tǒng)控制器1533。主CPU 1531執(zhí)行用于控制視頻處理器1332的處理部的操作的程序。主CPU 1531將通過執(zhí)行該程序生成的控制信號提供給相應的處理部。子CPU 1532起著主CPU 1531的輔助作用。例如，子CPU 1532執(zhí)行由主CPU 1531執(zhí)行的程序的子進程和子例程。系統(tǒng)控制器1533管理主CPU 1531和子CPU 1532的程序的執(zhí)行。

顯示器接口1512在控制單元1511的控制下將圖像數(shù)據(jù)輸出至例如連接性模塊1321。例如，顯示器接口1512將從數(shù)字圖像數(shù)據(jù)轉換而成的模擬圖像信號或者數(shù)字圖像數(shù)據(jù)輸出至連接至連接性模塊1312的顯示器。顯示器引擎1513在控制單元1511的控制下對圖像數(shù)據(jù)進行格式轉換、大小轉換和色飽和度轉換，這樣使圖像數(shù)據(jù)的屬性與作為輸出目的的顯示器的標準兼容。圖像處理引擎1514在控制單元1511的控制下對圖像數(shù)據(jù)進行圖像處理，包括用于提高圖像質量的濾波處理等。

內存儲器1515是由顯示器引擎1513、圖像處理引擎1514和編解碼器引擎1516共用的并且安裝在視頻處理器1332中的存儲裝置。例如，當在顯示器引擎1513、圖像處理引擎1514和編解碼器引擎1516之間輸入或者輸出圖像數(shù)據(jù)時，會使用內存儲器1515。內存儲器1515可以是任何類型的存儲裝置。例如，內存儲器1515可以具有相對較小的存儲大小以便存儲塊單元的圖像數(shù)據(jù)和相關參數(shù)。內存儲器1515可以是具有(例如，比外部存儲器1312)較小容量但是具有高響應速度的存儲器，諸如靜態(tài)隨機存儲器(SRAM)。

編解碼器1516執(zhí)行負圖像數(shù)據(jù)進行編碼并且生成編碼視頻流的編碼處理和對來自編碼視頻流的圖像數(shù)據(jù)進行解碼的解碼處理。編解碼器引擎1516支持的圖像編碼方案可以是任意一種或者多種方案。在圖41的示例中，編解碼器1516包括MPEG-2視頻塊1541、AVC/H.264塊1542、HEVC/H.265塊1543、HEVC/H.265(可擴展)塊1544、HEVC/H.265(多視角)塊1545和MPEG-DASH塊1551。這些功能塊根據(jù)相應的圖像編碼方案對圖像數(shù)據(jù)進行編碼和解碼。

MPEG-DASH塊1551是能夠根據(jù)MPEG-DASH方案傳輸圖像數(shù)據(jù)的功能塊。MPEG-DASH塊1551遵循標準規(guī)范對流的傳輸和生成的流的傳輸進行控制。可以通過編解碼器引擎1516中包括的任何其它功能塊來對傳輸?shù)膱D像數(shù)據(jù)進行編碼和解碼。

存儲器接口1517是用于使視頻處理器1332與外部存儲器1312連接的接口。通過存儲器接口1517將由圖像處理引擎1514或者編解碼器1516生成的數(shù)據(jù)輸出至外部存儲器1312。通過存儲器接口1517將從外部存儲器1312輸入數(shù)據(jù)提供給圖像處理引擎1514或者編解碼器1516。

多路復用器/多路解復用器1518對編碼視頻流和相關位流進行多路復用和多路分解。在進行多路復用時，多路復用器/多路解復用器1518可以將預定頭信息添加到多路復用的流。在進行多路分解時，多路復用器/多路解復用器1518可以將預定頭信息添加到分開的獨立流。換言之，多路復用器/多路解復用器1518可以和多路復用或者多路分解一起進行格式轉換。例如，多路復用器/多路解復用器1518可以支持在多個位流與具有傳送格式的作為多路復用流的傳送流之間的轉換和反向轉換、以及在多個位流與具有記錄格式的文件數(shù)據(jù)之間的轉換和反向轉換。

網(wǎng)絡接口1519是用于使例如視頻處理器1332與寬帶調制解調器1333或者連接性模塊1321連接的接口。視頻接口1520是使例如視頻處理器1332與連接性模塊1321或者攝像頭1322連接的接口。

在具有上述配置的視頻處理器1332中，例如在編解碼器引擎1516中可以使用根據(jù)本公開的技術。在這種情況下，視頻處理器1332是應用了根據(jù)本公開的技術的芯片或者模塊。

視頻處理器1332的配置并不限于上述的兩種示例。例如，視頻處理器1332可以作為一個半導體芯片來實施，或者可以作為多個半導體芯片來實施。視頻處理器1332可以由通過集成多個半導體而成形的3D集成LSI或者多個LSI的組合來實施。

<8.總結>

上面已經(jīng)參照圖1至圖41對根據(jù)本公開的實施例的圖像編碼裝置進行了說明。

根據(jù)本公開的技術可以應用于可擴展視頻編碼技術。HEVC的可擴展視頻編碼技術也稱為SHVC。例如，上述實施例可以應用于在編碼多層流中包括的獨立層(基本層和增強層)。與已決定的SAO模式和偏移值相關的信息可以以層為單位來生成和編碼，或者可以在多個層之間再次使用。根據(jù)本公開的技術可以應用于多視角編碼技術。例如，上述實施例可以應用于在多視角編碼流中包括的獨立視角(基本視角和增強視角。)與已決定的SAO模式和偏移值相關的信息可以以視角為單位來生成和編碼，或者可以在多個視角之間再次使用。

本說明書中描述的術語“CU”、“PU”和“TU”指的是包括與HEVC中獨立塊關聯(lián)的語法的邏輯單元。當僅將重點放在作為圖像的部分的獨立塊時，這些塊可以稱為術語“編碼塊(CB)”、“預測塊(PB)”和“變換塊(TB)”。CB是通過遞歸地劃分四叉樹形狀的編碼樹塊(CTB)而形成的。一個完整的四叉樹對應CTB，而與CTB對應的邏輯單元稱為編碼樹單元(CTU)。

本文中主要描述的是將各種信息(諸如，與已確定的SAO模式或者偏移值有關的信息)多路復用至編碼流的信頭并且從編碼側傳輸至解碼側的示例。但是，傳輸這些信息的方法并不限于這個示例。例如，在沒有多路復用至編碼位流的情況下，可以將這些信息傳輸或者記錄為與編碼位流關聯(lián)的單獨數(shù)據(jù)。此處，術語“關聯(lián)”意思是在解碼時允許位流中包括的圖像(可以是圖像的一部分，諸如切片或者塊)和與當前圖像對應的信息建立鏈接。換言之，信息可以在與圖像(或者位流)不同的傳輸路徑上進行傳輸。信息也可以記錄在與圖像(或者位流)不同的記錄介質(或者在相同記錄介質中的不同記錄區(qū)域)中。此外，信息和圖像(或者位流)可以通過任意單元，諸如多個幀、一個幀或者幀內的一部分來彼此關聯(lián)。

上面已經(jīng)參照附圖對本公開的優(yōu)選實施例進行了說明，然而本公開并不限于上述示例。在所附權利要求書的范圍內，本領域技術人員可以發(fā)現(xiàn)各種改變和修改。應該明白的是，這些改變和修改自然受限于本公開的技術范圍。

此外，本說明書中描述的效果僅是說明性和演示性的，而不是限制性的。換言之，根據(jù)本公開的技術可以展現(xiàn)出，隨同或者取代基于本說明書的效果，對本領技術人員而言顯而易見的其它效果。

此外，在本文中公開的當前技術也可以如下配置：

(1)

一種圖像處理設備，其包括：

濾波處理部，該濾波處理部配置為執(zhí)行將偏移量應用于已經(jīng)解碼的解碼圖像的像素的濾波處理；以及

控制單元，該控制單元配置為根據(jù)在對圖像進行編碼時使用的編碼參數(shù)控制在執(zhí)行濾波處理時使用的模式和用于該模式的偏移量。

(2)

根據(jù)(1)所述的圖像處理設備，

其中，控制單元僅僅為根據(jù)編碼參數(shù)選擇的述模式設置偏移量。

(3)

根據(jù)(2)所述的圖像處理設備，

其中，控制單元僅僅為根據(jù)在預測圖像與解碼圖像之間的誤差時使用的預測參數(shù)選擇的模式設置偏移量。

(4)

根據(jù)(3)所述的圖像處理設備，

其中，控制單元僅僅為根據(jù)幀內預測的預測模式選擇的模式設置偏移量。

(5)

根據(jù)(4)所述的圖像處理設備，

其中，控制單元僅僅為根據(jù)預測模式的預測方向選擇的模式設置偏移量。

(6)

根據(jù)(2)所述的圖像處理設備，

其中，控制單元僅僅為根據(jù)指示是否將正交變換應用于圖像的參數(shù)選擇的模式設置偏移量。

(7)

根據(jù)(2)所述的圖像處理設備，

其中，控制單元僅僅為根據(jù)指示是否應用在執(zhí)行幀內預測時使用的平滑處理的參數(shù)選擇的模式設置偏移量。

(8)

根據(jù)(1)所述的圖像處理設備，

其中，控制單元根據(jù)在對圖像進行量化時使用的量化參數(shù)來控制是否限制濾波處理的執(zhí)行。

(9)

根據(jù)(8)所述的圖像處理設備，

其中，當切片是切片B并且量化參數(shù)等于或者大于閾值時，控制單元限制對切片執(zhí)行濾波處理。

(10)

根據(jù)(1)所述的圖像處理設備，

其中，控制單元根據(jù)在預測圖像與解碼圖像之間的誤差時使用的預測參數(shù)來控制是否限制濾波處理的執(zhí)行。

(11)

根據(jù)(10)所述的圖像處理設備，

當切片是切片B并且應用于切片中包括的塊的預測是幀內預測或者幀間預測的雙向預測時，控制單元限制對該塊執(zhí)行濾波處理。

(12)

根據(jù)(1)所述的圖像處理設備，

其中，控制單元根據(jù)圖像的特征量來控制濾波處理。

(13)

根據(jù)(12)所述的圖像處理設備，

其中，特征量是從圖像提取的邊緣的信息，以及

控制單元僅僅為根據(jù)邊緣的信息選擇的模式設置偏移量。

(14)

根據(jù)(1)所述的圖像處理設備，

其中，控制單元按照僅對解碼圖像的色度分量執(zhí)行濾波處理的方式來進行控制。

(15)

根據(jù)(1)所述的圖像處理設備，其進一步包括：

編碼部，該編碼部配置為通過使用已經(jīng)經(jīng)過濾波處理部的濾波處理的解碼圖像來對圖像進行編碼。

(16)

根據(jù)(15)所述的圖像處理設備，

其中，編碼部通過使用編碼塊(CB)作為單元來對圖像進行編碼，該編碼塊(CB)是通過將編碼樹塊(CTB)遞歸地劃分而獲得的。

(17)

根據(jù)(16)所述的圖像處理設備，

其中，濾波處理部通過使用CTB作為單元來執(zhí)行濾波處理。

(18)

一種圖像處理方法，其包括：

執(zhí)行將偏移量應用于已經(jīng)解碼的解碼圖像的像素的濾波處理；以及

通過處理器根據(jù)在對圖像進行編碼時使用的編碼參數(shù)控制在執(zhí)行濾波處理時使用的模式和用于該模式的偏移量。

附圖標記列表：

10 圖像編碼裝置

11 緩沖器

13 減法部

14 正交變換部

15 量化部

16 無損編碼部

17 累積緩沖器

18 速率控制部

21 反量化部

22 反正交變換部

23 加法部

24 回路濾波器

25 幀存儲器

26 選擇器

27 選擇器

30 幀內預測部

35 幀間預測部

100 原始圖像保存部

200 去塊濾波器

240 模式確定部

300 采樣自適應偏移濾波器

310 控制單元

320 分析部

330 統(tǒng)計值獲取部

340 模式確定部

350 偏移量確定部

351 偏移量測量部

353 偏移量決定部

355 候選控制單元

360 切換確定部

370 第一確定部

371 模式數(shù)量計數(shù)部

373 確定處理部

380 第二確定部

390 濾波處理部

400 自適應回路濾波器。