技術(shù)領(lǐng)域

本公開涉及圖像處理設(shè)備和圖像處理方法。

背景技術(shù)：

H.264/AVC作為一個(gè)用于圖像編碼方案的標(biāo)準(zhǔn)規(guī)格，例如為了防止由于當(dāng)對(duì)圖像編碼時(shí)的塊失真而使圖像質(zhì)量劣化，向以每個(gè)含有4×4像素的塊的單位的塊邊界適用去塊濾波器(deblocking filter)。去塊濾波器要求大量的處理，并可以占到例如圖像解碼中整個(gè)處理量的50％。

致力于作為下一代圖像編碼系統(tǒng)的高效率的視頻編碼(HEVC)的標(biāo)準(zhǔn)，根據(jù)JCTVC-A119(參見非專利文獻(xiàn)1)，提出了將去塊濾波器適用于每個(gè)含有8×8像素以上的塊的單位。JCTVC-A119中提出的技術(shù)增加了作為適用去塊濾波器的最小單位的塊尺寸，以在一個(gè)宏塊內(nèi)相同的方向的塊邊界并行執(zhí)行濾波處理。

引用列表

非專利文獻(xiàn)

非專利文獻(xiàn)1：K.Ugur(Nokia),K.R.Andersson(LM Ericsson),A.Fuldseth(Tandberg Telecom),"JCTVC-A119:Video coding technology proposal by Tandberg,Nokia,and Ericsson",Documents of the first meeting of the Joint Collaborative Team on Video Coding(JCT-VC),Dresden,Germany,2010年4月15-23日。

技術(shù)實(shí)現(xiàn)要素：

技術(shù)問題

然而，JCTVC-A119中提出的技術(shù)沒有解決在垂直塊邊界上的處理與在水平塊邊界上的處理之間的依賴性。依然難以使在一個(gè)宏塊(或者一個(gè)編碼單位)內(nèi)在不同方向的塊邊界上的并行處理能夠進(jìn)行，以及使宏塊之間的并行處理能夠進(jìn)行。從而，上述技術(shù)無法成功解決當(dāng)適用了去塊濾波器時(shí)由于大處理量導(dǎo)致的延遲的問題和數(shù)據(jù)率的降低。

根據(jù)本公開的技術(shù)旨在提供一種當(dāng)適用了去塊濾波器時(shí)能夠提供并行處理的圖像處理設(shè)備和圖像處理方法。

解決問題的方案

根據(jù)本公開的實(shí)施例，提供一種圖像處理設(shè)備，包含：解碼部，構(gòu)成為從編碼流解碼圖像；確定部，構(gòu)成為執(zhí)行確定處理，確定是否對(duì)在由解碼部解碼的圖像內(nèi)跨塊邊界而鄰接的鄰接塊適用去塊濾波器；濾波部，構(gòu)成為對(duì)確定部已經(jīng)確定為適用去塊濾波器的鄰接塊適用去塊濾波器；以及控制部，構(gòu)成為使確定部使用重構(gòu)圖像的鄰接塊的像素作為參考像素，執(zhí)行對(duì)于垂直塊邊界和水平塊邊界的確定處理。

圖像處理設(shè)備可以典型地實(shí)現(xiàn)為用于對(duì)圖像解碼的圖像解碼設(shè)備。

此外，根據(jù)本公開的實(shí)施例，提供一種圖像處理方法，包含：從編碼流解碼圖像；執(zhí)行確定處理，確定是否對(duì)在解碼的圖像內(nèi)跨塊邊界而鄰接的鄰接塊適用去塊濾波器；對(duì)在確定處理中已被確定為適用去塊濾波器的鄰接塊適用去塊濾波器；以及以如下方式控制確定處理：使用重構(gòu)圖像的鄰接塊的像素作為參考像素，執(zhí)行對(duì)于垂直塊邊界和水平塊邊界的確定處理。

此外，根據(jù)本公開的實(shí)施例，提供一種圖像處理設(shè)備，包含：確定部，構(gòu)成為執(zhí)行確定處理，確定在待編碼的圖像被編碼時(shí)是否對(duì)被局部解碼的圖像內(nèi)跨塊邊界而鄰接的鄰接塊適用去塊濾波器；濾波部，構(gòu)成為對(duì)確定部已經(jīng)確定為適用去塊濾波器的鄰接塊適用去塊濾波器；控制部，構(gòu)成為使確定部使用重構(gòu)圖像的鄰接塊的像素作為參考像素，執(zhí)行對(duì)于垂直塊邊界和水平塊邊界的確定處理；以及編碼部，構(gòu)成為使用由濾波部濾波的圖像，將待編碼的圖像編碼。

圖像處理設(shè)備可以典型地實(shí)現(xiàn)為用于對(duì)圖像編碼的圖像編碼設(shè)備。

根據(jù)本公開的實(shí)施例，提供一種圖像處理方法，包含：執(zhí)行確定處理，確定在待編碼的圖像被編碼時(shí)是否對(duì)被局部解碼的圖像內(nèi)跨塊邊界而鄰接的鄰接塊適用去塊濾波器；對(duì)在確定處理中已被確定為適用去塊濾波器的鄰接塊適用去塊濾波器；以如下方式控制確定處理：使用重構(gòu)圖像的鄰接塊的像素作為參考像素，執(zhí)行對(duì)于垂直塊邊界和水平塊邊界的確定處理；以及使用由去塊濾波器濾波的圖像，將待編碼的圖像編碼。

發(fā)明的有利效果

如上所述，根據(jù)本公開的圖像處理設(shè)備和圖像處理方法，當(dāng)適用了去塊濾波器時(shí)進(jìn)一步改善了并行處理。

附圖說明

圖1是示出根據(jù)實(shí)施例的圖像編碼設(shè)備的配置的示例的框圖。

圖2是示出根據(jù)實(shí)施例的圖像解碼設(shè)備的配置的示例的框圖。

圖3是示出在邊界周圍的鄰接像素的示例的說明圖。

圖4是示出根據(jù)現(xiàn)有技術(shù)的在濾波需要確定處理中的參考像素的說明圖。

圖5是示出由濾波處理更新的像素的說明圖。

圖6是示出用于說明實(shí)施例的邊緣的標(biāo)識(shí)的說明圖。

圖7是示出根據(jù)現(xiàn)有技術(shù)的并行處理的說明圖。

圖8是示出根據(jù)現(xiàn)有技術(shù)的處理之間的依賴性的第一說明圖。

圖9是示出根據(jù)現(xiàn)有技術(shù)的處理之間的依賴性的第二說明圖。

圖10是示出根據(jù)現(xiàn)有技術(shù)的處理的順序的說明圖。

圖11是示出根據(jù)第一工作例的在濾波需要確定處理中的參考像素的第一說明圖。

圖12是示出根據(jù)第一工作例的在濾波需要確定處理中的參考像素的第二說明圖。

圖13是示出處理順序的第一示例的說明圖。

圖14是示出處理順序的第二示例的說明圖。

圖15是示出根據(jù)第一工作例的去塊濾波器的詳細(xì)配置的框圖。

圖16是示出確定部的詳細(xì)配置的框圖。

圖17是示出片邊界周圍的鄰接塊的說明圖。

圖18是示出對(duì)于每個(gè)片的處理的順序的第一示例的說明圖。

圖19是示出對(duì)于每個(gè)片的處理的順序的第二示例的說明圖。

圖20是示出根據(jù)實(shí)施例的去塊濾波器的處理流程的第一示例的流程圖。

圖21是示出根據(jù)實(shí)施例的去塊濾波器的處理流程的第二示例的流程圖。

圖22是示出根據(jù)實(shí)施例的濾波需要確定處理的流程的流程圖。

圖23是示出根據(jù)第二工作例的去塊濾波器的詳細(xì)配置的框圖。

圖24是示出由第二工作例提供的確定技術(shù)的第一和第二示例的說明圖。

圖25是示出由第二工作例提供的確定技術(shù)的第三和第四示例的說明圖。

圖26是示出由第二工作例提供的確定技術(shù)的第五和第六示例的說明圖。

圖27是示出對(duì)于每個(gè)LCU的處理順序的說明圖。

圖28是示出對(duì)于每個(gè)LCU的處理流程的流程圖。

圖29是示出第三工作例的概要的說明圖。

圖30是示出根據(jù)第三工作例的去塊濾波器的詳細(xì)配置的框圖。

圖31是示出對(duì)于加權(quán)平均的加權(quán)的確定的說明圖。

圖32是示出對(duì)于加權(quán)平均的加權(quán)的示例的說明圖。

圖33是示出根據(jù)第三工作例的來自計(jì)算部的輸出像素值的說明圖。

圖34是示出用于比較的處理順序的第一示例的說明圖。

圖35是示出由第三工作例提供的處理順序的第一示例的說明圖。

圖36是示出用于比較的處理順序的第二示例的說明圖。

圖37是示出由第三工作例提供的處理順序的第二示例的說明圖。

圖38是示出根據(jù)第三工作例的去塊濾波器的處理流程的第一示例的流程圖。

圖39是示出圖38所示的像素值計(jì)算處理的流程的流程圖。

圖40是示出多視圖編解碼器(multiview codec)的說明圖。

圖41是示出適用于多視圖編解碼器的根據(jù)實(shí)施例的圖像編碼處理的說明圖。

圖42是示出適用于多視圖編解碼器的根據(jù)實(shí)施例的圖像解碼處理的說明圖。

圖43是示出可擴(kuò)展編解碼器(scalable codec)的說明圖。

圖44是示出適用于可擴(kuò)展編解碼器的根據(jù)實(shí)施例的圖像編碼處理的說明圖。

圖45是示出適用于可擴(kuò)展編解碼器的根據(jù)實(shí)施例的圖像解碼處理的說明圖。

圖46是示出電視裝置的概要配置的框圖。

圖47是示出移動(dòng)電話的概要配置的框圖。

圖48是示出記錄/再現(xiàn)設(shè)備的概要配置的框圖。

圖49是示出圖像捕獲設(shè)備的概要配置的框圖。

附圖標(biāo)記列表

10、60 圖像處理設(shè)備

112-1至112-n，212-1至212-n 第一確定部(垂直邊界確定部)

114-1至114-n，214-1至214-n 第二確定部(水平邊界確定部)

132-1至132-n，332-1至332-n 第一濾波部(水平濾波部)

142-1至142-n，342-1至342-n 第二濾波部(垂直濾波部)

150 并行化控制部

208 線存儲(chǔ)器(存儲(chǔ)器)

360 計(jì)算部

實(shí)施例的說明

以下，將參考附圖來詳細(xì)說明本發(fā)明的優(yōu)選實(shí)施例。需要注意的是，在該說明書和附圖中，具有實(shí)質(zhì)相同的功能和結(jié)構(gòu)的要素被標(biāo)注了相同的標(biāo)號(hào)，省略重復(fù)的解釋。

實(shí)施例的說明將以下面的順序說明。

1.裝置概要

11.圖像編碼設(shè)備

12.圖像解碼設(shè)備

2.現(xiàn)有技術(shù)

21.去塊濾波器的基本配置

22.根據(jù)現(xiàn)有技術(shù)的處理之間的依賴性

3.第一工作例

31.去塊濾波器配置示例

32.處理流程

4.第二工作例

41.去塊濾波器配置示例

42.處理流程

43.對(duì)于每個(gè)LCU的處理示例

5.第三工作例

51.概要

52.去塊濾波器配置示例

53.處理順序示例

54.處理流程

6.對(duì)各種編解碼器的應(yīng)用

61.多視圖編解碼器

62.可擴(kuò)展編解碼器

7.示例應(yīng)用

8.總結(jié)

1.裝置概要

參考圖1和2，下面說明本說明書公開的技術(shù)可適用的裝置的概要。本說明書公開的技術(shù)能夠適用于例如圖像編碼設(shè)備和圖像解碼設(shè)備。

[11.圖像編碼設(shè)備]

圖1是示出根據(jù)實(shí)施例的圖像編碼設(shè)備的配置的示例的框圖。參考圖1，圖像編碼設(shè)備10包含：A/D(模擬至數(shù)字)轉(zhuǎn)換部11、重排緩沖器12、減法部13、正交變換部14、量化部15、無損編碼部16、累加緩沖器17、碼率控制部18、逆量化部21、逆正交變換部22、加法部23、去塊濾波器24a、幀存儲(chǔ)器25、選擇器26、幀內(nèi)預(yù)測部30、運(yùn)動(dòng)估計(jì)部40和模式選擇部50。

A/D轉(zhuǎn)換部11將以模擬格式輸入的圖像信號(hào)轉(zhuǎn)換為數(shù)字格式的圖像數(shù)據(jù)，并將一系列數(shù)字圖像數(shù)據(jù)輸出至重排緩沖器12。

重排緩沖器12將包含在從A/D轉(zhuǎn)換部11輸入的一系列圖像數(shù)據(jù)的圖像重排。在根據(jù)編碼處理的GOP(圖畫的群組)構(gòu)造將圖像重排后，重排緩沖器12將已被重排的圖像數(shù)據(jù)輸出到減法部13、幀內(nèi)預(yù)測部30和運(yùn)動(dòng)估計(jì)部40。

從重排緩沖器12輸入的圖像數(shù)據(jù)、和之后說明的由模式選擇部50選擇的預(yù)測的圖像數(shù)據(jù)被提供至減法部13。減法部13計(jì)算預(yù)測的誤差數(shù)據(jù)，并將計(jì)算的預(yù)測的誤差數(shù)據(jù)輸出至正交變換部14，該誤差數(shù)據(jù)是從重排緩沖器12輸入的圖像數(shù)據(jù)與從模式選擇部50輸入的預(yù)測的圖像數(shù)據(jù)之間的差分。

正交變換部14對(duì)從減法部13輸入的預(yù)測的誤差數(shù)據(jù)執(zhí)行正交變換。由正交變換部14執(zhí)行的正交變換例如可以是離散余弦變換(DCT)或者卡洛南-洛伊變換(Karhunen-Loeve transform)。正交變換部14將由正交變換處理獲取的變換系數(shù)數(shù)據(jù)輸出到量化部15。

從正交變換部14輸入的變換系數(shù)數(shù)據(jù)、和之后說明的來自碼率控制部18的碼率控制信號(hào)被提供至量化部15。量化部15將變換系數(shù)數(shù)據(jù)量化，并將已被量化的變換系數(shù)數(shù)據(jù)(下文被稱為量化的數(shù)據(jù))輸出到無損編碼部16和逆量化部21。另外，量化部15基于來自碼率控制部18的碼率控制信號(hào)來切換量化參數(shù)(量化尺度)，從而改變要輸入至無損編碼部16的量化數(shù)據(jù)的比特率。

從量化部15輸入的量化的數(shù)據(jù)、和之后說明的由幀內(nèi)預(yù)測部30或者運(yùn)動(dòng)估計(jì)部40產(chǎn)生并且由模式選擇部50選擇的有關(guān)幀內(nèi)預(yù)測或者幀間預(yù)測的信息被提供至無損編碼部16。有關(guān)幀內(nèi)預(yù)測的信息可以包含例如表明對(duì)于每個(gè)塊的最佳幀內(nèi)預(yù)測模式的預(yù)測模式信息。另外，有關(guān)幀間預(yù)測的信息可以包含例如對(duì)于每個(gè)塊的用于運(yùn)動(dòng)矢量的預(yù)測的預(yù)測模式信息、差分運(yùn)動(dòng)矢量信息、參考圖像信息等。

無損編碼部16通過對(duì)量化數(shù)據(jù)執(zhí)行無損編碼處理，產(chǎn)生編碼流。由無損編碼部16進(jìn)行的無損編碼例如可以是可變長度編碼或者算術(shù)編碼。此外，無損編碼部16將上述的有關(guān)幀內(nèi)預(yù)測的信息或者有關(guān)幀間預(yù)測的信息復(fù)用至編碼流的頭部(例如塊頭部、片頭部等)。然后，無損編碼部16將產(chǎn)生的編碼流輸出至累加緩沖器17。

累加緩沖器17使用諸如半導(dǎo)體存儲(chǔ)器等存儲(chǔ)介質(zhì)，臨時(shí)存儲(chǔ)從無損編碼部16輸入的編碼流。然后，累加緩沖器17將積累的編碼流以相應(yīng)于傳輸線(或者來自圖像編碼設(shè)備10的輸出線)的頻帶的碼率輸出。

碼率控制部18監(jiān)控累加緩沖器17的可用空間。然后，碼率控制部18根據(jù)累加緩沖器17的可用空間產(chǎn)生碼率控制信號(hào)，并將產(chǎn)生的碼率控制信號(hào)輸出至量化部15。例如，當(dāng)累加緩沖器17沒有太多可用空間時(shí)，碼率控制部18產(chǎn)生使量化數(shù)據(jù)的比特率降低的碼率控制信號(hào)。另外，例如，當(dāng)累加緩沖器17的可用空間充分大時(shí)，碼率控制部18產(chǎn)生使量化數(shù)據(jù)的比特率增加的碼率控制信號(hào)。

逆量化部21對(duì)從量化部15輸入的量化數(shù)據(jù)執(zhí)行逆量化處理。然后，逆量化部21將由逆量化處理獲取的變換系數(shù)數(shù)據(jù)輸出到逆正交變換部22。

逆正交變換部22對(duì)從逆量化部21輸入的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換處理，從而恢復(fù)預(yù)測的誤差數(shù)據(jù)。然后，逆正交變換部22將恢復(fù)的預(yù)測的誤差數(shù)據(jù)輸出至加法部23。

加法部23將從逆正交變換部22輸入的恢復(fù)的預(yù)測的誤差數(shù)據(jù)、與從模式選擇部50輸入的預(yù)測的圖像數(shù)據(jù)相加，從而產(chǎn)生解碼的圖像數(shù)據(jù)。然后，加法部23將產(chǎn)生的解碼的圖像數(shù)據(jù)輸出至去塊濾波器24a和幀存儲(chǔ)器25。

去塊濾波器24a執(zhí)行減少在圖像編碼中發(fā)生的塊失真的濾波處理。例如，去塊濾波器24a確定對(duì)于從加法部23提供的解碼的圖像數(shù)據(jù)的每個(gè)塊邊界進(jìn)行濾波的必要性，并對(duì)確定為要求濾波的邊界適用去塊濾波。去塊濾波器24a還被提供有用于確定濾波必要性的信息(例如模式信息、變換系數(shù)信息和運(yùn)動(dòng)矢量信息)以及來自加法部23解碼的圖像數(shù)據(jù)。在濾波之后，從解碼的圖像數(shù)據(jù)消除了塊失真，并且去塊濾波器24a將解碼的圖像數(shù)據(jù)輸出至幀存儲(chǔ)器25。之后將詳細(xì)說明去塊濾波器24a的處理。

幀存儲(chǔ)器25使用存儲(chǔ)介質(zhì)，存儲(chǔ)從加法部23輸入的解碼的圖像數(shù)據(jù)、以及從去塊濾波器24a輸入的濾波后的解碼的圖像數(shù)據(jù)。

選擇器26從幀存儲(chǔ)器25讀出用于幀內(nèi)預(yù)測的濾波前的解碼的圖像數(shù)據(jù)，并將已被讀出的解碼的圖像數(shù)據(jù)提供給幀內(nèi)預(yù)測部30作為參考圖像數(shù)據(jù)。另外，選擇器26從幀存儲(chǔ)器25讀出用于幀間預(yù)測的濾波后的解碼的圖像數(shù)據(jù)，并將已被讀出的解碼的圖像數(shù)據(jù)提供給運(yùn)動(dòng)估計(jì)部40作為參考圖像數(shù)據(jù)。

幀內(nèi)預(yù)測部30基于從重排緩沖器12輸入的要編碼的圖像數(shù)據(jù)、和經(jīng)由選擇器26提供的解碼的圖像數(shù)據(jù)，執(zhí)行每個(gè)幀內(nèi)預(yù)測模式的幀內(nèi)預(yù)測處理。例如，幀內(nèi)預(yù)測部30使用預(yù)定的成本函數(shù)，評(píng)價(jià)每個(gè)幀內(nèi)預(yù)測模式的預(yù)測結(jié)果。然后，幀內(nèi)預(yù)測部30選擇成本函數(shù)值最小的幀內(nèi)預(yù)測模式，即壓縮率最高的幀內(nèi)預(yù)測模式作為最佳幀內(nèi)預(yù)測模式。此外，幀內(nèi)預(yù)測部30向模式選擇部50輸出表明最佳幀內(nèi)預(yù)測模式的預(yù)測模式信息、預(yù)測的圖像數(shù)據(jù)、和諸如成本函數(shù)值等有關(guān)幀內(nèi)預(yù)測的信息。

運(yùn)動(dòng)估計(jì)部40基于從重排緩沖器12提供的用于編碼的圖像數(shù)據(jù)、和經(jīng)由選擇器26提供的解碼的圖像數(shù)據(jù)，執(zhí)行幀間預(yù)測處理(幀之間的預(yù)測處理)。例如，運(yùn)動(dòng)估計(jì)部40使用預(yù)定的成本函數(shù)，評(píng)價(jià)每個(gè)預(yù)測模式的預(yù)測結(jié)果。然后，運(yùn)動(dòng)估計(jì)部40選擇最佳預(yù)測模式，即使成本函數(shù)值最小化或者使壓縮率最大化的預(yù)測模式。運(yùn)動(dòng)估計(jì)部40根據(jù)最佳預(yù)測模式，產(chǎn)生預(yù)測的圖像數(shù)據(jù)。運(yùn)動(dòng)估計(jì)部40將諸如表明最佳幀內(nèi)預(yù)測模式的預(yù)測模式信息、預(yù)測的圖像數(shù)據(jù)、和成本函數(shù)值等有關(guān)幀間預(yù)測的信息輸出至模式選擇部50。

模式選擇部50將從幀內(nèi)預(yù)測部30輸入的幀內(nèi)預(yù)測相關(guān)的成本函數(shù)值、與從運(yùn)動(dòng)估計(jì)部40輸入的幀間預(yù)測相關(guān)的成本函數(shù)值進(jìn)行比較。然后，模式選擇部50從幀內(nèi)預(yù)測和幀間預(yù)測中選擇具有較小成本函數(shù)值的預(yù)測方法。在選擇了幀內(nèi)預(yù)測的情況下，模式選擇部50將有關(guān)幀內(nèi)預(yù)測的信息輸出至無損編碼部16，并且，將預(yù)測的圖像數(shù)據(jù)輸出至減法部13和加法部23。在選擇了幀間預(yù)測的情況下，模式選擇部50將有關(guān)上述幀間預(yù)測的信息輸出至無損編碼部16，另外，將預(yù)測的圖像數(shù)據(jù)輸出至減法部13和加法部23。

[12.圖像解碼設(shè)備]

圖2是示出根據(jù)實(shí)施例的圖像解碼設(shè)備60的配置的示例的框圖。參考圖2，圖像解碼設(shè)備60包含累加緩沖器61、無損解碼部62、逆量化部63、逆正交變換部64、加法部65、去塊濾波器24b、重排緩沖器67、D/A(數(shù)字至模擬)轉(zhuǎn)換部68、幀存儲(chǔ)器69、選擇器70和71、幀內(nèi)預(yù)測部80和運(yùn)動(dòng)補(bǔ)償部90。

累加緩沖器61使用存儲(chǔ)介質(zhì)臨時(shí)存儲(chǔ)經(jīng)由傳輸線輸入的編碼流。

無損解碼部62根據(jù)在編碼的時(shí)間使用的編碼方法，將從累加緩沖器61輸入的編碼流解碼。另外，無損解碼部62將復(fù)用至編碼流程的頭部區(qū)域的信息解碼。復(fù)用至編碼流程的頭部區(qū)域的信息可以包含例如塊頭部中的有關(guān)幀內(nèi)預(yù)測的信息、和有關(guān)幀間預(yù)測的信息。無損解碼部62將有關(guān)幀內(nèi)預(yù)測的信息輸出至幀內(nèi)預(yù)測部80。另外，無損解碼部62將有關(guān)幀間預(yù)測的信息輸出至運(yùn)動(dòng)補(bǔ)償部90。

逆量化部63將已由無損解碼部62解碼的量化數(shù)據(jù)逆量化。逆正交變換部64通過根據(jù)在編碼時(shí)使用的正交變換方法，對(duì)從逆量化部63輸入的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換，產(chǎn)生預(yù)測的誤差數(shù)據(jù)。然后，逆正交變換部64將產(chǎn)生的預(yù)測的誤差數(shù)據(jù)輸出至加法部65。

加法部65將從逆正交變換部64輸入的預(yù)測的誤差數(shù)據(jù)、與從選擇器71輸入的預(yù)測的圖像數(shù)據(jù)相加，從而產(chǎn)生解碼的圖像數(shù)據(jù)。然后，加法部65將產(chǎn)生的解碼的圖像數(shù)據(jù)輸出至去塊濾波器24b和幀存儲(chǔ)器69。

去塊濾波器24b執(zhí)行減少在解碼的圖像上出現(xiàn)的塊失真的濾波處理。去塊濾波器24b確定例如在對(duì)于從加法部65輸入的解碼的圖像數(shù)據(jù)的每個(gè)塊邊界進(jìn)行濾波的必要性，并對(duì)確定為要求濾波的邊界適用去塊濾波器。去塊濾波器24b還被提供有用于確定濾波必要性的信息以及來自加法部65解碼的圖像數(shù)據(jù)。在濾波之后，從解碼的圖像數(shù)據(jù)消除了塊失真，并且去塊濾波器24b將解碼的圖像數(shù)據(jù)輸出至重排緩沖器67和幀存儲(chǔ)器69。之后將詳細(xì)說明去塊濾波器24b的處理。

重排緩沖器67通過將從去塊濾波器24b輸入的圖像重排，產(chǎn)生時(shí)間序列一系列圖像數(shù)據(jù)。然后，重排緩沖器67將產(chǎn)生的圖像數(shù)據(jù)輸出至D/A轉(zhuǎn)換部68。

D/A轉(zhuǎn)換部68將從重排緩沖器67輸入的數(shù)字格式的圖像數(shù)據(jù)轉(zhuǎn)換為模擬格式的圖像信號(hào)。然后，D/A轉(zhuǎn)換部68通過將模擬圖像信號(hào)輸出至例如與圖像解碼設(shè)備60連接的顯示器(未示出)，使圖像被顯示。

幀存儲(chǔ)器69使用存儲(chǔ)介質(zhì)來存儲(chǔ)從加法部65輸入的濾波前的解碼的圖像數(shù)據(jù)、以及從去塊濾波器24b輸入的濾波后的解碼的圖像數(shù)據(jù)。

選擇器70根據(jù)由無損解碼部62獲取的模式信息，對(duì)于圖像中的每個(gè)塊，在幀內(nèi)預(yù)測部80與運(yùn)動(dòng)補(bǔ)償部90之間切換來自幀存儲(chǔ)器69的圖像數(shù)據(jù)的輸出目的地。例如，在指定了幀內(nèi)預(yù)測模式的情況下，選擇器70將從幀存儲(chǔ)器69提供的濾波前的解碼的圖像數(shù)據(jù)輸出至幀內(nèi)預(yù)測部80作為參考圖像數(shù)據(jù)。另外，在指定了幀間預(yù)測模式的情況下，選擇器70將從幀存儲(chǔ)器69提供的濾波后的解碼的圖像數(shù)據(jù)輸出至運(yùn)動(dòng)補(bǔ)償部90作為參考圖像數(shù)據(jù)。

選擇器71根據(jù)由無損解碼部62獲取的模式信息，對(duì)于圖像中的每個(gè)塊，在幀內(nèi)預(yù)測部80與運(yùn)動(dòng)補(bǔ)償部90之間切換要提供給加法部65的預(yù)測的圖像數(shù)據(jù)的輸出源。例如，在指定了幀內(nèi)預(yù)測模式的情況下，選擇器71向加法部65提供從幀內(nèi)預(yù)測部80輸出的預(yù)測的圖像數(shù)據(jù)。在指定了幀間預(yù)測模式的情況下，選擇器71向加法部65提供從運(yùn)動(dòng)補(bǔ)償部90輸出的預(yù)測的圖像數(shù)據(jù)。

幀內(nèi)預(yù)測部80基于從無損解碼部62輸入的有關(guān)幀內(nèi)預(yù)測的信息、和來自幀存儲(chǔ)器69的參考圖像數(shù)據(jù)，執(zhí)行像素值的畫面內(nèi)預(yù)測(in-screen prediction)，并產(chǎn)生預(yù)測的圖像數(shù)據(jù)。然后，幀內(nèi)預(yù)測部80將產(chǎn)生的預(yù)測的圖像數(shù)據(jù)輸出至選擇器71。

運(yùn)動(dòng)補(bǔ)償部90基于從無損解碼部62輸入的有關(guān)幀間預(yù)測的信息、和來自幀存儲(chǔ)器69的參考圖像數(shù)據(jù)，執(zhí)行運(yùn)動(dòng)補(bǔ)償處理，并產(chǎn)生預(yù)測的圖像數(shù)據(jù)。然后，運(yùn)動(dòng)補(bǔ)償部90將產(chǎn)生的預(yù)測的圖像數(shù)據(jù)輸出至選擇器71。

<2.現(xiàn)有技術(shù)>

[2-1.去塊濾波的基本配置]

一般而言，使用在諸如H.264/AVC或者HEVC等現(xiàn)有圖像編碼系統(tǒng)中的去塊濾波器的處理包含兩個(gè)類型的處理，即濾波需要確定處理和濾波處理。下面說明例如HEVC中的這兩個(gè)處理。

(1)濾波需要確定處理

濾波需要確定處理確定是否需要將去塊濾波器適用于輸入圖像內(nèi)的塊的每個(gè)邊界。塊邊界包含彼此水平相鄰的塊之間的垂直邊界、和彼此垂直相鄰的塊之間的水平邊界。JCTVC-A119使用8×8像素的塊尺寸作為最小處理單位。例如，16×16像素的宏塊包含4個(gè)8×8像素的塊。對(duì)于每個(gè)塊，處理被適用于一個(gè)(左)垂直邊界和一個(gè)(頂部)水平邊界，即4個(gè)邊界加4個(gè)邊界共計(jì)等于8個(gè)邊界。說明書假定作為技術(shù)術(shù)語的宏塊包含在HEVC的環(huán)境下的編碼單位(CU)。

圖3是示出邊界周圍彼此相鄰的2個(gè)塊(鄰接塊)Ba和Bb中的像素的示例的說明圖。下面作為示例說明垂直邊界，說明顯然也適用于水平邊界。圖3中的示例使用符號(hào)p_ij來代表塊Ba中的像素。在該符號(hào)中，i表示列索引，j表示行索引。列索引i從最靠近垂直邊界的列依次編號(hào)為0、1、2和3(從右到左)。行索引j從上到下編號(hào)為0、1、2……7。塊Ba的左半部從圖中省略。符號(hào)q_kj被用于代表塊Bb中的像素。在該符號(hào)中，k表示列索引，j表示行索引。列索引k從最靠近垂直邊界的列依次編號(hào)為0、1、2和3(從左到右)。塊Bb的右半部從圖中省略。

可以使用下面的條件確定對(duì)圖3示出的塊Ba與Bb之間的垂直邊界適用去塊濾波器的必要性。

亮度(Luma)分量的確定條件……如果條件A和B兩者為真，則適用去塊濾波器。

條件A：

(A1)塊Ba或者Bb進(jìn)入幀內(nèi)預(yù)測模式；

(A2)塊Ba或者Bb具有非零正交變換系數(shù)；或者

(A3)|MVAx-MVBx|≥4或者|MVAy-MVBy|≥4

條件B：

|p₂₂-2p₁₂+p₀₂|+|q₂₂-2q₁₂+q₀₂|+|p₂₅-2p₁₅+p₀₅|+|q₂₅-2q₁₅+q₀₅|<β

條件A3假定根據(jù)Qpel(1/4像素)精度，對(duì)于塊Ba的運(yùn)動(dòng)矢量為(MVAx，MVAy)，對(duì)于塊Bb的運(yùn)動(dòng)矢量為(MVBx，MVBy)。條件B使用β作為邊緣確定閾值。β的初始值是根據(jù)量化參數(shù)給定的。用于β的值是使用片頭部內(nèi)的參數(shù)可由用戶指定的。

色度(Chroma)分量的確定條件……如果條件A1為真，則適用去塊濾波器。

條件A1：塊Ba或者Bb進(jìn)入幀內(nèi)預(yù)測模式。

如圖4中的虛線框L3和L6所示，一般的垂直邊界的濾波需要確定處理(尤其是在亮度分量的確定條件B下)參考在每個(gè)塊中第三和第六行(假定最上面一行是第一)的像素。類似地，水平邊界的濾波需要確定處理參考每個(gè)塊中第三和第六列的像素(圖4中未示出)。上述確定條件被用于確定需要向邊界適用去塊濾波器，對(duì)該邊界執(zhí)行下述的濾波處理的。

(2)濾波處理

如果確定了需要向邊界適用去塊濾波器，那么對(duì)垂直邊界的右和左的像素、以及對(duì)水平邊界的上和下的像素執(zhí)行濾波處理。對(duì)于亮度分量，根據(jù)像素值在強(qiáng)濾波器和弱濾波器之間切換濾波器強(qiáng)度。

對(duì)亮度分量濾波

選擇強(qiáng)度...對(duì)于每個(gè)行或者列選擇濾波器強(qiáng)度。如果滿足了下面的條件C1至C3的全部，則選擇強(qiáng)濾波器。如果其中任何一個(gè)條件不滿足，則選擇弱濾波器。

(C1)d<(β>>2)

(C2)(|p_3j-p_0j|+|q_0j-q_3j|)<(β>>3)

(C3)|p_0j-q_0j|<((5t_C+1)>>1)

其中，j表示用于垂直邊界的行索引、或者用于水平邊界的列索引。d＝|p₂₂-2p₁₂+p₀₂|+|q₂₂-2q₁₂+q₀₂|+|p₂₅-2p₁₅+p₀₅|+|q₂₅-2q₁₅+q₀₅|

弱濾波器

△＝Clip(-t_C,t_C,(13(q_0j-p_0j)+4(q_1j-p_1j)-5(q_2j-p_2j)+16)>>5))

p_0j＝Clip_0-255(p_0j+△)

q_0j＝Clip_0-255(q_0j-△)

p_1j＝Clip_0-255(p_1j+△/2)

q_1j＝Clip_0-255(q_1j-△/2)

強(qiáng)濾波器

p_0j＝Clip_0-255((p_2j+2p_1j+2p_0j+2q_0j+q_1j+4)>>3)

q_0j＝Clip_0-255((p_1j+2p_0j+2q_0j+2q_1j+q_2j+4)>>3)

p_1j＝Clip_0-255((p_2j+p_1j+p_0j+q_0j+2)>>2)

q_1j＝Clip_0-255((p_0j+q_0j+q_1j+q_2j+2)>>2)

p_2j＝Clip_0-255((2p_3j+3p_2j+p_1j+p_0j+q_0j+4)>>3)

q_2j＝Clip_0-255((p_0j+q_0j+q_1j+3q_2j+2q_3j+4)>>3)

其中，Clip(a，b，c)表示將值c修整(clip)至a≤c≤b范圍內(nèi)的處理，Clip_0-255(c)表示將值c修整至0≤c≤255的范圍內(nèi)的處理。

對(duì)色度分量濾波

△＝Clip(-t_C，t_C，((((q_0j-p_0j)<<2)+p_1j-q_1j+4)>>3))

p_0j＝Clip_0-255(p_0j+△)

q_0j＝Clip_0-255(q_0j-△)

如圖5的虛線框C6至C8以及C1至C3所示，在一般的垂直邊界的濾波處理(尤其是對(duì)于亮度分量的強(qiáng)濾波器)更新在每個(gè)塊中第一至第三以及第六至第八列的像素值。類似地，在水平邊界的濾波處理更新在每個(gè)塊中的第一至第三、以及第六至第八行的像素值。

[22.根據(jù)現(xiàn)有技術(shù)的處理之間的依賴性]

為了說明的目的，如圖6所示，每個(gè)具有16×16像素的尺寸的宏塊MBx(MB0，MB1……)包含表示為Vx，0的左上垂直邊界，表示為Vx，1的上中垂直邊界，表示為Vx，2的左下垂直邊界，表示為Vx，3的下中垂直邊界，表示為Hx，0的左上水平邊界，表示為Hx，1的右上水平邊界，表示為Hx，2的左中水平邊界，以及表示為Hx，3的右中水平邊界。關(guān)于邊界Z，例如，濾波需要確定處理表示為J_Z，濾波處理表示為F_Z。

上述現(xiàn)有技術(shù)在對(duì)一個(gè)宏塊內(nèi)的相同的方向的邊界的處理之間不產(chǎn)生依賴性。因此，該技術(shù)能夠例如在對(duì)一個(gè)宏塊內(nèi)的垂直邊界和水平邊界執(zhí)行并行濾波。作為一個(gè)示例，圖7明確了在宏塊MB0內(nèi)4個(gè)濾波處理F_V0,0，F(xiàn)_V0,1，F(xiàn)_V0,2和F_V0,3之間沒有依賴性(沒有像素被冗余地更新)，濾波處理能夠并行執(zhí)行。

然而，上述現(xiàn)有技術(shù)在對(duì)垂直邊界的濾波處理、與對(duì)水平邊界的濾波需要確定處理之間留下了依賴性?，F(xiàn)有技術(shù)還在對(duì)水平邊界的濾波處理、與對(duì)垂直邊界的濾波需要確定處理之間留下了依賴性。例如如果垂直邊界先于水平邊界被處理，那么對(duì)給定的宏塊內(nèi)的水平邊界的濾波需要確定處理需要在垂直邊界的濾波處理終止后執(zhí)行。作為一個(gè)示例，圖8示出了在宏塊MB0內(nèi)，濾波需要確定處理J_H0,0依賴于濾波處理F_V0,0和F_V0,1的結(jié)果，濾波需要確定處理J_H0,1依賴于濾波處理F_V0,1的結(jié)果。類似地，對(duì)給定的宏塊內(nèi)的垂直邊界的濾波需要確定處理需要在對(duì)于相鄰的宏塊的水平邊界的濾波處理終止后執(zhí)行。作為一個(gè)示例，圖9示出了對(duì)于宏塊MB1的濾波需要確定處理J_V1,0依賴于對(duì)于宏塊MB0的濾波處理F_H0,1和F_H0,3的結(jié)果，對(duì)于宏塊MB1的的濾波需要確定處理J_V1,2依賴于對(duì)于宏塊MB0的濾波處理F_H0,3的結(jié)果。

現(xiàn)有技術(shù)包括處理之間的依賴性，因此即使使用JCTVC-A119中提出的技術(shù)，也僅能夠非常有限地提供去塊濾波的并行處理。

圖10是示出根據(jù)現(xiàn)有技術(shù)的去塊濾波器的處理的順序的說明圖。示例假定了去塊濾波器被提供了具有32×32像素的尺寸的圖像。輸入圖像包含4個(gè)宏塊MB0至MB3，每個(gè)具有16×16像素的尺寸。

在圖10中，每個(gè)虛線框代表要并行執(zhí)行的處理。例如，第一步驟對(duì)宏塊MB0中的4個(gè)垂直邊界并行執(zhí)行濾波需要確定處理J_V0,0，J_V0,1，J_V0,2和J_V0,3。第二步驟對(duì)宏塊MB0中的4個(gè)垂直邊界并行執(zhí)行濾波處理F_V0,0，F(xiàn)_V0,1，F(xiàn)_V0,2和F_V0,3。在第二步驟終止后，第三步驟對(duì)宏塊MB0中的4個(gè)水平邊界并行執(zhí)行濾波需要確定處理J_H0,0，J_H01，J_H02和J_H0,3。第四步驟對(duì)宏塊MB0中的4個(gè)水平邊界并行執(zhí)行濾波處理F_H0,0，F(xiàn)_H01，F(xiàn)_H02和F_H0,3。在第四步驟終止后，相繼執(zhí)行對(duì)于宏塊MB1的處理(第五至第八步驟)。在宏塊MB1處理終止后，相繼執(zhí)行對(duì)于宏塊MB2的處理(第九至第十二步驟)。在宏塊MB2處理終止后，相繼執(zhí)行對(duì)于宏塊MB3的處理(第十三至第十六步驟)。

有限程度內(nèi)的這樣的并行處理無法令人滿意地解決當(dāng)適用了去塊濾波器時(shí)，由于處理量大而導(dǎo)致延遲或者數(shù)據(jù)碼率劣化的問題。當(dāng)適用了定義時(shí)，下述的三個(gè)工作例進(jìn)一步改善了并行處理。

<3.第一工作例>

[3-1.去塊濾波器配置示例]

下面說明根據(jù)第一工作例的，用于圖1所示的圖像編碼設(shè)備10的去塊濾波器24a、和用于圖2所示的圖像解碼設(shè)備60的去塊濾波器24b的示例配置。去塊濾波器24a和去塊濾波器24b的配置可以彼此相同。在下面的說明中，當(dāng)不需要在它們之間區(qū)分時(shí)，去塊濾波器24a和去塊濾波器24b還被通稱為去塊濾波器24。

(1)新的處理之間的依賴性

根據(jù)工作例，使用去塊濾波器24的處理也包含兩個(gè)類型的處理，即濾波需要確定處理和濾波處理。然而，去塊濾波器24使用不同于現(xiàn)有技術(shù)的參考像素的值來確定是否對(duì)垂直邊界和水平邊界適用去塊濾波。更具體而言，對(duì)于對(duì)垂直邊界的確定，去塊濾波器24使用參考像素，即，包含于在垂直邊界周圍的相鄰的塊的像素中，并且屬于對(duì)于水平邊界不適用去塊濾波的行的像素。對(duì)于對(duì)水平邊界的確定，去塊濾波器24使用另一參考像素，即，包含于在水平邊界周圍的相鄰的塊的像素中，并且屬于對(duì)垂直邊界不適用去塊濾波的行的像素。另外在下面的說明中，去塊濾波器24例如基于8×8像素的塊尺寸作為處理單位來執(zhí)行處理。

圖11是示出對(duì)垂直邊界由去塊濾波器24執(zhí)行濾波需要確定處理中的參考像素的說明圖。參考圖11，宏塊MB0具有16×16像素的尺寸。去塊濾波器24使用屬于每個(gè)塊的第四和第五行(L4和L5)中的至少一個(gè)的參考像素，確定是否向宏塊MB0的4個(gè)垂直邊界適用濾波器。對(duì)水平邊界的去塊濾波不適用于這兩行(參見圖9)。該配置消除了對(duì)水平邊界的濾波處理、與對(duì)垂直邊界的濾波需要確定處理之間的依賴性。

圖12是示出對(duì)水平邊界由去塊濾波器24執(zhí)行濾波需要確定處理中的參考像素的說明圖。圖12也示出宏塊MB0。去塊濾波器24使用屬于每個(gè)塊的第四和第五列(C4和C5)中的至少一個(gè)的參考像素，確定是否對(duì)宏塊MB0的4個(gè)水平邊界適用濾波。對(duì)垂直邊界的去塊濾波不適用于這兩列(參見圖7或者8)。該配置消除了對(duì)垂直邊界的濾波處理、與對(duì)水平邊界的濾波需要確定處理之間的依賴性。

消除處理之間的依賴性于是能夠使對(duì)一個(gè)宏塊內(nèi)的垂直邊界和水平邊界的濾波需要確定處理并行化。宏塊之間的處理可以并行化。濾波需要確定處理能夠?qū)斎雸D像內(nèi)所有宏塊的垂直邊界和水平邊界并行執(zhí)行。

圖13是示出在去塊濾波器24可用的處理順序的第一示例的說明圖。示例還假定了去塊濾波被提供了具有32×32像素的尺寸的圖像。輸入圖像包含4個(gè)宏塊MB0至MB3，每個(gè)具有16×16像素的尺寸。

在圖13中，每個(gè)虛線框代表要并行執(zhí)行的處理。圖10中的示例對(duì)于一系列的處理要求16個(gè)處理步驟，圖13中的示例將相同的數(shù)量的處理聚合為3個(gè)處理步驟。第一步驟對(duì)所有宏塊MB0至MB3的所有垂直邊界和所有水平邊界并行執(zhí)行濾波需要確定處理J_V0,0至J_V3,3和J_H0,0至J_H3,3。第二步驟對(duì)所有宏塊的MB0至MB3的16個(gè)垂直邊界并行執(zhí)行濾波處理F_V0,0至F_V3,3。第三步驟對(duì)所有宏塊MB0至MB3的16個(gè)水平邊界并行執(zhí)行濾波處理F_H0,0和F_H3,3。第二步驟和第三步驟可以以相反的順序執(zhí)行。

圖13中的示例基于宏塊之間的并行處理，使并行度(并行執(zhí)行的處理的數(shù)量)最大化。然而，根據(jù)圖14中的示例，去塊濾波器24能夠執(zhí)行對(duì)每個(gè)宏塊的處理。

圖14中的示例將圖10和13所示的相同數(shù)量的處理聚合為12個(gè)處理步驟。第一步驟對(duì)宏塊MB0中的4個(gè)垂直邊界和4個(gè)水平邊界并行執(zhí)行濾波需要確定處理J_V0,0至J_V0,3和J_H0,0至J_H0,3。第二步驟對(duì)宏塊MB0中的4個(gè)垂直邊界并行執(zhí)行濾波處理F_V0,0至F_V0,3。第三步驟對(duì)宏塊MB1中的4個(gè)垂直邊界和4個(gè)水平邊界并行執(zhí)行濾波需要確定處理J_V1,0至J_V1,3和J_H1,0至J_H1,3。第四步驟對(duì)宏塊MB1中的4個(gè)垂直邊界并行執(zhí)行濾波處理F_V1,0至F_V1,3。第五步驟對(duì)宏塊MB0中的4個(gè)水平邊界并行執(zhí)行濾波處理F_H0,0至F_H0,3。第六步驟對(duì)宏塊MB2中的4個(gè)垂直邊界和4個(gè)水平邊界并行執(zhí)行濾波需要確定處理J_V2,0至J_V2,3和J_H2,0至J_H2,3。第七步驟對(duì)宏塊MB2中的4個(gè)垂直邊界并行執(zhí)行濾波處理F_V2,0至F_V2,3。第八步驟對(duì)宏塊MB1中的4個(gè)水平邊界并行執(zhí)行濾波處理F_H1,0至F_H1,3。第九步驟對(duì)宏塊MB3中的4個(gè)垂直邊界和4個(gè)水平邊界并行執(zhí)行濾波需要確定處理J_V3,0至J_V3,3和J_H3,0至J_H3,3。第十步驟對(duì)宏塊MB3中的4個(gè)垂直邊界并行執(zhí)行濾波處理F_V3,0至F_V3,3。第十一步驟對(duì)宏塊MB2中的4個(gè)水平邊界并行執(zhí)行濾波處理F_H2,0至F_H2,3。第十二步驟對(duì)宏塊MB3中的4個(gè)水平邊界并行執(zhí)行濾波處理F_H3,0至F_H3,3。在這種情況下，雖然并行度低于圖13的示例，但去塊濾波器24能夠使用比現(xiàn)有技術(shù)更少的處理步驟對(duì)整個(gè)輸入圖像執(zhí)行處理。

(2)去塊濾波器的基本配置

圖15是示出用于執(zhí)行上述并行處理的、根據(jù)第一工作例的去塊濾波器24的詳細(xì)配置的框圖。參考圖15，去塊濾波器24包含確定塊110、水平濾波塊130、垂直濾波塊140、以及并行化控制部150。

(2-1)確定塊

確定塊110包含垂直邊界確定部112-1至112-n以及水平邊界確定部114-1至114-n。垂直邊界確定部112和水平邊界確定部114被提供有輸入至去塊濾波器24的圖像和被用于確定濾波的必要性的確定信息。

垂直邊界確定部112使用屬于如圖11所示不適用用于水平邊界的去塊濾波的行的參考像素的像素值，確定是否對(duì)垂直邊界適用去塊濾波器。在該示例中，參考像素的像素值被輸入至去塊濾波器24。垂直邊界確定部112向水平濾波塊130輸出表明有關(guān)每個(gè)垂直邊界的確定結(jié)果的信息(例如值"1"表明需要適用去塊濾波器的確定結(jié)果的二進(jìn)制信息)。

水平邊界確定部114使用屬于如圖12所示不適用用于垂直邊界的去塊濾波的列的參考像素的像素值，確定是否對(duì)水平邊界適用去塊濾波器。在該示例中，參考像素的像素值也被輸入至去塊濾波器24。由每個(gè)水平邊界確定部114執(zhí)行的確定處理與由每個(gè)垂直邊界確定部112執(zhí)行的確定處理并行執(zhí)行。水平邊界確定部114向垂直濾波塊140輸出表明有關(guān)每個(gè)水平邊界的確定結(jié)果的信息。

圖16是示出每個(gè)垂直邊界確定部112和水平邊界確定部114的詳細(xì)配置的框圖。參考圖16，每個(gè)確定部包含抽頭構(gòu)成部121、計(jì)算部122、閾值比較部123、失真評(píng)價(jià)部124和濾波確定部125。

抽頭構(gòu)成部121從在輸入圖像中關(guān)注邊界周圍的兩個(gè)鄰接塊的像素值獲取參考像素值，并構(gòu)成用于確定對(duì)于上述亮度分量的確定條件B的抽頭(參考像素值的集合)。例如，可以關(guān)注在每個(gè)具有8×8像素的尺寸的塊的垂直邊界。在這種情況下，抽頭構(gòu)成部121根據(jù)屬于在左右的兩個(gè)塊的第四和/或第五行的像素值構(gòu)成抽頭。如果關(guān)注水平邊界，那么抽頭構(gòu)成部121根據(jù)屬于在上下的兩個(gè)塊的第四和/或第五列的像素值構(gòu)成抽頭。計(jì)算部122將由抽頭構(gòu)成部121構(gòu)成的抽頭賦予確定條件B中的確定表達(dá)式的左手側(cè)，并計(jì)算要與邊緣確定閾值β比較的邊緣值。閾值比較部123將由計(jì)算部122計(jì)算的值與邊緣確定閾值β比較，并將比較結(jié)果輸出至濾波確定部125。

失真評(píng)價(jià)部124使用作為確定信息提供的模式信息(MB模式)、變換系數(shù)信息、以及運(yùn)動(dòng)矢量信息，評(píng)價(jià)上述亮度分量的確定條件A。失真評(píng)價(jià)部124將評(píng)價(jià)結(jié)果輸出至濾波確定部125。失真評(píng)價(jià)部124基于模式信息，僅評(píng)價(jià)色度分量的確定條件A1。

濾波確定部125基于從閾值比較部123提供的確定條件B的比較結(jié)果、和從失真評(píng)價(jià)部124提供的確定條件A的評(píng)價(jià)結(jié)果，確定是否向關(guān)注邊界適用去塊濾波器。濾波確定部125輸出表明確定結(jié)果的信息。

(2-2)水平濾波塊

返回圖15，進(jìn)一步說明去塊濾波器24的配置。水平濾波塊130包含水平濾波部132-1至132-n。水平濾波部132被提供有輸入圖像、和來自確定塊110的關(guān)于每個(gè)垂直邊界的確定結(jié)果。

如果來自垂直邊界確定部112的確定結(jié)果表明需要適用濾波器，水平濾波部132向?qū)?yīng)的垂直邊界周圍左右的像素適用對(duì)于垂直邊界的去塊濾波。對(duì)于被濾波的像素，水平濾波部132向垂直濾波塊140輸出濾波后的像素值，對(duì)于其它像素，水平濾波部132向垂直濾波塊140輸出輸入圖像的像素值。

(2-3)垂直濾波塊

垂直濾波塊140包含垂直濾波部142-1至142-n。垂直濾波部142被提供有輸入圖像和來自確定塊110的關(guān)于每個(gè)水平邊界的確定結(jié)果。

如果來自水平邊界確定部114的確定結(jié)果表明需要適用濾波器，則垂直濾波部142向?qū)?yīng)的水平邊界周圍的上下像素適用對(duì)于水平邊界的去塊濾波。對(duì)于被濾波的像素，垂直濾波部142輸出濾波后的像素值，對(duì)于其它像素，垂直濾波部142輸出從水平濾波塊130提供的像素值。來自每個(gè)垂直濾波部142的輸出可以被包含在來自去塊濾波器24的輸出圖像中。

(2-4)并行化控制部

并行化控制部150控制確定塊110中的濾波需要確定處理的并行度、以及水平濾波塊130和垂直濾波塊140中的濾波處理的并行度。

例如，并行化控制部150可以基于輸入圖像尺寸控制對(duì)于每個(gè)塊的處理的并行度。更具體而言，如果輸入圖像尺寸相對(duì)大，則并行化控制部150增加對(duì)于每個(gè)塊的處理的并行度。這能夠自適應(yīng)地防止由于根據(jù)圖像尺寸增加的處理量造成的延遲或者數(shù)據(jù)碼率劣化。例如，并行化控制部150可以基于序列參數(shù)集、圖畫參數(shù)集、或者含在片頭部的參數(shù)，控制對(duì)于每個(gè)塊的處理的并行度。這能使得根據(jù)開發(fā)裝置的用戶的要求來靈活配置并行度。例如可以根據(jù)諸如處理器核的數(shù)量或者軟件線程的數(shù)量等安裝環(huán)境的限制來配置并行度。

工作例能夠使宏塊之間的處理并行化。這表明任意的在圖像內(nèi)的塊的處理順序?qū)ψ罱K輸出結(jié)果沒有影響。從而，并行化控制部150可以以塊為基礎(chǔ)，控制確定塊110中的濾波需要確定處理的順序、水平濾波塊130和垂直濾波塊140中的濾波處理的順序。

更具體而言，并行化控制部150可以根據(jù)宏塊之間的濾波處理的依賴性，控制濾波處理的順序。根據(jù)現(xiàn)有技術(shù)，例如，片邊界周圍的鄰接宏塊之間的處理的依賴性可能使圖像內(nèi)的每個(gè)片的并行處理延遲。然而，根據(jù)工作例的并行化控制部150能夠先于其它宏塊對(duì)片邊界周圍的鄰接宏塊執(zhí)行濾波處理。

例如，圖17示出片邊界周圍的8個(gè)宏塊MB10至MB13、和MB20至MB23。宏塊MB10至MB13屬于片SL1。宏塊MB20至MB23屬于片SL2。關(guān)于這些宏塊，對(duì)于在片SL2中的宏塊MB20的水平邊界的濾波處理依賴于對(duì)于在片SL1中的宏塊MB12的垂直邊界的濾波處理。類似地，對(duì)于在片SL2中的宏塊MB21的水平邊界的濾波處理依賴于對(duì)于在片SL1中的宏塊MB13的垂直邊界的濾波處理。

在這些條件下根據(jù)圖18的示例，并行化控制部150在對(duì)于片SL1的濾波處理中，優(yōu)先于其它邊界的處理，對(duì)宏塊MB12和MB13的垂直邊界執(zhí)行濾波處理。結(jié)果防止了在對(duì)于片SL2的濾波處理中，對(duì)宏塊MB20和MB21的水平邊界的濾波處理發(fā)生大延遲。圖19的示例最初對(duì)于包含在片SL1中的所有宏塊，對(duì)垂直邊界并行執(zhí)行濾波處理。另外在這種情況下，在片SL2中的宏塊MB20和MB21的水平邊界的濾波處理中不會(huì)發(fā)生延遲。

[3-2.處理流程]

參考圖20至22，對(duì)去塊濾波器24的處理流程進(jìn)行說明。

(1)第一情形

圖20是示出根據(jù)第一情形的去塊濾波器24的處理流程示例的流程圖。第一情形對(duì)應(yīng)于如圖13所示的大的并行度的示例。

參考圖20，垂直邊界確定部112-1至112-n并行確定對(duì)于所有包含在輸入圖像內(nèi)的宏塊的垂直邊界，是否需要濾波(步驟S102)。水平邊界確定部114-1至114-n并行確定對(duì)于所有包含在輸入圖像內(nèi)的宏塊的水平邊界，是否需要濾波(步驟S104)。步驟S102和S104也是并行執(zhí)行的。

水平濾波部132-1至132-n向在步驟S102中確定為要求適用去塊濾波器的所有垂直邊界，并行適用去塊濾波器(步驟S110)。垂直平濾波部142-1至142-n向在步驟S104中確定為要求適用去塊濾波器的所有水平邊界，并行適用去塊濾波器(步驟S120)。

(2)第二情形

圖21是示出根據(jù)第二情形的去塊濾波器24的處理流程示例的流程圖。第二情形對(duì)應(yīng)于如圖14所示的小的并行度的示例。

參考圖21，垂直邊界確定部112-1至112-n并行確定對(duì)于所有包含在輸入圖像內(nèi)的關(guān)注宏塊的垂直邊界，是否需要濾波(步驟S202)。水平邊界確定部114-1至114-n并行確定對(duì)于所有包含在關(guān)注宏塊的水平邊界，是否需要濾波(步驟S204)。步驟S202和S204也是并行執(zhí)行的。

水平濾波部132-1至132-n向在步驟S202中確定為要求適用去塊濾波器的關(guān)注宏塊中的垂直邊界，并行適用去塊濾波器(步驟S210)。

步驟S220的處理針對(duì)在上次循環(huán)中的關(guān)注宏塊?？梢詫?duì)于最先關(guān)注的宏塊跳過步驟S220的處理。垂直平濾波部142-1至142-n向上次循環(huán)中在步驟S204確定為要求適用去塊濾波器的水平邊界，并行適用去塊濾波器(步驟S220)。

如果在輸入圖像中還有關(guān)注的宏塊為未處理，則對(duì)于新關(guān)注的宏塊重復(fù)步驟S202至S220的處理(步驟S230)。

如果沒有未處理的關(guān)注的宏塊，那么垂直濾波部142-1至142-n向最后的循環(huán)的關(guān)注宏塊中確定為要求適用去塊濾波器的水平邊界，并行適用去塊濾波器(步驟S240)。然后處理終止。

雖然已說明了以圖像和宏塊的單位來并行化處理的兩個(gè)典型情形，但兩個(gè)情形只是用于說明的示例。去塊濾波器24的處理可以以諸如給定數(shù)的宏塊(兩個(gè)或者四個(gè)宏塊)、或者一群水平或垂直放置的塊等各種單位并行化。

(3)濾波需要確定處理

圖22是示出對(duì)應(yīng)于圖20的步驟S102和S104、圖21的步驟S202和S204的濾波需要確定處理的流程的流程圖。

參考圖22，失真評(píng)價(jià)部124基于模式信息、變換系數(shù)信息和運(yùn)動(dòng)矢量信息，評(píng)價(jià)每個(gè)邊界的失真(步驟S130)。如果評(píng)價(jià)結(jié)果為存在失真(確定條件A為真)，則處理前進(jìn)至步驟S134。如果評(píng)價(jià)結(jié)果為不存在失真，則處理前進(jìn)至步驟S140(步驟S132)。

在步驟S134，計(jì)算部122基于由抽頭構(gòu)成部121構(gòu)成的參考像素，計(jì)算邊緣值(步驟S134)。閾值比較部123將計(jì)算的值與邊緣確定閾值β比較(步驟S136)。如果邊緣值小于閾值β(確定條件B為真)，則處理前進(jìn)至步驟S138。如果邊緣值不小于閾值β，則處理前進(jìn)至步驟S140。

在步驟S138，濾波確定部125確定向待確定的邊界適用去塊濾波器(步驟S138)。在步驟S140，濾波確定部125確定不向待確定的邊界適用去塊濾波器(步驟S140)。

<4.第二工作例>

第一工作例使用未由對(duì)其它塊的濾波處理更新的像素的像素值，對(duì)給定的塊執(zhí)行濾波需要確定處理。與此相反，下述的第二工作例提供存儲(chǔ)輸入至去塊濾波器的像素值的存儲(chǔ)器，從而使得能消除濾波需要確定處理的限制，并能夠使用更多樣的確定條件。

[4-1.去塊濾波器配置示例]

(1)各部的說明

圖23是示出根據(jù)第二工作例的去塊濾波器24的詳細(xì)配置的框圖。參考圖23，去塊濾波器24包含線存儲(chǔ)器208、確定塊210、水平濾波塊130、垂直濾波塊140、以及并行化控制部150。

線存儲(chǔ)器208存儲(chǔ)用于提供至去塊濾波器24的輸入圖像的像素值。水平濾波塊130和垂直濾波塊140中的濾波處理不更新存儲(chǔ)在線存儲(chǔ)器208中的像素值。由下述的在確定塊210中的各部執(zhí)行的濾波需要確定處理參考存儲(chǔ)在線存儲(chǔ)器208中的像素值。裝置包含用于不同于去塊濾波器24的處理的目的的另一存儲(chǔ)器。該存儲(chǔ)器可以作為線存儲(chǔ)器208而再利用(共享)。

確定塊210包含垂直邊界確定部212-1至212-n、以及水平邊界確定部214-1至214-n。垂直邊界確定部212和水平邊界確定部214被提供有存儲(chǔ)在線存儲(chǔ)器208中的用于輸入至去塊濾波器24的圖像的像素值、和被用于確定需要濾波的確定信息。

垂直邊界確定部212使用輸入至去塊濾波器24的像素值來確定是否對(duì)每個(gè)垂直邊界適用去塊濾波器。垂直邊界確定部212向水平濾波塊130輸出表明有關(guān)每個(gè)垂直邊界的信息的確定結(jié)果。

水平邊界確定部214還使用輸入至去塊濾波器24的像素值來確定是否向每個(gè)水平邊界適用去塊濾波器。水平邊界確定部214與由垂直邊界確定部212執(zhí)行的確定處理并行地執(zhí)行確定處理。水平邊界確定部214向垂直濾波塊140輸出表明有關(guān)每個(gè)水平邊界的確定結(jié)果的信息。

(2)多樣的確定條件

類似于如圖4所示的現(xiàn)有技術(shù)，根據(jù)工作例的垂直邊界確定部212可以參考在塊的第三和第六行的像素，來確定對(duì)每個(gè)塊的垂直邊界濾波的必要性。然而，在這種情況下要參考的像素值存儲(chǔ)在線存儲(chǔ)器208，并屬于輸入至去塊濾波器24的圖像。類似地，水平邊界確定部214可以參考在塊的第三和第六列的像素，來確定每個(gè)塊的水平邊界濾波的必要性。在這種情況下，能夠不用改變對(duì)于安裝在現(xiàn)有裝置的濾波需要確定處理的確定條件而容易地提供根據(jù)工作例的配置。

垂直邊界確定部212可以在確定中參考?jí)K中三行以上的像素。類似地，水平邊界確定部214可以在確定中參考?jí)K中三列以上的像素。垂直邊界確定部212和水平邊界確定部214可以使用不同于現(xiàn)有技術(shù)的確定條件表達(dá)式。參考圖24至26，下面說明根據(jù)工作例的確定技術(shù)的6個(gè)示例。

(2-1)第一示例

圖24是示出確定技術(shù)的第一和第二示例的說明圖。在第一和第二示例中，垂直邊界的濾波需要確定處理(尤其是使用對(duì)于亮度分量的確定條件B的確定)參考每個(gè)塊中的從第一至第八的所有的行L1至L8的像素。水平邊界的濾波需要確定處理也參考每個(gè)塊中的從第一至第八的所有列的像素。

第一示例可以如下定義對(duì)于亮度分量的確定條件。

亮度(Luma)分量的確定條件……如果條件A和B兩者為真，則適用去塊濾波器。

條件A：

(A1)塊Ba或者Bb進(jìn)入幀內(nèi)預(yù)測模式；

(A2)塊Ba或者Bb具有非零正交變換系數(shù)；或者

(A3)|MVAx-MVBx|≥4或者|MVAy-MVBy|≥4

條件B：

iD₀＝|p₂₀-2p₁₀+p₀₀|+|q₂₀-2q₁₀+q₀₀|+|p₂₇-2p₁₇+p₀₇|+|q₂₇-2q₁₇+q₀₇|

iD₁＝|p₂₁-2p₁₁+p₀₁|+|q₂₁-2q₁₁+q₀₁|+|p₂₆-2p₁₆+p₀₆|+|q₂₆-2q₁₆+q₀₆|

iD₂＝|p₂₂-2p₁₂+p₀₂|+|q₂₂-2q₁₂+q₀₂|+|p₂₅-2p₁₅+p₀₅|+|q₂₅-2q₁₅+q₀₅|

iD₃＝|p₂₃-2p₁₃+p₀₃|+|q₂₃-2q₁₃+q₀₃|+|p₂₄-2p₁₄+p₀₄|+|q₂₄-2q₁₄+q₀₄|

iD_ave＝(iD₀+iD₁+iD₂+iD₃)>>2

在該條件下，iD_ave<β

對(duì)于色度分量的確定條件可以與上述現(xiàn)有技術(shù)相同?？梢杂?jì)算加權(quán)平均來計(jì)算對(duì)于4個(gè)確定參數(shù)iD₀至iD₃的平均iD_ave。

(2-2)第二示例

第二示例可以如下定義對(duì)于亮度分量的確定條件B。

條件B：

iD₀＝|p₂₀-2p₁₀+p₀₀|+|q₂₀-2q₁₀+q₀₀|+|p₂₇-2p₁₇+p₀₇|+|q₂₇-2q₁₇+q₀₇|

iD₁＝|p₂₁-2p₁₁+p₀₁|+|q₂₁-2q₁₁+q₀₁|+|p₂₆-2p₁₆+p₀₆|+|q₂₆-2q₁₆+q₀₆|

iD₂＝|p₂₂-2p₁₂+p₀₂|+|q₂₂-2q₁₂+q₀₂|+|p₂₅-2p₁₅+p₀₅|+|q₂₅-2q₁₅+q₀₅|

iD₃＝|p₂₃-2p₁₃+p₀₃|+|q₂₃-2q₁₃+q₀₃|+|p₂₄-2p₁₄+p₀₄|+|q₂₄-2q₁₄+q₀₄|

在該條件下，iD₀<β，且iD₁<β，且iD₂<β，且iD₃<β

計(jì)算4個(gè)確定參數(shù)iD₀至iD₃的方程式與第一示例相同?？捎脳l件是不是4個(gè)確定參數(shù)iD₀至iD₃的全部，而是其中的至少3個(gè)、2個(gè)、或者1個(gè)小于邊緣確定閾值β。

(2-3)第三示例

圖25是示出確定技術(shù)的第三和第四示例的說明圖。在第三和第四示例中，垂直邊界的濾波需要確定處理(尤其是使用對(duì)于亮度分量的確定條件B的確定)參考每個(gè)塊中的4行L1，L3，L6和L8的像素。對(duì)于水平邊界的濾波需要確定處理也參考每個(gè)塊中的4列像素。

第三示例可以如下定義對(duì)于亮度分量的確定條件。

亮度(Luma)分量的確定條件……如果條件A和B兩者為真，則適用去塊濾波器。

條件A：

(A1)塊Ba或者Bb進(jìn)入幀內(nèi)預(yù)測模式；

(A2)塊Ba或者Bb具有非零正交變換系數(shù)；或者

(A3)|MVAx-MVBx|≥4或者|MVAy-MVBy|≥4

條件B：

iD₀＝|p₂₀-2p₁₀+p₀₀|+|q₂₀-2q₁₀+q₀₀|+|p₂₇-2p₁₇+p₀₇|+|q₂₇-2q₁₇+q₀₇|

iD₂＝|p₂₂-2p₁₂+p₀₂|+|q₂₂-2q₁₂+q₀₂|+|p₂₅-2p₁₅+p₀₅|+|q₂₅-2q₁₅+q₀₅|

iD_ave＝(iD₀+iD₂)>>1

在該條件下，iD_ave<β

對(duì)于色度分量的確定條件可以與上述現(xiàn)有技術(shù)相同?？梢杂?jì)算加權(quán)平均來計(jì)算對(duì)于2個(gè)確定參數(shù)iD₀和iD₂的平均iD_ave。

(2-4)第四示例

第四示例可以如下定義對(duì)于亮度分量的確定條件B。

條件B：

iD₀＝|p₂₀-2p₁₀+p₀₀|+|q₂₀-2q₁₀+q₀₀|+|p₂₇-2p₁₇+p₀₇|+|q₂₇-2q₁₇+q₀₇|

iD₂＝|p₂₂-2p₁₂+p₀₂|+|q₂₂-2q₁₂+q₀₂|+|p₂₅-2p₁₅+p₀₅|+|q₂₅-2q₁₅+q₀₅|

在該條件下，iD₀<β，且iD₂<β

計(jì)算2個(gè)確定參數(shù)iD₀和iD₂的方程式與第三示例相同?？捎脳l件是并非2個(gè)確定參數(shù)iD₀和iD₂的全部，而是其中的一個(gè)小于邊緣確定閾值β。

盡管已說明了在確定中參考?jí)K中的第一、第三、第六和第八行(或者列)L1，L3，L6和L8的示例，也可以參考行或者列的其它組合。

(2-5)第五示例

圖26是示出確定技術(shù)的第五和第六示例的說明圖。在第五和第六示例中，對(duì)于垂直邊界的濾波需要確定處理參考每個(gè)塊中的4行L1，L3，L5和L7的像素。對(duì)于水平邊界的濾波需要確定處理也參考每個(gè)塊中的4列像素。

第五示例可以如下定義對(duì)于亮度分量的確定條件。

亮度(Luma)分量的確定條件……如果條件A和B兩者為真，則適用去塊濾波器。

條件A：

(A1)塊Ba或者Bb進(jìn)入幀內(nèi)預(yù)測模式；

(A2)塊Ba或者Bb具有非零正交變換系數(shù)；或者

(A3)|MVAx-MVBx|≥4或者|MVAy-MVBy|≥4

條件B：

iD₀＝|p₂₀-2p₁₀+p₀₀|+|q₂₀-2q₁₀+q₀₀|+|p₂₆-2p₁₆+p₀₆|+|q₂₆-2q₁₆+q₀₆|

iD₂＝|p₂₂-2p₁₂+p₀₂|+|q₂₂-2q₁₂+q₀₂|+|p₂₄-2p₁₄+p₀₄|+|q₂₄-2q₁₄+q₀₄|

iD_ave＝(iD₀+iD₂)>>1

在該條件下，iD_ave<β

對(duì)于色度分量的確定條件可以與上述現(xiàn)有技術(shù)相同?？梢杂?jì)算加權(quán)平均來計(jì)算對(duì)于2個(gè)確定參數(shù)iD₀和iD₂的平均iD_ave。

(2-6)第六示例

第六示例可以定義對(duì)于亮度分量的確定條件B如下。

條件B：

iD₀＝|p₂₀-2p₁₀+p₀₀|+|q₂₀-2q₁₀+q₀₀|+|p₂₆-2p₁₆+p₀₆|+|q₂₆-2q₁₆+q₀₆|

iD₂＝|p₂₂-2p₁₂+p₀₂|+|q₂₂-2q₁₂+q₀₂|+|p₂₄-2p₁₄+p₀₄|+|q₂₄-2q₁₄+q₀₄|

在該條件下，iD₀<β，且iD₂<β

計(jì)算2個(gè)確定參數(shù)iD₀和iD₂的方程式與第五示例相同?？捎脳l件是并非2個(gè)確定參數(shù)iD₀和iD₂中的全部而是其中的一個(gè)小于邊緣確定閾值β。

一般而言，增加用于確定而參考的行和列的數(shù)量會(huì)改善確定精度。因此，參考8行和列的第一和第二示例能夠最小化對(duì)本來不作為適用去塊濾波器的對(duì)象的塊進(jìn)行濾波的可能性、以及本來不作為適用去塊濾波器對(duì)象的的塊進(jìn)行濾波的可能性。結(jié)果改善了待編碼和解碼的圖像的質(zhì)量。另一方面，減少了用于確定的參考的行和列的數(shù)量，能夠降低處理成本。由于在圖像質(zhì)量和處理成本之間要進(jìn)行權(quán)衡，可以取決于裝置的使用或者安裝的限制，可以自適應(yīng)地選擇用于確定而參考的行和列的數(shù)量是有利的?？梢宰赃m應(yīng)地選擇要參考的行和列的組合是有利的。

如第一、第三、和第五示例說明的，可以將確定參數(shù)的平均值iD_ave與邊緣確定閾值β比較，來在沒有對(duì)每行或者列的參數(shù)變化的過度影響下以塊基礎(chǔ)適當(dāng)?shù)貓?zhí)行確定。

[4-2.處理流程]

根據(jù)第二工作例以及第一工作例，去塊濾波器24能夠以不同的并行度運(yùn)行。

在使用大并行度的第一情形中，垂直邊界確定部212-1至212-n并行確定對(duì)于包含在輸入圖像內(nèi)的宏塊的所有垂直邊界，是否需要濾波。水平邊界確定部214-1至214-n并行確定對(duì)于包含在輸入圖像內(nèi)的宏塊的所有水平邊界，是否需要濾波。對(duì)于垂直邊界和水平邊界的確定處理也被并行執(zhí)行。水平濾波部132-1至132-n和垂直濾波部142-1至142-n向確定為要求要適用去塊濾波器的垂直邊界和水平邊界適用去塊濾波器(參見圖20)。

在使用小并行度的第二情形中，垂直邊界確定部212-1至212-n并行確定對(duì)于包含在輸入圖像內(nèi)的一個(gè)關(guān)注宏塊的所有垂直邊界，是否需要濾波。水平邊界確定部214-1至214-n并行確定對(duì)于包含在關(guān)注宏塊的所有水平邊界，是否需要濾波。對(duì)于垂直邊界和水平邊界的確定處理也被并行執(zhí)行。隨后水平濾波部132-1至132-n向確定為要求適用去塊濾波器的垂直邊界，并行適用去塊濾波器。垂直濾波部142-1至142-n向確定為要求適用去塊濾波器的水平邊界，并行適用去塊濾波器。該處理對(duì)輸入圖像內(nèi)的所有宏塊重復(fù)執(zhí)行(參見圖21)。

這兩個(gè)情形只是用于說明的示例。另外在第二工作例中，去塊濾波器24的處理可以以諸如給定數(shù)量的宏塊(二個(gè)或者四個(gè)宏塊)或者例如一群水平或者垂直的放置塊等各種單位并行化。另外在第二工作例以及第一工作例中，并行化控制部150可以控制去塊濾波器24中的處理的并行度和順序。

[4-3.對(duì)于每個(gè)LCU的處理示例

如已經(jīng)提到的，根據(jù)在本說明書中說明的各種工作例的技術(shù)可以被提供作為基于HEVC編碼單位(CU)的處理。根據(jù)HEVC，具有最大的尺寸的編碼單位被稱為最大編碼單位(LCU)，例如可以選擇為64×64像素。最小可選擇的CU尺寸是8×8像素。通常，依據(jù)從在圖畫(或者片)的左上的LCU的光柵掃描順序，對(duì)應(yīng)于每個(gè)LCU，圖像被編碼并解碼。下面說明對(duì)應(yīng)于去塊濾波器24中的LCU的處理示例。

圖27是示出根據(jù)上述第二工作例的對(duì)于每個(gè)LCU的處理順序的說明圖。示例假定LCU尺寸為16×16像素，且CU尺寸為8×8像素。

參考圖27，第一階段示出在附圖的左上，并表明LCU的濾波已經(jīng)完成至第(n-1)個(gè)LCU。陰影的像素是作為垂直邊界的濾波的對(duì)象。填充像素是作為水平邊界的濾波的對(duì)象。

在圖27的右上的用于第二階段的處理、和在其左下的用于第三階段的處理以第n個(gè)LCU為對(duì)象的。在第二階段前，輸入至去塊濾波器24的像素值被用于對(duì)屬于第n個(gè)LCU的所有垂直邊界和水平邊界并行執(zhí)行濾波需要確定處理。在第二階段中，輸入至去塊濾波器24的像素值被用于對(duì)屬于第n個(gè)LCU并確定為要求適用去塊濾波器的垂直邊界并行執(zhí)行濾波處理。在第二階段被處理的像素值隨后被用于對(duì)屬于第n個(gè)LCU并確定為要求適用去塊濾波器的水平邊界并行執(zhí)行濾波處理。

在圖27的右下的第四階段的處理是以第(n+1)個(gè)LCU為對(duì)象的。在第四階段中，在對(duì)屬于第(n+1)個(gè)LCU的所有垂直邊界和水平邊界并行執(zhí)行濾波需要確定處理后，對(duì)確定為要求適用去塊濾波器的垂直邊界并行執(zhí)行濾波處理。

盡管示例中假定LCU尺寸為16×16像素，也可以設(shè)定為32×32或者64×64像素。因?yàn)樵黾右x擇的LCU的尺寸也增加了屬于一個(gè)LCU的垂直邊界和水平邊界的數(shù)量，所以根據(jù)并行化而縮短處理時(shí)間的效果被進(jìn)一步改善。

圖28是示出對(duì)于每個(gè)LCU的去塊濾波器24的處理流程的流程圖。

參考圖28，垂直邊界確定部212-1至212-n并行確定對(duì)于包含在輸入圖像內(nèi)的關(guān)注LCU的所有垂直邊界，是否需要濾波(步驟S252)。水平邊界確定部214-1至214-n并行確定對(duì)于包含在關(guān)注LCU的所有水平邊界，是否需要濾波(步驟S254)。步驟S252和S254也是并行執(zhí)行的。

水平濾波部132-1至132-n向在步驟S252中確定為要求適用去塊濾波器的關(guān)注LCU中的垂直邊界，并行適用去塊濾波器(步驟S260)。

垂直濾波部142-1至142-n向在步驟S254中確定為要求適用去塊濾波器的關(guān)注LCU中的水平邊界，并行適用去塊濾波器(步驟S270)。

如果在輸入圖像中還有關(guān)注的LCU為未處理(步驟S280)，則對(duì)于新關(guān)注的LCU重復(fù)步驟S252至S270的處理。如果沒有LCU未處理，那么處理終止。

<5.第三工作例>

[5-1.概要]

根據(jù)第二工作例，對(duì)垂直邊界和水平邊界的濾波需要確定處理參考輸入至去塊濾波器的像素值，因而消除了濾波需要確定處理之間的依賴性，并使確定處理的并行化成為可能。下述的第三工作例將第二工作例的概念也適用到濾波處理。對(duì)于垂直邊界和水平邊界的濾波處理還對(duì)輸入至去塊濾波器的像素值濾波。

圖29是示出該工作例的概要的說明圖。在圖29的左下示出代表在被去塊濾波處理之前的輸入像素(也被稱為重構(gòu)像素)的形狀。工作例使得能夠不僅從對(duì)于垂直邊界和水平邊界的濾波需要確定處理參考輸入至去塊濾波的像素值，而且從對(duì)于垂直邊界的濾波處理和對(duì)于水平邊界的濾波處理參考輸入至去塊濾波的像素值。因此，兩個(gè)濾波處理之間的依賴性被消除。兩個(gè)濾波處理被并行執(zhí)行。

對(duì)于垂直邊界的濾波處理和對(duì)于水平邊界的濾波處理可以更新重復(fù)像素的值。圖29的被填充像素示出可能是重復(fù)像素的位置。根據(jù)工作例的去塊濾波器對(duì)于由兩個(gè)并行運(yùn)行的濾波器重復(fù)更新的像素，根據(jù)兩個(gè)濾波器輸出計(jì)算一個(gè)輸出像素值。

[5-2.去塊濾波配置示例]

圖30是示出根據(jù)第三工作例的去塊濾波器24的詳細(xì)配置的框圖。參考圖30，去塊濾波器24包含線存儲(chǔ)器208、確定塊210、水平濾波塊330、垂直濾波塊340、并行化控制部150、計(jì)算部360。確定塊210包含垂直邊界確定部212-1至212-n、以及水平邊界確定部214-1至214-n。垂直邊界確定部212和水平邊界確定部214可以根據(jù)第二工作例中說明的各種確定條件，確定對(duì)邊界濾波的必要性。

水平濾波塊330包含水平濾波部332-1至332-n。水平濾波部332被提供有來自線存儲(chǔ)器208的輸入圖像值和來自確定塊210的關(guān)于每個(gè)垂直邊界的確定結(jié)果。

如果來自垂直邊界確定部212的確定結(jié)果表明需要適用濾波器，則水平濾波部332向?qū)?yīng)的垂直邊界周圍的左右像素適用對(duì)于垂直邊界的去塊濾波器。對(duì)于被濾波的像素，水平濾波部332向計(jì)算部360輸出濾波后的像素值，而對(duì)于其它像素，水平濾波部332向計(jì)算部360輸出輸入像素值。

垂直濾波塊340包含垂直濾波部342-1至342-n。垂直濾波部342被提供有來自線存儲(chǔ)器208的輸入像素值和來自確定塊210的關(guān)于每個(gè)水平邊界的確定結(jié)果。

如果來自水平邊界確定部214的確定結(jié)果表明需要適用濾波器，則垂直濾波部342向?qū)?yīng)的水平邊界周圍的上下像素適用對(duì)于水平邊界的去塊濾波器。垂直濾波部342-1至342-n的濾波處理并行于水平濾波部332-1至332-n的濾波處理執(zhí)行。對(duì)于被濾波的像素，垂直濾波部342向計(jì)算部360輸出濾波后的像素值，而對(duì)于其它像素，垂直濾波部342向計(jì)算部360輸出輸入像素值。

計(jì)算部360被并行提供有來自水平濾波塊330的輸出像素值和來自垂直濾波塊340的輸出像素值。此外，計(jì)算部360被提供有來自垂直邊界確定部212和水平邊界確定部214的確定結(jié)果。根據(jù)確定結(jié)果，計(jì)算部360基于來自水平濾波塊330和垂直濾波塊340的濾波器輸出，對(duì)由水平濾波塊330和垂直濾波塊340濾波的像素計(jì)算輸出像素值。

根據(jù)工作例，例如計(jì)算部360對(duì)于被重復(fù)濾波的像素，計(jì)算兩個(gè)濾波器輸出的平均。計(jì)算部360可以計(jì)算兩個(gè)濾波器輸出的簡單平均。作為替代，計(jì)算部360可以計(jì)算兩個(gè)濾波器輸出的加權(quán)平均。例如，計(jì)算部360可以根據(jù)從每個(gè)像素到垂直邊界和到水平邊界的距離，確定用于像素的加權(quán)平均的權(quán)重。

圖31是示出對(duì)于由計(jì)算部360計(jì)算的加權(quán)平均的權(quán)重的確定的說明圖。圖31示出關(guān)注的像素P_Z為黑色，對(duì)應(yīng)于圖29所示的一個(gè)重復(fù)位置。對(duì)應(yīng)于關(guān)注的像素P_Z與最接近的垂直邊界V_Z之間的距離D_V有三個(gè)像素。對(duì)應(yīng)于關(guān)注的像素P_Z與并最接近的水平邊界H_Z之間的距離D_H有兩個(gè)像素。距離D_H小于距離D_V。在這種情況下，計(jì)算部360可以設(shè)定為來自適用于水平邊界H_Z的去塊濾波器的輸出的加權(quán)大于來自適用于垂直邊界V_Z的去塊濾波器的輸出的加權(quán)。圖31的示例假定垂直邊界V_Z的濾波器輸出V_out相對(duì)于水平邊界H_Z的濾波器輸出H_out的比率為2：3。

如圖31所示，計(jì)算兩個(gè)濾波器輸出的加權(quán)平均能夠給每個(gè)關(guān)注的像素提供類似于適用具有沿著水平方向的濾波抽頭和沿著垂直方向的濾波抽頭的一個(gè)二維濾波器的情況的輸出像素值。對(duì)垂直邊界和水平邊界使濾波處理并行化還可以適當(dāng)減小在垂直邊界和水平邊界出現(xiàn)的塊失真。作為另一工作例，去塊濾波器24可以包含同時(shí)計(jì)算水平濾波、垂直濾波、和加權(quán)平均的一個(gè)二維濾波器。然而在這種情況下，安裝非常復(fù)雜，因?yàn)闉V波系數(shù)需要對(duì)應(yīng)于像素進(jìn)行各種改變。另一方面，第三工作例并行執(zhí)行兩個(gè)一維濾波器，隨后計(jì)算加權(quán)平均。這能夠容易地提供實(shí)質(zhì)相當(dāng)于二維濾波器的處理，并保證現(xiàn)有去塊濾波的功能。

圖32是示出用于基于圖31的示例計(jì)算的加權(quán)平均的權(quán)重的示例的說明圖。圖32示出垂直邊界和水平邊界之間的一個(gè)交點(diǎn)周圍的36個(gè)像素(6×6)。像素對(duì)應(yīng)于上述重復(fù)的位置。對(duì)于位于距垂直邊界和水平邊界起等距的像素，濾波器輸出V_out的權(quán)重相對(duì)于濾波器輸出H_out的權(quán)重的比率是1：1(2：2或者3：3)。對(duì)于更接近垂直邊界的像素，濾波器輸出V_out的權(quán)重大于濾波器輸出H_out的權(quán)重。例如，像素P₁的權(quán)重的比率是V_out：H_out＝3：1。對(duì)于更接近水平邊界的像素，濾波器輸出V_out的權(quán)重小于濾波器輸出H_out的權(quán)重。例如，像素P₂的權(quán)重的比率是V_out：H_out＝1：3。

通過根據(jù)每個(gè)像素和邊界之間的距離來改變用于加權(quán)平均的權(quán)重，可以更有效地抑制塊失真并可以改善圖像質(zhì)量。

上述權(quán)重只是示例。例如，計(jì)算部360可以根據(jù)對(duì)應(yīng)于每個(gè)像素的垂直邊界和水平邊界的邊緣強(qiáng)度，代替每個(gè)像素和邊界之間的距離或者在每個(gè)像素和邊界之間的距離之外，確定用于像素的加權(quán)平均的權(quán)重。邊緣強(qiáng)度可以由諸如由如圖16所示的計(jì)算部122計(jì)算的邊緣值等參數(shù)代表。在這種情況下，具有較強(qiáng)邊緣的邊界的濾波輸出的權(quán)重可以設(shè)定為大于具有較弱邊緣的邊界的濾波輸出的權(quán)重。根據(jù)邊緣強(qiáng)度來改變加權(quán)的加權(quán)平均，可以自適應(yīng)地改善在顯著造成塊失真的邊界的去塊濾波器的效果。

計(jì)算部360對(duì)于由水平濾波塊330和垂直濾波塊340之一濾波的像素，選擇來自實(shí)際上濾波的塊的輸出。計(jì)算部360對(duì)于沒有由水平濾波塊330或者垂直濾波塊340濾波的像素，將要輸出的輸入像素值直接輸出至去塊濾波器24。圖33的表格根據(jù)是否要求濾波的確定的結(jié)果，將來自計(jì)算部360的輸出像素值列于表上。

[5-3.處理順序示例]

下面說明根據(jù)工作例的可用于去塊濾波器24的處理順序的兩個(gè)示例。示例還假定了去塊濾波器被提供有32×32像素的尺寸的圖像。輸入圖像包含四個(gè)宏塊MB0至MB3，每個(gè)具有16×16像素的尺寸。

(1)第一示例

為了比較，圖34示出對(duì)垂直邊界的濾波處理和對(duì)水平邊界的濾波處理之間保持了依賴性的處理順序。圖34的處理順序?qū)嵸|(zhì)相當(dāng)于根據(jù)第一工作例的圖13的處理順序。在圖34中，第一步驟對(duì)所有4個(gè)宏塊MB0至MB3的所有垂直邊界和所有水平邊界并行執(zhí)行濾波需要確定處理J_V0,0至J_V3,3和J_H0,0至J_H3,3。第二步驟對(duì)4個(gè)宏塊的MB0至MB3的16個(gè)垂直邊界執(zhí)行濾波處理F_V0,0至F_V3,3。第三步驟對(duì)4個(gè)宏塊的MB0至MB3的16個(gè)水平邊界執(zhí)行濾波處理F_H0,0至F_H3,3。第四步驟(圖13中省略)將對(duì)水平邊界的濾波處理后的像素值存儲(chǔ)在用于來自去塊濾波器24的輸出的存儲(chǔ)器。

圖35示出由工作例提供的處理順序的第一示例。在圖35中，第一步驟對(duì)4個(gè)宏塊MB0至MB3的所有垂直邊界和所有水平邊界并行執(zhí)行濾波需要確定處理J_V0,0至J_V3,3和J_H0,0至J_H3,3。第二步驟對(duì)4個(gè)宏塊的所有垂直邊界和水平邊界MB0至MB3并行執(zhí)行濾波處理F_V0,0至F_V3,3和F_H0,0至F_H3,3。實(shí)際上，第二步驟僅對(duì)確定為要求濾波的邊界進(jìn)行濾波。第三步驟將像素值存儲(chǔ)在用于來自去塊濾波器24的輸出的存儲(chǔ)器。對(duì)于由水平濾波塊330和垂直濾波塊340濾波的像素，可以計(jì)算兩個(gè)濾波器輸出的加權(quán)平均作為輸出像素值。

(2)第二示例

第一示例使并行度最大化，而根據(jù)第二示例的去塊濾波器24還能夠?qū)τ诿總€(gè)宏塊執(zhí)行處理。

為了比較，圖36示出對(duì)垂直邊界的濾波處理和對(duì)水平邊界的濾波處理之間保持了依賴性時(shí)，對(duì)于每個(gè)宏塊的處理順序。圖36的處理順序?qū)嵸|(zhì)相當(dāng)于根據(jù)第一工作例的圖14的處理順序。圖36明確示出了將像素值存儲(chǔ)在用于輸出的存儲(chǔ)器、并為了簡潔起見從圖14中省略的4個(gè)處理步驟(第6、第10、第14和第16)。包含4個(gè)處理步驟的16個(gè)處理步驟構(gòu)成為圖36中的處理。

圖37示出由工作例提供的處理順序的第二示例。在圖37中，第一步驟對(duì)宏塊MB0的4個(gè)垂直邊界和4個(gè)水平邊界并行執(zhí)行濾波需要確定處理J_V0,0至J_V0,3和J_H0,0至J_H0,3。第二步驟對(duì)宏塊的4個(gè)垂直邊界和4個(gè)水平邊界MB0并行執(zhí)行濾波處理F_V0,0至F_V0,3和F_H0,0至F_H0,3。第三步驟將宏塊MB0像素值存儲(chǔ)在用于來自去塊濾波器24的輸出的存儲(chǔ)器。對(duì)于由兩個(gè)濾波器重復(fù)濾波的像素，可以計(jì)算兩個(gè)濾波器輸出的加權(quán)平均作為輸出像素值。第4至第6步驟類似地處理宏塊MB1。第7至第9步驟類似地處理宏塊MB2。第10至第12步驟類似地處理宏塊MB3。圖37中的處理包含12個(gè)處理步驟，少于圖36的處理。

第三工作例消除對(duì)于垂直邊界的濾波處理和對(duì)于水平邊界的濾波處理之間的依賴性。去塊濾波器24的處理能夠使用比用于第一、和第二工作例更少的處理步驟來執(zhí)行。允許濾波處理僅參考輸入至去塊濾波器的像素的一個(gè)優(yōu)點(diǎn)是，濾波器抽頭的任何配置都不會(huì)在對(duì)于垂直邊界的濾波處理和對(duì)于水平邊界的濾波處理之間產(chǎn)生依賴性。通過使用比現(xiàn)有技術(shù)更多的像素來配置濾波器抽頭，第三工作例可以改善圖像質(zhì)量。例如，如參考圖7說明的對(duì)于每個(gè)邊界的每側(cè)，現(xiàn)有技術(shù)使用三個(gè)像素的濾波器抽頭。即使對(duì)每個(gè)邊界使用了5個(gè)像素以上的濾波器抽頭，工作例在處理之間也不會(huì)產(chǎn)生依賴性。即便進(jìn)一步減少作為去塊濾波器的處理單位的塊尺寸，在處理之間也不會(huì)產(chǎn)生依賴性。

另外在第三工作例以及第一和第二工作例中，并行化控制部150可以控制去塊濾波器24中的處理的并行度和順序。

[5-4.處理流程]

圖38是示出根據(jù)第三工作例的對(duì)于去塊濾波器的處理流程的示例的流程圖。圖39是示出圖38所示的像素值計(jì)算處理的流程的流程圖。

參考圖38，垂直邊界確定部212-1至212-n并行確定對(duì)于輸入圖像或者宏塊內(nèi)的所有垂直邊界，是否需要濾波(步驟S302)。水平邊界確定部214-1至214-n并行確定對(duì)于輸入圖像的或者宏塊內(nèi)的所有水平邊界，是否需要濾波(步驟S304)。步驟S302和S304也是并行執(zhí)行的。

水平濾波部332-1至332-n向在步驟S302中確定為要求適用去塊濾波器的所有垂直邊界，并行適用去塊濾波器(步驟S306)。垂直濾波部342-1至342-n向在步驟S304中確定為要求適用去塊濾波器的所有水平邊界，并行適用去塊濾波器(步驟S308)。步驟S306和S308也是并行執(zhí)行的。

然后計(jì)算部360執(zhí)行如圖39所示的像素值計(jì)算處理(步驟S310)。參考圖39，從步驟S314至步驟S326的處理對(duì)于每個(gè)要處理的像素循環(huán)(步驟S312)。

在步驟S314，計(jì)算部360確定垂直邊界和水平邊界的兩個(gè)濾波器是否已將關(guān)注的像素進(jìn)行了濾波(步驟S314)。如果兩個(gè)濾波器已將關(guān)注的像素進(jìn)行了濾波，那么處理前進(jìn)至步驟S322。如果兩個(gè)濾波器尚未將關(guān)注的像素進(jìn)行了波，那么處理前進(jìn)至步驟S316。

在步驟S316，計(jì)算部360確定垂直邊界和水平邊界的兩個(gè)濾波器中之一是否已將關(guān)注的像素進(jìn)行了濾波(步驟S316)。如果兩個(gè)濾波器中之一已將關(guān)注的像素進(jìn)行了濾波，那么處理前進(jìn)至步驟S320。如果兩個(gè)濾波器都沒有將關(guān)注的像素進(jìn)行濾波，那么處理前進(jìn)至步驟S318。

在步驟S318，計(jì)算部360獲取對(duì)去塊濾波器24的輸入像素值(步驟S318)。在步驟S320，計(jì)算部360獲取來自實(shí)際上對(duì)關(guān)注像素濾波的濾波器的濾波器輸出(步驟S320)。

在步驟S322，計(jì)算部360根據(jù)從關(guān)注像素到垂直邊界和水平邊界的距離、或者對(duì)應(yīng)于關(guān)注像素的垂直邊界和水平邊界的邊緣強(qiáng)度，確定計(jì)算關(guān)于關(guān)注像素的用于來自兩個(gè)濾波器的濾波器輸出的加權(quán)平均的權(quán)重值(步驟S322)。計(jì)算部360使用確定的權(quán)重，計(jì)算來自兩個(gè)濾波器的濾波器輸出的加權(quán)平均(步驟S324)。

計(jì)算部360將關(guān)注像素的像素值存儲(chǔ)在存儲(chǔ)器中，其中像素值是在步驟S318或者S320中獲取的，或者在步驟S324中計(jì)算的(步驟S326)。當(dāng)對(duì)所有待處理的像素執(zhí)行處理時(shí)，圖38和39所示的一系列處理終止。

<6.應(yīng)用于各種編解碼器>

根據(jù)本公開的技術(shù)能夠適用于與圖像編碼和解碼相關(guān)的各種編解碼器。下面說明將根據(jù)本公開的技術(shù)適用于多視圖編解碼器和可擴(kuò)展編解碼器的示例。

[6-1.多視圖編解碼器]

多視圖編解碼器是對(duì)多視角的視頻進(jìn)行編碼和解碼的圖像編碼系統(tǒng)。圖40是示出多視圖編解碼器的說明圖。圖40示出在三個(gè)觀察點(diǎn)捕獲的三個(gè)視圖的幀的序列。每個(gè)視圖被提供有視圖ID(view_id)。這些視圖之一被指定為基本視圖。基本視圖以外的視圖被稱為非基本視圖。圖40的示例表示視圖ID為“0”的基本視圖和視圖ID為“1”或者“2”的兩個(gè)非基本視圖。通過基于有關(guān)基本視圖的幀的編碼信息來將非基本視圖的幀進(jìn)行編碼，將多視圖圖像數(shù)據(jù)編碼可以將作為整體的編碼流的數(shù)據(jù)尺寸壓縮。

在根據(jù)上述的多視圖編解碼器的編碼處理和解碼處理中，去塊濾波器可以適用于每個(gè)視圖。當(dāng)去塊濾波器被適用于每個(gè)視圖時(shí)，在垂直塊邊界和水平塊邊界的對(duì)每個(gè)視圖的濾波需要確定處理可以基于根據(jù)本公開的技術(shù)而并行化。對(duì)于每個(gè)視圖的濾波需要確定處理和濾波處理可以并行化?？梢詫?duì)每個(gè)視圖提供控制濾波需要確定處理或者濾波處理的參數(shù)(諸如在之前段落0094中說明的一個(gè))。提供給基本視圖的參數(shù)可以重新用于非基本視圖。

濾波需要確定處理或者濾波處理可以在多個(gè)視圖上并行化。視圖可以共享控制濾波需要確定處理或者濾波處理的參數(shù)(諸如在之前段落0094中說明的一個(gè))。追加指定表明視圖是否共享參數(shù)的標(biāo)志可以是有利的。

圖41是示出適用于上述多視圖編解碼器的圖像編碼處理的說明圖。圖41示出多視圖編碼設(shè)備710的配置作為一個(gè)示例。多視圖編碼設(shè)備710包含第一編碼部720、第二編碼部730和復(fù)用部740。

第一編碼部720將基本視圖圖像編碼，并產(chǎn)生基本視圖的編碼流。第二編碼部730將非基本視圖圖像編碼，并產(chǎn)生非基本視圖的編碼流。復(fù)用部740將從第一編碼部720產(chǎn)生的基本視圖的編碼流、和從第二編碼部730產(chǎn)生的非基本視圖的一個(gè)或多個(gè)編碼流復(fù)用，以產(chǎn)生多視圖的復(fù)用的流。

圖41所示的第一編碼部720和第二編碼部730配置得類似于根據(jù)上述實(shí)施例的圖像編碼設(shè)備10。向視圖適用去塊濾波器能使對(duì)于垂直塊邊界和水平塊邊界的濾波需要確定處理并行化、或者濾波需要確定處理和濾波處理并行化?？刂七@些處理的參數(shù)可以插入至每個(gè)視圖的編碼流的頭部區(qū)，或者至復(fù)用流中的公共頭部區(qū)。

圖42是示出適用于上述多視圖編解碼器的圖像解碼處理的說明圖。圖42示出多視圖解碼設(shè)備760的配置作為一個(gè)示例。多視圖解碼設(shè)備760包含解復(fù)用部770、第一解碼部780和第二解碼部790。

解復(fù)用部770將多視圖的復(fù)用流解復(fù)用為基本視圖的編碼流、和一個(gè)或多個(gè)非基本視圖的編碼流。第一解碼部780根據(jù)基本視圖的編碼流將基本視圖圖像解碼。第二解碼部790根據(jù)非基本視圖的編碼流將非基本視圖圖像解碼。

圖42所示的第一解碼部780和第二解碼部790配置得類似于根據(jù)上述實(shí)施例的圖像解碼設(shè)備60。向視圖適用去塊濾波器能使對(duì)于垂直塊邊界和水平塊邊界的濾波需要確定處理并行化、或者濾波需要確定處理和濾波處理并行化。控制這些處理的參數(shù)可以從每個(gè)視圖的編碼流程的頭部區(qū)、或者從復(fù)用流中的公共頭部區(qū)獲取。

[6-2.可擴(kuò)展編解碼器]

可擴(kuò)展編解碼器是提供分層編碼的圖像編碼系統(tǒng)。圖43是示出可擴(kuò)展編解碼器的說明圖。圖43示出對(duì)于不同的空間分辨率、時(shí)間分辨率、或者圖像質(zhì)量的三層的幀序列。每個(gè)層被提供有層ID(layer_id)。這些層包含具有最低分辨率(或者圖像質(zhì)量)的基本層?；緦右酝獾膶颖环Q為增強(qiáng)層。圖43的示例表示層ID為“0”的基本層和層ID為“1”或者“2”的兩個(gè)增強(qiáng)層。通過基于有關(guān)基本層的幀的編碼信息來將增強(qiáng)層的幀編碼，將多層圖像數(shù)據(jù)編碼可以將作為整體的編碼流的數(shù)據(jù)尺寸壓縮。

在根據(jù)上述的可擴(kuò)展編解碼器的編碼處理和解碼處理中，去塊濾波可以適用于每個(gè)層。當(dāng)去塊濾波被適用于每個(gè)層時(shí)，對(duì)垂直塊邊界和水平塊邊界的每個(gè)層的濾波需要確定處理可以基于根據(jù)本公開的技術(shù)而并行化。對(duì)于每個(gè)層的濾波需要確定處理和濾波處理可以并行化。可以對(duì)每個(gè)層提供控制濾波需要確定處理或者濾波處理的參數(shù)(諸如在之前段落0094中說明的一個(gè))。提供給基本層的參數(shù)可以重新用于增強(qiáng)層。

濾波需要確定處理或者濾波處理可以在多個(gè)層上并行化。多個(gè)層可以共享控制濾波需要確定處理或者濾波處理的參數(shù)(諸如在之前段落0094中說明的一個(gè))。追加指定表明層是否共享參數(shù)的標(biāo)志可以是有利的。

圖44是示出適用于上述可擴(kuò)展編解碼器的圖像編碼處理的說明圖。圖44示出可擴(kuò)展編碼設(shè)備810的配置作為一個(gè)示例?？蓴U(kuò)展編碼設(shè)備810包含第一編碼部820、第二編碼部830和復(fù)用部840。

第一編碼部820將基本層圖像編碼，并產(chǎn)生基本層的編碼流。第二編碼部830將增強(qiáng)層圖像編碼，并產(chǎn)生增強(qiáng)層的編碼流。復(fù)用部840將從第一編碼部820產(chǎn)生的基本層的編碼流、和從第二編碼部830產(chǎn)生的增強(qiáng)層的一個(gè)或多個(gè)編碼流復(fù)用，以產(chǎn)生多層的復(fù)用流。

圖44所示的第一編碼部820和第二編碼部830配置得類似于根據(jù)上述實(shí)施例的圖像編碼設(shè)備10。向各層適用去塊濾波器能使對(duì)于垂直塊邊界和水平塊邊界的濾波需要確定處理并行化、或者濾波需要確定處理和濾波處理并行化。控制這些處理的參數(shù)可以插入至每個(gè)層的編碼流的頭部區(qū)、或者至復(fù)用流中的公共頭部區(qū)。

圖45是示出適用于上述可擴(kuò)展編解碼器的圖像解碼處理的說明圖。圖45示出可擴(kuò)展解碼設(shè)備860的配置作為一個(gè)示例。可擴(kuò)展解碼設(shè)備860包含解復(fù)用部870、第一解碼部880和第二解碼部890。

解復(fù)用部870將多層的復(fù)用流解復(fù)用為基本層的編碼流、和一個(gè)或多個(gè)增強(qiáng)層的編碼流。第一解碼部880根據(jù)基本層的編碼流將基本層圖像解碼。第二解碼部890根據(jù)增強(qiáng)層的編碼流將增強(qiáng)層圖像解碼。

圖45所示的第一解碼部880和第二解碼部890配置得類似于根據(jù)上述實(shí)施例的圖像解碼設(shè)備60。向各層適用去塊濾波器能使對(duì)于垂直塊邊界和水平塊邊界的濾波需要確定處理并行化、或者濾波需要確定處理和濾波處理并行化?？刂七@些處理的參數(shù)可以從每個(gè)層的編碼流的頭部區(qū)、或者從復(fù)用流中的公共頭部區(qū)獲取。

<7.示例應(yīng)用>

根據(jù)上述實(shí)施例的圖像編碼設(shè)備10和圖像解碼設(shè)備60可以適用于各種電子電器，諸如衛(wèi)星廣播、有線電視等有線廣播、互聯(lián)網(wǎng)上的發(fā)布、經(jīng)由蜂窩通信至終端的發(fā)布等的發(fā)射機(jī)和接收機(jī)，在諸如光盤、磁盤或者閃存存儲(chǔ)器等介質(zhì)上記錄圖像的記錄設(shè)備，從這樣的存儲(chǔ)介質(zhì)再現(xiàn)圖像的再現(xiàn)設(shè)備等。下面說明4個(gè)示例應(yīng)用。

[71.第一示例應(yīng)用]

圖46是示出采用上述的實(shí)施例的電視的概要配置的示例的框圖。電視900包含天線901、調(diào)諧器902、解復(fù)用器903、解碼器904、視頻信號(hào)處理部905、顯示部906、音頻信號(hào)處理部907、揚(yáng)聲器908、外部接口909、控制部910、用戶接口911和總線912。

調(diào)諧器902從經(jīng)由天線901接收的廣播信號(hào)提取期望的頻道的信號(hào)，并將提取的信號(hào)解調(diào)。然后，調(diào)諧器902將由解調(diào)獲得的編碼比特流輸出至解復(fù)用器903。調(diào)諧器902用作電視900的傳輸裝置，用于接收圖像被編碼的編碼流。

解復(fù)用器903從編碼的比特流分離出要觀看的節(jié)目的視頻流和音頻流，并將已被分離的每個(gè)流輸出至解碼器904。另外，解復(fù)用器903從編碼的比特流提取諸如EPG(電子節(jié)目指南)等輔助數(shù)據(jù)，并將提取的數(shù)據(jù)提供給控制部910。此外，在編碼的比特流被加擾的情況下，解復(fù)用器903可以執(zhí)行解擾。

解碼器904將從解復(fù)用器903輸入的視頻流和音頻流解碼。然后，解碼器904將由解碼處理產(chǎn)生的視頻數(shù)據(jù)輸出至視頻信號(hào)處理部905。另外，解碼器904將由解碼處理產(chǎn)生的音頻數(shù)據(jù)輸出至音頻信號(hào)處理部907。

視頻信號(hào)處理部905將從解碼器904輸入的視頻數(shù)據(jù)再現(xiàn)，并使顯示部906顯示視頻。視頻信號(hào)處理部905還可以使顯示部906顯示經(jīng)由網(wǎng)絡(luò)提供的應(yīng)用屏幕。此外，視頻信號(hào)處理部905可以執(zhí)行例如根據(jù)設(shè)定對(duì)視頻數(shù)據(jù)去除噪聲等附加的處理。此外，視頻信號(hào)處理部905可以產(chǎn)生例如菜單、按鈕、光標(biāo)等GUI(圖形用戶界面)的圖像，并將產(chǎn)生的圖像疊加在輸出圖像。

顯示部906由視頻信號(hào)處理部905提供的驅(qū)動(dòng)信號(hào)驅(qū)動(dòng)，并在顯示設(shè)備的視頻屏幕(例如液晶顯示器、等離子體顯示器、OLED等)上顯示視頻或者圖像。

音頻信號(hào)處理部907對(duì)從解碼器904輸入的音頻數(shù)據(jù)執(zhí)行如D/A轉(zhuǎn)換和放大等再現(xiàn)處理，并從揚(yáng)聲器908輸出音頻。另外，音頻信號(hào)處理部907可以對(duì)音頻數(shù)據(jù)執(zhí)行諸如去除噪聲等附加處理。

外部接口909是用于連接電視900和外部電器或者網(wǎng)絡(luò)的接口。例如，經(jīng)由外部接口909接收的視頻流或者音頻流可以由解碼器904解碼。即，外部接口909也用作電視900的傳輸裝置，用于接收圖像被編碼的編碼流。

控制部910包含諸如CPU(中央處理單位)等處理器和諸如RAM(隨機(jī)存取存儲(chǔ)器)、ROM(只讀存儲(chǔ)器)等存儲(chǔ)器。存儲(chǔ)器存儲(chǔ)要由CPU執(zhí)行的程序、程序數(shù)據(jù)、EPG數(shù)據(jù)、經(jīng)由網(wǎng)絡(luò)獲取的數(shù)據(jù)等。例如在電視900啟動(dòng)時(shí)，存儲(chǔ)在存儲(chǔ)器的程序被CPU讀出并執(zhí)行。CPU根據(jù)從用戶接口911輸入的操作信號(hào)，例如通過執(zhí)行程序來控制電視900的運(yùn)行。

用戶接口911被連接至控制部910。用戶接口911例如包含由用戶用于操作電視900的按鈕和開關(guān)、以及用于遙控信號(hào)的接收部。用戶接口911經(jīng)由這些構(gòu)成要素檢測用戶的操作，產(chǎn)生操作信號(hào)，并將產(chǎn)生的操作信號(hào)輸出至控制部910。

總線912將調(diào)諧器902、解復(fù)用器903、解碼器904、視頻信號(hào)處理部905、音頻信號(hào)處理部907、外部接口909和控制部910互相連接。

在以該方式配置的電視900中，解碼器904具有根據(jù)上述實(shí)施例的圖像解碼設(shè)備60的功能。從而，在電視900中的圖像解碼的情況下，也可以增強(qiáng)去塊濾波器處理的并行度，并保證高速處理。

[7-2.第二示例應(yīng)用]

圖47是示出采用上述的實(shí)施例的移動(dòng)電話的概要配置的示例的框圖。移動(dòng)電話920包含天線921、通信部922、音頻編解碼器923、揚(yáng)聲器924、麥克風(fēng)925、相機(jī)部926、圖像處理部927、解復(fù)用部928、記錄/再現(xiàn)部929、顯示部930、控制部931、操作部932和總線933。

天線921被連接至通信部922。揚(yáng)聲器924和麥克風(fēng)925被連接至音頻編解碼器923。操作部932被連接至控制部931?？偩€933將通信部922、音頻編解碼器923、相機(jī)部926、圖像處理部927、解復(fù)用部928、記錄/再現(xiàn)部929、顯示部930和控制部931互相連接。

移動(dòng)電話920以包含音頻通信模式、數(shù)據(jù)通信模式、圖像捕獲模式和視頻電話模式等各種運(yùn)行模式執(zhí)行諸如音頻信號(hào)的發(fā)送/接收、電子郵件或者圖像數(shù)據(jù)的發(fā)送/接收、圖像捕獲、數(shù)據(jù)的記錄等操作。

在音頻通信模式中，由麥克風(fēng)925產(chǎn)生的模擬音頻信號(hào)被提供至音頻編解碼器923。音頻編解碼器923將模擬音頻信號(hào)轉(zhuǎn)換為音頻數(shù)據(jù)，并將轉(zhuǎn)換的音頻數(shù)據(jù)進(jìn)行A/D轉(zhuǎn)換并壓縮。然后，音頻編解碼器923將壓縮的音頻數(shù)據(jù)輸出至通信部922。通信部922將音頻數(shù)據(jù)編碼并調(diào)制，并產(chǎn)生發(fā)送信號(hào)。然后，通信部922將產(chǎn)生的發(fā)送信號(hào)經(jīng)由天線921發(fā)送至基站(未示出)。另外，通信部922將經(jīng)由天線921接收的無線信號(hào)放大，并轉(zhuǎn)換無線信號(hào)的頻率，并獲取接收的信號(hào)。然后，通信部922將接收的信號(hào)解調(diào)和解碼，并產(chǎn)生音頻數(shù)據(jù)，并將產(chǎn)生的音頻數(shù)據(jù)輸出至音頻編解碼器923。音頻編解碼器923將音頻數(shù)據(jù)擴(kuò)展并進(jìn)行D/A轉(zhuǎn)換，并產(chǎn)生模擬音頻信號(hào)。然后，音頻編解碼器923將產(chǎn)生的音頻信號(hào)提供給揚(yáng)聲器924，并使音頻輸出。

另外，在數(shù)據(jù)通信模式中，控制部931例如根據(jù)用戶經(jīng)由操作部932的操作，產(chǎn)生構(gòu)成電子郵件的文本數(shù)據(jù)。此外，控制部931使文本顯示在顯示部930。此外，控制部931根據(jù)用戶經(jīng)由操作部932的發(fā)送指令，產(chǎn)生電子郵件數(shù)據(jù)，并將產(chǎn)生的電子郵件數(shù)據(jù)輸出至通信部922。然后，通信部922將電子郵件數(shù)據(jù)編碼并調(diào)制，并產(chǎn)生發(fā)送信號(hào)。然后，通信部922將產(chǎn)生的發(fā)送信號(hào)經(jīng)由天線921發(fā)送至基站(未示出)。另外，通信部922將經(jīng)由天線921接收的無線信號(hào)放大，并轉(zhuǎn)換無線信號(hào)的頻率，并獲取接收的信號(hào)。然后，通信部922將接收的信號(hào)解調(diào)并解碼，恢復(fù)電子郵件數(shù)據(jù)，并將恢復(fù)的電子郵件數(shù)據(jù)輸出至控制部931?？刂撇?31使顯示部930顯示電子郵件的內(nèi)容，另外使電子郵件數(shù)據(jù)存儲(chǔ)在記錄/再現(xiàn)部929的存儲(chǔ)介質(zhì)中。

記錄/再現(xiàn)部929包含任意可讀并可寫的存儲(chǔ)介質(zhì)。例如，存儲(chǔ)介質(zhì)可以是諸如RAM、閃存存儲(chǔ)器等內(nèi)置的存儲(chǔ)介質(zhì)，或者諸如硬盤、磁盤、光磁盤、光盤、USB存儲(chǔ)器、存儲(chǔ)卡等外部裝載的存儲(chǔ)介質(zhì)。

此外，在圖像捕獲模式中，相機(jī)部926例如捕獲被攝物的圖像，產(chǎn)生圖像數(shù)據(jù)，并將產(chǎn)生的圖像數(shù)據(jù)輸出至圖像處理部927。圖像處理部927將從相機(jī)部926輸入的圖像數(shù)據(jù)編碼，并使編碼流存儲(chǔ)在記錄/再現(xiàn)部929的存儲(chǔ)介質(zhì)中。

此外，在視頻電話模式中，解復(fù)用部928例如將由圖像處理部927編碼的視頻流、和從音頻編解碼器923輸入的音頻流復(fù)用，并將復(fù)用流輸出至通信部922。通信部922將流編碼并調(diào)制，并產(chǎn)生發(fā)送信號(hào)。然后，通信部922將產(chǎn)生的發(fā)送信號(hào)經(jīng)由天線921發(fā)送至基站(未示出)。另外，通信部922將經(jīng)由天線921接收的無線信號(hào)放大，并轉(zhuǎn)換無線信號(hào)的頻率，并獲取接收的信號(hào)。這些發(fā)送信號(hào)和接收的信號(hào)可以包含編碼的比特流。然后，通信部922將接收的信號(hào)解調(diào)并解碼，將流恢復(fù)，并將恢復(fù)的流輸出至解復(fù)用部928。解復(fù)用部928從輸入流分離出視頻流和音頻流，并將視頻流輸出至圖像處理部927，將音頻流輸出至音頻編解碼器923。圖像處理部927將視頻流解碼，并產(chǎn)生視頻數(shù)據(jù)。視頻數(shù)據(jù)被提供至顯示部930，并且由顯示部930顯示一系列的圖像。音頻編解碼器923對(duì)音頻流進(jìn)行擴(kuò)展和D/A轉(zhuǎn)換，并產(chǎn)生模擬音頻信號(hào)。然后，音頻編解碼器923將產(chǎn)生的音頻信號(hào)提供給揚(yáng)聲器924，并使音頻輸出。

在以該方式配置的移動(dòng)電話920中，圖像處理部927具有根據(jù)上述實(shí)施例的圖像編碼設(shè)備10和圖像解碼設(shè)備60的功能。從而，在移動(dòng)電話920中的圖像解碼和編碼的情況下，也能夠增強(qiáng)去塊濾波器處理的并行度，并保證高速處理。

[7-3.第三示例應(yīng)用]

圖48是示出采用上述的實(shí)施例的記錄/再現(xiàn)設(shè)備的概要配置的示例的框圖。記錄/再現(xiàn)設(shè)備940例如對(duì)接收的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)編碼并記錄在記錄介質(zhì)。記錄/再現(xiàn)設(shè)備940例如還可以對(duì)從另一設(shè)備獲取的音頻數(shù)據(jù)和視頻數(shù)據(jù)編碼并記錄在記錄介質(zhì)。此外，記錄/再現(xiàn)設(shè)備940例如根據(jù)用戶的指令，使用監(jiān)控器或者揚(yáng)聲器，再現(xiàn)記錄在記錄介質(zhì)的數(shù)據(jù)。此時(shí)，記錄/再現(xiàn)設(shè)備940將音頻數(shù)據(jù)和視頻數(shù)據(jù)解碼。

記錄/再現(xiàn)設(shè)備940包含調(diào)諧器941、外部接口942、編碼器943、HDD(硬盤驅(qū)動(dòng)器)944、盤驅(qū)動(dòng)器945、選擇器946、解碼器947、OSD(On-Screen Display，屏幕上顯示)948、控制部949和用戶接口950。

調(diào)諧器941從經(jīng)由天線(未示出)接收的廣播信號(hào)提取期望的頻道的信號(hào)，并將提取的信號(hào)解調(diào)。然后，調(diào)諧器941將由解調(diào)獲得的編碼的比特流輸出至選擇器946。即，調(diào)諧器941用作記錄/再現(xiàn)設(shè)備940的傳輸裝置。

外部接口942是用于連接記錄/再現(xiàn)設(shè)備940和外部電器或者網(wǎng)絡(luò)的接口。例如，外部接口942可以是IEEE 1394接口、網(wǎng)絡(luò)接口、USB接口、閃存存儲(chǔ)器接口等。例如，由外部接口942接收的視頻數(shù)據(jù)和音頻數(shù)據(jù)被輸入至編碼器943。即，外部接口942用作記錄/再現(xiàn)設(shè)備940的傳輸裝置。

在從外部接口942輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)未被編碼的情況下，編碼器943將視頻數(shù)據(jù)和音頻數(shù)據(jù)編碼。然后，編碼器943將編碼的比特流輸出至選擇器946。

HDD 944在內(nèi)部硬盤記錄作為壓縮的視頻或者音頻的內(nèi)容數(shù)據(jù)的編碼的比特流、各種程序、以及其它項(xiàng)數(shù)據(jù)。另外，HDD 944在再現(xiàn)視頻或者音頻時(shí)，從硬盤讀出這些項(xiàng)數(shù)據(jù)。

盤驅(qū)動(dòng)器945在裝載的記錄介質(zhì)記錄或者讀出數(shù)據(jù)。裝載在盤驅(qū)動(dòng)器945的記錄介質(zhì)可以是例如DVD盤(DVD-Video，DVD-RAM、DVD-R、DVD-RW、DVD+、DVD+RW等)、藍(lán)光(注冊商標(biāo))盤等。

選擇器946在記錄視頻或者音頻時(shí)選擇從調(diào)諧器941或者編碼器943輸入的編碼的比特流，并將選擇的編碼的比特流輸出至HDD 944或者盤驅(qū)動(dòng)器945。另外，選擇器946在再現(xiàn)視頻或者音頻時(shí)，將從HDD 944或者盤驅(qū)動(dòng)器945輸入的編碼的比特流輸出至解碼器947。

解碼器947將編碼的比特流解碼，并產(chǎn)生視頻數(shù)據(jù)和音頻數(shù)據(jù)。然后，解碼器947將產(chǎn)生的視頻數(shù)據(jù)輸出至OSD 948。另外，解碼器904將產(chǎn)生的音頻數(shù)據(jù)輸出至外部揚(yáng)聲器。

OSD 948再現(xiàn)從解碼器947輸入的視頻數(shù)據(jù)，并顯示視頻。另外，OSD 948可以例如在顯示的視頻上疊加諸如菜單、按鈕、光標(biāo)等GUI的圖像。

控制部949包含諸如CPU等處理器和諸如RAM或者ROM等存儲(chǔ)器。存儲(chǔ)器存儲(chǔ)由CPU執(zhí)行的程序、程序數(shù)據(jù)等。例如在記錄/再現(xiàn)設(shè)備940啟動(dòng)時(shí)，存儲(chǔ)在存儲(chǔ)器的程序被CPU讀出并執(zhí)行。CPU根據(jù)從用戶接口950輸入的操作信號(hào)，例如通過執(zhí)行程序來控制記錄/再現(xiàn)設(shè)備940的運(yùn)行。

用戶接口950被連接至控制部949。用戶接口950例如包含用戶用于操作記錄/再現(xiàn)設(shè)備940的按鈕和開關(guān)、以及對(duì)于遙控信號(hào)的接收部。用戶接口950經(jīng)由這些構(gòu)成要素檢測用戶的操作，產(chǎn)生操作信號(hào)，并將產(chǎn)生的操作信號(hào)輸出至控制部949。

在以該方式配置的記錄/再現(xiàn)設(shè)備940中，編碼器943具有根據(jù)上述實(shí)施例的圖像編碼設(shè)備10的功能。另外，解碼器947具有根據(jù)上述實(shí)施例的圖像解碼設(shè)備60的功能。從而，在記錄/再現(xiàn)設(shè)備940中的圖像解碼和編碼的情況下，也能夠增強(qiáng)去塊濾波器處理的并行度，并保證高速處理。

[7-4.第四示例應(yīng)用]

圖49是示出采用上述的實(shí)施例的圖像捕獲設(shè)備的概要配置的示例的框圖。圖像捕獲設(shè)備960捕獲被攝物的圖像，產(chǎn)生圖像，對(duì)圖像數(shù)據(jù)編碼，并將圖像數(shù)據(jù)記錄在記錄介質(zhì)。

圖像捕獲設(shè)備960包含光學(xué)塊961、圖像捕獲部962、信號(hào)處理部963、圖像處理部964、顯示部965、外部接口966、存儲(chǔ)器967、介質(zhì)驅(qū)動(dòng)器968、OSD 969、控制部970、用戶接口971和總線972。

光學(xué)塊961被連接至圖像捕獲部962。圖像捕獲部962被連接至信號(hào)處理部963。顯示部965被連接至圖像處理部964。用戶接口971被連接至控制部970?？偩€972將圖像處理部964、外部接口966、存儲(chǔ)器967、介質(zhì)驅(qū)動(dòng)器968、OSD 969和控制部970互相連接。

光學(xué)塊961包含聚焦透鏡、孔徑光闌機(jī)構(gòu)等。光學(xué)塊961在圖像捕獲部962的圖像捕獲面形成被攝物的光學(xué)像。圖像捕獲部962包含諸如CCD、CMOS等圖像傳感器，并由光電轉(zhuǎn)換將形成在圖像捕獲面的光學(xué)像轉(zhuǎn)換為電信號(hào)的圖像信號(hào)。然后，圖像捕獲部962將圖像信號(hào)輸出至信號(hào)處理部963。

信號(hào)處理部963對(duì)從圖像捕獲部962輸入的圖像信號(hào)執(zhí)行諸如拐點(diǎn)校正、伽馬校正、顏色校正等各種相機(jī)信號(hào)處理。信號(hào)處理部963將相機(jī)信號(hào)處理后的圖像數(shù)據(jù)輸出至圖像處理部964。

圖像處理部964將從信號(hào)處理部963輸入的圖像數(shù)據(jù)編碼，并產(chǎn)生編碼的數(shù)據(jù)。然后，圖像處理部964將產(chǎn)生的編碼的數(shù)據(jù)至外部接口966或者介質(zhì)驅(qū)動(dòng)器968。另外，圖像處理部964將從外部接口966或者介質(zhì)驅(qū)動(dòng)器968輸入的編碼的數(shù)據(jù)解碼，并產(chǎn)生圖像數(shù)據(jù)。然后，圖像處理部964將產(chǎn)生的圖像數(shù)據(jù)輸出至顯示部965。另外，圖像處理部964可以將從信號(hào)處理部963輸入的圖像數(shù)據(jù)輸出至顯示部965，并使圖像顯示。此外，圖像處理部964可以在輸出至顯示部965的圖像疊加從OSD 969獲取的用于顯示的數(shù)據(jù)。

OSD 969產(chǎn)生諸如菜單、按鈕、光標(biāo)等GUI的圖像，并將產(chǎn)生的圖像輸出至圖像處理部964。

外部接口966例如配置為USB輸入/輸出終端。外部接口966例如在打印圖像時(shí)連接圖像捕獲設(shè)備960和打印機(jī)。另外，根據(jù)需要驅(qū)動(dòng)器被連接至外部接口966。例如諸如磁盤、光盤等可移動(dòng)介質(zhì)被裝載在驅(qū)動(dòng)器上，從可移動(dòng)的介質(zhì)讀出的程序可以安裝在圖像捕獲設(shè)備960中。此外，外部接口966可以配置為連接至諸如LAN、互聯(lián)網(wǎng)等網(wǎng)絡(luò)的網(wǎng)絡(luò)接口。即，外部接口966用作圖像捕獲設(shè)備960的發(fā)送裝置。

裝載在介質(zhì)驅(qū)動(dòng)器968的記錄介質(zhì)例如可以是任意可讀和可寫的可移動(dòng)的介質(zhì)，諸如磁盤、光磁盤、光盤或半導(dǎo)體存儲(chǔ)器等。另外，記錄介質(zhì)例如可以固定地裝載在例如配置為諸如內(nèi)置硬盤驅(qū)動(dòng)器或者SSD(固態(tài)驅(qū)動(dòng)器)等非便攜的存儲(chǔ)部的介質(zhì)驅(qū)動(dòng)器968上。

控制部970包含諸如CPU等處理器和諸如RAM或者ROM等存儲(chǔ)器。存儲(chǔ)器存儲(chǔ)由CPU執(zhí)行的程序、程序數(shù)據(jù)等。例如在圖像捕獲設(shè)備960啟動(dòng)時(shí)，存儲(chǔ)在存儲(chǔ)器的程序被CPU讀出并執(zhí)行。CPU根據(jù)從用戶接口971輸入的操作信號(hào)，例如通過執(zhí)行程序來控制圖像捕獲設(shè)備960的運(yùn)行。

用戶接口971被連接至控制部970。用戶接口971例如包含用戶用于操作圖像捕獲設(shè)備960的按鈕、開關(guān)等。用戶接口971經(jīng)由這些構(gòu)成要素檢測用戶的操作，產(chǎn)生操作信號(hào)，并將產(chǎn)生的操作信號(hào)輸出至控制部970。

在以該方式配置的圖像捕獲設(shè)備960中，圖像處理部964具有根據(jù)上述實(shí)施例的圖像編碼設(shè)備10和圖像解碼設(shè)備60的功能。從而，在圖像捕獲設(shè)備960中的圖像解碼和編碼的情況下，能夠增強(qiáng)去塊濾波器處理的并行度，并保證高速處理。

<8.總結(jié)>

參考圖1至49，已說明了根據(jù)實(shí)施例的、用于圖像編碼設(shè)備10和圖像解碼設(shè)備60的去塊濾波器的3個(gè)工作例。3個(gè)工作例使用輸入至去塊濾波器的像素值來確定是否需要適用對(duì)于垂直邊界和水平邊界的去塊濾波器。確定處理能夠不依賴于于濾波處理結(jié)果而并行執(zhí)行。宏塊之間的處理的依賴性被消除，能使宏塊的處理并行化。作為結(jié)果，可以避免由于去塊濾波的處理量大而造成的延遲或者數(shù)據(jù)碼率劣化，并保證高速處理。可以根據(jù)諸如圖像尺寸或者安裝環(huán)境等各種條件而靈活配置去塊濾波器處理的并行度和順序。

根據(jù)第一工作例，確定是否向垂直邊界適用去塊濾波器使用屬于不適用對(duì)于水平邊界的定義的行的像素的像素值。確定是否向水平邊界適用去塊濾波器使用屬于不適用對(duì)于垂直邊界的定義的行的像素的像素值。對(duì)塊的濾波處理不更新用于對(duì)另一個(gè)塊的濾波需要確定處理的像素值。即使對(duì)給定的塊的濾波需要確定處理在對(duì)另一個(gè)塊的濾波處理之后，輸入至去塊濾波器的像素值也不需要存儲(chǔ)在額外的存儲(chǔ)器中。這能夠節(jié)省需要用于裝置安裝的硬件成本。

根據(jù)第二工作例，不由濾波處理更新的存儲(chǔ)器存儲(chǔ)輸入至去塊濾波器的像素值。濾波需要確定處理參考輸入像素值。在這種情況下，濾波需要確定處理參考其位置不受限制的像素。這使得能夠?qū)χT如濾波必要性的更精確的確定或者以降低的處理成本確定等各種目的適當(dāng)?shù)厥褂渺`活的確定條件。

根據(jù)第三工作例，對(duì)于垂直邊界和水平邊界的濾波器處理，對(duì)輸入至去塊濾波器的像素濾波。該配置能夠使對(duì)于垂直邊界和水平邊界的濾波處理彼此并行化。這能夠進(jìn)一步加速去塊濾波器的處理。對(duì)于由兩個(gè)并行執(zhí)行的濾波處理更新的像素，基于兩個(gè)濾波器輸出來計(jì)算輸出像素值。并行化兩個(gè)濾波處理還能夠適當(dāng)?shù)臏p小在垂直邊界和水平邊界出現(xiàn)的塊失真。輸出像素值可以被計(jì)算為兩個(gè)濾波器輸出的加權(quán)平均。這能夠允許去塊濾波更有效消除塊失真，并進(jìn)一步改善圖像質(zhì)量。

本說明書主要說明的示例是對(duì)于垂直邊界的濾波處理先于對(duì)于水平邊界的濾波處理。此外，在對(duì)于水平邊界的濾波處理先于對(duì)于垂直邊界的濾波處理的情況同樣能夠獲得根據(jù)本公開的技術(shù)的上述效果。去塊濾波器處理單位或者宏塊可以不同于在說明書中說明的尺寸。可用技術(shù)可以省略濾波需要確定處理，并且使對(duì)垂直邊界和水平邊界的去塊濾波的應(yīng)用并行化。

從編碼側(cè)向解碼側(cè)發(fā)送用于去塊濾波處理并行化的信息的技術(shù)不限于將信息復(fù)用至編碼流頭部的技術(shù)。例如，信息可能無法復(fù)用至編碼比特流，但是可以發(fā)送或者記錄為與編碼的比特流關(guān)聯(lián)的分立的數(shù)據(jù)。術(shù)語“關(guān)聯(lián)”表明保證將含在比特流的圖像(或者諸如片或者塊等圖像的部分)與對(duì)應(yīng)于圖像的信息鏈接的可能性。即，信息可以在不同于用于圖像(或者比特流)的發(fā)送路徑上發(fā)送。信息可以記錄在不同于用于圖像(或者比特流)的記錄介質(zhì)(或者相同的記錄介質(zhì)的不同記錄區(qū))。信息和圖像(或者比特流)可以基于諸如多個(gè)幀、一個(gè)幀、或者幀的一部分等任意單位互相關(guān)聯(lián)。

雖然上述已參考附圖說明了本發(fā)明的優(yōu)選的實(shí)施例，但本發(fā)明當(dāng)然不限于上述示例。本領(lǐng)域的技術(shù)人員在所附的權(quán)利要求的范圍內(nèi)可以發(fā)現(xiàn)各種變更和改良，應(yīng)該理解的是其自然屬于本發(fā)明的技術(shù)范圍。

說明書將對(duì)于垂直邊界的濾波處理表示為“水平濾波”，將對(duì)于水平邊界的濾波處理表示為“垂直濾波”。一般而言，對(duì)于垂直邊界的濾波處理使用水平配置的濾波器抽頭。對(duì)于水平邊界的濾波處理使用垂直配置的濾波器抽頭。因此，對(duì)于濾波處理使用上述命名。