圖像處理設(shè)備和方法
【專利摘要】所公開的主題內(nèi)容涉及一種圖像處理設(shè)備和方法，該圖像處理設(shè)備包括：存儲(chǔ)器，其存儲(chǔ)根據(jù)以進(jìn)行編碼處理的圖像作為對象來對成為編碼處理的對象的對象塊的像素進(jìn)行幀內(nèi)預(yù)測時(shí)所參照的相鄰像素；選擇部，其根據(jù)對該對象塊的像素進(jìn)行幀內(nèi)預(yù)測時(shí)的預(yù)測方向和塊大小，選擇是使從存儲(chǔ)器讀出的相鄰像素的相位移動(dòng)、還是不使從存儲(chǔ)器讀出的相鄰像素的相位移動(dòng)；幀內(nèi)預(yù)測部，其利用所述相鄰像素，對該對象塊的像素進(jìn)行幀內(nèi)預(yù)測，生成預(yù)測圖像；以及編碼部，其利用該幀內(nèi)預(yù)測部生成的預(yù)測圖像，對該圖像進(jìn)行編碼處理。
【專利說明】圖像處理設(shè)備和方法
[0001] 本發(fā)明申請是 申請日期:為2010年4月22日、申請?zhí)枮?201080017179. 1"、發(fā)明名 稱為"圖像處理設(shè)備和方法"的發(fā)明專利申請的分案申請。

【技術(shù)領(lǐng)域】
[0002] 本發(fā)明涉及一種圖像處理設(shè)備和方法，并且具體地，涉及一種能夠抑制壓縮信息 的增加并且還能夠提高預(yù)測精度的圖像處理設(shè)備和方法。

【背景技術(shù)】
[0003] 近年來，如下設(shè)備已得到廣泛使用：其通過采用將圖像信息處理為數(shù)字信號的編 碼系統(tǒng)而使圖像經(jīng)受壓縮編碼，并且此時(shí)利用作為圖像信息的特征的冗余度，通過正交變 換（諸如，離散余弦變換等）和運(yùn)動(dòng)補(bǔ)償對圖像進(jìn)行壓縮，以便執(zhí)行信息的高效傳輸和積 累。該編碼方法的示例包括MPEG(運(yùn)動(dòng)圖像專家組）等。
[0004] 具體地，MPEG2(IS0/IEC13818-2)被定義為通用圖像編碼系統(tǒng)，并且是包括隔行 掃描圖像和逐行掃描圖像以及標(biāo)準(zhǔn)分辨率圖像和高清圖像兩者的標(biāo)準(zhǔn)。例如，現(xiàn)在，已通過 廣泛應(yīng)用于專業(yè)用途以及消費(fèi)用途來采用MPEG2。通過采用MPEG2壓縮系統(tǒng)，在具有例如 720X480像素的標(biāo)準(zhǔn)分辨率的隔行掃描圖像的情況下，分配4Mbps至8Mbps的代碼量（比 特率）。通過采用MPEG2壓縮系統(tǒng)，在具有例如1920X1088像素的高分辨率的隔行掃描圖 像的情況下，分配18Mbps至22Mbps的代碼量（比特率）。因此，可以實(shí)現(xiàn)高壓縮率和極好 的圖像質(zhì)量。
[0005]MPEG2主要針對適合于廣播用途的高圖像質(zhì)量編碼，但是不處理比MPEGl(即，具 有較高壓縮率的編碼系統(tǒng)）的代碼量低的代碼量（比特率）。期望對這樣的編碼系統(tǒng)的需 求由于個(gè)人數(shù)字助理的普及而會(huì)從現(xiàn)在開始增加，并且響應(yīng)于此，執(zhí)行了MPEG4編碼系統(tǒng) 的標(biāo)準(zhǔn)化。對于圖像編碼系統(tǒng)，其規(guī)范在1998年12月作為國際標(biāo)準(zhǔn)IS0/IEC14496-2而 被承認(rèn)。
[0006] 此外，近年來，稱為H. 26L(ITU-TQ6/16VCEG)的標(biāo)準(zhǔn)的標(biāo)準(zhǔn)化已隨著將用于電視 會(huì)議用途的圖像編碼作為目的而得以發(fā)展。對于H. 26L，已知盡管與諸如MPEG2或MPEG4的 傳統(tǒng)編碼系統(tǒng)相比，其編碼和解碼要求更大的計(jì)算量，但是實(shí)現(xiàn)了更高的編碼效率。另外， 同時(shí)，作為MEPG4的活動(dòng)的一部分，已執(zhí)行標(biāo)準(zhǔn)化作為增強(qiáng)壓縮視頻編碼的聯(lián)合模型，其 中，該標(biāo)準(zhǔn)化用于以H. 26L為基礎(chǔ)、利用該H. 26L不支持的功能來實(shí)現(xiàn)更高的編碼效率。作 為標(biāo)準(zhǔn)化的進(jìn)程，H. 264和MPEG-4第10部分（高級視頻編碼，下文中稱為H. 264/AVC)在 2003年3月成為國際標(biāo)準(zhǔn)。
[0007] 此外，作為其擴(kuò)展，在2005年2月完成了包括業(yè)務(wù)用途所需的編碼工具（諸如 RGB、4:2:2或4:4:4)、MPEG-2規(guī)定的8X8DCT和量化矩陣的FRExt(保真度范圍擴(kuò)展）的 標(biāo)準(zhǔn)化。因此，H.264/AVC已成為能夠甚至適當(dāng)?shù)乇憩F(xiàn)包括在電影中的影片噪聲的編碼系 統(tǒng)，并且已用于廣泛的應(yīng)用，諸如藍(lán)光盤（注冊商標(biāo)）等。
[0008] 然而,如今,對更高壓縮率編碼的需求已增加,諸如期望壓縮具有大約4000X2000 個(gè)像素的圖像，該圖像是高清晰度（high-vision)圖像的四倍。替選地，對更高壓縮率編碼 的需求已增加，諸如期望將高清晰度圖像分布在具有有限傳輸容量的環(huán)境（如因特網(wǎng)）內(nèi)。 因此，對于在ITU-T控制下的上述VCEG(=視頻編碼專家組），已不斷地進(jìn)行與提高編碼效 率有關(guān)的研究。
[0009] 例如，對于MPEG2系統(tǒng)，已通過線性內(nèi)插處理執(zhí)行了具有1/2像素精度的運(yùn)動(dòng)預(yù)測 和補(bǔ)償處理。另一方面，對于H. 264/AVC系統(tǒng)，已使用6抽頭FIR(有限脈沖響應(yīng)濾波器） 濾波器執(zhí)行了具有1/4像素精度的預(yù)測和補(bǔ)償處理。
[0010] 近年來，關(guān)于該具有1/4像素精度的預(yù)測和補(bǔ)償處理，已進(jìn)行了用于進(jìn)一步提高 H. 264/AVC系統(tǒng)的效率的研究。作為用于此的編碼系統(tǒng)之一，對于NPL1，提出了具有1/8 像素精度的運(yùn)動(dòng)預(yù)測。
[0011] 具體地，對于NPL1，通過濾波器[-3,-12,-39, 158, 158,-39, 12, _3]/256 執(zhí)行具 有1/2像素精度的內(nèi)插處理。另外，通過濾波器[-3, 12,-37, 229, 71，-21，6,-1]/256執(zhí)行 具有1/4像素精度的內(nèi)插處理，并且通過線性內(nèi)插執(zhí)行具有1/8像素精度的內(nèi)插處理。
[0012] 以此方式，使用具有更高像素精度的內(nèi)插處理執(zhí)行運(yùn)動(dòng)預(yù)測，從而，尤其是對于在 分辨率方面具有高紋理的較慢的運(yùn)動(dòng)序列，可以提高預(yù)測精度，并且可以實(shí)現(xiàn)編碼效率的 提1?。
[0013] 順便提及，作為H. 264/AVC系統(tǒng)相比于根據(jù)現(xiàn)有技術(shù)的MPEG2系統(tǒng)等而言實(shí)現(xiàn)高 編碼效率的一個(gè)因素，提出了采用接下來描述的幀內(nèi)預(yù)測系統(tǒng)。
[0014] 對于H. 264/AVC系統(tǒng)，對于亮度信號，定義了 4X4像素和8X8像素的塊單位的九 種預(yù)測模式以及16X16像素的宏塊單位的四種預(yù)測模式的幀內(nèi)預(yù)測模式。對于色差信號， 定義了 8X8像素的塊單位的四種預(yù)測模式的幀內(nèi)預(yù)測模式?？瑟?dú)立于亮度信號的幀內(nèi)預(yù) 測模式來設(shè)置色差信號的幀內(nèi)預(yù)測模式。注意，預(yù)測模式的種類對應(yīng)于在圖1中以數(shù)字〇、 I、 3至8表示的方向。預(yù)測模式2是平均值預(yù)測。
[0015] 采用了這樣的幀內(nèi)預(yù)測系統(tǒng)，從而實(shí)現(xiàn)預(yù)測精度的提高。然而，對于H. 264/AVC系 統(tǒng)，如圖1的方向所示，僅執(zhí)行22.5度的增量的幀內(nèi)預(yù)測。因此，在邊緣的傾斜具有除此之 外的角度的情況下，限制了編碼效率的提高。
[0016] 因此，對于NPL2,提出了進(jìn)一步提高編碼效率，其中，以比22. 5度更細(xì)的角度執(zhí) 行預(yù)測。
[0017]引用列表
[0018] 非專利文獻(xiàn)
[0019]NPLI:"Motioncompensatedpredictionwith1/8-peldisplacementvector resolution，'，VCEG-AD09,ITU-TelecommunicationsStandardizationSectorSTUDY GROUPQuestion6VideocodingExpertsGroup(VCEG), 2006 年 10 月 23 至 27 日
[0020] NPL2:VirginieDrugeon,ThomasWedi,和TorstenPalfner,"HighPrecision EdgePredictionforIntraCoding"，2008


【發(fā)明內(nèi)容】

[0021] 技術(shù)問題
[0022] 然而，對于H. 264/AVC系統(tǒng)的幀內(nèi)預(yù)測，將要進(jìn)行編碼的塊的預(yù)定相鄰像素用于 預(yù)測，但是另一方面，對于在NPL2中描述的提案，還要使用除要進(jìn)行編碼的塊的相鄰像 素之外的像素。
[0023] 因此，對于在NPL2中描述的提案，即使當(dāng)以比22. 5度的增量更細(xì)的角度執(zhí)行預(yù) 測時(shí)，存儲(chǔ)器訪問次數(shù)和處理增加。
[0024] 本發(fā)明是考慮到這樣的情形而做出的，其進(jìn)一步提高了幀內(nèi)預(yù)測的編碼效率，同 時(shí)抑制了存儲(chǔ)器訪問次數(shù)和處理的增加。
[0025] 對問題的解決方案
[0026] 根據(jù)本發(fā)明的第一方面的一種圖像處理設(shè)備包括：模式確定裝置，被配置成關(guān)于 針對圖像數(shù)據(jù)要經(jīng)受幀內(nèi)預(yù)測的幀內(nèi)預(yù)測塊的幀內(nèi)預(yù)測，確定預(yù)測模式；相移裝置，被配置 成根據(jù)取決于模式確定裝置確定的預(yù)測模式的移動(dòng)方向和用作候選的移動(dòng)量，移動(dòng)以預(yù)定 的位置關(guān)系與幀內(nèi)預(yù)測塊相鄰的相鄰像素的相位；移動(dòng)量確定裝置，被配置成使用相鄰像 素以及相位被相移裝置移動(dòng)的相鄰像素，針對相鄰像素確定相位的最佳移動(dòng)量；以及預(yù)測 圖像生成裝置，被配置成使用相位根據(jù)移動(dòng)量確定裝置確定的最佳移動(dòng)量而被移動(dòng)的相鄰 像素，生成幀內(nèi)預(yù)測塊的預(yù)測圖像。
[0027] 圖像處理設(shè)備還可包括：編碼裝置，被配置成對幀內(nèi)預(yù)測塊的圖像與預(yù)測圖像生 成裝置生成的預(yù)測圖像之間的差分信息進(jìn)行編碼，以生成編碼流；以及傳輸裝置，被配置成 將表示移動(dòng)量確定裝置確定的最佳移動(dòng)量的移動(dòng)量信息、以及表示模式確定裝置確定的預(yù) 測模式的預(yù)測模式信息連同編碼裝置生成的編碼流一起進(jìn)行傳輸。
[0028] 編碼裝置可將表示關(guān)于幀內(nèi)預(yù)測塊所確定的最佳移動(dòng)量與關(guān)于提供 MostProbableMode的塊所確定的最佳移動(dòng)量之間的差分的差分信息編碼為移動(dòng)量信息，并 且傳輸裝置可傳輸編碼裝置生成的編碼流和差分信息。
[0029] 相移裝置可在模式確定裝置確定的預(yù)測模式是DC預(yù)測模式的情況下，禁止相位 的移動(dòng)。
[0030] 在模式確定裝置確定的預(yù)測模式是Vertical(垂直）預(yù)測模式、Diag_Down_ Left(對角線_下_左）預(yù)測模式或者Vertical_Left(垂直_左）預(yù)測模式的情況下， 相移裝置可針對相鄰像素中的上部相鄰像素，根據(jù)用作候選的移動(dòng)量移動(dòng)水平方向上的相 位，并且針對相鄰像素中的左部相鄰像素，禁止移動(dòng)垂直方向上的相位。
[0031] 在模式確定裝置確定的預(yù)測模式是Horizontal(水平）預(yù)測模式或Horizontal Up(水平_上）預(yù)測模式的情況下，相移裝置可針對相鄰像素中的左部相鄰像素，根據(jù)用作 候選的移動(dòng)量移動(dòng)垂直方向上的相位，并且針對相鄰像素中的上部相鄰像素，禁止移動(dòng)水 平方向上的相位。
[0032] 模式確定裝置可確定幀內(nèi)預(yù)測的所有預(yù)測模式，相移裝置可根據(jù)取決于模式確定 裝置確定的所有預(yù)測模式的移動(dòng)方向和用作候選的移動(dòng)量，移動(dòng)相鄰像素的相位，并且移 動(dòng)量確定裝置可使用相鄰像素和相位被相移裝置移動(dòng)的相鄰像素，針對相鄰像素確定相位 的最佳移動(dòng)量和最佳預(yù)測模式。
[0033] 圖像處理設(shè)備還可包括被配置成關(guān)于圖像的幀間運(yùn)動(dòng)預(yù)測塊執(zhí)行幀間運(yùn)動(dòng)預(yù)測 的運(yùn)動(dòng)預(yù)測補(bǔ)償裝置，并且相移裝置可使用在運(yùn)動(dòng)預(yù)測補(bǔ)償裝置執(zhí)行小數(shù)像素精度預(yù)測時(shí) 所使用的濾波器，移動(dòng)相鄰像素的相位。
[0034] 根據(jù)本發(fā)明的第一方面的圖像處理方法可包括以下步驟：使得圖像處理設(shè)備執(zhí)行 如下處理：關(guān)于針對圖像數(shù)據(jù)要被處理用于幀內(nèi)預(yù)測的幀內(nèi)預(yù)測塊，確定幀內(nèi)預(yù)測的預(yù)測 模式；根據(jù)取決于所確定的預(yù)測模式的移動(dòng)方向和用作候選的移動(dòng)量，移動(dòng)以預(yù)定位置關(guān) 系與幀內(nèi)預(yù)測塊相鄰的相鄰像素的相位；使用相鄰像素和相位被移動(dòng)的相鄰像素，針對相 鄰像素確定相位的最佳移動(dòng)量；以及使用相位根據(jù)所確定的最佳移動(dòng)量而被移動(dòng)的相鄰像 素，生成幀內(nèi)預(yù)測塊的預(yù)測圖像。
[0035] 根據(jù)本發(fā)明的第二方面的一種圖像處理設(shè)備包括：接收裝置，被配置成接收預(yù)測 模式信息和移動(dòng)量信息，其中，該預(yù)測模式信息關(guān)于要被處理用于幀內(nèi)預(yù)測的幀內(nèi)預(yù)測塊 來表示幀內(nèi)預(yù)測的預(yù)測模式，該移動(dòng)量信息表示用于根據(jù)預(yù)測模式信息表示的預(yù)測模式而 移動(dòng)以預(yù)定的位置關(guān)系與幀內(nèi)預(yù)測塊相鄰的相鄰像素的相位的移動(dòng)量；相移裝置，被配置 成根據(jù)取決于接收裝置接收到的預(yù)測模式的移動(dòng)方向和移動(dòng)量移動(dòng)相鄰像素的相位；以及 預(yù)測圖像生成裝置，被配置成使用相位被相移裝置移動(dòng)的相鄰像素，生成幀內(nèi)預(yù)測塊的預(yù) 測圖像。
[0036] 接收裝置可接收表示關(guān)于幀內(nèi)預(yù)測塊的移動(dòng)量與關(guān)于提供MostProbableMode的 塊的移動(dòng)量之間的差分的差分信息，作為移動(dòng)量信息。
[0037] 圖像處理設(shè)備還可包括解碼裝置，該解碼裝置被配置成使用預(yù)測圖像生成裝置生 成的預(yù)測圖像，對幀內(nèi)預(yù)測塊進(jìn)行解碼。
[0038] 解碼裝置可對接收裝置接收到的預(yù)測模式信息和移動(dòng)量信息進(jìn)行解碼。
[0039] 在經(jīng)解碼裝置解碼的預(yù)測模式是DC預(yù)測模式的情況下，相移裝置可禁止移動(dòng)相 鄰像素的相位。
[0040] 在經(jīng)解碼裝置解碼的預(yù)測模式是Vertical預(yù)測模式、Diag_Down_Left預(yù)測模式 或VerticalLeft預(yù)測模式的情況下，相移裝置可針對相鄰像素中的上部相鄰像素，根據(jù) 經(jīng)解碼裝置解碼的移動(dòng)量移動(dòng)水平方向上的相位，并且針對相鄰像素中的左部相鄰像素， 禁止移動(dòng)垂直方向上的相位。
[0041] 在經(jīng)解碼裝置解碼的預(yù)測模式是Horizontal預(yù)測模式或HorizontalJJp預(yù)測模 式的情況下，相移裝置可針對相鄰像素中的左部相鄰像素，根據(jù)經(jīng)解碼裝置解碼的移動(dòng)量 移動(dòng)垂直方向上的相位，并且針對相鄰像素中的上部相鄰像素，禁止移動(dòng)水平方向上的相 位。
[0042] 圖像處理設(shè)備還可包括運(yùn)動(dòng)預(yù)測補(bǔ)償裝置，該運(yùn)動(dòng)預(yù)測補(bǔ)償裝置被配置成使用要 由解碼裝置解碼的運(yùn)動(dòng)矢量以及經(jīng)編碼的幀間運(yùn)動(dòng)預(yù)測塊，執(zhí)行幀間運(yùn)動(dòng)預(yù)測，并且相移 裝置可使用要在運(yùn)動(dòng)預(yù)測補(bǔ)償裝置執(zhí)行小數(shù)像素精度預(yù)測時(shí)所使用的濾波器來移動(dòng)相鄰 像素的相位。
[0043] 根據(jù)本發(fā)明的第二方面的圖像處理方法包括以下步驟：使得圖像處理設(shè)備：接收 預(yù)測模式信息和移動(dòng)量信息，其中，該預(yù)測模式信息關(guān)于要被處理用于幀內(nèi)預(yù)測的幀內(nèi)預(yù) 測塊來表示幀內(nèi)預(yù)測的預(yù)測模式，該移動(dòng)量信息表示用于根據(jù)預(yù)測模式信息表示的預(yù)測模 式而移動(dòng)以預(yù)定的位置關(guān)系與幀內(nèi)預(yù)測塊相鄰的相鄰像素的相位的移動(dòng)量；根據(jù)取決于所 接收到的預(yù)測模式的移動(dòng)方向和移動(dòng)量移動(dòng)相鄰像素的相位；以及使用相位被移動(dòng)的相鄰 像素，生成幀內(nèi)預(yù)測塊的預(yù)測圖像。
[0044] 對于本發(fā)明的第一方面，關(guān)于針對圖像數(shù)據(jù)要被處理用于幀內(nèi)預(yù)測的幀內(nèi)預(yù)測 塊，確定幀內(nèi)預(yù)測的預(yù)測模式，并且根據(jù)取決于所確定的預(yù)測模式的移動(dòng)方向和用作候選 的移動(dòng)量，移動(dòng)以預(yù)定的位置關(guān)系與幀內(nèi)預(yù)測塊相鄰的相鄰像素的相位。隨后，使用相鄰像 素和相位被移動(dòng)的相鄰像素，針對相鄰像素確定相位的最佳移動(dòng)量，并且使用相位根據(jù)所 確定的最佳移動(dòng)量而被移動(dòng)的相鄰像素生成幀內(nèi)預(yù)測塊的預(yù)測圖像。
[0045] 對于本發(fā)明的第二方面，接收預(yù)測模式信息和移動(dòng)量信息，并且根據(jù)取決于所接 收到的預(yù)測模式的移動(dòng)方向和移動(dòng)量來移動(dòng)相鄰像素的相位，其中，該預(yù)測模式信息關(guān)于 要被處理用于幀內(nèi)預(yù)測的幀內(nèi)預(yù)測塊來表示幀內(nèi)預(yù)測的預(yù)測模式，該移動(dòng)量信息表示用于 根據(jù)預(yù)測模式信息表示的預(yù)測模式而移動(dòng)以預(yù)定的位置關(guān)系與幀內(nèi)預(yù)測塊相鄰的相鄰像 素的相位的移動(dòng)量。隨后，使用相位被移動(dòng)的相鄰像素，生成幀內(nèi)預(yù)測塊的預(yù)測圖像。
[0046] 注意，上述圖像處理設(shè)備可以是獨(dú)立設(shè)備，或者可以是構(gòu)成單個(gè)圖像編碼設(shè)備或 圖像解碼設(shè)備的內(nèi)部塊。
[0047] 根據(jù)本發(fā)明的第三方面的一種圖像處理設(shè)備包括：存儲(chǔ)器，其存儲(chǔ)根據(jù)以進(jìn)行編 碼處理的圖像作為對象來對成為編碼處理的對象的對象塊的像素進(jìn)行幀內(nèi)預(yù)測時(shí)所參照 的相鄰像素；選擇部，其根據(jù)對該對象塊的像素進(jìn)行幀內(nèi)預(yù)測時(shí)的預(yù)測方向和塊大小，選 擇是使從存儲(chǔ)器讀出的相鄰像素的相位移動(dòng)、還是不使從存儲(chǔ)器讀出的相鄰像素的相位移 動(dòng)；幀內(nèi)預(yù)測部，其利用相鄰像素，對該對象塊的像素進(jìn)行幀內(nèi)預(yù)測，生成預(yù)測圖像；以及 編碼部，其利用幀內(nèi)預(yù)測部生成的預(yù)測圖像，對該圖像進(jìn)行編碼處理。
[0048]根據(jù)本發(fā)明的第四方面的一種圖像處理方法包括以下步驟：圖像處理設(shè)備根據(jù)以 進(jìn)行編碼處理的圖像作為對象來對成為編碼處理的對象的對象塊的像素進(jìn)行幀內(nèi)預(yù)測時(shí) 的預(yù)測方向和塊大小，選擇是使從存儲(chǔ)器讀出的相鄰像素的相位移動(dòng)、還是不使從存儲(chǔ)器 讀出的相鄰像素的相位移動(dòng)，其中，該存儲(chǔ)器存儲(chǔ)對所述對象塊的像素進(jìn)行幀內(nèi)預(yù)測時(shí)所 參照的相鄰像素；圖像處理設(shè)備利用鄰像素，對該對象塊的像素進(jìn)行幀內(nèi)預(yù)測，生成預(yù)測圖 像；圖像處理設(shè)備利用所生成的預(yù)測圖像，對該圖像進(jìn)行編碼處理。本發(fā)明的有益效果 [0049]根據(jù)本發(fā)明的第一方面，可通過幀內(nèi)預(yù)測生成預(yù)測圖像。另外，根據(jù)本發(fā)明的第一 方面，可提高編碼效率而不會(huì)增加存儲(chǔ)器訪問次數(shù)和處理。
[0050] 根據(jù)本發(fā)明的第二方面，可通過幀內(nèi)預(yù)測生成預(yù)測圖像。另外，根據(jù)本發(fā)明的第二 方面，可提高編碼效率而不會(huì)增加存儲(chǔ)器訪問次數(shù)和處理。

【專利附圖】

【附圖說明】
[0051] 圖1是用于描述4X4像素的幀內(nèi)預(yù)測的方向的圖。
[0052] 圖2是示出應(yīng)用了本發(fā)明的圖像編碼設(shè)備的實(shí)施例的配置的框圖。
[0053] 圖3是用于描述具有1/4像素精度的運(yùn)動(dòng)預(yù)測和補(bǔ)償處理的圖。
[0054] 圖4是用于描述多參考幀的運(yùn)動(dòng)預(yù)測和補(bǔ)償方法的圖。
[0055] 圖5是用于描述運(yùn)動(dòng)矢量信息生成方法的示例的圖。
[0056] 圖6是示出幀內(nèi)預(yù)測單元和相鄰像素內(nèi)插單元的配置示例的框圖。
[0057] 圖7是用于描述圖2中的圖像編碼設(shè)備的編碼處理的流程圖。
[0058] 圖8是用于描述圖7的步驟S21中的預(yù)測處理的流程圖。
[0059] 圖9是用于描述16X 16像素的幀內(nèi)預(yù)測模式的情況下的處理順序的圖。
[0060] 圖10是示出亮度信號的4X4像素的幀內(nèi)預(yù)測模式的種類的圖。
[0061] 圖11是示出亮度信號的4X4像素的幀內(nèi)預(yù)測模式的種類的圖。
[0062] 圖12是用于描述4X4像素的幀內(nèi)預(yù)測的方向的圖。
[0063] 圖13是用于描述4X4像素的幀內(nèi)預(yù)測的圖。
[0064] 圖14是用于描述亮度信號的4X4像素的幀內(nèi)預(yù)測模式的編碼的圖。
[0065] 圖15是示出亮度信號的16X16像素的幀內(nèi)預(yù)測模式的種類的圖。
[0066] 圖16是示出亮度信號的16X 16像素的幀內(nèi)預(yù)測模式的種類的圖。
[0067]圖17是用于描述16X16像素的幀內(nèi)預(yù)測的圖。
[0068]圖18是用于描述實(shí)現(xiàn)具有小數(shù)像素精度的幀內(nèi)預(yù)測的操作的圖。
[0069]圖19是用于描述具有小數(shù)像素精度的幀內(nèi)預(yù)測的有益效果示例的圖。
[0070] 圖20是用于描述圖8的步驟S31中的幀內(nèi)預(yù)測處理的流程圖。
[0071] 圖21是用于描述圖20的步驟S45中的相鄰像素內(nèi)插處理的流程圖。
[0072] 圖22是用于描述圖8的步驟S32中的幀間運(yùn)動(dòng)預(yù)測處理的流程圖。
[0073] 圖23是示出幀內(nèi)預(yù)測單元和相鄰像素內(nèi)插單元的另一配置示例的框圖。
[0074] 圖24是用于描述圖8的步驟S31中的幀內(nèi)預(yù)測處理的另一示例的流程圖。
[0075] 圖25是用于描述圖24的步驟SlOl中的相鄰像素內(nèi)插處理的流程圖。
[0076] 圖26是示出應(yīng)用了本發(fā)明的圖像解碼設(shè)備的實(shí)施例的配置的框圖。
[0077] 圖27是示出幀內(nèi)預(yù)測單元和相鄰像素內(nèi)插單元的另一配置示例的框圖。
[0078] 圖28是用于描述圖26中的圖像解碼設(shè)備的解碼處理的流程圖。
[0079] 圖29是用于描述圖28的步驟S138中的預(yù)測處理的流程圖。
[0080] 圖30是示出計(jì)算機(jī)的硬件的配置示例的框圖。

【具體實(shí)施方式】
[0081] 根據(jù)本發(fā)明的第一方面的一種圖像處理設(shè)備包括：模式確定裝置，被配置成關(guān)于 針對圖像數(shù)據(jù)要經(jīng)受幀內(nèi)預(yù)測的幀內(nèi)預(yù)測塊的幀內(nèi)預(yù)測，確定預(yù)測模式；相移裝置，被配置 成根據(jù)取決于模式確定裝置確定的預(yù)測模式的移動(dòng)方向和用作候選的移動(dòng)量，移動(dòng)以預(yù)定 的位置關(guān)系與幀內(nèi)預(yù)測塊相鄰的相鄰像素的相位；移動(dòng)量確定裝置，被配置成使用相鄰像 素以及相位被相移裝置移動(dòng)的相鄰像素，針對相鄰像素確定相位的最佳移動(dòng)量；以及預(yù)測 圖像生成裝置，被配置成使用相位根據(jù)移動(dòng)量確定裝置確定的最佳移動(dòng)量而被移動(dòng)的相鄰 像素，生成幀內(nèi)預(yù)測塊的預(yù)測圖像。
[0082] 根據(jù)本發(fā)明的第一方面的圖像處理方法包括以下步驟：使得圖像處理設(shè)備執(zhí)行如 下處理：關(guān)于針對圖像數(shù)據(jù)要被處理用于幀內(nèi)預(yù)測的幀內(nèi)預(yù)測塊，確定幀內(nèi)預(yù)測的預(yù)測模 式；根據(jù)取決于所確定的預(yù)測模式的移動(dòng)方向和用作候選的移動(dòng)量，移動(dòng)以預(yù)定位置關(guān)系 與幀內(nèi)預(yù)測塊相鄰的相鄰像素的相位；使用相鄰像素和相位被移動(dòng)的相鄰像素，針對相鄰 像素確定相位的最佳移動(dòng)量；以及使用相位根據(jù)所確定的最佳移動(dòng)量而被移動(dòng)的相鄰像 素，生成幀內(nèi)預(yù)測塊的預(yù)測圖像。
[0083] 根據(jù)本發(fā)明的第二方面的一種圖像處理設(shè)備包括：接收裝置，被配置成接收預(yù)測 模式信息和移動(dòng)量信息，其中，該預(yù)測模式信息關(guān)于要被處理用于幀內(nèi)預(yù)測的幀內(nèi)預(yù)測塊 來表示幀內(nèi)預(yù)測的預(yù)測模式，該移動(dòng)量信息表示用于根據(jù)預(yù)測模式信息表示的預(yù)測模式而 移動(dòng)以預(yù)定的位置關(guān)系與幀內(nèi)預(yù)測塊相鄰的相鄰像素的相位的移動(dòng)量；相移裝置，被配置 成根據(jù)取決于接收裝置接收到的預(yù)測模式的移動(dòng)方向和移動(dòng)量移動(dòng)相鄰像素的相位；以及 預(yù)測圖像生成裝置，被配置成使用相位被相移裝置移動(dòng)的相鄰像素，生成幀內(nèi)預(yù)測塊的預(yù) 測圖像。
[0084] 根據(jù)本發(fā)明的第二方面的圖像處理方法包括以下步驟：使得圖像處理設(shè)備：接收 預(yù)測模式信息和移動(dòng)量信息，其中，該預(yù)測模式信息關(guān)于要被處理用于幀內(nèi)預(yù)測的幀內(nèi)預(yù) 測塊來表示幀內(nèi)預(yù)測的預(yù)測模式，該移動(dòng)量信息表示用于根據(jù)預(yù)測模式信息表示的預(yù)測模 式而移動(dòng)以預(yù)定的位置關(guān)系與幀內(nèi)預(yù)測塊相鄰的相鄰像素的相位的移動(dòng)量；根據(jù)取決于所 接收到的預(yù)測模式的移動(dòng)方向和移動(dòng)量移動(dòng)相鄰像素的相位；以及使用相位被移動(dòng)的相鄰 像素，生成幀內(nèi)預(yù)測塊的預(yù)測圖像。
[0085] 在下文中，將參照附圖描述本發(fā)明的實(shí)施例。
[0086][圖像編碼設(shè)備的配置示例]
[0087] 圖2表示用作應(yīng)用了本發(fā)明的圖像處理設(shè)備的圖像編碼設(shè)備的實(shí)施例的配置。
[0088] 該圖像編碼設(shè)備51使用例如H/· 264和MPEG-4第10部分（高級視頻編碼）（下 文中被描述為264/AVC)系統(tǒng)來使圖像經(jīng)受壓縮編碼。
[0089] 對于圖2中的示例，圖像編碼設(shè)備51由以下部分構(gòu)成：A/D轉(zhuǎn)換單元61、畫面排序 緩沖器62、計(jì)算單元63、正交變換單元64、量化單元65、無損編碼單元66、累積緩沖器67、 逆量化單元68、逆正交變換單元69、計(jì)算單元70、去塊（deblocking)濾波器71、巾貞存儲(chǔ)器 72、開關(guān)73、幀內(nèi)預(yù)測單元74、相鄰像素內(nèi)插單元75、運(yùn)動(dòng)預(yù)測/補(bǔ)償單元76、預(yù)測圖像選 擇單元77以及速率控制單元78。
[0090] A/D轉(zhuǎn)換單元61將輸入圖像從模擬轉(zhuǎn)換為數(shù)字，并且輸出到畫面排序緩沖器62以 進(jìn)行存儲(chǔ)。畫面排序緩沖器62根據(jù)G0P(圖片組），將按所存儲(chǔ)的用于顯示的順序的幀的圖 像排序?yàn)橛糜诰幋a的幀的順序。
[0091] 計(jì)算單元63從自畫面排序緩沖器62讀出的圖像中減去來自幀內(nèi)預(yù)測單元74的、 由預(yù)測圖像選擇單元77選擇的預(yù)測圖像或者來自運(yùn)動(dòng)預(yù)測/補(bǔ)償單元76的預(yù)測圖像，并 且將其差分信息輸出到正交變換單元64。正交變換單元64使來自計(jì)算單元63的差分信息 經(jīng)受正交變化（諸如，離散余弦變換、卡亨南-洛維（Karhunen-Lo6Ve)變換等），并且輸出 其變換系數(shù)。量化單元65對正交變換單元64輸出的變換系數(shù)進(jìn)行量化。
[0092] 作為量化單元65的輸出的、量化后的變換系數(shù)被輸入到無損編碼單元66,并且經(jīng) 受諸如可變長編碼、算術(shù)編碼等的無損編碼并被壓縮。
[0093] 無損編碼單元66從幀內(nèi)預(yù)測單元74獲得表示幀內(nèi)預(yù)測的信息等，并且從運(yùn)動(dòng)預(yù) 測/補(bǔ)償單元76獲得表示幀間預(yù)測模式的信息等。注意，在下文中，也將表示幀內(nèi)預(yù)測的 信息稱為幀內(nèi)預(yù)測模式信息。另外，也將表示指示幀間預(yù)測的信息模式的信息稱為幀間預(yù) 測模式信息。
[0094] 無損編碼單元66對量化后的變換系數(shù)進(jìn)行編碼，并且還對表示幀內(nèi)預(yù)測的信 息、表示幀間預(yù)測模式的信息等進(jìn)行編碼，并且將這些作為壓縮圖像中的頭信息（header information)的一部分。無損編碼單元66將經(jīng)編碼的數(shù)據(jù)提供給累積緩沖器67以進(jìn)行累 積。
[0095] 例如，對于無損編碼單元66,執(zhí)行無損編碼處理，諸如可變長編碼、算術(shù)編碼等?？?變長編碼的示例包括H. 264/AVC系統(tǒng)確定的CAVLC(上下文自適應(yīng)的可變長編碼）。算術(shù)編 碼的示例包括CABAC(上下文自適應(yīng)的二進(jìn)制算術(shù)編碼）。
[0096] 累積緩沖器67將從無損編碼單元66提供的數(shù)據(jù)作為經(jīng)H. 264/AVC系統(tǒng)編碼的壓 縮圖像輸出到例如未在圖中示出的下游存儲(chǔ)設(shè)備或傳輸路徑等。
[0097] 另外，從量化單元65輸出的、量化后的變換系數(shù)還被輸入到逆量化單元68,經(jīng)受 逆量化，并且接著在逆正交變換單元69處進(jìn)一步經(jīng)受逆正交變換。計(jì)算單元70將經(jīng)受了 逆正交變換的輸出與從預(yù)測圖像選擇單元77提供的預(yù)測圖像相加，并且將其改變成局部 解碼后的圖像。去塊濾波器71從解碼后的圖像中去除塊失真，并且接著將其提供給幀存儲(chǔ) 器72以進(jìn)行累積。在去塊濾波器71執(zhí)行去塊濾波處理之前的圖像還被提供給幀存儲(chǔ)器72 以進(jìn)行累積。
[0098] 開關(guān)73將幀存儲(chǔ)器72中所累積的參考圖像輸出到運(yùn)動(dòng)預(yù)測/補(bǔ)償單元76或幀 內(nèi)預(yù)測單元74。
[0099] 對于該圖像編碼設(shè)備51，例如，來自畫面排序緩沖器62的I圖片、B圖片以及P圖 片作為要經(jīng)受幀內(nèi)預(yù)測（也稱為幀內(nèi)處理）的圖像被提供給幀內(nèi)預(yù)測單元74。另外，從畫 面排序緩沖器62讀出的B圖片和P圖片作為要經(jīng)受幀間預(yù)測（也稱為幀間處理）的圖像 被提供給運(yùn)動(dòng)預(yù)測/補(bǔ)償單元76。
[0100] 幀內(nèi)預(yù)測單元74基于從畫面排序緩沖器62讀出的、要經(jīng)受幀內(nèi)預(yù)測的圖像以及 從幀存儲(chǔ)器72提供的參考圖像，執(zhí)行對用作候選的所有幀內(nèi)預(yù)測模式的幀內(nèi)預(yù)測處理，以 生成預(yù)測圖像。
[0101] 幀內(nèi)預(yù)測單元74針對生成了預(yù)測圖像的幀內(nèi)預(yù)測模式計(jì)算成本函數(shù)值，并且選 擇所算出的成本函數(shù)值提供最小值的幀內(nèi)預(yù)測模式作為最佳幀內(nèi)預(yù)測模式。幀內(nèi)預(yù)測單元 74將與用于幀內(nèi)預(yù)測的當(dāng)前塊相鄰的相鄰像素和最佳幀內(nèi)預(yù)測模式信息提供給相鄰像素 內(nèi)插單元75。
[0102] 相鄰像素內(nèi)插單元75將相鄰像素的相位在取決于來自幀內(nèi)預(yù)測單元74的最佳幀 內(nèi)預(yù)測模式的移動(dòng)方向上移動(dòng)用作候選的移動(dòng)量。實(shí)際上，相鄰像素內(nèi)插單元75關(guān)于取決 于最佳幀內(nèi)預(yù)測模式的移動(dòng)方向?qū)?抽頭FIR濾波器應(yīng)用于相鄰像素，以執(zhí)行線性內(nèi)插，從 而以小數(shù)像素精度移動(dòng)相鄰像素的相位。因此，在下文中，為了便于描述，將相位已通過6 抽頭FIR濾波器和線性內(nèi)插移動(dòng)的相鄰像素適當(dāng)?shù)胤Q為內(nèi)插的相鄰像素或相位已被移動(dòng) 的相鄰像素，但是這些具有相同的含義。
[0103] 相鄰像素內(nèi)插單元75將相位已被移動(dòng)的相鄰像素提供給幀內(nèi)預(yù)測單元74。
[0104] 幀內(nèi)預(yù)測單元74使用來自相鄰圖像緩沖器81的相鄰像素的像素值以及相位已被 相鄰像素內(nèi)插單元75移動(dòng)的相鄰像素的像素值，針對相鄰像素確定相位的最佳移動(dòng)量。另 夕卜，幀內(nèi)預(yù)測單元74使用相位已被移動(dòng)了所確定的最佳移動(dòng)量的相鄰像素的像素值，生成 當(dāng)前塊的預(yù)測圖像，并且將所生成的預(yù)測圖像和關(guān)于相應(yīng)的最佳幀內(nèi)預(yù)測模式所算出的成 本函數(shù)值提供給預(yù)測圖像選擇單元77。
[0105] 在預(yù)測圖像選擇單元77選擇了在最佳幀內(nèi)預(yù)測模式下生成的預(yù)測圖像的情況 下，幀內(nèi)預(yù)測單元74將表示最佳幀內(nèi)預(yù)測模式的信息和最佳移動(dòng)量的信息提供給無損編 碼單元66。在從幀內(nèi)預(yù)測單元74傳輸了信息的情況下，無損編碼單元66對該信息進(jìn)行編 碼，并且將此作為壓縮圖像中的頭信息的一部分。
[0106] 運(yùn)動(dòng)預(yù)測/補(bǔ)償單元76關(guān)于用作候選的所有幀間預(yù)測模式執(zhí)行運(yùn)動(dòng)預(yù)測和補(bǔ)償 處理。具體地，對于運(yùn)動(dòng)預(yù)測/補(bǔ)償單元76,提供從畫面排序緩沖器62讀出的、要經(jīng)受幀間 處理的圖像，并且經(jīng)由開關(guān)73從幀存儲(chǔ)器72提供參考圖像。運(yùn)動(dòng)預(yù)測/補(bǔ)償單元76基于 要經(jīng)受幀間處理的圖像和參考圖像，檢測用作候選的所有幀間預(yù)測模式的運(yùn)動(dòng)矢量，基于 運(yùn)動(dòng)矢量使參考圖像經(jīng)受補(bǔ)償處理，并且生成預(yù)測圖像。
[0107] 另外，運(yùn)動(dòng)預(yù)測/補(bǔ)償單元76針對用作候選的所有幀間預(yù)測模式計(jì)算成本函數(shù) 值。運(yùn)動(dòng)預(yù)測/補(bǔ)償單元76在所算出的成本函數(shù)值中，將提供最小值的預(yù)測模式確定為最 佳幀間預(yù)測模式。
[0108] 運(yùn)動(dòng)預(yù)測/補(bǔ)償單元76將在最佳幀間預(yù)測模式下所生成的預(yù)測圖像及其成本函 數(shù)值提供給預(yù)測圖像選擇單元77。在預(yù)測圖像選擇單元77選擇了在最佳幀間預(yù)測模式下 所生成的預(yù)測圖像的情況下，運(yùn)動(dòng)預(yù)測/補(bǔ)償單元76將表示最佳幀間預(yù)測模式的信息（幀 間預(yù)測模式信息）提供給無損編碼單元66。
[0109] 注意，根據(jù)需要，運(yùn)動(dòng)矢量信息、標(biāo)志信息、參考幀信息等被輸出到無損編碼單元 66。無損編碼單元66還使來自運(yùn)動(dòng)預(yù)測/補(bǔ)償單元76的信息經(jīng)受無損編碼處理（諸如， 可變長編碼或算術(shù)編碼），并且插入到壓縮圖像的頭部中。
[0110] 預(yù)測圖像選擇單元77基于從幀內(nèi)預(yù)測單元74或運(yùn)動(dòng)預(yù)測/補(bǔ)償單元76輸出的成 本函數(shù)值，從最佳幀內(nèi)預(yù)測模式和最佳幀間預(yù)測模式中確定最佳預(yù)測模式。然后，預(yù)測圖像 選擇單元77選擇所確定的最佳預(yù)測模式下的預(yù)測圖像，并且提供給計(jì)算單元63和70。此 時(shí)，預(yù)測圖像選擇單元77將預(yù)測圖像的選擇信息提供給幀內(nèi)預(yù)測單元74或運(yùn)動(dòng)預(yù)測/補(bǔ) 償單元76。
[0111] 速率控制單元78基于在累積緩沖器67中所累積的壓縮圖像，控制量化單元65的 量化操作的速率，以便不引起上溢或下溢。
[0112] [H. 264/AVC系統(tǒng)的描述]
[0113] 圖3是示出根據(jù)H. 264/AVC系統(tǒng)的運(yùn)動(dòng)預(yù)測和補(bǔ)償?shù)膲K大小的示例的圖。對于 H. 264/AVC系統(tǒng)，通過使塊大小可變來執(zhí)行運(yùn)動(dòng)預(yù)測和補(bǔ)償。
[0114] 在圖中3的上排，從左開始按順序示出了由被劃分成16X16像素、16X8像素、 8X16像素以及8X8像素的分區(qū)（partition)的16X16個(gè)像素構(gòu)成的宏塊。另外，在圖3 中的下排，從左開始按順序示出了被劃分成8X8像素、8X4像素、4X8像素以及4X4像素 的子分區(qū)的8X8像素分區(qū)。
[0115] 具體地，對于H. 264/AVC系統(tǒng)，一個(gè)宏塊可被劃分成16X16像素、16X8像素、 8X16像素以及8X8像素的分區(qū)之一，其中每個(gè)分區(qū)具有獨(dú)立的運(yùn)動(dòng)矢量信息。另外，8X8 像素分區(qū)可被劃分成8X8像素、8X4像素、4X8像素以及4X4像素的子分區(qū)之一，其中每 個(gè)子分區(qū)具有獨(dú)立的運(yùn)動(dòng)矢量信息。
[0116] 圖4是用于描述根據(jù)H. 264/AVC系統(tǒng)的具有1/4像素精度的預(yù)測和補(bǔ)償處理的 圖。對于H. 264/AVC系統(tǒng)，使用6抽頭FIR(有限脈沖響應(yīng)濾波器）濾波器執(zhí)行具有1/4像 素精度的預(yù)測和補(bǔ)償處理。
[0117] 對于圖4中的示例，位置A表示整數(shù)精度像素的位置，位置b、c和d表示具有1/2 像素精度的位置，以及位置el、e2和e3表示具有1/4像素精度的位置。首先，在下文中，如 以下表達(dá)式（1) 一樣定義ClipO。
[0118][數(shù)學(xué)表達(dá)式1] 攀 0;if(a<0)
[0119] C'lip !(a) = < aiotiiervvise …(I) ^maxpi\:it'(a>ma\pix)
[0120] 注意，在輸入圖像具有8位精度的情況下，max_pix的值變?yōu)?55。
[0121] 使用6抽頭FIR濾波器如以下表達(dá)式（2) -樣生成位置b和d中的像素值。
[0122] [數(shù)學(xué)表達(dá)式2]
[0123] F= A_2_5 · A-i+20 · Α0+20 · Α「5 · A2+A3
[0124] b, d=Clipl((F+16)?5). . . (2)
[0125] 通過在水平方向和垂直方向上應(yīng)用6抽頭FIR濾波器，如以下表達(dá)式（3) -樣生 成位置c中的像素值。
[0126][數(shù)學(xué)表達(dá)式3]
[0127] F=b_2_5· b-i+20 ·b0+20·b「5·b2+b3
[0128] 或者
[0129] F=d_2_5· d-i+20 ·d〇+20·(!「5·d2+d3
[0130] c=Clipl((F+512)?10). . . (3)
[0131] 注意，在執(zhí)行了水平方向和垂直方向上的乘積和處理之后，最后僅執(zhí)行Clip處理 一次。
[0132] 如以下表達(dá)式⑷所示，通過線性內(nèi)插生成位置el至e3。
[0133][數(shù)學(xué)表達(dá)式4]
[0134] e!=(A+b+l)?l
[0135] e2=(b+d+1) >>1
[0136] e3=(b+c+l)?l. . . (4)
[0137] 對于H. 264/AVC系統(tǒng)，通過執(zhí)行以上參照圖3至圖4描述的運(yùn)動(dòng)預(yù)測和補(bǔ)償處理， 生成大量的運(yùn)動(dòng)矢量信息，并且如果這些運(yùn)動(dòng)矢量信息在沒有改變的情況下被編碼，則導(dǎo) 致編碼效率的劣化。響應(yīng)于此，對于H. 264/AVC系統(tǒng)，根據(jù)圖5中示出的方法，實(shí)現(xiàn)了運(yùn)動(dòng) 矢量編碼息的減少。
[0138] 圖5是用于描述根據(jù)H. 264/AVC系統(tǒng)的運(yùn)動(dòng)矢量信息生成方法的圖。
[0139] 對于圖5中的示例，示出了從現(xiàn)在開始要編碼的當(dāng)前塊E(例如，16 X 16像素）以 及已被編碼的、與當(dāng)前塊E相鄰的塊A至塊D。
[0140] 具體地，塊D與當(dāng)前塊E的左上部相鄰，塊B與當(dāng)前塊E的上部相鄰，塊C與當(dāng)前 塊E的右上部相鄰，并且塊A與當(dāng)前塊E的左部相鄰。注意，沒有分割塊A至塊D的原因在 于，每個(gè)塊表示具有以上參照圖2描述的16X16像素至4X4像素中的一種結(jié)構(gòu)的塊。
[0141] 例如，假設(shè)關(guān)于乂（=欠8，(：，0，幻的運(yùn)動(dòng)矢量信息以11^表示。首先，通過使用關(guān) 于塊A、B和C的運(yùn)動(dòng)矢量信息的中值預(yù)測，如以下表達(dá)式（5) -樣生成關(guān)于當(dāng)前塊E的預(yù) 測運(yùn)動(dòng)矢量信息pmvE。
[0142] pmvE=med (mvA, mvB, mvc)...(5)
[0143] 關(guān)于塊C的運(yùn)動(dòng)矢量信息可能由于諸如圖像幀的邊緣、編碼之前等原因而無法使 用（可能不可用）。在該情況下，使用關(guān)于塊D的運(yùn)動(dòng)矢量信息來取代關(guān)于塊C的運(yùn)動(dòng)矢量 信息。
[0144] 使用pmvE，如以下表達(dá)式（6) -樣生成要與壓縮圖像的頭部相加的數(shù)據(jù)mvdE，作為 關(guān)于當(dāng)前塊E的運(yùn)動(dòng)矢量信息。
[0145]mvdE =mvE-pmvE. . . (6)
[0146] 注意，實(shí)際上，針對運(yùn)動(dòng)矢量信息的水平方向和垂直方向上的分量獨(dú)立地執(zhí)行處 理。
[0147] 以此方式，生成預(yù)測運(yùn)動(dòng)矢量信息，并且作為基于與相鄰塊的相關(guān)性而生成的預(yù) 測運(yùn)動(dòng)矢量信息與運(yùn)動(dòng)矢量信息之間的差的數(shù)據(jù)mvdE與壓縮圖像的頭部相加作為運(yùn)動(dòng)矢 量信息，從而可以減少運(yùn)動(dòng)矢量信息。
[0148] 這里，在運(yùn)動(dòng)預(yù)測/補(bǔ)償單元處執(zhí)行以上參照圖4描述的、在H.264/AVC系統(tǒng)中具 有1/4像素精度的預(yù)測和補(bǔ)償處理，而對于圖2中的圖像編碼設(shè)備51，在幀內(nèi)預(yù)測中也執(zhí)行 具有1/4像素精度的預(yù)測。通過接下來將描述的幀內(nèi)預(yù)測單元74和相鄰像素內(nèi)插單元75 執(zhí)行具有小數(shù)像素精度的這種幀內(nèi)預(yù)測。
[0149][幀內(nèi)預(yù)測單元和相鄰像素內(nèi)插單元的配置示例]
[0150] 圖6是示出幀內(nèi)預(yù)測單元和相鄰像素內(nèi)插單元的詳細(xì)配置示例的框圖。
[0151] 在圖6中的示例的情況下，幀內(nèi)預(yù)測單元74由相鄰圖像緩沖器81、最佳模式確定 單元82、最佳移動(dòng)量確定單元83以及預(yù)測圖像生成單元84構(gòu)成。
[0152] 相鄰像素內(nèi)插單元75由模式確定單元91、水平方向內(nèi)插單元92以及垂直方向內(nèi) 插單元93構(gòu)成。
[0153] 相鄰圖像緩沖器81累積來自幀存儲(chǔ)器72的、要經(jīng)受幀內(nèi)預(yù)測的塊的相鄰像素。在 圖6的情況下，省略了開關(guān)73的圖，并且相鄰像素被從幀存儲(chǔ)器72經(jīng)由開關(guān)73提供給相 鄰圖像緩沖器81。
[0154] 從畫面排序緩沖器62讀出的、要經(jīng)受幀內(nèi)預(yù)測的圖像被輸入到最佳模式確定單 元82。最佳模式確定單元82從相鄰圖像緩沖器81讀出與要經(jīng)受幀內(nèi)預(yù)測的塊對應(yīng)的相鄰 像素。
[0155] 最佳模式確定單元82使用與要經(jīng)受幀內(nèi)預(yù)測的塊的圖像對應(yīng)的相鄰像素，執(zhí)行 用作候選的所有幀內(nèi)預(yù)測模式的幀內(nèi)預(yù)測處理，以生成預(yù)測圖像。最佳模式確定單元82針 對已生成預(yù)測圖像的幀內(nèi)預(yù)測模式計(jì)算成本函數(shù)值，并且將所算出的成本函數(shù)值提供最小 值的幀內(nèi)預(yù)測模式確定為最佳幀內(nèi)預(yù)測模式。所確定的預(yù)測模式的信息被提供給模式確定 單元91、最佳移動(dòng)量確定單元83以及預(yù)測圖像生成單元84。另外，與所提供的預(yù)測模式對 應(yīng)的成本函數(shù)值也被提供給預(yù)測圖像生成單元84。
[0156] 從畫面排序緩沖器62讀出的要經(jīng)受幀內(nèi)預(yù)測的圖像以及被最佳模式確定單元82 確定為最佳的預(yù)測模式的信息被輸入到最佳移動(dòng)量確定單元83。另外，如下相鄰像素被輸 入到最佳移動(dòng)量確定單元83 :其已經(jīng)受了由水平方向內(nèi)插單元92和垂直方向內(nèi)插單元93 執(zhí)行的線性內(nèi)插，并且其相位已根據(jù)最佳幀內(nèi)預(yù)測模式移動(dòng)。最佳移動(dòng)量確定單元83從相 鄰圖像緩沖器81讀出與要經(jīng)受幀內(nèi)預(yù)測的塊對應(yīng)的相鄰像素。
[0157] 最佳移動(dòng)量確定單元83關(guān)于最佳模式確定單元82確定的預(yù)測模式，使用要經(jīng)受 幀內(nèi)預(yù)測的塊的圖像、相應(yīng)的相鄰像素以及相應(yīng)的內(nèi)插相鄰像素的像素值來確定最佳移動(dòng) 量。最佳移動(dòng)量確定單元83計(jì)算例如預(yù)測誤差（剩余誤差）等，并且將具有所算出的最小 預(yù)測誤差的移動(dòng)量確定為最佳移動(dòng)量。最佳移動(dòng)量確定單元83確定的最佳移動(dòng)量的信息 被提供給預(yù)測圖像生成單元84。
[0158] 與最佳模式確定單元82確定的預(yù)測模式信息對應(yīng)的成本函數(shù)值以及最佳移動(dòng)量 確定單元83確定的最佳移動(dòng)量信息被輸入到預(yù)測圖像生成單元84。預(yù)測圖像生成單元84 從相鄰圖像緩沖器81讀出與要經(jīng)受幀內(nèi)預(yù)測的塊對應(yīng)的相鄰像素，并且在取決于預(yù)測模 式的相位方向上以最佳移動(dòng)量移動(dòng)所讀取的相鄰像素的相位。
[0159] 預(yù)測圖像生成單元84使用相位已被移動(dòng)的相鄰像素，在最佳模式確定單元82確 定的最佳幀內(nèi)預(yù)測模式下執(zhí)行幀內(nèi)預(yù)測，以生成要處理的塊的預(yù)測圖像。預(yù)測圖像生成單 元84將所生成的預(yù)測圖像和相應(yīng)的成本函數(shù)值輸出到預(yù)測圖像選擇單元77。
[0160] 另外，在預(yù)測圖像選擇單元77選擇了在最佳幀內(nèi)預(yù)測模式下所生成的預(yù)測圖像 的情況下，預(yù)測圖像生成單元84將表示最佳幀內(nèi)預(yù)測模式的信息以及移動(dòng)量的信息提供 給無損編碼單元66。
[0161] 模式確定單元91將取決于最佳模式確定單元82確定的預(yù)測模式的控制信號輸出 到水平方向內(nèi)插單元92和垂直方向內(nèi)插單元93。例如，根據(jù)預(yù)測模式輸出表示內(nèi)插處理的 ON(開）的控制信號。
[0162] 水平方向內(nèi)插單元92和垂直方向內(nèi)插單元93根據(jù)來自模式確定單元91的控制 信號，各自從相鄰圖像緩沖器81讀出相鄰像素。水平方向內(nèi)插單元92和垂直方向內(nèi)插單 元93通過6抽頭FIR濾波器和線性內(nèi)插各自在水平方向和垂直方向上移動(dòng)所讀取的相鄰 像素的相位。經(jīng)水平方向內(nèi)插單元92和垂直方向內(nèi)插單元93內(nèi)插的相鄰像素的信息被提 供給最佳移動(dòng)量確定單元83。
[0163][圖像編碼設(shè)備的編碼處理的描述]
[0164] 接下來，將參照圖7中的流程圖描述圖2中的圖像編碼設(shè)備51的編碼處理。
[0165] 在步驟Sll中，A/D轉(zhuǎn)換單元61將輸入圖像從模擬轉(zhuǎn)換為數(shù)字。在步驟S12中， 畫面排序緩沖器62存儲(chǔ)從A/D轉(zhuǎn)換單元61提供的圖像，并且執(zhí)行從用于顯示圖片的序列 到用于編碼的序列的排序。
[0166] 在步驟S13中，計(jì)算單元63計(jì)算在步驟S12中所排序的圖像與預(yù)測圖像之間的 差。預(yù)測圖像在執(zhí)行幀間預(yù)測的情況下，經(jīng)由預(yù)測圖像選擇單元77從運(yùn)動(dòng)預(yù)測/補(bǔ)償單元 76被提供給計(jì)算單元63,而在執(zhí)行幀內(nèi)預(yù)測的情況下，經(jīng)由預(yù)測圖像選擇單元77從幀內(nèi)預(yù) 測單元74被提供給計(jì)算單元63。
[0167] 與原始圖像數(shù)據(jù)相比，差分?jǐn)?shù)據(jù)在數(shù)據(jù)量方面較小。因此，與對原始圖像進(jìn)行編碼 而沒有對其進(jìn)行改變的情況相比，可以壓縮數(shù)據(jù)量。
[0168] 在步驟S14中，正交變換單元64使從計(jì)算單元63提供的差分信息經(jīng)受正交變化。 具體地，執(zhí)行諸如離散余弦變化、卡亨南-洛維變換等的正交變換，并且輸出變換系數(shù)。在 步驟S15中，量化單元65對變換系數(shù)進(jìn)行量化。在該量化時(shí)，控制速率，以使得將描述稍后 描述的步驟S25中的處理。
[0169] 如下對如此量化的差分信息進(jìn)行局部解碼。具體地，在步驟S16中，逆量化單元68 使用與量化單元65的特性對應(yīng)的特性，使經(jīng)量化單元65量化的變換系數(shù)經(jīng)受逆量化。在 步驟S17中，逆正交變換單元69使用與正交變換單元64的特性對應(yīng)的特性，使經(jīng)受了由逆 量化單元68執(zhí)行的逆量化的變換系數(shù)經(jīng)受逆正交變換。
[0170] 在步驟S18中，計(jì)算單元70將經(jīng)由預(yù)測圖像選擇單元77輸入的預(yù)測圖像與局部 解碼后的差分信息相加，并且生成局部解碼后的圖像（與到計(jì)算單元63的輸入對應(yīng)的圖 像）。在步驟S19中，去塊濾波器71使從計(jì)算單元70輸出的圖像經(jīng)受濾波。因此，去除了 塊失真。在步驟S20中，幀存儲(chǔ)器72存儲(chǔ)經(jīng)受了濾波的圖像。注意，未經(jīng)受由去塊濾波器 71執(zhí)行的濾波處理的圖像還從計(jì)算單元70被提供給幀存儲(chǔ)器72以進(jìn)行存儲(chǔ)。
[0171] 在步驟S21中，幀內(nèi)預(yù)測單元74和運(yùn)動(dòng)預(yù)測/補(bǔ)償單元76均執(zhí)行圖像預(yù)測處理。 具體地，在步驟S21中，幀內(nèi)預(yù)測單元74執(zhí)行幀內(nèi)預(yù)測模式下的幀內(nèi)預(yù)測處理。運(yùn)動(dòng)預(yù)測 /補(bǔ)償單元76執(zhí)行幀間預(yù)測模式下的運(yùn)動(dòng)預(yù)測和補(bǔ)償處理。
[0172] 稍后將參照圖8描述步驟S21中的預(yù)測處理的細(xì)節(jié)，但是根據(jù)該處理，執(zhí)行用作候 選的所有幀內(nèi)預(yù)測模式下的預(yù)測處理，并且計(jì)算用作候選的所有預(yù)測模式的成本函數(shù)值。 基于所算出的成本函數(shù)值選擇最佳幀內(nèi)預(yù)測模式，并且將通過最佳幀內(nèi)預(yù)測模式下的幀內(nèi) 預(yù)測生成的預(yù)測圖像及其成本函數(shù)值提供給預(yù)測圖像選擇單元77。
[0173] 具體地，此時(shí)，幀內(nèi)預(yù)測單元74將通過使用如下相鄰像素的幀內(nèi)預(yù)測而生成的預(yù) 測圖像提供給預(yù)測圖像選擇單元77 :通過6抽頭FIR濾波器和線性內(nèi)插，在取決于最佳幀 內(nèi)預(yù)測模式的移動(dòng)方向上以最佳移動(dòng)量移動(dòng)了該相鄰像素的相位。注意，關(guān)于最佳幀內(nèi)預(yù) 測模式的成本函數(shù)值連同預(yù)測圖像一起也被提供給預(yù)測圖像選擇單元77。
[0174] 另一方面，基于所算出的成本函數(shù)值，在幀間預(yù)測模式之中確定最佳幀間預(yù)測模 式，并且將在最佳幀間預(yù)測模式下所生成的預(yù)測圖像及其成本函數(shù)值提供給預(yù)測圖像選 擇單元77。
[0175] 在步驟S22中，預(yù)測圖像選擇單元77基于從幀內(nèi)預(yù)測單元74和運(yùn)動(dòng)預(yù)測/補(bǔ)償 單元76輸出的成本函數(shù)值，將最佳幀內(nèi)預(yù)測模式和最佳幀間預(yù)測模式之一確定為最佳預(yù) 測模式。然后，預(yù)測圖像選擇單元77選擇所確定的最佳預(yù)測模式下的預(yù)測圖像，并且將其 提供給計(jì)算單元63和70。如上所述，該預(yù)測圖像用于步驟S13和S18中的計(jì)算。
[0176] 注意，該預(yù)測圖像的選擇信息被提供給幀內(nèi)預(yù)測單元74或運(yùn)動(dòng)預(yù)測/補(bǔ)償單元 76。在選擇了最佳幀內(nèi)預(yù)測模式下的預(yù)測圖像的情況下，幀內(nèi)預(yù)測單元74將表示最佳幀內(nèi) 預(yù)測模式的信息（即，幀內(nèi)預(yù)測模式信息）和被確定為最佳的移動(dòng)量的信息提供給無損編 碼單元66。
[0177] 在選擇了最佳幀間預(yù)測模式下的預(yù)測圖像的情況下，運(yùn)動(dòng)預(yù)測/補(bǔ)償單元76將表 示最佳幀間預(yù)測模式的信息輸出到無損編碼單元66,并且根據(jù)需要，將取決于最佳幀間預(yù) 測模式的信息輸出到無損編碼單元66。取決于最佳幀間預(yù)測模式的信息的示例包括運(yùn)動(dòng)矢 量信息、標(biāo)志信息以及參考幀信息。具體地，在選擇了取決于幀間預(yù)測模式的預(yù)測圖像作為 最佳幀間預(yù)測模式的情況下，運(yùn)動(dòng)預(yù)測/補(bǔ)償單元76將幀間預(yù)測模式信息、運(yùn)動(dòng)矢量信息 以及參考幀信息輸出到無損編碼單元66。
[0178] 在步驟S23中，無損編碼單元66對從量化單元65輸出的量化后的變換系數(shù)進(jìn)行 編碼。具體地，使差分圖像經(jīng)受諸如可變長編碼、算術(shù)編碼等的無損編碼并對其進(jìn)行壓縮。 此時(shí)，在上述步驟S22中輸入到無損編碼單元66的、來自幀內(nèi)預(yù)測單元74的幀內(nèi)預(yù)測模式 信息或者來自運(yùn)動(dòng)預(yù)測/補(bǔ)償單元76的取決于最佳幀間預(yù)測模式的信息等也被編碼，并且 被添加到頭信息中。
[0179] 在步驟S24中，累積緩沖器67將差分圖像累積為壓縮圖像。累積在累積緩沖器67 中的壓縮圖像在適當(dāng)時(shí)被讀出，并且經(jīng)由傳輸路徑被傳輸?shù)浇獯a側(cè)。
[0180] 在步驟S25中，速率控制單元78基于累積在累積緩沖器67中的壓縮圖像來控制 量化單元65的量化操作的速率，以便不會(huì)引起上溢或下溢。
[0181][預(yù)測處理的描述]
[0182]接下來，將參照圖8中的流程圖描述圖7的步驟S21中的預(yù)測處理。
[0183] 在從畫面排序緩沖器62提供的、要處理的圖像是要經(jīng)受幀內(nèi)處理的塊中的圖像 的情況下，從幀存儲(chǔ)器72讀出要參考的解碼后的圖像，并且經(jīng)由開關(guān)73將其提供給幀內(nèi) 預(yù)測單元74。
[0184] 在步驟S31中，幀內(nèi)預(yù)測單元74使用所提供的圖像，使要處理的塊的像素經(jīng)受用 作候選的所有幀內(nèi)預(yù)測模式下的幀內(nèi)預(yù)測。注意，沒有經(jīng)過由去塊濾波器71執(zhí)行的去塊濾 波的像素用作要參考的解碼后的像素。
[0185] 稍后將參照圖20描述步驟S31中的幀內(nèi)預(yù)測處理的細(xì)節(jié)，但是根據(jù)該處理，使用 所有用作候選的幀內(nèi)預(yù)測模式執(zhí)行幀內(nèi)預(yù)測。針對用作候選的所有幀內(nèi)預(yù)測模式計(jì)算成本 函數(shù)值，并且基于所算出的成本函數(shù)值確定最佳幀內(nèi)預(yù)測模式。
[0186] 隨后，根據(jù)6抽頭FIR濾波器和線性內(nèi)插，在取決于所確定的最佳幀內(nèi)預(yù)測模式的 移動(dòng)方向上以最佳移動(dòng)量移動(dòng)相鄰像素的相位。使用相位已被移動(dòng)的相鄰像素，通過最佳 幀內(nèi)預(yù)測模式下的幀內(nèi)預(yù)測生成預(yù)測圖像。所生成的預(yù)測圖像和最佳幀內(nèi)預(yù)測模式的成本 函數(shù)值被提供給預(yù)測圖像選擇單元77。
[0187] 在從畫面排序緩沖器62提供的、要處理的圖像是要經(jīng)受幀間處理的圖像的情況 下，從幀存儲(chǔ)器72讀出要參考的圖像，并且經(jīng)由開關(guān)73將其提供給運(yùn)動(dòng)預(yù)測/補(bǔ)償單元 76。在步驟S32中，基于這些圖像，運(yùn)動(dòng)預(yù)測/補(bǔ)償單元76執(zhí)行幀間運(yùn)動(dòng)預(yù)測處理。也就 是說，運(yùn)動(dòng)預(yù)測/補(bǔ)償單元76參考從幀存儲(chǔ)器72提供的圖像，以執(zhí)行用作候選的所有幀間 預(yù)測模式下的運(yùn)動(dòng)預(yù)測處理。
[0188] 稍后將參照圖22描述步驟S32中的幀間運(yùn)動(dòng)預(yù)測處理的細(xì)節(jié)，但是根據(jù)該處理， 執(zhí)行用作候選的所有幀間預(yù)測模式下的運(yùn)動(dòng)預(yù)測處理，并且針對用作候選的所有幀間預(yù)測 模式計(jì)算成本函數(shù)值。
[0189] 在步驟S33中，運(yùn)動(dòng)預(yù)測/補(bǔ)償單元76比較在步驟S32中針對幀間預(yù)測模式所算 出的成本函數(shù)值，并且將提供最小值的預(yù)測模式確定為最佳幀間預(yù)測模式。運(yùn)動(dòng)預(yù)測/補(bǔ) 償單元76將在最佳幀間預(yù)測模式下所生成的預(yù)測圖像及其成本函數(shù)值提供給預(yù)測圖像選 擇單元77。
[0190][根據(jù)H. 264/AVC系統(tǒng)的幀內(nèi)預(yù)測處理的描述]
[0191] 接下來,將描述H. 264/AVC系統(tǒng)確定的幀內(nèi)預(yù)測模式。
[0192] 首先，將描述關(guān)于亮度信號的幀內(nèi)預(yù)測模式。對于亮度信號的幀內(nèi)預(yù)測模式，確定 幀內(nèi)4X4預(yù)測模式、幀內(nèi)8X8預(yù)測模式以及幀內(nèi)16X16預(yù)測模式的三種系統(tǒng)。這些是用 于確定塊單位的模式，并且是針對每個(gè)宏塊而設(shè)置的。另外，可將幀內(nèi)預(yù)測模式設(shè)置用于色 差信號，而與每個(gè)宏塊的亮度信號無關(guān)。
[0193] 此外，在幀內(nèi)4X4預(yù)測模式的情況下，針對每個(gè)4X4像素的當(dāng)前塊，可以從九種 預(yù)測模式之中設(shè)置一種預(yù)測模式。在幀內(nèi)8X8預(yù)測模式的情況下，針對每個(gè)8X8像素的 當(dāng)前塊，可以從九種預(yù)測模式之中設(shè)置一種預(yù)測模式。另外，在幀內(nèi)16X16預(yù)測模式的情 況下，對于16X16像素的當(dāng)前宏塊，可以從四種預(yù)測模式中設(shè)置一種預(yù)測模式。
[0194] 注意，在下文中，還適當(dāng)?shù)貙瑑?nèi)4X4預(yù)測模式、幀內(nèi)8X8預(yù)測模式以及幀內(nèi) 16X16預(yù)測模式分別稱為4X4像素幀內(nèi)預(yù)測模式、8X8像素幀內(nèi)預(yù)測模式以及16X16像 素幀內(nèi)預(yù)測模式。
[0195] 對于圖9中的示例，附于塊的數(shù)字1至25表示塊的位流順序（解碼側(cè)的處理順 序）。注意,對于亮度信號,宏塊被劃分成4X4像素，并且執(zhí)行4X4像素的DCT。僅在幀內(nèi) 16X16預(yù)測模式的情況下，如塊-1所示，收集塊的DC分量，生成4X4矩陣，并且這進(jìn)一步 經(jīng)受正交變換。
[0196] 另一方面，對于色差信號，在宏塊被劃分成4X4像素并且執(zhí)行4X4像素的DCT之 后，如塊16和17所示，收集塊的DC分量，生成2X2矩陣，并且這進(jìn)一步經(jīng)受正交變換。
[0197] 注意，對于幀內(nèi)8X8預(yù)測模式，這可僅應(yīng)用于如下情況：其中，以高端類（high profile)或在此之上的類使當(dāng)前宏塊經(jīng)受8X8正交變換。
[0198] 圖10和圖11是示出亮度信號的九種4X4像素的幀內(nèi)預(yù)測模式（Intra_4X4_ precLmode)的圖。除示出平均值（DC)預(yù)測的模式2之外的八種模式分別對應(yīng)于圖1中以 數(shù)字0、1、3至8表示的方向。
[0199] 將參照圖12描述九種intra_4X4_pred_mode。對于圖12中的示例，像素a至p 表示要經(jīng)受幀內(nèi)處理的塊的像素，并且像素值A(chǔ)至M表示屬于相鄰塊的像素的像素值。具 體地，像素a至p是從畫面排序緩沖器62讀出的要處理的圖像，并且像素值A(chǔ)至M是要從 幀存儲(chǔ)器72讀出并參考的經(jīng)解碼圖像的像素值。
[0200] 在圖10和圖11中示出的幀內(nèi)預(yù)測模式的情況下，使用屬于相鄰像素的像素的像 素值A(chǔ)至M，如下生成像素a至p的預(yù)測像素值。這里，像素值"可用"表示像素值是可用 的，而沒有像素位于圖像幀的邊緣或者尚未被編碼的原因。另一方面，像素值"不可用"表 示像素值由于像素位于圖像幀的邊緣或者尚未被編碼的原因而不可用。
[0201] 模式0是Vertical預(yù)測模式（垂直預(yù)測模式），并且僅應(yīng)用于像素值A(chǔ)至D"可 用"的情況。在該情況下，如以下表達(dá)式（7) -樣生成像素a至p的預(yù)測像素值。
[0202] 像素a、e、i和m的預(yù)測像素值=A
[0203] 像素b、f、j和η的預(yù)測像素值=B
[0204] 像素c、g、k和〇的預(yù)測像素值=C
[0205] 像素d、h、1和p的預(yù)測像素值=D... (7)
[0206] 模式1是Horizontal預(yù)測模式（水平預(yù)測模式），并且僅應(yīng)用于像素值I至L"可 用"的情況。在該情況下，如以下表達(dá)式（8) -樣生成像素a至p的預(yù)測像素值。
[0207] 像素a、b、c和d的預(yù)測像素值=I
[0208] 像素e、f、g和h的預(yù)測像素值=J
[0209]像素i、j、k和1的預(yù)測像素值=K
[0210] 像素m、η、〇和p的預(yù)測像素值=L···⑶
[0211] 模式2是DC預(yù)測模式，并且當(dāng)像素值A(chǔ)、B、C、D、I、J、K和L都"可用"時(shí)，如以下 表達(dá)式（9) 一樣生成預(yù)測像素值。
[0212] (A+B+C+D+I+J+K+L+4) ?3. . . (9)
[0213] 另外，當(dāng)像素值A(chǔ)、B、C和D都"不可用"時(shí)，如表達(dá)式（10) -樣生成預(yù)測像素值。
[0214] (I+J+K+L+2) ?2. . . (10)
[0215] 另外，當(dāng)像素值I、J、K和L都"不可用"時(shí)，如表達(dá)式（11) 一樣生成預(yù)測像素值。
[0216] (A+B+C+D+2) ?2. . . (11)
[0217] 注意，當(dāng)像素值A(chǔ)、B、C、D、I、J、K和L都"不可用"時(shí)，采用128作為預(yù)測像素值。
[0218] 模式3是Diagonal_Down_Left預(yù)測模式，并且僅應(yīng)用于像素值A(chǔ)、B、C、D、I、J、K、 L和M"可用"的情況。在該情況下，如以下表達(dá)式（12) -樣生成像素a至p的預(yù)測像素 值。
[0219] 像素a的預(yù)測像素值=(A+2B+C+2)>>2
[0220] 像素b和e的預(yù)測像素值=(B+2C+D+2) ?2
[0221] 像素c、f和i的預(yù)測像素值=(C+2D+E+2) ?2
[0222] 像素d、g、j和m的預(yù)測像素值=(D+2E+F+2) ?2
[0223] 像素h、k和η的預(yù)測像素值=(E+2F+G+2) ?2
[0224] 像素1和〇的預(yù)測像素值=(F+2G+H+2)>>2
[0225]像素p的預(yù)測像素值=(G+3H+2) ?2. · · (12)
[0226] 模式4是Diagonal_Down_Right預(yù)測模式，并且僅應(yīng)用于像素值A(chǔ)、B、C、D、I、J、 K、L和M"可用"的情況。在該情況下，如以下表達(dá)式（13) -樣生成像素a至p的預(yù)測像素 值。
[0227] 像素m的預(yù)測像素值=(J+2K+L+2)>>2
[0228] 像素i和η的預(yù)測像素值=(I+2J+K+2) ?2
[0229] 像素e、j和〇的預(yù)測像素值=(M+2I+J+2) ?2
[0230] 像素a、f、k和p的預(yù)測像素值=(A+2M+I+2) ?2
[0231] 像素b、g和1的預(yù)測像素值=(M+2A+B+2) ?2
[0232] 像素c和h的預(yù)測像素值=(A+2B+C+2) ?2
[0233]像素d的預(yù)測像素值=(B+2C+D+2) ?2. · · (13)
[0234] 模式5是Diagonal_Vertical_Right預(yù)測模式，并且僅應(yīng)用于像素值A(chǔ)、B、C、D、I、 J、K、L和M"可用"的情況。在該情況下，如以下表達(dá)式（14) 一樣生成像素a至p的預(yù)測 像素值。
[0235] 像素a和j的預(yù)測像素值=(M+A+1)》1
[0236] 像素b和k的預(yù)測像素值=(A+B+1)》1
[0237] 像素c和1的預(yù)測像素值=(B+C+1)》1
[0238] 像素d的預(yù)測像素值=(C+D+1)>>1
[0239] 像素e和η的預(yù)測像素值=(1+2M+A+2) ?2
[0240] 像素f和〇的預(yù)測像素值=(Μ+2Α+Β+2) ?2
[0241] 像素g和p的預(yù)測像素值=(A+2B+C+2) ?2
[0242] 像素h的預(yù)測像素值=(B+2C+D+2) ?2
[0243] 像素i的預(yù)測像素值=(M+2I+J+2)>>2
[0244]像素m的預(yù)測像素值=(I+2J+K+2) ?2. · · (14)
[0245] 模式6是HorizontalDown預(yù)測模式，并且僅應(yīng)用于像素值A(chǔ)、B、C、D、I、J、K、L和 M"可用"的情況。在該情況下，如以下表達(dá)式（15) -樣生成像素a至p的預(yù)測像素值。
[0246] 像素a和g的預(yù)測像素值=(M+I+l)》1
[0247] 像素b和h的預(yù)測像素值=(I+2M+A+2) ?2
[0248] 像素c的預(yù)測像素值=(M+2A+B+2)>>2
[0249] 像素d的預(yù)測像素值=(A+2B+C+2)>>2
[0250] 像素e和k的預(yù)測像素值=(Ι+J+l)》1
[0251] 像素f和1的預(yù)測像素值=(M+2I+J+2) ?2
[0252] 像素i和〇的預(yù)測像素值=(J+K+1)》1
[0253] 像素j和p的預(yù)測像素值=(I+2J+K+2) ?2
[0254] 像素m的預(yù)測像素值=(K+L+1)>>1
[0255]像素η的預(yù)測像素值=(J+2K+L+2) ?2. · · (15)
[0256] 模式7是Vertical_Left預(yù)測模式，并且僅應(yīng)用于像素值A(chǔ)、B、C、D、I、J、K、L和 M"可用"的情況。在該情況下，如以下表達(dá)式（16) -樣生成像素a至p的預(yù)測像素值。
[0257] 像素a的預(yù)測像素值=(A+B+1) ?1
[0258] 像素b和i的預(yù)測像素值=(B+C+1)》1
[0259] 像素c和j的預(yù)測像素值=(C+D+1)》1
[0260] 像素d和k的預(yù)測像素值=(D+E+1)》1
[0261] 像素1的預(yù)測像素值=(E+F+1)>>1
[0262] 像素e的預(yù)測像素值=(A+2B+C+2)>>2
[0263] 像素f和m的預(yù)測像素值=(B+2C+D+2) ?2
[0264] 像素g和η的預(yù)測像素值=(C+2D+E+2) ?2
[0265] 像素h和〇的預(yù)測像素值=(D+2E+F+2) ?2
[0266] 像素p的預(yù)測像素值=(E+2F+G+2)》2··· (16)
[0267] 模式8是Horizontal_Up預(yù)測模式，并且僅應(yīng)用于像素值A(chǔ)、B、C、D、I、J、K、L和 M"可用"的情況。在該情況下，如以下表達(dá)式（17) -樣生成像素a至p的預(yù)測像素值。
[0268] 像素a的預(yù)測像素值=(I+J+1) ?1
[0269] 像素b的預(yù)測像素值=(I+2J+K+2)>>2
[0270] 像素c和e的預(yù)測像素值=(J+K+1) >>1
[0271] 像素d和f的預(yù)測像素值=(J+2K+L+2) ?2
[0272] 像素g和i的預(yù)測像素值=(K+L+1)》1
[0273] 像素h和j的預(yù)測像素值=(K+3L+2) ?2
[0274] 像素k、l、m、n、o和p的預(yù)測像素值=L··· (17)
[0275] 接下來，將參照圖13描述亮度信號的4X4像素的幀內(nèi)預(yù)測模式（Intra_4X4_ pred_mode)的編碼系統(tǒng)。對于圖13中的示例，示出了由4X4個(gè)像素構(gòu)成的要進(jìn)行編碼的 當(dāng)前塊C，并且示出了與當(dāng)前塊C相鄰并由4X4個(gè)像素構(gòu)成的塊A和塊B。
[0276] 在該情況下，可以想到，當(dāng)前塊C中的Intra_4X4_pred_mode以及塊A和塊B中 的Intra_4X4_pred_m〇de具有高相關(guān)性。使用該相關(guān)性如下執(zhí)行編碼處理，從而可以實(shí)現(xiàn) 更高的編碼效率。
[0277] 具體地，對于圖13中的示例，將塊A和塊B中的Intra_4X4_pred_mode分別作為 Intra_4X4_pred_modeA和Intra_4X4_pred_modeB，并且MostProbableMode被定義為以 下表達(dá)式（18)。
[0278]MostProbableMode=Min(Intra_4X4_pred_modeA,Intra_4X4_pred_ modeB). . . (18)
[0279] 也就是說，在塊A和塊B之中，分配有較小的mode_number的一個(gè)塊被作為 MostProbableMode。
[0280]稱為prev_intra4X4_pred_mode_flag[luma4X4Blkldx]的兩個(gè)值在位流 內(nèi)被定義為關(guān)于當(dāng)前塊C的參數(shù)，并且通過基于以下表達(dá)式（19)中示出的偽代碼 的處理來執(zhí)行解碼處理，由此可以獲得關(guān)于當(dāng)前塊C的Intra_4X4_pred_mode和 Intra4X4PredMode[luma4X4Blkldx]的值。
[0281]if(prev_intra4X4_pred_mode_flag[luma4X4Blkldx])
[0282] Intra4X4PredMode[luma4X4Blkldx] = MostProbableMode
[0283]else
[0284] if (rem_intra4X 4_pred_mode [luma4X 4Blkldx] <MostProbableMode)
[0285]Intra4X4PredMode[Iuma4X4BIkIdx] =rem_intra4X4_pred_ mode[luma4X4Blkldx]
[0286]else
[0287]Intra4X4PredMode[Iuma4X4BIkIdx] =rem_intra4X4_pred_ mode[luma4X4Blkldx]+l. . . (19)
[0288] 接下來，將描述16X16像素的幀內(nèi)預(yù)測模式。圖14和圖15是示出亮度信號的四 種16X16像素巾貞內(nèi)預(yù)測模式（Intra_16X16_pred_mode)的圖。
[0289] 將參照圖16描述四種幀內(nèi)預(yù)測模式。對于圖16中的示例，示出了要經(jīng)受幀內(nèi)處 理的當(dāng)前宏塊A，并且P(X，y) ;x，y= -1，0,…，15表示與當(dāng)前宏塊A相鄰的像素的像素值。
[0290] 模式0是Vertical預(yù)測模式，并且僅在P(X，-I) ;x,y= -1，0,…，15 "可用"時(shí) 應(yīng)用。在該情況下，如以下表達(dá)式（20) -樣生成當(dāng)前宏塊A的每個(gè)像素的預(yù)測像素值 Pred(X，y)〇
[0291]Pred(x,y) =P(x, -I) ；x,y= 0, ···, 15. . . (20)
[0292] 模式1是Horizontal預(yù)測模式，并且僅在P(-1,y) ;χ,y= -I,0,…，15 "可用" 時(shí)應(yīng)用。在該情況下，如以下表達(dá)式（21) -樣生成當(dāng)前宏塊A的每個(gè)像素的預(yù)測像素值 Pred(X，y)〇
[0293]Pred(X，y)=P(-1，y) ;x，y= 0,…，15. · · (21)
[0294] 模式2是DC預(yù)測模式，并且在P(X，-1)和P(-1，y);X，y= -1，0,…，15都"可用" 的情況下，如以下表達(dá)式（22) -樣生成當(dāng)前宏塊A的每個(gè)像素的預(yù)測像素值Pred(x，y)。
[0295][數(shù)學(xué)表達(dá)式5]
[0296]

【權(quán)利要求】
1. 一種圖像處理設(shè)備，包括： 存儲(chǔ)器，其存儲(chǔ)根據(jù)以進(jìn)行編碼處理的圖像作為對象來對成為編碼處理的對象的對象 塊的像素進(jìn)行幀內(nèi)預(yù)測時(shí)所參照的相鄰像素； 選擇部，其根據(jù)對所述對象塊的像素進(jìn)行幀內(nèi)預(yù)測時(shí)的預(yù)測方向和塊大小，選擇是使 從所述存儲(chǔ)器讀出的相鄰像素的相位移動(dòng)、還是不使從所述存儲(chǔ)器讀出的相鄰像素的相位 移動(dòng)； 幀內(nèi)預(yù)測部，其利用所述相鄰像素，對所述對象塊的像素進(jìn)行幀內(nèi)預(yù)測，生成預(yù)測圖 像；以及 編碼部，其利用所述幀內(nèi)預(yù)測部生成的預(yù)測圖像，對所述圖像進(jìn)行編碼處理。
2. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中， 在所述選擇部選擇為使從所述存儲(chǔ)器讀出的相鄰像素的相位移動(dòng)的情況下，所述幀內(nèi) 預(yù)測部利用被移動(dòng)了相位的相鄰像素，對所述對象塊的像素進(jìn)行幀內(nèi)預(yù)測。
3. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中， 在所述選擇部選擇為不使從所述存儲(chǔ)器讀出的相鄰像素的相位移動(dòng)的情況下，所述幀 內(nèi)預(yù)測部利用未被移動(dòng)相位的相鄰像素，對所述對象塊的像素進(jìn)行幀內(nèi)預(yù)測。
4. 一種圖像處理方法，包括以下步驟： 圖像處理設(shè)備根據(jù)以進(jìn)行編碼處理的圖像作為對象來對成為編碼處理的對象的對象 塊的像素進(jìn)行幀內(nèi)預(yù)測時(shí)的預(yù)測方向和塊大小，選擇是使從存儲(chǔ)器讀出的相鄰像素的相位 移動(dòng)、還是不使從所述存儲(chǔ)器讀出的相鄰像素的相位移動(dòng)，其中，所述存儲(chǔ)器存儲(chǔ)對所述對 象塊的像素進(jìn)行幀內(nèi)預(yù)測時(shí)所參照的相鄰像素； 所述圖像處理設(shè)備利用所述相鄰像素，對所述對象塊的像素進(jìn)行幀內(nèi)預(yù)測，生成預(yù)測 圖像； 所述圖像處理設(shè)備利用所生成的預(yù)測圖像，對所述圖像進(jìn)行編碼處理。
5. 根據(jù)權(quán)利要求4所述的圖像處理方法，其中， 在被選擇為使從所述存儲(chǔ)器讀出的相鄰像素的相位移動(dòng)的情況下，利用被移動(dòng)了相位 的相鄰像素，對所述對象塊的像素進(jìn)行幀內(nèi)預(yù)測。
6. 根據(jù)權(quán)利要求4所述的圖像處理方法，其中， 在被選擇為不使從所述存儲(chǔ)器讀出的相鄰像素的相位移動(dòng)的情況下，利用未被移動(dòng)相 位的相鄰像素，對所述對象塊的像素進(jìn)行幀內(nèi)預(yù)測。
【文檔編號】H04N19/137GK104363457SQ201410567414
【公開日】2015年2月18日 申請日期:2010年4月22日 優(yōu)先權(quán)日:2009年4月24日
【發(fā)明者】佐藤數(shù)史 申請人:索尼公司