圖像處理設(shè)備和方法
【專利摘要】所公開的主題內(nèi)容涉及一種圖像處理設(shè)備和方法。一種圖像處理設(shè)備，包括：選擇部，其根據(jù)以對位流進行解碼處理而得到的圖像作為對象來對成為解碼處理的對象的對象塊的像素進行幀內(nèi)預(yù)測時的預(yù)測方向和塊大小，選擇是使對對象塊的像素進行幀內(nèi)預(yù)測時所參照的相鄰像素的相位移動、還是不使相鄰像素的相位移動；以及幀內(nèi)預(yù)測部，其利用相鄰像素，對該對象塊的像素進行幀內(nèi)預(yù)測。
【專利說明】圖像處理設(shè)備和方法
[0001] 本發(fā)明申請是 申請日期:為2010年4月22日、申請?zhí)枮?201080017179. 1"、發(fā)明名 稱為"圖像處理設(shè)備和方法"的發(fā)明專利申請的分案申請。

【技術(shù)領(lǐng)域】
[0002] 本發(fā)明涉及一種圖像處理設(shè)備和方法，并且具體地，涉及一種能夠抑制壓縮信息 的增加并且還能夠提高預(yù)測精度的圖像處理設(shè)備和方法。

【背景技術(shù)】
[0003] 近年來，如下設(shè)備已得到廣泛使用：其通過采用將圖像信息處理為數(shù)字信號的編 碼系統(tǒng)而使圖像經(jīng)受壓縮編碼，并且此時利用作為圖像信息的特征的冗余度，通過正交變 換（諸如，離散余弦變換等）和運動補償對圖像進行壓縮，以便執(zhí)行信息的高效傳輸和積 累。該編碼方法的示例包括MPEG (運動圖像專家組）等。
[0004] 具體地，MPEG2(IS0/IEC 13818-2)被定義為通用圖像編碼系統(tǒng)，并且是包括隔行 掃描圖像和逐行掃描圖像以及標準分辨率圖像和高清圖像兩者的標準。例如，現(xiàn)在，已通過 廣泛應(yīng)用于專業(yè)用途以及消費用途來采用MPEG2。通過采用MPEG2壓縮系統(tǒng)，在具有例如 720X480像素的標準分辨率的隔行掃描圖像的情況下，分配4Mbps至8Mbps的代碼量（比 特率）。通過采用MPEG2壓縮系統(tǒng)，在具有例如1920X 1088像素的高分辨率的隔行掃描圖 像的情況下，分配18Mbps至22Mbps的代碼量（比特率）。因此，可以實現(xiàn)高壓縮率和極好 的圖像質(zhì)量。
[0005] MPEG2主要針對適合于廣播用途的高圖像質(zhì)量編碼，但是不處理比MPEG1 (即，具 有較高壓縮率的編碼系統(tǒng)）的代碼量低的代碼量（比特率）。期望對這樣的編碼系統(tǒng)的需 求由于個人數(shù)字助理的普及而會從現(xiàn)在開始增加，并且響應(yīng)于此，執(zhí)行了 MPEG4編碼系統(tǒng) 的標準化。對于圖像編碼系統(tǒng)，其規(guī)范在1998年12月作為國際標準IS0/IEC 14496-2而 被承認。
[0006] 此外，近年來，稱為H. 26L(ITU-T Q6/16VCEG)的標準的標準化已隨著將用于電視 會議用途的圖像編碼作為目的而得以發(fā)展。對于H. 26L，已知盡管與諸如MPEG2或MPEG4的 傳統(tǒng)編碼系統(tǒng)相比，其編碼和解碼要求更大的計算量，但是實現(xiàn)了更高的編碼效率。另外， 同時，作為MEPG4的活動的一部分，已執(zhí)行標準化作為增強壓縮視頻編碼的聯(lián)合模型，其 中，該標準化用于以H. 26L為基礎(chǔ)、利用該H. 26L不支持的功能來實現(xiàn)更高的編碼效率。作 為標準化的進程，H. 264和MPEG-4第10部分（高級視頻編碼，下文中稱為H. 264/AVC)在 2003年3月成為國際標準。
[0007] 此外，作為其擴展，在2005年2月完成了包括業(yè)務(wù)用途所需的編碼工具（諸如 RGB、4:2:2或4:4:4)、MPEG-2規(guī)定的8 X 8DCT和量化矩陣的FRExt (保真度范圍擴展）的 標準化。因此，H.264/AVC已成為能夠甚至適當(dāng)?shù)乇憩F(xiàn)包括在電影中的影片噪聲的編碼系 統(tǒng)，并且已用于廣泛的應(yīng)用，諸如藍光盤（注冊商標）等。
[0008] 然而，如今，對更高壓縮率編碼的需求已增加，諸如期望壓縮具有大約4000X2000 個像素的圖像，該圖像是高清晰度（high-vision)圖像的四倍。替選地，對更高壓縮率編碼 的需求已增加，諸如期望將高清晰度圖像分布在具有有限傳輸容量的環(huán)境（如因特網(wǎng)）內(nèi)。 因此，對于在ITU-T控制下的上述VCEG(=視頻編碼專家組），已不斷地進行與提高編碼效 率有關(guān)的研究。
[0009] 例如，對于MPEG2系統(tǒng)，已通過線性內(nèi)插處理執(zhí)行了具有1/2像素精度的運動預(yù)測 和補償處理。另一方面，對于H. 264/AVC系統(tǒng)，已使用6抽頭FIR(有限脈沖響應(yīng)濾波器） 濾波器執(zhí)行了具有1/4像素精度的預(yù)測和補償處理。
[0010] 近年來，關(guān)于該具有1/4像素精度的預(yù)測和補償處理，已進行了用于進一步提高 H. 264/AVC系統(tǒng)的效率的研究。作為用于此的編碼系統(tǒng)之一，對于NPL 1，提出了具有1/8 像素精度的運動預(yù)測。
[0011] 具體地，對于 NPL 1，通過濾波器[-3，-12，-39, 158, 158，-39, 12，-3]/256 執(zhí)行具 有1/2像素精度的內(nèi)插處理。另外，通過濾波器[-3, 12,-37, 229, 71，-21，6, _1]/256執(zhí)行 具有1/4像素精度的內(nèi)插處理，并且通過線性內(nèi)插執(zhí)行具有1/8像素精度的內(nèi)插處理。
[0012] 以此方式，使用具有更高像素精度的內(nèi)插處理執(zhí)行運動預(yù)測，從而，尤其是對于在 分辨率方面具有高紋理的較慢的運動序列，可以提高預(yù)測精度，并且可以實現(xiàn)編碼效率的 提_。
[0013] 順便提及，作為H. 264/AVC系統(tǒng)相比于根據(jù)現(xiàn)有技術(shù)的MPEG2系統(tǒng)等而言實現(xiàn)高 編碼效率的一個因素，提出了采用接下來描述的幀內(nèi)預(yù)測系統(tǒng)。
[0014] 對于H. 264/AVC系統(tǒng)，對于亮度信號，定義了 4X4像素和8X8像素的塊單位的九 種預(yù)測模式以及16X16像素的宏塊單位的四種預(yù)測模式的幀內(nèi)預(yù)測模式。對于色差信號， 定義了 8X8像素的塊單位的四種預(yù)測模式的幀內(nèi)預(yù)測模式?？瑟毩⒂诹炼刃盘柕膸瑑?nèi)預(yù) 測模式來設(shè)置色差信號的幀內(nèi)預(yù)測模式。注意，預(yù)測模式的種類對應(yīng)于在圖1中以數(shù)字〇、 I、 3至8表示的方向。預(yù)測模式2是平均值預(yù)測。
[0015] 采用了這樣的幀內(nèi)預(yù)測系統(tǒng)，從而實現(xiàn)預(yù)測精度的提高。然而，對于H. 264/AVC系 統(tǒng)，如圖1的方向所示，僅執(zhí)行22.5度的增量的幀內(nèi)預(yù)測。因此，在邊緣的傾斜具有除此之 外的角度的情況下，限制了編碼效率的提高。
[0016] 因此，對于NPL 2,提出了進一步提高編碼效率，其中，以比22. 5度更細的角度執(zhí) 行預(yù)測。
[0017] 引用列表
[0018] 非專利文獻
[0019] NPL 1 :"Motion compensated prediction with 1/8-pel displacement vector resolution，'，VCEG-AD09, ITU-Telecommunications Standardization Sector STUDY GROUP Question 6Video coding Experts Group(VCEG), 2006 年 10 月 23 至 27 日
[0020] NPL 2:Virginie Drugeon, Thomas Wedi,和 Torsten Palfner, "High Precision Edge Prediction for Intra Coding"，2008


【發(fā)明內(nèi)容】

[0021] 技術(shù)問題
[0022] 然而，對于H. 264/AVC系統(tǒng)的幀內(nèi)預(yù)測，將要進行編碼的塊的預(yù)定相鄰像素用于 預(yù)測，但是另一方面，對于在NPL 2中描述的提案，還要使用除要進行編碼的塊的相鄰像 素之外的像素。
[0023] 因此，對于在NPL 2中描述的提案，即使當(dāng)以比22. 5度的增量更細的角度執(zhí)行預(yù) 測時，存儲器訪問次數(shù)和處理增加。
[0024] 本發(fā)明是考慮到這樣的情形而做出的，其進一步提高了幀內(nèi)預(yù)測的編碼效率，同 時抑制了存儲器訪問次數(shù)和處理的增加。
[0025] 對問題的解決方案
[0026] 根據(jù)本發(fā)明的第一方面的一種圖像處理設(shè)備包括：模式確定裝置，被配置成關(guān)于 針對圖像數(shù)據(jù)要經(jīng)受幀內(nèi)預(yù)測的幀內(nèi)預(yù)測塊的幀內(nèi)預(yù)測，確定預(yù)測模式；相移裝置，被配置 成根據(jù)取決于模式確定裝置確定的預(yù)測模式的移動方向和用作候選的移動量，移動以預(yù)定 的位置關(guān)系與幀內(nèi)預(yù)測塊相鄰的相鄰像素的相位；移動量確定裝置，被配置成使用相鄰像 素以及相位被相移裝置移動的相鄰像素，針對相鄰像素確定相位的最佳移動量；以及預(yù)測 圖像生成裝置，被配置成使用相位根據(jù)移動量確定裝置確定的最佳移動量而被移動的相鄰 像素，生成幀內(nèi)預(yù)測塊的預(yù)測圖像。
[0027] 圖像處理設(shè)備還可包括：編碼裝置，被配置成對幀內(nèi)預(yù)測塊的圖像與預(yù)測圖像生 成裝置生成的預(yù)測圖像之間的差分信息進行編碼，以生成編碼流；以及傳輸裝置，被配置成 將表示移動量確定裝置確定的最佳移動量的移動量信息、以及表示模式確定裝置確定的預(yù) 測模式的預(yù)測模式信息連同編碼裝置生成的編碼流一起進行傳輸。
[0028] 編碼裝置可將表示關(guān)于幀內(nèi)預(yù)測塊所確定的最佳移動量與關(guān)于提供 MostProbableMode的塊所確定的最佳移動量之間的差分的差分信息編碼為移動量信息，并 且傳輸裝置可傳輸編碼裝置生成的編碼流和差分信息。
[0029] 相移裝置可在模式確定裝置確定的預(yù)測模式是DC預(yù)測模式的情況下，禁止相位 的移動。
[0030] 在模式確定裝置確定的預(yù)測模式是Vertical (垂直）預(yù)測模式、Diag_Down_ Left(對角線_下_左）預(yù)測模式或者Vertical_Left(垂直_左）預(yù)測模式的情況下， 相移裝置可針對相鄰像素中的上部相鄰像素，根據(jù)用作候選的移動量移動水平方向上的相 位，并且針對相鄰像素中的左部相鄰像素，禁止移動垂直方向上的相位。
[0031] 在模式確定裝置確定的預(yù)測模式是Horizontal (水平）預(yù)測模式或Horizontal Up (水平_上）預(yù)測模式的情況下，相移裝置可針對相鄰像素中的左部相鄰像素，根據(jù)用作 候選的移動量移動垂直方向上的相位，并且針對相鄰像素中的上部相鄰像素，禁止移動水 平方向上的相位。
[0032] 模式確定裝置可確定幀內(nèi)預(yù)測的所有預(yù)測模式，相移裝置可根據(jù)取決于模式確定 裝置確定的所有預(yù)測模式的移動方向和用作候選的移動量，移動相鄰像素的相位，并且移 動量確定裝置可使用相鄰像素和相位被相移裝置移動的相鄰像素，針對相鄰像素確定相位 的最佳移動量和最佳預(yù)測模式。
[0033] 圖像處理設(shè)備還可包括被配置成關(guān)于圖像的幀間運動預(yù)測塊執(zhí)行幀間運動預(yù)測 的運動預(yù)測補償裝置，并且相移裝置可使用在運動預(yù)測補償裝置執(zhí)行小數(shù)像素精度預(yù)測時 所使用的濾波器，移動相鄰像素的相位。
[0034] 根據(jù)本發(fā)明的第一方面的圖像處理方法可包括以下步驟：使得圖像處理設(shè)備執(zhí)行 如下處理：關(guān)于針對圖像數(shù)據(jù)要被處理用于幀內(nèi)預(yù)測的幀內(nèi)預(yù)測塊，確定幀內(nèi)預(yù)測的預(yù)測 模式；根據(jù)取決于所確定的預(yù)測模式的移動方向和用作候選的移動量，移動以預(yù)定位置關(guān) 系與幀內(nèi)預(yù)測塊相鄰的相鄰像素的相位；使用相鄰像素和相位被移動的相鄰像素，針對相 鄰像素確定相位的最佳移動量；以及使用相位根據(jù)所確定的最佳移動量而被移動的相鄰像 素，生成幀內(nèi)預(yù)測塊的預(yù)測圖像。
[0035] 根據(jù)本發(fā)明的第二方面的一種圖像處理設(shè)備包括：接收裝置，被配置成接收預(yù)測 模式信息和移動量信息，其中，該預(yù)測模式信息關(guān)于要被處理用于幀內(nèi)預(yù)測的幀內(nèi)預(yù)測塊 來表示幀內(nèi)預(yù)測的預(yù)測模式，該移動量信息表示用于根據(jù)預(yù)測模式信息表示的預(yù)測模式而 移動以預(yù)定的位置關(guān)系與幀內(nèi)預(yù)測塊相鄰的相鄰像素的相位的移動量；相移裝置，被配置 成根據(jù)取決于接收裝置接收到的預(yù)測模式的移動方向和移動量移動相鄰像素的相位；以及 預(yù)測圖像生成裝置，被配置成使用相位被相移裝置移動的相鄰像素，生成幀內(nèi)預(yù)測塊的預(yù) 測圖像。
[0036] 接收裝置可接收表示關(guān)于幀內(nèi)預(yù)測塊的移動量與關(guān)于提供MostProbableMode的 塊的移動量之間的差分的差分信息，作為移動量信息。
[0037] 圖像處理設(shè)備還可包括解碼裝置，該解碼裝置被配置成使用預(yù)測圖像生成裝置生 成的預(yù)測圖像，對幀內(nèi)預(yù)測塊進行解碼。
[0038] 解碼裝置可對接收裝置接收到的預(yù)測模式信息和移動量信息進行解碼。
[0039] 在經(jīng)解碼裝置解碼的預(yù)測模式是DC預(yù)測模式的情況下，相移裝置可禁止移動相 鄰像素的相位。
[0040] 在經(jīng)解碼裝置解碼的預(yù)測模式是Vertical預(yù)測模式、Diag_Down_Left預(yù)測模式 或VerticalLeft預(yù)測模式的情況下，相移裝置可針對相鄰像素中的上部相鄰像素，根據(jù) 經(jīng)解碼裝置解碼的移動量移動水平方向上的相位，并且針對相鄰像素中的左部相鄰像素， 禁止移動垂直方向上的相位。
[0041] 在經(jīng)解碼裝置解碼的預(yù)測模式是Horizontal預(yù)測模式或Horizontal_Up預(yù)測模 式的情況下，相移裝置可針對相鄰像素中的左部相鄰像素，根據(jù)經(jīng)解碼裝置解碼的移動量 移動垂直方向上的相位，并且針對相鄰像素中的上部相鄰像素，禁止移動水平方向上的相 位。
[0042] 圖像處理設(shè)備還可包括運動預(yù)測補償裝置，該運動預(yù)測補償裝置被配置成使用要 由解碼裝置解碼的運動矢量以及經(jīng)編碼的幀間運動預(yù)測塊，執(zhí)行幀間運動預(yù)測，并且相移 裝置可使用要在運動預(yù)測補償裝置執(zhí)行小數(shù)像素精度預(yù)測時所使用的濾波器來移動相鄰 像素的相位。
[0043] 根據(jù)本發(fā)明的第二方面的圖像處理方法包括以下步驟：使得圖像處理設(shè)備：接收 預(yù)測模式信息和移動量信息，其中，該預(yù)測模式信息關(guān)于要被處理用于幀內(nèi)預(yù)測的幀內(nèi)預(yù) 測塊來表示幀內(nèi)預(yù)測的預(yù)測模式，該移動量信息表示用于根據(jù)預(yù)測模式信息表示的預(yù)測模 式而移動以預(yù)定的位置關(guān)系與幀內(nèi)預(yù)測塊相鄰的相鄰像素的相位的移動量；根據(jù)取決于所 接收到的預(yù)測模式的移動方向和移動量移動相鄰像素的相位；以及使用相位被移動的相鄰 像素，生成幀內(nèi)預(yù)測塊的預(yù)測圖像。
[0044] 對于本發(fā)明的第一方面，關(guān)于針對圖像數(shù)據(jù)要被處理用于幀內(nèi)預(yù)測的幀內(nèi)預(yù)測 塊，確定幀內(nèi)預(yù)測的預(yù)測模式，并且根據(jù)取決于所確定的預(yù)測模式的移動方向和用作候選 的移動量，移動以預(yù)定的位置關(guān)系與幀內(nèi)預(yù)測塊相鄰的相鄰像素的相位。隨后，使用相鄰像 素和相位被移動的相鄰像素，針對相鄰像素確定相位的最佳移動量，并且使用相位根據(jù)所 確定的最佳移動量而被移動的相鄰像素生成幀內(nèi)預(yù)測塊的預(yù)測圖像。
[0045] 對于本發(fā)明的第二方面，接收預(yù)測模式信息和移動量信息，并且根據(jù)取決于所接 收到的預(yù)測模式的移動方向和移動量來移動相鄰像素的相位，其中，該預(yù)測模式信息關(guān)于 要被處理用于幀內(nèi)預(yù)測的幀內(nèi)預(yù)測塊來表示幀內(nèi)預(yù)測的預(yù)測模式，該移動量信息表示用于 根據(jù)預(yù)測模式信息表示的預(yù)測模式而移動以預(yù)定的位置關(guān)系與幀內(nèi)預(yù)測塊相鄰的相鄰像 素的相位的移動量。隨后，使用相位被移動的相鄰像素，生成幀內(nèi)預(yù)測塊的預(yù)測圖像。
[0046] 注意，上述圖像處理設(shè)備可以是獨立設(shè)備，或者可以是構(gòu)成單個圖像編碼設(shè)備或 圖像解碼設(shè)備的內(nèi)部塊。
[0047] 根據(jù)本發(fā)明的第三方面的一種圖像處理設(shè)備包括：選擇部，其根據(jù)以對位流進行 解碼處理而得到的圖像作為對象來對成為解碼處理的對象的對象塊的像素進行幀內(nèi)預(yù)測 時的預(yù)測方向和塊大小，選擇是使對該對象塊的像素進行幀內(nèi)預(yù)測時所參照的相鄰像素的 相位移動、還是不使相鄰像素的相位移動；以及幀內(nèi)預(yù)測部，其利用相鄰像素，對該對象塊 的像素進行幀內(nèi)預(yù)測。
[0048] 根據(jù)本發(fā)明的第四方面的一種圖像處理方法包括以下步驟：圖像處理設(shè)備根據(jù)以 對位流進行解碼處理而得到的圖像作為對象來對成為解碼處理的對象的對象塊的像素進 行幀內(nèi)預(yù)測時的預(yù)測方向和塊大小，選擇是使對該對象塊的像素進行幀內(nèi)預(yù)測時所參照的 相鄰像素的相位移動、還是不使相鄰像素的相位移動；圖像處理設(shè)備利用相鄰像素，對該對 象塊的像素進行幀內(nèi)預(yù)測。
[0049] 本發(fā)明的有益效果
[0050] 根據(jù)本發(fā)明的第一方面，可通過幀內(nèi)預(yù)測生成預(yù)測圖像。另外，根據(jù)本發(fā)明的第一 方面，可提高編碼效率而不會增加存儲器訪問次數(shù)和處理。
[0051] 根據(jù)本發(fā)明的第二方面，可通過幀內(nèi)預(yù)測生成預(yù)測圖像。另外，根據(jù)本發(fā)明的第二 方面，可提高編碼效率而不會增加存儲器訪問次數(shù)和處理。

【專利附圖】

【附圖說明】
[0052] 圖1是用于描述4X4像素的幀內(nèi)預(yù)測的方向的圖。
[0053] 圖2是示出應(yīng)用了本發(fā)明的圖像編碼設(shè)備的實施例的配置的框圖。
[0054] 圖3是用于描述具有1/4像素精度的運動預(yù)測和補償處理的圖。
[0055] 圖4是用于描述多參考幀的運動預(yù)測和補償方法的圖。
[0056] 圖5是用于描述運動矢量信息生成方法的示例的圖。
[0057] 圖6是示出幀內(nèi)預(yù)測單元和相鄰像素內(nèi)插單元的配置示例的框圖。
[0058] 圖7是用于描述圖2中的圖像編碼設(shè)備的編碼處理的流程圖。
[0059] 圖8是用于描述圖7的步驟S21中的預(yù)測處理的流程圖。
[0060] 圖9是用于描述16X 16像素的幀內(nèi)預(yù)測模式的情況下的處理順序的圖。
[0061] 圖10是示出亮度信號的4X4像素的幀內(nèi)預(yù)測模式的種類的圖。
[0062] 圖11是示出亮度信號的4X4像素的幀內(nèi)預(yù)測模式的種類的圖。
[0063] 圖12是用于描述4X4像素的幀內(nèi)預(yù)測的方向的圖。
[0064] 圖13是用于描述4X4像素的幀內(nèi)預(yù)測的圖。
[0065] 圖14是用于描述亮度信號的4X4像素的幀內(nèi)預(yù)測模式的編碼的圖。
[0066] 圖15是示出亮度信號的16X16像素的幀內(nèi)預(yù)測模式的種類的圖。
[0067] 圖16是示出亮度信號的16X 16像素的幀內(nèi)預(yù)測模式的種類的圖。
[0068] 圖17是用于描述16X16像素的幀內(nèi)預(yù)測的圖。
[0069] 圖18是用于描述實現(xiàn)具有小數(shù)像素精度的幀內(nèi)預(yù)測的操作的圖。
[0070] 圖19是用于描述具有小數(shù)像素精度的幀內(nèi)預(yù)測的有益效果示例的圖。
[0071] 圖20是用于描述圖8的步驟S31中的幀內(nèi)預(yù)測處理的流程圖。
[0072] 圖21是用于描述圖20的步驟S45中的相鄰像素內(nèi)插處理的流程圖。
[0073] 圖22是用于描述圖8的步驟S32中的幀間運動預(yù)測處理的流程圖。
[0074] 圖23是示出幀內(nèi)預(yù)測單元和相鄰像素內(nèi)插單元的另一配置示例的框圖。
[0075] 圖24是用于描述圖8的步驟S31中的幀內(nèi)預(yù)測處理的另一示例的流程圖。
[0076] 圖25是用于描述圖24的步驟S101中的相鄰像素內(nèi)插處理的流程圖。
[0077] 圖26是示出應(yīng)用了本發(fā)明的圖像解碼設(shè)備的實施例的配置的框圖。
[0078] 圖27是示出幀內(nèi)預(yù)測單元和相鄰像素內(nèi)插單元的另一配置示例的框圖。
[0079] 圖28是用于描述圖26中的圖像解碼設(shè)備的解碼處理的流程圖。
[0080] 圖29是用于描述圖28的步驟S138中的預(yù)測處理的流程圖。
[0081] 圖30是示出計算機的硬件的配置示例的框圖。

【具體實施方式】
[0082] 根據(jù)本發(fā)明的第一方面的一種圖像處理設(shè)備包括：模式確定裝置，被配置成關(guān)于 針對圖像數(shù)據(jù)要經(jīng)受幀內(nèi)預(yù)測的幀內(nèi)預(yù)測塊的幀內(nèi)預(yù)測，確定預(yù)測模式；相移裝置，被配置 成根據(jù)取決于模式確定裝置確定的預(yù)測模式的移動方向和用作候選的移動量，移動以預(yù)定 的位置關(guān)系與幀內(nèi)預(yù)測塊相鄰的相鄰像素的相位；移動量確定裝置，被配置成使用相鄰像 素以及相位被相移裝置移動的相鄰像素，針對相鄰像素確定相位的最佳移動量；以及預(yù)測 圖像生成裝置，被配置成使用相位根據(jù)移動量確定裝置確定的最佳移動量而被移動的相鄰 像素，生成幀內(nèi)預(yù)測塊的預(yù)測圖像。
[0083] 根據(jù)本發(fā)明的第一方面的圖像處理方法包括以下步驟：使得圖像處理設(shè)備執(zhí)行如 下處理：關(guān)于針對圖像數(shù)據(jù)要被處理用于幀內(nèi)預(yù)測的幀內(nèi)預(yù)測塊，確定幀內(nèi)預(yù)測的預(yù)測模 式；根據(jù)取決于所確定的預(yù)測模式的移動方向和用作候選的移動量，移動以預(yù)定位置關(guān)系 與幀內(nèi)預(yù)測塊相鄰的相鄰像素的相位；使用相鄰像素和相位被移動的相鄰像素，針對相鄰 像素確定相位的最佳移動量；以及使用相位根據(jù)所確定的最佳移動量而被移動的相鄰像 素，生成幀內(nèi)預(yù)測塊的預(yù)測圖像。
[0084] 根據(jù)本發(fā)明的第二方面的一種圖像處理設(shè)備包括：接收裝置，被配置成接收預(yù)測 模式信息和移動量信息，其中，該預(yù)測模式信息關(guān)于要被處理用于幀內(nèi)預(yù)測的幀內(nèi)預(yù)測塊 來表示幀內(nèi)預(yù)測的預(yù)測模式，該移動量信息表示用于根據(jù)預(yù)測模式信息表示的預(yù)測模式而 移動以預(yù)定的位置關(guān)系與幀內(nèi)預(yù)測塊相鄰的相鄰像素的相位的移動量；相移裝置，被配置 成根據(jù)取決于接收裝置接收到的預(yù)測模式的移動方向和移動量移動相鄰像素的相位；以及 預(yù)測圖像生成裝置，被配置成使用相位被相移裝置移動的相鄰像素，生成幀內(nèi)預(yù)測塊的預(yù) 測圖像。
[0085] 根據(jù)本發(fā)明的第二方面的圖像處理方法包括以下步驟：使得圖像處理設(shè)備：接收 預(yù)測模式信息和移動量信息，其中，該預(yù)測模式信息關(guān)于要被處理用于幀內(nèi)預(yù)測的幀內(nèi)預(yù) 測塊來表示幀內(nèi)預(yù)測的預(yù)測模式，該移動量信息表示用于根據(jù)預(yù)測模式信息表示的預(yù)測模 式而移動以預(yù)定的位置關(guān)系與幀內(nèi)預(yù)測塊相鄰的相鄰像素的相位的移動量；根據(jù)取決于所 接收到的預(yù)測模式的移動方向和移動量移動相鄰像素的相位；以及使用相位被移動的相鄰 像素，生成幀內(nèi)預(yù)測塊的預(yù)測圖像。
[0086] 在下文中，將參照附圖描述本發(fā)明的實施例。
[0087][圖像編碼設(shè)備的配置示例]
[0088] 圖2表示用作應(yīng)用了本發(fā)明的圖像處理設(shè)備的圖像編碼設(shè)備的實施例的配置。
[0089] 該圖像編碼設(shè)備51使用例如H/. 264和MPEG-4第10部分（高級視頻編碼）（下 文中被描述為264/AVC)系統(tǒng)來使圖像經(jīng)受壓縮編碼。
[0090] 對于圖2中的示例，圖像編碼設(shè)備51由以下部分構(gòu)成：A/D轉(zhuǎn)換單元61、畫面排序 緩沖器62、計算單元63、正交變換單元64、量化單元65、無損編碼單元66、累積緩沖器67、 逆量化單元68、逆正交變換單元69、計算單元70、去塊（deblocking)濾波器71、巾貞存儲器 72、開關(guān)73、幀內(nèi)預(yù)測單元74、相鄰像素內(nèi)插單元75、運動預(yù)測/補償單元76、預(yù)測圖像選 擇單元77以及速率控制單元78。
[0091] A/D轉(zhuǎn)換單元61將輸入圖像從模擬轉(zhuǎn)換為數(shù)字，并且輸出到畫面排序緩沖器62以 進行存儲。畫面排序緩沖器62根據(jù)G0P(圖片組），將按所存儲的用于顯示的順序的幀的圖 像排序為用于編碼的幀的順序。
[0092] 計算單元63從自畫面排序緩沖器62讀出的圖像中減去來自幀內(nèi)預(yù)測單元74的、 由預(yù)測圖像選擇單元77選擇的預(yù)測圖像或者來自運動預(yù)測/補償單元76的預(yù)測圖像，并 且將其差分信息輸出到正交變換單元64。正交變換單元64使來自計算單元63的差分信息 經(jīng)受正交變化（諸如，離散余弦變換、卡亨南-洛維（Karhunen-L 〇6Ve)變換等），并且輸出 其變換系數(shù)。量化單元65對正交變換單元64輸出的變換系數(shù)進行量化。
[0093] 作為量化單元65的輸出的、量化后的變換系數(shù)被輸入到無損編碼單元66,并且經(jīng) 受諸如可變長編碼、算術(shù)編碼等的無損編碼并被壓縮。
[0094] 無損編碼單元66從幀內(nèi)預(yù)測單元74獲得表示幀內(nèi)預(yù)測的信息等，并且從運動預(yù) 測/補償單元76獲得表示幀間預(yù)測模式的信息等。注意，在下文中，也將表示幀內(nèi)預(yù)測的 信息稱為幀內(nèi)預(yù)測模式信息。另外，也將表示指示幀間預(yù)測的信息模式的信息稱為幀間預(yù) 測模式信息。
[0095] 無損編碼單元66對量化后的變換系數(shù)進行編碼，并且還對表示幀內(nèi)預(yù)測的信 息、表示幀間預(yù)測模式的信息等進行編碼，并且將這些作為壓縮圖像中的頭信息（header information)的一部分。無損編碼單元66將經(jīng)編碼的數(shù)據(jù)提供給累積緩沖器67以進行累 積。
[0096] 例如，對于無損編碼單元66,執(zhí)行無損編碼處理，諸如可變長編碼、算術(shù)編碼等?？?變長編碼的示例包括H. 264/AVC系統(tǒng)確定的CAVLC(上下文自適應(yīng)的可變長編碼）。算術(shù)編 碼的示例包括CABAC(上下文自適應(yīng)的二進制算術(shù)編碼）。
[0097] 累積緩沖器67將從無損編碼單元66提供的數(shù)據(jù)作為經(jīng)H. 264/AVC系統(tǒng)編碼的壓 縮圖像輸出到例如未在圖中示出的下游存儲設(shè)備或傳輸路徑等。
[0098] 另外，從量化單元65輸出的、量化后的變換系數(shù)還被輸入到逆量化單元68,經(jīng)受 逆量化，并且接著在逆正交變換單元69處進一步經(jīng)受逆正交變換。計算單元70將經(jīng)受了 逆正交變換的輸出與從預(yù)測圖像選擇單元77提供的預(yù)測圖像相加，并且將其改變成局部 解碼后的圖像。去塊濾波器71從解碼后的圖像中去除塊失真，并且接著將其提供給幀存儲 器72以進行累積。在去塊濾波器71執(zhí)行去塊濾波處理之前的圖像還被提供給幀存儲器72 以進行累積。
[0099] 開關(guān)73將幀存儲器72中所累積的參考圖像輸出到運動預(yù)測/補償單元76或幀 內(nèi)預(yù)測單元74。
[0100] 對于該圖像編碼設(shè)備51，例如，來自畫面排序緩沖器62的I圖片、B圖片以及P圖 片作為要經(jīng)受幀內(nèi)預(yù)測（也稱為幀內(nèi)處理）的圖像被提供給幀內(nèi)預(yù)測單元74。另外，從畫 面排序緩沖器62讀出的B圖片和P圖片作為要經(jīng)受幀間預(yù)測（也稱為幀間處理）的圖像 被提供給運動預(yù)測/補償單元76。
[0101] 幀內(nèi)預(yù)測單元74基于從畫面排序緩沖器62讀出的、要經(jīng)受幀內(nèi)預(yù)測的圖像以及 從幀存儲器72提供的參考圖像，執(zhí)行對用作候選的所有幀內(nèi)預(yù)測模式的幀內(nèi)預(yù)測處理，以 生成預(yù)測圖像。
[0102] 幀內(nèi)預(yù)測單元74針對生成了預(yù)測圖像的幀內(nèi)預(yù)測模式計算成本函數(shù)值，并且選 擇所算出的成本函數(shù)值提供最小值的幀內(nèi)預(yù)測模式作為最佳幀內(nèi)預(yù)測模式。幀內(nèi)預(yù)測單元 74將與用于幀內(nèi)預(yù)測的當(dāng)前塊相鄰的相鄰像素和最佳幀內(nèi)預(yù)測模式信息提供給相鄰像素 內(nèi)插單元75。
[0103] 相鄰像素內(nèi)插單元75將相鄰像素的相位在取決于來自幀內(nèi)預(yù)測單元74的最佳幀 內(nèi)預(yù)測模式的移動方向上移動用作候選的移動量。實際上，相鄰像素內(nèi)插單元75關(guān)于取決 于最佳幀內(nèi)預(yù)測模式的移動方向?qū)?抽頭FIR濾波器應(yīng)用于相鄰像素，以執(zhí)行線性內(nèi)插， 從而以小數(shù)像素精度移動相鄰像素的相位。因此，在下文中，為了便于描述，將相位已通過 6抽頭FIR濾波器和線性內(nèi)插移動的相鄰像素適當(dāng)?shù)胤Q為內(nèi)插的相鄰像素或相位已被移動 的相鄰像素，但是這些具有相同的含義。
[0104] 相鄰像素內(nèi)插單元75將相位已被移動的相鄰像素提供給幀內(nèi)預(yù)測單元74。
[0105] 幀內(nèi)預(yù)測單元74使用來自相鄰圖像緩沖器81的相鄰像素的像素值以及相位已被 相鄰像素內(nèi)插單元75移動的相鄰像素的像素值，針對相鄰像素確定相位的最佳移動量。另 夕卜，幀內(nèi)預(yù)測單元74使用相位已被移動了所確定的最佳移動量的相鄰像素的像素值，生成 當(dāng)前塊的預(yù)測圖像，并且將所生成的預(yù)測圖像和關(guān)于相應(yīng)的最佳幀內(nèi)預(yù)測模式所算出的成 本函數(shù)值提供給預(yù)測圖像選擇單元77。
[0106] 在預(yù)測圖像選擇單元77選擇了在最佳幀內(nèi)預(yù)測模式下生成的預(yù)測圖像的情況 下，幀內(nèi)預(yù)測單元74將表示最佳幀內(nèi)預(yù)測模式的信息和最佳移動量的信息提供給無損編 碼單元66。在從幀內(nèi)預(yù)測單元74傳輸了信息的情況下，無損編碼單元66對該信息進行編 碼，并且將此作為壓縮圖像中的頭信息的一部分。
[0107] 運動預(yù)測/補償單元76關(guān)于用作候選的所有幀間預(yù)測模式執(zhí)行運動預(yù)測和補償 處理。具體地，對于運動預(yù)測/補償單元76,提供從畫面排序緩沖器62讀出的、要經(jīng)受幀間 處理的圖像，并且經(jīng)由開關(guān)73從幀存儲器72提供參考圖像。運動預(yù)測/補償單元76基于 要經(jīng)受幀間處理的圖像和參考圖像，檢測用作候選的所有幀間預(yù)測模式的運動矢量，基于 運動矢量使參考圖像經(jīng)受補償處理，并且生成預(yù)測圖像。
[0108] 另外，運動預(yù)測/補償單元76針對用作候選的所有幀間預(yù)測模式計算成本函數(shù) 值。運動預(yù)測/補償單元76在所算出的成本函數(shù)值中，將提供最小值的預(yù)測模式確定為最 佳幀間預(yù)測模式。
[0109] 運動預(yù)測/補償單元76將在最佳幀間預(yù)測模式下所生成的預(yù)測圖像及其成本函 數(shù)值提供給預(yù)測圖像選擇單元77。在預(yù)測圖像選擇單元77選擇了在最佳幀間預(yù)測模式下 所生成的預(yù)測圖像的情況下，運動預(yù)測/補償單元76將表示最佳幀間預(yù)測模式的信息（幀 間預(yù)測模式信息）提供給無損編碼單元66。
[0110] 注意，根據(jù)需要，運動矢量信息、標志信息、參考幀信息等被輸出到無損編碼單元 66。無損編碼單元66還使來自運動預(yù)測/補償單元76的信息經(jīng)受無損編碼處理（諸如， 可變長編碼或算術(shù)編碼），并且插入到壓縮圖像的頭部中。
[0111] 預(yù)測圖像選擇單元77基于從幀內(nèi)預(yù)測單元74或運動預(yù)測/補償單元76輸出的 成本函數(shù)值，從最佳幀內(nèi)預(yù)測模式和最佳幀間預(yù)測模式中確定最佳預(yù)測模式。然后，預(yù)測圖 像選擇單元77選擇所確定的最佳預(yù)測模式下的預(yù)測圖像，并且提供給計算單元63和70。 此時，預(yù)測圖像選擇單元77將預(yù)測圖像的選擇信息提供給幀內(nèi)預(yù)測單元74或運動預(yù)測/ 補償單元76。
[0112] 速率控制單元78基于在累積緩沖器67中所累積的壓縮圖像，控制量化單元65的 量化操作的速率，以便不引起上溢或下溢。
[0113] [H. 264/AVC 系統(tǒng)的描述]
[0114] 圖3是示出根據(jù)H. 264/AVC系統(tǒng)的運動預(yù)測和補償?shù)膲K大小的示例的圖。對于 H. 264/AVC系統(tǒng)，通過使塊大小可變來執(zhí)行運動預(yù)測和補償。
[0115] 在圖中3的上排，從左開始按順序示出了由被劃分成16X16像素、16X8像素、 8X16像素以及8X8像素的分區(qū)（partition)的16X16個像素構(gòu)成的宏塊。另外，在圖3 中的下排，從左開始按順序示出了被劃分成8X8像素、8X4像素、4X8像素以及4X4像素 的子分區(qū)的8X8像素分區(qū)。
[0116] 具體地，對于H. 264/AVC系統(tǒng)，一個宏塊可被劃分成16X 16像素、16X8像素、 8X16像素以及8X8像素的分區(qū)之一，其中每個分區(qū)具有獨立的運動矢量信息。另外，8X8 像素分區(qū)可被劃分成8X8像素、8X4像素、4X8像素以及4X4像素的子分區(qū)之一，其中每 個子分區(qū)具有獨立的運動矢量信息。
[0117] 圖4是用于描述根據(jù)H. 264/AVC系統(tǒng)的具有1/4像素精度的預(yù)測和補償處理的 圖。對于H. 264/AVC系統(tǒng)，使用6抽頭FIR (有限脈沖響應(yīng)濾波器）濾波器執(zhí)行具有1/4像 素精度的預(yù)測和補償處理。
[0118] 對于圖4中的示例，位置A表示整數(shù)精度像素的位置，位置b、c和d表示具有1/2 像素精度的位置，以及位置el、e2和e3表示具有1/4像素精度的位置。首先，在下文中，如 以下表達式（1) 一樣定義Clip ()。
[0119] [數(shù)學(xué)表達式1]
[0120]

【權(quán)利要求】
1. 一種圖像處理設(shè)備，包括： 選擇部，其根據(jù)以對位流進行解碼處理而得到的圖像作為對象來對成為解碼處理的對 象的對象塊的像素進行幀內(nèi)預(yù)測時的預(yù)測方向和塊大小，選擇是使對所述對象塊的像素進 行幀內(nèi)預(yù)測時所參照的相鄰像素的相位移動、還是不使所述相鄰像素的相位移動；以及 幀內(nèi)預(yù)測部，其利用所述相鄰像素，對所述對象塊的像素進行幀內(nèi)預(yù)測。
2. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中， 所述選擇部根據(jù)進行所述幀內(nèi)預(yù)測時的預(yù)測方向和塊大小，選擇是使與所述對象塊的 上部相鄰的上部相鄰像素的相位沿水平方向移動、還是使與所述對象塊的左部相鄰的左部 相鄰像素的相位沿垂直方向移動。
3. 根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中， 所述選擇部根據(jù)進行所述幀內(nèi)預(yù)測時的預(yù)測方向和塊大小，選擇是使所述上部相鄰像 素的相位沿水平方向移動還是不使所述上部相鄰像素的相位沿水平方向移動。
4. 根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中， 所述選擇部根據(jù)進行所述幀內(nèi)預(yù)測時的預(yù)測方向和塊大小，選擇是使所述左部相鄰像 素的相位沿垂直方向移動還是不使所述左部相鄰像素的相位沿垂直方向移動。
5. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中， 所述選擇部在進行利用所述相鄰像素的平均值的幀內(nèi)預(yù)測的情況下，不使所述相鄰像 素的相位移動。
6. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中， 所述選擇部在選擇了移動所述相鄰像素的相位的情況下，使所述相鄰像素的相位移動 到小數(shù)像素精度的位置。
7. 根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其中， 所述選擇部利用在進行小數(shù)像素精度的運動補償時所使用的內(nèi)插方法，使所述相鄰像 素移動到小數(shù)像素精度的位置。
8. 根據(jù)權(quán)利要求7所述的圖像處理設(shè)備，其中， 所述選擇部利用在進行小數(shù)像素精度的運動補償時所使用的內(nèi)插濾波器，使所述相鄰 像素移動。
9. 根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其中， 所述選擇部利用小數(shù)像素精度的線性內(nèi)插處理，使所述相鄰像素的相位移動。
10. 根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其中， 所述選擇部利用在進行小數(shù)像素精度的運動補償時所使用的內(nèi)插濾波器和小數(shù)像素 精度的線性內(nèi)插處理，使所述相鄰像素的相位移動。
11. 根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其中， 所述選擇部使所述相鄰像素的相位移動到1/4像素精度以下的像素精度的位置。
12. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中， 還包括利用所述幀內(nèi)預(yù)測部生成的預(yù)測圖像來對所述位流進行解碼處理的解碼部。
13. -種圖像處理方法，包括以下步驟： 圖像處理設(shè)備根據(jù)以對位流進行解碼處理而得到的圖像作為對象來對成為解碼處理 的對象的對象塊的像素進行幀內(nèi)預(yù)測時的預(yù)測方向和塊大小，選擇是使對所述對象塊的像 素進行幀內(nèi)預(yù)測時所參照的相鄰像素的相位移動、還是不使所述相鄰像素的相位移動； 所述圖像處理設(shè)備利用所述相鄰像素，對所述對象塊的像素進行幀內(nèi)預(yù)測。
14. 根據(jù)權(quán)利要求13所述的圖像處理方法，其中， 根據(jù)進行所述幀內(nèi)預(yù)測時的預(yù)測方向和塊大小，選擇是使與所述對象塊的上部相鄰的 上部相鄰像素的相位沿水平方向移動、還是使與所述對象塊的左部相鄰的左部相鄰像素的 相位沿垂直方向移動。
15. 根據(jù)權(quán)利要求14所述的圖像處理方法，其中， 根據(jù)進行所述幀內(nèi)預(yù)測時的預(yù)測方向和塊大小，選擇是使所述上部相鄰像素的相位沿 水平方向移動、還是不使所述上部相鄰像素的相位沿水平方向移動。
16. 根據(jù)權(quán)利要求14所述的圖像處理方法，其中， 根據(jù)進行所述幀內(nèi)預(yù)測時的預(yù)測方向和塊大小，選擇是使所述左部相鄰像素的相位沿 垂直方向移動、還是不使所述左部相鄰像素的相位沿垂直方向移動。
17. 根據(jù)權(quán)利要求13所述的圖像處理方法，其中， 在進行利用所述相鄰像素的平均值的幀內(nèi)預(yù)測的情況下，不使所述相鄰像素的相位移 動。
18. 根據(jù)權(quán)利要求13所述的圖像處理方法，其中， 在選擇了移動所述相鄰像素的相位的情況下，使所述相鄰像素的相位移動到小數(shù)像素 精度的位置。
19. 根據(jù)權(quán)利要求18所述的圖像處理方法，其中， 利用在進行小數(shù)像素精度的運動補償時所使用的內(nèi)插方法，使所述相鄰像素移動到小 數(shù)像素精度的位置。
20. 根據(jù)權(quán)利要求19所述的圖像處理方法，其中， 利用在進行小數(shù)像素精度的運動補償時所使用的內(nèi)插濾波器，使所述相鄰像素移動。
21. 根據(jù)權(quán)利要求18所述的圖像處理方法，其中， 利用進行小數(shù)像素精度的線性內(nèi)插處理，使所述相鄰像素的相位移動。
22. 根據(jù)權(quán)利要求18所述的圖像處理方法，其中， 利用在進行小數(shù)像素精度的運動補償時所使用的內(nèi)插濾波器和小數(shù)像素精度的線性 內(nèi)插處理，使所述相鄰像素的相位移動。
23. 根據(jù)權(quán)利要求18所述的圖像處理方法，其中， 使所述相鄰像素的相位移動到1/4像素精度以下的像素精度的位置。
24. 根據(jù)權(quán)利要求13所述的圖像處理方法，其中， 利用所生成的預(yù)測圖像，對所述位流進行解碼處理。
【文檔編號】H04N19/85GK104320665SQ201410566976
【公開日】2015年1月28日 申請日期:2010年4月22日 優(yōu)先權(quán)日:2009年4月24日
【發(fā)明者】佐藤數(shù)史 申請人:索尼公司