專利名稱：用于圖像處理的設備和方法以及程序的制作方法
技術領域：
本發(fā)明涉及用于圖像處理的設備和方法以及用于該設備和方法的程序，并且更具體地涉及以下用于圖像處理的設備和方法以及用于該設備和方法的程序其允許尤其是在屏幕邊緣附近的B圖片的改善的預測精度。
背景技術：
用于壓縮圖像信息的標準包括H. 264和MPEG (運動圖像專家組)_4第十部分(高級視頻編碼，下文中被稱為“H. 264/AVC. ”)。 根據(jù)H. 264/AVC，聚焦于在幀或場之間的相關性上執(zhí)行幀間預測。在該幀間預測中將要執(zhí)行的運動壓縮處理中，使用已經(jīng)存儲的可參考圖像中的部分區(qū)域通過幀間預測來生成預測圖像(下文中被稱為“幀間預測圖像”)。例如，如圖I中所描繪的，在參考幀是已經(jīng)存儲的可參考圖像的五個幀的情況下，參考五個參考幀中任何一個的圖像(下文中被稱為“參考圖像”)的一部分來構建將要進行幀間預測的幀(原始幀)的幀間預測圖像的一部分。通過基于參考幀和原始幀的圖像檢測到的運動矢量來決定將要成為幀間預測圖像的部分的參考圖像的部分的位置。更具體地，如圖2中所描繪的，當參考幀中的面部11在原始幀中以右下方向移動且下部大約三分之一的面部被隱藏時，檢測到指示與右下方向相反的左上方向的運動矢量。然后，參考參考幀中的面部11的一部分13，在根據(jù)該運動矢量指示的運動而移動了原始幀中的面部11的未隱藏部分12的位置處構建該部分12。此外，根據(jù)H. 264/AVC，如圖3中所描繪的，運動補償在從16 X 16像素到4X4像素的塊尺寸上是可用的。這使得可以進行更精確的運動補償，這是由于在(例如16X16像素的)宏塊中存在運動限制的情況下，可以根據(jù)該限制將塊尺寸劃分為更小的尺寸。此外，當下根據(jù)H. 264/AVC考慮的是在運動補償處理中運動矢量的分辨率提高到分數(shù)精度，諸如一半或四分之一精度。在這種分數(shù)精度的運動補償處理中，被稱為“子像素(Sub pel)”的像素被設置在相鄰像素之間的虛擬分數(shù)位置處，并額外執(zhí)行用于生成子像素的處理(下文中被稱為“內(nèi)插”)。更具體地，在分數(shù)精度的運動補償中，運動矢量的最小分辨率以分數(shù)位置處的像素為單位，從而執(zhí)行內(nèi)插以在分數(shù)位置處生成像素。圖4描繪了通過內(nèi)插在垂直和水平方向像素數(shù)目增加了四倍的圖像的像素。在圖4中，白方塊指示了整數(shù)位置處的像素(整數(shù)像素(Integer pel (Int. pel)))，而陰影方框指示了分數(shù)位置處的像素(子像素)。方框中的字母指示了由方框代表的像素的像素值。通過如下等式(I)表示將要通過內(nèi)插生成的分數(shù)位置處的像素的像素值b、h、j、a、d、f 以及 r b=(E-5F+20G+20H-5I+J)/32h=(A-5C+20G+20M-5R+T)/32j=(aa-5bb+20b+20s_5gg+hh)/32
a= (G+b) /2d= (G+h) /2f= (b+j) /2r= (m+s) /2...... (I)分別地，通過與像素值b相似的方式可以獲得像素值aa、bb、s、gg以及hh，通過與像素值h相似的方式可以獲得像素值cc、dd、m、ee以及ff，通過與像素值a相似的方式可以獲得像素值C，通過與像素值d相似的方式可以獲得像素值f、η以及q，并且通過與像素值r相似的方式可以獲得像素值e、P以及g。上述等式(I)是根據(jù)例如H. 264/AVC的內(nèi)插中采用的等式，且不同的等式用于不同的標準。然而等式的目的是相同的?？梢越柚鷰в信紨?shù)抽頭的有限脈沖響應(FIR)濾波器來執(zhí)行這些等式。例如，根據(jù)H. 264/AVC，使用了具有6個抽頭的內(nèi)插濾波器。此外，根據(jù)H. 264/AVC，如圖5中所描繪的，在用于對運動矢量進行參考的區(qū)域在屏幕的邊緣(圖片框)之外的情況下，復制屏幕的邊緣上的像素值。在圖5的示例中描繪的參考圖片中，鏈線指示了屏幕的邊緣(圖片框)，而鏈線和外側(cè)的實線之間的區(qū)域指示了通過復制屏幕的邊緣處的像素而擴展的區(qū)域。換句話說，通過屏幕的邊緣處的復制擴展了參考圖片。在此要注意，根據(jù)H. 264/AVC，尤其是針對B圖片，如圖6中所描繪的，可采用雙向預測。在圖6中，以顯示順序示出圖片，并且以顯示順序在將要編碼的圖片之前或之后排列了編碼的參考圖片。在將要編碼的圖片是B圖片的情況下，例如，如針對將要編碼的圖片中的目標預測塊所描繪的，參考了前后(雙向)參考圖片中的兩個塊，以便具有用于前向LO預測的運動矢量和用于后向LI預測的運動矢量。更具體地，對于L0，顯示時間基本上早于目標預測塊，而對于LI，顯示時間基本上晚于目標預測塊?？梢蕴峁┻@樣區(qū)分的參考圖片用于根據(jù)編碼模式而分別使用。如圖7中所描繪的，有五種編碼模式，即，屏內(nèi)編碼(幀內(nèi)預測)、LO預測、LI預測、雙預報預測以及直接模式。圖7描繪了編碼模式和參考圖片以及運動矢量之間的關系。要注意，在圖7中，參考圖像列示出了是否在編碼模式中使用參考圖片，而運動矢量列示出了編碼模式是否涉及運動矢量信息。屏內(nèi)編碼模式是用于在屏幕中(B卩，“在內(nèi)”)執(zhí)行預測的模式，該模式是不使用LO參考圖片和LI參考圖片的編碼模式，且不涉及用于LO預測的運動矢量和用于LI預測的運動矢量。LO預測模式是限制性地使用LO參考圖片來執(zhí)行預測，該模式是涉及用于LO預測的矢量信息的編碼模式。在LI預測模式中，限制性地使用LI參考圖片來執(zhí)行預測，該模式是涉及用于LI預測的運動矢量信息的編碼模式。
、
在雙預報預測模式中，使用LO和LI參考圖片來執(zhí)行預測，該模式是涉及用于LO和11預測的運動矢量信息的編碼模式。在直接模式中，使用LO和LI參考圖片來執(zhí)行預測，但是該模編碼式不涉及運動矢量信息。換句話說，直接模式是不涉及運動矢量信息的編碼模式，但是在該編碼模式中，基于參考圖片中編碼塊的矢量信息來預測和使用當前目標預測塊中的運動矢量信息。應當注意，在一些情況下在直接模式中使用了 LO或LI參考圖片中的任一個。如上所述，在雙預報預測模式和直接模式中，在一些情況下使用了 LO和LI參考圖片二者。在兩個參考圖片的情況下，如通過如下等式(2)表示的加權預測在雙預報預測模式或直接模式中提供了預測信號。WfWoVH+D...... (2)其中YBi_PMd是具有雙預報預測模式或直接模式中的偏差的加權內(nèi)插信號，W0和W1分別是用于LO和LI的加權因子，并且Y0和Y1是用于LO和LI的運動補償預測信號。所使用的U以及D可以在比特流信息中明確地包含，或者可以通過解碼側(cè)的計算隱含地獲
得。 如果由于參考圖片的編碼導致的劣化與用于LO和LI的兩個參考圖片之間的相關性無關，那么加權預測允許抑制由于編碼導致的劣化。結果，降低了作為預測信號和輸入信號之間的差異的殘差信號，實現(xiàn)了殘差信號的比特量的削減，并且因此實現(xiàn)了代碼效率的提聞。注意，關于直接模式，在非專利文獻I中提議在將要參考的區(qū)域包括屏幕外區(qū)域的情況下，不使用該參考圖片而使用參考圖片中的其他參考圖片。根據(jù)H. 264/AVC標準，宏塊尺寸是16X16像素。然而針對可以作為下一代編碼標準的對象的、諸如UHN (超高清，4000X2000像素)的大圖片框，具有16X16像素的宏塊尺寸不是最理想的。因而，例如非專利文獻2提議將宏塊尺寸擴展至諸如32X32像素的尺寸。引用列表非專利文獻非專利文獻I :Yusuke ITANI,Yuichi IDEHARA、Shun-ichi SEKI⑶CHI、YoshihisaYAMADA (Mitsubishi Electric Corporation)的“A Study on Improvement of DirectMode for Video Coding，，, IEICE Symposium 24th Video Coding material 第 3-20 頁,靜岡縣伊豆市大平，2009年10月7日、8日、9日非專利文獻2 :“Video Coding Using Extended Block Sizes”, VCEG-AD09,ITU-TeIecommunications Standardization Sector STUDY GROUP Question16-Contribution 123,2009 年 I 月

發(fā)明內(nèi)容
本發(fā)明要解決的問題如上所述，在使用直接模式或雙預報預測的情況下，使用了 LO參考圖片和LI參考圖片中的參考區(qū)域。此處，可能出現(xiàn)用于LO參考的參考區(qū)域或用于LI參考的參考區(qū)域在屏幕外的情形。圖8中描繪的示例按照時間過程的順序從左示出了 LO參考圖片、將要編碼的圖片以及LI參考圖片。在這些圖片中，鏈線指示了屏幕的邊緣，而實線和鏈線之間的區(qū)域指示了如先前聯(lián)系圖5描述的、通過邊緣處的復制而擴展的區(qū)域。此外，圖片中以虛線來包圍的區(qū)域指示了 LO參考圖片中用于LO參考的參考區(qū)域、將要編碼的圖片中的運動補償區(qū)域以及LI參考圖片中用于LI參考的參考區(qū)域。在圖8的下方部分選取了用于LO參考的參考區(qū)域和用于LI參考的參考區(qū)域。圖8描繪了一個示例，在該示例中將要編碼的圖片中的陰影菱形物體P從左上方朝右下方移動，且在LO參考圖片中部分物體P超過屏幕的邊緣到達外部。如先前參照圖5所描述的一樣，根據(jù)H. 264/AVC標準，定義了當參考區(qū)域在屏幕外時，復制屏幕的邊緣處的像素值以便使用。結果，在LO參考圖片中的參考區(qū)域中，復制了屏幕的邊緣處的像素值，使得形狀不再是菱形?？紤]參照LO和LI參考區(qū)域通過加權預測生成預測圖像的情形。當屏幕外像素值與圖8的用于LO參考的參考區(qū)域中的實際像素值不同時，預期在預測圖像和源信號之間出現(xiàn)了大的差異。該大的差異顯然導致了殘差信號的比特量增加，這可能導致降低代碼效率。另一方面，還考慮一種降低用于運動補償?shù)膲K尺寸的方法。然而，對塊尺寸進行子 劃分使得宏塊的報頭信息增加，這導致開銷增加。在大的量化參數(shù)QR的情況下，或在低的比特率的情況下，用于宏塊的報頭信息和開銷一樣在比例上占據(jù)了大的處理量。從而，對塊尺寸進行子劃分的方法也可能導致降低代碼效率。由于直接模式不使用運動矢量信息，所以該模式具有減少用于宏塊的報頭信息的效果。尤其是在低的比特率的情況下，該模式在代碼效率的提高方面做出了貢獻。然而，如先前所述，在參照LO和LI參考區(qū)域通過加權預測生成預測圖像的情況下，屏幕外像素值可能不同于實際像素值，使得在預測圖像和源信號之間會發(fā)生大的差異；因為這個原因，幾乎不選擇可能會導致代碼效率的降低的直接模式。另一方面，在如上所述的非專利文獻I中，在直接模式中參考區(qū)域包含屏幕外部分的情況下，提議不使用該參考圖片而采用其他參考圖片以便使用，以增加選擇直接模式的機會。然而，在該提議中，由于拋棄了參考圖片中的一個參考圖片，所以不執(zhí)行加權預測；因而，不太期望通過加權預測而提高預測性能。換句話說，在根據(jù)非專利文獻I的提議中，即便在參考區(qū)域大部分在屏幕內(nèi)而小部分在屏幕外的情況下，也整個地拋棄該參考區(qū)域。此外，非專利文獻I只提議了直接模式的改善而未提及雙預報預測。鑒于上述背景，作出了本發(fā)明，以提高尤其是屏幕的邊緣附近用于B圖片的預測精度。問題的解決方案根據(jù)本發(fā)明一個方面的圖像處理設備包括運動預測補償裝置，該運動預測補償裝置用于在使用了將要處理的圖像所要參考的多個不同參考圖像的預測中，根據(jù)該圖像中的塊所要參考的像素是否在多個參考圖像的屏幕外來執(zhí)行加權預測。該運動預測補償裝置可以適于在該圖像中的塊所要參考的是多個參考圖像的屏幕內(nèi)像素的情況下，通過使用這些像素來執(zhí)行標準加權預測，且該運動預測補償裝置可以在該圖像中的塊所要參考的是多個參考圖像中任意一個的屏幕外像素并且是其他參考圖像的屏幕內(nèi)像素的情況下，通過使用這些像素來執(zhí)行加權預測。和屏幕外像素相比，可以將較大權重賦予屏幕內(nèi)像素。用于在加權預測中使用的權重可以是O或I。
圖像處理設備還可以包括權重計算裝置，該權重計算裝置用于基于圖像中的塊附近的像素之間的不連續(xù)性來計算用于加權預測的權重。圖像處理設備還可以包括編碼裝置，該編碼裝置用于對將要由權重計算裝置計算的關于權重的信息進行編碼。圖像處理設備還可以包括解碼裝置，該解碼裝置用于對將要基于圖像中的塊附近的像素之間的不連續(xù)性來計算的、且將要被編碼的關于權重的信息進行解碼，并且運動預測補償裝置可以適于使用將要由解碼裝置解碼的關于權重的信息來執(zhí)行加權預測。使用了多個不同參考圖像的預測可以是雙預報預測或直接模式預測中的至少一個。用于在包括運動預測補償裝置的圖像處理設備中使用的、根據(jù)本發(fā)明一個方面的處理圖像的方法包括在使用了將要處理的圖像所要參考的多個參考圖像的預測中，由該運動預測補償裝置根據(jù)該圖像中的塊所要參考的是否在多個參考圖像的屏幕外來執(zhí)行加 權預測。根據(jù)本發(fā)明一個方面的程序適于使得計算機執(zhí)行與如下運動預測補償裝置一樣的功能，該運動預測補償裝置用于在使用了將要處理的圖像所要參考的多個不同參考圖像的預測中，根據(jù)該圖像中的塊所要參考的是否在多個參考圖像的屏幕外來執(zhí)行加權預測。根據(jù)本發(fā)明的一個方面，在使用了將要處理的圖像所要參考的多個參考圖像的預測中，根據(jù)該圖像中的塊所要參考的是否在多個參考圖像的屏幕外來執(zhí)行加權預測。上述圖像處理設備可以是獨立設備或可以是配置了一個圖像編碼設備或圖像解碼設備的內(nèi)部塊。本發(fā)明的效果本發(fā)明實現(xiàn)了尤其是屏幕的邊緣附近的B圖像的預測精度的提高。因此，可以實現(xiàn)代碼效率的提聞。


圖I是相關技術的幀間預測的說明視圖。圖2是相關技術的幀間預測的詳細說明視圖。圖3是塊尺寸的說明視圖。圖4是內(nèi)插的說明視圖。圖5是在屏幕的邊緣處將要執(zhí)行的處理的說明視圖。圖6是雙向預測的說明視圖。圖7描繪了編碼模式和參考圖片以及運動矢量之間的關系。圖8是相關技術的加權預測的說明視圖。圖9是描繪了應用了本發(fā)明的圖像編碼設備的一個實施例的配置的框圖。圖10是圖9的圖像編碼設備的加權預測的說明視圖。圖11是運動補償器的配置示例的框圖。圖12是用于描述圖9的圖像編碼設備的編碼處理的流程圖。圖13是由于描述圖9的圖像編碼設備的預測模式選擇處理的流程圖。圖14是用于描述圖9的圖像編碼設備的B圖片補償處理的流程圖。
圖15是預測塊的說明視圖。圖16描繪了參考像素位置和處理方法之間的對應關系。圖17是圖14的示例中可以獲得的效果的說明視圖。圖18是描繪了應用了本發(fā)明的圖像解碼設備的一個實施例的配置的框圖。圖19是描述圖18的運動補償器的配置示例的框圖。圖20是用于描述圖18的圖像解碼設備的解碼處理的流程圖。圖21是擴展塊尺寸的說明視圖。圖22是計算機硬件的配置示例的框圖。
圖23是描繪了應用了本發(fā)明的電視接收機的主要配置示例的框圖。圖24是描繪了應用了本發(fā)明的移動電話的主要配置示例的框圖。圖25是描繪了應用了本發(fā)明的硬盤記錄器的主要配置示例的框圖。圖26是應用了本發(fā)明的照相機的主要配置示例的框圖。
具體實施例方式下面將參考附圖描述本發(fā)明的實施例。圖像編碼設備的配置示例圖9描繪了應用了本發(fā)明的、用作圖像處理設備的圖像編碼設備的一個實施例的配置。圖像編碼設備51被配置為基于例如H. 264和MPEG-4第十部分(高級視頻編碼)(下文中被稱為“H. 264/AVC”)標準來壓縮和編碼將要輸入的圖像。在圖9的示例中，圖像編碼設備51包括A/D變換器61、屏幕整理緩沖器62、算術運算器63、正交變換器64、量化器65、無損編碼器66、累積緩沖器67、逆量化器68、逆正交變換器69、算術運算器70、去塊濾波器71、幀存儲器72、幀內(nèi)預測器73、運動預測器74、運動補償器75、預測圖像選擇器76以及速度控制器77。A/D變換器61在輸入的圖像上執(zhí)行A/D變換以輸出至屏幕整理緩沖器62使得在其上存儲變換后的圖像。屏幕整理緩沖器62根據(jù)Gop (圖片組)將所存儲的顯示順序的幀的圖像整理為用于編碼的幀的順序。算術運算器63在從屏幕整理緩沖器62讀取的圖像中減去從幀內(nèi)預測器73或從運動補償器75已經(jīng)輸出的、且被預測圖像選擇器76選擇的預測圖像，以將差異信息輸出至正交變換器64。正交變換器64對來自算術運算器63的差異信息執(zhí)行諸如離散余弦變換或卡亨南-拉維(Karhunen-Loeve)變換的正交變換并輸出變換系數(shù)。量化器65量化從正交變換器64輸出的變換系數(shù)。 從量化器65輸出的量化變換系數(shù)被輸入至無損編碼器66以便經(jīng)歷諸如可變長度編碼或二進制算術編碼的無損編碼以用于壓縮。無損編碼器66從幀內(nèi)預測器73獲得指示了幀內(nèi)預測的信息并從運動補償器75獲得例如指示了幀間預測模式的信息。指示了幀內(nèi)預測的信息和指示了幀間預測的信息也被分別稱為“幀內(nèi)預測模式信息”和“幀間預測模式信息”。無損編碼器66對量化變換系數(shù)以及例如指示了幀內(nèi)預測的信息和指示了幀間預測模式的信息進行編碼，并將編碼信息包括在用于壓縮的圖像的報頭信息中。無損編碼器66將編碼數(shù)據(jù)提供至累積緩沖器67以累積。例如，在無損編碼器66處執(zhí)行諸如可變長度編碼或二進制算術編碼的無損編碼處理。可變長度編碼的示例包括由H. 264/AVC標準定義的CAVLC (上下文自適應可變長度編碼)。二進制算術編碼的示例包括CABAC (上下文自適應二進制算術編碼)。累積緩沖器67將無損編碼器66提供的數(shù)據(jù)輸出至，例如或后續(xù)階段中的記錄設備或通道(未示出)，作為編碼壓縮圖像。從量化器65輸出的量化變換系數(shù)也被輸入至逆量化器68以經(jīng)歷逆量化，接著在逆正交變換器69處經(jīng)歷逆正交變換。由算術運算器70將逆正交變換后的輸出添加至將要從預測圖像選擇器76提供的預測圖像，以構成局部解碼的圖像。來自算術運算器70的解碼圖像被輸出至幀內(nèi)預測器73和去塊濾波器71作為用 于即將要編碼的圖像的參考圖像。去塊濾波器71移除解碼圖像中的塊變形以將這些圖像提供給幀存儲器72以在其上進行累積。幀存儲器72將累積的參考圖像輸出至運動預測器74和運動補償器75。在圖像編碼設備51中，例如來自屏幕整理緩沖器62的I圖片、B圖片以及P圖片被提供給幀內(nèi)預測器73作為幀內(nèi)預測(也被稱為“幀內(nèi)處理”)的圖像。此外，從屏幕整理緩沖器62讀取的B圖片和P圖片被提供給運動預測器74作為幀間預測(也被稱為“幀間處理”)的圖像。幀內(nèi)預測器73基于從屏幕整理緩沖器62中讀取的、將要經(jīng)歷幀內(nèi)預測的圖像和從算術運算器70輸出的參考圖像，以所有候選幀內(nèi)預測模式來執(zhí)行幀內(nèi)預測處理，以便生成預測圖像。這時，幀內(nèi)預測器73計算針對所有候選幀內(nèi)預測模式的成本函數(shù)值，并選擇由計算賦予了最小成本函數(shù)值的幀內(nèi)預測模式作為最優(yōu)幀內(nèi)預測模式。幀內(nèi)預測器73將以最優(yōu)幀內(nèi)預測模式生成的預測圖像和其成本函數(shù)值提供至預測圖像選擇器76。在由預測圖像選擇器76選擇了以最優(yōu)幀內(nèi)預測模式生成的預測圖像的情況下，幀內(nèi)預測器73將指示了最優(yōu)幀內(nèi)預測模式的信息提供至無損編碼器66。無損編碼器66對該信息進行編碼以將該信息包括在用于壓縮圖像的報頭信息中。運動預測器74基于將要經(jīng)歷幀間處理的圖像和來自幀存儲器72的參考圖像，以所有候選幀間預測模式來對各塊執(zhí)行運動預測，以便生成這些塊的運動矢量。運動補償器74將生成的運動矢量信息輸出至運動補償器75。在由預測圖像選擇器76選擇了目標塊在最優(yōu)幀間預測模式中的預測圖像的情況下，運動預測器74將諸如指示了最優(yōu)幀間預測模式的信息(幀間預測模式信息)、運動矢量信息以及參考幀信息的信息輸出至無損編碼器66。運動補償器75對來自幀存儲器72的參考圖像執(zhí)行內(nèi)插濾波。運動補償器75通過使用基于來自運動預測器74的運動矢量或外圍塊中的運動矢量獲得的運動矢量，以所有候選幀間預測模式針對各塊對濾波后的參考圖像執(zhí)行補償處理。這時，在直接模式或雙預報預測模式中的B圖片的情況下，S卩，在使用了多個不同參考圖像的預測模式的情況下，運動補償器75根據(jù)目標塊所要參考的像素是否在其參考圖像的屏幕外來執(zhí)行加權預測，以生成預測圖像。例如，在運動補償器75處執(zhí)行的是加權預測，使得在目標塊所要參考的是在第一參考圖像的屏幕外而在第二參考圖像的屏幕內(nèi)的情況下，在第一參考圖像上賦予較小權重，而在第二參考圖像上賦予較大權重?？梢栽谶\動補償器75處計算這些權重，或可替選地，可以使用固定值。在計算了權重的情況下，這些權重被提供至無損解碼器66，以被添加至壓縮圖像的報頭，用于傳送到解碼側(cè)。此外，運動補償器75計算針對所有候 選幀間預測模式的將要處理的塊的成本函數(shù)值，以便決定具有最小成本函數(shù)值的最優(yōu)幀間預測模式。運動補償器75將以最優(yōu)幀間預測模式生成的預測圖像和其成本函數(shù)值提供至預測圖像選擇器76。預測圖像選擇器76基于從幀內(nèi)預測器73或運動補償器75輸出的成本函數(shù)值來從最優(yōu)幀內(nèi)預測模式和最優(yōu)幀間預測模式中決定最優(yōu)預測模式。然后，預測圖像選擇器76選擇這樣決定的最優(yōu)預測模式中的預測圖像以將這些圖像提供至算術運算器63和70。這時，如虛線所示，預測圖像選擇器76將關于對預測圖像的選擇的信息提供至幀內(nèi)預測器73或至運動預測器74。速度控制器77基于累積緩沖器77中累積的壓縮圖像來控制量化器65的量化操作的速度，以便保護上溢或下溢。運動補償器的特征接下來將參照圖10給出對運動補償器75的描述。在運動補償器75處，在其中使用了兩個參考圖片(圖像)執(zhí)行加權預測的雙預報預測或直接模式中，當LO和LI參考像素(像素)都在屏幕內(nèi)時，執(zhí)行根據(jù)H. 264/AVC標準的加權預測。另一方面，當LO或LI的參考像素(像素)在屏幕外而另一個的參考像素在屏幕內(nèi)時，通過使用屏幕內(nèi)參考像素執(zhí)行預測。在圖10的示例中，和在圖8的示例中一樣，按照時間過程的順序從左邊描繪了 LO參考圖片、將要編碼的圖片和LI參考圖片。在這些圖片中，鏈線指示了屏幕邊緣，而實線和鏈線之間的區(qū)域指示了在屏幕邊緣處的復制而擴展的區(qū)域，如先前聯(lián)系圖5所描述的。圖片中的以虛線包圍的區(qū)域指示了 LO參考圖片中用于LO參考的參考區(qū)域、將要編碼的圖片中的運動補償區(qū)域以及LI參考圖片中用于LI參考的參考區(qū)域。在圖10下方選取了用于LO參考的參考區(qū)域和用于LI參考的參考區(qū)域。圖10描繪了一個示例，在該示例中將要編碼的圖片中的陰影菱形物體P從左上方朝著右下方移動，且在LO參考圖片中物體P的一部分超過屏幕的邊緣到達外部。換句話說，LO參考圖片中的參考區(qū)域具有屏幕外部分，而LI參考圖片中的參考區(qū)域全部在屏幕內(nèi)。因此，運動補償器75針對LO參考圖片中的參考區(qū)域的屏幕內(nèi)部分，通過根據(jù)H. 264/AVC標準的加權預測來生成預測圖像，并且關于LO參考圖片中的參考區(qū)域的屏幕外部分，不使用該屏幕外部分而使用LI參考圖片中的參考區(qū)域來生成預測圖像。更具體地，在LO參考圖片中，如用于LO參考的參考區(qū)域中所述，參考區(qū)域是外側(cè)的虛線方框，但是實際上預測用的區(qū)域限制在內(nèi)側(cè)的虛線方框區(qū)域。例如，對于LO參考圖片中的參考區(qū)域，對屏幕外部分執(zhí)行加權預測，其中LO參考圖片中的參考區(qū)域上的權重是O而LI參考圖片中的參考區(qū)域上的權重是I。權重不是必須為O和/或I，并且第一參考區(qū)域中的屏幕外部分的權重可以小于第二參考區(qū)域中的屏幕內(nèi)部分的權重。在這種情況下，權重可以是固定的，或可替選地，可以通過計算求得最優(yōu)權重。
以這種方式，可以實現(xiàn)屏幕的邊緣處的預測性能的提高，這是因為不在使用在屏幕外的且作為屏幕內(nèi)像素值的復制的不精確信息，或降低了其上所賦予的權重。運動補償器的配置示例圖11描繪了運動補償器的配置示例。圖11的運動補償器75包括內(nèi)插濾波器81、補償處理器82、選擇器83、運動矢量預測器84以及預測模式?jīng)Q定器85。
來自幀存儲器72的參考幀(參考圖像)信息被輸入至內(nèi)插濾波器81。內(nèi)插濾波器81在參考幀的像素之間執(zhí)行內(nèi)插以在縱向和橫向上擴大四倍，并輸出擴大的幀信息至補償處理器82。補償處理器82包括LO區(qū)域選擇器91、LI區(qū)域選擇器92、算術運算器93、屏幕邊緣確定器94以及權重計算器95。在圖11中的示例的補償處理器82中，示例性描述了對B圖片的處理。來自內(nèi)插濾波器81的擴大的參考幀信息被輸入至LO區(qū)域選擇器91、L1區(qū)域選擇器92以及屏眷邊緣確定器94。LO區(qū)域選擇器91根據(jù)來自選擇器83的預測模式信息和LO運動矢量信息從擴大的LO參考幀信息中選擇相應的LO參考區(qū)域，并輸出參考區(qū)域信息至算術運算器93。如同LO預測模式情形下的LO預測信息一樣，這樣輸出的關于參考區(qū)域的信息被輸入至預測模式?jīng)Q定器85。LI區(qū)域選擇器92根據(jù)來自選擇器83的預測模式信息和LI運動矢量信息從擴大的LI參考幀信息中選擇相應的LI參考區(qū)域，并輸出參考區(qū)域信息至算術運算器93。如同LI預測模式情形下的LI預測信息一樣，這樣輸出的關于參考區(qū)域的信息被輸入至預測模式?jīng)Q定器85。算術運算器93包括乘法器93A、乘法器93B以及加法器93C。乘法器93A將來自LO區(qū)域選擇器91的LO參考區(qū)域信息乘以來自屏幕邊緣確定器94的LO權重信息，以便將結果輸出至加法器93C。乘法器93B將來自LI區(qū)域選擇器92的LI參考區(qū)域信息乘以來自屏幕邊緣確定器94的LI權重信息，以便將結果輸出至加法器93C。加法器93C將已經(jīng)基于LO和LI權重信息分配了權重的LO參考區(qū)域和LI參考區(qū)域相加，以便輸出結果至預測模式?jīng)Q定器85作為加權預測信息(雙預報預測信息)。來自內(nèi)插濾波器81的擴大的參考幀信息和來自選擇器83的運動矢量信息被提供給屏幕邊緣確定器94。屏幕邊緣確定器94基于這些信息確定LO參考像素或LI參考像素是否在屏幕外，并根據(jù)決定的結果輸出要被提供給乘法器93A和乘法器93B的權重因子。例如，在用于LO和LI的像素都在屏幕內(nèi)或屏幕外的情況下，輸出了 W=O. 5的權重因子。在用于LO或者LI的像素在屏幕外而用于另一個的在屏幕內(nèi)的情況下，和屏幕內(nèi)參考像素相比，至少將較小的權重因子賦予屏幕外參考像素。權重計算器95在LO參考像素或LI參考像素在屏幕外的情況下根據(jù)輸入圖像的特性計算權重因子以便使用，從而將這些因子提供至屏幕邊緣確定器94。這樣計算的權重因子也被輸出至無損編碼器66以傳送至解碼側(cè)。選擇器83根據(jù)預測模式選擇由運動預測器74搜索的運動矢量信息或由運動矢量預測器84求出的運動矢量信息，并將選擇的運動矢量信息輸出至屏幕邊緣確定器94、L0區(qū)域選擇器91以及LI區(qū)域選擇器92。運動矢量預測器84根據(jù)諸如跳躍模式或直接模式的、其中運動矢量未傳送至解碼側(cè)的模式來預測運動矢量，并將這些運動矢量提供至選擇器83。該預測運動矢量的方法與根據(jù)H. 264/AVC標準的方法相似，并且諸如基于外圍塊中的運動矢量借助于中間預測來執(zhí)行預測的空間預測以及基于共位置的塊(co-locatedblock)中的運動矢量來執(zhí)行預測的時間預測的預測是根據(jù)運動矢量預測器84處的模式來執(zhí)行的。共位置的塊是與目標塊的圖像不同且存在于與目標塊對應的位置的圖片(位于前向或后向的圖片)中的塊。在圖11的示例中，盡管沒有示出，但是例如，將要求出的外圍塊中的運動矢量信息可以從選擇器83得到。
對權重因子的描述將要根據(jù)屏幕邊緣確定器94的確定結果而提供的、且將要在算術運算器93處相乘的權重因子信息在用于LO或LI中任一個的參考像素在屏幕外的情況下，是將要與用于另一個的參考像素相乘的權重。其值在O. 5至I的范圍內(nèi)，且使得當加到將要與用于LO或LI中其他一方的屏幕外像素相乘的權重時為I。因此，在LO權重因子信息是Wui的情況下，LI權重因子信息是^=^^。結果，圖11的算術運算器93處將要執(zhí)行的計算被表述為如下等式(3)Y=WloIlo+(I-Wlo) Ili...... (3)其中Y是加權預測彳目號，Ilo是LO參考像素而Iu是LI參考像素。此外，由權重計算器95計算這些權重因子。在權重計算器95處，例如，基于像素之間的相關性的強度計算權重。在屏幕內(nèi)的相鄰像素之間的相關性較弱的情況下，即，在相鄰像素值之間存在大的差異的情況下，由復制屏幕的邊緣處的像素產(chǎn)生的像素值具有較低的可靠性，從而權重信息W接近1，然而在像H. 264/AVC標準那樣的相關性較強的情況下，由復制屏幕的邊緣處的像素產(chǎn)生的像素值具有較高的可靠性，從而權重信息W接近O. 5。檢驗像素之間的相關性強度的程度的方法包括計算相鄰像素之間的差異的絕對值的屏幕內(nèi)平均值的方法、計算像素值的離差大小的方法以及其中例如借助于傅里葉變換求出的高頻分量的頻譜的檢驗方法。作為最簡單的示例，在假設屏幕外部分是不可靠的時，權重W可以被固定為I。在這種情況下，權重信息不需要傳送至解碼側(cè)，從而不是必須包括在流信息中。此外，由于用于屏幕外部分的權重是0，所以可以去除算術運算器93的乘法器93Α、乘法器93Β以及加法器93C，作為替代，可以提供更簡單的選擇電路。對圖像編碼設備處的編碼處理的描述接下來將參照圖12的流程圖給出對在圖9的圖像編碼設備51處的編碼處理的描述。在步驟Sll中，A/D變換器61對輸入圖像執(zhí)行A/D變換。在步驟S12中，屏幕整理緩沖器62保留從A/D變換器61提供的圖像并將其圖片從顯示順序整理為編碼順序。在步驟S13中，算術運算器63計算步驟S12中存儲的圖像和預測圖像之間的差異。通過預測圖像選擇器76，在幀間預測的情況下從運動補償器75提供預測圖像至算術運算器63，而在幀內(nèi)預測的情況下從幀內(nèi)預測器73提供預測圖像至算術運算器63。和原始圖像數(shù)據(jù)相比，差異數(shù)據(jù)具有較小的數(shù)據(jù)量。從而，與編碼圖像自身的情況相比，壓縮了數(shù)據(jù)量。在步驟S14中，正交變換器64對從算術運算器63提供的差異信息執(zhí)行正交變換。具體地，執(zhí)行諸如離散余弦變換或卡亨南-拉維變換的正交變換，使得輸出變換系數(shù)。在步驟S15中，量化器65量化這些變換系數(shù)。在量化時，根據(jù)隨后將要描述的步驟S26中的處理來控制速度。如下文所描述地局部解碼這樣量化的差異信息。具體地，在步驟S16中，逆量化器68根據(jù)與量化器65的特性對應的特性對量化器65所量化的變換系數(shù)執(zhí)行逆量化。在步驟S17中，逆正交變換器69根據(jù)與正交變換器64的特性對應的特性對逆量化器68所逆量化的變換系數(shù)執(zhí)行逆正交變換。在步驟S18中，算術運算器70將通過預測圖像選擇器76輸入的預測圖像添加至局部解碼的差別信息并生成局部解碼圖像(對應于輸入到算術運算器63的圖像)。在步驟S19中，去塊濾波器71濾波從算術運算器70輸出的圖像，以便移除塊變形。在步驟S20中，幀存儲器72存儲經(jīng)濾波的圖像。在步驟S21中，幀內(nèi)預測器73執(zhí)行幀內(nèi)預測處理。具體而言，幀內(nèi)預測器73基于已經(jīng)從屏幕整理緩沖器62讀取的、用于幀內(nèi)預測的圖像和從算術運算器70提供的圖像(將要濾波的圖像)，以所有候選幀內(nèi)預測模式來執(zhí)行幀內(nèi)預測處理，以生成幀內(nèi)預測圖像。幀內(nèi)預測器73針對所有候選幀內(nèi)預測模式來計算成本函數(shù)值。幀內(nèi)預測器73將被賦予了所計算的成本函數(shù)值中的最小值的幀內(nèi)預測模式?jīng)Q定為最優(yōu)幀內(nèi)預測模式。然后，幀內(nèi)預測器73將以最優(yōu)幀內(nèi)預測模式生成的預測圖像和其成本函數(shù)值提供給預測圖像選擇器76。在將要從屏幕整理緩沖器62提供的處理目標圖像是將要經(jīng)受幀間處理的圖像的情況下，從幀存儲器72讀取將要參考的圖像，且將其通過開關73提供至運動預測器74和運動補償器75。在步驟S22中，運動預測器74和運動補償器75執(zhí)行運動預測/補償處理。具體而言，運動預測器74基于將要經(jīng)歷幀間處理的圖像和來自幀存儲器72的參考圖像來以所有候選幀間預測模式對各塊執(zhí)行運動預測，并生成這些塊的運動矢量。運動補償器74將關于生成的運動矢量的信息輸出至運動補償器75。對來自幀存儲器72的參考圖像執(zhí)行內(nèi)插濾波。運動補償器75使用基于來自運動預測器74的運動矢量或外圍塊的運動矢量已經(jīng)求得的運動矢量，來以所有候選幀間預測模式對用于各塊的經(jīng)濾波的參考圖像執(zhí)行補償處理，并生成預測圖像。這時，在直接模式或雙預報預測模式的B圖片的情況下，S卩，在其中使用了多個不同參考圖像的預測模式的情況下，運動補償器75根據(jù)目標塊所要參考的像素是否在其參考圖像的屏幕外來執(zhí)行加權預測，以生成預測圖像。隨后參照圖14描述用于B圖片的補償處理。此外，運動補償器75針對所有候選幀間預測模式對將要處理的塊求出成本函數(shù)值，并決定具有最小成本函數(shù)值的最優(yōu)幀間預測模式。運動預測器75將以最優(yōu)幀間預測模式生成的預測圖像和其成本函數(shù)值提供至預測圖像選擇器76。、
在步驟S23中，預測圖像選擇器76基于已經(jīng)從幀內(nèi)預測器73和運動補償器75輸出的成本函數(shù)值，決定最優(yōu)幀內(nèi)預測模式或最優(yōu)幀間預測模式作為最優(yōu)預測模式。然后，預測圖像選擇器76選擇所決定的最優(yōu)預測模式的預測圖像，并將這些圖像提供至算術運算器63和70。如先前所述，在步驟S13和S18中算術運算使用這些預測圖像。如圖9中的虛線所示，關于預測圖像的選擇信息被提供至幀內(nèi)預測器73或運動預測器74。在選擇了最優(yōu)幀內(nèi)預測模式的預測圖像的情況下，幀內(nèi)預測器73將指示了最優(yōu)幀內(nèi)預測模式的信息(即，幀內(nèi)預測模式信息)提供至無損編碼器66。在選擇了最優(yōu)幀間預測模式的預測圖像的情況下，運動預測器74將指示了最優(yōu)幀間預測模式的信息、運動矢量信息以及參考幀信息輸出至無損編碼器66。在運動補償器75處計算了權重的情況下，已經(jīng)選擇了幀間預測圖像的信息也被提供至運動補償器75，從而運動補償器75輸出所計算的權重因子信息至無損編碼器66。 在步驟S24中，無損編碼器66對已從量化器65輸出的量化變換系數(shù)進行編碼。換句話說，差異圖像經(jīng)歷了諸如可變長度編碼或二進制算術編碼的無損編碼以壓縮。這時，在上述步驟S23中已被輸入至無損編碼器66的、來自幀內(nèi)預測器73的幀內(nèi)預測模式信息或來自運動補償器75的最優(yōu)幀間預測模式以及上述的各條信息被編碼為包括在報頭信息中。例如，按照宏塊來對指示了幀間預測模式的信息進行編碼。按照目標塊來對運動矢量信息和參考幀信息進行編碼。關于權重因子的信息可以基于幀，或可替選地，可以基于序列(拍攝從開始到結束的場景)。在步驟S25中，累積緩沖器67累積差異圖像作為壓縮圖像。在累積緩沖器67中這樣累積的壓縮圖像被適當?shù)貜闹凶x取以通過通道傳送給解碼側(cè)。在步驟S26中，速度控制器77基于在累積緩沖器67中累積的壓縮圖像來控制量化器65的量化操作的速度，以便保護避免發(fā)生上溢或下溢。預測模式選擇處理的描述在圖9的圖像編碼設備51中，為了對相關宏塊進行編碼，必須從多個預測模式中決定最優(yōu)模式。一種典型的決定方法是基于多路徑編碼方法，并通過使用如下等式(4)或
(5)決定運動矢量、參考圖片以及預測模式，以最小化成本(即，成本函數(shù)值)Cost=SATD+λ JfotionGenBit…⑷Cost=SSD+ λ ModeGenBit...(5)下文中，SATD (變換后差異的絕對值之和)是根據(jù)阿達瑪(Hadamard)變換來執(zhí)行的預測誤差的絕對值之和。SSD (平方差之和)是平方誤差之和，該平方誤差是像素的預測誤差的平方的總和。GenBit (生成的比特)是以相關候選模式來對相關宏塊進行編碼的情況下出現(xiàn)的比特量。入__和λ m-是根據(jù)量化參數(shù)QP以及圖片是Ι/P圖片還是B圖片來決定的、被稱為“拉格朗日乘數(shù)”的變量。參照圖13描述了圖像編碼設備51通過使用上述等式(4)或(5)而進行的預測模式選擇處理。預測模式選擇處理是聚焦于圖12中步驟S21至S23中的預測模式選擇而進行處理的。在步驟S31中，幀內(nèi)預測器73和運動補償器75 (預測模式?jīng)Q定器85)分別根據(jù)量化參數(shù)QP和圖片類型來計算λ。雖然未示出用于其的指示性箭頭，但是從量化器65提供量化參數(shù)QP。在步驟S32中，幀內(nèi)預測器73決定幀內(nèi)4X4模式使得成本函數(shù)值取較小值。幀內(nèi)4X4模式包括九種預測模式，且這些模式中具有最小成本函數(shù)值的一種模式被確定為幀內(nèi)4X4模式。在步驟S33中，幀內(nèi)預測器73決定幀內(nèi)16 X 16模式使得成本函數(shù)取較小值。幀內(nèi)16X16模式包括四種預測模式，這些模式中具有最小成本函數(shù)值的一重模式被決定為幀內(nèi)16 X 16模式。然后，在步驟S34中，幀內(nèi)預測器73決定具有較小成本函數(shù)值的幀內(nèi)4X4模式或幀內(nèi)16X16模式作為最優(yōu)幀內(nèi)模式。幀內(nèi)預測器73將以所確定的最優(yōu)幀內(nèi)模式獲得的預測圖像和其成本函數(shù)值提供至預測圖像選擇器76。
從上述步驟S32至S34的處理對應于圖12中步驟S21的處理。在步驟S35中，運動預測器74和運動補償器75決定運動矢量和參考圖片，使得針對以下模式，成本函數(shù)以圖3中的下部中所描繪的8X8宏塊子分區(qū)為單位而取較小值這些模式包括8 X 8、8 X 4、4 X 8、4 X 4，且在B圖片的情況下，包括了直接模式。在步驟S36中，運動預測器74和預定補償器75確定所處理的圖像是否是B圖片，當確定圖像是B圖片時，處理前進到步驟S37。在步驟S37中運動預測器74和預定補償器75決定運動矢量和參考圖片，使得成本函數(shù)針對雙預報預測也取較小值。在步驟S36中，當確定圖像不是B圖片，跳過步驟S37并且處理前進到步驟S38。在步驟S38中，運動預測器74和預定補償器75決定運動矢量和參考圖片，使得針對如下模式以圖3上部所描繪的宏塊分區(qū)為單位而取較小值這些模式包括16X16、16 X 8、8 X 16、直接模式以及跳躍模式。在步驟S39中，運動預測器74和預定補償器75確定所處理的圖像是否是B圖片，并且當確定圖像是B圖片時，處理前進到步驟S40。在步驟S40中運動預測器74和預定補償器75決定運動矢量和參考圖片，使得針對雙預報預測成本函數(shù)也取較小值。在步驟S39中，當確定圖像不是B圖片時，跳過步驟S40并且處理前進到步驟S41。然后，在步驟S41中運動補償器75 (的預測模式?jīng)Q定器85)從上述宏塊分區(qū)和子宏塊分區(qū)中決定具有較小成本函數(shù)的模式作為最優(yōu)幀間模式。預測模式?jīng)Q定器85將以所決定的最優(yōu)幀間模式獲得的預測圖像和其成本函數(shù)值提供至預測圖像選擇器76。從上述步驟S35至S41的處理對應于圖12中步驟S22的處理。在步驟S42中，預測圖像選擇器76從最優(yōu)幀內(nèi)模式和最優(yōu)幀間模式中決定具有最小成本函數(shù)值的模式。步驟S42的處理對應于圖12中步驟S23的處理。如上所述，決定了(用于幀間的)參考圖片和運動矢量以及預測模式。例如，在圖13的步驟S37和S40中的B圖片的情況下針對雙預報預測和直接模式確定了運動矢量時，使用由如下將要描述的圖14中的處理來補償?shù)念A測圖像。圖14是用于描述B圖片情況下的補償處理的流程圖。換句話說，圖14示出了圖12中步驟22中的運動預測/補償處理中用于B圖片的具體處理。在圖14的示例中，為了容易理解，描述了一種情形，在該情形中權重因子針對屏幕外參考像素是O而權重因子針對屏幕內(nèi)參考像素是I。在步驟S51中，選擇器83確定處理目標模式是直接模式還是雙預報預測模式。在步驟S51中，當模式既不是直接模式也不是雙預報模式的情況下，處理前進到步驟S52。在步驟S52中，補償處理器82根據(jù)模式(L0預測或LI預測)執(zhí)行針對相關塊的預測。具體地，在LO預測的情況下，選擇器83將預測模式信息和LO運動矢量信息限制性地發(fā)送至LO區(qū)域選擇器91。LO區(qū)域選擇器91根據(jù)來自選擇器83的預測模式(指示了LO預測)信息和LO運動矢量信息從擴大的LO參考幀信息中選擇相應的LO參考區(qū)域，以輸出至預測模式?jīng)Q定器85。針對LI執(zhí)行相同的處理。在步驟S51中，當確定模式是直接模式或雙預報預測時，處理前進到步驟S53。在這種情況下，來自選擇器83的預測模式信息和運動矢量信息被提供至LO區(qū)域選擇器91、LI區(qū)域選擇器92以及屏幕邊緣確定器94。相應地，LO區(qū)域選擇器91根據(jù)來自選擇器83的預測模式(指示了直接模式或雙 預報預測的)信息和LO運動矢量信息從擴大的LO參考幀信息中選擇相應的LO參考區(qū)域，以輸出至算術運算器93。LI區(qū)域選擇器91根據(jù)來自選擇器83的預測模式信息和LI運動矢量信息從擴大的LI參考幀信息中選擇相應的LI參考區(qū)域，以輸出至算術運算器93。然后，屏幕邊緣確定器94在接下來的步驟S53至S57和S60中確定參考像素是否在屏幕外。在如下的描述中，參考了圖15中描繪的相關預測塊中的相關預測像素的坐標。在圖15中，block_size_x指示了在X方向中相關預測塊的尺寸,而block_size_I指示了在y方向中相關預測塊的尺寸。此外，i指示了相關預測塊中的相關預測像素的X坐標，而j指示了相關預測塊中的相關預測像素的I坐標。在圖15的情況下，當示例性相關預測塊由4X 4像素構成時，(block_sizeX，block_size_y) = (4, 4) ,0彡i且j彡3。因此，圖15中描繪的預測像素具有x=i=2且y=j=0的坐標。在步驟S53中，屏幕邊緣確定器94確定具有從O開始的值的j是否小于block_size_y并當確定了 j大于block_size_y時終止處理。同時,在步驟S53中，當確定j小于block_size_y,即，j在O到3的范圍內(nèi)時，處理前進到步驟S54，且重復執(zhí)行其后的處理。在步驟S54中，屏幕邊緣確定器94確定具有從O開始的值的i是否小于block_size_x并當確定i大于block_size_x時,處理返回步驟S53,且重復執(zhí)行其后的處理。此夕卜，在步驟S54中，當確定i小于block_size_x時，即，i在O到3的范圍內(nèi)時,處理前進到步驟S55，且重復執(zhí)行其后的處理。在步驟S55中，屏幕邊緣確定器94使用LO運動矢量信息mvLOx和mvLOy以及LI運動矢量信息mvLlx和mvLly來求得參考像素。更具體地，通過如下等式(6)給出LO所要參考的像素的I坐標yLO和X坐標xLO以及LI所要參考的像素的y坐標yLl和x坐標xLl。yL0=mvL0y+jxL0=mvL0x+i
yLl=mvLly+jxLl=mvLlx+i…(6)在步驟S56中，屏幕邊緣確定器94確定是否LO所要參考的像素的y坐標yLO小于O或大于等于圖片框的高度(高度，height :y方向中屏幕的尺寸)，或者是否LO所要參考的像素的X坐標XLO小于O或大于等于圖片框的寬度(寬度，width x方向中屏幕的尺寸)。換句話說，在步驟S56中，做出是否建立如下等式(7)的確定。公式IyL0〈0 | | yL0> = height | | xL0〈0 | | xL0> = width…(7)在步驟S56中，在確定了建立等式(7)的情況下，處理前進到步驟S57。在步驟S57中，屏幕邊緣確定器94確定是否LI所要參考的像素的I坐標yLl小于O或大于等于圖片框的高度(高度，height :y方向中屏幕的尺寸)，或者是否LI所要參考的像素的x坐標xLl小于O或大于等于圖片框的寬度(寬度，width x方向中屏幕的尺寸)。換句話說，在步驟S57中，做出是否建立如下等式(8)的確定。公式2yLl<0 | | yLl> = height | | xLl<0 | | xLl> = width…(8)在步驟S57中，在確定了建立等式(8)的情況下，處理前進到步驟S58。在這種情況下，由于LO所要參考的像素和LI所要參考的像素都是屏幕外像素，所以屏幕邊緣確定器94針對相關像素將根據(jù)H. 264/AVC的加權預測的權重因子信息提供至算術運算器93。相應地，在步驟S58中，算術運算器93對相關像素執(zhí)行根據(jù)H. 264/AVC的加權預測。在步驟S57中，在確定了不建立等式(8)的情況下，處理前進到步驟S59。在這種情況下，由于LO所要參考的像素是屏幕外像素而LI所要參考的像素是屏幕內(nèi)像素，所以屏幕邊緣確定器94針對相關像素將LO權重因子信息(O)和LI權重因子信息(I)提供至算術運算器93。相應地，在步驟S59中，算術運算器93限制性地使用LI參考像素來對相關像素執(zhí)行預測。在步驟S56中，在確定了不建立等式(7)的情況下，處理前進到步驟S60。在步驟S60中，屏幕邊緣確定器94確定是否LI所要參考的像素的I坐標yLl小于O或大于等于圖片框的高度(高度，height :y方向中屏幕的尺寸)，或者是否LI所要參考的像素的x坐標xLl小于O或大于等于圖片框的寬度(寬度，width x方向中屏幕的尺寸)。換句話說，在步驟S60中，同樣也做出是否建立等式(8)的確定。在步驟S60中，在確定了建立等式(8 )的情況下，處理前進到步驟S61。在這種情況下，由于LI所要參考的像素是屏幕外像素而LO所要參考的像素是屏幕內(nèi)像素，所以屏幕邊緣確定器94針對相關像素將LO權重因子信息(I)和LI權重因子信息(O)提供至算術運算器93。相應地，在步驟S61中，算術運算器93限制性地使用LO參考像素來對相關像素執(zhí)行預測.同時，在步驟S60中，在確定了不建立等式(8)的情況下，這意味著二者的像素均是屏幕內(nèi)像素，處理前進到步驟S58，并且針對相關像素執(zhí)行根據(jù)H. 264/AVC標準的加權預測。在步驟S58、59或61中，算術運算器93處執(zhí)行的加權預測所得到的加權(Bi-pred)預測信息被輸出至預測模式?jīng)Q定器85。如圖16中所示，概述了上述的處理。在圖16的示例中，示出了參考像素的位置和用于其的處理方法之間的對應關系。
具體而言，在相關參考像素在LO參考區(qū)域中的位置和相關參考像素在LI參考區(qū)域中的位置均在屏幕內(nèi)的情況下，即，在圖14中步驟S57中的Yes的情況下，根據(jù)H. 264/AVC標準的加權預測被用作用于處理相關像素的方法。在相關參考像素在LO參考區(qū)域中的位置在屏幕外而相關參考像素在LI參考區(qū)域中的位置在屏幕內(nèi)的情況下，即，在圖14中步驟S57中的No的情況下，用作用于處理相關像素的方法的是在屏幕內(nèi)的LI參考像素而非屏幕外的LO參考像素上賦予了權重的加權預測。在圖14中描繪的示例中，權重因子是O和1，從而使用了限制性地使用LI參考像素的預測。在相關參考像素在LI參考區(qū)域中的位置在屏幕外而相關參考像素在LO參考區(qū)域中的位置在屏幕內(nèi)的情況下，即，在圖14中的步驟S60中的Yes的情況下，用作用于處理相關像素的方法的是在屏幕內(nèi)的LO參考像素而非屏幕外的LI參考像素上賦予了權重的加權預測。在圖14的示例中，權重因子是O和1，從而使用了限制性地使用LO參考像素的預測。在相關參考像素在LO參考區(qū)域中的位置和相關參考像素在LI參考區(qū)域中的位置 均在屏幕外的情況下，即，在圖14中步驟S60中的No的情況下，使用根據(jù)H. 264/AVC標準的加權預測作為用于處理相關像素的方法。接下來參照圖17給出對圖14的示例的效果的描述。在圖17的示例中，從左依次描繪了 LO參考圖片、當前圖片以及LI參考圖片各自的屏幕內(nèi)部分。LO參考圖片中的虛線部分指示了屏幕外部分。更具體地，由在當前圖片中的相關塊內(nèi)已經(jīng)搜索的運動矢量MV (LO)所指示的LO參考圖片中的參考塊由屏幕外部分(虛線部分)和屏幕內(nèi)部分(中空部分)構成，而由在當前圖片中的相關塊內(nèi)已經(jīng)搜索的運動矢量MV (LI)所指示的LI參考圖片中的參考塊由屏幕內(nèi)部分(中空部分)構成。換句話說，根據(jù)H. 264/AVC標準，兩個參考塊都均已用于針對相關塊的加權預測，該預測使用了權重因子w (LO)和w (LI)而與屏幕外部分的存在無關。另一方面,根據(jù)本發(fā)明(尤其是關于圖14的例子),使用權重因子w (LO)和w (LI)的針對相關塊的加權預測不使用LO參考塊中的屏幕外部分。對于LO參考塊中的屏幕外部分，在針對相關塊的加權預測中所使用的像素被限制為LI參考塊。S卩，由于沒有使用可能是不準確信息的屏幕外部分的像素，所以和根據(jù)H. 264/AVC標準的加權預測比起來，提高了預測精度。顯而易見的是，不僅在其中權重因子是O和I的圖14的示例中，而且在其中用于屏幕外部分的權重因子被設置為低于用于屏幕內(nèi)部分的權重因子的情況下，和根據(jù)H. 264/AVC標準的加權預測比起來，提高了預測精度。這樣編碼的壓縮圖像通過特定通道被傳送以通過圖像解碼設備解碼。圖像解碼設備的配置示例圖18描繪了應用了本發(fā)明的、用作圖像處理設備的圖像解碼設備的實施例的配置。圖像解碼設備101包括累積緩沖器111、無損解碼器112、逆量化器113、逆正交變換器114、算術運算器115、去塊濾波器116、屏幕整理緩沖器117、D/A轉(zhuǎn)換器118、幀存儲器119、幀內(nèi)預測器120、運動補償器121以及開關122。累積緩沖器111對已經(jīng)發(fā)送到其的壓縮圖像進行累積。無損解碼器112根據(jù)與圖9的無損編碼器66采用的編碼系統(tǒng)對應的系統(tǒng)，對從聚集緩沖器111提供的且通過無損解碼器66編碼的信息進行解碼。逆量化器113根據(jù)與圖9的量化器65采用的量化方法對應的方法，對由無損解碼器112解碼的圖像執(zhí)行逆量化。逆正交變換器114根據(jù)與圖9的正交變換器64使用的正交變換方法對應的方法，對從來自逆量化器113的輸出執(zhí)行逆正交變換。由算術運算器115將經(jīng)逆正交變換的輸出添加至將要從開關122提供的預測圖像上，將其并解碼。在將圖像輸出至屏幕整理緩沖器117的同時，去塊濾波器116移除解碼圖像中的塊變形然后將這些圖像提供至幀存儲器119用于累積。屏幕整理緩沖器117整理圖像。更具體地，已經(jīng)被圖9的屏幕整理緩沖器62整理為編碼順序的各幀的順序被整理為原始顯示順序。D/A轉(zhuǎn)換器118對從屏幕整理緩沖器117提供的圖像執(zhí)行D/A轉(zhuǎn)換，并輸這些出圖像至顯示器(未示出)，以在其上顯示這些圖像。 從幀存儲器119向運動補償器121提供將要被參考的圖像。來自算術運算器115的將要經(jīng)歷去塊濾波的輸入圖像被提供至幀內(nèi)預測器120作為用于在幀內(nèi)預測中使用的圖像。從無損解碼器112將指示了通過對報頭信息進行解碼已經(jīng)獲得的幀內(nèi)預測模式的信息提供至幀內(nèi)預測器120。幀內(nèi)預測器120基于該信息生成預測圖像并將生成的預測圖像輸出至開關122。在通過對報頭信息進行解碼而獲得的信息中，從無損解碼器112將包括幀間預測模式信息的信息、運動矢量信息以及參考幀信息的信息提供至運動補償器121。按照宏塊來接收幀間預測模式信息。按照目標塊來接收運動矢量信息和參考幀信息。在圖像編碼設備5處計算了權重因子的情況下，還按照幀或序列來接收權重因子。通過使用所提供的運動矢量信息或可以從外圍塊獲得的運動矢量信息，基于來自無損解碼器112的幀間預測模式來對參考圖像執(zhí)行補償，以生成用于各塊的預測圖像。這時，如同在圖9的運動預測補償器75處一樣，在直接模式或雙預報預測模式的B圖片的情況下，即，在其中使用了多個不同參考圖像的預測模式的情況下，運動補償器121根據(jù)目標塊所要參考的像素是否在其參考圖像的屏幕外來執(zhí)行加權預測，以生成預測圖像。將所生成的預測圖像通過開關122輸出至算術運算器115。開關122選擇已經(jīng)由運動補償器121或幀內(nèi)預測器120生成的預測圖像并將這些圖像提供至算術運算器115。運動補償器的配置示例圖19是描繪了運動補償器121的細節(jié)配置示例的框圖。在圖19的示例中，運動補償器121包括內(nèi)插濾波器131、補償處理器132、選擇器133以及運動矢量預測器134。內(nèi)插濾波器131從幀存儲器119接收參考幀(參考圖像)信息。內(nèi)插濾波器131在參考幀的像素之間執(zhí)行內(nèi)插，如同在圖11的內(nèi)插濾波器81處一樣，以縱向和橫向地擴大四倍，并擴大的幀信息輸出至補償處理器132。補償處理器132包括LO區(qū)域選擇器141、LI區(qū)域選擇器142、算術運算器143以及屏幕邊緣確定器144。在圖19的示例中針對補償處理器132示出了用于B圖片的示例。來自內(nèi)插濾波器131的擴大的參考幀信息被輸入至LO區(qū)域選擇器141、L1區(qū)域選擇器142以及屏幕邊緣確定器144。LO區(qū)域選擇器141根據(jù)來自選擇器133的LO運動矢量信息和預測模式信息，從擴大的LO參考幀信息中選擇相應LO參考區(qū)域，并輸出該信息至算術運算器143。這樣輸出的關于參考區(qū)域的信息被輸入至開關122作為LO預測模式情況下的LO預測信息。LI區(qū)域選擇器142根據(jù)來自選擇器133的預測模式信息和LI運動矢量信息，從擴大的LI參考幀信息中選擇相應LI參考區(qū)域，并輸出該信息至算術運算器143。這樣輸出的關于參考區(qū)域的信息被輸入至開關122作為LI預測模式情況下的LI預測信息.和圖11的算術運算器93 —樣，算術運算器143包括乘法器143A、乘法器143B以及加法器143C。乘法器143A將來自LO區(qū)域選擇器141的LO參考區(qū)域信息乘以來自屏幕邊緣確定器144的LO權重信息，并將結果輸出至加法器143C。乘法器143B將來自LI區(qū)域選擇器142的LI參考區(qū)域信息乘以來自屏幕邊緣確定器144的LI權重信息，并將結果輸出至加法器143C。加法器143C將已經(jīng)基于L O和LI權重信息分配了權重的LO參考區(qū)域和LI參考區(qū)域相加，以便將結果輸出至開關122作為加權預測信息(Bi-pred預測信息)。
將來自無損解碼器112的幀間預測模式信息、來自內(nèi)插濾波器131的擴大的參考幀信息以及來自選擇器133的運動矢量信息提供至屏幕邊緣確定器144。屏幕邊緣確定器144在雙預報預測或直接模式的情況下基于參考幀信息和運動矢量信息確定LO參考像素或LI參考像素是否在屏幕外，以便基于確定結果來輸出將要提供給乘法器143A和乘法器143B的權重因子。例如，在LO和LI的像素均在屏幕內(nèi)或屏幕外的情況下，輸出權重因子W=O. 5。和屏幕內(nèi)參考像素相比，至少將較小的權重因子至少賦予屏幕外參考像素。此外，在由圖11的權重計算器95計算權重因子的情況下，也從無損解碼器112提供權重因子。從而，屏幕邊緣確定器144基于確定結果來輸出將要提供給乘法器143A和乘法器143B的權重因子。如果有的話，則將來自無損解碼器112的幀間預測信息和運動矢量信息也提供給選擇器133。選擇器133根據(jù)預測模式來選擇來自無損解碼器112的運動矢量信息或者已經(jīng)由運動矢量預測器134求出的運動矢量信息，以將所選擇的運動矢量信息提供至屏幕邊緣確定器144、LO區(qū)域選擇器141以及LI區(qū)域選擇器142。如同圖11的運動矢量預測器84—樣，根據(jù)諸如其中運動矢量未發(fā)送至解碼側(cè)的跳躍模式或直接模式的模式，運動矢量預測器134預測運動矢量，并將結果提供至選擇器133。在圖19的示例中，盡管沒有示出，但是例如當需要時外圍塊的運動矢量信息可從選擇器133得到。圖像解碼設備的解碼處理的描述接下來將參照圖20的流程圖給出對由圖像解碼設備101執(zhí)行的解碼處理的描述。在步驟S131中，累積緩沖器111對傳送至其的圖像進行累積。在步驟S132中，無損解碼器112對將要從累積緩沖器111提供的壓縮圖像進行解碼。具體而言，對已經(jīng)由圖9的無損解碼器66編碼的I圖片、P圖片以及B圖片進行解碼。這時，同樣也按照塊來對包括運動矢量信息和參考信息的信息進行解碼。另外，也按照宏塊來對包括預測模式信息的信息(指示了幀內(nèi)預測模式或幀間預測模式的信息)進行解碼。此外，在圖9的解碼側(cè)處計算了權重因子的情況下，也對其信息進行解碼。
在步驟S133中，逆量化器113根據(jù)與圖9的量化器65的特性相對應的特性，對由無損解碼器112解碼的變換系數(shù)執(zhí)行逆量化。在步驟S134中，逆正交變換器114根據(jù)與圖9的正交變換器64的特性相對應的特性，對由逆量化器113逆量化的變換系數(shù)執(zhí)行逆正交變換。這完成了對與圖9的正交變換器64的輸入(來自算術運算器63的輸出)相對應的差異息的解碼。在步驟S135中，算術運算器115將在接下來將要描述的步驟S141的處理中將要選擇并通過開關122輸入的差異信息預測圖像相加。通過該處理對原始圖像進行解碼。在步驟S136中，去塊濾波器116濾波從算術運算器115輸出的圖像。這樣移除了塊變形。在步驟S137中，幀存儲器119存儲濾波的圖像。在步驟S138中，基于針對壓縮圖像的報頭部分的無損解碼的結果，無損解碼器112確定壓縮圖像是否是幀間預測圖像，即，無損解碼的結果是否包含指示了最優(yōu)幀間預測模式的信息。

在步驟S138中，在壓縮圖像被確定為已經(jīng)進行了幀間預測的情況下，無損解碼器112將包括運動矢量信息、參考幀信息以及指示了最優(yōu)幀間預測模式的信息的信息提供給運動補償器121。在已經(jīng)解碼了權重因子的情況下，也將解碼的權重因子提供至運動補償器121。然后在步驟S139中，運動補償器121執(zhí)行運動補償處理?；趤碜詿o損解碼器112的幀間預測模式，運動補償器121通過使用提供至其的運動矢量信息或從外圍塊可得的運動矢量信息，對參考圖像執(zhí)行補償，以便生成塊的預測圖像。這時，如同圖9的運動預測補償器75 —樣，在直接模式或雙預報模式的B圖片的情況下，即在其中使用了多個不同參考圖像的預測模式的情況下，運動補償器121根據(jù)目標塊所要參考的像素是否在其參考圖像的屏幕外來執(zhí)行加權預測。這樣生成的預測圖像通過開關122輸出至算術運算器115。B圖片的補償處理與上述參照圖14的補償處理相似，從而不給出其描述。同時，在步驟S138中做出了壓縮圖像未經(jīng)過幀間預測確定的情況下，即，在無損解碼的結果包括指示了最優(yōu)幀內(nèi)預測模式的信息的情況下，無損解碼器112將指示了最優(yōu)幀內(nèi)預測模式的信息提供至幀內(nèi)預測器120。然后，在步驟S140中，幀內(nèi)預測器120以來自無損解碼器112的信息所指示的最優(yōu)幀內(nèi)預測模式，對來自幀存儲器119的圖像上執(zhí)行幀內(nèi)預測處理，以生成幀內(nèi)預測圖像。然后，幀內(nèi)預測器120輸出幀內(nèi)預測圖像至開關122。在步驟S141中，開關122選擇預測圖像并輸出這些圖像至算術運算器115。具體而言，提供由幀內(nèi)預測器120生成的預測圖像或由運動補償器121生成的預測圖像。因此，從提供的預測圖像中做出選擇以輸出至算術運算器115，且如上所述，在步驟S135中將選擇的圖像與來自逆正交變換器114的輸出相加。在步驟S142中，屏幕整理緩沖器117執(zhí)行整理。更具體地，已經(jīng)由圖像編碼設備51的屏幕整理緩沖器62整理的用于編碼的幀順序被整理為原始顯示順序。在步驟S143中，D/A轉(zhuǎn)換器118對來自屏幕整理緩沖器117的圖像執(zhí)行D/A轉(zhuǎn)換。這些圖像被輸出至顯示器(未示出)，并且在其上顯示圖像。如上所述，在圖像編碼設備51和圖像解碼設備101中，在其中執(zhí)行了使用多個不同參考圖片的加權預測的雙預報預測模式和直接模式中LO或LI參考像素所要參考的是屏幕外部分的情況下，執(zhí)行加權預測，使得將較大權重賦予具有更高可靠度的其他像素而非可能不準確的屏幕外像素上。換句話說，根據(jù)本發(fā)明，利用了屬于專利文獻I的提議中根本未使用的塊的屏幕內(nèi)像素。因此，根據(jù)本發(fā)明，實現(xiàn)了尤其是在屏幕邊緣附近的B圖片的幀間編碼的預測精確性的提高。這允許減少殘差信號，且殘差信號的比特量的降低實現(xiàn)了代碼效率的提高。在例如便攜式終端的較小屏幕中而非較大屏幕中該提高更為顯著。另外，在低比特率情形該技術用起來更為有效。殘差信號的減少導致了在正交變換之后其系數(shù)降低，并且期望的是許多系數(shù)在量化后變?yōu)榱恪８鶕?jù)H.264/AVC標準，在流信息中包括連續(xù)零的數(shù)目。通常，對于借助于零的數(shù)目的表示，編碼的數(shù)量遠低于以預定代碼代替O以外的值的表示；從而，根據(jù)本發(fā)明的取零值的許多系數(shù)導致代碼的比特量的降低。此外，根據(jù)本發(fā)明，實現(xiàn)了以直接模式的預測精度的提高，使得更容易選擇直接模式。由于直接模式不涉及運動矢量信息，尤其是在屏幕邊緣的附近，用于運動矢量信息的報頭信息減少。即，根據(jù)相關技術，即便在LO或LI參考圖片中的參考區(qū)域在屏幕外的情況下期望選擇直接模式，上述的成本函數(shù)值也不可避免地增加，這使得難以選擇的直接模式。此外，為了避免上述情形，在雙預報預測中選擇小的塊時，用于塊的運動矢量信息增加；然而，因為本發(fā)明允許在直接模式中選擇較大的塊，所以實現(xiàn)了運動矢量信息的減少。此外，定義比特串使得較大的塊取較少比特長度；因此，根據(jù)本發(fā)明的選擇較大的塊的便利提供了模式信息的比特量的減少。在較低比特速度時，根據(jù)較大量化參數(shù)QP執(zhí)行量化，這意味著預測精度直接影響圖像質(zhì)量。因此，預測精度的提高實現(xiàn)了屏幕邊緣附近的圖像質(zhì)量的提高。在上面的描述中，在雙預報預測和直接模式中的運動補償?shù)腖O或LI參考像素中參考了屏幕外部分的情況下，執(zhí)行加權預測，使得將較大的權重賦予具有更高可靠度的其他像素而非可能是不精確信息的屏幕外像素上；在雙預報預測中，加權預測也可以用于運動搜索。通過將本發(fā)明的加權預測應用于運動搜索，提高了運動搜索的精確度，且在運動補償使用了加權預測的情況下也可以實現(xiàn)預測精度的提高。擴展宏塊尺寸的應用的說明圖21描述了非專利文獻2中提議的示例性塊尺寸。在非專利文獻2中，宏塊尺寸被擴展至32X32像素。在圖21的上排，從左依次描繪了 32X32像素構成的宏塊，每個宏塊被劃分為32X32像素、32X16像素、16X32像素以及16X 16像素的塊(分區(qū))。在圖21的中排，從左依次描繪了 16X16像素構成的塊，每個塊被劃分為16X16像素、16X8像素、8X16像素以及8X8像素的塊。在圖21的下排，從左依次描述了 8X8像素構成的塊，每個塊被劃分為8X8像素、8X4像素、4X8像素以及4X4像素的塊。換句話說，可以以圖21的上排中描繪的32 X 32像素、32 X 16像素、16 X 32像素以及16 X 16像素的塊來處理32 X 32像素的宏塊。、
可以以中排中描繪的16X 16像素、16X8像素、8X 16像素以及8X8像素的塊來處理上排右側(cè)描繪的16X 16像素的塊，如同H. 264/AVC標準的情況下一樣?？梢砸韵屡胖忻枋龅? X 8像素、8 X 4像素、4X 8像素以及4X 4像素的塊來處理中排右側(cè)描繪的8X8像素的塊，如同H. 264/AVC標準的情況下一樣。根據(jù)非專利文獻2的提議，采用這樣的分層結構保證了與H. 264/AVC標準針對16X16像素的或更小的塊的可擴展性，同時將更大的塊定義為其擴展集。本發(fā)明可以應用于這樣提議的擴展的宏塊尺寸。在前面的描述中，H. 264/AVC標準被基本上用作編碼標準；然而，本發(fā)明不限于此，本發(fā)明可以應用于使用其他編碼標準/解碼標準的圖像編碼設備/圖像解碼設備以執(zhí)行運動預測和補償處理。
注意，本發(fā)明也可以適用于通過諸如衛(wèi)星廣播、線纜電視、因特網(wǎng)或移動電話的網(wǎng)絡介質(zhì)根據(jù)例如MPEG和H. 26x來接收通過諸如離散余弦變換的正交變換和運動補償而壓縮的圖像信息(比特流)中所使用的圖像編碼設備和圖像解碼設備。此外，本發(fā)明適用于在執(zhí)行諸如光盤、磁盤、閃存存儲器的存儲介質(zhì)上的處理中使用的圖像編碼設備和圖像解碼設備。此外，本發(fā)明也適用于包括在這些圖像編碼設備和圖像解碼設備中的運動預測補償設備。通過硬件或軟件可以執(zhí)行上述系列處理。在通過軟件執(zhí)行上述系列處理的情況下，在計算機上安裝配置該軟件的程序。下文中，示例性計算機包括以專用硬件來構建的計算機和被配置為在安裝了各種程序時執(zhí)行各種功能的通用個人計算機。個人計算機的配置示例圖22是用于基于程序描述執(zhí)行上述系列處理的計算機的硬件的配置示例的框圖。在計算機中，CPU (中央處理單元)251、ROM (只讀存儲器)252、以及RAM (隨機存取存儲器)253通過總線254相互耦合?？偩€254還連接有輸入/輸出接口 255。輸入/輸出接口 255連接有輸入器256、輸出器257、存儲裝置258、通信器259以及驅(qū)動器260。輸入器256包括鍵盤、鼠標以及麥克風。輸出器257包括顯不器和揚聲器。存儲裝置258包括硬盤和非易失性存儲器。通信器259包括網(wǎng)絡接口。驅(qū)動器260驅(qū)動諸如磁盤、光盤、磁光盤或半導體存儲器的可移除介質(zhì)261。在這樣配置的計算機中，CPU 251通過使存儲在例如存儲裝置258上的程序通過輸入/輸出接口 255和總線254上載到RAM 253上來執(zhí)行程序，使得執(zhí)行上述系列處理。將由計算機(CPU 251)執(zhí)行的程序可以以可移除介質(zhì)261的形式來提供，例如記錄了該程序的封裝介質(zhì)。還可以通過諸如局域網(wǎng)、因特網(wǎng)或數(shù)字廣播的有線或無線傳送介質(zhì)來提供程序。在計算機中，可以通過輸入/輸出接口 255在存儲裝置258上安裝程序，其中可移除介質(zhì)261附接在驅(qū)動器260上。也可以在通信器259處通過有線或無線傳送介質(zhì)來接收該程序以用于安裝在存儲裝置258上。另外，也可以預先在ROM 252或存儲裝置258上安裝該程序。計算機將要執(zhí)行的程序可以是通過根據(jù)本文描述的順序按照時間次序執(zhí)行處理的程序，或可替選地，可以是在適當時序處(執(zhí)行處理的程序，例如并行執(zhí)行地或者在調(diào)用時執(zhí)行。本發(fā)明的實施例不限于上述實施例，可以做出各種變化和修改而不偏離本發(fā)明的范圍。例如，上述圖像編碼設備51和圖像解碼設備101可以應用于任何電子裝置。下文中描述了其示例。電視接收機的配置示例圖23是描述了使用應用了本發(fā)明的圖像解碼設備的電視接收機的主要配置示例的框圖。圖23中描述的電視接收機300包括地面調(diào)諧器313、視頻解碼器315、視頻信號處 理電路318、圖形生成電路319、面板驅(qū)動電路320以及顯示面板321。地面調(diào)諧器313通過天線接收地面模擬廣播的廣播波信號，解調(diào)它們以獲得視頻信號，并將這些信號提供至視頻解碼器315。視頻解碼器315對地面調(diào)諧器313提供的視頻信號執(zhí)行解碼處理并將所得到的數(shù)字分量信號提供至視頻信號處理電路318。視頻信號處理電路318對視頻解碼器315提供的視頻數(shù)據(jù)執(zhí)行諸如降噪的預定處理，并將所得到的視頻數(shù)據(jù)提供至圖形生成電路319。圖形生成電路319生成例如用于在顯示面板321上顯示的廣播的視頻數(shù)據(jù)以及在處理基于將要通過網(wǎng)絡提供的應用時可以獲得的圖像數(shù)據(jù)，以便將生成的視頻數(shù)據(jù)和圖像數(shù)據(jù)提供至面板驅(qū)動電路320。另外，圖形生成電路319適當?shù)貓?zhí)行處理，諸如根據(jù)項目的選擇，生成用于顯示用戶用來選擇項目的屏幕的視頻數(shù)據(jù)(圖形)，以及將例如通過在廣播的視頻數(shù)據(jù)上的疊加獲得的視頻數(shù)據(jù)提供至面板驅(qū)動電路320。面板驅(qū)動電路320基于從圖形生成電路319提供的數(shù)據(jù)來驅(qū)動顯示面板321，并使得顯示面板321在其上顯示廣播的視頻和上述的各種屏幕。顯示面板321包括IXD (液晶顯示器)并適于在面板驅(qū)動電路320的控制下顯示廣播的視頻。此外，電視接收機300也包括音頻A/D (模擬/數(shù)字)變換電路314、音頻信號處理電路322、回聲消除/語音合成電路323、語音增強電路324以及揚聲器325。地面調(diào)諧器313解調(diào)接收的廣播波信號以獲得視頻信號和音頻信號。地面調(diào)諧器313將獲得的音頻信號提供至A/D變換電路314A/D變換電路314對從地面調(diào)諧器313提供的音頻信號執(zhí)行A/D變換處理，并將所得到的數(shù)字音頻信號提供至音頻信號處理電路322。音頻信號處理電路322對從音頻A/D變換電路314提供的音頻數(shù)據(jù)執(zhí)行諸如降噪的預定處理，并將所得到的音頻數(shù)據(jù)提供至回聲消除/語音合成電路323。回聲消除/語音合成電路323將從音頻信號處理電路322提供的音頻數(shù)據(jù)提供至語音增強電路324。語音增強電路324對從回聲消除/語音合成電路323提供的音頻數(shù)據(jù)執(zhí)行D/A轉(zhuǎn)換處理和放大處理，然后調(diào)整為特定音量使得揚聲器325輸出該音頻。此外，電視接收機300包括數(shù)字調(diào)諧器316和MPEG解碼器317。數(shù)字調(diào)諧器316通過天線接收數(shù)字廣播(地面數(shù)字廣播和BS (廣播衛(wèi)星)/CS (通信衛(wèi)星)數(shù)字廣播)的廣播波信號，解調(diào)這些信號并獲得MPEG-TS (運動圖像專家組-傳送流)，以提供至MPEG解碼器317。MPEG解碼器317對從數(shù)字調(diào)諧器316提供的MPEG-TS執(zhí)行解擾，以提取包含將要播放(觀看)的廣播的數(shù)據(jù)的流。MPEG解碼器317解碼構成所提取的流的音頻包，并將所得到的音頻數(shù)據(jù)提供至音頻信號處理電路322，同時解碼構成流的視頻包以將所得到的視頻數(shù)據(jù)提供至視頻信號處理電路318。此外，MPEG解碼器317通過路徑(未示出)將從MPEG-TS提取的EGP (電子節(jié)目指南)數(shù)據(jù)提供至CPU 332。電視接收機300從而使用MPEG解碼器317形式的上述圖像解碼設備101用于解碼視頻包。因此，如同在圖像解碼設備101的情況下一樣，MPEG解碼器317允許尤其是在 屏幕邊緣附近的B圖片的預測精度的提高。以這種方式，可以實現(xiàn)代碼效率的提高。如同在從視頻解碼器315提供的視頻數(shù)據(jù)的情況中一樣，從MPEG解碼器317提供的視頻數(shù)據(jù)在視頻信號處理電路318處經(jīng)歷預定處理。然后，執(zhí)行了預定處理的視頻數(shù)據(jù)在圖形生成電路319處適當?shù)嘏c例如所生成的視頻數(shù)據(jù)疊加，并通過面板驅(qū)動電路320被提供至顯示面板321，使得可以在其上顯示這些圖像。如同在從音頻A/D轉(zhuǎn)換器314提供的音頻數(shù)據(jù)的情況中一樣，來自MPEG解碼器317的音頻數(shù)據(jù)在音頻信號處理電路322處經(jīng)歷預定處理。然后，執(zhí)行了預定處理的音頻數(shù)據(jù)通過回聲消除/語音合成電路323被提供至語音增強電路324以經(jīng)歷D/A轉(zhuǎn)換處理和放大處理。結果，從揚聲器325輸出調(diào)節(jié)至特定音量的音頻。電視接收機300也包括麥克風326和A/D變換電路327。A/D變換電路327接收由電視接收機300中提供的麥克風326所采集的用戶的語音信號用于在語音會話中使用。A/D變換電路327對所接收的語音信號執(zhí)行A/D變換處理，并將所得到的數(shù)字語音數(shù)據(jù)提供至回聲消除/語音合成電路323?；芈曄?語音合成電路323在從A/D變換電路327提供了電視接收機300的用戶(用戶A)的語音數(shù)據(jù)的情況下，對用戶A的語音數(shù)據(jù)執(zhí)行回聲消除。然后，回聲消除/語音合成電路323通過語音增強電路324使得揚聲器325輸出回聲消除以及隨后例如與其他語音數(shù)據(jù)合成所產(chǎn)生的語音數(shù)據(jù)。電視接收機300還包括音頻編碼解碼器328、內(nèi)部總線329、SDRAM (同步動態(tài)隨機存取存儲器)330、閃存存儲器331、CPU 332, USB (通用串聯(lián)總線)I/F 333以及網(wǎng)絡I/F334。A/D變換電路327接收由電視接收機300中提供的麥克風326所采集的用戶的語音信號用于在語音會話中使用。A/D變換電路327對所接收的語音信號執(zhí)行A/D變換處理，并將所得到的數(shù)字語音數(shù)據(jù)提供至音頻編碼解碼器328。音頻編碼解碼器328將從A/D變換電路327提供的語音數(shù)據(jù)轉(zhuǎn)換為預定格式用于通過網(wǎng)絡傳送，并通過內(nèi)部總線329將該數(shù)據(jù)傳送至網(wǎng)絡I/F 334。網(wǎng)絡I/F 334借助于附接至網(wǎng)絡終端335的線纜連接至網(wǎng)絡。網(wǎng)絡I/F334將從音頻編碼解碼器328提供的語音數(shù)據(jù)提供至例如將要連接至網(wǎng)絡的其他設備。此外，網(wǎng)絡I/F 334通過網(wǎng)絡終端335接收從將要通過網(wǎng)絡連接的其他設備傳送的語音數(shù)據(jù)，以便通過內(nèi)部總線329將該數(shù)據(jù)提供至音頻編碼解碼器328。音頻編碼解碼器328將從網(wǎng)絡I/F 334提供的語音數(shù)據(jù)轉(zhuǎn)換為預定格式的數(shù)據(jù)并將該數(shù)據(jù)提供至回聲消除/語音合成電路323?；芈曄?語音合成電路323對將要從音頻編碼解碼器328提供的語音數(shù)據(jù)執(zhí)行回聲消除并通過語音增強電路324使得揚聲器325輸出例如與其他語音數(shù)據(jù)合成而產(chǎn)生的語音數(shù)據(jù)。SDRAM 330存儲CPU 332將要使用的各種數(shù)據(jù)用于處理。閃存存儲器331存儲CPU 332將要執(zhí)行的程序。在特定時序例如一旦啟動電視接收機300時通過CPU 332讀取閃存存儲器331上存儲的程序。閃存331也存儲已經(jīng)經(jīng)由數(shù)字廣播獲得的EPG數(shù)據(jù)和通過網(wǎng)絡從特定服務器可以獲得的數(shù)據(jù)。例如，存儲在閃存存儲器331上的是在CPU 332的控制下通過網(wǎng)絡從特定服務器獲得的包含內(nèi)容數(shù)據(jù)的MPEG-TS。例如在CPU 332的控制下，閃存存儲器331通過內(nèi)部總線329將MPEG-TS提供至MPEG解碼器317。
MPEG解碼器317，如同在從數(shù)字調(diào)諧器316提供的MPEG-TS的情況中一樣地處理MPEG-TS0以這種方式，電視接收機300被配置為通過網(wǎng)絡接收包括視頻、音頻和其他信息的內(nèi)容數(shù)據(jù)，以通過使用MPEG解碼器317執(zhí)行解碼并提供用于顯示的視頻或用于輸出的音頻。電視接收機300還包括用于接收將要從遠程控制器351發(fā)送的紅外信號的光接收器 337。光接收器337從遠程控制器351接收紅外信號并將指示了已經(jīng)通過解調(diào)而獲取的用戶操作的代碼輸出至CPU 332。CPU 332執(zhí)行存儲在閃存存儲器331上的程序并根據(jù)例如將要從光接收器337提供的控制代碼來對電視接收機300的整個操作進行控制。電視接收機300的構成部分和CPU 332通過路徑(未示出)連接。USB I/F 333通過電視接收機300的外部器件執(zhí)行數(shù)據(jù)傳送/接收，該器件借助于附接至USB終端336的USB線纜來被連接。網(wǎng)絡I/F 334借助于附接至網(wǎng)絡終端335的線纜與網(wǎng)絡連接，并適于通過將要連接至網(wǎng)絡的設備執(zhí)行除了音頻數(shù)據(jù)以外的數(shù)據(jù)的傳送
/接收。電視接收機300通過使用MPEG解碼器317形式的圖像解碼設備101來允許代碼效率的提高。結果，電視接收機300能夠基于可以從天線接收的廣播波信號和可以通過網(wǎng)絡獲得的內(nèi)容數(shù)據(jù)而獲得和呈現(xiàn)更精細的解碼圖像。移動電話的配置示例圖24是描繪了使用應用了本發(fā)明的圖像編碼設備和圖像解碼設備的移動電話的主要配置示例。圖24中描繪的移動電話400包括被配置為對各構成部分執(zhí)行總體控制的主控制器450，電源電路部分451、操作輸入控制器452、圖像編碼器453、照相機Ι/F部分454、LCD控制器455、圖像解碼器456、解調(diào)器457、記錄播放器462、調(diào)制/解調(diào)電路部分458以及音頻編碼解碼器459。這些部分通過總線460相互耦接。移動電話400也包括操作鍵419、(XD(電荷耦合器件)照相機416、液晶顯示器418、存儲裝置423、傳送/接收電路部分463、天線414、麥克風(mic) 421以及揚聲器417。電源電路部分451當通過用戶操作將通話終止-開機鍵切換為接通時從電池組為各構成部分供電，以便將移動電話400激活為可操作情形。移動電話400在例如通過CPU、ROM以及RAM配置的主控制器450的控制下，在諸如語音呼叫模式和數(shù)據(jù)通信模式的各種模式下執(zhí)行包括語音信號的傳送/接收、電子郵件和圖像數(shù)據(jù)的傳送/接收、圖像拍攝以及數(shù)據(jù)記錄的各種操作。例如，在語音呼叫模式中，移動電話400將麥克風(mic) 421收集的語音信號通過音頻編碼解碼器459變換為數(shù)字語音數(shù)據(jù)，并在調(diào)制/解調(diào)電路部分458中執(zhí)行擴展頻譜處理用于傳送/接收電路部分463處的數(shù)字/模擬轉(zhuǎn)換處理和頻率轉(zhuǎn)換處理。移動電話400將通過轉(zhuǎn)換處理獲得的傳送信號通過天線414傳送至基站(未示出)。通過公用電信線路將傳送至基站的傳送信號(語音信號)提供至呼叫方的移動電話。同樣，例如，在語音呼叫模式中，移動電話400在傳送/接收電路部分463處放大已經(jīng)通過天線414接收的接收信號，還執(zhí)行頻率轉(zhuǎn)換處理和模擬/數(shù)字轉(zhuǎn)換處理，在調(diào)制/解調(diào)電路部分458處執(zhí)行擴展頻譜處理，并且通過音頻編碼解碼器459將這些信號變換為 模擬語音信號。移動電話400從揚聲器417輸出通過轉(zhuǎn)換而這樣獲得的模擬語音信號。此外，例如，在數(shù)據(jù)通信模式中傳送電子郵件的情況下，移動電話400在操作輸入控制器452處接收已經(jīng)通過對操作鍵419的操作而輸入的電子郵件的文本數(shù)據(jù)。移動電話400在主控制器450處處理該文本數(shù)據(jù)以通過IXD控制器455使得液晶顯示器418將該數(shù)據(jù)顯示為圖像。移動電話400基于例如在操作輸入控制器452處接收的文本數(shù)據(jù)和用戶指令，在主控制器450處生成電子郵件數(shù)據(jù)。移動電話400在調(diào)制/解調(diào)電路部分458處對電子郵件數(shù)據(jù)執(zhí)行擴展頻譜處理，而在傳送/接收電路部463處執(zhí)行數(shù)字/模擬轉(zhuǎn)換處理和頻率轉(zhuǎn)換處理。移動電話400通過天線414將由轉(zhuǎn)換處理所得到的傳送信號傳送至基站(未示出)。已經(jīng)發(fā)送至基站的傳送信號(電子郵件)被例如通過網(wǎng)絡和通過郵件服務器提供至指定地址。例如，在通信模式中接收電子郵件的情況下，移動電話400通過天線414在傳送/接收電路部463處接收已從基站傳送的信號，放大這些信號并進一步執(zhí)行頻率轉(zhuǎn)換處理和模擬/數(shù)字轉(zhuǎn)換處理。移動電話400在調(diào)制/解調(diào)電路部458處通過逆擴展頻譜處理恢復原始電子郵件。移動電話400通過LCD控制器455使得液晶顯示器418顯示恢復的電子郵件數(shù)據(jù)。注意，移動電話400可以通過記錄播放器462使得存儲裝置423記錄(存儲)所接收的電子郵件數(shù)據(jù)。存儲裝置423是任何形式的可重寫存儲介質(zhì)。存儲裝置423可以是例如諸如RAM或內(nèi)置閃存存儲器的半導體存儲器，硬盤，或諸如磁盤、磁光盤、光盤、USB存儲器或存儲卡的可移除介質(zhì)。顯而易見，也可以適當?shù)厥褂闷渌鎯橘|(zhì)。此外，例如，在數(shù)據(jù)通信模式中傳送圖像數(shù)據(jù)的情況下，移動電話400通過用CXD照相機416拍攝而生成圖像數(shù)據(jù)。CXD照相機416具有諸如透鏡和光圈的光學裝置和用作光電轉(zhuǎn)換裝置并適于對拍攝對象進行拍攝的CCD，以將接收的光的強度轉(zhuǎn)換為電信號，并生成拍攝對象的圖像的圖像數(shù)據(jù)。根據(jù)諸如MPEG 2或MPEG 4的預定編碼標準在圖像編碼器453處通過照相機Ι/F部分454來壓縮和編碼圖像數(shù)據(jù)，以便將數(shù)據(jù)轉(zhuǎn)換為編碼的圖像數(shù)據(jù)。
移動電話400使用圖像編碼器453形式的上述圖像編碼設備51用于執(zhí)行這樣的處理。因此，圖像編碼器453如同在圖像編碼設備51的情況下一樣，實現(xiàn)了尤其是屏幕邊緣附近的B圖片的精確度的提聞。從而可以實現(xiàn)代碼效率的提聞。移動電話400在音頻編碼解碼器459處對由麥克風(421)收集的語音執(zhí)行模擬/數(shù)字變換，同時通過CXD照相機416拍攝，并且進一步對其執(zhí)行編碼。移動電話400在解復用器457處根據(jù)預定標準對從圖像編碼器453提供的編碼圖像數(shù)據(jù)和從音頻編碼解碼器459提供的數(shù)字語音數(shù)據(jù)進行 復用。移動電話400在調(diào)制/解調(diào)電路部分458處對所得到的復用數(shù)據(jù)執(zhí)行擴展頻譜處理，然后使該數(shù)據(jù)在傳送/接收電路部分463處經(jīng)歷數(shù)字/模擬轉(zhuǎn)換處理和頻率轉(zhuǎn)換處理。移動電話400通過天線414將由轉(zhuǎn)換處理得到的傳送信號傳送至基站(未示出)。已經(jīng)被傳送至基站的傳送信號(圖像數(shù)據(jù))通過例如網(wǎng)絡被提供至呼叫方。在未傳送圖像數(shù)據(jù)的情況下，移動電話400可以不通過圖像編碼器453而通過IXD控制器454使得液晶顯示器418顯示CXD照相機416生成的圖像數(shù)據(jù)。此外，例如，在數(shù)據(jù)通信模式中接收鏈接至例如簡單網(wǎng)站的動態(tài)圖片文件的數(shù)據(jù)的情況下，移動電話400在傳送/接收電路部分463處通過天線接收從接站傳送的信號，放大這些信號并執(zhí)行頻率轉(zhuǎn)換處理和模擬/數(shù)字轉(zhuǎn)換處理。移動電話400在調(diào)制/解調(diào)電路部分458處對所接收的信號執(zhí)行逆擴展頻譜處理以恢復原始復用的數(shù)據(jù)。移動電話400在解復用器457處分離復用數(shù)據(jù)以將數(shù)據(jù)分成編碼的圖像數(shù)據(jù)和語音數(shù)據(jù)。 移動電話400根據(jù)與諸如MPEG 2或MPEG 4的預定編碼標準對應的解碼標準在圖像解碼器456處對編碼的圖像數(shù)據(jù)進行解碼，以生成將要再現(xiàn)的動態(tài)圖片數(shù)據(jù)，并通過LCD主控制器455使得液晶顯示器418在其上顯示數(shù)據(jù)。以這種方式，例如，在液晶顯示器418上顯示了鏈接至簡單網(wǎng)站的動態(tài)圖片文件中包含的移動圖片數(shù)據(jù)。移動電話400使用圖像解碼器456形式的上述圖像解碼設備101執(zhí)行這樣的處理。因此，圖像解碼器456如同在圖像解碼設備101的情況中一樣，實現(xiàn)了尤其是屏幕邊緣附近的B圖片的預測精度的提高。從而可以實現(xiàn)代碼效率的提高。這時，移動電話400在音頻編碼解碼器459處將數(shù)字音頻數(shù)據(jù)轉(zhuǎn)換為模擬音頻信號，并使得揚聲器417輸出這些信號。因此，例如，再現(xiàn)了鏈接至簡單網(wǎng)站的動態(tài)圖片文件中包含的音頻數(shù)據(jù)。注意，如同在電子郵件的情況中一樣，移動電話400可以通過記錄播放器462使得存儲裝置423存儲(記錄)鏈接至例如簡單網(wǎng)站的接收數(shù)據(jù)。移動電話400也可以在主控制器450處分析已經(jīng)通過拍攝在CXD照相機416處獲
得的二進制編碼并獲得二進制編碼中記錄的信息。此外，移動電話400可以在紅外通信器481處用外部裝置執(zhí)行紅外通信。移動電話400使用圖像編碼器453形式的圖像編碼設備51，使得實現(xiàn)了預測進精度的提高。結果，移動電話400能夠?qū)⒕哂袃?yōu)秀代碼效率的編碼圖像(圖像數(shù)據(jù))提供給其他裝置。另外，移動電話400使用圖像解碼器456形式的圖像解碼設備101，使得實現(xiàn)了預測精度的提高。結果，移動電話400能夠從例如鏈接到簡單網(wǎng)站的動態(tài)圖片文件中獲得和顯示更精細的解碼圖像。
在上述描述中，移動電話400使用CXD照相機416，也可以使用使用了 CMOS (互補金屬氧化物半導體)的圖像傳感器(CMOS圖像傳感器)。同樣在這種情況下，移動電話400能夠如同在使用CCD照相機416的情形中一樣，對拍攝對象進行拍攝并生成拍攝對象的圖像的圖像數(shù)據(jù)。在上述描述中，示例性地示出了移動電話400 ;然而，如在移動電話400的情況中一樣，圖像編碼設備51和圖像解碼設備101可以應用于具有攝像功能和/或具有與移動電話400的通信功能相似的通信功能的任何設備，例如，PDA (個人數(shù)字助理)、智能電話、UMPC(超移動個人計算機)、上網(wǎng)本以及膝上個人計算機。硬盤記錄器的配置示例圖25是描繪了使用應用了本發(fā)明的圖像編碼設備和圖像解碼設備的硬盤記錄器的主要配置示例的框圖。 圖25中描繪的硬盤記錄器(HDD記錄器)500是用于在內(nèi)置硬盤上保存將要從例如衛(wèi)星或通過地面天線傳送并從調(diào)諧器接收的廣播波信號(電視信號)中包含的廣播的音頻數(shù)據(jù)和視頻數(shù)據(jù)的設備，以便響應于用戶指令將所保存的數(shù)據(jù)在一定時刻提供給用戶。例如，硬盤記錄器500被配置來從廣播波信號中提取音頻數(shù)據(jù)和視頻數(shù)據(jù)，并適當?shù)亟獯a該數(shù)據(jù)以存儲在內(nèi)置硬盤上。硬盤記錄器500也可以從其他裝置通過例如網(wǎng)絡獲取音頻數(shù)據(jù)和視頻數(shù)據(jù)，并適當?shù)亟獯a該數(shù)據(jù)以存儲在內(nèi)置硬盤上。此外，例如，硬盤記錄器500被配置為將已經(jīng)存儲在內(nèi)置硬盤上的音頻數(shù)據(jù)和/或視頻數(shù)據(jù)解碼并將解碼的數(shù)據(jù)提供給監(jiān)控器560，以便使得監(jiān)控器560在其屏幕上顯示圖像。另外，硬盤記錄器500被配置來從監(jiān)控器560的揚聲器輸出音頻。例如，硬盤記錄器500將從通過調(diào)諧器獲得的廣播波信號中提取的音頻數(shù)據(jù)和視頻數(shù)據(jù)解碼，或?qū)⑼ㄟ^網(wǎng)絡從其他裝置獲得的音頻數(shù)據(jù)或視頻數(shù)據(jù)解碼，并將解碼的數(shù)據(jù)提供給監(jiān)控器560，以便使得監(jiān)控器560在其屏幕上顯示圖像。硬盤記錄器500也使得監(jiān)控器560的揚聲器輸出音頻。顯然，其他操作也是可能的。如圖25所述，硬盤記錄器500包括接收器521、解調(diào)器522、解復用器523、音頻解碼器524、視頻解碼器525以及記錄器控制器526。硬盤記錄器500還包括EPG數(shù)據(jù)存儲器527、程序存儲器528、工作存儲器529、顯示轉(zhuǎn)換器530以及OSD (屏幕內(nèi)顯示)控制器531、顯示控制器532、記錄播放器533、D/A轉(zhuǎn)換器534以及通信器535。另外，顯示轉(zhuǎn)換器530包括視頻編碼器541。記錄播放器533包括編碼器551和解碼器552。接收器521從遠程控制(未示出)接收紅外信號并將該信號轉(zhuǎn)換為電信號，以便將該信號輸出至記錄器控制器526。記錄器控制器526例如通過微處理器來配置，且適于根據(jù)在程序存儲器528上存儲的程序來執(zhí)行各種處理。這時，記錄器控制器526在需要時使用工作存儲器529。通信器535連接至網(wǎng)絡以通過網(wǎng)絡執(zhí)行與其他裝置的通信。例如，通信器535在記錄器控制器526的控制下與調(diào)諧器(未示出)通信，以便將信道選擇控制信號主要發(fā)送給調(diào)諧器。解調(diào)器522解調(diào)從調(diào)諧器提供的信號并將該信號輸出至解復用器523。解復用器523將從解調(diào)器522提供的數(shù)據(jù)分離為音頻數(shù)據(jù)、視頻數(shù)據(jù)以及EPG數(shù)據(jù)并分別輸出這些條數(shù)據(jù)到音頻解碼器524、視頻解碼器525以及/或記錄器控制器526。音頻解碼器524根據(jù)例如MPEG標準來解碼所輸入的音頻數(shù)據(jù)并將該數(shù)據(jù)輸出至記錄播放器533。視頻解碼器525根據(jù)例如MPEG標準來解碼所輸入的視頻數(shù)據(jù)并輸出該數(shù)據(jù)至顯示轉(zhuǎn)換器530。記錄器控制器526將輸入的EPG數(shù)據(jù)提供給EPG數(shù)據(jù)存儲器527并使存儲器存儲該數(shù)據(jù)。顯示轉(zhuǎn)換器530根據(jù)例如NTSC (國家電視標準委員會)標準通過使用視頻編碼器541將從視頻解碼器525或記錄器控制器526提供的數(shù)據(jù)編碼為視頻數(shù)據(jù)并將該數(shù)據(jù)輸出至記錄播放器533。顯示轉(zhuǎn)換器530也將從視頻解碼器525或記錄器控制器526提供的視頻數(shù)據(jù)的屏幕的尺寸轉(zhuǎn)換為與監(jiān)控器560的尺寸對應的尺寸。顯示轉(zhuǎn)換器530通過使用視頻編碼器541將具有經(jīng)轉(zhuǎn)換的屏幕尺寸的視頻數(shù)據(jù)進一步轉(zhuǎn)換為根據(jù)NTSC標準的視頻數(shù)據(jù)，并將該數(shù)據(jù)轉(zhuǎn)換為模擬信號以便輸出該信號至顯示控制器532。 顯示控制器532在記錄器控制器526的控制下將從OSD (屏幕內(nèi)顯示)控制器531輸出的OSD信號疊加于從顯不轉(zhuǎn)換器550輸入的視頻信號上，以便輸出這些信號至監(jiān)控器560的顯不器以便顯不。監(jiān)控器560也被配置為提供有從音頻解碼器524輸出且然后被D/A轉(zhuǎn)換器534轉(zhuǎn)換為模擬信號的音頻數(shù)據(jù)。監(jiān)控器560從內(nèi)置揚聲器輸出音頻信號。記錄播放器533包括硬盤作為存儲介質(zhì)用于記錄包括視頻數(shù)據(jù)和音頻數(shù)據(jù)的數(shù)據(jù)。例如，記錄播放器533根據(jù)MPEG標準通過使用編碼器551來將從音頻解碼器524提供的音頻數(shù)據(jù)進行編碼。記錄播放器533也根據(jù)MPEG標準通過使用編碼器551將從顯示控制器530的視頻編碼器541提供的視頻數(shù)據(jù)進行編碼。記錄播放器533借助于復用器合成音頻數(shù)據(jù)的編碼數(shù)據(jù)和視頻數(shù)據(jù)的編碼數(shù)據(jù)。記錄播放器533使合成的數(shù)據(jù)經(jīng)歷用于放大的信道編碼并將該數(shù)據(jù)通過使用記錄頭寫在硬盤上。記錄播放器533通過使用播放頭來重放硬盤上記錄的數(shù)據(jù)、放大數(shù)據(jù)并借助于解復用器將該數(shù)據(jù)分離為音頻數(shù)據(jù)和視頻數(shù)據(jù)。記錄播放器533根據(jù)MPEG標準使用解碼器552解碼音頻數(shù)據(jù)和視頻數(shù)據(jù)。記錄播放器533對解碼的音頻數(shù)據(jù)執(zhí)行D/A轉(zhuǎn)換并輸出該數(shù)據(jù)至監(jiān)控器560的揚聲器。記錄播放器533還對解碼的視頻數(shù)據(jù)執(zhí)行D/A轉(zhuǎn)換并輸出該數(shù)據(jù)至監(jiān)控器560的顯示器。記錄器控制器526響應于從遠程控制通過接收器521接收的紅外信號所指示的用戶指令，從EPG數(shù)據(jù)存儲器527讀取最新EPG數(shù)據(jù)，并將該數(shù)據(jù)提供至OSD控制器531。OSD控制器531生成對應于輸入的EPG數(shù)據(jù)的圖像數(shù)據(jù)并輸出該數(shù)據(jù)至顯示控制器532。顯示控制器532將從OSD控制器531輸入的視頻數(shù)據(jù)輸出至監(jiān)控器560的顯示器以顯示。以這種方式，在監(jiān)控器560的顯示器上顯示了 EPG (電子節(jié)目指南)。硬盤記錄器500也可以獲得將要通過諸如因特網(wǎng)的網(wǎng)絡從其他裝置提供的各種數(shù)據(jù)，諸如視頻數(shù)據(jù)、音頻數(shù)據(jù)或EPG數(shù)據(jù)。通信器535在記錄器控制器526的控制下通過網(wǎng)絡將要從其他裝置發(fā)送的例如視頻數(shù)據(jù)、音頻數(shù)據(jù)和EPG數(shù)據(jù)的編碼數(shù)據(jù)，并將該數(shù)據(jù)提供給記錄器控制器526。例如，記錄器控制器526將獲得的視頻數(shù)據(jù)和音頻數(shù)據(jù)的編碼數(shù)據(jù)提供給記錄播放器533以使得硬盤在其上存儲該數(shù)據(jù)。這時，如果需要的話，記錄器控制器526和記錄播放器533也可以執(zhí)行諸如重新編碼的處理。記錄器控制器526解碼所獲得的視頻數(shù)據(jù)和音頻數(shù)據(jù)的編碼數(shù)據(jù)并將所得到的視頻數(shù)據(jù)提供給顯示轉(zhuǎn)換器530。顯示轉(zhuǎn)換器530以與從視頻解碼器525提供的視頻數(shù)據(jù)相同的方式處理從記錄器控制器526提供的視頻數(shù)據(jù)，并通過顯示控制器532將該數(shù)據(jù)提供給監(jiān)控器560以便在其上顯示圖像。此外，可以這樣配置，除了圖像顯示以外，記錄器控制器526通過D/A轉(zhuǎn)換器534將解碼的音頻數(shù)據(jù)提供給監(jiān)控器560并使得從揚聲器輸出音頻。此外，記錄器控制器526對所獲得的EPG數(shù)據(jù)的編碼數(shù)據(jù)進行解碼，并將解碼的EPG數(shù)據(jù)提供給EPG數(shù)據(jù)存儲器527。上述硬盤記錄器500使用視頻解碼器525、解碼器552以及內(nèi)置在記錄器控制器 526中的解碼器的形式的圖像解碼設備101。因此，視頻解碼器525、解碼器552以及內(nèi)置在記錄器控制器526中的解碼器實現(xiàn)了如同在圖像解碼設備101的情況中一樣的尤其是屏幕邊緣附近的B圖片的預測精度的提高，從而允許代碼效率的提高。因此，硬盤記錄器500能夠生成更精確預測的圖像。結果，硬盤記錄器500能夠例如從通過調(diào)諧器接收的視頻數(shù)據(jù)的編碼數(shù)據(jù)、從記錄播放器533的硬盤讀取的視頻數(shù)據(jù)的編碼數(shù)據(jù)以及通過網(wǎng)絡獲得的視頻數(shù)據(jù)的編碼數(shù)據(jù)當中獲得更精細的解碼圖像，使得在監(jiān)控器560上顯示這些圖像。此外，硬盤記錄器500使用編碼器551形式的圖像編碼設備51。因此，編碼器551實現(xiàn)了，如同在圖像編碼設備51的情況中一樣，尤其是屏幕邊緣附近的B圖片的預測精度的提聞，從而允許代碼效率的提聞。因此，硬盤記錄器500允許將要記錄在硬盤上的編碼數(shù)據(jù)的代碼效率提高。結果，硬盤記錄器500使得以更高的速度和效率使用硬盤的存儲區(qū)域。在上述的描述中，描述了用于在硬盤上記錄視頻數(shù)據(jù)和音頻數(shù)據(jù)的情形；然而，記錄介質(zhì)顯然可以采用任何形式。例如，圖像編碼設備51和圖像解碼設備101，如同在上述硬盤記錄器500的情形中一樣，可以適用于使用除了硬盤之外的記錄介質(zhì)的記錄器，諸如閃存存儲器、光盤或視頻磁帶。照相機的配置示例圖26是描繪使用應用了本發(fā)明的圖像解碼設備和圖像編碼設備的照相機的主要配置示例。圖26中描繪的照相機600被配置來對拍攝對象進行拍攝，以使得在IXD 616上顯示拍攝對象的圖像并在記錄介質(zhì)633上將圖像記錄為圖像數(shù)據(jù)。透鏡塊611允許光(即，拍攝對象的視頻)入射到(XD/CM0S 612上。(XD/CM0S 612是使用了 CXD或CMOS的圖像傳感器并適于將接收光的強度轉(zhuǎn)換為電信號并將這些信號提供給照相機信號處理器613。照相機信號處理器613將從(XD/CM0S 612提供的電信號轉(zhuǎn)換為顏色差異信號Y、Gr以及Cb并將這些信號提供給圖像信號處理器614。圖像信號處理器614在控制器621的控制下，對從照相機信號處理器613提供的圖像數(shù)據(jù)執(zhí)行規(guī)定的圖像處理，并根據(jù)例如MPEG標準借助于編碼器641來編碼這些圖像信號。圖像信號處理器614將通過對這些圖像信號進行編碼而生成的編碼數(shù)據(jù)提供給解碼器615。此外，圖像信號處理器614獲得在屏幕內(nèi)顯示器(OSD) 620處生成的數(shù)據(jù)并將這些數(shù)據(jù)提供給解碼器615。在上述處理中，照相機信號處理器613適當?shù)厥褂猛ㄟ^總線617連接的DRAM (動態(tài)隨機存取存儲器)618，且如果需要的話，使得DRAM 618保持圖像數(shù)據(jù)和通過編碼圖像數(shù)據(jù)獲得的編碼數(shù)據(jù)以及其他數(shù)據(jù)。解碼器615解碼從圖像信號處理器614提供的編碼數(shù)據(jù)，并將所得到的圖像數(shù)據(jù)(解碼圖像數(shù)據(jù))提供給IXD 616。解碼器615同樣將提供從圖像信號處理器614提供的顯示數(shù)據(jù)至IXD 616。IXD 616適當?shù)貙慕獯a器615提供的解碼數(shù)據(jù)與顯示數(shù)據(jù)合成，以便顯示合成數(shù)據(jù)。屏幕內(nèi)顯示器620在控制器621的控制下，通過總線617將用于例如菜單屏幕和包含符號、字符或數(shù)字的圖標的顯示數(shù)據(jù)輸出至圖像信號處理器614。

控制器621基于指示了用戶通過使用操作器622而給出的指令的信號來執(zhí)行各種處理，也通過例總線617對例如圖像信號處理器614、DRAM618、外部接口 619、屏幕內(nèi)顯示器620以及介質(zhì)驅(qū)動器623執(zhí)行控制。例如，在FLASH ROM 624上存儲將要使用的程序和數(shù)據(jù)以使得控制器621執(zhí)行各種處理。例如，控制器621而非圖像信號處理器614和解碼器615可以對在DRAM 618上存儲的圖像數(shù)據(jù)進行編碼，并對在DRAM 618上存儲的編碼的數(shù)據(jù)進行解碼。通過這樣做，控制器621可以根據(jù)與圖像信號處理器614和解碼器615采用的編碼和解碼標準相同的標準執(zhí)行編碼/解碼處理，或可替選地，可以根據(jù)圖像信號處理器614和解碼器615所不支持的標準來執(zhí)行編碼/解碼處理。此外，例如，在通過借助于操作器622指示了圖像打印的情況下，控制器621從DRAM 618讀取相關圖像數(shù)據(jù)并通過總線617將該數(shù)據(jù)提供給連接至外部接口 619的打印機634以打印。此外，例如，在通過借助于操作器622指示了圖像打印的情況下，控制器621從DRAM 618讀取相關圖像數(shù)據(jù)并通過總線617將該數(shù)據(jù)提供給記錄介質(zhì)633以被上載至介質(zhì)驅(qū)動器623。記錄介質(zhì)633是可讀可寫的可移除介質(zhì)，諸如磁盤、磁光盤、光盤或半導體存儲器。記錄介質(zhì)633顯然可以是任何類型的可移除介質(zhì)，例如，可移除介質(zhì)633可以是磁帶裝置、磁盤或存儲卡。顯然，非接觸IC (集成電路)卡也可以包括在這些類型中。此外，介質(zhì)驅(qū)動器623和記錄介質(zhì)633可以是集成的，以便配置為非便攜式記錄介質(zhì)，諸如內(nèi)置硬盤驅(qū)動器或SSD (固態(tài)驅(qū)動器)。外部接口 619可以通過例如USB輸入/輸出終端來配置，并被連接至打印機634以打印圖像。驅(qū)動器631如果需要的話將連接至外部接口 619，以適當?shù)赝ㄟ^諸如磁盤、光盤或磁光盤的可移除介質(zhì)632進行載入，使得如果需要的話將從其讀取的計算機程序安裝在 FLASH ROM 624 上。外部接口 619還包括將要連接至諸如LAN或因特網(wǎng)的規(guī)定網(wǎng)絡的網(wǎng)絡接口。例如，控制器621被配置為響應于來自操作器622的指令從DRAM 618讀取編碼數(shù)據(jù)，以便通過網(wǎng)絡接口 619將該數(shù)據(jù)提供給將要通過網(wǎng)絡連接至其的其他設備。控制器621也可以通過外部接口 619得到從網(wǎng)絡上的其他設備提供的編碼數(shù)據(jù)和圖像數(shù)據(jù)，使得DRAM 618保留該數(shù)據(jù)并將該數(shù)據(jù)提供給圖像信號處理器614。上述照相機600使用解碼器615形式的圖像解碼設備101。因此解碼器615如同在圖像解碼設備101的情形中一樣，實現(xiàn)了尤其是屏幕邊緣附近的B圖片的預測精度的提聞，從而允許代碼效率提聞。因此，照相機600能夠生成更精確的預測圖像。結果，照相機600能夠從例如在(XD/CM0S 612處生成的圖像數(shù)據(jù)、從DRAM 618或記錄介質(zhì)633讀取的視頻數(shù)據(jù)的編碼數(shù)據(jù)或通過網(wǎng)絡獲得的視頻數(shù)據(jù)的編碼數(shù)據(jù)中獲得更精細的解碼圖像以在LCD 616上顯示。照相機600使用編碼器641形式的圖像編碼設備51。因此，編碼器641如同在圖像編碼器51的情形中一樣，實現(xiàn)了尤其是屏幕邊緣附近的B圖片的預測精度的提高，從而允許代碼效率的提聞。因此，照相機600實現(xiàn)了例如將要在硬盤上記錄的編碼數(shù)據(jù)的代碼效率的提高。 結果，允許照相機以更高的速度和效率使用DRAM 618和記錄介質(zhì)633中的終端記錄區(qū)域。注意，圖像解碼設備101的解碼方法可以應用于將由控制器621執(zhí)行的解碼處理。同樣，圖像編碼設備51的編碼方法可以應用于將由控制器621執(zhí)行的編碼處理。此外，照相機600將要攝像的圖像數(shù)據(jù)可以是移動圖像或靜止圖像。顯然，圖像編碼設備51和圖像解碼設備101可以應用于除了上述的設備和系統(tǒng)以外的設備和系統(tǒng)。參考標記列表51 圖像編碼設備66 無損編碼器75 運動預測器/補償器81 內(nèi)插濾波器82 補償處理器83 選擇器84 運動矢量預測器85 預測模式?jīng)Q定器91 LO區(qū)域選擇器92 LI區(qū)域選擇器93 算術運算器93A、93B 乘法器93C 加法器94 屏幕邊緣確定器95 權重計算器101 圖像解碼設備112 無損解碼器121 運動補償器131 內(nèi)插濾波器132 補償處理器133 選擇器
134 運動矢量預測器141 LO區(qū)域選擇器142 LI區(qū)域選擇器143 算術運算器143AU43B 乘法器
143C 加法器144 屏幕邊緣確定器
權利要求
1.一種圖像處理設備，包括 運動預測補償裝置，用于在使用了將要處理的圖像所要參考的多個不同參考圖像的預測中，根據(jù)所述圖像中的塊所要參考的像素是否在所述多個參考圖像的屏幕外來執(zhí)行加權預測。
2.根據(jù)權利要求I所述的圖像處理設備，其中， 所述運動預測補償裝置適于在所述圖像中的塊所要參考的是所述多個參考圖像的屏幕內(nèi)像素的情況下，通過使用這些像素來執(zhí)行標準加權預測，并且 所述運動預測補償裝置適于在所述圖像中的塊所要參考的是所述多個參考圖像中任意一個的屏幕外像素并且是其他所述參考圖像的屏幕內(nèi)像素的情況下，通過使用這些像素來執(zhí)行所述加權預測。
3.根據(jù)權利要求2所述的圖像處理設備，其中和所述屏幕外像素相比，較大的權重被賦予所述屏幕內(nèi)像素。
4.根據(jù)權利要求3所述的圖像處理設備，其中用于在所述加權預測中使用的權重是O或I。
5.根據(jù)權利要求3所述的圖像處理設備，還包括 權重計算裝置，用于基于所述圖像中的塊附近的像素之間的不連續(xù)性來計算用于所述加權預測的權重。
6.根據(jù)權利要求5所述的圖像處理設備，還包括 編碼裝置，用于對將要由所述權重計算裝置計算的關于所述權重的信息進行編碼。
7.根據(jù)權利要求3所述的圖像處理設備，還包括 解碼裝置，用于對將要基于所述圖像中的塊附近的像素之間的不連續(xù)性來計算的、且將要被編碼的關于權重的信息進行解碼，其中 所述運動預測補償裝置適于使用將要由所述解碼裝置解碼的關于權重的信息來執(zhí)行所述加權預測。
8.根據(jù)權利要求2所述的圖像處理設備，其中使用了多個不同參考圖像的所述預測是雙預報預測或直接模式預測中的至少一個。
9.一種用于在包括運動預測補償裝置的圖像處理設備中使用的處理圖像的方法，所述方法包括在使用了將要處理的圖像所要參考的多個不同參考圖像的預測中，通過由所述運動預測補償裝置根據(jù)所述圖像中的塊所要參考的是否在所述多個參考圖像的屏幕外來執(zhí)行加權預測。
10.一種用于使得計算機執(zhí)行與如下運動預測補償裝置一樣的功能的程序，所述運動預測補償裝置用于在使用了將要處理的圖像所要參考的多個不同參考圖像的預測中，根據(jù)所述圖像中的塊所要參考的是否在所述多個參考圖像的屏幕外來執(zhí)行加權預測。
全文摘要
本發(fā)明涉及用于圖像處理的設備和方法及用于該設備和方法的程序，通過該設備和方法，可以實現(xiàn)尤其是在屏幕邊緣附近的B圖片的預測精度的提高。運動補償器適于使用L0參考圖片中的參考區(qū)域的屏幕內(nèi)部分通過根據(jù)H.264/AVC標準的加權預測來生成預測圖像，并且適于不使用L0參考圖片中的參考區(qū)域的屏幕外部分而限制性地使用L1參考圖片中的參考區(qū)域來生成預測圖像。具體地，在L0參考圖片中，如用于L0參考的參考區(qū)域中所描繪的，參考區(qū)域是外側(cè)的虛線方框，但是實際上，內(nèi)側(cè)的虛線方框內(nèi)的區(qū)域被限制性地用于預測。本發(fā)明可以應用于基于例如H.264/AVC標準執(zhí)行編碼的圖像編碼設備。
文檔編號H04N7/32GK102742272SQ20118000584
公開日2012年10月17日 申請日期2011年1月6日 優(yōu)先權日2010年1月18日
發(fā)明者近藤健治 申請人:索尼公司