專利名稱：圖像編碼方法和圖像解碼方法
技術領域：
本發(fā)明涉及一種圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、用軟件來實施的程序和記錄該程序的記錄媒體。
背景技術：
近年來，隨著多媒體應用的發(fā)展，一般可統(tǒng)一處理圖像、聲音、文本等所有媒體的信息。此時，可通過數(shù)字化所有媒體來統(tǒng)一處理媒體。但是，因為數(shù)字化的圖像具有龐大的數(shù)據(jù)量，所以為了存儲、傳送，圖像的信息壓縮技術是不可缺少的。另一方面，為了相互運用壓縮的圖像數(shù)據(jù)，壓縮技術的標準化也是重要的。作為圖像壓縮技術的標準參考，有ITU-T建議(國際電氣通信聯(lián)盟電氣通信標準化部門)的H.261、H.262、ISO(國際標準化機構)的MPEG(移動圖像專家組)-1、MPEG-2、MPEG-4等。


圖1是表示現(xiàn)有的圖像編碼裝置100的結構框圖。在本發(fā)明中，將構成1個圖像的單位稱為圖象(picture)。在交織(interlace)圖像信號中，圖象意味著場或者幀，在漸進(progressive)圖像中，圖象意味著幀。
圖像編碼裝置100具備差分器101、圖像編碼部102、可變長度編碼部103、圖像解碼部104、加法器105、象素間濾波器106、圖像存儲器107、圖象間預測部108和圖象間預測推定部109。差分器101從輸入正輸入端子的輸入圖像中減去輸入負輸入端子的預測圖像，輸出差分圖像。圖像編碼部102編碼輸入的差分圖像。例如，使用DCT變換等變頻輸入的數(shù)據(jù)，通過量化變換結果的步驟數(shù)據(jù)來進行編碼?？勺冮L度編碼部103可變長度編碼編碼的差分圖像和來自圖象間預測推定部109的預測參數(shù)，向結果得到的編碼數(shù)據(jù)附加記述與該編碼數(shù)據(jù)相關聯(lián)信息的頭等關聯(lián)數(shù)據(jù)，整理為輸出編碼位流的格式后，輸出到圖像編碼裝置100的外部。圖像解碼部104對于由圖像編碼部102編碼的差分圖像，通過實施圖像編碼部102進行的編碼的逆處理，解碼編碼的差分圖像，進行解碼。例如，對于編碼的差分圖像，在實施逆量化處理后，例如實施逆DCT變換等逆步驟變換，解碼輸入圖像與預測圖像的差分。加法器105將解碼的差分圖像與預測圖像相加，編碼輸入圖像。象素間濾波器106執(zhí)行例如抑制解碼輸入圖像的高頻分量的編碼噪聲等濾波。圖像存儲器107將加法器105中解碼圖像的至少1圖象大小的圖像數(shù)據(jù)保持為參考圖像。圖象間預測部108根據(jù)圖象間預測推定部109產(chǎn)生的預測結果，從圖像存儲器107內(nèi)的參考圖像中讀取預測圖像。圖象間預測推定部109導出作為輸入圖像對參考圖像的運動變化量的預測參數(shù)PredParam。
更具體而言，從外部向圖像編碼裝置100輸入圖像數(shù)據(jù)Img。將圖像數(shù)據(jù)Img輸入差分器101的正輸入端子。差分器101求出圖像數(shù)據(jù)Img與輸入負輸入端子的預測圖像數(shù)據(jù)Pred的象素值差分，作為差分圖像數(shù)據(jù)Res輸出。如下得到預測圖像數(shù)據(jù)Pred。首先，作為已編碼圖象的圖像，在暫時編碼后，進行解碼，將編碼成1圖象大小的圖像的參考圖像數(shù)據(jù)Ref存儲在圖像存儲器107中。接著，根據(jù)預測參數(shù)PredParam，從參考圖像數(shù)據(jù)Ref中，對應于每個輸入圖像數(shù)據(jù)Img的塊，切出表示塊圖像的數(shù)據(jù)。表面該塊圖像的數(shù)據(jù)是預測圖像數(shù)據(jù)Pred。圖像編碼裝置100將幾個完成編碼的圖象作為預測用參考圖像數(shù)據(jù)Ref存儲在圖像存儲器107中，圖象間預測部108根據(jù)圖像存儲器107中存儲的參考圖像數(shù)據(jù)Ref生成預測圖像數(shù)據(jù)Pred。圖象間預測推定部109根據(jù)輸入圖像數(shù)據(jù)Img和參考圖像數(shù)據(jù)Ref，求出用于預測的預測參數(shù)數(shù)據(jù)PredParam(例如MPEG的圖像編碼方式中使用的運動矢量信息等)。在圖象內(nèi)編碼的情況下，設預測圖像的象素值為0。
圖像編碼部102編碼差分圖像數(shù)據(jù)Res，作為差分圖像編碼數(shù)據(jù)CodedRes輸出。圖像解碼部104根據(jù)編碼的差分圖像編碼數(shù)據(jù)CodedRes解碼原始圖像，為了用作圖象間預測的參考圖像，解碼差分圖像編碼數(shù)據(jù)CodedRes，作為解碼差分圖像數(shù)據(jù)ReconRes輸出。在加法器105中將解碼差分圖像數(shù)據(jù)ReconRes表示的象素值和預測圖像數(shù)據(jù)Pred表示的象素值相加，作為解碼圖像數(shù)據(jù)Recon輸出。象素間濾波器106濾波運算處理解碼圖像數(shù)據(jù)Recon，作為完成濾波解碼圖像數(shù)據(jù)FilteredImg存儲在圖像存儲器107中。
在象素間濾波器106中，在降低解碼圖像數(shù)據(jù)Recon的編碼噪聲、將圖像用作參考圖像的情況下，具有使預測效率提高的效果。作為象素間濾波器106的實例，有ITU-T建議的H.261的環(huán)路濾波器。將由象素間濾波器106執(zhí)行象素間濾波運算的完成濾波解碼圖像數(shù)據(jù)FilteredImg存儲在圖像存儲器107中，在編碼以后的圖象時用作參考圖像?？勺冮L度編碼部103可變長度編碼差分圖像編碼數(shù)據(jù)CodedRes和預測參數(shù)數(shù)據(jù)PredParam，匯總成一個編碼數(shù)據(jù)Bitstream后，輸出到圖像編碼裝置100的外部。圖2是表示現(xiàn)有圖像解碼裝置200的結構框圖。圖像解碼裝置200具備可變長度解碼部201、圖像解碼部202、加法器203、象素間濾波器204、圖像存儲器205和圖象間預測部206。從外部向圖像解碼裝置200輸入編碼數(shù)據(jù)Bitstream?？勺冮L度解碼部201可變長度解碼輸入的編碼數(shù)據(jù)Bitstream，并分離成差分圖像編碼數(shù)據(jù)CodedRes和預測參數(shù)數(shù)據(jù)PredParam。圖像解碼部202解碼差分圖像編碼數(shù)據(jù)CodedRes，作為解碼差分圖像數(shù)據(jù)ReconRes輸出。將參照作為解碼差分圖像數(shù)據(jù)ReconRes輸出的圖象的、即圖像編碼裝置100中相當于參考圖像數(shù)據(jù)Ref的圖象存儲在已解碼的圖像存儲器107中。因此，圖象間預測部206根據(jù)預測參數(shù)數(shù)據(jù)PredParam，基于參考圖像數(shù)據(jù)Ref生成預測圖像數(shù)據(jù)Pred。加法器203將預測圖像數(shù)據(jù)Pred與解碼差分圖像數(shù)據(jù)ReconRes相加，作為解碼圖像數(shù)據(jù)Recon輸出。象素間濾波器204對解碼圖像數(shù)據(jù)Recon實施象素間濾波運算，作為完成濾波圖像數(shù)據(jù)FilteredImg，輸出到圖像解碼裝置200的外部。所謂圖像解碼裝置200的外部例如是電視等顯示裝置。另外，將完成濾波解碼圖像數(shù)據(jù)FilteredImg存儲在圖像存儲器205中，作為以后的圖象參考圖像數(shù)據(jù)Ref來參照。
但是，例如，若考慮使用便攜電話等來傳送動態(tài)圖像的情況等時，為了使便攜設備一次充電就可長時間使用，期望抑制設備整體的消耗功率，所以最好不具備為了圖像處理而必需大功率的高性能處理能力。因此，為了圖像處理，若以只能使用處理能力低的運算器的便攜設備為對象，則有時只能使用要求的處理量小的象素間濾波器。另一方面，在對高畫質(zhì)動態(tài)圖像的傳送和高編碼效率要求強的應用中，對運算器要求的處理量大，但有時也想使用性能高的象素間濾波器。若編碼方式彈性對應于這些要求，則根據(jù)該編碼方式、該解碼方式的圖像編碼裝置和圖像解碼裝置等動作范圍是廣泛有益的。
鑒于這些現(xiàn)有問題，本發(fā)明的目的在于提供一種根據(jù)多種狀況來選擇使用象素間濾波器并生成編碼數(shù)據(jù)的圖像編碼裝置、和解碼編碼數(shù)據(jù)的圖像解碼裝置。
發(fā)明的公開根據(jù)本發(fā)明的圖像編碼裝置編碼作為表示輸入圖像的輸入圖像數(shù)據(jù)、與表示對上述輸入圖像圖象的預測圖像的預測圖像數(shù)據(jù)差分的差分圖像數(shù)據(jù)，生成編碼圖像數(shù)據(jù)，其特征在于具備解碼部，在編碼上述差分圖像數(shù)據(jù)后，解碼上述編碼的差分圖像數(shù)據(jù)，并與上述預測圖像數(shù)據(jù)相加；多個象素間濾波器，對由上述解碼部得到的解碼圖像數(shù)據(jù)實施象素間濾波運算；選擇部，從上述象素間濾波器中選擇1個；和預測圖像生成部，將由選擇的上述象素間濾波器得到的完成濾波解碼圖像數(shù)據(jù)用作參考圖像數(shù)據(jù)，生成相對輸入圖像數(shù)據(jù)的預測圖像數(shù)據(jù)。
因此，根據(jù)本發(fā)明的圖像編碼裝置具有如下效果對應于圖像編碼裝置側的處理能力、接收編碼信號的圖像解碼裝置側的處理能力、或編碼對象的圖像性質(zhì)或壓縮率等，切換適當?shù)南笏亻g濾波器，生成編碼信號。
另外，根據(jù)本發(fā)明的圖像解碼裝置根據(jù)編碼表示動態(tài)圖像中圖象的圖像數(shù)據(jù)和表示動畫中其它圖象的預測圖像數(shù)據(jù)的差分所得到的編碼圖像數(shù)據(jù)，解碼表示原始動態(tài)圖像的多個圖像數(shù)據(jù)，其特征在于具備解碼部，將上述編碼圖像數(shù)據(jù)的解碼結果、與對應于該編碼圖像數(shù)據(jù)的、已解碼的預測圖像數(shù)據(jù)相加，解碼表示原始圖象的圖像數(shù)據(jù)；選擇部，從對解碼的上述圖像數(shù)據(jù)實施象素間濾波運算的多個象素間濾波器中選擇1個；和預測圖像生成部，根據(jù)由選擇的上述象素間濾波器實施上述運算的圖像數(shù)據(jù)，生成對應于其它編碼圖像數(shù)據(jù)的預測圖像數(shù)據(jù)。
因此，在根據(jù)本發(fā)明的圖像解碼裝置中，具有如下效果對應于圖像解碼裝置的處理能力和有無圖像參照，選擇象素間濾波器，可生成預測圖像。另外，在由圖像編碼裝置切換象素間濾波器的情況下，即使圖像解碼裝置也可使用對應的象素間濾波器來正確解碼。
并且，根據(jù)本發(fā)明的圖像編碼裝置(和圖像解碼裝置)編碼重復輸入的幀圖像，其特征在于具備編碼部，通過對幀圖像實施規(guī)定的變換處理來執(zhí)行編碼；逆變換部，對由上述編碼部編碼的幀圖像實施上述變換處理的逆變換處理；濾波部，對幀圖像實施濾波處理；存儲部，存儲幀圖像；和控制部，進行控制，使對由上述逆變換部進行逆變換處理得到的幀圖像實施上述濾波部進行的濾波處理后，將該幀圖像存儲在上述存儲部中，或不實施上述濾波部進行的濾波處理，將該幀圖像存儲在上述存儲部中，上述編碼部邊參照上述存儲部中存儲的過去的幀圖像邊編碼上述幀圖像。
因此，在圖像編碼(和圖像解碼)中，通常不用添加去除噪聲等的象素間濾波器，必要時可選擇地添加象素間濾波器，所以例如通過僅向對畫質(zhì)影響大的幀圖像添加象素間濾波器，即使是處理能力小的圖像編碼裝置(圖像解碼裝置)，也可采用象素間濾波器，從而以低的位速率得到高的畫質(zhì)改善效果。
這里，上述控制部也可控制成在上述幀圖像的重要性高的情況下，對該幀圖像實施上述濾波處理，在上述幀圖像的重要性低的情況下，對該幀圖像不實施上述濾波處理。例如，上述控制部控制成在上述幀圖像是由上述編碼部執(zhí)行面內(nèi)編碼的幀圖像的情況下，判斷該幀的重要性高，對該幀圖像實施上述濾波處理，在上述幀圖像是由上述編碼部執(zhí)行面間編碼的幀圖像的情況下，判斷該幀的重要性低，對該幀圖像不實施上述濾波處理，或控制成在上述幀圖像是由上述編碼部執(zhí)行前向預測編碼的幀圖像的情況下，判斷該幀的重要性高，對該幀圖像實施上述濾波處理，在上述幀圖像是由上述編碼部執(zhí)行雙向預測編碼的幀圖像的情況下，判斷該幀的重要性低，對該幀圖像不實施上述濾波處理，或控制成在上述幀圖像是由上述編碼部執(zhí)行基本層(base layer)編碼的幀圖像的情況下，判斷該幀的重要性高，對該幀圖像實施上述濾波處理，在上述幀圖像是由上述編碼部執(zhí)行增強層(enhancement layer)編碼的幀圖像的情況下，判斷該幀的重要性低，對該幀圖像不實施上述濾波處理，由此，因為優(yōu)先對具有對其它幀圖像影響性大的幀圖像、即面內(nèi)編碼幀圖像、前向預測編碼幀圖像、基本層幀圖像等實施象素間濾波，所以對于相同處理負載的增大，可更有效地得到象素間濾波器進行的噪聲去除等畫質(zhì)改善效果。
另外，上述控制部也可控制成監(jiān)視該圖像編碼裝置(圖像解碼裝置)的處理能力的余量，在有余量的情況下，實施濾波處理，直到重要性更低的幀圖像，在沒有余量的情況下，不實施濾波處理，直到重要性更高的幀圖像。例如，向上述幀圖像對應附加對應于上述重要性的優(yōu)先順序，上述控制部也可控制成通過監(jiān)視該圖像編碼裝置具備的CPU運轉率來監(jiān)視上述余量，在上述運轉率高的情況下，僅對優(yōu)先級高的幀圖像實施濾波處理，在上述運轉率低的情況下，實施濾波處理，直到優(yōu)先級低的幀圖像。
從而，因為可控制濾波處理的ON/OFF，以充分發(fā)揮圖像編碼裝置(圖像解碼裝置)的處理能力，所以可高效率使用CPU，即使是相同的硬件資源，也可實現(xiàn)高畫質(zhì)的編碼(解碼)。
如上所述，通過本發(fā)明，可以低的位速率(高壓縮率)來實現(xiàn)高畫質(zhì)的圖像編碼及圖像解碼，尤其是，可在有限的硬件資源下發(fā)揮軟件的圖像編碼處理和圖像解碼處理的高畫質(zhì)改善效果，在信息通信技術和計算機廣泛普及的今天，實用價值極高。
附圖的簡要說明圖1是表示現(xiàn)有圖像編碼裝置的結構框圖。
圖2是表示現(xiàn)有圖像解碼裝置的結構框圖。
圖3是表示根據(jù)本發(fā)明實施例1的圖像編碼裝置的結構框圖。
圖4是表示在每個輸入圖像切片中切換象素間濾波器的圖像編碼裝置的結構框圖。
圖5(a)是表示本發(fā)明的圖像編碼裝置輸出的編碼數(shù)據(jù)位流Bitstream的流結構的圖。圖5(b)是表示本發(fā)明的圖像編碼裝置在以切片為單位切換象素間濾波器的情況下輸出的編碼數(shù)據(jù)位流Bitstream的流結構的圖。
圖6是表示解碼由根據(jù)本實施例1的圖像編碼裝置生成的編碼數(shù)據(jù)位流Bitstream的圖像解碼裝置的結構框圖。
圖7是表示在內(nèi)部不具備指定象素間濾波器的情況下，代用具備的象素間濾波器的圖像解碼裝置的結構框圖。
圖8是表示根據(jù)本發(fā)明實施例2的圖像編碼裝置的結構框圖。
圖9是表示作為圖8所示象素間濾波器一例的分塊濾波器的運算內(nèi)容的圖。(a)是表示濾波前的塊交界附近的象素值的圖。(b)是表示濾波后的塊交界附近的象素值的圖。
圖10是表示象素間濾波器的濾波處理流程的流程圖。
圖11是表示可選擇進行或不進行象素間濾波處理的圖像解碼裝置的結構框圖。
圖12是表示在輸出級還具備可選擇象素間濾波器的圖像解碼裝置的結構框圖。
圖13是表示可對應于各幀的圖象類型來選擇象素間濾波器的圖像解碼裝置的結構框圖。
圖14是表示根據(jù)本發(fā)明實施例3的圖像編碼裝置的功能結構框圖。
圖15是表示圖14所示優(yōu)先順序決定部的詳細功能結構的框圖。
圖16是表示圖14所示濾波器處理控制部的詳細功能結構的框圖。
圖17是表示存儲在圖14所示圖像存儲器中的幀圖像的參照關系的圖。
圖18是表示圖16所示開關切換處理部執(zhí)行的開關驅動處理的流程圖。
圖19是表示根據(jù)本發(fā)明實施例4的圖像解碼裝置的功能結構框圖。
圖20是使用存儲上述實施例1到實施例3的圖像編碼方法或圖像解碼方法的軟盤，由計算機系統(tǒng)進行實施的情況說明圖。(a)表示作為記錄媒體主體的軟盤的物理格式的實例。(b)表示從軟件正面看到的外觀、截面結構及軟盤，(c)表示在軟盤FD上執(zhí)行上述程序的記錄再現(xiàn)用的結構。
圖21是表示實現(xiàn)內(nèi)容配送服務的內(nèi)容提供系統(tǒng)的整體結構框圖。
圖22是表示便攜電話外觀一例的圖。
圖23是表示便攜電話結構的框圖。
圖24是說明進行上述實施例中所示編碼處理或解碼處理的設備和使用該設備的系統(tǒng)的圖。
實施發(fā)明的最佳形態(tài)(實施例1)下面，參照附圖來說明本發(fā)明的具體實施例。圖3是表示根據(jù)本發(fā)明實施例1的圖像編碼裝置300的結構框圖。圖中，因為已說明與圖1所示現(xiàn)有圖像編碼裝置100一樣的結構要素和數(shù)據(jù)，所以標以相同符號，并省略說明。在以后的圖中也一樣，對已說明的現(xiàn)有結構要素和數(shù)據(jù)標以相同符號，并省略說明。圖像編碼裝置300具備差分器101、圖像編碼部102、可變長編碼部305、圖像解碼部104、加法器105、圖像存儲器107、圖象間預測部108、圖象間預測推定部109、開關301、開關302、象素間濾波器A303和象素間濾波器B304。開關301和開關302分別是對應于濾波器種類數(shù)據(jù)FilterTypel的值，來選擇連接端子1和端子2之一的開關。開關301被設置在加法器105的輸出端子、與象素間濾波器A303和象素間濾波器B304的輸入端子之間。開關302被設置在圖像存儲器107的輸入端子、與象素間濾波器A303和象素間濾波器B304的輸出端子之間。象素間濾波器A303和象素間濾波器B304是，例如對塊間交界附近的高頻噪聲進行平滑處理，去除塊失真的分塊濾波器(デブロックフィルタ)，各自平滑處理的程度不同。另外，對應于平滑處理的程度，平滑處理用運算處理量不同。另外，開關301和開關302等圖示的結構既可安裝成硬件，也可安裝成軟件。另外，在其它附圖中也一樣。
可變長度編碼部305分別可變長度編碼、例如霍夫曼編碼輸入的濾波器種類數(shù)據(jù)FilterTypel、差分圖像編碼數(shù)據(jù)CodedRes和預測參數(shù)數(shù)據(jù)PredParam，匯聚成一個編碼數(shù)據(jù)位流Bitstreaml后，輸出到圖像編碼裝置300的外部。
更具體說明與現(xiàn)有圖像編碼裝置100相比新構成上述結構的圖像編碼裝置300動作的部分。首先，從外部向圖像編碼裝置300輸入濾波器種類數(shù)據(jù)FilterTypel。這里，所謂從外部輸入是指例如用戶從圖像編碼裝置外部使用鍵盤等用戶接口的輸入、或者是由裝置固定的數(shù)據(jù)，是由裝置依據(jù)位速率(壓縮率)或圖像尺寸來決定的值。將該濾波器種類數(shù)據(jù)FilterTypel輸入開關301和開關302。該開關301和開關302對應于該濾波器種類數(shù)據(jù)FilterTypel的值來切換連接于端子“1”和端子“2”之一上。例如，在濾波器種類數(shù)據(jù)FilterTypel的值為“1”的情況下，開關301和開關302都連接端子“1”。此時對于從加法器105輸出的解碼圖像數(shù)據(jù)Recon，適用象素間濾波器A303的濾波。在濾波器種類數(shù)據(jù)FilterTypel的值為“2”的情況下，開關301和開關302切換到端子“2”側，對于從加法器105輸出的解碼圖像數(shù)據(jù)Recon，適用象素間濾波器B304的濾波。因此，將實施了象素間濾波器A303或象素間濾波器B304的濾波的完成濾波解碼圖像數(shù)據(jù)FilteredImgl存儲在圖像存儲器107中，用作以后圖象的預測編碼中的參考圖像。另外，將特定象素間濾波器的濾波器種類數(shù)據(jù)FilterTypel與同一圖象的差分圖像編碼數(shù)據(jù)CodedRes和預測參數(shù)數(shù)據(jù)PredParam一起輸入可變長度編碼部305，分別進行可變長度編碼。濾波器種類數(shù)據(jù)FilterTypel的可變長度編碼結果與該差分圖像編碼數(shù)據(jù)CodedRes和預測參數(shù)數(shù)據(jù)PredParam的可變長度編碼結果相對應后，存儲在編碼數(shù)據(jù)Bitstreaml中，存儲于記錄媒體中，也傳送給圖像解碼裝置。即，對各圖象的解碼圖像數(shù)據(jù)Recon適用的象素間濾波器種類由存儲在編碼數(shù)據(jù)Bitstreaml中的濾波器種類數(shù)據(jù)FilterTypel通知給圖像解碼裝置。從而，在解碼編碼數(shù)據(jù)Bitstreaml的圖像解碼裝置中，可特定在圖像編碼裝置300中適用于各圖象的解碼圖像數(shù)據(jù)Recon的象素間濾波器，所以可分各圖象的解碼圖像使用與其相同的濾波器。在上述說明中雖設濾波器種類數(shù)據(jù)FilterTypel的值為“1”、“2”，但這是方便說明來定義的值，只要是可區(qū)別多個種類的值，也可是任何值。
如上所述，在圖像編碼裝置300中，作為象素間濾波器，具備多個不同預測性能、處理量的象素間濾波器，可對應于從外部輸入的濾波器種類數(shù)據(jù)FilterTypel來切換使用。如此切換使用不同預測性能、處理量的象素間濾波器具有以下優(yōu)點。首先，為了說明，設象素間濾波器A303的處理量比象素間濾波器B304的少，另一方面，象素間濾波器B304的噪聲抑制效果比象素間濾波器A303的高，預測編碼效率提高。作為本發(fā)明的解碼圖像編碼裝置300輸出的編碼數(shù)據(jù)的圖像解碼裝置，考慮僅具備象素間濾波器A303的圖像解碼裝置A、和具備象素間濾波器A303和象素間濾波器B304兩者的圖像解碼裝置B這兩種圖像解碼裝置。前者的圖像解碼裝置A要求的處理量小，適于處理能力低的設備。后者的圖像解碼裝置B適于處理量大的設備。后者的圖像解碼裝置B也可解碼使用象素間濾波器A303和象素間濾波器B304任一象素間濾波器的編碼數(shù)據(jù)，對前者的圖像解碼裝置A具有上位互換性。在這種情況下，圖像編碼裝置300可用作還對應于上述兩種任一圖像解碼裝置的圖像編碼裝置。即，如上所述，在圖像編碼裝置300中，通過對應于設為對象的圖像解碼裝置的處理能力來選擇適當預測性能、處理量的象素間濾波器，對種類廣范的設備，可適用使用與圖像編碼裝置300中適用的相同象素間濾波器的編碼方法(對編碼數(shù)據(jù)Bitstreaml解碼)。
另外，在所謂對應于圖像解碼裝置的處理能力的編碼數(shù)據(jù)生成的用途之外，還可對應于圖像編碼裝置300的處理能力來切換象素間濾波器。例如，在編碼圖像尺寸和圖象速率大的情況下，編碼處理整體所需的處理量變大。因此，在編碼圖像尺寸和圖象速率小于一定值的情況下，使用要求的處理能力高的象素間濾波器B304，在編碼圖像尺寸和圖象速率大于一定值的情況下，使用要求的處理能力低的象素間濾波器A303，編碼處理整體所需的處理量不會變高。另外，在由1臺裝置時分執(zhí)行多個處理的時隙系統(tǒng)上實現(xiàn)圖像編碼的情況下，圖像編碼所用處理量可在其它處理的影響下動態(tài)變化。因此，在圖像編碼所用處理量在規(guī)定以上的情況下，使用處理量高的象素間濾波器B304，在圖像編碼所用處理量在規(guī)定以小的情況下，使用處理量比象素間濾波器B304少的象素間濾波器A303。
象素間濾波器的切換定時也可是具備多個適于特定性質(zhì)圖像的象素間濾波器，對應于各圖像的性質(zhì)，以圖象單位切換象素間濾波器。例如，在文字等邊緣信息重要的情況下，使用邊緣保存性好的象素間濾波器。通過邊緣檢測或文字檢測等圖像處理技術來自動判斷執(zhí)行切換，也可由用戶從明示的適于自然圖像的象素間濾波器、適于文字的象素間濾波器、適于邊緣的象素間濾波器中進行選擇。這樣，若多個象素間濾波器的切換成為可能，則因為可選擇適于圖像性質(zhì)的濾波器，所以可進一步提高預測效率。即，不對應于處理量來切換，而是切換濾波器來提高畫質(zhì)也是有效的。因此，在本實施例中說明了對應于處理量來進行切換，但也可切換濾波器來提高畫質(zhì)。
切換象素間濾波器的單位不限于圖象單位，因為圖像的性質(zhì)也可因圖像內(nèi)的部分而不同，所以例如也可以MPEG切片、宏塊和塊等比圖象小的圖像區(qū)域作為單位，也可將至少多于1個象素集合的區(qū)域作為單位來切換象素間濾波器。
圖4是表示在每個輸入圖像切片中切換象素間濾波器的圖像編碼裝置400的結構框圖。圖像編碼裝置400是以MPEG切片單位切換象素間濾波器來執(zhí)行解碼象素的濾波的圖像編碼裝置，具備差分器101、圖像編碼部102、圖像解碼部104、加法器105、圖像存儲器107、圖象間預測部108、圖象間預測推定部109、開關403、開關404、象素間濾波器A303、象素間濾波器B304、可變長度編碼部305、濾波器切換位置判斷部401和開關402。濾波器切換位置判斷部401根據(jù)從外部輸入的圖像數(shù)據(jù)Img來檢測輸入圖像的切片，每次切換檢測到的切片時，例如，向開關402輸出例如輸出1個脈沖的濾波器切換控制數(shù)據(jù)SetFType。開關402是在不輸出濾波器切換控制數(shù)據(jù)SetFType期間截斷端子間連接的開關，在輸出濾波器切換控制數(shù)據(jù)SetFrype的瞬間，僅以極短的時間將從外部輸入的濾波器種類數(shù)據(jù)FilterTypel導向開關403和開關404。開關403和開關404都對應于每次切換輸入圖像數(shù)據(jù)Img的切片時瞬間輸入的濾波器種類數(shù)據(jù)FilterTypel的值，連接端子“1”或端子“2”之一，保持該狀態(tài)。即，在截斷開關402的連接期間，不切換象素間濾波器。結果，每次切換輸入圖像數(shù)據(jù)Img的切片時，通過濾波器種類數(shù)據(jù)FilterTypel來選擇新的象素間濾波器，可防止在切片途中切換象素間濾波器。
如上所述，通過本發(fā)明的象素編碼裝置，可使用對應于再現(xiàn)本發(fā)明圖像編碼裝置輸出的編碼數(shù)據(jù)的圖像解碼裝置的處理能力的象素間濾波器，生成編碼數(shù)據(jù)。另外，可對應于圖像編碼裝置的處理能力來選擇象素間濾波器。
本實施例的圖像編碼裝置具備的象素間濾波器雖為兩個，但也可具備3個以上的象素間濾波器。與本實施例一樣，選擇3個以上象素間濾波器之一來使用，只要編碼數(shù)據(jù)中包含表示使用的象素間濾波器種類的濾波器種類數(shù)據(jù)即可。
另外，也可不對應于處理量來進行切換，而是切換濾波器來提高畫質(zhì)。
另外，在圖像編碼裝置400中，雖設濾波器切換控制數(shù)據(jù)SetFType為在每次檢測切片(スラィス)切換時表示值“1”、在此外的期間表示值“0”的脈沖波形，但本發(fā)明不限于此，例如，也可以是每個切換切片時反轉的矩形波，也可是其它波形。另外，雖設開關402為在濾波器切換控制數(shù)據(jù)SetFType為同相位期間截斷端子間連接的開關，但本發(fā)明不限于此，在不是濾波器切換位置的情況下，濾波器切換位置判斷部401也可輸出表示截面開關402的濾波器切換控制數(shù)據(jù)SetFType。另外，在圖像編碼裝置400中，雖設以圖像數(shù)據(jù)Img的切片單位來切換象素間濾波器，但也可以圖象單位來切換象素間濾波器。另外，也可以塊、宏塊或各一定多個象素為單位來切換象素間濾波器。
圖5(a)是表示本發(fā)明的圖像編碼裝置輸出的編碼數(shù)據(jù)位流Bitstream的流結構的圖。圖5(b)是表示本發(fā)明的圖像編碼裝置在以切片為單位切換象素間濾波器的情況下輸出的編碼數(shù)據(jù)Bitstream的流結構的圖。本發(fā)明的編碼數(shù)據(jù)的特征在于特定多個象素間濾波器之一的濾波器種類數(shù)據(jù)FilterTypel包含在編碼數(shù)據(jù)Bitstream中。在通過該流結構來解碼本發(fā)明的編碼數(shù)據(jù)Bitstream的圖像解碼裝置中，通過調(diào)查編碼數(shù)據(jù)Bitstream中包含的濾波器種類數(shù)據(jù)FilterTypel，可使用與編碼時使用的象素間濾波器相同的象素間濾波器。
在圖5(a)所示的編碼數(shù)據(jù)Bitstream中，在附加在編碼數(shù)據(jù)Bitstream整體上的頭901中(例如斜線部)記述表示用于各圖象濾波的象素間濾波器的濾波器種類數(shù)據(jù)FilterType的值。該編碼數(shù)據(jù)Bitstream對應于圖3所示從圖像編碼裝置300輸出的編碼數(shù)據(jù)Bitstreaml，另外，在圖5(b)所示的編碼數(shù)據(jù)Bitstream中，在每個切片中設置的切片頭902中(例如斜線部)記述表示用于該切片濾波的象素間濾波器的濾波器種類數(shù)據(jù)FilterType的值。該編碼數(shù)據(jù)Bitstream對應于圖4所示從圖像編碼裝置400輸出的編碼數(shù)據(jù)Bitstreaml。這樣，通過將濾波器種類數(shù)據(jù)FilterType存儲在作為編碼數(shù)據(jù)Bitstream開頭部分的頭901、和作為數(shù)據(jù)記錄、傳送基本單位、還作為糾錯、修正單位的切片開頭的切片頭902等中，在圖像解碼裝置中，通過從頭901或切片輸入編碼數(shù)據(jù)Bitstream，可在該切片解碼之前特定該切片的濾波種類。
這里，雖說明以切片單位來切換象素間濾波器，但不僅切片單位，也可以由比切片小的圖像領域單位(只要集合1個以上象素的區(qū)域即可，例如MPEG宏塊、塊等)切換象素間濾波器。另外，也可以作為比切片大的圖像區(qū)域單位的圖象來進行切換。此時，除記述在圖5(a)所示頭901中(例如斜線部)以外，例如也可將對應于各圖象的濾波器種類數(shù)據(jù)FilterTypel的值記述在對每個圖象編碼數(shù)據(jù)設置的圖象頭中。另外，在設宏塊或塊為濾波方法的切換單位的情況下，只要對每個切片匯集各宏塊或各塊的濾波器種類數(shù)據(jù)FilterTypel的值，記述在切片頭中即可。
另外，也可在由包等傳送的情況下分離成頭部和數(shù)據(jù)部來分別傳送。此時，如圖5所示，頭部和數(shù)據(jù)部不會成為一個位流。但是，在包的情況下，即使傳送順序多少有前有后，但對應于對應數(shù)據(jù)部的頭部僅由其它包來傳送，即使不成為一個位流，理論上也與圖5中說明的位流情況相同。
如上所述，通過設定輸入本發(fā)明圖像編碼裝置的濾波器種類數(shù)據(jù)FilterTypel的值來選擇對應于圖像解碼裝置的處理能力的象素間濾波器，可生成對應于再現(xiàn)本發(fā)明圖像編碼裝置輸出的編碼數(shù)據(jù)的圖像解碼裝置處理能力的編碼數(shù)據(jù)。另外，可對應于圖像編碼裝置的處理能力來選擇象素間濾波器。
另外，也可不對應于處理量來進行切換，而切換濾波器來提高畫質(zhì)。
圖6是表示解碼由根據(jù)本實施例1的圖像編碼裝置生成的編碼數(shù)據(jù)Bitstream的圖像解碼裝置1000的結構框圖。圖像解碼裝置1000是根據(jù)記述在輸入的編碼數(shù)據(jù)Bitstreaml頭中的濾波器種類數(shù)據(jù)FilterTypel，對每個圖象或每個切片切換象素間濾波器，解碼編碼數(shù)據(jù)Bitstreaml的編碼數(shù)據(jù)的圖像解碼裝置，具備可變長度解碼部201、圖像解碼部202、加法器203、圖像存儲器205、圖象間預測部206、開關1001、開關1002、象素間濾波器A1003和象素間濾波器B1004。
從外部向圖像解碼裝置1000輸入編碼數(shù)據(jù)Bitstreaml。通過例如實施例1中的圖像編碼裝置300或圖像編碼裝置400來編碼編碼數(shù)據(jù)Bitstreaml。可變長度解碼部201可變長度解碼輸入的編碼數(shù)據(jù)Bitstreaml，分離成差分圖像編碼數(shù)據(jù)CodedRes、預測參數(shù)數(shù)據(jù)PredParam和濾波器種類數(shù)據(jù)FilterTypel，分別向圖像解碼部202輸出差分圖像編碼數(shù)據(jù)CodedRes，向圖象間預測部206輸出預測參數(shù)數(shù)據(jù)PredParam，向開關1001和開關1002輸出濾波器種類數(shù)據(jù)FilterTypel。開關1001和開關1002在輸入值“1”來作為濾波器種類數(shù)據(jù)FilterTypel的情況下，切換到端子“1”側，對解碼圖像數(shù)據(jù)Recon適用象素間濾波器A1003的濾波。在輸入值“2”來作為濾波器種類數(shù)據(jù)FilterTypel的情況下，開關1001和開關1002切換到端子“2”側，對解碼圖像數(shù)據(jù)Recon適用象素間濾波器B1004的濾波。在通過任一象素間濾波器實施象素間濾波運算的情況下，都會在將完成濾波解碼圖像數(shù)據(jù)FilteredImgl存儲在圖像存儲器205中，同時，輸出到圖像解碼裝置1000的外部，例如顯示裝置等。
如上所述，根據(jù)本發(fā)明的圖像解碼裝置1000，可解碼在頭部包含特定象素間濾波器種類的濾波器種類數(shù)據(jù)FilterTypel的編碼數(shù)據(jù)Bitstreaml。
本實施例的圖像解碼裝置具備的象素間濾波器雖為兩個，但也可具備3個以上的象素間濾波器。與本實施例一樣，只要根據(jù)編碼數(shù)據(jù)Bitstream內(nèi)的濾波器種類數(shù)據(jù)，選擇3個以上象素間濾波器之一來使用即可。
如實施例1所示，在以圖象單位、或比圖象小的圖像區(qū)域單位來切換濾波器種類的情況下，在變更濾波器種類的時刻切換象素間濾波器。
圖7是表示在內(nèi)部不具備指定象素間濾波器的情況下，代用具備的象素間濾波器的圖像解碼裝置1100的結構框圖。圖像解碼裝置1100的特征在于在圖像解碼裝置1100內(nèi)不具備由編碼數(shù)據(jù)中包含的濾波器種類數(shù)據(jù)選擇的象素間濾波器的情況下，代替使用圖像編碼裝置1100中具備的任一象素間濾波器。該圖像解碼裝置1100具備可變長度解碼部201、圖像解碼部202、加法器203、圖像存儲器205、圖象間預測部206、開關1001、開關1002、象素間濾波器A1003、象素間濾波器B1004和濾波器種類數(shù)據(jù)變換部1101。
例如，設圖像解碼裝置1100中僅具備濾波器種類數(shù)據(jù)FilterTypel的值“1”和值“2”表示的兩種象素間濾波器A1003和象素間濾波器B1004。從外部向圖像解碼裝置1100輸入編碼數(shù)據(jù)Bitstream3?？勺冮L度解碼部201可變長度解碼輸入的編碼數(shù)據(jù)Bitstream3，分離成差分圖像編碼數(shù)據(jù)CodedRes、預測參數(shù)數(shù)據(jù)PredParam和濾波器種類數(shù)據(jù)FilterType3，分別向圖像解碼部202輸出差分圖像編碼數(shù)據(jù)CodedRes，向圖象間預測部206輸出預測參數(shù)數(shù)據(jù)PredParam，向濾波器種類數(shù)據(jù)變換部1101輸出濾波器種類數(shù)據(jù)FilterType3。濾波器種類數(shù)據(jù)變換部1101在濾波器種類數(shù)據(jù)FilterType3的值為表示圖像解碼裝置1100中不具備的象素間濾波器的值“3”時，將濾波器種類數(shù)據(jù)FilterType3的值“3”變換為表示平滑度與例如圖像解碼裝置1100中具備的象素間濾波器中指定象素間濾波器最近似的象素間濾波器的“2”的值，作為濾波器種類數(shù)據(jù)FilterType4輸出。
通過執(zhí)行這種變換處理，在圖像解碼裝置1100中，因為使用與編碼時不同的象素間濾波器，所以多少產(chǎn)生畫質(zhì)惡化，但因為可進行接近原來解碼圖像的解碼處理，所以作為簡易的圖像解碼裝置是非常有效的。在輸入值“1”來作為濾波器種類數(shù)據(jù)FilterType4的情況下，開關1001和開關1002都切換到端子“1”側，對解碼圖像數(shù)據(jù)Recon適用象素間濾波器A1003的濾波。在輸入值“2”來作為濾波器種類數(shù)據(jù)FilterType4的情況下，開關1001和開關1002都切換到端子“2”側，對解碼圖像數(shù)據(jù)Recon適用象素間濾波器B1004的濾波。將作為象素間濾波器處理結果的完成濾波解碼圖像數(shù)據(jù)FilteredImg3輸出到圖像解碼裝置1100外的顯示裝置等。
如上所述，根據(jù)圖像解碼裝置1100，即使指定圖像解碼裝置100不具備的象素間濾波器的濾波器種類數(shù)據(jù)FilterType3在包含于輸入編碼數(shù)據(jù)Bitstream3中的情況下，也可代用內(nèi)部具備的象素間濾波器來執(zhí)行解碼。因此，不會導致大幅度的畫質(zhì)惡化，可解碼編碼數(shù)據(jù)Bitstream。
在圖像解碼裝置1100具備的象素間濾波器(也包含沒有象素間濾波運算)為1個的情況下，可通過強制使用該象素間濾波器來執(zhí)行解碼。
在本實施例的圖像解碼裝置中，雖具備兩個象素間濾波器(沒有象素間濾波運算也算作1個濾波器)，但即使有3個以上的象素間濾波器也可進行同樣的處理。即，作為1個象素間濾波器，也包含不執(zhí)行象素間濾波運算，將解碼圖像數(shù)據(jù)Recon原樣存儲在圖像存儲器205中的處理。
如實施例1所示，在以圖象單位、或比圖象小的圖像區(qū)域單位來切換濾波器種類的情況下，在變更濾波器種類的時刻切換象素間濾波器。
用圖9和圖10來更詳細說明象素間濾波器303、304、1003、1004的動作。圖9是表示作為象素間濾波器一例的分塊濾波器的運算內(nèi)容的圖。圖9(a)是表示濾波前的塊交界附近的象素值的圖。圖9(b)是表示濾波后的塊交界附近的象素值的圖。圖10是表示象素間濾波器的濾波處理流程的流程圖。圖9(a)表示同一水平掃描線上的象素601-象素608中的各個象素值。象素601-象素604都是塊610內(nèi)的象素，而象素605-象素608是鄰接于塊610的塊611內(nèi)的象素。象素601-象素604的象素值分別為p3、p2、p1和p0，象素605-象素608的象素值分別為q0、q1、q2和q3。在圖像編碼裝置中，通過以塊(或宏塊)等為單位來執(zhí)行圖象間預測、圖像編碼、可變長度編碼和圖像解碼等處理。因此，跨過相鄰塊(或宏塊)間的交界、例如塊610與塊611的交界的象素間、例如象素604與象素605中，在高頻下容易產(chǎn)生編碼噪聲。例如，在圖9(a)所示象素604的象素值p0與象素605的象素值q0中，傾向于象素值的差由于編碼噪聲的影響而容易變大。因此，象素間濾波器可使用多個參照來決定濾波器，例如是對應于決定濾波器的參數(shù)α、β的濾波器，通過該象素間濾波器來濾波跨過塊交界的象素組的象素值。
如圖10所示，象素間濾波器首先求出跨過塊交界的象素604與象素605的象素值的差(p0-q0)的絕對值，判斷求出的絕對值是否小于參數(shù)α的值(S701)。判斷結果，若象素值的差(p0-q0)的絕對值大于參數(shù)α的值，則象素間濾波器對由解碼圖像數(shù)據(jù)Recon表示的象素值不執(zhí)行分塊濾波處理(S704)。另一方面，若步驟S701中的判斷結果是跨過塊交界的相鄰象素間的象素值差(p0-q0)的絕對值小于參數(shù)α，則象素間濾波器還求出象素604與象素603的象素值之差(p1-q0)的絕對值，判斷求出的絕對值是否小于參數(shù)β的值(S702)。這里，象素604和象素603是同一塊610內(nèi)的相鄰象素。判斷結果，若象素值之差(p1-q0)的絕對值大于參數(shù)β的值，則象素間濾波器503對由解碼圖像數(shù)據(jù)Recon表示的象素值不執(zhí)行分塊濾波處理(S704)。另外，若判斷結果是象素值差(p1-q0)的絕對值小于參數(shù)β，則還求出象素605與象素606的象素值之差(q1-q0)的絕對值，判斷求出的絕對值是否小于參數(shù)β的值(S703)。這里，象素605和象素606是同一塊611內(nèi)的相鄰象素。判斷結果，若象素值之差(q1-q0)的絕對值大于參數(shù)β的值，則象素間濾波器對由解碼圖像數(shù)據(jù)Recon表示的象素值不執(zhí)行分塊濾波處理(S704)。另一方面，若象素值之差(q1-q0)的絕對值小于參數(shù)β的值，則象素間濾波器503對解碼圖像數(shù)據(jù)Recon執(zhí)行濾波，去除編碼噪聲，結束處理。象素間濾波器對跨過塊交界的水平掃描線方向和垂直掃描線方向的各象素列重復以上處理。從而，在3組相鄰象素的象素值之差都小于一定值的情況下，通過實施分塊濾波處理，去除失真。
在上述步驟S704的分塊濾波處理中，對交界附近的象素執(zhí)行平滑處理濾波(抑制高頻分量濾波)。例如，可對象素604的象素值p0、象素605的象素值q0、象素603的象素值p1和象素606的象素值q1使用抑制高頻分量的低通濾波器(Low Pass Filter)來生成平滑處理產(chǎn)生的象素604的新的象素值P0。
(實施例2)圖8是表示根據(jù)實施例2的圖像編碼裝置500的結構框圖。圖像編碼裝置500與圖像編碼裝置300的不同之處在于作為象素間濾波處理，可選擇將解碼圖像數(shù)據(jù)Recon作為參考圖像數(shù)據(jù)Ref原樣存儲在圖像存儲器107中。
圖像編碼裝置500具備差分器101、圖像編碼部102、圖像解碼部104、加法器105、圖像存儲器107、圖象間預測部108、圖象間預測推定部109、開關501、開關502、象素間濾波器503、表格保持部504和可變長度編碼部505。
在濾波器種類數(shù)據(jù)FilterType2的值為“0”時，開關501和開關502都切換到端子“0”側，將從加法器105輸出的解碼圖像數(shù)據(jù)Recon原樣存儲在圖像存儲器107中。在濾波器種類數(shù)據(jù)FilterType2的值為“1”時，開關501和開關502都切換到端子“1”側，將從加法器105輸出的解碼圖像數(shù)據(jù)Recon導向象素間濾波器503。象素間濾波器503是用于象素值濾波的濾波器，例如是抑制塊交界中高頻分量的編碼噪聲的分塊濾波器。將通過象素間濾波器503進行象素間濾波運算的完成濾波解碼圖像數(shù)據(jù)FilteredImg2存儲在圖像存儲器107中。可變長度編碼部505可變長度編碼濾波器種類數(shù)據(jù)FilterType2、差分圖像編碼數(shù)據(jù)CodedRes和預測參數(shù)數(shù)據(jù)PredParam，匯聚成圖5(a)所示的1個編碼數(shù)據(jù)Bitstream2，輸出到圖像編碼裝置500的外部。
圖像編碼裝置500具備的象素間濾波器為1個，但也可以是2個以上象素間濾波器。選擇2個以上象素間濾波器之一或無象素間濾波運算并使用，編碼數(shù)據(jù)中最好包含表示使用的象素間濾波器種類(包含無象素間濾波運算)的濾波器種類數(shù)據(jù)。另外，圖像編碼裝置500中也可省略表格保持部504，而在象素間濾波器503的內(nèi)部具備表格保持部504的功能。
如上所述，在本發(fā)明的圖像編碼裝置500中，可使用對應于再現(xiàn)從該圖像編碼裝置500輸出的編碼數(shù)據(jù)Bitstream2的圖像解碼裝置處理能力的象素間濾波器來生成編碼數(shù)據(jù)。另外，可對應于圖像編碼裝置500的處理能力來選擇象素間濾波器。另外，也可以圖象單位或比圖象還小的圖像區(qū)域單位來切換濾波器種類。
圖11是表示可選擇進行或不進行象素間濾波處理的根據(jù)實施例2的圖像解碼裝置1200的結構框圖。圖像解碼裝置1200與圖6的圖像解碼裝置1000的不同點在于可選擇不執(zhí)行象素間濾波運算，作為象素間濾波處理，將解碼圖像數(shù)據(jù)Recon作為參考圖像數(shù)據(jù)Ref，原樣存儲在圖像存儲器205中。圖像解碼裝置1200具備可變長度解碼部201、圖像解碼部202、加法器203、圖像存儲器205、圖象間預測部206、開關1201、開關1202和象素間濾波器1203。
向圖像解碼裝置1200輸入例如由圖8的圖像編碼裝置500編碼的圖9(a)的編碼數(shù)據(jù)那樣、在頭內(nèi)包含表示編碼時適用的象素間濾波器的濾波器種類數(shù)據(jù)FilterType2的編碼數(shù)據(jù)Bitstream2。在濾波器種類數(shù)據(jù)FilterType2中包含作為濾波器種類的表示“無象素間濾波運算”的值?？勺冮L度解碼部201可變長度解碼輸入的編碼數(shù)據(jù)Bitstream2，分離成差分圖像編碼數(shù)據(jù)CodedRes、預測參數(shù)數(shù)據(jù)PredParam和濾波器種類數(shù)據(jù)FilterType2，將分離后的差分圖像編碼數(shù)據(jù)CodedRes、預測參數(shù)數(shù)據(jù)PredParam和濾波器種類數(shù)據(jù)FilterType2分別輸出到圖像解碼部202、圖象間預測部206和開關1201及開關1202。
在輸入值“0”來作為濾波器種類數(shù)據(jù)FilterType2的情況下，開關1201和開關1202都切換到端子“0”側，將從加法器203輸出的解碼圖像數(shù)據(jù)Recon原樣存儲在圖像存儲器205中。在輸入值“1”來作為濾波器種類數(shù)據(jù)FilterType2的情況下，開關1201和開關1202都切換到端子“1”側，對解碼圖像數(shù)據(jù)Recon適用象素間濾波器1203的濾波。
另外，也可在根據(jù)濾波器種類數(shù)據(jù)來判斷作為參考圖像的解碼圖像中未使用象素間濾波器的情況下，在將該解碼圖像作為參考圖像存儲在圖像存儲器中時，不進行象素間濾波器的濾波，僅在向圖像解碼裝置的外部輸出時，才使用象素間濾波器。圖12是表示在圖像輸出部中還具備可選擇象素間濾波器的圖像解碼裝置1300的結構框圖。如上所述，圖像解碼裝置1300是如下的圖像解碼裝置在濾波器種類數(shù)據(jù)FilterType2表示對從加法器203輸出的解碼圖像不執(zhí)行象素間濾波器的濾波時，對圖像存儲器中存儲的解碼圖像不濾波，通過設置在輸出側的象素間濾波器來對輸出到外部的解碼圖像執(zhí)行濾波，具備可變長度解碼部201、圖像解碼部202、加法器203、圖像存儲器205、圖象間預測部206、開關1201、開關1202、象素間濾波器1203、開關1301、開關1302和象素間濾波器1303。
在濾波器種類數(shù)據(jù)FilterType2的值為“1”的情況下，開關1201、開關1202、開關1301、開關1302都切換到端子“1”側。此時，開關1201和開關1202導通加法器203的輸出、象素間濾波器1203和圖像存儲器205，開關1302截斷開關1202的輸出與象素間濾波器1303的導通，與開關1301短路。因此，象素間濾波器1203對解碼圖像數(shù)據(jù)Recon執(zhí)行濾波運算，輸出完成濾波解碼圖像數(shù)據(jù)FilterdImg3。將完成濾波解碼圖像數(shù)據(jù)FilterdImg3作為輸出圖像0utImg原樣、即不由象素間濾波器1303重復濾波地輸出到圖像解碼裝置外的顯示裝置等。在濾波器種類數(shù)據(jù)FilterType2的值為“0”的情況下，開關1201、開關1202、開關1301、開關1302都切換到端子“0”側。此時，開關1201截斷加法器203的輸出與象素間濾波器1203的導通，與開關1202短路。另一方面，開關1302導通開關1202的輸出、象素間濾波器1303與開關1301的外部輸出端子。因此，象素間濾波器1203不對從加法器203輸出的解碼圖像數(shù)據(jù)Recon執(zhí)行象素間濾波運算，而作為參考圖像，原樣存儲在圖像存儲器205中。從開關1202的輸出側取得的解碼圖像數(shù)據(jù)Recon、即實際上未濾波的完成濾波解碼圖像數(shù)據(jù)FilterdImg3由象素間濾波器1303實施象素間濾波運算，作為輸出圖像OutImg，輸出到圖像解碼裝置1300以外的顯示裝置等。
這里，為了說明，將象素間濾波器1203和象素間濾波器1303記載為不同的結構要素，但安裝上也可使用相同的象素間濾波器(因為兩個象素間濾波器不同時動作，所以即使使用相同的象素間濾波器也沒問題)。另外，象素間濾波器1203和象素間濾波器1303也可是現(xiàn)有的象素間濾波器106，或是圖8所示內(nèi)置表格保持部504的象素間濾波器503。并且，也可以是內(nèi)置多個保持參數(shù)表620的表格保持部504的象素間濾波器503。此時，還必需向象素間濾波器503輸入濾波器種類數(shù)據(jù)FilterType2’。
如上所述，根據(jù)圖像解碼裝置1300，即使對成為參考圖像的解碼圖像不實施濾波的情況下，也可對該解碼圖像實施象素間濾波器的濾波，所以在顯示從圖像解碼裝置1300輸出的輸出圖像OutImg的顯示裝置中，可顯示更高畫質(zhì)的動態(tài)圖像。這在對成為參考圖像的解碼圖像不實施濾波的情況下，處理能力有余量的設備情況下特別有效。
如實施例1所示，在以圖象單位、或比圖象小的圖像區(qū)域單位來切換由濾波器種類數(shù)據(jù)FilterType2表示的象素間濾波器的種類的情況下，在變更濾波器種類的時刻切換象素間濾波器。
圖13是表示可對應于各圖象的圖象類型來選擇象素間濾波器1203的圖像解碼裝置1400的結構框圖。圖像解碼裝置1400是解碼是否將完成解碼的圖象用作參考圖像的信息、例如包含各圖象的圖象種類等的編碼數(shù)據(jù)的圖像解碼裝置，具備圖像解碼部202、加法器203、圖像存儲器205、圖象間預測部206、象素間濾波器1203、可變長度解碼部1401、開關1402、開關1403和圖象種類數(shù)據(jù)變換部1404。
可變長度解碼部1401可變長度解碼從外部輸入的編碼數(shù)據(jù)Bitstream4，并分離成圖象種類數(shù)據(jù)Ptype、差分圖像編碼數(shù)據(jù)CodedRes和預測參數(shù)數(shù)據(jù)PredParam。分別將分離后的圖象種類數(shù)據(jù)Ptype輸出到圖象種類數(shù)據(jù)變換部1404，將差分圖像編碼數(shù)據(jù)CodedRes輸出到圖像解碼部202，將預測參數(shù)數(shù)據(jù)PredParam輸出到圖象間預測部206。圖象種類數(shù)據(jù)Ptype是表示該圖象是否可被用作參考圖像的信息。例如，在作為國際標準參考的MPEG-1、2中，編碼數(shù)據(jù)中包含每幀中稱為圖象類型的信息，稱為B圖象的幀不被用作參考圖像。因此，也可將編碼數(shù)據(jù)中包含的圖象類型用作本實施例的圖象種類數(shù)據(jù)。若對不被用作參考圖像的圖象執(zhí)行象素間濾波器的濾波時，不會對其它圖象解碼產(chǎn)生過多壞影響。
這里，圖像解碼裝置1400在該圖象不被用作參考圖像的情況下不執(zhí)行象素間濾波。例如，在圖像解碼裝置1400的處理能力低，在再現(xiàn)時刻不能執(zhí)行與時間一致的解碼時，通過不對未被用作參考圖像的圖象執(zhí)行象素間濾波器的濾波，可減輕圖像解碼裝置1400的處理量。當用圖13的框圖來說明時，首先，圖象種類數(shù)據(jù)變換部1404若輸入的圖象種類數(shù)據(jù)Ptype表示B圖象以外的圖象，即表示將該圖象用作參考圖像，則開關1402和開關1403都被切換到端子“1”。從而，圖像解碼裝置1400使用象素間濾波器1203，對解碼圖像數(shù)據(jù)Recon執(zhí)行象素間濾波運算，將運算結果作為完成濾波解碼圖像數(shù)據(jù)FilterdImg5存儲在圖像存儲器205中，同時，輸出到圖像解碼裝置1400以外的顯示裝置等。另一方面，圖象種類數(shù)據(jù)Ptype若表示該圖象是B圖象，即該圖象不被用作參考圖像，則開關1402和開關1403被切換到端子“0”，不使用象素間濾波器1203，將從加法器105輸出的解碼圖像數(shù)據(jù)Recon原樣輸出到外部。
如上所述，根據(jù)圖像解碼裝置1400，因為對沒有參考其它圖象的B圖象省略了象素間濾波器1203的濾波，所以對其它圖象的解碼沒有產(chǎn)生大的影響，可減輕編碼數(shù)據(jù)Bitstream的解碼要求的處理量。另外，因為圖像解碼裝置1400對應于編碼數(shù)據(jù)的圖象類型來選擇象素間濾波器，所以象素間濾波器的選擇信息未進入圖象頭(ヘッダ)等頭信息中，即使對從現(xiàn)有圖像編碼裝置輸出的編碼數(shù)據(jù)，也可省略對未參考圖像的濾波處理，可減輕濾波處理的負載。
未參照的圖象無不進行濾波處理無關，例如圖13所示，不必保存在圖像存儲器205中。由此，只要在僅保存參照的圖象、在圖像存儲器205中進行濾波處理的數(shù)據(jù)即可。
嚴格地說不意味著未參照B圖象的圖像，還考慮參照B圖像的圖像編碼方法。因此，不是單純由圖象類型來選擇象素間濾波器，若判斷是否實際參照的圖象，則即使在參照B圖象的情況下，也可進行更適當?shù)奶幚?。即使在參照B圖象的情況下，為了簡化安裝，也單純地由圖象類型來進行切換。
另外，不切換是否執(zhí)行象素間濾波器，如圖6或圖7所示，也可由圖象種類或是否參考圖象來切換象素間濾波器1003、象素間濾波器1004與兩個濾波器。
另外，說明通過圖象種類和是否參考圖象來切換象素間濾波器的圖像解碼裝置的實例，但即使在圖像編碼裝置中也可同樣執(zhí)行該切換。
(實施例3)圖14是表示根據(jù)本發(fā)明實施例3的圖像編碼裝置1500的功能結構框圖。圖像編碼裝置1500由具備CPU、存儲器、安裝了圖像編碼用程序的硬盤(HD)等的計算機裝置實現(xiàn)，作為功能，具備操作接收部1505、前處理部1510、減法部1512、正交變換部1513、量化部1514、可變長度編碼部1517、后處理部1520、逆量化部1521、逆正交變換部1522、加法部1524、開關部1530、象素間濾波器1540、圖像存儲器1541、運動檢測部1542、運動補償部1543、優(yōu)先順序決定部1550和濾波器處理控制部1560。
操作接收部1505接收操作者的輸入操作。前處理部1510具備模式變換部，將輸入的圖像信號模式變換為由操作接收部1505的操作指定的空間分辨率；和圖象重新排列部，與圖象種類一致，重新排列圖象，等，依次輸出圖象種類和各幀的幀圖像等。
圖象類型中有畫面內(nèi)編碼模式時生成的、無參考圖像的I圖象(IntraPicture面內(nèi)編碼圖像)、畫面間編碼模式時生成的僅參照1個圖象的P圖象(Predictive Picture預測編碼圖像)及還可參照后方圖像的B圖象(BiPredictive Picture多個預測圖像)，限制在畫面間編碼模式時的運動檢測時，存儲在圖像存儲器1541中的可由運動檢測部5142同時參照的解碼圖像個數(shù)。
另外，在編碼幀圖像的情況下，有使用3個圖象種類來編碼情況的模式(下面還將該模式稱為IPB編碼模式)、和僅使用I圖象和P圖象這兩個圖象來進行編碼情況的模式。在僅使用I圖象和P圖象這兩個圖象來進行編碼情況的模式下，有對可參照的P圖象及不可參照的P圖象進行編碼的模式(下面還將該模式稱為第1IP編碼模式)、和對層次編碼中的基本層的P圖象、可由增強層參照的P圖象及不可由增強層參照的P圖象進行編碼的模式(下面還將該模式稱為第2IP編碼模式)。所謂層次編碼是將圖象分成基本層和增強層這兩個層，基本層是可僅由基本層的圖象組單獨再現(xiàn)的集合，增強層是為了編碼、解碼而必需基線圖象組的圖象組。若僅是基本層，則位數(shù)少，若基本層與增強層結合，則位數(shù)多，但圖象數(shù)變多，所以基線在所有情況下記錄、傳送，增強層僅在必需高畫質(zhì)的情況下記錄、傳送，可容易實現(xiàn)兩種用途是層次編碼的特征。
在第1IP編碼模式的情況下，在向幀圖像附加[有可能]或[無可能]的信息的同時，向圖象種類附加[有可能]或[無可能]的信息。另外，在第2編碼模式的情況下，向幀圖像附加[基本]、[有可能]或[無可能]的信息的同時，向圖象種類附加[基本]、[有可能]或[無可能]的信息。
減法部1512在畫面內(nèi)編碼模式時原樣輸出從前處理部1510輸出的幀圖像，在畫面間編碼模式時，計算作為幀圖像與從運動補償部1543輸出的運動補償圖像的差分值的運動補償誤差(殘差圖像)。
正交變換部1513通過分別對從減法部1512輸出的畫面內(nèi)編碼模式時的幀圖像及畫面間編碼模式時的運動補償誤差執(zhí)行離散余弦變換等正交變換，輸出變換為頻域的頻率分量。量化部1514通過量化從正交變換部1513輸出的頻率分量，輸出量化值?？勺冮L度編碼部1517通過對從量化部1514輸出的量化值使用分配對應于發(fā)生頻度的碼長的可變長度碼(霍夫曼碼)，輸出還實施信息壓縮的編碼信號。后處理部1520具有暫時存儲編碼信號等的緩沖器、和控制量化部1514中的量化寬度用的速率控制部等，將上述運動矢量、圖象種類等、和從可變長度編碼部1517輸出的編碼信號變換為位流的編碼信號后輸出。
逆量化部1521通過逆量化量化部1514生成的量化值，解碼頻率分量。逆正交變換部1522通過逆正交變換由逆量化部1512解碼的頻率分量，在畫面內(nèi)編碼模式時解碼幀圖像，在畫面間編碼模式時解碼作為象素差分值的運動補償誤差(殘差圖像)。加法部1524在畫面內(nèi)編碼模式時原樣輸出由逆正交變換部1522解碼的幀圖像(解碼圖像)，在畫面間編碼模式時，通過將由逆正交變換部1522解碼的殘差圖像和由運動補償部1543生成的運動補償圖像相加，解碼幀圖像。
開關部1530由通過濾波處理控制部1560對每個圖象的開關ON/OFF控制、同步切換開關形態(tài)的一對開關1531、1532構成，將象素間濾波器1540組裝環(huán)內(nèi)，或離開環(huán)，即，跳過象素間濾波器1540的處理。象素間濾波器1540在開關1531、1532ON時，對從加法部1524輸出的解碼圖像，以塊單位執(zhí)行空間低通濾波處理，生成沒有塊失真等的解碼圖像。例如，算出某個象素、其周圍象素與平均值，若某個象素與周圍象素的差在規(guī)定范圍內(nèi)，則一個一個地對塊交界附近的象素執(zhí)行將該某個象素置換成算出的平均值的處理。
圖像存儲器1541以多個幀大小存儲從開關部1530輸出的解碼圖像。從而，可在與解碼從后處理部1520輸出的編碼信號的圖像解碼裝置相同的狀態(tài)下，監(jiān)視解碼圖像，并將解碼圖像用作畫面間編碼模式時的參考圖像。在第1IP編碼模式和第2IP編碼模式中，必需將附加有參照可能性信息的P圖象解碼圖像存儲在圖像存儲器1541中，不必將附加無參照可能性的信息的P圖象解碼圖像存儲在圖像存儲器1541中。因此，有/無可能性的信息表示與將解碼圖像存儲/不存儲到圖像存儲器1541中相同的含義。
運動檢測部1542在畫面間編碼模式時，從存儲在圖像存儲器1541中的解碼圖像中檢索與從前處理部1510輸出的幀圖像的差分最小的參考圖像，輸出作為差分象素運動量的運動矢量。在輸出運動矢量時，輸出參考圖像是前方圖像、后方圖像、兩圖像的平均值等塊預測種類。運動補償部1543執(zhí)行由運動矢量及塊預測種類表示的運算，生成運動補償圖像。優(yōu)先順序決定部1550對應于圖象種類、基本層、增強層，輸出該圖象的優(yōu)先級。濾波器處理控制部1560對應于從優(yōu)先順序決定部1550輸出的優(yōu)先級或CPU運轉率，ON/OFF控制開關1531、1532。
圖15是表示圖14所示優(yōu)先順序決定部1550的詳細功能結構的框圖。如圖所示，優(yōu)先順序決定部1550對應于圖象種類及基本層、增強層來輸出圖象的優(yōu)先級，如圖15所示，由3個表格1551-1553、選擇器1554和決定處理部1555構成。在第2IP編碼模式中的P圖象的情況下，還向圖象種類附加表示[基本]、[有參照可能性]或[無]的信息。
表格1551在通過操作接收部1505的操作來指定IPB編碼模式情況下被選擇，是對應幀圖像的圖象種類和優(yōu)先級的表格，在I圖象中，優(yōu)先級設定為
，在P圖象中，優(yōu)先級設定為[1]，在B圖象中，優(yōu)先級設定為[2]。另外，設定為隨著數(shù)值變大，優(yōu)先級變低。
表格1552在通過操作接收部1505的操作來指定第1IP編碼模式情況下被選擇，是對應幀圖像的圖象種類和優(yōu)先級的表格，在I圖象中，優(yōu)先級設定為
，在P(有參照可能性)圖象中，優(yōu)先級設定為[1]，在P(無參照可能性)圖象中，優(yōu)先級設定為[2]。
表格1553是在指定第2IP編碼模式I、P(基本、有參照可能性、無參照可能性)編碼模式的情況下被選擇的表格，是對應幀圖像的圖象種類和優(yōu)先級的表格，在I圖象中，優(yōu)先級設定為
，在P(基本)圖象中，優(yōu)先級設定為[1]，在P(有參照可能性)圖象中，優(yōu)先級設定為[2]，在P(無參照可能性)圖象中，優(yōu)先級設定為[3]。
選擇器1554根據(jù)由操作接收部1505指定的編碼模式(IPB編碼模式、第1IP編碼模式)，選擇表格1551-1553之一。決定處理部1555參照由選擇器1554選擇的表格，決定對應于從前處理部1510輸出的圖象種類及基本層、增強層的優(yōu)先級，輸出決定的優(yōu)先級。具體而言，在指定IPB編碼模式的情況下，選擇器1554選擇表格1551，決定處理部1555在每次從前處理部1510輸出圖象種類時，輸出對應于I圖象、P圖象、B圖象的優(yōu)先級。另外，在指定第1IP編碼模式的情況下，選擇器1554選擇表格1552，決定處理部1555根據(jù)圖像種類、附加在P圖象上的數(shù)據(jù)([有可能性]、[無可能性])，輸出優(yōu)先級。并且，在指定第2IP編碼模式的情況下，選擇器1554選擇表格1553，決定處理部1555根據(jù)圖像種類、附加在P圖象上的數(shù)據(jù)(參照的[基本]、[有可能性]、[無可能性])，輸出優(yōu)先級。
圖16是表示圖14所示濾波器處理控制部1560的詳細功能結構的框圖。如圖所示，濾波處理控制部1560對應于從優(yōu)先順序決定部1550輸出的優(yōu)先級及CPU運轉率，ON/OFF控制開關1531、1532，如圖16所示，由3個表格1561-1563、選擇器1564和開關切換處理部1565構成。表格1561在指定IPB編碼模式的情況下被選擇，是表示實施濾波處理情況下的優(yōu)先級與CPU運轉率的組合的表格，設定在CPU的運轉率小于70％、優(yōu)先級為0-2的情況下，開關ON，在CPU的運轉率大于70％小于80％、優(yōu)先級僅為0和1的情況下，開關ON，在CPU的運轉率大于80％、優(yōu)先級僅為0的情況下，開關ON。
表格1562在指定第1IP編碼模式的情況下被選擇，是表示實施濾波處理情況下的優(yōu)先級與CPU運轉率的組合的表格，設定在CPU的運轉率小于70％、優(yōu)先級為0-2的情況下，開關ON，在CPU的運轉率大于70％小于80％、優(yōu)先級僅為0和1的情況下，開關ON，在CPU的運轉率大于80％、優(yōu)先級僅為0的情況下，開關ON。
表格1563在指定第2IP編碼模式的情況下被選擇，是表示實施濾波處理情況下的優(yōu)先級與CPU運轉率的組合的表格，設定在CPU的運轉率小于70％、優(yōu)先級為0-3的情況下，開關ON，在CPU的運轉率大于70％小于80％、優(yōu)先級僅為0、1和2的情況下，開關ON，在CPU的運轉率大于80％、優(yōu)先級僅為0和1的情況下，開關ON。
選擇器1564根據(jù)由操作接收部1505指定的編碼模式(IPB編碼模式、新第1IP編碼模式)，選擇表格1561-1563之一。開關切換處理部1565參照由選擇器1564選擇的表格，根據(jù)對從優(yōu)先順序決定部1550輸出的各優(yōu)先級和圖象取得的CPU運轉率，輸出開關ON或OFF信號，ON/OFF控制開關部1530的開關1531、1532。
具體而言，在指定IPB編碼模式的情況下，選擇器1564選擇表格1561，開關切換處理部1565在CPU運轉率小于70％的情況下，對所有I圖象、P圖象、B圖象輸出開關ON信號。另外，在CPU運轉率大于70％小于80％的情況下，開關切換處理部1565僅在I圖象和P圖象的情況下輸出開關ON信號。另外，在CPU運轉率大于80％的情況下，開關切換處理部1565僅在I圖象的情況下輸出開關ON信號。
另外，在指定第1IP編碼模式的情況下，選擇器1564選擇表格1562，開關切換處理部1565在CPU運轉率小于70％的情況下，對所有I圖象、P圖象(有可能性)、P圖象(無可能性)輸出開關ON信號。另外，在CPU運轉率大于70％小于80％的情況下，開關切換處理部1565僅在I圖象和P圖象(有可能性)的情況下輸出開關ON信號。另外，在CPU運轉率大于80％的情況下，開關切換處理部1565僅在I圖象的情況下輸出開關ON信號。
并且，在指定第2IP編碼模式的情況下，選擇器1564選擇表格1563，開關切換處理部1565對所有I圖象、P圖象(基本)、P圖象(有可能性)、P圖象(無可能性)輸出開關ON信號。另外，在CPU運轉率大于70％小于80％的情況下，開關切換處理部1565僅在I圖象、P圖象(基本)、P圖象(有可能性)的情況下輸出開關ON信號。另外，在CPU運轉率大于80％的情況下，開關切換處理部1565僅在I圖象、P圖象(基本)的情況下輸出開關ON信號。
接著，說明如此構成的圖像編碼裝置1500的動作。
在將幀圖像作為I圖象進行編碼的畫面內(nèi)編碼模式時，通過正交變換部1513的正交變換將從前處理部1510輸出的幀圖像壓縮編碼成頻率分量，通過量化部1514的量化壓縮編碼成量化值。該量化值可通過可變長度編碼部1517的可變長度編碼進行可變長度壓縮編碼，通過后處理部1520變換為I圖象的位流編碼信號，存儲在硬盤等存儲媒體中。
另一方面，從量化部1514輸出的量化值由逆量化部1521的逆正交變換解碼成頻率分量，由逆正交變換部1522的逆正交變換解碼成幀圖像。解碼后的幀圖像(解碼圖像)在控制開關1531、1532通過濾波處理控制部1560的控制ON的情況下，由象素間濾波器1540實施去除塊失真的濾波處理后，存儲在圖像存儲器1541中，在OFF開關1531、1532的情況下，不實施濾波處理，存儲在圖像存儲器1541中。
另外，在將幀圖像作為P圖象及B圖象進行編碼的畫面間編碼模式時，由運動檢測部1542生成運動矢量，由運動補償部1543生成運動補償圖像(預測圖像)，由減法部1512生成運動補償誤差(差分圖像)。運動檢測部1542根據(jù)前方或后方的1個或多個參考圖像，檢索圖像存儲器1541中存儲的解碼圖像中與從前處理部1510輸出的幀圖像的差分最小的預測圖像。
圖17是表示存儲在圖像存儲器1541中的幀圖像的參照關系的圖。尤其是，圖17(a)是表示IPB方式情況預測中的參考圖像的圖，圖17(b)是表示第1IP方式情況預測中的參考圖像的圖，圖17(c)是表示第2IP方式情況預測中的參考圖像的圖。在各方式的各圖象下欄中示出對應于該圖象的優(yōu)先順序(優(yōu)先級)。
在圖17(a)的IPB方式情況的P圖象預測中，可參照前方的I圖象及P圖象。在B圖象的預測中，可參照前方的I圖象或P圖象，同時，可參照1個后方時間上最近的I圖象或P圖象。
在H.26L的B圖象預測中，除I圖象、P圖象外，也可將B圖象作為前方圖像來參照。在將B圖象用作參考圖像的模式情況下，在向B圖象的幀圖像附加[有可能性]或[無可能性]的信息的同時，向圖象種類附加[有可能性]或[無可能性]的信息。另外，在該模式中，必需將附加有參照可能性信息的B圖象解碼圖像存儲在圖像存儲器1541中，不必將附加無參照可能性信息的B圖象解碼圖像存儲在圖像存儲器1541中。
在圖17(b)的第1IP方式情況中的P(有參照可能性)圖象的預測中，可參照前方的I圖象及P(有參照可能性)圖象。在P(無參照可能性)圖象的預測中，可參照前方的I圖象或P(有參照可能性)圖象。
在圖17(c)的第2IP方式情況中的P(基本)圖象的預測中，可參照前方的I圖象及P(基本)圖象。在P(有參照可能性)圖象的預測中，可參照前方的I圖象或P(基本)圖象。在P(無參照可能性)圖象的預測中，可參照多個前方的I圖象、P(基本)圖象或P(有參照可能性)圖象。
為了說明方便，說明指定IPB編碼模式的情況。
在這種限制下，運動檢測部1542輸出檢索的參考圖像與從前處理部1510輸出的幀圖像的差分象素的運動量，作為運動矢量，同時，輸出表示參考圖像是前方圖像、后方圖像或是雙向圖像平均值的塊預測種類。運動補償部1543對差分象素執(zhí)行由從運動檢測部1542輸出的運動矢量和塊預測種類表示的運算，生成運動補償圖像。減法部1512通過將從前處理部1510輸出的幀圖像與由運動補償部1543生成的運動補償圖像相減，生成運動補償誤差(差分圖像)。
從減法部1512輸出的運動補償誤差(差分圖像)通過正交變換部1513的正交變換，壓縮編碼成頻率分量，通過量化部1514的量化壓縮編碼成量化值。該量化值可通過可變長度編碼部1517的可變長度編碼進行可變長度壓縮編碼，通過后處理部1520，與運動矢量等一起變換為P圖象或B圖象的位流編碼信號，存儲在硬盤等存儲媒體中。
另一方面，從量化部1514輸出的具有參照可能性的P圖象或B圖象的量化值由逆量化部1521的逆正交變換解碼成頻率分量，由逆正交變換部1522的逆正交變換解碼成運動補償誤差(差分圖像)。通過由加法部1524將運動補償誤差(差分圖像)與運動補償圖像相加，解碼成幀圖像。解碼后的幀圖像(解碼圖像)在控制開關1531、1532通過濾波處理控制部1560的控制ON的情況下，由象素間濾波器，1540實施去除塊失真的濾波處理后，存儲在圖像存儲器1541中，在OFF開關1531、1532的情況下，不實施濾波處理，存儲在圖像存儲器1541中。
這里，詳細說明濾波處理控制部1560的開關1531、1532的ON/OFF控制。
圖18是表示濾波處理控制部1560的開關切換處理部1565執(zhí)行的開關驅動處理的流程圖。
可是，優(yōu)先順序決定部1550的決定處理部1555參照由選擇器1554選擇的表格1551，對從前處理部1510輸出的每個圖象決定對應于圖象種類的優(yōu)先級，輸出決定的優(yōu)先級。具體而言，在指定IPB編碼模式的情況下，選擇器1554選擇表格1551，決定處理部1555在每次從前處理部1510輸出圖象種類時，在I圖象的情況下，輸出優(yōu)先級
，在P圖象的情況下，輸出優(yōu)先級[1]，在B圖象的情況下，輸出優(yōu)先級[2]。
濾波處理控制部1560的開關切換處理部1565在每次圖象編碼時取得該圖象的優(yōu)先級和圖像編碼裝置1500具備的CPU運轉率(S21)，決定表格(圖16的實例中為表格1561)參照的入口(entry)(S22)。
具體而言，若CPU運轉率小于70％，則將參照的入口決定為第1行，若CPU運轉率大于70％小于80％，則將參照的入口決定為第2行，若CPU運轉率大于80％，則將參照的入口決定為第3行。
若決定結束參照入口，則開關切換處理部1565讀取該入口的右欄(S23)，判斷對解碼圖像的圖象種類設定的優(yōu)先級是否在右欄(S24)。若在右欄(S24為是)，則開關切換處理部1565向開關1531、1532輸出開關接通的信號(S25)。從而對解碼圖像實施濾波處理，將實施了濾波處理的解碼圖像存儲在圖像存儲器1541中。
相反，若不在右欄(S24為否)，則開關切換處理部1565向開關1531、1532輸出開關斷開的信號(S26)。從而跳過對解碼圖像的濾波處理，不實施濾波處理，將解碼圖像存儲在圖像存儲器1541中。
對每個圖象執(zhí)行這種控制，將實施了濾波處理的解碼圖像和未實施濾波處理的解碼圖像依次存儲在圖像存儲器1541中。因此，在圖像編碼中，通常不需要噪聲去除等象素間濾波器，必要時可選擇地附加象素間濾波器，例如，通過僅向對畫質(zhì)影響大的幀圖像附加象素間濾波器，即使是處理能力小的圖像編碼裝置，也能維持圖像存儲器中存儲的重要幀的畫質(zhì)，在圖像存儲器中存儲的解碼圖像中積累的塊失真變少，運動補償部的預測效率提高，與MPEG技術相比，還可減少畫質(zhì)惡化，以低的位速率得到高的畫質(zhì)改善效果。
即，因為優(yōu)先向對其它幀圖像具有大的影響度的幀圖像、即畫面內(nèi)編碼幀圖像、前向預測編碼幀圖像、基本層的幀圖像等實施象素間濾波，所以對相同處理負載的增大，可更有效地得到象素間濾波器的噪聲去除等畫質(zhì)改善效果。
因為可控制濾波處理的ON/OFF，以充分發(fā)揮圖像編碼裝置的處理能力，所以可以高效率使用CPU，即使是相同的硬件資源，也可實現(xiàn)高畫質(zhì)的編碼。
(實施例4)接著，說明根據(jù)本發(fā)明實施例的圖像解碼裝置。圖19是表示根據(jù)本發(fā)明實施例4的圖像解碼裝置1600的功能結構框圖。
圖像解碼裝置1600解碼由圖14所示圖像編碼裝置1500編碼的編碼信號，由具有CPU、存儲器、安裝圖像解碼用程序的硬盤(HD)等的計算機裝置實現(xiàn)，作為功能，具備前處理部1610、可變長度解碼部1617、逆量化部1621、逆正交變換部1622、加法部1624、開關部1630、象素間濾波器1640、后處理部1670、圖像存儲器1641、運動補償部1643、優(yōu)先順序決定部1650和濾波處理控制部1660。
前處理部1610具備暫時存儲編碼信號的緩沖器等，分離包含在編碼信號中的圖象種類、運動矢量、圖像自身的編碼信號后輸出。另外，在圖像的編碼信號為第1IP編碼模式的情況下，在向幀圖像附加[有可能]或[無可能]的信息的同時，向圖象種類附加[有可能]或[無可能]的信息。另外，在第2編碼模式的情況下，向幀圖像附加[基本]、[有可能]或[無可能]的信息的同時，向圖象種類附加[基本]、[有可能]或[無可能]的信息。
可變長度解碼部1617通過對從前處理部1610輸出的編碼信號進行解碼(霍夫曼解碼)，輸出固定長度的量化值。逆量化部1621通過逆量化從可變長度解碼部1617輸出的量化值，解碼頻率分量。逆正交變換部1622通過逆正交變換由逆量化部1612解碼的頻率分量，在畫面內(nèi)編碼模式時解碼幀圖像，在畫面間編碼模式時解碼作為象素差分值的運動補償誤差(殘差圖像)。
加法部1624在畫面內(nèi)編碼模式時原樣輸出由逆正交變換部1622解碼的幀圖像(解碼圖像)，在畫面間編碼模式時，通過將由逆正交變換部1622解碼的運動補償誤差(殘差圖像)和由運動補償部1643生成的運動補償圖像相加，解碼幀圖像。開關部1630由通過濾波處理控制部1660對每個圖象的開關ON/OFF控制、同步切換開關形態(tài)的一對開關1631、1632構成，將象素間濾波器1640組裝環(huán)內(nèi)，或離開環(huán)，即，跳過象素間濾波器1640的處理。
象素間濾波器1640在開關1631、16320N時，對從加法部1624輸出的解碼圖像，以塊單位執(zhí)行空間低通濾波處理，生成沒有塊失真等的解碼圖像。例如，算出某個象素、其周圍象素與平均值，若某個象素與周圍象素的差在規(guī)定范圍內(nèi)，則一個一個地對塊交界附近的象素執(zhí)行將該某個象素置換成算出的平均值的處理。
后處理部1670具有格式變換部，格式變換為規(guī)定空間分辨率；和畫面順序恢復部，將與圖象種類一致后重新排列的畫面恢復為原始順序，等，將解碼圖像輸出到監(jiān)視器等。圖像存儲器1641以多個幀大小存儲從開關部1630輸出的具有參照可能性的解碼圖像。運動補償部1643對圖像存儲器1641中存儲的解碼圖像執(zhí)行由從前處理部1610輸出的運動矢量及塊預測種類表示的運算，生成運動補償圖像。優(yōu)先順序決定部1650與圖15所示的優(yōu)先順序決定部1550結構相同，對應于從前處理部1610輸出的圖象種類、基本層、增強層，輸出該圖象的優(yōu)先級。濾波處理控制部1660與圖16所示濾波處理控制部1560的結構相同，對應于從優(yōu)先順序決定部1650輸出的優(yōu)先級或通過監(jiān)視得到的CPU運轉率，ON/OFF控制開關部1630的開關1631、1632。
接著，說明如此構成的圖像解碼裝置1600的動作。與圖像編碼裝置1500一致，為了說明方便，說明指定IPB編碼模式的情況。
在將I圖象的編碼信號解碼成幀圖像的畫面內(nèi)編碼模式時，通過可變長度解碼部1617可變長度解碼從前處理部1610輸出的編碼信號，解碼成量化值，通過逆量化部1621的逆正交變換，擴展解碼成頻率分量，通過逆正交變換部1622的逆正交變換解碼成幀圖像(解碼圖像)。解碼后的幀圖像(解碼圖像)在開關1631、1632通過濾波處理控制部1660的控制ON的情況下，由象素間濾波器1640實施去除塊失真的濾波處理后，存儲在圖像存儲器1641中，同時，后處理部1670將圖像的順序恢復為原始順序，進行格式變換，輸出到監(jiān)視器等。相反，在OFF開關1631、1632的情況下，解碼圖像不實施濾波處理就存儲在圖像存儲器1641中，同時，后處理部1670將圖像的順序恢復為原始順序，進行格式變換，輸出到監(jiān)視器等。
另外，在將P圖象及B圖象的編碼信號解碼成幀圖像的畫面間編碼模式時，由可變長度解碼部1617可變長度解碼從前處理部1610輸出的編碼信號，解碼成量化值，通過逆量化部1621的逆正交變換，擴展解碼成頻率分量，通過逆正交變換部1622的逆正交變換，解碼成運動補償誤差(差分圖像)。
另一方面，通過運動補償部1643生成運動補償圖像(預測圖像)。運動補償部1643對從圖像存儲器1641中讀取的參考圖像的差分象素執(zhí)行由從前處理部1610輸出的運動矢量和塊預測種類表示的運算，生成運動補償圖像。
通過由加法部1624將運動補償誤差(差分圖像)與運動補償圖像相加，解碼成幀圖像。解碼后的幀圖像(解碼圖像)在開關1631、1632通過濾波處理控制部1660的控制ON的情況下，由象素間濾波器1640實施去除塊失真的濾波處理后，后處理部1670將圖像的順序恢復為原始順序，進行格式變換，輸出到監(jiān)視器等，同時，將具有參照可能性的解碼圖像存儲在圖像存儲器1641中。相反，在OFF開關1631、1632的情況下，不實施濾波處理，后處理部1670將圖像的順序恢復為原始順序，進行格式變換，輸出到監(jiān)視器等，同時，將具有參照可能性的解碼圖像存儲在圖像存儲器1641中。這里，與圖像編碼裝置1500的開關1531、1532的情況一樣，由濾波處理控制部1660來ON/OFF控制開關1631、1632。
即，濾波處理控制部1660的開關切換處理部在每次圖象編碼時取得該圖象的優(yōu)先級和圖像解碼裝置1600具備的CPU運轉率，決定IPB編碼模式用表格參照的入口，讀取該入口的右欄，判斷對解碼圖像的圖象種類設定的優(yōu)先級是否在右欄。若在右欄，則濾波處理控制部1660的開關切換處理部向開關1631、1632輸出開關接通的信號。從而對解碼圖像實施濾波處理，將實施了濾波處理的解碼圖像存儲在圖像存儲器1641中。相反，若不在右欄，則濾波處理控制部1660的開關切換處理部向開關1631、1632輸出開關斷開的信號。從而跳過對解碼圖像的濾波處理，不實施濾波處理，將解碼圖像存儲在圖像存儲器1641中。
對每個圖象執(zhí)行這種控制，將實施了濾波處理的解碼圖像和未實施濾波處理的解碼圖像依次存儲在圖像存儲器1641中。
因此，在圖像解碼中，通常不需要噪聲去除等象素間濾波器，必要時可選擇地附加象素間濾波器，例如，通過僅向對畫質(zhì)影響大的幀圖像附加象素間濾波器，即使是處理能力小的圖像編碼裝置，也能維持圖像存儲器中存儲的重要幀的畫質(zhì)，在圖像存儲器中存儲的解碼圖像中積累的塊失真變少，運動補償部的預測效率提高，與MPEG技術相比，還可減少畫質(zhì)惡化，以低的位速率得到高的畫質(zhì)改善效果。
即，因為優(yōu)先向對其它幀圖像具有大的影響度的幀圖像、即畫面內(nèi)編碼幀圖像、前向預測編碼幀圖像、基本層幀圖像等實施象素間濾波，所以對相同處理負載的增大，可更有效地得到象素間濾波器的噪聲去除等畫質(zhì)改善效果。
因為可控制濾波處理的ON/OFF，以充分發(fā)揮圖像解碼裝置的處理能力，所以可以高效率使用CPU，即使是相同的硬件資源，也可實現(xiàn)高畫質(zhì)的編碼。
本發(fā)明不僅可實現(xiàn)為這種圖像編碼裝置和圖像解碼裝置，而且還可實現(xiàn)將這些裝置具備的特征部作為頻率的圖像編碼方法和圖像解碼方法，或實現(xiàn)為在計算機中執(zhí)行這些步驟的程序。另外，不用說，該程序可通過CD-ROM等記錄媒體或因特網(wǎng)等傳輸媒體進行流通。
(實施例5)通過將實現(xiàn)上述各實施例中所示圖像編碼方法或圖像解碼方法結構的程序記錄在軟盤等記錄媒體中，可在獨立計算機系統(tǒng)中簡單實施上述各實施例中所示處理。
圖20是使用存儲上述實施例1到實施例2的圖像編碼方法或圖像解碼方法的軟盤，由計算機系統(tǒng)進行實施的情況說明圖。
圖20(b)表示從軟件正面看到的外觀、截面結構及軟盤，圖20(a)表示作為記錄媒體主體的軟盤的物理格式的實例。軟盤FD內(nèi)置于殼體F內(nèi)，在該盤表面從外周向內(nèi)周以同心圓狀形成多個軌道Tr，將各軌道沿角度方向分割成16個扇區(qū)Se。因此，在存儲上述程序的軟盤中，在上述軟盤FD上分配的區(qū)域中，記錄作為上述程序的圖像編碼方法。
另外，圖20(c)表示在軟盤FD上執(zhí)行上述程序的記錄再現(xiàn)用的結構。在軟盤FD上記錄上述程序的情況下，從計算機系統(tǒng)Cs經(jīng)軟盤驅動器寫入作為上述程序的圖像編碼方法或圖像解碼方法。另外，在通過軟盤內(nèi)的程序將上述圖像編碼方法構筑在計算機系統(tǒng)中的情況下，由軟盤驅動器從軟盤中讀取程序，傳輸?shù)接嬎銠C系統(tǒng)。
在上述說明中，說明將軟盤用作記錄媒體，但即使使用光盤也可一樣執(zhí)行。另外，記錄媒體不限于此，若是IC卡、ROM盒等可記錄程序的媒體也可同樣實施。
圖21至圖24是說明執(zhí)行上述實施例中所示編碼處理或解碼處理的設備和使用該設備的系統(tǒng)的圖。
圖21是表示實現(xiàn)內(nèi)容配送服務的內(nèi)容提供系統(tǒng)ex100的整體結構框圖。將通信服務的提供區(qū)域分割成期望大小，在各小區(qū)內(nèi)分別設置作為固定無線站的基站ex107-ex110。該內(nèi)容提供系統(tǒng)ex100例如經(jīng)因特網(wǎng)服務提供商ex102和電話網(wǎng)ex104，將計算機ex111、PDA(personal digital assistant)ex112、攝像機ex113、便攜電話ex114連接于因特網(wǎng)ex101上。但是，內(nèi)容提供系統(tǒng)ex100不限于圖21的組合，也可以是任意組合后連接。另外，也可不通過作為固定無線站的基站ex107-ex110而直接連接在電話網(wǎng)ex104上。
攝像機ex113是數(shù)字視頻攝像機等可動畫攝像的設備。另外，便攜電話是PDC(Personal Digital Communications)方式、CDMA(Code Division MultipleAccess)方式、W-CDMA(Wideband-Code Division Multiple Access)方式或GSM(Global System for Mobile Communications)方式的便攜電話機，或PHS(Personal Handyphone System)等，任一個都無妨。
從攝像機ex113經(jīng)基站ex109、電話網(wǎng)ex104連接流動服務器(ストリ一ミングサ一バ)ex103，使用攝像機ex113可進行基于用戶發(fā)送的編碼處理數(shù)據(jù)的實況配送等。可由攝像機ex113來執(zhí)行攝像數(shù)據(jù)的編碼處理，也可由進行數(shù)據(jù)發(fā)送處理的服務器等來執(zhí)行。由攝像機116拍攝的動畫數(shù)據(jù)也可經(jīng)計算機ex111發(fā)送到流動服務器ex103。攝像機ex116是數(shù)字攝像機等可拍攝靜止畫面、動畫的設備。此時，既可由攝像機ex116也可由計算機ex111任一來執(zhí)行動畫數(shù)據(jù)的編碼。另外，在計算機ex111或攝像機ex116具有的LSIex117中處理編碼處理。也可將圖像編碼、解碼用軟件組裝作為計算機ex111等中讀取記錄媒體的任一存儲媒體(CD-ROM、軟盤、硬盤等)中。另外，也可由帶攝像機的便攜電話ex115來發(fā)送動畫數(shù)據(jù)。此時的動畫數(shù)據(jù)是由便攜電話115具有的LSI編碼處理的數(shù)據(jù)。
圖22是表示便攜電話ex115一例的圖。便攜電話ex115具有與基站ex110之間收發(fā)信電波用的天線ex201、CCD攝像機等可拍攝電影、靜止畫面的攝像部ex203、顯示解碼由攝像部203拍攝的電影、由天線ex201接收的電影等的數(shù)據(jù)的液晶顯示器等顯示部ex202、由操作鍵組構成的主體部ex204、進行聲音輸出用的揚聲器等聲音輸出部ex208、進行聲音輸入用的麥克風等聲音輸入部ex205、保持拍攝的動畫或靜止畫面數(shù)據(jù)、接收到的郵件數(shù)據(jù)、動畫數(shù)據(jù)或靜止畫面數(shù)據(jù)等編碼數(shù)據(jù)或解碼數(shù)據(jù)的存儲媒體ex207、可將存儲媒體ex207安裝在便攜電話ex115上的插槽部ex206。存儲媒體ex207為SD卡等在塑料殼體內(nèi)容納作為可電改寫或擦除的非易失性存儲器EEPROM(Electrically Erasable andProgrammable Read Only Memory)的一種的閃存元件的媒體。
在內(nèi)容提供系統(tǒng)ex100中，與上述實施例一樣編碼處理用戶用攝像機ex113、攝像機ex116等拍攝的內(nèi)容(例如拍攝音樂現(xiàn)場的電影等)，發(fā)送給流動服務器ex103，另一方面，流動服務器ex103對有要求的客戶機流配送上述內(nèi)容數(shù)據(jù)。作為客戶機，有可解碼上述編碼處理后的數(shù)據(jù)的計算機ex111、PDAex112、攝像機113ex、便攜電話ex114等。由此，內(nèi)容提供系統(tǒng)ex100是如下系統(tǒng)可在客戶機接收編碼后的數(shù)據(jù)并再現(xiàn)，并在客戶機實時接收后進行解碼并再現(xiàn)，從而也可實現(xiàn)個人播放。
用圖23來說明便攜電話ex115。便攜電話ex115對于統(tǒng)一控制顯示部ex202和主體部ex204各部的主控制部ex311，通過同步總線ex313來彼此連接電源電路部ex310、操作輸入控制部ex304、圖像編碼部ex312、攝像機接口部ex303、LCD(Liquid Crystal Display)控制部ex302、圖像解碼部ex309、復用分離部ex308、記錄再現(xiàn)部ex307、解調(diào)電路部ex306及聲音處理部ex305。電源電路部ex310若由于用戶操作而結束通話及電源鍵變?yōu)榻油顟B(tài)時，通過從電池組向各部供電，啟動帶攝像機的數(shù)字便攜電話ex115為可動作狀態(tài)。便攜電話ex115根據(jù)由CPU、ROM和RAM等構成的主控制部ex311的控制，在聲音通話模式時，通過聲音處理部ex305將由聲音輸入部ex205音響共鳴的聲音數(shù)據(jù)變換為數(shù)字聲音數(shù)據(jù)，由解調(diào)電路部ex306進行頻譜擴展處理，由收發(fā)信電路部ex301實施數(shù)字模擬變換處理及變頻處理后，經(jīng)天線ex201發(fā)送。另外，便攜電話機ex115放大聲音通話模式時由天線ex201接收的接收數(shù)據(jù)，實施變頻處理及模擬數(shù)據(jù)變換處理，由解調(diào)電路部ex306進行頻譜逆擴展處理，由聲音處理部ex305變換為模擬聲音數(shù)據(jù)后，經(jīng)聲音輸出部208輸出。并且，在數(shù)據(jù)通信模式時發(fā)送電子郵件的情況下，將通過主體部ex204的操作鍵操作輸入的電子郵件的文本數(shù)據(jù)經(jīng)操作輸入控制部ex304送出到主控制部ex311。主控制部ex311在解調(diào)電路部ex306頻譜擴展處理文本數(shù)據(jù)，在收發(fā)信電路部ex301實施數(shù)字模擬變換處理及變頻處理后，經(jīng)天線ex201發(fā)送給基站ex110。
在數(shù)據(jù)通信模式時發(fā)送圖像數(shù)據(jù)的情況下，將攝像部ex203拍攝的圖像數(shù)據(jù)經(jīng)攝像機接口部ex303提供給圖像編碼部ex312。另外，在不發(fā)送圖像數(shù)據(jù)的情況下，也可將由攝像部ex203拍攝的圖像數(shù)據(jù)經(jīng)攝像機接口部ex303和LCD控制部ex302直接顯示在顯示部ex202上。
圖像編碼部ex312通過上述實施例中示出的編碼方法進行壓縮編碼，將從攝像部ex203提供的圖像數(shù)據(jù)變換為編碼圖像數(shù)據(jù)，并將其發(fā)送給復用分離部ex308。另外，與此同時，便攜電話機ex115經(jīng)聲音處理部ex305，將攝像部ex203在拍攝中由聲音輸入部ex205音響共鳴的聲音作為數(shù)字聲音數(shù)據(jù)發(fā)送給復用分離部ex308。
復用分離部ex308按規(guī)定方式復用從圖像編碼部ex312提供的編碼圖像數(shù)據(jù)和從聲音處理部ex305提供的聲音數(shù)據(jù)，由解調(diào)電路部ex306頻譜擴展處理結果得到的復用數(shù)據(jù)，在實施數(shù)字模擬變換處理及變頻處理后，由收發(fā)信電路部ex301經(jīng)天線ex201進行發(fā)送。
在數(shù)據(jù)通信模式時，在接收鏈接主頁等的動態(tài)圖像文件的數(shù)據(jù)情況下，由解調(diào)電路部ex306頻譜逆擴展處理經(jīng)天線ex201從基站ex110接收到的接收數(shù)據(jù)，將結果得到的復用數(shù)據(jù)發(fā)送給復用分離部ex308。
在解碼經(jīng)天線ex201接收到的復用數(shù)據(jù)中，復用分離部ex308通過分離復用數(shù)據(jù)而分成編碼圖像數(shù)據(jù)和聲音數(shù)據(jù)，經(jīng)同步總線ex313將該編碼圖像數(shù)據(jù)提供給圖像解碼部ex309，同時，將該聲音數(shù)據(jù)提供給聲音處理部ex305。
接著，圖像解碼部ex309通過由對應于上述實施例所示編碼方法的解碼方法解碼編碼圖像數(shù)據(jù)，生成再現(xiàn)動態(tài)圖像數(shù)據(jù)，經(jīng)LCD控制部ex302提供給顯示部ex202，從而，顯示例如包含在鏈接在主頁上的動態(tài)圖像文件中的動畫數(shù)據(jù)。與此同時，聲音處理部ex305將聲音數(shù)據(jù)變換為模擬聲音數(shù)據(jù)后，提供給聲音輸出部ex208，從而，再現(xiàn)例如包含在鏈接在主頁上的動態(tài)圖像文件中的聲音數(shù)據(jù)。
另外，不限于上述系統(tǒng)實例，最近，衛(wèi)星、地面波的數(shù)字播放成為話題，如圖24所示，也可在數(shù)字播放用系統(tǒng)中組裝上述實施例的至少編碼方法或解碼方法之一。具體而言，播放站ex409經(jīng)電波將電影信息的編碼位流傳送給通信或播放衛(wèi)星ex410。接收到位流的播放衛(wèi)星ex410發(fā)送播放用電波，具有衛(wèi)星播放接收設備的家庭天線ex406接收該電波，通過電視(接收機)ex401或機頂盒(STB)ex407等裝置解碼編碼位流，對其進行再現(xiàn)。另外，讀取記錄在作為記錄媒體的CD或DVD等存儲媒體ex402中的編碼位流，在編碼的再現(xiàn)裝置ex403中也可安裝上述實施例中所示圖像解碼裝置。此時，在監(jiān)視器ex404中顯示再現(xiàn)的電影信號。另外，還考慮如下結構在與有線電視用電纜ex405或衛(wèi)星/地面波播放天線ex406連接的機頂盒ex407內(nèi)安裝圖像解碼裝置，由電視的監(jiān)視器ex408來再現(xiàn)。此時也可不是機頂盒，而在電視內(nèi)組裝圖像解碼裝置。另外，也可以由具有天線ex411的車ex412來從衛(wèi)星ex410或從基站ex107接收信號，在車ex412具有的汽車導航系統(tǒng)ex413等的顯示裝置中再現(xiàn)動畫。
另外，也可由上述實施例所示圖像編碼裝置來編碼圖像信號，并記錄在記錄媒體中。作為具體例，有將圖像信號記錄在DVD盤ex421上的DVD記錄器、和記錄在硬盤中的盤式記錄器等記錄器ex420。還可記錄在SD卡ex422中。若記錄器ex420具有上述實施例所示圖像解碼裝置，則可再現(xiàn)DVD盤ex421或SD卡ex422中記錄的圖像信號，并顯示在監(jiān)視器ex408中。
汽車導航系統(tǒng)ex413的結構雖與例如圖23所示便攜電話ex115一樣，但考慮從圖23所示結構中去除攝像部ex203和攝像機接口部ex303、圖像編碼部ex312的結構。同樣還可考慮計算機ex111或電視(接收機)ex401等。
另外，上述便攜電話ex114的終端除具有編碼器、解碼器兩者的收發(fā)信型終端外，考慮僅編碼器的發(fā)送終端、僅解碼器的接收終端的三種安裝形式。
因此，通過本說明書中示出的編碼方法、解碼方法，可實現(xiàn)本實施例所示任一裝置、系統(tǒng)。
產(chǎn)業(yè)上的可利用性根據(jù)本發(fā)明的圖像編碼裝置用作具備通信功能的個人計算機、PDA和便攜電話等中具備的圖像編碼裝置。
根據(jù)本發(fā)明的圖像解碼裝置用作具備通信功能的個人計算機、PDA和便攜電話等中具備的圖像解碼裝置。
權利要求
1.一種圖像編碼方法，編碼作為表示輸入圖像的輸入圖像數(shù)據(jù)、與表示對上述輸入圖像的圖象的預測圖像的預測圖像數(shù)據(jù)差分的差分圖像數(shù)據(jù)，生成編碼圖像數(shù)據(jù)，其特征在于包含解碼步驟，在編碼上述差分圖像數(shù)據(jù)后，解碼上述編碼的差分數(shù)據(jù)，并與上述預測圖像數(shù)據(jù)相加；選擇步驟，從多個象素間濾波器中選擇1個；運算步驟，使用選擇的上述象素間濾波器，對上述解碼步驟中得到的解碼圖像數(shù)據(jù)實施象素間濾波運算；和預測圖像生成步驟，將由上述運算步驟中得到的完成濾波解碼圖像數(shù)據(jù)用作參考圖像數(shù)據(jù)，生成相對輸入圖像數(shù)據(jù)的預測圖像數(shù)據(jù)。
2.根據(jù)權利要求1所述的圖像編碼方法，其特征在于還包含輸出數(shù)據(jù)生成步驟，通過上述編碼圖像數(shù)據(jù)、和與該編碼圖像數(shù)據(jù)關聯(lián)的關聯(lián)數(shù)據(jù)，生成外部輸出用輸出編碼圖像數(shù)據(jù)，在上述輸出數(shù)據(jù)生成步驟中，將特定上述選擇步驟中選擇的上述象素間濾波器的選擇信息記述在上述關聯(lián)數(shù)據(jù)中。
3.根據(jù)權利要求1所述的圖像編碼方法，其特征在于在上述選擇步驟中，若輸入圖像數(shù)據(jù)是參考其它圖像的圖像，則選擇平滑度更高的上述象素間濾波器。
4.根據(jù)權利要求3所述的圖像編碼方法，其特征在于對應于上述輸入圖像數(shù)據(jù)的圖象類型來判斷輸入圖像數(shù)據(jù)是否是參考其它圖像的圖像。
5.一種圖像編碼方法，編碼作為表示輸入圖像的輸入圖像數(shù)據(jù)、與表示對上述輸入圖像的圖象的預測圖像的預測圖像數(shù)據(jù)差分的差分圖像數(shù)據(jù)，生成編碼圖像數(shù)據(jù)，其特征在于包含解碼步驟，在編碼上述差分圖像數(shù)據(jù)后，解碼上述編碼的差分圖像數(shù)據(jù)，并與上述預測圖像數(shù)據(jù)相加；選擇步驟，選擇執(zhí)行或不執(zhí)行象素間濾波器的運算；運算步驟，在選擇執(zhí)行上述運算的情況下，使用上述象素間濾波器，對上述解碼步驟中得到的解碼圖像數(shù)據(jù)實施上述運算，在選擇不執(zhí)行上述運算的情況下，不執(zhí)行上述運算；和預測圖像生成步驟，將由上述運算步驟中得到的解碼圖像數(shù)據(jù)用作參考圖像數(shù)據(jù)，生成相對輸入圖像數(shù)據(jù)的預測圖像數(shù)據(jù)。
6.根據(jù)權利要求5所述的圖像編碼方法，其特征在于還包含輸出數(shù)據(jù)生成步驟，通過上述編碼圖像數(shù)據(jù)、和與該編碼圖像數(shù)據(jù)關聯(lián)的關聯(lián)數(shù)據(jù)，生成外部輸出用輸出編碼圖像數(shù)據(jù)，在上述輸出數(shù)據(jù)生成步驟中，將特定上述選擇步驟中選擇的上述象素間濾波器的選擇信息記述在上述關聯(lián)數(shù)據(jù)中。
7.根據(jù)權利要求5所述的圖像編碼方法，其特征在于在上述選擇步驟中，若輸入圖像數(shù)據(jù)是參考其它圖像的圖像，則選擇平滑度更高的上述象素間濾波器。
8.根據(jù)權利要求5所述的圖像編碼方法，其特征在于在上述選擇步驟中，對應于上述輸入圖像數(shù)據(jù)的圖象類型來選擇濾波器。
9.根據(jù)權利要求5所述的圖像編碼方法，其特征在于在上述選擇步驟中，若輸入圖像數(shù)據(jù)是B圖象，則選擇不進行上述運算。
10.根據(jù)權利要求5所述的圖像編碼方法，其特征在于上述象素間濾波器是對應于輸入?yún)?shù)值來進行可變動作的公式運算濾波器。
11.根據(jù)權利要求5所述的圖像編碼方法，其特征在于在上述選擇步驟中，對每個輸入圖像數(shù)據(jù)的規(guī)定的數(shù)據(jù)單位切換選擇上述象素間濾波器。
12.一種圖像解碼方法，對編碼圖像數(shù)據(jù)解碼，其特征在于包含解碼步驟，將上述編碼圖像數(shù)據(jù)解碼為差分圖像數(shù)據(jù)，將預測圖像數(shù)據(jù)與上述差分圖像數(shù)據(jù)相加，并解碼成表示原始圖像的圖像數(shù)據(jù)；選擇步驟，選擇多個象素間濾波器的1個；運算步驟，使用被選擇的上述象素間濾波器，對上述解碼步驟中解碼為原始圖像的上述圖像數(shù)據(jù)，實施象素間濾波運算；和預測圖像生成步驟，根據(jù)實施上述運算的上述圖像數(shù)據(jù)，生成預測圖像數(shù)據(jù)。
13.根據(jù)權利要求12所述的圖像解碼方法，其特征在于還具有判斷步驟，對應于上述編碼圖像數(shù)據(jù)的圖象類型，判斷有無參考該編碼圖像數(shù)據(jù)，若上述編碼圖像數(shù)據(jù)是參考其它圖像的圖像，則在上述選擇步驟中，選擇平滑度更高的上述象素間濾波器。
14.根據(jù)權利要求12所述的圖像解碼方法，其特征在于在上述解碼步驟中，還解碼與上述編碼圖像數(shù)據(jù)關聯(lián)的關聯(lián)信息，在上述選擇步驟中，根據(jù)解碼的上述關聯(lián)信息，選擇上述象素間濾波器。
15.根據(jù)權利要求14所述的圖像解碼方法，其特征在于在上述選擇步驟中，當圖像解碼裝置中不具備在解碼的上述關聯(lián)信息中示出的上述象素間濾波器時，選擇該圖像解碼裝置中具備的象素間濾波器中，平滑度與上述關聯(lián)信息中示出的上述象素間濾波器近似的象素間濾波器。
16.根據(jù)權利要求14所述的圖像解碼方法，其特征在于包含旁通線，在上述選擇步驟中，作為上述多個象素間濾波器之一，旁通上述象素間濾波器，在上述預測圖像生成步驟中，在選擇了上述旁通線的情況下，根據(jù)未實施上述運算的上述解碼圖像數(shù)據(jù)，生成預測圖像數(shù)據(jù)。
17.根據(jù)權利要求16所述的圖像解碼方法，其特征在于還包含在上述運算步驟中選擇了上述旁通線的情況下，對未實施上述運算的上述解碼圖像數(shù)據(jù)實施第2象素間濾波運算的第2運算步驟；和輸出步驟，作為輸出圖像數(shù)據(jù)，向外部輸出實施上述第2象素間濾波運算的上述被解碼的圖像數(shù)據(jù)。
18.根據(jù)權利要求16所述的圖像解碼方法，其特征在于在上述選擇步驟中，對上述編碼圖像數(shù)據(jù)的規(guī)定數(shù)據(jù)單位，切換選擇上述象素間濾波器。
19.根據(jù)權利要求16所述的圖像解碼方法，其特征在于上述象素間濾波器是對應于參數(shù)值來進行可變動作的公式運算濾波器。
20.一種圖像編碼裝置，編碼作為表示輸入圖像的輸入圖像數(shù)據(jù)、與表示對上述輸入圖像的圖象的預測圖像的預測圖像數(shù)據(jù)差分的差分圖像數(shù)據(jù)，生成編碼圖像數(shù)據(jù)，其特征在于具備解碼部，在編碼上述差分圖像數(shù)據(jù)后，解碼上述編碼的差分圖像數(shù)據(jù)，并與上述預測圖像數(shù)據(jù)相加；多個象素間濾波器，對由上述解碼部得到的解碼圖像數(shù)據(jù)實施象素間濾波運算；選擇部，從上述象素間濾波器中選擇1個；和預測圖像生成部，將由選擇的上述象素間濾波器得到的完成濾波解碼圖像數(shù)據(jù)用作參考圖像數(shù)據(jù)，生成相對輸入圖像數(shù)據(jù)的預測圖像數(shù)據(jù)。
21.根據(jù)權利要求20所述的圖像編碼裝置，其特征在于還具備旁通線，旁通上述多個象素間濾波器，上述選擇部選擇上述象素間濾波器之一或上述旁通線。
22.根據(jù)權利要求21所述的圖像編碼裝置，其特征在于還具備輸出數(shù)據(jù)生成部，通過上述編碼圖像數(shù)據(jù)、和與該編碼圖像數(shù)據(jù)關聯(lián)的關聯(lián)數(shù)據(jù)，生成外部輸出用輸出編碼圖像數(shù)據(jù)，上述輸出數(shù)據(jù)生成部將特定上述選擇部選擇的上述象素間濾波器之一或旁通線的選擇信息記述在上述關聯(lián)數(shù)據(jù)中。
23.根據(jù)權利要求21所述的圖像編碼裝置，其特征在于上述選擇部，當輸入圖像數(shù)據(jù)是參考其它圖像的圖像時，則選擇平滑度更高的上述象素間濾波器。
24.根據(jù)權利要求21所述的圖像編碼裝置，其特征在于上述選擇部，在輸入圖像數(shù)據(jù)是不參考其它圖像的圖像、或輸入圖像數(shù)據(jù)是B圖象時，選擇處理量更少的上述象素間濾波器或上述旁通線。
25.根據(jù)權利要求24所述的圖像編碼裝置，其特征在于上述選擇部，在輸入圖像數(shù)據(jù)是B圖象時，選擇處理量更少的上述象素間濾波器、或上述旁通線。
26.根據(jù)權利要求20所述的圖像編碼裝置，其特征在于上述象素間濾波器是對應于參數(shù)進行可變動作的公式運算濾波器。
27.根據(jù)權利要求20所述的圖像編碼裝置，其特征在于上述選擇部對每個輸入圖像數(shù)據(jù)的規(guī)定數(shù)據(jù)單位切換選擇上述象素間濾波器。
28.一種圖像解碼裝置，從將表示動態(tài)圖像中圖象的圖像數(shù)據(jù)和表示動畫中其它圖象的預測圖像數(shù)據(jù)的差分編碼所得到的編碼圖像數(shù)據(jù)，解碼表示原始動態(tài)圖像的多個圖像數(shù)據(jù)，其特征在于具備解碼部，將上述編碼圖像數(shù)據(jù)的解碼結果、與對應于該編碼圖像數(shù)據(jù)的、已解碼的預測圖像數(shù)據(jù)相加，并解碼表示原始圖象的圖像數(shù)據(jù)；選擇部，從對解碼的上述圖像數(shù)據(jù)實施象素間濾波運算的多個象素間濾波器中選擇1個；和預測圖像生成部，根據(jù)由選擇的上述象素間濾波器實施上述運算的圖像數(shù)據(jù)，生成對應于其它編碼圖像數(shù)據(jù)的預測圖像數(shù)據(jù)。
29.根據(jù)權利要求28所述的圖像解碼裝置，其特征在于還具備判斷部，對應于上述編碼圖像數(shù)據(jù)的圖象類型，判斷有無參考該編碼圖像數(shù)據(jù)，若上述編碼圖像數(shù)據(jù)是參考其它圖像的圖像，則上述選擇部選擇平滑度更高的上述象素間濾波器。
30.根據(jù)權利要求28所述的圖像解碼裝置，其特征在于上述解碼部還解碼上述編碼圖像數(shù)據(jù)的關聯(lián)信息，上述選擇部根據(jù)解碼的上述關聯(lián)信息，選擇上述象素間濾波器。
31.根據(jù)權利要求30所述的圖像解碼裝置，其特征在于上述選擇部，當該圖像解碼裝置中不具備解碼的上述關聯(lián)信息中示出的上述象素間濾波器時，選擇該圖像解碼裝置中具備的象素間濾波器中，平滑度與上述關聯(lián)信息中示出的上述象素間濾波器近似的象素間濾波器。
32.根據(jù)權利要求30所述的圖像解碼裝置，其特征在于還具備旁通線，作為上述多個象素間濾波器之一，旁通上述多個象素間濾波器，上述預測圖像生成部，在選擇了上述旁通線的情況下，根據(jù)未實施上述運算的上述被解碼的圖像數(shù)據(jù)，生成預測圖像數(shù)據(jù)。
33.根據(jù)權利要求32所述的圖像解碼裝置，其特征在于還具備第2象素間濾波器，在選擇了上述旁通線的情況下，對未實施上述運算的上述解碼圖像數(shù)據(jù)實施第2象素間濾波運算；和輸出部，作為輸出圖像數(shù)據(jù)，向外部輸出實施上述第2象素間濾波運算的上述被解碼的圖像數(shù)據(jù)。
34.一種圖像編碼裝置用程序，該圖像編碼裝置將作為表示輸入圖像的輸入圖像數(shù)據(jù)、與表示對上述輸入圖像的圖象的預測圖像的預測圖像數(shù)據(jù)差分的差分圖像數(shù)據(jù)編碼，并生成編碼圖像數(shù)據(jù)，該程序使計算機用作，解碼部，在編碼上述差分圖像數(shù)據(jù)后，解碼上述編碼的差分圖像數(shù)據(jù)，并與上述預測圖像數(shù)據(jù)相加；多個象素間濾波器，對由上述解碼部得到的解碼圖像數(shù)據(jù)實施象素間濾波運算；選擇部，從上述象素間濾波器中選擇1個；和預測圖像生成部，將由選擇的上述象素間濾波器得到的完成濾波解碼圖像數(shù)據(jù)用作參考圖像數(shù)據(jù)，生成相對輸入圖像數(shù)據(jù)的預測圖像數(shù)據(jù)。
35.一種圖像解碼裝置用程序，該圖像解碼裝置根據(jù)將表示動態(tài)圖像中圖象的圖像數(shù)據(jù)和表示動畫中其它圖象的預測圖像數(shù)據(jù)的差分編碼所得到的編碼圖像數(shù)據(jù)，解碼表示原始動態(tài)圖像的多個圖像數(shù)據(jù)，該程序使計算機用作，解碼部，將上述編碼圖像數(shù)據(jù)的解碼結果、與對應于該編碼圖像數(shù)據(jù)的、已解碼的預測圖像數(shù)據(jù)相加，解碼表示原始圖象的圖像數(shù)據(jù)；選擇部，從對解碼的上述圖像數(shù)據(jù)實施象素間濾波運算的多個象素間濾波器中選擇1個；和預測圖像生成部，根據(jù)由選擇的上述象素間濾波器實施上述運算的圖像數(shù)據(jù)，生成對應于其它編碼圖像數(shù)據(jù)的預測圖像數(shù)據(jù)。
36.一種計算機可讀取記錄媒體，記錄上述編碼圖像數(shù)據(jù)和該編碼圖像數(shù)據(jù)的關聯(lián)數(shù)據(jù)，其特征在于對每個上述編碼圖像數(shù)據(jù)的一定單位，記錄在解碼該編碼圖像數(shù)據(jù)并作為參考圖像時，從多個象素間濾波運算中特定應對解碼后的圖像數(shù)據(jù)實施的象素間濾波運算的信息。
37.一種計算機可讀取記錄媒體，記錄上述編碼圖像數(shù)據(jù)和該編碼圖像數(shù)據(jù)的關聯(lián)數(shù)據(jù)，其特征在于對每個上述編碼圖像數(shù)據(jù)的一定單位，記錄表示在解碼該編碼圖像數(shù)據(jù)并設為參考圖像時，是否應對解碼后的圖像數(shù)據(jù)實施象素間濾波運算的信息。
38.一種圖像編碼裝置，編碼重復輸入的幀圖像，其特征在于具備編碼部，通過對幀圖像實施規(guī)定的變換處理來執(zhí)行編碼；逆變換部，對由上述編碼部編碼的幀圖像實施上述變換處理的逆變換處理；濾波部，對幀圖像實施濾波處理；存儲部，存儲幀圖像；和控制部，進行控制，使對由上述逆變換部進行逆變換處理得到的幀圖像實施上述濾波部進行的濾波處理后，將該幀圖像存儲在上述存儲部中，或不實施上述濾波部進行的濾波處理，將該幀圖像存儲在上述存儲部中，上述編碼部邊參考上述存儲部中存儲的過去的幀圖像邊編碼上述幀圖像。
39.根據(jù)權利要求38所述的圖像編碼裝置，其特征在于上述控制部也可控制成，在上述幀圖像的重要性高的情況下，對該幀圖像實施上述濾波處理，而在上述幀圖像的重要性低的情況下，對該幀圖像不實施上述濾波處理。
40.根據(jù)權利要求39所述的圖像編碼裝置，其特征在于上述編碼部對上述幀圖像執(zhí)行包含畫面內(nèi)編碼及畫面間編碼的編碼，上述控制部控制成，在上述幀圖像是由上述編碼部執(zhí)行畫面內(nèi)編碼的幀圖像的情況下，判斷該幀的重要性高，對該幀圖像實施上述濾波處理，在上述幀圖像是由上述編碼部進行畫面間編碼的幀圖像的情況下，判斷該幀的重要性低，對該幀圖像不實施上述濾波處理。
41.根據(jù)權利要求39所述的圖像編碼裝置，其特征在于上述編碼部對上述幀圖像執(zhí)行包含前向預測編碼及雙向預測編碼的編碼，上述控制部控制成，在上述幀圖像是由上述編碼部執(zhí)行前向預測編碼的幀圖像的情況下，判斷該幀的重要性高，對該幀圖像實施上述濾波處理，而在上述幀圖像是由上述編碼部執(zhí)行雙向預測編碼的幀圖像的情況下，判斷該幀的重要性低，對該幀圖像不實施上述濾波處理。
42.根據(jù)權利要求39所述的圖像編碼裝置，其特征在于上述編碼部對上述幀圖像執(zhí)行包含基本層編碼及增強層編碼的編碼，上述控制部控制成，在上述幀圖像是由上述編碼部執(zhí)行基本層編碼的幀圖像的情況下，判斷該幀的重要性高，對該幀圖像實施上述濾波處理，而在上述幀圖像是由上述編碼部執(zhí)行增強層編碼的幀圖像的情況下，判斷該幀的重要性低，對該幀圖像不實施上述濾波處理。
43.根據(jù)權利要求39所述的圖像編碼裝置，其特征在于上述控制部控制成，監(jiān)視該圖像編碼裝置的處理能力的余量，在有余量的情況下，實施濾波處理，直到重要性更低的幀圖像，在沒有余量的情況下，不實施濾波處理，直到重要性更高的幀圖像。
44.根據(jù)權利要求43所述的圖像編碼裝置，其特征在于在上述幀圖像相應附加對應于上述重要性的優(yōu)先順序，上述控制部控制成，通過監(jiān)視該圖像編碼裝置具備的CPU運轉率來監(jiān)視上述余量，在上述運轉率高的情況下，僅對優(yōu)先級高的幀圖像實施濾波處理，在上述運轉率低的情況下，實施濾波處理，直到優(yōu)先級低的幀圖像。
45.根據(jù)權利要求44所述的圖像編碼裝置，其特征在于上述幀圖像屬于多個種類之一，上述控制部具有第1信息表格，使幀圖像種類與上述優(yōu)先級對應；和第2信息表格，表示實施上述濾波處理情況下上述優(yōu)先級與上述運轉率的組合，根據(jù)作為對象的幀圖像種類，通過參考上述第1信息表格，決定該幀圖像的優(yōu)先級，根據(jù)決定的優(yōu)先級與上述運轉率的組合，通過參考上述第2信息表格，決定是否對該幀圖像實施上述濾波處理。
46.根據(jù)權利要求45所述的圖像編碼裝置，其特征在于上述控制部具有多個上述第1信息表格和多個上述第2信息表格，通過參考從多個上述第1信息表格中選擇的1個第1信息表格，決定上述幀圖像的優(yōu)先級，通過參考從多個上述第2信息表格中選擇的1個第2信息表格，決定是否向上述幀圖像實施上述濾波處理。
47.一種圖像解碼裝置，解碼重復輸入的幀圖像，其特征在于具備解碼部，通過對幀圖像實施規(guī)定的變換處理來進行解碼；濾波部，對幀圖像實施濾波處理；存儲部，存儲幀圖像；和控制部，進行控制，使在對由上述解碼部解碼得到的幀圖像實施上述濾波部進行的濾波處理后，將該幀圖像存儲在上述存儲部中，或不實施上述濾波部進行的濾波處理，將該幀圖像存儲在上述存儲部中，上述解碼部邊參考上述存儲部中存儲的過去的幀圖像邊解碼上述幀圖像。
48.根據(jù)權利要求47所述的圖像解碼裝置，其特征在于上述控制部也可控制成，在上述幀圖像的重要性高的情況下，對該幀圖像實施上述濾波處理，在上述幀圖像的重要性低的情況下，對該幀圖像不實施上述濾波處理。
49.根據(jù)權利要求48所述的圖像解碼裝置，其特征在于上述解碼部對上述幀圖像執(zhí)行包含面內(nèi)解碼及面間解碼的解碼，上述控制部控制成，在上述幀圖像是由上述解碼部執(zhí)行面內(nèi)解碼的幀圖像的情況下，判斷該幀的重要性高，對該幀圖像實施上述濾波處理，在上述幀圖像是由上述解碼部執(zhí)行面間解碼的幀圖像的情況下，判斷該幀的重要性低，對該幀圖像不實施上述濾波處理。
50.根據(jù)權利要求48所述的圖像解碼裝置，其特征在于上述解碼部對上述幀圖像執(zhí)行包含前向預測解碼及雙向預測解碼的解碼，上述控制部控制成，在上述幀圖像是由上述解碼部執(zhí)行前向預測解碼的幀圖像的情況下，判斷該幀的重要性高，對該幀圖像實施上述濾波處理，在上述幀圖像是由上述解碼部執(zhí)行后方預測解碼的幀圖像的情況下，判斷該幀的重要性低，對該幀圖像不實施上述濾波處理。
51.根據(jù)權利要求48所述的圖像解碼裝置，其特征在于上述解碼部對上述幀圖像執(zhí)行包含基本層解碼及增強層解碼的解碼，上述控制部控制成，在上述幀圖像是由上述解碼部執(zhí)行基本層解碼的幀圖像的情況下，判斷該幀的重要性高，對該幀圖像實施上述濾波處理，在上述幀圖像是由上述解碼部執(zhí)行增強層解碼的幀圖像的情況下，判斷該幀的重要性低，對該幀圖像不實施上述濾波處理。
52.根據(jù)權利要求48所述的圖像解碼裝置，其特征在于上述控制部控制成監(jiān)視該圖像解碼裝置的處理能力的余量，在有余量的情況下，實施濾波處理，直到重要性更低的幀圖像，在沒有余量的情況下，不實施濾波處理，直到重要性更高的幀圖像。
53.根據(jù)權利要求52所述的圖像解碼裝置，其特征在于在上述幀圖像對應附加對應于上述重要性的優(yōu)先順序，上述控制部控制成通過監(jiān)視該圖像解碼裝置具備的CPU運轉率來監(jiān)視上述余量，在上述運轉率高的情況下，僅對優(yōu)先級高的幀圖像實施濾波處理，在上述運轉率低的情況下，實施濾波處理，直到優(yōu)先級低的幀圖像。
54.根據(jù)權利要求53所述的圖像解碼裝置，其特征在于上述幀圖像屬于多個種類之一，上述控制部具有第1信息表格，使幀圖像種類與上述優(yōu)先級對應；和第2信息表格，表示實施上述濾波處理情況下上述優(yōu)先級與上述運轉率的組合，根據(jù)作為對象的幀圖像種類，通過參考上述第1信息表格，決定該幀圖像的優(yōu)先級，根據(jù)決定的優(yōu)先級與上述運轉率的組合，通過參考上述第2信息表格，決定是否對該幀圖像實施上述濾波處理。
55.根據(jù)權利要求54所述的圖像解碼裝置，其特征在于上述控制部具有多個上述第1信息表格和多個上述第2信息表格，通過參考從多個上述第1信息表格中選擇的1個第1信息表格，決定上述幀圖像的優(yōu)先級，通過參考從多個上述第2信息表格中選擇的1個第2信息表格，決定是否向上述幀圖像實施上述濾波處理。
56.一種圖像編碼方法，參考對完成編碼的圖像實施濾波處理的圖像，進行編碼，其特征在于在被編碼幀的重要性高的情況下，對該幀的完成編碼圖像實施濾波處理，在被編碼幀的重要性低的情況下，不對該幀的完成編碼圖像實施濾波處理。
57.一種圖像解碼方法，參考對完成解碼的圖像實施濾波處理的圖像，解碼編碼圖像，其特征在于在被解碼幀的重要性高的情況下，對該幀的完成解碼圖像實施濾波處理，在被解碼幀的重要性低的情況下，不對該幀的完成解碼圖像實施濾波處理。
全文摘要
本發(fā)明的圖像編碼方法和圖像解碼方法，圖像編碼裝置(300)編碼表示輸入圖像的圖像數(shù)據(jù)(Img)、與表示對上述輸入圖像的預測圖像的預測圖像數(shù)據(jù)(Pred)的差分，生成編碼圖像數(shù)據(jù)，其中，具備圖像解碼部(104)，在編碼圖像數(shù)據(jù)(Img)后，進行解碼；象素間濾波器A、B(303、304)，對由圖像解碼部(104)得到的解碼圖像數(shù)據(jù)(Recon)實施象素間濾波運算；開關(301、302)，選擇上述象素間濾波器之一；和圖象間預測部(108)，將由選擇的象素間濾波器得到的完成濾波解碼圖像數(shù)據(jù)(FilteredImg)用作參考圖像數(shù)據(jù)(Ref)，生成相對輸入圖像數(shù)據(jù)(Img)的預測圖像數(shù)據(jù)(Pred)。
文檔編號H04N7/50GK1493157SQ0280286
公開日2004年4月28日 申請日期2002年9月11日 優(yōu)先權日2001年9月12日
發(fā)明者羽飼誠, 也, 角野真也 申請人:松下電器產(chǎn)業(yè)株式會社