專利名稱：圖像編碼方法及圖像編碼裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及利用圖像間的相關(guān)高效率地壓縮動(dòng)畫圖像信號(hào)的圖像編碼 方法，和將其正確地進(jìn)行譯碼的圖像譯碼方法，以及用于用軟件執(zhí)行該操作 的程序等。
背景技術(shù)：
近年來，迎接統(tǒng)一處理聲音、圖像、其他象素值的多媒體時(shí)代，將現(xiàn)有 的信息媒體，即報(bào)紙、雜志、電視、收音機(jī)、電話等的信息傳達(dá)給人的裝置， 作為多媒體對(duì)象成了熱點(diǎn)。 一般地，所謂多媒體，是指不僅文字，同時(shí)還關(guān) 聯(lián)圖形、聲音，特別是圖像等進(jìn)行表示的信息媒體，但是，要想將上述現(xiàn)有 的信息媒體作為多媒體的對(duì)象，其必要條件為將其信息以數(shù)字形式表示。
但是，若將上述各信息媒體所持有的信息量作為數(shù)字信息量來估計(jì)，則 在信息為文字時(shí)每一個(gè)文字的信息量為1 2字節(jié)，而信息為聲音時(shí)每一秒的 信息量為64kbits (電話質(zhì)量)，另夕卜，對(duì)于動(dòng)畫，則每一秒需要100Mbits (現(xiàn) 行電視接收質(zhì)量)以上的信息量，在上述信息媒體中以數(shù)字形式原樣處理該 龐大信息是不現(xiàn)實(shí)的。例如，利用具有64kbps 1.5Mbps傳輸速度的綜合服 務(wù)數(shù)字網(wǎng)絡(luò)(ISDN: Integrated Services Digital Network)己實(shí)現(xiàn)可視電話， 但不能用ISDN原樣發(fā)送電視和攝影機(jī)的影像。
因此，這就需要信息的壓縮技術(shù)，例如，可視電話的情況下，正在使用 由ITU—T (國際電信同盟，國際電信標(biāo)準(zhǔn)化部門)國際標(biāo)準(zhǔn)化的H.261和 R263標(biāo)準(zhǔn)的動(dòng)畫壓縮技術(shù)。此外，根據(jù)MPEG—1標(biāo)準(zhǔn)的信息壓縮技術(shù)，也 可以在通常的音樂用CD (激光唱盤)中與聲音信息一同寫入圖像信息。
在此，所述MPEG (Moving Picture Experts Group即，動(dòng)畫圖形專家組) 是活動(dòng)圖像信號(hào)的數(shù)字壓縮國際標(biāo)準(zhǔn)，MPEG—1將活動(dòng)圖像信號(hào)壓縮到 1.5Mbps，即將電視信號(hào)的信息壓縮到大約百分之一的標(biāo)準(zhǔn)。此外，以MPEG 一l標(biāo)準(zhǔn)為對(duì)象的傳輸速度主要限定在大約1.5Mbps，因此，在為滿足高畫質(zhì) 的要求而標(biāo)準(zhǔn)化的MPEG—2中，活動(dòng)圖像信號(hào)被壓縮到2 15Mbps。
另外，現(xiàn)在，由推進(jìn)MPEG—1、 MPEG — 2標(biāo)準(zhǔn)化的工作組(ISO/
3IECJTC1 / SC29 / WGll)，已規(guī)范出更高壓縮率的MPEG—4。在MPEG—4
中， 一開始不僅能以低位速率進(jìn)行高效率的編碼，而且導(dǎo)入了即使傳輸線路 產(chǎn)生錯(cuò)誤，也能減小主觀的畫質(zhì)劣化的強(qiáng)有力的防差錯(cuò)技術(shù)。此外，ISO/ IEC和ITU共同推進(jìn)了作為下一代圖像編碼方式的JVT(Joint Video Team艮口， 聯(lián)合視頻小組)的標(biāo)準(zhǔn)化活動(dòng)，現(xiàn)在最新的稱為聯(lián)合模型2 (JM2)。
在JVT中，與現(xiàn)有的動(dòng)畫圖像編碼不同，作為前方參照?qǐng)D像，能從多個(gè) 圖像(圖像)中選擇任意圖像(圖像)作為參照?qǐng)D像。在此，所述圖像表示 幀或信息組(filed)。
圖l (a)是參照從存儲(chǔ)器內(nèi)保存的多個(gè)參照?qǐng)D像中選擇了的圖像，進(jìn)行 編碼的圖像編碼的說明圖。圖1 (b)是示出保存圖像的存儲(chǔ)器的結(jié)構(gòu)的結(jié)構(gòu) 圖。
如圖1 (b)所示，存儲(chǔ)器由短時(shí)間保存存儲(chǔ)器和長時(shí)間保存存儲(chǔ)器構(gòu)成。 短時(shí)間保存存儲(chǔ)器存儲(chǔ)在緊前面進(jìn)行了譯碼的多幅圖像，相當(dāng)于稱作MPEG 一l和MPEG—2的P圖像(前方預(yù)測編碼圖像)及B圖像(雙向預(yù)測編碼 圖像)的參照?qǐng)D像。長時(shí)間保存存儲(chǔ)器用于比短時(shí)間保存存儲(chǔ)器長時(shí)間保存 圖像信號(hào)。
通常，短時(shí)間保存存儲(chǔ)器是FIFO (先入先出)存儲(chǔ)器，在短時(shí)間保存存 儲(chǔ)器中保存超過存儲(chǔ)器上限的圖像的情況下，消除短時(shí)間保存存儲(chǔ)器內(nèi)的最 早時(shí)刻的圖像，在該區(qū)域中保存新的圖像。因此，通常，在欲參照利用FIFO 結(jié)構(gòu)從存儲(chǔ)器中消除了的參照?qǐng)D像的情況下，通過預(yù)先將該參照?qǐng)D像從短時(shí) 間保存存儲(chǔ)器移動(dòng)到長時(shí)間保存存儲(chǔ)器中來，保存在長時(shí)間保存存儲(chǔ)器內(nèi)， 就能長時(shí)間參照。長時(shí)間存儲(chǔ)器是明示保存區(qū)域的方法，只要不指定相同的 區(qū)域進(jìn)行重寫，就可以參照保存在該區(qū)域中的圖像。
圖1 (a)示出圖像編碼時(shí)的預(yù)測狀況，圖像編號(hào)2的圖像參照?qǐng)D像編號(hào) 0的圖像，圖像編號(hào)l的圖像參照?qǐng)D像編號(hào)0或圖像編號(hào)2的圖像。同樣地， 圖像編號(hào)4的圖像參照?qǐng)D像編號(hào)0、 2的圖像，圖像編號(hào)6的圖像參照?qǐng)D像編 號(hào)0的圖像。另外，在圖像編號(hào)5的圖像中則能參照?qǐng)D像編號(hào)0、 2、 4、 6 的圖像。
另外，在該圖1 (a)中，相對(duì)于圖像編號(hào)0、 6、 12的圖像可在比較長 時(shí)間以后仍被參照，圖像編號(hào)2、 4、 8的圖像等僅由短時(shí)間以后的圖像進(jìn)行 參照。因此，如圖1 (b)所示，將保存圖像的存儲(chǔ)器區(qū)域分割成短時(shí)間保存用存儲(chǔ)器和長時(shí)間保存存儲(chǔ)器，能在需要長時(shí)間保存的存儲(chǔ)器中保存圖像
(幀)編號(hào)為0、 6、 12的圖像。
另外，為了效率使用如圖1 (a)所示的存儲(chǔ)器，需要高度的存儲(chǔ)器管理， 在JVT中導(dǎo)入用于控制存儲(chǔ)器的結(jié)構(gòu)。 控制存儲(chǔ)器的指令如下
1. 選擇可參照的圖像的指令；
2. 在短時(shí)間保存存儲(chǔ)器中釋放存儲(chǔ)器區(qū)域的指令，所述存儲(chǔ)器區(qū)域是 保存著作為預(yù)測編碼的參照?qǐng)D像成為不需要的圖像存儲(chǔ)器區(qū)域；
3. 將短時(shí)間保存存儲(chǔ)器的內(nèi)容向長時(shí)間保存存儲(chǔ)器移動(dòng)的指令。 在圖像編碼和譯碼中，由于從可參照的圖像中按塊單位選擇預(yù)測誤差小
的圖像作為參照?qǐng)D像，因此，需要有按塊單位指示參照?qǐng)D像的信號(hào)。通過預(yù) 先選擇可參照的圖像，將參照?qǐng)D像的候補(bǔ)數(shù)壓縮成適當(dāng)?shù)闹担芄?jié)約按塊單 位所需的參照?qǐng)D像指示信號(hào)的位數(shù)。
此外，在從短時(shí)間保存存儲(chǔ)器移動(dòng)到長時(shí)間保存存儲(chǔ)器中的情況下，在 短時(shí)間保存存儲(chǔ)器和長時(shí)間保存存儲(chǔ)器兩方保存相同的內(nèi)容是浪費(fèi)的，因此， 消除短時(shí)間保存存儲(chǔ)器內(nèi)的圖像。
圖2 (a) (b)是示出現(xiàn)有的圖像編碼方法和圖像譯碼方法的流程圖。
圖2 (a)示出在釋放存儲(chǔ)器區(qū)域時(shí)的圖像編碼裝置的動(dòng)作，該存儲(chǔ)區(qū)域 是保存著作為預(yù)測編碼的參照?qǐng)D像成為不需要的圖像的存儲(chǔ)器區(qū)域。在圖2
(a)中，首先，圖像編碼裝置對(duì)所輸入的輸入圖像進(jìn)行編碼(步驟100)。 編碼之后在存儲(chǔ)器內(nèi)檢査不需要的區(qū)域(在以后的編碼中不參照的圖像)(步 驟101)，判定是否有不需要的存儲(chǔ)器區(qū)域(步驟102)。在判定為有不需要的 存儲(chǔ)器區(qū)域的情況下(步驟102的Yes)，將釋放不需要的存儲(chǔ)器區(qū)域的指令 作為存儲(chǔ)器管理信息，進(jìn)行編碼(步驟103)，并釋放該不需要的存儲(chǔ)器區(qū)域 (消除存儲(chǔ)器內(nèi)的圖像)(步驟104)，結(jié)束處理。另一方面，在圖像編碼裝 置判定為沒有不需要的存儲(chǔ)器區(qū)域的情況下(步驟102的No)，不進(jìn)行步驟 103和步驟104的動(dòng)作，結(jié)束處理。
下面，按照?qǐng)D2 (b)的流程圖，說明在釋放存儲(chǔ)器區(qū)域時(shí)的圖像譯碼裝 置進(jìn)行的動(dòng)作，該存儲(chǔ)器區(qū)域是保存著作為預(yù)測編碼的參照?qǐng)D像而成為不需 要的圖像的存儲(chǔ)器區(qū)域。首先，圖像譯碼裝置對(duì)存儲(chǔ)器管理信息進(jìn)行譯碼(步 驟110)，然后，根據(jù)編碼信號(hào)對(duì)圖像信號(hào)進(jìn)行譯碼(步驟111)。圖像譯碼裝置判定檢查的結(jié)果是否有存儲(chǔ)器釋放指令(步驟112)，若有存儲(chǔ)器釋放指令 (步驟112的Yes)，就判定是否有應(yīng)該用該指令消除的圖像，或者是否已經(jīng) 釋放完存儲(chǔ)器(圖像消除完了)(步驟113)。若判定為已釋放完(步驟113 的Yes)，則設(shè)定為錯(cuò)誤(ERROR)。這是因?yàn)椋贘VT中，禁止在從存儲(chǔ)器 消除了圖像之后發(fā)出再次消除相同圖像的指令，因此，在再次釋放釋放完的 存儲(chǔ)器的情況下，就設(shè)為錯(cuò)誤。另一方面，圖像譯碼裝置若判定為沒釋放完 (步驟113的No)，就釋放存儲(chǔ)器(步驟114)，之后結(jié)束處理。此外，在判 定為沒有存儲(chǔ)器釋放指令的情況下(步驟12的No)，不進(jìn)行步驟113和步 驟114的動(dòng)作，結(jié)束處理。再有，步驟110和步驟111的順序不同，所述兩 步驟的順序可以互換。
圖3(a) (b)是示出現(xiàn)有的其他圖像編碼方法和圖像譯碼方法的流程圖。
圖3 (a)示出從短時(shí)間保存存儲(chǔ)器向長時(shí)間保存存儲(chǔ)器移動(dòng)圖像時(shí)的圖 像編碼裝置進(jìn)行的動(dòng)作。
在圖3 (a)中，首先，圖像編碼裝置對(duì)輸入圖像進(jìn)行編碼(步驟120)。 編碼之后檢查是否有應(yīng)該向長時(shí)間保存存儲(chǔ)器移動(dòng)的圖像(步驟121)，并判 定是否有應(yīng)該移動(dòng)的圖像(步驟122)。若有應(yīng)該移動(dòng)的圖像(步驟122的 Yes)，就將表示如何向長時(shí)間保存存儲(chǔ)器移動(dòng)的指令作為存儲(chǔ)器管理信息， 進(jìn)行編碼(步驟123)，按照該指令向長時(shí)間保存存儲(chǔ)器移動(dòng)圖像(步驟124)， 之后結(jié)束處理。另一方面，圖像編碼裝置在判定為沒有應(yīng)該向長時(shí)間保存存 儲(chǔ)器移動(dòng)的圖像的情況下(步驟122的No),就不進(jìn)行步驟123和步驟124 的動(dòng)作，結(jié)束處理。
下面，按照?qǐng)D3 (b)的流程圖，說明從短時(shí)間保存存儲(chǔ)器向長時(shí)間保存 存儲(chǔ)器移動(dòng)圖像時(shí)的圖像譯碼裝置進(jìn)行的動(dòng)作。首先，圖像譯碼裝置對(duì)存儲(chǔ) 器管理信息進(jìn)行譯碼(步驟130)，接著，根據(jù)編碼信號(hào)對(duì)圖像信號(hào)進(jìn)行譯碼 (步驟131)。然后，圖像譯碼裝置判定在已譯碼的存儲(chǔ)器管理信息中是否有 向長時(shí)間保存存儲(chǔ)器移動(dòng)的指令(步驟132)，若判定為有(步驟132的Yes)， 則接著判定是否有應(yīng)該按該指令移動(dòng)的圖像，或者是否已移動(dòng)完(由于移動(dòng) 之后消除完了而圖像不存在)(步驟133)。在JVT中，禁止在向長時(shí)間保存 存儲(chǔ)器移動(dòng)之后發(fā)送再次向長時(shí)間保存存儲(chǔ)器移動(dòng)相同圖像的指令，因此， 在再次向長時(shí)間保存存儲(chǔ)器移動(dòng)已經(jīng)向長時(shí)間保存存儲(chǔ)器移動(dòng)完了的圖像的 情況下，就設(shè)為錯(cuò)誤。因而，圖像譯碼裝置若判定為己完成向長時(shí)間保存存儲(chǔ)器移動(dòng)(步驟133的Yes)，則設(shè)為錯(cuò)誤(ERROR);若判定為沒移動(dòng)完， 則向長時(shí)間保存存儲(chǔ)器移動(dòng)(步驟134)，之后結(jié)束處理。
另一方面，圖像譯碼裝置在判定為沒有向長時(shí)間保存存儲(chǔ)器移動(dòng)的指令 的情況下(步驟132的No)，就不進(jìn)行步驟133和步驟134的動(dòng)作，結(jié)束處 理。再有，步驟130和步驟131的順序不同，可以交換所述兩步驟的順序。
圖4 (a)、 (b)是示出現(xiàn)有的另外的圖像編碼方法和圖像譯碼方法的流 程圖。
首先，按照?qǐng)D4 (a)的流程圖，說明選擇可參照?qǐng)D像時(shí)的圖像編碼裝置 進(jìn)行的動(dòng)作。
首先，圖像編碼裝置選擇預(yù)計(jì)為與被編碼圖像相關(guān)密切的參照?qǐng)D像(通 常是時(shí)間上接近的參照?qǐng)D像)，作為參照?qǐng)D像的候補(bǔ)(步驟200)。接著，將 示出所選擇的參照?qǐng)D像的候補(bǔ)的指示信息(存儲(chǔ)器管理信息的一種)進(jìn)行編 碼(步驟201)，從所選擇的參照?qǐng)D像的候補(bǔ)中按塊單位參照適當(dāng)?shù)膮⒄請(qǐng)D像， 進(jìn)行編碼(步驟202)，之后結(jié)束處理。再有，步驟201和步驟202的順序不 同，可以交換所述兩步驟的順序。
下面，按照?qǐng)D4 (b)的流程圖，說明選擇可參照?qǐng)D像時(shí)的圖像譯碼裝置 進(jìn)行的動(dòng)作。
首先，圖像譯碼裝置對(duì)作為存儲(chǔ)器管理信息的一種的指示信息進(jìn)行譯碼 (步驟210)，作為其結(jié)果，從存儲(chǔ)器中選擇參照?qǐng)D像的候補(bǔ)(步驟211)，從 選擇了的參照?qǐng)D像的候補(bǔ)中按塊單位選擇適當(dāng)?shù)膮⒄請(qǐng)D像進(jìn)行參照并進(jìn)行譯 碼(步驟212)，之后結(jié)束處理。
另外，在象這樣的現(xiàn)有的圖像編碼方法和圖像譯碼方法中，用圖像編碼 裝置將從存儲(chǔ)器中消除不需要的圖像的指令、和從短時(shí)間保存存儲(chǔ)器向長時(shí) 間保存存儲(chǔ)器移動(dòng)圖像的指令進(jìn)行編碼之后輸出，并傳輸?shù)綀D像譯碼裝置中 進(jìn)行譯碼，但是，由于該傳輸次數(shù)僅限定為一個(gè)圖像，因此，在隨著該指令 的圖像因傳輸錯(cuò)誤等消失了的情況下，就不能正確地復(fù)原存儲(chǔ)器內(nèi)的圖像配 置，因此就不能對(duì)圖像進(jìn)行譯碼。
此外，在圖像的編碼和譯碼中，在選擇參照?qǐng)D像時(shí)，若簡單地將在時(shí)間 上接近的圖像設(shè)為參照?qǐng)D像候補(bǔ)，則不能進(jìn)行考慮了圖像的譯碼的可變性 (scalability)(在圖1 (a)的預(yù)測結(jié)構(gòu)的例子中，即使B圖像沒有進(jìn)行譯碼， I圖像和P圖像也能進(jìn)行譯碼，或即使不對(duì)圖像編號(hào)4、 10、 16的P圖像進(jìn)行譯碼，其他的P圖像也能進(jìn)行譯碼)的最佳的編碼。即，雖然在時(shí)間上與
圖像編號(hào)6的圖像接近的圖像是圖像編號(hào)4、 2的圖像，但實(shí)際上，僅能參照 圖像編號(hào)0的圖像，因此，若將不能參照的圖像編號(hào)4、 2的圖像放入?yún)⒄請(qǐng)D 像的候補(bǔ)中，則編碼效率不太好。
另外，在現(xiàn)有的圖像編碼方法中，禁止附隨著存儲(chǔ)器中不保存的圖像傳 輸消除存儲(chǔ)器內(nèi)的不需要的圖像的指令、或從短時(shí)間保存存儲(chǔ)器向長時(shí)間保 存存儲(chǔ)器移動(dòng)圖像的指令，因此，妨礙/柔性的存儲(chǔ)器管理信息的指令傳輸。 禁止附隨著存儲(chǔ)器中不保存的圖像傳輸該指令有下述理由。BP，這是因?yàn)椋?由于存儲(chǔ)器中不保存的圖像的重要度最低，不能按可變性(scalability)譯碼 的可能性高，因此，是為了避免附隨了該存儲(chǔ)器中不保存的圖像的該指令不 被譯碼而導(dǎo)致不能正確復(fù)原存儲(chǔ)器內(nèi)的圖像配置。

發(fā)明內(nèi)容
因此，本發(fā)明為了解決以上的課題，目的在于提供一種即使因傳輸線路 錯(cuò)誤而一部分存儲(chǔ)器管理信息消失，也能正確地復(fù)原的圖像編碼方法和圖像 譯碼方法等，和更適當(dāng)?shù)剡x擇可參照的參照?qǐng)D像的候補(bǔ)來提高編碼效率的圖 像編碼方法和圖像譯碼方法等。
為了解決該課題，本發(fā)明涉及的圖像編碼方法，參照從存儲(chǔ)器內(nèi)保存著 的多個(gè)參照?qǐng)D像中選擇的參照?qǐng)D像進(jìn)行編碼，包括參照所選擇的參照?qǐng)D像， 對(duì)編碼對(duì)象圖像進(jìn)行編碼；將用于管理存儲(chǔ)器中保存著的參照?qǐng)D像的第一存 儲(chǔ)器管理信息進(jìn)行編碼，并且，附隨于已被編碼的所述編碼對(duì)象圖像，輸出 被編碼的所述第一存儲(chǔ)器管理信息；將所述第一存儲(chǔ)器管理信息作為第二存 儲(chǔ)器管理信息再次進(jìn)行編碼；在被編碼的所述第二存儲(chǔ)器管理信息上附加用 于確定所述編碼對(duì)象圖像的圖像確定信息，并且，附隨于與所述編碼對(duì)象圖 像不同的別的編碼圖像，輸出附加了所述圖像確定信息的被編碼的所述第二 存儲(chǔ)器管理信息。
本發(fā)明的圖像編碼裝置，參照從存儲(chǔ)器內(nèi)保存著的多個(gè)參照?qǐng)D像中選擇 的參照?qǐng)D像進(jìn)行編碼，包括圖像編碼單元，參照所選擇的參照?qǐng)D像，對(duì)編 碼對(duì)象圖像進(jìn)行編碼；管理信息編碼單元，將用于管理存儲(chǔ)器中保存著的參 照?qǐng)D像的第一存儲(chǔ)器管理信息進(jìn)行編碼，并且，附隨于已被編碼的所述編碼 對(duì)象圖像，輸出被編碼的所述第一存儲(chǔ)器管理信息；管理信息再編碼單元， 將所述第一存儲(chǔ)器管理信息作為第二存儲(chǔ)器管理信息再次進(jìn)行編碼，在被編碼的所述第二存儲(chǔ)器管理信息上附加用于確定所述編碼對(duì)象圖像的圖像確定 信息，并且，附隨于與所述編碼對(duì)象圖像不同的別的編碼圖像，輸出附加了 所述圖像確定信息的被編碼的所述第二存儲(chǔ)器管理信息。
這樣，在上述管理信息編碼步驟中，使上述存儲(chǔ)器管理信息附隨著不保 存在上述存儲(chǔ)器中的編碼對(duì)象圖像的情況下，在上述管理信息再編碼步驟中， 也可以使上述存儲(chǔ)器管理信息還附隨保存在上述存儲(chǔ)器中的編碼對(duì)象圖像。
這樣，在附隨著編碼對(duì)象圖像向圖像譯碼裝置傳輸最初己被編碼的存儲(chǔ) 器管理信息時(shí)產(chǎn)生了傳輸錯(cuò)誤的情況下，由于確定存儲(chǔ)器管理信息附隨的編 碼對(duì)象圖像，能檢測在哪個(gè)時(shí)刻產(chǎn)生了傳輸錯(cuò)誤。
再有，本發(fā)明不僅能實(shí)現(xiàn)象上述的圖像編碼方法和圖像編碼裝置，也能 實(shí)現(xiàn)記錄了由圖像編碼方法進(jìn)行了編碼的數(shù)據(jù)流的記錄媒體，也能實(shí)現(xiàn)將圖 像編碼方法的步驟在計(jì)算機(jī)中執(zhí)行的程序。當(dāng)然，象這樣的程序也可以通過
CD—ROM等記錄媒體和因特網(wǎng)等傳輸媒體來發(fā)送。
再有，本說明書中摘錄了前日本特許申請(qǐng)"特愿2002 —110424"、"特愿 2002—190955"、"特愿2003—49711"和美國申i青"60 / 377656"的內(nèi)容。


圖l (a)是參照從保存在存儲(chǔ)器中的多個(gè)參照?qǐng)D像選擇的圖像進(jìn)行編碼 的圖像編碼的說明圖，圖l (b)是示出保存圖像的存儲(chǔ)器的結(jié)構(gòu)的結(jié)構(gòu)圖。
圖2 (a)是示出現(xiàn)有的圖像編碼方法的流程圖，圖2 (b)是示出現(xiàn)有的 圖像譯碼方法的流程圖。
圖3 (a)是示出現(xiàn)有的圖像編碼方法的另一種流程圖，圖3 (b)是示出
現(xiàn)有的圖像譯碼方法的另 一種流程圖。
圖4 (a)是示出現(xiàn)有的圖像編碼方法的另一種流程圖，圖3 (b)是示出
現(xiàn)有的圖像譯碼方法的另 一種流程圖。
圖5是示出本發(fā)明的圖像編碼裝置的結(jié)構(gòu)框圖。 圖6是示出本發(fā)明的實(shí)施方式1中的圖像編碼方法的流程圖。 圖7是示出本發(fā)明的圖像譯碼裝置的結(jié)構(gòu)框圖。 圖8是示出本發(fā)明的實(shí)施方式2中的圖像譯碼方法的流程圖。 圖9是示出本發(fā)明的實(shí)施方式3中的圖像編碼方法的流程圖。 圖10是示出本發(fā)明的實(shí)施方式4中的圖像譯碼方法的流程圖。 圖11是示出本發(fā)明的實(shí)施方式5中的圖像編碼方法的流程圖。圖12是示出本發(fā)明的實(shí)施方式6中的圖像編碼方法的流程圖。 圖13是示出本發(fā)明的實(shí)施方式7中的圖像編碼方法的流程圖。 圖14 (a)是示出圖像的圖像編號(hào)、保存圖像編號(hào)及傳輸順序的關(guān)系的 說明圖，圖14 (b)是示出進(jìn)行譯碼的圖像編號(hào)、保存著的圖像編號(hào)及被刪 除的圖像編號(hào)之間關(guān)系的關(guān)系圖，圖14 (c)是示出進(jìn)行譯碼的圖像編號(hào)、 保存著的圖像編號(hào)及被刪除的圖像編號(hào)的其他關(guān)系的關(guān)系圖。 圖15是示出本發(fā)明中的存儲(chǔ)器管理信息的指令的對(duì)應(yīng)圖。 圖16是示出本發(fā)明的實(shí)施方式8中的指令執(zhí)行順序的流程圖。 圖17是示出各圖像的編碼信號(hào)中的標(biāo)題信息與幀數(shù)據(jù)之間關(guān)系的模式圖。
圖18是示出編碼信號(hào)的標(biāo)題信息中的存儲(chǔ)器管理信息的指令的模式圖。 圖19是示出各圖像的圖像編號(hào)、保存圖像編號(hào)及傳輸順序的關(guān)系的說 明圖。
圖20是示出將初始化指令進(jìn)行編碼的方法的流程圖。 圖21是示出將己編碼的初始化指令進(jìn)行譯碼的方法的流程圖。 圖22是示出在本發(fā)明的實(shí)施方式8中使用的存儲(chǔ)器管理信息的指令的 對(duì)應(yīng)圖。
圖23是示出使用了本發(fā)明中的初始化重發(fā)指令的圖像編碼方法的流程圖。
圖24是示出本發(fā)明中的將己編碼的初始化重發(fā)指令進(jìn)行譯碼的方法的 流程圖。
圖25是示出各圖像的圖像編號(hào)、保存圖像編號(hào)及傳輸順序的其他關(guān)系 的說明圖。
圖26是示出在本發(fā)明的實(shí)施方式9中使用的存儲(chǔ)器管理信息的指令的 對(duì)應(yīng)圖。
圖27是示出本發(fā)明的實(shí)施方式9中的圖像編碼方法的流程圖。 圖28是示出本發(fā)明的實(shí)施方式9中的圖像譯碼方法的流程圖。 圖29 (a)是示出指令的內(nèi)容和附加信息的對(duì)應(yīng)圖，圖29 (b)是示出指 令的執(zhí)行定時(shí)的對(duì)應(yīng)圖。
圖30是示出編碼信號(hào)的標(biāo)題信息中的存儲(chǔ)器管理信息指令的模式圖。 圖31是示出其他編碼信號(hào)的標(biāo)題信息中的存儲(chǔ)器管理信息指令的模式圖。
圖32是示出按片單位編碼的數(shù)據(jù)流結(jié)構(gòu)的模式圖。 圖33 (a) (b)都是示出按片單位編碼的數(shù)據(jù)流結(jié)構(gòu)的模式圖。 圖34 (a) (b) (c)都是對(duì)用于存儲(chǔ)程序的存儲(chǔ)媒體的說明圖,所述程序 是計(jì)算機(jī)系統(tǒng)實(shí)現(xiàn)本發(fā)明的實(shí)施方式1至實(shí)施方式10的圖像編碼方法和圖 像譯碼方法的程序。
圖35是示出使用本發(fā)明的圖像編碼方法和圖像譯碼方法的內(nèi)容供給系
統(tǒng)的整體結(jié)構(gòu)的框圖。
圖36是示出使用本發(fā)明的圖像編碼方法和圖像譯碼方法的攜帶式電話
的一例的外觀圖。
圖37是示出上述攜帶式電話結(jié)構(gòu)的結(jié)構(gòu)框圖。
圖38是示出使用本發(fā)明的圖像編碼方法和圖像譯碼方法的數(shù)字廣播用 系統(tǒng)的結(jié)構(gòu)的結(jié)構(gòu)圖。
具體實(shí)施例方式
以下，用

本發(fā)明的實(shí)施方式。 (實(shí)施方式1) 首先，對(duì)實(shí)施方式l進(jìn)行說明。
圖5是示出用于實(shí)現(xiàn)本實(shí)施方式中的圖像編碼方法的圖像編碼裝置的結(jié) 構(gòu)框圖。
圖像編碼裝置100由存儲(chǔ)器信息控制部101、短時(shí)間保存存儲(chǔ)器管理部 102、長時(shí)間保存存儲(chǔ)器管理部103、非保存存儲(chǔ)器管理信息部104、管理信 息編碼部105、參照?qǐng)D像選擇部106、保存區(qū)域指定部107、參照區(qū)域指定部 108、圖像存儲(chǔ)器109、圖像譯碼部111、圖像編碼部110、可變長編碼部112、 計(jì)數(shù)器113、計(jì)數(shù)器114等構(gòu)成。
參照?qǐng)D像選擇部106根據(jù)從外部輸入的重要度指示信號(hào)Pri和圖像類型 信息PicType，選擇參照?qǐng)D像的候補(bǔ)，并通知存儲(chǔ)器信息控制部101。
存儲(chǔ)器信息控制部101根據(jù)圖像類型信息PicType，判斷前方和后方的 哪一方或兩方的圖像(圖像)是否可參照，命令參照區(qū)域指定部108，從圖 像存儲(chǔ)器109向圖像編碼部IIO輸出對(duì)應(yīng)的參照?qǐng)D像。
圖像編碼部110參照從圖像存儲(chǔ)器109輸出的參照?qǐng)D像，對(duì)輸入圖像信 號(hào)Vin進(jìn)行編碼，可變長編碼部112進(jìn)一步進(jìn)行可變長編碼之后，輸出圖像編碼流VideoStr。此外，圖像編碼部110的輸出被圖像譯碼部111譯碼而成 為譯碼圖像，作為參照?qǐng)D像存儲(chǔ)到圖像存儲(chǔ)器109中。
這時(shí)，圖像存儲(chǔ)器109中的譯碼圖像的可存儲(chǔ)的存儲(chǔ)器位置如下進(jìn)行指 定。即，存儲(chǔ)器信息控制部IOI向短時(shí)間保存存儲(chǔ)器管理部102査詢，在短 時(shí)間存儲(chǔ)器中確定圖像已被消除的存儲(chǔ)器位置，保存區(qū)域指定部107對(duì)圖像 存儲(chǔ)器109發(fā)出指示，以使在該存儲(chǔ)器位置上記錄譯碼圖像。
短吋間保存存儲(chǔ)器管理部102檢測短時(shí)間保存存儲(chǔ)器內(nèi)的不需要(不被 參照)的圖像，并向存儲(chǔ)器信息控制單元部101通知消除(釋放存儲(chǔ)器)的 指令。此外，長時(shí)間保存存儲(chǔ)器管理部103向存儲(chǔ)器信息控制部101通知將 短時(shí)間保存存儲(chǔ)器內(nèi)的圖像向長時(shí)間保存存儲(chǔ)器移動(dòng)的指令。該不需要的圖 像的消除(存儲(chǔ)器的釋放)指令和將短時(shí)間保存存儲(chǔ)器內(nèi)的圖像向長時(shí)間保 存存儲(chǔ)器移動(dòng)的指令，在管理信息編碼部105被進(jìn)行編碼成為存儲(chǔ)器管理信 息流CtlStr。
另一方面，為了防止因傳輸線路錯(cuò)誤而一部分存儲(chǔ)器管理信息流CtlStr 消失，從而存儲(chǔ)器管理信息被損壞，用短時(shí)間保存存儲(chǔ)器用的計(jì)數(shù)器113和 長時(shí)間保存存儲(chǔ)器用的計(jì)數(shù)器114，計(jì)測不需要的圖像的消除指令和將短時(shí) 間保存存儲(chǔ)器內(nèi)的圖像向長時(shí)間保存存儲(chǔ)器移動(dòng)的指令的編碼次數(shù)，能根據(jù) 需要進(jìn)行上述指令的多次傳輸。
此外，非保存存儲(chǔ)器管理信息部104，管理不需要的圖像的消除指令和 將短時(shí)間保存存儲(chǔ)器內(nèi)的圖像向長時(shí)間保存存儲(chǔ)器移動(dòng)的指令是否附隨著重 要度低且難被譯碼的圖像已被編碼，在上述指令附隨著重要度低的圖像被編 碼了的情況下，向存儲(chǔ)器信息控制部101發(fā)出指示，以使附隨著更高重要度 的圖像再次對(duì)指令進(jìn)行編碼。
下面，對(duì)本發(fā)明的實(shí)施方式l中的圖像編碼方法進(jìn)行說明。圖6是示出 實(shí)施方式1中的圖像編碼方法的流程圖，示出圖5示出的圖像編碼裝置100 進(jìn)行的動(dòng)作。再有，在圖6中，對(duì)與圖2 (a)動(dòng)作相同的部分標(biāo)注相同的標(biāo) 記。
圖6中示出的圖像編碼方法的特征在于，在存儲(chǔ)器內(nèi)作為預(yù)測編碼的參 照?qǐng)D像存在不需要的圖像(圖像)的情況下，反復(fù)對(duì)釋放保存著該圖像的存 儲(chǔ)器區(qū)域(消除該圖像)的存儲(chǔ)器管理信息的指令進(jìn)行編碼。象這樣地，通 過反復(fù)對(duì)存儲(chǔ)器管理信息的指令進(jìn)行編碼，即使因傳輸線路錯(cuò)誤而其中一方存儲(chǔ)器管理信息的指令消失，也能根據(jù)另一方存儲(chǔ)器管理信息的指令復(fù)原保 存在存儲(chǔ)器內(nèi)的圖像的管理信息，因此，即使有傳輸線路錯(cuò)誤也能正確地復(fù) 原圖像的可能性提高。
圖6中，首先，對(duì)輸入圖像(步驟100)進(jìn)行編碼。編碼之后在存儲(chǔ)器 內(nèi)檢查不需要的區(qū)域(在以后的編碼中不參照的圖像)(步驟101)，判定是 否有不需要的存儲(chǔ)器區(qū)域(步驟102)。在有不需要的存儲(chǔ)器區(qū)域的情況下(步 驟102的Yes)，管理信息編碼部105將釋放不需要的存儲(chǔ)器區(qū)域的指令作為 存儲(chǔ)器管理信息進(jìn)行編碼(步驟103)。然后，釋放該不需要的存儲(chǔ)器區(qū)域(步 驟104)。在沒有不需要的存儲(chǔ)器區(qū)域的情況下(步驟02的No)，就不進(jìn)行 步驟103和步驟104的動(dòng)作。
接著，存儲(chǔ)器信息控制部101判定釋放不需要的存儲(chǔ)器區(qū)域的指令是否 附隨著在緊前面已編碼的圖像(編碼對(duì)象之前的圖像)，作為存儲(chǔ)器管理信息 進(jìn)行了編碼(步驟105)，在指令沒有被編碼了的情況下(步驟105的No) 結(jié)束處理，并在指令己被編碼了的情況下(步驟105的Yes)，管理信息編碼 部105再次將釋放該不需要的存儲(chǔ)器區(qū)域的指令作為存儲(chǔ)器管理信息進(jìn)行編 碼(步驟106)，并結(jié)束處理。
象這樣地，若在緊前面的圖像的編碼中，釋放不需要的存儲(chǔ)器(存儲(chǔ)器 管理信息的)的指令被編碼，則存儲(chǔ)器管理信息的指令再次被編碼。附隨著 緊前面的圖像的編碼而被編碼了的存儲(chǔ)器管理信息、和再次被編碼了的存儲(chǔ) 器管理信息，分別由圖像編碼裝置輸出，傳輸?shù)綀D像譯碼裝置中被譯碼。
再有，在步驟105中，附隨著緊前面已被編碼的圖像的編碼信號(hào)，釋放 不需要的存儲(chǔ)器區(qū)域的指令被編碼了的情況下，再次編碼指令，但在不是附 隨著緊前面的圖像的情況，而是附隨著幾個(gè)圖像以前的圖像的情況下，并且， 將上述指令作為存儲(chǔ)器管理信息反復(fù)進(jìn)行編碼，并附隨多個(gè)圖像進(jìn)行傳輸也 可以。
此外，若能將釋放上述不需要的存儲(chǔ)器區(qū)域的指令作為存儲(chǔ)器管理信息 多次傳輸就好，在再次編碼該指令進(jìn)行傳輸時(shí)，無需一定使之附隨著圖像的 編碼信號(hào)進(jìn)行傳輸。
此外，在重發(fā)存儲(chǔ)器管理信息的指令的情況下，其重發(fā)的指令也可以不 是在與已被編碼的圖像相同的流中，而是例如作為另外的流進(jìn)行傳輸，也可 以記錄在存儲(chǔ)媒體的另外的區(qū)域中。如上所述，由于可認(rèn)為通過多次傳輸釋放不需要的存儲(chǔ)器區(qū)域(存儲(chǔ)器 管理信息的)的指令，即使在產(chǎn)生了傳輸線路錯(cuò)誤的情況下，多次傳輸?shù)闹?令中的某一個(gè)被傳輸并被譯碼，因此，能正確地復(fù)原圖像的可能性提高。 (實(shí)施方式2)
下面，對(duì)本發(fā)明的實(shí)施方式2進(jìn)行說明。
圖7是用于實(shí)現(xiàn)實(shí)施方式2中的圖像譯碼方法的圖像譯碼裝置的框圖。 圖像譯碼裝置200由存儲(chǔ)器信息控制部201、短時(shí)間保存存儲(chǔ)器管理部 202、長時(shí)間保存存儲(chǔ)器管理部203、管理信息譯碼部205、保存區(qū)域指定部 207、參照區(qū)域指定部208、圖像存儲(chǔ)器209、圖像譯碼部210、可變長譯碼 部212等構(gòu)成。
存儲(chǔ)器信息控制部201根據(jù)圖像類型信息PicType，對(duì)編碼對(duì)象判斷前 方和后方的哪一方或兩方的圖像是否可參照，命令參照區(qū)域指定部208，從 圖像存儲(chǔ)器209向圖像譯碼部210輸出對(duì)應(yīng)的參照?qǐng)D像。
可變長譯碼部212對(duì)編碼流VideoStr進(jìn)行譯碼，圖像譯碼部210將其進(jìn) 一步譯碼，作為譯碼圖像信號(hào)Vout輸出，并作為參照?qǐng)D像存儲(chǔ)到圖像存儲(chǔ)器 209中。
這時(shí)，圖像存儲(chǔ)器209中的譯碼圖像的可存儲(chǔ)的存儲(chǔ)器位置如下進(jìn)行指 定。存儲(chǔ)器信息控制部201向短時(shí)間保存存儲(chǔ)器管理部202査詢，確定的已 消除圖像的存儲(chǔ)器位置，保存區(qū)域指定部207對(duì)圖像存儲(chǔ)器209發(fā)出指示， 以使在該存儲(chǔ)器位置上記錄譯碼圖像。
管理信息譯碼部205對(duì)存儲(chǔ)器管理信息流CtlStr進(jìn)行譯碼，通過存儲(chǔ)器 信息控制部201，向短時(shí)間保存存儲(chǔ)器管理部202通知短時(shí)間保存存儲(chǔ)器內(nèi) 的不需要(不參照)的圖像信息，對(duì)長時(shí)間保存存儲(chǔ)器管理部203通知將短 時(shí)間保存存儲(chǔ)器內(nèi)的圖像向長時(shí)間保存存儲(chǔ)器移動(dòng)的指令。
下面，對(duì)本發(fā)明的實(shí)施方式2中的圖像譯碼方法進(jìn)行說明。圖8是示出 實(shí)施方式2中的圖像譯碼方法的流程圖，示出圖7示出的圖像譯碼裝置200 進(jìn)行的動(dòng)作。再有，圖8中，在與圖2 (b)動(dòng)作相同的部分上標(biāo)記相同的標(biāo) 記。
在圖像編碼裝置多次傳輸了釋放不需要的存儲(chǔ)器區(qū)域的指令的情況下， 只要不因傳輸線路錯(cuò)誤而指令消失，圖像譯碼裝置就多次接收釋放存儲(chǔ)器內(nèi) 的相同圖像區(qū)域的指令。因此，必須實(shí)現(xiàn)這樣的圖像譯碼方法，即，即使在圖像譯碼裝置接收到了再次釋放己經(jīng)釋放了的存儲(chǔ)器區(qū)域的指令的情況下， 也不作為錯(cuò)誤進(jìn)行處理，而相反判斷為能正確地接收。在本實(shí)施方式中，實(shí) 現(xiàn)了這樣的圖像譯碼方法。
圖8中，首先，管理信息譯碼部205對(duì)存儲(chǔ)器管理信息譯碼(步驟110)。 接著，根據(jù)編碼信號(hào)對(duì)圖像信號(hào)(步驟111)進(jìn)行譯碼。然后，存儲(chǔ)器信息 控制部201判定在譯碼后的存儲(chǔ)器管理信息中是否有釋放存儲(chǔ)器的指令(步 驟112)。若有釋放存儲(chǔ)器的指令(步驟112的Yes)，就判定是否有應(yīng)該用該 指令消除的圖像，或者是否已經(jīng)釋放完(消除完)(步驟113)，若存儲(chǔ)器釋 放完(步驟113的Yes)，就不做任何處理而結(jié)束，若不是這樣，就釋放存儲(chǔ) 器(步驟114)，之后結(jié)束處理。另一方面，在沒有存儲(chǔ)器釋放指令的情況下 (步驟112的No)，就不進(jìn)行步驟113和步驟114的動(dòng)作而結(jié)束處理。再有， 步驟110和步驟111的順序不同，可以互換所述兩步驟的順序。
根據(jù)如上所述的動(dòng)作，用實(shí)施方式1的圖像編碼方法多次編碼并傳輸釋 放存儲(chǔ)器內(nèi)的相同圖像的區(qū)域的指令，即使圖像譯碼裝置200多次接收到該 信號(hào)的情況下，由于不作為錯(cuò)誤進(jìn)行處理，因而能夠?qū)崿F(xiàn)能正確地譯碼的圖 像譯碼方法。
再有，只要將釋放上述不需要的存儲(chǔ)器區(qū)域的指令作為存儲(chǔ)器管理信息 多次進(jìn)行傳輸就好，在將該指令再次編碼并傳輸時(shí)，無需必須使其附隨著圖 像的編碼信號(hào)進(jìn)行傳輸。
此外，在重發(fā)存儲(chǔ)器管理信息的指令的情況下，其重發(fā)的指令也可以不 是在與已被編碼的圖像相同的流中，而是例如作為另外的流進(jìn)行傳輸，也可 以記錄在存儲(chǔ)媒體的另外的區(qū)域中。 (實(shí)施方式3)
下面，對(duì)實(shí)施方式3中的圖像編碼方法進(jìn)行說明。圖9是示出實(shí)施方式 3中的圖像編碼方法的流程圖，示出圖像編碼裝置100進(jìn)行的動(dòng)作。在圖9 中，在與圖3 (a)動(dòng)作相同的部分標(biāo)注相同的標(biāo)記。
本實(shí)施方式的特征在于，在存儲(chǔ)器內(nèi)存在應(yīng)該從短時(shí)間保存存儲(chǔ)器向長 時(shí)間保存存儲(chǔ)器移動(dòng)的圖像的情況下，反復(fù)對(duì)移動(dòng)該圖像的存儲(chǔ)器管理信息 的指令進(jìn)行編碼。通過反復(fù)編碼存儲(chǔ)器管理信息的指令，即使因傳輸線路錯(cuò) 誤而其中部分存儲(chǔ)器管理信息的指令消失，也能根據(jù)另一部分存儲(chǔ)器管理信 息的指令復(fù)原保存在存儲(chǔ)器內(nèi)的圖像的管理信息，因此，即使有傳輸線路錯(cuò)誤也能正確地復(fù)原圖像的可能性提高。
圖9中，首先，對(duì)輸入圖像(步驟120)進(jìn)行編碼。編碼之后檢查是否 有應(yīng)該向長時(shí)間保存存儲(chǔ)器移動(dòng)的圖像(步驟121)。然后，存儲(chǔ)器信息控制 部101判定是否有向長時(shí)間保存存儲(chǔ)器移動(dòng)的圖像(步驟122)。若有應(yīng)該移 動(dòng)的圖像(步驟122的Yes)，管理信息編碼部105就把表示如何向長時(shí)間保 存存儲(chǔ)器移動(dòng)的指令作為存儲(chǔ)器管理信息進(jìn)行編碼(步驟123)。然后，按照 該指令把圖像向長時(shí)間保存存儲(chǔ)器中移動(dòng)(步驟124)。
接著，存儲(chǔ)器信息控制部101判定是否將編碼信號(hào)向長時(shí)間保存存儲(chǔ)器 移動(dòng)的指令，作為存儲(chǔ)器管理信息進(jìn)行了編碼(步驟125)，所述編碼信號(hào)是 附隨著緊前面已編碼的圖像(編碼對(duì)象之前的圖像)的信號(hào)。若沒進(jìn)行編碼 (步驟125的No)，就結(jié)束處理；若已編碼(步驟125的Yes)，則管理信息 編碼部105就將向該長時(shí)間保存存儲(chǔ)器移動(dòng)的指令作為存儲(chǔ)器管理信息，再 次進(jìn)行編碼(步驟126),之后結(jié)束處理。
如上，若在緊前面的圖像的編碼中向長時(shí)間保存存儲(chǔ)器移動(dòng)(存儲(chǔ)器管 理信息的)的指令被編碼，則編碼存儲(chǔ)器管理信息的指令再次被編碼。分別 由圖像編碼裝置輸出附隨著緊前面的圖像的編碼而被編碼了的存儲(chǔ)器管理信 息和已再次被編碼的存儲(chǔ)器管理信息，并傳輸?shù)綀D像譯碼裝置中進(jìn)行譯碼。
再有，在步驟125中，在附隨著緊前面已編碼的圖像的編碼信號(hào)，向長 時(shí)間保存存儲(chǔ)器移動(dòng)的指令已被編碼的情況下，再次對(duì)指令進(jìn)行編碼，但也 可以不是附隨著緊前面的圖像的情況，而是附隨幾個(gè)圖像之前的圖像的情況， 并且，將上述指令作為存儲(chǔ)器管理信息反復(fù)進(jìn)行編碼，可以附隨著多個(gè)圖像。
此外，只要能多次傳輸向上述長時(shí)間保存存儲(chǔ)器移動(dòng)的指令作為存儲(chǔ)器 管理信息就好，無需在再次對(duì)該指令進(jìn)行編碼并傳輸時(shí)，必須使之附隨著圖 像的編碼信號(hào)進(jìn)行傳輸。
此外，在重發(fā)存儲(chǔ)器管理信息的指令的情況下，其重發(fā)的指令也可以不 是在與已編碼的圖像相同的流中，而是例如作為另外的流進(jìn)行傳輸，也可以 記錄在存儲(chǔ)媒體的另外的區(qū)域中。
如上所述，由于可認(rèn)為通過多次傳輸向長時(shí)間保存存儲(chǔ)器移動(dòng)的指令， 即使在產(chǎn)生了傳輸線路錯(cuò)誤的情況下，多次傳輸?shù)闹噶钪械哪骋粋€(gè)仍被傳輸 并被譯碼，因此，能正確地復(fù)原圖像的可能性提高。 (實(shí)施方式4)下面，對(duì)實(shí)施方式4的圖像譯碼方法進(jìn)行說明。
在圖像編碼裝置多次傳輸了向長時(shí)間保存存儲(chǔ)器移動(dòng)的指令的情況下， 指令不因傳輸線路錯(cuò)誤而消失，圖像譯碼裝置則多次接收將短時(shí)間保存存儲(chǔ) 器內(nèi)的相同圖像區(qū)域向長時(shí)間保存存儲(chǔ)器移動(dòng)的指令。因此，必須實(shí)現(xiàn)這樣 的圖像譯碼方法，即，即使在圖像譯碼裝置接收到再次移動(dòng)已移動(dòng)的圖像的 指令的情況下，也不作為錯(cuò)誤進(jìn)行處理，而相反地判斷為能正確地接收。本 實(shí)施方式中的圖像譯碼方法的特征在于實(shí)現(xiàn)這樣的圖像譯碼方法。
圖10是示出實(shí)施方式4中的圖像譯碼方法的流程圖，示出圖7中示出 的圖像譯碼裝置200的動(dòng)作。在圖10中，在與圖3 (b)動(dòng)作相同的部分上 標(biāo)記相同的標(biāo)記。
圖10中，首先，管理信息譯碼部205譯碼存儲(chǔ)器管理信息(步驟130)。 然后，根據(jù)編碼信號(hào)對(duì)圖像信號(hào)進(jìn)行譯碼(步驟131)。
然后，存儲(chǔ)器信息控制部201判定在已譯碼的存儲(chǔ)器管理信息中是否有 向長時(shí)間保存存儲(chǔ)器移動(dòng)圖像的指令(步驟132)。若有向長時(shí)間保存存儲(chǔ)器 移動(dòng)的指令(步驟132的Yes)，則判定是否有應(yīng)該按該指令移動(dòng)的圖像，或 是否已經(jīng)移動(dòng)完(因?yàn)樵谝苿?dòng)之后消除完而不存在圖像)(步驟133)，若向 長時(shí)間保存存儲(chǔ)器移動(dòng)完(步驟133的Yes)，就不做任何處理而結(jié)束，若不 是這樣，就向長時(shí)間保存存儲(chǔ)器移動(dòng)(步驟134)后結(jié)束處理。
另一方面，在沒有向長時(shí)間保存存儲(chǔ)器移動(dòng)的指令的情況下(步驟132 的No)，就不進(jìn)行步驟133和步驟134的動(dòng)作而結(jié)束處理。再有，步驟130 和步驟131的順序不同，也可以交換所述兩步驟的順序。
根據(jù)如上所述的動(dòng)作，即使用實(shí)施方式3的圖像編碼方法多次編碼并傳 輸向長時(shí)間保存存儲(chǔ)器移動(dòng)圖像的指令，也能夠?qū)崿F(xiàn)能正確地譯碼的圖像譯 碼方法。
再有，只要將向上述長時(shí)間保存存儲(chǔ)器移動(dòng)的指令作為存儲(chǔ)器管理信息 進(jìn)行多次傳輸就好，無需必須在再次編碼該指令進(jìn)行傳輸時(shí)，必須使之附隨 著圖像的編碼信號(hào)進(jìn)行傳輸。
此外，在重發(fā)存儲(chǔ)器管理信息的指令的情況下，其重發(fā)的指令也可以不 是在與已編碼的圖像相同的流中，而是例如作為另外的流進(jìn)行傳輸，也可以 記錄在存儲(chǔ)媒體的另外的區(qū)域中。 (實(shí)施方式5)下面，對(duì)本實(shí)施方式中的圖像編碼方法進(jìn)行說明。圖11是示出實(shí)施方式
5中的圖像編碼方法的流程圖，示出圖5中示出的圖像編碼裝置100的動(dòng)作。 在圖11中，在與圖6動(dòng)作相同的部分上標(biāo)注相同的標(biāo)記。
圖11中示出的本實(shí)施方式的特征在于，在存儲(chǔ)器內(nèi)存在不需要的圖像的 情況下，反復(fù)對(duì)消除該圖像的存儲(chǔ)器管理信息的指令進(jìn)行編碼，至少一次附 隨著保存在存儲(chǔ)器中的重要圖像進(jìn)行傳輸。在反復(fù)編碼存儲(chǔ)器管理信息的指 令的情況下，即使在附隨著重要度不高的圖像傳輸了存儲(chǔ)器管理信息的指令， 在譯碼重要度不高的圖像沒有全部被譯碼時(shí)，就不能取得存儲(chǔ)器管理信息的 指令。
例如，在圖l (a)中，由于圖像編號(hào)4的圖像在將圖像編號(hào)5的圖像進(jìn) 行編碼之后就成為不需要，因此，能夠附隨著圖像編號(hào)5的圖像，對(duì)釋放圖 像編號(hào)4的圖像的某個(gè)存儲(chǔ)器區(qū)域的指令進(jìn)行編碼。
但是，在除了附隨著圖像編號(hào)5的圖像，將釋放該圖像編號(hào)4的圖像所 在的存儲(chǔ)器區(qū)域的指令進(jìn)行編碼之外，附隨著圖像編號(hào)7的圖像進(jìn)行編碼時(shí)， 附隨著重要度最低(在不譯碼的情況下畫質(zhì)劣化少)的B圖像，上述指令被 編碼。有時(shí)這些B圖像不被譯碼，釋放圖像編號(hào)4的圖像所在的存儲(chǔ)器區(qū)域 的指令不被譯碼，就不能正確地再現(xiàn)存儲(chǔ)器內(nèi)的管理信息。因此，必須要至 少一次附隨著重要度高的、必須譯碼的、保存在存儲(chǔ)器中的圖像，來對(duì)釋放 圖像區(qū)域的指令進(jìn)行編碼。
圖11中，首先，對(duì)輸入圖像進(jìn)行編碼(步驟100)。編碼之后在存儲(chǔ)器 內(nèi)檢查不需要的區(qū)域(在以后的編碼中不參照的圖像)(步驟101)，判定是 否有不需要的存儲(chǔ)器區(qū)域(步驟102)。若有不需要的存儲(chǔ)器區(qū)域(步驟102 的Yes)，管理信息編碼部105就將釋放不需要的存儲(chǔ)器區(qū)域的指令進(jìn)行編碼， 作為存儲(chǔ)器管理信息(步驟103)。然后，釋放該不需要的存儲(chǔ)器區(qū)域(步驟 104)。在沒有不需要的存儲(chǔ)器區(qū)域的情況下(步驟102的No)，不進(jìn)行步驟 103和步驟104的動(dòng)作。
接著，存儲(chǔ)器信息控制部101判定是否附隨著重要圖像(保存在譯碼的 存儲(chǔ)器中)，過去己被編碼的、釋放不需要的存儲(chǔ)器區(qū)域的指令被編碼(步驟 140)，若附隨著重要圖像進(jìn)行了編碼(步驟140的Yes)，就結(jié)束處理，若 沒附隨著重要圖像進(jìn)行了編碼(步驟140的No)，管理信息編碼部105就再 次將釋放該不需要的存儲(chǔ)器區(qū)域的指令作為存儲(chǔ)器管理信息進(jìn)行編碼(步驟141)，之后結(jié)束處理。
這樣，釋放不需要的存儲(chǔ)器區(qū)域的指令附隨著重要圖像被編碼。 如上所述，由于上述指令附隨譯碼后保存在存儲(chǔ)器中的重要圖像，因此，
就譯碼上述指令被譯碼，在產(chǎn)生了傳輸線路錯(cuò)誤時(shí)能正確地復(fù)原圖像的可能
性提高。
再有，只要能將釋放上述不需要的存儲(chǔ)器區(qū)域的指令作為存儲(chǔ)器管理信 息多次傳輸就可以，在再次編碼該指令并進(jìn)行傳輸時(shí)，無需必須使之附隨圖 像的編碼信號(hào)進(jìn)行傳輸。
此外，在重發(fā)存儲(chǔ)器管理信息的指令的情況下，其重發(fā)的指令也可以不 是在與己被編碼的圖像相同的流中，而是例如作為另外的流進(jìn)行傳輸，也可 以記錄在存儲(chǔ)媒體的另外的區(qū)域中。 (實(shí)施方式6)
下面，對(duì)本實(shí)施方式的圖像編碼方法進(jìn)行說明。圖12是示出實(shí)施方式6 中的圖像編碼方法的流程圖。圖12示出圖5中示出的圖像編碼裝置100的動(dòng) 作。在圖12中，與圖9動(dòng)作相同的部分標(biāo)注相同的標(biāo)記。
圖12中示出的本實(shí)施方式的特征在于，反復(fù)對(duì)向長時(shí)間保存存儲(chǔ)器移 動(dòng)圖像的存儲(chǔ)器管理信息的指令進(jìn)行編碼，至少一次附隨著重要圖像(譯碼 后保存在存儲(chǔ)器中)進(jìn)行傳輸。在反復(fù)對(duì)向長時(shí)間保存存儲(chǔ)器移動(dòng)圖像的存 儲(chǔ)器管理信息的指令進(jìn)行編碼的情況下，即使附隨著重要度不高的圖像傳輸 了存儲(chǔ)器管理信息的指令，在重要度不高的圖像沒有全部被譯碼的情況下， 就不能取得存儲(chǔ)器管理信息的指令。
圖12中，首先，對(duì)輸入圖像進(jìn)行編碼(步驟120)。編碼之后檢查是否 有應(yīng)該向長時(shí)間保存存儲(chǔ)器移動(dòng)的圖像(步驟121)，判定是否有應(yīng)該移動(dòng)的 圖像(步驟122)。
若有應(yīng)該移動(dòng)的圖像(步驟122的Yes)，管理信息編碼部105就把表示 如何向長時(shí)間保存存儲(chǔ)器移動(dòng)的指令作為存儲(chǔ)器管理信息已被編碼(步驟 123)，并將照該指令將圖像移動(dòng)到長時(shí)間保存存儲(chǔ)器中(步驟124)。
接著，存儲(chǔ)器信息控制部101判定過去已編碼的向長時(shí)間保存存儲(chǔ)器移 動(dòng)的指令，是否附隨著重要圖像(保存在譯碼的存儲(chǔ)器中)進(jìn)行編碼(步驟 150)，若附隨著重要圖像(步驟150的Yes)，就結(jié)束處理，若沒附隨著重 要圖像(步驟150的No),管理信息編碼部105就再次將該向長時(shí)間保存存儲(chǔ)器移動(dòng)的指令作為存儲(chǔ)器管理信息進(jìn)行編碼(步驟151)，之后結(jié)束處理。
這樣，向長時(shí)間保存存儲(chǔ)器移動(dòng)圖像的指令附隨著重要圖像被編碼。 如上所述，由于上述指令附隨著譯碼后保存在存儲(chǔ)器中的重要圖像，因
此，就上述指令被譯碼，在產(chǎn)生了傳輸線路錯(cuò)誤時(shí)能正確地復(fù)原圖像的可能
性提高。
再有，只要多次傳輸向上述長時(shí)間保存存儲(chǔ)器移動(dòng)的指令作為存儲(chǔ)器管 理信息進(jìn)行傳輸就可以，在再次編碼該指令進(jìn)行傳輸時(shí)，無需必須使之附隨 著圖像的編碼信號(hào)進(jìn)行傳輸。
此外，在重發(fā)存儲(chǔ)器管理信息的指令的情況下，其重發(fā)的指令也可以不 是在與已編碼的圖像相同的流中，而是例如作為另外的流進(jìn)行傳輸，也可以 記錄在存儲(chǔ)媒體的另外的區(qū)域中。
(實(shí)施方式7) 對(duì)實(shí)施方式7中的圖像編碼方法進(jìn)行說明。
本實(shí)施方式的特征在于，是參照根據(jù)圖像的重要度選擇的參照?qǐng)D像來進(jìn) 行編碼的圖像編碼方法。
圖13是示出本發(fā)明的實(shí)施方式7中的圖像編碼方法的流程圖。圖13示 出圖5中示出的圖像編碼裝置100進(jìn)行的動(dòng)作。
圖13中，首先，設(shè)定編碼對(duì)象的各圖像的重要度(步驟160)。例如，I 圖像和P圖像的重要度高，B圖像的重要度低。此外，即使是相同的P圖像， 被許多圖像參照的P圖像的重要度高，不太被參照的P圖像的重要度低。
接著，從存儲(chǔ)器內(nèi)的參照?qǐng)D像選擇重要度與編碼對(duì)象圖像同等以上的圖 像，設(shè)為參照?qǐng)D像的候補(bǔ)(步驟161)。例如，B圖像能參照I圖像和P圖像， 但P圖像中重要度低的P圖像不在參照?qǐng)D像的候補(bǔ)之內(nèi)。
接著，對(duì)示出選擇的參照?qǐng)D像的候補(bǔ)的指示信息(存儲(chǔ)器管理信息的一 種)進(jìn)行編碼(步驟162)，從選擇的參照?qǐng)D像的候補(bǔ)中按塊單位參照適當(dāng)?shù)?參照?qǐng)D像進(jìn)行編碼(步驟163)。再有，步驟162和步驟163的順序不同，也 可以互換所述兩步驟的順序。
象這樣地，使在參照?qǐng)D像的候補(bǔ)中不加入重要度比編碼對(duì)象圖像的重要 度低的圖像。
如上所述地，由于在參照?qǐng)D像的候補(bǔ)中不加入重要度比編碼對(duì)象圖像的 重要度低的圖像，因此，在生成了能實(shí)現(xiàn)可變性(scalability)的流的情況下，能將不能參照的圖像從參照?qǐng)D像的候補(bǔ)中除去，編碼效率提高。
在此，對(duì)根據(jù)如上所述地設(shè)定的圖像的重要度進(jìn)行的圖像編碼方法，用
圖14進(jìn)行具體地說明。
圖14 (a)是表示賦予各幀的編號(hào)(圖像(幀)編號(hào))、各幀保存在存儲(chǔ) 器中時(shí)的編號(hào)(保存圖像(幀)編號(hào))、表示各幀被傳輸?shù)男蛱?hào)的編號(hào)(傳輸 順序)的關(guān)系的說明圖。
在圖14 (a)中，圖像編號(hào)0的I圖像因?yàn)椴粎⒄掌渌膱D像而保存在 存儲(chǔ)器中，因此保存圖像編號(hào)為0。接著，由于參照?qǐng)D像編號(hào)O的I圖像的圖 像編號(hào)2的P圖像保存在存儲(chǔ)器中，因此與圖像編號(hào)2的P圖像有關(guān)的保存 圖像編號(hào)為l。然后，由于參照?qǐng)D像編號(hào)O的I圖像和圖像編號(hào)2的P圖像 的圖像編號(hào)1的B圖像保存在存儲(chǔ)器內(nèi)，因此圖像編號(hào)1的B圖像的保存圖 像編號(hào)為2。傳輸各圖像的序號(hào)為保存在存儲(chǔ)器中的序號(hào)。按同樣的順序決 定圖像編號(hào)與保存圖像編號(hào)及傳輸順序的關(guān)系。
下面，對(duì)進(jìn)行譯碼(decode)的圖像編號(hào)、保存在存儲(chǔ)器中的圖像編號(hào)、 和被刪除的圖像編號(hào)的關(guān)系的一例，用圖14 (b)進(jìn)行說明。
圖14(b)是示出進(jìn)行譯碼的圖像編號(hào)(幀編號(hào))、保存著的圖像編號(hào)(幀 編號(hào))、和被刪除的圖像編號(hào)(幀編號(hào))的關(guān)系的關(guān)系圖。再有，在此，設(shè)能 保存在存儲(chǔ)器中的圖像的最大幅數(shù)為5。在存儲(chǔ)器中按傳輸順序保存圖像。
此外，例如，在圖像編號(hào)為4的P圖像被譯碼時(shí)，由于圖像編號(hào)為4的 P圖像的保存圖像編號(hào)是3，因此，就在存儲(chǔ)器上保存保存圖像編號(hào)為0、 1、 2的圖像。在進(jìn)行譯碼的圖像編號(hào)為3的B圖像被譯碼時(shí)，如圖14 (b)所 示，保存著圖像編號(hào)為4、 1、 2、 0的圖像。在此，如圖14 (a)所示，由于 在譯碼了圖像編號(hào)3的圖像之后，圖像編號(hào)1的B圖像不再被任何圖像參照， 因此，圖像編號(hào)為3的圖像在被譯碼的時(shí)候，刪除圖像編號(hào)1的B圖像。
同樣地，在進(jìn)行譯碼的圖像編號(hào)為5的B圖像被譯碼時(shí)，如圖14 (b) 所示，保存著圖像編號(hào)為6、 3、 4、 2、 0的圖像。在此，由于在譯碼了圖像 編號(hào)5的圖像之后，圖像編號(hào)3的B圖像不再被任何圖像參照，因此，在圖 像編號(hào)為5的B圖像被譯碼了的時(shí)刻，刪除圖像編號(hào)3的B圖像。
另外，在進(jìn)行譯碼的圖像編號(hào)為8的P圖像被譯碼時(shí)，如圖14 (b)所 示，保存著圖像編號(hào)為5、 6、 4、 2、 0的圖像。在此，由于在存儲(chǔ)器中最大 僅能保存5幀，因此，為了在后面參照?qǐng)D像編號(hào)8的P圖像，就必須確保刪除圖像編號(hào)為5、 6、 4、 2、 0的某一個(gè)圖像并存儲(chǔ)圖像編號(hào)8的P圖像的存 儲(chǔ)器。因而，作為在圖14 (b)中刪除幀的選擇基準(zhǔn)，在將圖像編號(hào)8的P 圖像進(jìn)行譯碼的時(shí)刻，刪除在P圖像的譯碼、即在偶數(shù)號(hào)圖像編號(hào)的譯碼中 時(shí)間上最老的圖像，即該情況下是圖像編號(hào)為0的I圖像。
同樣地，在進(jìn)行譯碼的圖像編號(hào)為7的B圖像被譯碼時(shí)，如圖14 (b) 所示，保存著圖像編號(hào)為8、 5、 6、 4、 2的圖像。在此，由于在譯碼了圖像 編號(hào)7的B圖像之后，圖像編號(hào)5的B圖像不再被任何圖像所參照，因此， 在譯碼了圖像編號(hào)為7的B圖像的時(shí)刻，刪除圖像編號(hào)5的B圖像。
另外，在進(jìn)行譯碼的圖像編號(hào)為10的P圖像被譯碼時(shí)，如圖14 (b)所 示，保存著圖像編號(hào)為7、 8、 6、 4、 2的圖像。在此，由于在存儲(chǔ)器中最大 僅能保存5幀，因此，為了在后面參照?qǐng)D像編號(hào)10的P圖像，就必須確保刪 除圖像編號(hào)為7、 8、 6、 4、 2的某一個(gè)圖像并存儲(chǔ)圖像編號(hào)10的圖像的存儲(chǔ) 器。因而，作為在圖14 (b)中刪除幀的選擇基準(zhǔn)，在譯碼了圖像編號(hào)10的 P圖像的時(shí)刻，刪除在P圖像的譯碼、即在偶數(shù)號(hào)圖像編號(hào)的圖像的譯碼中 時(shí)間上最舊的圖像編號(hào)為2的圖像。
象這樣地，在刪除圖像時(shí)，用于刪除圖像的存儲(chǔ)器管理信息的指令被編 碼后，附隨著將被譯碼的圖像的編碼信號(hào)，進(jìn)行傳輸。
在上述圖14 (b)示出的例子中，對(duì)在存儲(chǔ)器內(nèi)存在不需要的圖像(圖 像)，發(fā)送一次消除該圖像的存儲(chǔ)器管理信息指令的例子進(jìn)行了敘述。如上， 若將消除的存儲(chǔ)器管理信息指令僅發(fā)送一次，則有不能執(zhí)行附隨著B圖像發(fā) 送的存儲(chǔ)器管理信息的指令的可能性。這是因?yàn)?，由于B圖像作為在P圖像 的編碼和譯碼中參照的圖像來使用的可能性低，因此，在不能確保充足的存 儲(chǔ)容量和傳輸容量的情況下，優(yōu)先廢棄B圖像的數(shù)據(jù)的可能性高，其結(jié)果， 就有不能執(zhí)行附隨著B圖像發(fā)送的存儲(chǔ)器管理信息的指令的可能性。
為了解決該問題，說明將消除圖像的存儲(chǔ)器管理信息的指令反復(fù)進(jìn)行編 碼并傳輸?shù)睦?。以下，?duì)圖14 (c)具體地進(jìn)行說明。
圖14(c)是示出進(jìn)行譯碼的圖像編號(hào)(幀編號(hào))、保存著的圖像編號(hào)(幀 編號(hào))、和被刪除的圖像編號(hào)(幀編號(hào))的其他關(guān)系的關(guān)系圖。在圖14 (c) 中，示出將被刪除的圖像編號(hào)的圖像進(jìn)行刪除的指令附隨著進(jìn)行譯碼的圖像 編號(hào)圖像的編碼信號(hào)的情況。
如圖14 (c)所示，在圖像編號(hào)為3的B圖像被譯碼時(shí)，保存著圖像號(hào)為4、 1、 2、 0的圖像。在此，圖像編號(hào)1的B圖像如圖14 (a)所示，在 譯碼了圖像編號(hào)3的圖像之后，不再被任何圖像所參照。因此，在譯碼了圖 像編號(hào)為3的圖像的時(shí)刻，刪除圖像編號(hào)1的B圖像，用于刪除的存儲(chǔ)器管 理信息的指令附隨著圖像編號(hào)3的圖像。
但是，由于圖像編號(hào)3的圖像是B圖像，因此，與I圖像和P圖像相比， 在圖像再現(xiàn)的這一點(diǎn)上，其重要度如上所述那樣低，由于發(fā)送時(shí)數(shù)據(jù)易被廢 棄，因此有不能執(zhí)行指令的可能性(如圖25所示的保存幀的情況)，該指令 為附隨著圖像編號(hào)3的B圖像發(fā)送的存儲(chǔ)器管理信息的指令。
因此，使表示刪除附隨著圖像編號(hào)3的圖像編號(hào)1的圖像的存儲(chǔ)器管理 信息的指令，附隨著接著進(jìn)行譯碼的、在圖像的再現(xiàn)這點(diǎn)上比圖像編號(hào)3的 B圖像其重要度高的圖像編號(hào)6的P圖像(參照?qǐng)D14 (c))。
同樣地，使附隨著圖像編號(hào)5的B圖像的存儲(chǔ)器管理信息的指令(示出 刪除圖像編號(hào)3的圖像)附隨著圖像編號(hào)8的P圖像；使附隨著圖像編號(hào)7 的B圖像的存儲(chǔ)器管理信息的指令(示出刪除圖像編號(hào)5的圖像)附隨著圖 像編號(hào)10的P圖像。再有，由于圖像編號(hào)8的圖像是P圖像，因此，如圖 14 (c)所示，不使附隨著圖像編號(hào)8的圖像的存儲(chǔ)器管理信息的指令附隨著 圖像編號(hào)7的B圖像，但也可以附隨。
以上，如圖14 (c)所示，使與最初附隨著B圖像的存儲(chǔ)器管理信息的 指令相同的存儲(chǔ)器管理信息的指令，反復(fù)附隨著比最初使存儲(chǔ)器管理信息的 指令附隨的B圖像晚保存或傳輸?shù)膱D像，且該被反復(fù)附隨的圖像是在圖像再 現(xiàn)中重要度比B圖像高的圖像。這樣，即使遺漏了最初附隨著存儲(chǔ)器管理信 息的指令的B圖像，也能正常地執(zhí)行存儲(chǔ)器管理信息的指令。
再有，如用圖14 (c)說明的，即使在使存儲(chǔ)器管理信息的指令附隨著 B圖像，進(jìn)一步反復(fù)使存儲(chǔ)器管理信息的指令附隨著P圖像的情況下，也使 用已設(shè)定的重要度。再有，重要度的設(shè)定不限于本實(shí)施方式示出的方式。
再有，在本實(shí)施方式中，并非根據(jù)各圖像的重要度來決定是否發(fā)送各圖 像，而且不能將各圖像的重要度象上述實(shí)施方式中示出的存儲(chǔ)器管理信息那 樣附隨著各圖像來進(jìn)行編碼。因此，本實(shí)施方式中已編碼的數(shù)據(jù)的譯碼處理 與現(xiàn)有的方法相同。 (實(shí)施方式8)
下面，對(duì)實(shí)施方式8進(jìn)行說明。本實(shí)施方式的特征在于，刪除存儲(chǔ)器內(nèi)的全部圖像(圖像)，將進(jìn)行存 儲(chǔ)器區(qū)域的初始化的(存儲(chǔ)器管理信息的)指令多次進(jìn)行編碼并傳輸。
在上述各實(shí)施方式中示出的存儲(chǔ)器管理信息，被作為如圖15中示出的 代碼信息而被賦予。
圖15是示出存儲(chǔ)器管理信息的指令的對(duì)應(yīng)圖，示出代碼編號(hào)(Code)、 指令的內(nèi)容(指令)、其附加信息(附加信息)。
例如，釋放短時(shí)間保存存儲(chǔ)器中不需要的存儲(chǔ)器區(qū)域的指令(釋放短時(shí) 間保存存儲(chǔ)器)作為代碼信息Codel而被賦予，進(jìn)行釋放的圖像編號(hào)(幀編 號(hào))作為附加信息而被附加。
此外，代碼信息作為圖17中示出的各幀的標(biāo)題信息而被賦予。
圖17是示出各圖像的編碼信號(hào)中的標(biāo)題信息與幀數(shù)據(jù)的關(guān)系的模式圖。 在圖17中，各編碼信號(hào)示出了后述的幀F(xiàn)rm12、 Frmll、 Frml4的編碼信號(hào)。
各編碼信號(hào)包括具有標(biāo)題信息的幀標(biāo)題和與圖像的編碼有關(guān)的幀數(shù)據(jù)。例如， 幀F(xiàn)rml2的編碼信號(hào)包括幀標(biāo)題Frml2Hdr和由各數(shù)據(jù)MB12a、 MB12b、 MB12c、 MB12d構(gòu)成的幀數(shù)據(jù)。
圖18的模式圖中示出該編碼信號(hào)的詳細(xì)情況。
圖18是示出編碼信號(hào)的標(biāo)題信息中的存儲(chǔ)器管理信息的指令的模式圖。
如圖18所示，幀F(xiàn)rmA的編碼信號(hào)包括具有標(biāo)題信息的幀標(biāo)題FrmAHdr 和由各數(shù)據(jù)MBa、MBb、MBc、MBd等構(gòu)成的幀數(shù)據(jù)。然后，在幀標(biāo)題FrmAHdr 上附加指令的代碼信息CodeA，之后附加代碼信息CodeA的附加信息AddA， 接著，附加應(yīng)在代碼信息CodeA的指令之后執(zhí)行的指令的代碼信息CodeB 和代碼信息CodeB的附加信息AddB。若沒有附加信息，就如代碼信息CodeC 僅附加代碼信息。
下面，在圖16中示出指令執(zhí)行的順序。
圖16是示出指令執(zhí)行順序的流程圖。
在圖16中，首先，取得指令(步驟C0)，判定指令的取得是否已結(jié)束(步 驟C1)。若指令的取得還沒有結(jié)束而取得指令(步驟C1的No)，則執(zhí)行所取 得的指令(步驟C2)，返回到步驟C0，反復(fù)進(jìn)行該動(dòng)作。另一方面，若指令 的取得結(jié)束而未取得指令(步驟Cl的Yes)，則結(jié)束指令執(zhí)行處理。對(duì)每一 個(gè)幀進(jìn)行一次該過程。再有，即使在按由多個(gè)宏塊構(gòu)成的片單位發(fā)送指令信 息的情況下，也按上述順序執(zhí)行指令。下面，對(duì)在上述實(shí)施方式l中消除不需要的圖像(釋放存儲(chǔ)器)的存儲(chǔ) 器管理信息的指令進(jìn)行說明。另外，在實(shí)施方式l中，通過反復(fù)對(duì)消除不需 要的圖像的存儲(chǔ)器管理信息的指令進(jìn)行編碼，即使因傳輸線路錯(cuò)誤而其中部 分存儲(chǔ)器管理信息的指令消失，也能根據(jù)另一些存儲(chǔ)器管理信息的指令復(fù)原 保存在存儲(chǔ)器內(nèi)的圖像的管理信息，能正確地復(fù)原圖像的可能性提高。
在此，關(guān)于圖15中示出的代碼信息中的、消除存儲(chǔ)器內(nèi)的全部信息的
初始化指令Code5進(jìn)行討論。
在僅發(fā)送一次初始化指令Code5時(shí)，若因傳輸線路錯(cuò)誤而該初始化指令 Code5消失，就對(duì)本來已初始化之后進(jìn)行的存儲(chǔ)器管理等的處理產(chǎn)生影響。 在此，用圖19，對(duì)與實(shí)施方式1同樣反復(fù)編碼初始化指令Code5后傳輸?shù)那?況進(jìn)行說明。
圖19是關(guān)系說明圖，示出賦予各幀的編號(hào)(圖像(幀)編號(hào))、在存儲(chǔ) 器內(nèi)保存各幀時(shí)的編號(hào)(保存圖像(幀)編號(hào))、示出傳輸各幀的序號(hào)的編號(hào) (傳輸順序)的關(guān)系。
以下，對(duì)圖19具體地進(jìn)行說明。首先，圖像編號(hào)O的I圖像由于不參照 其他圖像，因此保存在存儲(chǔ)器中，其保存圖像編號(hào)為0。接著，由于在存儲(chǔ) 器中保存參照?qǐng)D像編號(hào)0的I圖像的圖像編號(hào)2的P圖像，因此與圖像編號(hào) 2的P圖像有關(guān)的保存圖像編號(hào)成為1。然后，由于在存儲(chǔ)器中保存參照?qǐng)D像 編號(hào)0的I圖像和圖像編號(hào)2的P圖像的圖像編號(hào)1的B圖像，因此圖像編 號(hào)1的B圖像的保存圖像編號(hào)成為2。傳輸各圖像的序號(hào)設(shè)為保存在存儲(chǔ)器 中的序號(hào)。按同樣的順序決定圖像編號(hào)和保存圖像編號(hào)及傳輸順序的關(guān)系。
設(shè)定在對(duì)圖19中示出的圖像編號(hào)12的I圖像進(jìn)行編碼時(shí)發(fā)送圖15中示 出的初始化指令Code5。由于圖像編號(hào)12的I圖像的保存圖像編號(hào)是11，因 此，能利用該初始化指令Code5，從存儲(chǔ)器內(nèi)全部消除保存圖像編號(hào)為10以 下的圖像。
在此，用圖20對(duì)編碼初始化指令Code5的方法進(jìn)行說明。 圖20是示出編碼初始化指令Code5的方法的流程圖，示出圖5中示出 的圖像編碼裝置100進(jìn)行的動(dòng)作。
首先，對(duì)輸入圖像迸行編碼(步驟A0)。編碼之后檢查存儲(chǔ)器內(nèi)可參照 的全部圖像是否不需要(是否在以后的編碼中不被任何圖像所參照)(初始化 檢査)(步驟A1)，并判定在存儲(chǔ)器中存儲(chǔ)著的圖像是否在以后未被參照而進(jìn)行初始化好一些(步驟A2)。
若進(jìn)行初始化好(步驟A2的Yes)，則將初始化存儲(chǔ)器區(qū)域的初始化指 令Code5作為存儲(chǔ)器管理信息，進(jìn)行編碼(步驟A3)，并進(jìn)行初始化(步驟 A4)，結(jié)束處理。另一方面，在沒有進(jìn)行初始化的必要的情況下(步驟A2的 No)，就不進(jìn)行步驟A3和步驟A4的動(dòng)作而結(jié)束處理。
下面，用圖21，對(duì)將已編碼的初始化指令Code5進(jìn)行譯碼的方法進(jìn)行說明。
圖21是示出對(duì)已編碼的初始化指令Code5進(jìn)行譯碼的方法的流程圖， 示出圖7中示出的圖像編碼裝置200進(jìn)行的動(dòng)作。
首先，將存儲(chǔ)器管理信息進(jìn)行譯碼(步驟AIO)，根據(jù)編碼信號(hào)對(duì)圖像信 號(hào)進(jìn)行譯碼(步驟All)。接著，判定在譯碼后的存儲(chǔ)器管理信息中是否有初 始化指令Code5 (步驟A12)，若有初始化指令Code5 (步驟A12的Yes)， 則將存儲(chǔ)器內(nèi)存儲(chǔ)著的圖像全部消除，并進(jìn)行初始化(步驟A13)，結(jié)束處理。 但是，這時(shí)不消除已譯碼的圖像(步驟A11中)。
另一方面，若在存儲(chǔ)器管理信息中沒有初始化指令Code5 (步驟A12的 No)，就結(jié)束處理。
以下，用圖19具體說明進(jìn)行存儲(chǔ)器的初始化的方法。設(shè)對(duì)圖19中示出 的圖像編號(hào)11的B圖像賦予與對(duì)圖像編號(hào)12的I圖像賦予的初始化指令 Code5相同的初始化指令Code5。
若如在圖17所示，則為在幀F(xiàn)rm12 (圖像編號(hào)12)的幀標(biāo)題Frml2Hdr 和幀F(xiàn)rmll (圖像編號(hào)ll)的幀標(biāo)題FrmllHdr上賦予初始化指令Code5。 由于初始化指令Code5如圖15所示，不具有附加信息，因此，就在被譯碼 了的時(shí)刻全部消除存儲(chǔ)器內(nèi)保存著的圖像。
因此，若賦予了圖像編號(hào)12 (保存圖像編號(hào)11)的I圖像的初始化指令 Code5因傳輸線路錯(cuò)誤而消失，并執(zhí)行賦予了圖像編號(hào)ll(保存圖像編號(hào)12) 的B圖像的初始化指令Code5，則在保存圖像編號(hào)11之前譯碼了的圖像中， 存儲(chǔ)器中保存著的圖像全部被消除。即，本來不應(yīng)消除的圖像編號(hào)12 (保存 圖像編號(hào)ll)的I圖像也被消除。
如上，在對(duì)圖像編號(hào)ll的B圖像賦予了與對(duì)圖像編號(hào)12的I圖像賦予 了的初始化指令Code5相同的初始化指令Code5時(shí)，就遺漏一幅圖像(圖像 編號(hào)12的I圖像)。另一方面，若對(duì)圖像編號(hào)14 (保存圖像編號(hào)13)的P圖像賦予與對(duì)圖像編號(hào)12(保存圖像編號(hào)11 )的I圖像賦予的初始化指令Code5 相同的初始化指令Code5，并對(duì)圖像編號(hào)12的I圖像賦予的初始化指令Code5 因傳輸線路錯(cuò)誤而消失，且賦予圖像編號(hào)14的P圖像的初始化指令Code5 被執(zhí)行，則導(dǎo)致遺漏兩幅圖像(圖像編號(hào)11的B圖像和圖像編號(hào)12的I圖 像)。
再有，在反復(fù)編碼初始化指令Code5，并且最初發(fā)送的初始化指令Code5 和接著發(fā)送的初始化指令Code5都在沒有傳輸線路錯(cuò)誤地執(zhí)行的情況下，也 產(chǎn)生與上述相同的問題。這是因?yàn)椋鶕?jù)最初發(fā)送的初始化指令Code5進(jìn)行 初始化，又根據(jù)接著發(fā)送的初始化指令Code5再次進(jìn)行初始化。
對(duì)用于解決這樣的存儲(chǔ)器的初始化中存在的問題的方法進(jìn)行說明。 圖22中示出為了解決存儲(chǔ)器的初始化中存在的問題而使用的存儲(chǔ)器管 理信息的指令。
與圖15的不同點(diǎn)是在圖22中新附加了初始化重發(fā)指令Code6。此外， 該初始化重發(fā)指令Code6具有初始化圖像(幀)編號(hào)(附隨初始化存儲(chǔ)器區(qū) 域的初始化指令Code5的幀的編號(hào))作為附加信息。
以下，用圖23對(duì)使用了該初始化重發(fā)指令Code6的圖像編碼處理的流 程進(jìn)行說明。
圖23是示出使用了初始化重發(fā)指令Code6的圖像編碼方法的流程圖， 示出圖5中示出的圖像編碼裝置100進(jìn)行的動(dòng)作。在圖23中，在與圖20相 同的動(dòng)作上標(biāo)注相同的標(biāo)記。
首先，編碼輸入圖像(步驟A0)。編碼之后檢查存儲(chǔ)器內(nèi)可參照的全部 圖像是否不需要(是否在以后的編碼中哪個(gè)圖像也不被參照)(初始化檢查) (步驟A1)。存儲(chǔ)器信息控制部101判定是否需要初始化(步驟A2)，若需 要初始化(步驟A2的Yes)，管理信息編碼部105就將初始化存儲(chǔ)器區(qū)域的 初始化指令Code5作為存儲(chǔ)器管理信息進(jìn)行編碼(步驟A3)，并進(jìn)行初始化 (步驟A4)。在不需要初始化的情況下(步驟A2的No)，就不進(jìn)行步驟A3 和步驟A4的動(dòng)作。
接著，存儲(chǔ)器信息控制部101判定是否將附隨著緊前面已編碼的圖像(比 編碼對(duì)象早的圖像)的編碼信號(hào)進(jìn)行初始化存儲(chǔ)器區(qū)域的初始化指令Code5， 作為存儲(chǔ)器管理信息進(jìn)行了編碼(步驟A30)，若進(jìn)行了編碼(步驟A30的 Yes)，則管理信息編碼部105就將初始化該存儲(chǔ)器區(qū)域的初始化重發(fā)指令Code6作為存儲(chǔ)器管理信息進(jìn)行編碼(步驟A31)，之后結(jié)束處理。
此外，若沒有附隨著緊前面已編碼的圖像(比編碼對(duì)象早的圖像)的編 碼信號(hào)，將初始化存儲(chǔ)器區(qū)域的初始化指令Code5作為存儲(chǔ)器管理信息進(jìn)行 了編碼(步驟A30的No)，則結(jié)束處理。
再有，在圖23中示出的方法中，在附隨緊前面已編碼的圖像的編碼信 號(hào)，初始化存儲(chǔ)器區(qū)域的初始化指令Code5被編碼的情況下，就再次編碼初 始化重發(fā)指令Code6，但也可以在不是附隨著緊前面的已編碼的圖像的編碼， 而是附隨著幾個(gè)圖像以前已編碼的圖像的編碼，將初始化存儲(chǔ)器區(qū)域的初始 化指令Code5進(jìn)行編碼的情況下，再次編碼初始化重發(fā)指令Code6，此外， 也可以附隨著多個(gè)圖像，將初始化存儲(chǔ)器區(qū)域的初始化重發(fā)指令Code6作為 存儲(chǔ)器管理信息，反復(fù)進(jìn)行編碼。
具體地，如圖19所示，在附隨著圖像編號(hào)12的I圖像的編碼，將初始 化指令Code5進(jìn)行編碼的情況下，也可以附隨著圖像編號(hào)11的B圖像的編 碼，將初始化重發(fā)指令Code6進(jìn)行編碼，此外，也可以附隨著圖像編號(hào)14 的P圖像的編碼，將初始化重發(fā)指令Code6進(jìn)行編碼。
前者的情況若用圖17示出，就是在幀F(xiàn)rm12的幀標(biāo)題Frml2Hdr上賦予 初始化指令Code5，另外，在幀F(xiàn)rmll的幀標(biāo)題FrmllHdr上賦予初始化重 發(fā)指令Code6。此外，后者的情況，在幀F(xiàn)rml2的幀標(biāo)題Frml2Hdr上賦予 初始化指令Code5，在幀F(xiàn)rml4的幀標(biāo)題Frml4Hdr上賦予初始化重發(fā)指令 Code6。
另外，也可以在附隨著圖像編號(hào)11的B圖像的編碼對(duì)初始化重發(fā)指令 Code6進(jìn)行編碼的同時(shí)，附隨著圖像編號(hào)14的P圖像的編碼對(duì)初始化重發(fā)指 令Code6進(jìn)行編碼。該情況下，若用圖17示出，就是在幀F(xiàn)rni12的幀標(biāo)題 Frml2Hdr上賦予初始化指令Code5，在幀F(xiàn)rmll的幀標(biāo)題FrmllHdr和幀 Frml4的幀標(biāo)題Frml4Hdr上賦予初始化重發(fā)指令Code6。
下面，用圖24對(duì)將已編碼了上述初始化重發(fā)指令Code6的數(shù)據(jù)進(jìn)行譯 碼時(shí)的處理進(jìn)行說明。圖24是示出對(duì)已編碼的初始化重發(fā)指令Code6進(jìn)行 譯碼的方法的流程圖，示出圖7中示出的圖像譯碼裝置200的動(dòng)作。在圖24 中，在與圖21動(dòng)作相同的部分標(biāo)注相同的標(biāo)記。
首先，管理信息譯碼部205對(duì)存儲(chǔ)器管理信息進(jìn)行譯碼(步驟A10)。 然后，根據(jù)編碼信號(hào)對(duì)圖像信號(hào)進(jìn)行譯碼(步驟All)。判定在譯碼后的存儲(chǔ)器管理信息中是否有初始化指令Code5 (步驟 A12)，若有初始化指令Code5(步驟A12的Yes)，則全部消除存儲(chǔ)器內(nèi)的圖 像，并進(jìn)行初始化(步驟A13)，若沒有初始化指令Code5(步驟A12的No)， 就不進(jìn)行初始化。
接著，存儲(chǔ)器信息控制部101判定在存儲(chǔ)器管理信息中是否有初始化重 發(fā)指令Code6(步驟A40)。若沒有初始化重發(fā)指令Code6(步驟A40的No)， 則結(jié)束處理，若有初始化重發(fā)指令Code6 (步驟A40的Yes)，則檢查初始化 是否完了 (步驟A41)。若初始化完了 (步驟A41的Yes)，就結(jié)束處理，若 還沒進(jìn)行初始化(步驟A41的No)，就基于初始化重發(fā)指令Code6的附加信 息，刪除初始化幀(初始化存儲(chǔ)器區(qū)域的初始化指令Code5附隨的幀)以前 的保存幀(在初始化幀進(jìn)行編碼的時(shí)刻，參照用圖像存儲(chǔ)器中存儲(chǔ)著的幀)， 并且，設(shè)定長時(shí)間保存存儲(chǔ)器大小為0 (步驟A42)，結(jié)束處理。再有，不使 用長時(shí)間保存幀的情況下，則無需使長時(shí)間保存存儲(chǔ)器的大小設(shè)為0。
因此，在圖19中示出的初始化指令Code5附隨著圖像編號(hào)12的圖像， 和初始化重發(fā)指令Code6附隨著圖像編號(hào)14進(jìn)行編碼的情況中，在初始化 指令Code5不因傳輸線路錯(cuò)誤而消失的情況下，就由初始化指令Code5，在 初始化指令Code5因傳輸線路錯(cuò)誤而消失的情況下，就由初始化重發(fā)指令 Code6，來全部刪除保存在存儲(chǔ)器中的圖像中保存圖像編號(hào)為10以下的圖像。
象這樣地，由于在反復(fù)編碼初始化指令Code5進(jìn)行傳輸時(shí)，在第二次以 后，將附加了作為附加信息的初始化圖像編號(hào)的初始化重發(fā)指令Code6進(jìn)行 編碼并傳輸，因此，就根據(jù)該附加信息初始化幀以前的保存幀(在最初初始 化指令Code5附隨的初始化幀進(jìn)行編碼的時(shí)候，參照用圖像存儲(chǔ)器中存儲(chǔ)著 的幀)全部被刪除。因此，能解決需要的圖像(圖像)遺漏的上述問題。
再有，如圖25所示，即使在與圖19不同的保存圖像編號(hào)的賦予方法中， 上述說明的初始化重發(fā)指令Code6也是有效的。
以下，具體地說明。
圖25是示出賦予各幀的編號(hào)(圖像(幀)編號(hào))、各幀保存在存儲(chǔ)器內(nèi) 時(shí)的編號(hào)(保存圖像(幀)編號(hào))、表示傳輸各幀的序號(hào)的編號(hào)(傳輸順序) 的其他關(guān)系的說明圖。
對(duì)這些編號(hào)的賦予方法進(jìn)行說明。首先，由于圖像編號(hào)0的I圖像不參 照其他圖像，因此保存在存儲(chǔ)器中，其保存圖像編號(hào)就為0。接著，由于參照?qǐng)D像編號(hào)0的I圖像的圖像編號(hào)2的P圖像保存在存儲(chǔ)器中，因此與圖像編號(hào)2的P圖像有關(guān)的保存圖像編號(hào)就為1。然后，參照?qǐng)D像編號(hào)0的I圖像和圖像編號(hào)2的P圖像的圖像編號(hào)1的B圖像保存在存儲(chǔ)器中，但由于該B圖像不被其他圖像所參照，因此，保存圖像編號(hào)與緊前面保存的圖像編號(hào)2的P圖像的保存圖像編號(hào)相同，均為1。傳輸各圖像的序號(hào)設(shè)為保存在存儲(chǔ)器中的序號(hào)。按同樣的順序決定圖像編號(hào)和保存圖像編號(hào)及傳輸順序的關(guān)系。如圖25所示，設(shè)定在對(duì)圖像編號(hào)12的I圖像進(jìn)行編碼時(shí)，附隨著發(fā)送圖15中示出的初始化指令Code5。由于圖像編號(hào)12的I圖像的保存圖像編號(hào)是6，因此，能由該初始化指令Code5從存儲(chǔ)器內(nèi)全部消除保存圖像編號(hào)為5以下的圖像。
在此，在反復(fù)對(duì)初始化指令Code5迸行編碼的情況下，具體地對(duì)在圖像編號(hào)14的P圖像上賦予與在圖像編號(hào)12的I圖像上賦予了的初始化指令Code5相同的初始化指令Code5的情況進(jìn)行說明。
初始化指令Code5如圖15所示，不具有附加信息，因此，就在被譯碼了的時(shí)刻，全部消除參照用存儲(chǔ)器內(nèi)保存著的圖像。因此，若賦予了圖像編號(hào)12 (保存圖像編號(hào)6)的I圖像的初始化指令Code5因傳輸線路錯(cuò)誤而消失，且賦予了圖像編號(hào)14 (保存圖像編號(hào)7)的P圖像的初始化指令Code5被執(zhí)行，就在保存圖像編號(hào)6以下的圖像中，保存在存儲(chǔ)器中的圖像全部被刪除。即，本來不應(yīng)消除的圖像編號(hào)12 (保存圖像編號(hào)6)的I圖像都被消除。
但是，由于取代初始化指令Code5，使上述初始化重發(fā)指令Code6附隨著圖像編號(hào)14的P圖像，因此，在附隨圖像編號(hào)12的I圖像的初始化指令Code5不因傳輸線路錯(cuò)誤而消失的情況下，就由初始化指令Code5，在初始化指令Code5因傳輸線路錯(cuò)誤而消失了的情況下，就由附隨圖像編號(hào)14的P圖像的初始化重發(fā)指令Code6，來全部刪除保存在存儲(chǔ)器中的圖像中保存圖像編號(hào)為5以下的圖像。
艮P，由于在初始化重發(fā)指令Code6中附加了初始化幀(該情況中，圖像編號(hào)12)編號(hào)作為附加信息，因此，刪除初始化幀以前的保存幀(在保存初始化幀的時(shí)候保存在參照用圖像存儲(chǔ)器中的保存圖像編號(hào)為5以下的保存幀)。
如上所述，由于具有附加信息的初始化重發(fā)指令Code6，即使在初始化指令Code5因傳輸線路錯(cuò)誤而遺漏的情況下也能正常地執(zhí)行初始化的可能性
提高。再有，也可以將附加信息作為初始化重發(fā)指令附隨的圖像編號(hào)，用本實(shí)施方式中示出的初始化重發(fā)指令代用作初始化指令，用一個(gè)指令來實(shí)現(xiàn)圖
22中示出的Code5和Code6。這是因?yàn)?，由于在為了重發(fā)初始化信息的而進(jìn)行初始化重發(fā)時(shí)，初始化指令指定附隨的幀的編號(hào)，因此，不使用重發(fā)該幀這樣的圖像編號(hào)。這時(shí)，也可以使初始化指令Code5無效。
再有，如上，在用一個(gè)指令實(shí)現(xiàn)上述實(shí)施方式中示出的初始化重發(fā)指令和初始化指令Code5的情況下，也可以以初始化重發(fā)指令作為具有與最初發(fā)送的初始化指令Code5相同功能的指令，所述初始化重發(fā)指令是具有在上述實(shí)施方式中示出的初始化重發(fā)指令中不使用的特別的值作為附加信息的指令。
此外，如在上述各實(shí)施方式所說明，在再次傳輸釋放不需要的存儲(chǔ)器區(qū)域的指令和初始化指令等的存儲(chǔ)器管理信息時(shí)，也可以如圖17和圖18所示，不是包含在與圖像的編碼有關(guān)的幀數(shù)據(jù)上附加的標(biāo)題信息中進(jìn)行傳輸?shù)?，而是與幀數(shù)據(jù)分開另外傳輸存儲(chǔ)器管理信息包含的標(biāo)題信息。即，重發(fā)的上述指令不在與已編碼的圖像相同的流中，而也可以例如作為另外的流進(jìn)行傳輸。此外，也可以記錄在存儲(chǔ)媒體的另外的區(qū)域中。
另外，在本實(shí)施方式中，在重發(fā)初始化指令時(shí)，將使初始化指令最初附隨的圖像的圖像編號(hào)(初始化幀編號(hào))作為附加信息，附加在初始化重發(fā)指令中，但當(dāng)然也可以在重發(fā)上述各實(shí)施方式中示出的、存儲(chǔ)器管理信息的指令時(shí)，也將最初使該指令附隨并傳輸?shù)木幋a對(duì)象圖像的圖像編號(hào)(確定圖像的信息)作為參數(shù)包含進(jìn)行傳輸也可以。所述存儲(chǔ)器管理信息為示出釋放的存儲(chǔ)器區(qū)域的指令、和指定從短時(shí)間保存存儲(chǔ)器向長時(shí)間保存存儲(chǔ)器移動(dòng)的對(duì)象的圖像的指令等。這樣，能檢測出在傳輸哪個(gè)圖像時(shí)產(chǎn)生了傳輸線路錯(cuò)誤。
(實(shí)施方式9)
下面，對(duì)實(shí)施方式9中的圖像編碼方法和圖像譯碼方法進(jìn)行說明。本實(shí)施方式的特征在于，在多次傳輸存儲(chǔ)器管理信息時(shí)，改變基于在第
二次以后被傳輸?shù)拇鎯?chǔ)器管理信息的處理的定時(shí)。
在對(duì)將上述實(shí)施方式中示出的存儲(chǔ)器管理信息反復(fù)進(jìn)行編碼了的數(shù)據(jù)
進(jìn)行譯碼時(shí)，在進(jìn)行反復(fù)發(fā)送的存儲(chǔ)器管理信息的處理之前，必須將存儲(chǔ)器管理信息附隨的圖像信號(hào)進(jìn)行譯碼。作為具體例在實(shí)施方式2中說明了的、多次傳輸釋放不需要的存儲(chǔ)器區(qū)域的指令的情況，用圖19再次進(jìn)行說明。
使圖22中示出的Codel的指令附隨著圖19中示出的圖像編號(hào)12的圖像進(jìn)行編碼，另外，使Codel的指令也附隨著圖像編號(hào)11的圖像進(jìn)行編碼。這時(shí)，按照?qǐng)D8進(jìn)行譯碼。
首先，附隨圖像編號(hào)12的圖像的Codel被譯碼(步驟110)。接著，圖像編號(hào)12的圖像被譯碼(步驟111)。在此，若本來應(yīng)該正在附隨著圖像編號(hào)12的圖像的Codel在傳輸途中遺漏了 (步驟112的No)，結(jié)束與該幀有關(guān)的處理。
在傳輸順序中，在圖像編號(hào)12的圖像之后進(jìn)行譯碼處理的是圖像編號(hào)11的圖像。
首先，對(duì)附隨著圖像編號(hào)11的圖像進(jìn)行編碼了的Codel被譯碼(步驟110)。接著，圖像編號(hào)12的圖像被譯碼(步驟lll)。在該Codel不在傳輸途中遺漏而傳輸了的情況下，由于在已譯碼的存儲(chǔ)器管理信息中存在存儲(chǔ)器釋放的指令Codel (步驟112的Yes)，因此就過渡到下面的處理(步驟113)。
在此，由于在對(duì)圖像編號(hào)11的圖像被譯碼之前被譯碼的圖像編號(hào)12的圖像進(jìn)行譯碼時(shí)，存儲(chǔ)器未被釋放(步驟113的No)，因此就進(jìn)行存儲(chǔ)器釋放處理(步驟U4)。
如上述具體例中所示，伴隨著多次傳輸釋放不需要的存儲(chǔ)器區(qū)域的指令的操作，應(yīng)該對(duì)本來沒有進(jìn)行最初的指令執(zhí)行的圖像(圖像編號(hào)12)執(zhí)行的指令，在從后面發(fā)送的圖像(圖像編號(hào)ll)的圖像信號(hào)的譯碼處理之后來執(zhí)行，產(chǎn)生指令執(zhí)行的延遲。
因此，在本實(shí)施方式中，用圖26、圖27和圖28對(duì)用于解決上述問題的方法進(jìn)行說明。
圖26是示出在本實(shí)施方式中使用的存儲(chǔ)器管理信息和指令的關(guān)系的對(duì)應(yīng)圖。
在圖26中，Code表示指令的編號(hào)，指令表示指令的內(nèi)容，附加信息表示附加在指令中的附加信息，處理位置表示執(zhí)行指令的定時(shí)。
與圖15的不同點(diǎn)是，在圖26中，將CodeAl CodeA4設(shè)定為在圖像的譯碼處理之后執(zhí)行的指令，另一方面，將與CodeAl CodeA4對(duì)應(yīng)的CodeA6 CodeA9設(shè)定為在圖像的譯碼處理之前執(zhí)行的指令。然后，在反復(fù)發(fā)送存儲(chǔ)器管理信息的情況下，將最初進(jìn)行編碼的存儲(chǔ)器 管理信息的指令設(shè)定為處理位置是譯碼后的(在圖像的譯碼之后執(zhí)行)指令
(從CodeAl到CodeA4)，將反復(fù)(第二次以后)進(jìn)行編碼的指令設(shè)定為處 理位置是譯碼前(在圖像的譯碼之前執(zhí)行)的指令(從CodeA6到CodeA9)。
這樣，即使在最初發(fā)送的存儲(chǔ)器管理信息遺漏了的情況下，本來應(yīng)該按 最初發(fā)送的存儲(chǔ)器管理信息執(zhí)行的指令早期執(zhí)行，而不容易引起延遲等問題。
以下，用圖27和圖28對(duì)使用圖26的指令時(shí)的處理順序進(jìn)行說明。
圖27是示出本實(shí)施方式中的圖像編碼方法的流程圖，示出圖5中示出 的圖像編碼裝置100的動(dòng)作。
在圖27中，首先，編碼圖像(步驟B0)。編碼之后檢査存儲(chǔ)器內(nèi)的不需 要的區(qū)域(在以后的編碼中不參照的圖像)(步驟B1)，判定是否有不需要的 存儲(chǔ)器區(qū)域(步驟B2)。若有不需要的存儲(chǔ)器區(qū)域(步驟B2的Yes)，就把 釋放不需要的存儲(chǔ)器區(qū)域的指令作為在圖像信號(hào)的譯碼之后執(zhí)行的指令，將 譯碼后用的存儲(chǔ)器管理信息進(jìn)行編碼(步驟B3)，釋放該不需要的存儲(chǔ)器區(qū) 域(步驟B4)。另一方面，在沒有不需要的存儲(chǔ)器區(qū)域的情況下(步驟B2 的No)，就不進(jìn)行步驟B3和步驟B4的動(dòng)作。
接著，存儲(chǔ)器信息控制部101判定是否將附隨著之前己編碼的圖像(比 編碼對(duì)象早的圖像)的編碼釋放不需要的存儲(chǔ)器區(qū)域的指令，作為存儲(chǔ)器管 理信息進(jìn)行編碼(步驟B30)。若沒編碼(步驟B30的No)，就結(jié)束處理， 若已編碼(步驟B30的Yes)，管理信息編碼部105就將釋放該不需要的存儲(chǔ) 器區(qū)域的指令作為在圖像信號(hào)的譯碼之前執(zhí)行的指令，對(duì)譯碼前用的存儲(chǔ)器 管理信息進(jìn)行編碼(步驟B31)，結(jié)束處理。
再有，在步驟B30中，在釋放不需要的存儲(chǔ)器區(qū)域的指令附隨著緊前面 己編碼的圖像的編碼信號(hào)被編碼了的情況下，就再次對(duì)指令進(jìn)行編碼，但也 可以不是附隨著緊前面的圖像的情況，而是附隨著幾個(gè)圖像以前的圖像的情 況，并且，也可以反復(fù)編碼上述指令作為存儲(chǔ)器管理信息，附隨著多個(gè)圖像 進(jìn)行傳輸。
下面，用圖28和圖19，對(duì)譯碼已按照?qǐng)D27的順序編碼了的數(shù)據(jù)進(jìn)行譯 碼的順序進(jìn)行說明。
圖28是示出本實(shí)施方式中的圖像譯碼方法的流程圖，示出圖7中示出 的圖像譯碼裝置200進(jìn)行的動(dòng)作。在以下的說明中，在圖19中，假設(shè)圖26中示出的CodeAl的指令附隨 著圖像編號(hào)12的圖像被進(jìn)行了編碼，并且，使CodeA6的指令附隨著圖像編 號(hào)11的圖像被進(jìn)行了編碼。如在圖17中示出，就成為在圖像編號(hào)12的幀 Frml2的幀標(biāo)題Frml2Hdr上賦予CodeAl，在圖像編號(hào)11的幀F(xiàn)rmll的幀 標(biāo)題FrnillHdr上賦予CodeA6。
再有，在圖像譯碼裝置中，只要指令不因傳輸線路錯(cuò)誤而消失，就多次 接收釋放存儲(chǔ)器內(nèi)的相同的圖像區(qū)域的指令。因此，必須使圖像譯碼裝置進(jìn) 行的圖像譯碼方法，在接收到再次釋放已經(jīng)釋放了的圖像的指令的情況下， 也不當(dāng)作錯(cuò)誤來處理，而相反地，判斷為能正確地接收。
首先，對(duì)與圖像編號(hào)12的圖像有關(guān)的譯碼處理進(jìn)行說明。
在圖28中，首先，譯碼圖像編號(hào)12的圖像的存儲(chǔ)器管理信息(步驟B5)， 檢査該存儲(chǔ)器管理信息是否是譯碼前用的存儲(chǔ)器管理信息(步驟B7)。在此， 由于該存儲(chǔ)器管理信息(CodeAl)是譯碼后用的存儲(chǔ)器管理信息(步驟B7 的No),因此圖像編號(hào)12的圖像信號(hào)被譯碼。然后，如上所述地，由于存儲(chǔ) 器管理信息(CodeAl)是譯碼后用的存儲(chǔ)器管理信息(步驟B9的Yes)，因 此釋放存儲(chǔ)器(步驟Bll)，結(jié)束與圖像編號(hào)12的圖像的存儲(chǔ)器管理信息有 關(guān)的處理。
另一方面，在存儲(chǔ)器管理信息的CodeAl遺漏了時(shí)，在步驟B7中，不 判斷為是譯碼前用的存儲(chǔ)器管理信息(步驟B7的No),此外，在步驟B9中 也不判斷為是譯碼后用的存儲(chǔ)器管理信息(步驟B9的No)，而僅進(jìn)行圖像 編號(hào)12的圖像信號(hào)的譯碼(步驟B6)，結(jié)束與圖像編號(hào)12的存儲(chǔ)器管理信 息有關(guān)的處理。
下面，用圖28對(duì)與圖像編號(hào)11的幀有關(guān)的譯碼處理進(jìn)行說明。 首先，對(duì)圖像編號(hào)11的存儲(chǔ)器管理信息進(jìn)行譯碼(步驟B5)，檢查該存 儲(chǔ)器管理信息是否是譯碼前用的存儲(chǔ)器管理信息(步驟B7)。在此，由于 CodeA6是譯碼前用的存儲(chǔ)器管理信息(步驟B7的Yes)，因此檢查存儲(chǔ)器是 否已釋放完(步驟B8)。在圖像編號(hào)12的處理中，若正在執(zhí)行CodeAl，則 由于存儲(chǔ)器已釋放完(步驟B8的Yes)，因此就不進(jìn)行存儲(chǔ)器釋放處理(步 驟B10)，而進(jìn)行圖像編號(hào)11的圖像信號(hào)的譯碼(步驟B6)。然后，判定存 儲(chǔ)器管理信息是否是譯碼后用的信息(步驟B9)，但由于CodeA6是譯碼前 用的存儲(chǔ)器管理信息(步驟B9的No)，因此結(jié)束與圖像編號(hào)ll的圖像的存儲(chǔ)器管理信息有關(guān)的處理。
但是，若因傳輸過程中的包的遺漏等而圖像編號(hào)12的存儲(chǔ)器管理信息
遺漏，在與圖像編號(hào)12有關(guān)的處理中，沒進(jìn)行存儲(chǔ)器釋放，則在與圖像編號(hào) ll有關(guān)的處理中，判定為存儲(chǔ)器未釋放完(步驟B8的No)，在接著的步驟 中，釋放存儲(chǔ)器(步驟BIO)。在存儲(chǔ)器被釋放之后，圖像編號(hào)11的圖像信 號(hào)被譯碼(步驟B6)。然后，由于CodeA6是譯碼前用的存儲(chǔ)器管理信息(步 驟B9的No)，因此結(jié)束與圖像編號(hào)11的圖像的存儲(chǔ)器管理信息有關(guān)的處理。
如上所述，通過對(duì)重發(fā)部分比圖像信號(hào)的譯碼先執(zhí)行指令，即使最初發(fā) 送的指令遺漏，也能減少指令執(zhí)行的滯后。
再有，作為具體例，對(duì)存儲(chǔ)器管理信息為CodeAl和CodeA6的情況進(jìn) 行了說明，但在使用CodeA2和CodeA7的情況下，也能用同樣的處理來實(shí) 現(xiàn)，在使用CodeA3和CodeA8、 CodeA4和CodeA9的情況下，也能用同樣 的處理來實(shí)現(xiàn)。
此外，也可以設(shè)圖26中示出的初始化指令CodeA5為譯碼后用的存儲(chǔ)器 管理信息，設(shè)圖22中示出的初始化重發(fā)指令CodeA6為譯碼前用的存儲(chǔ)器管 理信息，將它們成對(duì)地使用。
此外，在對(duì)一個(gè)幀賦予了譯碼后用的存儲(chǔ)器管理信息和多個(gè)譯碼前用的 存儲(chǔ)器管理信息作為標(biāo)題信息的情況下，也可以比譯碼后用的存儲(chǔ)器管理信 息先處理多個(gè)譯碼前用的存儲(chǔ)器管理信息。
艮P，也可以在圖17中示出的標(biāo)題信息的前頭賦予譯碼前用的存儲(chǔ)器管 理信息并進(jìn)行編碼。
此外，也可以由圖29 (a)和圖29 (b)中示出的命令的組合，將存儲(chǔ)器 管理信息是譯碼前用的管理信息還是譯碼后用的管理信息的內(nèi)容，作為另外 的信息，實(shí)現(xiàn)上述實(shí)施方式中示出的指令。
圖29 (a)是示出指令的內(nèi)容與附加信息的對(duì)應(yīng)圖。圖29 (b)是示出指 令的執(zhí)行定時(shí)(處理位置)的對(duì)應(yīng)圖。
圖30是示出編碼信號(hào)的標(biāo)題信息中的存儲(chǔ)器管理信息的指令的模式圖。
在圖30中，幀F(xiàn)rmB的編碼信號(hào)具有幀標(biāo)題FrmBHdr和MBa、 MBb等 幀數(shù)據(jù)等，幀標(biāo)題FrmBHdr作為標(biāo)題信息，具有代碼信息CodeD等。
這時(shí)，例如，如圖30所示，可以設(shè)幀F(xiàn)rmB的幀標(biāo)題FrmBHdr從前到 后為指令的代碼信息CodeD、表示處理位置的FlagD、表示指令的附加信息的附加信息AddD。在沒有附加信息的情況下，如圖30所示，可以在幀標(biāo) 題FrmBHdr上附加指令的CodeE和表示處理位置的FlagE。通過在示出指令 的Code之后，不設(shè)置表示附加信息的Add,而設(shè)置表示處理位置的Flag, 使圖28中示出的步驟B7和步驟B9的處理最優(yōu)化。
此外，為了區(qū)別指令的執(zhí)行定時(shí)是圖像信號(hào)的譯碼前和譯碼后的哪一 個(gè)，也可以使用表示指令的處理位置的新指令，在譯碼之后實(shí)施位于比表示 該處理位置的指令的幀標(biāo)題上的位置靠前的指令，在譯碼之前實(shí)施位于比表 示該處理位置的指令在幀標(biāo)題上的位置靠后的指令。這樣，在有多個(gè)指令時(shí)， 能用一個(gè)指令表示各指令的執(zhí)行定時(shí)(處理位置)，與對(duì)每一個(gè)指令發(fā)送表示 處理位置的Flag的情況相比，發(fā)送的信息減少，編碼效率提高。
用圖31說明具體例。
圖31是示出其他的編碼信號(hào)的標(biāo)題信息中的存儲(chǔ)器管理信息的指令的 模式圖。
在圖31中，幀F(xiàn)rmC的編碼信號(hào)具有幀標(biāo)題FrmCHdr和MBa、 MBb等 幀數(shù)據(jù)等，幀標(biāo)題FrmCHdr作為標(biāo)題信息，從前依次為指令CodeF、指令dif、 指令CodeG、附加信息AddG、指令CodeH。
然后，判別表示處理位置的指令dif是否在幀標(biāo)題FrmCHdr中，在幀F(xiàn)rmC 的譯碼之后執(zhí)行位于比表示處理位置的指令dif靠前位置的指令CodeF，在幀 FrmC的譯碼之前執(zhí)行位于比指令dif靠后位置的指令CodeG和指令CodeH 也可以。該情況下，若沒有示出處理位置的指令dif，就在幀F(xiàn)miC的譯碼處 理之后執(zhí)行幀標(biāo)題FrmCHdr內(nèi)的全部指令。
再者，如在上述各實(shí)施方式中說明的，在再次傳輸釋放成為不需要的存 儲(chǔ)器區(qū)域的指令和初始化指令等存儲(chǔ)器管理信息時(shí)，也可以不包含在圖像的 編碼信號(hào)中附加的標(biāo)題信息中進(jìn)行傳輸，而存儲(chǔ)器管理信息被包含的標(biāo)題信
息與圖像的編碼信號(hào)分開另外傳輸。即，重發(fā)的上述指令也可以不在與已編 碼的圖像相同的流中，而例如作為另外的流進(jìn)行傳輸。此外，也可以記錄在 存儲(chǔ)媒體的另外的區(qū)域中。 (實(shí)施方式10) 下面，對(duì)本發(fā)明的實(shí)施方式10進(jìn)行說明。
在本實(shí)施方式中，進(jìn)行編碼的單位與上述各實(shí)施方式不同。即，在上述 實(shí)施方式1中，在多次傳輸釋放不需要的存儲(chǔ)器區(qū)域的指令時(shí)，所述的相當(dāng)于上述指令的圖5中示出的存儲(chǔ)器管理信息流CtlStr和圖像編碼流VideoStr 是按圖像(圖像)單位進(jìn)行編碼的，但在本實(shí)施方式中，也可以象圖32中示 出的流結(jié)構(gòu)，將一幀按片單位進(jìn)行編碼。
所述按片單位進(jìn)行編碼，是指對(duì)幀具有的每一個(gè)片編碼標(biāo)題、存儲(chǔ)器管 理信息流CtlStr、圖像編碼流VideoStr,以便使圖32的幀1的片1具有標(biāo)題 1 — 1、 ctlStrl、 VideoStrl — l，幀1的片2具有標(biāo)題1 一2、 ctlStrl、 VideoStrl 一2。在圖像編碼裝置中進(jìn)行編碼之后，圖像編碼裝置輸出數(shù)據(jù)流。再有，片 是同步復(fù)位單位，是由一個(gè)或多個(gè)塊構(gòu)成的帶狀區(qū)域，由多個(gè)片構(gòu)成圖像。 此外，圖像是對(duì)應(yīng)于一幅圖像的基本的編碼單位，塊是編碼和譯碼的基本單 位。
此外，設(shè)如上所述地多次傳輸存儲(chǔ)器管理信息流CtlStr時(shí)的內(nèi)容在同一 幀內(nèi)為同一信息。通過設(shè)為同一信息，能省略該存儲(chǔ)器管理信息流CtlStr的 在片單位中的附加。例如，在片的標(biāo)題中附加表示在該片中是否省略了多次 傳輸?shù)男畔?，在該片中省略了多次傳輸上述指令的?nèi)容時(shí)，就附加"0"，在 該片中傳輸了上述指令時(shí)(沒省略時(shí))，就附加"1"。具體地在圖33 (a)中 示出一例，以下進(jìn)行說明。從幀1中的片1到片3中的標(biāo)題和圖像編碼流 VideoStr各不相同。另一方面，在片1和片2中具有同一存儲(chǔ)器管理信息流 CtlStrl，在同一幀中的多個(gè)片中，片1和片2分別具有表示編碼了同一存儲(chǔ) 器管理信息流CtlStrl的內(nèi)容的信息"l"。此外，片3具有示出省略了存儲(chǔ)器 管理信息流CtlStd的信息"0"。這樣，在該片中省略了多次傳輸?shù)男畔r(shí)， 前頭的片等參照表示為上述"1"的片中的存儲(chǔ)器管理信息流CtlStr，由此可 以省略存儲(chǔ)器管理信息流CtlStr的附加，能減少位數(shù)。
艮P，表示省略了上述存儲(chǔ)器管理信息流CtlStrl的信息"0"，是在不具有 指定信息的片(片3)中參照指定信息時(shí)，表示參照指定信息的信息。上述 指定信息是指定進(jìn)行消除的對(duì)象圖像的信息。
象這樣的能省略存儲(chǔ)器管理信息流CtlStr的附加的方法，由于在傳輸過 程中存儲(chǔ)器管理信息流CtlStr多次遺漏的可能性少，因此很有效。
另外，在沒有表示省略了存儲(chǔ)器管理信息流CtlStr的信息的情況下能夠 判別有無存儲(chǔ)器管理信息流CtlStr，也可以如圖33 (b)所示，省略該信息。 例如，在能區(qū)別存儲(chǔ)器管理信息流CtlStr的標(biāo)頭與圖像編碼流VideoStr的標(biāo) 頭的情況下，如圖33 (b)所示，能同判別從各片中的標(biāo)頭到規(guī)定位置上是否有規(guī)定的信息，來確認(rèn)是否有表示編碼存儲(chǔ)器管理信息流CtlStrl的信息化 是否已被編碼。
象這樣的能省略存儲(chǔ)器管理信息流CtlStr的附加的方法，對(duì)削減編碼存 儲(chǔ)器管理信息流CtlStr的次數(shù)、減少位數(shù)很有效。
以上，對(duì)編碼進(jìn)行了說明，但可以同樣地按片單位進(jìn)行一個(gè)幀的譯碼。
在上述實(shí)施方式2中，在多次傳輸釋放不需要的存儲(chǔ)器區(qū)域的指令時(shí)，在圖
7中示出的圖像譯碼裝置200中，分離相當(dāng)于上述指令的圖32中示出的、具
有管理信息流CtlStr和圖像編碼流VideoStr的流結(jié)構(gòu)，將其各自按圖像(圖
像)單位進(jìn)行輸入，但也可以分別按片單位進(jìn)行輸入。
再有，在其他實(shí)施方式中的編碼和譯碼中，也可以同樣用片單位編碼和 譯碼一個(gè)幀。
此外，上述實(shí)施方式1 10中示出的編碼方法和譯碼方法，可以利用LSI 等半導(dǎo)體安裝在攜帶式電話、汽車駕駛導(dǎo)向系統(tǒng)系統(tǒng)等移動(dòng)通信設(shè)備、數(shù)碼 攝像機(jī)、數(shù)碼相機(jī)等攝影設(shè)備上。此外，作為安裝形式，除具有編碼器和譯 碼器兩種的收發(fā)型終端之外，還可以考慮僅有編碼器的發(fā)送終端和僅有譯碼 器的接收終端的三種形式。 (實(shí)施方式11)
下面，對(duì)本發(fā)明的實(shí)施方式11進(jìn)行說明。
在本實(shí)施方式中，另外，將用于實(shí)現(xiàn)從實(shí)施方式1到實(shí)施方式10中示 出的圖像編碼方法或圖像譯碼方法的程序，記錄在軟盤等存儲(chǔ)媒體中，就能 在獨(dú)立的計(jì)算機(jī)系統(tǒng)中簡單地實(shí)施在上述實(shí)施方式中示出的處理。
圖34是使用存儲(chǔ)了上述實(shí)施方式1的圖像編碼方法或圖像譯碼方法的 軟盤，由計(jì)算機(jī)系統(tǒng)實(shí)施的情況的說明圖。
圖34 (b)示出從軟盤的正面看的外觀、剖面結(jié)構(gòu)和軟盤，圖34 (a)示 出作為記錄媒體主體的軟盤的物理格式例。軟盤FD1內(nèi)裝在殼F內(nèi)，在該磁 盤的表面，從外周向內(nèi)周以同心圓狀形成多個(gè)磁道Tr，各磁道在角度方向上 分割為16個(gè)扇區(qū)Se。因此，在存儲(chǔ)了上述程序的軟盤中，在上述軟盤FD1 上分割的區(qū)域中記錄著作為上述程序的圖像編碼方法。
此外，圖34 (c)示出用于在軟盤FD1上進(jìn)行上述程序的記錄播放的結(jié) 構(gòu)。在軟盤FD1上記錄上述程序的情況下，從計(jì)算機(jī)系統(tǒng)Cs通過軟盤驅(qū)動(dòng) 器FDD，寫入作為上述程序的圖像編碼方法或圖像譯碼方法。此外，利用軟
38盤FD1內(nèi)的程序?qū)⑸鲜鰣D像編碼方法安裝到計(jì)算機(jī)系統(tǒng)中時(shí)，利用軟盤驅(qū)動(dòng) 器FDD從軟盤FD1中讀出程序，傳送到計(jì)算機(jī)系統(tǒng)Cs中。
再有，在上述說明中，使用軟盤作為記錄媒體進(jìn)行了說明，但是，使用 光盤也能同樣地進(jìn)行。此外，記錄媒體不限于此，IC卡、盒式ROM等，只 要能記錄程序的都能同樣地實(shí)施。
此外，上述實(shí)施方式中示出的圖像編碼方法和圖像譯碼方法，可以利用 LSI等半導(dǎo)體安裝在攜帶式電話、汽車駕駛導(dǎo)向系統(tǒng)等移動(dòng)通信設(shè)備或數(shù)字 式錄像機(jī)、普通攝影機(jī)等攝影設(shè)備上。此外，作為安裝形式，可以考慮除具 有編碼器和譯碼器的兩種的收發(fā)型終端之外，還可以是僅有編碼器的發(fā)送終 端和僅有譯碼器的接收終端的三種形式。
在此，對(duì)從上述實(shí)施方式1到實(shí)施方式10中示出的圖像編碼方法和圖 像譯碼方法的應(yīng)用例和使用了它的系統(tǒng)進(jìn)行說明。
圖35是示出實(shí)現(xiàn)內(nèi)容發(fā)送服務(wù)的內(nèi)容供給系統(tǒng)ex100的整體結(jié)構(gòu)框圖。 將通信服務(wù)的提供區(qū)域分割成期望的大小，在各單元內(nèi)分別設(shè)置作為固定無 線局的基站exl07 ex110。
該內(nèi)容供給系統(tǒng)ex100例如通過因特網(wǎng)服務(wù)提供商exl02和電話網(wǎng) exl04及基站exl07 ex110，與因特網(wǎng)exlOI連接計(jì)算機(jī)exll 1 、PDA(personal digital assistant即，個(gè)人數(shù)字化處理器)exl12、攝影機(jī)exl13、攜帶式電話 exl14、帶攝影機(jī)的攜帶式電話exll5等各設(shè)備。
但是，內(nèi)容供給系統(tǒng)exl00不限定于如圖35中的組合，也可以組合其中 某一個(gè)來連接。此外，也可以不通過固定無線局即基站exl07 ex110，而在 電話網(wǎng)exl04上直接連接各設(shè)備。
攝影機(jī)exll3是數(shù)字式錄像機(jī)等能拍攝動(dòng)畫的設(shè)備。此外，攜帶式電話 是PDC (Personal Digital Communications即，個(gè)人數(shù)字化通信)方式、CDMA (Code Division Multiple Access艮卩，碼分多路訪問)方式、W —CDMA (Wideband-Code Division Multiple Access即，寬帶碼分多路訪問)方式、或 GSM (Global System for Mobile Communications即，全球移動(dòng)通信系統(tǒng))方 式的攜帶式電話機(jī)，或者PHS (Personal Handyphone System即，個(gè)人手持電 話系統(tǒng))等，哪一種都可以。
此外，流服務(wù)器exl03從攝影機(jī)exl13通過基站exl09和電話網(wǎng)exl04 進(jìn)行連接，能使用攝影機(jī)ex113來進(jìn)行基于用戶發(fā)送的已編碼處理的數(shù)據(jù)的實(shí)況發(fā)信等。拍攝到的數(shù)據(jù)的編碼處理可以用攝影機(jī)exll3進(jìn)行，也可以用 進(jìn)行數(shù)據(jù)的發(fā)送處理的服務(wù)器等進(jìn)行。此外，也可以通過計(jì)算機(jī)exlll向流 服務(wù)器exl03發(fā)送用攝影機(jī)exl16拍攝到的動(dòng)畫數(shù)據(jù)。攝影機(jī)exl16是數(shù)字 式攝影機(jī)等可攝影靜止圖像和動(dòng)畫的設(shè)備。該情況下，動(dòng)畫數(shù)據(jù)的編碼即可 以用攝影機(jī)exll6進(jìn)行，也可以用計(jì)算機(jī)exlll進(jìn)行。此外，編碼處理是在 計(jì)算機(jī)exlll和攝影機(jī)exll6所具有的LSIexll7中進(jìn)行處理。再有，也可以 將圖像編碼和譯碼用的軟件裝在能用計(jì)算機(jī)exlll等讀取的記錄媒體的任一 種存儲(chǔ)媒體(CD—ROM、軟盤、硬盤等)中。另外，也可以用帶攝影機(jī)的 攜帶式電話exl15發(fā)送動(dòng)畫數(shù)據(jù)。這時(shí)的動(dòng)畫數(shù)據(jù)是用攜帶式電話exl15所 具有的LSI進(jìn)行編碼處理后的數(shù)據(jù)。
在該內(nèi)容供給系統(tǒng)ex100中， 一方面，與上述實(shí)施方式同樣地對(duì)用戶用 攝影機(jī)exll3和攝影機(jī)(camera) exll6等拍攝的內(nèi)容(例如，攝影了音樂實(shí) 況的影像等)進(jìn)行編碼處理，并向流服務(wù)器ex103發(fā)送，另一方面，流服務(wù) 器exl03對(duì)有請(qǐng)求的客戶終端流發(fā)送上述內(nèi)容數(shù)據(jù)。作為客戶終端，有能進(jìn) 行對(duì)上述已編碼處理的數(shù)據(jù)進(jìn)行譯碼的計(jì)算機(jī)exlll、 PDAexl12、攝影機(jī) exl13、攜帶式電話exll4等。通過這樣做，內(nèi)容供給系統(tǒng)ex100能在客戶終 端接收已編碼的數(shù)據(jù)并進(jìn)行播放，另外，能在客戶終端實(shí)時(shí)地接收、譯碼、 播放，因此是能實(shí)現(xiàn)個(gè)人廣播的系統(tǒng)。
在構(gòu)成該系統(tǒng)的各設(shè)備的編碼和譯碼中，也可以使用在上述各實(shí)施方式 中示出的圖像編碼方法或圖像譯碼方法。
作為一例，對(duì)攜帶式電話進(jìn)行說明。
圖36是示出使用了在上述實(shí)施方式中說明了的圖像編碼方法和圖像譯 碼方法的攜帶式電話ex115的圖。攜帶式電話ex115具有下列部分用于與 基站exl10之間收發(fā)電波的天線ex201; CCD攝影機(jī)等能拍攝影像和靜止圖 像的攝影機(jī)部ex203;液晶顯示器等顯示部ex202，顯示用攝影機(jī)部ex203攝 影到的影像和用天線ex201接收到的影像等被譯碼了的數(shù)據(jù)；由操作鍵ex204 群構(gòu)成的主體部；用于進(jìn)行聲音輸出的揚(yáng)聲器等聲音輸出部ex208;用于進(jìn) 行聲音輸入的話筒等聲音輸入部ex205;記錄媒體ex207，用于保存攝影到的 動(dòng)畫或靜止圖像數(shù)據(jù)、接收到的郵件數(shù)據(jù)、動(dòng)畫數(shù)據(jù)或靜止圖像數(shù)據(jù)等已編 碼的數(shù)據(jù)或己譯碼的數(shù)據(jù)；用于能在攜帶式電話ex115中裝入記錄媒體ex207 的卡槽部ex206。記錄媒體ex207是SD卡等在塑料殼體內(nèi)電氣地裝入能改寫和擦除的不易失存儲(chǔ)器即EEPROM (Electronically Erasable and Programmable Read Only Memory即，電可擦可編程只讀存儲(chǔ)器)的快閃存儲(chǔ)器元件的裝置。
另外，用圖37對(duì)攜帶式電話exll5進(jìn)行說明。攜帶式電話exll5對(duì)主控 制部ex311，通過同步總線ex313，相互連接著電源電路部ex310、操作輸入 控制部ex304、圖像編碼部ex312、攝影機(jī)接口部ex303、 LCD (Liquid Crystal Display目卩，液晶顯示器)控制部ex302、圖像譯碼部ex309、多重分離部ex308、 記錄播放部ex307、調(diào)制解調(diào)電路部ex306和聲音處理部ex305。主控制部 ex311對(duì)包括顯示部ex202和操作鍵ex204的主體部的各部分進(jìn)行統(tǒng)一控制。
電源電路部ex310若由用戶操作成通話結(jié)束和電源鍵處于開通狀態(tài)，則 通過由電源向各部分供給電力，來啟動(dòng)帶攝影機(jī)的數(shù)字?jǐn)y帶式電話exl15使 其處于可工作的狀態(tài)。
攜帶式電話exl15基于由CPU、 ROM和RAM等構(gòu)成的主控制部ex311 的控制，在聲音通話模式時(shí)，利用聲音處理部ex305將用聲音輸入部ex205 集音到的聲音信號(hào)轉(zhuǎn)換成數(shù)字聲音數(shù)據(jù)，將其用調(diào)制解調(diào)電路部ex306進(jìn)行 頻譜擴(kuò)散處理，在由收發(fā)信電路部ex301實(shí)施了數(shù)字模擬轉(zhuǎn)換處理和頻率變 換處理之后，通過天線ex201發(fā)送。此外，攜帶式電話機(jī)exll5在聲音通話 模式時(shí)，放大由天線ex201接收到的接收數(shù)據(jù)，并對(duì)所述接收的數(shù)據(jù)實(shí)施頻 率變換處理和模擬數(shù)字轉(zhuǎn)換處理，用調(diào)制解調(diào)電路部ex306進(jìn)行頻譜逆擴(kuò)散 處理，并用聲音處理部ex305轉(zhuǎn)換成模擬聲音數(shù)據(jù)之后，將其通過聲音輸出 部ex208輸出。
另外，在數(shù)據(jù)通信模式時(shí)發(fā)送電子郵件的情況下，由主體部的操作鍵 ex204的操作輸入的電子郵件的文本數(shù)據(jù)，通過操作輸入控制部ex304向主 控制部ex311發(fā)送。主控制部ex311用調(diào)制解調(diào)部ex 306對(duì)文本數(shù)據(jù)進(jìn)行頻 譜擴(kuò)散處理，在用收發(fā)信電路部ex301實(shí)施了數(shù)字模擬轉(zhuǎn)換處理和頻率變換 處理之后，通過天線ex201，向基站exllO發(fā)送。
在數(shù)據(jù)通信模式時(shí)發(fā)送圖像數(shù)據(jù)的情況下，通過攝影機(jī)接口部ex303， 向圖像編碼部ex312供給用攝影機(jī)部ex203拍攝到的圖像數(shù)據(jù)。此外，在不 發(fā)送圖像數(shù)據(jù)的情況下，也可以通過攝影機(jī)接口部ex303和LCD控制部 ex302，在顯示部ex202直接顯示用攝影機(jī)部ex203攝像到的圖像數(shù)據(jù)。
圖像編碼部ex312的結(jié)構(gòu)具有已在本申請(qǐng)中說明了的圖像編碼裝置，利 用在上述實(shí)施方式示出的圖像編碼裝置中使用的編碼方法，將由攝影機(jī)部ex203供給的圖像數(shù)據(jù)進(jìn)行壓縮編碼，轉(zhuǎn)換成編碼圖像數(shù)據(jù)，將其向多重分 離部ex308發(fā)送。此外，與此同時(shí)，攜帶式電話機(jī)exll5將由攝影機(jī)部ex203 在攝像中利用聲音輸入部ex205集音到的聲音作為數(shù)字聲音數(shù)據(jù)，通過聲音 處理部ex305向多重分離部ex308送出。
多重分離部ex308用規(guī)定的方式，將由圖像編碼部ex312供給的編碼圖 像數(shù)據(jù)和由聲音處理部ex305供給的聲音數(shù)據(jù)進(jìn)行多重化，由調(diào)制解調(diào)電路 部ex306對(duì)其結(jié)果得到的多重?cái)?shù)據(jù)進(jìn)行頻譜擴(kuò)散處理，在由收發(fā)信電路部 ex301實(shí)施了數(shù)字模擬轉(zhuǎn)換處理和頻率變換處理之后，通過天線ex201發(fā)送。
在數(shù)據(jù)通信模式時(shí)接收與首頁鏈接的動(dòng)畫圖像文件數(shù)據(jù)的情況下，用調(diào) 制解調(diào)電路部ex306對(duì)通過天線ex20從基站exl10接收到的接收數(shù)據(jù)頻譜 逆擴(kuò)散處理，將其結(jié)果得到的多重化數(shù)據(jù)向多重分離部ex308發(fā)送。
此外，為對(duì)通過天線ex201接收到的多重?cái)?shù)據(jù)進(jìn)行編碼，多重分離部 ex308通過分離多重化數(shù)據(jù)，分成圖像數(shù)據(jù)位流和聲音數(shù)據(jù)位流，通過同步 總線ex313向圖像譯碼部ex309供給該編碼圖像數(shù)據(jù)的，并向聲音處理部 ex305供給該聲音數(shù)據(jù)。
接著，圖像譯碼部ex309的結(jié)構(gòu)具有已在本申請(qǐng)發(fā)明中說明了的圖像譯 碼裝置，通過用對(duì)應(yīng)于上述實(shí)施方式中示出的編碼方法的譯碼方法，對(duì)圖像 數(shù)據(jù)的位流進(jìn)行譯碼，生成播放動(dòng)畫圖像數(shù)據(jù)，將其通過LCD控制部ex302 向顯示部ex202供給，這樣，顯示例如與首頁鏈接的動(dòng)畫圖像文件中包含的 動(dòng)畫數(shù)據(jù)。與此同時(shí)，聲音處理部ex305在將聲音數(shù)據(jù)轉(zhuǎn)換成模擬聲音數(shù)據(jù) 之后，向聲音輸出部ex208供給，這樣，播放例如與首頁鏈接的動(dòng)畫圖像文 件中包含的聲音數(shù)據(jù)。
再有，不限于上述系統(tǒng)的例子，最近，利用衛(wèi)星和地面波進(jìn)行的數(shù)字廣 播成為熱門話題，如圖38所示，也可以在數(shù)字廣播用系統(tǒng)中組合至少一種上 述實(shí)施方式的圖像編碼裝置或圖像譯碼裝置。具體地說，在廣播電臺(tái)ex409 中，通過電波向通信或廣播衛(wèi)星ex410傳輸影像信息的位流。接收到該位流 的廣播衛(wèi)星ex410,發(fā)送廣播用電波，由具有衛(wèi)星廣播接收設(shè)備的家庭天線 ex406接收該電波，由電視機(jī)(接收機(jī))ex401或機(jī)頂盒設(shè)備(STB) ex407 等裝置將位流進(jìn)行譯碼并播放。此外，也可以在將記錄在記錄媒體CD和DVD 等存儲(chǔ)媒體ex402上的位流進(jìn)行讀取并播放的裝置ex403上，安裝上述實(shí)施 方式中示出的圖像譯碼裝置。該情況下，在監(jiān)視器ex404上顯示播放的影像信號(hào)。此外，也可以考慮在與有線電視用的電纜ex405或衛(wèi)星/地面波廣播 的天線ex406連接的機(jī)頂盒設(shè)備ex407內(nèi)安裝圖像譯碼裝置，用電視機(jī)的監(jiān) 視器ex408進(jìn)行播放的結(jié)構(gòu)。這時(shí)，不僅在機(jī)頂盒設(shè)備，也可以在電視機(jī)內(nèi) 裝入圖像譯碼裝置。此外，也可以用具有天線ex41的車ex412從衛(wèi)星ex410 或基站exl07等接收信號(hào)，在車ex412所具有的汽車駕駛導(dǎo)向系統(tǒng)ex413等 顯示裝置中播放動(dòng)畫。
另外，也可以用上述實(shí)施方式中示出的圖像編碼裝置將圖像信號(hào)進(jìn)行編 碼，并記錄在記錄媒體中。作為具體例，有在DVD盤ex421中記錄圖像信號(hào) 的DVD記錄器和在硬盤中記錄的盤式記錄器等的記錄器ex420。另外，也可 以記錄在SD卡ex422中。若記錄器ex420具有上述實(shí)施方式中示出的圖像 譯碼裝置，則能播放記錄在DVD盤ex421和SD卡ex422中的圖像信號(hào)，用 監(jiān)視器ex408顯示。
再有，汽車駕駛導(dǎo)向系統(tǒng)ex413的結(jié)構(gòu)可以是例如在圖37中示出的結(jié)構(gòu) 中除去攝影機(jī)部ex203和攝影機(jī)接口部ex303、圖像編碼部ex312的結(jié)構(gòu)， 可以考慮用計(jì)算機(jī)exlll和電視機(jī)(接收機(jī))ex401等代替所述去除的部分。
此外，上述攜帶式電話exl14等終端可以是除具有編碼器和譯碼器兩種 的收發(fā)型終端之外，還可以是僅有編碼器的發(fā)送終端和僅有譯碼器的接收終 端的三種安裝形式。
如上，就能在上述的某一個(gè)設(shè)備和系統(tǒng)中使用上述實(shí)施方式中示出的圖 像編碼方法或圖像譯碼方法，通過使用本發(fā)明，能得到上述實(shí)施方式中說明 的效果。
本發(fā)明不僅限定于上述實(shí)施方式，可以在不脫離本發(fā)明的范圍內(nèi)作各種 各樣的變形和修正。
工業(yè)上利用的可能性
本發(fā)明的圖像編碼裝置作為在具有通信功能的個(gè)人計(jì)算機(jī)、PDA、數(shù)字 廣播的廣播電臺(tái)和攜帶式電話機(jī)等中具有的圖像編碼裝置，非常有用。
此外，本發(fā)明的圖像譯碼裝置作為在具有通信功能的個(gè)人計(jì)算機(jī)、PDA、 接收數(shù)字廣播的STB和攜帶式電話機(jī)等中具有的圖像譯碼裝置，非常有用。
權(quán)利要求
1. 一種圖像編碼方法，參照從存儲(chǔ)器內(nèi)保存著的多個(gè)參照?qǐng)D像中選擇的參照?qǐng)D像進(jìn)行編碼，包括參照所選擇的參照?qǐng)D像，對(duì)編碼對(duì)象圖像進(jìn)行編碼；將用于管理存儲(chǔ)器中保存著的參照?qǐng)D像的第一存儲(chǔ)器管理信息進(jìn)行編碼，并且，附隨于已被編碼的所述編碼對(duì)象圖像，輸出被編碼的所述第一存儲(chǔ)器管理信息；將所述第一存儲(chǔ)器管理信息作為第二存儲(chǔ)器管理信息再次進(jìn)行編碼；在被編碼的所述第二存儲(chǔ)器管理信息上附加用于確定所述編碼對(duì)象圖像的圖像確定信息，并且，附隨于與所述編碼對(duì)象圖像不同的別的編碼圖像，輸出附加了所述圖像確定信息的被編碼的所述第二存儲(chǔ)器管理信息。
2. —種圖像編碼裝置，參照從存儲(chǔ)器內(nèi)保存著的多個(gè)參照?qǐng)D像中選擇 的參照?qǐng)D像進(jìn)行編碼，包括圖像編碼單元，參照所選擇的參照?qǐng)D像，對(duì)編碼對(duì)象圖像進(jìn)行編碼； 管理信息編碼單元，將用于管理存儲(chǔ)器中保存著的參照?qǐng)D像的第一存儲(chǔ)器管理信息進(jìn)行編碼，并且，附隨于己被編碼的所述編碼對(duì)象圖像，輸出被編碼的所述第一存儲(chǔ)器管理信息；管理信m再編碼單元，將所述第一存儲(chǔ)器管理信息作為第二存儲(chǔ)器管理信息再次進(jìn)行編碼，在被編碼的所述第二存儲(chǔ)器管理信息上附加用于確定所 述編碼對(duì)象圖像的圖像確定信息，并且，附隨于與所述編碼對(duì)象圖像不同的 別的編碼圖像，輸出附加了所述圖像確定信息的被編碼的所述第二存儲(chǔ)器管 理信息。
全文摘要
本發(fā)明的圖像編碼方法，參照從存儲(chǔ)器內(nèi)保存著的多個(gè)參照?qǐng)D像中選擇的參照?qǐng)D像進(jìn)行編碼，包括參照所選擇的參照?qǐng)D像，對(duì)編碼對(duì)象圖像進(jìn)行編碼；將用于管理存儲(chǔ)器中保存著的參照?qǐng)D像的第一存儲(chǔ)器管理信息進(jìn)行編碼，并且，附隨于已被編碼的所述編碼對(duì)象圖像，輸出被編碼的所述第一存儲(chǔ)器管理信息；將所述第一存儲(chǔ)器管理信息作為第二存儲(chǔ)器管理信息再次進(jìn)行編碼；在被編碼的所述第二存儲(chǔ)器管理信息上附加用于確定所述編碼對(duì)象圖像的圖像確定信息，并且，附隨于與所述編碼對(duì)象圖像不同的別的編碼圖像，輸出附加了所述圖像確定信息的被編碼的所述第二存儲(chǔ)器管理信息。
文檔編號(hào)H04N7/26GK101483773SQ200810170028
公開日2009年7月15日 申請(qǐng)日期2003年4月10日 優(yōu)先權(quán)日2002年4月12日
發(fā)明者安倍清史, 羽飼誠, 近藤敏志, 野真也 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社