專利名稱：編碼流記錄介質(zhì)、圖像編碼裝置和圖像解碼裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及記錄有已對(duì)圖像進(jìn)行編碼的編碼流的介質(zhì)、用于對(duì)圖像進(jìn)行編碼的編碼裝置、對(duì)圖像進(jìn)行解碼的解碼裝置、對(duì)圖像進(jìn)行編碼的方法和進(jìn)行解碼的方法，特別是涉及利用這些的圖像記錄裝置、圖像播放機(jī)、便攜式電話、數(shù)字?jǐn)z像機(jī)等裝置。
背景技術(shù)：
作為記錄、傳遞圖像、語音信息的方法，制定了MPEG(MovingPicture Experts Group運(yùn)動(dòng)圖像專家組)方法等編碼方法，作為MPEG-1標(biāo)準(zhǔn)、MPEG-2標(biāo)準(zhǔn)、MPEG-4標(biāo)準(zhǔn)等成為國(guó)際標(biāo)準(zhǔn)的編碼方法。此外，作為進(jìn)一步提高壓縮率的方法，正在確定H.264/AVC(Advanced Video Coding高級(jí)視頻編碼)標(biāo)準(zhǔn)等。這些方法被采用為數(shù)字衛(wèi)星廣播和DVD、便攜式電話和數(shù)字?jǐn)z像機(jī)等中的編碼方法。
另一方面，在這種應(yīng)用中有時(shí)按照與攝像的時(shí)間序列相反方向再現(xiàn)。作為生成這種能夠逆向再現(xiàn)流的方法，有通過僅使用幀內(nèi)編碼與雙向預(yù)測(cè)幀而實(shí)現(xiàn)逆向再現(xiàn)的方法(例如參照日本專利特開平8-280024號(hào)公報(bào))。
在上述方式中，存在有在接收側(cè)對(duì)所傳送的流進(jìn)行解碼時(shí)，為了在任意的再現(xiàn)部位逆向地再現(xiàn)圖像，需要大量用于解碼的存儲(chǔ)器這樣的問題。例如，這里以現(xiàn)有的方式對(duì)由圖3所示的從多視點(diǎn)的物體攝像系統(tǒng)(301)所拍攝的多視點(diǎn)圖像進(jìn)行壓縮編碼。在該情況下，各視點(diǎn)位置的圖像對(duì)應(yīng)于通常的流中的時(shí)間方向的幀。在圖3中，I表示幀內(nèi)編碼，P表示正向預(yù)測(cè)幀，B表示雙向預(yù)測(cè)幀。這里在再現(xiàn)B6的位置的圖像的情況下，有必要首先根據(jù)I1對(duì)P4進(jìn)行解碼，然后根據(jù)P4與I7對(duì)B6進(jìn)行解碼。因此，為了B6的解碼需要用于處理I1、P4、I7、B6四張圖像的存儲(chǔ)器，存在處理量也大幅度增大這樣的問題。因此，無法實(shí)現(xiàn)在接收側(cè)實(shí)時(shí)地變更視點(diǎn)位置而顯示圖像的多視點(diǎn)圖像的傳送顯示方式。這是因?yàn)楝F(xiàn)有的運(yùn)動(dòng)圖像壓縮方式為了相對(duì)于時(shí)間方向在順方向上再現(xiàn)而設(shè)計(jì)編碼方法的緣故，是因?yàn)椴贿m應(yīng)以幀為單位逆向再現(xiàn)而發(fā)生的問題。
進(jìn)而，在上述專利文獻(xiàn)1所述的方法中由于無法使用正向預(yù)測(cè)幀，故為了將圖像質(zhì)量保持在一定以上有必要增多幀內(nèi)編碼，存在有數(shù)據(jù)量增多很多這樣的問題。因而該方法不適合上述那種多視點(diǎn)圖像的傳送。
本發(fā)明鑒于上述現(xiàn)有技術(shù)，提供一種圖像質(zhì)量高且壓縮率高的能夠以幀為單位逆向再現(xiàn)的編碼流、與之對(duì)應(yīng)的圖像編碼裝置、圖像解碼裝置。此外，本發(fā)明提供一種適于多視點(diǎn)圖像的壓縮，使用其的多視點(diǎn)圖像的編碼流與圖像編碼裝置、圖像解碼裝置。

發(fā)明內(nèi)容
為了解決上述課題，本申請(qǐng)中公開的構(gòu)成的典型如下。
將多個(gè)幀作為各個(gè)畫面數(shù)據(jù)而進(jìn)行編碼，對(duì)于一個(gè)幀，具有從其他上述幀向正向預(yù)測(cè)的畫面數(shù)據(jù)、和從其他上述幀在與上述正向預(yù)測(cè)相反方向上逆向預(yù)測(cè)的畫面數(shù)據(jù)的編碼流的記錄介質(zhì)。
此外，包括可以儲(chǔ)存多個(gè)輸入圖像的圖像存儲(chǔ)器；判定圖像的處理順序的處理方向判定部；以及進(jìn)行預(yù)測(cè)處理的預(yù)測(cè)處理部的圖像編碼裝置，其中預(yù)測(cè)處理部通過處理方向判定部的指示對(duì)編碼對(duì)象的幀在過去的參照?qǐng)D像與未來的參照?qǐng)D像間切換來自上述參照?qǐng)D像的輸入。以及一種解碼裝置，其中上述編碼流對(duì)于一個(gè)圖像接收具有區(qū)別正向預(yù)測(cè)而生成的畫面數(shù)據(jù)和在與該正向預(yù)測(cè)相反方向上逆向預(yù)測(cè)而生成的畫面數(shù)據(jù)的標(biāo)志的編碼流，按照確定處理方向的處理方向判定部的指示對(duì)上述編碼流進(jìn)行解碼。
根據(jù)本發(fā)明，可以生成圖像質(zhì)量、壓縮率高，而且，能夠以幀為單位逆向再現(xiàn)的編碼流。進(jìn)而，可以實(shí)現(xiàn)與之對(duì)應(yīng)的圖像編碼裝置、圖像解碼裝置。此外，可以實(shí)現(xiàn)適于多視點(diǎn)圖像的壓縮的編碼流與圖像編碼裝置、圖像解碼裝置。


圖1是本發(fā)明中使用的編碼流的一個(gè)實(shí)施例的說明圖。
圖2解碼方法中的現(xiàn)有方法與本發(fā)明的方法的比較圖。
圖3是說明多視點(diǎn)圖像的攝像系統(tǒng)的示意圖。
圖4是將本發(fā)明的編碼流用于多視點(diǎn)圖像編碼的實(shí)施例的說明圖。
圖5是本發(fā)明中使用的圖像編碼裝置的一個(gè)實(shí)施例的說明圖。
圖6是詳細(xì)說明本發(fā)明中使用的圖像編碼裝置的一個(gè)實(shí)施例的示意圖。
圖7是本發(fā)明中使用的圖像解碼裝置的一個(gè)實(shí)施例的說明圖。
圖8是詳細(xì)說明本發(fā)明中使用的圖像解碼裝置的一個(gè)實(shí)施例的示意圖。
圖9是說明本發(fā)明的圖像編碼方法的示意圖。
圖10是說明本發(fā)明的圖像解碼方法的示意圖。
具體實(shí)施例方式
(實(shí)施例1)通過圖示說明本發(fā)明的實(shí)施例。
圖1表示本發(fā)明的編碼流的一個(gè)實(shí)施例，對(duì)其特征進(jìn)行敘述。
使用已對(duì)原圖像列(101)進(jìn)行編碼的流(104)進(jìn)行說明。編碼流作為數(shù)據(jù)列(103)而記錄在數(shù)據(jù)記錄介質(zhì)(102)中。在原圖像列中，I表示幀內(nèi)編碼，P表示正預(yù)測(cè)幀，B表示雙向預(yù)測(cè)幀。序號(hào)表示再現(xiàn)時(shí)的幀序號(hào)。在編碼流(104)中，I1’表示已對(duì)I1進(jìn)行編碼的數(shù)據(jù)。P畫面、B畫面分別是進(jìn)行完正向預(yù)測(cè)、雙向預(yù)測(cè)后的編碼數(shù)據(jù)。以下，記號(hào)的意義相同。而且，箭頭106表示順方向再現(xiàn)的方向，箭頭107表示逆再現(xiàn)方向。
首先，表示以I1、B2、B3、P4的順序順方向再現(xiàn)編碼流(104)的方法。I1’由于被內(nèi)編碼，所以被單獨(dú)解碼，I1被再現(xiàn)。接著，由于P4’被正向預(yù)測(cè)編碼，所以P4根據(jù)I1與P4’的數(shù)據(jù)而被再現(xiàn)。此外，由于B2’被雙向預(yù)測(cè)編碼，所以B2根據(jù)I1、P4與B2’的數(shù)據(jù)而被再現(xiàn)。B3的再現(xiàn)也可以同樣地進(jìn)行。這樣，可以通過讀出最大三個(gè)關(guān)聯(lián)的畫面數(shù)據(jù)而進(jìn)行再現(xiàn)。
接下來，表示以I7、B6、B5、P4的順序的逆向再現(xiàn)的方法。本申請(qǐng)的特征在于逆向預(yù)測(cè)幀R4’的存在。所謂逆向預(yù)測(cè)幀是指僅將按照本來的再現(xiàn)順序(時(shí)間順序)可以從后面再現(xiàn)的幀作為參照幀而預(yù)測(cè)的幀。具體地說，在本申請(qǐng)實(shí)施例中對(duì)圖像P4而言，具有由正向預(yù)測(cè)所生成的畫面數(shù)據(jù)P4’和由與正向預(yù)測(cè)相反方向的逆向預(yù)測(cè)所生成的畫面數(shù)據(jù)P4’的特征。I7’單獨(dú)地被解碼而I7被再現(xiàn)。接著，P4在現(xiàn)有的方法中如果不用I1與P4’則不能再現(xiàn)。但是在本發(fā)明中具有作為逆向預(yù)測(cè)的畫面數(shù)據(jù)的R4’(105)。這是根據(jù)I7逆向預(yù)測(cè)P4所得到的畫面數(shù)據(jù)。也就是說通過使用被解碼的I7與R4’的數(shù)據(jù)可以再現(xiàn)P4。接著對(duì)B6、B5而言，通過使用I7、P4與分別使用B6’、B5’可以進(jìn)行再現(xiàn)。這樣一來，在本申請(qǐng)中具有針對(duì)某個(gè)幀，僅由從其他幀在時(shí)間方向或視點(diǎn)位置的移動(dòng)方向上正向預(yù)測(cè)的數(shù)據(jù)構(gòu)成的畫面數(shù)據(jù)P，和針對(duì)同一幀，僅有由從其他幀在時(shí)間方向或視點(diǎn)位置的移動(dòng)方向上逆向預(yù)測(cè)的數(shù)據(jù)構(gòu)成的畫面數(shù)據(jù)R。由此雖然在現(xiàn)有的方法中為了進(jìn)行逆向再現(xiàn)需要大量的存儲(chǔ)器和處理，但是通過使用本發(fā)明的編碼流可以少的存儲(chǔ)器與處理量簡(jiǎn)單地以幀為單位逆向再現(xiàn)成為可能。因?yàn)榉謩e具有來自雙向的預(yù)測(cè)幀，故是高圖像質(zhì)量，與具有幀內(nèi)編碼的情況相比具有編碼量小這樣的優(yōu)點(diǎn)。R4’的畫面數(shù)據(jù)是現(xiàn)有的流中不存在的數(shù)據(jù)。因此也可以由作為將該逆向預(yù)測(cè)幀的數(shù)據(jù)作為現(xiàn)有的流中附加信息記錄的方法的專用數(shù)據(jù)形式來記錄。所謂專用數(shù)據(jù)形式是用于取現(xiàn)有的標(biāo)準(zhǔn)與擴(kuò)展的標(biāo)準(zhǔn)的互換性的數(shù)據(jù)形式，也可以稱為追加數(shù)據(jù)。一般來說標(biāo)準(zhǔn)中含有表示專用數(shù)據(jù)范圍的信息，僅對(duì)應(yīng)于現(xiàn)有標(biāo)準(zhǔn)的解碼器忽視該專用數(shù)據(jù)的內(nèi)容。對(duì)應(yīng)于擴(kuò)展標(biāo)準(zhǔn)的解碼器可以讀取處理該專用數(shù)據(jù)的內(nèi)容。通過使用該形式，即使將該流輸入到不對(duì)應(yīng)逆向再現(xiàn)的現(xiàn)有的解碼裝置，也可以作為正常的流順向再現(xiàn)。
參照?qǐng)D2說明本發(fā)明的方法與現(xiàn)有方法的處理量的不同。
作為逆向再現(xiàn)，假定按照I13、B12、B11、P10的順序再現(xiàn)，考慮再現(xiàn)B12的情況。為了再現(xiàn)B12有必要對(duì)I13與P10進(jìn)行解碼，在現(xiàn)有方法圖2A中，為了再現(xiàn)P10，根據(jù)I1對(duì)P4進(jìn)行預(yù)測(cè)并解碼的步驟、根據(jù)P4對(duì)P7進(jìn)行預(yù)測(cè)并解碼的步驟、根據(jù)P7對(duì)P10進(jìn)行預(yù)測(cè)并解碼的步驟、I13單獨(dú)進(jìn)行解碼的步驟、以及最后根據(jù)I13與P10對(duì)B12進(jìn)行解碼的步驟是必要的，五階段的處理是必要的。此外還必須具有保持該量的數(shù)據(jù)的存儲(chǔ)器。
另一方面，在提案方法圖2B中，因?yàn)橥ㄟ^逆向預(yù)測(cè)畫面根據(jù)I13能夠?qū)10進(jìn)行解碼，故只要有I13單獨(dú)進(jìn)行解碼的步驟、根據(jù)I13對(duì)P10進(jìn)行解碼的步驟、根據(jù)I13與P10對(duì)B12進(jìn)行解碼的步驟即可，使用三階段的處理即可，與現(xiàn)有方法相比可以削減處理量、存儲(chǔ)器量。
接下來在圖3中，對(duì)將本申請(qǐng)運(yùn)用于拍攝記錄多視點(diǎn)圖像的系統(tǒng)的一個(gè)實(shí)施例進(jìn)行說明。
在拍攝多視點(diǎn)圖像的系統(tǒng)中，有如圖3A所示包圍拍攝對(duì)象物(304)而配置攝像機(jī)(302)等的視點(diǎn)位置的類型，或如圖3B所示，使攝像機(jī)向外拍攝全周的全景圖像的類型。在圖3A、圖3B中表示攝像機(jī)拍攝的各圖像的編碼類型的一個(gè)實(shí)施例者分別是(303)、(306)。在傳送這種多視點(diǎn)圖像的情況下，為了壓縮數(shù)據(jù)量，利用相鄰的視點(diǎn)間的相關(guān)進(jìn)行預(yù)測(cè)而編碼。具體地說，按照?qǐng)D的I1～B12的數(shù)字所表示的順序從某個(gè)幀作為一周而取入連續(xù)的幀，分別進(jìn)行內(nèi)預(yù)測(cè)編碼、正向預(yù)測(cè)編碼、雙向預(yù)測(cè)編碼等的某一種。此外，也可以在進(jìn)行視點(diǎn)間的預(yù)測(cè)后，針對(duì)各視點(diǎn)位置在時(shí)間方向上進(jìn)行預(yù)測(cè)。這可以在想要以對(duì)象物體作為運(yùn)動(dòng)圖像記錄的情況下進(jìn)行。作為順序，首先通過上述方法對(duì)各視點(diǎn)位置的圖像進(jìn)行編碼。接著以經(jīng)過編碼的圖像作為參照幀，針對(duì)每個(gè)視點(diǎn)位置獨(dú)立地作為運(yùn)動(dòng)圖像在時(shí)間方向上進(jìn)行預(yù)測(cè)而編碼。通過以一定的時(shí)間間隔進(jìn)行這些，可以記錄多視點(diǎn)的運(yùn)動(dòng)圖像。但是，視點(diǎn)的移動(dòng)限于在視點(diǎn)間預(yù)測(cè)編碼的定時(shí)之時(shí)。
圖4中，對(duì)將本發(fā)明的編碼流用于多視點(diǎn)圖像的編碼的情況進(jìn)行說明。
如前所述，在多視點(diǎn)圖像的拍攝系統(tǒng)中，由多個(gè)視點(diǎn)位置的攝像機(jī)(401)或移動(dòng)的攝像機(jī)拍攝對(duì)應(yīng)于各自的位置的圖像(402)，這些作為連續(xù)的幀被預(yù)測(cè)編碼而作成編碼流(403)。在接收流并再現(xiàn)一側(cè)，由于用戶環(huán)視對(duì)象物體，故通過其指示不僅編碼的方向(右旋、順向)，而且在逆向(左旋)上也必須再現(xiàn)并提示圖像。如前所述，雖然在現(xiàn)有方法中為了進(jìn)行逆向再現(xiàn)需要非常多的處理量、存儲(chǔ)器，但是本發(fā)明的具有逆向預(yù)測(cè)畫面R10’(404)的方法可以大幅度地削減它們，逆向再現(xiàn)也可以簡(jiǎn)易地進(jìn)行。
在本發(fā)明的多視點(diǎn)圖像的編碼流中，也可以在現(xiàn)有的編碼流中的時(shí)間標(biāo)記部分不記錄再現(xiàn)時(shí)間信息，而記錄關(guān)于時(shí)間以外的視點(diǎn)位置的信息等。例如只要記錄視點(diǎn)位置的方位、攝像機(jī)的角度、絕對(duì)位置、各視點(diǎn)位置的幀的顯示持續(xù)時(shí)間等即可。此外，也可以在流中記錄表示這種不是再現(xiàn)時(shí)間信息的信息被記錄的情況的標(biāo)志。在通過記錄視點(diǎn)位置的方位或攝像機(jī)的角度、絕對(duì)位置，指示用戶從哪個(gè)方向看對(duì)象物體時(shí)，可以根據(jù)這些信息從流中選擇最適合于顯示的幀。此外，如果記錄有視點(diǎn)位置的幀的顯示持續(xù)時(shí)間，則可以自動(dòng)地再現(xiàn)旋轉(zhuǎn)操縱地環(huán)視對(duì)象物體時(shí)的圖像。由于這些信息與現(xiàn)有的標(biāo)準(zhǔn)中的時(shí)間標(biāo)記描述方法不同，所以在流中記錄表示記錄有其它信息的標(biāo)志。
如前所述，在通過用戶的指示變更視點(diǎn)位置而再現(xiàn)已對(duì)多視點(diǎn)圖像進(jìn)行編碼的流的情況下，如果進(jìn)行逆向再現(xiàn)，則有時(shí)在再現(xiàn)了流中的最初編碼的幀后，再現(xiàn)最后編碼的幀。因?yàn)檫@種再現(xiàn)順序成為特殊的再現(xiàn)方法，故通過解碼裝置區(qū)別現(xiàn)有的流的標(biāo)志變得必要。在流中記錄表示能夠像這樣逆向循環(huán)再現(xiàn)的標(biāo)志，在有該標(biāo)志的情況下，也可以再現(xiàn)了連續(xù)的幀的前后最終幀后(在本實(shí)施例中例如B12)連續(xù)再現(xiàn)另一方的幀(I1)。
圖5表示本發(fā)明的圖像編碼裝置的一個(gè)實(shí)施例。
圖像編碼裝置由圖像輸入部(501)、圖像存儲(chǔ)器(502)、處理方向判定部(503)、編碼預(yù)測(cè)處理部(504)、誤差調(diào)整部(505)、編碼處理部(506)、幀存儲(chǔ)器(507)、輸出部(508)構(gòu)成。雖然也可以沒有誤差調(diào)整部(505)，但是具有以后可以提高圖像質(zhì)量。
首先，圖像輸入部(501)將來自攝像機(jī)等的圖像信息輸入到編碼裝置，儲(chǔ)存在圖像存儲(chǔ)器(502)中。圖像可以由多個(gè)攝像機(jī)同時(shí)攝制，也可以連續(xù)地輸入而存儲(chǔ)。接著處理方向判定部(503)判定圖像的處理順序、正向預(yù)測(cè)、逆向預(yù)測(cè)等編碼處理方法，傳送到編碼預(yù)測(cè)處理部(504)。預(yù)測(cè)處理部(504)按照指示，從圖像存儲(chǔ)器(502)取得合適的圖像，用幀存儲(chǔ)器(507)的參照?qǐng)D像進(jìn)行預(yù)測(cè)處理。雖然由編碼預(yù)測(cè)處理部(504)進(jìn)行各畫面的預(yù)測(cè)編碼處理，但是有時(shí)在像圖4的實(shí)施例中所示的P4那樣正向預(yù)測(cè)畫面數(shù)據(jù)P4’與逆向預(yù)測(cè)畫面數(shù)據(jù)R4’這樣兩個(gè)數(shù)據(jù)生成的圖像中，因再現(xiàn)的方向而在解碼圖像中產(chǎn)生圖像質(zhì)量之差。在使用雙向預(yù)測(cè)畫面的情況下，因?yàn)樵谡蚝湍嫦虻脑佻F(xiàn)時(shí)全都使用同一數(shù)據(jù)，故如果在參照?qǐng)D像的圖像質(zhì)量上有差別則因再現(xiàn)方向在圖像質(zhì)量上產(chǎn)生差別。為了避免這種情況，在本發(fā)明的圖像編碼裝置中，由誤差調(diào)整部(505)進(jìn)行再現(xiàn)方向引起的圖像質(zhì)量差的調(diào)整。分別暫時(shí)對(duì)正向預(yù)測(cè)畫面數(shù)據(jù)與逆向預(yù)測(cè)畫面數(shù)據(jù)進(jìn)行解碼，逐塊比較圖像質(zhì)量，對(duì)圖像質(zhì)量上有超過一定的差別的塊，對(duì)一方或雙方的畫面的塊調(diào)整參數(shù)并再次編碼以便圖像質(zhì)量一致。接著編碼處理部(506)根據(jù)所預(yù)測(cè)的信息進(jìn)行圖像的編碼，將數(shù)據(jù)送到輸出部(508)生成編碼流。另一方面，編碼處理部(506)對(duì)生成的編碼數(shù)據(jù)進(jìn)行解碼，恢復(fù)到圖像并送到幀存儲(chǔ)器(507)。儲(chǔ)存在幀存儲(chǔ)器(507)中的圖像，為了按照編碼預(yù)測(cè)處理部(504)在下一個(gè)圖像的預(yù)測(cè)中使用而作為參照幀被儲(chǔ)存。
接下來參照?qǐng)D6進(jìn)行圖像編碼裝置的一個(gè)實(shí)施例的詳細(xì)說明。圖6是詳細(xì)表示編碼預(yù)測(cè)處理部(504)的示意圖。
首先，編碼的原圖像從圖像存儲(chǔ)器(502)取入到原圖像存儲(chǔ)器(601)。此外，參照?qǐng)D像從幀存儲(chǔ)器(507)取入到參照?qǐng)D像存儲(chǔ)器(603)。接著，關(guān)于圖像的預(yù)測(cè)方法、進(jìn)行哪種類型的預(yù)測(cè)的編碼方法的指示從處理方向判定部(503)傳送到切換處理部(602)，參照?qǐng)D像與原圖像按照該指示送到作為各預(yù)測(cè)處理部的內(nèi)編碼預(yù)測(cè)部(604)、單向編碼預(yù)測(cè)部(605)、雙向編碼預(yù)測(cè)部(606)。內(nèi)編碼預(yù)測(cè)部(604)是在圖像內(nèi)部進(jìn)行編碼的預(yù)測(cè)處理的處理部，單向編碼預(yù)測(cè)部(605)進(jìn)行正向或逆向的預(yù)測(cè)處理。雙向編碼預(yù)測(cè)部(606)進(jìn)行雙向編碼預(yù)測(cè)處理。也就是說，由于正向預(yù)測(cè)與逆向預(yù)測(cè)全都是單向的預(yù)測(cè)處理，所以如果由切換處理部(602)進(jìn)行預(yù)測(cè)中使用的參照?qǐng)D像的替換，則由同一單向編碼預(yù)測(cè)部(605)進(jìn)行處理是可能的。也就是說僅在進(jìn)行逆向預(yù)測(cè)編碼的情況下進(jìn)行切換處理即可。在參照?qǐng)D像存儲(chǔ)器中有過去圖像存儲(chǔ)器與未來圖像存儲(chǔ)器，正向預(yù)測(cè)時(shí)用過去圖像存儲(chǔ)器，雙向預(yù)測(cè)時(shí)使用兩者。雖然逆向預(yù)測(cè)時(shí)僅使用未來圖像存儲(chǔ)器即可，但是為了與正向預(yù)測(cè)部使處理通用化，通過切換處理使本來進(jìn)入未來圖像存儲(chǔ)器的參照?qǐng)D像進(jìn)入過去圖像存儲(chǔ)器。通過像這樣切換部使預(yù)測(cè)部中使用的參照?qǐng)D像在編碼對(duì)象的圖像的未來的圖像與過去的圖像之間切換而實(shí)現(xiàn)本發(fā)明。通過各預(yù)測(cè)處理部處理的數(shù)據(jù)發(fā)送到誤差調(diào)整部(505)。通過以上這種處理可以進(jìn)行編碼。
圖7表示本發(fā)明的圖像解碼裝置的一個(gè)實(shí)施例。
圖像解碼裝置由流輸入部(701)、流緩存器(702)、處理方向判定部(703)、解碼預(yù)測(cè)處理部(704)、解碼處理部(705)、幀存儲(chǔ)器(706)、輸出部(707)構(gòu)成。
首先流輸入部(701)將編碼流輸入到解碼裝置，儲(chǔ)存在流緩存器(702)中。接著處理方向判定部(703)按照用戶的指示輸入確定將要處理的數(shù)據(jù)的順序，傳送到解碼預(yù)測(cè)處理部(704)。例如，在再現(xiàn)多視點(diǎn)圖像的解碼裝置中，如果用戶右旋地環(huán)視或左旋地環(huán)視對(duì)象物體，則將編碼流的解碼方向變成各種方向。處理方向判定部(703)從儲(chǔ)存于流緩存器(702)的數(shù)據(jù)之中，基于用戶的指示指定適當(dāng)?shù)漠嬅鏀?shù)據(jù)的位置，將解碼的順序傳送到解碼預(yù)測(cè)處理部(704)。此外處理方向判定部(703)進(jìn)行流中的標(biāo)志的檢驗(yàn)，判定所輸入的流是否能夠逆向再現(xiàn)，或者判定作為多視點(diǎn)圖像的編碼流是否能夠逆向的循環(huán)再現(xiàn)。
接著解碼預(yù)測(cè)處理部(704)按照指示，從流緩存器(702)取得適當(dāng)?shù)漠嬅鏀?shù)據(jù)進(jìn)行預(yù)測(cè)處理。除了數(shù)據(jù)和參照?qǐng)D像的切換，解碼預(yù)測(cè)處理部(704)可以是與通常的解碼裝置的預(yù)測(cè)處理部同樣的動(dòng)作。預(yù)測(cè)處理后的數(shù)據(jù)送到解碼處理部(705)，作為圖像再現(xiàn)而輸出到輸出部(707)。此外將解碼過的圖像送到幀存儲(chǔ)器(707)，作為下一個(gè)解碼的圖像的參照?qǐng)D像被儲(chǔ)存。
接下來參照?qǐng)D8進(jìn)行圖像解碼裝置的一個(gè)實(shí)施例的詳細(xì)說明。圖8是詳細(xì)表示解碼預(yù)測(cè)處理部(704)的示意圖。
首先，解碼的畫面數(shù)據(jù)從流緩存器(702)取入數(shù)據(jù)切換部(801)。此外，參照?qǐng)D像從幀存儲(chǔ)器(706)進(jìn)入?yún)⒄請(qǐng)D像存儲(chǔ)器(802)。接著，關(guān)于圖像的預(yù)測(cè)方法、解碼方法的指示從處理方向判定部(703)傳送到數(shù)據(jù)切換部(801)，按照該指示適當(dāng)?shù)臄?shù)據(jù)被送到作為各預(yù)測(cè)處理部的內(nèi)解碼預(yù)測(cè)部(803)、單向解碼預(yù)測(cè)部(804)、雙向解碼預(yù)測(cè)部(805)。內(nèi)解碼預(yù)測(cè)部(803)是在圖像內(nèi)部進(jìn)行解碼的預(yù)測(cè)處理的處理部，單向解碼預(yù)測(cè)部(804)進(jìn)行正向或逆向的解碼預(yù)測(cè)處理。雙向解碼預(yù)測(cè)部(805)進(jìn)行雙向解碼預(yù)測(cè)處理。也就是說，由于正向預(yù)測(cè)與逆向預(yù)測(cè)全都是單向的預(yù)測(cè)處理，所以如果由數(shù)據(jù)切換部(801)適當(dāng)?shù)厍袚Q解碼的數(shù)據(jù)的順序與參照?qǐng)D像，則可以由同一單向解碼預(yù)測(cè)部(804)處理。由各預(yù)測(cè)處理部處理的數(shù)據(jù)被送到解碼處理部(705)。通過以上這種處理可以進(jìn)行解碼。這樣一來編碼、解碼裝置無論如何僅靠少量改良現(xiàn)有的裝置可以實(shí)現(xiàn)。
接下來，圖9表示本發(fā)明的編碼方法的概略，說明其內(nèi)容。
首先在步驟(901)中進(jìn)行圖像的緩存。這里將從多個(gè)視點(diǎn)的圖像或連續(xù)的幀取入存儲(chǔ)器。接著在步驟(902)中，進(jìn)行內(nèi)預(yù)測(cè)、正向預(yù)測(cè)、雙向預(yù)測(cè)的處理。這些是與現(xiàn)有的編碼順序相同的處理，是生成與現(xiàn)有的編碼流相同的畫面數(shù)據(jù)的步驟。接著在步驟(903)中進(jìn)行存儲(chǔ)器切換。這是在生成能夠逆向再現(xiàn)流時(shí)，為了通過與前述正向預(yù)測(cè)相同的處理進(jìn)行逆向預(yù)測(cè)，進(jìn)行成為對(duì)象的參照?qǐng)D像的替換的處理。接著在步驟(904)中進(jìn)行逆向的預(yù)測(cè)處理。這里生成使逆向再現(xiàn)成為可能的僅逆向預(yù)測(cè)的畫面數(shù)據(jù)。接著在步驟(905)中進(jìn)行誤差調(diào)整與標(biāo)志處理。誤差調(diào)整如前所述，是進(jìn)行僅正向預(yù)測(cè)的畫面數(shù)據(jù)與僅逆向預(yù)測(cè)的畫面數(shù)據(jù)的編碼方法的調(diào)整，以便在正向再現(xiàn)時(shí)與逆向再現(xiàn)時(shí)不產(chǎn)生圖像質(zhì)量的差別的處理。此外在標(biāo)志處理中，輸出表示輸出的編碼流對(duì)應(yīng)逆向再現(xiàn)的標(biāo)志，或能夠逆向循環(huán)再現(xiàn)的信息等。最后在步驟(906)中，作為流輸出如以上這樣生成的編碼數(shù)據(jù)。作為處理步驟，也可以進(jìn)行切換存儲(chǔ)器等同時(shí)進(jìn)行步驟(902)的通常的處理與步驟(904)的逆向的處理。通過以上這種方法可以生成能夠逆向再現(xiàn)的流。
接下來，圖10表示本發(fā)明的圖像解碼方法的概略，說明其內(nèi)容。
首先在步驟(1001)中進(jìn)行編碼流的數(shù)據(jù)緩存。接著在步驟(1002)中進(jìn)行編碼流的標(biāo)志判定。對(duì)標(biāo)志的內(nèi)容而言如前所述。接著在步驟(1003)中進(jìn)行再現(xiàn)方向的判定。進(jìn)行判定因用戶的指示而變更的圖像的再現(xiàn)方向的處理。接著在步驟(1004)中進(jìn)行數(shù)據(jù)切換。數(shù)據(jù)切換，從儲(chǔ)存數(shù)據(jù)的存儲(chǔ)器讀出對(duì)應(yīng)于再現(xiàn)方向的畫面數(shù)據(jù)將數(shù)據(jù)送到預(yù)測(cè)處理部。接著在步驟(1005)中進(jìn)行預(yù)測(cè)、解碼處理。通過由步驟(1004)傳送適當(dāng)?shù)捻樞虻臄?shù)據(jù)，解碼處理本身可以通過與現(xiàn)有的解碼同樣的處理實(shí)現(xiàn)。最后在步驟(1006)中輸出解碼過的圖像。通過以上這種方法圖像可以從能夠逆向再現(xiàn)的流解碼。
通過上述這種方法，生成能夠逐幀地逆向再現(xiàn)的編碼流，可以傳送并再現(xiàn)。此外，可以實(shí)現(xiàn)使用其的多視點(diǎn)圖像編碼裝置、解碼裝置。
此外，雖然在上述實(shí)施例中舉例示出多視點(diǎn)圖像的編碼裝置、解碼裝置，但是本發(fā)明的運(yùn)用不限于此，以通常的運(yùn)動(dòng)圖像編碼為首可以用于各種圖像編碼裝置、解碼裝置等。在將本方式用于通常的運(yùn)動(dòng)圖像編碼的情況下，以少的存儲(chǔ)器量以幀為單位的逆向再現(xiàn)成為可能，在用于多視點(diǎn)圖像編碼的情況下，以少的存儲(chǔ)器量根據(jù)用戶的指示的自由的視點(diǎn)位置移動(dòng)成為可能。
而且，在本申請(qǐng)中所述的實(shí)施例可以由程序規(guī)定，用計(jì)算機(jī)讀入而運(yùn)行，此外可以通過與硬件的協(xié)調(diào)，或者由硬件單獨(dú)實(shí)現(xiàn)。
工業(yè)實(shí)用性本發(fā)明可以運(yùn)用于信息的編碼解碼。
權(quán)利要求
1.一種記錄介質(zhì)，記錄有分別將多個(gè)幀編碼作為畫面數(shù)據(jù)的編碼流的記錄介質(zhì)，其特征在于編碼流，就上述一個(gè)幀而言，具有從其他上述幀順向預(yù)測(cè)的畫面數(shù)據(jù)，與從其他上述幀在與上述順向預(yù)測(cè)相反方向上逆向預(yù)測(cè)的畫面數(shù)據(jù)。
2.權(quán)利要求1所述的記錄介質(zhì)，其特征在于在上述編碼流中，含有表示含有就上述一個(gè)幀而言順向預(yù)測(cè)的畫面數(shù)據(jù)與逆向預(yù)測(cè)的畫面數(shù)據(jù)的標(biāo)志。
3.權(quán)利要求1或2所述的記錄介質(zhì)，其特征在于上述逆向預(yù)測(cè)的畫面數(shù)據(jù)以專用數(shù)據(jù)形式來記錄。
4.權(quán)利要求1至3中的任何一項(xiàng)中所述的記錄介質(zhì)，其特征在于上述編碼流具有表示上述各幀的再現(xiàn)時(shí)間的時(shí)間標(biāo)記信息，或者，關(guān)于上述各幀攝像的攝像位置的信息中的某個(gè)。
5.權(quán)利要求1至4中的任何一項(xiàng)中所述的記錄介質(zhì)，其特征在于上述編碼流具有表示在再現(xiàn)時(shí)，在上述多個(gè)幀的最后的幀的再現(xiàn)后再現(xiàn)最初的幀的，或者，在再現(xiàn)最初的幀后再現(xiàn)最后的幀的情況是可能的的標(biāo)志。
6.一種圖像編碼裝置，其中包括可以儲(chǔ)存多個(gè)輸入圖像的圖像存儲(chǔ)器，判定圖像的處理順序的處理方向判定部，以及用上述輸入圖像與參照?qǐng)D像進(jìn)行預(yù)測(cè)處理的預(yù)測(cè)處理部，其特征在于上述預(yù)測(cè)處理部包括儲(chǔ)存上述參照?qǐng)D像的參照?qǐng)D像存儲(chǔ)器，和因處理方向判定部的指示進(jìn)行來自上述參照?qǐng)D像的輸入的切換的切換處理部，該切換處理部對(duì)編碼對(duì)象的幀在過去的參照?qǐng)D像與未來的參照?qǐng)D像間切換來自上述參照?qǐng)D像的輸入。
7.權(quán)利要求6所述的圖像編碼裝置，其特征在于上述預(yù)測(cè)處理部針對(duì)一個(gè)圖像生成用上述過去的參照?qǐng)D像進(jìn)行順向預(yù)測(cè)生成的畫面數(shù)據(jù)和在與該順向預(yù)測(cè)相反的方向上用上述未來的參照?qǐng)D像進(jìn)行逆向預(yù)測(cè)生成的畫面數(shù)據(jù)。
8.權(quán)利要求7所述的圖像編碼裝置，其特征在于還包括解碼上述順向預(yù)測(cè)畫面數(shù)據(jù)與上述逆向預(yù)測(cè)畫面數(shù)據(jù)并逐塊比較圖像質(zhì)量，調(diào)整差別超過規(guī)定的塊并再次編碼的誤差調(diào)整部。
9.一種圖像解碼裝置，其中包括儲(chǔ)存所輸入的編碼流的存儲(chǔ)器，和按照經(jīng)由輸入機(jī)構(gòu)所輸入的再現(xiàn)方向指示信息與前述編碼流中所含有的標(biāo)志信息來確定處理方向的處理方向判定部，以及按照上述處理方向判定部的指示解碼上述編碼流的解碼處理部，其特征在于，其中上述標(biāo)志表示上述編碼流針對(duì)一個(gè)圖像具有順向預(yù)測(cè)而生成的畫面數(shù)據(jù)與在與該順向預(yù)測(cè)相反方向上逆向預(yù)測(cè)而生成的畫面數(shù)據(jù)。
10.權(quán)利要求9所述的圖像解碼裝置，其特征在于上述圖像解碼裝置，基于上述再現(xiàn)方向指示信息，在流的最后的幀的再現(xiàn)后再現(xiàn)最初的幀，或者在最初的幀的再現(xiàn)后再現(xiàn)最后的幀是可能的。
全文摘要
現(xiàn)有的編碼方法存在著一個(gè)問題，即如果以幀單位進(jìn)行逆向再現(xiàn)，則需要先進(jìn)行正向解碼，致使處理量與存儲(chǔ)器增大。本發(fā)明僅包含正向預(yù)測(cè)的畫面和僅包含反向預(yù)測(cè)的畫面對(duì)于幀而言被記錄于編碼流，由此提供容易以幀單元進(jìn)行逆向再現(xiàn)的流。而且，將其用于多視點(diǎn)圖像的編碼，實(shí)現(xiàn)能夠?qū)崟r(shí)地變更視點(diǎn)以便再現(xiàn)圖像的裝置。
文檔編號(hào)H04N7/32GK1998242SQ20048004377
公開日2007年7月11日 申請(qǐng)日期2004年8月11日 優(yōu)先權(quán)日2004年8月11日
發(fā)明者村上智一, 木村淳一 申請(qǐng)人:株式會(huì)社日立制作所