專利名稱：圖像信息編碼設(shè)備和編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種當(dāng)經(jīng)由網(wǎng)絡(luò)介質(zhì)(諸如衛(wèi)星廣播、有線電^L、互聯(lián)網(wǎng)、或移動電話)接收或者在存儲介質(zhì)(諸如光盤或磁盤、或者閃存)上處理在MPEG、 H.26x等情況下利用諸如離散余弦變換或者卡洛(Karhunen-Loeve )變換的正交變換以及利用運動補償進(jìn)行壓縮的圖像信息(比特流)時使用的圖像信息編碼設(shè)備和編碼方法。日本專利申請No. 2007-050778是于2007年2月28日在日本提交的專利申請，并且將日本專利申請No. 2007-050778視為基礎(chǔ)申請，本申請是要求曰本專利申請No. 2007-050778的優(yōu)先權(quán)的申請，通過引用將該日本專利申請納入本申請中。
背景技術(shù)：
近年來，將圖像信息作為數(shù)字?jǐn)?shù)據(jù)對待的設(shè)備已經(jīng)在由廣播站進(jìn)行的信息散布以及由普通家庭進(jìn)行的信息接收中得到普及，所述裝置在這種情況下旨在高效地發(fā)送和存儲信息，并且符合用于通過利用圖像信息特有的冗余利用諸如離散余弦變換的正交變換以及利用運動補償對圖像信息進(jìn)行壓縮的方案(諸如MPEG)。
具體地講，定義為通用圖4象編碼方案的MPEG2 (ISO/IEC 13818-2)是一種覆蓋隔行掃描圖像和逐行掃描圖像以及標(biāo)準(zhǔn)分辨率圖像和高清晰度圖像的標(biāo)準(zhǔn)，并且當(dāng)前廣泛用于包括專業(yè)應(yīng)用和消費者應(yīng)用的各種應(yīng)用。利用MPEG2壓縮方案，例如，在720x480像素的標(biāo)準(zhǔn)分辨率隔行掃描圖像的情況下，分配4Mbps到8Mbps的編碼速率(比特率)，而在1920 x 1088像素的高分辨率隔行掃描圖^^的情況下，分配18Mbps到22Mbps的編碼速率，由此能夠?qū)崿F(xiàn)高壓縮率和良好的圖像質(zhì)量。
4MPEG2主要用于適合用于廣播的高圖像質(zhì)量編碼，但是與實現(xiàn)低于在MPEG1中確定的編碼速率的編碼速率(比特率)即更高壓縮率的編碼方案不兼容。人們認(rèn)為，隨著移動終端的普及，今后對于這種編碼方案的需要將增加，并且針對這種增加的需要而對MPEG4編碼方案進(jìn)行標(biāo)準(zhǔn)化。關(guān)于圖像編碼方案，在1998年12月，這種方案的規(guī)范被批準(zhǔn)為ISO/IEC 14496-2國際標(biāo)準(zhǔn)。
此外，近年來，原先旨在對用于遠(yuǎn)程電信會議的圖像進(jìn)行編碼的稱作H.26L的標(biāo)準(zhǔn)(ITU-T Q6/16 VCEG)的標(biāo)準(zhǔn)化已在進(jìn)行之中。人們知道，盡管與諸如MPEG2或MPEG4的傳統(tǒng)編碼方案相比，H.26L需要更大量計算以對圖像進(jìn)行編碼和解碼，但是利用EL26L實現(xiàn)了更高的編碼效率。此外，在當(dāng)前，作為MPEG4活動的一部分，通過加入在H.26L中不支持的功能，作為基于H.26L的增強壓縮視頻編碼的聯(lián)合模型，已執(zhí)^f亍了實現(xiàn)更高編碼效率的標(biāo)準(zhǔn)化。關(guān)于標(biāo)準(zhǔn)>(匕的計劃，在2003年3月建立了稱作H.264和MPEG-4 Part 10 ( Advanced Video Coding(先進(jìn)碎見頻編碼))的國際標(biāo)準(zhǔn)。


圖13是示出了輸出基于AVC標(biāo)準(zhǔn)的圖像壓縮信息的圖像信息編碼設(shè)備IOO的示意性結(jié)構(gòu)的框圖。
圖像信息編碼設(shè)備100包括A/D轉(zhuǎn)換器單元101、畫面重新布置緩沖器102、加法器103、正交變換單元104、量化單元105、無損編碼單元106、存儲緩沖器107、逆量化單元108、正交逆變換單元109、去塊濾波器110、幀存儲器111、幀內(nèi)預(yù)測單元112、運動預(yù)測/補償單元113、速率控制單元114等。
在圖13所示的圖像信息編碼設(shè)備100中，A/D轉(zhuǎn)換器單元101將輸入的圖像信號轉(zhuǎn)換成數(shù)字信號，并且將該數(shù)字信號提供給畫面重新布置緩沖器102。然后，畫面重新布置緩沖器102根據(jù)要從圖傳_信息編碼設(shè)備100輸出的圖像壓縮信息的圖像群(GOP: Group of Pictures)結(jié)構(gòu)執(zhí)行幀重新布置。
這里，對于要在其上執(zhí)行幀內(nèi)編碼(即利用單個幀的編碼)的圖像信息，關(guān)于輸入的圖像信息與由幀內(nèi)預(yù)測單元112產(chǎn)生的像素值之間的差的差信息被輸入到正交變換單元104。然后，正交變換單元104對該 差信息執(zhí)行諸如離散余弦變換或者卡洛變換的正交變換。正交變換單元 104將通過正交變換獲得的變換系數(shù)提供給量化單元105。
量化單元105對從正交變換單元104提供的變換系數(shù)執(zhí)行量化處 理，并且將量化后的變換系數(shù)提供給無損編碼單元106。
無損編碼單元106對從量化單元105提供的量化后的變換系數(shù)執(zhí)行 諸如可變長度編碼或者算術(shù)編碼的無損編碼。經(jīng)無損編碼單元106進(jìn)行 了無損編碼的變換系數(shù)被存儲在存儲緩沖器107中，并且輸出為圖像壓 縮信息。
量化單元105的行為由速率控制單元114控制。此外，量化單元 105將量化后的變換系數(shù)提供給逆量化單元108。此外，正交逆變換單 元109對量化后的變換系數(shù)執(zhí)行正交逆變換處理，由此將其變換成解碼 的圖傳_信息。在去塊濾波器110對該信息去除塊噪聲后，將該^f言息存儲 在幀存儲器111中。關(guān)于在幀內(nèi)預(yù)測單元112中應(yīng)用于塊/宏塊的幀內(nèi)預(yù) 測模式的信息被發(fā)送給無損編碼單元106,并且被編碼為圖l象壓縮信息 中的報頭信息的一部分。
另一方面，對于要在其上執(zhí)行幀間編碼即利用多個幀的編碼的圖像 信息，將從畫面重新布置緩沖器102提供的圖像信息輸入給運動預(yù)觀'V 補償單元U3。運動預(yù)測/補償單元113從幀存儲器111讀取要同時參考 的圖像信息。運動預(yù)測/補償單元113執(zhí)行運動預(yù)測/補償處理以產(chǎn)生參 考圖像信息，并且將該參考圖像信息提供給加法器103。加法器103將 從畫面重新布置緩沖器102提供的圖像信息變換成表示該圖傳_信息與參 考圖像信息之間的差的差信號。運動預(yù)測/補償單元113同時將運動矢量 信息提供給無損編碼單元106。無損編碼單元106對運動矢量信息執(zhí)行 諸如可變長度編碼或者算術(shù)編碼的無損編碼處理，并且形成要插入到圖 像壓縮信息的報頭部分中的信息。其它處理與關(guān)于要進(jìn)行幀內(nèi)編碼的圖 《象壓縮信息的處理相同。
圖14是示出了利用諸如離散余弦變換或者卡洛變換的正交變換以 及利用運動補償來實現(xiàn)圖像壓縮的圖像信息解碼設(shè)備200的示意性結(jié)構(gòu)的框圖。
圖像信息解碼設(shè)備200包括存儲緩沖器201、無損解碼單元202、 逆量化單元203、正交逆變換單元204、加法器205、畫面重新布置緩沖 器206、 D/A轉(zhuǎn)換器單元207、幀存儲器208、運動預(yù)測/補償單元209、 幀內(nèi)預(yù)測單元210、去塊濾波器211等。
在圖14所示的圖像信息解碼設(shè)備200中，存儲緩沖器201臨時存 儲輸入的圖像壓縮信息，并且將存儲的圖像壓縮信息傳送給無損解碼單 元202。無損解碼單元202根據(jù)確定的圖像壓縮信息的格式，對從存儲 緩沖器201傳送的圖像壓縮信息執(zhí)行諸如可變長度解碼或者算術(shù)解碼的 處理。另外，當(dāng)幀是幀內(nèi)編碼的幀時，無損解碼單元202還對存儲在圖 像壓縮信息的報頭部分中的幀內(nèi)預(yù)測模式信息進(jìn)行解碼，并且將該信息 提供給幀內(nèi)預(yù)測單元210。此外，當(dāng)幀是幀間編碼的幀時，無損解碼單 元202還對存儲在圖像壓縮信息的報頭部分中的運動矢量信息進(jìn)行解 碼，并且將該信息提供給運動預(yù)測/補償單元209。
逆量化單元203對從無損解碼單元202提供的量化后的變換系數(shù)進(jìn) 行逆量化，并且將該變換系數(shù)提供給正交逆變換單元204作為變換系 數(shù)。正交逆變換單元204才艮據(jù)預(yù)定方案對從逆量化單元203提供的變換 系數(shù)執(zhí)行四階正交逆變換。
這里，當(dāng)幀是幀內(nèi)編碼的幀時，經(jīng)歷了正交逆變換處理的圖像信息 被提供給加法器205并且與由幀內(nèi)預(yù)測單元210產(chǎn)生的預(yù)測圖《象信息進(jìn) 行組合。另外，在去塊濾波器211對該信息去除塊噪聲后，將該信息存 儲在畫面重新布置緩沖器206中。在由D/A轉(zhuǎn)換器單元207執(zhí)行D/A 轉(zhuǎn)換處理后將該信息輸出。
另一方面，當(dāng)幀是幀間編碼的幀時，運動預(yù)測/補償單元209基于
經(jīng)歷了由無損解碼單元202進(jìn)行的無損解碼處理的運動矢量信息以;s^
于存儲在幀存儲器208中的圖像信息產(chǎn)生參考圖像信息，并且將該參考 圖像信息提供給加法器205。加法器205將該參考圖像信息與正交逆變 換單元204的輸出進(jìn)行組合。其它處理與關(guān)于幀內(nèi)編碼的幀的處理相 同。本申請的現(xiàn)有技術(shù)文獻(xiàn)的示例包括日本未審專利申請公報No.
2003-289544、日本未審專利申請公報No. 2004-289808、日本未審專利 申請公報No. 2004-274732、日本未審專利申請公報No. 2004-187264、 曰本未審專利申請公報No. 2004-274694和日本未審專利申請公報No.
2006-129177。

發(fā)明內(nèi)容
同時，在AVC編碼方案中，能夠參考多個圖像。這些圖像保存在 解碼圖像緩沖器(DPB)中，該解碼圖像緩沖器(DPB)是用于存儲用 于進(jìn)行預(yù)測的解碼圖像的圖像緩沖存儲器。在解碼圖傳覆沖器(DPB) 中，短期被參考的圖像被標(biāo)記為短期參考圖像(用于短期參考)，長期 被參考的圖像被標(biāo)記為長期參考圖像(用于長期參考)，并且沒有被參 考的圖像被標(biāo)記為非參考圖像(未用于進(jìn)行參考)，由此對每個圖像進(jìn) 行標(biāo)記。
解碼圖像被一次保存在解碼圖係覆沖器(DPB)中。這些解碼圖像 在利用重新布置的輸出順序所指定的輸出定時^皮輸出。
解碼圖像緩沖器(DPB)的大小由類(profile)和級(level)定 義，并且不被定義為圖像的數(shù)目而被定義為比特量。換言之，即使當(dāng)使 用相同的類和級進(jìn)行定義時，圖像的數(shù)目根據(jù)圖像的圖像幀進(jìn)行改變。 例如，在主類和4級的情況下，用于存儲用于預(yù)測的解碼圖像的圖像緩 沖器的最大大小(MaxDPB:最大解碼圖像緩沖器大小)是12288.0 x 1024字節(jié)。因此，在1440x1088和4:2:0的情況下，能夠在解碼圖像 緩沖器(DPB)中保存的圖像的數(shù)目是5。另一方面，在1920xi088和 4:2:0的情況下，能夠在解碼圖像援沖器(DPB)中保存的圖像的數(shù)目 是4。需要利用有限大小的DPB執(zhí)行編碼從而使輸出順序與參考關(guān)系之 間沒有矛盾。
作為用于管理解碼圖傳壤沖器(DPB)的處理，有兩種類型的管理 處理。第一管理處理是滑動窗口處理。第二管理處理是自適應(yīng)存儲器控 制處理?；瑒哟翱谔幚硎抢孟热胂瘸?FIFO)方案管理解碼圖像緩沖器(DPB)，并且按照幀號(frame_num)的順序從較小幀號開始釋 放圖像的處理。在自適應(yīng)存儲器控制處理中，能夠以任何方式對解碼圖 像緩沖器(DPB)中的圖像進(jìn)行管理。用于自適應(yīng)存儲器控制處理的管 理命令稱作存儲器管理控制操作(MMCO)命令。利用MMCO命 令，例如，可將短期參考圖像設(shè)置為非參考圖像，可將長期參考圖像設(shè) 置為非參考圖像，通過將長期幀索引分配給短期參考圖像可將短期參考
圖像設(shè)置為長期參考圖像，可以設(shè)置長期幀索引的最大值，并且可以將 所有參考圖像設(shè)置為非參考圖像。
在自適應(yīng)存儲器控制處理中，利用參考圖像列表來管理參考圖像。 可以用利用參考圖像列表重新排序的任何順序來替換參考圖像列表中的 順序。當(dāng)沒有利用參考圖像列表重新排序時，利用從短期參考圖^^到長 期參考圖像的順序產(chǎn)生參考圖像列表。
由于近年的研究，稱作分層B圖像結(jié)構(gòu)的GOP結(jié)構(gòu)在編碼效率和 圖像質(zhì)量方面引人關(guān)注。圖15的部分(A)和(B)是示出了典型分層 B圖像結(jié)構(gòu)(GOP-l)的示例的圖。在圖15的部分(A)中，按照顯示 順序示出了圖像的類型和圖像順序計數(shù)(POC)，并且各個圖像之間的 參考關(guān)系由箭頭指示。另外，在圖15的部分(B)中，示出了各個圖像 的解碼順序。此外，在圖15的部分(A)和(B)中，Br表示要參考的 B圖像。
然而，由于該結(jié)構(gòu)需要大量的重新布置緩沖器，所以存在利用諸如 圖16所示的結(jié)構(gòu)的GOP結(jié)構(gòu)(GOP-2)的情況。在圖16的部分
(A) 中，按照顯示順序示出了圖像的類型和圖像順序計數(shù)(POC)， 并且各個圖像之間的參考關(guān)系由箭頭指示。另外，在圖16的部分(B) 中，按照解碼順序示出了這些圖像。此外，在圖16的部分(A)和
(B) 中，Br表示要參考的B圖像。如上所述，在主類、4級、以及 1920x 1088和4:2:0的圖像幀的情況下，在解碼圖傳覆沖器(DPB )中 能夠保存的圖像的數(shù)目是4。
在GOP-2結(jié)構(gòu)中，當(dāng)在解碼圖像緩沖器(DPB)中能夠保存的圖 像的數(shù)目是4 ( max_dec_frame—buffering-4 )并且能夠用于參考的圖像的數(shù)目是3 ( mim_ref—frames=3 )時，獲得諸如圖17的部分(A)到 (D)中所示的參考關(guān)系的參考關(guān)系。
在圖17的部分(A)中，按照顯示順序示出了圖4象的類型和圖像順 序計數(shù)，并且各個圖像之間的參考關(guān)系由箭頭指示。另外，在圖17的 部分(B)中，示出了各個圖像的解碼順序。此外，在圖17的部分
(C)和(D)中，示出了各時刻T0、 Tl........ T15、…的解碼圖像
緩沖器(參考圖像援沖器和非參考圖像緩沖器)和顯示緩沖器的內(nèi)容。 在這種情況下，如圖17的部分(A)中的粗線箭頭所示，不存在在時間 上最接近的參考表面。此外，由于進(jìn)行參考從而跳過I圖像，所以不能 執(zhí)行從不是瞬時解碼刷新圖像的I圖像起的隨才幾訪問。
這里，IDR圖像是圖像序列中的開始圖像。瞬時解碼刷新圖像包括 I片段或切換I片段(switching I slice)，并且利用瞬時解碼刷新圖像， 將對比特流進(jìn)行解碼所需的諸如參考圖像緩沖器的狀態(tài)、幀號和圖像順 序計數(shù)的所有狀態(tài)復(fù)位。在H,264/AVC中，由于允許進(jìn)行從I圖像后的 P圖像參考該I圖像前的圖像的幀間預(yù)測，所以典型的I圖像不足以將 這些狀態(tài)完全復(fù)位，并且需要利用瞬時解碼刷新圖像。
如上所述，利用傳統(tǒng)技術(shù)，不能夠參考在時間上最接近并且祐:視為 高度相關(guān)的圖像的圖像，并且此外，傳統(tǒng)技術(shù)具有如下問題不能夠執(zhí) 行從不是瞬時解碼刷新圖像的I圖像起的隨機訪問。
因此，鑒于諸如上述問題的傳統(tǒng)問題，本發(fā)明旨在在輸出基于 AVC編碼方案的圖像壓縮信息的圖像信息編碼設(shè)備中實現(xiàn)包括分層B 圖像的GOP結(jié)構(gòu)中的最佳參考關(guān)系以及從不是瞬時解碼刷新圖像的I 圖4象起的隨才幾訪問。
才艮據(jù)下面描述的實施例，本發(fā)明的其它目的和通過本發(fā)明獲得的具 體優(yōu)點將變得更加清楚。
為了解決上述問題，本發(fā)明使得可以使用利用存儲器管理控制操作 命令和參考圖像列表重新排序命令的處理，來獲得最高效的參考關(guān)系以
及執(zhí)行從不是瞬時解碼刷新圖像的I圖像起的隨機訪問。
換言之，本發(fā)明提供了一種用于執(zhí)行利用運動預(yù)測對圖像信息進(jìn)
10行編碼的處理并且輸出圖像壓縮信息的圖像信息編碼設(shè)備。該設(shè)備的
特征在于包括存儲器管理控制操作命令產(chǎn)生裝置，用于產(chǎn)生用于管 理解碼圖像緩沖器中的圖像的存儲器管理控制操作命令。在執(zhí)行多幀 預(yù)測的情況下，存儲器管理控制操作命令產(chǎn)生裝置利用存儲器管理控 制操作命令將一圖像與P圖像或I圖像之間存在的參考B圖像登記 為長期參考圖像，當(dāng)對P圖像或I圖像與參考B圖像之間存在的B 圖像進(jìn)行處理時利用參考圖像列表重新排序命令將參考B圖像置于 參考圖像列表中的第一位，當(dāng)對P圖像或I圖像進(jìn)行處理時通過利用 存儲器管理控制操作命令將長期幀索引的最大值設(shè)置為網(wǎng)而將解碼 圖像緩沖器中的長期參考圖像設(shè)置為非參考圖像，并且執(zhí)行從不是瞬 時解碼刷新圖像的I圖像起的隨機訪問。
此外，本發(fā)明提供了 一種用于執(zhí)行利用運動預(yù)測對圖像信息進(jìn)行 編碼的處理并且輸出圖像壓縮信息的圖像信息編碼方法。該方法的特 征在于包括如下步驟在執(zhí)行多幀預(yù)測的情況下，利用用于管理解碼 圖像緩沖器中的圖像的存儲器管理控制操作命令將一圖像與P圖像 或I圖像之間存在的參考B圖像登記為長期參考圖# ;當(dāng)對P圖像 或I圖像與參考B圖像之間存在的B圖像進(jìn)行處理時利用參考圖像 列表重新排序命令將參考B圖像置于參考圖像列表中的第一位；當(dāng) 對P圖像或I圖像進(jìn)行處理時通過利用存儲器管理控制操作命令將長 期幀索引的最大值設(shè)置為
而將解碼圖像緩沖器中的長期參考圖像設(shè)置為非參考圖像，并且執(zhí)行從不是瞬時解碼刷新圖像的I圖像起的隨機訪問。
2. 如權(quán)利要求1所述的圖像信息編碼設(shè)備，其特征在于在圖像群結(jié)構(gòu)是參考B圖像的分層結(jié)構(gòu)的情況下，存儲器管理控制操作命令產(chǎn)生裝置發(fā)出用于將一圖像與P圖像或I圖像之間存在的參考B圖像登記為長期參考圖像的存儲器管理控制操作命令，并且當(dāng)對P圖像或I圖像進(jìn)行處理時通過利用存儲器管理控制操作命令將長期幀索引的最大值設(shè)置為[o]而將解碼圖像緩沖器中的長期參考圖像設(shè)置為非參考圖像。
3. 如權(quán)利要求1所述的圖像信息編碼設(shè)備，其特征在于在圖像群結(jié)構(gòu)是參考B圖像的分層結(jié)構(gòu)的情況下，當(dāng)對P圖像或I圖像與參考B圖像之間存在的B圖像進(jìn)行處理時，存儲器管理控制操作命令產(chǎn)生裝置利用參考圖像列表重新排序命令將參考B圖像置于參考圖像列表中的第一位。
4. 如權(quán)利要求1所述的圖像信息編碼設(shè)備，其特征在于在圖《象群結(jié)構(gòu)是諸如提供了 B0、 Brl、 B2、 13、 B4、 Br5、 B6、 P7、B8、 Br9、 BIO、 Pll、 B12、 Brl3、 B14和P15并且解碼處理順序由13、 Brl、 B0、 B2、 P7、 Br5、 B4、 B6、 Pll、 Br9 、 B8、 BIO、P15、 Brl3、 B12和B14表示的結(jié)構(gòu)的分層結(jié)構(gòu)的情況下，存儲器管理控制操作命令產(chǎn)生裝置當(dāng)對13進(jìn)行處理時將長期幀索引的最大值設(shè)置為0，當(dāng)對Brl進(jìn)行處理時利用存儲器管理控制操作命令將長期幀索引的最大值設(shè)置為〖11，將Brl設(shè)置為長期參考圖像，當(dāng)對B0進(jìn)行處理時利用參考圖像列表重新排序命令參考13和Brl，并且當(dāng)對Bl進(jìn)行處理時利用參考圖像列表重新排序命令參考13和Brl，由此執(zhí)行從不是瞬時解碼刷新圖像的I圖像起的隨機訪問。
5. 如權(quán)利要求4所述的圖像信息編碼設(shè)備，其特征在于通過發(fā)出用于改變長期幀索引的最大值的命令，釋放解碼圖像緩沖器中的長期參考圖像而不需要指定長期幀索引。
6. 如權(quán)利要求1所述的圖像信息編碼設(shè)備，其特征在于圖像群結(jié)構(gòu)是將兩個場視為彼此獨立的兩個圖像的場結(jié)構(gòu)，并且存儲器管理控制操作命令產(chǎn)生裝置通過發(fā)出用于改變長期幀索引的最大值的命令，釋放解碼圖像緩沖器中的長期參考圖像而不需要指定長期幀索引。
7. —種用于執(zhí)行利用運動預(yù)測對圖像信息進(jìn)行編碼的處理并且輸出圖像壓縮信息的圖像信息編碼方法，該圖像信息編碼方法的特征在于包括如下步驟在執(zhí)行多幀預(yù)測的情況下，利用用于管理解碼圖像緩沖器中的圖像的存儲器管理控制操作命令將一圖像與P圖像或I圖像之間存在的參考B圖像登記為長期參考圖像；當(dāng)對P圖像或I圖像與參考B圖像之間存在的B圖像進(jìn)行處理時利用參考圖像列表重新排序命令將參考B圖像置于參考圖像列表中的第一位；當(dāng)對P圖像或I圖像進(jìn)行處理時通過利用存儲器管理控制操作命令將長期幀索引的最大值設(shè)置為
而將解碼圖像緩沖器中的長期參考圖像設(shè)置為非參考圖像。執(zhí)行從不是瞬時解碼刷新圖像的I圖像起的隨機訪問。
文檔編號H04N7/32GK101637028SQ20088000569
公開日2010年1月27日 申請日期2008年2月26日 優(yōu)先權(quán)日2007年2月28日
發(fā)明者佐藤數(shù)史, 田中潤一, 矢崎陽一 申請人:索尼株式會社