專(zhuān)利名稱(chēng):圖像解碼裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及將壓縮圖像解碼即展開(kāi)的圖像解碼裝置，特別涉及適合基于MPEG4AVC標(biāo)準(zhǔn)(Moving Picture Experts Group phase 4Advanced Video Coding，ISO14496-10)的壓縮圖像的解碼的圖像解碼技術(shù)。
背景技術(shù)：
以往在傳送運(yùn)動(dòng)圖像時(shí)或記錄到記錄介質(zhì)中時(shí)，已知有實(shí)施遵循MPEG(Moving Picture Experts Group)標(biāo)準(zhǔn)、例如MPEG2視頻標(biāo)準(zhǔn)(ISO/IEC18818-2)及MPEG4視覺(jué)標(biāo)準(zhǔn)(ISO/IEC14496-2)的壓縮的技術(shù)，此外，還已知有將按照這些標(biāo)準(zhǔn)壓縮的圖像解碼的圖像解碼裝置。
這樣的圖像解碼裝置通過(guò)下述的步驟，對(duì)有關(guān)取入到大容量的DRAM(Dynamic Random Access Memory)等存儲(chǔ)器中的壓縮圖像的、進(jìn)行了可變長(zhǎng)編碼的流進(jìn)行解碼，所述的步驟是將該流從存儲(chǔ)器讀出來(lái)進(jìn)行可變長(zhǎng)解碼，對(duì)每個(gè)宏塊(MBMarcroblock)提取運(yùn)動(dòng)矢量及塊數(shù)據(jù)等，對(duì)每個(gè)塊，參照根據(jù)運(yùn)動(dòng)矢量而確定的參照?qǐng)D像，對(duì)塊數(shù)據(jù)進(jìn)行相當(dāng)于運(yùn)動(dòng)檢測(cè)的反處理的補(bǔ)償處理(以下將該處理稱(chēng)作“運(yùn)動(dòng)補(bǔ)償處理”)，將作為運(yùn)動(dòng)補(bǔ)償處理的結(jié)果而得到的解碼圖像記錄在存儲(chǔ)器中。這里，被解碼而保存在存儲(chǔ)器中的解碼圖像組在后續(xù)的壓縮圖像的解碼時(shí)作為參照?qǐng)D像組使用。
另外，以往的圖像解碼裝置為了高速進(jìn)行壓縮圖像的解碼，進(jìn)行使以宏塊單位進(jìn)行解碼所需的各處理的各結(jié)構(gòu)要素并列動(dòng)作的流水線(xiàn)控制。
圖13是例示以往的圖像解碼裝置的流水線(xiàn)控制的執(zhí)行次序的圖。在該圖中，可變長(zhǎng)解碼(VLDVariable-Length Decoder)處理單元、運(yùn)動(dòng)補(bǔ)償處理單元與DMA(Direct Memory Access，即直接存儲(chǔ)器存取)控制器能夠并列動(dòng)作，DMA控制器在流水線(xiàn)控制中的作為同步周期的各周期時(shí)間內(nèi)時(shí)分割來(lái)執(zhí)行下述處理將1宏塊量的可變長(zhǎng)編碼后的流從存儲(chǔ)器向可變長(zhǎng)解碼處理單元進(jìn)行DMA傳送的流傳送處理；將對(duì)應(yīng)于1宏塊的參照?qǐng)D像從存儲(chǔ)器向運(yùn)動(dòng)補(bǔ)償處理單元進(jìn)行DMA傳送的參照?qǐng)D像傳送處理；和將通過(guò)運(yùn)動(dòng)補(bǔ)償處理單元得到的對(duì)應(yīng)于1宏塊的解碼圖像向存儲(chǔ)器進(jìn)行DMA傳送的解碼圖像傳送處理。這里，將各個(gè)周期時(shí)間也稱(chēng)作時(shí)隙(TS)。
根據(jù)圖13所例示的流水線(xiàn)控制，設(shè)n為任意的整數(shù)，在TS＝n即第n個(gè)時(shí)隙中，由DMA控制器執(zhí)行與MB#n即第n個(gè)宏塊對(duì)應(yīng)的流傳送處理；在TS＝n+1即第n+1個(gè)時(shí)隙中，由可變長(zhǎng)解碼處理單元執(zhí)行與該宏塊對(duì)應(yīng)的可變長(zhǎng)解碼處理；在第n+2個(gè)時(shí)隙中由DMA控制器執(zhí)行與該宏塊對(duì)應(yīng)的參照?qǐng)D像傳送處理；在第n+3個(gè)時(shí)隙中由運(yùn)動(dòng)補(bǔ)償處理單元執(zhí)行與該宏塊對(duì)應(yīng)的運(yùn)動(dòng)補(bǔ)償處理；在第n+4個(gè)時(shí)隙中由DMA控制器執(zhí)行與該宏塊對(duì)應(yīng)的解碼圖像傳送處理。
這樣，以往的圖像解碼裝置設(shè)定了執(zhí)行參照?qǐng)D像傳送處理、可變長(zhǎng)解碼處理、運(yùn)動(dòng)補(bǔ)償處理等的各結(jié)構(gòu)要素進(jìn)行1個(gè)宏塊單位的處理所需的時(shí)間的最大值、即可滿(mǎn)足對(duì)圖像解碼裝置要求的1宏塊單位的解碼性能的周期時(shí)間，實(shí)施流水線(xiàn)控制，以使各結(jié)構(gòu)要素與每個(gè)時(shí)間周期同步執(zhí)行處理。即，以往為了以1宏塊單位的處理時(shí)間為基準(zhǔn)而最優(yōu)地進(jìn)行流水線(xiàn)控制，用來(lái)將與各宏塊對(duì)應(yīng)的參照?qǐng)D像向運(yùn)動(dòng)補(bǔ)償處理單元供給的存儲(chǔ)器訪(fǎng)問(wèn)即參照?qǐng)D像傳送處理，分別在1個(gè)周期時(shí)間進(jìn)行。另外，在MPEG2視頻標(biāo)準(zhǔn)及MPEG4視覺(jué)標(biāo)準(zhǔn)中，由于設(shè)定了對(duì)應(yīng)于1個(gè)宏塊的運(yùn)動(dòng)矢量的數(shù)量的上限，所以通過(guò)估算與該運(yùn)動(dòng)矢量的數(shù)量對(duì)應(yīng)的數(shù)量的參照?qǐng)D像的量等，決定了有關(guān)圖像解碼裝置中的存儲(chǔ)器總線(xiàn)帶寬的必要條件。
近年來(lái)制定的MPEG4AVC標(biāo)準(zhǔn)(參照非特許文獻(xiàn)1)對(duì)于對(duì)象圖像具有可測(cè)量性，是以從QCIF(Quarter Common IntermediateFormat)那樣的較小的圖像到HD(High Definition)圖像那樣的較大的圖像為對(duì)象，根據(jù)圖像的大小來(lái)劃分為多個(gè)等級(jí)的內(nèi)容的標(biāo)準(zhǔn)。與1個(gè)宏塊對(duì)應(yīng)的運(yùn)動(dòng)矢量的最大值在MPEG2視頻標(biāo)準(zhǔn)中為4條，與此相對(duì)，在MPEG4AVC標(biāo)準(zhǔn)中增加為32條。由此，在運(yùn)動(dòng)圖像的壓縮時(shí)，能夠更有效地進(jìn)行動(dòng)畫(huà)的時(shí)間軸方向的冗長(zhǎng)性的削減。但是，在與HD圖像那樣的較大的圖像對(duì)應(yīng)的等級(jí)中，雖然與1個(gè)宏塊對(duì)應(yīng)的運(yùn)動(dòng)矢量的數(shù)量增大了，但從將用來(lái)進(jìn)行動(dòng)畫(huà)再現(xiàn)的解碼處理的運(yùn)算量禁止在一定范圍內(nèi)的觀(guān)點(diǎn)等出發(fā)，對(duì)于其1個(gè)宏塊與其前或后的宏塊之間的運(yùn)動(dòng)矢量的數(shù)量合計(jì)規(guī)定了上限。
非特許文獻(xiàn)1ISO/IEC 14496-10 Information technology-Codingof audiovisual objects-Part 10Advanced Video Coding。
如果要使上述以往的圖像解碼裝置進(jìn)行依據(jù)MPEG4AVC標(biāo)準(zhǔn)的對(duì)應(yīng)于較大圖像的等級(jí)的規(guī)定而壓縮的圖像的解碼，則為了應(yīng)對(duì)能夠在1個(gè)周期時(shí)間內(nèi)將以往的2倍以上量的參照?qǐng)D像從存儲(chǔ)器傳送給運(yùn)動(dòng)補(bǔ)償處理單元，需要將存儲(chǔ)器總線(xiàn)帶寬增大很多。因此，圖像保存用的大容量存儲(chǔ)器需要以例如更高的頻率動(dòng)作，其結(jié)果，圖像解碼裝置的制造成本大幅上升。

發(fā)明內(nèi)容所以，本申請(qǐng)是鑒于上述問(wèn)題而做出的，目的是提供一種能夠?qū)⒁罁?jù)MPEG4AVC標(biāo)準(zhǔn)的對(duì)應(yīng)于較大圖像的等級(jí)的規(guī)定而壓縮的圖像進(jìn)行解碼的圖像解碼裝置、具備用來(lái)禁止需要的存儲(chǔ)器帶寬的結(jié)構(gòu)的圖像解碼裝置。
為了解決上述課題，有關(guān)本發(fā)明的圖像解碼裝置，對(duì)每個(gè)塊進(jìn)行壓縮圖像的解碼，對(duì)于根據(jù)參照?qǐng)D像壓縮的塊進(jìn)行包括對(duì)應(yīng)于運(yùn)動(dòng)補(bǔ)償?shù)难a(bǔ)償處理的解碼，其特征在于，具備存儲(chǔ)器，保存有參照?qǐng)D像組；補(bǔ)償單元，具有用來(lái)保存參照?qǐng)D像的輸入緩沖器，參照保存在輸入緩沖器中的參照?qǐng)D像，依次進(jìn)行對(duì)1個(gè)塊的補(bǔ)償處理；參照?qǐng)D像傳送單元，在各周期時(shí)間內(nèi)，只要有對(duì)應(yīng)于1個(gè)塊的參照?qǐng)D像，就依次從上述存儲(chǔ)器讀出所有參照?qǐng)D像，并寫(xiě)入到上述輸入緩沖器中；判斷單元，在各周期時(shí)間中，判斷上述參照?qǐng)D像傳送單元從上述存儲(chǔ)器讀出的參照?qǐng)D像的總量是否比規(guī)定基準(zhǔn)量多；禁止單元，在通過(guò)上述判斷單元判斷為多的周期時(shí)間內(nèi)，禁止用來(lái)進(jìn)行參照?qǐng)D像的讀出的訪(fǎng)問(wèn)以外的向上述存儲(chǔ)器的訪(fǎng)問(wèn)。
這里，周期時(shí)間是周期性的規(guī)定時(shí)間量的期間，例如是流水線(xiàn)控制中的單位時(shí)間。
根據(jù)上述的結(jié)構(gòu)，有關(guān)本發(fā)明的圖像解碼裝置在從存儲(chǔ)器讀出參照?qǐng)D像量較多的周期時(shí)間內(nèi)，由于禁止了參照?qǐng)D像的讀出以外的存儲(chǔ)器訪(fǎng)問(wèn)，所以能夠禁止周期時(shí)間內(nèi)的最大數(shù)據(jù)傳送量，由此能夠禁止存儲(chǔ)器總線(xiàn)帶寬。
另外，在為了成本削減而限制存儲(chǔ)器的個(gè)數(shù)、例如使用單一的存儲(chǔ)器進(jìn)行相當(dāng)于運(yùn)動(dòng)檢測(cè)的逆處理的補(bǔ)償處理等而將運(yùn)動(dòng)圖像進(jìn)行解碼的情況下，對(duì)于該存儲(chǔ)器，除了用來(lái)讀出參照?qǐng)D像的存儲(chǔ)器訪(fǎng)問(wèn)以外，還發(fā)生用來(lái)進(jìn)行之后能夠作為參照?qǐng)D像使用的解碼圖像的寫(xiě)入的存儲(chǔ)器訪(fǎng)問(wèn)、以及用來(lái)讀出壓縮圖像的編碼流的存儲(chǔ)器訪(fǎng)問(wèn)等，根據(jù)有關(guān)本發(fā)明的圖像解碼裝置，將參照?qǐng)D像的讀出以外的這些存儲(chǔ)器訪(fǎng)問(wèn)的至少一部分在某個(gè)周期時(shí)間中暫時(shí)禁止。
此外，在圖像解碼裝置中，在例如根據(jù)能夠以宏塊單位等的塊單位獨(dú)立進(jìn)行處理的狀況而適當(dāng)?shù)剡M(jìn)行流水線(xiàn)控制的情況下，在周期時(shí)間中需要與存儲(chǔ)器之間進(jìn)行最大數(shù)據(jù)傳送量的傳送的是對(duì)參照?qǐng)D像的傳送，此外，鑒于MPEG4AVC標(biāo)準(zhǔn)的對(duì)應(yīng)于較大的圖像的等級(jí)的規(guī)定中設(shè)定了兩個(gè)宏塊量的運(yùn)動(dòng)矢量數(shù)的上限，對(duì)于由有關(guān)本發(fā)明的圖像解碼裝置在某個(gè)周期時(shí)間A內(nèi)暫時(shí)禁止的存儲(chǔ)器訪(fǎng)問(wèn)，只要在關(guān)于參照?qǐng)D像的數(shù)據(jù)傳送量變少的下個(gè)周期時(shí)間B中實(shí)施就可以。因而，有關(guān)本發(fā)明的圖像解碼裝置不會(huì)因禁止了某個(gè)周期時(shí)間的存儲(chǔ)器訪(fǎng)問(wèn)而發(fā)生特別的問(wèn)題。
這里，也可以是，上述圖像解碼裝置還具備取得單元，該取得單元依次取得與根據(jù)參照?qǐng)D像壓縮的1個(gè)塊對(duì)應(yīng)的運(yùn)動(dòng)矢量；上述補(bǔ)償單元參照上述參照?qǐng)D像，根據(jù)由上述取得單元取得的運(yùn)動(dòng)矢量，進(jìn)行對(duì)塊的補(bǔ)償處理；上述參照?qǐng)D像傳送單元傳送的、對(duì)應(yīng)于1個(gè)塊的所有的參照?qǐng)D像分別是根據(jù)由上述取得單元取得的對(duì)應(yīng)于該塊的各運(yùn)動(dòng)矢量來(lái)確定的；關(guān)于在各周期時(shí)間中從上述存儲(chǔ)器讀出的對(duì)應(yīng)于塊的參照?qǐng)D像的總量是否比規(guī)定基準(zhǔn)量多，上述判斷單元根據(jù)由上述取得單元取得的對(duì)應(yīng)于該塊的運(yùn)動(dòng)矢量的數(shù)量是否比規(guī)定的閾值多來(lái)進(jìn)行判斷。
由此，通過(guò)得到運(yùn)動(dòng)矢量的數(shù)量而與規(guī)定的閾值比較的簡(jiǎn)單的結(jié)構(gòu)，能夠間接地判斷參照?qǐng)D像的總量是否比規(guī)定基準(zhǔn)量多。
此外，也可以是，上述圖像解碼裝置還具備輸出緩沖器，用來(lái)保存關(guān)于由補(bǔ)償單元進(jìn)行了補(bǔ)償處理后的塊的解碼圖像；解碼圖像傳送單元，依次從上述輸出緩沖器讀出關(guān)于1個(gè)塊的解碼圖像，寫(xiě)入到上述存儲(chǔ)器中；上述禁止單元在由上述判斷單元判斷為多的周期時(shí)間內(nèi)，禁止上述解碼圖像傳送單元對(duì)上述存儲(chǔ)器的訪(fǎng)問(wèn)。
由此，通過(guò)將用來(lái)將一定以1宏塊單位迅速寫(xiě)入到存儲(chǔ)器中的必要性較低的解碼圖像寫(xiě)入到存儲(chǔ)器中的存儲(chǔ)器訪(fǎng)問(wèn)作為禁止控制對(duì)象，能夠不需要特別變更分擔(dān)壓縮圖像的解碼的VLD處理單元及運(yùn)動(dòng)補(bǔ)償處理單元等的各單元間的處理時(shí)間的關(guān)系等，比較容易禁止存儲(chǔ)器總線(xiàn)帶寬。
此外，也可以是，上述輸出緩沖器的容量是能夠保存兩個(gè)塊量的解碼圖像的容量；上述解碼圖像傳送單元在由上述禁止單元禁止的周期時(shí)間的下個(gè)周期時(shí)間內(nèi)，連續(xù)將關(guān)于兩個(gè)塊量的解碼圖像從上述輸出緩沖器讀出而寫(xiě)入到上述存儲(chǔ)器中，在除此之外的周期時(shí)間內(nèi)，將關(guān)于1個(gè)塊量的解碼圖像從上述輸出緩沖器讀出而寫(xiě)入到上述存儲(chǔ)器中。
由此，由于在某個(gè)周期時(shí)間中被禁止的解碼圖像向存儲(chǔ)器的寫(xiě)入是在參照?qǐng)D像的傳送量相對(duì)較少的下個(gè)周期時(shí)間中進(jìn)行，所以可在幾乎不增大幀單位的圖像的解碼時(shí)間的情況下進(jìn)行壓縮圖像的解碼。
此外，也可以是，上述存儲(chǔ)器除了參照?qǐng)D像以外，還保存有編碼流，該編碼流是將對(duì)每個(gè)塊包含有塊頭信息和塊數(shù)據(jù)而成的數(shù)據(jù)進(jìn)行可變長(zhǎng)編碼而成的，上述塊頭信息包括表示是否是根據(jù)參照?qǐng)D像壓縮的塊的信息和運(yùn)動(dòng)矢量；上述圖像解碼裝置還具備可變長(zhǎng)解碼單元，如果被輸入了編碼流，則進(jìn)行可變長(zhǎng)解碼；流傳送單元，從上述存儲(chǔ)器中依次讀出編碼流，輸入到上述可變長(zhǎng)編碼單元中；幀內(nèi)處理單元，對(duì)依次傳遞來(lái)的塊的塊數(shù)據(jù)實(shí)施不參照參照?qǐng)D像的解碼處理；上述取得單元根據(jù)由上述可變長(zhǎng)解碼單元進(jìn)行了可變長(zhǎng)解碼的結(jié)果進(jìn)行上述運(yùn)動(dòng)矢量的取得，再將根據(jù)參照?qǐng)D像壓縮的塊的、由可變長(zhǎng)解碼單元進(jìn)行了可變長(zhǎng)解碼的結(jié)果的塊數(shù)據(jù)傳遞給上述補(bǔ)償單元，將沒(méi)有根據(jù)參照?qǐng)D像壓縮的塊的、由可變長(zhǎng)解碼單元進(jìn)行了可變長(zhǎng)解碼的結(jié)果的塊數(shù)據(jù)傳遞給上述幀內(nèi)處理單元；在上述輸出緩沖器中，除了關(guān)于由上述補(bǔ)償單元進(jìn)行了補(bǔ)償處理后的塊的解碼圖像以外，還保存有有關(guān)由上述幀內(nèi)處理單元實(shí)施了解碼處理后的塊的解碼圖像。
此外，也可以是，上述存儲(chǔ)器除了參照?qǐng)D像以外，還保存有編碼流，該編碼流是將對(duì)每個(gè)塊包含有塊頭信息和塊數(shù)據(jù)而成的數(shù)據(jù)進(jìn)行可變長(zhǎng)編碼而成的，上述塊頭信息包括表示是否是根據(jù)參照?qǐng)D像壓縮的塊的信息和運(yùn)動(dòng)矢量；上述圖像解碼裝置還具備可變長(zhǎng)解碼單元，如果被輸入了編碼流數(shù)據(jù)，則進(jìn)行可變長(zhǎng)解碼；流傳送單元，從上述存儲(chǔ)器中依次讀出編碼流，輸入到上述可變長(zhǎng)編碼單元中；幀內(nèi)處理單元，對(duì)依次傳遞來(lái)的塊的塊數(shù)據(jù)實(shí)施不參照參照?qǐng)D像的解碼處理；上述取得單元根據(jù)由上述可變長(zhǎng)解碼單元進(jìn)行了可變長(zhǎng)解碼的結(jié)果進(jìn)行上述運(yùn)動(dòng)矢量的取得，再將根據(jù)參照?qǐng)D像壓縮的塊的、由可變長(zhǎng)解碼單元進(jìn)行了可變長(zhǎng)解碼的結(jié)果的塊數(shù)據(jù)傳遞給上述補(bǔ)償單元，將沒(méi)有根據(jù)參照?qǐng)D像壓縮的塊的、由可變長(zhǎng)解碼單元進(jìn)行了可變長(zhǎng)解碼的結(jié)果的塊數(shù)據(jù)傳遞給上述幀內(nèi)處理單元；上述禁止單元在由上述判斷單元判斷為多的周期時(shí)間內(nèi)，禁止上述流傳送單元對(duì)上述存儲(chǔ)器的訪(fǎng)問(wèn)。
由此，由于每單位時(shí)間的與存儲(chǔ)器之間的數(shù)據(jù)傳送量一般較參照?qǐng)D像低的關(guān)于編碼流的存儲(chǔ)器訪(fǎng)問(wèn)成為禁止控制的對(duì)象，所以即使將在某個(gè)周期時(shí)間中被禁止的部分在下個(gè)周期時(shí)間中傳送，也不會(huì)成為必須增大存儲(chǔ)器總線(xiàn)帶寬的原因，作為禁止的結(jié)果，能夠?qū)崿F(xiàn)存儲(chǔ)器總線(xiàn)帶寬的禁止。
此外，有關(guān)本發(fā)明的圖像解碼裝置，對(duì)每個(gè)塊進(jìn)行壓縮圖像的解碼，對(duì)于根據(jù)參照?qǐng)D像壓縮的塊進(jìn)行包括對(duì)應(yīng)于運(yùn)動(dòng)補(bǔ)償?shù)难a(bǔ)償處理的解碼，其特征在于，具備存儲(chǔ)器，保存有參照?qǐng)D像組；補(bǔ)償單元，具有用來(lái)保存參照?qǐng)D像的、足夠保存兩個(gè)塊量的參照?qǐng)D像的容量的輸入緩沖器，參照保存在輸入緩沖器中的參照?qǐng)D像，依次進(jìn)行對(duì)1個(gè)塊的補(bǔ)償處理；參照?qǐng)D像傳送單元，在連續(xù)的兩個(gè)周期時(shí)間內(nèi)，只要有分別對(duì)應(yīng)于兩個(gè)塊的參照?qǐng)D像，就依次從上述存儲(chǔ)器讀出所有的參照?qǐng)D像，并寫(xiě)入到上述輸入緩沖器中。
由此，即使不將存儲(chǔ)器總線(xiàn)帶寬決定為能夠在1個(gè)周期時(shí)間內(nèi)傳送對(duì)應(yīng)于1個(gè)宏塊量的參照?qǐng)D像的最大數(shù)據(jù)傳送量也可以，所以能夠相應(yīng)地緩和關(guān)于存儲(chǔ)器總線(xiàn)帶寬的必要條件。
這里，也可以是，上述圖像解碼裝置還具備處理單元，該處理單元處理上述補(bǔ)償單元進(jìn)行了補(bǔ)償處理后的解碼圖像；上述處理單元及上述補(bǔ)償單元中的1個(gè)單元與上述參照?qǐng)D像傳送單元并列地在每個(gè)周期時(shí)間中進(jìn)行對(duì)應(yīng)于1個(gè)塊的處理，并且通過(guò)上述參照?qǐng)D像傳送單元，將對(duì)應(yīng)于在某個(gè)周期時(shí)間內(nèi)開(kāi)始傳送的塊的處理，在該周期時(shí)間的兩個(gè)后的周期時(shí)間內(nèi)開(kāi)始執(zhí)行。
由此，能夠在適當(dāng)?shù)臅r(shí)刻處理依賴(lài)于與各宏塊對(duì)應(yīng)的參照?qǐng)D像的處理。
此外，有關(guān)本發(fā)明的圖像解碼方法，對(duì)于與參照?qǐng)D像組一同保存到存儲(chǔ)器中的壓縮圖像，對(duì)每個(gè)塊進(jìn)行解碼，對(duì)于根據(jù)參照?qǐng)D像壓縮的塊進(jìn)行包括對(duì)應(yīng)于運(yùn)動(dòng)補(bǔ)償?shù)难a(bǔ)償處理的解碼，其特征在于，包括參照?qǐng)D像傳送步驟，在各周期時(shí)間內(nèi)，只要有對(duì)應(yīng)于1個(gè)塊的參照?qǐng)D像，就依次從上述存儲(chǔ)器讀出所有的參照?qǐng)D像，并寫(xiě)入到規(guī)定的緩沖器中；判斷步驟，在各周期時(shí)間中，判斷由上述參照?qǐng)D像傳送步驟從上述存儲(chǔ)器讀出的參照?qǐng)D像的總量是否比規(guī)定基準(zhǔn)量多；禁止步驟，在通過(guò)上述判斷步驟判斷為多的周期時(shí)間內(nèi)，禁止用來(lái)讀出參照?qǐng)D像的訪(fǎng)問(wèn)以外的、對(duì)上述存儲(chǔ)器的訪(fǎng)問(wèn)；補(bǔ)償步驟，參照保存在上述規(guī)定的緩沖器中的參照?qǐng)D像，依次進(jìn)行對(duì)1個(gè)塊的補(bǔ)償處理。
由此，在從存儲(chǔ)器讀出參照?qǐng)D像的量較多的周期時(shí)間內(nèi)禁止了其他的存儲(chǔ)器訪(fǎng)問(wèn)，所以能夠禁止有關(guān)壓縮圖像的解碼的流水線(xiàn)控制中的周期時(shí)間內(nèi)的最大數(shù)據(jù)傳送量，由此能夠禁止存儲(chǔ)器總線(xiàn)帶寬。
此外，有關(guān)本發(fā)明的圖像解碼方法，對(duì)于與參照?qǐng)D像組一同保存到存儲(chǔ)器中的壓縮圖像，對(duì)每個(gè)塊進(jìn)行解碼，對(duì)于根據(jù)參照?qǐng)D像壓縮的塊進(jìn)行包括對(duì)應(yīng)于運(yùn)動(dòng)補(bǔ)償?shù)难a(bǔ)償處理的解碼，其特征在于，并列執(zhí)行圖像傳送步驟，在連續(xù)的兩個(gè)周期時(shí)間內(nèi)，只要有分別對(duì)應(yīng)于兩個(gè)塊的參照?qǐng)D像，就依次從上述存儲(chǔ)器讀出所有參照?qǐng)D像，并寫(xiě)入到規(guī)定的緩沖器中；補(bǔ)償步驟，參照保存在上述規(guī)定的緩沖器中的參照?qǐng)D像，依次進(jìn)行對(duì)1個(gè)塊的補(bǔ)償處理。
由此，在通過(guò)基本上在1個(gè)周期時(shí)間內(nèi)執(zhí)行流水線(xiàn)階段對(duì)應(yīng)于1宏塊量的處理那樣的流水線(xiàn)控制來(lái)實(shí)現(xiàn)壓縮圖像的解碼的情況下，對(duì)于從存儲(chǔ)器傳送參照?qǐng)D像解除了在1周期時(shí)間內(nèi)結(jié)束的制約，所以即使不將存儲(chǔ)器總線(xiàn)帶寬決定為在1個(gè)周期時(shí)間內(nèi)能夠傳送對(duì)應(yīng)于1宏塊量的參照?qǐng)D像的最大數(shù)據(jù)傳送量也可以，能夠相應(yīng)地緩和關(guān)于存儲(chǔ)器總線(xiàn)帶寬的必要條件。
此外，有關(guān)本發(fā)明的半導(dǎo)體集成電路，對(duì)每個(gè)塊進(jìn)行壓縮圖像的解碼，對(duì)于根據(jù)參照?qǐng)D像壓縮的塊進(jìn)行包括對(duì)應(yīng)于運(yùn)動(dòng)補(bǔ)償?shù)难a(bǔ)償處理的解碼，其特征在于，具備存儲(chǔ)器，保存有參照?qǐng)D像組；補(bǔ)償電路部，具有用來(lái)保存參照?qǐng)D像的輸入緩沖器，參照保存在輸入緩沖器中的參照?qǐng)D像，依次進(jìn)行對(duì)1個(gè)塊的補(bǔ)償處理；參照?qǐng)D像傳送電路部，在各周期時(shí)間內(nèi)，只要有對(duì)應(yīng)于1個(gè)塊的參照?qǐng)D像，就依次從上述存儲(chǔ)器讀出所有參照?qǐng)D像，并寫(xiě)入到上述輸入緩沖器中；判斷電路部，在各周期時(shí)間中，判斷上述參照?qǐng)D像傳送電路部從上述存儲(chǔ)器讀出的參照?qǐng)D像的總量是否比規(guī)定基準(zhǔn)量多；禁止電路部，在由上述判斷電路部判斷為多的周期時(shí)間內(nèi)，禁止用來(lái)進(jìn)行參照?qǐng)D像的讀出的訪(fǎng)問(wèn)以外的、對(duì)上述存儲(chǔ)器的訪(fǎng)問(wèn)。
在該半導(dǎo)體集成電路中，在從存儲(chǔ)器讀出參照?qǐng)D像的量較多的周期時(shí)間內(nèi)，禁止參照?qǐng)D像的讀出以外的存儲(chǔ)器訪(fǎng)問(wèn)，所以能夠禁止周期時(shí)間內(nèi)的最大數(shù)據(jù)傳送量，由此能夠禁止存儲(chǔ)器總線(xiàn)帶寬。
此外，有關(guān)本發(fā)明的半導(dǎo)體集成電路，對(duì)每個(gè)塊進(jìn)行壓縮圖像的解碼，對(duì)于根據(jù)參照?qǐng)D像壓縮的塊進(jìn)行包括對(duì)應(yīng)于運(yùn)動(dòng)補(bǔ)償?shù)难a(bǔ)償處理的解碼，其特征在于，具備存儲(chǔ)器，保存有參照?qǐng)D像組；補(bǔ)償電路部，具有用來(lái)保存參照?qǐng)D像的、足夠保存兩個(gè)塊量的參照?qǐng)D像的容量的輸入緩沖器，參照保存在輸入緩沖器中的參照?qǐng)D像，依次進(jìn)行對(duì)1個(gè)塊的補(bǔ)償處理；參照?qǐng)D像傳送電路部，在連續(xù)的兩個(gè)周期時(shí)間內(nèi)，只要有分別對(duì)應(yīng)于兩個(gè)塊的參照?qǐng)D像，就依次從上述存儲(chǔ)器讀出所有的參照?qǐng)D像，并寫(xiě)入到上述輸入緩沖器中。
在該半導(dǎo)體集成電路中，即使不將存儲(chǔ)器總線(xiàn)帶寬決定為在1個(gè)周期時(shí)間內(nèi)能夠傳送對(duì)應(yīng)于1宏塊量的參照?qǐng)D像的最大數(shù)據(jù)傳送量也可以，所以能夠相應(yīng)地緩和關(guān)于存儲(chǔ)器總線(xiàn)帶寬的必要條件。
圖1是有關(guān)本發(fā)明的實(shí)施方式1的圖像解碼裝置100的結(jié)構(gòu)圖。
圖2是表示壓縮圖像的流數(shù)據(jù)的構(gòu)造的圖。
圖3是表示宏塊與參照?qǐng)D像的關(guān)系的圖。
圖4是表示控制部110對(duì)宏塊進(jìn)行的解碼控制內(nèi)容的流程圖。
圖5是表示控制部110進(jìn)行的流水線(xiàn)控制的執(zhí)行次序的圖。
圖6是表示圖像解碼裝置100中的DMA傳送的控制的圖。
圖7是有關(guān)本發(fā)明的實(shí)施方式2的圖像解碼裝置500的結(jié)構(gòu)圖。
圖8是表示控制部510對(duì)宏塊進(jìn)行的解碼控制內(nèi)容的流程圖。
圖9是表示控制部510進(jìn)行的流水線(xiàn)控制的執(zhí)行次序的圖。
圖10是表示控制部510進(jìn)行的DMA傳送指示發(fā)出處理的流程圖。
圖11是表示圖像解碼裝置500中的DMA傳送的控制的圖。
圖12是表示將除了存儲(chǔ)器120以外作為半導(dǎo)體集成電路101實(shí)現(xiàn)的圖像解碼裝置100的概況的圖。
圖13是例示以往的圖像解碼裝置中的流水線(xiàn)控制的執(zhí)行次序的圖。
標(biāo)記說(shuō)明100、500圖像解碼裝置110、510控制部111流傳送控制部
112取得部113、513參照?qǐng)D像傳送控制部114、514解碼圖像傳送控制部115未輸出信息保存部116禁止判斷部117閾值存儲(chǔ)部120存儲(chǔ)器130DMA控制器140VLD處理單元140處理單元150逆頻率變換處理單元160、560運(yùn)動(dòng)補(bǔ)償處理單元161、561輸入緩沖器170幀內(nèi)處理單元180解塊過(guò)濾處理單元190、590輸出緩沖器551緩沖器5具體實(shí)施方式
<實(shí)施方式1>
以下，對(duì)本發(fā)明的實(shí)施方式1的圖像解碼裝置100進(jìn)行說(shuō)明。
<結(jié)構(gòu)>
圖1是本發(fā)明的實(shí)施方式1的圖像解碼裝置100的結(jié)構(gòu)圖。
如該圖所示，圖像解碼裝置100具備控制部110、存儲(chǔ)器120、DMA控制器130、可變長(zhǎng)解碼(VLD)處理單元140、逆頻率變換處理單元150、運(yùn)動(dòng)補(bǔ)償處理單元160、幀內(nèi)處理單元170、解塊過(guò)濾處理單元180及輸出緩沖器190。
這里，存儲(chǔ)器120是用來(lái)保存將壓縮的圖像等進(jìn)行可變長(zhǎng)編碼而成的編碼流、并保存參照?qǐng)D像的DRAM。另外，這里，圖像用作表示還包括一種圖像數(shù)據(jù)的概念的用語(yǔ)，該圖像數(shù)據(jù)表現(xiàn)所顯示的圖像內(nèi)容。
DMA控制器130具有從控制部110接受伴隨著存儲(chǔ)器地址指定等的指示的隊(duì)列，擔(dān)負(fù)按照接受到的指示進(jìn)行存儲(chǔ)器120與VLD處理單元140、運(yùn)動(dòng)補(bǔ)償處理單元160或輸出緩沖器190之間的數(shù)據(jù)傳送的功能。
VLD處理單元140具有如下的功能如果被輸入了將壓縮圖像的流數(shù)據(jù)進(jìn)行可變長(zhǎng)編碼而成的編碼流，則將編碼流進(jìn)行可變長(zhǎng)解碼，從壓縮圖像的流數(shù)據(jù)中提取宏塊類(lèi)型與運(yùn)動(dòng)矢量，傳遞給控制部，并且提取宏塊的實(shí)體即表現(xiàn)頻率變換后的所謂的差值的塊數(shù)據(jù)，傳遞給逆頻率變換處理單元150。另外，如圖2中表示數(shù)據(jù)構(gòu)造那樣，壓縮圖像的流數(shù)據(jù)構(gòu)成為，接著表示I圖像、P圖像、B圖像的圖像類(lèi)型等的條頭210而對(duì)每個(gè)宏塊連接宏塊頭220及塊數(shù)據(jù)230。該宏塊頭220包括表示是根據(jù)參照?qǐng)D像以幀間模式壓縮的幀間宏塊、還是不基于參照?qǐng)D像而以幀內(nèi)模式壓縮的幀內(nèi)宏塊的區(qū)別的宏塊類(lèi)型、和運(yùn)動(dòng)矢量。
逆頻率變換處理單元150具有輸出對(duì)從VLD處理單元140傳遞來(lái)的塊數(shù)據(jù)進(jìn)行逆頻率變換而得到的差值的功能。
運(yùn)動(dòng)補(bǔ)償處理單元160具有輸入緩沖器161，具有如下的功能通過(guò)根據(jù)存儲(chǔ)在輸入緩沖器161中的參照?qǐng)D像計(jì)算1/4像素(Quarter-PEL)精度的圖像，并將計(jì)算出的圖像與關(guān)于逆頻率變換處理單元150輸出的宏塊的差值相加，執(zhí)行再構(gòu)成圖像的補(bǔ)償處理即相當(dāng)于所謂的運(yùn)動(dòng)補(bǔ)償?shù)哪嫣幚淼奶幚?這里稱(chēng)作“運(yùn)動(dòng)補(bǔ)償處理”)。
幀內(nèi)處理單元170具有實(shí)施幀內(nèi)處理的功能，即通過(guò)將逆頻率變換處理單元150輸出的關(guān)于該宏塊的差值與該宏塊的周邊圖像相加來(lái)再構(gòu)成圖像的功能。
解塊過(guò)濾處理單元180具有對(duì)運(yùn)動(dòng)補(bǔ)償處理單元160或幀內(nèi)處理單元170輸出的再構(gòu)成圖像實(shí)施解塊過(guò)濾處理的功能，即通過(guò)施加用來(lái)禁止塊噪音的解塊過(guò)濾來(lái)得到解碼圖像、并向輸出緩沖器190送出的功能。
輸出緩沖器190是具有足夠?qū)⒔獯a圖像保存兩個(gè)宏塊量的容量的緩沖器存儲(chǔ)器。
此外，控制部110在硬件方面包括處理器、ROM(Read OnlyMemory)、定時(shí)器等而構(gòu)成，通過(guò)處理器執(zhí)行保存在ROM中的程序，實(shí)現(xiàn)使圖像解碼裝置100的各結(jié)構(gòu)要素在規(guī)定的每個(gè)周期時(shí)間并列地進(jìn)行有關(guān)宏塊單位的解碼的各處理的流水線(xiàn)控制，具體而言，控制DMA控制器130、VLD處理單元140、逆頻率變換處理單元150、運(yùn)動(dòng)補(bǔ)償處理單元160、幀內(nèi)處理單元170及解塊過(guò)濾處理單元180，作為功能方面的結(jié)構(gòu)要素，具有流傳送控制部111、取得部112、參照?qǐng)D像傳送控制部113、解碼圖像傳送控制部114及禁止判斷部116。
這里，流傳送控制部111具有如下的功能進(jìn)行對(duì)DMA控制器130的指示，以使編碼流從存儲(chǔ)器120向VLD處理單元140傳送。
取得部112具有如下的功能從VLD處理單元140取得運(yùn)動(dòng)矢量及宏塊類(lèi)型并傳遞給參照?qǐng)D像傳送控制部113，計(jì)運(yùn)動(dòng)矢量的數(shù)量，并將該運(yùn)動(dòng)矢量的數(shù)量傳遞給禁止判斷部116。
參照?qǐng)D像傳送控制部113具有如下的功能在宏塊類(lèi)型為幀內(nèi)宏塊的情況下，根據(jù)各運(yùn)動(dòng)矢量確定參照?qǐng)D像的位置，指定各參照?qǐng)D像的地址，進(jìn)行向DMA控制器130的指示，以使其在各周期時(shí)間，將對(duì)應(yīng)于1個(gè)宏塊的所有的參照?qǐng)D像從存儲(chǔ)器120向運(yùn)動(dòng)補(bǔ)償處理單元160的輸入緩沖器161傳送。
解碼圖像傳送控制部114包括保存表示在1個(gè)周期時(shí)間內(nèi)是否從輸出緩沖器190被送出到存儲(chǔ)器120的信息的未輸出信息保存部115，具有如下的功能進(jìn)行向DMA控制器130的指示，以使其將輸出緩沖器190內(nèi)的解碼圖像向存儲(chǔ)器120傳送。
禁止判斷部116包括預(yù)先存儲(chǔ)有有關(guān)運(yùn)動(dòng)矢量數(shù)的閾值的閾值存儲(chǔ)部117，具有如下的功能將從取得部112傳遞來(lái)的運(yùn)動(dòng)矢量的數(shù)量與該閾值比較，來(lái)判斷運(yùn)動(dòng)矢量的數(shù)量是否超過(guò)了閾值，根據(jù)判斷結(jié)果來(lái)禁止解碼圖像傳送控制部114進(jìn)行向存儲(chǔ)器120的傳送指示。另外，禁止判斷部116中的運(yùn)動(dòng)矢量的數(shù)量是否超過(guò)閾值的判斷成為間接地判斷對(duì)應(yīng)于該運(yùn)動(dòng)矢量的參照?qǐng)D像的數(shù)據(jù)傳送量是否比規(guī)定量多；在某個(gè)周期時(shí)間中的參照?qǐng)D像的數(shù)據(jù)傳送量比規(guī)定量多的情況下，禁止判斷部116禁止指示在該周期時(shí)間中向存儲(chǔ)器120寫(xiě)入解碼圖像。
圖3是表示宏塊與參照?qǐng)D像的關(guān)系的圖。
劃分壓縮圖像300而成的多個(gè)宏塊由亮度信號(hào)和色差信號(hào)構(gòu)成，在該圖中表示了亮度信號(hào)，亮度信號(hào)是1個(gè)宏塊16像素×16像素的信號(hào)。在1個(gè)宏塊311與參照?qǐng)D像320中的一部分參照?qǐng)D像321類(lèi)似的情況下，運(yùn)動(dòng)矢量301表示宏塊311與參照?qǐng)D像321的空間位置之差，其中，參照?qǐng)D像320是處于與壓縮圖像300不同時(shí)間的圖像幀。另外，參照?qǐng)D像320相當(dāng)于參照?qǐng)D像321等的部分參照?qǐng)D像的集合。
另外，在閾值存儲(chǔ)部117中存儲(chǔ)有閾值S，該閾值S是滿(mǎn)足下面的式1中的最小整數(shù)。
f(S)≥f(V-S)+C這里，函數(shù)f(x)是表示運(yùn)動(dòng)矢量的數(shù)量為x時(shí)的參照?qǐng)D像的總比特量的函數(shù)，V是橫跨連續(xù)的兩個(gè)宏塊的運(yùn)動(dòng)矢量的上限數(shù)，C是1宏塊量的解碼圖像的總比特量。
因而，通過(guò)基于閾值S的判斷，進(jìn)行DMA傳送圖像的參照?qǐng)D像的量是否比f(wàn)(V-S)+C以上的規(guī)定量多的判斷。
<動(dòng)作>
以下，就控制部110的控制的流程，說(shuō)明具備上述結(jié)構(gòu)的圖像解碼裝置100以宏塊單位進(jìn)行的圖像解碼的動(dòng)作。
控制部110決定構(gòu)成壓縮圖像的各宏塊中的依次作為解碼對(duì)象的宏塊，通過(guò)流水線(xiàn)控制在各周期時(shí)間內(nèi)分別使圖像解碼裝置100的各結(jié)構(gòu)要素依次處理6個(gè)宏塊的任一個(gè)，而這里首先說(shuō)明對(duì)1個(gè)宏塊實(shí)施怎樣的處理。
圖4是表示控制部110對(duì)宏塊進(jìn)行的解碼控制內(nèi)容的流程圖。
首先，控制部110的流傳送控制部111對(duì)DMA控制器130發(fā)出傳送指示，以使其將編碼流從存儲(chǔ)器120向VLD處理單元140傳送(步驟S11)。通過(guò)隊(duì)列接受到該編碼流的傳送指示的DMA控制器130進(jìn)行1個(gè)宏塊量的編碼流的傳送。
控制部110啟動(dòng)VLD處理單元140(步驟S12)，VLD處理單元140從編碼流中提取運(yùn)動(dòng)矢量和宏塊類(lèi)型而傳遞給取得部112，并且提取塊數(shù)據(jù)而傳遞給逆頻率變換處理單元150。
控制部110啟動(dòng)逆頻率變換處理單元150(步驟S13)，逆頻率變換處理單元150對(duì)塊數(shù)據(jù)實(shí)施逆頻率變換并輸出。
控制部110判斷有關(guān)宏塊的宏塊類(lèi)型是幀間宏塊還是幀內(nèi)宏塊(步驟S14)，如果是幀間宏塊，則控制部110的取得部112將運(yùn)動(dòng)矢量傳遞給參照?qǐng)D像傳送控制部113，參照?qǐng)D像傳送控制部113通過(guò)根據(jù)宏塊的位置和各運(yùn)動(dòng)矢量計(jì)算各參照?qǐng)D像的位置來(lái)計(jì)算各參照?qǐng)D像在存儲(chǔ)器120內(nèi)的地址(步驟S15)，指定該地址并對(duì)DMA控制器130發(fā)出指示以使其將參照?qǐng)D像從存儲(chǔ)器120傳送給輸入緩沖器161(步驟S16)，啟動(dòng)運(yùn)動(dòng)補(bǔ)償處理單元160(步驟S17)，啟動(dòng)解塊過(guò)濾處理單元180(步驟S18)。通過(guò)隊(duì)列接受到該步驟S16的參照?qǐng)D像的傳送指示的DMA控制器130將對(duì)應(yīng)于1個(gè)宏塊的所有的參照?qǐng)D像傳送給輸入緩沖器161。
此外，作為步驟S17的結(jié)果，運(yùn)動(dòng)補(bǔ)償處理單元160根據(jù)輸入緩沖器161內(nèi)的參照?qǐng)D像和逆頻率變換后的塊數(shù)據(jù)，再構(gòu)成圖像，向解塊過(guò)濾處理單元180送出，此外，作為步驟S18的結(jié)果，解塊過(guò)濾處理單元180禁止再構(gòu)成的圖像的塊噪音，儲(chǔ)存到輸出緩沖器190中。
另一方面，在步驟S14中，在判斷出有關(guān)宏塊的宏塊類(lèi)型是幀內(nèi)宏塊的情況下，控制部110跳過(guò)步驟S15～S17而啟動(dòng)幀內(nèi)處理單元170(步驟S19)，啟動(dòng)解塊過(guò)濾處理單元180(步驟S18)。作為該步驟S19的結(jié)果，幀內(nèi)處理單元170根據(jù)逆頻率變換后的塊數(shù)據(jù)，再構(gòu)成圖像，向解塊過(guò)濾處理單元180送出。
此外，控制部110的禁止判斷部116將由取得部112取得的運(yùn)動(dòng)矢量數(shù)與存儲(chǔ)在閾值存儲(chǔ)部117中的閾值S進(jìn)行比較，在運(yùn)動(dòng)矢量數(shù)超過(guò)閾值S的情況下(步驟S20)，不對(duì)解碼圖像傳送控制部114發(fā)出有關(guān)將解碼圖像送出到存儲(chǔ)器120中的DMA傳送的指示，而是將未輸出信息保存部115內(nèi)的未輸出信息設(shè)定為表示沒(méi)有進(jìn)行該解碼圖像向存儲(chǔ)器送出的信息(步驟S21)。相對(duì)于此，在步驟S20中，在運(yùn)動(dòng)矢量數(shù)沒(méi)有超過(guò)閾值S的情況下，解碼圖像傳送控制部114參照未輸出信息，判斷前面的宏塊量的解碼圖像是否沒(méi)有向存儲(chǔ)器送出(步驟S22)，在沒(méi)有進(jìn)行該送出的情況下，解碼圖像傳送控制部114對(duì)DMA控制器130發(fā)出指示，以使其將某個(gè)宏塊的解碼圖像與其前面的宏塊量的解碼圖像合在一起，將兩個(gè)宏塊量的解碼圖像從輸出緩沖器190傳送給存儲(chǔ)器120(步驟S23)，然后將未輸出信息清空，即未輸出信息更新為表示不存在未送出的解碼圖像的信息(步驟S24)，在不進(jìn)行前面的宏塊量的解碼圖像的送出的情況下，解碼圖像傳送控制部114對(duì)DMA控制器130發(fā)出指示，以使其將某個(gè)宏塊的解碼圖像從輸出緩沖器190傳送給存儲(chǔ)器120(步驟S25)，并將未輸出信息清空(步驟S24)。
根據(jù)該步驟S23或S25，通過(guò)解塊過(guò)濾處理單元180禁止塊噪音，將保存在輸出緩沖器190中的解碼圖像向存儲(chǔ)器120進(jìn)行DMA傳送。
以上，基本上就圖4按照順序說(shuō)明了對(duì)1個(gè)宏塊的處理，但控制部110實(shí)際上進(jìn)行流水線(xiàn)控制，圖4的流程圖中的各步驟所示的動(dòng)作是在流水線(xiàn)控制的周期性時(shí)間即各周期時(shí)間中最初執(zhí)行的。另外，雖然作為處理對(duì)象的宏塊不相同，但是步驟S11、步驟S12、步驟S13、步驟S15～S16、步驟S17或步驟S19、步驟S18、步驟S20～S25的各個(gè)步驟只要是在各周期時(shí)間的最初執(zhí)行，則以怎樣的順序執(zhí)行都可以。
此外，控制部110進(jìn)行的各單元的啟動(dòng)具有傳達(dá)各周期的開(kāi)始的意義，各單元在各周期時(shí)間內(nèi)基本上進(jìn)行對(duì)應(yīng)于1個(gè)宏塊的處理。
圖5是表示控制部110進(jìn)行的流水線(xiàn)控制的執(zhí)行次序的圖。
在該圖中，時(shí)隙TS＝n(n為任意的整數(shù))意味著第n個(gè)周期時(shí)間。此外，MB#n表示第n個(gè)宏塊是處理對(duì)象。
如圖5所示，在控制部110的流水線(xiàn)控制之下，并列進(jìn)行如下處理按照流傳送控制部111的指示由DMA控制器130實(shí)施的流傳送處理；由VLD處理單元140實(shí)施的可變長(zhǎng)解碼處理；由逆頻率變換處理單元150實(shí)施的逆頻率變換處理；按照參照?qǐng)D像傳送控制部113的指示，由DMA控制器130實(shí)施的參照?qǐng)D像傳送處理；由運(yùn)動(dòng)補(bǔ)償處理單元160實(shí)施的運(yùn)動(dòng)補(bǔ)償處理或由幀內(nèi)處理單元170實(shí)施的幀內(nèi)處理；由解塊過(guò)濾處理單元180實(shí)施的解塊過(guò)濾處理；按照解碼圖像傳送控制部114的指示，由DMA控制器130實(shí)施的解碼圖像傳送處理。
因而，在某1個(gè)周期時(shí)間內(nèi)，通過(guò)各單元等，將6個(gè)宏塊并行地作為處理對(duì)象。周期時(shí)間的長(zhǎng)度設(shè)定為使其滿(mǎn)足解碼所要求的速度，各單元需要發(fā)揮并列動(dòng)作的各單元中的1個(gè)宏塊單位的處理所需的時(shí)間最長(zhǎng)的單元的其處理時(shí)間為1周期時(shí)間以?xún)?nèi)的處理性能。
另外，在圖5中例示了解碼圖像傳送處理，但在該例中，表示了假設(shè)在TS＝n+2所示的周期時(shí)間內(nèi)有關(guān)作為參照?qǐng)D像傳送處理的對(duì)象的第n個(gè)宏塊的運(yùn)動(dòng)矢量數(shù)超過(guò)了閾值S、此外在TS＝4所示的周期時(shí)間內(nèi)有關(guān)作為參照?qǐng)D像傳送處理的對(duì)象的第n+2個(gè)宏塊的運(yùn)動(dòng)矢量數(shù)超過(guò)了閾值S的情況的例子。
因此，在TS＝n+2所示的周期時(shí)間內(nèi)，在參照?qǐng)D像傳送處理中傳送的數(shù)據(jù)量比規(guī)定量多，所以通過(guò)上述的步驟S20～S25所示的控制，禁止了以第n-3個(gè)宏塊為對(duì)象的解碼圖像傳送處理，因此，在TS＝n+3所示的周期時(shí)間內(nèi)，實(shí)施以第n-3個(gè)宏塊和第n-2個(gè)宏塊兩者為對(duì)象的解碼圖像傳送處理，此外，在TS＝n+4所示的周期時(shí)間內(nèi)，在參照?qǐng)D像傳送處理中傳送的數(shù)據(jù)量比規(guī)定量多，所以禁止了以第n-1個(gè)宏塊為對(duì)象的解碼圖像傳送處理，因此，在TS＝n+5所示的周期時(shí)間內(nèi)，實(shí)施以第n-1個(gè)宏塊和第n個(gè)宏塊兩者為對(duì)象的解碼圖像傳送處理。
圖6是表示圖像解碼裝置100中的DMA傳送的控制的圖。
DMA控制器130在各周期時(shí)間內(nèi)時(shí)分割來(lái)執(zhí)行如下的處理將1宏塊量的可變長(zhǎng)編碼后的流從存儲(chǔ)器120向VLD處理單元140進(jìn)行DMA傳送的流傳送處理；將對(duì)應(yīng)于1個(gè)宏塊的參照?qǐng)D像從存儲(chǔ)器120向運(yùn)動(dòng)補(bǔ)償處理單元160的輸入緩沖器161進(jìn)行DMA傳送的參照?qǐng)D像傳送處理；和將保存在輸出緩沖器190中的對(duì)應(yīng)于1個(gè)宏塊的解碼圖像向存儲(chǔ)器120進(jìn)行DMA傳送的解碼圖像傳送處理。
在該圖中，用符號(hào)A表示作為流傳送處理的對(duì)象的對(duì)應(yīng)于1個(gè)宏塊量的編碼流的傳送時(shí)間，用符號(hào)B表示作為參照?qǐng)D像傳送處理的對(duì)象的對(duì)應(yīng)于1個(gè)宏塊量的各種量的參照?qǐng)D像的傳送時(shí)間的例子，用符號(hào)C表示作為解碼圖像傳送處理的對(duì)象的對(duì)應(yīng)于1個(gè)宏塊量的解碼圖像的傳送時(shí)間。另外，圖6的例子與圖5的例子對(duì)應(yīng)。
該例子表示，在TS＝n+2所示的周期時(shí)間內(nèi)進(jìn)行DMA傳送的參照?qǐng)D像的總量超過(guò)了規(guī)定量，在圖4的步驟S20的判斷模塊中判斷為是，在該周期時(shí)間內(nèi)不進(jìn)行解碼圖像的DMA傳送，而在接下來(lái)的TS＝n+3所示的周期時(shí)間進(jìn)行兩個(gè)宏塊量的解碼圖像的DMA傳送。另外，根據(jù)MPEG4AVC標(biāo)準(zhǔn)的對(duì)應(yīng)于較大的圖像的等級(jí)的規(guī)定，將連續(xù)的兩個(gè)宏塊量的運(yùn)動(dòng)矢量的總數(shù)的上限固定地設(shè)定為16等，所以在TS＝n+2中被進(jìn)行DMA傳送的參照?qǐng)D像的量較多的情況下，相對(duì)地在TS＝n+3中被進(jìn)行DMA傳送的參照?qǐng)D像的量較少或?yàn)?。另外，相對(duì)于與1個(gè)宏塊所對(duì)應(yīng)的參照?qǐng)D像的最大量，與1個(gè)宏塊對(duì)應(yīng)的解碼圖像的量足夠小。
因而，步驟S20～S25所示那樣的禁止判斷部116及解碼圖像傳送控制部114的動(dòng)作的結(jié)果，在TS＝n+2所示的周期時(shí)間內(nèi)禁止了解碼圖像的傳送，能夠縮減該周期時(shí)間內(nèi)的存儲(chǔ)器訪(fǎng)問(wèn)帶來(lái)的最大數(shù)據(jù)傳送量，所以，在圖像解碼裝置100中，能夠使關(guān)于存儲(chǔ)器帶寬的必要條件變得比較緩和。
<實(shí)施方式2>
以下，對(duì)有關(guān)本發(fā)明的實(shí)施方式2的圖像解碼裝置500進(jìn)行說(shuō)明。
上述的有關(guān)實(shí)施方式1的圖像解碼裝置100具有在各周期時(shí)間內(nèi)進(jìn)行對(duì)應(yīng)于1個(gè)宏塊的所有的參照?qǐng)D像的DMA傳送的結(jié)構(gòu)。相對(duì)于此，有關(guān)實(shí)施方式2的圖像解碼裝置500具有如下的結(jié)構(gòu)還允許在1個(gè)周期時(shí)間內(nèi)不能結(jié)束對(duì)應(yīng)于1個(gè)宏塊的所有的參照?qǐng)D像的DMA傳送的情況，控制成使分別對(duì)應(yīng)于連續(xù)的兩個(gè)宏塊的所有的參照?qǐng)D像的DMA傳送在兩個(gè)周期時(shí)間內(nèi)結(jié)束。
<結(jié)構(gòu)>
圖7是本發(fā)明的實(shí)施方式2的圖像解碼裝置500的結(jié)構(gòu)圖。
如該圖所示，圖像解碼裝置500具備控制部510、存儲(chǔ)器120、DMA控制器130、可變長(zhǎng)解碼(VLD)處理單元140、逆頻率變換處理單元150、緩沖器551、運(yùn)動(dòng)補(bǔ)償處理單元560、幀內(nèi)處理單元170、解塊過(guò)濾處理單元180及輸出緩沖器590。另外，對(duì)于圖7所示的圖像解碼裝置500的各結(jié)構(gòu)要素中的與實(shí)施方式1所示的圖像解碼裝置100相同的結(jié)構(gòu)要素，賦予與圖1相同的標(biāo)記，對(duì)于它們省略詳細(xì)說(shuō)明。
運(yùn)動(dòng)補(bǔ)償處理單元560具備具有足夠保存對(duì)應(yīng)于連續(xù)的兩個(gè)宏塊的所有參照?qǐng)D像的容量的輸入緩沖器561，具有如下的功能執(zhí)行根據(jù)存儲(chǔ)在輸入緩沖器161中的參照?qǐng)D像計(jì)算1/4像素精度的圖像，并通過(guò)將計(jì)算出的圖像與關(guān)于逆頻率變換處理單元150輸出的宏塊的差值相加，來(lái)執(zhí)行再構(gòu)成圖像的運(yùn)動(dòng)補(bǔ)償處理。
輸出緩沖器590是具有足夠?qū)⒔獯a圖像保存1個(gè)宏塊量的容量的緩沖器存儲(chǔ)器。
此外，控制部510在硬件方面包括處理器、ROM(Read OnlyMemory)、定時(shí)器等而構(gòu)成，通過(guò)處理器執(zhí)行保存在ROM中的程序，實(shí)現(xiàn)使圖像解碼裝置500的各結(jié)構(gòu)要素在規(guī)定的每個(gè)周期時(shí)間中并列地進(jìn)行有關(guān)宏塊單位的解碼的各處理的流水線(xiàn)控制。具體而言，控制DMA控制器130、VLD處理單元140、逆頻率變換處理單元150、運(yùn)動(dòng)補(bǔ)償處理單元560、幀內(nèi)處理單元170及解塊過(guò)濾處理單元180，作為功能方面的結(jié)構(gòu)要素，具有流傳送控制部111、取得部112、參照?qǐng)D像傳送控制部513及解碼圖像傳送控制部514。
這里，參照?qǐng)D像傳送控制部513具有如下的功能在取得部112取得的宏塊類(lèi)型為幀內(nèi)宏塊的情況下，根據(jù)各運(yùn)動(dòng)矢量確定參照?qǐng)D像的位置，指定各參照?qǐng)D像的地址，向DMA控制器130指示，以使其將各參照?qǐng)D像從存儲(chǔ)器120向運(yùn)動(dòng)補(bǔ)償處理單元560的輸入緩沖器561傳送。另外，該指示是每當(dāng)周期時(shí)間的開(kāi)始時(shí)刻進(jìn)行的，但是開(kāi)始對(duì)應(yīng)于保存在DMA控制器130的隊(duì)列中的指示的DMA傳送的時(shí)刻并不限于該周期時(shí)間的開(kāi)始時(shí)刻。但是，在從進(jìn)行了參照?qǐng)D像的DMA傳送的指示開(kāi)始兩個(gè)周期時(shí)間以?xún)?nèi)必須結(jié)束與其對(duì)應(yīng)的DMA傳送的執(zhí)行。
解碼圖像傳送控制部514具有如下的功能進(jìn)行向DMA控制器130的指示，以使其在1個(gè)周期時(shí)間內(nèi)將輸出緩沖器590內(nèi)的1個(gè)宏塊量的解碼圖像向存儲(chǔ)器120傳送。
此外，緩沖器551是用來(lái)暫時(shí)儲(chǔ)存逆頻率變換處理單元150所輸出的數(shù)據(jù)的緩存器，是為了對(duì)逆頻率變換處理單元150在某個(gè)周期時(shí)間中處理后的宏塊，在其下下個(gè)周期時(shí)間，由運(yùn)動(dòng)補(bǔ)償處理單元560或幀內(nèi)處理單元170進(jìn)行處理而設(shè)置的。
<動(dòng)作>
以下，就控制部510的進(jìn)行的控制的流程，對(duì)具備上述結(jié)構(gòu)的圖像解碼裝置500以宏塊單位進(jìn)行的圖像解碼動(dòng)作進(jìn)行說(shuō)明。
控制部510決定構(gòu)成壓縮圖像的各宏塊中的依次作為解碼對(duì)象的宏塊，通過(guò)流水線(xiàn)控制，在各周期時(shí)間內(nèi)分別使圖像解碼裝置500的各結(jié)構(gòu)要素依次處理6個(gè)或7個(gè)宏塊中的某一個(gè)，而這里首先說(shuō)明對(duì)1個(gè)宏塊實(shí)施怎樣的處理。
圖8是表示控制部510對(duì)宏塊進(jìn)行的解碼控制內(nèi)容的流程圖。
首先，控制部510的流傳送控制部111對(duì)DMA控制器130發(fā)出傳送指示，以使其將編碼流從存儲(chǔ)器120向VLD處理單元140傳送(步驟S51)。通過(guò)隊(duì)列接受到該編碼流的傳送指示的DMA控制器130進(jìn)行1個(gè)宏塊量的編碼流的傳送。
控制部510啟動(dòng)VLD處理單元140(步驟S52)，VLD處理單元140從編碼流中提取運(yùn)動(dòng)矢量和宏塊類(lèi)型而傳遞給取得部112，并且提取塊數(shù)據(jù)而傳遞給逆頻率變換處理單元150。
控制部510啟動(dòng)逆頻率變換處理單元150(步驟S53)，逆頻率變換處理單元150對(duì)塊數(shù)據(jù)實(shí)施逆頻率變換并輸出。
控制部510判斷有關(guān)宏塊的宏塊類(lèi)型是幀間宏塊還是幀內(nèi)宏塊(步驟S54)，如果是幀間宏塊，則控制部510的取得部112將運(yùn)動(dòng)矢量傳遞給參照?qǐng)D像傳送控制部513，參照?qǐng)D像傳送控制部513通過(guò)根據(jù)宏塊的位置和各運(yùn)動(dòng)矢量計(jì)算各參照?qǐng)D像的位置，來(lái)計(jì)算各參照?qǐng)D像在存儲(chǔ)器120內(nèi)的地址(步驟S55)，指定該地址并對(duì)DMA控制器130發(fā)出指示以使其將參照?qǐng)D像從存儲(chǔ)器120傳送給輸入緩沖器561(步驟S56)，啟動(dòng)運(yùn)動(dòng)補(bǔ)償處理單元560(步驟S57)，啟動(dòng)解塊過(guò)濾處理單元180(步驟S58)。通過(guò)隊(duì)列接受到該步驟S56的參照?qǐng)D像的傳送指示的DMA控制器130，將對(duì)應(yīng)于1個(gè)宏塊的所有的參照?qǐng)D像傳送給輸入緩沖器561。
此外，作為步驟S57的結(jié)果，運(yùn)動(dòng)補(bǔ)償處理單元560根據(jù)輸入緩沖器161內(nèi)的參照?qǐng)D像和逆頻率變換后的塊數(shù)據(jù)，再構(gòu)成圖像，向解塊過(guò)濾處理單元180送出，此外，作為步驟S58的結(jié)果，解塊過(guò)濾處理單元180禁止再構(gòu)成的圖像的塊噪音，儲(chǔ)存到輸出緩沖器590中。
另一方面，在步驟S54中，在判斷出有關(guān)宏塊的宏塊類(lèi)型是幀內(nèi)宏塊的情況下，控制部510跳過(guò)步驟S55～S57而啟動(dòng)幀內(nèi)處理單元170(步驟S59)，啟動(dòng)解塊過(guò)濾處理單元180(步驟S58)。作為該步驟S59的結(jié)果，幀內(nèi)處理單元170根據(jù)逆頻率變換后的塊數(shù)據(jù)，再構(gòu)成圖像，向解塊過(guò)濾處理單元180送出。
控制部510的解碼圖像傳送控制部514對(duì)DMA控制器130發(fā)出指示，以使其將有關(guān)在進(jìn)行了步驟S58后作為其結(jié)果保存在輸入緩沖器590中的宏塊的解碼圖像傳送給存儲(chǔ)器120(步驟S60)。
以上，基本上就圖8按照順序說(shuō)明了對(duì)1個(gè)宏塊的處理，但控制部510實(shí)際上進(jìn)行流水線(xiàn)控制，圖8的流程圖中的各步驟所示的動(dòng)作是在流水線(xiàn)控制的周期性時(shí)間即各周期時(shí)間中最初執(zhí)行的。即，雖然作為處理對(duì)象的宏塊不相同，但是步驟S51、步驟S52、步驟S53、步驟S55～S56、步驟S57或步驟S59、步驟S58、步驟S60的各個(gè)步驟分別在各周期時(shí)間的最初執(zhí)行。另外，在此時(shí)，對(duì)于步驟S51、步驟S55～S56、和步驟S60如后述那樣設(shè)定了執(zhí)行順序，但對(duì)于其他步驟以怎樣的順序執(zhí)行都可以。
此外，控制部510進(jìn)行的各單元的啟動(dòng)具有傳達(dá)各周期的開(kāi)始的意義，各單元在各周期時(shí)間內(nèi)基本上進(jìn)行對(duì)應(yīng)于1個(gè)宏塊的處理。但是，DMA控制器130進(jìn)行的對(duì)與1個(gè)宏塊對(duì)應(yīng)的所有參照?qǐng)D像的DMA傳送在1個(gè)周期時(shí)間內(nèi)沒(méi)有結(jié)束也可以，只要在兩個(gè)周期時(shí)間內(nèi)結(jié)束對(duì)分別與連續(xù)的兩個(gè)宏塊對(duì)應(yīng)的所有的參照?qǐng)D像的DMA傳送就可以。
圖9是表示控制部510進(jìn)行的流水線(xiàn)控制的執(zhí)行次序的圖。
在該圖中，時(shí)隙TS＝n(n為任意的整數(shù))意味著第n個(gè)周期時(shí)間。此外，MB#n表示第n個(gè)宏塊是處理對(duì)象。
如圖9所示，在控制部510的流水線(xiàn)控制之下，并列進(jìn)行如下處理按照流傳送控制部111的指示由DMA控制器130實(shí)施的流傳送處理、由VLD處理單元140實(shí)施的可變長(zhǎng)解碼處理、由逆頻率變換處理單元150實(shí)施的逆頻率變換處理、按照參照?qǐng)D像傳送控制部513的指示由DMA控制器130實(shí)施的參照?qǐng)D像傳送處理、由運(yùn)動(dòng)補(bǔ)償處理單元560實(shí)施的運(yùn)動(dòng)補(bǔ)償處理或由幀內(nèi)處理單元170實(shí)施的幀內(nèi)處理、由解塊過(guò)濾處理單元180實(shí)施的解塊過(guò)濾處理、按照解碼圖像傳送控制部514的指示由DMA控制器130實(shí)施的解碼圖像傳送處理。
因而，在某1個(gè)周期時(shí)間內(nèi)，通過(guò)各單元等將6個(gè)或7個(gè)宏塊并行地作為處理對(duì)象。周期時(shí)間的長(zhǎng)度設(shè)定為使其滿(mǎn)足解碼所要求的速度，各單元需要發(fā)揮如下的處理性能使并列動(dòng)作的各單元中的1個(gè)宏塊單位的處理所需的時(shí)間最長(zhǎng)的單元的處理時(shí)間在1周期時(shí)間以?xún)?nèi)。
另外，在圖9中，對(duì)于參照?qǐng)D像傳送處理，僅表示了能夠進(jìn)行與各宏塊對(duì)應(yīng)的參照?qǐng)D像的DMA傳送的期間有兩個(gè)周期時(shí)間的情況，根據(jù)MPEG4AVC標(biāo)準(zhǔn)的對(duì)應(yīng)于較大的圖像的等級(jí)的規(guī)定，由于固定地設(shè)定了連續(xù)的兩個(gè)宏塊量的運(yùn)動(dòng)矢量的總數(shù)的上限，所以在進(jìn)行對(duì)這樣的較大的圖像的解碼時(shí)，實(shí)際上若例如將對(duì)應(yīng)于第n個(gè)宏塊的參照?qǐng)D像的傳送和對(duì)應(yīng)于第n+1個(gè)宏塊的參照?qǐng)D像的傳送合在一起來(lái)看，則在兩個(gè)時(shí)間周期內(nèi)結(jié)束。
圖10是表示控制部510進(jìn)行的DMA傳送指示發(fā)出處理的流程圖。
在各周期時(shí)間的最初，設(shè)定了控制部510的流傳送控制部111、參照?qǐng)D像傳送控制部513及解碼圖像傳送控制部514進(jìn)行DMA傳送指示的順序，如該圖所示，首先通過(guò)流傳送控制部111進(jìn)行對(duì)應(yīng)于第n個(gè)宏塊的編碼流的DMA傳送的指示的發(fā)出(步驟S71)，通過(guò)解碼圖像傳送控制部514進(jìn)行對(duì)應(yīng)于第n-6個(gè)宏塊的解碼圖像的DMA傳送指示的發(fā)出(步驟S72)，最后進(jìn)行對(duì)應(yīng)于第n-2個(gè)宏塊的所有參照?qǐng)D像的DMA傳送指示的發(fā)出。
圖11是表示圖像解碼裝置500中的DMA傳送的控制的圖。
DMA控制器130在各周期時(shí)間內(nèi)時(shí)分割來(lái)執(zhí)行如下的處理將1宏塊量的可變長(zhǎng)編碼后的流從存儲(chǔ)器120向VLD處理單元140進(jìn)行DMA傳送的流傳送處理；將對(duì)應(yīng)于1個(gè)宏塊的參照?qǐng)D像從存儲(chǔ)器120向運(yùn)動(dòng)補(bǔ)償處理單元560的輸入緩沖器561進(jìn)行DMA傳送的參照?qǐng)D像傳送處理；和將保存在輸出緩沖器590中的對(duì)應(yīng)于1個(gè)宏塊的解碼圖像向存儲(chǔ)器120進(jìn)行DMA傳送的解碼圖像傳送處理。
在該圖中，用符號(hào)A表示作為流傳送處理的對(duì)象的對(duì)應(yīng)于1個(gè)宏塊量的編碼流的傳送時(shí)間，用符號(hào)B表示作為參照?qǐng)D像傳送處理的對(duì)象的對(duì)應(yīng)于1個(gè)宏塊量的各種量的參照?qǐng)D像的傳送時(shí)間的例子，用符號(hào)C表示作為解碼圖像傳送處理的對(duì)象的對(duì)應(yīng)于1個(gè)宏塊量的解碼圖像的傳送時(shí)間。
該例子是在TS＝n+2所示的周期時(shí)間內(nèi)，由于與進(jìn)行DMA傳送1個(gè)宏塊對(duì)應(yīng)的參照?qǐng)D像的總量較多，所以在該時(shí)間周期內(nèi)DMA傳送沒(méi)有完成，而進(jìn)入到TS＝n+3所示的周期時(shí)間內(nèi)后才完成該DMA傳送的例子。在包括TS＝n+3所示的周期時(shí)間的全部的周期時(shí)間的最初，以按照?qǐng)D10的順序進(jìn)行DMA傳送指示。即，DMA控制器130在DMA傳送結(jié)束后才從隊(duì)列按照被指示的順序取出DMA傳送指示，來(lái)進(jìn)行接下來(lái)的DMA傳送。
另外，根據(jù)MPEG4AVC標(biāo)準(zhǔn)的對(duì)應(yīng)于較大的圖像的等級(jí)的規(guī)定，即使是較大的圖像，也將連續(xù)的兩個(gè)宏塊量的運(yùn)動(dòng)矢量的總數(shù)的上限固定地設(shè)定為16等，所以在TS＝n+2中DMA傳送的參照?qǐng)D像的量較多的情況下，相對(duì)地在TS＝n+3中被DMA傳送的參照?qǐng)D像的量較少或成為0。
因而，即使在1個(gè)周期時(shí)間內(nèi)沒(méi)有結(jié)束對(duì)應(yīng)于1個(gè)宏塊的所有的參照?qǐng)D像的DMA傳送，只要在兩個(gè)周期時(shí)間內(nèi)結(jié)束就可以，所以能夠縮減各周期時(shí)間內(nèi)的存儲(chǔ)器訪(fǎng)問(wèn)帶來(lái)的最大數(shù)據(jù)傳送量，在該圖像解碼裝置500中，能夠使關(guān)于存儲(chǔ)器帶寬的必要條件變得比較緩和。
<補(bǔ)充>
以上，根據(jù)實(shí)施方式1、2對(duì)有關(guān)本發(fā)明的圖像解碼裝置進(jìn)行了說(shuō)明，但也可以如以下這樣變形，本發(fā)明當(dāng)然并不限于上述實(shí)施方式所示的圖像解碼裝置。
(1)在實(shí)施方式1、2中，運(yùn)動(dòng)補(bǔ)償處理單元包括輸入緩沖器，但也可以將緩沖器存儲(chǔ)器設(shè)置在運(yùn)動(dòng)補(bǔ)償處理單元的外部。此外，構(gòu)成圖像解碼裝置的各單元也可以分別包括輸入緩沖器及輸出緩沖器。另外，各單元也可以并不一定是獨(dú)立的個(gè)體，也可以是多個(gè)成形為一體的。
(2)在實(shí)施方式1、2中，在通過(guò)參照?qǐng)D像傳送處理完成了對(duì)應(yīng)于某個(gè)宏塊的所有的參照?qǐng)D像從存儲(chǔ)器向輸入緩沖器的DMA傳送后的周期時(shí)間中，運(yùn)動(dòng)補(bǔ)償處理單元進(jìn)行對(duì)該宏塊的運(yùn)動(dòng)補(bǔ)償處理，但是運(yùn)動(dòng)補(bǔ)償處理單元也可以在將參照?qǐng)D像保存在輸入緩沖器中后、在DMA傳送結(jié)束前開(kāi)始對(duì)該宏塊的運(yùn)動(dòng)補(bǔ)償處理，在此情況下，也可以在例如該DMA傳送結(jié)束后的周期時(shí)間中接受運(yùn)動(dòng)補(bǔ)償處理的結(jié)果，解塊過(guò)濾處理單元進(jìn)行解塊過(guò)濾處理。即，就實(shí)施方式2來(lái)看，也可以將實(shí)施方式2所示的圖像解碼裝置變形為如下在取得參照?qǐng)D像后，動(dòng)補(bǔ)償處理單元馬上開(kāi)始運(yùn)動(dòng)補(bǔ)償處理的情況下，在開(kāi)始與處于某個(gè)周期時(shí)間內(nèi)的宏塊對(duì)應(yīng)的參照?qǐng)D像的DMA傳送時(shí)，在該周期時(shí)間的兩個(gè)以后的周期時(shí)間內(nèi)開(kāi)始執(zhí)行對(duì)應(yīng)于該宏塊的解塊過(guò)濾處理。
(3)在實(shí)施方式1中，在1個(gè)周期時(shí)間內(nèi)將超過(guò)規(guī)定量的參照?qǐng)D像從存儲(chǔ)器進(jìn)行DMA傳送時(shí)，禁止了該周期時(shí)間內(nèi)的解碼圖像向存儲(chǔ)器進(jìn)行DMA傳送，但是，只要在超過(guò)規(guī)定量的參照?qǐng)D像進(jìn)行DMA傳送的周期時(shí)間內(nèi)，禁止該參照?qǐng)D像的除了DMA傳送以外的任何存儲(chǔ)器訪(fǎng)問(wèn)就可以，例如也可以禁止編碼流從存儲(chǔ)器進(jìn)行DMA傳送。另外，參照?qǐng)D像的傳送量如果以只要在某個(gè)周期時(shí)間中比規(guī)定量多則在下個(gè)周期時(shí)間中變少為前提，則可以控制成使能夠利用例如該禁止的存儲(chǔ)器周期的下個(gè)存儲(chǔ)器周期執(zhí)行所禁止的存儲(chǔ)器訪(fǎng)問(wèn)。在將編碼流的DMA傳送作為禁止控制的對(duì)象的情況下，也可以例如將編碼流與實(shí)施方式1中圖5所示的情況相比總是先讀出對(duì)應(yīng)于1個(gè)宏塊的量、并在VLD處理單元中設(shè)置可存儲(chǔ)1個(gè)宏塊多余量的輸入緩沖器。
(4)實(shí)施方式1所示的閾值S為滿(mǎn)足式1的最小的整數(shù)，但也可以并不一定是最小的整數(shù)。但是，如果是最小的整數(shù)，則能夠最大限度地禁止存儲(chǔ)器總線(xiàn)帶寬。此外，在實(shí)施方式1中，表示了根據(jù)比較閾值S與運(yùn)動(dòng)矢量的數(shù)量的結(jié)果來(lái)決定是否暫時(shí)禁止解碼圖像的DMA傳送的結(jié)構(gòu)，但也可以將圖像解碼裝置做成根據(jù)作為DMA傳送對(duì)象的參照?qǐng)D像的數(shù)據(jù)量與規(guī)定量的比較結(jié)果來(lái)決定是否暫時(shí)禁止解碼圖像的DMA傳送的結(jié)構(gòu)。
(5)在實(shí)施方式1、2中，表示了以宏塊單位進(jìn)行解碼的圖像解碼裝置，但是也可以以更細(xì)分化的單位對(duì)宏塊進(jìn)行解碼，本發(fā)明可以適用于將圖像分割為較小的任意尺寸的塊單位來(lái)進(jìn)行解碼的情況。
也可以不以宏塊單位、而是以該塊單位進(jìn)行如實(shí)施方式2所示那樣的流水線(xiàn)控制(參照?qǐng)D9)，將該塊單位基本上在1個(gè)周期時(shí)間中處理。塊單位是例如作為宏塊的1/16的4×4像素的尺寸、或作為1/2的8×16像素的尺寸等。另外，在以塊單位進(jìn)行流水線(xiàn)控制的情況下，對(duì)于參照?qǐng)D像傳送處理的流水線(xiàn)階段，解除在1個(gè)時(shí)間周期中執(zhí)行對(duì)1個(gè)塊的傳送的限制。
(7)實(shí)施方式1、2所示的圖像解碼裝置100、500也可以分別作為半導(dǎo)體集成電路而構(gòu)成在1個(gè)半導(dǎo)體芯片上，此外，在將該半導(dǎo)體集成電路封裝為1個(gè)的情況下，存儲(chǔ)器120也可以存儲(chǔ)于該封裝的外部。另外，圖12是表示將除了存儲(chǔ)器120以外作為半導(dǎo)體集成電路101實(shí)現(xiàn)的圖像解碼裝置100的概況的圖。
工業(yè)實(shí)用性有關(guān)本發(fā)明的圖像解碼裝置可以用在將按照MPEG4AVC標(biāo)準(zhǔn)壓縮的運(yùn)動(dòng)圖像再現(xiàn)的DVD播放器、數(shù)字電視機(jī)等的圖像再現(xiàn)裝置中。
權(quán)利要求
1.一種圖像解碼裝置，對(duì)每個(gè)塊進(jìn)行壓縮圖像的解碼，對(duì)于根據(jù)參照?qǐng)D像壓縮的塊進(jìn)行包括對(duì)應(yīng)于運(yùn)動(dòng)補(bǔ)償?shù)难a(bǔ)償處理的解碼，其特征在于，具備存儲(chǔ)器，保存有參照?qǐng)D像組；補(bǔ)償單元，具有用來(lái)保存參照?qǐng)D像的輸入緩沖器，參照保存在輸入緩沖器中的參照?qǐng)D像，依次進(jìn)行對(duì)1個(gè)塊的補(bǔ)償處理；參照?qǐng)D像傳送單元，在各周期時(shí)間內(nèi)，只要有對(duì)應(yīng)于1個(gè)塊的參照?qǐng)D像，就依次從上述存儲(chǔ)器讀出所有參照?qǐng)D像，并寫(xiě)入到上述輸入緩沖器中；判斷單元，在各周期時(shí)間中，判斷上述參照?qǐng)D像傳送單元從上述存儲(chǔ)器讀出的參照?qǐng)D像的總量是否比規(guī)定基準(zhǔn)量多；禁止單元，在通過(guò)上述判斷單元判斷為多的周期時(shí)間內(nèi)，禁止用來(lái)進(jìn)行參照?qǐng)D像的讀出的訪(fǎng)問(wèn)以外的向上述存儲(chǔ)器的訪(fǎng)問(wèn)。
2.如權(quán)利要求
1所述的圖像解碼裝置，其特征在于，上述圖像解碼裝置還具備取得單元，該取得單元依次取得與根據(jù)參照?qǐng)D像壓縮的1個(gè)塊對(duì)應(yīng)的運(yùn)動(dòng)矢量；上述補(bǔ)償單元參照上述參照?qǐng)D像，根據(jù)由上述取得單元取得的運(yùn)動(dòng)矢量，進(jìn)行對(duì)塊的補(bǔ)償處理；上述參照?qǐng)D像傳送單元傳送的、對(duì)應(yīng)于1個(gè)塊的所有的參照?qǐng)D像分別是根據(jù)由上述取得單元取得的對(duì)應(yīng)于該塊的各運(yùn)動(dòng)矢量來(lái)確定的；關(guān)于在各周期時(shí)間中從上述存儲(chǔ)器讀出的對(duì)應(yīng)于塊的參照?qǐng)D像的總量是否比規(guī)定基準(zhǔn)量多，上述判斷單元根據(jù)由上述取得單元取得的對(duì)應(yīng)于該塊的運(yùn)動(dòng)矢量的數(shù)量是否比規(guī)定的閾值多來(lái)進(jìn)行判斷。
3.如權(quán)利要求
2所述的圖像解碼裝置，其特征在于，上述圖像解碼裝置還具備輸出緩沖器，用來(lái)保存關(guān)于由補(bǔ)償單元進(jìn)行了補(bǔ)償處理后的塊的解碼圖像；解碼圖像傳送單元，依次從上述輸出緩沖器讀出關(guān)于1個(gè)塊的解碼圖像，寫(xiě)入到上述存儲(chǔ)器中；上述禁止單元在由上述判斷單元判斷為多的周期時(shí)間內(nèi)，禁止上述解碼圖像傳送單元對(duì)上述存儲(chǔ)器的訪(fǎng)問(wèn)。
4.如權(quán)利要求
3所述的圖像解碼裝置，其特征在于，上述輸出緩沖器的容量是能夠保存兩個(gè)塊量的解碼圖像的容量；上述解碼圖像傳送單元在由上述禁止單元禁止的周期時(shí)間的下個(gè)周期時(shí)間內(nèi)，連續(xù)將關(guān)于兩個(gè)塊量的解碼圖像從上述輸出緩沖器讀出而寫(xiě)入到上述存儲(chǔ)器中，在除此之外的周期時(shí)間內(nèi)，將關(guān)于1個(gè)塊量的解碼圖像從上述輸出緩沖器讀出而寫(xiě)入到上述存儲(chǔ)器中。
5.如權(quán)利要求
4所述的圖像解碼裝置，其特征在于，上述存儲(chǔ)器除了參照?qǐng)D像以外，還保存有編碼流，該編碼流是將對(duì)每個(gè)塊包含有塊頭信息和塊數(shù)據(jù)而成的數(shù)據(jù)進(jìn)行可變長(zhǎng)編碼而成的，上述塊頭信息包括表示是否是根據(jù)參照?qǐng)D像壓縮的塊的信息和運(yùn)動(dòng)矢量；上述圖像解碼裝置還具備可變長(zhǎng)解碼單元，如果被輸入了編碼流，則進(jìn)行可變長(zhǎng)解碼；流傳送單元，從上述存儲(chǔ)器中依次讀出編碼流，輸入到上述可變長(zhǎng)編碼單元中；幀內(nèi)處理單元，對(duì)依次傳遞來(lái)的塊的塊數(shù)據(jù)實(shí)施不參照參照?qǐng)D像的解碼處理；上述取得單元根據(jù)由上述可變長(zhǎng)解碼單元進(jìn)行了可變長(zhǎng)解碼的結(jié)果進(jìn)行上述運(yùn)動(dòng)矢量的取得，再將根據(jù)參照?qǐng)D像壓縮的塊的、由可變長(zhǎng)解碼單元進(jìn)行了可變長(zhǎng)解碼的結(jié)果的塊數(shù)據(jù)傳遞給上述補(bǔ)償單元，將沒(méi)有根據(jù)參照?qǐng)D像壓縮的塊的、由可變長(zhǎng)解碼單元進(jìn)行了可變長(zhǎng)解碼的結(jié)果的塊數(shù)據(jù)傳遞給上述幀內(nèi)處理單元；在上述輸出緩沖器中，除了關(guān)于由上述補(bǔ)償單元進(jìn)行了補(bǔ)償處理后的塊的解碼圖像以外，還保存有有關(guān)由上述幀內(nèi)處理單元實(shí)施了解碼處理后的塊的解碼圖像。
6.如權(quán)利要求
5所述的圖像解碼裝置，其特征在于，上述塊是宏塊。
7.如權(quán)利要求
2所述的圖像解碼裝置，其特征在于，上述存儲(chǔ)器除了參照?qǐng)D像以外，還保存有編碼流，該編碼流是將對(duì)每個(gè)塊包含有塊頭信息和塊數(shù)據(jù)而成的數(shù)據(jù)進(jìn)行可變長(zhǎng)編碼而成的，上述塊頭信息包括表示是否是根據(jù)參照?qǐng)D像壓縮的塊的信息和運(yùn)動(dòng)矢量；上述圖像解碼裝置還具備可變長(zhǎng)解碼單元，如果被輸入了編碼流數(shù)據(jù)，則進(jìn)行可變長(zhǎng)解碼；流傳送單元，從上述存儲(chǔ)器中依次讀出編碼流，輸入到上述可變長(zhǎng)編碼單元中；幀內(nèi)處理單元，對(duì)依次傳遞來(lái)的塊的塊數(shù)據(jù)實(shí)施不參照參照?qǐng)D像的解碼處理；上述取得單元根據(jù)由上述可變長(zhǎng)解碼單元進(jìn)行了可變長(zhǎng)解碼的結(jié)果進(jìn)行上述運(yùn)動(dòng)矢量的取得，再將根據(jù)參照?qǐng)D像壓縮的塊的、由可變長(zhǎng)解碼單元進(jìn)行了可變長(zhǎng)解碼的結(jié)果的塊數(shù)據(jù)傳遞給上述補(bǔ)償單元，將沒(méi)有根據(jù)參照?qǐng)D像壓縮的塊的、由可變長(zhǎng)解碼單元進(jìn)行了可變長(zhǎng)解碼的結(jié)果的塊數(shù)據(jù)傳遞給上述幀內(nèi)處理單元；上述禁止單元在由上述判斷單元判斷為多的周期時(shí)間內(nèi)，禁止上述流傳送單元對(duì)上述存儲(chǔ)器的訪(fǎng)問(wèn)。
8.一種圖像解碼裝置，對(duì)每個(gè)塊進(jìn)行壓縮圖像的解碼，對(duì)于根據(jù)參照?qǐng)D像壓縮的塊進(jìn)行包括對(duì)應(yīng)于運(yùn)動(dòng)補(bǔ)償?shù)难a(bǔ)償處理的解碼，其特征在于，具備存儲(chǔ)器，保存有參照?qǐng)D像組；補(bǔ)償單元，具有用來(lái)保存參照?qǐng)D像的、足夠保存兩個(gè)塊量的參照?qǐng)D像的容量的輸入緩沖器，參照保存在輸入緩沖器中的參照?qǐng)D像，依次進(jìn)行對(duì)1個(gè)塊的補(bǔ)償處理；參照?qǐng)D像傳送單元，在連續(xù)的兩個(gè)周期時(shí)間內(nèi)，只要有分別對(duì)應(yīng)于兩個(gè)塊的參照?qǐng)D像，就依次從上述存儲(chǔ)器讀出所有的參照?qǐng)D像，并寫(xiě)入到上述輸入緩沖器中。
9.如權(quán)利要求
8所述的圖像解碼裝置，其特征在于，上述圖像解碼裝置還具備處理單元，該處理單元處理上述補(bǔ)償單元進(jìn)行了補(bǔ)償處理后的解碼圖像；上述處理單元及上述補(bǔ)償單元中的1個(gè)單元與上述參照?qǐng)D像傳送單元并列地在每個(gè)周期時(shí)間中進(jìn)行對(duì)應(yīng)于1個(gè)塊的處理，并且通過(guò)上述參照?qǐng)D像傳送單元，將對(duì)應(yīng)于在某個(gè)周期時(shí)間內(nèi)開(kāi)始傳送的塊的處理，在該周期時(shí)間的兩個(gè)后的周期時(shí)間內(nèi)開(kāi)始執(zhí)行。
10.如權(quán)利要求
9所述的圖像解碼裝置，其特征在于，上述塊是宏塊。
11.一種圖像解碼方法，對(duì)于與參照?qǐng)D像組一同保存到存儲(chǔ)器中的壓縮圖像，對(duì)每個(gè)塊進(jìn)行解碼，對(duì)于根據(jù)參照?qǐng)D像壓縮的塊進(jìn)行包括對(duì)應(yīng)于運(yùn)動(dòng)補(bǔ)償?shù)难a(bǔ)償處理的解碼，其特征在于，包括參照?qǐng)D像傳送步驟，在各周期時(shí)間內(nèi)，只要有對(duì)應(yīng)于1個(gè)塊的參照?qǐng)D像，就依次從上述存儲(chǔ)器讀出所有的參照?qǐng)D像，并寫(xiě)入到規(guī)定的緩沖器中；判斷步驟，在各周期時(shí)間中，判斷由上述參照?qǐng)D像傳送步驟從上述存儲(chǔ)器讀出的參照?qǐng)D像的總量是否比規(guī)定基準(zhǔn)量多；禁止步驟，在通過(guò)上述判斷步驟判斷為多的周期時(shí)間內(nèi)，禁止用來(lái)讀出參照?qǐng)D像的訪(fǎng)問(wèn)以外的、對(duì)上述存儲(chǔ)器的訪(fǎng)問(wèn)；補(bǔ)償步驟，參照保存在上述規(guī)定的緩沖器中的參照?qǐng)D像，依次進(jìn)行對(duì)1個(gè)塊的補(bǔ)償處理。
12.一種圖像解碼方法，對(duì)于與參照?qǐng)D像組一同保存到存儲(chǔ)器中的壓縮圖像，對(duì)每個(gè)塊進(jìn)行解碼，對(duì)于根據(jù)參照?qǐng)D像壓縮的塊進(jìn)行包括對(duì)應(yīng)于運(yùn)動(dòng)補(bǔ)償?shù)难a(bǔ)償處理的解碼，其特征在于，并列執(zhí)行圖像傳送步驟，在連續(xù)的兩個(gè)周期時(shí)間內(nèi)，只要有分別對(duì)應(yīng)于兩個(gè)塊的參照?qǐng)D像，就依次從上述存儲(chǔ)器讀出所有參照?qǐng)D像，并寫(xiě)入到規(guī)定的緩沖器中；補(bǔ)償步驟，參照保存在上述規(guī)定的緩沖器中的參照?qǐng)D像，依次進(jìn)行對(duì)1個(gè)塊的補(bǔ)償處理。
13.一種半導(dǎo)體集成電路，對(duì)每個(gè)塊進(jìn)行壓縮圖像的解碼，對(duì)于根據(jù)參照?qǐng)D像壓縮的塊進(jìn)行包括對(duì)應(yīng)于運(yùn)動(dòng)補(bǔ)償?shù)难a(bǔ)償處理的解碼，其特征在于，具備存儲(chǔ)器，保存有參照?qǐng)D像組；補(bǔ)償電路部，具有用來(lái)保存參照?qǐng)D像的輸入緩沖器，參照保存在輸入緩沖器中的參照?qǐng)D像，依次進(jìn)行對(duì)1個(gè)塊的補(bǔ)償處理；參照?qǐng)D像傳送電路部，在各周期時(shí)間內(nèi)，只要有對(duì)應(yīng)于1個(gè)塊的參照?qǐng)D像，就依次從上述存儲(chǔ)器讀出所有參照?qǐng)D像，并寫(xiě)入到上述輸入緩沖器中；判斷電路部，在各周期時(shí)間中，判斷上述參照?qǐng)D像傳送電路部從上述存儲(chǔ)器讀出的參照?qǐng)D像的總量是否比規(guī)定基準(zhǔn)量多；禁止電路部，在由上述判斷電路部判斷為多的周期時(shí)間內(nèi)，禁止用來(lái)進(jìn)行參照?qǐng)D像的讀出的訪(fǎng)問(wèn)以外的、對(duì)上述存儲(chǔ)器的訪(fǎng)問(wèn)。
14.一種半導(dǎo)體集成電路，對(duì)每個(gè)塊進(jìn)行壓縮圖像的解碼，對(duì)于根據(jù)參照?qǐng)D像壓縮的塊進(jìn)行包括對(duì)應(yīng)于運(yùn)動(dòng)補(bǔ)償?shù)难a(bǔ)償處理的解碼，其特征在于，具備存儲(chǔ)器，保存有參照?qǐng)D像組；補(bǔ)償電路部，具有用來(lái)保存參照?qǐng)D像的、足夠保存兩個(gè)塊量的參照?qǐng)D像的容量的輸入緩沖器，參照保存在輸入緩沖器中的參照?qǐng)D像，依次進(jìn)行對(duì)1個(gè)塊的補(bǔ)償處理；參照?qǐng)D像傳送電路部，在連續(xù)的兩個(gè)周期時(shí)間內(nèi)，只要有分別對(duì)應(yīng)于兩個(gè)塊的參照?qǐng)D像，就依次從上述存儲(chǔ)器讀出所有的參照?qǐng)D像，并寫(xiě)入到上述輸入緩沖器中。
專(zhuān)利摘要
本發(fā)明的圖像解碼裝置，對(duì)每個(gè)塊進(jìn)行壓縮圖像的解碼，對(duì)于根據(jù)參照?qǐng)D像壓縮的塊進(jìn)行包括對(duì)應(yīng)于運(yùn)動(dòng)補(bǔ)償?shù)难a(bǔ)償處理的解碼，具備存儲(chǔ)器，保存有參照?qǐng)D像組；補(bǔ)償單元，具有用來(lái)保存參照?qǐng)D像的輸入緩沖器，參照保存在輸入緩沖器中的參照?qǐng)D像，依次進(jìn)行對(duì)1個(gè)塊的補(bǔ)償處理；參照?qǐng)D像傳送單元，在各周期時(shí)間內(nèi)，只要有對(duì)應(yīng)于1個(gè)塊的參照?qǐng)D像，就依次從上述存儲(chǔ)器讀出所有參照?qǐng)D像，并寫(xiě)入到上述輸入緩沖器中；判斷單元，在各周期時(shí)間中，判斷上述參照?qǐng)D像傳送單元從上述存儲(chǔ)器讀出的參照?qǐng)D像的總量是否比規(guī)定基準(zhǔn)量多；禁止單元，在通過(guò)上述判斷單元判斷為多的周期時(shí)間內(nèi)，禁止用來(lái)進(jìn)行參照?qǐng)D像的讀出的訪(fǎng)問(wèn)以外的向上述存儲(chǔ)器的訪(fǎng)問(wèn)。
文檔編號(hào)H04N7/32GK1993992SQ200580026262
公開(kāi)日2007年7月4日 申請(qǐng)日期2005年7月4日
發(fā)明者田中健 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社導(dǎo)出引文BiBTeX, EndNote, RefMan