專利名稱：運(yùn)動(dòng)圖像編碼方法以及利用其的裝置、計(jì)算機(jī)程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及運(yùn)動(dòng)圖像編碼技術(shù)，例如適合應(yīng)用于存儲(chǔ)運(yùn)動(dòng)圖像信號(hào)的運(yùn)動(dòng)圖像編碼裝置中。
背景技術(shù)：
以往，運(yùn)動(dòng)圖像編碼裝置在對(duì)從外部輸入的運(yùn)動(dòng)圖像信號(hào)進(jìn)行數(shù)字化之后，進(jìn)行基于規(guī)定的運(yùn)動(dòng)圖像編碼方式的編碼處理，由此生成編碼信息列、即位流。
作為上述運(yùn)動(dòng)圖像編碼方式有近年被標(biāo)準(zhǔn)化的ISO/IEC 14496-10Advanced Video Coding(非專利文獻(xiàn)1ISO/IEC 14496-10 Advanced VideoCoding)。另外，作為開(kāi)發(fā)上述Advanced Video Coding編碼器的參照模型，公知有JM(Joint Model)方式。
在JM方式中，將構(gòu)成運(yùn)動(dòng)圖像的各圖像幀分割為稱作MB(MacroBlock)的16×16像素大小的塊，進(jìn)一步將上述MB分割為4×4像素大小的塊(以后稱為4×4塊)，將上述4×4塊作為編碼的最小構(gòu)成單位。
圖1中示出了當(dāng)圖像幀為QCIF(Quarter Common Intermediate Format)時(shí)的上述塊分割的例子。另外，通常，圖像幀由亮度信號(hào)和色差信號(hào)構(gòu)成，但在下面為了簡(jiǎn)化說(shuō)明，僅處理亮度信號(hào)。
參照?qǐng)D1，對(duì)將圖像幀作為輸入、輸出位流的JM方式的動(dòng)作進(jìn)行說(shuō)明。
若參照?qǐng)D2，則JM方式(現(xiàn)有方式)構(gòu)成為包括MB緩沖器101、變換裝置102、量化裝置103、逆量化/逆變換裝置104、熵編碼裝置105、碼量控制裝置106、幀存儲(chǔ)器A107、環(huán)路濾波(loop filter)裝置108、幀存儲(chǔ)器B109、幀內(nèi)預(yù)測(cè)裝置110、幀間預(yù)測(cè)裝置111、預(yù)測(cè)方式推斷裝置112、開(kāi)關(guān)SW100。
下面，對(duì)各裝置的動(dòng)作進(jìn)行說(shuō)明。
MB緩沖器101存儲(chǔ)輸入圖像幀的編碼對(duì)象MB的像素值。
從MB緩沖器101供給的編碼對(duì)象MB的像素值(以后簡(jiǎn)單稱為輸入MB)被減掉從幀內(nèi)預(yù)測(cè)裝置110或幀間預(yù)測(cè)裝置111供給的預(yù)測(cè)值。將上述減掉預(yù)測(cè)值后的輸入圖像稱為預(yù)測(cè)誤差。
幀間預(yù)測(cè)是參照顯示時(shí)刻與當(dāng)前編碼對(duì)象圖像幀不同的過(guò)去所重構(gòu)的圖像幀，并利用圖像幀在時(shí)間方向上的相關(guān)來(lái)預(yù)測(cè)當(dāng)前編碼對(duì)象塊。以后，將解碼中需要上述幀間預(yù)測(cè)的編碼稱為幀間編碼(Inter coding)，將幀間編碼后的MB稱為幀間MB，將由幀間預(yù)測(cè)生成的預(yù)測(cè)值稱為幀間預(yù)測(cè)值或幀間預(yù)測(cè)圖像。
另一方面，將在解碼中不使用上述幀間預(yù)測(cè)的編碼稱為幀內(nèi)編碼(Intra coding)，將幀內(nèi)編碼后的MB稱為幀內(nèi)MB。JM方式中，在幀內(nèi)編碼中可利用幀內(nèi)預(yù)測(cè)。上述幀內(nèi)預(yù)測(cè)是參照顯示時(shí)刻與當(dāng)前編碼對(duì)象圖像幀相同的過(guò)去所重構(gòu)的圖像幀，并利用圖像幀在空間方向上的相關(guān)來(lái)預(yù)測(cè)當(dāng)前編碼對(duì)象塊。以后，將由上述幀內(nèi)預(yù)測(cè)生成的預(yù)測(cè)值稱為幀內(nèi)預(yù)測(cè)值或幀內(nèi)預(yù)測(cè)圖像。
將僅由幀內(nèi)MB構(gòu)成的編碼圖像幀稱為I幀。另一方面，將不僅包括上述幀內(nèi)MB，還由幀間MB構(gòu)成的編碼圖像幀稱為P幀，進(jìn)而，將幀間預(yù)測(cè)中不僅是一張圖像幀，而且還包括可同時(shí)根據(jù)兩張圖像幀來(lái)預(yù)測(cè)的幀間MB的編碼圖像幀稱為B幀。
通常，當(dāng)場(chǎng)景穩(wěn)定時(shí)，鄰接的圖像幀間的像素相關(guān)極高，幀間編碼可比幀內(nèi)編碼更有效地壓縮。因此，運(yùn)動(dòng)圖像的大部分圖像幀，由可利用幀間編碼的P幀或B幀編碼。
變換裝置102以比MB更細(xì)的塊為單位，對(duì)上述預(yù)測(cè)誤差進(jìn)行頻率變換，從空域變換到頻域。將變換到上述頻域后的預(yù)測(cè)誤差稱為變換系數(shù)。在上述頻率變換中，可利用DCT(Discrete Cosine Transform)或哈達(dá)瑪(Hadamard)變換等正交變換，在JM方式(現(xiàn)有方式)中，利用使基底整數(shù)值化的4×4像素塊大小的整數(shù)精度DCT。
另一方面，碼量控制裝置106為了以目標(biāo)的位數(shù)對(duì)輸入圖像幀進(jìn)行編碼，監(jiān)視熵編碼裝置105所輸出的位流的位數(shù)，若輸出的位流的位數(shù)比目標(biāo)的位數(shù)多，則輸出增大了量化階(step size)的量化參數(shù)，反之若輸出的位流的位數(shù)比目標(biāo)的位數(shù)少，則輸出減小量化階的量化參數(shù)。由此，按照使輸出位流接近目標(biāo)位數(shù)的方式進(jìn)行編碼。
量化裝置103以碼量控制裝置106供給的上述量化參數(shù)所對(duì)應(yīng)的量化階對(duì)上述變換系數(shù)進(jìn)行量化。上述量化后的變換系數(shù)稱作位階(level)或量化值(以后，將幀內(nèi)編碼對(duì)象的量化值稱為幀內(nèi)編碼量化值，另一方面，將幀間編碼對(duì)象的量化值稱為幀內(nèi)編碼量化值)。上述量化值由熵編碼裝置105進(jìn)行熵編碼后，作為位序列、即位流被輸出。
另外，將合并了變換裝置102和量化裝置103的裝置稱為變換量化裝置200。
接著，為了進(jìn)行之后的編碼，逆量化/逆變換裝置104對(duì)從量化裝置103供給的位階進(jìn)行逆量化，進(jìn)而進(jìn)行逆頻率變換，使其返回原來(lái)的空域。
將上述逆量化后的變換系數(shù)稱為逆量化變換系數(shù)或重構(gòu)變換系數(shù)。另外，將返回到原來(lái)的空域的預(yù)測(cè)誤差稱為重構(gòu)預(yù)測(cè)誤差。
幀存儲(chǔ)器A107存儲(chǔ)給上述重構(gòu)預(yù)測(cè)誤差加上了上述預(yù)測(cè)值后的值，作為重構(gòu)幀。
在當(dāng)前編碼對(duì)象圖像幀內(nèi)的所有MB被編碼之后，環(huán)路濾波器108對(duì)幀存儲(chǔ)器107中存儲(chǔ)的重構(gòu)幀進(jìn)行去噪濾波。
幀存儲(chǔ)器B109存儲(chǔ)從環(huán)路濾波器108供給的上述去噪濾波后的圖像幀作為參照幀。
幀內(nèi)預(yù)測(cè)裝置110從幀存儲(chǔ)器A107中所存儲(chǔ)的重構(gòu)幀，根據(jù)從預(yù)測(cè)方式推斷裝置112供給的MB類型以及幀內(nèi)預(yù)測(cè)方向，生成幀內(nèi)預(yù)測(cè)值。
幀間預(yù)測(cè)裝置111從幀存儲(chǔ)器B109中存儲(chǔ)的參照幀，根據(jù)從預(yù)測(cè)方式推斷裝置112供給的MB類型以及運(yùn)動(dòng)矢量，生成幀間預(yù)測(cè)值。
預(yù)測(cè)方式推斷裝置112分別推斷使得與輸入MB之間的預(yù)測(cè)誤差最小的幀內(nèi)預(yù)測(cè)方向和幀內(nèi)MB類型的組合、以及幀間預(yù)測(cè)中的運(yùn)動(dòng)矢量和幀間MB類型的組合。
開(kāi)關(guān)SW100基于預(yù)測(cè)方式推斷裝置112中的推斷結(jié)果，若幀內(nèi)預(yù)測(cè)使預(yù)測(cè)誤差最小則將幀內(nèi)預(yù)測(cè)裝置110的輸出作為預(yù)測(cè)值，否則便將幀間預(yù)測(cè)裝置111的輸出作為預(yù)測(cè)值。
通過(guò)執(zhí)行以上的處理，以JM方式對(duì)運(yùn)動(dòng)圖像進(jìn)行編碼。
在利用上述幀間編碼的運(yùn)動(dòng)圖像編碼中，當(dāng)出于廣播或存儲(chǔ)的目的，對(duì)運(yùn)動(dòng)圖像進(jìn)行編碼時(shí)，周期性地插入I幀，使得也能從中途進(jìn)行再生(解碼)。圖3中示出了上述簡(jiǎn)單的一例。
可是，作為上述周期性插入I幀的副作用，在視覺(jué)上會(huì)產(chǎn)生明顯的I幀的插入周期的閃爍(以后稱為I幀閃爍(flicker))。隨著對(duì)運(yùn)動(dòng)圖像編碼的低位速率化，上述I幀閃爍使主觀畫質(zhì)降低。
上述I幀閃爍在視覺(jué)上很明顯的原因是，I幀中的幀間編碼的噪聲圖(noise pattern)、與之前顯示的P幀中的幀間編碼的噪聲圖不同。上述編碼噪聲圖的不同是由I幀和P幀中的預(yù)測(cè)構(gòu)造的差異引起的(圖4)。
作為降低如上所述的閃爍的方法，如專利文獻(xiàn)1所述，考慮將人類視覺(jué)特性高的區(qū)域的量化階細(xì)化的這種適應(yīng)量化。
另外，作為降低如上所述的閃爍的方法，如專利文獻(xiàn)2所述，考慮使I幀、P幀和B幀的量化階之比為接近最佳的值，從而使畫質(zhì)保持恒定的方法。
另外，作為降低如上述的閃爍的方法，如專利文獻(xiàn)3所述，考慮當(dāng)P幀的殘差信號(hào)比量化死區(qū)(dead zone)幅度小時(shí)，始終使預(yù)測(cè)誤差的位階為0，從而降低連續(xù)的P幀間的閃爍的方法。
另外，作為降低如上述的閃爍的方法，如非專利文獻(xiàn)2所述，考慮對(duì)連續(xù)的幀全部用I幀編碼，從而使判斷為靜止區(qū)域的區(qū)域的位階保持均勻的方法。
另外，作為降低如上述的閃爍的方法，如專利文獻(xiàn)4所述，考慮對(duì)連續(xù)的幀全部用I幀編碼，從而將判斷為靜止區(qū)域的區(qū)域的位階置換為過(guò)去已編碼的圖像幀的位階的方法。
另外，作為降低如上述的閃爍的方法，如非專利文獻(xiàn)3所述，考慮如下方法在進(jìn)行I幀編碼時(shí)判斷為靜止區(qū)域的區(qū)域，一邊考慮與之前剛剛編碼的I幀的類似度，一邊推斷幀內(nèi)預(yù)測(cè)方向，由此防止幀內(nèi)預(yù)測(cè)值的波動(dòng)。
專利文獻(xiàn)1特開(kāi)2002-335527號(hào)公報(bào)專利文獻(xiàn)2特開(kāi)平5-111012號(hào)公報(bào)專利文獻(xiàn)3特開(kāi)平08-251593號(hào)公報(bào)專利文獻(xiàn)4特開(kāi)2003-235042號(hào)公報(bào)非專利文獻(xiàn)1ISO/IEC 14496-10 Advanced Video Coding非專利文獻(xiàn)2井口等，“H.264符號(hào)化におけるイントラモ一ドのフリツカ低減方法(H.264編碼中的幀內(nèi)模式的閃爍降低方法)”，F(xiàn)IT2003，J-040，2003非專利文獻(xiàn)3境田等，“適応量子化によるAVC/H.264符號(hào)化におけるイントラフレ一ムのフリツカ抑壓(基于適應(yīng)量化的AVC/H.264編碼中的幀內(nèi)的閃爍抑制)”，F(xiàn)IT2004，LJ-009，2004但是，在專利文獻(xiàn)1的技術(shù)中，當(dāng)圖像幀內(nèi)整體的視覺(jué)特性高時(shí)、或目標(biāo)速率極低時(shí)，無(wú)法優(yōu)先對(duì)視覺(jué)特性高的區(qū)域的量化階進(jìn)行細(xì)化，因此不能獲得所希望的效果。
另外，在專利文獻(xiàn)2的技術(shù)中，與各幀類型的量化階之比相比，上述I幀閃爍更依賴于上述幀內(nèi)編碼與幀間編碼的噪聲圖的差異，因此無(wú)法從根本上解決課題。
另外，專利文獻(xiàn)3的技術(shù)只能應(yīng)用于具有相同編碼構(gòu)造的P幀之間，所以不能應(yīng)用于抑制因上述幀內(nèi)編碼與幀間編碼的噪聲圖的差異而產(chǎn)生的I幀閃爍，因此無(wú)法解決課題。
另外，非專利文獻(xiàn)2的技術(shù)因下述理由而無(wú)法解決課題“由于對(duì)所有圖像幀進(jìn)行I幀編碼，因此在低速率下的畫質(zhì)差”、“由于不是在像素空間進(jìn)行幀內(nèi)預(yù)測(cè)，而是在變換域進(jìn)行量化后進(jìn)行幀內(nèi)預(yù)測(cè)，因此會(huì)將幀內(nèi)編碼下的量化的噪聲疊加到預(yù)測(cè)誤差信號(hào)上，從而導(dǎo)致低速率下的畫質(zhì)較差”、“無(wú)法在與P幀或B幀等幀間編碼并用的情況下應(yīng)用”、“無(wú)法在圖像中出現(xiàn)運(yùn)動(dòng)的情況下應(yīng)用”等。
另外，專利文獻(xiàn)4的技術(shù)與非專利文獻(xiàn)2同樣存在如下課題“由于對(duì)所有幀進(jìn)行I幀編碼，因此編碼效率差”、“無(wú)法在與P幀或B幀等幀間預(yù)測(cè)編碼并用的情況下應(yīng)用”、“無(wú)法在圖像中出現(xiàn)運(yùn)動(dòng)的情況下應(yīng)用”等。
另外，在非專利文獻(xiàn)3的技術(shù)中存在如下課題“當(dāng)與P幀或B幀等幀間預(yù)測(cè)并用時(shí)，之前剛剛編碼的I幀和當(dāng)前編碼對(duì)象的I幀的幀間距離較遠(yuǎn)，因此在圖像中出現(xiàn)運(yùn)動(dòng)時(shí)效果差”、“在完全靜止的場(chǎng)景以外，圖像內(nèi)的目標(biāo)的坐標(biāo)在每個(gè)圖像幀中并不固定，結(jié)果無(wú)法抑制幀內(nèi)預(yù)測(cè)值的波動(dòng)，效果較差”等。

發(fā)明內(nèi)容
本發(fā)明鑒于上述課題而實(shí)現(xiàn)，目的在于提供一種當(dāng)不僅利用I幀還利用P幀以及B幀等的幀間預(yù)測(cè)對(duì)運(yùn)動(dòng)圖像進(jìn)行編碼時(shí)，而且在對(duì)包含有運(yùn)動(dòng)場(chǎng)景的運(yùn)動(dòng)圖像進(jìn)行編碼時(shí)，也能有效實(shí)現(xiàn)上述的I幀閃爍的降低的運(yùn)動(dòng)圖像編碼方法以及利用了該方法的裝置或計(jì)算機(jī)程序。
解決上述課題的第1發(fā)明是運(yùn)動(dòng)圖像編碼裝置，其特征在于具有利用在采用幀間編碼進(jìn)行編碼后重構(gòu)的圖像幀來(lái)對(duì)圖像進(jìn)行幀內(nèi)編碼的單元。
解決上述課題的第2發(fā)明根據(jù)上述第1發(fā)明，其特征在于，采用上述幀間編碼進(jìn)行編碼后重構(gòu)的圖像幀，相對(duì)于上述被幀內(nèi)編碼的圖像而言是過(guò)去的圖像幀。
解決上述課題的第3發(fā)明根據(jù)上述第2發(fā)明，其特征在于，上述過(guò)去的圖像幀是上述被幀內(nèi)編碼的圖像緊前面的P幀。
解決上述課題的第4發(fā)明根據(jù)上述第3發(fā)明，其特征在于，包括如下單元該單元利用以P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)、變換、量化、逆量化、逆變換而得到的重構(gòu)圖像，對(duì)幀內(nèi)編碼的量化值進(jìn)行修正。
解決上述課題的第5發(fā)明根據(jù)上述第3發(fā)明，其特征在于，包括如下單元該單元利用以上述P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)而得到的幀間預(yù)測(cè)圖像，對(duì)幀內(nèi)編碼的量化值進(jìn)行修正。
解決上述課題的第6發(fā)明根據(jù)上述第4或第5發(fā)明，其特征在于，作為幀內(nèi)編碼的量化值，采用對(duì)上述修正中使用的圖像與幀內(nèi)預(yù)測(cè)值圖像的差分進(jìn)行變換后實(shí)施量化而得到的量化值。
解決上述課題的第7發(fā)明根據(jù)上述第4或第5發(fā)明，其特征在于，作為幀內(nèi)編碼的量化值，采用對(duì)上述修正中使用的圖像進(jìn)行變換后實(shí)施量化而得到的量化值。
解決上述課題的第8發(fā)明根據(jù)上述第6或第7發(fā)明，其特征在于，上述量化具有四舍五入的量化特性。
解決上述課題的第9發(fā)明根據(jù)上述第8發(fā)明，其特征在于，只有當(dāng)幀內(nèi)編碼的變換系數(shù)、與從上述修正中所使用的圖像獲得的變換系數(shù)的差分在幀間編碼的量化死區(qū)幅度以下時(shí)，應(yīng)用上述幀內(nèi)編碼的量化值的修正。
解決上述課題的第10發(fā)明根據(jù)上述第3發(fā)明，其特征在于，包括如下單元該單元對(duì)以上述P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)、變換、量化、逆量化、逆變換而生成的重構(gòu)圖像，進(jìn)行幀內(nèi)編碼。
解決上述課題的第11發(fā)明根據(jù)上述第3發(fā)明，其特征在于，包括如下單元該單元對(duì)以上述P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)而生成的幀間預(yù)測(cè)圖像，進(jìn)行幀內(nèi)編碼。
解決上述課題的第12發(fā)明根據(jù)上述第10或第11發(fā)明，其特征在于，當(dāng)上述生成的圖像、與幀內(nèi)編碼對(duì)象的圖像的差分在像素空間的幀間編碼的量化死區(qū)幅度以下時(shí)，應(yīng)用上述幀內(nèi)編碼。
解決上述課題的第13發(fā)明是運(yùn)動(dòng)圖像編碼方法，特征在于，利用在采用幀間編碼進(jìn)行編碼后重構(gòu)的圖像幀來(lái)對(duì)圖像進(jìn)行幀內(nèi)編碼。
解決上述課題的第14發(fā)明根據(jù)上述第13發(fā)明，其特征在于，采用上述幀間編碼進(jìn)行編碼后重構(gòu)的圖像幀，相對(duì)于上述被幀內(nèi)編碼的圖像而言是過(guò)去的圖像幀。
解決上述課題的第15發(fā)明根據(jù)上述第14發(fā)明，其特征在于，上述過(guò)去的圖像幀是上述被幀內(nèi)編碼的圖像緊前面的P幀。
解決上述課題的第16發(fā)明根據(jù)上述第15發(fā)明，其特征在于，利用以P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)、變換、量化、逆量化、逆變換而得到的重構(gòu)圖像，對(duì)幀內(nèi)編碼的量化值進(jìn)行修正。
解決上述課題的第17發(fā)明根據(jù)上述第15發(fā)明，其特征在于，利用以上述P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)而得到的幀間預(yù)測(cè)圖像，對(duì)幀內(nèi)編碼的量化值進(jìn)行修正。
解決上述課題的第18發(fā)明根據(jù)上述第16或第17發(fā)明，其特征在于，作為幀內(nèi)編碼的量化值，采用對(duì)上述修正中使用的圖像與幀內(nèi)預(yù)測(cè)值圖像的差分進(jìn)行變換后實(shí)施量化而得到的量化值。
解決上述課題的第19發(fā)明根據(jù)上述第16或第17發(fā)明，其特征在于，作為幀內(nèi)編碼的量化值，采用對(duì)上述修正中使用的圖像進(jìn)行變換后實(shí)施量化而得到的量化值。
解決上述課題的第20發(fā)明根據(jù)上述第18或第19發(fā)明，其特征在于，上述量化具有四舍五入的量化特性。
解決上述課題的第21發(fā)明根據(jù)上述第20發(fā)明，其特征在于，只有當(dāng)幀內(nèi)編碼的變換系數(shù)、與從上述修正中所使用的圖像獲得的變換系數(shù)的差分在幀間編碼的量化死區(qū)幅度以下時(shí)，應(yīng)用上述幀內(nèi)編碼的量化值的修正。
解決上述課題的第22發(fā)明根據(jù)上述第15發(fā)明，其特征在于，對(duì)以上述P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)、變換、量化、逆量化、逆變換而生成的重構(gòu)圖像，進(jìn)行幀內(nèi)編碼。
解決上述課題的第23發(fā)明根據(jù)上述第15發(fā)明，其特征在于，對(duì)以上述P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)而生成的幀間預(yù)測(cè)圖像，進(jìn)行幀內(nèi)編碼。
解決上述課題的第24發(fā)明根據(jù)上述第22或第23發(fā)明，其特征在于，當(dāng)上述生成的圖像、與幀內(nèi)編碼對(duì)象的圖像的差分在像素空間的幀間編碼的量化死區(qū)幅度以下時(shí)，應(yīng)用上述幀內(nèi)編碼。
解決上述課題的第25是一種程序，該程序使信息處理裝置進(jìn)行運(yùn)動(dòng)圖像編碼，特征在于，上述程序使上述信息處理裝置作為如下單元發(fā)揮作用該單元利用在采用幀間編碼進(jìn)行編碼后重構(gòu)的圖像幀來(lái)對(duì)圖像進(jìn)行編碼。
解決上述課題的第26發(fā)明根據(jù)上述第25發(fā)明，其特征在于，上述過(guò)去采用幀間編碼進(jìn)行編碼后重構(gòu)的圖像幀，相對(duì)于上述被幀內(nèi)編碼的圖像而言是過(guò)去的幀。
解決上述課題的第27發(fā)明根據(jù)上述第26發(fā)明，其特征在于，上述過(guò)去采用幀間編碼進(jìn)行編碼后重構(gòu)的圖像幀，是上述被幀內(nèi)編碼的圖像緊前面的P幀。
解決上述課題的第28發(fā)明根據(jù)上述第27發(fā)明，其特征在于，上述程序使上述信息處理裝置作為如下單元發(fā)揮作用該單元利用以P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)、變換、量化、逆量化、逆變換而得到的重構(gòu)圖像，對(duì)幀內(nèi)編碼的量化值進(jìn)行修正。
解決上述課題的第29發(fā)明根據(jù)上述第27發(fā)明，其特征在于，上述程序使上述信息處理裝置作為如下單元發(fā)揮作用該單元利用以上述P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)而得到的幀間預(yù)測(cè)圖像，對(duì)幀內(nèi)編碼的量化值進(jìn)行修正。
解決上述課題的第30發(fā)明根據(jù)上述第28或第29發(fā)明，其特征在于，作為幀內(nèi)編碼的量化值，采用對(duì)上述修正中使用的圖像與幀內(nèi)預(yù)測(cè)值圖像的差分進(jìn)行變換后實(shí)施量化而得到的量化值。
解決上述課題的第31發(fā)明根據(jù)上述第28或第29發(fā)明，其特征在于，作為幀內(nèi)編碼的量化值，采用對(duì)上述修正中使用的圖像進(jìn)行變換后實(shí)施量化而得到的量化值。
解決上述課題的第32發(fā)明根據(jù)上述第30或第31發(fā)明，其特征在于，上述量化具有四舍五入的量化特性。
解決上述課題的第33發(fā)明根據(jù)上述第32發(fā)明，其特征在于，只有當(dāng)幀內(nèi)編碼的變換系數(shù)、與從上述修正中所使用的圖像獲得的變換系數(shù)的差分在幀間編碼的量化死區(qū)幅度以下時(shí)，應(yīng)用上述幀內(nèi)編碼的量化值的修正。
解決上述課題的第34發(fā)明根據(jù)上述第27發(fā)明，其特征在于，上述程序使上述信息處理裝置作為如下單元發(fā)揮作用該單元對(duì)以上述P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)、變換、量化、逆量化、逆變換而生成的重構(gòu)圖像，進(jìn)行幀內(nèi)編碼。
解決上述課題的第35發(fā)明根據(jù)上述第27發(fā)明，其特征在于，上述程序使上述信息處理裝置作為如下單元發(fā)揮作用該單元對(duì)以上述P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)而生成的幀間預(yù)測(cè)圖像，進(jìn)行幀內(nèi)編碼。
解決上述課題的第36發(fā)明根據(jù)上述第34或第35發(fā)明，其特征在于，當(dāng)上述生成的圖像、與幀內(nèi)編碼對(duì)象的圖像的差分在像素空間的幀間編碼的量化死區(qū)幅度以下時(shí)，應(yīng)用上述幀內(nèi)編碼。
解決上述課題的第37發(fā)明是一種運(yùn)動(dòng)圖像編碼裝置，其特征在于具有使由幀內(nèi)編碼產(chǎn)生的噪聲與由幀間編碼產(chǎn)生的噪聲類似的單元。
解決上述課題的第38發(fā)明是一種運(yùn)動(dòng)圖像編碼方法，其特征在于，使由幀內(nèi)編碼產(chǎn)生的噪聲與由幀間編碼產(chǎn)生的噪聲類似。
解決上述課題的第39發(fā)明是一種運(yùn)動(dòng)圖像的編碼/解碼系統(tǒng)，其特征在于，包括在對(duì)圖像進(jìn)行幀內(nèi)編碼時(shí)，利用在采用幀間編碼進(jìn)行編碼后重構(gòu)的圖像幀進(jìn)行編碼的單元；和對(duì)上述編碼后的數(shù)據(jù)進(jìn)行解碼的解碼單元。
解決上述課題的第40發(fā)明是一種運(yùn)動(dòng)圖像的編碼/解碼方法，其特征在于，包括在對(duì)圖像進(jìn)行幀內(nèi)編碼時(shí)，利用在采用幀間編碼進(jìn)行編碼后重構(gòu)的圖像幀進(jìn)行編碼的步驟；和對(duì)上述編碼后的數(shù)據(jù)進(jìn)行解碼的步驟。
本發(fā)明的幀內(nèi)編碼除現(xiàn)有的幀內(nèi)編碼之外，如圖27所示，還具備量化控制裝置999，該量化控制裝置999將幀存儲(chǔ)器109中存儲(chǔ)的參照幀作為輸入，對(duì)量化裝置103輸出的幀內(nèi)編碼的位階(量化值)進(jìn)行修正。
在當(dāng)前編碼對(duì)象的圖像幀之前剛剛顯示于再生側(cè)的參照幀為幀間編碼圖像幀時(shí)，量化控制裝置999具備對(duì)幀內(nèi)編碼的位階(量化值)進(jìn)行適當(dāng)修正的功能，以從視覺(jué)上降低由幀間編碼圖像幀的幀間編碼噪聲的特性、與當(dāng)前的幀內(nèi)編碼的噪聲的特性不同引起的I幀閃爍。
由此，當(dāng)不僅利用I幀還利用P幀以及B幀等的幀間預(yù)測(cè)對(duì)運(yùn)動(dòng)圖像進(jìn)行編碼時(shí)，而且在對(duì)包含有運(yùn)動(dòng)場(chǎng)景的運(yùn)動(dòng)圖像進(jìn)行編碼時(shí)，也能有效實(shí)現(xiàn)I幀閃爍的降低。
(發(fā)明效果)本發(fā)明可提供一種當(dāng)不僅利用I幀還利用P幀以及B幀等的幀間預(yù)測(cè)對(duì)運(yùn)動(dòng)圖像進(jìn)行編碼時(shí)，而且在對(duì)包含有運(yùn)動(dòng)場(chǎng)景的運(yùn)動(dòng)圖像進(jìn)行編碼時(shí)，也能有效實(shí)現(xiàn)上述的I幀閃爍的降低的運(yùn)動(dòng)圖像編碼方法以及利用了該方法的裝置或計(jì)算機(jī)程序。


圖1是表示圖像幀的構(gòu)成的圖；圖2是現(xiàn)有的運(yùn)動(dòng)圖像編碼裝置的框圖；圖3是用于說(shuō)明在中途再生用的I幀的周期性插入的圖；圖4是用于說(shuō)明發(fā)生I幀閃爍的圖；
圖5是現(xiàn)有的變換量化裝置的框圖；圖6是用于說(shuō)明Intra4MB幀內(nèi)預(yù)測(cè)方向的圖；圖7是用于說(shuō)明Intra16MB幀內(nèi)預(yù)測(cè)方向的圖；圖8是用于說(shuō)明Intra16MB的編碼構(gòu)造的圖；圖9是用于說(shuō)明關(guān)注像素的圖；圖10是用于說(shuō)明現(xiàn)有方法中發(fā)生I幀閃爍的圖；圖11是本發(fā)明的運(yùn)動(dòng)圖像編碼裝置的框圖；圖12是用于說(shuō)明修正參照?qǐng)D像生成參照幀的圖；圖13是實(shí)施例1中的I幀閃爍抑制控制裝置的框圖；圖14是I幀閃爍抑制控制信號(hào)以及幀間編碼重構(gòu)圖像計(jì)算的流程圖；圖15是實(shí)施例1中的變換量化裝置的框圖；圖16是變換系數(shù)修正的流程圖；圖17是用于說(shuō)明本發(fā)明的效果的圖；圖18是實(shí)施例2中的I幀閃爍抑制控制裝置的框圖；圖19是I幀閃爍抑制控制信號(hào)以及幀間預(yù)測(cè)圖像計(jì)算的流程圖；圖20是實(shí)施例3中的變換量化裝置的框圖；圖21是系數(shù)量化的流程圖；圖22是DC系數(shù)量化的流程圖；圖23是實(shí)施例4中的變換量化裝置的框圖；圖24是預(yù)測(cè)誤差修正的流程圖；圖25是利用了本發(fā)明的信息處理裝置的框圖；圖26是用于說(shuō)明本發(fā)明的圖；圖27是用于說(shuō)明本發(fā)明的圖；圖28是本發(fā)明的運(yùn)動(dòng)圖像解碼裝置的框圖。
圖中102-變換裝置；103-量化裝置；104-逆量化/逆變換裝置；200-變換量化裝置；300-I幀閃爍抑制控制裝置；301-控制器。
具體實(shí)施例方式
對(duì)本發(fā)明的實(shí)施方式進(jìn)行說(shuō)明。
首先，為了便于理解本發(fā)明，以下對(duì)本發(fā)明的要點(diǎn)進(jìn)行說(shuō)明。
圖26示出了圖2所示的現(xiàn)有的運(yùn)動(dòng)圖像編碼裝置中的在幀內(nèi)編碼時(shí)動(dòng)作的方框圖。從圖26可知，現(xiàn)有方式不考慮參照幀即顯示時(shí)刻與當(dāng)前編碼對(duì)象不同的圖像幀的編碼噪聲，而單純對(duì)輸入圖像進(jìn)行幀內(nèi)編碼。
因此，當(dāng)參照幀中包含已進(jìn)行幀間編碼的圖像幀時(shí)，若單純對(duì)輸入圖像進(jìn)行幀內(nèi)編碼，則會(huì)產(chǎn)生上述的I幀閃爍。
然后，圖27是表示本發(fā)明的運(yùn)動(dòng)圖像編碼裝置的幀內(nèi)編碼時(shí)動(dòng)作的框圖。圖27的本發(fā)明的幀內(nèi)編碼除圖26的現(xiàn)有的幀內(nèi)編碼之外，還具備量化控制裝置999，該量化控制裝置999將幀存儲(chǔ)器109中存儲(chǔ)的參照幀作為輸入，對(duì)量化裝置103所輸出的幀內(nèi)編碼的位階(量化值)進(jìn)行修正。
在當(dāng)前編碼對(duì)象的圖像幀之前剛剛顯示于再生側(cè)的參照幀為幀間編碼圖像幀時(shí)，量化控制裝置999具備對(duì)幀內(nèi)編碼的位階(量化值)進(jìn)行適當(dāng)修正的功能，以從視覺(jué)上降低由幀間編碼圖像幀的幀間編碼噪聲的特性與當(dāng)前的幀內(nèi)編碼的噪聲的特性之不同所引起的I幀閃爍。
由此，當(dāng)不僅利用I幀還利用P幀以及B幀等的幀間預(yù)測(cè)對(duì)運(yùn)動(dòng)圖像進(jìn)行編碼時(shí)，而且在對(duì)包含有運(yùn)動(dòng)場(chǎng)景的運(yùn)動(dòng)圖像進(jìn)行編碼時(shí)，也能有效實(shí)現(xiàn)I幀閃爍的降低。
下面，對(duì)本發(fā)明的詳細(xì)內(nèi)容進(jìn)行說(shuō)明。
(實(shí)施例1)首先，為了明確發(fā)明方式與現(xiàn)有方式(JM方式)的差異，進(jìn)一步對(duì)JM方式的變換和量化進(jìn)行詳細(xì)說(shuō)明。
(JM方式的變換和量化)下面的圖5中示出了圖2的變換量化裝置200的詳細(xì)構(gòu)成。
變換裝置102由2D變換裝置1021、DC2D變換裝置1022、及開(kāi)關(guān)SW1023構(gòu)成。2D變換裝置1021針對(duì)預(yù)測(cè)誤差進(jìn)行后面說(shuō)明的2D變換。當(dāng)所供給的MB類型為后面說(shuō)明的Intra16MB時(shí)，開(kāi)關(guān)SW1023將從2D變換裝置1021所供給的變換系數(shù)中的DC變換系數(shù)供給到DC2D變換裝置1022。DC2D變換裝置1022對(duì)所供給的DC變換系數(shù)進(jìn)行后面說(shuō)明的DC2D變換。
量化裝置103由系數(shù)量化裝置1031和DC系數(shù)量化裝置1032構(gòu)成。系數(shù)量化裝置1031根據(jù)所輸入的量化參數(shù)、MB類型，通過(guò)后面說(shuō)明的系數(shù)量化對(duì)變換系數(shù)進(jìn)行量化，并輸出位階。DC系數(shù)量化裝置1032根據(jù)所輸入的量化參數(shù)、MB類型，通過(guò)后面說(shuō)明的DC系數(shù)量化對(duì)DC變換系數(shù)進(jìn)行量化，并輸出DC位階。
接著，按照預(yù)測(cè)值的生成、預(yù)測(cè)誤差的生成、預(yù)測(cè)誤差的2D變換、變換系數(shù)的量化的順序，對(duì)現(xiàn)有方式的變換量化裝置的動(dòng)作進(jìn)行說(shuō)明。
首先，對(duì)預(yù)測(cè)值的生成進(jìn)行說(shuō)明。預(yù)測(cè)值由幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)生成。
下面，分別對(duì)幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)進(jìn)行說(shuō)明。
JM方式的幀內(nèi)預(yù)測(cè)中有從以編碼對(duì)象MB為單位鄰接的像素開(kāi)始進(jìn)行幀內(nèi)預(yù)測(cè)的MB類型(以后稱為Intra16MB)、以及從以編碼對(duì)象MB內(nèi)的4×4塊為單位鄰接的像素開(kāi)始進(jìn)行幀內(nèi)預(yù)測(cè)的MB類型(以后稱為Intra4MB)。
Intra4MB能以4×4塊為單位利用圖6所示的9種幀內(nèi)預(yù)測(cè)方向進(jìn)行幀內(nèi)預(yù)測(cè)。另外，Intra16MB能利用圖7所示的4種幀內(nèi)預(yù)測(cè)方向進(jìn)行幀內(nèi)預(yù)測(cè)。
作為一例，在式(1)中示出與圖6所示的垂直方向?qū)?yīng)的幀內(nèi)預(yù)測(cè)值pIntraidx(x，y)的生成式。
pIntraidx(x，y)＝rec(t，mbx+b4xidx+x，mby+b4yidx-1)(1)其中，設(shè)圖像幀的分辨率為橫向width像素、縱向height像素，設(shè)當(dāng)前編碼對(duì)象幀的時(shí)刻為t，設(shè)重構(gòu)幀(存儲(chǔ)在圖2的幀存儲(chǔ)器A107中)的像素值為rec(t，i，j){0≤i≤width-1，0≤j≤height-1}，設(shè)圖像幀中的編碼對(duì)象MB的左上角的坐標(biāo)為(MBx，MBy){0≤MBx≤width-16，0≤MBy≤height-16}，設(shè)上述MB內(nèi)的編碼對(duì)象4×4塊的下標(biāo)idx為idx{0≤idx≤15}(參照?qǐng)D1的中央圖)，在上述下標(biāo)idx的4×4塊的左上角的MB內(nèi)部的坐標(biāo)為(b4xidx，b4yidx){0≤b4xidx≤12，0≤b4yidx≤12}其他預(yù)測(cè)方向的Intra4MB的幀內(nèi)預(yù)測(cè)值或Intra16MB的幀內(nèi)預(yù)測(cè)值的生成式參照非專利文獻(xiàn)1。
若設(shè)參照幀與當(dāng)前編碼對(duì)象幀的幀間距離為f，設(shè)下標(biāo)為idx的4×4塊的運(yùn)動(dòng)矢量為(mvxidx，mvyidx)，則幀間預(yù)測(cè)值pInteridx(x，y)可根據(jù)式(2)計(jì)算。
pInteridx(x，y)＝MC[rec(t-f)，mbx+b4xidx+x，mby+b4yidx+y，mvxidx，mvyidx](2)在此，MC[rec(t-f)，xx，yy，mvx，mvy]是讀出將編碼對(duì)象的圖像幀內(nèi)的坐標(biāo)(xx，yy){0≤xx≤width-1，0≤yy≤height-1}偏移了運(yùn)動(dòng)矢量(mvx，mvy)像素后的坐標(biāo)所對(duì)應(yīng)的參照幀ref(t-f)的像素值的函數(shù)。另外，當(dāng)運(yùn)動(dòng)矢量(mvx，mvy)為小數(shù)精度時(shí)，上述MC[rec(t-f)，xx，yy，mvx，mvy]根據(jù)周邊的整數(shù)位置的像素對(duì)小數(shù)位置的像素值適當(dāng)進(jìn)行插值。
另外，上述參照幀ref(t)由通過(guò)式(3)的環(huán)路濾波器108對(duì)重構(gòu)幀rec(t)實(shí)施了去噪濾波后的像素構(gòu)成。當(dāng)然，若不進(jìn)行去噪濾波，則ref(t)與rec(t)完全一致。
ref(t)＝LP[rec(t)](3)其中，LP[]是表示去噪濾波的標(biāo)記。
接著，對(duì)預(yù)測(cè)誤差的生成進(jìn)行說(shuō)明。
預(yù)測(cè)誤差通過(guò)從輸入像素減去上述預(yù)測(cè)值來(lái)生成。若設(shè)輸入圖像幀為org(t，i，j){0≤i≤width-1，0≤j≤height-1}，編碼對(duì)象MB為src(i，j){0≤i≤15，0≤j≤15}，則預(yù)測(cè)誤差peidx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}可根據(jù)式(4)計(jì)算。
peidx(x，y)＝src(b4xidx+x，b4yidx+y)-predidx(x，y)(4)src(i，j)＝org(t，mbx+i，mby+j) (5) 下面，對(duì)預(yù)測(cè)誤差的2D變換進(jìn)行說(shuō)明。
2D變換因編碼對(duì)象MB的MB類型而異。若MB類型不是Intra16MB，則進(jìn)行式(7)的2D變換，若為Intra16MB，則進(jìn)行式(8)的DC2D變換。
Tidx(x,y)=111121-1-21-1-111-22-1peidx(0,0)peidx(0,1)peidx(0.2)peidx(0,3)peidx(1,0)peidx(1,1)peidx(1,2)peidx(1,3)peidx(2,0)peidx(2,1)peidx(2,2)peidx(2,3)peidx(3,0)peidx(3,1)peidx(3,2)peidx(3,3)121111-1-21-1-121-21-1---(7)]]>TDC(x,y)=111111-1-11-1-111-11-1T0(0,0)T1(0,0)T2(0,0)T3(0,0)T4(0,0)T5(0,0)T6(0,0)T7(0,0)T8(0,0)T9(0,0)T10(0,0)T11(0,0)T12(0,0)T13(0,0)T14(0,0)T15(0,0)111111-1-11-1-111-11-1//2---(8)]]>其中，式(8)的標(biāo)記“//”表示四舍五入。在Intra16MB中，如圖8所示，各下標(biāo)為idx的4×4塊的DC系數(shù)(Tidx(0，0))進(jìn)而組合成一個(gè)4×4塊(以后稱為DC塊)，進(jìn)一步進(jìn)行變換。
接著，對(duì)變換系數(shù)的量化進(jìn)行說(shuō)明。若4×4塊為DC塊，則以式(9)的DC系數(shù)量化來(lái)計(jì)算位階，否則以式(10)的系數(shù)量化來(lái)計(jì)算位階。
LDC(x，y)＝(TDC(x，y)×Q(qp％6，0，0)+f(TDC(x，y))×2(16+qp/6))/2(16+qp/6)(9)Lidx(x，y)＝(Tidx(x，y)×Q(qp％6，x，y)+f(Tidx(x，y))×2(15+qp/6))/2(15+qp/6)(10)Q(m,x,y)=M0,mif(x,y)={(0,0),(0,2),(2,0),(2,2)}M1,melsfif(x,y)={(1,1),(1,3),(3,1),(3,3)}M2,melse---(11)]]>
M=1310752438006611916466074901008241946554936236475825819233555243728228934559---(12)]]> 在此，qp{0≤qp≤51}是從碼量控制裝置106供給的量化參數(shù)，式(13)的fintra以及finter是決定量化的舍入位置的參數(shù)。在JM方式中，fintra＝1/3，finter＝1/6。
以上是JM方式的變換與量化的動(dòng)作。
參照?qǐng)D10，對(duì)圖9的關(guān)注像素根據(jù)現(xiàn)有方式的編碼會(huì)如何變動(dòng)進(jìn)行說(shuō)明。參照?qǐng)D9，上述關(guān)注像素可能是靜止區(qū)域的像素，也可能是運(yùn)動(dòng)區(qū)域的像素。一般而言，人類的視覺(jué)特性對(duì)靜止區(qū)域敏感，對(duì)運(yùn)動(dòng)區(qū)域感覺(jué)遲鈍。但是，即便是運(yùn)動(dòng)區(qū)域的像素，當(dāng)人眼追隨著該像素時(shí)，人類的視覺(jué)特性也變得敏感。
在圖10中，以時(shí)間序列繪制了關(guān)注像素的輸入org(t，vpxt，vpyt)、重構(gòu)rec(t，vpxt，vpyt)、預(yù)測(cè)pred(t，vpxt，vpyt)、預(yù)測(cè)誤差pe(t，vpxt，vpyt)、重構(gòu)預(yù)測(cè)誤差recpe(t，vpxt，vpyt)的像素值。在此，(vpxt，vpyt)作為在時(shí)刻t的關(guān)注像素的圖像幀內(nèi)的坐標(biāo)，各像素存在以下的關(guān)系。
pe(t，vpxt，vpyt)＝org(t，vpxt，vpyt)-pred(t，vpxt，vpyt)(14)recpe(t，vpxt，vpyt)＝IQIT[Q[T[pe(t，vpxt，vpyt)]]] (15)rec(t，vpxt，vpyt)＝pred(t，vpxt，vpyt)+recpe(t，vpxt，vpyt) (16)其中，設(shè)T[]為表示變換處理的標(biāo)記，設(shè)Q[]為表示量化處理的標(biāo)記，設(shè)IQIT[]為表示逆量化/逆變換處理的標(biāo)記。
參照?qǐng)D10，輸入的關(guān)注像素比較平穩(wěn)地變化，相對(duì)于此，重構(gòu)后的I3幀的關(guān)注像素出現(xiàn)急劇的像素值變化。
上述的I幀中的急劇的像素值變化即I幀閃爍，是由于不考慮關(guān)注像素在時(shí)間軸上的連續(xù)性，而進(jìn)行只是單純對(duì)輸入進(jìn)行忠實(shí)地重現(xiàn)的幀內(nèi)編碼。
以下說(shuō)明的本發(fā)明在對(duì)圖像進(jìn)行幀內(nèi)編碼時(shí)，考慮利用幀間編碼進(jìn)行了編碼的圖像的幀間編碼噪聲圖、即關(guān)注像素在時(shí)間軸上的連續(xù)性，來(lái)進(jìn)行幀內(nèi)編碼，由此降低上述課題即I幀閃爍。另外，以下將上述“考慮了利用幀間編碼進(jìn)行了編碼的圖像的幀間編碼噪聲圖的幀內(nèi)編碼”稱為“考慮了時(shí)間軸上的連續(xù)性的幀內(nèi)編碼”。
參照?qǐng)D11，示出了本實(shí)施例中的本發(fā)明的運(yùn)動(dòng)圖像編碼裝置。
圖11的本發(fā)明方式除圖2的現(xiàn)有方式之外，還包括I幀閃爍抑制控制裝置300。另外，變換量化裝置200的內(nèi)部動(dòng)作，因從I幀閃爍抑制控制裝置300所供給的I幀閃爍抑制控制信號(hào)、以及作為修正參照?qǐng)D像與幀內(nèi)預(yù)測(cè)值的差分的參照預(yù)測(cè)誤差，而與現(xiàn)有方式不同。
I幀閃爍抑制控制裝置300和變換量化裝置200以外的裝置與現(xiàn)有方式相同，因此為了簡(jiǎn)化說(shuō)明，以下僅對(duì)I幀閃爍抑制控制裝置300和變換量化裝置200進(jìn)行說(shuō)明。
首先，對(duì)本實(shí)施方式中的I幀閃爍抑制控制裝置300進(jìn)行說(shuō)明。
本實(shí)施方式中的I幀閃爍抑制控制裝置300的動(dòng)作的概略情況為以過(guò)去利用幀間編碼對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行編碼后重構(gòu)的圖像幀(以后稱為修正參照?qǐng)D像生成參照幀)，進(jìn)行幀間預(yù)測(cè)、變換、量化、逆量化、逆變換，生成幀間編碼重構(gòu)圖像recInter(t，vpxt，vpyt)，并將其作為修正參照?qǐng)D像進(jìn)行輸出。用公式表示如式(17)所示。
recInter(t，vpxt，vpyt)＝IDIT[Q[T[org(t，vpxt，vpyt)-pInter(t，vpxt，vpyt)]]]+pInter(t，vpxt，vpyt) (17)另外，式(17)的recInter(t，vpxt，vpytt)也可通過(guò)下面的環(huán)路濾波器108來(lái)應(yīng)用去噪濾波。
recInter(t，vpxt，vpytt)＝LP[recInter(t，vpxt，vpytt)] (18)另外，上述的修正參照?qǐng)D像生成參照幀，可以采用與幀內(nèi)編碼對(duì)象的圖像幀的幀間相關(guān)最高的圖像幀。因此，通常，幀間距離越短，上述幀間相關(guān)就越高。因此，在不利用B幀的編碼中，之前剛剛編碼的P幀最好(圖12(a))?？墒牵谥暗腜幀中因照射等發(fā)生了閃光時(shí)等，進(jìn)而也可采用該P(yáng)幀之前的P幀。
另一方面，在利用B幀的編碼中，通常，B幀比I幀或P幀精度更粗地被量化。因此，在該情況下，與精度粗的量化后的B幀相比，修正參照?qǐng)D像生成參照幀采用以某程度的畫質(zhì)剛剛進(jìn)行過(guò)編碼的P幀為好(圖12(b))。
以上，結(jié)束對(duì)本實(shí)施方式中的I幀閃爍抑制控制裝置300的大致動(dòng)作的說(shuō)明。
接著，對(duì)本實(shí)施方式中的I幀閃爍抑制控制裝置300的輸入輸出進(jìn)行說(shuō)明。
I幀閃爍抑制控制裝置300的輸入為從MB緩沖器101所供給的輸入MB的像素、從幀間預(yù)測(cè)裝置111所供給的幀間預(yù)測(cè)值、從碼量控制裝置106所供給的量化參數(shù)、以及從預(yù)測(cè)方式推斷裝置112所供給的運(yùn)動(dòng)矢量以及MB類型。另一方面，輸出為供給到變換量化裝置200的I幀閃爍抑制控制信號(hào)、減去幀內(nèi)預(yù)測(cè)值之后供給到變換量化裝置200的修正參照?qǐng)D像、以及對(duì)預(yù)測(cè)方式推斷裝置112進(jìn)行控制的運(yùn)動(dòng)矢量推斷控制信號(hào)。
接著，參照?qǐng)D13，對(duì)本實(shí)施方式的I幀閃爍抑制控制裝置300的構(gòu)成進(jìn)行說(shuō)明。
參照?qǐng)D13的I幀閃爍抑制控制裝置300，其包括變換裝置102、量化裝置103、逆量化/逆變換裝置104以及控制器301。
控制器301根據(jù)供給的量化參數(shù)、運(yùn)動(dòng)矢量和MB類型、以及輸入MB和幀間預(yù)測(cè)值的差分，計(jì)算I幀閃爍抑制控制信號(hào)。
I幀閃爍抑制控制信號(hào)是表示“在圖像幀內(nèi)的哪個(gè)區(qū)域應(yīng)用考慮了時(shí)間軸上的連續(xù)性的幀內(nèi)編碼”的信息。
另外，若預(yù)測(cè)方式推斷裝置112以I幀進(jìn)行的幀間預(yù)測(cè)方式推斷(對(duì)使得與輸入MB的幀間預(yù)測(cè)誤差最小的、來(lái)自修正參照?qǐng)D像生成參照幀的運(yùn)動(dòng)矢量與幀間MB類型的組合進(jìn)行檢測(cè)的處理)處于停止中，則控制器301通過(guò)運(yùn)動(dòng)矢量推斷控制信號(hào)使上述幀間預(yù)測(cè)方式推斷進(jìn)行動(dòng)作。
變換裝置102對(duì)輸入MB與幀間預(yù)測(cè)值的差分進(jìn)行變換，將變換系數(shù)供給到量化裝置103。
量化裝置103以所供給的上述量化參數(shù)所對(duì)應(yīng)的量化階，對(duì)上述變換系數(shù)進(jìn)行量化，并計(jì)算位階。
逆量化/逆變換裝置104對(duì)從量化裝置103供給的上述位階進(jìn)行逆量化，進(jìn)而進(jìn)行逆頻率變換，使其返回到原來(lái)的空域，并計(jì)算重構(gòu)預(yù)測(cè)誤差。
給上述重構(gòu)預(yù)測(cè)誤差加上上述幀間預(yù)測(cè)，獲得幀間編碼重構(gòu)圖像，將其作為修正參照?qǐng)D像進(jìn)行輸出。
另外，然后，在I幀閃爍抑制控制裝置300的外部，從上述修正參照?qǐng)D像減去幀內(nèi)預(yù)測(cè)值，生成參照預(yù)測(cè)誤差。參照預(yù)測(cè)誤差是表示“以何種程度按照沿時(shí)間方向連續(xù)的方式進(jìn)行考慮了時(shí)間軸上的連續(xù)性的幀內(nèi)編碼”的信息。
另外，上述I幀閃爍抑制控制裝置300中的變換裝置102、量化裝置103、逆量化/逆變換裝置104與現(xiàn)有方式相同。
接著，參照?qǐng)D14的流程圖，進(jìn)一步詳細(xì)說(shuō)明上述動(dòng)作。
在步驟S1001中，根據(jù)輸入MB的像素值src(x，y){0≤x≤15，0≤y≤15}、來(lái)自修正參照?qǐng)D像生成參照幀的幀間預(yù)測(cè)值pInteridx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}，用式(19)計(jì)算第2預(yù)測(cè)誤差pe2idx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}。
pe2idx(x，y)＝src(b4xidx+x，b4yidx+y)-pInteridx(x，y)(19)其中，本實(shí)施例中的上述第2預(yù)測(cè)誤差僅在I幀閃爍抑制控制裝置300內(nèi)部使用。
在步驟S1002中，根據(jù)第2預(yù)測(cè)誤差pe2idx(x，y)、MB類型、以及量化參數(shù)qp，用式(20)計(jì)算I幀閃爍抑制控制信號(hào)IFlickerControl。
IFlickerControl=1···if(Spe2>256×Sth)1···elseif(Intra4MBor(Intra16MBandqp<qpth1))2···else---(20)]]>Spe2=Σidx=015Σy=03Σx=03|pe2idx(x,y)|---(21)]]>Sth＝(α×(1-finter)×215+qp/6/Q(qp％6，x，y))/Tgain (22)其中，qpthl是量化參數(shù)的閾值(在本實(shí)施方式中為28)，α是比0大的值，Tgain是變換的增益(在本實(shí)施方式中為16)。當(dāng)α為1時(shí)，Sth成為像素空域中幀間編碼下的量化死區(qū)幅度。
另外，I幀閃爍抑制控制信號(hào)IFlickerControl＝0意味著“不對(duì)變換系數(shù)進(jìn)行修正”，IFlickerControl＝1意味著“對(duì)DC變換系數(shù)以外的變換系數(shù)進(jìn)行修正”，IFlickerControl＝2意味著“對(duì)所有變換系數(shù)進(jìn)行修正”。
根據(jù)式(20)的處理，由于在時(shí)間方向上不連續(xù)的區(qū)域(即Spe2＞256xSth)的IFlickerControl為零，因此不會(huì)產(chǎn)生“按照使時(shí)間方向上不連續(xù)的區(qū)域勉強(qiáng)連續(xù)的方式進(jìn)行編碼”的問(wèn)題。
在步驟S1003中，對(duì)第2預(yù)測(cè)誤差pe2idx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}與現(xiàn)有方式同樣地進(jìn)行量化、逆量化、逆變換，計(jì)算第2重構(gòu)預(yù)測(cè)誤差recpe2idx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}。進(jìn)而，加上幀間預(yù)測(cè)值pInteridx(x，y)，用式(23)計(jì)算recInteridx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}。
recInteridx(x，y)＝recpe2idx(x，y)+pInteridx(x，y)(23)以上，結(jié)束本實(shí)施方式中的I幀閃爍抑制控制裝置300的說(shuō)明。
另外，上述的幀間編碼重構(gòu)圖像作為修正參照?qǐng)D像輸出到I幀閃爍抑制控制裝置300的外部。上述修正參照?qǐng)D像減去從幀內(nèi)預(yù)測(cè)裝置110供給的幀內(nèi)預(yù)測(cè)值，用式(24)計(jì)算出參照預(yù)測(cè)誤差rpeidx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}。
rpeidx(x，y)＝recInteridx(x，y)-pIntraidx(x，y) (24)通過(guò)I幀閃爍抑制控制裝置300，獲得表示如何按照幀內(nèi)編碼對(duì)象圖像的重構(gòu)圖像在時(shí)間方向上連續(xù)的方式進(jìn)行編碼的信息(I幀閃爍抑制控制信號(hào))，與表示幀內(nèi)編碼對(duì)象圖像的重構(gòu)圖像在時(shí)間方向上以何種程度連續(xù)的方式進(jìn)行編碼的信息(參照預(yù)測(cè)誤差)。
接下來(lái)說(shuō)明的本發(fā)明的變換量化裝置200利用這些信息，進(jìn)行考慮了幀內(nèi)編碼對(duì)象圖像的重構(gòu)圖像在時(shí)間方向上的連續(xù)性的編碼。
參照?qǐng)D15，對(duì)本發(fā)明的實(shí)施例的量化裝置200進(jìn)行說(shuō)明。
本發(fā)明的實(shí)施例的量化裝置200除圖5的現(xiàn)有方式的構(gòu)成之外，還包括變換系數(shù)修正裝置201。
變換系數(shù)修正裝置201基于從I幀閃爍抑制控制裝置300供給的I幀閃爍抑制控制信號(hào)、從修正參照?qǐng)D像減去幀內(nèi)預(yù)測(cè)值后的參照預(yù)測(cè)誤差、以及從碼量控制裝置106供給的量化參數(shù)，對(duì)從變換裝置102供給的變換系數(shù)以及DC變換系數(shù)進(jìn)行修正，將修正變換系數(shù)和修正DC變換系數(shù)供給到量化裝置103。即，對(duì)幀間編碼的量化值(位階)進(jìn)行適當(dāng)修正。
與圖5的變換量化裝置的不同之處僅在于由變換系數(shù)修正裝置201進(jìn)行的變換系數(shù)以及DC變換系數(shù)的修正。因此，下面僅對(duì)變換系數(shù)修正裝置201進(jìn)行說(shuō)明。
參照?qǐng)D16的流程圖，設(shè)量化參數(shù)為qp，設(shè)I幀閃爍抑制控制信號(hào)為IFlickerControl，設(shè)參照預(yù)測(cè)誤差為rpeidx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}，設(shè)從變換裝置102供給的變換系數(shù)為Tidx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}，設(shè)DC變換系數(shù)為TDC(x，y){0≤x≤3，0≤y≤3}，設(shè)輸出的修正變換系數(shù)為T’idx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}，設(shè)輸出的修正DC變換系數(shù)為TDC’(x，y){0≤x≤3，0≤y≤3}，對(duì)各步驟的動(dòng)作進(jìn)行說(shuō)明。
在步驟S2001中，通過(guò)式(25)、(26)對(duì)修正變換系數(shù)T’idx(x，y)和修正DC變換系數(shù)TDC’(x，y)進(jìn)行初始化。
T’idx(x，y)＝Tidx(x，y)(25)TDC’(x，y)＝TDC’(x，y)(26)在步驟S2002中，判斷I幀閃爍抑制控制信號(hào)IFlickerControl是否為0。若IFlickerControl不為0(若對(duì)系數(shù)進(jìn)行修正)則轉(zhuǎn)移到步驟S2003，否則結(jié)束處理。
在步驟S2003中，判斷作為修正對(duì)象的變換系數(shù)是否為Intra16MB。若不是Intra16MB，則轉(zhuǎn)移到步驟S2004，否則轉(zhuǎn)移到步驟S2005。
在步驟S2004中，對(duì)所有idx、x、y{0≤idx≤15，0≤x≤3，0≤y≤3}的變換系數(shù)進(jìn)行式(27)的修正，然后結(jié)束處理。
T′idx=RTidx(x,y)···if(conditionA(idx,x,y)=True)T′idx(x,y)···else---(27)]]>RTidx(x,y)=]]>111121-1-21-1-111-22-1rpeidx(0,0)rpeidx(0,1)rpeidx(0,2)rpeidx(0,3)rpeidx(1,0)rpeidx(1,1)rpeidx(1,2)rpeidx(1,3)rpeidx(2,0)rpeidx(2,1)rpeidx(2,2)rpeidx(2,3)rpeidx(3,0)rpeidx(3,1)rpeidx(3,2)rpeidx(3,3)121111-1-21-1-121-21-1---(28)]]>conditionA(idx,x,y)=True···if(|Tidx(x,y)-RTidx(x,y)|≤Qsdz1(x,y))false···else---(29)]]>Qsdz1(x，y)＝(1-finter)×Qs(x，y)(31)Qs(x，y)＝215+qp/6/Q(qp％6，x，y)(32)在此，Qsdz1(x，y)是幀間編碼的量化死區(qū)。根據(jù)利用了Qsdz1(x，y)的式(27)的conditionA的判定，可防止過(guò)剩的幀內(nèi)編碼量化值的修正(當(dāng)然，也可對(duì)Qsdz1采用更大的值，但幀間編碼的量化死區(qū)可獲得最穩(wěn)定的效果)。
另外，上述的修正也可不根據(jù)式(27)而根據(jù)式(33)。
T′idx=ope1(RTidx(x,y),Qs(x,y),x,y)···if(condition)A(idx,x,y)=TrueT′idx(x,y)···else---(33)]]>ope1(C，qs，x，y)＝((C+0.5×sign(C)×qs)/qs)*qs(34)其中，sign(C)是若C＜0則返回-1否則返回1的函數(shù)。
另外，在式(27)中若conditionA(idx，x，y)＝True，則對(duì)修正參照?qǐng)D像與幀內(nèi)預(yù)測(cè)圖像的差分進(jìn)行量化所得到的位階成為幀內(nèi)編碼的位階。另一方面，在式(33)中，當(dāng)conditionA(idx，x，y)＝True時(shí)，對(duì)修正參照?qǐng)D像與幀內(nèi)預(yù)測(cè)圖像的差分進(jìn)行四舍五入的量化特性的量化所得到的位階成為幀內(nèi)編碼的位階。利用了四舍五入的量化特性的結(jié)果是，其重構(gòu)圖像可根據(jù)時(shí)間方向正確地連續(xù)。
在步驟S2005中，對(duì)x＝y(tǒng)＝0以外的所有idx、x、y{0≤idx≤15，0≤x≤3，0≤y≤3}的變換系數(shù)進(jìn)行式(27)的修正。當(dāng)然也可取代式(27)而利用式(33)進(jìn)行。
在步驟S2006中，判斷I幀閃爍抑制控制信號(hào)IFlickerControl是否為1。若不為1(若對(duì)DC變換系數(shù)進(jìn)行修正)則轉(zhuǎn)移到步驟S2007，否則結(jié)束處理。
在步驟S2007中，對(duì)所有x、y{0≤x≤3，0≤y≤3}的變換系數(shù)進(jìn)行式(35)的DC變換系數(shù)的修正，然后結(jié)束處理。
T′idx=RTDCidx(x,y)···if(conditionB(x,y)=True)TDC′idx(x,y)···else---(35)]]>RTDC(x,y)=]]>111111-1-11-1-111-11-1RT0(0,0)RT1(0,0)RT2(0,0)RT3(0,0)RT4(0,0)RT5(0,0)RT6(0,0)RT7(0,0)RT8(0,0)RT9(0,0)RT10(0,0)RT11(0,0)RT12(0,0)RT13(0,0)RT14(0,0)RT15(0,0)111111-1-11-1-111-11-11/2---(36)]]>conditonB(x,y)=True···if(|TDC(x,y)-RTDC(x,y)|≤Qsdz2(x,y))false···else---(37)]]>Qsdz2(x，y)＝(1-finter)×QsDC(x，y)(38)QsDC(x，y)＝216+qp/6/Q(qp％6，0，0)(39)在此，Qsdz2(x，y)是DC變換區(qū)域的幀間編碼的量化死區(qū)。根據(jù)利用了Qsdz2(x，y)的式(35)的conditionB的判定，可防止過(guò)剩的幀內(nèi)編碼量化值的修正(當(dāng)然，也可對(duì)Qsdz2采用更大的值，但DC變換區(qū)域的幀間編碼的量化死區(qū)可獲得最穩(wěn)定的效果)。
另外，上述的DC變換系數(shù)的修正也可不根據(jù)式(35)而根據(jù)式(40)來(lái)計(jì)算。
TDC′idx=ope1(RTDC(x,y),QsDC(x,y),x,y)···if(conditionB(x,y)=True)TDC′idx···else---(40)]]>另外，在式(35)中若conditionB(x，y)＝True，則對(duì)修正參照?qǐng)D像與幀內(nèi)預(yù)測(cè)圖像的差分進(jìn)行量化所得到的位階，成為幀內(nèi)編碼的位階。另一方面，在式(40)中，當(dāng)conditionB(x，y)＝True時(shí)，對(duì)修正參照?qǐng)D像與幀內(nèi)預(yù)測(cè)圖像的差分進(jìn)行四舍五入的量化特性的量化所得到的位階，成為幀內(nèi)編碼的位階。利用了四舍五入的量化特性的結(jié)果，其重構(gòu)圖像可根據(jù)時(shí)間方向正確地連續(xù)。
以上，結(jié)束變換系數(shù)修正裝置201的說(shuō)明。
作為表示上述本發(fā)明的運(yùn)動(dòng)圖像編碼裝置的效果的例子，設(shè)圖9中的I3幀的關(guān)注像素的參照預(yù)測(cè)誤差為rpe(3，vpx3，vpy3)＝recInter(3，vpx2，vp2)-pIntra(3，vpx3，vpy3)(41)，在圖17中示出考慮了重構(gòu)像素的連續(xù)性并進(jìn)行了編碼時(shí)的關(guān)注像素的轉(zhuǎn)移。
根據(jù)本發(fā)明的作用，以參照預(yù)測(cè)誤差的變換系數(shù)對(duì)預(yù)測(cè)誤差的變換系數(shù)進(jìn)行修正，I3幀的關(guān)注像素的重構(gòu)預(yù)測(cè)誤差如式(42)所示。
recpe(3，vpx3，vpy3)＝IQIT[Q[T[rpe(3，vpx3，vpy3)]]](42)由此，發(fā)明例(圖17)中的重構(gòu)預(yù)測(cè)誤差比現(xiàn)有例(圖10)的重構(gòu)預(yù)測(cè)誤差小量化幅度。結(jié)果，現(xiàn)有例中發(fā)生的I3幀的關(guān)注像素的急劇變化在本發(fā)明中被抑制。
另外，由于根據(jù)幀間編碼圖像生成參照預(yù)測(cè)誤差，因此無(wú)論關(guān)注像素在靜止區(qū)域還是在運(yùn)動(dòng)區(qū)域都可獲得上述效果。另外，由于以塊為單位計(jì)算參照預(yù)測(cè)誤差，因此可按圖像幀內(nèi)的塊適當(dāng)應(yīng)用上述的I幀閃爍的抑制。
即，本發(fā)明在不僅利用I幀還利用P幀以及B幀等的幀間預(yù)測(cè)對(duì)運(yùn)動(dòng)圖像進(jìn)行編碼時(shí)，而且在對(duì)包括有運(yùn)動(dòng)的場(chǎng)景以及運(yùn)動(dòng)區(qū)域的運(yùn)動(dòng)圖像進(jìn)行編碼時(shí)，也能有效實(shí)現(xiàn)I幀閃爍的降低。
(實(shí)施例2)在上述實(shí)施例1的運(yùn)動(dòng)圖像編碼裝置中，為了計(jì)算修正參照?qǐng)D像，I幀閃爍抑制控制裝置300需要進(jìn)行變換、量化、逆量化、逆變換的處理。在本實(shí)施方式中，對(duì)不需要上述變換、量化、逆量化、逆變換的更為簡(jiǎn)化的I幀閃爍抑制控制裝置300進(jìn)行說(shuō)明。
本實(shí)施方式的運(yùn)動(dòng)圖像編碼裝置與實(shí)施例1的I幀閃爍抑制控制裝置300以外的構(gòu)成相同，因此為了簡(jiǎn)化說(shuō)明，下面僅對(duì)本實(shí)施方式的I幀閃爍抑制控制裝置300進(jìn)行說(shuō)明。
參照?qǐng)D18，對(duì)本實(shí)施方式的I幀閃爍抑制控制裝置300的構(gòu)成進(jìn)行說(shuō)明。
與實(shí)施例1相比，刪除了變換裝置102、量化裝置103、逆量化/逆變換裝置104?？刂破?01與實(shí)施例1相同。
根據(jù)該構(gòu)造，由本實(shí)施例獲得的修正參照?qǐng)D像成為在根據(jù)修正參照?qǐng)D像生成參照幀對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)時(shí)的幀間預(yù)測(cè)圖像。即，修正參照?qǐng)D像與使實(shí)施例1的式(17)的第1項(xiàng)為零時(shí)的幀間編碼重構(gòu)圖像等效。
在使上述式(17)的第1項(xiàng)為零的原理中利用了“在時(shí)間方向上連續(xù)的圖像，該圖像與幀間預(yù)測(cè)圖像匹配。因此，預(yù)測(cè)誤差減小，在量化后預(yù)測(cè)誤差為零”的趨勢(shì)。由此，可不進(jìn)行預(yù)測(cè)誤差的變換、量化、逆量化、逆變換，以更少的運(yùn)算成本實(shí)現(xiàn)與第1實(shí)施方式的I幀閃爍抑制控制裝置同等的功能。
接著，參照?qǐng)D19的流程圖，對(duì)本實(shí)施例的I幀閃爍抑制控制裝置的動(dòng)作進(jìn)行說(shuō)明。
在步驟S3001中，根據(jù)輸入MB的像素值src(x，y){0≤x≤15，0≤y≤15}，以及來(lái)自修正參照?qǐng)D像生成參照幀的幀間預(yù)測(cè)值pInteridx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}，用式(19)計(jì)算第2預(yù)測(cè)誤差pe2idx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}(與步驟S1001相同)。
pe2idx(x，y)＝src(b4xidx+x，b4yidx+y)-pInteridx(x，y)(19)其中，本實(shí)施例中的上述第2預(yù)測(cè)誤差僅在I幀閃爍抑制控制裝置300內(nèi)部使用。
在步驟S3002中，根據(jù)第2預(yù)測(cè)誤差pe2idx(x，y)、MB類型、以及量化參數(shù)qp，用式(20)計(jì)算I幀閃爍抑制控制信號(hào)IFlickerControl(與步驟S1002相同)。
IFlidckerControl=0···if(Spe2>256×Sth)1···elseif(Intra4MBor(Intra16MBandqp<qpth1))2···else---(20)]]>Spe2=Σidx=015Σy=03Σx=03|pe2idx(x,y)|---(21)]]>Sth＝(α×(1-finter)×215+qp/6/Q(qp％6，x，y))/Tgain(22)其中，qpthl是量化參數(shù)的閾值(在本實(shí)施方式中為28)。
另外，I幀閃爍抑制控制信號(hào)IFlickerControl＝0意味著“不對(duì)變換系數(shù)進(jìn)行修正”，IFlickerControl＝1意味著“對(duì)DC變換系數(shù)以外的變換系數(shù)進(jìn)行修正”，IFlickerControl＝2意味著“對(duì)所有變換系數(shù)進(jìn)行修正”。
根據(jù)式(20)的處理，由于在時(shí)間方向上不連續(xù)的區(qū)域(即Spe2＞256xSth)的IFlickerControl為零，因此不會(huì)產(chǎn)生“按照使時(shí)間方向上不連續(xù)的區(qū)域勉強(qiáng)連續(xù)的方式進(jìn)行編碼”的問(wèn)題。
以上，結(jié)束本實(shí)施方式中的I幀閃爍抑制控制裝置300的說(shuō)明。
另外，上述的幀間預(yù)測(cè)值作為修正參照?qǐng)D像輸出到I幀閃爍抑制控制裝置300的外部。上述修正參照?qǐng)D像減去從幀內(nèi)預(yù)測(cè)裝置110所供給的幀內(nèi)預(yù)測(cè)值，用式(43)計(jì)算參照預(yù)測(cè)誤差rpeidx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}。
rpeidx(x，y)＝pInteridx(x，y)-pIntraidx(x，y)(43)通過(guò)本實(shí)施例的I幀閃爍抑制控制裝置300，與實(shí)施例1同樣，獲得I幀閃爍抑制控制信號(hào)與參照預(yù)測(cè)誤差。
由此，與實(shí)施例1同樣，當(dāng)不僅利用I幀還利用P幀以及B幀等的幀間預(yù)測(cè)對(duì)運(yùn)動(dòng)圖像進(jìn)行編碼時(shí)，而且在對(duì)包含有運(yùn)動(dòng)場(chǎng)景的運(yùn)動(dòng)圖像進(jìn)行編碼時(shí)，也能有效實(shí)現(xiàn)I幀閃爍的降低。
(實(shí)施例3)在本實(shí)施例中，對(duì)利用如下變換量化裝置的發(fā)明的運(yùn)動(dòng)圖像編碼裝置進(jìn)行描述，上述變換量化裝置并非如實(shí)施例1中的變換量化裝置200那樣“對(duì)變換系數(shù)進(jìn)行修正，對(duì)上述修正后的變換系數(shù)進(jìn)行量化”，而是“根據(jù)參照預(yù)測(cè)誤差的變換系數(shù)，量化裝置直接對(duì)位階進(jìn)行修正”。
由于僅變換量化裝置200內(nèi)部的構(gòu)成與第1實(shí)施方式或第2實(shí)施方式不同，因此為了簡(jiǎn)化說(shuō)明，僅對(duì)本實(shí)施方式中的變換量化裝置200進(jìn)行說(shuō)明(當(dāng)然，I幀閃爍抑制控制裝置300的構(gòu)成可采用第1實(shí)施方式/第2實(shí)施方式中的任一種)。
參照?qǐng)D20，對(duì)本實(shí)施方式中的變換量化裝置200進(jìn)行說(shuō)明。
圖20的變換量化裝置200除圖5的現(xiàn)有方式的構(gòu)成之外，還包括具有與變換裝置102相同功能的變換裝置102B。上述變換裝置102B對(duì)所供給的參照預(yù)測(cè)誤差，與變換裝置102的預(yù)測(cè)誤差同樣地進(jìn)行變換，并輸出參照變換系數(shù)和參照DC變換系數(shù)。
另外，設(shè)為根據(jù)式(28)計(jì)算上述參照變換系數(shù)RTidx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}，根據(jù)式(36)計(jì)算參照DC變換系數(shù)RTDC(x，y){0≤x≤3，0≤y≤3}。
與圖5的現(xiàn)有方式的動(dòng)作的不同之處僅在于系數(shù)量化裝置1031和DC系數(shù)量化裝置1032。
因此，下面僅分別對(duì)系數(shù)量化裝置1031和DC系數(shù)量化裝置1032的動(dòng)作進(jìn)行說(shuō)明。
參照?qǐng)D21的流程圖，對(duì)系數(shù)量化裝置1031的動(dòng)作進(jìn)行說(shuō)明。
在步驟S4001中，通過(guò)式(10)對(duì)所有變換系數(shù)Tidx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}進(jìn)行量化后，計(jì)算出位階Lidx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}。
另外，步驟S4001是現(xiàn)有方式的系數(shù)量化本身的動(dòng)作，接下來(lái)的步驟S4002～步驟S4005是本發(fā)明所追加的動(dòng)作。
在步驟S4002中，判斷I幀閃爍抑制控制信號(hào)IFlickerControl是否為0。若IFlickerControl不為0(若對(duì)系數(shù)進(jìn)行修正)則轉(zhuǎn)移到步驟S4003，否則結(jié)束處理。
在步驟S4003中，將表示修正后的系數(shù)個(gè)數(shù)的計(jì)數(shù)countL初始化為0。
在步驟S4004中，檢查countL是否在256以上(是否已對(duì)所有idx、x、y{0≤idx≤15，0≤x≤3，0≤y≤3}的系數(shù)進(jìn)行了修正)，若countL在256以上則結(jié)束處理，否則轉(zhuǎn)移到步驟S4005。
在步驟S4005中，根據(jù)式(44)對(duì)位階Lidx(x，y)進(jìn)行修正，并使countL增加1，然后轉(zhuǎn)移到步驟S4004。
Lidx(x,y)=RLidx(x,y)···if(conditionA(idx,x,y)=True)Lidx(x,y)···else---(44)]]>RLidx(x，y)＝(ope1(RTidx(x，y)，Qs(x，y)，x，y)×Q(qp％6，x，y)+fintra×sign(RTidx(x，y)))×2(15+qp/6)/2(15+qp/6)(45)idx＝countL/16(46)num＝countL％16(47)x＝num％4(48)y＝num/4(49)以上，結(jié)束本實(shí)施例中的系數(shù)量化裝置1031的動(dòng)作說(shuō)明。
接著，參照?qǐng)D22的流程圖，對(duì)DC系數(shù)量化裝置1032的動(dòng)作進(jìn)行說(shuō)明。
在步驟S5001中，根據(jù)式(9)對(duì)所有DC變換系數(shù)TDC(x，y){0≤x≤3，0≤y≤3}進(jìn)行量化后，計(jì)算位階LDC(x，y){0≤x≤3，0≤y≤3}。
另外，步驟S5001是現(xiàn)有方式的DC系數(shù)量化本身的動(dòng)作，接下來(lái)的步驟S5002～步驟S5005是本發(fā)明所追加的動(dòng)作。
在步驟S5002中，判斷I幀閃爍抑制控制信號(hào)IFlickerControl是否為1且MB類型是否為Intra16MB。若IFlickerControl為1且MB類型為Intra16MB(若對(duì)DC系數(shù)進(jìn)行修正)則轉(zhuǎn)移到步驟S5003，否則結(jié)束處理。
在步驟S5003中，將表示修正后的DC系數(shù)個(gè)數(shù)的計(jì)數(shù)countDCL初始化為0。
在步驟S5004中，檢查countDCL是否在16以上(是否已對(duì)所有x、y{0≤x≤3，0≤y≤3}的DC系數(shù)進(jìn)行了修正)，若countDCL在16以上則結(jié)束處理，否則轉(zhuǎn)移到步驟S5005。
在步驟S5005中，根據(jù)式(50)對(duì)位階LDC(x，y)進(jìn)行修正，并將countDCL增加1，然后轉(zhuǎn)移到步驟S5004。
LDC(x,y)=RLDC(x,y)···if(conditionB(idx,x,y)=True)LDC(x,y)···else---(50)]]>RLDC(x，y)＝(ope1(RTDC(x，y)，QsDC(x，y)，x，y)×Q(qp％6，0，0)+fintra×sign(RTDC(x，y)))×2(16+qp/6)/2(16+qp/6)(51)x＝countDCL％4(52)y＝countDCL/4(53)以上，結(jié)束本實(shí)施方式中的DC系數(shù)量化裝置1032的動(dòng)作說(shuō)明。
根據(jù)以上說(shuō)明的本實(shí)施方式中的變換量化裝置200，與第1實(shí)施方式同樣，當(dāng)不僅利用I幀還利用P幀以及B幀等的幀間預(yù)測(cè)對(duì)運(yùn)動(dòng)圖像進(jìn)行編碼時(shí)，而且在對(duì)包含有運(yùn)動(dòng)場(chǎng)景的運(yùn)動(dòng)圖像進(jìn)行編碼時(shí)，也能有效實(shí)現(xiàn)I幀閃爍的降低。
(實(shí)施例4)在本實(shí)施例中，對(duì)利用如下變換量化裝置的發(fā)明的運(yùn)動(dòng)圖像編碼裝置進(jìn)行描述，上述變換量化裝置并非如實(shí)施例1或?qū)嵤├?中變換量化裝置200那樣“變換量化裝置200對(duì)參照預(yù)測(cè)誤差的變換系數(shù)進(jìn)行計(jì)算”，而是能以更簡(jiǎn)單的構(gòu)成降低I幀閃爍。
由于僅變換量化裝置200內(nèi)部的構(gòu)成與實(shí)施例1或?qū)嵤├?不同，因此為了簡(jiǎn)化說(shuō)明，僅對(duì)本實(shí)施方式中的變換量化裝置200進(jìn)行說(shuō)明(當(dāng)然，I幀閃爍抑制控制裝置300的構(gòu)成可采用實(shí)施例1或?qū)嵤├?中的任一種)。
在圖23中表示本實(shí)施方式的變換量化裝置200的構(gòu)成。
本實(shí)施方式的變換量化裝置200除圖5的現(xiàn)有方式的構(gòu)成之外，還包括預(yù)測(cè)誤差修正裝置202。預(yù)測(cè)誤差修正裝置202根據(jù)所供給的I幀閃爍抑制控制信號(hào)/參照預(yù)測(cè)誤差，對(duì)預(yù)測(cè)誤差進(jìn)行修正，將修正后的預(yù)測(cè)誤差供給到變換裝置102。
預(yù)測(cè)誤差修正裝置202以外的裝置與圖5的現(xiàn)有方式相同。因此，下面，參照?qǐng)D24的流程圖，僅對(duì)預(yù)測(cè)誤差修正裝置202的動(dòng)作進(jìn)行說(shuō)明。
在步驟S6001中，判斷I幀閃爍抑制控制信號(hào)IFlickerControl是否為0。若IFlickerControl不為0(若對(duì)預(yù)測(cè)誤差進(jìn)行修正)則轉(zhuǎn)移到步驟S6002，否則結(jié)束處理。
在步驟S6002中，將表示修正后的預(yù)測(cè)誤差的像素?cái)?shù)個(gè)數(shù)的計(jì)數(shù)countpe初始化為0。
在步驟S6003中，檢查countpe是否在256以上(是否已對(duì)所有的idx、x、y{0≤idx≤15，0≤x≤3，0≤y≤3}的預(yù)測(cè)誤差進(jìn)行了修正)，若countpe在256以上則結(jié)束處理，否則轉(zhuǎn)移到步驟S6004。
在步驟S6004中，根據(jù)式(54)對(duì)預(yù)測(cè)誤差peidx(x，y){0≤idx≤15，0≤x≤3，0≤y≤3}進(jìn)行修正，并使countpe增加1，然后轉(zhuǎn)移到步驟S6003。
peidx(x,y)=rpeidx(x,y)···if(conditionC(idx,x,y)=True)peidx(x,y)···else---(54)]]>conditionC(idx,x,y)=True···if(|peidx(x,y)-rpeidx(x,y)|≤Qsdz3)false···else---(55)]]>Qsdz3＝Qsdz1(0，0)/(Tgain×β)(56)idx＝countpe/16(57)num＝countpe％16(58)x＝num％4(59)y＝num/4(60)在此，式(56)的β是1以上的實(shí)數(shù)(在本實(shí)施方式中為2)。
以上，結(jié)束預(yù)測(cè)誤差修正裝置202的動(dòng)作說(shuō)明。
在此，參照預(yù)測(cè)誤差是在第1實(shí)施方式或第2實(shí)施方式中說(shuō)明的修正參照?qǐng)D像與幀內(nèi)預(yù)測(cè)的差分。另一方面，預(yù)測(cè)誤差是輸入MB與幀內(nèi)預(yù)測(cè)的差分。即，本實(shí)施方式中的變換量化裝置200在幀內(nèi)編碼中，可取代幀內(nèi)編碼對(duì)象的圖像而對(duì)上述的修正參照?qǐng)D像進(jìn)行編碼。其中，并非無(wú)條件地置換所有幀內(nèi)編碼對(duì)象的圖像，從式(54)可知，僅對(duì)在時(shí)間方向上視為連續(xù)的圖像，將上述幀內(nèi)編碼對(duì)象的圖像置換為修正參照?qǐng)D像。
根據(jù)以上說(shuō)明的本實(shí)施方式中的變換量化裝置200，與第1實(shí)施方式同樣，當(dāng)不僅利用I幀還利用P幀以及B幀等的幀間預(yù)測(cè)對(duì)運(yùn)動(dòng)圖像進(jìn)行編碼時(shí)，而且在對(duì)包含有運(yùn)動(dòng)場(chǎng)景的運(yùn)動(dòng)圖像進(jìn)行編碼時(shí)，也能有效實(shí)現(xiàn)I幀閃爍的降低。
(實(shí)施例5)在上述實(shí)施例中，描述了在采用幀內(nèi)預(yù)測(cè)的運(yùn)動(dòng)圖像編碼裝置中應(yīng)用了本發(fā)明的情況，但還可應(yīng)用于不采用幀內(nèi)預(yù)測(cè)的運(yùn)動(dòng)圖像編碼裝置中。
在該情況下，使上述的幀內(nèi)預(yù)測(cè)值pIntraidx(x，y)全部為0后再進(jìn)行動(dòng)作即可。
另外，該情況下(不使用幀內(nèi)預(yù)測(cè)時(shí))的實(shí)施例1的動(dòng)作，是使用對(duì)幀間編碼重構(gòu)圖像進(jìn)行變換、量化后獲得的量化值，作為幀內(nèi)編碼的量化值。當(dāng)然，變換量化裝置200的構(gòu)成也可采用實(shí)施例3的構(gòu)成。
另外，該情況下(不使用幀內(nèi)預(yù)測(cè)時(shí))的實(shí)施例2的動(dòng)作，是使用對(duì)來(lái)自修正參照?qǐng)D像生成參照幀的幀間預(yù)測(cè)圖像進(jìn)行變換、量化后獲得的量化值，作為幀內(nèi)編碼的量化值。當(dāng)然，變換量化裝置200的構(gòu)成也可采用第3實(shí)施方式的構(gòu)成。
另外，該情況下(不使用幀內(nèi)預(yù)測(cè)時(shí))的實(shí)施例4的動(dòng)作，是使用幀間編碼重構(gòu)圖像或來(lái)自修正參照?qǐng)D像生成參照幀的幀間預(yù)測(cè)圖像，作為幀內(nèi)編碼的對(duì)象的圖像。
另外，在上述實(shí)施方式中，描述了僅對(duì)亮度信號(hào)應(yīng)用本發(fā)明的情況，但本發(fā)明對(duì)色差信號(hào)也可應(yīng)用。
(實(shí)施例6)進(jìn)而，在上述實(shí)施例中，從上述說(shuō)明可明確，可由硬件構(gòu)成，但也可通過(guò)計(jì)算機(jī)程序來(lái)實(shí)現(xiàn)。
圖25是實(shí)施本發(fā)明的運(yùn)動(dòng)圖像編碼裝置的信息處理系統(tǒng)的一般模塊構(gòu)成圖。
圖25所示的信息處理系統(tǒng)由處理器A1001、程序存儲(chǔ)器A1002、存儲(chǔ)介質(zhì)A1003以及A1004構(gòu)成。存儲(chǔ)介質(zhì)A1003以及A1004可以是獨(dú)立的存儲(chǔ)介質(zhì)，也可以是由同一存儲(chǔ)介質(zhì)構(gòu)成的存儲(chǔ)區(qū)域。作為存儲(chǔ)介質(zhì)，可使用硬盤等磁存儲(chǔ)介質(zhì)。
(實(shí)施例7)實(shí)施例7中，對(duì)將上述實(shí)施例1～實(shí)施例6的運(yùn)動(dòng)圖像編碼裝置所生成的位流作為輸入，并將對(duì)上述位流進(jìn)行解碼后的圖像作為輸出的解碼裝置進(jìn)行說(shuō)明。
參照?qǐng)D28，解碼裝置由熵解碼裝置D101、逆量化/逆變換裝置D102、幀存儲(chǔ)器D103、幀內(nèi)預(yù)測(cè)裝置D104以及幀間預(yù)測(cè)裝置D105構(gòu)成。
熵解碼裝置D101對(duì)復(fù)用在位流中的位階、量化參數(shù)、幀內(nèi)MB類型、幀間MB類型、預(yù)測(cè)方向、運(yùn)動(dòng)矢量等位序列進(jìn)行熵解碼，恢復(fù)為原來(lái)的數(shù)值。
逆量化/逆變換裝置D102對(duì)從熵解碼裝置D101供給的位階進(jìn)行逆量化以及逆變換，恢復(fù)到原來(lái)的像素空間。將上述恢復(fù)到原來(lái)的像素空間的位階稱為預(yù)測(cè)誤差。
進(jìn)而，給上述預(yù)測(cè)誤差加上從SW100供給的預(yù)測(cè)值，作為重構(gòu)圖像幀，存儲(chǔ)到幀存儲(chǔ)器D103中。
幀存儲(chǔ)器D103采用合并了在運(yùn)動(dòng)圖像編碼裝置中所說(shuō)明的幀存儲(chǔ)器A107、環(huán)路濾波裝置108、以及幀存儲(chǔ)器B109的構(gòu)成。
幀存儲(chǔ)器D103對(duì)所存儲(chǔ)的重構(gòu)圖像幀的顯示時(shí)刻進(jìn)行監(jiān)視，輸出達(dá)到顯示時(shí)刻的重構(gòu)圖像幀。
若從熵解碼裝置D101供給的MB類型為幀內(nèi)MB，幀內(nèi)預(yù)測(cè)裝置D104便從幀存儲(chǔ)器105中所存儲(chǔ)的重構(gòu)圖像幀，根據(jù)所供給的幀內(nèi)MB以及預(yù)測(cè)方向，與編碼裝置的幀內(nèi)預(yù)測(cè)裝置110同樣地生成幀內(nèi)預(yù)測(cè)圖像。
若從熵解碼裝置D101供給的MB類型為幀間MB，幀間預(yù)測(cè)裝置D105便從幀存儲(chǔ)器105中所存儲(chǔ)的重構(gòu)圖像幀(參照幀)，根據(jù)所供給的幀間MB類型以及運(yùn)動(dòng)矢量，與編碼裝置的幀間預(yù)測(cè)裝置111同樣地生成幀間預(yù)測(cè)圖像。
若從熵解碼裝置D101供給的MB類型為幀內(nèi)MB，則SW100輸出從幀內(nèi)預(yù)測(cè)裝置D104所供給的幀內(nèi)預(yù)測(cè)圖像作為預(yù)測(cè)值，若為幀間MB，則SW100輸出從幀間預(yù)測(cè)裝置D105所供給的幀間預(yù)測(cè)圖像作為預(yù)測(cè)值。
通過(guò)以上說(shuō)明的處理，運(yùn)動(dòng)圖像編碼裝置能對(duì)所輸入的位流進(jìn)行解碼，并重構(gòu)圖像。
權(quán)利要求
1.一種運(yùn)動(dòng)圖像編碼裝置，其特征在于，具有利用在采用幀間編碼進(jìn)行編碼后重構(gòu)的圖像幀來(lái)對(duì)圖像進(jìn)行幀內(nèi)編碼的單元。
2.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于采用所述幀間編碼進(jìn)行編碼后重構(gòu)的圖像幀，相對(duì)于所述被幀內(nèi)編碼的圖像而言是過(guò)去的圖像幀。
3.根據(jù)權(quán)利要求2所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于所述過(guò)去的圖像幀是所述被幀內(nèi)編碼的圖像緊前面的P幀。
4.根據(jù)權(quán)利要求3所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于包括如下單元該單元利用以所述P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)、變換、量化、逆量化、逆變換而得到的重構(gòu)圖像，對(duì)幀內(nèi)編碼的量化值進(jìn)行修正。
5.根據(jù)權(quán)利要求3所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于包括如下單元該單元利用以所述P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)而得到的幀間預(yù)測(cè)圖像，對(duì)幀內(nèi)編碼的量化值進(jìn)行修正。
6.根據(jù)權(quán)利要求4或5所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于作為幀內(nèi)編碼的量化值，采用對(duì)所述修正中使用的圖像與幀內(nèi)預(yù)測(cè)值圖像的差分進(jìn)行變換后實(shí)施量化而得到的量化值。
7.根據(jù)權(quán)利要求4或5所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于作為幀內(nèi)編碼的量化值，采用對(duì)所述修正中使用的圖像進(jìn)行變換后實(shí)施量化而得到的量化值。
8.根據(jù)權(quán)利要求6或7所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于所述量化具有四舍五入的量化特性。
9.根據(jù)權(quán)利要求8所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于只有當(dāng)幀內(nèi)編碼的變換系數(shù)、與從所述修正中所使用的圖像獲得的變換系數(shù)的差分在幀間編碼的量化死區(qū)幅度以下時(shí)，應(yīng)用所述幀內(nèi)編碼的量化值的修正。
10.根據(jù)權(quán)利要求3所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于包括如下單元該單元對(duì)以所述P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)、變換、量化、逆量化、逆變換而生成的重構(gòu)圖像，進(jìn)行幀內(nèi)編碼。
11.根據(jù)權(quán)利要求3所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于包括如下單元該單元對(duì)以所述P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)而生成的幀間預(yù)測(cè)圖像，進(jìn)行幀內(nèi)編碼。
12.根據(jù)權(quán)利要求10或11所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于當(dāng)所述生成的圖像、與幀內(nèi)編碼對(duì)象的圖像的差分在像素空間的幀間編碼的量化死區(qū)幅度以下時(shí)，應(yīng)用所述幀內(nèi)編碼。
13.一種運(yùn)動(dòng)圖像編碼方法，其特征在于利用在采用幀間編碼進(jìn)行編碼后重構(gòu)的圖像幀來(lái)對(duì)圖像進(jìn)行幀內(nèi)編碼。
14.根據(jù)權(quán)利要求13所述的運(yùn)動(dòng)圖像編碼方法，其特征在于采用所述幀間編碼進(jìn)行編碼后重構(gòu)的圖像幀，相對(duì)于所述被幀內(nèi)編碼的圖像而言是過(guò)去的圖像幀。
15.根據(jù)權(quán)利要求14所述的運(yùn)動(dòng)圖像編碼方法，其特征在于所述過(guò)去的圖像幀是所述被幀內(nèi)編碼的圖像緊前面的P幀。
16.根據(jù)權(quán)利要求15所述的運(yùn)動(dòng)圖像編碼方法，其特征在于利用以P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)、變換、量化、逆量化、逆變換而得到的重構(gòu)圖像，對(duì)幀內(nèi)編碼的量化值進(jìn)行修正。
17.根據(jù)權(quán)利要求15所述的運(yùn)動(dòng)圖像編碼方法，其特征在于利用以所述P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)而得到的幀間預(yù)測(cè)圖像，對(duì)幀內(nèi)編碼的量化值進(jìn)行修正。
18.根據(jù)權(quán)利要求16或17所述的運(yùn)動(dòng)圖像編碼方法，其特征在于作為幀內(nèi)編碼的量化值，采用對(duì)所述修正中使用的圖像與幀內(nèi)預(yù)測(cè)值圖像的差分進(jìn)行變換后實(shí)施量化而得到的量化值。
19.根據(jù)權(quán)利要求16或17所述的運(yùn)動(dòng)圖像編碼方法，其特征在于作為幀內(nèi)編碼的量化值，采用對(duì)所述修正中使用的圖像進(jìn)行變換后實(shí)施量化而得到的量化值。
20.根據(jù)權(quán)利要求18或19所述的運(yùn)動(dòng)圖像編碼方法，其特征在于所述量化具有四舍五入的量化特性。
21.根據(jù)權(quán)利要求20所述的運(yùn)動(dòng)圖像編碼方法，其特征在于只有當(dāng)幀內(nèi)編碼的變換系數(shù)、與從所述修正中所使用的圖像獲得的變換系數(shù)的差分在幀間編碼的量化死區(qū)幅度以下時(shí)，應(yīng)用所述幀內(nèi)編碼的量化值的修正。
22.根據(jù)權(quán)利要求15所述的運(yùn)動(dòng)圖像編碼方法，其特征在于對(duì)以所述P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)、變換、量化、逆量化、逆變換而生成的重構(gòu)圖像，進(jìn)行幀內(nèi)編碼。
23.根據(jù)權(quán)利要求15所述的運(yùn)動(dòng)圖像編碼方法，其特征在于對(duì)以所述P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)而生成的幀間預(yù)測(cè)圖像，進(jìn)行幀內(nèi)編碼。
24.根據(jù)權(quán)利要求22或23所述的運(yùn)動(dòng)圖像編碼方法，其特征在于當(dāng)所述生成的圖像、與幀內(nèi)編碼對(duì)象的圖像的差分在像素空間的幀間編碼的量化死區(qū)幅度以下時(shí)，應(yīng)用所述幀內(nèi)編碼。
25.一種程序，該程序使信息處理裝置進(jìn)行運(yùn)動(dòng)圖像編碼，所述程序使所述信息處理裝置作為如下單元發(fā)揮作用該單元利用在采用幀間編碼進(jìn)行編碼后重構(gòu)的圖像幀來(lái)對(duì)圖像進(jìn)行幀內(nèi)編碼。
26.根據(jù)權(quán)利要求25所述的程序，其特征在于采用所述幀間編碼進(jìn)行編碼后重構(gòu)的圖像幀，相對(duì)于所述被幀內(nèi)編碼的圖像而言是過(guò)去的圖像幀。
27.根據(jù)權(quán)利要求26所述的程序，其特征在于所述過(guò)去的圖像幀是所述被幀內(nèi)編碼的圖像緊前面的P幀。
28.根據(jù)權(quán)利要求27所述的程序，其特征在于所述程序使所述信息處理裝置作為如下單元發(fā)揮作用該單元利用以P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)、變換、量化、逆量化、逆變換而得到的重構(gòu)圖像，對(duì)幀內(nèi)編碼的量化值進(jìn)行修正。
29.根據(jù)權(quán)利要求27所述的程序，其特征在于所述程序使所述信息處理裝置作為如下單元發(fā)揮作用該單元利用以所述P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)而得到的幀間預(yù)測(cè)圖像，對(duì)幀內(nèi)編碼的量化值進(jìn)行修正。
30.根據(jù)權(quán)利要求28或29所述的程序，其特征在于作為幀內(nèi)編碼的量化值，采用對(duì)所述修正中使用的圖像與幀內(nèi)預(yù)測(cè)值圖像的差分進(jìn)行變換后實(shí)施量化而得到的量化值。
31.根據(jù)權(quán)利要求28或29所述的程序，其特征在于作為幀內(nèi)編碼的量化值，采用對(duì)所述修正中使用的圖像進(jìn)行變換后實(shí)施量化而得到的量化值。
32.根據(jù)權(quán)利要求30或31所述的程序，其特征在于所述量化具有四舍五入的量化特性。
33.根據(jù)權(quán)利要求32所述的程序，其特征在于只有當(dāng)幀內(nèi)編碼的變換系數(shù)、與從所述修正中所使用的圖像獲得的變換系數(shù)的差分在幀間編碼的量化死區(qū)幅度以下時(shí)，應(yīng)用所述幀內(nèi)編碼的量化值的修正。
34.根據(jù)權(quán)利要求27所述的程序，其特征在于所述程序使所述信息處理裝置作為如下單元發(fā)揮作用該單元對(duì)以所述P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)、變換、量化、逆量化、逆變換而生成的重構(gòu)圖像，進(jìn)行幀內(nèi)編碼。
35.根據(jù)權(quán)利要求27所述的程序，其特征在于所述程序使所述信息處理裝置作為如下單元發(fā)揮作用該單元對(duì)以所述P幀的圖像對(duì)幀內(nèi)編碼對(duì)象的圖像進(jìn)行幀間預(yù)測(cè)而生成的幀間預(yù)測(cè)圖像，進(jìn)行幀內(nèi)編碼。
36.根據(jù)權(quán)利要求34或35所述的程序，其特征在于當(dāng)所述生成的圖像、與幀內(nèi)編碼對(duì)象的圖像的差分在像素空間的幀間編碼的量化死區(qū)幅度以下時(shí)，應(yīng)用所述幀內(nèi)編碼。
37.一種運(yùn)動(dòng)圖像編碼裝置，其特征在于，具有使由幀內(nèi)編碼產(chǎn)生的噪聲與由幀間編碼產(chǎn)生的噪聲類似的單元。
38.一種運(yùn)動(dòng)圖像編碼方法，其特征在于使由幀內(nèi)編碼產(chǎn)生的噪聲與由幀間編碼產(chǎn)生的噪聲類似。
39.一種運(yùn)動(dòng)圖像的編碼/解碼系統(tǒng)，其中包括在對(duì)圖像進(jìn)行幀內(nèi)編碼時(shí)，利用在采用幀間編碼進(jìn)行編碼后重構(gòu)的圖像幀進(jìn)行編碼的單元；和對(duì)所述編碼后的數(shù)據(jù)進(jìn)行解碼的解碼單元。
40.一種運(yùn)動(dòng)圖像的編碼/解碼方法，包括在對(duì)圖像進(jìn)行幀內(nèi)編碼時(shí)，利用在采用幀間編碼進(jìn)行編碼后重構(gòu)的圖像幀進(jìn)行編碼的步驟；和對(duì)所述編碼后的數(shù)據(jù)進(jìn)行解碼的步驟。
全文摘要
在當(dāng)前編碼對(duì)象的圖像幀之前剛剛顯示于再生側(cè)的參照幀為幀間編碼圖像幀時(shí)，量化控制裝置(999)具備對(duì)幀內(nèi)編碼的位階(量化值)進(jìn)行適當(dāng)修正的功能，以從視覺(jué)上降低由幀間編碼圖像幀的幀間編碼噪聲的特性、與當(dāng)前的幀內(nèi)編碼的噪聲的特性不同引起的I幀閃爍。
文檔編號(hào)H04N7/32GK101091393SQ20058004498
公開(kāi)日2007年12月19日 申請(qǐng)日期2005年12月27日 優(yōu)先權(quán)日2004年12月28日
發(fā)明者蝶野慶一, 仙田裕三 申請(qǐng)人:日本電氣株式會(huì)社