圖像編碼方法和圖像編碼裝置制造方法
【專利摘要】將畫質(zhì)的劣化抑制為最小限度，同時減少緩沖延遲，進行低延遲的運動圖像編碼。包括：量化步驟，根據(jù)量化參數(shù)的值進行輸入的信息的量化，減少信息量；熵編碼步驟，對所述量化步驟的輸出進行熵編碼處理，輸出其結(jié)果所生成的編碼和該處理的結(jié)果所生成的編碼量的信息；和碼率控制步驟，根據(jù)生成的所述編碼量的信息的結(jié)果決定量化參數(shù)的值，所述碼率控制步驟中，對每個小于一個圖像的區(qū)間，在預(yù)測該區(qū)間內(nèi)的比特分配超過規(guī)定值的情況下增大所述量化參數(shù)的值，在預(yù)測該區(qū)間內(nèi)的比特分配低于所述規(guī)定值的情況下減小所述量化參數(shù)的值。
【專利說明】圖像編碼方法和圖像編碼裝置
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及圖像編碼方法和圖像編碼裝置。
【背景技術(shù)】
[0002]運動圖像壓縮標(biāo)準(zhǔn)H.264因為壓縮效率高所以在多種應(yīng)用中使用。另一方面，視頻通話和影像傳輸?shù)扔猛局袑Φ脱舆t圖像壓縮的需求在變高。
[0003]在對影像進行編碼時，對I幅圖像進行編碼所需的比特數(shù)根據(jù)圖像而不同。其理由在于圖案的復(fù)雜程度按影像的場景和圖像不同、圖像編碼的類型等參數(shù)按圖像不同、熵編碼的統(tǒng)計上的性質(zhì)引起的原因等。熵編碼是通過對越頻繁出現(xiàn)的信息分配越短比特長的編碼來提高表達信息的效率的方法。
[0004]另一方面，傳輸編碼后的比特流的情況下，通常傳輸信道的容量帶寬是有限的。因此，需要插入如圖2所示的緩沖，在對傳輸信道送出比特流之前使比特率變動平滑化。同樣的，在解碼器一側(cè)，也為了及時地對解碼器供給進行各幀的解碼的瞬間所需的量的比特而需要緩沖。解碼器一側(cè)的緩沖的大小需要至少與編碼器一側(cè)相同的大小，結(jié)果緩沖延遲整體合計成為2倍。
[0005]電視臺設(shè)備等業(yè)務(wù)用系統(tǒng)的情況下，因為能夠使用比較高的傳輸帶寬，所以也能夠一定程度上允許比特率變動。但是，考慮對民用應(yīng)用的情況下，因為能夠使用的傳輸帶寬非常有限，所以這樣的比特率變動對傳輸延遲造成的影響更嚴(yán)重。從而，如何抑制緩沖延遲是在民用系統(tǒng)中實現(xiàn)低延遲的關(guān)鍵。
[0006]本【技術(shù)領(lǐng)域】的【背景技術(shù)】有日本特開平02-194734號公報(專利文獻I)。該公報中，記載了“提供一種編碼輸出數(shù)據(jù)量的控制方式，其以每個預(yù)先確定的一定區(qū)間的編碼輸出數(shù)據(jù)量在一定值以內(nèi)的方式控制數(shù)據(jù)量，進行高效率編碼，由以下部分構(gòu)成:以比上述預(yù)先確定的一定區(qū)間短的區(qū)間為單位預(yù)測數(shù)據(jù)量的單元；根據(jù)由上述預(yù)測單元得到的預(yù)測數(shù)據(jù)量以上述預(yù)先確定的一定區(qū)間中的預(yù)測數(shù)據(jù)量的合計成為一定量的方式控制編碼處理的單元；對由上述預(yù)測單元得到的預(yù)測數(shù)據(jù)量與實際編碼后的數(shù)據(jù)量的差進行累計，根據(jù)上述累計的結(jié)果控制編碼處理的單元”(參考用于解決課題的方案)。
[0007]現(xiàn)有技術(shù)文獻
[0008]專利文獻
[0009]專利文獻1:日本特開平02-194734號公報
【發(fā)明內(nèi)容】

[0010]發(fā)明要解決的課題
[0011]如【背景技術(shù)】所述，進行低延遲傳輸用的運動圖像壓縮中，抑制緩沖延遲是重要的。專利文獻I中公開了以每個一定區(qū)間的編碼輸出數(shù)據(jù)量在一定值以內(nèi)的方式控制數(shù)據(jù)量的發(fā)明，這樣盡可能抑制編碼量的變動，使每個一定區(qū)間的編碼量盡可能均勻，對于抑制緩沖延遲在一定程度上是有效的。但是，該情況下，不能夠在該區(qū)間的大小以下抑制緩沖延遲，所以有降低延遲存在限度的問題。
[0012]用于解決課題的方案
[0013]為了解決上述課題，例如采用權(quán)利要求中記載的結(jié)構(gòu)。
[0014]本申請包括多種解決上述課題的方案，舉其一例，特征在于:“包括:量化步驟，根據(jù)量化參數(shù)的值進行輸入的信息的量化，減少信息量；熵編碼步驟，對所述量化步驟的輸出進行熵編碼處理，輸出其結(jié)果所生成的編碼和該處理的結(jié)果所生成的編碼量的信息；和碼率控制步驟，根據(jù)生成的所述編碼量的信息的結(jié)果決定量化參數(shù)的值，所述碼率控制步驟中，對每個小于一個圖像的規(guī)定區(qū)間，在預(yù)測該區(qū)間內(nèi)的比特分配超過規(guī)定值的情況下增大所述量化參數(shù)的值，在預(yù)測該區(qū)間內(nèi)的比特分配低于所述規(guī)定值的情況下減小所述量化參數(shù)的值”。
[0015]此外，舉另一例，特征在于:“包括:量化步驟，根據(jù)量化參數(shù)的值進行輸入的信息的量化，減少信息量；熵編碼步驟，對所述量化步驟的輸出進行熵編碼處理，輸出其結(jié)果所生成的編碼和該處理的結(jié)果所生成的編碼量的信息；第一碼率控制步驟，根據(jù)生成的所述編碼量的信息的結(jié)果決定第一量化參數(shù)的值；和第二碼率控制步驟，根據(jù)生成的所述編碼量的信息的結(jié)果、目標(biāo)延遲量和最大傳輸率的信息，決定第二量化參數(shù)的值，所述量化步驟中，根據(jù)所述第一量化參數(shù)和所述第二量化參數(shù)中較大一者的量化參數(shù)的值進行量化”。
[0016]發(fā)明效果
[0017]根據(jù)本發(fā)明，能夠?qū)嬞|(zhì)劣化抑制在最小限定，同時削減緩沖延遲，進行低延遲的運動圖像編碼。
【專利附圖】

【附圖說明】
[0018]圖1是圖像編碼裝置的結(jié)構(gòu)圖的例子。
[0019]圖2是說明基于緩沖進行的比特率平滑化的一例的圖。
[0020]圖3是圖像編碼裝置的結(jié)構(gòu)圖的例子。
[0021]圖4是說明遺留比特量的圖。
【具體實施方式】
[0022]實施例1
[0023]圖1是本實施例的圖像編碼裝置的結(jié)構(gòu)圖的例子。
[0024]對圖像編碼裝置輸入影像時，對預(yù)測部10輸入影像信號。
[0025]預(yù)測部10進行根據(jù)未圖示的存儲器等中保存的參考圖像預(yù)測編碼對象圖像的動態(tài)預(yù)測、或者在編碼對象圖像內(nèi)部進行預(yù)測的幀內(nèi)(intra)預(yù)測等預(yù)測處理。進行了預(yù)測處理后的圖像對正交變換部20輸出。
[0026]正交變換部20對輸入的圖像進行整數(shù)變換或離散余弦變換等正交變換處理。進行了正交變換處理后的圖像對量化部30輸出。量化部30對輸入的圖像進行量化處理。量化處理基于從碼率控制部60輸出的量化參數(shù)Qp的值進行。進行了量化處理后的圖像對熵編碼部40輸出。
[0027]熵編碼部40對輸入的圖像進行哈夫曼編碼或算術(shù)編碼等熵編碼處理。
[0028] 對于從熵編碼部40輸出的編碼對象圖像，用緩沖部50進行緩沖處理后，作為比特流輸出。
[0029]本實施例中的圖像編碼裝置中，為了進行比特率控制，而在量化部30、熵編碼部40、碼率控制部60之間設(shè)置有反饋環(huán)路。熵編碼部40對碼率控制部60輸出按規(guī)定的處理單位進行熵編碼處理結(jié)果的比特數(shù)或預(yù)測比特數(shù)等關(guān)于已編碼比特量的信息。
[0030]碼率控制部60使用從熵編碼部40輸出的關(guān)于已編碼比特量的信息，計算直到該時刻生成的編碼量的信息。編碼量的信息的例子包括從圖像開頭起的比特數(shù)的累計值和進行碼率控制用的每個規(guī)定區(qū)間的比特數(shù)的累計值等信息。碼率控制部60基于計算出的編碼量的信息，并根據(jù)需要基于編碼對象區(qū)域的圖像的復(fù)雜程度等輔助信息，決定量化參數(shù)Qp的值，對量化部30輸出。
[0031]在低延遲的觀點上，為了削減緩沖延遲而使延遲最小化，使圖像內(nèi)的比特分配盡可能均勻化是理想的。
[0032]于是，在用碼率控制部60決定量化參數(shù)Qp的值時，也可以按比I幅圖像(幀或場)充分小的區(qū)間，以使比特分配均勻的方式控制Qp的值。此處，該區(qū)間設(shè)定為通過將宏塊橫向排列為I幅圖像的寬度而構(gòu)成的行的N行(N是I以上的整數(shù))的區(qū)域，并且不足I幅圖像的區(qū)域即可。例如，可以是宏塊I行，也可以是宏塊2行，也可以是宏塊3行。該情況下，在可能超過該區(qū)間內(nèi)的比特分配目標(biāo)的情況下增大Qp的值，在可能低于目標(biāo)的情況下減小Qp的值，由此能夠使比特分配均勻。
[0033]根據(jù)以上說明的實施例，能夠使比特量的變動均勻化，將緩沖部50中的延遲量抑制為最小限度，實現(xiàn)低延遲。
[0034]實施例2
[0035]在低延遲的觀點上，為了削減緩沖延遲而使延遲最小化，優(yōu)選使圖像內(nèi)的比特分配盡可能均勻化，但存在進行單純的比特量均勻化時導(dǎo)致畫質(zhì)降低的情況。
[0036]于是，本實施例中，說明通過一定程度上允許按比I幅圖像充分小的區(qū)間生成的比特量的變動來抑制畫質(zhì)降低，并且實現(xiàn)目標(biāo)延遲量以內(nèi)的圖像編碼裝置的例子。
[0037]圖3是本實施例的圖像編碼裝置的結(jié)構(gòu)圖的例子。
[0038]對于與實施例1相同內(nèi)容的部分省略說明。
[0039]本實施例與實施例1的不同點在于設(shè)置了第二碼率控制部61。用第二碼率控制部61進行“遺留比特量”的控制。
[0040]用圖4說明“遺留比特量”。
[0041]圖4的橫軸表示隨著編碼經(jīng)過的時間(幀編號或圖像內(nèi)的行編號等)，縱軸表示每單位時間的編碼量。細實線表示在橫軸的各時刻，對時序(Sequential)的一部分或圖像的一部分進行編碼的結(jié)果在各時刻生成的編碼量。
[0042]圖案的復(fù)雜程度和運動的激烈程度因場景和圖像而不同，此外，在I幅圖像的內(nèi)部圖像的局部復(fù)雜程度也存在變化，所以編碼的結(jié)果生成的比特量在圖像之間存在編碼量的變動，此外同樣在I幅圖像內(nèi)部也存在編碼量的變動。
[0043]在編碼的各時刻生成的比特對傳輸信道送出。如果生成量在最大傳輸比特率以內(nèi)，則直接送出比特。但是，如果生成量暫時性地超過最大傳輸比特率，則不立刻送出，而是將超過的部分作為“遺留比特”存儲在緩沖中，在之后送出。粗虛線表示實際傳輸?shù)木幋a量。遺留比特在全部送出前保留在緩沖中，成為緩沖延遲。[0044]這樣使編碼時的生成編碼量的變動和結(jié)果的遺留比特量會帶來緩沖延遲，但如果將遺留比特量控制在限制量以內(nèi)，則即使故意允許遺留比特存在也能夠使緩沖延遲時間保持在規(guī)定范圍內(nèi)。
[0045]本實施例中，這樣故意允許比特量的變動，盡可能地保證畫質(zhì)。
[0046]對遺留比特量的控制方法更詳細地說明。圖4中因遺留比特而產(chǎn)生的延遲時間D用式⑴表達。
[0047]D = C/Rmax......(I)
[0048]此處，D是延遲時間[s]，C是遺留比特量[bit]，Rmax是傳輸信道的最大傳輸比特率[bps]。最大遺留比特量Cmax用目標(biāo)的最大延遲Dmax [s]表達為式(2)。
[0049]Cmax = Dmax.Rmax......(2)
[0050]Cmax是遺留比特量的最大容許值[bit]。其中，遺留比特量C的計算按比I幅圖像充分小的規(guī)定區(qū)間進行。該區(qū)間的設(shè)定與實施例1同樣，設(shè)定為N行宏塊的區(qū)域(N是I以上的整數(shù))，并且不足I幅圖像的區(qū)域。例如，可以是宏塊I行，也可以是宏塊2行，也可以是宏塊3行。這樣以遺留比特量C在編碼的生成比特的各時刻滿足式(3)的方式進行控制。
[0051]C ^ Cmax......(3)
[0052]此時，按式(3)限制遺留比特量C的最大值，但以不足該值的情況下容許發(fā)生變動的方式進行控制。
[0053]進而返回圖3在以下詳細說明限制遺留比特量C的最大值的方法。
[0054]第二碼率控制部61進行遺留比特量的控制。關(guān)于已編碼比特量的信息從熵編碼部供給，最大傳輸比特率(Rmax)、目標(biāo)延遲(Dmax)等信息存儲在未圖示的存儲部中，另外對第二碼率控制部61供給。
[0055]第二碼率控制部61基于關(guān)于已編碼比特量的信息、最大傳輸比特率(Rmax)、目標(biāo)延遲(Dmax)求出最小量化參數(shù)Qp_min的值。
[0056]最小量化參數(shù)值Qp_min是用于使遺留比特量不超過由最大傳輸比特率和目標(biāo)延遲確定的規(guī)定值的量化參數(shù)值Qp的最小值。
[0057]量化部30對輸入的圖像量化使用的量化參數(shù)Qp的下限被上述Qpjnin的值限制。即，Qp>Qp_min的情況下,使用從碼率控制部60供給的量化參數(shù)Qp, Qp < Qp_min的情況下，使用最小量化參數(shù)Qp_min的值進行圖像的量化。
[0058]通過這樣控制，用Qpjnin限制Qp的下限，但其他情況下允許Qp的值為了盡可能保證畫質(zhì)而變動。
[0059]其中，本實施例中，用Qp_min限制Qp的下限值，所以如實施例1所述，用碼率控制部60決定量化參數(shù)Qp的值時，不需要以按比I幅圖像充分小的區(qū)間使比特分配均勻的方式控制Qp的值。
[0060]例如，傳輸縱方向的長度是宏塊X行(X也可能是小數(shù))程度大小、幀率是Y(fps)的影像的情況下，為了抑制畫質(zhì)降低并且實現(xiàn)低延遲，上述規(guī)定區(qū)間(宏塊N行的區(qū)域)和最大延遲時間Dmax[s]設(shè)定為滿足以下式(4)的關(guān)系即可。
[0061]N〈DmaxXYXX〈X......(4)
[0062]如果按式(4)設(shè)定，則最大延遲時間Dmax大于上述規(guī)定區(qū)間即宏塊N行的區(qū)域的處理時間，所以能夠容許上述遺留比特量C的變動，能夠減少因降低延遲導(dǎo)致的畫質(zhì)降低。此外，最大延遲時間Dmax比宏塊X行的區(qū)域的處理時間=I幀的處理時間短，所以能夠?qū)崿F(xiàn)不足I幀的低延遲。
[0063]此外，進一步優(yōu)選上述規(guī)定區(qū)間(宏塊N行的區(qū)域)和最大延遲時間Dmax[S]設(shè)定為滿足以下式(5)的關(guān)系。
[0064]N〈Dmax X Y X X〈20 (其中 1 ≤ N ≤ 4)......(5)
[0065]如果按式(5)設(shè)定,貝U最大延遲時間Dmax設(shè)定為大于上述規(guī)定區(qū)間即宏塊N行的區(qū)域的處理時間，不到宏塊20行的區(qū)域的處理時間。如果這樣設(shè)定，則例如即使上述規(guī)定區(qū)間是宏塊4行，也能夠在5倍程度的行數(shù)的處理時間內(nèi)容許上述遺留比特量C的變動，所以能夠充分減少因降低延遲引起的畫質(zhì)降低。此外，例如對縱向720像素的影像按宏塊尺寸為16像素正方進行編碼的情況下，縱方向的大小是宏塊45行，所以宏塊20行的區(qū)域的處理時間是0.44幀程度的處理時間，能夠充分降低延遲。對縱向1080像素的影像按宏塊尺寸為16像素正方進行編碼的情況下，縱方向的大小是宏塊67.5行，所以上述宏塊20行的區(qū)域的處理時間是0.3幀程度的處理時間，能夠充分降低延遲。
[0066]如上所述 ，根據(jù)本實施例，能夠?qū)嬞|(zhì)的劣化抑制為最小限度，同時削減緩沖延遲，進行低延遲的運動圖像編碼。
[0067]符號說明
[0068]10預(yù)測部
[0069]20正交變換部
[0070]30量化部
[0071]40熵編碼部
[0072]50緩沖部
[0073]60碼率控制部
[0074]61第二碼率控制部。
【權(quán)利要求】
1.一種編碼運動圖像的生成方法，其特征在于，包括: 量化參數(shù)決定步驟，其決定量化參數(shù)； 編碼步驟，其使用決定的量化參數(shù)對運動圖像進行編碼而生成編碼比特；和 輸出步驟，其輸出編碼步驟中生成的編碼比特， 所述輸出步驟輸出的編碼流中，在比I幀小的規(guī)定區(qū)間單位中，允許比對應(yīng)于規(guī)定比特率的第一比特量大的生成比特量，但在所述規(guī)定區(qū)間單位的任何區(qū)間中，該生成比特量與所述第一比特量的差都在第二比特量以下。
2.如權(quán)利要求1所述的編碼運動圖像的生成方法，其特征在于: 所述第二比特量是所述規(guī)定比特率與規(guī)定延遲時間的積。
3.如權(quán)利要求2所述的編碼運動圖像的生成方法，其特征在于: 傳輸?shù)木幋a影像中，縱方向的長度是宏塊X行的大小，幀率是Y(fps)，所述規(guī)定區(qū)間是宏塊N行的區(qū)域，設(shè)所述規(guī)定延遲時間為D (sec)時，X、N、Y、D滿足N〈DX YXX〈X的關(guān)系。
4.如權(quán)利要求2所述的編碼運動圖像的生成方法，其特征在于: 傳輸?shù)木幋a影像中，縱方向的長度是宏塊X行的大小，幀率是Y(fps)，所述規(guī)定區(qū)間是宏塊N行的區(qū)域，設(shè)所述規(guī)定延遲時間是D (sec)時，滿足N〈DXYXX〈20(其中I≤N≤4)的關(guān)系。
5.一種對運動圖像編碼的運動圖像編碼方法，其特征在于，包括: 量化步驟，根據(jù)量化參數(shù)的值進行輸入的信息的量化，減少信息量； 編碼步驟，對所述量化步驟的輸出進行編碼處理，輸出其結(jié)果所生成的編碼和該處理的結(jié)果所生成的編碼量的信息；和 碼率控制步驟，根據(jù)生成的所述編碼量的信息決定量化參數(shù)的值， 所述碼率控制步驟中，對每個規(guī)定區(qū)間，在預(yù)測該區(qū)間內(nèi)的比特分配超過規(guī)定值的情況下增大所述量化參數(shù)的值，在預(yù)測該區(qū)間內(nèi)的比特分配低于所述規(guī)定值的情況下減小所述量化參數(shù)的值。
6.一種對運動圖像編碼的運動圖像編碼方法，其特征在于，包括: 量化步驟，根據(jù)量化參數(shù)的值進行輸入的信息的量化，減少信息量； 編碼步驟，對所述量化步驟的輸出進行編碼處理，輸出其結(jié)果所生成的編碼和該處理的結(jié)果所生成的編碼量的信息； 第一碼率控制步驟，根據(jù)生成的所述編碼量的信息的結(jié)果決定第一量化參數(shù)的值；和第二碼率控制步驟，根據(jù)生成的所述編碼量的信息、目標(biāo)延遲量和最大傳輸率的信息，決定第二量化參數(shù)的值， 所述量化步驟中，根據(jù)所述第一量化參數(shù)和所述第二量化參數(shù)中較大一者的量化參數(shù)的值進行量化。
7.—種對運動圖像編碼的運動圖像編碼裝置，其特征在于，包括: 量化部，根據(jù)量化參數(shù)的值進行輸入的信息的量化，減少信息量； 編碼部，對所述量化部的輸出進行編碼處理，輸出其結(jié)果所生成的編碼和該處理的結(jié)果所生成的編碼量的信息；和 碼率控制部，根據(jù)生成的所述編碼量的信息決定量化參數(shù)的值， 所述碼率控制部，對每個規(guī)定區(qū)間，在預(yù)測該區(qū)間內(nèi)的比特分配超過規(guī)定值的情況下增大所述量化參數(shù)的值，在預(yù)測該區(qū)間內(nèi)的比特分配低于所述規(guī)定值的情況下減小所述量化參數(shù)的值。
8.—種對運動圖像編碼的運動圖像編碼裝置，其特征在于，包括: 量化部，根據(jù)量化參數(shù)的值進行輸入的信息的量化，減少信息量； 編碼部，對所述量化部的輸出進行編碼處理，輸出其結(jié)果所生成的編碼和該處理的結(jié)果所生成的編碼量的信息； 第一碼率控制部，根據(jù)生成的所述編碼量的信息決定第一量化參數(shù)的值；和第二碼率控制部，根據(jù)生成的所述編碼量的信息、目標(biāo)延遲量和最大傳輸率的信息，決定第二量化參數(shù)的值， 所述量化部根據(jù)所述第一量化參數(shù)和所述第二量化參數(shù)中較大一者的量化參數(shù)的值進行量化 。
【文檔編號】H04N19/149GK104025595SQ201380004472
【公開日】2014年9月3日 申請日期:2013年1月11日 優(yōu)先權(quán)日:2012年1月11日
【發(fā)明者】溝添博樹, 小味弘典, 岡田光弘, 佐佐本學(xué) 申請人:日立麥克賽爾株式會社