專利名稱：能夠最小化隨機存取延遲的視頻編碼/解碼裝置及方法
技術領域：
本發(fā)明涉及一種能夠最小化隨機存取中的延遲的視頻編碼/解碼裝置及方法，尤其是，涉及一種能夠最小化隨機存取中的延遲的視頻編碼/解碼裝置及方法，在該裝置及方法中，當接收視頻流服務或再現壓縮過的運動圖像時，能夠減小信道切換后顯示新幀所花費的時間量。
背景技術：
為了提高數據壓縮效率，在當前的視頻壓縮標準例如MPEG2、MPEG4、H.263及H.264中使用三個操作。
第一，所輸入彩色圖像的紅、綠、藍(RGB)分量或亮度分量Y與兩個色差分量Cb及Cr一起被轉換為YCbCr數據。
第二，通過離散余弦變換(DCT)、量化(Q)或可變長度編碼(VLC)從單個圖像中消除空間冗余。
第三，假設多個時間上連續(xù)的幀的多個部分是冗余的，基于該假設消除多個連續(xù)幀的時間冗余?？梢曰趶倪\動估計所獲得的運動矢量，利用預測方法例如差分脈沖編碼調制(DPCM)執(zhí)行多個連續(xù)幀的時間冗余的消除。
圖1是示出了傳統單層編碼方法中幀內幀(I幀)、預測幀(P幀)、以及雙向預測幀(B幀)是如何排列，以及當在傳統單層編碼方法中編碼時I、P以及B幀是如何相互參考的示圖。
圖2是用于解釋傳統空間層編碼方法的框圖。
通過使用兩種編碼方法，可以將圖像數據編碼為兩個獨立的比特流。一種方法是基本層編碼方法，在該方法中圖像數據被下采樣(down-sampled)為其原始大小的四分之一或十六分之一并編碼該下采樣操作的結果，另一種方法是增強層編碼方法，在該方法中無需下采樣該圖像數據，通過利用該圖像數據和從基本層比特流還原的圖像數據之間的差來編碼該圖像數據。
為了生成增強層比特流，對在基本層已經被量化的圖像數據執(zhí)行逆量化(IQ)及逆DCT(IDCT)，從而將圖像數據還原為和原始圖像數據相同大小。此后，計算所還原的圖像數據和原始圖像數據之間的差。然后，該差被加到原始圖像數據上，按照和基本層編碼方法中相同的順序對相加結果執(zhí)行DCT、Q、以及VLC，從而獲得增強層比特流。
圖3是用于解釋傳統空間層解碼方法的框圖?；緦颖忍亓魍ㄟ^可變長度解碼(VLD)被轉換為將被逆量化的數據，然后，執(zhí)行逆量化，從而還原圖像數據。Q及IQ是伴隨著數據丟失的變換，因此，從IQ所獲得的還原的圖像數據不同于原始圖像數據。從IQ所獲得的還原的圖像數據和原始圖像數據之間的差別導致了從IQ所獲得的還原的圖像數據的畫面質量和原始圖像數據的畫面質量之間的差別。如果以如下方式來量化圖像數據在該方式中，將被量化的圖像數據的畫面質量與量化后的圖像數據的畫面質量之間的差別被最大化，則壓縮該圖像數據的效率最大化。相反，如果以下面的方式來量化圖像數據在該方法中，將被量化的圖像數據的畫面質量與被量化后的圖像數據的畫面質量之間的差別最小化，則壓縮該圖像數據的效率最小化。因此，當量化圖像數據時決定了該圖像數據的畫面質量以及壓縮該圖像數據的效率。對從IQ所獲得的還原的圖像數據執(zhí)行IDCT以將頻率域圖像數據轉換為圖像域圖像數據。
用基本上和基本層比特流相同的方式來解碼增強層比特流。上采樣(up-sampled)從基本層編碼的比特流所還原的圖像數據。此后，通過在增強層級上執(zhí)行VLD、IQ以及IDCT所獲得的圖像數據被加到該上采樣結果上，從而還原原始圖像數據。還原的結果可能和原始圖像數據不同。從增強層比特流解碼的圖像數據通常比從基本層比特流解碼的圖像數據具有較高的畫面質量。
圖4是示出了傳統空間層編碼方法中I幀、P幀以及B幀是如何排列，以及傳統空間層編碼方法中編碼時I、P以及B幀是如何相互參考的示圖。通常，基本層的I幀和增強層的I幀被排列在相同的時軸上，基本層的P及B幀和增強層的P及B幀分別被排列在相同的時軸上。
在單層編碼方法及空間層編碼方法中，編碼圖像數據以便編碼結果從其后緊跟著多個P及B幀的I幀開始，從而減小比特率。如果編碼結果只包括P及B幀，當其中發(fā)生錯誤時可能不能完全還原圖像數據，此外，如果編碼結果只包括P及B幀，則在隨機存取期間可能不能解碼。因此，多于一個的I幀被插入到編碼結果中，該處理被稱作幀內刷新。編碼結果的每十五個幀執(zhí)行一次幀內刷新操作。當利用幀內刷新方法編碼具有每秒30幀的幀率的運動圖像時可能生成等于0.5秒的隨機延遲。當播放該運動圖像或在存儲設備中存儲該運動圖像以及從該存儲設備再現該運動圖像時，也可能生成隨機存取延遲。
參考圖4，在空間層編碼方法中，基本層的I幀和增強層的I幀位于相同的時軸上。因此，基本層的I幀和增強層的I幀共存的時軸上的比特率可能變得過高。通常，I、P以及B幀之間的比特率比例大約為8∶3∶2。然而，在空間層編碼方法中，基本層I幀以及相應的增強層I幀時間上是冗余的，從而，和用于其他幀的比特率相比較，用于這些I幀的比特率可能變得過高。

發(fā)明內容
本發(fā)明提供一種視頻編碼/解碼裝置及方法，利用該裝置及方法，通過設置比增強層I幀間隔短的基本層I幀間隔，能夠最小化運動圖像服務的隨機存取延遲，并且從空間層獲得的比特流的比特率能夠變得規(guī)則。
本發(fā)明的一個方面提供一種能夠最小化隨機存取延遲的視頻編碼裝置，該視頻編碼裝置包括編碼控制單元，其能夠設置比增強層I幀間隔短的基本層幀內幀(I-frame)間隔；基本層編碼單元，其通過根據由編碼控制單元所設置的I幀間隔縮小及編碼原始圖像生成基本層比特流；以及增強層編碼單元，其通過解碼時間上不同于當前增強層圖像的增強層圖像并參考通過解碼基本層比特流并放大解碼結果而獲得的預定圖像而生成增強層比特流。該視頻編碼裝置還可包括傳輸單元，所述傳輸單元能夠根據由編碼控制單元所設置的I幀間隔多路復用基本層比特流及增強層比特流，或給予基本層比特流及增強層比特流不同的優(yōu)先級，根據基本層比特流和增強層比特流的優(yōu)先級來傳輸基本層比特流及增強層比特流。
本發(fā)明的另一方面提供一種能夠最小化隨機存取延遲的視頻解碼裝置，該視頻解碼裝置包括第一基本層解碼單元，其可以解碼基本層比特流并將解碼的基本層比特流放大到相應原始圖像的大?。辉鰪妼咏獯a單元，該單元通過參考所述放大結果及時間上不同于當前增強層圖像的增強層圖像來解碼當前增強層圖像；以及解碼控制單元，該單元可以控制將被再現的放大結果直到解碼的增強層圖像的I幀被再現，以及當再現解碼的增強層圖像的I幀時控制將被顯示的解碼的增強層圖像。該視頻解碼裝置還可以包括第二基本層解碼單元，所述第一基本層解碼單元解碼基本層比特流時，該第二基本層解碼單元解碼由第一基本層解碼單元所解碼的基本層比特流的信道之外的信道的基本層圖像，以便在由第一基本層解碼單元所解碼的基本層比特流內顯示由該第二基本層解碼單元所解碼的基本層圖像。
本發(fā)明的另一方面提供一種能夠最小化隨機存取延遲的視頻編碼方法，該方法包括設置比增強層I幀間隔短的基本層I幀間隔；通過根據基本層及增強層的I幀間隔縮小及編碼原始圖像來生成基本層比特流；通過解碼時間上不同于當前增強層圖像的增強層圖像以及參考預定圖像來生成增強層比特流，其中的預定圖像是通過解碼基本層比特流并放大解碼結果而獲得的。優(yōu)選的，該視頻編碼方法還包括根據所設置的I幀間隔多路復用基本層比特流及增強層比特流或給予其不同的優(yōu)先級，將基本層比特流及增強層比特流傳輸到解碼器側。
根據本發(fā)明的另一方面，提供一種能夠最小化隨機存取延遲的視頻解碼方法，該方法包括解碼基本層比特流并將解碼的基本層比特流放大到相應原始圖像的大?。煌ㄟ^參考放大結果及時間上不同于當前增強層圖像的增強層圖像來解碼當前增強層圖像；以及控制將被再現的放大結果直到解碼的增強層圖像的I幀被再現以及當再現解碼的增強層圖像的I幀時控制將被再現的解碼的增強層圖像。優(yōu)選的，該視頻解碼方法還包括解碼基本層比特流的當前信道以外的信道的基本層圖像，以便在基本層比特流內顯示該基本層圖像。


通過下面結合附圖對示例性實施例的詳細描述，本發(fā)明的以上和其他特征和優(yōu)點將會變得更加清楚，其中圖1是示出了傳統單層編碼方法中I、P、B幀是如何排列的以及當在傳統單層編碼方法中編碼時I、P、B幀是如何相互參考的示圖；圖2是用于解釋傳統空間層編碼方法的框圖；圖3是用于解釋傳統空間層解碼方法的框圖；圖4是示出了傳統空間層編碼方法中I、P、B幀是如何排列的以及當在傳統空間層編碼方法中編碼時I、P、B幀是如何相互參考的示圖；圖5是根據本發(fā)明示例性實施例的視頻編碼裝置的框圖，該視頻編碼裝置能夠最小化隨機存取中的延遲；圖6是根據本發(fā)明示例性實施例的視頻解碼裝置的框圖，該視頻解碼裝置能夠最小化隨機存取中的延遲；圖7是示出了在根據本發(fā)明示例性實施例的能夠最小化隨機存取中的延遲的視頻編碼方法中I、P、B幀是如何排列的，以及當在該視頻編碼方法中編碼時I、P、B幀是如何相互參考的示圖；圖8是用于比較利用根據本發(fā)明示例性實施例的視頻編碼方法所獲得的比特率和利用傳統的空間層編碼方法所獲得的比特率的曲線圖；圖9是用于解釋根據本發(fā)明示例性實施例的視頻編碼方法的流程圖，該視頻編碼方法能夠最小化隨機存取中的延遲；圖10是用于解釋根據本發(fā)明示例性實施例的視頻解碼方法的流程圖，該視頻解碼方法能夠最小化隨機存取中的延遲具體實施方式
現在將參考附圖對本發(fā)明進行更充分的描述，其中，本發(fā)明的示例性實施例表示在附圖中。
根據本發(fā)明示例性實施例的視頻編碼方法是基于上述參考圖2描述的傳統空間層編碼方法的原理。因此，現在對根據本發(fā)明示例性實施例的視頻編碼方法的說明只集中在它和圖2的傳統空間層編碼方法的不同之處。
參考圖5及圖9，在操作S910中，編碼控制單元540設置比增強層I幀間隔短的基本層I幀間隔，因為當更加頻繁的執(zhí)行幀內刷新操作時隨機存取延遲變得較短。例如，編碼控制單元540可以將基本層的I幀間隔及增強層的I幀間隔分別設置為3和15，以便在基本層中每3幀執(zhí)行一次幀內刷新而在增強層中每15幀執(zhí)行一次。因此，隨機存取延遲被減小到現有技術中隨機存取延遲的3/15即1/5。
編碼控制單元540設置基本層及增強層的I幀間隔以便基本層的I幀和相應的增強層I幀時間上不同。通常，I、P、B幀之間的比特率比例是8∶3∶2。因此，如果基本層及增強層的I幀位于同一時軸上，則這些I幀共存的時軸上的比特率可能變得過高。從而，用于I幀的比特率可能遠高于用于P或B幀的比特率。然而，在本發(fā)明的示例性實施例中，設置基本層及增強層的I幀間隔以便基本層的I幀和相應增強層的I幀時間上不同。圖8是用于比較利用根據本發(fā)明示例性實施例的視頻編碼方法所獲得的比特率和利用傳統編碼方法所獲得的比特率的曲線圖。參考圖8，在圖像組中(GOP)，I、P以及B幀之間的比特率比例被設置為8∶3∶2，基本層和增強層之間的比特率比例被設置為60∶40。GOP中的比特總數為28。因此，在本發(fā)明中，作為GOP的第一幀的I幀的比特大小約為5.5，而在現有技術中，I幀的比特大小為8。因此，使用本發(fā)明示例性實施例所獲得的峰值比特率比使用現有技術所獲得的峰值比特率大約低30％。
在操作S920中，基本層編碼單元510根據由編碼控制單元540設置的I幀間隔縮小原始圖像，從而生成基本層比特流。該基本層編碼單元510可以任意設置原始圖像的縮小率。為了便于計算或簡化結構，該基本層編碼單元510可以將原始圖像的縮小比例設置為2∶1、4∶1、或8∶1。
在操作S930中，增強層編碼單元520通過參考預定的放大圖像以及位于不同于將被編碼的當前增強層的時間位置上的增強層圖像來生成增強層比特流，該預定放大圖像是通過解碼基本層比特流而獲得的。這里，時間上不同于當前將被編碼的當前增強層圖像的增強層圖像指的是如下的增強層圖像通過編碼時間上不同于當前將被編碼的增強層圖像并解碼該圖像之后所獲得的圖像。通常，使用閉環(huán)法而不是開環(huán)法。即，將解碼后的幀用作參考幀。參考時間上不同的圖像意味著運動補償時間預測。參考解碼基本層(BL)比特流后的放大圖像指的是執(zhí)行幀內BL預測。
在操作S940中，傳輸單元530可以根據由編碼控制單元540所設置的I幀間隔多路復用基本層比特流和增強層比特流，或著為基本層比特流和增強層比特流分配不同的優(yōu)先級，然后根據基本層比特流和增強層比特流的優(yōu)先級將基本層比特流和增強層比特流傳輸到根據本發(fā)明示例性實施例的視頻解碼裝置。
圖6是根據本發(fā)明示例性實施例的視頻解碼裝置的框圖，圖10是用于說明根據本發(fā)明示例性實施例的視頻解碼方法的流程圖。
參考圖6及圖10，在操作S1010中，第一基本層解碼單元610可以從傳輸單元530接收基本層比特流，解碼該基本層比特流，將解碼結果放大到原始圖像大小，并將放大結果傳輸到增強層解碼單元630。放大結果可以用于解碼增強層I幀(EI)或者用于隱藏增強層中發(fā)生的數據丟失。
在操作S1020中，從第一基本層解碼單元610接收到放大結果的增強層解碼單元630通過參考放大結果及時間上不同于當前增強層圖像的增強層圖像來解碼當前增強層圖像。
在操作S1030中，解碼控制單元640可以控制第一基本層解碼單元610以放大解碼的基本層圖像，顯示放大結果，并放棄增強層比特流直到解碼的增強層圖像的I幀被再現。此外，在操作S1030中，解碼控制單元640可以控制幀顯示單元650，從而一開始再現解碼的增強層圖像的I幀就顯示解碼后的增強層圖像。而且，如果在增強層比特流中發(fā)生數據丟失，則解碼控制單元640可以利用來自時間上不與該增強層比特流對齊的增強層幀的信息或有關被第一基本層解碼單元610所獲取的放大結果的信息來控制將被隱藏的數據丟失。在這種情況下，因為基本層比特流被給予了比增強層比特流較高的優(yōu)先級，因此先于增強層比特流的傳輸而先傳輸基本層比特流，和增強層比特流相比，基本層比特流中的數據丟失較少發(fā)生。因此，具有大運動的簡單圖像數據被編碼為基本層比特流，具有小運動的復雜圖像數據被編碼為增強層比特流。
在操作S1040中，為了實現畫中畫(PIP，Picture in Picture)，當第一基本層解碼單元610解碼基本層比特流時，第二基本層解碼單元620可以解碼由第一基本層解碼單元610所解碼的基本層比特流的信道以外的信道的基本層圖像，其中的畫中畫是指圖像被插入到當前正在被顯示的圖像中。此后，第二基本層解碼單元620將解碼的基本層圖像傳輸到幀顯示單元650。在PIP中，對能夠被同時顯示的圖像的數量沒有限制，通過解碼相應的基本層比特流和相應的增強層比特流兩者來獲得顯示在整個幀上的主圖像，通過只解碼相應的基本層比特流來獲得顯示在主圖像內的子圖像。
參考圖7，由小矩形所表示的I及P幀代表基本層幀，由大矩形所表示的EI、B及P幀代表增強層幀。通過參考屬于基本層的I幀來編碼EI幀。在現有技術中，GOP決定了隨機存取延遲時間量，并且隨機存取延遲時間的平均數等于GOP的一半。另一方面，在本發(fā)明示例性實施例中，隨機存取延遲時間的平均數等于基本層的I幀間隔N的一半，為現有技術中所生成的隨機存取延遲時間的N/GOP，短于在現有技術中所生成的隨機存取延遲時間。換句話說，如圖7中所示，如果基本層I幀間隔N和GOP分別為3和9，則隨機存取延遲時間能夠被減小到現有技術中隨機存取延遲時間的3/9，即1/3。
根據本發(fā)明的示例性實施例，最小化隨機存取中比特率的增長是可能的，從而通過設置短于增強層I幀間隔的基本層I幀間隔，最小化隨機存取延遲時間中的增加。
因此，防止I幀的比特率變得過高是可能的，并且通過設置基本層及增強層的I幀間隔以便增強層的I幀與相應的基本層I幀時間上不同從而獲得始終如一的比特率。此外，通過將PIP幀的復雜性減小1/4或更多，方便地實現畫中畫(PIP)是可能的。
而且，當如同無限網絡或因特網中，比特率變化相當大時，考慮到網絡環(huán)境，只傳輸基本層比特流。
權利要求
1.一種視頻編碼裝置，包括編碼控制單元，該單元設置比增強層I幀間隔短的基本層幀內幀(I幀)間隔；基本層編碼單元，該單元通過根據由所述編碼控制單元所設置的I幀間隔縮小及編碼原始圖像，生成基本層比特流；增強層編碼單元，該單元通過解碼時間上不同于當前增強層圖像的增強層圖像以及參考通過解碼基本層比特流并放大解碼結果而獲得的預定圖像生成增強層比特流。
2.如權利要求1所述的視頻編碼裝置，還包括傳輸單元，該單元根據由所述編碼控制單元所設置的I幀間隔多路復用基本層比特流及增強層比特流，或給予基本層比特流及增強層比特流不同的優(yōu)先級，并根據該優(yōu)先級傳輸該基本層比特流及增強層比特流。
3.如權利要求1所述的視頻編碼裝置，其中，所述的基本層編碼單元以2∶1、4∶1以及8∶1之中的一個比例來縮小原始圖像。
4.如權利要求1所述的視頻編碼裝置，其中，所述的編碼控制單元將基本層的I幀間隔設置為3，將增強層的I幀間隔設置為15。
5.如權利要求1所述的視頻編碼裝置，其中，所述的編碼控制單元將增強層的I幀設置為時間上不同于相應的基本層I幀。
6.一種視頻解碼裝置，包括第一基本層解碼單元，解碼基本層比特流并將解碼的基本層比特流放大到相應原始圖像的大小；增強層解碼單元，通過參考所述放大結果及時間上不同于當前增強層圖像的增強層圖像，解碼當前增強層圖像；以及解碼控制單元，控制將被再現的放大結果直到解碼的增強層圖像的I幀被再現，以及當再現解碼的增強層圖像的I幀時，控制將被顯示的解碼的增強層圖像。
7.如權利要求6所述的視頻解碼裝置，還包括第二基本層解碼單元，當所述第一基本層解碼單元解碼基本層比特流時，所述第二基本層解碼單元解碼由所述第一基本層解碼單元所解碼的基本層比特流的信道以外的信道的基本層圖像，以便在由所述第一基本層解碼單元所解碼的基本層比特流的內部顯示由該第二基本層解碼單元所解碼的基本層圖像。
8.如權利要求6所述的視頻解碼裝置，其中，如果在增強層比特流中發(fā)生了數據丟失，則所述解碼控制單元利用放大結果的信息隱藏該數據丟失。
9.如權利要求6所述的視頻解碼裝置，其中，如果在增強層比特流中發(fā)生了數據丟失，則所述解碼控制單元利用時間上不同于基本層比特流的增強層圖像的信息來隱藏該數據丟失。
10.一種視頻編碼方法，包括設置短于增強層I幀間隔的基本層I幀間隔；通過根據基本層及增強層的I幀間隔縮小及編碼原始圖像來生成基本層比特流；通過解碼時間上不同于當前增強層圖像的增強層圖像以及參考通過解碼基本層比特流并放大解碼結果而獲得的預定圖像，生成增強層比特流。
11.如權利要求10所述的方法，還包括根據所設置的I幀間隔多路傳輸基本層比特流及增強層比特流或給予基本層比特流及增強層比特流不同的優(yōu)先級，將所述基本層比特流及增強層比特流傳輸到解碼器。
12.如權利要求10所述的方法，其中，I幀間隔的設置包括將基本層的I幀間隔設置為3以及將增強層的I幀間隔設置為15。
13.如權利要求10所述的方法，其中，I幀間隔的設置包括將增強層的I幀時間位置和基本層的I幀時間位置設置為互不相同。
14.如權利要求10所述的方法，其中，基本層比特流的生成包括以2∶1、4∶1以及8∶1中的一個比例來縮小原始圖像。
15.一種視頻解碼方法，包括解碼基本層比特流并將解碼的基本層比特流放大到相應原始圖像的大?。煌ㄟ^參考放大結果及時間上不同于當前增強層圖像的增強層圖像，來解碼當前增強層圖像；以及控制將被再現的放大結果直到解碼的增強層圖像的I幀被再現以及當再現解碼的增強層圖像的I幀時控制將被顯示的解碼的增強層圖像。
16.如權利要求15所述的方法，其特征在于，還包括解碼基本層比特流的當前信道之外的信道的基本層圖像，以便在該基本層比特流內顯示該基本層圖像。
17.如權利要求15所述的方法，其中，在所述放大結果的控制中，如果在增強層比特流中發(fā)生了數據丟失，則利用該放大結果的信息隱藏該數據丟失。
18.如權利要求15所述的方法，其中，在所述放大結果的控制中，如果在增強層比特流中發(fā)生了數據丟失，則利用時間上不同于基本層比特流的增強層圖像的信息來隱藏該數據丟失。
全文摘要
提供一種能夠最小化隨機存取延遲的視頻編碼及解碼裝置。該視頻編碼裝置包括編碼控制單元，其設置比增強層I幀間隔短的基本層幀內幀(I幀)間隔；基本層編碼單元，其通過根據由所述編碼控制單元所設置的I幀間隔縮小并編碼原始圖像生成基本層比特流；以及增強層編碼單元，其通過解碼時間上不同于當前增強層圖像的增強層圖像以及參考通過解碼該基本層比特流并放大解碼結果而獲得的預定圖像，生成增強層比特流。
文檔編號H04N7/24GK1848954SQ20061006663
公開日2006年10月18日 申請日期2006年4月13日 優(yōu)先權日2005年4月14日
發(fā)明者柳光烈, 樸民奎, 徐德榮 申請人:三星電子株式會社