對位流中的圖像格式轉(zhuǎn)換的在先解碼的圖像的輸出管理的制作方法
【專利說明】對位流中的圖像格式轉(zhuǎn)換的在先解碼的圖像的輸出管理
[0001]對相關(guān)申請的交叉引用
[0002]本申請要求申請日為2012年10月9日、題為“Output Management of Pr1rDecoded Pictures at Picture Format Transit1ns in Video Streams (對視頻流中的圖像格式轉(zhuǎn)換的在先解碼的圖像的輸出管理)”的美國臨時專利申請N0.61/711245的權(quán)益，其全部內(nèi)容被通過引用結(jié)合于此。
技術(shù)領(lǐng)域
[0003]本公開一般地涉及判定在對位流中的兩個連貫的經(jīng)編碼視頻序列中的第二個的隨機(jī)訪問點(diǎn)(RAP)圖像進(jìn)行解碼之后是否輸出“有待輸出的解碼的圖像”(DPYTBO)。
【背景技術(shù)】
[0004]在提供視頻程序的系統(tǒng)(比如，用戶電視網(wǎng)絡(luò)、互聯(lián)網(wǎng)或數(shù)字視頻播放器)中，能夠提供視頻服務(wù)或視頻回放的設(shè)備包括輸入并處理數(shù)字視頻信號以向最終用戶提供具有各等級的可用性和/或功能性的數(shù)字視頻回放所必需的硬件和軟件。該設(shè)備包括以下能力:接收或輸入壓縮格式的數(shù)字視頻信號，其中這樣的壓縮可根據(jù)視頻編碼規(guī)范；對接收或輸入的數(shù)字視頻信號進(jìn)行解壓縮；以及輸出經(jīng)解壓縮的視頻信號。壓縮形式的數(shù)字視頻信號在這里指的是包含連續(xù)的經(jīng)編碼視頻序列的位流(bitstream)。
[0005]經(jīng)數(shù)字編碼的視頻流可由諸如機(jī)頂盒和電視之類的設(shè)備通過某種類型的傳輸信道來接收。在輸出經(jīng)數(shù)字編碼的視頻流的過程中，可能需要判定在對位流中的兩個連貫的經(jīng)編碼視頻序列中的第二個的RAP圖像進(jìn)行解碼之后是否輸出“有待輸出的解碼的圖像” (DPYTBO) ο
【附圖說明】
[0006]參考附圖能夠更好地理解本公開的很多方面。附圖中的組件不必按比例繪制，而是重點(diǎn)在于清楚地示出本公開的原理。
[0007]圖1是示出了本公開的實(shí)施例可在其中實(shí)現(xiàn)的示例性環(huán)境的高層次框圖。
[0008]圖2A-2B是圖1所描述的接收器和相關(guān)設(shè)備的實(shí)施例的框圖，本公開的實(shí)施例可在其中實(shí)現(xiàn)。
[0009]圖3A-3B是示出了本公開的實(shí)施例的流程圖。
[0010]圖4A-4B是示出了本公開的實(shí)施例的流程圖。

【發(fā)明內(nèi)容】

[0011]本公開的實(shí)施例描述了用于判定在對位流中的兩個連貫的經(jīng)編碼視頻序列的第二個的隨機(jī)訪問點(diǎn)(RAP)圖像進(jìn)行解碼之后是否輸出“有待輸出的解碼的圖像”(DPYTBO)的方法。DPYTBO圖像可駐留于耦合到視頻解碼器的存儲器的一部分中。該存儲器的部分可對應(yīng)于視頻解碼器的解碼的圖像緩沖器(DPB)。位流中的圖像分辨率只允許在CVS的開始處改變。經(jīng)編碼視頻序列(CVS)中的第一經(jīng)編碼圖像可以是RAP圖像。第二 CVS可以具有也可以不具有與對應(yīng)于第一 CVS的圖像解析度不同的圖像解析度。
【具體實(shí)施方式】
[0012]在提供視頻程序的系統(tǒng)(比如，用戶電視網(wǎng)絡(luò)、互聯(lián)網(wǎng)或數(shù)字視頻播放器)中，能夠提供視頻服務(wù)或視頻回放的設(shè)備包括輸入并處理數(shù)字視頻信號以向最終用戶提供具有各等級的可用性和/或功能性的數(shù)字視頻回放所必需的硬件和軟件。該設(shè)備包括以下能力:接收或輸入壓縮格式的數(shù)字視頻信號，其中這樣的壓縮可根據(jù)視頻編碼規(guī)范；對接收或輸入的數(shù)字視頻信號(例如，位流)進(jìn)行解壓縮；以及輸出經(jīng)解壓縮的視頻信號。壓縮形式的數(shù)字視頻信號在這里指的是包含連貫的經(jīng)編碼視頻序列(CVS)的位流。
[0013]HEVC規(guī)范(也稱為Rec.“ITU-T H.265”) (2013年4月發(fā)布)，被通過引用結(jié)合于此。在本公開的一些實(shí)施例中，位流可在接收器處被接收。位流可包括連續(xù)的CVS，其中一些具有第一圖像分辨率，其他的具有第二且不同的圖像分辨率。位流中的兩個連續(xù)的CVS具有樣本寬高比相同但圖像分辨率不同的圖像，以使得水平和垂直樣本的數(shù)量是不同的。對應(yīng)于CVS中的圖像的樣本寬高比和空間跨度的信息可由一個或多個參數(shù)集來提供，所述參數(shù)集對應(yīng)于該CVS。位流中的每個CVS可具有相應(yīng)的序列參數(shù)集(SPS)，其包括視頻可用性信息(VUI)。該WI信息包括關(guān)于樣本寬高比的信息。在一個實(shí)施例中，樣本比例因子被確定并應(yīng)用到相應(yīng)CVS中的圖像的樣本上。
[0014]編碼器可提供由接收器接收的位流的一個或多個CVS。其他網(wǎng)絡(luò)設(shè)備(比如，拼接器或數(shù)字程序插入器)可替代具有CVS的位流的多個部分，這些CVS具有不同的圖像分辨率并且可能具有或可能不具有相同的樣本寬高比。
[0015]在一個方法實(shí)施例中，接收和處理設(shè)備可接收連續(xù)經(jīng)編碼圖像的位流，以及分別對應(yīng)于該位流的連續(xù)經(jīng)編碼圖像的每個連貫部分的輔助信息。對應(yīng)于位流的第一部分的第一輔助信息對應(yīng)于第一部分中的連續(xù)經(jīng)編碼圖像的第一隱含空間跨度。對應(yīng)于位流的第二部分的第二輔助信息對應(yīng)于第二部分中的連續(xù)經(jīng)編碼圖像的第二隱含空間跨度?？臻g跨度對應(yīng)于由視頻解碼器輸出的圖像意欲占據(jù)的二維空間。位流的連續(xù)經(jīng)編碼圖像的第二部分的第一經(jīng)編碼圖像是位流的連續(xù)經(jīng)編碼圖像的第一部分的最后一個經(jīng)編碼圖像之后的位流中的第一個經(jīng)編碼圖像。接收器對所接收的第一部分的連續(xù)經(jīng)編碼圖像進(jìn)行解碼，并且根據(jù)對應(yīng)于第一輔助信息的第一隱含空間跨度輸出經(jīng)解碼的圖像。接收器對所接收的第二部分的連續(xù)經(jīng)編碼圖像進(jìn)行解碼，并且根據(jù)對應(yīng)于第二輔助信息的第二隱含空間跨度輸出經(jīng)解碼的圖像。
[0016]no_output_of_pr1r_p1s_flag(不輸出在先圖像標(biāo)志)指定在對開始CVS的RAP圖像(例如，IDR或BLA)進(jìn)行解碼之后，如何處理解碼的圖像緩沖器中的先前解碼的圖像。該標(biāo)志被包括在RAP圖像的分片頭部(slice header)中。如果圖像分辨率改變，則可推斷該標(biāo)志等于1，而不管分片頭部中所提供的標(biāo)志的實(shí)際值。在一些實(shí)施例中，圖像分辨率可改變，并且有待輸出的解碼的圖像緩沖器(DPB)中的圖像需要被輸出。DPB中的幀緩沖器的數(shù)量以離散步長(比如，根據(jù)HEVC規(guī)范)進(jìn)行調(diào)整。DPB中的幀緩沖器的數(shù)量如在審的美國專利申請n0.13/937209(其全部內(nèi)容被通過引用結(jié)合于此)所表述的那樣來確定。
[0017]在一個實(shí)施例中，隔行掃描視頻的場編碼和幀編碼之間的改變只在CVS的開始處(即，因?yàn)樾枰碌腟PS來改變圖像分辨率)。在這種情況下，不對no_output_of_pr1r_pics_flag的值進(jìn)行推斷，而是根據(jù)相應(yīng)的RAP圖像的分片頭部中所提供的標(biāo)志值來進(jìn)行處理。
[0018]在位流的第一類型的CVS中，圖像分辨率和樣本寬高比均可相對于位流中前面緊接的CVS中的圖像分辨率和樣本寬高比發(fā)生改變。在位流的第二類型的CVS中，相對于位流中前面緊接的CVS中的相應(yīng)值，圖像分辨率發(fā)生改變而樣本寬高比不變(即，保持相同)。在第二類型的CVS中，所有圖像分辨率改變可包括水平圖像大小(即，圖像中水平樣本的數(shù)量)的改變和垂直圖像大小(即，圖像中的垂直樣本的數(shù)量)的改變。在本公開的一些實(shí)施例中，位流可包括根據(jù)第二類型CVS的至少一個圖像分辨率改變，但不包括根據(jù)位流中的第一類型CVS的至少一個圖像分辨率改變。在替代實(shí)施例中，位流可包括根據(jù)第二類型CVS的至少一個圖像分辨率改變和根據(jù)第一類型CVS的至少一個圖像分辨率改變。
[0019]對應(yīng)于CVS的圖像分辨率可由對應(yīng)于該CVS的序列參數(shù)集(SPS)來提供。SPS可在位流中在相應(yīng)的CVS的RAP圖像之前被提供。SPS可以如視頻編碼規(guī)范(例如，HEVC規(guī)范)中所描述的那樣。SPS可包括確定“亮度樣本中的圖像寬度”和“亮度樣本中的圖像高度”的參數(shù)，但應(yīng)該理解該圖像還可包括色度樣本。這些參數(shù)可被提供為相應(yīng)的數(shù)值，這些數(shù)值可乘以亮度樣本的整數(shù)以獲得“亮度樣本中的圖像寬度”和“亮度樣本中的圖像高度”值。
[0020]對應(yīng)于開始CVS的RAP圖像的每個分片的分片頭部可包括表示是否輸出DPYTBO圖像的標(biāo)志。例如，該RAP圖像可以是IDR訪問單元或BLA圖像。作為非限制性示例，該標(biāo)志可被表示為no_output_of_pr1r_pics_flag以協(xié)助該方法的描述，但是應(yīng)該理解在替代的實(shí)施例中其命名可能不同。
[0021]在一些實(shí)施例中，當(dāng)RAP圖像不對應(yīng)于兩個連貫的CVS中的第二個的第一圖像時，no_output_of_pr1r_pics_flag的值被忽略。例如，在HEVC中，這將是CVS (即，在此情況下為第二 CVS)包括另一 RAP圖像并且變量“NoRaslOutputFlag”被推導(dǎo)為不等于I的情況。變量“NoRaslOutputFlag”的推導(dǎo)可以根據(jù)HEVC規(guī)范。
[0022]在位流的第一類型CVS中，圖像分辨率和樣本寬高比均可相對于位流中前面緊接的CVS中的圖像分辨率和樣本寬高比發(fā)生改變。在位流的第二類型的CVS中，相對于位流中前面緊接的CVS中的相應(yīng)值，圖像分辨率發(fā)生改變而樣本寬高比不變(即，保持相同)。所有圖像分辨率改變可包括水平圖像大小(即，圖像中水平樣本的數(shù)量)的改變和垂直圖像大小(即，圖像中的垂直樣本的數(shù)量)的改變。在一些實(shí)施例中，位流可包括根據(jù)第二類型CVS的至少一個圖像分辨率改變，但不包括根據(jù)位流中的第一類型CVS的任意圖像分辨率改變。在替代實(shí)施例中，位流可包括根據(jù)第二類型CVS的至少一個圖像分辨率改變和根據(jù)第一類型CVS的至少一個圖像分辨率改變。
[0023]位流中的每個經(jīng)編碼圖像對應(yīng)于包括一個或多個NAL單元的訪問單元，并且被包括在訪問單元中的至少一個NAL單元對應(yīng)于經(jīng)編碼圖像的分片(即，經(jīng)編碼分片)。每個NAL單元包括包含NAL單元類型的頭部。多個NAL單元類型分別對應(yīng)于不同的分片類型。一些NAL單元類型對應(yīng)于不同于經(jīng)編碼分片的信息。經(jīng)編碼圖像可包括一個或多個經(jīng)編碼分片。當(dāng)經(jīng)編碼分片對應(yīng)于完全圖像分辨率時，對應(yīng)于經(jīng)編碼圖像的訪問單元只包含一個經(jīng)編碼分片。RAP圖像是內(nèi)部經(jīng)編碼圖像(即，只包括編碼的內(nèi)部分片)。多個單元類型分別對應(yīng)于多個類型的RAP圖像。一些內(nèi)部圖像可能不是RAP圖像。開始CVS的RAP圖像的NAL單元類型標(biāo)識對應(yīng)于該RAP圖像的RAP圖像的類型。
[0024]在本公開的一些實(shí)施例中，多個類型的RAP圖像中的至少一個不對應(yīng)于第二連貫的CVS的第一經(jīng)編碼圖像。在替代實(shí)施例中，多個類型的RAP圖像中的每一個可對應(yīng)于第二 CVS的第一經(jīng)編碼圖像。