專利名稱：視頻播放中視頻幀的分級(jí)處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻播放終端，特別涉及到多媒體處理能力有限的視頻播放終端。
背景技術(shù)：
在視頻播放過程中，經(jīng)常會(huì)遇到這樣的問題視頻序列中不同階段的場(chǎng)景的復(fù)雜度不同，有些階段的場(chǎng)景比較復(fù)雜，解碼復(fù)雜度較高，并超出了終端的處理能力，當(dāng)解碼器解碼完某一復(fù)雜場(chǎng)景的幾幀視頻圖像之后，系統(tǒng)的當(dāng)前時(shí)間便滯后于視頻幀的正常顯示時(shí)間，如果繼續(xù)進(jìn)行逐幀解碼和顯示，則會(huì)進(jìn)一步加劇視頻圖像顯示的滯后，造成用戶看到的是慢速播放的視頻；如果整個(gè)視頻序列中不同場(chǎng)景的復(fù)雜度差異較大，則造成播放速度不均勻，且整體播放進(jìn)度滯后。
目前處理這種問題的方法一般為對(duì)輸入的視頻序列進(jìn)行盡力解碼，并參照視頻幀的顯示時(shí)間標(biāo)簽進(jìn)行顯示；如果播放過程中當(dāng)前的系統(tǒng)時(shí)間已經(jīng)滯后于要解碼的輸入視頻幀，則判斷輸入幀是否為參考幀，如果不是參考幀，則丟棄該視頻幀，不進(jìn)行解碼，如果是參考幀，則丟棄當(dāng)前幀和后續(xù)幀直到下一個(gè)I幀的到來(lái)。這種方法能在一定程度上緩解解碼壓力，盡量保持被解碼的視頻圖像的顯示時(shí)間接近視頻圖像要求的顯示時(shí)間，已經(jīng)被運(yùn)用于Windows Media Player、Real Player等常用的播放器當(dāng)中。但是，這種方法沒有區(qū)別對(duì)待參考幀和非參考幀的丟幀標(biāo)準(zhǔn)，且沒有考慮視頻播放中視頻解碼和視頻顯示的獨(dú)立性，在終端的視頻播放過程中，特別是當(dāng)終端處理能力嚴(yán)重不足時(shí)，容易造成停頓和不連續(xù)。于是，針對(duì)視頻序列不同階段的解碼復(fù)雜度如何動(dòng)態(tài)調(diào)節(jié)解碼處理策略，在終端處理能力不足時(shí)盡量保持視頻的連續(xù)順暢播放，便具有實(shí)際應(yīng)用價(jià)值。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)在遇到高復(fù)雜度視頻序列或終端處理能力嚴(yán)重不足時(shí)，視頻播放不理想的弊端，動(dòng)態(tài)平衡終端的視頻解碼壓力，提高視頻播放的流暢度，改善用戶的觀看效果；從而提供一種視頻播放分級(jí)處理方法。
為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種視頻播放分級(jí)處理方法，包含以下步驟
1)、視頻終端接收視頻幀，計(jì)算視頻終端的當(dāng)前系統(tǒng)時(shí)間與視頻終端所接收的當(dāng)前幀的顯示時(shí)間標(biāo)簽間的差值，并確定差值所在的區(qū)域；2)、解析當(dāng)前幀的幀頭，確定視頻幀的類型；3)、根據(jù)步驟1得到的系統(tǒng)時(shí)間與當(dāng)前幀的顯示時(shí)間標(biāo)簽間的差值，以及步驟2得到的視頻幀的類型，為當(dāng)前幀分級(jí)；4)、根據(jù)視頻幀的級(jí)別，對(duì)當(dāng)前視頻幀進(jìn)行解碼和顯示處理；5)、對(duì)視頻終端所接收到的所有視頻幀，重復(fù)步驟1)到步驟4)的操作。
上述技術(shù)方案中，在所述的步驟1)中，所述的確定差值所在的區(qū)域是首先設(shè)定幾個(gè)閥值，根據(jù)閥值將時(shí)間劃分成區(qū)域，然后將差值與各個(gè)區(qū)域進(jìn)行比對(duì)，確定差值具體處在哪個(gè)區(qū)域中。
所述的閥值有兩個(gè)，分別用x毫秒和y毫秒表示，根據(jù)該閥值將時(shí)間分成3個(gè)區(qū)域，用S1，S2和S3表示，用D表示差值，則S1D＜xS2x＜＝D＜yS3D＞＝y(tǒng)。
在所述的步驟2)中，所述的視頻幀的類型包括I幀、P幀和B幀，所述的I幀和P幀是參考幀，所述的B幀為非參考幀，在參考幀中，I幀是關(guān)鍵幀，在解碼時(shí)不需要其它參考幀提供參考，P幀是普通參考幀，在解碼時(shí)需要其它參考幀提供參考。
在所述的步驟3)中，所述的為當(dāng)前幀分級(jí)時(shí)，可分為四個(gè)級(jí)別，分別用L1，L2，L3，L4表示，當(dāng)所述D值屬于S1，輸入幀為任意幀類型，級(jí)別為L(zhǎng)1；當(dāng)所述D值屬于S2，輸入幀為I幀或P幀，級(jí)別為L(zhǎng)2；當(dāng)所述D值屬于S2，輸入幀為B幀，級(jí)別為L(zhǎng)3；當(dāng)所述D值屬于S3，輸入幀為B幀，級(jí)別為L(zhǎng)3；當(dāng)所述D值屬于S3，輸入幀為I幀或P幀，級(jí)別為L(zhǎng)4。
在所述的步驟4)中，對(duì)不同級(jí)別的視頻幀，在解碼和顯示處理時(shí)有不同的處理流程，當(dāng)前幀的級(jí)別為L(zhǎng)1時(shí)，解碼并顯示該當(dāng)前幀；當(dāng)前幀的級(jí)別為L(zhǎng)2時(shí)，解碼當(dāng)前幀，但不進(jìn)行顯示；當(dāng)前幀的級(jí)別為L(zhǎng)3時(shí)，丟棄當(dāng)前幀，不進(jìn)行解碼和顯示；當(dāng)前幀的級(jí)別為L(zhǎng)4時(shí)，丟棄當(dāng)前入幀和后續(xù)非關(guān)鍵幀，直到接收到下一I幀時(shí)把該I幀的級(jí)別置為L(zhǎng)1。
與現(xiàn)有技術(shù)相比，本發(fā)明具有下列優(yōu)點(diǎn)
(1)根據(jù)視頻播放情況動(dòng)態(tài)平衡終端的解碼壓力；(2)充分考慮解碼時(shí)間與顯示時(shí)間的差值的幅度，根據(jù)差值的程度分級(jí)處理；(3)充分考慮不同類型的視頻幀的解碼特點(diǎn)，在保證解碼的正確性和處理的獨(dú)立性的前提下分級(jí)減輕視頻播放壓力；(4)提高視頻播放的流暢度，盡量保持視覺效果。


圖1為本發(fā)明的視頻播放分級(jí)處理方法應(yīng)用在機(jī)頂盒中的示意圖；圖2為當(dāng)前系統(tǒng)時(shí)間與當(dāng)前幀顯示時(shí)間標(biāo)簽的差值；圖3為本發(fā)明的視頻播放分級(jí)處理方法的流程圖。
具體實(shí)施例方式
下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明做進(jìn)一步的描述。
本發(fā)明的視頻播放分級(jí)處理方法可應(yīng)用于如圖1所示的場(chǎng)景中。機(jī)頂盒通過寬帶網(wǎng)絡(luò)向流媒體服務(wù)器發(fā)出視頻服務(wù)請(qǐng)求，流媒體服務(wù)器響應(yīng)該請(qǐng)求，并通過網(wǎng)絡(luò)向機(jī)頂盒發(fā)送視頻數(shù)據(jù)，機(jī)頂盒接受到視頻數(shù)據(jù)后進(jìn)行解碼，然后送到電視機(jī)進(jìn)行顯示。在本場(chǎng)景中，網(wǎng)絡(luò)帶寬能夠滿足視頻流的傳送需求，機(jī)頂盒的網(wǎng)絡(luò)接收模塊也有足夠的能力進(jìn)行數(shù)據(jù)接收，但機(jī)頂盒的視頻解碼能力不足，無(wú)法滿足對(duì)視頻流的全部數(shù)據(jù)進(jìn)行實(shí)時(shí)解碼。本發(fā)明的視頻播放分級(jí)處理方法正適用于這種視頻終端解碼能力不足的情況。
如圖3所示，利用本發(fā)明的視頻播放分級(jí)處理方法對(duì)一個(gè)視頻幀序列進(jìn)行處理，該視頻幀序列中包含以下視頻幀I、P、B、B、P、B、B、I、P、B。
對(duì)上述視頻幀序列中的視頻幀進(jìn)行處理的具體實(shí)現(xiàn)步驟如下1、計(jì)算機(jī)頂盒的當(dāng)前系統(tǒng)時(shí)間與當(dāng)前幀的顯示時(shí)間標(biāo)簽間的差值，根據(jù)預(yù)先設(shè)定的閾值為差值確定所在的區(qū)域。如圖2所示，在一個(gè)實(shí)施例中，用D表示當(dāng)前系統(tǒng)時(shí)間與當(dāng)前幀的顯示時(shí)間標(biāo)簽的差值，x和y是差值的域值，分別設(shè)定為0毫秒和500毫秒，則整個(gè)時(shí)間段可以劃分成三個(gè)區(qū)域，分別用S1，S2和S3表示。其中D＝當(dāng)前系統(tǒng)時(shí)間-當(dāng)前幀的顯示時(shí)間標(biāo)簽S1D＜0
S20＜＝D＜500S3D＞＝500。
在一個(gè)實(shí)施例中，機(jī)頂盒首先接收一個(gè)視頻幀，計(jì)算機(jī)頂盒的當(dāng)前系統(tǒng)時(shí)間與當(dāng)前幀的顯示時(shí)間標(biāo)簽間的差值，假設(shè)該視頻幀的差值為10毫秒，該視頻幀的時(shí)間差值位于區(qū)域S2中。
2、解析視頻幀的幀頭，確定當(dāng)前輸入視頻幀的類型。視頻幀的類型可分為I幀、P幀和B幀，其中I幀和P幀是參考幀，B幀為非參考幀。在參考幀中，I幀是關(guān)鍵幀，關(guān)鍵幀是指解碼時(shí)不需要其它參考幀提供參考的參考幀，P幀是普通參考幀，普通參考幀是指解碼時(shí)需要其它參考幀提供參考的參考幀。在對(duì)視頻幀做解碼時(shí)，I幀依靠本身所包含的信息即可實(shí)現(xiàn)解碼，P幀需要一個(gè)I幀或一個(gè)其他P幀的信息才能實(shí)現(xiàn)對(duì)它的解碼，B幀需要一個(gè)I幀和一個(gè)P幀，或兩個(gè)P幀才能實(shí)現(xiàn)對(duì)它的解碼。解析幀的幀頭，可確定當(dāng)前幀的類型。
在步驟1所述的實(shí)施例中，對(duì)機(jī)頂盒接收到的視頻幀的幀頭做解析，可知該視頻幀為I幀。
3、根據(jù)步驟1得到的當(dāng)前系統(tǒng)時(shí)間與當(dāng)前幀的顯示時(shí)間標(biāo)簽間的差值，以及步驟2得到的輸入視頻幀的類型作為標(biāo)準(zhǔn)，對(duì)當(dāng)前的視頻幀進(jìn)行分類。在本實(shí)施例中，為視頻幀設(shè)置四個(gè)級(jí)別，分別用L1，L2，L3，L4表示，令L表示級(jí)別的值，則L的取值由表1決定

表1上表中對(duì)輸入視頻幀的分級(jí)分5種情況進(jìn)行討論(I)D值屬于S1，輸入幀為任意幀類型(I幀、P幀或B幀)，L取值L1；(II)D值屬于S2，輸入幀為參考幀(I幀或P幀)，L取值L2；(III)D值屬于S2，輸入幀為非參考幀(B幀)，L取值L3；(IV)D值屬于S3，輸入幀為非參考幀(B幀)，L取值L3；(V)D值屬于S3，輸入幀為參考幀(I幀或P幀)，L取值L4。
在步驟1和步驟2所描述的實(shí)施例中，I幀的時(shí)間差值在S2中，由表1可知，該幀的處理級(jí)別為L(zhǎng)2。
4、根據(jù)視頻幀的級(jí)別，對(duì)視頻幀進(jìn)行解碼和顯示處理。對(duì)于不同級(jí)別的視頻幀，有不同的處理過程，其具體實(shí)現(xiàn)如下(A)L＝L1，解碼并顯示輸入幀；(B)L＝L2，解碼輸入幀，但不進(jìn)行顯示；(C)L＝L3，丟棄輸入幀，不進(jìn)行解碼和顯示(D)L＝L4，丟棄輸入幀和后續(xù)非關(guān)鍵幀，直到接收到下一I幀時(shí)把L的值置為L(zhǎng)1。
前述的處理級(jí)別為L(zhǎng)2的I幀，解碼該輸入幀，但不顯示。
5、對(duì)機(jī)頂盒所接收到的所有輸入視頻幀，重復(fù)由步驟1到步驟4的操作。
對(duì)視頻幀序列中的P、B、B、P、B、B、I、P、B依次重復(fù)上述的步驟，直至該視頻幀序列中的所有幀都完成解碼和顯示操作。
權(quán)利要求
1.一種視頻播放分級(jí)處理方法，包含以下步驟1)、視頻終端接收視頻幀，計(jì)算視頻終端的當(dāng)前系統(tǒng)時(shí)間與視頻終端所接收的當(dāng)前幀的顯示時(shí)間標(biāo)簽間的差值，并確定差值所在的區(qū)域；2)、解析當(dāng)前幀的幀頭，確定視頻幀的類型；3)、根據(jù)步驟1得到的系統(tǒng)時(shí)間與當(dāng)前幀的顯示時(shí)間標(biāo)簽間的差值，以及步驟2得到的視頻幀的類型，為當(dāng)前幀分級(jí)；4)、根據(jù)視頻幀的級(jí)別，對(duì)當(dāng)前視頻幀進(jìn)行解碼和顯示處理；5)、對(duì)視頻終端所接收到的所有視頻幀，重復(fù)步驟1)到步驟4)的操作。
2.根據(jù)權(quán)利要求1所述的視頻播放分級(jí)處理方法，其特征在于，在所述的步驟1)中，所述的確定差值所在的區(qū)域是首先設(shè)定幾個(gè)閥值，根據(jù)閥值將時(shí)間劃分成區(qū)域，然后將差值與各個(gè)區(qū)域進(jìn)行比對(duì)，確定差值具體處在哪個(gè)區(qū)域中。
3.根據(jù)權(quán)利要求2所述的視頻播放分級(jí)處理方法，其特征在于，所述的閥值有兩個(gè)，分別用x毫秒和y毫秒表示，根據(jù)該閥值將時(shí)間分成3個(gè)區(qū)域，用S1，S2和S3表示，用D表示差值，則S1D＜xS2x＜＝D＜yS3D＞＝y(tǒng)。
4.根據(jù)權(quán)利要求3所述的視頻播放分級(jí)處理方法，其特征在于，在所述的步驟2)中，所述的視頻幀的類型包括I幀、P幀和B幀，所述的I幀和P幀是參考幀，所述的B幀為非參考幀，在參考幀中，I幀是關(guān)鍵幀，在解碼時(shí)不需要其它參考幀提供參考，P幀是普通參考幀，在解碼時(shí)需要其它參考幀提供參考。
5.根據(jù)權(quán)利要求4所述的視頻播放分級(jí)處理方法，其特征在于，在所述的步驟3)中，所述的為當(dāng)前幀分級(jí)時(shí)，可分為四個(gè)級(jí)別，分別用L1，L2，L3，L4表示，當(dāng)所述D值屬于S1，輸入幀為任意幀類型，級(jí)別為L(zhǎng)1；當(dāng)所述D值屬于S2，輸入幀為I幀或P幀，級(jí)別為L(zhǎng)2；當(dāng)所述D值屬于S2，輸入幀為B幀，級(jí)別為L(zhǎng)3；當(dāng)所述D值屬于S3，輸入幀為B幀，級(jí)別為L(zhǎng)3；當(dāng)所述D值屬于S3，輸入幀為I幀或P幀，級(jí)別為L(zhǎng)4。
6.根據(jù)權(quán)利要求5所述的視頻播放分級(jí)處理方法，其特征在于，在所述的步驟4)中，對(duì)不同級(jí)別的視頻幀，在解碼和顯示處理時(shí)有不同的處理流程，當(dāng)前幀的級(jí)別為L(zhǎng)1時(shí)，解碼并顯示該當(dāng)前幀；當(dāng)前幀的級(jí)別為L(zhǎng)2時(shí)，解碼當(dāng)前幀，但不進(jìn)行顯示；當(dāng)前幀的級(jí)別為L(zhǎng)3時(shí)，丟棄當(dāng)前幀，不進(jìn)行解碼和顯示；當(dāng)前幀的級(jí)別為L(zhǎng)4時(shí)，丟棄當(dāng)前入幀和后續(xù)非關(guān)鍵幀，直到接收到下一I幀時(shí)把該I幀的級(jí)別置為L(zhǎng)1。
全文摘要
本發(fā)明公開了一種視頻播放分級(jí)處理方法，包含視頻終端接收視頻幀，計(jì)算視頻終端的當(dāng)前系統(tǒng)時(shí)間與視頻終端所接收的當(dāng)前幀的顯示時(shí)間標(biāo)簽間的差值，并確定差值所在的區(qū)域；解析當(dāng)前幀的幀頭，確定視頻幀的類型；根據(jù)系統(tǒng)時(shí)間與當(dāng)前幀的顯示時(shí)間標(biāo)簽間的差值，以及視頻幀的類型，為當(dāng)前幀分級(jí)；根據(jù)視頻幀的級(jí)別，對(duì)當(dāng)前視頻幀進(jìn)行解碼和顯示處理；對(duì)視頻終端所接收到的所有視頻幀，重復(fù)上述步驟。本發(fā)明的優(yōu)點(diǎn)根據(jù)視頻播放情況動(dòng)態(tài)平衡終端的解碼壓力；充分考慮不同類型的視頻幀的解碼特點(diǎn)，在保證解碼的正確性和處理的獨(dú)立性的前提下分級(jí)減輕視頻播放壓力；提高視頻播放的流暢度，盡量保持視覺效果。
文檔編號(hào)H04N7/24GK101080006SQ20061008105
公開日2007年11月28日 申請(qǐng)日期2006年5月23日 優(yōu)先權(quán)日2006年5月23日
發(fā)明者陳志輝, 張?zhí)? 陳國(guó)平, 賀鵬程 申請(qǐng)人:中國(guó)科學(xué)院聲學(xué)研究所, 北京易視威信息技術(shù)有限公司