專利名稱：一種流媒體點(diǎn)播的音視頻切換方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)多媒體技術(shù)領(lǐng)域，特別涉及流媒體傳輸技術(shù)。
“流媒體”不同于傳統(tǒng)的多媒體，它是一種結(jié)構(gòu)化的網(wǎng)絡(luò)媒體流，它的主要特點(diǎn)就是以“音視頻流”(Audio-Video Stream)的形式在網(wǎng)絡(luò)上傳送，播放器可以像播放本地文件一樣播放網(wǎng)絡(luò)流媒體，從而實(shí)現(xiàn)暫停、恢復(fù)、快進(jìn)、快退等功能。
流媒體傳輸過程中，所使用的主要傳輸協(xié)議為實(shí)時(shí)流傳輸協(xié)議(Real-timeTransport Protocol)，簡稱RTP協(xié)議。RTP是用于Internet上針對多媒體數(shù)據(jù)流的一種傳輸協(xié)議，被定義在一對一或一對多的傳輸情況下工作，其目的是提供時(shí)間信息和實(shí)現(xiàn)流同步。RTP提供端對端網(wǎng)絡(luò)傳輸功能，適合通過組播和點(diǎn)播傳送實(shí)時(shí)數(shù)據(jù)，如音頻、視頻和仿真數(shù)據(jù)。RTP沒有涉及資源預(yù)定和質(zhì)量保證等實(shí)時(shí)服務(wù)。RTP報(bào)文格式中包括固定的RTP報(bào)文頭、可選用的作用標(biāo)識(shí)(CSRC)和負(fù)載數(shù)據(jù)。如果RTP所依賴的底層協(xié)議對RTP報(bào)文的格式有所要求，RTP報(bào)文的格式必須進(jìn)行修改或重新定義。通常，單一的底層數(shù)據(jù)報(bào)文僅包含單一的RTP報(bào)文。
流媒體播放器對收到的RTP數(shù)據(jù)包的顯示順序及時(shí)間是根據(jù)RTP包頭(Header)所包含的時(shí)間戳(timestamp)和序列號(hào)(sequence number)來確定的，時(shí)間戳是視頻節(jié)目采集制作時(shí)存儲(chǔ)到視頻幀內(nèi)的一種時(shí)間值，流媒體播放器利用它來決定某一視頻幀在什么時(shí)間播放。序列號(hào)則代表了每個(gè)視頻包的順序，流媒體播放器利用它來對到達(dá)的所有數(shù)據(jù)包進(jìn)行排序。流媒體播放器按照收到的視頻幀序列號(hào)和時(shí)間戳的大小和順序進(jìn)行播放，就實(shí)現(xiàn)了正常播放。
已有的一種正常播放的方法如

圖1所示，包括以下步驟1)音視頻文件在進(jìn)行網(wǎng)絡(luò)傳輸前，首先讀取每一視頻幀，或每一音頻數(shù)據(jù)包，并將其封裝到一個(gè)RTP包中；
2)將RTP包中此時(shí)的時(shí)間戳TS進(jìn)行變換TS→TS′；(這里的變換并沒有具體要求，可以按照RFC 3016協(xié)議進(jìn)行變換，也可以選擇自己的變換方式，只要保證客戶端能夠識(shí)別，并且能夠反變換回TS即可)3)RTP包中的序列號(hào)，首先進(jìn)行累加(SN＝SN+1)；4)將經(jīng)過時(shí)間戳和序列號(hào)變換后的RTP數(shù)據(jù)包通過網(wǎng)絡(luò)傳送出去；5)客戶端的流媒體播放器收到RTP數(shù)據(jù)包后，先根據(jù)它的序列號(hào)SN進(jìn)行排隊(duì)；6)根據(jù)排列好的RTP數(shù)據(jù)包，依次對其中的時(shí)間戳進(jìn)行反變換，TS′→TS；7)播放器將轉(zhuǎn)換后的RTP包送到解碼單元進(jìn)行解碼，還原為一幀數(shù)據(jù)；8)播放器將解碼后的視頻幀或音頻幀送到顯示單元，顯示單元根據(jù)視頻幀或音頻幀內(nèi)的時(shí)間戳TS，顯示該視頻幀；9)播放器按照正常情況播放電影文件。
上述的播放方法有以下不足之處用戶在通過網(wǎng)絡(luò)欣賞音視頻節(jié)目時(shí)，不能選擇節(jié)目源；同時(shí)，服務(wù)器在提供音視頻服務(wù)時(shí)，也不具備智能性及商業(yè)應(yīng)用前景。
本發(fā)明提出一種基于流媒體技術(shù)的服務(wù)器音視頻流切換方法，其特征在于，當(dāng)服務(wù)器以正常情況下發(fā)音視頻文件時(shí)，可以根據(jù)需要，切換到不同的節(jié)目源，切換方法包括兩種完全由服務(wù)器實(shí)現(xiàn)的與客戶端無關(guān)的切換方法和需要客戶端進(jìn)行少量修改的與客戶端相關(guān)的切換方法。
其中，本發(fā)明與客戶端無關(guān)的切換方法，包括以下步驟1)服務(wù)器依照正常流程，向客戶端下發(fā)音視頻文件；2)當(dāng)播放到一設(shè)定時(shí)刻，由服務(wù)器決定是否插入新的音視頻流若否，則正常播放原有的音視頻文件；3)若是，服務(wù)器對于將要播放的新的音視頻文件進(jìn)行初始化工作；4)同時(shí)對于目前正在播放的音視頻流暫?；蛘咄顺?；5)根據(jù)音、視頻流的不同，分別記錄下暫停或者退出的RTP數(shù)據(jù)包中的序列號(hào)SN_old和時(shí)間戳TS_old；其中序列號(hào)和時(shí)間戳均為正整數(shù)；6)讀取將要播放的新的音視頻文件，并將其中一幀封裝到RTP數(shù)據(jù)包中；7)將RTP包中此時(shí)的音、視頻時(shí)間戳、序列號(hào)分別加上已暫?；蛲顺鲆粢曨l文件的序列號(hào)SN_old和時(shí)間戳TS_old；
8)對RTP包中的音、視頻時(shí)間戳TS進(jìn)行變換，同時(shí)序列號(hào)SN遞增1；TS→TS′；SN＝SN+1；9)將經(jīng)過變換后的時(shí)間戳和序列號(hào)的RTP數(shù)據(jù)包通過網(wǎng)絡(luò)傳送出去；10)客戶端無需任何改動(dòng)，與正常播放的流程相同，開始觀看一部新的音視頻文件。
本發(fā)明與客戶端相關(guān)的切換方法，包括以下步驟1)服務(wù)器依照正常流程，向客戶端下發(fā)音視頻文件；2)當(dāng)播放到一設(shè)定時(shí)刻，由服務(wù)器決定是否插入新的音視頻流若否，則正常播放原有的音視頻文件；3)若是，服務(wù)器對于將要播放的新的音視頻文件進(jìn)行初始化工作；4)同時(shí)對于目前正在播放的音視頻流暫?；蛘咄顺?；5)根據(jù)音、視頻流的不同，記錄下暫?；蛘咄顺龅腞TP數(shù)據(jù)包中的序列號(hào)SN_old；(不需要服務(wù)器主動(dòng)記錄時(shí)間戳)6)讀取將要播放的新的音視頻文件，并將其中一幀封裝到RTP數(shù)據(jù)包中；7)將此時(shí)RTP包中的序列號(hào)加上已退出音視頻文件的序列號(hào)SN；8)對RTP包中的時(shí)間戳TS進(jìn)行變換，同時(shí)序列號(hào)SN遞增1；1.TS→TS′；2.SN＝SN+1；9)將經(jīng)過時(shí)間戳和序列號(hào)變換后的RTP數(shù)據(jù)包通過網(wǎng)絡(luò)傳送出去；10)客戶端收到此時(shí)的RTP數(shù)據(jù)包，將其還原為一幀，根據(jù)其中的序列號(hào)SN進(jìn)行排序，并對時(shí)間戳進(jìn)行反變換TS′→TS；11)播放器此時(shí)將檢測到時(shí)間戳TS發(fā)生顯著變化，如回零；12)客戶端認(rèn)為這是一部新的音視頻文件，調(diào)整當(dāng)前基準(zhǔn)時(shí)間匹配新的時(shí)間戳，并重新開始計(jì)時(shí)；13)客戶端開始觀看一部新的音視頻文件。
本發(fā)明的原理流媒體服務(wù)器與播放器之間，用以確定音視頻流的最主要標(biāo)志為序列號(hào)和時(shí)間戳，若可以保證，到達(dá)客戶端的RTP數(shù)據(jù)包中的序列號(hào)毫無變化，時(shí)間戳也毫無變化(與客戶端無關(guān))的播放方式；或者序列號(hào)毫無變化，時(shí)間戳由客戶端調(diào)整(與客戶端相關(guān))的播放方式，那么就可以在服務(wù)器端進(jìn)行各種音視頻流文件的切換，而客戶端可以正常觀看。
本發(fā)明的優(yōu)點(diǎn)1.不拘泥于一種音視頻文件的播放，可以根據(jù)服務(wù)器需要，隨時(shí)切換到任意一個(gè)音視頻文件；
2.這種切換在用戶看來是無縫的，即用戶毫無感知；3.客戶端不需要任何輔助動(dòng)作或者需要稍加改動(dòng)，主要由服務(wù)器獨(dú)立完成；4.操作簡單，易于實(shí)現(xiàn)；5.與編解碼器和網(wǎng)絡(luò)協(xié)議無關(guān)；6.效果明顯，極具商業(yè)潛力。
圖2為本發(fā)明的流媒體點(diǎn)播的音視頻切換方法實(shí)施例一流程圖。
圖3為本發(fā)明的流媒體點(diǎn)播的音視頻切換方法實(shí)施例二流程圖。
6.讀取likeyou.mp4文件的一幀，并將其封裝到RTP包中；7.將該RTP包中的音頻時(shí)間戳TSa_new、音頻序列號(hào)SNa_new、視頻時(shí)間戳TSv_new、視頻序列號(hào)SNv_new分別加上lucky.mp4的相應(yīng)序列號(hào)和時(shí)間戳TSv_new＝TSv_new+567；TSa_new＝TSa_new+78；SNv_new＝SNv_new+1890；SNa_new＝SNa_new+235；8.對RTP包中的時(shí)間戳進(jìn)行變換，同時(shí)序列號(hào)遞增1；TS→TS′；SN＝SN+1；9.將變換后的RTP包通過網(wǎng)絡(luò)發(fā)送到客戶端；10.客戶端在無需任何變動(dòng)的情況下，開始觀看一部新的音視頻文件。
本發(fā)明提出的服務(wù)器音視頻流切換實(shí)現(xiàn)方法的實(shí)施例二如圖3所示，本實(shí)施例采用與客戶端相關(guān)的切換方法；其具體包括以下步驟1.服務(wù)器依照正常流程向客戶端發(fā)送音視頻文件lucky.mp4；2.當(dāng)?shù)竭_(dá)60秒鐘后，服務(wù)器決定插入新的音視頻文件likeyou.mp4，3.服務(wù)器對于新的音視頻文件likeyou.mp4進(jìn)行初始化；4.同時(shí)，結(jié)束當(dāng)前音視頻文件lucky.mp4的播放；5.記錄下lucky.mp4播放中的相關(guān)信息音頻的序列號(hào)SNa_old為235和視頻的序列號(hào)SNv_old為1890；(不需要服務(wù)器主動(dòng)記錄時(shí)間戳)6.讀取likeyou.mp4文件的一幀，并將其封裝到RTP包中；7.將該RTP包中的音頻序列號(hào)SNa_new、視頻序列號(hào)SNv_new分別加上lucky.mp4的音、視頻序列號(hào)SNv_new＝SNv_new+1890；SNa_new＝SNa_new+235；8.對RTP包中的時(shí)間戳進(jìn)行變換，同時(shí)序列號(hào)遞增1；TS→TS′；SN＝SN+1；9.將變換后的RTP包通過網(wǎng)絡(luò)發(fā)送到客戶端；10.客戶端播放器在收到數(shù)據(jù)包后，將其還原為一幀，根據(jù)序列號(hào)SN排序，對時(shí)間戳進(jìn)行反變換TS′→TS，得到TS；11.播放器檢測到當(dāng)前數(shù)據(jù)包的時(shí)間戳為0，(即時(shí)間戳TS發(fā)生顯著變化)；12.客戶端認(rèn)為這是一部新的音視頻文件，調(diào)整當(dāng)前基準(zhǔn)時(shí)間匹配新的時(shí)間戳，并重新計(jì)時(shí)；13.客戶端開始觀看一部新的音視頻文件。
權(quán)利要求
1.一種基于流媒體技術(shù)的服務(wù)器音視頻流切換方法，其特征在于，當(dāng)服務(wù)器以正常情況下發(fā)音視頻文件時(shí)，可以根據(jù)需要，切換到不同的節(jié)目源，具體包括完全由服務(wù)器實(shí)現(xiàn)的與客戶端無關(guān)的切換方法和需要客戶端進(jìn)行少量修改的與客戶端相關(guān)的切換方法。
2.如權(quán)利要求1所述的基于流媒體技術(shù)的服務(wù)器音視頻流切換方法，其特征在于，所說的與客戶端無關(guān)的切換方法，包括以下步驟1)服務(wù)器依照正常流程，向客戶端下發(fā)音視頻文件；2)當(dāng)播放到一設(shè)定時(shí)刻，由服務(wù)器決定是否插入新的音視頻流若否，則正常播放原有的音視頻文件；3)若是，服務(wù)器對于將要播放的新的音視頻文件進(jìn)行初始化工作；4)同時(shí)對于目前正在播放的音視頻流暫?；蛘咄顺?；5)根據(jù)音、視頻流的不同，分別記錄下暫停或者退出的RTP數(shù)據(jù)包中的序列號(hào)和時(shí)間戳，其中序列號(hào)和時(shí)間戳均為正整數(shù)；6)讀取將要播放的新的音視頻文件，并將其中一幀封裝到RTP數(shù)據(jù)包中；7)將RTP包中此時(shí)的音、視頻時(shí)間戳、序列號(hào)分別加上已暫?；蛲顺鲆粢曨l文件的序列號(hào)和時(shí)間戳；8)對RTP包中的音、視頻時(shí)間戳進(jìn)行變換，同時(shí)序列號(hào)遞增19)經(jīng)過變換后的時(shí)間戳和序列號(hào)的RTP數(shù)據(jù)包通過網(wǎng)絡(luò)傳送出去；10)客戶端無需任何改動(dòng)，與正常播放的流程相同，開始觀看一部新的音視頻文件。
3.如權(quán)利要求1所述的基于流媒體技術(shù)的服務(wù)器音視頻流切換方法，其特征在于，所說的與客戶端相關(guān)的切換方法，包括以下步驟1)服務(wù)器依照正常流程，向客戶端下發(fā)音視頻文件；2)當(dāng)播放到一設(shè)定時(shí)刻，由服務(wù)器決定是否插入新的音視頻流若否，則正常播放原有的音視頻文件；3)若是，服務(wù)器對于將要播放的新的音視頻文件進(jìn)行初始化工作；4)同時(shí)對于目前正在播放的音視頻流暫?；蛘咄顺觯?)根據(jù)音、視頻流的不同，記錄下暫?；蛘咄顺龅腞TP數(shù)據(jù)包中的序列號(hào)；6)讀取將要播放的新的音視頻文件，并將其中一幀封裝到RTP數(shù)據(jù)包中；7)將此時(shí)RTP包中的序列號(hào)加上已退出音視頻文件的序列號(hào)；8)對RTP包中的時(shí)間戳進(jìn)行變換，同時(shí)序列號(hào)遞增1；9)將經(jīng)過時(shí)間戳和序列號(hào)變換后的RTP數(shù)據(jù)包通過網(wǎng)絡(luò)傳送出去；10)客戶端收到此時(shí)的RTP數(shù)據(jù)包，將其還原為一幀，根據(jù)其中的序列號(hào)SN進(jìn)行排序，并對時(shí)間戳進(jìn)行反變換；11)播放器此時(shí)將檢測到時(shí)間戳TS發(fā)生顯著變化；12)客戶端認(rèn)為這是一部新的音視頻文件，調(diào)整當(dāng)前基準(zhǔn)時(shí)間匹配新的時(shí)間戳，并重新開始計(jì)時(shí)；13)客戶端開始觀看一部新的音視頻文件。
全文摘要
本發(fā)明屬于計(jì)算機(jī)多媒體技術(shù)領(lǐng)域，涉及一種流媒體點(diǎn)播的音視頻切換方法。其特征在于，當(dāng)服務(wù)器以正常情況下發(fā)音視頻文件時(shí)，可以根據(jù)需要，切換到不同的節(jié)目源，具體包括完全由服務(wù)器實(shí)現(xiàn)的與客戶端無關(guān)的切換方法和需要客戶端進(jìn)行少量修改的與客戶端相關(guān)的切換方法。采用本發(fā)明，流媒體服務(wù)器在播放過程中，可以使得用戶在通過網(wǎng)絡(luò)欣賞音視頻節(jié)目的同時(shí)，選擇多個(gè)節(jié)目源，使得客戶端在沒有任何感知的，同時(shí)不需要任何改動(dòng)或僅需要改動(dòng)時(shí)間戳的情況下，看到多個(gè)音視頻節(jié)目。從而為用戶提供更多、更豐富的服務(wù)。
文檔編號(hào)G11B27/034GK1431660SQ0310473
公開日2003年7月23日 申請日期2003年2月28日 優(yōu)先權(quán)日2003年2月28日
發(fā)明者戴瓊海, 李煒, 曾珂 申請人:清華大學(xué)