專(zhuān)利名稱(chēng)：一種手機(jī)流媒體音視頻的同步方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種手機(jī)流媒體技術(shù)，尤其涉及的是一種手機(jī)流媒體音視 頻的同步方法改進(jìn)。
背景技術(shù)：
近年來(lái)，隨著計(jì)算機(jī)技術(shù)、壓縮技術(shù)以及Intemet網(wǎng)絡(luò)技術(shù)的發(fā)展，無(wú) 線(xiàn)網(wǎng)絡(luò)中的流媒體業(yè)務(wù)也得到了飛速的發(fā)展和應(yīng)用。所謂流媒體簡(jiǎn)單來(lái)說(shuō)， 就是應(yīng)用流技術(shù)在網(wǎng)絡(luò)上傳輸?shù)亩嗝襟w數(shù)據(jù)(音頻、視頻、動(dòng)畫(huà)或者其他 多媒體文件)。多媒體數(shù)據(jù)傳輸?shù)囊粋€(gè)尖銳的問(wèn)題就是不可預(yù)料數(shù)據(jù)到達(dá)時(shí) 間。但是流媒體的傳輸是需要數(shù)據(jù)的適時(shí)的到達(dá)用以播放和回放，而流技 術(shù)就是把連續(xù)的影^像和聲音信息經(jīng)過(guò)壓縮處理后上傳網(wǎng)站服務(wù)器，讓用戶(hù) 一邊下載一邊觀看、收聽(tīng)，并不需要等整個(gè)壓縮文件下載到自己機(jī)器后才 可以觀看的網(wǎng)絡(luò)傳輸-:技術(shù)。隨著移動(dòng)傳輸技術(shù)的發(fā)展以及3G網(wǎng)絡(luò)的成熟，流媒體技術(shù)越來(lái)越多的 運(yùn)用到手機(jī)終端上。通過(guò)該技術(shù)，能夠向用戶(hù)提供信息、娛樂(lè)、通信、監(jiān) 控和定位五大項(xiàng)的服務(wù)內(nèi)容，包括例如移動(dòng)游戲、移動(dòng)視頻點(diǎn)播和直播、 移動(dòng)視頻聊天和移動(dòng)卡拉OK等多種具體的業(yè)務(wù)。流媒體技術(shù)運(yùn)用流式傳輸方式將音視頻等多媒體文件經(jīng)過(guò)特殊的壓縮 編碼方式分成一個(gè)個(gè)數(shù)據(jù)包，由視頻服務(wù)器向用戶(hù)手機(jī)連續(xù)、實(shí)時(shí)的傳送。 手機(jī)用戶(hù)不必像非流式播放那樣等到整個(gè)文件全部下載完畢后才能看到其 中的內(nèi)容，而是只需要經(jīng)過(guò)幾秒或幾十秒的啟動(dòng)延時(shí)即可在用戶(hù)的手機(jī)上利用相應(yīng)的播放器以及相應(yīng)的硬件、軟件對(duì)壓縮的音視頻等流式多媒體文 件解碼后進(jìn)行在線(xiàn)播放和觀看，而多媒體文件的剩余部分將在后臺(tái)的服務(wù) 器內(nèi)繼續(xù)下載。由于流媒體文件的音視頻數(shù)據(jù)包在移動(dòng)傳輸網(wǎng)絡(luò)中是分開(kāi)傳輸?shù)?，如何在手機(jī)終端上正確恢復(fù)音頻和^L頻原有的關(guān)系，即實(shí)現(xiàn)音^L頻的同步播 放成為手機(jī)流媒體播放器的關(guān)鍵技術(shù)之一。但是，目前限于手機(jī)終端的技 術(shù)應(yīng)用和所用解碼芯片，無(wú)法操作解碼后的數(shù)據(jù)流，加上音、視頻數(shù)據(jù)流 在傳輸和解碼過(guò)程中，由于設(shè)備所分別產(chǎn)生的時(shí)間偏差，也就很難對(duì)音視 頻解碼后的數(shù)據(jù)流提供同步播放方案。一般來(lái)說(shuō)，理想的同步方案是在音視頻數(shù)據(jù)完成相應(yīng)的解碼后，通過(guò) 比較音視頻各幀的時(shí)間戳(Time Stamp )來(lái)分別決定音頻送揚(yáng)聲器和視頻 送LCD顯示器的時(shí)間。這樣可以將音、視頻在分別傳輸和解碼過(guò)程中由于 設(shè)備產(chǎn)生的時(shí)間偏差減到最小。但是，由于手機(jī)終端的某些技術(shù)限制，有 時(shí)使用的解碼芯片無(wú)法提供對(duì)解碼后數(shù)據(jù)的操作，也就無(wú)法實(shí)施對(duì)音視頻 解碼后數(shù)據(jù)的理想同步方案。因此，現(xiàn)有技術(shù)尚有待改進(jìn)和發(fā)展。發(fā)明內(nèi)容本發(fā)明的目的在于提供一種手機(jī)流媒體音視頻的同步方法，使得現(xiàn)有 的技術(shù)條件下，手機(jī)終端流媒體播放器可以實(shí)現(xiàn)音視頻的同步播放。 本發(fā)明的技術(shù)方案如下一種手機(jī)流媒體音視頻的同步方法，其包括以下步驟A、 將所接收到的音、視頻數(shù)據(jù)包注冊(cè)到手機(jī)終端的緩沖區(qū)中，并進(jìn)行 組幀和排序；B、 當(dāng)解碼器對(duì)音頻數(shù)據(jù)包進(jìn)行解碼時(shí)記錄音頻數(shù)據(jù)包送解碼器的系統(tǒng) 時(shí)間與所述音頻數(shù)據(jù)包中音頻幀的時(shí)間戳之間的差值作為參考時(shí)間偏差值；c、根據(jù)所述參考時(shí)間偏差值確定所述視頻數(shù)據(jù)包的解碼及發(fā)送顯示時(shí) 間，以實(shí)現(xiàn)同步插^改。所述的同步方法，其中，所述步驟C具體還包括Cl、所述解碼器對(duì)所述^L頻數(shù)據(jù)包進(jìn)行解碼前，確定發(fā)送^L頻解碼的 系統(tǒng)時(shí)間為所述參考時(shí)間偏差值、完成相同長(zhǎng)度音、視頻數(shù)據(jù)所需的解碼 時(shí)間延遲以及待解碼3見(jiàn)頻數(shù)據(jù)包中視頻幀的時(shí)間戳之和；C2、比較所述發(fā)送視頻解碼的系統(tǒng)時(shí)間和當(dāng)前手機(jī)系統(tǒng)時(shí)間，如果一 致則進(jìn)行對(duì)應(yīng)的^L頻解碼和發(fā)送顯示。所述的同步方法，其中，所述步驟C2中還包括在所述發(fā)送^f見(jiàn)頻解碼 的系統(tǒng)時(shí)間未到當(dāng)前手機(jī)系統(tǒng)時(shí)間時(shí)，則循環(huán)比較所述發(fā)送視頻解碼的系 統(tǒng)時(shí)間和當(dāng)前手才幾系統(tǒng)時(shí)間。所述的同步方法，其中，所述步驟C2中還包括在所述發(fā)送視頻解碼 的系統(tǒng)時(shí)間超過(guò)當(dāng)前手機(jī)系統(tǒng)時(shí)間時(shí)，丟棄對(duì)應(yīng)延遲的視頻數(shù)據(jù)幀。所述的同步方法，其中，所述步驟A還包括Al、在所述緩沖區(qū)中分別創(chuàng)建音頻流數(shù)據(jù)鏈表和視頻流數(shù)據(jù)鏈表；A2、判斷所收到數(shù)據(jù)包的類(lèi)型是音頻數(shù)據(jù)包還是—見(jiàn)頻數(shù)據(jù)包；A3、如果是音頻數(shù)據(jù)包則在所述音頻流數(shù)據(jù)鏈表中注冊(cè)；如果是視頻 數(shù)據(jù)包則在所述視頻數(shù)據(jù)鏈表中注冊(cè)。所述的同步方法，其中，所述步驟A中的組幀和排序過(guò)程根據(jù)對(duì)應(yīng)音、 視頻數(shù)據(jù)包中的載荷類(lèi)型、序列號(hào)和時(shí)間戳進(jìn)行。所述的同步方法，其中，所述緩沖區(qū)的大小由所述音、視頻數(shù)據(jù)包的碼 流速率和需要緩沖的音、視頻數(shù)據(jù)包數(shù)據(jù)長(zhǎng)度決定。所述的同步方法，其中，所述步驟B還包括當(dāng)所述緩沖區(qū)中的音頻數(shù)據(jù)包達(dá)到預(yù)定閥值時(shí)，向所述解碼器發(fā)送對(duì)應(yīng) 數(shù)據(jù)包進(jìn)行解碼。所述的同步方法，其中，所述步驟B還包括 所述閥值大小依據(jù)緩沖區(qū)大小和所用解碼芯片預(yù)先設(shè)定。 所述的同步方法，其中，所述步驟C中還對(duì)所述參考時(shí)間偏差值定期 更新。本發(fā)明所提供的一種手機(jī)流媒體音視頻的同步方法，由于采用了音視 頻解碼前的同步方案，尤其是通過(guò)音視頻解碼時(shí)間補(bǔ)償值修正參考時(shí)間偏 差值的手段，有效地解決了音、視頻數(shù)據(jù)流在傳輸和解碼前的過(guò)程中，因 設(shè)備所分別產(chǎn)生的時(shí)間偏差，突破了目前手機(jī)終端的某些技術(shù)和所用解碼 器對(duì)解碼后音視頻數(shù)據(jù)流無(wú)法操作的限制，較好的實(shí)現(xiàn)了手機(jī)終端音視頻 的同步播放。


圖1為本發(fā)明手機(jī)流媒體音視頻的同步方法流程圖。
具體實(shí)施方式
以下將結(jié)合附圖所示，對(duì)手機(jī)流媒體音視頻的同步方法加以進(jìn)一步的 詳細(xì)說(shuō)明。本發(fā)明手機(jī)流媒體音視頻的同步方法，主要改進(jìn)在，音視頻數(shù)據(jù)流解 碼前的同步過(guò)程，至于移動(dòng)傳輸網(wǎng)絡(luò)內(nèi)流媒體如何發(fā)送和接受，手機(jī)終端 硬件如何制作以及其播放器軟件的編寫(xiě)過(guò)程為現(xiàn)有技術(shù)所熟知，在此不再.贅述。本發(fā)明手機(jī)流媒體音視頻的同步方法，在手機(jī)終端播放器的驅(qū)動(dòng)程序 和軟件設(shè)計(jì)時(shí)，設(shè)置出一緩沖區(qū)，用于接收和處理音視頻的數(shù)據(jù)包，所述 緩沖區(qū)的大小由所傳輸流媒體片源(即所述音、視頻數(shù)據(jù)包)的碼流速率和所 需要緩沖音、視頻數(shù)據(jù)包的數(shù)據(jù)長(zhǎng)度決定，其中分別創(chuàng)建音頻和視頻流的 數(shù)據(jù)鏈表。調(diào)整手機(jī)的設(shè)置開(kāi)通socket端口，使該端口能接受到來(lái)自移動(dòng)傳輸網(wǎng)絡(luò)的音L頻RTP ( Real-time Transport Protocol實(shí)時(shí)傳輸協(xié)議)數(shù)據(jù)包， 按照所述RTP數(shù)據(jù)包的載荷類(lèi)型(Payload Type字^:)、序列號(hào)(S叫uence Number字段)以及時(shí)間戳(Time Stamp字段)的不同，判斷所收到數(shù)據(jù)包 的類(lèi)型是音頻數(shù)據(jù)包還是視頻數(shù)據(jù)包，將所述音、視頻數(shù)據(jù)包注冊(cè)到所述 手機(jī)終端播放器的緩沖區(qū)內(nèi)各自的音頻和視頻流的數(shù)據(jù)鏈表中，并進(jìn)行相 應(yīng)的組幀和排序工作。如圖1所示，如果載荷類(lèi)型符合音頻數(shù)據(jù)包，就將該 數(shù)據(jù)包注冊(cè)到所述緩沖區(qū)內(nèi)音頻流的數(shù)據(jù)鏈表中，并根據(jù)該類(lèi)音頻數(shù)據(jù)包 的序列號(hào)和時(shí)間戳完成組幀和排序。同理，-現(xiàn)頻凝:據(jù)包的處理過(guò)程亦然。當(dāng)所述緩沖區(qū)中的音頻數(shù)據(jù)達(dá)到 一定閥值時(shí)，則開(kāi)始向音頻解碼器發(fā) 送音頻數(shù)據(jù)包進(jìn)行解碼，所述閥值大小可依據(jù)緩沖區(qū)大小和所用解碼芯片 預(yù)先設(shè)定。此時(shí)計(jì)算并記錄當(dāng)前手機(jī)系統(tǒng)時(shí)間與所送音頻幀時(shí)間戳的偏差 值，即參考時(shí)間偏差值；然后送音頻解碼器解碼和送揚(yáng)聲器播放。所述偏 差值將成為視頻送解碼時(shí)間的參考標(biāo)準(zhǔn)之一，而且定期更新該數(shù)值，其具 體公式是參考時(shí)間偏差值=音頻送解碼的系統(tǒng)時(shí)間一所送音頻幀的時(shí)間戳 如圖1所示，當(dāng)所述緩沖區(qū)中的視頻數(shù)據(jù)也達(dá)到一定閥值時(shí)，則開(kāi)始向 視頻解碼器發(fā)送視頻數(shù)據(jù)包進(jìn)行解碼，此時(shí)計(jì)算并記錄視頻送解碼的系統(tǒng) 時(shí)間，等于所述參考時(shí)間偏差值、音視頻解碼時(shí)間補(bǔ)償值與所送視頻幀的 時(shí)間戳的和值。由于音頻解碼器完成解碼和送揚(yáng)聲器都需要一定時(shí)間；同 樣道理，視頻解碼器完成解碼和送LCD顯示器也都需要一定時(shí)間，所以需 要運(yùn)用音視頻解碼時(shí)間補(bǔ)償值對(duì)音頻設(shè)定的參考時(shí)間偏差值進(jìn)行修正。所 述音視頻解碼時(shí)間補(bǔ)償值，指的是完成相同長(zhǎng)度的音頻或視頻數(shù)據(jù)所需地 解碼時(shí)間延遲。根據(jù)所采用解碼方案的解碼特性， 一般來(lái)說(shuō)，同一解碼方 案中音頻格式和采樣率的不同，所需的解碼時(shí)間會(huì)不同；相應(yīng)地同一方案 中的視頻所需的解碼時(shí)間也會(huì)隨視頻格式和幀率的不同而變化，例如，完 成一幀音、視頻數(shù)據(jù)所需的解碼時(shí)間延遲。所述視頻送解碼的系統(tǒng)時(shí)間的具體公式是視頻送解碼的系統(tǒng)時(shí)間=參考時(shí)間偏差值+音視頻解碼時(shí)間補(bǔ)償值+所 送視頻幀的時(shí)間戳接下來(lái)將獲得的視頻送解碼的系統(tǒng)時(shí)間與當(dāng)前手機(jī)系統(tǒng)時(shí)間進(jìn)行比 較，即計(jì)算當(dāng)前手機(jī)系統(tǒng)時(shí)間和視頻送解碼的系統(tǒng)時(shí)間的差值，具體公式 如下△=當(dāng)前手才幾系統(tǒng)時(shí)間一^L頻送解碼的系統(tǒng)時(shí)間如果所述^L頻送解碼的系統(tǒng)時(shí)間大于所述當(dāng)前手^L系統(tǒng)時(shí)間，即所述 發(fā)送視頻解碼的系統(tǒng)時(shí)間未到當(dāng)前手機(jī)系統(tǒng)時(shí)間，說(shuō)明該視頻數(shù)據(jù)幀不能 送視頻解碼器解碼，還需要等待，則循環(huán)比較所述發(fā)送視頻解碼的系統(tǒng)時(shí) 間和當(dāng)前手機(jī)系統(tǒng)時(shí)間，此處的大于是指，A值大于了某個(gè)所設(shè)定的閥值；如果所述視頻送解碼的系統(tǒng)時(shí)間等于或略小于所述當(dāng)前手機(jī)系統(tǒng)時(shí) 間，即所述發(fā)送視頻解碼的系統(tǒng)時(shí)間和當(dāng)前手機(jī)系統(tǒng)時(shí)間一致，說(shuō)明該視 頻數(shù)據(jù)幀可以送視頻解碼器解碼，則進(jìn)行對(duì)應(yīng)的視頻解碼和發(fā)送顯示，此 處的等于或略小于是指，A值等于或略小于某個(gè)所設(shè)定的閥值；如果所述視頻送解碼的系統(tǒng)時(shí)間小于所述當(dāng)前手機(jī)系統(tǒng)時(shí)間太多，即 所述發(fā)送視頻解碼的系統(tǒng)時(shí)間超過(guò)當(dāng)前手機(jī)系統(tǒng)時(shí)間，說(shuō)明該視頻數(shù)據(jù)幀 到達(dá)太遲，則丟棄該視頻數(shù)據(jù)幀，此處的小于太多是指，A值小于某個(gè)所 設(shè)定的閥值太多，以至于達(dá)到另一個(gè)預(yù)定閥值。本發(fā)明具體實(shí)施方式
所描述手機(jī)流媒體音視頻的同步方法，根據(jù)實(shí)際 應(yīng)用還可以采用現(xiàn)有各種可能的方案，其基本手段為本領(lǐng)域技術(shù)人員所熟 知，在此不再贅述。本發(fā)明手機(jī)流媒體音視頻的同步方法，以音頻流的時(shí)間作為視頻流同 步的參考基準(zhǔn)，解決了目前手機(jī)終端受某些技術(shù)的限制，降低了所用解碼 器對(duì)數(shù)據(jù)的使用要求，更好的是，采用音視頻解碼時(shí)間補(bǔ)償值來(lái)修正參考 時(shí)間偏差值的手段，將音、視頻數(shù)據(jù)流在傳輸和解碼前的過(guò)程中，因設(shè)備所分別產(chǎn)生的時(shí)間偏差減到最小，實(shí)現(xiàn)了手機(jī)終端上解碼前流媒體音視頻 的同步。應(yīng)當(dāng)理解的是，對(duì)本領(lǐng)域普通技術(shù)人員來(lái)說(shuō)，可以根據(jù)上述方案的說(shuō) 明加以改進(jìn)或變換，例如以視頻流的時(shí)間作為音頻流同步的參考基準(zhǔn)等， 而所有這些改進(jìn)和變換都本應(yīng)屬于本發(fā)明所附權(quán)利要求的保護(hù)范圍。
權(quán)利要求
1. 一種手機(jī)流媒體音視頻的同步方法，其包括以下步驟A、將所接收到的音、視頻數(shù)據(jù)包注冊(cè)到手機(jī)終端的緩沖區(qū)中，并進(jìn)行組幀和排序；B、當(dāng)解碼器對(duì)音頻數(shù)據(jù)包進(jìn)行解碼時(shí)記錄音頻數(shù)據(jù)包送解碼器的系統(tǒng)時(shí)間與所述音頻數(shù)據(jù)包中音頻幀的時(shí)間戳之間的差值作為參考時(shí)間偏差值；C、根據(jù)所述參考時(shí)間偏差值確定所述視頻數(shù)據(jù)包的解碼及發(fā)送顯示時(shí)間，以實(shí)現(xiàn)同步播放。
2、 根據(jù)權(quán)利要求1所述的同步方法，其特征在于，所述步驟C具體還 包括Cl、所述解碼器對(duì)所述視頻數(shù)據(jù)包進(jìn)行解碼前，確定發(fā)送視頻解碼的 系統(tǒng)時(shí)間為所述參考時(shí)間偏差值、完成相同長(zhǎng)度音、視頻數(shù)據(jù)所 需的解碼時(shí)間延遲以及待解碼視頻數(shù)據(jù)包中視頻幀的時(shí)間戳之 和；C2、比較所述發(fā)送視頻解碼的系統(tǒng)時(shí)間和當(dāng)前手機(jī)系統(tǒng)時(shí)間，如果一 致則進(jìn)^f亍對(duì)應(yīng)的一見(jiàn)頻解碼和發(fā)送顯示。
3、 根據(jù)權(quán)利要求2所述的同步方法，其特征在于，所述步驟C2中還 包括在所述發(fā)送一見(jiàn)頻解碼的系統(tǒng)時(shí)間未到當(dāng)前手機(jī)系統(tǒng)時(shí)間時(shí)，則循環(huán) 比較所述發(fā)送視頻解碼的系統(tǒng)時(shí)間和當(dāng)前手機(jī)系統(tǒng)時(shí)間。
4、 根據(jù)權(quán)利要求2所述的同步方法，其特征在于，所述步驟C2中還 包括在所述發(fā)送視頻解碼的系統(tǒng)時(shí)間超過(guò)當(dāng)前手機(jī)系統(tǒng)時(shí)間時(shí)，丟棄對(duì) 應(yīng)延遲的-見(jiàn)頻數(shù)據(jù)幀。
5、 根據(jù)權(quán)利要求1至4任一所述的同步方法，其特征在于，所述步驟 A還包括Al 、在所述緩沖區(qū)中分別創(chuàng)建音頻流數(shù)據(jù)鏈表和視頻流數(shù)據(jù)鏈表； A2 、判斷所收到數(shù)據(jù)包的類(lèi)型是音頻數(shù)據(jù)包還是視頻數(shù)據(jù)包； A3、如果是音頻數(shù)據(jù)包則在所述音頻流數(shù)據(jù)鏈表中注冊(cè)；如果是視頻 數(shù)據(jù)包則在所述視頻數(shù)據(jù)鏈表中注冊(cè)。
6、 根據(jù)權(quán)利要求5所述的同步方法，其特征在于，所述步驟A中的組 幀和排序過(guò)程根據(jù)對(duì)應(yīng)音、視頻數(shù)據(jù)包中的載荷類(lèi)型、序列號(hào)和時(shí)間戳進(jìn) 行。
7、 根據(jù)權(quán)利要求1所述的同步方法，其特征在于，所述緩沖區(qū)的大小 由所述音、視頻數(shù)據(jù)包的碼流速率和需要緩沖的音、視頻數(shù)據(jù)包數(shù)據(jù)長(zhǎng)度 決定。
8、 根據(jù)權(quán)利要求1所述的同步方法，其特征在于，所述步驟B還包括 當(dāng)所述緩沖區(qū)中的音頻數(shù)據(jù)包達(dá)到預(yù)定閥值時(shí)，向所述解碼器發(fā)送對(duì)應(yīng)數(shù)據(jù)包進(jìn)行解碼。
9、 根據(jù)權(quán)利要求8所述的同步方法，其特征在于，所述步驟B還包括 所述閥值大小依據(jù)緩沖區(qū)大小和所用解碼芯片預(yù)先設(shè)定。
10、 根據(jù)權(quán)利要求1所述的同步方法，其特征在于，所述步驟C中還 對(duì)所述參考時(shí)間偏差值定期更新。
全文摘要
本發(fā)明公開(kāi)了一種手機(jī)流媒體音視頻的同步方法，其包括以下步驟將所接收到的音、視頻數(shù)據(jù)包注冊(cè)到手機(jī)終端的緩沖區(qū)中，進(jìn)行組幀和排序；當(dāng)解碼器對(duì)音頻數(shù)據(jù)包進(jìn)行解碼時(shí)，記錄音頻數(shù)據(jù)包送解碼器的系統(tǒng)時(shí)間與音頻數(shù)據(jù)包中音頻幀的時(shí)間戳之間的差值作為參考時(shí)間偏差值；根據(jù)參考時(shí)間偏差值確定視頻數(shù)據(jù)包的解碼及發(fā)送顯示時(shí)間，以實(shí)現(xiàn)同步播放。由于采用了音視頻解碼前的同步方案，尤其是通過(guò)音視頻解碼時(shí)間補(bǔ)償值修正參考時(shí)間偏差值的手段，有效地解決了音、視頻數(shù)據(jù)流在傳輸和解碼前的過(guò)程中，因設(shè)備所產(chǎn)生的時(shí)間偏差，突破了目前手機(jī)終端的某些技術(shù)和所用解碼器對(duì)解碼后音視頻數(shù)據(jù)流無(wú)法操作的限制，較好的實(shí)現(xiàn)了手機(jī)終端音視頻的同步播放。
文檔編號(hào)H04M1/72GK101271720SQ200810066900
公開(kāi)日2008年9月24日 申請(qǐng)日期2008年4月22日 優(yōu)先權(quán)日2008年4月22日
發(fā)明者輝 劉, 林 葉, 專(zhuān) 殷, 王勝娟 申請(qǐng)人:中興通訊股份有限公司