專利名稱：音視頻緩存同步播放的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種音視頻緩存同步播放的方法。
技術(shù)背景音視頻同步(即唇音同步)是檢測一個(gè)視頻會(huì)議產(chǎn)品的重要技術(shù)指標(biāo)。好的視頻會(huì)議產(chǎn) 品需要唇音同步，這樣有助于提高溝通的效果。在檢測是否能實(shí)現(xiàn)唇音同步時(shí)，常由操作發(fā) 送端的人員從一到十報(bào)數(shù)，報(bào)數(shù)的同時(shí)用手指示意，然后在接收端觀察效果來判斷唇音同步 的好壞。在視頻會(huì)議系統(tǒng)中，產(chǎn)生唇音不同步的原因是由于音頻信號和視頻信號分別編碼、分別 傳輸，由于IP優(yōu)先級、音視頻包大小、網(wǎng)絡(luò)傳輸延時(shí)等因素的影響，會(huì)使音視頻包到達(dá)順序 不同，從而打亂音頻包與相應(yīng)的視頻包的同步關(guān)系，最終的結(jié)果導(dǎo)致聲音與口型失去同步。目前支持唇音同步的視頻設(shè)備通常是通過使用IP包中的RTP時(shí)間戳信息來糾正這一問 題。利用RTP時(shí)間戳，設(shè)備能夠確定哪一音頻包與哪一視頻包對應(yīng)，然后在接收端重新調(diào)整 相應(yīng)的音視頻包對應(yīng)關(guān)系，以保證聲音與口型的同步。如在中國專利號為02128329的"一種 實(shí)現(xiàn)多種視音頻流格式轉(zhuǎn)換的裝置"中，公開了一唇音同步模塊，其根據(jù)RTP時(shí)間信息及RTCP 包的同步時(shí)間信息確定音頻、視頻數(shù)據(jù)的網(wǎng)絡(luò)延遲時(shí)間，再根據(jù)得到的相對網(wǎng)絡(luò)時(shí)延填充靜 音或緩存圖像來實(shí)現(xiàn)音頻和視頻的同步，此種通過填充靜音或緩存圖像來實(shí)現(xiàn)同步的方式不 可避免會(huì)存在圖像和聲音的不協(xié)調(diào)。而且，在一大型視頻會(huì)議系統(tǒng)，往往會(huì)存在多路音視頻 信息的傳輸，而多路流的網(wǎng)絡(luò)傳輸延時(shí)并非完全一致，如此當(dāng)同一終端在播放多路音視頻信 息時(shí)存在的圖像和聲音的不同步以及相互之間通訊時(shí)的不協(xié)調(diào)顯得尤為突出，嚴(yán)重影響會(huì)議 質(zhì)量。因此，如何解決現(xiàn)有唇音同步存在的問題，實(shí)已成為本領(lǐng)域技術(shù)人員亟待解決的技術(shù)課題。發(fā)明內(nèi)容本發(fā)明的目的在于提供一種音視頻緩存同步播放的方法，以實(shí)現(xiàn)音視頻的唇音同步，同 時(shí)又能改善多路音視頻通訊間的協(xié)調(diào)性。為了達(dá)到上述目的，本發(fā)明提供的用于具有音視頻編碼裝置及播放裝置的系統(tǒng)的音視頻緩存同步播放的方法，包括步驟1)音視頻編碼裝置在對采集的音視頻信息進(jìn)行編碼時(shí)，分 別給每一音頻及視頻包打上當(dāng)前時(shí)間信息的時(shí)間戳；2)設(shè)定播放裝置存儲接收的音視頻包的 初始緩存時(shí)間；3)播放裝置接收傳送至的已打上對間戳的音頻及視頻包，并將接收的音頻及 視頻包予以存儲；4)根據(jù)已存儲的音頻及視頻包所具有的時(shí)間戳判斷其中最小的時(shí)間戳與最 新存儲的音頻或視頻包所具有的時(shí)間戳的差值是否超過初始緩存時(shí)間；5)當(dāng)最小的時(shí)間戳與 最新存儲的音頻及視頻包所具有的時(shí)間戳的差值超過初始緩存時(shí)間時(shí)，搜索已存儲的音頻包 和視頻包以找出時(shí)間戳落入以所述最小時(shí)間戳為起點(diǎn)，長度為初始緩存時(shí)間這一時(shí)間段內(nèi)的 相應(yīng)音頻包和視頻包，并判K 搜索出的音頻包和視頻包是否相互對應(yīng)；6)當(dāng)搜索出的音頻包 和視頻包不相互對應(yīng)時(shí)，修改存儲的音視頻包的緩存時(shí)間以使搜索出的音頻包和視頻包能相 互對應(yīng)；7)當(dāng)搜索出的音頻包和視頻包相互對應(yīng)時(shí)，播放裝置播放搜索出的相互對應(yīng)的音視 頻包，并將巳播放的音視頻包予以刪除。
較佳的，所述具有音視頻編碼裝置及播放裝置的系統(tǒng)為視頻會(huì)議系統(tǒng)。 較佳的，所述音視頻編碼裝置在對多路音視頻信息進(jìn)行編碼打時(shí)間戳?xí)r，采用同一時(shí)鐘 提供的時(shí)間；同時(shí)當(dāng)播放裝置存儲接收的音視頻包為多路音視頻信息的音視頻包時(shí)，在步驟2) 中設(shè)定的多路音視頻信息的音視頻包的初始緩存時(shí)間都相同，而且在步驟6)中，當(dāng)僅搜索出 一路的音頻包和視頻包不相互對應(yīng)時(shí)，修改該路的音頻包和視頻包的緩存時(shí)間，同時(shí)其他路 的音頻包和視頻包的緩存時(shí)間也作相應(yīng)的修改。
綜上所述，本發(fā)明的音視頻緩存同步播放的方法通過采集編碼時(shí)打上的時(shí)間戳和自動(dòng)調(diào) 整緩存時(shí)間，可實(shí)現(xiàn)每路音視頻唇音同步，并可改善多路音視頻通訊間的協(xié)調(diào)性。


圖1為本發(fā)明的音視頻緩存同步播放的方法的操作流程示意圖。
具體實(shí)施例方式
本發(fā)明的音視頻緩存同步播放的方法用于具有音視頻編碼裝置及播放裝置的系統(tǒng)中，例 如，用于具有多路音視頻信息的視頻會(huì)議系統(tǒng)中，每一參與視頻會(huì)議系統(tǒng)的終端都能通過攝 像裝置等提供相應(yīng)音視頻信息，同時(shí)也能通過播放裝置播放接收的其他終端傳送來的音視頻信息。
請參閱圖1，本發(fā)明的音視頻緩存同步播放的方法主要包括以下步驟-第一步音視頻編碼裝置在對采集的音視頻信息進(jìn)行編碼時(shí)，分別給每一音頻及視頻包打上 當(dāng)前時(shí)間信息的時(shí)間戳，由于存在多路需要編碼的音視頻信息，對每一路進(jìn)行編碼時(shí)都采用 同一時(shí)鐘提供的時(shí)間作為當(dāng)前時(shí)間，如此可有效保證來自不同終端的音視頻信息被打上的時(shí) 間戳的參考時(shí)間是一致的，不僅可以作為單路音視頻唇音同步的校正依據(jù)，還可作為會(huì)議各 路之間協(xié)調(diào)校正的延緩修正依據(jù)。
第二步設(shè)定播放裝置存儲接收的音視頻包的初始緩存時(shí)間，可由操作人員預(yù)先通過程序設(shè) 定，也可由操作人員通過提供的操作界面來設(shè)定，操作界面的提供方法已為本領(lǐng)域技術(shù)人員 所熟悉，故在此不再詳述，不過，當(dāng)播放裝置存儲接收的音視頻包為多路音視頻信息的音視 頻包時(shí)，所設(shè)定的多路音視頻信息的音視頻包的初始緩存時(shí)間都是一致的。 第三步播放裝置根據(jù)用戶的需要接收傳送至的已打上時(shí)間戳的音頻及視頻包，并將接收的 音頻及視頻包予以存儲，通常是存儲在文件中，所述音視頻編碼裝置通常先將打上時(shí)間戳的 音頻和視頻包傳送至流媒體服務(wù)器，所述播放裝置根據(jù)用戶的需要向流媒體服務(wù)器發(fā)送傳送 指令，由所述流媒體服務(wù)器根據(jù)指令發(fā)送相應(yīng)的各路音頻及視頻包。
第四步根據(jù)己存儲的音頻及視頻包所具有的時(shí)間戳判斷其中最小的時(shí)間戳與最新存儲的音 頻或視頻包所具有的時(shí)間戳的差值是否超過初始緩存時(shí)間，若是，進(jìn)至第五步，否則播放裝 置繼續(xù)接收音頻及視頻包，當(dāng)存儲的僅一路音頻及視頻包時(shí)，則只需判斷該路的相應(yīng)的時(shí)間 戳的差值是否超過初始緩存時(shí)間，若是，則進(jìn)至第五步，否則就繼續(xù)接收音頻及視頻包；當(dāng) 存儲有多路音頻及視頻包時(shí)，則需判斷每一路的相應(yīng)的時(shí)間戳的差值是否超過初始緩存時(shí)間， 若是，則進(jìn)至第五步，若其中有某一路相應(yīng)的時(shí)間戳的差值未超過初始緩存時(shí)間則需繼續(xù)接 收音頻及視頻包。
第五步在緩存中搜索已存儲的音頻包和視頻包以找出時(shí)間戳落入以所述最小時(shí)間戳為起點(diǎn)， 長度為初始緩存時(shí)間這一時(shí)間段內(nèi)的相應(yīng)音頻包和視頻包。
第六步，判斷搜索出的音頻包和視頻包是否相互對應(yīng)，若不能相互對應(yīng)，則進(jìn)至第七步，否 則進(jìn)至第八步，其中，對于多路音頻包和視頻包，當(dāng)僅搜索出一路的音頻包和視頻包不相互 對應(yīng)時(shí)，則進(jìn)至第七步，只有當(dāng)所有路的音頻包和視頻包分別相互對應(yīng)時(shí)，則進(jìn)至第八步。
第七步修改存儲的音視頻包的緩存時(shí)間以使搜索出的音頻包和視頻包能相互對應(yīng)，即延長 緩存時(shí)間，通常是通過預(yù)設(shè)規(guī)則來進(jìn)行修改，例如每次增加5秒等，需注意的是，當(dāng)只修改 一路的音頻包和視頻包的緩存時(shí)間，相應(yīng)其他路的音頻包和視頻包的緩存時(shí)間也作相應(yīng)的修 改以使各路的音頻包和視頻包的緩存時(shí)間保持一致。第八步播放裝置播放搜索出的相互對應(yīng)的音視頻包，并將己播放的音視頻包從緩存中刪除。 綜上所述，本發(fā)明的音視頻緩存同步播放的方法在校正音視頻還原播放時(shí)，并不參考本 地接收包的時(shí)間而是直接根據(jù)音視頻包上的時(shí)間戳做延緩播放的修正，可很好的實(shí)現(xiàn)會(huì)議協(xié) 調(diào)，音視頻完美同步，此外，其通過自動(dòng)調(diào)整音視頻包的緩存時(shí)間，可有效將一路或多路音 頻和視頻協(xié)調(diào)一致，提高視頻會(huì)議系統(tǒng)的會(huì)議質(zhì)量，同時(shí)對同一終端播放多路音視頻時(shí)能有 足夠的緩存數(shù)據(jù)來實(shí)現(xiàn)音視頻的還原播放，提高播放的多路音頻和視頻的協(xié)調(diào)性。
權(quán)利要求
1.一種音視頻緩存同步播放的方法，用于具有音視頻編碼裝置及播放裝置的系統(tǒng)，其特征在于包括步驟1)音視頻編碼裝置在對采集的音視頻信息進(jìn)行編碼時(shí)，分別給每一音頻及視頻包打上當(dāng)前時(shí)間信息的時(shí)間戳；2)設(shè)定播放裝置存儲接收的音視頻包的初始緩存時(shí)間；3)播放裝置接收由所述音視頻編碼裝置打上時(shí)間戳的音頻及視頻包，并將接收的音頻及視頻包予以存儲；4)根據(jù)已存儲的音頻及視頻包所具有的時(shí)間戳判斷其中最小的時(shí)間戳與最新存儲的音頻或視頻包所具有的時(shí)間戳的差值是否超過初始緩存時(shí)間；5)當(dāng)最小的時(shí)間戳與最新存儲的音頻及視頻包所具有的時(shí)間戳的差值超過初始緩存時(shí)間時(shí)，搜索已存儲的音頻包和視頻包以找出時(shí)間戳落入以所述最小時(shí)間戳為起點(diǎn)，長度為初始緩存時(shí)間這一時(shí)間段內(nèi)的相應(yīng)音頻包和視頻包，并判斷搜索出的音頻包和視頻包是否相互對應(yīng)；6)當(dāng)搜索出的音頻包和視頻包不相互對應(yīng)時(shí)，修改存儲的音視頻包的緩存時(shí)間以使搜索出的音頻包和視頻包能相互對應(yīng)；7)當(dāng)搜索出的音頻包和視頻包相互對應(yīng)時(shí)，播放裝置播放搜索出的相互對應(yīng)的音視頻包，并將已播放的音視頻包予以刪除。
2. 如權(quán)利要求1所述的音視頻緩存同步播放的方法，其特征在于所述具有音視頻編碼 裝置及播放裝置的系統(tǒng)為視頻會(huì)議系統(tǒng)。
3. 如權(quán)利要求1所述的音視頻緩存同步播放的方法，其特征在于所述音視頻編碼裝置 在對多路音視頻信息進(jìn)行編碼打時(shí)間戳?xí)r，采用同一時(shí)鐘提供的時(shí)間。
4. 如權(quán)利要求1所述的音視頻緩存同步播放的方法，其特征在于當(dāng)播放裝置存儲接收 的音視頻包為多路音視頻信息的音視頻包時(shí)，在步驟2)中設(shè)定的多路音視頻信息的 音視頻包的初始緩存時(shí)間都相同。
5. 如權(quán)利要求4所述的音視頻緩存同步播放的方法，其特征在于在步驟6)中，當(dāng)僅 搜索出一路的音頻包和視頻包不相互對應(yīng)時(shí)，修改該路的音頻包和視頻包的緩存時(shí) 間，同時(shí)其他路的音頻包和視頻包的緩存時(shí)間也作相應(yīng)的修改。
全文摘要
一種音視頻緩存同步播放的方法，其在對采集的音視頻信息進(jìn)行編碼時(shí)，分別給每一音頻及視頻包打上當(dāng)前時(shí)間信息的時(shí)間戳，然后設(shè)定播放裝置存儲接收的音視頻包的緩存時(shí)間，接著播放裝置接收傳送至的已打上時(shí)間戳的音頻及視頻包，并存儲之，并當(dāng)已存儲的音頻及視頻包所具有的最小時(shí)間戳與最新存儲的音頻或視頻包所具有的時(shí)間戳的差值超過初始緩存時(shí)間時(shí)，搜索已存儲的音頻包和視頻包以找出時(shí)間戳落入以所述最小時(shí)間戳為起點(diǎn)，長度為初始緩存時(shí)間這一時(shí)間段內(nèi)的相應(yīng)音頻包和視頻包，并判斷搜索出的音頻包和視頻包是否相互對應(yīng)，當(dāng)不對應(yīng)時(shí)則修改緩存時(shí)間以使搜索出的音頻包和視頻包能相互對應(yīng)，由此可完美實(shí)現(xiàn)音視頻唇音同步，并可改善多路音視頻通訊間的協(xié)調(diào)性。
文檔編號H04N7/62GK101237586SQ20081003382
公開日2008年8月6日 申請日期2008年2月22日 優(yōu)先權(quán)日2008年2月22日
發(fā)明者杜權(quán)勝 申請人:上海華平信息技術(shù)股份有限公司