一種多屏聯(lián)動(dòng)音視頻同步系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及流媒體領(lǐng)域，特別涉及一種多屏聯(lián)動(dòng)音視頻同步系統(tǒng)。
【背景技術(shù)】
[0002]隨著網(wǎng)絡(luò)電視，通信技術(shù)及多媒體產(chǎn)品的迅速發(fā)展，流媒體技術(shù)成為近年來興起的一種在線播放技術(shù)，即邊下載邊播放，播放器并不用等到多媒體文件全部下載到本地存儲(chǔ)后再播放，而是下載的同時(shí)進(jìn)行播放。視頻和音頻的同步是媒體服務(wù)器提供視頻功能的重要環(huán)節(jié)，通常情況下，音頻和視頻數(shù)據(jù)存放在一個(gè)媒體文件中，并通過時(shí)間戳進(jìn)行同步，音視頻同步采用PTS來實(shí)現(xiàn)音視頻同步，音頻同步視頻PTS，視頻同步音頻PTS或者音視頻同步STC。目前，多屏聯(lián)動(dòng)技術(shù)已經(jīng)相對(duì)成熟，廣泛用于各個(gè)終端產(chǎn)品之間交互，一個(gè)智能終端作為主機(jī)，主機(jī)終端可以是手機(jī)或平板電腦，另一個(gè)終端作為從機(jī)，從機(jī)終端可以是電視或者手機(jī)，可以通過主機(jī)來控制從機(jī)顯示的內(nèi)容，所以多屏聯(lián)動(dòng)的音視頻同步是一個(gè)非常重要的問題，在現(xiàn)有技術(shù)中也主要通過時(shí)間戳來控制音視頻的同步，所以一般流媒體播放系統(tǒng)中音視頻數(shù)據(jù)同步需要打包封裝及寫入時(shí)間戳等步驟。

【發(fā)明內(nèi)容】

[0003]為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種多屏聯(lián)動(dòng)音視頻同步系統(tǒng)，通過該系統(tǒng)，無(wú)需對(duì)原始音視頻數(shù)據(jù)進(jìn)行打包，插入時(shí)間戳等步驟，只要將編碼后的每一幀音視頻數(shù)據(jù)發(fā)送即可，同時(shí)對(duì)于接收端來說，直接將音視頻數(shù)據(jù)立即解碼播放即可，所以該系統(tǒng)很大程度上簡(jiǎn)化了信源端編碼的流程，同時(shí)也保證了視頻數(shù)據(jù)與音頻數(shù)據(jù)的同步性。
[0004]本發(fā)明提供的技術(shù)方案為:
[0005]一種多屏聯(lián)動(dòng)音視頻同步系統(tǒng)，包括信源編碼端和接收端；
[0006]所述信源編碼端包括:
[0007]視頻編碼模塊，其用以對(duì)原始視頻數(shù)據(jù)進(jìn)行編碼；
[0008]音頻編碼模塊，其用以對(duì)原始音頻數(shù)據(jù)進(jìn)行編碼；
[0009]視頻數(shù)據(jù)TCP發(fā)送模塊，其通過TCP協(xié)議將編碼后的視頻數(shù)據(jù)發(fā)送至所述接收端;
[0010]音頻數(shù)據(jù)UDP發(fā)送模塊，其通過UDP協(xié)議將編碼后的音頻數(shù)據(jù)發(fā)送至所述接收端;
[0011]其中，對(duì)原始視頻數(shù)據(jù)的編碼與對(duì)原始音頻數(shù)據(jù)的編碼同時(shí)進(jìn)行，編碼后的視頻數(shù)據(jù)的發(fā)送時(shí)間與編碼后的音頻數(shù)據(jù)的發(fā)送時(shí)間的間隔小于40ms，所述接收端用于接收并播放編碼后的視頻數(shù)據(jù)以及編碼后的音頻數(shù)據(jù)。
[0012]優(yōu)選的是，所述的多屏聯(lián)動(dòng)音視頻同步系統(tǒng)，其特征在于，所述接收端包括:
[0013]視頻解碼模塊，用以對(duì)編碼后的視頻數(shù)據(jù)進(jìn)行解碼；
[0014]音頻解碼模塊，用以對(duì)編碼后的音頻數(shù)據(jù)進(jìn)行解碼。
[0015]優(yōu)選的是，所述的多屏聯(lián)動(dòng)音視頻同步系統(tǒng)，其特征在于，所述接收端包括:
[0016]視頻數(shù)據(jù)編碼幀數(shù)反饋調(diào)節(jié)模塊，其用于計(jì)算編碼后的視頻數(shù)據(jù)的幀數(shù)以及解碼后的視頻數(shù)據(jù)的幀數(shù)的差值，當(dāng)所述差值超出預(yù)定區(qū)間時(shí)，則調(diào)節(jié)所述視頻編碼模塊的碼率參數(shù)，降低碼率，所述預(yù)定區(qū)間為6?8幀。
[0017]優(yōu)選的是，所述的多屏聯(lián)動(dòng)音視頻同步系統(tǒng)，其特征在于，所述信源編碼端包括:
[0018]編碼幀率反饋調(diào)節(jié)模塊，其用來計(jì)算所述視頻編碼模塊編碼的幀率，通過調(diào)節(jié)所述視頻編碼模塊的碼率參數(shù)，降低或提高碼率，使幀率穩(wěn)定在24fps。
[0019]優(yōu)選的是，所述的多屏聯(lián)動(dòng)音視頻同步系統(tǒng)，其特征在于，所述視頻編碼模塊采用H.264RP編碼時(shí)只輸出I幀和P幀。
[0020]優(yōu)選的是，所述的多屏聯(lián)動(dòng)音視頻同步系統(tǒng)，其特征在于，所述音頻編碼模塊為AAC編碼器。
[0021]優(yōu)選的是，述的多屏聯(lián)動(dòng)音視頻同步系統(tǒng)，其特征在于，所述接收端包括一顯示屏，所述顯示屏用于播放解碼后的視頻數(shù)據(jù)與解碼后的音頻數(shù)據(jù)。
[0022]本發(fā)明所述的多屏聯(lián)動(dòng)音視頻同步系統(tǒng)，與現(xiàn)有技術(shù)相比，采用不同網(wǎng)絡(luò)協(xié)議發(fā)送音視頻數(shù)據(jù)，視頻數(shù)據(jù)采用TCP協(xié)議發(fā)送，TCP的可靠傳輸保證了視頻數(shù)據(jù)的完整準(zhǔn)確，避免了因丟幀引起的馬賽克。音頻數(shù)據(jù)采用UDP發(fā)送，保證了在網(wǎng)絡(luò)帶寬被視頻數(shù)據(jù)大量占用的情況下數(shù)據(jù)仍能快速傳輸，保證音視頻數(shù)據(jù)的同步。音視頻數(shù)據(jù)采用不同網(wǎng)絡(luò)協(xié)議分通道發(fā)送，最大程度的利用了網(wǎng)絡(luò)帶寬，保證了音頻數(shù)據(jù)和視頻數(shù)據(jù)的實(shí)時(shí)性，同步性。采用該系統(tǒng)簡(jiǎn)化了信源端的編碼流程及接收端的解碼流程，去除了一般流媒體播放系統(tǒng)中音視頻數(shù)據(jù)打包封裝及寫入時(shí)間戳等步驟，有效降低了系統(tǒng)開銷。
【附圖說明】
[0023]圖1為本發(fā)明所述的多屏聯(lián)動(dòng)音視頻同步系統(tǒng)的組成示意圖。
【具體實(shí)施方式】
[0024]下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步的詳細(xì)說明，以令本領(lǐng)域技術(shù)人員參照說明書文字能夠據(jù)以實(shí)施。
[0025]如圖1所示，本發(fā)明提供了一種多屏聯(lián)動(dòng)音視頻同步系統(tǒng)，包括:
[0026]一種多屏聯(lián)動(dòng)音視頻同步系統(tǒng)，包括信源編碼端和接收端；
[0027]所述信源編碼端包括:
[0028]視頻編碼模塊，其用以對(duì)原始視頻數(shù)據(jù)進(jìn)行編碼，所述視頻編碼模塊采用H.264RP進(jìn)行編碼，編碼時(shí)只輸出I幀和P幀；
[0029]音頻編碼模塊，其用以對(duì)原始音頻數(shù)據(jù)進(jìn)行編碼，所述音頻編碼模塊為AAC編碼器；
[0030]視頻數(shù)據(jù)TCP發(fā)送模塊，其通過TCP協(xié)議將編碼后的視頻數(shù)據(jù)發(fā)送至所述接收端;
[0031]音頻數(shù)據(jù)UDP發(fā)送模塊，其通過UDP協(xié)議將編碼后的音頻數(shù)據(jù)發(fā)送至所述接收端;
[0032]編碼幀率反饋調(diào)節(jié)模塊，其用來計(jì)算所述視頻編碼模塊編碼的幀率，通過調(diào)節(jié)所述視頻編碼模塊的碼率參數(shù)，降低或提高碼率，使幀率穩(wěn)定在24fps，這樣編碼器在系統(tǒng)中被設(shè)計(jì)成編碼幀率跟隨視頻幀數(shù)據(jù)發(fā)送節(jié)拍動(dòng)態(tài)調(diào)節(jié)，因此網(wǎng)絡(luò)傳輸狀況通過幀率實(shí)時(shí)反映出來，當(dāng)幀率不等于24fps時(shí)，對(duì)視頻編碼器碼率參數(shù)進(jìn)行調(diào)節(jié)，以降低或提高碼率，保證幀率穩(wěn)定在24fps。
[0033]所述接收端，可以為多個(gè)，每個(gè)接收端均包括:
[0034]視頻解碼模塊，用以對(duì)編碼后的視頻數(shù)據(jù)進(jìn)行解碼；
[0035]音頻解碼模塊，用以對(duì)編碼后的音頻數(shù)據(jù)進(jìn)行解碼。
[0036]視頻數(shù)據(jù)編碼幀數(shù)反饋調(diào)節(jié)模塊，其用于計(jì)算編碼后的視頻數(shù)據(jù)的幀數(shù)以及解碼后的視頻數(shù)據(jù)的幀數(shù)的差值，當(dāng)所述差值超出預(yù)定區(qū)間時(shí)，則調(diào)節(jié)所述視頻編碼模塊的碼率參數(shù)，以降低碼率，所述預(yù)定區(qū)間為6?8幀，也就是因網(wǎng)絡(luò)數(shù)據(jù)時(shí)延為180?240ms。
[0037]顯示屏，所述顯示屏用于播放解碼后的視頻數(shù)據(jù)與解碼后的音頻數(shù)據(jù)。
[0038]其中，對(duì)原始視頻數(shù)據(jù)的編碼與對(duì)原始音頻數(shù)據(jù)的編碼同時(shí)進(jìn)行，可以通過一控制開關(guān)來控制，由于對(duì)原始視頻數(shù)據(jù)的編碼率與對(duì)原始音頻數(shù)據(jù)的編碼率不一樣，但是控制編碼后的視頻數(shù)據(jù)的發(fā)送時(shí)間與編碼后的音頻數(shù)據(jù)的發(fā)送時(shí)間的間隔小于40ms，所述接收端用于接收并播放解碼后的視頻數(shù)據(jù)以及解碼后的音頻數(shù)據(jù)，通過編碼幀率反饋調(diào)節(jié)模塊和視頻數(shù)據(jù)編碼幀數(shù)反饋調(diào)節(jié)模塊的調(diào)控，顯示屏播放視頻數(shù)據(jù)與音頻數(shù)據(jù)的時(shí)間間隔不超過160ms，人們看和聽是感覺不出來這個(gè)時(shí)間間隔的，所以保證了視頻數(shù)據(jù)和音頻數(shù)據(jù)的同步。
[0039]由于視頻數(shù)據(jù)量遠(yuǎn)遠(yuǎn)大于音頻數(shù)據(jù)量，為了避免視頻占用大量網(wǎng)絡(luò)帶寬導(dǎo)致音頻傳輸延時(shí)的問題，采用不同網(wǎng)絡(luò)協(xié)議發(fā)送音視頻數(shù)據(jù)，視頻數(shù)據(jù)采用TCP協(xié)議發(fā)送，TCP的可靠傳輸保證了視頻數(shù)據(jù)的完整準(zhǔn)確，避免了因丟幀引起的馬塞克；音頻數(shù)據(jù)采用UDP發(fā)送，保證了在網(wǎng)絡(luò)帶寬被視頻數(shù)據(jù)大量占用的情況下數(shù)據(jù)仍能快速傳輸，保證音視頻數(shù)據(jù)的同步。
[0040]盡管本發(fā)明的實(shí)施方案已公開如上，但其并不僅僅限于說明書和實(shí)施方式中所列運(yùn)用，它完全可以被適用于各種適合本發(fā)明的領(lǐng)域，對(duì)于熟悉本領(lǐng)域的人員而言，可容易地實(shí)現(xiàn)另外的修改，因此在不背離權(quán)利要求及等同范圍所限定的一般概念下，本發(fā)明并不限于特定的細(xì)節(jié)和這里示出與描述的圖例。
【主權(quán)項(xiàng)】
1.一種多屏聯(lián)動(dòng)音視頻同步系統(tǒng)，其特征在于，包括信源編碼端和接收端； 所述信源編碼端包括: 視頻編碼模塊，其用以對(duì)原始視頻數(shù)據(jù)進(jìn)行編碼； 音頻編碼模塊，其用以對(duì)原始音頻數(shù)據(jù)進(jìn)行編碼； 視頻數(shù)據(jù)TCP發(fā)送模塊，其通過TCP協(xié)議將編碼后的視頻數(shù)據(jù)發(fā)送至所述接收端； 音頻數(shù)據(jù)UDP發(fā)送模塊，其通過UDP協(xié)議將編碼后的音頻數(shù)據(jù)發(fā)送至所述接收端；其中，對(duì)原始視頻數(shù)據(jù)的編碼與對(duì)原始音頻數(shù)據(jù)的編碼同時(shí)進(jìn)行，編碼后的視頻數(shù)據(jù)的發(fā)送時(shí)間與編碼后的音頻數(shù)據(jù)的發(fā)送時(shí)間的間隔小于40ms，所述接收端用于接收并播放編碼后的視頻數(shù)據(jù)以及編碼后的音頻數(shù)據(jù)。
2.如權(quán)利要求1所述的多屏聯(lián)動(dòng)音視頻同步系統(tǒng)，其特征在于，所述接收端包括: 視頻解碼模塊，用以對(duì)編碼后的視頻數(shù)據(jù)進(jìn)行解碼； 音頻解碼模塊，用以對(duì)編碼后的音頻數(shù)據(jù)進(jìn)行解碼。
3.如權(quán)利要求2所述的多屏聯(lián)動(dòng)音視頻同步系統(tǒng)，其特征在于，所述接收端包括: 視頻數(shù)據(jù)編碼幀數(shù)反饋調(diào)節(jié)模塊，其用于計(jì)算編碼后的視頻數(shù)據(jù)的幀數(shù)以及解碼后的視頻數(shù)據(jù)的幀數(shù)的差值，當(dāng)所述差值超出預(yù)定區(qū)間時(shí)，則調(diào)節(jié)所述視頻編碼模塊的碼率參數(shù)，降低碼率，所述預(yù)定區(qū)間為6?8幀。
4.如權(quán)利要求2或3所述的多屏聯(lián)動(dòng)音視頻同步系統(tǒng)，其特征在于，所述信源編碼端包括: 編碼幀率反饋調(diào)節(jié)模塊，其用來計(jì)算所述視頻編碼模塊編碼的幀率，通過調(diào)節(jié)所述視頻編碼模塊的碼率參數(shù)，降低或提高碼率，使幀率穩(wěn)定在24fps。
5.如權(quán)利要求2所述的多屏聯(lián)動(dòng)音視頻同步系統(tǒng)，其特征在于，所述視頻編碼模塊采用H.264RP編碼時(shí)只輸出I幀和P幀。
6.如權(quán)利要求3所述的多屏聯(lián)動(dòng)音視頻同步系統(tǒng)，其特征在于，所述音頻編碼模塊為AAC編碼器。
7.如權(quán)利要求2所述的多屏聯(lián)動(dòng)音視頻同步系統(tǒng)，其特征在于，所述接收端包括一顯示屏，所述顯示屏用于播放解碼后的視頻數(shù)據(jù)與解碼后的音頻數(shù)據(jù)。
【專利摘要】本發(fā)明公開了一種多屏聯(lián)動(dòng)音視頻同步系統(tǒng)，包括：信源編碼端和接收端；所述信源編碼端包括：視頻編碼模塊，其用以對(duì)原始視頻數(shù)據(jù)進(jìn)行編碼；音頻編碼模塊，其用以對(duì)原始音頻數(shù)據(jù)進(jìn)行編碼；視頻數(shù)據(jù)TCP發(fā)送模塊，其通過TCP協(xié)議將編碼后的視頻數(shù)據(jù)發(fā)送至所述接收端；音頻數(shù)據(jù)UDP發(fā)送模塊，其通過UDP協(xié)議將編碼后的音頻數(shù)據(jù)發(fā)送至所述接收端；其中，對(duì)原始視頻數(shù)據(jù)的編碼與對(duì)原始音頻數(shù)據(jù)的編碼同時(shí)進(jìn)行，編碼后的視頻數(shù)據(jù)的發(fā)送時(shí)間與編碼后的音頻數(shù)據(jù)的發(fā)送時(shí)間的間隔小于40ms，所述接收端用于接收并播放編碼后的視頻數(shù)據(jù)以及編碼后的音頻數(shù)據(jù)。通過該系統(tǒng)很大程度上簡(jiǎn)化了信源端編碼的流程，也保證了視頻數(shù)據(jù)與音頻數(shù)據(jù)同步性。
【IPC分類】H04N21-2343, H04N21-4402, H04N21-8547, H04N21-6437
【公開號(hào)】CN104683823
【申請(qǐng)?zhí)枴緾N201310631832
【發(fā)明人】龐潼川, 張擎, 蘇小智, 王永輝, 趙挺
【申請(qǐng)人】紅板凳科技股份有限公司
【公開日】2015年6月3日
【申請(qǐng)日】2013年11月29日