音視頻同步方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及網(wǎng)絡(luò)信息傳輸領(lǐng)域，特別是涉及一種音視頻同步方法和裝置。
【背景技術(shù)】
[0002]隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，用戶通過網(wǎng)絡(luò)進(jìn)行在線交互活動(dòng)頻繁，例如進(jìn)行在線視頻會(huì)議或在線視頻聊天，需要采集會(huì)話用戶的圖像數(shù)據(jù)和聲音數(shù)據(jù)，即音視頻數(shù)據(jù)傳輸給其他用戶，并在其他用戶處播放該采集的音視頻數(shù)據(jù)。
[0003]傳統(tǒng)的音視頻采集傳輸方式是在發(fā)送端對音視頻進(jìn)行合流，然后采用單一通道傳輸合流后的數(shù)據(jù)，并在接收端將合流后的數(shù)據(jù)分離播放，在發(fā)送端網(wǎng)絡(luò)出現(xiàn)卡頓的時(shí)候，在接收方播放的視頻和聲音將同時(shí)出現(xiàn)卡頓。

【發(fā)明內(nèi)容】

[0004]基于此，有必要針對傳統(tǒng)的音視頻播放中發(fā)送端網(wǎng)絡(luò)出現(xiàn)卡頓引起接收方播放的視頻和音頻同時(shí)出現(xiàn)卡頓的問題，提供一種音視頻同步方法和裝置，能避免視頻和音頻同時(shí)出現(xiàn)卡頓，提高了音頻播放的流暢性。
[0005]一種音視頻同步方法，包括以下步驟:
[0006]對分別接收的音頻數(shù)據(jù)包和視頻數(shù)據(jù)包進(jìn)行解碼得到音頻數(shù)據(jù)的時(shí)間戳和視頻數(shù)據(jù)的時(shí)間戳；
[0007]獲取當(dāng)前播放視頻數(shù)據(jù)的時(shí)間戳和當(dāng)前播放音頻數(shù)據(jù)的時(shí)間戳；
[0008]根據(jù)所述當(dāng)前播放視頻數(shù)據(jù)的時(shí)間戳和當(dāng)前播放音頻數(shù)據(jù)的時(shí)間戳計(jì)算當(dāng)前音視頻播放的時(shí)間差；
[0009]根據(jù)所述當(dāng)前音視頻播放的時(shí)間差獲取調(diào)節(jié)速率；
[0010]根據(jù)所述調(diào)節(jié)速率調(diào)節(jié)所述視頻播放速率或控制音頻停止播放，以使所述音頻數(shù)據(jù)和視頻數(shù)據(jù)播放同步。
[0011]一種音視頻同步裝置，包括:
[0012]解碼模塊，用于對分別接收的音頻數(shù)據(jù)包和視頻數(shù)據(jù)包進(jìn)行解碼得到音頻數(shù)據(jù)的時(shí)間戳和視頻數(shù)據(jù)的時(shí)間戳；
[0013]時(shí)間戳獲取模塊，用于獲取當(dāng)前播放視頻數(shù)據(jù)的時(shí)間戳和當(dāng)前播放音頻數(shù)據(jù)的時(shí)間戳；
[0014]時(shí)間差計(jì)算模塊，用于根據(jù)所述當(dāng)前播放視頻數(shù)據(jù)的時(shí)間戳和當(dāng)前播放音頻數(shù)據(jù)的時(shí)間戳計(jì)算當(dāng)前音視頻播放的時(shí)間差；
[0015]調(diào)節(jié)速率獲取模塊，用于根據(jù)所述當(dāng)前音視頻播放的時(shí)間差獲取調(diào)節(jié)速率；
[0016]調(diào)節(jié)模塊，用于根據(jù)所述調(diào)節(jié)速率調(diào)節(jié)所述視頻播放速率或控制音頻停止播放，以使所述音頻數(shù)據(jù)和視頻數(shù)據(jù)播放同步。
[0017]上述音視頻同步方法和裝置，通過根據(jù)當(dāng)前播放視頻數(shù)據(jù)的時(shí)間戳和音頻數(shù)據(jù)的時(shí)間戳計(jì)算當(dāng)前音視頻播放的時(shí)間差，并根據(jù)當(dāng)前音視頻播放的時(shí)間差獲取調(diào)節(jié)速率，根據(jù)調(diào)節(jié)速率調(diào)節(jié)視頻播放速率或控制音頻停止播放，使得音頻數(shù)據(jù)和視頻數(shù)據(jù)播放同步，在發(fā)送端網(wǎng)絡(luò)出現(xiàn)卡頓時(shí)，并不會(huì)引起接收方播放的視頻和音頻同時(shí)出現(xiàn)卡頓，提高了音頻播放的流暢性，尤其應(yīng)用于在音視頻分開采集、編碼和傳輸場景下的視頻直播中音視頻同步，即便在發(fā)送端網(wǎng)絡(luò)出現(xiàn)擁塞和丟包的場景下，同步也會(huì)在網(wǎng)絡(luò)正常之后恢復(fù)，并且聲音播放的流暢性更易于保證。
【附圖說明】
[0018]圖1為一個(gè)實(shí)施例中音視頻同步方法和裝置的應(yīng)用環(huán)境示意圖；
[0019]圖2為一個(gè)實(shí)施例中音視頻同步方法的流程圖；
[0020]圖3為另一個(gè)實(shí)施例中音視頻同步方法的流程圖；
[0021]圖4為一個(gè)實(shí)施例中音視頻同步裝置的結(jié)構(gòu)示意圖；
[0022]圖5為另一個(gè)實(shí)施例中音視頻同步裝置的結(jié)構(gòu)不意圖；
[0023]圖6為另一個(gè)實(shí)施例中音視頻同步裝置的結(jié)構(gòu)不意圖。
【具體實(shí)施方式】
[0024]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0025]可以理解，本發(fā)明所使用的術(shù)語“第一”、“第二”等可在本文中用于描述各種元件，但這些元件不受這些術(shù)語限制。這些術(shù)語僅用于將第一個(gè)元件與另一個(gè)元件區(qū)分。舉例來說，在不脫離本發(fā)明的范圍的情況下，可以將第一終端稱為第二終端，且類似地，可將第二終端稱為第一終端。第一終端和第二終端兩者都是終端，但其不是同一終端。
[0026]圖1為一個(gè)實(shí)施例中音視頻同步方法和裝置的應(yīng)用環(huán)境示意圖。如圖1所示，該應(yīng)用環(huán)境包括第一終端110、音頻服務(wù)器120、視頻服務(wù)器130和第二終端140。其中，第一終端110和第二終端140均可為臺(tái)式計(jì)算機(jī)、筆記本電腦、平板電腦、個(gè)人數(shù)字助理、智能手機(jī)等。第一終端110和第二終端140的數(shù)量可為一個(gè)或多個(gè)，在此不做限定，此處僅為了說明而舉例。第一終端110作為音視頻數(shù)據(jù)的發(fā)送端，第二終端140作為音視頻數(shù)據(jù)的接收端。第一用戶位于第一終端110上，第二用戶位于第二終端140上。
[0027]第一終端110用于采集第一用戶的視頻數(shù)據(jù)及其對應(yīng)的時(shí)間戳和音頻數(shù)據(jù)及其對應(yīng)的時(shí)間戳，并將采集的視頻數(shù)據(jù)及其對應(yīng)的時(shí)間戳編碼并封裝成視頻數(shù)據(jù)包后發(fā)送給視頻服務(wù)器130，以及將采集的音頻數(shù)據(jù)及其對應(yīng)的時(shí)間戳編碼并封裝成音頻數(shù)據(jù)包后發(fā)送給音頻服務(wù)器120。
[0028]音頻服務(wù)器120將音頻數(shù)據(jù)包發(fā)送給第二終端140，視頻服務(wù)器130將視頻數(shù)據(jù)包發(fā)送給第二終端140上的第二用戶。
[0029]第二終端140接收到音頻數(shù)據(jù)包和視頻數(shù)據(jù)包后分別進(jìn)行解碼得到音頻數(shù)據(jù)及其對應(yīng)的時(shí)間戳和視頻數(shù)據(jù)及其對應(yīng)的時(shí)間戳，并根據(jù)當(dāng)前播放的視頻數(shù)據(jù)的時(shí)間戳和音頻數(shù)據(jù)的時(shí)間戳計(jì)算音視頻播放的時(shí)間差，并根據(jù)時(shí)間差計(jì)算調(diào)節(jié)速率，根據(jù)調(diào)節(jié)速率調(diào)節(jié)視頻數(shù)據(jù)的播放速率或控制音頻數(shù)據(jù)停止播放，以使該音頻數(shù)據(jù)和視頻數(shù)據(jù)播放同步。
[0030]第二終端140通過調(diào)節(jié)視頻數(shù)據(jù)的播放速率，使得視頻數(shù)據(jù)和音頻數(shù)據(jù)播放同步，在第一終端110上第一用戶所處的網(wǎng)絡(luò)出現(xiàn)擁堵和丟包的場景下，當(dāng)網(wǎng)絡(luò)恢復(fù)正常后，能及時(shí)的恢復(fù)視頻數(shù)據(jù)和音頻數(shù)據(jù)的播放同步，且提高了音頻播放的流暢性。該音視頻同步方法應(yīng)用于音視頻分離傳輸場景下的直播音視頻同步，更能保證音視頻數(shù)據(jù)播放的同步。
[0031]此外，在其他應(yīng)用環(huán)境中，音頻服務(wù)器120和視頻服務(wù)器130可合并為一個(gè)服務(wù)器，但音頻數(shù)據(jù)和視頻數(shù)據(jù)分離傳輸。
[0032]圖2為一個(gè)實(shí)施例中音視頻同步方法的流程圖。圖2中的音視頻同步方法應(yīng)用于圖1的應(yīng)用環(huán)境中。如圖2所示，一種音視頻同步方法，包括以下步驟:
[0033]步驟202，對分別接收的音頻數(shù)據(jù)包和視頻數(shù)據(jù)包進(jìn)行解碼得到音頻數(shù)據(jù)的時(shí)間戳和視頻數(shù)據(jù)的時(shí)間戳。
[0034]具體的，接收的音頻數(shù)據(jù)包和視頻數(shù)據(jù)包是經(jīng)過編碼的，對接收的音頻數(shù)據(jù)包進(jìn)行解碼得到音頻數(shù)據(jù)及其對應(yīng)的時(shí)間戳，對接收的視頻數(shù)據(jù)包進(jìn)行解碼得到視頻數(shù)據(jù)及其對應(yīng)的時(shí)間戳。音頻數(shù)據(jù)包解碼會(huì)按照時(shí)間戳順序進(jìn)行解碼。視頻數(shù)據(jù)包解碼后會(huì)重排視頻幀的順序，使其和最初采集順序相對應(yīng)。
[0035]步驟204，獲取當(dāng)前播放視頻數(shù)據(jù)的時(shí)間戳和當(dāng)前播放音頻數(shù)據(jù)的時(shí)間戳。
[0036]具體的，當(dāng)在播放視頻數(shù)據(jù)時(shí)，獲取當(dāng)前播放視頻數(shù)據(jù)的時(shí)間戳，并查詢當(dāng)前播放音頻數(shù)據(jù)的時(shí)間戳。
[0037]步驟206，根據(jù)該當(dāng)前播放視頻數(shù)據(jù)的時(shí)間戳和當(dāng)前播放音頻數(shù)據(jù)的時(shí)間戳計(jì)算當(dāng)前音視頻播放的時(shí)間差。
[0038]具體的，將當(dāng)前播放視頻數(shù)據(jù)的時(shí)間戳和當(dāng)前播放音頻數(shù)據(jù)的時(shí)間戳求差值得到當(dāng)前音頻視頻播放的時(shí)間差。
[0039]步驟208，根據(jù)該當(dāng)前音視頻播放的時(shí)間差獲取調(diào)節(jié)速率。
[0040]在一個(gè)實(shí)施例中，該調(diào)節(jié)速率可為當(dāng)前播放視頻數(shù)據(jù)的時(shí)間戳與當(dāng)前播放音頻數(shù)據(jù)的時(shí)間戳之差的線性函數(shù)。
[0041]具體的，播放器的播放速率是由遞交給渲染模塊解碼后圖像數(shù)據(jù)的速率決定的。圖像數(shù)據(jù)的速率取決于一個(gè)時(shí)間間隔TP，理想情況下是TP等于1000/平均幀率，若平均幀率為20幀/毫秒，則該TP為50毫秒。
[0042]當(dāng)計(jì)算出音視頻播放的時(shí)間差TC = TV-TA，其中，TA為音頻數(shù)據(jù)的時(shí)間戳，TV為視頻數(shù)據(jù)的時(shí)間戳。調(diào)節(jié)速率為當(dāng)前播放視頻數(shù)據(jù)的時(shí)間戳與當(dāng)前播放音頻數(shù)據(jù)的時(shí)間戳之差的線性函數(shù)，例如可為ACC = A+A*TC/1000，其中，ACC即為調(diào)節(jié)速率，A為一個(gè)基本值，可根據(jù)需要設(shè)置大小，例如，基本值可為5毫秒。在TC很小時(shí)，TC對ACC的影響比較小，當(dāng)TC較大時(shí)，TC對ACC的影響比較大。
[0043]計(jì)算得到一個(gè)真實(shí)遞交給渲染模塊的時(shí)間間隔TR，TR = TC-ACC-TW，其中，Tff是其它處理帶來的時(shí)間消耗(如取幀，幀數(shù)據(jù)解碼等)。
[0044]ACC為正值時(shí)，說明視頻數(shù)據(jù)播放比音頻快，TR會(huì)小于TC-TW，視頻數(shù)據(jù)播放會(huì)稍大于預(yù)定的幀率;ACC為負(fù)值時(shí)，說明視頻數(shù)據(jù)播放比音頻慢，TR會(huì)大于TC-TW，視頻數(shù)據(jù)播放會(huì)小于預(yù)定的幀率。其中，預(yù)定的幀率是指預(yù)先設(shè)定的播放幀率。
[0045]步驟210，根據(jù)該調(diào)節(jié)速率調(diào)節(jié)該視頻播放速率或控制音頻停止播放，以使該音頻數(shù)據(jù)和視頻數(shù)據(jù)播放同步。
[0046]在一個(gè)實(shí)施例中，步驟210包括:該調(diào)節(jié)速率為當(dāng)前播放視頻數(shù)據(jù)的時(shí)間戳與當(dāng)前播放音頻數(shù)據(jù)的時(shí)間戳之差的線性函數(shù)；若調(diào)節(jié)速率為正