視頻幀同步時(shí)嵌入音頻的處理系統(tǒng)及處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及音視頻數(shù)據(jù)處理技術(shù)領(lǐng)域，更具體地，涉及一種視頻幀同步時(shí)嵌入音頻的處理系統(tǒng)及處理方法。
【背景技術(shù)】
[0002]數(shù)字視頻的行逆程或者場(chǎng)逆程會(huì)放置嵌入音頻數(shù)據(jù)包，視頻從發(fā)送時(shí)鐘域(clk_tx)進(jìn)入?yún)⒖紩r(shí)鐘域(clk_ref)，由于時(shí)鐘不同，需要進(jìn)行幀同步操作，視頻幀同步的基本操作方法是，用clk_tx時(shí)鐘將視頻數(shù)據(jù)寫(xiě)入緩沖區(qū)buf，再用clk_ref時(shí)鐘把視頻數(shù)據(jù)從緩沖區(qū)buf讀出，按照clk_ref時(shí)鐘域重新形成視頻流。由于發(fā)送時(shí)鐘clk_tx和參考時(shí)鐘clk_ref之間必然會(huì)存在偏差，為了視頻畫(huà)面不出現(xiàn)撕裂，跳幀等現(xiàn)象，必然要對(duì)視頻數(shù)據(jù)進(jìn)行整幀拋幀，或者整幀重復(fù)輸出的操作。物體在快速運(yùn)動(dòng)時(shí)，當(dāng)人眼所看到的影像消失后，人眼仍能繼續(xù)保留其影像0.1-0.4秒左右的圖像，這種現(xiàn)象被稱(chēng)為視覺(jué)暫留現(xiàn)象。視頻刷新率主要有 23.98HZ，24HZ，，25HZ，29.97HZ, 30Hz, 50HZ, 59.94HZ，60HZ 等，刷新率最低的23.98HZ的視頻，它一幀視頻的時(shí)間是0.0417秒，遠(yuǎn)低于人眼的視覺(jué)暫留時(shí)間0.1-0.4秒，所以，偶爾丟失一幀或者重復(fù)一幀視頻，人眼一般不會(huì)察覺(jué)。
[0003]數(shù)字音頻是我們保存聲音信號(hào)，傳輸聲音信號(hào)的一種方式，它的特點(diǎn)是信號(hào)不容易損失。而模擬信號(hào)是我們最后可以聽(tīng)到的東西。采樣頻率就是采用一段音頻，作為樣本，因?yàn)閣av使用的是數(shù)碼信號(hào)，它是用一堆數(shù)字來(lái)描述原來(lái)的模擬信號(hào)，所以它要對(duì)原來(lái)的模擬信號(hào)進(jìn)行分析，我們知道所有的聲音都有其波形，數(shù)碼信號(hào)就是在原有的模擬信號(hào)波形上每隔一段時(shí)間進(jìn)行一次取點(diǎn)，賦予每一個(gè)點(diǎn)以一個(gè)數(shù)值，這就是采樣，然后把所有的點(diǎn)連起來(lái)就可以描述模擬信號(hào)了，很明顯，在一定時(shí)間內(nèi)取的點(diǎn)越多，描述出來(lái)的波形就越精確，這個(gè)尺度我們就稱(chēng)為“采樣頻率”。
[0004]經(jīng)過(guò)采樣得到的數(shù)字音頻樣點(diǎn)，封裝起來(lái)放到視頻的逆程中，隨著視頻數(shù)據(jù)進(jìn)行傳輸，這就是音頻的嵌入過(guò)程。音頻的嵌入遵循標(biāo)準(zhǔn)SMPTE272M。
[0005]幀同步的操作中，視頻可以整幀進(jìn)行拋棄或者重復(fù)，但是該幀進(jìn)行拋棄或者重復(fù)的視頻中嵌入的音頻數(shù)據(jù)卻不能簡(jiǎn)單拋棄或者重復(fù)，否則會(huì)造成音頻出現(xiàn)爆音，頻率不對(duì)，或者其他不可忽視的問(wèn)題，因此對(duì)嵌入的音頻數(shù)據(jù)要進(jìn)行專(zhuān)門(mén)的處理?，F(xiàn)有的嵌入音頻同步操作方法:如圖1所示，先用視音頻數(shù)據(jù)分離模塊把嵌入音頻從視頻數(shù)據(jù)中解嵌出來(lái)，再把解嵌出來(lái)的數(shù)字音頻數(shù)據(jù)進(jìn)行數(shù)模轉(zhuǎn)換，恢復(fù)為模擬音頻信號(hào)，然后用參考時(shí)鐘對(duì)該模擬信號(hào)進(jìn)行重采樣，對(duì)采樣后的模擬信號(hào)進(jìn)行模數(shù)轉(zhuǎn)換，最后把采樣得到的音頻樣點(diǎn)由視音頻嵌入模塊重新嵌入到已做完幀同步的視頻信號(hào)中。這種方法使嵌入音頻的處理設(shè)備復(fù)雜，增大了電路面積，增加了開(kāi)發(fā)資金和開(kāi)發(fā)時(shí)間，同時(shí)，也擴(kuò)大了音頻在視頻幀同步處理過(guò)程中所受的影響。

【發(fā)明內(nèi)容】

[0006]有鑒于此，本發(fā)明的主要目的在于提供一種視頻幀同步時(shí)嵌入音頻的處理系統(tǒng)及處理方法，能夠解決現(xiàn)有技術(shù)中存在的處理設(shè)備復(fù)雜、音頻所受影響大的問(wèn)題。
[0007]為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的:
[0008]一方面，本發(fā)明提供了一種視頻幀同步時(shí)嵌入音頻的處理系統(tǒng)，包括視音頻數(shù)據(jù)分離模塊、視頻幀同步模塊、音頻重采樣模塊和視音頻數(shù)據(jù)嵌入模塊，其中，視音頻數(shù)據(jù)分離模塊，用于將帶有嵌入音頻的視頻信號(hào)分離成同步的視頻數(shù)據(jù)和音頻數(shù)據(jù)，并將視頻數(shù)據(jù)和音頻數(shù)據(jù)分別輸出給視頻幀同步模塊和音頻重采樣模塊；視頻幀同步模塊，用于對(duì)視頻數(shù)據(jù)進(jìn)行處理，輸出幀同步的狀態(tài)信號(hào)給音頻重采樣模塊，同時(shí)輸出幀同步完成后的視頻數(shù)據(jù)給視音頻數(shù)據(jù)嵌入模塊；幀同步的狀態(tài)信號(hào)包括:拋幀信號(hào)和加幀信號(hào)；音頻重采樣模塊，用于對(duì)音頻數(shù)據(jù)進(jìn)行重采樣，同時(shí)，基于接收到的拋幀信號(hào)或者加幀信號(hào)，進(jìn)行相應(yīng)的減少音頻樣點(diǎn)或者增加音頻樣點(diǎn)的操作，并將完成重采樣后的音頻數(shù)據(jù)輸出給視音頻數(shù)據(jù)嵌入模塊；視音頻數(shù)據(jù)嵌入模塊，用于將幀同步完成后的視頻數(shù)據(jù)和完成重采樣后的音頻數(shù)據(jù)重新組合成帶有嵌入音頻的視頻信號(hào)并輸出。
[0009]優(yōu)選地，視頻幀同步模塊包括:第一接收單元、第一處理單元和第一存儲(chǔ)單元，其中，第一接收單元，用于接收視頻數(shù)據(jù)并將視頻數(shù)據(jù)緩存于第一存儲(chǔ)單元；第一處理單元，用于讀取緩存于第一存儲(chǔ)單元中的視頻數(shù)據(jù)并對(duì)視頻數(shù)據(jù)進(jìn)行幀同步處理，將處理后的視頻數(shù)據(jù)緩存于第一存儲(chǔ)單元，同時(shí)，輸出拋幀信號(hào)或者加幀信號(hào)給音頻重采樣模塊。
[0010]優(yōu)選地，音頻重采樣模塊包括:第二接收單元、檢測(cè)單元、第二處理單元和第二存儲(chǔ)單元，其中，第二接收單元，用于接收音頻數(shù)據(jù)并將音頻數(shù)據(jù)緩存于第二存儲(chǔ)單元；檢測(cè)單元，用于檢測(cè)是否有來(lái)自于視頻幀同步模塊輸出的拋幀信號(hào)或者加幀信號(hào)，并將拋幀信號(hào)或者加幀信號(hào)發(fā)送給第二處理單元；第二處理單元，用于讀取緩存于第二存儲(chǔ)單元中的音頻數(shù)據(jù)并對(duì)音頻數(shù)據(jù)進(jìn)行重采樣，同時(shí)，基于接收到的拋幀信號(hào)或者加幀信號(hào)，進(jìn)行相應(yīng)的減少音頻樣點(diǎn)或者增加音頻樣點(diǎn)的操作，并將完成重采樣后的音頻數(shù)據(jù)緩存于第二存儲(chǔ)單元。
[0011]優(yōu)選地，基于接收到的拋幀信號(hào)進(jìn)行相應(yīng)的減少音頻樣點(diǎn)的操作包括:每幀的任意點(diǎn)拋棄一個(gè)音頻樣點(diǎn)，這個(gè)操作一直進(jìn)行到處理的幀數(shù)等于所需減少的音頻樣點(diǎn)的總數(shù)。
[0012]優(yōu)選地，基于接收到的加幀信號(hào)進(jìn)行相應(yīng)的增加音頻樣點(diǎn)的操作包括:每幀的任意點(diǎn)增加一個(gè)音頻樣點(diǎn)，增加的音頻樣點(diǎn)的值等于所要插入地方的前一個(gè)樣點(diǎn)的值，這個(gè)操作一直進(jìn)行到處理的幀數(shù)等于所需加的音頻樣點(diǎn)的總數(shù)。
[0013]另一方面，本發(fā)明還提供了一種視頻幀同步時(shí)嵌入音頻的處理方法，包括:視音頻數(shù)據(jù)分離模塊將帶有嵌入音頻的視頻信號(hào)分離成同步的視頻數(shù)據(jù)和音頻數(shù)據(jù)，并將視頻數(shù)據(jù)和音頻數(shù)據(jù)分別輸出給視頻幀同步模塊和音頻重采樣模塊；視頻幀同步模塊對(duì)視頻數(shù)據(jù)進(jìn)行處理，輸出幀同步的狀態(tài)信號(hào)給音頻重采樣模塊，同時(shí)輸出幀同步完成后的視頻數(shù)據(jù)給視音頻數(shù)據(jù)嵌入模塊；其中，幀同步的狀態(tài)信號(hào)包括:拋幀信號(hào)和加幀信號(hào)；音頻重采樣模塊對(duì)音頻數(shù)據(jù)進(jìn)行重采樣，同時(shí)，基于接收到的拋幀信號(hào)或者加幀信號(hào)，進(jìn)行相應(yīng)的減少音頻樣點(diǎn)或者增加音頻樣點(diǎn)的操作，并將完成重采樣后的音頻數(shù)據(jù)輸出給視音頻數(shù)據(jù)嵌入模塊；視音頻數(shù)據(jù)嵌入模塊將幀同步完成后的視頻數(shù)據(jù)和完成重采樣后的音頻數(shù)據(jù)重新組合成帶有嵌入音頻的視頻信號(hào)并輸出。
[0014]優(yōu)選地，視頻幀同步模塊對(duì)視頻數(shù)據(jù)進(jìn)行處理，輸出幀同步的狀態(tài)信號(hào)給音頻重采樣模塊的步驟包括:第一接收單元接收視頻數(shù)據(jù)并將視頻數(shù)據(jù)緩存于第一存儲(chǔ)單元；第一處理單元讀取緩存于第一存儲(chǔ)單元中的視頻數(shù)據(jù)并對(duì)視頻數(shù)據(jù)進(jìn)行幀同步處理，將處理后的視頻數(shù)據(jù)緩存于第一存儲(chǔ)單元，同時(shí)，輸出拋幀信號(hào)或者加幀信號(hào)給音頻重采樣模塊。
[0015]優(yōu)選地，音頻重采樣模塊對(duì)音頻數(shù)據(jù)進(jìn)行重采樣，同時(shí)，基于接收到的拋幀信號(hào)或者加幀信號(hào)，進(jìn)行相應(yīng)的減少音頻樣點(diǎn)或者增加音頻樣點(diǎn)的操作的步驟包括:第二接收單元接收音頻數(shù)據(jù)并將音頻數(shù)據(jù)緩存于第二存儲(chǔ)單元；檢測(cè)單元檢測(cè)是否有來(lái)自于視頻幀同步模塊輸出的拋幀信號(hào)或者加幀信號(hào)，并將拋幀信號(hào)或者加幀信號(hào)發(fā)送給第二處理單元；第二處理單元讀取緩存于第二存儲(chǔ)單元中的音頻數(shù)據(jù)并對(duì)音頻數(shù)據(jù)進(jìn)行重采樣，同時(shí)，基于接收到的拋幀信號(hào)或者加幀信號(hào)，進(jìn)行相應(yīng)的減少音頻樣點(diǎn)或者增加音頻樣點(diǎn)的操作，