音視頻處理方法及系統(tǒng)的制作方法
【專利摘要】一種音視頻處理方法及系統(tǒng)，該系統(tǒng)包括依次連接的音視頻轉(zhuǎn)換模塊、音視頻混合模塊、音視頻交叉模塊、輸出模塊和/或遠(yuǎn)程傳輸模塊；音視頻轉(zhuǎn)換模塊將輸入的視頻信號(hào)轉(zhuǎn)換為預(yù)設(shè)格式、預(yù)設(shè)分辨率的視頻數(shù)據(jù)，輸入的音頻信號(hào)轉(zhuǎn)換為音頻數(shù)據(jù)，將視頻數(shù)據(jù)和音頻數(shù)據(jù)輸出到音視頻混合模塊；音視頻混合模塊在視頻數(shù)據(jù)行消隱區(qū)內(nèi)插入音頻數(shù)據(jù)得到音視頻數(shù)據(jù)，將音視頻數(shù)據(jù)轉(zhuǎn)化為串行化數(shù)據(jù)并輸出到音視頻交叉模塊；音視頻交叉模塊對(duì)串行化數(shù)據(jù)進(jìn)行交叉；輸出模塊將交叉后的數(shù)據(jù)進(jìn)行輸出，或者遠(yuǎn)程傳輸模塊將交叉后的數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換和編碼，將編碼后的數(shù)據(jù)通過網(wǎng)絡(luò)進(jìn)行輸出。本發(fā)明解決了各設(shè)備不兼容的問題，并降低了成本，節(jié)省了帶寬。
【專利說明】音視頻處理方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及大屏幕顯示【技術(shù)領(lǐng)域】，特別是涉及一種音視頻處理方法及系統(tǒng)。

【背景技術(shù)】
[0002] 大屏幕顯示是指圖形或圖像在大屏幕上的顯示，屏幕面積一般在一平方米以上。 大屏幕顯示的種類很多，如激光掃描大屏幕顯示，油膜光閥機(jī)電子顯示裝置，面板發(fā)光型大 視野顯示，矩陣型具有模塊結(jié)構(gòu)的大屏幕顯示，以及由數(shù)以萬計(jì)的單個(gè)發(fā)光器件（如光源 管、小型熒光燈和白熾燈等）組成的、面積可達(dá)幾百平方米的直觀式超大屏幕顯示等。
[0003] 目前在大屏幕顯示市場，因?yàn)榧夹g(shù)門檻高、投入資金大，視頻顯示和音頻播放基本 上是分離開來的。在視頻處理類設(shè)備里邊，各種格式轉(zhuǎn)換設(shè)備參差不齊，有時(shí)為了滿足用戶 的某一特定需求，需要采購多種視頻類設(shè)備，成本高，集成系統(tǒng)復(fù)雜。在音視頻統(tǒng)一調(diào)度方 面，現(xiàn)場調(diào)度和遠(yuǎn)程調(diào)度均存在上百種設(shè)備廠商，無統(tǒng)一標(biāo)準(zhǔn)。而且音視頻處理集成設(shè)備與 廠家各調(diào)度設(shè)備之間兼容性不好，導(dǎo)致音視頻播放效果差強(qiáng)人意。


【發(fā)明內(nèi)容】

[0004] 基于此，有必要針對(duì)上述問題，提供一種成本低、設(shè)備兼容性好的音視頻處理方法 及系統(tǒng)。
[0005] 一種首視頻處理系統(tǒng)，包括依次連接的首視頻轉(zhuǎn)換t旲塊、首視頻混合t旲塊、首視頻 交叉模塊、輸出模塊和/或遠(yuǎn)程傳輸模塊；
[0006] 所述音視頻轉(zhuǎn)換模塊將輸入的視頻信號(hào)轉(zhuǎn)換為預(yù)設(shè)格式、預(yù)設(shè)分辨率的視頻數(shù) 據(jù)，輸入的音頻信號(hào)轉(zhuǎn)換為音頻數(shù)據(jù)，將視頻數(shù)據(jù)和音頻數(shù)據(jù)輸出到所述音視頻混合模塊； 所述音視頻混合模塊在所述視頻數(shù)據(jù)行消隱區(qū)內(nèi)插入所述音頻數(shù)據(jù)得到音視頻數(shù)據(jù)，將所 述音視頻數(shù)據(jù)轉(zhuǎn)化為串行化數(shù)據(jù)并輸出到所述音視頻交叉模塊；所述音視頻交叉模塊對(duì)所 述串行化數(shù)據(jù)進(jìn)行交叉；所述輸出模塊將交叉后的數(shù)據(jù)進(jìn)行輸出，或者所述遠(yuǎn)程傳輸模塊 將交叉后的數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換和編碼，將編碼后的數(shù)據(jù)通過網(wǎng)絡(luò)進(jìn)行輸出。
[0007] -種音視頻處理方法，包括步驟：
[0008] 將輸入的視頻信號(hào)轉(zhuǎn)換為預(yù)設(shè)格式、預(yù)設(shè)分辨率的視頻數(shù)據(jù)，將輸入的音頻信號(hào) 轉(zhuǎn)換為音頻數(shù)據(jù)；
[0009] 將所述音頻數(shù)據(jù)插入所述視頻數(shù)據(jù)行消隱區(qū)內(nèi)，得到音視頻數(shù)據(jù)，將所述音視頻 數(shù)據(jù)轉(zhuǎn)化為串行化數(shù)據(jù)；
[0010] 將所述串行化數(shù)據(jù)進(jìn)行交叉，將交叉后的數(shù)據(jù)進(jìn)行輸出，或者將交叉后的數(shù)據(jù)進(jìn) 行格式轉(zhuǎn)換和編碼，將編碼后的數(shù)據(jù)通過網(wǎng)絡(luò)進(jìn)行輸出。
[0011] 本發(fā)明音視頻處理方法及系統(tǒng)，與現(xiàn)有技術(shù)相互比較時(shí)，具備以下優(yōu)點(diǎn)：
[0012] 1、本發(fā)明可以把目前市面上常用視頻格式，如VIDEO、VGA、DVI、DP、SDI、HDMI、IP 等轉(zhuǎn)換成統(tǒng)一格式，將各輸入視頻信號(hào)的分辨率統(tǒng)一為同一分辨率，通過統(tǒng)一音視頻傳輸 格式，解決了音視頻處理集成設(shè)備和廠家各調(diào)度設(shè)備不兼容的問題，實(shí)現(xiàn)了較好的音視頻 播放效果，并降低了成本；
[0013] 2、本發(fā)明可以在視頻數(shù)據(jù)行消隱區(qū)內(nèi)插入音頻數(shù)據(jù)，無需占有格外帶寬即可傳輸 音頻數(shù)據(jù)，節(jié)省了帶寬；
[0014] 3、本發(fā)明可以將交叉后的數(shù)據(jù)直接進(jìn)行輸出，實(shí)現(xiàn)現(xiàn)場調(diào)度；也可以將交叉后的 數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換和編碼，將編碼后的數(shù)據(jù)通過網(wǎng)絡(luò)進(jìn)行輸出，實(shí)現(xiàn)遠(yuǎn)程調(diào)度功能。

【專利附圖】

【附圖說明】
[0015] 圖1為本發(fā)明系統(tǒng)實(shí)施例的結(jié)構(gòu)示意圖；
[0016] 圖2為本發(fā)明在視頻幀行消隱區(qū)插入音頻數(shù)據(jù)示意圖；
[0017] 圖3為本發(fā)明音視頻混合模塊實(shí)施例的結(jié)構(gòu)示意圖；
[0018] 圖4為本發(fā)明音視頻交叉模塊實(shí)施例的結(jié)構(gòu)示意圖；
[0019] 圖5為本發(fā)明遠(yuǎn)程傳輸模塊實(shí)施例的結(jié)構(gòu)示意圖；
[0020] 圖6為本發(fā)明方法實(shí)施例的流程示意圖；
[0021] 圖7為本發(fā)明在視頻幀行消隱區(qū)內(nèi)插入音頻數(shù)據(jù)步驟的流程示意圖。

【具體實(shí)施方式】
[0022] 下面結(jié)合附圖對(duì)本發(fā)明音視頻處理系統(tǒng)的【具體實(shí)施方式】做詳細(xì)描述。
[0023] 如圖1所示，一種音視頻處理系統(tǒng)，包括依次連接的音視頻轉(zhuǎn)換模塊100、音視頻 混合模塊200、音視頻交叉模塊300、輸出模塊400和/或遠(yuǎn)程傳輸模塊500 ;
[0024] 所述音視頻轉(zhuǎn)換模塊100將輸入的視頻信號(hào)轉(zhuǎn)換為預(yù)設(shè)格式、預(yù)設(shè)分辨率的視頻 數(shù)據(jù)，輸入的音頻信號(hào)轉(zhuǎn)換為音頻數(shù)據(jù)，將視頻數(shù)據(jù)和音頻數(shù)據(jù)輸出到所述音視頻混合模 塊200 ;所述音視頻混合模塊200在所述視頻數(shù)據(jù)行消隱區(qū)內(nèi)插入所述音頻數(shù)據(jù)得到音視 頻數(shù)據(jù)，將所述音視頻數(shù)據(jù)轉(zhuǎn)化為串行化數(shù)據(jù)并輸出到所述音視頻交叉模塊300 ;所述音 視頻交叉模塊300對(duì)所述串行化數(shù)據(jù)進(jìn)行交叉；所述輸出模塊400將交叉后的數(shù)據(jù)進(jìn)行輸 出，或者所述遠(yuǎn)程傳輸模塊500將交叉后的數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換和編碼，將編碼后的數(shù)據(jù)通 過網(wǎng)絡(luò)進(jìn)行輸出。
[0025] 輸入的音視頻信號(hào)一般分為2類，一類是如SDI (Serial Digital Interface,數(shù) 字串行接口）類的信號(hào)，信號(hào)本身就集成了音視頻，另外一類是如DVI (Digital Visual Interface，數(shù)字視頻接口）信號(hào)，音視頻是分開傳輸?shù)?。?duì)于第一類信號(hào)，例如DP (Display Port，顯不端口）信號(hào)、HDMI (High Definition Multimedia Interface，高清晰度多媒 體接口）信號(hào)、SDI(Serial Digital Interface,數(shù)字串行接口）信號(hào)和 IP(Internet Protocol，網(wǎng)絡(luò)之間互連的協(xié)議）信號(hào)等，可以采用現(xiàn)有的功能模塊進(jìn)行音視頻分離與解 碼。解碼出來后的音頻信號(hào)采用I2S(Inter - IC Sound，集成電路內(nèi)置音頻總線）的方式 輸入到音視頻轉(zhuǎn)換模塊100,解碼出來的視頻信號(hào)采用數(shù)字并行方式輸入到音視頻轉(zhuǎn)換模 塊100。對(duì)于第二類信號(hào)，可以采用現(xiàn)有解碼模塊對(duì)視頻信號(hào)進(jìn)行解碼；音頻信號(hào)是單獨(dú)從 音頻線纜傳輸過來，可以通過現(xiàn)有的AD (模數(shù)）轉(zhuǎn)換芯片對(duì)信號(hào)進(jìn)行采樣，例如統(tǒng)一使用 48k(千赫茲）采樣頻率、采用TI的ADAU1979進(jìn)行AD采樣。
[0026] 由于前端信號(hào)源的差異，音視頻轉(zhuǎn)換模塊100需要對(duì)上述兩類信號(hào)解碼出來的 視頻信號(hào)進(jìn)行縮放處理，例如將視頻信號(hào)分辨率統(tǒng)一轉(zhuǎn)換為1080p (Progressive scan,逐 行掃描）。不同的解碼芯片輸出的數(shù)字信號(hào)也會(huì)有區(qū)別，例如有些為YCbCr 4:4:4,或者 YCbCr4:2:0,或者是RGB(Red Green Blue，紅綠藍(lán)）格式的，音視頻轉(zhuǎn)換模塊100還需要對(duì) 視頻信號(hào)進(jìn)行格式化，都統(tǒng)一處理成預(yù)設(shè)格式，例如RGB格式，方便后續(xù)傳輸處理。
[0027] 在音頻數(shù)據(jù)量統(tǒng)計(jì)公式中，每秒數(shù)據(jù)量（bit)=采樣頻率X采樣位數(shù)X聲 道數(shù)，以44. IKHZ(千赫茲）的采樣率、立體聲、16位的數(shù)字音頻為例，每秒的數(shù)據(jù)量 =44. IkX 16X2 = 1411. 2kb (千字節(jié)），大約是I. 4Mbps (兆比特每秒）。而視頻的數(shù) 據(jù)量是非常巨大的，我們以1080p@60HZ，色深24bit的視頻數(shù)據(jù)為例，每秒的數(shù)據(jù)量= 1920*1080*24*60 = 2. 78Gbps。把每秒的音頻數(shù)據(jù)和視頻數(shù)據(jù)對(duì)比，I. 4Mbps/2. 78Gbps = 0.0005036,每秒的音頻數(shù)據(jù)大概是視頻數(shù)據(jù)的萬分之5左右。從上面的數(shù)據(jù)分析可以知 道，一般情況下每秒鐘的音頻數(shù)據(jù)對(duì)比視頻數(shù)據(jù)來說基本可以忽略不計(jì)。
[0028] CVT(清晰視頻）標(biāo)準(zhǔn)行同步寬度最少都有32pixelS(像素），每行時(shí)間 最大 21.Ius(微秒），VESA (Video Electronics Standards Association，視頻電 子標(biāo)準(zhǔn)協(xié)會(huì)）標(biāo)準(zhǔn)里面規(guī)定的行同步寬度都會(huì)大于32pixelS。每一毫秒可傳輸 1000/21. 1*54?2430Byte (數(shù)據(jù)包有效數(shù)據(jù)的長度為54Byte)，其它分辨率格式可利用的 帶寬會(huì)更高。48kHz 的音頻數(shù)據(jù)量：48*1000*24*2/8 = 576000*2 = 288000Byte/s，每毫秒 的數(shù)據(jù)量：576Byte*2 = 288Byte，該數(shù)據(jù)量遠(yuǎn)小于2430Byte，可見在視頻行間插入音頻數(shù) 據(jù)時(shí)可行的。音視頻混合模塊200將音頻數(shù)據(jù)插入到視頻數(shù)據(jù)的行消隱期內(nèi)，能解決高速 serdes (串行器/解串器）通道帶寬限制的問題，又能達(dá)到一種很好的音視頻同步的效果。
[0029] 如圖2所示，為在視頻數(shù)據(jù)行消隱區(qū)插入音頻數(shù)據(jù)的示意圖。Clk為像素時(shí)鐘，VS 為場同步信號(hào)，HS為行同步信號(hào)，de為有效顯示數(shù)據(jù)選通信號(hào)。HS = 0圈出的區(qū)域?yàn)樾邢?隱區(qū)，音視頻混合模塊200即將音頻數(shù)據(jù)插入該消隱區(qū)。而音頻數(shù)據(jù)涉及到采樣率、聲道模 式、具體是哪一路的音頻等音頻參數(shù)，因此需要預(yù)先設(shè)定音頻數(shù)據(jù)的傳輸協(xié)議包。定義的預(yù) 設(shè)傳輸協(xié)議包包括音頻包頭和音頻包體，各部分包含內(nèi)容如下：
[0030]

【權(quán)利要求】
1. 一種音視頻處理系統(tǒng)，其特征在于，包括依次連接的音視頻轉(zhuǎn)換模塊、音視頻混合模 塊、音視頻交叉模塊、輸出模塊和/或遠(yuǎn)程傳輸模塊； 所述音視頻轉(zhuǎn)換模塊將輸入的視頻信號(hào)轉(zhuǎn)換為預(yù)設(shè)格式、預(yù)設(shè)分辨率的視頻數(shù)據(jù)，輸 入的音頻信號(hào)轉(zhuǎn)換為音頻數(shù)據(jù)，將視頻數(shù)據(jù)和音頻數(shù)據(jù)輸出到所述音視頻混合模塊；所述 音視頻混合模塊在所述視頻數(shù)據(jù)行消隱區(qū)內(nèi)插入所述音頻數(shù)據(jù)得到音視頻數(shù)據(jù)，將所述音 視頻數(shù)據(jù)轉(zhuǎn)化為串行化數(shù)據(jù)并輸出到所述音視頻交叉模塊；所述音視頻交叉模塊對(duì)所述串 行化數(shù)據(jù)進(jìn)行交叉；所述輸出模塊將交叉后的數(shù)據(jù)進(jìn)行輸出，或者所述遠(yuǎn)程傳輸模塊將交 叉后的數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換和編碼，將編碼后的數(shù)據(jù)通過網(wǎng)絡(luò)進(jìn)行輸出。
2. 根據(jù)權(quán)利要求1所述的音視頻處理系統(tǒng)，其特征在于，所述音視頻混合模塊包括： 數(shù)據(jù)寫入單元，用于將當(dāng)前接收的音頻數(shù)據(jù)并行化并寫入緩存，所述音頻數(shù)據(jù)的音頻 參數(shù)寫入寄存器； 數(shù)據(jù)處理單元，用于在當(dāng)前接收的視頻數(shù)據(jù)到達(dá)行消隱區(qū)時(shí)，將從緩存中讀取的音頻 數(shù)據(jù)和從寄存器中讀取的相應(yīng)的音頻參數(shù)按照預(yù)設(shè)傳輸協(xié)議包進(jìn)行打包，將打包的數(shù)據(jù)插 入所述行消隱區(qū)，得到帶有音頻數(shù)據(jù)的混合數(shù)據(jù)；在當(dāng)前接收的視頻數(shù)據(jù)到達(dá)行有效區(qū)時(shí)， 通過數(shù)據(jù)處理得到有效的混合數(shù)據(jù)。
3. 根據(jù)權(quán)利要求2所述的音視頻處理系統(tǒng)，其特征在于，所述預(yù)設(shè)傳輸協(xié)議包包括音 頻包頭和音頻包體，所述音頻包頭包含：數(shù)據(jù)包標(biāo)示位、音頻的位率、擴(kuò)展聲道模式、聲道模 式、數(shù)據(jù)包計(jì)數(shù)器、數(shù)據(jù)包類型、板卡號(hào)、通道號(hào)、數(shù)據(jù)包長度。
4. 根據(jù)權(quán)利要求1所述的音視頻處理系統(tǒng)，其特征在于，所述音視頻交叉模塊包括CPU 系統(tǒng)，分別與所述CPU系統(tǒng)相連的交叉單元、系統(tǒng)時(shí)鐘單元、串口驅(qū)動(dòng)通信單元、以太網(wǎng)通 信單元，分別與所述系統(tǒng)時(shí)鐘單元相連的時(shí)鐘驅(qū)動(dòng)單元、同步驅(qū)動(dòng)單元，用于給所述音視頻 交叉模塊各單元提供電源的電源單元。
5. 根據(jù)權(quán)利要求1所述的音視頻處理系統(tǒng)，其特征在于，所述遠(yuǎn)程傳輸模塊包括格式 轉(zhuǎn)換單元、CPU系統(tǒng)單元，所述格式轉(zhuǎn)換單元將交叉后的數(shù)據(jù)進(jìn)行解串、縮放、合成，得到 RGB格式信號(hào)，將RGB格式信號(hào)輸出到CPU系統(tǒng)單元；所述CPU系統(tǒng)單元將所述RGB格式信 號(hào)編碼為預(yù)設(shè)格式的碼流，通過其以太網(wǎng)接口將編碼后的數(shù)據(jù)進(jìn)行輸出；所述CPU系統(tǒng)單 元還用于將所述RGB格式信號(hào)編碼為TMDS信號(hào)和VGA信號(hào)，將所述TMDS信號(hào)和VGA信號(hào) 通過其DVI接口輸出到顯示設(shè)備進(jìn)行信號(hào)預(yù)覽。
6. 根據(jù)權(quán)利要求5所述的音視頻處理系統(tǒng)，其特征在于，所述遠(yuǎn)程傳輸模塊還包括分 別與所述格式轉(zhuǎn)換單元、CPU系統(tǒng)單元相連的時(shí)鐘單元，用于給所述遠(yuǎn)程傳輸模塊各單元提 供電源的供電電源單元。
7. 根據(jù)權(quán)利要求4所述的音視頻處理系統(tǒng)，其特征在于，所述音視頻處理系統(tǒng)通過所 述交叉單元預(yù)留的輸入輸出端口，將交叉后的數(shù)據(jù)傳輸?shù)叫碌乃鲆粢曨l處理系統(tǒng)；所述 遠(yuǎn)程傳輸模塊將編碼后的數(shù)據(jù)通過其高速串行信號(hào)輸出端口進(jìn)行輸出，輸出的數(shù)據(jù)通過交 換機(jī)傳輸?shù)脚c所述音視頻處理系統(tǒng)不同局域網(wǎng)的新的所述音視頻處理系統(tǒng)。
8. -種音視頻處理方法，其特征在于，包括步驟： 將輸入的視頻信號(hào)轉(zhuǎn)換為預(yù)設(shè)格式、預(yù)設(shè)分辨率的視頻數(shù)據(jù)，將輸入的音頻信號(hào)轉(zhuǎn)換 為音頻數(shù)據(jù)； 將所述音頻數(shù)據(jù)插入所述視頻數(shù)據(jù)行消隱區(qū)內(nèi)，得到音視頻數(shù)據(jù)，將所述音視頻數(shù)據(jù) 轉(zhuǎn)化為串行化數(shù)據(jù)； 將所述串行化數(shù)據(jù)進(jìn)行交叉，將交叉后的數(shù)據(jù)進(jìn)行輸出，或者將交叉后的數(shù)據(jù)進(jìn)行格 式轉(zhuǎn)換和編碼，將編碼后的數(shù)據(jù)通過網(wǎng)絡(luò)進(jìn)行輸出。
9. 根據(jù)權(quán)利要求8所述的音視頻處理方法，其特征在于，將所述音頻數(shù)據(jù)插入所述視 頻數(shù)據(jù)行消隱區(qū)內(nèi)的步驟包括： 將當(dāng)前接收的音頻數(shù)據(jù)并行化并寫入緩存，所述音頻數(shù)據(jù)的音頻參數(shù)寫入寄存器； 判斷當(dāng)前接收的視頻數(shù)據(jù)是否到達(dá)行消隱區(qū)，若是，則將從緩存中讀取的音頻數(shù)據(jù)和 從寄存器中讀取的相應(yīng)的音頻參數(shù)按照預(yù)設(shè)傳輸協(xié)議包進(jìn)行打包，將打包的數(shù)據(jù)插入所述 行消隱區(qū)，得到帶有音頻數(shù)據(jù)的混合數(shù)據(jù)；否則，通過數(shù)據(jù)處理得到有效的混合數(shù)據(jù)。
10. 根據(jù)權(quán)利要求9所述的音視頻處理方法，其特征在于，所述預(yù)設(shè)傳輸協(xié)議包包括音 頻包頭和音頻包體，所述音頻包頭包含：數(shù)據(jù)包標(biāo)示位、音頻的位率、擴(kuò)展聲道模式、聲道模 式、數(shù)據(jù)包計(jì)數(shù)器、數(shù)據(jù)包類型、板卡號(hào)、通道號(hào)、數(shù)據(jù)包長度。
【文檔編號(hào)】H04N21/44GK104349205SQ201410652398
【公開日】2015年2月11日 申請(qǐng)日期:2014年11月17日 優(yōu)先權(quán)日:2014年11月17日
【發(fā)明者】林文富, 祝磊 申請(qǐng)人:廣東威創(chuàng)視訊科技股份有限公司