專利名稱：基于fpga實現(xiàn)4路音視頻合路方法
技術(shù)領(lǐng)域：
本發(fā)明屬于多媒體網(wǎng)絡(luò)傳輸技術(shù)，具體涉及一種在同一信道上可同時傳輸多路音視頻的合路方法。
背景技術(shù)：
隨著互聯(lián)網(wǎng)的迅猛發(fā)展，其網(wǎng)絡(luò)視頻產(chǎn)品的需求量以每年20％的速度增長，2002年全世界各種網(wǎng)絡(luò)視頻編碼器銷售額超過了100億美元，然而，網(wǎng)絡(luò)多媒體視頻傳輸數(shù)據(jù)量呈現(xiàn)爆炸式增長，網(wǎng)絡(luò)帶寬已成為信息傳輸?shù)摹捌款i”，采用高效的多路音視頻處理方法的編碼器是解決“瓶頸”問題的有效方法之一。隨著我國網(wǎng)絡(luò)的普及和國家信息基礎(chǔ)設(shè)施建設(shè)的發(fā)展，多媒體視頻業(yè)務(wù)必將成為網(wǎng)絡(luò)通信的主流。節(jié)約現(xiàn)有通信資源、提高通信線路的利用率是當(dāng)前具有重大意義的課題。目前國內(nèi)外廠家生產(chǎn)的音視頻編碼器，均是可提供單通道1路音視頻，傳輸線路利用率低，造成產(chǎn)品的性能價格比也較低，傳輸效率也很低，早已不適應(yīng)網(wǎng)絡(luò)產(chǎn)業(yè)飛速發(fā)展的需要，因此急需開發(fā)能實現(xiàn)多路音視頻整合功能的方法，以實現(xiàn)在同一信道上可同時傳輸多路音視頻，提高其傳輸線路的利用率和音視頻編碼器性能價格比。

發(fā)明內(nèi)容
本發(fā)明的目的是提出一種基于FPGA實現(xiàn)4路音視頻合路方法，以實現(xiàn)在同一信道上可同時傳輸多路音視頻，既解決了多路音視頻輸入問題，又提高了傳輸線路的利用率和音視頻編碼器性能價格比。
本發(fā)明基于FPGA實現(xiàn)4路音視頻合路方法，是將4路視頻信號和4錄音頻信號分別通過4個PAL編解碼芯片和4路PCM語音編碼語音芯片輸入到FPGA現(xiàn)場可編程門陣列芯片進行處理后實現(xiàn)4路音視頻信號合路輸出，F(xiàn)PGA芯片包括有SDRAM同步動態(tài)隨機存儲器控制模塊、視頻輸出模塊、視頻同步生成模塊、視頻時鐘模塊、4路視頻同步檢測模塊、4路視頻判斷存儲模塊、音頻時鐘模塊、PCM編碼控制模塊、視頻芯片控制模塊、模式設(shè)定模塊，其信號處理流程為4路音視頻信號采集輸入后，首先通過模式設(shè)定模塊設(shè)置視頻輸出的格式、時鐘和同步的輸入輸出模式，之后平行處理3個分支，第一個分支用來設(shè)置視頻芯片的寄存器，第二個分支用來合路4路音頻，第三支用來合路4路視頻；第一個分支I2C接收、緩存模塊收到數(shù)據(jù)后，啟動I2C發(fā)送模塊，進行SAA7114視頻芯片寄存器的設(shè)置，包括芯片的工作模式、亮度、色度設(shè)置、前置濾波器的設(shè)置；第二個分支音頻時鐘模塊產(chǎn)生音頻時鐘，控制PCM編碼器控制模塊進行SPI數(shù)據(jù)的設(shè)置，接收音頻數(shù)據(jù)合路為I2S數(shù)據(jù)發(fā)出，完成4路音頻的合路，SPI設(shè)置的內(nèi)容為音頻的所占時隙、時鐘速率、片內(nèi)運放的增益，而后接收音頻數(shù)據(jù)，進行存儲，并且通過音頻輸出時鐘的控制輸出I2S數(shù)據(jù)；視頻時鐘信號又進入兩個并行分支，一是檢測4路輸入視頻的同步信號，對視頻數(shù)據(jù)進行存儲，二是產(chǎn)生行、場同步，有了行場同步信號，進行同步信號的輸出，并且利用此同步信號控制視頻合路信號的輸出。
本發(fā)明多路音視頻合路方法的實現(xiàn)原理是由于多路音視頻合路器不需要太多的算法，主要實現(xiàn)的靈活的控制功能，4路視頻信號的輸入，經(jīng)過PAL解碼后，其同步信號是隨機的相位關(guān)系，要想合路視頻信號，必須要有一個基準(zhǔn)視頻同步信號，而4路視頻輸入的每一路有可能不接攝像頭，因此不能用任何一路信號的同步作為輸出視頻的同步信號，所以采用內(nèi)部生成同步信號的方式，此同步信號與4路輸入視頻的同步不需要有相位關(guān)系。輸入視頻數(shù)據(jù)按照各路輸入的同步時序向SDRAM中寫數(shù)據(jù)，輸出視頻則按照內(nèi)部生成的同步信號從SDRAM中讀數(shù)據(jù)，并向外輸出。這里的SDRAM功能為數(shù)據(jù)緩存作用，音頻信號和路處理相對簡單一些，因為輸入的音頻數(shù)據(jù)為PCM(脈沖編碼調(diào)制，一種語音數(shù)字格式)數(shù)據(jù)，各路音頻的時序位置固定，而且因為視頻信號存儲的幀數(shù)很少，不會影響音視頻信號的同步。這樣音頻信號和視頻信號可以分開單獨處理，視頻信號的接收和合路輸出也是分別進行，合路的功能的完成主要靠視頻數(shù)據(jù)的存儲過程和視頻數(shù)據(jù)的讀取輸出過程。
本發(fā)明方法實現(xiàn)了在同一信道上可同時傳輸多路音視頻，既解決了多路音視頻輸入問題，又提高了傳輸線路的利用率和音視頻編碼器性能價格比?；贔PGA(Field Program GateArray，現(xiàn)場可編程門陣列)實現(xiàn)4路音視頻合路方法作為音視頻編碼器的重要技術(shù)之一，為音視頻編碼器提供一機多路提供了適用可靠實現(xiàn)方法，為音視頻編碼器在LAN/WAN、遠程視頻監(jiān)控、安防系統(tǒng)中多路音視頻要求提供了支持和可靠的保證，它將大大的提高通信線路的利用率，節(jié)省寶貴的線路帶寬資源，是實現(xiàn)視頻通信非常重要的技術(shù)。利用該技術(shù)開發(fā)出高效實用的視頻傳輸設(shè)備無疑將有廣闊的市場前景和巨大的經(jīng)濟、社會效益。在視頻和音頻處理上運用FPGA等可編程器件，將成為具有經(jīng)濟實用的未來標(biāo)準(zhǔn)平臺，這是因為它具有多種優(yōu)點可快速做出樣機并驗證，加速上市時間；緊隨新標(biāo)準(zhǔn)、新要求快速演進步伐。因此，基于FPGA實現(xiàn)4路音視頻合路方法的實用化、產(chǎn)品化，可為網(wǎng)絡(luò)多路音視頻通信提供高效、實時、并可方便靈活多用及具有良好兼容性的硬件通信平臺，可為網(wǎng)絡(luò)的視頻通信提供了一個高性能價格比的選擇。


圖1是本發(fā)明4路音視頻合路的系統(tǒng)框圖；圖2是圖1中所示合路FPGA中的功能模塊組成示意圖；圖3是視頻同步檢測模塊使用的視頻數(shù)據(jù)格式；圖4是合路FPGA內(nèi)部信號處理的流程圖。
具體實施例方式
結(jié)合下面給出的實施例對本發(fā)明方法作進一步詳細(xì)說明。
參照圖1、2，本發(fā)明基于FPGA實現(xiàn)4路音視頻合路方法，是將4路視頻信號和4錄音頻信號分別通過4個PAL編解碼芯片和4路PCM語音編碼語音芯片輸入到FPGA現(xiàn)場可編程門陣列芯片進行處理后實現(xiàn)4路音視頻信號合路輸出，F(xiàn)PGA芯片包括有SDRAM同步動態(tài)隨機存儲器控制模塊、視頻輸出模塊、視頻同步生成模塊、視頻時鐘模塊、4路視頻同步檢測模塊、4路視頻判斷存儲模塊、音頻時鐘模塊、PCM編碼控制模塊、視頻芯片控制模塊、模式設(shè)定模塊。
4路PAL解碼器采用PHILIPS公司的SAA7114芯片，此芯片使用I2C(一種串行總線協(xié)議)設(shè)置方式，視頻輸出可以為CCIR601和CCIR656兩種模式，本發(fā)明使用CCIR656模式，4路語音PCM編碼器采用IDT公司的IDT821034，此芯片使用SPI(一種串行總線協(xié)議)設(shè)置方式。SDRAM采用三星公司的K4S1632C芯片。FPGA采用XILINX公司的XC2S200-PQ208芯片，至于語音壓縮處理芯片和視頻壓縮處理芯片可以任選。
FPGA軟件編程說明FPGA編程使軟件使用XILINX公司提供的ISE6.1集成開發(fā)環(huán)境，語言使用VEROLOG國際規(guī)范硬件描述語言。設(shè)計的功能模塊如圖2所示。下面分模塊介紹編程思想。
視頻同步檢測模塊1到4本發(fā)明使用的視頻數(shù)據(jù)格式為如圖3所示的CCIR656格式，視頻信號的行、場同步等控制信號都存在于數(shù)據(jù)流中，此模塊作用是檢測數(shù)據(jù)流中的信息，提取出4路視頻同步信號。使用4級8位比較器來完成。
視頻判斷存儲模塊1到4由提取出的4路視頻同步控制信號來控制把各路的視頻數(shù)據(jù)存儲到SDRAM，這里把SDRAM作為視頻數(shù)據(jù)的緩存，每路信號存儲的位置固定，第一路存到緩存區(qū)的左上1/4部分，第二路存到緩存區(qū)的右上1/4部分，第三路存到緩存區(qū)的左下1/4部分，第四路存到緩存區(qū)的右下1/4部分，因為每路視頻的存儲信號不同步，為保證視頻數(shù)據(jù)的完整，必須至少開三個視頻幀的緩存區(qū)。使用4個16位計數(shù)器來生成地址信號，并用比較器來判斷回行。
視頻時鐘模塊內(nèi)部生成視頻時鐘信號，為27MHz，可以接外部時鐘信號，此時鐘信號是輸出視頻信號的基準(zhǔn)。使用內(nèi)部時鐘線，以減少延時。
視頻同步生成模塊此模塊完成內(nèi)部視頻行、場同步信號的產(chǎn)生，要使用視頻時鐘模塊產(chǎn)生的時鐘，按視頻壓縮處理芯片的通常要求，還產(chǎn)生視頻復(fù)合同步信號，奇偶場指示信號等，這些同步信號也可以是外部輸入。使用計數(shù)器、比較器、觸發(fā)器等來生成所需的同步信號。
視頻輸出模塊此模塊利用視頻同步生成模塊產(chǎn)生視頻同步信號從SDRAM中讀取數(shù)據(jù)(前面所開的視頻緩沖區(qū))，因為4路輸入視頻信號存儲的位置是視頻緩沖區(qū)的4個不同區(qū)域，所以輸出的視頻信號為已經(jīng)合路的信號。這里要保證輸出的視頻是已經(jīng)寫好的數(shù)據(jù)，所以緩存區(qū)的大小至少為三個視頻幀。保證1、2視頻幀在寫的時候讀取3視頻幀，或2、3視頻幀在寫的時候讀取1視頻幀，或3、1視頻幀在寫的時候讀取2視頻幀。使用1個16位計數(shù)器來生成地址信號。
SDRAM控制模塊所有視頻信號、音頻信號的存儲和讀取都要對SDRAM操作，而SDRAM又需要刷新，所以此模塊為其他模塊對SDRAM操作的接口模塊。
視頻芯片控制模塊此模塊包括I2C接收和發(fā)送兩部分，目的是設(shè)置PAL解碼器芯片，而設(shè)置的數(shù)據(jù)來源可以通過I2C接收CPU發(fā)來的信號得到，因為SAA7114可以設(shè)置兩個l2C地址，4個芯片共要使用2路I2C發(fā)送兩部分。另外I2C接收部分同時還接收音頻設(shè)置信息。使用串并轉(zhuǎn)換器來是實現(xiàn)I2C接收，使用數(shù)據(jù)鎖存器來存儲I2C數(shù)據(jù)。使用并串轉(zhuǎn)換器完成I2C發(fā)送。
音頻時鐘模塊包括兩部分時鐘，一是音頻輸入時鐘，二是音頻輸出時鐘，均為外部輸入。
PCM編碼器控制模塊PCM編碼器使用SPI控制方式，把I2C接收部分收到數(shù)據(jù)通過SPI總線發(fā)出，對PCM編碼器進行初始化。收到的音頻數(shù)據(jù)流存儲到SDRAM中，同時按照輸入視頻的時鐘向外輸出數(shù)據(jù)，此處的音頻緩沖區(qū)要2個即可，每個為16BYTE。把收到的PCM音頻數(shù)據(jù)變換成多數(shù)處理芯片可以接收的I2S(一種語音數(shù)字格式)信號，使用并串轉(zhuǎn)換器完成SPI發(fā)送和I2S數(shù)據(jù)的發(fā)送。
模式設(shè)定部分此模式設(shè)定為初始化FPGA來用的，主要設(shè)置視頻輸出的格式，時鐘和同步的輸入輸出模式等。
參照圖4，F(xiàn)PGA信號處理流程為4路音視頻信號采集輸入后，首先通過模式設(shè)定模塊設(shè)置視頻輸出的格式、時鐘和同步的輸入輸出模式，之后平行處理3個分支，第一個分支用來設(shè)置視頻芯片的寄存器，第二個分支用來合路4路音頻，第三支用來合路4路視頻；第一個分支I2C接收、緩存模塊收到數(shù)據(jù)后，啟動I2C發(fā)送模塊，進行SAA7114視頻芯片寄存器的設(shè)置，包括芯片的工作模式、亮度、色度設(shè)置、前置濾波器的設(shè)置等。
第二個分支音頻時鐘模塊產(chǎn)生音頻時鐘，控制PCM編碼器控制模塊進行SPI數(shù)據(jù)的設(shè)置，接收音頻數(shù)據(jù)合路為I2S數(shù)據(jù)發(fā)出，完成4路音頻的合路功能。SPI設(shè)置的內(nèi)容為音頻的所占時隙、時鐘速率、片內(nèi)運放的增益等。而后接收音頻數(shù)據(jù)，進行存儲，并且通過音頻輸出時鐘的控制輸出I2S數(shù)據(jù)。
視頻時鐘模塊又有兩個并行分支，一是檢測4路輸入視頻的同步信號，對視頻數(shù)據(jù)進行存儲，二是產(chǎn)生行、場同步，有了行場同步信號，進行同步信號的輸出，并且利用此同步信號控制視頻合路信號的輸出。
采用本發(fā)明方法，既可以4路視頻和4路音頻同時進行合路，也可以進行選擇性的合路，如2路視頻、2路音頻合路；并可在4路視頻和1路直通兩種方式中選擇。
權(quán)利要求
1.一種基于FPGA實現(xiàn)4路音視頻合路方法，其特征在于4路視頻信號和4錄音頻信號分別通過4個PAL編解碼芯片和4路PCM語音編碼語音芯片輸入到FPGA現(xiàn)場可編程門陣列芯片進行處理后實現(xiàn)4路音視頻信號合路輸出，F(xiàn)PGA芯片包括有SDRAM同步動態(tài)隨機存儲器控制模塊、視頻輸出模塊、視頻同步生成模塊、視頻時鐘模塊、4路視頻同步檢測模塊、4路視頻判斷存儲模塊、音頻時鐘模塊、PCM編碼控制模塊、視頻芯片控制模塊、模式設(shè)定模塊，其信號處理流程為4路音視頻信號采集輸入后，首先通過模式設(shè)定模塊設(shè)置視頻輸出的格式、時鐘和同步的輸入輸出模式，之后平行處理3個分支，第一個分支用來設(shè)置視頻芯片的寄存器，第二個分支用來合路4路音頻，第三支用來合路4路視頻；第一個分支I2C接收、緩存模塊收到數(shù)據(jù)后，啟動I2C發(fā)送模塊，進行SAA7114視頻芯片寄存器的設(shè)置，包括芯片的工作模式、亮度、色度設(shè)置、前置濾波器的設(shè)置；第二個分支音頻時鐘模塊產(chǎn)生音頻時鐘，控制PCM編碼器控制模塊進行SPI數(shù)據(jù)的設(shè)置，接收音頻數(shù)據(jù)合路為I2S數(shù)據(jù)發(fā)出，完成4路音頻的合路，SPI設(shè)置的內(nèi)容為音頻的所占時隙、時鐘速率、片內(nèi)運放的增益，而后接收音頻數(shù)據(jù)，進行存儲，并且通過音頻輸出時鐘的控制輸出I2S數(shù)據(jù)；視頻時鐘信號又進入兩個并行分支，一是檢測4路輸入視頻的同步信號，對視頻數(shù)據(jù)進行存儲，二是產(chǎn)生行、場同步，有了行場同步信號，進行同步信號的輸出，并且利用此同步信號控制視頻合路信號的輸出。
全文摘要
本發(fā)明涉及在同一信道上可同時傳輸多路音視頻的合路方法，特別是一種基于FPGA實現(xiàn)4路音視頻合路方法，它是將4路視頻信號和4錄音頻信號分別通過4個PAL編解碼芯片和4路PCM語音編碼語音芯片輸入到FPGA現(xiàn)場可編程門陣列芯片進行處理后實現(xiàn)4路音視頻信號合路輸出，其信號處理流程為4路音視頻信號首先通過模式設(shè)定模塊設(shè)置視頻輸出的格式、時鐘和同步的輸入輸出模式，之后平行處理3個分支，第一個分支用來設(shè)置視頻芯片的寄存器，第二個分支用來合路4路音頻，第三支用來合路4路視頻。本發(fā)明方法實現(xiàn)了在同一信道上可同時傳輸多路音視頻，既解決了多路音視頻輸入問題，又提高了傳輸線路的利用率和音視頻編碼器性能價格比。
文檔編號H04N7/081GK1645930SQ20051001651
公開日2005年7月27日 申請日期2005年1月12日 優(yōu)先權(quán)日2005年1月12日
發(fā)明者王世剛, 祝宇鴻 申請人:吉林大學(xué)