本發(fā)明涉及流媒體傳輸技術(shù)領(lǐng)域，尤其涉及一種直播系統(tǒng)。

背景技術(shù)：

近年來，全景攝像機(panoramacamera)開始進(jìn)入大眾視野，全景攝像機的視野范圍比普通攝像機大，可以滿足一個場所的全景錄像。

但是，現(xiàn)有的全景攝像機只拍攝原始視頻畫面，需要在顯示終端進(jìn)行復(fù)雜的計算，在進(jìn)行直播時也需要配置高性能的本地服務(wù)器和直播平臺服務(wù)器進(jìn)行視頻流的推送，有的還需要經(jīng)過二次轉(zhuǎn)碼，這種直播系統(tǒng)架構(gòu)復(fù)雜、昂貴，適用性較差。

技術(shù)實現(xiàn)要素：

本發(fā)明的主要目的在于提供一種直播系統(tǒng)，旨在簡化現(xiàn)有直播系統(tǒng)的架構(gòu)，提高其適用性。

為實現(xiàn)上述目的，本發(fā)明提出的直播系統(tǒng)，包括全景相機及連接所述全景相機的pc終端，所述全景相機包括：

多路圖像傳感器，將鏡頭拾取的圖像畫面轉(zhuǎn)換為多路圖像數(shù)字信號；

音頻處理模塊，對麥克風(fēng)輸入的音頻數(shù)字信號進(jìn)行編碼、解碼處理；

拼接模塊，將多路圖像傳感器輸入的多路圖像數(shù)字信號拼接成視頻源文件，將音頻處理模塊輸入的音頻數(shù)字信號處理成音頻源文件；

信號處理模塊，將拼接模塊輸入的視頻源文件推送至所述pc終端；

所述pc終端將所述拼接模塊推送的音頻源文件和信號處理模塊推送的視頻源文件合成為2k、4k、或6k全景視頻進(jìn)行直播。

進(jìn)一步地，所述拼接模塊包括fpga，所述信號處理模塊包括兩個dsp處理器，所述fpga將所述多路圖像數(shù)字信號拼接成兩組4k視頻源文件，兩個所述dsp處理器分別對其中一組4k視頻源文件進(jìn)行ips和壓縮處理后將其推送至所述pc終端。

進(jìn)一步地，所述全景相機還包括通信模塊，所述兩dsp處理器和fpga均連接所述通信模塊，所述fpga通過所述通信模塊將所述音頻源文件推送至pc終端，所述兩dsp處理器分別通過所述通信模塊將所述兩組4k視頻源文件推送至pc終端。

進(jìn)一步地，所述通信模塊包括第一phy芯片、第二phy芯片、及第三phy芯片，所述兩dsp處理器包括第一dsp處理器和第二dsp處理器，所述fpga的輸出端連接所述第一phy芯片，所述第一dsp處理器的輸出端連接第二phy芯片，所述第二dsp處理器的輸出端連接第三phy芯片，所述第一phy芯片、第二phy芯片、及第三phy芯片的輸出端均通過一網(wǎng)線連接所述pc終端。

進(jìn)一步地，該直播系統(tǒng)還包括app終端，所述全景相機和pc終端均連接所述app終端，所述app終端對所述全景相機的直播參數(shù)進(jìn)行設(shè)置。

進(jìn)一步地，所述pc終端包括：

合成模塊，將fpga推送來的四路音頻源文件和兩dsp處理器推送來的兩組4k視頻源文件合成為2k、4k或6k全景視頻；

存儲模塊，對所述2k、4k或6k全景視頻進(jìn)行存儲。

進(jìn)一步地，所述pc終端還包括推流模塊，在接收到app終端的直播預(yù)覽請求時，將所述2k全景視頻推流至app終端，或?qū)⑺?k全景視頻以2k格式向所述app終端推送。

進(jìn)一步地，所述pc終端還包括顯示模塊，對所述4k或6k全景視頻進(jìn)行本地顯示。

進(jìn)一步地，所述直播系統(tǒng)還包括與所述pc終端連接的云端，所述pc終端依據(jù)在app終端設(shè)置的全景相機的推流地址，將所述2k、4k或6k全景視頻推流至所述云端。

進(jìn)一步地，所述拼接模塊還包括連接所述fpga的第一存儲器，所述第一存儲器存儲fpga輸出的音頻源文件，在進(jìn)行全景視頻合成時，所述fpga從所述第一存儲器中調(diào)取所述音頻源文件推送至所述pc終端。

本發(fā)明的直播系統(tǒng)，包括全景相機及連接所述全景相機的pc終端，所述全景相機包括多路圖像傳感器、音頻處理模塊、拼接模塊及信號處理模塊，通過將多路圖像傳感器轉(zhuǎn)換的多路圖像數(shù)字信號輸入拼接模塊拼接成視頻源文件，將音頻處理模塊編碼、解碼的音頻數(shù)字信號輸入拼接模塊處理成音頻源文件，再由pc終端將經(jīng)信號處理模塊處理并推送的視頻源文件和拼接模塊推送的音頻源文件合成為全景視頻進(jìn)行直播。本發(fā)明的直播系統(tǒng)，通過所述拼接模塊輸出可直接用于全景視頻合成的視頻源文件和音頻源文件，在pc終端進(jìn)行簡單的合成處理后就能夠直接進(jìn)行全景視頻的直播或推流，不需要在顯示終端進(jìn)行復(fù)雜的計算，簡化了直播系統(tǒng)的架構(gòu)組成，提高了適用性。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖示出的結(jié)構(gòu)獲得其他的附圖。

圖1為本發(fā)明的直播系統(tǒng)一實施例的結(jié)構(gòu)示意圖；

圖2為本發(fā)明的全景相機一實施例的結(jié)構(gòu)示意圖。

附圖標(biāo)號說明：

本發(fā)明目的的實現(xiàn)、功能特點及優(yōu)點將結(jié)合實施例，參照附圖做進(jìn)一步說明。

具體實施方式

應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

本發(fā)明提出一種直播系統(tǒng)。

參照圖1，圖1為本發(fā)明的直播系統(tǒng)一實施例的結(jié)構(gòu)示意圖。

在本實施例中，該直播系統(tǒng)包括全景相機100及連接所述全景相機100的pc終端300，所述全景相機100包括：

多路圖像傳感器10，將鏡頭拾取的圖像畫面轉(zhuǎn)換為多路圖像數(shù)字信號；

音頻處理模塊20，對麥克風(fēng)60輸入的音頻數(shù)字信號進(jìn)行編碼、解碼處理；

拼接模塊30，將多路圖像傳感器10輸入的多路圖像數(shù)字信號拼接成視頻源文件，將音頻處理模塊20輸入的音頻數(shù)字信號處理成音頻源文件；

信號處理模塊40，將拼接模塊30輸入的視頻源文件推送至所述pc終端300；

所述pc終端400將所述拼接模塊30推送的音頻源文件和信號處理模塊40推送的視頻源文件合成為2k、4k、或6k全景視頻進(jìn)行直播。

在本實施例中，進(jìn)一步參照圖2，該直播系統(tǒng)包括全景相機100及連接全景相機100的pc終端300，主要利用全景相機100輸出視頻源文件和音頻源文件，然后在pc終端300根據(jù)需要和應(yīng)用場景的不同，直接將所述視頻源文件和音頻源文件合成為2k、4k、6k等三種不同分辨率的全景視頻，供app終端200或pc終端300的用戶進(jìn)行直播體驗。

所述全景相機100包括相機本體(未圖示)及設(shè)置于相機本體的多路圖像傳感器10、音頻處理模塊20、拼接模塊30及信號處理模塊40，所述相機本體可以采用熱塑性材料注塑成型，也可以采用合金材料制成，所述相機本體上還設(shè)有多個鏡頭和麥克風(fēng)60，所述多個鏡頭均勻分布于所述全景相機100的水平視野或豎直視野中，以抓取水平方向或豎直方向360度的視角，所述麥克風(fēng)60設(shè)有多個，均勻分布于所述相機本體形成一陣列，并隨所述鏡頭一起旋轉(zhuǎn)，以實現(xiàn)各個角度的聲音拾取。

所述多個圖像傳感器10采用cmos圖像傳感器，優(yōu)選sensorimx117，每一圖像傳感器10的輸入端均連接至少一個鏡頭，每一圖像傳感器10的輸出端均連接所述拼接模塊30，所述圖像傳感器10將鏡頭捕捉到的圖像畫面轉(zhuǎn)換為拼接模塊30能夠處理的圖像數(shù)字信號，每一圖像傳感器10通過一lvds接口與所述拼接模塊30的輸入接口連接，將所述多路圖像傳感器10轉(zhuǎn)換后的多路圖像數(shù)字信號輸入所述拼接模塊30。所述拼接模塊30可以采用硬件處理模式，如現(xiàn)場可編程門陣列fpga芯片或復(fù)雜可編程邏輯器件cpld芯片，通過增大輸出時的傳輸速率，在相同時間內(nèi)輸出單路或預(yù)設(shè)路數(shù)的數(shù)字信號，在其他實施例中還可以采用軟件處理模式，如mcu等構(gòu)件緩存區(qū)，將全部數(shù)據(jù)接收至所述緩存區(qū)后，通過對全部數(shù)據(jù)進(jìn)行打包，將打包后的數(shù)據(jù)包通過唯一的輸出接口輸出，本實施例的拼接模塊30優(yōu)選fpga31，對多路圖像傳感器10輸入的多路圖像數(shù)字信號進(jìn)行拼接處理，也即將從多個輸入接口輸入的多路圖像數(shù)字信號通過增大傳輸速率的方式從一個輸出接口輸出視頻源文件，然后將該視頻源文件推送給所述pc終端300。

所述音頻處理模塊20的輸入端連接所述麥克風(fēng)60、輸出端連接所述拼接模塊30，將麥克風(fēng)60采集的聲音模擬信號轉(zhuǎn)換為音頻數(shù)字信號后對所述音頻數(shù)字信號進(jìn)行編碼、壓縮，并在接收端進(jìn)行信號解碼，并將解碼之后的數(shù)字信號通過pcm接口或iis接口傳輸至拼接模塊30，在本實施例中，所述麥克風(fēng)60的數(shù)量為四個，所述四個麥克風(fēng)可以形成以陣列均勻分布于所述相機本體的同一位面，以便更好地對應(yīng)用場景的聲音信號進(jìn)行捕捉和拾取，降低噪聲的影響，在其他實施例中所述麥克風(fēng)60還可以設(shè)置更多，以增強麥克風(fēng)60拾取到的聲音信號的強度，所述麥克風(fēng)60將拾取到的聲音模擬信號轉(zhuǎn)換為音頻數(shù)字信號傳輸至音頻處理模塊20進(jìn)行編碼、壓縮和解壓縮，所述音頻處理模塊20包括主編解碼器21及連接所述主編解碼器21的從編解碼器23，所述主編解碼器21連接其中兩個麥克風(fēng)60，所述從編解碼器23連接另外兩個麥克風(fēng)60，對經(jīng)ad轉(zhuǎn)換器轉(zhuǎn)換后的音頻數(shù)字信號的傳輸進(jìn)行編碼、壓縮，并在接收端對所述音頻數(shù)字信號進(jìn)行解碼，所述從編解碼器將解碼后的音頻數(shù)字信號傳輸至主編解碼器21，由主編解碼器21將解碼之后的音頻數(shù)字信號經(jīng)過pcm接口輸入至拼接模塊30，拼接模塊30利用fpga31將主編解碼器21輸入的音頻數(shù)字信號處理成4路音頻源文件，所述拼接模塊30還包括一連接所述fpga31的第一存儲器33，所述拼接模塊30將所述音頻源文件存儲在所述第一存儲器33中，在需要向所述pc終端300推送時，從所述第一存儲器33中隨時調(diào)取，提高了音頻信號傳輸?shù)募嫒菪院桶踩浴?/p>

所述信號處理模塊40主要對拼接模塊30輸入的視頻源文件進(jìn)行ips處理、壓縮存儲、或者將處理后的視頻源文件推送至pc終端300，所述pc終端300一般為pc機，具有運算處理能力，所述pc終端300將拼接模塊30推送來的音頻源文件和信號處理模塊40推送來的視頻源文件，根據(jù)需要合成為2k、4k、或6k全景視頻，所述2k全景視頻可直接用于app終端200的直播預(yù)覽，在app終端200與pc終端300建立連接后，所述pc終端300可以將所述2k全景視頻推流給app終端200，或者將所述4k全景視頻以2k格式推送給app終端200進(jìn)行直播預(yù)覽，或者將所述4k或6k全景視頻直接在本地顯示播放。

本發(fā)明的直播系統(tǒng)，通過所述拼接模塊30輸出可直接用于全景視頻合成的視頻源文件和音頻源文件，在pc終端300進(jìn)行簡單的合成處理后就能夠直接進(jìn)行2k、4k、或6k全景視頻的直播或推流，不需要在顯示終端進(jìn)行復(fù)雜的計算，簡化了直播系統(tǒng)的架構(gòu)組成，提高了適用性。

進(jìn)一步地，參照圖2，所述拼接模塊30包括fpga31，所述信號處理模塊40包括兩個dsp處理器41，所述fpga31將所述多路圖像數(shù)字信號拼接成兩組4k視頻源文件，兩個所述dsp處理器41分別對其中一組4k視頻源文件進(jìn)行ips和壓縮處理后將其推送至所述pc終端300。

在本實施例中，所述拼接模塊30包括現(xiàn)場可編程門陣列fpga31，所述信號處理模塊40包括兩個dsp處理器41成兩組輸入所述fpga31進(jìn)行拼接處理，所述fpga31將所述多路數(shù)字信號拼接成兩組4k視頻源文件，所述兩個dsp處理器41的輸入端均連接所述fpga31，所述fpga31將拼接好的兩組4k視頻源文件推送給輸出端的兩個dsp處理器41，兩個所述dsp處理器41分別對其中一組4k視頻源文件進(jìn)行ips處理、壓縮處理、及編碼處理，在pc終端300進(jìn)行全景視頻合成時將經(jīng)過ips、壓縮處理、及編碼處理后的4k全景視頻數(shù)據(jù)推送給所述pc終端300進(jìn)行合成處理，得到畫面清晰、畫質(zhì)優(yōu)良的2k、4k、或6k全景視頻，所述dsp處理器41選擇amba_dsp，核心編碼器選擇videoencodea12，所述信號處理模塊40還包括多個第二存儲器43，每一所述dsp處理器41均連接至少一個第二存儲器43，以便dsp處理器41對所述4k視頻源文件進(jìn)行壓縮和編碼處理后將其保存在所述第二存儲器43內(nèi)，所述第二存儲器43可以是ddr、flash、或tf-card。

進(jìn)一步地，參照圖1和圖2，所述全景相機100還包括通信模塊50，所述兩dsp處理器41和fpga31均連接所述通信模塊50，所述fpga31通過所述通信模塊50將所述音頻源文件推送至pc終端300，所述兩dsp處理器41分別通過所述通信模塊50將所述兩組4k視頻源文件推送至pc終端300。

在本實施例中，所述全景相機100還包括通信模塊50，所述兩dsp處理器41的輸出端和所述fpga31的輸出端均連接所述通信模塊50，所述通信模塊50的輸出端連接所述pc終端300，在本實施例中，所述通信模塊50與所述pc終端300之間的連接為有線連接，在其他實施例中，所述通信模塊50與所述pc終端300之間還可以設(shè)置有航空頭57，所述pc終端300通過通信模塊50向所述全景相機100提供電源支持和數(shù)據(jù)傳輸通道，以提高所述兩dsp處理器41向pc終端300推送所述兩組4k視頻源文件，及所述fpga31向pc終端300推送所述音頻源文件時的傳輸速率和安全性。

進(jìn)一步地，參照圖2，所述通信模塊50包括第一phy芯片51、第二phy芯片53、及第三phy芯片55，所述兩dsp處理器41包括第一dsp處理器411和第二dsp處理器413，所述fpga31的輸出端連接所述第一phy芯片51，所述第一dsp處理器411的輸出端連接第二phy芯片53，所述第二dsp處理器413的輸出端連接第三phy芯片55，所述第一phy芯片51、第二phy芯片553、及第三phy芯片55的輸出端均通過一網(wǎng)線連接所述pc終端300。

在本實施例中，全景相機100向pc終端300輸出未完全拼接的音頻源文件和視頻源文件，所述兩dsp處理器41包括第一dsp處理器411和第二dsp處理器413，在pc終端300通過通信模塊50向所述全景相機100發(fā)送通訊指令后，拼接模塊30內(nèi)的fpga31接收4路圖像傳感器10輸入的圖像數(shù)字信號，及主編解碼器21輸入的音頻數(shù)字信號，拼接模塊30內(nèi)的fpga31將所述音頻數(shù)字信號處理成4路獨立的音頻源文件，通過rmii或mii接口傳輸至第一phy芯片51，拼接模塊30內(nèi)的fpga31將所述4路圖像傳感器10輸入的圖像數(shù)字信號處理成2路獨立畫面共用一個畫布的兩組視頻源文件，分別輸入至第一dsp處理器411和第二dsp處理器413，所述第一dsp處理器411和第二dsp處理器413分別對所述兩組視頻源文件進(jìn)行ips處理、壓縮和編碼處理后，存儲在與之連接的第二存儲器43中，所述第二存儲器43為ddr、flash、或tf卡，或者通過rmii接口傳輸至后端的通信模塊50，所述第一dsp處理器411的輸出端通過rmii接口連接第二phy芯片53，第二dsp處理器413的輸出端通過rmii接口傳輸至第三phy芯片55，所述第一phy芯片51、第二phy芯片53、及第三phy芯片55的輸出端均連接一網(wǎng)線，所述航空頭57的輸入端設(shè)置有多個網(wǎng)線接口，所述三phy芯片的輸出端連接的網(wǎng)線均插入航空頭57的網(wǎng)線接口內(nèi)，通過所述航空頭57與pc終端300之間實現(xiàn)有線傳輸，提高了全景相機100應(yīng)用的廣泛性和多樣性。

進(jìn)一步地，參照圖1，該直播系統(tǒng)還包括app終端200，所述全景相機100和pc終端300均連接所述app終端200，所述app終端200對所述全景相機100的直播參數(shù)進(jìn)行設(shè)置。

在本實施例中，該直播系統(tǒng)還包括一app終端200，該app終端200通過有線或無線方式與全景相機100建立通信連接，如app終端200通過藍(lán)牙或wifi與全景相機100建立直接的無線連接，或者app終端200通過路由器與所述全景相機100建立間接的無線連接，或者app終端200通過數(shù)據(jù)連接線直接與所述全景相機100建立直接的有線連接，對所述全景相機100的直播參數(shù)進(jìn)行設(shè)置，如全景相機100進(jìn)行直播時的推流地址，或全景相機100直播全景視頻的分辨率、碼率、碼流數(shù)，或者全景相機100在直播過程中的操作提示音、亮度、對比度、及飽和度參數(shù)等。

進(jìn)一步地，參照圖1和圖2，所述pc終端300包括：

合成模塊310，將fpga31推送來的四路音頻源文件和兩dsp處理器41推送來的兩組4k視頻源文件合成為2k、4k或6k全景視頻；

存儲模塊320，對所述2k、4k或6k全景視頻進(jìn)行存儲。

在本實施例中，所述全景相機100不直接輸出全景視頻數(shù)據(jù)，通過fpga31將多路圖像傳感器10輸入的多路圖像數(shù)字信號拼接成兩組4k視頻源文件輸出，通過fpga31將主編解碼器21輸入的音頻數(shù)字信號處理成四路獨立的音頻源文件輸出，然后通過所述fpga31調(diào)取與fpga31連接的第一存儲器33中的音頻源文件，推送給所述pc終端300，以及通過第一dsp處理器411和第二dsp處理器413將所述兩組4k視頻源文件推送給所述pc終端300，用于在所述pc終端300進(jìn)行全景視頻的合成，所述pc終端300包括合成模塊310，所述合成模塊310根據(jù)應(yīng)用場景的不同將推送來的音頻源文件和視頻源文件合成為帶有立體聲的2k、4k、或6k全景視頻，所述pc終端300還包括存儲模塊320，所述存儲模塊320為所述pc終端的ssd硬盤，所述ssd硬盤對所述2k、4k、或6k全景視頻進(jìn)行實時保存，方便連接到pc終端300的其他終端對所述2k、4k、或6k全景視頻進(jìn)行獲取。

進(jìn)一步地，參照圖1和2，所述pc終端300還包括推流模塊330，在接收到app終端300的直播預(yù)覽請求時，將所述2k全景視頻推流至app終端200，或?qū)⑺?k全景視頻以2k格式向所述app終端200推送。

在本實施例中，所述app終端200還與所述pc終端300建立通信連接，向所述pc終端300發(fā)出直播預(yù)覽請求，所述app終端200與所述pc終端300建立直接或間接的通信連接，以便與所述pc終端300之間實現(xiàn)指令或數(shù)據(jù)信息的交互，如app終端200通過藍(lán)牙或wifi與所述pc終端300建立直接的無線連接，或者app終端200通過路由器與所述pc終端300建立間接的無線連接，或者app終端200通過數(shù)據(jù)連接線直接與所述pc終端300建立直接的有線連接，所述pc終端300還包括一推流模塊330，在所述pc終端300接收到app終端200的直播預(yù)覽請求時，所述推流模塊330將合成好的2k全景視頻通過wifi或藍(lán)牙直接推流至所述app終端200，或者將合成好的4k全景視頻以2k格式發(fā)送給所述app終端200。

進(jìn)一步地，參照圖1和2，所述pc終端300還包括顯示模塊350，對所述4k或6k全景視頻進(jìn)行本地顯示。

在本實施例中，所述pc終端300將fpga31推送來的音頻源文件和dsp處理器41推送來的4k視頻源文件合成為2k、4k或6k全景視頻，根pc終端300用戶的需要也可以選擇將所述4k或6k全景視頻通過hdmi接口推送至所述顯示模塊340，進(jìn)行本地顯示，增加全景相機100實現(xiàn)全景視頻直播顯示的多樣性和功能性。

進(jìn)一步地，參照圖1和2，所述直播系統(tǒng)還包括與所述pc終端300連接的云端400，所述pc終端300依據(jù)在app終端200設(shè)置的全景相機的推流地址，將所述2k、4k或6k全景視頻推流至所述云端400。

在本實施例中，所述直播系統(tǒng)還包括與pc終端300連接的云端400，pc終端300根據(jù)預(yù)先通過app終端200設(shè)定的全景相機100的推流地址和直播id建立直播所需的傳輸層和應(yīng)用程序協(xié)議連接，在所述pc終端300與云端400建立協(xié)議連接之后，也即在網(wǎng)絡(luò)層、傳輸層和應(yīng)用層協(xié)議已連接的情況下，所述pc終端300就能夠?qū)pga31推送來的音頻源文件和dsp處理器41推送來的4k視頻源文件進(jìn)行視頻編碼、封裝視頻流、進(jìn)行流媒體的推送，將所述2k、4k或6k全景視頻推流至所述云端400，連接云端400的終端用戶無需再外接任何服務(wù)器就可以實現(xiàn)全景直播預(yù)覽和播放，簡化了直播系統(tǒng)架構(gòu)，能夠應(yīng)用于企業(yè)、個人、現(xiàn)場報道等各種場合，提高了該直播系統(tǒng)的適用性。

以上僅為本發(fā)明的優(yōu)選實施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護范圍內(nèi)。