本發(fā)明屬于智慧校園，特別涉及一種基于視頻動態(tài)融合的校園廣播系統(tǒng)及融合方法。

背景技術：

1、傳統(tǒng)的校園廣播系統(tǒng)一般只提供廣播聲音功能，原有廣播采集服務只需識別音頻設備，采集音頻數(shù)據(jù)并進行廣播即可。隨著用戶需求的變化和技術的演進，校園廣播系統(tǒng)的需求發(fā)生了變化，除了廣播聲音外，還需要廣播視頻，同時還要求針對廣播主機獲取的視頻畫面進行后臺處理，例如多畫面合成等，以獲取更佳的視頻廣播畫面。如何采集音視頻信息、進行音視頻同步，并基于多畫面進行本地動態(tài)融合，是目前亟需處理的問題。

技術實現(xiàn)思路

1、發(fā)明目的：針對上述背景技術中存在的問題，本發(fā)明提供了一種基于視頻動態(tài)融合的校園廣播系統(tǒng)及融合方法，在不改變用戶原有操作習慣的前提下，對現(xiàn)有廣播采集服務程序進行改進和升級，識別廣播主機上所有的音視頻設備名稱；采集音頻和視頻數(shù)據(jù)，并使音視頻保持同步；同時，支持多個視頻畫面動態(tài)融合成一個視頻畫面。使校園廣播系統(tǒng)實現(xiàn)音視廣播的功能，這樣的優(yōu)化和升級，進一步豐富、拓展校園廣播系統(tǒng)功能。

2、技術方案：一種基于視頻動態(tài)融合的校園廣播系統(tǒng)，包括廣播后臺服務端、廣播主機、廣播播放終端和廣播采集服務；所述廣播后臺服務端通過廣播采集服務與廣播主機連接；所述廣播后臺服務端選取廣播播放終端進行廣播播放；

3、所述廣播后臺服務端識別廣播主機上的音視頻設備，并將音視頻設備名稱定時上傳至廣播后臺服務端；所述廣播播放終端實時將終端設備注冊至廣播后臺服務端；所述廣播后臺服務端下發(fā)采集指令后，由廣播采集服務采集音視頻數(shù)據(jù)，并進行視頻動態(tài)融合，將融合后的音視頻數(shù)據(jù)推流至本地服務器；所述廣播后臺服務端下發(fā)廣播指令后，由廣播播放終端獲取融合后的音視頻數(shù)據(jù)并進行播放。

4、進一步的，所述廣播后臺服務端與廣播采集服務間基于websocket協(xié)議長連接；所述廣播播放終端設備與廣播后臺服務端間通過http和websocket協(xié)議進行雙向通信；廣播播放終端設備通過http協(xié)議主動請求廣播后臺服務端將終端設備登記注冊到校園廣播系統(tǒng)，廣播后臺服務端通過websocket協(xié)議下發(fā)帶有推流地址的播放指令；廣播終端播放設備根據(jù)對應地址拉取音視頻流并進行播放。

5、進一步的，所述廣播主機包括若干用于采集音頻數(shù)據(jù)的麥克風和采集視頻數(shù)據(jù)的攝像頭、系統(tǒng)桌面；所述廣播采集服務識別所述廣播主機，獲取音視頻采集設備名稱列表，按照定義的格式組織獲取到的音視頻設備信息。廣播采集服務通過websocket協(xié)議定時將組織好的音視頻設備信息上報到廣播后臺服務端。

6、一種基于視頻動態(tài)融合的校園廣播系統(tǒng)的融合方法，包括以下步驟：

7、步驟s1、廣播采集服務獲取對應廣播主機的音視頻數(shù)據(jù)，采用拉普拉斯金字塔融合進行視頻畫面融合；

8、步驟s2、將融合圖像進行流處理，與采集的音頻數(shù)據(jù)同步，將同步完成的視頻流推至本地rtsp服務器。

9、進一步的，所述步驟s1中，采用拉普拉斯金字塔融合進行視頻畫面融合具體方法包括：

10、步驟s1.1、將待融合的2張圖像進行空間對齊，并對圖像進行預處理，包括圖像校正、降噪和配準等；

11、步驟s1.2、通過surf特征提取對待融合圖像進行特征提取，提取不同圖像的優(yōu)勢特征；基于圖像的優(yōu)勢特征動態(tài)生成掩模；所述掩模用于控制不同圖像在融合過程中的權重；

12、步驟s1.3、基于輸入圖像構建高斯金字塔，以原圖像為基礎，逐層采用高斯模糊及下采樣構建新的高斯圖像層，重復若干次，獲取分辨率從大到小的高斯金字塔；

13、步驟s1.4、基于構建的高斯金字塔構建拉普拉斯金字塔。從當前層的高斯圖像中減去上采樣的下一層高斯圖像來構建拉普拉斯金字塔；

14、步驟s1.5、使用掩模對兩幅圖像的拉普拉斯金字塔進行加權平均，生成混合的拉普拉斯金字塔；在每個層級上，根據(jù)掩模的值來決定兩個圖像在該層級上的融合程度；

15、步驟s1.6、從融合后的拉普拉斯金字塔的頂層開始，通過逐層上采樣并將上采樣的結果與下一層相加，重建出最終的融合圖像。

16、進一步的，所述步驟s2中將融合圖像進行流處理，轉(zhuǎn)化為yuv格式圖像，通過ffmpeg音視頻處理軟件對yuv格式圖像進行編碼，獲取h264格式視頻流數(shù)據(jù)，并與廣播機采集到的pcm或aac格式的音頻數(shù)據(jù)進行同步，最終生成動態(tài)融合后的視頻流，推送至本地rtsp服務器。

17、本發(fā)明采用的技術方案與現(xiàn)有技術方案相比，具有以下有益效果：

18、本發(fā)明在不改變原有廣播采集服務流程和操作的基礎上，對現(xiàn)有的廣播采集服務程序功能進行改進和升級，在識別廣播主機上所有的音視頻設備名稱的基礎上，使用ffmpeg音視頻處理技術，對廣播主機上采集的音頻和視頻進行編碼，并使音視頻保持同步；同時，使用拉普拉斯金字塔圖像融合算法，將多個視頻畫面動態(tài)融合成一個視頻畫面。通過增加視頻設備識別、音視頻同步和多個視頻畫面動態(tài)合成功能，進一步拓展校園廣播系統(tǒng)的功能，使校園廣播系統(tǒng)更具有生命力和市場競爭力。

技術特征：

1.一種基于視頻動態(tài)融合的校園廣播系統(tǒng)，其特征在于，包括廣播后臺服務端、廣播主機、廣播播放終端和廣播采集服務；所述廣播后臺服務端通過廣播采集服務與廣播主機連接；所述廣播后臺服務端選取廣播播放終端進行廣播播放；

2.根據(jù)權利要求1所述的一種基于視頻動態(tài)融合的校園廣播系統(tǒng)，其特征在于，所述廣播后臺服務端與廣播采集服務間基于websocket協(xié)議長連接；所述廣播播放終端設備與廣播后臺服務端間通過http和websocket協(xié)議進行雙向通信；廣播播放終端設備通過http協(xié)議主動請求廣播后臺服務端將終端設備登記注冊到校園廣播系統(tǒng)，廣播后臺服務端通過websocket協(xié)議下發(fā)帶有推流地址的播放指令；廣播終端播放設備根據(jù)對應地址拉取音視頻流并進行播放。

3.根據(jù)權利要求1所述的一種基于視頻動態(tài)融合的校園廣播系統(tǒng)，其特征在于，所述廣播主機包括若干用于采集音頻數(shù)據(jù)的麥克風和采集視頻數(shù)據(jù)的攝像頭、系統(tǒng)桌面；所述廣播采集服務識別所述廣播主機，獲取音視頻采集設備名稱列表，按照定義的格式組織獲取到的音視頻設備信息。廣播采集服務通過websocket協(xié)議定時將組織好的音視頻設備信息上報到廣播后臺服務端。

4.根據(jù)權利要求1-3任一項所述基于視頻動態(tài)融合的校園廣播系統(tǒng)的融合方法，其特征在于，包括以下步驟：

5.根據(jù)權利要求4所述的基于視頻動態(tài)融合的校園廣播系統(tǒng)的融合方法，其特征在于，所述步驟s1中，采用拉普拉斯金字塔融合進行視頻畫面融合具體方法包括：

6.根據(jù)權利要求4所述的基于視頻動態(tài)融合的校園廣播系統(tǒng)的融合方法，其特征在于，所述步驟s2中將融合圖像進行流處理，轉(zhuǎn)化為yuv格式圖像，通過ffmpeg音視頻處理軟件對yuv格式圖像進行編碼，獲取h264格式視頻流數(shù)據(jù)，并與廣播機采集到的pcm或aac格式的音頻數(shù)據(jù)進行同步，最終生成動態(tài)融合后的視頻流，推送至本地rtsp服務器。

技術總結
本發(fā)明公開了一種基于視頻動態(tài)融合的校園廣播系統(tǒng)，包括廣播后臺服務端、廣播主機、廣播播放終端和廣播采集服務；所述廣播后臺服務端通過廣播采集服務與廣播主機連接；所述廣播后臺服務端選取廣播播放終端進行廣播播放；所述廣播后臺服務端下發(fā)采集指令后，由廣播采集服務采集音視頻數(shù)據(jù)，并進行視頻動態(tài)融合，將融合后的音視頻數(shù)據(jù)推流至本地服務器；所述廣播后臺服務端下發(fā)廣播指令后，由廣播播放終端獲取融合后的音視頻數(shù)據(jù)并進行播放；此外，本發(fā)明還公開了一種視頻畫面動態(tài)融合方法，將在音視頻數(shù)據(jù)編碼同步的基礎上，將同一時刻下的多路視頻畫面進行動態(tài)融合，將融合后的音視頻數(shù)流作為最終的廣播畫面。

技術研發(fā)人員：周雪松,律明
受保護的技術使用者：西藏歐帝電子科技有限公司
技術研發(fā)日：
技術公布日：2024/12/26