本發(fā)明涉及網絡應用技術領域，特別涉及一種全景會議直播方法及系統(tǒng)。

背景技術：

隨著互聯(lián)網技術的不斷發(fā)展，網絡已成為發(fā)展速度最快而且越來越占據(jù)主要地位的媒體。而隨著人們獲取信息的要求的提高，人們不局限于只通過網絡了解文字信息，更多的用戶希望通過網絡獲取音視頻信息，實現(xiàn)新聞發(fā)布會、體育比賽、教學交流實況、商業(yè)宣傳、遠程會議、開學開業(yè)典禮、慶典活動、結婚慶典等等的現(xiàn)場實況。

網絡會議直播是指人們可以通過網絡收看到遠端正在進行的會議現(xiàn)場音視頻實況，比如演講人、演講內容等等。網絡會議直播的核心思想是利用既有的局域網、城域網甚至是互聯(lián)網的網絡條件實現(xiàn)對音視頻信號的實時傳輸，并且能夠在遠端實現(xiàn)流暢的收看。通過在現(xiàn)場架設獨立的信號采集設備(音頻+視頻)，導入導播端(導播設備或平臺)，再通過網絡上傳至服務器，發(fā)布至網址供人觀看?？梢詾檎展_會議、群眾聽證會、法庭庭審直播、公務員考試培訓、產品發(fā)布會、企業(yè)年會、行業(yè)年會、展會直播等電視媒體難以直播的應用進行網絡直播。

以“紅杉樹直播系統(tǒng)”為代表的現(xiàn)有的網絡視頻會議直播系統(tǒng)通過直播服務器能夠實現(xiàn)演講人音視頻資料的保存與共享、用戶以網頁登錄的方式完全無障礙的加入會議觀看直播、通過在線提問等方式實現(xiàn)與演講人的互動。

中國專利cn201610166645“全景直播方法及裝置”提出了一種全景直播方法及裝置，能將不同視角的直播機位的每一幀采集畫面合成為全景畫面并選取新的直播畫面視角對應的畫面作為新的直播畫面。

但以“紅杉樹直播系統(tǒng)”為代表的現(xiàn)有的網絡視頻會議直播系統(tǒng)在使用的過程中只能提供會場內局部區(qū)域的視頻，即使通過鏡頭切換能夠觀看會場不同區(qū)域的實況，但強制性的切換使得會場外用戶通過網絡觀看直播時幾乎不存在帶入感，尤其是在大型賽事、演唱會等需要調動觀眾積極性的場合，會場外的用戶的觀看體驗大打折扣。中國專利cn201610166645“全景直播方法及裝置”提出的全景直播系統(tǒng)雖然能夠將會場的全景信息進行直播，但是該發(fā)明中的全景直播無法呈現(xiàn)某一視點下的細節(jié)，用戶只能看清近距離的場景，無法清晰的看到一定距離之外的演講人與演講內容。

技術實現(xiàn)要素：

鑒于上述問題，本發(fā)明提供了一種全景會議直播方法及系統(tǒng)。

本發(fā)明提供的全景會議直播方法，包括以下步驟：

分別獲取會議場景的全景圖像、演講人的視頻圖像及演講人的演講內容；

接收用戶的當前視覺中心；

根據(jù)所述當前視覺中心在所述全景圖像中進行場景定位，得到區(qū)域場景視頻；

將所屬區(qū)域場景視頻、演講人的視頻圖像及演講內容進行組合，得到組合后的語音視頻信息并發(fā)送。

本發(fā)明還提供了一種全景會議直播系統(tǒng)，包括：

第一獲取模塊，用戶分別獲取會議場景的全景圖像、演講人的視頻圖像及演講人的演講內容；

接收模塊，用于接收用戶的當前視覺中心；

場景定位模塊，用于根據(jù)所述當前視覺中心在所述全景圖像中進行場景定位，得到區(qū)域場景視頻；

組合模塊，用于將所屬區(qū)域場景視頻、演講人的視頻圖像及演講內容進行組合，得到組合后的語音視頻信息并發(fā)送。

本發(fā)明有益效果如下：

本發(fā)明實施例在獲得了演講人、演講內容以及會場全景視頻信息之后，為了滿足低帶寬下實時傳輸?shù)囊?，也為了滿足遠程參會者更進一步的“沉浸式”身臨其境參會的需求，通過vr設備獲取用戶的視覺中心信息，只將符合用戶視覺中心的會場場景視頻信息經過縮放后傳遞給用戶；根據(jù)會議直播的特點，將演講人與演講內容視頻信息組合到會場場景視頻中，組合為一路視頻，在經過壓縮之后，在傳輸中所占的帶寬與現(xiàn)有的視頻會議直播系統(tǒng)所占的帶寬接近，滿足低帶寬情況下實時傳輸?shù)囊蟆?/p>

與現(xiàn)有的網絡直播系統(tǒng)相比，本發(fā)明提出的技術方案針對用戶沉浸感不足的缺陷引入了會場的全景信息；與現(xiàn)有的全景直播系統(tǒng)相比，本發(fā)明提出的技術方案針對全景視頻細節(jié)刻畫能力不足的缺陷組合了演講人與演講內容信息，并根據(jù)用戶的視覺中心與縮放信息實時傳輸符合條件的會場場景，使得觀看會議直播的用戶能夠在低帶寬條件下“身臨其境”體驗會議的整個過程，實現(xiàn)真正的虛擬參會的目的。

附圖說明

圖1是本發(fā)明第一方法實施例的全景會議直播方法的流程圖；

圖2是本發(fā)明第二方法實施例的全景會議接收方法的流程圖；

圖3是本發(fā)明第一裝置實施例的全景會議直播系統(tǒng)的結構示意圖；

圖4是本發(fā)明第二裝置實施例的vr設備的結構示意圖；

圖5是本發(fā)明實例1的系統(tǒng)結構示意圖；

圖6是本發(fā)明實例1中場景定位縮放的過程示意圖；

圖7是本發(fā)明實施1中將演講人視頻、演講內容語音及視頻與會場場景視頻組合的示意圖。

具體實施方式

下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應當理解，可以以各種形式實現(xiàn)本公開而不應被這里闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，并且能夠將本公開的范圍完整的傳達給本領域的技術人員。

為了解決現(xiàn)有技術全景直播用戶沉浸感不足，及對全景視頻細節(jié)刻畫能力不足的缺陷，本發(fā)明提供了全景會議直播方法及系統(tǒng)、接收方法及vr設備，以下結合附圖以及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不限定本發(fā)明。

根據(jù)本發(fā)明的第一方法實施例，提供了一種全景會議直播方法，圖1是本發(fā)明第一方法實施例的全景會議直播方法的流程圖，如圖1所示，根據(jù)本發(fā)明第一方法實施例的全景會議直播方法包括如下處理：

步驟101：分別獲取會議場景的全景圖像、演講人的視頻圖像及演講人的演講內容。

具體的，會議場景的全景圖像的獲取方法為：通過全景攝像設備(多個相機組合而成的相機模組同時進行拍攝)獲取會場的全景。演講人的視頻圖像的獲取方法為：通過攝像機拍攝實現(xiàn)會場中演講人特寫視頻的獲取。

演講人的演講內容包括包括語音演講信息和圖文演講信息。其中，語音演講內容的獲取方法為：采集演講人的演講語音(特定場景下需加上同傳語音)。圖文演講信息的獲取方法為：通過采集演講人計算機顯卡輸出實現(xiàn)圖文演講內容(一般是ppt)的獲取。

步驟102：接收用戶的當前視覺中心。

步驟103：根據(jù)所述當前視覺中心在所述全景圖像中進行場景定位，得到區(qū)域場景視頻。

具體的，步驟103中根據(jù)所述當前視覺中心在所述全景圖像中進行場景定位，包括以下步驟：

計算當前視覺中心與上一時刻視覺中心的相對位置；

在所述全景圖像中將上一時刻視覺中心移動所述相對位置，得到當前視覺中心點的位置；

以所述當前視覺中心點位置為中心按照預設的條件進行裁剪，得到區(qū)域場景視頻。

步驟104：將所屬區(qū)域場景視頻、演講人的視頻圖像及演講內容進行組合，得到組合后的語音視頻信息并發(fā)送。

具體的，步驟104將所屬區(qū)域場景視頻、演講人的視頻信息及演講內容進行組合，根據(jù)當前時刻演講人的圖文演講信息與上一時刻演講人的圖文演講信息相比是否發(fā)生變化，包括以下兩種處理方法。

第一種處理方法為：當所述當前時刻演講人的圖文演講信息發(fā)生變化時，將所述當前時刻演講人的圖文演講信息、當前時刻演講人的語音演講信息、演講人的視頻信息、區(qū)域場景視頻進行組合。

第二種處理方法為：當所述當前時刻演講人的圖文演講信息未發(fā)生變化時，將上一時刻演講人的圖文演講信息、當前時刻演講人的語音演講信息、演講人的視頻信息、區(qū)域場景視頻進行組合。

本發(fā)明第一方法實施例的全景會議直播方法，還包括獲取縮放指令的步驟，進一步的，以所述當前視覺中心點位置為中心按照預設的條件進行裁剪，得到區(qū)域場景視頻，包括以下步驟：以所述當前視覺中心點位置為中心，根據(jù)所述縮放指令對所述全景圖像進行縮放后按照預設的條件進行裁剪，得到區(qū)域場景視頻。具體的，所述預設的條件可以為預設的分辨率。

本發(fā)明第二方法實施例的全景會議直播方法，還包括：接收評論信息并反饋至演講人，以實現(xiàn)與演講人的互動。

根據(jù)本發(fā)明的第二方法實施例，提供了一種全景會議接收方法，圖2是本發(fā)明第二方法實施例的全景會議接收方法的流程圖，如圖2所示，根據(jù)本發(fā)明第二方法實施例的全景會議接收方法包括如下處理：

步驟201：接收所述組合后的視頻語音信息并進行展示。

步驟202：獲取用戶的當前視覺中心并發(fā)送。

本發(fā)明第二方法實施例的全景會議接收方法，還包括：獲取用戶的縮放指令并發(fā)送。

與本發(fā)明的第一方法實施例相對應，提供了一種全景會議直播系統(tǒng)，圖3是本發(fā)明第一裝置實施例的全景會議直播系統(tǒng)的結構示意圖，如圖3所示，根據(jù)本發(fā)明第一裝置實施例的全景會議直播系統(tǒng)包括：第一獲取模塊30、接收模塊32、場景定位模塊34、及組合模塊36；以下對本發(fā)明實施例的各個模塊進行詳細的說明。

所述第一獲取模塊30，用戶分別獲取會議場景的全景圖像、演講人的視頻圖像及演講人的演講內容。

所述接收模塊32，用于接收用戶的當前視覺中心。

所述場景定位模塊34，用于根據(jù)所述當前視覺中心在所述全景圖像中進行場景定位，得到區(qū)域場景視頻。

具體的，所述場景定位模塊34具體用于：

計算當前視覺中心與上一時刻視覺中心的相對位置；在所述全景圖像中將上一時刻視覺中心變化所述相對位置，得到當前視覺中心點的位置；以所述當前視覺中心點位置為中心按照預設的條件進行裁剪，得到區(qū)域場景視頻。

所述組合模塊36，用于將所屬區(qū)域場景視頻、演講人的視頻圖像及演講內容進行組合，得到組合后的語音視頻信息并發(fā)送。

在本發(fā)明第一裝置實施例的全景會議直播系統(tǒng)中，所述第一獲取模塊，還用于：獲取縮放指令；

進一步的，所述場景定位模塊，還用于以所述當前視覺中心點位置為中心，根據(jù)所述縮放指令對所述全景圖像進行縮放后按照預設的條件進行裁剪，得到區(qū)域場景視頻。具體的，所述預設的條件可以為預設的分辨率。

具體的，所述演講內部包括語音演講信息和圖文演講信息，所述全景會議直播系還包括靜幀判斷模塊：

所述靜幀判斷模塊，用于判斷當前時刻演講人的圖文演講信息是否發(fā)生變化；

進一步的，所述組合模塊，還用于當所述圖文演講信息發(fā)生變化時，將所述當前時刻演講人的圖文演講信息、當前時刻演講人的語音演講信息、演講人的視頻信息、區(qū)域場景視頻進行組合；當所述圖文演講信息未發(fā)生變化時，將上一時刻演講人的圖文演講信息、當前時刻演講人的語音演講信息、演講人的視頻信息、區(qū)域場景視頻進行組合。

在本發(fā)明第一裝置實施例的全景會議直播系統(tǒng)中，還包括反饋模塊：

所述反饋模塊，用于將獲取的評論信息反饋至演講人，以實現(xiàn)與演講人的互動。

與本發(fā)明的第二方法實施例相對應，提供了一種vr設備，圖4是本發(fā)明第二裝置實施例的vr設備的結構示意圖，如圖4所示，根據(jù)本發(fā)明第二裝置實施例的vr設備包括：展示模塊40、第二獲取模塊42；以下對本發(fā)明實施例的各個模塊進行詳細的說明。

所述展示模塊40，用于接收所述組合后的視頻語音信息并進行展示。

所述第二獲取模塊42，用于獲取用戶的當前視覺中心并發(fā)送。

本發(fā)明第二裝置實施例的vr設備的第二獲取模塊，還用于獲取用戶的縮放指令。

本發(fā)明所述的vr(virtualreality)設備為具有vr展示能力的設備，例如vr眼鏡。

為了詳細的說明本發(fā)明的上述方法實施例和裝置實施例，給出實例1。圖5是本發(fā)明實例1的系統(tǒng)結構示意圖，如圖5所示，本發(fā)明提出的虛擬會議室系統(tǒng)主要包括如下模塊：

模塊一：視頻獲取

本模塊通過攝像機拍攝實現(xiàn)會場中演講人特寫視頻的獲取。

模塊二：內容獲取

本模塊通過采集演講人計算機顯卡輸出實現(xiàn)演講內容(一般是ppt)的獲取。

模塊三：語音獲取

本模塊采集演講人的演講語音(特定場景下需加上同傳語音)。

模塊四：全景獲取

本模塊通過全景攝像設備(多個相機組合而成的相機模組同時進行拍攝)獲取會場的全景。

模塊五：靜幀判斷

本模塊判斷演講ppt內容是否發(fā)生改變(頁面是否切換或是否加載新的控件)。

模塊六：實時拼接

本模塊對模塊三獲取的會場全景信息進行實時拼接處理，生成會場的實時全景視頻。

模塊七：場景定位縮放

本模塊對用戶通過vr設備反饋的用戶視覺中心以及縮放指令進行處理，根據(jù)用戶的視覺中心以及是否縮放從會場實時全景視頻中裁切出相應場景區(qū)域。圖6是本發(fā)明場景定位縮放的過程示意圖。具體實現(xiàn)過程參見圖6。

模塊八：視頻組合

本模塊將演講人視頻、演講內容語音及視頻與會場場景視頻進行組合，組合為一路視頻，具體實現(xiàn)過程參見圖7。

模塊九：壓縮

本模塊對模塊八獲得的視頻及語音信息使用視頻壓縮算法(例如h.264或h.265算法)進行壓縮。

模塊十：加密傳輸

本模塊對模塊九壓縮后的視頻語音信息通過網絡進行加密傳輸。

模塊十一：解密分發(fā)

本模塊接收模塊十傳輸?shù)囊曨l語音信息，解密后進行內容分發(fā)，將視頻語音信息分發(fā)給各用戶。

模塊十二：vr展示

本模塊通過vr眼鏡或類似的具有vr展示能力的設備將模塊八組合后的會場場景視頻展示給用戶。

模塊十三：評論

本模塊通過網頁評論留言的方式獲取用戶的評論。

模塊十四：評論獲取

本模塊將用戶提交的評論反饋給演講人，實現(xiàn)用戶與演講人的實時互動。

模塊十五：視覺中心獲取

本模塊通過模塊十二使用的展示設備獲取用戶當前觀看的視覺中心，實現(xiàn)方式可以通過vr設備自帶的位姿感應或pc等有能力展示會場全景設備的操作設備指針位置獲得。

模塊十六：縮放指令獲取

本模塊通過模塊十二使用的展示設備獲取用戶發(fā)出的縮放指令，實現(xiàn)方式可以通過vr設備自帶的操作設備或pc等有能力展示會場全景設備的操作設備獲得。

根據(jù)圖5所示的系統(tǒng)結構圖，本發(fā)明的技術方案的實現(xiàn)流程如下：

步驟一：模塊一獲取會場中演講人的視頻，將數(shù)字視頻信息傳遞給模塊八；

步驟二：模塊二獲取演講人計算機中的演講內容(通常為ppt)，將計算機輸出給屏幕的信息視頻化，并將該視頻信息傳遞給模塊五；

步驟三：模塊三獲取演講人的語音演講內容(特定場景下還需要同傳語音)，并將該語音信息傳遞給模塊八；

步驟四：模塊四獲取會場的全景信息，并將同時獲得的多組視頻信息傳遞給模塊六；

步驟五：模塊五接收模塊二傳遞的視頻信息之后，判斷視頻內容是否發(fā)生變化，如果發(fā)生變化，將接收到的變化的視頻幀信息傳遞給模塊八，如果未發(fā)生變化，則不向模塊八傳遞任何信息；

步驟六：模塊六接收模塊四傳遞的能夠覆蓋會場全景的多路視頻信息之后，對多路視頻信息進行實時同步拼接，將拼接得到的會場全景視頻傳遞給模塊七；

步驟七：模塊七接收模塊六傳遞的拼接后的會場全景視頻信息，同時接收模塊十五與模塊十六反饋的用戶vr設備的視覺中心信息與縮放信息，從會場全景視頻信息中裁切出符合用戶視覺中心與縮放尺度的場景視頻信息并傳遞給模塊八；

步驟八：模塊八接收模塊一傳遞的演講人視頻信息、模塊三傳遞的會場語音信息、模塊五傳遞的演講內容信息以及模塊七傳遞的會場場景信息，以會場場景信息為背景，組合演講人視頻信息與演講內容信息以及會場語音信息，將組合后的視頻信息傳遞給模塊九；

步驟九：模塊九接收到模塊八傳遞的組合后的視頻信息之后，對視頻信息進行壓縮，將壓縮后的視頻語音信息傳遞給模塊十；

步驟十：模塊十接收到模塊九傳遞的壓縮后的視頻語音信息之后，對視頻語音信息通過互聯(lián)網進行加密傳輸，由模塊十一接收；

步驟十一：模塊十一接收到模塊十傳遞的加密視頻語音信息之后，首先對視頻語音信息進行解密，其次將視頻語音信息(包括演講人、演講內容與會場場景)分發(fā)給用戶，由模塊十二接收；

步驟十二：模塊十二接收模塊十一傳遞的會場場景視頻語音信息，通過vr設備(vr頭盔、vr眼鏡等)展示給用戶，同時獲取用戶當前的視覺中心信息，傳遞給模塊十五，獲取用戶對場景視頻的縮放控制信息，傳遞給模塊十六；

步驟十三：模塊十五獲取模塊十二傳遞的用戶當前視覺中心信息，傳遞給模塊七；

步驟十四：模塊十六獲取用戶對場景視頻的縮放控制信息，傳遞給模塊七；

步驟十五：模塊十三接收用戶的評論信息(文字或語音評論信息)并提交給模塊十四；

步驟十六：模塊十四接收模塊十三提交的用戶評論信息，展示給演講人。

本發(fā)明在獲得了演講人、演講內容以及會場全景視頻信息之后，為了滿足低帶寬下實時傳輸?shù)囊?，也為了滿足遠程參會者更進一步的“沉浸式”身臨其境參會的需求，通過vr設備獲取用戶的視覺中心信息以及縮放控制信息，只將符合用戶視覺中心的會場場景視頻信息經過縮放后傳遞給用戶；根據(jù)會議直播的特點，將演講人與演講內容視頻信息組合到會場場景視頻中，組合為一路視頻，在經過壓縮之后，在傳輸中所占的帶寬與現(xiàn)有的視頻會議直播系統(tǒng)所占的帶寬接近，滿足低帶寬情況下實時傳輸?shù)囊蟆?/p>

與現(xiàn)有的網絡直播系統(tǒng)相比，本發(fā)明提出的技術方案針對用戶沉浸感不足的缺陷引入了會場的全景信息；與現(xiàn)有的全景直播系統(tǒng)相比，本發(fā)明提出的技術方案針對全景視頻細節(jié)刻畫能力不足的缺陷組合了演講人與演講內容信息，并根據(jù)用戶的視覺中心與縮放信息實時傳輸符合條件的會場場景，使得觀看會議直播的用戶能夠在低帶寬條件下“身臨其境”體驗會議的整個過程，實現(xiàn)真正的虛擬參會的目的。

綜上可知，本發(fā)明建立一個能夠使得不能現(xiàn)場出席的參會者身臨其境觀看會議的系統(tǒng)。通過添加會場全景視頻的方式實現(xiàn)參會者“身臨其境”參會的目的，通過組合演講人與演講內容視頻信息的方式實現(xiàn)了會議細節(jié)的呈現(xiàn)，通過根據(jù)用戶視覺中心點與縮放的裁切、數(shù)據(jù)壓縮等方法實現(xiàn)了現(xiàn)有帶寬下的實時會議全景直播。

以上所述僅為本發(fā)明的實施例而已，并不用于限制本發(fā)明，對于本領域的技術人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的權利要求范圍之內。