本發(fā)明涉及一種VR顯示方法，特別是一種VR環(huán)境中特寫(xiě)鏡頭的運(yùn)用及顯示方法和系統(tǒng)。

背景技術(shù)：

通常VR應(yīng)用于非直播的情況，采用多個(gè)專業(yè)級(jí)攝像機(jī)，按照固定的空間位置擺放，相對(duì)位置關(guān)系保持不變，對(duì)360度全方位的現(xiàn)場(chǎng)信號(hào)進(jìn)行拍攝，每個(gè)設(shè)備將拍攝的視頻內(nèi)容以文件的形式記錄到設(shè)備本地的存儲(chǔ)介質(zhì)。整個(gè)現(xiàn)場(chǎng)拍攝工作結(jié)束后，將所有機(jī)位錄制下來(lái)的文件導(dǎo)入統(tǒng)一的編輯設(shè)備，例如一臺(tái)專業(yè)級(jí)計(jì)算機(jī)，其具備很高圖像處理性能，再使用商業(yè)軟件進(jìn)行拍攝內(nèi)容的離線拼接處理，根據(jù)拍攝時(shí)的位置關(guān)系，手動(dòng)對(duì)機(jī)位順序、拼縫等作出調(diào)整。經(jīng)過(guò)后期拼接處理之后，使用VR顯示終端，例如VR頭盔或VR眼鏡，就能夠觀看制作好的VR全景視頻，給體驗(yàn)者帶來(lái)置身于拍攝現(xiàn)場(chǎng)的沉浸式感受。用于播放VR全景視頻的專業(yè)工作站，通過(guò)獲取VR顯示終端的水平、垂直、角度等實(shí)時(shí)姿態(tài)參數(shù)，經(jīng)過(guò)復(fù)雜的運(yùn)算處理，隨后在VR顯示終端的視野中顯示當(dāng)前姿態(tài)對(duì)應(yīng)視角的現(xiàn)場(chǎng)畫(huà)面，這樣足不出戶就能夠?qū)崿F(xiàn)置身拍攝現(xiàn)場(chǎng)的沉浸式體驗(yàn)。但是，如果要實(shí)現(xiàn)VR全景視頻的現(xiàn)場(chǎng)直播及互動(dòng)，就要解決現(xiàn)場(chǎng)不同機(jī)位拍攝信號(hào)的實(shí)時(shí)拼接處理，以及后續(xù)全景視頻信號(hào)的直播發(fā)布等問(wèn)題。

在直播現(xiàn)場(chǎng)，為了獲取最佳的現(xiàn)場(chǎng)氛圍及完整的現(xiàn)場(chǎng)畫(huà)面，VR全景視頻拍攝裝置通常放置于直播現(xiàn)場(chǎng)的中央。但是，由于拍攝裝置使用的鏡頭無(wú)法改變焦距，帶來(lái)的好處是拍攝范圍更加寬闊，適合進(jìn)行不同機(jī)位拍攝信號(hào)的拼接處理；存在的問(wèn)題也顯而易見(jiàn)，無(wú)法對(duì)鏡頭進(jìn)行控制，對(duì)重點(diǎn)區(qū)域的局部細(xì)節(jié)進(jìn)行展現(xiàn)。這樣，體驗(yàn)者佩戴VR顯示終端后，雖然可以看到直播現(xiàn)場(chǎng)的全景視頻畫(huà)面，但是無(wú)法捕捉到重點(diǎn)區(qū)域的局部細(xì)節(jié)，例如演唱會(huì)演員的表情，沉浸于現(xiàn)場(chǎng)直播氛圍之余，難免產(chǎn)生些許的遺憾。

綜上，現(xiàn)階段VR技術(shù)在實(shí)際應(yīng)用中，還有很多問(wèn)題亟待解決，從業(yè)務(wù)需求的角度出發(fā)，還有很大完善的空間。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的。

為解決現(xiàn)有技術(shù)的問(wèn)題，本發(fā)明提出了一種VR環(huán)境中特寫(xiě)鏡頭的運(yùn)用及顯示系統(tǒng)，包括：全向音頻拾取模塊，全景信號(hào)拍攝模塊，拼接服務(wù)器，信號(hào)監(jiān)看終端，后臺(tái)管理服務(wù)器，特寫(xiě)信號(hào)拍攝模塊，發(fā)布服務(wù)器，接收服務(wù)器，VR顯示終端，互動(dòng)服務(wù)器，互動(dòng)顯示終端。其中，全向音頻拾取模塊和全景信號(hào)拍攝模塊采集的信號(hào)發(fā)送到拼接服務(wù)器，拼接服務(wù)器處理后的信號(hào)發(fā)送給發(fā)布服務(wù)器和信號(hào)監(jiān)看終端，特寫(xiě)信號(hào)拍攝模塊采集的信號(hào)發(fā)送給發(fā)布服務(wù)器，發(fā)布服務(wù)器處理后的信號(hào)發(fā)送給接收服務(wù)器，接收服務(wù)器分別與VR顯示終端、互動(dòng)服務(wù)器、后臺(tái)管理服務(wù)器互相交互信號(hào)，互動(dòng)服務(wù)器還分別與拼接服務(wù)器、后臺(tái)管理服務(wù)器互相交互信號(hào)，互動(dòng)服務(wù)器的信息可以通過(guò)互動(dòng)顯示終端進(jìn)行顯示；

拼接服務(wù)器,用于對(duì)全景信號(hào)拍攝模塊采集的信號(hào)進(jìn)行實(shí)時(shí)拼接處理，與全向音頻拾取模塊采集的現(xiàn)場(chǎng)全向音頻信號(hào)進(jìn)行合成；

特寫(xiě)信號(hào)拍攝模塊，用于實(shí)時(shí)捕捉特寫(xiě)鏡頭，并將拍攝的特寫(xiě)視頻信號(hào)輸出至發(fā)布服務(wù)器；

發(fā)布服務(wù)器，同時(shí)接收兩路信號(hào)，一路來(lái)自特寫(xiě)信號(hào)拍攝模塊的特寫(xiě)鏡頭視頻信號(hào)，一路來(lái)自拼接服務(wù)器的VR全景視頻信號(hào)，發(fā)布服務(wù)器分別對(duì)這兩路現(xiàn)場(chǎng)信號(hào)進(jìn)行實(shí)時(shí)壓縮編碼，經(jīng)過(guò)壓縮處理的視頻流，分別發(fā)布到指定的直播地址和端口號(hào)；

接收服務(wù)器，用于通過(guò)訪問(wèn)兩個(gè)直播發(fā)布地址，對(duì)接收到的直播內(nèi)容同時(shí)進(jìn)行實(shí)時(shí)解碼，其中一路為VR全景視頻信號(hào)，另外一路為現(xiàn)場(chǎng)特寫(xiě)鏡頭，并把3D物件植入VR環(huán)境中的虛擬大屏，然后，通過(guò)接收服務(wù)器的渲染合成單元，對(duì)解碼后的直播內(nèi)容，進(jìn)行實(shí)時(shí)合成渲染，將特寫(xiě)鏡頭直接在植入的虛擬大屏上面顯示。

根據(jù)本發(fā)明的一個(gè)方面，VR顯示終端,連接到接收服務(wù)器，體驗(yàn)者通過(guò)VR顯示終端觀看VR全景視頻信號(hào)，當(dāng)佩戴的VR顯示終端姿態(tài)發(fā)生改變時(shí)，即觀看角度、空間位置發(fā)生變化時(shí)，字幕始終保持在視野中央偏下的位置，位于當(dāng)前顯示視頻圖像的前面。

根據(jù)本發(fā)明的一個(gè)方面，VR顯示終端,連接到接收服務(wù)器，體驗(yàn)者佩戴VR顯示終端以后，通過(guò)植入的虛擬大屏，可以觀看虛擬大屏上面播放的特寫(xiě)鏡頭，將VR全景視頻和特寫(xiě)鏡頭兩種直播相結(jié)合。

根據(jù)本發(fā)明的一個(gè)方面，互動(dòng)顯示終端，連接到互動(dòng)服務(wù)器，互動(dòng)服務(wù)器連接到接收服務(wù)器，當(dāng)通過(guò)網(wǎng)頁(yè)收看直播時(shí)自動(dòng)播放特寫(xiě)鏡頭的畫(huà)面進(jìn)行現(xiàn)場(chǎng)直播。

根據(jù)本發(fā)明的一個(gè)方面，互動(dòng)顯示終端，連接到互動(dòng)服務(wù)器，互動(dòng)服務(wù)器連接到接收服務(wù)器，體驗(yàn)者可輸入登錄信息與后臺(tái)管理數(shù)據(jù)庫(kù)的用戶信息進(jìn)行核驗(yàn)，驗(yàn)證通過(guò)后，位于現(xiàn)場(chǎng)的互動(dòng)服務(wù)器就可以看到遠(yuǎn)程登錄的用戶信息，從而，直接和現(xiàn)場(chǎng)互動(dòng)服務(wù)器建立連接，進(jìn)行直播互動(dòng)。

本發(fā)明還提出了一種采用上述VR環(huán)境中特寫(xiě)鏡頭的運(yùn)用及顯示系統(tǒng)的方法，包括如下步驟：

采用全景信號(hào)拍攝模塊中的若干專業(yè)級(jí)攝像機(jī)，對(duì)直播現(xiàn)場(chǎng)進(jìn)行360度全方位拍攝，并通過(guò)專業(yè)視頻輸出接口，將不同視角的拍攝信號(hào)輸出至拼接服務(wù)器；

拼接服務(wù)器按照預(yù)設(shè)的校準(zhǔn)參數(shù)，對(duì)拍攝信號(hào)進(jìn)行實(shí)時(shí)拼接處理，并將合成的VR全景視頻信號(hào)輸出至發(fā)布服務(wù)器；

特寫(xiě)信號(hào)拍攝模塊實(shí)時(shí)捕捉特寫(xiě)鏡頭，并將拍攝的特寫(xiě)視頻信號(hào)輸出至發(fā)布服務(wù)器；

發(fā)布服務(wù)器同時(shí)接收來(lái)自特寫(xiě)信號(hào)拍攝模塊的特寫(xiě)鏡頭視頻信號(hào)和拼接服務(wù)器的VR全景視頻信號(hào)，并對(duì)這兩路現(xiàn)場(chǎng)信號(hào)進(jìn)行實(shí)時(shí)壓縮編碼，然后，將經(jīng)過(guò)壓縮處理的視頻流，分別發(fā)布到指定的直播地址和端口號(hào)；

通過(guò)接收服務(wù)器訪問(wèn)兩個(gè)直播發(fā)布地址，實(shí)時(shí)解碼兩路直播內(nèi)容，其中一路為VR全景視頻信號(hào)，另外一路為現(xiàn)場(chǎng)特寫(xiě)鏡頭，并把3D物件植入VR環(huán)境中的虛擬大屏，然后，通過(guò)接收服務(wù)器的渲染合成單元，對(duì)解碼后的直播內(nèi)容，進(jìn)行實(shí)時(shí)合成渲染，將特寫(xiě)鏡頭直接在植入的虛擬大屏上面顯示。

根據(jù)本發(fā)明的一個(gè)方面，體驗(yàn)者通過(guò)VR顯示終端觀看VR全景視頻信號(hào)，當(dāng)佩戴的VR顯示終端姿態(tài)發(fā)生改變時(shí)，即觀看角度、空間位置發(fā)生變化時(shí)，字幕始終保持在視野中央偏下的位置，位于當(dāng)前顯示視頻圖像的前面。

根據(jù)本發(fā)明的一個(gè)方面，體驗(yàn)者佩戴VR顯示終端以后，通過(guò)植入的虛擬大屏，可以觀看虛擬大屏上面播放的特寫(xiě)鏡頭，將VR全景視頻和特寫(xiě)鏡頭兩種直播相結(jié)合。

根據(jù)本發(fā)明的一個(gè)方面，當(dāng)通過(guò)網(wǎng)頁(yè)收看直播時(shí)自動(dòng)播放特寫(xiě)鏡頭的畫(huà)面進(jìn)行現(xiàn)場(chǎng)直播。

根據(jù)本發(fā)明的一個(gè)方面，體驗(yàn)者可輸入登錄信息與后臺(tái)管理數(shù)據(jù)庫(kù)的用戶信息進(jìn)行核驗(yàn)，驗(yàn)證通過(guò)后，位于現(xiàn)場(chǎng)的互動(dòng)服務(wù)器就可以看到遠(yuǎn)程登錄的用戶信息，從而，直接和現(xiàn)場(chǎng)互動(dòng)服務(wù)器建立連接，進(jìn)行直播互動(dòng)。

本發(fā)明產(chǎn)生的有益效果是：在直播現(xiàn)場(chǎng)增加特寫(xiě)鏡頭拍攝機(jī)位，對(duì)直播現(xiàn)場(chǎng)的局部細(xì)節(jié)進(jìn)行實(shí)時(shí)捕捉，并與拼接后的VR全景視頻信號(hào)同時(shí)進(jìn)行直播發(fā)布，遠(yuǎn)程的接收服務(wù)器，對(duì)上述直播內(nèi)容以及導(dǎo)入的虛擬大屏進(jìn)行渲染合成，通過(guò)植入的虛擬大屏顯示特寫(xiě)鏡頭，然后使用專用VR播放器對(duì)最終的合成信號(hào)進(jìn)行解碼控制。若配備了VR顯示終端，佩戴VR顯示終端后體驗(yàn)者就可以觀看直播內(nèi)容，除了現(xiàn)場(chǎng)360度全方位的全景視頻圖像以外，還能夠在植入的虛擬大屏上觀看特寫(xiě)鏡頭，捕捉重點(diǎn)區(qū)域的細(xì)節(jié)畫(huà)面，例如教室黑板的板書(shū)、電子白板顯示的PPT，亦或綜藝直播的演員特寫(xiě)，從而提升VR現(xiàn)場(chǎng)直播的綜合體驗(yàn)，在沉浸于現(xiàn)場(chǎng)氛圍的同時(shí)兼顧細(xì)節(jié)。當(dāng)然，若沒(méi)有配備專業(yè)的VR顯示終端，也可以在接收服務(wù)器上面通過(guò)網(wǎng)頁(yè)方式收看以特寫(xiě)鏡頭為主的現(xiàn)場(chǎng)直播。此外，在直播過(guò)程中，通過(guò)語(yǔ)音或文字的方式，與現(xiàn)場(chǎng)進(jìn)行直播互動(dòng)。

本發(fā)明的優(yōu)點(diǎn)在于：本發(fā)明將現(xiàn)場(chǎng)拍攝的全方位視頻信號(hào)實(shí)時(shí)拼接成VR全景視頻信號(hào)，并運(yùn)用特寫(xiě)鏡頭展現(xiàn)直播現(xiàn)場(chǎng)局部細(xì)節(jié)的方案，是一種通過(guò)專用VR播放器，實(shí)現(xiàn)全景視頻信號(hào)和特寫(xiě)鏡頭混合播放的方案，通過(guò)佩戴VR顯示終端，體驗(yàn)者所觀看的直播內(nèi)容，除了現(xiàn)場(chǎng)360度全方位的全景視頻畫(huà)面，還能夠觀看虛擬植入的特寫(xiě)鏡頭，捕捉重點(diǎn)區(qū)域的細(xì)節(jié)畫(huà)面，是一種保證現(xiàn)場(chǎng)沉浸感，且支持特寫(xiě)鏡頭顯示的方案。

附圖說(shuō)明

通過(guò)閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的，而并不認(rèn)為是對(duì)本發(fā)明的限制。而且在整個(gè)附圖中，用相同的參考符號(hào)表示相同的部件。在附圖中：

圖1示出了根據(jù)本發(fā)明實(shí)施方式的VR環(huán)境中特寫(xiě)鏡頭的運(yùn)用及顯示的系統(tǒng)示意圖；

圖2示出了根據(jù)本發(fā)明實(shí)施方式的全景信號(hào)拍攝模塊的邏輯關(guān)系示意圖；

圖3示出了根據(jù)本發(fā)明實(shí)施方式的拼接服務(wù)器的邏輯關(guān)系示意圖；

圖4示出了根據(jù)本發(fā)明實(shí)施方式的發(fā)布服務(wù)器的邏輯關(guān)系示意圖；

圖5示出了根據(jù)本發(fā)明實(shí)施方式的接收服務(wù)器的邏輯關(guān)系示意圖。

具體實(shí)施方式

下面將參照附圖更詳細(xì)地描述本公開(kāi)的示例性實(shí)施方式。雖然附圖中顯示了本公開(kāi)的示例性實(shí)施方式，然而應(yīng)當(dāng)理解，可以以各種形式實(shí)現(xiàn)本公開(kāi)而不應(yīng)被這里闡述的實(shí)施方式所限制。相反，提供這些實(shí)施方式是為了能夠更透徹地理解本公開(kāi)，并且能夠?qū)⒈竟_(kāi)的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。

圖1示出了本發(fā)明VR環(huán)境中特寫(xiě)鏡頭的運(yùn)用及顯示系統(tǒng)的結(jié)構(gòu)框圖。所述系統(tǒng)包括：全向音頻拾取模塊，全景信號(hào)拍攝模塊，拼接服務(wù)器，信號(hào)監(jiān)看終端，后臺(tái)管理服務(wù)器，特寫(xiě)信號(hào)拍攝模塊，發(fā)布服務(wù)器，接收服務(wù)器，VR顯示終端，互動(dòng)服務(wù)器，互動(dòng)顯示終端；其中，拼接服務(wù)器對(duì)現(xiàn)場(chǎng)不同機(jī)位拍攝的信號(hào)進(jìn)行實(shí)時(shí)拼接處理，與采集的現(xiàn)場(chǎng)全向音頻進(jìn)行合成；發(fā)布服務(wù)器，負(fù)責(zé)對(duì)拼接后的VR全景視頻進(jìn)行壓縮編碼，隨后進(jìn)行直播發(fā)布；此處，為了兼顧直播現(xiàn)場(chǎng)的局部細(xì)節(jié)畫(huà)面，即特寫(xiě)鏡頭的捕捉，專門(mén)在現(xiàn)場(chǎng)增加了特寫(xiě)信號(hào)拍攝模塊，拍攝的特寫(xiě)鏡頭輸出至發(fā)布服務(wù)器，后者進(jìn)行壓縮編碼，隨后進(jìn)行直播發(fā)布；遠(yuǎn)程的接收服務(wù)器，訪問(wèn)以上兩個(gè)直播地址，對(duì)直播內(nèi)容進(jìn)行實(shí)時(shí)解碼，然后將這兩路直播信號(hào)與虛擬大屏進(jìn)行渲染合成，并將特寫(xiě)鏡頭在虛擬大屏上顯示。如果接收服務(wù)器上面連接了VR顯示終端，體驗(yàn)者佩戴VR顯示終端之后，就能夠觀看360度全方位的VR全景視頻，并通過(guò)虛擬大屏觀看特寫(xiě)鏡頭，捕捉重點(diǎn)區(qū)域的局部細(xì)節(jié)畫(huà)面；通過(guò)耳機(jī)收聽(tīng)現(xiàn)場(chǎng)的全向聲音，使用麥克通過(guò)語(yǔ)音進(jìn)行直播互動(dòng)。以上，兩種直播內(nèi)容相結(jié)合的方式，兼顧了VR環(huán)境中的沉浸式體驗(yàn)與局部細(xì)節(jié)畫(huà)面的展現(xiàn)。

根據(jù)本發(fā)明的實(shí)施方式，VR環(huán)境中特寫(xiě)鏡頭的運(yùn)用及顯示方法的實(shí)現(xiàn)步驟描述如下：

圖2示出了根據(jù)本發(fā)明實(shí)施方式的全景信號(hào)拍攝模塊的邏輯關(guān)系示意圖。在前端的直播現(xiàn)場(chǎng)，全景信號(hào)拍攝模塊由若干專業(yè)級(jí)攝像機(jī)組成，按照一定的空間位置關(guān)系排列，固定于相應(yīng)的設(shè)備支架上面，彼此之間的位置關(guān)系保持不變。例如，水平方向360度均勻放置6個(gè)鏡頭沖外的專業(yè)級(jí)攝像機(jī)，相鄰鏡頭中心的夾角為60°；垂直方向上、下分別放置一個(gè)專業(yè)級(jí)攝像機(jī)，鏡頭分別沖上和沖下，鏡頭中心與水平攝像機(jī)的鏡頭夾角成90°，且位于水平放置攝像機(jī)的中央。原則上，無(wú)論攝像機(jī)的機(jī)位怎樣擺放，相鄰機(jī)位的攝像機(jī)所拍攝到的圖像，彼此之間必須有交集，即相鄰機(jī)位拍攝圖像的邊緣部分有重疊的圖像信息，否則無(wú)法實(shí)現(xiàn)視頻圖像拼接。而且，彼此之間拍攝圖像的重疊區(qū)域越大，那么拼接之后的效果也越好，處理之后的拼縫越不明顯。相關(guān)技術(shù)與本發(fā)明的方法關(guān)系不大，在此不做過(guò)多說(shuō)明。全景信號(hào)拍攝模塊內(nèi)部的若干專業(yè)級(jí)攝像機(jī)，將拍攝的1080p60高清信號(hào)通過(guò)專業(yè)視頻接口，例如Micro HDMI，直接輸出至拼接服務(wù)器，用于后續(xù)面向VR現(xiàn)場(chǎng)直播的實(shí)時(shí)拼接處理。

圖3示出了根據(jù)本發(fā)明實(shí)施方式的拼接服務(wù)器的邏輯關(guān)系示意圖。其中，拼接服務(wù)器，包含信號(hào)輸入單元、拼接處理單元、時(shí)鐘發(fā)生單元、CG控制單元，以及信號(hào)輸出單元。全景信號(hào)拍攝模塊將不同機(jī)位拍攝的現(xiàn)場(chǎng)信號(hào)輸出至拼接服務(wù)器內(nèi)部的信號(hào)輸入單元，由拼接處理單元按照預(yù)先校準(zhǔn)好的模板進(jìn)行實(shí)時(shí)拼接處理。由于直播現(xiàn)場(chǎng)的空間大小、周?chē)h(huán)境的特征點(diǎn)不盡相同，因此需要根據(jù)全景信號(hào)拍攝模塊在現(xiàn)場(chǎng)拍攝的實(shí)際信號(hào)，進(jìn)行特征點(diǎn)匹配、拼接邊緣優(yōu)化等校準(zhǔn)操作，然后保存為該環(huán)境下的拼接模板。與此同時(shí)，全向音頻拾取模塊，負(fù)責(zé)拾取現(xiàn)場(chǎng)的全向聲音，通過(guò)相應(yīng)的接口，例如USB通用接口，將拾取的全向聲音送給信號(hào)輸入單元，完成音頻的采集工作。接下來(lái)，拼接處理單元將采集進(jìn)來(lái)的音頻與拼接后的全景視頻信號(hào)進(jìn)行合成，由于全景視頻拼接處理需要使用顯卡的GPU資源，通過(guò)復(fù)雜的算法進(jìn)行圖像變換及融合，因此會(huì)產(chǎn)生一定的處理延時(shí)，在與音頻合成的時(shí)候，可以通過(guò)調(diào)整音頻輸出延時(shí)保證拼接后的全景視頻與音頻同步。由于實(shí)時(shí)視頻拼接和實(shí)時(shí)音頻采集，都涉及時(shí)碼的同步，所以拼接服務(wù)器基于本地操作系統(tǒng)，例如Windows 10，所提供的高精度時(shí)間片，創(chuàng)建時(shí)鐘發(fā)生單元，產(chǎn)生的同步時(shí)鐘可以達(dá)到毫秒級(jí)，遠(yuǎn)高于前端高清視頻信號(hào)1080p60的幀率，即每秒60幀1920*1080的圖像，從而實(shí)現(xiàn)不同機(jī)位的攝像機(jī)信號(hào)實(shí)時(shí)拼接及全向聲音的同步處理。然后，通過(guò)信號(hào)輸出單元，將拼接后的VR全景視頻信號(hào)，其中一路4Kp60信號(hào)，輸出至信號(hào)監(jiān)看終端，用于對(duì)拼接效果的專業(yè)監(jiān)看；另外一路1080p60信號(hào)，用于全景視頻現(xiàn)場(chǎng)直播，輸出至后面的發(fā)布服務(wù)器。輸出信號(hào)的分辨率和幀率可以根據(jù)應(yīng)用需求進(jìn)行設(shè)置，為了保證最終觀看的畫(huà)質(zhì)，理想情況下輸出信號(hào)為4Kp60，即分辨率為3840*2160，每秒60幀，逐行掃描；考慮到實(shí)際的VR全景拼接圖像的分辨率只有3840*1920，圖像的寬高比為2：1，余下分辨率為3840*240的圖像區(qū)域，交給CG控制單元，隨時(shí)疊加字幕，例如跑馬，等附加信息，充分利用4K分辨率的圖像資源。但實(shí)際的網(wǎng)絡(luò)帶寬，尚無(wú)法支撐4Kp60信號(hào)的直播，因此退而求其次采用1080p60的全景視頻信號(hào)，保證后續(xù)的直播內(nèi)容的流暢播放。

圖4示出了根據(jù)本發(fā)明實(shí)施方式的發(fā)布服務(wù)器的邏輯關(guān)系示意圖。其中，發(fā)布服務(wù)器，包含信號(hào)輸入單元、編碼處理單元，以及發(fā)布處理單元。在直播現(xiàn)場(chǎng)，增加特寫(xiě)信號(hào)拍攝模塊對(duì)局部細(xì)節(jié)進(jìn)行拍攝，即特寫(xiě)鏡頭的實(shí)時(shí)捕捉，將拍攝的1080p60信號(hào)輸出至發(fā)布服務(wù)器的信號(hào)輸入單元。特寫(xiě)信號(hào)拍攝模塊，主要指具備變焦功能的專業(yè)級(jí)攝像機(jī)或廣播級(jí)攝像機(jī)，通過(guò)專用視頻輸出接口，例如Micro HDMI或BNC，將通過(guò)調(diào)整鏡頭焦距拍攝的特寫(xiě)鏡頭輸出至發(fā)布服務(wù)器。這樣，信號(hào)輸入單元同時(shí)接收到兩路信號(hào)，一路來(lái)自特寫(xiě)信號(hào)拍攝模塊的特寫(xiě)鏡頭圖像，一路來(lái)自拼接服務(wù)器的VR全景視頻圖像；接著，編碼處理單元分別對(duì)這兩路現(xiàn)場(chǎng)信號(hào)進(jìn)行實(shí)時(shí)壓縮編碼，壓縮碼率可以根據(jù)清晰度的要求適當(dāng)調(diào)整；經(jīng)過(guò)壓縮處理的視頻流，通過(guò)發(fā)布處理單元分別發(fā)布到指定的直播地址和端口號(hào)。由于目前的網(wǎng)絡(luò)傳輸帶寬支撐不了4K分辨率的壓縮圖像的傳輸，因此暫時(shí)采用1080p60分辨率的特寫(xiě)鏡頭信號(hào)、VR全景視頻信號(hào)，未來(lái)一旦帶寬瓶頸得到很好的解決，將采用畫(huà)質(zhì)更佳的4K分辨率的前端信號(hào)。以上，兩種直播信號(hào)相結(jié)合，360度全方位VR全景視頻帶給體驗(yàn)者現(xiàn)場(chǎng)的沉浸感；特寫(xiě)鏡頭作為補(bǔ)充，捕捉到更多現(xiàn)場(chǎng)的精彩畫(huà)面。

圖5示出了根據(jù)本發(fā)明實(shí)施方式的接收服務(wù)器的邏輯關(guān)系示意圖。接收服務(wù)器，包含解碼處理單元、3D導(dǎo)入單元、合成渲染單元、交互處理單元，以及信號(hào)輸出單元。通過(guò)訪問(wèn)兩個(gè)直播發(fā)布地址，解碼處理單元對(duì)接收到的直播內(nèi)容同時(shí)進(jìn)行實(shí)時(shí)解碼，其中一路為VR全景視頻信號(hào)，對(duì)于每一幀1920*1080的圖像包含兩部分內(nèi)容，其中1920*960分辨率為VR全景拼接圖像，余下的1920*120分辨率為疊加字幕信息，解碼處理單元按照此原則進(jìn)行圖像拆分，此外對(duì)直播內(nèi)容的全向聲音進(jìn)行解碼；另外一路為現(xiàn)場(chǎng)特寫(xiě)鏡頭，對(duì)每幀1920*1080的圖像進(jìn)行實(shí)時(shí)解碼。使用其他商業(yè)軟件制作好3D物件，即后續(xù)植入VR環(huán)境中的虛擬大屏，提前由3D導(dǎo)入單元導(dǎo)入進(jìn)來(lái)，設(shè)置好虛擬植入的物理尺寸、空間位置等參數(shù)；然后，通過(guò)接收服務(wù)器的渲染合成單元，對(duì)解碼后的直播內(nèi)容，即VR全景視頻、特寫(xiě)鏡頭視頻，以及導(dǎo)入的3D物件，即虛擬大屏進(jìn)行實(shí)時(shí)合成渲染，將特寫(xiě)鏡頭直接在植入的虛擬大屏上面顯示。最終的合成信號(hào)，由接收服務(wù)器上面的專用VR播放器進(jìn)行解碼控制。存在以下兩種情況：

第一、接收服務(wù)器連接了可佩戴的VR顯示終端。VR顯示終端，包含LCD顯示單元、耳機(jī)麥克單元，以及感應(yīng)控制單元。最終的合成信號(hào)，通過(guò)信號(hào)輸出單元送給連接在接收服務(wù)器上面的VR顯示終端，由內(nèi)部的LCD顯示單元來(lái)顯示?？紤]到目前VR顯示終端的所支持的分辨率為高清1920*1080，因此輸出信號(hào)采用1080p60的高清信號(hào)，后續(xù)隨著技術(shù)的發(fā)展，輸出信號(hào)的分辨率也可以與之適配。體驗(yàn)者佩戴VR顯示終端以后，就可以觀看360度全方位的VR全景視頻直播，沉浸在現(xiàn)場(chǎng)熱烈的氛圍當(dāng)中；同時(shí)，還可以通過(guò)植入的虛擬大屏，觀看虛擬大屏上面播放的特寫(xiě)鏡頭，將兩種直播相結(jié)合。對(duì)于植入的虛擬大屏，可以通過(guò)VR顯示終端上面的按鍵進(jìn)行控制，根據(jù)體驗(yàn)者的觀看需求選擇是否顯示，實(shí)現(xiàn)兩種直播內(nèi)容的混合播放。VR顯示終端內(nèi)部的耳機(jī)麥克單元，耳機(jī)用于收聽(tīng)直播現(xiàn)場(chǎng)的全向聲音，麥克用于與現(xiàn)場(chǎng)的互動(dòng)服務(wù)器通過(guò)語(yǔ)音方式實(shí)現(xiàn)直播交互。當(dāng)體驗(yàn)者佩戴的VR顯示終端的姿態(tài)發(fā)生改變，顯示終端內(nèi)部的感應(yīng)控制單元，通過(guò)連接在接受服務(wù)器上面的數(shù)據(jù)傳輸線，例如USB數(shù)據(jù)線，將終端設(shè)備的水平、垂直，及角度等空間姿態(tài)參數(shù)傳送給接收服務(wù)器，由交互處理單元進(jìn)行終端設(shè)備姿態(tài)的運(yùn)算處理，隨后在VR顯示終端的視野中顯示當(dāng)前視角的現(xiàn)場(chǎng)畫(huà)面，即分辨率為1920*960全景拼接圖像中視覺(jué)焦點(diǎn)觀看的區(qū)域；經(jīng)過(guò)解碼處理單元拆分后，分辨率為1920*240的字幕信息，始終顯示于視野的正前方，相對(duì)人眼位于全景視頻圖像、植入虛擬大屏的前一層，這樣即使VR顯示終端的姿態(tài)發(fā)生改變，觀看到的現(xiàn)場(chǎng)畫(huà)面隨之發(fā)生了變化，但是字幕始終位于視野的中央偏下的位置，不會(huì)遮擋到重要的直播內(nèi)容，相關(guān)空間位置參數(shù)也可以根據(jù)需要進(jìn)行設(shè)置。

第二、接收服務(wù)器上面未連接VR顯示終端。這種情況下，只能通過(guò)網(wǎng)頁(yè)收看直播；此時(shí)，網(wǎng)頁(yè)內(nèi)嵌的VR播放器未檢測(cè)到終端設(shè)備，則自動(dòng)播放特寫(xiě)鏡頭的畫(huà)面進(jìn)行現(xiàn)場(chǎng)直播，體驗(yàn)者將無(wú)法獲得VR全景視頻直播的沉浸感。

當(dāng)然，在VR現(xiàn)場(chǎng)直播的過(guò)程中也不能缺少直播互動(dòng)，參見(jiàn)圖1VR環(huán)境中特寫(xiě)鏡頭的運(yùn)用及顯示方法的系統(tǒng)示意圖。位于遠(yuǎn)程的接收服務(wù)器通過(guò)網(wǎng)絡(luò)連接后臺(tái)管理服務(wù)器，輸入登錄信息與后臺(tái)管理數(shù)據(jù)庫(kù)的用戶信息進(jìn)行核驗(yàn)。驗(yàn)證通過(guò)后，位于現(xiàn)場(chǎng)的互動(dòng)服務(wù)器就可以看到遠(yuǎn)程登錄的用戶信息。對(duì)于遠(yuǎn)程的接收服務(wù)器，若連接了VR顯示終端，登錄用戶佩戴VR顯示終端后即可觀看直播內(nèi)容，包括VR全景視頻及特寫(xiě)鏡頭，使用耳機(jī)收聽(tīng)現(xiàn)場(chǎng)全向聲音；并基于網(wǎng)絡(luò)，直接和現(xiàn)場(chǎng)互動(dòng)服務(wù)器建立連接，通過(guò)VR顯示終端內(nèi)部耳機(jī)麥克單元的麥克，通過(guò)語(yǔ)音的方式進(jìn)行直播互動(dòng)。若接收服務(wù)器未連接VR顯示終端，那么登錄用戶可以通過(guò)網(wǎng)頁(yè)觀看以特寫(xiě)鏡頭為主的直播內(nèi)容，使用耳機(jī)接收現(xiàn)場(chǎng)的全向聲音；并基于網(wǎng)絡(luò)，直接與現(xiàn)場(chǎng)互動(dòng)服務(wù)器建立連接，通過(guò)網(wǎng)頁(yè)輸入文字進(jìn)行直播互動(dòng)。

位于直播現(xiàn)場(chǎng)的互動(dòng)服務(wù)器，通過(guò)互動(dòng)顯示終端，面向直播現(xiàn)場(chǎng)展示遠(yuǎn)程登錄的用戶信息，例如ID、頭像、狀態(tài)、語(yǔ)音，及留言等。針對(duì)語(yǔ)音直播互動(dòng)，可以設(shè)置具體的交互方式，例如廣播方式或一對(duì)一方式。所有遠(yuǎn)程登錄的信息和相關(guān)的操作日志，都會(huì)記錄在后臺(tái)管理服務(wù)器本地，便于日常統(tǒng)計(jì)和歸檔。另外，現(xiàn)場(chǎng)的互動(dòng)服務(wù)器還可以基于網(wǎng)絡(luò)，直接向拼接服務(wù)器發(fā)送即時(shí)信息，例如通知或作業(yè)，后者以疊加字幕的方式在VR全景視頻直播中進(jìn)行廣播，保證相關(guān)信息準(zhǔn)確傳達(dá)給遠(yuǎn)程的登錄用戶。

為解決現(xiàn)有技術(shù)中的問(wèn)題，本發(fā)明還提出一種VR環(huán)境中特寫(xiě)鏡頭的運(yùn)用及顯示方法。所述方法涉及的功能模塊包括：信號(hào)采集類的全景信號(hào)拍攝模塊、全向音頻拾取模塊、特寫(xiě)信號(hào)拍攝模塊；業(yè)務(wù)處理類的拼接服務(wù)器、發(fā)布服務(wù)器、接收服務(wù)器、后臺(tái)管理服務(wù)器、互動(dòng)服務(wù)器；信號(hào)監(jiān)看類的信號(hào)監(jiān)看終端；終端顯示類的VR顯示終端、互動(dòng)顯示終端。

所述方法是這樣實(shí)現(xiàn)的：通過(guò)前端由若干專業(yè)級(jí)攝像機(jī)組成的全景信號(hào)拍攝模塊，對(duì)直播現(xiàn)場(chǎng)進(jìn)行360度全方位拍攝，并通過(guò)專業(yè)視頻輸出接口，例如Micro HDMI，將不同視角的拍攝信號(hào)輸出至拼接服務(wù)器。其中，若干專業(yè)級(jí)攝像機(jī)分別拍攝水平、上方、下方等不同視角的畫(huà)面，其相對(duì)空間位置關(guān)系是固定的，相鄰兩個(gè)攝像機(jī)的拍攝畫(huà)面彼此有重疊的區(qū)域。經(jīng)過(guò)校準(zhǔn)之后其位置關(guān)系不能發(fā)生改變，以免影響后續(xù)實(shí)時(shí)拼接的精度。有關(guān)攝像機(jī)機(jī)位的擺放結(jié)構(gòu)，不是本發(fā)明的重點(diǎn)，不做過(guò)多討論。

全向音頻拾取模塊，負(fù)責(zé)拾取現(xiàn)場(chǎng)的聲音，通過(guò)相應(yīng)的傳輸接口，例如USB通用接口，將拾取的聲音送給拼接服務(wù)器，完成音頻的采集工作。接下來(lái)，拼接服務(wù)器按照調(diào)試好的校準(zhǔn)參數(shù)，對(duì)前端現(xiàn)場(chǎng)的拍攝信號(hào)進(jìn)行實(shí)時(shí)拼接處理，同時(shí)將采集音頻與拼接后的全景視頻信號(hào)進(jìn)行合成。由于實(shí)時(shí)視頻拼接和實(shí)時(shí)音頻采集，都涉及時(shí)碼的同步，拼接服務(wù)器基于本地操作系統(tǒng)，例如Windows 10，所提供的高精度時(shí)間片(毫秒級(jí))，能夠?qū)σ曨l和音頻進(jìn)行同步處理。此外，拼接服務(wù)器還可以在拼接后的VR全景視頻圖像上面疊加字幕，作為附加信息。經(jīng)過(guò)后續(xù)的編碼、傳輸?shù)拳h(huán)節(jié)，最終渲染合成輸出至VR顯示終端。當(dāng)體驗(yàn)者佩戴的VR顯示終端姿態(tài)發(fā)生改變，即觀看角度、空間位置發(fā)生變化，字幕卻始終保持在視野中央偏下的位置，位于當(dāng)前顯示視頻圖像的前面。最后，拼接服務(wù)器輸出兩路VR全景視頻信號(hào)：一路4Kp60的信號(hào)，輸出至信號(hào)監(jiān)看終端，對(duì)拼接效果進(jìn)行專業(yè)監(jiān)看；一路1080p60的信號(hào)，用于現(xiàn)場(chǎng)信號(hào)的直播發(fā)布，輸出至發(fā)布服務(wù)器。

本發(fā)明的重點(diǎn)還在于：在直播現(xiàn)場(chǎng)，增加特寫(xiě)信號(hào)拍攝模塊對(duì)局部細(xì)節(jié)畫(huà)面進(jìn)行拍攝，即特寫(xiě)鏡頭的實(shí)時(shí)捕捉，將拍攝的1080p60信號(hào)輸出至發(fā)布服務(wù)器。這樣，發(fā)布服務(wù)器同時(shí)接收兩路信號(hào)，一路來(lái)自特寫(xiě)信號(hào)拍攝模塊的特寫(xiě)鏡頭，一路來(lái)自拼接服務(wù)器的VR全景視頻信號(hào)；然后，發(fā)布服務(wù)器分別對(duì)這兩路現(xiàn)場(chǎng)信號(hào)進(jìn)行實(shí)時(shí)壓縮編碼，碼率可以根據(jù)需要進(jìn)行設(shè)置；經(jīng)過(guò)壓縮處理的視頻流，分別發(fā)布到指定的直播地址和端口號(hào)。由于，目前的網(wǎng)絡(luò)帶寬支撐不了4K分辨率的視頻流傳輸，因此暫時(shí)采用1080p60分辨率的特寫(xiě)信號(hào)、VR全景視頻信號(hào)，未來(lái)一旦帶寬瓶頸得到很好的解決，將采用畫(huà)質(zhì)更佳的4K分辨率的前端信號(hào)。兩種直播信號(hào)相結(jié)合，360度全方位的VR全景視頻直播帶給體驗(yàn)者現(xiàn)場(chǎng)的沉浸感；特寫(xiě)鏡頭作為補(bǔ)充，捕捉更多現(xiàn)場(chǎng)的精彩畫(huà)面。

接收服務(wù)器通過(guò)訪問(wèn)以上兩個(gè)直播發(fā)布地址，對(duì)接收到的直播內(nèi)容進(jìn)行實(shí)時(shí)解碼，一路是VR全景視頻信號(hào)，一路是特寫(xiě)鏡頭信號(hào)。此外，接收服務(wù)器提前將使用其他商業(yè)軟件設(shè)計(jì)好的3D物件，例如虛擬大屏，導(dǎo)入進(jìn)來(lái)，設(shè)置好3D物件后續(xù)植入VR環(huán)境中的大小、位置等參數(shù)。接著，接收服務(wù)器對(duì)解碼后的VR全景視頻圖像、特寫(xiě)鏡頭圖像，以及虛擬植入的3D物件進(jìn)行實(shí)時(shí)合成渲染，其中，特寫(xiě)鏡頭的視頻圖像直接在植入的虛擬大屏上面顯示。最終的合成信號(hào)，由接收服務(wù)器上面的專用VR播放器進(jìn)行解碼控制。存在以下兩種情況：第一、接收服務(wù)器連接了VR顯示終端，那么最終的合成信號(hào)將輸出至終端設(shè)備。體驗(yàn)者佩戴VR顯示終端以后，就可以觀看360度全方位的VR全景視頻直播，沉浸在現(xiàn)場(chǎng)熱烈的氛圍當(dāng)中；同時(shí)，還可以通過(guò)植入的虛擬大屏，觀看虛擬大屏顯示的特寫(xiě)鏡頭畫(huà)面；通過(guò)耳機(jī)收聽(tīng)現(xiàn)場(chǎng)采集的全向聲音，提升VR直播的綜合體驗(yàn)。對(duì)于VR顯示終端，通過(guò)連接在接收服務(wù)器上的數(shù)據(jù)傳輸線，例如USB數(shù)據(jù)線，將其自身的傳感數(shù)據(jù)，包括位置、角度等空間姿態(tài)參數(shù)，傳送給接收服務(wù)器，后者對(duì)終端設(shè)備的姿態(tài)進(jìn)行實(shí)時(shí)運(yùn)算處理，隨后將相應(yīng)視角的圖像顯示于VR顯示終端視野的中央。關(guān)于植入的虛擬大屏，可以通過(guò)VR顯示終端上面的按鍵進(jìn)行控制，根據(jù)體驗(yàn)者的觀看需求選擇是否顯示，實(shí)現(xiàn)混合播放的效果。第二、接收服務(wù)器未連接VR顯示終端，這種情況，只能通過(guò)網(wǎng)頁(yè)的形式收看直播；此時(shí)，網(wǎng)頁(yè)內(nèi)嵌的VR播放器檢測(cè)不到終端設(shè)備，則僅播放特寫(xiě)鏡頭的視頻畫(huà)面進(jìn)行現(xiàn)場(chǎng)直播，用戶將無(wú)法獲得VR全景視頻直播的沉浸式體驗(yàn)。

當(dāng)然，在VR現(xiàn)場(chǎng)直播的過(guò)程中也不能缺少直播互動(dòng)，位于遠(yuǎn)程的接收服務(wù)器通過(guò)網(wǎng)絡(luò)連接后臺(tái)管理服務(wù)器，輸入登錄信息與后臺(tái)管理數(shù)據(jù)庫(kù)的用戶信息進(jìn)行核驗(yàn)。驗(yàn)證通過(guò)后，位于拍攝現(xiàn)場(chǎng)的互動(dòng)服務(wù)器就可以看到遠(yuǎn)程登錄的用戶信息了。對(duì)于遠(yuǎn)程的接收服務(wù)器，若連接了VR顯示終端，登錄用戶佩戴VR顯示終端后即可觀看直播內(nèi)容，包括VR全景視頻及特寫(xiě)鏡頭，使用耳機(jī)收聽(tīng)現(xiàn)場(chǎng)全向音頻；并基于網(wǎng)絡(luò)，直接和現(xiàn)場(chǎng)互動(dòng)服務(wù)器建立連接，通過(guò)麥克采用語(yǔ)音的方式進(jìn)行直播互動(dòng)。若接收服務(wù)器未連接VR顯示終端，那么登錄用戶可以通過(guò)網(wǎng)頁(yè)觀看特寫(xiě)鏡頭的現(xiàn)場(chǎng)直播，使用耳機(jī)收聽(tīng)現(xiàn)場(chǎng)的全向聲音；并基于網(wǎng)絡(luò)，直接和現(xiàn)場(chǎng)互動(dòng)服務(wù)器建立連接，通過(guò)輸入文字的方式進(jìn)行直播互動(dòng)。

位于現(xiàn)場(chǎng)的互動(dòng)服務(wù)器，通過(guò)互動(dòng)顯示終端，面向直播現(xiàn)場(chǎng)展示遠(yuǎn)程登錄的用戶信息，例如ID、頭像、狀態(tài)、語(yǔ)音，及留言等。針對(duì)語(yǔ)音直播互動(dòng)，可以設(shè)置具體的交互方式，例如廣播方式或一對(duì)一方式。所有遠(yuǎn)程登錄的信息和相關(guān)的操作日志，都會(huì)記錄在后臺(tái)管理服務(wù)器本地，便于日常統(tǒng)計(jì)和歸檔。另外，現(xiàn)場(chǎng)的互動(dòng)服務(wù)器還可以基于網(wǎng)絡(luò)，直接向拼接服務(wù)器發(fā)送即時(shí)信息，例如通知或作業(yè)，后者以疊加字幕的方式在VR全景視頻直播中進(jìn)行廣播，保證了信息的快速、準(zhǔn)確傳達(dá)。

本實(shí)施例所述方法和系統(tǒng)帶來(lái)的益處非常明顯：面向不同的應(yīng)用場(chǎng)景，VR全景視頻直播可以用于綜藝節(jié)目的現(xiàn)場(chǎng)直播，例如大型演唱會(huì)，終端用戶在VR環(huán)境中感受直播現(xiàn)場(chǎng)熱烈氛圍的同時(shí)，運(yùn)用特寫(xiě)鏡頭來(lái)捕捉演員細(xì)致入微的表情。VR全景視頻直播可以用于教育領(lǐng)域的遠(yuǎn)程教學(xué)，處在遠(yuǎn)程的同學(xué)可以在專門(mén)建設(shè)的沉浸式教室，利用若干的接收服務(wù)器及VR顯示終端，觀看現(xiàn)場(chǎng)授課的VR全景視頻直播，運(yùn)用特寫(xiě)鏡頭顯示講師的板書(shū)、電子白板的PPT，還可以進(jìn)行互動(dòng)問(wèn)答，真正作到優(yōu)質(zhì)教育資源的共享。VR全景視頻直播可以用于醫(yī)療領(lǐng)域的實(shí)踐觀摩，實(shí)習(xí)醫(yī)生通過(guò)接收服務(wù)器及VR顯示終端，觀看學(xué)科帶頭人主刀手術(shù)的現(xiàn)場(chǎng)直播，親身感受手術(shù)室的現(xiàn)場(chǎng)氛圍、聽(tīng)到醫(yī)生交談的內(nèi)容，運(yùn)用特寫(xiě)鏡頭觀察手術(shù)部位的處置細(xì)節(jié)，達(dá)到觀摩、學(xué)習(xí)的目的，提高手術(shù)過(guò)程中的應(yīng)急處置能力。其他應(yīng)用就不一一贅述，采用本實(shí)施例所述的方法，在獲得VR沉浸感、現(xiàn)場(chǎng)感的同時(shí)，兼顧了局部細(xì)節(jié)的展示，全局固然震撼，細(xì)節(jié)同樣珍貴。

以上所述，僅為本發(fā)明較佳的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)所述以權(quán)利要求的保護(hù)范圍為準(zhǔn)。