本發(fā)明涉及全景視頻技術(shù)領(lǐng)域，具體涉及混合圖像的全景視頻制作技術(shù)。

背景技術(shù)：

全景視頻是一種通過兩個以上的攝像頭同時連續(xù)拍攝360度全視角圖像，并經(jīng)過編碼產(chǎn)生的的視頻內(nèi)容。多個攝像頭拍攝的圖像通過算法拼接在一起以后成為一路包含所有視角信息的視頻流，全景視頻可以記錄完整的現(xiàn)場圖像信息，在虛擬現(xiàn)實頭盔等新型顯示設(shè)備上可以很好地再現(xiàn)完整現(xiàn)場場景，給用戶身臨其境的感覺，具有非常廣泛的實用價值。

由于全景視頻同時記錄了多個視角的信息，在同等清晰度條件下，全景視頻的畫面尺寸就要比普通相機產(chǎn)生的視頻大很多倍，這將給視頻的存儲和傳輸帶來很大壓力。

為了解決全景相機的帶寬需求，部分現(xiàn)有產(chǎn)品采用了廣角的相機拍攝部分畫面，通過魚眼鏡頭獲得較大的視場角(Field of View)，來獲得近似于全景相機的效果。魚眼鏡頭可以提供一個很大的視場角，但不能覆蓋全部視野范圍，對用戶拍攝的圖像來說仍然存在較大的視覺盲區(qū)，用戶無法看到相機背面的場景。

用魚眼鏡頭產(chǎn)生的視頻在播放時由于場景不完整，現(xiàn)有方案通常將沒有拍攝到的區(qū)域用固定的黑色填充，在虛擬現(xiàn)實等新型顯示設(shè)備中，這種處理方式會顯著降低用戶的臨場感，當(dāng)用戶轉(zhuǎn)動觀看視角時會看到不連貫的黑色區(qū)域，對臨場感和視覺體驗帶來明顯影響。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于針對現(xiàn)有技術(shù)的缺陷和不足，提供一種混合圖像的全景視頻制作技術(shù)，該技術(shù)為:在一個360度全景拍攝的場景中，將需要拍攝區(qū)域規(guī)劃為靜止區(qū)域和動態(tài)區(qū)域，動態(tài)區(qū)域采用視頻拍攝和編碼的方式表示，靜態(tài)區(qū)域用拍攝靜止圖片的方式記錄，將拍攝的靜態(tài)圖像和視頻混合編碼到同一路碼流中，就可以完整記錄一個場景。

采用上述技術(shù)后，本發(fā)明有益效果為：本發(fā)明所述的混合圖像的全景視頻制作技術(shù)，它可以在保持高視覺體驗的前提下大幅降低全景視頻的數(shù)據(jù)量，降低內(nèi)容存儲和傳輸?shù)某杀尽?/p>

附圖說明

此處所說明的附圖是用來提供對本發(fā)明的進一步理解，構(gòu)成本申請的一部分，但并不構(gòu)成對本發(fā)明的不當(dāng)限定，在附圖中：

圖1是具體實施方式中混合拍攝系統(tǒng)說明圖；

圖2是具體實施方式中視頻圖像混合渲染說明圖。

具體實施方式

本具體實施方式所述的混合圖像的全景視頻制作技術(shù)，該技術(shù)為:在一個360度全景拍攝的場景中，拍攝系統(tǒng)采用多鏡頭成像系統(tǒng)，通過多個鏡頭模組覆蓋360度的全景視角，部分鏡頭模組拍攝鏡頭圖像，部分鏡頭模組拍攝視頻。拍攝時將需要拍攝區(qū)域規(guī)劃為靜止區(qū)域和動態(tài)區(qū)域，動態(tài)區(qū)域采用視頻拍攝和編碼的方式表示，靜態(tài)區(qū)域用拍攝靜止圖片的方式記錄，將拍攝的靜態(tài)圖像和視頻混合編碼到同一路碼流中，就可以完整記錄一個場景。

在全景視頻拍攝的許多實際應(yīng)用場景中，不同視角的內(nèi)容對于節(jié)目的重要性往往非常不同，例如在直播節(jié)目中，節(jié)目制作者需要用戶關(guān)注的是節(jié)目現(xiàn)場的信息，而背面的信息往往只是作為背景，這些背景在很多場景下是可以設(shè)計成靜止不動的；靜止的場景可以用靜態(tài)圖片表示，而具有活動目標的區(qū)域可以采用視頻拍攝來表示。

具體實現(xiàn)中，本發(fā)明的拍攝系統(tǒng)由多個獨立的成像系統(tǒng)組成，如圖1所示的實例中，拍攝系統(tǒng)包含一個視頻攝像頭和三個靜態(tài)圖片攝像頭，所有攝像頭的輸出信息都同時輸入到一個用于拼接多路輸入的計算機系統(tǒng)中。負責(zé)處理圖像的計算機系統(tǒng)以固定頻率從視頻攝像機采集圖像，并將視頻攝像機采集的連續(xù)圖像通過視頻編碼算法，如MPEG或H.264，編碼成視頻碼流，在由軟件指定的特定時刻，視頻攝像機可以從一個或多個靜態(tài)圖像攝像頭獲取一幅靜態(tài)圖像，并將與視頻流關(guān)聯(lián)的時間戳附加到該靜態(tài)圖像中，靜態(tài)圖像可采用常規(guī)的圖像壓縮算法，如JPEG算法，進行編碼。

在混合靜態(tài)圖片和視頻的碼流(以下稱為混合視頻流)中，靜態(tài)圖片數(shù)據(jù)包可以與音頻、視頻等標準視頻流數(shù)據(jù)交織保存，并可以利用PTS(Presentation Time Stamp)等標準時間戳來表示圖片和視頻在渲染時的時間同步關(guān)系。除壓縮圖像數(shù)據(jù)外，靜態(tài)圖片數(shù)據(jù)包還需要包含用于渲染時與視頻流疊加的幾何信息。

如圖2所示：混合視頻流在播放時在空間中渲染的位置可以用等效的立方體表示；實際渲染不局限于立方體，也可用球體等任意幾何形狀，但立方體渲染時的數(shù)學(xué)處理較簡單，是最常用的表達方法之一。如以立方體描述渲染過程，在多視角的視頻渲染時，其在空間中的位置相當(dāng)于一個立方體面上某一個或多個幾何區(qū)域，技術(shù)實現(xiàn)上較常采用矩形區(qū)域描述，圖2中立方體表面白色區(qū)域用靜態(tài)圖片表示，而其中若干區(qū)域可以指向視頻流，通過分割不同渲染區(qū)域?qū)?yīng)的視頻或圖片紋理，靜態(tài)圖片和視頻內(nèi)容就可在立方體表面無縫拼接起來，當(dāng)靜態(tài)圖片所描述區(qū)域場景沒有發(fā)生變化時，其視覺效果等效于用僅用全景視頻記錄的方法。

通過制作節(jié)目時仔細規(guī)劃靜態(tài)和動態(tài)區(qū)域，視頻制作者可以采用本技術(shù)用靜態(tài)圖片代替一定比例的視頻流，從而大幅降低視頻的碼率，達到節(jié)省帶寬的目的，或者在相同帶寬條件下提供更好質(zhì)量的視覺效果。

本發(fā)明所述的混合圖像的全景視頻制作技術(shù)，它可以在保持高視覺體驗的前提下大幅降低全景視頻的數(shù)據(jù)量，降低內(nèi)容存儲和傳輸?shù)某杀尽?/p>

以上所述僅是本發(fā)明的較佳實施方式，故凡依本發(fā)明專利申請范圍所述的構(gòu)造、特征及原理所做的等效變化或修飾，均包括于本發(fā)明專利申請范圍內(nèi)。