專利名稱：多視點視頻的視角切換以及編碼方法和裝置的制作方法
技術領域：
本發(fā)明涉及多視點視頻技術領域，尤其涉及一種多視點視頻的視角切換以及編碼 方法和裝置。
背景技術：
多視點視頻是視頻業(yè)務的一項重要內容，其特點是用戶可以自由地選擇觀看的視 角，從而可以觀看被拍攝物體(場景)的不同側面。如圖1所示，多視點視頻的實現(xiàn)方法是 在拍攝時通過多個角度對同一物體(場景)進行拍攝，按照順時針方向視角編號依次為1、 2、3. . . 16 ；在編碼時對每一個視角的視頻流分別進行編碼，得到多視點視頻編碼碼流(包 括每一個視角的視頻編碼碼流)；在播放時需要根據(jù)用戶的需求對相應視角的視頻編碼碼 流進行解碼和顯示。多視點視頻的視角切換是指播放時在任意兩個視角之間進行切換。如圖2所示， 為具有四個視角的多視點視頻編碼碼流的幀結構示意圖，其中橫坐標表示時間(t)，縱坐標 表示視角編號。各幀圖像定義為I幀、P幀和B幀三種類型，其中I幀為幀內編碼圖像，是 指使用本幀內的數(shù)據(jù)進行編碼的圖像；P幀為前向預測編碼圖像，是根據(jù)前面最近的I幀或 P幀作為參考幀進行前向預測編碼的圖像；B幀為雙向預測編碼圖像，是根據(jù)前面和后面的 I幀或P幀進行雙向預測編碼的圖像?，F(xiàn)有技術中，多視點視頻的視角切換可以采用以下兩種實現(xiàn)方案實現(xiàn)方案一、假設針對圖2所示的多視點視頻，在播放B[l] [10]時用戶發(fā)起從視 角1到視角4的視角切換，在播放完B [1] [10]后，依次播放I [2] [11]、I [3] [11]、I [4] [11]、 B[4] [12]，即可實現(xiàn)從視角1到視角4的視角切換。該方案必需在原來播放一幀的時間內 完成三幀的播放，切換畫面過快，視覺效果不好；并且在一幀時間內，解碼器需要解碼三幀， 顯示器需要顯示三幀，對于解碼器和顯示器的要求很高，當切換視角較大時(例如從視角1 切換到視角9)，解碼器和顯示器將難以承受。由于視頻幀的解碼有依賴關系，B幀和P幀的 解碼需要依賴最近的I幀，如果各視角的I幀不同步，每切換一個視角，就需要等待一個I 幀的到達，當切換角度較大時(如從視角1到視角9)，切換時間會比較長。同時，如果切換 角度過大，會引起I幀密集，從而增大對帶寬的需求。實現(xiàn)方案二 將多個視角進行視角組的劃分，例如視角1到視角4可視為一個視角 組。視角組內各視角對應視頻流的編碼，以中心視角的I幀作為關鍵幀，其他視角的視頻幀 直接或間接依賴于該關鍵幀進行預測編碼。如圖3所示，P[3][1]、P[1][1]依賴于I [2] [1] 進行預測編碼，P[4] [1]依賴于P[3] [1]進行預測編碼，使得各視角之間存在依賴關系，不 能獨立解碼。該方案僅支持同一視角組內的視角切換，不支持不同視角組之間的視角切換。 針對同一視角組內的視角切換，例如從視角1切換到視角4時，需要將1[2] [1]、P[l] [1]、 P[3] [1]、P[4] [1]全部解碼，在原來解碼一幀的時間內完成四幀的解碼，切換畫面過快，視 覺效果不好，并且隨著切換角度的增大，解碼幀數(shù)隨之增加，系統(tǒng)負荷將快速增加。綜上，現(xiàn)有技術中提供的多視點視頻的視角切換方案，當切換角度比較小(切換點相鄰)時切換畫面的連續(xù)性較佳，例如從視角1切換到視角2 ；當切換角度比較大時切換 畫面的連續(xù)性較差，系統(tǒng)負荷較大，例如從視角1切換到視角9，并且隨著切換角度的增大 切換畫面的連續(xù)性進一步變差，系統(tǒng)負荷快速增加。

發(fā)明內容
本發(fā)明提供一種多視點視頻的視角切換方法和裝置，用以解決現(xiàn)有技術中當切換 角度比較大時切換畫面的連續(xù)性較差，系統(tǒng)負荷較大的問題。本發(fā)明提供一種多視點視頻的編碼方法和裝置，用以形成易于視角平滑切換的多 視點視頻編碼碼流的幀結構。本發(fā)明提供的一種多視點視頻的視角切換方法，每一個視角的視頻編碼碼流中包 含與特定視頻幀并行傳輸?shù)囊暯乔袚Q幀，所述視角切換幀與本視角的下一相鄰視角的視頻 編碼碼流中與該視角切換幀處于相同時間位置上的視頻幀具有相同圖像，在多視點視頻的 播放過程中根據(jù)用戶發(fā)起的從當前視角到目標視角的視角切換，從當前視角依次經(jīng)由各中 間視角最終切換到目標視角，其中任意兩個相鄰第一視角和第二視角之間的視角切換，包 括
在第一視角的視頻編碼碼流的視角切換幀到達時，控制播放第一視角的視頻編碼 碼流的視角切換幀，并從第一視角切換到與本視角的視角切換幀具有相同圖像的視頻幀所 在的第二視角。本發(fā)明提供的多視點視頻的視角切換裝置，包括觸發(fā)單元和切換單元，其中所述觸發(fā)單元，用于在多視點視頻的播放過程中根據(jù)用戶發(fā)起的從當前視角到目 標視角的視角切換，觸發(fā)所述切換單元，其中每一個視角的視頻編碼碼流中包含與特定視 頻幀并行傳輸?shù)囊暯乔袚Q幀，所述視角切換幀與本視角的下一相鄰視角的視頻編碼碼流中 與該視角切換幀處于相同時間位置上的視頻幀具有相同圖像；所述切換單元，用于在所述觸發(fā)單元的觸發(fā)下，從當前視角依次經(jīng)由各中間視角 最終切換到目標視角，針對其中任意兩個相鄰第一視角和第二視角之間的視角切換，在第 一視角的視頻編碼碼流的視角切換幀到達時，控制播放第一視角的視頻編碼碼流的視角切 換幀，并從第一視角切換到與本視角的視角切換幀具有相同圖像的視頻幀所在的第二視本發(fā)明提供的多視點視頻的編碼方法，包括對每一個視角的視頻流分別進行編碼，得到每一個視角的視頻編碼碼流；并在每一個視角的視頻編碼碼流中插入與特定視頻幀并行傳輸?shù)囊暯乔袚Q幀，所述 視角切換幀與本視角的下一相鄰視角的視頻編碼碼流中與該視角切換幀處于相同時間位 置上的視頻幀具有相同圖像。本發(fā)明提供的多視點視頻的編碼裝置，包括第一編碼單元，用于對每一個視角的視頻流分別進行編碼，得到每一個視角的視 頻編碼碼流；第二編碼單元，用于編碼得到與每一個視角的視頻編碼碼流中特定視頻幀并行傳 輸?shù)囊暯乔袚Q幀，所述視角切換幀與本視角的下一相鄰視角的視頻編碼碼流中與該視角切 換幀處于相同時間位置上的視頻幀具有相同圖像；
插入單元，用于在每一個視角的視頻編碼碼流中插入所述第二編碼單元編碼得到 的視角切換幀。本發(fā)明提供的多視點視頻的視角切換方法和裝置，在多視點視頻編碼碼流的改進 型幀結構基礎上，根據(jù)用戶發(fā)起的從當前視角到目標視角的視角切換，從當前視角依次經(jīng) 由各中間視角最終切換到目標視角，針對其中任意兩個相鄰視角之間的視角切換，在第一 視角的視頻編碼碼流的特定視頻幀和視角切換幀并行到達時，控制播放視角切換幀，并從 第一視角切換到視角切換幀對應的第二視角。由于第一視角的視角切換幀與第二視角中與 該視角切換幀處于相同時間位置上的視頻幀具有相同圖像，因此可以實現(xiàn)該兩個相鄰視角 之間的視角平滑切換，從當前視角到目標視角的任意兩個相鄰視角之間均可實現(xiàn)視角平滑 切換，使得任意兩個視角之間的平滑切換得以實現(xiàn)；本方案在現(xiàn)有幀結構的基礎上增加少 量視角切換幀即可實現(xiàn)，對帶寬的需求較小，隨著切換角度的增加系統(tǒng)負荷不受影響。本發(fā)明提供的多視點視頻的編碼方法和裝置，在多視點視頻的編碼過程中，在每 一個視角的視頻編碼碼流中插入與特定視頻幀并行傳輸?shù)囊暯乔袚Q幀，從而形成易于視角 平滑切換的多視點視頻編碼碼流的幀結構，為多視點視頻的視角切換過程中提升切換畫面 的連續(xù)性、降低系統(tǒng)負荷打下基礎。


圖1為現(xiàn)有技術中多視點視頻的實現(xiàn)方法示意圖；圖2為現(xiàn)有技術中多視點視頻編碼碼流的幀結構示意圖；圖3為現(xiàn)有技術中基于視角組的多視點視頻編碼碼流的幀結構示意圖；圖4為本發(fā)明實施例中多視點視頻編碼碼流的改進型幀結構示意圖；圖5為本發(fā)明實施例中多視點視頻的編碼方法流程圖；圖6為本發(fā)明實施例中多視點視頻的編碼裝置框圖；圖7為本發(fā)明實施例中多視點視頻的視角切換裝置框圖。
具體實施例方式針對現(xiàn)有技術中存在的當切換角度比較大時切換畫面的連續(xù)性較差，系統(tǒng)負荷較 大的問題，本發(fā)明實施例首先提供了一種多視點視頻編碼碼流的改進型幀結構，如圖4所 示，以具有四個視角的多視點視頻編碼碼流為例進行說明，其中橫坐標表示時間(t)，縱坐 標表示視角編號。本發(fā)明實施例提供的改進型幀結構，在現(xiàn)有多視點視頻編碼碼流的幀結 構基礎上引入了視角切換幀。視角切換幀與本視角的下一相鄰視角的視頻編碼碼流中與該 視角切換幀處于相同時間位置上的視頻幀具有相同圖像?；贗幀、P幀和B幀三種類型 的視頻幀各自具有的編碼特點，較佳的選定視角切換幀的類型為P幀。需要說明的是，由于每一個視角均有兩個相鄰視角，例如視角2的順時針方向相 鄰視角為視角3，逆時針方向相鄰視角為視角1，所述的本視角的下一相鄰視角是與切換方 向相關的，例如切換方向為順時針方向，則視角2的下一相鄰視角是指視角3，切換方向為 逆時針方向，則視角2的下一相鄰視角是指視角1?；诖耍暯乔袚Q幀包括順時針方向切 換幀(Pa)和逆時針方向切換幀(Psk)，順時針方向切換幀與本視角的順時針方向下一相鄰 視角的視頻編碼碼流中與該順時針方向切換幀處于相同時間位置上的視頻幀具有相同圖像，逆時針方向切換幀與本視角的逆時針方向下一相鄰視角的視頻編碼碼流中與該逆時針 方向切換幀處于相同時間位置上的視頻幀具有相同圖像。例如對于圖4中視角2的視頻編 碼碼流來說，PSl[2][5] ^Pspl[3] [5]的圖像相同，Psk[2] [7]與PSPK[1][7]的圖像相同。在 具體的改進型幀結構中，可以僅包括順時針方向切換幀，也可以僅包括逆時針方向切換幀， 當然還可以包括順時針方向切換幀和逆時針方向切換幀。例如同樣是從視角1切換到視角 4，如果改進型幀結構中僅包括順時針方向切換幀，相應的切換路徑為視角1 —視角2 —視 角3 —視角4 ；如果改進型幀結構中僅包括逆時針方向切換幀，相應的切換路徑為視角1 — 視角16 —視角15...—視角5 —視角4 ；如果改進型幀結構中包括順時針方向切換幀和逆 時針方向切換幀，相應的可以根據(jù)順時針方向切換幀按照順時針方向從當前視角依次經(jīng)由 各中間視角最終切換到目標視角，也可以根據(jù)逆時針方向切換幀按照逆時針方向從當前視 角依次經(jīng)由各中間視角最終切換到目標視角，一般選取切換點較少的切換路徑。視角切換幀由P幀部分和殘差部分組成，P幀部分是以本視角的視頻編碼碼流中 特定視頻幀作為參考幀，進行幀間預測編碼得到的；殘差部分是對P幀部分與本視角的下 一相鄰視角的視頻編碼碼流中與該特定視頻幀處于相同時間位置上的視頻幀之間的差值 進行無損壓縮編碼得到的。例如視角切換幀pa[l] [3]的P幀部分是以P[l] [3]作為參考 幀，進行幀間預測編碼得到的，殘差部分是對P幀部分與PSIJ2] [3]之間的差值進行無損壓 縮編碼得到的，從而使得PSl[1][3] ^Pspl[2] [3]具有相同圖像，不同的是，PSL[1][3]的解 碼需要依賴最近的I幀即1[1] [1] ；Pspl[2] [3]的解碼需要依賴最近的I幀即I [2] [1]。具 體實施中，可以在視角切換幀的幀頭中增加特殊標志，用于表示本視頻幀可以進行視角切 換并同時指示切換方向(順時針方向還是逆時針方向)。基于上述多視點視頻編碼碼流的改進型幀結構，本發(fā)明實施例提供了一種多視點 視頻的編碼方法，用以形成易于視角平滑切換的多視點視頻編碼碼流的幀結構，從而為多 視點視頻的視角切換過程中提升切換畫面的連續(xù)性、降低系統(tǒng)負荷打下基礎。如圖5所示， 多視點視頻的編碼方法，包括如下步驟S501、對每一個視角的視頻流分別進行編碼，得到每一個視角的視頻編碼碼流；具體實施中，本步驟與現(xiàn)有技術中采用的對各視頻流分別進行獨立編碼的處理流 程完全一致，各幀圖像定義為I幀、P幀和B幀三種類型，其中I幀為幀內編碼圖像，是只使 用本幀內的數(shù)據(jù)進行編碼的圖像；P幀為前向預測編碼圖像，是根據(jù)前面最近的I幀或P幀 作為參考幀進行前向預測編碼的圖像；B幀為雙向預測編碼圖像，是根據(jù)前面和后面的I幀 或P幀進行雙向預測編碼的圖像。S502、在每一個視角的視頻編碼碼流中插入與特定視頻幀并行傳輸?shù)囊暯乔袚Q 幀，其中視角切換幀與本視角的下一相鄰視角的視頻編碼碼流中與該視角切換幀處于相同 時間位置上的視頻幀具有相同圖像；具體實施中，每一個視角的視頻編碼碼流中，視角切換幀的類型為P幀，視角切換 幀的編碼方法具體包括步驟a、以本視角的視頻編碼碼流中特定視頻幀作為參考幀，進行幀間預測編碼得 到P幀部分；步驟b、對P幀部分與本視角的下一相鄰視角的視頻編碼碼流中與該特定視頻幀 處于相同時間位置上的視頻幀之間的差值進行無損壓縮編碼得到殘差部分；
步驟C、將P幀部分和殘差部分組成視角切換幀?；谕患夹g構思，本發(fā)明實施例提供了一種多視點視頻的編碼裝置，設置在多 視點視頻的發(fā)送端，如圖6所示，包括第一編碼單元601，用于對每一個視角的視頻流分別進行編碼，得到每一個視角的 視頻編碼碼流；第二編碼單元602，用于編碼得到與每一個視角的視頻編碼碼流中特定視頻幀并 行傳輸?shù)囊暯乔袚Q幀，其中視角切換幀與本視角的相鄰視角的視頻編碼碼流中與該視角切 換幀處于相同時間位置上的視頻幀具有相同圖像；插入單元603，用于在每一個視角的視頻編碼碼流中插入第二編碼單元602編碼 得到的視角切換幀。在上述多視點視頻的編碼方案基礎上，本發(fā)明實施例同時提供了一種多視點視頻 的視角切換方法，每一個視角的視頻編碼碼流中包含與特定視頻幀并行傳輸?shù)囊暯乔袚Q 幀，其中視角切換幀與本視角的下一相鄰視角的視頻編碼碼流中與該視角切換幀處于相同 時間位置上的視頻幀具有相同圖像，在多視點視頻的播放過程中根據(jù)用戶發(fā)起的從當前視 角到目標視角的視角切換，從當前視角依次經(jīng)由各中間視角最終切換到目標視角，其中任 意兩個相鄰第一視角和第二視角之間的視角切換，包括在第一視角的視頻編碼碼流的視角切換幀到達時，控制播放第一視角的視頻編碼 碼流的視角切換幀，并從第一視角切換到與本視角的視角切換幀具有相同圖像的視頻幀所 在的第二視角，需要說明的是，在第一視角的視頻編碼碼流的視角切換幀到達時，還有特定 視頻幀與該視角切換幀并行到達，但是視角切換過程中控制播放第一視角的視頻編碼碼流 的視角切換幀，而對特定視頻幀不作任何處理。具體實施中，如果在多視點視頻的播放過程中用戶沒有發(fā)起視角切換，在當前視 角的視頻編碼碼流的特定視頻幀到達時，控制播放當前視角的視頻編碼碼流的特定視頻 幀，并丟棄與該特定視頻幀并行到達的視角切換幀。以圖4所示的改進型幀結構為例，說明多視點視頻的視角切換方法，視角切換幀 包括順時針方向切換幀(Pa)和逆時針方向切換幀(Psk)，如果用戶發(fā)起從視角1到視角4的 視角切換，較佳的可以根據(jù)Pa按照順時針方向從當前視角依次經(jīng)由各中間視角最終切換 到目標視角，即視角1 —視角2 —視角3 —視角4，假設在播放1[1] [1]時用戶發(fā)起從視角 1到視角4的視角切換，視角切換過程中具體的視頻幀的播放依次為1[1] [1]— > B[l] [2]— > PSL[1] [3]/Pspl[2] [3]— > B[2] [4]— > Psl[2] [5]/ Pspl[3] [5]— > B[3] [6]— > Psl[3] [7]/Pspl[4] [7]— > B[4] [8]—> ...下面對整個視角切換過程進行簡要說明在播放1[1] [1]時用戶發(fā)起從視角1到視角4的視角切換，根據(jù)用戶發(fā)起的從當 前視角(視角1)到目標視角(視角4)的視角切換，在視角1的視頻編碼碼流的P[l] [3] 和視角切換幀PsJl] [3]并行到達時，控制播放視角1的視頻編碼碼流的視角切換幀PsJl] [3]，并從視角1切換到與視角切換幀PsJl] [3]具有相同圖像的視頻幀PSIJ2] [3]所在的 視角2 ；需要說明的是，如果用戶沒有發(fā)起從視角1到視角4的視角切換，在播放視角1的視 頻編碼碼流的過程中，在P[l] [3]和視角切換幀Pa[l] [3]并行到達時，控制播放P[l] [3]， 并丟棄視角切換幀PSl[1][3]；
由于PsJl] [3]與PSIJ2] [3]具有相同圖像，從視角1切換到視角2之后，無需解碼 Pspl[2] [3]，后續(xù)需要依賴PSIJ2] [3]進行解碼的視頻幀可以直接根據(jù)Pa[l] [3]的圖像數(shù) 據(jù)進行解碼并顯示，因此可以直接播放B [2] W]，在視角2的視頻編碼碼流的P [2] [5]和視 角切換幀己12] [5]并行到達時，控制播放視角2的視頻編碼碼流的視角切換幀PSJ2] [5]， 并從視角2切換到與視角切換幀PSJ2] [5]具有相同圖像的視頻幀PSIJ3] [5]所在的視角 3 ；同理，由于Pa[2][5] ^Pspl [3] [5]具有相同圖像，從視角2切換到視角3之后，無 需解碼PSPJ3] [5]，后續(xù)需要依賴PSIJ3] [5]進行解碼的視頻幀可以直接根據(jù)PSJ2] [5]的 圖像數(shù)據(jù)進行解碼并顯示，因此可以直接播放B[3] W]，在視角3的視頻編碼碼流的P[3][7]和視角切換幀Pa[3][7]并行到達時，控制播放視角3的視頻編碼碼流的視角切換幀 Psl[3] [7]，并從視角3切換到與視角切換幀Pa[3] [7]具有相同圖像的視頻幀PSIJ4] [7]所 在的視角4 ；至此已經(jīng)完成了從視角1到視角4的切換，由于Pa[3] [7]與PSIJ4] [7]具有相同 圖像，從視角3切換到視角4之后，無需解碼PSIJ4] [7]，后續(xù)需要依賴PSIJ4] [7]進行解 碼的視頻幀可以直接根據(jù)PSJ3] [7]的圖像數(shù)據(jù)進行解碼并顯示，因此可以直接播放B[4][8]，以及后續(xù)各視頻幀。如果用戶發(fā)起從視角4到視角1的視角切換，較佳的可以根據(jù)Psk按照逆時針方向 從當前視角依次經(jīng)由各中間視角最終切換到目標視角，即視角4 —視角3 —視角2 —視角 1，假設在播放1[4] [1]時用戶發(fā)起從視角4到視角1的視角切換，視角切換過程中具體的 視頻幀的播放依次為I [4] [1]— > B[4] [2]— > Pse[4] [3]/Pspe[3] [3]— > B[3] [4]— > Pse[3] [5]/ Pspe[2] [5]— > B[2] [6]— > Pse[2] [7]/Pspe[1] [7]— > B[l] [8]— > ...下面對整個視角切換過程進行簡要說明在播放I [4] [1]時用戶發(fā)起從視角4到視角1的視角切換，根據(jù)用戶發(fā)起的從當 前視角(視角4)到目標視角(視角1)的視角切換，在視角4的視頻編碼碼流的P[4] [3] 和視角切換幀PSK[4] [3]并行到達時，控制播放視角4的視頻編碼碼流的視角切換幀PSK[4] [3]，并從視角4切換到與視角切換幀PSK[4] [3]具有相同圖像的視頻幀PSPK[3] [3]所在的 視角3 ；需要說明的是，如果用戶沒有發(fā)起從視角4到視角1的視角切換，在播放視角4的視 頻編碼碼流的過程中，在P[4] [3]和視角切換幀PSK[4] [3]并行到達時，控制播放P[4] [3]， 并丟棄視角切換幀PSK[4] [3]；由于PSK[4] [3]與PSPK[3] [3]具有相同圖像，從視角4切換到視角3之后，無需解碼 Pspe[3] [3]，后續(xù)需要依賴Pspk[3] [3]進行解碼的視頻幀可以直接根據(jù)Psk[4] [3]的圖像數(shù) 據(jù)進行解碼并顯示，因此可以直接播放B [3] W]，在視角3的視頻編碼碼流的P [3] [5]和視 角切換幀PSK[3] [5]并行到達時，控制播放視角3的視頻編碼碼流的視角切換幀PSK[3] [5]， 并從視角3切換到與視角切換幀PSK[3] [5]具有相同圖像的視頻幀PSPK[2] [5]所在的視角 2 ；同理，由于PSK[3][5]與PSPK[2][5]具有相同圖像，從視角3切換到視角2之后，無 需解碼PSPK[2] [5]，后續(xù)需要依賴PSPK[2] [5]進行解碼的視頻幀可以直接根據(jù)PSK[3] [5]的 圖像數(shù)據(jù)進行解碼并顯示，因此可以直接播放B [2] W]，在視角2的視頻編碼碼流的P [2][7]和視角切換幀PSK[2] [7]并行到達時，控制播放視角2的視頻編碼碼流的視角切換幀 Pse[2] [7]，并從視角2切換到與視角切換幀PSK[2] [7]具有相同圖像的視頻幀PSPK[1] [7]所 在的視角1 ；至此已經(jīng)完成了從視角4到視角1的切換，由于PSK[2][7]與PSPK[1][7]具有相同 圖像，從視角2切換到視角1之后，無需解碼PSPK[1] [7]，后續(xù)需要依賴PSPK[1] [7]進行解碼 的視頻幀可以直接根據(jù)PSK[2] [7]的圖像進行解碼并顯示，因此可以直接播放B [1] [8]，以 及后續(xù)各視頻幀?；谕患夹g構思，本發(fā)明實施例提供了一種多視點視頻的視角切換裝置，如圖7 所示，包括觸發(fā)單元701和切換單元702，其中觸發(fā)單元701，用于在多視點視頻的播放過程中根據(jù)用戶發(fā)起的從當前視角到目 標視角的視角切換，觸發(fā)切換單元701，其中每一個視角的視頻編碼碼流中包含與特定視頻 幀并行傳輸?shù)囊暯乔袚Q幀，其中視角切換幀與本視角的下一相鄰視角的視頻編碼碼流中與 該視角切換幀處于相同時間位置上的視頻幀具有相同圖像；切換單元702，用于在觸發(fā)單元701的觸發(fā)下，從當前視角依次經(jīng)由各中間視角最 終切換到目標視角，針對其中任意兩個相鄰第一視角和第二視角之間的視角切換，在第一 視角的視頻編碼碼流的視角切換幀到達時，控制播放第一視角的視頻編碼碼流的視角切換 幀，并從第一視角切換到與本視角的視角切換幀具有相同圖像的視頻幀所在的第二視角。本發(fā)明實施例提供的多視點視頻的視角切換方法和裝置，在多視點視頻編碼碼流 的改進型幀結構基礎上，根據(jù)用戶發(fā)起的從當前視角到目標視角的視角切換，從當前視角 依次經(jīng)由各中間視角最終切換到目標視角，針對其中任意兩個相鄰視角之間的視角切換， 在第一視角的視頻編碼碼流的特定視頻幀和視角切換幀并行到達時，控制播放視角切換 幀，并從第一視角切換到視角切換幀對應的第二視角。由于第一視角的視角切換幀與第二 視角中與該視角切換幀處于相同時間位置上的視頻幀具有相同圖像，因此可以實現(xiàn)該兩個 相鄰視角之間的視角平滑切換，從當前視角到目標視角的任意兩個相鄰視角之間均可實 現(xiàn)視角平滑切換，使得任意兩個視角之間的平滑切換得以實現(xiàn)，還可以選擇切換路徑的方 向；本方案在現(xiàn)有幀結構的基礎上增加少量視角切換幀即可實現(xiàn)，對帶寬的需求較 小，隨著切換角度的增加系統(tǒng)負荷不受影響；本方案中每一個視角的視頻編碼碼流可以獨立解碼，各視角之間的相關性較小， 只需對現(xiàn)有編解碼設備作小幅改動即可實現(xiàn)，復雜度較低，易于實現(xiàn)。顯然，本領域的技術人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精 神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權利要求及其等同技術的范圍 之內，則本發(fā)明也意圖包含這些改動和變型在內。
權利要求
1.一種多視點視頻的視角切換方法，其特征在于，每一個視角的視頻編碼碼流中包含 與特定視頻幀并行傳輸?shù)囊暯乔袚Q幀，所述視角切換幀與本視角的下一相鄰視角的視頻編 碼碼流中與該視角切換幀處于相同時間位置上的視頻幀具有相同圖像，在多視點視頻的播 放過程中根據(jù)用戶發(fā)起的從當前視角到目標視角的視角切換，從當前視角依次經(jīng)由各中 間視角最終切換到目標視角，其中任意兩個相鄰第一視角和第二視角之間的視角切換，包 括在第一視角的視頻編碼碼流的視角切換幀到達時，控制播放第一視角的視頻編碼碼流 的視角切換幀，并從第一視角切換到與本視角的視角切換幀具有相同圖像的視頻幀所在的第二視角。
2.如權利要求1所述的方法，其特征在于，所述視角切換幀包括順時針方向切換幀， 所述順時針方向切換幀與本視角的順時針方向下一相鄰視角的視頻編碼碼流中與該順時 針方向切換幀處于相同時間位置上的視頻幀具有相同圖像；和/或，逆時針方向切換幀，所 述逆時針方向切換幀與本視角的逆時針方向下一相鄰視角的視頻編碼碼流中與該逆時針 方向切換幀處于相同時間位置上的視頻幀具有相同圖像。
3.如權利要求2所述的方法，其特征在于，如果所述視角切換幀為順時針方向切換幀，根據(jù)順時針方向切換幀按照順時針方向從 當前視角依次經(jīng)由各中間視角最終切換到目標視角；如果所述視角切換幀為逆時針方向切換幀，根據(jù)逆時針方向切換幀按照逆時針方向從 當前視角依次經(jīng)由各中間視角最終切換到目標視角；如果所述視角切換幀包括順時針方向切換幀和逆時針方向切換幀，根據(jù)順時針方向切 換幀按照順時針方向從當前視角依次經(jīng)由各中間視角最終切換到目標視角，或者根據(jù)逆時 針方向切換幀按照逆時針方向從當前視角依次經(jīng)由各中間視角最終切換到目標視角。
4.如權利要求1、2或3所述的方法，其特征在于，所述視角切換幀的類型為P幀。
5.如權利要求4所述的方法，其特征在于，所述視角切換幀由P幀部分和殘差部分組 成，所述P幀部分是以本視角的視頻編碼碼流中特定視頻幀作為參考幀，進行幀間預測編 碼得到的；所述殘差部分是對所述P幀部分與本視角的下一相鄰視角的視頻編碼碼流中與 該特定視頻幀處于相同時間位置上的視頻幀之間的差值進行無損壓縮編碼得到的。
6.如權利要求1所述的方法，其特征在于，還包括如果在多視點視頻的播放過程中用戶沒有發(fā)起視角切換，在當前視角的視頻編碼碼流 的特定視頻幀到達時，控制播放當前視角的視頻編碼碼流的特定視頻幀，并丟棄當與該特 定視頻幀并行到達的視角切換幀。
7.一種多視點視頻的視角切換裝置，其特征在于，包括觸發(fā)單元和切換單元，其中所述觸發(fā)單元，用于在多視點視頻的播放過程中根據(jù)用戶發(fā)起的從當前視角到目標視 角的視角切換，觸發(fā)所述切換單元，其中每一個視角的視頻編碼碼流中包含與特定視頻幀 并行傳輸?shù)囊暯乔袚Q幀，所述視角切換幀與本視角的下一相鄰視角的視頻編碼碼流中與該 視角切換幀處于相同時間位置上的視頻幀具有相同圖像；所述切換單元，用于在所述觸發(fā)單元的觸發(fā)下，從當前視角依次經(jīng)由各中間視角最終 切換到目標視角，針對其中任意兩個相鄰第一視角和第二視角之間的視角切換，在第一視 角的視頻編碼碼流的視角切換幀到達時，控制播放第一視角的視頻編碼碼流的視角切換幀，并從第一視角切換到與本視角的視角切換幀具有相同圖像的視頻幀所在的第二視角。
8.一種多視點視頻的編碼方法，其特征在于，包括對每一個視角的視頻流分別進行編碼，得到每一個視角的視頻編碼碼流；并 在每一個視角的視頻編碼碼流中插入與特定視頻幀并行傳輸?shù)囊暯乔袚Q幀，所述視角 切換幀與本視角的下一相鄰視角的視頻編碼碼流中與該視角切換幀處于相同時間位置上 的視頻幀具有相同圖像。
9.如權利要求8所述的方法，其特征在于，所述視角切換幀的類型為P幀。
10.如權利要求9所述的方法，其特征在于，視角切換幀的編碼方法，具體包括 以本視角的視頻編碼碼流中特定視頻幀作為參考幀，進行幀間預測編碼得到P幀部分；對所述P幀部分與本視角的下一相鄰視角的視頻編碼碼流中與該特定視頻幀處于相 同時間位置上的視頻幀之間的差值進行無損壓縮編碼得到殘差部分； 將所述P幀部分和殘差部分組成視角切換幀。
11.一種多視點視頻的編碼裝置，其特征在于，包括第一編碼單元，用于對每一個視角的視頻流分別進行編碼，得到每一個視角的視頻編 碼碼流；第二編碼單元，用于編碼得到與每一個視角的視頻編碼碼流中特定視頻幀并行傳輸?shù)?視角切換幀，所述視角切換幀與本視角的下一相鄰視角的視頻編碼碼流中與該視角切換幀 處于相同時間位置上的視頻幀具有相同圖像；插入單元，用于在每一個視角的視頻編碼碼流中插入所述第二編碼單元編碼得到的視 角切換幀。
全文摘要
本發(fā)明公開了一種多視點視頻的視角切換方法和裝置，用以解決現(xiàn)有技術中當切換角度比較大時切換畫面的連續(xù)性較差，系統(tǒng)負荷較大的問題。每一個視角的視頻編碼碼流中包含與特定視頻幀并行傳輸?shù)囊暯乔袚Q幀，視角切換幀與本視角的相鄰視角的視頻編碼碼流中與該視角切換幀處于相同時間位置上的視頻幀具有相同圖像，根據(jù)用戶發(fā)起的從當前視角到目標視角的視角切換，從當前視角依次經(jīng)由各中間視角最終切換到目標視角，其中任意兩個相鄰視角之間的視角切換，包括在第一視角的視頻編碼碼流的視角切換幀達時，控制播放該視角切換幀，并從第一視角切換到與該視角切換幀具有相同圖像的視頻幀所在的第二視角。本發(fā)明還公開一種多視點視頻的編碼方法和裝置。
文檔編號H04N7/32GK102055967SQ20091023674
公開日2011年5月11日 申請日期2009年10月28日 優(yōu)先權日2009年10月28日
發(fā)明者袁潮, 黃曉偉 申請人:中國移動通信集團公司