專利名稱：一種立體視頻分層編碼差錯控制方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻編碼和處理領(lǐng)域，具體涉及立體視頻編碼過程中 的質(zhì)量可伸縮性編碼及差錯控制算法的研究。
背景技術(shù)：
立體視頻是當前視頻領(lǐng)域的一個研究熱點和新的發(fā)展方向，具有 廣闊的應(yīng)用前景。然而，由于立體視頻圖像隱含了場景的深度信息， 這一優(yōu)點的直接代價就是帶來視頻數(shù)據(jù)的急劇增加，對網(wǎng)絡(luò)帶寬以及 在不同網(wǎng)絡(luò)環(huán)境下的適應(yīng)能力都將會有更高的要求。研究表明，分層 編碼對于單視點視頻在網(wǎng)絡(luò)帶寬變化的環(huán)境下表現(xiàn)優(yōu)異。因此研究立
體視頻的分層編碼理論和技術(shù)，使其可在不同網(wǎng)絡(luò)帶寬環(huán)境下進行可 靠傳輸是提高立體視頻網(wǎng)絡(luò)適應(yīng)性的有效途徑。
然而，目前的視頻壓縮編碼方案均采用預(yù)測技術(shù)來消除幀間冗 余，這種機制對信道差錯極其敏感，傳輸環(huán)境的不佳，往往會造成誤 碼，尤其是在無線、IP信道等不可靠環(huán)境，即使是單個誤碼也可能在 一幅圖像內(nèi)產(chǎn)生大片錯誤，并且會擴散到后續(xù)幀。雖然針對上述問題
的差錯恢復視頻編碼(Error Resilient Video Coding)技術(shù)近年來取得 很多優(yōu)異的成果。然而，現(xiàn)有的這些差錯控制算法基本上都是針對單 視點視頻編碼系統(tǒng)設(shè)計的，不適宜直接用于立體視頻編碼系統(tǒng)。相對 于目前比較完善的單視點差錯控制技術(shù)而言，立體視頻的差錯控制技
術(shù)還很不成熟。并且，由于立體視頻的特殊性，在不可靠通信環(huán)境傳 輸過程中一個視點視頻圖像的損傷，不僅會影響本視點后續(xù)圖像幀的 質(zhì)量，而且還會擴散到另一個視點圖像及其后續(xù)幀，從而嚴重影響立 體視頻質(zhì)量。鑒于此，對立體視頻差錯控制技術(shù)進行研究，提高其在 有損信道傳輸環(huán)境中的抗差錯能力以及出錯后的恢復能力是非常有 必要的。
鑒于現(xiàn)有技術(shù)的以上缺點，本發(fā)明的目的是研究一種具有良好的 網(wǎng)絡(luò)適應(yīng)性和碼流動態(tài)截斷能力的分層編碼框架，以及適用于此編碼 框架的差錯控制方法，采用不同的關(guān)鍵參考幀選擇策略，以增強立體 視頻流在不可靠網(wǎng)絡(luò)傳輸中的魯棒性，能夠有效阻止傳輸差錯在立體 視頻序列中的擴散，從而提高立體視頻流的傳輸質(zhì)量。

發(fā)明內(nèi)容
一種立體視頻分層編碼差錯控制方法，用于立體視頻分層編碼框 架，對于立體視頻流傳輸過程中的四種不同情況基本層不出錯增強
層有較低誤碼率、基本層不出錯增強層有較高誤碼率、基本層可能出 錯增強層有較低誤碼率、以及基本層可能出錯增強層有較高誤碼率， 在立體視頻分層編碼過程中采用不同的差錯控制策略，其特征在于 在基本層不出錯傳輸時
基本層使用標準的編碼方式編碼。增強層編碼時，首先根據(jù)關(guān)鍵 參考幀選擇策略對使用關(guān)鍵參考幀的增強層待編碼幀進行關(guān)鍵參考 幀設(shè)置。其中，
(1)在增強層誤碼率較低情況下，僅在第一增強層中使用關(guān)鍵
參考幀。待編碼幀若為關(guān)鍵參考幀，當同一時刻基本層為I幀時，使 用層間預(yù)測關(guān)鍵參考幀編碼方式編碼；當同一時刻基本層為其余幀 時，使用聯(lián)合預(yù)測關(guān)鍵參考幀編碼方式編碼。待編碼幀若為非關(guān)鍵參 考幀，使用立體視頻分層編碼方式編碼。
(2)在增強層誤碼率較高情況下，各個增強層中均使用關(guān)鍵參 考幀。待編碼幀若為關(guān)鍵參考幀，使用層間預(yù)測關(guān)鍵參考幀編碼方式
編碼；否則，使用立體視頻分層編碼方式編碼。
在基本層可能出錯傳輸時
基本層編碼時，首先根據(jù)關(guān)鍵參考幀選擇策略對基本層待編碼幀
進行關(guān)鍵參考幀設(shè)置；待編碼幀若為關(guān)鍵參考幀，使用幀間預(yù)測關(guān)鍵 參考幀編碼方式編碼；否則，使用標準的編碼方式編碼。增強層編碼 時，若同一時刻的基本層為關(guān)鍵參考幀，則將使用關(guān)鍵參考幀的增強 層待編碼幀設(shè)置為關(guān)鍵參考幀。其中，
(1) 在增強層誤碼率較低情況下，僅在第一增強層中使用關(guān)鍵 參考幀。待編碼幀若為關(guān)鍵參考幀，當同一時刻基本層為I幀時， 使用層間預(yù)測關(guān)鍵參考幀編碼方式編碼；當同一時刻基本層為其 余幀時，使用聯(lián)合預(yù)測關(guān)鍵參考幀編碼方式編碼。待編碼幀若為 非關(guān)鍵參考幀，使用立體視頻分層編碼方式編碼。
(2) 在增強層誤碼率較高情況下，各個增強層中均使用關(guān)鍵參 考幀。待編碼幀若為關(guān)鍵參考幀，使用層間預(yù)測關(guān)鍵參考幀編碼 方式編碼；否則，使用立體視頻分層編碼方式編碼。 采用如上的不同差錯控制策略，增強了立體視頻流在不可靠網(wǎng)絡(luò) 傳輸中的魯棒性，能夠有效阻止傳輸差錯在立體視頻序列中的擴散， 從而提高立體視頻流的傳輸質(zhì)量。


圖1左視點無差錯右視點有較低誤碼率的差錯控制方法原理圖 圖2左視點無差錯右視點有較高誤碼率的差錯控制方法原理圖 圖3左視點出錯右視點有較低誤碼率的差錯控制方法原理圖
圖4左視點出錯右視點有較高誤碼率的差錯控制方法原理圖
具體實施例方式
下面結(jié)合附圖對本發(fā)明的具體技術(shù)內(nèi)容作進一步的詳述。 立體視頻分層編碼框架中，立體視頻分層編碼框架，基本層為立
體視頻左視點視頻，采用標準的編碼方式；增強層為立體視頻右視點 視頻，采用質(zhì)量可伸縮性編碼方式，增強層可以有若干層；立體視頻 流可以根據(jù)傳輸需要，自適應(yīng)的截取增強層碼流，使其適用于各種網(wǎng) 絡(luò)傳輸環(huán)境。
本發(fā)明提出了一種適用于立體視頻分層框架的差錯控制方法，分
別適用于以下四種不同的傳輸出錯情況
(1) 左視點視頻(基本層)不出錯，右視點視頻(增強層)誤碼
率較低；
(2) 左視點視頻不出錯，右視點視頻誤碼率較高；
(3) 左視點視頻可能出錯，右視點視頻誤碼率較低；
(4) 左視點視頻可能出錯，右視點視頻誤碼率較高。
通過在立體視頻分層編碼框架中，針對上述各種情況引入不同的 關(guān)鍵參考幀差錯控制方法，在不會明顯降低視頻圖像編碼效率的前提 下，可以有效的減小或者阻止視頻傳輸過程中由于傳輸差錯引起的立 體視頻圖像質(zhì)量的下降。
本發(fā)明關(guān)鍵參考幀選擇策略為若是增強層，則同一時刻基本層 為I幀或者關(guān)鍵參考幀時，增強層幀為關(guān)鍵參考幀；增強層其余關(guān)鍵 參考幀或者基本層關(guān)鍵參考幀可以每隔固定間隔進行設(shè)置，也可以根 據(jù)率失真優(yōu)化模型進行動態(tài)設(shè)置。
本發(fā)明所述聯(lián)合預(yù)測關(guān)鍵參考幀編碼方式，采用同一時刻基本層 的重建圖像和當前編碼幀之前的第一增強層關(guān)鍵參考幀的重建圖像 為參考，進行視差/運動聯(lián)合估計。
本發(fā)明所述層間預(yù)測關(guān)鍵參考幀編碼方式，采用同一時刻基本層 的重建圖像為參考進行視點間的預(yù)測編碼。
本發(fā)明所述幀間預(yù)測關(guān)鍵參考幀編碼方式，采用當前編碼幀之前 的I幀或者關(guān)鍵參考幀的重建圖像為參考進行幀間的預(yù)測編碼。
本發(fā)明所述立體視頻分層編碼方式，若為第一增強層待編碼幀， 則以同一時刻基本層的重建圖像和前一幀最高增強層的重建圖像為 參考，進行視差/運動聯(lián)合估計；若為第二增強層及以上各增強層待
編幀，則編碼同一時刻增強層原始圖像與低一級增強層的重建圖像的 差值。
本發(fā)明所述標準的編碼方式，為業(yè)內(nèi)常規(guī)所指，即第一幀編碼為
I幀，其余幀可以編碼為I幀、P幀或者B幀。
本發(fā)明在立體視頻分層編碼框架上，針對四種傳輸出錯情況制定 的差錯控制方法具體如下 (一)基本層不出錯，增強層誤碼率較低情況下的差錯控制方法 在此傳輸情況下，僅在第一增強層中使用關(guān)鍵參考幀，基本層和 第二增強層及以上各增強層均不使用關(guān)鍵參考幀。 (1 )基本層采用標準的編碼方式，可以編碼為I幀、P幀或者B幀。
(2) 第一增強層編碼時，首先確定待編碼幀是否為關(guān)鍵參考幀。若 基本層為I幀，則同一時刻第一增強層待編碼幀為關(guān)鍵參考幀， 第一增強層其余關(guān)鍵參考幀的確定方法有多種可以每隔固定 間隔插入關(guān)鍵參考幀，也可以根據(jù)率失真優(yōu)化模型動態(tài)選擇關(guān) 鍵參考幀。
(3) 第一增強層的關(guān)鍵參考幀采用幀間編碼方式。若同一時刻基本 層為I幀，那么關(guān)鍵參考幀以此時刻基本層的重建圖像為參考， 進行視點間的預(yù)測編碼，即以層間預(yù)測關(guān)鍵參考幀編碼方式進 行編碼；否則關(guān)鍵參考幀采用同一時刻基本層的重建圖像和當 前編碼幀之前的第一增強層關(guān)鍵參考幀的重建圖像為參考，進 行視差/運動聯(lián)合估計，即以聯(lián)合預(yù)測關(guān)鍵參考幀編碼方式進 行編碼。視差/運動聯(lián)合估計確定預(yù)測圖像的方法有多種可 以在視差估計預(yù)測圖像和運動估計預(yù)測圖像二者擇優(yōu)選擇，也 可以是二者的加權(quán)平均。
(4) 第一增強層的非關(guān)鍵參考幀采用幀間編碼方式，以同一時刻基 本層的重建圖像和前一幀最高增強層的重建圖像為參考，進行
視差/運動聯(lián)合估計，即以立體視頻分層編碼方式進行編碼。 (5)第二增強層及以上各增強層直接編碼同時刻增強層原始圖像 與低一級增強層的重建圖像的差值，即立體視頻分層編碼方式 編碼。
其原理如圖l所示，立體視頻分層編碼框架可含有多個增強層，
圖示以兩個增強層、每隔2幀固定使用一個關(guān)鍵參考幀、每隔8幀固 定使用一個I幀為例。
左視點為基本層，記為B。第l幀為幀內(nèi)編碼，記為B-I。例如， 在圖l中t時刻的幀B-I (t)。后續(xù)時刻可以根據(jù)需要定期插入I幀。 例如，在圖1中t+9時刻的幀B-I (t+9)?；緦悠溆鄨D像以前一幀 的重建圖像為參考進行幀間編碼，記為B-P。例如，在圖l中t+3時 刻的幀B-P(t+3)。
右視點為增強層記為E，第一增強層記為El，第二增強層及以 上各增強層記為E2…En。第一增強層第1幀圖像為關(guān)鍵參考幀，以 基本層第1幀的重建圖像為參考進行視點間預(yù)測編碼，記為El-K。 例如，在圖1中t時刻的幀El-K (t)。
在第一增強層的某些特定位置插入關(guān)鍵參考幀，記為El-K。例如， 在圖1中的t、 t+3、 t+6、 t+9時刻的幀El-K (t)、 E1畫K (t+3)、 E1畫K (t+6)、 El-K (t+9)，此類關(guān)鍵參考幀采用幀間編碼方式編碼，與第 一增強層普通的幀間編碼不同之處在于:若同一時刻基本層為I幀(例 如t、 t+9時刻的幀)，那么以此基本層的重建圖像為參考，進行視點 間預(yù)測，確定預(yù)測圖像，編碼增強層原始圖像與預(yù)測圖像的差值。例
如，在圖1中t+9時刻，El-K (t+9)是以B-I (t+9)的重建圖像為 參考，進行視點間預(yù)測。其余關(guān)鍵參考幀以第一增強層中前一個關(guān)鍵 參考幀的重建圖像和同一時刻基本層的重建圖像為參考，進行視差/ 運動聯(lián)合估計，然后確定預(yù)測圖像，編碼增強層原始圖像與預(yù)測圖像 的差值。例如，在圖1中t+3時刻，關(guān)鍵參考幀E1-K (t+3)是以B-P (t+3)和E1-K (t)的重建圖像為參考，進行視差/運動聯(lián)合估計。 第一增強層中的其余圖像都以前一幀的最高增強層和同一時刻 基本層的重建圖像為參考，進行幀間編碼，記為E1-P。例如，在圖l 中t+2時刻，El-P (t+2)是以E2-P (t+l)和B-P (t+2)的重建圖像 為參考，進行視差/運動聯(lián)合預(yù)測。
第二增強層及以上各增強層都是直接編碼增強層原始圖像與低 一級增強層的重建圖像的差值，記為En-P。例如，在圖1中t+2時刻， E2-P (t+2)是編碼該增強層原始圖像與E1-P (t+2)的重建圖像的差 值。
當出現(xiàn)非關(guān)鍵參考幀傳輸差錯時。例如，在圖1中t+l時刻，第 二增強層碼流傳輸出錯，則E2-P (t+l)碼流不能被解碼端正確解碼。 由于后續(xù)的幀間預(yù)測編碼幀El-P (t+2)是以E2-P (t+l)和B-P (t+2) 的重建圖像為參考聯(lián)合預(yù)測而來、E2-P (t+2)是編碼t+2時刻增強 層原始圖像與El-P (t+2)的重建圖像的差值，因此傳輸差錯會向后 擴散到El-P (t+2)、 E2-P (t+2)中。在t+3時刻，由于關(guān)鍵參考幀 El-K (t+3)是以El-K (t)和B-P (t+3)的重建圖像為參考聯(lián)合預(yù) 測而來，沒有使用前面的出錯幀進行幀間預(yù)測，因此El-K(t+3)可
以正常解碼，相應(yīng)的E2-P (t+3)也可以正常解碼。因此傳輸差錯的 擴散在t+3時刻被有效阻止。
當出現(xiàn)關(guān)鍵參考幀傳輸差錯時。例如，在圖l中t+6時刻，第一 增強層關(guān)鍵參考幀碼流傳輸出錯，則E1-K (t+6)不能被解碼端正確 解碼。由于第二增強層中的E2-P (t+6)是編碼t+6時刻增強層原始 圖像與E1-K (t+6)的重建圖像的差值、El-P (t+7)是以E2-P (t+6) 與B-P (t+7)的重建圖像為參考聯(lián)合預(yù)測而來、E2-P (t+7)是編碼 t+7時刻增強層原始圖像與El-P(t+7)的重建圖像的差值、El-P(t+8) 是以E2-P (t+7)與B-P (t+8)的重建圖像為參考聯(lián)合預(yù)測而來、E2-P (t+8)是編碼t+8時刻增強層原始圖像與El-P (t+8)的重建圖像的 差值，因此傳輸差錯會向后擴散到E2-P(t+6)、El-P(t+7)、E2-P(t+7)、 El-P (t+8)和E2-P (t+8)五幀中。在t+9時亥U，基本層編碼為I幀， 即B-I (t+9)，第一增強層以B-I (t+9)的重建圖像為參考，進行視 點間預(yù)測編碼，記為El-K(t+9)，第二增強層編碼t+9時刻增強層原 始圖像與E1-K (t+9)的重建圖像的差值，均沒有使用前面的出錯幀 進行幀間預(yù)測。因此傳輸差錯的擴散在t+9時刻被有效抑制。 (二)基本層不出錯，增強層誤碼率較高情況下的差錯控制方法
在此傳輸情況下，各個增強層中均使用關(guān)鍵參考幀，基本層不 使用關(guān)鍵參考幀。
(1 )基本層采用標準的編碼方式，可以編碼為I幀、P幀或者B幀。 (2)增強層編碼時，首先確定待編碼幀是否為關(guān)鍵參考幀。若基本 層為I幀，則同一時刻所有增強層待編碼幀均為關(guān)鍵參考幀。
各個增強層其余關(guān)鍵參考幀的確定方法有多種可以每隔固定 間隔插入關(guān)鍵參考幀，也可以根據(jù)率失真優(yōu)化模型動態(tài)選擇關(guān) 鍵參考幀。
(3) 增強層的關(guān)鍵參考幀采用幀間編碼方式，以同一時刻基本層的 重建圖像為參考，進行視點間的預(yù)測編碼，即以層間預(yù)測關(guān)鍵 參考幀編碼方式進行編碼。
(4) 第一增強層的非關(guān)鍵參考幀采用幀間編碼方式，以同一時刻基 本層的重建圖像和前一幀最高增強層的重建圖像為參考，進行 視差/運動聯(lián)合估計，即以立體視頻分層編碼方式進行編碼。
(5) 第二增強層及以上各增強層的非關(guān)鍵參考幀直接編碼同時刻 增強層原始圖像與低一級增強層的重建圖像的差值，即以立體 視頻分層編碼方式進行編碼。
其原理如圖2所示,立體視頻分層編碼框架可含有多個增強層，
圖示以兩個增強層、每隔2幀固定使用一個關(guān)鍵參考幀、每隔8幀固
定使用一個I幀為例。
左視點為基本層，記為B。第l幀為幀內(nèi)編碼，記為B-I。例如， 在圖2中t時刻的幀B-I (t)。后續(xù)時刻可以根據(jù)需要定期插入I幀。 例如，在圖2中t+9時刻的幀B-I (t+9)。其余圖像以前一幀的重建 圖像為參考進行幀間編碼，記為B-P。例如，在圖2中t+3時刻的幀 B-P (t+3)。
右視點為增強層記為E，第一增強層記為El，第二增強層及以 上各增強層記為E2…En。各個增強層第1幀圖像均為關(guān)鍵參考幀，
以基本層第1幀的重建圖像為參考進行視點間預(yù)測編碼，記為En-K。 例如，在圖2中t時刻的幀El-K (t)、 E2-K (t)。
在增強層的某些特定位置插入關(guān)鍵參考幀，同一時刻的各個增強 層關(guān)鍵參考幀均以同一時刻基本層的重建圖像為參考，進行視點間預(yù) 觀U，記為En-K。例如，圖2中t+3時刻的各個增強層均為關(guān)鍵參考 幀，分別以B-P (t+3)的重建圖像為參考，進行視點間預(yù)測編碼，確 定預(yù)測圖像，然后編碼原始圖像與預(yù)測圖像的差值，記為El-K(t+3)、 E2-K (t+3)。
第一增強層的非關(guān)鍵參考幀都以前一幀的最高增強層和同一時 刻基本層的重建圖像為參考，進行幀間編碼，記為El-P。例如，在 圖2中t+2時刻，E1國P (t+2)是以E2-P (t+l)和B-P (t+2)的重建 圖像為參考，進行視差/運動聯(lián)合預(yù)測。視差/運動聯(lián)合估計確定預(yù)測 圖像的方法有多種，可以在視差估計預(yù)測圖像和運動估計預(yù)測圖像二 者擇優(yōu)選擇，也可以是二者的加權(quán)平均。
第二增強層及以上各增強層的非關(guān)鍵參考幀都是直接編碼增強 層原始圖像與低一級增強層的重建圖像的差值，記為En-P。例如， 在圖2中t+2時亥lj， E2-P(t+2)是編碼該增強層原始圖像與El-P(t+2) 的重建圖像的差值。
在此差錯控制方法中，增強層關(guān)鍵幀出現(xiàn)的傳輸差錯不會影響到 同一時刻其余增強層關(guān)鍵參考幀。只要與出錯關(guān)鍵參考幀同一時刻的 高一級增強層關(guān)鍵參考幀能被解碼器正確接收，增強層的關(guān)鍵參考幀 就能起到對差錯的抑制作用，同時關(guān)鍵參考幀的錯誤也不會擴散到后
續(xù)編碼幀中。
例如在圖2中t+2時刻，第一增強層碼流傳輸出錯，則El-P(t+2) 碼流不能被解碼端正確解碼。由于E2-P (t+2)是編碼t+2時刻增強 層原始圖像與El-P (t+2)的重建圖像的差值，因此傳輸差錯會擴散 到E2-P (t+2)中。在t+3時刻，雖然關(guān)鍵參考幀El-K (t+3)出現(xiàn) 傳輸差錯，但關(guān)鍵參考幀E2-K (t+3)是由B-P (t+3)的重建圖像預(yù) 測而來，沒有使用前面的出錯幀進行幀間預(yù)測，因此E2-K (t+3)可 以正常解碼。同時后續(xù)幀間編碼幀是以E2-K (t+3)重建圖像為參考 進行預(yù)測，也不會出現(xiàn)差錯擴散。因此傳輸差錯的擴散在t+3時刻被 阻止。
(三)基本層可能出錯，增強層誤碼率較低情況下的差錯控制方法 在此傳輸情況下，基本層和第一增強層中使用關(guān)鍵參考幀，第二 增強層及以上各增強層不使用關(guān)鍵參考幀。
(1) 基本層編碼時，首先確定待編碼幀是否為關(guān)鍵參考幀。關(guān)鍵參 考幀的確定方法有多種可以每隔固定間隔插入關(guān)鍵參考幀， 也可以根據(jù)率失真優(yōu)化模型動態(tài)選擇關(guān)鍵參考幀。
(2) 基本層關(guān)鍵參考幀采用幀間編碼方式進行編碼，但其參考圖像 只能是當前編碼幀之前的I幀或者當前編碼幀之前的關(guān)鍵參考 幀的重建圖像，即以幀間預(yù)測關(guān)鍵參考幀編碼方式進行編碼。
(3) 基本層非關(guān)鍵參考幀采用標準的編碼方式，可以編碼為I幀、 P幀或者B幀。
(4) 第一增強層編碼時，首先確定待編碼幀是否為關(guān)鍵參考幀。若
基本層為I幀或者關(guān)鍵參考幀，則同一時刻第一增強層待編碼 幀為關(guān)鍵參考幀。
(5) 第一增強層的關(guān)鍵參考幀采用幀間編碼方式，若同一時刻基本 層為I幀，那么關(guān)鍵參考幀以此基本層的重建圖像為參考，進 行視點間的預(yù)測編碼，即以層間預(yù)測關(guān)鍵參考幀編碼方式進行 編碼；否則關(guān)鍵參考幀采用同一時刻基本層的重建圖像和當前
編碼幀之前的第一增強層關(guān)鍵參考幀的重建圖像為參考，進行 視差/運動聯(lián)合估計，即以聯(lián)合預(yù)測關(guān)鍵參考幀編碼方式進行 編碼。
(6) 第一增強層的非關(guān)鍵參考幀采用幀間編碼方式，以同一時刻基
本層的重建圖像和前一幀最高增強層的重建圖像為參考，進行 視差/運動聯(lián)合估計，即以立體視頻分層編碼方式進行編碼。
(7) 第二增強層及以上各增強層直接編碼同時刻增強層原始圖像
與低一級增強層的重建圖像的差值，即以立體視頻分層編碼方 式進行編碼。
其原理如圖3所示，立體視頻分層編碼框架可含有多個增強層， 圖示以兩個增強層、每隔2幀固定使用一個關(guān)鍵參考幀、每隔8幀固 定使用一個I幀為例。
左視點為基本層，記為B。第l幀為幀內(nèi)編碼，記為B-I。例如， 在圖3中t時刻的幀B-I (t)。后續(xù)時刻可以根據(jù)需要定期插入I幀。 例如，在圖3中t+9時刻的幀B-I (t+9)。在某些特定位置插入關(guān)鍵 參考幀，記為B-K，關(guān)鍵參考幀采用幀間編碼方式進行編碼，與普通
的幀間編碼方式相比，不同之處在于其參考幀是前面的I幀或者是關(guān)
鍵參考幀的重建圖像。例如，在圖3中t+3時刻，關(guān)鍵參考幀B-K(t+3) 是以B-I (t)的重建圖像為參考，進行幀間編碼。其余圖像都以前一 幀的重建圖像為參考進行幀間編碼，記為B-P。例如，在圖3中t+2 時刻的幀B-P (t+2)。
右視點為增強層記為E，第一增強層記為El，第二增強層及以 上各增強層記為E2…En。第一增強層第1幀圖像為關(guān)鍵參考幀，使 用基本層第1幀的重建圖像為參考，進行視點間預(yù)測編碼，記為E1-K。 例如，在圖3中t時刻的幀El-K (t)。
在第一增強層的某些特定位置插入關(guān)鍵參考幀，記為El-K。例如， 在圖3中的t、 t+3、 t+6、 t+9時刻的幀El-K (t)、 El-K (t+3)、 El-K
(t+6)、 El-K (t+9),此類關(guān)鍵參考幀采用幀間編碼方式編碼，與第 一增強層普通的幀間編碼不同之處在于:若同一時刻基本層為I幀(例 如t、 t+9時刻的幀)，那么以此基本層的重建圖像為參考，迸行視點 間預(yù)測，確定預(yù)測圖像，編碼增強層原始圖像與預(yù)測圖像的差值。例 如，在圖3中t+9時刻，El-K (t+9)是以B-I (t+9)的重建圖像為 參考進行視點間預(yù)測。其余關(guān)鍵參考幀以第一增強層中前一個關(guān)鍵參 考幀的重建圖像和同一時刻基本層的重建圖像為參考，進行視差/運 動聯(lián)合估計，然后確定預(yù)測圖像，編碼增強層原始圖像與預(yù)測圖像的 差值。例如，在圖3中t+3時刻，關(guān)鍵參考幀E1-K (t+3)是以B-K
(t+3)和E1-K (t)的重建圖像為參考，進行視差/運動聯(lián)合估計。 第一增強層的其余圖像都以前一幀的最高增強層和同一時刻基
本層的重建圖像為參考，進行幀間編碼，記為El-P。例如，在圖3 中t+2時刻，El-P (t+2)是以E2-P (t+l)和B-P (t+2)的重建圖像 為參考，進行視差/運動聯(lián)合預(yù)測。
第二增強層及以上各增強層都是直接編碼增強層原始圖像與低 一級增強層的重建圖像的差值，記為En-P。例如，圖3中t+2時刻， E2-P (t+2)是編碼該增強層原始圖像與E1-P (t+2)的重建圖像的差 值。
當基本層出現(xiàn)傳輸差錯時。例如，在圖3中t+2時刻基本層碼流 傳輸出錯，則B-P (t+2)不能正確解碼。由于同一時刻增強層幀間預(yù) 測編碼幀El-P (t+2)是以E2-P (t+l)和B-P (t+2)的重建圖像為 參考聯(lián)合預(yù)測而來、E2-P (t+2)是編碼t+2時刻增強層原始圖像與 El-P (t+2)的重建圖像的差值，因此傳輸差錯擴散到增強層的El-P (t+2)和E2-P (t+2)中。在t+3時亥U，由于關(guān)鍵參考幀B-K (t+3) 是以B-I (t)的重建圖像預(yù)測而來、El-K (t+3)是以El-K (t)和 B-K(t+3)的重建圖像作為參考聯(lián)合預(yù)測而來，均沒有使用前面的出 錯幀進行幀間預(yù)測，因此B-K(t+3)可以正常解碼，相應(yīng)的El-K(t+3)、 E2-P (t+3)也可以正常解碼。因此傳輸差錯的擴散在t+3時刻被有
當增強層出現(xiàn)傳輸差錯時。例如，在圖3中t+7時刻第二增強層 碼流傳輸出錯，則E2-P (t+7)不能正確解碼。在t+8時刻，由于幀 間預(yù)測編碼幀E1陽P (t+8)是以E2-P (t+7)和B-P (t+8)的重建圖 像為參考聯(lián)合預(yù)測而來、E2-P (t+8)是編碼t+8時刻增強層原始圖
像與El-P(t+8)的重建圖像的差值，因此傳輸差錯會向后擴散到E1-P
(t+8)、 E2-P (t+8)中。在t+9時刻，由于關(guān)鍵參考幀E1-K (t+9) 是以B-I (t+9)的重建圖像作為參考預(yù)測而來，沒有使用前面的出錯 幀進行幀間預(yù)測，因此El-K(t+9)可以正常解碼，相應(yīng)的E2-P(t+9) 也可以正常解碼。傳輸差錯的擴散在t+9時刻被有效的抑制。
(四)基本層可能出錯，增強層誤碼率較高情況下的差錯控制方法 在此傳輸情況下，各個編碼層(基本層及各增強層)均使用關(guān)鍵 參考幀。
(1) 基本層編碼時，首先確定待編碼幀是否為關(guān)鍵參考幀。關(guān)鍵參
考幀的確定方法有多種可以每隔固定間隔插入關(guān)鍵參考幀， 也可以根據(jù)率失真優(yōu)化模型動態(tài)選擇關(guān)鍵參考幀。
(2) 基本層關(guān)鍵參考幀采用幀間編碼方式進行編碼，但其參考圖像 只能是當前編碼幀之前的I幀或者當前編碼幀之前的關(guān)鍵參考 幀的重建圖像，即以幀間預(yù)測關(guān)鍵參考幀編碼方式進行編碼。
(3) 基本層非關(guān)鍵參考幀采用標準的編碼方式，可以編碼為I幀、 P幀或者B幀。
(4) 各個增強層編碼時，首先確定待編碼幀是否為關(guān)鍵參考幀。若 基本層為I幀或者關(guān)鍵參考幀，則同一時刻所有增強層待編碼 幀均為關(guān)鍵參考幀。
(5) 增強層的關(guān)鍵參考幀采用幀間編碼方式，以同一時刻基本層的 重建圖像為參考，進行視點間的預(yù)測編碼，即以層間預(yù)測關(guān)鍵 參考幀編碼方式進行編碼。
(6) 第一增強層的非關(guān)鍵參考幀采用幀間編碼方式，以同一時刻基 本層的重建圖像和前一幀最高增強層的重建圖像為參考，進行 視差/運動聯(lián)合估計，即以立體視頻分層編碼方式進行編碼。
(7) 第二增強層及以上各增強層的非關(guān)鍵參考幀直接編碼同時刻 增強層原始圖像與低一級增強層的重建圖像的差值，即以立體 視頻分層編碼方式進行編碼。
其原理如圖4所示，立體視頻分層編碼框架可含有多個增強層， 圖示以兩個增強層、每隔2幀固定使用一個關(guān)鍵參考幀、每隔8幀固 定使用一個I幀為例。
左視點為基本層，記為B。第l幀為幀內(nèi)編碼，記為B-I。例如， 在圖4中t時刻的幀B-I (t)。后續(xù)時刻可以根據(jù)需要定期插入I幀。 例如，在圖4中t+9時刻的幀B-I (t+9)。在某些特定位置插入關(guān)鍵 參考幀，記為B-K，關(guān)鍵參考幀采用幀間編碼方式進行編碼，與普通 的幀間編碼方式相比，不同之處在于其參考幀是前面的I幀或者是關(guān) 鍵參考幀的重建圖像。例如，在圖4中t+3時刻，關(guān)鍵參考幀B-K(t+3) 是以B-I (t)的重建圖像為參考，進行幀間編碼。其余圖像都是以前 一幀的重建圖像為參考進行幀間編碼，記為B-P。例如，在圖4中t+2 時刻的幀B-P (t+2)。
右視點為增強層記為E，第一增強層記為El，第二增強層及以 上各增強層記為E2 ...En。各個增強層第1幀圖像均為關(guān)鍵參考幀， 使用基本層第1幀的重建圖像為參考，進行視點間預(yù)測編碼，記為 En-K。例如，在圖4中t時刻的幀El-K (t)、 E2-K (t)。
在增強層的某些特定位置插入關(guān)鍵參考幀，同一時刻的各個增強 層關(guān)鍵參考幀均以同一時刻基本層的重建圖像為參考，進行視點間預(yù)
測，記為En-K。例如，圖4中t+3時刻的各個增強層均為關(guān)鍵參考 幀，分別以B-K (t+3)的重建圖像為參考，進行視點間預(yù)測編碼， 確定預(yù)測圖像，然后編碼原始圖像與預(yù)測圖像的差值，記為El-K (t+3)、 E2-K (t+3)。
第一增強層的非關(guān)鍵參考幀都采用fe—幀的最高增強層和同一 時刻基本層的重建圖像為參考，進行幀間編碼，記為El-P。例如， 在圖4中t+2時刻，El-P (t+2)是以E2-P (t+l)和B-P (t+2)的重 建圖像為參考，進行視差/運動聯(lián)合預(yù)測。視差/運動聯(lián)合估計確定預(yù) 測圖像的方法有多種，可以在視差估計預(yù)測圖像和運動估計預(yù)測圖像 二者擇優(yōu)選擇，也可以是二者的加權(quán)平均。
第二增強層及以上各增強層的非關(guān)鍵參考幀都是直接編碼增強 層原始圖像與低一級增強層的重建圖像的差值，記為En-P。例如， 在圖4中t+2時亥U， E2-P(t+2)是編碼該增強層原始圖像與El-P(t+2) 的重建圖像的差值。
在此差錯控制方法中，增強層關(guān)鍵幀出現(xiàn)的傳輸差錯不會影響到 同一時刻其余增強層關(guān)鍵參考幀。只要與出錯關(guān)鍵參考幀同一時刻的 高一級增強層關(guān)鍵參考幀能被解碼器正確接收，增強層的關(guān)鍵參考幀 就能起到對差錯的抑制作用，同時關(guān)鍵參考幀的錯誤也不會擴散到后 續(xù)編碼幀中。若最高一級增強層傳輸出錯，則采用幀間編碼模式的后 續(xù)編碼幀也會發(fā)生錯誤，直至下一個關(guān)鍵參考幀出現(xiàn)為止。
例如在圖4中t+2時刻，基本層碼流傳輸出錯，解碼器不能正確 解碼B-P (t+2)幀。由于E1-P (t+2)是由E2-P (t+l)和B隱P (t+2) 的重建圖像聯(lián)合預(yù)測而來、E2-P (t+2)是編碼t+2時刻增強層原始 圖像與E1-P (t+2)的重建圖像的差值，因此傳輸差錯會擴散到E1-P
(t+2)、 E2-P (t+2)中。在t+3時刻，關(guān)鍵參考幀B-K (t+3)是以 B-I (t)的重建圖像為參考預(yù)測而來、而E1-K (t+3)和E2-K (t+3) 是由B-K (t+3)的重建圖像為參考預(yù)測而來，均沒有使用前面的出 錯幀進行幀間預(yù)測，因此B-K (t+3)、 El-K (t+3)、 E2-K (t+3)可 以正常解碼。因此傳輸差錯的擴散在t+3時刻被有效的抑制。
在圖4中t+6時刻，最高一級增強層關(guān)鍵參考幀傳輸出錯，解碼 器不能正常解碼E2-K (t+6)幀，。由于E1-P (t+7)是由E2-K (t+6) 和B-P (t+7)的重建圖像聯(lián)合預(yù)測而來、E2-P (t+7)是編碼t+7時 刻增強層原始圖像與E1-P (t+7)的重建圖像的差值、El-P (t+8)是 由E2-P (t+7)和B-P (t+8)的重建圖像聯(lián)合預(yù)測而來、E2-P (t+8) 是編碼t+8時刻增強層原始圖像與El-P (t+8)的重建圖像的差值， 因此傳輸差錯會擴散到E1-P (t+7)、 E2-P (t+7)、 El-P (t+8)、 E2-P
(t+8)中。在t+9時亥ij，關(guān)鍵參考幀E1-K (t+9)和E2誦K (t+9)是 由B-I (t+9)的重建圖像為參考預(yù)測而來，沒有使用前面的出錯幀進 行幀間預(yù)測，因此E1-K (t+9)、 E2-K (t+9)可以正常解碼。傳輸差 錯的擴散在t+9時刻被有效的抑制。
在上述四種情況下的立體視頻分層編碼差錯控制方法中， 若傳輸差錯引起非關(guān)鍵參考幀圖像不能正確解碼，則采用幀間編
碼模式的后續(xù)編碼幀也會發(fā)生錯誤，直至下一個關(guān)鍵參考幀或者I幀 出現(xiàn)為止。
在低誤碼率情況下，傳輸差錯引起關(guān)鍵參考幀不能正確解碼，則 采用幀間編碼模式的后續(xù)編碼幀也會發(fā)生錯誤，直至下一個I幀出現(xiàn) 為止。
在高誤碼率情況下，傳輸差錯可能引起非最高增強層關(guān)鍵參考幀 不能正確解碼，但只要同一時刻高一級的增強層可以正常解碼，就可 以有效阻止前面非關(guān)鍵幀的傳輸差錯，同時低一級關(guān)鍵參考幀的差錯 也不會擴散到后續(xù)編碼幀；若傳輸差錯引起最高增強層關(guān)鍵參考幀不 能正確解碼，則采用幀間編碼模式的后續(xù)編碼幀也會發(fā)生錯誤，直至 下一個關(guān)鍵參考幀出現(xiàn)為止。
本發(fā)明提出的適用于立體視頻分層編碼的差錯控制方法，通過針 對基本層不出錯且增強層有較低誤碼率、基本層不出錯且增強層有較 高誤碼率、基本層可能出錯且增強層有較低誤碼率、以及基本層可能 出錯且增強層有較高誤碼率這四種不同情況，采用不同的關(guān)鍵參考幀 選擇方法，可以在保證立體視頻質(zhì)量分級傳輸?shù)幕A(chǔ)上增強立體視頻 流在不可靠網(wǎng)絡(luò)傳輸中的魯棒性，能夠有效阻止傳輸差錯在立體視頻 序列中的擴散，從而提高立體視頻流的傳輸質(zhì)量。
權(quán)利要求
1、一種立體視頻分層編碼差錯控制方法，用于立體視頻分層編碼框架，對于立體視頻流傳輸過程中的四種不同情況基本層不出錯增強層有較低誤碼率、基本層不出錯增強層有較高誤碼率、基本層可能出錯增強層有較低誤碼率、以及基本層可能出錯增強層有較高誤碼率，在立體視頻分層編碼過程中采用不同的差錯控制策略，其特征在于1)在基本層不出錯傳輸時基本層使用標準的編碼方式編碼；增強層編碼時，首先根據(jù)關(guān)鍵參考幀選擇策略對使用關(guān)鍵參考幀的增強層待編碼幀進行關(guān)鍵參考幀設(shè)置，其中，(1)增強層誤碼率較低情況下，僅在第一增強層中使用關(guān)鍵參考幀；待編碼幀若為關(guān)鍵參考幀，當同一時刻基本層為I幀時，使用層間預(yù)測關(guān)鍵參考幀編碼方式編碼；當同一時刻基本層為其余幀時，使用聯(lián)合預(yù)測關(guān)鍵參考幀編碼方式編碼；待編碼幀若為非關(guān)鍵參考幀，使用立體視頻分層編碼方式編碼；(2)增強層誤碼率較高情況下，各個增強層中均使用關(guān)鍵參考幀；待編碼幀若為關(guān)鍵參考幀，使用層間預(yù)測關(guān)鍵參考幀編碼方式編碼；否則，使用立體視頻分層編碼方式編碼；2)在基本層可能出錯傳輸時基本層編碼時，首先根據(jù)關(guān)鍵參考幀選擇策略對基本層待編碼幀進行關(guān)鍵參考幀設(shè)置；待編碼幀若為關(guān)鍵參考幀，使用幀間預(yù)測關(guān)鍵參考幀編碼方式編碼，否則，使用標準的編碼方式編碼；增強層編碼時，若同一時刻的基本層為關(guān)鍵參考幀，則將使用關(guān)鍵參考幀的增強層待編碼幀設(shè)置為關(guān)鍵參考幀，其中，(1)增強層誤碼率較低情況下僅在第一增強層中使用關(guān)鍵參考幀；待編碼幀若為關(guān)鍵參考幀，當同一時刻基本層為I幀時，使用層間預(yù)測關(guān)鍵參考幀編碼方式編碼；當同一時刻基本層為其余幀時，使用聯(lián)合預(yù)測關(guān)鍵參考幀編碼方式編碼；待編碼幀若為非關(guān)鍵參考幀，使用立體視頻分層編碼方式編碼；(2)在增強層誤碼率較高情況下各個增強層中均使用關(guān)鍵參考幀；待編碼幀若為關(guān)鍵參考幀，使用層間預(yù)測關(guān)鍵參考幀編碼方式編碼，否則，使用立體視頻分層編碼方式編碼。
2.
3、 根據(jù)權(quán)利要求1所述之立體視頻分層編碼差錯控制方法，其 特征在于，所述關(guān)鍵參考幀選擇策略為若是增強層，則同一時刻基 本層為I幀或者關(guān)鍵參考幀時，增強層幀為關(guān)鍵參考幀；增強層其余 關(guān)鍵參考幀或者基本層關(guān)鍵參考幀可以每隔固定間隔進行設(shè)置，也可 以根據(jù)率失真優(yōu)化模型進行動態(tài)設(shè)置。
4、 根據(jù)權(quán)利要求1所述之立體視頻分層編碼差錯控制方法，其 特征在于，所述聯(lián)合預(yù)測關(guān)鍵參考幀編碼方式，采用同一時刻基本層 的重建圖像和當前編碼幀之前的第一增強層關(guān)鍵參考幀的重建圖像 為參考，進行視差/運動聯(lián)合估計。
5、 根據(jù)權(quán)利要求1所述之立體視頻分層編碼差錯控制方法，其 特征在于，所述層間預(yù)測關(guān)鍵參考幀編碼方式，采用同一時刻基本層 的重建圖像為參考進行視點間的預(yù)測編碼。
6、 根據(jù)權(quán)利要求1所述之立體視頻分層編碼差錯控制方法，其特征在于，所述幀間預(yù)測關(guān)鍵參考幀編碼方式，采用當前編碼幀之前 的I幀或者關(guān)鍵參考幀的重建圖像為參考進行幀間的預(yù)測編碼。
7、 根據(jù)權(quán)利要求1所述之立體視頻分層編碼差錯控制方法，其特征在于，所述立體視頻分層編碼方式，若為第一增強層待編碼幀， 則以同一時刻基本層的重建圖像和前一幀最高增強層的重建圖像為參考，進行視差/運動聯(lián)合估計；若為第二增強層及以上各增強層待 編幀，則編碼同一時刻增強層原始圖像與低一級增強層的重建圖像的 差值。
全文摘要
一種立體視頻分層編碼差錯控制方法，用于立體視頻分層編碼框架，對于立體視頻流傳輸過程中的四種不同情況基本層不出錯增強層有較低誤碼率、基本層不出錯增強層有較高誤碼率、基本層可能出錯增強層有較低誤碼率、以及基本層可能出錯增強層有較高誤碼率，在立體視頻分層編碼過程中采用不同的差錯控制策略，以增強立體視頻流在不可靠網(wǎng)絡(luò)傳輸中的魯棒性，能夠有效阻止傳輸差錯在立體視頻序列中的擴散，從而有效提高立體視頻流的傳輸質(zhì)量。
文檔編號H04N7/64GK101355707SQ200810044649
公開日2009年1月28日 申請日期2008年6月10日 優(yōu)先權(quán)日2008年6月10日
發(fā)明者浩 姜, 蕾 張, 強 彭 申請人:西南交通大學