專利名稱：一種基于中心凹恰可覺察失真模型的深度視頻編碼方法
技術領域：
本發(fā)明涉及一種視頻信號的處理方法，尤其是涉及一種基于中心凹恰可覺察失真模型的深度視頻編碼方法。
背景技術：
目前，3DTV與FTV廣泛使用多視點彩色加深度視頻(Multi-view Video plusDepth, MVD)進行場景描述。MVD包括多個視點的彩色和對應的深度信息，通過編碼、傳輸、解碼后在顯示端進行虛擬視點繪制。在MVD中，盡管多視點彩色視頻的編碼已經得到廣泛的研究，其中較為適用的編碼平臺有JMVM(Joint Multiview Video Model)和JMVC(JointMultiview Video Coding),但是有關深度視頻編碼的研究較少。深度視頻代表相機距離3D空間中對象的相對距離，在計算機視覺和計算機圖像領域廣泛用于描述3D信息。另外，值得注意的是，深度視頻并不是直接用于顯示，目前大多數(shù)基于圖像的繪制方法都是利用深 度圖并結合立體或者多視點彩色視頻進行虛擬視點繪制。與彩色視頻僅僅關心本身的壓縮效率不同，深度視頻編碼的主要目標是在壓縮深度視頻的同時保證虛擬視點繪制質量，因此針對深度視頻的壓縮必須考慮在不同碼率下繪制視點的質量。與單通道視頻信號僅僅傳輸一個通道的彩色視頻不同，MVD不僅需要傳輸多個通道的彩色視頻，還需要傳輸對應的深度視頻，因此必須對MVD視頻信息進行有效的壓縮。通常，MVD使用變換、量化、運動估計、運動補償、熵編碼、幀內和幀間預測等去除空間、時間以及視點間的冗余，在此過程中量化是引入視頻誤差的主要因素之一。在彩色視頻編碼中，量化誤差導致每個像素亮度或者色度成分的失真，將直接影響視頻質量；而深度視頻的量化誤差間接地影響繪制的視頻質量，即量化誤差在繪制階段的像素內插時導致幾何失真，而幾何失真轉化為繪制視點的亮度或者色度誤差。同時，MVD在用戶端進行顯示，無論是真實視點還是虛擬視點的場景，最直接的感受者通常是人眼，因此為了在不影響虛擬視點繪制質量的前提下提高深度視頻的壓縮效率，需要進一步理解并運用人眼視覺系統(tǒng)(HumanVisual System, HVS)的感知特性,根據深度視頻失真對虛擬視點繪制的影響，設計高效的深度視頻壓縮方案。在深度視頻壓縮方面，Lai等人利用相機內參和全局視頻特性，分析深度視頻壓縮失真對虛擬視點繪制質量的影響，確定深度視頻失真和繪制視點幾何失真之間的關系。對于HVS感知方面，Safrenek分析HVS在空域中對亮度的感知特性，根據人眼對亮度對比度比絕對亮度的敏感度更大建立空域背景亮度恰可覺察失真模型(Just NoticeableDistortion, JND),對二維圖像的編碼具有重要的指導作用。Eckert分析得到在圖像的空間域中邊界區(qū)域更能引起人眼的注意，因此邊界區(qū)域所能容忍的失真比平滑或者紋理區(qū)域更少，基于此建立空間域紋理JND模型，在一定程度上節(jié)約編碼二維圖像的比特。Chou考慮視頻中相鄰幀之間較大的亮度差異導致較大的時域掩蔽效應，建立時域JND模型，在視頻編碼中具有指導下性意乂。最近，Chen等人在已有的空域和時域JND的基礎上，利用HVS視覺敏感度在整個場景并不是恒定不變的特性，即HVS中心凹特性，建立中心凹恰可覺察失真(Foveated Just Noticeable Distortion,FJND)模型。FJND 模型更充分地利用了視頻中的感知冗余，提高了視頻壓縮的效率，但是以上所建立的JND模型和FJND模型針對的是平面圖像或者單通道視頻，且分辨率大部分限制在CIF格式，沒有考慮深度視頻失真對繪制視頻質量的影響和分辨率等因素，并不能很好地應用到MVD壓縮中。

發(fā)明內容
本發(fā)明所要解決的技術問題是提供一種基于中心凹恰可覺察失真模型的深度視頻編碼方法，其在維持虛擬視點視覺感知質量的前提下，能夠有效節(jié)約深度視頻的編碼碼率。
本發(fā)明解決上述技術問題所采用的技術方案為一種基于中心凹恰可覺察失真模型的深度視頻編碼方法，其特征在于包括以下步驟①將待編碼的深度視頻的左視點視頻記為Djm，n, k)，將與待編碼的深度視頻的左視點視頻Djm，n, k)對應的彩色視頻的左視點視頻記為Q(m，n, k)，將待編碼的深度視頻的右視點視頻記為Dk(m，n, k)，將與待編碼的深度視頻的右視點視頻Dk(m，n, k)對應的彩色視頻的右視點視頻記為Ck (m，n，k)，其中，m表示^ (m, n, k)中的深度視頻幀、Cl (m, n, k)中的彩色視頻幀、DK(m，n，k)中的深度視頻幀和CK(m，n，k)中的彩色視頻幀的水平分辨率，η表示^ (m, n, k)中的深度視頻幀、(^ (m, n, k)中的彩色視頻幀、Dk (m, n, k)中的深度視頻幀和Ce (m, n, k)中的彩色視頻幀的垂直分辨率，mX η表示^ (m, n, k)中的深度視頻幀、(^ (m, n, k)中的彩色視頻幀、DK (m, n, k)中的深度視頻幀和Ck (m, n, k)中的彩色視頻幀的分辨率，k表示Dl(m, n, k)中包含的深度視頻幀、(^(m，n，k)中包含的彩色視頻幀、DK(m，n，k)中包含的深度視頻幀和Ck (m，n, k)中包含的彩色視頻幀的幀數(shù)；②在多視點視頻編碼校驗模型JMVC上，利用HBP預測編碼結構，采用Djm，n, k)的初始編碼量化參數(shù)對Djm，n, k)進行編碼，采用Cjm，n, k)的初始編碼量化參數(shù)以^對Cl (m, n, k)進行編碼，采用Dk (m，n, k)的初始編碼量化參數(shù)以^對Dk (m，n, k)進行編碼，采用Ce (m, n, k)的初始編碼量化參數(shù)(^丨_:、對Ce (m, n, k)進行編碼；然后對DliOn, n, k)、Cl (m, n, k)、De(m, n, k)和Ck(m，n, k)經編碼后的視頻進行中間虛擬視點繪制，得到繪制后的中間虛擬視點視頻，記為V(m，n，k)，其中，V(m，n, k)中的中間虛擬視點視頻幀的分辨率為mXn，V(m, n, k)中包含的中間虛擬視點視頻幀的幀數(shù)為k ；③計算V(m, n, k)中的每幀中間虛擬視點視頻幀中的每個像素的全局恰可覺察失真，得到全局恰可覺察失真的中間虛擬視點視頻，記為G· (m, n，k)，其中，Gjnd (m, n, k)中的中間虛擬視點視頻幀的分辨率為mXn，Gjnd(m, n, k)中包含的中間虛擬視點視頻的幀數(shù)為k ；④根據G_(m，n，k)中的每幀中間虛擬視點視頻幀中的每個像素的全局恰可覺察失真，定量得到G_(m，n, k)的幾何偏移的中間虛擬視點視頻，記為AP(m，n, k)，其中，Δ P (m, n, k)中的中間虛擬視點視頻幀的分辨率為mXn，Λ P (m, n, k)中包含的中間虛擬視點視頻幀的幀數(shù)為k ；⑤根據AP(m，n，k)中的每幀中間虛擬視點視頻幀中的每個像素的幾何偏移，定性得到n, k)的最大可容忍失真視頻,記為Δ Dlj(m, n, k),其中，Δ Dl(m, n, k)中的最大可容忍失真視頻幀的分辨率為mXn，ADL(m, n, k)中包含的最大可容忍失真視頻幀的幀數(shù)為k ；⑥首先根據Λ^(πι，η，10將^(πι，η，10中的所有深度視頻幀的宏塊分成四類，并分別確定四類宏塊的可增加編碼量化參數(shù)的具體值，然后確定Dk(m，n, k)中的所有深度視頻幀中的所有宏塊和Ck (m, n, k)中的所有彩色視頻幀中的所有宏塊的可增加編碼量化參數(shù)的具體值，再在多視點視頻編碼校驗模型JMVC上，利用HBP預測編碼結構，對Ddm，n, k)和Cl (m, n, k)以及 Dk (m, n, k)和 Ck (m, n, k)進行編碼。所述的步驟③的具體過程為③-I、計算V(m，n, k)中的每幀中間虛擬視點視頻幀中的每個像素的空域恰可覺察失真，得到空域恰可覺察失真的中間虛擬視點視頻，記為S· (m, n，k)，其中，S· (m, n, k)中的中間虛擬視點視頻幀的分辨率為mXn，S_(m，n, k)中包含的中間虛擬視點視頻幀的幀數(shù)為k ；③-2、計算V(m，n, k)中的每幀中間虛擬視點視頻幀中的每個像素的時域恰可覺 察失真，得到時域恰可覺察失真的中間虛擬視點視頻，記為T· (m, n，k)，其中，T· (m, n, k)中的中間虛擬視點視頻幀的分辨率為mXn，T_(m，n, k)中包含的中間虛擬視點視頻幀的幀數(shù)為k ；③-3、將3·(πι，η，10中的每幀中間虛擬視點視頻幀中的每個像素的空域恰可覺察失真與T_(m，n，k)中的對應的中間虛擬視點視頻幀中的對應的像素的時域恰可覺察失真相乘，得到時空恰可覺察失真的中間虛擬視點視頻，記為ST· (m，η，k)，其中，STjnd(m，n, k)中的中間虛擬視點視頻幀的分辨率為mXn，ST· (m，n, k)中包含的中間虛擬視點視頻幀的幀數(shù)為k ；③-4、計算V(m，n, k)中的每幀中間虛擬視點視頻幀中的每個像素的中心凹恰可覺察失真的加權系數(shù)；③-5、將ST_(m，n, k)中的每幀中間虛擬視點視頻幀中的每個像素的時空恰可覺察失真與V(m，n, k)中的對應的中間虛擬視點視頻幀中的對應的像素的中心凹恰可覺察失真的加權系數(shù)相乘，得到全局恰可覺察失真的中間虛擬視點視頻G· (m，n, k)。所述的步驟④的具體過程為提取出6·(πι，η，10中的每幀中間虛擬視點視頻幀中的每個像素的全局恰可覺察失真，并直接將等于提取出的全局恰可覺察失真的數(shù)值賦值給Gjnd (m, n, k)的幾何偏移的中間虛擬視點視頻Λ P (m, n, k)中的對應的中間虛擬視點視頻幀中對應的像素，定量得到Gind (m, n, k)的幾何偏移的中間虛擬視點視頻序列Λ P (m, n, k)。所述的步驟⑤的具體過程為采用深度視頻失真和幾何失真之間的線性關系
Δ/) (X* ).,) j j^Ρ = αχδχ X :，x(-一-—)，定性得到Djm，n，k)的最大可容忍失真視頻
ZDD^near ^ far
A^(m，n，k)，其中，Λ P表示AP(m，n，k)中的每幀中間虛擬視點視頻幀中的每個像素的幾何偏移，a表示水平方向上以像素為單位的相機焦距，δχ表示水平方向上兩個相機之間的基線距離，X表示I\(m，n，k)中的每幀深度視頻幀中的像素的橫坐標，y表示I\(m，n，k)中的每幀深度視頻幀中的像素的縱坐標，Δ Ddepth(x, y)表示I\(m，n，k)中的每幀深度視頻幀中坐標位置為(x，y)的像素的最大可容忍失真，I彡X彡m，l<y<n，Z_表示I\(m，n，k)中的每幀深度視頻幀中距離相機最近距離的像素的像素值，Zfm表示Djm，n, k)中的每幀深度視頻幀中距離相機最遠距離的像素的像素值。
所述的步驟⑥的具體過程為⑥-I、根據A^(m，n，k)將I\(m，n，k)中的所有深度視頻幀的宏塊分成四
類，并確定第一類宏塊的編碼量化參數(shù)為+Δ0/〗，第二類宏塊的編碼量化參數(shù)為，第三類宏塊的編碼量化參數(shù)為0/^+Δ0Ρ3，第四類宏塊的編碼量化參數(shù)為+ΔβΡ4，其中，表示對β^ηι,η, Ο進行編碼的初始編碼量化參數(shù)，八0 1表示第一類宏塊的可增加編碼量化參數(shù)，AQP2表示第二類宏塊的可增加編碼量化參數(shù)，△(^3表示第三類宏塊的可增加編碼量化參數(shù)，AQP4表示第四類宏塊的可增加編碼量化參數(shù)，O ^ Δ QP^ AQP2 ^ Δ QP3 彡 AQP4 ^ 12 ；⑥-2、確定I\(m，n，k)中的所有深度視頻幀中的第一類宏塊的可增加編碼量化參數(shù)AQP1、第二類宏塊的可增加編碼量化參數(shù)AQP2、第三類宏塊的可增加編碼量化參數(shù) Λ QP3和第四類宏塊的可增加編碼量化參數(shù)AQP4的具體值；⑥-3、確定Dk (m, n, k)中的所有深度視頻幀中的所有宏塊和Ck (m, n, k)中的所有彩色視頻幀中的所有宏塊的可增加編碼量化參數(shù)AQP5的具體值；⑥-4、在多視點視頻編碼校驗模型JMVC上，利用HBP預測編碼結構，采用Dl (m, n, k)的初始編碼量化參數(shù)0^>￡與Λ QP1的具體值的和對Djm，n, k)中的所有深度視頻幀中的第一類宏塊進行編碼，采用I\(m，n，k)的初始編碼量化參數(shù)與具體值的和對I\(m，n，k)中的所有深度視頻幀中的第二類宏塊進行編碼，采用Djm，n，k)的初始編碼量化參數(shù)GA與八(^3的具體值的和對隊011，11，10中的所有深度視頻幀中的第三類宏塊進行編碼，采用I\(m，n，k)的初始編碼量化參數(shù)以^與八(^4的具體值的和對隊011，11，10中的所有深度視頻幀中的第四類宏塊進行編碼；采用Cjm，n，k)的初始編碼量化參數(shù)
對Q(m，n，k)進行編碼；采用DK(m，n，k)的初始編碼量化參數(shù)與AQP5的具體值的和對Dk (m, n, k)進行編碼；采用Ck (m, n, k)的初始編碼量化參數(shù)以^與△ QP5的具體值的和對Ce (m, n, k)進行編碼。所述的步驟⑥-I中宏塊分類的具體過程為al、將ADjm，n，k)中的每幀最大可容忍失真視頻幀分割成KXL個互不重疊的宏塊，將I\(m，n，k)中的每幀深度視頻幀分割成KXL個互不重疊的宏塊，其中，K=m/16,L=n/16 ；bl、計算A^(m，n，k)中的每幀最大可容忍失真視頻幀中的所有宏塊的最大
I K-I L-I
可容忍失真的全局平均值，記為A，3 =，再根據A計算ADjm，n，k)中
A X _L i=0 f=Q
的每幀最大可容忍失真視頻幀中的所有宏塊的最大可容忍失真的全局方差，記為V，
I[-1 L-I
V=I-JTLm, -W2，其中，O ( i ( K-1，0 ( j ( L-I, ADij 表示 ADL(m, n, k)中
yK Li f-Q j-Q
的每幀最大可容忍失真視頻幀中坐標位置為(i，j)的宏塊的最大可容忍失真的平均值，_，a表示ADjm，n，k)中的每幀最大可容忍失真視頻幀中的每個宏塊
α= b=Q
中的像素的橫坐標，表示ADjm，n，k)中的每幀最大可容忍失真視頻幀中的每個宏塊中的像素的縱坐標，ADuab表示ADjm，n，k)中的每幀最大可容忍失真視頻幀中坐標位置為(i，j)的宏塊中坐標位置為(a，b)的像素的最大可容忍失真；Cl、將Djm，n, k)中當前正在處理的深度視頻幀定義為當前深度視頻幀；dl、利用canny算子提取當前深度視頻幀中的邊緣宏塊；el、將當前深度視頻幀中當前正在處理的坐標位置為(i，j)的宏塊定義為當前宏塊；fl、計算ADlj(m, n, k)中與當前深度視頻巾貞對應的最大可容忍失真視頻巾貞中與當前宏塊對應的宏塊的最大可容忍失真的方差，記為
權利要求
1.一種基于中心凹恰可覺察失真模型的深度視頻編碼方法，其特征在于包括以下步驟 ①將待編碼的深度視頻的左視點視頻記為Djm，n,k)，將與待編碼的深度視頻的左視點視頻Ddm，n, k)對應的彩色視頻的左視點視頻記為Cjm，n, k)，將待編碼的深度視頻的右視點視頻記為Dk(m，n, k)，將與待編碼的深度視頻的右視點視頻Dk(m，n, k)對應的彩色視頻的右視點視頻記為Ck(m, n, k),其中，m表示Dlj (m, n, k)中的深度視頻巾貞、Cl(m, n, k)中的彩色視頻幀、De(m, n, k)中的深度視頻幀和Ck(m，n, k)中的彩色視頻幀的水平分辨率，η表示^ (m, n, k)中的深度視頻幀、Cl (m, n, k)中的彩色視頻幀、De (m, n, k)中的深度視頻幀和Ce(m, n, k)中的彩色視頻幀的垂直分辨率，mXη表示^ (m, n, k)中的深度視頻幀、(^(m, n, k)中的彩色視頻幀、DK (m, n, k)中的深度視頻幀和Ck (m, n, k)中的彩色視頻幀的分辨率，k表示Dl(m, n, k)中包含的深度視頻幀、(^(m，n，k)中包含的彩色視頻幀、DK(m，n，k)中包含的深度視頻幀和Ck (m，n, k)中包含的彩色視頻幀的幀數(shù)； ②在多視點視頻編碼校驗模型JMVC上，利用HBP預測編碼結構，采用Djm，n,k)的初始編碼量化參數(shù)以^對隊化，!!，!^)進行編碼，采用Q(m，n，k)的初始編碼量化參數(shù)對Cl (m, n, k)進行編碼，采用Dk (m，n, k)的初始編碼量化參數(shù)(；匕,對Dk (m，n, k)進行編碼，采用Ce (m, n, k)的初始編碼量化參數(shù)0^；對Ce (m, n, k)進行編碼；然后對DliOn, n, k)、Cl (m, n, k)、De(m, n, k)和Ck(m，n, k)經編碼后的視頻進行中間虛擬視點繪制，得到繪制后的中間虛擬視點視頻，記為V(m，n，k)，其中，V(m，n, k)中的中間虛擬視點視頻幀的分辨率為mXn，V(m, n, k)中包含的中間虛擬視點視頻幀的幀數(shù)為k ； ③計算V(m，n,k)中的每幀中間虛擬視點視頻幀中的每個像素的全局恰可覺察失真，得到全局恰可覺察失真的中間虛擬視點視頻，記為G·(m，n, k)，其中，G·(m，n, k)中的中間虛擬視點視頻幀的分辨率為mXn，Gjnd(m，n, k)中包含的中間虛擬視點視頻的幀數(shù)為k ； ④根據Gind(m, n, k)中的每幀中間虛擬視點視頻幀中的每個像素的全局恰可覺察失真，定量得到Gjnd(m，n, k)的幾何偏移的中間虛擬視點視頻，記為AP(m，n, k)，其中，Δ P (m, n, k)中的中間虛擬視點視頻幀的分辨率為mXn，Λ P (m, n, k)中包含的中間虛擬視點視頻幀的幀數(shù)為k ； ⑤根據AP(m，n，k)中的每幀中間虛擬視點視頻幀中的每個像素的幾何偏移，定性得|lj Dl (m, n, k)的最大可容忍失真視頻,記為Δ DliOn, n, k),其中，Δ Dl (m, n, k)中的最大可容忍失真視頻幀的分辨率為mXn，ADL(m, n, k)中包含的最大可容忍失真視頻幀的幀數(shù)為k ； ⑥首先根據△Ddm’n’k)將I\(m，n，k)中的所有深度視頻幀的宏塊分成四類，并分別確定四類宏塊的可增加編碼量化參數(shù)的具體值，然后確定Dk (m，n, k)中的所有深度視頻幀中的所有宏塊和^^!!!，!!，!^)中的所有彩色視頻幀中的所有宏塊的可增加編碼量化參數(shù)的具體值，再在多視點視頻編碼校驗模型JMVC上，利用HBP預測編碼結構，對Ddm，n, k)和Cl (m, n, k)以及 Dk (m, n, k)和 Ck (m, n, k)進行編碼。
2.根據權利要求I所述的一種基于中心凹恰可覺察失真模型的深度視頻編碼方法，其特征在于所述的步驟③的具體過程為 ③-I、計算V(m，n, k)中的每幀中間虛擬視點視頻幀中的每個像素的空域恰可覺察失真，得到空域恰可覺察失真的中間虛擬視點視頻，記為S· (m, n，k)，其中，S· (m, n, k)中的中間虛擬視點視頻幀的分辨率為mXn，S_(m，n, k)中包含的中間虛擬視點視頻幀的幀數(shù)為k ； ③-2、計算V(m，n, k)中的每幀中間虛擬視點視頻幀中的每個像素的時域恰可覺察失真，得到時域恰可覺察失真的中間虛擬視點視頻，記為Τ·(πι，n, k)，其中，Τ·(πι，n, k)中的中間虛擬視點視頻幀的分辨率為mXn，T_(m，n, k)中包含的中間虛擬視點視頻幀的幀數(shù)為k ； ③-3、將S· (m，n, k)中的每幀中間虛擬視點視頻幀中的每個像素的空域恰可覺察失真與Τ·(πι，n, k)中的對應的中間虛擬視點視頻幀中的對應的像素的時域恰可覺察失真相乘，得到時空恰可覺察失真的中間虛擬視點視頻，記為ST· (m, n，k)，其中，ST· (m, n, k)中的中間虛擬視點視頻幀的分辨率為mXn，ST·(m，n, k)中包含的中間虛擬視點視頻幀的幀數(shù)為k ； ③_4、計算V(m，n, k)中的每幀中間虛擬視點視頻幀中的每個像素的中心凹恰可覺察失真的加權系數(shù)； ③-5、將ST·(m，n, k)中的每幀中間虛擬視點視頻幀中的每個像素的時空恰可覺察失·真與V(m，n, k)中的對應的中間虛擬視點視頻幀中的對應的像素的中心凹恰可覺察失真的·加權系數(shù)相乘，得到全局恰可覺察失真的中間虛擬視點視頻G· (m，n, k)。
3.根據權利要求I或2所述的一種基于中心凹恰可覺察失真模型的深度視頻編碼方法，其特征在于所述的步驟④的具體過程為提取出G_(m，n，k)中的每幀中間虛擬視點視頻幀中的每個像素的全局恰可覺察失真，并直接將等于提取出的全局恰可覺察失真的數(shù)值賦值給6·(πι，η，10的幾何偏移的中間虛擬視點視頻AP(m，n，k)中的對應的中間虛擬視點視頻幀中對應的像素，定量得到G_ (m, n, k)的幾何偏移的中間虛擬視點視頻序列Δ P (m, n, k)。
4.根據權利要求3所述的一種基于中心凹恰可覺察失真模型的深度視頻編碼方法，其特征在于所述的步驟⑤的具體過程為采用深度視頻失真和幾何失真之間的線性關 定性得到隊&^^)的最大可容忍失真視頻 A^(m，n，k)，其中，Λ P表示AP(m，n，k)中的每幀中間虛擬視點視頻幀中的每個像素的幾何偏移，a表示水平方向上以像素為單位的相機焦距，δχ表示水平方向上兩個相機之間的基線距離，X表示I\(m，n，k)中的每幀深度視頻幀中的像素的橫坐標，y表示I\(m，n，k)中的每幀深度視頻幀中的像素的縱坐標，Δ Ddepth(x, y)表示I\(m，n，k)中的每幀深度視頻幀中坐標位置為(x，y)的像素的最大可容忍失真，I彡X彡m，l<y<n，Z_表示I\(m，n，k)中的每幀深度視頻幀中距離相機最近距離的像素的像素值，Zfm表示Djm，n, k)中的每幀深度視頻幀中距離相機最遠距離的像素的像素值。
5.根據權利要求4所述的一種基于中心凹恰可覺察失真模型的深度視頻編碼方法，其特征在于所述的步驟⑥的具體過程為 ⑥-I、根據ADJm, n, k)將I\(m，n，k)中的所有深度視頻幀的宏塊分成四類，并確定第一類宏塊的編碼量化參數(shù)為+Δ_，第二類宏塊的編碼量化參數(shù)為以^ +Δ0/>2，第三類宏塊的編碼量化參數(shù)為以，第四類宏塊的編碼量化參數(shù)為以^+ΔβΑ，其中，以^表示對I\(m，n，k)進行編碼的初始編碼量化參數(shù)，八(^1表示第一類宏塊的可增加編碼量化參數(shù)，AQP2表示第二類宏塊的可增加編碼量化參數(shù)，AQP3表示第三類宏塊的可增加編碼量化參數(shù)，AQP4表示第四類宏塊的可增加編碼量化參數(shù)，O≤Δ QP≤ AQP2≤ Δ QP3 ≤ AQP4≤ 12 ； ⑥_2、確定Djm，n, k)中的所有深度視頻幀中的第一類宏塊的可增加編碼量化參數(shù)AQP1、第二類宏塊的可增加編碼量化參數(shù)AQP2、第三類宏塊的可增加編碼量化參數(shù)AQP3和第四類宏塊的可增加編碼量化參數(shù)AQP4的具體值； ⑥_3、確定Dk(m，n, k)中的所有深度視頻幀中的所有宏塊和Ck(m，n, k)中的所有彩色視頻幀中的所有宏塊的可增加編碼量化參數(shù)AQP5的具體值； ⑥_4、在多視點視頻編碼校驗模型JMVC上，利用HBP預測編碼結構，采用Ddm，n, k)的初始編碼量化參數(shù)與Λ QP1的具體值的和對Ddm，n, k)中的所有深度視頻幀中的第一類宏塊進行編碼，采用I\(m，n，k)的初始編碼量化參數(shù)與AQP2的具體值的和對Dl(m, n, k)中的所有深度視頻幀中的第二類宏塊進行編碼，采用I\(m，n，k)的初始編碼量化參數(shù)(^,一與AQP3的具體值的和對I\(m，n，k)中的所有深度視頻幀中的第三類宏塊進行編碼，采用Ddm，n, k)的初始編碼量化參數(shù)與Λ QP4的具體值的和對Djm，n, k)中的所有深度視頻幀中的第四類宏塊進行編碼；采用Cjm，n，k)的初始編碼量化參數(shù)0^^對Cl(m, n, k)進行編碼；采用DK(m，n，k)的初始編碼量化參數(shù)(；/));.與AQP5的具體值的和對De(m, n, k)進行編碼；采用CK(m，n，k)的初始編碼量化參數(shù)與AQP5的具體值的和對Ce (m, n, k)進行編碼。
6.根據權利要求5所述的一種基于中心凹恰可覺察失真模型的深度視頻編碼方法，其特征在于所述的步驟⑥-I中宏塊分類的具體過程為al、將A^(m，n，k)中的每幀最大可容忍失真視頻幀分割成KX L個互不重疊的宏塊，將Djm，n, k)中的每幀深度視頻幀分割成KXL個互不重疊的宏塊，其中，K=m/16，L=n/16 ；bl、計算A^(m，n，k)中的每幀最大可容忍失真視頻幀中的所有宏塊的最大可容忍失真的全局平均值，記為Α
7.根據權利要求5所述的一種基于中心凹恰可覺察失真模型的深度視頻編碼方法，其特征在于所述的步驟⑥-2的具體過程為 a2、將I\(m，n，k)中的所有深度視頻幀中的第一類宏塊的可增加編碼量化參數(shù)AQPjA具體值確定為O ; b2-l、將2作為Ddm，n, k)中的所有深度視頻幀中的第二類宏塊的可增加編碼量化參數(shù)Λ QP2的候選參考值； b2-2、在多視點視頻編碼校驗模型JMVC上，利用HBP預測編碼結構，采用^(m，n，k)的初始編碼量化參數(shù)0^￡與AQP2的候選參考值的和對I\(m，n, k)中的所有深度視頻幀中的第二類宏塊進行編碼，采用Djm，n, k)的初始編碼量化參數(shù)對Djm，n, k)中的所有深度視頻幀中的第一類宏塊、第三類宏塊和第四類宏塊進行編碼；b2-3、在多視點視頻編碼校驗模型JMVC上，利用HBP預測編碼結構，采用Q(m，n，k)的初始編碼量化參數(shù)^對Cjm，n，k)進行編碼，采用DK(m，n，k)的初始編碼量化參數(shù)P匕對De(m, n, k)進行編碼，采用Ck (m，n, k)的初始編碼量化參數(shù)以^對Ck (m，n, k)進行編碼；b2-4、對 DliOn, n, k) > Cl(m, n, k) > De(m, n, k)和 Ck(m, n, k)經編碼后的視頻進行中間虛擬視點繪制，并求取虛擬視點繪制質量；b2-5、將4和8分別作為Ddm，n, k)中的所有深度視頻幀中的第二類宏塊的可增加編碼量化參數(shù)△ QP2的候選參考值，并按照步驟b2-2至步驟b2-4的操作過程，獲得對應的虛擬視點繪制質量； b2-6、比較上述獲得的三個虛擬視點繪制質量的值的大小，找出最大值的虛擬視點繪制質量，并將最大值的虛擬視點繪制質量對應的AQP2的候選參考值確定為Djm，n, k)中的所有深度視頻幀中的第二類宏塊的可增加編碼量化參數(shù)AQP2的具體值； c2-l、將5作為Djm，n, k)中的所有深度視頻幀中的第三類宏塊的可增加編碼量化參數(shù)Λ QP3的候選參考值； c2-2、在多視點視頻編碼校驗模型JMVC上，利用HBP預測編碼結構，采用Djm，n, k)的初始編碼量化參數(shù)GpDi與△ QP3的候選參考值的和對^ (m, n, k)中的所有深度視頻幀中的 第三類宏塊進行編碼，采用I\(m，n，k)的初始編碼量化參々(V ^DL(m, n, k)中的所有深度視頻幀中的第一類宏塊、第二類宏塊和第四類宏塊進行編碼； c2-3、在多視點視頻編碼校驗模型JMVC上，利用HBP預測編碼結構，采用Q(m，n, k)的初始編碼量化參數(shù)對Cjm，n, k)進行編碼，采用Dk (m, n, k)的初始編碼量化參數(shù)對De (m, n, k)進行編碼，采用Ck (m，n, k)的初始編碼量化參數(shù)對Ck (m，n, k)進行編碼；c2-4、對n, k) >Cl (m, n, k)、DK(m, n, k)和Ck (m, η, k)經編碼后的視頻進行中間虛擬視點繪制，并求取虛擬視點繪制質量； c2-5、將8和12分別作為Djm，n, k)中的所有深度視頻幀中的第三類宏塊的可增加編碼量化參數(shù)△ QP3的候選參考值，并按照步驟c2-2至步驟c2-4的操作過程，獲得對應的虛擬視點繪制質量； c2-6、比較上述獲得的三個虛擬視點繪制質量的值的大小，找出最大值的虛擬視點繪制質量，并將最大值的虛擬視點繪制質量對應的△ QP3的候選參考值確定為^ (m, n, k)中的所有深度視頻幀中的第三類宏塊的可增加編碼量化參數(shù)AQP3的具體值； d2-l、將8作為Djm，n, k)中的所有深度視頻幀中的第四類宏塊的可增加編碼量化參數(shù)Λ QP4的候選參考值； d2-2、在多視點視頻編碼校驗模型JMVC上，利用HBP預測編碼結構，采用Ddm，n, k)的初始編碼量化參數(shù)與△ QP4的候選參考值的和對^ (m, n, k)中的所有深度視頻幀中的第四類宏塊進行編碼，采用I\(m，n，k)的初始編碼量化參數(shù)^^^對隊^，!!，!^)中的所有深度視頻幀中的第一類宏塊、第二類宏塊和第三類宏塊進行編碼； d2-3、在多視點視頻編碼校驗模型JMVC上，利用HBP預測編碼結構，采用Q(m，n, k)的初始編碼量化參數(shù)對Cjm，n, k)進行編碼，采用Dk (m，n, k)的初始編碼量化參數(shù)( /\對De (m, n, k)進行編碼，采用Ck (m，n, k)的初始編碼量化參數(shù)^^^對Ce (m, n, k)進行編碼；d2-4、對n, k) >Cl (m, n, k)、DK(m, n, k)和Ck (m, η, k)經編碼后的視頻進行中間虛擬視點繪制，并求取虛擬視點繪制質量； d2-5、將9、10、11和12分別作為Djm，n, k)中的所有深度視頻幀中的第四類宏塊的可增加編碼量化參數(shù)△ QP4的候選參考值，并按照步驟d2-2至步驟d2-4的操作過程，獲得對應的虛擬視點繪制質量； d2-6、比較上述獲得的五個虛擬視點繪制質量的值的大小，當其中一個虛擬視點繪制質量的值急劇下降時，將該虛擬視點繪制質量對應的△ QP4的候選參考值確定為Ddm，n, k)中的所有深度視頻幀中的第四類宏塊的可增加編碼量化參數(shù)AQP4的具體值。
8.根據權利要求5所述的一種基于中心凹恰可覺察失真模型的深度視頻編碼方法，其特征在于所述的步驟⑥-3的具體過程為 a3、將4+s的值作為Dk (m, n, k)中的所有深度視頻幀中的所有宏塊和Ck (m, n, k)中的所有彩色視頻幀中的所有宏塊的可增加編碼量化參數(shù)AQP5的候選參考值，其中，s的初始值為O ; b3、在多視點視頻編碼校驗模型JMVC上，利用HBP預測編碼結構，采用Ddm，n, k)的初始編碼量化參數(shù)以^對Djm，n, k)進行編碼，采用Cjm，n, k)的初始編碼量化參數(shù)0盡￡對Cl(m, n, k)進行編碼，采用DK(m，n，k)的初始編碼量化參數(shù)(^^與AQP5的候選參考值的和對Dk (m, n, k)進行編碼，采用Ck (m, n, k)的初始編碼量化參數(shù)GPcji與Λ QP5的候選參考值的和對CK(m，n，k)進行編碼； c3、對n, k) >Cl(m, n, k)、DK(m, n, k)和Ck(m, η, k)經編碼后的視頻進行中間虛擬視點繪制，并求取虛擬視點繪制質量； d3、令s' =s+l, S=Si，然后返回步驟a3繼續(xù)執(zhí)行，直至s的值大于12為止，獲得對應的虛擬視點繪制質量，其中，s'的初始值為O ; e3、比較上述獲得的十三個虛擬視點繪制質量的值的大小，當其中一個虛擬視點繪制質量的值急劇下降時，將該虛擬視點繪制質量對應的△ QP5的候選參考值確定為Dk(m，n, k)中的所有深度視頻幀中的所有宏塊和Ck (m, n, k)中的所有彩色視頻幀中的所有宏塊的可增加編碼量化參數(shù)AQP5的具體值。
全文摘要
本發(fā)明公開了一種基于中心凹恰可覺察失真模型的深度視頻編碼方法，其首先計算對左右視點彩色視頻和左右視點深度視頻進行中間虛擬視點繪制得到的中間虛擬視點視頻中的每幀中的每個像素的全局恰可覺察失真，然后根據全局恰可覺察失真獲取幾何偏移的中間虛擬視點視頻，接著根據幾何偏移獲取左視點深度視頻的最大可容忍失真視頻，再根據最大可容忍失真視頻獲取左視點深度視頻的每幀中的每個宏塊的可增加編碼量化參數(shù)，該方法在能夠維持虛擬視點視覺感知質量的前提下，有效節(jié)約了深度視頻的編碼碼率，同時大大提高了深度視頻序列的壓縮編碼效率，節(jié)省的碼流可達到11.00~23.34%。
文檔編號H04N15/00GK102724525SQ20121018089
公開日2012年10月10日 申請日期2012年6月1日 優(yōu)先權日2012年6月1日
發(fā)明者彭宗舉, 朱亞培, 朱高鋒, 王曉東, 蔣剛毅, 邵楓, 郁梅 申請人:寧波大學