專利名稱：一種應(yīng)用于3dtv與ftv系統(tǒng)的深度圖編碼壓縮方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種立體與多視點視頻信號的處理技術(shù)，尤其是涉及一種應(yīng)用于3DTV與FTV系統(tǒng)的深度圖編碼壓縮方法。

背景技術(shù)：
3DTV(three Dimensional Television，三維電視)和FTV(Free-viewpoint Television，自由視點電視)是具有先進的視覺媒體模式的三維視頻系統(tǒng)，含有傳統(tǒng)的二維視頻系統(tǒng)所沒有的視覺功能。3DTV能夠較好地反應(yīng)出場景的深度信息，而FTV可以很好地滿足用戶從任意角度選擇和操作視聽對象。聯(lián)合視頻專家組(JVT，Joint Video Team)組織提出了MVD(multi-view video plus depth)結(jié)構(gòu)，即采用N個視點視頻結(jié)合N個視點的深度信息來表達場景的三維信息以支持面向用戶端虛擬視點繪制的三維視頻系統(tǒng)。在MVD結(jié)構(gòu)中，每幅視點圖像都含有相對應(yīng)的深度圖，深度圖所代表的是場景到攝像機(相機)成像平面的距離信息，它將實際深度值量化到
之間，獲得代表深度信息的灰度圖。深度圖并不能直接用于顯示，而是作為虛擬視點繪制的參數(shù)使用。在虛擬視點繪制過程中，通過深度圖以及該深度圖對應(yīng)的視點圖像就可以繪制出相鄰近的虛擬視點圖像。但MVD結(jié)構(gòu)極大地增加了傳輸?shù)臄?shù)據(jù)量，從而給傳輸帶寬帶來了極大的壓力。
為解決上述技術(shù)問題，相關(guān)研究人員提出了很多應(yīng)用于3DTV與FTV系統(tǒng)的深度圖編碼壓縮方法，如深度圖序列的壓縮方法，這種壓縮方法主要將深度圖作為視頻序列，采用類似視頻編碼的方法對其進行壓縮，由于這種方法既利用了深度圖序列的空間相關(guān)性，又利用了深度圖序列的時間相關(guān)性，使得該方法獲得了較好的壓縮性能，給傳輸帶寬減輕了壓力，但由此也造成編碼復(fù)雜度的增加，大大降低了深度圖的編碼速度。


發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種應(yīng)用于3DTV與FTV系統(tǒng)的深度圖編碼壓縮方法，使得在保證壓縮重建后的深度圖的精度的同時，提高深度圖的編碼速度。
本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為一種應(yīng)用于3DTV與FTV系統(tǒng)的深度圖編碼壓縮方法，在3DTV與FTV系統(tǒng)中，虛擬視點繪制的輸入包括視點圖像和與所述的視點圖像對應(yīng)的深度圖，利用所述的深度圖的邊緣信息和所述的視點圖像的運動信息，將所述的深度圖劃分為靜止的非邊緣區(qū)域、運動對象內(nèi)部非邊緣區(qū)域以及邊緣區(qū)域，在所述的視點圖像編碼完成之后進行所述的深度圖編碼，在所述的深度圖編碼過程中，利用所述的視點圖像編碼后確定的宏塊編碼模式和運動矢量，結(jié)合所述的深度圖的三種區(qū)域，實現(xiàn)所述的深度圖的快速編碼，具體步驟為 a.將深度圖分割成多個具有相同尺寸的宏塊，將此類宏塊記為BlockD，并根據(jù)每個宏塊BlockD的紋理特征，判斷該宏塊BlockD是否位于邊緣區(qū)域，當(dāng)該宏塊位于邊緣區(qū)域時，將該宏塊BlockD標(biāo)記為A類區(qū)域； b.計算深度圖對應(yīng)的視點圖像與該視點圖像的參考圖像之間的二值化幀差圖像，該二值化幀差圖像由運動像素和靜止像素組成；將該二值化幀差圖像以與所述的深度圖宏塊分割相同的方式分割成多個宏塊，將此類宏塊記為BlockF，判斷二值化幀差圖像中的宏塊BlockF中是否存在運動像素，當(dāng)存在時，將與該宏塊BlockF對應(yīng)的深度圖中的宏塊BlockD標(biāo)記為B類區(qū)域； c.對深度圖進行編碼，在編碼過程中根據(jù)視點圖像編碼后確定的宏塊編碼模式和運動矢量以及A類區(qū)域和B類區(qū)域的信息快速確定深度圖的宏塊編碼模式。
所述的步驟a的具體過程為a-①對輸入的待編碼深度圖進行邊緣檢測，得到深度圖的二值化邊緣圖像，該二值化邊緣圖像由邊緣像素和非邊緣像素組成；a-②按公知的H.264編碼標(biāo)準(zhǔn)方式將深度圖分割成多個具有相同尺寸的宏塊，將此類宏塊記為BlockD，并將深度圖的二值化邊緣圖像以與所述的深度圖宏塊分割相同的方式分割成多個宏塊，將此類宏塊記為BlockE；a-③定義當(dāng)前正在處理的深度圖的二值化邊緣圖像中的宏塊BlockE為當(dāng)前宏塊BlockE，判斷深度圖的二值化邊緣圖像中的當(dāng)前宏塊BlockE中是否存在邊緣像素，當(dāng)存在時，確定深度圖中與該當(dāng)前宏塊BlockE對應(yīng)的宏塊BlockD位于邊緣區(qū)域，將該宏塊BlockD標(biāo)記為A類區(qū)域。
所述的步驟a的具體過程為a-①按公知的H.264編碼標(biāo)準(zhǔn)方式將深度圖分割成多個具有相同尺寸的宏塊，將此類宏塊記為BlockD；a-②定義當(dāng)前正在處理的深度圖中的宏塊BlockD為當(dāng)前宏塊BlockD，計算當(dāng)前宏塊BlockD中包含的所有像素的背離值E，判斷計算得到的背離值E是否大于設(shè)定的閾值，當(dāng)背離值E大于設(shè)定的閾值時，確定當(dāng)前宏塊BlockD位于邊緣區(qū)域，并將該當(dāng)前宏塊BlockD標(biāo)記為A類區(qū)域。
所述的深度圖中的宏塊BlockD、所述的深度圖的二值化邊緣圖像中的宏塊BlockE及所述的深度圖對應(yīng)的視點圖像與該視點圖像的參考圖像之間的二值化幀差圖像中的宏塊BlockF的尺寸均為m×n，所述的m×n為16×16、16×8、8×16、8×8、8×4、4×8、4×4中的任一種，令所述的深度圖、所述的深度圖的二值化邊緣圖像及所述的深度圖對應(yīng)的視點圖像與該視點圖像的參考圖像之間的二值化幀差圖像的尺寸為M×N，則所述的深度圖、所述的深度圖的二值化邊緣圖像及所述的深度圖對應(yīng)的視點圖像與該視點圖像的參考圖像之間的二值化幀差圖像各自包含的宏塊的個數(shù)為(M/m)×(N/n)。
所述的背離值E通過計算公式中的任一個計算公式計算得到，其中，dx，y為深度圖中的當(dāng)前宏塊BlockD中坐標(biāo)為(x，y)的像素的像素值，d為深度圖中的當(dāng)前宏塊BlockD中包含的所有像素的像素值的均值，其值為m×n為深度圖中的當(dāng)前宏塊BlockD的尺寸，m×n為16×16、16×8、8×16、8×8、8×4、4×8、4×4中的任一種。
所述的設(shè)定的閾值為E±σ，其中，E和σ分別為深度圖中包含的所有宏塊BlockD的背離值E構(gòu)成的集合{E}的均值和標(biāo)準(zhǔn)差。
所述的步驟c的具體過程為在編碼過程中將深度圖記為D，深度圖D中標(biāo)記為A類區(qū)域的所有宏塊BlockD構(gòu)成的集合記為DA，深度圖D中標(biāo)記為B類區(qū)域的所有宏塊BlockD構(gòu)成的集合記為DB；定義當(dāng)前正在處理的深度圖中的宏塊BlockD為當(dāng)前宏塊BlockD；若BlockD∈(D-(DA∪DB))，并且與深度圖D對應(yīng)的視點圖像中與當(dāng)前宏塊BlockD對應(yīng)的宏塊的宏塊編碼模式為Skip模式且該宏塊的運動矢量為0，則當(dāng)前宏塊BlockD的宏塊編碼模式采用Skip模式；若BlockD∈(DB-(DA∩DB))，采用H.264的率失真優(yōu)化技術(shù)RDO遍歷Skip、intra4×4和intra16×16三種宏塊編碼模式，從這三種宏塊編碼模式中確定最佳宏塊編碼模式作為當(dāng)前宏塊BlockD的宏塊編碼模式；若上述兩類條件均不滿足，則采用H.264的率失真優(yōu)化技術(shù)RDO遍歷H.264的所有宏塊編碼模式，從所有宏塊編碼模式中確定最佳宏塊編碼模式作為當(dāng)前宏塊BlockD的宏塊編碼模式。
與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點在于利用深度圖的邊緣信息和視點圖像的運動信息，將深度圖劃分為靜止的非邊緣區(qū)域、運動對象內(nèi)部非邊緣區(qū)域以及邊緣區(qū)域，通過在視點圖像編碼完成之后進行深度圖編碼，并在深度圖編碼過程中利用視點圖像編碼后確定的宏塊編碼模式和運動矢量，結(jié)合上述的深度圖的三種區(qū)域分類，使得在深度圖編碼過程中能夠在保證編碼質(zhì)量的前提下減少靜止的非邊緣區(qū)域以及運動對象內(nèi)部非邊緣區(qū)域的宏塊編碼模式搜索范圍，從而達到降低深度圖編碼復(fù)雜度，提高深度圖編碼速度的目的。



圖1為測試序列“breakdancers”的彩色視點圖像； 圖2為圖1所示的彩色視點圖像對應(yīng)的深度圖； 圖3為測試序列“breakdancers”的另一幅彩色視點圖像，圖1所示的彩色視點圖像為圖3所示的彩色視點圖像的參考圖像； 圖4為通過圖1所示的彩色圖像和圖3所示的彩色圖像計算得到的二值化幀差圖像； 圖5a為利用未經(jīng)壓縮的深度圖進行虛擬視點繪制得到的虛擬視點圖像； 圖5b為利用經(jīng)現(xiàn)有的直接采用H.264編碼標(biāo)準(zhǔn)方式對深度圖編碼壓縮后獲得的重建深度圖進行虛擬視點繪制得到的虛擬視點圖像； 圖5c為利用經(jīng)本發(fā)明方法對深度圖編碼壓縮后獲得的重建深度圖進行虛擬視點繪制得到的虛擬視點圖像。
圖6為現(xiàn)有的直接采用H.264編碼標(biāo)準(zhǔn)方式和采用本發(fā)明方法分別對深度圖進行編碼壓縮后，在運動估計時間、編碼總時間和碼率上的比較圖。

具體實施例方式 以下結(jié)合附圖實施例對本發(fā)明作進一步詳細描述。
一種應(yīng)用于3DTV與FTV系統(tǒng)的深度圖編碼壓縮方法，在3DTV與FTV系統(tǒng)中，虛擬視點繪制的輸入包括視點圖像和與視點圖像對應(yīng)的深度圖，視點圖像用I表示，深度圖用D表示。利用深度圖D的邊緣信息和視點圖像I的運動信息，將深度圖D劃分為靜止的非邊緣區(qū)域、運動對象內(nèi)部非邊緣區(qū)域以及邊緣區(qū)域；通過在視點圖像I編碼完成之后進行深度圖D的編碼，并在深度圖D編碼過程中利用視點圖像I編碼后確定的宏塊編碼模式和運動矢量，結(jié)合上述的深度圖D的三種區(qū)域分類，實現(xiàn)深度圖D的快速編碼。
這里，視點圖像I可以為彩色視點圖像，也可以為灰度視點圖像；在視點圖像I的編碼過程中，可以采用H.264的率失真優(yōu)化技術(shù)RDO(Rate-Distortion Optimization)遍歷H.264的所有宏塊編碼模式，或采用已有的基于H.264的快速視頻編碼方法遍歷H.264的部分最有可能的宏塊編碼模式，為視點圖像I中的每個宏塊確定其自身的最佳宏塊編碼模式。
本發(fā)明的應(yīng)用于3DTV與FTV系統(tǒng)的深度圖編碼壓縮方法包括以下步驟 1)、對輸入的待編碼深度圖D進行邊緣檢測與分析，得到深度圖D的二值化邊緣圖像E，該二值化邊緣圖像E由邊緣像素和非邊緣像素組成，令邊緣像素的像素值為1，非邊緣像素的像素值為0；按公知的H.264編碼標(biāo)準(zhǔn)方式將深度圖D分割成多個具有相同尺寸的宏塊，將此類宏塊記為BlockD，并將深度圖D的二值化邊緣圖像E以與深度圖宏塊分割相同的方式分割成多個宏塊，將此類宏塊記為BlockE，深度圖中的宏塊BlockD、深度圖的二值化邊緣圖像中的宏塊BlockE的尺寸均為m×n，m×n可以為16×16、16×8、8×16、8×8、8×4、4×8、4×4中的任一種，令深度圖D、深度圖D的二值化邊緣圖像E的尺寸為M×N，則深度圖D、深度圖D的二值化邊緣圖像E各自包含的宏塊的個數(shù)均為(M/m)×(N/n)；定義當(dāng)前正在處理的二值化邊緣圖像E中的宏塊BlockE為當(dāng)前宏塊BlockE，判斷深度圖D的二值化邊緣圖像E中的當(dāng)前宏塊BlockE中是否存在邊緣像素(即像素值為1的像素)，當(dāng)存在時，確定深度圖D中與該當(dāng)前宏塊BlockE對應(yīng)的宏塊BlockD位于邊緣區(qū)域，將該宏塊BlockD標(biāo)記為A類區(qū)域。
該步驟中的邊緣檢測可以采用任意公知的成熟的邊緣檢測算法，例如Sobel算子、Prewitt算子、Roberts算子、Canny算子等。
2)、計算深度圖D對應(yīng)的視點圖像I與該視點圖像I的參考圖像Ir之間的二值化幀差圖像F，該二值化幀差圖像F為|I-Ir|二值化后的結(jié)果，該二值化幀差圖像F由運動像素和靜止像素組成，運動像素為幀差變化較大的像素，其值為1；靜止像素為幀差變化較小的像素，其值為0。視點圖像I的參考圖像Ir即指在視點圖像I的基于H.264編碼過程中參考圖像Ir為視點圖像I的參考幀。將該二值化幀差圖像F以與深度圖D宏塊分割相同的方式分割成多個宏塊，將此類宏塊記為BlockF，判斷二值化幀差圖像F中的宏塊BlockF中是否存在運動像素，當(dāng)存在時，將與該宏塊BlockF對應(yīng)的深度圖D中的宏塊BlockD標(biāo)記為B類區(qū)域。
該步驟中二值化幀差圖像F中的宏塊BlockF的尺寸與深度圖D中的宏塊尺寸相同，均為m×n，m×n可以為16×16、16×8、8×16、8×8、8×4、4×8、4×4中的任一種，令深度圖D、二值化幀差圖像F的尺寸為M×N，則深度圖D、二值化幀差圖像F各自包含的宏塊的個數(shù)均為(M/m)×(N/n)。
3)、基于H.264編碼器對深度圖進行編碼，在編碼過程中將深度圖D中標(biāo)記為A類區(qū)域的所有宏塊BlockD構(gòu)成的集合記為DA，深度圖D中標(biāo)記為B類區(qū)域的所有宏塊BlockD構(gòu)成的集合記為DB；定義當(dāng)前正在處理的深度圖中的宏塊BlockD為當(dāng)前宏塊BlockD；若BlockD∈(D-(DA∪DB))，即該當(dāng)前宏塊BlockD位于靜止的非邊緣區(qū)域，則進一步判斷與深度圖D對應(yīng)的視點圖像I中與當(dāng)前宏塊BlockD對應(yīng)的宏塊的宏塊編碼模塊是否為Skip模式且運動矢量是否為0，當(dāng)視點圖像I中對應(yīng)的宏塊的宏塊編碼模式為Skip模式、運動矢量為0時，則當(dāng)前宏塊BlockD的宏塊編碼模式也采用Skip模式；若BlockD∈(DB-(DA∩DB))，即該當(dāng)前宏塊BlockD位于運動對象內(nèi)部非邊緣區(qū)域，則采用H.264的率失真優(yōu)化技術(shù)RDO遍歷Skip、intra4×4和intra16×16三種宏塊編碼模式，從這三種宏塊編碼模式中確定最佳宏塊編碼模式作為當(dāng)前宏塊BlockD的宏塊編碼模式；當(dāng)上述兩個條件均不滿足時，即該當(dāng)前宏塊BlockD位于邊緣區(qū)域，則采用H.264的率失真優(yōu)化技術(shù)RDO遍歷H.264的所有宏塊編碼模式，從所有宏塊編碼模式中確定最佳宏塊編碼模式作為當(dāng)前宏塊BlockD的宏塊編碼模式，以保證深度圖D的邊緣區(qū)域的編碼精度。此處，符號“∈”為屬于符號，符號“∪”為并集符號，符號“∩”為交集符號，符號“-”為差集符號。
該步驟中對位于深度圖的不同區(qū)域內(nèi)的宏塊BlockD采用不同的宏塊編碼模式搜索策略，使得在深度圖編碼過程中能夠在保證編碼質(zhì)量的前提下減少靜止的非邊緣區(qū)域以及運動對象內(nèi)部非邊緣區(qū)域的宏塊編碼模式搜索范圍，從而達到提高深度圖的編碼速度的目的。
在本實施例中的步驟1)也可以采用其他方法對深度圖中的每個BlockD宏塊進行標(biāo)記，下面將給出另一種標(biāo)記宏塊的方法，其具體過程為按公知的H.264編碼標(biāo)準(zhǔn)方式將深度圖D分割成多個具有相同尺寸的宏塊BlockD；定義當(dāng)前正在處理的深度圖中的宏塊BlockD為當(dāng)前宏塊BlockD，計算當(dāng)前宏塊BlockD中包含的所有像素的背離值E，判斷計算得到的背離值E是否大于設(shè)定的閾值，當(dāng)背離值E大于設(shè)定的閾值時，表明該當(dāng)前宏塊BlockD內(nèi)深度值變化較大，可以確定該當(dāng)前宏塊BlockD位于邊緣區(qū)域，因此將該當(dāng)前宏塊BlockD標(biāo)記為A類區(qū)域。在該過程中每個宏塊BlockD包含有m×n個像素；宏塊BlockD中包含的所有像素的背離值E可以采用以下五種計算方式中的一種計算得到，或者或者或者或者其中，dx，y為深度圖中的當(dāng)前宏塊BlockD中坐標(biāo)為(x，y)的像素的像素值，d為深度圖中的當(dāng)前宏塊BlockD中包含的所有像素的像素值的均值，其值為m×n為深度圖中的當(dāng)前宏塊BlockD的尺寸。在該過程中，設(shè)定的閾值由深度圖D中包含的所有宏塊BlockD的背離值E構(gòu)成的集合{E}的均值E和標(biāo)準(zhǔn)差σ決定，設(shè)定的閾值可以表述為E±σ。
深度圖與傳統(tǒng)視頻不同，深度圖不能直接用于最終顯示，而是作為虛擬視點繪制的輸入?yún)?shù)使用。因此，一個深度圖編碼壓縮方法的性能的好差，應(yīng)該從最終繪制的虛擬視點的質(zhì)量來評價。圖1給出了本實施例測試序列“breakdancers”的彩色視點圖像；圖2為圖1所示的彩色視點圖像對應(yīng)的深度圖；圖3為測試序列“breakdancers”的另一幅彩色視點圖像，圖1所示的彩色視點圖像為圖3所示的彩色視點圖像的參考圖像；圖4為通過圖1所示的彩色圖像和圖3所示的彩色圖像計算得到的二值化幀差圖像。圖5a給出了利用未經(jīng)壓縮的深度圖進行虛擬視點繪制得到的虛擬視點圖像，圖5b和圖5c分別給出了利用經(jīng)現(xiàn)有的直接采用H.264編碼標(biāo)準(zhǔn)方式和本發(fā)明方法對深度圖編碼壓縮后獲得的重建深度圖進行虛擬視點繪制得到的虛擬視點圖像。從圖5b和圖5c中可以看出得到的兩幅虛擬視點圖像質(zhì)量基本相當(dāng)。但現(xiàn)有的直接采用H.264編碼標(biāo)準(zhǔn)方式和采用本發(fā)明方法分別對深度圖進行編碼壓縮后，在運動估計時間、編碼總時間以及平均每編碼一個P幀所耗費的碼率相差很多，如圖6所示，圖6中的結(jié)果是在初始量化參數(shù)QP為28時編碼深度圖得出的，從圖6中可以看出本發(fā)明方法節(jié)省了大量的運動估計時間、編碼總時間以及平均每編碼一個P幀所耗費的碼率，從而提高了深度圖的編碼速度。
權(quán)利要求
1.一種應(yīng)用于3DTV與FTV系統(tǒng)的深度圖編碼壓縮方法，其特征在于在3DTV與FTV系統(tǒng)中，虛擬視點繪制的輸入包括視點圖像和與所述的視點圖像對應(yīng)的深度圖，利用所述的深度圖的邊緣信息和所述的視點圖像的運動信息，將所述的深度圖劃分為靜止的非邊緣區(qū)域、運動對象內(nèi)部非邊緣區(qū)域以及邊緣區(qū)域，在所述的視點圖像編碼完成之后進行所述的深度圖編碼，在所述的深度圖編碼過程中，利用所述的視點圖像編碼后確定的宏塊編碼模式和運動矢量，結(jié)合所述的深度圖的三種區(qū)域，實現(xiàn)所述的深度圖的快速編碼，具體步驟為
a.將深度圖分割成多個具有相同尺寸的宏塊，將此類宏塊記為BlockD，并根據(jù)每個宏塊BlockD的紋理特征，判斷該宏塊BlockD是否位于邊緣區(qū)域，當(dāng)該宏塊位于邊緣區(qū)域時，將該宏塊BlockD標(biāo)記為A類區(qū)域；
b.計算深度圖對應(yīng)的視點圖像與該視點圖像的參考圖像之間的二值化幀差圖像，該二值化幀差圖像由運動像素和靜止像素組成；將該二值化幀差圖像以與所述的深度圖宏塊分割相同的方式分割成多個宏塊，將此類宏塊記為BlockF，判斷二值化幀差圖像中的宏塊BlockF中是否存在運動像素，當(dāng)存在時，將與該宏塊BlockF對應(yīng)的深度圖中的宏塊BlockD標(biāo)記為B類區(qū)域；
c.對深度圖進行編碼，在編碼過程中根據(jù)視點圖像編碼后確定的宏塊編碼模式和運動矢量以及A類區(qū)域和B類區(qū)域的信息快速確定深度圖的宏塊編碼模式。
2.根據(jù)權(quán)利要求1所述的一種應(yīng)用于3DTV與FTV系統(tǒng)的深度圖編碼壓縮方法，其特征在于所述的步驟a的具體過程為a-①對輸入的待編碼深度圖進行邊緣檢測，得到深度圖的二值化邊緣圖像，該二值化邊緣圖像由邊緣像素和非邊緣像素組成；a-②按公知的H.264編碼標(biāo)準(zhǔn)方式將深度圖分割成多個具有相同尺寸的宏塊，將此類宏塊記為BlockD，并將深度圖的二值化邊緣圖像以與所述的深度圖宏塊分割相同的方式分割成多個宏塊，將此類宏塊記為BlockE；a-③定義當(dāng)前正在處理的深度圖的二值化邊緣圖像中的宏塊BlockE為當(dāng)前宏塊BlockE，判斷深度圖的二值化邊緣圖像中的當(dāng)前宏塊BlockE中是否存在邊緣像素，當(dāng)存在時，確定深度圖中與該當(dāng)前宏塊BlockE對應(yīng)的宏塊BlockD位于邊緣區(qū)域，將該宏塊BlockD標(biāo)記為A類區(qū)域。
3.根據(jù)權(quán)利要求1所述的一種應(yīng)用于3DTV與FTV系統(tǒng)的深度圖編碼壓縮方法，其特征在于所述的步驟a的具體過程為a-①按公知的H.264編碼標(biāo)準(zhǔn)方式將深度圖分割成多個具有相同尺寸的宏塊，將此類宏塊記為BlockD；a-②定義當(dāng)前正在處理的深度圖中的宏塊BlockD為當(dāng)前宏塊BlockD，計算當(dāng)前宏塊BlockD中包含的所有像素的背離值E，判斷計算得到的背離值E是否大于設(shè)定的閾值，當(dāng)背離值E大于設(shè)定的閾值時，確定當(dāng)前宏塊BlockD位于邊緣區(qū)域，并將該當(dāng)前宏塊BlockD標(biāo)記為A類區(qū)域。
4.根據(jù)權(quán)利要求2或3所述的一種應(yīng)用于3DTV與FTV系統(tǒng)的深度圖編碼壓縮方法，其特征在于所述的深度圖中的宏塊BlockD、所述的深度圖的二值化邊緣圖像中的宏塊BlockE及所述的深度圖對應(yīng)的視點圖像與該視點圖像的參考圖像之間的二值化幀差圖像中的宏塊BlockF的尺寸均為m×n，所述的m×n為16×16、16×8、8×16、8×8、8×4、4×8、4×4中的任一種，令所述的深度圖、所述的深度圖的二值化邊緣圖像及所述的深度圖對應(yīng)的視點圖像與該視點圖像的參考圖像之間的二值化幀差圖像的尺寸為M×N，則所述的深度圖、所述的深度圖的二值化邊緣圖像及所述的深度圖對應(yīng)的視點圖像與該視點圖像的參考圖像之間的二值化幀差圖像各自包含的宏塊的個數(shù)為(M/m)×(N/n)。
5.根據(jù)權(quán)利要求3所述的一種應(yīng)用于3DTV與FTV系統(tǒng)的深度圖編碼壓縮方法，其特征在于所述的背離值E通過計算公式中的任一個計算公式計算得到，其中，dx，y為深度圖中的當(dāng)前宏塊BlockD中坐標(biāo)為(x，y)的像素的像素值，d為深度圖中的當(dāng)前宏塊BlockD中包含的所有像素的像素值的均值，其值為m×n為深度圖中的當(dāng)前宏塊BlockD的尺寸，m×n為16×16、16×8、8×16、8×8、8×4、4×8、4×4中的任一種。
6.根據(jù)權(quán)利要求3所述的一種應(yīng)用于3DTV與FTV系統(tǒng)的深度圖編碼壓縮方法，其特征在于所述的設(shè)定的閾值為E±σ，其中，E和σ分別為深度圖中包含的所有宏塊BlockD的背離值E構(gòu)成的集合{E}的均值和標(biāo)準(zhǔn)差。
7.根據(jù)權(quán)利要求1所述的一種應(yīng)用于3DTV與FTV系統(tǒng)的深度圖編碼壓縮方法，其特征在于所述的步驟c的具體過程為在編碼過程中將深度圖記為D，深度圖D中標(biāo)記為A類區(qū)域的所有宏塊BlockD構(gòu)成的集合記為DA，深度圖D中標(biāo)記為B類區(qū)域的所有宏塊BlockD構(gòu)成的集合記為DB；定義當(dāng)前正在處理的深度圖中的宏塊BlockD為當(dāng)前宏塊BlockD；若BlockD∈(D-(DA∪DB))，并且與深度圖D對應(yīng)的視點圖像中與當(dāng)前宏塊BlockD對應(yīng)的宏塊的宏塊編碼模式為Skip模式且該宏塊的運動矢量為0，則當(dāng)前宏塊BlockD的宏塊編碼模式采用Skip模式；若BlockD∈(DB-(DA∩DB))，采用H.264的率失真優(yōu)化技術(shù)RDO遍歷Skip、intra4×4和intra16×16三種宏塊編碼模式，從這三種宏塊編碼模式中確定最佳宏塊編碼模式作為當(dāng)前宏塊BlockD的宏塊編碼模式；若上述兩類條件均不滿足，則采用H.264的率失真優(yōu)化技術(shù)RDO遍歷H.264的所有宏塊編碼模式，從所有宏塊編碼模式中確定最佳宏塊編碼模式作為當(dāng)前宏塊BlockD的宏塊編碼模式。
全文摘要
本發(fā)明公開了一種應(yīng)用于3DTV與FTV系統(tǒng)的深度圖編碼壓縮方法，利用深度圖的邊緣信息和視點圖像的運動信息，將深度圖劃分為靜止的非邊緣區(qū)域、運動對象內(nèi)部非邊緣區(qū)域以及邊緣區(qū)域，通過在視點圖像編碼完成之后進行深度圖編碼，并在深度圖編碼過程中利用視點圖像編碼后確定的宏塊編碼模式和運動矢量，結(jié)合上述的深度圖的三種區(qū)域分類，使得在深度圖編碼過程中能夠在保證編碼質(zhì)量的前提下減少靜止的非邊緣區(qū)域以及運動對象內(nèi)部非邊緣區(qū)域的宏塊編碼模式搜索范圍，從而達到降低深度圖編碼復(fù)雜度，提高深度圖編碼速度的目的。
文檔編號H04N7/26GK101374243SQ20081006374
公開日2009年2月25日 申請日期2008年7月29日 優(yōu)先權(quán)日2008年7月29日
發(fā)明者蔣剛毅, 梅 郁, 波 朱 申請人:寧波大學(xué)