一種視頻編解碼方法及裝置制造方法
【專利摘要】本發(fā)明公開了一種視頻編解碼方法及裝置，在本方案中，由于在編碼過程中，可從像素級對各待編碼原始視頻圖像進行分層，因此會更為靈活地支持視頻編碼過程中對象的層次表示，并且還可達到提高視頻編碼過程中對視頻圖像的輪廓描述的精確性的效果。再有，由于在編碼過程中，還可將用于反映原始視頻圖像中的各像素所對應的視頻內容層級的像素屬性標識值也編入輸出視頻位流，以便在解碼出原始視頻圖像的同時也可解碼出各像素的像素屬性標識信息、進而根據(jù)各像素的像素屬性標識信息、提取出不同層次的對象，從而還可達到更為靈活地支持視頻解碼過程中對象的層次表示以及提高視頻解碼過程中對視頻圖像的輪廓描述的精確性的目的。
【專利說明】一種視頻編解碼方法及裝置

【技術領域】
[0001]本發(fā)明涉及視頻編解碼【技術領域】，尤其涉及一種視頻編解碼方法及裝置。

【背景技術】
[0002]近年來，隨著視頻系統(tǒng)在各個領域的廣泛應用，各種視頻編碼優(yōu)化的技術都在快速發(fā)展。其中，針對視頻主觀含義而有針對性地進行視頻編碼優(yōu)化的技術更是越來越受到學術界和產業(yè)界的關注。這類技術通常根據(jù)視頻的主觀含義將畫面劃分為背景區(qū)域和若干前景區(qū)域(前景區(qū)域，又稱為感興趣區(qū)域(ROI, Reg1n Of Interest),即觀眾主觀上對該視頻畫面更感興趣的區(qū)域)，并通過劃分前景、背景區(qū)域，再結合編碼技術以達到在碼率一定的情況下，優(yōu)化相應區(qū)域的視頻質量的目的。
[0003]也就是說，在現(xiàn)有技術中，在進行視頻編碼時，通常是根據(jù)ROI對待編碼視頻內容進行分層。由于ROI的塊度通常較大，因而會導致基于ROI對待編碼視頻內容進行分層時的分層塊度較大，使得無法靈活地支持視頻編解碼過程中對象的層次表示；另外，由于ROI的塊度通常較大，也會在一定程度上使得對視頻圖像的輪廓描述不夠精確。因此，亟需提供一種新的視頻編解碼方式以解決上述問題。


【發(fā)明內容】

[0004]本發(fā)明實施例提供了一種視頻編解碼方法及裝置，用以解決目前存在的由于視頻內容的分層塊度較大，使得無法靈活地支持視頻編解碼過程中對象的層次表示以及對視頻圖像的輪廓描述不夠精確等問題。
[0005]本發(fā)明實施例提供了一種視頻編碼方法，包括:
[0006]針對待編碼原始視頻圖像序列中的任一原始視頻圖像,確定所述原始視頻圖像中的各像素的像素屬性，并根據(jù)確定的各像素的像素屬性，生成與所述原始視頻圖像相對應的像素屬性圖像；其中，針對任一像素，所述像素的像素屬性以與所述像素的像素屬性相對應的、用于反映所述像素所對應的視頻內容層級的像素屬性標識值來表示；
[0007]分別對所述原始視頻圖像以及所述像素屬性圖像進行編碼，以得到相應的原始視頻圖像編碼位流以及像素屬性圖像編碼位流，并將得到的原始視頻圖像編碼位流以及像素屬性圖像編碼位流寫入輸出視頻位流。
[0008]相應地，本發(fā)明實施例還提供了一種視頻解碼方法，包括:
[0009]接收輸入的原始視頻圖像編碼位流以及像素屬性圖像編碼位流；其中，所述原始視頻圖像編碼位流以及所述像素屬性圖像編碼位流分別是對待編碼原始視頻圖像以及與所述原始視頻圖像相對應的像素屬性圖像進行編碼后所得到的；所述像素屬性圖像是根據(jù)確定的所述原始視頻圖像中的各像素的像素屬性所生成的；其中，針對任一像素，所述像素的像素屬性以與所述像素的像素屬性相對應的、用于反映所述像素所對應的視頻內容層級的像素屬性標識值來表示；
[0010]對所述原始視頻圖像編碼位流和/或所述像素屬性圖像編碼位流進行解碼，以獲得相應的原始視頻圖像和/或像素屬性圖像；
[0011]根據(jù)解碼獲得的原始視頻圖像和/或像素屬性圖像，生成相應的輸出視頻圖像。
[0012]進一步地，本發(fā)明實施例還提供了一種視頻編碼裝置，包括:
[0013]屬性確定模塊，用于針對待編碼原始視頻圖像序列中的任一原始視頻圖像，確定所述原始視頻圖像中的各像素的像素屬性；其中，針對任一像素，所述像素的像素屬性以與所述像素的像素屬性相對應的、用于反映所述像素所對應的視頻內容層級的像素屬性標識值來表示；
[0014]圖像生成模塊，用于根據(jù)所述屬性確定模塊確定的所述原始視頻圖像中的各像素的像素屬性，生成與所述原始視頻圖像相對應的像素屬性圖像；
[0015]圖像編碼模塊，用于分別對所述原始視頻圖像以及所述像素屬性圖像進行編碼，以得到相應的原始視頻圖像編碼位流以及像素屬性圖像編碼位流；
[0016]編碼輸出模塊，用于將所述圖像編碼模塊編碼得到的原始視頻圖像編碼位流以及像素屬性圖像編碼位流寫入輸出視頻位流。
[0017]進一步地，本發(fā)明實施例還提供了一種視頻解碼裝置，包括:
[0018]碼流接收模塊，用于接收輸入的原始視頻圖像編碼位流以及像素屬性圖像編碼位流；其中，所述原始視頻圖像編碼位流以及所述像素屬性圖像編碼位流分別是對待編碼原始視頻圖像以及與所述原始視頻圖像相對應的像素屬性圖像進行編碼后所得到的；所述像素屬性圖像是根據(jù)確定的所述原始視頻圖像中的各像素的像素屬性所生成的；其中，針對任一像素，所述像素的像素屬性以與所述像素的像素屬性相對應的、用于反映所述像素所對應的視頻內容層級的像素屬性標識值來表示；
[0019]碼流解碼模塊，用于對所述碼流接收模塊接收到的所述原始視頻圖像編碼位流和/或所述像素屬性圖像編碼位流進行解碼，以獲得相應的原始視頻圖像和/或像素屬性圖像；
[0020]圖像生成模塊，用于根據(jù)所述碼流解碼模塊解碼獲得的原始視頻圖像和/或像素屬性圖像，生成相應的輸出視頻圖像。
[0021]本發(fā)明有益效果如下:
[0022]本發(fā)明實施例提供了一種視頻編解碼方法，在本發(fā)明實施例所述技術方案中，由于在編碼過程中，可從像素級對各待編碼原始視頻圖像進行分層，因此會更為靈活地支持視頻編碼過程中對象的層次表示，并且，還可在一定程度上達到提高視頻編碼過程中對視頻圖像的輪廓描述的精確性的效果。再有，由于在編碼過程中，還可將用于反映原始視頻圖像中的各像素所對應的視頻內容層級的像素屬性標識值也編入輸出視頻位流，以便在解碼出原始視頻圖像的同時也可解碼出原始視頻圖像中的各像素的像素屬性標識信息、進而根據(jù)各像素的像素屬性標識信息、提取出不同層次的對象，從而還可達到更為靈活地支持視頻解碼過程中對象的層次表示以及提高視頻解碼過程中對視頻圖像的輪廓描述的精確性的目的。

【專利附圖】

【附圖說明】
[0023]為了更清楚地說明本發(fā)明實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡要介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域的普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0024]圖1所示為本發(fā)明實施例一中所述視頻編碼方法的流程示意圖；
[0025]圖2所示為本發(fā)明實施例二中所述視頻解碼方法的流程示意圖；
[0026]圖3(a)所示為本發(fā)明實施例三中所述視頻編碼裝置的結構示意圖一；
[0027]圖3(b)所示為本發(fā)明實施例三中所述視頻編碼裝置的結構示意圖二 ；
[0028]圖4(a)所示為本發(fā)明實施例四中所述視頻解碼裝置的結構示意圖一；
[0029]圖4(b)所示為本發(fā)明實施例四中所述視頻解碼裝置的結構示意圖二。

【具體實施方式】
[0030]本發(fā)明實施例提供了一種視頻編解碼方法，在本發(fā)明實施例所述技術方案中，由于在編碼過程中，可從像素級對各待編碼原始視頻圖像進行分層，因此會更為靈活地支持視頻編碼過程中對象的層次表示，并且還可達到提高視頻編碼過程中對視頻圖像的輪廓描述的精確性的效果。再有，由于在編碼過程中，還可將用于反映原始視頻圖像中的各像素所對應的視頻內容層級的像素屬性標識值也編入輸出視頻位流，以便在解碼出原始視頻圖像的同時也可解碼出原始視頻圖像中的各像素的像素屬性標識信息、進而根據(jù)各像素的像素屬性標識信息、提取出不同層次的對象，從而還可達到更為靈活地支持視頻解碼過程中對象的層次表示以及提高視頻解碼過程中對視頻圖像的輪廓描述的精確性的目的。
[0031]為了使本發(fā)明的目的、技術方案和優(yōu)點更加清楚，下面將結合附圖對本發(fā)明作進一步地詳細描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它實施例，都屬于本發(fā)明保護的范圍。
[0032]實施例一:
[0033]如圖1所示，其為本發(fā)明實施例一中所述視頻編碼方法的流程示意圖，所述視頻編碼方法可包括以下步驟:
[0034]步驟101:針對待編碼原始視頻圖像序列中的任一原始視頻圖像，確定所述原始視頻圖像中的各像素的像素屬性，并根據(jù)確定的各像素的像素屬性，生成與所述原始視頻圖像相對應的像素屬性圖像；其中，針對任一像素，所述像素的像素屬性以與所述像素的像素屬性相對應的、用于反映所述像素所對應的視頻內容層級的像素屬性標識值來表示。
[0035]具體地，在本發(fā)明實施例所述技術方案中，所述像素屬性至少可包括以下屬性信息中的任意一種或多種:用于表示像素為前景像素或背景像素的場景屬性信息，場景深度，用于表示像素為靜態(tài)像素或動態(tài)像素的動靜態(tài)屬性信息，遮擋關系，或者，紋理信息等，以達到提高像素屬性確定的豐富性以及準確性，并進而提高后續(xù)以相應的像素屬性對各像素進行分層時的可選擇性以及靈活性的目的，本發(fā)明實施例對此不作任何限定。
[0036]進一步地，針對任一像素，用于反映所述像素所對應的視頻內容層級的像素屬性標識值通?？蔀樵O定的亮度值或設定的色度值。也就是說，在本發(fā)明實施例所述技術方案中，可采用特定的亮度值或特定的色度值來表示每個像素所對應的視頻內容層級。當然需要說明的是，也可采用其他設定的標識值來表示每個像素所對應的視頻內容層級，本發(fā)明實施例對此也不作任何限定。
[0037]進一步地，需要說明的是，在本發(fā)明實施例所述技術方案中，由于針對任一像素，所確定的所述像素的像素屬性可為多個，因此，相應地，與所述像素的像素屬性相對應的像素屬性標識值也可為多個(可以包括至少一個像素屬性標識值的像素屬性標識集合的方式來表示)，并且，每一像素屬性標識值可分別與所述像素的多個像素屬性中的一個像素屬性唯一對應，并且可用于反映以所述像素屬性對應的屬性信息對視頻內容進行分層時，所述像素所對應的視頻內容層級。例如，假設所確定的所述像素的像素屬性包括場景屬性信息、場景深度以及紋理信息，則相應地，與所述像素的像素屬性相對應的像素屬性標識值可表示為{A，B, C}的形式，其中，所述標識值A可與所述場景屬性信息相對應，所述標識值B可與所述場景深度相對應，所述標識值C可與所述紋理信息相對應，本發(fā)明實施例對此不作贅述。
[0038]進一步地，需要說明的是，在本發(fā)明實施例所述技術方案中，對視頻內容進行分層是指根據(jù)需要將視頻內容分為背景或前景等不同層級。其中，將視頻內容分成多少層、以及每一層指代的對象均可根據(jù)實際情況進行設定，本發(fā)明實施例對此不作任何限定。
[0039]進一步地，在本發(fā)明實施例所述技術方案中，由于針對任一像素，所述像素的像素屬性可以與所述像素的像素屬性相對應的、用于反映所述像素所對應的視頻內容層級的像素屬性標識值來表示，因此，在確定原始視頻圖像中的各像素的像素屬性之后，且在根據(jù)確定的各像素的像素屬性生成相應的像素屬性圖像之前，還可確定所述原始視頻圖像中的各像素的像素屬性標識值。
[0040]具體地，針對任一原始視頻圖像，可通過以下方式確定所述原始視頻圖像中的各像素的像素屬性標識值:
[0041]方式一:根據(jù)所述原始視頻圖像中的各像素的像素屬性，將所述原始視頻圖像劃分為多個圖像區(qū)域；例如，以確定的各像素的像素屬性為場景深度為例，可將場景深度不大于設定第一深度閾值的各像素劃分至第一圖像區(qū)域；將場景深度大于設定第一深度閾值，且不大于設定第二深度閾值的各像素劃分至第二圖像區(qū)域；以及，將場景深度大于設定第二深度閾值的各像素劃分至第三圖像區(qū)域；其中，所述第一深度閾值小于所述第二深度閾值；
[0042]針對任一圖像區(qū)域，確定所述圖像區(qū)域所對應的視頻內容層級；例如，根據(jù)預設規(guī)貝U，將上述第一圖像區(qū)域確定為第一視頻內容層級；將上述第二圖像區(qū)域確定為第二視頻內容層級；以及，將上述第三圖像區(qū)域確定為第三視頻內容層級；
[0043]將與確定的視頻內容層級相對應的像素屬性標識值作為所述圖像區(qū)域內的各像素的像素屬性標識值；例如，可將與所述第一視頻內容層級相對應的像素屬性標識值“O”作為所述第一圖像區(qū)域內的各像素的像素屬性標識值；將與所述第二視頻內容層級相對應的像素屬性標識值“I”作為所述第二圖像區(qū)域內的各像素的像素屬性標識值；以及，可將與所述第三視頻內容層級相對應的像素屬性標識值“2”作為所述第三圖像區(qū)域內的各像素的像素屬性標識值，本發(fā)明實施例對此不作贅述。
[0044]方式二:以所述待編碼原始視頻圖像序列中的多個原始視頻圖像為訓練集，生成場景圖像；將所述場景圖像作為背景圖像，確定所述原始視頻圖像中的各像素的像素屬性標識值。
[0045]具體地，以所述待編碼原始視頻圖像序列中的多個原始視頻圖像為訓練集，生成場景圖像，可包括:
[0046]以所述待編碼原始視頻圖像序列中的多個原始視頻圖像為訓練集，使用滑動均值方法或者分段加權的滑動均值方法，生成場景圖像。其中，在使用分段加權的滑動均值方法生成場景圖像時，在計算滑動均值的過程中，可實時地將每個輸入像素點的歷史像素值劃分成若干個數(shù)據(jù)段，之后，可根據(jù)每個數(shù)據(jù)段的均值和長度，計算出當前像素位置的模型值，從而訓練出場景圖像。需要說明的是，利用此種方法生成的場景圖像相對采用普通的滑動均值方法生成的場景圖像來說畫面更為干凈。
[0047]另外，需要說明的是，在本發(fā)明實施例所述技術方案中，每隔若干幀(即若干原始視頻圖像)即可進行一次場景圖像的生成，并將新生成的場景圖像更新舊有的場景圖像，以實現(xiàn)場景圖像的定期或實時更新并保證像素屬性標識值確定的準確性。
[0048]進一步地，在本發(fā)明實施例所述技術方案中，將所述場景圖像作為背景圖像，確定所述原始視頻圖像中的各像素的像素屬性標識值，可以包括:
[0049]將所述場景圖像與所述原始視頻圖像做減除(如，將所述場景圖像中的各像素的亮度值與所述原始視頻圖像中的各像素的亮度值進行相減操作)，得到帶有像素屬性標識值(具體地，在以亮度值為基礎進行圖像的減除時，所得到的像素屬性標識值通常也為相應的亮度值)的圖像；之后，使用設定的填充算法(如四連通填充算法或八連通填充算法)，去除所述帶有像素屬性標識值的圖像中的噪聲像素，并根據(jù)去噪之后所得到的圖像，確定所述原始視頻圖像中的各像素的像素屬性標識值。
[0050]進一步地，在得到所述原始視頻圖像中的各像素的像素屬性標識值之后，即可根據(jù)所述原始視頻圖像中的各像素的像素屬性標識值，生成相應的像素屬性圖像。
[0051]進一步地，需要說明的是，由于所述原始視頻圖像中的各像素的像素屬性標識值所對應的區(qū)間范圍過小的話，在編碼量化時會有較多的失真；以及，若所述原始視頻圖像中的各像素的像素屬性標識值所對應的區(qū)間范圍太大的話，會大幅度地增大編碼位流的碼率。因此，在本發(fā)明實施例所述技術方案中，在得到所述原始視頻圖像中的各像素的像素屬性標識值之后，可對所述原始視頻圖像中的各像素的像素屬性對應的像素屬性標識值進行量化處理，以將所述原始視頻圖像中的各像素的像素屬性標識值限定在一個合理的設定的區(qū)間范圍內，之后，再根據(jù)量化處理后的所述原始視頻圖像中的各像素的像素屬性標識值，生成與所述原始視頻圖像相對應的像素屬性圖像。
[0052]其中，所述設定的區(qū)間范圍可根據(jù)對視頻內容進行分層時的分層層數(shù)來確定，分層層數(shù)越多，所述設定的區(qū)間范圍可越大，本發(fā)明實施例對此不作任何限定。
[0053]步驟102:分別對所述原始視頻圖像以及所述像素屬性圖像進行編碼，以得到相應的原始視頻圖像編碼位流以及像素屬性圖像編碼位流，并將得到的原始視頻圖像編碼位流以及像素屬性圖像編碼位流寫入輸出視頻位流。
[0054]具體地，在本發(fā)明實施例所述技術方案中，可分別采用適用的編碼方式對所述原始視頻圖像以及所述像素屬性圖像進行編碼。其中，分別編碼的有益效果在于，解碼時可根據(jù)相應的解碼需求選取對應的編碼位流進行解碼，以提高解碼的靈活性。例如，若只需要得到相應的原始視頻圖像，則可僅解碼原始視頻圖像編碼位流，若還需要得到原始視頻圖像更為詳細的信息，如原始視頻圖像中的各像素的像素屬性信息或像素屬性標識信息等，則還可進一步解碼相應的像素屬性圖像編碼位流等，本發(fā)明實施例對此不作贅述。
[0055]進一步地，以對所述原始視頻圖像進行編碼為例，在本發(fā)明實施例所述技術方案中，可利用現(xiàn)有視頻編碼方法(或可稱為普通視頻編碼方法)，如高效視頻編碼(High-Efficiency Video Coding, HEVC\H.265)方法等對所述原始視頻圖像進行編碼，以得到相應的原始視頻圖像編碼位流；或者，可利用優(yōu)化后的基于像素屬性的視頻編碼方法對所述原始視頻圖像進行編碼，以得到相應的原始視頻圖像編碼位流。
[0056]其中，所述優(yōu)化后的基于像素屬性的視頻編碼方法是指，在編碼視頻圖像時，根據(jù)視頻圖像中的各像素的像素屬性標識信息，將視頻圖像的宏塊進行分類，針對不同類別的宏塊，使用不同的編碼方式(如使用不同的運動估計、參考幀管理、模式選擇、變換、量化以及熵編碼策略等)進行編碼。例如，以對所述原始視頻圖像進行編碼為例，可將所述原始視頻圖像(或場景圖像)分成不變宏塊以及變化宏塊兩種；并且，針對不變宏塊，可參考前一幀原始視頻圖像(或場景圖像)，采用幀間預測的方式進行編碼；以及，針對變化宏塊，可采用幀內預測的方式進行編碼，本發(fā)明實施例對此不作贅述。
[0057]類似地，以對所述像素屬性圖像進行編碼為例，可利用現(xiàn)有視頻編碼方法，如HEVC\H.26方法等對所述像素屬性圖像進行編碼，以得到相應的像素屬性圖像編碼位流；或者，可利用優(yōu)化后的基于像素屬性的視頻編碼方法對所述像素屬性圖像進行編碼，以得到相應的像素屬性圖像編碼位流，本發(fā)明實施例對此不作贅述。需要說明的是，在利用優(yōu)化后的基于像素屬性的視頻編碼方法對所述像素屬性圖像進行編碼時，可限制幀內預測方式的使用，以提高SKIP模式的使用比例；并且，為了減少編碼失真，用于去除塊效應的環(huán)路濾波也可被禁用，本發(fā)明實施例對此不作贅述。
[0058]進一步地，為了實現(xiàn)編碼位流的區(qū)分，在本發(fā)明實施例所述技術方案中，對所述原始視頻圖像以及所述像素屬性圖像進行編碼時所采用的視頻編碼方法可互不相同；當然，需要說明的是，對所述原始視頻圖像以及所述像素屬性圖像進行編碼時所采用的視頻編碼方法也可相互相同，本發(fā)明實施例對此不作任何限定。
[0059]進一步地，在本發(fā)明實施例所述技術方案中，在分別對所述原始視頻圖像以及所述像素屬性圖像進行編碼，以得到相應的原始視頻圖像編碼位流以及像素屬性圖像編碼位流時，還可將對所述原始視頻圖像以及所述像素屬性圖像進行編碼時所采用的視頻編碼方法的標識信息分別編入相應的原始視頻圖像編碼位流以及像素屬性圖像編碼位流；或者，還可將用于表示編碼位流為所述原始視頻圖像編碼位流或所述像素屬性圖像編碼位流的標識信息分別編入相應的原始視頻圖像編碼位流以及像素屬性圖像編碼位流，本發(fā)明實施例對此不作贅述。
[0060]進一步地，在本發(fā)明實施例所述技術方案中，在分別對所述原始視頻圖像以及所述像素屬性圖像進行編碼，以得到相應的原始視頻圖像編碼位流以及像素屬性圖像編碼位流之后，即可將得到的原始視頻圖像編碼位流以及像素屬性圖像編碼位流同步寫入輸出視頻位流，以完成針對所述原始視頻圖像的視頻編碼過程。
[0061]具體地，在將得到的原始視頻圖像編碼位流以及像素屬性圖像編碼位流同步寫入輸出視頻位流時，可在編碼位流中插入相應的時間戳以同步原始視頻圖像編碼位流以及像素屬性圖像編碼位流，本發(fā)明實施例對此不作贅述。
[0062]本發(fā)明實施例一提供了一種視頻編碼方法，在本發(fā)明實施例一所述技術方案中，由于在編碼過程中，可從像素級對各待編碼原始視頻圖像進行分層，因此相較于現(xiàn)有技術中的基于ROI塊度來對視頻圖像進行分層來說，會更為靈活地支持視頻編碼過程中對象的層次表示，并且還可達到提高視頻編碼過程中對視頻圖像的輪廓描述的精確性的效果。再有，由于在編碼過程中，還可將用于反映原始視頻圖像中的各像素所對應的視頻內容層級的像素屬性標識值也編入輸出視頻位流，以便在解碼出原始視頻圖像的同時也可解碼出原始視頻圖像中的各像素的像素屬性標識信息、進而根據(jù)各像素的像素屬性標識信息、提取出不同層次的對象，因此，還可達到更為靈活地支持視頻解碼過程中對象的層次表示以及提高視頻解碼過程中對視頻圖像的輪廓描述的精確性的目的。
[0063]實施例二:
[0064]如圖2所示，其為本發(fā)明實施例二中所述視頻解碼方法的流程示意圖，所述視頻解碼方法可包括以下步驟:
[0065]步驟201:接收輸入的原始視頻圖像編碼位流以及像素屬性圖像編碼位流。
[0066]其中，所述原始視頻圖像編碼位流以及所述像素屬性圖像編碼位流分別是對待編碼原始視頻圖像以及與所述原始視頻圖像相對應的像素屬性圖像進行編碼后所得到的；所述像素屬性圖像是根據(jù)確定的所述原始視頻圖像中的各像素的像素屬性所生成的；其中，針對任一像素，所述像素的像素屬性以與所述像素的像素屬性相對應的、用于反映所述像素所對應的視頻內容層級的像素屬性標識值來表示。
[0067]具體地，在本發(fā)明實施例所述技術方案中，所述像素屬性至少可包括以下屬性信息中的任意一種或多種:用于表示像素為前景像素或背景像素的場景屬性信息，場景深度，用于表示像素為靜態(tài)像素或動態(tài)像素的動靜態(tài)屬性信息，遮擋關系，或者，紋理信息等，本發(fā)明實施例對此不作任何限定。
[0068]進一步地，針對任一像素，用于反映所述像素所對應的視頻內容層級的像素屬性標識值通?？蔀樵O定的亮度值或設定的色度值。也就是說，在本發(fā)明實施例所述技術方案中，可采用特定的亮度值或特定的色度值來表示每個像素所對應的視頻內容層級。當然需要說明的是，也可采用其他設定的標識值來表示每個像素所對應的視頻內容層級，本發(fā)明實施例對此也不作任何限定。
[0069]步驟202:對所述原始視頻圖像編碼位流和/或所述像素屬性圖像編碼位流進行解碼，以獲得相應的原始視頻圖像和/或像素屬性圖像。
[0070]具體地，在對所述原始視頻圖像編碼位流和/或所述像素屬性圖像編碼位流進行解碼，以獲得相應的原始視頻圖像和/或像素屬性圖像時，可根據(jù)設定的解碼需求，從所述原始視頻圖像編碼位流以及所述像素屬性圖像編碼位流中選取對應的編碼位流，并對選取的編碼位流進行解碼，以獲得相應的原始視頻圖像和/或像素屬性圖像。例如，若只需要得到相應的原始視頻圖像，則可僅解碼原始視頻圖像編碼位流，若還需要得到原始視頻圖像更為詳細的信息，如原始視頻圖像中的各像素的像素屬性信息或像素屬性標識信息等，則還可進一步解碼相應的像素屬性圖像編碼位流等，本發(fā)明實施例對此不作贅述。
[0071]進一步地，由于所述原始視頻圖像編碼位流或所述像素屬性編碼位流中通?？蓴y帶有相應的視頻編碼方法的標識信息，因此，在對選取的所述原始視頻圖像編碼位流進行解碼時，可根據(jù)所述原始視頻圖像編碼位流中攜帶的視頻編碼方法的標識信息，確定所述原始視頻圖像編碼位流所采用的視頻編碼方法，并根據(jù)與確定的所述原始視頻圖像編碼位流所采用的視頻編碼方法相匹配的視頻解碼方法對所述原始視頻圖像編碼位流進行解碼；或者，在對選取的所述像素屬性圖像編碼位流進行解碼時，可根據(jù)所述像素屬性圖像編碼位流中攜帶的視頻編碼方法的標識信息，確定所述像素屬性圖像編碼位流所采用的視頻編碼方法，并根據(jù)與確定的所述像素屬性圖像編碼位流所采用的視頻編碼方法相匹配的視頻解碼方法對所述像素屬性圖像編碼位流進行解碼。
[0072]例如，以對所述原始視頻圖像編碼位流進行解碼為例，若根據(jù)所述原始視頻圖像編碼位流中攜帶的視頻編碼方法的標識信息，確定所述原始視頻圖像是直接使用現(xiàn)有的視頻編碼方法進行編碼的，則使用對應的現(xiàn)有視頻解碼方法(如幀內預測解碼方法)對所述原始視頻圖像編碼位流進行解碼、以得到相應的原始視頻圖像；若根據(jù)所述原始視頻圖像編碼位流中攜帶的視頻編碼方法的標識信息，確定原始視頻圖像是使用優(yōu)化的基于像素屬性的視頻編碼方法進行編碼的，則可針對不同類別的宏塊，采取相對應的解碼方法進行解碼，本發(fā)明實施例對此不作贅述。
[0073]步驟203:根據(jù)解碼獲得的原始視頻圖像和/或像素屬性圖像，生成相應的輸出視頻圖像。
[0074]具體地，根據(jù)解碼獲得的原始視頻圖像和/或像素屬性圖像，生成相應的輸出視頻圖像，可以包括:
[0075]若根據(jù)設定的解碼需求，確定無需解碼所述像素屬性圖像編碼位流，則根據(jù)解碼獲得的原始視頻圖像，生成相應的輸出視頻圖像；或者，
[0076]若根據(jù)設定的解碼需求，確定需解碼所述像素屬性圖像編碼位流，則根據(jù)解碼獲得的原始視頻圖像和像素屬性圖像，生成相應的輸出視頻圖像。具體地，此時，可對解碼獲得的原始視頻圖像和像素屬性圖像進行融合，以得到包含屬于特定視頻內容層級的像素的、對應于特定應用場景的視頻圖像，本發(fā)明實施例對此不作贅述。
[0077]需要說明的是，在本發(fā)明實施例所述技術方案中，由于在解碼之后，可直接根據(jù)視頻圖像中的各像素的像素屬性標識信息，得到視頻圖像中的各像素屬于哪一個視頻內容層級，比如，是前景像素還是背景像素、是否是前景感興趣區(qū)域等，因而，可在解碼的時候，直接根據(jù)不同的像素屬性標識值提取出不同層次的對象，從而可減少視頻分析中的一些預處理過程，提高視頻解碼的效率。
[0078]本發(fā)明實施例二提供了一種視頻解碼方法，在解碼過程中，可對接收到的原始視頻圖像編碼位流和/或像素屬性圖像編碼位流進行解碼，以獲得相應的原始視頻圖像和/或像素屬性圖像，并根據(jù)解碼獲得的原始視頻圖像和/或像素屬性圖像，生成相應的輸出視頻圖像，即在解碼出原始視頻圖像的同時也可解碼出原始視頻圖像中的各像素的像素屬性標識信息、進而根據(jù)各像素的像素屬性標識信息、提取出不同層次的對象，從而可達到更為靈活地支持視頻解碼過程中對象的層次表示以及提高視頻解碼過程中對視頻圖像的輪廓描述的精確性的目的。
[0079]實施例三:
[0080]本發(fā)明實施例三提供了一種可用于實現(xiàn)本發(fā)明實施例一中所述視頻編碼方法的視頻編碼裝置，如圖3(a)所示，其為本發(fā)明實施例三中所述視頻編碼裝置的結構示意圖一，所述視頻編碼裝置可包括屬性確定模塊31、圖像生成模塊32、圖像編碼模塊33以及編碼輸出模塊34，其中:
[0081]所述屬性確定模塊31可用于針對待編碼原始視頻圖像序列中的任一原始視頻圖像，確定所述原始視頻圖像中的各像素的像素屬性；其中，針對任一像素，所述像素的像素屬性以與所述像素的像素屬性相對應的、用于反映所述像素所對應的視頻內容層級的像素屬性標識值來表示。
[0082]具體地，在本發(fā)明實施例所述技術方案中，所述像素屬性至少可包括以下屬性信息中的任意一種或多種:用于表示像素為前景像素或背景像素的場景屬性信息，場景深度，用于表示像素為靜態(tài)像素或動態(tài)像素的動靜態(tài)屬性信息，遮擋關系，或者，紋理信息等，本發(fā)明實施例對此不作任何限定。并且，針對任一像素，用于反映所述像素所對應的視頻內容層級的像素屬性標識值通常可為設定的亮度值或設定的色度值。也就是說，在本發(fā)明實施例所述技術方案中，可采用特定的亮度值或特定的色度值來表示每個像素所對應的視頻內容層級，本發(fā)明實施例對此不作贅述。
[0083]所述圖像生成模塊32可用于根據(jù)所述屬性確定模塊31確定的所述原始視頻圖像中的各像素的像素屬性，生成與所述原始視頻圖像相對應的像素屬性圖像；
[0084]所述圖像編碼模塊33可用于分別對所述原始視頻圖像以及所述像素屬性圖像進行編碼，以得到相應的原始視頻圖像編碼位流以及像素屬性圖像編碼位流；
[0085]所述編碼輸出模塊34可用于將所述圖像編碼模塊33編碼得到的原始視頻圖像編碼位流以及像素屬性圖像編碼位流寫入輸出視頻位流。
[0086]具體地，如圖3(b)所示(圖3(b)為本發(fā)明實施例三中所述視頻編碼裝置的結構示意圖二)，在本發(fā)明實施例所述技術方案中，所述視頻編碼裝置還可包括第一屬性標識確定模塊35或者第二屬性標識確定模塊36 ；
[0087]其中，所述第一屬性標識確定模塊35可包括區(qū)域劃分子模塊351以及第一標識確定子模塊352:所述區(qū)域劃分子模塊351可用于根據(jù)所述原始視頻圖像中的各像素的像素屬性，將所述原始視頻圖像劃分為多個圖像區(qū)域；所述第一標識確定子模塊352可用于針對所述區(qū)域劃分子模塊351劃分的任一圖像區(qū)域，確定所述圖像區(qū)域所對應的視頻內容層級，并將與確定的視頻內容層級相對應的像素屬性標識值作為所述圖像區(qū)域內的各像素的像素屬性標識值；
[0088]所述第二屬性標識確定模塊36可包括場景圖像訓練子模塊361以及第二標識確定子模塊362，其中:所述場景圖像訓練子模塊361可用于以所述待編碼原始視頻圖像序列中的多個原始視頻圖像為訓練集，生成場景圖像；所述第二標識確定子模塊362可用于將所述場景圖像訓練子模塊361生成的所述場景圖像作為背景圖像，確定所述原始視頻圖像中的各像素的像素屬性標識值。
[0089]具體地，所述第二標識確定子模塊362具體可用于通過以下方式將所述場景圖像作為背景圖像，以確定所述原始視頻圖像中的各像素的像素屬性標識值:
[0090]將所述場景圖像與所述原始視頻圖像做減除，得到帶有像素屬性標識值的圖像；之后，使用設定的填充算法(如四連通算法或八連通算法等)，去除所述帶有像素屬性標識值的圖像中的噪聲像素，并根據(jù)去噪之后所得到的圖像，確定所述原始視頻圖像中的各像素的像素屬性標識值。
[0091]進一步地，如圖3(b)所示，所述圖像生成模塊32可包括量化處理子模塊321以及圖像生成子模塊322，其中:
[0092]所述量化處理子模塊321可用于對所述原始視頻圖像中的各像素的像素屬性對應的像素屬性標識值進行量化處理，以將所述原始視頻圖像中的各像素的像素屬性標識值限定在設定的區(qū)間范圍內，其中，所述設定的區(qū)間范圍可根據(jù)對視頻內容進行分層時的分層層數(shù)來確定，分層層數(shù)越多，所述設定的區(qū)間范圍可越大，本發(fā)明實施例對此不作任何限定;
[0093]相應地，所述圖像生成子模塊322可用于根據(jù)所述量化處理子模塊321量化處理后的所述原始視頻圖像中的各像素的像素屬性標識值，生成與所述原始視頻圖像相對應的像素屬性圖像。
[0094]需要說明的是，在本發(fā)明實施例所述技術方案中，由于可通過量化處理的方式，將所述原始視頻圖像中的各像素的像素屬性標識值限定在設定的區(qū)間范圍內，從而可達到避免當所述原始視頻圖像中的各像素的像素屬性標識值所對應的區(qū)間范圍過小時所導致的編碼量化失真的問題，以及，還可避免當所述原始視頻圖像中的各像素的像素屬性標識值所對應的區(qū)間范圍太大時會大幅度地增大編碼位流的碼率的問題。
[0095]進一步地，如圖3(b)所示，在本發(fā)明實施例所述技術方案中，所述圖像編碼模塊33可包括原始視頻圖像編碼子模塊331以及像素屬性圖像編碼子模塊332，其中:
[0096]所述原始視頻圖像編碼子模塊331可用于利用現(xiàn)有視頻編碼方法或優(yōu)化后的基于像素屬性的視頻編碼方法對所述原始視頻圖像進行編碼，以得到相應的原始視頻圖像編碼位流；其中，所述優(yōu)化后的基于像素屬性的視頻編碼方法是指，在編碼視頻圖像時，將視頻圖像的宏塊進行分類，針對不同類別的宏塊，使用不同的編碼方式進行編碼；
[0097]所述像素屬性圖像編碼子模塊332可用于利用現(xiàn)有視頻編碼方法或優(yōu)化后的基于像素屬性的視頻編碼方法對所述像素屬性圖像進行編碼，以得到相應的像素屬性圖像編碼位流。
[0098]另外需要說明的是，在本發(fā)明實施例所述技術方案中，由于可分別采用適用的編碼方式對所述原始視頻圖像以及所述像素屬性圖像進行編碼，因而使得在解碼時可根據(jù)相應的解碼需求選取對應的編碼位流進行解碼，以提高解碼的靈活性。例如，若只需要得到相應的原始視頻圖像，則可僅解碼原始視頻圖像編碼位流，若還需要得到原始視頻圖像更為詳細的信息，如原始視頻圖像中的各像素的像素屬性信息或像素屬性標識信息等，則還可進一步解碼相應的像素屬性圖像編碼位流等，本發(fā)明實施例對此不作贅述。
[0099]再有需要說明的是，為了實現(xiàn)編碼位流的區(qū)分，在本發(fā)明實施例所述技術方案中，所述原始視頻圖像編碼子模塊331對所述原始視頻圖像進行編碼時所采用的視頻編碼方法與所述像素屬性圖像編碼子模塊332對所述像素屬性圖像進行編碼時所采用的視頻編碼方法互不相同；當然，需要說明的是，所述原始視頻圖像編碼子模塊331對所述原始視頻圖像進行編碼時所采用的視頻編碼方法與所述像素屬性圖像編碼子模塊332對所述像素屬性圖像進行編碼時所采用的視頻編碼方法也可相互相同，本發(fā)明實施例對此不作任何限定。
[0100]進一步地，如圖3(b)所示，在本發(fā)明實施例所述技術方案中，所述圖像編碼模塊33還可包括第一標識信息添加子模塊333或者第二標識信息添加子模塊334，其中:
[0101]所述第一標識信息添加子模塊333可用于將對所述原始視頻圖像以及所述像素屬性圖像進行編碼時所采用的視頻編碼方法的標識信息分別編入相應的原始視頻圖像編碼位流以及像素屬性圖像編碼位流；
[0102]所述第二標識信息添加子模塊334可用于將用于表示編碼位流為所述原始視頻圖像編碼位流或所述像素屬性圖像編碼位流的標識信息分別編入相應的原始視頻圖像編碼位流以及像素屬性圖像編碼位流。
[0103]進一步地，在本發(fā)明實施例所述技術方案中，在分別對所述原始視頻圖像以及所述像素屬性圖像進行編碼，以得到相應的原始視頻圖像編碼位流以及像素屬性圖像編碼位流之后，所述編碼輸出模塊34即可用于將得到的原始視頻圖像編碼位流以及像素屬性圖像編碼位流同步寫入輸出視頻位流。
[0104]具體地，所述編碼輸出模塊34在將得到的原始視頻圖像編碼位流以及像素屬性圖像編碼位流同步寫入輸出視頻位流時，可在編碼位流中插入相應的時間戳以同步原始視頻圖像編碼位流以及像素屬性圖像編碼位流，本發(fā)明實施例對此不作贅述。
[0105]本發(fā)明實施例三提供了一種可用于實現(xiàn)本發(fā)明實施例一中所述視頻編碼方法的視頻編碼裝置，在本發(fā)明實施例三所述技術方案中，由于所述視頻編碼裝置在編碼過程中，可從像素級對各待編碼原始視頻圖像進行分層，因此相較于現(xiàn)有技術中的基于ROI塊度來對視頻圖像進行分層來說，會更為靈活地支持視頻編碼過程中對象的層次表示，并且還可達到提高視頻編碼過程中對視頻圖像的輪廓描述的精確性的效果。再有，由于所述視頻編碼裝置在編碼過程中，還可將用于反映原始視頻圖像中的各像素所對應的視頻內容層級的像素屬性標識值也編入輸出視頻位流，以便在解碼出原始視頻圖像的同時也可解碼出原始視頻圖像中的各像素的像素屬性標識信息、進而根據(jù)各像素的像素屬性標識信息、提取出不同層次的對象，從而還可達到更為靈活地支持視頻解碼過程中對象的層次表示以及提高視頻解碼過程中對視頻圖像的輪廓描述的精確性的目的。
[0106]實施例四:
[0107]本發(fā)明實施例四提供了一種可用于實現(xiàn)本發(fā)明實施例二中所述視頻解碼方法的視頻解碼裝置，如圖4(a)所示，其為本發(fā)明實施例四中所述視頻解碼裝置的結構示意圖一，所述視頻解碼裝置可包括碼流接收模塊41、碼流解碼模塊42以及圖像生成模塊43，其中:
[0108]所述碼流接收模塊41可用于接收輸入的原始視頻圖像編碼位流以及像素屬性圖像編碼位流；其中，所述原始視頻圖像編碼位流以及所述像素屬性圖像編碼位流分別是對待編碼原始視頻圖像以及與所述原始視頻圖像相對應的像素屬性圖像進行編碼后所得到的；所述像素屬性圖像是根據(jù)確定的所述原始視頻圖像中的各像素的像素屬性所生成的；其中，針對任一像素，所述像素的像素屬性以與所述像素的像素屬性相對應的、用于反映所述像素所對應的視頻內容層級的像素屬性標識值來表示；
[0109]所述碼流解碼模塊42可用于對所述碼流接收模塊41接收到的所述原始視頻圖像編碼位流和/或所述像素屬性圖像編碼位流進行解碼，以獲得相應的原始視頻圖像和/或像素屬性圖像；
[0110]所述圖像生成模塊43可用于根據(jù)所述碼流解碼模塊42解碼獲得的原始視頻圖像和/或像素屬性圖像，生成相應的輸出視頻圖像。
[0111]具體地，如圖4(b)所示(圖4(b)為本發(fā)明實施例四中所述視頻解碼裝置的結構示意圖二)，所述碼流解碼模塊42可包括碼流選取子模塊421以及碼流解碼子模塊422，其中:
[0112]所述碼流選取子模塊421可用于根據(jù)設定的解碼需求，從所述原始視頻圖像編碼位流以及所述像素屬性圖像編碼位流中選取對應的編碼位流；
[0113]所述碼流解碼子模塊422可用于對所述碼流選取子模塊421選取的編碼位流進行解碼，以獲得相應的原始視頻圖像和/或像素屬性圖像。
[0114]例如，若只需要得到相應的原始視頻圖像，則可僅選取并解碼原始視頻圖像編碼位流，若還需要得到原始視頻圖像更為詳細的信息，如原始視頻圖像中的各像素的像素屬性信息或像素屬性標識信息等，則還可進一步選取并解碼相應的像素屬性圖像編碼位流等，以提高解碼的靈活性，本發(fā)明實施例對此不作贅述。
[0115]進一步地，如圖4(b)所示，所述碼流解碼子模塊422可包括原始視頻圖像編碼位流解碼子模塊4221和/或像素屬性圖像編碼位流解碼子模塊4222:
[0116]所述原始視頻圖像編碼位流解碼子模塊4221可用于在對選取的原始視頻圖像編碼位流進行解碼時，根據(jù)所述原始視頻圖像編碼位流中攜帶的視頻編碼方法的標識信息，確定所述原始視頻圖像編碼位流所采用的視頻編碼方法，并根據(jù)與確定的所述原始視頻圖像編碼位流所采用的視頻編碼方法相匹配的視頻解碼方法對所述原始視頻圖像編碼位流進行解碼；
[0117]所述像素屬性圖像編碼位流解碼子模塊4222可用于在對選取的像素屬性圖像編碼位流進行解碼時，根據(jù)所述像素屬性圖像編碼位流中攜帶的視頻編碼方法的標識信息，確定所述像素屬性圖像編碼位流所采用的視頻編碼方法，并根據(jù)與確定的所述像素屬性圖像編碼位流所采用的視頻編碼方法相匹配的視頻解碼方法對所述像素屬性圖像編碼位流進行解碼。
[0118]例如，以對所述原始視頻圖像編碼位流進行解碼為例，若根據(jù)所述原始視頻圖像編碼位流中攜帶的視頻編碼方法的標識信息，確定所述原始視頻圖像是直接使用現(xiàn)有的視頻編碼方法進行編碼的，則所述原始視頻圖像編碼位流解碼子模塊4221可使用對應的現(xiàn)有視頻解碼方法(如幀內預測解碼方法)對所述原始視頻圖像編碼位流進行解碼、以得到相應的原始視頻圖像；若根據(jù)所述原始視頻圖像編碼位流中攜帶的視頻編碼方法的標識信息，確定原始視頻圖像是使用優(yōu)化的基于像素屬性的視頻編碼方法進行編碼的，則所述原始視頻圖像編碼位流解碼子模塊4221可針對不同類別的宏塊，采取相對應的解碼方法進行解碼，本發(fā)明實施例對此不作贅述。
[0119]進一步地，如圖4(b)所示，所述圖像生成模塊43可包括第一圖像生成子模塊431或者第二圖像生成子模塊432，其中:
[0120]所述第一圖像生成子模塊431可用于若根據(jù)設定的解碼需求，確定無需解碼所述像素屬性圖像編碼位流，則根據(jù)解碼獲得的原始視頻圖像，生成相應的輸出視頻圖像；
[0121]所述第二圖像生成子模塊432可用于若根據(jù)設定的解碼需求，確定需解碼所述像素屬性圖像編碼位流，則根據(jù)解碼獲得的原始視頻圖像和像素屬性圖像，生成相應的輸出視頻圖像；具體地，此時，所述第二圖像生成子模塊432可對解碼獲得的原始視頻圖像和像素屬性圖像進行融合，以得到包含屬于特定視頻內容層級的像素的、對應于特定應用場景的視頻圖像，本發(fā)明實施例對此不作贅述。
[0122]本發(fā)明實施例四提供了一種可用于實現(xiàn)本發(fā)明實施例二中所述視頻解碼方法的視頻解碼裝置，所述視頻解碼裝置在解碼過程中，可對接收到的原始視頻圖像編碼位流和/或像素屬性圖像編碼位流進行解碼，以獲得相應的原始視頻圖像和/或像素屬性圖像，并根據(jù)解碼獲得的原始視頻圖像和/或像素屬性圖像，生成相應的輸出視頻圖像，即在解碼出原始視頻圖像的同時也可解碼出原始視頻圖像中的各像素的像素屬性標識信息、進而根據(jù)各像素的像素屬性標識信息、提取出不同層次的對象，從而可達到更為靈活地支持視頻解碼過程中對象的層次表示以及提高視頻解碼過程中對視頻圖像的輪廓描述的精確性的目的。
[0123]本領域技術人員應明白，本發(fā)明的實施例可提供為方法、裝置(裝置)、或計算機程序產品。因此，本發(fā)明可采用完全硬件實施例、完全軟件實施例、或結合軟件和硬件方面的實施例的形式。而且，本發(fā)明可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限于磁盤存儲器、CD-ROM、光學存儲器等)上實施的計算機程序產品的形式。
[0124]本發(fā)明是參照根據(jù)本發(fā)明實施例的方法、裝置(裝置)和計算機程序產品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合?？商峁┻@些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理裝置的處理器以產生一個機器，使得通過計算機或其他可編程數(shù)據(jù)處理裝置的處理器執(zhí)行的指令產生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
[0125]這些計算機程序指令也可存儲在能引導計算機或其他可編程數(shù)據(jù)處理裝置以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
[0126]這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理裝置上，使得在計算機或其他可編程裝置上執(zhí)行一系列操作步驟以產生計算機實現(xiàn)的處理，從而在計算機或其他可編程裝置上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
[0127]盡管已描述了本發(fā)明的優(yōu)選實施例，但本領域內的技術人員一旦得知了基本創(chuàng)造性概念，則可對這些實施例作出另外的變更和修改。所以，所附權利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明范圍的所有變更和修改。
[0128]顯然，本領域的技術人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權利要求及其等同技術的范圍之內，則本發(fā)明也意圖包含這些改動和變型在內。
【權利要求】
1.一種視頻編碼方法，其特征在于，包括: 針對待編碼原始視頻圖像序列中的任一原始視頻圖像，確定所述原始視頻圖像中的各像素的像素屬性，并根據(jù)確定的各像素的像素屬性，生成與所述原始視頻圖像相對應的像素屬性圖像；其中，針對任一像素，所述像素的像素屬性以與所述像素的像素屬性相對應的、用于反映所述像素所對應的視頻內容層級的像素屬性標識值來表示； 分別對所述原始視頻圖像以及所述像素屬性圖像進行編碼，以得到相應的原始視頻圖像編碼位流以及像素屬性圖像編碼位流，并將得到的原始視頻圖像編碼位流以及像素屬性圖像編碼位流寫入輸出視頻位流。
2.如權利要求1所述的視頻編碼方法，其特征在于，所述像素屬性至少包括以下屬性信息中的任意一種或多種: 用于表示像素為前景像素或背景像素的場景屬性信息，場景深度，用于表示像素為靜態(tài)像素或動態(tài)像素的動靜態(tài)屬性信息，遮擋關系，或者，紋理信息。
3.如權利要求1或2所述的視頻編碼方法，其特征在于，所述像素屬性標識值為設定的亮度值或設定的色度值。
4.如權利要求3所述的視頻編碼方法，其特征在于，針對任一原始視頻圖像，通過以下方式確定所述原始視頻圖像中的各像素的像素屬性標識值: 根據(jù)所述原始視頻圖像中的各像素的像素屬性，將所述原始視頻圖像劃分為多個圖像區(qū)域；針對任一圖像區(qū)域，確定所述圖像區(qū)域所對應的視頻內容層級，并將與確定的視頻內容層級相對應的像素屬性標識值作為所述圖像區(qū)域內的各像素的像素屬性標識值；或者， 以所述待編碼原始視頻圖像序列中的多個原始視頻圖像為訓練集，生成場景圖像；將所述場景圖像作為背景圖像，確定所述原始視頻圖像中的各像素的像素屬性標識值。
5.如權利要求4所述的視頻編碼方法，其特征在于，將所述場景圖像作為背景圖像，確定所述原始視頻圖像中的各像素的像素屬性標識值，包括: 將所述場景圖像與所述原始視頻圖像做減除，得到帶有像素屬性標識值的圖像；之后，使用設定的填充算法，去除所述帶有像素屬性標識值的圖像中的噪聲像素，并根據(jù)去噪之后所得到的圖像，確定所述原始視頻圖像中的各像素的像素屬性標識值。
6.如權利要求1或2所述的視頻編碼方法，其特征在于，根據(jù)確定的各像素的像素屬性，生成與所述原始視頻圖像相對應的像素屬性圖像，包括: 對所述原始視頻圖像中的各像素的像素屬性對應的像素屬性標識值進行量化處理，以將所述原始視頻圖像中的各像素的像素屬性標識值限定在設定的區(qū)間范圍內，并根據(jù)量化處理后的所述原始視頻圖像中的各像素的像素屬性標識值，生成與所述原始視頻圖像相對應的像素屬性圖像。
7.如權利要求1或2所述的視頻編碼方法，其特征在于，分別對所述原始視頻圖像以及所述像素屬性圖像進行編碼，以得到相應的原始視頻圖像編碼位流以及像素屬性圖像編碼位流，包括: 利用現(xiàn)有視頻編碼方法或優(yōu)化后的基于像素屬性的視頻編碼方法對所述原始視頻圖像進行編碼，以得到相應的原始視頻圖像編碼位流；以及，利用現(xiàn)有視頻編碼方法或優(yōu)化后的基于像素屬性的視頻編碼方法對所述像素屬性圖像進行編碼，以得到相應的像素屬性圖像編碼位流； 其中，所述優(yōu)化后的基于像素屬性的視頻編碼方法是指，在編碼視頻圖像時，將視頻圖像的宏塊進行分類，針對不同類別的宏塊，使用不同的編碼方式進行編碼。
8.如權利要求7所述的視頻編碼方法，其特征在于，對所述原始視頻圖像以及所述像素屬性圖像進行編碼時所采用的視頻編碼方法互不相同。
9.如權利要求7所述的視頻編碼方法，其特征在于，分別對所述原始視頻圖像以及所述像素屬性圖像進行編碼，以得到相應的原始視頻圖像編碼位流以及像素屬性圖像編碼位流，還包括: 將對所述原始視頻圖像以及所述像素屬性圖像進行編碼時所采用的視頻編碼方法的標識信息分別編入相應的原始視頻圖像編碼位流以及像素屬性圖像編碼位流；或者， 將用于表示編碼位流為所述原始視頻圖像編碼位流或所述像素屬性圖像編碼位流的標識信息分別編入相應的原始視頻圖像編碼位流以及像素屬性圖像編碼位流。
10.如權利要求1或2所述的視頻編碼方法，其特征在于，將得到的原始視頻圖像編碼位流以及像素屬性圖像編碼位流寫入輸出視頻位流，包括: 將得到的原始視頻圖像編碼位流以及像素屬性圖像編碼位流同步寫入輸出視頻位流。
11.一種視頻解碼方法，其特征在于，包括: 接收輸入的原始視頻圖像編碼位流以及像素屬性圖像編碼位流；其中，所述原始視頻圖像編碼位流以及所述像素屬性圖像編碼位流分別是對待編碼原始視頻圖像以及與所述原始視頻圖像相對應的像素屬性圖像進行編碼后所得到的；所述像素屬性圖像是根據(jù)確定的所述原始視頻圖像中的各像素的像素屬性所生成的；其中，針對任一像素，所述像素的像素屬性以與所述像素的像素屬性相對應的、用于反映所述像素所對應的視頻內容層級的像素屬性標識值來表示； 對所述原始視頻圖像編碼位流和/或所述像素屬性圖像編碼位流進行解碼，以獲得相應的原始視頻圖像和/或像素屬性圖像； 根據(jù)解碼獲得的原始視頻圖像和/或像素屬性圖像，生成相應的輸出視頻圖像。
12.如權利要求11所述的視頻解碼方法，其特征在于，對所述原始視頻圖像編碼位流和/或所述像素屬性圖像編碼位流進行解碼，以獲得相應的原始視頻圖像和/或像素屬性圖像，包括: 根據(jù)設定的解碼需求，從所述原始視頻圖像編碼位流以及所述像素屬性圖像編碼位流中選取對應的編碼位流，并對選取的編碼位流進行解碼，以獲得相應的原始視頻圖像和/或像素屬性圖像。
13.如權利要求12所述的視頻解碼方法，其特征在于，對選取的編碼位流進行解碼，以獲得相應的原始視頻圖像和/或像素屬性圖像，包括: 在對選取的原始視頻圖像編碼位流進行解碼時，根據(jù)所述原始視頻圖像編碼位流中攜帶的視頻編碼方法的標識信息，確定所述原始視頻圖像編碼位流所采用的視頻編碼方法，并根據(jù)與確定的所述原始視頻圖像編碼位流所采用的視頻編碼方法相匹配的視頻解碼方法對所述原始視頻圖像編碼位流進行解碼； 或者，在對選取的像素屬性圖像編碼位流進行解碼時，根據(jù)所述像素屬性圖像編碼位流中攜帶的視頻編碼方法的標識信息，確定所述像素屬性圖像編碼位流所采用的視頻編碼方法，并根據(jù)與確定的所述像素屬性圖像編碼位流所采用的視頻編碼方法相匹配的視頻解碼方法對所述像素屬性圖像編碼位流進行解碼。
14.如權利要求11?13任一所述的視頻解碼方法，其特征在于，根據(jù)解碼獲得的原始視頻圖像和/或像素屬性圖像，生成相應的輸出視頻圖像，包括: 若根據(jù)設定的解碼需求，確定無需解碼所述像素屬性圖像編碼位流，則根據(jù)解碼獲得的原始視頻圖像，生成相應的輸出視頻圖像；或者， 若根據(jù)設定的解碼需求，確定需解碼所述像素屬性圖像編碼位流，則根據(jù)解碼獲得的原始視頻圖像和像素屬性圖像，生成相應的輸出視頻圖像。
15.一種視頻編碼裝置，其特征在于，包括: 屬性確定模塊，用于針對待編碼原始視頻圖像序列中的任一原始視頻圖像，確定所述原始視頻圖像中的各像素的像素屬性；其中，針對任一像素，所述像素的像素屬性以與所述像素的像素屬性相對應的、用于反映所述像素所對應的視頻內容層級的像素屬性標識值來表不; 圖像生成模塊，用于根據(jù)所述屬性確定模塊確定的所述原始視頻圖像中的各像素的像素屬性，生成與所述原始視頻圖像相對應的像素屬性圖像； 圖像編碼模塊，用于分別對所述原始視頻圖像以及所述像素屬性圖像進行編碼，以得到相應的原始視頻圖像編碼位流以及像素屬性圖像編碼位流； 編碼輸出模塊，用于將所述圖像編碼模塊編碼得到的原始視頻圖像編碼位流以及像素屬性圖像編碼位流寫入輸出視頻位流。
16.如權利要求15所述的視頻編碼裝置，其特征在于，所述像素屬性至少包括以下屬性信息中的任意一種或多種: 用于表示像素為前景像素或背景像素的場景屬性信息，場景深度，用于表示像素為靜態(tài)像素或動態(tài)像素的動靜態(tài)屬性信息，遮擋關系，或者，紋理信息。
17.如權利要求15或16所述的視頻編碼裝置，其特征在于，所述像素屬性標識值為設定的亮度值或設定的色度值。
18.如權利要求17所述的視頻編碼裝置，其特征在于，所述視頻編碼裝置還包括第一屬性標識確定模塊或者第二屬性標識確定模塊； 所述第一屬性標識確定模塊包括區(qū)域劃分子模塊以及第一標識確定子模塊，其中:所述區(qū)域劃分子模塊，用于根據(jù)所述原始視頻圖像中的各像素的像素屬性，將所述原始視頻圖像劃分為多個圖像區(qū)域； 所述第一標識確定子模塊，用于針對所述區(qū)域劃分子模塊劃分的任一圖像區(qū)域，確定所述圖像區(qū)域所對應的視頻內容層級，并將與確定的視頻內容層級相對應的像素屬性標識值作為所述圖像區(qū)域內的各像素的像素屬性標識值； 所述第二屬性標識確定模塊包括場景圖像訓練子模塊以及第二標識確定子模塊，其中: 所述場景圖像訓練子模塊，用于以所述待編碼原始視頻圖像序列中的多個原始視頻圖像為訓練集，生成場景圖像； 所述第二標識確定子模塊，用于將所述場景圖像訓練子模塊生成的所述場景圖像作為背景圖像，確定所述原始視頻圖像中的各像素的像素屬性標識值。
19.如權利要求18所述的視頻編碼裝置，其特征在于， 所述第二標識確定子模塊，具體用于將所述場景圖像與所述原始視頻圖像做減除，得到帶有像素屬性標識值的圖像；之后，使用設定的填充算法，去除所述帶有像素屬性標識值的圖像中的噪聲像素，并根據(jù)去噪之后所得到的圖像，確定所述原始視頻圖像中的各像素的像素屬性標識值。
20.如權利要求15或16所述的視頻編碼裝置，其特征在于，所述圖像生成模塊包括量化處理子模塊以及圖像生成子模塊: 所述量化處理子模塊，用于對所述原始視頻圖像中的各像素的像素屬性對應的像素屬性標識值進行量化處理，以將所述原始視頻圖像中的各像素的像素屬性標識值限定在設定的區(qū)間范圍內； 所述圖像生成子模塊，用于根據(jù)所述量化處理子模塊量化處理后的所述原始視頻圖像中的各像素的像素屬性標識值，生成與所述原始視頻圖像相對應的像素屬性圖像。
21.如權利要求15或16所述的視頻編碼裝置，其特征在于，所述圖像編碼模塊包括原始視頻圖像編碼子模塊以及像素屬性圖像編碼子模塊: 所述原始視頻圖像編碼子模塊，用于利用現(xiàn)有視頻編碼方法或優(yōu)化后的基于像素屬性的視頻編碼方法對所述原始視頻圖像進行編碼，以得到相應的原始視頻圖像編碼位流； 所述像素屬性圖像編碼子模塊，用于利用現(xiàn)有視頻編碼方法或優(yōu)化后的基于像素屬性的視頻編碼方法對所述像素屬性圖像進行編碼，以得到相應的像素屬性圖像編碼位流； 其中，所述優(yōu)化后的基于像素屬性的視頻編碼方法是指，在編碼視頻圖像時，將視頻圖像的宏塊進行分類，針對不同類別的宏塊，使用不同的編碼方式進行編碼。
22.如權利要求21所述的視頻編碼裝置，其特征在于，所述原始視頻圖像編碼子模塊對所述原始視頻圖像進行編碼時所采用的視頻編碼方法與所述像素屬性圖像編碼子模塊對所述像素屬性圖像進行編碼時所采用的視頻編碼方法互不相同。
23.如權利要求21所述的視頻編碼裝置，其特征在于，所述圖像編碼模塊還包括第一標識信息添加子模塊或者第二標識信息添加子模塊: 所述第一標識信息添加子模塊，用于將對所述原始視頻圖像以及所述像素屬性圖像進行編碼時所采用的視頻編碼方法的標識信息分別編入相應的原始視頻圖像編碼位流以及像素屬性圖像編碼位流； 所述第二標識信息添加子模塊，用于將用于表示編碼位流為所述原始視頻圖像編碼位流或所述像素屬性圖像編碼位流的標識信息分別編入相應的原始視頻圖像編碼位流以及像素屬性圖像編碼位流。
24.如權利要求15或16所述的視頻編碼裝置，其特征在于， 所述編碼輸出模塊，具體用于將得到的原始視頻圖像編碼位流以及像素屬性圖像編碼位流同步寫入輸出視頻位流。
25.一種視頻解碼裝置，其特征在于，包括: 碼流接收模塊，用于接收輸入的原始視頻圖像編碼位流以及像素屬性圖像編碼位流；其中，所述原始視頻圖像編碼位流以及所述像素屬性圖像編碼位流分別是對待編碼原始視頻圖像以及與所述原始視頻圖像相對應的像素屬性圖像進行編碼后所得到的；所述像素屬性圖像是根據(jù)確定的所述原始視頻圖像中的各像素的像素屬性所生成的；其中，針對任一像素，所述像素的像素屬性以與所述像素的像素屬性相對應的、用于反映所述像素所對應的視頻內容層級的像素屬性標識值來表示； 碼流解碼模塊，用于對所述碼流接收模塊接收到的所述原始視頻圖像編碼位流和/或所述像素屬性圖像編碼位流進行解碼，以獲得相應的原始視頻圖像和/或像素屬性圖像； 圖像生成模塊，用于根據(jù)所述碼流解碼模塊解碼獲得的原始視頻圖像和/或像素屬性圖像，生成相應的輸出視頻圖像。
26.如權利要求25所述的視頻解碼裝置，其特征在于，所述碼流解碼模塊包括碼流選取子模塊以及碼流解碼子模塊: 所述碼流選取子模塊，用于根據(jù)設定的解碼需求，從所述原始視頻圖像編碼位流以及所述像素屬性圖像編碼位流中選取對應的編碼位流； 所述碼流解碼子模塊，用于對所述碼流選取子模塊選取的編碼位流進行解碼，以獲得相應的原始視頻圖像和/或像素屬性圖像。
27.如權利要求26所述的視頻解碼裝置，其特征在于，所述碼流解碼子模塊包括原始視頻圖像編碼位流解碼子模塊和/或像素屬性圖像編碼位流解碼子模塊: 所述原始視頻圖像編碼位流解碼子模塊，用于在對選取的原始視頻圖像編碼位流進行解碼時，根據(jù)所述原始視頻圖像編碼位流中攜帶的視頻編碼方法的標識信息，確定所述原始視頻圖像編碼位流所采用的視頻編碼方法，并根據(jù)與確定的所述原始視頻圖像編碼位流所采用的視頻編碼方法相匹配的視頻解碼方法對所述原始視頻圖像編碼位流進行解碼； 所述像素屬性圖像編碼位流解碼子模塊，用于在對選取的所述像素屬性圖像編碼位流進行解碼時，根據(jù)所述像素屬性圖像編碼位流中攜帶的視頻編碼方法的標識信息，確定所述像素屬性圖像編碼位流所采用的視頻編碼方法，并根據(jù)與確定的所述像素屬性圖像編碼位流所采用的視頻編碼方法相匹配的視頻解碼方法對所述像素屬性圖像編碼位流進行解碼。
28.如權利要求25?27任一所述的視頻解碼裝置，其特征在于，所述圖像生成模塊包括第一圖像生成子模塊或者第二圖像生成子模塊: 所述第一圖像生成子模塊，用于若根據(jù)設定的解碼需求，確定無需解碼所述像素屬性圖像編碼位流，則根據(jù)解碼獲得的原始視頻圖像，生成相應的輸出視頻圖像； 所述第二圖像生成子模塊，用于若根據(jù)設定的解碼需求，確定需解碼所述像素屬性圖像編碼位流，則根據(jù)解碼獲得的原始視頻圖像和像素屬性圖像，生成相應的輸出視頻圖像。
【文檔編號】H04N19/30GK104168482SQ201410302970
【公開日】2014年11月26日 申請日期:2014年6月27日 優(yōu)先權日:2014年6月27日
【發(fā)明者】田永鴻, 陳偉, 王耀威, 黃鐵軍 申請人:中安消技術有限公司, 北京大學