1.一種編碼具有非重疊目標(biāo)塊的多個(gè)視頻幀的方法,所述方法包括:
使用重要性圖來編碼所述多個(gè)視頻幀,使得所述重要性圖修改量化,所述量化影響每個(gè)視頻幀中要被編碼的每個(gè)目標(biāo)塊的編碼質(zhì)量,所述重要性圖通過以下而被形成:
使用時(shí)間信息和空間信息來配置所述重要性圖;以及
計(jì)算地使能所述重要性圖指示所述多個(gè)視頻幀中的視頻幀的哪些部分對(duì)于人類感知而言最顯著,以使得:(i)在所述重要性圖取高值的塊中,塊量化參數(shù)(QP)相對(duì)于幀量化參數(shù)QPframe被減小,導(dǎo)致那些塊的較高質(zhì)量,以及(ii)在重要性圖取低值的目標(biāo)塊中,所述塊量化參數(shù)相對(duì)于所述幀量化參數(shù)QPframe被增加,導(dǎo)致那些塊的較低質(zhì)量。
2.根據(jù)權(quán)利要求1所述的方法,其中所述空間信息由基于規(guī)則的空間復(fù)雜度圖(SCM)提供,其中初始步驟確定所述幀中的哪些目標(biāo)塊具有比所述幀中的平均塊方差varframe更高的方差;并且
針對(duì)這樣的塊,基于塊方差varblock比varframe高多少來指派比所述幀量化參數(shù)QPframe高的QP值,其中所述塊QP指派QPblock在QPframe與最大量化參數(shù)QPmax之間被線性地縮放。
3.根據(jù)權(quán)利要求1所述的方法,其中所述時(shí)間信息由以下提供:
時(shí)間對(duì)比敏感度函數(shù)(TCSF),所述時(shí)間對(duì)比敏感度函數(shù)指示哪些目標(biāo)塊對(duì)于人類觀察者而言在時(shí)間上最顯著,并且
真實(shí)運(yùn)動(dòng)矢量圖(TMVM),所述真實(shí)運(yùn)動(dòng)矢量圖指示哪些目標(biāo)塊對(duì)應(yīng)于前景數(shù)據(jù),
其中所述TCSF僅被認(rèn)為對(duì)于被標(biāo)識(shí)為前景數(shù)據(jù)的那些目標(biāo)塊有效。
4.根據(jù)權(quán)利要求2所述的方法,其中高方差塊使其塊QP指派QPblock進(jìn)一步由所述TCSF和TMVM精細(xì)化,使得如果所述TMVM將目標(biāo)塊標(biāo)識(shí)為前景數(shù)據(jù)并且所述TCSF對(duì)于該塊具有小于0.5的對(duì)數(shù)對(duì)比敏感度值,則QPblock被提高2。
5.根據(jù)權(quán)利要求2所述的方法,其中所述SCM還包括亮度遮罩,其中非常亮(亮度高于170)或非常暗(亮度低于60)的目標(biāo)塊將它們的塊量化參數(shù)QPblock調(diào)整回QPmax。
6.根據(jù)權(quán)利要求2所述的方法,其中所述SCM還包括基于經(jīng)編碼的所述視頻的質(zhì)量水平對(duì)QPmax的動(dòng)態(tài)確定,
其中質(zhì)量使用內(nèi)(I)幀中的目標(biāo)塊的平均結(jié)構(gòu)相似度(SSIM)計(jì)算連同這樣的幀的所述平均塊方差varframe來被測(cè)量;
使得當(dāng)所測(cè)量的質(zhì)量低時(shí),QPmax的值被降低到更接近QPframe的值。
7.根據(jù)權(quán)利要求2所述的方法,其中非常低方差的塊被指派固定的低QP值QPblock以確保在那些區(qū)域中的高質(zhì)量編碼,使得所述塊方差越低,QPblock的值越低(并且所述質(zhì)量越高)。
8.根據(jù)權(quán)利要求7所述的方法,其中針對(duì)非常低方差的塊的低QP值QPblock的指派首先針對(duì)I幀是固定的,然后針對(duì)P幀和B幀使用ipratio和pbratio參數(shù)來被確定。
9.根據(jù)權(quán)利要求7所述的方法,其中作為低方差但不符合非常低方差的塊被檢查,以確定對(duì)于那些塊是否需要質(zhì)量增強(qiáng);
使得塊QP QPblock的初始估計(jì)通過對(duì)與所述當(dāng)前塊的左、左上、右和右上相鄰的已編碼塊的所述QP值求平均來被計(jì)算;
所述當(dāng)前塊的SSIM的估計(jì)SSIMest根據(jù)與所述當(dāng)前塊的左、左上、右和右上相鄰的已編碼塊的所述SSIM值來被計(jì)算;
并且如果SSIMest低于0.9,則QPblock的值被降低2。
10.根據(jù)權(quán)利要求9所述的方法,其中所述質(zhì)量增強(qiáng)僅被應(yīng)用于由所述TMVM標(biāo)識(shí)為前景數(shù)據(jù)并且所述TCSF針對(duì)其而具有大于0.8的對(duì)數(shù)對(duì)比敏感度值的那些塊。
11.根據(jù)權(quán)利要求3所述的方法,其中所述TCSF的所述時(shí)間頻率通過以下來被計(jì)算:在所述目標(biāo)塊與所述目標(biāo)塊的參考?jí)K之間的色彩空間域中使用SSIM來逼近波長并且使用運(yùn)動(dòng)矢量幅度和所述幀速率來逼近速度。
12.根據(jù)權(quán)利要求3所述的方法,其中所述TCSF在多個(gè)幀上被計(jì)算,使得所述當(dāng)前幀的所述TCSF是近期的幀上的TCSF圖的加權(quán)平均,其中更近期的幀接收更高的加權(quán)。
13.根據(jù)權(quán)利要求3所述的方法,其中所述TMVM僅針對(duì)前景數(shù)據(jù)而被設(shè)置為1。
14.根據(jù)權(quán)利要求13所述的方法,其中前景數(shù)據(jù)通過計(jì)算給定目標(biāo)塊的編碼器運(yùn)動(dòng)矢量與該塊的全局運(yùn)動(dòng)矢量之間的差異而被標(biāo)識(shí),使得具有足夠大差異的塊被確定為前景數(shù)據(jù)。
15.根據(jù)權(quán)利要求14所述的方法,其中針對(duì)被標(biāo)識(shí)為前景數(shù)據(jù)的數(shù)據(jù)塊,所述編碼器運(yùn)動(dòng)矢量從所述全局運(yùn)動(dòng)矢量中被減去,以獲得差分運(yùn)動(dòng)矢量,并且所述差分運(yùn)動(dòng)矢量的幅度被用于計(jì)算所述TCSF的所述時(shí)間頻率。
16.根據(jù)權(quán)利要求3所述的方法,其中所述TCSF根據(jù)來自編碼器的運(yùn)動(dòng)矢量而被計(jì)算。
17.根據(jù)權(quán)利要求1所述的方法,其中如果所述重要性圖被配置有所述時(shí)間信息和空間信息,則所述重要性圖是統(tǒng)一重要性圖。
18.一種編碼視頻數(shù)據(jù)的系統(tǒng),所述系統(tǒng)包括:
編解碼器,所述編解碼器使用重要性圖來編碼具有非重疊目標(biāo)塊的多個(gè)視頻幀;并且
所述重要性圖被配置為修改量化,所述量化影響每個(gè)視頻幀中要被編碼的每個(gè)目標(biāo)塊的編碼質(zhì)量,所述重要性圖通過以下而被形成:
使用時(shí)間信息和空間信息來配置所述重要性圖,其中被配置有所述時(shí)間信息和空間信息的重要性圖是統(tǒng)一重要性圖;并且
計(jì)算地使能所述重要性圖指示所述多個(gè)視頻幀中的視頻幀的對(duì)于人類感知而言最顯著的部分,以使得:(i)在所述重要性圖取高值的塊中,塊量化參數(shù)(QP)相對(duì)于幀量化參數(shù)QPframe被減小,導(dǎo)致那些塊的較高質(zhì)量,以及(ii)在重要性圖取低值的目標(biāo)塊中,所述塊量化參數(shù)相對(duì)于所述幀量化參數(shù)QPframe被增加,導(dǎo)致那些塊的較低質(zhì)量。
19.根據(jù)權(quán)利要求18所述的編碼器,其中所述空間信息由基于規(guī)則的空間復(fù)雜度圖(SCM)提供,其中初始步驟確定所述幀中的哪些目標(biāo)塊具有比所述幀中的平均塊方差varframe更高的方差;并且針對(duì)這樣的塊,基于塊方差varblock比varframe高多少來指派比所述幀量化參數(shù)QPframe高的QP值,其中所述塊QP指派QPblock在QPframe與最大量化參數(shù)QPmax之間被線性地縮放。
20.根據(jù)權(quán)利要求18所述的編碼器,其中所述時(shí)間信息由以下提供:
時(shí)間對(duì)比敏感度函數(shù)(TCSF),所述時(shí)間對(duì)比敏感度函數(shù)指示哪些目標(biāo)塊對(duì)于人類觀察者而言在時(shí)間上最顯著,并且
真實(shí)運(yùn)動(dòng)矢量圖(TMVM),所述真實(shí)運(yùn)動(dòng)矢量圖指示哪些目標(biāo)塊對(duì)應(yīng)于前景數(shù)據(jù),
其中所述TCSF僅被認(rèn)為對(duì)于被標(biāo)識(shí)為前景數(shù)據(jù)的那些目標(biāo)塊有效。
21.根據(jù)權(quán)利要求19所述的編碼器,其中高方差塊使其塊QP指派QPblock進(jìn)一步由所述TCSF和TMVM精細(xì)化,使得如果所述TMVM將目標(biāo)塊標(biāo)識(shí)為前景數(shù)據(jù)并且所述TCSF對(duì)于該塊具有小于0.5的對(duì)數(shù)比對(duì)敏感度值,則QPblock被提高2。
22.根據(jù)權(quán)利要求19所述的編碼器,其中所述SCM還包括亮度遮罩,其中非常亮(亮度高于170)或非常暗(亮度低于60)的目標(biāo)塊將它們的塊量化參數(shù)QPblock調(diào)整回QPmax。
23.根據(jù)權(quán)利要求19所述的編碼器,其中所述SCM還包括基于所述編碼視頻的質(zhì)量水平對(duì)QPmax的動(dòng)態(tài)確定,
其中質(zhì)量使用內(nèi)(I)幀中的目標(biāo)塊的平均結(jié)構(gòu)相似度(SSIM)計(jì)算連同這些幀的所述平均塊方差varframe來被測(cè)量;
使得當(dāng)所測(cè)量的質(zhì)量低時(shí),QPmax的值被降低到更接近QPframe的值。
24.根據(jù)權(quán)利要求19所述的編碼器,其中向非常低方差的塊指派固定的低QP值QPblock以確保在那些區(qū)域中的高質(zhì)量編碼,使得所述塊方差越低,QPblock的值越低(并且所述質(zhì)量越高)。
25.根據(jù)權(quán)利要求24所述的編碼器,其中針對(duì)非常低方差的塊的低QP值QPblock的指派首先對(duì)于I幀是固定的,然后針對(duì)P幀和B幀使用ipratio和pbratio參數(shù)來被確定。
26.根據(jù)權(quán)利要求19所述的系統(tǒng),其中作為低方差但不符合非常低方差的塊被檢查,以確定對(duì)于那些塊是否需要質(zhì)量增強(qiáng);
使得塊QP QPblock的初始估計(jì)通過對(duì)所述當(dāng)前塊的左側(cè)、左上側(cè)、右側(cè)和右上側(cè)的相鄰已編碼塊的所述QP值求平均來被計(jì)算;
所述當(dāng)前塊的SSIM的估計(jì)SSIMest根據(jù)所述當(dāng)前塊的所述左側(cè)、左上側(cè)、右側(cè)和右上側(cè)的相鄰已編碼塊的所述SSIM值來被計(jì)算;并且
如果SSIMest低于0.9,則QPblock的值被降低2。
27.根據(jù)權(quán)利要求26所述的系統(tǒng),其中所述質(zhì)量增強(qiáng)僅被應(yīng)用于由所述TMVM標(biāo)識(shí)為前景數(shù)據(jù)并且所述TCSF針對(duì)其而具有大于0.8的對(duì)數(shù)對(duì)比敏感度值的那些塊。
28.根據(jù)權(quán)利要求20所述的系統(tǒng),其中所述TCSF的所述時(shí)間頻率通過以下來被計(jì)算:使用所述目標(biāo)塊與所述目標(biāo)塊的參考?jí)K之間的色彩空間域中的SSIM來逼近波長,并且使用運(yùn)動(dòng)矢量幅度和所述幀速率來逼近速度。
29.根據(jù)權(quán)利要求20所述的系統(tǒng),其中所述TCSF在多個(gè)幀上被計(jì)算,使得所述當(dāng)前幀的所述TCSF是近期的幀上的TCSF圖的加權(quán)平均,其中更近期的幀接收更高的權(quán)重。
30.根據(jù)權(quán)利要求20所述的系統(tǒng),其中所述TMVM僅針對(duì)前景數(shù)據(jù)而被設(shè)置為1。
31.根據(jù)權(quán)利要求30所述的系統(tǒng),其中前景數(shù)據(jù)通過計(jì)算給定目標(biāo)塊的編碼器運(yùn)動(dòng)矢量與該塊的全局運(yùn)動(dòng)矢量之間的差異而被標(biāo)識(shí),使得具有足夠大差異的塊被確定為前景數(shù)據(jù)。
32.根據(jù)權(quán)利要求20所述的系統(tǒng),其中針對(duì)被標(biāo)識(shí)為前景數(shù)據(jù)的數(shù)據(jù)塊,從所述全局運(yùn)動(dòng)矢量中減去所述編碼器運(yùn)動(dòng)矢量,以獲得差分運(yùn)動(dòng)矢量,并且所述差分運(yùn)動(dòng)矢量的幅度被用于計(jì)算所述TCSF的所述時(shí)間頻率。
33.根據(jù)權(quán)利要求20所述的系統(tǒng),其中,所述TCSF根據(jù)來自編碼器的運(yùn)動(dòng)矢量而被計(jì)算。
34.根據(jù)權(quán)利要求18所述的系統(tǒng),其中如果所述重要性圖被配置有所述時(shí)間信息和空間信息,則所述重要性圖是統(tǒng)一重要性圖。