專利名稱：用于視頻編碼和處理的光照補(bǔ)償和轉(zhuǎn)變的方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及圖像處理。更具體地，本發(fā)明的實(shí)施例涉及針對視頻編碼和處理的光照補(bǔ)償參數(shù)推導(dǎo)以及光照主轉(zhuǎn)變類型檢測。
背景技術(shù)：
視頻信號(hào)的從一個(gè)畫面到下一個(gè)畫面的轉(zhuǎn)變經(jīng)常表征為:新畫面相對于先前畫面的可能經(jīng)歷了壓縮或處理操作的運(yùn)動(dòng)、對象或?qū)ο蟮囊徊糠值某霈F(xiàn)或消失，或新場景的完全出現(xiàn)，使得先前編碼的、處理的、或原始的畫面不太適合用作預(yù)測參考?？梢允褂眠\(yùn)動(dòng)補(bǔ)償(幀間預(yù)測的特殊情況)和幀內(nèi)預(yù)測來對這些事件的大多數(shù)進(jìn)行建模。運(yùn)動(dòng)補(bǔ)償用于使用一個(gè)或多個(gè)先前編碼的畫面中的樣本對當(dāng)前畫面中的樣本進(jìn)行預(yù)測。更具體地，在基于塊的運(yùn)動(dòng)補(bǔ)償中，根據(jù)來自一些已經(jīng)解碼的參考畫面的樣本塊預(yù)測當(dāng)前畫面中的樣本塊。已經(jīng)解碼的參考畫面稱為預(yù)測塊。預(yù)測塊可以像一些先前編碼畫面中的布置塊(collocatedblock) —樣簡單，其與全零運(yùn)動(dòng)向量對應(yīng)。但是為了說明運(yùn)動(dòng)，傳輸以下運(yùn)動(dòng)向量:該向量指導(dǎo)解碼器使用與正在被預(yù)測的塊較為匹配的一些其他的、位移的塊。該運(yùn)動(dòng)模型能夠像平移運(yùn)動(dòng)模型(其中運(yùn)動(dòng)參數(shù)由水平和豎直位移運(yùn)動(dòng)向量組成)一樣簡單，或像需要6或8個(gè)運(yùn)動(dòng)參數(shù)的仿射運(yùn)動(dòng)模型或透視運(yùn)動(dòng)模型一樣復(fù)雜。更復(fù)雜的運(yùn)動(dòng)補(bǔ)償方案還可以產(chǎn)生預(yù)測塊，預(yù)測塊是與不同的運(yùn)動(dòng)參數(shù)對應(yīng)的多個(gè)塊的組合。但是，視頻信號(hào)還包含不能有效地通過運(yùn)動(dòng)補(bǔ)償(幀間預(yù)測)或幀內(nèi)預(yù)測來建模的全局或局部光照變化。這些光照變化通常被發(fā)現(xiàn)為淡入淡出(fade)、交叉淡入淡出(cross-fade)、閃光和其他局部光照變化，其例如可以由多個(gè)光源的存在而引起。加權(quán)預(yù)測(WP)，例如，光照補(bǔ)償能夠有益于對于淡入淡出、交叉淡入淡出、閃光和其他局部光照變化的預(yù)測效率。加權(quán)預(yù)測包括:將顏色分量樣本(例如,亮度樣本和/或色度樣本)與增益加權(quán)(相乘),再通過加上附加的偏移進(jìn)一步增大。請注意，在本公開內(nèi)容中，可以將顏色參數(shù)或顏色分量用于指代包括顏色域或空間的各個(gè)分量。還請注意，在一些域或空間中，顏色分量可以包括與強(qiáng)度有關(guān)的分量和與顏色有關(guān)的分量。與強(qiáng)度有關(guān)的分量可以包括一個(gè)或多個(gè)亮度值，并且與顏色有關(guān)的分量可以包括一個(gè)或多個(gè)色度值。現(xiàn)有技術(shù)中的編解碼器如H.264/AVC支持可能位于許多可能的顏色空間/域之一中的樣本的加權(quán)預(yù)測。加權(quán)預(yù)測還具有時(shí)間預(yù)濾波和后濾波用途，其能夠用于減小傳感器噪聲、壓縮或其他失真和時(shí)域閃爍/不一致等。實(shí)踐中，負(fù)責(zé)光照變化的圖像處理操作可以不必在用于壓縮或處理圖像的域例如YCbCr中發(fā)起。受實(shí)驗(yàn)發(fā)現(xiàn)支持的直覺顯示:這些操作通常在一些其它域中進(jìn)行，通常是sRGB域(sRGB是廣泛地用于PC和數(shù)字相機(jī)的RGB顏色空間)，其也接近于人類對顏色信息的感知觀念。注意，存在轉(zhuǎn)換至RGB顏色空間或由RGB顏色空間轉(zhuǎn)換的許多可能的YCbCr轉(zhuǎn)換公式。此外，必須說明在產(chǎn)生光照變化的操作之前或之后已經(jīng)被伽馬校正了的RGB值的問題。除了由處理(主要是淡入淡出和交叉淡入淡出)產(chǎn)生的光照變化以外，還存在作為內(nèi)容的一部分的光照變化，例如全局或局部的閃光、來自閃光燈和燈具的改變的光照、以及偏移自然光照等。通過某種加權(quán)預(yù)測參數(shù)搜索/估計(jì)(WP搜索)來導(dǎo)出加權(quán)預(yù)測參數(shù)例如增益w和偏移f，其用于根據(jù)樣本P對樣本s進(jìn)行光照補(bǔ)償s = wXp+f0在其最直接和最高復(fù)雜度形式中，可以使用暴力(brute force)搜索方案，該方案考慮了在某個(gè)受限窗口內(nèi)的增益和偏移的所有可能的組合，與暴力搜索類似，用于運(yùn)動(dòng)估計(jì)的全搜索方案計(jì)算光照補(bǔ)償參考信號(hào)與源信號(hào)相比的失真/相似性并且選擇產(chǎn)生最小失真的光照補(bǔ)償參數(shù)。在這樣的搜索期間還可以考慮運(yùn)動(dòng)估計(jì)和補(bǔ)償。但是全搜索是計(jì)算密集的。已經(jīng)提出了估計(jì)對于某個(gè)給定的塊、區(qū)域或甚至是整個(gè)幀(對于全局光照補(bǔ)償)的“最佳”增益和偏移的各種加權(quán)參數(shù)估計(jì)技術(shù)° 例如，參見 K.Kamikura, et al."Global Brightness-Variation Compensationfor VideoCoding, 〃IEEE Transactions on Circuits and Systems for VideoTechnology,vol.8, no, 8, Decemberl998, pp.988 - 1000,其描述了一種提高視頻場景的編碼效率的全局亮度變化補(bǔ)償方案，上述視頻場景包含由淡入/淡出、相機(jī)光圈調(diào)節(jié)、閃爍、光照變化等引起的全局亮度變化。還參見 Y.Kikuchi and Τ.Chujoh, "Interpolation coefficientadaptation inmult1-frame interpolative prediction", Joint VideoTeam ofISO/IECMPEG and ITU-T VCEG, JVT-C103, Mar.2002 以及H.Kato and Y.Nakajima, "Weightingfactor determination algorithm for H.264/MPEG-4AVC weighted prediction, 〃Proc.1EEE6th Workshop onMultimediaSignal Proc., Siena, Italy, Oct.2004。為了最好的可能結(jié)果，如上面在參考文獻(xiàn)中所討論的方法必須單獨(dú)地應(yīng)用到每個(gè)顏色分量。加權(quán)參數(shù)搜索可能還從運(yùn)動(dòng)估計(jì)與補(bǔ)償中受益。例如，參見 J.M.Boyce, "Weighted prediction in the H.264/MPEG_4AVCvideo codingstandard, 〃Proc.1EEE International Symposium on Circuitsand Systems, Vancouver,Canada, May2004, vol.3, pp.789-792。在H.264/AVC標(biāo)準(zhǔn)中，在對樣本的運(yùn)動(dòng)補(bǔ)償后接著應(yīng)用加權(quán)預(yù)測以產(chǎn)生最終的預(yù)測樣本。因此，在WP搜索期間，運(yùn)動(dòng)向量與加權(quán)參數(shù)之間有互依性。這可以通過進(jìn)行如下的多次迭代來解決:使用某種簡單算法來初始化加權(quán)參數(shù)并且使用加權(quán)參數(shù)來按比例縮放和偏移參考幀。然后將所按比例縮放并且偏移的參考幀用于產(chǎn)生運(yùn)動(dòng)向量的運(yùn)動(dòng)估計(jì)?？商娲?，可以將對樣本的按比例縮放和偏移結(jié)合到運(yùn)動(dòng)估計(jì)步驟中。在這樣的實(shí)施中，動(dòng)態(tài)(on-the-fIy)考慮按比例縮放和偏移并且不需要產(chǎn)生加權(quán)參考的離散步驟。在第二次迭代中，在WP搜索期間使用這些運(yùn)動(dòng)向量以針對每個(gè)MB使用實(shí)際的預(yù)測參考?jí)K來導(dǎo)出WP參數(shù)。然后再一次在這之后接著生成按比例縮放和偏移的參考幀，該參考幀經(jīng)歷了考慮已經(jīng)導(dǎo)出的按比例縮放和偏移的運(yùn)動(dòng)估計(jì)或單一的運(yùn)動(dòng)估計(jì)步驟。通常，如果WP參數(shù)已經(jīng)會(huì)聚則這些算法終止。如上面所表示的，現(xiàn)有技術(shù)中已知的用于解決光照補(bǔ)償?shù)姆椒赡苁怯?jì)算地密集的，這導(dǎo)致圖像顯示的性能降低或提供所期望的性能的硬件成本增加。注意，即使可以互換地使用術(shù)語幀與畫面，可互換的用途仍不應(yīng)該解釋為排除隔行掃描的內(nèi)容如場畫面。本公開內(nèi)容的教示可以應(yīng)用于漸進(jìn)掃描的幀以及隔行掃描的場(頂部或底部)畫面。


結(jié)合到本說明書并且構(gòu)成本說明書的一部分的附圖示出了本公開內(nèi)容的一個(gè)或多個(gè)實(shí)施例并且與詳細(xì)的描述及示例一起用于說明本公開內(nèi)容的原理和實(shí)施。圖1示出了用于確定局部或全局光照變化的算法的流程圖；圖2示出了針對淡入淡出的顏色WP參數(shù)估計(jì)的流程圖；圖3示出了在增益wY不等于I并且偏移fY不等于O的情況下顏色參數(shù)推導(dǎo)算法的流程圖；圖4示出了針對閃光的顏色WP參數(shù)的推導(dǎo)算法的流程圖；圖5示出了針對淡入淡出的在線性域中的WP參數(shù)推導(dǎo)算法的流程圖；圖6示出了淡入淡出的結(jié)束的圖，其中DC減小直至幀m+2。圖7示出了淡入淡出的結(jié)束的圖，其中DC增加直至幀m+2。圖8示出了淡入淡出的開始的圖，其中DC從幀m+2增加。圖9示出了淡入淡出的結(jié)束的圖，其中DC從幀m+2減小。圖10示出了使用光照關(guān)系的淡入淡出檢測算法的流程圖。圖11示出了低復(fù)雜度交叉淡入淡出檢測器的算法的流程圖；圖12示出了從黑色淡入的情況下的具有飽和背景的全局光照示例；圖13示出了一般的具有飽和背景的全局光照示例；圖14示出了基于標(biāo)記集合的WP參數(shù)搜索算法的流程圖；圖15示出了使用迭代消除的WP搜索算法的流程圖；以及圖16示出了混合視頻解碼器的框圖。
具體實(shí)施例方式如在下面的示例所提出的，本發(fā)明的一個(gè)實(shí)施例是一種用于在視頻信號(hào)的從一個(gè)畫面到下一個(gè)畫面的轉(zhuǎn)變中檢測淡入淡出和確定所述淡入淡出的全局或局部性質(zhì)，該方法包括:提供畫面的多個(gè)幀和有關(guān)的預(yù)測參考幀；對于每個(gè)幀和有關(guān)的預(yù)測參考幀，計(jì)算第一顏色域中的一個(gè)或多個(gè)與強(qiáng)度有關(guān)的值和一個(gè)或多個(gè)與顏色有關(guān)的分量值；對于每個(gè)幀和有關(guān)的預(yù)測參考幀，計(jì)算對于第一顏色域中的每個(gè)顏色分量值的加權(quán)預(yù)測增益；如果加權(quán)預(yù)測增益是全為非負(fù)并且彼此基本上相似，則確定具有O偏移的全局轉(zhuǎn)變主要發(fā)生在第二顏色域中；如果加權(quán)預(yù)測增益不是全為非負(fù)并且彼此基本上相似，則確定以下各項(xiàng)中的至少一項(xiàng)不發(fā)生:全局淡入淡出轉(zhuǎn)變；具有零偏移的全局淡入淡出轉(zhuǎn)變；或在第二顏色域中具有零偏移的全局淡入淡出轉(zhuǎn)變。如在下面的示例中進(jìn)一步提出的，本發(fā)明的另一個(gè)實(shí)施例是一種用于在視頻信號(hào)的從一個(gè)畫面到下一個(gè)畫面的轉(zhuǎn)變中檢測淡入淡出和確定所述淡入淡出的全局或局部性質(zhì)，該方法包括提供畫面的多個(gè)幀和有關(guān)的預(yù)測參考幀；對于每個(gè)幀和有關(guān)的預(yù)測參考幀，計(jì)算第一顏色域中的與強(qiáng)度有關(guān)的值和與顏色有關(guān)的值；對于每個(gè)幀和有關(guān)的預(yù)測參考幀，計(jì)算與強(qiáng)度有關(guān)的加權(quán)預(yù)測參數(shù)；對于每個(gè)幀和有關(guān)的預(yù)測參考幀，根據(jù)所計(jì)算(例如，通過數(shù)學(xué)計(jì)算(calculated))的與強(qiáng)度有關(guān)的值和與顏色有關(guān)的值并且根據(jù)所計(jì)算的與強(qiáng)度有關(guān)的加權(quán)預(yù)測參數(shù)來計(jì)算加權(quán)預(yù)測增益；如果加權(quán)預(yù)測增益是全為非負(fù)并且彼此基本上相似，則確定具有O偏移的全局轉(zhuǎn)變主要發(fā)生在第二顏色域中；如果加權(quán)預(yù)測增益不是全為非負(fù)并且彼此基本上相似，則測試是否發(fā)生局部轉(zhuǎn)變。
本發(fā)明的又一實(shí)施例是一種用于對視頻信號(hào)的從一個(gè)畫面到下一個(gè)畫面的轉(zhuǎn)變中的淡入淡出的全局或局部性質(zhì)進(jìn)行確定的方法，所述方法包括:提供畫面的多個(gè)幀和有關(guān)的預(yù)測參考幀；對于每個(gè)幀和有關(guān)的預(yù)測參考幀，計(jì)算(例如，通過數(shù)學(xué)計(jì)算(calculating))第一顏色域中與強(qiáng)度有關(guān)的值和與顏色有關(guān)的值；對于每個(gè)幀和有關(guān)的預(yù)測幀，計(jì)算對于第一顏色域中的每個(gè)與強(qiáng)度有關(guān)的值和與顏色有關(guān)的值的加權(quán)增益；對于每個(gè)幀和有關(guān)的預(yù)測參考巾貞，對加權(quán)預(yù)測增益彼此進(jìn)行比較；如果加權(quán)預(yù)測增益是全為非負(fù)并且彼此基本上相似，則確定淡入淡出是全局的；如果加權(quán)預(yù)測增益不是全為非負(fù)并且彼此基本上相似，則確定淡入淡出是局部的。本發(fā)明的又一實(shí)施例是一種用于在發(fā)生圖像轉(zhuǎn)變時(shí)根據(jù)關(guān)于顏色空間轉(zhuǎn)換的信息和第一顏色分量加權(quán)預(yù)測參數(shù)來計(jì)算第二加權(quán)預(yù)測參數(shù)和第三顏色分量加權(quán)預(yù)測參數(shù)，該方法包括:計(jì)算第一顏色分量加權(quán)預(yù)測增益和偏移；以及基于所計(jì)算的第一顏色分量加權(quán)預(yù)測增益和偏移的值，根據(jù)顏色轉(zhuǎn)換偏移、顏色轉(zhuǎn)換矩陣的系數(shù)和第一顏色分量加權(quán)預(yù)測增益和偏移來計(jì)算第二顏色分量加權(quán)預(yù)測增益和第三顏色分量加權(quán)預(yù)測增益和偏移。另一個(gè)實(shí)施例是一種用于在發(fā)生圖像閃光時(shí)根據(jù)與強(qiáng)度有關(guān)的參數(shù)和關(guān)于顏色空間轉(zhuǎn)換的信息來計(jì)算與顏色有關(guān)的參數(shù)的方法，該方法包括:計(jì)算與強(qiáng)度有關(guān)的增益和偏移；如果與強(qiáng)度有關(guān)的增益不為I并且與強(qiáng)度有關(guān)的增益為非0，則將與顏色有關(guān)的增益設(shè)置成等于與強(qiáng)度有關(guān)的增益，并且根據(jù)顏色格式轉(zhuǎn)換偏移、與強(qiáng)度有關(guān)的增益、與強(qiáng)度有關(guān)的偏移和顏色轉(zhuǎn)換矩陣的系數(shù)來計(jì)算與顏色有關(guān)的偏移；如果與強(qiáng)度有關(guān)的增益不為I并且與強(qiáng)度有關(guān)的偏移為0，則將與顏色有關(guān)的增益設(shè)置成等于與強(qiáng)度有關(guān)的增益，并且根據(jù)顏色格式轉(zhuǎn)換偏移、與強(qiáng)度有關(guān)的增益和顏色轉(zhuǎn)換矩陣的系數(shù)來計(jì)算與顏色有關(guān)的偏移；如果與強(qiáng)度有關(guān)的增益為I或接近1，則將與顏色有關(guān)的增益設(shè)置成等于I并且根據(jù)與強(qiáng)度有關(guān)的偏移和顏色轉(zhuǎn)換矩陣的系數(shù)來計(jì)算與顏色有關(guān)的偏移。又一實(shí)施例是一種用于在視頻信號(hào)的從一個(gè)場景到下一個(gè)場景的轉(zhuǎn)變中檢測淡入淡出的方法，所述方法包括以下步驟:步驟A:提供來自視頻信號(hào)的多個(gè)幀；步驟B:選擇所述多個(gè)幀的當(dāng)前幀；步驟C:基于在當(dāng)前幀之前的幀和接著當(dāng)前幀的幀的一個(gè)或多個(gè)顏色分量的幀值來計(jì)算對于當(dāng)前幀的一個(gè)或多個(gè)顏色空間分量的屬性集合；步驟D:基于當(dāng)前幀之前的在前幀之前的幀和所述在前幀之后的幀的一個(gè)或多個(gè)顏色分量的幀值來計(jì)算在前幀的一個(gè)或多個(gè)顏色空間分量的屬性集合；以及步驟E:對當(dāng)前幀的一個(gè)或多個(gè)顏色空間參數(shù)的屬性集合和在前幀的一個(gè)或多個(gè)顏色空間參數(shù)的屬性集合進(jìn)行比較，以確定當(dāng)前幀是具有增加或減小的幀值的淡入淡出的結(jié)束幀或確定當(dāng)前幀之前的幀是否是具有增加或減小的幀值的淡入淡出的開始幀。又一實(shí)施例是一種用于檢測交叉淡入淡出的方法，包括:提供視頻序列的多個(gè)幀和有關(guān)的雙向預(yù)測參考幀；以及基于針對當(dāng)前幀和有關(guān)的雙向預(yù)測參考幀的第一顏色域的顏色空間分量所計(jì)算的平均增益、和針對當(dāng)前幀和有關(guān)的雙向預(yù)測參考幀的第二顏色域的顏色空間分量所計(jì)算的平均增益來確定是否存在交叉淡入淡出。又一實(shí)施例是一種用于在存在淡入淡出條件的情況下確定加權(quán)參數(shù)的方法，該方法包括以下步驟:步驟A:提供畫面的多個(gè)幀和有關(guān)的預(yù)測參考幀；步驟B:選擇顏色分量；步驟C:對于每個(gè)幀和有關(guān)的預(yù)測參考幀，確定所述幀和它的有關(guān)的預(yù)測參考幀內(nèi)的對于所選擇的顏色分量的飽和分區(qū)；步驟D:對于每個(gè)幀和有關(guān)的預(yù)測參考幀，確定兩個(gè)幀是否共享具有對于所選擇的顏色分量的飽和值的大范圍，如果沒有共享的具有飽和值的大范圍，則去往步驟H ;步驟E:對于每個(gè)幀和有關(guān)的預(yù)測參考幀，確定所述幀和它的有關(guān)的預(yù)測參考幀內(nèi)的不飽和分區(qū)；步驟F:對于每個(gè)幀和有關(guān)的預(yù)測參考幀，確定兩個(gè)幀是否共享具有對于所選擇的顏色分量的不飽和值的大范圍；如果沒有共享的具有不飽和值的大范圍，則去往步驟H ;步驟G:對于每個(gè)幀和有關(guān)的預(yù)測幀，基于共享的并且可選地標(biāo)準(zhǔn)化到相同的像素計(jì)數(shù)的具有不飽和值的大范圍來計(jì)算加權(quán)預(yù)測增益和因子；以及步驟H:對于每個(gè)幀和有關(guān)的預(yù)測參考幀，基于整個(gè)幀來計(jì)算加權(quán)預(yù)測增益和因子。又一實(shí)施例是一種用于在存在淡入淡出條件的情況下確定加權(quán)參數(shù)的方法，該方法包括以下步驟:步驟A:提供畫面的多個(gè)幀和包括顏色樣本數(shù)據(jù)的有關(guān)的預(yù)測參考幀；步驟B:選擇顏色分量；步驟C:對于每個(gè)幀，基于對于顏色樣本數(shù)據(jù)選擇的顏色域來設(shè)置對于所選擇的顏色分量的當(dāng)前最低飽和值和當(dāng)前最高飽和值；步驟D:對于每個(gè)有關(guān)的預(yù)測參考幀，基于對于顏色樣本數(shù)據(jù)所選擇的顏色域來設(shè)置對于所選擇的顏色分量的當(dāng)前參考最低飽和值和當(dāng)前參考最高飽和值；步驟E:對于每個(gè)幀和有關(guān)的預(yù)測參考幀，基于當(dāng)前最低飽和值、當(dāng)前最高飽和值、當(dāng)前參考最低飽和值、當(dāng)前參考最高飽和值來估計(jì)加權(quán)預(yù)測參數(shù)；步驟F:對于每個(gè)有關(guān)的預(yù)測參考值，基于所估計(jì)的加權(quán)預(yù)測參數(shù)來計(jì)算更新的當(dāng)前參考最低飽和值和更新的當(dāng)前參考最高飽和值；步驟G:將當(dāng)前參考最低飽和值設(shè)置成等于更新的當(dāng)前參考最低飽和值，將當(dāng)前參考最高飽和值設(shè)置成等于更新的當(dāng)前參考最高飽和值；步驟H:如果本次迭代的加權(quán)預(yù)測參數(shù)與緊在前的迭代的加權(quán)預(yù)測參數(shù)相差所選擇的值，或如果迭代的數(shù)量大于所選擇的迭代計(jì)數(shù)，則對于后續(xù)的迭代重復(fù)步驟D到步驟G。本發(fā)明的又一實(shí)施例是一種用于對視頻信號(hào)的從一個(gè)畫面到下一個(gè)畫面的淡入淡出轉(zhuǎn)變中的加權(quán)預(yù)測增益和偏移進(jìn)行估計(jì)的方法，所述方法包括:提供來自視頻信號(hào)內(nèi)的畫面的當(dāng)前幀和有關(guān)的預(yù)測參考幀；對于每個(gè)當(dāng)前幀和有關(guān)的預(yù)測參考幀，計(jì)算顏色域中的顏色分量值，其中Am指代當(dāng)前幀的第一顏色分量，Bm指代當(dāng)前幀的第二顏色分量，Cffl指代當(dāng)前幀的第三顏色分量，并且其中Am+1指代有關(guān)的預(yù)測參考幀的第一顏色分量，Bm+1指代有關(guān)的預(yù)測參考幀的第二顏色分量，Cm+1指代有關(guān)的預(yù)測參考幀的第三顏色分量；對于所有顏色分量將加權(quán)預(yù)測增益設(shè)置成相等，其中w指代對于所有的顏色分量的等值加權(quán)預(yù)測增益；將所述顏色分量中的兩個(gè)顏色分量的加權(quán)預(yù)測偏移設(shè)置成彼此相等，其中匕指代第一顏色分量的偏移，4指代所述顏色分量中的兩個(gè)顏色分量的等值加權(quán)預(yù)測偏移；以及對關(guān)于加權(quán)預(yù)測增益w和加權(quán)預(yù)測偏移fA和的公式進(jìn)行求解。本發(fā)明的又一實(shí)施例是一種用于對視頻信號(hào)的從一個(gè)畫面到下一個(gè)畫面的淡入淡出轉(zhuǎn)變中的加權(quán)預(yù)測增益和偏移進(jìn)行估計(jì)的方法，所述方法包括:提供來自所述視頻信號(hào)內(nèi)的畫面的當(dāng)前幀和有關(guān)的預(yù)測參考幀；對于每個(gè)當(dāng)前幀和有關(guān)的預(yù)測參考幀，計(jì)算顏色域中的顏色分量值，其中Am指代當(dāng)前幀的第一顏色分量，Bm指代當(dāng)前幀的第二顏色分量，Cffl指代當(dāng)前幀的第三顏色分量，并且其中Am+1指代有關(guān)的預(yù)測參考幀的第一顏色分量，Bm+1指代有關(guān)的預(yù)測參考幀的第二顏色分量，Cn+1指代有關(guān)的預(yù)測參考幀的第三顏色分量；對于所有的顏色分量將加權(quán)預(yù)測偏移設(shè)置成相等，其中f指代對于所有顏色分量的等值加權(quán)預(yù)測偏移；將對于所述顏色分量中的兩個(gè)顏色分量的加權(quán)預(yù)測增益設(shè)置成彼此相等，其中Wa指代第一顏色分量的偏移，I指代所述顏色分量中的兩個(gè)顏色分量的等值加權(quán)預(yù)測偏移；對關(guān)于加權(quán)預(yù)測增益Wa和&以及加權(quán)預(yù)測偏移f的公式進(jìn)行求解。
本發(fā)明的又一實(shí)施例是一種用于將加權(quán)預(yù)測參數(shù)從第一顏色域轉(zhuǎn)換到第二顏色域的方法，其中從第一顏色域到第二顏色域的轉(zhuǎn)換是非線性的，該方法包括:基于從第一顏色域到第二顏色域的轉(zhuǎn)換表達(dá)式來計(jì)算第二域中一個(gè)或多個(gè)幀的第二顏色域加權(quán)預(yù)測參數(shù)。概述本公開內(nèi)容描述了涉及具有顏色空間考慮的光照補(bǔ)償?shù)姆椒皩?shí)施例。具體地，這些方法及實(shí)施例涉及可以結(jié)合到使用用于2維應(yīng)用和3維應(yīng)用兩者的視頻編碼和解碼的設(shè)備和軟件中的光照補(bǔ)償。這樣的設(shè)備可以包括視頻光盤系統(tǒng)、空中廣播系統(tǒng)、互聯(lián)網(wǎng)協(xié)議電視(IPTV)系統(tǒng)和其他這樣的設(shè)備。最廣泛地用于視頻表示的顏色空間是RGB顏色空間。每個(gè)分量表示每個(gè)原色的強(qiáng)度，在該情況下，為紅原色、綠原色和藍(lán)原色。從表示顏色信息的方面來講，RGB域是非常有效的。此外，在將RGB值發(fā)送至顯示器或圖形卡之前對RGB值進(jìn)行伽馬校正。可以將伽馬校正操作概括為如下面在等式I中所示。參數(shù)γκ、Ye和Yb是伽馬校正指數(shù),而增益aR、ae和αΒ控制對比度并且偏移和βΒ控制黑電平和強(qiáng)度。對于本公開內(nèi)容的剩余部分，假設(shè)aK= Qg=Qb= I和
β E = β G = β B=0 °即使伽馬指數(shù)可以對于每個(gè)分量都是不同的，對于本公開內(nèi)容的剩余部分以及出于簡化表示和分析的目的，有Yk= Yg= Yb= Y。但是，應(yīng)當(dāng)理解，即使在指數(shù)不同的情況下，本文所描述的許多方法也是適用的。對于基本的和大多數(shù)實(shí)際的應(yīng)用，還假設(shè)伽馬增益和伽馬偏移貫穿顏色通道上是一致的。從顏色表示和顯示方面來講，RGB顏色空間是有效的，但是，由于貫穿顏色通道可能存在明顯的相關(guān)性，所以RGB顏色空間對于視頻壓縮通常不是有效的。為了提高電視廣播系統(tǒng)的壓縮性能，已經(jīng)提出并標(biāo)準(zhǔn)化了將RGB信號(hào)去相關(guān)為新的顏色空間的若干變換，其中一個(gè)分量集中亮度信息并且通常被表示為Y (如果被伽馬校正則為Y’)，并且剩余的兩個(gè)分量主要保留色度信息。這些變換包括模擬美國NTSC Y’T’Q’和模擬歐洲EBUY’U’V’以及Y’CbCr 的各種數(shù)字風(fēng)格。例如，參見A.Ford and A.Roberts, "Color Space Conversions",這可在http://www.poynton.com/PDFs/coloureq.pdf處獲得。下面所描述的是這些變換的使用得最廣泛的版本以及可能由它們的應(yīng)用所引起的問題。請注意，下面所描述的變換和等式是出于示例性目的而提出并且不應(yīng)被解釋為將本發(fā)明限制在所描述的具體變換和等式。本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)理解，其它變化和等式也在本發(fā)明的范圍內(nèi)。用于對標(biāo)清(SD)分辨率的數(shù)字TV畫面進(jìn)行編碼的國際標(biāo)準(zhǔn)是ITUBT.601。用于從模擬RGB空間到模擬YCbCr空間的轉(zhuǎn)換的非線性編碼矩陣在下面的等式2中示出:
Γ E\, I「0.299 0.587 0.114 TF,]I Λ",,β = -0.16X736 -0,331264 11.5(KS| 等式 2 I E'Pll 響 0.500 - 0.418688 -0.081312 || Ε' |等式2對于范圍從O到I的RGB顏色通道表示((Εκ，E' e，E' B) e
)是有效的并且產(chǎn)生取值為 E ' Ye
、E' PB e [-0.5,0.5]和 E' PK e [-0.5，0.5]的E’ YE’ pbE’ pe的“模擬”值。在數(shù)字計(jì)算機(jī)中，RGB顏色分量通常使用N比特如8比特的無符號(hào)整數(shù)值來表示，允許值從O到255。使(R'，G'，B，)e [O，255]。模擬E’YE’PBE’PK值到數(shù)字Y’ CbCr值的轉(zhuǎn)換(其是實(shí)質(zhì)上是量化處理)可以通過根據(jù)ITU和SMPTE規(guī)格使用在下面的等式3中示出的變換來完成:
權(quán)利要求
1.一種用于在視頻信號(hào)的從一個(gè)畫面到下一個(gè)畫面的轉(zhuǎn)變中檢測淡入淡出和確定所述淡入淡出的全局或局部性質(zhì)的方法，所述方法包括: 提供畫面的多個(gè)幀和有關(guān)的預(yù)測參考幀； 對于每個(gè)幀和有關(guān)的預(yù)測參考幀，計(jì)算第一顏色域中的一個(gè)或多個(gè)與強(qiáng)度有關(guān)的值和一個(gè)或多個(gè)與顏色有關(guān)的值； 對于每個(gè)幀和有關(guān)的預(yù)測參考幀，計(jì)算所述第一顏色域中的每個(gè)分量值的加權(quán)預(yù)測增.、/■M ; 如果所述加權(quán)預(yù)測增益是全為非負(fù)并且彼此基本上相似，則確定具有零偏移的全局轉(zhuǎn)變主要發(fā)生在第二顏色域中；以及 如果所述加權(quán)預(yù)測增益不是全為非負(fù)并且彼此基本上相似，則確定以下各項(xiàng)中的至少一項(xiàng)不發(fā)生:全局淡入淡出轉(zhuǎn)變；具有零偏移的全局淡入淡出轉(zhuǎn)變；或在所述第二顏色域中具有零偏移的全局淡入淡出轉(zhuǎn)變。
2.根據(jù)權(quán)利要求1所述的方法，其中所述與強(qiáng)度有關(guān)的值包括一個(gè)或多個(gè)亮度值。
3.根據(jù)權(quán)利要求1所述的方法，其中所述與顏色有關(guān)的值包括一個(gè)或多個(gè)色度值。
4.根據(jù)權(quán)利要求1所述的方法，其中所述第一顏色域包括YCbCr域，并且使用包括以下項(xiàng)的值來計(jì)算所述加權(quán)預(yù)測增益: 幀和所述幀的預(yù)測參考幀的 亮度分量； 所述幀的色度分量值； 所述幀的所述預(yù)測參考幀的色度分量值，以及 顏色格式轉(zhuǎn)換偏移值。
5.根據(jù)權(quán)利要求1所述的方法，其中所述與強(qiáng)度有關(guān)的顏色值和所述與顏色有關(guān)的值包括平均的與強(qiáng)度有關(guān)的值和與顏色有關(guān)的值。
6.根據(jù)權(quán)利要求1所述的方法，其中所述與強(qiáng)度有關(guān)的值和所述與顏色有關(guān)的值是根據(jù)直方圖信息來計(jì)算的。
7.根據(jù)權(quán)利要求1所述的方法，其中所述多個(gè)幀包括幀序列的一部分。
8.根據(jù)權(quán)利要求1所述的方法，其中所述多個(gè)幀包括被指示具有光照變化的一組幀的一部分。
9.根據(jù)權(quán)利要求1所述的方法，其中限定從所述第一顏色域到所述第二顏色域的轉(zhuǎn)變的顏色空間矩陣是線性的。
10.根據(jù)權(quán)利要求1所述的方法，其中如果所述加權(quán)預(yù)測增益在彼此的5%到10%以內(nèi)，則所述加權(quán)預(yù)測增益基本上相似。
11.根據(jù)權(quán)利要求1所述的方法，還包括: 用對數(shù)換算所述加權(quán)預(yù)測增益，使所述加權(quán)預(yù)測增益具有O到I之間的值，并且通過計(jì)算所述加權(quán)預(yù)測增益值之間的差是否小于0.1來確定所述增益是否基本上相似。
12.一種用于在視頻信號(hào)的從一個(gè)畫面到下一個(gè)畫面的轉(zhuǎn)變中檢測淡入淡出和確定所述淡入淡出的全局或局部性質(zhì)的方法，所述方法包括: 提供畫面的多個(gè)幀和有關(guān)的預(yù)測參考幀； 對于每個(gè)幀和有關(guān)的預(yù)測參考幀，計(jì)算第一顏色域中的與強(qiáng)度有關(guān)的值和與顏色有關(guān)的值；對于每個(gè)幀和有關(guān)的預(yù)測參考幀，計(jì)算與強(qiáng)度有關(guān)的加權(quán)預(yù)測參數(shù)； 對于每個(gè)幀和有關(guān)的預(yù)測參考幀，根據(jù)所計(jì)算的與強(qiáng)度有關(guān)的值和與顏色有關(guān)的值以及所計(jì)算的與強(qiáng)度有關(guān)的加權(quán)預(yù)測參數(shù)來計(jì)算加權(quán)預(yù)測增益； 如果所述加權(quán)預(yù)測增益是全為非負(fù)并且彼此基本上相似，則確定具有零偏移的全局轉(zhuǎn)變主要發(fā)生在第二顏色域中；以及 如果所述加權(quán)預(yù)測增益不是全為非負(fù)并且彼此基本上相似，則測試是否發(fā)生局部轉(zhuǎn)變。
13.一種用于對視頻信號(hào)的從一個(gè)畫面到下一個(gè)畫面的轉(zhuǎn)變中的淡入淡出的全局或局部性質(zhì)進(jìn)行確定的方法，所述方法包括: 提供所述畫面的多個(gè)幀和有關(guān)的預(yù)測參考幀； 對于每個(gè)幀和有關(guān)的預(yù)測參考幀，計(jì)算第一顏色域中的與強(qiáng)度有關(guān)的值和與顏色有關(guān)的值； 對于每個(gè)幀和有關(guān)的預(yù)測參考幀，計(jì)算對于所述第一顏色域中的每個(gè)與強(qiáng)度有關(guān)的值和與顏色有關(guān)的值的加權(quán)預(yù)測增益； 對于每個(gè)幀和有關(guān)的預(yù)測參考幀，將所述加權(quán)預(yù)測增益彼此進(jìn)行比較； 如果所述加權(quán)預(yù)測增益是全為非負(fù)并且彼此基本上相似，則確定所述淡入淡出是全局的；以及 如果所述加權(quán)預(yù)測增益不是全為非負(fù)并且彼此基本上相似，則確定所述淡入淡出是局部的。
14.一種用于對視頻信號(hào)的從一個(gè)畫面到下一個(gè)畫面的轉(zhuǎn)換中的淡入淡出的全局或局部性質(zhì)進(jìn)行確定的方法，所述方法包括: 提供所述畫面的多個(gè)幀和有關(guān)的預(yù)測參考幀； 對于每個(gè)幀和有關(guān)的預(yù)測參考幀，計(jì)算第一顏色域中的與強(qiáng)度有關(guān)的值和與顏色有關(guān)的值； 對于每個(gè)幀和有關(guān)的預(yù)測參考幀，計(jì)算對于所述第一顏色域中的每個(gè)與強(qiáng)度有關(guān)的值和與顏色有關(guān)的值的加權(quán)預(yù)測增益； 對于每個(gè)幀和有關(guān)的預(yù)測參考幀，將所述加權(quán)預(yù)測增益彼此進(jìn)行比較； 如果所述加權(quán)預(yù)測增益是全為非負(fù)并且彼此基本上相似，則確定所述淡入淡出是全局的；以及 如果所述加權(quán)預(yù)測增益不是全為非負(fù)并且彼此基本上相似，則確定所述淡入淡出是局部的。
15.一種用于在發(fā)生圖像轉(zhuǎn)變時(shí)根據(jù)關(guān)于顏色空間轉(zhuǎn)換的信息和第一顏色分量加權(quán)預(yù)測參數(shù)來計(jì)算第二顏色分量加權(quán)預(yù)測參數(shù)和第三顏色分量加權(quán)預(yù)測參數(shù)的方法，所述方法包括: 計(jì)算第一顏色分量加權(quán)預(yù)測增益和偏移；以及 基于所計(jì)算的所述第一顏色分量加權(quán)預(yù)測增益和偏移的值，根據(jù)顏色轉(zhuǎn)換偏移、顏色轉(zhuǎn)換矩陣的系數(shù)和所述第一顏色分量加權(quán)預(yù)測增益和偏移來計(jì)算所述第二顏色分量加權(quán)預(yù)測增益和偏移以及第三顏色分量加權(quán)預(yù)測增益和偏移。
16.一種用于在發(fā)生圖像閃光時(shí)根據(jù)與強(qiáng)度有關(guān)的參數(shù)和關(guān)于顏色空間轉(zhuǎn)換的信息來計(jì)算與顏色有關(guān)的參數(shù)的方法，所述方法包括: 計(jì)算與強(qiáng)度有關(guān)的增益和偏移； 如果與強(qiáng)度有關(guān)的增益不為I并且與強(qiáng)度有關(guān)的偏移為非零，則將與顏色有關(guān)的增益設(shè)置成等于與強(qiáng)度有關(guān)的增益，并且根據(jù)顏色格式轉(zhuǎn)化偏移、與強(qiáng)度有關(guān)的增益、與強(qiáng)度有關(guān)的偏移和顏色轉(zhuǎn)換矩陣的系數(shù)來計(jì)算與顏色有關(guān)的偏移； 如果與強(qiáng)度有關(guān)的增益不為I并且與強(qiáng)度有關(guān)的偏移為零，則將與顏色有關(guān)的增益設(shè)置成等于所述與強(qiáng)度有關(guān)的增益，并且根據(jù)顏色格式轉(zhuǎn)換偏移、與強(qiáng)度有關(guān)的增益和顏色轉(zhuǎn)換矩陣的系數(shù)來計(jì)算與顏色有關(guān)的偏移，以及 如果與強(qiáng)度有關(guān)的增益為I或接近I，則將與顏色有關(guān)的增益設(shè)置成等于I，并且根據(jù)與強(qiáng)度有關(guān)的偏移和顏色轉(zhuǎn)換矩陣的系數(shù)來計(jì)算與顏色有關(guān)的偏移。
17.一種用于在視頻信號(hào)的從一個(gè)場景到下一個(gè)場景的轉(zhuǎn)變中檢測淡入淡出的方法，所述方法包括以下步驟: 步驟A:提供來自所述視頻信號(hào)的多個(gè)幀； 步驟B:選擇所述多個(gè)幀的當(dāng)前幀； 步驟C:基于在所述當(dāng)前幀之前的幀和接著所述當(dāng)前幀的幀的一個(gè)或多個(gè)顏色分量的幀值來計(jì)算所述當(dāng)前幀的一個(gè)或多個(gè)顏色空間分量的屬性集合； 步驟D:基于在所述當(dāng)前幀之前的在前幀之前的幀和所述在前幀之后的幀的一個(gè)或多個(gè)顏色分量的幀值來計(jì)算所述在前幀的 一個(gè)或多個(gè)顏色空間分量的屬性集合；以及 步驟E:將所述當(dāng)前幀的一個(gè)或多個(gè)顏色空間參數(shù)的屬性集合與所述在前幀的一個(gè)或多個(gè)顏色空間參數(shù)的屬性集合進(jìn)行比較，以確定所述當(dāng)前幀是否是具有增加或減小的幀值的淡入淡出的結(jié)束幀，或確定在所述當(dāng)前幀之前的幀是否是具有增加或減小的幀值的淡入淡出的開始幀。
18.一種用于在存在淡入淡出條件的情況下確定加權(quán)參數(shù)的方法，所述方法包括下面的步驟: 步驟A:提供畫面的多個(gè)幀和包括顏色樣本數(shù)據(jù)的有關(guān)的預(yù)測參考幀； 步驟B:選擇顏色分量； 步驟C:對于每個(gè)幀，基于對于所述顏色樣本數(shù)據(jù)選擇的顏色域來設(shè)置所選擇的顏色分量的當(dāng)前最低飽和值和當(dāng)前最高飽和值； 步驟D:對于每個(gè)有關(guān)的預(yù)測參考幀，基于對于所述顏色樣本數(shù)據(jù)所選擇的顏色域來設(shè)置所選擇的顏色分量的當(dāng)前參考最低飽和值和當(dāng)前參考最高飽和值； 步驟E:對于每個(gè)幀和有關(guān)的預(yù)測參考幀，基于所述當(dāng)前最低飽和值、所述當(dāng)前最高飽和值、所述當(dāng)前參考最低飽和值和所述當(dāng)前參考最高飽和值來估計(jì)加權(quán)預(yù)測參數(shù)； 步驟F:對于每個(gè)有關(guān)的預(yù)測參考幀，基于所估計(jì)的加權(quán)預(yù)測參數(shù)來計(jì)算更新的當(dāng)前參考最低飽和值和更新的當(dāng)如參考最聞飽和值； 步驟G:將所述當(dāng)前參考最低飽和值設(shè)置成等于更新的當(dāng)前參考最低飽和值，并且將所述當(dāng)前參考最高飽和值設(shè)置成等于所述更新的當(dāng)前參考最高飽和值；以及 步驟H:如果本次迭代的加權(quán)預(yù)測參數(shù)與緊在前的迭代的加權(quán)預(yù)測參數(shù)相差所選擇的值，或者如果迭代的數(shù)量大于所選擇的迭代計(jì)數(shù)，則對于后續(xù)的迭代重復(fù)步驟D到步驟G。
19.一種方法,包括:基于從第一顏色域到第二顏色域的轉(zhuǎn)換表達(dá)式來計(jì)算第二域中的一個(gè)或多個(gè)幀的對于所述第二顏色域的一個(gè)或多個(gè)加權(quán)預(yù)測參數(shù)；以及 將一個(gè)或多個(gè)加權(quán)預(yù)測參數(shù)從所述第一顏色域轉(zhuǎn)換到所述第二顏色域，其中從所述第一顏色域到所述第二域的所述轉(zhuǎn)換是非線性的。
20.一種用于根據(jù)權(quán)利要求1至19中的一項(xiàng)或多項(xiàng)所述的方法來對視頻信號(hào)進(jìn)行編碼的編碼器。
21.一種用于根據(jù)權(quán)利要求1至19中的一項(xiàng)或多項(xiàng)所述的方法來對視頻信號(hào)進(jìn)行編碼的裝置。
22.一種用于根據(jù)權(quán)利要求1至19中的一項(xiàng)或多項(xiàng)所述的方法來對視頻信號(hào)進(jìn)行編碼的系統(tǒng)。
23.一種用于根據(jù)權(quán)利要求1至19中的一項(xiàng)或多項(xiàng)所述的方法來對視頻信號(hào)進(jìn)行解碼的解碼器。
24.根據(jù)權(quán)利要求23所述的解碼器，其中根據(jù)發(fā)送到所述解碼器的畫面信息來導(dǎo)出加權(quán)預(yù)測參數(shù)。
25.一種用于根據(jù)權(quán)利要求1至19中的一項(xiàng)或多項(xiàng)所述的方法來對視頻信號(hào)進(jìn)行解碼的裝置。
26.根據(jù)權(quán)利要求25所述的裝置，其中根據(jù)發(fā)送到所述裝置的畫面信息來導(dǎo)出加權(quán)預(yù)測參數(shù)。
27.一種用于根據(jù)權(quán)利要求1至19中的一項(xiàng)或多項(xiàng)所述的方法來對視頻信號(hào)進(jìn)行解碼的系統(tǒng)。
28.根據(jù)權(quán)利要求27所述的系統(tǒng)，其中根據(jù)發(fā)送到所述系統(tǒng)的畫面信息來導(dǎo)出加權(quán)預(yù)測參數(shù)。
29.—種包括指令集的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述指令集使得、控制、編程或配置一個(gè)或多個(gè)計(jì)算機(jī)或集成電路IC器件來執(zhí)行權(quán)利要求1至19中的一項(xiàng)或多項(xiàng)所述的方法。
30.一種被配置、編程、控制或設(shè)計(jì)成執(zhí)行權(quán)利要求1至19中的一項(xiàng)或多項(xiàng)所述的處理的集成電路器件。
31.權(quán)利要求1至19中的一項(xiàng)或多項(xiàng)所 述的方法的對視頻信號(hào)進(jìn)行解碼的用途。
32.權(quán)利要求1至19中的一項(xiàng)或多項(xiàng)所述的方法的對視頻信號(hào)進(jìn)行編碼的用途。
全文摘要
描述了針對視頻編碼和處理應(yīng)用的光照補(bǔ)償參數(shù)推導(dǎo)和光照主轉(zhuǎn)變類型的確定。檢測光照變化如淡入、淡出、交叉淡入淡出和閃光等。然后將這些光照變化的檢測用于加權(quán)預(yù)測以提供改善了的光照補(bǔ)償。
文檔編號(hào)H04N7/26GK103081468SQ201180042472
公開日2013年5月1日 申請日期2011年9月1日 優(yōu)先權(quán)日2010年9月3日
發(fā)明者阿薩納西奧斯·萊昂塔里斯, 亞歷山德羅斯·圖拉皮斯 申請人:杜比實(shí)驗(yàn)室特許公司