包括變化的元數(shù)據(jù)等級(jí)的用于控制顏色管理的可縮放系統(tǒng)的制作方法
【專利摘要】這里公開(kāi)了可縮放圖像處理系統(tǒng)和方法的若干實(shí)施例，其中根據(jù)元數(shù)據(jù)的變化的等級(jí)，改變要在目標(biāo)顯示器上顯示的源圖像數(shù)據(jù)的顏色管理處理。
【專利說(shuō)明】包括變化的元數(shù)據(jù)等級(jí)的用于控制顏色管理的可縮放系統(tǒng)
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求2011年5月27日提交的美國(guó)臨時(shí)專利申請(qǐng)N0.61/494014的優(yōu)先權(quán)，該申請(qǐng)通過(guò)引用整體合并于此。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明涉及圖像處理，更特別地，涉及利用元數(shù)據(jù)(更特別地，各種元數(shù)據(jù)層的元數(shù)據(jù))對(duì)圖像和視頻信號(hào)進(jìn)行編碼和解碼。
【背景技術(shù)】
[0004]已知的可縮放視頻編碼和解碼技術(shù)允許根據(jù)目標(biāo)視頻顯示器的能力和源視頻數(shù)據(jù)的質(zhì)量來(lái)擴(kuò)展或收縮視頻質(zhì)量。
[0005]然而，可以在使用和應(yīng)用單個(gè)等級(jí)或各種元數(shù)據(jù)等級(jí)的圖像元數(shù)據(jù)時(shí)作出圖像和/或視頻呈現(xiàn)以及觀眾體驗(yàn)的改善。

【發(fā)明內(nèi)容】

[0006]此處公開(kāi)了可縮放的圖像處理系統(tǒng)和方法的若干實(shí)施例，其中，根據(jù)變化的元數(shù)據(jù)等級(jí)來(lái)改變將要在目標(biāo)顯示器上顯示的源圖像數(shù)據(jù)的顏色管理處理。
[0007]在一實(shí)施例中，公開(kāi)了一種通過(guò)一組元數(shù)據(jù)等級(jí)來(lái)處理圖像數(shù)據(jù)并且在目標(biāo)顯示器上呈現(xiàn)圖像數(shù)據(jù)的方法，其中元數(shù)據(jù)與圖像內(nèi)容相關(guān)聯(lián)。該方法包括:輸入圖像數(shù)據(jù)；確定與所述圖像數(shù)據(jù)相關(guān)聯(lián)的一組元數(shù)據(jù)等級(jí)；如果沒(méi)有元數(shù)據(jù)與所述圖像數(shù)據(jù)相關(guān)聯(lián)，則執(zhí)行一組圖像處理步驟中的至少一個(gè)步驟，所述一組圖像處理步驟包括:切換到默認(rèn)值并且相適應(yīng)地計(jì)算參數(shù)值；如果元數(shù)據(jù)與圖像數(shù)據(jù)相關(guān)聯(lián)，則根據(jù)與圖像數(shù)據(jù)相關(guān)聯(lián)的一組元數(shù)據(jù)等級(jí)來(lái)計(jì)算顏色管理算法的參數(shù)。
[0008]在又一實(shí)施例中，公開(kāi)了一種解碼圖像數(shù)據(jù)并且通過(guò)一組元數(shù)據(jù)等級(jí)來(lái)在目標(biāo)顯示器上呈現(xiàn)圖像數(shù)據(jù)的系統(tǒng)。該系統(tǒng)包括:視頻解碼器，所述視頻解碼器接收輸入圖像數(shù)據(jù)并且輸出中間圖像數(shù)據(jù)；元數(shù)據(jù)解碼器，所述元數(shù)據(jù)解碼器接收輸入圖像數(shù)據(jù)，其中所述元數(shù)據(jù)解碼器能夠檢測(cè)與所述輸入圖像數(shù)據(jù)相關(guān)聯(lián)的一組元數(shù)據(jù)等級(jí)并且輸出中間元數(shù)據(jù)；顏色管理模塊，所述顏色管理模塊從所述元數(shù)據(jù)解碼器接收中間元數(shù)據(jù)，從所述視頻解碼器接收中間圖像數(shù)據(jù)，并且基于所述中間元數(shù)據(jù)對(duì)所述中間圖像數(shù)據(jù)執(zhí)行圖像處理；以及目標(biāo)顯示器，所述目標(biāo)顯示器接收并且顯示來(lái)自所述顏色管理模塊的所述圖像數(shù)據(jù)。
[0009]下面的“【具體實(shí)施方式】”在與本申請(qǐng)內(nèi)給出的附圖一起閱讀時(shí)呈現(xiàn)了本系統(tǒng)的其他特征和優(yōu)點(diǎn)。
【專利附圖】

【附圖說(shuō)明】
[0010]在附圖的參考圖示中示出了示例性實(shí)施例。此處公開(kāi)的實(shí)施例和圖示旨在視為示范性而非限制性的。[0011]圖1A、圖1B和圖1C示出了從視頻信號(hào)的創(chuàng)建、分發(fā)到消費(fèi)的當(dāng)前視頻管道(pipeline)的一實(shí)施例。
[0012]圖2A描繪了根據(jù)本申請(qǐng)的教導(dǎo)包括元數(shù)據(jù)管道的視頻管道的一實(shí)施例。
[0013]圖2B描繪了元數(shù)據(jù)預(yù)測(cè)塊的一實(shí)施例。
[0014]圖3示出了使用等級(jí)I元數(shù)據(jù)的S形曲線的一實(shí)施例。
[0015]圖4示出了使用等級(jí)2元數(shù)據(jù)的S形曲線的一實(shí)施例。
[0016]圖5示出了基于可用于調(diào)節(jié)映射到目標(biāo)顯示器上的圖像/視頻的圖像/場(chǎng)景分析的直方圖的一實(shí)施例。
[0017]圖6示出了包括圖像/視頻數(shù)據(jù)的第二基準(zhǔn)顯示器分級(jí)的基于等級(jí)3元數(shù)據(jù)的調(diào)節(jié)了的圖像/視頻映射的一實(shí)施例。
[0018]圖7示出了在目標(biāo)顯示器與用于對(duì)圖像/視頻數(shù)據(jù)進(jìn)行顏色分級(jí)的第二基準(zhǔn)顯示器基本良好匹配時(shí)可能發(fā)生的線性映射的一實(shí)施例。
[0019]圖8是根據(jù)本申請(qǐng)的原理作出的視頻/元數(shù)據(jù)管道的一實(shí)施例。
【具體實(shí)施方式】
[0020]貫穿以下說(shuō)明，闡述了具體細(xì)節(jié)以向本領(lǐng)域技術(shù)人員提供更透徹的理解。然而，可能沒(méi)有示出或詳細(xì)描述已知元素以避免不必要地模糊本發(fā)明。相應(yīng)地，描述和附圖應(yīng)被視為示范性的，而不是限制性的。
[0021]概覽
[0022]視頻質(zhì)量的一個(gè)方面考慮以圖像或視頻的創(chuàng)建者想要的那樣的相同或基本相同的保真度在目標(biāo)顯示器上呈現(xiàn)圖像或視頻。希望具有顏色管理(CM)方案，其試圖在帶有不同能力的顯示器上保持視頻內(nèi)容的原始外觀。為了實(shí)現(xiàn)該任務(wù)，希望這樣的CM算法能夠在最終完成視頻的后期制作環(huán)境中預(yù)測(cè)視頻在觀眾看起來(lái)是什么模樣。
[0023]為了說(shuō)明與本申請(qǐng)和系統(tǒng)密切相關(guān)的問(wèn)題，圖1A、1B和IC描繪了當(dāng)前視頻管道100的一實(shí)施例，跟蹤視頻信號(hào)從視頻信號(hào)的創(chuàng)建、分發(fā)到消費(fèi)。
[0024]視頻信號(hào)的創(chuàng)建102可以伴隨有視頻信號(hào)被顏色分級(jí)員106進(jìn)行顏色分級(jí)104，顏色分級(jí)員106可以分級(jí)信號(hào)的各種圖像特性，例如輸入視頻信號(hào)的亮度、對(duì)比度、顯色性。顏色分級(jí)員106可以分級(jí)信號(hào)以產(chǎn)生圖像/視頻映射108，這樣的分級(jí)可以對(duì)可能具有例如伽馬響應(yīng)曲線112的基準(zhǔn)顯示設(shè)備110進(jìn)行。
[0025]一旦信號(hào)已被分級(jí)，就可以通過(guò)分發(fā)114來(lái)發(fā)送視頻信號(hào)，這樣的分發(fā)應(yīng)從廣義上來(lái)考慮。例如，分發(fā)可以通過(guò)因特網(wǎng)、DVD、影院展示等。在本例子中，圖1A將分發(fā)示為將信號(hào)傳送到最大亮度100尼特且具有伽馬響應(yīng)曲線124的目標(biāo)顯示器120。假設(shè)基準(zhǔn)顯示器110具有與目標(biāo)顯示器基本相同的最大亮度和基本相同的響應(yīng)曲線，那么應(yīng)用于視頻信號(hào)的映射可以簡(jiǎn)單的是1:1映射122那樣，并且根據(jù)例如用于顏色管理118的Rec709STD進(jìn)行。假定所有其他因素都等同(例如，比如目標(biāo)顯示器處的環(huán)境光條件)，那么，在基準(zhǔn)顯示器處看到的基本上是將在目標(biāo)顯示器處看到的。
[0026]該情況可能會(huì)發(fā)生變化，例如，如圖1B所示，目標(biāo)顯示器130在多個(gè)方面不同于基準(zhǔn)顯示器110，例如，最大亮度(500尼特，而非基準(zhǔn)顯示器的100尼特)。在此情況下，映射132可能是1:5映射，以在目標(biāo)顯示器上呈現(xiàn)。在這種情況下，映射是通過(guò)Rec709CM塊的線性拉伸。從基準(zhǔn)顯示器視圖到目標(biāo)顯示器視圖的任何潛在失真可能令觀眾不悅，也可能不會(huì)令觀眾不悅，這取決于個(gè)人辨識(shí)力水平。例如，暗和中色調(diào)被拉伸，但有可能是可接受的。另外，可能使MPEG成塊偽像更顯著。
[0027]圖1C示出了更極端的示例。這里，目標(biāo)顯示器140可以具有與基準(zhǔn)顯示器更大的區(qū)別。例如，目標(biāo)顯不器140具有1000尼特的最大売度,而不是基準(zhǔn)顯不器的100尼特。如果對(duì)去往目標(biāo)顯示器的視頻信號(hào)應(yīng)用相同的線性拉伸映射142，那么對(duì)觀眾而言，可能存在顯著得多并且令人不悅的失真。例如，視頻內(nèi)容可能以高得多的亮度級(jí)(1:10比率)來(lái)顯示。暗和中色調(diào)可能被拉伸到這樣的程度:原始捕捉的攝像機(jī)噪聲是明顯的，圖像的暗區(qū)中的成帶(banding)變得更顯著。另外，MPEG成塊偽像可能更顯著。
[0028]在沒(méi)有徹底地研究可以向觀眾呈現(xiàn)有多令人不悅的偽像的所有可能示例的情況下，討論更多一些可能是有益的。例如，假設(shè)基準(zhǔn)顯示器具有比目標(biāo)顯示器(比方說(shuō)100尼特)更大的最大亮度(比方說(shuō)600尼特)。在此情況下，如果映射再次是6:1線性拉伸，那么內(nèi)容可能以總體更低的亮度水平顯示，圖像可能看起來(lái)顯得暗，圖像的暗細(xì)節(jié)可能具有明顯的破壞性。
[0029]在又一示例中，假設(shè)基準(zhǔn)顯示器具有與目標(biāo)顯示器(比方說(shuō)1000尼特)不同的最大亮度(比方說(shuō)600尼特)。應(yīng)用線性拉伸，即使可能只有小的比率差異(B卩，接近于1:2)，最大亮度的大小差異也可能是大并且有害的。由于大小差異，圖像可能過(guò)于太亮，可能看起來(lái)不舒服。中色調(diào)可能不自然地拉伸，可能看起來(lái)像褪了色。另外，攝像機(jī)噪聲和壓縮噪聲兩者都可能明顯和令人不悅。在又一示例中，假設(shè)基準(zhǔn)顯示器具有等于P3的色域，目標(biāo)顯示器具有小于REC.709的色域。假設(shè)內(nèi)容在基準(zhǔn)顯示器上進(jìn)行顏色分級(jí)，但是呈現(xiàn)的內(nèi)容具有相當(dāng)于目標(biāo)顯示器的色域。在此情況下，將內(nèi)容從基準(zhǔn)顯示器色域映射到目標(biāo)色域可能不必要地壓縮內(nèi)容并且使外觀不飽和。
[0030]在沒(méi)有目標(biāo)顯示器上的圖像呈現(xiàn)(image rendering)的某種智能(或至少更準(zhǔn)確)的模型的情況下，某些失真或有害偽像有可能對(duì)圖像/視頻的觀眾而言將變得明顯。事實(shí)上，觀眾體驗(yàn)到的有可能不是圖像/視頻的創(chuàng)建者想要的。雖然論述專注于亮度，但是可以理解，相同的考量也將適用于顏色。事實(shí)上，如果在源顯示器的顏色空間和目標(biāo)顯示器的顏色空間之間有差異，并且該差異沒(méi)有被正確地解決，那么顏色失真也將是明顯的偽像。相同的概念對(duì)于源顯示器和目標(biāo)顯示器之間的周圍環(huán)境的任何差異也成立。
[0031]元數(shù)據(jù)的使用
[0032]在闡述這些示例時(shí)，期望理解基準(zhǔn)顯示器、目標(biāo)顯示器和源內(nèi)容的本質(zhì)和功能，以便創(chuàng)建對(duì)于最初計(jì)劃的視頻盡可能高的保真度。有描述各方面并且傳輸原始圖像數(shù)據(jù)的信息的其他數(shù)據(jù)，稱為“元數(shù)據(jù)”，用于這樣的忠實(shí)呈現(xiàn)中。
[0033]盡管色調(diào)和色域映射器一般對(duì)于為特定顯示器處理的圖像的大致80-95%適當(dāng)?shù)貓?zhí)行操作，但是，使用這樣的通用解決方案來(lái)處理圖像是有問(wèn)題的。通常，這些方法不能保證屏幕上顯示的圖像匹配導(dǎo)演或初始創(chuàng)作者的意圖。還要注意，不同的色調(diào)或色域映射器可能對(duì)不同類型的圖像更有用，或更好地保留圖像的基調(diào)。另外，還應(yīng)注意，不同的色調(diào)和色域映射器可能會(huì)導(dǎo)致細(xì)節(jié)的截限(clipping)和損失，或者顏色或色調(diào)的偏移。
[0034]當(dāng)對(duì)已經(jīng)顏色分級(jí)了的圖像序列進(jìn)行色調(diào)映射時(shí)，諸如內(nèi)容的最小黑度水平和最大白度水平之類的顏色分級(jí)參數(shù)可能是驅(qū)動(dòng)將已經(jīng)顏色分級(jí)了的內(nèi)容色調(diào)映射到特定顯示器上所期望的參數(shù)。顏色分級(jí)員已經(jīng)使內(nèi)容(基于每個(gè)圖像以及時(shí)間)看起來(lái)如他/她想要的那樣。當(dāng)將它轉(zhuǎn)移到不同顯示器時(shí)，可能期望保留所感受的圖像序列的觀看體驗(yàn)。應(yīng)理解，隨著元數(shù)據(jù)的等級(jí)增多，可以改善外觀的這種維持。
[0035]例如，假設(shè)拍攝了日出序列，并由專業(yè)人員在1000尼特的基準(zhǔn)顯示器上進(jìn)行顏色分級(jí)。在此示例中，內(nèi)容將被映射以供在200尼特的顯示器上顯示。太陽(yáng)升起之前的圖像可能不使用基準(zhǔn)顯示器的整個(gè)范圍(例如，最大200尼特)。一旦太陽(yáng)升起，圖像序列可以使用整個(gè)1000尼特的范圍，這是內(nèi)容的最大值。在沒(méi)有元數(shù)據(jù)的情況下，許多色調(diào)映射器使用最大值(諸如亮度)作為如何映射內(nèi)容的準(zhǔn)則。如此，應(yīng)用于日出前的圖像的色調(diào)曲線(1:1映射)可以不同于應(yīng)用到日出后的圖像的色調(diào)曲線(5倍的色調(diào)壓縮)。目標(biāo)顯示器上顯示的所得圖像可能在日出之前和之后具有相同的峰值亮度，這是創(chuàng)作意圖的失真。藝術(shù)家希望圖像在日出之前暗一些，而在日出過(guò)程中亮一些，如在基準(zhǔn)顯示器上所產(chǎn)生的那樣。在此情況下，可以定義完全描述場(chǎng)景的動(dòng)態(tài)范圍的元數(shù)據(jù)；而該元數(shù)據(jù)的使用可以確保藝術(shù)效果得以保持。也可以用它來(lái)最小化從場(chǎng)景到場(chǎng)景的亮度時(shí)間問(wèn)題。
[0036]作為再一個(gè)示例，考慮上面給出的情況的相反情況。假設(shè)場(chǎng)景I是針對(duì)350尼特分級(jí)的，場(chǎng)景I是在室外自然光下拍攝的。如果場(chǎng)景2是在黑暗的房間中拍攝的，并在相同范圍中示出，那么，場(chǎng)景2看起來(lái)太暗。此情況下元數(shù)據(jù)的使用可以用于定義適當(dāng)?shù)纳{(diào)曲線，并且確保場(chǎng)景2適當(dāng)?shù)乜梢?jiàn)。在再一個(gè)示例中，假設(shè)基準(zhǔn)顯示器具有等于P3的色域，目標(biāo)顯示器具有小于REC.709的色域。假設(shè)內(nèi)容在基準(zhǔn)顯示器上被顏色分級(jí)，但是呈現(xiàn)的內(nèi)容具有相當(dāng)于目標(biāo)顯示器的色域。定義內(nèi)容的色域和源顯示器的色域的元數(shù)據(jù)的使用可以使映射能夠作出智能決策并且1:1地映射內(nèi)容色域。這可以確保內(nèi)容顏色飽和度完整無(wú)損。
[0037]在本系統(tǒng)的某些實(shí)施例中，色調(diào)和色域無(wú)需當(dāng)作一組圖像/視頻的單獨(dú)實(shí)體或條件。“記憶顏色”是即使觀眾可能不清楚初始意圖，但是如果不正確地調(diào)節(jié)，他們也看起來(lái)錯(cuò)誤的圖像顏色。皮膚色調(diào)、天空以及草是記憶顏色的良好示例，當(dāng)進(jìn)行色調(diào)映射時(shí)，它們的色調(diào)可能會(huì)被改變從而看起來(lái)是錯(cuò)誤的。在一個(gè)實(shí)施例中，色域映射器具有圖像中受保護(hù)顏色的知識(shí)(作為元數(shù)據(jù))，以確保其色調(diào)在色調(diào)映射過(guò)程中得以保持。此元數(shù)據(jù)的使用可以定義并標(biāo)記圖像中受保護(hù)的顏色，以確保對(duì)記憶顏色的正確處理。定義局部色調(diào)和色域映射器參數(shù)的能力是元數(shù)據(jù)的示例，其不一定是基準(zhǔn)和/或目標(biāo)顯示器參數(shù)的唯一產(chǎn)物。
[0038]健壯的顏色管理的一實(shí)施例
[0039]在本申請(qǐng)的若干實(shí)施例中，公開(kāi)了用于提供健壯的顏色管理方案的系統(tǒng)和方法，其中使用元數(shù)據(jù)的多個(gè)源來(lái)提供匹配內(nèi)容創(chuàng)作者的最初意圖的更好的圖像/視頻保真度。在一個(gè)實(shí)施例中，可以根據(jù)某些元數(shù)據(jù)的可用性，向處理中添加元數(shù)據(jù)的各種源，如此處將更詳細(xì)地論述的那樣。
[0040]只作為一個(gè)示例，圖2A示出了使用元數(shù)據(jù)的圖像/視頻管道200的高級(jí)框圖。在框202中可以進(jìn)行圖像創(chuàng)建和后期制作。將視頻源208輸入到視頻編碼器210中。將捕捉到的以及視頻源的元數(shù)據(jù)204輸入到元數(shù)據(jù)編碼器206中。前面已經(jīng)討論了元數(shù)據(jù)204的示例；但是，可以包括諸如源和/或基準(zhǔn)顯示器的色域邊界和其他參數(shù)、基準(zhǔn)顯示器的環(huán)境以及其他編碼參數(shù)之類的項(xiàng)。在一個(gè)實(shí)施例中，元數(shù)據(jù)伴隨視頻信號(hào)，因?yàn)樵獢?shù)據(jù)的子集可能與計(jì)劃在給定時(shí)間呈現(xiàn)的視頻信號(hào)在時(shí)間上和空間上定位在一起。元數(shù)據(jù)編碼器206和視頻編碼器210 —起可視為源圖像編碼器。
[0041]然后，通過(guò)分發(fā)212以任何適當(dāng)方式(例如，多路復(fù)用、串行、并行或通過(guò)某些其他已知方案)分發(fā)視頻信號(hào)和元數(shù)據(jù)。應(yīng)理解，分發(fā)212應(yīng)從廣義上理解以用于本申請(qǐng)的目的。合適的分發(fā)方案可以包括:因特網(wǎng)、DVD、有線、衛(wèi)星、無(wú)線等。
[0042]將如此分發(fā)的視頻信號(hào)和元數(shù)據(jù)輸入到目標(biāo)顯示器環(huán)境220中。元數(shù)據(jù)和視頻解碼器222和224分別接收它們相應(yīng)的數(shù)據(jù)流，并提供適合于目標(biāo)顯示器的特性以及其他因素的解碼。此時(shí)，元數(shù)據(jù)可以優(yōu)選被發(fā)送到第三方顏色管理(CM)塊220和/或本申請(qǐng)的CM模塊228的實(shí)施例之一。在通過(guò)CM塊228處理視頻和元數(shù)據(jù)的情況下，CM參數(shù)生成器232可以把來(lái)自于元數(shù)據(jù)解碼器222以及元數(shù)據(jù)預(yù)測(cè)塊230的元數(shù)據(jù)作為輸入。
[0043]元數(shù)據(jù)預(yù)測(cè)塊230可以基于先前圖像或視頻場(chǎng)景的知識(shí)來(lái)作出較高保真度呈現(xiàn)的某些預(yù)測(cè)。元數(shù)據(jù)預(yù)測(cè)塊從傳入的視頻流收集統(tǒng)計(jì)信息，以便估計(jì)元數(shù)據(jù)參數(shù)。圖2B示出了元數(shù)據(jù)預(yù)測(cè)塊230的一個(gè)可行實(shí)施例。在此實(shí)施例中，可以為每幀計(jì)算圖像亮度的對(duì)數(shù)的直方圖262?？蛇x的低通濾波器260可以在直方圖之前以(a)降低直方圖對(duì)噪聲的敏感度和/或(b)部分解決人類視覺(jué)系統(tǒng)中的自然模糊(例如，人將抖動(dòng)圖案感受為單色的塊)。從其捕獲最小值266、最大值274。還可以基于百分比設(shè)置(如5%和95%)來(lái)捕獲趾部268和肩部272的點(diǎn)。還可以計(jì)算幾何平均270 (對(duì)數(shù)平均)并用作中間點(diǎn)?？梢栽跁r(shí)間上過(guò)濾這些值，以便例如它們不會(huì)太快地猛跳。如果需要，這些值也可以在場(chǎng)景變化期間復(fù)位?？梢詮暮趲迦牖蛑狈綀D中的極端激進(jìn)的跳動(dòng)或任何其他這樣的技術(shù)來(lái)檢測(cè)場(chǎng)景變化。可以理解，場(chǎng)景變化檢測(cè)器264可以從直方圖數(shù)據(jù)(如圖所示)或者直接從視頻數(shù)據(jù)檢測(cè)場(chǎng)景變化。
[0044]在再一個(gè)實(shí)施例中，該系統(tǒng)可以計(jì)算圖像強(qiáng)度值(亮度)的平均值。然后，圖像強(qiáng)度可以通過(guò)感知加權(quán)(諸如對(duì)數(shù)、冪函數(shù)或LUT)來(lái)縮放。然后，該系統(tǒng)可以從圖像直方圖的預(yù)定百分比(例如，10%和90%)估計(jì)高亮區(qū)域和陰影區(qū)域(例如，圖5的頭頂凈空(headroom)和腳底凈空(footroom))。替代地，該系統(tǒng)可以根據(jù)直方圖的斜率何時(shí)在某一閾值之上或之下來(lái)估計(jì)高亮區(qū)域和陰影區(qū)域。許多變型是可行的，例如，該系統(tǒng)可以計(jì)算輸入圖像的最大和最小值，或根據(jù)預(yù)定百分比(例如，1%和99%)。
[0045]在其他實(shí)施例中，值可以隨時(shí)間(例如，從一幀到另一幀)而穩(wěn)定，諸如有固定的上升速率和下降速率。突然變化可能指示場(chǎng)景變化，如此，值可能不會(huì)隨時(shí)間而穩(wěn)定。例如，如果變化是在某一閾值以下，則系統(tǒng)可以限制變化速率，否則，就采用新的值。替代地，系統(tǒng)可以拒絕某些值影響直方圖的形狀(諸如尺寸設(shè)定(letterbox)或零值)。
[0046]另外，CM參數(shù)生成器232可以將諸如顯示器參數(shù)、周圍顯示環(huán)境和用戶偏好因素之類的其他元數(shù)據(jù)(即，不一定基于創(chuàng)建內(nèi)容)用于對(duì)圖像/視頻數(shù)據(jù)的顏色管理中?？梢岳斫?，顯示器參數(shù)可以通過(guò)標(biāo)準(zhǔn)接口例如EDID等經(jīng)由接口(諸如DDC串行接口、HDM1、DVI等)而可用于CM參數(shù)生成器232。另外，周圍顯示環(huán)境數(shù)據(jù)可由測(cè)量環(huán)境光條件或來(lái)自目標(biāo)顯示器的環(huán)境光的反射率的環(huán)境光傳感器(未示出)來(lái)提供。
[0047]接收到任何合適的元數(shù)據(jù)之后，CM參數(shù)生成器232可以設(shè)置下游的CM算法234中的參數(shù)，CM算法234可以負(fù)責(zé)圖像/視頻數(shù)據(jù)在目標(biāo)顯示器236上的最終映射。應(yīng)理解，如在CM參數(shù)生成器232和CM算法234之間所示，不需要有功能分叉。事實(shí)上，在某些實(shí)施例中，這些特征可以組合成一個(gè)框。[0048]同樣，可以理解，從本實(shí)施例的觀點(diǎn)來(lái)看，形成圖2A和圖2B的各種框是可選的，可以設(shè)計(jì)有或沒(méi)有所述這些框的許多其他實(shí)施例，它們都在本申請(qǐng)的范圍內(nèi)。另外，CM處理可以在圖像管道200中的不同點(diǎn)進(jìn)行，不一定如圖2A所示。例如，可以將目標(biāo)顯示器的CM置于并且包含在目標(biāo)顯示器本身內(nèi)，或者這樣的處理可以在機(jī)頂盒中執(zhí)行。替代地，根據(jù)什么等級(jí)的元數(shù)據(jù)處理可用或被認(rèn)為合適，目標(biāo)顯示器的CM可以在分發(fā)或后期制作時(shí)進(jìn)行。
[0049]使用變化的元數(shù)據(jù)等級(jí)的可縮放顏色管理
[0050]在本申請(qǐng)的若干實(shí)施例中，公開(kāi)了提供可縮放的顏色管理方案的系統(tǒng)和方法，其中元數(shù)據(jù)的若干源可以布置在一組變化的元數(shù)據(jù)等級(jí)中，以提供對(duì)內(nèi)容創(chuàng)作者的最初意圖甚至更高等級(jí)的圖像/視頻保真度。在一實(shí)施例中，根據(jù)某些元數(shù)據(jù)的可用性，可以向處理中添加各種元數(shù)據(jù)等級(jí)，如此處將更詳細(xì)地論述的那樣。
[0051]在本系統(tǒng)的許多實(shí)施例中，合適的元數(shù)據(jù)算法可以考慮多種信息，諸如，例如:
[0052](I)所編碼的視頻內(nèi)容，
[0053](2)將編碼內(nèi)容轉(zhuǎn)換為線性光的方法
[0054](3)源內(nèi)容的色域邊界(亮度和色品二者)，以及
[0055](4)關(guān)于后期制作環(huán)境的信息。
[0056]可能需要用于轉(zhuǎn)換到線性光的方法，以便可以計(jì)算由內(nèi)容創(chuàng)作者觀察到的實(shí)際圖像的外觀(亮度、色域等)。色域邊界有助于預(yù)先指定最外的顏色可能是什么，以便這樣的最外顏色可以被映射到目標(biāo)顯示器中而沒(méi)有截限或留下太多開(kāi)銷。可能需要關(guān)于后期制作環(huán)境的信息，以便可以模擬可能影響顯示外觀的任何外部因素。
[0057]在當(dāng)前視頻分發(fā)機(jī)制中，只有編碼了的視頻內(nèi)容被提供給目標(biāo)顯示器。假設(shè)使用符合Rec.601/709和各種SMPTE標(biāo)準(zhǔn)的基準(zhǔn)顯示器，在基準(zhǔn)工作室環(huán)境中制作內(nèi)容。通常，假設(shè)目標(biāo)顯示器系統(tǒng)符合Rec.601/709，很大程度上忽略目標(biāo)顯示環(huán)境。由于假設(shè)后期制作顯示器和目標(biāo)顯示器兩者都符合Rec.601/709，所以顯示器中沒(méi)有一個(gè)可以在不產(chǎn)生某種程度的圖像失真的情況下升級(jí)。事實(shí)上，由于Rec.601和Rec.709在它們的原色選擇方面稍微不同，所以可能已經(jīng)引入了某些失真。
[0058]此處公開(kāi)了元數(shù)據(jù)等級(jí)的可縮放系統(tǒng)的一實(shí)施例，其允許使用具有較寬且增強(qiáng)能力范圍的基準(zhǔn)和目標(biāo)顯示器。各種元數(shù)據(jù)等級(jí)允許CM算法調(diào)整源內(nèi)容以適應(yīng)具有各種精度等級(jí)的給定目標(biāo)顯示器。下面的章節(jié)描述了所提出的元數(shù)據(jù)的等級(jí):
[0059]等級(jí)O
[0060]等級(jí)O元數(shù)據(jù)是默認(rèn)情況，基本上意味著零元數(shù)據(jù)。由于多個(gè)原因，元數(shù)據(jù)可能不存在，原因包括:
[0061](I)內(nèi)容創(chuàng)建者沒(méi)有放入元數(shù)據(jù)(或者元數(shù)據(jù)在后期制作管道中的某點(diǎn)丟失)；
[0062](2)顯示器在內(nèi)容之間切換(B卩，頻道切換或商業(yè)廣告節(jié)目)；
[0063](3)數(shù)據(jù)損壞或丟失。
[0064]在一實(shí)施例中，可能期望CM處理通過(guò)基于視頻分析來(lái)估計(jì)等級(jí)O或者通過(guò)采用默認(rèn)值來(lái)處理等級(jí)O (即，沒(méi)有元數(shù)據(jù)存在時(shí))。
[0065]在這樣的實(shí)施例中，顏色管理算法可能能夠以至少兩種不同的方式來(lái)在不存在元數(shù)據(jù)的情況下操作。
[0066]切換到默認(rèn)值[0067]在此情況下，顯示器將非常像現(xiàn)今的分發(fā)系統(tǒng)那樣操作，其中采用了后期制作基準(zhǔn)顯示器的特性。根據(jù)視頻編碼格式，所采用的基準(zhǔn)顯示器可能潛在地不同。例如，可以為8比特RGB數(shù)據(jù)采用Rec.601/709顯示器。如果在600尼特模式下在專業(yè)監(jiān)視器(諸如ProMonitor)上進(jìn)行顏色分級(jí)，則可以為較高比特深度的RGB數(shù)據(jù)或LogYuv編碼數(shù)據(jù)采用P3或Rec709色域。如果對(duì)于較高動(dòng)態(tài)范圍內(nèi)容,只有一個(gè)標(biāo)準(zhǔn)或事實(shí)上的標(biāo)準(zhǔn),這可能作用良好。然而，如果在自定義條件下創(chuàng)建較高動(dòng)態(tài)范圍內(nèi)容，則結(jié)果可能不會(huì)大大地改善，并可能會(huì)差。
[0068]適應(yīng)性地計(jì)算參數(shù)值
[0069]在此情況下，CM算法可能以某些默認(rèn)假設(shè)開(kāi)始，并且基于通過(guò)分析源內(nèi)容獲得的信息來(lái)精煉這些假設(shè)。通常，這可能涉及分析視頻幀的直方圖來(lái)確定如何最好地調(diào)節(jié)傳入源的亮度，有可能通過(guò)為CM算法計(jì)算參數(shù)值來(lái)進(jìn)行。在這樣做時(shí)，可能風(fēng)險(xiǎn)在于它可能會(huì)給視頻產(chǎn)生“自動(dòng)曝光”類型的外觀，其中每個(gè)場(chǎng)景或幀都被平衡到相同的亮度級(jí)。另外，某些格式還可能帶來(lái)某些其他挑戰(zhàn)，例如，如果源內(nèi)容是RGB格式，那么當(dāng)前沒(méi)有自動(dòng)確定色域的方式。
[0070]在另一個(gè)實(shí)施例中，可以實(shí)現(xiàn)兩種方案的組合。例如，可以假設(shè)色域和編碼參數(shù)(諸如伽馬)是標(biāo)準(zhǔn)化默認(rèn)值，可以使用直方圖來(lái)調(diào)節(jié)亮度級(jí)。
[0071]等級(jí)I
[0072]在本實(shí)施例中，等級(jí)I的元數(shù)據(jù)提供描述如何創(chuàng)建和封裝源內(nèi)容的信息。此數(shù)據(jù)可以允許CM處理預(yù)測(cè)視頻內(nèi)容在內(nèi)容制作者看來(lái)實(shí)際上是什么模樣。等級(jí)I的元數(shù)據(jù)參數(shù)可以分組為三個(gè)區(qū)域:
[0073](I)視頻編碼參數(shù)，
[0074](2)源顯示器參數(shù)，
[0075](3)源內(nèi)容色域參數(shù)，以及
[0076](4)環(huán)境參數(shù)。
[0077]視頻編碼參數(shù)
[0078]由于大多數(shù)顏色管理算法至少部分地在線性光空間中起作用，所以可能期望具有一種將編碼視頻轉(zhuǎn)換為線性(但相關(guān))的(X，Y，Z)表示(或者是編碼方案固有的，或者作為元數(shù)據(jù)本身被提供)的方法。例如，諸如LogYuv、OpenEXR、LogYxy或LogLuv TIFF之類的編碼方案都固有地包含轉(zhuǎn)換到線性光格式所需的信息。然而，對(duì)于許多RGB或YCbCr格式，可能需要諸如伽馬以及原色之類的額外信息。作為示例，為了處理YCbCr或RGB，可以提供下列各條信息:
[0079](I)用于編碼源內(nèi)容的原色和白點(diǎn)的坐標(biāo)。這可以用于生成RGB到XYZ顏色空間變換矩陣，紅、綠、藍(lán)以及白中的每一個(gè)的(x，y)。
[0080](2)最小和最大代碼值(例如，“標(biāo)準(zhǔn)”或“完全”范圍)。這可以用于將代碼值轉(zhuǎn)換為規(guī)范化的輸入值。
[0081](3)每種原色的全局或每通道響應(yīng)曲線(例如，“伽馬”)。這可用于通過(guò)撤消可能已經(jīng)由接口或基準(zhǔn)顯示器應(yīng)用的任何非線性響應(yīng)來(lái)使強(qiáng)度值線性化。
[0082]源顯示器色域參數(shù)
[0083]顏色管理算法知道源顯示器的色域可能是有用的。這些值對(duì)應(yīng)于用于對(duì)內(nèi)容進(jìn)行分級(jí)的基準(zhǔn)顯示器的功能。優(yōu)選地在完全黑暗的環(huán)境中測(cè)量的源顯示器色域參數(shù)可以包括:
[0084](I)原色，諸如提供為具有指定的最大亮度的CIE X, y色度坐標(biāo)或XYZ ；
[0085](2)用于白和黑的三色值，諸如CIE XYZ0
[0086]源內(nèi)容色域參數(shù)
[0087]顏色管理算法知道在生成源內(nèi)容時(shí)所使用的色域邊界是有用的。通常，這些值對(duì)應(yīng)于對(duì)內(nèi)容進(jìn)行分級(jí)的基準(zhǔn)顯示器的功能；然而，由于軟件設(shè)置，或者如果只使用了顯示器的能力的子集，所以它們可能不同。在某些情況下，源內(nèi)容的色域可能不匹配編碼視頻數(shù)據(jù)的色域。例如，可以以LogYuv(或某種其他編碼)來(lái)編碼包含整個(gè)可見(jiàn)光譜的視頻數(shù)據(jù)。源色域參數(shù)可以包括:
[0088](I)原色，諸如提供為具有指定的最大亮度的CIE X, y色度坐標(biāo)或XYZ ；
[0089](2)用于白和黑的三色值，諸如CIE XYZ。
[0090]環(huán)境參數(shù)
[0091]在某些情況下，只知道由基準(zhǔn)顯示器產(chǎn)生的光等級(jí)可能不足以確定在后期制作中源內(nèi)容向觀眾“呈現(xiàn)”為如何。關(guān)于由周圍環(huán)境所產(chǎn)生的光等級(jí)的信息也可以是有用的。顯示光和環(huán)境光的組合是沖擊人眼并產(chǎn)生“外觀”的信號(hào)?？赡芟Ｍㄟ^(guò)視頻管道保留此外觀。優(yōu)選地在普通顏色分級(jí)環(huán)境中測(cè)量的環(huán)境參數(shù)可以包括:
[0092]( I)作為絕對(duì)XYZ值提供的基準(zhǔn)監(jiān)視器周圍顏色?？梢允褂迷撝祦?lái)估計(jì)觀眾對(duì)他們的環(huán)境的適應(yīng)等級(jí)。
[0093](2)普通顏色分級(jí)環(huán)境中基準(zhǔn)監(jiān)視器的黑度水平的絕對(duì)XYZ值。環(huán)境照明對(duì)黑度水平的影響可以使用該值來(lái)確定。
[0094](3)作為屏幕正前的白反射樣本(諸如紙)的絕對(duì)XYZ值提供的環(huán)境光的色溫。可以使用該值來(lái)估計(jì)觀眾的白點(diǎn)適應(yīng)性。
[0095]注意，等級(jí)I的元數(shù)據(jù)可以提供源內(nèi)容的色域、編碼和環(huán)境參數(shù)。這可以允許CM解決方案預(yù)測(cè)當(dāng)批準(zhǔn)時(shí)源內(nèi)容呈現(xiàn)得如何。然而，它可能不會(huì)提供有關(guān)如何最好地調(diào)節(jié)顏色和亮度以適應(yīng)目標(biāo)顯示器的許多指導(dǎo)。
[0096]在一個(gè)實(shí)施例中，全局性地應(yīng)用到RGB空間中的視頻幀的單個(gè)S形曲線可以是在不同的源和目標(biāo)動(dòng)態(tài)范圍之間進(jìn)行映射的簡(jiǎn)單而穩(wěn)定的方式。另外，可以使用單個(gè)S形曲線來(lái)獨(dú)立地修改每個(gè)通道(R、G、B)。這樣的曲線也可以在某種感受空間中是S形的，諸如對(duì)數(shù)或冪函數(shù)。圖3示出了示例性曲線300。可以理解，其他映射曲線也可以是合適的，諸如線性圖(如圖3、4和6所示)，或其他圖，諸如伽馬。
[0097]在此情況下，從等級(jí)I元數(shù)據(jù)和有關(guān)目標(biāo)顯示器的信息知道曲線上的最小值和最大值的點(diǎn)。曲線的準(zhǔn)確形狀可以是靜態(tài)的，基于輸入和輸出范圍平均看起來(lái)作用良好。還可以基于源內(nèi)容進(jìn)行適應(yīng)性修改。
[0098]等級(jí)2
[0099]等級(jí)2元數(shù)據(jù)提供關(guān)于源視頻內(nèi)容的特性的額外信息。在一實(shí)施例中，等級(jí)2元數(shù)據(jù)可以將源內(nèi)容的亮度范圍分為特定亮度區(qū)域。更具體而言，一實(shí)施例可以將源內(nèi)容的亮度范圍分割為五個(gè)區(qū)域，其中區(qū)域可以通過(guò)沿著亮度范圍的點(diǎn)來(lái)定義。這樣的范圍和區(qū)域可以通過(guò)一幅圖像、一組圖像、一個(gè)視頻場(chǎng)景或多個(gè)視頻場(chǎng)景來(lái)定義。[0100]為了說(shuō)明方便，圖4和圖5描繪了等級(jí)2元數(shù)據(jù)的使用的一實(shí)施例。圖4是目標(biāo)顯示器上輸入亮度到輸出亮度的映射400。這里映射400被描繪為包括沿其曲線的一組斷點(diǎn)的基本S形曲線。這些點(diǎn)可以對(duì)應(yīng)于圖像處理相關(guān)值,標(biāo)記為minin、footin、midin、headin和 maxino
[0101]在此實(shí)施例中，maxin可以對(duì)應(yīng)于一場(chǎng)景的最小和最大亮度值。第三點(diǎn)midin可以是對(duì)應(yīng)于感知“平均”亮度值或“中間灰度”的中間值。最后的兩個(gè)點(diǎn)作0\?和headin可以是腳底凈空和頭頂凈空值。腳底凈空和頭頂凈空值之間的區(qū)域可以定義場(chǎng)景的動(dòng)態(tài)范圍的重要部分。希望這些點(diǎn)之間的內(nèi)容應(yīng)被盡可能多地保留。如果需要，可以消滅腳底凈空之下的內(nèi)容。頭頂凈空之上的內(nèi)容對(duì)應(yīng)于高亮(highlight)，如果需要，可以被截限。應(yīng)理解，這些點(diǎn)傾向于定義曲線本身，因此，另一實(shí)施例可能是這些點(diǎn)的最佳擬合曲線。另外，這樣的曲線可能采取線性、伽馬、S形或任何其他合適的和/或所希望的形狀。
[0102]進(jìn)一步針對(duì)此實(shí)施例，圖5示出了在直方圖500上示出的最小值、腳底凈空、中間值、頭頂凈空和最大值的點(diǎn)。這樣的直方圖可以基于圖像、視頻場(chǎng)景或者甚至一組視頻場(chǎng)景而產(chǎn)生，取決于需要直方圖分析的哪一等級(jí)的粒度來(lái)幫助保留內(nèi)容保真度。在一個(gè)實(shí)施例中，可以以與視頻數(shù)據(jù)相同的編碼表示在代碼值中指定五個(gè)點(diǎn)。注意，最小值和最大值通?？梢詫?duì)應(yīng)于與視頻信號(hào)的范圍相同的值，但并非總是如此。
[0103]取決于這樣的直方圖的粒度和頻率，可以使用直方圖分析來(lái)動(dòng)態(tài)地重新定義沿圖4的亮度圖的點(diǎn)，并且因此隨時(shí)間而改變曲線。這也可以有助于改善目標(biāo)顯示器上向觀眾顯示的內(nèi)容保真度。例如，在一實(shí)施例中，周期性地傳遞直方圖可使解碼器有可能獲得比最小值、最大值等更多的信息。編碼器也可以在有顯著改變時(shí)僅包括新的直方圖。這可以節(jié)省解碼器為運(yùn)行中的每個(gè)幀計(jì)算它的工作。在再一個(gè)實(shí)施例中，可以使用直方圖來(lái)估計(jì)元數(shù)據(jù)，以替換丟失的元數(shù)據(jù)或者補(bǔ)充現(xiàn)有的元數(shù)據(jù)。
[0104]等級(jí)3`[0105]在一實(shí)施例中，對(duì)于等級(jí)3元數(shù)據(jù)，等級(jí)I和等級(jí)2元數(shù)據(jù)參數(shù)可以用于源內(nèi)容的第二基準(zhǔn)分級(jí)。例如，可能已經(jīng)使用P3色域在600尼特的亮度下在基準(zhǔn)監(jiān)視器(例如，ProMonitor)上執(zhí)行了源內(nèi)容的初步分級(jí)。利用等級(jí)3元數(shù)據(jù)，也可以提供有關(guān)例如可能在CRT基準(zhǔn)顯示器上執(zhí)行的二次分級(jí)的信息。在此情況下，額外信息將指出Rec.601或Rec.709原色以及較低的亮度，諸如120尼特。對(duì)應(yīng)的最小值、腳、中間、頭頂以及最大值水平也將被提供給CM算法。
[0106]等級(jí)3元數(shù)據(jù)可以添加額外數(shù)據(jù)，例如，色域、環(huán)境、原色等以及亮度級(jí)信息以用于源內(nèi)容的第二基準(zhǔn)分級(jí)。然后，可以將此額外信息組合以定義將把初級(jí)輸入映射到基準(zhǔn)顯示器范圍的S形曲線600 (如圖6所示)。圖6示出了如何將輸入和基準(zhǔn)顯示器(輸出)水平組合以形成合適的映射曲線的示例。
[0107]如果目標(biāo)顯示器的能力是二次基準(zhǔn)顯示器的良好匹配，那么此曲線可以直接用于映射初級(jí)源內(nèi)容。然而，如果目標(biāo)顯示器的能力在初級(jí)和二次基準(zhǔn)顯示器的能力之間的某處，那么二次顯示器的映射曲線可以用作下邊界。然后，用于實(shí)際目標(biāo)顯示器的曲線可以是不縮小(例如，如圖7所示的線性映射700)和使用基準(zhǔn)水平所生成的全范圍縮小曲線之間的內(nèi)插。
[0108]等級(jí)4[0109]等級(jí)4元數(shù)據(jù)與等級(jí)3元數(shù)據(jù)相同，除了第二基準(zhǔn)分級(jí)的元數(shù)據(jù)針對(duì)實(shí)際目標(biāo)顯示器被調(diào)整之外。
[0110]等級(jí)4元數(shù)據(jù)還可以在過(guò)頂OTT情況下實(shí)施(即，Netf lix，移動(dòng)流式播放或某種其他VOD服務(wù))，其中實(shí)際目標(biāo)顯示器將其特性發(fā)送到內(nèi)容提供者，內(nèi)容以可用的最合適的曲線來(lái)分發(fā)。在一個(gè)這樣的實(shí)施例中，目標(biāo)顯示器可以與視頻流式播放服務(wù)、VOD服務(wù)等進(jìn)行通信，目標(biāo)顯示器可以向流式播放服務(wù)發(fā)送諸如其EDID數(shù)據(jù)或可用的任何其他合適的元數(shù)據(jù)之類的信息。這樣的通信路徑在圖2A中描繪成虛線路徑240，到視頻和/或元數(shù)據(jù)編碼器(分別是210和206)，如在本領(lǐng)域中諸如Netflix等之類的服務(wù)已知的那樣。通常，Netflix和其他這樣的VOD服務(wù)監(jiān)視輸送到目標(biāo)設(shè)備的數(shù)據(jù)量和數(shù)據(jù)速度，不一定是元數(shù)據(jù)，以用于顏色管理。但是，對(duì)于本實(shí)施例的目的而言，元數(shù)據(jù)通過(guò)分發(fā)212或以別的方式(實(shí)時(shí)或預(yù)先地)從目標(biāo)數(shù)據(jù)發(fā)送到創(chuàng)建或后期制作以改變提供給目標(biāo)顯示器的圖像數(shù)據(jù)的顏色、色調(diào)或其他特性就足夠了。
[0111]利用等級(jí)4元數(shù)據(jù)，所提供的基準(zhǔn)亮度級(jí)是專門針對(duì)目標(biāo)顯示器的。在此情況下，S形曲線可以如圖6所示的那樣構(gòu)建，并被直接使用，而無(wú)需任何內(nèi)插或調(diào)節(jié)。
[0112]等級(jí)5
[0113]等級(jí)5元數(shù)據(jù)通過(guò)標(biāo)識(shí)諸如下列各項(xiàng)的重要特征來(lái)增強(qiáng)等級(jí)3或等級(jí)4。
[0114](I)受保護(hù)的顏色一圖像中已經(jīng)被標(biāo)識(shí)為公共記憶顏色的不應(yīng)被處理的顏色，諸如皮膚色調(diào)、天空和草等的顏色。圖像的具有受保護(hù)顏色的這種區(qū)域可以將它們的圖像數(shù)據(jù)不變地傳遞到目標(biāo)顯示器上。
[0115](2)重要聞売顯不一標(biāo)識(shí)光源、最大發(fā)射和鏡面聞売。
[0116](3)色域外顏色一圖像中被故意顏色分級(jí)到源內(nèi)容的色域外的特征。
[0117]在某些實(shí)施例中，如果目標(biāo)顯示器能夠?qū)崿F(xiàn)更高亮度，則這些標(biāo)識(shí)對(duì)象可以被人工映射到顯示器的最大值。如果目標(biāo)顯示器能夠?qū)崿F(xiàn)更低亮度，則可以將這些對(duì)象截限到顯示器最大值，而不補(bǔ)償細(xì)節(jié)。然后，可以忽略這些對(duì)象，可以將所定義的映射曲線應(yīng)用于剩余內(nèi)容，并保持較高的細(xì)節(jié)量。
[0118]還應(yīng)理解，在某些實(shí)施例中，例如在試圖將VDR向下映射到較低動(dòng)態(tài)范圍的顯示器的情況下，知道光源和高亮可能是有用的，因?yàn)榭梢越叵匏鼈兌粫?huì)有太多的損害。舉一個(gè)例子，另一方面，被照亮的臉(即，毫無(wú)疑問(wèn)不是光源)可能不是希望被截限的特征。替代地，這樣的特征可以被更緩和地壓縮。在再一個(gè)實(shí)施例中，如果目標(biāo)顯示器能夠?qū)崿F(xiàn)更寬的色域，則這些內(nèi)容對(duì)象可以被擴(kuò)展并擴(kuò)展到顯示器的全部功能。另外，在另一個(gè)實(shí)施例中，系統(tǒng)可能忽略所定義的任何映射曲線以確保高度飽和的顏色。
[0119]應(yīng)理解，在本申請(qǐng)的若干實(shí)施例中，等級(jí)本身可以不是元數(shù)據(jù)處理的嚴(yán)格層次結(jié)構(gòu)。例如，等級(jí)5可以應(yīng)用到等級(jí)3或等級(jí)4的數(shù)據(jù)。另外，某些較低編號(hào)的等級(jí)可以不存在；但是系統(tǒng)可以處理較高編號(hào)的等級(jí)，如果存在的話。
[0120]采用多個(gè)元數(shù)據(jù)等級(jí)的系統(tǒng)的一實(shí)施例
[0121]如上所述，變化的元數(shù)據(jù)等級(jí)提供增多的有關(guān)源材料的信息，其允許CM算法針對(duì)目標(biāo)顯示器提供更準(zhǔn)確的映射。圖8示出了使用這樣的可縮放且變化的元數(shù)據(jù)等級(jí)的一實(shí)施例。
[0122]如所示，系統(tǒng)800通過(guò)五個(gè)框示出了整個(gè)視頻/元數(shù)據(jù)管道:創(chuàng)建802、容器808、編碼/分發(fā)814、解碼822和消費(fèi)834?？梢岳斫?，不同實(shí)現(xiàn)的許多變化是可行的，某些具有更多框，某些具有更少框。本申請(qǐng)的范圍不應(yīng)局限于此處的各實(shí)施例的敘述，事實(shí)上，本申請(qǐng)的范圍包含這些各種實(shí)現(xiàn)和各實(shí)施例。
[0123]創(chuàng)建802廣義地獲取圖像/視頻內(nèi)容804并且如前所述通過(guò)顏色分級(jí)工具806來(lái)處理它。將經(jīng)過(guò)處理的視頻和元數(shù)據(jù)置于合適的容器810中，例如本領(lǐng)域已知的任何合適的格式或數(shù)據(jù)結(jié)構(gòu)，以用于隨后的傳播。舉一個(gè)例子，視頻可以作為VDR顏色分級(jí)視頻來(lái)存儲(chǔ)和發(fā)送，元數(shù)據(jù)作為VDR XML格式化的元數(shù)據(jù)來(lái)存儲(chǔ)和發(fā)送。如812中所示，此元數(shù)據(jù)被分割為前面所討論的各種等級(jí)。在容器框中，可以將數(shù)據(jù)嵌入到格式化的元數(shù)據(jù)中，其編碼了哪些元數(shù)據(jù)等級(jí)可用并與圖像/視頻數(shù)據(jù)相關(guān)聯(lián)。應(yīng)理解，并非所有的元數(shù)據(jù)等級(jí)都需要與圖像/視頻數(shù)據(jù)相關(guān)聯(lián)；但是無(wú)論什么元數(shù)據(jù)和等級(jí)被關(guān)聯(lián)，下游的解碼和呈現(xiàn)都能夠適當(dāng)?shù)卮_定和處理這些可用的元數(shù)據(jù)。
[0124]編碼后可以繼續(xù)進(jìn)行到獲取元數(shù)據(jù)并將它提供到算法參數(shù)確定框816，而視頻可以提供到AVCVDR編碼器818，其也可以包括CM框，以用于在分發(fā)820之前處理視頻。
[0125]一旦分發(fā)(從廣義上來(lái)講，通過(guò)例如因特網(wǎng)、DVD、有線、衛(wèi)星、無(wú)線等)，就可以到AVCVDR解碼器824 (或可任選地，到舊式解碼器826，如果目標(biāo)顯示器沒(méi)有啟用VDR的話)進(jìn)行視頻/元數(shù)據(jù)的數(shù)據(jù)解碼。從解碼恢復(fù)視頻數(shù)據(jù)和元數(shù)據(jù)兩者(分別作為框830、828，如果目標(biāo)顯示器是舊式的，可能還有832)。解碼器824可以獲取輸入圖像/視頻數(shù)據(jù)并將輸入圖像數(shù)據(jù)恢復(fù)和/或分離為供進(jìn)一步處理和呈現(xiàn)的圖像/視頻數(shù)據(jù)流和用于計(jì)算用于稍后對(duì)要呈現(xiàn)的圖像/視頻數(shù)據(jù)流進(jìn)行處理的CM算法的參數(shù)的元數(shù)據(jù)流。元數(shù)據(jù)流還應(yīng)包含關(guān)于是否有與圖像/視頻數(shù)據(jù)流相關(guān)聯(lián)的任何元數(shù)據(jù)的信息。如果沒(méi)有元數(shù)據(jù)相關(guān)聯(lián)，那么該系統(tǒng)可以執(zhí)行如上文所討論的等級(jí)O處理。否則，該系統(tǒng)可以如上文所討論的那樣根據(jù)元數(shù)據(jù)的一組變化的等級(jí)，根據(jù)與圖像/視頻數(shù)據(jù)流相關(guān)聯(lián)的任何元數(shù)據(jù)來(lái)執(zhí)行進(jìn)一步處理。
[0126]可以理解，可以實(shí)時(shí)地確定是否有與要被呈現(xiàn)的圖像/視頻數(shù)據(jù)相關(guān)聯(lián)的任何元數(shù)據(jù)。例如，對(duì)于視頻流的某些部分，有可能沒(méi)有元數(shù)據(jù)與這些部分相關(guān)聯(lián)(無(wú)論是由于數(shù)據(jù)損壞還是內(nèi)容創(chuàng)建者計(jì)劃沒(méi)有元數(shù)據(jù))，而在其他部分中，可能有元數(shù)據(jù)，或者有帶有豐富元數(shù)據(jù)的變化等級(jí)的組，現(xiàn)在可用并且與視頻流的其他部分相關(guān)聯(lián)。這就內(nèi)容創(chuàng)建者而言可能是故意的；但是本申請(qǐng)的至少一個(gè)實(shí)施例應(yīng)能夠?qū)崟r(shí)地或基本動(dòng)態(tài)地就是否有任何元數(shù)據(jù)與視頻流相關(guān)聯(lián)或者什么元數(shù)據(jù)等級(jí)與視頻流相關(guān)聯(lián)作出判斷。
[0127]在消費(fèi)框中，算法參數(shù)確定框836可以恢復(fù)在分發(fā)之前可能已完成的先前的參數(shù)，或者可以基于來(lái)自目標(biāo)顯示器和/或目標(biāo)環(huán)境(或許來(lái)自標(biāo)準(zhǔn)接口例如EDID或新興VDR接口，以及來(lái)自觀眾的輸入或者目標(biāo)環(huán)境中的傳感器的輸入，如前面在圖2A和/或2B的實(shí)施例的上下文中所討論的那樣)重新計(jì)算參數(shù)。一旦計(jì)算或恢復(fù)了參數(shù)，就可以將它們發(fā)送到CM系統(tǒng)中的一個(gè)或多個(gè)(838、840和/或840)，以用于根據(jù)此處所公開(kāi)的多個(gè)實(shí)施例，最后將源和中間圖像/視頻數(shù)據(jù)映射到目標(biāo)顯示器844上。
[0128]在其他實(shí)施例中，圖8的實(shí)現(xiàn)框不需要精細(xì)劃分。例如，并廣義地說(shuō)，涉及算法參數(shù)確定和顏色管理算法本身的處理不需要一定如圖8所示的那樣分支；而是可以構(gòu)思和/或?qū)崿F(xiàn)為顏色管理模塊。
[0129]另外，盡管這里描述了一組變化等級(jí)的元數(shù)據(jù)由視頻/圖像管道使用，但是應(yīng)理解，在實(shí)踐中，系統(tǒng)不需要按元數(shù)據(jù)的等級(jí)被編號(hào)的準(zhǔn)確順序來(lái)處理圖像/視頻數(shù)據(jù)。事實(shí)上，可能有這樣的情況:元數(shù)據(jù)的某些等級(jí)在呈現(xiàn)時(shí)可用，而其他等級(jí)不可用。例如，第二基準(zhǔn)顏色分級(jí)可以執(zhí)行，也可以不執(zhí)行，等級(jí)3元數(shù)據(jù)可以在呈現(xiàn)時(shí)存在，也可以不存在。根據(jù)本申請(qǐng)作出的系統(tǒng)考慮了不同等級(jí)的元數(shù)據(jù)的存在或不存在，并用當(dāng)時(shí)可行的最佳元數(shù)據(jù)處理來(lái)繼續(xù)執(zhí)行。
[0130]給出了與附圖一起閱讀的本發(fā)明的一個(gè)或多個(gè)實(shí)施例的詳細(xì)描述，其示出了本發(fā)明的原理。應(yīng)理解，關(guān)于這樣的實(shí)施例描述了本發(fā)明，但是本發(fā)明不限于任何實(shí)施例。本發(fā)明的范圍只由權(quán)利要求來(lái)限定，本發(fā)明涵蓋了很多替代方案、修改方案和等效方案。在本描述中闡述了很多具體細(xì)節(jié)，以便全面地理解本發(fā)明。這些細(xì)節(jié)是作為示例提供的，本發(fā)明可以根據(jù)權(quán)利要求，在沒(méi)有這些具體細(xì)節(jié)中的某些或全部的情況下實(shí)施。為了清楚起見(jiàn)，沒(méi)有詳細(xì)描述在與本發(fā)明相關(guān)的【技術(shù)領(lǐng)域】?jī)?nèi)已知的技術(shù)材料，以便不會(huì)不必要地模糊本發(fā)明。
【權(quán)利要求】
1.一種用于通過(guò)一組元數(shù)據(jù)等級(jí)來(lái)處理圖像數(shù)據(jù)并且在目標(biāo)顯示器上呈現(xiàn)圖像數(shù)據(jù)的方法，元數(shù)據(jù)與圖像內(nèi)容相關(guān)聯(lián)，所述方法的步驟包括: 輸入所述圖像數(shù)據(jù)； 確定與所述圖像數(shù)據(jù)相關(guān)聯(lián)的元數(shù)據(jù)的一組等級(jí)； 如果沒(méi)有元數(shù)據(jù)與所述圖像數(shù)據(jù)相關(guān)聯(lián)，則執(zhí)行一組圖像處理步驟中的至少一個(gè)步驟，所述一組圖像處理步驟包括:切換到默認(rèn)值并且適應(yīng)性地計(jì)算參數(shù)值； 如果元數(shù)據(jù)與所述圖像數(shù)據(jù)相關(guān)聯(lián)，則根據(jù)與所述圖像數(shù)據(jù)相關(guān)聯(lián)的元數(shù)據(jù)的一組等級(jí)來(lái)計(jì)算顏色管理算法的參數(shù)。
2.如權(quán)利要求1所述的方法，其中，確定與所述圖像數(shù)據(jù)相關(guān)聯(lián)的元數(shù)據(jù)的一組等級(jí)的步驟進(jìn)一步包括: 解碼所輸入的圖像數(shù)據(jù)以恢復(fù)圖像數(shù)據(jù)和相關(guān)聯(lián)的元數(shù)據(jù)。
3.如權(quán)利要求2所述的方法，其中，解碼所輸入的圖像數(shù)據(jù)的步驟進(jìn)一步包括: 將所輸入的圖像數(shù)據(jù)分離為圖像數(shù)據(jù)流和元數(shù)據(jù)流。
4.如權(quán)利要求1所述的方法，其中，根據(jù)與所述圖像數(shù)據(jù)相關(guān)聯(lián)的元數(shù)據(jù)的一組等級(jí)來(lái)計(jì)算顏色管理算法的參數(shù)的步驟進(jìn)一步包括: 判斷源圖像數(shù)據(jù)是否已經(jīng)使用第一基準(zhǔn)顯示器被顏色分級(jí)； 如果源圖像數(shù)據(jù)內(nèi)容已經(jīng)使用第一基準(zhǔn)顯示器被顏色分級(jí)，則基于一組元數(shù)據(jù)參數(shù)中的至少一個(gè)來(lái)預(yù)測(cè)所述源圖像 數(shù)據(jù)內(nèi)容，所述一組元數(shù)據(jù)參數(shù)包括:視頻編碼參數(shù)、源內(nèi)容色域參數(shù)和環(huán)境參數(shù)。
5.如權(quán)利要求4所述的方法，其中，所述視頻編碼參數(shù)包括如下組中的至少一個(gè)，所述組包括:用于編碼源內(nèi)容的原色坐標(biāo)、用于編碼源內(nèi)容的白點(diǎn)坐標(biāo)、最小代碼值、最大代碼值、用于至少一種原色的響應(yīng)曲線。
6.如權(quán)利要求4所述的方法，其中，所述源內(nèi)容色域參數(shù)進(jìn)一步包括用于對(duì)所述源圖像內(nèi)容進(jìn)行顏色分級(jí)的基準(zhǔn)顯示器的色域。
7.如權(quán)利要求6所述的方法，其中，所述源內(nèi)容色域參數(shù)還包括:原色色度坐標(biāo)、白色的三色值、黑色的三色值、最大和最小亮度級(jí)的坐標(biāo)值。
8.如權(quán)利要求4所述的方法，其中，所述環(huán)境參數(shù)還包括如下組中的一個(gè)，所述組包括:在對(duì)所述源內(nèi)容進(jìn)行顏色分級(jí)時(shí)的環(huán)境光條件、基準(zhǔn)監(jiān)視器周圍的顏色、基準(zhǔn)監(jiān)視器的絕對(duì)黑色值、在進(jìn)行顏色分級(jí)時(shí)環(huán)境光的色溫。
9.如權(quán)利要求4所述的方法，其中，預(yù)測(cè)源圖像數(shù)據(jù)內(nèi)容的步驟進(jìn)一步包括下列步驟: 將基本最佳擬合曲線應(yīng)用到圖像數(shù)據(jù)。
10.如權(quán)利要求1所述的方法，其中，根據(jù)與所述圖像數(shù)據(jù)相關(guān)聯(lián)的元數(shù)據(jù)的一組等級(jí)來(lái)計(jì)算顏色管理算法的參數(shù)的步驟進(jìn)一步包括: 將源內(nèi)容的亮度范圍劃分為亮度區(qū)域。
11.如權(quán)利要求10所述的方法，其中，將源內(nèi)容的亮度范圍分割為亮度區(qū)域的步驟進(jìn)一步包括: 計(jì)算源內(nèi)容的至少一個(gè)圖像的直方圖，以確定所述至少一個(gè)圖像的最小、腳底凈空、中間點(diǎn)、頭頂凈空和最大圖像數(shù)據(jù)值； 根據(jù)所述最小、腳底凈空、中間點(diǎn)、頭頂凈空和最大圖像數(shù)據(jù)值，分割所述源內(nèi)容的亮度范圍。
12.如權(quán)利要求11所述的方法，其中，計(jì)算直方圖的步驟進(jìn)一步包括:計(jì)算視頻場(chǎng)景的直方圖。
13.如權(quán)利要求1所述的方法，其中，根據(jù)與所述圖像數(shù)據(jù)相關(guān)聯(lián)的元數(shù)據(jù)的一組等級(jí)來(lái)計(jì)算顏色管理算法的參數(shù)的步驟進(jìn)一步包括: 判斷源圖像數(shù)據(jù)是否已經(jīng)使用第一基準(zhǔn)顯示器和使用第二基準(zhǔn)顯示器被顏色分級(jí)； 使用利用第二基準(zhǔn)顯示器的顏色分級(jí)的參數(shù)，改變圖像數(shù)據(jù)映射。
14.如權(quán)利要求13所述的方法，其中，改變圖像數(shù)據(jù)映射的步驟進(jìn)一步包括: 如果目標(biāo)顯示器的能力基本匹配第二基準(zhǔn)顯示器的能力，則提供線性映射。
15.如權(quán)利要求1所述的方法，其中，所述方法進(jìn)一步包括下列步驟: 將目標(biāo)顯示器元數(shù)據(jù)傳輸?shù)綀D像處理塊； 基于所述目標(biāo)顯示器元數(shù)據(jù)，改變要被發(fā)送到所述目標(biāo)顯示器的圖像數(shù)據(jù)。
16.如權(quán)利要求15所述的方法，其中，所述目標(biāo)顯示器元數(shù)據(jù)包括如下組中的至少一個(gè)，所述組包括:目標(biāo)顯示器屏幕特性數(shù)據(jù)、目標(biāo)顯示器周圍環(huán)境數(shù)據(jù)和用戶偏好數(shù)據(jù)。
17.如權(quán)利要求15所述的方法，其中，所述圖像處理塊位于所述源圖像編碼器處。
18.如權(quán)利要求15所述的方法，其中，所述圖像處理塊定位為CM參數(shù)生成塊。
19.如權(quán)利要求1所述的方法，其中，根據(jù)與所述圖像數(shù)據(jù)相關(guān)聯(lián)的元數(shù)據(jù)的一組等級(jí)來(lái)計(jì)算顏色管理算法的參數(shù)的步驟進(jìn)一步包括: 識(shí)別圖像內(nèi)包括受保護(hù)顏色的區(qū)域；以及 如果在圖像內(nèi)發(fā)現(xiàn)具有受保護(hù)顏色的所述區(qū)域，則將所述區(qū)域的圖像數(shù)據(jù)傳遞到所述目標(biāo)顯示器上以供呈現(xiàn)。
20.如權(quán)利要求1所述的方法，其中，根據(jù)與所述圖像數(shù)據(jù)相關(guān)聯(lián)的元數(shù)據(jù)的一組等級(jí)來(lái)計(jì)算顏色管理算法的參數(shù)的步驟進(jìn)一步包括: 識(shí)別圖像內(nèi)包括顯著高亮的區(qū)域；以及 如果在圖像內(nèi)發(fā)現(xiàn)具有顯著高亮的所述區(qū)域，則對(duì)所述圖像進(jìn)行截限。
21.如權(quán)利要求1所述的方法，其中，根據(jù)與所述圖像數(shù)據(jù)相關(guān)聯(lián)的元數(shù)據(jù)的一組等級(jí)來(lái)計(jì)算顏色管理算法的參數(shù)的步驟進(jìn)一步包括: 識(shí)別圖像內(nèi)包括色域外顏色的區(qū)域；以及 如果在圖像內(nèi)發(fā)現(xiàn)具有色域外顏色的所述區(qū)域，則將圖像縮放回到色域中。
22.一種用于解碼圖像數(shù)據(jù)并通過(guò)一組元數(shù)據(jù)等級(jí)在目標(biāo)顯示器上呈現(xiàn)圖像數(shù)據(jù)的系統(tǒng)，元數(shù)據(jù)與圖像內(nèi)容相關(guān)聯(lián)，所述方法的步驟包括: 視頻解碼器，所述視頻解碼器接收輸入圖像數(shù)據(jù)并且輸出中間圖像數(shù)據(jù)； 元數(shù)據(jù)解碼器，所述元數(shù)據(jù)解碼器接收輸入圖像數(shù)據(jù)，其中所述元數(shù)據(jù)解碼器能夠檢測(cè)與所述輸入圖像數(shù)據(jù)相關(guān)聯(lián)的元數(shù)據(jù)的一組等級(jí)并且輸出中間元數(shù)據(jù)； 顏色管理模塊，所述顏色管理模塊從所述元數(shù)據(jù)解碼器接收中間元數(shù)據(jù)，從所述視頻解碼器接收中間圖像數(shù)據(jù)，并且基于所述中間元數(shù)據(jù)對(duì)所述中間圖像數(shù)據(jù)執(zhí)行圖像處理；以及 目標(biāo)顯示器，所述 目標(biāo)顯示器從所述顏色管理模塊接收并且顯示所述圖像數(shù)據(jù)。
23.如權(quán)利要求22所述的系統(tǒng)，其中，所述顏色管理模塊進(jìn)一步包括:算法參數(shù)確定模塊，所述算法參數(shù)確定模塊從所述元數(shù)據(jù)解碼器接收中間元數(shù)據(jù)，并且基于所述中間元數(shù)據(jù)輸出顏色管理參數(shù)；以及 顏色管理算法，從所述算法參數(shù)確定模塊接收參數(shù)，從所述視頻解碼器接收中間圖像數(shù)據(jù)，并且使用所述參數(shù)來(lái)動(dòng)態(tài)地改變中間圖像數(shù)據(jù)的圖像處理。
24.如權(quán)利要求23所述的系統(tǒng)，其中，所述算法參數(shù)確定模炔基于由所述元數(shù)據(jù)解碼器確定的元數(shù)據(jù)的等級(jí)來(lái)確定顏色管理參數(shù)。
25.一種元數(shù)據(jù)預(yù)測(cè)模塊，所述模塊包括: 直方圖模塊，所述直方圖模塊接收?qǐng)D像數(shù)據(jù)，并且從所述圖像數(shù)據(jù)創(chuàng)建直方圖數(shù)據(jù)； 多個(gè)預(yù)測(cè)元數(shù)據(jù)模塊，所述多個(gè)預(yù)測(cè)元數(shù)據(jù)模塊接收所述直方圖數(shù)據(jù)，并且基于所述直方圖數(shù)據(jù)存儲(chǔ)元數(shù)據(jù)值；以及 場(chǎng)景變化檢測(cè)器，接收如下組中的至少一個(gè)，所述組包括圖像數(shù)據(jù)和直方圖數(shù)據(jù)，并且檢測(cè)視頻場(chǎng)景是否已經(jīng)發(fā)生改變，并且發(fā)送信號(hào)以清除存儲(chǔ)在所述多個(gè)預(yù)測(cè)元數(shù)據(jù)模塊中的所述元數(shù)據(jù)值。
26.如權(quán)利要求25所述的元數(shù)據(jù)預(yù)測(cè)模塊，其中，所述多個(gè)預(yù)測(cè)元數(shù)據(jù)模塊包括如下組中的多個(gè)，所述組包括:最小、最大、趾部、中間和肩部模塊。
【文檔編號(hào)】H04N9/64GK103563347SQ201280025742
【公開(kāi)日】2014年2月5日 申請(qǐng)日期:2012年5月17日 優(yōu)先權(quán)日:2011年5月27日
【發(fā)明者】N·W·邁斯莫爾, R·阿特肯斯, S·馬格爾姆, P·W·朗赫斯特 申請(qǐng)人:杜比實(shí)驗(yàn)室特許公司