專利名稱：從通過(guò)未著色色空間映射的視頻內(nèi)容得到的環(huán)境光的主色提取的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及使用多光源來(lái)產(chǎn)生和設(shè)置環(huán)境光效，典型地基于，或者結(jié)合例如來(lái)自視頻顯示的視頻內(nèi)容。更特別地，涉及一種實(shí)時(shí)地對(duì)視頻內(nèi)容采樣或者子采樣以提取主色信息的方法，并執(zhí)行從視頻內(nèi)容的色空間到最好允許驅(qū)動(dòng)多個(gè)環(huán)境光源的色空間的顏色映射轉(zhuǎn)換。
背景技術(shù)：
工程師們?yōu)橥ㄟ^(guò)采樣視頻內(nèi)容來(lái)擴(kuò)展感覺(jué)感受已作了長(zhǎng)時(shí)間的探索，例如通過(guò)擴(kuò)大視屏和投影區(qū)域，將聲音調(diào)制為真實(shí)的3維效果，并改善視頻圖像，包括寬的視頻色域，分辨率和圖像縱橫比，例如可采用高清晰度(HD)數(shù)字電視和視頻系統(tǒng)來(lái)實(shí)現(xiàn)。而且，電影，電視和視頻播放器也試圖利用視覺(jué)和聽(tīng)覺(jué)手段影響觀看者的感受，例如通過(guò)巧妙地運(yùn)用顏色，場(chǎng)景剪輯，視角，周圍的場(chǎng)景和計(jì)算機(jī)輔助圖形表示。這也將包括劇場(chǎng)舞臺(tái)照明。燈光效果，例如，光效通常和視頻或者戲劇場(chǎng)景同步編排，在按預(yù)期方案編碼的合適的場(chǎng)景腳本編程的機(jī)器或者計(jì)算機(jī)的幫助下進(jìn)行再現(xiàn)。
在數(shù)字領(lǐng)域的現(xiàn)有技術(shù)中，包括沒(méi)有計(jì)劃或者沒(méi)有腳本的場(chǎng)景在內(nèi)，響應(yīng)于場(chǎng)景快速變化的照明的自適應(yīng)，在大場(chǎng)景中很不容易去協(xié)調(diào)，因?yàn)轭~外的高帶寬位流需要利用目前的系統(tǒng)。
飛利浦(荷蘭)和其它公司已經(jīng)公開(kāi)了利用遠(yuǎn)離視頻顯示的分離的光源，改變環(huán)境或周圍的照明來(lái)改善視頻內(nèi)容方法，其應(yīng)用于典型家庭或商業(yè)中，以及對(duì)于很多應(yīng)用，對(duì)預(yù)期的光效進(jìn)行在先編排或者編碼。已經(jīng)表明環(huán)境照明施加至視頻顯示或者電視能夠減少視覺(jué)疲勞和提高真實(shí)性以及感受深度。
感覺(jué)感受是人類視覺(jué)方面的自然的功能，其利用巨大而復(fù)雜的感管和神經(jīng)系統(tǒng)來(lái)產(chǎn)生對(duì)顏色和光效果的的感覺(jué)。人類能夠區(qū)分大概1千萬(wàn)種不同的顏色。在人眼中，對(duì)于顏色接收或亮視覺(jué)，而具有大概2百萬(wàn)稱作視錐的感覺(jué)體共三組，其具有光波長(zhǎng)峰值分布在445nm、535nm以及565nm吸收分布，并具有大量的重疊。這三類視錐細(xì)胞形成所謂的三色系統(tǒng)，也因歷史原因而被稱為B(藍(lán))、G(綠)、R(紅)；峰值不必對(duì)應(yīng)于那些用在顯示中的任何主色，例如，常利用的RGB熒光體。也有用于暗適應(yīng)的相互作用，或者所謂稱作視網(wǎng)膜桿的夜視體。人眼典型地具有一億兩千萬(wàn)個(gè)視網(wǎng)膜桿，其影響視頻感受，特別是在暗光條件下，例如在家庭影院中。
顏色視頻建立在人類視覺(jué)的規(guī)律上，眾所周知，人類視覺(jué)的三色和對(duì)立通道理論已經(jīng)被我們結(jié)合用來(lái)理解怎樣影響眼睛去看期望的顏色與原始信號(hào)或者預(yù)期圖像具有高逼真度的顏色和效果。在大多數(shù)顏色模型和空間中，三維或者坐標(biāo)用來(lái)描述人的視覺(jué)感受。
顏色視頻完全依賴位變異構(gòu)性，其允許利用少量的基準(zhǔn)色質(zhì)產(chǎn)生顏色感覺(jué)，而不是期望的顏色和特征的實(shí)際光。這樣，利用有限數(shù)目的基準(zhǔn)色質(zhì)，整個(gè)色域的顏色在人的頭腦中再現(xiàn)，例如全世界范圍在視頻再現(xiàn)中利用的眾所周知的RGB(紅，綠，藍(lán))三色系統(tǒng)。眾所周知，例如，幾乎所有的視頻顯示通過(guò)在每一個(gè)像素或者圖像單元中產(chǎn)生近似相等數(shù)量的紅光和綠光，而顯示黃色場(chǎng)景。像素與其對(duì)向的立體角相比很小，而且眼睛誤以為感知到黃色；它不能感知真實(shí)發(fā)射的綠色或者紅色光。
存在很多顏色模型和指定顏色的方式，包括眾所周知的CIE(國(guó)際照明委員會(huì)(Commission Interationale de I’eclairage))顏色坐標(biāo)系統(tǒng)，利用它來(lái)描述和規(guī)定用于視頻再現(xiàn)的顏色。即時(shí)創(chuàng)造可以利用任意數(shù)量的顏色模型，包括運(yùn)用未著色的對(duì)立顏色空間，比如CIE L*U*V*(CIELUV)或者CIE L*a*b*(CIELAB)系統(tǒng)。建立于1931年的CIE是所有顏色的管理和再現(xiàn)的基礎(chǔ)，結(jié)果是利用三坐標(biāo)x、y和z的色度圖。該三維系統(tǒng)在最大亮度的區(qū)域根據(jù)x和y通常用于描述顏色，這個(gè)區(qū)域，稱為1931x，y色度圖，其被認(rèn)為能描述所有人類可感知的顏色。這與顏色再現(xiàn)形成對(duì)比，在這里位變異構(gòu)性欺騙了眼睛和大腦?，F(xiàn)今，很多正在利用的顏色模型或者空間通過(guò)利用三種基本色或熒光體而再現(xiàn)顏色，其中有Adobe RGB，NTSC RGB，等。
特別應(yīng)注意，視頻系統(tǒng)通過(guò)利用這些三色激勵(lì)系統(tǒng)所展示的所有可能顏色的范圍是有限的。NTSC(國(guó)際電視標(biāo)準(zhǔn)委員會(huì))RGB系統(tǒng)具有相對(duì)寬的可用顏色范圍，但這個(gè)系統(tǒng)僅能再現(xiàn)人類能感知的所有顏色中的一半。利用傳統(tǒng)視頻系統(tǒng)的可用范圍不能足夠地再現(xiàn)多種藍(lán)色和紫色、藍(lán)綠色和橙色/紅色。
而且，人類視覺(jué)系統(tǒng)被賦予補(bǔ)償和識(shí)別特性，對(duì)它的認(rèn)識(shí)對(duì)于設(shè)計(jì)任何視頻系統(tǒng)是必要的。人類的顏色能夠以幾種顯示模式出現(xiàn)，在其中有目標(biāo)模式和發(fā)光模式。
在目標(biāo)模式中，光激勵(lì)被感知為光源照射的物體所反射的光。在發(fā)光模式中，光激勵(lì)被視為光源。發(fā)光模式包括在復(fù)雜場(chǎng)中的激勵(lì)，其比其它激勵(lì)更加明亮。它不包括已知為光源的激勵(lì)，比如視頻顯示器，其亮度或輝度與景物或觀看場(chǎng)地的全部亮度相同或更低，以便這種激勵(lì)以目標(biāo)模式顯示。
值得注意的是，有很多顏色僅在目標(biāo)模式中出現(xiàn)，在其中有，褐色、橄欖色、栗色、灰色、和淺褐肉色。沒(méi)有例如作為褐色光發(fā)光源的燈，比如褐色交通燈。
為此，補(bǔ)充給要增加物體顏色的視頻系統(tǒng)的環(huán)境光不能這樣利用亮光的作為直接光源。在近范圍內(nèi)的明亮的紅色和綠色光的結(jié)合不能再現(xiàn)褐色或栗色，因此選擇相當(dāng)受限。僅具有變化的強(qiáng)度和飽和度的彩虹的光譜顏色能夠通過(guò)對(duì)亮光源的光的直接觀察再現(xiàn)出來(lái)。這強(qiáng)調(diào)對(duì)環(huán)境照明系統(tǒng)的精細(xì)控制的需要，比如在注意色調(diào)管理的情況下，從光源提供低亮度的光輸出。在目前數(shù)據(jù)結(jié)構(gòu)下，該精密控制還不能在快速變化和精細(xì)環(huán)境照明方式下尋址。
視頻再現(xiàn)可采取很多形式。光譜顏色再現(xiàn)允許準(zhǔn)確再現(xiàn)初始激勵(lì)的光譜能量分布，但這不可在任何利用三主色的視頻再現(xiàn)中實(shí)現(xiàn)。準(zhǔn)確的顏色再現(xiàn)可復(fù)制人類視覺(jué)的三色值，產(chǎn)生與初始匹配的同質(zhì)異性，但對(duì)于圖像和原始場(chǎng)景的整體觀察條件必須相似，以獲得相似的顯示。圖像和原始場(chǎng)景的整體觀察條件包括圖像的邊角，周圍的亮度和色度，以及強(qiáng)光。不能經(jīng)常獲得精確的彩色再現(xiàn)的一個(gè)原因，是因?yàn)槟茉诓噬O(jiān)視器上產(chǎn)生的最大亮度的受到限制。
當(dāng)三色值與原始場(chǎng)景的色度成比例，色度顏色再現(xiàn)提供了一種有用的替換。色度坐標(biāo)被準(zhǔn)確再現(xiàn)，但成比例地減少了亮度。如果原始的和再現(xiàn)的基準(zhǔn)白色具有相同的色度，觀察條件是相同的，且系統(tǒng)具有整體統(tǒng)一的灰度系數(shù)，色度顏色再現(xiàn)對(duì)視頻系統(tǒng)是好的參考標(biāo)準(zhǔn)。由于在視頻顯示中產(chǎn)生亮度有限，不能獲得與原始場(chǎng)景的色度和亮度匹配的等效的顏色再現(xiàn)。
實(shí)際中的大部分視頻再現(xiàn)試圖獲得相應(yīng)的顏色再現(xiàn)，在這里，如果原始場(chǎng)景被照亮而產(chǎn)生相同的平均亮度水平以及與再現(xiàn)中相同的基準(zhǔn)白色色度，再現(xiàn)的顏色將具有與原始場(chǎng)景一致的顏色表現(xiàn)。然而，很多爭(zhēng)論的最終目標(biāo)是顯示系統(tǒng)在實(shí)際中優(yōu)選的顏色再現(xiàn)，在此觀察者的偏好影響顏色的逼真度。例如，曬黑的皮膚顏色優(yōu)選為真實(shí)皮膚的平均顏色，且天空優(yōu)選為比實(shí)際更藍(lán)的顏色，且葉子比實(shí)際更綠。即使相應(yīng)的顏色再現(xiàn)被接受為設(shè)計(jì)標(biāo)準(zhǔn)，一些顏色比其它顏色更重要，比如肉色，其在很多再現(xiàn)系統(tǒng)比如NTSC視頻標(biāo)準(zhǔn)中是特別處理的主題。
在再現(xiàn)場(chǎng)景光線時(shí)，為獲得白平衡的色適應(yīng)是重要的。在適當(dāng)調(diào)整的攝影機(jī)和顯示器下，白色和中性灰以CIE標(biāo)準(zhǔn)日光光源D65的色度典型地再現(xiàn)。通過(guò)總是以相同的色度重現(xiàn)白色表面，該系統(tǒng)可模仿人類視覺(jué)系統(tǒng)，其固有地適應(yīng)感知以使白色表面總是呈現(xiàn)相同的顯示，而不管光源的色度，以使一張白紙，無(wú)論在陽(yáng)光明媚的海灘上或是在室內(nèi)場(chǎng)景的白熾燈下，都能表現(xiàn)為白色。在顏色再現(xiàn)中，白平衡調(diào)整通常通過(guò)在R，G和B通道中的增益控制而獲得。
典型的彩色接收機(jī)的光輸出典型地不是線性的，而是符合冪律關(guān)系來(lái)施加視頻電壓。光輸出與提升至冪灰度系數(shù)的視頻驅(qū)動(dòng)電壓成比例，在這里對(duì)彩色CRT(陰極射線管)灰度系數(shù)典型地為2.5，對(duì)其它類型的光源為1.8。在攝像機(jī)視頻處理放大器中通過(guò)三個(gè)主要的亮度灰度系數(shù)校正器補(bǔ)償該因子，以便經(jīng)編碼、傳送和解碼的主要視頻信號(hào)實(shí)際上不是R、G和B，而是 色度顏色再現(xiàn)需要視頻再現(xiàn)——包括攝像機(jī)，顯示器和任何灰度調(diào)整電子設(shè)備——的整體灰度系數(shù)統(tǒng)一，但當(dāng)嘗試相應(yīng)的顏色再現(xiàn)時(shí)，環(huán)境的亮度優(yōu)先。例如，暗淡的環(huán)境需要的灰度系數(shù)大約為1.2，黑暗的環(huán)境為獲得最佳的顏色再現(xiàn)需要的灰度系數(shù)大約為1.5。對(duì)RGB彩色空間，灰度系數(shù)是重要的執(zhí)行問(wèn)題。
大多數(shù)顏色再現(xiàn)編碼利用標(biāo)準(zhǔn)RGB色空間，比如sRGB，ROMM RGB，Adobe RGB98，Apple RGB和比如在NTSC標(biāo)準(zhǔn)中所利用的視頻RGB空間。典型地，圖像被截取至傳感器或源設(shè)備空間，其為特殊的設(shè)備和圖像。其可以被轉(zhuǎn)換到未著色的圖像空間，這是表示原始色度的標(biāo)準(zhǔn)色空間(見(jiàn)定義部分)。
然而，視頻圖像往往直接從源設(shè)備空間轉(zhuǎn)換至著色的圖像空間(見(jiàn)定義部分)，其表示某些真實(shí)的或虛擬的輸出設(shè)備，比如視頻顯示的彩色空間。大部分存在的標(biāo)準(zhǔn)RGB色空間是著色的圖像空間。例如，由攝像機(jī)和掃描儀產(chǎn)生的源和輸出空間不是基于CIE的色空間，而是由光譜靈敏度和攝像機(jī)或掃描儀的其它特性限定的光譜空間。
著色圖像空間是基于真實(shí)或虛擬設(shè)備特性的色度的特殊設(shè)備的色空間。圖像能夠從著色的或未著色的圖像空間轉(zhuǎn)換到著色空間。這些轉(zhuǎn)換的復(fù)雜性會(huì)變化，且能夠包括復(fù)雜的圖像依賴算法。這種轉(zhuǎn)換是不可逆的，且放棄或壓縮原始場(chǎng)景編碼的一些信息，以適應(yīng)特殊設(shè)備的動(dòng)態(tài)范圍和色域。
目前僅有一種未著色的RGB色空間，其正在變成為標(biāo)準(zhǔn)的過(guò)程中，定義在ISO17321中的ISO RGB，多用于數(shù)字照相機(jī)的顏色特性。在現(xiàn)今的多數(shù)申請(qǐng)中，為了存檔和數(shù)據(jù)轉(zhuǎn)換，轉(zhuǎn)換包括視頻信號(hào)的圖像至著色色空間。從一個(gè)著色圖像或色空間轉(zhuǎn)換到另一個(gè)，會(huì)導(dǎo)致嚴(yán)重的圖像假象。在兩設(shè)備之間色域和白點(diǎn)不匹配越多，則負(fù)面影響越大。
現(xiàn)有技術(shù)的環(huán)境光顯示系統(tǒng)的一個(gè)缺點(diǎn)是從視頻內(nèi)容中對(duì)用于環(huán)境發(fā)射的代表顏色的提取還是有問(wèn)題的。例如，像素色度的顏色平均經(jīng)常導(dǎo)致灰色，褐色或其它偏色，這些不是視頻場(chǎng)景或圖像的感知的表示。從簡(jiǎn)單的色度平均中得到的顏色看起來(lái)常常是模糊不清和錯(cuò)選的，尤其是當(dāng)其與圖像特征，比如明亮的魚(yú)或主背景如藍(lán)天對(duì)比的時(shí)候。
現(xiàn)有技術(shù)環(huán)境光顯示系統(tǒng)的另一問(wèn)題是還沒(méi)有提供特殊的方法用于實(shí)時(shí)同步的操作，以將著色的三色值從視頻轉(zhuǎn)換到環(huán)境光源，從而得到合適的色度和表現(xiàn)。例如，從LED環(huán)境光源發(fā)送的光常常是刺眼的，并帶有限制的或偏斜的色域——通常地，色調(diào)和色度難以評(píng)估和再現(xiàn)。例如，Akashi等人的美國(guó)專利6611297處理環(huán)境光的真實(shí)性，但沒(méi)有提供特別的方法用來(lái)確保正確和令人滿意的色度，且Akashi的297號(hào)專利并不允許實(shí)時(shí)分析視頻，而是需要腳本或其等效物。
另外，利用已校正的視頻內(nèi)容色空間的灰度系數(shù)的環(huán)境光源的設(shè)置常導(dǎo)致耀眼和明亮的顏色。另一現(xiàn)有技術(shù)的嚴(yán)重問(wèn)題是需要轉(zhuǎn)換大量用于驅(qū)動(dòng)環(huán)境光源的信息，該環(huán)境光源作為實(shí)時(shí)視頻內(nèi)容的函數(shù)，以適應(yīng)預(yù)期的快速變化的環(huán)境光環(huán)境，在其中期望良好的顏色匹配。
因此，擴(kuò)展通過(guò)環(huán)境照明結(jié)合典型三色視頻顯示系統(tǒng)所產(chǎn)生的顏色的可能色域是有益的，當(dāng)開(kāi)發(fā)人眼的特性時(shí)，比如在作為亮度級(jí)函數(shù)的不同顏色的相對(duì)目視光度中的變化，通過(guò)調(diào)節(jié)或改變傳達(dá)給利用環(huán)境照明系統(tǒng)的視頻用戶的顏色和光特性，利用它來(lái)提高有益補(bǔ)償效果、靈敏度和其它人類視覺(jué)的特性。
在不受到灰度系數(shù)引起的失真影響下，產(chǎn)生有質(zhì)量的環(huán)境氛圍也是有益的。其進(jìn)一步需要的是，能夠提供一種方法，利用對(duì)平均的或定性的顏色值編碼的節(jié)省的數(shù)據(jù)流，通過(guò)從選定的視頻區(qū)域提取主色，用于提供更好的環(huán)境照明。其進(jìn)一步需要的是，減少需要的數(shù)據(jù)流的大小。
關(guān)于視頻和電視工程、壓縮技術(shù)、數(shù)據(jù)傳送和編碼、人類視覺(jué)、色彩場(chǎng)景和感知、色空間、色度、圖像著色，以及包括視頻再現(xiàn)的信息，將在下面的參考文獻(xiàn)中引用，這些文獻(xiàn)是這些信息在整體上的結(jié)合參考[1]Color Perception，Alan R.Robertson，Physics Today，1992年12月，第45卷，第12期，24-29頁(yè)；參考[2]The physics andChemistry of Color，2rd，Kurt Nassau，John Wiley&Sons，Inc.，NewYork_2001；參考[3]Principles of Color Technology，3ed，Roy S.Berns，John Wiley&Sons，Inc.，New York，_2000；參考[4]StandardHandbook of Video and Television Engineering，4ed，Jerry Whitakerand K.Blair Benson，McGraw-Hill，New York_2003。

發(fā)明內(nèi)容
本發(fā)明的不同實(shí)施例給出的方法包括利用像素水平統(tǒng)計(jì)或等效在某種程度上以盡可能少的計(jì)算量確定或提取一個(gè)或多個(gè)主色，但在同時(shí)，提供根據(jù)感知規(guī)律選擇為主色的舒適和合適的色度。
本發(fā)明涉及從在著色色空間中編碼的視頻內(nèi)容中提取主色的方法，通過(guò)環(huán)境光源來(lái)產(chǎn)生用于模擬的主色。方法步驟包括[1]通過(guò)量化著色色空間中視頻內(nèi)容的至少一些像素色度，量化著色色空間，以形成指定顏色的分布；[2]從指定顏色的分布執(zhí)行主色提取，以通過(guò)提取下面任一項(xiàng)產(chǎn)生主色[a]指定顏色的模式；[b]指定顏色的中值；[c]指定顏色的色度的加權(quán)平均值；[d]使用加權(quán)函數(shù)的加權(quán)平均值；然后[3]從著色色空間將主色轉(zhuǎn)換至于允許驅(qū)動(dòng)環(huán)境光源的第二著色色空間。
像素色度(或著色色空間)的量化可通過(guò)很多方法實(shí)現(xiàn)(見(jiàn)定義部分)，其目標(biāo)是通過(guò)在可能的顏色狀態(tài)中尋求簡(jiǎn)化而減輕計(jì)算負(fù)擔(dān)，比如從分配的大量色度(例如像素色度)縮減到較少數(shù)量的指定色度或顏色；或通過(guò)挑出選擇像素的選擇過(guò)程來(lái)減少像素?cái)?shù)量；或儲(chǔ)存以產(chǎn)生代表性的像素或超像素。
如果通過(guò)將像素色度儲(chǔ)存到至少一個(gè)超像素，部分地執(zhí)行著色色空間的量化，這樣產(chǎn)生的超像素可具有與圖像特征一致的尺寸、方向、形狀或位置。在量化過(guò)程中利用指定的顏色可選擇為區(qū)域顏色矢量，其不必在著色色空間中，比如可在第二著色色空間中。
一旦從指定顏色分布中選擇了主色，然后可返回，即得到實(shí)際的像素色度以提煉主色。例如，可在指定的顏色分布中確定至少一種感興趣的顏色，并提取在此指定的像素色度，以取得最終指定的真實(shí)的主色作為主色。這樣，當(dāng)指定顏色可為視頻內(nèi)容的粗略近似時(shí)，真實(shí)的主色能為環(huán)境發(fā)送提供正確的色度，但仍可節(jié)省本來(lái)需要的計(jì)算量。主色也可包括主色調(diào)色板。
其它可能的用于轉(zhuǎn)化的實(shí)施例步驟[3]包括[3a]將主色從著色色空間轉(zhuǎn)換至未著色色空間；然后[3b]將主色從未著色顏色的空間轉(zhuǎn)換至第二著色色空間。這附加地包括矩陣轉(zhuǎn)換，利用第一和第二三色主矩陣，轉(zhuǎn)換著色色空間和第二著色色空間的原色到未著色色空間；和通過(guò)著色色空間原色、第一三色矩陣以及第二三色矩陣的逆矩陣進(jìn)行矩陣相乘，獲得顏色信息至第二著色色空間的轉(zhuǎn)換。
步驟[1]的像素色度可從提取區(qū)域獲得，附加步驟[4]可包括從鄰近提取區(qū)域的環(huán)境光源發(fā)射主色環(huán)境光。
步驟[2]的合理的加權(quán)函數(shù)允許從圖像特征提取多個(gè)像素色度，且在先的視頻幀可用于指導(dǎo)在后視頻幀中選擇主色。任何提取區(qū)域可選擇為從視頻幀中提取的圖像特征。
這些步驟可以以很多方式結(jié)合，未著色色空間可以是CIE XYZ；在ISO標(biāo)準(zhǔn)17321定義的ISO RGB；攝影YCC；CIE LAB；或者任何其它未著色空間之一。且步驟[1]，[2]和[3]基本與視頻信號(hào)同步，利用第二著色色空間中的顏色信息，從視頻顯示或在視頻顯示的周圍發(fā)射環(huán)境光。


圖1表示本發(fā)明簡(jiǎn)單的視頻顯示的前表面視圖，展示了顏色信息提取區(qū)域和相關(guān)的環(huán)境光從六個(gè)環(huán)境光源發(fā)射；圖2表示一個(gè)房間的俯視圖，部分示意圖和部分截面圖，其中，利用本發(fā)明，產(chǎn)生從多重環(huán)境光源發(fā)射的環(huán)境光。
圖3表示按照本發(fā)明的一個(gè)提取顏色信息并影響色空間轉(zhuǎn)換以允許驅(qū)動(dòng)環(huán)境光源的系統(tǒng)；
圖4表示從視頻提取區(qū)域計(jì)算顏色信息均值的方程式；圖5表示現(xiàn)有技術(shù)轉(zhuǎn)換著色主RGB至未著色色空間XYZ的矩陣方程式；圖6和圖7表示分別映射視頻和環(huán)境光著色區(qū)域至未著色區(qū)域的矩陣方程式；圖8表示利用已知的矩陣逆向轉(zhuǎn)化從未著色色空間XYZ得到環(huán)境光三色值R’G’B’的辦法；圖9-11表示現(xiàn)有技術(shù)中利用白點(diǎn)方法推導(dǎo)三色主矩陣M；圖12表示類似于如圖3所示的系統(tǒng)，另外包括一個(gè)用于環(huán)境發(fā)射的灰度系數(shù)校正步驟；圖13表示本發(fā)明所用的總的轉(zhuǎn)換過(guò)程的原理圖；圖14表示本發(fā)明中利用的獲得環(huán)境光源轉(zhuǎn)換矩陣系數(shù)的處理步驟；圖15表示本發(fā)明所用的估計(jì)視頻提取和環(huán)境光再現(xiàn)的處理步驟；圖16表示按照本發(fā)明視頻幀提取的示意圖；圖17表示依照本發(fā)明的簡(jiǎn)化的色度評(píng)估處理步驟；圖18表示如圖3和12所示的提取步驟，為驅(qū)動(dòng)環(huán)境光源，利用幀解碼器、設(shè)置幀提取率并執(zhí)行輸出計(jì)算；圖19和圖20表示本發(fā)明顏色信息提取和處理的處理步驟；圖21表示按照本發(fā)明總的過(guò)程的示意圖，包括主色提取和到環(huán)境光色空間的轉(zhuǎn)換；圖22示意性地表示一種通過(guò)指定像素色度到指定顏色，量化來(lái)自視頻內(nèi)容的像素色度的可能的方法；圖23示意性地表示一種通過(guò)將像素色度存儲(chǔ)至超像素而量化的可能的方法的例子；圖24表示類似圖23的存儲(chǔ)過(guò)程，但是這里超像素的大小、方向、形狀或者位置可以與圖像特征一致地形成；圖25表示在標(biāo)準(zhǔn)笛卡爾CIE顏色圖上區(qū)域顏色矢量和它們的顏色或者色度坐標(biāo)，這里一個(gè)顏色矢量位于顏色色域的外面，顏色色域通過(guò)PAL/SECAM、NTSC和Adobe RGB顏色產(chǎn)生標(biāo)準(zhǔn)得到；圖26表示圖25所示的CIE圖的一部分的特寫(xiě)，另外表示像素色度和其在區(qū)域顏色矢量上的分布；圖27表示按照本發(fā)明展示指定顏色分布的模式一個(gè)可能的方法的直方圖；圖28表示按照本發(fā)明指定顏色分布的中值一個(gè)可能方法；圖29表示按照本發(fā)明通過(guò)指定顏色的色度的加權(quán)平均值的數(shù)學(xué)總和的一個(gè)可能的方法；圖30表示按照本發(fā)明利用像素加權(quán)函數(shù)通過(guò)指定顏色的色度的加權(quán)平均值的數(shù)學(xué)總和的一個(gè)可能的方法；圖31表示在指定顏色分布中確定感興趣的顏色，然后提取在那里的指定像素色度，以得到一個(gè)真實(shí)的主色并指定為主色的示意圖；圖32示意性地表示按照本發(fā)明的主色提取可以多次執(zhí)行或者分別同時(shí)執(zhí)行以提供一系列主色；圖33表示如圖1所示的視頻顯示的簡(jiǎn)單的前表面圖，表示按照?qǐng)D29和30示范的方法，將不同加權(quán)施加給優(yōu)選的空間區(qū)域一個(gè)例子；圖34給出一個(gè)如圖33所示的視頻顯示的簡(jiǎn)單的前表面圖，圖表式的表示按照本發(fā)明為主色提取的目的而提取一個(gè)圖像特征；圖35給出本發(fā)明另一個(gè)實(shí)施例的圖示，視頻內(nèi)容被解碼成一組幀，籍以允許得到的一幀的主色至少部分地依賴前一幀的主色；圖36表示按照本發(fā)明選擇主色的省略過(guò)程的過(guò)程步驟。
具體實(shí)施例方式
定義下列定義可以全文通用-環(huán)境光源-將在隨后的權(quán)利要求中，包括需要影響光產(chǎn)生的任何光產(chǎn)生電路或者驅(qū)動(dòng)器。
-環(huán)境空間-將意味著任何和所有在視頻顯示單元外部的材料體或者空氣或者空間。
-指定顏色分布-將表示一組顏色，選擇它用來(lái)代表(如用于計(jì)算目的)在視頻圖像或者視頻內(nèi)容中發(fā)現(xiàn)的像素色度的全部范圍。
-色度-在驅(qū)動(dòng)環(huán)境光源的上下文中，將表示一個(gè)規(guī)定光產(chǎn)生的顏色特征的機(jī)械、數(shù)值或者物理方式，并且將不暗含特別的方法論，例如用于NTSC或者PAL的電視廣播。
-顏色信息-將包括色度和亮度的全部或者其中之一，或者功能等價(jià)量；-計(jì)算機(jī)-將包括不僅是所有的處理器，例如利用已知結(jié)構(gòu)的CPU(中央處理單元)，還包括允許編碼、解碼、讀、處理、執(zhí)行設(shè)定代碼或者變化代碼的任何智能設(shè)備，例如可以執(zhí)行同樣功能的數(shù)字光學(xué)設(shè)備或者模擬電路。
-主色-將表示任何為環(huán)境發(fā)射目的而選擇用來(lái)代表視頻內(nèi)容的色度，包括任何被選擇用來(lái)說(shuō)明這里公開(kāi)的方法的顏色；-提取區(qū)域-將包括任何整個(gè)視頻圖像或幀的子集。
-幀-將包括在視頻內(nèi)容內(nèi)按時(shí)間順序出現(xiàn)的圖像信息，與產(chǎn)業(yè)中利用的詞語(yǔ)“幀”一致，但是也將包括任何部分的(例如交錯(cuò))或者全部的圖像數(shù)據(jù)，用來(lái)在任何時(shí)刻或者在在任何間隔傳送視頻內(nèi)容。
-測(cè)角色度-將涉及給定的作為視角或者觀察角度的函數(shù)的不同顏色或者色度的性質(zhì)，例如通過(guò)彩虹產(chǎn)生的。
-測(cè)角光度-將涉及作為視角或觀察角度的函數(shù)的給定的不同光亮度、傳送和/或顏色的性質(zhì)，例如發(fā)現(xiàn)于光芒四射、發(fā)火花或者回射現(xiàn)象。
-插值-將包括在兩組值之間的線性或者數(shù)學(xué)插值，還包括在兩組已知的值之間為設(shè)定值的功能性描述；-光特征-在廣義上，意思是例如由環(huán)境光源產(chǎn)生的任何光的性質(zhì)的說(shuō)明，包括除了亮度和色度的所有描述，例如光傳輸或者反射的程度；或者測(cè)角色度性質(zhì)的描述，包括當(dāng)觀察環(huán)境光源時(shí)，產(chǎn)生的顏色、閃耀或者其它已知的現(xiàn)象作為視角的函數(shù)的程度；光輸出方向，包括通過(guò)一個(gè)坡印廷或者其它傳播矢量給予的方向性；或者光角度的分布的描述，例如立體角或者立體角分布函數(shù)。還可以包括一個(gè)規(guī)定其在環(huán)境光源位置的坐標(biāo)，例如單元像素或者燈的位置。
-亮度-將表示任何參數(shù)或者測(cè)得的明亮度、強(qiáng)度或者等價(jià)測(cè)量，并將不施加光產(chǎn)生的特定方法或者測(cè)量或者心理-生物的解釋。
-像素-將涉及真實(shí)的或者虛擬的視頻像元，允許像素信息偏差的等價(jià)信息。
-量化色空間-在說(shuō)明書(shū)和權(quán)利要求的范圍中，將涉及可能顏色狀態(tài)的減少，例如導(dǎo)致從指定的大量色度(例如像素色度)到少量指定的色度或顏色；或者通過(guò)挑選被選擇像素的選擇過(guò)程，像素?cái)?shù)目減少；或者儲(chǔ)存以產(chǎn)生代表性的像素或者超像素。
-著色色空間-將表示從作為設(shè)備和特定圖像的傳感器或者特定的光源或者顯示設(shè)備截取的圖像或者色空間。多數(shù)RGB色空間是著色圖像空間，包括用來(lái)驅(qū)動(dòng)視頻顯示D的視頻顯示空間。在附加權(quán)利要求中，視頻顯示和環(huán)境光源88的特定色空間是著色色空間。
-轉(zhuǎn)換顏色信息至未著色色空間-在附加權(quán)利要求中將包含或者直接轉(zhuǎn)換至未著色色空間，或者利用或者受益于通過(guò)利用三色主矩陣的逆轉(zhuǎn)換，該三色主矩陣通過(guò)轉(zhuǎn)換至未著色色空間(如圖8所示的(M2)-1)而得到。
-未著色色空間-將表示一個(gè)標(biāo)準(zhǔn)或者非特定設(shè)備的色空間，例如這些利用標(biāo)準(zhǔn)CIE XYZ描述原圖像的比色法；例如在ISO17321標(biāo)準(zhǔn)中定義的ISO RGB；攝影YCC；和CIE LAB色空間。
-視頻-將指示任何視覺(jué)或者光產(chǎn)生裝置，無(wú)論需要能量產(chǎn)生光的有源設(shè)備，或者任何傳送圖像信息的傳送媒體，例如辦公大樓的窗子，或者從遠(yuǎn)處得到的圖像信息的光波導(dǎo)。
-視頻信號(hào)-將指示為控制視頻顯示單元傳送的信號(hào)或者信息，因此包括任何音頻部分?？梢灶A(yù)期視頻內(nèi)容分析包括為音頻部分可能的音頻內(nèi)容分析。一般地，視頻信號(hào)可以包含任何類型的信號(hào)，例如利用任何數(shù)量的已知的調(diào)制技術(shù)的無(wú)線電頻率信號(hào)；電信號(hào)，包括模擬和量化模擬波形；數(shù)字(電)信號(hào)，例如那些利用脈寬調(diào)制、脈沖數(shù)目調(diào)制、脈沖位置調(diào)制、PCM(脈沖編碼調(diào)制)和脈沖放大調(diào)制；或者其它信號(hào)例如聽(tīng)覺(jué)信號(hào)，聲音信號(hào)和光信號(hào)，它們都能夠利用數(shù)字技術(shù)。其中僅僅順序排列或者其它信息的數(shù)據(jù)，例如在基于計(jì)算機(jī)應(yīng)用中，也可以利用。
-加權(quán)-將涉及任何在這里給出的為特定的色度或者空間位置給出優(yōu)先狀態(tài)或者較高數(shù)學(xué)加權(quán)的等價(jià)方法。
具體描述如果需要，按照本發(fā)明由視頻內(nèi)容得到的環(huán)境光形成為，允許對(duì)原始視頻場(chǎng)景光有高的逼真度，然而保持高程度的環(huán)境光自由度特性僅需要低的計(jì)算負(fù)擔(dān)。這允許具有小的顏色色域環(huán)境光源和亮度降低空間，來(lái)模擬從具有相對(duì)大的顏色色域和亮度響應(yīng)曲線的更高級(jí)的光源發(fā)出的視頻場(chǎng)景光。用于環(huán)境照明的可能的光源能夠包括任何數(shù)目的已知的發(fā)光設(shè)備，包括LED(發(fā)光二極管)和相關(guān)的半導(dǎo)體輻射源；電致發(fā)光設(shè)備包括非半導(dǎo)體類型；白織燈，包括用鹵素或者更高級(jí)的化學(xué)物質(zhì)的更改類型；離子放電燈，包括熒光和氖燈；激光器；再調(diào)制的光源，例如通過(guò)利用LCD(液晶顯示器)或者其它光調(diào)制器；光致發(fā)光發(fā)射器，或者任何數(shù)量已知的可控光源，包括功能類似顯示器的陣列。
這里給出的說(shuō)明部分，將部分地首先涉及從視頻內(nèi)容提取顏色信息，隨后，涉及提取方法，以獲得能夠代表視頻圖像或者場(chǎng)景的環(huán)境發(fā)射的主色或者真實(shí)顏色。
參考圖1，其僅以示例性的目的用于說(shuō)明按照本發(fā)明的視頻顯示D的簡(jiǎn)單前表面圖。顯示D可以包括任何數(shù)目已知的從著色色空間解碼視頻內(nèi)容的設(shè)備，如NTSC、PAL或者SECAM廣播標(biāo)準(zhǔn)，或者著色RGB空間，例如Adobe RGB。顯示D可以包括可選擇的顏色信息提取區(qū)域R1，R2，R3，R4，R5和R6，它們的邊界可以與那些圖解區(qū)域分離。顏色信息提取區(qū)域可以任意預(yù)先確定并具有產(chǎn)生特有環(huán)境光A8的特征，例如通過(guò)后面安裝可控環(huán)境照明單元(未示出)，其產(chǎn)生和發(fā)射如圖所示的環(huán)境光L1、L2、L3、L4、L5和L6，例如通過(guò)將部分光泄漏到顯示D安裝的墻(未示出)上?？蛇x擇地，如圖所示的顯示幀Df自己也包括以簡(jiǎn)單的方式顯示光的環(huán)境照明單元，包括向外向觀看者(未示出)。如果希望，每一個(gè)顏色信息提取區(qū)域R1-R6可以單獨(dú)的影響接近它的環(huán)境光。例如，如圖所示，顏色信息提取區(qū)域R4可以影響環(huán)境光L4。
參考圖2，俯視圖-部分的示意以及部分的截面圖-顯示場(chǎng)所或者環(huán)境空間A0，其中，利用本發(fā)明，產(chǎn)生來(lái)自多環(huán)境光源的環(huán)境光。在環(huán)境空間A0設(shè)置所示的座位和桌子7，配置它們以允許觀看視頻顯示D。在環(huán)境空間A0也配置了大量環(huán)境照明單元，利用即時(shí)發(fā)明，其被隨意地控制，包括所示的光揚(yáng)聲器1-4、所示的在沙發(fā)或者座位下面的地?zé)鬝L，還有一組配置在顯示D周圍的特殊模擬環(huán)境照明單元，即如圖1所示的產(chǎn)生環(huán)境光Lx的中心燈。這些環(huán)境照明單元的每一個(gè)可以發(fā)射環(huán)境光A8，如圖中陰影部分所示。
與此即時(shí)發(fā)明結(jié)合，可以任意地從這些環(huán)境照明單元產(chǎn)生環(huán)境光，伴隨從這些環(huán)境照明單元里得到但是實(shí)際上沒(méi)有通過(guò)視頻顯示D發(fā)射的顏色或者色度。這允許開(kāi)拓人眼的特征和視覺(jué)系統(tǒng)。值得注意，人視覺(jué)系統(tǒng)的亮度功能，其對(duì)于不同可視波長(zhǎng)具有探測(cè)靈敏度，作為光等級(jí)的函數(shù)而變化。
例如，暗視或者夜視依靠?jī)A向?qū)λ{(lán)色和綠色更加敏感的視網(wǎng)膜桿。利用錐形細(xì)胞的明視更加適合探測(cè)長(zhǎng)波長(zhǎng)的光，例如紅色和黃色。在劇院環(huán)境的黑色空間，通過(guò)調(diào)制或者變化傳送給在環(huán)境空間中的視頻觀看者的顏色，可以稍微抵消不同顏色的相對(duì)發(fā)光度的這些變化作為光等級(jí)的函數(shù)。這可以通過(guò)從環(huán)境照明單元減去來(lái)完成，例如利用光調(diào)制器(未示出)的光揚(yáng)聲器1-4或者通過(guò)利用在光揚(yáng)聲器上增加元件，即光致發(fā)光發(fā)射器在環(huán)境釋放前進(jìn)一步改變光。光致發(fā)光發(fā)射器通過(guò)吸收或者經(jīng)歷來(lái)自光源的入射光的激勵(lì)而執(zhí)行顏色轉(zhuǎn)換，然后再次發(fā)射在更高的期望波長(zhǎng)中的光。光致發(fā)光發(fā)射器這種激勵(lì)和再次發(fā)射，例如熒光染料，可以允許沒(méi)有在原始視頻圖像或者光源中出現(xiàn)的新的顏色著色，或許也沒(méi)有在顯示D的固有操作的顏色或者顏色色域范圍內(nèi)。當(dāng)希望的環(huán)境光Lx的亮度低時(shí)，這是有幫助的，例如在很黑的場(chǎng)景中，以及當(dāng)希望的感知水平比通常沒(méi)有光調(diào)制時(shí)得到的感知水平高時(shí)。
新顏色的產(chǎn)生可以提供新的和有趣的視覺(jué)效果。說(shuō)明的例子可以是橙色光的產(chǎn)生，例如被稱為尋覓的橙色，對(duì)于它，可用的熒光染料是眾所周知的(參照參考[2])。給出的例子包括熒光顏色，其與一般的熒光現(xiàn)象和相關(guān)現(xiàn)象對(duì)立。利用熒光橙色或者其它熒光染料種類對(duì)低光條件尤其有用，這里紅色和橙色的促進(jìn)可以抵消暗視覺(jué)對(duì)長(zhǎng)波長(zhǎng)的靈敏度。
在環(huán)境照明單元利用熒光染料可以包括在染料類別中已知的染料，例如二萘嵌苯，萘酰亞胺，香豆素，噻噸，蒽醌，硫靛，以及專用的染料類別，例如由美國(guó)俄亥俄州克里夫蘭日光熒光染料顏色公司生產(chǎn)的。可用的顏色包括阿帕契黃，底格里斯黃，大草原黃，Pocono黃，莫霍克黃，波拖馬可河黃，萬(wàn)壽菊橙，渥太華紅，伏爾加紅，大馬哈粉，以及哥倫比亞藍(lán)。這些染料類別可以利用已知的過(guò)程組合到合成樹(shù)脂中，例如PS、PET以及ABS。
熒光染料和材料已經(jīng)提高了視覺(jué)效果，因?yàn)樗鼈兛梢栽O(shè)計(jì)得比同色度的非熒光材料亮很多。用于產(chǎn)生熒光顏色的傳統(tǒng)的有機(jī)顏料的所謂耐久性問(wèn)題，在近二十年得到了很大的解決，隨著技術(shù)的進(jìn)步，已經(jīng)導(dǎo)致耐久性熒光顏料的發(fā)展，暴露在陽(yáng)光下，其可保持它們逼真的著色7-10年。因此這些顏料在進(jìn)入U(xiǎn)V射線最小的家庭影院環(huán)境中幾乎不受破壞。
可選擇地，熒光光顏料能夠利用，它們通過(guò)吸收短波長(zhǎng)的光簡(jiǎn)單地工作，并且再次將該光作為例如紅色或橙色的長(zhǎng)波長(zhǎng)的光發(fā)射。無(wú)機(jī)顏料的技術(shù)提高已經(jīng)使可視光在激勵(lì)下可以實(shí)現(xiàn)，例如藍(lán)色和紫色，例如400-440nm的光。
測(cè)角色度和測(cè)角光度作用能夠相似地展開(kāi)來(lái)產(chǎn)生不同光的作為視角函數(shù)的顏色、亮度和特征。為實(shí)現(xiàn)這一效果，環(huán)境照明單元1-4和SL和Lx能夠單獨(dú)的或者聯(lián)合地利用已知的測(cè)角光度元件(未示出)，例如金屬的和珠光般的傳遞著色；利用公知的散射或者薄膜干涉作用的彩虹材料，例如利用鱗狀實(shí)體；薄鱗片鳥(niǎo)嘌呤；或者有防腐劑的2-氨基次黃嘌呤。利用精細(xì)的云母或者其它物質(zhì)作為擴(kuò)散體，例如由氧化層、斑銅礦或者孔雀礦制造的光芒四射的材料；金屬薄片、玻璃薄片或者塑料薄片；顆粒物質(zhì)；油；毛玻璃，和毛塑料。
參考圖3，表示按照本發(fā)明提取顏色信息(例如主色或者真實(shí)顏色)和作用色空間轉(zhuǎn)換以驅(qū)動(dòng)環(huán)境光源的一個(gè)系統(tǒng)。在第一步驟，利用已知的技術(shù)從視頻信號(hào)AVS提取顏色信息。
視頻信號(hào)AVS可以包括已知的用于MPEG編碼、音頻PCM編碼等等的數(shù)字?jǐn)?shù)據(jù)幀或者包。可以利用已知的編碼方案給數(shù)據(jù)包，例如帶有可變長(zhǎng)度數(shù)據(jù)包的程序流，或者均勻平分?jǐn)?shù)據(jù)包的傳送流，或者其它單程序傳送流的方案?？蛇x擇地，這里公開(kāi)的功能步驟或者方框圖可以利用計(jì)算機(jī)編碼或者其它通信標(biāo)準(zhǔn)模擬，包括異步協(xié)議。
作為一般的例子，所示的視頻信號(hào)AVS可以經(jīng)歷所示的視頻內(nèi)容分析CA，可能利用已知的方法在所示的硬盤(pán)HD來(lái)回記錄和傳遞選擇的內(nèi)容，可能應(yīng)用所示的內(nèi)容類型庫(kù)或者其它存儲(chǔ)在存儲(chǔ)器MEM的信息。這能夠允許選擇視頻內(nèi)容的單獨(dú)的、平行的、直接的、延遲的、連續(xù)的、周期的或者非周期的轉(zhuǎn)換。由這些視頻內(nèi)容，可以執(zhí)行所示的特征提取FE，例如一般地提取顏色信息(例如主色)，或者從一個(gè)圖像特征提取。顏色信息在著色色空間還要被編碼，然后轉(zhuǎn)換到未著色空間，例如利用所示的RUR映射轉(zhuǎn)換電路10的CIE XYZ。這里的RUR代表希望的轉(zhuǎn)換類型，即，著色-未著色-著色，這樣RUR映射轉(zhuǎn)換電路10進(jìn)一步轉(zhuǎn)換顏色信息至第二著色色空間，該第二著色色空間被形成為允許驅(qū)動(dòng)所述環(huán)境光源88。RUR轉(zhuǎn)換時(shí)優(yōu)選的，但是可以利用其它的映射，只要能夠利用環(huán)境光產(chǎn)生電路或其等價(jià)裝置在第二著色色空間接收信息。
RUR映射轉(zhuǎn)換電路10可以功能性地包含在計(jì)算機(jī)系統(tǒng)中，其利用軟件來(lái)執(zhí)行相同的功能，但是在解碼由數(shù)據(jù)傳送協(xié)議傳送的分組信息的情況下，在電路10內(nèi)存在一個(gè)存儲(chǔ)器，其包含或者被更新以便包含相互關(guān)聯(lián)或者提供著色色空間系數(shù)等等的信息。新產(chǎn)生的第二著色色空間是適當(dāng)?shù)牟⑶蚁Ｍ麑⑵溆糜隍?qū)動(dòng)環(huán)境光源88(如圖1和2所示)，并且用所示的對(duì)環(huán)境光產(chǎn)生電路18的編碼供給。環(huán)境光產(chǎn)生電路18從RUR映射轉(zhuǎn)換電路10得到第二著色色空間信息，然后說(shuō)明從任何用戶界面以及任何合成偏好存儲(chǔ)器(和U2一起所示)的任何輸入，在參考所示的可能導(dǎo)致環(huán)境光(第二著色)色空間查找表格LUT之后，用于發(fā)展真實(shí)環(huán)境光輸出控制參數(shù)(例如施加的電壓)。將由環(huán)境光產(chǎn)生電路18產(chǎn)生的環(huán)境光輸出控制參數(shù)供給所示的燈界面驅(qū)動(dòng)器D88，以直接控制或供給所示的環(huán)境光源88，其可以包括單獨(dú)的環(huán)境照明單元1-N，例如前面引用的如圖1和2所示的環(huán)境光揚(yáng)聲器1-4，或者環(huán)境光中心燈Lx。
為減少任何實(shí)時(shí)計(jì)算負(fù)擔(dān)，從視頻信號(hào)AVS移除的顏色信息可以被省略或者限制。參考圖4，表示從視頻提取區(qū)域計(jì)算平均顏色信息的方程，用于討論?？梢灶A(yù)期，如下面敘述的(參見(jiàn)圖18)，視頻信號(hào)AVS的視頻內(nèi)容將包含一系列時(shí)間序列視頻幀，但是這并不是必需的。對(duì)于每一個(gè)視頻幀或者等價(jià)時(shí)間框圖，可以從每一個(gè)提取區(qū)域(例如R4)提取平均值或者其它顏色信息。每一個(gè)提取區(qū)域可以被設(shè)置以具有特定的大小，例如對(duì)100×376個(gè)像素。假設(shè)，例如幀頻率為25幀/秒，對(duì)于每一個(gè)視頻RGB三主色，在提取平均值(假設(shè)只有1字節(jié)需要規(guī)定8比特的顏色)之前提取區(qū)域R1-R6的合成的總數(shù)據(jù)將會(huì)是6×100×376×25或者5.64兆字節(jié)/秒。這種數(shù)據(jù)流很大，并且在RUR映射轉(zhuǎn)換電路10中很難處理，因此，對(duì)每一個(gè)提取區(qū)域R1-R6的平均顏色的提取可以在特征提取FE中起作用。特別地，所示的能夠?qū)γ恳粋€(gè)m×n像素的提取區(qū)域的每一個(gè)像素求和RGB顏色通道值(如Rij)，并且通過(guò)m×n像素的數(shù)目來(lái)達(dá)到每一個(gè)主RGB的均值，例如所示的為紅色的Ravg。這樣重復(fù)對(duì)每一個(gè)RGB顏色通道的求和，每一個(gè)提取區(qū)域的均值將會(huì)是一個(gè)三位字節(jié)RAVG＝Ravg，Gavg，Bavg|。對(duì)所有的提取區(qū)域R1-R6和每一個(gè)RGB顏色通道，重復(fù)同樣的過(guò)程。提取區(qū)域的數(shù)目和大小可以與所示的不一樣，也可以按照希望的那樣劃分。
通過(guò)RUR映射轉(zhuǎn)換電路10執(zhí)行顏色映射轉(zhuǎn)換的下一步可以是所示的說(shuō)明性的和利用所示的三色主矩陣表示，例如如圖5所示，其中具有向量R，G，B的著色三色空間利用帶有元素Xr，max，Yr，max，Zr，max三色主矩陣M轉(zhuǎn)換，其中Xr，max是R最初在最大值輸出的三色值。
從著色色空間至未著色、單獨(dú)設(shè)備空間的轉(zhuǎn)換可以是圖像和/或特別的設(shè)備-已知的線性化，像素重建(如果需要)和白點(diǎn)選擇步驟可以被執(zhí)行，隨后是矩陣轉(zhuǎn)換。在這種情況下，我們簡(jiǎn)單地選擇采用著色視頻輸出空間作為轉(zhuǎn)換至未著色色空間比色的出發(fā)點(diǎn)。未著色圖像需要經(jīng)過(guò)到第二著色空間的附加轉(zhuǎn)換，以使它們可視或者可印刷，并且這樣的RUR轉(zhuǎn)換包括到第二著色空間的轉(zhuǎn)換。
在第一可能的步驟，圖6和7表示繪制視頻著色色空間的矩陣方程，分別由主R，G，B和環(huán)境光著色色空間表示，分別由主R’，G’，B’表示，到所示的未著色色空間X，Y，Z，在這里，三色主矩陣M1轉(zhuǎn)換視頻RGB至未著色XYZ，三色主矩陣M2轉(zhuǎn)換環(huán)境光源R’G’B’至所示的未著色XYZ色空間。使圖8所示的著色空間RGB和R’G’B’相等，利用第一和第二三色主矩陣(M1，M2)，允許矩陣轉(zhuǎn)換著色(視頻)色空間和第二著色(環(huán)境)色空間的原色RGB和R’G’B’到所述未著色色空間(RUR映射轉(zhuǎn)換)；通過(guò)著色視頻色空間的原色RGB、第一三色矩陣M1和第二三色矩陣的逆矩陣(M2)-1進(jìn)行矩陣相乘，得到顏色信息到第二著色色空間(R’G’B’)的轉(zhuǎn)換。然而已知顯示設(shè)備的三色主矩陣容易得到，本領(lǐng)域技術(shù)人員利用已知的白點(diǎn)法可以確定環(huán)境光源。
參考圖9-11，表示現(xiàn)有技術(shù)利用白點(diǎn)法得到一般三色主矩陣M。在圖9中，量SrXr代表每一個(gè)(環(huán)境光源)在最大輸出的主三色值，Sr代表白點(diǎn)振幅，Xr代表由(環(huán)境)光源產(chǎn)生的主光的色度。利用白點(diǎn)方法，利用已知的光源色度矩陣的逆，矩陣方程使Sr與白點(diǎn)參考值矢量相等。圖11是代數(shù)處理以提示白點(diǎn)基準(zhǔn)值，例如Xw，是白點(diǎn)振幅或者亮度以及光源色度的乘積。貫穿始終，三色值X被設(shè)置等于色度x；三色值Y被設(shè)置等于色度y；三色值Z被限定為等于1-(x+y)。第二著色環(huán)境光源色空間的主色和基準(zhǔn)白色元件能夠用已知的技術(shù)，例如通過(guò)利用顏色光譜儀獲得。
可以發(fā)現(xiàn)第一著色視頻色空間的相似的量。例如，已知當(dāng)代的演播室監(jiān)視器在北美、歐洲和日本有稍微不同的標(biāo)準(zhǔn)。但是，例如，在高清電視(HDTV)上基本的標(biāo)準(zhǔn)已經(jīng)國(guó)際一致，這些基本的標(biāo)準(zhǔn)接近地代表演播室監(jiān)視器在演播室視頻、計(jì)算以及計(jì)算機(jī)圖像方面的特征。這一標(biāo)準(zhǔn)正式地表示ITU-R推薦BT.709，其包括需要的參數(shù)，在這里，有關(guān)RGB的三色主矩陣(M)是0.640 0.300 0.150 ITU-R BT.709的矩陣M0.330 0.600 0.060
0.030 0.100 0.790白點(diǎn)的值也是已知的。
參考圖12，和圖3所示的系統(tǒng)相似，在為環(huán)境光發(fā)射的特征提取步驟FE之后，另外包括一個(gè)灰度系數(shù)校正步驟55?？蛇x擇地，灰度系數(shù)校正步驟55可以在由RUR映射轉(zhuǎn)換電路10和環(huán)境光產(chǎn)生電路18執(zhí)行的步驟之間執(zhí)行。已發(fā)現(xiàn)LED環(huán)境光源的最佳灰度系數(shù)值是1.8，因此可以利用已知的數(shù)學(xué)計(jì)算得出的灰度系數(shù)值來(lái)執(zhí)行用以抵消典型灰度系數(shù)為2.5的視頻色空間的負(fù)灰度系數(shù)校正。
一般地，RUR映射轉(zhuǎn)換電路10，其能夠是一個(gè)通過(guò)任何已知的適合的軟件平臺(tái)作用的功能塊，執(zhí)行如圖13所示的一般RUR轉(zhuǎn)換，在這里，所示的示意圖獲得包括例如視頻RGB的著色色空間的視頻信號(hào)AVS，并將其轉(zhuǎn)換到例如CIE XYZ的未著色色空間；然后到第二著色色空間(環(huán)境光源RGB)。RUR轉(zhuǎn)換之后，除了信號(hào)處理之外，如圖所示，可以驅(qū)動(dòng)環(huán)境光源88。
圖14表示利用本發(fā)明獲得環(huán)境光源轉(zhuǎn)換矩陣系數(shù)的處理步驟，如圖所示，其中步驟包括驅(qū)動(dòng)環(huán)境光單元；以及所示的本領(lǐng)域中的檢查輸出線性度。如果環(huán)境光源原色是穩(wěn)定的，(左邊分叉所示，穩(wěn)定原色)，利用顏色光譜儀可以得到轉(zhuǎn)換矩陣系數(shù)；另一方面，如果環(huán)境光源原色是不穩(wěn)定的，(右邊分叉所示，不穩(wěn)定原色)，可以復(fù)位在先給定的灰度系數(shù)校正(如圖所示，復(fù)位灰度系數(shù)曲線)。
一般地，希望從提取區(qū)域例如R4中每一個(gè)像素提取顏色信息，但這不是必須的，作為代替，如果需要，對(duì)已選擇像素的輪詢可以允許快速評(píng)估平均顏色，或者快速產(chǎn)生提取區(qū)域顏色特征的發(fā)生。圖15表示利用本發(fā)明視頻提取評(píng)估和環(huán)境光再現(xiàn)的處理步驟，這里的步驟包括[1]準(zhǔn)備視頻再現(xiàn)色度(從著色色空間，例如視頻RGB)的評(píng)估；[2]轉(zhuǎn)換到未著色色空間；以及[3]為環(huán)境再現(xiàn)(第二著色色空間，例如LED RGB)的轉(zhuǎn)換色度評(píng)估。
按照本發(fā)明，已經(jīng)發(fā)現(xiàn)需要用于從視頻幀支持視頻內(nèi)容的提取和處理(例如主色)所需要的數(shù)據(jù)位流(參加下圖18)，可以通過(guò)明智的視頻幀子采樣來(lái)減少。參考圖16，表示按照本發(fā)明視頻幀提取的圖表。示出了一系列獨(dú)立的連續(xù)的視頻幀F(xiàn)，即視頻幀F(xiàn)1，F(xiàn)2，F(xiàn)3等等-例如由NTSC、PAL或者SECAM標(biāo)準(zhǔn)規(guī)定的獨(dú)立交織或者沒(méi)有交織的指定視頻幀。通過(guò)進(jìn)行內(nèi)容分析和/或特征提取-例如提取主色信息-從選定的連續(xù)幀，例如幀F(xiàn)1和FN，可以減少數(shù)據(jù)負(fù)載或開(kāi)銷，同時(shí)保持可接受的環(huán)境光源的響應(yīng)能力、現(xiàn)實(shí)性和逼真度。已經(jīng)發(fā)現(xiàn)N＝10時(shí)可以給出好的結(jié)果，即從10個(gè)連續(xù)幀中子采樣一幀能夠工作。這提供了在低處理額外開(kāi)銷的幀提取之間的刷新周期P，其中幀間插值過(guò)程能夠提供顯示D中的色度隨時(shí)間變化的恰當(dāng)?shù)慕?。提取被選擇的幀F(xiàn)1和FN如圖所示(提取)并且色度參數(shù)的中間插入值，如G2、G3和G4所示，提供了必須的顏色信息來(lái)通知前面引用的環(huán)境光源88的驅(qū)動(dòng)過(guò)程。這避免了在幀2至幀N-1中簡(jiǎn)單凝固或者保持同樣顏色信息的需要。例如在提取的幀F(xiàn)1和FN之間的整體色度差別覆蓋插值幀G擴(kuò)展的情況下，插入值可以線性地確定?？蛇x擇地，一個(gè)函數(shù)可以擴(kuò)展以任何其它方式提取的幀F(xiàn)1和FN之間的色度差別，例如適合提取的顏色信息的時(shí)間顯象的高階近似。插值的結(jié)果可以用于通過(guò)預(yù)先訪問(wèn)幀F(xiàn)來(lái)影響插值幀(例如在DVD播放器中)，或者可選擇地，插值可以在沒(méi)有預(yù)先選取幀F(xiàn)時(shí)用于影響將來(lái)的插值幀(例如在發(fā)射解碼中的應(yīng)用)。
圖17表示按照本發(fā)明的簡(jiǎn)化的色度評(píng)估處理步驟。幀提取的較高階分析可以相對(duì)本來(lái)可能的值擴(kuò)大刷新周期P并擴(kuò)大N。在幀提取期間，或者在提取區(qū)域Rx中選擇的像素臨時(shí)輪詢中，可以處理所示的簡(jiǎn)化色度評(píng)估，這將導(dǎo)致要么下一幀提取的延遲，如左邊所示，要么使全部幀提取開(kāi)始，如右邊所示。不論何種情況，插值繼續(xù)進(jìn)行(插值)，帶有延遲的下一幀提取導(dǎo)致凝固，或者增加利用的色度值。這將在位流或者額外開(kāi)銷的帶寬方面提供甚至更加節(jié)約的操作。
圖18表示圖3和12的頂部，在這里一個(gè)可選擇的提取步驟在所利用的幀解碼器FD旁顯示，在所示的步驟33，允許從提取區(qū)域(如R1)提取區(qū)域信息。進(jìn)一步的處理或者組成的步驟35包括評(píng)估色度差別，并如所指示的一樣，利用這些信息設(shè)置視頻幀提取率。先于數(shù)據(jù)傳輸?shù)江h(huán)境照明和前面所示的產(chǎn)生電路18，如所示執(zhí)行下一處理步驟，該步驟執(zhí)行輸出計(jì)算00，如圖4的平均處理，或者如下面討論的主色提取的。
如圖19所示，表示本發(fā)明的顏色信息提取和處理的一般處理步驟包括獲得視頻信號(hào)AVS；從選擇的視頻幀(例如前面引用的F1和FN)提取區(qū)域(顏色)信息；在選擇的視頻幀之間插值；RUR映射轉(zhuǎn)換；可選擇的灰度系數(shù)校正；并利用這些信息驅(qū)動(dòng)環(huán)境光源(88)。如圖20所示，在從選擇幀信息的區(qū)域提取之后可以插入另外兩個(gè)處理步驟可以執(zhí)行選擇幀F(xiàn)1和FN之間的色度差別評(píng)估，和依靠預(yù)定的準(zhǔn)則，一個(gè)可以如指示設(shè)置新的幀提取率。這樣，如果連續(xù)幀F(xiàn)1和FN之間的色度差別很大，或者增加很快(例如大的一級(jí)導(dǎo)數(shù))，或者滿足其它一些準(zhǔn)則，例如基于色度差別歷史，然后可以增加幀提取率，這樣減少了刷新周期P。然而，如果連續(xù)幀F(xiàn)1和FN之間的色度差別很小，并且很穩(wěn)定或者沒(méi)有快速增加(例如第一導(dǎo)數(shù)的絕對(duì)值低或者為零)，或者滿足其它的一些準(zhǔn)則，例如基于色度差別歷史，然后可以節(jié)省需要的數(shù)據(jù)位流并降低幀提取率，這樣提高了刷新周期P。
參考圖21，表示按照本發(fā)明一個(gè)方面的一般處理過(guò)程。如圖所示，作為一個(gè)可選擇的步驟，可能減輕計(jì)算負(fù)擔(dān)，[1]相應(yīng)于視頻內(nèi)容的著色色空間被量化(QCS，量化色空間)，例如通過(guò)利用以下給出的方法；然后[2]選擇主色(或者主色的調(diào)色板)(DCE，主色提取)；以及[3]顏色映射轉(zhuǎn)換，例如執(zhí)行RUR映射轉(zhuǎn)換(10)(MT映射轉(zhuǎn)換至R’G’B’)來(lái)提高產(chǎn)生的環(huán)境光的逼真度、范圍和適合程度。
色空間的可選的量化可以減少可能顏色狀態(tài)和/或要測(cè)量的像素的數(shù)目，并且可以利用不同的方法執(zhí)行。作為一個(gè)例子，圖22示意性地表示一個(gè)可能的量化視頻內(nèi)容的像素色度的方法。這里，如所示，說(shuō)明性的視頻主值R范圍從值1至16，對(duì)任一個(gè)的這些主值R任意指定一個(gè)指定的顏色AC。這樣，例如，無(wú)論何時(shí)，任一紅色像素色度或者從1至16的值在視頻內(nèi)容中相遇，因此會(huì)取代指定的顏色AC，導(dǎo)致在表現(xiàn)視頻圖像特征所需要的顏色數(shù)目中，以因數(shù)16單獨(dú)減少紅原色。在這個(gè)例子中，對(duì)所有三原色，這樣的可能顏色狀態(tài)的減少會(huì)導(dǎo)致以16×16×16，或者4096-在用于計(jì)算的顏色的數(shù)目中-的因數(shù)減少。這在許多視頻系統(tǒng)中的主色確定中減少計(jì)算負(fù)擔(dān)是極其有用的，例如那些具有8位的顏色，其呈現(xiàn)256×256×256或者16.78兆的可能顏色狀態(tài)。
另一個(gè)量化視頻色空間的方法如圖23所示，其示意性地表示另一個(gè)通過(guò)從大量像素Pi(例如所示的16)儲(chǔ)存像素色度到超像素XP的量化著色色空間的例子。儲(chǔ)存自身是一個(gè)方法，通過(guò)把相鄰的像素?cái)?shù)學(xué)地(或者計(jì)算的)加在一起以形成一個(gè)超像素，這個(gè)超像素自身被用于進(jìn)一步的計(jì)算或者表示。這樣，在視頻格式一般地具有，例如，0.75兆像素，選擇用來(lái)代替視頻內(nèi)容的超像素的數(shù)目可以減少用來(lái)計(jì)算的像素的數(shù)目至0.05兆或者任何其它希望的小數(shù)目。
這樣的超像素的數(shù)量、大小、方向、形狀或者位置可以作為視頻內(nèi)容的函數(shù)而變化。這里，例如，有利于在特征提取FE期間來(lái)保證超像素XP僅從圖像特征提取，而不是從邊緣區(qū)域或者背景提取，超像素XP相應(yīng)地形成。圖24表示與圖23相似的儲(chǔ)存過(guò)程，但是這里超像素的大小、方向、形狀或者位置可以與所示的像素特征J8一致地形成。所示的圖像特征J8是鋸齒狀的或者不規(guī)則的，沒(méi)有直的水平或豎直的邊緣。如圖所示，選擇的超像素XP相應(yīng)地模仿或者模擬圖像特征形狀。除了具有定制的形狀以外，還可以利用已知的像素等級(jí)計(jì)算技術(shù)通過(guò)圖像特征J8影響超像素的位置、大小和方向。
量化可以使像素色度和替換的指定顏色(如指定顏色AC)一致。那些指定的顏色可以任意指定，包括利用優(yōu)選的顏色矢量。因此，不利用指定顏色的可選的或者均勻的組，至少一些視頻圖像像素色度可以被設(shè)定為優(yōu)選的顏色矢量。
圖25表示在標(biāo)準(zhǔn)笛卡爾CIE x-y色度圖或者顏色圖上的區(qū)域顏色矢量和它們的顏色或者色度坐標(biāo)。這個(gè)圖表示所有已知的顏色或者可感知的顏色在最大發(fā)光度處作為色度坐標(biāo)x和y的函數(shù)，所示納米光波長(zhǎng)和CIE標(biāo)準(zhǔn)發(fā)光白點(diǎn)作為參考。3個(gè)區(qū)域光矢量V在此圖上顯示，在這里，可以看到一個(gè)顏色矢量V位于顏色色域的外面，顏色色域是通過(guò)PAL/SECAM、NTSC和Adobe RGB顏色產(chǎn)生標(biāo)準(zhǔn)(所示的色域)得到的。
為了清楚，圖26表示圖25的CIE圖的一部分的特寫(xiě)，另外表示像素色度Cp和它們指定的區(qū)域顏色矢量V。指定區(qū)域顏色矢量的標(biāo)準(zhǔn)可以改變，利用已知的計(jì)算技術(shù)，并可以包括歐幾里得計(jì)算或者與其它特定顏色矢量V的距離。被標(biāo)記的顏色矢量V，位于顯示系統(tǒng)的著色色空間或者顏色色域外面；這可以允許優(yōu)選的容易通過(guò)環(huán)境照明系統(tǒng)或者光源88產(chǎn)生的色度能變成用于量化著色(視頻)色空間中的一種指定顏色。
一旦利用一個(gè)或多個(gè)上述給定的方法得出指定顏色的分布，下一步是執(zhí)行從指定顏色分布中通過(guò)提取以下任一項(xiàng)進(jìn)行主色提取[a]指定顏色的方式；[b]指定顏色的中值；[c]指定顏色色度的加權(quán)平均值；或者[d]利用加權(quán)函數(shù)的加權(quán)平均值。
例如，可以用直方圖方法來(lái)選擇以最高頻率發(fā)生的指定顏色。圖27表示的直方圖給出了指定像素顏色或者最經(jīng)常發(fā)生(參見(jiàn)坐標(biāo)，像素百分比)的顏色(指定顏色)，即，指定顏色分布的方式。該方式或十種已利用的指定顏色之中的大多數(shù)可以選擇作為主色DC(已示出)，用于通過(guò)環(huán)境照明系統(tǒng)的利用或模擬。
同樣的，指定顏色分布的中值可以被選擇作為或者幫助影響主色DC的選擇。圖28示意性地表示指定顏色分布的中值，在這里選擇顯示的中值或者中間值(為偶數(shù)數(shù)目的指定顏色插值)作為主色DC。
可選擇地，可以利用加權(quán)平均值執(zhí)行指定顏色的求和，以便影響主色的選擇，可能更加適合環(huán)境照明系統(tǒng)顏色色域的強(qiáng)度。圖29表示指定顏色色度的加權(quán)平均值的數(shù)學(xué)求和。為了清楚，示出了單一變量R，但是可以利用任何數(shù)目的維度或者坐標(biāo)(例如CIE坐標(biāo)x和y)。色度變量R以像素坐標(biāo)(或者超像素坐標(biāo)，如果需要)i和j表示，在這個(gè)例子中i和j分別在1和n以及1和m之間取值。帶有所示的索引i和j的色度變量R與像素加權(quán)函數(shù)W相乘，然后進(jìn)行整體的求和；結(jié)果除以像素?cái)?shù)目n×m以得到加權(quán)平均值。
利用像素加權(quán)函數(shù)的相似的加權(quán)平均值如圖30所示，除了所示的W也是所示的像素位置i和j的函數(shù)外，與圖29相似，這允許空間主函數(shù)。通過(guò)也對(duì)像素位置加權(quán)，顯示D的中心或者任何其它部分可以在主色DC的選擇或者提取期間被強(qiáng)調(diào)，這將在下面討論。
加權(quán)求和可以通過(guò)上面給出的給定提取區(qū)域信息步驟33執(zhí)行，可以以任何已知的方式選擇和存儲(chǔ)W。像素加權(quán)函數(shù)W可以是任一函數(shù)或者算符，這樣，可以包含整體，對(duì)于特定的像素位置，可以排除零。可以利用已知的技術(shù)識(shí)別圖像特征，如圖34所示，為了服務(wù)更大的目的，W可以被相應(yīng)地改變。
利用以上方法或者任何等價(jià)方法，一旦指定的顏色被選擇為主色，通過(guò)環(huán)境照明系統(tǒng)，可以對(duì)用于表示的適當(dāng)?shù)纳葓?zhí)行更好的評(píng)估，特別是當(dāng)考慮如果所有的色度和/或所有的視頻像素時(shí)，需要的計(jì)算步驟比它們?cè)拘枰母?。圖31表示在指定顏色的分布中確定感興趣的顏色，然后在那里提取指定的像素色度，以得到一個(gè)真實(shí)主色作為指定的主色?？梢钥闯?，像素色度Cp指定給兩個(gè)指定的顏色AC；不選擇在圖的底部示出的指定顏色AC作為主色，然而上面的指定顏色被視作主色(DC)并被選作所示的感興趣的顏色COI。然后可以進(jìn)一步檢查指定給(或者至少部分地)視為感興趣的顏色COI的指定顏色AC的像素，并且通過(guò)直接讀出它們的色度(例如利用均值，如圖4所示，或者為特別的目的，在已經(jīng)給定的小區(qū)域內(nèi)，執(zhí)行主色提取步驟)，可以獲得主色的更好的再現(xiàn)，在此所示作為真實(shí)主色TDC。任何為此需要的處理步驟可以利用上面給出的步驟和/或組件來(lái)完成，或者通過(guò)利用獨(dú)立的真色選擇器，其可以是已知的軟件程序或者子程序或者任務(wù)電路或者其等價(jià)物。
如圖32所示，按照本發(fā)明的主色提取可以執(zhí)行多次或者獨(dú)立地并行提供一主色調(diào)色板，其中主色DC可以包括主色DC1+DC2+DC3。
如圖30提到的，加權(quán)函數(shù)或者等價(jià)物可以通過(guò)像素位置提供加權(quán)，以允許對(duì)某些顯示區(qū)域特別的考慮或者強(qiáng)調(diào)。圖33表示如圖1所示的視頻顯示的簡(jiǎn)單前表面圖，并表示一個(gè)在優(yōu)選的空間區(qū)域?qū)⒉坏燃訖?quán)提供給像素Pi的例子。例如，如圖所示，顯示的某些區(qū)域C可以利用數(shù)值上大的加權(quán)函數(shù)W加權(quán)，同時(shí)，一個(gè)提取區(qū)域(或者任何區(qū)域，例如場(chǎng)景背景)可以利用數(shù)值上小的加權(quán)函數(shù)W加權(quán)。
如圖34所示，這種加權(quán)或者強(qiáng)調(diào)可以施加在圖像特征J8上，其中給出了圖33所示的視頻顯示的簡(jiǎn)單的前表面圖，在這里利用已知的技術(shù)通過(guò)特征提取步驟FE來(lái)選擇圖像特征J8(一條魚(yú))(參見(jiàn)圖3和12)。圖像特征J8可以是在所示的或者上面所述在主色提取DCE之中僅利用的視頻內(nèi)容，或者是利用的視頻內(nèi)容的一部分。
參考圖35，可以看出利用這里給出的方法，允許通過(guò)至少部分地依賴前一幀的至少一個(gè)主色，獲得為視頻幀選取的主色。圖示的幀F(xiàn)1，F(xiàn)2，F(xiàn)3和F4經(jīng)歷如圖所示的獲得主色提取DCE的過(guò)程，其目的是分別提取所示的主色DC1、DC2、DC3和DC4，其中，通過(guò)計(jì)算，可以建立為幀選擇的主色，表示為DC4，作為所示的主色DC1、DC2和DC3的函數(shù)(DC4＝F(DC1，DC2，DC3))。這允許為幀F(xiàn)4選取主色DC4的任何簡(jiǎn)化過(guò)程，或者更好地通知其中前面的幀F(xiàn)1，F(xiàn)2，F(xiàn)3的主色選取，幫助影響主色DC4的選取。這個(gè)簡(jiǎn)化過(guò)程如圖36所示，在這里用于減少計(jì)算負(fù)擔(dān)，臨時(shí)的主色提取DC4*利用色度評(píng)估，然后在下一步由從前面的幀(或者前面單一的幀)提取的主色來(lái)輔助，以幫助準(zhǔn)備DC4的選擇(利用簡(jiǎn)化過(guò)程準(zhǔn)備DC4)。
一般地，環(huán)境光源88可以包含不同的擴(kuò)散器效應(yīng)來(lái)產(chǎn)生光混合，還有半透明或者其它現(xiàn)象，例如通過(guò)利用具有磨砂的或者光滑表面的燈結(jié)構(gòu)；有棱紋的玻璃或者塑料；或者孔徑結(jié)構(gòu)，例如通過(guò)利用環(huán)繞獨(dú)立光源的金屬結(jié)構(gòu)。為提供這些感興趣的結(jié)果，可以利用任何數(shù)量的已知的擴(kuò)散和散射材料或者現(xiàn)象，包括通過(guò)從小的懸浮顆粒利用散射獲得；有暗影的塑料或者樹(shù)脂，準(zhǔn)備利用膠體、乳膠或者水珠1-5:m或者更少，例如少于1:m，其中包括長(zhǎng)期的有機(jī)混合物；凝膠；和溶膠，本領(lǐng)域技術(shù)人員知道其的生產(chǎn)和制造。散射現(xiàn)象可以包括可視波長(zhǎng)的瑞利散射，例如為提高環(huán)境光的藍(lán)色進(jìn)行藍(lán)色的產(chǎn)生。產(chǎn)生的顏色可以區(qū)域定義，例如在某些區(qū)域整個(gè)帶藍(lán)色的色調(diào)或者區(qū)域色調(diào)，例如作為藍(lán)色光產(chǎn)生的上端部分(環(huán)境光L1或L2)。
環(huán)境燈還可以與測(cè)角光度元件配合，例如圓柱形棱鏡或者透鏡，其可以形成、集成、或者插入在燈結(jié)構(gòu)的內(nèi)部。這可以在產(chǎn)生的光特征作為觀看者位置的函數(shù)變化時(shí)允許特殊的效果?？梢岳闷渌庑螤詈托问?，包括矩形的、三角形的或者不規(guī)則形狀的棱鏡或者形狀，它們可以放置在環(huán)境照明單元上面或者組成環(huán)境照明單元。結(jié)果是不是產(chǎn)生了各向同性的輸出，獲得的效果可以無(wú)限地改變，例如投射到環(huán)境光源周圍的周圍墻上、物體上和表面上的感興趣的光頻帶，當(dāng)場(chǎng)景元素、顏色和強(qiáng)度在視頻顯示單元上變化，在黑暗的房間里產(chǎn)生一種光顯示。這種效果可以是劇院環(huán)境光元素，其作為觀看者位置的函數(shù)-當(dāng)觀看家庭劇場(chǎng)時(shí)，觀看者從椅子上站起來(lái)或者移動(dòng)觀看位置時(shí)-易感知地變化光特征，例如觀看帶藍(lán)色的火花，然后是紅光。測(cè)角光度元件的數(shù)目和類型幾乎可以無(wú)限制的利用，包括成片的塑料、玻璃和由擦傷和適度破壞性的制造技術(shù)產(chǎn)生的光學(xué)效果?？梢灾圃飒?dú)特的環(huán)境燈，即使對(duì)不同的劇場(chǎng)效果，可以是可互換的。這些效果可以是可調(diào)制的，例如通過(guò)改變?cè)试S通過(guò)測(cè)角光度元件的光量，或者通過(guò)改變環(huán)境照明單元的不同點(diǎn)亮部分(例如，利用子燈或者成組的LED)。
這樣，圖1所示的在L3中產(chǎn)生的環(huán)境光來(lái)模擬提取區(qū)域R3可以具有一個(gè)色度，其提供在那個(gè)區(qū)域的現(xiàn)象的感知延伸，例如所示的運(yùn)動(dòng)的魚(yú)。這可以增加視覺(jué)經(jīng)驗(yàn)并提供合適的并且不刺眼或者正常匹配的色調(diào)。
視頻信號(hào)AVS當(dāng)然可以是數(shù)字?jǐn)?shù)據(jù)流和包含同步比特和級(jí)聯(lián)比特；奇偶校驗(yàn)位；錯(cuò)誤代碼；交織；特殊調(diào)制；數(shù)據(jù)串報(bào)頭，和希望的元數(shù)據(jù)例如環(huán)境光效果的描述(例如“發(fā)光風(fēng)暴”；“日出”等等)以及本領(lǐng)域技術(shù)人員將能實(shí)現(xiàn)的功能步驟，為了清楚，這里給出的僅僅是說(shuō)明性的并不包括常規(guī)的步驟和數(shù)據(jù)。
如圖3和12所示的圖形用戶界面&偏好存儲(chǔ)器可以用來(lái)變化環(huán)境照明系統(tǒng)行為，例如給希望的視頻顯示D的視頻內(nèi)容變化顏色逼真度的程度；變化華麗，包括任何熒光顏色或者色域之外的顏色被發(fā)射到環(huán)境空間的程度，或者根據(jù)視頻內(nèi)容的變化，環(huán)境光的變化有多快和多大，例如通過(guò)在光腳本命令內(nèi)容中增大變化的亮度或者其它性質(zhì)。這可以包括高級(jí)內(nèi)容分析，其可以為電影或者特定特征的內(nèi)容制作平緩的色調(diào)。在內(nèi)容中包括很多黑暗場(chǎng)景的視頻內(nèi)容，能夠影響環(huán)境光源88的行為，引起環(huán)境光的暗淡發(fā)射，而華麗的或者明亮的色調(diào)可以用于某些其它的內(nèi)容，象許多肉色或者明亮場(chǎng)景(陽(yáng)光照耀的沙灘，大草原上的一只老虎，等等)。
這里給出的敘述能夠使本領(lǐng)域技術(shù)人員利用本發(fā)明。利用本即時(shí)教導(dǎo)，很多配置是可能的，這些給出的配置和排列僅僅是說(shuō)明性的。在這里并非所有的尋找的目標(biāo)都需要演示，例如，在沒(méi)有脫離本發(fā)明的情況下，第二著色色空間的特殊的轉(zhuǎn)換可以從這里給出的教導(dǎo)中排除，特別是當(dāng)著色色空間RGB和R’G’B’是類似的或者相同的時(shí)候。在實(shí)踐中，教導(dǎo)或者權(quán)利要求的方法可以作為較大系統(tǒng)的一部分顯示，較大系統(tǒng)可以是娛樂(lè)中心或者家庭劇院中心。
眾所周知，這里說(shuō)明性地教導(dǎo)的函數(shù)和計(jì)算可以利用軟件或者機(jī)器碼功能性地再現(xiàn)和模擬，本領(lǐng)域技術(shù)人員能夠利用這些教導(dǎo)而不管這里教導(dǎo)的編碼和解碼的方式的控制。當(dāng)為了執(zhí)行像素等級(jí)統(tǒng)計(jì)而考慮不是嚴(yán)格必須將解碼視頻信息變成幀的時(shí)候，這尤其是真的。
本領(lǐng)域技術(shù)人員基于這些教導(dǎo)，能夠更改這里教導(dǎo)和要求的裝置和方法，例如，重新排列步驟或者數(shù)據(jù)結(jié)構(gòu)以適合特殊的應(yīng)用，創(chuàng)造可以很少的包括相似的選擇說(shuō)明性目的的系統(tǒng)。
利用上述例子公開(kāi)的本發(fā)明可以利用上面一些敘述的特征來(lái)實(shí)現(xiàn)。同樣，這里沒(méi)有教導(dǎo)或者要求的東西將不排除其它結(jié)構(gòu)或者功能元件的增加。
明顯地，按照上面的教導(dǎo)，本發(fā)明的改變和變化是可能的。因此可以理解，本發(fā)明可以在附加的權(quán)利要求的范圍內(nèi)利用，而不是在這里特別的描述或者建議。
權(quán)利要求
1.一種從在著色色空間(RGB)中編碼的視頻內(nèi)容提取主色以產(chǎn)生由環(huán)境光源(88)模擬的主色(DC)的方法，其包括[1]量化在所述著色色空間中的來(lái)自所述視頻內(nèi)容的至少一些像素色度(Cp)，以形成指定顏色(AC)的分布；[2]從所述指定顏色的分布中執(zhí)行主色提取，以通過(guò)提取下面任何一項(xiàng)產(chǎn)生主色[a]所述指定顏色的模式；[b]所述指定顏色的中值；[c]所述指定顏色的色度的加權(quán)平均值；[d]利用加權(quán)函數(shù)(W(i，j，R))的加權(quán)平均值；[3]從所述著色色空間轉(zhuǎn)換所述主色到第二著色色空間(R’G’B’)，該第二著色色空間被形成為允許驅(qū)動(dòng)所述環(huán)境光源。
2.如權(quán)利要求1所述的方法，其中所述量化包括將多個(gè)所述像素色度指定到所述指定顏色中的其中一個(gè)上。
3.如權(quán)利要求1所述的方法，其中所述量化包括儲(chǔ)存所述像素色度到至少一個(gè)超像素(XP)中。
4.如權(quán)利要求3所述的方法，其中所述超像素的尺寸，方向，形狀，或位置中任何一個(gè)與圖像特征(J8)相適應(yīng)地形成。
5.如權(quán)利要求3所述的方法，另外包括將所述超像素中的多個(gè)所述像素色度(Cp)指定到所述指定顏色中的其中一個(gè)上。
6.如權(quán)利要求1所述的方法，其中所述指定顏色中至少一個(gè)是區(qū)域顏色矢量(V)，其在所述著色色空間中不是必需的。
7.如權(quán)利要求6所述的方法，其中所述區(qū)域顏色矢量位于所述第二著色色空間中。
8.如權(quán)利要求1所述的方法，另外包括在所述指定顏色的分布中確定至少一種感興趣的顏色(COI)并且提取指定在那里的像素色度，以得到一種要指定為所述主色的真實(shí)主色(TDC)。
9.如權(quán)利要求8所述的方法，其中所述像素色度的至少部分來(lái)自于通過(guò)存儲(chǔ)所述像素色度得到的超像素(XP)。
10.如權(quán)利要求1所述的方法，其中所述主色包括主色(DC1+DC2+DC3)的調(diào)色板。
11.如權(quán)利要求1所述的方法，其中步驟[3]包括[3a]從所述著色色空間轉(zhuǎn)換所述主色到未著色色空間(XYZ)；[3b]從所述未著色色空間轉(zhuǎn)換所述主色到所述第二著色色空間。
12.如權(quán)利要求11所述的方法，其中步驟[3a]和[3b]還包括步驟[3c]利用第一和第二三色主矩陣(M1，M2)，矩陣轉(zhuǎn)換所述著色色空間和第二著色色空間的原色(RGB，R’G’B’)到所述未著色色空間；和通過(guò)所述著色色空間的原色、所述第一三色矩陣以及所述第二三色矩陣的逆矩陣(M2)-1進(jìn)行矩陣相乘，得到所述顏色信息到所述第二著色色空間(R’G’B’)的轉(zhuǎn)換。
13.如權(quán)利要求1所述的方法，其中從提取區(qū)域(R1)中得到步驟[1]的像素色度，且另外包括[4]從相鄰于所述提取區(qū)域的所述環(huán)境光源發(fā)射所述主色的環(huán)境光(L1)。
14.如權(quán)利要求1所述的方法，其中步驟[1]另外包括將述視頻信號(hào)解碼成一組幀，并且其中多個(gè)像素色度從通過(guò)所述一組幀中的一幀提取(FE)的圖像特征(J8)中得到。
15.如權(quán)利要求1所述的方法，其中步驟[1]另外包括將所述視頻信號(hào)解碼成一組幀，并且其中通過(guò)依賴于來(lái)自前一幀(F3)的至少一個(gè)主色而至少部分獲得幀(F4)的主色。
16.一種從在著色色空間(RGB)中編碼的視頻內(nèi)容提取主色以產(chǎn)生由環(huán)境光源(88)模擬的主色(DC)的方法，其包括[1]在所述著色色空間中將所述視頻內(nèi)容解碼成多個(gè)幀，并且在所述幀的其中一個(gè)中，量化至少一些來(lái)自提取區(qū)域(R1)的像素色度(Cp)，以形成指定顏色(AC)的分布；[2]從所述指定顏色的分布中執(zhí)行主色提取，以通過(guò)提取下面任何一項(xiàng)產(chǎn)生主色[a]所述指定顏色的模式；[b]所述指定顏色的中值；[c]所述指定顏色的色度的加權(quán)平均值；[d]利用加權(quán)函數(shù)(W(i，j，R))的加權(quán)平均值；[3a]從所述著色色空間轉(zhuǎn)換所述主色到未著色色空間(XYZ)；[3b]從所述未著色色空間轉(zhuǎn)換所述主色到所述第二著色色空間，由下列步驟進(jìn)行輔助[3c]利用第一和第二三色主矩陣(M1，M2)，矩陣轉(zhuǎn)換所述著色色空間和第二著色色空間的原色(RGB，R’G’B’)到所述未著色色空間；和通過(guò)所述著色色空間的原色、所述第一三色矩陣以及所述第二三色矩陣的逆矩陣(M2)-1進(jìn)行矩陣相乘，得到所述顏色信息到所述第二著色色空間(R’G’B’)的轉(zhuǎn)換[4]從相鄰于所述提取區(qū)域的所述環(huán)境光源發(fā)射所述主色的環(huán)境光(L1)。
17.如權(quán)利要求16所述的方法，其中所述提取區(qū)域被選擇成從一幀中提取(FE)的圖像特征(J8)。
18.如權(quán)利要求16所述的方法，另外包括在所述指定顏色的分布中確定至少一種感興趣的顏色(COI)并且提取指定在那里的像素色度，以得到一種要指定為所述主色的真實(shí)主色(TDC)。
19.如權(quán)利要求16所述的方法，其中所述指定顏色中的至少一個(gè)是區(qū)域顏色矢量(V)，其在所述著色色空間中不是必需的。
20.如權(quán)利要求16所述的方法，其中所述幀包括第一和第二幀，且通過(guò)依賴于來(lái)自前一幀(F3)的至少一個(gè)主色而至少部分獲得幀(F4)的主色。
全文摘要
提取并處理在著色色空間中編碼的視頻內(nèi)容用于通過(guò)環(huán)境光源發(fā)射模擬，包括從視頻信號(hào)中提取主色信息，并使用三色主矩陣，經(jīng)過(guò)未著色色空間轉(zhuǎn)換顏色信息以形成第二著色色空間用于環(huán)境分布。步驟包括量化著色色空間以形成指定的顏色分布，比如通過(guò)減少可能的顏色狀態(tài)，或存儲(chǔ)以形成超像素；利用像素色度的模式，平均值，中值，或加權(quán)平均值選擇主色?？蛇M(jìn)一步分析感興趣的顏色以產(chǎn)生真實(shí)的主色，在先的視頻幀可用于指導(dǎo)在后幀中主色的選擇。
文檔編號(hào)H04N5/57GK1977529SQ200580022007
公開(kāi)日2007年6月6日 申請(qǐng)日期2005年6月27日 優(yōu)先權(quán)日2004年6月30日
發(fā)明者S·古塔, M·J·埃爾廷 申請(qǐng)人:皇家飛利浦電子股份有限公司