用于圖像的逆色調(diào)映射的方法
【專利摘要】方法包括：通過對像素的空間鄰域中的像素的顏色的亮度值進行低通濾波來針對每個像素獲取像素擴展指數(shù)值E’(p)，通過對像素的空間鄰域中的像素的顏色的亮度值的高頻率進行提取來獲取的像素亮度增強值Yenhance(p)，并且根據(jù)等式Yexp(p)＝Y(p)E’(p)x[Yenhance(p)]c來對亮度Y(p)執(zhí)行逆色調(diào)映射。
【專利說明】
用于圖像的逆色調(diào)映射的方法
技術領域
[0001] 本發(fā)明設及高動態(tài)范圍成像領域，并且特別地解決了擴展低動態(tài)范圍內(nèi)容的動態(tài) 范圍，W使運些內(nèi)容準備好由具有特別高峰值亮度的顯示設備來顯示。
【背景技術】
[0002] 顯示技術的最新發(fā)展已開始W允許對要顯示的顏色、亮度和對比度的擴展范圍。
[0003] 允許對圖像內(nèi)容的亮度或明度的范圍的擴展技術被稱為高動態(tài)范圍成像化igh dynamic range imaging),通常簡稱為皿R。皿R技術專注于捕捉、處理和顯示更寬的動態(tài)范 圍的內(nèi)容。
[0004] 雖然已經(jīng)出現(xiàn)了一些HDR顯示設備，并且研發(fā)出了能夠捕獲具有增加的動態(tài)范圍 的圖像的圖像攝像頭，但可用的皿R內(nèi)容仍然有非常有限。雖然最近的發(fā)展保證了在不久的 將來皿R內(nèi)容的本地捕獲，但運無法處理(acMres S)現(xiàn)有內(nèi)容。
[0005] 為了為皿R顯示設備準備傳統(tǒng)的(本文稱為LDR低動態(tài)范圍）內(nèi)容，也可W使用反向 (reverse)或逆色調(diào)映射算子（iTMO, inverse tone mapping operator)。運樣的算法處理 圖像內(nèi)容中顏色的亮度信息，用于回復或重新創(chuàng)建原始場景的外觀的目的。通常情況下， iTMOs采用傳統(tǒng)的（即，LDR)圖像作為輸入，W全局的方式擴展該圖像的顏色的亮度范圍，W 及隨后局部地處理高光或亮區(qū)域，W提升圖像中顏色的皿R外觀。
[0006] 雖然存在一些iTMO方案，運些方案專注于感知上再現(xiàn)原始場景的外觀，并且有賴 于對內(nèi)容的嚴格假設。另外，文獻中提出的多數(shù)擴展方法正朝著動態(tài)范圍的極端增加進行 優(yōu)化。
[0007] 通常，皿R成像是通過對顏色的亮度的暗值和亮值之間的動態(tài)范圍的擴展、和量化 步驟的數(shù)量的組合來定義的。為了實現(xiàn)動態(tài)范圍更極端的增大，許多方法將全局擴展與增 強圖像的高光或其它亮區(qū)域的外觀的局部處理步驟進行組合。文獻中提出的已知全局擴展 步驟可W是不同于逆S形的線性或分段線性。
[000引為了增強圖像中亮的局部特征，創(chuàng)建亮度擴展圖是已知的，其中圖像的每個像素 與擴展值相關聯(lián)W適用于該象素的亮度。在最簡單的情況下，圖像中的限幅區(qū)可被檢測到 隨后被使用睹峭擴展曲線來擴張，但運樣的方案不提供對圖像的外觀的充分控制。
[0009] 需要一種新穎的iTMO,其目的是通過選擇性地且動態(tài)地重映射其顏色的亮度及其 對比度范圍，來提高圖像的視覺美觀性。

【發(fā)明內(nèi)容】

[0010] 本發(fā)明的目的是通過選擇性和動態(tài)地重映射圖像的顏色的亮度及其對比度范圍， 來增強圖像的視覺吸引力?；旧?，不同的亮度處理被認為對圖像的不同部分是必要的。當 在顯示側動態(tài)范圍擴展的情境中沒有可用的場景相關數(shù)據(jù)時，任何亮度擴展方案需要在盡 可能好地再現(xiàn)原始場景的外觀、W及同時確保壓縮的偽像或噪聲不被擴展之間折衷。因此， 在如下文所述的圖像逆色調(diào)映射方法中，擴展在空間上是變化的，因此完全適用于圖像內(nèi) 容。
[0011] 因此，本發(fā)明的主題是用于圖像的逆色調(diào)映射的方法，其中圖像的顏色在將亮度 從色度分離的顏色空間中表示，方法包括：
[0012] -通過對像素的空間鄰域中的像素的顏色的亮度值進行低通濾波，來獲取所述圖 像的每個像素(P)的像素擴展指數(shù)值E'（P)，
[0013] -通過對像素的空間鄰域中的像素的顏色的亮度值的高頻率進行提取，來獲取所 述圖像的每個像素(P)的像素亮度增強值Yenhanee(P),
[0014] -將所述圖像的每個像素(P)的亮度Y(P)逆色調(diào)映射到通過下述兩項的乘積獲得 的擴展亮度Yexp(P): W該像素的亮度Y(P)為底數(shù)、W針對像素獲取的像素擴展指數(shù)值E'（P) 為指數(shù)的幕，和W針對該像素獲取的像素亮度增強值為底數(shù)、W指數(shù)參數(shù)C為指數(shù)的幕，其 中C大于或等于1。
[001引運表示為
[0016] 指數(shù)參數(shù)C巧制由像素亮巧增強但巧米細節(jié)增強量。因此，更大的C值逐漸增加圖 像邊緣的對比度。C = I.5的值是優(yōu)選的。
[0017] 作為亮度值的低通濾波的像素，W獲得其像素擴展指數(shù)值的空間鄰域進行的，運 意味著每個像素將獲得它自己的擴展指數(shù)。
[0018] 由于在像素的空間鄰域中執(zhí)行了對亮度值的低通濾波來獲取其像素擴展指數(shù)值， 運意味著每個像素將獲得其自己的擴展指數(shù)。因此，由此方法獲得的亮度范圍的擴展在空 間上是變化的，并且適用于圖像內(nèi)容。
[0019] 由于在像素的空間鄰域中執(zhí)行了對亮度值的高頻的提取來獲取其像素亮度增強 值，運意味著每個像素將獲得其自己的亮度增強，并且運樣的亮度增強將有利地適用于至 少部分地補償由執(zhí)行來擴展亮度的亮度值的低通濾波的空間分量造成的、對圖像的細節(jié)的 平滑。
[0020] 優(yōu)選地，低通濾波被執(zhí)行，使得圖像的亮區(qū)域內(nèi)的像素的顏色的增強大于該圖像 的暗區(qū)域內(nèi)的像素的顏色的增強。
[0021] 優(yōu)選地，所述像素擴展指數(shù)值E'（P)也通過整形經(jīng)低通濾波的亮度值來獲取，使得 運些值被重分布，從而所獲取的圖像的均值擴展亮度約等于原始圖像的均值亮度。
[0022] 在第一變體中，如果經(jīng)逆色調(diào)映射的圖像意欲在具有給定的峰值亮度Dmax的顯示 設備上再現(xiàn)，則所述像素擴展指數(shù)值E'（P)也優(yōu)選地通過重縮放經(jīng)低通濾波的亮度值來獲 取，使得W所述圖像的像素中最大亮度max (Y)為底數(shù)、W針對具有該最大亮度max (Y)的像 素獲取的像素擴展指數(shù)'1 "
[0023] 運表示為例巧 其中E(P)為通過對該像素 的空間鄰域中的像素(P)的顏色的亮度值進行低通濾波直接獲取的值，其中a是可用于控制 亮度的整體擴展的重縮放參數(shù)。因此，有了項Dmax,圖像的亮度處理取決于用于顯示該圖像 的皿R顯示設備的能力，特別是其峰值亮度。
[0024] 該方法隨后有利地適用于內(nèi)容本身和顯示設備的亮度范圍，并且允許內(nèi)容的皿R 外觀的提高，即使顯示設備在動態(tài)范圍內(nèi)適度增加時被使用。
[0025] 在第二變體中，所述像素擴展指數(shù)值E'（P)優(yōu)選地通過經(jīng)由應用到經(jīng)低通濾波的 亮度值的二次函數(shù)整形運些值來獲取。
[0026] 優(yōu)選地，為了計算每個像素的像素擴展指數(shù)值，通過計算應用在像素的空間鄰域 中的第一高斯函數(shù)、與應用在該像素的顏色的亮度值的鄰域中的第二高斯函數(shù)的乘積，來 在第一變體中執(zhí)行所述低通濾波。
[0027] 運意味著使用應用在像素的空間域的第一高斯函數(shù)、W及應用于亮度范圍域的第 二高斯函數(shù)來執(zhí)行濾波。
[0028] 優(yōu)選地，第一高斯函數(shù)的標準差Os的值大于或等于3。
[0029] 第二高斯函數(shù)的標準差Or的值應優(yōu)選地高到足W平滑原始圖像中的紋理和噪聲， 但也低到足W避免該圖像的對象之間的交叉邊緣。標準差Or的值優(yōu)選地從0.1 max(Y)和 0.Smax(Y)之間選出，其中max(Y)是原始圖像的所有像素中的最大亮度值。
[0030] 優(yōu)選地，為了計算像素亮度增強值，通過計算第二低通濾波除W第=低通濾波的 比率執(zhí)行所述亮度值的高頻率的提取，其中，第=低通濾波被配置為比第二低通濾波去除 圖像中更多的細節(jié)。
[0031] 優(yōu)選地，為了計算像素的像素亮度增強值，所述第二低通濾波通過計算應用于該 像素的鄰域中的第=高斯函數(shù)(其具有第一標準差）、與應用于該像素的顏色的亮度鄰域中 的第四高斯函數(shù)的乘積來執(zhí)行，并且第=低通濾波通過第二次應用所述第二低通濾波來獲 取，其中第二低通濾波具有高于第=高斯函數(shù)的第一標準差的第二標準差。
[0032] 通過當在第二次應用所述第二低通濾波時使用第=高斯函數(shù)的較高的標準差值， 相較于第二低通濾波第=低通濾波除去圖像中的更多細節(jié)。因此，所獲得的比例對應于高 通濾波。
[0033] 優(yōu)選地，所述顏色的亮度被編碼成小波(wavelet)分解的遞增級數(shù)（level),每個 級數(shù)具有至少一個高頻系數(shù)化H)和低頻率系數(shù)化L)，在第二變體中每個像素的像素擴展指 數(shù)值被計算為等于W最高級數(shù)編碼所述像素(P)的顏色亮度的低頻系數(shù)A(P)=化，隨后在 該像素的空間鄰域中執(zhí)行低通濾波。
[0034] 優(yōu)選地，為了計算像素的像素亮度增強值，通過計算像素的亮度Y(P)與該像素的 低頻系數(shù)A(P)之差，來執(zhí)行對位于該像素的空間鄰域中的像素的亮度值的高頻率的提取。
[0035] 因此，只有從亮度的小波分解的（最高)級數(shù)的最低頻率子帶除去的高頻率得W保 留用于對圖像的細節(jié)的增強。
[0036] 優(yōu)選地，計算包括將指數(shù)系數(shù)應用于該差值。該指數(shù)系數(shù)優(yōu)選地等于2。
[0037] 本發(fā)明的主題還是用于圖像的逆色調(diào)映射的圖像處理設備，其中圖像的顏色在將 亮度從色度分離的顏色空間中進行表示，該圖像處理設備包括：
[0038] -低通濾波模塊，被配置為通過對像素的空間鄰域中的像素的顏色的亮度值進行 低通濾波，來獲取所述圖像的每個像素的像素擴展指數(shù)值，
[0039] -整形/重縮放模塊，被配置為對由低通濾波模塊提供的經(jīng)低通濾波的亮度值進行 整形/重縮放，
[0040] -高頻率提取模塊，被配置為通過對像素的空間鄰域中的像素的顏色的亮度值的 高頻率進行提取，來獲取所述圖像的每個像素的像素亮度增強值，
[0041] -逆色調(diào)映射模塊，被配置為將所述圖像的每個像素的亮度逆色調(diào)映射到通過下 述兩項的乘積獲得的擴展亮度：W該像素的亮度為底數(shù)、W由整形/重縮放模塊針對像素提 供的像素擴展指數(shù)值為指數(shù)的幕，和W高頻率提取模塊針對該像素提供的像素亮度增強值 為底數(shù)、W指數(shù)參數(shù)C為指數(shù)的幕，其中C大于或等于1。
【附圖說明】
[0042] 閱讀下面的描述本發(fā)明將得W更清楚地理解，描述通過非限制性示例的方式給出 并且參考所附附圖，其中：
[0043] -圖1示出了根據(jù)本發(fā)明的第一和第二實施例的不同步驟，
[0044] -圖2示出了要進行逆色調(diào)映射的圖像的顏色的YUV坐標的小波分解，
[0045] -圖3示出了該圖像的小波分解。
【具體實施方式】
[0046] 在圖中所示的各種元件的功能可W通過使用專用硬件W及能夠與適當?shù)能浖Y 合來執(zhí)行相關軟件的硬件來提供。
[0047] 應當理解，本發(fā)明可W W各種形式的硬件、軟件、固件、專用處理器或其組合來實 現(xiàn)。術語"處理器"不應當被解釋為專指能夠執(zhí)行軟件的硬件，并且可W隱含地包括但不限 于:數(shù)字信號處理器（"DSP")硬件、用于存儲軟件的只讀存儲器（"ROM")、隨機存取存儲器 ("RAM" )，W及非易失性存儲設備。顯然本發(fā)明可W作為硬件和軟件的組合來實現(xiàn)。此外，軟 件可W作為有形地體現(xiàn)在程序存儲單元上的應用程序來實現(xiàn)。運樣的軟件可W采取要集成 到另一軟件的插件的形式。該應用程序可W被上傳到包括任何適當架構的圖像處理設備， 并且由該圖像處理設備執(zhí)行。優(yōu)選地，圖像處理設備在計算機平臺上實現(xiàn)，計算機平臺具有 諸如一個或多個中央處理單元（"CPU")、隨機存取存儲器（"RAM" )、W及輸入/輸出（"1/爐） 接口之類的硬件。計算機平臺還可W包括操作系統(tǒng)和微指令代碼。本文描述的各種處理和 功能可W是微指令代碼的一部分或應用程序的一部分，或者是它們的任意組合，其可W由 CPU執(zhí)行。此外，各種其它外圍單元可W連接到計算機平臺，例如附加的數(shù)據(jù)存儲單元、顯示 設備、打印單元、……等等。實現(xiàn)根據(jù)本發(fā)明的方法實施例的圖像處理設備可W是能夠接收 的圖像的任何電子設備(例如，電視機、機頂盒、網(wǎng)關、蜂窩電話、平板電腦)的一部分。
[0048] 用于圖像的逆色調(diào)映射的圖像處理設備(其中圖像的顏色在將亮度從色度分離的 顏色空間中進行表示)包括：
[0049] -低通濾波模塊，被配置為通過對像素的空間鄰域中的像素的顏色的亮度值進行 低通濾波，來獲取所述圖像的每個像素的像素擴展指數(shù)值，
[0050] -整形/重縮放模塊，被配置為對由低通濾波模塊提供的經(jīng)低通濾波的亮度值進行 整形/重縮放，
[0051] -高頻率提取模塊，被配置為通過對像素的空間鄰域中的像素的顏色的亮度值的 高頻率進行提取，來獲取所述圖像的每個像素的像素亮度增強值，
[0052] -逆色調(diào)映射模塊，被配置為將所述圖像的每個像素的亮度逆色調(diào)映射到通過下 述兩項的乘積獲得的擴展亮度：W該像素的亮度為底數(shù)、W由整形/重縮放模塊針對像素提 供的像素擴展指數(shù)值為指數(shù)的幕，W及W高頻率提取模塊針對該像素提供的像素亮度增強 值為底數(shù)、W指數(shù)參數(shù)C為指數(shù)的幕，其中C大于或等于1。
[0053] 現(xiàn)在將使用如上所述的圖像處理設備、參考圖1來描述用于圖像的逆色調(diào)映射的 方法的第一實施例。
[0054] 使用例如圖像接收器，圖像與和每個像素的顏色相關的所有數(shù)據(jù)一起被接收，其 中與圖像的每個像素相關聯(lián)的顏色被編碼為=個顏色坐標，即一種顏色坐標用于每個顏色 通道R、G和B。
[0055] 在本實施例的第一準備步驟（圖1中未示出）中，如果需要的話，所接收的運些顏色 的RGB顏色坐標被W本身已知的方式歸一化和可選地線性化，從而所接收到的圖像的顏色 被表示在顯示設備的RGB顏色空間中。運個RGB顏色空間可W被標準化，并且相應的顯示設 備是虛擬的顯示設備。隨后，運些顏色被轉換到將亮度從色度分離的顏色空間，例如YUV顏 色空間。從RGB顏色空間到YUV顏色空間的顏色轉換本身是已知的，因此沒有詳細描述。替代 地可W使用將亮度從色度分離的任何其它顏色空間，例如乂￥2、￥巧、(：16、1^曰13。因此，亮度值￥ (P)和兩個色度值U(P)、V(p)與所接收的圖像中的任何像素 P的顏色相關聯(lián)。將要描述的逆 色調(diào)映射的方法的實施例的目的是通過將指數(shù)值(P)提供給每個亮度值Y(P)，來將運些 亮度值擴展到擴展亮度值。
[0056] 在本實施例的第二步驟中，使用低通濾波模塊，對于具有其亮度值為Y(P)的圖像 的每個像素 P，通過對像素 P的空間鄰域中的像素的亮度值(并且可選地還在亮度值Y(P)的 鄰域中）進行低通濾波來獲取中間像素擴展指數(shù)值E(P)D該低通濾波步驟優(yōu)選使用高斯函 數(shù)。E(P)例如通過W下等式獲得：
[0化7]
[0058] 其中fs是應用于圖像的空間域的第一高斯函數(shù)，W及fr是應用于亮度范圍域的第 二高斯函數(shù)，其中Q是W像素 P為中屯、的圖像的窗口的尺寸，Pi是此窗口中的像素。窗口尺 寸可W是例如5或7。為了計算效率，窗口尺寸的較小的值是優(yōu)選的。
[0059] 在根據(jù)本發(fā)明的方法的第一實施例中，隨后的低通濾波是雙重的(bilateral)。詞 語"雙重的"指的是濾波既在空間域也在亮度范圍域執(zhí)行的事實。
[0060] 優(yōu)選地，第一高斯函數(shù)fs的標準差Os的值大于或等于2。
[0061] 第二高斯函數(shù)fr的標準差Or的值應優(yōu)選地高到足W平滑原始圖像中的紋理和噪 聲，但也低到足W避免該圖像的對象之間的交叉邊緣。標準差Or的值優(yōu)選地從0.1 max(Y)和 0.Smax(Y)之間選出，其中max(Y)是原始圖像的所有像素中的最大亮度值。
[0062] 在第一實施例的具體實現(xiàn)方式中，空間高斯函數(shù)fs的標準差被設定為〇s = 3,并且 亮度范圍高斯函數(shù)fr的標準差設定為Or = O. SXmax(Y)D
[0063] 經(jīng)由運種低通濾波獲取的所有中間像素擴展指數(shù)值隨后形成中間擴展指數(shù)映射E (P)。
[0064] 在本實施例的第=步驟中，使用整形/重縮放模塊，中間擴展指數(shù)映射是通過使用 S形函數(shù)(取決于圖像上像素擴展指數(shù)值的分布)被整形為最終擴展指數(shù)映射，和/或基于將 用于再現(xiàn)經(jīng)擴展的圖像的顯示設備的峰值亮度被重縮放。
[0065] 雖然如上述計算出的像素擴展指數(shù)值W相對比例指示了每個像素的擴展，運些擴 展值需要被重縮放使得它們符合一組約束。盡管有可用于再現(xiàn)由逆色調(diào)映射方法提供的 HDR圖像的HDR顯示設備的增加的能力，但由該方法獲得的擴展HDR圖像中的平均亮度應當 優(yōu)選地保持在能夠與原始LDR圖像兼容的水平。同時，亮度的擴展應考慮到將用于再現(xiàn)擴展 HDR圖像的顯示設備的峰值亮度Dmax，從而適當?shù)財U展亮度。因此，經(jīng)由該第S步驟，整形/ 重縮放像素擴展指數(shù)值E'（P)通過W下等式獲得：
[0066]
[0067] 其中參數(shù)a可用來控制亮度擴展的整體行為，其中E(P)為如上文在第二步驟中計 算出中間像素擴展指數(shù)值，其中max化）是圖像的所有像素中E(P)的最大值，其中項
t許當Wp) =Hiax(Y)時有Wp)E W = Dmax。
[0068] 參數(shù)a的目的是控制亮度擴展的"平面化(flat)"程度。它是的空間上變化的擴展 和常量指數(shù)之間的加權平衡。a的較高值意味著亮度擴展更為局部，因此導向更極端的結 果，而a的較低值導向更接近全局的擴展。值0 = 0.1實際上已提供了亮點擴展和對中間色調(diào) 的有效管理之間的很好的權衡。
[0069] 在第一實施例的具體實現(xiàn)方式中，參數(shù)a設定為值a = 〇.l，因為此值提供了亮點擴 展和對中間色調(diào)的有效管理之間的良好折衷。
[0070] 隨后所有經(jīng)整形/重縮放的像素擴展指數(shù)值形成最終擴展指數(shù)映射E'（P)。
[0071] 在本實施例的第四步驟中，使用高頻率提取模塊，原始圖像中亮度值的高空間頻 率被提取，W獲取針對圖像中亮度值為Y(P)的每個像素 P的像素亮度增強值Yenhance(P)。本 步驟是例如通過如下的=個子步驟執(zhí)行的。
[0072] 在濾波的第一子步驟，基底層化ase計算如下，Ybase包含圖像亮度的較大變化，但不 包括噪聲或其它小的特征：
[007；3] Ybase(P)= 2iEQ'Wpi)f's( I |pi-p|| )f'r( I IY(Pi)-Y(P)II )
[0074] 使用與上述相同的高斯函數(shù)f's，、f'r，首先在像素 P的空間鄰域中使用，并且第二 次在亮度值Y(P)的鄰域中使用，其中Q '是W像素 P為中屯、的圖像的窗口的尺寸，具有與上 述相同的優(yōu)選尺寸，并且其中Pl是在窗口中的像素。
[0075] 在第一實施例的具體的實現(xiàn)方式中，空間高斯函數(shù)f's的標準差現(xiàn)在設置為o's = 10,并且亮度范圍高斯函數(shù)f'r的標準差設置為O'r = 0.1 Xmax(Y)。
[0076] 在濾波的第二子步驟中，由第一子步驟中獲得的基底層化ase還使用高斯函數(shù)(此 次的高斯函數(shù)具有更大的亮度范圍標準差從而移除圖像中更多的亮度細節(jié))進行第二次濾 波，獲取Y'base如下：
[0077]
[007引其中是與上述相同的高斯函數(shù)，首先在像素 P的空間鄰域中使用，并且第 二次在亮度值Y(P)的鄰域中使用，其中Q"是W像素 P為中屯、的圖像的窗口的尺寸，具有與 上述相同的優(yōu)選尺寸，并且其中Pl是在窗口中的像素。
[0079] 可選地，Y'base(p)可W被設置成等于如上定義的E(P), W最小化最終HDR圖像中 的噪聲。
[0080] 在第一實施例的具體實現(xiàn)方式中，空間高斯函數(shù)f's的標準差現(xiàn)在設置為〇"s = 〇 'S，并且亮度范圍高斯函數(shù)f'r的標準差設置為移除圖像中更多的亮度細節(jié)（即，〇"r>〇'r)。 例如〇"r = 0.3 Xmax(Y)。
[0081] 對于圖像中的亮度值的高頻率的提取的第立和最后子步驟中，對于圖像的每個像 素，像素亮度增強值Yenhance(P)作為第一子步驟的結果化ase(P)除W第二子步驟的結果Y'base (P)得出的比例來計算，從而Yenhance(P) = Ybase(P)/Y'base(P)。由于〇"r>〇'r，該比例對應于圖 像中的像素值的高頻率的提取。在不脫離本發(fā)明的范圍的情況下，可W使用其他方式提取 圖像中的亮度值的高空間頻率。
[0082] 隨后所有最終像素亮度增強值形成亮度-增強映射，由于對亮度值的高頻率的提 取，當被應用于圖像的亮度值時亮度-增強映射將增強其細節(jié)，
[0083] 在本實施例的第五步驟中，使用逆色調(diào)映射模塊，圖像的每個像素 P的亮度Y(P)被 逆色調(diào)映到擴展亮度Yexp(P),擴展亮度Yexp(P)是通過下述兩項的乘積獲得的：W該像素的 亮度為底數(shù)、W從上述第=步驟獲得的最終像素擴展指數(shù)值E'（P)為指數(shù)的幕，W及W從上 述第四步驟獲得的像素亮度增強值為底數(shù)、W指數(shù)參數(shù)C為指數(shù)的幕，其中C大于或等于1。 運意味著 Yexp(P) =Y(P)E(P)X[Yenhance(P)]c。
[0084] 指數(shù)參數(shù)C控制由像素亮度增強值帶來細節(jié)增強量。因此，更大的C值逐漸增加圖 像邊緣的對比度。C = I.5的值是優(yōu)選的。
[0085] 當如上所述地擴展圖像的亮度時，亮度和對比度的改變可能影響圖像中的飽和度 和顏色的外觀。在擴展其亮度范圍時，圖像的顏色信息可W在第六可選步驟中進行管理，W 保持圖像的藝術意圖。優(yōu)選地，顏色飽和度使用的擴展指數(shù)值作為指導(guide)進行增強。 更具體地，每個像素的顏色飽和度由等于該象素的擴展指數(shù)的因子來增強。像素 P的顏色飽 和度例如通過調(diào)節(jié)該象素的色度值C(P)來增強，在圓柱YUV空間中計算如下：
[0086]
[0087] 并且調(diào)整后的色度值C'（P)作為該像素 P的擴展指數(shù)E'（P)、W及該像素 P的色度值 C(P)的乘積來計算，從而：
[0088] C'(P)=E'(p)xC(p)
[0089] 在第一實施例的具體實現(xiàn)方式中，將C(P)轉換為C'（P)的色度縮放優(yōu)選地限制為 1.5倍，W避免過度飽和的亮點，例如避光爆和亮光。
[0090] C'（P)有了新的值，使用從圓柱顏色空間（例如運里的LCH)到YUV空間的慣用轉換 方式來計算新的色度U'（P)、V'（P):
[0091] U'（p)=cos[H(p)]XC'（p)
[0092] V'（p)=sin[化(p)]XC'（p)
[0093] 其中H(P)為從原始U'（p)、V'（p)如下計算的原始色彩：
[0094] H(p)=arctan[V(p),U(p)]
[00M]在第五或第六步的結束時，圖像的每種顏色的YUV坐標隨后被映射到表示YUV顏色 空間中的擴展的顏色新的Y ' U ' V '坐標。
[0096] 在第一實施例的最終的第屯步驟（圖1中未示出），擴展顏色的新Y'U'V'坐標W本 身已知的方式轉化為表示RGB顏色空間中的相同顏色的對應新的R'G'B'坐標。如果需要的 話，運些R'G'B'坐標去線性化，W例如代表運樣的顏色空間中擴展的顏色:在上述第一步驟 中顏色曾在該顏色空間中接收。
[0097] 如在圖1中所述，基于運些擴展顏色的擴展圖像現(xiàn)在準備好被發(fā)送到峰值亮度為 Dmax的顯示設備，從而在高動態(tài)范圍內(nèi)再現(xiàn)。
[0098] ^
[0099] 通過根據(jù)本發(fā)明的方法獲得的擴展圖像盡可能與相同場景的皿R圖像看上去近 似。所得到的擴展內(nèi)容相較LDR輸入圖像具有較高的視覺質(zhì)量，即使在只能應用于適度擴展 的情況下也是如此。運種亮度擴展方法增強了亮圖像特征，向觀看者遞送高亮和光源的外 觀，同時保留中檔值。有賴于用于再現(xiàn)運些擴展圖像的顯示設備的亮度范圍，暗值可W被保 留或進一步壓縮，W提高圖像中的全局對比度。
[0100] 根據(jù)本發(fā)明的方法使用空間域中的低通濾波處理來定義用于擴展顏色的亮度的 擴展指數(shù)值。該低通濾波處理平滑圖像的一些細節(jié)。有利的是，對細節(jié)的移除由對空間域中 高空間頻率(其用于獲取應用到擴展亮度的亮度增強因子)的提取來補償。換言之，執(zhí)行亮 度值的高通濾波的空間分量，從而至少部分地補償由亮度值的低通濾波的空間分量造成 的、對圖像的細節(jié)的平滑。
[0101] 如上所述地對使亮度使用雙重的低通濾波器，可W得到有利于圖像的亮區(qū)域的擴 展映射，同時平滑小局部細節(jié)(例如如噪聲或條紋偽像）。運允許亮區(qū)的擴展，但沒有放大噪 聲或紋理信息。
[0102] 事實上，目前大多數(shù)的皿R LCD顯示設備的局限性之一是，相較運些設備前端的液 晶面板，運些設備隨空間變化的背光具有較低的分辨率。因此，盡管運樣的HDR顯示設備可 W達成很高的全局對比度，但在局部對比度受到影響。運在圖像的小型高對比度區(qū)域(例如 亮點）、或者在暗區(qū)和亮區(qū)間的尖銳過渡處尤為明顯。雖然許多方案可用于增強圖像的對比 度，但在逆色調(diào)映射的情境中，需要特別小屯、W確保噪聲或其它偽像不被同時增強。上文描 述了用于提取圖像的高空間頻率的雙通雙重濾波處理特別適用于增強對比度而不增強噪 聲和偽像。
[0103] 當像素擴展指數(shù)值E(P)被如上所述地整形為E'（P)時，所獲得的擴展圖像最好利 用用于再現(xiàn)圖像的顯示設備的可用動態(tài)范圍。
[0…4] 第一實施例的第一變體
[0105] 對于圖像序列（即視頻內(nèi)容）的逆色調(diào)映射，上述方法的實施例順序地進行應用， 序列的一幅圖像之后是另一幅圖像。如果此方法獨立地應用于序列的每個連續(xù)圖像，可能 難W保證所獲得的HDR序列的擴展圖像之間的時間相干性。事實上，如果場景中存在移動的 亮的物體，可能會產(chǎn)生閃爍偽像。為了避免運個問題，優(yōu)選地通過確保擴展連續(xù)鏡頭的均值 亮度保持不變來應用簡單的時間處理。對于序列中的圖像i(如上述第一實施例所述，已針 對該圖像獲取了擴展亮度值Y'exp.i)，經(jīng)調(diào)整的擴展亮度值r exp.1被計算如下，并且取代 Y exp. i用于擴展圖像：
[0106]
[0107]為了確保在個場景中的強特征不會傳播到下一場景，均值在每一鏡頭的開始處復 位。運可W通過采用現(xiàn)有的鏡頭檢測算法來實現(xiàn)。 陶]第一實施例的第二變體
[0109]此第二變體設及從如上述實施例的第二步驟處獲得的中間像素擴展指數(shù)值E(P), 計算經(jīng)整形/重縮放的像素擴展指數(shù)E'（P)。現(xiàn)在根據(jù)下述等式，提出根據(jù)中間像素擴展指 數(shù)值E(P)的二次函數(shù)來整形像素擴展指數(shù)值：
[0110] E'（p)=a[E(p)]2+b E(p)+c
[0111] 需要注意在該等式中，E(P)不像先前的等式中那樣由max化(P))來縮放。
[0112] 在第一示例中，上述等式中的參數(shù)a、b、c可W被設置為常數(shù)，并且針對具體的顯示 設備進行優(yōu)化。
[0113] 在第二示例中，上述等式中的參數(shù)a、b、C可根據(jù)Dmax來計算。下面的等式例如用于 計算參數(shù)a、b、c的值：
[0114] a = Paiexp ( Pa2Dmax ) +Pa3GXp ( Pa4Dmax ) (S_l)
[011 引
（s-2)
[0116] C = 1.3 (s-3)
[0117] 在等式(S-I)和(s-2)中給出的值的示例示出于表1中。
[0118] 表1
[0119]
[0120]
[0121] 在第=示例中，參數(shù)a、b、c的值取決于像素擴展指數(shù)值E(P)本身的值，從而與E(P) 的暗值形成區(qū)分，并且對于E(P)的亮值更好地控制展后得到的圖像的亮點和陰影。
[0122] 根據(jù)本變體的所有經(jīng)整形/重新調(diào)整的像素擴展指數(shù)隨后形成取代先前映射的最 終擴展指數(shù)映射E，（P)。
[0123] 現(xiàn)在將公開用于圖像的逆色調(diào)映射的方法的第二實施例，使用如上所述、但具體 針對實現(xiàn)此實施例配置的圖像處理設備。
[0124] 與第一個實施例相比，唯一的區(qū)別設及：
[0125] -第二步驟，對于每個像素 P，通過對像素 P的空間鄰域中的像素的亮度值進行低通 濾波來獲取像素擴展指數(shù)值E(P)。
[0126] -第四步驟，提取高空間頻率來獲取圖像的每個像素 P的像素亮度增強值Yenhance (P)。
[0127] 在第二實施例中，顏色作為表示將亮度從色度分離的顏色空間（例如YUV顏色空 間）中的運些顏色的=色坐標組來接收。重申，可W替代地使用從色度分離的顏色空間的任 何其它顏色空間。因此，亮度值Y(P)和兩個色度值U(P)、V(p)被關聯(lián)至圖像的任意像素 P的 顏色。
[012引更具體地，運些=色坐標組W壓縮的格式(其為小波壓縮類型)被接收，因此，顏色 的亮度Y(P)被編碼成小波分解的遞增級數(shù)，每個級數(shù)具有至少一個高頻系數(shù)LH和低頻率系 數(shù)化，例如如圖2所述，其中化、LH、化和皿子帶分區(qū)指示近似圖像W及分別具有水平邊緣、 垂直邊緣和角邊緣的圖像，例如如圖3所示。
[0129]為了創(chuàng)建像素擴展指數(shù)映射和像素亮度增強映射，在此實施例中僅使用了小波分 解的一個級數(shù)。
[0130] 為了實現(xiàn)方法的第二步驟，使用所謂的化ar提升小波化aar lifting wavelet)實 現(xiàn)方式，并且像素 P的像素擴展指數(shù)值E(p)從化子帶獲得。h(6(n) = {l/^^2;l/^^2}和
是卷積濾波器。
[0131] 因此，運意味著在本實施例的第二步驟中，每個像素的像素擴展指數(shù)值被計算為 等于編碼該像素 P的顏色亮度的最高級數(shù)的低頻系數(shù)A(P)=化，隨后在該像素的空間鄰域 中執(zhí)行低通濾波。
[0132] 實現(xiàn)方法的第四步驟中，通過計算像素 P的亮度Y(P)和該像素的低頻系數(shù)A(P)的 之差，來執(zhí)行對空間域中亮度的高頻率的提取。更精確地，LL子帶(其是原始亮度Y(P)分辨 率除W4的低頻率版本A(P))被進行上采樣，并且隨后從該原始亮度Y(P)中減去，W如下所 述地獲得像素亮度增強值 Yenhance(P) : Yenhance(P) = ((Y(p)-cA(p)T2) + 128)/255巧。
[0133] 因此，只有從化子帶移除高頻被保持用作創(chuàng)建亮度增強映射Yenhanse的基礎。
[0134] 所有其它步驟類似于在第一實施例中描述的步驟。當然，因為所獲得的擴展顏色 的新Y'U'V'坐標可能不需要被轉換成相應的新R'G'B'坐標，可W除去最終的第屯步驟。
[0135] 雖然相對于特定示例和優(yōu)選實施例描述了本發(fā)明，應當理解，本發(fā)明并不限于運 些示例和實施例。因此，要求保護的本發(fā)明包括來自本文所述的特定示例和優(yōu)選實施例的 變體，運對本技術領域技術人員是顯而易見的。盡管一些具體實施例可W被單獨描述并要 求保護，應該理解本文所描述和要求保護實施例的各種特征可組合使用。權利要求中出現(xiàn) 的參考數(shù)字僅僅是說明性的，并且應當對權利要求的范圍沒有限制作用。
【主權項】
1. 一種用于圖像的逆色調(diào)映射的方法，其中所述圖像的顏色在將亮度從色度分離的顏 色空間中表示，所述方法包括： -通過對像素的空間鄰域中的像素的顏色的亮度值進行低通濾波，來獲取所述圖像的 每個像素(P)的像素擴展指數(shù)值E'（P)， -通過對所述像素的空間鄰域中的像素的顏色的亮度值的高頻率進行提取，來獲取所 述圖像的每個像素(P)的像素亮度增強值Yenhmc^P)， -將所述圖像的每個像素(P)的亮度γ(ρ)逆色調(diào)映射到通過下述兩項的乘積獲得的擴 展亮以所述像素的亮度Υ(Ρ)為底數(shù)、以針對該像素獲取的像素擴展指數(shù)值Ε'（ρ) 為指數(shù)的冪，和以針對該像素獲取的像素亮度增強值為底數(shù)、以指數(shù)參數(shù)c為指數(shù)的冪，其 中C大于或等于1。2. 如權利要求1所述的圖像的逆色調(diào)映射方法，其中所述像素擴展指數(shù)值Ε'（ρ)還通過 對經(jīng)低通濾波的亮度值進行整形來獲取，使得這些值被重分布，從而所獲取的圖像的均值 擴展亮度約等于原始圖像的均值亮度。3. 如權利要求1或2所述的圖像的逆色調(diào)映射方法，適合于在具有給定的峰值亮度Dmax 的顯示設備上再現(xiàn)，其中所述像素擴展指數(shù)值E'（p)還通過對經(jīng)低通濾波的亮度值進行重 縮放來獲取，使得以所述圖像的像素中最大亮度max(Y)為底數(shù)、以針對具有該最大亮度max (Y)的像素獲取的像素擴展指數(shù)值為指數(shù)的冪等于所述峰值亮度Dmax。4. 如權利要求1或2所述的圖像的逆色調(diào)映射方法，其中所述像素擴展指數(shù)值E'（p)通 過經(jīng)由應用到經(jīng)低通濾波的亮度值的二次函數(shù)整形這些值來獲取。5. 如權利要求1-4中任一項所述的圖像的逆色調(diào)映射方法，其中為了計算每個像素的 所述像素擴展指數(shù)值，通過計算應用在所述像素的所述空間鄰域中的第一高斯函數(shù)、與應 用在所述像素的顏色的亮度值的鄰域中的第二高斯函數(shù)的乘積，來執(zhí)行所述低通濾波。6. 如權利要求5所述的圖像的逆色調(diào)映射方法，其中為了計算像素亮度增強值，通過計 算第二低通濾波除以第三低通濾波的比例來執(zhí)行對所述亮度值的高頻率的提取，其中相較 于所述第二低通濾波所述第三低通濾波除去所述圖像中的更多細節(jié)。7. 如權利要求1-4中任一項所述的圖像的逆色調(diào)映射方法，其中所述顏色的亮度被編 碼成小波分解的遞增級數(shù)，每個級數(shù)具有至少一個高頻系數(shù)(LH)和低頻率系數(shù)(LL)，其中 每個像素的像素擴展指數(shù)值被計算為等于編碼所述像素(P)的顏色亮度的最高級數(shù)的低頻 系數(shù)A(p)=LL，隨后在所述像素的所述空間鄰域中執(zhí)行所述低通濾波。8. 如權利要求7所述的圖像的逆色調(diào)映射方法，其中為了計算像素的像素亮度增強值， 通過計算所述像素的亮度Y(P)和所述像素的所述低頻系數(shù)A(p)之間的差，來執(zhí)行對位于所 述像素的空間鄰域中的像素的亮度值的高頻率的提取。9. 一種用于圖像的逆色調(diào)映射的圖像處理設備，其中所述圖像的顏色在將亮度從色度 分離的顏色空間中進行表示，所述圖像處理設備包括： -低通濾波模塊，所述低通濾波模塊被配置為通過對像素的空間鄰域中的像素的顏色 的亮度值進行低通濾波，來獲取所述圖像的每個像素的像素擴展指數(shù)值， -整形/重縮放模塊，所述整形/重縮放模塊被配置為對由所述低通濾波模塊提供的經(jīng) 低通濾波的亮度值進行整形/重縮放， -高頻率提取模塊，所述高頻率提取模塊被配置為通過對該像素的空間鄰域中的像素 的顏色的亮度值的高頻率進行提取，來獲取所述圖像的每個像素的像素亮度增強值， -逆色調(diào)映射模塊，所述逆色調(diào)映射模塊被配置為將所述圖像的每個像素的亮度逆色 調(diào)映射到通過下述兩項的乘積獲得的擴展亮度：以所述像素的亮度為底數(shù)、以由所述整形/ 重縮放模塊針對該像素提供的像素擴展指數(shù)值為指數(shù)的冪，和由所述高頻率提取模塊針對 該像素提供的像素亮度增強值為底數(shù)、以指數(shù)參數(shù)C為指數(shù)的冪，其中C大于或等于1。
【文檔編號】H04N5/235GK105850114SQ201480070990
【公開日】2016年8月10日
【申請日】2014年12月2日
【發(fā)明人】塔尼亞·波利, 艾瑞克·萊因哈德, 克里斯特爾·查瑪雷特
【申請人】湯姆遜許可公司