專利名稱：用于將輸入圖像數(shù)據(jù)轉(zhuǎn)換成輸出圖像數(shù)據(jù)的方法、用于將輸入圖像數(shù)據(jù)轉(zhuǎn)換成輸出圖像 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于將輸入圖像數(shù)據(jù)轉(zhuǎn)換成輸出圖像數(shù)據(jù)的方法。本發(fā)明還涉及用于將輸入圖像數(shù)據(jù)轉(zhuǎn)換成輸出圖像數(shù)據(jù)的圖像轉(zhuǎn)換單元。本發(fā)明還涉及圖像處理設(shè)備，包括 一用于接收輸入圖像數(shù)據(jù)的接收裝置，
一用于將輸入圖像數(shù)據(jù)轉(zhuǎn)換成輸出圖像數(shù)據(jù)的圖像轉(zhuǎn)換單元。本發(fā)明還涉及包括圖像處理設(shè)備的顯示設(shè)備，包括 一用于接收輸入圖像數(shù)據(jù)的接收裝置，
一用于將輸入圖像數(shù)據(jù)轉(zhuǎn)換成輸出圖像數(shù)據(jù)的圖像轉(zhuǎn)換單元。
背景技術(shù)：
為了能夠在顯示器上以通常為低若干數(shù)量級的動態(tài)范圍進(jìn)行可接受的高動態(tài)范圍(HDR)影像的表示，在捕獲和傳送期間，所記錄的視頻序列的動態(tài)范圍常常借助于色調(diào)映射來壓縮。許多戶外景象的動態(tài)范圍可以大到12個數(shù)量級，然而大多數(shù)的液晶顯示器 (LCD)僅僅提供約3個數(shù)量級的靜態(tài)對比率。因此，在成像管道的早期，需要嚴(yán)格的動態(tài)范圍壓縮以使得所述景象在LDR (低動態(tài)范圍)顯示器上能夠舒適地表示。使用簡單的技術(shù)通過有如下缺陷小細(xì)節(jié)的對比度可能會受到損害或者甚至丟失。為了解決這些問題，開發(fā)了更先進(jìn)的自適應(yīng)方法。這些方法主要是壓縮大尺度的對比度而保留精細(xì)細(xì)節(jié)的對比度。只要顯示系統(tǒng)的能力多多少少保持與在成像管道早期壓縮期間所預(yù)期的能力類似，那么該途徑還是表現(xiàn)得不錯的。但是，利用新的高動態(tài)范圍顯示系統(tǒng)，可以實現(xiàn)高達(dá)6 個數(shù)量級的靜態(tài)對比率。而且，這樣的顯示系統(tǒng)可能能夠局部地(在時間或空間中)產(chǎn)生非常高的峰值亮度。例如，這可以通過2D可調(diào)的LED背光來實現(xiàn)，其中通過將暗圖像部分下面的一些LED調(diào)暗而節(jié)省的功率可用于增強(qiáng)亮區(qū)域下面的其它LED。已經(jīng)發(fā)現(xiàn)，將輸入LDR 圖像數(shù)據(jù)擴(kuò)展為HDR圖像信號經(jīng)常導(dǎo)致景象的外觀不自然。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種方法、轉(zhuǎn)換單元和圖像處理設(shè)備，其目標(biāo)是提高再現(xiàn)的質(zhì)量并提供更加舒適和自然的圖像外觀。為此，按照本發(fā)明的方法特征在于
一輸入圖像數(shù)據(jù)被轉(zhuǎn)換成至少兩個信號，提供區(qū)域?qū)Ρ榷葦?shù)據(jù)的第一信號和提供細(xì)節(jié)數(shù)據(jù)的第二信號，
一至少第一信號的動態(tài)范圍被拉伸，其中第一信號的動態(tài)范圍拉伸的程度比第二信號的動態(tài)范圍高，一所拉伸的第一和第二信號在輸出信號中組合。本發(fā)明人已經(jīng)意識到在局部和區(qū)域?qū)Ρ榷戎g的不平衡產(chǎn)生問題。在捕獲期間、 在動態(tài)范圍壓縮期間細(xì)節(jié)對比度的保留與在顯示期間或顯示之前總體動態(tài)范圍擴(kuò)展相結(jié)合導(dǎo)致在顯示的圖像中精細(xì)細(xì)節(jié)相對于區(qū)域?qū)Ρ榷鹊脑鰪?qiáng)。區(qū)域?qū)Ρ榷葦?shù)據(jù)包括相對較低的空間頻率信息。細(xì)節(jié)數(shù)據(jù)包括較高的空間頻率信息。對于相當(dāng)大的擴(kuò)展因子，這導(dǎo)致景象的外觀不自然，并且也可導(dǎo)致非期望的模擬和數(shù)字噪聲的放大。一種可能的解決方案是在范圍擴(kuò)展期間使用在范圍壓縮期間使用的映射算子的數(shù)學(xué)逆來獲取原始的HDR景象。然而，這需要了解所使用的壓縮方法的知識，該知識必須包含在輸入信號中。不過，實踐中，我們經(jīng)常不得不處理遺留的LDR視頻但卻不了解其動態(tài)范圍在捕獲和編碼期間是如何壓縮的。因此，該“理想的”解決方案經(jīng)常并不實用。除了這方面，接收單元還必須能夠匹配各種不同的可能的壓縮方法。本發(fā)明提供了輸入圖像數(shù)據(jù)到輸出信號的更平衡的LDR至HDR轉(zhuǎn)換。輸入信號被分割成提供區(qū)域、半球數(shù)據(jù)的第一信號和提供細(xì)節(jié)的第二信號。第一信號可以例如通過對輸入信號進(jìn)行低通濾波來獲得，包括保留了邊緣特征的低通濾波方法，諸如例如雙邊濾波。提供細(xì)節(jié)的第二信號可以通過例如從輸入數(shù)據(jù)信號中減去第一信號來獲得。至少第一信號被拉伸，即，至少第一信號的動態(tài)范圍被擴(kuò)展。所述兩個信號被不同地拉伸，其中第二信號被拉伸的程度比第一信號小。這降低了精細(xì)細(xì)節(jié)相對于區(qū)域?qū)Ρ榷鹊牟蛔匀坏目梢曉鰪?qiáng)，導(dǎo)致更加自然的景象外觀。噪聲在一定程度上也被抑制。在優(yōu)選實施例中，第二信號未被拉伸。如果在原始的壓縮期間，細(xì)節(jié)被保留，那么提供細(xì)節(jié)信息的第二信號不必被拉伸。這是允許算法簡化的相對簡單的實施例。在優(yōu)選實施例中，組合的拉伸的第一和第二信號的動態(tài)范圍受限于上方值。該上方值可以低于顯示器上最大可允許的信號。輸入圖像信號被進(jìn)一步分析以識別形成圖像中的高亮區(qū)的像素組，并且其中所識別的像素組的像素數(shù)據(jù)被轉(zhuǎn)換成第三信號，使得第三信號覆蓋延伸至所述上方值之上直至上方最大像素值的動態(tài)范圍，并且其中第三信號與所組合的拉伸的第一和第二信號組合。包含拉伸的第一和第二信號的信號具有受限于上方值的動態(tài)范圍。在優(yōu)選實施例中，高于所述上方值并且到最大值，像素值的上動態(tài)范圍被保留用來顯示高亮區(qū)。已經(jīng)發(fā)現(xiàn)，特別是對于非常高亮度的顯示，最大可實現(xiàn)的強(qiáng)度高得光使觀看者在某種意義上炫目。在中度情況下，觀看者將僅感知亮光斑而不會或者僅僅在很有限的程度上能夠感知景象的較暗細(xì)節(jié)。然而，在極端情況下，這對于觀看者的眼睛可能是難受的或者甚至是有害的。通過限制所組合的第一和第二信號被拉伸的范圍，可以避免上述問題。然而，這沒有充分利用HDR顯示器的潛力。在優(yōu)選實施例中，最大亮度被保持在高亮度設(shè)備的潛力以下。通過識別圖像中的高亮區(qū)，并將其像素值置于顯示器的動態(tài)范圍的最高部分中， 這些高亮區(qū)被帶到最前部而不會使觀者者炫目，從而提供非常清新和清楚的圖像。在實施例中，高亮區(qū)通過選擇像素值在接近或處于LDR范圍的上方值的范圍內(nèi)的像素組來識別， 其中在高像素值像素的鄰域中，高像素值像素的數(shù)量低于閾值，即對于小的高強(qiáng)度像素組而言。
5
高亮區(qū)是相對小的高強(qiáng)度像素組。高于上方值的顯示設(shè)備的動態(tài)范圍由高亮區(qū)來填充。這已經(jīng)證明提供高質(zhì)量圖像，其中，一方面，細(xì)節(jié)未被不自然地增強(qiáng)，或者亮的盲點出現(xiàn)在圖像中，而另一方面，在顯示范圍的高端成像的高亮區(qū)提供閃光和清新的圖像。在優(yōu)選實施例中，所組合的拉伸的第一和第二信號的動態(tài)范圍的上方值位于對應(yīng)于當(dāng)顯示在500至1000尼特顯示器上時光強(qiáng)的范圍，并且上方最大像素值位于對應(yīng)于當(dāng)顯示在高于1000尼特(優(yōu)選高于2500尼特)的顯示器上時光強(qiáng)的范圍。


本發(fā)明的這些和其它方面將通過示例并參考附圖進(jìn)行更詳細(xì)的說明，其中 圖1提供了用于本發(fā)明實施例的示意性流程圖，
圖2圖示了動態(tài)范圍的擴(kuò)展； 圖3圖示了高亮區(qū)識別算法；
圖如至4f圖示了按照本發(fā)明的動態(tài)范圍擴(kuò)展算法的效果； 圖5圖示了混合映射；
圖6a至6c進(jìn)一步圖示了按照本發(fā)明的動態(tài)范圍擴(kuò)展； 圖7a至7d和8a至8d進(jìn)一步提供了按照本發(fā)明的動態(tài)范圍擴(kuò)展的示例； 圖9圖示了按照本發(fā)明的顯示設(shè)備。所述圖沒有按比例繪制。通常，圖中相同部件由相同的參考標(biāo)記來表示。
具體實施例方式注意到示出了以下示例。許多戶外景象的動態(tài)范圍可以大到12個數(shù)量級，而大多數(shù)液晶顯示器(LCD)僅僅提供約3個數(shù)量級的靜態(tài)對比率。因此，在成像管道的早期需要嚴(yán)格的動態(tài)范圍壓縮，使得在LDR顯示器(低動態(tài)范圍)上能夠舒適地表示景象。對于動態(tài)范圍壓縮最直接的途徑是借助于全局色調(diào)映射算子。然而，這些簡單技術(shù)的主要缺陷是小細(xì)節(jié)的對比度可能受到損害。 為了解決這些問題，已經(jīng)開發(fā)了更先進(jìn)的方法來壓縮區(qū)域(大尺度的)對比度同時保留精細(xì)細(xì)節(jié)的對比度。在顯示前受用戶偏好影響，有時受到直方圖拉伸的支持，在常規(guī)的LDR (低動態(tài)范圍)顯示屏幕上，影像對比度通常被拉伸至顯示設(shè)備的全能力(即針對8比特系統(tǒng)黑為0，白為255)。只要顯示系統(tǒng)的能力多多少少保持與在成像管道早期壓縮期間預(yù)期的能力類似， 該途徑表現(xiàn)良好。然而，在新的HDR (高動態(tài)范圍)顯示系統(tǒng)中，實現(xiàn)了高達(dá)6個數(shù)量級的靜態(tài)對比率。而且，這樣的顯示系統(tǒng)可能能夠局部地(在時間或空間中)產(chǎn)生非常高的峰值亮度。例如，這可以通過2D可調(diào)LED背光來實現(xiàn)，其中通過調(diào)暗暗圖像部分下面的某些LED 而節(jié)省的功率可以用于增強(qiáng)亮區(qū)域下面的其它LED。當(dāng)直接在HDR顯示器上顯示遺留的LDR視頻時，偽像(即局部和區(qū)域?qū)Ρ榷戎g的不平衡)發(fā)生。在范圍壓縮期間細(xì)節(jié)對比度的保留與顯示之前的范圍擴(kuò)展相結(jié)合，導(dǎo)致精細(xì)細(xì)節(jié)相對于區(qū)域?qū)Ρ榷鹊脑鰪?qiáng)。對于大的擴(kuò)展因子，這導(dǎo)致不自然的景象外觀以及有時非期望的噪聲放大。
在按照本發(fā)明的方法中，輸入圖像數(shù)據(jù)被轉(zhuǎn)換成至少兩個信號提供低空間頻率區(qū)域?qū)Ρ榷葦?shù)據(jù)的第一信號和提供高空間頻率細(xì)節(jié)數(shù)據(jù)的第二信號。至少第一信號的動態(tài)范圍被拉伸，其中第一信號的動態(tài)范圍被拉伸的程度比第二信號的動態(tài)范圍高。所拉伸的第一和第二信號在圖像輸出信號中組合。第一信號提供了區(qū)域?qū)Ρ榷刃盘?，并且第二信號提供了?xì)節(jié)層。這兩個信號單獨(dú)地被拉伸，其中第一信號比第二信號拉伸得多。實際上，區(qū)域?qū)Ρ榷刃盘柕膮^(qū)域拉伸例如通過低通濾波來進(jìn)行。在該拉伸后，局部細(xì)節(jié)被拉伸但是是較低程度地被拉伸。這兩個信號被組合。這相比于進(jìn)入的信號的總體拉伸而言降低了細(xì)節(jié)和區(qū)域圖像之間的不平衡。在優(yōu)選實施例中，第二信號通過從輸入圖像信號中減去第一信號來獲得。圖1圖示了用于按照本發(fā)明的示例性算法的流程圖。該算法執(zhí)行作為雙信號過程的動態(tài)范圍擴(kuò)展。最初，在該示例中，通過對視頻應(yīng)用低通濾波器1而從輸入信號Vin提取區(qū)域?qū)Ρ榷龋瑥亩峁┑谝恍盘枀^(qū)域?qū)Ρ榷刃盘朧KC，以及從輸入信號Vin提取細(xì)節(jié)層，從而提供第二細(xì)節(jié)信號VD。在該示例中，通過計算區(qū)域?qū)Ρ榷群蜏p法器2中的輸入之間的差值來提取Vd
公式為
權(quán)利要求
1.一種用于將輸入圖像數(shù)據(jù)(Vin)轉(zhuǎn)換成輸出圖像數(shù)據(jù)( V1，Vout)的方法，其中輸入圖像數(shù)據(jù)(Vin)被分割成至少兩個信號，包括區(qū)域?qū)Ρ榷葦?shù)據(jù)的第一信號(VKe)和包括細(xì)節(jié)數(shù)據(jù)的第二信號(VD)，至少第一信號的動態(tài)范圍被拉伸以提供拉伸的第一信號(),其中第一信號的動態(tài)范圍拉伸的程度比應(yīng)用于第二信號的高，并且所拉伸的第一信號(疋,)和第二信號(\)在輸出信號(，)中組合。
2.如權(quán)利要求1所述的方法，其中通過從圖像輸入數(shù)據(jù)(Vin)中減去第一信號(Vkc)來得到第二信號。
3.如權(quán)利要求1或2的方法，其中第二信號(Vd)未被拉伸。
4.如任一前述權(quán)利要求所述的方法，其中針對組合的拉伸的第一和第二信號)的動態(tài)范圍的上方值處于對應(yīng)于當(dāng)在500至1000尼特顯示器上顯示時的光強(qiáng)的范圍內(nèi)。
5.如任一前述權(quán)利要求所述的方法，其中所述組合的拉伸的第一和第二信號的動態(tài)范圍受限于上方值(Wtl),并且分析(FHL (Vin))輸入圖像信號(Vin)以識別構(gòu)成圖像中高亮區(qū)的像素組，并且其中所述識別的像素組的像素數(shù)據(jù)被轉(zhuǎn)換成第三信號(Vm)，使得第三信號覆蓋向上延伸到高于所述上方值(Wci)直至上方最大像素值(Whdk)的動態(tài)范圍(W_ - K_)，并且其中第三信號(Vm)與組合的拉伸的第一和第二信號(R )在輸出信號(V。ut)中被組合。
6.如權(quán)利要求5所述的方法，其中上方最大像素值(Whdk)位于對應(yīng)于當(dāng)在高于1000尼特的顯示器上顯示時的光強(qiáng)的范圍內(nèi)。
7.一種計算機(jī)程序，包括用于當(dāng)在計算機(jī)上執(zhí)行時執(zhí)行按照本發(fā)明的方法的程序代碼裝置。
8.一種圖像轉(zhuǎn)換單元，用于將輸入圖像數(shù)據(jù)轉(zhuǎn)換成輸出圖像數(shù)據(jù)，包括分割器，用于將輸入圖像數(shù)據(jù)(Vin)分割成至少兩個信號，包括區(qū)域?qū)Ρ榷葦?shù)據(jù)的第一信號(VK。)和包括細(xì)節(jié)數(shù)據(jù)的第二信號(Vd);拉伸器(3)，用于拉伸至少第一信號的動態(tài)范圍以提供拉伸的第一信號(),其中第一信號(Vkc)的動態(tài)范圍拉伸的程度比應(yīng)用于第二信號(Vd)的高，以及所述單元包括組合器，所述組合器用于將拉伸的第一信號()和第二信號(^ )在輸出信號(又)中組合。
9.如權(quán)利要求8所述的圖像轉(zhuǎn)換單元，其中拉伸器(3)被設(shè)置成使得所述組合的拉伸的第一和第二信號的動態(tài)范圍受限于上方值(Wtl),并且所述單元還包括識別器(7)，用于分析輸入圖像信號(Vin)以識別構(gòu)成圖像中高亮區(qū)的像素組；和映射器(8)，用于將所述識別的像素組的像素數(shù)據(jù)映射到第三信號(VH,)，使得第三信號覆蓋向上延伸到高于所述上方值(Wtl)直至上方最大像素值(Whdk)的動態(tài)范圍(W_ - Khdk);以及組合器(9)，用于將第三信號(AV)與組合的拉伸的第一和第二信號(^ )在輸出信號(V。ut)中進(jìn)行組合。
10.如權(quán)利要求8或9所述的圖像轉(zhuǎn)換單元，其中拉伸器(3)被設(shè)置成使得針對組合的拉伸的第一和第二信號(V1 )的動態(tài)范圍的上方值(Wtl)處于對應(yīng)于當(dāng)在500至1000尼特顯示器上顯示時的光強(qiáng)的范圍內(nèi)。
11.如權(quán)利要求8— 10中任一項所述的圖像轉(zhuǎn)換單元，其中映射器(8)被設(shè)置成使得上方最大像素值(Whdk)位于對應(yīng)于當(dāng)在高于1000尼特的顯示器上顯示時的光強(qiáng)的范圍內(nèi)。
12.—種圖像處理設(shè)備，包括接收裝置，用于接收輸入圖像數(shù)據(jù)；以及如權(quán)利要求 8 - 11中的任一項所述的圖像轉(zhuǎn)換單元，用于將輸入圖像數(shù)據(jù)轉(zhuǎn)換成輸出圖像數(shù)據(jù)。
13.—種包括圖像處理設(shè)備的顯示設(shè)備，包括接收裝置，用于接收輸入圖像數(shù)據(jù)；以及如權(quán)利要求8 — 11中的任一項所述的圖像轉(zhuǎn)換單元，用于將輸入圖像數(shù)據(jù)轉(zhuǎn)換成輸出圖像數(shù)據(jù)；以及顯示屏幕(91)。
14.如權(quán)利要求13所述的顯示設(shè)備，包括如權(quán)利要求11所述的圖像轉(zhuǎn)換單元，其中上方最大值對應(yīng)于在顯示屏幕(91)的動態(tài)范圍的最大值處或附近的值。
15.如權(quán)利要求13或14的顯示設(shè)備，其中顯示設(shè)備包括提供輸出的環(huán)境照度傳感器 (92)，其中環(huán)境照度傳感器(92)的輸出是拉伸器(3)的輸入。
全文摘要
在一種方法、單元和顯示設(shè)備中，輸入圖像信號被分割成區(qū)域?qū)Ρ榷刃盘?VRC)和細(xì)節(jié)信號(VD)，隨后單獨(dú)拉伸兩個信號的動態(tài)范圍，其中區(qū)域?qū)Ρ榷刃盘柕膭討B(tài)范圍以高于細(xì)節(jié)信號的動態(tài)范圍的拉伸比被拉伸。優(yōu)選地，用于細(xì)節(jié)信號的拉伸比接近1或優(yōu)選1。在優(yōu)選實施例中，高亮區(qū)被識別，并且對于高亮區(qū)，動態(tài)范圍被拉伸至比針對區(qū)域?qū)Ρ榷刃盘柹踔粮叩某潭取?br> 文檔編號G06T5/40GK102341826SQ201080010718
公開日2012年2月1日 申請日期2010年3月3日 優(yōu)先權(quán)日2009年3月6日
發(fā)明者T. J. 米杰斯 R. 申請人:皇家飛利浦電子股份有限公司