專利名稱：在局部調(diào)光顯示器上顯示圖像的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于顯示靜止圖像或移動(dòng)圖像的顯示器。本發(fā)明具體涉及‘局部調(diào)光’或‘雙調(diào)制’或‘多調(diào)制’顯示器。
背景技術(shù)：
某些顯示器并入了包括光發(fā)射器陣列的背光，光發(fā)射器能夠被獨(dú)立控制。來自背光的光通過諸如IXD面板之類的空間光調(diào)制器(‘SLM’)被調(diào)制以顯示圖像。因?yàn)楸彻饪梢栽趫D像暗的區(qū)域中被局部減光，所以這樣的顯示器能提供增大對(duì)比度的優(yōu)點(diǎn)。在以下專利和專利申請(qǐng)中描述了在其中能夠控制入射到空間光調(diào)制器上的光量的顯示器的一些非限制示例 2005 年 5 月 10 日提交并命名為“High Dynamic Range DisplayDevices” 的美國(guó)專利 No. 6891672 ；2008 年 7 月 22 日提交并命名為“High Dynamic Range DisplayDevices” 的美國(guó)專利 No. 7403332 ；2008 年 7 月 31 日公布并命名為 “Rapid Image Rendering on DualmodulatorDisplays” 的美國(guó)專利公布 No. 2008/0180466 ；2002 年 9 月 6 日公布并命名為“High Dynamic Range DisplayDevices”的 PCT 公布 No. W02002/069030 ；2003 年 9 月 18 日公布并命名為 “High Dynamic Range DisplayDevices” 的 PCT公布 No. W02003/077013 ；2005 年 11 月 10 日公布并命名為“ Method for EfficientComputation ofImage Frames for Dual Modulation Display SystemsUsing Key Frames” 的 PCT 公布No. W02005/107237 ；2006 年 2 月 2 日公布并命名為 “Rapid Image Rendering on DualModulatorDisplays” 的 PCT 公布 No. W02006/010244 ；2006 年 6 月 29 日公布并命名為 “Wide Color Gamut Displays” 的 PCT 公布No. W02006/066380 ;以及2008 年 8 月 7 日公布并命名為 “Calibration of DisplaysHavingSpatially-Variable Backlight” 的 PCT 公布 No. W02008/092276 ；其中的所有通過參考被并入于此，用于所有目的。背光局部調(diào)光型或雙調(diào)制型顯示器需要具有某些機(jī)制，用于控制背光的元件。期望的是，以產(chǎn)生優(yōu)良質(zhì)量的圖像的方式控制背光。同時(shí)，成本是個(gè)問題，所以期望以更便宜的硬件實(shí)現(xiàn)對(duì)于背光元件的控制。Ward等人在2005年11月3日公開并且命名為“Encoding, Decoding andRepresenting High Dynamic Range Images”的 PCT 專利 W02005/104035 (“Ward”)中描述了可以用于編碼高動(dòng)態(tài)范圍圖像的格式。該格式提供了包含圖像的低動(dòng)態(tài)范圍版本的第一部分和包含能夠用于修改圖像的低動(dòng)態(tài)范圍版本以恢復(fù)圖像的高動(dòng)態(tài)范圍版本的信息的第二部分。由此，Ward通過引用被合并于此，用于所有目的。仍然存在這樣的需要對(duì)于在具有局部調(diào)光背光的顯示器上顯示圖像的有效方式的需求，以及對(duì)于能夠提供優(yōu)良質(zhì)量的圖像的成本高效的局部調(diào)光顯示器的需求除非另外指明，否則對(duì)于此部分中的任何方法或文檔的參考并不承認(rèn)該方法或文檔構(gòu)成現(xiàn)有技術(shù)。

發(fā)明內(nèi)容
本發(fā)明具有多個(gè)方面。這些方面包括顯示器、可以并入到顯示器中的圖像和視頻處理部件、以及圖像和視頻處理方法。一個(gè)方面提供了一種用于驅(qū)動(dòng)局部調(diào)光顯示器的裝置。該顯示器可以包括背光和·空間光調(diào)制器，該背光包括多個(gè)單獨(dú)可控的元件。該裝置可以可選地與定時(shí)控制器、背光控制器或在顯示器中的信號(hào)處理路徑的其他部件集成。該裝置包括解碼器，被配置為提取第一圖像數(shù)據(jù)分量和第二圖像數(shù)據(jù)分量，該第一和第二圖像數(shù)據(jù)分量能夠被組合以產(chǎn)生圖像的較高動(dòng)態(tài)范圍版本。第一圖像數(shù)據(jù)分量包括圖像的較低動(dòng)態(tài)范圍版本。裝置的第一系統(tǒng)被配置為基于第一圖像數(shù)據(jù)分量產(chǎn)生用于空間光調(diào)制器的第一驅(qū)動(dòng)信號(hào)。裝置的第二系統(tǒng)被配置為基于第二圖像數(shù)據(jù)分量或基于第一和第二圖像分量的組合產(chǎn)生用于背光的第二驅(qū)動(dòng)信號(hào)。第二系統(tǒng)可以包括以下中的一個(gè)或多個(gè)向下采樣器，其被配置為向下采樣所述第二圖像數(shù)據(jù)分量；驅(qū)動(dòng)值計(jì)算器，其被配置為歸一化所述第二圖像數(shù)據(jù)分量；和線性化器。在一些實(shí)施例中，第一圖像數(shù)據(jù)包括色調(diào)映射，以及所述第一系統(tǒng)包括光場(chǎng)模擬器，被配置為產(chǎn)生估計(jì)的光場(chǎng)，在施加所述第二驅(qū)動(dòng)信號(hào)以驅(qū)動(dòng)所述背光時(shí)在所述空間光調(diào)制器處將產(chǎn)生該估計(jì)的光場(chǎng)；以及色調(diào)映射調(diào)節(jié)器，被配置為根據(jù)所述估計(jì)的光場(chǎng)改變所述色調(diào)映射。第一系統(tǒng)可以包括一個(gè)或多個(gè)圖像處理級(jí)。圖像處理級(jí)可以包括以下的一個(gè)或多個(gè)色彩校正級(jí)；和銳化濾波器。本發(fā)明的另一方面提供了用于驅(qū)動(dòng)局部調(diào)光顯示器的方法。該顯示器包括背光和空間光調(diào)制器。該背光包括多個(gè)單獨(dú)可控的元件。該方法包括獲得能夠被組合以產(chǎn)生圖像的較高動(dòng)態(tài)范圍版本的第一和第二圖像數(shù)據(jù)分量。該第一圖像數(shù)據(jù)分量包括圖像的較低動(dòng)態(tài)范圍版本。該方法基于第一圖像數(shù)據(jù)分量產(chǎn)生用于空間光調(diào)制器的第一驅(qū)動(dòng)信號(hào)，以及基于第二圖像數(shù)據(jù)分量或基于第一和第二圖像數(shù)據(jù)分量的組合產(chǎn)生用于背光的第二驅(qū)動(dòng)信號(hào)。在一些實(shí)施例中，該方法包括將第二圖像數(shù)據(jù)的值修整到參考值。產(chǎn)生第二驅(qū)動(dòng)信號(hào)可以包括以下的一個(gè)或多個(gè)向下采樣第二圖像數(shù)據(jù)；將第二圖像數(shù)據(jù)分量線性化。產(chǎn)生第一驅(qū)動(dòng)信號(hào)可以包括圖像處理步驟。該圖像處理步驟可以包括以下的一個(gè)或多個(gè)向第一圖像數(shù)據(jù)分量施加銳化濾波器；向第一圖像數(shù)據(jù)分量施加色彩校正。本發(fā)明的另一方面提供了攜帶計(jì)算機(jī)可讀指令的非臨時(shí)性計(jì)算機(jī)可讀介質(zhì)，當(dāng)計(jì)算機(jī)處理器執(zhí)行該指令時(shí)，使得計(jì)算機(jī)處理器執(zhí)行用于驅(qū)動(dòng)局部調(diào)光顯示器的方法。該顯示器可以是包括背光和空間光調(diào)制器的類型，該背光包括多個(gè)單獨(dú)可控的元件。該方法包括獲得能夠被組合以產(chǎn)生圖像的較高動(dòng)態(tài)范圍版本的第一和第二圖像數(shù)據(jù)分量，該第一圖像數(shù)據(jù)分量包括圖像的較低動(dòng)態(tài)范圍版本；基于第一圖像數(shù)據(jù)分量產(chǎn)生用于空間光調(diào)制器的第一驅(qū)動(dòng)信號(hào)；以及基于第二圖像數(shù)據(jù)分量或基于第一和第二圖像數(shù)據(jù)分量的組合產(chǎn)生用于背光的第二驅(qū)動(dòng)信號(hào)。上述方面是非限制的。本發(fā)明的另外方面和示例實(shí)施例的特征在附圖和隨后的詳細(xì)描述中說明。



附圖示出示例非限制實(shí)施例。圖I是示出根據(jù)示例實(shí)施例的顯示裝置的框圖。圖2是示出根據(jù)另一示例實(shí)施例的顯示裝置的框圖。圖3是示出根據(jù)另一示例實(shí)施例的顯示裝置的框圖。圖4是示出根據(jù)示例實(shí)施例的方法的流程圖。圖5是示出根據(jù)另一示例實(shí)施例的方法的流程圖。圖6是示出根據(jù)另一示例實(shí)施例的顯示裝置的框圖。
具體實(shí)施例方式在整個(gè)以下的描述中，闡述具體細(xì)節(jié)以便使得本領(lǐng)域技術(shù)人員的理解更透徹。然而，可以不顯示或詳細(xì)描述已知的元件以避免不必要地模糊本公開。因此，說明書和圖將被理解為說明性的涵義，而不是限制的涵義。圖I示出根據(jù)發(fā)明的示例實(shí)施例的裝置10。裝置10接收包括第一部分12A和第二部分12B的輸入圖像數(shù)據(jù)12。第一部分12A編碼較高動(dòng)態(tài)范圍圖像的較低動(dòng)態(tài)范圍版本(例如較高動(dòng)態(tài)范圍圖像的色調(diào)映射版本)，第二部分12B包含可以與第一部分12A組合地應(yīng)用以提供圖像的較高動(dòng)態(tài)范圍版本的信息。在一些實(shí)施方式中，第二部分12B包括可以用來乘以由第一部分12A提供的像素值(例如亮度值)以產(chǎn)生較高動(dòng)態(tài)范圍圖像的值。在一些實(shí)施方式中，第二部分12B包括具有像素值的圖像，所述像素值是較高動(dòng)態(tài)范圍圖像的像素值與較低動(dòng)態(tài)范圍圖像的像素值的比率。在一些實(shí)施方式中，第二部分12B具有圖像的格式。在這樣的實(shí)施例中，第二部分12B具有比第一部分12A低的分辨率。第二部分12B可以通過適當(dāng)?shù)膱D像編解碼器方式編碼。部分12A和12B可以例如包括色調(diào)映射數(shù)據(jù)和比例數(shù)據(jù)，如Ward所描述。裝置10產(chǎn)生用于空間光調(diào)制器15的控制信號(hào)14?？臻g光調(diào)制器的示例是IXD面板。然而，空間光調(diào)制器15可以以任何技術(shù)為基礎(chǔ)?？刂菩盘?hào)14可以包括例如與用于空間光調(diào)制器15的像素的亮度值相對(duì)應(yīng)的值。如果空間光調(diào)制器15是其中像素包括彩色子像素的彩色空間光調(diào)制器，諸如RGBIXD面板或RGBW IXD面板，則一組控制信號(hào)14可以被提供以控制每一類的子像素?？刂菩盘?hào)14可以直接施加到空間光調(diào)制器15或通過適當(dāng)?shù)尿?qū)動(dòng)電路17而施加。驅(qū)動(dòng)電路17可以例如包括串行或并行數(shù)據(jù)總線，該數(shù)據(jù)總線連接到在控制器(諸如定時(shí)控制(T-CON)芯片)上的適當(dāng)?shù)慕邮掌?，該控制器控制空間光調(diào)制器15。在一些實(shí)施方式中，總線包括低電壓差分信號(hào)傳輸(LVDS)數(shù)據(jù)路徑。裝置10還產(chǎn)生用于背光22的控制信號(hào)20，該背光22包括單獨(dú)可控的元件24。單獨(dú)可控的元件24每個(gè)被配置為非均勻地照射空間光調(diào)制器15。例如當(dāng)單獨(dú)可控的元件24之一被控制以發(fā)射光到空間光調(diào)制器15上時(shí)，根據(jù)擴(kuò)展函數(shù)，在空間光調(diào)制器15上的光分布可以在空間光調(diào)制器15的、與特定單獨(dú)可控的元件24相對(duì)應(yīng)的一個(gè)區(qū)域中提供最大的光強(qiáng)度，以及提供隨著人離開空間光調(diào)制器15上的相對(duì)應(yīng)的區(qū)域而減小的強(qiáng)度。用于不同的單獨(dú)可控的元件24的擴(kuò)展函數(shù)可以重疊使得空間光調(diào)制器15的像素可以從多個(gè)單獨(dú)可控的元件24接收光。背光控制信號(hào)20控制由可控制元件24發(fā)射到空間光調(diào)制器15上的光的強(qiáng)度?？刂菩盘?hào)20可以直接施加到空間光調(diào)制器22或通過適當(dāng)?shù)尿?qū)動(dòng)電路19而施加。
可控制元件24可以以二維陣列布置，包括多個(gè)行或多個(gè)列的可控制元件24。在一些實(shí)施方式中，單獨(dú)可控的元件24包括發(fā)光半導(dǎo)體結(jié)，諸如發(fā)光二極管(LED)。在圖示的示例實(shí)施例中，背光22包括LED陣列25，每個(gè)單獨(dú)可控的元件24包括一個(gè)或多個(gè)LED 25。在其他實(shí)施例中，背光22可以包括背光空間光調(diào)制器，每個(gè)單獨(dú)可控的元件24可以包括該背光空間光調(diào)制器的一個(gè)或多個(gè)元件，其可以被控制以使得變化量的光從光源通過到達(dá)空間光調(diào)制器15上。圖I示出的實(shí)施例的一個(gè)特征是背光控制信號(hào)20從圖像數(shù)據(jù)12的第二部分12B產(chǎn)生。用于從第二部分12B產(chǎn)生背光控制信號(hào)20的具體過程將依賴于第二部分12B中的數(shù)據(jù)的性質(zhì)以及依賴于數(shù)據(jù)已經(jīng)被編碼的方式。在圖示的實(shí)施例，第二部分12B包括JPEG編碼的比率圖像，裝置10包括對(duì)第二部分12B解碼以提供比率數(shù)據(jù)31的JPEG解碼器30。比率數(shù)據(jù)31以非線性比例表示，因此產(chǎn)生線性化的比率數(shù)據(jù)33的線性化器32跟在JPEG解碼器30后面。必要時(shí)，線性化的比率數(shù)據(jù)通過向下采樣器34被向下采樣到可控制元件24的分辨率，控制信號(hào)20將被產(chǎn)生以用于該可控制元件24。向下采樣的比率數(shù)據(jù)35被提供到驅(qū)動(dòng)值計(jì)算器，該驅(qū)動(dòng)值計(jì)算器確定控制值37，該控制值37將被施加以控制單獨(dú)可控的背光元件24。在圖示的實(shí)施例中，控制值37控制根據(jù)控制值產(chǎn)生控制信號(hào)20的驅(qū)動(dòng)電路19。濾波器或其他圖像處理級(jí)38可選地包括在用于產(chǎn)生控制值37的路徑中。驅(qū)動(dòng)值計(jì)算器36可以以多種方式產(chǎn)生控制值。在一些實(shí)施方式中，每當(dāng)向下采樣的比率數(shù)據(jù)35中的對(duì)應(yīng)值(多個(gè)對(duì)應(yīng)值)超過閾值時(shí)，用于單獨(dú)可控的元件24的控制值被修整到預(yù)定值。例如，預(yù)定值可以對(duì)應(yīng)于將對(duì)應(yīng)元件24設(shè)定為完全開啟(處于最大亮度)的值。在一些實(shí)施方式中，驅(qū)動(dòng)值計(jì)算器36通過包括使比率數(shù)據(jù)歸一化的處理來產(chǎn)生控制值。歸一化可以通過例如用比率數(shù)據(jù)的所有值除以代表值而完成。代表值可以包括極大值、平均值、均值、中值、X百分位值等。在一些實(shí)施方式中，超過代表值的比率數(shù)據(jù)的值被修整到代表值。裝置10包括對(duì)于圖像數(shù)據(jù)12的第一部分12A解碼的JPEG解碼器30。解碼第一部分12A的JPEG解碼器30可以與解碼第二部分12B的JPEG解碼器相同或不同。所得的色調(diào)映射數(shù)據(jù)41可選地通過一個(gè)或多個(gè)圖像處理級(jí)42。圖像處理級(jí)可以包括例如色彩校正級(jí)43。如果存在的話，色彩校正級(jí)43可以對(duì)色調(diào)映射數(shù)據(jù)41執(zhí)行顏色變換(例如通過將色彩座標(biāo)值乘以適當(dāng)?shù)牟噬儞Q矩陣)以補(bǔ)償背光22和空間光調(diào)制器15的色彩特性。銳化濾波器44也可選地存在。如果存在銳化濾波器44和色彩校正級(jí)43兩者，則可以在色彩校正級(jí)43之前或之后設(shè)置銳化濾波器44。所得的(可選地，校正的和/或銳化的和/或經(jīng)受其他圖像處理的)色調(diào)映射數(shù)據(jù)被處理以確定用于空間光調(diào)制器15的像素的驅(qū)動(dòng)值。在圖示的實(shí)施例中，這通過以下步驟完成基于背光控制信號(hào)20中的驅(qū)動(dòng)值執(zhí)行光場(chǎng)模擬以提供估計(jì)的光場(chǎng)映射45，該估計(jì)的光場(chǎng)映射45指示在空間光調(diào)制器15的每個(gè)像素處來自背光22的光的強(qiáng)度，其源于根據(jù)背光驅(qū)動(dòng)信號(hào)20驅(qū)動(dòng)背光22。光場(chǎng)模擬通過LFS級(jí)46來執(zhí)行。對(duì)于空間光調(diào)制器15的每個(gè)像素，通過將來自于根據(jù)信號(hào)20驅(qū)動(dòng)的每個(gè)元件24的、對(duì)該像素做出貢獻(xiàn)的光相加來確定映射45。這可以利用對(duì)于元件24的已知的擴(kuò)展函數(shù)來完成。擴(kuò)展函數(shù)取決于元件24的光學(xué)特性以及從元件24到空間光調(diào)制器15的光學(xué)路徑的尺度和特性。 存在各種方式以減少用于確定映射45的計(jì)算和/或硬件成本。這些包括$以低于空間光調(diào)制器15的分辨率的分辨率計(jì)算映射45以及向上采樣和/或內(nèi)插以獲得與空間光調(diào)制器15的像素相應(yīng)的映射值；$從入射在空間光調(diào)制器15的像素處的光的計(jì)算中排除遠(yuǎn)離該像素的元件24的
-Tj. 士 [>
貝獻(xiàn)；可以用于便于映射45的有效確定的其他的機(jī)制在2005年5月27日提交并且命名為 “Rapid Image Rendering on Dual ModulatorDisplays” 的 W02006/010244 中描述,由此為了所有目的通過參考將其并入于此。然后根據(jù)映射45修正色調(diào)映射數(shù)據(jù)以提供用于空間光調(diào)制器15的像素的驅(qū)動(dòng)值
14。裝置10提供色調(diào)映射修正級(jí)47，該色調(diào)映射修正級(jí)47執(zhí)行修正。色調(diào)映射修正級(jí)47補(bǔ)償以下事實(shí)空間光調(diào)制器15的像素不一定用相同強(qiáng)度的光照射。替代地，光的強(qiáng)度可以在像素之間彼此不同。例如，考慮這種情況色調(diào)映射數(shù)據(jù)指示來自空間光調(diào)制器15上的位置i，j處的像素的光的期望強(qiáng)度是Lu，映射45指示在入射到該像素處的光是L' u，然后將能夠看到，假定L' ">1^，則在位置i，j處的像素應(yīng)被控制從而以因子Lij/!' u衰減入射光。因此，通過將色調(diào)映射數(shù)據(jù)中的值除以映射45中的對(duì)應(yīng)值以確定空間光調(diào)制器15的每個(gè)像素的期望的衰減，然后施加電光傳遞函數(shù)以向空間光調(diào)制器15提供控制值(這將產(chǎn)生期望的衰減)，可以實(shí)現(xiàn)用于空間光調(diào)制器15的像素的控制值。施加傳遞函數(shù)可以利用查找表格來執(zhí)行。在一些實(shí)施方式中，LFS級(jí)46被配置為產(chǎn)生入射在空間光調(diào)制器15的像素處的光的強(qiáng)度的倒數(shù)的輸出映射(例如，具有值1/L' u的映射)。這允許用于空間光調(diào)制器15的像素的控制值通過執(zhí)行乘法來確定。與除法相比，乘法是典型地較少需要計(jì)算的，而且可以在硬件中更簡(jiǎn)單執(zhí)行。裝置10的組件可以以硬件、軟件(包括固件)或其任何適當(dāng)?shù)慕M合來提供。例如，在一些實(shí)施方式中，控制信號(hào)14和20在被配置為提供圖I中所示的功能組件的現(xiàn)場(chǎng)可編程門陣列(FPGA)中產(chǎn)生。在其他實(shí)施例中，圖I所示的功能組件包括可在一個(gè)或多個(gè)數(shù)據(jù)處理器上執(zhí)行的軟件處理。數(shù)據(jù)處理器可以包括例如一個(gè)或多個(gè)微處理器、圖像處理器、數(shù)字信號(hào)處理器、CPU等。在其他實(shí)施例中，圖I所示的某些或所有功能組件通過硬接線邏輯電路、專用集成電路等來提供。方便地，裝置10可以與顯示控制器集成。例如，裝置10或其部分可以設(shè)置在定時(shí)控制(T-CON)芯片和/或LED背光驅(qū)動(dòng)器中。圖2顯示裝置10A，其與裝置10不同在于控制信號(hào)20部分地基于圖像數(shù)據(jù)12的第一部分12A。已經(jīng)在上文關(guān)于圖I描述的裝置IOA的組件由與上文相同的參考數(shù)字標(biāo)識(shí)。在裝置IOA中，在組合級(jí)48中組合比率數(shù)據(jù)31與色調(diào)映射數(shù)據(jù)41。組合級(jí)48可以將色調(diào)映射數(shù)據(jù)41中的值乘以比率數(shù)據(jù)31中的對(duì)應(yīng)值以產(chǎn)生HDR數(shù)據(jù)51。通過亮度提取器52處理HDR數(shù)據(jù)51，該亮度提取器52提取被傳遞到向下采樣器34的亮度值。裝置IOA如上文關(guān)于裝置10所述的類似地操作。裝置IOA優(yōu)于裝置10在于它可以產(chǎn)生控制信號(hào)20，該控制信號(hào)20產(chǎn)生比裝置10更接近期望的最終圖像的背光照明。這由提供組合級(jí)48和亮度提取器52的成本來獲得。圖3顯示根據(jù)發(fā)明另一替換實(shí)施例的裝置10B。裝置IOB類似于裝置10，除了用于空間光調(diào)制器15的驅(qū)動(dòng)信號(hào)14基于通過組合色調(diào)映射數(shù)據(jù)41和比率數(shù)據(jù)31獲得的HDR·數(shù)據(jù)之外。在圖示的實(shí)施例中，通過可以如上所述操作的組合級(jí)48執(zhí)行該組合。圖4是流程圖，示出用于根據(jù)圖像數(shù)據(jù)12驅(qū)動(dòng)顯示器以顯示圖像的示例方法60的操作，該圖像數(shù)據(jù)12包括如上所述的第一部分12A和第二部分12B。在方框62中，第一部分12A和第二部分12B被解碼。在圖示的實(shí)施例中，這產(chǎn)生比率圖像31和色調(diào)映射41。在方框64中，比率圖像31被線性化。在方框66中，比率圖像31被向下采樣。在方框68中，背光驅(qū)動(dòng)信號(hào)基于向下采樣的比率圖像而確定。在圖示的實(shí)施例中，方框68包括在方框68A中使向下采樣的比率圖像歸一化、在方框68B中將值修整到限幅電平、以及在方框68C中查找與從方框68B輸出的值相對(duì)應(yīng)的用于元件24的控制值。在方框68D中，控制值被施加以驅(qū)動(dòng)背光元件24。在包括方框68A和68B兩者的實(shí)施例中，方框68A和68B可以以任意次序執(zhí)行。在方框70中，色調(diào)映射數(shù)據(jù)41可選地被色彩校正和/或銳化。在方框72a中，對(duì)于方框68C的控制值執(zhí)行光場(chǎng)模擬(替換地,光場(chǎng)模擬可以基于方框68B的輸出)。當(dāng)利用從方框68C輸出的控制值集合驅(qū)動(dòng)背光22的元件24時(shí)，光場(chǎng)模擬在空間光調(diào)制器15處產(chǎn)生來自背光22的光的分布的估計(jì)。由方框72產(chǎn)生的估計(jì)可以包括指示對(duì)于空間光調(diào)制器15的像素的光強(qiáng)度(或者光強(qiáng)度的函數(shù)，諸如光強(qiáng)度的倒數(shù))的映射。在方框74中，根據(jù)該估計(jì)修正色調(diào)映射數(shù)據(jù)以產(chǎn)生與空間光調(diào)制器15的像素相應(yīng)的值。方框74可以包括例如使得色調(diào)映射數(shù)據(jù)的像素值乘以或除以從來自該估計(jì)的對(duì)應(yīng)值。例如，對(duì)于空間光調(diào)制器15的的像素，方框74可以包括使得用色調(diào)映射數(shù)據(jù)表示的亮度乘以來自該估計(jì)的光強(qiáng)度的倒數(shù)。在方框76中，由方框74輸出的值用于查找對(duì)于空間光調(diào)制器15的像素的相應(yīng)的控制值。在方框78中，施加控制值以驅(qū)動(dòng)空間光調(diào)制器15。圖5是流程圖，示出方法60A，其與方法60相似，除了在產(chǎn)生背光控制信號(hào)之前組合比率數(shù)據(jù)31和色調(diào)映射數(shù)據(jù)41之外。在方框80中，組合比率數(shù)據(jù)和色調(diào)映射數(shù)據(jù)(例如，使得在色調(diào)映射數(shù)據(jù)中的亮度值乘以比率圖像中的對(duì)應(yīng)值)。在方框81中，從組合的比率數(shù)據(jù)和色調(diào)映射數(shù)據(jù)中提取亮度信息。用于背光的控制值基于提取的亮度信息產(chǎn)生。另夕卜,方法60A與方法60相似。
方法60和60A有下列好處在每種情況下，在提取圖像數(shù)據(jù)12的部分12A和12B之后不必執(zhí)行色調(diào)映射操作(其典型地是計(jì)算和/或硬件密集的)。圖6顯示與圖I的裝置10相似的裝置10C，除了沒有提供方框45、46和47之外。裝置IOC沒有裝置10那么復(fù)雜。為了裝置IOC的最佳性能，可以在圖像數(shù)據(jù)12的編碼或在其上游執(zhí)行或制備用于雙調(diào)制的圖像分解。第二部分12B可以包含已被有意產(chǎn)生以允許背光驅(qū)動(dòng)值從第二部分12B直接導(dǎo)出的圖像數(shù)據(jù)。用于光調(diào)制器的驅(qū)動(dòng)值可以來源于第一部分12A。在裝置IOC的結(jié)構(gòu)中，第二部分12B通過其被處理以獲得背光驅(qū)動(dòng)值的信號(hào)路徑和第一部分12A通過其被處理以 獲得SLM驅(qū)動(dòng)值的信號(hào)路徑之間沒有連接。此實(shí)施例旨在以減少量的硬件顯示原始HDR內(nèi)容。在一些實(shí)施方式中，第二部分12B可以被配置使得不需要第二部分的線性化和向下采樣或第二部分的線性化和向下采樣被簡(jiǎn)化執(zhí)行。例如，第二部分12B可以包括具有背光的單獨(dú)可控的元件的分辨率的圖像，在該背光中像素值包括用于背光的元件的驅(qū)動(dòng)值。在一些實(shí)施方式中，第二部分12B可以包括具有比背光的單獨(dú)可控的元件的分辨率略微大的分辨率的圖像數(shù)據(jù)。然后，第二部分12B可以被向下采樣到適合于驅(qū)動(dòng)不同顯示器的分辨率，在顯示器上可以期望顯示圖像數(shù)據(jù)12。在此處描述的方法和裝置不局限于用于顯示靜止圖像的顯示器和/或制備，而是也可以應(yīng)用于顯示視頻圖像的顯示器和/或制備?？梢允┘宇愃朴诜椒?0和60A的方法以允許局部調(diào)光或雙調(diào)制顯示器利用來自圖像數(shù)據(jù)的高動(dòng)態(tài)范圍信息、以有效且能夠以成本有效的硬件實(shí)現(xiàn)的方式驅(qū)動(dòng)背光的可控的元件(無論顯示器是否產(chǎn)生或顯示高動(dòng)態(tài)范圍圖像)。某些這樣的方法可以被實(shí)踐而沒有組合第一圖像分量和第二圖像分量。某些這樣的方法避免了在局部調(diào)光顯示器中、在用于產(chǎn)生對(duì)于空間光調(diào)制器的元件的控制信號(hào)的數(shù)據(jù)路徑中的色調(diào)映射。此處描述的方法和裝置為顯示器和/或視頻或圖像處理硬件的制造商提供了設(shè)計(jì)選擇。本發(fā)明的某些實(shí)施包括計(jì)算機(jī)處理器，其執(zhí)行使得處理器執(zhí)行本發(fā)明的方法的軟件指令。例如，在顯示器中的一個(gè)或多個(gè)處理器或顯示器上游的圖像數(shù)據(jù)處理器可以通過執(zhí)行處理器可訪問的程序存儲(chǔ)器中的軟件指令來實(shí)現(xiàn)圖4或5的方法。本發(fā)明也可以以程序產(chǎn)品形式提供。程序產(chǎn)品可以包括承載計(jì)算機(jī)可讀信號(hào)集的任何介質(zhì)，該計(jì)算機(jī)可讀信號(hào)集包括當(dāng)被數(shù)據(jù)處理器執(zhí)行時(shí)使得數(shù)據(jù)處理器執(zhí)行本發(fā)明的方法的指令。根據(jù)本發(fā)明的程序產(chǎn)品可以是多種形式中的任意形式。程序產(chǎn)品可以包括例如非臨時(shí)性的物理介質(zhì)，諸如磁性數(shù)據(jù)存儲(chǔ)介質(zhì)(包括軟盤、硬盤驅(qū)動(dòng)器)、光數(shù)據(jù)存儲(chǔ)介質(zhì)介質(zhì)(包括CD、ROM、DVD)、電子數(shù)據(jù)存儲(chǔ)介質(zhì)(包括ROM、快閃ROM)等等。在程序產(chǎn)品上的計(jì)算機(jī)可讀信號(hào)可以可選地被壓縮或加密。上文涉及部件(例如軟件模塊，處理器，組件，裝置，電路等)的地方，除非特別申明，引用該部件(包含“裝置”的引用)應(yīng)該被解釋為包括該部件的等效物，執(zhí)行上述部件的功能的任何部件(即，功能上等效)，包括與在示出的本發(fā)明示例性實(shí)施例中執(zhí)行功能的公開的結(jié)構(gòu)在結(jié)構(gòu)上不等效的部件。盡管已在上文討論了大量示例性方面和實(shí)施例，在此領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到某些修改、置換、添加以及它們的子組合。因此下文的權(quán)利要求以及此后引入的權(quán)利要求被解釋為包括在它們的本質(zhì)精神和范圍內(nèi)的所有這樣的修改、置換、添加以及它們的子組合。
對(duì)相關(guān)申請(qǐng)的交叉引用本申請(qǐng)要求2010年6月21日提交的美國(guó)臨時(shí)專利申請(qǐng)No. 61/357，044的優(yōu)先權(quán)，
在此通過參考將其整體合并于此。
權(quán)利要求
1.一種用于驅(qū)動(dòng)包括背光和空間光調(diào)制器的局部調(diào)光顯示器的裝置，該背光包括多個(gè)單獨(dú)可控的元件，該裝置包括 解碼器，被配置為提取第一圖像數(shù)據(jù)分量和第二圖像數(shù)據(jù)分量，該第一圖像數(shù)據(jù)分量和第二圖像數(shù)據(jù)分量能夠被組合以產(chǎn)生圖像的較高動(dòng)態(tài)范圍版本，該第一圖像數(shù)據(jù)分量包括圖像的較低動(dòng)態(tài)范圍版本； 第一系統(tǒng)，被配置為基于所述第一圖像數(shù)據(jù)分量產(chǎn)生用于所述空間光調(diào)制器的第一驅(qū)動(dòng)信號(hào)；以及 第二系統(tǒng)，被配置為基于所述第二圖像數(shù)據(jù)分量或基于所述第一圖像數(shù)據(jù)分量和第二圖像分量的組合產(chǎn)生用于所述背光的第二驅(qū)動(dòng)信號(hào)。
2.根據(jù)權(quán)利要求I所述的裝置，其中所述第二系統(tǒng)包括向下采樣器，其被配置為向下采樣所述第二圖像數(shù)據(jù)分量。
3.根據(jù)權(quán)利要求I或2所述的裝置，其中所述第二系統(tǒng)包括驅(qū)動(dòng)值計(jì)算器，其被配置為將所述第二圖像數(shù)據(jù)分量歸一化。
4.根據(jù)權(quán)利要求3所述的裝置，其中所述驅(qū)動(dòng)值計(jì)算器被配置為通過將所述第二圖像數(shù)據(jù)的值除以代表值來將所述第二圖像數(shù)據(jù)分量歸一化。
5.根據(jù)權(quán)利要求4所述的裝置，其中所述代表值包括最大值、均值、平均值、中值或百分位值。
6.根據(jù)權(quán)利要求4或5所述的裝置，其中所述驅(qū)動(dòng)值計(jì)算器被配置為將所述第二圖像分量的值修整到所述代表值。
7.根據(jù)權(quán)利要求I至6之一所述的裝置，其中所述第二系統(tǒng)包括線性化器。
8.根據(jù)權(quán)利要求I所述的裝置，其中所述第一圖像數(shù)據(jù)包括色調(diào)映射，并且所述第一系統(tǒng)包括 光場(chǎng)模擬器，被配置為產(chǎn)生估計(jì)的光場(chǎng)，其中在施加所述第二驅(qū)動(dòng)信號(hào)以驅(qū)動(dòng)所述背光時(shí)將在所述空間光調(diào)制器處產(chǎn)生該估計(jì)的光場(chǎng)；以及 色調(diào)映射修正器，被配置為根據(jù)所述估計(jì)的光場(chǎng)修正所述色調(diào)映射。
9.根據(jù)權(quán)利要求I至8中任意一個(gè)所述的裝置，其中所述第二圖像數(shù)據(jù)包括比率數(shù)據(jù)，該比率數(shù)據(jù)包括作為所述圖像的較高動(dòng)態(tài)范圍版本的值與所述圖像的較低動(dòng)態(tài)范圍版本的對(duì)應(yīng)值的比率的值。
10.根據(jù)權(quán)利要求I至9中任意一個(gè)所述的裝置，其中所述第二圖像數(shù)據(jù)具有比所述第一圖像數(shù)據(jù)的分辨率低的分辨率。
11.根據(jù)權(quán)利要求I至10中任意一個(gè)所述的裝置，其中所述第一系統(tǒng)包括色彩校正級(jí)。
12.根據(jù)權(quán)利要求I至11中任意一個(gè)所述的裝置，其中所述第一系統(tǒng)包括銳化濾波器。
13.根據(jù)權(quán)利要求I至12中任意一個(gè)所述的裝置，其中所述第二系統(tǒng)被配置為基于所述第一圖像分量和第二圖像分量的組合產(chǎn)生用于所述背光的第二驅(qū)動(dòng)信號(hào)，以及所述第一系統(tǒng)包括被配置為組合所述第一圖像數(shù)據(jù)分量和第二圖像數(shù)據(jù)分量以產(chǎn)生所述圖像的較高動(dòng)態(tài)范圍版本的組合級(jí)。
14.根據(jù)權(quán)利要求13所述的裝置，其中所述第二系統(tǒng)包括亮度提取器，其被配置為從所述圖像的較高動(dòng)態(tài)范圍版本提取亮度信息。
15.一種用于驅(qū)動(dòng)包括背光和空間光調(diào)制器的局部調(diào)光顯示器的方法，該背光包括多個(gè)單獨(dú)可控的元件，該方法包括 獲得能夠被組合以產(chǎn)生圖像的較高動(dòng)態(tài)范圍版本的第一圖像數(shù)據(jù)分量和第二圖像數(shù)據(jù)分量，該第一圖像數(shù)據(jù)分量包括圖像的較低動(dòng)態(tài)范圍版本； 基于所述第一圖像數(shù)據(jù)分量產(chǎn)生用于所述空間光調(diào)制器的第一驅(qū)動(dòng)信號(hào)；以及 基于所述第二圖像數(shù)據(jù)分量或基于所述第一圖像數(shù)據(jù)分量和第二圖像數(shù)據(jù)分量的組合產(chǎn)生用于所述背光的第二驅(qū)動(dòng)信號(hào)。
16.根據(jù)權(quán)利要求15所述的方法，包括將所述第二圖像數(shù)據(jù)的值修整到參考值。
17.根據(jù)權(quán)利要求16所述的方法，其中所述第二圖像數(shù)據(jù)包括作為所述圖像的較高動(dòng)態(tài)范圍版本的值與所述圖像的較低動(dòng)態(tài)范圍版本的對(duì)應(yīng)值的比率的值。
18.根據(jù)權(quán)利要求15所述的方法，其中產(chǎn)生第二驅(qū)動(dòng)信號(hào)包括向下采樣所述第二圖像數(shù)據(jù)。
19.根據(jù)權(quán)利要求15所述的方法，其中所述第二圖像數(shù)據(jù)具有比所述第一圖像數(shù)據(jù)的分辨率低的分辨率。
20.根據(jù)權(quán)利要求15所述的方法，其中產(chǎn)生第二驅(qū)動(dòng)信號(hào)包括線性化所述第二圖像數(shù)據(jù)分量。
21.根據(jù)權(quán)利要求15所述的方法，其中產(chǎn)生第一驅(qū)動(dòng)信號(hào)包括向所述第一圖像數(shù)據(jù)分量施加銳化濾波器。
22.根據(jù)權(quán)利要求15所述的方法，其中產(chǎn)生第一驅(qū)動(dòng)信號(hào)包括向所述第一圖像數(shù)據(jù)分量施加色彩校正。
23.根據(jù)權(quán)利要求15所述的方法，其中產(chǎn)生第二驅(qū)動(dòng)信號(hào)包括組合所述第一圖像分量和第二圖像分量以產(chǎn)生所述圖像的較高動(dòng)態(tài)范圍版本。
24.根據(jù)權(quán)利要求23所述的方法，包括從所述圖像的較高動(dòng)態(tài)范圍版本提取亮度信息以及基于提取的亮度信息產(chǎn)生所述第一驅(qū)動(dòng)信號(hào)。
全文摘要
本發(fā)明描述了顯示器、顯示器部件、圖像和視頻處理裝置以及相關(guān)的方法。用于驅(qū)動(dòng)局部調(diào)光顯示器的方法包括由第一圖像數(shù)據(jù)分量產(chǎn)生用于驅(qū)動(dòng)空間光調(diào)制器的像素的控制值，和由第二圖像數(shù)據(jù)分量產(chǎn)生用于驅(qū)動(dòng)背光元件的控制值。第一和第二圖像數(shù)據(jù)分量可以分別包括色調(diào)映射和比率圖像。用于空間光調(diào)制器和/或背光的控制值可以利用成本有效的硬件來獲得。
文檔編號(hào)G06T5/40GK102947876SQ201180030589
公開日2013年2月27日 申請(qǐng)日期2011年6月20日 優(yōu)先權(quán)日2010年6月21日
發(fā)明者A·尼南, 賈文輝 申請(qǐng)人:杜比實(shí)驗(yàn)室特許公司