本公開涉及顯示方法和顯示裝置。
背景技術:
以往,公開了用于改善能夠顯示的輝度等級的圖像信號處理裝置(例如參照專利文獻1)。
現(xiàn)有技術文獻
專利文獻
專利文獻1:日本特開2008-167418號公報
技術實現(xiàn)要素:
發(fā)明要解決的課題
然而,在上述專利文獻中,需要進一步的改善。
用于解決課題的技術方案
本公開的一個方式的顯示方法,用于在顯示裝置顯示由表示hdr(highdynamicrange;高動態(tài)范圍)的輝度和代碼值的對應關系的第1eotf(electoro-opticaltransferfunction;電光轉(zhuǎn)換函數(shù))定義了影像的輝度的影像數(shù)據(jù)的影像,所述顯示方法包括:取得所述影像數(shù)據(jù);進行第1判定,在所述第1判定中,針對構(gòu)成所取得的所述影像數(shù)據(jù)所包含的所述影像的多個像素的各像素,判定該像素的輝度是否超過第1預定輝度;進行雙色調(diào)映射(dualtonemapping),在所述雙色調(diào)映射中,針對所述多個像素的各像素,在所述第1判定的結(jié)果是該像素的輝度超過所述第1預定輝度的情況下和該像素的輝度在所述第1預定輝度以下的情況下,以不同的方式將該像素的輝度縮??;以及使用所述雙色調(diào)映射的結(jié)果,在所述顯示裝置顯示所述影像。
此外,這些總括性的或者具體的技術方案,既可以通過裝置、系統(tǒng)、集成電路、計算機程序或者計算機可讀取的cd-rom等記錄介質(zhì)來實現(xiàn),也可以通過裝置、系統(tǒng)、集成電路、計算機程序或記錄介質(zhì)的任意組合來實現(xiàn)。
發(fā)明的效果
根據(jù)上述方式,能夠?qū)崿F(xiàn)進一步的改善。
附圖說明
圖1是用于對影像技術的進化進行說明的圖。
圖2是用于說明sdr信號與hdr信號的差異的圖。
圖3是保存于內(nèi)容的輝度信號的代碼值的決定方法以及在再現(xiàn)時從代碼值復原輝度的過程的說明圖。
圖4是用于說明以hdrtv使hdr信號顯示的情況下的顯示處理的一例的圖。
圖5是用于說明以hdrtv使通過高輝度主監(jiān)視器分級后的hdr內(nèi)容的hdr信號顯示的情況下的顯示處理的一例的圖。
圖6是示出圖像拍攝時的輝度的尺度的圖。
圖7是在拍攝到的圖像的輝度的例子中示出的圖。
圖8是用于對制作與sdr對應的家庭娛樂用母版的流程、發(fā)布媒體以及顯示裝置的關系進行說明的圖。
圖9a是示出將圖7中示出的原圖像進行母版處理成sdr圖像的結(jié)果的輝度的一例的圖。
圖9b是示出用于將原信號值變換為sdr信號值(進行母版處理)的原信號值與sdr信號值的關系的一例的圖。
圖10a是示出將圖7中示出的原圖像進行母版處理成hdr圖像的結(jié)果的輝度的一例的圖。
圖10b是示出用于將原信號值變換為hdr信號值(進行母版處理)的原信號值與hdr信號值的關系的一例的圖。
圖11是用于對實施方式1的顯示方法中的輝度變換處理的具體例進行說明的圖。
圖12是對分級的方式進行說明的表。
圖13是示出使用標準主監(jiān)視器以以往方式進行hdr分級的情況下的hdr/sdr母版處理的整體結(jié)構(gòu)的圖。
圖14a是示出以以往方式將圖7中示出的原圖像進行母版處理成hdr圖像的結(jié)果的輝度的一例的圖。
圖14b是示出用于將原信號值變換為hdr信號值(以以往方式進行母版處理)的、原信號值與hdr信號值的關系的一例的圖。
圖15是示出通過以以往方式進行hdr分級而得到的sdr圖像的例子的圖。
圖16是示出通過以以往方式進行hdr分級而得到的hdr圖像的例子的圖。
圖17是示出使用標準主監(jiān)視器以aces方式進行aces/hdr分級的情況下的hdr/sdr母版處理的整體結(jié)構(gòu)的圖。
圖18a是示出將圖7中示出的原圖像以aces方式進行母版處理成hdr圖像的結(jié)果的輝度的一例的圖。
圖18b是示出用于將原信號值變換為hdr信號值(以aces方式進行母版處理)的、原信號值與hdr信號值的關系的一例的圖。
圖19是示出從通過以aces方式進行aces/hdr分級而得到的aces/hdr的主影像自動生成的sdr圖像的例子的圖。
圖20是示出從通過以aces方式進行aces/hdr分級而得到的aces/hdr的主影像自動生成的hdr圖像的例子的圖。
圖21是示出使用高輝度主監(jiān)視器以dolbyvision方式進行hdr分級的情況下的hdr/sdr母版處理的整體結(jié)構(gòu)的圖。
圖22a是示出以dolbyvision方式將圖7中示出的原圖像進行母版處理成hdr圖像的結(jié)果的輝度的一例的圖。
圖22b是示出用于將原信號值變換為hdr信號值(以dolbyvision方式進行母版處理)的、原信號值與hdr信號值的關系的一例的圖。
圖23是示出認為具有與從通過以dolbyvision方式進行hdr分級而得到的高輝度主影像自動生成的sdr圖像同等的效果的數(shù)字影片評價用內(nèi)容“stem”的例子的圖。
圖24是示出認為具有與通過以dolbyvision方式進行hdr分級而得到的高輝度主影像同等的傾向的數(shù)字影片評價用內(nèi)容“stem”的例子的圖。
圖25是對分級的3個方式的課題進行說明的表。
圖26是示出經(jīng)由hdr對應的hdmi(注冊商標)2.0a將hdr對應的ultrahdblu-ray(注冊商標)設備與hdrtv相連的情況下的例子的圖。
具體實施方式
(作為本公開的基礎的見解)
本發(fā)明人,關于在“背景技術”一欄中記載的圖像信號處理裝置,發(fā)現(xiàn)存在以下的問題。
在專利文獻1所公開的圖像信號處理裝置中,基于從構(gòu)成被拍攝對象的像素算出的線性rgb值按各像素算出線性輝度,基于線性rgb值以及線性輝度算出按各像素的修正線性輝度以及將包含該像素的多個像素合成而得的合成像素的修正線性rgb值,對修正線性輝度以及修正線性rgb值分別進行伽馬修正而算出顯示用輝度以及顯示用rgb值。這樣,在圖像信號處理裝置中,基于修正線性rgb值對線性輝度進行修正,由此,實現(xiàn)了能夠顯示的灰度數(shù)的增加。
然而,近些年,伴隨著影像技術的進化,已知有使hdr影像在tv等顯示裝置上顯示的技術,hdr影像是用比定義以往的影像的輝度的動態(tài)范圍更寬的動態(tài)范圍即hdr(highdynamicrange;高動態(tài)范圍)定義了輝度的影像。在此,對于影像技術的變遷,使用圖1進行說明。
圖1是用于對影像技術的進化進行說明的圖。
迄今為止,作為影像的高畫質(zhì)化,主要著眼于顯示像素數(shù)的擴大,從標準清晰度(standarddefinition;sd的720×480像素的影像起,高清晰度(highdefinition;hd的1920×1080像素的、所謂2k影像普及開來。
近些年,以進一步的高畫質(zhì)化為目標,開始導入超高清晰度(ultrahighdefinition;uhd)的3840×1920像素、或者4k的4096x1920像素的、所謂4k影像。
正在研究通過進行由4k的導入實現(xiàn)的影像的高分辨率化并且進行動態(tài)范圍擴張和/或色域的擴大、或者幀率的追加、提高等來使影像高畫質(zhì)化。
關于動態(tài)范圍擴張,由于數(shù)碼攝像頭和/或cmos(complementarymetal-oxide-semiconductor)圖像傳感器的性能提高,能夠進行表示曝光的光圈數(shù)(stop數(shù))為14stops以上的寬的動態(tài)范圍的圖像的拍攝。因此,能夠在維持暗部灰度的同時,拍攝100%反射光以上明亮的光(鏡面反射光等明亮的光)。為了將該攝像頭或圖像傳感器的性能提高活用于表現(xiàn)力的提高,作為也能夠傳送更高輝度的信號的信號標準,hdr受到矚目。
迄今為止的tv信號被稱作sdr(standarddynamicrange;標準動態(tài)范圍),峰值輝度(最大輝度)為100nit,相對于此,在hdr(尤其是,以利用smpte標準化后的eotf即st2084(pq曲線)編碼的hdr)的情況下,會能夠表現(xiàn)到10000nit以上的峰值輝度。
作為hdr的具體的應用對象,設想了與hd、uhd同樣地,在播放、封裝介質(zhì)(packagemedia)(blu-ray(日本注冊商標)、disc等)、互聯(lián)網(wǎng)發(fā)布中使用。
接著,使用圖2對sdr以及hdr進行說明。
圖2是用于說明sdr信號與hdr信號的差異的圖。此外,sdr信號是表示與sdr對應的sdr影像的影像信號,hdr信號是表示與hdr對應的hdr影像的影像信號。
在通過用動態(tài)范圍(14stop等)寬的數(shù)字攝像頭拍攝而得到的原信號中包含0~10000nit的寬范圍的輝度信息。
sdr信號是滿足bt709等播放規(guī)格的影像,是通過按照從原信號變?yōu)榉逯递x度為100nit的sdr影像的方式進行顏色修正(grading,分級)處理而得到的影像信號。也就是說,sdr信號是由影像的輝度為0~100nit這一輝度的動態(tài)范圍定義的影像信號。
另一方面,hdr信號是按照撤除sdr信號那樣的使峰值輝度為100nit的制約,而與st2084(以下,稱作“pq曲線”。)的制約相配合地變?yōu)槭沟幂x度的動態(tài)范圍的最大輝度為達到10000nit的hdr影像的方式進行顏色修正(grading;分級)處理而得到的影像信號。也就是說,hdr信號是由影像的輝度為0~10000nit這一輝度的動態(tài)范圍定義的影像信號。此外,hdr信號的輝度的動態(tài)范圍的最大輝度不限于10000nit,也可以是例如800~4000nit。
這樣,hdr的輝度的動態(tài)范圍,是與sdr的輝度的動態(tài)范圍相比峰值輝度大的動態(tài)范圍。此外,hdr的輝度的動態(tài)范圍的最小輝度與sdr的輝度的動態(tài)范圍的最小輝度相同,是0nit。
圖3是保存于內(nèi)容的輝度信號的代碼值的決定方法以及在再現(xiàn)時從代碼值復原輝度的過程的說明圖。
本例中的影像信號是與hdr對應的hdr信號。分級(grading)后的圖像,通過hdr的逆eotf而量化,決定與該圖像的輝度對應的代碼值。基于該代碼值進行圖像編碼等,生成視頻流。在再現(xiàn)時,對于流的解碼結(jié)果,通過基于hdr的eotf進行逆量化而變換為線性的信號,恢復每個像素的輝度。以下,將使用了hdr的逆eotf的量化稱作“逆hdr的eotf變換”。將使用了hdr的eotf的逆量化稱作“hdr的eotf變換”。同樣,將使用了sdr的逆eotf的量化稱作“逆sdr的eotf變換”。將使用了sdr的eotf的逆量化稱作“sdr的eotf變換”。
在進行用hdr對應的顯示裝置(例如,hdrtv)顯示上述那樣的hdr信號的顯示控制的情況下,與hdr信號的峰值輝度相比hdrtv的能夠顯示的峰值輝度(以下,稱為“顯示峰值輝度”)小的情況居多。因此,為了使hdr信號的峰值輝度與hdrtv的顯示峰值輝度相符合,需要將hdr信號的輝度的動態(tài)范圍縮小為hdrtv所對應的輝度的動態(tài)范圍。
但是,在專利文獻1所公開的圖像信號處理裝置等的輝度的修正(變換)中,沒有考慮將輝度修正(變換)為比定義影像的輝度的hdr的輝度的動態(tài)范圍窄的輝度的動態(tài)范圍時的輝度的變換方法。
因此,產(chǎn)生了如下的課題。
由于sdr的eotf(伽馬曲線:相對輝度基準)與hdr的eotf(st2084:pq曲線:絕對輝度基準)的差異,在利用hdrtv顯示hdr信號的情況下,與利用sdr對應的顯示裝置(例如,sdrtv)顯示sdr信號的情況不同,產(chǎn)生了下述課題。
blu-ray(注冊商標)discassociation、uhdalliance等數(shù)字av技術的國際標準化組織,要求將與hdr對應的內(nèi)容,以比當前10000nit小的預定輝度(例如1000nit)為上限進行分級(允許其以上的輝度也存在)。
圖4是用于說明使hdr信號在hdrtv顯示的情況下的顯示處理的一例的圖。圖4的(a)是示出定義了hdr內(nèi)容的影像的輝度的hdr的eotf的圖。圖4的(b)是示出用于與hdrtv的顯示峰值輝度相配合地變換hdr內(nèi)容的輝度的色調(diào)映射(tonemapping)處理(輝度變換處理)的圖。
如圖4所示,在使顯示峰值輝度小于預定輝度(例如500nit)的hdrtv顯示由以預定輝度(例如,1000nit)為峰值輝度的動態(tài)范圍定義的hdr影像的情況下,要求通過對該hdr影像的hdr信號進行預定的色調(diào)映射處理,使hdrtv表現(xiàn)作為hdr影像的峰值輝度的預定輝度。也就是說,要求進行使預定輝度與hdrtv的顯示峰值輝度相符的色調(diào)映射處理,以使hdr影像的峰值輝度能夠通過hdrtv表現(xiàn)。
在該情況下,若僅是輝度分量,則如圖4的(b)所示,只要進行包括拐點曲線(kneecurve)處理在內(nèi)的色調(diào)映射(tonemapping)處理,就能夠使影像的輝度與hdrtv的顯示峰值輝度相配合地變換,拐點曲線處理使用了表示輸入輝度與輸出輝度的關系的拐點曲線。但是,在針對影像信號的rgb各色的值獨立地應用了同等的拐點曲線處理的情況下,顏色有可能會變化。
在預定的色調(diào)映射處理中,需要以顏色不變化的方式,針對rgb各色的值獨立地進行同等的處理。此時,在成為預定的色調(diào)映射處理的對象的1個像素的顏色由跨過拐點曲線化的點而配置的rgb各色的值構(gòu)成的情況下,預定的色調(diào)映射處理后的rgb的平衡被打破,在色調(diào)映射處理前后顏色會變化。也就是說,在rgb的第1顏色(例如r)是與沒有拐點曲線化的輝度范圍的輝度對應的值,與rgb的第1顏色不同的第2顏色(例如b)是與拐點曲線化的輝度范圍的輝度對應的值的情況下,與處于沒有拐點曲線化的輝度范圍內(nèi)的輝度對應的第1顏色的值,輝度不變化,因此,對第1顏色的值幾乎沒有影響,與處于拐點曲線化的輝度范圍內(nèi)的輝度對應的第2顏色的值,輝度小程度地變化,因此第2顏色的值也變化。因此,在預定的色調(diào)映射處理的前后,rgb的各色間的值的相對關系被打破,顏色會變化。另外,即使rgb各色的值是拐點曲線化的輝度范圍內(nèi)的輝度,由于在拐點曲線化的輝度范圍內(nèi),根據(jù)輝度的大小,輝度被縮小的變化率不同,所以rgb的各色間的值的相對關系會被打破。因此,為了減小預定的色調(diào)映射處理前后的顏色的變化,需要三維顏色變換處理等復雜的處理。
也即是,在利用用于將絕對輝度基準的hdr內(nèi)容分級的高輝度主監(jiān)視器(mastermonitor)(例如,dolbyvision)分級后的hdr內(nèi)容的情況下,在1000nit以上的范圍內(nèi)也存在有效的像素。因此,如圖4所示那樣以1000nit截止那樣地進行拐點曲線處理的色調(diào)映射處理中,存在無法正確地再現(xiàn)具有1000nit以上的輝度的像素的顏色的可能性。
圖5是用于說明使通過高輝度主監(jiān)視器分級后的hdr內(nèi)容的hdr信號在hdrtv顯示的情況下的顯示處理的一例的圖。圖5的(a)是示出定義了hdr內(nèi)容的影像的輝度的hdr的eotf的圖。圖5的(b)是示出用于與hdrtv的顯示峰值輝度相配合地變換hdr內(nèi)容的輝度的色調(diào)映射處理(輝度變換處理)的圖。
如圖5所示,在通過高輝度主監(jiān)視器分級后的hdr內(nèi)容的情況下,存在具有例如2000nit的峰值輝度的可能性。針對這樣的峰值輝度為2000nit的hdr內(nèi)容的hdr影像,在使其顯示于顯示峰值輝度小于2000nit(例如500nit)的hdrtv的情況下,要求通過進行圖5所示那樣的包含拐點曲線處理的色調(diào)映射處理,使hdrtv表現(xiàn)hdr影像的峰值輝度即2000nit。
在單純地與圖4同樣地進行了該色調(diào)映射處理的情況下,為了將到2000nit為止的輝度收斂于500nit,能夠線性地顯示的范圍會非常窄。也即是,與圖4進行比較,存在如下課題:取代能夠進行例如1000~2000nit的區(qū)域的表現(xiàn),在1000nit以下的輝度中,與圖4那樣的到1000nit為止的輝度相比,再現(xiàn)性會變差。
另外,具有超過例如1000nit那樣的預定的高輝度的輝度的影像,是被稱為閃耀(sparkle)的雷、焰火、電燈泡、火焰、爆炸、太陽、水的反射等的影像,是針對全體的影像(圖像)的小區(qū)域的影像。另外,該影像是白色或單色的情況居多。因此,需要針對具有超過預定的高輝度的輝度的像素,進行考慮到由該像素構(gòu)成的影像是小區(qū)域、并且多是白色或單色的情況這一特征的處理,通過對預定的高輝度以下的輝度盡可能進行與圖4同樣的處理,來表現(xiàn)影像。
在進行了以上的研究的基礎上,本發(fā)明人,為了解決上述課題而研究出了下述的改善對策。
本公開的一個方式的顯示方法,用于在顯示裝置顯示由表示hdr的輝度和代碼值的對應關系的第1eotf定義了影像的輝度的影像數(shù)據(jù)的影像,hdr(highdynamicrange)是高動態(tài)范圍,eotf(electoro-opticaltransferfunction)是電光轉(zhuǎn)換函數(shù),所述顯示方法包括:取得所述影像數(shù)據(jù);進行第1判定,在所述第1判定中,針對構(gòu)成所取得的所述影像數(shù)據(jù)所包含的所述影像的多個像素的各像素,判定該像素的輝度是否超過第1預定輝度;進行雙色調(diào)映射,在所述雙色調(diào)映射中,針對所述多個像素的各像素,在所述第1判定的結(jié)果是該像素的輝度超過所述第1預定輝度的情況下和該像素的輝度在所述第1預定輝度以下的情況下,以不同的方式將該像素的輝度縮?。灰约笆褂盟鲭p色調(diào)映射的結(jié)果,在所述顯示裝置顯示所述影像。
據(jù)此,由于進行在超過第1預定輝度的輝度和在第1預定輝度以下的輝度,以不同的方式將輝度縮小的雙色調(diào)映射,因此,能夠抑制在輝度的變換處理的前后,各像素的顏色會變化。
另外,也可以是,在所述雙色調(diào)映射中,針對所述多個像素的各像素,在該像素的輝度超過所述第1預定輝度的情況下,進行將該像素的在yuv空間定義的輝度縮小的yuv空間色調(diào)映射,在該像素的輝度在所述第1預定輝度以下的情況下,進行將該像素的在rgb空間定義的rgb的各色的值縮小的rgb空間色調(diào)映射。
據(jù)此,在對于hdr內(nèi)容的hdr影像所包含的多個像素,該像素所具有的輝度超過第1預定輝度的情況下,進行yuv空間色調(diào)映射,因此,能夠有效地抑制在輝度的變換處理的前后,各像素的顏色會變化。另外,在對于hdr內(nèi)容的hdr影像所包含的多個像素,該像素所具有的輝度超過第1預定輝度的情況下,進行rgb空間色調(diào)映射,因此,能夠在輝度的變換處理的前后,極力維持各像素的顏色的再現(xiàn)性。
另外,也可以是,所述影像數(shù)據(jù)包括靜態(tài)元數(shù)據(jù),基于所取得的所述影像數(shù)據(jù)所包含的所述靜態(tài)元數(shù)據(jù),進行第2判定,在所述第2判定中,判定所述影像數(shù)據(jù)所包含的所述影像的輝度被進行了絕對輝度管理、還是被進行了相對輝度管理,在所述第2判定的結(jié)果是所述影像數(shù)據(jù)所包含的所述影像的輝度被進行了絕對輝度管理的情況下,進行所述雙色調(diào)映射,在所述第2判定的結(jié)果是所述影像數(shù)據(jù)所包含的所述影像的輝度被進行了相對輝度管理的情況下,針對構(gòu)成所述影像數(shù)據(jù)所包含的所述影像的多個像素的各像素,進行將該像素的在rgb空間定義的rgb的各色的值縮小的rgb空間色調(diào)映射。
據(jù)此,由于判定影像的輝度被進行了絕對輝度管理、還是被進行了相對輝度管理,因此,能夠根據(jù)是絕對輝度管理、還是相對輝度管理來適當?shù)剡x擇并進行色調(diào)映射處理。這樣,無論是被進行了絕對輝度管理的影像、還是被進行了相對輝度管理的影像,都能進行適當?shù)奶幚恚虼?,能夠使恰當?shù)挠跋竦靡燥@示。
另外,也可以是,所述影像數(shù)據(jù)包括st2086的信息作為所述靜態(tài)元數(shù)據(jù),在所述第2判定中,判定所述st2086的信息所包含的、在生成了作為生成所述影像數(shù)據(jù)的基礎的主影像(mastervideoimage)時使用的主監(jiān)視器的特性是否接近在生成被進行了絕對輝度管理的影像時使用的預定的主監(jiān)視器的特性,在判定為所述主監(jiān)視器的特性接近所述預定的主監(jiān)視器的特性的情況下,判定為所述影像數(shù)據(jù)的影像的輝度被進行了絕對輝度管理,在判定為所述主監(jiān)視器的特性不接近所述預定的主監(jiān)視器的特性的情況下,判定為所述影像數(shù)據(jù)的影像的輝度被進行了相對輝度管理。
因此,能夠容易地判定影像的輝度被進行了絕對輝度管理、還是被進行了相對輝度管理。
另外,也可以是,在所述第2判定中,基于表示作為所述主監(jiān)視器的特性的所述主監(jiān)視器的顯示峰值輝度的顯示峰值輝度信息,判定所述顯示峰值輝度是否是4000nit附近的值,由此判定所述主監(jiān)視器的特性是否接近所述預定的主監(jiān)視器的特性,在所述顯示峰值輝度是4000nit附近的值的情況下,判定為所述影像數(shù)據(jù)所包含的所述影像的輝度被進行了絕對輝度管理,在所述顯示峰值輝度不是4000nit附近的值的情況下,判定為所述影像數(shù)據(jù)所包含的所述影像的輝度被進行了相對輝度管理。
因此,能夠容易地判定影像的輝度被進行了絕對輝度管理、還是被進行了相對輝度管理。
另外,也可以是,在所述第2判定中,基于表示作為所述主監(jiān)視器的特性的所述主監(jiān)視器的顯示原色的顯示原色信息,判定所述顯示原色是否是所述預定的主監(jiān)視器的顯示原色附近的值,由此,判定所述主監(jiān)視器的特性是否接近所述預定的主監(jiān)視器的特性,在所述顯示原色是所述預定的主監(jiān)視器的顯示原色附近的值的情況下,判定為所述影像數(shù)據(jù)所包含的所述影像的輝度被進行了絕對輝度管理,在所述顯示原色不是所述預定的主監(jiān)視器的顯示原色附近的值的情況下,判定為所述影像數(shù)據(jù)所包含的所述影像的輝度被進行了相對輝度管理。
因此,能夠容易地判定影像的輝度被進行了絕對輝度管理、還是被進行了相對輝度管理。
另外,也可以是,在所述第2判定中,基于表示作為所述主監(jiān)視器的特性的所述主監(jiān)視器的白點的白點信息,判定所述白點是否是所述預定的主監(jiān)視器的白點附近的值,由此,判定所述主監(jiān)視器的特性是否接近所述預定的主監(jiān)視器的特性,在所述白點是所述預定的主監(jiān)視器的白點附近的值的情況下,判定為所述影像數(shù)據(jù)所包含的所述影像的輝度被進行了絕對輝度管理,在所述白點不是所述預定的主監(jiān)視器的白點附近的值的情況下,判定為所述影像數(shù)據(jù)所包含的所述影像的輝度被進行了相對輝度管理。
因此,能夠容易地判定影像的輝度被進行了絕對輝度管理、還是被進行了相對輝度管理。
另外,也可以是,所述影像數(shù)據(jù)包括表示所述影像的峰值輝度的峰值輝度信息,在所述第2判定中,判定由所述峰值輝度信息表示的所述峰值輝度是否超過第2預定輝度,在所述峰值輝度超過所述第2預定輝度的情況下,判定為所述影像數(shù)據(jù)所包含的所述影像的輝度被進行了絕對輝度管理,在所述峰值輝度在所述第2預定輝度以下的情況下,判定為所述影像數(shù)據(jù)所包含的所述影像的輝度被進行了相對輝度管理。
因此,能夠容易地判定影像的輝度被進行了絕對輝度管理、還是被進行了相對輝度管理。
另外,也可以是,所述影像數(shù)據(jù)包括表示最大幀平均輝度的最大幀平均輝度信息,所述最大幀平均輝度是構(gòu)成所述影像的多個幀的各幀的平均輝度的最大值,在所述第2判定中,判定由所述最大幀平均輝度信息表示的所述最大幀平均輝度是否超過第3預定輝度,在所述最大幀平均輝度超過所述第3預定輝度的情況下,判定為所述影像數(shù)據(jù)所包含的所述影像的輝度被進行了絕對輝度管理,在所述最大幀平均輝度在所述第3預定輝度以下的情況下,判定為所述影像數(shù)據(jù)所包含的所述影像的輝度被進行了相對輝度管理。
因此,能夠容易地判定對影像的輝度進行了絕對輝度管理,還是進行了相對輝度管理。
此外,這些總括性的或者具體的技術方案,既可以通過裝置、系統(tǒng)、集成電路、計算機程序或者計算機可讀取的cd-rom等記錄介質(zhì)來實現(xiàn),也可以通過裝置、系統(tǒng)、集成電路、計算機程序或記錄介質(zhì)的任意組合來實現(xiàn)。
以下,參照附圖,對本公開的一個方式的顯示方法以及顯示裝置,具體地進行說明。
此外,以下要說明的實施方式,都是本公開的一個具體例。在以下的實施方式中示出的數(shù)值、形狀、材料、結(jié)構(gòu)要素的配置位置以及連接方式、步驟、步驟的順序等都是一例,主旨不是用于限定本公開。另外,對于以下的實施方式中的結(jié)構(gòu)要素中、未記載于表示最上位概念的獨立技術方案的結(jié)構(gòu)要素,作為任意的結(jié)構(gòu)要素進行說明。
本公開涉及用于實現(xiàn)在具有與hdr信號所對應的輝度的動態(tài)范圍內(nèi)的峰值輝度(最大輝度或最高輝度)不同的輝度的動態(tài)范圍的顯示能力的顯示裝置(例如,tv、投影儀、平板電腦、智能手機等)顯示通過smpte(societyofmotionpicture&televisionengineers;電影電視工程師協(xié)會)st2084標準的eotf(以下,稱作“pq曲線”。)編碼后的動態(tài)范圍高的高輝度信號即hdr(highdynamicrange;高動態(tài)范圍)信號的hdr信號形式及該hdr信號的顯示方法和顯示裝置。
(實施方式1)
以下,使用圖6~圖11對實施方式1進行說明。
首先,使用圖6~圖10b對從圖像的拍攝到將圖像在顯示部顯示為止的處理的流程,按順序進行說明。
[1-1.圖像拍攝時的輝度的尺度的想法]
圖6是示出圖像拍攝時的輝度的尺度的圖。
如圖6所示,在利用攝像頭拍攝圖像的情況下,將反射率成為18%的灰度即18%灰度作為明亮度的基準點進行拍攝。也就是說,18%灰度是成為明亮度的基準的基準反射率。stop數(shù)定義為以18%灰度下的輝度為基準點,每當輝度成為2倍時,增加1。
在實際利用攝像頭拍攝圖像時,從攝像頭的圖像傳感器(例如cmos、ccd等)得到的輝度,根據(jù)基于光圈、快門速度、感光度設定等的曝光而變化。也就是說,從圖像傳感器得到的輝度,即使是拍攝相同明亮度的被拍攝體,也會與曝光相應地成為不同的值。因此,stop數(shù)的值自身不是絕對的值,而是相對的值。也就是說,無法利用stop數(shù)來表示輝度。
例如,在圖6的(1)的拍攝夜晚的場景那樣的情況下,為了不引起曝光不足(blocked-upshadows),對攝像頭進行如下曝光設定:通過放慢快門速度、打開光圈等而改變曝光,由此,保留暗的部分的灰度,舍棄明亮的部分。
另外,在圖6的(2)的拍攝白天的室內(nèi)的場景那樣的情況下,對攝像頭進行暗的部分與明亮的部分的平衡良好的曝光的設定。另外,在圖6的(3)的拍攝白天的室外的場景那樣的情況下,為了防止明亮的部分的過渡曝光,對攝像頭進行減少了曝光的曝光設定。
為了將這樣得到的相對的輝度變換為絕對的輝度,需要計算與18%灰度的相對關系。
[1-2.圖像拍攝時的輝度]
圖7是拍攝到的圖像的輝度的例子所示的圖。
如圖7所示,拍攝到的圖像(以下,稱作“原圖像”)10的a)示出具有與成為明亮度的基準的基準反射率即18%灰度(0stop)對應的輝度(以下,稱作“基準輝度”或“18%灰度(gray)值”。)的像素。原圖像10的b)示出具有與90%的反射率(90%灰度)(2.3stops)對應的輝度的像素。原圖像10的c)示出具有與幾乎黑的2.3%灰度(-3stops)對應的輝度的像素。原圖像10的d)示出通過拍攝太陽得到的像素,得到了非常明亮的輝度,具有與1150%灰度(6stops)對應的輝度。原圖像10的e)示出通過拍攝引起了鏡面反射的位置得到的像素,具有與290%灰度(4stops)對應的輝度。
[1-3.母版生成、發(fā)布方式以及顯示裝置的關系]
圖8是用于對制作與sdr對應的家庭娛樂用母版的流程、發(fā)布介質(zhì)以及顯示裝置的關系進行說明的圖。
圖7中所說明的那樣的原圖像10是最大輝度為1300nit的圖像。也就是說,在使用原圖像10來制作與最大輝度為100nit的sdr對應的母版圖像(sdr圖像)的情況下,以sdr無法表現(xiàn)出具有100nit以上的輝度的像素,所以無法不變換原圖像10的輝度地直接使用來制作與sdr對應的母版圖像。也就是說,若要使用原圖像10來制作與sdr對應的母版圖像,則需要將原圖像10的輝度變換為與sdr對應的動態(tài)范圍的輝度。
[1-4.從原圖像向sdr圖像的母版處理]
接著,對從原圖像10向sdr圖像的sdr分級處理(母版處理)進行說明。
首先,為了使利用攝像頭拍攝的、具有100nit以上的高輝度分量的內(nèi)容的影像(圖像)適應于bt709等播放標準,在通常的分級處理中,進行拐點曲線處理,即,在到80nit前后為止,按原樣線性地保持輝度,對于其以上的部分,以最高輝度收斂于100nit的方式將其彎曲。具體地說,拐點曲線處理是將一定值以下的輝度線性地顯示,使一定值以上的輝度與要顯示的顯示裝置的顯示峰值輝度相配合地衰減的處理。
圖9a是示出將在圖7中示出的原圖像母版處理成sdr圖像的結(jié)果的輝度的一例的圖。圖9b是示出用于將原信號值變換(母版處理)為sdr信號值的原信號值與sdr信號值的關系的一例的圖。此外,原信號值是原圖像10的0~1300nit的動態(tài)范圍內(nèi)的輝度(以下,稱作“原圖像10的輝度”。),sdr信號值是sdr的輝度范圍內(nèi)的輝度(以下,稱作“sdr的輝度”。)。
如圖9b所示,在本例中的從原圖像10向sdr圖像11的母版處理中,與基準反射率即18%灰度(0stop)對應的像素是具有成為明亮度的基準的基準輝度的像素。因此,在向sdr圖像的母版處理中,即使在將原圖像10變換為sdr圖像11之后,也不變更與原圖像10中的18%灰度對應的原圖像10的輝度(18nit)地被決定為sdr的輝度。
在此,如圖9b所示,在從原圖像10向sdr圖像11的母版處理中,在與原圖像10的90%灰度對應的原圖像10的輝度(90nit)以下的輝度范圍(0~90nit)內(nèi),不變更原圖像10的輝度地被決定為sdr的輝度。另外,如圖9b所示,將比與原圖像10的90%灰度對應的原圖像10的輝度(90nit)大的原圖像10的輝度范圍(90~1300〔nit〕)內(nèi)的原圖像10的輝度,通過線性變換,分配到90~100nit的輝度范圍的sdr的輝度。
例如,在sdr圖像11的b)那樣的、關于與90%灰度(2.3stops)對應的像素的向sdr圖像11的母版處理中,即使在將原圖像10變換為sdr圖像11之后,也不變更與原圖像10中的90%灰度對應的原圖像10的輝度(90nit)地被決定為sdr的輝度。
另外,例如,在sdr圖像11的c)那樣的、關于與2.3%灰度(-3stops)對應的像素的向sdr圖像的母版處理中,與上述同樣,即使在將原圖像10變換為sdr圖像11之后,也不變更與原圖像10中的2.3%灰度對應的原圖像10的輝度(2nit)地被決定為sdr的輝度。
例如,在sdr圖像11的d)那樣的、關于與1150%灰度(6stops)對應的像素的向sdr圖像的母版處理中,將與原圖像10中的1150%灰度對應的原圖像10的輝度(1150nit)變換為sdr的最大輝度即100nit。
另外,例如,在sdr圖像11的e)那樣的、關于與290%灰度(4stops)對應的像素的向sdr圖像的母版處理中,將與原圖像10中的290%灰度對應的原圖像10的輝度變換為95nit。
[1-5.從原圖像向hdr圖像的第1母版處理]
圖10a是示出將圖7中示出的原圖像母版處理成hdr圖像的結(jié)果的輝度的一例的圖。圖10b是示出用于將原信號值變換(母版處理)為hdr信號值的原信號值與hdr信號值的關系的一例的圖。此外,hdr信號值是hdr的輝度范圍內(nèi)的輝度(以下,稱作“hdr的輝度”。)。此外,在本例中的從原圖像10向hdr圖像的母版處理中,允許將到2000nit為止的輝度作為hdr的輝度進行分配,所以在hdr圖像中也能夠按原樣保持原圖像10的輝度。
例如,hdr圖像12的a)那樣的、與基準反射率即18%灰度(0stop)對應的像素,是具有成為明亮度的基準的基準輝度的像素,所以在向hdr圖像的母版處理中,即使在將原圖像10變換為hdr圖像12之后,也不變更與原圖像10中的18%灰度對應的原圖像10的輝度(18nit)地被決定為hdr的輝度。
同樣,例如,關于hdr圖像12的b)那樣的與90%灰度(2.3stops)對應的像素、hdr圖像12的c)那樣的與2.3%灰度(-3stops)對應的像素、hdr圖像12的d)那樣的與1150%灰度(6stops)對應的像素、以及hdr圖像12的e)那樣的與290%灰度(4stops)對應的像素的各像素,在向hdr圖像的母版處理中,不變更該原圖像10的輝度地被決定為hdr的輝度。
[1-6.顯示方法]
接著,使用圖11對實施方式1的顯示方法進行說明。
圖11是用于對實施方式1的顯示方法中的輝度變換處理的具體例進行說明的圖。
如圖11所示,在本實施方式的顯示方法中,進行雙色調(diào)映射。在雙色調(diào)映射中,針對具有第1預定輝度(例如1000nit)以下的輝度的像素,對由通常的rgb空間定義的rgb的各色的值進行色調(diào)映射處理(以下,稱為“rgb空間色調(diào)映射”)。例如,在hdrtv的顯示峰值輝度為500nit的情況下,針對具有1000nit以下的輝度的像素進行rgb空間色調(diào)映射,由此,通過hdrtv的到460nit為止的輝度范圍表現(xiàn)hdr內(nèi)容的hdr影像的具有1000nit以下的輝度的像素。另一方面,針對具有超過第1預定輝度的輝度的像素,不進行通常的rgb空間中的色調(diào)映射處理,而針對用yuv空間定義的輝度進行色調(diào)映射處理(以下,稱為“yuv空間色調(diào)映射”)。此外,在yuv空間色調(diào)映射中,除了針對構(gòu)成像素的輝度的處理之外,還針對構(gòu)成該像素的色差進行處理。
總之,在本實施方式1的顯示方法中,取得hdr影像的影像數(shù)據(jù),關于構(gòu)成所取得的影像數(shù)據(jù)所包含的影像的多個像素的各像素,進行判定該像素的輝度是否超過第1預定輝度的第1判定。并且,關于多個像素的各像素,在第1判定的結(jié)果是該像素的輝度超過第1預定輝度的情況和該像素的輝度在第1預定輝度以下的情況下,通過不同的方式進行將該像素的輝度縮小的雙色調(diào)映射。之后,使用雙色調(diào)映射的結(jié)果,將hdr影像在顯示裝置顯示。
另外,在雙色調(diào)映射中,關于多個像素的各像素,在該像素的輝度超過第1預定輝度的情況下,進行yuv空間色調(diào)映射,在該像素的輝度在第1預定輝度以下的情況下,進行rgb空間色調(diào)映射。
[1-7.效果等]
根據(jù)本實施方式的顯示方法,針對hdr內(nèi)容的hdr影像所包含的多個像素,根據(jù)該像素所具有的輝度是否超過第1預定輝度,選擇性地進行2個色調(diào)映射處理的某一個,由此,能夠抑制在輝度的變換處理的前后各像素的顏色會變化。也即是,能夠一邊維持作為第1預定輝度的1000nit以下的輝度范圍內(nèi)的影像的再現(xiàn)性,一邊實現(xiàn)超過1000nit的輝度范圍的、sparkle部分(雷、焰火、電燈泡、火焰、爆炸、太陽、水的反射等小區(qū)域的影像)的輝度差與顏色分量的保持。
另外,根據(jù)本實施方式的顯示方法,針對hdr內(nèi)容的hdr影像所包含的多個像素,在該像素所具有的輝度超過第1預定輝度的情況下,進行yuv空間色調(diào)映射,因此,能夠有效地抑制在輝度的變換處理的前后各像素的顏色會變化。另外,針對hdr內(nèi)容的hdr影像所包含的多個像素,在該像素所具有的輝度超過第1預定輝度的情況下,進行rgb空間色調(diào)映射,因此能夠極力維持在輝度的變換處理的前后的各像素的顏色的再現(xiàn)性。
(實施方式2)
接著,使用圖12~圖26對實施方式2的顯示方法進行說明。
首先,對分級的方式進行說明。
[2-1.分級的方式]
圖12是對分級的方式進行說明的表。
hdr內(nèi)容的分級方法,如圖12所示那樣大致存在3個方式。具體而言,存在dolbyvision方式、與sdr同樣的方式(以下,稱為“以往方式”。)、以及aces(academycolorencodingsystem)方式。
以下,對3個方式依次進行說明。
在dlobyvision方式中,與主監(jiān)視器(圖12中記為“主監(jiān)”)的顯示能力相配合地,以絕對輝度基準進行分級,使用pq曲線(pq空間)對通過分級得到的影像信號的輝度進行量化,由此生成hdr的主影像。在dlobyvision方式中,作為主監(jiān)視器使用顯示峰值輝度(最高輝度)非常高的例如4000nit的高輝度主監(jiān)視器(例如pulsar)來生成主影像。
另外,在dlobyvision方式中,使用所生成的主影像,分離為sdr影像的sdr信號和用于再現(xiàn)hdr的輔助信號,由此,生成sdr影像。由此,在dlobyvision方式中,實現(xiàn)了hdr和sdr的互換性。這樣,在dlobyvision方式中,為了取得hdr和sdr的互換,約80nit以下的輝度范圍(區(qū)域),在hdr和sdr中設為共同,18%灰度(middlegray)的值(點)也設為共同。也即是,在hdr和sdr中,僅超過約80nit的輝度范圍(高輝度部分)成為不同的輝度。另外,通過dlobyvision方式生成的hdr影像的峰值輝度(最高輝度),為了能夠表現(xiàn)出高輝度主監(jiān)視器的最高輝度,成為2000~4000nit這樣非常高的輝度。
在以往方式中,采用與dlobyvision方式同樣的分級方針,是絕對輝度基準。但是,在以往方式中,作為主監(jiān)視器,使用相當顯示峰值輝度為1000nit的標準主監(jiān)視器(例如,sony的x300、高端家庭tv等)來生成主影像。
另外,在以往方式中,不存在hdr和sdr的互換性。也即是,sdr,通過與hdr獨立地分級而生成。通過這樣以往方式分級后的hdr影像,具有與dv方式同樣的特性。另外,該hdr影像,依賴于標準主監(jiān)視器的最高輝度,因此成為800~1000nit的程度。
在aces方式中,利用相對輝度基準進行分級。也即是,與主監(jiān)視器的顯示能力獨立地進行分級,用浮動小數(shù)點(相對輝度)將通過分級得到的影像信號的輝度進行量化,由此生成hdr的主影像。在aces方式中,作為主監(jiān)視器使用上述的標準主監(jiān)視器。
另外,在aces方式中,通過aces進行相對輝度管理,因此,在從所生成的hdr的主影像生成hdr影像或sdr影像時,一邊維持hdr的主影像的輝度的相對關系,一邊對輝度進行變換。由此,能夠容易地生成峰值輝度為100nit的sdr影像或峰值輝度為例如1000nit的hdr影像。這樣,在aces方式中,根據(jù)進行相對輝度管理后的輝度信息,與hdr影像的峰值輝度相配合地進行自動變換,因此,在sdr影像和hdr影像中,僅峰值輝度不同,相互的輝度的相對關系被維持。hdr影像存在18%灰度(middlegray)的值比sdr影像大的情況。通過aces方式生成的hdr影像,依賴于標準主監(jiān)視器的最高輝度,因此,成為800~1000nit的程度。
如以上那樣,通過以3個方式的各方式進行分級而得到的hdr影像的特性不同。因此,在hdrtv中,在以這些3個方式中的某一個分級方式為前提進行顯示處理(色調(diào)映射處理等)時,有可能在hdrtv顯示與ci(creator’sintent;創(chuàng)作者的意圖)不同的hdr影像。
接著,對進行分級的情況下的以往的母版處理的結(jié)構(gòu)進行說明。
[2-2.以往方式的母版處理的結(jié)構(gòu)]
圖13是示出使用標準主監(jiān)視器通過以往方式進行hdr分級的情況下的hdr/sdr母版處理的整體結(jié)構(gòu)的圖。
在分級中,一邊使用將分級前的原圖像10那樣的素材數(shù)據(jù)與hdr對應的標準主監(jiān)視器來確認圖像,一邊制作hdr的主影像。該hdr的主影像,受到標準主監(jiān)視器的顯示峰值輝度(例如1000nit)的制約,因此,難以制作包含該顯示峰值輝度的1000nit以上的輝度分量的hdr的主影像。
將該hdr的主影像在各發(fā)布媒體(blu-ray(注冊商標)、播放、ott等)中共同地利用,各tv廠商進行對應于tv的能力的畫質(zhì)調(diào)整,由此,能夠在各tv再現(xiàn)與標準主監(jiān)視器的可視度相配合的hdr表現(xiàn)。
[2-3.從原圖像向hdr圖像的通過以往方式的母版處理]
圖14a是示出將圖7中示出的原圖像通過以往方式進行母版處理成hdr圖像的結(jié)果的輝度的一例的圖。圖14b是示出用于將原信號值變換(通過以往方式進行母版處理)為hdr信號值的、原信號值與hdr信號值的關系的一例的圖。
此外,在從該例中的原圖像10向hdr圖像13的母版處理中,使用的標準主監(jiān)視器的顯示峰值輝度被限制于1000nit,因此,900%左右以上的值無法按原樣被保持。因此,與母版處理成sdr影像的情況同樣地,為了將峰值輝度抑制至1000nit為止,而導入了拐點曲線處理。
如圖14b所示,在從該例中的原圖像10向hdr圖像13的母版處理中,與作為基準反射率的18%灰度(0stop)對應的像素,是具有作為明亮度的基準的基準輝度的像素。因此,在向hdr圖像的母版處理中,即便在將原圖像10變換為hdr圖像13后,也不變更與原圖像10中的18%灰度對應的原圖像10的輝度(18nit)地被決定為hdr的輝度。
在此,如圖14b所示,在從原圖像10向hdr圖像13的母版處理中,在與原圖像10的900%灰度對應的原圖像10的輝度(900nit)以下的輝度范圍(0~900nit)中,不變更原圖像10的輝度地被決定為hdr的輝度。另外,如圖14b所示,通過線性變換將比與原圖像10的900%灰度對應的原圖像10的輝度(900nit)大的原圖像10的輝度范圍(900~10000nit)中的原圖像10的輝度分配給900~1000nit的輝度范圍的hdr的輝度。
例如,在hdr圖像13的a)那樣的、對于與18%灰度(0stops)對應的像素的向hdr圖像13的母版處理中,將原圖像10變換為hdr圖像13后,也不變更與原圖像10中的18%灰度對應的原圖像10的輝度(18nit)地被決定為hdr的輝度。
例如,在hdr圖像13的b)那樣的、關于與90%灰度(2.3stops)對應的像素的向hdr圖像13的母版處理中,即便在將原圖像10變換為hdr圖像13后,也不變更與原圖像10中的90%灰度對應的原圖像10的輝度(90nit)地被決定為hdr的輝度。
另外,例如,在hdr圖像13的c)那樣的、關于與2.3%灰度(-3stops)對應的像素的向hdr圖像13的母版處理中,即便將原圖像10變換為hdr圖像13后,也不變更與原圖像10中的2.3%灰度對應的原圖像10的輝度(2nit)地被決定為hdr的輝度。
例如,在hdr圖像13的d)那樣的、關于與1150%灰度(6stops)對應的像素的向hdr圖像13的母版處理中,通過拐點曲線處理將與原圖像10中的1150%灰度對應的原圖像10的輝度(1150nit)變換為例如930nit。
另外,例如,在hdr圖像13的e)那樣的、關于與290%灰度(4stops)對應的像素的向hdr圖像的母版處理中,即便在將原圖像10變換為hdr圖像13后,也不變更與原圖像10中的290%灰度對應的原圖像10的輝度(290nit)地被決定為hdr的輝度。
圖15是示出通過以以往方式進行hdr分級而得到的sdr圖像的例子的圖。
圖16是通過以以往方式進行hdr分級而得到的hdr圖像的例子的圖。
如圖15以及圖16所示,通過比較sdr圖像以及hdr圖像可知:浪頭、天空等輝度高的部分通過hdr分級會變化,但是,90nit左右以下的sdr的部分的輝度不變。
[2-4.aces方式的母版處理的結(jié)構(gòu)]
圖17是示出使用標準主監(jiān)視器以aces方式進行aces/hdr分級的情況下的hdr/sdr母版處理的整體結(jié)構(gòu)的圖。
在分級中,一邊使用將分級前的原圖像10那樣的素材數(shù)據(jù)與hdr對應的標準主監(jiān)視器來確認圖像,一邊制作aces/hdr的主影像。該aces/hdr的主影像,受到標準主監(jiān)視器的顯示峰值輝度(例如,1000nit)的制約,但是,在該情況下,不使用絕對輝度基準而使用浮動小數(shù)點(相對輝度表示)來制作aces/hdr的主影像。因此,aces/hdr的主影像不受1000nit的制約。
通過aces的hdr轉(zhuǎn)換器對該aces/hdr的主影像進行變換,由此,能夠制作與hdr主影像的最高輝度相配合的hdr主影像。此時,即便主監(jiān)視器的顯示峰值輝度是1000nit,也能夠制作峰值輝度為1300nit或800nit的主影像。在各發(fā)布媒體(blu-ray(注冊商標)、播放、ott)中共同地利用該hdr的主影像,各tv廠商進行根據(jù)各tv的能力的畫質(zhì)調(diào)整,由此,能夠在各tv再現(xiàn)與該hdr的主影像的可視度(見え方)相配合的hdr表現(xiàn)(詳細請參照http://www.oscars.org/science-technology/sci-tech-projects/aces)。
[2-5.從原圖像向hdr圖像的通過aces方式的母版處理]
圖18a是示出將圖7中示出的原圖像通過aces方式母版處理成hdr圖像的結(jié)果的輝度的一例的圖。圖18b是示出用于將原信號值變換(通過aces方式進行母版處理)為hdr信號值的、原信號值與hdr信號值的關系的一例的圖。
在使用了aces的情況下,如圖14a以及圖14b所示,也可以與使用的主監(jiān)視器的顯示峰值輝度相配合地進行分級。該情況下,會得到與圖14a以及圖14b相同的結(jié)果。在acse的情況下,為了有效使用輝度區(qū)域(輝度范圍)拓寬的情況,利用暗部分(低輝度范圍)保持信息,也能夠不將18%灰度值設為18nit,而設為例如2倍的36nit來進行變換。
圖18a是示出將圖7中示出的原圖像10的18%灰度值指定為通常的2倍的36nit而進行母版處理成hdr圖像的結(jié)果的一例。
此外,在從該例中的原圖像10向hdr圖像14的母版處理中,將18%灰度值從18nit變更為36nit,因此,使低輝度范圍的線性部分的斜率變化為2倍。另外,為了將峰值輝度限制為1000nit,而導入了拐點曲線處理。
例如,在hdr圖像14的a)那樣的、關于與18%灰度(0stop)對應的像素的向hdr圖像14的母版處理中,從18nit變更為36nit。
另外,例如,在關于與hdr圖像14的b)那樣的90%灰度(2.3stops)、hdr圖像14的c)那樣的2.3%灰度(-3stops)、hdr圖像14的e)那樣的290%灰度(4stops)的各灰度對應的像素的向hdr圖像14的母版處理中,低輝度范圍的線性部分的斜率變?yōu)?倍,因此,分別成為2倍化的值。
另外,在關于例如hdr圖像的14的d)那樣的與1150%灰度(6stops)對應的像素的向hdr圖像14的母版處理中,通過拐點曲線處理將與原圖像10中的1150%灰度對應的原圖像10的輝度(1150nit)變換為例如950nit。
圖19是示出從通過以aces方式進行aces/hdr分級而得到的aces/hdr的主影像自動生成的sdr圖像的例子的圖。
圖20是示出從通過以aces方式進行aces/hdr分級而得到的aces/hdr的主影像自動生成的hdr圖像的例子的圖。
如圖19以及圖20所示,通過對sdr圖像以及hdr圖像進行比較可知,一邊在sdr/hdr間維持與太陽、水的反射、暗的森林的相對關系,一邊生成hdr圖像。因此,在通過以aces方式進行分級而得到的hdr圖像以及sdr圖像中,如以往方式的hdr圖像以及sdr圖像那樣,暗的部分的輝度不成為相同。
[2-6.dolbyvision方式的母版處理的結(jié)構(gòu)]
圖21是示出使用高輝度主監(jiān)視器以dolbyvision方式進行hdr分級的情況下的hdr/sdr母版處理的整體結(jié)構(gòu)的圖。在dolbyvision方式的情況下,在劇場和家庭的各情形下,有hdr的dolbyvision專用的主監(jiān)視器,與這些主監(jiān)視器相配合地進行分級處理。sdr從以dolbyvision方式生成的高輝度主影像自動被生成。
在分級中,一邊使用將分級前的原圖像10那樣的素材數(shù)據(jù)與hdr對應的高輝度主監(jiān)視器來確認圖像,一邊制作高輝度主影像。關于該高輝度主影像,由于高輝度主監(jiān)視器的顯示峰值輝度例如是高達4000nit的高輝度,因此,通常不進行輝度變換處理也可以進行分級。另外,通過用高輝度主監(jiān)視器進行分級而得到的高輝度主影像,靈活運用高輝度主監(jiān)視器的直至4000nit的顯示能力,實現(xiàn)了整體上暗沉,閃電、霓虹燈、焰火、火等的影像的輝度非常地高,強調(diào)了明暗的hdr效果。
即便將該高輝度主影像設為dolbyvision設備用的專用分發(fā)格式,也能夠面向非dolbyvision對應設備,以標準hdr格式在各發(fā)布媒體(blu-ray(注冊商標)、播放、ott)中共同地利用。也即是,hdr母版,會包含dolbyvision元數(shù)據(jù)和dolbyvision用sdr母版(詳細地,參照http://www.dolby.com/us/en/technologies/dolby-vision.html以及http://www.dolby.com/us/en/technologies/dolby-vision-color-grading.pdf)。
[2-7.從原圖像向hdr圖像的利用dolbyvision方式的母版處理]
圖22a是示出將圖7中示出的原圖像通過dolbyvision方式進行母版處理成hdr圖像的結(jié)果的輝度的一例的圖。圖22b是示出用于將原信號值變換(通過dolbyvision方式進行母版處理)為hdr信號值的、原信號值與hdr信號值的關系的一例的圖。
在該例中,在使用了pq曲線的情況下,在母版處理后,直至10,000nit,的值都可以被容許,dolbyvision方式的高輝度主監(jiān)視器的顯示峰值輝度為直至4000nit,因此,通常不需要拐點曲線的導入。具體而言,在80~90nit以下的低輝度范圍內(nèi),hdr影像與sdr影像完全相同。另外,為了僅對于超過4000nit的輝度,將峰值輝度限制為4000nit,而導入了與sdr同樣的拐點曲線處理。
例如,在關于hdr圖像15的a)那樣的與18%灰度(0stop)對應的像素的向hdr圖像15的母版處理中,即便在將原圖像10變換為hdr圖像15后,也不變更原圖像10中的與18%灰度對應的原圖像10的輝度(18nit)地被決定為hdr的輝度。
另外,例如,在關于與hdr圖像15的b)那樣的90%灰度(2.3stops)、hdr圖像15的c)那樣的2.3%灰度(-3stops)、hdr圖像15的e)那樣的290%灰度(4stops)分別對應的像素的向hdr圖像15的母版處理中,不變換地分別將90nit、2nit以及290nit決定為hdr的輝度。
另外,例如,在關于hdr圖像15的d)那樣的與1150%灰度(6stops)對應的像素的向hdr圖像15的母版處理中,利用拐點曲線處理將與原圖像10中的1150%灰度對應的原圖像10的輝度(1150nit)例如變換為1050nit。
圖23是示出認為具有與從通過以dolbyvision方式進行hdr分級而得到的高輝度主影像自動生成的sdr圖像同等的效果的數(shù)字影片評價用內(nèi)容”stem”的例子的圖。
圖24是示出認為具有與通過以dolbyvision方式進行hdr分級而得到的高輝度主影像同等的傾向的數(shù)字影片評價用內(nèi)容”stem”的例子的圖。
如圖23以及圖24所示,可知:hdr圖像,與sdr圖像相比,電燈泡、燭光等輝度高的部分具有非常高的值,90nit左右以下的部分的輝度不變。
[2-8.第2課題]
圖25是對分級的3個方式的課題進行了說明的表。
如圖12所示,通過以3個方式進行分級而得到的hdr內(nèi)容的特性分別不同。因此,用家庭hdrtv進行顯示處理(色調(diào)映射處理等)的方面的hdrtv課題,與圖25所示那樣不同。換言之,是基于絕對輝度管理的影像、還是基于相對輝度管理的影像,hdrtv的課題有較大地不同,需要進行適合各個影像的顯示處理。但是,在hdrtv中,并未考慮判定是基于絕對輝度管理的影像、還是基于相對輝度管理的影像,在絕對輝度管理和相對輝度管理下,使顯示處理不同。
此外,為了判定是基于絕對輝度管理的影像、還是基于相對輝度管理的影像,需要識別分級的3種方式。但是,在不是dolbyvision方式的方式的hdrtv的情況下,不存在判定發(fā)送來的hdr信號是通過dolbyvision、以往方式、還是aces方式中的哪個方式進行了分級的單元。因此,在hdrtv中,以無視3種分級方式的差異的方式顯示了hdr信號的hdr影像。
于是,如果在再現(xiàn)hdr內(nèi)容前,hdrtv就能夠得知hdr內(nèi)容被分級的方式是3種方式中的哪種方式,則能夠進行適合該方式的色調(diào)映射處理等顯示處理。但是,實際上,hdrtv,在hdr內(nèi)容的再現(xiàn)開始時刻,該hdr內(nèi)容中沒有包含直接地表示以哪種方式進行了分級的信息,因此,難以特定分級的方式。
圖26是示出通過經(jīng)由hdr對應的hdmi(注冊商標)2.0a將hdr對應的ultrahdblu-ray(注冊商標)設備與hdrtv相連的情況下的例子的圖。
這樣在通過經(jīng)由hdmi(注冊商標)2.0a將ultrahdblu-ray(注冊商標)設備與hdrtv連接的情況下,在將hdr影像再現(xiàn)時,能夠?qū)⑴c從ultrahdblu-ray(注冊商標)設備發(fā)送的hdr影像相關的靜態(tài)元數(shù)據(jù)(st2086+α)作為hdmi(注冊商標)的infoframe而發(fā)送。因此,hdrtv能夠得到與最低限的hdr內(nèi)容相關的靜態(tài)元數(shù)據(jù)的信息。
然而,對于hdrtv而言,僅通過靜態(tài)元數(shù)據(jù)(st2086等),只能得到要再現(xiàn)的hdr內(nèi)容使用了怎樣的主監(jiān)視器進行了分級的最低信息和hdr內(nèi)容的最低限的統(tǒng)計信息。因此,使用靜態(tài)元數(shù)據(jù),難以判定是通過分級的3種方式中的哪種方式進行了分級的hdr內(nèi)容。
尤其是,在通過以往方式或aces方式進行了分級的hdr內(nèi)容的情況下,即便錯誤地選擇最適合某一方式的再現(xiàn)控制方式而進行了hdr再現(xiàn)控制處理,通常,也會沒有大的破綻地進行再現(xiàn)。相對與此,在以往方式或aces方式和dolbyvision方式下,分級方法、分級后的內(nèi)容的特性有較大地差異,因此,弄錯方式的選擇會有可能在hdr再現(xiàn)畫質(zhì)產(chǎn)生破綻。因此,是否是通過dolbyvision進行了分級的hdr內(nèi)容的判定較重要。
[2-9.顯示方法]
接著,對實施方式2的顯示方法進行說明。
在本實施方式的顯示方法中,通過有效地使用從影像數(shù)據(jù)所含的靜態(tài)元數(shù)據(jù)得到的信息,判定是否是通過dolbyvision方式進行了分級,由此,實現(xiàn)更恰當?shù)娘@示控制。
在dolbyvision方式中,利用如上述那樣使用特殊的高輝度主監(jiān)視器(pulsar)來進行分級,使用靜態(tài)元數(shù)據(jù)所含的st2086的信息來進行推定。
在st2086的信息中包含用于分級的主監(jiān)視器的特性。因此,如果利用st2086的信息,則能夠推測是否是利用在dolbyvision方式的分級中使用的特殊的高輝度主監(jiān)視器而生成的hdr內(nèi)容。
也即是,在本實施方式的顯示方法中,進行第2判定,在第2判定中,基于所取得的影像數(shù)據(jù)所含的靜態(tài)元數(shù)據(jù),判定影像數(shù)據(jù)所含的影像的輝度被進行絕對輝度管理還是被進行相對輝度管理。并且,在第2判定的結(jié)果是影像數(shù)據(jù)所含的影像的輝度被進行絕對輝度管理的情況下,進行在實施方式1中說明的雙色調(diào)映射。另一方面,在第2判定的結(jié)果是影像數(shù)據(jù)所含的影像的輝度被進行相對輝度管理的情況下,關于構(gòu)成影像數(shù)據(jù)所含的影像的多個像素的各像素,進行將該像素的在rgb空間定義的rgb的各色的值縮小的rgb空間色調(diào)映射。
另外,在第2判定中,判定st2086的信息所包含的、在生成成為生成影像數(shù)據(jù)的基礎的主影像時使用的主監(jiān)視器的特性,是否與生成進行絕對輝度管理的影像時使用的預定的主監(jiān)視器的特性接近。并且,在判定為主監(jiān)視器的特性與預定的主監(jiān)視器(高輝度主監(jiān)視器)的特性接近的情況下,判定為影像數(shù)據(jù)的影像的輝度被進行絕對輝度管理,在判定為主監(jiān)視器的特性不與預定的主監(jiān)視器(高輝度主監(jiān)視器)的特性接近的情況下,判定為影像數(shù)據(jù)的影像的輝度被進行相對輝度管理。
此外,具體而言,第2判定使用下述的算法來進行。
例如,判定st2086的信息所包含的max_display_mastering_luminance是否在4000nit附近,如果判定為max_display_mastering_luminance在4000nit附近,則推定為是通過在dolbyvision方式中使用的高輝度主監(jiān)視器生成的hdr內(nèi)容。也即是,在第2判定中,基于表示作為主監(jiān)視器的特性的主監(jiān)視器的顯示峰值輝度的顯示峰值輝度信息(max_display_mastering_luminance),判定顯示峰值輝度是否是4000nit附近的值,由此,判定主監(jiān)視器的特性是否接近預定的主監(jiān)視器(高輝度主監(jiān)視器)的特性。并且,在第2判定中,在顯示峰值輝度是4000nit附近的值的情況下,判定為影像數(shù)據(jù)所包含的影像的輝度被進行絕對輝度管理,在顯示峰值輝度不是4000nit附近的值的情況下,判定為影像數(shù)據(jù)所包含的影像的輝度被進行相對輝度管理。
另外,例如,也可以是,判定st2086的信息所包含的display_primaries是否接近高輝度主監(jiān)視器(pulsar)的特性值,如果判定為display_primaries位于高輝度主監(jiān)視器(pulsar)的特性值附近,則推定為是通過在dolbyvision方式中使用的高輝度主監(jiān)視器生成的hdr內(nèi)容。也即是,在第2判定中,基于表示作為主監(jiān)視器的特性的主監(jiān)視器的顯示原色的顯示原色信息(display_primaries),判定顯示原色是否是預定的主監(jiān)視器(高輝度主監(jiān)視器)的顯示原色附近的值,由此,判定主監(jiān)視器的特性是否接近預定的主監(jiān)視器(高輝度主監(jiān)視器)的特性。并且,在第2判定中,在顯示原色是預定的主監(jiān)視器(高輝度主監(jiān)視器)的顯示原色附近的值的情況,判定為影像數(shù)據(jù)所包含的影像的輝度被進行絕對輝度管理,在顯示原色不是預定的主監(jiān)視器的顯示原色附近的值的情況下,判定為影像數(shù)據(jù)所包含的影像的輝度被進行相對輝度管理。
另外,例如,也可以是,判定st2086的信息所包含的white_point是否接近高輝度主監(jiān)視器(pulsar)的特性值,如果判定為white_point位于高輝度主監(jiān)視器(pulsar)的特性值附近,則推定為是通過在dolbyvision方式中使用的高輝度主監(jiān)視器生成的hdr內(nèi)容。也即是,在第2判定中,基于表示作為主監(jiān)視器的特性的主監(jiān)視器的白點的白點信息(white_point),判定白點是否是預定的主監(jiān)視器(高輝度主監(jiān)視器)的白點附近的值,由此,判定主監(jiān)視器的特性是否接近預定的主監(jiān)視器(高輝度主監(jiān)視器)的特性。并且,在第2判定中,在白點是預定的主監(jiān)視器(高輝度主監(jiān)視器)的白點附近的值的情況下,判定為影像數(shù)據(jù)所包含的影像的輝度被進行了絕對輝度管理,在白點不是預定的主監(jiān)視器的白點附近的值的情況下,判定為影像數(shù)據(jù)所包含的影像的輝度被進行了相對輝度管理。
另外,例如,也可以是,上述的display_primaries以及white_point,與高輝度主監(jiān)視器的特性值不同,并且,判定是否接近標準主監(jiān)視器(例如,sony的x300等)的特性值,在接近標準主監(jiān)視器的特性值的情況下,判定為是以非dolbyvision方式的方式進行了分級的hdr內(nèi)容。hdr對應的主監(jiān)視器,與家庭tv不同,種類非常少,因此,能夠保持hdr對應的主監(jiān)視器的管理表,并通過適當經(jīng)由因特網(wǎng)等進行更新。這樣通過預先保持hdr對應的主監(jiān)視器的管理表,會能夠適當?shù)赝贫ㄓ糜诜旨壍闹鞅O(jiān)視器,能夠更有效地判定是否是通過dolbyvision方式進行了分級。
另外,第2判定中,除了使用st2086的信息進行之外,還可以使用由blu-ray(注冊商標)discassociation、hdmi(注冊商標)forum、uhdalliance定義的靜態(tài)元數(shù)據(jù)的maxcll(themaximumcontentlightlevel;)以及maxfall(themaximumframe-averagelightlevel)來進行。
此外,maxcll是表示hdr內(nèi)容的影像的hdr峰值輝度的峰值輝度信息。maxcll是僅hdr內(nèi)容的靜態(tài)元數(shù)據(jù)。
另外,maxfall是表示最大幀平均輝度的最大幀平均輝度信息,最大幀平均輝度是構(gòu)成hdr內(nèi)容的hdr影像的多個幀的各幀的平均輝度的最大值。maxfall是僅hdr內(nèi)容的靜態(tài)元數(shù)據(jù),在用于hdr內(nèi)容的ultrahdblu-ray(注冊商標)的格式中,作成不超過400nit的創(chuàng)作指南(authoringguideline)。
具體而言,也可以通過使用maxcll而如下那樣進行第2判定。
例如,也可以是,判定maxcll的值是否在2000nit以上,在為2000nit以上的情況下,由于包含非常高輝度的像素分量,因此,推定為是通過dolbyvision方式分級后(進行絕對輝度管理后)的hdr影像。此外,成為判定的基準的2000nit僅是一例,也可以是3000nit。
也即是,在第2判定中,判定由峰值輝度信息表示的峰值輝度是否超過第2預定輝度(例如,2000nit、3000nit等)。并且,在第2判定中,在峰值輝度超過第2預定輝度的情況下,判定為影像數(shù)據(jù)所包含的影像的輝度被進行絕對輝度管理,在峰值輝度為第2預定輝度以下的情況下,判定為影像數(shù)據(jù)所含的影像的輝度被進行相對輝度管理。
另外,例如,也可以是,判定maxcll的值是否在1500nit以上,在為1500nit以上的情況下,由于包含高輝度的像素分量,因此,推定為是通過dolbyvision方式分級(進行絕對輝度管理)后的hdr影像的可能性高。此外,作為判定的基準的1500nit僅是一例,也可以是1200nit。
另外,例如,也可以是,判定maxcll的值是否在1500nit以下,在為1500nit以下的情況下,由于不包含高輝度的像素分量,因此,推定為不是通過dolbyvision方式分級后的hdr影像、而是進行了相對輝度管理的hdr影像的可能性高。此外,作為判定的基準的1500nit僅是一例,也可以是1750nit。
另外,例如,也可以是,判定maxcll的值是否在800nit以下,在為800nit以下的情況下,推定為不是通過dolbyvision方式分級后(進行絕對輝度管理后)的hdr影像,而是進行了相對輝度管理的hdr影像。此外,作為判定的基準的800nit僅是一例,既可以是750nit,又可以是1000nit。
另外,也可以通過對maxfall的值設置基準值來與maxcll同樣地進行判定。也即是,在第2判定中,判定通過最大幀平均輝度信息表示的最大幀平均輝度是否超過第3預定輝度。并且,在第2判定中,在最大幀平均輝度超過第3預定輝度的情況下,判定為影像數(shù)據(jù)所包含的影像的輝度被進行絕對輝度管理,在最大幀平均輝度為第3預定輝度以下的情況下,判定為影像數(shù)據(jù)所含的影像的輝度被進行相對輝度管理。
這樣,通過除了使用st2086的信息之外,還使用maxcll或maxfall來進行第2判定,能夠更有效地判定是否以dolbyvision方式被分級,能夠判定是否是進行了絕對輝度管理的hdr影像。因此,能夠針對hdr影像應用更恰當?shù)娘@示處理。
[2-10.效果等]
根據(jù)本實施方式的顯示方法,能夠識別以dolbyvision方式分級后的hdr內(nèi)容的hdr影像,并且,能夠根據(jù)識別結(jié)果適當?shù)剡x擇并進行在實施方式1中說明的雙色調(diào)映射以及rgb空間色調(diào)映射中的某一個色調(diào)映射處理。因此,無論hdr影像是進行了絕對輝度管理的影像、還是進行了相對輝度管理的影像,都能夠進行恰當?shù)奶幚?,因此,能夠顯示恰當?shù)挠跋瘛?/p>
(其他的實施方式)
另外,也可以作為執(zhí)行上述說明的顯示方法的顯示裝置而實現(xiàn)。
此外,在上述各實施方式中,各結(jié)構(gòu)要素,可以由專用的硬件構(gòu)成,還可以通過執(zhí)行適合各結(jié)構(gòu)要素的軟件程序來實現(xiàn)。各結(jié)構(gòu)要素,也可以通過cpu或處理器等程序執(zhí)行部讀出并執(zhí)行記錄于硬盤或半導體存儲器等記錄介質(zhì)的軟件程序來實現(xiàn)。在此,實現(xiàn)上述各實施方式的顯示方法等的軟件,是如下那樣的程序。
即,該程序使計算機執(zhí)行如下顯示方法,該顯示方法用于在顯示裝置顯示由表示hdr的輝度和代碼值的對應關系的第1eotf定義了影像的輝度的影像數(shù)據(jù)的影像,hdr(highdynamicrange)是高動態(tài)范圍,eotf(electoro-opticaltransferfunction)是電光轉(zhuǎn)換函數(shù),所述顯示方法包括:取得所述影像數(shù)據(jù);進行第1判定,在所述第1判定中,針對構(gòu)成所取得的所述影像數(shù)據(jù)所包含的所述影像的多個像素的各像素,判定該像素的輝度是否超過第1預定輝度;進行雙色調(diào)映射,在所述雙色調(diào)映射中,針對所述多個像素的各像素,在所述第1判定的結(jié)果是該像素的輝度超過所述第1預定輝度的情況下和該像素的輝度在所述第1預定輝度以下的情況下,以不同的方式將該像素的輝度縮??;以及使用所述雙色調(diào)映射的結(jié)果,在所述顯示裝置顯示所述影像。
以上,基于實施方式對本公開的一個或多個方式的顯示方法以及顯示裝置進行了說明,但是,本公開不限定于該實施方式。只要不脫離本公開的主旨,將本領域技術人員所能夠想到的各種變形應用于本實施方式的方式、將不同的實施方式中的結(jié)構(gòu)要素進行組合而構(gòu)筑的方式也可以包含于本公開的一個或多個方式的范圍內(nèi)。
產(chǎn)業(yè)上的可利用性
本公開,作為能夠容易地進行使與hdr對應的影像數(shù)據(jù)的影像與顯示峰值輝度相配合的輝度變換、且能夠抑制變換前后的顏色的變化的顯示方法、顯示裝置等是有用的。