圖像處理裝置及方法
【專利摘要】本公開內(nèi)容涉及用于使得能夠精確地再現(xiàn)圖像的動態(tài)范圍的圖像處理裝置和方法。垂直軸上的對應(yīng)于最大白電平的值是最大白電平(800％)被分配給顯影圖像的數(shù)字值，并且作為max_white_level_code_value被設(shè)置和發(fā)送，該max_white_level_code_value是動態(tài)范圍特征信息內(nèi)容之一。垂直軸上的對應(yīng)于白電平的值是白電平(100％)被分配給顯影圖像的數(shù)字值，并且作為white_level_code_value被設(shè)置和發(fā)送，該white_level_code_value是動態(tài)范圍特征信息內(nèi)容之一。本公開內(nèi)容可應(yīng)用于例如圖像處理裝置。
【專利說明】圖像處理裝置及方法

【技術(shù)領(lǐng)域】
[0001]本公開內(nèi)容涉及圖像處理裝置及方法，更具體地，涉及能夠精確地再現(xiàn)圖像的動態(tài)范圍的圖像處理裝置及方法。

【背景技術(shù)】
[0002]近年來，如下裝置正在普及:其將圖像信息處理為數(shù)字信息，并且在這種情況下通過采用利用對圖像信息而言唯一的冗余的編碼技術(shù)和通過正交變換(如離散余弦變換或運(yùn)動補(bǔ)償)執(zhí)行壓縮來對圖像進(jìn)行壓縮和編碼，以發(fā)送和累積高效的信息。該編碼技術(shù)是例如MPEG (運(yùn)動圖片專家組)、H.264或MPEG-4部分10 (高級視頻編碼，其在下文中被稱作“AVC”)。
[0003]目前，為了實(shí)現(xiàn)比H.264/AVC的編碼效率更高的編碼效率，被稱作HEVC(高效視頻編碼)的編碼技術(shù)正由JCTVC (聯(lián)合合作組-視頻編碼)開發(fā)為標(biāo)準(zhǔn)，JCTVC(聯(lián)合合作組-視頻編碼)是ITU-T和IS0/IEC的聯(lián)合標(biāo)準(zhǔn)組織(參見非專利文獻(xiàn)1)。
[0004]在當(dāng)前時間點(diǎn)的HEVC的草案中，以圖1中示出的SEI (補(bǔ)充增強(qiáng)信息)發(fā)送色調(diào)映射信息。
[0005]該色調(diào)映射信息的內(nèi)容與以圖2中示出的AVC標(biāo)準(zhǔn)化的內(nèi)容相同(參見非專利文獻(xiàn)2)。
[0006][引用列表]
[0007]非專利文獻(xiàn)
[0008]非專利文獻(xiàn)1:Berijamin Bross、ffoo-Jin Han、Jens-Rainer Ohm、GaryJ.Sullivan、Thomas Wiegand, “High efficiency video coding (HEVC) text specificat1ndraft 7 (高效視頻編碼(HEVC)文本規(guī)范草案7) ”，
[0009]JCTVC-11003 版本 5,2012 年 6 月 12 日
[0010]非專利文獻(xiàn)2:D.1.24 推薦.ITU-T H.264 | IS0/IEC 14496-10


【發(fā)明內(nèi)容】

[0011][技術(shù)問題]
[0012]最近，相機(jī)和顯示器可以捕獲或顯示高動態(tài)范圍的圖像。
[0013]在這樣的情形下，盡管要求加寬解碼圖像的動態(tài)范圍來顯示各種動態(tài)范圍的圖像，但是在非專利文獻(xiàn)1中未定義解碼圖像的動態(tài)范圍。
[0014]鑒于這種情形，本公開內(nèi)容可以精確地再現(xiàn)圖像的動態(tài)范圍。
[0015][問題的解決方案]
[0016]根據(jù)本公開內(nèi)容的第一方面的圖像處理裝置具有:編碼單元，其對圖像執(zhí)行編碼操作并且生成比特流；設(shè)置單元，其給捕獲圖像設(shè)置表示要分配給顯影圖像的動態(tài)范圍的特征的動態(tài)范圍特征信息；以及發(fā)送單元，其發(fā)送由編碼單元生成的比特流和由設(shè)置單元設(shè)置的動態(tài)范圍特征信息。
[0017]設(shè)置單元可以給捕獲圖像設(shè)置表示要分配給顯影圖像的動態(tài)范圍的代碼的代碼信息作為動態(tài)范圍特征信息。
[0018]設(shè)置單元可以給捕獲圖像的白電平設(shè)置表示要分配給顯影圖像的代碼的代碼信息作為動態(tài)范圍特征信息。
[0019]設(shè)置單元可以給捕獲圖像的白電平設(shè)置表示要分配給顯影圖像的代碼的白電平代碼信息作為動態(tài)范圍特征信息。
[0020]設(shè)置單元可以設(shè)置表示要分配給顯影圖像的白電平的代碼的最大值的最大白電平代碼信息作為動態(tài)范圍特征信息。
[0021]設(shè)置單元可以設(shè)置表示顯影圖像的黑電平的代碼的黑電平代碼信息作為動態(tài)范圍特征信息。
[0022]設(shè)置單元可以設(shè)置表示顯影圖像的灰電平的代碼的灰電平代碼信息作為動態(tài)范圍特征信息。
[0023]設(shè)置單元可以設(shè)置表示捕獲圖像的白電平的最大值的最大白電平信息作為動態(tài)范圍特征信息。
[0024]設(shè)置單元可以設(shè)置表示通過對比特流執(zhí)行解碼操作所獲得的圖像的感興趣區(qū)域的亮度的范圍的信息作為動態(tài)范圍特征信息。
[0025]設(shè)置單元可以設(shè)置表示通過對比特流執(zhí)行解碼操作所獲得的圖像的感興趣區(qū)域的位置和偏移的信息作為動態(tài)范圍特征信息。
[0026]發(fā)送單元可以發(fā)送動態(tài)范圍特征信息作為用于顯示通過對比特流執(zhí)行解碼操作所獲得的圖像的輔助信息。
[0027]發(fā)送單元可以發(fā)送動態(tài)范圍特征信息作為通過擴(kuò)展現(xiàn)有的輔助信息所獲得的擴(kuò)展輔助信息。
[0028]發(fā)送單元可以發(fā)送動態(tài)范圍特征信息作為色調(diào)映射信息SEI (補(bǔ)充增強(qiáng)信息)。
[0029]發(fā)送單元可以通過針對色調(diào)映射信息SEI對用于發(fā)送動態(tài)范圍特征信息的model_id( “模型_id”)進(jìn)行擴(kuò)展，并且發(fā)送動態(tài)范圍特征信息作為SEI。
[0030]發(fā)送單元可以發(fā)送動態(tài)范圍特征信息作為通過序列表示圖像的可用性的VUI (視頻可用性信息)。
[0031]編碼單元可以根據(jù)符合AVC/H.264的編碼技術(shù)對圖像執(zhí)行編碼操作。
[0032]根據(jù)本公開內(nèi)容的第一方面的圖像處理方法包括:對圖像執(zhí)行編碼操作并且生成比特流；給捕獲圖像設(shè)置表示要分配給顯影圖像的動態(tài)范圍的特征的動態(tài)范圍特征信息；以及發(fā)送所生成的比特流和所設(shè)置的動態(tài)范圍特征信息。
[0033]根據(jù)本公開內(nèi)容的第二方面的圖像處理裝置具有:解碼單元，其對比特流執(zhí)行解碼操作并且生成圖像；以及圖像調(diào)整單元，其將表示要分配給顯影圖像的動態(tài)范圍的特征的動態(tài)范圍特征信息用于捕獲圖像，并且對由解碼單元生成的圖像的動態(tài)范圍進(jìn)行調(diào)整。
[0034]圖像處理裝置還具有接收單元，該接收單元接收比特流和特征信息，并且解碼單元可以對由接收單元接收的比特流執(zhí)行解碼操作，以及圖像調(diào)整單元可以利用由接收單元接收的動態(tài)范圍特征信息和對由解碼單元生成的圖像的動態(tài)范圍進(jìn)行調(diào)整。
[0035]根據(jù)本公開內(nèi)容的第二方面的圖像處理方法包括:對比特流執(zhí)行解碼操作并且生成圖像；以及將表示要分配給顯影圖像的動態(tài)范圍的特征的動態(tài)范圍特征信息用于捕獲圖像，并且對所生成的圖像的動態(tài)范圍進(jìn)行調(diào)整。
[0036]在本公開內(nèi)容的第一方面中，對圖像執(zhí)行編碼操作并且生成比特流，以及給捕獲圖像設(shè)置表示要分配給顯影圖像的動態(tài)范圍的特征的動態(tài)范圍特征信息。此外，發(fā)送所生成的比特流和所設(shè)置的動態(tài)范圍特征信息。
[0037]在本公開內(nèi)容的第二方面中，對比特流執(zhí)行解碼操作并且生成圖像。此外，將表示要分配給顯影圖像的動態(tài)范圍的特征的動態(tài)范圍特征信息用于捕獲圖像，并且對所生成的圖像的動態(tài)范圍進(jìn)行調(diào)整。
[0038]另外，上述圖像處理裝置可以是獨(dú)立裝置，或者可以是形成一個圖像編碼裝置或圖像解碼裝置的內(nèi)部塊。
[0039][發(fā)明的有益效果]
[0040]根據(jù)本公開內(nèi)容的第一方面，可以對圖像進(jìn)行編碼。具體地，可以精確地再現(xiàn)圖像的動態(tài)范圍。
[0041]根據(jù)本公開內(nèi)容的第二方面，可以對圖像進(jìn)行解碼。具體地，可以精確地再現(xiàn)圖像的動態(tài)范圍。

【專利附圖】

【附圖說明】
[0042][圖1]圖1是示出了SEI語法的示例的圖。
[0043][圖2]圖2是示出了色調(diào)映射SEI語法的示例的圖。
[0044][圖3]圖3是示出了應(yīng)用本技術(shù)的編碼裝置的第一實(shí)施方式的示例結(jié)構(gòu)的框圖。
[0045][圖4]圖4是示出了圖1中的編碼單元的示例結(jié)構(gòu)的框圖。
[0046][圖5]圖5是用于說明動態(tài)范圍的特征信息的圖。
[0047][圖6]圖6是用于說明動態(tài)范圍的特征信息的圖。
[0048][圖7]圖7是用于說明動態(tài)范圍的特征信息的圖。
[0049][圖8]圖8是示出了色調(diào)映射SEI語法的示例的圖。
[0050][圖9]圖9是示出了色調(diào)映射SEI語法的另一示例的圖。
[0051][圖10]圖10是示出了由相機(jī)靈敏度和曝光指數(shù)表示的指示符的含義的表格的圖。
[0052][圖11]圖11是示出了亮度動態(tài)范圍SEI語法的示例的圖。
[0053][圖12]圖12是示出了VUI語法的示例的圖。
[0054][圖13]圖13是示出了VUI語法的另一示例的圖。
[0055][圖14]圖14是示出了VUI語法的另一示例的圖。
[0056][圖15]圖15是用于說明動態(tài)范圍的特征信息的語法的圖。
[0057][圖16]圖16是用于說明圖3中的編碼裝置的生成操作的流程圖。
[0058][圖17]圖17是用于說明圖16中的編碼操作的細(xì)節(jié)的流程圖。
[0059][圖18]圖18是用于說明圖16中的編碼操作的細(xì)節(jié)的流程圖。
[0060][圖19]圖19是示出了應(yīng)用本技術(shù)的解碼裝置的第一實(shí)施方式的示例結(jié)構(gòu)的框圖。
[0061][圖20]圖20是示出了圖19中的解碼單元的示例結(jié)構(gòu)的框圖。
[0062][圖21]圖21是用于說明圖19中的解碼裝置的顯示操作的流程圖。
[0063][圖22]圖22是用于說明圖21中的解碼操作的細(xì)節(jié)的流程圖。
[0064][圖23]圖23是示出了應(yīng)用本技術(shù)的編碼裝置的第二實(shí)施方式的示例結(jié)構(gòu)的框圖。
[0065][圖24]圖24是示出了圖23中的編碼單元的示例結(jié)構(gòu)的框圖。
[0066][圖25]圖25是示出了應(yīng)用本技術(shù)的解碼裝置的第二實(shí)施方式的示例結(jié)構(gòu)的框圖。
[0067][圖26]圖26是示出了圖25中的解碼單元的示例結(jié)構(gòu)的框圖。
[0068][圖27]圖27是示出了多視圖圖像編碼技術(shù)的示例的圖。
[0069][圖28]圖28是示出了應(yīng)用本公開內(nèi)容的多視圖圖像編碼裝置的主要示例結(jié)構(gòu)的圖。
[0070][圖29]圖29是示出了應(yīng)用本公開內(nèi)容的多視圖圖像編碼裝置的主要示例結(jié)構(gòu)的圖。
[0071][圖30]圖30是示出了分層圖像編碼技術(shù)的示例的圖。
[0072][圖31]圖31是示出了應(yīng)用本公開內(nèi)容的分層圖像編碼裝置的主要示例結(jié)構(gòu)的圖。
[0073][圖32]圖32是示出了應(yīng)用本公開內(nèi)容的分層圖像解碼裝置的主要示例結(jié)構(gòu)的圖。
[0074][圖33]圖33是示出了計(jì)算機(jī)的主要示例結(jié)構(gòu)的框圖。
[0075][圖34]圖34是示出了電視裝置的示意性結(jié)構(gòu)的示例的框圖。
[0076][圖35]圖35是示出了便攜式電話裝置的示意性結(jié)構(gòu)的示例的框圖。
[0077][圖36]圖36是示出了記錄/再現(xiàn)裝置的示意性結(jié)構(gòu)的示例的框圖
[0078][圖37]圖37是示出了成像裝置的示意性結(jié)構(gòu)的示例的框圖。

【具體實(shí)施方式】
[0079]下面是用于執(zhí)行本技術(shù)的模式的描述(在下文中被稱作實(shí)施方式)。將按照下面的順序進(jìn)行說明。
[0080]1.第一實(shí)施方式(根據(jù)HEVC技術(shù)的編碼/解碼裝置)
[0081]2.第二實(shí)施方式(根據(jù)AVC技術(shù)的編碼/解碼裝置)
[0082]3.第三實(shí)施方式(多視圖圖像編碼/多視圖圖像解碼裝置)
[0083]4.第四實(shí)施方式(分層圖像編碼/分層圖像解碼裝置)
[0084]5.第五實(shí)施方式(計(jì)算機(jī))
[0085]6.應(yīng)用示例
[0086]<第一實(shí)施方式>
[0087][編碼裝置的第一實(shí)施方式的示例結(jié)構(gòu)]
[0088]圖3是示出了根據(jù)作為應(yīng)用本技術(shù)的圖像處理裝置的編碼裝置的第一實(shí)施方式的示例結(jié)構(gòu)的框圖。
[0089]圖3中的編碼裝置1具有編碼單元2、設(shè)置單元3和發(fā)送單元4，并且根據(jù)HEVC技術(shù)對圖像如捕獲圖像進(jìn)行編碼。
[0090]更具體地，編碼裝置1的編碼單元2接收諸如基于幀的捕獲圖像的圖像的輸入作為輸入信號。編碼單元2根據(jù)HEVC技術(shù)對該輸入信號進(jìn)行編碼，并且將所得到的編碼數(shù)據(jù)提供給設(shè)置單元3。
[0091]設(shè)置單元3對SPS(序列參數(shù)集合)、PPS(圖片參數(shù)集合)、SEI (補(bǔ)充增強(qiáng)信息)以及每序列表示與編碼數(shù)據(jù)對應(yīng)的圖像的特征(可用性)的VUI(視頻可用性信息)進(jìn)行設(shè)置。設(shè)置單元3根據(jù)所設(shè)置的SPS、PPS、VUI和SEI以及從編碼單元2提供的編碼數(shù)據(jù)來生成編碼流。設(shè)置單元3將編碼流提供給發(fā)送單元4。
[0092]發(fā)送單元4將從設(shè)置單元3提供的編碼流發(fā)送至下面將描述的解碼裝置。
[0093][編碼單元的示例結(jié)構(gòu)]
[0094]圖4是示出了圖3中的編碼單元2的示例結(jié)構(gòu)的框圖。
[0095]圖4中的編碼單元2包括A/D轉(zhuǎn)換器11、畫面重排緩沖器12、算術(shù)運(yùn)算單元13、正交變換單元14、量化單元15、無損編碼單元16、累積緩沖器17、逆量化單元18、逆正交變換單元19、加法單元20、去塊濾波器21、幀存儲器22、開關(guān)23、幀內(nèi)預(yù)測單元24、運(yùn)動預(yù)測/補(bǔ)償單元25、預(yù)測圖像選擇單元26和速率控制單元27。
[0096]此外，在去塊濾波器21與幀存儲器22之間還設(shè)置有自適應(yīng)偏移濾波器41和自適應(yīng)環(huán)路濾波器42。
[0097]具體地，編碼單元2的A/D轉(zhuǎn)換器11對作為輸入信號輸入的基于幀的圖像執(zhí)行A/D轉(zhuǎn)換，并且將該圖像輸出和存儲至畫面重排緩沖器12。畫面重排緩沖器12對以顯示順序存儲的圖像的幀進(jìn)行重，排使得根據(jù)G0P(圖片組)結(jié)構(gòu)以編碼順序布置圖像的幀，并且將重排后的基于幀的圖像輸出至算術(shù)運(yùn)算單元13、幀內(nèi)預(yù)測單元24和運(yùn)動預(yù)測/補(bǔ)償單元25。
[0098]算術(shù)運(yùn)算單元13計(jì)算從預(yù)測圖像選擇單元26提供的預(yù)測圖像與從畫面重排緩沖器12輸出的編碼目標(biāo)圖像之間的差異來執(zhí)行編碼。具體地，算術(shù)運(yùn)算單元13通過從從畫面重排緩沖器12輸出的編碼目標(biāo)圖像中減去從預(yù)測圖像選擇單元26提供的預(yù)測圖像來執(zhí)行編碼。算術(shù)運(yùn)算單元13將所得到的圖像作為殘差信息輸出至正交變換單元14。當(dāng)未從預(yù)測圖像選擇單元26提供任何預(yù)測圖像時，算術(shù)運(yùn)算單元13將從畫面重排緩沖器12讀取的圖像作為殘差信息輸出至正交變換單元14。
[0099]正交變換單元14對從算術(shù)運(yùn)算單元13提供的殘差信息執(zhí)行正交變換，并且將由正交變換的結(jié)果而獲得的系數(shù)提供給量化單元15。
[0100]量化單元15對從正交變換單元14提供的系數(shù)進(jìn)行量化。經(jīng)量化的系數(shù)被輸入至無損編碼單元16。
[0101]無損編碼單元16從幀內(nèi)預(yù)測單元24獲得表示最佳幀內(nèi)預(yù)測模式的信息(在下文中，被稱作“幀內(nèi)預(yù)測模式信息”)。此外，無損編碼單元16從運(yùn)動預(yù)測/補(bǔ)償單元25獲得表示最佳幀間預(yù)測模式的信息(在下文中，被稱作“幀間預(yù)測模式信息”)、運(yùn)動矢量和用于指定參考圖像的信息。此外，無損編碼單元16從自適應(yīng)偏移濾波器41獲得存儲標(biāo)志、索引或偏移和類型信息作為偏移濾波器信息，并且從自適應(yīng)環(huán)路濾波器42獲得濾波器系數(shù)。
[0102]無損編碼單元16對從量化單元15提供的經(jīng)量化的系數(shù)執(zhí)行無損編碼，如可變長度編碼(例如CAVLC(上下文自適應(yīng)可變長度編碼))或算術(shù)編碼(CABAC (上下文自適應(yīng)二進(jìn)制算術(shù)編碼))。
[0103]此外，無損編碼單元16對作為與編碼有關(guān)的編碼信息的幀內(nèi)預(yù)測模式信息或幀間預(yù)測模式信息、運(yùn)動矢量、用于指定參考圖像的信息、偏移濾波器信息以及濾波器系數(shù)執(zhí)行無損編碼。無損編碼單元16將經(jīng)歷無損編碼的編碼信息和系數(shù)作為編碼數(shù)據(jù)提供和存儲至累積緩沖器17。另外，經(jīng)歷無損編碼的編碼信息可以是經(jīng)歷無損編碼的系數(shù)的報(bào)頭信肩、Ο
[0104]累積緩沖器17臨時存儲從無損編碼單元16提供的編碼數(shù)據(jù)。此外，累積緩沖器17將所存儲的編碼數(shù)據(jù)提供給圖3中的設(shè)置單元3。
[0105]此外，從量化單元15輸出的經(jīng)量化的系數(shù)還被輸入至逆量化單元18，并且在逆量化之后，被提供給逆正交變換單元19。
[0106]逆正交變換單元19對從逆量化單元18提供的系數(shù)執(zhí)行逆正交變換，并且將所得到的殘差信息提供給加法單元20。
[0107]加法單元20將作為解碼目標(biāo)圖像從逆正交變換單元19提供的殘差信息與從預(yù)測圖像選擇單元26提供的預(yù)測圖像相加，并且獲得局部解碼圖像。另外，如果不存在從預(yù)測圖像選擇單元26提供的預(yù)測圖像，則加法單元20將從逆正交變換單元19提供的殘差信息設(shè)置為局部解碼圖像。加法單元20將局部解碼圖像提供給去塊濾波器21，并且將局部解碼圖像提供給幀存儲器22。
[0108]去塊濾波器21對從加法單元20提供的局部解碼圖像執(zhí)行濾波，以消除塊失真。去塊濾波器21將所得到的圖像提供給自適應(yīng)偏移濾波器41。
[0109]在由去塊濾波器21執(zhí)行的自適應(yīng)去塊濾波操作之后，自適應(yīng)偏移濾波器41執(zhí)行主要從圖像中消除振鈴的自適應(yīng)偏移濾波(SA0:樣本自適應(yīng)偏移)操作。
[0110]更具體地，自適應(yīng)偏移濾波器41每IXU (Largest Coding Unit)確定自適應(yīng)偏移濾波操作的類型，并且計(jì)算用于該自適應(yīng)偏移濾波操作的偏移，IXU(Largest CodingUnit)是最大編碼單元。自適應(yīng)偏移濾波器41使用所計(jì)算的偏移，并且根據(jù)經(jīng)歷自適應(yīng)去塊濾波操作的圖像對所確定的類型執(zhí)行自適應(yīng)偏移濾波操作。此外，自適應(yīng)偏移濾波器41將經(jīng)歷自適應(yīng)偏移濾波操作的圖像提供給自適應(yīng)環(huán)路濾波器42。
[0111]此外，自適應(yīng)偏移濾波器41具有存儲偏移的緩沖器。自適應(yīng)偏移濾波器41每LCU決定用于自適應(yīng)去塊濾波操作的偏移是否已經(jīng)被存儲在緩沖器中。
[0112]當(dāng)確定用于自適應(yīng)去塊濾波操作的偏移已經(jīng)被存儲在緩沖器中時，自適應(yīng)偏移濾波器41將表示偏移是否被存儲在緩沖器中的存儲標(biāo)志設(shè)置成表示偏移被存儲在緩沖器中的值(在這種情況下1)。
[0113]此外，自適應(yīng)偏移濾波器41每LCU將被設(shè)置成1的存儲標(biāo)志、表示偏移在緩沖器中的存儲位置的索引以及表示所執(zhí)行的自適應(yīng)偏移濾波操作的類型的類型信息提供給無損編碼單元16。
[0114]同時，當(dāng)用于自適應(yīng)去塊濾波操作的偏移還未被存儲在緩沖器中時，自適應(yīng)偏移濾波器41隨后將該偏移存儲在緩沖器中。此外，自適應(yīng)偏移濾波器41將存儲標(biāo)志設(shè)置成表示偏移未被存儲在緩沖器中的值(在這種情況下0)。此外，自適應(yīng)偏移濾波器41每IXU將被設(shè)置成0的存儲標(biāo)志、偏移和類型信息提供給無損編碼單元16。
[0115]自適應(yīng)環(huán)路濾波器42例如每IXU對從自適應(yīng)偏移濾波器41提供的、經(jīng)歷自適應(yīng)偏移濾波操作的圖像執(zhí)行自適應(yīng)環(huán)路濾波(ALF:自適應(yīng)環(huán)路濾波)。例如，對于自適應(yīng)環(huán)路濾波操作，使用利用例如二維維納濾波器的操作。不言而喻，也可以使用除了維納濾波器之外的濾波器。
[0116]更具體地，自適應(yīng)環(huán)路濾波器42每IXU計(jì)算用于自適應(yīng)環(huán)路濾波操作的濾波器系數(shù)，使得作為從畫面重排緩沖器12輸出的圖像的原始圖像與自適應(yīng)環(huán)路濾波操作之后的圖像之間的殘差最小。此外，自適應(yīng)環(huán)路濾波器42每IXU使用所計(jì)算的濾波器系數(shù)對經(jīng)歷自適應(yīng)偏移濾波操作的圖像執(zhí)行自適應(yīng)環(huán)路濾波操作。
[0117]自適應(yīng)環(huán)路濾波器42將經(jīng)歷自適應(yīng)環(huán)路濾波操作的圖像提供給幀存儲器22。此夕卜，自適應(yīng)環(huán)路濾波器42將濾波器系數(shù)提供給無損編碼單元16。
[0118]另外，雖然每LCU執(zhí)行自適應(yīng)環(huán)路濾波操作，但是自適應(yīng)環(huán)路濾波操作的處理單元不限于LCU。同時，通過對自適應(yīng)偏移濾波器41和自適應(yīng)環(huán)路濾波器42的處理單元進(jìn)行集成，可以有效地執(zhí)行操作。
[0119]然后，存儲在幀存儲器22中的圖像作為參考圖像通過開關(guān)23被輸出至幀內(nèi)預(yù)測單元24或運(yùn)動預(yù)測/補(bǔ)償單元25。
[0120]幀內(nèi)預(yù)測單元24使用通過開關(guān)23從幀存儲器22讀取且未由去塊濾波器21濾波的參考圖像、以片和片段為單位執(zhí)行所有候選幀內(nèi)預(yù)測模式的幀內(nèi)預(yù)測操作。
[0121]此外，幀內(nèi)預(yù)測單元24基于從畫面重排緩沖器12讀取的圖像以及作為幀內(nèi)預(yù)測操作結(jié)果生成的預(yù)測圖像來計(jì)算所有候選幀內(nèi)預(yù)測模式的代價函數(shù)值(下文將描述其細(xì)節(jié))。此外，然后，幀內(nèi)預(yù)測單元24將具有最小代價函數(shù)值的幀內(nèi)預(yù)測模式確定為最佳幀內(nèi)預(yù)測模式。
[0122]幀內(nèi)預(yù)測單元24將在最佳幀內(nèi)預(yù)測模式下生成的預(yù)測圖像和相應(yīng)的代價函數(shù)值提供給預(yù)測圖像選擇單元26。當(dāng)由預(yù)測圖像選擇單元26通知選擇在最佳幀內(nèi)預(yù)測模式下生成的預(yù)測圖像時，幀內(nèi)預(yù)測單元24將幀內(nèi)預(yù)測模式信息提供給無損編碼單元16。
[0123]應(yīng)當(dāng)注意的是，代價函數(shù)值也稱作RD (速率失真)代價，并且通過如由JM(聯(lián)合模型)中所指定的、例如為H.264/AVC中的參考軟件的高復(fù)雜度模式或低復(fù)雜度模式的技術(shù)來計(jì)算。
[0124]具體地，在高復(fù)雜度模式用作計(jì)算代價函數(shù)值的方法的情況下，對所有候選預(yù)測模式臨時執(zhí)行以無損編碼結(jié)束的操作，并且對于每種預(yù)測模式計(jì)算由下面的等式(1)表達(dá)的代價函數(shù)值。
[0125]成本(模式)=D+λ.R...⑴
[0126]D表示原始圖像與解碼圖像之間的差異(失真)，R表示包括正交變換系數(shù)的比特生成速率，以及λ表示給定量化參數(shù)QP的函數(shù)下的拉格朗日乘法器。
[0127]另一方面，在低復(fù)雜度模式用作計(jì)算代價函數(shù)值的方法的情況下，生成解碼圖像，并且在所有候選預(yù)測模式下計(jì)算報(bào)頭比特(如表示預(yù)測模式的信息)。然后，對于每種預(yù)測模式計(jì)算由下面的等式(2)表達(dá)的代價函數(shù)值。
[0128]成本(模式)=D+QPtoQuant(QP).報(bào)頭 _ 比特…(2)
[0129]D表示原始圖像與解碼圖像之間的差異(失真)，報(bào)頭_比特(header_bit)表示與預(yù)測模式對應(yīng)的報(bào)頭比特，以及QPtoQuant是作為量化參數(shù)QP下的函數(shù)給定的函數(shù)。
[0130]在低復(fù)雜度模式下，在所有預(yù)測模式下簡單地生成解碼圖像，并且無需執(zhí)行無損編碼。因此，計(jì)算量小。
[0131]運(yùn)動預(yù)測/補(bǔ)償單元25以片和片段為單位在所有候選幀間預(yù)測模式下執(zhí)行運(yùn)動預(yù)測/補(bǔ)償操作。更具體地，運(yùn)動預(yù)測/補(bǔ)償單元25基于從畫面重排緩沖器12提供的圖像和通過開關(guān)23從幀存儲器22讀取的經(jīng)濾波的參考圖像，以片和片段為單位檢測所有候選幀間預(yù)測模式的運(yùn)動矢量。此外，運(yùn)動預(yù)測/補(bǔ)償單元25基于該運(yùn)動矢量以片和片段為單位對參考圖像執(zhí)行補(bǔ)償操作，并且生成預(yù)測圖像。
[0132]在這種情況下，運(yùn)動預(yù)測/補(bǔ)償單元25基于從畫面重排緩沖器12提供的圖像和預(yù)測圖像來計(jì)算所有候選幀間預(yù)測模式的代價函數(shù)值，并且將最小代價函數(shù)值的幀間預(yù)測模式確定為最佳幀間預(yù)測模式。此外，運(yùn)動預(yù)測/補(bǔ)償單元25將最佳幀間預(yù)測模式的代價函數(shù)值和相應(yīng)的預(yù)測圖像提供給預(yù)測圖像選擇單元26。當(dāng)由預(yù)測圖像選擇單元26通知選擇在最佳幀間預(yù)測模式下生成的預(yù)測圖像時，運(yùn)動預(yù)測/補(bǔ)償單元25將幀間預(yù)測模式信息、相應(yīng)的運(yùn)動矢量和用于指定參考圖像的信息輸出至無損編碼單元16。
[0133]預(yù)測圖像選擇單元26基于從幀內(nèi)預(yù)測單元24和運(yùn)動預(yù)測/補(bǔ)償單元25提供的代價函數(shù)值將最佳幀內(nèi)預(yù)測模式和最佳幀間預(yù)測模式中的較小的代價函數(shù)值的預(yù)測模式確定為最佳預(yù)測模式。此外，然后預(yù)測圖像選擇單元26將最佳預(yù)測模式下的預(yù)測圖像提供給算術(shù)運(yùn)算單元13和加法單元20。預(yù)測圖像選擇單元26還向幀內(nèi)預(yù)測單元24或運(yùn)動預(yù)測/補(bǔ)償單元25通知選擇最佳預(yù)測模式下的預(yù)測圖像。
[0134]基于存儲在累積緩沖器17中的編碼數(shù)據(jù)，速率控制單元27對量化單元15的量化操作速率進(jìn)行控制，以便不導(dǎo)致上溢或下溢。
[0135][動態(tài)范圍的特征信息的示例]
[0136]接下來，將參照圖5對由圖3中的設(shè)置單元3設(shè)置的動態(tài)范圍的特征信息進(jìn)行描述。另外，圖5中的垂直軸和水平軸上的值是示例性的，且不限于這些值。
[0137]在圖5的示例中，水平軸表示捕獲圖像的白電平。垂直軸表示被分配給顯影圖像的數(shù)字代碼。顯影圖像是其灰度由比特?cái)?shù)表示的圖像。
[0138]水平軸上的800%是相機(jī)靈敏度和最佳曝光(在圖像捕獲時和在顯影時)以及圖像捕獲時的最大亮度的值。該值作為camera_iso_sensitivity (相機(jī)_iso_靈敏度)和max_image_white_level (最大_ 圖像_ 白 _ 電平)被設(shè)置和發(fā)送，camera_iso_sensitivity和max_image_white_level是動態(tài)范圍的特征信息中的特征信息。
[0139]另外，雖然相機(jī)靈敏度和最佳曝光以及圖像捕獲時的最大亮度的值在該示例中是相同的值，但是在一些情況下這些值是不同的。
[0140]垂直軸上的對應(yīng)于該最大白電平的值(940)是被分配給顯影圖像的最大白電平的數(shù)字值，該值作為max_white_level_code_value (最大_白_電平_代碼_值)被設(shè)置和發(fā)送至解碼側(cè)，max_white_level_code_value是動態(tài)范圍的特征信息之一。
[0141]水平軸上的100%是顯示器的參考值(白電平)。垂直軸上的對應(yīng)于該白電平的值是被分配給顯影圖像的白電平(白色100% )的數(shù)字值，該值作為white_level_code_value (白_電平_代碼_值)被設(shè)置和發(fā)送至解碼側(cè),white_level_code_value是動態(tài)范圍的特征信息之一。
[0142]水平軸上的20%是通常用作表示灰色并且在很多情況下被設(shè)置在相機(jī)側(cè)的參考曝光的電平(灰電平)。垂直軸上的對應(yīng)于該灰電平的值是被分配給顯影圖像的灰電平(白色20% )的數(shù)字值，該值作為gray_level_code_value (灰_電平_代碼_值)被設(shè)置和發(fā)送至解碼側(cè)，gray_level_code_value是動態(tài)范圍的特征信息之一。
[0143]水平軸上的0%是黑電平。垂直軸上的對應(yīng)于該黑電平的值￠4)是被分配給顯影圖像的黑電平(白色0% )的數(shù)字值，該值作為black_level_code_value(黑_電平_代碼_值)被設(shè)置和發(fā)送至解碼側(cè)，black_level_code_value是動態(tài)范圍的特征信息之一。
[0144]如上所述，表示要被分配給顯影圖像的動態(tài)范圍的代碼的代碼信息作為動態(tài)范圍的特征信息被設(shè)置給捕獲圖像，并且被發(fā)送至解碼側(cè)。也就是說，表示要分配給顯影圖像的動態(tài)范圍的特征信息的動態(tài)范圍的特征信息被設(shè)置給捕獲圖像，并且被發(fā)送至解碼側(cè)。
[0145]動態(tài)范圍的特征信息由內(nèi)容創(chuàng)建側(cè)表示，并且作為表示內(nèi)容質(zhì)量的信息(其表示這樣的信息:與表示例如動態(tài)范圍比現(xiàn)有內(nèi)容的動態(tài)范圍寬的白電平有關(guān)的圖像的信息的高質(zhì)量或表示內(nèi)容的高潛力)被發(fā)送至顯示側(cè)(解碼側(cè))。
[0146]內(nèi)容創(chuàng)建側(cè)具有提供創(chuàng)建者想要的圖像(的狀態(tài))的動機(jī)。顯示側(cè)基于該信息執(zhí)行加寬(增加)或收窄(減小)動態(tài)范圍的操作。此外，通過參照該信息，顯示側(cè)可以精確地執(zhí)行下面的操作。
[0147]當(dāng)例如接收具有相比顯示側(cè)的顯示能力而言較高的動態(tài)范圍的圖像的輸入時，顯示側(cè)可以根據(jù)顯示側(cè)的顯示能力使用例如色調(diào)映射來執(zhí)行減小范圍的操作。
[0148]相反，當(dāng)接收具有相比顯示側(cè)的顯示能力而言較低的動態(tài)范圍的圖像的輸入時，顯示側(cè)可以根據(jù)顯示側(cè)的顯示能力使用例如色調(diào)映射來執(zhí)行增大范圍的操作。
[0149]盡管，當(dāng)未提供該信息時，顯示側(cè)需要對解碼圖像進(jìn)行分析和執(zhí)行色調(diào)映射，但是通過發(fā)送動態(tài)范圍的特征信息，其不需要對解碼圖像進(jìn)行分析和精確地調(diào)整動態(tài)范圍。
[0150]另夕卜，如圖6中所示，除了 white_level_code_value以外，還可以設(shè)置和發(fā)送在 black_level_code_value 與 max_white_level_code_value 之間的多個 white_level_code_value。
[0151]圖6 不出了 white_level_code_value_0 至 white_level_code_value_4 作為捕獲圖像的白電平被設(shè)置在0%與800%之間并且被發(fā)送的示例。
[0152]此外，盡管在上面的描述中已經(jīng)描述了其中max_white_level_code_value、white_level_code_value 和 black_level_code_value 被設(shè)置為值的不例，但是，max_white_level_code_value> white_level_code_value 和 black_level_code_value 可以被設(shè)置為范圍并且被發(fā)送。
[0153]圖7是示出了動態(tài)范圍的特征信息的示例的圖。
[0154]動態(tài)范圍的特征信息包括 camera—iso—sensitivity、output—exposure—index (輸出—曝光—指數(shù))、screen—lw (幽面—亮度)、black—level—code—value、gray—level_code_value、white_level_code_value 和 max—white_level_code_value。
[0155]如上面參照圖5所描述的，camera_iso_sensitivity由捕獲圖像時的相機(jī)靈敏度表示。output_exposure_index表示被設(shè)置成用于對圖像進(jìn)行顯影的處理中的曝光指數(shù)(即，顯影時的曝光指數(shù))。ref_screen_lw( “參考_畫面_亮度”)表示被設(shè)置成用于對圖像進(jìn)行顯影的處理中的白電平的參考顯示亮度。
[0156]如上面參照圖5 所描述的，black_level_code_value> gray_level_code_value>white_level_code_value 和 max_white_level_code_value 表不給其分配黑電平、灰電平、白電平和最大白電平的亮度的代碼數(shù)據(jù)。
[0157]也就是說，動態(tài)范圍的特征信息期望地包括圖像捕獲時的(捕獲圖像的)最大亮度、圖像捕獲時的最佳曝光值、顯影時的(顯影圖像的)最佳曝光值、在顯影之后被分配給最大白電平的數(shù)字值、在顯影之后被分配給白電平(白100% )的數(shù)字值、在顯影之后被分配給灰電平的數(shù)字值、在顯影之后被分配給黑電平的數(shù)字值以及在顯影之后白色100%與最大白色0%之間的數(shù)字值。
[0158]根據(jù)下面將描述的發(fā)送方法1至4中之一將動態(tài)范圍的這些特征信息片段發(fā)送至解碼側(cè)。
[0159]首先，參照圖8將通過擴(kuò)展現(xiàn)有的SEI (補(bǔ)償增強(qiáng)信息)來發(fā)送動態(tài)范圍的特征信息的示例描述為發(fā)送方法1。圖8是示出了色調(diào)映射SEI (tone_mapping_informat1n (色調(diào)_映射_信息)SEI)的示例的圖。SEI是用于顯示通過對編碼流執(zhí)行解碼操作所獲得的圖像的輔助信息。
[0160]如圖8中的圖框所示，通過在色調(diào)映射SEI中擴(kuò)展模型ID(model_id) = 4，動態(tài)范圍的上述特征信息被設(shè)置成色調(diào)映射SEI并且被發(fā)送。
[0161]另外，在圖框中，未畫陰影的camera_iso_sensitivity 和 output_exposure_index是作為相機(jī)的設(shè)置參數(shù)的現(xiàn)有信息(現(xiàn)有技術(shù))。同時，將這些信息片段包括在編碼比特流中并且發(fā)送編碼比特流或者使用這些信息片段并且調(diào)整動態(tài)范圍與現(xiàn)有技術(shù)不同。
[0162]另一方面，在圖框中，畫陰影的ref_ screen_lw、max_image_white_leve 1Λ black—level_code_value、white_level_code_value 和 max—white_level_code_value 由參數(shù)最新設(shè)置，并且與相關(guān)技術(shù)不同。
[0163]同時，雖然在過去的色調(diào)映射SEI中每RGB使用不同的分量，但是動態(tài)范圍的特征信息將解碼圖像的亮度分量設(shè)置為應(yīng)用目標(biāo)。
[0164]此外，TBD是要被確定的值，并且表示預(yù)先設(shè)置的值或當(dāng)創(chuàng)建內(nèi)容時設(shè)置的參數(shù)。
[0165]圖9是示出了色調(diào)映射SEI的另一示例的圖。
[0166]還在圖9的示例中，如圖框中所表示的，通過在色調(diào)映射SEI中擴(kuò)展模型ID(model_id) = 4，動態(tài)范圍的上述特征信息被設(shè)置成色調(diào)映射SEI并且被發(fā)送。
[0167]camera_iso_sensitivity_idc (相機(jī) _iso_ 靈敏度 _idc)表示由相機(jī)獲得的靈敏度的代碼。在下面將描述的圖10中的表格中表示了該代碼的含義。當(dāng)camera_iso_sensitivity_idc 指代 Extended_IS0(擴(kuò)展 _IS0)時，下一行中的 camera_iso_sensitivity 表不 IS0_number (IS0_ 數(shù)量)。S卩，通過將 camera_iso_sensitivity_idc 設(shè)置為 Extended_IS0,可以將 camera_iso_sensitivity_idc 設(shè)置成期望的值。
[0168]exposure_index_idc (曝光_指數(shù)_idc)表示這樣的代碼:該代碼表示圖像捕獲時的曝光指數(shù)。在下面將描述的圖10中的表格中表示了該代碼的含義。當(dāng)exposureindex_idc 指代 Extended_IS0 時，下一行中的 exposure_index_rating (曝光 _ 指數(shù) _ 比率)表不 IS0_number (IS0_ 數(shù)量)。S卩，通過將 exposure_index_idc 設(shè)置為 Extended_IS0，可以將exposure_index_idc設(shè)置成期望的值。
[0169]sign_image_exposure_value (標(biāo)記_圖像_曝光_值)表示顯影時的曝光相對于圖像捕獲時的曝光值的相對代碼。image_exposure_valueO (圖像_曝光_值0)表示顯影時的曝光相對于圖像捕獲時的曝光值的相對值的分子值。image_exposure_valuel (圖像_曝光_值1)表示顯影時的曝光相對于圖像捕獲時的曝光值的相對值的分母值。
[0170]也就是說，通過使用顯影時相對于圖像捕獲時的sign_image_exposure_value、image_exposure_valueO和image_exposure_valuel表不曝光值減小多少的相對值，可以得到顯影時的曝光值(圖8中的output_exposure_index)。通過這種方式,可以將顯影時的曝光值表示為十進(jìn)制數(shù)。
[0171]ref_screen_lw是假定以多少cd/m2 (燭光米)由白色顯示時所創(chuàng)建的內(nèi)容，并且表示該內(nèi)容需要由白色顯示。
[0172]max_image_white_level表示參照參考白電平被顯示為整數(shù)的百分比的圖像的亮度的動態(tài)范圍。
[0173]類似于圖8 中的不例，black_level_code_value> white_level_code_value 和max_white_level_code_value表示給其分配黑電平、白電平和最大白電平的亮度的代碼數(shù)據(jù)。
[0174]另外，類似于圖8的示例，還在圖9的示例中，在圖框中，未畫陰影的camera_iso—sensitivity、exposure_index_idc、sign_image_exposure_value、image_exposure_valueO和image_exposure_valuel是作為相機(jī)設(shè)置參數(shù)的現(xiàn)有信息(現(xiàn)有技術(shù))。將這些信息片段包括在編碼比特流中并且發(fā)送該編碼比特流或使用這些信息片段并且調(diào)整動態(tài)范圍與現(xiàn)有技術(shù)不同。
[0175]另一方面，在圖框中，畫陰影的ref_ screen_lw、max_image_white_leve 1Λ black—level_code_value、white_level_code_value 和 max—white_level_code_value 由參數(shù)最新設(shè)置，并且與現(xiàn)有技術(shù)不同。
[0176]圖10是示出了由相機(jī)靈敏度表示的指示符和由曝光指數(shù)表示的指示符的含義的表格。
[0177]當(dāng)例如指示符是0時,未具體地表示ISO數(shù)量。當(dāng)指示符是1是，將10表示為ISO數(shù)量。當(dāng)指示符是2至30時，盡管未示出，但是表示了 ISO數(shù)量。
[0178]當(dāng)指示符是31至254時，保留ISO數(shù)量。當(dāng)指示符是255時，將Extended_IS0表示為 ISO 數(shù)量。當(dāng) ISO 數(shù)量是 Extended_IS0 時，camera_iso_sensitivity_idc 和 exposure—index_idc兩者可以如上面參照圖9所描述地表示期望的值。
[0179]接下來，參照圖11將設(shè)置新的(專用的)SEI和發(fā)送動態(tài)范圍的特征信息的方法描述為發(fā)送方法2。圖11是示出了亮度動態(tài)范圍SEI (luminance_dynamic_range_informat1n SEI)的不例的圖。
[0180]也就是說，如圖11中所示，最新設(shè)置亮度動態(tài)范圍SEI(luminance_dynamic_range_inf0)。此外，如圖11的圖框中所示，動態(tài)范圍的上述特征信息被設(shè)置成該亮度動態(tài)范圍SEI并且被發(fā)送。另外，圖11的圖框中的動態(tài)范圍特征信息與上面參照圖8所描述的動態(tài)范圍特征信息基本上相同，并且將不再重復(fù)描述。
[0181]此外，發(fā)送方法3是通過將上述發(fā)送方法1和2與VUI (視頻可用性信息)參數(shù)相關(guān)聯(lián)來發(fā)送動態(tài)范圍特征信息的方法。VUI是以序列為單位表示圖像的可用性的信息。
[0182]圖12是與發(fā)送方法1相關(guān)聯(lián)的VUI語法的示例的圖。在圖12的示例中，tone_mapping_f lag (色調(diào)_映射_標(biāo)志)是表示存在/不存在信息的標(biāo)志，存在/不存在信息表示是否存在色調(diào)映射SEI。1表示指示存在色調(diào)映射SEI的色調(diào)映射標(biāo)志，而0表示不存在色調(diào)映射SEI。
[0183]圖13是示出了與發(fā)送方法2相關(guān)聯(lián)的VUI語法的示例的圖。在圖13的示例中，luminance_dynamic_range_flag (亮度動態(tài)范圍標(biāo)志)是表示存在/不存在信息的標(biāo)志，存在/不存在信息表示是否存在亮度動態(tài)范圍SEI。1表示指示存在亮度動態(tài)范圍SEI的亮度動態(tài)范圍標(biāo)志，而0表示不存在亮度動態(tài)范圍SEI。
[0184]最后，發(fā)送方法4可以發(fā)送動態(tài)范圍特征信息作為上述VUI參數(shù)。也就是說，在這種情況下，代替圖12或13中示出的標(biāo)志(或除了標(biāo)志以外)，動態(tài)范圍特征信息本身作為VUI參數(shù)被發(fā)送。
[0185]同時，當(dāng)動態(tài)范圍特征信息被包括在SEI中時，動態(tài)范圍特征信息不僅可應(yīng)用于HEVC技術(shù)而且也可應(yīng)用于AVC技術(shù)。同時，VUI包括在顯示側(cè)上所使用的很多值，使得當(dāng)動態(tài)范圍特征信息被包括在VUI中時可以對信息進(jìn)行組合。
[0186]圖14是示出了發(fā)送方法4的情況下的VUI語法的示例的圖。
[0187]在圖14的VUI語法中，在圖框的頂部，描述了圖12中的tone_mapping_flag (色調(diào)映射標(biāo)志)，以及當(dāng)立即描述動態(tài)范圍特征信息時色調(diào)映射標(biāo)志是1 (只要其被包括在VUI中，則可以不立即描述動態(tài)范圍特征信息)，而當(dāng)不描述動態(tài)范圍特征信息時色調(diào)映射標(biāo)志是0。
[0188]因此，當(dāng)色調(diào)映射標(biāo)志是1時，解碼側(cè)參照圖14的圖框中示出的動態(tài)范圍特征信肩、Ο
[0189]另外，圖14中示出的動態(tài)范圍特征信息與上面參照圖9所描述的動態(tài)范圍特征信息相同，并且將不再重復(fù)描述。
[0190]圖15是示出了動態(tài)范圍特征信息的示例的圖。另外，動態(tài)范圍特征信息是色度映射SEI中所描述的信息、上述亮度動態(tài)范圍SEI或VUI，以及在圖15中的示例中，在語法的報(bào)頭處描述“xxxxxO ”，以便不指定描述位置。
[0191]在下面添加表示感興趣區(qū)域的亮度的范圍和/或感興趣區(qū)域的位置和偏移的信息，圖15中的動態(tài)范圍特征信息中的max_white_level_code_value不同于圖9中的動態(tài)范圍特征信息。
[0192]也就是說，roi_luminance_range_flag(roi_亮度_范圍_標(biāo)志)是表示是否描述了表示感興趣區(qū)域的亮度的范圍和/或感興趣區(qū)域的位置和偏移的信息的標(biāo)志。
[0193]當(dāng)roi_luminance_range_flag是1時，在使用黑色填充的部分中表示min_roi_luminance_range (最小 _roi_ 亮度 _ 范圍)、max_roi_luminance_range (最大 _roi_ 亮度 _ 范圍)、roi_reg1n_x (roi_ 區(qū)域 _x)、roi_reg1n_y (roi_ 區(qū)域 _y)、roi_reg1n_x_offset (roi_ 區(qū)域 _x_ 偏置)和 roi_reg1n_y_offset (roi_ 區(qū)域 _y_ 偏置)。
[0194]min_roi_luminance_range表示感興趣區(qū)域的亮度范圍的最小值。max_roi_luminance_range表示感興趣區(qū)域的亮度范圍的最大值。roi_reg1n_x和roi_reg1n_y分別表示感興趣區(qū)域中的左上角X坐標(biāo)和1坐標(biāo)。
[0195]roi_reg1n_x_offset (roi_ 區(qū)域 _x_ 偏置)和 roi_reg1n_y_offset (roi_ 區(qū)域_y_偏置)表示與左上角roi_reg1n_x和roi_reg1n_y的偏移的值。通過這種方式，可以表示自roi_reg1n_x和roi_reg1n_y的感興趣區(qū)域。
[0196]如上所述，感興趣區(qū)域的亮度范圍和(或)感興趣區(qū)域的位置和偏移被包括在動態(tài)范圍特征信息中，使得可以通知編碼側(cè)需要執(zhí)行與感興趣區(qū)域匹配的色度映射。
[0197]另外，可以添加例如電影內(nèi)容中的強(qiáng)調(diào)低亮度范圍的黑色強(qiáng)度標(biāo)志或電視內(nèi)容中的強(qiáng)調(diào)聞売度范圍的白色強(qiáng)調(diào)標(biāo)志代替感興趣區(qū)域的売度范圍。
[0198]盡管在過去可以由顯示器表示的分辨率低，因此內(nèi)容創(chuàng)建者不需要包括等于或大于100%的白色，但是，最近出現(xiàn)了可以再現(xiàn)較高分辨率的顯示器。
[0199]因此，如上所述，給具有僅100%白色的視頻圖像提供等于或大于100%的白色，并且顯示能力變化，以及在該顯示器中提供將視頻圖像轉(zhuǎn)換成與顯示器匹配的視頻圖像的信息。
[0200]通過這種方式，顯示側(cè)可以精確地再現(xiàn)動態(tài)范圍。
[0201][編碼裝置的操作的描述]
[0202]圖16是用于說明圖3中的編碼裝置1的生成操作的流程圖。另外，在圖16的示例中，將描述上述發(fā)送方法3的示例。
[0203]在圖16的步驟S1中，編碼裝置1的編碼單元2執(zhí)行根據(jù)HEVC技術(shù)對從外部輸入為輸入信號的圖像(如基于幀的捕獲圖像)進(jìn)行編碼的編碼操作。下文將參照圖17和圖18詳細(xì)地描述該編碼操作。
[0204]在步驟S2中，設(shè)置單元3設(shè)置SPS。在步驟S3中，設(shè)置單元3設(shè)置PPS。在步驟S4中，設(shè)置單元3基于例如未示出的輸入單元的用戶操作來決定編碼目標(biāo)圖像是否是HDR(高動態(tài)范圍)圖像。另外。下文將包括上述動態(tài)范圍的特征信息的圖像稱作“HDR圖像”。
[0205]當(dāng)在步驟S4中確定編碼目標(biāo)圖像是HDR圖像時，在步驟S5中，設(shè)置單元3將包括1的VUI設(shè)置為HDR圖像標(biāo)志。在步驟S6中，設(shè)置單元3設(shè)置SEI如HDR圖像SEI，并且將操作移動到步驟S8。
[0206]同時，HDR圖像標(biāo)志是上面參照圖12所描述的tone_mapping_flag或上面參照圖13所描述的luminance_dynamic_range_flag。此外,HDR圖像SEI是上面參照圖8所描述的色調(diào)映射SEI或上面參照圖11所描述的亮度動態(tài)范圍SEI。
[0207]同時，當(dāng)在步驟S4中確定編碼目標(biāo)圖像不是HDR圖像時，在步驟S7中，設(shè)置單元3將包括0的VUI設(shè)置為HDR圖像標(biāo)志。此外，如果需要，設(shè)置單元3設(shè)置除了 HDR圖像SEI之外的SEI，并且將操作移動到步驟S8。
[0208]在步驟S8中，設(shè)置單元3根據(jù)所設(shè)置的SPS、PPS、VUI和SEI以及從編碼單元2提供的編碼數(shù)據(jù)來生成編碼流。設(shè)置單元3將編碼流提供給發(fā)送單元4。
[0209]在步驟S9中，發(fā)送單元4將從設(shè)置單元3提供的編碼流發(fā)送至下面將描述的解碼裝置，并且完成該操作。
[0210]圖17和圖18是用于說明圖16中的步驟S1中的編碼操作的細(xì)節(jié)的流程圖。
[0211]在圖17的步驟S11中，編碼單元2的A/D轉(zhuǎn)換器11對作為輸入信號輸入的基于幀的圖像執(zhí)行A/D轉(zhuǎn)換，并且將該圖像輸出和存儲到畫面重排緩沖器12中。
[0212]在步驟S12中，畫面重排緩沖器12對以顯示順序存儲的圖像的幀進(jìn)行重排，使得根據(jù)G0P (圖片組)結(jié)構(gòu)以編碼順序布置圖像的幀。畫面重排緩沖器12將重排的基于幀的圖像提供給算術(shù)運(yùn)算單元13、幀內(nèi)預(yù)測單元24和運(yùn)動預(yù)測/補(bǔ)償單元25。應(yīng)當(dāng)注意的是，以例如CU(編碼單元)為單位執(zhí)行下面將描述的步驟S13至S31的操作。
[0213]在步驟S13中，幀內(nèi)預(yù)測單元24在所有候選幀內(nèi)預(yù)測模式下執(zhí)行幀內(nèi)預(yù)測操作。此外，幀內(nèi)預(yù)測單元24基于從畫面重排緩沖器12讀取的圖像和作為幀內(nèi)預(yù)測操作結(jié)果生成的預(yù)測圖像，來計(jì)算所有候選幀內(nèi)預(yù)測模式的代價函數(shù)值。此外，然后，幀內(nèi)預(yù)測單元24將具有最小代價函數(shù)值的幀內(nèi)預(yù)測模式確定為最佳幀內(nèi)預(yù)測模式。幀內(nèi)預(yù)測單元24將在最佳幀內(nèi)預(yù)測模式下生成的預(yù)測圖像和相應(yīng)的代價函數(shù)值提供給預(yù)測圖像選擇單元26。
[0214]此外，運(yùn)動預(yù)測/補(bǔ)償單元25在所有候選幀間預(yù)測模式下執(zhí)行運(yùn)動預(yù)測/補(bǔ)償操作。此外，運(yùn)動預(yù)測/補(bǔ)償單元25基于從畫面重排緩沖器12提供的圖像和預(yù)測圖像來計(jì)算所有候選幀間預(yù)測模式的代價函數(shù)值，并且將具有最小代價函數(shù)值的幀間預(yù)測模式確定為最佳幀間預(yù)測模式。更進(jìn)一步，運(yùn)動預(yù)測/補(bǔ)償單元25將最佳幀間預(yù)測模式的代價函數(shù)值和相應(yīng)的預(yù)測圖像提供給預(yù)測圖像選擇單元26。
[0215]在步驟S14中，預(yù)測圖像選擇單元26根據(jù)步驟S13中的操作、基于從幀內(nèi)預(yù)測單元24和運(yùn)動預(yù)測/補(bǔ)償單元25提供的代價函數(shù)值，將最佳幀內(nèi)預(yù)測模式和最佳幀間預(yù)測模式中的較小的代價函數(shù)值的預(yù)測模式確定為最佳預(yù)測模式。此外，然后，預(yù)測圖像選擇單元26將最佳預(yù)測模式下的預(yù)測圖像提供給算術(shù)運(yùn)算單元13和加法單元20。
[0216]在步驟S15中，預(yù)測圖像選擇單元26確定最佳預(yù)測模式是否是最佳幀間預(yù)測模式。當(dāng)在步驟S15中確定最佳預(yù)測模式是最佳幀間預(yù)測模式時，預(yù)測圖像選擇單元26通知運(yùn)動預(yù)測/補(bǔ)償單元25選擇在最佳幀間預(yù)測模式下生成的預(yù)測圖像。
[0217]此外，在步驟S16中，運(yùn)動預(yù)測/補(bǔ)償單元25將幀間預(yù)測模式信息、相應(yīng)的運(yùn)動矢量和用于指定參考圖像的信息提供給無損編碼單元16。此外，然后，操作移動到步驟S18。
[0218]同時，當(dāng)在步驟S15中確定最佳預(yù)測模式不是最佳幀間預(yù)測模式時，即，當(dāng)最佳預(yù)測模式是最佳幀內(nèi)預(yù)測模式時，預(yù)測圖像選擇單元26向幀內(nèi)預(yù)測單元24通知選擇在最佳幀內(nèi)預(yù)測模式下生成的預(yù)測圖像。
[0219]此外，在步驟S17中，幀內(nèi)預(yù)測單元24將幀內(nèi)預(yù)測模式信息提供給無損編碼單元16。此外，然后，操作移動到步驟S18。
[0220]在步驟S18中，算術(shù)運(yùn)算單元13通過從從畫面重排緩沖器12提供的圖像中減去從預(yù)測圖像選擇單元26提供的預(yù)測圖像來執(zhí)行編碼。算術(shù)運(yùn)算單元13將所得到的圖像作為殘差信息輸出至正交變換單元14。
[0221]在步驟S19中，正交變換單元14對從算術(shù)運(yùn)算單元13提供的殘差信息執(zhí)行正交變換，并且將所得到的系數(shù)提供給量化單元15。
[0222]在步驟S20中，量化單元15對從正交變換單元14提供的系數(shù)進(jìn)行量化。經(jīng)量化的系數(shù)被輸入至無損編碼單元16和逆量化單元18。
[0223]在步驟S21中，逆量化單元18對從量化單元15提供的經(jīng)量化的系數(shù)進(jìn)行逆量化。
[0224]在步驟S22中，逆正交變換單元19對從逆量化單元18提供的系數(shù)執(zhí)行逆正交變換，并且將所得到的殘差信息提供給加法單元20。
[0225]在步驟S23中，加法單元20將從逆正交變換單元19提供的殘差信息與從預(yù)測圖像選擇單元26提供的預(yù)測圖像相加，并且獲得局部解碼圖像。加法單元20將所得到的圖像提供給去塊濾波器21和幀存儲器22。
[0226]在步驟S24中，去塊濾波器21對從加法單元20提供的局部解碼圖像執(zhí)行去塊濾波操作。去塊濾波器21將所得到的圖像提供給自適應(yīng)偏移濾波器41。
[0227]在步驟S25中，自適應(yīng)偏移濾波器41每LCU對從去塊濾波器21提供的圖像執(zhí)行自適應(yīng)偏移濾波操作。自適應(yīng)偏移濾波器41將所得到的圖像提供給自適應(yīng)環(huán)路濾波器42。此外，自適應(yīng)偏移濾波器41每LCU將存儲標(biāo)志、索引或偏移以及類型信息提供給無損編碼單元16。
[0228]在步驟S26中，自適應(yīng)環(huán)路濾波器42每IXU對從自適應(yīng)偏移濾波器41提供的圖像執(zhí)行自適應(yīng)環(huán)路濾波操作。自適應(yīng)環(huán)路濾波器42將所得到的圖像提供給幀存儲器22。此外，自適應(yīng)環(huán)路濾波器42將用于自適應(yīng)環(huán)路濾波操作的濾波器系數(shù)提供給無損編碼單元16。
[0229]在步驟S27中，幀存儲器22存儲濾波之前和之后的圖像。更具體地，幀存儲器22存儲從加法單元20提供的圖像和從自適應(yīng)環(huán)路濾波器42提供的圖像。然后，存儲在幀存儲器22中的圖像作為參考圖像通過開關(guān)23被輸出至幀內(nèi)預(yù)測單元24或運(yùn)動預(yù)測/補(bǔ)償單元25。
[0230]在步驟S28中，無損編碼單元16對作為編碼信息的幀內(nèi)預(yù)測模式信息或幀間預(yù)測模式信息、運(yùn)動矢量、用于指定參考圖像的信息、偏移濾波器信息和濾波器系數(shù)執(zhí)行無損編碼。
[0231]在步驟S29中，無損編碼單元16對從量化單元15提供的經(jīng)量化的系數(shù)執(zhí)行無損編碼。此外，無損編碼單元16在步驟S28的操作中、根據(jù)經(jīng)歷無損編碼的編碼信息和經(jīng)歷無損編碼的系數(shù)來生成編碼數(shù)據(jù)。
[0232]在步驟S30中，無損編碼單元16將編碼數(shù)據(jù)提供和存儲在累積緩沖器17中。
[0233]在步驟S31中，累積緩沖器17將所存儲的編碼數(shù)據(jù)輸出至圖3中的設(shè)置單元3中。此外，操作返回至圖16中的步驟S1，然后移動至步驟S2。
[0234]另外，雖然為了描述方便在圖17和圖18中的編碼操作中始終執(zhí)行幀內(nèi)預(yù)測操作和運(yùn)動預(yù)測/補(bǔ)償操作，但是取決于例如圖片類型精確地執(zhí)行幀內(nèi)預(yù)測操作和運(yùn)動預(yù)測/補(bǔ)償操作中的僅一種操作。
[0235]如上所示，編碼裝置1設(shè)置HDR圖像SEI (色調(diào)映射SEI或亮度動態(tài)范圍SEI)和HDR 圖像標(biāo)志(tone_mapping_flag 或 luminance_dynamic_range_flag),并且連同編碼數(shù)據(jù)一起發(fā)送HDR圖像。
[0236]因此，當(dāng)HDR圖像標(biāo)志是1時，對HDR圖像的編碼流進(jìn)行解碼和顯示的解碼裝置可以優(yōu)選地使用HDR圖像SEI可靠地再現(xiàn)和顯示HDR圖像的動態(tài)范圍。因此，當(dāng)對HDR圖像的編碼流進(jìn)行解碼和顯示時，編碼裝置1可以生成HDR圖像的編碼流，使得可以可靠地再現(xiàn)和顯示HDR圖像的動態(tài)范圍。
[0237][解碼裝置的第一實(shí)施方式的示例結(jié)構(gòu)]
[0238]圖19是示出了作為應(yīng)用本技術(shù)并且對從圖3中的編碼裝置1發(fā)送的編碼流進(jìn)行解碼的圖像處理裝置的、解碼裝置的第一實(shí)施方式的示例結(jié)構(gòu)的框圖。
[0239]圖19中的解碼裝置50具有接收單元51、解復(fù)用單元52、解碼單元53、圖像調(diào)整單元54、顯示控制單元55和顯示單元56。
[0240]解碼裝置50的接收單元51接收從圖3中的編碼裝置1發(fā)送的編碼流，并且將編碼流提供給解復(fù)用單元52。解復(fù)用單元52對例如SPS、PPS、VU1、SEI和來自從接收單元51提供的編碼流的編碼數(shù)據(jù)進(jìn)行解復(fù)用。解復(fù)用單元52將編碼數(shù)據(jù)提供給解碼單元53。此夕卜，如果需要，解復(fù)用單元52還將SPS、PPS、VU1、SEI提供給解碼單元53和圖像調(diào)整單元54。
[0241]如果需要，解碼單元53參照例如從解復(fù)用單元52提供的SPS、PPS、VUI和SEI，并且根據(jù)HEVC技術(shù)對從解復(fù)用單元52提供的編碼數(shù)據(jù)進(jìn)行解碼。解碼單元53將圖像(如由解碼所得到的HDR圖像)作為輸出信號提供給圖像調(diào)整單元54。
[0242]如果需要，圖像調(diào)整單元54基于例如從解復(fù)用單元52提供的SPS、PPS、WI和SEI對作為輸出信號從解碼單元53提供的HDR圖像的動態(tài)范圍進(jìn)行調(diào)整。例如，圖像調(diào)整單元54根據(jù)顯示動態(tài)范圍對圖像的動態(tài)范圍進(jìn)行調(diào)整。此外，圖像調(diào)整單元54將HDR圖像作為輸出信號提供給顯示控制單元55。
[0243]顯示控制單元55基于從圖像調(diào)整單元54提供的HDR圖像來生成顯示圖像(如果需要，從顯示單元56通知的顯示方法)。顯示控制單元55通過將顯示圖像提供給顯示單元56來顯示所生成的顯示圖像。
[0244]顯示單元56顯示從顯示控制單元55提供的顯示圖像。此外，顯示單元56給顯示控制單元55通知預(yù)先設(shè)置的顯示方法或預(yù)先設(shè)置且由用戶指定的顯示方法。
[0245][解碼單元的示例結(jié)構(gòu)]
[0246]圖20是示出了圖19中的解碼單元53的示例結(jié)構(gòu)的框圖。
[0247]圖20中的解碼單元53包括累積緩沖器101、無損解碼單元102、逆量化單元103、逆正交變換單元104、加法單元105、去塊濾波器106、畫面排序緩沖器107、D/A轉(zhuǎn)換器108、幀存儲器109、開關(guān)110、幀內(nèi)預(yù)測單元111、運(yùn)動補(bǔ)償單元112和開關(guān)113。
[0248]此外，在去塊濾波器106、畫面重排緩沖器107與幀存儲器109之間，還設(shè)置有自適應(yīng)偏移濾波器141和自適應(yīng)環(huán)路濾波器142。
[0249]解碼單元53的累積緩沖器101接收和存儲來自圖19中的解復(fù)用單元52的編碼數(shù)據(jù)。累積緩沖器101將所存儲的編碼數(shù)據(jù)提供給無損解碼單元102。
[0250]無損解碼單元102通過對來自累積緩沖器101的編碼數(shù)據(jù)執(zhí)行無損解碼(如可變長度解碼或算術(shù)解碼)來獲得經(jīng)量化的系數(shù)和編碼信息。無損解碼單元102將經(jīng)量化的系數(shù)提供給逆量化單元103。此外，無損解碼單元102將幀內(nèi)預(yù)測模式信息作為編碼信息提供給幀內(nèi)預(yù)測單元111，并且將運(yùn)動矢量、用于指定參考圖像的信息和幀間預(yù)測模式信息提供給運(yùn)動補(bǔ)償單元112。此外，無損解碼單元102將幀內(nèi)預(yù)測模式信息或幀間預(yù)測模式信息作為編碼信息提供給開關(guān)113。
[0251]無損解碼單元102將偏移濾波器信息作為編碼信息提供給自適應(yīng)偏移濾波器141，并且將濾波器系數(shù)提供給自適應(yīng)環(huán)路濾波器142。
[0252]逆量化單元103、逆正交變換單元104、加法單元105、去塊濾波器106、幀存儲器109、開關(guān)110、幀內(nèi)預(yù)測單元111和運(yùn)動補(bǔ)償單元112執(zhí)行與圖4中的逆量化單元18、逆正交變換單元19、加法單元20、去塊濾波器21、幀存儲器22、開關(guān)23、幀內(nèi)預(yù)測單元24和運(yùn)動預(yù)測/補(bǔ)償單元25相同的操作，以便對圖像進(jìn)行解碼。
[0253]具體地，逆量化單元103對來自無損解碼單元102的經(jīng)量化的系數(shù)進(jìn)行逆量化，并且將所得到的系數(shù)提供給逆正交變換單元104。
[0254]逆正交變換單元104對來自逆量化單元103的系數(shù)執(zhí)行逆正交變換，并且將所得到的殘差信息提供給加法單元105。
[0255]加法單元105將作為解碼目標(biāo)圖像從逆正交變換單元104提供的殘差信息與從開關(guān)113提供的預(yù)測圖像相加以進(jìn)行解碼。加法單元105將作為解碼結(jié)果所獲得的圖像提供給去塊濾波器106，并且還將圖像提供給幀存儲器109。另外，在不存在從開關(guān)113提供的預(yù)測圖像的情況下，加法單元105將這樣的圖像作為解碼結(jié)果所獲得的圖像提供給去塊濾波器106:其為從逆正交變換單元104提供的殘差信息，并且還將該圖像提供和存儲到幀存儲器109中。
[0256]去塊濾波器106對從加法單元105提供的圖像執(zhí)行濾波，以消除塊失真。去塊濾波器106將所得到的圖像提供給自適應(yīng)偏移濾波器141。
[0257]自適應(yīng)偏移濾波器141具有連續(xù)地存儲從無損解碼單元102提供的偏移的緩沖器。此外，自適應(yīng)偏移濾波器141基于從無損解碼單元102提供的偏移濾波器信息，每IXU對經(jīng)歷由去塊濾波器106執(zhí)行的自適應(yīng)去塊濾波操作的圖像執(zhí)行自適應(yīng)偏移濾波操作。
[0258]更具體地，如果包括在偏移濾波器信息中的存儲標(biāo)志是0，則自適應(yīng)偏移濾波器141通過使用包括在該偏移濾波器信息中的偏移、以LCU為單位對經(jīng)歷去塊濾波操作的圖像執(zhí)行由類型信息表示的類型的自適應(yīng)偏移濾波操作。
[0259]同時，如果包括在偏移濾波器信息中的存儲標(biāo)志是1，則自適應(yīng)偏移濾波器141以LCU為單位從經(jīng)歷去塊濾波操作的圖像讀取存儲在由包括在該偏移濾波器信息中的索引表示的位置處的偏移。此外，自適應(yīng)偏移濾波器141使用所讀取的偏移執(zhí)行由類型信息表示的類型的自適應(yīng)偏移濾波操作。自適應(yīng)偏移濾波器141將經(jīng)歷自適應(yīng)偏移濾波操作的圖像提供給自適應(yīng)環(huán)路濾波器142。
[0260]自適應(yīng)環(huán)路濾波器142使用從無損解碼單元102提供的濾波器系數(shù)每LCU對從自適應(yīng)偏移濾波器141提供的圖像執(zhí)行自適應(yīng)環(huán)路濾波操作。自適應(yīng)環(huán)路濾波器142將所得到的圖像提供給幀存儲器109和畫面重排緩沖器107。
[0261]存儲在幀存儲器109中的圖像通過開關(guān)110被讀取作為參考圖像，并且被提供給運(yùn)動補(bǔ)償單元112或幀內(nèi)預(yù)測單元111。
[0262]畫面重排緩沖器107通過幀來存儲從去塊濾波器106提供的圖像。畫面重排緩沖器107以原始的顯示順序代替以編碼順序?qū)λ鎯Φ膱D像的幀進(jìn)行重排，并且將重排后的圖像提供給D/A轉(zhuǎn)換器108。
[0263]D/A轉(zhuǎn)換器108對從畫面重排緩沖器107提供的基于幀的圖像執(zhí)行D/A轉(zhuǎn)換，并且將該圖像作為輸出信號輸出至圖19中的圖像調(diào)整單元54。
[0264]幀內(nèi)預(yù)測單元111使用通過開關(guān)110從幀存儲器109讀取且未由去塊濾波器106濾波的參考圖像，以片和片段為單位在由從無損解碼單元102提供的幀內(nèi)預(yù)測模式信息表示的幀內(nèi)預(yù)測模式下執(zhí)行幀內(nèi)預(yù)測操作。幀內(nèi)預(yù)測單元111將所得到的預(yù)測圖像提供給開關(guān) 113。
[0265]運(yùn)動補(bǔ)償單元112基于從無損解碼單元102提供的用于指定參考圖像的信息，以片和片段為單位從幀存儲器109中讀取由去塊濾波器106濾波的參考圖像。運(yùn)動補(bǔ)償單元112在由幀間預(yù)測模式信息指定的最佳幀間預(yù)測模式下使用運(yùn)動矢量和參考圖像來執(zhí)行運(yùn)動補(bǔ)償操作。運(yùn)動補(bǔ)償單元112將所得到的預(yù)測圖像提供給開關(guān)113。
[0266]當(dāng)從無損解碼單元102提供幀內(nèi)預(yù)測模式信息時，開關(guān)113將從幀內(nèi)預(yù)測單元111提供的預(yù)測圖像提供給加法單元105。同時，當(dāng)從無損解碼單元102提供幀間預(yù)測模式信息時，開關(guān)113將從運(yùn)動補(bǔ)償單元112提供的預(yù)測圖像提供給加法單元105。
[0267][解碼裝置的操作的描述]
[0268]圖21是用于說明圖19中的解碼裝置50的顯示操作的流程圖。
[0269]在圖21中的步驟S50中，解碼裝置50的接收單元51接收從圖3中的編碼裝置1發(fā)送的編碼流，并且將編碼流提供給解復(fù)用單元52。
[0270]在步驟S51中，解復(fù)用單元52對例如SPS、PPS、VU1、SEI和來自從接收單元51提供的編碼流的編碼數(shù)據(jù)進(jìn)行解復(fù)用。解復(fù)用單元52將編碼數(shù)據(jù)提供給解碼單元53。此外，如果需要，解復(fù)用單元52還將SPS、PPS、VUI和SEI提供給解碼單元53和圖像調(diào)整單元54。
[0271]在步驟S52中，如果需要，解碼單元53執(zhí)行參照例如從解復(fù)用單元52提供的SPS、PPS、VUI和SEI的解碼操作，并且根據(jù)HEVC技術(shù)對從解復(fù)用單元52提供的編碼數(shù)據(jù)進(jìn)行解碼。下文將參照圖22詳細(xì)描述該解碼操作。
[0272]在步驟S53中，圖像調(diào)整單元54確定包括在從解復(fù)用單元52提供的VUI中的HDR圖像標(biāo)志是否是1。如上面參照圖16所描述的，HDR圖像標(biāo)志是圖12中示出的tone_mapping_f lag 或圖 13 中不出的 luminance_dynamic_range_f lag。當(dāng) HDR 圖像標(biāo)志在步驟S53中被確定為1時，圖像調(diào)整單元54確定從解碼單元53提供的輸出信號是HDR圖像。
[0273]此外，在步驟S54中，圖像調(diào)整單元54獲得包括在從解復(fù)用單元52提供的HDR圖像SEI中的動態(tài)范圍特征信息。更具體地，如上面參照圖16所描述的，從圖8中示出的色調(diào)映射SEI或圖11中示出的亮度動態(tài)范圍SEI獲得動態(tài)范圍特征信息。
[0274]在步驟S55中，圖像調(diào)整單元54基于在步驟S54中所獲得的動態(tài)范圍特征信息將圖像的動態(tài)范圍調(diào)整成顯示動態(tài)范圍。該動態(tài)范圍的調(diào)整操作包括例如色調(diào)映射操作。圖像調(diào)整單元54將經(jīng)調(diào)整的圖像提供給顯示控制單元55。
[0275]另外，盡管在步驟S55中大致存在對圖像進(jìn)行調(diào)整的兩種方法，但是兩種操作均是將圖像調(diào)整成該方法的顯示能力的操作。
[0276]根據(jù)第一方法，當(dāng)輸入比該方法的顯示能力高的動態(tài)范圍的圖像時，執(zhí)行根據(jù)該方法的顯示能力來減小圖像的動態(tài)范圍的操作。
[0277]根據(jù)第二方法，當(dāng)輸入比該方法的顯示能力低的動態(tài)范圍的圖像時，執(zhí)行根據(jù)該方法的顯示能力來增大圖像的動態(tài)范圍的操作。
[0278]同時，當(dāng)在步驟S53中確定HDR圖像標(biāo)志不是1時，跳過步驟S54和S55，并且該操作移動到步驟S56。也就是說，在這種情況下，圖像調(diào)整單元54將來自解碼單元53的圖像照原樣提供給顯示控制單元55。
[0279]在步驟S56中，顯示控制單元55基于從圖像調(diào)整單元54提供的HDR圖像來生成顯示圖像，以及將所生成的顯示圖像提供給顯示單元56以在顯示單元56上顯示該顯示圖像，并且完成該操作。
[0280]圖22是用于說明圖21中的步驟S52中的解碼操作的細(xì)節(jié)的流程圖。
[0281]在圖22中的步驟S11中，解碼單元53的累積緩沖器101接收和存儲來自圖19中的解復(fù)用單元52的基于幀的編碼數(shù)據(jù)。累積緩沖器101將所存儲的編碼數(shù)據(jù)提供給無損解碼單元102。應(yīng)當(dāng)注意的是，以例如CU為單位執(zhí)行下面將描述的步驟S112至S124的操作。
[0282]在步驟S112中，無損解碼單元102通過對來自累積緩沖器的編碼數(shù)據(jù)執(zhí)行無損解碼來獲得經(jīng)量化的系數(shù)和編碼信息。無損解碼單元102將經(jīng)量化的系數(shù)提供給逆量化單元103。此外，無損解碼單元102將幀內(nèi)預(yù)測模式信息作為編碼信息提供給幀內(nèi)預(yù)測單元11，并且將運(yùn)動矢量、幀間預(yù)測模式信息和用于指定參考圖像的信息提供給運(yùn)動補(bǔ)償單元112。此外，無損解碼單元102將幀內(nèi)預(yù)測模式信息或幀間預(yù)測模式信息作為編碼信息提供給開關(guān) 113。
[0283]更進(jìn)一步，無損解碼單元102將偏移濾波器信息作為編碼信息提供給自適應(yīng)偏移濾波器141，并且將濾波器系數(shù)提供給自適應(yīng)環(huán)路濾波器142。
[0284]在步驟S113中，逆量化單元103對來自無損解碼單元102的經(jīng)量化的系數(shù)進(jìn)行逆量化，并且將所得到的系數(shù)提供給逆正交變換單元104。
[0285]在步驟S114中，運(yùn)動補(bǔ)償單元112確定是否從無損解碼單元102提供幀間預(yù)測模式信息。當(dāng)在步驟S114中確定提供幀間預(yù)測模式信息時，該操作移動到步驟S115。
[0286]在步驟S115中，運(yùn)動補(bǔ)償單元112讀取由去塊濾波器106濾波的參考圖像，并且基于從無損解碼單元102提供的運(yùn)動矢量、幀間預(yù)測模式信息和用于指定參考圖像的信息來執(zhí)行運(yùn)動補(bǔ)償操作。運(yùn)動補(bǔ)償單元112將所得到的預(yù)測圖像通過開關(guān)113提供給加法單元105，并且將該操作移動到步驟S117。
[0287]同時，當(dāng)在步驟S114中確定未提供幀間預(yù)測模式時，也就是說，當(dāng)將幀內(nèi)預(yù)測模式信息提供給幀內(nèi)預(yù)測單元111時，該操作移動至步驟S116。
[0288]在步驟S116中，幀內(nèi)預(yù)測單元11使用通過開關(guān)110從幀存儲器109讀取且未由去塊濾波器106濾波的參考圖像。在由幀內(nèi)預(yù)測模式信息表示的幀內(nèi)預(yù)測模式下執(zhí)行幀內(nèi)預(yù)測操作。幀內(nèi)預(yù)測單元111通過開關(guān)113將作為幀內(nèi)預(yù)測操作的結(jié)果而所生成的預(yù)測圖像提供給加法單元105，并且將操作移動至步驟S117。
[0289]在步驟S117中，逆正交變換單元104對來自逆量化單元103的系數(shù)執(zhí)行逆正交變換，并且將所得到的殘差信息提供給加法單元。
[0290]在步驟S118中，加法單元105將從逆正交變換單元104提供的殘差信息與從開關(guān)113提供的預(yù)測圖像相加。加法單元105將所得到的圖像提供給去塊濾波器106，并且還將該圖像提供給幀存儲器109。
[0291]在步驟S119中，去塊濾波器106對從加法單元106提供的圖像執(zhí)行濾波，以消除塊失真。去塊濾波器106將所得到的圖像提供給自適應(yīng)偏移濾波器41。
[0292]在步驟S120中，自適應(yīng)偏移濾波器41基于從無損解碼單元102提供的偏移濾波器信息，每LCU對經(jīng)歷由去塊濾波器106執(zhí)行的去塊濾波操作的圖像執(zhí)行自適應(yīng)偏移濾波操作。自適應(yīng)偏移濾波器141將經(jīng)歷自適應(yīng)偏移濾波操作的圖像提供給自適應(yīng)環(huán)路濾波器142。
[0293]在步驟S121中，自適應(yīng)環(huán)路濾波器142使用從無損解碼單元102提供的濾波器系數(shù)，每IXU對由自適應(yīng)偏移濾波器141提供的圖像執(zhí)行自適應(yīng)環(huán)路濾波操作。自適應(yīng)環(huán)路濾波器142將所得到的圖像提供給幀存儲器109和畫面重排緩沖器107。
[0294]在步驟S122中，幀存儲器109存儲還未被濾波且從加法單元105提供的圖像以及從去塊濾波器106提供的經(jīng)濾波的圖像。存儲在幀存儲器109中的圖像作為參考圖像通過開關(guān)110被提供給運(yùn)動補(bǔ)償單元112或幀內(nèi)預(yù)測單元111。
[0295]在步驟S123中，畫面重排緩沖器107通過幀來存儲由去塊濾波器106提供的圖像，以原始的顯示順序代替編碼順序?qū)λ鎯Φ膱D像的幀進(jìn)行重排，并且將經(jīng)重排的圖像提供給D/A轉(zhuǎn)換器108。
[0296]在步驟S124中，D/A轉(zhuǎn)換器108對從畫面重排緩沖器107提供的基于幀的圖像執(zhí)行D/A轉(zhuǎn)換，并且將該圖像作為輸出信號輸出至圖19中的圖像調(diào)整單元54。此外，操作返回至圖21中的步驟S52，然后移動至步驟S53。
[0297]如上所述，解碼裝置50可以對編碼數(shù)據(jù)進(jìn)行解碼并且生成圖像，以及當(dāng)HDR圖像標(biāo)志是1時優(yōu)選地使用HDR圖像SEI可靠地再現(xiàn)和顯示HDR圖像的動態(tài)范圍。
[0298]另外，HDR圖像標(biāo)志可以被包括在另外的NAL單位如SPS代替VUI中。
[0299]盡管HEVC技術(shù)基本上用于上述編碼技術(shù)，但是該技術(shù)是用于顯示圖像的技術(shù)，并且不限于編碼技術(shù)。因此，該技術(shù)不限于HEVC技術(shù)，并且可以采用其他的編碼技術(shù)/解碼技術(shù)。例如，下面將描述的AVC技術(shù)也可應(yīng)用于執(zhí)行編碼/解碼操作的裝置。
[0300]<第二實(shí)施方式>
[0301][編碼裝置的第二實(shí)施方式的示例結(jié)構(gòu)]
[0302]圖23是示出了根據(jù)作為應(yīng)用本技術(shù)的圖像處理裝置的編碼裝置的第二實(shí)施方式的示例結(jié)構(gòu)的框圖。
[0303]在圖23中示出的結(jié)構(gòu)中，與圖3中的部件相同的部件由與圖3中的附圖標(biāo)記相同的附圖標(biāo)記表示。將不再重復(fù)已經(jīng)進(jìn)行的說明。
[0304]圖23中的編碼裝置201的結(jié)構(gòu)與圖3中的結(jié)構(gòu)的不同之處在于包括編碼單元211代替編碼單元2。編碼裝置201的結(jié)構(gòu)在設(shè)置單元3和發(fā)送單元4方面與圖3中的結(jié)構(gòu)相同。
[0305]編碼裝置201的編碼單元211接收例如基于幀的捕獲圖像的圖像的輸入作為輸入信號。編碼單元211根據(jù)AVC技術(shù)對該輸入信號進(jìn)行編碼，并且將所得到的編碼數(shù)據(jù)提供給設(shè)置單元3。
[0306]設(shè)置單元3以與AVC技術(shù)的標(biāo)準(zhǔn)匹配的格式設(shè)置圖像的動態(tài)范圍的特征信息。設(shè)置單元3根據(jù)所設(shè)置的特征信息和從編碼單元211提供的編碼數(shù)據(jù)生成編碼流。設(shè)置單元3將該編碼流提供給發(fā)送單元4。
[0307]也就是說，編碼裝置201與圖3中的編碼裝置的不同之處在于根據(jù)AVC技術(shù)執(zhí)行編碼操作。
[0308][編碼單元的示例結(jié)構(gòu)]
[0309]圖24是示出了圖23中的編碼單元211的示例結(jié)構(gòu)的框圖。
[0310]在圖24中示出的結(jié)構(gòu)中，與圖4中的部件相同的部件由與圖4中的附圖標(biāo)記相同的附圖標(biāo)記表示。將不再重復(fù)已經(jīng)進(jìn)行的說明。
[0311]圖24中示出的編碼單元211包括A/D轉(zhuǎn)換器11、畫面重排緩沖器12、算術(shù)運(yùn)算單元13、正交變換單元14、量化單元15、無損編碼單元16、累積緩沖器17、逆量化單元18、逆正交變換單元19、加法單元20、去塊濾波器21、幀存儲器22、開關(guān)23、幀內(nèi)預(yù)測單元24、運(yùn)動預(yù)測/補(bǔ)償單元25、預(yù)測圖像選擇單元26和速率控制單元27。
[0312]也就是說，圖24中的編碼單元211的結(jié)構(gòu)與圖4中的結(jié)構(gòu)的不同之處僅在于移除自適應(yīng)偏移濾波器41和自適應(yīng)環(huán)路濾波器42以及根據(jù)AVC技術(shù)而非HEVC技術(shù)由無損編碼單元16執(zhí)行編碼。因此，編碼單元211以塊為單位代替以CU為單位執(zhí)行編碼操作。
[0313]除了自適應(yīng)偏移濾波器和自適應(yīng)環(huán)路濾波器的參數(shù)以外，無損編碼單元16的編碼操作目標(biāo)基本上與圖4中的無損編碼單元16的編碼操作目標(biāo)相同。即，類似于圖4中的無損編碼單元16，無損編碼單元16從幀內(nèi)預(yù)測單元24獲得幀內(nèi)預(yù)測模式信息。此外，無損編碼單元16從運(yùn)動預(yù)測/補(bǔ)償單元25獲得幀間預(yù)測模式信息、運(yùn)動矢量和用于指定參考圖像的信息。
[0314]類似于圖4中的無損編碼單元16，無損編碼單元16對從量化單元15提供的經(jīng)量化的系數(shù)執(zhí)行無損編碼，如可變長度編碼(例如CAVLC(上下文自適應(yīng)可變長度編碼))或算術(shù)編碼(CABAC (上下文自適應(yīng)二進(jìn)制算術(shù)編碼))。
[0315]此外，類似于圖4中的無損編碼單元16，無損編碼單元16對作為與編碼有關(guān)的編碼信息的幀內(nèi)預(yù)測模式信息或幀間預(yù)測模式信息、運(yùn)動矢量、用于指定參考圖像的信息、偏移濾波器信息以及濾波器系數(shù)執(zhí)行無損編碼。無損編碼單元16將經(jīng)歷無損編碼的編碼信息和系數(shù)作為編碼數(shù)據(jù)提供和存儲至累積緩沖器17。另外，經(jīng)歷無損編碼的編碼信息可以是經(jīng)歷無損編碼的系數(shù)的報(bào)頭信息。
[0316]去塊濾波器21對從加法單元20提供的局部解碼圖像執(zhí)行濾波，以消除塊失真。去塊濾波器21將所得到的圖像提供和存儲至幀存儲器22。
[0317]然后，存儲在幀存儲器22中的圖像作為參考圖像通過開關(guān)23被輸出至幀內(nèi)預(yù)測單元24或運(yùn)動預(yù)測/補(bǔ)償單元25。
[0318]該技術(shù)也可應(yīng)用于基于AVC技術(shù)的編碼裝置201。
[0319][解碼裝置的第二實(shí)施方式的示例結(jié)構(gòu)]
[0320]圖25是示出了作為應(yīng)用本技術(shù)并且對從圖23中的編碼裝置201發(fā)送的編碼流進(jìn)行解碼的圖像處理裝置的解碼裝置的第二實(shí)施方式的示例結(jié)構(gòu)的框圖。
[0321]在圖25中示出的結(jié)構(gòu)中，與圖19中的部件相同的部件由與圖19中的附圖標(biāo)記相同的附圖標(biāo)記表示。將不再重復(fù)已經(jīng)進(jìn)行的說明。
[0322]圖25中的解碼裝置251的結(jié)構(gòu)與圖19中的結(jié)構(gòu)的不同之處在于包括解碼單元261代替解碼單元53。解碼裝置251的結(jié)構(gòu)在包括接收單元51、解復(fù)用單元52、圖像調(diào)整單元54、顯示控制單元55和顯示單元56方面與圖19中的結(jié)構(gòu)相同。
[0323]接收單元51接收從圖23中的編碼裝置201發(fā)送和根據(jù)AVC技術(shù)編碼的編碼流，并且將該編碼流提供給解復(fù)用單元52。解復(fù)用單元52對例如根據(jù)AVC技術(shù)的標(biāo)準(zhǔn)所設(shè)置的動態(tài)范圍的特征信息和來自從接收單元51提供的編碼流的編碼數(shù)據(jù)進(jìn)行解復(fù)用。解復(fù)用單元52將編碼數(shù)據(jù)提供給解碼單元261。此外，如果需要，解復(fù)用單元52還將動態(tài)范圍的特征信息提供給解碼單元261和圖像調(diào)整單元54。
[0324]如果需要，解碼單元261參照例如從解復(fù)用單元52提供的SPS、PPS、VUI和SEI，并且根據(jù)AVC技術(shù)對從解復(fù)用單元52提供的編碼數(shù)據(jù)進(jìn)行解碼。解碼單元261將如由解碼所獲得的HDR圖像的圖像作為輸出信號提供給圖像調(diào)整單元54。
[0325]如果需要，圖像調(diào)整單元54基于從解復(fù)用單元52提供的動態(tài)范圍的特征信息對作為輸出信號從解碼單元261提供的HDR圖像的動態(tài)范圍進(jìn)行調(diào)整。此外，圖像調(diào)整單元54將HDR圖像作為輸出信號提供給顯示控制單元55。
[0326]也就是說，解碼裝置251與圖19中的解碼裝置50的不同之處僅在于在根據(jù)AVC技術(shù)執(zhí)行解碼操作。
[0327][解碼單元的示例結(jié)構(gòu)]
[0328]圖26是示出了圖25中的解碼單元261的示例結(jié)構(gòu)的框圖。
[0329]在圖26中示出的部件中，與圖20中的部件相同的部件由與圖20中的附圖標(biāo)記相同的附圖標(biāo)記表示。將不再重復(fù)已經(jīng)進(jìn)行的說明。
[0330]圖26中的解碼單元261包括累積緩沖器101、無損解碼單元102、逆量化單元103、逆正交變換單元104、加法單元105、去塊濾波器106、畫面重排緩沖器107、D/A轉(zhuǎn)換器108、幀存儲器109、開關(guān)110、幀內(nèi)預(yù)測單元111、運(yùn)動補(bǔ)償單元112和開關(guān)113。
[0331]圖26中的解碼單元261的結(jié)構(gòu)與圖20中的結(jié)構(gòu)的不同之處僅在于移除自適應(yīng)偏移濾波器141和自適應(yīng)環(huán)路濾波器142和根據(jù)AVC技術(shù)代替HEVC技術(shù)在無損解碼單元102中執(zhí)行解碼。因此，解碼單元261以塊為單位代替以CU為單位執(zhí)行解碼操作。
[0332]除了自適應(yīng)偏移濾波和自適應(yīng)環(huán)路濾波器的參數(shù)以外，無損解碼單元102的解碼操作目標(biāo)基本上與圖20中的無損解碼單元102的解碼操作目標(biāo)相同。即，類似于圖20中的無損解碼單元102，無損解碼單元102通過對來自累積緩沖器101的編碼數(shù)據(jù)執(zhí)行無損解碼(如可變長度解碼或算術(shù)解碼)來獲得經(jīng)量化的系數(shù)和編碼信息。無損解碼單元102將經(jīng)量化的系數(shù)提供給逆量化單元103。
[0333]此外，類似于圖20中的無損解碼單元102，無損解碼單元102將幀內(nèi)預(yù)測模式信息作為編碼信息提供給幀內(nèi)預(yù)測單元111，并且將運(yùn)動矢量、幀間預(yù)測模式信息和用于指定參考圖像的信息提供給運(yùn)動補(bǔ)償單元112。此外，無損解碼單元102將幀內(nèi)預(yù)測模式信息或幀間預(yù)測模式信息作為編碼信息提供給開關(guān)113。
[0334]去塊濾波器106對從加法單元105提供的圖像執(zhí)行濾波，以消除塊失真。去塊濾波器106將所得到的圖像提供給幀存儲器109和畫面重排緩沖器107。
[0335]該技術(shù)也可應(yīng)用于基于AVC技術(shù)的解碼裝置251。
[0336]另外，本公開內(nèi)容可以被應(yīng)用于當(dāng)經(jīng)由網(wǎng)絡(luò)介質(zhì)(如衛(wèi)星廣播、有線電視、因特網(wǎng)或便攜式電話裝置)接收如以例如HEVC技術(shù)通過正交變換(如離散余弦變換和運(yùn)動補(bǔ)償)所壓縮的圖像信息(比特流)時所使用的圖像編碼裝置和圖像解碼裝置。此外，本技術(shù)也可應(yīng)用于在存儲介質(zhì)(如光盤或磁盤或閃速存儲器)上所使用的圖像編碼裝置和圖像解碼
>j-U ρ?α裝直。
[0337]<第三實(shí)施方式>
[0338][對多視圖圖像編碼/多視圖圖像解碼的應(yīng)用]
[0339]上述一系列操作可應(yīng)用于多視圖圖像編碼/多視圖圖像解碼。圖27是示出了多視圖圖像編碼技術(shù)的示例的圖。
[0340]如圖27中所示，多視圖圖像包括來自多個視圖的圖像，并且來自多個視圖中的一個預(yù)定視圖的圖像被指定為基本視圖圖像。除了基本視圖圖像以外的每個視圖圖像用作非基本視圖圖像。
[0341]當(dāng)執(zhí)行圖27中的多視圖圖像編碼時，可以在每個視圖(相同的視圖)中設(shè)置動態(tài)范圍的特征信息。此外，在每個視圖(不同的視圖)中，還可以共享設(shè)置在其他視圖中的動態(tài)范圍的特征信息。
[0342]在這種情況下，設(shè)置在基本視圖中的動態(tài)范圍的特征信息用于至少一個非基本視圖中?？商娲?，例如，設(shè)置在非基本視圖(View_id(視圖」d) = i)中的動態(tài)范圍的特征信息用于基本視圖和非基本視圖(view_id = j)中的至少一個視圖中。
[0343]通過這種方式，可以精確地再現(xiàn)圖像的動態(tài)范圍。
[0344][多視圖圖像編碼裝置]
[0345]圖28是示出了執(zhí)行上述多視圖圖像編碼的多視圖圖像編碼裝置的圖。如圖28中所示，多視圖圖像編碼裝置600具有編碼單元601、編碼單元602和復(fù)用單元603。
[0346]編碼單元601對基本視圖圖像進(jìn)行編碼，并且生成基本視圖圖像編碼流。編碼單元602對非基本視圖圖像進(jìn)行編碼，并且生成非基本視圖圖像編碼流。復(fù)用單元603對由編碼單元601生成的基本視圖圖像編碼流和由編碼單元602生成的非基本視圖圖像編碼流進(jìn)行復(fù)用，并且生成多視圖圖像編碼流。
[0347]編碼裝置1(圖3)和編碼裝置201 (圖23)可應(yīng)用于該多視圖圖像編碼裝置600的編碼單元601和編碼單元602。在這種情況下，多視圖圖像編碼裝置600對由編碼單元601設(shè)置的動態(tài)范圍的特征信息和由編碼單元602設(shè)置的動態(tài)范圍的特征信息進(jìn)行設(shè)置和發(fā)送。
[0348]另外，如上所述，由編碼單元601設(shè)置的動態(tài)范圍的特征信息可以被設(shè)置成在編碼單元601與編碼單元602之間共享并且被發(fā)送。另外，由編碼單元602整體地設(shè)置的動態(tài)范圍的特征信息可以被設(shè)置成在編碼單元601與編碼單元602之間共享并且被發(fā)送。
[0349][多視圖圖像解碼裝置]
[0350]圖29是執(zhí)行上述多視圖圖像解碼的多視圖圖像解碼裝置的圖。如圖29中所示，多視圖圖像解碼裝置610具有逆復(fù)用單元611、解碼單元612和解碼單元613。
[0351]逆復(fù)用單元611對通過對基本視圖圖像編碼流和非基本視圖圖像編碼流進(jìn)行復(fù)用而獲得的多視圖圖像編碼流進(jìn)行逆復(fù)用，并且對基本視圖圖像編碼流和非基本視圖圖像編碼流進(jìn)行解復(fù)用。解碼單元612對從逆復(fù)用單元611解復(fù)用的基本視圖圖像編碼流進(jìn)行解碼，并且獲得基本視圖圖像。解碼單元613對從逆復(fù)用單元611解復(fù)用的非基本視圖圖像編碼流進(jìn)行解碼，并且獲得非基本視圖圖像。
[0352]解碼裝置50 (圖19)和解碼裝置251 (圖25)可應(yīng)用于該多視圖圖像解碼裝置610的解碼單元612和解碼單元613。在這種情況下，多視圖圖像解碼裝置610使用由編碼單元601設(shè)置且由解碼單元612解碼的動態(tài)范圍的特征信息以及由編碼單元602設(shè)置且由解碼單元613解碼的動態(tài)范圍的特征信息來執(zhí)行操作。
[0353]另外，如上所述，由編碼單元601 (或編碼單元602)設(shè)置的動態(tài)范圍的特征信息可以被設(shè)置成在編碼單元601與編碼單元602之間共享并且被發(fā)送。在這種情況下，多視圖圖像解碼裝置610使用由編碼單元601 (或編碼單元602)設(shè)置且由解碼單元612 (或解碼單元613)解碼的動態(tài)范圍的特征信息來執(zhí)行操作。
[0354]〈6.第四實(shí)施方式〉
[0355][對分層圖像編碼/分層圖像解碼的應(yīng)用]
[0356]上述一系列操作可應(yīng)用于分層圖像編碼/分層圖像解碼。圖30示出了多視圖圖像編碼技術(shù)的示例。
[0357]如圖30中所示，分層圖像包括多個層(分辨率)的圖像，并且多個分辨率中的一個預(yù)定的層的圖像被指定為基本層圖像。除了基本層圖像以外的每個層圖像用作非基本層圖像。
[0358]當(dāng)執(zhí)行如圖30中的分層圖像編碼(空間可伸縮性)時，可以在每個層(相同的層)中設(shè)置動態(tài)范圍的特征信息。此外，在每個層(不同的層)中，可以共享設(shè)置在另外的層中的動態(tài)范圍的特征信息。
[0359]在這種情況下，設(shè)置在基本層中的動態(tài)范圍的特征信息用于至少一個非基本層中?？商娲?，例如，設(shè)置在非基本層(layer_id(層_id) = i)中的動態(tài)范圍的特征信息用于基本層和非基本層(layer_id= j)中的至少一個層中。
[0360]通過這種方式，可以精確地再現(xiàn)圖像的動態(tài)范圍。
[0361][分層圖像編碼裝置]
[0362]圖31是示出了執(zhí)行上述分層圖像編碼的分層圖像編碼裝置的圖。如圖31中所示，分層圖像編碼裝置620具有編碼單元621、編碼單元622和復(fù)用單元623。
[0363]編碼單元621對基本層圖像進(jìn)行編碼，并且生成基本層圖像編碼流。編碼單元622對非基本層圖像進(jìn)行編碼，并且生成非基本層圖像編碼流。復(fù)用單元623對由編碼單元621生成的基本層圖像編碼流和由編碼單元622生成的非基本層圖像編碼流進(jìn)行復(fù)用，并且生成分層圖像編碼流。
[0364]編碼裝置1 (圖3)和編碼裝置201 (圖23)可應(yīng)用于該分層圖像解碼裝置620的編碼單元621和編碼單元622。在這種情況下，分層圖像編碼裝置620對由編碼單元621設(shè)置的動態(tài)范圍的特征信息和由編碼單元602設(shè)置的動態(tài)范圍的特征信息進(jìn)行設(shè)置和發(fā)送。
[0365]另外，如上所述，由編碼單元621設(shè)置的動態(tài)范圍的特征信息可以被設(shè)置成在編碼單元621與編碼單元622之間共享并且被發(fā)送。相對地，由編碼單元622設(shè)置的動態(tài)范圍的特征信息可以被設(shè)置成在編碼單元621與編碼單元622之間共享并且被發(fā)送。
[0366][分層圖像解碼裝置]
[0367]圖32是示出了執(zhí)行上述分層圖像解碼的分層圖像解碼裝置的圖。如圖32中所示，分層圖像解碼裝置630具有逆復(fù)用單元631、解碼單元632和解碼單元633。
[0368]逆復(fù)用單元631對通過對基本層圖像編碼流和非基本層圖像編碼流進(jìn)行復(fù)用所獲得的分層圖像編碼流進(jìn)行逆復(fù)用，并且對基本層圖像編碼流和非基本層圖像編碼流進(jìn)行解復(fù)用。解碼單元632對由逆復(fù)用單元631解復(fù)用的基本層圖像編碼流進(jìn)行解碼，并且獲得基本層圖像。解碼單元633對由逆復(fù)用單元631提取的非基本層圖像編碼流進(jìn)行解碼，并且獲得非基本層圖像。
[0369]解碼裝置50 (圖19)和解碼裝置251 (圖25)可應(yīng)用于該分層圖像解碼裝置630的解碼單元632和解碼單元633。在這種情況下，分層圖像解碼裝置630使用由編碼單元621設(shè)置且由解碼單元632解碼的動態(tài)范圍的特征信息以及由編碼單元622設(shè)置且由解碼單元633解碼的動態(tài)范圍的特征信息來執(zhí)行操作。
[0370]另外，如上所述，由編碼單元621 (或編碼單元622)設(shè)置的動態(tài)范圍的特征信息可以被設(shè)置成在編碼單元621與編碼單元622之間共享并且被發(fā)送。在這種情況下，分層圖像解碼裝置630使用由編碼單元621 (或編碼單元622)設(shè)置且由解碼單元632 (或解碼單元633)解碼的動態(tài)范圍的特征信息來執(zhí)行操作。
[0371]〈第五實(shí)施方式〉
[0372][計(jì)算機(jī)的示例結(jié)構(gòu)]
[0373]上述一系列操作可以由硬件執(zhí)行，并且也可以由軟件執(zhí)行。當(dāng)該一系列操作由軟件執(zhí)行時，形成該軟件的程序被安裝在計(jì)算機(jī)中。在此，計(jì)算機(jī)可以是合并到專用硬件的計(jì)算機(jī)，或者可以是當(dāng)其中安裝各種程序時可以執(zhí)行各種功能的通用個人計(jì)算。
[0374]圖33是示出了根據(jù)程序執(zhí)行上述一系列操作的計(jì)算機(jī)的硬件的示例結(jié)構(gòu)的框圖。
[0375]在計(jì)算機(jī)800中，CPU (中央處理單元)801、ROM(只讀存儲器)802和RAM(隨機(jī)存取存儲器)803通過總線804相互連接。
[0376]輸入/輸出接口 805還連接至總線804。輸入單元806、輸出單元807、存儲單元808、通信單元809和驅(qū)動器810連接至輸入/輸出接口 805。
[0377]輸入單元806由鍵盤、鼠標(biāo)、麥克風(fēng)等形成。輸出單元807由顯示器、揚(yáng)聲器等形成。存儲單元808由硬盤、非易失性存儲器等形成。通信單元809由網(wǎng)絡(luò)接口等形成。驅(qū)動器810驅(qū)動可移動介質(zhì)811，如磁盤、光盤、磁光盤或半導(dǎo)體存儲器。
[0378]在具有上述結(jié)構(gòu)的計(jì)算機(jī)中，CPU 801經(jīng)由輸入/輸出接口 805和總線804將存儲在存儲單元808中的程序加載到RAM 803中并且執(zhí)行該程序，使得執(zhí)行上述一系列操作。
[0379]待由計(jì)算機(jī)800 (CPU 801)執(zhí)行的程序可以被記錄在例如作為要設(shè)置的封裝介質(zhì)的可移動介質(zhì)811上?？商娲?，可以經(jīng)由有線/無線傳輸介質(zhì)如局域網(wǎng)、因特網(wǎng)或數(shù)字衛(wèi)星廣播來提供程序。
[0380]在該計(jì)算機(jī)中，程序可以通過將可移動介質(zhì)811附接至驅(qū)動器810而經(jīng)由輸入/輸出接口 805被安裝在存儲單元808中。此外，程序可以通過有線或無線傳輸介質(zhì)由通信單元809接收，并且被安裝在存儲單元808中。另外，程序可以被預(yù)先安裝在ROM 802和存儲單元808中。
[0381]待由計(jì)算機(jī)執(zhí)行的程序可以是用于根據(jù)在該說明書中所描述的次序按時間順序執(zhí)行處理的程序，或者是用于并行或如有必要時如響應(yīng)于調(diào)用來執(zhí)行處理的程序。
[0382]在該說明書中，在要記錄在記錄介質(zhì)中的程序中書寫的步驟包括:如不必須按時間順序而并行或彼此獨(dú)立地被執(zhí)行的操作以及根據(jù)本文中所描述的次序按時間順序被執(zhí)行的操作。
[0383]在此，在該說明書中，系統(tǒng)表示由多個裝置形成的整體設(shè)備。
[0384]此外，在上述示例中，被描述為一個裝置(或一個處理單元)的任何結(jié)構(gòu)可以被劃分成兩個或更多個裝置(或處理單元)。相對地，被描述為兩個或更多個裝置(或處理單元)的任何結(jié)構(gòu)可以被組合以形成一個裝置(或一個處理單元)。此外，當(dāng)然可以將除了上述結(jié)構(gòu)以外的結(jié)構(gòu)添加到裝置中的任何裝置(或處理單元中的任何處理單元)的結(jié)構(gòu)中。此外，只要整體系統(tǒng)的結(jié)構(gòu)和功能基本上保持相同，則裝置(或處理單元)的結(jié)構(gòu)的一部分可以被合并到另外的裝置(另外的處理單元)中。也就是說，本技術(shù)的實(shí)施方式不限于上述實(shí)施方式，并且在不偏離本技術(shù)的范圍的情況下，可以對其進(jìn)行各種修改。
[0385]根據(jù)上述實(shí)施方式的圖像編碼裝置和圖像解碼裝置可以被應(yīng)用于各種電子裝置如用于衛(wèi)星廣播、有線電視的有線廣播、因特網(wǎng)上的分發(fā)以及通過蜂窩通信到終端的分發(fā)的發(fā)射器和接收器；在介質(zhì)如光盤、磁盤和閃存中記錄圖像的記錄裝置或從這些存儲介質(zhì)再現(xiàn)圖像的再現(xiàn)裝置。在下文中，將描述四個應(yīng)用示例。
[0386]〈應(yīng)用示例〉
[0387][第一應(yīng)用示例:電視接收器]
[0388]圖34示出了應(yīng)用上述實(shí)施方式的電視裝置的示意性結(jié)構(gòu)的示例。電視裝置900包括天線901、調(diào)諧器902、解復(fù)用器903、解碼器904、視頻信號處理單元905、顯示單元906、音頻信號處理單元907、揚(yáng)聲器908、外部接口 909、控制單元910、用戶接口 911和總線912。
[0389]調(diào)諧器902從在天線901處接收的廣播信號提取期望的信道信號并且對所提取的信號進(jìn)行解調(diào)。然后，調(diào)諧器902將作為解調(diào)結(jié)果而獲取的編碼比特流輸出至解復(fù)用器903。即，調(diào)諧器902具有接收編碼圖像的編碼流的、電視裝置900中的發(fā)射器的作用。
[0390]解復(fù)用器903從編碼比特流中分離要觀看的節(jié)目的視頻流和音頻流，并且將每個分離流輸出至解碼器904。解復(fù)用器903還從編碼比特流提取輔助數(shù)據(jù)如EPG(電子節(jié)目指南)并且將所提取的數(shù)據(jù)提供給控制單元910。另外，當(dāng)編碼比特流被擾亂時，解復(fù)用器903可以執(zhí)行解擾。
[0391]解碼器904對從解復(fù)用器903輸入的視頻流和音頻流進(jìn)行解碼。此外，解碼器904將通過解碼操作所生成的視頻數(shù)據(jù)輸出至視頻信號處理單元905。另外，解碼器904將通過解碼操作所生成的音頻數(shù)據(jù)輸出至音頻信號處理單元907。
[0392]視頻信號處理單元905再現(xiàn)從解碼器904輸入的視頻數(shù)據(jù)，并且將視頻圖像顯示在顯示單元906上。此外，視頻信號處理單元905還可以在顯示單元906上顯示通過網(wǎng)絡(luò)提供的應(yīng)用畫面。此外，視頻信號處理單元905還可以根據(jù)設(shè)置對視頻數(shù)據(jù)執(zhí)行另外的操作如去噪。更進(jìn)一步，視頻信號處理單元905可以生成GUI (圖形用戶界面)圖像如菜單、按鈕或光標(biāo)，并且將所生成的圖像疊加在輸出圖像上。
[0393]顯示單元906由從視頻信號處理單元905提供的驅(qū)動信號驅(qū)動，并且在顯示裝置(如液晶顯示器、等離子體顯示器或0ELD(有機(jī)電致發(fā)光顯示器)(有機(jī)EL顯示器))的顯示屏幕上顯示視頻圖像或圖像。
[0394]音頻信號處理單元907對從解碼器904輸入的音頻數(shù)據(jù)執(zhí)行再現(xiàn)操作如D/A轉(zhuǎn)換和放大，并且從揚(yáng)聲器908輸出音頻。音頻信號處理單元907還可以對音頻數(shù)據(jù)執(zhí)行另外的操作如去噪。
[0395]外部接口 909是將電視裝置900與外部裝置或網(wǎng)絡(luò)連接的接口。例如，解碼器904可以對通過外部接口 909接收的視頻流或音頻流進(jìn)行解碼。這表示:外部接口 909具有接收編碼圖像的編碼流的、電視裝置900的發(fā)射器的作用。
[0396]控制單元910包括例如CPU的處理器以及例如RAM和ROM的存儲器。存儲器存儲由CPU執(zhí)行的程序、程序數(shù)據(jù)、EPG數(shù)據(jù)以及通過網(wǎng)絡(luò)所獲取的數(shù)據(jù)。存儲在存儲器中的程序在電視裝置900啟動時由CPU讀取和執(zhí)行。通過執(zhí)行該程序，CPU根據(jù)例如從用戶接口911輸入的操作信號來控制電視裝置900的操作。
[0397]用戶接口 911連接至控制單元910。用戶接口 911具有例如用戶用于操作電視裝置900的按鈕和開關(guān)以及接收遠(yuǎn)程控制信號的接收單元。用戶接口 911通過這些部件來檢測用戶操作，生成操作信號并且將所生成的操作信號輸出至控制單元910。
[0398]總線912將調(diào)諧器902、解復(fù)用器903、解碼器904、視頻信號處理單元905、音頻信號處理單元907、外部接口 909和控制單元910相互連接。
[0399]在具有該結(jié)構(gòu)的電視裝置900中，解碼器904具有根據(jù)上述實(shí)施方式的圖像解碼裝置的功能。通過這種方式，當(dāng)電視裝置900對圖像進(jìn)行解碼時，可以精確地再現(xiàn)圖像的動態(tài)范圍。
[0400][第二應(yīng)用示例:便攜式電話裝置]
[0401]圖35示出了應(yīng)用上述實(shí)施方式的便攜式電話裝置的示意性結(jié)構(gòu)的示例。便攜式電話裝置920包括天線921、通信單元922、音頻編解碼器923、揚(yáng)聲器924、麥克風(fēng)925、相機(jī)單元926、圖像處理單元927、復(fù)用/分離單元928、記錄/再現(xiàn)單元929、顯示單元930、控制單元931、操作單元932和總線933。
[0402]天線921連接至通信單元922。揚(yáng)聲器924和麥克風(fēng)925連接至音頻編解碼器923。操作單元932連接至控制單元931?？偩€933將通信單元922、音頻編解碼器923、相機(jī)單元926、圖像處理單元927、復(fù)用/分離單元928、記錄/再現(xiàn)單元929、顯示單元930和控制單元931相互連接。
[0403]便攜式電話裝置920執(zhí)行各種操作，諸如例如語音通信模式、數(shù)據(jù)通信模式、圖像捕獲模式和視頻電話模式的各種模式下的發(fā)送/接收音頻信號、發(fā)送/接收電子郵件和圖像數(shù)據(jù)、捕獲圖像和記錄數(shù)據(jù)。
[0404]在音頻通信模式下，在麥克風(fēng)925處生成的模擬音頻信號被提供給音頻編解碼器923。然后，音頻編解碼器923將模擬音頻信號轉(zhuǎn)換成音頻數(shù)據(jù)，以及對轉(zhuǎn)換后的音頻數(shù)據(jù)執(zhí)行A/D轉(zhuǎn)換和壓縮。此外，音頻編解碼器923將壓縮后的音頻數(shù)據(jù)輸出至通信單元922。通信單元922對音頻數(shù)據(jù)進(jìn)行編碼和調(diào)制，并且生成傳輸信號。此外，通信單元922通過天線921將所生成的傳輸信號發(fā)送至基站(未示出)。另外，通信單元922對通過天線921接收的無線電信號進(jìn)行放大和執(zhí)行頻率轉(zhuǎn)換，并且獲得接收信號。更進(jìn)一步，通信單元922對接收信號進(jìn)行解調(diào)和解碼，生成音頻數(shù)據(jù)，并且將所生成的音頻數(shù)據(jù)輸出至音頻編解碼器923。音頻編解碼器923將音頻數(shù)據(jù)解壓縮和對其執(zhí)行D/A轉(zhuǎn)換，并且生成模擬音頻信號。此外，音頻編解碼器923將所生成的音頻信號提供給揚(yáng)聲器924，并且輸出音頻。
[0405]此外，在數(shù)據(jù)通信模式下，例如，控制單元931根據(jù)通過操作單元932的用戶操作來生成配置電子郵件的文本數(shù)據(jù)。更進(jìn)一步，控制單元931還將文本顯示在顯示單元930上。此外，控制單元931根據(jù)通過操作單元932的來自用戶的傳輸指令來生成電子郵件數(shù)據(jù)，并且將所生成的電子郵件數(shù)據(jù)輸出至通信單元922。通信單元922對電子郵件數(shù)據(jù)進(jìn)行編碼和調(diào)制，并且生成傳輸信號。此外，通信單元922通過天線921將所生成的傳輸信號發(fā)送至基站(未示出)。另外，通信單元922還對通過天線921接收的無線電信號進(jìn)行放大和執(zhí)行頻率轉(zhuǎn)換，并且獲得接收信號。更進(jìn)一步，通信單元922對接收信號進(jìn)行解調(diào)和解碼，恢復(fù)電子郵件數(shù)據(jù)并且將已恢復(fù)的電子郵件數(shù)據(jù)輸出至控制單元931?？刂茊卧?31將電子郵件的內(nèi)容顯示在顯示單元930上，并且將電子郵件數(shù)據(jù)存儲在記錄/再現(xiàn)單元929的存儲介質(zhì)中。
[0406]記錄/再現(xiàn)單元929包括任意可讀且可寫的存儲介質(zhì)。例如，存儲介質(zhì)可以是內(nèi)置存儲介質(zhì)如RAM或閃存，并且可以是外部附接的存儲介質(zhì)如硬盤、磁盤、磁光盤、光盤、USB(通用串行總線)存儲器或存儲卡。
[0407]此外，在圖像捕獲模式下，例如，相機(jī)單元926捕獲對象的圖像，生成圖像數(shù)據(jù)，并且將所生成的圖像數(shù)據(jù)輸出至圖像處理單元927。圖像處理單元927對從相機(jī)單元926輸入的圖像數(shù)據(jù)進(jìn)行編碼，并且將編碼流存儲在記錄/再現(xiàn)單元929的存儲介質(zhì)中。
[0408]此外，在視頻電話模式下，例如，復(fù)用/分離單元928對由圖像處理單元927編碼的視頻流和從音頻編解碼器923輸入的音頻流進(jìn)行復(fù)用，并且將復(fù)用流輸出至通信單元922。通信單元922對該流進(jìn)行編碼和調(diào)制，并且生成傳輸信號。此外，通信單元922將所生成的傳輸信號通過天線921發(fā)送至基站(未示出)。此外，通信單元922對通過天線921接收的無線電信號進(jìn)行放大和執(zhí)行頻率轉(zhuǎn)換，并且獲得接收信號。這些傳輸信號和接收信號可以包括編碼比特流。此外，通信單元922對接收信號進(jìn)行解調(diào)和解碼，對流進(jìn)行恢復(fù)，并且將已恢復(fù)的流輸出至復(fù)用/分離單元928。復(fù)用/分離單元928從輸入流分離視頻流和音頻流，并且將視頻流和音頻流輸出至圖像處理單元927和將音頻流輸出至音頻編解碼器923。圖像處理單元927對視頻流進(jìn)行解碼，并且生成視頻數(shù)據(jù)。視頻數(shù)據(jù)被提供給顯示單元930，并且顯示單元930顯示一系列圖像。音頻編解碼器923對音頻流進(jìn)行解壓縮和執(zhí)行D/A轉(zhuǎn)換，并且生成模擬音頻信號。此外，音頻編解碼器923將所生成的音頻信號提供給揚(yáng)聲器924,并且輸出音頻。
[0409]在具有該結(jié)構(gòu)的便攜式電話裝置920中，圖像處理單元927具有根據(jù)上述實(shí)施方式的圖像編碼裝置和圖像解碼裝置的功能。通過這種方式，當(dāng)在便攜式電話裝置920中對圖像進(jìn)行編碼和解碼時，可以精確地再現(xiàn)圖像的動態(tài)范圍。
[0410][第三應(yīng)用示例:記錄/再現(xiàn)裝置]
[0411]圖35示出了應(yīng)用上述實(shí)施方式的記錄/再現(xiàn)裝置的示意性結(jié)構(gòu)的示例。記錄/再現(xiàn)裝置940對例如接收的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行編碼并且將該數(shù)據(jù)記錄在記錄介質(zhì)中。此外，記錄/再現(xiàn)裝置940還可以對例如從另外的裝置獲得的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行編碼，并且將該數(shù)據(jù)記錄在記錄介質(zhì)中。此外，記錄/再現(xiàn)裝置940根據(jù)例如用戶指令在監(jiān)視器和揚(yáng)聲器上再現(xiàn)記錄在記錄介質(zhì)中的數(shù)據(jù)。在這種情況下，記錄/再現(xiàn)裝置940對音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行解碼。
[0412]記錄/再現(xiàn)裝置940包括調(diào)諧器941、外部接口 942、編碼器943、HDD (硬盤驅(qū)動器)單元944、盤驅(qū)動器945、選擇器946、解碼器947、0SD (屏幕上顯示)單元948、控制單元949和用戶接口 950。
[0413]調(diào)諧器941從在天線(未示出)處接收的廣播信號提取期望的信道信號，并且對所提取的信號進(jìn)行解調(diào)。此外，調(diào)諧器941將通過解調(diào)所獲取的編碼比特流輸出至選擇器946。S卩，調(diào)諧器941在記錄/再現(xiàn)裝置940中具有發(fā)射器的作用。
[0414]外部接口 942是將記錄/再現(xiàn)裝置940與外部裝置或網(wǎng)絡(luò)連接的接口。外部接口942由IEEE 1394接口、網(wǎng)絡(luò)接口單元、USB接口或閃存接口等形成。例如，通過外部接口942接收的視頻數(shù)據(jù)和音頻數(shù)據(jù)被輸入至編碼器943。即，外部接口 942在記錄/再現(xiàn)裝置940中具有發(fā)射器的作用。
[0415]當(dāng)從外部接口 942輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)未被編碼時，編碼器943對視頻數(shù)據(jù)和音頻數(shù)據(jù)進(jìn)行編碼。此外，編碼器943將編碼比特流輸出至選擇器946。
[0416]HDD 944將通過對內(nèi)容數(shù)據(jù)如視頻圖像和音頻進(jìn)行壓縮所獲得的編碼比特流、各種程序和其他數(shù)據(jù)記錄在內(nèi)置硬盤中。此外，當(dāng)再現(xiàn)視頻圖像和音頻時，HDD 944從硬盤讀取這些數(shù)據(jù)項(xiàng)。
[0417]盤驅(qū)動器945將數(shù)據(jù)記錄在附接的記錄介質(zhì)中以及從附接的記錄介質(zhì)讀取數(shù)據(jù)。附接至盤驅(qū)動器945的記錄介質(zhì)是例如DVD光盤(如DVD-視頻、DVD-RAM、DVD-R、DVD-RW、DVD+R和DVD+RW)或藍(lán)光(注冊商標(biāo))光盤。
[0418]在記錄視頻和音頻時，選擇器946選擇從調(diào)諧器941或編碼器943輸入的編碼比特流，并且將所選擇的編碼比特流輸出至HDD 944或盤驅(qū)動器945。此外，當(dāng)再現(xiàn)視頻和音頻時，選擇器946將從HDD 944或盤驅(qū)動器945輸入的編碼比特流輸出至解碼器947。
[0419]解碼器947對編碼比特流進(jìn)行解碼并且生成視頻數(shù)據(jù)和音頻數(shù)據(jù)。此外，解碼器947將所生成的視頻數(shù)據(jù)輸出至OSD 948。此外，解碼器947將所生成的音頻數(shù)據(jù)輸出至外部揚(yáng)聲器。
[0420]0SD 948再現(xiàn)從解碼器947輸入的視頻數(shù)據(jù)并且顯示視頻圖像。0SD948還可以將⑶I圖像如菜單、按鈕或光標(biāo)疊加在要顯示的視頻圖像上。
[0421]控制單元949具有例如CPU的處理器以及例如RAM和ROM的存儲器。存儲器存儲由CPU執(zhí)行的程序以及程序數(shù)據(jù)。例如，在記錄/再現(xiàn)裝置904啟動時，存儲在存儲器中的程序由CPU讀取和執(zhí)行。通過執(zhí)行該程序，CPU根據(jù)例如從用戶接口 950輸入的操作信號來控制記錄/再現(xiàn)裝置940的操作。
[0422]用戶接口 950連接至控制單元949。用戶接口 950具有例如用戶用于操作記錄/再現(xiàn)裝置940的按鈕和開關(guān)以及接收遠(yuǎn)程控制信號的接收單元。用戶接口 950通過這些部件來檢測用戶操作，生成操作信號并且將所生成的操作信號輸出至控制單元949。
[0423]在具有該結(jié)構(gòu)的記錄/再現(xiàn)裝置940中，編碼器943具有根據(jù)上述實(shí)施方式的圖像編碼裝置的功能。另外，解碼器947具有根據(jù)上述實(shí)施方式的圖像解碼裝置的功能。通過這種方式，當(dāng)在記錄/再現(xiàn)裝置940中對圖像進(jìn)行編碼和解碼時，可以精確地再現(xiàn)圖像的動態(tài)范圍。
[0424][第四應(yīng)用示例:成像裝置]
[0425]圖37示出了應(yīng)用上述實(shí)施方式的成像裝置的示意性結(jié)構(gòu)的示例。成像裝置960捕獲對象的圖像，生成圖像，對圖像數(shù)據(jù)進(jìn)行編碼，并且將圖像數(shù)據(jù)記錄在記錄介質(zhì)中。
[0426]成像裝置960包括光學(xué)塊961、成像單元962、信號處理單元963、圖像處理單元964、顯示單元965、外部接口 966、存儲器967、介質(zhì)驅(qū)動器968、0SD 969、控制單元970、用戶接口 971和總線972。
[0427]光學(xué)塊961連接至成像單元962。成像單元962連接至信號處理單元963。顯示單元965連接至圖像處理單元964。用戶接口 971連接至控制單元970?？偩€972將圖像處理單元964、外部接口 966、存儲器967、介質(zhì)驅(qū)動器968、0SD 969和控制單元970相互連接。
[0428]光學(xué)塊961具有聚焦透鏡、光圈等。光學(xué)塊961在成像單元962的成像表面上形成對象的光學(xué)圖像。成像單元962具有圖像傳感器如CCD(電荷藕合器件)或CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)，并且通過光電轉(zhuǎn)換將在成像表面上形成的光學(xué)圖像轉(zhuǎn)換成作為電信號的圖像信號。此外，成像單元962將圖像信號輸出至信號處理單元963。
[0429]信號處理單元963對從成像單元962輸入的圖像信號執(zhí)行各種相機(jī)信號操作如拐點(diǎn)校正、伽馬校正和色彩校正。信號處理單元963將經(jīng)歷相機(jī)信號操作的圖像數(shù)據(jù)輸出至圖像處理單元964。
[0430]圖像處理單元964對從信號處理單元963輸入的圖像數(shù)據(jù)進(jìn)行編碼，并且生成編碼數(shù)據(jù)。此外，圖像處理單元964將所生成的編碼數(shù)據(jù)輸出至外部接口 966或介質(zhì)驅(qū)動器968。此外，圖像處理單元964還對從外部接口 966或介質(zhì)驅(qū)動器968輸入的編碼數(shù)據(jù)進(jìn)行解碼，并且生成圖像數(shù)據(jù)。更進(jìn)一步，圖像處理單元964將所生成的圖像數(shù)據(jù)輸出至顯示單元965。此外，圖像處理單元964可以將從信號處理單元963輸入的圖像數(shù)據(jù)輸出至顯示單元965，并且顯示圖像。另外，圖像處理單元964可以將從0SD969獲取的顯示數(shù)據(jù)疊加在要輸出至顯示單元965的圖像上。
[0431]OSD 969生成⑶I圖像如菜單、按鈕或光標(biāo)，并且將所生成的圖像輸出至圖像處理單元964。
[0432]外部接口 966被形成為例如USB輸入/輸出終端。例如，當(dāng)打印圖像時，外部接口966將成像裝置960與打印機(jī)連接。此外，當(dāng)需要時，將驅(qū)動器連接至外部接口 966。將驅(qū)動器與可移除介質(zhì)如磁盤或光盤附接，并且從可移除介質(zhì)讀取的程序可以被安裝在成像裝置960中。此外，外部接口 966包括連接至網(wǎng)絡(luò)如LAN或因特網(wǎng)的網(wǎng)絡(luò)接口。即，外部接口966在成像裝置960中具有發(fā)射器的作用。
[0433]附接至介質(zhì)驅(qū)動器968的記錄介質(zhì)可以是任意可讀/可寫的可移除介質(zhì)如磁盤、磁光盤、光盤或半導(dǎo)體存儲器。另外，記錄介質(zhì)可以被附接至介質(zhì)驅(qū)動器968并且被固定，并且非便攜式存儲單元如內(nèi)置盤驅(qū)動器或SSD(固態(tài)驅(qū)動器)可以被形成。
[0434]控制單元970包括例如CPU的處理器以及例如RAM和ROM的存儲器。存儲器存儲由CPU執(zhí)行的程序和程序數(shù)據(jù)。在例如成像裝置960啟動時，存儲在存儲器中的程序由CPU讀取和執(zhí)行。通過執(zhí)行該程序，CPU根據(jù)例如從用戶接口 971輸入的操作信號來控制成像裝置960的操作。
[0435]用戶接口 971連接至控制單元970。用戶接口 971具有例如用戶用于操作成像裝置960的按鈕和開關(guān)。用戶接口 971通過這些部件檢測用戶操作，生成操作信號，并且將所生成的操作信號輸出至控制單元970。
[0436]在具有該結(jié)構(gòu)的成像裝置960中，圖像處理單元964具有根據(jù)上述實(shí)施方式的圖像編碼裝置和圖像解碼裝置的功能。通過這種方式，當(dāng)在成像裝置960中對圖像進(jìn)行編碼和解碼時，可以精確地再現(xiàn)圖像的動態(tài)范圍。
[0437]應(yīng)當(dāng)注意的是，本技術(shù)的實(shí)施方式不限于上述實(shí)施方式，并且在不脫離本發(fā)明的范圍的情況下，可以對其進(jìn)行各種修改。
[0438]例如，圖19的顯示控制單元55和顯示單元56可以被設(shè)置在解碼裝置50外部。
[0439]此外，本技術(shù)可以采用在多個裝置之間通過網(wǎng)絡(luò)共享一個功能并且協(xié)作地執(zhí)行操作的云計(jì)算的配置。
[0440]此外，上述流程圖中所描述的每個步驟可以由一個裝置執(zhí)行或者可以在多個裝置之間被共享并且被執(zhí)行。
[0441]更進(jìn)一步，當(dāng)一個步驟包括多個操作時，包括在該一個步驟中的多個操作可以由一個裝置執(zhí)行或者在多個裝置之間被共享并且被執(zhí)行。
[0442]另外，在該說明書中已經(jīng)對其中多種信息片段(如動態(tài)范圍的特征信息)被與編碼流復(fù)用并且被從編碼側(cè)發(fā)送到解碼側(cè)的示例進(jìn)行了描述。然而，發(fā)送這些信息片段的方法不限于該示例。例如，這些信息片段可以在不與編碼比特流復(fù)用的情況下被發(fā)送或記錄為與編碼比特流相關(guān)聯(lián)的不同的數(shù)據(jù)。同時，術(shù)語“關(guān)聯(lián)”表示在解碼時將包括在比特流中的圖像(或圖像的一部分如片段或塊)和與該圖像相關(guān)聯(lián)的信息關(guān)聯(lián)。即，該信息可以在與圖像(或比特流)的傳輸信道不同的傳輸信道上被發(fā)送。此外，信息可以被記錄在與圖像(或比特流)的記錄介質(zhì)不同的記錄介質(zhì)(或單個記錄介質(zhì)的另外的記錄區(qū)域)中。此夕卜，可以以任意單位(如多個幀、一個幀或幀的一部分)將信息與圖像(或比特流)彼此相關(guān)聯(lián)。
[0443]更進(jìn)一步，在本實(shí)施方式中，標(biāo)志不限于二選一如存在或不存在(0或1)，并且包括使得能夠從多個選項(xiàng)中識別具體項(xiàng)的信息。
[0444]雖然已經(jīng)參照附圖詳細(xì)描述了本公開內(nèi)容的適當(dāng)?shù)膶?shí)施方式，但是本公開內(nèi)容不限于這些示例。顯然，本公開內(nèi)容所屬的【技術(shù)領(lǐng)域】中的具有常識的人可以在權(quán)利要求所描述的技術(shù)思想的范圍內(nèi)做出各種修改示例和校正示例，并且這些示例當(dāng)然也屬于本公開內(nèi)容的技術(shù)范圍。
[0445]另外，本技術(shù)還可以采用下面的結(jié)構(gòu)。
[0446](1) 一種圖像處理裝置，具有:
[0447]編碼單元，對圖像執(zhí)行編碼操作并且生成比特流；
[0448]設(shè)置單元，給捕獲圖像設(shè)置表示要分配給顯影圖像的動態(tài)范圍的特征的動態(tài)范圍特征信息；以及
[0449]發(fā)送單元，發(fā)送由編碼單元生成的比特流和由設(shè)置單元設(shè)置的動態(tài)范圍特征信肩、Ο
[0450](2)根據(jù)上述⑴所述的圖像處理裝置，其中，設(shè)置單元給捕獲圖像設(shè)置表示要分配給顯影圖像的動態(tài)范圍的代碼的代碼信息作為動態(tài)范圍特征信息。
[0451](3)根據(jù)上述(1)或(2)所述的圖像處理裝置，其中，設(shè)置單元給捕獲圖像的白電平設(shè)置表示要分配給顯影圖像的代碼的代碼信息作為動態(tài)范圍特征信息。
[0452](4)根據(jù)上述(1)至(3)中任一項(xiàng)所述的圖像處理裝置，其中，設(shè)置單元給捕獲圖像的白電平設(shè)置表示要分配給顯影圖像的代碼的白電平代碼信息作為動態(tài)范圍特征信息。
[0453](5)根據(jù)上述(1)至(4)中任一項(xiàng)所述的圖像處理裝置，其中，設(shè)置單元設(shè)置表示要分配給顯影圖像的白電平的代碼的最大值的最大白電平代碼信息作為動態(tài)范圍特征信肩、Ο
[0454](6)根據(jù)上述(1)至(5)中任一項(xiàng)所述的圖像處理裝置，其中，設(shè)置單元設(shè)置表示顯影圖像的黑電平的代碼的黑電平代碼信息作為動態(tài)范圍特征信息。
[0455](7)根據(jù)上述(1)至￠)中任一項(xiàng)所述的圖像處理裝置，其中，設(shè)置單元設(shè)置表示顯影圖像的灰電平的代碼的灰電平代碼信息作為動態(tài)范圍特征信息。
[0456](8)根據(jù)上述(1)至(7)中任一項(xiàng)所述的圖像處理裝置，其中，設(shè)置單元設(shè)置表示捕獲圖像的白電平的最大值的最大白電平信息作為動態(tài)范圍特征信息。
[0457](9)根據(jù)上述(1)至(8)中任一項(xiàng)所述的圖像處理裝置，其中，設(shè)置單元設(shè)置表示通過對比特流執(zhí)行解碼操作所獲得的圖像的感興趣區(qū)域的亮度的范圍的信息作為動態(tài)范圍特征信息。
[0458](10)根據(jù)上述(1)至(9)中任一項(xiàng)所述的圖像處理裝置，其中，設(shè)置單元設(shè)置表示通過對比特流執(zhí)行解碼操作所獲得的圖像的感興趣區(qū)域的位置和偏移的信息作為動態(tài)范圍特征信息。
[0459](11)根據(jù)上述(1)至(10)中任一項(xiàng)所述的圖像處理裝置，其中，發(fā)送單元發(fā)送動態(tài)范圍特征信息作為用于顯示通過對比特流執(zhí)行解碼操作所獲得的圖像的輔助信息。
[0460](12)根據(jù)上述(1)至(10)中任一項(xiàng)所述的圖像處理裝置，其中，發(fā)送單元發(fā)送動態(tài)范圍特征信息作為通過對現(xiàn)有輔助信息進(jìn)行擴(kuò)展所獲得的擴(kuò)展輔助信息。
[0461](13)根據(jù)上述(1)至(10)中任一項(xiàng)所述的圖像處理裝置，其中，發(fā)送單元發(fā)送動態(tài)范圍特征信息作為tone_mapping_informat1n ( “色調(diào)_映射_信息”)SEI (補(bǔ)償增強(qiáng)信息)。
[0462](14)根據(jù)上述(1)至(10)中任一項(xiàng)所述的圖像處理裝置，其中，發(fā)送單元通過針對“色調(diào)_映射_信息”SEI對用于發(fā)送動態(tài)范圍特征信息的model_id( “模型_id”)進(jìn)行擴(kuò)展，并且發(fā)送動態(tài)范圍特征信息作為SEI。
[0463](15)根據(jù)上述(1)至(10)中任一項(xiàng)所述的圖像處理裝置，其中，發(fā)送單元發(fā)送動態(tài)范圍特征信息作為通過序列表示圖像的可用性的VUI (視頻可用性信息)。
[0464](16)根據(jù)上述(1)至(15)中任一項(xiàng)所述的圖像處理裝置，其中，編碼單元根據(jù)符合AVC/H.264的編碼技術(shù)對圖像執(zhí)行編碼操作。
[0465](17) —種圖像處理方法，包括:
[0466]對圖像執(zhí)行編碼操作并且生成比特流；
[0467]給捕獲圖像設(shè)置表示要分配給顯影圖像的動態(tài)范圍的特征的動態(tài)范圍特征信息；以及
[0468]發(fā)送所生成的比特流和所設(shè)置的動態(tài)范圍特征信息。
[0469](18) 一種圖像處理裝置，具有:
[0470]接收單元，接收比特流和表示通過對比特流執(zhí)行解碼操作所獲得的圖像的動態(tài)范圍的特征的動態(tài)范圍特征信息；
[0471]解碼單元，對由接收單元接收的比特流執(zhí)行解碼操作并且生成圖像；以及
[0472]圖像調(diào)整單元，利用由接收單元接收的動態(tài)范圍特征信息，并且對由解碼單元生成的圖像的動態(tài)范圍進(jìn)行調(diào)整。
[0473](19)根據(jù)上述(18)所述的圖像處理裝置，其還具有接收單元，該接收單元接收比特流和動態(tài)范圍特征信息，并且
[0474]解碼單元對由接收單元接收的比特流執(zhí)行解碼操作，以及圖像調(diào)整單元利用由接收單元接收的動態(tài)范圍特征信息并且對由解碼單元生成的圖像的動態(tài)范圍進(jìn)行調(diào)整。
[0475](20) —種圖像處理方法，包括:
[0476]接收比特流和表示通過對比特流執(zhí)行解碼操作所獲得的圖像的動態(tài)范圍的特征的動態(tài)范圍特征信息；
[0477]對所接收的比特流執(zhí)行解碼操作，并且生成圖像；以及
[0478]利用所接收的動態(tài)范圍特征信息，并且對所生成的圖像的動態(tài)范圍進(jìn)行調(diào)整。
[0479]本公開內(nèi)容包括與于2012年8月22日提交日本專利局的日本優(yōu)先權(quán)專利申請JP 2012-183164和于2012年6月29日提交日本專利局的日本優(yōu)先權(quán)專利申請JP2012-147885中所公開的主題相關(guān)的主題，其全部內(nèi)容在此通過引用合并到本文中。
[0480][附圖標(biāo)記列表]
[0481]1 編碼裝置
[0482]2 編碼單元
[0483]3 設(shè)置單元
[0484]4 發(fā)送單元
[0485]50解碼裝置
[0486]51接收單元
[0487]52解復(fù)用單元
[0488]53解碼單元
[0489]54圖像調(diào)整單元
[0490]55顯示控制單元
[0491]56顯示單元
[0492]201編碼裝置
[0493]211編碼單元
[0494]251解碼裝置
[0495]261解碼單元
【權(quán)利要求】
1.一種圖像處理裝置，包括: 編碼單元，用于對圖像執(zhí)行編碼操作并且生成比特流； 設(shè)置單元，用于為捕獲圖像設(shè)置表示要分配給顯影圖像的動態(tài)范圍的特征的動態(tài)范圍特征信息；以及 發(fā)送單元，用于發(fā)送由所述編碼單元生成的比特流和由所述設(shè)置單元設(shè)置的動態(tài)范圍特征信息。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述設(shè)置單元為所述捕獲圖像設(shè)置表示要分配給所述顯影圖像的動態(tài)范圍的代碼的代碼信息作為所述動態(tài)范圍特征信息。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述設(shè)置單元為所述捕獲圖像的白電平設(shè)置表示要分配給所述顯影圖像的代碼的代碼信息作為所述動態(tài)范圍特征信息。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，所述設(shè)置單元為所述捕獲圖像的白電平設(shè)置表示要分配給所述顯影圖像的代碼的白電平代碼信息作為所述動態(tài)范圍特征信息。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述設(shè)置單元設(shè)置表示要分配給所述顯影圖像的白電平的代碼的最大值的最大白電平代碼信息作為所述動態(tài)范圍特征信息。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述設(shè)置單元設(shè)置表示所述顯影圖像的黑電平的代碼的黑電平代碼信息作為所述動態(tài)范圍特征信息。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述設(shè)置單元設(shè)置表示所述顯影圖像的灰電平的代碼的灰電平代碼信息作為所述動態(tài)范圍特征信息。
8.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述設(shè)置單元設(shè)置表示所述捕獲圖像的白電平的最大值的最大白電平信息作為所述動態(tài)范圍特征信息。
9.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述設(shè)置單元設(shè)置表示通過對所述比特流執(zhí)行解碼操作而獲得的圖像的感興趣區(qū)域的亮度范圍的信息作為所述動態(tài)范圍特征信息。
10.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述設(shè)置單元設(shè)置表示通過對所述比特流執(zhí)行解碼操作而獲得的圖像的感興趣區(qū)域的位置和偏移的信息作為所述動態(tài)范圍特征信息。
11.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述發(fā)送單元發(fā)送所述動態(tài)范圍特征信息作為顯示通過對所述比特流執(zhí)行解碼操作而獲得的圖像時所使用的輔助信息。
12.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述發(fā)送單元發(fā)送所述動態(tài)范圍特征信息作為通過對現(xiàn)有輔助信息進(jìn)行擴(kuò)展而獲得的擴(kuò)展輔助信息。
13.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述發(fā)送單元發(fā)送所述動態(tài)范圍特征信息作為色調(diào)_映射_信息SEI (補(bǔ)償增強(qiáng)信息)。
14.根據(jù)權(quán)利要求13所述的圖像處理裝置，其中，所述發(fā)送單元通過針對所述色調(diào)_映射_信息SEI對發(fā)送所述動態(tài)范圍特征信息時所使用的模型_標(biāo)識進(jìn)行擴(kuò)展，并且發(fā)送所述動態(tài)范圍特征信息作為SEI。
15.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述發(fā)送單元發(fā)送所述動態(tài)范圍特征信息作為通過序列表示圖像的可用性的VUI (視頻可用性信息)。
16.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述編碼單元根據(jù)符合AVC/H.264的編碼技術(shù)對所述圖像執(zhí)行所述編碼操作。
17.一種圖像處理方法，包括在圖像處理裝置處: 對圖像執(zhí)行編碼操作并且生成比特流； 為捕獲圖像設(shè)置表示要分配給顯影圖像的動態(tài)范圍的特征的動態(tài)范圍特征信息；以及 發(fā)送所生成的比特流和所設(shè)置的動態(tài)范圍特征信息。
18.一種圖像處理裝置，包括: 解碼單元，用于對比特流執(zhí)行解碼操作并且生成圖像；以及 圖像調(diào)整單元，用于將表示要分配給顯影圖像的動態(tài)范圍的特征的動態(tài)范圍特征信息用于捕獲圖像，并且對由所述解碼單元生成的圖像的動態(tài)范圍進(jìn)行調(diào)整。
19.根據(jù)權(quán)利要求18所述的圖像處理裝置，還包括接收單元，用于接收所述比特流和所述動態(tài)范圍特征信息，其中， 所述解碼單元對由所述接收單元接收的比特流執(zhí)行解碼操作；以及所述圖像調(diào)整單元利用由所述接收單元接收的動態(tài)范圍特征信息，并且對由所述解碼單元生成的圖像的動態(tài)范圍進(jìn)行調(diào)整。
20.—種圖像處理方法，包括: 對比特流執(zhí)行解碼操作并且生成圖像；以及 將表示要分配給顯影圖像的動態(tài)范圍的特征的動態(tài)范圍特征信息用于捕獲圖像，并且對所生成的圖像的動態(tài)范圍進(jìn)行調(diào)整。
【文檔編號】H04N19/86GK104380738SQ201380033132
【公開日】2015年2月25日 申請日期:2013年6月21日 優(yōu)先權(quán)日:2012年6月29日
【發(fā)明者】服部忍, 浜田俊也 申請人:索尼公司