圖像解碼裝置、圖像解碼方法、圖像編碼裝置及圖像編碼方法
【專利摘要】提供有效地支持對CRA圖片的隨機訪問的文件格式。提供了圖像解碼裝置，包括：獲取單元，被配置成從包括報頭區(qū)和數(shù)據(jù)區(qū)的文件格式的報頭區(qū)獲取純凈隨機訪問(CRA)信息，CRA信息用于標識被插入數(shù)據(jù)區(qū)的圖像序列中的一個或更多個CRA圖片；控制單元，被配置成當檢測到隨機訪問的指令時，使用CRA信息將圖像序列中的一個CRA圖片指定為解碼開始圖片；以及解碼單元，被配置成從控制單元所指定的解碼開始圖片起對圖像序列進行解碼。
【專利說明】圖像解碼裝置、圖像解碼方法、圖像編碼裝置及圖像編碼方法

【技術(shù)領(lǐng)域】
[0001]本公開內(nèi)容涉及圖像解碼裝置、圖像解碼方法、圖像編碼裝置以及圖像編碼方法。

【背景技術(shù)】
[0002]在作為圖像編碼方案的標準規(guī)范之一的H.264/AVC中，將各個圖像(圖片)分割成一個或更多個切片(slice)。將每個切片歸類為I切片(幀內(nèi)切片)、P切片(預(yù)測切片)和B切片(雙向預(yù)測切片)之一。I切片是在不參考另一圖像的情況下獨立地解碼的切片。P切片是通過參考另一單個圖像解碼的切片。B切片是通過參考多個其他圖像解碼的切片。將序列的僅包括I切片的開始圖片稱為IDR(瞬時解碼刷新)圖片。使用NAL(網(wǎng)絡(luò)抽象層)單元類型的值來標識IDR圖片。同一序列中IDR圖片之后的圖片僅按照呈現(xiàn)次序位于IDR圖片后面，而不參考按照解碼次序在IDR圖片之前的圖片。從而，當在某個編碼流的視頻中間的時間點處嘗試隨機訪問(不是從流的開始解碼而是從流的中間解碼/再現(xiàn))時，可以在指定時間點附近從IDR圖片適當?shù)貙σ曨l進行解碼。
[0003]在作為H.264/AVC之后的下一代圖像編碼方案的HEVC (高效視頻編碼)的標準化中，除IDR圖片之外還提出了一種使用NAL單元類型的值來標識圖片CRA(純凈隨機訪問)圖片。CRA圖片是位于序列中間的僅包括I切片的圖片。按照解碼次序和呈現(xiàn)次序兩者在CRA圖片之后的圖片既不參考按照解碼次序在CRA圖片之前的圖片既也不參考按照呈現(xiàn)次序在CRA圖片之前的圖片(參見下面的非專利文獻2)。從而，當嘗試在視頻的中間的時間點處對CRA圖片進行隨機訪問(從CRA圖片對視頻進行解碼)時，能夠無故障地執(zhí)行對按照呈現(xiàn)次序在CRA圖片之后的圖片進行解碼的處理。
[0004]引用列表
[0005]非專利文獻
[0006]非專利文獻1:Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, GaryJ.Sullivan, Thomas Wiegand, “High efficiency video coding (HEVC) text specificat1ndraft 6” (JCTVC-H1003ver20, 2012 年 2 月 17 日)
[0007]非專利文獻2:Ye_Kui Wang, “Report of the BoG on clean random access (CRA)picture，，，JCTVC-F759，2011 年 7 月 14 日至 22 日


【發(fā)明內(nèi)容】

[0008]技術(shù)問題
[0009]雖然在序列的開始僅存在一個IDR圖片，但是在序列的中間可以存在多個CRA圖片。從而，CRA圖片的引入意味著視頻的可隨機訪問點增加。從而，從對視頻的再現(xiàn)或編輯的使用方面而言，存在顯著提高用戶便利性的潛力。然而，在存儲遵照HEVC方案編碼的編碼流的已知文件格式中，尚未定義有效地支持對CRA圖片的隨機訪問的信息要素。例如，在MPEG-4第14部分(IS0/IEC 14496-14:2003:下文稱為MP4)格式中，除非參考存儲在數(shù)據(jù)區(qū)(mdat盒(box))中的塊(chunk)中的每個采樣的NAL單元類型,否則可能難以確定哪個圖片是CRA圖片。這可能導致隨機訪問CRA圖片的過度處理成本。
[0010]從而，期望提供有效地支持對CRA圖片的隨機訪問的文件格式。
[0011]問題的解決方案
[0012]根據(jù)本公開內(nèi)容，提供了一種圖像解碼裝置，包括:獲取單元，被配置成從包括報頭區(qū)和數(shù)據(jù)區(qū)的文件格式的報頭區(qū)獲取CRA信息，CRA信息用于標識被插入數(shù)據(jù)區(qū)的圖像序列中的一個或更多個CRA圖片；控制單元，被配置成當檢測到隨機訪問的指令時，使用CRA信息將圖像序列中的一個CRA圖片指定為解碼開始圖片；以及解碼單元，被配置成從控制單元所指定的解碼開始圖片起對圖像序列進行解碼。
[0013]此外，根據(jù)本公開內(nèi)容，提供了一種圖像解碼方法，包括:從包括報頭區(qū)和數(shù)據(jù)區(qū)的文件格式的報頭區(qū)獲取CRA信息，CRA信息用于標識被插入數(shù)據(jù)區(qū)的圖像序列中的一個或更多個CRA圖片；當檢測到隨機訪問的指令時，使用CRA信息將圖像序列中的一個CRA圖片指定為解碼開始圖片；以及從所指定的解碼開始圖片起對圖像序列進行解碼。
[0014]此外，根據(jù)本公開內(nèi)容，提供了一種圖像編碼裝置，包括:編碼單元，被配置成對圖像序列中的圖像進行編碼并且生成圖像數(shù)據(jù)；確定單元，被配置成在圖像序列中確定能夠用作隨機訪問時的解碼開始圖片的一個或更多個CRA圖片；以及文件生成單元，被配置成將用于標識由確定單元確定的一個或更多個CRA圖片的CRA信息插入到包括報頭區(qū)和數(shù)據(jù)區(qū)的文件格式的報頭區(qū)中，并且將圖像數(shù)據(jù)插入到數(shù)據(jù)區(qū)中。
[0015]此外，根據(jù)本公開內(nèi)容，提供了一種圖像編碼方法，包括:對圖像序列中的圖像進行編碼并且生成圖像數(shù)據(jù)；在圖像序列中確定能夠用作隨機訪問時的解碼開始圖片的一個或更多個CRA圖片；以及將用于標識所確定的一個或更多個CRA圖片的CRA信息插入到包括報頭區(qū)和數(shù)據(jù)區(qū)的文件格式的報頭區(qū)中；以及將圖像數(shù)據(jù)插入到數(shù)據(jù)區(qū)中。
[0016]本發(fā)明的有利效果
[0017]與已知方案相比，根據(jù)本公開內(nèi)容中的技術(shù)可以更簡單地實現(xiàn)對CRA圖片的隨機訪問。

【專利附圖】

【附圖說明】
[0018]圖1是示出根據(jù)一個實施方式的圖像編碼裝置的配置示例的框圖；
[0019]圖2是示出該實施方式中可以采用的文件格式的示例的說明圖；
[0020]圖3是示出該實施方式中可以采用的文件格式的另一示例的說明圖；
[0021]圖4是示出關(guān)于非分段影片的CRA信息的專用盒的第一示例的說明圖；
[0022]圖5是示出關(guān)于非分段影片的CRA信息的專用盒的第二示例的說明圖；
[0023]圖6是示出關(guān)于非分段影片的CRA信息的專用盒的第三示例的說明圖；
[0024]圖7是示出關(guān)于非分段影片的隨機訪問信息的共享盒的第一示例的說明圖；
[0025]圖8是示出關(guān)于非分段影片的隨機訪問信息的共享盒的第二示例的說明圖；
[0026]圖9是示出關(guān)于非分段影片的隨機訪問信息的共享盒的第三示例的說明圖；
[0027]圖10是示出關(guān)于分段影片的CRA信息的專用盒的第一示例的說明圖；
[0028]圖11是示出關(guān)于分段影片的CRA信息的專用盒的第二示例的說明圖；
[0029]圖12是示出關(guān)于分段影片的CRA信息的專用盒的第三示例的說明圖；
[0030]圖13是示出關(guān)于分段影片的隨機訪問信息的共享盒的第一示例的說明圖；
[0031]圖14是示出關(guān)于分段影片的隨機訪問信息的共享盒的第二示例的說明圖；
[0032]圖15是示出關(guān)于分段影片的隨機訪問信息的共享盒的第三示例的說明圖；
[0033]圖16是示出用于基本采樣組信息的盒的第一說明圖；
[0034]圖17是示出用于基本采樣組信息的盒的第二說明圖；
[0035]圖18是示出對CRA圖片進行分組的采樣組的定義的第一示例的說明圖；
[0036]圖19是示出對CRA圖片進行分組的采樣組的定義的第二示例的說明圖；
[0037]圖20是示出對CRA圖片進行分組的采樣組的定義的第三示例的說明圖；
[0038]圖21是示出對CRA圖片進行分組的采樣組的定義的第四示例的說明圖；
[0039]圖22是示出對CRA圖片進行分組的采樣組的定義的第五示例的說明圖；
[0040]圖23是示出對CRA圖片進行分組的采樣組的定義的第六示例的說明圖；
[0041]圖24是示出根據(jù)該實施方式的圖像解碼裝置的配置示例的框圖；
[0042]圖25是示出由圖24所例示的裝置執(zhí)行的解碼處理的流程的第一示例的流程圖；
[0043]圖26是示出獲取與指定時間對應(yīng)的采樣號的處理的流程示例的流程圖；
[0044]圖27是示出指定解碼開始圖片的處理的流程的第一示例的流程圖；
[0045]圖28是示出指定解碼開始圖片的處理的流程的第二示例的流程圖；
[0046]圖29是示出跳過對未正常解碼的先前圖片的輸出的處理的流程的第一示例的流程圖；
[0047]圖30是示出跳過對未正常解碼的先前圖片的輸出的處理的流程的第二示例的流程圖；
[0048]圖31是示出跳過對未正常解碼的先前圖片的輸出的處理的流程的第三示例的流程圖；
[0049]圖32是示出由圖24中例示的裝置執(zhí)行的解碼處理的流程的第二示例的流程圖；
[0050]圖33是示出指定解碼開始圖片的處理的流程的第三示例的流程圖；
[0051]圖34是示出電視機的示意性配置的示例的框圖；
[0052]圖35是示出移動電話的示意性配置的示例的框圖；
[0053]圖36是示出記錄/再現(xiàn)裝置的示意性配置的示例的框圖；以及
[0054]圖37是示出圖像拍攝裝置的示意性配置的示例的框圖。

【具體實施方式】
[0055]下文中，將參考附圖詳細描述本發(fā)明的優(yōu)選實施方式。注意，在此說明書和附圖中，用相同的附圖標記來表示具有基本上相同功能和結(jié)構(gòu)的元件，并且省略重復(fù)說明。
[0056]按照以下順序來進行描述。
[0057]1.根據(jù)實施方式的圖像編碼裝置的配置示例
[0058]2.CRA信息的示例
[0059]2-1.CRA信息(非分段影片)的專用盒
[0060]2-2.隨機訪問信息(非分段影片)的共享盒
[0061]2-3.CRA信息(分段影片)的專用盒
[0062]2-4.隨機訪問信息(分段影片)的共享盒
[0063]2-5.采樣組的利用
[0064]3.根據(jù)實施方式的圖像解碼裝置的配置示例
[0065]4.解碼處理的流程
[0066]4-1.非分段影片的解碼處理
[0067]4-2.分段影片的解碼處理
[0068]5.示例應(yīng)用
[0069]6.結(jié)論
[0070]〈1.根據(jù)實施方式的圖像編碼裝置的配置示例〉
[0071]在此部分，將描述圖像編碼裝置，該圖像編碼裝置使用支持對CRA圖片的隨機訪問的新文件格式將依照HEVC方案編碼的圖像數(shù)據(jù)記錄在運動圖像文件中。
[0072]圖1是示出根據(jù)一個實施方式的圖像編碼裝置10的配置示例的框圖。參考圖1，圖像編碼裝置10包括編碼單元11、確定單元12、VCL緩沖器13、非VCL緩沖器14、文件生成單元15和控制單元16。
[0073](I)編碼單元
[0074]編碼單元11是依照HEVC方案工作的編碼器。編碼單元11從連接至圖像編碼裝置10的運動圖像源如攝像機或電視調(diào)諧器獲取要編碼的圖像。然后，編碼單元11通過對所獲取的圖像序列中的每個圖像進行各種處理如幀內(nèi)預(yù)測、幀間預(yù)測、正交變換、量化以及無損編碼來生成編碼比特流。將與圖像的實體對應(yīng)的切片數(shù)據(jù)生成為VCL(視頻編碼層)NAL單元。另一方面，可以將如SPS (序列參數(shù)集)、PPS (圖片參數(shù)集)或APS(自適應(yīng)參數(shù)集)的參數(shù)集生成為非VCL NAL單元。編碼單元11經(jīng)由VCL緩沖器13將VCL NAL單元即切片數(shù)據(jù)的比特流輸出至文件生成單元15。編碼單元11經(jīng)由非VCL緩沖器14將參數(shù)集輸出至文件生成單元15。
[0075](2)確定單元
[0076]確定單元12確定要由編碼單元11編碼的圖像序列中的每個圖像的類型。更具體地，在本實施方式中，確定單元12至少確定每個圖像是否為IDR圖片、CRA圖片或另一圖片之一。IDR圖片和CRA圖片兩者是僅包括I切片的圖片。如上所述，IDR圖片是序列的開始圖片。同一序列中的在IDR圖片之后的圖片僅按照呈現(xiàn)次序位于IDR圖片之后，而不參考按照編碼次序(解碼次序)在IDR圖片之前的圖片。CRA圖片是位于序列中間的圖片并且可以當在解碼器側(cè)進行隨機訪問時用作解碼開始圖片。按照編碼次序(解碼次序)和呈現(xiàn)次序兩者在CRA圖片之后的圖片不參考按照編碼次序(解碼次序)在CRA圖片之前的圖片也不參考按照呈現(xiàn)次序在CRA圖片之前的圖片。確定單元12將確定結(jié)果輸出給編碼單元11和文件生成單元15。編碼單元11將由確定單元12確定的表示每個圖像的類型的NAL單元類型分配給每個NAL單元的NAL報頭。
[0077]順便提及，在對CRA圖片進行隨機訪問時，僅隨機訪問目的地的CRA圖片以及按照解碼次序在該CRA圖片之后的圖片是解碼目標。然而，也可以存在按照解碼次序在CRA圖片之后的圖片以及按照呈現(xiàn)次序在CRA圖片之前的圖片。在本說明書中，這樣的圖片稱為先前圖片。根據(jù)對CRA圖片的定義的理解，允許先前圖片參考按照解碼次序在CRA圖片之前的圖片。在對CRA圖片進行隨機訪問時，參考按照解碼次序在CRA圖片之前的圖片的先前圖片未被正常解碼。這是因為先前圖片的參考圖片未被解碼。即，在隨機訪問時，是否能夠正常地對解碼目標先前圖片進行解碼取決于先前圖片的參考關(guān)系。因此，確定單元12還可以確定在對每個CRA圖片進行隨機訪問時未被正常解碼的先前圖片，并且將確定結(jié)果提供給文件生成單元15。
[0078](3) VCL緩沖器/非VCL緩沖器
[0079]VCL緩沖器13緩沖VCL NAL單元。CRA圖片的切片數(shù)據(jù)由VCL緩沖器13來緩沖。非VCL緩沖器14緩沖非VCL NAL單元。
[0080](4)文件生成單元
[0081 ] 文件生成單元15生成運動圖像文件20，在運動圖像文件20中，根據(jù)包括報頭區(qū)和數(shù)據(jù)區(qū)的文件格式來存儲一系列編碼圖像數(shù)據(jù)。在本說明書中，將主要描述將MP4格式用作文件格式的示例。然而，本公開內(nèi)容中的技術(shù)不限于該示例，并且適用于包括報頭區(qū)和數(shù)據(jù)區(qū)的其他種類的運動圖像文件格式。
[0082]在MP4格式中，數(shù)據(jù)被存儲在稱為盒的對象中并且以對象為單位被記錄。在一個文件中，盒形成樹結(jié)構(gòu)并且主盒包括從屬盒。每個盒的類型由具有4個字母的標識符來標識。
[0083]更具體地，文件生成單元15將與VCL NAL單元對應(yīng)的切片數(shù)據(jù)的比特流按照解碼次序插入到運動圖像文件20的數(shù)據(jù)區(qū)(例如，mdat盒)中。文件生成單元15將與非VCLNAL單元對應(yīng)的一個或更多個參數(shù)集插入到運動圖像文件20的報頭區(qū)(例如，moov盒)中。在本實施方式中，文件生成單元15將由確定單元12確定的用于標識一個或更多個CRA圖片的CRA信息插入運動圖像文件20的報頭區(qū)。文件生成單元15可以將先前圖片信息包括在CRA信息中，以標識對作為對每個CRA圖片進行隨機訪問時未被正常解碼的先前圖片。
[0084](5)控制單元
[0085]控制單元16控制在圖像編碼裝置10中進行的編碼處理。例如，控制單元16在檢測到開始編碼的指令時使編碼單元11對指定的圖像序列進行編碼。控制單元16使文件生成單元15生成運動圖像文件20，在運動圖像文件20中存儲有被編碼單元11編碼的圖像數(shù)據(jù)?？刂茊卧?6可以使用被稱為HRD (假設(shè)參考解碼器)的虛擬解碼器模型在解碼器的緩沖器無故障的情況下控制編碼流的生成。
[0086]<2.CRA信息的示例>
[0087]圖2是示出本實施方式中可以采用的文件格式的示例的說明圖。參考圖2，運動圖像文件20包括moov盒21和mdat盒27。出于描述的簡要性而未對本發(fā)明的技術(shù)中不直接涉及的盒進行描述。
[0088]moov盒21是與運動圖像文件20的報頭區(qū)對應(yīng)的盒。moov盒21包括stbl盒22。stbl盒(采樣表盒)22是包括用于報頭信息的盒的容器盒。stbl盒22除了包括stsd盒23和stsc盒24以外還包括在本實施方式中新引入的stcs盒25。stsd盒(采樣描述盒)23是保存與存儲在mdat盒27中的實際數(shù)據(jù)相關(guān)聯(lián)的參數(shù)。stsd盒23包括hevl盒26。hevl盒26是保存當對依照HEVC方案編碼的圖像數(shù)據(jù)進行解碼時要使用的參數(shù)集。stsc盒(采樣至塊盒)24是保存mdat盒27中被稱為塊的實際數(shù)據(jù)與stsd盒23中的參數(shù)之間的映射的盒。stcs盒25是新定義以保存用于標識一個或更多個CRA圖片的CRA信息的盒。
[0089]mdat盒27是與運動圖像文件20的數(shù)據(jù)區(qū)對應(yīng)的盒。mdat盒27包括一個或更多個塊28。塊指的是與單獨的運動圖像軌道、單獨的音頻軌道或其他種類的軌道對應(yīng)的實際數(shù)據(jù)。通常按照解碼次序?qū)⑴c每個VCLNAL單元對應(yīng)的多個切片數(shù)據(jù)存儲在依照HEVC方案編碼的圖像數(shù)據(jù)塊中。
[0090]圖2所例示的運動圖像文件20具有所謂的非分段影片結(jié)構(gòu)。即，在運動圖像文件20中僅呈現(xiàn)moov盒和mdat盒的一個對。另一方面，將以下結(jié)構(gòu)稱為分段影片結(jié)構(gòu):一個運動圖像被分段成多個片段，并且針對每個分段片段生成moov盒和mdat盒的對。參考圖3，示出了非分段影片結(jié)構(gòu)與分段影片結(jié)構(gòu)之間的比較。在非分段影片結(jié)構(gòu)中，將用于CRA信息的Stcs盒25插入moov盒21中。另一方面,在分段影片結(jié)構(gòu)中，可以將用于CRA信息的tfca盒25a至25η分別插入多個moov盒21a至21η中。在此部分將詳細描述新定義的盒的各種語法示例。圖2和圖3所示的盒的標識符(“stcs”和“tfca”)僅為示例。SP，可以使用其他四字母序列作為保存在CRA信息中的盒的標識符。不考慮圖3的示例，保存CRA信息的盒實際上可以作為容器盒如stbl盒或mfra盒(影片分段隨機訪問盒)的從屬盒插入，而非作為moov盒的直接從屬盒插入。
[0091][2-1.CRA信息(非分段影片)的專用盒]
[0092]為非分段影片引入的用于CRA信息的盒可以例如是用于CRA信息的專用盒。圖4至圖6示出了作為專用盒的stcs盒的示例。stcs盒被定義成對FuIIBox類進行擴展的CRASampleBox 類。
[0093](I)第一示例
[0094]在圖4所示的第一示例中，CRASampleBox類包括由條目數(shù)(entry_count)指示的數(shù)的采樣號(sample_number)。采樣號指示與包括在mdat盒27中的塊中的一系列采樣中的CRA圖片對應(yīng)的采樣號中的每個。條目數(shù)與和CRA圖片對應(yīng)的采樣數(shù)相同。參考stcs盒，解碼器可以容易地了解作為CRA圖片的采樣的采樣的時間順序。
[0095](2)第二示例
[0096]在圖5所示的第二示例中，CRASampleBox類包括由條目數(shù)(entry_count)指示的數(shù)的采樣號(sample_number)和損壞采樣的數(shù)(broken_samples)的集合。采樣號指示與包括在mdat盒27中的塊中的一系列采樣中的CRA圖片對應(yīng)的采樣號中的每個。每個損壞采樣數(shù)指示當對相應(yīng)采樣號所指示的CRA圖片進行隨機訪問時未被正常解碼的先前圖片的采樣的數(shù)量(例如，按照呈現(xiàn)次序從開始起的數(shù)量)。可以通過損壞采樣數(shù)的負值來指示以下事實:不知道未被正常解碼的先前圖片的采樣的數(shù)量。條目數(shù)與對應(yīng)于CRA圖片的采樣的數(shù)量相同。參考stcs盒，解碼器能夠容易地了解作為CRA圖片的采樣的采樣的時間次序以及在對每個CRA圖片進行隨機訪問時可能未被正常解碼的先前圖片。
[0097](3)第三示例
[0098]在圖6所示的第三示例中，CRASampleBox類包括由條目數(shù)(entry_count)指示的數(shù)的采樣號(sample_number)和損壞持續(xù)時間(broken_durat1n)的集合。采樣號指示與包括在mdat盒27中的塊中的一系列采樣中的CRA圖片對應(yīng)的采樣號中的每個。每個損壞持續(xù)時間指示當對相應(yīng)采樣號所指示的CRA圖片進行隨機訪問時未被正常解碼的先前圖片的總持續(xù)時間(例如，在mdhd塊中定乂的以時間為單位的值)。可以通過損壞持續(xù)時間的負值來指示以下事實:不知道未正常解碼的先前圖片的持續(xù)時間。條目數(shù)與對應(yīng)于盒CRA圖片的采樣的數(shù)量相同。參考stcs盒，解碼器能夠容易地了解作為CRA圖片的采樣的采樣的時間次序以及在對每個CRA圖片進行隨機訪問時未被正常解碼的先前圖片。
[0099][2-2.隨機訪問信息(非分段影片)的共享盒]
[0100]在先前部分的三個示例中，CRA信息存儲在與存儲用于標識IDR圖片的IDR信息的盒(例如，Stss盒(同步采樣盒))不同的stcs盒中。另一方面,可以將CRA信息存儲在與IDR信息共享的盒中。圖7至圖9示出了作為共享盒的stra盒的示例。stra盒被定義為對FuIIBox類進行擴展的RandomAccessSampleBox類。
[0101](I)第一示例
[0102]在圖7所不的第一不例中，RandomAccessSampleBox類包括由條目數(shù)(entry_count)指示的數(shù)的采樣類型(sample_type)和采樣號(sample_number)的集合。采樣號指不與包括在mdat盒27中的塊中的一系列米樣的IDR圖片或CRA圖片對應(yīng)的米樣號中的每個。每個采樣類型指示由相應(yīng)采樣號指示的圖片是IDR圖片和CRA圖片之一。采樣類型的值例如可以是與NAL單元類型的值相同的值。條目數(shù)與對應(yīng)于IDR圖片或CRA圖片的采樣的數(shù)量相同。參考stra盒，解碼器能夠容易地了解作為IDR圖片的采樣的采樣的時間順序以及作為CRA圖片的采樣的采樣的時間順序。
[0103](2)第二示例
[0104]在圖8所不的第二不例中，RandomAccessSampleBox類包括由條目數(shù)(entry_count)指示的數(shù)的采樣類型(sample_type)、采樣號(sample_number)和損壞采樣數(shù)(broken_samples)的集合。采樣號指示與包括在mdat盒27中的塊中的一系列采樣的IDR圖片或CRA圖片對應(yīng)的采樣號中的每個。每個采樣類型指示由相應(yīng)采樣號指示的圖片是IDR圖片和CRA圖片之一。每個損壞采樣數(shù)指示當對由相應(yīng)采樣號指示的圖片進行隨機訪問時未被正常解碼的先前圖片的采樣的數(shù)量?？梢詫⒂糜贗DR圖片的損壞采樣數(shù)忽略或指示零。條目數(shù)與對應(yīng)于IDR圖片或CRA圖片的采樣的數(shù)量相同。參考stra盒，解碼器能夠容易地了解作為IDR圖片的采樣的采樣的時間順序、作為CRA圖片的采樣的采樣的時間順序以及當對每個CRA圖片進行隨機訪問時可能未被正常解碼的先前圖片。
[0105](3)第三示例
[0106]在圖9所不的第三不例中，RandomAccessSampleBox類包括由條目數(shù)(entry_count)指示的數(shù)的采樣類型(sample_type)、采樣號(sample_number)和損壞持續(xù)時間(broken_durat1n)的集合。采樣號指示與包括在mdat盒27中的塊中的一系列采樣的IDR圖片或CRA圖片對應(yīng)的采樣號中的每個。每個采樣類型指示由相應(yīng)采樣號指示的圖片是IDR圖片和CRA圖片之一。每個損壞持續(xù)時間指示當對由相應(yīng)采樣號指示的圖片進行隨機訪問時未被正常解碼的先前圖片的總持續(xù)時間?？梢詫⒂糜贗DR圖片的損壞持續(xù)時間忽略或指示零。條目數(shù)與對應(yīng)于IDR圖片或CRA圖片的采樣的數(shù)量相同。參考stra盒，解碼器能夠容易地了解作為IDR圖片的采樣的采樣的時間順序、作為CRA圖片的采樣的采樣的時間順序以及當對每個CRA圖片進行隨機訪問時可能未被正常解碼的先前圖片。
[0107][2-3.CRA信息(分段影片)的專用盒]
[0108]為分段影片引入的用于CRA信息的盒可以例如是用于CRA信息的專用盒。圖10至圖12示出了作為專用盒的tfca盒的示例。tfca盒被定義成對FuIIBox類進行擴展的TrackFragmentCRAAccessBox 類。
[0109](I)第一示例
[0110]在圖10所不的第一不例中，TrackFragmentCRAAccessBox類包括由條目數(shù)(number_of_entry)指示的數(shù)的采樣號(sample_number)。采樣號指示與包括在相應(yīng)分段的mdat盒中的塊中的一系列采樣中的CRA圖片對應(yīng)的采樣號中的每個。條目數(shù)與盒CRA圖片所對應(yīng)的采樣的數(shù)量相同。參考tfca盒，解碼器可以容易地了解作為CRA圖片的采樣的每個片段的采樣的時間順序。
[0111](2)第二示例
[0112]在圖11所示的第二示例中，TrackFragmentCRAAccessBox類包括由條目數(shù)(number_of_entry)指不的數(shù)的米樣號(sample_number)和損壞米樣數(shù)(preceding_samples)的集合。采樣號指示與包括在相應(yīng)分段的mdat盒中的塊中的一系列采樣中的CRA圖片對應(yīng)的采樣號中的每個。每個損壞采樣數(shù)指示當對由相應(yīng)采樣號指示的CRA圖片進行隨機訪問時未被正常解碼的先前圖片的采樣的數(shù)量(例如，按照呈現(xiàn)次序從開始起的數(shù)量)?？梢酝ㄟ^損壞采樣數(shù)的負值來指示以下事實:不知道未被正常解碼的先前圖片的采樣的數(shù)量。條目數(shù)與對應(yīng)于CRA圖片的采樣的數(shù)量相同。參考tfca盒，解碼器能夠容易地了解作為CRA圖片的采樣的每個分段的采樣的時間次序以及在對每個CRA圖片進行隨機訪問時未被正常解碼的先前圖片。
[0113]⑶第三示例
[0114]在圖12所示的第三示例中，TrackFragmentCRAAccessBox類包括由條目數(shù)(number_of_entry)指不的數(shù)的米樣號(sample_number)和損壞持續(xù)時間(preceding_durat1n)的集合。采樣號指示與包括在相應(yīng)分段的mdat盒中的塊中的一系列采樣中的CRA圖片對應(yīng)的采樣號中的每個。每個損壞持續(xù)時間指示當對由相應(yīng)采樣號指示的CRA圖片進行隨機訪問時未被正常解碼的先前圖片的總持續(xù)時間(例如，在mdhd塊中定義的以時間為單位的值)。可以通過損害持續(xù)時間的負值來指示以下事實:不知道未正常解碼的先前圖片的持續(xù)時間。條目數(shù)與對應(yīng)于CRA圖片的采樣的數(shù)量相同。參考tfca盒，解碼器能夠容易地了解作為CRA圖片的采樣的每個分段的采樣的時間次序以及在對每個CRA圖片進行隨機訪問時未被正常解碼的先前圖片。
[0115][2-4.隨機訪問信息(分段影片)的共享盒]
[0116]在先前部分的三個示例中，CRA信息被存儲在與存儲用于標識IDR圖片的IDR信息的盒不同的tfca盒中。另一方面，可以將CRA信息存儲在與IDR信息共享的盒中。圖13至圖15示出了作為共享盒的tfr2盒的示例。tfr2盒被定義成對FuIIBox類進行擴展的ExtTrackFragmentRandomAccessBox 類。
[0117](I)第一示例
[0118]在圖13所不的第一不例中，ExtTrackFragmentRandomAccessBox類包括由條目數(shù)(number_of_entry)指不的數(shù)的米樣類型(sample_type)和米樣號(sample_number)的集合。采樣號指示與包括在相應(yīng)分段的mdat盒中的塊中的一系列采樣中的IDR圖片或CRA圖片對應(yīng)的采樣號中的每個。每個采樣類型指示由相應(yīng)采樣號指示的圖片是IDR圖片和CRA圖片之一。采樣類型的值可以例如是與NAL單元類型的值相同的值。條目數(shù)與對應(yīng)于IDR圖片或CRA圖片的采樣的數(shù)量相同。參考tfr2盒，解碼器能夠容易地了解作為IDR圖片的采樣的每個分段的采樣的時間順序以及作為CRA圖片的采樣的采樣的時間順序。
[0119](2)第二示例
[0120]在圖14所不的第二不例中，ExtTrackFragmentRandomAccessBox類包括由條目數(shù)(number_of_entry)指不的數(shù)的米樣類型(sample_type)、米樣號(sample_number)和損壞采樣數(shù)(preceding_samples)的集合。采樣號指示與包括在相應(yīng)分段的mdat盒中的塊中的一系列采樣中的IDR圖片或CRA圖片對應(yīng)的采樣號中的每個。每個采樣類型指示由相應(yīng)采樣號指示的圖片是IDR圖片和CRA圖片之一。每個損壞采樣數(shù)指示當對由相應(yīng)采樣號指示的圖片進行隨機訪問時未被正常解碼的先前圖片的采樣的數(shù)量。可以將用于IDR圖片的損壞采樣數(shù)忽略或指示零。條目數(shù)與對應(yīng)于IDR圖片或CRA圖片的采樣的數(shù)量相同。參考tfr2盒，解碼器能夠容易地了解作為IDR圖片的采樣的每個分段的采樣的時間順序、作為CRA圖片的采樣的采樣的時間順序以及當對每個CRA圖片進行隨機訪問時未被正常解碼的先前圖片。
[0121](3)第三示例
[0122]在圖15所不的第三不例中，ExtTrackFragmentRandomAccessBox類包括由條目數(shù)(number_of_entry)指不的數(shù)的米樣類型(sample_type)、米樣號(sample_number)和損壞持續(xù)時間(preceding_durat1n)的集合。采樣號指示與包括在相應(yīng)分段的mdat盒中的塊中的一系列采樣中的IDR圖片或CRA圖片對應(yīng)的采樣號中的每個。每個采樣類型指示由相應(yīng)采樣號指示的圖片是IDR圖片和CRA圖片之一。每個損壞持續(xù)時間指示當對由相應(yīng)采樣號指示的圖片進行隨機訪問時未被正常解碼的先前圖片的總持續(xù)時間?？梢詫⒂糜贗DR圖片的損壞持續(xù)時間忽略或指示零。條目數(shù)與對應(yīng)于IDR圖片或CRA圖片的采樣的數(shù)量相同。參考tfr2盒，解碼器能夠容易地了解作為IDR圖片的采樣的每個分段的采樣的時間順序、作為CRA圖片的采樣的采樣的時間順序以及當對每個CRA圖片進行隨機訪問時未被正常解碼的先前圖片。
[0123][2-5.采樣組的利用]
[0124]可以通過利用用于對一個或更多個采樣進行分組的已知采樣組信息的結(jié)構(gòu)來定義CRA信息，而非將CRA信息存儲在如在圖4至圖15的示例中新定義的擴展采樣盒中。
[0125](I)用于采樣分組信息的盒
[0126]圖16和圖17是示出用于基本采樣組信息的盒的第二說明圖。
[0127]參考圖16,示出了定義sbgp盒(采樣至組盒)的SampleToGroupBox類的語法。SampleToGroupBox類包括由條目數(shù)(entry_count)指示的數(shù)的采樣計數(shù)器(sample_count)和組描述索引(group_descript1n_index)的集合。每個集合將每個采樣與該采樣所屬的采樣組關(guān)聯(lián)。
[0128]參考圖17,示出了定義sgpd盒(采樣組描述盒)的SampleGroupDescript1nBox類的語法。SampleGroupDescript1nBox類的實例與SampleToGroupBox類的具有共用分組類型(grouping_type)的實例相關(guān)聯(lián)。當處理器類型(handler_type)指示“參見(運動圖像軌道)”時，SampleGroupDescript1nBox 類包括由 VisualSampleGroupEntry 類定義的采樣組信息的條目。條目數(shù)(entry_COunt)指示采樣組信息的條目的數(shù)量。
[0129]圖18至圖23示出了 CRA信息的用于利用這種已知采樣組信息的結(jié)構(gòu)來定義CRA信息的采樣組信息的六個示例。第一示例至第三示例是用于CRA信息的專用采樣組信息的示例。第四示例至第六示例是用于IDR信息和CRA信息的共享采樣組信息的示例。
[0130](2)第一示例
[0131]參考圖18,不出了對VisualSampleGroupEntry類進行擴展的CRAEntry類的語法。組類型是“crap”。CRAEntry類僅包括保留字段。參考圖16描述的位于sbgp盒中的與CRAEntry類的采樣組相關(guān)聯(lián)的采樣是CRA圖片的采樣。
[0132](3)第二示例
[0133]參考圖19,不出了對 VisualSampleGroupEntry 類進行擴展的 CRAPointEntry 類的語法。組類型是“crap”。CRAPointEntry類包括作為組屬性的損壞采樣數(shù)(broken_samples)。參考圖16描述的位于sbgp盒中的與CRAPointEntry類的采樣組相關(guān)聯(lián)的采樣是CRA圖片的采樣。損壞采樣數(shù)指示當對每個CRA圖片進行隨機訪問時未被正常解碼的先前圖片的采樣的數(shù)量(例如，按照呈現(xiàn)次序從開始起的數(shù)量)。
[0134](4)第三示例
[0135]參考圖20,不出了對 VisualSampleGroupEntry 類進行擴展的 CRAPointEntry 類的另一語法。組類型是“crap”。CRAPointEntry類包括作為組屬性的損壞持續(xù)時間(broken_durat1n)。每個損壞持續(xù)時間指示當對每個CRA圖片進行隨機訪問時未被正常解碼的先前圖片的總持續(xù)時間。
[0136](5)第四示例
[0137]參考圖21,不出了對VisualSampleGroupEntry類進行擴展的ExtRAPEntry類的語法。組類型是“rap2”。ExtRAPEntry類包括作為組屬性的采樣類型(sample_type)。參考圖16描述的位于sbgp盒中的與ExtRAPEntry類的采樣組相關(guān)聯(lián)的采樣是IDR圖片或CRA圖片的采樣。采樣類型指示每個圖片是IDR圖片和CRA圖片之一。采樣類型的值可以例如是與NAL單元類型的值相同的值。
[0138](6)第五示例
[0139]參考圖22,不出了對VisualSampleGroupEntry類進行擴展的ExtRAPEntry類的另一語法。組類型是“rap2”。ExtRAPEntry類包括作為組屬性的采樣類型(sample_type)和損壞采樣的數(shù)量(broken_samples)。損壞采樣數(shù)指示當對每個圖片進行隨機訪問時未被正常解碼的先前圖片的采樣的數(shù)量?？梢詫⒂糜贗DR圖片的損壞采樣數(shù)忽略或指示零。
[0140](7)第六示例
[0141]參考圖23,不出了對VisualSampleGroupEntry類進行擴展的ExtRAPEntry類的又一個語法。組類型是“rap2”。ExtRAPEntry類包括作為組屬性的采樣類型(sample_type)和損壞持續(xù)時間(broken_durat1n)。損壞持續(xù)時間指示當對每個圖片進行隨機訪問時未被正常解碼的先前圖片的總持續(xù)時間。可以將用于IDR圖片的損壞持續(xù)時間忽略或指示零。
[0142]以此方式，通過利用已知采樣組信息的結(jié)構(gòu)，能夠在不引入新采樣盒的情況下定義CRA信息。在此情況下，由于解碼器可以不處理新采樣盒，所以可以以較低的成本擴展已知解碼器，并且提供對CRA圖片的隨機訪問的有效支持。
[0143]〈3.根據(jù)實施方式的圖像解碼裝置的配置示例〉
[0144]在此部分，將描述根據(jù)具有先前部分描述的新文格式的運動圖像文件，依照HEVC方案對編碼圖像數(shù)據(jù)進行解碼的圖像解碼裝置。圖24是示出根據(jù)本實施方式的圖像解碼裝置30的配置示例的框圖。參考圖24，圖像解碼裝置30包括VCL緩沖器31、非VCL緩沖器32、參數(shù)存儲器33、解碼單元34、輸出緩沖器35、CRA信息獲取單元36和控制單元37。
[0145](I) VCL緩沖器/非VCL緩沖器
[0146]VCL緩沖器31對從運動圖像文件20的數(shù)據(jù)區(qū)(例如，mdat盒)讀取的圖像數(shù)據(jù)(通常為切片數(shù)據(jù))的比特流進行緩沖。非VCL緩沖器32對從運動圖像文件20的報頭區(qū)(例如，moov盒)讀取的參數(shù)集如SPS、PPS和APS以及報頭信息如CRA信息進行緩沖。
[0147](2)參數(shù)存儲器
[0148]參數(shù)存儲器33集體地存儲經(jīng)由非VCL緩沖器32獲取的、文件的報頭區(qū)中的信息。當運動圖像文件20被打開時由參數(shù)存儲器33保存可以按照上述各種格式記錄在運動圖像文件20的報頭區(qū)中的CRA信息。
[0149](3)解碼單元
[0150]解碼單元34是依照HEVC方案工作的解碼器。解碼單元34根據(jù)經(jīng)由VCL緩沖器31從運動圖像文件20的數(shù)據(jù)區(qū)獲取的比特流來對圖像序列進行解碼。當解碼單元34對圖像進行解碼時，解碼單元34使用由參數(shù)存儲器33存儲的參數(shù)集中的參數(shù)。解碼單元34按照呈現(xiàn)次序?qū)獯a圖像中的圖像進行整理，并且將經(jīng)整理的圖像輸出值輸出緩沖器35。
[0151]解碼單元34按照從開始起的次序?qū)Π凑战獯a次序存儲在運動圖像文件20中的運動圖像軌道中的切片數(shù)據(jù)進行正常訪問。然而，當控制單元37檢測到隨機訪問的指令時，解碼單元34對由控制單元37指定的解碼開始圖片(位于運動圖像軌道的中間)做出隨機訪問。解碼開始圖片是運動圖像軌道中的IDR圖片和CRA圖片之一。
[0152](4)輸出緩沖器
[0153]輸出緩沖器35是對解碼單元34所解碼的圖像進行緩沖的解碼圖片緩沖器(DPB)。輸出緩沖器35緩沖的圖像在圖像的輸出定時處輸出至顯示器或處理器(未示出)。
[0154](5) CRA信息獲取單元
[0155]CRA信息獲取單元36獲取經(jīng)由非VCL緩沖器32從運動圖像文件20的報頭區(qū)讀取至參數(shù)存儲器33的CRA信息。CRA信息是用于標識解碼圖像序列中的至少一個或更多個CRA圖片的信息。CRA信息可以是被存儲在CRA信息的專用采樣盒或共享采樣盒中的信息。替代地，CRA信息可以是對一個或更多個CRA圖片進行分組的采樣組信息。CRA信息可以包括用于標識在對每個CRA圖片進行隨機訪問時未被正常解碼的先前圖片的先前圖片信息。CRA信息獲取單元36將所獲取的CRA信息輸出值控制單元37。
[0156](6)控制單元
[0157]控制單元37控制在圖像解碼裝置30中進行的解碼處理。例如，控制單元響應(yīng)于來自用戶的指令打開運動圖像文件20，并且使解碼單元34開始對圖像序列進行解碼。當檢測到隨機訪問的指令時，控制單元37基于由CRA信息獲取單元36獲取的CRA信息，將圖像序列中的CRA圖片之一指定為解碼開始圖片。然后，控制單元37使解碼單元34從所指定的解碼開始圖片(即，從運動圖像軌道的中間)起對圖像序列進行解碼。
[0158]控制單元37通常將離隨機訪問的指令中指定的定時(例如，通過運動圖像再現(xiàn)窗的搜索條(seek bar)的操作指針指示的定時)最近的CRA圖片指定為解碼開始圖片。下面將詳細描述指定解碼開始圖片的處理的流程的若干示例。
[0159]當CRA信息包括上述先前圖片信息時，控制單元37可以跳過來自輸出緩沖器35的先前圖片的輸出，這些先前圖片基于先前圖片信息被標識并且未被正常解碼(并且通過解碼單元34進行解碼)。通過使用先前圖片信息，可以防止損壞圖像顯示在顯示器中或輸出至外部處理器。此時，控制單元37隨后可以不確定每個圖像是否被正常解碼。
[0160]〈4.解碼處理的流程〉
[0161][4-1.非分段影片的解碼處理]
[0162](I)總體流程
[0163]圖25是示出由圖24中例示的圖像解碼裝置30執(zhí)行的解碼處理的流程的第一示例的流程圖。第一示例與具有非分段影片結(jié)構(gòu)的圖像序列的解碼相關(guān)聯(lián)。
[0164]在圖25所例示的解碼處理中，控制單元37持續(xù)監(jiān)視隨機訪問(RA)指令(步驟S100)。當檢測到RA指令時，執(zhí)行步驟SllO至步驟S160的處理。當未檢測到RA指令時，解碼單元34按照解碼次序?qū)D像進行解碼(步驟S190)。
[0165]當檢測到RA指令時，控制單元37獲取指示RA指令中的指定定時的指定時間T (步驟SI 10)。接著，控制單元37獲取與指定時間T對應(yīng)的采樣(要在指定時間T顯示的采樣)的采樣號X (步驟S120)。接著，控制單元37基于CRA信息檢索緊接在采樣號X之前的可隨機訪問圖片(步驟S130)。本文所指定的解碼開始圖片是CRA圖片或IDR圖片。接著，解碼單元34執(zhí)行對由控制單元37指定的解碼開始圖片的隨機訪問(步驟S160)。然后，解碼單元34按照解碼次序從解碼開始圖片對圖像進行解碼(步驟S190)。
[0166]重復(fù)上述處理直到解碼出結(jié)束解碼的指令或最后的圖像(步驟S195)。
[0167](2)獲取與指定時間對應(yīng)的采樣號
[0168]圖26是示出以下處理的流程示例的流程圖:該處理與圖25的步驟S120對應(yīng)并且被執(zhí)行以獲取與指定時間T對應(yīng)的采樣號X。
[0169]參考圖26，控制單元37首先將時間變量S和計數(shù)器η初始化為零(步驟S121)。接著，控制單元37增大計數(shù)器η (即，給計數(shù)器η加I)(步驟S122)。接著，控制單元37將運動圖像軌道的第η個采樣的持續(xù)時間加到時間變量S (步驟S123)。例如，可以通過stts盒(時間至采樣盒)中的參數(shù)(sample_delta)來指示第η個采樣的持續(xù)時間。接著,控制單元37確定時間變量S是否超過指定時間T(S>T)(步驟S124)。此處，當時間變量S尚未超過指定時間T時，處理返回至步驟S122。相反地，當時間變量S超過指定時間時，控制單元37用計數(shù)器的值η代替采樣號X (步驟S125)。
[0170]通過這樣的處理，獲取與指定時間T對應(yīng)的采樣號X。
[0171](3)指定解碼開始圖片
[0172]圖27是示出以下處理的流程的第一示例的流程圖:該處理與圖25的步驟S130對應(yīng)，并且被執(zhí)行以指定解碼開始圖片。在第一示例中，假設(shè)CRA信息被存儲在圖4至圖6所例示的Stcs盒以及圖7至圖9所例示的Stra盒中。
[0173]參考圖27，控制單元37首先將編號變量M和計數(shù)器η初始化為I (步驟S131)。接著，控制單元37參考CRA信息的采樣盒中的第η個條目(步驟S132)。接著，控制單元37確定第η個條目的采樣類型(sample_type)是否指示預(yù)定值(例如，指示CRA圖片或IDR圖片的NAL單元類型的值)(步驟S133)。當CRA信息的采樣盒不包括采樣類型時，此處忽略該確定。當?shù)讦莻€條目的采樣類型不指示預(yù)定值時，跳過步驟S134后面的處理并且處理進行至步驟S136。當?shù)讦莻€條目的采樣類型指示預(yù)定值時，控制單元37確定第η個條目的采樣號(sample_number)Xn是否等于或小于與指定時間T對應(yīng)的采樣號X(步驟S134)。此處，當采樣號Xn不小于等于采樣號X時，處理行進至步驟S138。相反地，當采樣號Xn等于或小于采樣號X時，控制單元37用采樣號Xn替換編號變量M(步驟S135)。接著，控制單元37確定第η個條目是否為最后條目(步驟S136)。如果第η個條目不是最后條目，則控制單元37增大計數(shù)器η (步驟S137)并且處理返回步驟S132。如果第η個條目是最后的條目，則處進行至步驟S138。在步驟S138中，控制單元37用編號變量M的值替換解碼開始圖片的采樣號Y (步驟S138)。當CRA信息的采樣盒與IDR信息的采樣盒分開被定義時，則還可以對IDR信息的采樣盒進行與圖27的處理相同的處理。在該情況下，可以采用距采樣號X較近的值作為解碼開始圖片的采樣號Y。
[0174]圖28是示出以下處理的流程的第二示例的流程圖:該處理與圖25的步驟S130對應(yīng)，并且被執(zhí)行以指定解碼開始圖片。在第二示例中，如圖18至圖23所例示的，假設(shè)CRA信息為對CRA圖片進行分組的采樣組信息。
[0175]參考圖28，控制單元37首先將編號變量j初始化為零并且將編號變量M和計數(shù)器η初始化為1(步驟S141)。接著，控制單元37參考參照圖16描述的sbgp盒中的第η個條目。本文所指的sbgp盒是包括組類型“crap”和“rap2”的盒。
[0176]接著,控制單元37將sbgp盒中的第η個條目的采樣計數(shù)器(sample_count)加至編號變量j。接著，控制單元37確定編號變量j是否小于等于與指定時間T對應(yīng)的采樣號X(S144)。此處，當編號變量j不小于等于采樣號X時，處理進行至步驟S150。相反地，當編號變量j等于或小于采樣號X時，處理進行至步驟S145。在步驟S145中，控制單元37確定第η個條目的組描述索引(group_descript1n_index)是否大于零，即，與編號變量j對應(yīng)的采樣分組至一個采樣組(步驟S145)。此處，當組描述索引大于零時，控制單元37還確定相應(yīng)的采樣類型(sample_type)是否指示預(yù)定值(例如，指示CRA圖片或IDR圖片的NAL單元類型的值)(步驟S146)。此處，當相應(yīng)采樣類型指示預(yù)定值時，控制單元37用編號變量j替換編號變量M(步驟S147)。相反地，當相應(yīng)采樣類型不指示預(yù)定值或當組描述索引不大于零時，跳過步驟S147的處理并且處理進行至步驟S148。當采樣組信息不包括作為組屬性的采樣類型時，忽略步驟S146的確定。接著，控制單元37確定第η個條目是否為最后條目(步驟S148)。當?shù)讦莻€條目不是最后條目時，控制單元37增大計數(shù)器η (步驟S149)，并且處理返回至步驟S142。如果第η個條目是最后的條目，則處理進行至步驟S150。在步驟S150中，控制單元37用編號變量M的值替換解碼開始圖片的采樣號Y (步驟S148)。
[0177]通過圖27或圖28所例示的處理，指定解碼開始圖片的采樣號Y。當CRA圖片未包括在圖像序列中時，圖像序列的開始的IDR圖片可以變?yōu)榻獯a開始圖片。從文件的開始至每個塊的開始的字節(jié)數(shù)被存儲在Stco盒(塊偏移盒)中。每個采樣的字節(jié)數(shù)被存儲在stsz盒(采樣大小盒)中。從而，當指定了解碼開始圖片的采樣號Y時，可以基于關(guān)于采樣號Y的信息計算解碼開始圖片在文件中的位置(從文件的開始起的字節(jié)數(shù))。
[0178](4)跳過未被正常解碼的先前圖片的輸出
[0179]圖29和圖30示出了當從圖25中的步驟S160進行至步驟S190時跳過未被正常解碼的先前圖片的輸出的處理的流程的三個示例。
[0180]在圖29的第一示例中，假設(shè)CRA信息包括每個CRA圖片的損壞采樣數(shù)(broken_samples)。首先，控制單元37用解碼開始圖片的損壞采樣數(shù)替換臨時變量P (步驟S161)。接著，控制單元37用解碼開始圖片的輸出定時替換時間變量t (步驟S162)。接著，控制單元37將編號變量R初始化為I (步驟S163)。
[0181]接著，控制單元37用輸出緩沖器35中的第R個采樣的輸出定時替換時間變量X(步驟S164)。接著，控制單元37確定臨時變量P是否為零，S卩，損壞采樣數(shù)是否為零(步驟S165)。當損壞采樣數(shù)不為零時，處理行進至步驟S166。相反地，當損壞采樣數(shù)為零時，處理行進至步驟S167。在步驟S166中，控制單元37確定時間變量X是否小于t，S卩，第R個采樣是否為解碼開始圖片的先前采樣(步驟S166)。當?shù)赗個采樣不是解碼開始圖片的先前采樣或者損壞采樣數(shù)為零時，從輸出緩沖器35輸出由解碼單元34解碼的第R個采樣(步驟S167)。相反地，當?shù)赗個采樣是解碼開始圖片的先前采樣時，跳過對第R個采樣的輸出并且處理行進至步驟S168。之后，編號變量R增大(步驟S168)并且處理返回至步驟S164。
[0182]在第一示例中，統(tǒng)一跳過對解碼開始圖片的先前采樣的輸出。
[0183]在圖30的第二示例中，還假設(shè)CRA信息包括每個CRA圖片的損壞采樣數(shù)(broken_samples)。首先,步驟S161至S163的處理與圖29所示的第一示例的處理相同。
[0184]在第二示例中，在編號變量R被初始化為I之后，控制單元37確定臨時變量P是否為零，g卩，損壞采樣數(shù)是否零(步驟S165)。當損壞采樣數(shù)不為零時，處理行進至步驟S171。相反地，當損壞采樣數(shù)為零時，處理行進至步驟S175。在步驟S171中，控制單元37確定編號變量R是否小于等于臨時變量P，即，第R個采樣是否是未被正常解碼的損壞采樣(步驟S171)。當?shù)赗個采樣不是損壞采樣時，處理行進至步驟S172。相反地，當?shù)赗個采樣是損壞采樣時，處理行進至步驟S176。在步驟S172中，控制單元37確定臨時變量P是否為負值，即，損壞采樣數(shù)是否未知(步驟S172)。當損壞采樣數(shù)未知時，處理行進至步驟S173。相反地，當損壞采樣數(shù)并非未知時，處理行進至步驟S175。在步驟S173中，控制單元37用輸出緩沖器35中的第R個采樣的輸出定時替換時間變量X(步驟S173)。接著，控制單元37確定時間變量X是否小于t，即，第R個采樣是否為解碼開始圖片的先前采樣(步驟S174)。當?shù)赗個采樣不是解碼開始圖片的先前采樣并且損壞采樣數(shù)為零時或者當損壞采樣數(shù)并非未知并且第R個采樣不是損壞采樣時，從輸出緩沖器35輸出由解碼單元34解碼的第R個采樣(步驟S175)。相反地，當?shù)赗個采樣是損壞采樣或當損壞采樣數(shù)未知并且第R個采樣時解碼開始圖片的先前采樣時，跳過對第R個采樣的輸出并且處理行進至步驟S176。之后，編號變量R增大(步驟S176)并且處理返回至步驟S164。
[0185]在第二示例中，選擇性地跳過對解碼開始圖片的先前采樣中未被正常解碼的采樣的輸出。
[0186]在圖31的第三示例中，假設(shè)CRA信息包括每個CRA圖片的損壞持續(xù)時間(b1ken_durat1n)。首先,控制單元37用解碼開始圖片的損壞持續(xù)時間替換臨時變量P(步驟S181) ο接著,控制單元37用一個解碼目標圖片的輸出定時(presentat1n_time)替換時間變量Z (步驟S182)。
[0187]接著，控制單元37確定臨時變量P是否大于時間變量Z，S卩，解碼目標圖片的輸出定時是否已經(jīng)過損壞持續(xù)時間(步驟S183)。當解碼目標圖片的輸出定時已經(jīng)過損壞持續(xù)時間時，解碼單元34對解碼目標圖片進行解碼并且將解碼圖片存儲在輸出緩沖器35中(步驟S184)。當解碼目標圖片的輸出定時尚未經(jīng)過損壞持續(xù)時間時，跳過對圖片的解碼。此后，將按解碼次序的后續(xù)圖片設(shè)置成解碼目標圖片并且處理返回至步驟S182。
[0188][4-2.分段影片的解碼處理]
[0189](I)總體流程
[0190]圖32是示出由圖24中例示的圖像解碼裝置30執(zhí)行的解碼處理的流程的第二示例的流程圖。第二示例與具有分段影片結(jié)構(gòu)的圖像序列的解碼相關(guān)聯(lián)。
[0191]在圖32所例示的解碼處理中，控制單元37持續(xù)監(jiān)視隨機訪問(RA)指令(步驟S200)。當檢測到RA指令時，執(zhí)行步驟S210至步驟S260的處理。當未檢測到RA指令時，解碼單元34按照解碼次序?qū)D像進行解碼(步驟S290)。
[0192]當檢測到RA指令時，控制單元37獲取指示RA指令中的指定定時的指定時間T (步驟S210)。接著，控制單元37基于CRA信息檢索緊接在指定時間T之前的可隨機訪問圖片并且指定解碼開始圖片(步驟S230)。本文所指定的解碼開始圖片是CRA圖片或IDR圖片。接著，解碼單元3對由控制單元37指定的解碼開始圖片執(zhí)行隨機訪問(步驟S260)。然后，解碼單元34按照解碼次序從解碼開始圖片起對圖像進行解碼(步驟S290)。
[0193]重復(fù)上述處理直到結(jié)束解碼的指令或直到解碼出最后圖像(步驟S295)。
[0194](2)指定解碼開始圖片
[0195]圖33是示出以下處理的流程的示例的流程圖:該處理與圖32的步驟S230對應(yīng)，并且被執(zhí)行以指定解碼開始圖片。在圖33的示例中，假設(shè)CRA信息被存儲在圖10至圖12所例示的tfca盒中以及圖13至圖15所例示的tfr2盒中。
[0196]參考圖33，控制單元37首先將編號變量M和計數(shù)器η初始化為1(步驟S231)。接著，控制單元37參考包括CRA圖片的分段的CRA信息的采樣盒中的第η個條目(步驟S232)。接著，控制單元37確定第η個條目的輸出定時(time)是否小于等于指定時間T (步驟S234)。此處，當?shù)讦莻€條目的輸出定時不小于等于指定時間T時，處理行進至步驟S238。相反地，當?shù)讦莻€條目的輸出定時等于或小于指定時間T時，處理行進至步驟S234。在步驟S234中,控制單元37確定第η個條目的采樣類型(sample_type)是否指示預(yù)定值(例如，指示CRA圖片或IDR圖片的NAL單元類型的值)(步驟S234)。當CRA信息的采樣盒不包括采樣類型時，此處忽略該確定。當?shù)讦莻€條目的采樣類型不指示預(yù)定值時，跳過步驟S234的后續(xù)處理并且處理進行至步驟S236。當?shù)讦莻€條目的采樣類型指示預(yù)定值時，控制單元37用采樣號(Sample_number)Xn替換編號變量M(步驟S235)。接著，控制單元37確定第η個條目是否為最后條目(步驟S236)。當?shù)讦莻€條目不是最后條目時，控制單元37增大計數(shù)器η (步驟S237)，并且處理返回至步驟S232。如果第η個條目是最后條目，則處進行至步驟S238。在步驟S238中，控制單元37用編號變量M的值替換解碼開始圖片的采樣號Y (步驟S238)。當CRA信息的采樣盒與IDR信息的采樣盒分開被定義時，還可以對IDR信息的采樣盒進行與圖27的處理相同的處理。在該情況下，可以采用解碼開始圖片的輸出定時距指定時間T較近的采樣號Y。
[0197]當CRA信息是圖18至圖23所例示的對CRA圖片進行分組的采樣組信息時，還可以針對分段影片指定解碼開始圖片的采樣號Y，如在圖28所例示的非分段影片的情況下。
[0198]當從圖32的步驟S260行進至步驟S290時，跳過對未被正常解碼的先前圖片的輸出的處理可以與圖29至圖31所例示的處理相同。
[0199]<5.示例應(yīng)用>
[0200]根據(jù)上述實施方式的圖像編碼裝置10和圖像解碼裝置30可以應(yīng)用于多種電子設(shè)備，例如用于衛(wèi)星廣播、有線廣播如有線電視、因特網(wǎng)上的分發(fā)、經(jīng)由蜂窩通信至終端的分發(fā)等的發(fā)送器與接收器；將圖像記錄在如光盤、磁盤或閃存的介質(zhì)中的記錄裝置；從這種存儲介質(zhì)再現(xiàn)圖像的再現(xiàn)裝置等。下面將描述四個示例應(yīng)用。
[0201][5-1.第一應(yīng)用示例]
[0202]圖34示出了應(yīng)用前述實施方式的電視裝置的示意性配置的示例。電視裝置900包括天線901、調(diào)諧器902、解復(fù)用器903、解碼器904、視頻信號處理單元905、顯示器906、音頻信號處理單元907、揚聲器908、外部接口 909、控制單元910、用戶接口 911和總線912。
[0203]調(diào)諧器902根據(jù)通過天線901接收的廣播信號提取期望頻道的信號并且對所提取的信號進行解調(diào)。調(diào)諧器902然后將通過解調(diào)獲得的編碼比特流輸出至解復(fù)用器903。BP,調(diào)諧器902在電視裝置900中起到接收編碼有圖像的編碼流的傳輸裝置的作用。
[0204]解復(fù)用器903將要根據(jù)編碼比特流觀看的節(jié)目中的視頻流和音頻流分離開并且將每個分離流輸出至解碼器904。解復(fù)用器903還從編碼比特流提取輔助數(shù)據(jù)如EPG (電子節(jié)目指南)并且將所提取的數(shù)據(jù)提供給控制單元910。此處，如果編碼比特流被加擾，解復(fù)用器903可以對編碼比特流進行解擾。
[0205]解碼器904對從解復(fù)用器903輸入的視頻流和音頻流進行解碼。解碼器904然后將通過解碼處理生成的視頻數(shù)據(jù)輸出至視頻信號處理單元905。此外，解碼器904將通過解碼處理生成的音頻數(shù)據(jù)輸出至音頻信號處理單元907。
[0206]視頻信號處理單元905對從解碼器904輸入的視頻數(shù)據(jù)進行再現(xiàn)并且將視頻顯示在顯示器906上。視頻信號處理單元905還可以將通過網(wǎng)絡(luò)提供的應(yīng)用屏幕顯示在顯示器906上。視頻信號處理單元905還可以進行另外的處理如根據(jù)設(shè)置對視頻數(shù)據(jù)進行降噪。此外，視頻信號處理單元905可以生成⑶I (圖形用戶接口)如菜單、按鈕或光標的圖像，并且將所生成的圖像疊加到輸出圖像上。
[0207]顯示器906被從視頻信號處理單元905提供的驅(qū)動信號驅(qū)動，并且將視頻或圖像顯示在顯示裝置(如液晶顯示器、等離子顯示器或OELD (有機電致發(fā)光顯示器))的視頻屏幕上。
[0208]音頻信號處理單元907對從解碼器904輸入的音頻數(shù)據(jù)進行再現(xiàn)處理如D/A轉(zhuǎn)換和放大，并且從揚聲器908輸出音頻。音頻信號處理單兀907還可以進行另外的處理如對音頻數(shù)據(jù)進行降噪。
[0209]外部接口 909是將電視裝置900與外部裝置或網(wǎng)絡(luò)連接的接口。例如，解碼器904可以對通過外部接口 909接收的視頻流或音頻流進行解碼。這意味著外部接口 909在電視裝置900中還起到接收編碼有圖像的編碼流的傳輸裝置的作用。
[0210]控制單元910包括處理器如中央處理單元(CPU)以及存儲器如RAM和ROM。存儲器存儲由CPU執(zhí)行的程序、程序數(shù)據(jù)、EPG數(shù)據(jù)以及通過網(wǎng)絡(luò)獲取的數(shù)據(jù)。例如，在電視裝置900啟動時由CPU讀取并且執(zhí)行存儲在存儲器中的程序。例如，通過執(zhí)行程序，CPU根據(jù)從用戶接口 911輸入的操作信號來控制電視裝置900的工作。
[0211]用戶接口 911連接至控制單元910。例如，用戶接口 911包括供用戶操作電視裝置的按鈕及開關(guān)以及接收遠端控制信號的接收部件。用戶接口 911通過這些部件檢測用戶操作，生成操作信號并且將所生成的操作信號輸出至控制單元910。
[0212]總線912將調(diào)諧器902、解復(fù)用器903、解碼器904、視頻信號處理單元905、音頻信號處理單元907、外部接口 909和控制單元910互連。
[0213]在具有上述配置的電視裝置900中，解碼器904具有根據(jù)上述實施方式的圖像解碼裝置30的功能。從而，在電視裝置900中，可以基于上述CRA信息簡單地對CRA圖片進行隨機訪問。
[0214][5-2.第二應(yīng)用示例]
[0215]圖35示出應(yīng)用前述實施方式的電移動電話的示意性配置的示例。移動電話920包括天線921、通信單元922、音頻編解碼器923、揚聲器924、麥克風925、攝像機單元926、圖像處理單元927、解復(fù)用單元928、記錄/再現(xiàn)單元929、顯示器930、控制單元931、操作單元932和總線933。
[0216]天線921連接至通信單元922。揚聲器924和麥克風925連接至音頻編解碼器923。操作單元932連接至控制單元931?？偩€933將通信單元922、音頻編解碼器923、攝像機單元926、圖像處理單元927、解復(fù)用單元928、記錄/再現(xiàn)單元929、顯示器930和控制單元931互連。
[0217]移動電話920執(zhí)行操作，如發(fā)送/接收音頻信號，發(fā)送/接收電子郵件或圖像數(shù)據(jù)，對圖像進行成像，或在包括音頻呼叫模式、數(shù)據(jù)通信模式、攝影模式和視頻電話模式的各種操作模式下記錄數(shù)據(jù)。
[0218]在音頻呼叫模式下，將麥克風925生成的模擬音頻數(shù)據(jù)提供給音頻編解碼器923。音頻編解碼器923然后將模擬音頻信號轉(zhuǎn)換成音頻數(shù)據(jù)，對所轉(zhuǎn)換的音頻數(shù)據(jù)進行A/D轉(zhuǎn)換并且對數(shù)據(jù)進行壓縮。音頻編解碼器923之后將所壓縮的音頻數(shù)據(jù)輸出至通信單元922。通信單元922對音頻數(shù)據(jù)進行編碼和調(diào)制以生成發(fā)送信號。通信單元922然后將所生成的發(fā)送信號通過天線921發(fā)送至基站(未示出)。此外，通信單元922對通過天線921接收的無線電信號進行放大，轉(zhuǎn)換信號的頻率并且獲取接收信號。通信單元922之后對接收信號進行解調(diào)和解碼以生成音頻數(shù)據(jù)，并且將所生成的音頻數(shù)據(jù)輸出至音頻編解碼器923。音頻編解碼器923擴展音頻數(shù)據(jù)，對數(shù)據(jù)進行D/A轉(zhuǎn)換并且生成模擬音頻信號。音頻編解碼器923通過將所生成的音頻信號提供給揚聲器924來輸出音頻。
[0219]在數(shù)據(jù)通信模式下，例如，控制單元931根據(jù)通過操作單元932的用戶操作來生成對電子郵件進行配置的字符數(shù)據(jù)?？刂茊卧?31還將字符顯示在顯示器930上。此外，控制單元931根據(jù)來自用戶的通過操作單元932的發(fā)送指令來生成電子郵件，并且將所生成的電子郵件數(shù)據(jù)輸出至通信單元922。通信單元922對電子郵件數(shù)據(jù)進行編碼和調(diào)制以生成發(fā)送信號。然后，通信單元922將所生成的發(fā)送信號通過天線921發(fā)送至基站(未示出)。通信單元922還對通過天線921接收的無線電信號進行放大，轉(zhuǎn)換信號的頻率并且獲取接收信號。通信單元922此后對接收信號進行解調(diào)和解碼，對電子郵件數(shù)據(jù)進行恢復(fù)并且將所恢復(fù)的電子郵件數(shù)據(jù)輸出至控制單元931。控制單元931將電子郵件的內(nèi)容顯示在顯示器930上以及將電子郵件數(shù)據(jù)存儲在記錄/再現(xiàn)單元929的存儲介質(zhì)中。
[0220]記錄/再現(xiàn)單元929包括可讀可寫的任意存儲介質(zhì)。例如，存儲介質(zhì)可以是內(nèi)置的存儲介質(zhì)如RAM或閃存，或者可以是外部安裝的存儲介質(zhì)如硬盤、磁盤、磁光盤、光盤、USB (未分配空間位圖)存儲器或存儲卡。
[0221]在攝影模式下，例如，攝像機單元926對對象進行成像，生成圖像數(shù)據(jù)并且將所生成的圖像數(shù)據(jù)輸出至圖像處理單元927。圖像處理單元927對從攝像機單元926輸入的圖像數(shù)據(jù)進行編碼，并且將編碼流存儲在記錄/再現(xiàn)單元929的存儲介質(zhì)中。
[0222]在視頻電話模式中，例如,解復(fù)用單元928對由圖像處理單元927編碼的視頻流以及從音頻編解碼器923輸入的音頻流進行復(fù)用，并且將復(fù)用流輸出至通信單元922。通信單元922對流進行編碼和調(diào)制以生成發(fā)送信號。通信單元922隨后將所生成的發(fā)送信號通過天線921發(fā)送至基站(未示出)。此外，通信單元922對通過天線921接收的無線電信號進行放大，轉(zhuǎn)換信號的頻率并且獲取接收信號。發(fā)送信號和接收信號可以包括編碼比特流。然后，通信單元922對接收信號進行解調(diào)和解碼以恢復(fù)流，并且將所恢復(fù)的流輸出至解復(fù)用單元928。解復(fù)用單元928將來自輸入流的視頻流與音頻流分離并且將視頻流和音頻流分別輸出至圖像處理單元927和音頻編解碼器923。圖像處理單元927對視頻流進行解碼以生成視頻數(shù)據(jù)。視頻數(shù)據(jù)然后被提供給顯示器930，顯示器930顯示一系列圖像。音頻編解碼器923展開音頻流并且對音頻流進行D/A轉(zhuǎn)換單元以生成模擬音頻信號。音頻編解碼器923然后將所生成的音頻信號提供給揚聲器924以輸出音頻。
[0223]在具有上述配置的移動電話920中，圖像處理單元927具有根據(jù)上述實施方式的圖像編碼裝置10和圖像解碼裝置30的功能。從而，在移動電話920或?qū)υ谝苿与娫?20中編碼的圖像進行解碼的裝置中，可以基于上述CRA信息簡單地執(zhí)行對CRA圖片的隨機訪問。
[0224][5-3.第三應(yīng)用示例]
[0225]圖36示出應(yīng)用前述實施方式的記錄/再現(xiàn)裝置的示意性配置的示例。例如，記錄/再現(xiàn)裝置940對所接收的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)進行編碼，并且將數(shù)據(jù)記錄到記錄介質(zhì)中。例如，記錄/再現(xiàn)裝置940也可以對從另外的裝置獲取的音頻數(shù)據(jù)和視頻數(shù)據(jù)進行編碼，并且將數(shù)據(jù)記錄到記錄介質(zhì)中。響應(yīng)于用戶指令，例如，記錄/再現(xiàn)裝置940在監(jiān)視器和揚聲器上對記錄在記錄介質(zhì)中的數(shù)據(jù)進行再現(xiàn)。記錄/再現(xiàn)裝置940此時對音頻數(shù)據(jù)和視頻數(shù)據(jù)進行解碼。
[0226]記錄/再現(xiàn)裝置940包括調(diào)諧器941、外部接口 942、編碼器943、HDD (硬盤驅(qū)動器)944、盤驅(qū)動器945、選擇器946、解碼器947、OSD (屏上顯示器)948、控制單元949和用戶接口 950。
[0227]調(diào)諧器941根據(jù)通過天線(未示出)接收的廣播信號提取期望的頻道的信號并且對所提取的信號進行解調(diào)。調(diào)諧器941然后將通過解調(diào)獲得的編碼比特流輸出至選擇器946。S卩，調(diào)諧器941具有作為記錄/再現(xiàn)裝置940中的傳輸裝置的作用。
[0228]外部接口 942是將記錄/再現(xiàn)裝置940與外部裝置或網(wǎng)絡(luò)連接的接口。外部接口942可以例如是IEEE 1394接口、網(wǎng)絡(luò)接口、USB接口或閃存接口。例如，通過外部接口 942接收的視頻數(shù)據(jù)和音頻數(shù)據(jù)被輸入至編碼器943。即，外部接口 942具有作為記錄/再現(xiàn)裝置940中的傳輸裝置的作用。
[0229]當從外部接口 942輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)未被編碼時，編碼器943對視頻數(shù)據(jù)和音頻數(shù)據(jù)進行編碼。編碼器943之后將編碼比特流輸出至選擇器946。
[0230]HDD 944將其中壓縮有內(nèi)容數(shù)據(jù)如視頻和音頻的編碼比特流、各種程序以及其他數(shù)據(jù)記錄到內(nèi)部硬盤中。當再現(xiàn)視頻和音頻時，HDD 944從硬盤讀取這些數(shù)據(jù)。
[0231]硬盤驅(qū)動器945將數(shù)據(jù)記錄至安裝至盤驅(qū)動器的記錄介質(zhì)中或從該記錄介質(zhì)讀取數(shù)據(jù)。安裝至硬盤驅(qū)動器945的記錄介質(zhì)可以例如是DVD盤(如DVD-視頻、DVD-RAM、DVD-R、DVD-RW、DVD+R 或 DVD+RW)或藍光(注冊商標)盤。
[0232]選擇器946選擇當記錄視頻和音頻時從調(diào)諧器941或編碼器943輸入的編碼比特，并且將所選擇的編碼比特輸出至HDD 944或盤驅(qū)動器945。另一方面，當再現(xiàn)視頻和音頻時，選擇器946將從HDD 944或盤驅(qū)動器945輸入的編碼比特流輸出至解碼器947。
[0233]解碼器947對編碼比特流進行解碼以生成視頻數(shù)據(jù)和音頻數(shù)據(jù)。解碼器904然后將所生成的視頻數(shù)據(jù)輸出至OSD 948并且將所生成的音頻數(shù)據(jù)輸出至外部揚聲器。
[0234]OSD 948對從解碼器947輸入的視頻數(shù)據(jù)進行再現(xiàn)，并且顯示視頻。OSD 948還可以將⑶I如菜單、按鈕或光標等圖像疊加到所顯示的視頻上。
[0235]控制單元949包括如CPU的處理器以及如RAM和ROM的存儲器。存儲器存儲由CPU執(zhí)行的程序以及程序數(shù)據(jù)。例如，存儲在存儲器中的程序在記錄/再現(xiàn)裝置940啟動時由CPU讀取并且執(zhí)行。例如，通過執(zhí)行程序，CPU根據(jù)從用戶接口 950輸入的操作信號來控制記錄/再現(xiàn)裝置900的工作。
[0236]用戶接口 950連接至控制單元949。例如，用戶接口 950包括供用戶操作記錄/再現(xiàn)裝置940的按鈕和開關(guān)以及接收遙控信號的接收部件。用戶接口 950通過這些部件檢測用戶操作，生成操作信號并且將所生成的操作信號輸出至控制單元949。
[0237]在具有上述配置的記錄/再現(xiàn)裝置940中，編碼器943具有根據(jù)上述實施方式的圖像編碼裝置10的功能。解碼器947具有根據(jù)上述實施方式的圖像解碼裝置30的功能。從而，在記錄/再現(xiàn)裝置940或?qū)υ谟涗?再現(xiàn)裝置940中被解碼的圖像進行解碼的裝置中，可以基于上述CRA信息簡單地執(zhí)行對CRA圖片的隨機訪問。
[0238][5-4.第四應(yīng)用示例]
[0239]圖37示出應(yīng)用上述實施方式的圖像拍攝裝置的示意性配置的示例。成像裝置960對對象進行成像，生成圖像，對圖像數(shù)據(jù)進行編碼并且將數(shù)據(jù)記錄紙記錄介質(zhì)中。
[0240]成像裝置960包括光學塊961、成像單元962、信號處理單元963、圖像處理單元964、顯示器965、外部接口 966、存儲器967、媒體驅(qū)動器968、OSD 969、控制單元970、用戶接口 971和總線972。
[0241]光學塊961連接至成像單元962。成像單元962連接至信號處理單元963。顯示器965連接至圖像處理單元964。用戶接口 971連接至控制單元970?？偩€972將圖像處理單元964、外部接口 966、存儲器967、媒體驅(qū)動器968、OSD 969和控制單元970互聯(lián)。
[0242]光學塊961包括聚焦透鏡和光圈機構(gòu)。光學塊961在成像單元962的成像表面上形成對象的光學圖像。成像單元962包括圖像傳感器如CCD (電荷耦合裝置)或CMOS (互補金屬氧化物半導體)，并且執(zhí)行光電轉(zhuǎn)換以將形成在成像表面上的光學圖像轉(zhuǎn)換成作為電信號的圖像信號。隨后，成像單元962將圖像信號輸出至信號處理單元963。
[0243]信號處理單元963對從成像單元962輸入的圖像信號進行各種攝像機信號處理如拐點校正、伽馬校正和顏色校正。信號處理單元963將執(zhí)行了攝像機信號處理的圖像數(shù)據(jù)輸出至圖像處理單元964。
[0244]圖像處理單元964對從信號處理單元963輸入的圖像數(shù)據(jù)進行編碼并且生成編碼數(shù)據(jù)。圖像處理單元964然后將所生成的編碼數(shù)據(jù)輸出至外部接口 966或媒體驅(qū)動器968。圖像處理單元964還對從外部接口 966或媒體驅(qū)動器968輸入的編碼數(shù)據(jù)進行解碼以生成圖像數(shù)據(jù)。圖像處理單元964然后將所生成的圖像數(shù)據(jù)輸出至顯示器965。此外，圖像處理單元964可以將從信號處理單元963輸入的圖像數(shù)據(jù)輸出至顯示器965以顯示圖像。此夕卜，圖像處理單元964可以將從OSD 969獲取的顯示數(shù)據(jù)疊加到輸出在顯示器965上的圖像上。
[0245]OSD 969生成⑶I如菜單、按鈕或光標的圖像，并且將所生成的圖像輸出至圖像處理單元964。
[0246]例如，外部接口 966被配置成USB輸入/輸出端子。例如，當打印圖像時，外部接口 966將成像裝置960與打印機連接。此外，驅(qū)動器根據(jù)需要連接至外部接口 966。例如，可移除介質(zhì)如磁盤或光盤被安裝至驅(qū)動器，使得從可移除介質(zhì)讀取的程序可以安裝至成像裝置960。外部接口 966還可以被配置成連接至如LAN或因特網(wǎng)等網(wǎng)絡(luò)的網(wǎng)絡(luò)接口。S卩，外部接口 966具有成像裝置960中的傳輸裝置的作用。
[0247]安裝至媒體驅(qū)動器968的記錄介質(zhì)可以是任意可讀可寫的移動介質(zhì)如磁盤、磁光盤、光盤或半導體存儲器。此外，例如，記錄介質(zhì)可以固定地安裝至媒體驅(qū)動器968以使得非便攜式存儲單元如內(nèi)置式盤驅(qū)動器或SSD(固態(tài)驅(qū)動器)被配置。
[0248]控制單元970包括如CPU的處理器以及如RAM和ROM的存儲器。存儲器存儲由CPU執(zhí)行的程序以及程序數(shù)據(jù)。存儲在存儲器中的程序在成像裝置960啟動時由CPU讀取并且然后被執(zhí)行。例如，通過執(zhí)行程序，CPU根據(jù)從用戶接口 971輸入的操作信號來控制成像裝置960的工作。
[0249]用戶接口 971連接至控制單元970。例如，用戶接口 971包括供用戶操作成像裝置960的按鈕和開關(guān)。用戶接口 971通過這些部件檢測用戶操作，生成操作信號并且將所生成的操作信號輸出至控制單元970。
[0250]在具有上述配置的成像裝置960中，圖像處理單元964具有根據(jù)上述實施方式的圖像編碼裝置10和圖像解碼裝置30的功能。從而，在對在成像裝置960中拍攝和編碼的圖像進行解碼的裝置中，可以基于上述CRA信息簡單地進行對CRA圖片的隨機訪問。
[0251]<6.結(jié)論〉
[0252]上面參考圖1至圖37詳細描述了本公開中的技術(shù)的各種實施方式。根據(jù)上述實施方式，用于標識可用作隨機訪問時的解碼開始圖片的CRA圖片的CRA信息被插入到文件格式的報頭區(qū)中。從而，解碼器可以在不檢查分配給跨一系列圖像數(shù)據(jù)的數(shù)據(jù)區(qū)中的圖像數(shù)據(jù)的NAL單元類型的情況下簡單地實現(xiàn)對CRA圖片的隨機訪問。
[0253]在某種實施方式中，可以通過利用采樣組的具有MP4格式的結(jié)構(gòu)對CRA圖片進行分組來形成CRA信息。在該配置中，由于解碼器不處理新的采樣盒，所以可以以較低的成本來擴展已知的解碼器并且基于CRA信息實現(xiàn)隨機訪問。
[0254]在另一種實施方式中，通過擴展具有MP4格式的采樣盒，可以形成存儲CRA信息的擴展采樣盒。在該配置中，可以將各種信息如每個CRA圖片的采樣號以及未被正常解碼的先前圖片信息包括在擴展采樣盒中。擴展采樣盒可以是CRA信息的專用盒。在該情況下，不支持對CRA圖片的隨機訪問的解碼器可以簡單地忽略該專用盒。從而，由于引入擴展采樣盒而導致的缺點不會出現(xiàn)。擴展采樣盒可以是IDR信息和CRA信息的共享盒。在該情況下，解碼器可以安裝僅參考共享盒的用于對IDR圖片和CRA圖片的隨機訪問的綜合結(jié)構(gòu)。
[0255]CRA信息可以包括用于標識按照呈現(xiàn)順序在每個CRA圖片之前的并且在對CRA圖片進行隨機訪問時未被正常解碼的先前圖片的先前圖片信息。因為IDR圖片不包括這樣的先前圖片，可以僅針對CRA圖片生成先前圖片信息。在該配置中，解碼器隨后可以不確定在隨機訪問時先前圖片是否被正常解碼，并且可以防止損壞圖像顯示在顯示器上或基于先前圖片信息輸出至外部處理器。
[0256]雖然上面參考附圖描述了本發(fā)明的優(yōu)選實施方式，但是本發(fā)明當然不限于上面的示例。本領(lǐng)域技術(shù)人員可以找到所附權(quán)利要求范圍內(nèi)的各種替代和修改，并且應(yīng)當理解，它們自然會落入本發(fā)明的技術(shù)范圍中。
[0257]此外，本技術(shù)還可以被配置如下。
[0258](I) 一種圖像解碼裝置，包括:
[0259]獲取單元，被配置成從包括報頭區(qū)和數(shù)據(jù)區(qū)的文件格式的所述報頭區(qū)獲取純凈隨機訪問(CRA)信息，所述CRA信息用于標識被插入所述數(shù)據(jù)區(qū)的圖像序列中的一個或更多個CRA圖片；
[0260]控制單元，被配置成當檢測到隨機訪問的指令時，使用所述CRA信息將所述圖像序列中的一個CRA圖片指定為解碼開始圖片；以及
[0261]解碼單元，被配置成從所述控制單元所指定的所述解碼開始圖片起對所述圖像序列進行解碼。
[0262](2)根據(jù)⑴所述的圖像解碼裝置，
[0263]其中，所述文件格式是MP4格式，并且
[0264]其中，所述CRA信息是對所述一個或更多個CRA圖片進行分組的采樣組信息。
[0265](3)根據(jù)⑴所述的圖像解碼裝置，
[0266]其中，所述文件格式是MP4格式，并且
[0267]其中，所述獲取單元從被擴展以存儲所述CRA信息的擴展采樣盒獲取所述CRA信肩、O
[0268](4)根據(jù)(3)所述的圖像解碼裝置，其中，所述擴展采樣盒是還包括用于標識瞬時解碼刷新(IDR)圖片的IDR信息的盒。
[0269](5)根據(jù)(3)所述的圖像解碼裝置，其中，所述擴展采樣盒是與包括用于標識IDR圖片的IDR信息的盒分開定義的盒。
[0270](6)根據(jù)(2)至(5)中任一項所述的圖像解碼裝置，
[0271]其中，所述CRA信息包括用于標識以下先前圖片的先前圖片信息:所述先前圖片按照呈現(xiàn)次序在每個CRA圖片之前并且當隨機訪問所述CRA圖片時不被正常解碼，并且
[0272]其中，所述控制單元基于所述先前圖片信息跳過所述圖像解碼裝置對所述先前圖片的輸出。
[0273](7)根據(jù)(6)所述的圖像解碼裝置，其中，所述先前圖片信息指示每個CRA圖片的先前圖片的數(shù)目。
[0274](8)根據(jù)(6)所述的圖像解碼裝置，其中，所述先前圖片信息指示與每個CRA圖片的所述先前圖片相對應(yīng)的持續(xù)時間。
[0275](9)根據(jù)⑴至⑶中任一項所述的圖像解碼裝置，其中，所述控制單元基于所述CRA信息，將位置與所述隨機訪問的指令中指定的定時最近的CRA圖片指定為所述解碼開始圖片。
[0276](10) —種圖像解碼方法，包括:
[0277]從包括報頭區(qū)和數(shù)據(jù)區(qū)的文件格式的所述報頭區(qū)獲取純凈隨機訪問(CRA)信息，所述CRA信息用于標識被插入所述數(shù)據(jù)區(qū)的圖像序列中的一個或更多個CRA圖片；
[0278]當檢測到隨機訪問的指令時，使用所述CRA信息將所述圖像序列中的一個CRA圖片指定為解碼開始圖片；以及
[0279]從所指定的解碼開始圖片起對所述圖像序列進行解碼。
[0280](11) 一種圖像編碼裝置，包括:
[0281]編碼單元，被配置成對圖像序列中的圖像進行編碼并且生成圖像數(shù)據(jù)；
[0282]確定單元，被配置成在所述圖像序列中確定能夠用作隨機訪問時的解碼開始圖片的一個或更多個純凈隨機訪問(CRA)圖片；以及
[0283]文件生成單元，被配置成將用于標識由所述確定單元確定的所述一個或更多個CRA圖片的CRA信息插入到包括報頭區(qū)和數(shù)據(jù)區(qū)的文件格式的所述報頭區(qū)中，并且將所述圖像數(shù)據(jù)插入到所述數(shù)據(jù)區(qū)中。
[0284](12)根據(jù)(11)所述的圖像編碼裝置，
[0285]其中，所述文件格式是MP4格式，并且
[0286]其中，所述CRA信息是對所述一個或更多個CRA圖片進行分組的采樣組信息。
[0287](13)根據(jù)(11)所述的圖像編碼裝置，
[0288]其中，所述文件格式是MP4格式，并且
[0289]其中，所述文件生成單元將所述CRA信息存儲在被擴展以存儲所述CRA信息的擴展采樣盒中。
[0290](14)根據(jù)(13)所述的圖像編碼裝置，其中，所述文件生成單元還將用于標識瞬時解碼刷新(IDR)圖片的IDR信息存儲在所述擴展采樣盒中。
[0291](15)根據(jù)(13)所述的圖像編碼裝置，其中，所述擴展采樣盒是與存儲有用于標識IDR圖片的IDR信息的盒分開定義的盒。
[0292](16)根據(jù)(12)至(15)中任一項所述的圖像編碼裝置，
[0293]其中，所述確定單元還確定以下先前圖片:所述先前圖片按照呈現(xiàn)次序在每個CRA圖片之前，并且當隨機訪問所述CRA圖片時不被正常解碼，并且
[0294]其中，所述文件生成單元將先前圖片信息包括在所述CRA信息中，所述先前圖片信息用于標識由所述確定單元確定的每個CRA圖片的所述先前圖片。
[0295](17)根據(jù)(16)所述的圖像解碼裝置，其中，所述先前圖片信息指示每個CRA圖片的先前圖片的數(shù)目。
[0296](18)根據(jù)(16)所述的圖像解碼裝置，其中所述先前圖片信息指示與每個CRA圖片的所述先前圖片相對應(yīng)的持續(xù)時間。
[0297](19) 一種圖像編碼方法，包括:
[0298]對圖像序列中的圖像進行編碼并且生成圖像數(shù)據(jù)；
[0299]在所述圖像序列中確定能夠用作隨機訪問時的解碼開始圖片的一個或更多個純凈隨機訪問(CRA)圖片；以及
[0300]將用于標識所確定的一個或更多個CRA圖片的CRA信息插入到包括報頭區(qū)和數(shù)據(jù)區(qū)的文件格式的所述報頭區(qū)中；以及
[0301 ] 將所述圖像數(shù)據(jù)插入到所述數(shù)據(jù)區(qū)中。
[0302]附圖標記列表
[0303]10圖像編碼裝置
[0304]11編碼單元
[0305]12確定單元
[0306]15文件生成單元
[0307]16控制單元
[0308]20運動圖像文件
[0309]21報頭區(qū)
[0310]27數(shù)據(jù)區(qū)
[0311]30圖像解碼裝置
[0312]34解碼單元
[0313]36CRA信息獲取單元
[0314]37控制單元
【權(quán)利要求】
1.一種圖像解碼裝置，包括: 獲取單元，被配置成從包括報頭區(qū)和數(shù)據(jù)區(qū)的文件格式的所述報頭區(qū)獲取純凈隨機訪問(CRA)信息，所述CRA信息用于標識被插入所述數(shù)據(jù)區(qū)的圖像序列中的一個或更多個CRA圖片； 控制單元，被配置成當檢測到隨機訪問的指令時，使用所述CRA信息將所述圖像序列中的一個CRA圖片指定為解碼開始圖片；以及 解碼單元，被配置成從所述控制單元所指定的所述解碼開始圖片起對所述圖像序列進行解碼。
2.根據(jù)權(quán)利要求1所述的圖像解碼裝置， 其中，所述文件格式是MP4格式，并且 其中，所述CRA信息是對所述一個或更多個CRA圖片進行分組的采樣組信息。
3.根據(jù)權(quán)利要求1所述的圖像解碼裝置， 其中，所述文件格式是MP4格式，并且 其中，所述獲取單元從被擴展以存儲所述CRA信息的擴展采樣盒獲取所述CRA信息。
4.根據(jù)權(quán)利要求3所述的圖像解碼裝置，其中，所述擴展采樣盒是還包括用于標識瞬時解碼刷新(IDR)圖片的IDR信息的盒。
5.根據(jù)權(quán)利要求3所述的圖像解碼裝置，其中，所述擴展采樣盒是與包括用于標識IDR圖片的IDR信息的盒分開定義的盒。
6.根據(jù)權(quán)利要求2所述的圖像解碼裝置， 其中，所述CRA信息包括用于標識以下先前圖片的先前圖片信息:所述先前圖片按照呈現(xiàn)次序在每個CRA圖片之前并且當隨機訪問所述CRA圖片時不被正常解碼，并且 其中，所述控制單元基于所述先前圖片信息跳過所述圖像解碼裝置對所述先前圖片的輸出。
7.根據(jù)權(quán)利要求6所述的圖像解碼裝置，其中，所述先前圖片信息指示每個CRA圖片的先前圖片的數(shù)目。
8.根據(jù)權(quán)利要求6所述的圖像解碼裝置，其中，所述先前圖片信息指示與每個CRA圖片的所述先前圖片相對應(yīng)的持續(xù)時間。
9.根據(jù)權(quán)利要求1所述的圖像解碼裝置，其中，所述控制單元基于所述CRA信息，將位置與所述隨機訪問的指令中指定的定時最近的CRA圖片指定為所述解碼開始圖片。
10.一種圖像解碼方法，包括: 從包括報頭區(qū)和數(shù)據(jù)區(qū)的文件格式的所述報頭區(qū)獲取純凈隨機訪問(CRA)信息，所述CRA信息用于標識被插入所述數(shù)據(jù)區(qū)的圖像序列中的一個或更多個CRA圖片； 當檢測到隨機訪問的指令時，使用所述CRA信息將所述圖像序列中的一個CRA圖片指定為解碼開始圖片；以及 從所指定的解碼開始圖片起對所述圖像序列進行解碼。
11.一種圖像編碼裝置，包括: 編碼單元，被配置成對圖像序列中的圖像進行編碼并且生成圖像數(shù)據(jù)； 確定單元，被配置成在所述圖像序列中確定能夠用作隨機訪問時的解碼開始圖片的一個或更多個純凈隨機訪問(CRA)圖片；以及 文件生成單元，被配置成將用于標識由所述確定單元確定的所述一個或更多個CRA圖片的CRA信息插入到包括報頭區(qū)和數(shù)據(jù)區(qū)的文件格式的所述報頭區(qū)中，并且將所述圖像數(shù)據(jù)插入到所述數(shù)據(jù)區(qū)中。
12.根據(jù)權(quán)利要求11所述的圖像編碼裝置， 其中，所述文件格式是MP4格式，并且 其中，所述CRA信息是對所述一個或更多個CRA圖片進行分組的采樣組信息。
13.根據(jù)權(quán)利要求11所述的圖像編碼裝置， 其中，所述文件格式是MP4格式，并且 其中，所述文件生成單元將所述CRA信息存儲在被擴展以存儲所述CRA信息的擴展采樣盒中。
14.根據(jù)權(quán)利要求13所述的圖像編碼裝置，其中，所述文件生成單元還將用于標識瞬時解碼刷新(IDR)圖片的IDR信息存儲在所述擴展采樣盒中。
15.根據(jù)權(quán)利要求13所述的圖像編碼裝置，其中，所述擴展采樣盒是與存儲有用于標識IDR圖片的IDR信息的盒分開定義的盒。
16.根據(jù)權(quán)利要求12所述的圖像編碼裝置， 其中，所述確定單元還確定以下先前圖片:所述先前圖片按照呈現(xiàn)次序在每個CRA圖片之前，并且當隨機訪問所述CRA圖片時不被正常解碼，并且 其中，所述文件生成單元將先前圖片信息包括在所述CRA信息中，所述先前圖片信息用于標識由所述確定單元確定的每個CRA圖片的所述先前圖片。
17.根據(jù)權(quán)利要求16所述的圖像解碼裝置，其中，所述先前圖片信息指示每個CRA圖片的先前圖片的數(shù)目。
18.根據(jù)權(quán)利要求16所述的圖像解碼裝置，其中所述先前圖片信息指示與每個CRA圖片的所述先前圖片相對應(yīng)的持續(xù)時間。
19.一種圖像編碼方法，包括: 對圖像序列中的圖像進行編碼并且生成圖像數(shù)據(jù)； 在所述圖像序列中確定能夠用作隨機訪問時的解碼開始圖片的一個或更多個純凈隨機訪問(CRA)圖片；以及 將用于標識所確定的一個或更多個CRA圖片的CRA信息插入到包括報頭區(qū)和數(shù)據(jù)區(qū)的文件格式的所述報頭區(qū)中；以及 將所述圖像數(shù)據(jù)插入到所述數(shù)據(jù)區(qū)中。
【文檔編號】H04N21/845GK104412608SQ201380035503
【公開日】2015年3月11日 申請日期:2013年5月10日 優(yōu)先權(quán)日:2012年7月10日
【發(fā)明者】中野雄彥, 平林光浩, 勝股充, 辻井訓, 鈴木輝彥 申請人:索尼公司