發(fā)送方法、接收方法、發(fā)送裝置以及接收裝置的制造方法
【專(zhuān)利摘要】本申請(qǐng)的一個(gè)方式所涉及的發(fā)送方法包括：打包步驟，對(duì)構(gòu)成MP4格式的文件的(1)作為對(duì)影像信號(hào)或聲音信號(hào)進(jìn)行編碼而得的數(shù)據(jù)的樣本數(shù)據(jù)、(2)用于對(duì)樣本數(shù)據(jù)進(jìn)行解碼的第一元數(shù)據(jù)、以及(3)包含僅能在樣本數(shù)據(jù)生成后生成的數(shù)據(jù)且用于對(duì)樣本數(shù)據(jù)進(jìn)行解碼的第二元數(shù)據(jù)分別進(jìn)行打包；以及發(fā)送步驟，將打包的第一元數(shù)據(jù)、打包的樣本數(shù)據(jù)以及打包的第二元數(shù)據(jù)按照此順序進(jìn)行發(fā)送。
【專(zhuān)利說(shuō)明】
發(fā)送方法、接收方法、發(fā)送裝置以及接收裝置
技術(shù)領(lǐng)域
[0001]本申請(qǐng)涉及一種發(fā)送方法、接收方法、發(fā)送裝置以及接收裝置。
【背景技術(shù)】
[0002]伴隨廣播以及通信服務(wù)的高度發(fā)展，研究導(dǎo)入8K(7680X4320像素:以下也稱(chēng)作“8Κ4Κ”)以及4Κ(3840Χ2160像素:以下也稱(chēng)作“4Κ2Κ”)等超高清的運(yùn)動(dòng)圖像內(nèi)容。接收裝置需要實(shí)時(shí)解碼所接收到的超高清的運(yùn)動(dòng)圖像的編碼數(shù)據(jù)并顯示，尤其是，8Κ等的分辨率的運(yùn)動(dòng)圖像解碼時(shí)的處理負(fù)荷大，通過(guò)I個(gè)解碼器實(shí)時(shí)解碼這樣的運(yùn)動(dòng)圖像是困難的。因此，正在研究利用多個(gè)解碼器來(lái)并行進(jìn)行解碼處理，由此減低每I個(gè)解碼器的處理負(fù)荷并達(dá)成實(shí)時(shí)處理的方法。
[0003]此外，編碼數(shù)據(jù)在基于MPEG_2TS(TransportStream:傳送流)或MMT(MPEG MediaTransport:運(yùn)動(dòng)圖像專(zhuān)家組媒體傳送)等復(fù)用方式進(jìn)行復(fù)用之后被發(fā)送。例如，在非專(zhuān)利文獻(xiàn)I中，公開(kāi)了按照MMT按每個(gè)包發(fā)送編碼的媒體數(shù)據(jù)的技術(shù)。
[0004]在先技術(shù)文獻(xiàn)
[0005]非專(zhuān)利文獻(xiàn)
[0006]非專(zhuān)利文南犬1:1nformat1n techno1gy-High efficiency coding and mediadelivery in heterogeneous environment-Partl:MPEG media transport(MMT)、IS0/IECDIS 23008-1

【發(fā)明內(nèi)容】

[0007]本申請(qǐng)的一個(gè)方式所涉及的發(fā)送方法，包括:打包步驟，對(duì)構(gòu)成MP4格式的文件的(I)作為對(duì)影像信號(hào)或聲音信號(hào)進(jìn)行編碼而得的數(shù)據(jù)的樣本數(shù)據(jù)、(2)用于對(duì)所述樣本數(shù)據(jù)進(jìn)行解碼的第一元數(shù)據(jù)、以及(3)包含僅能在所述樣本數(shù)據(jù)生成后生成的數(shù)據(jù)且用于對(duì)所述樣本數(shù)據(jù)進(jìn)行解碼的第二元數(shù)據(jù)分別進(jìn)行打包；以及發(fā)送步驟，將打包的所述第一元數(shù)據(jù)、打包的所述樣本數(shù)據(jù)以及打包的所述第二元數(shù)據(jù)按照此順序進(jìn)行發(fā)送。
[0008]此外，本申請(qǐng)的一個(gè)方式所涉及的接收方法包括:接收步驟，將打包的第一元數(shù)據(jù)、打包的樣本數(shù)據(jù)以及打包的第二元數(shù)據(jù)按照此順序進(jìn)行接收;重構(gòu)步驟，對(duì)包含接收到的所述第一元數(shù)據(jù)、接收到的所述第二元數(shù)據(jù)以及接收到的所述樣本數(shù)據(jù)的MP4格式的文件進(jìn)行重構(gòu)；以及解碼步驟，利用所述第一元數(shù)據(jù)以及所述第二元數(shù)據(jù)對(duì)重構(gòu)的所述MP4格式的文件所包含的所述樣本數(shù)據(jù)進(jìn)行解碼，所述第二元數(shù)據(jù)包含:在發(fā)送側(cè)僅能在所述樣本數(shù)據(jù)生成后生成的數(shù)據(jù)。
[0009]另外，這些整體性或者具體性的方式可通過(guò)系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序或者計(jì)算機(jī)可讀取的CD-ROM等記錄介質(zhì)來(lái)實(shí)現(xiàn)，也可通過(guò)系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序以及記錄介質(zhì)的任意組合來(lái)實(shí)現(xiàn)。
【附圖說(shuō)明】
[00?0]圖1為表不將圖片分割成切片段(slice segment)的例子的圖。
[0011]圖2為表示保存有圖片的數(shù)據(jù)的PES包列的一例的圖。
[0012]圖3為表示實(shí)施方式I所涉及的圖片的分割例的圖。
[0013]圖4為表示實(shí)施方式I的比較例所涉及的圖片的分割例的圖。
[0014]圖5為表示實(shí)施方式I所涉及的訪問(wèn)單元的數(shù)據(jù)的一例的圖。
[0015]圖6為實(shí)施方式I所涉及的發(fā)送裝置的框圖。
[0016]圖7為實(shí)施方式I所涉及的接收裝置的框圖。
[0017]圖8為表示實(shí)施方式I所涉及的MMT包的一例的圖。
[0018]圖9為表示實(shí)施方式I所涉及的MMT包的另一例的圖。
[0019]圖10為表示實(shí)施方式I所涉及的輸入至各解碼部的數(shù)據(jù)的一例的圖。
[0020]圖11為表示實(shí)施方式I所涉及的MMT包以及頭信息的一例的圖。
[0021]圖12為表示實(shí)施方式I所涉及的輸入至各解碼部的數(shù)據(jù)的另一例的圖。
[0022]圖13為表示實(shí)施方式I所涉及的圖片的分割例的圖。
[0023]圖14為實(shí)施方式I所涉及的發(fā)送方法的流程圖。
[0024]圖15為實(shí)施方式I所涉及的接收裝置的框圖。
[0025]圖16為實(shí)施方式I所涉及的接收方法的流程圖。
[0026]圖17為表示實(shí)施方式I所涉及的MMT包以及頭信息的一例的圖。
[0027]圖18為表示實(shí)施方式I所涉及的MMT包以及頭信息的一例的圖。
[0028]圖19為表示MPU的構(gòu)成的圖。
[0029]圖20為表示MF元數(shù)據(jù)的構(gòu)成的圖。
[0030]圖21為用于說(shuō)明數(shù)據(jù)的發(fā)送順序的圖。
[0031]圖22為表示不利用頭信息進(jìn)行解碼的方法的例子的圖。
[0032]圖23為實(shí)施方式2所涉及的發(fā)送裝置的框圖。
[0033]圖24為實(shí)施方式2所涉及的發(fā)送方法的流程圖。
[0034]圖25為實(shí)施方式2所涉及的接收裝置的框圖。
[0035]圖26為用于確定MPU開(kāi)頭位置以及NAL單元位置的動(dòng)作的流程圖。
[0036]圖27為基于發(fā)送順序類(lèi)型取得初始化信息，并基于初始化信息解碼媒體數(shù)據(jù)的動(dòng)作的流程圖。
[0037]圖28為設(shè)定低延遲提示模式時(shí)的接收裝置的動(dòng)作的流程圖。
[0038]圖29為表示發(fā)送輔助數(shù)據(jù)時(shí)的MMT包的發(fā)送順序的一例的圖。
[0039]圖30為用于說(shuō)明發(fā)送裝置基于moof的構(gòu)成生成輔助數(shù)據(jù)的例子的圖。
[0040]圖31為用于說(shuō)明輔助數(shù)據(jù)的接收的圖。
[0041 ]圖32為利用輔助數(shù)據(jù)的接收動(dòng)作的流程圖。
[0042]圖33為表示由多個(gè)電影分片構(gòu)成的MPU的構(gòu)成的圖。
[0043]圖34為用于說(shuō)明傳送圖33的構(gòu)成的MPU時(shí)的MMT包的發(fā)送順序的圖。
[0044]圖35為用于說(shuō)明由多個(gè)電影分片構(gòu)成I個(gè)MPU時(shí)的接收裝置的動(dòng)作例的第I圖。
[0045]圖36為用于說(shuō)明由多個(gè)電影分片構(gòu)成I個(gè)MPU時(shí)的接收裝置的動(dòng)作例的第2圖。
[0046]圖37為通過(guò)圖35以及圖36說(shuō)明了的接收方法的動(dòng)作的流程圖。
[0047]圖38為表示將非VCLNAL單元個(gè)別地作為data unit并進(jìn)行聚合的情況的圖。
[0048]圖39為表示將非VCL NAL單元匯總地作為data unit的情況的圖。
[0049]圖40為發(fā)生丟包時(shí)的接收裝置的動(dòng)作的流程圖。
[0050]圖41為將MPU分割為多個(gè)電影分片時(shí)的接收動(dòng)作的流程圖。
[0051 ]圖42為表示實(shí)現(xiàn)時(shí)間可適性時(shí)的各TemporalId下的圖片的預(yù)測(cè)結(jié)構(gòu)的例子的圖。[0052 ]圖43為表示圖42的各圖片的解碼時(shí)刻(DTS)與顯示時(shí)刻(PTS)的關(guān)系的圖。
[0053]圖44為表示需要圖片的延遲處理以及重新排序處理的圖片的預(yù)測(cè)結(jié)構(gòu)的一例的圖。
[0054]圖45為表示將以MP4形式構(gòu)成的MPU分割為多個(gè)電影分片并保存到麗TP有效載荷、MMTP包中的例子的圖。
[0055 ]圖46為用于說(shuō)明PTS以及DTS的算出方法與問(wèn)題的圖。
[0056]圖47為利用用于算出DTS的信息算出DTS時(shí)的接收動(dòng)作的流程圖。
[0057]圖48為表示發(fā)送裝置的構(gòu)成的另一例子的圖。
[0058]圖49為表示接收裝置的構(gòu)成的另一例子的圖。
【具體實(shí)施方式】
[0059]本申請(qǐng)的一個(gè)方式所涉及的發(fā)送方法包括:打包步驟，對(duì)構(gòu)成MP4格式的文件的
(I)作為對(duì)影像信號(hào)或聲音信號(hào)進(jìn)行編碼而得的數(shù)據(jù)的樣本數(shù)據(jù)、(2)用于對(duì)所述樣本數(shù)據(jù)進(jìn)行解碼的第一元數(shù)據(jù)、以及(3)包含僅能在所述樣本數(shù)據(jù)生成后生成的數(shù)據(jù)且用于對(duì)所述樣本數(shù)據(jù)進(jìn)行解碼的第二元數(shù)據(jù)分別進(jìn)行打包；以及發(fā)送步驟，將打包的所述第一元數(shù)據(jù)、打包的所述樣本數(shù)據(jù)以及打包的所述第二元數(shù)據(jù)按照此順序進(jìn)行發(fā)送。
[0060 ] 據(jù)此，能夠降低MP4格式的文件的發(fā)送中的端到端(End-to-End)延遲。
[0061 ]此外，僅能在所述樣本數(shù)據(jù)生成后生成的數(shù)據(jù)，也可以是保存在所述MP4格式的mdat內(nèi)的數(shù)據(jù)中的、所述樣本數(shù)據(jù)以外的數(shù)據(jù)的至少一部分。
[0062]此外也可以是，所述第一元數(shù)據(jù)為MPU(Media Processing Unit:媒體處理單元)元數(shù)據(jù)，所述第二元數(shù)據(jù)為電影分片元數(shù)據(jù)。
[0063]此外，也可以在所述打包步驟中按照MMT(MPEG Media Transport:運(yùn)動(dòng)圖像專(zhuān)家組媒體傳送)方式進(jìn)行打包。
[0064]此外，本申請(qǐng)的一個(gè)方式所涉及的接收方法包括:接收步驟，將打包的第一元數(shù)據(jù)、打包的樣本數(shù)據(jù)以及打包的第二元數(shù)據(jù)按照此順序進(jìn)行接收;重構(gòu)步驟，對(duì)包含接收到的所述第一元數(shù)據(jù)、接收到的所述第二元數(shù)據(jù)以及接收到的所述樣本數(shù)據(jù)的MP4格式的文件進(jìn)行重構(gòu)；以及解碼步驟，利用所述第一元數(shù)據(jù)以及所述第二元數(shù)據(jù)對(duì)重構(gòu)的所述MP4格式的文件所包含的所述樣本數(shù)據(jù)進(jìn)行解碼，所述第二元數(shù)據(jù)包含:在發(fā)送側(cè)僅能在所述樣本數(shù)據(jù)生成后生成的數(shù)據(jù)。
[0065]本申請(qǐng)的一個(gè)方式所涉及的發(fā)送裝置具備:復(fù)用部，對(duì)構(gòu)成MP4格式的文件的(I)作為對(duì)影像信號(hào)或聲音信號(hào)進(jìn)行編碼而得的數(shù)據(jù)的樣本數(shù)據(jù)、(2)用于對(duì)所述樣本數(shù)據(jù)進(jìn)行解碼的第一元數(shù)據(jù)、以及(3)包含僅能在所述樣本數(shù)據(jù)生成后生成的數(shù)據(jù)且用于對(duì)所述樣本數(shù)據(jù)進(jìn)行解碼的第二元數(shù)據(jù)分別進(jìn)行打包；以及發(fā)送部，將打包的所述第一元數(shù)據(jù)、打包的所述樣本數(shù)據(jù)以及打包的所述第二元數(shù)據(jù)按照此順序進(jìn)行發(fā)送。
[0066]本申請(qǐng)的一個(gè)方式所涉及的接收裝置包括:接收部，將打包的第一元數(shù)據(jù)、打包的樣本數(shù)據(jù)以及打包的第二元數(shù)據(jù)按照此順序進(jìn)行接收;重構(gòu)部，對(duì)包含接收到的所述第一元數(shù)據(jù)、接收到的所述第二元數(shù)據(jù)以及接收到的所述樣本數(shù)據(jù)的MP4格式的文件進(jìn)行重構(gòu)；以及解碼部，利用所述第一元數(shù)據(jù)以及所述第二元數(shù)據(jù)對(duì)重構(gòu)的所述MP4格式的文件所包含的所述樣本數(shù)據(jù)進(jìn)行解碼，所述第二元數(shù)據(jù)包含:在發(fā)送側(cè)僅能在所述樣本數(shù)據(jù)生成后生成的數(shù)據(jù)。
[0067]本申請(qǐng)的一個(gè)方式所涉及的發(fā)送方法對(duì)影像信號(hào)進(jìn)行編碼來(lái)生成包含多個(gè)訪問(wèn)單元的編碼數(shù)據(jù)，將所述多個(gè)訪問(wèn)單元按照訪問(wèn)單元單位或分割訪問(wèn)單元而成的單位保存在包中來(lái)生成包組，將生成的所述包組作為數(shù)據(jù)進(jìn)行發(fā)送，生成表示所述多個(gè)訪問(wèn)單元之中最初被提示的訪問(wèn)單元的提示時(shí)刻的第一信息以及用于算出所述多個(gè)訪問(wèn)單元的解碼時(shí)刻的第二信息，將生成的所述第一信息以及所述第二信息作為控制信息進(jìn)行發(fā)送。
[0068]本申請(qǐng)的一個(gè)方式所涉及的接收方法接收以訪問(wèn)單元單位或分割訪問(wèn)單元而成的單位對(duì)包含多個(gè)訪問(wèn)單元的編碼數(shù)據(jù)進(jìn)行打包而得的包組，接收包含表示所述多個(gè)訪問(wèn)單元之中最初被提示的訪問(wèn)單元的提示時(shí)刻的第一信息以及用于算出所述多個(gè)訪問(wèn)單元的解碼時(shí)刻的第二信息的控制信息，基于所述第一信息以及所述第二信息對(duì)所接收到的包組所包含的所述訪問(wèn)單元進(jìn)行解碼。
[0069]本申請(qǐng)的一個(gè)方式所涉及的發(fā)送裝置具備:編碼部，對(duì)影像信號(hào)進(jìn)行編碼來(lái)生成包含多個(gè)訪問(wèn)單元的編碼數(shù)據(jù);包生成部，將所述多個(gè)訪問(wèn)單元以訪問(wèn)單元單位或分割訪問(wèn)單元而成的單位保存在包中來(lái)生成包組;第一發(fā)送部，將生成的所述包組作為數(shù)據(jù)進(jìn)行發(fā)送;信息生成部，生成表示所述多個(gè)訪問(wèn)單元之中最初被提示的訪問(wèn)單元的提示時(shí)刻的第一信息以及用于算出所述多個(gè)訪問(wèn)單元的解碼時(shí)刻的第二信息；以及第二發(fā)送部，將生成的所述第一信息以及所述第二信息作為控制信息進(jìn)行發(fā)送。
[0070]本申請(qǐng)的一個(gè)方式所涉及的接收裝置具備:第一接收部，接收以訪問(wèn)單元單位或分割訪問(wèn)單元而成的單位對(duì)包含多個(gè)訪問(wèn)單元的編碼數(shù)據(jù)進(jìn)行打包而得的包組;第二接收部，接收包含表示所述多個(gè)訪問(wèn)單元之中最初被提示的訪問(wèn)單元的提示時(shí)刻的第一信息以及用于算出所述多個(gè)訪問(wèn)單元的解碼時(shí)刻的第二信息的控制信息；以及解碼部，基于所述第一信息以及所述第二信息對(duì)所接收到的包組所包含的所述訪問(wèn)單元進(jìn)行解碼。
[0071]另外，這些整體性或者具體性的方式可以通過(guò)系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序或者計(jì)算機(jī)可讀取的CD-ROM等記錄介質(zhì)來(lái)實(shí)現(xiàn)，也可以通過(guò)系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序或者記錄介質(zhì)的任意組合來(lái)實(shí)現(xiàn)。
[0072]以下，參照附圖具體說(shuō)明實(shí)施方式。
[0073]另外，以下說(shuō)明的實(shí)施方式均表示總體或具體的例子。在以下的實(shí)施方式所示的數(shù)值、形狀、材料、構(gòu)成要素、構(gòu)成要素的配置位置以及連接方式、步驟、步驟的順序等僅為一例，并非意在對(duì)本申請(qǐng)進(jìn)行限定。另外，在以下實(shí)施方式的構(gòu)成要素中，關(guān)于表示最上位概念的獨(dú)立權(quán)利要求中沒(méi)有記載的構(gòu)成要素，作為任意的構(gòu)成要素進(jìn)行說(shuō)明。
[0074](成為本申請(qǐng)的基礎(chǔ)的知識(shí))
[0075]最近，電視機(jī)、智能移動(dòng)電話或平板電腦終端等的顯示器的高分辨率日益進(jìn)步。尤其是，日本國(guó)內(nèi)的廣播預(yù)定在2020年進(jìn)行8K4K(分辨率8K X 4Κ)的服務(wù)。由于在8Κ4Κ等超高分辨率的運(yùn)動(dòng)圖像下，難以通過(guò)單一的解碼器實(shí)時(shí)進(jìn)行解碼，因此研究利用多個(gè)解碼器并行地進(jìn)行解碼處理的方法。
[0076]由于編碼數(shù)據(jù)基于MPEG-2TS或MMT等復(fù)用方式進(jìn)行復(fù)用并被發(fā)送，因此接收裝置在解碼之前需要從復(fù)用數(shù)據(jù)中分離運(yùn)動(dòng)圖像的編碼數(shù)據(jù)。以下，將從復(fù)用數(shù)據(jù)中分離編碼數(shù)據(jù)的處理稱(chēng)作“逆復(fù)用”。
[0077]在并行進(jìn)行解碼處理時(shí)，需要針對(duì)各解碼器分別分配作為解碼對(duì)象的編碼數(shù)據(jù)。在分配編碼數(shù)據(jù)時(shí)，需要解析編碼數(shù)據(jù)本身，尤其是，在8K等的內(nèi)容中，因?yàn)楸忍芈史浅８?，所以解析所致的處理?fù)荷重。因此，存在逆復(fù)用的部分成為瓶頸而無(wú)法進(jìn)行實(shí)時(shí)再現(xiàn)的問(wèn)題。
[0078]可是，在由MPEG和ITU標(biāo)準(zhǔn)化而得的H.264以及H.265等的運(yùn)動(dòng)圖像編碼方式中，發(fā)送裝置以將圖片分割成稱(chēng)作“切片(slice)”或“切片段(slice segment)”的多個(gè)區(qū)域并能夠?qū)Ψ指疃玫母鱾€(gè)區(qū)域獨(dú)立解碼的方式進(jìn)行編碼。因此，例如在H.265時(shí)，接收廣播的接收裝置通過(guò)從接收數(shù)據(jù)中分離每個(gè)切片段的數(shù)據(jù)，將各切片段的數(shù)據(jù)輸出至各個(gè)解碼器，能夠?qū)崿F(xiàn)解碼處理的并行。
[0079]圖1為表示在HEVC中將I個(gè)圖片分割為4個(gè)切片段的例子的圖。例如，接收裝置具備4個(gè)解碼器，各解碼器對(duì)4個(gè)切片段之中的任一個(gè)進(jìn)行解碼。
[0080]在以往的廣播中，發(fā)送裝置將I張圖片(MPEG系統(tǒng)標(biāo)準(zhǔn)中的訪問(wèn)單元)保存到I個(gè)PES包中，將PES包復(fù)用成TS包列。因此，接收裝置需要在分離出PES包的有效載荷之后，解析在有效載荷中保存的訪問(wèn)單元的數(shù)據(jù)，由此分離各切片段，將分離而得的各切片段的數(shù)據(jù)輸出至解碼器。
[0081]可是，本發(fā)明人發(fā)現(xiàn)，由于在解析訪問(wèn)單元的數(shù)據(jù)來(lái)分離切片段時(shí)的處理量大，因此存在難以實(shí)時(shí)進(jìn)行該處理的問(wèn)題。
[0082]圖2為表示分割成切片段的圖片的數(shù)據(jù)被保存到PES包的有效載荷中的例子的圖。
[0083]如圖2所示，例如，多個(gè)切片段(切片段I?4)的數(shù)據(jù)被保存到I個(gè)PES包的有效載荷中。此外，PES包被復(fù)用成TS包列。
[0084](實(shí)施方式I)
[0085]在以下，作為運(yùn)動(dòng)圖像的編碼方式利用H.265的情況為例加以說(shuō)明，但在利用H.264等其他編碼方式的情況中也能夠適用本實(shí)施方式。
[0086]圖3為表示本實(shí)施方式中的按照分割單位分割訪問(wèn)單元(圖片)的例子的圖。訪問(wèn)單元通過(guò)由H.265導(dǎo)入的稱(chēng)作“瓦片(tile)”的功能，在水平以及垂直方向上分別2等分，總計(jì)分割成4個(gè)瓦片。此外，切片段與瓦片對(duì)應(yīng)地創(chuàng)建關(guān)聯(lián)。
[0087]說(shuō)明如此地在水平以及垂直方向上2等分的理由。首先，在解碼時(shí)，一般而言，需要保存水平I線的數(shù)據(jù)的線存儲(chǔ)器，但若成為8K4K等超高分辨率，則由于水平方向的尺寸變大，因此線存儲(chǔ)器的尺寸會(huì)增加。在接收裝置的安裝中，優(yōu)選的是能夠減小線存儲(chǔ)器的尺寸。為了減小線存儲(chǔ)器的尺寸而需要進(jìn)行垂直方向的分割。在垂直方向的分割中需要瓦片這樣的數(shù)據(jù)結(jié)構(gòu)。由于這些理由而利用瓦片。
[0088]另一方面，圖像一般而言水平方向的相關(guān)高，因此如果能夠參照在水平方向上大的范圍則編碼效率進(jìn)一步提高。因此，從編碼效率的觀點(diǎn)出發(fā)，優(yōu)選的是沿水平方向分割訪問(wèn)單元。
[0089]通過(guò)將訪問(wèn)單元在水平以及垂直方向上2等分，來(lái)兼顧這2個(gè)特性，能夠顧及安裝方面以及編碼效率這兩方面。在單一的解碼器能夠?qū)?K2K的運(yùn)動(dòng)圖像進(jìn)行實(shí)時(shí)的解碼時(shí)，通過(guò)以將8K4K的圖像4等分而各個(gè)切片段變?yōu)?K2K的方式進(jìn)行分割，接收裝置能夠?qū)崟r(shí)解碼8K4K的圖像。
[0090]接著，說(shuō)明將在水平以及垂直方向上分割訪問(wèn)單元而得到的瓦片與切片段一一對(duì)應(yīng)地創(chuàng)建關(guān)聯(lián)的理由。在H.265中，訪問(wèn)單元由多個(gè)稱(chēng)作“NAL(Network Adaptat1n Layer:網(wǎng)絡(luò)適配層)單元”的單位構(gòu)成。
[0091]N A L單元的有效載荷保存表示訪問(wèn)單元的開(kāi)始位置的訪問(wèn)單元定界符、作為在序列單位下共通使用的解碼時(shí)的初始化信息的SPS(Sequence Parameter Set:序列參數(shù)集)、作為在圖片內(nèi)共通使用的解碼時(shí)的初始化信息的PPS(Picture Parameter Set:圖片參數(shù)集)、解碼處理本身不需要但在解碼結(jié)果的處理以及顯示等中需要的SEI(SupplementalEnhancement Informat1n:輔助增強(qiáng)信息)、以及切片段的編碼數(shù)據(jù)等中的任一個(gè)。NAL單元的頭包含用于識(shí)別在有效載荷中保存的數(shù)據(jù)的類(lèi)型信息。
[0092]在此，發(fā)送裝置在通過(guò)MPEG_2TS、MMT(MPEG Media Transport:運(yùn)動(dòng)圖像專(zhuān)家組媒體傳送)、MPEG DASH(Dynamic Adaptive Streaming over HTTP:HTTP上的動(dòng)態(tài)自適應(yīng)成流)、或RTP(Real_time Transport Protocol:實(shí)時(shí)傳送協(xié)議)等復(fù)用格式對(duì)編碼數(shù)據(jù)進(jìn)行復(fù)用時(shí)，能夠?qū)⒒締挝辉O(shè)定為NAL單元。為了將I個(gè)切片段保存到I個(gè)NAL單元中，優(yōu)選的是，在將訪問(wèn)單元分割為區(qū)域時(shí)，按照切片段單位進(jìn)行分割。根據(jù)這樣的理由，發(fā)送裝置將瓦片與切片段對(duì)應(yīng)地創(chuàng)建關(guān)聯(lián)。
[0093]另外，如圖4所示，發(fā)送裝置也能夠?qū)⑼咂琁至瓦片4匯總地設(shè)定為I個(gè)切片段。但是，在該情況下，由于在I個(gè)NAL單元中保存全部瓦片，因此接收裝置難以從復(fù)用層中分離瓦片。
[0094]另外，在切片段中存在可獨(dú)立解碼的獨(dú)立切片段以及參照獨(dú)立切片段的參照切片段，但在此說(shuō)明利用獨(dú)立切片段的情況。
[0095]圖5為表示如圖3所示以瓦片與切片段的邊界一致的方式分割的訪問(wèn)單元的數(shù)據(jù)的例子的圖。訪問(wèn)單元的數(shù)據(jù)包括配置在開(kāi)頭的保存有訪問(wèn)單元定界符的NAL單元、配置在其后的SPS、PPS以及SEI的NAL單元、以及配置在其后的保存有瓦片I至瓦片4的數(shù)據(jù)的切片段的數(shù)據(jù)。另外，訪問(wèn)單元的數(shù)據(jù)也可以不含有SPS、PPS以及SE I的NAL單元的一部分或全部。
[0096]接著，說(shuō)明本實(shí)施方式所涉及的發(fā)送裝置100的構(gòu)成。圖6為表示本實(shí)施方式所涉及的發(fā)送裝置100的構(gòu)成例的框圖。該發(fā)送裝置100具備編碼部101、復(fù)用部102、調(diào)制部103以及發(fā)送部104。
[0097]編碼部101通過(guò)對(duì)輸入圖像例如按照H.265進(jìn)行編碼來(lái)生成編碼數(shù)據(jù)。此外，例如，如圖3所示，編碼部101將訪問(wèn)單元分割成4個(gè)切片段(瓦片)，對(duì)各切片段進(jìn)行編碼。
[0098]復(fù)用部102對(duì)由編碼部101生成的編碼數(shù)據(jù)進(jìn)行復(fù)用。調(diào)制部103對(duì)通過(guò)復(fù)用而得的數(shù)據(jù)進(jìn)行調(diào)制。發(fā)送部104將調(diào)制后的數(shù)據(jù)作為廣播信號(hào)來(lái)發(fā)送。
[0099]接著，說(shuō)明本實(shí)施方式所涉及的接收裝置200的構(gòu)成。圖7為表示本實(shí)施方式所涉及的接收裝置200的構(gòu)成例的框圖。該接收裝置200具備調(diào)諧器201、解調(diào)部202、逆復(fù)用部203、多個(gè)解碼部204A?204D、以及顯示部205。
[0100]調(diào)諧器201接收廣播信號(hào)。解調(diào)部202對(duì)所接收到的廣播信號(hào)進(jìn)行解調(diào)。解調(diào)后的數(shù)據(jù)輸入至逆復(fù)用部203。
[0101]逆復(fù)用部203將解調(diào)后的數(shù)據(jù)按照分割單位分離，將每個(gè)分割單位的數(shù)據(jù)輸出至解碼部204A?204D。在此，分割單位意指通過(guò)分割訪問(wèn)單元而得的分割區(qū)域，例如為H.265中的切片段。此外，在此，8K4K的圖像分割為4個(gè)4K2K的圖像。因此，存在4個(gè)解碼部204A?204Do
[0102]多個(gè)解碼部204A?204D基于規(guī)定的基準(zhǔn)時(shí)鐘相互同步地進(jìn)行動(dòng)作。各解碼部按照訪問(wèn)單元的DTS(Decoding Time Stamp:解碼時(shí)間戳)對(duì)分割單位的編碼數(shù)據(jù)進(jìn)行解碼，將解碼結(jié)果輸出至顯示部205。
[0103]顯示部205通過(guò)合并從多個(gè)解碼部204A?204D輸出的多個(gè)解碼結(jié)果從而生成8K4K的輸出圖像。顯示部205按照另行取得的訪問(wèn)單元的PTS(Presentat1n Time Stamp:顯示時(shí)間戳)顯示所生成的輸出圖像。另外，顯示部205在合并解碼結(jié)果時(shí)，也可以在瓦片的邊界等、相互相鄰的分割單位的邊界區(qū)域進(jìn)行解塊濾波等濾波處理，以使該邊界在視覺(jué)上不醒目。
[0104]另外，在上述中，以進(jìn)行廣播的發(fā)送或接收的發(fā)送裝置100以及接收裝置200為例進(jìn)行說(shuō)明，但內(nèi)容也可以經(jīng)由通信網(wǎng)絡(luò)進(jìn)行發(fā)送以及接收。若接收裝置200經(jīng)由通信網(wǎng)絡(luò)接收內(nèi)容，則接收裝置200從經(jīng)以太網(wǎng)等網(wǎng)絡(luò)接收到的IP包中分離復(fù)用數(shù)據(jù)。
[0105]在廣播中，從發(fā)送廣播信號(hào)至到達(dá)接收裝置200為止的期間的傳送路徑延遲固定。另一方面，在互聯(lián)網(wǎng)等通信網(wǎng)絡(luò)中，因擁堵的影響，從服務(wù)器發(fā)送的數(shù)據(jù)直到到達(dá)接收裝置200為止的傳送路徑延遲不固定。因此，接收裝置200大多不進(jìn)行如廣播的MPEG-2TS中的基于PCR那樣的基準(zhǔn)時(shí)鐘的嚴(yán)密的同步再現(xiàn)。因此，接收裝置200也可以不使各解碼部嚴(yán)密地同步，而按照PTS在顯示部上顯示8K4K的輸出圖像。
[0106]此外，有時(shí)因通信網(wǎng)絡(luò)的擁堵等，全部分割單位的解碼處理在由訪問(wèn)單元的PTS所示的時(shí)刻未完成。在該情況下，接收裝置200跳過(guò)訪問(wèn)單元的顯示，或者，使顯示延遲直到至少4個(gè)分割單位的解碼結(jié)束且8K4K的圖像的生成完成為止。
[0107]另外，也可以并用廣播與通信來(lái)發(fā)送以及接收內(nèi)容。此外，在再現(xiàn)保存在硬盤(pán)或存儲(chǔ)器等記錄介質(zhì)中的復(fù)用數(shù)據(jù)時(shí)，也能夠適用本方法。
[0108]接著，說(shuō)明利用MMT作為復(fù)用方式時(shí)的分割成切片段的訪問(wèn)單元的復(fù)用方法。
[0109]圖8為表示在將HEVC的訪問(wèn)單元的數(shù)據(jù)打包成MMT時(shí)的例子的圖。SPS、PPS以及SEI等并非一定要包含到訪問(wèn)單元中，但在此例示出其存在的情況。
[0110]訪問(wèn)單元定界符、SPS、PPS以及SEI等在訪問(wèn)單元內(nèi)配置在開(kāi)頭的切片段之前的NAL單元匯總到一起保存到1^1'包# I中。后續(xù)的切片段按每個(gè)切片段地保存到不同的MMT包中。
[0111]另外，如圖9所示，在訪問(wèn)單元內(nèi)配置在開(kāi)頭的切片段之前的NAL單元也可以與開(kāi)頭的切片段保存在同一MMT包中。
[0112]此外，若表示序列或流的末端的End-of-Sequence或End-of-Bitstream等的NAL單元被附加在最后切片段之后，則將這些與最后切片段保存在同一MMT包中。但是，有時(shí)由于End-of-Sequence或End-of-Bitstream等的NAL單元插入到解碼處理的結(jié)束點(diǎn)、或2條流的連接點(diǎn)等中，因此優(yōu)選的是，接收裝置200能夠從復(fù)用層中容易地取得這些NAL單元。該情況下，這些NAL單元也可以保存到與切片段不同的麗T包中。據(jù)此，接收裝置200能夠從復(fù)用層中容易地分離出這些NAL單元。
[0113]另外，也可以利用TS、DASH或RTP等作為復(fù)用方式。在這些方式中，發(fā)送裝置100也將不同的切片段分別保存到不同的包中。據(jù)此，能夠保證接收裝置200能夠從復(fù)用層中分離出切片段。
[0114]例如，在采用TS時(shí)，按照切片段單位對(duì)編碼數(shù)據(jù)進(jìn)行PES打包。在采用RTP時(shí)，按照切片段單位對(duì)編碼數(shù)據(jù)進(jìn)行RTP打包。在這些情況下，也可以如圖8所示的MMT包#1那樣地，對(duì)配置在切片段之前的NAL單元與切片段分別進(jìn)行打包。
[0115]在采用TS時(shí)，發(fā)送裝置100通過(guò)利用dataalignment(數(shù)據(jù)對(duì)齊)描述符等，表示保存在PES包中的數(shù)據(jù)的單位。此外，由于DASH為通過(guò)HTTP等下載稱(chēng)作“段(segment)，’的MP4形式的數(shù)據(jù)單位的方式，因此發(fā)送裝置100在發(fā)送時(shí)不進(jìn)行編碼數(shù)據(jù)的打包。因此，發(fā)送裝置100也可以按照切片段單位制作子樣本，將表示子樣本的保存位置的信息保存到MP4的頭中，以便接收裝置200能夠在MP4下在復(fù)用層中檢測(cè)切片段。
[0116]以下，詳細(xì)說(shuō)明切片段的MMT打包。
[0117]如圖8所示，通過(guò)打包編碼數(shù)據(jù)，SPS以及PPS等的訪問(wèn)單元內(nèi)的所有切片段的解碼時(shí)共通地參照的數(shù)據(jù)保存在MMT包#1中。該情況下，接收裝置200連結(jié)MMT包#1的有效載荷數(shù)據(jù)與各切片段的數(shù)據(jù)，并將得到的數(shù)據(jù)輸出至解碼部。如此地，接收裝置200通過(guò)連結(jié)多個(gè)MMT包的有效載荷，能夠容易地生成向解碼部的輸入數(shù)據(jù)。
[0118]圖10為表示根據(jù)圖8所示的MMT包生成向解碼部204A?204D的輸入數(shù)據(jù)的例子的圖。逆復(fù)用部203通過(guò)使MMT包#1與MMT包#2的有效載荷數(shù)據(jù)連結(jié)，生成解碼部204A解碼切片段I所需的數(shù)據(jù)。逆復(fù)用部203針對(duì)解碼部204B?解碼部204D同樣地生成輸入數(shù)據(jù)。即、逆復(fù)用部203通過(guò)使MMT包#1與MMT包#3的有效載荷數(shù)據(jù)連結(jié)，生成解碼部204B的輸入數(shù)據(jù)。逆復(fù)用部203通過(guò)使MMT包#1與MMT包#4的有效載荷數(shù)據(jù)連結(jié)，生成解碼部204C的輸入數(shù)據(jù)。逆復(fù)用部203通過(guò)使MMT包#1與MMT包#5的有效載荷數(shù)據(jù)連結(jié)，生成解碼部204D的輸入數(shù)據(jù)。
[0119]另外，逆復(fù)用部203也可以從MMT包#1的有效載荷數(shù)據(jù)中除去訪問(wèn)單元定界符以及SEI等非解碼處理所需的NAL單元，而只分離出解碼處理所需的SPS以及PPS的NAL單元并附加到切片段的數(shù)據(jù)。
[0120]在如圖9所示對(duì)編碼數(shù)據(jù)進(jìn)行打包的情況下，逆復(fù)用部203將在復(fù)用層中含有訪問(wèn)單元的開(kāi)頭數(shù)據(jù)的MMT包#1輸出至第I個(gè)解碼部204A。此外，逆復(fù)用部203解析在復(fù)用層中含有訪問(wèn)單元的開(kāi)頭數(shù)據(jù)的MMT包，分離SPS以及PPS的NAL單元，將分離出的SPS以及PPS的NAL單元附加到第2個(gè)以后的切片段的各個(gè)數(shù)據(jù)，據(jù)此生成針對(duì)第2個(gè)以后的各個(gè)解碼部的輸入數(shù)據(jù)。
[0121 ]再有，優(yōu)選的是，接收裝置200利用MMT包的頭所包含的信息，能夠識(shí)別MMT有效載荷所保存的數(shù)據(jù)的類(lèi)型、以及在有效載荷中保存有切片段時(shí)該切片段在訪問(wèn)單元內(nèi)的索引號(hào)。在此，數(shù)據(jù)的類(lèi)型意指切片段前數(shù)據(jù)(將在訪問(wèn)單元內(nèi)配置在開(kāi)頭切片段之前的NAL單元總稱(chēng)為此)以及切片段的數(shù)據(jù)中的任一個(gè)。在麗T包中保存對(duì)切片段等的MPU分片而成的單位的情況下，采用用于保存MFU(Media Fragment Unit:媒體分片單元)的模式。發(fā)送裝置100在采用本模式時(shí)，例如，能夠?qū)FU中的數(shù)據(jù)的基本單位即data unit(數(shù)據(jù)單元)設(shè)定為樣本(為MMT中的數(shù)據(jù)單位，與訪問(wèn)單元相當(dāng))、或子樣本(分割樣本而成的單位)。
[0122]此時(shí)，MMT包的頭含有稱(chēng)作“Fragmentat1n indicator(分片標(biāo)識(shí)符)”的字段以及稱(chēng)作“Fragment counter (分片計(jì)數(shù)器)”的字段。
[0123]Fragmentat1n indicator表示保存在MMT包的有效載荷中的數(shù)據(jù)是否是對(duì)dataunit進(jìn)行分片而得的數(shù)據(jù)，在是進(jìn)行分片而得的數(shù)據(jù)時(shí)，表示該分片是data unit中的開(kāi)頭或最后的分片、或者既不是開(kāi)頭也不是最后的分片。換言之，某一包的頭所包含的Fragmentat1n indicator是表示(I)在作為基本數(shù)據(jù)單位的data unit中只包含有該包；
(2)data unit分割成多個(gè)包進(jìn)行保存，并且該包為data unit的開(kāi)頭的包；(3)data unit分割成多個(gè)包進(jìn)行保存，并且該包為data unit的開(kāi)頭及最后以外的包；以及(4)data unit分割成多個(gè)包進(jìn)行保存，并且該包為data unit的最后的包這4項(xiàng)中任一項(xiàng)的識(shí)別信息。
[0124]Fragment counter為表示MMT包所保存的數(shù)據(jù)在data unit中與第幾個(gè)分片相當(dāng)?shù)乃饕?hào)。
[0125]因此，通過(guò)發(fā)送裝置100將MMT下的樣本設(shè)定為dataunit，將切片段前數(shù)據(jù)以及各切片段分別設(shè)定為data unit的分片單位，接收裝置200能夠利用麗T包的頭所包含的信息識(shí)別在有效載荷中保存的數(shù)據(jù)的類(lèi)型。即、逆復(fù)用部203能夠參照MMT包的頭，生成向各解碼部204A?204D的輸入數(shù)據(jù)。
[0126]圖11為表示樣本被設(shè)定成dataunit、且切片段前數(shù)據(jù)以及切片段被作為dataunit的分片打包時(shí)的例子的圖。
[0127]將切片段前數(shù)據(jù)以及切片段分割成分片#1至分片#5的5個(gè)分片。各分片保存到個(gè)別的MMT包中。此時(shí)，MMT包的頭所包含的Fragmentat1n indicator以及Fragment counter的值如圖示。
[ΟΙ28] 例如，F(xiàn)ragment indicator(分片標(biāo)識(shí)符)為二進(jìn)制的2比特值。data unit的開(kāi)頭即MMT包#I的Fragment indicator、最后即MMT包#5的Fragment indicator、以及其間的包即MMT包#2至MMT包#4的Fragment indicator分別設(shè)定為不同的值。具體而言，data unit的開(kāi)頭即MMT包#1 的Fragment indicator設(shè)定為01，最后即MMT包#5的Fragment indicator設(shè)定為11，其間的包即MMT包#2至MMT包#4的Fragment indicator設(shè)定為10。另外，在dataunit中只包含有I個(gè)MMT包時(shí)，F(xiàn)ragment indicator設(shè)定為00。
[0129]此外，F(xiàn)ragment counter在MMT包#1中是從分片的總數(shù)即5減去I而得的值即4，在后續(xù)包中，順次逐一減少，在最后即MMT包#5中為O。
[0130]因此，接收裝置200能夠利用Fragment indicator以及Fragment counter中的任一個(gè)識(shí)別保存切片段前數(shù)據(jù)的MMT包。此外，接收裝置200通過(guò)參照Fragment counter，能夠識(shí)別保存第N個(gè)切片段的MMT包。
[0131 ] MMT包的頭另行含有data unit所屬的Movie Fragment(電影分片)在MPU內(nèi)的序列號(hào)、MPU自身的序列號(hào)、data unit所屬的樣本在Movie Fragment內(nèi)的序列號(hào)。逆復(fù)用部203通過(guò)參照這些，能夠唯一地決定data unit所屬的樣本。
[0132]再有，由于逆復(fù)用部203能夠根據(jù)Fragment counter等決定data unit內(nèi)的分片的索引號(hào)，因此在發(fā)生丟包時(shí)，也能夠唯一地確定在分片中保存的切片段。例如，逆復(fù)用部203在因丟包而無(wú)法取得圖11所示的分片#4時(shí)，也由于知曉分片#3的緊后所接收的分片是分片#5，因此能夠?qū)⒃诜制?5中保存的切片段4正確地輸出至解碼部204D而非解碼部204C。
[0133]另外，在使用保證不發(fā)生丟包的傳送路徑時(shí)，逆復(fù)用部203不參照MMT包的頭決定在MMT包中保存的數(shù)據(jù)的類(lèi)型、或切片段的索引號(hào)，而周期性地處理到達(dá)的包即可。例如，在將訪問(wèn)單元通過(guò)切片前數(shù)據(jù)以及4個(gè)切片段共計(jì)5個(gè)MMT包發(fā)送時(shí)，接收裝置200通過(guò)在決定開(kāi)始解碼的訪問(wèn)單元的切片前數(shù)據(jù)之后，順次處理所接收到的MMT包，能夠順次取得切片前數(shù)據(jù)以及4個(gè)切片段的數(shù)據(jù)。
[0134]以下，說(shuō)明打包的變形例。
[0135]切片段未必需要在訪問(wèn)單元的面內(nèi)沿水平方向與垂直方向這兩方向分割，如圖1所示，既可以將訪問(wèn)單元只沿水平方向分割，也可以只沿垂直方向分割。
[0136]此外，在只沿水平方向分割訪問(wèn)單元時(shí)，無(wú)需采用瓦片。
[0137]此外，訪問(wèn)單元的面內(nèi)的分割數(shù)是任意的，不限于4個(gè)。但是，切片段以及瓦片的區(qū)域尺寸需要為H.265等編碼標(biāo)準(zhǔn)的下限以上。
[0138]發(fā)送裝置100也可以將表示訪問(wèn)單元的面內(nèi)的分割方法的識(shí)別信息保存到MMT消息、或TS的描述符等中。例如，也可以保存有分別表示面內(nèi)的水平方向與垂直方向的分割數(shù)的信息?；蛘?，也可以針對(duì)如圖3所示那樣地分別沿水平方向以及垂直方向2等分，或如圖1所示那樣地沿水平方向4等分等分割方法分配固有的識(shí)別信息。例如，在如圖3所示那樣地分割訪問(wèn)單元時(shí)，識(shí)別信息表示模式I，在如圖1所示那樣地分割訪問(wèn)單元時(shí)，識(shí)別信息表示模式I。
[0139]此外，表示與面內(nèi)的分割方法關(guān)聯(lián)的編碼條件的制約的信息也可以被包含在復(fù)用層中。例如，也可以利用表示I個(gè)切片段由I個(gè)瓦片構(gòu)成的信息?；蛘?，也可以利用表示切片段或瓦片的解碼時(shí)進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)那闆r下的參照塊被限制為畫(huà)面內(nèi)的同一位置的切片段或瓦片、或者被限制為相鄰的切片段中的規(guī)定范圍內(nèi)的塊等的信息。
[0140]此外，發(fā)送裝置100也可以根據(jù)運(yùn)動(dòng)圖像的分辨率，切換是否將訪問(wèn)單元分割成多個(gè)切片段。例如，發(fā)送裝置100也可以在處理對(duì)象的運(yùn)動(dòng)圖像為8K4K時(shí)將訪問(wèn)單元分割成4個(gè)，而在處理對(duì)象的運(yùn)動(dòng)圖像為4K2K的分辨率時(shí)不進(jìn)行面內(nèi)的分割。通過(guò)事先規(guī)定在8K4K的運(yùn)動(dòng)圖像的情況下的分割方法，接收裝置200通過(guò)取得所接收的運(yùn)動(dòng)圖像的分辨率，能夠決定有無(wú)面內(nèi)的分割以及分割方法，切換解碼動(dòng)作。
[0141]此外，接收裝置200能夠通過(guò)參照MMT包的頭來(lái)檢測(cè)有無(wú)面內(nèi)的分割。例如，在未分割訪問(wèn)單元時(shí)，若將MMT的data unit設(shè)定為樣本，貝Ij不進(jìn)行data unit的分片。因此，接收裝置200在MMT包的頭所包含的Fragment counter的值總是為零時(shí)，能夠判定為未分割訪問(wèn)單元?；蛘撸邮昭b置200也可以檢測(cè)Fragmentat1n indicator的值是否總是01。接收裝置200在Fragmentat1n indicator的值總是01時(shí)，也能夠判定為未分割訪問(wèn)單元。
[0142]此外，接收裝置200也能夠應(yīng)對(duì)訪問(wèn)單元的面內(nèi)的分割數(shù)與解碼部數(shù)量不一致的情況。例如，在接收裝置200具備能夠?qū)崟r(shí)解碼8K2K的編碼數(shù)據(jù)的2個(gè)解碼部204A以及204B時(shí)，逆復(fù)用部203針對(duì)解碼部204A，輸出構(gòu)成8K4K的編碼數(shù)據(jù)的4個(gè)切片段之中的2個(gè)。
[0143]圖12為表示如圖8所示那樣地進(jìn)行MMT打包后的數(shù)據(jù)輸入至2個(gè)解碼部204A以及204B時(shí)的動(dòng)作例的圖。在此，優(yōu)選的是，接收裝置200能夠?qū)⒔獯a部204A以及204B的解碼結(jié)果直接合并并輸出。因此，逆復(fù)用部203以解碼部204A以及204B各自的解碼結(jié)果在空間上連續(xù)的方式，選擇輸出至解碼部204A以及204B的每一個(gè)解碼部的切片段。
[0144]此外，逆復(fù)用部203也可以根據(jù)運(yùn)動(dòng)圖像的編碼數(shù)據(jù)的分辨率或幀速率等，選擇所使用的解碼部。例如，在接收裝置200具備4個(gè)4K2K的解碼部時(shí)，若輸入圖像的分辨率為8K4K，則接收裝置200利用全部4個(gè)解碼部進(jìn)行解碼處理。此外，只要輸入圖像的分辨率是4K2K，則接收裝置200只利用I個(gè)解碼部進(jìn)行解碼處理?；蛘撸词姑鎯?nèi)被分割成4個(gè)，在能夠通過(guò)單一的解碼部實(shí)時(shí)解碼8K4K時(shí)，逆復(fù)用部203也合并全部分割單位并輸出至I個(gè)解碼部。
[0145]再有，接收裝置200也可以考慮幀速率來(lái)決定所使用的解碼部。例如，存在如下情況:在接收裝置200具備2臺(tái)在分辨率為8K4K時(shí)能夠?qū)崟r(shí)解碼的幀速率的上限為60fps的解碼部的情況下，在8K4K下輸入120fps的編碼數(shù)據(jù)。此時(shí)，若設(shè)面內(nèi)由4個(gè)分割單位構(gòu)成，則與圖12的例子同樣地，切片段I與切片段2輸入至解碼部204A，切片段3與切片段4輸入至解碼部204B。由于各個(gè)解碼部204A以及204B只要是8K2K(分辨率為8K4K的一半)就能夠連120fps也實(shí)時(shí)解碼，因此能通過(guò)這2臺(tái)解碼部204A以及204B進(jìn)行解碼處理。
[0146]此外，即使分辨率以及幀速率相同，若編碼方式中的檔次(profile)、或者級(jí)別(level)、或者H.264或H.265等編碼方式本身不同則處理量不同。因此，接收裝置200也可以基于這些信息選擇所使用的解碼部。另外，接收裝置200在無(wú)法對(duì)經(jīng)廣播或通信接收到的全部編碼數(shù)據(jù)進(jìn)行解碼時(shí)，或在構(gòu)成用戶所選擇的區(qū)域的全部切片段或瓦片無(wú)法解碼時(shí)，也可以自動(dòng)決定在解碼部的處理范圍內(nèi)可解碼的切片段或瓦片。或者，接收裝置200也可以提供用于用戶選擇解碼的區(qū)域的用戶界面。此時(shí)，接收裝置200既可以顯示表示無(wú)法對(duì)全部區(qū)域進(jìn)行解碼的警告消息，也可以顯示表示可解碼的區(qū)域、切片段或瓦片的個(gè)數(shù)的信息。
[0147]此外，上述方法也能夠適用于利用廣播以及通信等多個(gè)傳送路徑發(fā)送以及接收保存同一編碼數(shù)據(jù)的切片段的MMT包的情況。
[0148]此外，發(fā)送裝置100為了使分割單位的邊界不醒目，也可以以各切片段的區(qū)域重疊的方式進(jìn)行編碼。在圖13所示的例子中，8K4K的圖片分割成4個(gè)切片段I?4。切片段I?3分別例如為8KX 1.1K，切片段4為8KX 1K。此外，相鄰的切片段相互重疊。通過(guò)如此，能夠在以虛線所示的4分割時(shí)的邊界上，有效地執(zhí)行編碼時(shí)的運(yùn)動(dòng)補(bǔ)償，因此邊界部分的畫(huà)質(zhì)得以提高。如此地，降低邊界部分的畫(huà)質(zhì)惡化。
[0149]該情況下，顯示部205從8KX 1.1K的區(qū)域之中切出8KX IK的區(qū)域，并合并所得到的區(qū)域。另外，發(fā)送裝置100也可以將表示切片段是否被重疊地進(jìn)行編碼以及重疊的范圍的信息包含在復(fù)用層或編碼數(shù)據(jù)內(nèi)另行發(fā)送。
[0150]另外，在使用瓦片時(shí)，也能夠適用同樣的方法。
[0151]以下，說(shuō)明發(fā)送裝置100的動(dòng)作的流程。圖14為表示發(fā)送裝置100的動(dòng)作例的流程圖。
[0152]首先，編碼部101將圖片(訪問(wèn)單元)分割成多個(gè)區(qū)域即多個(gè)切片段(瓦片)(S101)。接著，編碼部101以能夠?qū)Χ鄠€(gè)切片段中的每一個(gè)切片段獨(dú)立解碼的方式進(jìn)行編碼，由此生成與多個(gè)切片段中的每一個(gè)切片段對(duì)應(yīng)的編碼數(shù)據(jù)(S102)。另外，編碼部101既可以通過(guò)單一編碼部對(duì)多個(gè)切片段進(jìn)行編碼，也可以通過(guò)多個(gè)編碼部進(jìn)行并行處理。
[0153]接著，復(fù)用部102將由編碼部101生成的多個(gè)編碼數(shù)據(jù)保存到多個(gè)MMT包中，由此對(duì)多個(gè)編碼數(shù)據(jù)進(jìn)行復(fù)用(S103)。具體而言，如圖8以及圖9所示，復(fù)用部102以在I個(gè)MMT包中不保存與不同的切片段對(duì)應(yīng)的編碼數(shù)據(jù)的方式，將多個(gè)編碼數(shù)據(jù)保存到多個(gè)MMT包中。此夕卜，如圖8所示，復(fù)用部102將針對(duì)圖片內(nèi)的全部解碼單位共通使用的控制信息保存到與保存有多個(gè)編碼數(shù)據(jù)的多個(gè)MMT包#2?#5不同的MMT包#1中。在此，控制信息包括訪問(wèn)單元定界符、SPS、PPS以及SEI中的至少一個(gè)。
[0154]另外，復(fù)用部102也可以將控制信息保存到與保存有多個(gè)編碼數(shù)據(jù)的多個(gè)MMT包中的任一個(gè)相同的麗T包內(nèi)。例如，如圖9所示，復(fù)用部102也可以將控制信息保存到保存有多個(gè)編碼數(shù)據(jù)的多個(gè)MMT包中的開(kāi)頭的MMT包(圖9的MMT包#I)內(nèi)。
[0155]最后，發(fā)送裝置100發(fā)送多個(gè)MMT包。具體而言，調(diào)制部103對(duì)經(jīng)復(fù)用而得的數(shù)據(jù)進(jìn)行調(diào)制，發(fā)送部104發(fā)送調(diào)制后的數(shù)據(jù)(S104)。
[0156]圖15為表示接收裝置200的構(gòu)成例的框圖，為詳細(xì)表示圖7所示的逆復(fù)用部203以及其后級(jí)的構(gòu)成的圖。如圖15所示，接收裝置200還具備解碼命令部206。此外，逆復(fù)用部203具備類(lèi)型判別部211、控制信息取得部212、切片信息取得部213以及解碼數(shù)據(jù)生成部214。
[0157]以下，說(shuō)明接收裝置200的動(dòng)作的流程。圖16為表示接收裝置200的動(dòng)作例的流程圖。在此，表示針對(duì)I個(gè)訪問(wèn)單元的動(dòng)作。在執(zhí)行多個(gè)訪問(wèn)單元的解碼處理時(shí)，反復(fù)進(jìn)行本流程圖的處理。
[0158]首先，接收裝置200例如接收由發(fā)送裝置100生成的多個(gè)包(MMT包)(S201)。
[0159]接著，類(lèi)型判別部211通過(guò)解析接收包的頭，取得在接收包中保存的編碼數(shù)據(jù)的類(lèi)型(S202)。
[0160]接著，類(lèi)型判別部211基于所取得的編碼數(shù)據(jù)的類(lèi)型，判定在接收包中保存的數(shù)據(jù)是切片段前數(shù)據(jù)，還是切片段的數(shù)據(jù)(S203)。
[0161]若在接收包中保存的數(shù)據(jù)是切片段前數(shù)據(jù)(S203的“是”)，則控制信息取得部212從接收包的有效載荷中取得處理對(duì)象的訪問(wèn)單元的切片段前數(shù)據(jù)，將該切片段前數(shù)據(jù)保存到存儲(chǔ)器中(S204)。
[0162]另一方面，若在接收包中保存的數(shù)據(jù)是切片段的數(shù)據(jù)(S203的“否”)，則接收裝置200利用接收包的頭信息，判定在該接收包中保存的數(shù)據(jù)是否是多個(gè)區(qū)域中的某一個(gè)區(qū)域的編碼數(shù)據(jù)。具體而言，切片信息取得部213通過(guò)解析接收包的頭，取得在接收包中保存的切片段的索引號(hào)Idx(S205)。具體而言，索引號(hào)Idx為訪問(wèn)單元(MMT中的樣本)的MovieFragment (電影分片)內(nèi)的索引號(hào)。
[0163]另外，該步驟S205的處理也可以在步驟S202中一并進(jìn)行。
[0164]接著，解碼數(shù)據(jù)生成部214決定對(duì)該切片段進(jìn)行解碼的解碼部(S206)。具體而言，索引號(hào)Idx與多個(gè)解碼部事先創(chuàng)建關(guān)聯(lián)，解碼數(shù)據(jù)生成部214決定與在步驟S205中取得的索引號(hào)Idx對(duì)應(yīng)的解碼部作為對(duì)該切片段進(jìn)行解碼的解碼部。
[0165]另外，解碼數(shù)據(jù)生成部214也可以如在圖12的例子中說(shuō)明地，基于訪問(wèn)單元(圖片)的分辨率、訪問(wèn)單元向多個(gè)切片段(瓦片)的分割方法、以及接收裝置200所具備的多個(gè)解碼部的處理能力中的至少一項(xiàng)，決定對(duì)該切片段進(jìn)行解碼的解碼部。例如，解碼數(shù)據(jù)生成部214基于MMT的消息、或T S的節(jié)(s e c t i on)等的描述符中的識(shí)別信息，判別訪問(wèn)單元的分割方法。
[0166]接著，解碼數(shù)據(jù)生成部214使多個(gè)包中的任一個(gè)包所包含的、針對(duì)圖片內(nèi)的全部解碼單位共通使用的控制信息與多個(gè)切片段的多個(gè)編碼數(shù)據(jù)中的各個(gè)編碼數(shù)據(jù)結(jié)合，由此生成向多個(gè)解碼部輸入的多個(gè)輸入數(shù)據(jù)(結(jié)合數(shù)據(jù))。具體而言，解碼數(shù)據(jù)生成部214從接收包的有效載荷中取得切片段的數(shù)據(jù)。解碼數(shù)據(jù)生成部214通過(guò)使經(jīng)步驟S204保存到存儲(chǔ)器中的切片段前數(shù)據(jù)、與所取得的切片段的數(shù)據(jù)結(jié)合，生成向經(jīng)步驟S206決定的解碼部的輸入數(shù)據(jù)(S207)。
[0167]在步驟S204或S207之后，在接收包的數(shù)據(jù)并非訪問(wèn)單元的最終數(shù)據(jù)時(shí)(S208的“否”)，再次進(jìn)行步驟S201以后的處理。即、反復(fù)進(jìn)行上述處理，直到生成與訪問(wèn)單元所包含的全部切片段對(duì)應(yīng)的向多個(gè)解碼部204A?204D的輸入數(shù)據(jù)為止。
[0168]另外，包被接收的定時(shí)不限于圖16所示的定時(shí)，也可以事先或順次接收多個(gè)包，并保存到存儲(chǔ)器等中。
[0169]另一方面，若接收包的數(shù)據(jù)為訪問(wèn)單元的最終數(shù)據(jù)(S208的“是”)，則解碼命令部206將經(jīng)步驟S207生成的多個(gè)輸入數(shù)據(jù)向所對(duì)應(yīng)的解碼部204A?204D輸出(S209)。
[0170]接著，多個(gè)解碼部204A?204D按照訪問(wèn)單元的DTS，對(duì)多個(gè)輸入數(shù)據(jù)并行地進(jìn)行解碼，由此生成多個(gè)解碼圖像(S210)。
[0171]最后，顯示部205通過(guò)使經(jīng)多個(gè)解碼部204A?204D生成的多個(gè)解碼圖像結(jié)合來(lái)生成顯示圖像，按照訪問(wèn)單元的PTS顯示該顯示圖像(S211)。
[0172]另外，接收裝置200通過(guò)解析保存MPU的頭信息或MovieFragment的頭信息的MMT包的有效載荷數(shù)據(jù)，取得訪問(wèn)單元的DTS以及PTS。此外，接收裝置200在使用TS作為復(fù)用方式時(shí)，從PES包的頭中取得訪問(wèn)單元的DTS以及PTS。接收裝置200在使用RTP作為復(fù)用方式時(shí)，從RTP包的頭中取得訪問(wèn)單元的DTS以及PTS。
[0173]此外，顯示部205在合并多個(gè)解碼部的解碼結(jié)果時(shí)，也可以在相鄰的分割單位的邊界上進(jìn)行解塊濾波等濾波處理。另外，由于在顯示單一解碼部的解碼結(jié)果時(shí)不需要進(jìn)行濾波處理，因此顯示部205也可以根據(jù)是否對(duì)多個(gè)解碼部的解碼結(jié)果的邊界進(jìn)行濾波處理來(lái)切換處理。是否需要進(jìn)行濾波處理也可以根據(jù)有無(wú)分割等事先規(guī)定?；蛘?，也可以將表示是否需要進(jìn)行濾波處理的信息另行保存到復(fù)用層中。此外，濾波系數(shù)等濾波處理所需的信息有時(shí)保存在SPS、PPS、SEI或切片段內(nèi)。解碼部204A?204D、或逆復(fù)用部203通過(guò)解析SEI來(lái)取得這些信息，將所取得的信息輸出至顯示部205。顯示部205利用這些信息進(jìn)行濾波處理。另夕卜，在這些信息保存在切片段內(nèi)時(shí)，優(yōu)選解碼部204A?204D取得這些信息。
[0174]另外，在上述說(shuō)明中，示出了保存到分片中的數(shù)據(jù)的種類(lèi)為切片段前數(shù)據(jù)與切片段這2種的情況的例子，但數(shù)據(jù)的種類(lèi)也可以為3種以上。該情況下，在步驟S203中進(jìn)行與類(lèi)型相應(yīng)的區(qū)分。
[0175]此外，發(fā)送裝置100在切片段的數(shù)據(jù)尺寸大時(shí)，也可以對(duì)切片段進(jìn)行分片并保存到MMT包中。即、發(fā)送裝置100也可以對(duì)切片段前數(shù)據(jù)以及切片段進(jìn)行分片。該情況下，若如圖11所示的打包的例子那樣地設(shè)定為訪問(wèn)單元與data unit相等，則會(huì)產(chǎn)生以下的問(wèn)題。
[0176]例如在切片段I被分割成3個(gè)分片時(shí)，通過(guò)將切片段I分割成Fragmentcounter值I至3這3個(gè)包來(lái)進(jìn)行發(fā)送。此外，在切片段2以后，F(xiàn)ragment counter值變?yōu)?以上，無(wú)法取得Fragment counter的值與在有效載荷保存的數(shù)據(jù)的關(guān)聯(lián)。因此，接收裝置200無(wú)法根據(jù)MMT包的頭的信息，確定保存切片段的開(kāi)頭數(shù)據(jù)的包。
[0177]該情況下，接收裝置200也可以解析MMT包的有效載荷的數(shù)據(jù)，并確定切片段的開(kāi)始位置。在此，在H.264或H.265中作為將NAL單元保存到復(fù)用層中的形式，有在NAL單元頭的緊前附加由特定的比特串構(gòu)成的起始碼的稱(chēng)作“字節(jié)流格式”的形式、以及附加表示NAL單元的尺寸的字段的稱(chēng)作“NAL尺寸格式”的形式這2種。
[0178]字節(jié)流格式在MPEG-2系統(tǒng)以及RTP等中被利用。NAL尺寸格式在MP4、以及使用MP4的DASH以及MMT等中被利用。
[0179]在利用字節(jié)流格式時(shí)，接收裝置200解析包的開(kāi)頭數(shù)據(jù)是否與起始碼一致。只要包的開(kāi)頭數(shù)據(jù)與起始碼一致，則接收裝置200通過(guò)從緊隨其后的NAL單元頭中取得NAL單元的類(lèi)型，能夠檢測(cè)該包所包含的數(shù)據(jù)是否為切片段的數(shù)據(jù)。
[0180]另一方面，在NAL尺寸格式時(shí)，接收裝置200不能基于比特串檢測(cè)NAL單元的開(kāi)始位置。因此，接收裝置200為了取得NAL單元的開(kāi)始位置，需要通過(guò)從訪問(wèn)單元的開(kāi)頭NAL單元起順次讀出相對(duì)于NAL單元的尺寸量的數(shù)據(jù)來(lái)使指針移位。
[01811 其中，若在麗T的MPU或Movie Fragment的頭中，表示有子樣本單位的尺寸，且子樣本與切片前數(shù)據(jù)或切片段對(duì)應(yīng)，則接收裝置200能夠基于子樣本的尺寸信息確定各NAL單元的開(kāi)始位置。因此，發(fā)送裝置100也可以將表示子樣本單位的信息是否存在于MPU或MovieFragment中的信息，包含到MMT中的MPT等、接收裝置200在開(kāi)始接收數(shù)據(jù)時(shí)取得的信息內(nèi)。
[0182]另外，MPU的數(shù)據(jù)為以MP4格式為基礎(chǔ)擴(kuò)展而得的數(shù)據(jù)。在MP4中，有能夠?qū).264或H.265的SPS以及PPS等的參數(shù)集作為樣本數(shù)據(jù)進(jìn)行保存的模式以及不能保存的模式。此外，用于確定該模式的信息作為SampleEntry(樣本入口)的入口名來(lái)表示。在利用能夠保存的模式，且參數(shù)集被包含在樣本中時(shí)，接收裝置200通過(guò)上述的方法取得參數(shù)集。
[0183]另一方面，在利用不能保存的模式時(shí)，參數(shù)集作為SampIeEntry內(nèi)的DecoderSpecific Informat1n(解碼器特性信息)進(jìn)行保存、或者利用參數(shù)集用的流來(lái)進(jìn)行保存。在此，一般不使用參數(shù)集用的流，所以優(yōu)選的是，發(fā)送裝置100在De coder SpecificInformat1n中保存參數(shù)集。該情況下，接收裝置200解析在MMT包中作為MPU的元數(shù)據(jù)、或者M(jìn)ovie Fragment的元數(shù)據(jù)發(fā)送的SampIeEntry，取得訪問(wèn)單元所參照的參數(shù)集。
[0184]在參數(shù)集作為樣本數(shù)據(jù)進(jìn)行保存時(shí)，接收裝置200能夠只參照樣本數(shù)據(jù)取得解碼所需的參數(shù)集，而不參考SampleEntry。此時(shí)，發(fā)送裝置100也可以不將參數(shù)集保存到SampleEntry中。通過(guò)如此，發(fā)送裝置100能夠在不同的MPU中利用同一SampleEntry，因此能夠降低MPU生成時(shí)的發(fā)送裝置100的處理負(fù)荷。再有，存在接收裝置200無(wú)需參照Samp I eEntry內(nèi)的參數(shù)集的優(yōu)點(diǎn)。
[0185]或者，發(fā)送裝置100也可以將I個(gè)默認(rèn)的參數(shù)集保存到SampleEntry中，將訪問(wèn)單元所參照的參數(shù)集保存到樣本數(shù)據(jù)中。在以往的MP4中，一般在SampleEntry中保存參數(shù)集，因此在SampleEntry中不存在參數(shù)集時(shí)有的接收裝置有可能停止再現(xiàn)。通過(guò)利用上述的方法，能夠解決該問(wèn)題。
[0186]或者，發(fā)送裝置100也可以只在使用不同于默認(rèn)的參數(shù)集的參數(shù)集時(shí)，將參數(shù)集保存到樣本數(shù)據(jù)中。
[0187]另外，由于兩種模式皆能將參數(shù)集保存到SampleEntry中，因此發(fā)送裝置100也可以總是將參數(shù)集保存到VisualSampleEntry(視覺(jué)樣本入口)中，接收裝置200總是從Visual Samp I eEntry中取得參數(shù)集。
[0188]另外，在麗T標(biāo)準(zhǔn)中，Moov以及Moof等MP4的頭信息作為MPU元數(shù)據(jù)、或電影分片元數(shù)據(jù)來(lái)傳送，但發(fā)送裝置100也可以不一定發(fā)送MPU元數(shù)據(jù)以及電影分片元數(shù)據(jù)。再有，接收裝置200也能夠基于ARIB(Associat1n of Rad1 Industries and Businesses:無(wú)線電工商業(yè)協(xié)會(huì))標(biāo)準(zhǔn)的服務(wù)、資源的類(lèi)型、或有無(wú)MHJ元的傳送等，判定是否在樣本數(shù)據(jù)內(nèi)保存有SPS 以及 PPS。
[0189]圖17為表示切片段前數(shù)據(jù)以及各切片段分別設(shè)定為不同的dataunit時(shí)的例子的圖。
[0190]在圖17所示的例子中，切片段前數(shù)據(jù)、以及切片段I至切片段4的數(shù)據(jù)尺寸分別為L(zhǎng)ength (長(zhǎng)度)#1至Length#5。MMT包的頭所包含的 Fragmen tat 1n indicator、Fragmentcounter以及Of f set (偏移)的各字段值如圖中所示。
[0191]在此，Offset為表示從有效載荷數(shù)據(jù)所屬的樣本(訪問(wèn)單元或圖片)的編碼數(shù)據(jù)的開(kāi)頭起，到該MMT包所包含的有效載荷數(shù)據(jù)(編碼數(shù)據(jù))的開(kāi)頭字節(jié)的比特長(zhǎng)(偏移)的偏移信息。另外,Fragment counter的值作為從分片的總數(shù)減去I而得的值開(kāi)始來(lái)說(shuō)明，但也可以從其他值開(kāi)始。
[0192]圖18為表不對(duì)dataunit進(jìn)行分片時(shí)的例子的圖。在圖18所不的例子中，切片段I分割成3個(gè)分片，分別保存到MMT包#2至MMT包#4中。此時(shí)，將各分片的數(shù)據(jù)尺寸分別設(shè)為L(zhǎng)ength#2_l至Length#2_3，各字段的值如圖中所示。
[0193]如此地，在切片段等的數(shù)據(jù)單位設(shè)定成dataunit時(shí)，訪問(wèn)單元的開(kāi)頭以及切片段的開(kāi)頭能夠基于MMT包頭的字段值如以下那樣地決定。
[0194]Offset的值為O的包中的有效載荷的開(kāi)頭為訪問(wèn)單元的開(kāi)頭。
[0195]Off set的值為不同于O的值，且Fragmentat1n indcatorno值為00或01的包的有效載荷的開(kāi)頭為切片段的開(kāi)頭。
[0196]此外，在不發(fā)生dataunit的分片，也不發(fā)生丟包時(shí)，接收裝置200能夠基于在檢測(cè)到訪問(wèn)單元的開(kāi)頭之后所取得的切片段的個(gè)數(shù)，確定在MMT包中保存的切片段的索引號(hào)。
[0197]此外，在對(duì)切片段前數(shù)據(jù)的dataunit進(jìn)行分片的情況下，也同樣地，接收裝置200能夠檢測(cè)訪問(wèn)單元以及切片段的開(kāi)頭。
[0198]此外，在發(fā)生丟包時(shí)，或者在切片段前數(shù)據(jù)所包含的SPS、PPS以及SEI設(shè)定成不同的data unit時(shí)，接收裝置200通過(guò)基于MMT頭的解析結(jié)果確定保存切片段的開(kāi)頭數(shù)據(jù)的MMT包，隨后解析切片段的頭，也能夠確定圖片(訪問(wèn)單元)內(nèi)的切片段或瓦片的開(kāi)始位置。切片頭的解析所涉及的處理量小，處理負(fù)荷不會(huì)成為問(wèn)題。
[0199]如此地，多個(gè)切片段的多個(gè)編碼數(shù)據(jù)中的各個(gè)編碼數(shù)據(jù)與在I個(gè)以上的包中保存的數(shù)據(jù)的單位即基本數(shù)據(jù)單位(data unit)—對(duì)一地創(chuàng)建關(guān)聯(lián)。此外，多個(gè)編碼數(shù)據(jù)中的各個(gè)編碼數(shù)據(jù)被保存到I個(gè)以上的MMT包中。
[0200]各MMT包的頭信息包括Fragmentat1n indicator(識(shí)別信息)以及0ffset(偏移信息)。
[0201]接收裝置200將下述包所包含的有效載荷數(shù)據(jù)的開(kāi)頭判定為各切片段的編碼數(shù)據(jù)的開(kāi)頭，該包具有包含有值為00或01的Fragmentat1n indicator的頭信息。具體而言，接收裝置200將下述包所包含的有效載荷數(shù)據(jù)的開(kāi)頭判定為各切片段的編碼數(shù)據(jù)的開(kāi)頭，該包具有包含有值不為O的Offset、值為00或01的Fragmentat1n indicator的頭信息。
[0202]此外，在圖17的例中，dataunit的開(kāi)頭為訪問(wèn)單元的開(kāi)頭或者切片段的開(kāi)頭的任一個(gè)，F(xiàn)ragmentat1n indicator的值為00或01。再有，接收裝置200通過(guò)參照NAL單元的類(lèi)型，判定data unit的開(kāi)頭為訪問(wèn)單元定界符或者切片段中的哪一個(gè)，也能夠不參考Off set地檢測(cè)訪問(wèn)單元的開(kāi)頭或者切片段的開(kāi)頭。
[°203]如此地，發(fā)送裝置100通過(guò)以NAL單元的開(kāi)頭必須從MMT包的有效載荷的開(kāi)頭開(kāi)始的方式進(jìn)行打包，從而將切片段前數(shù)據(jù)分割成多個(gè)data unit的情況也包含在內(nèi)的情況下，接收裝置200通過(guò)解析Fragmentat1n indicator以及NAL單元頭，能夠檢測(cè)訪問(wèn)單元或者切片段的開(kāi)頭。NAL單元的類(lèi)型存在于NAL單元頭的開(kāi)頭字節(jié)。因此，接收裝置200通過(guò)在解析MMT包的頭部時(shí)，追加地解析I字節(jié)量的數(shù)據(jù)，能夠取得NAL單元的類(lèi)型。在為音頻時(shí)，接收裝置200能檢測(cè)訪問(wèn)單元的開(kāi)頭即可，基于Fragmentat1n indicator的值是否為00或OI來(lái)判定即可。
[0204]此外，如上述，若將以可進(jìn)行分割解碼的方式進(jìn)行編碼而得的編碼數(shù)據(jù)保存到MPEG-2TS的PES包中，則發(fā)送裝置100能夠利用data alignment(數(shù)據(jù)對(duì)齊)描述符。以下，詳細(xì)說(shuō)明編碼數(shù)據(jù)向PES包的保存方法的例子。
[0205]例如，在HEVC中，發(fā)送裝置100通過(guò)利用data alignment描述符，能夠表示在PES包中保存的數(shù)據(jù)是訪問(wèn)單元、切片段以及瓦片中的哪一個(gè)。HEVC中的對(duì)齊的類(lèi)型如下規(guī)定。
[0206]對(duì)齊的類(lèi)型=8表示HEVC的切片段。對(duì)齊的類(lèi)型=9表示HEVC的切片段或訪問(wèn)單元。對(duì)齊的類(lèi)型=12表示HEVC的切片段或瓦片。
[0207]因此，發(fā)送裝置100例如通過(guò)利用類(lèi)型9，能夠表示PES包的數(shù)據(jù)是切片段或切片段前數(shù)據(jù)中的某一個(gè)。由于還另行規(guī)定了表示是切片而不是切片段的類(lèi)型，因此發(fā)送裝置100也可以使用表示是切片而不是切片段的類(lèi)型。
[0208]此外，PES包的頭所包含的DTS以及PTS只設(shè)定在包括訪問(wèn)單元的開(kāi)頭數(shù)據(jù)的PES包中。因此，只要類(lèi)型為9，并且在PES包中存在DTS或PTS的字段，接收裝置200就能夠判定在PES包中保存有訪問(wèn)單元整體、或者訪問(wèn)單元中的開(kāi)頭的分割單位。
[0209]此外，發(fā)送裝置100也可以利用表示保存含有訪問(wèn)單元的開(kāi)頭數(shù)據(jù)的PES包的TS包的優(yōu)先級(jí)的transport_pr1rity等字段，使得接收裝置200能夠區(qū)別包所包含的數(shù)據(jù)。此夕卜，接收裝置200也可以通過(guò)解析PES包的有效載荷是否為訪問(wèn)單元定界符，來(lái)判定包所包含的數(shù)據(jù)。此外，PES包頭的data_alignment_indicator表示數(shù)據(jù)是否按照這些類(lèi)型保存在PES包中。只要該標(biāo)志(data_alignment_indicator)設(shè)置為I，就保證在PES包中保存的數(shù)據(jù)按照data alignment描述符所示的類(lèi)型。
[0210]此外，發(fā)送裝置100也可以只在按照切片段等可分割解碼的單位進(jìn)行PES打包時(shí)，使用data alignment描述符。據(jù)此，接收裝置200在存在data alignment描述符時(shí)，能夠判斷為編碼數(shù)據(jù)按照可分割解碼的單位被進(jìn)行了PES打包，在不存在data alignment描述符時(shí)，能夠判斷為編碼數(shù)據(jù)以訪問(wèn)單元單位被進(jìn)行了PES打包。另外，在將data_alignment_indicator設(shè)置為I，且不存在data alignment描述符時(shí)，PES打包的單位為訪問(wèn)單元的內(nèi)容在MPEG-2TS標(biāo)準(zhǔn)中規(guī)定。
[0211 ]只要在PMT內(nèi)包含有data alignment描述符，接收裝置200就能夠判定為按照可分割解碼的單位進(jìn)行了 PES打包，并基于打包后的單位，生成向各解碼部的輸入數(shù)據(jù)。此外，接收裝置200在PMT內(nèi)不含有data alignment描述符，而基于節(jié)目信息、或該其他描述符的信息判定為需要進(jìn)行編碼數(shù)據(jù)的并行解碼時(shí)，通過(guò)解析切片段的切片頭等，生成向各解碼部的輸入數(shù)據(jù)。此外，在能夠通過(guò)單一解碼部解碼編碼數(shù)據(jù)時(shí)，接收裝置200通過(guò)該解碼部解碼訪問(wèn)單元整體的數(shù)據(jù)。另外，在表示編碼數(shù)據(jù)是否由切片段或瓦片等可分割解碼的單位構(gòu)成的信息通過(guò)PMT的描述符等另行表示時(shí)，接收裝置200也可以基于該描述符的解析結(jié)果判定是否能夠?qū)幋a數(shù)據(jù)進(jìn)行并行解碼。
[0212]此外，由于PES包的頭所包含的DTS以及PTS只設(shè)定在包括訪問(wèn)單元的開(kāi)頭數(shù)據(jù)的PES包中，因此在分割訪問(wèn)單元進(jìn)行PES打包時(shí)，在第2個(gè)以后的PES包中不含表示訪問(wèn)單元的DTS以及PTS的信息。因此，在并行進(jìn)行解碼處理時(shí)，各解碼部204A?204D以及顯示部205使用包含訪問(wèn)單元的開(kāi)頭數(shù)據(jù)的PES包的頭中保存的DTS以及PTS。
[0213](實(shí)施方式2)
[0214]在實(shí)施方式2中，說(shuō)明在麗T下將NAL尺寸格式的數(shù)據(jù)保存到基于MP4格式的MPU中的方法。另外，在以下作為一例，說(shuō)明向用于MMT的MPU的保存方法，但這樣的保存方法也能夠適用于作為相同的基于MP4格式的DASH。
[0215][向MPU的保存方法]
[0216]在MP4格式中，將多個(gè)訪問(wèn)單元匯總地保存到I個(gè)MP4文件中。用于MMT的MPU能夠?qū)⒚總€(gè)媒體的數(shù)據(jù)保存到I個(gè)MP4文件中，在數(shù)據(jù)中包含任意個(gè)數(shù)的訪問(wèn)單元。由于MPU是可單獨(dú)地進(jìn)行解碼的單位，因此例如在MPU中保存有GOP單位的訪問(wèn)單元。
[02^7] 圖19為表示MPU的構(gòu)成的圖。MPU的開(kāi)頭為ftyp、mmpu以及moov，這些總括地定義為MPU元數(shù)據(jù)。在moov中，保存有在文件中共通的初始化信息以及MMT提示軌道(hint track)。
[0218]此外，在m00f中，保存有每個(gè)樣本或子樣本的初始化信息以及尺寸、能夠確定提示時(shí)刻(PTS)以及解碼時(shí)刻(DTS)的信息(sample_durat1n、sampl e_si ze、sample_compos it1n_time_of f set)、以及表示數(shù)據(jù)的位置的data_of f set等。
[0219]此外，多個(gè)訪問(wèn)單元分別作為樣本保存到mdat(mdat框(box))中Dmoof以及mdat之中的除了樣本以外的數(shù)據(jù)定義為電影分片元數(shù)據(jù)(以后記作MF元數(shù)據(jù))，mdat的樣本數(shù)據(jù)定義為媒體數(shù)據(jù)。
?0220] 圖20為表示MF元數(shù)據(jù)的構(gòu)成的圖。如圖20所示，MF元數(shù)據(jù)更詳細(xì)而言，由moof框(moof)的type(類(lèi)型)、length(長(zhǎng)度)及data(數(shù)據(jù))、以及mdat框(mdat)的type(類(lèi)型)以及l(fā)ength(長(zhǎng)度)構(gòu)成。
[0221]在將訪問(wèn)單元保存到MP4數(shù)據(jù)中時(shí)，有能夠?qū).264或H.265的SPS以及PPS等的參數(shù)集作為樣本數(shù)據(jù)保存的模式、以及不能保存的模式。
[0222]在此，在上述不能保存的模式中，參數(shù)集保存到moo V的Samp I eEntry的De coderSpecific Informat1n中。此外，在上述能夠保存的模式中，參數(shù)集包含于樣本內(nèi)。
[0223]MPU元數(shù)據(jù)、MF元數(shù)據(jù)以及媒體數(shù)據(jù)分別保存到MMT有效載荷中，作為可識(shí)別這些數(shù)據(jù)的識(shí)別符，在MMT有效載荷的頭中，保存有分片類(lèi)型(FT) AT = O表示為MPU元數(shù)據(jù)，F(xiàn)T =I表示為MF元數(shù)據(jù)，F(xiàn)T = 2表示為媒體數(shù)據(jù)。
[0224]另外，在圖19中，圖示出了MPU元數(shù)據(jù)單位以及MF元數(shù)據(jù)單位作為data unit保存到MMT有效載荷中的例子，但也可以是ftyp、mmpu、moov以及moof等單位作為data unit，按照data unit單位保存到MMT有效載荷中。同樣地，在圖19中，圖示出了樣本單位作為dataunit保存到MMT有效載荷中的例子。可是，也可以按照樣本單位或NAL單元單位構(gòu)成dataunit，并將這樣的data unit按照data unit單位保存到MMT有效載荷中。這樣的data unit也可以進(jìn)一步按照分片后的單位保存到MMT有效載荷中。
[0225][以往的發(fā)送方法與問(wèn)題]
[0226]以往，在將多個(gè)訪問(wèn)單元封裝成MP4格式時(shí)，在保存到MP4中的樣本全部齊備的時(shí)刻制作mo ο V以及mo of。
[0227]在利用廣播等實(shí)時(shí)傳送MP4格式時(shí)，例如若設(shè)在I個(gè)MP4文件中保存的樣本為GOP單位，貝Ij在蓄積GOP單位的時(shí)間樣本之后制作mo O V以及mo O f，因此產(chǎn)生伴隨封裝的延遲。由于這樣的發(fā)送側(cè)的封裝，端到端延遲總是延長(zhǎng)GOP單位時(shí)間量。據(jù)此，難以實(shí)時(shí)進(jìn)行服務(wù)的提供，尤其在傳送實(shí)況內(nèi)容時(shí)，導(dǎo)致針對(duì)觀眾的服務(wù)的惡化。
[0228]圖21為用于說(shuō)明數(shù)據(jù)的發(fā)送順序的圖。在將MMT適用到廣播中時(shí)，如圖21的(a)所示，若按照MPU的構(gòu)成順序載置到MMT包中發(fā)送(按照MMT包#1、#2、#3、#4、#5、#6的順序發(fā)送)，則在MMT包的發(fā)送中產(chǎn)生封裝所致的延遲。
[0229]為了防止該封裝所致的延遲，提出了如下方法，即如圖21的(b)所示，不發(fā)送MPU元數(shù)據(jù)以及MF元數(shù)據(jù)等MPU頭信息(不發(fā)送包#1以及#2，將包#3-#6按照此順序發(fā)送)。此外，考慮到如下方法:如圖20的(c)所示，不等待MPU頭信息的制作地先發(fā)送媒體數(shù)據(jù)，在發(fā)送媒體數(shù)據(jù)之后發(fā)送MPU頭信息(按照#3-#6、#1、#2的順序進(jìn)行發(fā)送)。
[0230]在未發(fā)送MPU頭信息的情況下，接收裝置不利用MPU頭信息進(jìn)行解碼，此外，在與媒體數(shù)據(jù)相比后發(fā)送MHJ頭信息的情況下，接收裝置等待取得MPU頭信息之后進(jìn)行解碼。
[0231]可是，在以往的遵循MP4的接收裝置中，不用MPU頭信息進(jìn)行解碼無(wú)法得到保證。此夕卜，在接收裝置通過(guò)特殊的處理不利用MPU頭進(jìn)行解碼時(shí)，若利用以往的發(fā)送方法則解碼處理會(huì)變得復(fù)雜，實(shí)時(shí)解碼變得困難的可能性高。此外，在接收裝置等待進(jìn)行MHJ頭信息的取得之后進(jìn)行解碼時(shí)，直到接收裝置取得頭信息為止的期間需要進(jìn)行媒體數(shù)據(jù)的緩沖，但緩沖器模型未被規(guī)定，無(wú)法保證解碼。
[0232]于是，實(shí)施方式2所涉及的發(fā)送裝置如圖20的(d)所示，通過(guò)在MPU元數(shù)據(jù)中只保存共通的信息，使MPU元數(shù)據(jù)先于媒體數(shù)據(jù)發(fā)送。并且，實(shí)施方式2所涉及的發(fā)送裝置使在生成中產(chǎn)生延遲的MF元數(shù)據(jù)后于媒體數(shù)據(jù)發(fā)送。據(jù)此，提供一種能夠保證媒體數(shù)據(jù)的解碼的發(fā)送方法或接收方法。
[0233]以下，說(shuō)明利用圖21的(a)-(d)的各發(fā)送方法時(shí)的接收方法。
[0234]在圖21所示的各發(fā)送方法中，首先，按照MPU元數(shù)據(jù)、MFU元數(shù)據(jù)、媒體數(shù)據(jù)的順序構(gòu)成MPU數(shù)據(jù)。
[0235]在構(gòu)成MPU數(shù)據(jù)之后，發(fā)送裝置如圖21的(a)所示，按照MPU元數(shù)據(jù)、MF元數(shù)據(jù)、媒體數(shù)據(jù)的順序發(fā)送數(shù)據(jù)時(shí)，接收裝置能夠通過(guò)下記的(A-1)以及(A-2)中的任一方法進(jìn)行解碼。
[0236](A-1)接收裝置在取得MPU頭信息(MPU元數(shù)據(jù)以及MF元數(shù)據(jù))之后，利用MPU頭信息對(duì)媒體數(shù)據(jù)進(jìn)行解碼。
[0237](A-2)接收裝置不利用MPU頭信息地對(duì)媒體數(shù)據(jù)進(jìn)行解碼。
[0238]這樣的方法均存在如下優(yōu)點(diǎn)，即雖然在發(fā)送側(cè)發(fā)生封裝所致的延遲，但在接收裝置中，無(wú)需為了取得MPU頭而對(duì)媒體數(shù)據(jù)進(jìn)行緩沖。在不進(jìn)行緩沖時(shí)，不需要搭載用于緩沖的存儲(chǔ)器，更不會(huì)發(fā)生緩沖延遲。此外，由于(A-1)的方法利用MPU頭信息進(jìn)行解碼，因此也能夠適用于以往的接收裝置。
[0239]在發(fā)送裝置如圖21的(b)所示，只發(fā)送媒體數(shù)據(jù)時(shí)，接收裝置能夠通過(guò)下記的(B-1)的方法進(jìn)行解碼。
[0240](B-1)接收裝置不利用MPU頭信息地對(duì)媒體數(shù)據(jù)進(jìn)行解碼。
[0241]此外，雖未圖示，但在先于發(fā)送圖21的(b)的媒體數(shù)據(jù)而發(fā)送MPU元數(shù)據(jù)時(shí)，能夠通過(guò)下記的(B-2)的方法進(jìn)行解碼。
[0242](B-2)接收裝置利用MPU元數(shù)據(jù)對(duì)媒體數(shù)據(jù)進(jìn)行解碼。
[0243]上述(B-1)以及(B-2)的方法均存在如下優(yōu)點(diǎn)，S卩、在發(fā)送側(cè)不發(fā)生封裝所致的延遲，并且無(wú)需為了取得MPU頭而對(duì)媒體數(shù)據(jù)進(jìn)行緩沖?？墒牵捎?B-1)以及(B-2)的方法均未進(jìn)行利用MHJ頭信息的解碼，因此存在解碼需要特殊的處理的可能性。
[0244]在發(fā)送裝置如圖21的(C)所示，按照媒體數(shù)據(jù)、MPU元數(shù)據(jù)、MF元數(shù)據(jù)的順序發(fā)送數(shù)據(jù)時(shí)，接收裝置能夠通過(guò)下記的(C-1)以及(C-2)的任一方法進(jìn)行解碼。
[0245](C-1)接收裝置在取得MPU頭信息(MPU元數(shù)據(jù)以及MF元數(shù)據(jù))之后，對(duì)媒體數(shù)據(jù)進(jìn)行解碼。
[0246](C-2)接收裝置不利用MPU頭信息地對(duì)媒體數(shù)據(jù)進(jìn)行解碼。
[0247]在利用上述(C-1)的方法時(shí)，為了取得MPU頭信息需要對(duì)媒體數(shù)據(jù)進(jìn)行緩沖。與之相對(duì)，在利用上述(C-2)的方法時(shí)，無(wú)需進(jìn)行用于取得MPU頭信息的緩沖。
[0248]此外，上述(C-1)以及(C-2)的任一方法在發(fā)送側(cè)都不產(chǎn)生封裝所致的延遲。此外，由于(C-2)的方法不利用MPU頭信息，因此存在需要特殊的處理的可能性。
[0249]在發(fā)送裝置如圖21的(d)所示，按照MPU元數(shù)據(jù)、媒體數(shù)據(jù)、MF元數(shù)據(jù)的順序發(fā)送數(shù)據(jù)時(shí)，接收裝置能夠通過(guò)下記的(D-1)以及(D-2)的任一方法進(jìn)行解碼。
[0250](D-1)接收裝置在取得MPU元數(shù)據(jù)之后，再取得MF元數(shù)據(jù)，隨后，對(duì)媒體數(shù)據(jù)進(jìn)行解碼。
[0251](D-2)接收裝置在取得MPU元數(shù)據(jù)之后，不利用MF元數(shù)據(jù)地對(duì)媒體數(shù)據(jù)進(jìn)行解碼。
[0252]在利用上述(D-1)的方法時(shí)，為了取得MF元數(shù)據(jù)需要對(duì)媒體數(shù)據(jù)進(jìn)行緩沖，在上述(D-2)的方法時(shí)，無(wú)需進(jìn)行用于取得MF元數(shù)據(jù)的緩沖。
[0253]由于上述(D-2)的方法不進(jìn)行利用MF元數(shù)據(jù)的解碼，因此存在需要進(jìn)行特殊的處理的可能性。
[0254]如上述，在能夠利用MPU元數(shù)據(jù)以及MF元數(shù)據(jù)進(jìn)行解碼時(shí)，有在以往的MP4接收裝置中也能夠解碼的優(yōu)點(diǎn)。
[0255]另外，在圖21中，MPU數(shù)據(jù)按照MPU元數(shù)據(jù)、MFU元數(shù)據(jù)、媒體數(shù)據(jù)的順序構(gòu)成，在moof中，基于該構(gòu)成決定每個(gè)樣本或子樣本的位置信息(偏移)。此外，在MF元數(shù)據(jù)中也包含有mdat框中的媒體數(shù)據(jù)以外的數(shù)據(jù)(框的尺寸或類(lèi)型)。
[0256]因此，在接收裝置基于MF元數(shù)據(jù)確定媒體數(shù)據(jù)時(shí)，接收裝置在與發(fā)送數(shù)據(jù)的次序無(wú)關(guān)地按照構(gòu)成MPU數(shù)據(jù)時(shí)的次序重構(gòu)數(shù)據(jù)之后，利用MPU元數(shù)據(jù)的moov或MF元數(shù)據(jù)的moof進(jìn)行解碼。
[0257]另外，在圖21中，MPU數(shù)據(jù)按照MPU元數(shù)據(jù)、MFU元數(shù)據(jù)、媒體數(shù)據(jù)的順序構(gòu)成，但也可以按照不同于圖21的次序構(gòu)成MPU數(shù)據(jù)，并決定位置信息(偏移)。
[0258]例如，MPU數(shù)據(jù)也可以按照MPU元數(shù)據(jù)、媒體數(shù)據(jù)、MF元數(shù)據(jù)的順序構(gòu)成，在MF元數(shù)據(jù)中表示有負(fù)的位置信息(偏移)。該情況下，也與發(fā)送數(shù)據(jù)的次序無(wú)關(guān)地，接收裝置在按照在發(fā)送側(cè)構(gòu)成MPU數(shù)據(jù)時(shí)的次序重構(gòu)數(shù)據(jù)之后，利用moov或moof進(jìn)行解碼。
[0259]另外也可以是，發(fā)送裝置作為信令發(fā)送表示構(gòu)成MPU數(shù)據(jù)時(shí)的次序的信息，接收裝置基于被作為信令發(fā)送的信息重構(gòu)數(shù)據(jù)。
[0260]如上述，接收裝置如圖21的(d)所示，將打包而得的MPU元數(shù)據(jù)、打包而得的媒體數(shù)據(jù)(樣本數(shù)據(jù))、打包而得的MF元數(shù)據(jù)按照此順序進(jìn)行接收。在此，MPU元數(shù)據(jù)為第一元數(shù)據(jù)的一例，MF元數(shù)據(jù)為第二元數(shù)據(jù)的一例。
[0261]接著，接收裝置重構(gòu)包含所接收的MPU元數(shù)據(jù)、所接收的MF元數(shù)據(jù)以及所接收的樣本數(shù)據(jù)的MPU數(shù)據(jù)(MP4格式的文件)。并且，利用MPU元數(shù)據(jù)以及MF元數(shù)據(jù)對(duì)重構(gòu)的MPU數(shù)據(jù)所包含的樣本數(shù)據(jù)進(jìn)行解碼。MF元數(shù)據(jù)是包含在發(fā)送側(cè)僅能在樣本數(shù)據(jù)生成后生成的數(shù)據(jù)(例如，在mbox中保存的I ength)的元數(shù)據(jù)。
[0262]另外，更詳細(xì)而言，上述接收裝置的動(dòng)作通過(guò)構(gòu)成接收裝置的各構(gòu)成要素進(jìn)行。例如，接收裝置具備進(jìn)行上述數(shù)據(jù)的接收的接收部、進(jìn)行上述MPU數(shù)據(jù)的重構(gòu)的重構(gòu)部、以及進(jìn)行上述MPU數(shù)據(jù)的解碼的解碼部。另外，接收部、生成部以及解碼部分別通過(guò)微型計(jì)算機(jī)、處理器、專(zhuān)用電路等來(lái)實(shí)現(xiàn)。
[0263][不利用頭信息地進(jìn)行解碼的方法]
[0264]接著，說(shuō)明不利用頭信息地進(jìn)行解碼的方法。在此，說(shuō)明與在發(fā)送側(cè)是否發(fā)送頭信息無(wú)關(guān)地，在接收裝置不利用頭信息地進(jìn)行解碼的方法。也就是說(shuō)，該方法在利用參照?qǐng)D21說(shuō)明的任一發(fā)送方法時(shí)都能夠適用。但是，一部分的解碼方法為僅能適用于特定的發(fā)送方法時(shí)的解碼方法。
[0265]圖22為表示不利用頭信息地進(jìn)行解碼的方法的例子的圖。在圖22中，只圖示出了只包含有媒體數(shù)據(jù)的MMT有效載荷以及MMT包，而未圖示出包含有MPU元數(shù)據(jù)或MF元數(shù)據(jù)的麗T有效載荷以及麗T包。此外，在以下的圖22的說(shuō)明中，設(shè)連續(xù)傳送屬于相同的MPU的媒體數(shù)據(jù)。此外，以在有效載荷中保存有樣本作為媒體數(shù)據(jù)的情況為例進(jìn)行說(shuō)明，但在以下的圖22的說(shuō)明中，當(dāng)然既可以保存有NAL單元，也可以保存有被分片的NAL單元。
[0266]為了解碼媒體數(shù)據(jù)，接收裝置首先必須取得解碼所需的初始化信息。此外，若媒體為視頻，則接收裝置必須取得每個(gè)樣本的初始化信息，確定隨機(jī)訪問(wèn)單位即MHJ的開(kāi)始位置，取得樣本以及NAL單元的開(kāi)始位置。此外，接收裝置需要分別確定樣本的解碼時(shí)刻(DTS)、提示時(shí)刻(PTS)。
[0267]于是，接收裝置能夠例如利用下記的方法，不利用頭信息地進(jìn)行解碼。另外，在有效載荷中保存NAL單元單位或?qū)AL單元分片而成的單位時(shí)，在下記說(shuō)明中將“樣本”替換為“樣本的NAL單元”即可。
[0268]〈隨機(jī)訪問(wèn)(=特定MPU的開(kāi)頭樣本)>
[0269]在不發(fā)送頭信息時(shí)，接收裝置為了確定MPU的開(kāi)頭樣本，有下記方法I與方法2。另夕卜，在發(fā)送頭信息時(shí)，能夠利用方法3。
[0270][方法I]接收裝置在MMT包頭中取得‘ RAP_f lag = I，的MMT包所包含的樣本。
[0271][方法2]接收裝置在MMT有效載荷頭中取得‘samplenumber = 0’的樣本。
[0272][方法3]在媒體數(shù)據(jù)之前以及之后中的至少任意一方發(fā)送了MPU元數(shù)據(jù)以及MF元數(shù)據(jù)的至少任意一方時(shí)，接收裝置取得MMT有效載荷頭中的分片類(lèi)型(FT)已向媒體數(shù)據(jù)切換的MMT有效載荷所包含的樣本。
[0273]另外，在方法I以及方法2中，若在I個(gè)有效載荷中混有屬于不同的MPU的多個(gè)樣本，則無(wú)法判定哪一 NAL單元為隨機(jī)訪問(wèn)點(diǎn)(RAP_f lag= I或samp I e number (樣本號(hào))=O)。因此，需要限制為在I個(gè)有效載荷中不使不同的MPU的樣本混雜存在，或者在I個(gè)有效載荷中不同的MPU的樣本混雜存在時(shí)，限制為在最后(或最初)的樣本為隨機(jī)訪問(wèn)點(diǎn)時(shí)設(shè)RAP_f lag為I等。
[0274]此外，為了由接收裝置取得NAL單元的開(kāi)始位置，需要從樣本的開(kāi)頭NAL單元起順次使數(shù)據(jù)的讀出指針移位NAL單元的尺寸量。
[°275] 在數(shù)據(jù)被分片的情況下，接收裝置通過(guò)參照f(shuō)ragment_indicator或fragment—number，會(huì)泛句多石角定data unit。
[0276]<樣本的DTS的決定>
[0277]樣本的DTS的決定方法有下記方法I與方法2。
[0278][方法I]接收裝置基于預(yù)測(cè)結(jié)構(gòu)決定開(kāi)頭樣本的DTS。但是，由于該方法需要進(jìn)行編碼數(shù)據(jù)的解析，存在難以實(shí)時(shí)解碼的可能性，因此優(yōu)選以下的方法2。
[0279][方法2]另行發(fā)送開(kāi)頭樣本的DTS，接收裝置取得被發(fā)送的開(kāi)頭樣本的DTS。開(kāi)頭樣本的DTS的發(fā)送方法例如有利用麗T-SI發(fā)送MPU開(kāi)頭樣本的DTS的方法或利用MMT包頭擴(kuò)展區(qū)域發(fā)送每個(gè)樣本的DTS的方法等。另外，DTS既可以為絕對(duì)值，也可以為相對(duì)于PTS的相對(duì)值。此外，也可以在發(fā)送側(cè)作為信令發(fā)送是否包含有開(kāi)頭樣本的DTS。
[0280]另外，無(wú)論是方法I還是方法2，以后的樣本的DTS作為固定幀速率來(lái)算出。
[0281]作為將每個(gè)樣本的DTS保存到包頭中的方法，除了利用擴(kuò)展區(qū)域以外，有將該MMT包所包含的樣本的DTS保存到MMT包頭中的32bit的NTP時(shí)間戳字段中的方法。在不能以I個(gè)包頭的比特?cái)?shù)(32bit)表現(xiàn)DTS時(shí)，也可以利用多個(gè)包頭來(lái)表現(xiàn)DTS，此外也可以組合包頭的NTP時(shí)間戳字段與擴(kuò)展區(qū)域來(lái)表現(xiàn)DTS。在不包含DTS信息時(shí)，視為已知的值(例如ALLO)。
[0282]<樣本的PTS的決定>
[0283]接收裝置從MPU所包含的每個(gè)資源的MPU時(shí)間戳描述符中取得開(kāi)頭樣本的PTS。接收裝置針對(duì)以后的樣本PTS，作為固定幀速率，通過(guò)POC等表示樣本的顯示順序的參數(shù)等算出。如此地，為了不利用頭信息地算出DTS以及PTS，必須基于固定幀速率進(jìn)行發(fā)送。
[0284]此外，在發(fā)送了MF元數(shù)據(jù)的情況下，接收裝置能夠根據(jù)相對(duì)于MF元數(shù)據(jù)所示的開(kāi)頭樣本的DTS或PTS的相對(duì)時(shí)刻信息、以及MPU時(shí)間戳描述符所示的MPU開(kāi)頭樣本的時(shí)間戳的絕對(duì)值，算出DTS以及PTS的絕對(duì)值。
[0285]另外，在通過(guò)編碼數(shù)據(jù)解析算出DTS以及PTS時(shí)，接收裝置也可以利用訪問(wèn)單元所包含的SEI信息來(lái)算出。
[0286]<初始化信息(參數(shù)集)>
[0287][視頻的情況]
[0288]在視頻的情況下，參數(shù)集被保存到樣本數(shù)據(jù)中。此外，在未發(fā)送MPU元數(shù)據(jù)以及MF元數(shù)據(jù)時(shí)，保證只通過(guò)參照樣本數(shù)據(jù)便能取得解碼所需的參數(shù)集。
[0289]此外，如圖21的(a)以及(d)，在先于媒體數(shù)據(jù)發(fā)送MPU元數(shù)據(jù)時(shí)，也可以規(guī)定為在SampleEntry中不保存參數(shù)集。該情況下，接收裝置不參考SampleEntry的參數(shù)集而只參考樣本內(nèi)的參數(shù)集。
[0290]此外，在先于媒體數(shù)據(jù)發(fā)送MPU元數(shù)據(jù)時(shí)，也可以在SampleEntry中保存有針對(duì)MPU共通的參數(shù)集或默認(rèn)的參數(shù)集，接收裝置參考SampleEntry的參數(shù)集以及樣本內(nèi)的參數(shù)集。通過(guò)將參數(shù)集保存到在SampleEntry中，若在SampleEntry中不存在參數(shù)集則無(wú)法再現(xiàn)的以往的接收裝置也能夠進(jìn)行解碼。
[0291][音頻的情況]
[0292]在音頻的情況下，解碼需要LATM頭，在MP4中，必須在樣本入口(Sample Entry)包含有LATM頭。但是，在未發(fā)送頭信息時(shí)，接收裝置難以取得LATM頭，因此另行在SI等控制信息中包含有LATM頭。另外，LATM頭也可以被包含到消息、表或描述符中。另外，有時(shí)LATM頭也被包含到樣本內(nèi)。
[0293]接收裝置在解碼開(kāi)始前從SI等中取得LATM頭，開(kāi)始音頻的解碼?；蛘?，如圖21的(a)以及圖21的(d)所示，在先于媒體數(shù)據(jù)發(fā)送MPU元數(shù)據(jù)時(shí)，接收裝置能夠先于媒體數(shù)據(jù)接收LATM頭。因此，在先于媒體數(shù)據(jù)發(fā)送MPU元數(shù)據(jù)時(shí)，利用以往的接收裝置也能夠進(jìn)行解碼。
[0294]< 其他 >
[0295]發(fā)送順序或發(fā)送順序的類(lèi)型也可以作為MMT包頭或有效載荷頭、或者M(jìn)PT或其他表、消息、描述符等的控制信息來(lái)進(jìn)行通知。另外，在此的發(fā)送順序的類(lèi)型例如是圖21的(a)?(d)的4個(gè)類(lèi)型的發(fā)送順序，用于識(shí)別各個(gè)類(lèi)型的識(shí)別符被保存到在解碼開(kāi)始前能取得的位置即可。
[0296]此外，發(fā)送順序的類(lèi)型既可以在音頻與視頻中利用不同的類(lèi)型，也可以在音頻與視頻中利用共通的類(lèi)型。具體而言，例如也可以是，音頻如圖21的(a)所示按照MPU元數(shù)據(jù)、MF元數(shù)據(jù)、媒體數(shù)據(jù)的次序發(fā)送，視頻如圖21的⑷所示按照MPU元數(shù)據(jù)、媒體數(shù)據(jù)、MF元數(shù)據(jù)的次序發(fā)送。
[0297]通過(guò)如上述的方法，接收裝置能夠不利用頭信息地進(jìn)行解碼。此外，在先于媒體數(shù)據(jù)發(fā)送MHJ元數(shù)據(jù)(圖21的(a)以及圖21的(d))時(shí)，即使以往的接收裝置也能夠進(jìn)行解碼。
[0298]尤其，通過(guò)后于媒體數(shù)據(jù)發(fā)送MF元數(shù)據(jù)(圖21的(d))，不產(chǎn)生封裝所致的延遲，并且即使以往的接收裝置也能夠進(jìn)行解碼。
[0299][發(fā)送裝置的構(gòu)成以及動(dòng)作]
[0300]接著，說(shuō)明發(fā)送裝置的構(gòu)成以及動(dòng)作。圖23為實(shí)施方式2所涉及的發(fā)送裝置的框圖，圖24為實(shí)施方式2所涉及的發(fā)送方法的流程圖。
[0301]如圖23所示，發(fā)送裝置15具備編碼部16、復(fù)用部17以及發(fā)送部18。
[0302]編碼部16通過(guò)將編碼對(duì)象的視頻或音頻例如按照H.265進(jìn)行編碼來(lái)生成編碼數(shù)據(jù)(SlO)0
[0303]復(fù)用部17對(duì)由編碼部16生成的編碼數(shù)據(jù)進(jìn)行復(fù)用(打包)(S11)。具體而言，復(fù)用部17對(duì)構(gòu)成MP4格式的文件的、樣本數(shù)據(jù)、MPU元數(shù)據(jù)以及MF元數(shù)據(jù)分別進(jìn)行打包。樣本數(shù)據(jù)為對(duì)影像信號(hào)或聲音信號(hào)進(jìn)行編碼而得的數(shù)據(jù)，MPU元數(shù)據(jù)為第一元數(shù)據(jù)的一例，MF元數(shù)據(jù)為第二元數(shù)據(jù)的一例。第一元數(shù)據(jù)與第二元數(shù)據(jù)均為用于樣本數(shù)據(jù)的解碼的元數(shù)據(jù)，但其差異在于，第二元數(shù)據(jù)包含僅能在樣本數(shù)據(jù)生成后生成的數(shù)據(jù)。
[0304]在此，僅能在樣本數(shù)據(jù)生成后生成的數(shù)據(jù)例如為在MP4格式的mdat中保存的樣本數(shù)據(jù)以外的數(shù)據(jù)(mdat的頭內(nèi)的數(shù)據(jù)。即圖20所示的type以及l(fā)ength)。在此，在第二元數(shù)據(jù)中，包含有作為該數(shù)據(jù)中的至少一部分的length即可。
[0305]發(fā)送部18發(fā)送打包后的MP4格式的文件(S12)。發(fā)送部18例如通過(guò)圖21的(d)所示的方法發(fā)送MP4格式的文件。即、將打包后的MPU元數(shù)據(jù)、打包而得的樣本數(shù)據(jù)、打包而得的MF元數(shù)據(jù)按照此順序進(jìn)行發(fā)送。
[0306]另外，編碼部16、復(fù)用部17以及發(fā)送部18分別通過(guò)微型計(jì)算機(jī)、處理器或?qū)Ｓ秒娐返葋?lái)實(shí)現(xiàn)。
[0307][接收裝置的構(gòu)成]
[0308]接著，說(shuō)明接收裝置的構(gòu)成以及動(dòng)作。圖25為實(shí)施方式2所涉及的接收裝置的框圖。
[0309]如圖25所示，接收裝置20具備包過(guò)濾部21、發(fā)送順序類(lèi)型判別部22、隨機(jī)訪問(wèn)部23、控制信息取得部24、數(shù)據(jù)取得部25、PTS/DTS算出部26、初始化信息取得部27、解碼命令部28、解碼部29以及提示部30。
[0310][接收裝置的動(dòng)作I]
[0311]首先，說(shuō)明在媒體為視頻時(shí)，接收裝置20用于確定MPU開(kāi)頭位置以及NAL單元位置的動(dòng)作。圖26為接收裝置20的這樣的動(dòng)作的流程圖。另外，在此設(shè)MPU數(shù)據(jù)的發(fā)送順序類(lèi)型由發(fā)送裝置15(復(fù)用部17)保存到SI信息中。
[0312]首先，包過(guò)濾部21針對(duì)所接收的文件進(jìn)行包過(guò)濾。發(fā)送順序類(lèi)型判別部22解析經(jīng)包過(guò)濾而得的SI信息，并取得MPU數(shù)據(jù)的發(fā)送順序類(lèi)型(S21)。
[0313]接著，發(fā)送順序類(lèi)型判別部22判定(判別)在包過(guò)濾后的數(shù)據(jù)中是否包含MPU頭信息(MPU元數(shù)據(jù)或MF元數(shù)據(jù)中的至少一方)(S22)。在包含有MPU頭信息時(shí)(S22的“是”)，隨機(jī)訪問(wèn)部23通過(guò)檢測(cè)MMT有效載荷頭的分片類(lèi)型向媒體數(shù)據(jù)切換，確定MPU開(kāi)頭樣本(S23)。
[0314]另一方面，在未包含MPU頭信息(S22的“否”)時(shí)，隨機(jī)訪問(wèn)部23基于MMT包頭的RAP_flag或MMT有效載荷頭的sampIe number(樣本號(hào))指定MPU開(kāi)頭樣本(S24)。
[0315]此外，發(fā)送順序類(lèi)型判別部22判定在進(jìn)行了包過(guò)濾后的數(shù)據(jù)中是否包含MF元數(shù)據(jù)
(S25)。在判定為包含MF元數(shù)據(jù)(S25的“是”)時(shí)，數(shù)據(jù)取得部25基于MF元數(shù)據(jù)所包含的樣本、子樣本的偏移、以及尺寸信息讀出NAL單元，由此取得NAL單元(S26)。另一方面，在判定為不包含MF元數(shù)據(jù)(S25的“否”)時(shí)，數(shù)據(jù)取得部25通過(guò)從樣本的開(kāi)頭NAL單元起順次讀出NAL單元的尺寸的數(shù)據(jù)來(lái)取得NAL單元(S27)。
[0316]另外，接收裝置20在步驟S22中判定為包含有MPU頭信息時(shí)，也可以利用步驟S24的處理而非步驟S23來(lái)確定MPU開(kāi)頭樣本。此外，在判別為包含有MPU頭信息時(shí)，也可以并用步驟S23的處理與步驟S24的處理。
[0317]此外，接收裝置20在步驟S25中判定為包含有MF元數(shù)據(jù)時(shí)，也可以不利用步驟S26的處理而利用步驟S27的處理取得NAL單元。此外，在判定為包含有MF元數(shù)據(jù)時(shí)，也可以并用步驟S23的處理與步驟S24的處理。
[0318]此外，設(shè)想在步驟S25中判定為包含有MF元數(shù)據(jù)、且后于媒體數(shù)據(jù)發(fā)送MF數(shù)據(jù)的情況。該情況下，接收裝置20既可以對(duì)媒體數(shù)據(jù)進(jìn)行緩沖，等待到取得MF元數(shù)據(jù)之后進(jìn)行步驟S26的處理，接收裝置20也可以判定是否不等待MF元數(shù)據(jù)的取得而進(jìn)行步驟S27的處理。
[0319]例如，接收裝置20也可以基于是否保有能夠?qū)γ襟w數(shù)據(jù)進(jìn)行緩沖的緩沖尺寸的緩沖器，判定是否等待MF元數(shù)據(jù)的取得。此外，接收裝置20也可以基于端到端延遲是否變小，判定是否等待MF元數(shù)據(jù)的取得。此外，接收裝置20也可以主要利用步驟S26的處理實(shí)施解碼處理，在發(fā)生丟包等時(shí)的處理模式的情況下利用步驟S27的處理。
[0320]另外，在事先決定了發(fā)送順序類(lèi)型時(shí)，也可以省略步驟S22以及步驟S26，該情況下，接收裝置20也可以考慮緩沖器尺寸或端到端延遲，決定MHJ開(kāi)頭樣本的確定方法以及NAL單元的確定方法。
[0321]另外，在發(fā)送順序類(lèi)型事先已知時(shí)，在接收裝置20中不需要發(fā)送順序類(lèi)型判別部22。
[0322]此外，雖未在上述圖26中說(shuō)明，但解碼命令部28基于由PTS/DTS算出部26算出的PTS以及DTS、由初始化信息取得部27取得的初始化信息，將由數(shù)據(jù)取得部取得的數(shù)據(jù)輸出至解碼部29。解碼部29解碼數(shù)據(jù)，提示部30提示解碼后的數(shù)據(jù)。
[0323][接收裝置的動(dòng)作2]
[0324]接著，說(shuō)明接收裝置20基于發(fā)送順序類(lèi)型取得初始化信息，基于初始化信息對(duì)媒體數(shù)據(jù)進(jìn)行解碼的動(dòng)作。圖27為這樣的動(dòng)作的流程圖。
[0325]首先，包過(guò)濾部21針對(duì)所接收的文件進(jìn)行包過(guò)濾。發(fā)送順序類(lèi)型判別部22解析經(jīng)包過(guò)濾而得的SI信息，取得發(fā)送順序類(lèi)型(S301)。
[0326]接著，發(fā)送順序類(lèi)型判別部22判定是否發(fā)送了MPU元數(shù)據(jù)(S302)。在判定為發(fā)送了MPU元數(shù)據(jù)(S302的“是”)時(shí)，發(fā)送順序類(lèi)型判別部22基于步驟S301的解析的結(jié)果判定MPU元數(shù)據(jù)是否先于媒體數(shù)據(jù)發(fā)送(S303)。在MPU元數(shù)據(jù)先于媒體數(shù)據(jù)發(fā)送(S303的“是”)時(shí)，初始化信息取得部27基于MPU元數(shù)據(jù)所包含的共通的初始化信息、以及樣本數(shù)據(jù)的初始化信息，對(duì)媒體數(shù)據(jù)進(jìn)行解碼(S304)。
[0327]另一方面，在判定為MPU元數(shù)據(jù)后于媒體數(shù)據(jù)發(fā)送(S303的“否”)時(shí)，數(shù)據(jù)取得部25對(duì)媒體數(shù)據(jù)進(jìn)行緩沖直到取得MHJ元數(shù)據(jù)為止(S305)，在取得MPU元數(shù)據(jù)之后實(shí)施步驟S304的處理。
[0328]此外，在步驟S302中判定為未發(fā)送MPU元數(shù)據(jù)(S302的“否”)時(shí)，初始化信息取得部27只基于樣本數(shù)據(jù)的初始化信息對(duì)媒體數(shù)據(jù)進(jìn)行解碼(S306)。
[0329]另外，媒體數(shù)據(jù)的解碼僅在發(fā)送側(cè)基于樣本數(shù)據(jù)的初始化信息時(shí)得以保證的情況下，不進(jìn)行基于步驟S302以及步驟S303的判定的處理，而利用步驟S306的處理。
[0330]此外，接收裝置20也可以在步驟S305之前，進(jìn)行是否對(duì)媒體數(shù)據(jù)進(jìn)行緩沖的判定。該情況下，接收裝置20在判定為對(duì)媒體數(shù)據(jù)進(jìn)行緩沖時(shí)向步驟S305的處理過(guò)渡，在判定為不對(duì)媒體數(shù)據(jù)進(jìn)行緩沖時(shí)向步驟S306的處理過(guò)渡。是否對(duì)媒體數(shù)據(jù)進(jìn)行緩沖的判定，既可以基于接收裝置20的緩沖器尺寸、占有量來(lái)進(jìn)行，例如也可以選擇端到端延遲較小等，考慮端到端延遲來(lái)進(jìn)行判定。
[0331][接收裝置的動(dòng)作3]
[0332]在此，說(shuō)明在后于媒體數(shù)據(jù)發(fā)送MF元數(shù)據(jù)時(shí)(圖21的(C)、以及圖21的(d))的發(fā)送方法或接收方法的細(xì)節(jié)。在以下，以圖21的(d)的情況為例子進(jìn)行說(shuō)明。另外，設(shè)為在發(fā)送中只利用圖21的(d)的方法，而不進(jìn)行發(fā)送順序類(lèi)型的信令。
[0333]如前述，如圖21的(d)所示，按照MPU元數(shù)據(jù)、媒體數(shù)據(jù)、MF元數(shù)據(jù)的順序發(fā)送數(shù)據(jù)時(shí)，能夠進(jìn)行如下2種解碼方法:
[0334](D-1)接收裝置20在取得MPU元數(shù)據(jù)之后，又取得MF元數(shù)據(jù)，隨后對(duì)媒體數(shù)據(jù)進(jìn)行解碼。
[0335](D-2)接收裝置20在取得MHJ元數(shù)據(jù)之后，不利用MF元數(shù)據(jù)地對(duì)媒體數(shù)據(jù)進(jìn)行解碼。
[0336]在此，在D-1中，需要進(jìn)行用于取得MF元數(shù)據(jù)的媒體數(shù)據(jù)的緩沖，但由于能夠利用MPU頭信息進(jìn)行解碼，因此能夠通過(guò)以往的遵循MP4的接收裝置進(jìn)行解碼。此外，在D-2中，不需要進(jìn)行用于取得MF元數(shù)據(jù)的媒體數(shù)據(jù)的緩沖，但由于不能利用MF元數(shù)據(jù)進(jìn)行解碼，因此解碼需要特殊的處理。
[0337]此外，在圖21的(d)的方法中，后于媒體數(shù)據(jù)發(fā)送MF元數(shù)據(jù)，因此具有能夠不發(fā)生封裝所致的延遲，從而降低端到端延遲的優(yōu)點(diǎn)。
[0338]接收裝置20能夠根據(jù)接收裝置20的能力、接收裝置20所提供的服務(wù)品質(zhì)，對(duì)如上2種解碼方法進(jìn)行選擇。
[0339]發(fā)送裝置15必須保證在接收裝置20的解碼動(dòng)作中能夠降低緩沖器的上溢或下溢的產(chǎn)生并進(jìn)行解碼。作為用于規(guī)定在利用D-1的方法進(jìn)行解碼時(shí)的解碼器模型的要素，例如能夠利用下記的參數(shù)。
[0340].用于重構(gòu)MPU的緩沖器尺寸(MPU緩沖器)
[0341 ] 例如，為緩沖器尺寸=最大速率X最大MPU時(shí)間X α，最大速率(rate)意指編碼數(shù)據(jù)的檔次、級(jí)別的上限速率+MPU頭的開(kāi)銷(xiāo)。此外，最大MPU時(shí)間是設(shè)為IMPU = IGOP (視頻)時(shí)的GOP的最大時(shí)長(zhǎng)。
[0342]在此，音頻既可以設(shè)為與上述視頻共通的GOP單位，也可以為其他的單位。α為用于不引起上溢的富余量，既可以與最大速率X最大MPU時(shí)間相乘，也可以相加。在相乘時(shí)，α 2I，在相加時(shí)，α 2 O。
[0343].從向MPU緩沖器輸入數(shù)據(jù)起直到進(jìn)行解碼為止的解碼延遲時(shí)間的上限。(MPEG-TS 的 STD 中的 TSTD_delay)
[0344]例如，在發(fā)送時(shí)，考慮最大MPU時(shí)間以及解碼延遲時(shí)間的上限值，以接收機(jī)的MPU數(shù)據(jù)的取得完成時(shí)刻< DTS的方式設(shè)定DTS。
[0345]此外，發(fā)送裝置15也可以按照利用D-1的方法進(jìn)行解碼時(shí)的解碼器模型，賦予DTS以及PTS。據(jù)此，發(fā)送裝置15也可以在保證利用D-1的方法進(jìn)行解碼的接收裝置進(jìn)行該解碼的同時(shí)，發(fā)送利用D-2的方法進(jìn)行解碼時(shí)所需的輔助信息。
[0346]例如，發(fā)送裝置15通過(guò)作為信令發(fā)送在利用D-2的方法進(jìn)行解碼時(shí)的解碼器緩沖器的預(yù)緩沖時(shí)間，能夠保證利用D-2的方法進(jìn)行解碼的接收裝置的動(dòng)作。
[0347]預(yù)緩沖時(shí)間既可以被包含在消息、表、描述符等SI控制信息中，也可以被包含在MMT包、麗T有效載荷的頭中。此外，也可以覆蓋編碼數(shù)據(jù)內(nèi)的SEI。也可以是，用于利用D-1的方法進(jìn)行解碼的DTS以及PTS保存到MPU時(shí)間戳描述符、SamplleEntry中，用于利用D-2的方法進(jìn)行解碼的DTS以及PTS、或預(yù)緩沖時(shí)間記述在SEI中。
[0348]接收裝置20也可以在該接收裝置20只對(duì)應(yīng)于利用MPU頭的遵循MP4的解碼動(dòng)作時(shí)選擇解碼方法D-1，在對(duì)應(yīng)于D-1以及D-2的雙方時(shí)選擇任意一方。
[0349]發(fā)送裝置15也可以按照能夠保證一方(在本說(shuō)明中為D-1)的解碼動(dòng)作的方式賦予DTS以及PTS，再發(fā)送用于輔助一方的解碼動(dòng)作的輔助信息。
[0350]此外，比較利用D-2的方法的情況與利用D-1的方法的情況，由于起因于MF元數(shù)據(jù)的預(yù)緩沖的延遲，端到端延遲變大的可能性高。因此，接收裝置20在希望減小端到端延遲時(shí)，也可以選擇D-2的方法進(jìn)行解碼。例如，接收裝置20在總是希望減少端到端延遲時(shí)，也可以總是利用D-2的方法。此外，接收裝置20也可以只在以實(shí)況內(nèi)容、選臺(tái)、切換頻道(zapping)等以低延遲進(jìn)行提示的低延遲提示模式進(jìn)行動(dòng)作時(shí)利用D-2的方法。
[0351 ]圖28為這樣的接收方法的流程圖。
[0352]首先，接收裝置20接收MMT包，取得MPU數(shù)據(jù)(S401)。并且，接收裝置20(發(fā)送順序類(lèi)型判別部22)進(jìn)行是否以低延遲提示模式提示該節(jié)目的判定(S402)。
[0353]在不以低延遲提示模式提示節(jié)目(S402的“否”)時(shí)，接收裝置20(隨機(jī)訪問(wèn)部23以及初始化信息取得部27)利用頭信息取得隨機(jī)訪問(wèn)、初始化信息(S405)。此外，接收裝置20(PTS/DTS算出部26、解碼命令部28、解碼部29、提示部30)基于由發(fā)送側(cè)賦予的PTS、DTS進(jìn)行解碼以及提示處理(S406)。
[0354]另一方面，在以低延遲提示模式提示節(jié)目(S402的“是“)時(shí)，接收裝置20(隨機(jī)訪問(wèn)部23以及初始化信息取得部27)利用不使用頭信息的解碼方法取得隨機(jī)訪問(wèn)、初始化信息(S403)。此外，接收裝置20基于用于不利用由發(fā)送側(cè)賦予的PTS、DTS以及頭信息地進(jìn)行解碼的輔助信息進(jìn)行解碼以及提示處理(S404)。另外，在步驟S403以及步驟S404中，也可以利用MPU元數(shù)據(jù)進(jìn)行處理。
[0355][利用輔助數(shù)據(jù)的收發(fā)方法]
[0356]以上，說(shuō)明了在后于媒體數(shù)據(jù)發(fā)送MF元數(shù)據(jù)(圖21的(C)、以及圖21的(d))時(shí)的收發(fā)動(dòng)作。接著，說(shuō)明通過(guò)發(fā)送裝置15發(fā)送具有MF元數(shù)據(jù)的一部分功能的輔助數(shù)據(jù)，能夠更早開(kāi)始解碼，能夠減少端到端延遲的方法。在此，說(shuō)明基于圖21的(d)所示的發(fā)送方法進(jìn)一步發(fā)送輔助數(shù)據(jù)的例子，但利用輔助數(shù)據(jù)的方法也能夠適用于圖21的(a)?(C)所示的發(fā)送方法。
[0357]圖29的(a)為表示利用圖21的(d)所示的方法發(fā)送的MMT包的圖。即、數(shù)據(jù)按照MPU元數(shù)據(jù)、媒體數(shù)據(jù)、MF元數(shù)據(jù)的順序進(jìn)行發(fā)送。
[0358]在此，樣本#1、樣本#2、樣本#3、樣本#4為媒體數(shù)據(jù)所包含的樣本。另外，在此媒體數(shù)據(jù)以按照樣本單位保存到MMT包中的例子進(jìn)行說(shuō)明，但媒體數(shù)據(jù)既可以按照NAL單元單位保存到MMT包中，也可以按照分割NAL單元而成的單位保存。另外，有時(shí)聚合多個(gè)NAL單元并保存到MMT包中。
[0359]如在前述的D-1中所說(shuō)明地，在圖21的(d)所示的方法時(shí)，即按照MPU元數(shù)據(jù)、媒體數(shù)據(jù)、MF元數(shù)據(jù)的順序發(fā)送數(shù)據(jù)時(shí)，存在取得MPU元數(shù)據(jù)之后，再取得MF元數(shù)據(jù)，隨后對(duì)媒體數(shù)據(jù)進(jìn)行解碼的方法。這樣的D-1的方法中，需要進(jìn)行用于取得MF元數(shù)據(jù)的媒體數(shù)據(jù)的緩沖，但由于利用MPU頭信息進(jìn)行解碼，具有D-1的方法也能夠適用于以往的遵循MP4的接收裝置的優(yōu)點(diǎn)。另一方面，存在接收裝置20必須等待到取得MF元數(shù)據(jù)為止再開(kāi)始解碼的缺點(diǎn)。
[0360]對(duì)此，如圖29的(b)所示，在利用輔助數(shù)據(jù)的方法中，先于MF元數(shù)據(jù)發(fā)送輔助數(shù)據(jù)。
[0361]在MF元數(shù)據(jù)中，包含有表示電影分片所包含的全部的樣本的DTS、PTS、偏移、尺寸的信息。與之相對(duì)，在輔助數(shù)據(jù)中，包含有表示電影分片所包含的樣本中的一部分的樣本的DTS、PTS、偏移、尺寸的信息。
[0362]例如，在MF元數(shù)據(jù)中，包含有所有樣本(樣本#1-樣本#4)的信息，與之相對(duì)，在輔助數(shù)據(jù)中包含有一部分的樣本(樣本#1_#2)的信息。
[0363]在如圖29的(b)所示的情況下，由于能夠通過(guò)利用輔助數(shù)據(jù)進(jìn)行樣本#1以及樣本#2的解碼，因此相對(duì)于D-1的發(fā)送方法，End-to-Ent延遲變小。另外，在輔助數(shù)據(jù)中，無(wú)論如何組合樣本的信息來(lái)包含皆可，也可以反復(fù)發(fā)送輔助數(shù)據(jù)。
[0364]例如，在圖29的(C)中，發(fā)送裝置15若在A的定時(shí)發(fā)送輔助信息，則在輔助信息中包含樣本#1的信息，若在B的定時(shí)發(fā)送輔助信息，則在輔助信息中包含樣本#1以及樣本#2的信息。發(fā)送裝置15若在C的定時(shí)發(fā)送輔助信息，則在輔助信息中包含樣本#1、樣本#2以及樣本#3的信息。
[0365]另外，在MF元數(shù)據(jù)中，包含有樣本#1、樣本#2、樣本#3以及樣本#4的信息(電影分片之中的全部樣本的信息)。
[0366]輔助數(shù)據(jù)未必需要在生成之后立即發(fā)送。
[0367]另外，在MMT包或MMT有效載荷的頭中，指定表示保存有輔助數(shù)據(jù)的類(lèi)型。
[0368]例如，在輔助數(shù)據(jù)利用MPU模式保存在MMT有效載荷中時(shí)，作為fragment_type字段值(例如，F(xiàn)T = 3)，指定表示是輔助數(shù)據(jù)的數(shù)據(jù)類(lèi)型。輔助數(shù)據(jù)既可以為基于moof的構(gòu)成的數(shù)據(jù)，也可以為其他構(gòu)成。
[0369]在輔助數(shù)據(jù)作為控制信號(hào)(描述符、表、消息)保存到MMT有效載荷中時(shí)，指定表示是輔助數(shù)據(jù)的描述符標(biāo)簽、表ID以及消息ID等。
[0370]此外，也可以在MMT包或麗T有效載荷的頭中保存有PTS或DTS。
[0371][輔助數(shù)據(jù)的生成例]
[0372]以下，說(shuō)明發(fā)送裝置基于moof的構(gòu)成生成輔助數(shù)據(jù)的例子。圖30為用于說(shuō)明發(fā)送裝置基于moof的構(gòu)成生成輔助數(shù)據(jù)的例子的圖。
[0373]在通常的MP4中，如圖20所示，針對(duì)電影分片制作moof。在moof中，包含有表示電影分片所包含的樣本的DTS、PTS、偏移、尺寸的信息。
[0374]在此，發(fā)送裝置15只利用構(gòu)成MPU的樣本數(shù)據(jù)中的一部分的樣本數(shù)據(jù)構(gòu)成MP4(MP4文件)，生成輔助數(shù)據(jù)。
[0375]例如，如圖30的(a)所示，發(fā)送裝置15只利用構(gòu)成MPU的樣本#1_#4之中的樣本#1生成MP4，其中，將moof+mdat的頭設(shè)為輔助數(shù)據(jù)。
[0376]接著，如圖30的(b)所示，發(fā)送裝置15利用構(gòu)成MPU的樣本#1_#4之中的樣本#1以及樣本#2生成MP4，其中，將moof+mdat的頭設(shè)為下一輔助數(shù)據(jù)。
[0377]接著，如圖30的(C)所示，發(fā)送裝置15利用構(gòu)成MPU的樣本#1_#4之中的樣本#1、樣本#2以及樣本#3生成MP4，其中，將moof+mdat的頭設(shè)為下一輔助數(shù)據(jù)。
[0378]接著，如圖30的(d)所示，發(fā)送裝置15生成構(gòu)成MPU的樣本#1_#4之中的所有MP4，其中，將moof+mdat的頭設(shè)為電影分片元數(shù)據(jù)。
[0379]另外，在此，發(fā)送裝置15按每個(gè)樣本生成輔助數(shù)據(jù)，但也可以按每N個(gè)樣本生成輔助數(shù)據(jù)。N的值為任意的數(shù)字，例如，在發(fā)送I個(gè)MPU時(shí)發(fā)送M次輔助數(shù)據(jù)的情況下，也可以設(shè)為N=全樣本/M。
[0380]另外，moof中的表示樣本的偏移的信息也可以是在確保后續(xù)的樣本數(shù)的樣本入口區(qū)域?yàn)镹ULL區(qū)域之后的偏移值。
[0381]另外，也可以生成輔助數(shù)據(jù)以成為對(duì)MF元數(shù)據(jù)進(jìn)行分片的構(gòu)成。
[0382][利用輔助數(shù)據(jù)的接收動(dòng)作例]
[0383]說(shuō)明如圖30說(shuō)明那樣生成的輔助數(shù)據(jù)的接收。圖31為用于說(shuō)明輔助數(shù)據(jù)的接收的圖。另外，在圖31的(a)中，設(shè)構(gòu)成MPU的樣本數(shù)為30，按每10個(gè)樣本生成輔助數(shù)據(jù)并發(fā)送。
[0384]在圖30的(a)中，在輔助數(shù)據(jù)#1中包含有樣本#1_#10的樣本信息，在輔助數(shù)據(jù)#2中包含有樣本# I _#20的樣本信息，在MF元數(shù)據(jù)中包含有樣本# 1-#30的樣本信息。
[0385]另外，樣本#1-#10、樣本#11_#20以及樣本#21_#30保存在I個(gè)MMT有效載荷中，但既可以按照樣本單位或NAL單位進(jìn)行保存，也可以按照分片或聚合的單位進(jìn)行保存。
[0386]接收裝置20分別接收MPU元、樣本、MF元以及輔助數(shù)據(jù)的包。
[0387]接收裝置20按照接收順序(向后)連結(jié)樣本數(shù)據(jù)，在接收最新的輔助數(shù)據(jù)之后，更新迄今為止的輔助數(shù)據(jù)。此外，接收裝置20通過(guò)在最后將輔助數(shù)據(jù)置換為MF元數(shù)據(jù)，能夠構(gòu)成完整的MPU。
[0388]接收裝置20在接收到輔助數(shù)據(jù)#1的時(shí)刻，如圖31的(b)的上段那樣地連結(jié)數(shù)據(jù)，構(gòu)成MP4。據(jù)此，接收裝置20能夠利用MPU元數(shù)據(jù)以及輔助數(shù)據(jù)#1的信息分析樣本#1-#10，能夠基于輔助數(shù)據(jù)所包含的PTS、DTS、偏移以及尺寸的信息進(jìn)行解碼。
[0389]此外，接收裝置20在接收到輔助數(shù)據(jù)#2的時(shí)刻，如圖31的(b)的中段那樣地連結(jié)數(shù)據(jù)，構(gòu)成MP4。據(jù)此，接收裝置20能夠利用MHJ元數(shù)據(jù)以及輔助數(shù)據(jù)#2的信息分析樣本#1-#20，能夠基于輔助數(shù)據(jù)所包含的PTS、DTS、偏移、尺寸的信息進(jìn)行解碼。
[0390]此外，接收裝置20在接收到MF元數(shù)據(jù)的時(shí)刻，如圖31的(b)的下段那樣地連結(jié)數(shù)據(jù)，構(gòu)成MP4。據(jù)此，接收裝置20能夠利用MPU元數(shù)據(jù)以及MF元數(shù)據(jù)分析樣本#1-#30，能夠基于MF元數(shù)據(jù)所包含的PTS、DTS、偏移以及尺寸的信息進(jìn)行解碼。
[0391]在沒(méi)有輔助數(shù)據(jù)時(shí)，接收裝置20在接收到MF元數(shù)據(jù)后才能夠開(kāi)始取得樣本的信息，因此需要在接收到MF元數(shù)據(jù)后開(kāi)始解碼。可是，通過(guò)發(fā)送裝置15生成輔助數(shù)據(jù)并發(fā)送，接收裝置20能夠不等待MF元數(shù)據(jù)的接收而利用輔助數(shù)據(jù)取得樣本的信息，因此能夠使解碼開(kāi)始時(shí)間提前。再有，通過(guò)發(fā)送裝置15生成利用圖30說(shuō)明的基于moof的輔助數(shù)據(jù)，接收裝置20能夠直接利用以往的MP4的分析器(parser)進(jìn)行分析。
[0392]此外，新生成的輔助數(shù)據(jù)或MF元數(shù)據(jù)包含與過(guò)去發(fā)送的輔助數(shù)據(jù)重復(fù)的樣本的信息。因此，即使在因丟包等而不能取得過(guò)去的輔助數(shù)據(jù)時(shí)，通過(guò)利用新取得的輔助數(shù)據(jù)或MF元數(shù)據(jù)，也能夠重構(gòu)MP4，取得樣本的信息(PTS、DTS、尺寸以及偏移)。
[0393]另外，輔助數(shù)據(jù)不一定需要包括過(guò)去的樣本數(shù)據(jù)的信息。例如也可以是，輔助數(shù)據(jù)#1與樣本數(shù)據(jù)對(duì)應(yīng)，輔助數(shù)據(jù)#2與樣本數(shù)據(jù)#11-#20對(duì)應(yīng)。例如，也可以如圖31的(C)所示，發(fā)送裝置15將完整的MF元數(shù)據(jù)作為data unit，將對(duì)data unit分片而成的單位作為輔助數(shù)據(jù)順次發(fā)送。
[0394]此外，發(fā)送裝置15為了應(yīng)對(duì)丟包，既可以反復(fù)傳送輔助數(shù)據(jù)，也可以反復(fù)傳送MF元數(shù)據(jù)。
[0395]另外，在保存有輔助數(shù)據(jù)的麗T包以及麗T有效載荷中，與MPU元數(shù)據(jù)、MF元數(shù)據(jù)以及樣本數(shù)據(jù)同樣地，包含有MHJ序列號(hào)以及資源ID。
[0396]利用圖32的流程圖說(shuō)明利用如以上那樣的輔助數(shù)據(jù)的接收動(dòng)作。圖32為利用輔助數(shù)據(jù)的接收動(dòng)作的流程圖。
[0397]首先，接收裝置20接收MMT包，解析包頭或有效載荷頭(S501)。接著，接收裝置20解析分片類(lèi)型是輔助數(shù)據(jù)還是MF元數(shù)據(jù)(S502)，若分片類(lèi)型為輔助數(shù)據(jù)，則覆蓋過(guò)去的輔助數(shù)據(jù)進(jìn)行更新(S503)。此時(shí)，若沒(méi)有同一 MPU的過(guò)去的輔助數(shù)據(jù)，則接收裝置20直接將所接收的輔助數(shù)據(jù)設(shè)為新的輔助數(shù)據(jù)。并且，接收裝置20基于MPU元數(shù)據(jù)、輔助數(shù)據(jù)以及樣本數(shù)據(jù)，取得樣本，進(jìn)行解碼(S507)。
[0398]另一方面，若分片類(lèi)型為MF元數(shù)據(jù)，則接收裝置20在步驟S505中，用MF元數(shù)據(jù)覆蓋過(guò)去的輔助數(shù)據(jù)(S505)。并且，接收裝置20基于MPU元數(shù)據(jù)、MF元數(shù)據(jù)以及樣本數(shù)據(jù)，以完整的MPU的形式取得樣本，進(jìn)行解碼(S506)。
[0399]另外，雖在圖32未圖示，但在步驟S502中，接收裝置20在分片類(lèi)型為MPU元數(shù)據(jù)時(shí)，將數(shù)據(jù)保存到緩沖器中，在為樣本數(shù)據(jù)時(shí)，將按每個(gè)樣本向后連結(jié)而成的數(shù)據(jù)保存到緩沖器中。
[0400]在因丟包而不能取得輔助數(shù)據(jù)時(shí)，接收裝置20通過(guò)用最新的輔助數(shù)據(jù)進(jìn)行覆蓋，或者利用過(guò)去的輔助數(shù)據(jù)，能夠?qū)颖具M(jìn)行解碼。
[0401]另外，輔助數(shù)據(jù)的送出周期以及送出次數(shù)也可以為事先決定的值。送出周期或次數(shù)(計(jì)數(shù)、倒計(jì)數(shù))的信息也可以與數(shù)據(jù)一起發(fā)送。例如，在data un it頭中，也可以保存有送出周期、送出次數(shù)以及initial_cpb_removal_delay等的時(shí)間戳。
通過(guò)將包含MPU的最初的樣本的信息的輔助數(shù)據(jù)先于initial_cpb_removal_delay發(fā)送I次以上，能夠符合CPB緩沖器模型。此時(shí)，在MPU時(shí)間戳描述符中，保存基于picture timing(圖片定時(shí))SEI的值。
[0403]另外，使用這樣的輔助數(shù)據(jù)的接收動(dòng)作的傳送方式不限于MMT方式，能夠適用于MPEG-DASH等將由IS0BMFF文件格式構(gòu)成的包進(jìn)行流傳送的情況等。
[0404][由多個(gè)電影分片構(gòu)成I個(gè)MPU時(shí)的發(fā)送方法]
[0405]在上述圖19以后的說(shuō)明中，由I個(gè)電影分片構(gòu)成I個(gè)MPU，而在此，說(shuō)明由多個(gè)電影分片構(gòu)成I個(gè)MHJ的情況。圖33為表示由多個(gè)電影分片構(gòu)成的MPU的構(gòu)成的圖。
[0406]在圖33中，在I個(gè)MPU中保存的樣本(#1_#6)分成2個(gè)電影分片地進(jìn)行保存。第I電影分片基于樣本#1_#3生成，生成所對(duì)應(yīng)的moof框。第2電影分片基于樣本#4-#6生成，生成所對(duì)應(yīng)的moof框。
[0407]第I電影分片中的moof框以及mdat框的頭作為電影分片元數(shù)據(jù)#1保存到MMT有效載荷以及MMT包中。另一方面，第2電影分片中的moof框以及mdat框的頭作為電影分片元數(shù)據(jù)#2保存到麗T有效載荷以及MMT包中。另外，在圖33中，對(duì)保存有電影分片元數(shù)據(jù)的MMT有效載荷施以陰影。
[0408]另外，構(gòu)成MPU的樣本數(shù)或者構(gòu)成電影分片的樣本數(shù)任意。例如，也可以將構(gòu)成MPU的樣本數(shù)設(shè)為GOP單位的樣本數(shù)，且將GOP單位的二分之一的樣本數(shù)作為電影分片，來(lái)構(gòu)成2個(gè)電影分片。
[0409]另外，在此表示以在I個(gè)MPU中包含2個(gè)電影分片(moof框以及mdat框)的例子，但I(xiàn)個(gè)MPU所包含的電影分片也可以不是2個(gè)，而為3個(gè)以上。此外，保存在電影分片中的樣本也可以并非等分的樣本數(shù)，而分割成任意的樣本數(shù)。
[0410]另外，在圖33中，將MPU元數(shù)據(jù)單位以及MF元數(shù)據(jù)單位分別作為dataunit保存到MMT有效載荷中。可是，發(fā)送裝置15既可以將代7口、11111^111、11100￥以及1]100；1；'等的單位作為(^七3unit，按照data unit單位保存到MMT有效載荷中，也可以按照對(duì)data unit分片而成的單位保存到MMT有效載荷中。此外，發(fā)送裝置15也可以按照聚合data unit而成的單位保存到MMT有效載荷中。
[0411]此外，在圖33中，樣本按照樣本單位保存在MMT有效載荷中。可是，發(fā)送裝置15也可以不是按照樣本單位，而是按照NAL單元單位或合并多個(gè)NAL單元而成的單位構(gòu)成dataunit，按照data unit單位保存到MMT有效載荷中。此外，發(fā)送裝置15既可以按照對(duì)dataunit分片而成的單位保存到MMT有效載荷中，也可以按照聚合data unit而成的單位保存到MMT有效載荷中。
[0412]另外，在圖33中，按照moof#1、111(1&七#1、1]100€#2、1110^#2的順序構(gòu)成]\0:)1]，針對(duì)1]100；1!.#I，作為其后附有對(duì)應(yīng)的mdat#l而被賦予<^€861:。但是，也可以作為111(^丨#1附于比1]10(^#1更前而賦予off set。但是，該情況下，不能以moof+mdat的形式生成電影分片元數(shù)據(jù)，moof以及mdat的頭分別分開(kāi)進(jìn)行傳送。
[0413]接著，說(shuō)明傳送在圖33中說(shuō)明的構(gòu)成的MPU時(shí)的麗T包的發(fā)送順序。圖34為用于說(shuō)明MMT包的發(fā)送順序的圖。
[0414]圖34的(a)表示按照?qǐng)D33所示的MPU的構(gòu)成順序發(fā)送MMT包時(shí)的發(fā)送順序。圖34的(a)具體而言，表示按照MPU元、MF元#1、媒體數(shù)據(jù)#1(樣本#1-#3)、MF元#2、媒體數(shù)據(jù)#2(樣本#4-#6)的順序進(jìn)行發(fā)送的例子。
[0415]圖34的(b)表示按照MPU元、媒體數(shù)據(jù)#I(樣本#1-#3)、MF元#1、媒體數(shù)據(jù)#2 (樣本#4-#6)、MF元#2的順序進(jìn)行發(fā)送的例子。
[0416]圖34的(c)表示按照媒體數(shù)據(jù)#I (樣本#1-#3)、MPU元、MF元#1、媒體數(shù)據(jù)#2 (樣本#4-#6)、MF元#2的順序進(jìn)行發(fā)送的例子。
[0417]MF元#1利用樣本#1-#3來(lái)生成，MF元#2利用樣本#4-#6來(lái)生成。因此，在利用圖34的(a)的發(fā)送方法時(shí)，在樣本數(shù)據(jù)的發(fā)送中會(huì)產(chǎn)生封裝所致的延遲。
[0418]與之相對(duì)，在利用圖34的(b)以及圖34的(C)的發(fā)送方法時(shí)，由于能夠不等待生成MF元而發(fā)送樣本，因此能夠不產(chǎn)生封裝所致的延遲，而降低端到端延遲。
[0419]此外，在圖34的(a)的發(fā)送順序中，由于將I個(gè)MPU分割成多個(gè)電影分片，保存在MF元的樣本數(shù)相對(duì)于圖19的情況變少，因此與圖19的情況相比能夠減小封裝所致的延遲量。
[0420]另外，除了在此所示的方法以外，例如也可以是，發(fā)送裝置15連結(jié)MF元#1以及MF元#2，在MPU的最后匯總進(jìn)行發(fā)送。該情況下，也可以聚合不同的電影分片的MF元，并保存到I個(gè)MMT有效載荷中。此外，也可以匯總不同的MPU的MF元來(lái)聚合并保存到MMT有效載荷中。[0421 ][由多個(gè)電影分片構(gòu)成I個(gè)MPU時(shí)的接收方法]
[0422]在此，說(shuō)明接收按照?qǐng)D34的(b)說(shuō)明的發(fā)送順序發(fā)送的MMT包并進(jìn)行解碼的接收裝置20的動(dòng)作例。圖35以及圖36為用于說(shuō)明這樣的動(dòng)作例的圖。
[0423]接收裝置20分別接收按照?qǐng)D35所示的發(fā)送順序發(fā)送的包含MPU元、樣本以及MF元的MMT包。樣本數(shù)據(jù)按照接收順序被連結(jié)。
[0424]接收裝置20在接收到MF元#1的時(shí)刻即Tl，如圖36的(I)所示連結(jié)數(shù)據(jù)，構(gòu)成MP4。據(jù)此，接收裝置20能夠基于MPU元數(shù)據(jù)以及MF元#1的信息取得樣本#1-#3，能夠基于MF元所包含的PTS、DTS、偏移以及尺寸的信息進(jìn)行解碼。
[0425]此外，接收裝置20在接收到MF元#2的時(shí)刻即T2，如圖36的(2)所示連結(jié)數(shù)據(jù)，構(gòu)成MP4。據(jù)此，接收裝置20能夠基于MPU元數(shù)據(jù)以及MF元#2的信息取得樣本#4-#6，能夠基于MF元的PTS、DTS、偏移以及尺寸的信息進(jìn)行解碼。此外，接收裝置20也可以如圖36的(3)所示連結(jié)數(shù)據(jù)，構(gòu)成MP4，由此基于MF元#1以及MF元#2的信息取得樣本#1-#6。
[0426]通過(guò)將I個(gè)MPU分割成多個(gè)電影分片，縮短了直到取得MPU之中最初的MF元為止的時(shí)間，因此能夠?qū)⒔獯a開(kāi)始時(shí)間提前。此外，能夠減少用于蓄積解碼前的樣本的緩沖器尺寸。
[0427]另外，發(fā)送裝置15也可以按照從發(fā)送(或接收)電影分片中的最初的樣本起直到發(fā)送(或接收)與電影分片對(duì)應(yīng)的M F元為止的時(shí)間短于由編碼器指定的i n i t i a I _ c P b _removal_de lay的時(shí)間的方式，設(shè)定電影分片的分割單位。通過(guò)如此地設(shè)定，接收緩沖器能夠符合cpb緩沖器，能夠?qū)崿F(xiàn)低延遲的解碼。該情況下，能夠在PTS以及DTS利用基于ini t ia l_cpb_r emo va l_de lay 的絕對(duì)時(shí)刻。
[0428]此外，發(fā)送裝置15也可以等間隔地進(jìn)行電影分片的分割，或者按照短于之前的電影分片的間隔來(lái)分割后續(xù)的電影分片。據(jù)此，接收裝置20必定能夠在樣本解碼前接收到包含該樣本的信息的MF元，能夠進(jìn)行連續(xù)的解碼。
[0429 ] PTS以及DTS的絕對(duì)時(shí)刻的算出方法能夠利用如下記2種方法。
[0430](I)PTS以及DTS的絕對(duì)時(shí)刻基于MF元#1或MF元#2的接收時(shí)刻(Tl或T2)、以及MF元所包含的PTS以及DTS的相對(duì)時(shí)刻來(lái)決定。
[0431](2)PTS以及DTS的絕對(duì)時(shí)刻基于MPU時(shí)間戳描述符等從發(fā)送側(cè)作為信令發(fā)送的絕對(duì)時(shí)刻、以及MF元所包含的PTS以及DTS的相對(duì)時(shí)刻來(lái)決定。
[0432]此外，
[0433](2-A)發(fā)送裝置15作為信令發(fā)送的絕對(duì)時(shí)刻也可以為基于由編碼器指定的initial_cpb_removal_delay算出的絕對(duì)時(shí)刻。
[0434](2-B)發(fā)送裝置15作為信令發(fā)送的絕對(duì)時(shí)刻也可以為基于MF元的接收時(shí)刻的預(yù)測(cè)值算出的絕對(duì)時(shí)刻。
[0435]另外，也可以反復(fù)傳送MF元#1以及MF元#2。通過(guò)反復(fù)傳送MF元#1以及MF元#2，接收裝置20即使在因丟包等而不能取得MF元時(shí)也能夠再一次取得。
[0436]能夠在包含構(gòu)成電影分片的樣本的MFU的有效載荷頭中保存表示電影分片的次序的識(shí)別符。另一方面，表示構(gòu)成電影分片的MF元的次序的識(shí)別符不被包含到MMT有效載荷中。因此，接收裝置20通過(guò)packe t_sequence_number識(shí)別MF元的次序?；蛘?，發(fā)送裝置15也可以將表示MF元屬于第幾個(gè)電影分片的識(shí)別符保存到控制信息(消息、表、描述符)、MMT頭、MMT有效載荷頭、或data unit頭中作為信令發(fā)送。
[0437]另外也可以是，發(fā)送裝置15按照事先決定的規(guī)定發(fā)送順序發(fā)送MPU元、MF元以及樣本，接收裝置20基于事先決定的規(guī)定發(fā)送順序?qū)嵤┙邮仗幚怼４送庖部梢允?，發(fā)送裝置15將發(fā)送順序作為信令發(fā)送，接收裝置20基于信令信息選擇(判斷)接收處理。
[0438]利用圖37說(shuō)明如上述的接收方法。圖37為通過(guò)圖35以及圖36說(shuō)明了的接收方法的動(dòng)作的流程圖。
[0439]首先，接收裝置20根據(jù)MMT有效載荷所示的分片類(lèi)型，判別(識(shí)別)有效載荷所包含的數(shù)據(jù)是MHJ元數(shù)據(jù)、MF元數(shù)據(jù)，還是樣本數(shù)據(jù)(MFU)(S601、S602)。在數(shù)據(jù)為樣本數(shù)據(jù)時(shí)，接收裝置20對(duì)樣本進(jìn)行緩沖，等待進(jìn)行與該樣本對(duì)應(yīng)的MF元數(shù)據(jù)的接收以及開(kāi)始解碼(S603)。
[0440]另一方面，在步驟S602中數(shù)據(jù)為MF元數(shù)據(jù)時(shí)，接收裝置20從MF元數(shù)據(jù)中取得樣本的信息(PTS、DTS、位置信息以及尺寸)，基于所取得的樣本的信息取得樣本，基于PTS以及DTS對(duì)樣本進(jìn)行解碼、提示(S604)。
[0441]另外，雖未圖示，但在數(shù)據(jù)為MPU元數(shù)據(jù)時(shí)，在MPU元數(shù)據(jù)中，含有解碼所需的初始化信息。因此，接收裝置20蓄積該初始化信息，在步驟S604中用于樣本數(shù)據(jù)的解碼。
[0442]另外，接收裝置20在將所接收的MPU的數(shù)據(jù)(MPU元數(shù)據(jù)、MF元數(shù)據(jù)以及樣本數(shù)據(jù))蓄積到蓄積裝置中時(shí)，在重排成圖19或圖33說(shuō)明的MPU的構(gòu)成之后，進(jìn)行蓄積。
[0443]另外，在發(fā)送側(cè)中，在MMT包中，針對(duì)擁有同一包ID的包，賦予包序列號(hào)。此時(shí)，既可以在包含MPU元數(shù)據(jù)、MF元數(shù)據(jù)、樣本數(shù)據(jù)的MMT包按照發(fā)送順序重排之后賦予包序列號(hào)，也可以按照重排前的順序賦予包序列號(hào)。
[0444]在按照重排前的順序賦予包序列號(hào)時(shí)，在接收裝置20中，能夠基于包序列號(hào)，將數(shù)據(jù)重排成MPU的構(gòu)成順序，蓄積變得容易。
[0445][檢測(cè)訪問(wèn)單元的開(kāi)頭以及切片段的開(kāi)頭的方法]
[0446]說(shuō)明基于MMT包頭以及MMT有效載荷頭的信息對(duì)訪問(wèn)單元的開(kāi)頭或切片段的開(kāi)頭進(jìn)行檢測(cè)的方法。
[0447]在此，表示在將非VCL NAL單元(訪問(wèn)單元定界符、VPS、SPS、PPS以及SEI等)匯總地作為data unit保存到MMT有效載荷中的情況，以及將非VCL NAL單元分別作為data unit并聚合data unit來(lái)保存到I個(gè)MMT有效載荷中的情況這2個(gè)例子。
[0448]圖38為表示將非VCLNAL單元個(gè)別地作為data unit并進(jìn)行聚合的情況的圖。
[0449]在圖38的情況下，訪問(wèn)單元的開(kāi)頭是fragment_type值為MFU的麗T包，并且是包含8區(qū)區(qū)代831:;[011_;1^138值為1、且(^€861:值為0的(^七3 unit的MMT有效載荷的開(kāi)頭數(shù)據(jù)。此時(shí)，F(xiàn)ragmentat1n_indicator{|^00
[0450]此外，在圖38的情況下，切片段的開(kāi)頭是fragment_type值為MFU的麗T包，并且是已區(qū)區(qū)代8&1:;[011_;1^138值為0、且;1^^811161^31:;[011_;[11(1;^31:01'值為00或01的匪1'有效載荷的開(kāi)頭數(shù)據(jù)。
[0451 ]圖39為表示將非VCL NAL單元匯總作為data unit的情況的圖。另外，包頭的字段值如圖17(或圖18)所示。
[0452]在圖39的情況下，關(guān)于訪問(wèn)單元的開(kāi)頭，Offset值為O的包中的有效載荷的開(kāi)頭數(shù)據(jù)為訪問(wèn)單元的開(kāi)頭。
[0453]此外，在圖39的情況下，關(guān)于切片段的開(kāi)頭，Offset值為不同于O的值、且Fragmentat1n indicator值為00或01的包的有效載荷的開(kāi)頭數(shù)據(jù)為切片段的開(kāi)頭。
[0454][發(fā)生丟包時(shí)的接收處理]
[0455]通常，在產(chǎn)生丟包的環(huán)境中傳送MP4形式的數(shù)據(jù)時(shí)，接收裝置20通過(guò)ALFEC(Applicat1n Layer FEC:應(yīng)用層FEC)或者包再送控制等復(fù)原包。
[0456]但是，在如廣播那樣的流中不利用AL-FEC時(shí)發(fā)生丟包的情況下，不能復(fù)原包。
[0457]接收裝置20需要在數(shù)據(jù)因丟包而丟失之后使影像或聲音的解碼再次開(kāi)始。為此，接收裝置20需要檢測(cè)訪問(wèn)單元或NAL單元的開(kāi)頭，從訪問(wèn)單元或NAL單元的開(kāi)頭起開(kāi)始進(jìn)行解碼。
[0458]但是，由于在MP4形式的NAL單元的開(kāi)頭未帶有起始碼，因此即使接收裝置20解析流，也不能檢測(cè)訪問(wèn)單元或NAL單元的開(kāi)頭。
[0459]圖40為發(fā)生丟包時(shí)的接收裝置20的動(dòng)作的流程圖。
[0460]接收裝置20通過(guò)MMT包或MMT有效載荷的頭的Packetsequence number(包序列號(hào))、packet counter(包計(jì)數(shù)器)或Fragment counter(分片計(jì)數(shù)器)等檢測(cè)丟包(S701)，根據(jù)前后的關(guān)系，判定哪一包丟失了(S702)。
[0461]接收裝置20在判定為未發(fā)生丟包(S702的“否”)時(shí)，構(gòu)成MP4文件，對(duì)訪問(wèn)單元或NAL單元進(jìn)行解碼(S703)。
[0462]接收裝置20在判定為發(fā)生丟包(S702的“是”)時(shí)，通過(guò)虛擬(dummy)數(shù)據(jù)來(lái)生成與丟包的NAL單元相當(dāng)?shù)腘AL單元，構(gòu)成MP4文件(S704)。接收裝置20若將虛擬數(shù)據(jù)加入NAL單元，則在NAL單元的類(lèi)型中表示為虛擬數(shù)據(jù)。
[0463]此外，接收裝置20通過(guò)基于圖17、圖18、圖38以及圖39說(shuō)明的方法，檢測(cè)下一訪問(wèn)單元或NAL單元的開(kāi)頭，從開(kāi)頭數(shù)據(jù)起輸入至解碼器，能夠再次開(kāi)始解碼(S705)。
[0464]另外，在發(fā)生丟包時(shí)，接收裝置20既可以基于根據(jù)包頭檢測(cè)出的信息從訪問(wèn)單元以及NAL單元的開(kāi)頭起再次開(kāi)始解碼，也可以基于包含虛擬數(shù)據(jù)的NAL單元的、重構(gòu)的MP4文件的頭信息從訪問(wèn)單元以及NAL單元的開(kāi)頭起再次開(kāi)始解碼。
[0465]接收裝置20在蓄積MP4文件(MPU)時(shí)，因丟包而丟失的包數(shù)據(jù)(NAL單元等)也可以通過(guò)廣播或通信另行取得并蓄積(置換)。
[0466]此時(shí)，接收裝置20若通過(guò)通信取得丟失的包，則將丟失的包的信息(包ID、MPU序列號(hào)、包序列號(hào)、IP數(shù)據(jù)流號(hào)以及IP地址等)通知服務(wù)器，并取得該包。接收裝置20也可以不限于丟失的包，而是同時(shí)取得丟失的包前后的包組。
[0467][電影分片的構(gòu)成方法]
[0468]在此，詳細(xì)說(shuō)明電影分片的構(gòu)成方法。
[0469]如通過(guò)圖33所說(shuō)明地，構(gòu)成電影分片的樣本數(shù)以及構(gòu)成I個(gè)MPU的電影分片數(shù)是任意的。例如，構(gòu)成電影分片的樣本數(shù)以及構(gòu)成I個(gè)MPU的電影分片數(shù)既可以被固定地決定為規(guī)定數(shù)，也可以動(dòng)態(tài)地決定。
[0470]在此，通過(guò)在發(fā)送側(cè)(發(fā)送裝置15)以滿足下記條件的方式構(gòu)成電影分片，能夠保證接收裝置20的低延遲的解碼。
[0471 ]該條件如下。
[0472]發(fā)送裝置15以接收裝置20必定能夠先于任意的樣本(Sample(i))的解碼時(shí)刻(DTS
(i))接收包含該樣本的信息的MF元的方式，將分割樣本數(shù)據(jù)而成的單位作為電影分片來(lái)生成并發(fā)送MF元。
[0473]具體而言，發(fā)送裝置15利用先于DTS(i)已完成編碼的樣本(包括第i個(gè)樣本)構(gòu)成電影分片。
[0474]為了保證低延遲的解碼，動(dòng)態(tài)地決定構(gòu)成電影分片的樣本數(shù)或構(gòu)成I個(gè)MPU的電影分片數(shù)的方法，例如利用下記的方法。
[0475](I)在開(kāi)始解碼時(shí)，GOP開(kāi)頭的樣本Sample(O)的解碼時(shí)刻DTS(O)為基于initial_0卩13_代1110￥31_(16137的時(shí)刻。發(fā)送裝置在先于013(0)的時(shí)刻，利用已完成編碼的樣本構(gòu)成第I電影分片。此外，發(fā)送裝置15生成與第I電影分片對(duì)應(yīng)的MF元數(shù)據(jù)，在先于DTS(O)的時(shí)刻進(jìn)行發(fā)送。
[0476](2)發(fā)送裝置15在以后的樣本中也以滿足上述的條件的方式構(gòu)成電影分片。
[0477]例如，在設(shè)電影分片的開(kāi)頭的樣本為第k個(gè)樣本時(shí)，在第k個(gè)樣本的解碼時(shí)刻DTS(k)之前發(fā)送包含第k個(gè)樣本的電影分片的MF元。發(fā)送裝置15在第I個(gè)樣本的編碼完成時(shí)刻先于DTS(k)，且第(1+1)個(gè)樣本的編碼完成時(shí)刻后于DTS(k)時(shí)，利用第k個(gè)樣本到第I個(gè)樣本構(gòu)成電影分片。
[0478]另外，發(fā)送裝置15也可以利用第k個(gè)樣本至不到第I個(gè)樣本構(gòu)成電影分片。
[0479](3)發(fā)送裝置15在MPU最后的樣本的編碼完成后，利用剩余的樣本構(gòu)成電影分片，生成并發(fā)送與該電影分片對(duì)應(yīng)的MF元數(shù)據(jù)。
[0480]另外，發(fā)送裝置15也可以不利用已完成編碼的所有樣本構(gòu)成電影分片，而利用已完成編碼的一部分的樣本構(gòu)成電影分片。
[0481]另外，在上述中，示出了為了保證低延遲的解碼而基于上述條件動(dòng)態(tài)地決定構(gòu)成電影分片的樣本數(shù)以及構(gòu)成I個(gè)MPU的電影分片數(shù)的例子?？墒?，樣本數(shù)以及電影分片數(shù)的決定方法不限于這樣的方法。例如也可以是，構(gòu)成I個(gè)MPU的電影分片數(shù)固定為規(guī)定值，并以滿足上述條件的方式?jīng)Q定樣本數(shù)。此外也可以是，構(gòu)成I個(gè)MPU的電影分片數(shù)以及分割電影分片的時(shí)刻(或電影分片的碼量)固定為規(guī)定值，并以滿足上述條件的方式?jīng)Q定樣本數(shù)。
[0482]此外，在將MPU分割成多個(gè)電影分片的情況下，也可以發(fā)送表示是否將MPU分割成多個(gè)電影分片的信息、分割而得的電影分片的屬性、或與分割而得的電影分片對(duì)應(yīng)的MF元的屬性。
[0483]在此，電影分片的屬性為表示電影分片是MPU的開(kāi)頭的電影分片，還是MPU的最后的電影分片，或是除此之外的電影分片等的信息。
[0484]此外，MF元的屬性為表示MF元是與MPU的開(kāi)頭的電影分片對(duì)應(yīng)的MF元，還是與MPU的最后的電影分片對(duì)應(yīng)的MF元，或是與除此之外的電影分片對(duì)應(yīng)的MF元等的信息。
[0485]另外，發(fā)送裝置15也可以將構(gòu)成電影分片的樣本數(shù)以及構(gòu)成I個(gè)MPU的電影分片數(shù)作為控制信息來(lái)保存并發(fā)送。
[0486][接收裝置的動(dòng)作]
[0487]說(shuō)明基于如上述構(gòu)成的電影分片的接收裝置20的動(dòng)作。
[0488]接收裝置20基于MPU時(shí)間戳描述符等從發(fā)送側(cè)作為信令發(fā)送的絕對(duì)時(shí)刻、以及MF元所包含的PTS以及DTS的相對(duì)時(shí)刻，決定PTS以及DTS各自的絕對(duì)時(shí)刻。
[0489]在基于MPU是否被分割成多個(gè)電影分片的信息而MPU被分割的情況下，接收裝置20基于分割而得的電影分片的屬性，如下記進(jìn)行處理。
[0490](I)接收裝置20在電影分片為MPU的開(kāi)頭的電影分片時(shí)，利用MPU時(shí)間戳描述符所包含的開(kāi)頭樣本的PTS的絕對(duì)時(shí)刻、以及MF元所包含的PTS以及DTS的相對(duì)時(shí)刻，生成PTS以及DTS的絕對(duì)時(shí)刻。
[0491 ] (2)接收裝置20在電影分片并非MPU的開(kāi)頭的電影分片時(shí)，不利用MPU時(shí)間戳描述符的信息，而利用MF元所包含的PTS以及DTS的相對(duì)時(shí)刻，生成PTS以及DTS的絕對(duì)時(shí)刻。
[0492](3)接收裝置20在電影分片為MPU的最后的電影分片時(shí)，在算出所有的樣本的PTS以及DTS的絕對(duì)時(shí)刻之后，復(fù)位PTS以及DTS的計(jì)算處理(相對(duì)時(shí)刻的相加處理)。另外，復(fù)位處理也可以在MPU開(kāi)頭的電影分片中實(shí)施。
[0493]接收裝置20也可以如下記針對(duì)電影分片是否被分割進(jìn)行判定。此外，接收裝置20也可以如下記取得電影分片的屬性信息。
[0494]例如，接收裝置20也可以基于MMTP有效載荷頭所示的表示電影分片的次序的識(shí)別符movie_fragment_sequence_number字段值判定是否被分割。
[0495]具體而言，接收裝置20也可以在I個(gè)MPU所包含的電影分片的數(shù)為I，并且，moVie_fragment_sequence_number字段值為I，并且，該字段值存在2以上的值時(shí)，判定為該MPU被分割成多個(gè)電影分片。
[0496]此外，接收裝置20也可以在I個(gè)MPU所包含的電影分片的數(shù)為I，并且，movie_fragment_sequence_number字段值為O，并且，該字段值存在O以外的值時(shí)，判定為該MPU分割成多個(gè)電影分片。
[0497]電影分片的屬性信息也可以同樣地基于movie_fragment_sequence_number判定。
[0498]另外，也可以不利用movie_freagment_sequence_number，而通過(guò)對(duì)I個(gè)MPU所包含的電影分片或MF元的發(fā)送進(jìn)行計(jì)數(shù)，判定電影分片是否被分割、或者電影分片的屬性信息。
[0499]通過(guò)如以上說(shuō)明的發(fā)送裝置15以及接收裝置20的構(gòu)成，接收裝置20能夠以短于MPU的間隔接收電影分片元數(shù)據(jù)，能夠在低延遲下開(kāi)始解碼。此外，利用基于MP4分析的方法的解碼處理，能夠進(jìn)行低延遲下的解碼。
[0500]利用流程圖說(shuō)明如以上說(shuō)明那樣地將MPU分割成多個(gè)電影分片時(shí)的接收動(dòng)作。圖41為將MPU分割成多個(gè)電影分片時(shí)的接收動(dòng)作的流程圖。另外，該流程圖更為詳細(xì)地圖示出了圖37的步驟S604的動(dòng)作。
[0501 ]首先，接收裝置20基于MMTP有效載荷頭所示的數(shù)據(jù)類(lèi)別，在數(shù)據(jù)類(lèi)別為MF元時(shí)，取得MF元數(shù)據(jù)(S801)。
[0502]接著，接收裝置20判定MPU是否被分割成多個(gè)電影分片(S802)，在MPU分割成多個(gè)電影分片(S802的“是”)時(shí)，判定所接收的MF元數(shù)據(jù)是否是MPU開(kāi)頭的元數(shù)據(jù)(S803)。接收裝置20在所接收的MF元數(shù)據(jù)為MPU開(kāi)頭的MF元數(shù)據(jù)(S803的“是”)時(shí)，通過(guò)MPU時(shí)間戳描述符所示的PTS的絕對(duì)時(shí)刻以及MF元數(shù)據(jù)所示的PTS以及DTS的相對(duì)時(shí)刻算出PTS以及DTS的絕對(duì)時(shí)亥|J(S804)，并判定是否是MPU的最后的元數(shù)據(jù)(S805)。
[0503]另一方面，接收裝置20在所接收的MF元數(shù)據(jù)并非MPU開(kāi)頭的MF元數(shù)據(jù)(S803的“否”)時(shí)，不利用MHJ時(shí)間戳描述符的信息而利用MF元數(shù)據(jù)所示的PTS以及DTS的相對(duì)時(shí)刻算出PTS以及DTS的絕對(duì)時(shí)刻(S808)，過(guò)渡到步驟S805的處理。
[0504]在步驟S805中，在判定為是MPU最后的MF元數(shù)據(jù)(S805的“是”)時(shí)，接收裝置20在算出所有樣本的PTS以及DTS的絕對(duì)時(shí)刻之后，復(fù)位PTS以及DTS的計(jì)算處理。在步驟S805中判定為并非MHJ最后的MF元數(shù)據(jù)(S805的“否”)時(shí)，接收裝置20結(jié)束處理。
[0505]此外，在經(jīng)步驟S802判定為MPU未被分割成多個(gè)電影分片(S802的“否”)時(shí)，接收裝置20基于在MPU之后發(fā)送的MF元數(shù)據(jù)，取得樣本數(shù)據(jù)，決定PTS以及DTS(S807)。
[0506]并且，雖未圖示，但接收裝置20最后基于決定的PTS以及DTS實(shí)施解碼處理、提示處理。
[0507][分割電影分片時(shí)產(chǎn)生的問(wèn)題及其解決策略]
[0508]至此，說(shuō)明了通過(guò)分割電影分片縮短端到端延遲的方法。此后說(shuō)明分割電影分片時(shí)新產(chǎn)生的問(wèn)題及其解決策略。
[0509]首先，作為背景，說(shuō)明編碼數(shù)據(jù)中的圖片結(jié)構(gòu)。圖42為實(shí)現(xiàn)時(shí)間可適性時(shí)的各T emp ο r a 11 d (時(shí)間ID)的圖片的預(yù)測(cè)結(jié)構(gòu)的例子的圖。
[0510]在MPEG-4AVC或HEVC(HighEfficiency Video Coding:高效率視頻解碼)等編碼方式中，通過(guò)利用能夠從其他圖片參照的B圖片(雙向參照預(yù)測(cè)圖片)，能夠?qū)崿F(xiàn)時(shí)間方向的可適性(時(shí)間可適性)。
[0511 ]圖42的(a)所示的Tempora11d為編碼結(jié)構(gòu)的階層的識(shí)別符，Tempora11d的值越變大表示階層越深。四方形的塊表示圖片，塊內(nèi)的Ix表示I圖片(畫(huà)面內(nèi)預(yù)測(cè)圖片)，Px表示P圖片(前方參照預(yù)測(cè)圖片)，Bx以及bx表示B圖片(雙向參照預(yù)測(cè)圖片hlx/Px/Bx中的X示出顯示順序，表現(xiàn)顯示圖片的次序。圖片之間的箭頭表示參照關(guān)系，例如，表示B4的圖片將10、B8作為參照?qǐng)D像生成預(yù)測(cè)圖像。在此，禁止一個(gè)圖片使用具有大于自身的TemporalId的Temporal Id的其他圖片作為參照?qǐng)D像。規(guī)定Ie階層是為了擁有時(shí)間可適性，例如，在圖42中若對(duì)全部圖片進(jìn)行解碼則得到120f ps (f rame per second:幀/秒)的影像，而若只對(duì)Temporal Id為O至3的階層進(jìn)行解碼則得到60fps的影像。
[0512]圖43為表示圖42的各圖片的解碼時(shí)刻(DTS)與顯示時(shí)刻(PTS)的關(guān)系的圖。例如，圖43所示的圖片1在B4的解碼完成后進(jìn)行顯示，以便在解碼以及顯示中不產(chǎn)生間隙。
[0513]如圖43所示，在預(yù)測(cè)結(jié)構(gòu)中包含有B圖片時(shí)等，由于解碼順序與顯示順序不同，需要在接收裝置20中對(duì)圖片進(jìn)行解碼后進(jìn)行圖片的延遲處理以及圖片的重排(重新排序)處理。
[0514]以上，說(shuō)明了時(shí)間方向的可適性下的圖片的預(yù)測(cè)結(jié)構(gòu)的例子，但有時(shí)在不利用時(shí)間方向的可適性時(shí)，也需要通過(guò)預(yù)測(cè)結(jié)構(gòu)進(jìn)行圖片的延遲處理以及重新排序處理。圖44為表示需要圖片的延遲處理以及重新排序處理的圖片的預(yù)測(cè)結(jié)構(gòu)的一例的圖。另外，圖44中的數(shù)字表示解碼順序。
[0515]如圖44所示，根據(jù)預(yù)測(cè)結(jié)構(gòu)，在解碼順序中為開(kāi)頭的樣本與在提示順序中為開(kāi)頭的樣本有時(shí)不同，在圖44中，在提示順序中為開(kāi)頭的樣本在解碼順序中為第4個(gè)樣本。另外，圖44表示預(yù)測(cè)結(jié)構(gòu)的一例，預(yù)測(cè)結(jié)構(gòu)不限于這樣的結(jié)構(gòu)。在其他預(yù)測(cè)結(jié)構(gòu)中，在解碼順序中為開(kāi)頭的樣本與在提示順序中為開(kāi)頭的樣本有時(shí)也不同。
[0516]圖45與圖33同樣地，為表示將以MP4形式構(gòu)成的MPU分割為多個(gè)電影分片，并保存到MMTP有效載荷、MMTP包中的例子的圖。另外，構(gòu)成MPU的樣本數(shù)或者構(gòu)成電影分片的樣本數(shù)是任意的。例如，也可以將構(gòu)成MPU的樣本數(shù)設(shè)為GOP單位的樣本數(shù)，將GOP單位的二分之一的樣本數(shù)作為電影分片，來(lái)構(gòu)成2個(gè)電影分片。既可以將I個(gè)樣本作為I個(gè)電影分片，也可以不分割構(gòu)成MHJ的樣本。
[0517]在圖45中，示出了在I個(gè)MPU中包含有2個(gè)電影分片(moof框以及mdat框)的例子，但I(xiàn)個(gè)MPU所包含的電影分片也可以不為2個(gè)。I個(gè)MPU所包含的電影分片既可以為3個(gè)以上，也可以為MPU所包含的樣本數(shù)。此外，在電影分片中保存的樣本也可以并非等分的樣本數(shù)，而是分割成任意的樣本數(shù)。
[0518]在電影分片元數(shù)據(jù)(MF元數(shù)據(jù))中，包含有電影分片所包含的樣本的PTS、DTS、偏移以及尺寸的信息，接收裝置20在對(duì)樣本進(jìn)行解碼時(shí)，從包含該樣本的信息的MF元中提取PTS以及DTS，決定解碼定時(shí)或提示定時(shí)。
[0519]此后為便于詳細(xì)說(shuō)明，將i樣本的解碼時(shí)刻的絕對(duì)值記載為DTS(i)，將提示時(shí)刻的絕對(duì)值記載為PTS(i)。
[0520]在MF元的moof內(nèi)保存的時(shí)間戳信息之中的第i個(gè)樣本的信息具體而言，為第i個(gè)樣本與第(i + Ι)個(gè)樣本的解碼時(shí)刻的相對(duì)值、以及第i個(gè)樣本的解碼時(shí)刻與提示時(shí)刻的相對(duì)值，以后將這些記載為DT (i)以及CT (i)。
[0521]在電影分片元數(shù)據(jù)#1中，包含有樣本#1-#3的DT(i)以及CT(i)，在電影分片元數(shù)據(jù)#2中，包含有樣本#4-#6的DT( i)以及CT( i)。
[0522]此外，MPU開(kāi)頭的訪問(wèn)單元的PTS絕對(duì)值被保存到MPU時(shí)間戳描述符等中，接收裝置20基于MPU開(kāi)頭的訪問(wèn)單元的PTS_MPU、CT以及DT算出PTS以及DTS。
[0523]圖46為用于說(shuō)明在由#I _# 1的樣本構(gòu)成MPU時(shí)的PT S以及DT S的算出方法以及問(wèn)題的圖。[Ο524]圖46的(a)表不MPU未被分割成電影分片的例子，圖46的(b)表不MPU被分割成5樣本單位的2個(gè)電影分片的例子，圖46的(c)表不MPU被按照樣本單位分割成1個(gè)電影分片的例子。
[0525]如通過(guò)圖45所說(shuō)明地，在利用MPU時(shí)間戳描述符與MP4內(nèi)的時(shí)間戳信息(CT以及DT)算出PTS以及DTS時(shí)，在圖44的提示順序中為開(kāi)頭的樣本在解碼順序中為第4個(gè)。因此，在MPU時(shí)間戳描述符中保存的PTS是在解碼順序中為第4個(gè)的樣本的PTS (絕對(duì)值)。另外，在以后，將該樣本稱(chēng)作“A樣本”。此外，將在解碼順序?yàn)殚_(kāi)頭的樣本稱(chēng)作“B樣本”。
[0526]由于時(shí)間戳所涉及的絕對(duì)時(shí)刻信息只是MPU時(shí)間戳描述符的信息，因此接收裝置20直到A樣本到達(dá)為止不能算出其他樣本的PTS(絕對(duì)時(shí)刻)以及DTS(絕對(duì)時(shí)刻)。接收裝置20也不能算出B樣本的PTS以及DTS。
[0527]在圖46的(a)的例子中，六樣本包含于與B樣本相同的電影分片內(nèi)，被保存到I個(gè)MF元中。因此，接收裝置20能夠在接收到該MF元后，立即決定B樣本的DTS。
[0528]在圖46的(b)的例子中，六樣本包含于與B樣本相同的電影分片內(nèi)，并被保存到I個(gè)MF元中。因此，接收裝置20能夠在接收到該MF元后，立即決定B樣本的DTS。
[0529]在圖46的(C)的例子中，A樣本包含于與B樣本不同的電影分片內(nèi)。因此，接收裝置20除非是在接收到含有包括A樣本的電影分片的CT以及DT的MF元之后，就不能決定B樣本的DTS0
[0530]因此，在圖46的(C)的例子的情況下，接收裝置20在B樣本到達(dá)后，不能立即開(kāi)始解碼。
[0531]如此地，若在包含B樣本的電影分片中未包含A樣本，則接收裝置20除非是在接收到包括A樣本的電影分片所涉及的MF元之后，就不能開(kāi)始B樣本的解碼。
[0532]在提示順序中的開(kāi)頭的樣本與在解碼順序中的開(kāi)頭的樣本不一致的情況下，由于電影分片被分割到A樣本與B樣本不被保存到同一電影分片中的程度，就會(huì)產(chǎn)生該問(wèn)題。此外，與MF元后送還是先送無(wú)關(guān)地產(chǎn)生該問(wèn)題。
[0533]如此地，在提示順序中的開(kāi)頭的樣本與在解碼順序中的開(kāi)頭的樣本不一致時(shí)，若A樣本與B樣本未保存到同一電影分片中，則在接收到B樣本后，不能立即決定DTS。于是，發(fā)送裝置15另行發(fā)送在接收側(cè)可算出B樣本的DTS(絕對(duì)值)或B樣本的DTS(絕對(duì)值)的信息。這樣的信息也可以利用控制信息或包頭等發(fā)送。
[0534]接收裝置20利用這樣的信息算出B樣本的DTS(絕對(duì)值)。圖47為在利用這樣的信息算出DTS時(shí)的接收動(dòng)作的流程圖。
[0535]接收裝置20接收MPU開(kāi)頭的電影分片(S901)，判定A樣本與B樣本是否保存在同一電影分片中(S902)。在保存在同一電影分片中(S902的“是”)時(shí)，接收裝置20不利用B樣本的DTS(絕對(duì)時(shí)刻)而只利用MF元的信息算出DTS，開(kāi)始解碼(S904)。另外，在步驟S904中，接收裝置20也可以利用B樣本的DTS決定DTS。
[0536]另一方面，在步驟S902中A樣本與B樣本未保存在同一電影分片中(S902的“否”)時(shí)，接收裝置20取得B樣本的DTS(絕對(duì)時(shí)刻)，決定DTS，開(kāi)始解碼(S903)。
[0537]另外，在以上的說(shuō)明中，說(shuō)明了利用MMT標(biāo)準(zhǔn)中的MF元(在MP4形式的moof內(nèi)保存的時(shí)間戳信息)，算出各樣本的解碼時(shí)刻的絕對(duì)值與提示時(shí)刻的絕對(duì)值的例子，但不言自明的是，也可以將MF元置換成能夠用于算出各樣本的解碼時(shí)刻的絕對(duì)值與提示時(shí)刻的絕對(duì)值的任意的控制信息進(jìn)行實(shí)施。作為這樣的控制信息的例子，存在將上述的第i個(gè)樣本與第(i+I)個(gè)樣本的解碼時(shí)刻的相對(duì)值CT(i)置換成第i個(gè)樣本與(i+Ι)個(gè)樣本的提示時(shí)刻的相對(duì)值的控制信息、或者包含第i個(gè)樣本與第(i+Ι)個(gè)樣本的解碼時(shí)刻的相對(duì)值CT(i)以及第i個(gè)樣本第(i+Ι)個(gè)樣本的提示時(shí)刻的相對(duì)值這雙方的控制信息等。
[0538][補(bǔ)充]
[0539]如以上那樣地，將B樣本的DTS(絕對(duì)值)或能夠在接收側(cè)算出B樣本的DTS(絕對(duì)值)的信息作為控制信息發(fā)送的發(fā)送裝置也能夠如圖48那樣地構(gòu)成。圖48為表示發(fā)送裝置的構(gòu)成的其他例子的圖。
[0540]發(fā)送裝置300具備編碼部301、包生成部302、第I發(fā)送部303、信息生成部304以及第2發(fā)送部305。另外，如圖48所示，包生成部302以及信息生成部304也可以作為I個(gè)生成部306來(lái)實(shí)現(xiàn)，第I發(fā)送部303與第2發(fā)送部305也可以作為I個(gè)發(fā)送部307來(lái)實(shí)現(xiàn)。
[0541]編碼部301對(duì)影像信號(hào)進(jìn)行編碼來(lái)生成包含多個(gè)訪問(wèn)單元的編碼數(shù)據(jù)。
[0542]包生成部302將多個(gè)訪問(wèn)單元以訪問(wèn)單元單位或分割訪問(wèn)單元而成的單位保存在包中來(lái)生成包組。
[0543]第I發(fā)送部303將生成的包組作為數(shù)據(jù)發(fā)送。
[0544]信息生成部304生成表示多個(gè)訪問(wèn)單元之中最初被提示的訪問(wèn)單元的提示時(shí)刻的第I信息、以及用于算出多個(gè)訪問(wèn)單元的解碼時(shí)刻的第2信息。在此，第I信息例如為MPU時(shí)間戳描述符，第二信息例如為MF元數(shù)據(jù)的時(shí)間戳信息(或者時(shí)間戳信息被修正一部分而得的信息)等的輔助信息。
[0545]第2發(fā)送部305將生成的第I信息以及第2信息作為控制信息發(fā)送。
[0546]此外，與發(fā)送裝置300對(duì)應(yīng)的接收裝置例如也可以如圖49那樣地構(gòu)成。圖49為表示接收裝置的構(gòu)成的其他例子的圖。
[0547]接收裝置400具備:第I接收部401、第2接收部402以及解碼部403。另外，如圖49所示，第I接收部401以及第2接收部402也可以作為I個(gè)接收部404實(shí)現(xiàn)。
[0548]第I接收部401接收對(duì)包含多個(gè)訪問(wèn)單元的編碼數(shù)據(jù)以訪問(wèn)單元單位或分割訪問(wèn)單元而成的單位進(jìn)行打包而得的包組。
[0549]第2接收部402接收包含表示多個(gè)訪問(wèn)單元之中最初被提示的訪問(wèn)單元的提示時(shí)刻的第I信息以及用于算出多個(gè)訪問(wèn)單元的解碼時(shí)刻的第2信息的控制信息。
[0550]解碼部403基于第I信息以及第2信息對(duì)所接收到的包組所包含的訪問(wèn)單元進(jìn)行解碼。
[0551](其他實(shí)施方式)
[0552]以上，說(shuō)明了實(shí)施方式所涉及的發(fā)送裝置、接收裝置、發(fā)送方法以及接收方法，但本申請(qǐng)不限于該實(shí)施方式。
[0553]此外，上述實(shí)施方式所涉及的發(fā)送裝置以及接收裝置中包含的各處理部典型地以作為集成電路的LSI(大規(guī)模集成電路)實(shí)現(xiàn)。它們既可以獨(dú)立地被單芯片化，也可以包含一部分或全部地被單芯片化。
[0554]此外，集成電路化不限于LSI，也可以通過(guò)專(zhuān)用電路或通用處理器實(shí)現(xiàn)。也可以利用能夠在LSI制造后進(jìn)行編程的FPGA(Field Programmable Gate Array:現(xiàn)場(chǎng)可編程門(mén)陣列)、或能夠?qū)SI內(nèi)部的電路單元的連接或設(shè)定進(jìn)行重構(gòu)的可重構(gòu)處理器。
[0555]在上述各實(shí)施方式中，各構(gòu)成要素既可以由專(zhuān)用的硬件構(gòu)成，也可以通過(guò)執(zhí)行適合各構(gòu)成要素的軟件程序來(lái)實(shí)現(xiàn)。各結(jié)構(gòu)要素也可以通過(guò)CPU或處理器等程序執(zhí)行部讀出并執(zhí)行在硬盤(pán)或半導(dǎo)體存儲(chǔ)器等記錄介質(zhì)中記錄的軟件程序來(lái)實(shí)現(xiàn)。
[0556]換言之，發(fā)送裝置以及接收裝置具備處理電路(processing circuitry)、與該處理電路電連接的(能夠從該控制電路訪問(wèn)的)存儲(chǔ)裝置(storage)。處理電路包含專(zhuān)用的硬件以及程序執(zhí)行部的至少一方。此外，在處理電路包含程序執(zhí)行部的情況下，存儲(chǔ)裝置存儲(chǔ)由該程序執(zhí)行部執(zhí)行的軟件程序。處理電路使用存儲(chǔ)裝置來(lái)執(zhí)行上述實(shí)施方式所涉及的發(fā)送方法或接收方法。
[0557]進(jìn)而，本申請(qǐng)既可以是上述軟件程序，也可以是記錄有上述程序的非易失性的計(jì)算機(jī)可讀取的記錄介質(zhì)。此外，上述程序顯然能夠經(jīng)由互聯(lián)網(wǎng)等傳送介質(zhì)流通。
[0558]此外，在上述中使用的數(shù)字是都是為了具體說(shuō)明本申請(qǐng)而例示的數(shù)字，本申請(qǐng)不限制于所例示的數(shù)字。
[0559]此外，框圖中的功能塊的分割為一例，也可以將多個(gè)功能塊作為I個(gè)功能塊來(lái)實(shí)現(xiàn)，或?qū)個(gè)功能塊分割成多個(gè)，或者將一部分的功能轉(zhuǎn)移到其他功能塊。此外，也可以由單一的硬件或軟件并行或分時(shí)地處理具有類(lèi)似的功能的多個(gè)功能塊的功能。
[0560]此外，執(zhí)行上述的發(fā)送方法或接收方法包含的步驟的順序是為了具體說(shuō)明本申請(qǐng)而例示的順序，也可以是上述以外的順序。此外，也可以是上述步驟的一部分與其他步驟同時(shí)(并行)執(zhí)行。
[0561]以上，基于實(shí)施方式說(shuō)明了本申請(qǐng)的一個(gè)或多個(gè)方式所涉及的發(fā)送裝置、接收裝置、發(fā)送方法以及接收方法，但本申請(qǐng)并不限于該實(shí)施方式。只要不脫離本申請(qǐng)的主旨，將本領(lǐng)域技術(shù)人員所想到的各種變形施行于本實(shí)施方式而得到的方式，或者組合不同實(shí)施方式的構(gòu)成要素來(lái)構(gòu)筑的方式也包含于本申請(qǐng)的一個(gè)或者多個(gè)方式的范圍內(nèi)。
[0562]工業(yè)實(shí)用性
[0563]本申請(qǐng)能夠適用于進(jìn)行視頻數(shù)據(jù)以及音頻數(shù)據(jù)等的媒體傳送的裝置或設(shè)備。
[0564]標(biāo)號(hào)說(shuō)明:
[0565]15,100,300 發(fā)送裝置
[0566]16、101、301 編碼部
[0567]17,102 復(fù)用部
[0568]18、104、307 發(fā)送部
[0569]20、200、400 接收裝置
[0570]21包過(guò)濾部
[0571]22發(fā)送順序類(lèi)型判別部
[0572]23隨機(jī)訪問(wèn)部
[0573]24,212控制信息取得部
[0574]25數(shù)據(jù)取得部
[0575]26算出部
[0576]27初始化信息取得部
[0577]28、206解碼命令部
[0578]29、403、204A、204B、204C、204D 解碼部
[0579]30提示部
[0580]201調(diào)諧器[0581 ] 202解調(diào)部
[0582]203逆復(fù)用部
[0583]205顯示部
[0584]211類(lèi)型判別部
[0585]213切片信息取得部
[0586]214解碼數(shù)據(jù)生成部
[0587]302包生成部
[0588]303第I發(fā)送部
[0589]304信息生成部
[0590]305第2發(fā)送部
[0591]306生成部
[0592]401第I接收部
[0593]402第2接收部
[0594]404接收部
【主權(quán)項(xiàng)】
1.一種發(fā)送方法，包括: 打包步驟，對(duì)構(gòu)成MP4格式的文件的(I)作為對(duì)影像信號(hào)或聲音信號(hào)進(jìn)行編碼而得的數(shù)據(jù)的樣本數(shù)據(jù)、(2)用于對(duì)所述樣本數(shù)據(jù)進(jìn)行解碼的第一元數(shù)據(jù)、以及(3)包含僅能在所述樣本數(shù)據(jù)生成后生成的數(shù)據(jù)且用于對(duì)所述樣本數(shù)據(jù)進(jìn)行解碼的第二元數(shù)據(jù)分別進(jìn)行打包；以及 發(fā)送步驟，將打包的所述第一元數(shù)據(jù)、打包的所述樣本數(shù)據(jù)以及打包的所述第二元數(shù)據(jù)按照此順序進(jìn)行發(fā)送。2.如權(quán)利要求1所述的發(fā)送方法， 僅能在所述樣本數(shù)據(jù)生成后生成的數(shù)據(jù)，是所述MP4格式中的mdat所保存的數(shù)據(jù)之中除了所述樣本數(shù)據(jù)以外的數(shù)據(jù)的至少一部分。3.如權(quán)利要求1或2所述的發(fā)送方法， 所述第一元數(shù)據(jù)為MPU元數(shù)據(jù)即媒體處理單元元數(shù)據(jù)， 所述第二元數(shù)據(jù)為電影分片元數(shù)據(jù)。4.如權(quán)利要求1?3中任一項(xiàng)所述的發(fā)送方法， 在所述打包步驟中，按照MMT即運(yùn)動(dòng)圖像專(zhuān)家組媒體傳送方式進(jìn)行打包。5.一種接收方法，包括: 接收步驟，將打包的第一元數(shù)據(jù)、打包的樣本數(shù)據(jù)以及打包的第二元數(shù)據(jù)按照此順序進(jìn)行接收； 重構(gòu)步驟，對(duì)包含接收到的所述第一元數(shù)據(jù)、接收到的所述第二元數(shù)據(jù)以及接收到的所述樣本數(shù)據(jù)的MP4格式的文件進(jìn)行重構(gòu)；以及 解碼步驟，利用所述第一元數(shù)據(jù)以及所述第二元數(shù)據(jù)，對(duì)重構(gòu)的所述MP4格式的文件所包含的所述樣本數(shù)據(jù)進(jìn)行解碼， 所述第二元數(shù)據(jù)包含:在發(fā)送側(cè)僅能在所述樣本數(shù)據(jù)生成后生成的數(shù)據(jù)。6.—種發(fā)送裝置，具備: 復(fù)用部，對(duì)構(gòu)成MP4格式的文件的(I)作為對(duì)影像信號(hào)或聲音信號(hào)進(jìn)行編碼而得的數(shù)據(jù)的樣本數(shù)據(jù)、(2)用于對(duì)所述樣本數(shù)據(jù)進(jìn)行解碼的第一元數(shù)據(jù)、以及(3)包含僅能在所述樣本數(shù)據(jù)生成后生成的數(shù)據(jù)且用于對(duì)所述樣本數(shù)據(jù)進(jìn)行解碼的第二元數(shù)據(jù)分別進(jìn)行打包；以及 發(fā)送部，將打包的所述第一元數(shù)據(jù)、打包的所述樣本數(shù)據(jù)以及打包的所述第二元數(shù)據(jù)按照此順序進(jìn)行發(fā)送。7.—種接收裝置，包括: 接收部，將打包的第一元數(shù)據(jù)、打包的樣本數(shù)據(jù)以及打包的第二元數(shù)據(jù)按照此順序進(jìn)行接收； 重構(gòu)部，對(duì)包含接收到的所述第一元數(shù)據(jù)、接收到的所述第二元數(shù)據(jù)以及接收到的所述樣本數(shù)據(jù)的MP4格式的文件進(jìn)行重構(gòu)；以及 解碼部，利用所述第一元數(shù)據(jù)以及所述第二元數(shù)據(jù)，對(duì)重構(gòu)的所述MP4格式的文件所包含的所述樣本數(shù)據(jù)進(jìn)行解碼， 所述第二元數(shù)據(jù)包含:在發(fā)送側(cè)僅能在所述樣本數(shù)據(jù)生成后生成的數(shù)據(jù)。8.—種發(fā)送方法， 對(duì)影像信號(hào)進(jìn)行編碼來(lái)生成包含多個(gè)訪問(wèn)單元的編碼數(shù)據(jù)， 以訪問(wèn)單元單位或分割訪問(wèn)單元而成的單位將所述多個(gè)訪問(wèn)單元保存在包中來(lái)生成包組， 將生成的所述包組作為數(shù)據(jù)進(jìn)行發(fā)送， 生成表示所述多個(gè)訪問(wèn)單元之中最初被提示的訪問(wèn)單元的提示時(shí)刻的第一信息以及用于算出所述多個(gè)訪問(wèn)單元的解碼時(shí)刻的第二信息， 將生成的所述第一信息以及所述第二信息作為控制信息進(jìn)行發(fā)送。9.如權(quán)利要求8所述的發(fā)送方法， 所述第二信息為用于算出所述多個(gè)訪問(wèn)單元之中的一部分的解碼時(shí)刻的信息。10.—種接收方法， 接收以訪問(wèn)單元單位或分割訪問(wèn)單元而成的單位對(duì)包含多個(gè)訪問(wèn)單元的編碼數(shù)據(jù)進(jìn)行打包而得的包組， 接收控制信息，該控制信息包含表示所述多個(gè)訪問(wèn)單元之中最初被提示的訪問(wèn)單元的提示時(shí)刻的第一信息以及用于算出所述多個(gè)訪問(wèn)單元的解碼時(shí)刻的第二信息， 基于所述第一信息以及所述第二信息對(duì)接收到的包組所包含的所述訪問(wèn)單元進(jìn)行解碼。11.一種發(fā)送裝置，具備: 編碼部，對(duì)影像信號(hào)進(jìn)行編碼來(lái)生成包含多個(gè)訪問(wèn)單元的編碼數(shù)據(jù)； 包生成部，以訪問(wèn)單元單位或分割訪問(wèn)單元而成的單位將所述多個(gè)訪問(wèn)單元保存在包中來(lái)生成包組； 第一發(fā)送部，將生成的所述包組作為數(shù)據(jù)進(jìn)行發(fā)送； 信息生成部，生成表示所述多個(gè)訪問(wèn)單元之中最初被提示的訪問(wèn)單元的提示時(shí)刻的第一信息以及用于算出所述多個(gè)訪問(wèn)單元的解碼時(shí)刻的第二信息；以及 第二發(fā)送部，將生成的所述第一信息以及所述第二信息作為控制信息進(jìn)行發(fā)送。12.—種接收裝置，具備: 第一接收部，接收以訪問(wèn)單元單位或分割訪問(wèn)單元而成的單位對(duì)包含多個(gè)訪問(wèn)單元的編碼數(shù)據(jù)進(jìn)行打包而得的包組； 第二接收部，接收控制信息，該控制信息包含表示所述多個(gè)訪問(wèn)單元之中最初被提示的訪問(wèn)單元的提示時(shí)刻的第一信息以及用于算出所述多個(gè)訪問(wèn)單元的解碼時(shí)刻的第二信息；以及 解碼部，基于所述第一信息以及所述第二信息對(duì)接收到的包組所包含的所述訪問(wèn)單元進(jìn)行解碼。
【文檔編號(hào)】G10L19/16GK105830450SQ201480066810
【公開(kāi)日】2016年8月3日
【申請(qǐng)日】2014年12月10日
【發(fā)明人】井口賀敬, 遠(yuǎn)間正真, 加藤久也
【申請(qǐng)人】松下電器（美國(guó)）知識(shí)產(chǎn)權(quán)公司