本技術涉及一種信息處理裝置和一種信息處理方法。具體來說，本技術涉及被配置成能夠控制與主圖像一起使用的輔助圖像的提供的一種信息處理裝置和一種信息處理方法。

背景技術：

近年來，作為使用超文本傳輸協(xié)議(HTTP)的內容遞送技術，已經將運動圖像專家組-通過HTTP的動態(tài)自適應串流(MPEG-DASH)標準化(例如，參考非專利文獻1)。MPEG-DASH使用自適應比特率串流(ABS)技術，其中將表示具有不同比特率的相同內容的多項編碼數(shù)據(jù)存儲在內容服務器中，使得客戶端根據(jù)要再現(xiàn)的網絡頻帶選擇多項編碼數(shù)據(jù)中的一項。

順便提及，例如，包括能夠編碼多個層級(層)的可伸縮高效視頻編碼(SHVC)的一些編碼模式使用這些層中的一個來編碼與一般圖像(即，主圖像)一起使用的輔助圖像(也稱為AUX圖像等)，諸如深度信息(Depth)和字幕。

引文列表

非專利文獻

非專利文獻1：MPEG-DASH(通過HTTP的動態(tài)自適應串流)(URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1)

技術實現(xiàn)要素：

本發(fā)明要解決的問題

然而，在常規(guī)的遞送格式(諸如MPEG-DASH標準)中，這種輔助圖像不能被識別。因此，存在在接收和再現(xiàn)側的設備上將輔助圖像錯誤地處理為一般圖像的風險。

考慮到這樣的情況，提出了本技術，并且其目的是使得能夠控制與主圖像一起使用的輔助圖像的提供。

問題的解決方案

本技術的一個方面是一種信息處理裝置，包括文件生成單元，被配置成生成包含軌道的文件，所述軌道存儲其中編碼與主圖像一起使用的輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)，以及用作關于輔助圖像的信息的輔助信息。

輔助信息可以被配置成包含識別信息，其指示軌道是存儲其中編碼輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)的軌道。

輔助信息可以被配置成包含指示輔助圖像的類型的信息。

指示輔助圖像的類型的信息可以被配置成包含指示輔助圖像是否是關于用作色度鍵的α通道的信息、深度信息或關于通過疊加在主圖像上而顯示的覆蓋的信息的信息。

輔助信息可以被配置成進一步包含關于編碼數(shù)據(jù)的附加信息，其對應于指示輔助圖像的類型的信息。

輔助信息可以被配置成存儲在軌道的樣本條目中。

文件生成單元可以被配置成生成包含存儲其中編碼主圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)的軌道的文件，作為與包含存儲其中編碼輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)的軌道的文件不同的文件。

文件生成單元可以針對包含存儲其中編碼輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)的軌道的一個文件生成多個文件，每個文件包含存儲其中編碼主圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)的軌道。

文件生成單元可以生成包含存儲其中編碼輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)的軌道和存儲其中編碼主圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)的軌道的文件。

另外，本技術的一個方面是一種信息處理方法，其被配置成生成包含軌道的文件，所述軌道存儲其中編碼與主圖像一起使用的輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)，以及用作關于輔助圖像的信息的輔助信息。

本技術的另一方面是一種信息處理裝置，包括元數(shù)據(jù)生成單元，被配置成生成控制文件的再現(xiàn)的元數(shù)據(jù)，所述文件包含其中編碼與主圖像一起使用的輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)，同時包含用作關于輔助圖像的信息的輔助信息。

輔助信息可以被配置成設置在段所屬的表示中，在該段中設置包含其中編碼輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)的文件。

輔助信息可以被配置成包含指示輔助圖像的類型的信息。

指示輔助圖像的類型的信息可以被配置成包含指示輔助圖像是否是關于用作色度鍵的α通道的信息、深度信息或關于通過疊加在主圖像上而顯示的覆蓋的信息的信息。

輔助信息可以被配置成進一步包含關于編碼數(shù)據(jù)的附加信息，其對應于指示輔助圖像的類型的信息。

輔助信息的至少一部分可以被配置成設置在段所屬的表示的基本屬性中，在該段中設置包含其中編碼輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)的文件。

元數(shù)據(jù)可以被配置成具有包含關于包含其中編碼輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)的文件的信息的自適應集，和包含關于包含其中編碼主圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)的文件的信息的自適應集。

元數(shù)據(jù)可以被配置成具有屬于自適應集的多個表示，所述自適應集包含關于包含其中編碼主圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)的文件的信息。

元數(shù)據(jù)可以被配置成具有自適應集，其包含關于包含其中編碼輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)和其中編碼主圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)的文件的信息。

另外，本技術的另一方面是一種信息處理方法，其被配置成生成控制文件的再現(xiàn)的元數(shù)據(jù)，所述文件包含其中編碼與主圖像一起使用的輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)，同時包含用作關于輔助圖像的信息的輔助信息。

在本技術的一個方面中，生成包含軌道的文件，所述軌道存儲其中編碼與主圖像一起使用的輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)，以及用作關于輔助圖像的信息的輔助信息。

在本技術的另一方面中，生成控制文件的再現(xiàn)的元數(shù)據(jù)，所述文件包含其中編碼與主圖像一起使用的輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)，同時包含用作關于輔助圖像的信息的輔助信息。

本發(fā)明的效果

根據(jù)本技術，可以處理信息。另外，根據(jù)本技術，可以控制與主圖像一起使用的輔助圖像的提供。

附圖說明

圖1是用于說明MPEG-DASH的概要的圖解。

圖2是圖示MPD的示例性配置的圖解。

圖3是用于說明內容的時間分離的圖解。

圖4是圖示用于指示MPD中的時段和其較低級別的示例性層級結構的圖解。

圖5是用于說明時間軸上的MPD文件的示例性配置的圖解。

圖6是圖示區(qū)塊圖像(tile images)的示例性比特流的圖解。

圖7是用于說明區(qū)塊圖像的示例性MP4文件的圖解。

圖8是用于說明區(qū)塊圖像的另一示例性MP4文件的圖解。

圖9是圖示文件生成裝置的示例性主要配置的方框圖。

圖10是圖示MP4文件的示例性主要配置的圖解。

圖11是圖示配置盒的示例性語法的圖解。

圖12是圖示MPD的示例性主要配置的圖解。

圖13是用于說明MP4文件生成處理的示例性流程的流程圖。

圖14是用于說明MPD生成處理的示例性流程的流程圖。

圖15是圖示文件再現(xiàn)裝置的示例性主要配置的方框圖。

圖16是用于說明MP4文件再現(xiàn)處理的示例性流程的流程圖。

圖17是用于說明MPD再現(xiàn)處理的示例性流程的流程圖。

圖18是圖示MP4文件的另一示例性配置的圖解。

圖19是圖示MPD的另一示例性配置的圖解。

圖20是圖示MP4文件的又一示例性配置的圖解。

圖21是圖示MPD的又一示例性配置的圖解。

圖22是圖示遞送系統(tǒng)的示例性主要配置的方框圖。

圖23是圖示計算機的示例性主要配置的方框圖。

具體實施方式

以下將描述用于實施本公開的模式(以下稱為實施方案)。應注意，將按以下順序給出描述。

1.第一實施方案(文件生成裝置和文件再現(xiàn)裝置)

2.第二實施方案(在通用輔助圖像相對于多個主圖像的情況下)

3.第三實施方案(將主圖像和輔助圖像集成到一個文件)

4.第四實施方案(遞送系統(tǒng))

5.第五實施方案(計算機)

<1.第一實施方案>

<DASH>

在過去，運動圖像專家組-通過HTTP的動態(tài)自適應串流(MPEG-DASH)被已知作為使用超文本傳輸協(xié)議(HTTP)的內容遞送技術，如在例如非專利文獻1中所述。MPEG-DASH使用自適應比特率串流(ABS)技術，其中將表示具有不同比特率的相同內容的多項編碼數(shù)據(jù)存儲在內容服務器中，使得客戶端根據(jù)要再現(xiàn)的網絡頻帶選擇多項編碼數(shù)據(jù)中的一項。

將參照圖1描述通過DASH傳輸內容的程序。首先，在獲取內容的一側的視頻再現(xiàn)終端中，用于控制流數(shù)據(jù)的軟件選擇所需內容的媒體呈現(xiàn)描述(MPD)文件來從網絡服務器獲取文件。MPD是管理要遞送的內容(諸如視頻或音頻)的元數(shù)據(jù)。

在獲取MPD后，用于控制視頻再現(xiàn)終端中的流數(shù)據(jù)的軟件分析該MPD以執(zhí)行控制，使得從網絡服務器獲取適合于通信線路的質量、視頻再現(xiàn)終端的性能等的所需內容的數(shù)據(jù)(DASH段)。在用于HTTP訪問的客戶端軟件的控制下，客戶端軟件通過使用HTTP從網絡服務器獲取這個DASH段。以這種方式獲取的內容由視頻再現(xiàn)軟件再現(xiàn)。

例如，MPD具有圖2中所示的配置。在MPD的分析(解析)中，客戶端從包含在MPD(圖2中的媒體呈現(xiàn))中的時段(Period)中的表示(Representation)的屬性中選擇最佳的一個。

客戶端讀取所選表示(Representation)的頂部段(Segment)，并且獲取初始化段(Initialization Segment)來處理。隨后，客戶端獲取后續(xù)段(Segment)來再現(xiàn)。

同時，MPD中的時段(Period)、表示(Representation)和段(Segment)之間的關系如圖3中所示。具體來說，可以基于時段(Period)管理一塊媒體內容，其中時段用作時間方向上的數(shù)據(jù)單元，而可以基于段(Segment)管理每個時段(Period)，其中段用作時間方向上的數(shù)據(jù)單元。另外，可以相對于每個時段(Period)配置具有屬性(諸如彼此不同的比特率)的多個表示(Representation)。

因此，MPD的這個文件(也稱為MPD文件)在時段(Period)和其較低級別具有層級結構，如圖4中所示。另外，當在時間軸上按順序放置時，MPD的這種結構如圖5中的實例中所示。從圖5中的實例可以看出，相對于同一段(Segment)存在多個表示(Representation)?？蛻舳俗赃m應地選擇這些表示中的一個，并且因此可以根據(jù)通信環(huán)境、自己的裝置的解碼能力等來獲取適當?shù)牧鲾?shù)據(jù)來再現(xiàn)。

<區(qū)塊結構>

盡管如上所述在常規(guī)的DASH中自適應地控制整個圖像的數(shù)據(jù)遞送，但是已經考慮了自適應地選擇部分圖像作為整個圖像的一部分而不是整個圖像來遞送的想法。該想法的實例包括遞送對應于由終端在接收圖像數(shù)據(jù)的一側選擇的整個圖像的一部分的部分圖像，以及根據(jù)終端的性能(例如，CPU等的吞吐量和顯示器的大小)、傳輸路徑、服務器的負載狀態(tài)等控制要遞送的部分圖像的大小。

為了如上所述自適應地遞送部分圖像，已經使用了區(qū)塊(Tile)的概念。區(qū)塊(Tile)表示通過將整個圖像分為預先確定的布局(通過大小、形狀、數(shù)量等)而獲得的部分區(qū)域。在下文中，一個區(qū)塊中的圖像將被稱為區(qū)塊圖像。如上所述，一旦將整個圖像預先分為區(qū)塊，就可能僅通過選擇要遞送的區(qū)塊圖像來容易地自適應地遞送部分圖像。在這種情況下，部分圖像由單個數(shù)量或多個數(shù)量的區(qū)塊圖像構成。

在如在DASH中那樣使用HTTP進行遞送的情況下，圖像數(shù)據(jù)被編碼，然后，其比特流被轉換為要遞送的文件(作為文件公開給公眾)。在具有如上所述的區(qū)塊結構的整個圖像的情況下，針對每個區(qū)塊圖像獨立地對圖像數(shù)據(jù)進行編碼。此時，如在圖6的A中所示的實例中，每個區(qū)塊的編碼數(shù)據(jù)可以被轉換為單個比特流。

在圖6的A中的實例中，準備具有大小為640×480的整個圖像、具有大小為1980×1080的整個圖像，以及通過在縱向和橫向上將整個圖像分為兩個以便各自具有大小為960×540而獲得的區(qū)塊圖像(四個部分圖像)的各自的圖像作為要遞送的圖像。具有大小為640×480的整個圖像的數(shù)據(jù)被編碼，以便轉換為一個比特流(比特流1)，并且類似地，具有大小為1980×1080的整個圖像的數(shù)據(jù)被編碼，以便轉換為一個比特流(比特流2)。此外，與數(shù)據(jù)的這些項目分開地，每個具有大小為960×540的各自的區(qū)塊圖像的數(shù)據(jù)被彼此獨立地編碼，使得編碼數(shù)據(jù)的每個項目被轉換為一個比特流(比特流3到比特流6)。

標題信息，諸如視頻參數(shù)集(Video Parameter Set(VPS))、序列參數(shù)集(Sequence Parameter Set(SPS))、輔助增強信息(Supplemental Enhancement Information(SEI))和圖片參數(shù)集(Picture Parameter Set(PPS))被添加到每個比特流，并且圖像數(shù)據(jù)的比特流以條帶(Slice)為單位被按順序放置。

當使用如上所述的結構時，通過從比特流3到比特流6中選擇要遞送的比特流，可以選擇要遞送的區(qū)塊圖像。另外，在圖6的A中所示的實例的情況下，可以如在整個圖像中那樣遞送各自的區(qū)塊圖像。

順便提及，例如，諸如高效視頻編碼(HEVC)的編碼模式支持被稱為區(qū)塊(Tile)的結構，其中整個圖像被劃分并且能夠獨立地對每個區(qū)塊進行編碼。例如，可以執(zhí)行解碼，使得僅獲得這些區(qū)塊中的一些區(qū)塊的圖像。換句話說，可以執(zhí)行解碼，使得僅獲得部分圖像(即，整個圖像的一部分)。

當利用編碼模式的這種功能時，如在圖6的B中所示的實例中，多個區(qū)塊圖像的編碼數(shù)據(jù)可以轉換為一個比特流(比特流7)。具體來說，在這種情況下，編碼被配置成以將用于遞送的上述區(qū)塊(Tile)處理為由編碼模式支持的區(qū)塊(Tile)的方式來執(zhí)行。在這種情況下，每個區(qū)塊的數(shù)據(jù)按順序作為條帶(Slice)放置在比特流中。

<MP4文件>

如上所述，要遞送的比特流根據(jù)例如MP4文件格式被轉換為文件。在這種情況下，如在圖7中所示的實例中，可以將各自的區(qū)塊的比特流轉換為單獨的文件。以稱為軌道(Track)的單位來管理每個區(qū)塊的比特流。另外，提供了其中描述各自的區(qū)塊的標題(Header)信息和對各自的軌道的參考的基本軌道(Base Track)，并且將其轉換為與各自的區(qū)塊的比特流的文件不同的文件。當所有區(qū)塊將被解碼時，再現(xiàn)基本軌道，并且當每個區(qū)塊將被解碼時，針對標題信息參考基本軌道。

同時，如在圖8中所示的實例中，也可以將各自的區(qū)塊的比特流一起轉換為一個文件。此時，各自的區(qū)塊的數(shù)據(jù)可以作為一個軌道一起被管理，如在圖8的A中，或替代地，各自的區(qū)塊可以作為彼此不同的軌道被管理，如在圖8的B中。在這種情況下，如在圖7的情況下，提供了其中描述各自的區(qū)塊的標題(Header)信息和對各自的軌道的參考的基本軌道(Base Track)。

<輔助圖像>

順便提及，例如，包括能夠編碼多個層級(層)的可伸縮高效視頻編碼(SHVC)的一些編碼模式使用這些層中的一個來編碼與一般圖像(即，主圖像)一起使用的輔助圖像(也稱為AUX圖像等)。

輔助圖像的實例包括主圖像的深度信息(Depth)、用作色度鍵等的α通道圖像(alpha_channel)，以及諸如字幕和屏幕字幕的覆蓋圖像(overlay)。只要信息與主圖像一起使用，當然可以使用任何信息。

在許多情況下，以與一般圖像不同的方式處理如上所述的輔助圖像。例如，輔助圖像基本上由用于協(xié)助主圖像的信息(諸如上述實例)構成，并因此被認為與相應的主圖像一起使用(例如，顯示)。因此，輔助圖像是不適合單獨使用(例如，顯示)的信息。例如，當與相應的主圖像一起顯示時，諸如深度信息、色度鍵和字幕的信息可以獲得精確的效果。

在深度信息的情況下，例如，以當與主圖像組合時創(chuàng)建用于立體視覺的圖像的方式使用深度信息。作為附加實例，對于色度鍵，例如，當與主圖像一起使用時，可以執(zhí)行圖像處理以將主要對象的一部分與圖像內的背景的一部分分離。此外，在用作覆蓋圖像的字幕的示例性情況下，當與主圖像一起顯示時，字幕本身可以是有意義的。為了獲得如上所述的這些精確的效果，需要將輔助圖像與主圖像一起使用。即使當單獨使用(例如，顯示)輔助圖像時，也難以獲得如上所述的這些精確的效果。

應注意，在編碼期間不對輔助圖像執(zhí)行層間預測。

與此相反，可以單獨使用(可以顯示)對應于輔助圖像的主圖像。換句話說，輔助圖像是并不總是需要的并且僅需要在必要時單獨使用的信息。

因此，當遞送該輔助圖像時，需要使接收和再現(xiàn)側的設備識別所遞送的圖像是輔助圖像。也需要提供使用輔助圖像所需的信息。另外，需要主圖像和輔助圖像在被提供時彼此鏈接，并且輔助圖像也是可選擇的，以便在必要時被單獨接收。

作為用于控制圖像的提供以使得可以根據(jù)需要提供圖像的方法，在MPEG-DASH中使用MP4文件和MPD的方法是已知的。通過使用這些方法，在接收和再現(xiàn)側的設備上實現(xiàn)在使用時輔助圖像的簡易控制。

然而，在MP4文件和MPD中不提供用于區(qū)分輔助圖像與通用文件的功能，因此，諸如常規(guī)的MPEG-DASH標準的遞送格式不能識別如上所述的這種輔助圖像。因此，存在在接收和再現(xiàn)側的設備上將輔助圖像錯誤地處理為一般圖像的風險。

<輔助圖像的識別和輔助信息的提供>

為了解決這個問題，配置成生成包含軌道的文件，所述軌道存儲其中編碼與主圖像一起使用的輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)，以及用作關于該輔助圖像的信息的輔助信息。例如，MP4文件可以被配置成生成為上述文件。

如上所述，當輔助信息與輔助圖像一起存儲在一個軌道中并且輔助信息與輔助圖像一起被提供給接收和再現(xiàn)側的設備時，接收和再現(xiàn)側的設備可以將該圖像識別為輔助圖像以與一般圖像區(qū)分開。由此，可能抑制由于被視為一般圖像而對輔助圖像的錯誤處理。換句話說，可以控制與主圖像一起使用的輔助圖像的提供。

另外，該輔助信息可以被配置成包含識別信息，其指示該軌道是存儲其中編碼輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)的軌道。通過將這種識別信息作為輔助圖像提供給接收和再現(xiàn)側的設備，使得接收和再現(xiàn)側的設備更容易識別輔助圖像。

同時，輔助信息可以被配置成包含指示輔助圖像的類型的信息。如上所述，輔助圖像的使用不限于特定的一個。因此，當指示輔助圖像的類型的這種信息作為輔助信息被呈現(xiàn)給接收和再現(xiàn)側的設備時，可以容易地在接收和再現(xiàn)側的設備上適當?shù)乩幂o助圖像。

此外，指示輔助圖像的類型的信息可以被配置成包含指示輔助圖像是否是關于用作色度鍵的α通道的信息、深度信息或關于通過疊加在主圖像上而顯示的覆蓋的信息的信息。盡管輔助圖像的特定分量是任意的，但是當假設該分量被限制為上述實例時，例如，識別信息可以用于向接收和再現(xiàn)側的設備呈現(xiàn)哪一種類型的特定分量更容易應用于該輔助圖像。

另外，輔助信息可以被配置成進一步包含關于編碼數(shù)據(jù)的附加信息，其對應于指示輔助圖像的類型的信息。例如，當輔助圖像的編碼模式是高效視頻編碼(HEVC)等時，根據(jù)輔助圖像的類型的輔助增強信息(SEI)包含在編碼數(shù)據(jù)中。該SEI可以被配置成包含在輔助信息中，以便被提供給接收和再現(xiàn)側的設備。因此，接收和再現(xiàn)側的設備可以基于獲得的信息而獲得更多信息來更適當?shù)靥幚磔o助圖像。

另外，輔助信息可以被配置成存儲在軌道的樣本條目中。盡管輔助信息的存儲位置是任意的，但是當輔助信息存儲在樣本條目中時，對于接收和再現(xiàn)側的設備來說，對于其的參考變得容易。

同時，包含存儲其中編碼主圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)的軌道的文件可以被配置成生成為與包含存儲其中編碼輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)的軌道的文件不同的文件。簡而言之，主圖像和輔助圖像可以被配置成個別地轉換為單獨的文件。

作為除了用于生成上述文件的方法之外的方法，例如，可以配置成生成控制文件的再現(xiàn)的元數(shù)據(jù)，所述文件包含其中編碼與主圖像一起使用的輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)，同時包含用作關于輔助圖像的信息的輔助信息。例如，MPD可以被配置成生成為上述元數(shù)據(jù)。

如上所述，也在將輔助信息作為用于輔助圖像的元數(shù)據(jù)提供給接收和再現(xiàn)側的設備的情況下，接收和再現(xiàn)側的設備可以識別出由該元數(shù)據(jù)控制的對象是輔助圖像以將輔助圖像與一般圖像區(qū)分開。由此，可能抑制由于被視為一般圖像而對輔助圖像的錯誤處理。換句話說，可以控制與主圖像一起使用的輔助圖像的提供。

另外，輔助信息可以被配置成設置在段所屬的表示中，在該段中設置包含其中編碼輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)的文件。盡管輔助信息的存儲位置是任意的，但是在MPD的情況下，通過設置在表示中，對于接收和再現(xiàn)側的設備來說，輔助信息的處理(對于其的參考等)變得容易。

同時，輔助信息可以被配置成包含指示輔助圖像的類型的信息。此外，指示輔助圖像的類型的信息可以被配置成包含指示輔助圖像是否是關于用作色度鍵的α通道的信息、深度信息或關于通過疊加在主圖像上而顯示的覆蓋的信息的信息。另外，輔助信息可以被配置成進一步包含關于編碼數(shù)據(jù)的附加信息，其對應于指示輔助圖像的類型的信息。這些信息以與用于生成文件的上述情況類似的方式來配置。

另外，輔助信息的至少一部分可以被配置成設置在段所屬的表示的基本屬性中，在該段中設置包含其中編碼輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)的文件。盡管用于設置輔助信息的方法是任意的，但是在MPD的情況下，通過設置在如上所述的基本屬性中，對于接收和再現(xiàn)側的設備來說，輔助信息的識別和其特定分量的識別變得容易。

元數(shù)據(jù)也可以被配置成具有包含關于包含其中編碼輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)的文件的信息的自適應集，和包含關于包含其中編碼主圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)的文件的信息的自適應集。簡而言之，自適應集可以被配置成為主圖像和輔助圖像中的每個個別地生成。

<文件生成裝置>

接著，將描述生成上述MP4文件和MPD的裝置。圖9是圖示作為應用本技術的信息處理裝置的實施方案而呈現(xiàn)的文件生成裝置的示例性主要配置的方框圖。在圖9中，文件生成裝置100用作一種裝置，其被配置成編碼基層的圖像(BL圖像)和輔助視頻層的圖像，具體來說，輔助圖像(AUX圖像)，使得生成存儲每個已經獲得的層級的編碼數(shù)據(jù)的MP4文件并且生成控制該MP4文件的遞送的MPD。

如圖9中所示，文件生成裝置100包括基層編碼單元101、輔助視頻層編碼單元102、MP4文件生成單元103、樣本條目設置單元104、MPD生成單元105和表示設置單元106。

基層編碼單元101根據(jù)預定編碼模式(例如，HEVC)編碼基層的輸入圖像(BL圖像)以生成基層的編碼數(shù)據(jù)。基層編碼單元101將已經生成的基層的編碼數(shù)據(jù)(HEVC)提供給MP4文件生成單元103。

輔助視頻層編碼單元102根據(jù)預定編碼模式(例如，SHVC)編碼輔助視頻層的輸入圖像(AUX圖像)以生成增強層的編碼數(shù)據(jù)。輔助視頻層編碼單元102將已經生成的輔助視頻層的編碼數(shù)據(jù)(SHVC)提供給MP4文件生成單元103。輔助視頻層編碼單元102也將用作關于AUX圖像的信息的輔助信息提供給樣本條目設置單元104。

MP4文件生成單元103生成存儲從基層編碼單元101提供的基層的編碼數(shù)據(jù)(HEVC)和從輔助視頻層編碼單元102提供的輔助視頻層的編碼數(shù)據(jù)(SHVC)的文件(MP4文件)。MP4文件生成單元103將基層的編碼數(shù)據(jù)(HEVC)和輔助視頻層的編碼數(shù)據(jù)(SHVC)存儲到MP4文件中彼此不同的軌道。MP4文件生成單元103也在存儲輔助視頻層的編碼數(shù)據(jù)(SHVC)的軌道中設置從樣本條目設置單元104提供的樣本條目。該樣本條目包含用作關于AUX圖像的信息的輔助信息。MP4文件生成單元103輸出生成的MP4文件。MP4文件生成單元103也將生成的MP4文件提供給MPD生成單元105、表示設置單元106等。

樣本條目設置單元104通過使用從輔助視頻層編碼單元102提供的輔助信息生成樣本條目。樣本條目設置單元104將該樣本條目提供給MP4文件生成單元103，并且使MP4文件生成單元103在存儲輔助視頻層的編碼數(shù)據(jù)(SHVC)的軌道中設置該樣本條目。

MPD生成單元105生成控制從MP4文件生成單元103提供的MP4文件的遞送的MPD。此時，MPD生成單元105在MPD中的表示中設置從表示設置單元106提供的信息。MPD生成單元105輸出生成的MPD。

表示設置單元106通過使用從MP4文件生成單元103提供的MP4文件生成由MPD生成單元105生成的在MPD中的表示中設置的信息，然后將生成的信息提供給MPD生成單元105，使得相應地設置MPD。

<MP4文件的示例性配置>

圖10圖示由文件生成裝置100的MP4文件生成單元103生成的MP4文件的示例性主要配置。

在圖10中的實例的情況下，MP4文件生成單元103生成具有1mbps帶寬(帶寬＝1mbps)的主圖像(基層)的MP4文件(1mbps.mp4)、其輔助圖像(輔助視頻層)的MP4文件(1mbps_aux.mp4)、具有3mbps帶寬(帶寬＝3mbps)的主圖像(基層)的MP4文件(3mbps.mp4)，以及其輔助圖像(輔助視頻層)的MP4文件(3mbps_aux.mp4)中的每個。換句話說，主圖像和其輔助圖像(AUX圖像)被存儲在彼此不同的軌道中，并且這些軌道被轉換為文件作為彼此不同的文件。

基層的編碼數(shù)據(jù)(即，主圖像的編碼數(shù)據(jù))的樣本(HEVC樣本)被存儲在MP4文件(1mbps.mp4)中包含的軌道1(Track1)中。另外，在樣本條目(樣本條目＝'hvc1')中設置指示基層的編碼模式是HEVC的編碼信息。此外，在該樣本條目中設置存儲用于解碼HEVC編碼數(shù)據(jù)所需的配置(configuration)信息的hvcC盒(hvcC box)。

輔助視頻層的編碼數(shù)據(jù)(即，對應于軌道1中的主圖像的AUX圖像的編碼數(shù)據(jù))的樣本(SHVC輔助樣本)被存儲在MP4文件(1mbps_aux.mp4)中包含的軌道2(Track2)中。另外，在樣本條目(樣本條目＝'lha1')中設置指示軌道2是輔助視頻層的軌道并且其編碼模式是SHVC的編碼信息。換句話說，其中設置與在編碼模式是SHVC的主圖像的情況下的編碼信息(lhv1)不同的編碼信息。此外，在該樣本條目中設置存儲用于以SHVC編碼模式解碼輔助圖像的編碼數(shù)據(jù)所需的配置(configuration)信息的lhaC盒(lhaC box)。

另外，指示對基層的軌道1的參考對應于軌道2的信息是必要的(1)，并且在軌道2(sbas＝1)中的軌道參考(Track Reference)中設置該參考的類型(sbas)。

MP4文件(3mbps.mp4)的配置與MP4文件(1mbps.mp4)的配置類似，只是其帶寬與MP4文件(1mbps.mp4)的帶寬不同。因此，MP4文件(3mbps_aux.mp4)的配置也與MP4文件(1mbps_aux.mp4)的配置類似，只是其帶寬與MP4文件(1mbps_aux.mp4)的帶寬不同。應注意，然而，MP4文件(3mbps_aux.mp4)中的軌道4(Track4)的軌道參考(Track Reference)指示對軌道3的參考是必要的(sbas＝3)。

如上所述，在存儲關于輔助圖像的信息的軌道的樣本條目中的編碼信息中，設置指示該軌道存儲關于輔助圖像的信息的值。具體來說，樣本條目設置單元104基于輔助信息在樣本條目中的編碼信息中設置這樣的值。換句話說，在存儲關于輔助圖像的信息的軌道的樣本條目中，指示該軌道存儲關于輔助圖像的信息的識別信息被設置為輔助信息。因此，通過參考該編碼信息，在接收和再現(xiàn)該MP4文件的一側的設備可以容易地識別關于輔助圖像的信息被存儲在該軌道中。

另外，包含在lhaC盒(lhaC box)中的信息是任意的。圖11圖示lhaC盒(lhaC box)的示例性語法。

在圖11中的實例的情況下，將“auxId”存儲在lhaC盒(lhaC box)中作為指示輔助圖像的類型的信息。該“auxId”的值指示當設置為“1”(auxId＝1 alpha_chanel_info)時，輔助圖像(AUX圖像)是α通道的圖像。同時，該“auxId”的值指示當設置為“2”(auxId＝2 depth_representation_info)時，輔助圖像(AUX圖像)是深度信息。另外，該“auxId”的值指示當設置為“3”(auxId＝3 overlay_info)時，輔助圖像(AUX圖像)是用于覆蓋的圖像。

當這種識別信息“auxId”存儲在lhaC盒(lhaC box)中以便提供給接收和再現(xiàn)側的設備時，可以在接收和再現(xiàn)側的設備上容易地確定該輔助圖像的類型，由此可以正確地利用輔助圖像。盡管用于指定輔助圖像的類型的方法是任意的，但是當如上所述預先限制輔助圖像的類型時，可以通過使用這種識別信息指定輔助圖像的類型來抑制信息量的增加。另外，信息的格式被制定為標準，因此，對于接收和再現(xiàn)側的設備來說，該信息的處理變得容易。因此，可以更容易地確定輔助圖像的類型。

上述識別信息“auxId”當然是一個實例。輔助圖像(AUX)圖像的類型是任意的，并且不限于上述實例。用作候選的輔助圖像的類型的數(shù)量也是任意的。另外，指定輔助圖像的類型的識別信息“auxId”的值也是任意的。

此外，在圖11中的實例的情況下，對應于輔助圖像的類型的SEI(識別信息“auxId”的值)存儲在該lhaC盒(lhaC box)中。如上所述，當另外存儲根據(jù)輔助圖像的類型的附加信息時，接收和再現(xiàn)側的設備可以因此基于所獲得的信息來獲得更多的信息以更正確地處理輔助圖像。

<MPD的示例性配置>

接著，圖12圖示由文件生成裝置100的MPD生成單元105生成的MPD的示例性主要配置。

在圖12中的實例的情況下，兩個自適應集(AdaptationSet)被設置在時段(Period)的較低級別。關于主圖像的信息被存儲在一個自適應集中，而關于輔助圖像的信息被存儲在另一個自適應集中。

兩個表示(Representation)被設置在主圖像的自適應集的較低級別。關于具有1mbps帶寬的主圖像的信息被存儲在一個表示中，而關于具有3mbps帶寬的主圖像的信息被存儲在另一個表示中。

段(Segment)被設置在關于具有1mbps帶寬的主圖像的信息的表示的較低級別，其中關于具有1mbps帶寬(帶寬＝1mbps)的主圖像(基層)的MP4文件(1mbps.mp4)的信息被設置(注冊)到該段。

另外，指示關于具有1mbps帶寬的主圖像的信息被存儲在其中的識別信息(<id＝"bs1">)、指示該主圖像的編碼模式是HEVC模式的編碼信息(<codecs＝"hvc1">)，以及指示帶寬(<帶寬＝"1mbps">)的信息被設置在該表示中。

段被設置在關于具有3mbps帶寬的主圖像的信息的表示的較低級別，其中關于具有3mbps帶寬(帶寬＝3mbps)的主圖像(基層)的MP4文件(3mbps.mp4)的信息被設置(注冊)到該段。

另外，指示關于具有3mbps帶寬的主圖像的信息被存儲在其中的識別信息(<id＝"bs3">)、指示該主圖像的編碼模式是HEVC模式的編碼信息(<codecs＝"hvc1">)，以及指示帶寬(<帶寬＝"3mbps">)的信息被設置在該表示中。

同時，兩個表示被設置在輔助圖像的自適應集的較低級別。關于具有1mbps帶寬的輔助圖像的信息被存儲在一個表示中，而關于具有3mbps帶寬的輔助圖像的信息被存儲在另一個表示中。

段被設置在關于具有1mbps帶寬的輔助圖像的信息的表示的較低級別，其中關于具有1mbps帶寬(帶寬＝1mbps)的輔助圖像(基層)的MP4文件(1mbps_aux.mp4)的信息被設置(注冊)到該段。

另外，指示關于具有1mbps帶寬的輔助圖像的信息被存儲在其中的識別信息(<id＝"aux1">)、指示該輔助圖像的編碼模式是SHVC模式的編碼信息(<codecs＝"lha1">)，以及指示帶寬(<帶寬＝"1mbps">)的信息在該表示中被設置為輔助信息。通過參考信息的這些項目，接收和再現(xiàn)側的設備可以識別出由該元數(shù)據(jù)控制的對象是輔助圖像以將該輔助圖像與一般圖像區(qū)分開。由此，可能抑制由于被視為一般圖像而對輔助圖像的錯誤處理。換句話說，可以控制與主圖像一起使用的輔助圖像的提供。另外，當如上所述的輔助信息被設置在表示中時，對于接收和再現(xiàn)側的設備來說，輔助信息的處理(對于其的參考等)變得容易。

此外，指示對關于具有1mbps帶寬(id＝"bs1")的主圖像和該參考的類型(sbas)的信息的表示的參考的鏈接信息(關聯(lián)信息)(<associationId＝"bs1"associationType＝"sbas">)在該表示中被設置為輔助信息。使用這種輔助信息，可以在接收和再現(xiàn)側的設備上容易地識別表示之間(MP4文件之間)的參考關系。

同時，指示輔助圖像的類型的信息在該表示中被設置為基本屬性(EssentialProperty)。例如，將輔助圖像的方案設置為元素(schemeIdUri＝"urn:mpeg:DASH:hevc:aux:2014")，并且將指示輔助圖像的類型的識別信息“auxId”設置為其值(value)。該識別信息“auxId”是與MP4文件的識別信息“auxId”類似的信息。例如，設置如下所示的信息。

<EssentialPropertyschemeIdUri＝"urn:mpeg:DASH:hevc:aux:2014"value＝"auxId">

當指示輔助圖像的類型的這種信息作為輔助信息被呈現(xiàn)給接收和再現(xiàn)側的設備時，可以容易地在接收和再現(xiàn)側的設備上適當?shù)乩迷撦o助圖像。此外，可以通過使用這種識別信息指定輔助圖像的類型來抑制信息量的增加。另外，信息的格式被制定為標準，因此，對于接收和再現(xiàn)側的設備來說，該信息的處理變得容易。因此，可以更容易地確定輔助圖像的類型。另外，當輔助信息被設置在基本屬性中時，對于接收和再現(xiàn)側的設備來說，輔助信息的識別和其特定分量的識別變得容易。

當然，除了上述信息之外的另一類型的信息可以被配置成設置在表示中。例如，對應于關聯(lián)圖像的類型(識別信息“auxId”的值)的SEI(附加信息)可以被配置成設置在其中。

段被設置在關于具有3mbps帶寬的輔助圖像的信息的表示的較低級別，其中關于具有3mbps帶寬(帶寬＝3mbps)的輔助圖像(基層)的MP4文件(3mbps_aux.mp4)的信息被設置(注冊)到該段。

另外，指示關于具有3mbps帶寬的輔助圖像的信息被存儲在其中的識別信息(<id＝"aux3">)、指示該輔助圖像的編碼模式是SHVC模式的編碼信息(<codecs＝"lha1">)，以及指示帶寬(<帶寬＝"3mbps">)的信息在該表示中被設置為輔助信息。

此外，指示對關于具有3mbps帶寬(id＝"bs3")的主圖像和該參考的類型(sbas)的信息的表示的參考的鏈接信息(關聯(lián)信息)(<associationId＝"bs3"associationType＝"sbas">)在該表示中被設置為輔助信息。

同時，如下所示，指示輔助圖像的類型的信息在該表示中被設置為基本屬性(EssentialProperty)。

<EssentialPropertyschemeIdUri＝"urn:mpeg:DASH:hevc:aux:2014"value＝"auxId">

MPD生成單元105如上所述生成MPD，由此可以在文件生成裝置100中實現(xiàn)與主圖像一起使用的輔助圖像的提供的控制。

<MP4文件生成處理的流程>

將參照圖13中的流程圖描述作為由圖9中的文件生成裝置100生成如圖10中的MP4文件的處理而執(zhí)行的MP4文件生成處理的示例性流程。

當開始MP4文件生成處理時，在步驟S101，基層編碼單元101編碼基層圖像(BL圖像)。

在步驟S102，輔助視頻層編碼單元102編碼輔助圖像(AUX圖像)。

在步驟S103，MP4文件生成單元103將編碼數(shù)據(jù)的各自的項目分為單獨的軌道以生成MP4文件。在圖10中的實例的情況下，MP4文件生成單元103為每個軌道生成MP4文件。

在步驟S104，MP4文件生成單元103對輔助視頻層的軌道中的基層的軌道設置軌道參考。

在步驟S105，樣本條目設置單元104通過使用輔助信息來設置用于輔助視頻層的軌道的樣本條目。

在步驟S106，MP4文件生成單元103輸出生成的MP4文件。

如上所述，通過執(zhí)行MP4文件生成處理，文件生成裝置100可以生成具有如圖10中所示的配置的MP4文件。具體來說，文件生成裝置100可以被配置成通過該MP4文件控制與主圖像一起使用的輔助圖像的提供。換句話說，在圖像遞送中實現(xiàn)與主圖像一起使用的輔助圖像的提供的控制。

<MPD生成處理的流程>

將參照圖14中的流程圖描述作為由圖9中的文件生成裝置100生成如圖12的實例中的MPD的處理而執(zhí)行的MPD生成處理的示例性流程。

當開始MPD生成處理時，在步驟S121，基層編碼單元101、輔助視頻層編碼單元102、MP4文件生成單元103和樣本條目設置單元104生成基層的圖像(BL圖像)和輔助視頻層的圖像(AUX圖像)的MP4文件。以與參照圖13中的流程圖描述的MP4文件生成處理類似的方式來執(zhí)行該處理。

一旦生成MP4文件，則在步驟S122，MPD生成單元105將自適應集設置在時段的較低級別。

在步驟S123，MPD生成單元105為MP4文件中的每個軌道將表示或子表示設置在自適應集的較低級別。

在步驟S124，MPD生成單元105為MP4文件中的每個軌道將段設置在每個表示的較低級別。

在步驟S125，表示設置單元106在每個表示或每個子表示中設置關于相應的軌道的信息。

在步驟S126，MPD生成單元105輸出如上所述生成的MPD。

如上所述，通過執(zhí)行MPD生成處理，文件生成裝置100可以生成具有如圖12中所示的配置的MPD。具體來說，文件生成裝置100可以被配置成通過該MPD控制與主圖像一起使用的輔助圖像的提供。換句話說，在圖像遞送中實現(xiàn)與主圖像一起使用的輔助圖像的提供的控制。

<文件再現(xiàn)裝置>

接著，將描述再現(xiàn)如上所述生成的MP4文件和MPD的裝置。圖15是圖示作為應用本技術的信息處理裝置的實施方案而呈現(xiàn)的文件再現(xiàn)裝置的示例性主要配置的方框圖。在圖15中，文件再現(xiàn)裝置200用作一種裝置，其再現(xiàn)如上所述由圖9中的文件生成裝置100生成的MP4文件和MPD，并且生成基層的解碼圖像或基層和輔助視頻層的解碼圖像來輸出。

如圖15中所示，文件再現(xiàn)裝置200包括MPD分析單元201、MP4文件再現(xiàn)單元202、基層解碼單元203和輔助視頻層解碼單元204。

MPD分析單元201獲取具有如圖12中所示的配置的MPD作為實例，以分析然后基于分析的結果控制MP4文件再現(xiàn)單元202。

在MPD分析單元201的控制下，MP4文件再現(xiàn)單元202獲取具有如圖10中所示的配置的MP4文件作為實例，以再現(xiàn)然后從基層的軌道提取編碼數(shù)據(jù)。MP4文件再現(xiàn)單元202將已經提取的基層的編碼數(shù)據(jù)提供給基層解碼單元203。

MP4文件再現(xiàn)單元202也根據(jù)需要從MP4文件中的輔助視頻層的軌道提取編碼數(shù)據(jù)。MP4文件再現(xiàn)單元202將已經提取的輔助視頻層的編碼數(shù)據(jù)提供給輔助視頻層解碼單元204。

基層解碼單元203解碼從MP4文件再現(xiàn)單元202提供的編碼數(shù)據(jù)，并且生成基層的解碼圖像(BL解碼圖像)?；鶎咏獯a單元203輸出基層的該解碼圖像(BL解碼圖像)。

輔助視頻層解碼單元204解碼從MP4文件再現(xiàn)單元202提供的編碼數(shù)據(jù)，并且生成輔助視頻層的解碼圖像(AUX解碼圖像)。輔助視頻層解碼單元204輸出輔助視頻層的該解碼圖像(AUX解碼圖像)。

<MP4文件再現(xiàn)處理的流程>

將參照圖16中的流程圖描述由該文件再現(xiàn)裝置200執(zhí)行的MP4文件再現(xiàn)處理的示例性流程。應注意，這里將描述再現(xiàn)基層和輔助視頻層的編碼數(shù)據(jù)的情況。

當開始MP4文件再現(xiàn)處理時，在步驟S201，MP4文件再現(xiàn)單元202獲取MP4文件。

在步驟S202，基于樣本條目和軌道參考中的信息，MP4文件再現(xiàn)單元202定位要再現(xiàn)的基層的軌道。

在步驟S203，MP4文件再現(xiàn)單元202提取定位的軌道的編碼數(shù)據(jù)。

在步驟S204，基層解碼單元203解碼基層的編碼數(shù)據(jù)。

在步驟S205，基層解碼單元203輸出已經生成的基層的解碼圖像(BL解碼圖像)。

在步驟S206，基于樣本條目和軌道參考中的信息，MP4文件再現(xiàn)單元202定位要再現(xiàn)的輔助視頻層的軌道。

在步驟S207，MP4文件再現(xiàn)單元202提取定位的軌道的編碼數(shù)據(jù)。

在步驟S208，輔助視頻層解碼單元204解碼輔助視頻層的編碼數(shù)據(jù)。

在步驟S209，輔助視頻層解碼單元204輸出已經生成的輔助視頻層的解碼圖像(AUX解碼圖像)。

應注意，在僅解碼基層的情況下，僅執(zhí)行從步驟S201到步驟S205的每個處理。

如上所述，通過執(zhí)行MP4文件再現(xiàn)處理，文件再現(xiàn)裝置200可以再現(xiàn)具有如圖10中所示的配置的MP4文件，并且生成每個層的解碼圖像。此時，基于存儲在MP4文件中的信息，文件再現(xiàn)裝置200可以容易地識別輔助視頻層的圖像是輔助圖像而不是一般圖像。因此，可以抑制對輔助視頻層的圖像的錯誤處理。具體來說，在文件再現(xiàn)裝置200中，可以通過MP4文件實現(xiàn)與主圖像一起使用的輔助圖像的提供的控制。換句話說，在圖像遞送中實現(xiàn)與主圖像一起使用的輔助圖像的提供的控制。

<MPD再現(xiàn)處理的流程>

將參照圖17中的流程圖描述由圖15中的文件再現(xiàn)裝置200執(zhí)行以生成具有如圖12中所示的配置作為實例的MPD的MPD再現(xiàn)處理的示例性流程。

當開始MPD再現(xiàn)處理時，在步驟S221，MPD分析單元201獲取MPD。

在步驟S222，基于MPD中的表示、子表示等中的信息，MPD分析單元201選擇要再現(xiàn)的段。

在步驟S223，根據(jù)MPD分析單元201的控制，MP4文件再現(xiàn)單元202向輔助視頻層再現(xiàn)單元204再現(xiàn)在步驟S222選擇的段中注冊的MP4文件，并且生成其解碼圖像來輸出。以與參照圖16中的流程圖描述的MP4文件再現(xiàn)處理類似的方式執(zhí)行該處理。

如上所述，通過執(zhí)行MPD再現(xiàn)處理，文件再現(xiàn)裝置200可以再現(xiàn)具有如圖12中所示的配置的MPD，并且生成每個層的解碼圖像。此時，基于存儲在MPD中的信息，文件再現(xiàn)裝置200可以容易地識別輔助視頻層的圖像是輔助圖像而不是一般圖像。因此，可以抑制對輔助視頻層的圖像的錯誤處理。具體來說，在文件再現(xiàn)裝置200中，可以通過MPD實現(xiàn)與主圖像一起使用的輔助圖像的提供的控制。換句話說，在圖像遞送中實現(xiàn)與主圖像一起使用的輔助圖像的提供的控制。

<2.第二實施方案>

<MP4文件的示例性配置>

應注意，盡管已經參照圖10描述MP4文件的示例性配置，但是配置不限于該實例。例如，多個主圖像(BL圖像)可以與一個輔助圖像(AUX圖像)相關聯(lián)。具體來說，該多個主圖像可以被配置成使得其中的任何一個可以與一個通用輔助圖像一起使用(例如，顯示)。

圖18圖示這種情況的MP4文件的示例性配置。在這種情況下，軌道3(Track3)存儲關于與具有1mbp帶寬的主圖像(其被存儲在軌道1(Track1)中)和具有3mbps帶寬的主圖像(其被存儲在軌道2(Track2)中)相關聯(lián)的輔助圖像的信息。因此，在這種情況下，在軌道3的軌道參考(sbas＝1.2)中指示與軌道1和軌道2的參考關系。其他配置與圖10的情況類似。

在MP4文件中，如上所述，可以通過使用軌道參考容易地將一個輔助圖像與多個主圖像鏈接。

在這種情況下的MP4文件生成處理和MP4文件再現(xiàn)處理與第一實施方案的情況類似，因此，將省略其描述。

具體來說，也在這種情況下，在圖像遞送中實現(xiàn)與主圖像一起使用的輔助圖像的提供的控制。

<MPD的示例性配置>

另外，圖19圖示在這種情況下的MPD的示例性配置。如圖19中所示，存儲有關于具有500kbps帶寬的輔助圖像的信息的一個表示被設置在輔助圖像的自適應集的較低級別。該輔助圖像與具有1mbps帶寬的主圖像和具有3mbps帶寬的主圖像鏈接。

因此，指示對關于具有1mbps帶寬(id＝"bs1")的主圖像的信息的表示以及關于具有3mbps帶寬(id＝"bs3")的主圖像和這些參考的類型(sbas)的信息的表示的參考的鏈接信息(關聯(lián)信息)(<associationId＝"bs1,bs3"associationType＝"sbas">)在該輔助圖像的表示中被設置為輔助信息。其他配置與圖12的情況類似。

在MPD中，如上所述，可以通過使用關聯(lián)信息容易地將一個輔助圖像與多個主圖像鏈接。

在這種情況下的MPD生成處理和MPD再現(xiàn)處理與第一實施方案的情況類似，因此，將省略其描述。

具體來說，也在這種情況下，在圖像遞送中實現(xiàn)與主圖像一起使用的輔助圖像的提供的控制。

<3.第三實施方案>

<MP4文件的示例性配置>

或者，在MP4文件中，例如，存儲關于主圖像(BL圖像)的信息的軌道和存儲關于輔助圖像(AUX圖像)的信息的軌道可以被配置成包含在一個文件中。圖20圖示這種情況的MP4文件的示例性主要配置。

在圖20中的實例的情況下，存儲關于具有1mbps帶寬的主圖像的信息的軌道1和存儲相應的輔助信息的軌道2包含在一個MP4文件(1mbps.mp4)中。同樣地，存儲關于具有3mbps帶寬的主圖像的信息的軌道3和存儲相應的輔助信息的軌道4包含在一個MP4文件(3mbps.mp4)中。

當使用如上所述的配置時，可以通過僅獲取一個MP4文件來獲取彼此鏈接的主圖像和輔助圖像兩者。換句話說，在接收和再現(xiàn)側的設備上MP4文件的處理變得容易。例如，如在圖10中的實例中，當軌道個別地轉換為單獨的文件時，需要獲取對應于軌道的數(shù)量的多個MP4文件，以便使用多個軌道。另一方面，如在圖20中的實例中，當將彼此鏈接的主圖像和輔助圖像保存在一個MP4文件中時，可能減少要獲取的MP4文件的數(shù)量。在這種情況下，然而，在MP4文件中可以包含不使用的軌道，因此，存在被迫獲取不必要的信息的可能性。在圖10中的實例的情況下，可以進一步減少不必要的信息的獲取。

同時在這種情況下，MP4文件生成處理和MP4文件再現(xiàn)處理與第一實施方案的情況類似，因此，將省略其描述。

具體來說，也在這種情況下，在圖像遞送中實現(xiàn)與主圖像一起使用的輔助圖像的提供的控制。

<MPD的示例性配置>

另外，圖21圖示在這種情況下的MPD的示例性配置。如圖21中所示，在這種情況下，將關于彼此對應的輔助圖像和主圖像的信息存儲在一個(通用)自適應集中。

另外，在這種情況下，子表示被設置在表示的較低級別，其中關于輔助圖像的信息被設置在該子表示中。在圖21中的實例的情況下，指示輔助圖像的編碼模式是SHVC模式的編碼信息(<codecs＝"lha1">)和指示帶寬(<帶寬＝"500kbps">)的信息被設置在子表示中。

同時，設置如下所示的基本屬性(EssentialProperty)，其中將輔助圖像的方案設置為元素(schemeIdUri＝"urn:mpeg:DASH:hevc:aux:2014")，并且將指示輔助圖像的類型的識別信息“auxId”設置為其值(value)。

<EssentialPropertyschemeIdUri＝"urn:mpeg:DASH:hevc:aux:2014"value＝"auxId">

另外，指示主圖像和輔助圖像之間的參考關系的級別信息被設置為如下所示。

<level＝"1"dependencyLevel＝"0">

在該級別信息中，主圖像(軌道1)被設置在0級(level0)，而輔助圖像(軌道2)被設置在1級(level1)。具體來說，上面的描述表示輔助圖像位于1級并且依賴于0級的主圖像。

在這種情況下的MPD生成處理和MPD再現(xiàn)處理與第一實施方案的情況類似，因此，將省略其描述。

具體來說，也在這種情況下，在圖像遞送中實現(xiàn)與主圖像一起使用的輔助圖像的提供的控制。

<4.第四實施方案>

<遞送系統(tǒng)>

到目前為止各自的實施方案中描述的每個裝置可以用于例如一種遞送系統(tǒng)，其被配置成遞送靜止圖像和運動圖像。下文將描述這種情況。

圖22是圖示應用本技術的遞送系統(tǒng)的示例性主要配置的圖解。圖22中所示的遞送系統(tǒng)300是遞送靜止圖像和運動圖像的系統(tǒng)。如圖22中所示，遞送系統(tǒng)300包括遞送數(shù)據(jù)生成裝置301、遞送服務器302、網絡303、終端裝置304和終端裝置305。

遞送數(shù)據(jù)生成裝置301生成用于從要遞送的靜止圖像和運動圖像的數(shù)據(jù)遞送的格式的遞送數(shù)據(jù)。遞送數(shù)據(jù)生成裝置301將生成的遞送數(shù)據(jù)提供給遞送服務器302。遞送服務器302通過存儲到存儲單元等來管理由遞送數(shù)據(jù)生成裝置301生成的遞送數(shù)據(jù)，并且通過網絡303將該遞送數(shù)據(jù)的遞送服務提供給終端裝置304和終端裝置305。

網絡303是用作通信介質的通信網絡。網絡303可以被配置成任何類型的通信網絡，并且可以是有線通信網絡、無線通信網絡，或替代地其兩者。例如，可以使用有線局域網(LAN)、無線LAN、公共電話線網絡、用于諸如所謂的3G線路和4G線路的無線移動體的廣域通信網絡，或互聯(lián)網等?；蛘?，可以使用其組合。另外，網絡303可以由單個數(shù)量的通信網絡或多個數(shù)量的通信網絡構成。同時，例如，網絡303的一部分或全部可以被配置成包括預定標準的通信電纜，諸如通用串行總線(USB)電纜或高清晰度多媒體接口(HDMI)(注冊商標)電纜。

遞送服務器302、終端裝置304和終端裝置305連接到該網絡303并被設置為使得其中的通信是可能的。用于將這些構件連接到網絡303的方法是任意的。例如，這些裝置可以被配置成通過有線通信連接到網絡303，或替代地，可以被配置成通過無線通信連接到網絡303。另外，例如，這些裝置可以被配置成通過諸如接入點、中繼裝置或基站的任意通信裝置(通信設施)連接到網絡303。

終端裝置304和終端裝置305中的每個是具有通信功能的任意電子電器，諸如便攜式電話、智能電話、平板式計算機或筆記本型計算機。終端裝置304或終端裝置305基于來自例如用戶的指令請求遞送服務器302對遞送文件的遞送。

遞送服務器302將請求的遞送數(shù)據(jù)發(fā)送到請求者。已請求遞送的終端裝置304或終端裝置305接收要再現(xiàn)的該遞送數(shù)據(jù)。

在如上所述的遞送系統(tǒng)300中，在各自的實施方案中較早描述的本技術被應用為遞送數(shù)據(jù)生成裝置301。具體來說，使用上述文件生成裝置100來用作遞送數(shù)據(jù)生成裝置301。

另外，在各自的實施方案中較早描述的本技術被應用為終端裝置304和終端裝置305。具體來說，使用上述文件再現(xiàn)裝置200來用作終端裝置304和終端裝置305。

當以這種方式配置時，可以在遞送數(shù)據(jù)生成裝置301、終端裝置304和終端裝置305中獲得與上述各自的實施方案的效果類似的效果。換句話說，可以在遞送系統(tǒng)300中控制與主圖像一起使用的輔助圖像的提供。

<5.第五實施方案>

<計算機>

一系列的上述處理也可以通過使用硬件來執(zhí)行，并且還可以通過使用軟件來執(zhí)行。當該系列的處理由軟件執(zhí)行時，構成該軟件的程序安裝在計算機中。這里，計算機包括內置于專用硬件中的計算機，以及當安裝有各種類型的程序時能夠執(zhí)行各種類型的功能的計算機，例如，通用個人計算機。

圖23是圖示使用程序來執(zhí)行上述一系列處理的計算機的示例性硬件配置的方框圖。

在圖23中所示的計算機400中，中央處理單元(CPU)401、只讀存儲器(ROM)402和隨機存取存儲器(RAM)403通過總線404互連。

另外，輸入/輸出接口410連接到總線404。輸入單元411、輸出單元412、存儲單元413、通信單元414和驅動器415連接到輸入/輸出接口410。

例如，輸入單元411包括鍵盤、鼠標、麥克風、觸摸面板和輸入終端。例如，輸出單元412包括顯示器、揚聲器和輸出終端。例如，存儲單元413包括硬盤、RAM磁盤和非易失性存儲器。例如，通信單元414包括網絡接口。驅動器415驅動移動介質421，諸如磁盤、光盤、磁光盤或半導體存儲器。

在如上所述配置的計算機中，例如，以CPU 401通過輸入/輸出接口410和總線404將存儲在存儲單元413中的程序加載到RAM 403來執(zhí)行的方式執(zhí)行上述一系列處理。當執(zhí)行各種類型的處理等時CPU 401所需的數(shù)據(jù)也根據(jù)需要存儲在RAM 403中。

例如，由計算機(CPU 401)執(zhí)行的程序可以通過記錄在用作封裝介質等的移動介質421中來應用。在這種情況下，通過將移動介質421安裝在驅動器415中，可以通過輸入/輸出接口410將程序安裝到存儲單元413。

另外，也可以通過有線或無線傳輸介質(諸如局域網、互聯(lián)網或數(shù)字衛(wèi)星廣播)來提供該程序。在這種情況下，程序可以由通信單元414接收以安裝到存儲單元413。

作為替代方式，該程序可以預先安裝到ROM 402或存儲單元413。

應注意，由計算機執(zhí)行的程序可以是其中根據(jù)本描述中描述的順序沿著時間序列執(zhí)行處理的程序，或替代地，可以是其中并行地或在必要的定時(例如，當被調用時)執(zhí)行處理的程序。

另外，在本描述中，描述要記錄在記錄介質中的程序的步驟當然包括根據(jù)描述步驟的順序沿著時間序列執(zhí)行的處理，并且另外包括不必沿著時間序列處理但以并行方式或個別地執(zhí)行的處理。

此外，可以通過上述各自的裝置或除了上述各自的裝置之外的任意裝置來執(zhí)行上述步驟的處理。在這種情況下，要執(zhí)行該處理的裝置簡單地被配置成具有執(zhí)行上述處理所需的功能(例如，功能塊)。另外，用于處理所需的信息可以被配置成根據(jù)需要傳輸?shù)皆撗b置。

同時，在本描述中，系統(tǒng)是指多個構成構件(例如，裝置和模塊(組件))的集合，并且是否所有構成構件被布置在同一機柜內不被認為是重要的。因此，容納在分離的機柜中以通過網絡彼此連接的多個裝置和其中多個模塊容納在一個機柜內的一個裝置都被視為系統(tǒng)。

另外，在上述情況下，被描述為一個裝置(或處理單元)的配置可以被劃分以被配置成多個裝置(或處理單元)?；蛳喾?，在上述情況下，被描述為多個裝置(或處理單元)的配置可以被集成以被配置成一個裝置(或處理單元)。另外，當然，可以使用除了上述配置之外的配置來添加到各自的裝置(或各自的處理單元)的配置。此外，某一裝置(或某一處理單元)的一部分可以被配置成包括在另一裝置(或另一處理單元)的配置中，只要系統(tǒng)的配置或操作整體上保持大體上不變。

到目前為止已經參照附圖詳細描述了本公開的有利實施方案。然而，本公開的技術范圍不限于這些實例。顯然，具有本公開的技術領域的普通知識的人可以在權利要求中所公開的技術精神的范圍內進行各種變化或修改，并且當然，這些被理解為本公開的技術范圍的一部分。

例如，本技術可以使用云計算配置，其中一個功能被劃分并分配給多個裝置，以便通過網絡在其中協(xié)調處理。

另外，在上述流程圖中描述的各自的步驟可以由每個占有一部分的多個裝置執(zhí)行，以及由單個裝置執(zhí)行。

此外，當在一個步驟中包括多個處理時，包括在一個步驟中的該多個處理可以由每個占有一部分的多個裝置執(zhí)行，以及由單個裝置執(zhí)行。

另外，本技術不限于此，并且也可以作為配備在構成上述裝置或系統(tǒng)的裝置中的任何配置來執(zhí)行，例如，用作系統(tǒng)大規(guī)模集成(LSI)等的處理器、使用多個處理器等的模塊、使用多個模塊等的單元，或將另一功能進一步添加到單元等的集合(即，裝置的部分配置)。

應注意，本技術也可以如下所述進行配置。

(1)一種信息處理裝置，包括文件生成單元，被配置成生成包含軌道的文件，所述軌道存儲其中編碼與主圖像一起使用的輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)，以及用作關于所述輔助圖像的信息的輔助信息。

(2)根據(jù)(1)所述的信息處理裝置，其中

所述輔助信息包含識別信息，其指示所述軌道是存儲其中編碼所述輔助圖像的所述圖像數(shù)據(jù)的所述編碼數(shù)據(jù)的軌道。

(3)根據(jù)(1)或(2)所述的信息處理裝置，其中

所述輔助信息包含指示所述輔助圖像的類型的信息。

(4)根據(jù)(3)所述的信息處理裝置，其中

指示所述輔助圖像的所述類型的所述信息包含指示所述輔助圖像是否是關于用作色度鍵的α通道的信息、深度信息或關于通過疊加在所述主圖像上而顯示的覆蓋的信息的信息。

(5)根據(jù)(3)或(4)所述的信息處理裝置，其中

所述輔助信息進一步包含關于所述編碼數(shù)據(jù)的附加信息，其對應于指示所述輔助圖像的所述類型的所述信息。

(6)根據(jù)(1)至(5)中任一項所述的信息處理裝置，其中

所述輔助信息存儲在所述軌道的樣本條目中。

(7)根據(jù)(1)至(6)中任一項所述的信息處理裝置，其中

所述文件生成單元生成包含存儲其中編碼所述主圖像的所述圖像數(shù)據(jù)的所述編碼數(shù)據(jù)的所述軌道的文件，作為與包含存儲其中編碼所述輔助圖像的所述圖像數(shù)據(jù)的所述編碼數(shù)據(jù)的所述軌道的所述文件不同的文件。

(8)根據(jù)(7)所述的信息處理裝置，其中

所述文件生成單元針對包含存儲其中編碼所述輔助圖像的所述圖像數(shù)據(jù)的所述編碼數(shù)據(jù)的所述軌道的一個文件生成多個文件，每個文件包含存儲其中編碼所述主圖像的所述圖像數(shù)據(jù)的所述編碼數(shù)據(jù)的所述軌道。

(9)根據(jù)(1)至(8)中任一項所述的信息處理裝置，其中

所述文件生成單元生成包含存儲其中編碼所述輔助圖像的所述圖像數(shù)據(jù)的所述編碼數(shù)據(jù)的所述軌道和存儲其中編碼所述主圖像的所述圖像數(shù)據(jù)的所述編碼數(shù)據(jù)的所述軌道這兩者的文件。

(10)一種信息處理方法，其被配置成生成包含軌道的文件，所述軌道存儲其中編碼與主圖像一起使用的輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)，以及用作關于所述輔助圖像的信息的輔助信息。

(11)一種信息處理裝置，包括元數(shù)據(jù)生成單元，被配置成生成控制文件的再現(xiàn)的元數(shù)據(jù)，所述文件包含其中編碼與主圖像一起使用的輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)，同時包含用作關于所述輔助圖像的信息的輔助信息。

(12)根據(jù)(11)所述的信息處理裝置，其中

所述輔助信息設置在段所屬的表示中，在該段中設置包含其中編碼所述輔助圖像的所述圖像數(shù)據(jù)的所述編碼數(shù)據(jù)的所述文件。

(13)根據(jù)(11)或(12)所述的信息處理裝置，其中

所述輔助信息包含指示所述輔助圖像的類型的信息。

(14)根據(jù)(13)所述的信息處理裝置，其中

指示所述輔助圖像的所述類型的所述信息包含指示所述輔助圖像是否是關于用作色度鍵的α通道的信息、深度信息或關于通過疊加在所述主圖像上而顯示的覆蓋的信息的信息。

(15)根據(jù)(13)或(14)所述的信息處理裝置，其中

所述輔助信息進一步包含關于所述編碼數(shù)據(jù)的附加信息，其對應于指示所述輔助圖像的所述類型的所述信息。

(16)根據(jù)(11)至(15)中任一項所述的信息處理裝置，其中

所述輔助信息的至少一部分設置在所述段所屬的所述表示的基本屬性中，在該段中設置包含其中編碼所述輔助圖像的所述圖像數(shù)據(jù)的所述編碼數(shù)據(jù)的所述文件。

(17)根據(jù)(11)至(16)中任一項所述的信息處理裝置，其中

所述元數(shù)據(jù)具有包含關于包含其中編碼所述輔助圖像的所述圖像數(shù)據(jù)的所述編碼數(shù)據(jù)的所述文件的信息的自適應集，和包含關于包含其中編碼所述主圖像的所述圖像數(shù)據(jù)的所述編碼數(shù)據(jù)的文件的信息的自適應集。

(18)根據(jù)(17)所述的信息處理裝置，其中

所述元數(shù)據(jù)具有屬于所述自適應集的多個表示，所述自適應集包含關于包含其中編碼所述主圖像的所述圖像數(shù)據(jù)的所述編碼數(shù)據(jù)的所述文件的所述信息。

(19)根據(jù)(11)至(18)中任一項所述的信息處理裝置，其中

所述元數(shù)據(jù)具有自適應集，其包含關于包含其中編碼所述輔助圖像的所述圖像數(shù)據(jù)的所述編碼數(shù)據(jù)和其中編碼所述主圖像的所述圖像數(shù)據(jù)的所述編碼數(shù)據(jù)這兩者的文件的信息。

(20)一種信息處理方法，其被配置成生成控制文件的再現(xiàn)的元數(shù)據(jù)，所述文件包含其中編碼與主圖像一起使用的輔助圖像的圖像數(shù)據(jù)的編碼數(shù)據(jù)，同時包含用作關于所述輔助圖像的信息的輔助信息。

參考符號列表

100 文件生成裝置

101 基層編碼單元

102 輔助視頻層編碼單元

103 MP4文件生成單元

104 樣本條目設置單元

105 MPD生成單元

106 表示設置單元

200 文件再現(xiàn)裝置

201 MPD分析單元

202 MP4文件再現(xiàn)單元

203 基層解碼單元

204 輔助視頻層解碼單元

300 遞送系統(tǒng)

301 遞送數(shù)據(jù)生成裝置

302 遞送服務器

303 網絡

304、305 終端裝置

400 計算機。