本發(fā)明涉及通信領(lǐng)域，具體涉及一種碼流對(duì)齊、同步處理方法及發(fā)送、接收終端和通信系統(tǒng)。
背景技術(shù)：
：由ITU-T/VCEG(VideoCodingExpertsGroup)和ISO/IECMPEG聯(lián)合制定的新一代視頻壓縮標(biāo)準(zhǔn)H.265/HEVC(HighEfficiencyVideoCoding)，延續(xù)了上一代視頻標(biāo)準(zhǔn)H.264/AVC的風(fēng)格，兼容可伸縮視頻編碼(ScalableVideoCoding)，與H.264/AVC不同的一個(gè)方面是，提出了多個(gè)編碼標(biāo)準(zhǔn)聯(lián)合的可伸縮編碼(DifferentCodingStandardswithScalability)的需求。目前已發(fā)布的H.265/HEVC標(biāo)準(zhǔn)(2014-10版本)稱(chēng)為“H.265/HEVCVersion2”標(biāo)準(zhǔn)，在Version2中為混合編碼(HybridScalability)提供一個(gè)用于指示基本層(BaseLayer)的信息，至于如何將基本層(BaseLayer)的圖像放置進(jìn)入增強(qiáng)層(EnhancementLayer)的參考幀管理中，采用外部方法(ExternalMeans)，而外部方法在Version2中不做說(shuō)明。預(yù)計(jì)未來(lái)幾年使用H.264/AVC的設(shè)備將廣泛應(yīng)用，在全世界范圍內(nèi)，H.264/AVC將是數(shù)字視頻主要采用的視頻編碼協(xié)議。因此，發(fā)展新一代視頻可伸縮編碼標(biāo)準(zhǔn)能夠兼容H.264/AVC，在標(biāo)準(zhǔn)的遷移過(guò)程中就會(huì)非常有用。多個(gè)編碼標(biāo)準(zhǔn)聯(lián)合的可伸縮編碼是指兩個(gè)不同的視頻標(biāo)準(zhǔn)碼流根據(jù)一定的規(guī)則組合，也稱(chēng)為多協(xié)議混合編碼(HybridCoding)。例如，空間可伸縮(SpatialScalability)，基本層(BaseLayer)是H.264/AVC標(biāo)準(zhǔn)ConstrainedBaselineProfile，MainProfile和HighProfile兼容的碼流。增強(qiáng)層(EnhancementLayer)包含HEVC基本碼流。這兩層圖像的尺寸可以相同，也可以不相同，即H.264/AVC采用低分辨率，H.265/HEVC采用高分辨率?？臻g可伸縮編碼的基本層也可以使用MPEG-2的碼流，與H.265/HEVC的增強(qiáng)層碼流組合為混合編碼。 再如，視點(diǎn)可伸縮(ViewScalability)，基本層是一個(gè)視點(diǎn)，采用H.264/AVC編碼方式，增強(qiáng)層是另一個(gè)視點(diǎn)，采用H.265/HEVC格式，以基本層作為參考。當(dāng)然，多個(gè)編碼標(biāo)準(zhǔn)聯(lián)合的混合編碼的基本層不止限于H.264/AVC或MPEG-2。相同協(xié)議碼流組成的可伸縮碼流，可以使用多種方式進(jìn)行同步，比如在H.264/AVC中同一時(shí)刻獲得的視頻圖像及其對(duì)應(yīng)的編碼比特組成一個(gè)接入單元(AccessUnit，AU)，因此，可以通過(guò)AU范圍來(lái)同步不同層圖像。在H.265/HEVC中，可以使用視頻碼流中的語(yǔ)法信息，如POC(PictureOrderCount)等。對(duì)于兩層或者多層不同視頻編碼協(xié)議的碼流來(lái)說(shuō)，編解碼器是各自獨(dú)立的編解碼器，而且不同的視頻碼流中包含的語(yǔ)法信息也略有不同，那么以何種形式進(jìn)行碼流封裝，或者提供哪些語(yǔ)法信息，才能夠確保同步，是混合編碼(HybridCoding)需要解決的問(wèn)題。對(duì)此，現(xiàn)有的一種方法是將H.264/AVC和H.265/HEVC的碼流封裝起來(lái)，作為一個(gè)整體，采用帶內(nèi)方法(internalmeans)傳輸。也就是說(shuō)在H.265/HEVC中增加一些語(yǔ)法元素，可以指示H.264/AVC碼流存在的形式。JCT-VC標(biāo)準(zhǔn)會(huì)議有很多相關(guān)提案，如JCTVC-N0050針對(duì)AVC-HEVC混合碼流提出了解決方案，在H.264/AVCNAL單元添加一個(gè)H.265/HEVC的新增NAL頭(nal_unit_type＝ENC_NUT)，封裝為HEVCNAL單元，在VPS擴(kuò)展中增加avc_base_layer_flag來(lái)指示avc_base_profile_level_idc是否存在，而avc_base_profile_level_idc指示H.264/AVC的能力集(profile)。這種方法的缺點(diǎn)是一個(gè)標(biāo)準(zhǔn)的H.264/AVC解碼器無(wú)法解碼此種碼流，需要先解包去掉對(duì)應(yīng)H.265/HEVC的NAL單元頭信息，才能夠正確解碼。JCTVC-O0190是針對(duì)JCTVC-N0050提出了另一個(gè)不同的封裝策略。其也是將H.264/AVC和H.265/HEVC的碼流封裝起來(lái)，作為一個(gè)整體，但基本層H.264/AVCNAL單元不改變，增強(qiáng)層H.265/HEVCNAL單元增加一個(gè)前綴字節(jié)(0x16)用來(lái)讓H.264/AVC解碼器識(shí)別這部分碼流無(wú)法解碼并且丟棄，其碼流部分仍采用帶內(nèi)方法。同時(shí)建議增加一個(gè)變量HevcPrefixBytePresent，給解碼器指示需要解析這個(gè)前綴字節(jié)。這種方法需要在NAL頭中或者前面添加可標(biāo)識(shí)不同碼流的信 息，而解碼器必須能夠識(shí)別屬于自己的碼流和不屬于自己的碼流。因此，無(wú)論是H.264/AVC解碼器還是H.265/HEVC解碼器，如果想支持混合編碼(HybridCoding)的功能，都需要增加相應(yīng)的處理。這個(gè)對(duì)于已有的設(shè)備中的解碼器來(lái)說(shuō)，就無(wú)法做到不改動(dòng)或者改動(dòng)很少即可實(shí)現(xiàn)功能?？梢?jiàn)，現(xiàn)有的方法都是基于帶內(nèi)方法對(duì)不同視頻標(biāo)準(zhǔn)的碼流進(jìn)行傳輸，其對(duì)齊或同步處理過(guò)程都需要對(duì)現(xiàn)有的編解碼設(shè)備進(jìn)行改動(dòng)，實(shí)現(xiàn)過(guò)程繁雜、通用性差且實(shí)現(xiàn)成本較高。技術(shù)實(shí)現(xiàn)要素：本發(fā)明要解決的主要技術(shù)問(wèn)題是，提供一種碼流對(duì)齊、同步處理方法及發(fā)送、接收終端和通信系統(tǒng)，解決現(xiàn)有針對(duì)多種不同視頻碼流對(duì)齊、同步處理實(shí)現(xiàn)過(guò)程繁雜，通用性差、成本高的問(wèn)題。為解決上述技術(shù)問(wèn)題，本發(fā)明提供一種碼流對(duì)齊方法,包括：發(fā)送終端在多路碼流需要對(duì)齊時(shí)，在所述多路碼流中設(shè)置對(duì)齊輔助信息；所述發(fā)送終端將所述多路碼流進(jìn)行存儲(chǔ)或發(fā)送給接收終端。在本發(fā)明的一種實(shí)施例中，所述碼流為視頻碼流；所述發(fā)送終端在所述多路碼流中設(shè)置對(duì)齊輔助信息包括：在所述多路碼流的視頻層、系統(tǒng)層和應(yīng)用層中的至少一層設(shè)置所述對(duì)齊輔助信息。在本發(fā)明的一種實(shí)施例中，所述發(fā)送終端在所述多路碼流的視頻層設(shè)置所述對(duì)齊輔助信息時(shí)，包括:在視頻層以下字段中的至少一個(gè)字段設(shè)置所述對(duì)齊輔助信息：增強(qiáng)信息所對(duì)應(yīng)的字段；視頻可用信息所對(duì)應(yīng)的字段；視頻共有信息所對(duì)應(yīng)的字段；片頭信息所對(duì)應(yīng)的字段；以及碼流視頻層除上述字段外的其他至少包含一個(gè)圖像的字段。在本發(fā)明的一種實(shí)施例中，所述發(fā)送終端在所述多路碼流的系統(tǒng)層設(shè)置所述對(duì)齊輔助信息時(shí)，包括：在系統(tǒng)層中用于描述視頻媒體屬性所對(duì)應(yīng)的字段設(shè)置所述對(duì)齊輔助信息。在本發(fā)明的一種實(shí)施例中，所述發(fā)送終端在所述多路碼流的應(yīng)用層設(shè)置所述對(duì)齊輔助信息時(shí)，包括：在媒體文件中用于描述視頻媒體屬性所對(duì)應(yīng)的字段、和/或應(yīng)用層中用于描述視頻媒體屬性所對(duì)應(yīng)的字段設(shè)置所述對(duì)齊輔助信息。在本發(fā)明的一種實(shí)施例中，所述發(fā)送終端在所述多路碼流中設(shè)置所述對(duì)齊輔助信息的位置和/或內(nèi)容相同。在本發(fā)明的一種實(shí)施例中，所述發(fā)送終端在所述多路碼流中設(shè)置所述對(duì)齊輔助信息的個(gè)數(shù)和/或內(nèi)容不同。在本發(fā)明的一種實(shí)施例中，所述發(fā)送終端將所述多路碼流發(fā)送給接收終端包括：所述發(fā)送終端將所述多路碼流分別單獨(dú)發(fā)送給所述接收終端；或所述發(fā)送終端將所述多路碼流中的至少兩路封裝成一路后發(fā)送給所述接收終端；或所述發(fā)送端將所述多路碼流拆分重新組合為多路碼流后發(fā)送給所述接收終端。在本發(fā)明的一種實(shí)施例中，所述發(fā)送終端將所述多路碼流進(jìn)行存儲(chǔ)時(shí)，包括將所述多路碼流寫(xiě)入一個(gè)文件進(jìn)行存儲(chǔ)，或?qū)⑺龆嗦反a流分別寫(xiě)入單獨(dú)的文件進(jìn)行存儲(chǔ)，或?qū)⑺龆嗦反a流拆分重組后寫(xiě)入到不同的文件中進(jìn)行存儲(chǔ)。在本發(fā)明的一種實(shí)施例中，所述對(duì)齊輔助信息包括對(duì)齊標(biāo)量?jī)?nèi)容，或在包括所述對(duì)齊標(biāo)量?jī)?nèi)容時(shí)，還包括對(duì)齊指示信息。在本發(fā)明的一種實(shí)施例中，所述對(duì)齊標(biāo)量?jī)?nèi)容包括圖像絕對(duì)時(shí)間信息、圖像相對(duì)時(shí)間信息、圖像解碼順序信息、圖像播放順序信息、圖像分隔符和圖像特定界定符中的至少一種。在本發(fā)明的一種實(shí)施例中，所述對(duì)齊輔助信息包括對(duì)齊指示信息時(shí)，所述對(duì)齊指示信息包括對(duì)齊標(biāo)識(shí)信息和/或類(lèi)型信息。在本發(fā)明的一種實(shí)施例中，其特征在于，所述多路碼流為兩路不同視頻標(biāo)準(zhǔn)的視頻碼流，且其中一路為H.265/HEVC視頻碼流。為了解決上述問(wèn)題，本發(fā)明還提供了一種碼流接收方法，包括：接收終端獲取多路碼流；接收終端在所述多路碼流中攜帶有所述發(fā)送終端設(shè)置的對(duì)齊輔助信息時(shí)，根據(jù)所述對(duì)齊輔助信息對(duì)所述多路碼流進(jìn)行同步處理。在本發(fā)明的一種實(shí)施例中，所述碼流為視頻碼流，所述接收終端從所述多路碼流的應(yīng)用層、系統(tǒng)層、視頻層中的至少一層查找所述對(duì)齊輔助信息。在本發(fā)明的一種實(shí)施例中，當(dāng)一路碼流的多層中存在不一致的對(duì)齊輔助信息時(shí)，按照預(yù)設(shè)規(guī)則從中選擇一層的對(duì)齊輔助信息進(jìn)行同步處理。在本發(fā)明的一種實(shí)施例中，所述預(yù)設(shè)規(guī)則包括：選擇信道傳輸可靠性高的層中的對(duì)齊輔助信息；或，當(dāng)視頻層存在對(duì)齊輔助信息時(shí)，選擇視頻層中的對(duì)齊輔助信息，否則，選擇離視頻層最近的層中的對(duì)齊輔助信息；或，選擇所述接收終端需解碼的有效層中的對(duì)齊輔助信息。在本發(fā)明的一種實(shí)施例中，在一路碼流的信道傳輸可靠性相對(duì)較低的層存在完整的對(duì)齊輔助信息，而信道傳輸可靠性高的層的對(duì)齊輔助信息缺失時(shí)，選擇信道傳輸可靠性相對(duì)較低的層的對(duì)齊輔助信息進(jìn)行同步處理；或在一路碼流的視頻層外的其他層存在完整的對(duì)齊輔助信息，而視頻層的對(duì)齊輔助信息缺失時(shí)，選擇視頻層外的其他層的對(duì)齊輔助信息進(jìn)行同步處理。在本發(fā)明的一種實(shí)施例中，所述對(duì)齊輔助信息至少包括對(duì)齊標(biāo)量?jī)?nèi)容；所 述接收終端根據(jù)所述對(duì)齊標(biāo)量?jī)?nèi)容進(jìn)行對(duì)所述多路碼流進(jìn)行同步處理。為了解決上述問(wèn)題，本發(fā)明還提供了一種碼流處理方法，包括：發(fā)送終端在多路碼流需要對(duì)齊時(shí)，在所述多路碼流中設(shè)置對(duì)齊輔助信息；所述發(fā)送終端將所述多路碼流進(jìn)行存儲(chǔ)或發(fā)送給接收終端；所述接收終端獲取所述多路碼流；所述接收終端在所述多路碼流中攜帶有所述對(duì)齊輔助信息時(shí)，根據(jù)所述對(duì)齊輔助信息對(duì)所述多路碼流進(jìn)行同步處理。為了解決上述問(wèn)題，本發(fā)明還提供了包括處理模塊和發(fā)送模塊；所述處理模塊用于在多路碼流需要對(duì)齊時(shí)，在所述多路碼流中設(shè)置對(duì)齊輔助信息；所述發(fā)送模塊用于將所述多路碼流進(jìn)行存儲(chǔ)或發(fā)送給接收終端。在本發(fā)明的一種實(shí)施例中，所述碼流為視頻碼流，所述處理模塊包括寫(xiě)入子模塊，用于在所述多路碼流的視頻層、系統(tǒng)層和應(yīng)用層中的至少一層設(shè)置所述對(duì)齊輔助信息。為了解決上述問(wèn)題，本發(fā)明還提供了包括獲取模塊和執(zhí)行模塊；所述獲取模塊用于獲取多路碼流；所述執(zhí)行模塊用于在所述多路碼流中攜帶有所述發(fā)送終端設(shè)置的對(duì)齊輔助信息時(shí)，根據(jù)所述對(duì)齊輔助信息對(duì)所述多路碼流進(jìn)行同步處理。在本發(fā)明的一種實(shí)施例中，所述執(zhí)行模塊包括查找子模塊，用于從所述多路碼流的應(yīng)用層、系統(tǒng)層、視頻層中的至少一層查找所述對(duì)齊輔助信息。為了解決上述問(wèn)題，本發(fā)明還提供了一種通信系統(tǒng)，包括如上所述的發(fā)送終端和如上所述的接收終端；所述發(fā)送終端在多路碼流需要對(duì)齊時(shí)，分別在所述多路碼流中設(shè)置對(duì)齊輔 助信息，并將所述多路碼流進(jìn)行存儲(chǔ)或發(fā)送給所述接收終端；所述接收終端獲取所述多路碼流，在所述多路碼流中攜帶有所述對(duì)齊輔助信息時(shí)，根據(jù)所述對(duì)齊輔助信息對(duì)所述多路碼流進(jìn)行同步處理。本發(fā)明的有益效果是：本發(fā)明提供的碼流對(duì)齊、同步處理方法及發(fā)送、接收終端和通信系統(tǒng)，發(fā)送終端在多路碼流需要對(duì)齊時(shí)，在該多路碼流中設(shè)置對(duì)齊輔助信息后進(jìn)行存儲(chǔ)或發(fā)送給接收終端；接收終端接收到該多路碼流后，則可根據(jù)各路碼流中攜帶的對(duì)齊輔助信息對(duì)各路不同標(biāo)準(zhǔn)碼流進(jìn)行同步處理。可見(jiàn)，本發(fā)明直接在各路碼流中設(shè)置對(duì)齊輔助信息，實(shí)現(xiàn)簡(jiǎn)單，且基本不需要對(duì)編解碼其進(jìn)行額外的改動(dòng)，通用性好，且實(shí)現(xiàn)成本更低。附圖說(shuō)明圖1為本發(fā)明實(shí)施例一中發(fā)送端完成碼流對(duì)齊方法的流程示意圖；圖2為本發(fā)明實(shí)施例二中接收端完成碼流同步方法的流程示意圖；圖3為本發(fā)明實(shí)施例三中通信系統(tǒng)示意圖；圖4為本發(fā)明實(shí)施例三中發(fā)送終端結(jié)構(gòu)示意圖；圖5為本發(fā)明實(shí)施例三中接收終端結(jié)構(gòu)示意圖。具體實(shí)施方式本發(fā)明為了盡可能減少對(duì)現(xiàn)有的編解碼設(shè)備進(jìn)行改動(dòng)，發(fā)送端在確定碼流需要進(jìn)行對(duì)齊處理時(shí)，將對(duì)齊輔助信息(該對(duì)齊輔助信息是相對(duì)發(fā)送端而言，相對(duì)接收端則為用于同步，因此對(duì)于接收端而言其也可稱(chēng)為同步輔助信息)設(shè)置到各路不同標(biāo)準(zhǔn)的碼流中，接收端獲取到后即可根據(jù)各路碼流中的對(duì)齊輔助信息完成同步處理。本發(fā)明直接分別在各路碼流中設(shè)置對(duì)齊輔助信息，實(shí)現(xiàn)簡(jiǎn) 單，且基本不需要對(duì)編解碼其進(jìn)行額外的改動(dòng)，通用性好，且實(shí)現(xiàn)成本更低。下面通過(guò)具體實(shí)施方式結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。實(shí)施例一：在本實(shí)施例中，發(fā)送端在確定當(dāng)前的多路碼流需要對(duì)齊時(shí)，分別在多路碼流中設(shè)置對(duì)齊輔助信息，然后將該多路碼流進(jìn)行存儲(chǔ)或發(fā)送給接收終端。該過(guò)程具體請(qǐng)參見(jiàn)圖1所示，包括，步驟101：發(fā)送終端判斷當(dāng)前的多路碼流是否需要對(duì)齊，如是，轉(zhuǎn)至步驟102，否則，轉(zhuǎn)至步驟103；步驟102：發(fā)送終端在多路碼流中設(shè)置對(duì)齊輔助信息；步驟103：發(fā)送終端將多路碼流進(jìn)行存儲(chǔ)或發(fā)送給接收終端；此處的存儲(chǔ)可以是在發(fā)送終端本地存儲(chǔ)，也可以是存儲(chǔ)到對(duì)應(yīng)的服務(wù)器上，或則同時(shí)在本地和服務(wù)器上進(jìn)行存儲(chǔ)，且可以文件的形式進(jìn)行存儲(chǔ)。上述步驟101是發(fā)送終端在需要發(fā)送當(dāng)前多路碼流時(shí)進(jìn)行的，發(fā)送終端具體可根據(jù)應(yīng)用需求判斷是否需要對(duì)當(dāng)前的多路碼流進(jìn)行對(duì)齊處理。該應(yīng)用需求可以根據(jù)用戶(hù)的具體需求或者具體的應(yīng)用環(huán)境等因素確定，例如編碼器是否使用基本層AVC圖像作為增強(qiáng)層HEVC圖像的參考，或AVC圖像與HEVC圖像需要同步輸出等。應(yīng)當(dāng)?shù)睦斫獾氖?，本?shí)施例中的碼流可以是視頻碼流；也可以是系統(tǒng)層上的其他碼流；本實(shí)施例對(duì)具體的碼流類(lèi)型不做任何限定；同時(shí)應(yīng)當(dāng)理解的是，本實(shí)施例中的多路碼流可以是相同標(biāo)準(zhǔn)的多路碼流，也可以是不同標(biāo)準(zhǔn)的多路碼流，具體可視具體應(yīng)用場(chǎng)景而定。以上情況的多路碼流的對(duì)齊或同步操作都可通過(guò)上述圖1所示的方案實(shí)現(xiàn)。下面本實(shí)施例僅以視頻碼流作為示例對(duì)本發(fā)明進(jìn)行示例性的說(shuō)明。在上述步驟102中，發(fā)送終端在多路碼流中設(shè)置對(duì)齊輔助信息時(shí)，其需先確定具體需要在各路視頻碼流的那個(gè)位置設(shè)置該對(duì)齊輔助信息；本實(shí)施例中， 發(fā)送終端具體可以在多路碼流的視頻層、系統(tǒng)層和應(yīng)用層中的至少一層設(shè)置對(duì)齊輔助信息。發(fā)送終端在各路碼流中設(shè)置對(duì)齊輔助信息時(shí)，可以直接利用碼流中現(xiàn)有的信息作為對(duì)齊輔助信息，也可以選擇在碼流中增加新的內(nèi)容作為對(duì)齊輔助信息。具體的，發(fā)送終端在多路碼流的視頻層設(shè)置對(duì)齊輔助信息時(shí)，包括在視頻層以下字段中的至少一個(gè)字段設(shè)置對(duì)齊輔助信息：(1)增強(qiáng)信息所對(duì)應(yīng)的字段，用于該字段有效范圍內(nèi)的所述碼流中的圖像，與對(duì)應(yīng)擁有相應(yīng)標(biāo)識(shí)及內(nèi)容信息的碼流圖像對(duì)齊或同步；例如對(duì)于H.265/HEVC視頻碼流，增強(qiáng)信息所對(duì)應(yīng)的字段具體為補(bǔ)充增強(qiáng)信息(SupplementalEnhancementInformation，SEI)字段，用于指示該SEI信息有效范圍內(nèi)的所述碼流中的圖像，與對(duì)應(yīng)擁有相應(yīng)標(biāo)識(shí)及內(nèi)容信息的碼流圖像對(duì)齊或同步；對(duì)應(yīng)的，H.264/AVC視頻碼流增強(qiáng)信息所對(duì)應(yīng)的字段具體為SEI字段；應(yīng)當(dāng)理解的是，對(duì)于其他格式的碼流，則取具有類(lèi)似功能字段作為增強(qiáng)信息所對(duì)應(yīng)的字段即可,例如，在MPEG-2和MPEG-4中使用用戶(hù)自定義所對(duì)應(yīng)字段(UserData)來(lái)完成同樣的功能；(2)視頻可用信息所對(duì)應(yīng)的字段，指示該字段有效范圍內(nèi)的所述碼流中的圖像，與對(duì)應(yīng)擁有相應(yīng)標(biāo)識(shí)及內(nèi)容信息的碼流圖像對(duì)齊或同步；例如對(duì)于H.265/HEVC視頻碼流，視頻可用信息所對(duì)應(yīng)的字段具體為視頻可用性信息(VideoUsabilityInformation，VUI)字段，對(duì)于H.264/AVC視頻碼流，視頻可用信息所對(duì)應(yīng)的字段具體為VUI字段,；對(duì)應(yīng)的，對(duì)于其他格式的碼流，則取具有類(lèi)似功能字段作為視頻可用信息所對(duì)應(yīng)的字段即可,例如，在MPEG-2和MPEG-4中使用用戶(hù)自定義所對(duì)應(yīng)字段(UserData)來(lái)完成同樣的功能；(3)視頻共有信息所對(duì)應(yīng)的字段，指示參數(shù)集信息有效范圍內(nèi)的所述碼流中的圖像，與對(duì)應(yīng)擁有相應(yīng)標(biāo)識(shí)及內(nèi)容信息的碼流圖像對(duì)齊或同步；例如對(duì)于H.265/HEVC視頻碼流，該視頻共有信息所對(duì)應(yīng)的字段包括視頻參數(shù)集(VideoParameterSet，VPS)、序列參數(shù)集(SequenceParameterSet，SPS)及圖像參數(shù)集(PictureParameterSet，PPS)，對(duì)應(yīng)的，對(duì)于H.264/AVC視頻碼流， 該參數(shù)集包括序列參數(shù)集(SPS)和圖像參數(shù)集(PPS)，對(duì)于MPEG-4視頻碼流，該視頻信息共有字段是VOS(VisualObjectSequences)頭、VO(VisualObject)頭、VOL(VideoObjectLayer)頭、GOV(GroupofVideoObjectPlane)頭和VOP(VideoObjectPlane)頭，對(duì)MPEG-2視頻碼流，該視頻信息共有字段的VideoSequence頭、Groupofpicturesheader和Pictureheader；對(duì)應(yīng)的，對(duì)于其他格式的碼流，則取類(lèi)似功能字段作為視頻共有信息所對(duì)應(yīng)字段即可；(4)片頭信息所對(duì)應(yīng)的字段，指示該片信息有效范圍內(nèi)的所述碼流中的圖像，與對(duì)應(yīng)擁有相同標(biāo)識(shí)及內(nèi)容信息的碼流圖像對(duì)齊或同步；例如對(duì)于H.265/HEVC視頻碼流為SliceHeader字段，對(duì)于H.264/AVC視頻碼流為SliceHeader字段，對(duì)于MPGE-4視頻碼流為VideoPacketHeader字段；對(duì)應(yīng)的，對(duì)于其他格式的碼流，則取具有類(lèi)似功能的字段作為片頭信息字段即可；值得注意的是，本實(shí)施例中，對(duì)于同一幅視頻圖像，可以?xún)H在第一個(gè)片頭中設(shè)置，也可以在此基礎(chǔ)上在其他至少一個(gè)片頭中同時(shí)進(jìn)行設(shè)置，在多個(gè)片頭中設(shè)置的對(duì)齊輔助信息一致；(5)碼流視頻層除上述字段外的其他至少包含一個(gè)圖像(幀圖像或場(chǎng)圖像)的字段，指示碼流的對(duì)應(yīng)數(shù)據(jù)結(jié)構(gòu)所作用的圖像層是否執(zhí)行對(duì)齊或同步操作，例如，用戶(hù)自定義數(shù)據(jù)字段(UserData)或者擴(kuò)展字段(ExtensionData)；發(fā)送終端在多路碼流的系統(tǒng)層設(shè)置對(duì)齊輔助信息時(shí)，具體包括在系統(tǒng)層的以下字段設(shè)置：(6)系統(tǒng)層中用于描述視頻媒體屬性所對(duì)應(yīng)的字段，用于指示包含在系統(tǒng)碼流中的圖像，與對(duì)應(yīng)擁有相應(yīng)標(biāo)識(shí)及內(nèi)容信息的碼流圖像對(duì)齊或同步發(fā)送終端在多路碼流的應(yīng)用層設(shè)置所述對(duì)齊輔助信息時(shí)，包括在以下字段中的至少一個(gè)字段進(jìn)行設(shè)置：(7)媒體文件中用于描述視頻媒體屬性所對(duì)應(yīng)的字段，用于指示包含在媒體文件中的碼流中的圖像，與對(duì)應(yīng)擁有相應(yīng)標(biāo)識(shí)及內(nèi)容信息的碼流圖像對(duì)齊或同步；(8)應(yīng)用層中用于描述視頻媒體屬性所對(duì)應(yīng)的字段，用于指示包含在應(yīng)用中的碼流圖像，與對(duì)應(yīng)擁有相應(yīng)標(biāo)識(shí)及內(nèi)容信息的碼流圖像對(duì)齊或同步。對(duì)于以上字段中為編解碼器非必要的內(nèi)容的，解碼器可以按照標(biāo)準(zhǔn)規(guī)則進(jìn)行丟棄。本實(shí)施例中發(fā)送終端可以在各路視頻碼流的上述字段中的任意一個(gè)字段進(jìn)行設(shè)置，也可以同時(shí)在各路視頻碼流的上述字段中的多個(gè)字段進(jìn)行設(shè)置，對(duì)于一路視頻碼流，理論上在上述任意層的任意一個(gè)字段設(shè)置對(duì)齊輔助信息即可；但是為了進(jìn)一步提高可靠性，避免傳輸錯(cuò)誤等因素導(dǎo)致對(duì)齊輔助信息的丟失或缺失，也可同時(shí)在多個(gè)字段進(jìn)行設(shè)置，例如同時(shí)在一路碼流的視頻層、系統(tǒng)層和應(yīng)用層中的至少兩層中的至少一個(gè)字段中設(shè)置。另外，本實(shí)施例中的發(fā)送終端在各路視頻碼流中設(shè)置對(duì)齊輔助信息的位置可以相同，也可以不同；例如當(dāng)所述多路碼流為兩路不同標(biāo)準(zhǔn)的視頻碼流時(shí)，對(duì)于這兩路視頻碼流，可在同一位置設(shè)置對(duì)齊輔助信息，例如都在視頻層的增強(qiáng)信息所對(duì)應(yīng)的字段設(shè)置；也可在不同位置進(jìn)行設(shè)置，例如其中一路在視頻層的增強(qiáng)信息所對(duì)應(yīng)的字段設(shè)置，另一路則在是視頻層的視頻共有信息所對(duì)應(yīng)的字段設(shè)置，又例如其中一路在系統(tǒng)層中用于描述視頻媒體屬性的字段，另外一路在應(yīng)用層中用于描述視頻媒體屬性的字段設(shè)置。本實(shí)施例中，發(fā)送終端在多路碼流中設(shè)置的對(duì)齊輔助信息的內(nèi)容相同可以相同，也可以不同，只要該內(nèi)容能表征需要進(jìn)行對(duì)齊操作且可被正確識(shí)別即可。本實(shí)施例中，發(fā)送終端在多路碼流中設(shè)置對(duì)齊輔助信息的個(gè)數(shù)可以相同，也可以不同，例如當(dāng)所述多路碼流為兩路不同標(biāo)準(zhǔn)的視頻碼流時(shí)，對(duì)于這兩路視頻碼流，可在其中一路碼流中設(shè)置一個(gè)對(duì)齊輔助信息，在另外一路碼流中設(shè)置多個(gè)對(duì)齊輔助信息。對(duì)于一路碼流在同一層設(shè)置的多個(gè)對(duì)齊輔助信息的內(nèi)容相同。本實(shí)施例中，發(fā)送終端所設(shè)置的對(duì)齊輔助信息至少包括對(duì)齊標(biāo)量?jī)?nèi)容，或在包括對(duì)齊標(biāo)量?jī)?nèi)容時(shí)，還可進(jìn)一步包括對(duì)齊指示信息。本實(shí)施例中的對(duì)齊標(biāo)量?jī)?nèi)容包括圖像絕對(duì)時(shí)間信息(即進(jìn)行混合編碼時(shí)的系統(tǒng)時(shí)間)、圖像相對(duì)時(shí)間 信息、圖像解碼順序信息、圖像播放順序信息、圖像分隔符和圖像特定界定符中的至少一種。正如上所述，當(dāng)對(duì)齊標(biāo)量?jī)?nèi)容為圖像解碼順序信息時(shí)，當(dāng)碼流中本身就存在圖像解碼順序信息時(shí)，則針對(duì)該碼流即可直接利用其原本就存在的圖像解碼順序信息作為對(duì)齊輔助信息，對(duì)于其他路碼流則可增加該圖像解碼順序信息作為對(duì)齊輔助信息。對(duì)齊輔助信息包括對(duì)齊指示信息時(shí)，對(duì)齊指示信息具體可為對(duì)齊標(biāo)識(shí)信息和/或類(lèi)型信息。下面以一種具體示例進(jìn)行示例性說(shuō)明：以下示例所使用的針對(duì)對(duì)齊或同步操作的對(duì)齊輔助信息中的對(duì)齊指示信息的對(duì)齊標(biāo)識(shí)信息和類(lèi)型信息分別采用如表1和/或表2所示的結(jié)構(gòu)。對(duì)齊標(biāo)量?jī)?nèi)容采用如表3所示的結(jié)構(gòu)。表1所示的碼流里包含標(biāo)識(shí)整體或部分碼流是否使用對(duì)齊或同步操作的標(biāo)識(shí)信息。表2所示的碼流里包含標(biāo)識(shí)整體或部分碼流對(duì)齊或同步操作的標(biāo)識(shí)信息所屬類(lèi)型。表3所示碼流中包含對(duì)齊或同步所需的內(nèi)容信息。表1……Descriptorpic_alignment_flagu(1)……表2……Descriptorpic_alignment_type()……表3……Descriptoralignment_code()……其中，表1中各字段的語(yǔ)義如下：pic_alignment_flag取值等于1表示碼 流中的不同編碼格式的視頻圖像需要對(duì)齊或同步操作。pic_alignment_flag取值等于0是表示碼流中的不同編碼格式的視頻圖像不需要對(duì)齊或同步操作。對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)pic_alignment_flag取值及其所表示的含義也可以采用其它方式，具體本實(shí)施例中不做限定。pic_alignment_flag使用不同編碼協(xié)議中對(duì)應(yīng)的編解碼方法?？蛇x的，如果碼流中不存在pic_alignment_flag對(duì)應(yīng)比特字段，則其對(duì)應(yīng)變量pic_alignment_flag的取值默認(rèn)為0。表2中字段的語(yǔ)義(對(duì)應(yīng)的控制操作)如下：pic_alignment_type()表示獲取類(lèi)型信息，這里所指類(lèi)型是指用于存儲(chǔ)對(duì)齊或同步信息字段放置在同一類(lèi)型數(shù)據(jù)段下，需要通過(guò)獲取類(lèi)型信息才能進(jìn)一步提取對(duì)齊或同步的內(nèi)容信息。對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)pic_alignment_type()的內(nèi)部形式及其所表示的含義也可以采用其它方式，具體本實(shí)施例中不做限定?？蛇x的，如果碼流中不存在pic_alignment_type()，則其對(duì)應(yīng)的類(lèi)型信息是不存在的。表3中字段語(yǔ)義(對(duì)應(yīng)的控制操作)如下：alignment_code()包含的是對(duì)齊或同步所需的數(shù)據(jù)信息。表3中的字段可以與表1和/或表2中的字段組合使用。表3中alignment_code()可以使用以下所列信息中的一種或者多種，包括但不限于以下信息：圖像絕對(duì)時(shí)間信息，圖像相對(duì)時(shí)間信息，圖像解碼順序信息，圖像播放順序信息，圖像分隔符，圖像特殊界定符等。表1、表2和表3中的語(yǔ)法元素可以設(shè)置在上述(1)－(8)所示的至少一個(gè)字段或者多個(gè)字段混合的位置；表1、表2和表3中的語(yǔ)法元素對(duì)應(yīng)的比特字段使用在對(duì)應(yīng)于該數(shù)據(jù)結(jié)構(gòu)的碼流中。上述步驟103中，發(fā)送終端將多路碼流發(fā)送給接收終端時(shí)，其根據(jù)具體應(yīng)用場(chǎng)景，可以靈活的選擇將多路碼流分別單獨(dú)發(fā)送給接收終端；或選擇將多路碼流中的至少兩路封裝成一路后發(fā)送給接收終端。例如，當(dāng)碼流為三路(分別為A\B\C)時(shí)，可以選擇將該三路封裝成一路發(fā)送；也可以選擇將該三路中的其中兩路(例如A和B路)封裝成一路，然后將封裝后得到的一路碼流和C路碼 流分別單獨(dú)發(fā)送；對(duì)于三路以上的情況的處理則以此類(lèi)推。還可以將多路碼流拆分重新組合為多路碼流后發(fā)送給所述接收終端。上述步驟103中，發(fā)送終端將多路碼流進(jìn)行存儲(chǔ)時(shí)，不管其是在本地存儲(chǔ)還是存儲(chǔ)到服務(wù)器上，都可以將多路碼流寫(xiě)入一個(gè)文件進(jìn)行存儲(chǔ)，或?qū)⒍嗦反a流分別寫(xiě)入單獨(dú)的文件進(jìn)行存儲(chǔ)，或?qū)⒍嗦反a流拆分重組后寫(xiě)入到不同的文件中進(jìn)行存儲(chǔ)。優(yōu)選的，本實(shí)施例中的多路碼流具體設(shè)定為兩路不同視頻標(biāo)準(zhǔn)的視頻碼流，且其中一路(例如增強(qiáng)層)為H.265/HEVC視頻碼流，另一路(例如基本層)為非H.265/HEVC視頻碼流，例如H.264/AVC視頻碼流、MPGE-2視頻碼流、MPGE-4視頻碼流、VC-1視頻流、VP8視頻流、AVS視頻流等。當(dāng)然，本實(shí)施例中的多路碼流也可具體設(shè)定為兩路相同視頻標(biāo)準(zhǔn)的視頻碼流，且其中一路(例如基本層)為H.265/HEVC視頻碼流，另一路(例如增強(qiáng)層)也為H.265/HEVC視頻碼流。實(shí)施例二：在本實(shí)施例中，接收終端進(jìn)行碼流同步的操作請(qǐng)參見(jiàn)圖2所示，包括：步驟201：接收終端獲取多路碼流；其獲取方式可以從發(fā)送終端或服務(wù)器接收該多路碼流，或者直接從對(duì)應(yīng)存儲(chǔ)介質(zhì)中讀??；應(yīng)當(dāng)理解的是，該步驟中，發(fā)送終端將多路碼流分別單獨(dú)發(fā)送給接收終端時(shí)，則接收終端分別單獨(dú)接收各路碼流；當(dāng)發(fā)送終端將多路碼流封裝成一路后發(fā)送給接收終端時(shí)，接收終端則接受封裝后的一路碼流即可；步驟202：接收終端在多路碼流中攜帶有發(fā)送終端設(shè)置的對(duì)齊輔助信息時(shí)，根據(jù)對(duì)齊輔助信息對(duì)多路碼流進(jìn)行同步處理。應(yīng)當(dāng)?shù)睦斫獾氖?，本?shí)施例中的碼流可以是視頻碼流；也可以是系統(tǒng)層上的其他碼流；本實(shí)施例對(duì)具體的碼流類(lèi)型不做任何限定；同時(shí)應(yīng)當(dāng)理解的是，本實(shí)施例中的多路碼流可以是相同標(biāo)準(zhǔn)的多路碼流，也可以是不同標(biāo)準(zhǔn)的多路碼流，具體可視具體應(yīng)用場(chǎng)景而定。下面本實(shí)施例僅以視頻碼流作為示例對(duì)本發(fā)明進(jìn)行示例性的說(shuō)明。本實(shí)施例中，接收終端接收到碼流后，從多路碼流的應(yīng)用層、系統(tǒng)層、視頻層中的至少一層中查找對(duì)齊輔助信息。例如，當(dāng)發(fā)送和接收終端二者之間有達(dá)成協(xié)議當(dāng)需要對(duì)齊或同步時(shí)對(duì)其輔助信息具體添加到哪一層或幾層時(shí)，則只需在該層查找即可；否則，則需要從碼流的應(yīng)用層、系統(tǒng)層、視頻層依次查找。本實(shí)施例中，當(dāng)一路碼流的多層中存在不一致的對(duì)齊輔助信息時(shí)，則按照預(yù)設(shè)規(guī)則從中選擇一層的對(duì)齊輔助信息進(jìn)行同步處理。實(shí)施例中的預(yù)設(shè)規(guī)則包括但不限于：選擇信道傳輸可靠性高的層中的對(duì)齊輔助信息；例如當(dāng)應(yīng)用層和視頻層都存在對(duì)齊輔助信息且不一致，但應(yīng)用層的信道傳輸可靠性要比視頻層的信道傳輸可靠性高，則選擇應(yīng)用層的對(duì)齊輔助信息；或，當(dāng)視頻層存在對(duì)齊輔助信息時(shí)，則選擇視頻層中的對(duì)齊輔助信息，否則，選擇離視頻層最近的層中的對(duì)齊輔助信息；例如：當(dāng)視頻層和應(yīng)用層都存在對(duì)齊輔助信息且不一致時(shí)，則選擇視頻層的對(duì)齊輔助信息；當(dāng)視頻層不存在對(duì)齊輔助信息，但系統(tǒng)層和應(yīng)用層存在不一致的對(duì)齊輔助信息時(shí)，則選擇離視頻層較近的視頻層的對(duì)齊輔助信息；或，選擇接收終端所支持的有效層中的對(duì)齊輔助信息；本實(shí)施例中接收終端所支持的有效層是指接收終端需進(jìn)行解碼的層，對(duì)于接收終端不需要解碼直接丟棄的層則相對(duì)接收終端為無(wú)效層。例如，當(dāng)接收終端對(duì)于視頻層中的SEI的處理方式是直接丟棄時(shí)，則當(dāng)應(yīng)用層和視頻層中的SEI字段中都存在對(duì)齊輔助信息時(shí)，則接受終端直接選擇應(yīng)用層中的對(duì)齊輔助信息；如果具有對(duì)齊輔助信息的層中根本就沒(méi)有接收終端所支持的有效層，則接收終端可以不做同步處理。應(yīng)當(dāng)理解的是，本實(shí)施例中的預(yù)設(shè)規(guī)則除了上述示例的兩種規(guī)則外，用戶(hù)還可根據(jù)應(yīng)用場(chǎng)景或其他因素自定義其他規(guī)則，主要能選擇出有效的對(duì)齊輔助信息完成對(duì)齊或同步操作即可。另外，在本實(shí)施例中，當(dāng)一路碼流的信道傳輸可靠性相對(duì)較低的層存在完整的對(duì)齊輔助信息，而信道傳輸可靠性高的層的對(duì)齊輔助信息缺失時(shí)，選擇信 道傳輸可靠性相對(duì)較低的層的對(duì)齊輔助信息進(jìn)行同步處理；例如，當(dāng)應(yīng)用層的對(duì)齊輔助信息缺失，視頻層的對(duì)齊輔助信息完整時(shí)，盡管應(yīng)用層的信道傳輸可靠性要比視頻層的信道傳輸可靠性高，但此時(shí)仍選擇視頻層的對(duì)齊輔助信息。或當(dāng)在一路碼流的視頻層外的其他層存在完整的對(duì)齊輔助信息，而視頻層的對(duì)齊輔助信息缺失時(shí)，選擇視頻層外的其他層的對(duì)齊輔助信息進(jìn)行同步處理。例如當(dāng)視頻層的對(duì)齊輔助信息缺失，而應(yīng)用層的對(duì)齊輔助信息完整時(shí)，則選擇應(yīng)用層的對(duì)齊輔助信息。本實(shí)施例中，發(fā)送終端所設(shè)置的對(duì)齊輔助信息至少包括對(duì)齊標(biāo)量?jī)?nèi)容，或在包括對(duì)齊標(biāo)量?jī)?nèi)容時(shí)，還可進(jìn)一步包括對(duì)齊指示信息。本實(shí)施例中的對(duì)齊標(biāo)量?jī)?nèi)容包括圖像絕對(duì)時(shí)間信息(即進(jìn)行混合編碼時(shí)的系統(tǒng)時(shí)間)、圖像相對(duì)時(shí)間信息、圖像解碼順序信息、圖像播放順序信息、圖像分隔符和圖像特定界定符中的至少一種。對(duì)齊輔助信息包括對(duì)齊指示信息時(shí)，對(duì)齊指示信息具體可為對(duì)齊標(biāo)識(shí)信息和/或類(lèi)型信息。接收終端則具體根據(jù)對(duì)齊標(biāo)量?jī)?nèi)容進(jìn)行對(duì)多路碼流進(jìn)行同步處理。優(yōu)選的，本實(shí)施例中的多路碼流具體設(shè)定為兩路不同視頻標(biāo)準(zhǔn)的碼流，且其中一路為H.265/HEVC視頻碼流，另一路為非H.265/HEVC視頻碼流，例如H.264/AVC視頻碼流、MPGE-2視頻碼流、MPGE-4視頻碼流、VC-1視頻流、VP8視頻流、AVS視頻流等。當(dāng)然，本實(shí)施例中的多路碼流也可具體設(shè)定為兩路相同視頻標(biāo)準(zhǔn)的視頻碼流，且其中一路(例如基本層)為H.265/HEVC視頻碼流，另一路(例如增強(qiáng)層)也為H.265/HEVC視頻碼流。實(shí)施例三：請(qǐng)參見(jiàn)圖3所示，本實(shí)施例提供了一種通信系統(tǒng)，包括發(fā)送終端1和接收終端2，其中，發(fā)送終端1和接收終端2的結(jié)構(gòu)請(qǐng)分別參見(jiàn)圖4和5所示。請(qǐng)參見(jiàn)圖4所示，發(fā)送終端1，即源設(shè)備，包括處理模塊11和發(fā)送模塊12；處理模塊11用于在當(dāng)前多路碼流需要對(duì)齊時(shí)，在多路碼流中設(shè)置對(duì)齊輔助 信息；在各路碼流中設(shè)置對(duì)齊輔助信息時(shí)，可以直接利用碼流中現(xiàn)有的信息作為對(duì)齊輔助信息，也可以選擇在碼流中增加新的內(nèi)容作為對(duì)齊輔助信息。發(fā)送模塊12用于將多路碼流進(jìn)行存儲(chǔ)或發(fā)送給接收終端；進(jìn)行存儲(chǔ)時(shí)，其可以在發(fā)送終端本地存儲(chǔ)，也可以在服務(wù)器上進(jìn)行存儲(chǔ)等；且可以將多路碼流寫(xiě)入一個(gè)文件進(jìn)行存儲(chǔ)，或?qū)⒍嗦反a流分別寫(xiě)入單獨(dú)的文件進(jìn)行存儲(chǔ)，或?qū)⒍嗦反a流拆分重組后寫(xiě)入到不同的文件中進(jìn)行存儲(chǔ)。進(jìn)行發(fā)送時(shí)，其根據(jù)具體應(yīng)用場(chǎng)景，可以靈活的選擇將多路碼流分別單獨(dú)發(fā)送給接收終端；或選擇將多路碼流封裝成一路后發(fā)送給接收終端；或?qū)⑺龆嗦反a流拆分重新組合為多路碼流后發(fā)送給所述接收終端處理模塊11具體包括判斷子模塊111和寫(xiě)入子模塊112；判斷子模塊111用于根據(jù)應(yīng)用需求判斷是否需要對(duì)當(dāng)前的多路碼流進(jìn)行對(duì)齊處理。該應(yīng)用需求可以根據(jù)用戶(hù)的具體需求或者具體的應(yīng)用環(huán)境等因素確定，例如編碼器是否使用基本層AVC圖像作為增強(qiáng)層HEVC圖像的參考，或AVC圖像與HEVC圖像需要同步輸出等；寫(xiě)入子模塊112用于在碼流的對(duì)應(yīng)位置寫(xiě)入對(duì)齊輔助信息。應(yīng)當(dāng)?shù)睦斫獾氖?，本?shí)施例中的碼流可以是視頻碼流；也可以是系統(tǒng)層上的其他碼流；本實(shí)施例對(duì)具體的碼流類(lèi)型不做任何限定；同時(shí)應(yīng)當(dāng)理解的是，本實(shí)施例中的多路碼流可以是相同標(biāo)準(zhǔn)的多路碼流，也可以是不同標(biāo)準(zhǔn)的多路碼流，具體可視具體應(yīng)用場(chǎng)景而定。下面本實(shí)施例僅以視頻碼流作為示例對(duì)本發(fā)明進(jìn)行示例性的說(shuō)明。寫(xiě)入子模塊112用于分別在多路碼流的視頻層、系統(tǒng)層和應(yīng)用層中的至少一層設(shè)置所述對(duì)齊輔助信息。具體的，發(fā)送終端在多路碼流的視頻層設(shè)置對(duì)齊輔助信息時(shí)，包括在視頻層以下字段中的至少一個(gè)字段設(shè)置對(duì)齊輔助信息：(1)增強(qiáng)信息所對(duì)應(yīng)的字段；(2)視頻可用信息所對(duì)應(yīng)的字段；(3)視頻共有信息所對(duì)應(yīng)的字段；(4)片頭信息所對(duì)應(yīng)的字段；(5)碼流視頻層除上述字段外的其他至少包含一個(gè)圖像(幀圖像或場(chǎng)圖像) 的字段；發(fā)送終端在多路碼流的系統(tǒng)層設(shè)置對(duì)齊輔助信息時(shí)，具體包括在系統(tǒng)層的以下字段設(shè)置：(6)系統(tǒng)層中用于描述視頻媒體屬性所對(duì)應(yīng)的字段；發(fā)送終端在多路碼流的應(yīng)用層設(shè)置所述對(duì)齊輔助信息時(shí)，包括在以下字段中的至少一個(gè)字段進(jìn)行設(shè)置：(7)媒體文件中用于描述視頻媒體屬性所對(duì)應(yīng)的字段；(8)應(yīng)用層中用于描述視頻媒體屬性所對(duì)應(yīng)的字段。寫(xiě)入子模塊112可以在各路視頻碼流的上述字段中的任意一個(gè)字段進(jìn)行設(shè)置，也可以同時(shí)在各路視頻碼流的上述字段中的多個(gè)字段進(jìn)行設(shè)置，對(duì)于一路視頻碼流，理論上在上述任意層的任意一個(gè)字段設(shè)置對(duì)齊輔助信息即可；但是為了進(jìn)一步提高可靠性，避免傳輸錯(cuò)誤等因素導(dǎo)致對(duì)齊輔助信息的丟失或缺失，也可同時(shí)在多個(gè)字段進(jìn)行設(shè)置，例如同時(shí)在一路碼流的視頻層、系統(tǒng)層和應(yīng)用層中的至少兩層中的至少一個(gè)字段中設(shè)置。另外，本實(shí)施例中的寫(xiě)入子模塊112在各路視頻碼流中設(shè)置對(duì)齊輔助信息的位置可以相同，也可以不同；例如當(dāng)所述多路碼流為兩路不同標(biāo)準(zhǔn)的視頻碼流時(shí)，對(duì)于這兩路視頻碼流，可在同一位置設(shè)置對(duì)齊輔助信息，例如都在視頻層的增強(qiáng)信息所對(duì)應(yīng)的字段設(shè)置；也可在不同位置進(jìn)行設(shè)置，例如其中一路在視頻層的增強(qiáng)信息所對(duì)應(yīng)的字段設(shè)置，另一路則在是視頻層的視頻共有信息所對(duì)應(yīng)的字段設(shè)置，又例如其中一路在系統(tǒng)層中用于描述視頻媒體屬性的字段，另外一路在應(yīng)用層中用于描述視頻媒體屬性的字段設(shè)置。本實(shí)施例中，寫(xiě)入子模塊112在多路碼流中設(shè)置的對(duì)齊輔助信息的內(nèi)容相同可以相同，也可以不同，只要該內(nèi)容能表征需要進(jìn)行對(duì)齊操作且可被正確識(shí)別即可。本實(shí)施例中，寫(xiě)入子模塊112在多路碼流中設(shè)置對(duì)齊輔助信息的個(gè)數(shù)可以相同，也可以不同，例如當(dāng)所述多路碼流為兩路不同標(biāo)準(zhǔn)的視頻碼流時(shí)，對(duì)于這兩路視頻碼流，可在其中一路碼流中設(shè)置一個(gè)對(duì)齊輔助信息，在另外一路碼 流中設(shè)置多個(gè)對(duì)齊輔助信息。對(duì)于一路碼流在同一層設(shè)置的多個(gè)對(duì)齊輔助信息的內(nèi)容相同。本實(shí)施例中，寫(xiě)入子模塊112所設(shè)置的對(duì)齊輔助信息至少包括對(duì)齊標(biāo)量?jī)?nèi)容，或在包括對(duì)齊標(biāo)量?jī)?nèi)容時(shí)，還可進(jìn)一步包括對(duì)齊指示信息。本實(shí)施例中的對(duì)齊標(biāo)量?jī)?nèi)容包括圖像絕對(duì)時(shí)間信息(即進(jìn)行混合編碼時(shí)的系統(tǒng)時(shí)間)、圖像相對(duì)時(shí)間信息、圖像解碼順序信息、圖像播放順序信息、圖像分隔符和圖像特定界定符中的至少一種。對(duì)齊輔助信息包括對(duì)齊指示信息時(shí)，對(duì)齊指示信息具體可為對(duì)齊標(biāo)識(shí)信息和/或類(lèi)型信息。請(qǐng)參見(jiàn)圖5所示，接收終端2包括獲取模塊21和執(zhí)行模塊22；獲取模塊21用于獲取多路碼流；其獲取方式可以從發(fā)送終端或服務(wù)器接收該多路碼流，或者直接從對(duì)應(yīng)存儲(chǔ)介質(zhì)中讀取；執(zhí)行模塊22用于在多路碼流中攜帶有發(fā)送終端設(shè)置的對(duì)齊輔助信息時(shí)，根據(jù)對(duì)齊輔助信息對(duì)多路碼流進(jìn)行同步處理。其中，執(zhí)行模塊22包括查找子模塊221，用于從多路碼流的應(yīng)用層、系統(tǒng)層、視頻層中的至少一層查找對(duì)齊輔助信息。當(dāng)查找子模塊221發(fā)現(xiàn)一路碼流的多層中存在不一致的對(duì)齊輔助信息時(shí)，則按照預(yù)設(shè)規(guī)則從中選擇一層的對(duì)齊輔助信息進(jìn)行同步處理。實(shí)施例中的預(yù)設(shè)規(guī)則包括但不限于：選擇信道傳輸可靠性高的層中的對(duì)齊輔助信息；例如當(dāng)應(yīng)用層和視頻層都存在對(duì)齊輔助信息且不一致，但應(yīng)用層的信道傳輸可靠性要比視頻層的信道傳輸可靠性高，則選擇應(yīng)用層的對(duì)齊輔助信息；或，當(dāng)視頻層存在對(duì)齊輔助信息時(shí)，則選擇視頻層中的對(duì)齊輔助信息，否則，選擇離視頻層最近的層中的對(duì)齊輔助信息；例如：當(dāng)視頻層和應(yīng)用層都存在對(duì)齊輔助信息且不一致時(shí)，則選擇視頻層的對(duì)齊輔助信息；當(dāng)視頻層不存在對(duì)齊輔助信息，但系統(tǒng)層和應(yīng)用層存在不一致的對(duì)齊輔助信息時(shí)，則選擇離視頻層較近的視頻層的對(duì)齊輔助信息；或，選擇接收終端所支持的有效層中的對(duì)齊輔助信息；本實(shí)施例中接收終端所支持的有效層是指接收終端需進(jìn)行解碼的層，對(duì)于接收終端不需要解碼直 接丟棄的層則相對(duì)接收終端為無(wú)效層。例如，當(dāng)接收終端對(duì)于視頻層中的SEI的處理方式是直接丟棄時(shí)，則當(dāng)應(yīng)用層和視頻層中的SEI字段中都存在對(duì)齊輔助信息時(shí)，則接受終端直接選擇應(yīng)用層中的對(duì)齊輔助信息；如果具有對(duì)齊輔助信息的層中根本就沒(méi)有接收終端所支持的有效層，則接收終端可以不做同步處理。應(yīng)當(dāng)理解的是，本實(shí)施例中的預(yù)設(shè)規(guī)則除了上述示例的兩種規(guī)則外，用戶(hù)還可根據(jù)應(yīng)用場(chǎng)景或其他因素自定義其他規(guī)則，主要能選擇出有效的對(duì)齊輔助信息完成對(duì)齊或同步操作即可。另外，在本實(shí)施例中，當(dāng)查找子模塊221發(fā)現(xiàn)一路碼流的信道傳輸可靠性相對(duì)較低的層存在完整的對(duì)齊輔助信息，而信道傳輸可靠性高的層的對(duì)齊輔助信息缺失時(shí)，選擇信道傳輸可靠性相對(duì)較低的層的對(duì)齊輔助信息進(jìn)行同步處理；例如，當(dāng)應(yīng)用層的對(duì)齊輔助信息缺失，視頻層的對(duì)齊輔助信息完整時(shí)，盡管應(yīng)用層的信道傳輸可靠性要比視頻層的信道傳輸可靠性高，但此時(shí)仍選擇視頻層的對(duì)齊輔助信息?；虍?dāng)在一路碼流的視頻層外的其他層存在完整的對(duì)齊輔助信息，而視頻層的對(duì)齊輔助信息缺失時(shí)，選擇視頻層外的其他層的對(duì)齊輔助信息進(jìn)行同步處理。例如當(dāng)視頻層的對(duì)齊輔助信息缺失，而應(yīng)用層的對(duì)齊輔助信息完整時(shí)，則選擇應(yīng)用層的對(duì)齊輔助信息。執(zhí)行模塊22還包括同步子模塊222，用于根據(jù)對(duì)齊標(biāo)量?jī)?nèi)容進(jìn)行對(duì)多路碼流進(jìn)行同步處理。應(yīng)當(dāng)理解的是，本實(shí)施例中的各個(gè)模塊和子模塊的功能可以通過(guò)使用專(zhuān)用硬件、軟件或者軟硬件結(jié)合來(lái)實(shí)現(xiàn)。該硬件或?qū)Ｓ糜布梢园▽?zhuān)用集成電路(ASIC)、各種其它電路、各種處理器等。當(dāng)由處理器實(shí)現(xiàn)時(shí)，該功能可以由單個(gè)專(zhuān)用處理器、單個(gè)共享處理器、或者多個(gè)獨(dú)立的處理器(其中某些可能被共享)來(lái)提供。另外，處理器不應(yīng)該被理解為專(zhuān)指能夠執(zhí)行軟件的硬件，而是可以隱含地包括、而不限于數(shù)字信號(hào)處理器(DSP)硬件、用來(lái)存儲(chǔ)軟件的只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、以及非易失存儲(chǔ)設(shè)備。本實(shí)施例的終端可以是視頻通信應(yīng)用中相關(guān)碼流接收播放設(shè)備，例如，手機(jī)、計(jì)算機(jī)、服務(wù)器、機(jī)頂盒、便攜式移動(dòng)終端、數(shù)字?jǐn)z像機(jī)，電視廣播系統(tǒng)設(shè)備等。該裝置可以位于宿設(shè)備中，該處理裝置可以處理以下至少一種多層視頻信號(hào)：可伸縮視頻，多視點(diǎn)視頻，多視點(diǎn)深度，多視點(diǎn)視頻+多視點(diǎn)深度。其中，立體視頻是多視點(diǎn)視頻的一種視點(diǎn)數(shù)等于2的特殊形式。實(shí)施例四：為了更好的理解本發(fā)明，下面以幾種具體的應(yīng)用場(chǎng)景作為示例，對(duì)本發(fā)明做進(jìn)一步說(shuō)明。示例1：本示例中，SEI的負(fù)載類(lèi)型(PayloadType)即為pic_alignment_type，其控制范圍是使用該SEI的圖像。在負(fù)載類(lèi)型為時(shí)間信息的SEI單元時(shí)，使用表3的比特字段，進(jìn)一步給出時(shí)間信息。本示例中，不同編碼格式視頻碼流的傳輸主要包括以下步驟：步驟1：源設(shè)備(即發(fā)送終端)根據(jù)應(yīng)用需求(如編碼器是否使用基本層AVC圖像作為增強(qiáng)層HEVC圖像的參考，或AVC圖像與HEVC圖像需要同步輸出)，判斷是否需要對(duì)不同編碼格式的視頻進(jìn)行對(duì)齊操作。若需要使用對(duì)齊信息，源設(shè)備中HEVC編碼器編碼一個(gè)time_code類(lèi)型SEI單元(TimecodeSEImessage)，即SEI的payloadType等于136。源設(shè)備中AVC編碼器編碼一個(gè)pic_timing類(lèi)型SEI單元(PicturetimingSEImessage)，即SEI的payloadType等于1。若不需要使用對(duì)齊信息，則不設(shè)置SEI單元。步驟2：源設(shè)備使用u(n)對(duì)應(yīng)的編碼方法將payloadType在不同編碼協(xié)議里的取值分別寫(xiě)入到AVC視頻碼流的SEI包頭，和HEVC視頻碼流的SEI包頭。步驟3：源設(shè)備獲取當(dāng)前編碼器進(jìn)行混合編碼時(shí)的系統(tǒng)時(shí)間(即圖像絕對(duì)時(shí)間信息)，將此時(shí)間信息作為對(duì)齊信息分別寫(xiě)入AVC視頻碼流的SEI的payload字段中，和HEVC視頻碼流的SEI的payload字段中。步驟4：宿設(shè)備(即接收終端)接收到碼流后，分別在AVC視頻碼流和HEVC視頻碼流中尋找SEI數(shù)據(jù)。步驟5：宿設(shè)備使用u(n)對(duì)應(yīng)的解碼方法分別從AVC視頻碼流的SEI包頭，和HEVC視頻碼流的SEI包頭中獲取payloadType的值，判斷是否存在時(shí)間信息(AVC中pic_timing類(lèi)型，payloadType等于1，HEVC中time_code類(lèi)型，payloadType等于136)。步驟6：如果存在時(shí)間信息，宿設(shè)備根據(jù)payloadType，獲取對(duì)應(yīng)的表3所示字段，使用對(duì)應(yīng)解碼方法從碼流中分別獲取AVC圖像和HEVC圖像的時(shí)間信息。步驟7：宿設(shè)備根據(jù)得到的時(shí)間信息，確定不同編碼格式的圖像是否需要同步。步驟8：如果需要同步，即AVC和HEVC獲取的時(shí)間信息一致，宿設(shè)備將當(dāng)前AVC解碼器解碼獲得的重建圖像放入HEVC的參考幀管理列表中，供HEVC解碼器使用。對(duì)于多視點(diǎn)應(yīng)用中，宿設(shè)備利用此信息對(duì)不同視點(diǎn)的圖像，進(jìn)行同步輸出顯示操作。示例2：本示例中，VUI的負(fù)載類(lèi)型中的vui_timing_info_present_flag即為pic_alignment_flag，其控制范圍是使用該VUI的圖像。當(dāng)vui_timing_info_present_flag為1時(shí)，使用表3的比特字段，進(jìn)一步給出時(shí)間信息。本示例中，不同編碼格式視頻碼流的傳輸主要包括以下步驟：步驟1：源設(shè)備根據(jù)應(yīng)用需求(如編碼器是否使用基本層AVC圖像作為增強(qiáng)層HEVC圖像的參考，或AVC圖像與HEVC圖像需要同步輸出)，判斷是否需要對(duì)不同編碼格式的視頻進(jìn)行對(duì)齊操作。若需要使用對(duì)齊信息，源設(shè)備中HEVC編碼器編碼一個(gè)VUI單元，其中VUI中的vui_timing_info_present_flag等于1。源設(shè)備中AVC編碼器編碼一個(gè)VUI單元，其中VUI中的vui_timing_info_present_flag等于1。若不需要使用對(duì)齊信息，則vui_timing_info_present_flag等于0。步驟2：源設(shè)備使用u(1)對(duì)應(yīng)的編碼方法將vui_timing_info_present_flag的取值分別寫(xiě)入到AVC視頻碼流的VUI中，和HEVC視頻碼流的VUI中。步驟3：源設(shè)備獲取當(dāng)前編碼器進(jìn)行混合編碼時(shí)的系統(tǒng)時(shí)間，將此時(shí)間信息作為對(duì)齊信息分別寫(xiě)入AVC視頻碼流的VUI的時(shí)間信息字段中，和HEVC視頻碼流的VUI的時(shí)間信息字段中。步驟4：宿設(shè)備接收到碼流后，分別在AVC視頻碼流和HEVC視頻碼流中尋找VUI數(shù)據(jù)。步驟5：宿設(shè)備使用u(1)對(duì)應(yīng)的解碼方法分別從AVC視頻碼流的VUI中，和HEVC視頻碼流的VUI中獲取vui_timing_info_present_flag的值，判斷是否存在時(shí)間信息(vui_timing_info_present_flag是否等于1)。步驟6：如果存在時(shí)間信息(vui_timing_info_present_flag等于1)，宿設(shè)備根據(jù)對(duì)應(yīng)的表3所示字段，使用對(duì)應(yīng)解碼方法從碼流中分別獲取AVC圖像和HEVC圖像的時(shí)間信息。步驟7：宿設(shè)備根據(jù)得到的時(shí)間信息，確定不同編碼格式的圖像是否需要同步。步驟8：如果需要同步，即AVC和HEVC獲取的時(shí)間信息一致，宿設(shè)備將當(dāng)前AVC解碼器解碼獲得的重建圖像放入HEVC的參考幀管理列表中，供HEVC解碼器使用。對(duì)于多視點(diǎn)應(yīng)用中，宿設(shè)備利用此信息對(duì)不同視點(diǎn)的圖像，進(jìn)行同步輸出顯示操作。示例3：本示例中，視頻共有信息所對(duì)應(yīng)的字段(即參數(shù)集對(duì)應(yīng)的字段)中的extension_flag即為pic_alignment_flag，其控制范圍是使用該參數(shù)集的圖像。當(dāng)對(duì)應(yīng)參數(shù)集的extension_flag為1時(shí)，extension_data即alignment_code,使用表3的比特字段，進(jìn)一步給出時(shí)間信息。源設(shè)備和宿設(shè)備對(duì)pic_alignment_flag和alignment_code的操作方法與示例2相似。本示例與示例2不同的是用戶(hù)可以自行定義時(shí)間信息，源設(shè)備與宿設(shè)備協(xié)商統(tǒng)一規(guī)則即可。例如：視頻參數(shù)集(VPS)的控制范圍是多幀圖像，那么視頻參數(shù)集里可以存儲(chǔ)單幀圖像時(shí)間信息，也可以存儲(chǔ)多幀圖像時(shí)間信息；序列參數(shù)集(SPS)的控制范圍是多幀圖像，那么序列參數(shù)集里可以存儲(chǔ)單幀圖像時(shí)間信息，也可以存儲(chǔ)多幀圖像時(shí)間信息；圖像參數(shù)集(PPS)的控制范圍是單幀圖像，那么圖像參數(shù)集里存儲(chǔ)的即是單幀圖像時(shí)間信息。時(shí)間信息在視頻參數(shù)集、序列參數(shù)集和圖像參數(shù)集中出現(xiàn)的位置可以是任意組合。設(shè)置的時(shí)間信息可以相同，也可以組合生成。示例4：本示例中，片頭信息所對(duì)應(yīng)字段中的slice_segement_header_extension_present_flag即pic_alignment_flag。當(dāng)slice_segement_header_extension_present_flag為1時(shí)，slice_segment_header_extension_data即alignment_code,使用表3的比特字段，進(jìn)一步給出時(shí)間信息。源設(shè)備和宿設(shè)備對(duì)pic_alignment_flag和alignment_code的操作方法與示例2相似。本示例與示例2不同的是時(shí)間信息所處的位置不是整幀圖像控制范圍，而是片(Slice)。要求同一幀圖像里的片，如果出現(xiàn)時(shí)間信息，那么必須一致。并且用戶(hù)可以自行定義時(shí)間信息，源設(shè)備與宿設(shè)備協(xié)商統(tǒng)一規(guī)則即可。示例5：本示例中，對(duì)齊輔助信息位于其它作用范圍至少包含一個(gè)圖像(幀圖像和/或場(chǎng)圖像)的數(shù)據(jù)結(jié)構(gòu)，對(duì)于所述其它作用范圍至少包含一個(gè)圖像(幀圖像和/或場(chǎng)圖像)的數(shù)據(jù)結(jié)構(gòu)，若該數(shù)據(jù)結(jié)構(gòu)中包含其它解碼過(guò)程中必須使用的數(shù)據(jù)信息，則該數(shù)據(jù)結(jié)構(gòu)是解碼過(guò)程中所必需的數(shù)據(jù)結(jié)構(gòu)。如果該數(shù)據(jù)結(jié)構(gòu)使用的是類(lèi)似pic_alignment_type的類(lèi)型信息，則源設(shè)備和宿設(shè)備對(duì)pic_alignment_type和alignment_code的操作方法與示例1相似。如果該數(shù)據(jù)結(jié)構(gòu)使用的是類(lèi)似pic_alignment_flag標(biāo)識(shí)，則源設(shè)備和宿設(shè)備對(duì) pic_alignment_flag和alignment_code的操作方法與示例2相似。本示例與示例1和示例2的不同之處在于源設(shè)備使用對(duì)應(yīng)的編碼方法將pic_alignment_flag和/或pic_alignment_type，alignment_code寫(xiě)入所述至少包含一個(gè)圖像(幀圖像和/或場(chǎng)圖像)的數(shù)據(jù)結(jié)構(gòu)的對(duì)應(yīng)碼流中，宿設(shè)備使用對(duì)應(yīng)的解碼方法從所述至少包含一個(gè)圖像(幀圖像和/或場(chǎng)圖像)的數(shù)據(jù)結(jié)構(gòu)對(duì)應(yīng)碼流中解析pic_alignment_flag和/或pic_alignment_type，alignment_code對(duì)應(yīng)字段，獲取它們的值。示例6：本示例中，對(duì)齊或同步信息位于系統(tǒng)層，如MPEG-2TS(TransportStream)層，PTS_DTS_flags即為pic_alignment_flag，位于TS的PES_packet中。其控制范圍是當(dāng)前PES所屬TransportStream。PTS_DTS_flags等于2，表示后續(xù)有時(shí)間信息PTS(PresentationTimeStamps)，PTS_DTS_flags等于3，表示后續(xù)有時(shí)間信息PTS和DTS(DecodingTimeStamps)。PTS_DTS_flags值等于0，后續(xù)沒(méi)有時(shí)間信息PTS或DTS。在PTS_DTS_flags字段后，使用表3的比特字段，進(jìn)一步給出時(shí)間信息。本示例中，不同編碼格式視頻碼流的傳輸主要包括以下步驟：步驟1：源設(shè)備根據(jù)應(yīng)用需求(如編碼器是否使用基本層AVC圖像作為增強(qiáng)層HEVC圖像的參考，或AVC圖像與HEVC圖像需要同步輸出)，判斷是否需要對(duì)不同編碼格式的視頻進(jìn)行對(duì)齊操作。若需要使用對(duì)齊信息，源設(shè)備設(shè)置PTS_DTS_flags為2或3，否則設(shè)置PTS_DTS_flags為0。步驟2：源設(shè)備使用對(duì)應(yīng)編碼方法將PTS_DTS_flags的取值分別寫(xiě)入到封裝AVC視頻碼流的MPEG-2TS的PES包頭中，和封裝HEVC視頻碼流的MPEG-2TS的PES包頭中。此時(shí)非HEVC和HEVC的視頻碼流在不同的TS包中。步驟3：源設(shè)備獲取當(dāng)前編碼器進(jìn)行混合編碼時(shí)的系統(tǒng)時(shí)間，將此時(shí)間信息作為對(duì)齊信息分別寫(xiě)入封裝AVC視頻碼流的MPEG-2TS的PES包頭中，和封裝HEVC視頻碼流的MPEG-2TS的PES包頭中。步驟4：宿設(shè)備接收到碼流后，分別在封裝AVC視頻碼流的MPEG-2TS的PES包頭中，和封裝HEVC視頻碼流的MPEG-2TS的PES包頭中尋找PTS_DTS_flags。步驟5：宿設(shè)備使用對(duì)應(yīng)解碼方法分別從封裝AVC視頻碼流的MPEG-2TS的PES包頭中，和封裝HEVC視頻碼流的MPEG-2TS的PES包頭中獲取PTS_DTS_flags的值，判斷是否存在時(shí)間信息(PTS_DTS_flags是否等于2或3)。步驟6：如果存在時(shí)間信息(PTS_DTS_flags等于2或3)，宿設(shè)備根據(jù)對(duì)應(yīng)的表3所示字段，使用對(duì)應(yīng)解碼方法從碼流中分別獲取封裝AVC視頻碼流的MPEG-2TS的PES包頭中，和封裝HEVC視頻碼流的MPEG-2TS的PES包頭中的時(shí)間信息。步驟7：宿設(shè)備根據(jù)得到的時(shí)間信息，確定不同編碼格式的圖像是否需要同步。步驟8：如果需要同步，即AVC和HEVC獲取的時(shí)間信息一致，宿設(shè)備將當(dāng)前AVC解碼器解碼獲得的重建圖像放入HEVC的參考幀管理列表中，供HEVC解碼器使用。對(duì)于多視點(diǎn)應(yīng)用中，宿設(shè)備利用此信息對(duì)不同視點(diǎn)的圖像，進(jìn)行同步輸出顯示操作。示例7：本示例中，上述對(duì)齊輔助信息位于文件視頻媒體屬性對(duì)應(yīng)的字段中，當(dāng)包含有pic_alignment_flag和/或pic_alignment_type的視頻媒體屬性的字段的作用范圍是媒體文件碼流中的整個(gè)不同編碼格式的視頻碼流，源設(shè)備和宿設(shè)備對(duì)pic_alignment_flag和/或pic_alignment_type的操作方法與示例1和示例2的操作方法相似。本示例與示例1和示例2的不同之處在于源設(shè)備使用對(duì)應(yīng)的編碼方法將pic_alignment_flag和/或pic_alignment_type，alignment_code的取值寫(xiě)入所述視頻媒體屬性的字段的對(duì)應(yīng)系統(tǒng)碼流中。宿設(shè)備使用對(duì)應(yīng)的解碼方法從所述描述視頻媒體屬性的字段的對(duì)應(yīng)的系統(tǒng)碼流中解析pic_alignment_flag和/或pic_alignment_type，alignment_code對(duì)應(yīng)字段，獲取它們的取值。示例8：本示例中，上述對(duì)齊輔助信息位于應(yīng)用層媒體數(shù)據(jù)區(qū)，當(dāng)包含有pic_alignment_flag和/或pic_alignment_type的數(shù)據(jù)區(qū)的作用范圍是應(yīng)用層碼流中的整個(gè)不同編碼格式的視頻碼流，源設(shè)備和宿設(shè)備對(duì)pic_alignment_flag和/或pic_alignment_type的操作方法與示例1和示例2的操作方法相似。本示例與示例1和示例2的不同之處在于源設(shè)備使用對(duì)應(yīng)的編碼方法將pic_alignment_flag和/或pic_alignment_type，alignment_code的取值寫(xiě)入所述媒體數(shù)據(jù)區(qū)的對(duì)應(yīng)系統(tǒng)碼流中。宿設(shè)備使用對(duì)應(yīng)的解碼方法從所述媒體數(shù)據(jù)區(qū)的對(duì)應(yīng)的系統(tǒng)碼流中解析pic_alignment_flag和/或pic_alignment_type，alignment_code對(duì)應(yīng)字段，獲取它們的取值。如把上述對(duì)齊或同步信息寫(xiě)入到包含不同編碼格式視頻數(shù)據(jù)的DVB應(yīng)用層碼流中私有數(shù)據(jù)字節(jié)區(qū)(PrivateDataBytes)。主要包括以下步驟：步驟1：源設(shè)備根據(jù)應(yīng)用需求(如編碼器是否使用基本層AVC圖像作為增強(qiáng)層HEVC圖像的參考，或AVC圖像與HEVC圖像需要同步輸出)，判斷是否需要對(duì)不同編碼格式的視頻進(jìn)行對(duì)齊操作。若需要使用對(duì)齊信息，源設(shè)備將私有數(shù)據(jù)標(biāo)志private_data_flag設(shè)為1，私有數(shù)據(jù)包頭類(lèi)型data_field_tag設(shè)置為用戶(hù)自定義值之一(0xA0至0xFF，不限于此數(shù)值范圍，與宿設(shè)備約定具體定義值)。否則設(shè)置private_data_flag為0。步驟2：源設(shè)備使用對(duì)應(yīng)編碼方法將data_field_tag的取值分別寫(xiě)入到封裝AVC視頻碼流的DVB私有數(shù)據(jù)區(qū)中，和封裝HEVC視頻碼流的DVB私有數(shù)據(jù)區(qū)中。步驟3：源設(shè)備使用對(duì)應(yīng)的編碼方法將data_field_tag的取值分別寫(xiě)入到非HEVC視頻碼流封裝的DVB私有數(shù)據(jù)區(qū)中，和HEVC視頻碼流封裝的DVB私有數(shù)據(jù)區(qū)中。步驟4：源設(shè)備獲取當(dāng)前編碼器進(jìn)行混合編碼時(shí)的系統(tǒng)時(shí)間，將此時(shí)間信息作為對(duì)齊信息分別寫(xiě)入封裝AVC視頻碼流的DVB私有數(shù)據(jù)區(qū)中，和封裝HEVC視頻碼流的DVB私有數(shù)據(jù)區(qū)中。步驟5：宿設(shè)備接收到碼流后，分別在封裝AVC視頻碼流的DVB私有數(shù)據(jù)區(qū)中，和封裝HEVC視頻碼流的DVB私有數(shù)據(jù)區(qū)中尋找private_data_flag是否存在。步驟6：宿設(shè)備使用u(1)對(duì)應(yīng)的解碼方法從封裝非HEVC視頻數(shù)據(jù)的DVB碼流中，和封裝HEVC視頻數(shù)據(jù)的DVB碼流中獲取private_data_flag的值，判斷是否存在私有數(shù)據(jù)信息。步驟7：如果存在時(shí)間信息(private_data_flag等于1)，宿設(shè)備獲取私有數(shù)據(jù)，使用對(duì)應(yīng)解碼方法從碼流中分別獲取封裝AVC視頻碼流的MPEG-2TS的PES包頭中，和封裝HEVC視頻碼流的MPEG-2TS的PES包頭中解碼出data_field_tag，如果是與源設(shè)備約定的用戶(hù)自定義值(0xA0至0xFF中的某個(gè)值，不限于此數(shù)值范圍)，則存在時(shí)間信息，否則，不存在時(shí)間信息。步驟8：如果存在時(shí)間信息，宿設(shè)備根據(jù)表3所示字段，使用對(duì)應(yīng)解碼方法從包含非HEVC視頻數(shù)據(jù)的DVB私有數(shù)據(jù)區(qū)，和包含HEVC視頻數(shù)據(jù)的DVB私有數(shù)據(jù)區(qū)獲取的時(shí)間信息。步驟9：宿設(shè)備根據(jù)得到的時(shí)間信息，確定不同編碼格式的圖像是否需要同步。步驟10：如果需要同步，即AVC和HEVC獲取的時(shí)間信息一致，宿設(shè)備將當(dāng)前AVC解碼器解碼獲得的重建圖像放入HEVC的參考幀管理列表中，供HEVC解碼器使用。對(duì)于多視點(diǎn)應(yīng)用中，宿設(shè)備利用此信息對(duì)不同視點(diǎn)的圖像，進(jìn)行同步輸出顯示操作。示例9：上述示例1-8所示都是針對(duì)多路碼流為不同標(biāo)準(zhǔn)碼流時(shí)的處理，本示例則對(duì)多路碼流為相同標(biāo)準(zhǔn)碼流的情況進(jìn)行示例說(shuō)明，此時(shí)的多路碼流對(duì)齊或同步的處理過(guò)程與多路碼流為不同標(biāo)準(zhǔn)碼流類(lèi)似，下面以?xún)陕废嗤a流為例進(jìn)行說(shuō) 明，例如：基本層和增強(qiáng)層都是H.265/HEVC視頻碼流。此時(shí)源設(shè)備根據(jù)應(yīng)用需求，確定兩個(gè)H.265/HEVC視頻碼流添加對(duì)齊或同步信息的形式。宿設(shè)備獲取所需的對(duì)齊或同步信息。源設(shè)備可以使用實(shí)例1至實(shí)例8的所述方法，設(shè)置視頻碼流層，系統(tǒng)層和應(yīng)用層中當(dāng)高層數(shù)據(jù)結(jié)構(gòu)與低層數(shù)據(jù)結(jié)構(gòu)中的pic_alignment_flag和/或pic_alignment_type，alignment_code取值，并使用相應(yīng)的編碼方法將其寫(xiě)入碼流。宿設(shè)備對(duì)接收碼流進(jìn)行處理，使用實(shí)例1至實(shí)例8的所述方法，從應(yīng)用層、系統(tǒng)層和視頻碼流層查找獲得pic_alignment_flag和/或pic_alignment_type，alignment_code的值，根據(jù)與源設(shè)備的統(tǒng)一約定，轉(zhuǎn)換為統(tǒng)一的時(shí)間格式。宿設(shè)備使用上述各方法設(shè)置接收、解碼過(guò)程中的差錯(cuò)控制、播放控制模塊。示例10：本示例中，不同視頻標(biāo)準(zhǔn)或相同視頻標(biāo)準(zhǔn)的各碼流攜帶上述對(duì)齊輔助信息的位置可以不同。源設(shè)備根據(jù)應(yīng)用需求，確定各視頻碼流添加對(duì)齊或同步信息的位置，寫(xiě)入相同信息格式。宿設(shè)備按照應(yīng)用層、系統(tǒng)層和視頻編碼層的順序進(jìn)行搜索查找，直到獲取所需的對(duì)齊或同步信息。使用混合方法中，源設(shè)備首先根據(jù)應(yīng)用需求，確定不同視頻標(biāo)準(zhǔn)或相同視頻標(biāo)準(zhǔn)的各碼流的對(duì)齊方式，包括確定對(duì)齊信息所在層，以及數(shù)據(jù)形式。源設(shè)備根據(jù)以上所確定的信息，使用示例1至示例8的所述方法，設(shè)置視頻碼流層，系統(tǒng)層和應(yīng)用層中當(dāng)高層數(shù)據(jù)結(jié)構(gòu)與低層數(shù)據(jù)結(jié)構(gòu)中的pic_alignment_flag和/或pic_alignment_type，alignment_code取值，并使用相應(yīng)的編碼方法將其寫(xiě)入碼流。宿設(shè)備對(duì)接收碼流進(jìn)行處理，使用示例1至示例8的所述方法，從應(yīng)用層、系統(tǒng)層和視頻碼流層查找獲得pic_alignment_flag和/或pic_alignment_type，alignment_code的值，宿設(shè)備使用上述各方法設(shè)置接收、解碼過(guò)程中的差錯(cuò)控制、播放控制模塊。示例11：本示例中，不同視頻標(biāo)準(zhǔn)或相同視頻標(biāo)準(zhǔn)的各碼流中攜帶上述對(duì)齊輔助信息的形式可不同。源設(shè)備根據(jù)應(yīng)用需求，確定不同視頻標(biāo)準(zhǔn)或相同視頻標(biāo)準(zhǔn)的各碼流添加對(duì)齊或同步信息的形式。通過(guò)與宿設(shè)備協(xié)商統(tǒng)一規(guī)則，如將時(shí)間信息統(tǒng)一轉(zhuǎn)換為系統(tǒng)時(shí)間，或者統(tǒng)一序號(hào)。宿設(shè)備按照應(yīng)用層、系統(tǒng)層和視頻編碼層的順序進(jìn)行搜索查找，直到獲取所需的對(duì)齊或同步信息。使用混合方法中，源設(shè)備首先根據(jù)應(yīng)用需求，確定不同視頻標(biāo)準(zhǔn)或相同視頻標(biāo)準(zhǔn)的各碼流對(duì)齊方式，包括確定對(duì)齊或同步信息所在層，以及數(shù)據(jù)形式。源設(shè)備根據(jù)以上所確定的信息，使用示例1至示例8的所述方法，設(shè)置視頻碼流層，系統(tǒng)層和應(yīng)用層中當(dāng)高層數(shù)據(jù)結(jié)構(gòu)與低層數(shù)據(jù)結(jié)構(gòu)中的pic_alignment_flag和/或pic_alignment_type，alignment_code取值，并使用相應(yīng)的編碼方法將其寫(xiě)入碼流。宿設(shè)備對(duì)接收碼流進(jìn)行處理，使用示例1至示例8的所述方法，從應(yīng)用層、系統(tǒng)層和視頻碼流層查找獲得pic_alignment_flag和/或pic_alignment_type，alignment_code的值，根據(jù)與源設(shè)備的統(tǒng)一約定，轉(zhuǎn)換為統(tǒng)一的時(shí)間格式。宿設(shè)備使用上述各方法設(shè)置接收、解碼過(guò)程中的差錯(cuò)控制、播放控制模塊。示例12：本示例中，采用混合使用的方法攜帶上述對(duì)其輔助信息。對(duì)于不同視頻標(biāo)準(zhǔn)或相同視頻標(biāo)準(zhǔn)的各碼流來(lái)說(shuō)，應(yīng)用層是高于系統(tǒng)層的數(shù)據(jù)結(jié)構(gòu)，系統(tǒng)層是高于視頻編碼層的數(shù)據(jù)結(jié)構(gòu)。在示例中，pic_alignment_flag和/或pic_alignment_type，alignment_code可以在不同層次的數(shù)據(jù)結(jié)構(gòu)中進(jìn)行編碼。當(dāng)高層數(shù)據(jù)結(jié)構(gòu)與低層數(shù)據(jù)結(jié)構(gòu)中的pic_alignment_flag和/或pic_alignment_type，alignment_code取值不同時(shí)，低層數(shù)據(jù)結(jié)構(gòu)中的值覆蓋高層數(shù)據(jù)結(jié)構(gòu)中的值。當(dāng)?shù)蛯訑?shù)據(jù)結(jié)構(gòu)中的pic_alignment_flag和/或pic_alignment_type，alignment_code有缺失時(shí)，可以借用高層數(shù)據(jù)結(jié)構(gòu)中的這些值用于對(duì)齊或同步。使用混合方法中，源設(shè)備首先根據(jù)應(yīng)用需求，確定不同視頻標(biāo)準(zhǔn)或相同視頻標(biāo)準(zhǔn)的各碼流對(duì)齊方式，包括確定對(duì)齊或同步信息所在層，以及數(shù)據(jù)形式。 源設(shè)備根據(jù)以上所確定的信息，使用示例1至示例8的所述方法，設(shè)置視頻碼流層，系統(tǒng)層和應(yīng)用層中當(dāng)高層數(shù)據(jù)結(jié)構(gòu)與低層數(shù)據(jù)結(jié)構(gòu)中的pic_alignment_flag和/或pic_alignment_type，alignment_code取值，并使用相應(yīng)的編碼方法將其寫(xiě)入碼流。宿設(shè)備對(duì)接收碼流進(jìn)行處理，使用示例1至示例8的所述方法，從應(yīng)用層、系統(tǒng)層和視頻碼流層獲得pic_alignment_flag和/或pic_alignment_type，alignment_code的值，宿設(shè)備使用上述各方法設(shè)置接收、解碼過(guò)程中的差錯(cuò)控制、播放控制模塊。宿設(shè)備可使用不同層獲取得到的對(duì)齊或同步信息，作為其碼流檢錯(cuò)和播放操作控制條件。若不同層獲取的對(duì)齊或同步信息有差異，宿設(shè)備執(zhí)行差錯(cuò)控制機(jī)制，通過(guò)反饋信息向源設(shè)備報(bào)告錯(cuò)誤。宿設(shè)備可直接根據(jù)對(duì)齊或同步信息進(jìn)行該層圖像與其它層圖像間進(jìn)行輸出和播放控制。綜上所述，通過(guò)本發(fā)明實(shí)施例提供的方法，可以在碼流高層、系統(tǒng)層、視頻層描述等增加不同編碼格式的視頻對(duì)齊的描述。同時(shí)，在碼流高層結(jié)構(gòu)上采用分層描述機(jī)制，有利于碼流生成過(guò)程中的靈活控制。顯然，本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述的本發(fā)明的各模塊或各步驟可以用通用的計(jì)算裝置來(lái)實(shí)現(xiàn)，它們可以集中在單個(gè)的計(jì)算裝置上，或者分布在多個(gè)計(jì)算裝置所組成的網(wǎng)絡(luò)上，可選地，它們可以用計(jì)算裝置可執(zhí)行的程序代碼來(lái)實(shí)現(xiàn)，從而，可以將它們存儲(chǔ)在存儲(chǔ)裝置中由計(jì)算裝置來(lái)執(zhí)行，并且在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟，或者將它們分別制作成各個(gè)集成電路模塊，或者將它們中的多個(gè)模塊或步驟制作成單個(gè)集成電路模塊來(lái)實(shí)現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。以上內(nèi)容是結(jié)合具體的實(shí)施方式對(duì)本發(fā)明所作的進(jìn)一步詳細(xì)說(shuō)明，不能認(rèn)定本發(fā)明的具體實(shí)施只局限于這些說(shuō)明。對(duì)于本發(fā)明所屬
技術(shù)領(lǐng)域：
的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡(jiǎn)單推演或替換， 都應(yīng)當(dāng)視為屬于本發(fā)明的保護(hù)范圍。當(dāng)前第1頁(yè)1 2 3