本發(fā)明涉及通信技術(shù)領(lǐng)域,特別涉及一種碼流發(fā)送方法及設(shè)備。
背景技術(shù):
在H.264(一種數(shù)字視頻壓縮格式)/AVC(Advanced Video Coding,高級(jí)視頻編碼)的基礎(chǔ)上引入了SVC(Scalable Video Coding,可伸縮視頻編碼)技術(shù),即H.264/SVC,SVC技術(shù)利用了AVC編解碼器的各種高效算法工具,在編碼產(chǎn)生的視頻的時(shí)間上(幀率)、及空間上(分辨率)都可擴(kuò)展,同時(shí)可以產(chǎn)生不同幀率、分辨率或質(zhì)量等級(jí)的解碼視頻,效果更好。
原始視頻序列經(jīng)SVC編碼后產(chǎn)生的碼流具有一個(gè)基本層和多個(gè)增強(qiáng)層。其中,基本層包含最基本的視頻重建信息,接收到基本層就可恢復(fù)出低質(zhì)量的視頻序列,而增強(qiáng)層則包含重建視頻的細(xì)節(jié)信息,隨著接收的增強(qiáng)層的數(shù)據(jù)的增加,就可以結(jié)合基本層逐漸恢復(fù)出質(zhì)量越來(lái)越高的視頻序列,從而顯示出視頻的可分級(jí)特性。
然而,現(xiàn)有技術(shù)中,H.264/SVC終端與H.264/AVC終端僅局限在基本層的互通,也就是說(shuō),不論AVC終端本身能支持的分辨率、幀率或者碼率等有多高,都只能接收SVC終端發(fā)送的基本層的碼流,會(huì)丟失較多的碼流,導(dǎo)致重建的視頻質(zhì)量不高。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明實(shí)施例提供一種碼流發(fā)送方法及設(shè)備,用于解決終端在接收對(duì)端發(fā)送的碼流時(shí)會(huì)丟失較多碼流的技術(shù)問(wèn)題。
第一方面,提供一種碼流發(fā)送方法,包括:
媒體網(wǎng)關(guān)接收媒體接收端發(fā)送的碼流的屬性信息,并根據(jù)所述碼流的屬性 信息確定第一碼流轉(zhuǎn)換信息;所述第一碼流轉(zhuǎn)換信息中包括轉(zhuǎn)換類型信息和按層轉(zhuǎn)換的模式的信息,所述轉(zhuǎn)換類型信息包括由多層編碼格式的碼流轉(zhuǎn)換為單層編碼格式的碼流的信息;
所述媒體網(wǎng)關(guān)根據(jù)所述按層轉(zhuǎn)換的模式的信息,將媒體發(fā)送端發(fā)送的碼流的屬性信息修改為所述媒體接收端發(fā)送的屬性信息,并將修改后的屬性信息發(fā)送給媒體發(fā)送端;
所述媒體網(wǎng)關(guān)接收所述媒體發(fā)送端發(fā)送的第一格式的碼流,并將所述第一格式的碼流轉(zhuǎn)換為第二格式的碼流;所述第一格式的碼流為所述媒體發(fā)送端根據(jù)修改后的屬性信息發(fā)送的,所述第一格式為多層編碼格式,所述第二格式為單層編碼格式;
所述媒體網(wǎng)關(guān)將所述第二格式的碼流發(fā)送給所述媒體接收端。
結(jié)合第一方面,在第一方面的第一種可能的實(shí)現(xiàn)方式中,由多層編碼格式的碼流轉(zhuǎn)換為單層編碼格式的碼流的信息包括:由SVC格式轉(zhuǎn)換為AVC格式的信息、由SHVC格式轉(zhuǎn)換為AVC格式的信息、及由SHVC格式轉(zhuǎn)換為HEVC格式的信息中的至少一種。
結(jié)合第一方面或第一方面的第一種可能的實(shí)現(xiàn)方式,在第一方面的第二種可能的實(shí)現(xiàn)方式中,所述按層轉(zhuǎn)換的模式的信息包括按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息;
所述媒體網(wǎng)關(guān)接收所述媒體發(fā)送端發(fā)送的第一格式的碼流,包括:
所述媒體網(wǎng)關(guān)接收所述媒體發(fā)送端發(fā)送的所述預(yù)設(shè)層級(jí)的碼流,所述預(yù)設(shè)層級(jí)的碼流的格式為所述第一格式。
結(jié)合第一方面的第二種可能的實(shí)現(xiàn)方式,在第一方面的第三種可能的實(shí)現(xiàn)方式中,將所述第一格式的碼流轉(zhuǎn)換為第二格式的碼流,包括:
將所述預(yù)設(shè)層級(jí)的碼流轉(zhuǎn)換為所述第二格式的碼流。
結(jié)合第一方面的第二種可能的實(shí)現(xiàn)方式,在第一方面的第四種可能的實(shí)現(xiàn)方式中,所述第一碼流轉(zhuǎn)換信息還包括轉(zhuǎn)換級(jí)別信息,為:抽取與幀率相關(guān)的 數(shù)據(jù)包的信息;
將所述第一格式的碼流轉(zhuǎn)換為第二格式的碼流,包括:
按照所述轉(zhuǎn)換級(jí)別信息,從所述預(yù)設(shè)層級(jí)的碼流中抽取與幀率相關(guān)的數(shù)據(jù)包;
將抽取的與幀率相關(guān)的數(shù)據(jù)包轉(zhuǎn)換為所述第二格式的碼流。
結(jié)合第一方面的第二種可能的實(shí)現(xiàn)方式,在第一方面的第五種可能的實(shí)現(xiàn)方式中,所述第一碼流轉(zhuǎn)換信息還包括轉(zhuǎn)換級(jí)別信息,為:抽取與分辨率相關(guān)的數(shù)據(jù)包的信息;
將所述第一格式的碼流轉(zhuǎn)換為第二格式的碼流,包括:
按照所述轉(zhuǎn)換級(jí)別信息,從所述預(yù)設(shè)層級(jí)的碼流中抽取與分辨率相關(guān)的數(shù)據(jù)包;
將抽取的與分辨率相關(guān)的數(shù)據(jù)包轉(zhuǎn)換為所述第二格式的碼流。
結(jié)合第一方面或第一方面的第一種可能的實(shí)現(xiàn)方式至第五種可能的實(shí)現(xiàn)方式中的任一種可能的實(shí)現(xiàn)方式,在第一方面的第六種可能的實(shí)現(xiàn)方式中,根據(jù)所述碼流的屬性信息確定第一碼流轉(zhuǎn)換信息,包括:
根據(jù)所述碼流的屬性信息以及轉(zhuǎn)換能力信息確定所述第一碼流轉(zhuǎn)換信息;
其中,所述碼流的屬性信息用于指示所述媒體接收端支持的碼流的屬性信息;或
所述碼流的屬性信息用于指示所述第一碼流轉(zhuǎn)換信息;
其中,所述轉(zhuǎn)換能力信息包括所述轉(zhuǎn)換類型信息及所述按層轉(zhuǎn)換的模式的信息,其中,所述按層轉(zhuǎn)換的模式的信息包括按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息。
結(jié)合第一方面的第六種可能的實(shí)現(xiàn)方式,在第一方面的第七種可能的實(shí)現(xiàn)方式中,所述轉(zhuǎn)換能力信息還包括轉(zhuǎn)換級(jí)別信息;其中:
所述轉(zhuǎn)換級(jí)別信息包括:抽取與幀率相關(guān)的數(shù)據(jù)包的信息,或,抽取與分辨率相關(guān)的數(shù)據(jù)包的信息。
第二方面,提供一種媒體網(wǎng)關(guān),包括:
確定模塊,用于接收媒體接收端發(fā)送的碼流的屬性信息,并根據(jù)所述碼流的屬性信息確定第一碼流轉(zhuǎn)換信息;所述第一碼流轉(zhuǎn)換信息中包括轉(zhuǎn)換類型信息和按層轉(zhuǎn)換的模式的信息,所述轉(zhuǎn)換類型信息包括由多層編碼格式的碼流轉(zhuǎn)換為單層編碼格式的碼流的信息;
更改模塊,用于根據(jù)所述按層轉(zhuǎn)換的模式的信息,將媒體發(fā)送端發(fā)送的碼流的屬性信息修改為所述媒體接收端發(fā)送的屬性信息,并將修改后的屬性信息發(fā)送給媒體發(fā)送端;
轉(zhuǎn)換模塊,用于接收所述媒體發(fā)送端發(fā)送的第一格式的碼流,并將所述第一格式的碼流轉(zhuǎn)換為第二格式的碼流;所述第一格式的碼流為所述媒體發(fā)送端根據(jù)修改后的屬性信息發(fā)送的,所述第一格式為多層編碼格式,所述第二格式為單層編碼格式;
發(fā)送模塊,用于將所述第二格式的碼流發(fā)送給所述媒體接收端。
第三方面,提供一種媒體接收端,包括:
發(fā)送模塊,用于向媒體網(wǎng)關(guān)發(fā)送碼流的屬性信息,所述碼流的屬性信息用于確定第一碼流轉(zhuǎn)換信息;所述第一碼流轉(zhuǎn)換信息中包括轉(zhuǎn)換類型信息和按層轉(zhuǎn)換的模式的信息,所述轉(zhuǎn)換類型信息包括由多層編碼格式的碼流轉(zhuǎn)換為單層編碼格式的碼流的信息;
接收模塊,用于接收所述媒體網(wǎng)關(guān)發(fā)送的第二格式的碼流;所述第二格式的碼流為所述媒體網(wǎng)關(guān)對(duì)根據(jù)所述第一碼流轉(zhuǎn)換信息接收的第一格式的碼流轉(zhuǎn)換得到的。
本發(fā)明實(shí)施例中提供了碼流轉(zhuǎn)換信息(即第一碼流轉(zhuǎn)換信息),媒體網(wǎng)關(guān)在確定第一碼流轉(zhuǎn)換信息后,可以根據(jù)第一碼流轉(zhuǎn)換信息中的按層轉(zhuǎn)換的模式信息修改媒體發(fā)送端發(fā)送的碼流的屬性信息,并將修改后的屬性信息通知媒體發(fā)送端,這樣媒體發(fā)送端會(huì)根據(jù)修改后的碼流的屬性信息向媒體網(wǎng)關(guān)發(fā)送第一格式的碼流,媒體發(fā)送端發(fā)送的碼流也就是媒體網(wǎng)關(guān)所請(qǐng)求的碼流,符合媒體接收端的需求,媒體網(wǎng)關(guān)可以直接將第一格式的碼流轉(zhuǎn)換為第二格式的碼流, 第二格式的碼流是媒體接收端所支持的,因此媒體接收端能夠接收第二格式的碼流。
這樣,媒體接收端具體接收碼流中的哪些部分,可以通過(guò)碼流的屬性信息來(lái)通知媒體網(wǎng)關(guān),可以接收盡量多的碼流,盡量避免碼流的丟失,增加媒體接收端的信息接收能力和信息接收量,此外,因?yàn)榻邮盏拇a流較多,也就是接收的視頻信息較多,根據(jù)接收的碼流重建的視頻質(zhì)量也就較好。
附圖說(shuō)明
圖1為本發(fā)明實(shí)施例中碼流發(fā)送方法的流程圖;
圖2為本發(fā)明實(shí)施例中碼流接收方法的流程圖;
圖3為本發(fā)明實(shí)施例中碼流轉(zhuǎn)換方法的第一個(gè)示例的交互圖;
圖4為本發(fā)明實(shí)施例中碼流轉(zhuǎn)換方法的第二個(gè)示例的交互圖;
圖5為本發(fā)明實(shí)施例中碼流轉(zhuǎn)換方法的第三個(gè)示例的交互圖;
圖6為本發(fā)明實(shí)施例中媒體網(wǎng)關(guān)的結(jié)構(gòu)框圖;
圖7為本發(fā)明實(shí)施例中媒體接收端的結(jié)構(gòu)框圖;
圖8為本發(fā)明實(shí)施例中媒體網(wǎng)關(guān)的結(jié)構(gòu)示意圖;
圖9為本發(fā)明實(shí)施例中媒體接收端的結(jié)構(gòu)示意圖。
具體實(shí)施方式
為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
首先介紹本發(fā)明實(shí)施例中用到的一些概念。
1、媒體網(wǎng)關(guān)(Media Gateway,MGW),為用于連接不同類型的網(wǎng)絡(luò)的功能單元。在相關(guān)標(biāo)準(zhǔn)(如H.248(一種媒體網(wǎng)關(guān)控制協(xié)議)、MGCP(Media Gateway Control Protocol,媒體網(wǎng)關(guān)控制協(xié)議)等)中,媒體網(wǎng)關(guān)被定義為將一種網(wǎng)絡(luò)中的媒體格式轉(zhuǎn)換成另一種網(wǎng)絡(luò)所要求的媒體格式的設(shè)備。媒體網(wǎng)關(guān)將各種媒體(如語(yǔ)音、數(shù)據(jù)、傳真、視頻等)在電路交換網(wǎng)絡(luò)(如PSTN(Public Switched Telephone Network,公共交換電話網(wǎng)絡(luò)))與分組網(wǎng)絡(luò)(如IP(Internet Protocol,網(wǎng)際協(xié)議)網(wǎng)絡(luò))之間轉(zhuǎn)送,它在不同網(wǎng)絡(luò)的相關(guān)實(shí)體之間提供相互通信的雙向接口。比如,媒體網(wǎng)關(guān)能夠在電路交換網(wǎng)的承載通道和分組網(wǎng)的媒體流之間進(jìn)行轉(zhuǎn)換,可以處理音頻、視頻或T.120(用于多點(diǎn)數(shù)據(jù)會(huì)議和實(shí)時(shí)通信的協(xié)議),也具備處理這三者任意組合的能力,并且能夠進(jìn)行全雙工的媒體翻譯。根據(jù)媒體網(wǎng)關(guān)在網(wǎng)絡(luò)中的位置和所處理媒體流的不同,可以將媒體網(wǎng)關(guān)分為中繼網(wǎng)關(guān)(Trunking Gateway)、接入網(wǎng)關(guān)(Access Gateway)、多媒體服務(wù)接入網(wǎng)關(guān)(Multimedia Service Access Gateway)、無(wú)線接入網(wǎng)關(guān)(Wireless Access Gateway)等。
2、會(huì)議中心(Conference Focus),能夠與多個(gè)終端進(jìn)行媒體通信,在與終端進(jìn)行媒體通信時(shí),可以通過(guò)媒體網(wǎng)關(guān)進(jìn)行中轉(zhuǎn)。例如,會(huì)議中心可以包括AS(Application Server,應(yīng)用服務(wù)器)和MRF(Multimedia Resource Function,多媒體資源功能),AS和MRF可以位于同一物理實(shí)體中,或者也可以位于不同的物理實(shí)體中。其中,AS可以由MediaX3600(融合會(huì)議系統(tǒng)中的核心組件)充當(dāng),MRF可以包括MRFC(Multimedia Resource Function Controller,多媒體資源控制器)和MRFP(Multimedia Resource Function Processor,多媒體資源處理器)。
3、終端,是指向用戶提供語(yǔ)音和/或數(shù)據(jù)連通性的設(shè)備,例如可以包括具有無(wú)線連接功能的手持式設(shè)備、或連接到無(wú)線調(diào)制解調(diào)器的處理設(shè)備。該終端可以經(jīng)RAN與核心網(wǎng)進(jìn)行通信,與RAN交換語(yǔ)音和/或數(shù)據(jù)。該終端可以為UE(User Equipment,用戶設(shè)備)、無(wú)線終端、移動(dòng)終端、訂戶單元(Subscriber Unit)、訂戶站(Subscriber Station),移動(dòng)站(Mobile Station)、移動(dòng)臺(tái)(Mobile)、遠(yuǎn)程站(Remote Station)、AP(Access Point,接入點(diǎn))、遠(yuǎn)程終端(Remote Terminal)、接入終端(Access Terminal)、用戶終端(User Terminal)、用戶代理(User Agent)、或用戶裝備(User Device)等。例如,可以是移動(dòng)電話(或稱為“蜂窩”電話),具有移動(dòng)終端的計(jì)算機(jī),便攜式、袖珍式、手持式、計(jì)算機(jī)內(nèi)置的或者車載的移動(dòng)裝置。例如,PCS(Personal Communication Service,個(gè)人通信業(yè)務(wù))電話、無(wú)繩電話、SIP(會(huì)話發(fā)起協(xié)議)話機(jī)、WLL(Wireless Local Loop,無(wú)線本地環(huán)路)站、PDA(Personal Digital Assistant,個(gè)人數(shù)字助理)等設(shè)備。
媒體發(fā)送端,可以是會(huì)議中心,或者可以是任一終端。同樣的,媒體接收端,可以是會(huì)議中心,或者可以是任一終端。
本發(fā)明實(shí)施例中提供轉(zhuǎn)換能力信息,可以根據(jù)轉(zhuǎn)換能力信息來(lái)確定碼流轉(zhuǎn)換信息,從而進(jìn)行碼流轉(zhuǎn)換。轉(zhuǎn)換能力信息可以包括轉(zhuǎn)換類型信息和轉(zhuǎn)換模式信息,可選的,還可以包括轉(zhuǎn)換級(jí)別信息。以下分別介紹。
一、轉(zhuǎn)換類型信息。
可選的,因H.264/SVC以H.264/AVC為基本層,H.265/SHVC(Scalable High Video Coding,可伸縮的高效視頻編碼)分別以H.264/AVC和H.265/HEVC(High Efficiency Video Coding,高效視頻編碼)為基本層,因此,轉(zhuǎn)換類型信息可以包括由多層編碼格式的碼流轉(zhuǎn)換為單層編碼格式的碼流的信息,還可以包括由單層編碼格式的碼流轉(zhuǎn)換為多層編碼格式的碼流的信息,另外,還可以包括不進(jìn)行轉(zhuǎn)換的信息。
例如,由多層編碼格式的碼流轉(zhuǎn)換為單層編碼格式的碼流的信息可以包括:由SVC格式轉(zhuǎn)換為AVC格式的信息、由SHVC格式轉(zhuǎn)換為AVC格式的信息、以及由SHVC格式轉(zhuǎn)換為HEVC格式的信息中的至少一種;由單層編碼格式的碼流轉(zhuǎn)換為多層編碼格式的碼流的信息可以包括:由AVC格式轉(zhuǎn)換為SVC格式的信息、由AVC格式轉(zhuǎn)換為SHVC格式的信息、以及由HEVC格式轉(zhuǎn)換為SHVC格式的信息中的至少一種;不進(jìn)行轉(zhuǎn)換的信息例如可以表示為NONE。另外,本領(lǐng)域技術(shù)人員自然知曉,如果SHVC有下一代的分層編碼 格式,也可適用于本發(fā)明。
二、轉(zhuǎn)換模式信息。
本發(fā)明實(shí)施例中,基于SVC分層的特點(diǎn),轉(zhuǎn)換模式信息中可以包括按層轉(zhuǎn)換的模式的信息,即按照層級(jí)關(guān)系逐層轉(zhuǎn)換。
本發(fā)明實(shí)施例中,按層轉(zhuǎn)換的模式的信息可以包括按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息,即,可以將指定的預(yù)設(shè)層級(jí)進(jìn)行轉(zhuǎn)換。本發(fā)明實(shí)施例中,按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息可以有不同的表述方式。
1、例如,一種可能的按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息可以為,指定一個(gè)層級(jí),其含義為:將該層以及該層以下的層進(jìn)行轉(zhuǎn)換。此時(shí),指定的層及指定的層以下的層就可以視為預(yù)設(shè)層級(jí)。例如,按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息可以包括“最高策略”、“平均策略”和“最低策略”,分別表示按照最高增強(qiáng)層轉(zhuǎn)換、按照平均增強(qiáng)層轉(zhuǎn)換和按照最低增強(qiáng)層轉(zhuǎn)換。如果按照最高增強(qiáng)層轉(zhuǎn)換,則表明要通知媒體發(fā)送端,將碼流的所有層都發(fā)送過(guò)來(lái),并將媒體發(fā)送端發(fā)送的碼流進(jìn)行轉(zhuǎn)換;如果按照平均增強(qiáng)層轉(zhuǎn)換,則表明要通知媒體發(fā)送端,只發(fā)送從平均增強(qiáng)層開始向下的每層(包括平均增強(qiáng)層),平均增強(qiáng)層之上的其他增強(qiáng)層無(wú)需發(fā)送,并將媒體發(fā)送端發(fā)送的碼流進(jìn)行轉(zhuǎn)換;如果按照最低增強(qiáng)層轉(zhuǎn)換,則表明要通知媒體發(fā)送端,只發(fā)送從最低增強(qiáng)層開始向下的每層(包括最低增強(qiáng)層),最低增強(qiáng)層之上的其他增強(qiáng)層無(wú)需發(fā)送,并將媒體發(fā)送端發(fā)送的碼流進(jìn)行轉(zhuǎn)換。
例如,媒體發(fā)送端待發(fā)送的碼流包括一個(gè)基本層(或者也可以稱為基礎(chǔ)層)和多個(gè)增強(qiáng)層,則序號(hào)位于中間的增強(qiáng)層可以是指平均增強(qiáng)層,例如媒體發(fā)送端待發(fā)送的碼流共包括8層,其中包括一個(gè)基本層和7個(gè)增強(qiáng)層,序號(hào)分別為0-8,0為基本層,其他均為增強(qiáng)層,則平均增強(qiáng)層可以是指中間的第四個(gè)增強(qiáng)層,即序號(hào)為4的增強(qiáng)層。再例如,媒體發(fā)送端待發(fā)送的碼流包括一個(gè)基本層和多個(gè)增強(qiáng)層,則最靠近基本層的增強(qiáng)層即可以認(rèn)為是最低增強(qiáng)層,例如序號(hào)0對(duì)應(yīng)的層為基本層,則可以認(rèn)為序號(hào)1對(duì)應(yīng)的層為最低增強(qiáng)層。當(dāng)然,這里 只是舉例,平均增強(qiáng)層也可以是指其他的增強(qiáng)層,以及,最低增強(qiáng)層也可以是指其他的增強(qiáng)層。
2、例如,另一種可能的按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息可以為,指定一個(gè)或多個(gè)層級(jí),其含義為:將指定的每層進(jìn)行轉(zhuǎn)換。此時(shí),指定的層就可以視為預(yù)設(shè)層級(jí)。其中,在指定一個(gè)層級(jí)時(shí),其所依賴的層級(jí)也需要在指定的范圍之內(nèi)。
例如,媒體發(fā)送端待發(fā)送的碼流共包括8層,其中包括一個(gè)基本層和7個(gè)增強(qiáng)層,序號(hào)分別為0-8,0為基本層,其他均為增強(qiáng)層。則按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的策略,例如可以為按照基本層轉(zhuǎn)換的策略(即指定層級(jí)為第0層),或例如可以為按照基本層和第一增強(qiáng)層轉(zhuǎn)換的策略(即指定層級(jí)為第0層和第1層,其中第1層是依賴于第0層的),或例如可以為按照基本層、第一增強(qiáng)層、第二增強(qiáng)層、第三增強(qiáng)層和第四增強(qiáng)層(即指定層級(jí)為第0層、第1層、第2層、第3層和4層,其中,第1層對(duì)第0層有依賴關(guān)系,即依賴于第0層,第2層對(duì)第1層有依賴關(guān)系,第3層對(duì)第2層有依賴關(guān)系,第4層對(duì)第3層有依賴關(guān)系,即總體來(lái)看,第4層對(duì)第0層、第1層、第2層和第3層都有依賴關(guān)系,因此,例如要指定第4層為預(yù)設(shè)層級(jí),則需將第0層、第1層、第2層和第3層均指定為預(yù)設(shè)層級(jí),而例如要指定第3層為預(yù)設(shè)層級(jí),則需將第0層、第1層和第2層均指定為預(yù)設(shè)層級(jí),等等),等等。
因?yàn)榛緦影罨镜囊曨l重建信息,因此,無(wú)論按層轉(zhuǎn)換的模式信息按照哪種方式進(jìn)行指示,在預(yù)設(shè)層級(jí)中都應(yīng)該包含基本層。
三、轉(zhuǎn)換級(jí)別信息。
在本發(fā)明另一實(shí)施例中,轉(zhuǎn)換能力信息還可以包括轉(zhuǎn)換級(jí)別信息。
轉(zhuǎn)換級(jí)別信息可以包括:抽取與幀率相關(guān)的數(shù)據(jù)包的信息,或,抽取與分辨率相關(guān)的數(shù)據(jù)包的信息,分別表示按照空域抽包和按照時(shí)域抽包。例如,若轉(zhuǎn)換級(jí)別信息包括抽取與幀率相關(guān)的數(shù)據(jù)包的信息,則表明從媒體發(fā)送端發(fā)送的預(yù)設(shè)層級(jí)的碼流中抽取與幀率相關(guān)的數(shù)據(jù)包進(jìn)行轉(zhuǎn)換;若轉(zhuǎn)換級(jí)別信息包括抽取與分辨率相關(guān)的數(shù)據(jù)包的信息,則表明從媒體發(fā)送端發(fā)送的預(yù)設(shè)層級(jí)的碼 流中抽取與分辨率相關(guān)的數(shù)據(jù)包進(jìn)行轉(zhuǎn)換。
例如,媒體發(fā)送端發(fā)送的預(yù)設(shè)層級(jí)的碼流共包括4層,其中包括1個(gè)基本層和3個(gè)增強(qiáng)層,若轉(zhuǎn)換級(jí)別信息包括抽取與幀率相關(guān)的數(shù)據(jù)包,則可以從這4層碼流中抽取與幀率相關(guān)的數(shù)據(jù)包,并將抽取的數(shù)據(jù)包進(jìn)行轉(zhuǎn)換。
另外,本文中術(shù)語(yǔ)“系統(tǒng)”和“網(wǎng)絡(luò)”在本文中常被可互換使用。本文中術(shù)語(yǔ)“和/或”,僅僅是一種描述關(guān)聯(lián)對(duì)象的關(guān)聯(lián)關(guān)系,表示可以存在三種關(guān)系,例如,A和/或B,可以表示:?jiǎn)为?dú)存在A,同時(shí)存在A和B,單獨(dú)存在B這三種情況。另外,本文中字符“/”,如無(wú)特殊說(shuō)明,一般表示前后關(guān)聯(lián)對(duì)象是一種“或”的關(guān)系。
下面結(jié)合說(shuō)明書附圖對(duì)本發(fā)明實(shí)施例作進(jìn)一步詳細(xì)描述。
請(qǐng)參見圖1,本發(fā)明實(shí)施例提供一種碼流發(fā)送方法,所述方法的流程描述如下。
步驟101:媒體網(wǎng)關(guān)接收媒體接收端發(fā)送的碼流的屬性信息,并根據(jù)碼流的屬性信息確定第一碼流轉(zhuǎn)換信息;其中,第一碼流轉(zhuǎn)換信息中包括轉(zhuǎn)換類型信息和按層轉(zhuǎn)換的模式的信息,轉(zhuǎn)換類型信息包括由多層編碼格式的碼流轉(zhuǎn)換為單層編碼格式的碼流的信息。
步驟102:媒體網(wǎng)關(guān)根據(jù)按層轉(zhuǎn)換的模式的信息,將媒體發(fā)送端發(fā)送的碼流的屬性信息修改為媒體接收端發(fā)送的屬性信息,并將修改后的屬性信息發(fā)送給媒體發(fā)送端。
步驟103:媒體網(wǎng)關(guān)接收媒體發(fā)送端發(fā)送的第一格式的碼流,并將第一格式的碼流轉(zhuǎn)換為第二格式的碼流;其中,第一格式的碼流為媒體發(fā)送端根據(jù)修改后的屬性信息發(fā)送的,第一格式為多層編碼格式,第二格式為單層編碼格式。
步驟104:媒體網(wǎng)關(guān)將第二格式的碼流發(fā)送給媒體接收端。
可選的,在本發(fā)明另一實(shí)施例中,媒體網(wǎng)關(guān)可以根據(jù)碼流的屬性信息,以及轉(zhuǎn)換能力信息,確定第一碼流轉(zhuǎn)換信息。確定方式例如為:
根據(jù)碼流的屬性信息確定第一碼流轉(zhuǎn)換信息,包括:
根據(jù)碼流的屬性信息以及轉(zhuǎn)換能力信息確定第一碼流轉(zhuǎn)換信息;
其中,碼流的屬性信息用于指示媒體接收端支持的碼流的屬性信息;或,碼流的屬性信息用于指示所述第一碼流轉(zhuǎn)換信息。
以上確定方式涵蓋了如下幾種情況:
1、媒體接收端可以存儲(chǔ)轉(zhuǎn)換能力信息(例如媒體接收端可以為會(huì)議中心),或者,媒體網(wǎng)關(guān)可以將轉(zhuǎn)換能力信息發(fā)送給媒體接收端,媒體接收端可以根據(jù)自身的能力,或,可以根據(jù)自身的能力和當(dāng)前的網(wǎng)絡(luò)狀態(tài)等信息,從轉(zhuǎn)換能力信息中確定第一碼流轉(zhuǎn)換信息。
例如媒體接收端是會(huì)議中心,則媒體接收端具有一定的智能性。媒體網(wǎng)關(guān)可以將轉(zhuǎn)換能力信息發(fā)送給會(huì)議中心,會(huì)議中心可以根據(jù)自身的能力,或,可以根據(jù)自身的能力和當(dāng)前的網(wǎng)絡(luò)狀態(tài)等信息,從轉(zhuǎn)換能力信息中選擇適合自身的碼流轉(zhuǎn)換信息,例如將其稱為第一碼流轉(zhuǎn)換信息,并將第一碼流轉(zhuǎn)換信息發(fā)送給媒體網(wǎng)關(guān)。這樣,媒體網(wǎng)關(guān)就可以確定用第一碼流轉(zhuǎn)換信息進(jìn)行碼流轉(zhuǎn)換。
在這種情況下,由于會(huì)議中心具有一定的智能性,其作為媒體接收端時(shí)可以根據(jù)自身的能力,或,可以根據(jù)自身的能力和當(dāng)前的網(wǎng)絡(luò)狀態(tài)等信息選擇碼流轉(zhuǎn)換信息(即第一碼流轉(zhuǎn)換信息),這樣選擇的第一碼流轉(zhuǎn)換信息可以較為充分地反映出媒體接收端的需求,從而使得碼流轉(zhuǎn)換過(guò)程能夠盡量按照媒體接收端的需求完成,提高媒體接收端的碼流接收成功率。
2、媒體網(wǎng)關(guān)存儲(chǔ)轉(zhuǎn)換能力信息,媒體網(wǎng)關(guān)可以根據(jù)媒體接收端的能力,或,可以根據(jù)媒體接收端的能力和當(dāng)前的網(wǎng)絡(luò)狀態(tài)等信息,從轉(zhuǎn)換能力信息中確定第一碼流轉(zhuǎn)換信息。
例如媒體接收端是普通終端,可以認(rèn)為普通終端不具有很好的智能性。則媒體網(wǎng)關(guān)可以根據(jù)媒體接收端的能力,或,可以根據(jù)媒體接收端的能力和當(dāng)前的網(wǎng)絡(luò)狀態(tài)等信息,確定適合媒體接收端的第一碼流轉(zhuǎn)換信息,無(wú)需媒體接收端確定。
在這種情況下,由于認(rèn)為有些普通終端不具有很好的智能性,可能不具備 自己選擇碼流轉(zhuǎn)換信息的能力,因此媒體網(wǎng)關(guān)可以根據(jù)這些終端所反饋的其自身的能力,或,可以根據(jù)這些終端所反饋的其自身的能力和當(dāng)前的網(wǎng)絡(luò)狀態(tài)等信息,從存儲(chǔ)的轉(zhuǎn)換能力信息中選擇適合這些終端的碼流轉(zhuǎn)換信息,對(duì)終端的智能性要求較低,適用范圍更為廣泛。且媒體網(wǎng)關(guān)也可以是根據(jù)媒體接收端反饋的碼流的屬性信息來(lái)選擇適合媒體接收端的碼流轉(zhuǎn)換信息,這樣選擇的第一碼流轉(zhuǎn)換信息可以盡量反映媒體接收端的需求,從而使得碼流轉(zhuǎn)換過(guò)程能夠盡量按照媒體接收端的需求完成,提高媒體接收端的碼流接收成功率。
當(dāng)然,媒體網(wǎng)關(guān)確定第一碼流轉(zhuǎn)換信息,除了以上列舉的方式外,還可以有其他的確定方式,本發(fā)明不作限制。
在確定第一碼流轉(zhuǎn)換信息后,媒體網(wǎng)關(guān)與媒體接收端建立傳輸通道,媒體網(wǎng)關(guān)執(zhí)行碼流轉(zhuǎn)換功能,并將轉(zhuǎn)換后的碼流發(fā)送給媒體接收端。
如前已有描述,無(wú)論媒體網(wǎng)關(guān)還是媒體接收端,在選擇碼流轉(zhuǎn)換信息時(shí),可以將媒體接收端的能力作為參考條件,或,可以將媒體接收端的能力和當(dāng)前的網(wǎng)絡(luò)狀態(tài)作為參考條件。
在本發(fā)明另一實(shí)施例中,網(wǎng)絡(luò)狀態(tài)可以通過(guò)網(wǎng)絡(luò)資源(Network Resources,NR)來(lái)表示,網(wǎng)絡(luò)資源建議可以從流量占用情況和丟包率兩個(gè)維度進(jìn)行評(píng)估,當(dāng)然也可以通過(guò)其他可能的指標(biāo)進(jìn)行評(píng)估,本發(fā)明不作限制。若從流量占用情況和丟包率兩個(gè)維度進(jìn)行評(píng)估,則舉例如下:
a)流量占用率(The rate of flow,Rf)=實(shí)際流量/硬件帶寬總額。
例如可以設(shè)定多個(gè)區(qū)間,例如,設(shè)定[0,X1%]區(qū)間表明流量充足,設(shè)定[X1%,X2%]表明流量持平,設(shè)定[X2%,X3%]區(qū)間表明流量緊張。具體的區(qū)間數(shù)量、區(qū)間的端點(diǎn)值等信息都可以根據(jù)不同情況進(jìn)行不同的設(shè)定。
b)丟包率(The rate of lost packets,Rp)。
例如可以根據(jù)RTCP反饋機(jī)制來(lái)計(jì)算丟包率(即,可以根據(jù)RTCP(Real-time Transport Control Protocol,實(shí)時(shí)傳輸控制協(xié)議)消息中的SR(Sender Report,發(fā)送報(bào)告)中的發(fā)送的數(shù)據(jù)包的數(shù)量和相應(yīng)的RR(Receiver Report,接收?qǐng)?bào)告) 中的接收的數(shù)據(jù)包的數(shù)量來(lái)統(tǒng)計(jì)丟包率)。
例如可以設(shè)定多個(gè)區(qū)間,例如可以設(shè)定[0,Y1%]、[Y1%,Y2%]和[Y2%,Y3%]等多個(gè)丟包率區(qū)間。具體的,Y1、Y2和Y3的值可根據(jù)不同情況設(shè)定。以及,具體的區(qū)間數(shù)量、區(qū)間的端點(diǎn)值等信息都可以根據(jù)不同情況進(jìn)行不同的設(shè)定。
例如,一種根據(jù)流量占用情況和丟包率評(píng)估網(wǎng)絡(luò)資源的方式如下:
Rf<X1%并且Rp<Y1%時(shí),判定NR為充足;
X1%<Rf<X2%或者Y1%<p<Y2%時(shí),判定NR為持平;
X2%<Rf<X3%或者Y2%<p<Y3%時(shí),判定NR為緊張;
Rf>X3%或者Rp>Y3%時(shí),判定NR為極端緊張。
例如,如果NR判定為充足,則可以選擇將預(yù)設(shè)層級(jí)設(shè)定為媒體發(fā)送端待發(fā)送的碼流的所有層;如果NR判定為極端緊張,則轉(zhuǎn)換類型信息可以選擇為NONE,即不進(jìn)行轉(zhuǎn)換,等等。
另外,在本發(fā)明另一實(shí)施例中,在評(píng)估網(wǎng)絡(luò)狀態(tài)時(shí),除了可以考慮網(wǎng)絡(luò)資源外,還可以考慮網(wǎng)絡(luò)中其他終端的能力。例如,如果媒體網(wǎng)關(guān)需要評(píng)估網(wǎng)絡(luò)狀態(tài),則媒體網(wǎng)關(guān)除了可以評(píng)估網(wǎng)絡(luò)資源外,還可以考慮對(duì)端(例如可以包括媒體接收端和/或媒體發(fā)送端)的能力。如果會(huì)議中心需要評(píng)估網(wǎng)絡(luò)狀態(tài),則會(huì)議中心除了可以評(píng)估網(wǎng)絡(luò)資源外,還可以考慮對(duì)端(如果會(huì)議中心作為媒體接收端,則對(duì)端可以是指媒體發(fā)送端,如果會(huì)議中心作為媒體發(fā)送端,則對(duì)端可以是指媒體接收端)的能力,和/或,還可以考慮網(wǎng)絡(luò)中多個(gè)終端的能力,例如可以考慮與會(huì)議中心進(jìn)行通信的一個(gè)或多個(gè)終端的能力,等等。
終端的能力,建議可以從分辨率的維度進(jìn)行評(píng)估,當(dāng)然也可以從其他維度進(jìn)行評(píng)估。例如,若從分辨率的維度進(jìn)行評(píng)估,可以設(shè)定相應(yīng)的區(qū)間,例如設(shè)定分辨率大于等于720P的終端為高能力終端,設(shè)定分辨率為[360P,180P]的終端為低能力終端,設(shè)定分辨率小于等于180P的終端為低能力終端,等等。對(duì)于評(píng)估終端的能力的方式本發(fā)明不作限制。
因媒體網(wǎng)關(guān)已經(jīng)根據(jù)按層轉(zhuǎn)換的模式的信息修改了媒體發(fā)送端發(fā)送的碼流的屬性信息,并將修改后的屬性信息發(fā)送給了媒體發(fā)送端,因此,本發(fā)明另一實(shí)施例中,若按層轉(zhuǎn)換的模式的信息包括按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息,則步驟103中,媒體網(wǎng)關(guān)接收媒體發(fā)送端發(fā)送的第一格式的碼流,包括:
媒體網(wǎng)關(guān)接收媒體發(fā)送端發(fā)送的預(yù)設(shè)層級(jí)的碼流,預(yù)設(shè)層級(jí)的碼流的格式為第一格式。
在該實(shí)施例中,媒體發(fā)送端可以將按層轉(zhuǎn)換的模式的信息所指示的層發(fā)送給媒體網(wǎng)關(guān),而按層轉(zhuǎn)換的模式的信息未指示的層,媒體發(fā)送端可以不發(fā)送給媒體網(wǎng)關(guān),這樣,媒體網(wǎng)關(guān)接收的就是所需要的層,無(wú)需接收其他不需要的層,減少需傳輸?shù)臄?shù)據(jù)量,節(jié)省系統(tǒng)資源。
例如,媒體發(fā)送端待發(fā)送的碼流本身包括8層,其中包括1個(gè)基本層和7個(gè)增強(qiáng)層,序號(hào)分別為0-7,基本層的序號(hào)為0,最高增強(qiáng)層的序號(hào)為7。按層轉(zhuǎn)換的模式的信息中包括按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息,預(yù)設(shè)層級(jí)例如為第3層及以下的層級(jí),即,預(yù)設(shè)層級(jí)為第0層、第1層、第2層和第3層。則媒體發(fā)送端可以將待發(fā)送的碼流的第0層、第1層、第2層和第3層發(fā)送給媒體網(wǎng)關(guān),而待發(fā)送的碼流的第4層、第5層、第6層和第7層可以不發(fā)送,減少媒體網(wǎng)關(guān)需接收的數(shù)據(jù)量,且減少的是媒體網(wǎng)關(guān)所不需要接收的數(shù)據(jù),因此也相當(dāng)于減少了媒體網(wǎng)關(guān)接收的冗余數(shù)據(jù)。
在本發(fā)明另一實(shí)施例中,媒體發(fā)送端發(fā)送的碼流需要通過(guò)媒體網(wǎng)關(guān)中轉(zhuǎn)后到達(dá)媒體接收端,則步驟103中,媒體網(wǎng)關(guān)接收媒體發(fā)送端發(fā)送的第一格式的碼流后,可以將其轉(zhuǎn)換為第二格式的碼流,其中,本發(fā)明實(shí)施例中將媒體發(fā)送端發(fā)送的碼流格式稱為第一格式,將媒體接收端所支持的碼流格式稱為第二格式。本發(fā)明的各個(gè)實(shí)施例主要保護(hù)的是由多層格式的碼流轉(zhuǎn)換為單層格式的碼流的方式,因此,第一格式為多層編碼格式,第二格式為單層編碼格式。
例如,第一格式為SVC格式,第二格式為AVC格式,則媒體網(wǎng)關(guān)就將接收的預(yù)設(shè)層級(jí)的SVC格式的碼流轉(zhuǎn)換為AVC格式的碼流。
可選的,在本發(fā)明另一實(shí)施例中,若第一碼流轉(zhuǎn)換信息中包括由多層編碼格式的碼流轉(zhuǎn)換為單層編碼格式的碼流的信息,以及,包括按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的模式的信息,則將第一格式的碼流轉(zhuǎn)換為第二格式的碼流,包括:將預(yù)設(shè)層級(jí)的碼流轉(zhuǎn)換為第二格式的碼流。
即,媒體網(wǎng)關(guān)接收的是預(yù)設(shè)層級(jí)的碼流,則媒體網(wǎng)關(guān)可以將接收的碼流轉(zhuǎn)換為第二格式的碼流。具體的碼流的格式的轉(zhuǎn)換方式,可參考現(xiàn)有技術(shù),本發(fā)明不作限制。
在本發(fā)明另一實(shí)施例中,若第一碼流轉(zhuǎn)換信息中除了包括由多層編碼格式的碼流轉(zhuǎn)換為單層編碼格式的碼流的信息以及按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的模式的信息之外,還包括轉(zhuǎn)換級(jí)別信息,則分情況介紹如下:
1、轉(zhuǎn)換級(jí)別信息包括抽取與幀率相關(guān)的數(shù)據(jù)包的信息。
則,將第一格式的碼流轉(zhuǎn)換為第二格式的碼流,包括:按照轉(zhuǎn)換級(jí)別信息,從預(yù)設(shè)層級(jí)的碼流中抽取與幀率相關(guān)的數(shù)據(jù)包;將抽取的與幀率相關(guān)的數(shù)據(jù)包轉(zhuǎn)換為第二格式的碼流。
例如,媒體發(fā)送端待發(fā)送的碼流本身包括8層,其中包括1個(gè)基本層和7個(gè)增強(qiáng)層,序號(hào)分別為0-7,基本層的序號(hào)為0,最高增強(qiáng)層的序號(hào)為7。按層轉(zhuǎn)換的模式的信息中包括按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息,預(yù)設(shè)層級(jí)例如為第3層及以下的層級(jí),即,預(yù)設(shè)層級(jí)為第0層、第1層、第2層和第3層。則媒體發(fā)送端可以將待發(fā)送的碼流的第0層、第1層、第2層和第3層發(fā)送給媒體網(wǎng)關(guān)。媒體網(wǎng)關(guān)接收后,可以從接收的預(yù)設(shè)層級(jí)的碼流中抽取與幀率相關(guān)的數(shù)據(jù)包,并將抽取的與幀率相關(guān)的數(shù)據(jù)包轉(zhuǎn)換為第二格式的碼流,而預(yù)設(shè)層級(jí)中與幀率不相關(guān)的數(shù)據(jù)包,媒體網(wǎng)關(guān)可以不進(jìn)行轉(zhuǎn)換,這樣,盡量保證轉(zhuǎn)換得到的碼流是媒體接收端所需要的碼流。
例如,如果媒體接收端對(duì)碼流的幀率要求比較高,那么媒體網(wǎng)關(guān)可以采用這種方式進(jìn)行碼流轉(zhuǎn)換,以盡量得到媒體接收端所需的碼流。
2、轉(zhuǎn)換級(jí)別信息包括抽取與分辨率相關(guān)的數(shù)據(jù)包的信息。
則,將第一格式的碼流轉(zhuǎn)換為第二格式的碼流,包括:按照轉(zhuǎn)換級(jí)別信息,從預(yù)設(shè)層級(jí)的碼流中抽取與分辨率相關(guān)的數(shù)據(jù)包;將抽取的與分辨率相關(guān)的數(shù)據(jù)包轉(zhuǎn)換為第二格式的碼流。
例如,媒體發(fā)送端待發(fā)送的碼流本身包括8層,其中包括1個(gè)基本層和7個(gè)增強(qiáng)層,序號(hào)分別為0-7,基本層的序號(hào)為0,最高增強(qiáng)層的序號(hào)為7。按層轉(zhuǎn)換的模式的信息中包括按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息,預(yù)設(shè)層級(jí)例如為第3層及以下的層級(jí),即,預(yù)設(shè)層級(jí)為第0層、第1層、第2層和第3層。則媒體發(fā)送端可以將待發(fā)送的碼流的第0層、第1層、第2層和第3層發(fā)送給媒體網(wǎng)關(guān)。媒體網(wǎng)關(guān)接收后,可以從接收的預(yù)設(shè)層級(jí)的碼流中抽取與分辨率相關(guān)的數(shù)據(jù)包,并將抽取的與分辨率相關(guān)的數(shù)據(jù)包轉(zhuǎn)換為第二格式的碼流,而預(yù)設(shè)層級(jí)中與分辨率不相關(guān)的數(shù)據(jù)包,媒體網(wǎng)關(guān)可以不進(jìn)行轉(zhuǎn)換,這樣,盡量保證轉(zhuǎn)換得到的碼流是媒體接收端所需要的碼流。
例如,如果媒體接收端對(duì)碼流的分辨率要求比較高,那么媒體網(wǎng)關(guān)可以采用這種方式進(jìn)行碼流轉(zhuǎn)換,以盡量得到媒體接收端所需的碼流。
媒體網(wǎng)關(guān)在將第一格式的碼流轉(zhuǎn)換為第二格式的碼流后,可以按照步驟104,將第二格式的碼流發(fā)送給媒體接收端,這樣媒體接收端就接收到了媒體發(fā)送端發(fā)送的碼流,接收的碼流的格式也是媒體接收端能夠支持的格式,接收的內(nèi)容也是與媒體接收端相適應(yīng)的內(nèi)容。
媒體網(wǎng)關(guān)是根據(jù)第一碼流轉(zhuǎn)換信息告知媒體發(fā)送端,發(fā)送哪些碼流,以及,還可以根據(jù)第一碼流轉(zhuǎn)換信息(例如轉(zhuǎn)換級(jí)別信息)對(duì)預(yù)設(shè)層級(jí)碼流進(jìn)行轉(zhuǎn)換,第一碼流轉(zhuǎn)換信息是考慮了媒體接收端的能力后確定的碼流轉(zhuǎn)換信息,那么,以媒體發(fā)送端發(fā)送的是SVC格式的碼流,媒體接收端支持的是AVC格式的碼流為例,根據(jù)媒體接收端的能力所確定的碼流轉(zhuǎn)換信息,可能除了轉(zhuǎn)換SVC的基本層的碼流之外,還可以轉(zhuǎn)換SVC的其他層(例如增強(qiáng)層)的碼流,則相當(dāng)于AVC終端除了能接收SVC終端發(fā)送的基本層的碼流之外,還能夠接收SVC終端發(fā)送的其他層(例如增強(qiáng)層)的碼流,一般來(lái)說(shuō),增強(qiáng)層是對(duì)基本層 的細(xì)化,若只有基本層,那整個(gè)畫面可能是完整的,但是可能存在局部的不清晰,若不僅有基本層還有增強(qiáng)層,則畫面相較于基本層來(lái)說(shuō)會(huì)清晰很多,細(xì)節(jié)逼真,能夠得到更好的圖像質(zhì)量,同時(shí),盡量接收較多的碼流,也是盡量避免碼流的丟失,增加媒體接收端的信息接收能力和信息接收量,此外,因?yàn)榻邮盏拇a流較多,也就是接收的視頻信息較多,根據(jù)接收的碼流重建的視頻質(zhì)量也就較好。
在本發(fā)明另一實(shí)施例中,在媒體網(wǎng)關(guān)與媒體接收端建立傳輸通道后,媒體網(wǎng)關(guān)還可以實(shí)時(shí)、定時(shí)或受觸發(fā)時(shí)重新評(píng)估網(wǎng)絡(luò)狀態(tài),具體評(píng)估網(wǎng)絡(luò)狀態(tài)的方式如前已有介紹。如果評(píng)估確定碼流轉(zhuǎn)換信息需要調(diào)整,則媒體網(wǎng)關(guān)可以調(diào)整碼流轉(zhuǎn)換信息,例如從第一碼流轉(zhuǎn)換信息調(diào)整為第二碼流轉(zhuǎn)換信息。例如,之前評(píng)估網(wǎng)絡(luò)資源為“充足”,因此第一碼流轉(zhuǎn)換信息對(duì)應(yīng)的轉(zhuǎn)換策略信息為“最高策略”,而后來(lái)再進(jìn)行評(píng)估時(shí),評(píng)估網(wǎng)絡(luò)資源為“緊張”,則媒體網(wǎng)關(guān)可能會(huì)調(diào)整轉(zhuǎn)換策略信息,例如調(diào)整為“最低策略”,從而得到新的碼流轉(zhuǎn)換信息(即第二碼流轉(zhuǎn)換信息),在調(diào)整后,媒體網(wǎng)關(guān)重新通知媒體發(fā)送端,從而媒體發(fā)送端發(fā)送與第二碼流轉(zhuǎn)換信息相適應(yīng)的碼流。
其中,第二碼流轉(zhuǎn)換信息中可以包括由多層編碼格式的碼流轉(zhuǎn)換為單層編碼格式的碼流的信息和按層轉(zhuǎn)換的模式的信息,可選的,第二碼流轉(zhuǎn)換信息中還可以包括轉(zhuǎn)換級(jí)別信息。
例如,媒體發(fā)送端待發(fā)送的碼流本身包括8層,其中包括1個(gè)基本層和7個(gè)增強(qiáng)層,序號(hào)分別為0-7,基本層的序號(hào)為0,最高增強(qiáng)層的序號(hào)為7。與第一碼流轉(zhuǎn)換信息相對(duì)應(yīng)的按層轉(zhuǎn)換的模式的信息中包括按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息,預(yù)設(shè)層級(jí)例如為第3層及以下的層級(jí),即,預(yù)設(shè)層級(jí)為第0層、第1層、第2層和第3層。則媒體發(fā)送端可以將待發(fā)送的碼流的第0層、第1層、第2層和第3層發(fā)送給媒體網(wǎng)關(guān)。當(dāng)碼流轉(zhuǎn)換信息更新為第二碼流轉(zhuǎn)換信息后,與第一碼流轉(zhuǎn)換信息相對(duì)應(yīng)的按層轉(zhuǎn)換的模式的信息中包括按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息,預(yù)設(shè)層級(jí)例如為第4層及以下的層級(jí),即,預(yù)設(shè)層級(jí)為第0層、第1 層、第2層、第3層和第4層。則媒體發(fā)送端可以將待發(fā)送的碼流的第0層、第1層、第2層、第3層和第4層發(fā)送給媒體網(wǎng)關(guān)。
在該實(shí)施例中,媒體網(wǎng)關(guān)可以根據(jù)網(wǎng)絡(luò)狀態(tài)等信息調(diào)整碼流轉(zhuǎn)換信息,使得碼流轉(zhuǎn)換盡量符合媒體接收端的需求,提高網(wǎng)絡(luò)資源利用率,也提高碼流發(fā)送的成功率。
本發(fā)明實(shí)施例中提供了碼流轉(zhuǎn)換信息(即第一碼流轉(zhuǎn)換信息),媒體網(wǎng)關(guān)在確定第一碼流轉(zhuǎn)換信息后,可以根據(jù)第一碼流轉(zhuǎn)換信息進(jìn)行碼流轉(zhuǎn)換,即將媒體發(fā)送端發(fā)送的第一格式的碼流轉(zhuǎn)換為第二格式的碼流,第二格式的碼流是媒體接收端所支持的,因此媒體接收端能夠接收第二格式的碼流。媒體網(wǎng)關(guān)在將媒體發(fā)送端發(fā)送的碼流再發(fā)送給媒體接收端之前,首先將接收的碼流的格式進(jìn)行轉(zhuǎn)換,例如媒體發(fā)送端發(fā)送的是SVC格式的碼流,媒體接收端支持的是AVC格式的碼流,則媒體網(wǎng)關(guān)可以將SVC格式的碼流轉(zhuǎn)換為AVC格式的碼流,之后再將AVC格式的碼流發(fā)送給媒體接收端。
繼續(xù)以媒體發(fā)送端發(fā)送的是SVC格式的碼流,媒體接收端支持的是AVC格式的碼流為例,相當(dāng)于AVC終端除了能接收SVC終端發(fā)送的基礎(chǔ)層的碼流之外,還能夠接收SVC終端發(fā)送的其他層(例如增強(qiáng)層)的碼流,盡量避免碼流的丟失,增加媒體接收端的信息接收能力和信息接收量,此外,因?yàn)榻邮盏拇a流較多,也就是接收的視頻信息較多,根據(jù)接收的碼流重建的視頻質(zhì)量也就較好。
請(qǐng)參見圖2,基于同一發(fā)明構(gòu)思,本發(fā)明實(shí)施例提供一種碼流接收方法,所述方法是與圖1流程所介紹的方法相對(duì)應(yīng)的、由媒體接收端執(zhí)行的方法,所述方法的流程描述如下。
步驟201:媒體接收端向媒體網(wǎng)關(guān)發(fā)送碼流的屬性信息,碼流的屬性信息用于確定第一碼流轉(zhuǎn)換信息;其中,第一碼流轉(zhuǎn)換信息中包括轉(zhuǎn)換類型信息和按層轉(zhuǎn)換的模式的信息,轉(zhuǎn)換類型信息包括由多層編碼格式的碼流轉(zhuǎn)換為單層編碼格式的碼流的信息。
步驟202:媒體接收端接收媒體網(wǎng)關(guān)發(fā)送的第二格式的碼流;其中,第二格式的碼流為媒體網(wǎng)關(guān)對(duì)根據(jù)第一碼流轉(zhuǎn)換信息接收的第一格式的碼流轉(zhuǎn)換得到的。
本發(fā)明實(shí)施例中,媒體接收端可以是具有一定智能性的設(shè)備,例如會(huì)議中心,或者可以是智能性較弱的設(shè)備,例如終端。
可選的,在本發(fā)明另一實(shí)施例中,在媒體接收端向媒體網(wǎng)關(guān)發(fā)送碼流的屬性信息之前,還包括:媒體接收端接收媒體網(wǎng)關(guān)發(fā)送的轉(zhuǎn)換能力信息;媒體接收端根據(jù)轉(zhuǎn)換能力信息確定碼流的屬性信息,碼流的屬性信息用于指示第一碼流轉(zhuǎn)換信息;其中,轉(zhuǎn)換能力信息包括轉(zhuǎn)換類型信息及按層轉(zhuǎn)換的模式的信息,按層轉(zhuǎn)換的模式的信息包括按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息。
即,如果媒體接收端為具有一定智能性的設(shè)備,例如為會(huì)議中心,則媒體接收端可以存儲(chǔ)轉(zhuǎn)換能力信息,或者媒體網(wǎng)關(guān)可以將轉(zhuǎn)換能力信息發(fā)送給媒體接收端,媒體接收端可以根據(jù)自身的能力,或根據(jù)自身的能力和當(dāng)前的網(wǎng)絡(luò)狀態(tài)等信息,從轉(zhuǎn)換能力信息中確定第一碼流轉(zhuǎn)換信息,并可以將與第一碼流轉(zhuǎn)換信息對(duì)應(yīng)的碼流的屬性信息發(fā)送給媒體網(wǎng)關(guān)?;蛘呖梢岳斫鉃?,媒體接收端可以根據(jù)第一碼流轉(zhuǎn)換信息修改媒體網(wǎng)關(guān)發(fā)送的碼流的屬性信息,并將修改后的碼流的屬性信息發(fā)送給媒體網(wǎng)關(guān)。
或者,如果媒體接收端為智能性較弱的設(shè)備,例如終端,可能不具備自己選擇碼流轉(zhuǎn)換信息的能力,因此媒體網(wǎng)關(guān)可以根據(jù)媒體接收端所反饋的其自身的能力,或,可以根據(jù)媒體接收端所反饋的其自身的能力和當(dāng)前的網(wǎng)絡(luò)狀態(tài)等信息,從存儲(chǔ)的轉(zhuǎn)換能力信息中選擇適合媒體接收端的碼流轉(zhuǎn)換信息,對(duì)媒體接收端的智能性要求較低,適用范圍更為廣泛。且媒體網(wǎng)關(guān)也可以是根據(jù)媒體接收端反饋的碼流的屬性信息來(lái)選擇適合媒體接收端的碼流轉(zhuǎn)換信息,這樣選擇的第一碼流轉(zhuǎn)換信息可以盡量反映媒體接收端的需求,從而使得碼流轉(zhuǎn)換過(guò)程能夠盡量按照媒體接收端的需求完成,提高媒體接收端的碼流接收成功率。
在本發(fā)明另一實(shí)施例中,轉(zhuǎn)換能力信息還包括轉(zhuǎn)換級(jí)別信息;其中:轉(zhuǎn)換 級(jí)別信息包括:抽取與幀率相關(guān)的數(shù)據(jù)包的信息,或,抽取與分辨率相關(guān)的數(shù)據(jù)包的信息。
在本發(fā)明另一實(shí)施例中,媒體接收端,例如會(huì)議中心,還可以實(shí)時(shí)、定時(shí)或受觸發(fā)時(shí)重新評(píng)估網(wǎng)絡(luò)狀態(tài),具體評(píng)估網(wǎng)絡(luò)狀態(tài)的方式在圖1流程中已有介紹。如果評(píng)估確定碼流轉(zhuǎn)換信息需要調(diào)整,則媒體接收端可以調(diào)整碼流轉(zhuǎn)換信息,例如從第一碼流轉(zhuǎn)換信息調(diào)整為第二碼流轉(zhuǎn)換信息,例如,之前評(píng)估網(wǎng)絡(luò)資源為“充足”,因此第一碼流轉(zhuǎn)換信息對(duì)應(yīng)的轉(zhuǎn)換策略信息為“最高策略”,而后來(lái)再進(jìn)行評(píng)估時(shí),評(píng)估網(wǎng)絡(luò)資源為“緊張”,則媒體接收端可能會(huì)調(diào)整轉(zhuǎn)換策略信息,例如調(diào)整為“最低策略”,從而得到新的碼流轉(zhuǎn)換信息(即第二碼流轉(zhuǎn)換信息),在調(diào)整后,媒體接收端將調(diào)整后的碼流轉(zhuǎn)換信息通知媒體網(wǎng)關(guān)。
媒體網(wǎng)關(guān)接收第二碼流轉(zhuǎn)換信息后的處理方式,在圖1流程中已有介紹。本發(fā)明實(shí)施例中,媒體接收端可以根據(jù)網(wǎng)絡(luò)狀態(tài)等信息調(diào)整碼流轉(zhuǎn)換信息,使得碼流轉(zhuǎn)換盡量符合媒體接收端的需求,提高網(wǎng)絡(luò)資源利用率,也提高碼流發(fā)送的成功率。
另外,媒體接收端接收第二格式的碼流后,也可以再將第二格式的碼流發(fā)送給其他媒體接收端。即,媒體接收端也可以再作為媒體發(fā)送端。
本發(fā)明實(shí)施例中,媒體接收端可以向媒體網(wǎng)關(guān)發(fā)送碼流的屬性信息,媒體網(wǎng)關(guān)可以根據(jù)碼流的屬性信息確定第一碼流轉(zhuǎn)換信息,然后媒體網(wǎng)關(guān)可以根據(jù)第一碼流轉(zhuǎn)換信息進(jìn)行碼流轉(zhuǎn)換,即將媒體發(fā)送端發(fā)送的第一格式的碼流轉(zhuǎn)換為第二格式的碼流,第二格式的碼流是媒體接收端所支持的,因此媒體接收端能夠接收第二格式的碼流。相當(dāng)于,媒體網(wǎng)關(guān)是在考慮了媒體接收端的情況之后確定的第一碼流轉(zhuǎn)換信息,則最后得到的碼流也就是媒體接收端所需要的碼流,能夠盡量符合媒體接收端的需求。
例如,媒體發(fā)送端發(fā)送的是SVC格式的碼流,媒體接收端支持的是AVC格式的碼流,則媒體網(wǎng)關(guān)可以將SVC格式的碼流轉(zhuǎn)換為AVC格式的碼流,并 且具體轉(zhuǎn)換SVC格式的碼流中的哪些部分,也是根據(jù)第一碼流轉(zhuǎn)換信息確定的,之后再將AVC格式的碼流發(fā)送給媒體接收端。
繼續(xù)以媒體發(fā)送端發(fā)送的是SVC格式的碼流,媒體接收端支持的是AVC格式的碼流為例,相當(dāng)于AVC終端除了能接收SVC終端發(fā)送的基礎(chǔ)層的碼流之外,在第一碼流轉(zhuǎn)換信息的支持下,還能夠接收SVC終端發(fā)送的其他層(例如增強(qiáng)層)的碼流,盡量避免碼流的丟失,增加媒體接收端的信息接收能力和信息接收量,此外,因?yàn)榻邮盏拇a流較多,也就是接收的視頻信息較多,根據(jù)接收的碼流重建的視頻質(zhì)量也就較好。
因?yàn)閳D1與圖2是相對(duì)應(yīng)的流程,內(nèi)容可相互參考,因此重復(fù)內(nèi)容不多贅述。
以下,針對(duì)圖1流程和圖2流程進(jìn)行舉例。
請(qǐng)參見圖3,終端作為媒體發(fā)送端,會(huì)議中心作為媒體接收端,媒體網(wǎng)關(guān)用于在媒體發(fā)送端和媒體接收端之間進(jìn)行轉(zhuǎn)發(fā)。圖3中的終端例如可以是UE,媒體網(wǎng)關(guān)例如可以是SBC(Session Border Controller,會(huì)話邊界控制器),會(huì)議中心例如可以是MRF(圖3中,AS和MRF可以位于同一實(shí)體中)。例如終端發(fā)送的是SVC格式的碼流,會(huì)議中心支持的是AVC格式的碼流。
1、終端發(fā)起會(huì)話。即終端向媒體網(wǎng)關(guān)發(fā)送第一會(huì)話請(qǐng)求消息,用于請(qǐng)求向會(huì)議中心發(fā)送碼流。
2、媒體網(wǎng)關(guān)收到第一會(huì)話請(qǐng)求消息后,向會(huì)議中心發(fā)送攜帶轉(zhuǎn)換能力信息的第二會(huì)話請(qǐng)求消息。
轉(zhuǎn)換能力信息例如包括:
{
{轉(zhuǎn)換類型信息:SVC-AVC;SHVC-AVC;SHVC-HEVC;AVC-SVC;AVC-SHVC;HEVC-SHVC;NONE};
{按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息:最高策略,或平均策略,或最低策略};
{轉(zhuǎn)換級(jí)別信息:抽取與分辨率相關(guān)的數(shù)據(jù)包,或抽取與幀率相關(guān)的數(shù)據(jù) 包}
}
3、會(huì)議中心接收第二會(huì)話請(qǐng)求消息。由于此時(shí)終端與會(huì)議中心之間的會(huì)話沒有完全建立,因此會(huì)議中心可以根據(jù)會(huì)議中心的能力和當(dāng)前的網(wǎng)絡(luò)狀態(tài)來(lái)作為選擇碼流轉(zhuǎn)換信息的依據(jù),例如會(huì)議中心可以根據(jù)會(huì)議中心的能力和當(dāng)前的流量統(tǒng)計(jì)情況來(lái)作為依據(jù)。會(huì)議中心根據(jù)會(huì)議中心的能力和當(dāng)前的網(wǎng)絡(luò)狀態(tài),從轉(zhuǎn)換能力信息中選擇第一碼流轉(zhuǎn)換信息,向媒體網(wǎng)關(guān)發(fā)送攜帶第一碼流轉(zhuǎn)換信息的第二會(huì)話響應(yīng)消息。
例如,第一碼流轉(zhuǎn)換信息包括:
{
{轉(zhuǎn)換類型信息:SVC-AVC};
{按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息:最高策略};
}
4、媒體網(wǎng)關(guān)接收第二會(huì)話響應(yīng)消息后,向會(huì)議中心發(fā)送攜帶第一碼流轉(zhuǎn)換信息的第三會(huì)話請(qǐng)求信息。
5、會(huì)議中心接收第三會(huì)話請(qǐng)求消息后,向媒體網(wǎng)關(guān)發(fā)送第三會(huì)話響應(yīng)消息,第三會(huì)話響應(yīng)消息表明會(huì)議中心接受第一碼流轉(zhuǎn)換信息。
6、媒體網(wǎng)關(guān)接收第三會(huì)話響應(yīng)消息后,向終端發(fā)送第一會(huì)話響應(yīng)消息,第一會(huì)話響應(yīng)消息攜帶的碼流的屬性信息中,對(duì)SVC碼流的相關(guān)SDP(Session Description Protocol,會(huì)話描述協(xié)議)屬性以第一碼流轉(zhuǎn)換信息為準(zhǔn),對(duì)相應(yīng)其他編解碼相關(guān)的SDP屬性以從會(huì)議中心收到的對(duì)應(yīng)的編解碼的屬性協(xié)商為準(zhǔn)。
7、媒體網(wǎng)關(guān)收到終端針對(duì)第一會(huì)話響應(yīng)消息的響應(yīng)后,與終端之間的會(huì)話通道建立,終端可以發(fā)送碼流。
一旦媒體通道建立,碼流正常發(fā)送,終端1就會(huì)向媒體網(wǎng)關(guān)2發(fā)送碼流,媒體網(wǎng)關(guān)2接收SVC格式的碼流后,按照轉(zhuǎn)換級(jí)別信息將其轉(zhuǎn)換為AVC格式的碼流,再將AVC格式的碼流發(fā)送給終端2。此時(shí)終端在發(fā)送碼流的同時(shí),也 可以發(fā)送RTCP消息(其中攜帶SR)來(lái)指示一定時(shí)間周期內(nèi)發(fā)送的數(shù)據(jù)包的數(shù)量。同時(shí),作為媒體接收端的會(huì)議中心可以發(fā)送RTCP消息(其中攜帶RR)給終端,該RR會(huì)攜帶會(huì)議中心在相應(yīng)周期內(nèi)從終端收到的數(shù)據(jù)包的數(shù)量。
8-9、會(huì)議中心根據(jù)網(wǎng)絡(luò)狀態(tài)(例如根據(jù)RTCP消息)來(lái)調(diào)整碼流轉(zhuǎn)換信息。
RTCP消息包含SR和RR,SR包含發(fā)送的數(shù)據(jù)包的數(shù)量,RR包含接收的數(shù)據(jù)包的數(shù)量。會(huì)議中心可根據(jù)SR和RR計(jì)算丟包率,然后再結(jié)合流量統(tǒng)計(jì)和對(duì)端能力等信息,確定是否要調(diào)整碼流轉(zhuǎn)換信息。如果要調(diào)整碼流轉(zhuǎn)換信息,則將調(diào)整后的碼流轉(zhuǎn)換信息通知媒體網(wǎng)關(guān)。
10-11、若媒體網(wǎng)關(guān)接收到新的碼流轉(zhuǎn)換信息,則根據(jù)新的碼流轉(zhuǎn)換信息,向會(huì)議中心發(fā)起會(huì)話重協(xié)商。最終會(huì)話更新。如圖3所示,圖3中的AVC碼流1表明是按照第一碼流轉(zhuǎn)換信息轉(zhuǎn)換后得到的AVC碼流,AVC碼流2表明是按照第二碼流轉(zhuǎn)換信息(即調(diào)整后的碼流轉(zhuǎn)換信息)轉(zhuǎn)換后得到的AVC碼流。
在該實(shí)施例中,媒體接收端可以向媒體網(wǎng)關(guān)發(fā)送碼流的屬性信息,媒體網(wǎng)關(guān)可以根據(jù)碼流的屬性信息確定第一碼流轉(zhuǎn)換信息,然后媒體網(wǎng)關(guān)可以根據(jù)第一碼流轉(zhuǎn)換信息進(jìn)行碼流轉(zhuǎn)換,即將媒體發(fā)送端發(fā)送的第一格式的碼流轉(zhuǎn)換為第二格式的碼流,第二格式的碼流是媒體接收端所支持的,因此媒體接收端能夠接收第二格式的碼流。相當(dāng)于,媒體網(wǎng)關(guān)是在考慮了媒體接收端的情況之后確定的第一碼流轉(zhuǎn)換信息,則最后得到的碼流也就是媒體接收端所需要的碼流,能夠盡量符合媒體接收端的需求。
例如,媒體發(fā)送端發(fā)送的是SVC格式的碼流,媒體接收端支持的是AVC格式的碼流,則媒體接收端可以確定第一碼流轉(zhuǎn)換信息,并將第一碼流轉(zhuǎn)換信息發(fā)送給媒體網(wǎng)關(guān),則媒體網(wǎng)關(guān)可以根據(jù)第一碼流轉(zhuǎn)換信息,通知媒體發(fā)送端發(fā)送與第一碼流轉(zhuǎn)換信息相適應(yīng)的SVC格式的碼流,并將接收的SVC格式的碼流轉(zhuǎn)換為AVC格式的碼流,之后再將AVC格式的碼流發(fā)送給媒體接收端。這樣,第一碼流轉(zhuǎn)換信息是媒體接收端確定的,基本能夠較為真實(shí)地反映媒體 接收端的需求,從而盡量保證媒體接收端能夠接收自己所需要的碼流。例如,如果媒體接收端的能力較強(qiáng),或者如果媒體接收端的能力較強(qiáng)以及當(dāng)前的網(wǎng)絡(luò)狀態(tài)也比較好,則第一碼流轉(zhuǎn)換信息中所指示的SVC格式的碼流的層數(shù)可能會(huì)比較多,這樣媒體接收端就能接收比較多的碼流,有助于重建質(zhì)量較好的視頻。
請(qǐng)參見圖4,在圖3的基礎(chǔ)上,會(huì)議中心還要將按照第二碼流轉(zhuǎn)換信息轉(zhuǎn)換后得到的AVC碼流發(fā)送給其他媒體接收端(即圖4中的終端2)。圖4中,媒體發(fā)送端稱為終端1,終端1與會(huì)議中心之間的媒體網(wǎng)關(guān)稱為媒體網(wǎng)關(guān)1,會(huì)議中心與終端2之間也要經(jīng)過(guò)媒體網(wǎng)關(guān)的轉(zhuǎn)發(fā),該媒體網(wǎng)關(guān)稱為媒體網(wǎng)關(guān)2,媒體網(wǎng)關(guān)2例如也是SBC。
步驟1-11,可參考針對(duì)圖3的描述,不多贅述。
12、會(huì)議中心向終端2發(fā)起重協(xié)商請(qǐng)求消息。
13、會(huì)議中心將按照第二碼流轉(zhuǎn)換信息轉(zhuǎn)換得到的碼流(即AVC碼流2)轉(zhuǎn)發(fā)給終端2。
其中,步驟12中可以包括多個(gè)步驟,而會(huì)議中心向終端發(fā)起重協(xié)商請(qǐng)求消息、以請(qǐng)求向終端發(fā)送碼流,可參考現(xiàn)有的實(shí)現(xiàn)過(guò)程,此處不多贅述。
在該實(shí)施例中,媒體接收端在接收AVC格式的碼流后,還可以將接收的碼流再轉(zhuǎn)發(fā)給其他的終端,這樣,媒體網(wǎng)關(guān)無(wú)需再專門把碼流發(fā)送給這些終端,減少了終端與媒體網(wǎng)關(guān)之間的信息交互過(guò)程,減輕媒體網(wǎng)關(guān)的負(fù)擔(dān)。
其中,在會(huì)議中心作為媒體接收端和/或媒體發(fā)送端時(shí)(例如圖3為會(huì)議中心作為媒體接收端的例子,圖4為會(huì)議中心同時(shí)作為媒體接收端和媒體發(fā)送端的例子),為點(diǎn)對(duì)多點(diǎn)通信的示例,因?yàn)闀?huì)議中心可以完成多點(diǎn)通信。
請(qǐng)參見圖5,終端1作為媒體發(fā)送端,終端2作為媒體接收端,媒體網(wǎng)關(guān)1和媒體網(wǎng)關(guān)2用于在媒體發(fā)送端和媒體接收端之間進(jìn)行轉(zhuǎn)發(fā),以及,圖5中還包括應(yīng)用服務(wù)器。圖5中的終端例如可以是UE,媒體網(wǎng)關(guān)例如可以是SBC(Session Border Controller,會(huì)話邊界控制器)。例如終端1發(fā)送的是SVC格 式的碼流,終端2支持的是AVC格式的碼流。圖5為終端-終端的例子,即點(diǎn)對(duì)點(diǎn)通信的示例。
1、終端1向媒體網(wǎng)關(guān)2發(fā)送第一會(huì)話請(qǐng)求消息,請(qǐng)求向終端2發(fā)送碼流。
2、媒體網(wǎng)關(guān)2收到第一會(huì)話請(qǐng)求消息后,向終端2發(fā)送第二會(huì)話請(qǐng)求消息。例如,媒體網(wǎng)關(guān)2收到第一會(huì)話請(qǐng)求消息后,可以直接將第一會(huì)話請(qǐng)求消息轉(zhuǎn)發(fā)給終端2,在這種情況下,第二會(huì)話請(qǐng)求消息與第一會(huì)話請(qǐng)求消息是同一消息。
3、終端2收到第二會(huì)話請(qǐng)求消息后,結(jié)合自身的能力,生成第二會(huì)話響應(yīng)消息。例如,終端2因不支持SVC而無(wú)法識(shí)別第二會(huì)話請(qǐng)求消息中攜帶的SVC碼流屬性,所以在第二會(huì)話響應(yīng)消息中去掉SVC碼流屬性,并把第二會(huì)話響應(yīng)消息發(fā)送給媒體網(wǎng)關(guān)2。
4、媒體網(wǎng)關(guān)2根據(jù)第二會(huì)話響應(yīng)消息識(shí)別出終端2不支持SVC能力,則媒體網(wǎng)關(guān)根據(jù)存儲(chǔ)的轉(zhuǎn)換能力信息確定第一碼流轉(zhuǎn)換信息,且向終端2發(fā)送第三會(huì)話請(qǐng)求消息,第三會(huì)話請(qǐng)求消息中攜帶第一碼流轉(zhuǎn)換信息。例如,媒體網(wǎng)關(guān)2可以在第三會(huì)話請(qǐng)求消息中,將SVC碼流的媒體屬性修改為AVC碼流的媒體屬性。
例如,轉(zhuǎn)換能力信息包括:
{
{轉(zhuǎn)換類型信息:SVC-AVC;SHVC-AVC;SHVC-HEVC;AVC-SVC;AVC-SHVC;HEVC-SHVC;NONE};
{按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息:最高策略,或平均策略,或最低策略};
{轉(zhuǎn)換級(jí)別信息:抽取與分辨率相關(guān)的數(shù)據(jù)包,或抽取與幀率相關(guān)的數(shù)據(jù)包}
}
例如,第一碼流轉(zhuǎn)換信息包括:
{
{轉(zhuǎn)換類型信息:SVC-AVC};
{按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息:平均策略};
{轉(zhuǎn)換級(jí)別信息:抽取與分辨率相關(guān)的數(shù)據(jù)包};
}
5、終端2重新響應(yīng)媒體網(wǎng)關(guān)2發(fā)送的第三會(huì)話請(qǐng)求消息,向媒體網(wǎng)關(guān)2回復(fù)第三會(huì)話響應(yīng)消息。
6、媒體網(wǎng)關(guān)2接收第三會(huì)話響應(yīng)消息后,若第三會(huì)話響應(yīng)消息表明終端2接受第一碼流轉(zhuǎn)換信息,則媒體網(wǎng)關(guān)2向終端發(fā)送第一會(huì)話響應(yīng)消息。第一會(huì)話響應(yīng)消息攜帶的碼流的屬性信息中,對(duì)SVC碼流相關(guān)的SDP屬性以第一碼流轉(zhuǎn)換信息為準(zhǔn),對(duì)其他編解碼相關(guān)的SDP屬性以從媒體網(wǎng)關(guān)2收到的對(duì)應(yīng)的編解碼的屬性協(xié)商為準(zhǔn)。
7、一旦媒體通道建立,碼流正常發(fā)送,終端1就會(huì)向媒體網(wǎng)關(guān)2發(fā)送碼流,媒體網(wǎng)關(guān)2接收SVC格式的碼流后,按照轉(zhuǎn)換級(jí)別信息將其轉(zhuǎn)換為AVC格式的碼流,再將AVC格式的碼流發(fā)送給終端2。且,終端1在向媒體網(wǎng)關(guān)2發(fā)送碼流的同時(shí),也可以發(fā)送RTCP消息(其中攜帶SR)來(lái)指示一定時(shí)間周期內(nèi)發(fā)送的數(shù)據(jù)包的數(shù)量,同時(shí)作為媒體接收端的媒體網(wǎng)關(guān)2將RTCP消息(其中攜帶RR)發(fā)送給終端1,該RR會(huì)攜帶媒體網(wǎng)關(guān)2在相應(yīng)周期從終端1收到的數(shù)據(jù)包的數(shù)量。
8-9、媒體網(wǎng)關(guān)2根據(jù)當(dāng)前的網(wǎng)絡(luò)狀態(tài)(例如根據(jù)RTCP消息)來(lái)調(diào)整碼流轉(zhuǎn)換信息。
RTCP消息包含SR和RR,SR包含發(fā)送的數(shù)據(jù)包的數(shù)量,RR包含接收的數(shù)據(jù)包的數(shù)量。會(huì)議中心可根據(jù)SR和RR計(jì)算丟包率,然后再結(jié)合流量統(tǒng)計(jì)和對(duì)端能力等信息,確定是否要調(diào)整碼流轉(zhuǎn)換信息。
若媒體網(wǎng)關(guān)2調(diào)整了碼流轉(zhuǎn)換信息,則根據(jù)新的碼流轉(zhuǎn)換信息,向終端2發(fā)起會(huì)話重協(xié)商。最終會(huì)話更新。如圖5所示,圖5中的AVC碼流1表明是按照第一碼流轉(zhuǎn)換信息轉(zhuǎn)換后得到的AVC碼流,AVC碼流2表明是按照第二 碼流轉(zhuǎn)換信息(即調(diào)整后的碼流轉(zhuǎn)換信息)轉(zhuǎn)換后得到的AVC碼流。
在該實(shí)施例中,媒體接收端(即終端2)為普通終端,例如媒體接收端的智能性較弱,不具備自己選擇碼流轉(zhuǎn)換信息的能力,因此媒體網(wǎng)關(guān)可以根據(jù)媒體接收端所反饋的其自身的能力,從存儲(chǔ)的轉(zhuǎn)換能力信息中選擇適合媒體接收端的碼流轉(zhuǎn)換信息,對(duì)媒體接收端的智能性要求較低,適用范圍更為廣泛。且媒體網(wǎng)關(guān)也是根據(jù)媒體接收端反饋的碼流的屬性信息來(lái)選擇適合媒體接收端的碼流轉(zhuǎn)換信息,這樣選擇的第一碼流轉(zhuǎn)換信息可以盡量反映媒體接收端的需求,從而使得碼流轉(zhuǎn)換過(guò)程能夠盡量按照媒體接收端的需求完成,提高媒體接收端的碼流接收成功率。
以下結(jié)合附圖介紹本發(fā)明實(shí)施例中的設(shè)備。
請(qǐng)參見圖6,基于同一發(fā)明構(gòu)思,本發(fā)明一個(gè)實(shí)施例提供一種媒體網(wǎng)關(guān),該媒體網(wǎng)關(guān)可以包括確定模塊601、更改模塊602、轉(zhuǎn)換模塊603和發(fā)送模塊604。
確定模塊601,用于接收媒體接收端發(fā)送的碼流的屬性信息,并根據(jù)碼流的屬性信息確定第一碼流轉(zhuǎn)換信息;第一碼流轉(zhuǎn)換信息中包括轉(zhuǎn)換類型信息和按層轉(zhuǎn)換的模式的信息,轉(zhuǎn)換類型信息包括由多層編碼格式的碼流轉(zhuǎn)換為單層編碼格式的碼流的信息;
更改模塊602,用于根據(jù)按層轉(zhuǎn)換的模式的信息,將媒體發(fā)送端發(fā)送的碼流的屬性信息修改為媒體接收端發(fā)送的屬性信息,并將修改后的屬性信息發(fā)送給媒體發(fā)送端;
轉(zhuǎn)換模塊603,用于接收媒體發(fā)送端發(fā)送的第一格式的碼流,并將第一格式的碼流轉(zhuǎn)換為第二格式的碼流;第一格式的碼流為媒體發(fā)送端根據(jù)修改后的屬性信息發(fā)送的,第一格式為多層編碼格式,第二格式為單層編碼格式;
發(fā)送模塊604,用于將第二格式的碼流發(fā)送給媒體接收端。
在本發(fā)明另一實(shí)施例中,由多層編碼格式的碼流轉(zhuǎn)換為單層編碼格式的碼流的信息包括:由SVC格式轉(zhuǎn)換為AVC格式的信息、由SHVC格式轉(zhuǎn)換為 AVC格式的信息、及由SHVC格式轉(zhuǎn)換為HEVC格式的信息中的至少一種。
在本發(fā)明另一實(shí)施例中,按層轉(zhuǎn)換的模式的信息包括按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息;
轉(zhuǎn)換模塊603用于接收媒體發(fā)送端發(fā)送的第一格式的碼流,具體包括:
接收媒體發(fā)送端發(fā)送的預(yù)設(shè)層級(jí)的碼流,預(yù)設(shè)層級(jí)的碼流的格式為第一格式。
在本發(fā)明另一實(shí)施例中,轉(zhuǎn)換模塊603用于將第一格式的碼流轉(zhuǎn)換為第二格式的碼流,具體包括:
將預(yù)設(shè)層級(jí)的碼流轉(zhuǎn)換為第二格式的碼流。
在本發(fā)明另一實(shí)施例中,第一碼流轉(zhuǎn)換信息還包括轉(zhuǎn)換級(jí)別信息,為:抽取與幀率相關(guān)的數(shù)據(jù)包的信息;
轉(zhuǎn)換模塊603用于將第一格式的碼流轉(zhuǎn)換為第二格式的碼流,具體包括:
按照轉(zhuǎn)換級(jí)別信息,從預(yù)設(shè)層級(jí)的碼流中抽取與幀率相關(guān)的數(shù)據(jù)包;
將抽取的與幀率相關(guān)的數(shù)據(jù)包轉(zhuǎn)換為第二格式的碼流。
在本發(fā)明另一實(shí)施例中,第一碼流轉(zhuǎn)換信息還包括轉(zhuǎn)換級(jí)別信息,為:抽取與分辨率相關(guān)的數(shù)據(jù)包的信息;
轉(zhuǎn)換模塊603用于將第一格式的碼流轉(zhuǎn)換為第二格式的碼流,具體包括:
按照轉(zhuǎn)換級(jí)別信息,從預(yù)設(shè)層級(jí)的碼流中抽取與分辨率相關(guān)的數(shù)據(jù)包;
將抽取的與分辨率相關(guān)的數(shù)據(jù)包轉(zhuǎn)換為第二格式的碼流。
在本發(fā)明另一實(shí)施例中,確定模塊601用于根據(jù)碼流的屬性信息確定第一碼流轉(zhuǎn)換信息,具體包括:
根據(jù)碼流的屬性信息以及轉(zhuǎn)換能力信息確定第一碼流轉(zhuǎn)換信息;
其中,碼流的屬性信息用于指示媒體接收端支持的碼流的屬性信息;或
碼流的屬性信息用于指示第一碼流轉(zhuǎn)換信息;
其中,轉(zhuǎn)換能力信息包括轉(zhuǎn)換類型信息及按層轉(zhuǎn)換的模式的信息,其中,按層轉(zhuǎn)換的模式的信息包括按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息。
在本發(fā)明另一實(shí)施例中,轉(zhuǎn)換能力信息還包括轉(zhuǎn)換級(jí)別信息;其中:
轉(zhuǎn)換級(jí)別信息包括:抽取與幀率相關(guān)的數(shù)據(jù)包的信息,或,抽取與分辨率相關(guān)的數(shù)據(jù)包的信息。
本發(fā)明實(shí)施例中的設(shè)備是與如前描述的方法相應(yīng)的設(shè)備。例如媒體網(wǎng)關(guān)可以是圖1-圖5中介紹的媒體網(wǎng)關(guān),因此,媒體網(wǎng)關(guān)中每個(gè)模塊所實(shí)現(xiàn)的功能,以及一些實(shí)施細(xì)節(jié)等,可參考方法部分的描述。
在該實(shí)施例中,媒體網(wǎng)關(guān)在確定第一碼流轉(zhuǎn)換信息后,可以根據(jù)第一碼流轉(zhuǎn)換信息進(jìn)行碼流轉(zhuǎn)換,再將轉(zhuǎn)換后的碼流發(fā)送給媒體接收端,使得媒體接收端可以接收自身能夠識(shí)別的碼流,且第一碼流轉(zhuǎn)換信息是媒體網(wǎng)關(guān)通過(guò)媒體接收端發(fā)送的碼流的屬性信息確定的,因此轉(zhuǎn)換后的碼流能夠盡量符合媒體接收端的需求。
媒體網(wǎng)關(guān)可以根據(jù)媒體接收端的需求來(lái)進(jìn)行碼流的轉(zhuǎn)換,媒體網(wǎng)關(guān)的智能性較強(qiáng)。
請(qǐng)參見圖7,基于同一發(fā)明構(gòu)思,本發(fā)明一個(gè)實(shí)施例提供一種媒體接收端,該媒體接收端例如可以是會(huì)議中心,或者也可以是其他普通終端。媒體接收端可以包括發(fā)送模塊701和接收模塊702。
發(fā)送模塊701,用于向媒體網(wǎng)關(guān)發(fā)送碼流的屬性信息,碼流的屬性信息用于確定第一碼流轉(zhuǎn)換信息;第一碼流轉(zhuǎn)換信息中包括轉(zhuǎn)換類型信息和按層轉(zhuǎn)換的模式的信息,轉(zhuǎn)換類型信息包括由多層編碼格式的碼流轉(zhuǎn)換為單層編碼格式的碼流的信息;
接收模塊702,用于接收媒體網(wǎng)關(guān)發(fā)送的第二格式的碼流;第二格式的碼流為媒體網(wǎng)關(guān)對(duì)根據(jù)第一碼流轉(zhuǎn)換信息接收的第一格式的碼流轉(zhuǎn)換得到的。
在本發(fā)明另一實(shí)施例中,由多層編碼格式的碼流轉(zhuǎn)換為單層編碼格式的碼流的信息包括:由SVC格式轉(zhuǎn)換為AVC格式的信息、由SHVC格式轉(zhuǎn)換為AVC格式的信息、及由SHVC格式轉(zhuǎn)換為HEVC格式的信息中的至少一種。
在本發(fā)明另一實(shí)施例中,媒體接收端還包括確定模塊;
接收模塊702還用于:在發(fā)送模塊701向媒體網(wǎng)關(guān)發(fā)送碼流的屬性信息之前,接收媒體網(wǎng)關(guān)發(fā)送的轉(zhuǎn)換能力信息;
確定模塊用于:根據(jù)轉(zhuǎn)換能力信息確定碼流的屬性信息,碼流的屬性信息用于指示第一碼流轉(zhuǎn)換信息;
其中,轉(zhuǎn)換能力信息包括轉(zhuǎn)換類型信息及按層轉(zhuǎn)換的模式的信息,按層轉(zhuǎn)換的模式的信息包括按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息。
在本發(fā)明另一實(shí)施例中,轉(zhuǎn)換能力信息還包括轉(zhuǎn)換級(jí)別信息;其中:
轉(zhuǎn)換級(jí)別信息包括:抽取與幀率相關(guān)的數(shù)據(jù)包的信息,或,抽取與分辨率相關(guān)的數(shù)據(jù)包的信息。
本發(fā)明實(shí)施例中的媒體接收端可以是圖1-圖5中介紹的媒體接收端,因此,媒體接收端中每個(gè)模塊所實(shí)現(xiàn)的功能,以及一些實(shí)施細(xì)節(jié)等,可參考方法部分的描述。
在該實(shí)施例中,媒體接收端可以向媒體網(wǎng)關(guān)發(fā)送碼流的屬性信息,從而媒體網(wǎng)關(guān)可以根據(jù)碼流的屬性信息確定第一碼流轉(zhuǎn)換信息,再將根據(jù)第一碼流轉(zhuǎn)換信息進(jìn)行碼流轉(zhuǎn)換后得到的碼流發(fā)送給媒體接收端,使得媒體接收端可以接收自身能夠識(shí)別的碼流,因?yàn)榈谝淮a流轉(zhuǎn)換信息是媒體網(wǎng)關(guān)通過(guò)媒體接收端發(fā)送的碼流的屬性信息確定的,因此轉(zhuǎn)換后的碼流能夠盡量符合媒體接收端的需求。
媒體接收端可以通過(guò)向媒體網(wǎng)關(guān)發(fā)送碼流的屬性信息來(lái)告知媒體網(wǎng)關(guān)自己需要什么樣的碼流,媒體接收端的主動(dòng)性較強(qiáng),接收的碼流的利用率也較高。
請(qǐng)參見圖8,基于同一發(fā)明構(gòu)思以及上述各實(shí)施例,本發(fā)明一個(gè)實(shí)施例還提供一種媒體網(wǎng)關(guān),該媒體網(wǎng)關(guān)可以包括存儲(chǔ)器801、處理器802、接收器803和發(fā)送器804。
處理器802具體可以是中央處理器或ASIC(Application Specific Integrated Circuit,特定應(yīng)用集成電路),可以是一個(gè)或多個(gè)用于控制程序執(zhí)行的集成電路,可以是使用FPGA(Field Programmable Gate Array,現(xiàn)場(chǎng)可編程門陣列)開發(fā) 的硬件電路,可以是基帶芯片。存儲(chǔ)器801的數(shù)量可以是一個(gè)或多個(gè)。存儲(chǔ)器801可以包括ROM(Read Only Memory,只讀存儲(chǔ)器)、RAM(Random Access Memory,隨機(jī)存取存儲(chǔ)器)和磁盤存儲(chǔ)器。接收器803和發(fā)送器804可以屬于射頻系統(tǒng),接收器803和發(fā)送器804用于與外部設(shè)備進(jìn)行網(wǎng)絡(luò)通信,具體可以通過(guò)以太網(wǎng)、無(wú)線接入網(wǎng)、無(wú)線局域網(wǎng)等網(wǎng)絡(luò)與外部設(shè)備進(jìn)行通信。接收器803和發(fā)送器804可以是物理上相互獨(dú)立的兩個(gè)元件,也可以是物理上的同一個(gè)元件。
這些存儲(chǔ)器801、接收器803和發(fā)送器804可以通過(guò)總線與處理器802相連接,或者也可以通過(guò)專門的連接線分別與處理器802連接。
通過(guò)對(duì)處理器802進(jìn)行設(shè)計(jì)編程,將前述所示的方法所對(duì)應(yīng)的代碼固化到芯片內(nèi),從而使芯片在運(yùn)行時(shí)能夠執(zhí)行前述實(shí)施例中的所示的方法。如何對(duì)處理器802進(jìn)行設(shè)計(jì)編程為本領(lǐng)域技術(shù)人員所公知的技術(shù),這里不再贅述。
在本發(fā)明實(shí)施例中,
存儲(chǔ)器801,用于存儲(chǔ)處理器802執(zhí)行任務(wù)所需的指令;
接收器803,用于接收媒體接收端發(fā)送的碼流的屬性信息;
處理器802,用于執(zhí)行存儲(chǔ)器801存儲(chǔ)的指令,根據(jù)碼流的屬性信息確定第一碼流轉(zhuǎn)換信息;根據(jù)按層轉(zhuǎn)換的模式的信息,將媒體發(fā)送端發(fā)送的碼流的屬性信息修改為媒體接收端發(fā)送的屬性信息,并通過(guò)發(fā)送器804將修改后的屬性信息發(fā)送給媒體發(fā)送端;第一碼流轉(zhuǎn)換信息中包括轉(zhuǎn)換類型信息和按層轉(zhuǎn)換的模式的信息,轉(zhuǎn)換類型信息包括由多層編碼格式的碼流轉(zhuǎn)換為單層編碼格式的碼流的信息;
接收器803,還用于接收媒體發(fā)送端發(fā)送的第一格式的碼流;
處理器802,還用于將第一格式的碼流轉(zhuǎn)換為第二格式的碼流,并通過(guò)發(fā)送器804將第二格式的碼流發(fā)送給媒體接收端;第一格式的碼流為媒體發(fā)送端根據(jù)修改后的屬性信息發(fā)送的,第一格式為多層編碼格式,第二格式為單層編碼格式。
可選的,在本發(fā)明另一實(shí)施例中,由多層編碼格式的碼流轉(zhuǎn)換為單層編碼格式的碼流的信息包括:由SVC格式轉(zhuǎn)換為AVC格式的信息、由SHVC格式轉(zhuǎn)換為AVC格式的信息、及由SHVC格式轉(zhuǎn)換為HEVC格式的信息中的至少一種。
可選的,在本發(fā)明另一實(shí)施例中,按層轉(zhuǎn)換的模式的信息包括按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息;
接收器803用于接收媒體發(fā)送端發(fā)送的第一格式的碼流,具體包括:
接收媒體發(fā)送端發(fā)送的預(yù)設(shè)層級(jí)的碼流,預(yù)設(shè)層級(jí)的碼流的格式為第一格式。
可選的,在本發(fā)明另一實(shí)施例中,處理器802還用于將第一格式的碼流轉(zhuǎn)換為第二格式的碼流,具體包括:
將預(yù)設(shè)層級(jí)的碼流轉(zhuǎn)換為第二格式的碼流。
可選的,在本發(fā)明另一實(shí)施例中,第一碼流轉(zhuǎn)換信息還包括轉(zhuǎn)換級(jí)別信息,為:抽取與幀率相關(guān)的數(shù)據(jù)包的信息;
處理器802還用于將第一格式的碼流轉(zhuǎn)換為第二格式的碼流,具體包括:
按照轉(zhuǎn)換級(jí)別信息,從預(yù)設(shè)層級(jí)的碼流中抽取與幀率相關(guān)的數(shù)據(jù)包;
將抽取的與幀率相關(guān)的數(shù)據(jù)包轉(zhuǎn)換為第二格式的碼流。
可選的,在本發(fā)明另一實(shí)施例中,第一碼流轉(zhuǎn)換信息還包括轉(zhuǎn)換級(jí)別信息,為:抽取與分辨率相關(guān)的數(shù)據(jù)包的信息;
處理器802還用于將第一格式的碼流轉(zhuǎn)換為第二格式的碼流,具體包括:
按照轉(zhuǎn)換級(jí)別信息,從預(yù)設(shè)層級(jí)的碼流中抽取與分辨率相關(guān)的數(shù)據(jù)包;
將抽取的與分辨率相關(guān)的數(shù)據(jù)包轉(zhuǎn)換為第二格式的碼流。
可選的,在本發(fā)明另一實(shí)施例中,處理器802用于根據(jù)碼流的屬性信息確定第一碼流轉(zhuǎn)換信息,具體包括:
根據(jù)碼流的屬性信息以及轉(zhuǎn)換能力信息確定第一碼流轉(zhuǎn)換信息;
其中,碼流的屬性信息用于指示媒體接收端支持的碼流的屬性信息;或
碼流的屬性信息用于指示所述第一碼流轉(zhuǎn)換信息;
其中,轉(zhuǎn)換能力信息包括轉(zhuǎn)換類型信息及按層轉(zhuǎn)換的模式的信息,其中,按層轉(zhuǎn)換的模式的信息包括按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息。
可選的,在本發(fā)明另一實(shí)施例中,轉(zhuǎn)換能力信息還包括轉(zhuǎn)換級(jí)別信息;其中:
轉(zhuǎn)換級(jí)別信息包括:抽取與幀率相關(guān)的數(shù)據(jù)包的信息,或,抽取與分辨率相關(guān)的數(shù)據(jù)包的信息。
請(qǐng)參見圖9,基于同一發(fā)明構(gòu)思以及上述各實(shí)施例,本發(fā)明一個(gè)實(shí)施例還提供一種媒體接收端,該媒體接收端可以包括存儲(chǔ)器901、處理器902、接收器903和發(fā)送器904。
處理器902具體可以是中央處理器或ASIC,可以是一個(gè)或多個(gè)用于控制程序執(zhí)行的集成電路,可以是使用FPGA開發(fā)的硬件電路,可以是基帶芯片。存儲(chǔ)器901的數(shù)量可以是一個(gè)或多個(gè)。存儲(chǔ)器901可以包括ROM、RAM和磁盤存儲(chǔ)器。接收器903和發(fā)送器904可以屬于射頻系統(tǒng),接收器903和發(fā)送器904用于與外部設(shè)備進(jìn)行網(wǎng)絡(luò)通信,具體可以通過(guò)以太網(wǎng)、無(wú)線接入網(wǎng)、無(wú)線局域網(wǎng)等網(wǎng)絡(luò)與外部設(shè)備進(jìn)行通信。接收器903和發(fā)送器904可以是物理上相互獨(dú)立的兩個(gè)元件,也可以是物理上的同一個(gè)元件。
這些存儲(chǔ)器901、接收器903和發(fā)送器904可以通過(guò)總線與處理器902相連接,或者也可以通過(guò)專門的連接線分別與處理器902連接。
通過(guò)對(duì)處理器902進(jìn)行設(shè)計(jì)編程,將前述所示的方法所對(duì)應(yīng)的代碼固化到芯片內(nèi),從而使芯片在運(yùn)行時(shí)能夠執(zhí)行前述實(shí)施例中的所示的方法。如何對(duì)處理器902進(jìn)行設(shè)計(jì)編程為本領(lǐng)域技術(shù)人員所公知的技術(shù),這里不再贅述。
在本發(fā)明實(shí)施例中,
存儲(chǔ)器901,用于存儲(chǔ)處理器902執(zhí)行任務(wù)所需的指令;
處理器902,用于執(zhí)行存儲(chǔ)器901存儲(chǔ)的指令,通過(guò)發(fā)送器904向媒體網(wǎng)關(guān)發(fā)送碼流的屬性信息,碼流的屬性信息用于確定第一碼流轉(zhuǎn)換信息;第一碼 流轉(zhuǎn)換信息中包括轉(zhuǎn)換類型信息和按層轉(zhuǎn)換的模式的信息,轉(zhuǎn)換類型信息包括由多層編碼格式的碼流轉(zhuǎn)換為單層編碼格式的碼流的信息;
接收器903,用于接收媒體網(wǎng)關(guān)發(fā)送的第二格式的碼流;第二格式的碼流為媒體網(wǎng)關(guān)對(duì)根據(jù)第一碼流轉(zhuǎn)換信息接收的第一格式的碼流轉(zhuǎn)換得到的。
可選的,在本發(fā)明另一實(shí)施例中,由多層編碼格式的碼流轉(zhuǎn)換為單層編碼格式的碼流的信息包括:由SVC格式轉(zhuǎn)換為AVC格式的信息、由SHVC格式轉(zhuǎn)換為AVC格式的信息、及由SHVC格式轉(zhuǎn)換為HEVC格式的信息中的至少一種。
可選的,在本發(fā)明另一實(shí)施例中,
接收器903還用于:在處理器902通過(guò)發(fā)送器904向媒體網(wǎng)關(guān)發(fā)送碼流的屬性信息之前,接收媒體網(wǎng)關(guān)發(fā)送的轉(zhuǎn)換能力信息;
處理器902還用于:根據(jù)轉(zhuǎn)換能力信息確定碼流的屬性信息,碼流的屬性信息用于指示第一碼流轉(zhuǎn)換信息;
其中,轉(zhuǎn)換能力信息包括轉(zhuǎn)換類型信息及按層轉(zhuǎn)換的模式的信息,按層轉(zhuǎn)換的模式的信息包括按照預(yù)設(shè)層級(jí)轉(zhuǎn)換的信息。
可選的,在本發(fā)明另一實(shí)施例中,轉(zhuǎn)換能力信息還包括轉(zhuǎn)換級(jí)別信息;其中:
轉(zhuǎn)換級(jí)別信息包括:抽取與幀率相關(guān)的數(shù)據(jù)包的信息,或,抽取與分辨率相關(guān)的數(shù)據(jù)包的信息。
基于同一發(fā)明構(gòu)思以及上述各實(shí)施例,本發(fā)明一個(gè)實(shí)施例提供一種媒體系統(tǒng),該媒體系統(tǒng)包括前述實(shí)施例中介紹的媒體網(wǎng)關(guān)以及會(huì)議中心。
在媒體系統(tǒng)中,媒體網(wǎng)關(guān)實(shí)現(xiàn)碼流轉(zhuǎn)換,會(huì)議中心可以作為媒體發(fā)送端,在作為媒體發(fā)送端時(shí),會(huì)議中心將碼流發(fā)送給媒體網(wǎng)關(guān),媒體網(wǎng)關(guān)按照如前實(shí)施例提供的方法對(duì)碼流進(jìn)行轉(zhuǎn)換后,將轉(zhuǎn)換后的碼流發(fā)送給媒體接收端。在會(huì)議中心作為媒體接收端時(shí),媒體網(wǎng)關(guān)按照如前實(shí)施例提供的方法將媒體發(fā)送端發(fā)送的碼流進(jìn)行轉(zhuǎn)換后,將轉(zhuǎn)換后的碼流發(fā)送給會(huì)議中心。
在應(yīng)用時(shí),媒體系統(tǒng)中的會(huì)議中心可以只作為媒體發(fā)送端,或者可以只作為媒體接收端,或者也可以同時(shí)作為媒體發(fā)送端和媒體接收端,本發(fā)明對(duì)此不作限制。
關(guān)于媒體系統(tǒng)的工作過(guò)程,在如前實(shí)施例中已有介紹。
在媒體系統(tǒng)中,媒體接收端可以向媒體網(wǎng)關(guān)發(fā)送碼流的屬性信息,從而媒體網(wǎng)關(guān)可以根據(jù)碼流的屬性信息確定第一碼流轉(zhuǎn)換信息,再將根據(jù)第一碼流轉(zhuǎn)換信息進(jìn)行碼流轉(zhuǎn)換后得到的碼流發(fā)送給媒體接收端,使得媒體接收端可以接收自身能夠識(shí)別的碼流,因?yàn)榈谝淮a流轉(zhuǎn)換信息是媒體網(wǎng)關(guān)通過(guò)媒體接收端發(fā)送的碼流的屬性信息確定的,因此轉(zhuǎn)換后的碼流能夠盡量符合媒體接收端的需求。
媒體接收端可以通過(guò)向媒體網(wǎng)關(guān)發(fā)送碼流的屬性信息來(lái)告知媒體網(wǎng)關(guān)自己需要什么樣的碼流,媒體接收端的主動(dòng)性較強(qiáng),接收的碼流的利用率也較高。媒體網(wǎng)關(guān)可以在考慮媒體接收端的情況后進(jìn)行碼流轉(zhuǎn)換,能夠盡量得到媒體接收端所需要的碼流,媒體網(wǎng)關(guān)對(duì)信息的處理能力較強(qiáng),智能性較高。
通過(guò)提供媒體系統(tǒng),能夠完成碼流的轉(zhuǎn)換,使得轉(zhuǎn)換后的碼流盡量符合媒體接收端的需求。同時(shí),媒體系統(tǒng)的工作方式較為簡(jiǎn)單,在實(shí)際應(yīng)用中,應(yīng)用范圍可以比較廣泛。
本發(fā)明實(shí)施例中提供了碼流轉(zhuǎn)換信息(即第一碼流轉(zhuǎn)換信息),媒體網(wǎng)關(guān)在確定第一碼流轉(zhuǎn)換信息后,可以根據(jù)第一碼流轉(zhuǎn)換信息中的按層轉(zhuǎn)換的模式信息修改媒體發(fā)送端發(fā)送的碼流的屬性信息,并將修改后的屬性信息通知媒體發(fā)送端,這樣媒體發(fā)送端會(huì)根據(jù)修改后的碼流的屬性信息向媒體網(wǎng)關(guān)發(fā)送第一格式的碼流,媒體發(fā)送端發(fā)送的碼流也就是媒體網(wǎng)關(guān)所請(qǐng)求的碼流,符合媒體接收端的需求,媒體網(wǎng)關(guān)可以直接將第一格式的碼流轉(zhuǎn)換為第二格式的碼流,第二格式的碼流是媒體接收端所支持的,因此媒體接收端能夠接收第二格式的碼流。
這樣,媒體接收端具體接收碼流中的哪些部分,可以通過(guò)碼流的屬性信息 來(lái)通知媒體網(wǎng)關(guān),可以接收盡量多的碼流,盡量避免碼流的丟失,增加媒體接收端的信息接收能力和信息接收量,此外,因?yàn)榻邮盏拇a流較多,也就是接收的視頻信息較多,根據(jù)接收的碼流重建的視頻質(zhì)量也就較好。
例如媒體發(fā)送端發(fā)送的是SVC格式的碼流,媒體接收端支持的是AVC格式的碼流,則媒體網(wǎng)關(guān)可以將SVC格式的碼流轉(zhuǎn)換為AVC格式的碼流,之后再將AVC格式的碼流發(fā)送給媒體接收端。
繼續(xù)以媒體發(fā)送端發(fā)送的是SVC格式的碼流,媒體接收端支持的是AVC格式的碼流為例,相當(dāng)于AVC終端除了能接收SVC終端發(fā)送的基礎(chǔ)層的碼流之外,還能夠接收SVC終端發(fā)送的其他層(例如增強(qiáng)層)的碼流,盡量避免碼流的丟失,增加媒體接收端的信息接收能力和信息接收量,此外,因?yàn)榻邮盏拇a流較多,也就是接收的視頻信息較多,根據(jù)接收的碼流重建的視頻質(zhì)量也就較好。
所屬領(lǐng)域的技術(shù)人員可以清楚地了解到,為描述的方便和簡(jiǎn)潔,僅以上述各功能單元的劃分進(jìn)行舉例說(shuō)明,實(shí)際應(yīng)用中,可以根據(jù)需要而將上述功能分配由不同的功能單元完成,即將裝置的內(nèi)部結(jié)構(gòu)劃分成不同的功能單元,以完成以上描述的全部或者部分功能。上述描述的系統(tǒng),裝置和單元的具體工作過(guò)程,可以參考前述方法實(shí)施例中的對(duì)應(yīng)過(guò)程,在此不再贅述。
在本申請(qǐng)所提供的幾個(gè)實(shí)施例中,應(yīng)該理解到,所揭露的系統(tǒng),裝置和方法,可以通過(guò)其它的方式實(shí)現(xiàn)。例如,以上所描述的裝置實(shí)施例僅僅是示意性的,例如,所述單元或單元的劃分,僅僅為一種邏輯功能劃分,實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式,例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點(diǎn),所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過(guò)一些接口,裝置或單元的間接耦合或通信連接,可以是電性,機(jī)械或其它的形式。
所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個(gè)地方,或者 也可以分布到多個(gè)網(wǎng)絡(luò)單元上??梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。
另外,在本申請(qǐng)各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中,也可以是各個(gè)單元單獨(dú)物理存在,也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn),也可以采用軟件功能單元的形式實(shí)現(xiàn)。
所述集成的單元如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí),可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中?;谶@樣的理解,本申請(qǐng)的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái),該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中,包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)或processor(處理器)執(zhí)行本申請(qǐng)各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括:U盤、移動(dòng)硬盤、ROM、RAM、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。
以上所述,以上實(shí)施例僅用以對(duì)本申請(qǐng)的技術(shù)方案進(jìn)行了詳細(xì)介紹,但以上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核心思想,不應(yīng)理解為對(duì)本發(fā)明的限制。本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi),可輕易想到的變化或替換,都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。