亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

一種視頻傳輸方法及裝置、系統(tǒng)的制作方法

文檔序號:7696253閱讀:134來源:國知局

專利名稱::一種視頻傳輸方法及裝置、系統(tǒng)的制作方法
技術(shù)領(lǐng)域
:本發(fā)明涉及流媒體傳輸領(lǐng)域,尤其涉及網(wǎng)絡(luò)中傳輸^L頻的方法及裝置、系統(tǒng)。
背景技術(shù)
:隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展,通過網(wǎng)絡(luò)傳輸視頻已越來越普及。例如,人們可以在網(wǎng)絡(luò)上在線觀看電影、進(jìn)行視頻通信等。但由于傳輸視頻數(shù)據(jù)時需要消耗大量的網(wǎng)絡(luò)帶寬,難免會出現(xiàn)網(wǎng)絡(luò)擁塞的情況,進(jìn)而導(dǎo)致傳輸質(zhì)量下降、影響視頻的播放效果。為了解決上述問題,目前采用的技術(shù)方案是使用運(yùn)動活動性描述符來改進(jìn)網(wǎng)絡(luò)中視頻傳輸?shù)馁|(zhì)量。例如,對原始視頻信號進(jìn)行鏡頭分割后,利用神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)運(yùn)動活動性特征的提取,并將運(yùn)動活動性特征量化為5個級別,接著將編碼后的原始視頻和運(yùn)動活動性描述符一起傳輸,在傳輸過程中根據(jù)丟幀策略丟棄部分幀來緩解網(wǎng)絡(luò)擁塞,以實(shí)現(xiàn)擁塞控制,接收端收到傳輸?shù)囊曨l和運(yùn)動活動性描述符后對視頻進(jìn)行解碼,并通過錯誤隱藏技術(shù)降低丟幀對視頻質(zhì)量的影響。上述傳輸過程中的丟幀策略,是在網(wǎng)絡(luò)各個節(jié)點(diǎn)丟幀來解決網(wǎng)絡(luò)擁塞的一種有效方法。在視頻中,l幀是關(guān)鍵的幀,對圖像質(zhì)量有很大的影響,P幀和B幀的解碼都要依賴于l幀;P幀的重要性僅次于l幀,他的解碼依賴于前一個l幀或P幀;相比而言,B幀的重要性又次于P幀,它的解碼依賴于相鄰的兩個l幀或P幀。目前通過丟棄部分或者全部B幀,保留全部I幀和P幀的方法來保證接收端的視頻質(zhì)量。發(fā)明人在實(shí)現(xiàn)本發(fā)明的過程中,發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問題利用上述計算方法,可以在傳輸視頻的過程中根據(jù)運(yùn)動活動性等級丟棄視頻流中運(yùn)動活動性等級小的B幀,以滿足運(yùn)動活動性等級越高丟幀率越小的要求。在多路視頻流同時傳送而網(wǎng)絡(luò)帶寬又有限的情況下,就可以調(diào)整各個不同運(yùn)動活動強(qiáng)度的視頻流的丟幀率,保證總的視頻質(zhì)量下降最小。但是,對于具體某個運(yùn)動活性級別的視頻流,有可能質(zhì)量下降很大,不能保證接收端觀看效果;并且,對每個鏡頭進(jìn)行運(yùn)動活動性特征提取,計算復(fù)雜且任務(wù)繁重。
發(fā)明內(nèi)容本發(fā)明的實(shí)施例提供了一種視頻傳輸方法和裝置,能夠有效提高視頻播放質(zhì)量。一種視頻傳輸方法,包括對視頻數(shù)據(jù)提取基于場景的運(yùn)動強(qiáng)度特征信息,并確定基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度;根據(jù)接收端反饋的丟包率信息以及基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度,確定傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型;按照所述確定傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型,傳輸基于所述場景的視頻數(shù)據(jù)。一種視頻傳輸裝置,包括運(yùn)動強(qiáng)度提取單元,用于對視頻數(shù)據(jù)提取基于場景的運(yùn)動強(qiáng)度特征信息,并確定基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度;反饋信息接收單元,用于獲取接收端反饋的丟包率信息;視頻傳輸控制單元,用于根據(jù)所述反饋信息接收單元的丟包率信息,以及所述運(yùn)動強(qiáng)度提取單元確定的基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度,確定傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型;傳輸單元,用于按照所述視頻傳輸控制單元確定的所述傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型,傳輸基于所述場景的視頻數(shù)據(jù)。一種視頻傳輸系統(tǒng),包括視頻傳輸裝置,可被設(shè)置成與客戶端裝置進(jìn)行視頻傳輸通信;所述視頻傳輸裝置,用于對視頻數(shù)據(jù)基于場景提取運(yùn)動強(qiáng)度特征信息,并確定基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度;獲取接收端反饋的丟包率信息;并7根據(jù)接收端反饋的丟包率信息以及基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度,確定傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型;并按照所述確定的傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型,傳輸基于所述場景的視頻數(shù)據(jù);所述客戶端裝置,用于接收所述視頻傳輸裝置傳輸?shù)囊曨l數(shù)據(jù),并反饋丟包率信息。由上述本發(fā)明的實(shí)施例提供的技術(shù)方案可以看出,由于本發(fā)明實(shí)施例在控制網(wǎng)絡(luò)擁塞時,根據(jù)網(wǎng)絡(luò)當(dāng)前的傳輸情況和視頻數(shù)據(jù)的運(yùn)動強(qiáng)度等級,在發(fā)送端對視頻傳輸質(zhì)量等級進(jìn)行自適應(yīng)調(diào)整,不但能夠在網(wǎng)絡(luò)擁塞時對低運(yùn)動強(qiáng)度的視頻數(shù)據(jù)進(jìn)行丟包,還可以對高運(yùn)動強(qiáng)度場景的視頻數(shù)據(jù)進(jìn)行丟包,使得控制網(wǎng)絡(luò)擁塞更加有效,同時不同的丟幀策略也保證了當(dāng)前發(fā)送的各^L頻流中關(guān)鍵數(shù)據(jù)幀不會被丟棄,避免了在網(wǎng)絡(luò)擁塞情況下傳輸大量數(shù)據(jù)引起的盲目丟包,即使在多路視頻流同時傳送時也能對各具體視頻流質(zhì)量進(jìn)行控制,從而實(shí)現(xiàn)了在有效控制網(wǎng)絡(luò)擁塞的同時提高視頻播放質(zhì)量。圖1為本發(fā)明實(shí)施例提供的方法流程示意圖2為本發(fā)明實(shí)施例提供的丟包率相同情況下不同運(yùn)動強(qiáng)度的視頻的質(zhì)量損失示意圖圖3為本發(fā)明實(shí)施例提供的相同運(yùn)動強(qiáng)度下視頻數(shù)據(jù)內(nèi)的l、P、B幀比例示意圖圖4為本發(fā)明實(shí)施例提供的相同視頻質(zhì)量下視頻數(shù)據(jù)內(nèi)的l、P、B幀比例示意圖圖5為本發(fā)明實(shí)施例進(jìn)行了運(yùn)動強(qiáng)度分級的一段畫面示意圖;圖6為本發(fā)明實(shí)施例根據(jù)自適應(yīng)傳輸策略去除馬賽克的效果對比示意圖;圖7為本發(fā)明實(shí)施例根據(jù)自適應(yīng)傳輸策略去除馬賽克前后的信噪比曲線示意圖;圖8是本發(fā)明實(shí)施例根據(jù)采用自適應(yīng)傳輸和非自適應(yīng)傳輸?shù)母?0幅畫面得到的PSNR曲線示意圖9a為本發(fā)明實(shí)施例提供的視頻傳輸裝置的結(jié)構(gòu)示意圖;圖9b為本發(fā)明實(shí)施例提供的視頻傳輸控制單元的結(jié)構(gòu)示意圖;圖10為本發(fā)明實(shí)施例提供的視頻傳輸系統(tǒng)的結(jié)構(gòu)示意圖;圖11為本發(fā)明實(shí)施例提供的客戶端裝置結(jié)構(gòu)示意圖。具體實(shí)施例方式在本發(fā)明實(shí)施例中,為有效提高網(wǎng)絡(luò)中傳輸?shù)囊曨l質(zhì)量,提供一種視頻傳輸方法,具體可以對視頻數(shù)據(jù)提取基于場景的運(yùn)動強(qiáng)度特征信息,并確定基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度等級;根據(jù)接收端反饋的丟包率信息以及基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度等級,確定傳輸基于所述場景的^L頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型;并根據(jù)所述確定傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型,傳輸基于所述場景的視頻數(shù)據(jù)。為便于對本發(fā)明實(shí)施例的理解,下面將結(jié)合附圖對本發(fā)明實(shí)施例的具體實(shí)現(xiàn)方案進(jìn)^f于詳細(xì)的描述。圖1是本發(fā)明實(shí)施例提供的方法流程示意圖,下面結(jié)合圖1對本發(fā)明實(shí)施例提供的方法進(jìn)行詳細(xì)描述。如圖1所示,具體可以包括11:對視頻數(shù)據(jù)提取基于場景的運(yùn)動強(qiáng)度特征信息,并確定基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度;具體可以包括將連續(xù)的一組鏡頭作為一個場景,提取基于該場景的視頻數(shù)據(jù)中的運(yùn)動強(qiáng)度特征信息,并根據(jù)運(yùn)動強(qiáng)度等級劃分值,確定基于該場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度等級;運(yùn)動強(qiáng)度特征是運(yùn)動活動性描述符中的一個子項(xiàng),運(yùn)動強(qiáng)度特征可以從基于鏡頭的視頻數(shù)據(jù)中提取,但由于實(shí)際應(yīng)用中需要對運(yùn)動強(qiáng)度特征進(jìn)行量化,而一個場景中相鄰鏡頭之間的運(yùn)動強(qiáng)度等級相差不大,為了減少存儲的信息量以及處理過程中的復(fù)雜度,本發(fā)明實(shí)施例采取基于場景提取視頻數(shù)據(jù)的運(yùn)動強(qiáng)度特征信息;例如具體實(shí)現(xiàn)時,運(yùn)動強(qiáng)度特征信息的提取可以在Mpeg-1(MovingPictureExpertGroup,運(yùn)動圖像專家組沖各式)的壓縮域中進(jìn)行(以P幀為例)先通過Mpeg-1的木亍準(zhǔn)角罕石馬器mpeg2decode獲^尋Mpeg-1壓縮浮見頻數(shù)據(jù)中P幀每個宏塊的運(yùn)動向量,定義活力矩陣C,,,、,cmv,,y)}其中,C表示矩陣,mv表示活力,Cmv為活力矩陣,R(i,j)為(i,j)處的運(yùn)動活力,xn,yn分別表示(i,j)塊在x和y方向上的運(yùn)動向量;然后計算該P(yáng)幀的每個宏塊的平均向量幅度<formula>formulaseeoriginaldocumentpage10</formula>其中,I、J分別代表一個P幀中的x和y方向上的宏塊數(shù)目;接著計算該P(yáng)幀的運(yùn)動幅度標(biāo)準(zhǔn)差V",=i>i然后計算該P(yáng)幀的運(yùn)動幅度標(biāo)準(zhǔn)差的期望值<formula>formulaseeoriginaldocumentpage10</formula>最后,對該P(yáng)幀運(yùn)動幅度標(biāo)準(zhǔn)差的期望值進(jìn)行量化,經(jīng)過大量數(shù)據(jù)測試,25幀/秒、CIF(標(biāo)準(zhǔn)化圖像格式,CommonIntermediateFormat)分辨率的視頻的量化值可以由50、80、100、120劃分為5個等級,雖然這與MPEG-7中給定的參考值有區(qū)別,但經(jīng)過實(shí)驗(yàn)證明,用上述5個等級衡量場景的激烈程度是可行的;相應(yīng)的,根據(jù)運(yùn)動強(qiáng)度特征劃分運(yùn)動強(qiáng)度等級的過程可以如下例如,如果該P(yáng)幀的》值小于50,則將該P(yáng)幀的運(yùn)動強(qiáng)度等級設(shè)為1級;如果^值大于50且小于80,則將該P(yáng)幀的運(yùn)動強(qiáng)度等級設(shè)為2級;如果S值大于80且小于100,則將該P(yáng)幀的運(yùn)動強(qiáng)度等級設(shè)為3級;如果S值大于100且小于120,則將該P(yáng)幀的運(yùn)動強(qiáng)度等級設(shè)為4級;如果S值大于等于120,則將該P(yáng)幀的運(yùn)動強(qiáng)度等級設(shè)為5級;需要說明的是,上述基于場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度等級信息可以保存在月良務(wù)器端;12:根據(jù)接收端反饋的丟包率信息以及基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度等級,確定基于所述場景的視頻數(shù)據(jù)的視頻傳輸質(zhì)量等級,視頻傳輸質(zhì)量等級用于確定傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型;包括(一)基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度等級,對應(yīng)傳輸基于所述場景的視頻數(shù)據(jù)的丟包率上限值和丟包率下限值;為確定了基于所述場景的運(yùn)動強(qiáng)度等級的視頻數(shù)據(jù)選擇對應(yīng)傳輸時的丟包類型和丟包率的視頻傳輸質(zhì)量等級;其中,視頻數(shù)據(jù)的基于場景的運(yùn)動強(qiáng)度等級越高,傳輸時對應(yīng)的丟包率上限值越低,丟包率下限值越高;基于場景的視頻數(shù)據(jù)的^見頻傳輸質(zhì)量等級越高,傳輸時對應(yīng)的丟包率越低,丟棄的包的重要等級也越低;A、本發(fā)明實(shí)施例為確定了基于場景的運(yùn)動強(qiáng)度等級的視頻數(shù)據(jù),設(shè)置傳輸時的丟包率上限值和丟包率下限值的原理如下假設(shè)網(wǎng)絡(luò)傳輸時無計劃外丟包,視頻數(shù)據(jù)的視頻傳輸質(zhì)量等級都一致,則按著視頻傳輸質(zhì)量等級對應(yīng)的丟包率丟包后,再播;改該丟包后^L頻的過程中,視頻運(yùn)動強(qiáng)度越低,內(nèi)容變化越少,用戶能夠清晰流暢的觀看一見頻畫面,并且由于視頻中幀和幀之間的大背景非常相似,畫面一般不會劇烈變化,因此用戶看到的畫面延續(xù)性很強(qiáng),例如運(yùn)動強(qiáng)度等級為1的視頻即使只播放l幀也可以提供流暢的畫面。隨著視頻的運(yùn)動強(qiáng)度不斷增大,畫面的變化程度越來越激烈,視頻丟失的幀對播放畫面的影響越來越大。若運(yùn)動強(qiáng)度是第五級,丟包到只剩下l幀時,播放該視頻時,基本看到的是一幅幅跳動很大的畫面,視頻中的一些動作都已經(jīng)被略過了,因此視頻畫面跳躍性太大,令用戶難以滿意。因此,在網(wǎng)絡(luò)傳輸視頻數(shù)據(jù)時丟包率相同的情況下,不同運(yùn)動強(qiáng)度的視頻的質(zhì)量損失也不同,具體如圖2所示從圖2中可以看出,當(dāng)網(wǎng)絡(luò)傳輸?shù)囊曨l數(shù)據(jù)的丟包率相同時,則隨著視頻運(yùn)動強(qiáng)度的升高,視頻質(zhì)量下降越明顯,也就是說,高運(yùn)動強(qiáng)度的視頻質(zhì)量對丟包率的敏感度遠(yuǎn)遠(yuǎn)高于低運(yùn)動強(qiáng)度的視頻質(zhì)量。鑒于上述結(jié)論,本發(fā)明實(shí)施例將視頻的運(yùn)動強(qiáng)度用于指導(dǎo)丟幀(或丟包),即對于不同運(yùn)動強(qiáng)度的視頻,設(shè)置不同的丟包率上限值和下限值,使得不同運(yùn)動強(qiáng)度的視頻場景得到不同的處理具體的,對于高運(yùn)動強(qiáng)度的視頻場景,為該場景的視頻數(shù)據(jù)設(shè)置丟包率上限值、下限值時,使該丟包率上限值和下限值對丟包率的變化敏感。對于丟包率上限值,不宜設(shè)置過大,以保證網(wǎng)絡(luò)使用狀況為主。因?yàn)閷τ诟哌\(yùn)動強(qiáng)度視頻,相鄰若干幀之間信息密度大,對網(wǎng)絡(luò)的丟包率非常敏感,為了避免由于傳輸時丟包過多導(dǎo)致畫面產(chǎn)生大量的馬賽克,丟包率上限不易設(shè)置的過大。而對于丟包率下限值,不宜設(shè)置過小,以保證視頻質(zhì)量為主。因?yàn)榫W(wǎng)絡(luò)一旦好轉(zhuǎn),需要最先提升高運(yùn)動強(qiáng)度場景的視頻數(shù)據(jù)傳輸質(zhì)量等級,因?yàn)楦哌\(yùn)動強(qiáng)度場景的視頻數(shù)據(jù)的丟幀對視頻質(zhì)量的影響相對低運(yùn)動強(qiáng)度場景的視頻質(zhì)量的影響較大,所以丟包率下限值不能太小。丟包率的下限值不是用于確定是否少丟包,而是用于確定網(wǎng)絡(luò)狀況是否好轉(zhuǎn),也就是說,一旦當(dāng)前視頻傳輸?shù)膩G包率低于設(shè)置的下限值,就認(rèn)為當(dāng)前的網(wǎng)絡(luò)傳輸狀態(tài)處于輕載狀態(tài)。運(yùn)動強(qiáng)度越高,丟包率下限值越大,那么當(dāng)網(wǎng)絡(luò)負(fù)載減輕時,也就越先開始調(diào)整,這有助于視頻平均播放質(zhì)量的4是高。由于在一般情況下,包括網(wǎng)絡(luò)在滿載狀態(tài)時,若視頻質(zhì)量損失不超過10%,視頻質(zhì)量不會明顯下降,根據(jù)上述處理原理,設(shè)定的丟包率上限值、下限值可以如下表1所示下限P,上限P2運(yùn)動強(qiáng)度1級130運(yùn)動強(qiáng)度2級32512<table>tableseeoriginaldocumentpage13</column></row><table>表1從表1可以看出,當(dāng)視頻場景的運(yùn)動強(qiáng)度很小時,視頻對網(wǎng)絡(luò)波動并不敏感當(dāng)網(wǎng)絡(luò)傳輸變得很差時,低運(yùn)動強(qiáng)度場景的視頻數(shù)據(jù)的傳輸質(zhì)量等級開始下降,或當(dāng)網(wǎng)絡(luò)傳輸狀態(tài)很好時,低運(yùn)動強(qiáng)度場景的視頻數(shù)據(jù)的傳輸質(zhì)量等級開始提升。由于運(yùn)動強(qiáng)度低的視頻相鄰若干幀之間信息密度很低,而且對網(wǎng)絡(luò)中由于丟包而產(chǎn)生的視頻質(zhì)量變化也不敏感,因此上表中為低運(yùn)動強(qiáng)度場景的視頻數(shù)據(jù)設(shè)置的丟包率上、下限值符合實(shí)際的需要;而當(dāng)視頻場景的運(yùn)動強(qiáng)度很大時,視頻對網(wǎng)絡(luò)波動非常敏感。如果網(wǎng)絡(luò)丟包率超過一定范圍,產(chǎn)生的視頻質(zhì)量損失將會非常大,而且高運(yùn)動強(qiáng)度場景的視頻數(shù)據(jù)相鄰若干幀之間信息密度很大,因此設(shè)置低的網(wǎng)絡(luò)丟包率上限,可以保證傳輸過程中的丟包率不會很大。當(dāng)網(wǎng)絡(luò)狀況轉(zhuǎn)好時,由于高運(yùn)動強(qiáng)度場景的視頻數(shù)據(jù)的丟包率下限值較大,就會對網(wǎng)絡(luò)狀況的好轉(zhuǎn)最先做出反應(yīng),即最先提升的是高運(yùn)動強(qiáng)度場景的視頻數(shù)據(jù)的傳輸質(zhì)量等級。因?yàn)橐曨l運(yùn)動強(qiáng)度越大,傳輸質(zhì)量等級提升帶來的質(zhì)量好轉(zhuǎn)越明顯。B、本發(fā)明實(shí)施例為視頻數(shù)據(jù)設(shè)置、選褲,視頻傳輸質(zhì)量等級的原理如下由于在實(shí)際應(yīng)用中傳輸視頻數(shù)據(jù)時,視頻數(shù)據(jù)通常經(jīng)過打包形成一個個的RTP(實(shí)時傳輸協(xié)議)包,每個RTP信息包被封裝在UDP消息段中,然后再封裝在IP數(shù)據(jù)包中。下面的實(shí)^r測試以下述設(shè)置為例系統(tǒng)設(shè)置包的流的包大小限制為1450字節(jié),視頻格式選擇H.264、幀率選擇25、每15幀設(shè)置一個關(guān)鍵幀,并且在打包中增加用于實(shí)現(xiàn)視頻媒體數(shù)據(jù)傳輸?shù)腍intTrack功能。進(jìn)行實(shí)驗(yàn)測試時,對不同運(yùn)動強(qiáng)度的視頻場景,采用不同的量化方式(例如通過軟件進(jìn)行設(shè)置實(shí)現(xiàn)),獲得不同質(zhì)量的視頻,并進(jìn)行分析以確定可行的劃分視頻傳輸質(zhì)量等級的方案。1、當(dāng)視頻的運(yùn)動強(qiáng)度相同時,測試視頻數(shù)據(jù)內(nèi)的l、P、B幀打包的個數(shù)比例,得到結(jié)果如圖3所示圖3中表(a)~(e)分別對應(yīng)15級運(yùn)動強(qiáng)度時各幀打包后所占的比例其中,橫坐標(biāo)代表不同質(zhì)量的視頻,從15分別是最低質(zhì)量、低質(zhì)量、中等質(zhì)量、高質(zhì)量、最佳質(zhì)量;縱坐標(biāo)代表數(shù)據(jù)流中l(wèi)、P、B數(shù)據(jù)包的百分比。2、當(dāng)視頻的質(zhì)量等級相同時,測試各場景視頻數(shù)據(jù)內(nèi)的l、P、B幀打包的個數(shù)比例,得到結(jié)果如圖4所示圖4中表(f)~(j)分別表示視頻質(zhì)量等級相同時,各視頻數(shù)據(jù)內(nèi)各幀打包后所占的比例,即(f)到(j)分別對應(yīng)最低質(zhì)量、低質(zhì)量、中等質(zhì)量、高質(zhì)量、最佳質(zhì)量的視頻;其中,橫坐標(biāo)代表不同的運(yùn)動強(qiáng)度,從15級依次增加,縱坐標(biāo)代表數(shù)據(jù)流中l(wèi)、P、B數(shù)據(jù)包的百分比;從圖3、圖4中可以看出(1)在各場景視頻的質(zhì)量等級相同時,各場景視頻數(shù)據(jù)中的l幀所占的比例基本上不會超過20%,而B幀和P幀則占了數(shù)據(jù)的大部分,并且P幀占的比例是最大的;(2)在視頻質(zhì)量為低時,各場景視頻數(shù)據(jù)中的B幀與P幀所占的比例相差不大,當(dāng)視頻質(zhì)量升高時B幀與P幀所占的比例有先增大后減小的趨勢;(3)隨著視頻質(zhì)量的升高,各場景視頻數(shù)據(jù)中的B幀的包所占比例一般先減少再升高,說明在最低質(zhì)量或最佳質(zhì)量時,B幀的比例都會很大;因此,通過上述測試,對于視頻數(shù)據(jù)中l(wèi)、P、B各巾貞所占的比例,我們可以得出如下結(jié)果(1)在多數(shù)情況下,視頻數(shù)據(jù)中的1幀所占的比例基本上不會超過20%,而B幀和P幀則占了數(shù)據(jù)的大部分,并且P幀占.的比例是最大的;(2)在視頻質(zhì)量為低時,視頻數(shù)據(jù)中的B幀與P幀所占的比例相差不大,當(dāng)視頻質(zhì)量升高時B幀與P幀所占的比例有先增大后減小的趨勢;(3)隨著視頻質(zhì)量的升高,視頻數(shù)據(jù)中的B幀的包所占比例一般先減少再升高,說明在最低質(zhì)量或最佳質(zhì)量時,B幀的比例都會很大;根據(jù)上述結(jié)論,得出劃分視頻傳輸質(zhì)量等級的原則丟棄B幀可以釋放一部分網(wǎng)絡(luò)帶寬,但若B幀丟棄完時網(wǎng)絡(luò)帶寬依然緊張,則可以繼續(xù)丟棄P幀,這可以更大幅度的釋放網(wǎng)絡(luò)帶寬,直到只剩下l幀,鑒于l幀所占的比例不大,故把只剩下l幀的情況作為最后的底限。因此,在實(shí)際應(yīng)用中,可以將視頻流的傳輸質(zhì)量等級劃分為7個等級(1級最高,7級最低),如下表2所示<table>tableseeoriginaldocumentpage15</column></row><table>可以看出,基于場景的視頻數(shù)據(jù)的傳輸質(zhì)量等級越高(1級最高,7級最低),傳輸時對應(yīng)的丟包率越低,丟棄的包的重要等級也越低;具體應(yīng)用時,即可根據(jù)上述視頻傳輸質(zhì)量等級,為視頻數(shù)據(jù)可以選擇適當(dāng)?shù)囊曨l傳輸質(zhì)量等級;此外當(dāng)前傳輸?shù)囊曨l數(shù)據(jù)的傳輸質(zhì)量等級信息可以保存在服務(wù)器端。(二)、為基于所述場景的視頻數(shù)據(jù)選擇視頻傳輸質(zhì)量等級,根據(jù)基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度等級對應(yīng)的所述丟包率上限值和下限值,以及接收端反饋的丟包率信息,調(diào)整所述選擇的視頻傳輸質(zhì)量等級由于對視頻數(shù)據(jù)進(jìn)行實(shí)時網(wǎng)絡(luò)傳輸時,網(wǎng)絡(luò)狀態(tài)會隨時變化,于是就會出現(xiàn)按照原本選擇的傳輸質(zhì)量等級傳輸視頻數(shù)據(jù)時出現(xiàn)網(wǎng)絡(luò)擁塞的情況,為了避免這種情況,就需要根據(jù)接收端反饋的丟包率信息以及所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度等級對以前選擇的傳輸質(zhì)量等級進(jìn)行實(shí)時調(diào)整;而實(shí)現(xiàn)實(shí)時調(diào)整可以進(jìn)行如下處理(a)獲取接收端反饋的丟包率信息對于獲取接收端反饋的丟包率信息,本發(fā)明實(shí)施例可以通過如下方式實(shí)15現(xiàn)從RTCP包中提取丟包率信息,例如在DSS(達(dá)爾文流服務(wù)器,DarwinStreamingServer)中增加一個用于獲取RTCP包的丟包率信息的模塊,這樣,發(fā)送方接收到接收方發(fā)送來的RTCP包后,即可獲取RTCP包中的丟包率信息。每當(dāng)服務(wù)器接收到數(shù)據(jù)包時,根據(jù)RTCP包中的丟包率檢測結(jié)果來控制視頻數(shù)據(jù)的傳輸質(zhì)量等級。本發(fā)明實(shí)施例可以使用RTP/RTCP協(xié)議實(shí)現(xiàn)流媒體傳輸,也可以采用其它的流媒體傳輸方式;還可以采取其它的獲取接收端丟包率信息的方法,只要能夠獲取接收端的丟包率信息即可。(b)確定當(dāng)前的網(wǎng)絡(luò)運(yùn)行狀態(tài)本發(fā)明實(shí)施例將網(wǎng)絡(luò)的運(yùn)行狀態(tài)分為3種輕載、滿載、過載。輕載時網(wǎng)絡(luò)丟包率小于丟包率下限P"過載時網(wǎng)絡(luò)丟包率大于丟包率上限P2,滿載時丟包率處于P廣P2之間。當(dāng)網(wǎng)絡(luò)狀態(tài)變?yōu)檩p載時,可以提高當(dāng)前傳輸?shù)囊曨l數(shù)據(jù)的傳輸質(zhì)量等級;當(dāng)網(wǎng)絡(luò)狀態(tài)變?yōu)檫^載時,必須降低當(dāng)前傳輸?shù)囊曨l數(shù)據(jù)的傳輸質(zhì)量等級;滿載則繼續(xù)保持當(dāng)前傳輸?shù)腲L頻數(shù)據(jù)的傳輸質(zhì)量等級。而丟包率的上限和下限值則可以通過當(dāng)前傳輸?shù)囊曨l數(shù)據(jù)的運(yùn)動強(qiáng)度等級來確定。(c)丟包率平滑在網(wǎng)絡(luò)傳輸視頻數(shù)據(jù)的實(shí)際過程中,需要考慮到網(wǎng)絡(luò)中出現(xiàn)的一些沖激性質(zhì)的波動,這時網(wǎng)絡(luò)的丟包率會瞬時增加,然后立刻恢復(fù)原狀,在這種情況下不需要改變當(dāng)前傳輸?shù)囊曨l數(shù)據(jù)的傳輸質(zhì)量等級,但需要對丟包率進(jìn)行平滑處理,以防止這種瞬時突變引起的傳輸速率不必要的大幅變化。本實(shí)施例中,采用的平滑處理方法可以采用如下公式4)=《+(1-")》/咖(卜1)也就是使用前一次的丟包率為基準(zhǔn)來計算現(xiàn)在的丟包率;其中,"一般取值為1/4或1/8。7k。表示平滑處理過后的丟包率,^^②是檢測到的丟包率。通過上述公式計算得到的丟包率依賴于前一次的丟包率,這樣如果出現(xiàn)瞬時波動,則丟包率上升的速度決定于未出現(xiàn)波動的丟包率,不會出現(xiàn)丟包率超過丟包界限的情況,當(dāng)波動結(jié)束時,丟包率也恢復(fù)正常。在本實(shí)施例中,為了平滑丟包率,可以進(jìn)行如下設(shè)置如果連續(xù)4次丟包率過大而超過上限值,則實(shí)施傳輸質(zhì)量降低自適應(yīng)調(diào)節(jié);如果連續(xù)6次接收到丟包率過小而低于下限,則實(shí)施傳輸質(zhì)量等級升高自適應(yīng)調(diào)節(jié)。(d)根據(jù)接收端反饋的丟包率信息以及基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度等級對應(yīng)的丟包率上限值和下限值,調(diào)整確定當(dāng)前傳輸?shù)囊曨l數(shù)據(jù)的傳輸質(zhì)量等級通過控制視頻傳輸質(zhì)量等級可以避免網(wǎng)絡(luò)擁塞,即讓傳輸速率能夠根據(jù)丟包率加法增加、乘法減少。例如,若接收端反饋的丟包率大于基于所述場景的視頻數(shù)據(jù)的所述丟包率上限值,則降低基于所述場景的視頻數(shù)據(jù)的所述視頻傳輸質(zhì)量等級;若接收端反饋的丟包率小于基于所述場景的視頻數(shù)據(jù)的所述丟包率下限值,則提高基于所述場景的視頻數(shù)據(jù)的所述^L頻傳輸質(zhì)量等級;若接收端反饋的丟包率介于基于所述場景的視頻數(shù)據(jù)的所述丟包率上限值和丟包率下限值之間,以及接收端反饋的丟包率等于所述丟包率上限值或下限值,則保持所述^L頻傳輸質(zhì)量等級。具體的,在本發(fā)明實(shí)施例中,如果網(wǎng)絡(luò)處于過載狀態(tài),則大幅下降此時傳輸?shù)囊曨l數(shù)據(jù)的傳輸質(zhì)量等級,例如當(dāng)前傳輸?shù)囊曨l數(shù)據(jù)的傳輸質(zhì)量等級為第1~3級,則可以降至第4級,即丟棄所有B幀;如果當(dāng)前傳輸?shù)囊曨l數(shù)據(jù)的傳輸質(zhì)量等級為第46級,則直接降至第7級,即只傳輸l幀。若網(wǎng)絡(luò)處于輕載狀態(tài),則可以緩慢地一步步提升傳輸質(zhì)量等級,使之盡量滿足網(wǎng)絡(luò)傳輸協(xié)議友好,實(shí)現(xiàn)自適應(yīng)調(diào)節(jié);具體應(yīng)用中,調(diào)節(jié)質(zhì)量傳輸?shù)燃壍墓娇梢匀缦滤?;/^々尸2,"24,A^4其中,k表示應(yīng)調(diào)整到的級別,n表示檢測到擁塞的次數(shù),P,為網(wǎng)絡(luò)輕載的下限,P2為網(wǎng)絡(luò)過載的上限。當(dāng)然,當(dāng)前網(wǎng)絡(luò)滿載,則不改變當(dāng)前傳輸?shù)囊曨l數(shù)據(jù)的傳輸質(zhì)量級別;13:按照所述視頻傳輸質(zhì)量等級傳輸基于所述場景的視頻數(shù)據(jù);即根據(jù)所述視頻傳輸質(zhì)量等級對應(yīng)的丟包類型和相應(yīng)丟包率,在傳輸基于所述場景的視頻數(shù)據(jù)時進(jìn)行丟包;具體可以包括根據(jù)所述視頻傳輸質(zhì)量等級對應(yīng)的丟包類型和相應(yīng)丟包率,確定傳輸方式,并在丟包時根據(jù)丟幀策略進(jìn)行丟幀a、根據(jù)所述視頻傳輸質(zhì)量等級確定傳輸方式(1)當(dāng)視頻數(shù)據(jù)的傳輸質(zhì)量等級是kKeyFramesOnly(第7級)時,則只傳輸關(guān)鍵幀(l幀);具體應(yīng)用時,可以先判斷當(dāng)前傳輸?shù)臄?shù)據(jù)包是否屬于一個l幀,如果是則繼續(xù)傳輸包括l幀的數(shù)據(jù)包,如果不是,則直接選取下一個l幀的第一個數(shù)據(jù)包開始發(fā)送。(2)當(dāng)視頻數(shù)據(jù)的傳輸質(zhì)量等級是k30PercentPFrames(第6級)時,則不但傳輸全部I幀還要傳輸30。/。的P幀;具體應(yīng)用時,若當(dāng)前傳輸?shù)氖莑幀,則繼續(xù)傳輸幀內(nèi)的下一個數(shù)據(jù)包;如果是P幀,則先獲得此時離前一個l幀的距離,計算兩個l幀內(nèi)已經(jīng)傳送的p幀占兩個l幀中間的p幀的比例,在與30%誤差不超過3%時,直接進(jìn)行下一個l幀的傳輸;在上述傳輸過程中,直接丟棄B幀。(3)當(dāng)視頻數(shù)據(jù)的傳輸質(zhì)量等級是k70PercentPFrames(第5級)時,則不但傳輸全部l幀還要傳輸70y。的P幀;具體應(yīng)用時,若當(dāng)前傳輸?shù)氖莑幀,則繼續(xù)傳輸幀內(nèi)的下一個數(shù)據(jù)包;如果是P幀,則先獲得此時離前一個l幀的距離,計算兩個l幀內(nèi)已經(jīng)傳送的p幀占兩個l幀中間的p幀的比例,在與70%誤差不超過3。/。時,直接進(jìn)行下一個l幀的傳輸;在上述傳輸過程中,直接丟棄B幀。(4)當(dāng)視頻數(shù)據(jù)的傳輸質(zhì)量等級是kNoBFrames(第4級)時,則僅傳輸全部l、P幀,而丟棄所有的B幀;具體應(yīng)用時,若當(dāng)前傳輸?shù)氖荌幀或P幀,則繼續(xù)傳輸幀內(nèi)的下一個數(shù)據(jù)包;若遇到B幀,則直接丟棄B幀。(5)當(dāng)視頻數(shù)據(jù)的傳輸質(zhì)量等級是k30PercentBFrames(第3級)時,則不但傳輸全部l、P幀,還要傳輸30。/。的B幀;具體應(yīng)用時,若當(dāng)前傳輸?shù)氖莑幀或P幀,則繼續(xù)傳輸幀內(nèi)的下一個數(shù)據(jù)包;如果當(dāng)前傳輸?shù)氖荁幀,則先獲得此時離前一個l幀的距離,計算兩個l幀內(nèi)已經(jīng)傳送的B幀占兩個l幀中間的B幀的比例,在與30%誤差不超過3%時,則在兩I幀中再次遇到B幀時直接丟棄B幀。(6)當(dāng)視頻數(shù)據(jù)的傳輸質(zhì)量等級是k70Percen舊Frames(第2級)時,則不但傳輸全部l、P幀,還要傳輸70。/。的B幀;具體應(yīng)用時,若當(dāng)前傳輸?shù)氖莑幀或P幀,則繼續(xù)傳輸幀內(nèi)的下一個數(shù)據(jù)包;如果當(dāng)前傳輸?shù)氖荁幀,則先獲得此時離前一個l頓的距離,計算兩個l幀內(nèi)已經(jīng)傳送的B幀、占兩個I巾貞中間的B幀的比例,在與70%誤差不超過3%時,則在兩I幀中再次遇到B幀時直接丟棄B幀。(7)當(dāng)視頻數(shù)據(jù)的傳輸質(zhì)量等級是kAIIPackets(第1級)時,則傳輸所有的幀,傳輸時不丟數(shù)據(jù)包。b、在丟包時根據(jù)丟幀策略進(jìn)行丟幀丟幀策略指的是在網(wǎng)絡(luò)中傳輸視頻數(shù)據(jù)過程中,如何丟幀的策略;本發(fā)明實(shí)施例中,對l幀、P幀、B幀分別實(shí)施不同的丟幀策略(1)l幀的丟幀策略在傳輸視頻數(shù)據(jù)的過程中,若l幀被丟棄,則隨后的P、B巾貞的解碼會很困難,使得馬賽克現(xiàn)象很嚴(yán)重;因此系統(tǒng)中的丟幀策略的底線是保留l幀,先丟B幀,再丟P幀的順序,從而保證l幀不會被隨意丟棄。(2)B幀的丟幀策略由于B幀是雙向預(yù)測幀,不作為參考幀使用,故丟棄B幀不會引起解碼出錯;在系統(tǒng)中,丟棄30%B幀時,丟棄的是相隔比較遠(yuǎn)的頭尾B幀,這樣播放畫面時基本感覺不到丟幀帶來到影響;當(dāng)保留30。/o的B幀時,則保留相隔比較遠(yuǎn)的頭尾B幀。(3)P幀的丟幀策略由于P幀的解碼依賴于其前面的一個I幀或P幀,一旦參考幀丟失,跟隨著的P幀都可能解碼錯誤,使得馬賽克大量出現(xiàn);因此隨機(jī)丟棄P幀可能會造成客戶端視頻質(zhì)量的下降。為了避免上述情況,本發(fā)明實(shí)施例采用的丟棄P幀的策略如下例如,在丟棄P幀的時,可以保留兩個I幀之間處于前面的P幀,將數(shù)據(jù)都集中在兩個I幀之間的后半部分P幀丟棄,這樣就可以避免因丟幀而產(chǎn)生的馬賽克現(xiàn)象。比如丟棄30。/。的P幀時,則先讀取I幀和下一個I幀之間的P幀的數(shù)目,順次讀取P幀,與70%相差不超過3%時,則直接跳到下一個l幀。這樣的處理使得所有的幀都能夠正常解碼,解決了平常因?yàn)閬G幀而引起的馬賽克現(xiàn)象,這也是有計劃的丟幀而產(chǎn)生的優(yōu)點(diǎn)。由于P幀在^L頻傳輸時占有相當(dāng)?shù)谋壤?,因此?dāng)丟棄部分P幀時就可以立刻緩解網(wǎng)絡(luò)擁塞,但隨即機(jī)丟棄P幀與有計劃的丟棄P幀的視頻效果非常不同,因此在丟棄P幀時采用上述策略對緩解網(wǎng)絡(luò)帶寬有非常重要的意義。上述針對不同幀的丟幀策略,可以應(yīng)用于多個視頻流中運(yùn)動活動性同等級幀的丟幀,從而保證當(dāng)前發(fā)送的多個視頻流中關(guān)鍵數(shù)據(jù)幀不會被丟棄,避免了在網(wǎng)絡(luò)擁塞情況下傳輸大量數(shù)據(jù)引起的盲目丟包,實(shí)現(xiàn)了在有效控制網(wǎng)絡(luò)擁塞的同時提高視頻播放質(zhì)量。需要說明的是,在根據(jù)上述方法傳輸視頻數(shù)據(jù)時,往往需要對出現(xiàn)傳輸錯誤的數(shù)據(jù)包進(jìn)行處理,即當(dāng)傳輸RTP包時,由于丟包率的存在,可能出現(xiàn)某些幀的信息不完整,如果用這些不完整的數(shù)據(jù)進(jìn)行解碼,可能導(dǎo)致客戶端視頻質(zhì)量的嚴(yán)重下降,因此需要對出現(xiàn)的上述傳輸錯誤進(jìn)行處理。本發(fā)明實(shí)施例可以采用信息隱藏方法來解決上述問題,即通過拷貝前一個對應(yīng)的傳輸幀來處理上述傳輸錯誤,例如當(dāng)前不完整的l幀拷貝前一個l幀,當(dāng)前不完整的P幀拷貝前一個P幀,當(dāng)前不完整的B幀拷貝前一個B幀。沖艮據(jù)上述方法流程,傳輸視頻數(shù)據(jù)時由于基于場景提取視頻數(shù)據(jù)中的運(yùn)動強(qiáng)度特征信息,相比于
背景技術(shù)
的基于鏡頭提取運(yùn)動活動性特征可以有效降低計算復(fù)雜度、減少傳輸時的數(shù)據(jù)量;并且在控制網(wǎng)絡(luò)擁塞時,根據(jù)網(wǎng)絡(luò)當(dāng)前的傳輸情況和視頻數(shù)據(jù)的運(yùn)動強(qiáng)度等級,在發(fā)送端對^f見頻傳輸質(zhì)量等級進(jìn)行自適應(yīng)調(diào)整,不但能夠在網(wǎng)絡(luò)擁塞時對低運(yùn)動強(qiáng)度等級的視頻數(shù)據(jù)進(jìn)行丟包,還可以對高運(yùn)動強(qiáng)度等級的視頻數(shù)據(jù)進(jìn)行丟包,使得控制網(wǎng)絡(luò)擁塞更加有效,同時也保證了當(dāng)前發(fā)送的關(guān)鍵數(shù)據(jù)幀不會被丟棄,避免了在網(wǎng)絡(luò)擁塞情況下傳輸大量數(shù)據(jù)引起的盲目丟包,即使在多路視頻流同時傳送時也能對各具體視頻流質(zhì)量進(jìn)行控制,從而實(shí)現(xiàn)了在有效控制網(wǎng)絡(luò)擁塞的同時提高視頻播放質(zhì)量。下面結(jié)合附圖,對應(yīng)用上述方法的本發(fā)明實(shí)施例進(jìn)行詳細(xì)介紹(1)對視頻場景進(jìn)行運(yùn)動強(qiáng)度分級圖5是本發(fā)明實(shí)施例進(jìn)行了運(yùn)動強(qiáng)度分級的一段畫面示意圖,如圖5所示,最上面即第一行的視頻序列是一段字母緩緩出現(xiàn)、移動的序幕,根據(jù)上述方法流程的21中的計算方法,第一行這三幅畫面的運(yùn)動幅度標(biāo)準(zhǔn)差的期望值為6.86,運(yùn)動強(qiáng)度等級屬于1級;第二行的視頻序列中一個人在講話,畫面移動的非常緩慢,根據(jù)上述方法流程的21中的計算方法,第二行這三幅畫面的運(yùn)動幅度標(biāo)準(zhǔn)差的期望值為69.50,運(yùn)動強(qiáng)度等級屬于2級;第三行的視頻序列中一個人在走動,移動速度較快,背景也隨之變化,根據(jù)上述方法流程的21中的計算方法,第三行這三幅畫面的運(yùn)動幅度標(biāo)準(zhǔn)差的期望值為80.13,運(yùn)動強(qiáng)度等級屬于3級;第四行的視頻序列中一輛車在行駛,移動速度很快,背景也隨之變化,根據(jù)上述方法流程的21中的計算方法,第四行這三幅畫面的運(yùn)動幅度標(biāo)準(zhǔn)差的期望值為110.56,運(yùn)動強(qiáng)度等級屬于4級;第五行的視頻序列中熙熙攘攘的人群在下樓梯,使得整幅畫面變化激烈,根據(jù)上述方法流程的21中的計算方法,第五行這三幅畫面的運(yùn)動幅度標(biāo)準(zhǔn)差的期望值為126.79,運(yùn)動強(qiáng)度等級屬于5級。(2)根據(jù)自適應(yīng)傳輸去除馬賽克圖6是本發(fā)明實(shí)施例根據(jù)自適應(yīng)傳輸策略去除馬賽克的效果對比示意圖,圖6中,左側(cè)是沒有根據(jù)自適應(yīng)傳輸策略處理時,即隨機(jī)丟P幀的畫面,右側(cè)是根據(jù)自適應(yīng)傳輸策略處理時的畫面。當(dāng)以傳輸質(zhì)量等級為k30PercentPFrames,對這相同的^L頻測試,在保證網(wǎng)絡(luò)帶寬相同的情況下,從圖6中可以明顯看出,沒有經(jīng)過去除馬賽克處理的視頻播放時馬賽克非常多,而經(jīng)過處理的視頻完全沒有任何馬賽克,一樣的環(huán)境與視頻,不一樣的策略就得到了完全不一樣的結(jié)果。進(jìn)一步的,分別測量圖6中六幅圖相對于原圖的信噪比(PSNR,PeakSignalNoiseRatio),左側(cè)三幅從上到下信噪比依次為18.522、18.382、17.864,右側(cè)三幅從上到下信噪比依次為23.274、24.421、22.704,原圖使用本地播放截取的同一時刻的圖,故有一定誤差,但兩者趨勢卻沒有變化。上述信噪比曲線具體如圖7所示。(3)在未利用運(yùn)動強(qiáng)度特征信息時,自適應(yīng)傳輸與非自適應(yīng)傳輸效果比較對于點(diǎn)播的視頻質(zhì)量,雖然主觀上即可以看出自適應(yīng)傳輸與非自適應(yīng)傳輸效果的差別,但客觀上用數(shù)據(jù)描述卻比較困難。在實(shí)驗(yàn)中,當(dāng)客戶端不斷的增加點(diǎn)播服務(wù)來消耗網(wǎng)絡(luò)帶寬,則在服務(wù)器端分別對視頻數(shù)據(jù)的傳輸采用自適應(yīng)處理和非自適應(yīng)處理以進(jìn)4亍比較,可以明顯i也看出未經(jīng)過自適應(yīng)處理的纟見頻畫面會隨著帶寬度逐漸減少而不斷惡化直至停止,而經(jīng)過自適應(yīng)處理的^L頻畫面隨著網(wǎng)絡(luò)帶寬度的減少不會出現(xiàn)明顯的馬賽克,只是會有些小的停頓,但畫面非常清晰,直到網(wǎng)絡(luò)傳輸最后一幀時停止。圖8是實(shí)驗(yàn)中截取采用自適應(yīng)傳輸和非自適應(yīng)傳輸?shù)母?0幅畫面得到的PSNR曲線,可以明顯對比出采用了自適應(yīng)傳輸和非自適應(yīng)傳輸?shù)囊曨l質(zhì)量的差別圖8中,位于上面的曲線表示經(jīng)過自適應(yīng)傳輸處理的視頻圖像序列的質(zhì)量,它們的畫面質(zhì)量都保持在較高水平,這樣的質(zhì)量是以畫面中的短暫停頓為代價的;而位于下面的曲線則表示未經(jīng)過自適應(yīng)傳輸處理的視頻圖像序列的畫面質(zhì)量,雖然在播放過程中這些畫面連續(xù),但屏幕上出現(xiàn)了很多馬賽克,非常影響畫面效果,令觀眾難以滿意。(4)利用運(yùn)動強(qiáng)度特征信息的自適應(yīng)傳輸與未利用運(yùn)動強(qiáng)度特征信息的自適應(yīng)傳輸效果比較利用視頻場景的運(yùn)動強(qiáng)度等級信息進(jìn)行自適應(yīng)傳輸后,當(dāng)客戶端點(diǎn)播包括了15級運(yùn)動強(qiáng)度的視頻,并且不斷的增加點(diǎn)播服務(wù)消耗網(wǎng)絡(luò)帶寬時,網(wǎng)絡(luò)會開始擁塞,第5級視頻最先開始反應(yīng),即立刻會因?yàn)閬G幀而出現(xiàn)播放中短暫跳動,但視頻質(zhì)量依然完好,其他運(yùn)動強(qiáng)度等級的視頻仍然正常播放;隨著網(wǎng)絡(luò)帶寬的繼續(xù)被消耗,其它運(yùn)動強(qiáng)度等級的^f見頻依次也開始丟幀,但馬賽克只會在網(wǎng)絡(luò)傳輸質(zhì)量等級變化的瞬間出現(xiàn)。在網(wǎng)絡(luò)好轉(zhuǎn)時,高運(yùn)動強(qiáng)度等級的視頻最先好轉(zhuǎn),其它視頻的質(zhì)量依次好轉(zhuǎn)。相對于未利用運(yùn)動強(qiáng)度特征信息的自適應(yīng)傳輸,當(dāng)網(wǎng)絡(luò)開始擁塞時,大部分視頻開始同時降低傳輸質(zhì)量等級,即同時丟包,影響了本可以不降低傳輸質(zhì)量的視頻,并且在網(wǎng)絡(luò)恢復(fù)時,各視頻的傳輸質(zhì)量等級的提升也沒有先后次序,使得高運(yùn)動強(qiáng)度等級的視頻的傳輸質(zhì)量不能夠得到及時的回升,導(dǎo)致影響播放畫面,使得用戶難以滿意播放質(zhì)量。從上述描述可以看出,采用本發(fā)明實(shí)施例的方法后,即使在多路視頻流同時傳送時也能對各具體視頻流質(zhì)量進(jìn)行控制,視頻播放質(zhì)量得到明顯改善,實(shí)現(xiàn)了在有效控制網(wǎng)絡(luò)擁塞的同時提高視頻播放質(zhì)量。本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程,是可以通過計算機(jī)程序來指令相關(guān)的硬件來完成,所述的程序可存儲于計算機(jī)可讀取存儲介質(zhì)中,該程序在執(zhí)行時,可包括如上述各方法的實(shí)施例的流程。其中,所述的存儲介質(zhì)可為磁碟、光盤、只讀存儲記憶體(Read-OnlyMemory,ROM)或隨機(jī)存儲記憶體(RandomAccessMemory,RAM)等。本發(fā)明實(shí)施例還提供了相應(yīng)的視頻傳輸裝置,該裝置可以作為流媒體服務(wù)器,用于實(shí)現(xiàn)基于運(yùn)動強(qiáng)度的自適應(yīng)傳輸視頻數(shù)據(jù),該視頻傳輸裝置的結(jié)構(gòu)如圖9a所示,具體實(shí)現(xiàn)結(jié)構(gòu)可以包括運(yùn)動強(qiáng)度提取單元91,用于對視頻數(shù)據(jù)提取基于場景的運(yùn)動強(qiáng)度特征信息,并確定基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度;具體可以包括將連續(xù)的一組鏡頭作為一個場景,提取基于該場景的視頻數(shù)據(jù)中的運(yùn)動強(qiáng)度特征信息,并根據(jù)運(yùn)動強(qiáng)度等級劃分值,確定基于該場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度等級;例如,將視頻的運(yùn)動強(qiáng)度等級量化值可以由50、80、100、120劃分為5個等級,相應(yīng)的,根據(jù)運(yùn)動強(qiáng)度特征劃分運(yùn)動強(qiáng)度等級的過程可以如下例如,如果該P(yáng)幀的^值小于50,則將該P(yáng)幀的運(yùn)動強(qiáng)度等級設(shè)為1級;如果》值大于50且小于80,則將該P(yáng)幀的運(yùn)動強(qiáng)度等級設(shè)為2級;如果^值大于80且小于100,則將該P(yáng)幀的運(yùn)動強(qiáng)度等級設(shè)為3級;如果S值大于100且小于120,則將該P(yáng)幀的運(yùn)動強(qiáng)度等級設(shè)為4級;如果S值大于等于120,則將該P(yáng)幀的運(yùn)動強(qiáng)度等級設(shè)為5級;反饋信息接收單元92,用于獲取接收端的丟包率信息;例如,使用RTP/RTCP協(xié)議進(jìn)行流媒體的傳輸時,可以從RTCP包中提取丟包率信息;當(dāng)然還可以采取其它的獲取接收端丟包率信息的方法,只要能夠獲取接收端的丟包率信息即可;視頻傳輸控制單元93,用于根據(jù)反饋信息接收單元92獲取的丟包率信息,以及運(yùn)動強(qiáng)度提取單元91確定的所述運(yùn)動強(qiáng)度,確定傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型;視頻傳輸控制單元93具體結(jié)構(gòu)如圖9b所示,可以包括設(shè)置丟包率上下限單元931,用于根據(jù)所述運(yùn)動強(qiáng)度提取單元91確定的運(yùn)動強(qiáng)度等級,為基于所述場景的視頻數(shù)據(jù)設(shè)置傳輸時對應(yīng)的丟包率上限值和丟包率下限值;基于所述場景的視頻數(shù)據(jù)的所述運(yùn)動強(qiáng)度等級越高,對應(yīng)的丟包率上限值越低,丟包率下限值越高;例如,對于某一段由若干個場景組成的視頻,各個場景對應(yīng)的視頻片斷的運(yùn)動強(qiáng)度等級不同,對丟包率的敏感程度也不同,因此對于該視頻各個場景的視頻片斷需要設(shè)置不同的丟包率上下限值;具體實(shí)現(xiàn)時,可以根據(jù)上述圖表5所示的運(yùn)動強(qiáng)度等級與丟包率上、下限對應(yīng)關(guān)系設(shè)置丟包率的上下限;具體的,對于高運(yùn)動強(qiáng)度場景的視頻,為該場景的視頻數(shù)據(jù)設(shè)置對丟包率的變化敏感的丟包率上限值、下限值,以保證視頻質(zhì)量;因?yàn)榫W(wǎng)絡(luò)一旦好轉(zhuǎn),需要最先提高高運(yùn)動強(qiáng)度的視頻場景的數(shù)據(jù)發(fā)送速率,因?yàn)楦哌\(yùn)動強(qiáng)度場景的視頻丟幀對視頻質(zhì)量的影響相對低質(zhì)量視頻場景的影響較大,所以丟包率下限值不能太小,即運(yùn)動強(qiáng)度越高,丟包率下限值越大,那么當(dāng)網(wǎng)絡(luò)負(fù)載減輕時,也就越先開始調(diào)整,這有助于視頻平均播放質(zhì)量的提高;選擇傳輸質(zhì)量等級單元932,用于為基于所述場景的視頻數(shù)據(jù)選擇視頻傳輸質(zhì)量等級,視頻傳輸質(zhì)量等級用于確定傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型;具體的,基于所述場景的視頻數(shù)據(jù)的視頻傳輸質(zhì)量等級越高,傳輸時對應(yīng)的丟包率越低,丟棄的包的重要等級也越低;例如可以根據(jù)上述表2所示進(jìn)行選擇;24存儲單元933,用于存儲所述設(shè)置丟包率上下限單元931設(shè)置的傳輸時的丟包率上限值和丟包率下限值,以及所述選擇傳輸質(zhì)量等級單元932設(shè)置的視頻傳輸質(zhì)量等級,包括對應(yīng)的丟包類型和丟包率,并存儲調(diào)整單元934調(diào)整后的視頻傳輸質(zhì)量等級;具體的,例如可以存儲例如表1中的對應(yīng)關(guān)系,以及表2中的對應(yīng)關(guān)系;調(diào)整單元934,用于根據(jù)所述反饋信息接收單元92的所述丟包率信息以及存儲單元933存儲的所述丟包率上限值和丟包率下限值,調(diào)整所述選擇傳輸質(zhì)量等級單元932設(shè)置的所述視頻傳輸質(zhì)量等級;具體用于若接收端反饋的丟包率大于基于所述場景的視頻數(shù)據(jù)的所述丟包率上限值,則降低基于所述場景的視頻數(shù)據(jù)的所述視頻傳輸質(zhì)量等級;若接收端反饋的丟包率小于基于所述場景的視頻數(shù)據(jù)的所述丟包率下限值,則提高基于所述場景的視頻數(shù)據(jù)的所述視頻傳輸質(zhì)量等級;若接收端反饋的丟包率介于基于所述場景的視頻數(shù)據(jù)的所述丟包率上限值和丟包率下限值之間,以及接收端反饋的丟包率等于所述丟包率上限值或下限值,則保持所述視頻傳輸質(zhì)量等級;例如,對于當(dāng)前傳輸?shù)氖嵌嗦芬曨l流時,當(dāng)網(wǎng)絡(luò)狀況開始好轉(zhuǎn)時,即反饋的丟包率小于下限值時,首先提高高運(yùn)動強(qiáng)度場景的視頻的傳輸質(zhì)量等級;具體實(shí)施中,若網(wǎng)絡(luò)處于過載狀態(tài),則大幅下降此時傳輸?shù)囊曨l數(shù)據(jù)的傳輸質(zhì)量等級,假設(shè)當(dāng)前傳輸?shù)囊曨l數(shù)據(jù)的傳輸質(zhì)量等級為第1~3級,則可以降至第4級,即丟棄所有B幀;如果當(dāng)前傳輸?shù)囊曨l數(shù)據(jù)的傳輸質(zhì)量等級為第4~6級,則直接降至第7級,即只傳輸l幀。若網(wǎng)絡(luò)處于輕載狀態(tài),則可以緩慢地一步步提升傳輸質(zhì)量等級,使之盡量滿足網(wǎng)絡(luò)傳輸協(xié)議友好;傳輸單元94,用于按照所述視頻傳輸控制單元93確定的所迷傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型,傳輸基于所述場景的視頻數(shù)據(jù);具體的可以按照所述調(diào)整單元934得出的視頻傳輸質(zhì)量等級傳輸基于所述場景的視頻數(shù)據(jù),即根據(jù)所述視頻傳輸質(zhì)量等級對應(yīng)的丟包類型和相應(yīng)丟包率,在傳輸基于所述場景的視頻數(shù)據(jù)時進(jìn)行丟包;具體可以包括根據(jù)所述視頻傳輸質(zhì)量等級對應(yīng)的丟包類型和相應(yīng)丟包率確定傳輸方式,并在丟包時根據(jù)丟幀策略進(jìn)行丟幀;例如,根據(jù)所述視頻傳輸質(zhì)量等級確定傳輸方式當(dāng)視頻數(shù)據(jù)的傳輸質(zhì)量等級是kKeyFramesOnly(第7級)時,則只傳輸關(guān)鍵幀(l幀);具體應(yīng)用時,可以先判斷當(dāng)前傳輸?shù)臄?shù)據(jù)包是否屬于一個l幀,如果是則繼續(xù)傳輸包括l頓的數(shù)據(jù)包,如果不是,則直接選取下一個l幀的第一個數(shù)據(jù)包開始發(fā)送;當(dāng)視頻數(shù)據(jù)的傳輸質(zhì)量等級是k30PercentPFrames(第6級)時,則不但傳輸全部l幀還要傳輸30Q/o的P幀;具體應(yīng)用時,若當(dāng)前傳輸?shù)氖莑幀,則繼續(xù)傳輸幀內(nèi)的下一個數(shù)據(jù)包;如果是P幀,則先獲得此時離前一個l幀的距離,計算兩個l幀內(nèi)已經(jīng)傳送的P幀占兩個I幀中間的P幀的比例,在與30%誤差不超過3%時,直接進(jìn)行下一個l幀的傳輸;在上述傳輸過程中,直接丟棄B幀;當(dāng)視頻數(shù)據(jù)的傳輸質(zhì)量等級是k70PercentPFrames(第5級)時,則不但傳輸全部1幀還要傳輸70%的P幀;具體應(yīng)用時,若當(dāng)前傳輸?shù)氖莑幀,則繼續(xù)傳輸幀內(nèi)的下一個數(shù)據(jù)包;如果是P幀,則先獲得此時離前一個l幀的距離,計算兩個l幀內(nèi)已經(jīng)傳送的P幀占兩個l幀中間的P幀的比例,在與70°/0誤差不超過3%時,直接進(jìn)行下一個l幀的傳輸;在上述傳輸過程中,直接丟棄B幀;當(dāng)視頻數(shù)據(jù)的傳輸質(zhì)量等級是kNoBFrames(第4級)時,則^l傳輸全部l、P幀,而丟棄所有的B幀;具體應(yīng)用時,若當(dāng)前傳輸?shù)氖荌幀或P幀,則繼續(xù)傳輸幀內(nèi)的下一個數(shù)據(jù)包;若遇到B幀,則直接丟棄B幀;當(dāng)視頻數(shù)據(jù)的傳輸質(zhì)量等級是k30Percen舊Frames(第3級)時,則不但傳輸全部l、P幀,還要傳輸30。/。的B幀;具體應(yīng)用時,若當(dāng)前傳輸?shù)氖荌幀或P幀,則繼續(xù)傳輸幀內(nèi)的下一個數(shù)據(jù)包;如果當(dāng)前傳輸?shù)氖荁幀,則先獲得此時離前一個l幀的距離,計算兩個l幀內(nèi)已經(jīng)傳送的B幀占兩個I幀中間的B幀的比例,在與30%誤差不超過3%時,則在兩I幀中再次遇到B幀時直接丟棄B幀;當(dāng)視頻數(shù)據(jù)的傳輸質(zhì)量等級是k70PercentBFrames(第2級)時,則不但傳輸全部l、P幀,還要傳輸70。/o的B幀;具體應(yīng)用時,若當(dāng)前傳輸?shù)氖莑幀或P幀,則繼續(xù)傳輸幀內(nèi)的下一個數(shù)據(jù)包;如果當(dāng)前傳輸?shù)氖荁幀,則先獲得此時離前一個l幀的距離,計算兩個l幀內(nèi)已經(jīng)傳送的B幀占兩個l幀中間的B頓的26比例,在與70%誤差不超過3%時,則在兩I幀中再次遇到B幀時直接丟棄B幀;當(dāng)視頻數(shù)據(jù)的傳輸質(zhì)量等級是kAIIPackets(第1級)時,則傳輸所有的幀,傳輸時不丟數(shù)據(jù)包;同時,在網(wǎng)絡(luò)中傳輸視頻數(shù)據(jù)過程中,丟包時根據(jù)丟幀策略進(jìn)行丟幀本發(fā)明實(shí)施例中,對l幀、P幀、B幀分別實(shí)施不同的丟幀策略l頓不會被隨意丟棄;丟棄30。/。B幀時,丟棄的是相隔比較遠(yuǎn)的頭尾B幀;當(dāng)保留30%的已幀時,則保留相隔比較遠(yuǎn)的頭尾B幀;在丟棄P幀的時,可以保留兩個l幀之間處于前面的P幀,將數(shù)據(jù)都集中在兩個l幀之間的后半部分P幀丟棄,丟棄30。/o的P幀時,則先讀取I幀和下一個I幀之間的P幀的數(shù)目,順次讀取P幀,與70。/。相差不超過3%時,則直接跳到下一個l幀??蛇x的,在該視頻傳輸裝置中還可以包括丟包率平滑單元95,用于在網(wǎng)絡(luò)中出現(xiàn)沖激性質(zhì)的波動時,對丟包率進(jìn)行平滑處理,以防止這種瞬時突變引起的傳輸質(zhì)量等級不必要的大幅變化;例如使用前一次的丟包率為基準(zhǔn)來計算現(xiàn)在的丟包率,這樣如果出現(xiàn)瞬時波動,則丟包率上升的速度決定于未出現(xiàn)波動的丟包率,不會出現(xiàn)丟包率超過丟包界限的情況,當(dāng)波動結(jié)束時,丟包率也恢復(fù)正常。本發(fā)明實(shí)施例中的視頻傳輸裝置可以設(shè)置于各種網(wǎng)絡(luò)節(jié)點(diǎn)設(shè)備中,包括服務(wù)器,或其它網(wǎng)絡(luò)傳輸設(shè)備中。本發(fā)明實(shí)施例還提供了一種用于實(shí)現(xiàn)基于運(yùn)動強(qiáng)度的自適應(yīng)傳輸視頻數(shù)據(jù)的視頻傳輸系統(tǒng),其結(jié)構(gòu)如圖10所示,具體實(shí)現(xiàn)結(jié)構(gòu)包括視頻傳輸裝置101,用于對視頻數(shù)據(jù)提取基于場景的運(yùn)動強(qiáng)度特征信息,并確定基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度;獲取接收端反饋的丟包率信息;并根據(jù)接收端反饋的丟包率信息以及基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度,確定傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型;根據(jù)所述確定的傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型,傳輸基于所述場景的視頻數(shù)據(jù);具體結(jié)構(gòu)如圖9a所示,這里不再重復(fù);視頻傳輸裝置101,可被設(shè)置成與客戶端裝置進(jìn)行視頻傳輸通信;27客戶端裝置102,用于接收視頻傳輸裝置傳輸?shù)囊曨l數(shù)據(jù),并反饋丟包率信息,對接收到的視頻數(shù)據(jù)中的錯誤進(jìn)行處理后,解碼視頻數(shù)據(jù)并播放;客戶端裝置102具體結(jié)構(gòu)如圖11所示,可以包括收發(fā)單元111,用于接收視頻數(shù)據(jù),并發(fā)送各種數(shù)據(jù)信息;丟包率信息單元112,用于提供丟包率信息,并通過收發(fā)單元111將丟包率信息反饋給視頻傳輸裝置101;例如可以收集客戶端的信息,形成RTCP數(shù)據(jù)包,可以由DSS(DarwinStreamingServer,達(dá)爾文流服務(wù)器)中的相應(yīng)模塊實(shí)現(xiàn);錯誤處理單元113,用于對出現(xiàn)傳輸錯誤的數(shù)據(jù)包進(jìn)行處理,并將處理后的數(shù)據(jù)送至解碼單元114(實(shí)際應(yīng)用中可以為解碼器)解碼;例如,可以采用信息隱藏方法來進(jìn)行處理,即通過拷貝前一個對應(yīng)的幀來處理上述傳輸錯誤,例如當(dāng)前不完整的l幀拷貝前一個l幀,當(dāng)前不完整的P幀拷貝前一個P幀,當(dāng)前不完整的B幀拷貝前一個B幀;此外,還可以采用前向糾錯編碼(ForwardErrorCorrection,FEC),延遲約束的重傳、錯誤彈性編碼(error-resilientencoding)以及其它的錯誤隱藏方法來對出現(xiàn)傳輸錯誤的數(shù)據(jù)包進(jìn)行處理;解碼單元114,用于解碼錯誤處理單元113處理后的視頻數(shù)據(jù),并播放,具體的,解碼單元"可以為解碼器。上述系統(tǒng)中,視頻傳輸裝置101對視頻數(shù)據(jù)提取基于場景的運(yùn)動強(qiáng)度特征信息后,將其量化為15級,并將上述視頻數(shù)據(jù)打包,在獲取客戶端反饋的丟包率信息確定當(dāng)前的視頻數(shù)據(jù)的傳輸質(zhì)量等級,并根據(jù)該傳輸質(zhì)量等級確定傳輸該視頻數(shù)據(jù)的方式,在丟包時根據(jù)丟幀策略進(jìn)行丟幀。而客戶端裝置102,則通過定時反饋丟包率信息給視頻傳輸裝置101,并在^"誤處理單元113對出現(xiàn)傳輸錯誤的數(shù)據(jù)包進(jìn)行處理后,將視頻數(shù)據(jù)送至解碼單元解碼、播放。本發(fā)明實(shí)施例中用于實(shí)現(xiàn)基于運(yùn)動強(qiáng)度的自適應(yīng)傳輸視頻數(shù)據(jù)的^L頻傳輸系統(tǒng)可以設(shè)置于各種網(wǎng)絡(luò)設(shè)備中。綜上所述,本發(fā)明各實(shí)施例和現(xiàn)有技術(shù)中相比,由于本發(fā)明的實(shí)施例基于場景提取視頻數(shù)據(jù)中的運(yùn)動強(qiáng)度特征信息,可以有效降低計算復(fù)雜度、減少傳輸時的數(shù)據(jù)量;并且在控制網(wǎng)絡(luò)擁塞時,根據(jù)網(wǎng)絡(luò)當(dāng)前的傳輸情況和視頻數(shù)據(jù)的運(yùn)動強(qiáng)度等級,在發(fā)送端對視頻傳輸質(zhì)量等級進(jìn)行自適應(yīng)調(diào)整,不但能夠在網(wǎng)絡(luò)擁塞時對低運(yùn)動強(qiáng)度等級的視頻數(shù)據(jù)進(jìn)行丟包,還可以對高運(yùn)動強(qiáng)度等級的視頻數(shù)據(jù)進(jìn)行丟包,使得控制網(wǎng)絡(luò)擁塞更加有效,同時不同的丟幀策略也保證了當(dāng)前發(fā)送的關(guān)鍵數(shù)據(jù)幀不會被丟棄,避免了在網(wǎng)絡(luò)擁塞情況下傳輸大量數(shù)據(jù)引起的盲目丟包,即使在多路視頻流同時傳送時也能對各具體視頻流質(zhì)量進(jìn)行控制,從而實(shí)現(xiàn)了在有效控制網(wǎng)絡(luò)擁塞的同時提高視頻播放質(zhì)量。以上所述,僅為本發(fā)明較佳的具體實(shí)施方式,但本發(fā)明的保護(hù)范圍并不局限于此,任何熟悉本
技術(shù)領(lǐng)域
的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi),可輕易想到的變化或替換,都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此,本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求的保護(hù)范圍為準(zhǔn)。權(quán)利要求1、一種視頻傳輸方法,其特征在于,包括對視頻數(shù)據(jù)提取基于場景的運(yùn)動強(qiáng)度特征信息,并確定基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度;根據(jù)接收端反饋的丟包率信息以及基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度,確定傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型;按照所述確定傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型,傳輸基于所述場景的視頻數(shù)據(jù)。2、根據(jù)權(quán)利要求1所述的方法,其特征在于,所述對視頻數(shù)據(jù)提取基于場景的運(yùn)動強(qiáng)度特征信息,并確定基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度,包括將連續(xù)的一組鏡頭作為一個場景,提取基于該場景的視頻數(shù)據(jù)中的運(yùn)動強(qiáng)度特征信息,并確定基于該場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度等級。3、根據(jù)權(quán)利要求1或2所述的方法,其特征在于,所述基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度等級,用于確定傳輸基于所述場景的視頻數(shù)據(jù)時對應(yīng)的丟包率上限值和丟包率下限值。4、根據(jù)權(quán)利要求1或2或3所述的方法,其特征在于,所述根據(jù)接收端反饋的丟包率信息以及基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度,確定傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型,包括根據(jù)接收端反饋的丟包率信息以及基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度,確定基于所述場景的視頻數(shù)據(jù)的視頻傳輸質(zhì)量等級,所述視頻傳輸質(zhì)量等級用于確定傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型;具體處理包括為基于所述場景的視頻數(shù)據(jù)選擇視頻傳輸質(zhì)量等級,根據(jù)基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度等級對應(yīng)的丟包率上限值和下限值,以及接收端反饋的丟包率信息,調(diào)整所述選擇的視頻傳輸質(zhì)量等級。5、根據(jù)權(quán)利要求4所述的方法,其特征在于,所述調(diào)整所述選擇的所述視頻傳輸質(zhì)量等級,包括若接收端反饋的丟包率大于基于所述場景的視頻數(shù)據(jù)的所述丟包率上限值,則降低基于所述場景的視頻數(shù)據(jù)的所述視頻傳輸質(zhì)量等級;若接收端反饋的丟包率小于基于所述場景的視頻數(shù)據(jù)的所述丟包率下限值,則提高基于所述場景的視頻數(shù)據(jù)的所述視頻傳輸質(zhì)量等級;若接收端反饋的丟包率介于基于所述場景的視頻數(shù)據(jù)的所述丟包率上限值和丟包率下限值之間,以及接收端反饋的丟包率等于所述丟包率上限值或下限值,則保持所述視頻傳輸質(zhì)量等級。6、根據(jù)權(quán)利要求5所述的方法,其特征在于,所述按照所述視頻傳輸質(zhì)量等級,傳輸基于所述場景的視頻數(shù)據(jù),包括根據(jù)所述視頻傳輸質(zhì)量等級對應(yīng)的丟包類型和丟包率,在傳輸基于所述場景的視頻數(shù)據(jù)時進(jìn)行丟包。7、一種視頻傳輸裝置,其特征在于,包括運(yùn)動強(qiáng)度提取單元,用于對視頻數(shù)據(jù)提取基于場景的運(yùn)動強(qiáng)度特征信息,并確定基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度;反饋信息接收單元,用于獲取接收端反饋的丟包率信息;視頻傳輸控制單元,用于根據(jù)所述反饋信息接收單元的丟包率信息,以及所述運(yùn)動強(qiáng)度提取單元確定的基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度,確定傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型;傳輸單元,用于按照所述^L頻傳輸控制單元確定的所述傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型,傳輸基于所述場景的視頻數(shù)據(jù)。8、根據(jù)權(quán)利要求7所述的裝置,其特征在于,所述運(yùn)動強(qiáng)度提取單元,在進(jìn)行所述對視頻數(shù)據(jù)提取基于場景的運(yùn)動強(qiáng)度特征信息,并確定基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度時,具體用于將連續(xù)的一組鏡頭作為一個場景,提取基于該場景的視頻數(shù)據(jù)中的運(yùn)動強(qiáng)度特征信息,并確定基于該場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度等級。9、根據(jù)權(quán)利要求7或8所述的裝置,其特征在于,所述視頻傳輸控制單元包括設(shè)置丟包率上下限單元,用于根據(jù)所述運(yùn)動強(qiáng)度提取單元確定的運(yùn)動強(qiáng)度等級,為基于所述場景的視頻數(shù)據(jù)設(shè)置傳輸時的丟包率上限值和丟包率下限值;選擇傳輸質(zhì)量等級單元,用于為基于所述場景的視頻數(shù)據(jù)選擇視頻傳輸質(zhì)量等級,所述視頻傳輸質(zhì)量等級用于確定傳輸基于所述場景的^L頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型;存儲單元,用于存儲所述設(shè)置丟包率上下限單元設(shè)置的傳輸時的丟包率上限值和丟包率下限值,以及所述選4奪傳輸質(zhì)量等級單元選4奪的所述視頻傳輸質(zhì)量等級,包括對應(yīng)的丟包類型和丟包率;'調(diào)整單元,用于根據(jù)所述反饋信息接收單元的所述丟包率信息以及所述存儲單元存儲的所述丟包率上限值和丟包率下限值,調(diào)整所述選擇傳輸質(zhì)量等級單元選擇的所述視頻傳輸質(zhì)量等級。10、根據(jù)權(quán)利要求9所述的裝置,其特征在于,所述調(diào)整單元,進(jìn)行所述調(diào)整所述選擇傳輸質(zhì)量等級單元選擇的所述視頻傳輸質(zhì)量等級時,具體用于若接收端反饋的丟包率大于基于所述場景的視頻數(shù)據(jù)的所述丟包率上限值,則降低基于所述場景的視頻數(shù)據(jù)的所述視頻傳輸質(zhì)量等級;若接收端反饋的丟包率小于基于所述場景的視頻數(shù)據(jù)的所述丟包率下限值,則提高基于所述場景的視頻數(shù)據(jù)的所述視頻傳輸質(zhì)量等級;若接收端反饋的丟包率介于基于所述場景的視頻數(shù)據(jù)的所述丟包率上限值和丟包率下限值之間,以及接收端反饋的丟包率等于所述丟包率上限值或下限值,則保持所述視頻傳輸質(zhì)量等級。11、根據(jù)權(quán)利要求7所述的裝置,其特征在于,所述傳輸單元,進(jìn)行所述按照確定的所述傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型,傳輸基于所述場景的視頻數(shù)據(jù)時,具體用于根據(jù)所述視頻傳輸質(zhì)量等級對應(yīng)的丟包類型和丟包率,在傳輸基于所述場景的視頻數(shù)據(jù)時進(jìn)行丟包。12、一種視頻傳輸系統(tǒng),其特征在于,包括視頻傳輸裝置,可被設(shè)置成與客戶端裝置進(jìn)行視頻傳輸通信;所述視頻傳輸裝置,用于對視頻數(shù)據(jù)基于場景提取運(yùn)動強(qiáng)度特征信息,并確定基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度;獲取接收端反饋的丟包率信息;并根據(jù)接收端反饋的丟包率信息以及基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度,確定傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型;并按照所述確定的傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型,傳輸基于所述場景的視頻數(shù)據(jù);所述客戶端裝置,用于接收所述視頻傳輸裝置傳輸?shù)囊曨l數(shù)據(jù),并反饋丟包率信息。全文摘要一種視頻傳輸方法及裝置、系統(tǒng),方法具體包括對視頻數(shù)據(jù)提取基于場景的運(yùn)動強(qiáng)度特征信息,并確定基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度;根據(jù)接收端反饋的丟包率信息以及基于所述場景的視頻數(shù)據(jù)的運(yùn)動強(qiáng)度,確定傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型;按照所述確定傳輸基于所述場景的視頻數(shù)據(jù)時的丟包率,以及丟棄的包的類型,傳輸基于所述場景的視頻數(shù)據(jù)。本發(fā)明實(shí)施例可以有效降低計算復(fù)雜度;并且控制網(wǎng)絡(luò)擁塞更加有效,避免了在網(wǎng)絡(luò)擁塞情況下傳輸大量數(shù)據(jù)引起的盲目丟包,即使在多路視頻流同時傳送時也能對各具體視頻流質(zhì)量進(jìn)行控制,從而實(shí)現(xiàn)了在有效控制網(wǎng)絡(luò)擁塞的同時提高視頻播放質(zhì)量。文檔編號H04N7/64GK101656888SQ20081011876公開日2010年2月24日申請日期2008年8月21日優(yōu)先權(quán)日2008年8月21日發(fā)明者于俊清,何云峰,沖劉,牛彩卿申請人:華為技術(shù)有限公司;華中科技大學(xué)
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點(diǎn)贊!
1