專利名稱：多媒體信號傳輸方法和裝置的制作方法
技術領域：
本發(fā)明涉及移動互聯(lián)網技術領域，特別地，涉及一種多媒體信號傳輸方法和裝置。
背景技術：
隨著移動互聯(lián)網應用的普及，3G網絡的覆蓋不斷擴大和普及，移動視頻的業(yè)務量也在不斷擴大。目前利用手機觀看視頻已經成為手機的主要功能之一，但移動的最大缺點就是帶寬仍然不夠寬，而且經常出現(xiàn)斷網或者信號不好的問題，這樣在播放中容易導致視頻停頓，而視頻停頓又是影響客戶體驗的重要原因。目前移動互聯(lián)網使用比較多的視頻封裝格式是3GP的封裝標準，視頻壓縮多采用H.264的協(xié)議。視頻服務器有些是用流媒體服務器，有些采用Web服務器。終端一般會在內部創(chuàng)建一定大小的緩沖來應對移動網絡的不穩(wěn)定性，但也只能解決部分的抖動問題，所以目前出現(xiàn)了 SVC(Scaled Video Coding，可分層視頻編解碼)算法，一個碼流可以包含不同分辨率和幀率，可以根據(jù)用戶的帶寬情況來發(fā)送合適分辨率和幀率的數(shù)據(jù)，這種編碼方法給移動視頻業(yè)務帶來了很好的解決方案，但如果在服務器的傳輸設計上和文件封裝上按原有的模式，只是更新一套編碼方法，該編碼方法發(fā)揮的真正效果并不理想，在網絡突然中斷或者信號差的時候同樣會有停頓現(xiàn)象發(fā)生。

發(fā)明內容
本發(fā)明要解決的一個技術問題是提供一種多媒體信號傳輸方法和裝置，能夠在用戶點播視頻時提聞視頻的抗網絡抖動能力。根據(jù)本發(fā)明的一方面，提出了一種多媒體信號傳輸方法，包括對待傳輸?shù)亩嗝襟w信號進行編碼，形成音頻編碼數(shù)據(jù)、視頻基本層編碼數(shù)據(jù)和視頻增強層編碼數(shù)據(jù)；分別對音頻編碼數(shù)據(jù)、視頻基本層編碼數(shù)據(jù)和視頻增強層編碼數(shù)據(jù)進行封裝；根據(jù)反饋的用戶帶寬確定待傳輸?shù)膬热?，并根?jù)所確定的待傳輸?shù)膬热輳姆庋b后的數(shù)據(jù)中選擇待傳輸?shù)木幋a數(shù)據(jù)；根據(jù)反饋的用戶帶寬和用戶丟包率確定前向糾錯數(shù)據(jù)的插入位置，并將前向糾錯數(shù)據(jù)插入到相應位置的編碼數(shù)據(jù)中；在待傳輸?shù)木幋a數(shù)據(jù)中包含視頻增強層編碼數(shù)據(jù)的情況下，根據(jù)傳輸時刻按比例傳輸各種編碼數(shù)據(jù)。根據(jù)本發(fā)明的另一方面，還提出了一種多媒體信號傳輸裝置，包括編碼單元，用于對待傳輸?shù)亩嗝襟w信號進行編碼，形成音頻編碼數(shù)據(jù)、視頻基本層編碼數(shù)據(jù)和視頻增強層編碼數(shù)據(jù)；封裝單元，與編碼單元相連，用于分別對音頻編碼數(shù)據(jù)、視頻基本層編碼數(shù)據(jù)和視頻增強層編碼數(shù)據(jù)進行封裝；數(shù)據(jù)選取單元，與封裝單元相連，用于根據(jù)反饋的用戶帶寬確定待傳輸?shù)膬热?，并根?jù)所確定的待傳輸?shù)膬热輳姆庋b后的數(shù)據(jù)中選擇待傳輸?shù)木幋a數(shù)據(jù)；糾錯插入單元，與數(shù)據(jù)選取單元相連，用于根據(jù)反饋的用戶帶寬和用戶丟包率確定前向糾錯數(shù)據(jù)的插入位置，并將前向糾錯數(shù)據(jù)插入到相應位置的編碼數(shù)據(jù)中；比例確定單元，與糾錯插入單元相連，用于在待傳輸?shù)木幋a數(shù)據(jù)中包含視頻增強層編碼數(shù)據(jù)的情況下，根據(jù)傳輸時刻按比例傳輸各種編碼數(shù)據(jù)。
本發(fā)明提供的多媒體信號傳輸方法與裝置，充分發(fā)揮SVC的特性，根據(jù)SVC的分層特點對文件的封裝、傳輸方式和糾錯機制進行改進，在網絡抖動和丟包情況下保證視頻基本層數(shù)據(jù)優(yōu)先到達用戶端并啟用糾錯機制，保證點播視頻時抗網絡抖動能力達到最強，進而使得用戶的體驗達到最佳化。


此處所說明的附圖用來提供對本發(fā)明的進一步理解，構成本申請的一部分。在附圖中:圖1是本發(fā)明多媒體信號傳輸方法的一個實施例的流程示意圖。圖2是Movie容器示意圖。圖3是本發(fā)明多媒體信號傳輸裝置的一個實施例的結構示意圖。
具體實施例方式下面參照附圖對本發(fā)明進行更全面的描述，其中說明本發(fā)明的示例性實施例。本發(fā)明的示例性實施例及其說明用于解釋本發(fā)明，但并不構成對本發(fā)明的不當限定。以下對至少一個示例性實施例的描述實際上僅僅是說明性的，決不作為對本發(fā)明及其應用或使用的任何限制。本發(fā)明的下述實施例在SVC封裝未標準化的情況下提出了自己的封裝方法，即，在文件封裝中增加獨立的視頻分層軌道(例如，視頻基本層軌道、視頻增強層軌道)，分別對每個視頻分層軌道獨立地進行封裝。在視頻服務器向終端傳輸多媒體信號的過程中，采取根據(jù)用戶端反饋的實時下載帶寬來重新生成相應的媒體文件，即，重新拆解文件并封裝，把視頻基本層數(shù)據(jù)與視頻增強層數(shù)據(jù)優(yōu)化組合成適合當前帶寬的媒體文件，并且根據(jù)用戶的下載帶寬情況來決定FEC(Forward error correction,前向糾錯)數(shù)據(jù)加入的位置,在丟包較嚴重并且下載帶寬可以滿足視頻基本層數(shù)據(jù)的帶寬要求的情況下，可以將FEC數(shù)據(jù)添加到基本層數(shù)據(jù)中。在傳輸過程中，可以根據(jù)用戶反饋的信息利用自適應算法對基本層與增強層的傳輸速率分別控制，例如，在視頻播放開始階段，先發(fā)送基本層數(shù)據(jù)到終端，這樣可以達到快速啟動播放的目的，隨后根據(jù)帶寬情況保持或調整基本層與增強層之間的傳輸比例，這樣能保證視頻基本層數(shù)據(jù)優(yōu)先到達用戶端，抵抗網絡抖動，使用戶端的視頻流暢度和清晰度達到最優(yōu)。圖1是本發(fā)明多媒體信號傳輸方法的一個實施例的流程示意圖。如圖1所示，該實施例可以包括以下步驟:S102，對待傳輸?shù)亩嗝襟w信號進行編碼，形成音頻編碼數(shù)據(jù)、視頻基本層編碼數(shù)據(jù)和視頻增強層編碼數(shù)據(jù)，其中，多媒體信號可以包括音頻信號和視頻信號，根據(jù)用戶終端對分辨率與幀率的最低要求確定出視頻基本層數(shù)據(jù)，再根據(jù)視頻基本層數(shù)據(jù)預測出視頻增強層數(shù)據(jù)，可以對視頻基本層數(shù)據(jù)和視頻增強層數(shù)據(jù)進行SVC編碼，對音頻數(shù)據(jù)進行MP3或AAC (Advanced Audio Coding,先進音頻編碼)等編碼處理；S104，分別對音頻編碼數(shù)據(jù)、視頻基本層編碼數(shù)據(jù)和視頻增強層編碼數(shù)據(jù)進行封裝，除了傳統(tǒng)的封裝處理外，還包括對不同數(shù)據(jù)標識的封裝，例如，可以用AVCl標識視頻基本層數(shù)據(jù)，用SVCE標識視頻增強層數(shù)據(jù)，視頻增強層可以為一個或多個，在視頻增強層為多個時，每個視頻增強層對應于不同的分辨率和幀率，例如，第一視頻增強層的分辨率為CIF (Common Intermediate Format),巾貞率為10巾貞/S，第二視頻增強層的分辨率為CIF (或720P等)，幀率為25幀/S，此時可以用SVC1、SVC2、SVC3等來標識不同的視頻增強層；
S106，根據(jù)反饋的用戶帶寬確定待傳輸?shù)膬热?，并根?jù)所確定的待傳輸?shù)膬热輳姆庋b后的數(shù)據(jù)中選擇待傳輸?shù)木幋a數(shù)據(jù)；
S108，根據(jù)反饋的用戶帶寬和用戶丟包率確定前向糾錯數(shù)據(jù)的插入位置，并將前向糾錯數(shù)據(jù)插入到相應位置的編碼數(shù)據(jù)中；
S110，在待傳輸?shù)木幋a數(shù)據(jù)中包含視頻增強層編碼數(shù)據(jù)的情況下，根據(jù)傳輸時刻按比例傳輸各種編碼數(shù)據(jù)。
該實施例使視頻點播能夠最大化地適應移動網絡的不穩(wěn)定性，當網絡中斷的時候因為視頻基本層編碼數(shù)據(jù)已經優(yōu)先下載到了用戶終端，所以仍然能夠繼續(xù)被解碼，防止了視頻停頓等現(xiàn)象的發(fā)生，使用戶體驗達到最優(yōu)。
為了使得用戶終端能夠體驗最基本的視頻效果，待傳輸?shù)膬热菘梢园ǚ庋b后的音頻編碼數(shù)據(jù)和視頻基本層編碼數(shù)據(jù)，進一步地，在帶寬允許的情況下，待傳輸?shù)膬热葸€可以包括封裝后的視頻增強層編碼數(shù)據(jù)。
在步驟S108中，可以通過下述方式確定前向糾錯數(shù)據(jù)的插入位置，以在插入前向糾錯數(shù)據(jù)后提高接收端的解碼正確率:
(I)在用戶丟包率大于設定的第一丟包率閾值(例如，第一丟包率閾值為30% )并且用戶帶寬滿足視頻基本層編碼數(shù)據(jù)帶寬要求時，將基本層的前向糾錯數(shù)據(jù)插入到視頻基本層編碼數(shù)據(jù)中；
(2)在用戶丟包率小于設定的第二丟包率閾值(例如，第二丟包率閾值為5% )并且用戶帶寬滿足視頻基本層編碼數(shù)據(jù)帶寬要求時，將基本層的前向糾錯數(shù)據(jù)插入到視頻增強層編碼數(shù)據(jù)中；
(3)在用戶帶寬大于視頻基本層編碼數(shù)據(jù)帶寬要求時，將基本層的前向糾錯數(shù)據(jù)插入到視頻基本層編碼數(shù)據(jù)中或視頻增強層編碼數(shù)據(jù)中。
此外，在步驟SllO中，當服務器同時向用戶端傳輸視頻基本層編碼數(shù)據(jù)和視頻增強層編碼數(shù)據(jù)時，為了提高用戶端在點播視頻時的抗抖動功能，可以采用下述數(shù)據(jù)傳輸方式:
(I)在傳輸?shù)钠鹗紩r刻先向用戶傳輸視頻基本層編碼數(shù)據(jù)，為了防止抖動，一般在初始時刻優(yōu)先向用戶端傳送基本層編碼數(shù)據(jù)，以使得在網絡出現(xiàn)抖動時用戶端能夠利用預先下載的基本層編碼數(shù)據(jù)保證最基本的視頻效果；
(2)在傳輸?shù)那鞍攵螘r刻逐漸增大視頻增強層編碼數(shù)據(jù)的傳輸比例，即，在視頻點播的前期階段，雖然在一開始已經向用戶端傳輸了部分視頻基本層編碼數(shù)據(jù)，但是還有部分基本層數(shù)據(jù)未傳輸，在保證較好的視頻效果的同時還是要盡量優(yōu)先傳輸基本層數(shù)據(jù)，此時可以使得基本層數(shù)據(jù)與增強層數(shù)據(jù)的傳輸比例大于1，例如，用戶下載帶寬的70%用于傳輸基本層數(shù)據(jù)，剩余的30%用于傳輸增強層數(shù)據(jù)；或者下載帶寬的60%用于傳輸基本層數(shù)據(jù)，剩余的40%用于傳輸增強層數(shù)據(jù)；
(3)在傳輸?shù)暮蟀攵螘r刻逐漸減小視頻基本層編碼數(shù)據(jù)的傳輸比例，即，由于此時在用戶端已經下載了相當比例的基本層數(shù)據(jù)，考慮到視頻顯示效果，可以適當調整基本層數(shù)據(jù)與增強層數(shù)據(jù)的傳輸比例，此時，可以使得基本層數(shù)據(jù)與增強層數(shù)據(jù)的傳輸比例小于1，例如，用戶下載帶寬的40%用于傳輸基本層數(shù)據(jù)，剩余的60%用于傳輸增強層數(shù)據(jù)；或者下載帶寬的30%用于傳輸基本層數(shù)據(jù)，剩余的70%用于傳輸增強層數(shù)據(jù)，隨著時間的推移，甚至可以達到下載帶寬的20%用于傳輸基本層數(shù)據(jù)，80%用于傳輸增強層數(shù)據(jù)、或10%用于傳輸基本層數(shù)據(jù)，90%用于傳輸增強層數(shù)據(jù)(此時，絕大部分基本層數(shù)據(jù)已被下載到用戶端)。
在本發(fā)明多媒體信號傳輸方法的另一實施例中，可以將視頻服務器向用戶端傳輸數(shù)據(jù)的過程分為兩部分:
1、視頻碼流的封裝過程:
步驟一，由支持SVC特性的編碼器對實時圖像或離線圖像信號進行編碼，并形成視頻基本層編碼數(shù)據(jù)和視頻增強層編碼數(shù)據(jù)，其中視頻基本層編碼數(shù)據(jù)和視頻增強層編碼數(shù)據(jù)分離地并且同步地輸入到封裝單元中，封裝單元將對這兩種數(shù)據(jù)進行打包處理；
具體地，首先將待編碼的視頻信息通過空域下采樣分解為兩個不同分辨率的空域層信息，每個空域層再通過基于MCTF(Motion Compensated Temporal Filtering,運動補償?shù)臅r域濾波)技術進行時域分解，分解過程中得到的運動信息可以在層間進行預測并最后編碼，分解后的高通幀紋理信息可以使用與H.264相同的幀內預測方式進行層內預測、或使用空域低層的重建紋理進行層間預測，低通幀紋理使用與H.264相同的幀間預測方式進行預測，預測冗余還可以再進行層間冗余預測，最后對最終預測冗余進行變換和熵編碼，編碼過程中可以通過對變換系數(shù)進行重復量化來提供SNR分級性。
步驟二，進行視頻文件的封裝，以MP4文件封裝為例，將MP4所有的內容都存儲于一個稱為movie的容器中，如圖2所示,這個movie容器可以由多個video track組成,每個video track就是一個隨時間變化的媒體序列,例如,視頻巾貞序列，track里的每個時間單位是一個sample,它可以是一巾貞視頻或音頻，sample按時間順序排列，需要指出的是,一中貞音頻可以分解成多個音頻sample,所以音頻一般用sample作為單位,而不用巾貞；在1^4文件格式的定義中用sample這個單詞表示一個時間巾貞或者數(shù)據(jù)單元,每個track又會有一個或者多個sample描述，t rack里面的每個sample通過引用關聯(lián)到一個sample描述,這個sample描述定義了怎樣對這個sample進行解碼,例如,所使用的壓縮算法等。封裝單元會根據(jù)SVC編碼后數(shù)據(jù)的實際情況進行媒體數(shù)據(jù)的封裝存儲，例如，封裝單元將SVC編碼數(shù)據(jù)的每一層都作為一個獨立的媒體軌道(即，video track)進行封裝，如果沒有增強層數(shù)據(jù)，封裝結構與普通的媒體封裝結構相同，如果存在增強層數(shù)據(jù)，則可以通過增加新的媒體軌道來實現(xiàn)，在封裝SVC編碼數(shù)據(jù)時，對于基本層數(shù)據(jù)，使用與原始媒體單元描述(Sampledescription)相同的符號，例如，AVCl (H.264)，而增強層數(shù)據(jù)使用不同的描述符號，例如，SVCE，這樣可以保證新封裝的SVC文件格式與原有系統(tǒng)的最大兼容性，在同時存在多個增強層時，可以使用多級符號標識，以保證多層增強數(shù)據(jù)之間的級別關系，例如，SVCU SVC2、SVC3 等。
2、視頻數(shù)據(jù)的重組與傳輸糾錯數(shù)據(jù)的插入
步驟三，在視頻服務器中增加數(shù)據(jù)選取單元，以根據(jù)用戶下載帶寬狀況確定傳輸策略，例如是否傳輸增強層數(shù)據(jù)，如果傳輸增強層數(shù)據(jù)，其分辨率與幀率如何選擇等，此外，還可以根據(jù)帶寬情況與用戶側的丟包率確定FEC數(shù)據(jù)的插入位置。
步驟四，對SVC媒體文件中的視頻與音頻數(shù)據(jù)進行拆分，并對滿足步驟三中確定的傳輸策略的數(shù)據(jù)進行組合，把基本層數(shù)據(jù)和需要的增強層數(shù)據(jù)分成兩組，根據(jù)用戶下載帶寬狀況和丟包率在基本層或增強層中加入所需的FEC數(shù)據(jù)。例如，在丟包率達到30%以上并且用戶帶寬可以滿足基本層數(shù)據(jù)帶寬的情況下，可以將基本層的FEC數(shù)據(jù)添加在基本層編碼數(shù)據(jù)中用以抵抗丟包造成的影響；在丟包很少并且用戶帶寬滿足基本層數(shù)據(jù)帶寬的情況下，可以將基本層的FEC數(shù)據(jù)添加到增強層編碼數(shù)據(jù)中，優(yōu)先保證基本層數(shù)據(jù)的快速傳輸；在帶寬較寬裕的情況下(例如，高于設定的帶寬門限時，或遠大于基本層數(shù)據(jù)帶寬要求時)，可以將基本層的FEC數(shù)據(jù)添加到基本層編碼數(shù)據(jù)中或增強層編碼數(shù)據(jù)中，這樣在發(fā)生丟包的時候可以有通過FEC糾錯恢復基本層數(shù)據(jù)的機會。
步驟五，通過一定的帶寬分配比例向用戶發(fā)送基本層數(shù)據(jù)與增強層數(shù)據(jù)，例如，在視頻播放開始階段，可以先向用戶發(fā)送基本層數(shù)據(jù)，這樣可以達到快速啟動播放的目的，同時還可以預先緩存部分基本層數(shù)據(jù)以備網絡抖動時使用，隨后如果網絡帶寬穩(wěn)定，可以在下載的前半階段優(yōu)先保證基本層數(shù)據(jù)的下載，分配一小部分網絡帶寬用于增強層數(shù)據(jù)的下載，以保證穩(wěn)定獲取基本層數(shù)據(jù)的前提下再獲取增強層數(shù)據(jù)。
此外，還可以在視頻增強層編碼數(shù)據(jù)中加入腳本數(shù)據(jù)流，例如，JavaScript形式的控制流，這樣控制流可以與視頻流同時傳輸?shù)接脩舳?，不僅提高了控制的實時性，而且還在一定程度上節(jié)省了網絡帶寬。
本領域普通技術人員可以理解，實現(xiàn)上述方法實施例的全部和部分步驟可以通過程序指令相關的硬件來完成，前述的程序可以存儲于一計算設備可讀取存儲介質中，該程序在執(zhí)行時，執(zhí)行包括上述方法實施例的步驟，而前述的存儲介質可以包括ROM、RAM、磁碟和光盤等各種可以存儲程序代碼的介質。
圖3是本發(fā)明多媒體信號傳輸裝置的一個實施例的結構示意圖。
如圖3所示，該實施例中的裝置300可以包括:
編碼單元301，用于對待傳輸?shù)亩嗝襟w信號進行編碼，形成音頻編碼數(shù)據(jù)、視頻基本層編碼數(shù)據(jù)和視頻增強層編碼數(shù)據(jù)，其中，視頻增強層可以為一個或多個(例如，二個以上)，在視頻增強層為多個時，每個視頻增強層對應于不同的分辨率和幀率；
封裝單元302，與編碼單元相連，用于分別對音頻編碼數(shù)據(jù)、視頻基本層編碼數(shù)據(jù)和視頻增強層編碼數(shù)據(jù)進行封裝；
數(shù)據(jù)選取單元303，與封裝單元相連，用于根據(jù)反饋的用戶帶寬確定待傳輸?shù)膬热荩⒏鶕?jù)所確定的待傳輸?shù)膬热輳姆庋b后的數(shù)據(jù)中選擇待傳輸?shù)木幋a數(shù)據(jù)，其中，待傳輸?shù)膬热菘梢园ǖ幌抻诜庋b后的音頻編碼數(shù)據(jù)和視頻基本層編碼數(shù)據(jù)，如果用戶帶寬允許，待傳輸?shù)膬热葸€可以包括封裝后的視頻增強層編碼數(shù)據(jù)；
糾錯插入單元304，與數(shù)據(jù)選取單元相連，用于根據(jù)反饋的用戶帶寬和用戶丟包率確定前向糾錯數(shù)據(jù)的插入位置，并將前向糾錯數(shù)據(jù)插入到相應位置的編碼數(shù)據(jù)中，其中，前向糾錯數(shù)據(jù)的插入位置可以包括視頻基本層編碼數(shù)據(jù)和視頻增強層編碼數(shù)據(jù)，例如，在用戶丟包率大于設定的第一丟包率閾值并且用戶帶寬滿足視頻基本層編碼數(shù)據(jù)帶寬要求時，將基本層的前向糾錯數(shù)據(jù)插入到視頻基本層編碼數(shù)據(jù)中，在用戶丟包率小于設定的第二丟包率閾值并且用戶帶寬滿足視頻基本層編碼數(shù)據(jù)帶寬要求時，將基本層的前向糾錯數(shù)據(jù)插入到視頻增強層編碼數(shù)據(jù)中，在用戶帶寬大于視頻基本層編碼數(shù)據(jù)帶寬要求時，將基本層的前向糾錯數(shù)據(jù)插入到視頻基本層編碼數(shù)據(jù)中或視頻增強層編碼數(shù)據(jù)中；
比例確定單元305，與糾錯插入單元相連，用于在待傳輸?shù)木幋a數(shù)據(jù)中包含視頻增強層編碼數(shù)據(jù)的情況下，根據(jù)傳輸時刻按比例傳輸各種編碼數(shù)據(jù)，例如，比例確定單元可以在傳輸?shù)钠鹗紩r刻先向用戶傳輸視頻基本層編碼數(shù)據(jù)，在傳輸?shù)那鞍攵螘r刻逐漸增大視頻增強層編碼數(shù)據(jù)的傳輸比例，在傳輸?shù)暮蟀攵螘r刻逐漸減小視頻基本層編碼數(shù)據(jù)的傳輸比例。
本說明書中各個實施例均采用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同和相似的部分可以相互參見。對于裝置實施例而言，由于其與方法實施例基本相似，所以描述的比較簡單，相關之處可以參見方法實施例部分的說明。
本發(fā)明的上述實施例通過挖掘H.264-SVC編碼技術的特點，基于媒體文件格式的封裝標準優(yōu)化了目前的視頻傳輸方式、封裝方法以及糾錯機制，使得移動視頻點播能夠最大化地適應移動網絡的不穩(wěn)定性，當網絡中斷的時候因為基本層數(shù)據(jù)已經優(yōu)先下載到了用戶端，所以仍然能夠繼續(xù)被解碼，使用戶體驗達到最優(yōu)。
最后需要指出的是，本申請不僅適用于移動網絡，還適用于任何網絡帶寬受限的系統(tǒng),例如，固定網絡。
雖然已經通過示例對本發(fā)明的一些特定實施例進行了詳細說明，但是本領域的技術人員應該理解，以上示例僅是為了進行說明，而不是為了限制本發(fā)明的范圍。本領域的技術人員應該理解，可在不脫離本發(fā)明的范圍和精神的情況下，對以上實施例進行修改。本發(fā)明的范圍由所附權利要求來限定。
權利要求
1.一種多媒體信號傳輸方法，其特征在于，包括: 對待傳輸?shù)亩嗝襟w信號進行編碼，形成音頻編碼數(shù)據(jù)、視頻基本層編碼數(shù)據(jù)和視頻增強層編碼數(shù)據(jù)； 分別對所述音頻編碼數(shù)據(jù)、所述視頻基本層編碼數(shù)據(jù)和所述視頻增強層編碼數(shù)據(jù)進行封裝； 根據(jù)反饋的用戶帶寬確定待傳輸?shù)膬热?，并根?jù)所確定的待傳輸?shù)膬热輳姆庋b后的數(shù)據(jù)中選擇待傳輸?shù)木幋a數(shù)據(jù)； 根據(jù)反饋的用戶帶寬和用戶丟包率確定前向糾錯數(shù)據(jù)的插入位置，并將所述前向糾錯數(shù)據(jù)插入到相應位置的編碼數(shù)據(jù)中； 在待傳輸?shù)木幋a數(shù)據(jù)中包含視頻增強層編碼數(shù)據(jù)的情況下，根據(jù)傳輸時刻按比例傳輸各種編碼數(shù)據(jù)。
2.根據(jù)權利要求1所述的多媒體信號傳輸方法，其特征在于，所述待傳輸?shù)膬热莅ǚ庋b后的音頻編碼數(shù)據(jù)和視頻基本層編碼數(shù)據(jù)。
3.根據(jù)權利要求2所述的多媒體信號傳輸方法，其特征在于，所述待傳輸?shù)膬热葸€包括封裝后的視頻增強層編碼數(shù)據(jù)。
4.根據(jù)權利要求1所述的多媒體信號傳輸方法，其特征在于，所述根據(jù)反饋的用戶帶寬和用戶丟包率確定前向糾錯數(shù)據(jù)的插入位置的步驟包括: 在所述用戶丟包率大于設定的第一丟包率閾值并且所述用戶帶寬滿足視頻基本層編碼數(shù)據(jù)帶寬要求時，將基本層的前向糾錯數(shù)據(jù)插入到視頻基本層編碼數(shù)據(jù)中； 在所述用戶丟包率小于設定的第二丟包率閾值并且所述用戶帶寬滿足視頻基本層編碼數(shù)據(jù)帶寬要求時，將基 本層的前向糾錯數(shù)據(jù)插入到視頻增強層編碼數(shù)據(jù)中； 在所述用戶帶寬大于視頻基本層編碼數(shù)據(jù)帶寬要求時，將基本層的前向糾錯數(shù)據(jù)插入到視頻基本層編碼數(shù)據(jù)中或視頻增強層編碼數(shù)據(jù)中。
5.根據(jù)權利要求1所述的多媒體信號傳輸方法，其特征在于，所述根據(jù)傳輸時刻按比例傳輸各種編碼數(shù)據(jù)的步驟包括: 在傳輸?shù)钠鹗紩r刻先向所述用戶傳輸視頻基本層編碼數(shù)據(jù)； 在傳輸?shù)那鞍攵螘r刻逐漸增大視頻增強層編碼數(shù)據(jù)的傳輸比例； 在傳輸?shù)暮蟀攵螘r刻逐漸減小視頻基本層編碼數(shù)據(jù)的傳輸比例。
6.根據(jù)權利要求1所述的多媒體信號傳輸方法，其特征在于，所述視頻增強層為一個或多個，在所述視頻增強層為多個時，每個視頻增強層對應于不同的分辨率和幀率。
7.一種多媒體信號傳輸裝置，其特征在于，包括: 編碼單元，用于對待傳輸?shù)亩嗝襟w信號進行編碼，形成音頻編碼數(shù)據(jù)、視頻基本層編碼數(shù)據(jù)和視頻增強層編碼數(shù)據(jù)； 封裝單元，與所述編碼單元相連，用于分別對所述音頻編碼數(shù)據(jù)、所述視頻基本層編碼數(shù)據(jù)和所述視頻增強層編碼數(shù)據(jù)進行封裝； 數(shù)據(jù)選取單元，與所述封裝單元相連，用于根據(jù)反饋的用戶帶寬確定待傳輸?shù)膬热?，并根?jù)所確定的待傳輸?shù)膬热輳姆庋b后的數(shù)據(jù)中選擇待傳輸?shù)木幋a數(shù)據(jù)； 糾錯插入單元，與所述數(shù)據(jù)選取單元相連，用于根據(jù)反饋的用戶帶寬和用戶丟包率確定前向糾錯數(shù)據(jù)的插入位置，并將所述前向糾錯數(shù)據(jù)插入到相應位置的編碼數(shù)據(jù)中；比例確定單元，與所述糾錯插入單元相連，用于在待傳輸?shù)木幋a數(shù)據(jù)中包含視頻增強層編碼數(shù)據(jù)的情況下，根據(jù)傳輸時刻按比例傳輸各種編碼數(shù)據(jù)。
8.根據(jù)權利要求7所述的多媒體信號傳輸裝置，其特征在于，所述待傳輸?shù)膬热莅ǚ庋b后的音頻編碼數(shù)據(jù)和視頻基本層編碼數(shù)據(jù)。
9.根據(jù)權利要求8所述的多媒體信號傳輸裝置，其特征在于，所述待傳輸?shù)膬热葸€包括封裝后的視頻增強層編碼數(shù)據(jù)。
10.根據(jù)權利要求7所述的多媒體信號傳輸裝置，其特征在于，所述前向糾錯數(shù)據(jù)的插入位置包括視頻基本層編碼數(shù)據(jù)和視頻增強層編碼數(shù)據(jù)。
11.根據(jù)權利要求7所述的多媒體信號傳輸裝置，其特征在于，所述比例確定單元在傳輸?shù)钠鹗紩r刻先向所述用戶傳輸視頻基本層編碼數(shù)據(jù)，在傳輸?shù)那鞍攵螘r刻逐漸增大視頻增強層編碼數(shù)據(jù)的傳輸比例，在傳輸?shù)暮蟀攵螘r刻逐漸減小視頻基本層編碼數(shù)據(jù)的傳輸比例。
12.根據(jù)權利要求7所述的多媒體信號傳輸裝置，其特征在于，所述視頻增強層為一個或多個，在所述視頻增強層為多個時，每個視頻增強層對應于不同的分辨率和幀率。
全文摘要
本發(fā)明公開了一種多媒體信號傳輸方法和裝置。其中，該方法包括對待傳輸?shù)亩嗝襟w信號進行編碼，形成音頻編碼數(shù)據(jù)、視頻基本層編碼數(shù)據(jù)和視頻增強層編碼數(shù)據(jù)；分別對音頻編碼數(shù)據(jù)、視頻基本層編碼數(shù)據(jù)和視頻增強層編碼數(shù)據(jù)進行封裝；根據(jù)反饋的用戶帶寬確定待傳輸?shù)膬热?，并根?jù)待傳輸?shù)膬热輳姆庋b后的數(shù)據(jù)中選擇待傳輸?shù)木幋a數(shù)據(jù)；根據(jù)反饋的用戶帶寬和用戶丟包率確定前向糾錯數(shù)據(jù)的插入位置，并將前向糾錯數(shù)據(jù)插入到相應位置的編碼數(shù)據(jù)中；在待傳輸?shù)木幋a數(shù)據(jù)中包含視頻增強層編碼數(shù)據(jù)的情況下，根據(jù)傳輸時刻按比例傳輸各種編碼數(shù)據(jù)。本發(fā)明在網絡抖動和丟包情況下保證視頻基本層數(shù)據(jù)優(yōu)先到達用戶端，保證點播視頻時抗網絡抖動能力達到最強。
文檔編號H04N7/26GK103139559SQ20111038951
公開日2013年6月5日 申請日期2011年11月30日 優(yōu)先權日2011年11月30日
發(fā)明者段保通, 黃石華 申請人:中國電信股份有限公司