專利名稱：用于視頻通信系統(tǒng)中的差錯(cuò)彈性和隨機(jī)接入的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻數(shù)據(jù)通信系統(tǒng)。具體地，本發(fā)明涉及在視頻會(huì)議應(yīng)用 中提供差錯(cuò)彈性和隨機(jī)訪問能力的技術(shù)。
背景技術(shù)：
通過基于分組的現(xiàn)代通信網(wǎng)絡(luò)(例如，基于網(wǎng)際協(xié)議(IP)的網(wǎng)絡(luò)) 在發(fā)送者與接收者之間提供高質(zhì)量數(shù)字視頻通信至少由于此類網(wǎng)絡(luò)上的數(shù) 據(jù)傳輸通常是以盡力為基礎(chǔ)執(zhí)行的這個(gè)事實(shí)而成為技術(shù)上的難題?，F(xiàn)代通 信網(wǎng)絡(luò)中的傳輸差錯(cuò)通常將其自身表現(xiàn)為分組丟失而非比特差錯(cuò)，后者是 早期通信系統(tǒng)中的特性。分組丟失常常是中間路由器中的擁塞的結(jié)果，而 非物理層差錯(cuò)的結(jié)果。
當(dāng)在數(shù)字視頻通信系統(tǒng)中發(fā)生傳輸差錯(cuò)時(shí)，確保接收器可從差錯(cuò)快速 恢復(fù)并返回傳入視頻信號(hào)的無(wú)差錯(cuò)顯示是很重要的。然而，在傳統(tǒng)數(shù)字視 頻通信系統(tǒng)中，接收器的穩(wěn)健性因傳入數(shù)據(jù)被嚴(yán)重壓縮以節(jié)約帶寬這個(gè)事 實(shí)而降低。此外，用在通信系統(tǒng)中的視頻壓縮技術(shù)(例如，最新編解碼器 ITU-T H.264和H.263或者ISO MPEG-2和MPEG-4編解碼器)可在連續(xù)視 頻分組或幀之間形成十分強(qiáng)的時(shí)間依存性。具體地，運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)(例如， 涉及P幀或B幀的使用)編解碼器的使用形成其中所顯示的幀依賴于先前 幀的幀依存性鏈。依存性鏈可一直擴(kuò)展到視頻序列的開頭。作為依存鏈的
結(jié)果，給定分組的丟失可影響接收器處多個(gè)連續(xù)分組的解碼。由于給定分 組的丟失而導(dǎo)致的差錯(cuò)傳播僅以"內(nèi)"(I)刷新點(diǎn)或者完全不使用任何時(shí) 間預(yù)測(cè)的幀終止。
數(shù)字視頻通信系統(tǒng)中的差錯(cuò)彈性要求在傳送信號(hào)中有至少某一級(jí)別的 冗余度。然而，這種要求與力圖消除或最小化所傳送信號(hào)中的冗余度的視 頻壓縮技術(shù)的目的相反。
在提供區(qū)分型服務(wù)的網(wǎng)絡(luò)(例如，基于區(qū)分型服務(wù)IP的網(wǎng)絡(luò)、租用線 路上的專用網(wǎng)等)上，視頻數(shù)據(jù)通信應(yīng)用可采用網(wǎng)絡(luò)特征來(lái)以無(wú)損或近似 無(wú)損的方式向接收器遞送視頻信號(hào)數(shù)據(jù)的部分或全部。然而，在未提供區(qū) 分型服務(wù)的任意盡力型網(wǎng)絡(luò)(諸如因特網(wǎng))中，數(shù)據(jù)通信應(yīng)用必須依賴其 自身的特征來(lái)實(shí)現(xiàn)差錯(cuò)彈性。在文本或字母數(shù)字?jǐn)?shù)據(jù)通信中有用的己知技
術(shù)(例如，傳輸控制協(xié)議一TCP)不適于視頻或音頻通信，這對(duì)由人類接 口需求所導(dǎo)致的較低的端對(duì)端延遲有額外的約束。例如，TCP技術(shù)可用于 文本或字母數(shù)字?jǐn)?shù)據(jù)輸送中的差錯(cuò)彈性。TCP保持重發(fā)數(shù)據(jù)直至確認(rèn)所有 數(shù)據(jù)被接收，即使其包括若干秒的延遲。然而，TCP不適用于現(xiàn)場(chǎng)或交互 式視頻會(huì)議應(yīng)用中的視頻數(shù)據(jù)輸送，因?yàn)闊o(wú)限制的端對(duì)端延遲對(duì)于參與者 而言是無(wú)法接受的。
相關(guān)的問題是隨機(jī)接入。假定接收器加入現(xiàn)行視頻信號(hào)的傳輸。典型 示例是加入視頻會(huì)話的用戶，或者調(diào)諧至廣播的用戶。此類用戶將必須在 傳入比特流中找到他/她能夠開始解碼或與編碼器同步的點(diǎn)。然而，提供這 種隨機(jī)接入點(diǎn)對(duì)壓縮效率具有相當(dāng)大的影響。注意根據(jù)定義，隨機(jī)接入 點(diǎn)是從該點(diǎn)開始任何差錯(cuò)傳播終止的差錯(cuò)彈性特征(即，其是差錯(cuò)恢復(fù)點(diǎn))。 因此，由特定編碼方案提供的隨機(jī)接入支持越好，其可提供差錯(cuò)恢復(fù)支持 越佳。逆過程可能并非總為真；其依賴于關(guān)于差錯(cuò)彈性技術(shù)已被設(shè)計(jì)成要 解決的差錯(cuò)的持續(xù)時(shí)間和范圍所作出的假設(shè)。對(duì)于差錯(cuò)彈性，某些狀態(tài)信 息可被假定為在接收器處發(fā)生差錯(cuò)時(shí)可用。
視頻通信系統(tǒng)中差錯(cuò)彈性的一方面涉及對(duì)壓縮效率具有相當(dāng)大的影響 的隨機(jī)接入(例如，當(dāng)接收方加入現(xiàn)行視頻信號(hào)的傳輸時(shí))。例如，隨機(jī) 接入的實(shí)例是加入視頻會(huì)議的用戶，或者調(diào)諧至廣播的用戶。這樣的用戶 將必須在傳入比特流信號(hào)中尋找開始解碼或要與編碼器同步的合適的點(diǎn)。 隨機(jī)接入點(diǎn)是從該點(diǎn)開始任何傳播差錯(cuò)終止的有效的差錯(cuò)彈性特征(或差 錯(cuò)恢復(fù)點(diǎn))。因此，提供良好的隨機(jī)接入支持的特定編碼方案通常具有提 供較快速差錯(cuò)恢復(fù)的差錯(cuò)彈性技術(shù)。然而，逆過程依賴于關(guān)于差錯(cuò)彈性技 術(shù)被設(shè)計(jì)要解決的差錯(cuò)的持續(xù)時(shí)間和范圍的特定假設(shè)。差錯(cuò)彈性技術(shù)可假 定某些狀態(tài)信息在接收器處發(fā)生差錯(cuò)時(shí)可用。在此情形中，差錯(cuò)彈性技術(shù) 不確保良好的隨機(jī)接入支持。
在用于數(shù)字電視系統(tǒng)(數(shù)字電纜TV或衛(wèi)星TV)的MPEG-2視頻編解 碼器中，以周期間隔(通常為0.5秒)使用I畫面來(lái)實(shí)現(xiàn)快速切換成流。然 而，I畫面顯著大于其P或B對(duì)應(yīng)物(通常大3到6倍)，并由此被避免使 用，在低帶寬和/或低延遲應(yīng)用中尤其如此。
在諸如視頻會(huì)議的交互式應(yīng)用中，請(qǐng)求幀內(nèi)更新的概念通常被用于差 錯(cuò)彈性。在操作中，更新涉及從接收方對(duì)發(fā)送方的、關(guān)于使得解碼器被同 步的內(nèi)畫面?zhèn)鬏數(shù)恼?qǐng)求。此操作的帶寬開銷是顯著的。另外，當(dāng)分組差錯(cuò) 發(fā)生時(shí)，也存在此開銷。如果分組丟失是由擁塞導(dǎo)致的，則使用內(nèi)畫面只 會(huì)惡化擁塞問題。
另一種用于差錯(cuò)穩(wěn)健性的傳統(tǒng)技術(shù)——在過去用于減輕由IDCT實(shí)現(xiàn) (例如，在H.261標(biāo)準(zhǔn)中)中的失配而導(dǎo)致的漂移——是周期性地編碼每 個(gè)宏塊幀內(nèi)模式。H.261標(biāo)準(zhǔn)要求每132次強(qiáng)制幀內(nèi)編碼傳送一宏塊。
隨著強(qiáng)制要被編碼為給定幀中幀內(nèi)的宏塊的百分比的增大，編碼效率 下降。相反，當(dāng)此百分比較低時(shí)，從分組丟失恢復(fù)的時(shí)間增加。強(qiáng)制幀內(nèi) 編碼過程要求額外的精力以避免運(yùn)動(dòng)相關(guān)漂移，該漂移由于必須避免某些 運(yùn)動(dòng)矢量值——即使它們是最有效的——而進(jìn)一步限制了編碼器的性能。
除傳統(tǒng)之外，單層編解碼器、分層或可縮放編碼是多媒體數(shù)據(jù)編碼中 的公知技術(shù)?？煽s放編碼用于生成以帶寬效率方式共同代表給定媒體的兩 個(gè)或多個(gè)"經(jīng)縮放"比特流?？煽s放性可以多個(gè)維度——即時(shí)間、空間和 質(zhì)量(也稱為SNR "信噪比"可縮放性)——來(lái)提供。例如，視頻信號(hào)可 以CIF或QCIF分辨率且每秒7.5、 15和30幀(fps)的幀速率下的不同層 來(lái)可縮放地編碼。取決于編解碼器的結(jié)構(gòu)，空間分辨率和幀速率的任何組
合可從編解碼器比特流獲得。與不同層相對(duì)應(yīng)的比特可作為單獨(dú)的比特流 傳送(即，每層一個(gè)流)或它們可在一個(gè)或多個(gè)比特流中被復(fù)用在一起。 為了便于本文的描述，與給定層相對(duì)應(yīng)的經(jīng)編碼比特可稱為該層的比特流， 即使各個(gè)層被復(fù)用且在單個(gè)比特流中傳送。專門設(shè)計(jì)成提供可縮放特征的
編解碼器包括例如MPEG-2 (也稱為ITU-T H.262的ISO/IEC 13818-2)和 目前開發(fā)的SVC(稱為ITU-T H.264 Annex G或MPEG-4第10部分SVC )。 在共同轉(zhuǎn)讓國(guó)際專利申請(qǐng)No. PCT/US06/028365——"SYSTEM AND METHOD FOR SCALABLE AND LOW-DELAY VIDEOCONFERENCING USING SCALABLE VIDEO CODING (用于使用可縮放視頻編碼的可縮放 和低延遲視頻會(huì)議的系統(tǒng)和方法)"——中描述了為視頻通信專門設(shè)計(jì)的 可縮放編碼技術(shù)。注意，即使并非專門設(shè)計(jì)成可縮放的編解碼器也可以時(shí) 間維度呈現(xiàn)可縮放性的特性。例如，考慮DVD和數(shù)字TV環(huán)境中使用的非 可縮放編解碼器——MPEG-2 Main Profile (主型)編解碼器。此外，假定 以30 fps操作的編解碼器以及使用IBBPBBPBBPBBPBB (周期N45幀) 的GOP結(jié)構(gòu)。通過連續(xù)消除B畫面，接著消除P畫面，得到總共三個(gè)時(shí)間 分辨率——30 fps (包括所有畫面類型)、10 fps (僅有I和P)以及2 fps (僅有I)——是可能的。連續(xù)消除過程導(dǎo)致可解碼的比特流，因?yàn)镸PEG-2 Main Profile編解碼器被設(shè)計(jì)成使得P畫面的編碼不依賴于B畫面，并且類 似的I畫面的編碼不依賴于其它P或B畫面。在以下，具有時(shí)間可縮放特 征的單層編解碼器被認(rèn)為是可縮放視頻編碼的特例，因此被包括在術(shù)語(yǔ)可 縮放視頻編碼，除非另外明確指明。
可縮放編解碼器通常具有錐形比特流結(jié)構(gòu)，其中組成比特流之一 (稱 為"基層")在恢復(fù)某種基本質(zhì)量的原始媒體時(shí)是必需的。連同基層一起 使用一個(gè)或多個(gè)剩余比特流(稱為"增強(qiáng)層")提升了所恢復(fù)媒體的質(zhì)量。 增強(qiáng)層中的數(shù)據(jù)丟失是容許的，但是基層中的數(shù)據(jù)丟失會(huì)導(dǎo)致所恢復(fù)媒體 的顯著畸變或完全失敗。
可縮放編解碼器提出了類似于由單層編解碼器針對(duì)差錯(cuò)彈性和隨機(jī)接 入所提出的那些挑戰(zhàn)。然而，可縮放編解碼器的編碼結(jié)構(gòu)具有單層視頻編 解碼器中不存在的獨(dú)特特性。此外，與單層編碼不同，可縮放編碼可能涉
及從一個(gè)可縮放性層切換到另一個(gè)(例如，在CIF與QCIF分辨率之間來(lái) 回切換)。
聯(lián)播是用于視頻會(huì)議的編碼解決方案，它不如可縮放視頻編碼復(fù)雜但 具有后者的優(yōu)點(diǎn)中的某些。在聯(lián)播中，兩個(gè)不同版本的源被編碼(例如， 以兩種不同空間分辨率)并傳送。每個(gè)版本是獨(dú)立的，因?yàn)槠浣獯a并不依 賴于另一版本的接收。類似于可縮放和單層編碼，聯(lián)播提出了類似的隨機(jī) 接入和穩(wěn)健性問題。在下文中，聯(lián)播被認(rèn)為是可縮放編碼(其中不執(zhí)行層 間預(yù)測(cè))的特例，并且兩者皆簡(jiǎn)稱為可縮放視頻編碼技術(shù)，除非另外明確 指明。
現(xiàn)在針對(duì)改進(jìn)對(duì)視頻通信系統(tǒng)中經(jīng)編碼比特流的差錯(cuò)彈性和隨機(jī)接入 能力作出考慮。關(guān)注開發(fā)對(duì)由端對(duì)端延遲和系統(tǒng)所用的帶寬具有最小影響 的差錯(cuò)彈性和隨機(jī)接入技術(shù)。合需的差錯(cuò)彈性和隨機(jī)接入技術(shù)將可應(yīng)用于 可縮放和單層視頻編碼兩者。
發(fā)明概述
本發(fā)明提供了用于在基于單層以及可縮放視頻編碼的視頻通信系統(tǒng)中 提升差錯(cuò)彈性并提供隨機(jī)接入能力的系統(tǒng)和方法。
在第一示例性實(shí)施例中，本發(fā)明提供了一種用于在不增加端對(duì)端延遲 的情況下可靠地傳送經(jīng)編碼的視頻信號(hào)的最低或單個(gè)時(shí)間層的全部或部 分，并在隨后使用它來(lái)從分組丟失中恢復(fù)的機(jī)制。提供特定技術(shù)以通過RTP 以及在使用H.264 Annex G (SVC) NAL單元時(shí)進(jìn)行傳送。
在第二示例性實(shí)施例中，本發(fā)明提供了一種使用基于服務(wù)器的內(nèi)幀來(lái) 可靠地傳送經(jīng)編碼的視頻信號(hào)的最低或單個(gè)時(shí)間層，并隨后在不會(huì)不利地 影響其它接收器的情況下使用它來(lái)使特定接收器從分組丟失中恢復(fù)的機(jī) 制。
在第三示例性實(shí)施例中，本發(fā)明提供了一種通過以精心協(xié)調(diào)的方式使 用內(nèi)宏塊編碼使得從單層或可縮放視頻編碼的分組丟失中恢復(fù)成為可能的 機(jī)制。
在第四示例性實(shí)施例中，本發(fā)明提供了一種收集和聚集來(lái)自一個(gè)或多
個(gè)接收方的反饋以便任選地選擇畫面參考幀以及分配內(nèi)宏塊的機(jī)制。
在第五示例性實(shí)施例中，本發(fā)明提供了一種通過使用來(lái)自低分辨率空
間層的信息來(lái)從高分辨率空間可縮放層的分組丟失中恢復(fù)的機(jī)制。
此外，在第六示例性實(shí)施例中，本發(fā)明提供了一種在很少的延遲或沒
有延遲的情況下從低空間或質(zhì)量分辨率切換到高空間或質(zhì)量分辨率的機(jī)制。
通過與速率-失真最優(yōu)化量化器以及運(yùn)動(dòng)模式和矢量選擇相耦合，這些 實(shí)施例在或者獨(dú)立或者相互組合的情況下允許構(gòu)建具有高穩(wěn)健性和較小帶 寬開銷的十分有效的視頻通信系統(tǒng)。
本文的描述說(shuō)明了如何使用這些技術(shù)來(lái)實(shí)現(xiàn)對(duì)給定視頻系統(tǒng)的隨機(jī)接 入，以及藉由其接收器——無(wú)需對(duì)較低層進(jìn)行完全解碼——就可使用來(lái)自 所述較低層的信息來(lái)有效地重構(gòu)較高層的高空間分辨率數(shù)據(jù)的機(jī)制。 本發(fā)明利用可縮放視頻編碼技術(shù)的特定屬性來(lái)最小化對(duì)端對(duì)端延遲和帶寬
的影響。在諸如通過端對(duì)端要求苛刻(端對(duì)端的最大值為200 ms)以及分 組丟失率會(huì)很嚴(yán)重(即，較低的平均分組丟失率但有較長(zhǎng)的突發(fā))的IP網(wǎng) 絡(luò)的視頻會(huì)議的通信應(yīng)用中，本發(fā)明尤其有用。
一旦適當(dāng)?shù)剡x擇畫面編碼結(jié)構(gòu)和傳輸模式，本發(fā)明的技術(shù)就使得在極 小的帶寬開銷的情況下允許接近即時(shí)地進(jìn)行層切換成為可能。
附圖簡(jiǎn)述


圖1是示出根據(jù)本發(fā)明原理的用于遞送可縮放的經(jīng)編碼視頻數(shù)據(jù)的示例 性視頻會(huì)議系統(tǒng)的框圖2是示出根據(jù)本發(fā)明原理的與單層視頻編碼的使用相兼容的示例性最 終用戶終端的框圖3是示出根據(jù)本發(fā)明原理的與可縮放或聯(lián)播編碼的使用相兼容的示例 性最終用戶終端的框圖4是示出根據(jù)本發(fā)明原理的多點(diǎn)SVCS的內(nèi)部交換結(jié)構(gòu)的框圖5是示出SVCS的操作原理的框圖6是示出根據(jù)本發(fā)明原理的示例性視頻編碼器的結(jié)構(gòu)的框圖7是示出根據(jù)本發(fā)明原理的用于編碼基層和時(shí)間增強(qiáng)層的視頻編碼器 的示例性架構(gòu)的框圖8是示出根據(jù)本發(fā)明原理的用于空間增強(qiáng)層的視頻編碼器的示例性架 構(gòu)的框圖9是示出根據(jù)本發(fā)明原理的示例性分層畫面編碼結(jié)構(gòu)的框圖； 圖10是示出根據(jù)本發(fā)明原理的另一示例性分層畫面編碼結(jié)構(gòu)的框圖； 圖11是示出根據(jù)本發(fā)明原理的包括時(shí)間和空間可縮放性的示例性畫面編 碼結(jié)構(gòu)的框圖12是示出根據(jù)本發(fā)明原理的用于差錯(cuò)彈性視頻通信的示例性分層畫面 編碼結(jié)構(gòu)的框圖13是示出根據(jù)本發(fā)明原理的具有空間/質(zhì)量可縮放性的用于差錯(cuò)彈性視 頻通信的示例性分層畫面編碼結(jié)構(gòu)的框圖14是示出根據(jù)本發(fā)明原理的用于使用肯定確認(rèn)進(jìn)行LR畫面的可靠遞 送的通信協(xié)議的操作的時(shí)序圖15是示出根據(jù)本發(fā)明原理的用于使用否定確認(rèn)進(jìn)行的LR畫面的可靠 遞送的通信協(xié)議的操作的時(shí)序圖16是示出根據(jù)本發(fā)明原理的、當(dāng)R分組技術(shù)被用于通過RTP傳輸時(shí)傳 送終端的LRP發(fā)送模塊的示例性架構(gòu)的框圖17是示出根據(jù)本發(fā)明原理的、當(dāng)R分組技術(shù)被用于通過RTP傳輸時(shí)接 收終端的LPR接收模塊的示例性架構(gòu)的框圖18是示出根據(jù)本發(fā)明原理的、當(dāng)R分組技術(shù)被用于通過RTP傳輸時(shí)服 務(wù)器的LRP發(fā)送和接收模塊的示例性架構(gòu)的框圖19示出根據(jù)本發(fā)明原理的用于RTP分組的命名RTP報(bào)頭擴(kuò)展的示例 性結(jié)構(gòu)；
圖20示出根據(jù)本發(fā)明原理的RNACK分組的反饋控制信息字段的示例性
結(jié)構(gòu)；
圖21示出現(xiàn)有技術(shù)系統(tǒng)中在發(fā)生分組丟失時(shí)H.264 SVC解碼器如何達(dá)到 非正確狀態(tài)；
圖22示出目前針對(duì)現(xiàn)有技術(shù)系統(tǒng)定義的H.264 SVCNAL報(bào)頭擴(kuò)展；
圖23示出根據(jù)本發(fā)明原理的具有幀索引的經(jīng)更改H.264 SVCNAL報(bào)頭擴(kuò) 展定義；
圖24示出根據(jù)本發(fā)明原理的、幀索引位于報(bào)頭的擴(kuò)展中的經(jīng)更改H.264 SVCNAL報(bào)頭擴(kuò)展定義；
圖25示出根據(jù)本發(fā)明原理的用于快速轉(zhuǎn)發(fā)內(nèi)恢復(fù)的示例性切片編碼結(jié)
構(gòu)；
圖26示出根據(jù)本發(fā)明原理的快速轉(zhuǎn)發(fā)內(nèi)恢復(fù)可如何結(jié)合SR (增強(qiáng)層)畫 面使用；
貫穿附圖中相同附圖標(biāo)記用于指代所例示的實(shí)施例的類似特征、元件、組 件或部分，除非另外聲明。此外，現(xiàn)在參照附圖詳細(xì)描述本發(fā)明是結(jié)合示例性 實(shí)施例進(jìn)行的。
本發(fā)明的詳細(xì)描述
本發(fā)明提供了用于視頻通信系統(tǒng)中差錯(cuò)彈性和隨機(jī)接入的系統(tǒng)和方法。這
些機(jī)制與可在視頻通信系統(tǒng)中使用的具有時(shí)間可縮放性的可縮放編碼技術(shù)以 及單層和聯(lián)播視頻編碼相兼容。
這些系統(tǒng)和方法涉及在視頻信號(hào)傳輸中指定一組視頻幀或畫面來(lái)向接收 方可靠或有保證地遞送。指定組視頻幀的可靠遞送可通過使用安全或高可靠性
的鏈路、或通過重傳技術(shù)來(lái)實(shí)現(xiàn)?？煽窟f送的視頻幀被用作參考畫面用于使接 收器在差錯(cuò)發(fā)生或隨機(jī)接入之后與所傳送視頻信號(hào)重新同步。
在優(yōu)選實(shí)施例中，示例性視頻通信系統(tǒng)可以是在基于分組的網(wǎng)絡(luò)上操作的 多點(diǎn)視頻會(huì)議系統(tǒng)IO。(參看例如圖l)。多點(diǎn)視頻會(huì)議系統(tǒng)可包括任選網(wǎng)橋 120a和120b(例如，多點(diǎn)控制單元(MCU)或可縮放視頻通信服務(wù)器(SVCS)) 以協(xié)調(diào)網(wǎng)絡(luò)上的端點(diǎn)(例如，用戶l-k和l-m)之間的可縮放多層或單層視頻 通信。對(duì)于結(jié)合或不結(jié)合任選網(wǎng)橋120a和120b使用的點(diǎn)對(duì)點(diǎn)連接而言，示例 性視頻通信系統(tǒng)的操作是相同的且是有益的。
在共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)No. PCT/US06/28365- "SYSTEM AND
METHOD FOR SCALABLE AND LOW-DELAY VIDEOCONFERENCING USING SCALABLE VIDEO CODING (用于使用可縮放視頻編碼的可縮放和低
延遲視頻會(huì)議的系統(tǒng)和方法)"以及No. PCT/US06/28366——"SYSTEM AND METHOD FOR A CONFERENCE SERVER ARCHITECTURE FOR LOW DELAY AND DISTRIBUTED CONFERENCING APPLICATIONS (用于低延遲 和分布式會(huì)議應(yīng)用的會(huì)議服務(wù)器架構(gòu)的系統(tǒng)和方法)"中提供了基于可縮放視 頻編碼的可縮放視頻編碼技術(shù)和視頻會(huì)議系統(tǒng)的詳細(xì)描述。此外，在2005年 12月22日提交的美國(guó)臨時(shí)專利申請(qǐng)No. 60,753,343——"COMPOSITING SCALABLE VIDEO CONFERENCE SERVER (合成可縮放視頻會(huì)議服務(wù)器)" 中提供了基于可縮放視頻編碼的可縮放視頻編碼技術(shù)和視頻會(huì)議系統(tǒng)的描述。 所有前述國(guó)際和美國(guó)臨時(shí)專利申請(qǐng)皆通過引用全部結(jié)合于此。
圖1示出了視頻會(huì)議系統(tǒng)10的一般結(jié)構(gòu)。視頻會(huì)議系統(tǒng)IO包括經(jīng)由LAN 1和2鏈接在網(wǎng)絡(luò)100上的多個(gè)最終用戶終端(例如，用戶1-k和用戶1-m) 和服務(wù)器120a和120b。服務(wù)器可以是傳統(tǒng)MCU，或者可縮放視頻編碼服務(wù)器 (SVCS)或合成可縮放視頻編碼服務(wù)器(CSVCS)。后者服務(wù)器具有與傳統(tǒng) MCU相同的用途，但是具有顯著減小的復(fù)雜度和改進(jìn)的功能。(參看例如國(guó) 際專利申請(qǐng)No. PCT/US06/28366)以及2005年12月22日提交的美國(guó)臨時(shí)專 利申請(qǐng)No. 60/753,343。在本文的描述中，術(shù)語(yǔ)"服務(wù)器"可用于統(tǒng)指或者SVCS 或者CSVCS 。
圖2示出被設(shè)計(jì)成與基于單層編碼的視頻會(huì)議系統(tǒng)(例如，系統(tǒng)10) — 起使用的最終用戶終端10的架構(gòu)。圖3示出被設(shè)計(jì)成與基于多層編碼的視頻 會(huì)議系統(tǒng)(例如，系統(tǒng)10) —起使用的最終用戶終端140的架構(gòu)。終端140 包括人機(jī)輸入/輸出設(shè)備(例如，相機(jī)210A、話筒210B、視頻顯示器250C、 揚(yáng)聲器250D)，以及耦合至輸入和輸出信號(hào)復(fù)用器和分用器單元(例如，分 組MUX220A和分組DMUX220B)的一個(gè)或多個(gè)網(wǎng)絡(luò)接口控制器卡(NIC) 230。 NIC 230可以是標(biāo)準(zhǔn)硬件組件，諸如以太網(wǎng)LAN適配器或任何其它合適 的網(wǎng)絡(luò)接口設(shè)備或者其組合。
相機(jī)210A和話筒210B被設(shè)計(jì)成分別捕捉參與者的視頻和音頻信號(hào)以傳 輸給其他會(huì)議參與者。相反，視頻顯示器250C和揚(yáng)聲器250D被設(shè)計(jì)成分別 顯示和回放從其他參與者接收到的視頻和音頻信號(hào)。視頻顯示器250C也被配 置成任選地顯示參與者/終端140自身的視頻。相機(jī)210A和話筒210B輸出分
別經(jīng)由模數(shù)轉(zhuǎn)換器210E和210F耦合到視頻和音頻編碼器210G和210H。視 頻和音頻編碼器210G和210H被設(shè)計(jì)成壓縮輸入視頻和音頻數(shù)字信號(hào)以減小 在電子通信網(wǎng)絡(luò)上傳輸信號(hào)所需的帶寬。輸入視頻信號(hào)可以是實(shí)況或預(yù)先錄制 和存儲(chǔ)的視頻信號(hào)。編碼器壓縮本地?cái)?shù)字信號(hào)以使傳輸信號(hào)所需的帶寬最小 化。
在本發(fā)明的示例性實(shí)施例中，音頻信號(hào)可用本領(lǐng)域中已知的任何合適的技 術(shù)(例如，G.711、 G.729、 G.729EV、 MPEG-1等)來(lái)編碼。在本發(fā)明的優(yōu)選 實(shí)施例中，可縮放音頻編解碼器G.729EV被音頻編碼器210G用來(lái)編碼音頻信 號(hào)。音頻編碼器210G的輸出被發(fā)送到復(fù)用器MUX220A以經(jīng)由NIC 230通過 網(wǎng)絡(luò)100傳輸。
分組MUX 220A可使用RTP協(xié)議執(zhí)行傳統(tǒng)復(fù)用。分組MUX 220A也可執(zhí) 行可由網(wǎng)絡(luò)IOO提供的任何相關(guān)服務(wù)質(zhì)量(QoS)處理。來(lái)自終端140的每個(gè) 數(shù)據(jù)流在其自身的虛擬信道或IP技術(shù)中的"端口號(hào)"中傳送。
圖3示出被配置成與其中使用可縮放或聯(lián)播視頻編碼的視頻會(huì)議系統(tǒng)一 起使用的最終用戶終端140。在此情形中，視頻編碼器210G具有多個(gè)輸出。 圖3示出例如標(biāo)示為"基"和"增強(qiáng)"的兩個(gè)層輸出。終端140的輸出(例如， 單層輸出(圖2)或多層輸出(圖3))經(jīng)由LRP處理模塊270A連接到分組 MUX220A。 LRP處理模塊270A (和模塊270B)被設(shè)計(jì)成通過處理特定類型 的幀(例如，圖12和13中的"R"幀)以及諸如視頻序列報(bào)頭數(shù)據(jù)的需要可 靠傳輸?shù)娜魏纹渌畔⒌膫鬏攣?lái)進(jìn)行差錯(cuò)彈性通信("差錯(cuò)彈性LRP操作")。 如果視頻編碼器210G產(chǎn)生一個(gè)以上的增強(qiáng)層輸出，則增強(qiáng)層輸出的每一個(gè)可 以與圖3中所示的相同的方式連接到LRP處理模塊270A。類似地，在此情形 中，附加增強(qiáng)層將經(jīng)由LRP處理模塊270B提供給視頻編碼器230A。或者， 增強(qiáng)層輸出的一個(gè)或多個(gè)可直接連接到分組MUX 220A，而非經(jīng)由LRP處理 模塊270A。
終端140還可配有一組視頻和音頻解碼器對(duì)230A和230B，其中每一對(duì) 對(duì)應(yīng)于在視頻會(huì)議中終端140處可看到或聽到的每個(gè)參與者。應(yīng)當(dāng)理解，盡管 在圖2和3中示出解碼器230A和230B的若干實(shí)例，但是使用單個(gè)解碼器對(duì) 230A和230B來(lái)連續(xù)處理來(lái)自多個(gè)參與者的信號(hào)是可能的。因此，終端140可
配有單個(gè)解碼器對(duì)230A和230B或比參與者的數(shù)目少的解碼器對(duì)230A和 230B。
音頻解碼器230B的輸出被連接到混音器240，后者又與驅(qū)動(dòng)揚(yáng)聲器250B 的數(shù)模轉(zhuǎn)換器(DA/C) 250A連接?；煲羝鲗⒏鱾€(gè)信號(hào)組合成用于回放的單個(gè) 輸出信號(hào)。如果到達(dá)的音頻信號(hào)是預(yù)先混合的，則可能不需要混音器240。類 似地，視頻解碼器230A的輸出可經(jīng)由合成器260在視頻顯示器250C的幀緩 沖器250B中被組合。合成器260被設(shè)計(jì)成將每個(gè)經(jīng)解碼的畫面置于輸出畫面 顯示的適當(dāng)區(qū)域。例如，如果顯示器被劃分成四個(gè)較小的區(qū)域，則合成器260 從視頻解碼器230A的每一個(gè)處獲得像素?cái)?shù)據(jù)并將其放置在適當(dāng)?shù)膸彌_器位 置(例如，通過填充右下方的畫面)。為了避免雙重緩沖(例如， 一次在解碼 器230A的輸出以及一次在幀緩沖器250B)，合成器260可被實(shí)現(xiàn)為驅(qū)動(dòng)解碼 器230A的輸出像素的放置的地址生成器。用于最優(yōu)化各個(gè)視頻輸出對(duì)顯示器 250C的放置的其它技術(shù)也可用于類似效果。
例如，在H.264標(biāo)準(zhǔn)規(guī)范中，通過使用靈活宏塊排序(FMO)方案將多 個(gè)參與者的視圖組合在單個(gè)經(jīng)編碼的畫面中是可能的。在此方案中，每個(gè)參與 者占用經(jīng)編碼圖像的一部分——包括其切片之一。在概念上，單個(gè)解碼器可用 于解碼所有參與者的信號(hào)。然而，從實(shí)踐角度看來(lái)，接收器/終端將必須解碼四 個(gè)較小的獨(dú)立編碼的切片。因此，圖2和3中所示具有解碼器230A的終端140 可用在H.264規(guī)范的應(yīng)用中。注意用于轉(zhuǎn)發(fā)切片的服務(wù)器是CSVCS。
在終端140中，分用器DMUX220B接收來(lái)自NIC 320的分組并經(jīng)由接收 LRP模塊270B將它們重定向到適當(dāng)?shù)慕獯a器單元230A，如圖2和圖3中所示。 視頻解碼器230A的輸入處的LRP模塊270B終止接收終端的那一端處的差錯(cuò) 彈性LRP操作(圖12和13)。
MCU或服務(wù)器控制塊280協(xié)調(diào)服務(wù)器(SVCS/CSVCS)與最終用戶終端 之間的交互。在沒有中間服務(wù)器的點(diǎn)對(duì)點(diǎn)通信系統(tǒng)中，不需要服務(wù)器控制塊。 類似地，在非會(huì)議應(yīng)用中，在接收最終用戶終端處僅需要單個(gè)解碼器。對(duì)于涉 及所存儲(chǔ)的視頻(例如，預(yù)先錄制的廣播、預(yù)先編碼的材料)的應(yīng)用中，傳送 最終用戶終端可不涉及音頻和視頻編碼塊或它們之前的所有終端塊(例如，相 機(jī)、話筒等)的整體功能。具體地，僅需要提供如下所說(shuō)明的、與視頻分組的
選擇性傳輸有關(guān)的部分。
應(yīng)當(dāng)理解，終端140的各個(gè)組件可以是彼此互聯(lián)的、物理上單獨(dú)的軟件和 硬件設(shè)備或單元(例如，集成在個(gè)人計(jì)算機(jī)中)，或者可以是其任何組合。
圖4示出用于差錯(cuò)彈性處理應(yīng)用中的示例性SVCS 400的結(jié)構(gòu)。SVCS 400 的核心是確定來(lái)自每一個(gè)可能源的哪個(gè)分組被傳送到哪個(gè)目的地和通過什么 信道的交換機(jī)410。(參見例如PCT/US06/028366)。
示例性SVCS 400的操作原理可參照?qǐng)D5來(lái)理解。在此示例中，傳送終端 或端點(diǎn)處的SVC編碼器510產(chǎn)生除多個(gè)時(shí)間層(未在圖中示出)之外的三個(gè) 空間層。各個(gè)經(jīng)編碼的視頻層在各個(gè)分組中自傳送端點(diǎn)(SVC編碼器)傳送到 SVCS400。取決于網(wǎng)絡(luò)條件或用戶偏好，SVCS 400決定哪個(gè)分組要被轉(zhuǎn)發(fā)到 所示三個(gè)接收方/解碼器520的每一個(gè)。在圖5所示示例中，SVCS400僅將第 一和第二空間層轉(zhuǎn)發(fā)到SVC解碼器520(0)、將所有三個(gè)空間層轉(zhuǎn)發(fā)到SVC解 碼器520(1)、以及僅將第一 (基)層轉(zhuǎn)發(fā)到SVC解碼器520(2)。
再次參看圖4，除PCT/US06/028366中描述的交換機(jī)之外，SVCS 400還 包括分別設(shè)置在交換機(jī)的輸入和輸出處的LRP單元470A和470B。 SVCS 400 被配置成在其傳入交換機(jī)連接處終止彈性LRP處理，以及在其傳出交換機(jī)連 接處發(fā)起彈性LRP處理。在使用SVCS 400的本發(fā)明的實(shí)現(xiàn)中，差錯(cuò)彈性LRP 處理并非在網(wǎng)絡(luò)上端對(duì)端地執(zhí)行，而是僅在每個(gè)單獨(dú)的連接段(例如，發(fā)送方 到SVCS、 SVCS到SVCS以及SVCS到接收方)上執(zhí)行。然而，應(yīng)當(dāng)理解， 本發(fā)明的差錯(cuò)彈性LRP處理可在使用或不使用SVCS的情況下以端對(duì)端方式 在網(wǎng)絡(luò)上執(zhí)行。沒有LRP單元470A和470B的SVCS 400可在使用SVCS的 網(wǎng)絡(luò)中用于端對(duì)端LRP處理。此外，SVCS 400可配備有一個(gè)以上NIC 230， 如果SVCS400通過不同網(wǎng)絡(luò)連接用戶，則通常是這種情形。
圖6示出可用于差錯(cuò)彈性視頻通信系統(tǒng)中的示例性視頻編碼器600的架 構(gòu)。視頻編碼器600可例如是基于塊的經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)霓D(zhuǎn)換編碼器。H.264/ MPEG-4 AVC設(shè)計(jì)是視頻編碼器600的優(yōu)選設(shè)計(jì)。然而，也可使用其它編解碼 器設(shè)計(jì)。例如，圖7示出用于編碼基于SVC設(shè)計(jì)的基層和時(shí)間增強(qiáng)層的示例 性視頻編碼器600'的架構(gòu)，而圖8示出用于編碼空間增強(qiáng)層的示例性視頻編碼 器600"的架構(gòu)。(參見例如PCT/US06/28365禾B PCT/US06/028366)。 視頻
編碼器600'和600"包括可用于使用空間可縮放性降低系統(tǒng)中的輸入分辨率(例 如，從CIF到CIF)的任選輸入下釆樣器640。
圖6還示出可使用視頻編碼器600實(shí)現(xiàn)的編碼過程。編碼器600中的增強(qiáng) 參考控制(ENCREF CONTROL) 620用于創(chuàng)建"線程化"編碼結(jié)構(gòu)。(參見 例如PCT/US06/28365和PCT/US06/028366)?；跇?biāo)準(zhǔn)塊的經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)木?解碼器基于I、 P和B畫面的常規(guī)結(jié)構(gòu)。例如，在諸如IBBPBBP的畫面序列(按 顯示次序)中，<P'幀是從前一P幀或I幀預(yù)測(cè)的，而B畫面是使用前一以 及后一 P或I幀兩者來(lái)預(yù)測(cè)的。盡管連續(xù)的I或P畫面之間的B畫面的數(shù)目如 同I畫面出現(xiàn)的速率一樣可變化，但是例如P畫面不可能用作在時(shí)間上比最近 的P畫面早的另一 P畫面的參考。H.264是個(gè)例外，因?yàn)榫幋a器和解碼器保 持兩個(gè)參考畫面列表。選擇哪些畫面用作參考以及哪些參考用于要被編碼的特 定畫面是可能的。圖6中的幀緩沖器塊610代表存儲(chǔ)參考畫面列表的存儲(chǔ)器， 而編碼器側(cè)的增強(qiáng)參考控制620決定對(duì)當(dāng)前畫面使用哪些參考畫面。
參照示出示例性分層畫面編碼結(jié)構(gòu)900的圖9可更好地理解增強(qiáng)參考控制 520的操作。為了實(shí)現(xiàn)多個(gè)時(shí)間分辨率，用于視頻通信系統(tǒng)中的編解碼器可生 成多個(gè)單獨(dú)的畫面"線程"。給定級(jí)的線程被定義為使用或者來(lái)自相同線程的 畫面、或者來(lái)自較低級(jí)線程的畫面來(lái)進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)漠嬅嫘蛄?。線程的使用允 許實(shí)現(xiàn)時(shí)間可縮放性，因?yàn)榭上ト魏螖?shù)目的頂級(jí)線程而不影響其余線程的解 碼過程。
在本發(fā)明的優(yōu)選實(shí)施例中，使用具有一組三個(gè)線程的編碼結(jié)構(gòu)(例如，圖 9中的結(jié)構(gòu)900)。在圖9中，畫面標(biāo)志中的字母'L，指示任何可縮放層。L之 后的數(shù)字(0、 1和2)標(biāo)識(shí)時(shí)間層，例如，其中"0"對(duì)應(yīng)于最低、或最粗糙 的時(shí)間層，而"2"對(duì)應(yīng)于最高或最細(xì)的時(shí)間層。圖9中所示的箭頭指示預(yù)測(cè) 的方向、源和目標(biāo)。在多數(shù)應(yīng)用中，將僅使用P畫面，因?yàn)槭褂肂畫面增加編 碼延遲達(dá)捕捉和編碼用于B畫面的參考畫面所占用的時(shí)間。然而，在并非延遲 敏感的應(yīng)用中，可能除LO畫面之外，畫面的一部分或全部可以是B畫面。類 似的，LO畫面可以是形成傳統(tǒng)畫面組(GOP)的I畫面。
繼續(xù)參看圖9，層L0僅是相隔四個(gè)畫面的常規(guī)P畫面序列。層Ll具有與 LO相同的幀速率，但是僅允許根據(jù)前一LO幀進(jìn)行預(yù)測(cè)。層L2幀是根據(jù)最近
的L0或L1幀預(yù)測(cè)的。LO提供完全時(shí)間分辨率的四分之一 (1:4) ， Ll是L0 幀速率的兩倍(1:2)，而L2是L0+L1幀速率的兩倍(1:1)。
可在設(shè)計(jì)成適應(yīng)本發(fā)明的特定實(shí)現(xiàn)的不同帶寬/可縮放性要求的編碼結(jié)構(gòu) 中類似地構(gòu)造比以上討論的三個(gè)層LO、 Ll和L2更多或更少的層。圖10示出 在僅有兩個(gè)層L0和L1的線程化編碼結(jié)構(gòu)IOOO中轉(zhuǎn)換一系列傳統(tǒng)預(yù)測(cè)幀IPPP... 的示例。此外，圖11示出用于空間可縮放性的線程化編碼結(jié)構(gòu)1100的示例。 編碼結(jié)構(gòu)IIOO包括由字母'S'指示的用于增強(qiáng)層的線程。應(yīng)當(dāng)注意，增強(qiáng)層的 幀可具有與基層的幀不同的線程結(jié)構(gòu)。
用于編碼時(shí)間層的視頻編碼器600'(圖7)可被擴(kuò)充以編碼空間和/或質(zhì)量 增強(qiáng)層。(參見例如PCT/US06/28365和PCT/US06/028366)。圖8示出用于 空間增強(qiáng)層的示例性編碼器600"。除基層信息也可用于編碼器600"之外，編 碼器600"的結(jié)構(gòu)和功能類似于基層編解碼器600'。此信息可包括運(yùn)動(dòng)矢量數(shù) 據(jù)、宏塊模式數(shù)據(jù)、經(jīng)編碼的預(yù)測(cè)差錯(cuò)數(shù)據(jù)或經(jīng)重構(gòu)的像素?cái)?shù)據(jù)。編碼器600" 可重用此數(shù)據(jù)中的部分或全部以針對(duì)增強(qiáng)層S作出編碼決定。該數(shù)據(jù)必須被縮 放成增強(qiáng)層的目標(biāo)分辨率(如果基層為QCIF且增強(qiáng)層為CIF，則縮放2的倍 數(shù))。盡管空間可縮放性通常需要維護(hù)兩個(gè)編碼環(huán)路，但是通過將基層中用于 增強(qiáng)層編碼的數(shù)據(jù)僅限于可從當(dāng)前畫面的基層中編碼的信息計(jì)算出的那些值 來(lái)執(zhí)行單環(huán)路解碼是可能的(例如，在R264SVC草案標(biāo)準(zhǔn)中)。例如，如果 基層宏塊是幀間編碼(inter-code)的，則增強(qiáng)層不能使用該宏塊的經(jīng)重構(gòu)像素 作為預(yù)測(cè)的基礎(chǔ)。然而，它可使用其運(yùn)動(dòng)矢量和預(yù)測(cè)差錯(cuò)值，因?yàn)樗鼈兛赏ㄟ^ 只解碼當(dāng)前基層畫面中包含的信息來(lái)獲得。由于解碼器的復(fù)雜度被顯著降低， 因此單環(huán)路解碼是可取的。
質(zhì)量或SNR可縮放性增強(qiáng)層編解碼器可以與空間可縮放性編解碼器相同 的方式來(lái)構(gòu)造。對(duì)于質(zhì)量可縮放性，與在較高分辨率版本的輸入上構(gòu)建增強(qiáng)層 不同，編解碼器以相同空間分辨率編碼殘余預(yù)測(cè)差錯(cuò)。關(guān)于空間分辨率，在單 或雙環(huán)路編碼配置中，基層的所有宏塊數(shù)據(jù)可在增強(qiáng)層被重用。出于簡(jiǎn)便起見， 本文的描述一般針對(duì)使用空間可縮放性的技術(shù)。然而，應(yīng)當(dāng)理解，相同的技術(shù) 可應(yīng)用于質(zhì)量可縮放性。
通過引用結(jié)合于此的國(guó)際專利申請(qǐng)PCT/US06/28365 [SVC編碼]描述了線程編碼結(jié)構(gòu)(例如，編碼結(jié)構(gòu)900)在其針對(duì)存在傳輸差錯(cuò)的穩(wěn)健性方面所具 有的不同優(yōu)點(diǎn)。在基于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的傳統(tǒng)技術(shù)水平的視頻編解碼器中，時(shí)間 依存性是固有的。給定畫面處的任何分組丟失不僅影響該特定畫面的質(zhì)量，而 且或者直接或者間接地影響以給定畫面作為參考的所有將來(lái)畫面。這是因?yàn)榻?碼器對(duì)將來(lái)的預(yù)測(cè)可構(gòu)建的參考幀將與編碼器處所用的參考幀不同。隨后的差 異或漂移會(huì)對(duì)傳統(tǒng)技術(shù)水平的視頻編解碼器造成極大的影響。
相反，圖9中所示的線程結(jié)構(gòu)創(chuàng)建三個(gè)完備線程或依存鏈。關(guān)于L2畫面 發(fā)生的分組丟失將僅影響L2畫面；LO和Ll畫面仍可被解碼和顯示。類似地， 關(guān)于Ll畫面發(fā)生的分組丟失將僅影響Ll和L2畫面；LO畫面仍可被解碼和顯 示。此外，線程結(jié)構(gòu)可被創(chuàng)建成包括S畫面的線程或依存鏈(例如，圖ll)。 圖11中所示的示例性S分組線程結(jié)構(gòu)1100具有與圖9中所示的L畫面線程結(jié) 構(gòu)900相類似的特性。S2畫面處的分組丟失僅影響特定畫面，而S1畫面處的 丟失還將影響隨后的S2畫面。在任一情形中， 一旦將下一SO畫面解碼，漂移 就將終止。
再次參看圖9，在畫面質(zhì)量方面，L0畫面處發(fā)生的分組丟失可能是災(zāi)難性 的，因?yàn)閷?huì)影響所有畫面類型。如前所述，對(duì)此問題的傳統(tǒng)解決方案是周期 性地編碼LO畫面作為內(nèi)畫面或I畫面。然而，實(shí)現(xiàn)這種解決方案的帶寬開銷 會(huì)是顯著的，因?yàn)镮畫面通常比P畫面大3-6倍。此外，導(dǎo)致需要使用I畫面 的分組丟失通常是網(wǎng)絡(luò)擁塞的結(jié)果。試圖通過網(wǎng)絡(luò)發(fā)送I畫面來(lái)補(bǔ)救分組丟失 只會(huì)惡化擁塞問題。
比使用I畫面?zhèn)鬏攣?lái)補(bǔ)救分組丟失更好的技術(shù)是將L0的特定百分比的內(nèi) 宏塊編碼為在任何給定畫面中內(nèi)部。這種技術(shù)有助于將比特率負(fù)荷分?jǐn)偟蕉?個(gè)畫面上而不是將負(fù)荷集中到單個(gè)畫面中。已被編碼為在給定畫面中內(nèi)部的宏 塊在同一周期中無(wú)需再次被強(qiáng)制編碼為在內(nèi)部。在有限數(shù)目的畫面之后，接收 器/解碼器將具有接收到的、關(guān)于畫面中的所有宏塊位置的內(nèi)部信息。在使用這 種技術(shù)時(shí)，在編碼器處必須注意不將失真預(yù)測(cè)引入到已經(jīng)由運(yùn)動(dòng)預(yù)測(cè)編碼為內(nèi) 部的區(qū)域中(即，"安全"對(duì)"非安全"幀區(qū)域)。因此，在編碼器處，在給 定周期中出于穩(wěn)健性目的已將宏塊編碼為內(nèi)部之后，對(duì)同一幀區(qū)域的將來(lái)時(shí)間 預(yù)測(cè)可僅從同一周期中已被編碼為內(nèi)部的位置開始進(jìn)行。在給定LO畫面中以 幀內(nèi)模式編碼宏塊的約10-15%可實(shí)現(xiàn)良好的權(quán)衡。結(jié)果，在約十個(gè)L0幀(即， 40個(gè)畫面、或每秒30幀下的1.3秒)之后，解碼器將與編碼器在LO層處重新 同步。應(yīng)當(dāng)注意，當(dāng)解碼器在內(nèi)部刷新周期開始之后立即加入流時(shí)，它必須等 待下一周期開始以及等待直至下一周期完成，以便進(jìn)行同步(即，總共接近兩 個(gè)周期的延遲)。由于畫面編碼結(jié)構(gòu)(例如，結(jié)構(gòu)900)的層依存性，隨后的 L1和L2畫面也將被準(zhǔn)確解碼，只要它們的數(shù)據(jù)被準(zhǔn)確接收到。因此，如果基 層LO和某些增強(qiáng)層畫面以其遞送被保證的方式傳送，則在分組丟失的情形中 沒有嚴(yán)重后果的情況下其余層可基于盡力來(lái)傳送。 這種有保證傳輸可使用 諸如區(qū)分型和FEC等已知技術(shù)來(lái)執(zhí)行。在本文的描述中，也可參照提供這種 區(qū)分型服務(wù)質(zhì)量的作為兩個(gè)實(shí)際或虛擬信道的高可靠性信道(HRC)和低可靠 性信道(LRC)(圖1)。(參見例如PCT/US06/28365和PCT/US06/28366)。 在使用可縮放視頻編碼結(jié)構(gòu)(圖11中的結(jié)構(gòu)1100)的視頻通信系統(tǒng)中，層L0-L2 和SO可例如在HRC上可靠傳送，而Sl和S2可在LRC上傳送。盡管Sl或 S2分組的丟失可導(dǎo)致有限的漂移，但是仍期望能夠盡可能多地避免信息丟失。
內(nèi)宏塊編碼技術(shù)的一個(gè)缺點(diǎn)是在某些差錯(cuò)狀況下，實(shí)現(xiàn)充分的I塊所需的 LO幀之一可能丟失，由此阻礙了過程的收斂。這種技術(shù)的另一個(gè)缺點(diǎn)是無(wú)論 信道的狀況如何都有編碼效率懲罰。換言之，強(qiáng)制內(nèi)宏塊將產(chǎn)生帶寬開銷，即 使通信中完全沒有分組丟失也是如此。
本發(fā)明的差錯(cuò)彈性技術(shù)通過采用LO層的子集或整個(gè)LO層的可靠傳輸來(lái) 克服用于補(bǔ)償分組丟失的傳統(tǒng)技術(shù)的前述限制。差錯(cuò)彈性或可靠性通過重發(fā)來(lái) 確保。本發(fā)明的差錯(cuò)彈性技術(shù)不僅出于顯示目的而被設(shè)計(jì)成恢復(fù)丟失的畫面， 還被設(shè)計(jì)成創(chuàng)建正確的參考畫面以便于解碼依賴于丟失分組中所包含的那些 畫面(整體或部分)的將來(lái)畫面。在本發(fā)明的系統(tǒng)實(shí)現(xiàn)中，LO畫面的可靠傳 輸可通過LRP模塊(例如，圖2中的模塊270A和270B以及圖4中的模塊470A 和470B)根據(jù)適當(dāng)?shù)谋Ｗo(hù)協(xié)議(例如，圖14中的協(xié)議1400)在發(fā)送和接收方 之間使用肯定或否定確認(rèn)來(lái)執(zhí)行。
圖12示出示例性畫面編碼結(jié)構(gòu)1200，其中LO基層和Ll-L2時(shí)間增強(qiáng)層 與至少一個(gè)可靠傳送的基層畫面相耦合以進(jìn)行差錯(cuò)彈性視頻通信。在編碼結(jié)構(gòu)
1200中，除標(biāo)示為L(zhǎng)0-L2畫面的常規(guī)基層和增強(qiáng)層之外，還有稱為L(zhǎng)R( 'R'
代表可靠)的新的畫面類型。注意在圖12中所示的編碼結(jié)構(gòu)1200中，層 LR和L0-L2可等效于分別被標(biāo)示為L(zhǎng)0-L3，因?yàn)長(zhǎng)R畫面總是經(jīng)編碼的視頻信 號(hào)的最低時(shí)間層。根據(jù)用于差錯(cuò)彈性視頻通信的本發(fā)明，可以是P畫面的LR 畫面被指定成將被可靠地遞送到接收方目的地。
本發(fā)明的差錯(cuò)彈性技術(shù)的操作可通過考慮其中L0畫面之一因分組丟失而 被破壞或丟失的示例來(lái)理解。如前所述，在傳統(tǒng)通信系統(tǒng)中，丟失LO畫面對(duì) 所有后續(xù)L0-L2畫面的影響是嚴(yán)重的。使用本發(fā)明的畫面編碼結(jié)構(gòu)1200，在 丟失L0畫面之后的下一 "可靠遞送"LR畫面提供了重新同步點(diǎn)，接收方/編 碼器可在該點(diǎn)之后繼續(xù)無(wú)失真地解碼和顯示。
在圖12中所示的編碼結(jié)構(gòu)1200中，LR畫面之間的時(shí)間距離例如為12 幀。LR畫面的可靠遞送利用了具有極長(zhǎng)時(shí)間距離(6幀或更多)的P畫面約 為I畫面的大小的一半，并且可靠遞送并非旨在確保相關(guān)畫面的及時(shí)顯示而是 旨在創(chuàng)建合適的參考畫面以備將來(lái)使用這個(gè)事實(shí)。因此，LR畫面的遞送可通 過在連續(xù)LR畫面之間的一段時(shí)間內(nèi)極輕微地增加系統(tǒng)中的帶寬來(lái)實(shí)現(xiàn)。
編碼結(jié)構(gòu)1200可使用現(xiàn)有的H.264 AVC標(biāo)準(zhǔn)——在該標(biāo)準(zhǔn)下LR畫面可 例如被存儲(chǔ)在解碼器處作為長(zhǎng)期參考畫面并可用MMCO命令來(lái)替換——來(lái)實(shí) 現(xiàn)。
圖13示出示例性畫面編碼結(jié)構(gòu)1300，其中LR畫面的概念被應(yīng)用于增強(qiáng) 層畫面(或者空間或者質(zhì)量可縮放性)。這里，要被可靠傳送的畫面被標(biāo)示為 SR，而對(duì)于LR畫面，它們組成空間或質(zhì)量增強(qiáng)層的最低時(shí)間層。
注意盡管出于例示的目的LR畫面的概念在此通常被描述成應(yīng)用于經(jīng)編 碼的視頻信號(hào)的最低時(shí)間層，但此概念也可根據(jù)本發(fā)明原理被擴(kuò)展或應(yīng)用到附 加層。此擴(kuò)展應(yīng)用將導(dǎo)致以可靠方式傳送附加層。例如，參看圖12，除LR畫 面之外，L0畫面也可被納入可靠(重)傳送機(jī)制中。類似地，可包括任何空 間/質(zhì)量增強(qiáng)層的畫面(來(lái)自最低或附加時(shí)間層)。此外，視頻序列報(bào)頭或其它 數(shù)據(jù)可被當(dāng)作或視為與系統(tǒng)中的LR等效，以使得它們(報(bào)頭或其它數(shù)據(jù))被 可靠地傳送。在下文中，出于描述簡(jiǎn)便的目的，假定只有LR畫面被可靠傳送， 除非另外明確指明。然而，應(yīng)當(dāng)容易理解，附加層或數(shù)據(jù)可以完全相同的方法 來(lái)可靠傳送。
當(dāng)沒有分組丟失時(shí)，用于LR幀的可靠遞送的帶寬開銷為零或可忽略是合
乎需要的。這意味著動(dòng)態(tài)閉環(huán)算法應(yīng)當(dāng)被用于可靠遞送機(jī)制。在例如LR幀被 主動(dòng)重發(fā)多次的情況中，使用開環(huán)算法也是可能的。
圖14示出用于LR幀的可靠遞送的優(yōu)選機(jī)制或協(xié)議1400。協(xié)議1400采用 基于肯定確認(rèn)(ACK)消息的機(jī)制向發(fā)送方(例如，發(fā)送器、SVCS1或SVCS2) 指示特定LR畫面已被預(yù)期接收方(例如，SVCS1、 SVCS2或接收器)接收到。 參看圖14中的時(shí)間軸，如果在指定時(shí)間間隔內(nèi)(例如， 一次往返行程的時(shí)間 (RTT))未接收到確認(rèn)，則發(fā)送器處的定時(shí)器發(fā)起給定LR畫面的重傳。除 針對(duì)LR畫面使用常規(guī)、周期或靜態(tài)結(jié)構(gòu)定義之外，還可采用動(dòng)態(tài)結(jié)構(gòu)。在此 情形中，在系統(tǒng)操作中動(dòng)態(tài)地定義LR畫面。在發(fā)送器從所有接收器接收到對(duì) 傳送流中特定幀的接收的肯定確認(rèn)之后，視頻通信系統(tǒng)隨后可將此幀指定為 LR幀并使用它作為新的錨定或同步點(diǎn)。換言之，在所有接收器已確認(rèn)它們皆 已正確接收到特定畫面之后，發(fā)送編碼器將使用該特定畫面作為L(zhǎng)R畫面。如 果特定LR畫面變得陳舊，則發(fā)送器可放棄該特定LR畫面，并且在任何時(shí)候 嘗試建立與較新畫面的重新同步點(diǎn)。如果使用否定確認(rèn)(NACK)消息取代肯 定ACK消息，則協(xié)議1200的操作是類似的。在此情形中，發(fā)送器一旦接收到 NACK就立即重發(fā)給定畫面。
當(dāng)通信系統(tǒng)中存在SVCS時(shí)，它可任選地充當(dāng)ACK消息的聚集點(diǎn)。在此 情形中，SVCS可僅向發(fā)送器發(fā)送單個(gè)歸納確認(rèn)消息以指示所有預(yù)期上游接收 器皆已接收到LR畫面。這種特征有助于使通信系統(tǒng)的不同組件之間的控制消 息通信量最小化?；蛘?，SVCS可充當(dāng)ACK消息的終止點(diǎn)(<ACK終止模式，)。 在此模式中，SVCS立即確認(rèn)接收到的LR畫面并對(duì)其進(jìn)行高速緩存。在此情 形中，發(fā)送器不希望來(lái)自SVCS的上游的其他接收器的其它確認(rèn)。然后，'終 止模式'SVCS按需執(zhí)行對(duì)下游SVCS或接收器的重發(fā)以確?？煽窟f送，并在 所有接收器皆已確認(rèn)接收之后從其高速緩沖器中移除LR畫面?？衫么四Ｊ?來(lái)將特定接收器/端點(diǎn)與有問題的連接隔離開，從而使其它端點(diǎn)之間的通信不受 到影響。注意在ACK終止模式中，不再可能在發(fā)送器處動(dòng)態(tài)地將畫面定義 為L(zhǎng)R畫面，因此在此情形中周期性或靜態(tài)模式是適當(dāng)?shù)摹?br> 示例性協(xié)議1200 (使用肯定確認(rèn)，但不用ACK聚集或終止)的操作的細(xì)
節(jié)可參照?qǐng)D14來(lái)理解。附圖示出例如通過兩個(gè)單獨(dú)的SVCS單元1和2通信 的發(fā)送器和接收器。應(yīng)當(dāng)理解，協(xié)議1200的操作通常與其中不使用SVCS的 系統(tǒng)(例如，具有發(fā)送器與接收器之間的直接連接的系統(tǒng))以及其中使用一個(gè) 或多個(gè)SVCS的系統(tǒng)中的相同。
參看圖14，發(fā)送器在時(shí)刻tO傳送作為L(zhǎng)R狀態(tài)的候選的LO幀。該幀可在 一個(gè)或多個(gè)傳輸層分組中輸送。在此出于描述方便起見，可假定使用單個(gè)分組。 此外，如果使用幀分段——在此情形中重傳會(huì)影響丟失的特定片段，但不一定 是整個(gè)幀——?jiǎng)t操作是相同的。
在SVCS1處期望在給定時(shí)刻tl-t0內(nèi)接收到包含LR幀(LR)的分組。此 時(shí)，發(fā)送器期望SVCS1生成針對(duì)該幀的肯定確認(rèn)消息(ACK)。如果在系統(tǒng) 的往返行程時(shí)間(RTT)內(nèi)沒有接收到這種ACK，則發(fā)送器假定分組已丟失并 在時(shí)間t2重傳LR幀。現(xiàn)在假定在SVCS1處接收到幀。針對(duì)發(fā)送器的ACK可 由SVCS1生成，該SVCS1還將幀轉(zhuǎn)發(fā)到SVCS2。與發(fā)送器相類似，SVCS1還 將經(jīng)歷多次幀重傳直至SVCS2確認(rèn)其接收。圖14示出在時(shí)間t6由SVCS2接 收到由SVCS1發(fā)送的LR幀。然后，SVCS2將持續(xù)向接收器傳送該幀直至其 接收到來(lái)自接收器的ACK (例如，ACK1410)(例如，在時(shí)間t8)。當(dāng)最終 用戶接收器(并非中間SVCS)接收到LR幀時(shí)，它通知初始發(fā)送器其現(xiàn)在具 有可用作供將來(lái)畫面的編碼用的參考畫面的此新的正確接收到的幀。此ACK 14010經(jīng)由SVCS傳播到達(dá)發(fā)送器(例如，在時(shí)間t10)。在特定視頻通信會(huì)話 中的所有接收器確認(rèn)對(duì)新的LR幀的正確接收之后，發(fā)送器可隨后使用所傳送 的幀作為參考畫面。
如前所述，在H.264視頻編碼標(biāo)準(zhǔn)中，通過將候選傳送畫面標(biāo)記為長(zhǎng)期參 考畫面來(lái)便于使用所傳送的幀作為參考畫面。類似的標(biāo)記技術(shù)可與其它編碼方 案一起使用。候選傳送畫面未被用作參考畫面直至已從所有接收器收集到肯定 ACK。注意在LR協(xié)議1400運(yùn)行的整個(gè)時(shí)間內(nèi)，發(fā)送器持續(xù)傳送經(jīng)編碼的 視頻。換言之，由于協(xié)議要求可能的重傳，因此不引發(fā)附加的端對(duì)端延遲。LR 處理機(jī)制的目標(biāo)是創(chuàng)建用于將來(lái)畫面的編碼的可靠參考畫面。實(shí)際上，LR畫 面的初始傳送被破壞且在特定接收器處無(wú)法適當(dāng)?shù)牟シ攀强赡艿?。發(fā)送器(或 SVCS)將持續(xù)傳送畫面直至其被特定接收器正確地接收到，而接收器將持續(xù)
嘗試解碼和回放發(fā)送器將繼續(xù)傳送的后續(xù)視頻幀。
圖15示出使用否定確認(rèn)(NACK)的協(xié)議1500的操作。與使用ACK的 協(xié)議的操作的不同之處在于現(xiàn)在接收端點(diǎn)或SVCS具有檢測(cè)何時(shí)LR畫面未被 接收到且已丟失的任務(wù)。RTP或H.264傳輸中丟失檢測(cè)用的具體技術(shù)將在下文 中描述(例如，參照?qǐng)D16-24)。這些技術(shù)使得一接收到任何后續(xù)畫面就能夠 檢測(cè)到丟失。在協(xié)議1500的操作中，當(dāng)接收端點(diǎn)或SVCS檢測(cè)到LR畫面已丟 失時(shí)，它就向傳送端點(diǎn)或SVCS發(fā)送NACK消息。然后，傳送端點(diǎn)或SVCS 從其高速緩沖器獲得丟失的畫面，并重傳或者丟失的幀或者將使得接收器能夠 重新同步其解碼器的更近的LR畫面。
繼續(xù)參看圖15，假定使用圖9的畫面編碼結(jié)構(gòu)(四個(gè)時(shí)間層，即LR和 L0-L2)，以及發(fā)送器和接收器通過SVCS通信。此外，假定由發(fā)送器在時(shí)間 t0傳送的LR畫面丟失，而后續(xù)的畫面——L0畫面——被成功地傳送到SVCS。 一接收到L0畫面，SVCS就檢測(cè)作為參考的LR畫面已丟失，并傳送NACK， 后者由發(fā)送器在時(shí)間tR接收到。同時(shí)，發(fā)送器也已在時(shí)間t2傳送Ll幀。一 旦在時(shí)間tR接收到NACK，發(fā)送器就向SVCS重傳最近的LR畫面。發(fā)送器 繼續(xù)以適當(dāng)?shù)臅r(shí)間間隔傳送初始畫面流，例如，在時(shí)間t3傳送L2畫面而在時(shí) 間t4傳送Ll畫面。注意無(wú)論所需的LR畫面是否已丟失，SVCS都立即向 下游接收器轉(zhuǎn)發(fā)已從接收器處成功接收到的任何畫面。假定針對(duì)接收器的所 有傳輸都成功，則當(dāng)在接收器處接收到重傳的LR畫面時(shí)，接收器將具有用以 解碼在較早時(shí)間t3和t4接收到的L0和Ll所必需的所有信息。盡管可能太遲 而不能顯示這些畫面，但是接收器(例如，在解碼畫面而非顯示它們的"恢復(fù) 模式"中)可將其解碼以便具有用于正確解碼在時(shí)間t5到達(dá)的L2畫面的正確 參考畫面。如果接收器具有足夠的CPU能力，則這種解碼可比實(shí)時(shí)更快地完 成。在時(shí)間t5，接收器可隨后開始常規(guī)地解碼和顯示沒有差錯(cuò)的傳入視頻信號(hào)， 并且沒有因丟失而導(dǎo)致任何延遲。應(yīng)當(dāng)注意，如果所選的接收器改為在L2之 前顯示LR、 L0和L1畫面，則通信會(huì)話的常規(guī)(沒有丟失的情況下)端對(duì)端 延遲將增加SVCS恢復(fù)所丟失的LR畫面所用的時(shí)間量。在交互式通信中，附 加延遲是不合需要的，并且消除該附加延遲是本發(fā)明的優(yōu)點(diǎn)之一。
使用RTCP或其它反饋機(jī)制，可使用例如上述的肯定和否定確認(rèn)技術(shù)通知
發(fā)送器特定接收器正經(jīng)歷丟失分組。反饋可與針對(duì)每個(gè)單獨(dú)分組的各個(gè)
ACK/NACK消息一樣詳細(xì)。使用反饋使得編碼器能夠計(jì)算(確切或大致地) 解碼器的狀態(tài)，并相應(yīng)地進(jìn)行動(dòng)作。此反饋被生成并由可靠性和隨機(jī)接入控制
(RFC)模塊530 (圖6)來(lái)收集。RRC模塊可隨后指令編碼器使用內(nèi)宏塊， 或適當(dāng)?shù)卦黾悠漕l率以在需要時(shí)進(jìn)一步幫助同步過程。
當(dāng)使用肯定確認(rèn)時(shí)并且為了使已經(jīng)歷丟失分組的接收器能夠重新同步到 經(jīng)編碼的比特流，發(fā)送器可使用最近的LR畫面作為參考畫面來(lái)選擇編碼當(dāng)前 幀。在知道此LR畫面已被可靠接收到的情況下，發(fā)送器可使用LR畫面作為 參考來(lái)將當(dāng)前畫面編碼為P畫面。在接收器正確地接收到當(dāng)前畫面之后，從此 時(shí)開始它可在參考畫面緩沖器方面與編碼器同步。換言之，將消除解碼器中出 現(xiàn)的任何漂移。
類似地，當(dāng)使用否定確認(rèn)時(shí)，解碼器可通過解碼給定畫面的所有必要參考 畫面來(lái)與比特流重新同步，即使它們太遲到達(dá)而不能被顯示時(shí)也是如此。如果 解碼器可比實(shí)時(shí)更快地(換言之，所占用的解碼時(shí)間少于畫面之間的時(shí)間)解 碼，則其最終可與接收到的比特流同步。通過在同步點(diǎn)開始顯示，解碼器可繼 續(xù)常規(guī)解碼和顯示操作而沒有任何附加的端對(duì)端延遲被添加到通信會(huì)話。
用于重新同步接收器的這些技術(shù)在涉及例如5-10個(gè)參與者的中型到大型 視頻會(huì)議中具有明顯的優(yōu)勢(shì)。在此類會(huì)議中，使用I幀實(shí)現(xiàn)已經(jīng)歷分組丟失的 接收器的重新同步會(huì)對(duì)所有參與者施加相當(dāng)可觀的帶寬懲罰。實(shí)際上，最弱鏈 路(g卩，具有最多差錯(cuò)的鏈路)上的參與者將影響具有最強(qiáng)鏈路的參與者的質(zhì) 量。通過使用LR畫面，消除了內(nèi)畫面的使用。盡管基于LR畫面的P畫面也 具有帶寬開銷，只要幀之間的時(shí)間距離不是太大，開銷就會(huì)顯著小于I畫面的。 用于重新同步的LRP技術(shù)也適于諸如往返行程延遲、服務(wù)器的分布等的系統(tǒng) 參數(shù)。系統(tǒng)越好，在接收器處準(zhǔn)確接收到時(shí)LR畫面將建立得更快，從而導(dǎo)致 對(duì)基于LR畫面的更好預(yù)測(cè)，這又將導(dǎo)致更小的開銷。
注意，當(dāng)使用反饋時(shí)，可能不必先驗(yàn)決定LR幀的結(jié)構(gòu)。實(shí)際上，LR幀 的結(jié)構(gòu)可通過收集和整理來(lái)自所有接收器的反饋來(lái)統(tǒng)計(jì)和動(dòng)態(tài)地建立。被確認(rèn) 為被所有接收器接收到的幀可被自動(dòng)視為L(zhǎng)R幀。
在某些情形中，LR畫面的缺點(diǎn)在于到視頻會(huì)議的單個(gè)較差的連接仍會(huì)使
針對(duì)所涉及的所有參與者的質(zhì)量下降。在此類情形中，中間SVCS可扮演發(fā)送 器代理的角色，并在其余參與者未受影響地繼續(xù)會(huì)議的同時(shí)持續(xù)重發(fā)所需的數(shù)
據(jù)。例如，在轉(zhuǎn)發(fā)svcs到毗連svcs或所連接的端點(diǎn)的連接使得實(shí)現(xiàn)來(lái)自其 對(duì)等設(shè)備的肯定確認(rèn)的時(shí)間大于預(yù)先配置的值的情況中，轉(zhuǎn)發(fā)svcs可被配置
成就像端點(diǎn)確實(shí)發(fā)回肯定確認(rèn)(包括發(fā)回適當(dāng)?shù)腁CK)那樣對(duì)待該端點(diǎn)。這 種配置限制了有問題的端點(diǎn)或SVCS連接對(duì)整體系統(tǒng)的影響。從此時(shí)開始，轉(zhuǎn) 發(fā)SVCS將僅向其有問題的對(duì)等設(shè)備傳送LR幀，因?yàn)樗亲罱K與解碼過程重 新同步所需的最小信息。如果較新的LR幀自發(fā)送器到達(dá)轉(zhuǎn)發(fā)SVCS，則它們 將繼續(xù)被重傳到有問題的SVCS或端點(diǎn)，由此給予有問題的SVCS或端點(diǎn)與發(fā) 送器比特流同步的其它機(jī)會(huì)。由于沒有其它幀(除LR之外的)在此鏈路上傳 送，因此不會(huì)因這種重傳導(dǎo)致附加擁塞。實(shí)際上，如果此類經(jīng)高速緩沖和重傳 的LR幀的數(shù)目超過特定預(yù)定義數(shù)目(例如，2-3)，則轉(zhuǎn)發(fā)SVCS可考慮要終 止特定的有問題的SVCS或端點(diǎn)連接。所終止的SVCS或端點(diǎn)隨后將必須使用 其可用的任何合適的隨機(jī)進(jìn)入機(jī)制來(lái)重新加入視頻會(huì)議會(huì)話。
在連接或鏈路中斷是暫時(shí)的情況中，接收端點(diǎn)可以其正確次序解碼重傳的 LR幀并重新加入會(huì)話。期望由于LR幀的數(shù)目遠(yuǎn)小于幀的總數(shù)，因此CPU負(fù) 載將不會(huì)是個(gè)問題且接收端點(diǎn)可跟得上解碼過程。
應(yīng)當(dāng)理解，圖14中所示的協(xié)議1400是示例性的，并且其可易于針對(duì)其它 系統(tǒng)性能的改進(jìn)進(jìn)行更改。例如，在經(jīng)更改的協(xié)議1400中， 一直傳回到發(fā)送 器的確認(rèn)(例如，圖14中所示的ACK[RCVR]消息)不必從接收端點(diǎn)發(fā)起，而 是可僅從最靠近鏈中端點(diǎn)的最后SVCS發(fā)起。連接到端點(diǎn)的最后SVCS可首先 發(fā)回ACK[RCVR]，并隨后如上所述地繼續(xù)向端點(diǎn)可靠傳送或重傳LR幀。協(xié) 議1400的這種更改避免在發(fā)回ACK[RCVR]之前必須等待預(yù)先配置的時(shí)間。
如可為本領(lǐng)域技術(shù)人員所顯見的，根據(jù)本發(fā)明的原理，可用其它合適的傳 輸層機(jī)制替代用于實(shí)現(xiàn)LR幀的可靠傳輸?shù)腁RQ協(xié)議(例如，協(xié)議1400)。 用于LR幀的合適傳輸?shù)暮线m傳輸層機(jī)制包括諸如主動(dòng)重傳、以及諸如使用交 織的Reed-Solomon (理德一所羅門)碼更復(fù)雜的FEC (前向糾錯(cuò))技術(shù)和混 合式FEC-ARQ技術(shù)(參見例如Rubenstein等人在2001年3月的計(jì)算機(jī)通信雜 志上發(fā)表)。
在本發(fā)明的實(shí)現(xiàn)中重點(diǎn)考慮接收器(例如，接收端點(diǎn)或svcs)如何在最
小延遲的情況下檢測(cè)到LR畫面已丟失。本發(fā)明包括基于畫面編號(hào)和畫面編號(hào) 引用的技術(shù)。此技術(shù)通過向LR畫面指派與這些LR畫面分組一起被運(yùn)送的序 號(hào)來(lái)操作。接收器維護(hù)其已接收到的LR畫面的編號(hào)的列表。另一方面，非LR 畫面包含最近LR畫面在解碼次序中的序號(hào)。此序號(hào)引用允許接收器甚至在接 收后一 LR畫面之前檢測(cè)丟失的LR畫面。當(dāng)接收器接收到LR畫面時(shí)，其可 通過將其畫面編號(hào)與其所維護(hù)的畫面編號(hào)列表(接收到的畫面的編號(hào)應(yīng)當(dāng)比前 一畫面的編號(hào)大一，或者如果計(jì)數(shù)重新開始則為0)作比較來(lái)檢測(cè)是否已丟失 先前LR畫面中的一個(gè)或多個(gè)。當(dāng)接收器接收到非LR畫面時(shí)，它進(jìn)行測(cè)試以 查看所引用的LR畫面的編號(hào)是否存在于其編號(hào)列表中。如果不存在，則假定 為丟失，并且可發(fā)起糾正動(dòng)作(例如，NACK消息被傳回發(fā)送器)。
LR畫面可使用標(biāo)志或其它信令手段(例如，根據(jù)其分組報(bào)頭或分組有效 載荷參數(shù)導(dǎo)出)等來(lái)標(biāo)識(shí)，或者它們的存在被暗示(例如，通過它們?cè)诮?jīng)編碼 的視頻序列中的次序)。作為L(zhǎng)R畫面編號(hào)的使用的例示，假定兩個(gè)畫面LR 和LO的序列以此次序被傳送。接收器的編號(hào)列表最初為空。此外，假定對(duì)LR 畫面指派序號(hào)0。 LR畫面將在其分組中指示編號(hào)O的情況下被傳送。L0畫面 也在包括編號(hào)0作為對(duì)其所依賴的LR畫面——最近LR畫面——的參考的情 況下被傳送。如果LR畫面丟失，則接收器將接收到包含對(duì)具有編號(hào)0的LR 畫面的引用的幀L0。由于此編號(hào)在其列表中不存在(列表仍為空)，因此接 收器檢測(cè)到具有編號(hào)0的LR畫面已丟失。它可隨后請(qǐng)求重發(fā)丟失的LR畫面。
注意，使用LR畫面編號(hào)技術(shù)檢測(cè)丟失的LR畫面可在接收端點(diǎn)以及中間 SVCS兩者處執(zhí)行。例如在LRP (接收)模塊270B (圖2和3)或模塊470B (圖4)處執(zhí)行此操作。
本文描述了LR畫面編號(hào)技術(shù)的兩個(gè)不同實(shí)施例。 一個(gè)實(shí)施例(在下文中 稱為'R分組'技術(shù))適用于系統(tǒng)使用RTP協(xié)議進(jìn)行傳輸?shù)那闆r。另一實(shí)施例適 用于系統(tǒng)使用H.264 Annex G (SVC)草案標(biāo)準(zhǔn)的情況。
對(duì)于R分組技術(shù)，假定RTP協(xié)議(在UDP和IP上)被用于兩個(gè)終端之 間——可能經(jīng)由一個(gè)或多個(gè)中間服務(wù)器——的通信。注意媒體傳送終端可執(zhí) 行實(shí)時(shí)編碼，或者可從本地或其它存儲(chǔ)(RAM、硬盤、存儲(chǔ)區(qū)網(wǎng)、文檔服務(wù)器
等)訪問媒體數(shù)據(jù)。類似地，接收終端可執(zhí)行實(shí)時(shí)解碼，以及它可將接收到的 數(shù)據(jù)存儲(chǔ)在本地或其它存儲(chǔ)中以備將來(lái)回放，或者兩者。對(duì)于在此的描述，假 定(并非限制)實(shí)時(shí)編碼和解碼正在進(jìn)行。
圖16示出傳送終端的LRP發(fā)送模塊(例如，圖2中的模塊270A)的架 構(gòu)。LRP發(fā)送模塊包括具有用于可能要求重傳的分組的本地存儲(chǔ)(例如，緩沖 器1605)的分組處理器(R分組控制器1610) 。 R分組控制器1610對(duì)R分組 作標(biāo)記，并且還對(duì)RNACK作出響應(yīng)。R分組控制器被連接到實(shí)現(xiàn)RTP/UDP/IP 協(xié)議棧的復(fù)用器MUX 1620和分用器DMUX 1630。盡管MUX 1620和DMUX 1630在圖16中被示為單獨(dú)的實(shí)體，但它們可被組合在同一單元中。MUX 1620 和DMUX 1630被連接到提供物理層接口的一個(gè)或多個(gè)網(wǎng)絡(luò)接口控制器(NIC)。 在優(yōu)選實(shí)施例中，NIC是以太網(wǎng)適配器，但可使用任何其它NIC，這對(duì)于本領(lǐng) 域技術(shù)人員是顯而易見的。
類似地，圖17示出接收終端的LRP接收模塊(例如，圖2中的模塊270B) 的示例性架構(gòu)。在此，R分組控制器(例如，控制器1610')負(fù)責(zé)分組丟失檢 測(cè)和適當(dāng)NACK消息的生成。此外，圖18示出服務(wù)器的LRP發(fā)送和接收模塊 (例如，圖4中的模塊420A和420B)——可與接收終端的組件以及背靠背 (back-to-back)連接的傳送終端的那些組件相同——的結(jié)構(gòu)。
在優(yōu)選實(shí)施例中，傳送終端根據(jù)RTP規(guī)范對(duì)媒體數(shù)據(jù)進(jìn)行分組。注意 盡管針對(duì)RTP定義了不同的分組(稱為"有效載荷")格式，但它們可共享 同一公共報(bào)頭。本發(fā)明針對(duì)RTP分組引入命名報(bào)頭擴(kuò)展機(jī)制(參見2006年2
月D. Singer的draft-ietf-avt-rtp-hdrext-01 (進(jìn)行中)-"A general mechanism
for RTP Header Extensions (RTP報(bào)頭擴(kuò)展的通用機(jī)制)")以使得R分組可 被適當(dāng)處理。
根據(jù)本發(fā)明，在包含R分組的RTP會(huì)話中，用命名報(bào)頭擴(kuò)展機(jī)制來(lái)對(duì)各 個(gè)分組作標(biāo)記。R分組報(bào)頭擴(kuò)展元素標(biāo)識(shí)R分組自身以及先前發(fā)送的R分組。 例如，此報(bào)頭擴(kuò)展元素具有名稱"com.layeredmedia.avtr-packet/200606"。每
個(gè)R分組包括——且每個(gè)非R分組應(yīng)當(dāng)包括——此類形式的報(bào)頭擴(kuò)展元素。
圖19示出發(fā)明性命名報(bào)頭擴(kuò)展的示例性數(shù)據(jù)字段格式，其中這些字段定 義如下。
ID: 4比特
針對(duì)此報(bào)頭擴(kuò)展元素協(xié)商的本地標(biāo)識(shí)符，如例如D. Singer在2006年12
月的draft-ietf-avt-rtp-hdrext-01 (進(jìn)行中)-"A general mechanism for RTP
Header Extensions (RTP報(bào)頭擴(kuò)展的通用機(jī)制)"中所定義的。
長(zhǎng)度(len) : 4比特
此報(bào)頭擴(kuò)展元素的數(shù)據(jù)字節(jié)的長(zhǎng)度減一，不計(jì)入報(bào)頭字節(jié)(ID和len)。 如果存在第二個(gè)字(取代范圍)，則這將具有值6，如果不存在，則為2。因 此，其值必須或者為2或者為6。
R: 1比特
指示包含此報(bào)頭擴(kuò)展元素的分組是系列SER中具有R序號(hào)RSEQ的R分 組的比特。如果此比特未被置位，則報(bào)頭擴(kuò)展元素替代地指示媒體流在系列 SER中的最近R分組具有R序號(hào)RSEQ。如果此比特未被置位，則取代范圍應(yīng) 當(dāng)不存在(即，len字段應(yīng)當(dāng)為2)并且在存在的情況下必須被忽略。
保留，必須為零(MBZ) : 3比特
保留比特。這些必須在傳送時(shí)被設(shè)為零，并且在接收時(shí)被忽略。 系列ID (SER) : 4比特
R分組系列的標(biāo)識(shí)符由此報(bào)頭擴(kuò)展元素來(lái)描述。如果媒體編碼器僅描述單 個(gè)R分組系列，則此應(yīng)當(dāng)具有值0。例如，使用圖13中所示的可縮放視頻畫 面編碼結(jié)構(gòu)，L分組(空間增強(qiáng)基層，所有線程)可比方將SER設(shè)為零，而S 分組(空間增強(qiáng)層，所有線程)可將SER設(shè)為1。
R分組序號(hào)(RSEQ) : 16比特
指示此R分組在系列SER中的編號(hào)的無(wú)符號(hào)序號(hào)。在給定系列中每發(fā)送 一個(gè)R分組，此值遞增l (mod2八16)。各個(gè)序列的RSEQ值是獨(dú)立的。
取代范圍的起始(SUPERSEDE—START) : 16比特
被此R分組取代的最早R分組(包括此分組)的R序號(hào)，通過模2"6 計(jì)算出。(由于此值使用模運(yùn)算，因此值RSEQ + 1可用于SUPERSEDE—START 以指示在取代范圍末端之前的所有R分組已被取代。)此字段是任選的，并且 僅在ler^6時(shí)存在。
取代范圍的末端(SUPERSEDE—END) : 16比特
被此R分組取代最后R分組(包括此分組)的R序號(hào)，通過模2"6計(jì) 算出。此值必須位于閉合范圍[SUPERSEDE—START.. RSEQ]模216中。此 字段是任選的，并且僅在lei^6時(shí)存在。
RTP分組可包含多個(gè)R分組標(biāo)記元素，只要這些元素的每一個(gè)都具有一 不同的SER值。然而，RTP分組不能包含一個(gè)以上的、R比特被置位的這種 報(bào)頭擴(kuò)展元素，S卩，R分組不可屬于一個(gè)以上的系列。
媒體流中使用R分組的所有RTP分組應(yīng)當(dāng)包括針對(duì)所有活躍系列的標(biāo)記 元素。
當(dāng)此報(bào)頭擴(kuò)展元素的第二個(gè)字存在時(shí)，它指示此R分組取代某些先前接 收到的R分組，這意味著這些分組不再是重構(gòu)流狀態(tài)所必需的。第二個(gè)字必須 僅在其R比特被置位的報(bào)頭擴(kuò)展元素中出現(xiàn)。
R分組可僅取代系列中由元素的SER字段標(biāo)識(shí)的R分組。R分組不能取 代其它系列中的分組。
對(duì)于取代元素而言，具有SUPERSEDE一END-RSEQ是有效的。這指示R 分組取代其自身，即，此R分組直接變成與流狀態(tài)無(wú)關(guān)。實(shí)際上，這樣做的最 通常原因是要結(jié)束一系列；這可通過發(fā)送具有取代范圍(SUPERSEDE一START, SUPERSEDE—END) :(RSEQ+1,RSEQ)的空分組(例如，RTP No-op分組，參 見F. Andreasen在2005年5月的draft-ietf-avt-rtp-no-op-OO(進(jìn)行中)的"A No-op Payload Format for RTP (RTP的No-op有效載荷格式)")，以使得該系列不 再包含任何未經(jīng)取代的分組。
在系列中發(fā)送的第一 R分組應(yīng)當(dāng)在取代范圍為(SUPERSEDE一START,
SUPERSEDE—END) = (RSEQ+1, RSEQ-I)下發(fā)送，以明確該范圍內(nèi)沒有其它R 分組存在。
R分組可冗余地包括要被取代的分組范圍內(nèi)已被取代的分組。
R分組的丟失由接收器來(lái)檢測(cè)，并且由該接收器用RTCP反饋消息向發(fā)送 器進(jìn)行指示。R分組否定確認(rèn)(NACK)消息是由PT二RTPFB且FMT=4 (作 為示例)標(biāo)識(shí)的RTCP反饋消息(例如，參見J. Ott等人在2006年7月的RFC 4585的"Extended RTP Profile for RTCP-based Feedback (RTP/AVPF)(基于 RTCP反饋的擴(kuò)展RTP概況(RTP/AVPF))")。根據(jù)本發(fā)明，也可選擇其 它值。FCI字段必須包含至少一個(gè)且可包含一個(gè)以上的RNACK。
RNACK分組用于指示一個(gè)或多個(gè)R分組的丟失。丟失分組經(jīng)由分組序號(hào)、 系列標(biāo)識(shí)符和位屏蔽來(lái)標(biāo)識(shí)。
RNACK消息的結(jié)構(gòu)和語(yǔ)義類似于AVPF通用NACK消息的那些。
圖20示出了 RNACK反饋控制信息(FCI)的示例性語(yǔ)法，其中各個(gè)字段 定義如下
R分組序號(hào)(RSEQ) : 16比特
RSEQ字段指示接收器尚未接收到的RSEQ值。
系列ID (SER):4比特
哪個(gè)R分組序列正被此報(bào)頭擴(kuò)展元素描述為丟失的標(biāo)識(shí)符。 后續(xù)丟失R分組的位屏蔽(BLR) : 12比特
BLR允許報(bào)告緊隨由RSEQ指示的RTP分組之后的12個(gè)R分組中的任 一個(gè)的丟失。指示BLP的最低有效位為比特1，且其最高有效位為比特12， 如果接收器尚未接收到系列SER (模2A16)中的R分組號(hào)(RSEQ+i)，則位屏 蔽的比特i被設(shè)為比特l，并且指示此分組丟失；否則比特i被設(shè)為0。注意 發(fā)送器不能假定接收器已接收到R分組，因?yàn)槠湮黄帘伪辉O(shè)為0。例如，如果 序列中對(duì)應(yīng)于RSEQ的分組和后續(xù)的R分組已丟失，則BLR的最低有效位可 被設(shè)為l。然而，發(fā)送器不能僅因?yàn)楸忍谺LR的比特2到15為0就推斷已接 收到分組RSEQ+2到RSEQ+16;所有發(fā)送器都知道接收器此時(shí)尚未將它們當(dāng)作丟失來(lái)報(bào)告。
當(dāng)接收器檢測(cè)到其尚未接收到非替代的R分組時(shí)，它遵照RTCP (參見J. Ott和S. Wenger在2004年8月的draft-ietf-avt-rtcp-feedback-l 1 (進(jìn)行中)一 "Extended RTP Profile for RTCP-based Feedback(RTP/AVPF)(基于RTCP反饋 的擴(kuò)展RTP概況(RTP/AVPF))")盡可能快地發(fā)送RNACK消息。在多點(diǎn) 情況中，這包括監(jiān)聽來(lái)自其它接收器的RNACK分組但不針對(duì)已被報(bào)告的丟失 R分組發(fā)送RNACK。
當(dāng)發(fā)送器接收到RNACK分組時(shí)，其檢查該分組是否已被取代。如果其 尚未被取代，則發(fā)送器重傳被發(fā)送的RNACK所針對(duì)的分組(使用例如RTP 重傳有效載荷，參見J. Rey等人在2006年7月的RFC 4588的"RTP Retransmission Payload Format (RTP重傳有效載荷格式)")。如果分組已被 取代，則它重傳最近的分組，后者的R分組元素指示包括所請(qǐng)求分組的取代分 組范圍。
取代重傳先前已發(fā)送的分組，發(fā)送器還可選擇生成和發(fā)送取代RNACK中 所請(qǐng)求分組的新的R分組。
在某一時(shí)間段之后，如果接收器尚未接收到或者被發(fā)送的RNACK所針對(duì) 的R分組或者取代該分組的R分組的重傳，則它應(yīng)當(dāng)重傳RNACK消息。接 收器不能以超過AVPF所準(zhǔn)許的頻率發(fā)送RNACK消息。它在可能的情況下應(yīng) 當(dāng)執(zhí)行對(duì)到發(fā)送器的往返行程時(shí)間的估計(jì)，并且不應(yīng)當(dāng)以超過每往返行程時(shí)間 一次的頻率發(fā)送RNACK消息。(如果接收器也充當(dāng)RTP發(fā)送器，且發(fā)送器 正發(fā)送關(guān)于接收器的流的RTCP接收?qǐng)?bào)告，則可根據(jù)發(fā)送器報(bào)告的LSR和 DLSR字段推斷出往返行程時(shí)間。)如果往返行程時(shí)間不可用，則接收器不應(yīng) 當(dāng)比設(shè)置時(shí)間段更頻繁地發(fā)送RNACK消息?？赡苤禐?00毫秒，盡管根據(jù)應(yīng) 當(dāng)環(huán)境其它值也可能是合適的，這對(duì)本領(lǐng)域技術(shù)人員是顯而易見的。
上述RNACK機(jī)制也可作為肯定確認(rèn)'RACK，消息來(lái)應(yīng)用。在此情形中， 接收器向發(fā)送器指示哪些分組已被正確接收。根據(jù)本發(fā)明的原理，在對(duì)分組報(bào) 頭的語(yǔ)義進(jìn)行適當(dāng)修改的情況下，與RNACK消息相同的設(shè)計(jì)可被用作這些 'RACK'消息。RACK消息可具有有效載荷特定解釋，例如，它們可對(duì)應(yīng)于切 片或整個(gè)幀。在此類情形中，RACK消息必須確認(rèn)相關(guān)切片或幀所涉及的所有
各個(gè)分組。
在同一系統(tǒng)中組合使用RACK和RNACK也是可能的。
R分組技術(shù)具有若干優(yōu)點(diǎn)。首先，它使得發(fā)送器能夠?qū)⑺蒖TP流中 的分組子集指示為高優(yōu)先級(jí)(R)分組。
它還使得接收器能夠確定其何時(shí)已丟失R分組、何時(shí)接收到流的任何分 組，并且無(wú)需考慮經(jīng)編碼的流的依存性結(jié)構(gòu)如何。
它還使得接收器能夠向發(fā)送器指示其在何時(shí)已丟失R分組。這可通過否 定確認(rèn)已被標(biāo)識(shí)為丟失的任何分組來(lái)實(shí)現(xiàn)。任選地，接收到的R分組可由接收 器迸行肯定確認(rèn)。
另外，它使得不管已丟失多少其它非R分組，接收器都能夠確定其自接 收到的最后分組起未丟失任何R分組。
又一個(gè)優(yōu)點(diǎn)在于，它使得發(fā)送器能夠——或者以編解碼器知曉的方式(例 如，H.264切片)或者以編解碼器未知曉的方式(例如，RFC3984分段單元)—— 將幀劃分成任何數(shù)目的R分組。
另一個(gè)優(yōu)點(diǎn)在于，它使得發(fā)送器能夠聲明R分組取代先前的R分組，艮P， 先前的某些R分組不再是建立流狀態(tài)所必需的。這包括能夠聲明給定分組之前 的所有R分組已被取代，以及一定范圍的R分組被取代兩者。
最后，另一個(gè)優(yōu)點(diǎn)在于，它允許編碼器以允許R分組狀態(tài)從FEC流恢復(fù) 的方式對(duì)其媒體流——或者對(duì)所有分組或者選擇性地僅對(duì)于R分組——應(yīng)用 前向糾錯(cuò)(FEC )(參見例如A. Li在2006年3月的draft-ietf-avt-ulp-17 (進(jìn)行
中)-"RTP Payload Format for Generic Forward Error Correction (通用前向
糾錯(cuò)的RTP有效載荷格式)"。
允許接收器以最小延遲檢測(cè)LR畫面(包括SR畫面)已丟失的第二示例 性檢測(cè)技術(shù)可應(yīng)用于基于H.264 Annex G (SVC)草案標(biāo)準(zhǔn)的系統(tǒng)。在此情 形中，H.264 Annex G(SVC)NAL單元被用作進(jìn)行傳輸?shù)幕A(chǔ)。目前H.264 SVC 編解碼器的設(shè)計(jì)不運(yùn)送足以允許接收器確定是否已接收到流的全部最低時(shí)間 層(R)——即H.264 SVC術(shù)語(yǔ)中的"關(guān)鍵畫面"的信息。例如，參看圖21， 幀0和幀3都是自身存儲(chǔ)在長(zhǎng)期參考緩沖器中的位置0的關(guān)鍵幀。幀4參考長(zhǎng) 期參考緩沖器中的位置0。如果幀3完全丟失，則幀4不能被正確解碼。然而，
接收器在H.264 Annex G (SVC)草案標(biāo)準(zhǔn)下無(wú)法了解這些；接收器如同它能 夠使用幀0作為幀4的參考那樣來(lái)進(jìn)行操作，因而顯示不正確的圖像。
用于使得解碼器能夠檢測(cè)幀丟失的機(jī)制要將連續(xù)幀號(hào)或索引指派給關(guān)鍵 圖片，并且使非關(guān)鍵幀通過參考最近的關(guān)鍵幀的幀索引來(lái)指示該最近的關(guān)鍵 幀。通過檢查關(guān)鍵幀索引，流接收器可確定其是否確實(shí)接收到當(dāng)前幀之前的流 的全部關(guān)鍵畫面。對(duì)于以H.264 SVC語(yǔ)法提供幀索引信息，存在多種可能性。 以下參照?qǐng)D23和24描述了兩種替換性實(shí)施例。
圖22示出SVC NAL報(bào)頭擴(kuò)展的結(jié)構(gòu)，如在目前的H.264 Annex G草案(參 見例如2006年7月在Klagenfiirt由J. Reichel、 D. Santa Cruz和F. Ziliani修改 的聯(lián)合視頻組的文獻(xiàn)JVT-T201的T. Wiegand、 G. Sullivan、 J. Reichel、 H. Schwarz、 M. Wien等人的"Joint Draft 7， Rev. 2:Scalable Video Coding (聯(lián)合草 案7，修訂版2:可縮放視頻編碼)"，2006年7月在Klagenfurt的聯(lián)合視頻 組的文檔JVT- TO 83 (經(jīng)修改)的"On High Level Syntax (關(guān)于高級(jí)語(yǔ)法)"， 這兩篇文獻(xiàn)皆通過引用全部結(jié)合于此)中定義的。圖22示出3字節(jié)報(bào)頭的結(jié) 構(gòu)，以及各個(gè)字段的名稱及其比特長(zhǎng)度。dependency—id (依存性JD) (D)、 temporal—level (時(shí)間—級(jí))(T)以及quality—level (質(zhì)量—級(jí))(Q)字段分 別指示空間/粗粒度質(zhì)量、時(shí)間和細(xì)粒度質(zhì)量維度中的點(diǎn)。換言之，它們指示 NAL的有效載荷在由可縮放編碼器提供的一組分辨率中的位置。注意，此方 案中的基層通過D=Q=T=0來(lái)標(biāo)識(shí)。
此外，注意當(dāng)T=Q=0時(shí)，fragmented—flag(分段_標(biāo)志)、last—fragment—flag (最后—片段—標(biāo)志)、fragment—order (片段_次序)字段沒有使用，因?yàn)樗鼈?僅對(duì)FGS經(jīng)編碼的數(shù)據(jù)相關(guān)(Q>0)。這些字段提供總共4比特。如果后綴 reserved—zero—two—bits (保留_零—兩—比特)被包括在內(nèi)，則總共為6比特。類 似地，當(dāng)T>0但Q=0時(shí)，總共4比特的字段fragmented—flag、last_fragment—flag、 fragment—order不被使用。如果添加后綴保留比特，則總共為6比特。通過注 意條件T-Q-O對(duì)應(yīng)于關(guān)鍵畫面，而TX)且Q-對(duì)應(yīng)于非關(guān)鍵畫面，可看到存在 可用于引入幀編號(hào)的若干比特。可用的比特?cái)?shù)目受非關(guān)鍵幀比特的限制。
圖23示出根據(jù)用于以H.264 SVC語(yǔ)法提供幀索引信息的示例性技術(shù)的經(jīng) 更改的SVCNAL擴(kuò)展報(bào)頭的結(jié)構(gòu)。注意報(bào)頭的長(zhǎng)度不變；然而，某些比特
取決于T和Q字段的值而被不同地解釋。在T-0且Q^的情況下，F(xiàn)、 LF、 FO和R2字段被解釋為指定了指派給當(dāng)前接入單元的關(guān)鍵畫面幀索引的FI字 段(key_picture—frame_idx (關(guān)鍵—畫面_幀—索引))。在T>0且Q=0的情況下， F、 LF、 F0和R2字段被解釋為指定按照解碼次序相對(duì)于當(dāng)前接入單元的最近 關(guān)鍵幀的key_pic_frame—idx的LFI字段(last—key_picture—frame—idx (最后_關(guān) 鍵_畫面_幀—索引))。
對(duì)非關(guān)鍵幀使用6比特允許表示64個(gè)連續(xù)幀號(hào)。使用在每秒30幀下低至 4個(gè)的關(guān)鍵畫面時(shí)段，每個(gè)幀號(hào)周期為8.4秒。最小周期時(shí)間為4.2秒，對(duì)應(yīng)于 2個(gè)的關(guān)鍵畫面時(shí)段。明顯地，較長(zhǎng)的時(shí)間提供更好的穩(wěn)健性，因?yàn)閰⒖籍嬅?與到達(dá)的畫面之間幀號(hào)重復(fù)的機(jī)會(huì)得以減小。
用于以H.264 SVC語(yǔ)法提供幀索引信息的技術(shù)的第二實(shí)施例通過使用保 留比特之一作為擴(kuò)展標(biāo)志——當(dāng)它被置位時(shí)發(fā)信號(hào)通知報(bào)頭中存在附加比特 或字節(jié)——來(lái)允許較長(zhǎng)長(zhǎng)度的幀索引。圖24示出此實(shí)施例的示例性SVCNAL 報(bào)頭擴(kuò)展結(jié)構(gòu)，其中最初3字節(jié)報(bào)頭的最后比特現(xiàn)在用作擴(kuò)展標(biāo)志(EF， extension_flag (擴(kuò)展_標(biāo)志))。當(dāng)EF標(biāo)志被置位時(shí)，報(bào)頭中存在附加字節(jié)。 取決于T字段(temporal—level (時(shí)間—級(jí)))的值，此附加字節(jié)被解釋為FI或 LFI字段。
在兩個(gè)實(shí)施例(3字節(jié)或4字節(jié)SVCNAL報(bào)頭擴(kuò)展)中，F(xiàn)I字段值遞增 并滿足以下約束
如果當(dāng)前畫面是IDR畫面，則FI值應(yīng)當(dāng)?shù)扔贠;以及
否則，艮卩，如果當(dāng)前畫面不是IDR畫面，則令PrevTLOFrameldx等于按 照解碼次序T等于0的最近畫面的FI值。當(dāng)前畫面的FI的值應(yīng)當(dāng)?shù)扔?(PrevTLOFrameldx + 1)%256。數(shù)字256表示FI字段的動(dòng)態(tài)范圍(最大值+l)， 并且應(yīng)當(dāng)針對(duì)不同的FL字段長(zhǎng)度調(diào)節(jié)成值2^以比特計(jì)的FI長(zhǎng)度)。
在RTP傳輸上下文和H.264 SVC NAL傳輸上下文中，根據(jù)本發(fā)明的用于 指示R畫面索引值并在非R畫面中引用它的替換性機(jī)制對(duì)于本領(lǐng)域技術(shù)人員 將是顯而易見的。
現(xiàn)在關(guān)注在視頻通信系統(tǒng)中使用LR畫面進(jìn)行可靠傳輸和隨機(jī)接入的替換 性實(shí)施例(參看圖1)。在本發(fā)明的替換性實(shí)施例中，SVCS單元可被配置成
通過解碼所有LR畫面并將最近的LR畫面保留在緩沖器中來(lái)便于LR畫面的 可靠傳輸。當(dāng)接收器經(jīng)歷分組丟失時(shí)，它可從SVCS請(qǐng)求最近LR畫面的副本。 此畫面現(xiàn)在可在SVCS處被編碼成高質(zhì)量?jī)?nèi)畫面并被傳送到接收器。此經(jīng)編碼 的畫面被稱為內(nèi)LR畫面。盡管帶寬開銷可能很高，但是這僅影響特定SVCS 與經(jīng)歷分組丟失的接收器之間的鏈路。內(nèi)LR畫面隨后可被接收器用作應(yīng)當(dāng)被 包含在其參考畫面緩沖器中的實(shí)際參考畫面的良好近似。為了改進(jìn)這種近似， 幀內(nèi)編碼較佳地應(yīng)當(dāng)具有極高質(zhì)量。由H.264支持的SI/SP技術(shù)還可用來(lái)提供 對(duì)用于與比特流同步所需的參考幀的準(zhǔn)確再現(xiàn)。在此情形中，SI和SP畫面兩 者必須由編碼器生成。SI畫面由未接收到SP畫面的接收器使用。通過構(gòu)造， 使用SI/SP畫面機(jī)制沒有漂移。注意盡管SI/SP機(jī)制當(dāng)前僅被H.264 AVC支 持，但是完全可對(duì)SVC類型(可縮放)編碼應(yīng)用相同的方法。SI畫面可被SVCS 進(jìn)行高速緩存，并且僅提供給新參與者。
在最接近接收最終用戶的SVCS不具有用于持續(xù)解碼LR畫面(或者在 LR畫面不存在的情況下的LO畫面)的計(jì)算能力的情形中，該任務(wù)可被指派給 在傳輸路徑的較早級(jí)處的SVCS。在極端情形中，指派(以及最終用戶的相關(guān) 聯(lián)請(qǐng)求)可在發(fā)送器自身處進(jìn)行。
注意常規(guī)解碼畫面與在使用內(nèi)LR畫面之后解碼的那些畫面之間的匹配 并不一定精確(除非使用SI/SP幀)。然而，結(jié)合內(nèi)宏塊，在傳輸期間可能存 在的視覺偽像被極大地減少的同時(shí)，視頻通信系統(tǒng)可逐漸恢復(fù)同步。這種技術(shù) 的益處在于其將差錯(cuò)處理完全局部化在經(jīng)歷分組丟失的鏈路上。結(jié)果，其他參 與者在其視頻信號(hào)的質(zhì)量上完全不遭受懲罰。
以上差錯(cuò)彈性技術(shù)也可用于提供對(duì)經(jīng)編碼視頻信號(hào)的隨機(jī)接入。例如，在 圖1中所示的視頻會(huì)議示例中，當(dāng)最終用戶3加入最終用戶1與2之間的現(xiàn)行 視頻會(huì)議時(shí)，最終用戶3將開始從兩個(gè)最終用戶1和2處接收經(jīng)編碼的視頻流。 為了能夠適當(dāng)?shù)亟獯a這些流，最終用戶3處的視頻解碼器必須與最終用戶1和 2處的解碼器同步。這要求將最終用戶3處的參考畫面與最終用戶1和2處的 參考畫面對(duì)齊。
如前所述，由于使用內(nèi)畫面會(huì)對(duì)系統(tǒng)帶寬產(chǎn)生較大影響——對(duì)于較大會(huì)議 的媒體尤其如此——因此使用內(nèi)畫面沒有吸引力。內(nèi)宏塊的替換性技術(shù)可用于
在較小的時(shí)段內(nèi)實(shí)現(xiàn)同步。
在本發(fā)明的實(shí)施例中，基于服務(wù)器的內(nèi)LR畫面被直接用于隨機(jī)接入。當(dāng)
參與者第一次加入會(huì)議時(shí)，它立即請(qǐng)求這種內(nèi)LR畫面，并隨后進(jìn)入差錯(cuò)恢復(fù)
模式(就像丟失了分組那樣)。通過同時(shí)使用內(nèi)宏塊，解碼器將快速與編碼器
同步，但是在處于差錯(cuò)恢復(fù)模式期間，視覺偽像將被最小化。注意發(fā)送編碼 器通過會(huì)話的信令機(jī)制了解新的用戶何時(shí)加入通信會(huì)話，并且可由此發(fā)起使用
內(nèi)宏塊或按需增加其頻率。這例如通過圖6中所示的RRC模塊630來(lái)實(shí)現(xiàn)。 因此，與內(nèi)宏塊相關(guān)聯(lián)的編碼效率的降低僅被限于新的用戶加入會(huì)話的期間。 由基于服務(wù)器的內(nèi)畫面所導(dǎo)致的計(jì)算復(fù)雜度并非十分高。假定每三個(gè)L0 幀中有一個(gè)是LR幀，則僅需要解碼8%的幀。將僅需要對(duì)很少部分的幀進(jìn)行 編碼。實(shí)際上，僅集中在隨機(jī)接入問題上(例如，參與者改變分辨率、或預(yù)訂 會(huì)話)，則僅需要對(duì)10%或更少的幀進(jìn)行編碼。還可通過限制每個(gè)被處理的流 生成I幀的頻率來(lái)將編碼限于任何期望值。例如，假定8%的幀被解碼且2%被 編碼(對(duì)應(yīng)于每48幀的隨機(jī)進(jìn)入)，則與必須解碼和編碼整個(gè)流的譯碼MCU/ 服務(wù)器的傳統(tǒng)實(shí)現(xiàn)相比，總的復(fù)雜度小于3.5% (8% x 25% + 2% x 75% = 3.5%， 假定編碼復(fù)雜度是解碼復(fù)雜度的3倍)。類似于傳統(tǒng)譯碼MCU，基于服務(wù)器 的內(nèi)LR畫面技術(shù)可將內(nèi)幀請(qǐng)求(例如，對(duì)于差錯(cuò)恢復(fù)、隨機(jī)接入以及畫面大 小的改變)與傳送器隔離開，并由此限制了這種幀內(nèi)請(qǐng)求對(duì)其它參與者端點(diǎn)的 影響。
如前所述，如果服務(wù)器不具有用于基于服務(wù)器的內(nèi)畫面處理的CPU能力， 或者如果服務(wù)器未在會(huì)議會(huì)話中預(yù)訂所請(qǐng)求的流，則內(nèi)畫面請(qǐng)求可傳播到下一 SVCS (即，更靠近特定視頻流的傳送器)。如果系統(tǒng)中沒有服務(wù)器具有合適 的內(nèi)畫面處理功能，則內(nèi)畫面請(qǐng)求甚至可傳播到發(fā)送器/傳送器本身。
以基于服務(wù)器的LR畫面為基礎(chǔ)的視頻會(huì)議保留基于可縮放視頻和聯(lián)播的 視頻會(huì)議的優(yōu)點(diǎn)。這些優(yōu)點(diǎn)包括因無(wú)需抖動(dòng)緩沖器而實(shí)現(xiàn)的最小服務(wù)器延遲 (即使具有LR畫面)、改進(jìn)的差錯(cuò)彈性、以及比傳統(tǒng)MCU的復(fù)雜度小一個(gè) 量級(jí)的復(fù)雜度。
以上所述的LR和基于服務(wù)器的內(nèi)LR畫面技術(shù)也可直接應(yīng)用于空間可縮 放性和SNR或質(zhì)量可縮放性。LR畫面和基于服務(wù)器的內(nèi)LR畫面的概念可應(yīng)
用于空間或質(zhì)量層的任一個(gè)。例如，圖13示出具有三個(gè)時(shí)間層和兩個(gè)空間或
質(zhì)量層的示例性畫面編碼結(jié)構(gòu)1300。除差錯(cuò)彈性和隨機(jī)接入之外，空間可縮放 性和SNR可縮放性需要考慮層切換。例如，當(dāng)正在以CIF分辨率觀看參與者 的最終用戶決定切換至QCIF或反之時(shí)，可能導(dǎo)致層切換的需要。對(duì)于差錯(cuò)彈 性和隨機(jī)接入而言，層切換是類似的，但并不相同。不同分辨率(空間或質(zhì)量) 之間的相關(guān)性可被有益地用于創(chuàng)建有效的層切換機(jī)制。
應(yīng)當(dāng)注意如當(dāng)前在H.264 SVC標(biāo)準(zhǔn)化努力中所研究的，在空間可縮放 性方面，在單環(huán)路中操作接收器是可能的。如果在高分辨率下執(zhí)行的預(yù)測(cè)不使 用要求以低分辨率應(yīng)用運(yùn)動(dòng)補(bǔ)償?shù)娜魏蔚头直媛市畔?，則單環(huán)路操作可能的。 換言之，預(yù)測(cè)可使用內(nèi)宏塊、運(yùn)動(dòng)矢量、預(yù)測(cè)模式、經(jīng)解碼的預(yù)測(cè)差錯(cuò)值，但 不使用低分辨率的實(shí)際經(jīng)解碼的像素。雖然從計(jì)算的觀點(diǎn)來(lái)看，單環(huán)路解碼使 得可縮放解碼器較為簡(jiǎn)單，但是其使得從低到高或從高到低的分辨率切換成為 一個(gè)復(fù)雜的問題。單環(huán)路解碼的替換方案是其中以兩個(gè)或多個(gè)接收分辨率解碼 接收到的信號(hào)的多環(huán)路解碼。多環(huán)路解碼顯著地增大了解碼復(fù)雜度，因?yàn)樗?似于同時(shí)操作多個(gè)解碼器(每個(gè)經(jīng)解碼的分辨率一個(gè))。
在許多視頻會(huì)議應(yīng)用中，分辨率之間的頻率切換是必需的。例如，考慮其 中有5個(gè)人參加并且說(shuō)話者在較大窗口中呈現(xiàn)而其他參與者則在較小的窗口呈 現(xiàn)的中型會(huì)議中的動(dòng)態(tài)布局。通過使用兩個(gè)分辨率下的LR畫面，解碼器可維 護(hù)解碼環(huán)路，后者使得兩個(gè)分辨率下的參考畫面緩沖器的內(nèi)容相近似——準(zhǔn)確 而言是在LR時(shí)間點(diǎn)處。當(dāng)從一個(gè)分辨率切換到另一個(gè)時(shí)，LR畫面可用作解 碼成另一分辨率的起始點(diǎn)。假定這些LR畫面是每4個(gè)L0畫面中的一個(gè)，則 轉(zhuǎn)換在0.4秒內(nèi)發(fā)生，同時(shí)計(jì)算開銷小于單環(huán)路解碼的10% (準(zhǔn)確地為1/12)。 當(dāng)解碼器僅'預(yù)訂'LR畫面時(shí)，SVCS可向解碼器傳送分割成較小片的LR幀。 這些較小的片可分散在LR周期上的所有幀之間，以在給定鏈路上維護(hù)平滑的 比特率?；蛘?，SVCS可跨時(shí)間地分散于來(lái)自多個(gè)流的不同LR幀上。
兩個(gè)分辨率下的內(nèi)宏塊也可用來(lái)便于層切換。假定端點(diǎn)希望從低分辨率轉(zhuǎn) 到高分辨率。其將持續(xù)解碼低分辨率信號(hào)并以高分辨率顯示它(上釆樣)，同 時(shí)將在"差錯(cuò)恢復(fù)"模式中開始解碼高分辨率信號(hào)但不顯示它。當(dāng)接收器確 信其高分辨率解碼環(huán)路與編碼器充分同步時(shí)，它可將顯示切換到經(jīng)解碼的高分辨率畫面且任選地停止解碼低分辨率環(huán)路。相反，當(dāng)從高分辨率轉(zhuǎn)到低分辨率 時(shí)，接收器可使用高分辨率畫面作為低分辨率編碼環(huán)路的良好參考畫面，并以 低分辨率在常規(guī)差錯(cuò)恢復(fù)模式(并且進(jìn)行顯示)繼續(xù)。通過這種方法，端點(diǎn)將 避免必須持續(xù)接收高分辨率數(shù)據(jù)。
使用內(nèi)宏塊的一個(gè)可能的缺點(diǎn)是其在切換或進(jìn)入時(shí)間與施加于流的當(dāng)前 接收器上開銷的量之間造就一種權(quán)衡。切換越快速，則對(duì)于當(dāng)前接收器而言， 將有越多的開銷。以上
所述方法或在服務(wù)器上生成內(nèi)幀的是用于有效地 避開這種權(quán)衡的一種可能的方法，但它在服務(wù)器上的確需要附加媒體處理。本 發(fā)明之下的其它方法如下
方法(a)，其中內(nèi)宏塊被包括在LR/SR幀中(以使得低速率切換或進(jìn)入將 可能具有極低的開銷)，同時(shí)SVCS高速緩存LR/SR幀。當(dāng)新的接收器進(jìn)入流 時(shí)，SVCS僅向其提供這些幀以使得接收器可比實(shí)時(shí)更快地將它們解碼(通常 為1:8)并且縮短進(jìn)入時(shí)間。
方法(b)，其中作為方法(a)的補(bǔ)充，SVCS移除高速緩存的LR/SR畫面中 存在的、對(duì)于接收器而言因后繼I宏塊而變得冗余的幀間宏塊。這在LR/SR幀 由編碼器以切片形式來(lái)配備的情況下可更容易實(shí)現(xiàn)，以使此操作將僅需要?jiǎng)h去 此類冗余的中間切片。在以下描述中，這兩種方法(a)和(b)都稱為"內(nèi)宏塊快 速轉(zhuǎn)發(fā)"。
圖25示出內(nèi)宏塊快速轉(zhuǎn)發(fā)的操作。附圖示出在三個(gè)連續(xù)時(shí)刻t = i到i+2 處各自被編碼成三個(gè)單獨(dú)切片的LR畫面2500 (LRi到i+2)。在各個(gè)時(shí)刻， 三個(gè)切片之一被編碼為幀內(nèi)(A)。當(dāng)進(jìn)行組合時(shí)，這三個(gè)畫面一起向解碼器 提供每個(gè)宏塊的至少一個(gè)內(nèi)版本。為了用于創(chuàng)建參考畫面，除內(nèi)切片A之外， 解碼器還必須接收?qǐng)D中所示的陰影切片(B)。這些陰影切片是使用宏塊數(shù)據(jù) 從同一位置處的先前切片預(yù)測(cè)的。在實(shí)現(xiàn)快速轉(zhuǎn)發(fā)內(nèi)恢復(fù)時(shí)，服務(wù)器需要高速 緩存提供這種內(nèi)切片編碼的任何連續(xù)LR畫面。 一旦有來(lái)自接收器的請(qǐng)求，服 務(wù)器就僅需傳送內(nèi)切片以及圖25中所指示的陰影切片B。圖25中所示的非陰 影切片(C)無(wú)需被傳送。
注意并非所有LR畫面都必須提供此類內(nèi)切片編碼。例如，假定LR畫 面的傳輸模式諸如為L(zhǎng)RILRILRILRLRLR，其中T上標(biāo)指示存在內(nèi)切片，則
服務(wù)器不僅必須高速緩存內(nèi)切片及其在LRI畫面中的依存切片，還必須高速緩
存后續(xù)LR畫面中的依存切片。
此技術(shù)可被擴(kuò)展到高分辨率同步。例如，在如上所述同步到基層之后，接 收器可在開始時(shí)顯示經(jīng)上采樣的基層信息。同時(shí)，它可在增強(qiáng)(S)層(通過 SRJ畫面)中發(fā)起相同的過程。注意這些畫面在SVCS處無(wú)需被高速緩存， 而是接收器一被添加到會(huì)話就指示編碼器開始生成它們。由于恢復(fù)點(diǎn)是根據(jù)高 速緩存的基層來(lái)確定的，因此這不會(huì)增加同步時(shí)間。這將僅影響由接收器看到 的初始視頻質(zhì)量。圖26示出使用由三個(gè)切片構(gòu)成的LR畫面的示例的這種高分 辨率同步過程。
參看圖26， SVCS高速緩存LRI畫面的整個(gè)周期2610以及后續(xù)LR畫面 (2610，)。當(dāng)客戶端加入(例如，在A點(diǎn))時(shí)，SVCS盡可能快地向接收器 傳送所有高速緩存的LR畫面。 一解碼所有這些畫面，接收器現(xiàn)在就處于同步 (例如，在B點(diǎn))并可開始LR流的常規(guī)解碼。它還可顯示經(jīng)解碼的、上采樣 到高分辨率的畫面。同時(shí)，在A點(diǎn)處，通知編碼器來(lái)生成SRI畫面2620。這 些畫面開始在C點(diǎn)到達(dá)接收器。 一接收到整個(gè)周期的SRI畫面(例如，在D 點(diǎn))，接收器就從顯示上釆樣的基層畫面切換到顯示經(jīng)解碼的全分辨率畫面。 盡管LR恢復(fù)是通過比實(shí)時(shí)更快速地解碼來(lái)實(shí)現(xiàn)的，但是SR恢復(fù)是通過實(shí)時(shí) 解碼來(lái)實(shí)現(xiàn)的。在此示例中，接收器能夠在B點(diǎn)產(chǎn)生顯示輸出(雖然以較低的 質(zhì)量)。應(yīng)當(dāng)理解，根據(jù)本發(fā)明的原理，可對(duì)SR恢復(fù)使用不同的定時(shí)或速率。 例如，在帶寬允許的情況下，SR恢復(fù)可連同LR恢復(fù)一起被快速轉(zhuǎn)發(fā)。此外， 內(nèi)宏塊可一直存在于SR畫面中，而非僅在可適于較大會(huì)議或與頻繁分辨率改 變相關(guān)聯(lián)的會(huì)議時(shí)按需發(fā)起。最后，如果已在接收器中解碼LR畫面，則僅快 速轉(zhuǎn)發(fā)SR級(jí)所需的信息可被提供給解碼器。
可在正確時(shí)間指示解碼器開始使用如在H.264規(guī)范中定義的恢復(fù)點(diǎn)SEI 消息來(lái)顯示畫面。參數(shù)recovery—frame—cnt(恢復(fù)—幀—計(jì)數(shù))禾卩exact—match_flag (準(zhǔn)確—匹配一標(biāo)志)可用于指示完成恢復(fù)的幀號(hào)，以及是否與編碼器相匹配。 在內(nèi)宏塊被減小以使得刷新需要較大數(shù)目的LR/SR幀的情況中，快速轉(zhuǎn) 發(fā)方法將要求發(fā)送大量LR/SR幀，從而導(dǎo)致比質(zhì)量相當(dāng)?shù)囊粋€(gè)I幀更大的總帶 寬利用。此外，在許多視頻切換技術(shù)(例如，語(yǔ)音激活切換)中，許多接收器
將需要切換到較低或較高分辨率下的相同畫面。在這些情形中，方法(a)可增加 執(zhí)行R幀的解碼以及向切換或進(jìn)入接收器發(fā)送常規(guī)內(nèi)幀的服務(wù)器(方法(c))。 這種經(jīng)增加的方法(a)提供了在當(dāng)前預(yù)訂流的端點(diǎn)處維持較小開銷的同時(shí)降低 與基于服務(wù)器的內(nèi)幀方法相關(guān)聯(lián)的計(jì)算開銷與減小進(jìn)行切換時(shí)的帶寬開銷以 及切換時(shí)間本身之間的良好權(quán)衡。
在另一方法(d)中，取決于系統(tǒng)中的約束，快速方法可僅用于縮短對(duì)同步 的等待時(shí)間而非完全消除這種等待時(shí)間。例如，如果系統(tǒng)中的進(jìn)入端點(diǎn)是帶寬 有限的，則可能并不較快地向它發(fā)送提前同步所需的所有LR/SR畫面。相反， 為了更快速地同步，可向進(jìn)入端點(diǎn)發(fā)送或提供較小的儲(chǔ)備(backlog)。
以上所描述的各種技術(shù)和方法在實(shí)踐時(shí)可被組合或更改。例如，快速轉(zhuǎn)發(fā) 方法可僅應(yīng)用于LR級(jí)(最低空間/質(zhì)量分辨率)幀，這些幀隨后可被解碼并上 采樣以用作后繼增強(qiáng)層幀的參考。實(shí)際上，可在之后用于傳送增強(qiáng)層幀的帶寬 和用于將它們解碼的CPU可在同步期間使用以更快速地傳送和解碼LR幀。
在編碼器并非帶寬有限的情形中，編碼器在周期性基礎(chǔ)上生成I幀或切片。 編碼器可操作成使得就在I切片或畫面之前的幀將作為緊接其后的幀的參考。 SVCS可高速緩存這種幀內(nèi)信息，并且阻止將其轉(zhuǎn)發(fā)到當(dāng)前接收此流的端點(diǎn)， 由此避免任何開銷。對(duì)于新的參與者，SVCS將提供此I畫面以及任何后續(xù)的 R幀，以使得新的參與者可趕上實(shí)時(shí)。如果從編碼器到SVCS可用其它帶寬， 則有可能傳送所有LR幀，并且添加I切片或畫面作為附加冗余畫面。冗余畫 面將在SVCS處被高速緩存，而常規(guī)LR畫面被轉(zhuǎn)發(fā)到接收者。高速緩存的I 切片或畫面可如前所述地用于幫助接收器同步到特定流，同時(shí)未對(duì)當(dāng)前參與者 造成任何帶寬開銷。
以上所述的方法也可用在一個(gè)到多個(gè)流送應(yīng)用的、要求低延遲和某些交互 性度量的上下文中，并在本發(fā)明下被要求權(quán)利。
前述切換技術(shù)的潛在的缺點(diǎn)是它在從低分辨率切換到高分辨率時(shí)要求雙 解碼環(huán)路。 一種替換性切換技術(shù)僅要求單環(huán)路解碼結(jié)構(gòu)。在要實(shí)現(xiàn)從低分辨率 到高分辨率的切換時(shí)，解碼器切換到由以較低分辨率解碼的參考畫面初始化的 高分辨率解碼環(huán)路。從此時(shí)開始，解碼并顯示高分辨率畫面，并且最終經(jīng)由內(nèi) 宏塊與傳送器同步。
當(dāng)進(jìn)行單環(huán)路解碼時(shí)，視頻編碼器僅以參與者所請(qǐng)求的大小編碼畫面是可 能的。這在以多個(gè)分辨率進(jìn)行編碼時(shí)是優(yōu)點(diǎn)，例如，極低分辨率的編碼可用于 差錯(cuò)隱藏目的。
此外，根據(jù)本發(fā)明，空間和/或SNR可縮放性可用于差錯(cuò)隱藏。例如，假 定單環(huán)路CIF/QCIF編碼。如果在高分辨率上發(fā)生差錯(cuò)，對(duì)于差錯(cuò)隱藏，解碼 器可上采樣QCIF分辨率的內(nèi)宏塊，并使用可用運(yùn)動(dòng)矢量、模式和在CIF層編 碼的預(yù)測(cè)差錯(cuò)。如果雙環(huán)路解碼是可能的，或在工作中可基于差錯(cuò)的檢測(cè)進(jìn)行， 則解碼器還可使用上采樣的經(jīng)解碼的QCIF圖像作為將來(lái)的幀的參考或用于顯 示目的。使用在CIF層處使用的宏塊和/或消除對(duì)被破壞畫面的依存性的時(shí)間 結(jié)構(gòu)，視頻通信系統(tǒng)將快速地從損壞中恢復(fù)。
圖13中所示的相同LR方案也可用于穩(wěn)健性目的。當(dāng)在增強(qiáng)層發(fā)生分組 丟失時(shí)，低分辨率LR幀可提供恢復(fù)點(diǎn)。經(jīng)解碼的幀可用作高分辨率參考畫面 緩沖器的估計(jì)，或者可替代高分辨率幀顯示直至高分辨率解碼環(huán)路恢復(fù)。當(dāng)與 內(nèi)宏塊組合時(shí)，這可以是有效的差錯(cuò)彈性技術(shù)。此外，可在計(jì)算負(fù)載與切換速 度之間進(jìn)行權(quán)衡。例如，通過更多地解碼低分辨率層(例如，所有L0畫面)， 存在用于恢復(fù)高分辨率層的更多和更好的數(shù)據(jù)。對(duì)增強(qiáng)層信號(hào)使用LR幀也是 可能的。
如在圖13的畫面編碼結(jié)構(gòu)中，當(dāng)存在一個(gè)以上的空間或質(zhì)量分辨率時(shí)， 快速轉(zhuǎn)發(fā)恢復(fù)和隱藏可同時(shí)發(fā)生。例如，當(dāng)解碼器不接收所要求的SR畫面時(shí)， 它可使用隱藏來(lái)解碼后續(xù)SR和S0-S2畫面。當(dāng)缺少的SR畫面通過重發(fā)變得 可用時(shí)，解碼器可隨后重新解碼自SR丟失起接收到的插入SR畫面，并且可 能已被隱藏地顯示，以使其為后續(xù)SR畫面產(chǎn)生正確的參考畫面。注意如果 SR重傳足夠快，且重傳的SR早于在丟失的SR之后的SR畫面到達(dá)，則在允 許其對(duì)必須解碼并接著顯示的畫面生成正確的參考畫面的情況下，解碼器也可 解碼已被隱藏地顯示的S0和Sl畫面的任一個(gè)或全部。如果畫面以切片形式來(lái) 構(gòu)造，則根據(jù)本發(fā)明的原理，本文所述的隱藏和快速轉(zhuǎn)發(fā)恢復(fù)技術(shù)皆可獨(dú)立地 應(yīng)用于切片中的每一個(gè)。
在空間可縮放性方面，帶寬效率在跨時(shí)間與跨空間分辨率之間存在有益的 相互作用。例如，在單環(huán)解碼中，基層處的內(nèi)宏塊對(duì)改進(jìn)較高空間層的編碼效
率是有益的。此外，試驗(yàn)已表明，編碼的質(zhì)量越高(即，QP值越小)，則運(yùn)
動(dòng)估計(jì)的有效性越低。LR幀的典型大小是LO幀的兩倍，但是大小差異隨著質(zhì) 量的提高而減小。因此，對(duì)于越高分辨率和/或畫面質(zhì)量，可令所有LO幀來(lái)將 LR幀用作參考而沒有顯著的編碼效率懲罰。由于保證LR幀將被可靠接收到， 因此使用它們提供了更大程度的差錯(cuò)彈性解決方案而在帶寬中沒有過度的懲 罰。
針對(duì)視頻通信系統(tǒng)在LR畫面與內(nèi)宏塊的使用之間的選擇取決于所遇到的 特定網(wǎng)絡(luò)狀況、參與者的數(shù)目和若干其它因素。為了使視頻通信系統(tǒng)的效率最 佳化，聯(lián)合考慮這些技術(shù)的每一種在解碼過程中的效果是很重要的。理想地， 如果編碼器完全知曉解碼器的狀態(tài)——包括丟失分組，則最大化將來(lái)的幀的質(zhì) 量是可能的。這可在編碼器與所有解碼器之間維護(hù)緊密反饋環(huán)路的情況下實(shí) 現(xiàn)。這通過RRC模塊530 (圖6)來(lái)表示。可在所有級(jí)下提供反饋，例如從各 個(gè)宏塊、切片、畫面或整個(gè)層提供。
RRC模塊530可被配置成根據(jù)模式選擇、運(yùn)動(dòng)矢量選擇等連同參考畫面 選擇(常規(guī)或LR參考)以及強(qiáng)制內(nèi)宏塊編碼過程的統(tǒng)計(jì)一起來(lái)協(xié)調(diào)編碼器的 決定。此外，RRC模塊530可被配置成維護(hù)與幀中可用于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的安全 對(duì)非安全部分有關(guān)的狀態(tài)信息。這些決定可以與編碼器聯(lián)合的方式作出?？蔀?編碼器所用的反饋越是詳細(xì)，可作出的決定越好。
如果編碼器知道解碼器處所采用的差錯(cuò)隱藏策略，則假定使用反饋編碼器 將能夠計(jì)算解碼器的準(zhǔn)確狀態(tài)，即使存在分組差錯(cuò)也如此。如果實(shí)際分組丟失 信息不可用，則編碼器仍可使用統(tǒng)計(jì)技術(shù)來(lái)估計(jì)分組丟失的概率性影響以及在 執(zhí)行速率-失真最優(yōu)化時(shí)計(jì)入分組丟失。例如，較高的丟失率將導(dǎo)致較大百分 比的幀內(nèi)經(jīng)編碼的宏塊。
類似地，可將諸如新用戶加入會(huì)議的操作引入編碼器的最優(yōu)化過程中。在 此情形中，向新用戶提供隨機(jī)接入點(diǎn)的需要轉(zhuǎn)化為編碼器處極高百分比的內(nèi)宏 塊。使用可縮放編碼，在層切換中觀測(cè)到相同的現(xiàn)象。
出于系統(tǒng)效率起見，由RRC 530管理的反饋信息無(wú)需直接到達(dá)特定編碼 器。作為替換方案，中間SVCS可過濾反饋消息并向編碼器呈遞合并結(jié)果。系 統(tǒng)中的中間節(jié)點(diǎn)可對(duì)反饋消息采取動(dòng)作。例如，考慮NACK消息的情形。NACK
可從最近的中間節(jié)點(diǎn)(SVCS)觸發(fā)重傳。NACK可一直傳播至源，在那里它 被用于跟蹤解碼器的狀態(tài)。此信息可例如引發(fā)編碼器將參考畫面索引切換成指 向LR畫面(或知道其自身已被適當(dāng)?shù)亟邮涨耶?dāng)前在編碼器的緩沖器中可用的 畫面)。NACK/ACK消息傳送的概念直接導(dǎo)致用于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)是安全或非 安全的畫面或畫面區(qū)的概念，后者又自然地導(dǎo)致LR畫面的概念。具有固定周 期性結(jié)構(gòu)的LR幀允許用NACK分發(fā)，并且類似地緊密NACK/ACK反饋的使 用實(shí)現(xiàn)LR畫面的完全動(dòng)態(tài)選擇。
作為NACK/ACK反饋消息所隱含的"推入(push)"方法的替換方案的 是"拉出(pull)"架構(gòu)。在拉出架構(gòu)中，LR畫面無(wú)需被確認(rèn)，相反地被緩沖 在每個(gè)中間SVCS處，并且當(dāng)端點(diǎn)或其它下游服務(wù)器確定它們已錯(cuò)失LR分組 時(shí)基于請(qǐng)求(例如，類似于對(duì)新的I幀的請(qǐng)求)來(lái)重傳。
在這種拉出架構(gòu)的變體中，所有LO分組(或已用于給定應(yīng)用的可縮放編 碼方案的其它最低時(shí)間級(jí))被緩沖在每個(gè)中間SVCS處并基于請(qǐng)求來(lái)重傳。此 變體可使得端點(diǎn)在等待錯(cuò)失的LO分組的同時(shí)如果不具有解碼已到達(dá)的所有LO 分組的CPU帶寬，則總是處于力圖迎頭趕上的模式中。然而，拉出架構(gòu)的這 種變體的優(yōu)點(diǎn)在于，不存在僅出于差錯(cuò)彈性的目的而引入的略大LR幀的附加 開銷。
可靠性分組(不管LR還是LO)之間的間隔應(yīng)當(dāng)根據(jù)最弱參與者(端點(diǎn) 或另一服務(wù)器)的CPU和帶寬約束來(lái)確定。過于頻繁到達(dá)的可靠性分組會(huì)在 恢復(fù)期間超出端點(diǎn)的容量。視頻通信系統(tǒng)可被配置成向發(fā)送器發(fā)信號(hào)通知參與 者的恢復(fù)能力，以使得可靠性分組之間的間隔可盡可能地與最弱參與者所能處 理的一樣小，但是不比它小。
構(gòu)成編碼器決定作出過程的一部分的是宏塊編碼類型(mb_type)的選擇。 此決定計(jì)入與給定以上考慮的情況下的幀間編碼相關(guān)聯(lián)的失真和速率。與(受 約束的)幀內(nèi)編碼相關(guān)聯(lián)的失真和速率在無(wú)需考慮多個(gè)解碼器的情況下被計(jì)算 出。取決于對(duì)成本函數(shù)的選擇，必須對(duì)每個(gè)空間分辨率和mb一type計(jì)算一個(gè)或 多個(gè)失真值。
當(dāng)對(duì)解碼器狀態(tài)或成本函數(shù)的建模不準(zhǔn)確時(shí)，內(nèi)宏塊類型可替代或附加地 選擇以符合隨機(jī)模式。適當(dāng)數(shù)量的內(nèi)宏塊可根據(jù)對(duì)信道差錯(cuò)概率以及隱藏能量
的量的估計(jì)來(lái)確定。
雖然已描述了被視為是本發(fā)明的優(yōu)選實(shí)施例的那些實(shí)施例，但是本領(lǐng)域技 術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，可作出其它或進(jìn)一步的改變和更改而不背離本發(fā)明的精 神，并且其旨在要求保護(hù)落在本發(fā)明的真實(shí)范圍內(nèi)的所有這些改變和更改。
應(yīng)當(dāng)理解，本發(fā)明的系統(tǒng)和方法可用任何硬件和軟件的組合來(lái)實(shí)現(xiàn)。用于 實(shí)現(xiàn)和操作前述系統(tǒng)和方法的軟件(即，指令)可被設(shè)置在計(jì)算機(jī)可讀介質(zhì)上， 這些計(jì)算機(jī)可讀介質(zhì)可包括但不限于固件、存儲(chǔ)器、存儲(chǔ)設(shè)備、微控制器、 微處理器、集成電路、ASICS、可在線下載的媒體以及其它可用的介質(zhì)。
權(quán)利要求
1.一種用于通信網(wǎng)絡(luò)上傳送節(jié)點(diǎn)與一個(gè)或多個(gè)接收節(jié)點(diǎn)之間的媒體通信的系統(tǒng)，所述網(wǎng)絡(luò)具有包括去往或來(lái)自每個(gè)端點(diǎn)的更可靠媒體傳輸鏈路的一個(gè)或多個(gè)分層媒體傳輸鏈路，所述系統(tǒng)包括編碼器，它將所傳送的媒體編碼成具有多個(gè)不同幀類型的線程化編碼結(jié)構(gòu)中的幀，所述幀包括參考幀序列；解碼器，它基于其中的參考幀解碼接收到的媒體；以及所述線程化編碼結(jié)構(gòu)中特定選擇的幀子集，所述幀子集被指定為通過所述更可靠傳輸鏈路可靠地傳輸?shù)剿鼋獯a器的類型(“R”)，其中所述類型R的所述幀子集被具體地選擇成至少包括所述線程化編碼結(jié)構(gòu)中的最低時(shí)間層的幀，并且使得所述解碼器在分組丟失或差錯(cuò)之后基于可靠接收到的所述類型R的幀解碼所接收到的媒體的至少一部分，并由此與所述編碼器同步。
2. 如權(quán)利要求l所述的系統(tǒng)，其特征在于，還包括用于處理類型R的 幀的模塊，其中所述處理模塊被設(shè)置在所述編碼器處、和/或解碼器處、禾口/ 或所述更可靠媒體傳輸鏈路的末端處的中間網(wǎng)絡(luò)服務(wù)器上。
3. 如權(quán)利要求l所述的系統(tǒng)，其特征在于，包括單層、可縮放編碼解 碼器和聯(lián)播編解碼器中的至少之一。
4. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，包括遵循H.264 AVC的 編解碼器，其中用于通過所述更可靠傳輸鏈路可靠傳輸?shù)剿鼋獯a器的所述特定選擇的類型R的幀子集包括被標(biāo)記為長(zhǎng)期參考畫面的幀，以及其中 由所述解碼器基于可靠接收到的所述類型R的參考幀對(duì)所接收到的媒體的 至少一部分的所述解碼是由MMCO命令來(lái)控制的。
5. 如權(quán)利要求l所述的系統(tǒng)，其特征在于，所述類型R的參考幀的可靠傳輸包括基于確認(rèn)(ACK)和/或否定確認(rèn)(NACK)消息的協(xié)議通過所 述更可靠傳輸鏈路來(lái)重傳。
6. 如權(quán)利要求5所述的系統(tǒng)，其特征在于，被指定為通過所述更可靠 傳輸鏈路可靠傳輸?shù)剿鼋獯a器的類型R的所述特定選擇的幀子集包括幀 內(nèi)和幀間宏塊，并且其中所述編碼器還包括響應(yīng)于分組丟失或新端點(diǎn)加入 當(dāng)前通信會(huì)話在編碼將來(lái)的畫面時(shí)重新計(jì)算內(nèi)宏塊的可靠性和隨機(jī)接入(RRC)模塊。
7. 如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述網(wǎng)絡(luò)中的所述編碼器和任何中間服務(wù)器包括具有預(yù)置時(shí)間周期的定時(shí)器，并且其中所述類型R 的幀的可靠傳輸包括在所設(shè)置的時(shí)間周期內(nèi)基于未接收到ACK消息來(lái)通過所述更可靠傳輸鏈路重傳。
8. 如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述類型R的參考幀的可 靠傳輸包括基于接收到NACK消息來(lái)通過所述更可靠傳輸鏈路重傳。
9. 一種用于通信網(wǎng)絡(luò)上傳送端點(diǎn)與一個(gè)或多個(gè)接收端點(diǎn)或服務(wù)器之間 的媒體通信的系統(tǒng)，所述系統(tǒng)包括編碼器，它將所傳送的媒體編碼為具有包括最低時(shí)間層的多個(gè)不同層 的線程化編碼結(jié)構(gòu)中的幀，其中所傳送的畫面包括指示以下的數(shù)據(jù)元素對(duì)于最低時(shí)間級(jí)畫面，標(biāo)識(shí)所述畫面的序號(hào)，以及 對(duì)于其它時(shí)間級(jí)畫面，對(duì)按照解碼次序最近的最低時(shí)間級(jí)畫面的所述序號(hào)的引用，以使得接收端點(diǎn)或服務(wù)器可通過檢查在所述接收端點(diǎn)或服務(wù)器處是否 已接收到與所引用畫面的幀索引相對(duì)應(yīng)的所述畫面來(lái)檢測(cè)最低時(shí)間級(jí)畫面 是否已丟失。
10. 如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)元素另外指示 與各個(gè)空間或質(zhì)量層相關(guān)聯(lián)的系列號(hào)，其中所述接收端點(diǎn)或服務(wù)器通過確 定在所述接收端點(diǎn)或服務(wù)器處是否已接收到與所引用的系列號(hào)和序號(hào)相對(duì) 應(yīng)的所述幀來(lái)檢測(cè)特定空間或質(zhì)量層的最低時(shí)間級(jí)幀是否丟失。
11. 如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述通信網(wǎng)絡(luò)使用網(wǎng)際 協(xié)議，媒體傳輸是使用實(shí)時(shí)協(xié)議(RTP)來(lái)執(zhí)行的，所述數(shù)據(jù)元素作為RTP 報(bào)頭擴(kuò)展中的字段被納入，并且包括指示所述分組中是否存在最低時(shí)間級(jí) 幀或其片段的標(biāo)志。
12. 如權(quán)利要求ll所述的系統(tǒng)，其特征在于，所述網(wǎng)絡(luò)中的接收端點(diǎn) 或服務(wù)器響應(yīng)于所述接收端點(diǎn)或服務(wù)器檢測(cè)到丟失的R幀或幀的一部分發(fā) 送被格式化為RTCP反饋消息的否定確認(rèn)消息，其中所述反饋消息包括所述丟失幀的所述序號(hào)、指示所述丟失幀層的 所述系列號(hào)、以及指示在由所述序號(hào)指示的畫面之后的畫面中哪些也丟失 的位屏蔽。
13. 如權(quán)利要求12所述的系統(tǒng)，其特征在于， 一旦接收到所述否定確 認(rèn)消息，所述網(wǎng)絡(luò)中的所述傳送端點(diǎn)或服務(wù)器就核查所述丟失幀是否已被 新近的幀取代，并且其中如果未被代替，則所述傳送端點(diǎn)或服務(wù)器相應(yīng)地 重傳所述丟失分組，或者如果用包括已被取代的所述丟失幀的一定范圍的 幀的指示來(lái)取代所述丟失分組，則傳送所述新近的幀。
14. 如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述編碼遵循H.264 SVC， 并且在針對(duì)SVC元素的NAL單元報(bào)頭擴(kuò)展中運(yùn)送所述數(shù)據(jù)元素。
15. 如權(quán)利要求14所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)元素包括所述 針對(duì)SVC的NAL報(bào)頭擴(kuò)展中的附加字節(jié)，并且其中針對(duì)所述SVC的NAL 報(bào)頭擴(kuò)展中的標(biāo)志發(fā)信號(hào)通知所述附加字節(jié)的存在。
16. 如權(quán)利要求14所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)元素包括針對(duì) 所述SVC的NAL報(bào)頭擴(kuò)展中與FGS編碼有關(guān)的、未被最低質(zhì)量層的畫面 使用的比特。
17. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，還包括協(xié)調(diào)所述傳送端 點(diǎn)與所述一個(gè)或多個(gè)接收端點(diǎn)之間的通信的至少一個(gè)SVCS，所述至少一個(gè) SVCS具有至所述傳送端點(diǎn)、所述一個(gè)或多個(gè)接收端點(diǎn)、以及所述通信網(wǎng)絡(luò) 中的其它SVCS的單獨(dú)受管理的連接。
18. 如權(quán)利要求17所述的系統(tǒng)，其特征在于，所述至少一個(gè)SVCS通 過至接收端點(diǎn)或另一 SVCS的、擁塞且一直丟掉媒體分組的單獨(dú)受管理的 連接重傳所述類型R的參考幀，但是向所述傳送端點(diǎn)報(bào)告對(duì)所述類型R的 所述參考幀的肯定接收，由此對(duì)其它接收端點(diǎn)和SVCS的通信不受到擁塞 的、所述單獨(dú)受管理的連接的影響。
19. 如權(quán)利要求17所述的系統(tǒng)，其特征在于，所述至少一個(gè)SVCS和 /或傳送端點(diǎn)高速緩存所述最低時(shí)間層幀的內(nèi)幀，并響應(yīng)于分組丟失或響應(yīng) 于新的接收端點(diǎn)加入通信會(huì)話來(lái)向接收端點(diǎn)或另一 svcs傳送所述內(nèi)幀。
20. 如權(quán)利要求19所述的系統(tǒng)，其特征在于，所述傳送編碼器使用周 期性內(nèi)宏塊來(lái)便于在所述至少一個(gè)SVCS所發(fā)送的內(nèi)畫面被所述接收端點(diǎn) 使用之后的漂移消除。
21. 如權(quán)利要求19所述的系統(tǒng)，其特征在于，所述編碼器生成由所述 傳送端點(diǎn)和/或所述至少一個(gè)SVCS高速緩存的切換切片畫面(SI)，并且 其中基于請(qǐng)求或響應(yīng)于所述接收端點(diǎn)新加入通信會(huì)話，所述高速緩存的SI 畫面被傳送到接收端點(diǎn)和/或其它SVCS。
22. 如權(quán)利要求19所述的系統(tǒng)，其特征在于，所述至少一個(gè)SVCS解 碼所有最低時(shí)間層畫面并高速緩存其結(jié)果，并且其中所述至少一個(gè)SVCS 向或者由于分組丟失或者因?yàn)榻邮斩它c(diǎn)和/或其它SVCS新加入通信會(huì)話而 請(qǐng)求最近高速緩存畫面的那些接收端點(diǎn)和/或其它SVCS傳送所述畫面的內(nèi) 版本。
23. 如權(quán)利要求19所述的系統(tǒng)，其特征在于，所述編碼器生成并傳送 未被其它畫面參考的內(nèi)畫面，其中所述內(nèi)畫面被高速緩存在所述至少一個(gè) SVCS上，并且其中響應(yīng)于分組丟失和/或響應(yīng)于接收端點(diǎn)新加入通信會(huì)話， 所述高速緩存的內(nèi)畫面僅基于顯式請(qǐng)求被傳送到所述接收端點(diǎn)和/或其它svcs。
24. 如權(quán)利要求19所述的系統(tǒng)，其特征在于，所述編碼器生成并傳送 冗余的內(nèi)畫面或切片，其中所述冗余內(nèi)畫面或切片被高速緩存在所述至少 一個(gè)SVCS上，并且其中響應(yīng)于分組丟失和/或響應(yīng)于接收端點(diǎn)新加入通信 會(huì)話，所述冗余內(nèi)畫面或切片僅基于顯式請(qǐng)求被傳送到所述接收端點(diǎn)和/或其它svcs。
25. 如權(quán)利要求17所述的系統(tǒng)，其特征在于，NACK消息用于指示未 接收到分組或分組接收中的差錯(cuò)，并且其中中間SVCS或接收端點(diǎn)一檢測(cè) 到分組丟失就立即向上游SVCS或所述傳送端點(diǎn)發(fā)送NACK消息。
26. 如權(quán)利要求17所述的系統(tǒng)，其特征在于，肯定ACK消息用于指 示分組的接收，并且其中中間SVCS在從所有下游接收器和SVCS接收到 肯定ACK消息之后就向上游SVCS或所述傳送端點(diǎn)發(fā)送單個(gè)經(jīng)聚集的ACK 消息。
27. 如權(quán)利要求17所述的系統(tǒng)，其特征在于，肯定ACK消息用于指 示分組的無(wú)差錯(cuò)接收，并且其中中間SVCS —從發(fā)送器無(wú)差錯(cuò)地接收到分 組就生成肯定ACK消息，而無(wú)需等待來(lái)自下游接收器和/或SVCS的任何 其它ACK消息。
28. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，將所傳送的媒體編碼為 線程化編碼結(jié)構(gòu)中的幀的所述編碼器編碼所述類型R的幀用于根據(jù)預(yù)置時(shí) 間表傳輸。
29. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，將所傳送的媒體編碼為 線程化編碼結(jié)構(gòu)中的幀的編碼器在確認(rèn)所有預(yù)期參與者接收到所述類型R 的特定傳送幀之后將所述特定幀指定為參考畫面，以備將來(lái)使用。
30. 如權(quán)利要求29所述的系統(tǒng)，其特征在于，將所傳送的媒體編碼為 線程化編碼結(jié)構(gòu)中的幀的編碼器在沒有成功地將所述類型R的特定幀可靠 地傳輸?shù)筋A(yù)期接收方時(shí)放棄將所述特定幀作為以備將來(lái)使用的候選參考畫 面。
31. 如權(quán)利要求l所述的系統(tǒng)，其特征在于，所述類型R的參考幀的 可靠傳輸包括通過所述更可靠的傳輸鏈路進(jìn)行重傳，并且其中解碼器通過 即使所有重傳的最低時(shí)間層畫面被太遲接收到以致無(wú)法在當(dāng)前顯示的情況 下也迅速地解碼這些畫面來(lái)在差錯(cuò)之后與所述編碼器重新同步，或者在作 為新參與者進(jìn)入通信會(huì)話時(shí)與所述編碼器同步。
32. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述線程化編碼結(jié)構(gòu)包 括至少一個(gè)高分辨率層和低分辨率層，其中所述編碼器在兩個(gè)層上使用具 有周期性內(nèi)宏塊的單環(huán)路可縮放性編碼，其中所述解碼器通過解碼低分辨率層數(shù)據(jù)并將其顯示為經(jīng)上采樣、同時(shí)接 收并解碼高分辨率層數(shù)據(jù)但不顯示它直至漂移被消除、之后所述解碼器可 切換成顯示經(jīng)解碼的高分辨率畫面來(lái)執(zhí)行從低分辨率到高分辨率的層切 換，以及所述解碼器通過使用最近的高分辨率畫面的下采樣版本作為其低分辨 率解碼環(huán)路的參考畫面、以及對(duì)其中所述內(nèi)宏塊將逐漸消除所述漂移的所 述經(jīng)解碼的低分辨率畫面繼續(xù)進(jìn)行解碼和顯示來(lái)執(zhí)行從高分辨率到低分辨 率的層切換。
33. 如權(quán)利要求32所述的系統(tǒng)，其特征在于，所述編碼器使用H.264 AVC或SVC來(lái)編碼幀，并且其中恢復(fù)點(diǎn)SEI消息用于在差錯(cuò)發(fā)生之后完 成恢復(fù)時(shí)指示所述幀號(hào)，以及與所述編碼器的匹配是準(zhǔn)確還是不準(zhǔn)確的。
34. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，還包括協(xié)調(diào)所述傳送端 點(diǎn)與所述一個(gè)或多個(gè)端點(diǎn)之間的通信的至少一個(gè)SVCS，其中畫面編碼使用 結(jié)構(gòu)化內(nèi)宏塊編碼，并且其中所述至少一個(gè)SVCS高速緩存一個(gè)周期的LR 畫面并將其傳送到執(zhí)行層切換或作為新參與者進(jìn)入所述會(huì)話的端點(diǎn)，以便 可比實(shí)時(shí)更快速地解碼它們，從而實(shí)現(xiàn)快速切換。
35. 如權(quán)利要求34所述的系統(tǒng)，其特征在于，所述至少一個(gè)SVCS在 將分組傳送到加入所述會(huì)話或執(zhí)行層轉(zhuǎn)換的所述端點(diǎn)之前從所述分組中移 除經(jīng)幀間編碼的宏塊或切片。
36. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述編碼器使用具有至 少兩個(gè)空間層的空間可縮放性，并且其中接收端點(diǎn)在增強(qiáng)層畫面丟失之后 或在切換到經(jīng)提升的分辨率時(shí)通過使用經(jīng)上采樣的較低層畫面作為參考， 但應(yīng)用可用運(yùn)動(dòng)矢量、模式以及所述增強(qiáng)層中經(jīng)編碼的預(yù)測(cè)差錯(cuò)來(lái)解碼所 述增強(qiáng)層畫面的近似。
37. 如權(quán)利要求36所述的系統(tǒng)，其特征在于，所述接收端點(diǎn)操作單個(gè) 解碼環(huán)路，并且所述經(jīng)上采樣的較低層畫面僅由所述較低層中可用的所述 內(nèi)宏塊構(gòu)成。
38. 如權(quán)利要求36所述的系統(tǒng)，其特征在于，所述接收端點(diǎn)操作附加解碼環(huán)路，并且其中所述單個(gè)解碼環(huán)路解碼目標(biāo)分辨率畫面；以及所述附加解碼環(huán)路僅解碼其它分辨率的所述最低時(shí)間層畫面， 以使得從一個(gè)分辨率到另一個(gè)的轉(zhuǎn)換可在所述最低時(shí)間層畫面沒有差 錯(cuò)的時(shí)刻以及在具有較小差錯(cuò)的其它時(shí)刻被執(zhí)行。
39. 如權(quán)利要求38所述的系統(tǒng)，其特征在于，所述SVCS或傳送端點(diǎn) 傳送所述可縮放性層的最低時(shí)間層的除要顯示畫面之外的所述畫面，以使 得所傳送數(shù)據(jù)的比特率變化被最小化。
40. —種用于將用提供兩個(gè)或多個(gè)時(shí)間層的技術(shù)編碼的經(jīng)壓縮數(shù)字視 頻解碼的系統(tǒng)，其中經(jīng)壓縮視頻畫面被構(gòu)造成一個(gè)或多個(gè)分組，所述系統(tǒng)包括包含指示以下的數(shù)據(jù)元素的分組報(bào)頭對(duì)于最低時(shí)間級(jí)畫面，標(biāo)識(shí)所述畫面的序號(hào)，對(duì)于其它時(shí)間級(jí)畫面，對(duì)按照解碼次序最近的最低時(shí)間級(jí)畫面的 序號(hào)的引用，以使得接收器可通過檢査與所引用的畫面幀索引相對(duì)應(yīng)的所述畫面在 所述接收器處是否可用來(lái)檢測(cè)最低時(shí)間級(jí)畫面的丟失。
41. 如權(quán)利要求40所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)元素包括一組 擴(kuò)展比特和標(biāo)志，所述比特和標(biāo)志在被置位時(shí)指示存在所述一組擴(kuò)展比特。
42. 如權(quán)利要求40所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)元素包括未在 最低質(zhì)量層畫面中使用的比特。
43. —種用于將用提供兩個(gè)或多個(gè)時(shí)間層的技術(shù)編碼的經(jīng)壓縮數(shù)字視 頻解碼的系統(tǒng)，其中經(jīng)壓縮的視頻畫面被構(gòu)造成一個(gè)或多個(gè)分組并使用 RTP通過基于IP的網(wǎng)絡(luò)接收，所述系統(tǒng)包括包括以下的RTP報(bào)頭擴(kuò)展與每個(gè)層相關(guān)聯(lián)的系列號(hào)， 與每個(gè)最低時(shí)間層畫面相關(guān)聯(lián)的序號(hào)，以及 用于指示分組是否包含畫面或所述最低層時(shí)間畫面的畫面片段的標(biāo)志，其中所述序號(hào)被使用所述最低時(shí)間層畫面作為參考的所有其它畫面所 引用，以使得可通過檢査與所引用的系列號(hào)和序號(hào)相對(duì)應(yīng)的所述畫面在所 述系統(tǒng)是否可用來(lái)立即檢測(cè)出最低時(shí)間級(jí)畫面的丟失。
44. 如權(quán)利要求43所述的系統(tǒng)，其特征在于， 一旦檢測(cè)到丟失最低時(shí) 間層畫面就發(fā)送被格式化為RTCP反饋消息的否定確認(rèn)消息，并且所述反 饋消息指示所述丟失畫面的所述序號(hào)、所述丟失畫面所屬的系列號(hào)、以 及指示在由所述序號(hào)所指示的畫面之后的畫面中有哪些也丟失的位屏蔽， 由此傳送系統(tǒng)可采取糾正動(dòng)作。
45. —種用于將用提供兩個(gè)或多個(gè)時(shí)間層的技術(shù)編碼的經(jīng)壓縮數(shù)字視 頻解碼的系統(tǒng)，其中經(jīng)壓縮視頻畫面被構(gòu)造成一個(gè)或多個(gè)分組，并且在出 差錯(cuò)或一旦發(fā)起解碼的情況下，可在來(lái)自發(fā)送器的經(jīng)壓縮數(shù)字視頻流中比 實(shí)時(shí)更快地并在其預(yù)期呈現(xiàn)時(shí)間之后接收到至少最低時(shí)間級(jí)畫面的分組， 所述系統(tǒng)包括解碼器，在出差錯(cuò)或一旦發(fā)起解碼的情況下它比實(shí)時(shí)更快地解碼所接 收到的畫面，并且如果在其預(yù)期呈現(xiàn)時(shí)間之后被解碼，則不顯示它們，由此所述解碼器可與所述接收到的經(jīng)壓縮數(shù)字視頻流同步，并隨后在 實(shí)現(xiàn)此同步之后執(zhí)行常規(guī)解碼和呈現(xiàn)。
46. —種用于通信網(wǎng)絡(luò)上傳送節(jié)點(diǎn)與一個(gè)或多個(gè)接收節(jié)點(diǎn)之間的媒體 通信的方法，所述網(wǎng)絡(luò)具有包括去往或來(lái)自每個(gè)端點(diǎn)的更可靠媒體傳輸鏈 路的一個(gè)或多個(gè)分層媒體傳輸鏈路，所述端點(diǎn)編碼器，它將所傳送媒體編碼成具有多個(gè)不同幀類型的線程化編碼結(jié) 構(gòu)中的幀，所述幀包括參考幀序列；以及解碼器，它基于所接收到的媒體中的參考幀解碼所接收到的媒體； 所述方法包括將所述線程化編碼結(jié)構(gòu)中特定選擇的幀子集指定為類型("R")以供 通過所述更可靠傳輸鏈路可靠地傳輸?shù)剿鼋獯a器，其中所述類型R的所述幀子集被具體地選擇成至少包括所述線程化編 碼結(jié)構(gòu)中的最低時(shí)間層的幀，并且使得所述解碼器在分組丟失或有差錯(cuò)之 后基于可靠接收到的所述類型R的幀解碼所接收到的媒體的至少一部分， 并由此與所述編碼器同步；以及向所述解碼器發(fā)送所述類型R的所述幀。
47. 如權(quán)利要求46所述的方法，其特征在于，還包括在去往或來(lái)自所 述編碼器、所述解碼器和/或中間網(wǎng)絡(luò)服務(wù)器的所述更可靠媒體傳輸鏈路的 終端處處理所述類型R的幀。
48. 如權(quán)利要求46所述的方法，其特征在于，包括使用單層、可縮放 編碼解碼器和聯(lián)播編解碼器中的至少之一。
49. 如權(quán)利要求46所述的方法，其特征在于，包括 使用遵循H.264 AVC的編解碼器；包括在用于通過所述更可靠傳輸鏈路可靠傳輸?shù)剿鼋獯a器的所述類 型R的所述特定選擇的幀子集中被標(biāo)記為長(zhǎng)期參考畫面的幀；以及通過使用控制所述解碼器的MMCO命令來(lái)基于可靠接收到的所述類 型R的參考幀解碼所接收到的媒體的至少一部分。
50. 如權(quán)利要求46所述的方法，其特征在于，所述類型R的參考幀的 可靠傳輸包括基于確認(rèn)(ACK)和/或否定確認(rèn)(NACK)消息的協(xié)議通過 所述更可靠傳輸鏈路來(lái)重傳所述幀。
51. 如權(quán)利要求46所述的方法，其特征在于，被指定為通過所述更可 靠傳輸鏈路可靠傳輸?shù)剿鼋獯a器的類型R的所述特定選擇的幀子集包括 內(nèi)宏塊和幀間宏塊，所述方法還包括響應(yīng)于分組丟失或新端點(diǎn)加入當(dāng)前通信會(huì)話重新計(jì)算編碼將來(lái)畫面時(shí) 對(duì)內(nèi)宏塊的分配。
52. 如權(quán)利要求50所述的方法，其特征在于，如果在設(shè)置時(shí)段內(nèi)未接 收到ACK消息，則所述幀通過所述更可靠傳輸鏈路重傳。
53. 如權(quán)利要求50所述的方法，其特征在于， 一旦接收到NACK消 息，所述幀就通過所述更可靠傳輸鏈路重傳。
54. —種用于通信網(wǎng)絡(luò)上傳送端點(diǎn)與一個(gè)或多個(gè)接收端點(diǎn)或服務(wù)器之 間的媒體通信的方法，其中所傳送媒體被編碼成具有包括最低時(shí)間層的多 個(gè)不同層的線程化編碼結(jié)構(gòu)中的幀，所述方法包括提供指示以下的數(shù)據(jù)元 素對(duì)于最低時(shí)間級(jí)畫面，標(biāo)識(shí)所述畫面的序號(hào)，以及 對(duì)于其它時(shí)間級(jí)畫面，對(duì)按照解碼次序最近的最低時(shí)間級(jí)畫面的所述 序號(hào)的引用，以使得接收端點(diǎn)或服務(wù)器可通過檢査與所引用的畫面幀索引相對(duì)應(yīng)的 所述畫面在所述接收端點(diǎn)處是否可用來(lái)檢測(cè)最低時(shí)間級(jí)畫面是否丟失。
55. 如權(quán)利要求54所述的方法，其特征在于，所述數(shù)據(jù)元素另外指示 與各個(gè)空間或質(zhì)量層相關(guān)聯(lián)的系列號(hào)， 其中所述接收端點(diǎn)或服務(wù)器通過確定在所述接收端點(diǎn)或服務(wù)器處是否 已接收到與所引用的系列號(hào)和序號(hào)相對(duì)應(yīng)的所述幀來(lái)檢測(cè)特定空間或質(zhì)量 層的最低時(shí)間級(jí)幀是否丟失。
56. 如權(quán)利要求54所述的方法，其特征在于，所述通信網(wǎng)絡(luò)使用網(wǎng)際 協(xié)議，媒體傳輸是使用實(shí)時(shí)協(xié)議(RTP)來(lái)執(zhí)行的，數(shù)據(jù)元素作為RTP報(bào) 頭擴(kuò)展中的字段被納入，并且包括指示所述分組中是否存在最低時(shí)間層幀 或其片段的標(biāo)志。
57. 如權(quán)利要求56所述的方法，其特征在于，所述網(wǎng)絡(luò)中的接收端點(diǎn) 或服務(wù)器響應(yīng)于所述接收端點(diǎn)或服務(wù)器對(duì)丟失的R幀或幀的一部分的檢測(cè) 發(fā)送被格式化為RTCP反饋消息的否定確認(rèn)，所述方法還包括在所述反饋消息中納入所述丟失幀的所述序號(hào)、指示所述丟失幀的層 的系列號(hào)、以及指示在由所述序號(hào)指示的畫面之后的畫面中有哪些也丟失 的位屏蔽。
58. 如權(quán)利要求57所述的方法，其特征在于，還包括 一接收到所述否定確認(rèn)消息，就在所述網(wǎng)絡(luò)中的所述傳送端點(diǎn)或服務(wù)器處核査所述丟失分組是否已被最近的幀取代；以及如果未被代替則相應(yīng)地重傳所述丟失分組，或者如果用包括已被取代 的所述丟失幀的一定范圍的幀的指示來(lái)取代所述丟失分組，則重傳所述最 近的幀。
59. 如權(quán)利要求54所述的方法，其特征在于，所述編碼遵循H.264 SVC， 并且在針對(duì)SVC元素的NAL單元報(bào)頭擴(kuò)展中運(yùn)送所述數(shù)據(jù)元素。
60. 如權(quán)利要求59所述的方法，其特征在于，所述數(shù)據(jù)元素包括針對(duì) 所述SVC的NAL報(bào)頭擴(kuò)展中的附加字節(jié)，并且其中針對(duì)所述SVC的NAL 報(bào)頭擴(kuò)展中的標(biāo)志發(fā)信號(hào)通知所述附加字節(jié)的存在。
61. 如權(quán)利要求59所述的方法，其特征在于，所述數(shù)據(jù)元素包括針對(duì) 所述SVC的NAL報(bào)頭擴(kuò)展中與FGS編碼有關(guān)的、未被最低質(zhì)量層的畫面 使用的比特。
62. 如權(quán)利要求46所述的方法，其特征在于，至少一個(gè)SVCS協(xié)調(diào)所 述傳送端點(diǎn)與所述一個(gè)或多個(gè)接收端點(diǎn)之間的通信，所述方法還包括向所 述至少一個(gè)svcs提供至所述傳送端點(diǎn)、所述一個(gè)或多個(gè)接收端點(diǎn)、以及 所述通信網(wǎng)絡(luò)中的其它svcs的單獨(dú)受管理的連接。
63. 如權(quán)利要求62所述的方法，其特征在于，還包括通過至接收端點(diǎn) 或另一 SVCS的、擁塞且一直丟掉媒體分組的單獨(dú)受管理的連接重傳所述 類型R的參考幀，但是向所述傳送端點(diǎn)報(bào)告對(duì)所述類型R的所述參考幀的 肯定接收，由此對(duì)其它接收端點(diǎn)和SVCS的通信不受到擁塞的、所述單獨(dú) 受管理的連接的影響。
64. 如權(quán)利要求62所述的方法，其特征在于，還包括 在所述至少一個(gè)SVCS和/或傳送端點(diǎn)處高速緩存所述最低時(shí)間層幀的內(nèi)幀；以及響應(yīng)于分組丟失或響應(yīng)于新接收端點(diǎn)加入通信會(huì)話，向接收端點(diǎn)或另 一 SVCS傳送所述內(nèi)幀。
65. 如權(quán)利要求64所述的方法，其特征在于，還包括 在所述傳送編碼器處使用周期性內(nèi)宏塊來(lái)便于在所述至少一個(gè)SVCS發(fā)送的內(nèi)畫面被所述接收端點(diǎn)使用之后的漂移消除。
66. 如權(quán)利要求64所述的方法，其特征在于，還包括 生成由所述傳送端點(diǎn)和/或所述至少一個(gè)SVCS高速緩存的切換切片畫面(SI);以及基于請(qǐng)求和/或響應(yīng)于所述接收端點(diǎn)新加入通信會(huì)話，向接收端點(diǎn)和/ 或其它SVCS傳送所述高速緩存的SI畫面。
67. 如權(quán)利要求64所述的方法，其特征在于，還包括 在所述至少一個(gè)SVCS處解碼所有最低時(shí)間層畫面并高速緩存其結(jié)果；以及向或者由于分組丟失或者因?yàn)榻邮斩它c(diǎn)和/或其它SVCS新加入通信會(huì) 話而請(qǐng)求最近高速緩存的畫面的那些接收端點(diǎn)和/或其它SVCS傳送所述畫 面的內(nèi)版本。
68. 如權(quán)利要求64所述的方法，其特征在于，還包括 在所述編碼器處生成未被其它畫面參考的內(nèi)畫面； 將所述內(nèi)畫面高速緩存在所述至少一個(gè)SVCS上，以及 響應(yīng)于分組丟失和/或響應(yīng)于接收端點(diǎn)新加入通信會(huì)話，僅基于顯式請(qǐng)求向所述接收端點(diǎn)和/或其它svcs傳送所述高速緩存的內(nèi)畫面。
69. 如權(quán)利要求64所述的方法，其特征在于，還包括 在所述編碼器處生成冗余內(nèi)畫面或切片；將所述冗余內(nèi)畫面或切片高速緩存在所述至少一個(gè)SVCS上；以及 響應(yīng)于分組丟失和/或響應(yīng)于接收端點(diǎn)新加入通信會(huì)話，僅基于顯式請(qǐng) 求向所述接收端點(diǎn)和/或其它SVCS傳送所述冗余內(nèi)畫面或切片。
70. 如權(quán)利要求62所述的方法，其特征在于，還包括 使用NACK消息來(lái)指示未接收到分組或分組接收中的差錯(cuò)；以及 一檢測(cè)到分組丟失，就立即從中間SVCS或接收端點(diǎn)向上游SVCS或所述傳送端點(diǎn)發(fā)送NACK消息。
71. 如權(quán)利要求62所述的方法，其特征在于，還包括 使用ACK消息來(lái)指示對(duì)分組的接收；以及在中間SVCS處從所有下游接收器和SVCS接收到肯定ACK消息之 后，從所述中間SVCS向上游SVCS或所述傳送端點(diǎn)發(fā)送單個(gè)經(jīng)聚集的ACK 消息。
72. 如權(quán)利要求62所述的方法，其特征在于，還包括 使用ACK消息來(lái)指示對(duì)分組的接收；以及一在中間SVCS處從發(fā)送器無(wú)差錯(cuò)地接收到分組，就從所述中間SVCS 生成肯定ACK消息，而無(wú)需等待來(lái)自下游接收器和/或SVCS的任何進(jìn)一 步的ACK消息。
73. 如權(quán)利要求46所述的方法，其特征在于，還包括編碼所述類型R 的幀以供根據(jù)預(yù)置時(shí)間表傳輸。
74. 如權(quán)利要求46所述的方法，其特征在于，還包括指定特定傳送的 所述類型R的幀作為參考畫面以備在確認(rèn)所有預(yù)期參與者接收到所述特定 幀之后的將來(lái)使用。
75. 如權(quán)利要求74所述的方法，其特征在于，還包括在沒有成功地將 所述類型R的特定幀可靠地傳輸?shù)筋A(yù)期接收方時(shí)放棄將所述特定幀作為以 備將來(lái)使用的候選參考畫面。
76. 如權(quán)利要求46所述的方法，其特征在于，所述類型R的所述參考幀的可靠傳輸包括通過所述更可靠傳輸鏈路進(jìn)行重傳，所述方法還包括在出差錯(cuò)之后，或在作為新參與者接入通信會(huì)話時(shí)，即使所有重傳的 時(shí)間層畫面被太遲接收到以致無(wú)法在當(dāng)前顯示的情況下也在所述解碼器處 迅速解碼它們，以使所述解碼器與所述編碼器同步。
77. 如權(quán)利要求46所述的方法，其特征在于，所述線程化編碼結(jié)構(gòu)包 括至少一個(gè)高分辨率層和低分辨率層，其中所述編碼器在兩個(gè)層上使用具 有周期性內(nèi)宏塊的單環(huán)路可縮放性編碼，所述方法還包括通過解碼低分辨率層數(shù)據(jù)并將其顯示為經(jīng)上采樣、同時(shí)接收并解碼高 分辨率層數(shù)據(jù)但不顯示它直至漂移被消除、之后所述解碼器可切換成顯示 經(jīng)解碼的高分辨率畫面來(lái)執(zhí)行從低分辨率到高分辨率的層切換，以及通過使用最近的高分辨率畫面的下采樣版本作為其低分辨率解碼環(huán)路 的參考畫面、以及對(duì)其中所述內(nèi)宏塊將逐漸消除所述漂移的所述經(jīng)解碼的 低分辨率畫面繼續(xù)進(jìn)行解碼和顯示來(lái)執(zhí)行從高分辨率到低分辨率的層切換。
78. 如權(quán)利要求77所述的方法，其特征在于，所述編碼遵循H.264 AVC 或SVC，所述方法還包括使用恢復(fù)點(diǎn)SEI消息來(lái)在差錯(cuò)發(fā)生之后完成恢復(fù) 時(shí)指示所述幀號(hào)，以及與所述編碼器的匹配是準(zhǔn)確還是不準(zhǔn)確的。
79. 如權(quán)利要求46所述的方法，其特征在于，至少一個(gè)SVCS協(xié)調(diào)所 述傳送端點(diǎn)與所述一個(gè)或多個(gè)端點(diǎn)之間的通信，并且其中畫面編碼釆用結(jié) 構(gòu)化的內(nèi)宏塊編碼，所述方法還包括在所述至少一個(gè)SVCS處高速緩存一個(gè)周期的LR畫面；以及 將所述一周期的LR畫面?zhèn)魉偷竭M(jìn)行層切換或作為新參與者進(jìn)入所述 會(huì)話的端點(diǎn)，以便可比實(shí)時(shí)更快速地解碼它們，從而實(shí)現(xiàn)快速切換。
80. 如權(quán)利要求79所述的方法，其特征在于，還包括在將分組傳送到 加入所述會(huì)話或執(zhí)行層轉(zhuǎn)換的所述端點(diǎn)之前在所述至少一個(gè)SVCS處從所 述分組中移除經(jīng)幀間編碼的宏塊或切片。
81. 如權(quán)利要求46所述的方法，其特征在于，編碼使用具有至少兩個(gè) 空間層的空間可縮放性，所述方法還包括 在接收端點(diǎn)處，在增強(qiáng)層畫面丟失之后或在切換到經(jīng)提升的層分辨率 時(shí)，通過使用經(jīng)上采樣的較低層畫面作為參考但應(yīng)用所述可用運(yùn)動(dòng)矢量、 模式以及所述增強(qiáng)層處經(jīng)編碼的預(yù)測(cè)差錯(cuò)來(lái)近似所述增強(qiáng)層畫面。
82. 如權(quán)利要求81所述的方法，其特征在于，所述接收端點(diǎn)操作單個(gè) 解碼環(huán)路，所述方法還包括僅對(duì)所述經(jīng)上采樣的較低層畫面使用所述較低 層中可用的所述內(nèi)宏塊。
83. 如權(quán)利要求81所述的方法，其特征在于，所述接收端點(diǎn)操作附加 解碼環(huán)路，所述方法還包括使用所述單解碼環(huán)路來(lái)解碼目標(biāo)分辨率畫面；以及 使用所述附加解碼環(huán)路來(lái)僅解碼其它分辨率的最低時(shí)間層畫面， 使得從一個(gè)分辨率到另一個(gè)的轉(zhuǎn)換可在所述最低時(shí)間層畫面沒有差錯(cuò) 的時(shí)刻以及在具有較小差錯(cuò)的時(shí)刻被執(zhí)行。
84. 如權(quán)利要求83所述的方法，其特征在于，還包括從所述SVCS或傳送端點(diǎn)傳送所述可縮放性層的最低時(shí)間層的除要顯 示畫面之外的所述畫面，以使得所傳送數(shù)據(jù)的比特率變化被最小化。
85. —種用于將用提供兩個(gè)或多個(gè)時(shí)間層的技術(shù)編碼的經(jīng)壓縮數(shù)字視 頻解碼的方法，其中經(jīng)壓縮的視頻畫面被構(gòu)造成一個(gè)或多個(gè)分組，所述方 法包括在所傳送的分組報(bào)頭中設(shè)置用于指示以下的數(shù)據(jù)元素 對(duì)于最低時(shí)間級(jí)畫面，標(biāo)識(shí)所述畫面的序號(hào)，對(duì)于其它時(shí)間級(jí)畫面，對(duì)按照解碼次序最近的最低時(shí)間級(jí)畫面的所述 序號(hào)的引用，以使得接收器可通過檢查與所引用的畫面幀索引相對(duì)應(yīng)的所述畫面在 所述接收器處是否可用來(lái)檢測(cè)最低時(shí)間級(jí)畫面的丟失。
86. 如權(quán)利要求85所述的方法，其特征在于，所述數(shù)據(jù)元素包括一組 擴(kuò)展比特和標(biāo)志，所述比特和標(biāo)志在被置位時(shí)指示存在所述一組擴(kuò)展比特。
87. 如權(quán)利要求85所述的方法，其特征在于，所述數(shù)據(jù)元素包括未在 最低質(zhì)量層畫面中使用的比特。
88. —種用于將用提供兩個(gè)或多個(gè)時(shí)間層的技術(shù)編碼的經(jīng)壓縮數(shù)字視 頻解碼的方法，其中經(jīng)壓縮視頻畫面被構(gòu)造成一個(gè)或多個(gè)分組并使用RTP通過基于IP的網(wǎng)絡(luò)被接收，所述方法包括 提供包括以下的RTP報(bào)頭擴(kuò)展 與每個(gè)層相關(guān)聯(lián)的系列號(hào)，與每個(gè)最低時(shí)間層畫面相關(guān)聯(lián)的序號(hào)，以及用于指示分組是否包含畫面或最低層時(shí)間畫面的畫面片段的標(biāo)志， 其中所述序號(hào)被使用所述最低時(shí)間層畫面作為參考的所有其它畫面所 引用，以及；檢查所接收到的畫面中的所述RTP報(bào)頭擴(kuò)展以驗(yàn)證與所引用的系列號(hào)和序號(hào)相對(duì)應(yīng)的所述畫面的可用性，以使得最低時(shí)間級(jí)畫面的丟失可被檢 測(cè)到。
89. 如權(quán)利要求88所述的方法，其特征在于，還包括 一檢測(cè)到丟失最低時(shí)間層畫面就發(fā)送被格式化為RTCP反饋消息的否定確認(rèn)消息，并且所述反饋消息指示所述丟失畫面的所述序號(hào)、所述丟失畫面所屬的系列號(hào)、以及指示在由所述序號(hào)所指示的畫面之后的畫面中 有哪些也丟失的位屏蔽，由此傳送系統(tǒng)可采取糾正動(dòng)作。
90. —種用于將用提供兩個(gè)或多個(gè)時(shí)間層的技術(shù)編碼的經(jīng)壓縮數(shù)字視頻解碼的方法，其中經(jīng)壓縮視頻畫面被構(gòu)造成一個(gè)或多個(gè)分組，并且在出 差錯(cuò)或一旦發(fā)起解碼的情況下，可在來(lái)自發(fā)送器的經(jīng)壓縮的數(shù)字視頻流中 比實(shí)時(shí)更快地且在其預(yù)期呈現(xiàn)時(shí)間之后接收到至少最低時(shí)間級(jí)畫面的分組，所述方法包括在端點(diǎn)處比實(shí)時(shí)更快地解碼所接收到的畫面，并且如果在其預(yù)期呈現(xiàn) 時(shí)間之后被解碼則不顯示它們，由此所述解碼器可與所述接收到的經(jīng)壓縮 數(shù)字視頻流同步；以及在實(shí)現(xiàn)此同步之后執(zhí)行常規(guī)解碼和呈現(xiàn)。
91. 一種包括用于執(zhí)行方法權(quán)利要求46-90的至少一個(gè)中所述的步驟 的指令集的計(jì)算機(jī)可讀介質(zhì)。
全文摘要
提供了一種用于視頻通信系統(tǒng)中的差錯(cuò)彈性傳輸和隨機(jī)接入的系統(tǒng)和方法。該視頻通信系統(tǒng)基于可用在視頻通信系統(tǒng)中的單層可縮放視頻、或具有時(shí)間可縮放性的聯(lián)播視頻編碼。視頻信號(hào)傳輸中的一組視頻幀或畫面被指定使用安全或高可靠性鏈路或通過重傳技術(shù)可靠或有保證地遞送到接收器。被可靠遞送的視頻幀在差錯(cuò)發(fā)生之后或在隨機(jī)接入期間用作接收器與所傳送的視頻信號(hào)重新同步的參考畫面。
文檔編號(hào)G11B27/30GK101371312SQ200680052466
公開日2009年2月18日 申請(qǐng)日期2006年12月8日 優(yōu)先權(quán)日2005年12月8日
發(fā)明者A·埃爾法澤阿迪斯, J·倫諾克斯, M·薩克希納, O·莎彼洛, R·希萬(wàn)拉, R·薩西恩, S·希伯利 申請(qǐng)人:維德約股份有限公司