專利名稱：用于從突發(fā)錯(cuò)誤效應(yīng)中恢復(fù)的多柵格化視頻的時(shí)移傳輸?shù)闹谱鞣椒?br> 用于從突發(fā)錯(cuò)誤效應(yīng)中恢復(fù)的多柵格化視頻的時(shí)移傳輸相關(guān)申請(qǐng)的交叉引用本申請(qǐng)要求享有于2008年6月17日申請(qǐng)的名稱為“用于從突發(fā)錯(cuò)誤效應(yīng)恢復(fù)的 多柵格化視頻的時(shí)移傳輸”的第12/141015號(hào)美國實(shí)用新型專利的優(yōu)先權(quán)，該申請(qǐng)的全部內(nèi) 容在此通過引用并入。
背景技術(shù)：
本發(fā)明總體上涉及數(shù)字網(wǎng)絡(luò)中的數(shù)據(jù)傳輸，更具體地，涉及改進(jìn)通過數(shù)字網(wǎng)絡(luò)的 數(shù)字視頻傳輸中的錯(cuò)誤檢測(cè)、糾正和/或隱藏。通過數(shù)字網(wǎng)絡(luò)的視頻流傳輸包括幾個(gè)方面，例如用于各種類型的通信網(wǎng)絡(luò)和系統(tǒng) 的視頻壓縮、糾錯(cuò)和數(shù)據(jù)丟失隱藏。這樣的應(yīng)用通常需要以最小的數(shù)據(jù)丟失或感知數(shù)據(jù)丟 失輔助數(shù)據(jù)傳輸?shù)聂敯粝到y(tǒng)和方法。最小化數(shù)據(jù)丟失或感知數(shù)據(jù)丟失的系統(tǒng)在諸如使用分 組交換網(wǎng)絡(luò)的視頻廣播應(yīng)用中尤為重要，如大的突發(fā)錯(cuò)誤普遍的互聯(lián)網(wǎng)。分組交換互聯(lián)網(wǎng) 協(xié)議(IP)網(wǎng)絡(luò)中的突發(fā)錯(cuò)誤可以由各種機(jī)構(gòu)導(dǎo)致，包括通過IP網(wǎng)絡(luò)傳輸?shù)牟煌瑪?shù)據(jù)分組 的IP路由時(shí)間的差異。遺憾的是，用于以最小的數(shù)據(jù)丟失或感知數(shù)據(jù)丟失輔助魯棒數(shù)據(jù)傳 輸?shù)膫鹘y(tǒng)系統(tǒng)和方法在不要求過大的網(wǎng)絡(luò)帶寬和存儲(chǔ)器的情況下，通常不能應(yīng)對(duì)相對(duì)大量 的數(shù)據(jù)丟失。


圖1是根據(jù)一個(gè)實(shí)施例的采用視頻分塊(partition)、時(shí)移以及前向糾錯(cuò)(FEC)的 通信系統(tǒng)的框圖。圖2是示出了由圖1的系統(tǒng)對(duì)視頻幀進(jìn)行第一示例性分塊的示圖。圖3a是顯示了時(shí)移視頻流的并行傳輸和一個(gè)示例性數(shù)據(jù)丟失間隔的第一示例性 時(shí)序圖，其中每個(gè)流對(duì)應(yīng)一個(gè)由圖1的示例性通信系統(tǒng)所處理的視頻信號(hào)的一個(gè)分塊或柵 格。圖北是顯示了來自對(duì)應(yīng)于圖3a的視頻段(U)的一組視頻幀的視頻數(shù)據(jù)的示例 性發(fā)送定時(shí)的第二示例性時(shí)序圖。圖4是示出了針對(duì)第一視頻段(tl)的圖3a的數(shù)據(jù)丟失間隔的一個(gè)示例性數(shù)據(jù)丟 失模式的圖2的示例性視頻幀的示圖。圖5示出了根據(jù)圖2所示的視頻分塊進(jìn)行分塊的第二示例性視頻幀，并且顯示了 針對(duì)第二視頻段(^)的圖3a的視頻丟失間隔的一個(gè)示例性數(shù)據(jù)丟失模式。圖6示出了根據(jù)圖2所示的視頻分塊進(jìn)行分塊的第三示例性視頻幀，并且顯示了 針對(duì)第三視頻段(U)的圖3a的視頻丟失間隔的一個(gè)示例性數(shù)據(jù)丟失模式。圖7示出了由圖1的系統(tǒng)進(jìn)行的第二示例性視頻幀分塊。圖8示出了針對(duì)第一視頻段的圖3a的數(shù)據(jù)丟失間隔的一個(gè)示例性數(shù)據(jù)丟失模式 的圖7的示例性視頻幀。圖9示出了根據(jù)圖7所示的視頻分塊進(jìn)行分塊的示例性視頻幀，并且顯示了針對(duì)第二視頻段的圖3a的視頻丟失間隔的一個(gè)示例性數(shù)據(jù)丟失模式。圖10示出了根據(jù)圖7所示的視頻分塊進(jìn)行分塊的示例性視頻幀，并且顯示了針對(duì) 第三視頻段的圖3a的視頻丟失間隔的一個(gè)示例性數(shù)據(jù)丟失模式。圖11示出了由圖1的系統(tǒng)進(jìn)行的第三示例性視頻分塊。圖12是顯示了時(shí)移視頻流的并行傳輸和一個(gè)示例性的數(shù)據(jù)丟失間隔的第三示例 性時(shí)序圖，其中每個(gè)流對(duì)應(yīng)一個(gè)由圖1的示例性通信系統(tǒng)所處理的視頻信號(hào)的一個(gè)分塊或 柵格。圖13示出了根據(jù)圖11所示的視頻分塊進(jìn)行分塊的示例性視頻幀，并且顯示了針 對(duì)第一視頻段(tl)的圖12的視頻丟失間隔的一個(gè)示例性數(shù)據(jù)丟失模式。圖14示出了根據(jù)圖11所示的視頻分塊進(jìn)行分塊的示例性視頻幀，并且顯示了針 對(duì)第二視頻段(O的圖12的視頻丟失間隔的一個(gè)示例性數(shù)據(jù)丟失模式。圖15示出了針對(duì)第三視頻段(U)的圖12的數(shù)據(jù)丟失間隔的一個(gè)示例性數(shù)據(jù)丟 失模式的圖11的示例性視頻幀。圖16是適用于圖1的通信系統(tǒng)的第一示例性方法的流程圖。圖17是適用于圖1的通信系統(tǒng)的第二示例性方法的流程圖。
具體實(shí)施方式
描述鍵本發(fā)明的一個(gè)實(shí)施例利用多個(gè)矩陣來映射視頻信號(hào)的一幀。出于當(dāng)前討論的目 的，一個(gè)矩陣可以是任意像素或與其關(guān)聯(lián)的數(shù)據(jù)的分組。一個(gè)像素可以包括與一個(gè)數(shù)據(jù)點(diǎn) 相關(guān)聯(lián)的一個(gè)或多個(gè)值，其中數(shù)據(jù)點(diǎn)可以是視頻幀的最小可顯示元素或部分。數(shù)據(jù)幀可以 是用于輔助建立一個(gè)圖像或其表示的任何數(shù)據(jù)集合。每個(gè)矩陣可以含有少量像素，如n，以η = 4為例，矩陣中有4個(gè)像素。注意在具體 實(shí)施例中η = ρ，其中ρ表示作為結(jié)果的流的數(shù)量，以下作更充分的討論。因而，形成相應(yīng) 的η個(gè)流并且這些流通過網(wǎng)絡(luò)或信道以時(shí)間偏斜和/或時(shí)間交織的方式來發(fā)送，以下作更 充分的討論。在一個(gè)具體實(shí)施例中公開了一種處理和發(fā)送視覺信息的裝置。視覺信息可以是來 自信源的任何信息，例如來自照相機(jī)，從膠卷掃描，或合成地創(chuàng)建生成以形成一個(gè)圖像或其 中一部分。術(shù)語“視覺信息”和“圖像數(shù)據(jù)”在此可互換使用。在具體實(shí)施例中，該裝置包 括一個(gè)將多個(gè)矩陣映射到一個(gè)視頻幀的第一機(jī)構(gòu)。當(dāng)來自一個(gè)視頻幀的特定視頻數(shù)據(jù)集合 或組(例如對(duì)應(yīng)于像素的視頻數(shù)據(jù))被關(guān)聯(lián)或指派到一個(gè)矩陣時(shí)，則稱該矩陣被映射到該 視頻幀。第二機(jī)構(gòu)指派每個(gè)矩陣的η個(gè)像素到輸入視頻信號(hào)的η個(gè)對(duì)應(yīng)的抽取版本。視頻 信號(hào)的抽取版本可以是表示來自原始或輸入視頻信號(hào)的視頻數(shù)據(jù)子集的視頻信號(hào)的任何 版本。輸入視頻信號(hào)的抽取版本在此處也被稱為視頻分塊，柵格化版本，輸入視頻信號(hào)的柵 格，或二次采樣版本。輸入視頻信號(hào)的抽取版本的幀也被稱為柵格化幀，二次采樣幀、抽取 幀或幀分塊。總之，術(shù)語“柵格”可以描述視頻信號(hào)的分塊，其中視頻信號(hào)的每個(gè)柵格可以 包括與視頻信號(hào)幀中像素位置的特定集合相對(duì)應(yīng)的像素信息。像素位置的特定集合被稱為 采樣區(qū)域。注意，視頻抽取、二次采樣、分塊或柵格化可能會(huì)將混疊引入到視頻信號(hào)中，混疊可通過一個(gè)或多個(gè)濾波操作例如抗混疊濾波器來移除。第三機(jī)構(gòu)根據(jù)第一相對(duì)時(shí)序提供了來自η個(gè)抽取視頻信號(hào)的η個(gè)流。η個(gè)抽取視 頻信號(hào)中的每一個(gè)抽取視頻信號(hào)與輸入視頻信號(hào)的各自的柵格、分塊、抽取版本或二次采 樣版本相對(duì)應(yīng)。出于當(dāng)前討論的目的，流可以是任何連續(xù)發(fā)送或接收的數(shù)據(jù)，例如但不限 于，根據(jù)視頻壓縮規(guī)格如運(yùn)動(dòng)圖像專家組(MPEG)-4標(biāo)準(zhǔn)第10部分的語法和語義按照發(fā)送 順序的視頻信號(hào)的壓縮視頻幀。時(shí)序可以規(guī)定出現(xiàn)在第一視頻流中(例如標(biāo)為Sl的流，以 下作更充分的討論)的視頻信號(hào)的第一版本的一個(gè)或多個(gè)段(例如標(biāo)為tl的段，以下作更 充分的討論)和出現(xiàn)在第二視頻流中(例如標(biāo)為S2的流，以下作更充分的討論)的視頻信 號(hào)的第二版本的一個(gè)或多個(gè)對(duì)應(yīng)的段(例如標(biāo)為tl的段)之間的時(shí)間關(guān)系。注意，出于本 發(fā)明討論的目的，視頻信號(hào)可以被分塊、抽取、二次采樣或柵格化成為多個(gè)版本，該多個(gè)版 本可以是被處理或壓縮成多個(gè)對(duì)應(yīng)的流，該多個(gè)流可以被選擇性地稱為數(shù)字視頻信號(hào)或視 頻信號(hào)。進(jìn)而，多個(gè)流的每一個(gè)也可被稱為視頻信號(hào)。第四機(jī)構(gòu)執(zhí)行了將第一相對(duì)時(shí)序變?yōu)榕c第一相對(duì)時(shí)序不同的第二相對(duì)時(shí)序的指 令。第二相對(duì)時(shí)序被認(rèn)為是第一相對(duì)時(shí)序的時(shí)間偏斜和/或時(shí)間交織版本。例如，特征在 于第一時(shí)序的第一流集合可包括第一時(shí)序或時(shí)間關(guān)系的各個(gè)段。相應(yīng)的具有第二時(shí)序的第 二流集合可以包括第一流集合的各個(gè)段，其中各個(gè)段處于不同的時(shí)間關(guān)系，使得這些段的 順序被偏斜或分離不同時(shí)間間隔，而不是各個(gè)段在第一流集合中那樣的順序。一種示例性方法包括接收具有一個(gè)或多個(gè)視頻幀的視頻信號(hào)；將視頻信號(hào)的一個(gè) 或多個(gè)視頻幀的每一個(gè)分塊為多個(gè)抽取幀；然后將多個(gè)抽取幀的各個(gè)序列分離或處理為一 個(gè)或多個(gè)可識(shí)別視頻流。所述一個(gè)或多個(gè)可識(shí)別視頻流中的每一個(gè)可被分段為連續(xù)段，其 中每個(gè)連續(xù)段包括一個(gè)或多個(gè)連續(xù)壓縮視頻幀。在本實(shí)施例的方法中，每個(gè)壓縮視頻幀與η 個(gè)抽取視頻幀相關(guān)聯(lián)，其中η表示矩陣(即，像素的具體分組)的像素?cái)?shù)目，矩陣被連續(xù)映 射到非抽取視頻幀上。一個(gè)或多個(gè)可識(shí)別視頻流中每一個(gè)的段都相對(duì)于一個(gè)或多個(gè)其他可 識(shí)別視頻流的對(duì)應(yīng)段被有策略地時(shí)移。時(shí)移或偏斜發(fā)生在發(fā)送前以輔助糾錯(cuò)和/或錯(cuò)誤隱 藏，以下作更充分的討論。一個(gè)或多個(gè)可識(shí)別視頻流的傳輸導(dǎo)致了多柵格化視頻的時(shí)移傳 輸。示例實(shí)施例一個(gè)更為具體的實(shí)施例實(shí)現(xiàn)了一種用于將視頻信號(hào)分離為多個(gè)可識(shí)別柵格的裝 置，多個(gè)可識(shí)別柵格也被稱作錯(cuò)誤隱藏分塊、抽取版本或二次采樣版本。這樣的柵格不會(huì)與 可伸縮視頻編碼方法的分層相混淆。這些柵格的每一個(gè)被關(guān)聯(lián)于或“指派”來自視頻信號(hào) 每一幀中的對(duì)應(yīng)像素位置集合(也稱“采樣區(qū)域”)的像素?cái)?shù)據(jù)。每個(gè)柵格包括來自于視頻 幀的特定抽取版本的像素信息，并且視頻幀的給定抽取版本被包括在視頻信號(hào)的特定柵格 中。提供了不同抽取視頻幀的采樣像素位置的每個(gè)集合被認(rèn)為形成給定視頻幀中的一個(gè)像 素柵格，像素的柵格也被稱為柵格化幀或子幀。給定視頻信號(hào)的視頻幀的多個(gè)柵格化幀確 定了可以作為分離的流被處理和發(fā)送的各個(gè)抽取視頻幀序列。每個(gè)單獨(dú)的抽取視頻幀序列 被稱為原始或輸入視頻信號(hào)的一個(gè)柵格，并且被壓縮和分段成連續(xù)視頻段，并進(jìn)行前向糾 錯(cuò)(FEC)處理，以下作更充分的討論。輸入視頻信號(hào)的每個(gè)單獨(dú)抽取視頻幀序列是視頻信 號(hào)的各自獨(dú)立表示。每個(gè)各自表示的圖片可被進(jìn)行獨(dú)立于輸入視頻信號(hào)的其他表示的處理 或壓縮。因此，視頻信號(hào)的每個(gè)表示各自是視頻信號(hào)的獨(dú)立表示，因?yàn)槠淇杀贿M(jìn)行獨(dú)立于視頻信號(hào)的其他保留表示的處理或壓縮。每個(gè)作為結(jié)果的子視頻流(例如壓縮格式的視頻信 號(hào)的抽取版本)可被進(jìn)行獨(dú)立于其他子視頻流的處理或解壓縮。流的每個(gè)段或視頻信號(hào)的每個(gè)段可以包括一個(gè)或多個(gè)按發(fā)送順序的連續(xù)視頻幀。 所述連續(xù)視頻幀可以是壓縮視頻幀。壓縮視頻幀可以是應(yīng)用了壓縮算法或其他操作以減少 用于表示視頻幀的比特?cái)?shù)量的任何幀。給定視頻流中的每個(gè)連續(xù)視頻幀對(duì)應(yīng)于源自原始或 輸入視頻信號(hào)幀的各個(gè)抽取視頻幀。如果不同流中的視頻幀是源自原始或輸入視頻信號(hào)中 相同視頻幀的各個(gè)抽取版本或表示，則它們被認(rèn)為是互相對(duì)應(yīng)的。單獨(dú)流中的對(duì)應(yīng)段，如下所述，可以互相相對(duì)有時(shí)移，從而在給定時(shí)間間隔期間的 數(shù)據(jù)丟失將不會(huì)損壞與輸入視頻信號(hào)的給定幀相關(guān)聯(lián)的全部抽取視頻幀。因此幀的丟失或 受損部分，比如壓縮的幀，可在接收端通過各種機(jī)構(gòu)隱藏，這些機(jī)構(gòu)包括線性或非線性插值 或幀增線(upscaling)，以下作更充分的討論。因此，本實(shí)施例結(jié)合了糾錯(cuò)和錯(cuò)誤隱藏以輔 助有損信道或網(wǎng)絡(luò)比如互聯(lián)網(wǎng)協(xié)議(IP)分組交換網(wǎng)絡(luò)中的視頻的彈性魯棒傳輸。此處討 論的某些實(shí)施例可能在涉及經(jīng)由分組交換網(wǎng)絡(luò)的廣播視頻也被稱為過頂(over-the-top) 視頻傳輸?shù)膽?yīng)用中尤為有用。注意，可以將FEC技術(shù)應(yīng)用到將通過網(wǎng)絡(luò)被發(fā)送的給定數(shù)據(jù)流中。對(duì)數(shù)據(jù)流應(yīng)用 FEC涉及將冗余數(shù)據(jù)疊加到數(shù)據(jù)流上從而在發(fā)生某些類型的數(shù)據(jù)丟失時(shí)減少或消除重新發(fā) 送數(shù)據(jù)的需要。冗余數(shù)據(jù)有利于在發(fā)生數(shù)據(jù)丟失時(shí)接收器重建數(shù)據(jù)流。由于噪聲、不同IP 路由收斂時(shí)間，無線網(wǎng)絡(luò)中的瑞利衰落等，數(shù)據(jù)可能被丟失。對(duì)數(shù)據(jù)流應(yīng)用FEC也可以包括 使用冗余數(shù)據(jù)對(duì)數(shù)據(jù)流中的丟失數(shù)據(jù)或其他錯(cuò)誤的糾正。然而，由于很多通信系統(tǒng)的過大開銷和帶寬限制，某些傳統(tǒng)FEC系統(tǒng)經(jīng)常沒有對(duì) 大的丟失作出糾正或適當(dāng)補(bǔ)償，如超過500毫秒的突發(fā)相關(guān)丟失。這會(huì)導(dǎo)致例如被傳輸視 頻的不合需要的空白幀以及作為結(jié)果的被顯示視頻信號(hào)中相應(yīng)的黑屏。這樣的問題可由此 處討論的某些實(shí)施例來解決。為了清楚顯示，各個(gè)公知的元件，例如視頻放大器、網(wǎng)絡(luò)卡、路由器、互聯(lián)網(wǎng)服務(wù)提 供商(ISI^s)、互聯(lián)網(wǎng)協(xié)議安全性(IPSEC)集中器、媒體網(wǎng)關(guān)(MGWs)、濾波器、復(fù)用器或解復(fù) 用器、傳輸流等，已從圖中被省略掉。然而，本領(lǐng)域技術(shù)人員受到當(dāng)前的教導(dǎo)將知道使用哪 些元件以及如何使用它們以滿足給定應(yīng)用的需要。出于當(dāng)前討論的目的，電子傳輸數(shù)據(jù)可以是經(jīng)由電磁能量從第一位置被通信到 第二位置的任何數(shù)據(jù)。電子傳輸數(shù)據(jù)的例子包括經(jīng)由互聯(lián)網(wǎng)協(xié)議(IP)在分組交換網(wǎng)絡(luò) 中傳輸?shù)臄?shù)據(jù)，經(jīng)由電路交換網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)如公共交換電話網(wǎng)絡(luò)(PSTN)，以及使用無線 協(xié)議無線傳輸?shù)臄?shù)據(jù)如碼分多址(CDMA)、高級(jí)移動(dòng)電話服務(wù)(AMPS)、WiFi (無線保真)、 WiMAX(全球微波接入互操作性)及藍(lán)牙協(xié)議。圖1是根據(jù)一個(gè)實(shí)施例的使用視頻分塊、時(shí)移以及前向糾錯(cuò)(FEC)的通信系統(tǒng)10 的框圖。通信系統(tǒng)10包括與第一接收器14和第二接收器30進(jìn)行通信的發(fā)送器12。出于 當(dāng)前討論的目的，通信系統(tǒng)可以是包含互相通信或適用于互相通信的一個(gè)或多個(gè)組件的任 何裝置或裝置的集合。發(fā)送器12包括一個(gè)耦接到視頻時(shí)移模塊18的視頻分塊模塊16。視頻時(shí)移模塊 18耦接到視頻編碼器20。雖然視頻時(shí)移模塊18被顯示先于視頻壓縮模塊22，但是其他實(shí) 施例可以在處理路徑的不同節(jié)點(diǎn)中實(shí)現(xiàn)時(shí)移功能。例如，可替換實(shí)施例可以在視頻壓縮模塊22的輸出設(shè)置視頻時(shí)移模塊18。其他設(shè)置也是可以的。視頻編碼器20包括視頻壓縮 模塊22，該視頻壓縮模塊22耦接到包含F(xiàn)EC模塊沈的發(fā)送鏈M。在一個(gè)實(shí)施例中，發(fā)送 器12包括視頻分塊模塊16的濾波能力。這樣的濾波能力可以包括線性、非線性或抗混疊 濾波能力。如果第一和第二抽取視頻幀源自輸入視頻信號(hào)的同一個(gè)幀，則認(rèn)為第一抽取視頻 幀對(duì)應(yīng)于第二抽取視頻幀。也就是說，視頻分塊模塊16從輸入視頻信號(hào)的同一個(gè)幀產(chǎn)生了 第一和第二抽取幀，因此，出于顯示或輸出的目的，兩個(gè)抽取幀在時(shí)間上對(duì)應(yīng)于相同情況或 時(shí)間間隔。同樣地，多個(gè)對(duì)應(yīng)的抽取視頻幀是指源自輸入視頻信號(hào)的同一個(gè)幀并且出于顯 示或輸出的目的在時(shí)間上對(duì)應(yīng)于相同情況或相同時(shí)間間隔的多個(gè)抽取視頻幀。如果第一視頻流中的壓縮視頻幀和第二視頻流中的壓縮視頻幀在被壓縮之前都 是對(duì)應(yīng)的抽取幀(即，都源自輸入視頻信號(hào)的同一個(gè)幀)，則可以認(rèn)為第一視頻流中的壓縮 視頻幀對(duì)應(yīng)于第二視頻流中的壓縮視頻幀。同樣地，如果多個(gè)視頻流中的每一個(gè)都源自輸 入視頻信號(hào)的同一個(gè)幀，則可以認(rèn)為這多個(gè)視頻流中的各個(gè)壓縮視頻幀是對(duì)應(yīng)的壓縮視頻 幀。依據(jù)該實(shí)施例，視頻的分塊可以發(fā)生在它們被壓縮之前或被壓縮期間。依據(jù)該實(shí)施例， 幀或視頻段的時(shí)移可以發(fā)生在它們壓縮之前、壓縮期間或壓縮之后。依據(jù)該實(shí)施例，分塊和 時(shí)移可以是也可以不是發(fā)生在發(fā)送器12的同一個(gè)處理模塊中的。出于顯示一個(gè)特定實(shí)施例的目的，令frame (k，ν)表示給定的視頻流ν的按照發(fā)送 順序的第k個(gè)巾貞，這樣frame (k，1)是第一視頻流中第k個(gè)視頻幀；frame (k，2)是第二視頻 流中對(duì)應(yīng)的第k個(gè)幀；frame (k，ρ)是第ρ個(gè)視頻流中對(duì)應(yīng)的第k個(gè)幀。設(shè)nf (幀的數(shù)量) 為正整數(shù)，如果對(duì)于取值為1至nf的k的每個(gè)整數(shù)值，按發(fā)送順序表示為第k個(gè)的幀都是對(duì) 應(yīng)幀，則認(rèn)為第一視頻流的nf個(gè)連續(xù)幀的段在時(shí)間上對(duì)應(yīng)于第二視頻流的nf個(gè)連續(xù)幀的 段。類似地，如果各個(gè)視頻流中的多個(gè)段中的兩個(gè)的所有可能組對(duì)都是時(shí)間上對(duì)應(yīng)的段，則 認(rèn)為各個(gè)視頻流中的這多個(gè)段是時(shí)間上對(duì)應(yīng)的段或僅僅是對(duì)應(yīng)的段。也就是說，如果(1) P個(gè)段中的每一個(gè)有相同幀數(shù)nf，并且⑵按發(fā)送順序，對(duì)于取值為1至nf的k的每個(gè)整 數(shù)值，P個(gè)段的每一個(gè)段的第k個(gè)幀都是其他(p-1)個(gè)段中各個(gè)第k個(gè)幀的對(duì)應(yīng)幀，則認(rèn)為 這P個(gè)視頻段是對(duì)應(yīng)段。視頻壓縮模塊22根據(jù)視頻編碼規(guī)范的語法和語義輸出ρ個(gè)視頻流的每一個(gè)中的 連續(xù)壓縮視頻幀。編碼器20可規(guī)定傳輸流的使用，視頻信號(hào)的多個(gè)流經(jīng)由發(fā)送鏈M在發(fā) 送到網(wǎng)絡(luò)32之前被復(fù)用為該傳輸流。視頻流中的連續(xù)壓縮視頻的發(fā)送順序可以等于也可 以不等于這些幀的顯示或輸出順序。例如，在某些應(yīng)用中，可能要求在具有更早顯示或輸出 時(shí)間的幀之前發(fā)送未來參考幀，但這取決于該未來參考幀用于其重建的解碼版本。視頻壓 縮模塊22作用于ρ個(gè)抽取視頻信號(hào)的壓縮，從而對(duì)應(yīng)的ρ個(gè)視頻流的每一個(gè)中的連續(xù)壓縮 視頻幀的相對(duì)發(fā)送順序都是相同的。然而，在本實(shí)施例中，雖然所述P個(gè)視頻流的每一個(gè)中 的幀的相對(duì)發(fā)送順序都是相同的，但是，如下面解釋的，P個(gè)對(duì)應(yīng)視頻段的每個(gè)集合根據(jù)第 二相對(duì)時(shí)序被發(fā)送，第二相對(duì)時(shí)序是第一相對(duì)時(shí)序的偏斜或時(shí)移版本。發(fā)送器12經(jīng)由網(wǎng)絡(luò)32耦接到第一接收器14和第二接收器30。網(wǎng)絡(luò)32可以是互 聯(lián)網(wǎng)、無線網(wǎng)絡(luò)或其他類型的網(wǎng)絡(luò)或通信信道。雖然此處描述了多個(gè)接收器或解碼器，但是 其他實(shí)施例可使用用于一個(gè)或多個(gè)視頻流的單個(gè)解碼器或接收器。第一接收器14包括第一解碼器34，第一解碼器34耦接到第一視頻解分塊模塊42，第一視頻解分塊模塊42耦接到第一丟失隱藏及延遲補(bǔ)償模塊(LCALCM1)44。第一解碼 器34包括含有第一逆FEC模塊38的第一接收鏈36。第一接收鏈36耦接到第一解碼器34 中的第一視頻解壓縮模塊40。第一解碼器34耦接到第一視頻解分塊模塊42，第一視頻解 分塊模塊42耦接到第一丟失隱藏及延遲補(bǔ)償模塊44。第二接收器30類似于第一接收器 14，除了 第二接收器30適用于訂閱第一接收器14訂閱的視頻流子集，以及可以包括沒有 包括在第一接收器14中的某些濾波能力，如幀增線(upscaling)能力，或者額外或不同的 幀增線能力。出于當(dāng)前討論的目的，視頻流可以是視頻數(shù)據(jù)任何連續(xù)發(fā)送的部分，例如而不限 于，按發(fā)送順序的視頻流的壓縮視頻幀，發(fā)送順序根據(jù)視頻壓縮規(guī)范的語法和語義。一個(gè)示 例性的視頻流包括一系列連續(xù)發(fā)送的視頻分組。一個(gè)視頻幀的發(fā)送可能需要多個(gè)視頻分組 的發(fā)送。在一個(gè)實(shí)施例中，多個(gè)單獨(dú)的視頻流被復(fù)用成為單個(gè)傳輸流，再在單個(gè)發(fā)送信道 上發(fā)送。傳輸流中提供附加信息以識(shí)別視頻流。附加信息可包括指示壓縮視頻幀分塊的解 碼版本如何被組裝成用于顯示或輸出的更大的幀的信息。附加信息也可以包括指示柵格化 幀的相對(duì)時(shí)序和傳輸流中對(duì)應(yīng)段的信息，以下作更充分的討論。在可替換的實(shí)施例中，視頻流包括多個(gè)子視頻流，這多個(gè)子視頻流例如通過以下 方式被打包和適當(dāng)?shù)貜?fù)用到該視頻流中例如通過將攜帶壓縮格式的對(duì)應(yīng)柵格的視頻分組 散布到視頻流中來經(jīng)由子視頻流執(zhí)行多個(gè)抽取視頻幀(即，柵格化幀)的并行或同時(shí)發(fā)送。 在本實(shí)施例中，每個(gè)子視頻流對(duì)應(yīng)輸入視頻信號(hào)的各個(gè)分塊。視頻流中的附加信息提供了 傳達(dá)柵格的空間關(guān)系和壓縮視頻段或壓縮視頻幀分塊的相對(duì)時(shí)序的標(biāo)識(shí)信息。出于當(dāng)前討 論的目的，視頻流中的視頻段和/或幀(或子幀)的相對(duì)時(shí)序可規(guī)定視頻流中每一組對(duì)應(yīng) 視頻段和/或每個(gè)對(duì)應(yīng)幀的起始、終止或完成的實(shí)際順序，并且還可以規(guī)定視頻流中每個(gè) 視頻段和/或視頻流中每個(gè)幀的起始、終止或完成之間的時(shí)間間隔。當(dāng)壓縮幀的序列通過 信道被發(fā)送時(shí)，被發(fā)送的幀的相對(duì)順序可被稱為相對(duì)時(shí)間發(fā)送順序、相對(duì)發(fā)送順序或相對(duì) 時(shí)間順序。視頻段或幀的相對(duì)時(shí)間順序被認(rèn)為是相對(duì)的，因?yàn)樗鼈兓ハ嘀g以時(shí)間間隔或 以輸入視頻信號(hào)連續(xù)幀的間隔被排序和定位以用于發(fā)送。被并行發(fā)送的多個(gè)視頻流不必通過公共發(fā)送信道被同時(shí)發(fā)送或復(fù)用。在另一個(gè)實(shí) 施例中，分別對(duì)應(yīng)于視頻分塊的多個(gè)視頻流利用適當(dāng)?shù)耐焦?yīng)和標(biāo)識(shí)信息在第一位置和 第二位置之間的兩個(gè)不同的發(fā)送信道上被并行地發(fā)送。這樣的信道被稱為并行信道。第二接收器30包括第二接收鏈46，第二接收鏈46包括第二逆FEC模塊48。第 二解碼器56包括第二逆FEC模塊48和第二視頻解壓縮模塊50。第二解碼器56被耦接到 第二視頻解分塊模塊52。第二視頻解分塊模塊52被耦接到第二視頻隱藏及延遲補(bǔ)償模塊 (LCALC2)540丟失隱藏及延遲補(bǔ)償模塊4454是錯(cuò)誤隱藏模塊。出于當(dāng)前討論的目的，錯(cuò)誤隱 藏模塊可以是適用于掩飾視頻流損壞的任何實(shí)體，如省略數(shù)據(jù)、丟失數(shù)據(jù)、受損數(shù)據(jù)或尚未 被接收器接收到的數(shù)據(jù)，或發(fā)生在視頻流發(fā)送或接收中的其他錯(cuò)誤。此處，損壞是指省略數(shù) 據(jù)、丟失數(shù)據(jù)、受損數(shù)據(jù)、或尚未被接收器接收到的數(shù)據(jù)，或發(fā)生在視頻流發(fā)送或接收中的 其他錯(cuò)誤。LCALCl 44和LCALC2 54包括濾波能力，例如實(shí)現(xiàn)解碼視頻幀的增線的線性、非線性或抗混疊濾波能力。LCALC 1 44和LCALC 2 M的濾波能力可補(bǔ)償丟失數(shù)據(jù)、受損數(shù)據(jù)或 未接收的數(shù)據(jù)。例如，濾波能力可以被用來增線第一視頻流的解碼幀的至少一部分以隱藏 第二視頻流的對(duì)應(yīng)幀的損壞。用于當(dāng)前討論的目的，當(dāng)導(dǎo)出或復(fù)制數(shù)據(jù)以補(bǔ)償數(shù)據(jù)的損壞 時(shí)，則說數(shù)據(jù)被增線。可以利用LCALC 1 44或LCALC 2 M的濾波能力來增線frame (k，1)解碼版本 的至少一個(gè)部分，其在空間上對(duì)應(yīng)于frame(k，2)受損部分。解碼的frame (k，1)的增線 (upscaled)版本中產(chǎn)生的像素值中的一些或可能全部被用于補(bǔ)償frame (k，2)解碼版本的 至少一個(gè)受損部分的對(duì)應(yīng)像素，或整個(gè)frame (kj)如果frame (kj)完全地被損壞了或不 可解碼的話。在一個(gè)實(shí)施例中，當(dāng)frame(k，2)被損壞了，單個(gè)的解碼未受損幀，例如frame(k， 1)，在LCALC 1 44或LCALC 2 54中被增線以補(bǔ)償frame (k，2)中相應(yīng)的一個(gè)或多個(gè)空間對(duì) 應(yīng)受損部分。可替換地或另外地，當(dāng)frame (kd)顯示了一個(gè)或多個(gè)部分幀的損壞，單個(gè)解 碼未受損幀，例如frame (k，1)，的一個(gè)或多個(gè)部分在LCALC 1 44或LCALC 2 54中被增線以 補(bǔ)償frame (k，2)中各個(gè)空間上對(duì)應(yīng)的未受損部分。在另一個(gè)實(shí)施例中，ρ個(gè)視頻流和標(biāo)識(shí)信息在第一接收器14被接收。LCALCl 44 的濾波能力被用于增線(P-I)個(gè)對(duì)應(yīng)的未受損幀的解碼版本以補(bǔ)償?shù)讦眰€(gè)視頻流的對(duì)應(yīng)幀 中的一個(gè)或多個(gè)損壞。用于當(dāng)前討論的目的，P個(gè)接收的視頻流的每個(gè)中各自第k個(gè)幀被 認(rèn)為是對(duì)應(yīng)的視頻幀。P個(gè)對(duì)應(yīng)的第k個(gè)視頻幀的相對(duì)時(shí)序由第一接收器14從接收的標(biāo)識(shí) 信息即附加信息來確定，該標(biāo)識(shí)信息被包括在傳輸流中。P個(gè)對(duì)應(yīng)的第k個(gè)幀的相對(duì)時(shí)序可 由第一接收器14從接收的用于識(shí)別ρ個(gè)對(duì)應(yīng)的視頻段的相對(duì)時(shí)序的標(biāo)識(shí)信息來確定。對(duì) 應(yīng)的P個(gè)視頻幀由第一解碼器36根據(jù)它們的相對(duì)時(shí)序來解碼。ρ個(gè)對(duì)應(yīng)的第k個(gè)視頻幀的 解碼版本的空間關(guān)系也由第一接收器14從相同的接收到的標(biāo)識(shí)信息來確定。在一個(gè)可替換的實(shí)施例中，ρ個(gè)對(duì)應(yīng)的第k個(gè)視頻幀的解碼版本的空間關(guān)系由第 一接收器14從不同于上述的接收的標(biāo)識(shí)信息的額外的或不同的附加信息來確定。具有與 發(fā)送器12的輸入視頻信號(hào)相同的空間分辨率的合成或組合視頻幀由第一視頻解分塊模塊 42根據(jù)從標(biāo)識(shí)信息或額外的或不同的附加信息確定的空間關(guān)系來形成。(p-1)個(gè)對(duì)應(yīng)的解 碼幀中的一個(gè)或多個(gè)在LCALCl 44中被單獨(dú)增線以補(bǔ)償?shù)讦褌€(gè)視頻流的第k個(gè)幀中的一個(gè) 或多個(gè)損壞。類似地，當(dāng)兩個(gè)不同的接收視頻流中兩個(gè)對(duì)應(yīng)的幀顯示出損壞，單獨(dú)地增線 (P-2)個(gè)對(duì)應(yīng)的解碼幀的一個(gè)或多個(gè)以對(duì)損壞進(jìn)行補(bǔ)償。第二個(gè)接收器30可進(jìn)行類似第一 接收器14的操作，除了第二接收器30接收或訂閱少于ρ個(gè)視頻流以外，以下作更充分的討 論。注意，圖1示出的模塊之間的各個(gè)耦接和模塊的成組是出于顯示的目的。在不背 離當(dāng)前教導(dǎo)的范圍的情況下，本領(lǐng)域技術(shù)人員可采用不同的耦接和成組。例如，編碼器20 可包括視頻分塊模塊16和時(shí)間時(shí)移模塊18。另外，F(xiàn)EC模塊沈可以被包括在視頻壓縮模 塊22之前和/或之后，也可以被認(rèn)為是編碼器20的一部分。圖1中的各個(gè)模塊的確切耦 接和順序是應(yīng)用特定的，可以由本領(lǐng)域技術(shù)人員在不必過度實(shí)驗(yàn)的情況下容易地改變以滿 足給定應(yīng)用的需要。在一個(gè)實(shí)施例中，第一接收器14和第二接收器30被設(shè)置在一個(gè)能夠接收和處理 兩個(gè)視頻傳輸流的物理接收器之中，其中每個(gè)傳輸流同時(shí)包括多個(gè)子視頻流。在這個(gè)實(shí)施例中，第一接收器14和第二接收器30中的一個(gè)或多個(gè)相似或相同功能的模塊可由相同或 共同的物理處理裝置來實(shí)現(xiàn)。在操作中，視頻分塊模塊I6接收視頻信號(hào)作為輸入。在本實(shí)施例中，輸入視頻信 號(hào)是數(shù)字化的未壓縮的視頻信號(hào)，該視頻信號(hào)作為數(shù)字化圖片或視頻幀的序列按其時(shí)間顯 示或輸出順序并且根據(jù)數(shù)字視頻或視頻接口規(guī)范而被攝取。數(shù)字視頻或視頻接口規(guī)范可以 規(guī)定像素時(shí)鐘、圖片格式、每秒圖片的數(shù)量、像素格式、和/或視頻幀像素的掃描或序列順 序，或其他屬性和值的使用。輸入視頻的掃描格式可以對(duì)應(yīng)于逐行掃描或隔行掃描視頻信 號(hào)。作為結(jié)果的攝取的視頻信號(hào)被認(rèn)為包括或表示視頻數(shù)據(jù)。確切的圖片格式、每秒圖片 的數(shù)量、像素格式和接收的視頻數(shù)據(jù)的掃描格式可以是應(yīng)用特定的特定的。不同類型的視 頻格式可以用于不同的應(yīng)用。出于當(dāng)前討論的目的，視頻數(shù)據(jù)可以是包含視頻信號(hào)的任何數(shù)據(jù)。視頻信號(hào)可以 是能夠被顯示的一個(gè)或多個(gè)圖片或圖像數(shù)據(jù)的任何序列。圖像數(shù)據(jù)可以是從照相機(jī)生成 的、從膠卷掃描的、或?yàn)榱诵纬蓤D像或圖像的一部分而合成地產(chǎn)生的任何信息。圖像可以 是任何事物的視覺表示。視頻幀可以是用于輔助構(gòu)造圖像或表示圖像的圖像數(shù)據(jù)的任何 集合。數(shù)據(jù)的集合可以包括信息的多個(gè)像素，其中像素可以包括與一個(gè)數(shù)據(jù)點(diǎn)關(guān)聯(lián)的一個(gè) 或多個(gè)值，數(shù)據(jù)點(diǎn)可以是視頻幀的最小可顯示元素或部分。術(shù)語“圖片”、“幀”、“視頻幀”和 “圖像幀”在這里可互換使用。視頻分塊模塊例如模塊16，可以是任何硬件和/或軟件裝置、裝置的集合，或適用 于識(shí)別、分離或標(biāo)記視頻信號(hào)的不同柵格即分塊的其他實(shí)體。視頻分塊模塊16包括電路和 指令，可以包括一個(gè)或多個(gè)軟件和/或硬件程序以用于選擇性地將輸入視頻信號(hào)的輸入幀 柵格化，從而將輸入視頻信號(hào)的輸入幀分離成不同的抽取幀，稱為柵格化幀。在圖1的具體 實(shí)施例中，視頻分塊模塊16對(duì)每個(gè)輸入幀進(jìn)行采樣以獲取更小的柵格化幀。柵格化幀包括 來自特定采樣區(qū)域的像素信息，特定采樣區(qū)域表示像素的預(yù)定空間位置的集合，其中像素 是從每個(gè)輸入幀的矩陣中選擇的。每個(gè)幀的像素被分組成為矩陣。在一個(gè)示例實(shí)施例中，幀的矩陣包括相鄰或連續(xù) 像素的4X4的不重疊組。幀像素對(duì)矩陣的指派被認(rèn)為是一個(gè)幀上不重疊連續(xù)矩陣的二維 映射。在另一個(gè)實(shí)施例中，視頻信號(hào)中的視頻數(shù)據(jù)的每個(gè)幀被分成ρ (以4為例)個(gè)采樣 區(qū)域或分塊，其中P個(gè)采樣區(qū)域的每一個(gè)對(duì)應(yīng)于視頻分塊模塊16輸出的ρ個(gè)不同抽取視頻 信號(hào)即柵格中的一個(gè)。P個(gè)分塊即柵格中的每一個(gè)對(duì)應(yīng)于表示采樣區(qū)域的像素位置的集合。 輸入幀的特定采樣區(qū)域的像素位置處的實(shí)際像素(或與像素關(guān)聯(lián)的值)表示柵格的像素。 單個(gè)幀的采樣區(qū)域的像素表示一個(gè)柵格化幀。柵格可以包括一起表示視頻信號(hào)的分塊的多 個(gè)柵格化幀。在本具體實(shí)施例中，視頻信號(hào)的分塊或柵格通過被稱作子視頻流或子流的流 被傳送。子流可以在一個(gè)或多個(gè)匯集的流(例如單個(gè)傳輸流)中通過網(wǎng)絡(luò)32被發(fā)送，這取 決于給定實(shí)現(xiàn)的特定性。根據(jù)幀上的不重疊連續(xù)η像素矩陣的映射，為ρ個(gè)柵格中的每一個(gè)所選擇的像素 被散布在幀上。例如，在每個(gè)矩陣的像素的數(shù)量(η)為4(n = 4)且從輸入視頻信號(hào)形成的 分塊或流(也稱為子視頻流或子流)的數(shù)量(P)為4(p = 4)的一個(gè)可操作的模式中，圖片 分辨率為水平方向640像素和垂直方向480像素的視頻幀用320XMO網(wǎng)格的2X2矩陣映射，因此，視頻幀被分成具有4個(gè)像素的不同組(矩陣)。每個(gè)2X2矩陣包括四個(gè)“相鄰的” 或鄰接的像素，鄰近的含義描述如下。2X2矩陣的每個(gè)像素被指派到四個(gè)柵格即分塊中的 一個(gè)，每個(gè)柵格通過四個(gè)流中的一個(gè)被傳送。注意，在不背離當(dāng)前教導(dǎo)的范圍的情況下，視 頻幀可以用不同于2X2像素矩陣的大小和形狀的矩陣來映射。如果像素處于互相水平地或垂直地直接挨著的位置，則認(rèn)為像素是與另一個(gè)像素 空間相鄰的或相鄰的。在一個(gè)可替換的實(shí)施例中，如果像素彼此在對(duì)角線方向挨著，也可被 認(rèn)為是相鄰的。例如，如果第一像素的至少一個(gè)角與第二像素的至少一個(gè)角相鄰，則可以認(rèn) 為兩個(gè)像素是相鄰的。輸入視頻幀上的不重疊連續(xù)矩陣映射的二維網(wǎng)格中的每個(gè)矩陣對(duì)應(yīng)于一個(gè)采樣 區(qū)域，其中該采樣區(qū)域表示該矩陣的像素的位置。對(duì)應(yīng)于映射的矩陣的采樣區(qū)域的形狀可 以是方形、矩形、直線形或多邊形。在本具體實(shí)施例中，采樣區(qū)域具有相對(duì)于幀的邊緣的定 義的水平邊緣和垂直邊緣。例如，如果矩形幀是傾斜的，傾斜的幀中采樣區(qū)域的邊緣仍然被 認(rèn)為是水平的或垂直的。兩個(gè)相鄰的映射的矩陣分離處于與其水平邊緣或垂直邊緣接壤的相鄰像素。在一 個(gè)實(shí)施例中，視頻幀中的每個(gè)映射的矩陣與至少一個(gè)其他映射的矩陣相鄰?？商鎿Q地，視頻 幀中每個(gè)映射的矩陣相鄰于至少兩個(gè)其他不同的映射的矩陣?？商鎿Q地，視頻幀中每個(gè)映 射的矩陣水平地相鄰于至少一個(gè)其他映射的矩陣并且垂直地相鄰于至少一個(gè)其他映射的 矩陣?？商鎿Q地，視頻幀中每個(gè)映射的內(nèi)部矩陣相鄰于至少四個(gè)其他不同的映射的矩陣。內(nèi) 部矩陣的邊界與視頻幀邊界的任何部分都不重合也不相鄰。在一個(gè)實(shí)施例中，所有映射到幀的矩陣都有相同的形狀和大小。在一個(gè)可替換的 實(shí)施例中，替換的按掃描順序的映射的矩陣大小不同。在另一個(gè)實(shí)施例中，替換的按掃描順 序的映射的矩陣形狀不同。在又一個(gè)實(shí)施例中，按掃描順序的可替換的矩陣大小和形狀都 不同。因此，在不背離當(dāng)前教導(dǎo)的范圍的情況下，按掃描順序的交替映射的矩陣可以具有不 同的形狀和/或大小。在一個(gè)實(shí)施例中，映射到幀的矩陣不重疊。在一個(gè)可替換的實(shí)施例中，映射到幀的 矩陣重疊。因此，映射的矩陣可以在空間上重疊也可以在空間上不重疊。每個(gè)映射的矩陣包含被視頻分塊模塊16分發(fā)到ρ個(gè)分塊或柵格中的η個(gè)像素。 在一個(gè)實(shí)施例中，映射的矩陣中的像素?cái)?shù)量等于分塊數(shù)量(即η = ρ)，每個(gè)分塊有相同的 像素?cái)?shù)。也就是說，輸入視頻信號(hào)的P個(gè)不同抽取版本的每一個(gè)都有相同的空間幀分辨率。 在一個(gè)可替換的實(shí)施例中，P小于η，η/ρ是整數(shù)，ρ個(gè)分塊有相同的空間幀分辨率。也就是 說，視頻分塊模塊16可以從每個(gè)映射的矩陣指派(η/ρ)個(gè)像素到ρ個(gè)分塊中的每一個(gè)。而在另一個(gè)實(shí)施例中，ρ小于η，η除以ρ不等于一個(gè)整數(shù)，ρ個(gè)分塊中的至少一個(gè) 具有與其他抽取視頻信號(hào)各自的空間幀分辨率不同的空間幀分辨率。注意，在某些實(shí)施例或?qū)崿F(xiàn)中，視頻分塊模塊16可以包括用于根據(jù)一個(gè)或多個(gè)預(yù) 定準(zhǔn)則選擇性地調(diào)整由視頻分塊模塊16采用的二次采樣模式或映射的矩陣的方法或指 令。例如，可選擇二次采樣模塊以使任何數(shù)據(jù)丟失更容易基于一個(gè)或多個(gè)人類感知特性被 隱藏或掩飾。例如，人感知發(fā)生在一幀或顯示屏中像素沿對(duì)角線方向的丟失的像素?cái)?shù)據(jù)的 臨時(shí)重建可能不能像感知發(fā)生在顯示屏的水平方向或垂直方向的丟失的像素?cái)?shù)據(jù)那樣容 易。因此，二次采樣模式可以被選擇為使數(shù)據(jù)丟失在預(yù)定時(shí)間間隔內(nèi)以不同于垂直行或水平行的模式發(fā)生，以下作更充分的討論。在圖1的本具體實(shí)施例中，視頻分塊模塊16輸出ρ個(gè)源自輸入視頻信號(hào)的單獨(dú)的 抽取視頻信號(hào)，輸入視頻信號(hào)的形式是按照輸入視頻信號(hào)原始幀的顯示順序的數(shù)字化未壓 縮幀的序列。輸出抽取視頻信號(hào)被提供給時(shí)移模塊18。ρ個(gè)單獨(dú)的抽取視頻信號(hào)被并行地(即 同時(shí)地)提供給時(shí)移模塊18。時(shí)移模塊18將ρ個(gè)抽取視頻信號(hào)的每一個(gè)分成連續(xù)視頻段， 從而每個(gè)連續(xù)段的起始和終止與P個(gè)視頻信號(hào)的每一個(gè)相一致以保持時(shí)間對(duì)應(yīng)段。時(shí)移模 塊18根據(jù)第一相對(duì)時(shí)序輸出ρ個(gè)對(duì)應(yīng)段的連續(xù)集合至視頻壓縮模塊22。在一個(gè)實(shí)施例中，每個(gè)具有ρ個(gè)對(duì)應(yīng)段的連續(xù)集合的每個(gè)段的中的連續(xù)抽取幀的 數(shù)量是固定的。在可替換的實(shí)施例中，給定的抽取視頻信號(hào)的兩個(gè)連續(xù)視頻段中的連續(xù)幀 數(shù)量nf從第一數(shù)量變?yōu)榈诙?shù)量。對(duì)于其他P-I個(gè)抽取視頻信號(hào)的對(duì)應(yīng)段也發(fā)生了從第 一連續(xù)幀數(shù)量到第二連續(xù)幀數(shù)量的變化。注意，被時(shí)移模塊18輸出的ρ個(gè)并行時(shí)移抽取視頻信號(hào)可從單個(gè)輸入視頻信號(hào)創(chuàng) 建而不是從由視頻分塊模塊16輸出的四個(gè)并行信號(hào)創(chuàng)建。例如，視頻的視頻分塊模塊16 可以可替換地輸出視頻數(shù)據(jù)到存儲(chǔ)器或存儲(chǔ)裝置(不是直接輸出到時(shí)移模塊18)。作為結(jié) 果存儲(chǔ)在存儲(chǔ)器或存儲(chǔ)裝置的視頻數(shù)據(jù)可以包括用于識(shí)別存儲(chǔ)的視頻數(shù)據(jù)中的視頻柵格 及其段的標(biāo)識(shí)信息。標(biāo)識(shí)信息可進(jìn)一步規(guī)定視頻段中抽取幀的數(shù)量，視頻段在各自的P個(gè) 抽取視頻信號(hào)中的時(shí)序，并且還可以規(guī)定不同視頻段之間的時(shí)間關(guān)系。發(fā)送器12的輸入視頻信號(hào)可以包括數(shù)字化的未壓縮幀的序列，包括經(jīng)由視頻分 塊模塊16利用包含η個(gè)像素的不重疊連續(xù)矩陣映射的視頻幀。對(duì)于一個(gè)ρ = η = 4的實(shí) 施例，每個(gè)被映射的矩陣的每個(gè)像素都有策略地被指派到由視頻分塊模塊16輸出然后由 時(shí)移模塊18處理的四個(gè)并行抽取視頻信號(hào)中不同的一個(gè)。四個(gè)并行分塊中的每一個(gè)從給 定幀中的每個(gè)映射矩陣獲得一個(gè)像素?？赏ㄟ^視頻分塊模塊16的濾波能力從輸入視頻信 號(hào)的對(duì)應(yīng)像素值改變每個(gè)被指派給一個(gè)分塊的像素值。每個(gè)抽取視頻信號(hào)被認(rèn)為是對(duì)應(yīng)于輸入視頻信號(hào)的一個(gè)或多個(gè)分塊或柵格。每個(gè) 幀包括采樣區(qū)域，采樣區(qū)域的像素被指派給柵格，柵格也被稱作分塊。在本實(shí)施例中，采樣 區(qū)域包括對(duì)應(yīng)于輸入視頻信號(hào)幀行和列中的交替像素的位置，輸入視頻信號(hào)被輸入至視頻 分塊模塊16。在一個(gè)可替換的實(shí)施例中，給定流(也被稱為子流)，即被視頻分塊模塊16輸出的 P個(gè)視頻信號(hào)中給定的一個(gè)，可以包括給定視頻幀的多個(gè)柵格或分塊。在這種情況下，(輸 入至視頻分塊模塊16的)輸入視頻信號(hào)的每個(gè)幀被柵格化為柵格化幀，其中來自給定輸入 幀的多個(gè)柵格化幀被指派給給定流。在本實(shí)施例中，流的數(shù)量(P)少于矩陣中的像素?cái)?shù)量 (η)。在ρ = η = 4且每個(gè)幀用不重疊連續(xù)2X2矩陣的二維網(wǎng)格映射的實(shí)施例中，由視 頻分塊模塊16輸出的四個(gè)抽取視頻信號(hào)(流)的第一抽取視頻信號(hào)包括位于與一個(gè)或多 個(gè)被映射的2X2矩陣對(duì)應(yīng)的像素位置集合的左上部分的一個(gè)或多個(gè)像素。第二抽取視頻 信號(hào)包括位于與被映射的2X2矩陣對(duì)應(yīng)的像素位置集合的右上部分的一個(gè)或多個(gè)像素。 第三抽取視頻信號(hào)包括位于與映射的2X2矩陣對(duì)應(yīng)的像素位置集合的左下部分的一個(gè)或 多個(gè)像素。第四抽取視頻信號(hào)包括與映射的2X2矩陣對(duì)應(yīng)的像素位置集合的右下部分的一個(gè)或多個(gè)像素。2X2矩陣的特定映射在視頻信號(hào)的每個(gè)幀上被選擇性地重復(fù)，以使四個(gè) 抽取視頻信號(hào)的每一個(gè)都包括從輸入視頻信號(hào)每個(gè)視頻幀的所有其他行上所有其他像素 中選擇的不同像素集合。注意，在不背離當(dāng)前教導(dǎo)的范圍的情況下，可以采用多于或少于四個(gè)像素和四個(gè) 不同柵格。例如，視頻分塊模塊16可以將輸入視頻信號(hào)分塊為并行地輸出至?xí)r移模塊18 的2 (而不是4)個(gè)抽取視頻信號(hào)(流)?？商鎿Q地，視頻分塊模塊16能識(shí)別輸入視頻信號(hào)的不同柵格并且作為對(duì)其的響 應(yīng)輸出單個(gè)未壓縮視頻信號(hào)至?xí)r移模塊18。在一個(gè)可替換的實(shí)施例中，被視頻分塊模塊16 輸出的單個(gè)未壓縮視頻信號(hào)被補(bǔ)充識(shí)別單個(gè)未壓縮視頻信號(hào)的不同柵格或分塊的附加信 息。對(duì)輸入視頻信號(hào)實(shí)現(xiàn)分塊或柵格化的具體細(xì)節(jié)可以是應(yīng)用特定的特定的。例如，在可替換的實(shí)施例中，視頻分塊模塊16提供識(shí)別輸入視頻信號(hào)不同柵格的 附加信息。識(shí)別不同柵格的信息使得時(shí)移模塊18能夠有選擇地改變由視頻分塊模塊16輸 出的單個(gè)流的P個(gè)視頻成分(對(duì)應(yīng)于上述其他實(shí)現(xiàn)方式的流)不同段之間的時(shí)間關(guān)系。P 個(gè)視頻成分可以作為獨(dú)立的流被時(shí)移模塊18輸出。識(shí)別不同柵格的附加信息也可以輔助 接收器14根據(jù)第二相對(duì)時(shí)序從彼此有時(shí)移的多個(gè)解碼視頻流中重建視頻信號(hào)，第二相對(duì) 時(shí)序已被相對(duì)于第一時(shí)序偏斜，以下作更充分的討論。經(jīng)由附加信息識(shí)別不同柵格可通過 各種機(jī)構(gòu)來實(shí)現(xiàn)，例如通過特定識(shí)別分組的插入，通過在傳輸流水平、打包基本流水平、編 碼視頻層選擇性地增加或改變分組頭，或其他機(jī)構(gòu)。可替換地，標(biāo)識(shí)信息被提供在以下數(shù)據(jù) 字段中傳輸流的分組頭或在分組載荷之外。在另一個(gè)實(shí)施例中，標(biāo)識(shí)信息被提供在打包基 本流的分組頭或分組載荷之外的數(shù)據(jù)字段，其中打包基本流被攜帶于傳輸流分組的載荷之 中。在又一個(gè)實(shí)施例中，標(biāo)識(shí)信息被提供在編碼視頻層的分組頭或分組載荷之外的數(shù)據(jù)字 段中?？商鎿Q地，標(biāo)識(shí)信息傳送由發(fā)送器12在每個(gè)連續(xù)發(fā)送時(shí)間間隔上復(fù)用和發(fā)送的ρ 個(gè)不對(duì)應(yīng)視頻段之間的時(shí)間關(guān)系，參考圖3a作以下討論，其中ρ個(gè)不對(duì)應(yīng)視頻段中的每個(gè) 分別對(duì)應(yīng)于不同視頻流。在不背離當(dāng)前教導(dǎo)的范圍的情況下，本領(lǐng)域技術(shù)人員受到當(dāng)前的教導(dǎo)可以容易地 實(shí)現(xiàn)視頻分塊和解分塊以滿足給定實(shí)現(xiàn)的需要。在一個(gè)實(shí)施例中，視頻分塊模塊16對(duì)輸入視頻信號(hào)的每個(gè)連續(xù)幀使用相同的采 樣區(qū)域(用于獲取不同柵格或分塊)。每個(gè)分塊包括每個(gè)連續(xù)輸入幀中相同空間位置處的 像素，采樣區(qū)域被認(rèn)為是二維采樣區(qū)域。注意，采樣區(qū)域表示像素位置的集合，其中處于像 素位置集合中的位置的像素表示柵格或分塊。出于這個(gè)原因，采樣區(qū)域也可被稱作采樣?xùn)?格。在可替換的實(shí)施例中，貢獻(xiàn)于至少兩個(gè)分塊的像素的空間位置從一個(gè)幀變?yōu)橄乱?個(gè)幀，采樣?xùn)鸥癖徽J(rèn)為是三維采樣?xùn)鸥?。視頻分塊模塊16通過將m個(gè)二維采樣?xùn)鸥竦奈ㄒ?集合映射到輸入視頻信號(hào)的t個(gè)連續(xù)幀的每個(gè)連續(xù)集合來實(shí)現(xiàn)三維采樣?xùn)鸥?。被視頻分塊模塊16輸出和識(shí)別的多個(gè)對(duì)應(yīng)抽取幀顯示了相對(duì)于彼此的第一時(shí)間 關(guān)系，也被稱為第一相對(duì)時(shí)序。如上所討論的，如果多個(gè)對(duì)應(yīng)抽取幀源于輸入視頻信號(hào)中的 相同幀，則認(rèn)為多個(gè)對(duì)應(yīng)抽取幀是對(duì)應(yīng)的。出于當(dāng)前討論的目的，第一分塊的抽取幀對(duì)應(yīng)于 第二分塊抽取幀的時(shí)間關(guān)系可以包括分離兩個(gè)對(duì)應(yīng)抽取幀的任何時(shí)間間隔或時(shí)間間隔的集合。例如，對(duì)應(yīng)于第一段的用于構(gòu)造第一輸入視頻幀的數(shù)據(jù)可以由視頻分塊模塊16在第 一時(shí)間間隔中接收，而對(duì)應(yīng)于第二段的用于構(gòu)造第二輸入視頻幀的數(shù)據(jù)可以在第二時(shí)間間 隔中接收。第一時(shí)間間隔和第二時(shí)間間隔可以用第三時(shí)間間隔分離。從第一輸入視頻幀和 第二輸入視頻幀獲得的并且由視頻分塊模塊16輸出的作為結(jié)果的抽取幀也可以用第三時(shí) 間間隔分離。(由時(shí)移模塊18給出的)第二相對(duì)時(shí)序的特征在于選擇性偏斜的第三時(shí)間間 隔，以下作更充分的討論。視頻信號(hào)幀之間的示例性第一時(shí)間關(guān)系可以是使視頻幀出現(xiàn)在為了以連續(xù)時(shí)間 間隔進(jìn)行的發(fā)送或接收而分組的單獨(dú)像素組的數(shù)據(jù)流中出現(xiàn)。視頻信號(hào)幀之間的示例性第 二時(shí)間關(guān)系可以是使視頻幀或視頻幀的部分(例如視頻幀的柵格化幀)出現(xiàn)在為了以與用 于第一時(shí)間關(guān)系的時(shí)間間隔不同的時(shí)間間隔進(jìn)行的發(fā)送和接收而分組的單獨(dú)像素組的數(shù) 據(jù)流中出現(xiàn)。在以上顯示的示例中，第一段和第二段對(duì)應(yīng)于單獨(dú)的視頻幀或具有多個(gè)視頻幀的 單獨(dú)視頻段。實(shí)際上，當(dāng)具有輸入幀的輸入視頻信號(hào)被柵格化時(shí)，第一段和第二段包括分別 對(duì)應(yīng)于輸入視頻幀中第一段的一個(gè)或多個(gè)視頻幀的采樣區(qū)域和第二段的一個(gè)或多個(gè)視頻 幀的采樣區(qū)域的柵格化幀。出于當(dāng)前討論的目的，視頻幀的采樣區(qū)域也被稱為空間部分。注意，視頻分塊模塊16可以識(shí)別輸入至視頻分塊模塊16的視頻信號(hào)的分塊數(shù)量 (P)。視頻分塊模塊16可以包括用于將輸入視頻信號(hào)分離到多個(gè)數(shù)據(jù)流中的指令，其中每 個(gè)數(shù)據(jù)流對(duì)應(yīng)于源自輸入視頻信號(hào)的一個(gè)或多個(gè)對(duì)應(yīng)采樣區(qū)域的一個(gè)或多個(gè)分塊即柵格。時(shí)移模塊18執(zhí)行用于選擇性地改變第一時(shí)間關(guān)系的指令，從而使關(guān)聯(lián)于給定幀 的視頻數(shù)據(jù)，以與表現(xiàn)從視頻分塊模塊16輸出的對(duì)應(yīng)視頻數(shù)據(jù)的特征的時(shí)間間隔不同的 時(shí)間相對(duì)間隔，從時(shí)移模塊18輸出。例如，用于發(fā)送與視頻分塊模塊16輸出的視頻信號(hào)中 的給定幀相對(duì)應(yīng)的數(shù)據(jù)的時(shí)間量不同于在時(shí)移模塊18處理了視頻分塊模塊16輸出的信號(hào) 之后用于發(fā)送來自相同幀的數(shù)據(jù)的時(shí)間量。這輔助估計(jì)丟失數(shù)據(jù)(如發(fā)送過程中突發(fā)錯(cuò)誤 造成的數(shù)據(jù)丟失)，從而輔助重建視頻幀，以下作更充分的討論。出于當(dāng)前討論的目的，當(dāng)一個(gè)預(yù)定時(shí)間間隔被插入到視頻數(shù)據(jù)流第一段和第二段 的發(fā)送之間時(shí)，則認(rèn)為視頻數(shù)據(jù)流的第一段相對(duì)于視頻數(shù)據(jù)流的第二段被時(shí)移。例如，在此 處討論的某些實(shí)施例中，視頻子流的對(duì)應(yīng)段被彼此相對(duì)時(shí)移，從而在發(fā)生了視頻數(shù)據(jù)丟失 達(dá)預(yù)定的數(shù)據(jù)丟失間隔的情況中，輔助接收的視頻流中的錯(cuò)誤隱藏。視頻時(shí)移模塊，如時(shí)移模塊18，可以是任何硬件和/或軟件裝置、裝置集合、或適 用于適時(shí)移除或重排視頻不同段或其他部分的任意其他實(shí)體。如果作為結(jié)果的時(shí)移視頻在 時(shí)移移除之前被顯示，則顯示將是雜亂的，因?yàn)橐曨l幀的柵格的接收的時(shí)間跨度將比通常 為給定幀的接收而分配的時(shí)間跨度更大。在本具體實(shí)施例中，時(shí)移模塊18適用于識(shí)別從視 頻分塊模塊16輸出的視頻數(shù)據(jù)的多個(gè)流和段。時(shí)移模塊18還適用于使不同流的多個(gè)段中 的一個(gè)段或多個(gè)段相對(duì)于不同流的多個(gè)段中的一個(gè)其他段或多個(gè)其他段具有一個(gè)或多個(gè) 預(yù)定時(shí)間間隔的時(shí)移。在本具體實(shí)施例中，一個(gè)或多個(gè)預(yù)定時(shí)間間隔被設(shè)定大小從而能夠針對(duì)大于約 500毫秒而小于約2秒的預(yù)定數(shù)據(jù)丟失間隔估計(jì)由編碼器20輸出的視頻數(shù)據(jù)流的丟失數(shù)據(jù) 分組。數(shù)據(jù)丟失間隔可以是其間數(shù)據(jù)流中的數(shù)據(jù)顯示出錯(cuò)誤，丟失，受損，或者是不可用的 任意時(shí)間間隔。各種機(jī)構(gòu)可造成通信信道或網(wǎng)絡(luò)中的數(shù)據(jù)丟失，包括突發(fā)錯(cuò)誤、信號(hào)衰落、或其他信號(hào)丟失機(jī)構(gòu)。由時(shí)移模塊18輸出的四個(gè)并行時(shí)移數(shù)據(jù)流被輸入至編碼器20。注意，并行時(shí)移數(shù) 據(jù)流(P個(gè)視頻信號(hào))可以經(jīng)由視頻分塊模塊16中實(shí)現(xiàn)的抗混疊濾波器被濾波?？够殳B濾 波可以是被設(shè)計(jì)成滿足給定實(shí)現(xiàn)的抗混疊需要的低通濾波器或其他類型的濾波器。由時(shí)移模塊18輸出的并行時(shí)移數(shù)據(jù)流被輸入至編碼器20的視頻壓縮模塊22。 視頻壓縮模塊22可包括用于壓縮四個(gè)時(shí)移數(shù)據(jù)流的指令。視頻壓縮模塊22所采用的壓 縮算法的具體細(xì)節(jié)是應(yīng)用特定的，且是根據(jù)視頻編碼規(guī)范的，視頻編碼規(guī)范例如是IS0/IEC MPEG-2視頻(也被稱為ITUH. 262)或IS0/IEC MPEG-4第10部分(也被稱為ITU H. 264)。注意，在分組交換網(wǎng)絡(luò)中，缺少子流的單個(gè)數(shù)據(jù)流一般會(huì)包括多個(gè)信息分組，每個(gè) 分組可以采用不同路徑通過網(wǎng)絡(luò)32到達(dá)目的地址。相應(yīng)地，為了通過分組交換網(wǎng)絡(luò)發(fā)送， 缺少子流的單個(gè)數(shù)據(jù)流可以是其中單獨(dú)的分組具有相似的源和目的地址的任何數(shù)據(jù)流。當(dāng) 數(shù)據(jù)流的數(shù)據(jù)被同時(shí)地或近似同時(shí)地從不同源地址發(fā)送和/或發(fā)送至不同目的地址時(shí)，認(rèn) 為數(shù)據(jù)流具有并行發(fā)送的多個(gè)子流。注意，當(dāng)所述單個(gè)裝置具有與其對(duì)應(yīng)的多個(gè)地址時(shí)，不 同源地址和不同目的地址可對(duì)應(yīng)于一個(gè)單個(gè)裝置。出于當(dāng)前討論的目的，分組交換網(wǎng)絡(luò)可 以是一個(gè)或多個(gè)通信鏈路的任何集合，信息分組通過這些通信鏈路經(jīng)由關(guān)聯(lián)于這些分組的 地址信息被路由。視頻壓縮模塊22輸出四個(gè)并行時(shí)移和壓縮視頻數(shù)據(jù)流至發(fā)送鏈24。發(fā)送鏈M包 括用于準(zhǔn)備由視頻壓縮模塊22輸出的壓縮視頻數(shù)據(jù)以用于通過網(wǎng)絡(luò)32發(fā)送的各個(gè)模塊和 功能。例如，發(fā)送鏈M包括FEC模塊26，F(xiàn)EC模塊沈?qū)⑶跋蚣m錯(cuò)應(yīng)用到視頻壓縮模塊22 輸出的每個(gè)子流。FEC涉及疊加冗余數(shù)據(jù)到數(shù)據(jù)流以減少或消除某些類型的數(shù)據(jù)丟失發(fā)生時(shí)重發(fā)數(shù) 據(jù)的需要。冗余數(shù)據(jù)輔助在發(fā)生數(shù)據(jù)流失時(shí)接收器處數(shù)據(jù)流的重建。FEC模塊沈疊加充分 冗余數(shù)據(jù)到視頻壓縮模塊22輸出的每個(gè)子流中，以使接收器14，30能夠?qū)σ粋€(gè)FEC保護(hù)時(shí) 間間隔也稱FEC保護(hù)窗內(nèi)的每個(gè)視頻子流校正錯(cuò)誤或數(shù)據(jù)丟失。總的來說，F(xiàn)EC保護(hù)時(shí)間 間隔經(jīng)常相對(duì)小于LCALC4454實(shí)現(xiàn)的丟失隱藏間隔，以下作更充分的討論。發(fā)送鏈M的具體細(xì)節(jié)是應(yīng)用特定的。例如，當(dāng)通過分組交換網(wǎng)絡(luò)(例如互聯(lián)網(wǎng)) 發(fā)送時(shí)，發(fā)送鏈M可以包括路由器和耦接到互聯(lián)網(wǎng)服務(wù)提供商的防火墻等等。當(dāng)通過無線 網(wǎng)絡(luò)發(fā)送時(shí)，發(fā)送鏈M可以包括基帶至IF(中頻)轉(zhuǎn)換器、自動(dòng)增益控制、濾波器、上變頻 器、數(shù)模轉(zhuǎn)換器、雙工器、天線等等。在本具體實(shí)施例中，發(fā)送鏈M通過網(wǎng)絡(luò)32發(fā)送四個(gè)數(shù)據(jù)流。在其他實(shí)施例中可 以使用不同數(shù)量的數(shù)據(jù)流。網(wǎng)絡(luò)32可通過分組交換網(wǎng)絡(luò)、電路交換網(wǎng)絡(luò)、無線網(wǎng)絡(luò)等被實(shí)現(xiàn)。可替換地，網(wǎng)絡(luò) 32可以用發(fā)送器12和接收器14、30之間的直接通信鏈路替代。在無線應(yīng)用中，四個(gè)數(shù)據(jù)流 可通過四個(gè)不同的通信信道或頻段被發(fā)送到接收器14、30。第一接收器14接收或以其他方式訂閱由發(fā)送鏈M通過網(wǎng)絡(luò)32發(fā)送的全部四個(gè) 數(shù)據(jù)流。在無線實(shí)現(xiàn)中，第一接收鏈36可以包括一個(gè)或多個(gè)放大器、下變頻器、濾波器、自 動(dòng)增益控制電路、中頻至基帶轉(zhuǎn)換器、模數(shù)轉(zhuǎn)換器等。在分組交換網(wǎng)絡(luò)應(yīng)用中，接收鏈36或 46可以包括一個(gè)或多個(gè)路由器或其他網(wǎng)絡(luò)硬件從而輔助連接接收器14和網(wǎng)絡(luò)32。第一接 收鏈36的具體細(xì)節(jié)是應(yīng)用特定的。本領(lǐng)域技術(shù)人員受到當(dāng)前的教導(dǎo)，可以在沒有過多試驗(yàn)的情況下容易地確定和實(shí)現(xiàn)適合的接收鏈以滿足給定應(yīng)用的需要。在本實(shí)施例中，第一接收鏈36包括逆FEC模塊38。逆FEC模塊38執(zhí)行了用于修復(fù) 發(fā)生在從發(fā)送鏈M中接收的四個(gè)數(shù)據(jù)流的一個(gè)或多個(gè)中的某些數(shù)據(jù)丟失或損傷。某些數(shù) 據(jù)丟失或損傷對(duì)應(yīng)于在預(yù)定的數(shù)據(jù)丟失間隔內(nèi)的數(shù)據(jù)丟失或損傷，數(shù)據(jù)丟失間隔稱為FEC 保護(hù)窗。本領(lǐng)域技術(shù)人員在沒有過多試驗(yàn)的情況下容易地使現(xiàn)有的FEC模塊、方法和技術(shù) 適用于此處討論的實(shí)施例。第一逆FEC模塊38還適用于并行數(shù)據(jù)流在通過網(wǎng)絡(luò)32被發(fā)送 之前由發(fā)送鏈M的FEC模塊沈一開始對(duì)并行數(shù)據(jù)流執(zhí)行的任何不當(dāng)修改。第一視頻解壓縮模塊40包括用于解壓縮被視頻壓縮模塊22壓縮的數(shù)據(jù)流的一個(gè) 或多個(gè)電路、例程或指令。指令可以包括與由視頻壓縮模塊22 —開始采用來壓縮數(shù)據(jù)流的 處理相反的處理。解壓縮的視頻數(shù)據(jù)流被視頻解壓縮模塊40輸出，隨后被第一視頻解分塊模塊42 解分塊。第一視頻解分塊模塊42包括用于移除已經(jīng)通過時(shí)移模塊18應(yīng)用的視頻數(shù)據(jù)流之 間的任何時(shí)移以及用于合并數(shù)據(jù)流成為用于準(zhǔn)備輸入LCALC144的想要的格式的指令。移除時(shí)移和合并數(shù)據(jù)流的機(jī)構(gòu)的具體細(xì)節(jié)是應(yīng)用特定的?？刹捎酶鞣N適合的方 法。例如，并行視頻數(shù)據(jù)流可包括識(shí)別視頻數(shù)據(jù)流應(yīng)該被如何重建的標(biāo)簽或分組頭?？梢?被視頻分塊模塊16和時(shí)移模塊18添加的標(biāo)識(shí)信息可以使視頻解分塊模塊42能夠基于標(biāo) 簽或分組頭重新合并數(shù)據(jù)流并移除時(shí)移。標(biāo)識(shí)信息的具體選擇和實(shí)現(xiàn)是應(yīng)用特定的，可以 取決于數(shù)據(jù)格式的選擇。例如，MPEG-2(移動(dòng)圖片專家組-2)格式的視頻可以采用程序圖 或聯(lián)合表，其可包括分組識(shí)別信息以區(qū)分P個(gè)流并且使接收器如圖1的接收器14能夠取消 時(shí)移模塊18和視頻分塊模塊16所執(zhí)行的時(shí)移和視頻分塊。第一丟失隱藏及延遲補(bǔ)償模塊44包括用于隱藏逆FEC模塊38未修復(fù)的任何數(shù)據(jù) 丟失的指令。進(jìn)而，由于輸入至視頻分塊模塊16的原始或輸入視頻信號(hào)的不同分塊或柵格 (部分)被置于分離的數(shù)據(jù)流中，并且彼此之間有時(shí)移，所以可能在接收器14、30處出現(xiàn)稱 作延遲間隔的時(shí)間間隔。該延遲間隔表示，例如，在初始視頻幀集合的所有部分到達(dá)丟失隱 藏及延遲補(bǔ)償模塊44之前發(fā)生的時(shí)間間隔。在這個(gè)初始延遲間隔期間，當(dāng)丟失隱藏及延遲 補(bǔ)償模塊44等待初始數(shù)據(jù)幀的所有部分的接收時(shí)，丟失隱藏及延遲補(bǔ)償模塊44隱藏還沒 有被接收到的缺失信息。例如在電視或機(jī)頂盒終端的一個(gè)頻道被改變之后將具有缺失數(shù)據(jù)的初始幀的數(shù) 量取決于被時(shí)移模塊18應(yīng)用到每個(gè)數(shù)據(jù)流的時(shí)移量以及輸入視頻信號(hào)被視頻分塊模塊16 分成的段(例如2秒的段)的大小。例如，如果在第一數(shù)據(jù)流第一段的發(fā)送和第四數(shù)據(jù)流 的對(duì)應(yīng)的第一段的發(fā)送之間發(fā)生三秒間隔，則在視頻不再需要延遲補(bǔ)償之前，約值三秒的 初始幀被LCALCl 44接收。LCALCl 44的輸出可以被輸入至視頻處理的另一個(gè)階段，至顯示 裝置、至存儲(chǔ)器或至另一個(gè)實(shí)體。丟失隱藏及延遲補(bǔ)償模塊44可采用用于隱藏缺失或丟失信息的各種方法。例如， 在一個(gè)實(shí)施例中，缺失的像素信息通過插值處理來估計(jì)。插值處理可以包括在視頻幀上顯 示了色彩亮度的最少變化量和/或色彩亮度變化的結(jié)合的方向上執(zhí)行線性或非線性插值。 提供缺失或被破壞的像素信息是一種上采樣。因此，缺失的或被破壞的像素的上采樣可通 過使用非線性上采樣在亮度和/或色度梯度減少的方向上填充像素來實(shí)現(xiàn)。插值可包括確定某些信息在視頻顯示期間如何變化，然后繼續(xù)或插值該模式以填充缺失像素。各種類型的插值都是可以的。確定用于缺失像素信息的值的細(xì)節(jié)可以是應(yīng)用 特定的。本領(lǐng)域技術(shù)人員根據(jù)本發(fā)明的教導(dǎo)可隨時(shí)實(shí)現(xiàn)本發(fā)明的不同實(shí)施例。例如，可使 用任何適合的隱藏算法來估計(jì)或得到缺失的數(shù)據(jù)。此外，盡管LCALCl 44總體上采用關(guān)聯(lián)于給定幀的像素信息來估計(jì)幀內(nèi)的丟失像 素信息，但是實(shí)施例不限于此。例如，在某些實(shí)現(xiàn)中，可使用來自相鄰幀的像素信息來進(jìn)一 步估計(jì)給定幀中的丟失像素信息。而且，丟失隱藏技術(shù)還可包括采用運(yùn)動(dòng)信息，例如通過運(yùn) 動(dòng)矢量來估計(jì)丟失像素信息。第二接收器30的操作類似于第一接收器14，除了第二接收器30訂閱了被發(fā)送鏈 24發(fā)送的并行數(shù)據(jù)流的僅僅一個(gè)子集意外。在這種情況下，第二丟失隱藏及延遲補(bǔ)償模塊 54隱藏了對(duì)應(yīng)于缺失數(shù)據(jù)流的數(shù)據(jù)。在本實(shí)施例中，這對(duì)應(yīng)于用于每個(gè)視頻數(shù)據(jù)幀中四個(gè) 相鄰像素(在P = 4的具體情況下)的預(yù)定組的一個(gè)像素。注意，此處討論的實(shí)施例不限于特定的視頻格式。不同視頻格式可以采用不同的 編碼器和解碼器。而且，實(shí)施例不限于視頻數(shù)據(jù)傳輸，像此處討論的類似概念可以用于音頻 數(shù)據(jù)或其他類型的數(shù)據(jù)的魯棒傳輸。在沒有過度試驗(yàn)的情況下，本領(lǐng)域技術(shù)人員受到當(dāng)前 的教導(dǎo)可以容易地修改系統(tǒng)10的模塊以滿足給定實(shí)現(xiàn)的需要。在本具體實(shí)施中，視頻幀中的每個(gè)像素包括亮度成分(Y’)，色度藍(lán)成分(Cb)，和 色度紅成分(Cr)。Y’成分包含了亮度信息，同時(shí)色度成分Cb和Cr包含了色彩信息。某些視頻格式如MPEG-2使用色度二次采樣。色度二次采樣涉及給亮度成分分配 比色度成分更高的分辨率和關(guān)聯(lián)的帶寬，因?yàn)槿藢?duì)色度信息的視覺感知的敏感度低于對(duì)亮 度信息，即亮度或亮度信息的敏感度。在某些使用了采用色度二次采樣的視頻格式的應(yīng)用中，用于給定視頻幀的色度信 息可以與亮度信息單獨(dú)地被發(fā)送。因此，給定幀可以作為單獨(dú)的子幀被發(fā)送，其中色度子幀 比亮度子幀小幾倍，倍數(shù)因子由格式化視頻時(shí)采用的二次采樣率決定。因此，給定視頻幀可以在單獨(dú)的子幀中被發(fā)送，其中每個(gè)單獨(dú)的子幀包括所結(jié)合 的幀的成分。在這樣的應(yīng)用中，根據(jù)此處討論的實(shí)施例，單獨(dú)的子幀可被及時(shí)混洗并發(fā)送。 如果，例如亮度幀的部分由于大于FEC保護(hù)窗的大信號(hào)衰落或干擾而丟失，并且對(duì)應(yīng)的色 度子幀沒有丟失，則LCALC 4454可容易地估計(jì)亮度子幀的丟失像素。作為結(jié)果的估計(jì)的 圖片可表示原始或輸入視頻幀的相對(duì)精確的視覺描述，因?yàn)楝F(xiàn)有的色度信息可輔助掩飾丟 失的亮度信息。因此，如果任何子幀的成分丟失，殘留的子幀可輔助掩飾或隱藏缺失的像素 信息。注意，在不背離當(dāng)前教導(dǎo)的范圍的情況下，可采用不使用色度二次采樣也不使用子幀 的視頻格式。盡管圖1的實(shí)施例主要關(guān)于包括視頻幀序列的視頻信號(hào)的處理進(jìn)行討論，但是實(shí) 施方式并不限于此。例如，具有其樣本和元素的輸出順序的音頻信號(hào)或其他媒體信號(hào)根據(jù) 本發(fā)明的教導(dǎo)可被分成不同的分塊，其中音頻或媒體信號(hào)的不同的分塊在被接收器重新結(jié) 合之前，被處理、及時(shí)地混洗，通過不同并行數(shù)據(jù)流可選擇地被發(fā)送。圖2示出了由圖1的系統(tǒng)10對(duì)視頻幀60進(jìn)行的第一示例性分塊。幀60包括像 素行和列，其中在第i行第j列的像素位置被表示為ij。幀60中每個(gè)像素ij與給定采樣 區(qū)域關(guān)聯(lián)，采樣區(qū)域也稱作采樣?xùn)鸥瘢⑴c分塊關(guān)聯(lián)，以作為單獨(dú)的對(duì)應(yīng)視頻流被處理和發(fā) 送。每個(gè)視頻流對(duì)應(yīng)不同的柵格或分塊。在一個(gè)實(shí)施例中，多個(gè)單獨(dú)的視頻流在單個(gè)發(fā)送信道上通過單個(gè)傳輸流被復(fù)用并傳輸。在可替換的實(shí)施例中，多個(gè)視頻流被復(fù)用到單個(gè)視 頻流中，該視頻流具有識(shí)別該視頻流內(nèi)各個(gè)分塊的附加信息。各個(gè)分塊根據(jù)第一相對(duì)時(shí)序 在視頻流內(nèi)被混洗，從而不同分塊的對(duì)應(yīng)幀有策略地在不同時(shí)間被發(fā)送以輔助錯(cuò)誤隱藏。在本實(shí)施例中，通過將不重疊連續(xù)2X2矩陣映射到幀60上來邏輯地分塊視頻幀 60，其中來自每個(gè)2X2矩陣的每個(gè)像素被指派到各自的分塊，即柵格。例如矩陣左上的第 一組像素包括像素00、01、10和11，像素00被指派到第一分塊V0。像素01被分配到第二 分塊VI。像素10被分配到第三分塊V2。像素11被分配到第四分塊V3。注意，這些不同分 塊V0-V3表示通過各個(gè)流S0-S3發(fā)送的數(shù)據(jù)。因此，分塊VO被從像素00開始每隔一行并每隔一個(gè)像素地指派，即，VO被指派像 素mn，其中m和η是偶整數(shù)。Vl被指派像素mw，其中m是偶整數(shù)，w是奇整數(shù)。V2被指派 像素qn，其中q是奇整數(shù)，η是偶整數(shù)。類似地，V3被指派像素qw，其中q和w都是奇整數(shù)。 從而，每個(gè)2X2矩陣包括四個(gè)像素，這四個(gè)像素的每一個(gè)都被指派到四個(gè)不同柵格中的一 個(gè)。注意，圖2中，標(biāo)為VO的像素表示第0個(gè)柵格化幀(LVO)，標(biāo)為Vl的像素表示第一個(gè)柵 格化幀(LVl)，標(biāo)為V2的像素表示第2個(gè)柵格化幀(LM)，標(biāo)為V3的像素表示第3個(gè)柵格 化幀(LV3)。當(dāng)提到視頻信號(hào)幀的集合時(shí)，標(biāo)為VO-Vl的像素表示包括幀集合的視頻信號(hào)的 分塊或柵格，這樣的柵格通過對(duì)應(yīng)的視頻數(shù)據(jù)流S0-S3發(fā)送，以下作更充分的討論。圖3a是顯示了時(shí)移視頻流S0-S3的傳輸?shù)牡谝皇纠詴r(shí)序圖70，其中時(shí)移視頻 流S0-S3各自對(duì)應(yīng)一個(gè)由圖1所示通信系統(tǒng)10所處理的視頻分塊V0-V3的壓縮版本。間 隔TL是數(shù)據(jù)丟失發(fā)生的示例。時(shí)序圖70包括水平時(shí)間軸72。在可替換的實(shí)施例中，水平 軸72上的TL或任何間隔可以表示例如當(dāng)S0-S3分別對(duì)應(yīng)的部分被復(fù)用在傳輸流中的一間 隔期間時(shí)，S0-S3被復(fù)用的部分的間隔。在一個(gè)實(shí)施例中，S0-S3的對(duì)應(yīng)部分可以被復(fù)用在 視頻流中的一間隔期間。在圖3a中，間隔可以作為貫穿S0-S3的垂直帶被感知。對(duì)于攜帶 了 S0-S3的復(fù)用部分的流，特定間隔可以在流的對(duì)應(yīng)位置上并具有對(duì)應(yīng)的寬度。特定間隔 可以具有對(duì)應(yīng)起始時(shí)間和對(duì)應(yīng)的持續(xù)時(shí)間。在一個(gè)實(shí)施例中，一特定間隔包含來自每個(gè)流 S0-S3的至多一個(gè)提供部分，并且特定間隔中的每個(gè)各自的提供部分來自至多一個(gè)壓縮圖 片。在一個(gè)實(shí)施例中，可以在一間隔期間提供一視頻流(例如SO)的一壓縮圖片的一 部分，同時(shí)從其余流(例如Sl-S;3)提供一個(gè)或多個(gè)部分，其中這一個(gè)或多個(gè)提供部分中的 每個(gè)提供部分對(duì)應(yīng)于(1)至多一個(gè)壓縮圖片，以及0)S1-S3中的至多一個(gè)流。在第一間 隔上同時(shí)提供的四個(gè)壓縮圖片，或它們各自對(duì)應(yīng)的提供部分，可以被各自關(guān)聯(lián)于輸入視頻 信號(hào)的不同時(shí)間或顯示時(shí)間(即，四個(gè)圖片是不對(duì)應(yīng)或不關(guān)聯(lián)的圖片，這是因?yàn)樗鼈儾皇?起源于輸入視頻信號(hào)的相同圖片的)。在第二間隔上提供的兩個(gè)或多個(gè)壓縮圖片，或它們各 自對(duì)應(yīng)的提供部分，可以是相應(yīng)的或關(guān)聯(lián)的圖片(即，由于它們?cè)醋暂斎胍曨l信號(hào)的相同 圖片，因此是對(duì)應(yīng)的或關(guān)聯(lián)的圖片)。基于每個(gè)視頻流S0-S3的時(shí)間漸進(jìn)在圖3a中標(biāo)記各個(gè)視頻段(tO-偽)。根據(jù)輸入 至圖1發(fā)送器12的視頻信號(hào)圖片的連續(xù)段的時(shí)間漸進(jìn)來標(biāo)記視頻段。給定段如tl，表示對(duì) 應(yīng)壓縮視頻幀，即，源自輸入至圖1的系統(tǒng)10的輸入視頻信號(hào)幀的相同段的已處理的抽取 視頻幀。如前所述，視頻段包括視頻流S0-S3的每一個(gè)中的nf個(gè)連續(xù)壓縮視頻幀。注意， 對(duì)應(yīng)的壓縮段，或每個(gè)段中的對(duì)應(yīng)圖片，具有共同的顯示或輸出時(shí)間。在圖3a中，一組對(duì)應(yīng)的視頻段被tk的所有情況描述，其中k是整數(shù)。標(biāo)簽tk按每個(gè)視頻流的時(shí)間漸進(jìn)劃分與 時(shí)間間隔對(duì)應(yīng)的段，tk的每種情況表示視頻段的對(duì)應(yīng)一組nf個(gè)壓縮視頻幀，其中nf可具 有等于或大于1的值。例如，視頻流S0-S3的時(shí)間漸進(jìn)中標(biāo)為tl的時(shí)間間隔屬于對(duì)應(yīng)的視 頻段，每個(gè)段具有nf個(gè)壓縮視頻幀。在本實(shí)施例中，如圖3a所示，每個(gè)視頻流S0-S3具有相對(duì)于其他視頻流S0-S3的 時(shí)移。在該實(shí)施例中，段t0-t5約為兩秒長，并且連續(xù)的段對(duì)于彼此有偏置或偏斜，例如約 為200毫秒，這個(gè)值對(duì)應(yīng)于圖1的FEC模塊沈采用的FEC保護(hù)窗。參考圖1和圖2，如果圖2所示的幀60發(fā)生在輸入至圖1的發(fā)送器12的輸入視頻 信號(hào)的對(duì)應(yīng)圖片的某時(shí)間間隔t3內(nèi)，則幀60被認(rèn)為是發(fā)生在那組關(guān)聯(lián)于t3時(shí)間間隔的對(duì) 應(yīng)視頻段，或此處視頻的t3段或t3段內(nèi)。然而，參考圖3a，對(duì)應(yīng)于該組t3對(duì)應(yīng)段的V0-V3 柵格被時(shí)移或延遲地發(fā)送，如圖3a中t3的交錯(cuò)。在一個(gè)實(shí)施例中，連續(xù)的t3段之間的確 切延遲略小于t3，約為t3減去200毫秒的FEC保護(hù)間隔窗。延遲可以根據(jù)段t3中的幀數(shù) 量nf，使得延遲表示幀發(fā)送間隔的整數(shù)數(shù)量，其中幀發(fā)送間隔表示用于發(fā)送單個(gè)幀的時(shí)間。在可被描述為圖3a中垂直帶的跨越了四個(gè)段(即t0_t3)的間隔的發(fā)送時(shí)間間隔 內(nèi)，發(fā)送時(shí)間跨越了四個(gè)段(即t0-t!3)，四個(gè)(ρ = 4)非對(duì)應(yīng)的段(其中非對(duì)應(yīng)段被指派指 派了不同的標(biāo)簽，即t0-t3)，一個(gè)是t3段，可以在可替換的實(shí)施例中被復(fù)用到單個(gè)傳輸流， 然后被發(fā)送器12發(fā)送，而不是經(jīng)由多個(gè)復(fù)合流發(fā)送。發(fā)送器12可以在特定間隔上提供來 自流SO的單個(gè)圖片的一部分，同時(shí)提供來自剩余流S1-S3中一個(gè)的的單個(gè)圖片的對(duì)應(yīng)段。 發(fā)送器12可以在間隔上提供S0-S3的復(fù)用部分，使得從而提供來自流S0-S3的每一個(gè)的至 多一個(gè)部分，且使得間隔中的每個(gè)提供部分都來自至多一個(gè)壓縮圖片。在給定幀被認(rèn)為完整之前，圖1的接收器14將等待從數(shù)據(jù)流S0-S3接收t3段。對(duì) 于給定幀在用于每個(gè)數(shù)據(jù)流S0-S3的所有t3段被接收到之前，圖1的LCALCl 44可以插值 以估計(jì)尚未到達(dá)的像素信息。在初始延遲期之后，隨后的幀將已經(jīng)到達(dá)以用于下一幀，使得隨后的幀的顯示或 輸出不需要延遲補(bǔ)償。這被稱為流水線效應(yīng)，其中連續(xù)視頻段被連續(xù)發(fā)送。注意，各個(gè)視頻 段t0-t3被流水線式地且并行地發(fā)送。注意，在用于不同數(shù)據(jù)流S0-S3的段t0-t3的連續(xù) 發(fā)送期間發(fā)生了重疊。視頻數(shù)據(jù)流S0-S3被認(rèn)為是互相相對(duì)有時(shí)移的，這是因?yàn)橛糜诓煌瑪?shù)據(jù)流S0-S3 的不同視頻段t0-t3是在不同的時(shí)間(即以偏移的時(shí)間)而不是相同時(shí)間被發(fā)送的。圖北是顯示了來自對(duì)應(yīng)于圖3a的段t2的一組視頻幀0 …沖+w) 73的視頻數(shù)據(jù) 的示例性發(fā)送時(shí)序的第二示例性時(shí)序圖71。在本示例中，該組視頻幀73包括w個(gè)幀，包括 第k個(gè)幀(Pk)和第(k+w)個(gè)幀(沖+w)。注意，在本示例中，w個(gè)幀等同于2秒的幀。然而， 注意，不同大小的段可被使用。例如，在其中W= 1的可替換實(shí)施例中，圖3a的每個(gè)段t(l··· t5表示被需要用于發(fā)送一個(gè)幀的數(shù)據(jù)的時(shí)間間隔?？傮w上，此處討論的實(shí)施例中，圖3a的 段t0-t5的時(shí)間寬度被選擇以對(duì)應(yīng)于整數(shù)個(gè)幀。初始輸入的這組視頻幀73被分塊為柵格，包括第0組柵格化幀(LV0(kl··· LVO (k+w)) 75，第一組柵格化幀(LVl (k)... LVl (k+w)) 77，第 二組柵格化幀(LV2 (k)... LV2 (k+w)) 79，以及第三組柵格化幀(LV3 (k)…LV3 (k+w)) 81。柵格化幀LVO…LV3也被稱為 抽取或下采樣幀，并且包括分別標(biāo)為V0-V3…的像素。柵格化幀LVO…LV3在有策略地交錯(cuò)的時(shí)間間隔內(nèi)被分別通過數(shù)據(jù)流S0-S3發(fā)送?？商鎿Q地，數(shù)據(jù)流S0-S3被復(fù)用到單個(gè)傳輸 流，單個(gè)傳輸流可包括附加信息，如音頻同步信息，隱藏字幕信息等。對(duì)于視頻流的每個(gè)抽 取或子流版本，可以包括隱藏字幕信息，盡管有冗余。本領(lǐng)域技術(shù)人員容易地確定針對(duì)給定 應(yīng)用實(shí)現(xiàn)傳輸流的具體細(xì)節(jié)。出于顯示的目的，圖北中的段對(duì)應(yīng)于圖3a的t2段被顯示。因此，一個(gè)示例實(shí)施例包括通過不同數(shù)據(jù)流經(jīng)由有選擇地交錯(cuò)的時(shí)間間隔(段) 發(fā)送一個(gè)或多個(gè)視頻幀的不同柵格，其中通過從幀的每個(gè)矩陣中選擇一個(gè)像素來選擇每個(gè) 柵格化幀。換句話說，視頻幀被分塊成為柵格化幀，每個(gè)柵格化幀被指派到不同數(shù)據(jù)流，然 后不同柵格化幀的發(fā)送被選擇性地在時(shí)間上交錯(cuò)。交錯(cuò)可以基于給定發(fā)送介質(zhì)的特性被選 擇，例如發(fā)送介質(zhì)所傾向的突發(fā)錯(cuò)誤的類型和持續(xù)時(shí)間。圖4示出了圖2示例性視頻幀的示圖，其示出針對(duì)對(duì)應(yīng)于第一視頻段tl的圖3a 的數(shù)據(jù)丟失間隔TL的一個(gè)示例性數(shù)據(jù)丟失模式80。參考圖3和4，出于顯示的目的，幀60被假設(shè)為在圖3的數(shù)據(jù)丟失間隔TL期間， 丟失了發(fā)生在視頻段tl中的第0個(gè)數(shù)據(jù)流SO和第一數(shù)據(jù)流Sl的部分。注意，對(duì)于視頻段 tl，僅來自數(shù)據(jù)流SO和Sl的數(shù)據(jù)是丟失的，即，發(fā)生在數(shù)據(jù)丟失間隔TL內(nèi)。從而，幀60在 可大于500毫秒且在本示例中約為2秒的相對(duì)大的數(shù)據(jù)丟失間隔TL期間，僅丟失像素的一 部分。用于丟失像素的成分值可被插值或以其他方式估計(jì)，從而避免了這樣大的數(shù)據(jù)丟失 間隔可能發(fā)生的黑屏效應(yīng)。如圖4所示，對(duì)于視頻段tl在大數(shù)據(jù)丟失間隔TL期間，分別標(biāo)為VO和Vl并對(duì)應(yīng) 于數(shù)據(jù)流SO和Sl的像素的像素信息丟失。丟失模式80包括丟失像素的水平帶82。圖5示出了根據(jù)圖2所示的視頻分塊進(jìn)行分塊的第二示例性視頻幀90，并且顯示 了針對(duì)段t2的圖3a的數(shù)據(jù)丟失間隔TL的第二示例性數(shù)據(jù)丟失模式100。參考圖3和圖5，第二示例性視頻幀90表示關(guān)聯(lián)于第二視頻段t2的視頻幀，其顯 示了在圖3所示的數(shù)據(jù)丟失間隔TL期間丟失的數(shù)據(jù)流Sl和S2的部分。注意，出于當(dāng)前示 例的目的，在圖3中，視頻段t2在數(shù)據(jù)丟失間隔TL期間在流Sl和S2中發(fā)生，并且流Sl和 S2的對(duì)應(yīng)部分(標(biāo)為Vl和V2的像素)被認(rèn)為丟失了。因此，在圖5中關(guān)聯(lián)于數(shù)據(jù)流Sl和S2的像素被顯示為缺失的，形成了丟失像素的 對(duì)角帶102。圖6示出了根據(jù)圖2所示的視頻分塊進(jìn)行分塊的第三示例性視頻幀110，并且顯示 了針對(duì)第三視頻段t3的圖3a的數(shù)據(jù)丟失間隔TL的第三示例性數(shù)據(jù)丟失模式120。參考圖3和6，對(duì)應(yīng)于數(shù)據(jù)丟失間隔TL的數(shù)據(jù)丟失影響了第二數(shù)據(jù)流S2和第三數(shù) 據(jù)流S3的第三視頻段t3。因此，第三數(shù)據(jù)丟失模式120包括對(duì)應(yīng)于標(biāo)為V2和V3的像素的 缺失或破壞的像素的水平帶112，標(biāo)為V2和V3的像素對(duì)應(yīng)于數(shù)據(jù)流S2和S3。注意，圖1的接收器14、30被適應(yīng)于有選擇地結(jié)合視頻數(shù)據(jù)流S0-S3并同步或在 時(shí)間上對(duì)齊流，以使每個(gè)數(shù)據(jù)流的各個(gè)段t0-t5在時(shí)間上近似一致從而為顯示或輸出做準(zhǔn) 備。例如，在由接收器14、30進(jìn)行處理之后，數(shù)據(jù)流S0-S3的t2段成分可以互相近似一致， 從而輔助重建和顯示與標(biāo)識(shí)為t2的段或時(shí)間間隔相關(guān)聯(lián)的一個(gè)或多個(gè)視頻幀。注意，對(duì)應(yīng)于圖3a的數(shù)據(jù)丟失間隔TL的視頻數(shù)據(jù)丟失分布于五個(gè)間隔或視頻段 t0-t4上。在實(shí)施中五個(gè)間隔可以表示五個(gè)幀，其中每個(gè)間隔t0-t4被分配一個(gè)幀。五個(gè)間 隔或幀包括圖4-6的用于視頻段tl-t3的幀60、90、110。
盡管圖3中示出了六個(gè)視頻段t0_t5，實(shí)施例并不限于此。例如，數(shù)據(jù)流S0-S3可 以被分塊為多于或少于六個(gè)段。而且段t0-t5可以被混洗(shuffle)使得段以與圖3所示 的不同順序或時(shí)序出現(xiàn)。注意，發(fā)生在連續(xù)時(shí)間間隔或視頻段t0_t3的損失以不同模式出現(xiàn)，從而輔助掩 飾丟失。例如，在預(yù)定時(shí)間間隔之后，數(shù)據(jù)丟失模式發(fā)生變化。如果如圖4-6所示的丟失模 式被連續(xù)顯示，作為結(jié)果的數(shù)據(jù)丟失可能比在所有時(shí)間間隔期間保留的單個(gè)數(shù)據(jù)丟失模式 更難感知。圖7示出了由圖1的系統(tǒng)10對(duì)第四視頻幀130進(jìn)行的第二示例性分塊。第四視 頻幀130被邏輯地分塊成四個(gè)線性放置的相鄰像素的組即矩陣，其中來自像素的1X4矩 陣的被標(biāo)為V0-V3的每個(gè)像素被分別指派不同視頻數(shù)據(jù)流S0-S3。第四視頻幀130被認(rèn)為 是邏輯地被分塊成四像素的矩陣，因?yàn)閷?shí)際上，系統(tǒng)10不需要真正地將幀分離或分塊成矩 陣。而是，圖1的系統(tǒng)10可以基于預(yù)定的方法學(xué)僅僅分配某些像素到不同數(shù)據(jù)流，無需如 圖7所示以1X4矩陣物理地或電子地分組或分離像素。例如，像素00、01、02和03形成像素的第一矩陣，其中像素00被指派到數(shù)據(jù)流S0， 01到數(shù)據(jù)流Sl，02到數(shù)據(jù)流S2，03到數(shù)據(jù)流S3。像素分組模式，即矩陣模式，如圖7所示 重復(fù)?？偟膩碚f，從視頻幀130的每個(gè)其他列中的交替像素中選擇用于數(shù)據(jù)流SO和S2的 像素。數(shù)據(jù)流Sl和S3的像素也是從每個(gè)其他列中的交替像素中選出的。該像素分組保證 了對(duì)于給定丟失間隔，例如圖3的數(shù)據(jù)丟失間隔TL，對(duì)缺失兩個(gè)數(shù)據(jù)流的任何幀，作為結(jié)果 的丟失像素將不會(huì)占據(jù)整個(gè)行或列。這可以確保數(shù)據(jù)丟失將比整個(gè)行或列的像素丟失時(shí)不 那么會(huì)被人眼察覺到。這基于這樣的概念人感知對(duì)于沿水平或垂直線發(fā)生的數(shù)據(jù)丟失比 沿對(duì)角線發(fā)生的數(shù)據(jù)丟失更加敏感。參考圖2、3a和7，將圖7的幀130邏輯分塊成1X4四像素相鄰矩陣導(dǎo)致了不同像 素指派到不同數(shù)據(jù)流，這與如圖2所示的分塊的結(jié)果不同。因此，對(duì)于圖3a的示例性的數(shù) 據(jù)丟失間隔TL的對(duì)應(yīng)數(shù)據(jù)丟失模式與圖4-6的對(duì)應(yīng)數(shù)據(jù)丟失模式80、100、120不同。圖8是示出了圖7的示例性視頻幀130的示圖，其示出對(duì)應(yīng)于第一視頻段tl的圖 3a的數(shù)據(jù)丟失間隔TL的第四示例性數(shù)據(jù)丟失模式140。參考圖3和圖8，圖8的數(shù)據(jù)從第一視頻段tl的數(shù)據(jù)流SO和Sl中丟失。因此，出 于顯示的目的，對(duì)應(yīng)于數(shù)據(jù)流SO和S 1的像素(標(biāo)為VO和VI)在圖8中標(biāo)記為已經(jīng)丟失 的數(shù)據(jù)。作為結(jié)果的丟失模式140包括二像素的交替組142，其形成所謂的水平偏置配對(duì)對(duì) 角線丟失。圖9示出了根據(jù)圖7所示的視頻分塊進(jìn)行分塊的示第五例性視頻幀150，并且顯示 了針對(duì)第二視頻段t2的在圖3a的數(shù)據(jù)丟失間隔TL中的第五示例性數(shù)據(jù)丟失模式。參考圖3a和圖9，數(shù)據(jù)在圖3a的數(shù)據(jù)丟失間隔TL期間從對(duì)應(yīng)于第二視頻段t2的 數(shù)據(jù)流Sl和S2中丟失。這造成了第五數(shù)據(jù)丟失模式160，其包括數(shù)據(jù)流Sl和S2的缺失像 素。作為結(jié)果的丟失模式160包括丟失或受損像素(標(biāo)為Vl和N2~)交替對(duì)162，其形成水 平偏置的配對(duì)對(duì)角線丟失。圖10示出了根據(jù)圖7所示的視頻分塊進(jìn)行分塊的第六示例性視頻幀，并且顯示了 針對(duì)第三視頻段t3的圖3a的數(shù)據(jù)丟失間隔TL的一個(gè)示例性數(shù)據(jù)丟失模式180。參考圖3a和圖10，數(shù)據(jù)在圖3a的數(shù)據(jù)丟失間隔TL期間從對(duì)應(yīng)于第三視頻段t3的數(shù)據(jù)流S2和S3中丟失。這造成了第六數(shù)據(jù)丟失模式180，其包括像素182(標(biāo)為V2和 V3)的水平偏置配對(duì)對(duì)角線丟失。圖11示出了由圖1的系統(tǒng)10針對(duì)第七視頻幀190進(jìn)行的第三示例性分塊。第七 視頻幀190被邏輯地分塊成四像素的2X2像素組。組，即如圖11和12所示標(biāo)為V0-V3的 像素矩陣，除行的相鄰對(duì)的矩陣具有一個(gè)像素的偏置之外，與圖2所示的類似。圖12是顯示了時(shí)移視頻流SO、Si’、S2’和S3的并行傳輸和一個(gè)示例性的數(shù)據(jù)丟 失間隔TL的第三示例性時(shí)序圖，其中每個(gè)流S0、S1’、S2’和S3對(duì)應(yīng)一個(gè)由圖1的示例性通 信系統(tǒng)10中的視頻的一個(gè)分塊或柵格。第三示例性時(shí)序圖200與圖3a的第一示例性時(shí)序圖70相似，除了圖12的第一視 頻數(shù)據(jù)流Si’被與圖3的S2類似地分段(通過t0-t5的定位)，而圖11的S2’被與圖3的 Sl類似地分段以外。注意，給定的視頻數(shù)據(jù)流的分段方式可以相對(duì)于其他視頻數(shù)據(jù)流來限定。例如，對(duì) 于不同數(shù)據(jù)流S0，S1，，S2，和S3的視頻段t0-t5可以以預(yù)定的時(shí)間關(guān)系被發(fā)送。圖12中， 在相鄰視頻數(shù)據(jù)流中對(duì)應(yīng)的視頻段成分的出現(xiàn)之間約1800毫秒的時(shí)間偏置部分地描述了 這個(gè)時(shí)間關(guān)系。例如，數(shù)據(jù)流V2’的視頻段成分t2始于相鄰數(shù)據(jù)流Si’的視頻段成分t2 開始之后約1800毫秒。圖13示出了根據(jù)圖11和圖12所示的視頻分塊進(jìn)行分塊的第七示例性視頻幀 190，并且顯示了針對(duì)第一視頻段tl的圖12的數(shù)據(jù)丟失間隔TL的第八示例性數(shù)據(jù)丟失模 式 210。參考圖12和圖13，圖12的數(shù)據(jù)從針對(duì)第一視頻段tl的數(shù)據(jù)流SO和S2’中丟失。 這造成了第七示例性數(shù)據(jù)丟失模式210。第七示例性數(shù)據(jù)丟失模式210包括垂直像素交替 對(duì)212，其中行的交替對(duì)具有相對(duì)于行的相鄰對(duì)偏置一個(gè)像素的交替丟失2X 1像素對(duì)。第 七示例性數(shù)據(jù)丟失模式210被認(rèn)為是顯示了垂直偏置配對(duì)對(duì)角線丟失，這是由于垂直2X 1 像素對(duì)成對(duì)角線地出現(xiàn)在第七示例性視頻幀190上。圖14示出了根據(jù)圖11和圖12所示的視頻分塊進(jìn)行分塊的第八示例性視頻幀 220，并且顯示了針對(duì)第二視頻段t2的圖12的數(shù)據(jù)丟失間隔TL的第八示例性數(shù)據(jù)丟失模 式 230。參考圖12和圖14，包括分別標(biāo)為VI’和V2’的像素的數(shù)據(jù)流Si’和S2’在針對(duì)第 二視頻段t2在圖12的數(shù)據(jù)丟失間隔TL中經(jīng)歷數(shù)據(jù)丟失。因此，第八數(shù)據(jù)丟失模式230顯 示了對(duì)應(yīng)于數(shù)據(jù)流Si，和S2’的缺失或受損數(shù)據(jù)232。缺失或受損數(shù)據(jù)232顯示了垂直偏 置配對(duì)對(duì)角線損失。圖15示出了根據(jù)圖11和圖12所示的視頻分塊進(jìn)行分塊的第九示例性視頻幀 240,并且顯示了針對(duì)第三視頻段t3的圖12的數(shù)據(jù)丟失間隔TL的第九示例性數(shù)據(jù)丟失模 式 250。參考圖12和圖15，分別包括標(biāo)為VI’和V3的像素的數(shù)據(jù)流Si’和S3在針對(duì)第三 視頻段t3在圖12的數(shù)據(jù)丟失間隔TL中經(jīng)歷數(shù)據(jù)丟失。這導(dǎo)致了第九數(shù)據(jù)丟失模式250， 其包括顯示了垂直偏置配對(duì)對(duì)角線損失的缺失和受損垂直像素對(duì)252。圖16是適用于圖1的通信系統(tǒng)10的第一示例性方法沈0的流程圖。方法260包 括第一步驟沈2，第一步驟262包括獲取數(shù)據(jù)。
第二步驟264包括將數(shù)據(jù)分塊為數(shù)據(jù)的可識(shí)別部分，也被稱為分塊或柵格。參考 圖3a，示例性的數(shù)據(jù)的可識(shí)別部分可以包括數(shù)據(jù)流S0-S3以及伴隨的段t0-t5。注意，在不 背離當(dāng)前教導(dǎo)的范圍的情況下，數(shù)據(jù)的可識(shí)別部分可以包括多于或少于4個(gè)數(shù)據(jù)流。第三步驟266包括選擇性地相對(duì)于數(shù)據(jù)的一個(gè)或多個(gè)其他可識(shí)別部分偏移數(shù)據(jù) 的一個(gè)或多個(gè)可識(shí)別部分，并響應(yīng)于此得到偏移的分塊數(shù)據(jù)。圖3a的數(shù)據(jù)流S0-S3表示數(shù) 據(jù)的偏移部分，其中段t0-t5是在不同數(shù)據(jù)流S0-S3中在不同時(shí)間發(fā)送的。出于當(dāng)前討論的目的，數(shù)據(jù)的第一部分相對(duì)于另一個(gè)數(shù)據(jù)部分的偏移可意味著調(diào) 整數(shù)據(jù)的第一或第二部分，使得當(dāng)數(shù)據(jù)的部分被發(fā)送或發(fā)送時(shí)它們?cè)谙嗷ブg不同的時(shí)間 被發(fā)送或發(fā)送，而不是如果它們沒有被偏移的情況那樣。例如，如果數(shù)據(jù)的第一部分和第二 部分被典型地近似同步發(fā)送使得這些部分的對(duì)應(yīng)段(例如在圖3a中被標(biāo)識(shí)為t0_t5的段) 在時(shí)間上對(duì)齊，則數(shù)據(jù)的第一部分相對(duì)于數(shù)據(jù)的第二部分的偏移會(huì)導(dǎo)致這些對(duì)應(yīng)段在不同 時(shí)間發(fā)送，例如這些段時(shí)間上沒有對(duì)齊。第四步驟268包括發(fā)送偏移的和分塊的數(shù)據(jù)。這些數(shù)據(jù)可以通過網(wǎng)絡(luò)、無線通信 信道或通過其他介質(zhì)被發(fā)送。圖17是適用于圖1的通信系統(tǒng)10的第二示例性方法沈0的流程圖。第二示例性 方法沈0包括分塊步驟272，分塊步驟272包括將視頻數(shù)據(jù)分塊為對(duì)應(yīng)于顯示視頻的不同柵 格或采樣區(qū)域的多個(gè)部分。接下來的偏移步驟274包括在時(shí)間上有選擇地相對(duì)于一個(gè)或多個(gè)其他分塊偏移 一個(gè)或多個(gè)分塊，并響應(yīng)于此提供包括時(shí)移分塊的一個(gè)或多個(gè)數(shù)據(jù)流。然后，F(xiàn)EC步驟276包括對(duì)一個(gè)或多個(gè)所述時(shí)移分塊應(yīng)用前向糾錯(cuò)。這導(dǎo)致了視 頻數(shù)據(jù)的一個(gè)或多個(gè)時(shí)移分塊以及用于實(shí)現(xiàn)前向糾錯(cuò)以在視頻數(shù)據(jù)被發(fā)送時(shí)保護(hù)視頻數(shù) 據(jù)的合并的冗余數(shù)據(jù)。接下來的發(fā)送步驟278包括已經(jīng)通過分組交換網(wǎng)絡(luò)或其他介質(zhì)應(yīng)用了前向糾錯(cuò) 的視頻數(shù)據(jù)的一個(gè)或多個(gè)時(shí)移分塊的發(fā)送。注意，方法260和270的各個(gè)步驟可以用其他步驟替換。另外，某些步驟可以與其 他步驟交換，并且可以包括額外的步驟或更少的步驟。例如，方法270可包括對(duì)該視頻數(shù)據(jù) 應(yīng)用抗混疊濾波，壓縮該視頻數(shù)據(jù)等。另外，可以包括接收步驟，其中發(fā)送的視頻數(shù)據(jù)被接 收，接收的視頻數(shù)據(jù)的未通過FEC處理修復(fù)的任何數(shù)據(jù)丟失可通過插值技術(shù)被隱藏。另外， 接收器可以訂閱視頻數(shù)據(jù)的所有可識(shí)別部分或其子集。而且，給定幀中的色度像素信息和 亮度像素信息可被分離并被分別處理。在不背離當(dāng)前教導(dǎo)的范圍的情況下，可以對(duì)圖15和 圖16的方法260和270作出其他修改?？商鎿Q的方法包括將對(duì)應(yīng)于輸入視頻信號(hào)的初始數(shù)據(jù)分塊為兩個(gè)或多個(gè)數(shù)據(jù)流 或此處討論的其他可識(shí)別分塊或部分。然后每個(gè)數(shù)據(jù)流可被選擇性地指派不同可伸縮視頻 編碼(SVC)增強(qiáng)層?？商鎿Q地，數(shù)據(jù)流的第一組可如此處討論的被實(shí)現(xiàn)，數(shù)據(jù)流的第二組可 作為SVC增強(qiáng)層的一組被實(shí)現(xiàn)。盡管此處討論的某些實(shí)施例主要討論的是關(guān)于視頻數(shù)據(jù)的處理和傳輸，但是實(shí)施 方式并不限于此。例如，在不背離當(dāng)前教導(dǎo)的范圍的情況下，其他類型的數(shù)據(jù)如音頻數(shù)據(jù)、 文本或其他類型的數(shù)據(jù)可以根據(jù)本發(fā)明的教導(dǎo)被分塊、偏移和發(fā)送。雖然此處討論的各個(gè)實(shí)施例討論的都是關(guān)于從對(duì)應(yīng)于輸入視頻信號(hào)的單個(gè)初始數(shù)據(jù)流生成四個(gè)數(shù)據(jù)流，但是實(shí)施方式并不限于此。例如，某些實(shí)施例可以將對(duì)應(yīng)于輸入視 頻信號(hào)的初始數(shù)據(jù)流分塊為被并行發(fā)送的兩個(gè)或多個(gè)數(shù)據(jù)流?？商鎿Q地，在不背離當(dāng)前教 導(dǎo)的范圍的情況下，對(duì)應(yīng)于輸入視頻信號(hào)的初始數(shù)據(jù)流的某些部分可以被選擇性的在單個(gè) 數(shù)據(jù)流而不是在分離的并行數(shù)據(jù)流中被重新布置和發(fā)送。而且，對(duì)應(yīng)于輸入視頻信號(hào)本身 的初始數(shù)據(jù)流可以包括多個(gè)并行數(shù)據(jù)流而不是沒有子流的單個(gè)數(shù)據(jù)流。盡管本發(fā)明的處理可被表示為單個(gè)實(shí)體，例如單機(jī)上的軟件、指令或程序?qū)崿F(xiàn)，但 是這樣的軟件、指令或程序可在多機(jī)上實(shí)現(xiàn)。也就是說，可以存在給定軟件程序的多個(gè)例 子，單個(gè)程序可以在分布式處理環(huán)境中在兩個(gè)或多個(gè)處理器上執(zhí)行，單個(gè)程序的部分可以 在不同物理機(jī)上實(shí)現(xiàn)，等等。而且，兩個(gè)不同的程序，例如FEC和LCALC程序，可以在單機(jī)中 或不同的機(jī)器中執(zhí)行。單個(gè)程序可作為用于一個(gè)數(shù)據(jù)處理操作的FEC和用于不同數(shù)據(jù)處理 操作的LCALC被操作。盡管本發(fā)明討論的是關(guān)于特定實(shí)施例的，但是這些實(shí)施例僅是發(fā)明示例性的實(shí)施 例而不是限制性的實(shí)施例。本發(fā)明的實(shí)施例可以在包括用戶、裝置、功能性系統(tǒng)或硬件和軟 件的結(jié)合在內(nèi)的任何兩個(gè)處理或?qū)嶓w之間操作。例如，盡管分塊在此處被描述為主要在視 頻幀上操作，但是視頻的其他部分、排列或組也可被實(shí)施分塊。例如，圖片組(GOPs)、圖片、 幀或視頻內(nèi)容的其它層或部分可以被實(shí)施分塊。本申請(qǐng)與同時(shí)申請(qǐng)的No.—/_，名稱為“處理多柵格化視頻幀的方法和系
統(tǒng)”(METHODS AND SYSTEMS FRO PROCESSING MULT I-LATTICED VIDEO STREAMS)的美國專
利申請(qǐng)和同時(shí)申請(qǐng)的No. —/_，名稱為“處理損壞的和不完整的多柵格化視頻
流” (PROCESSING OF IMPAIRED AND INCOMPLETE MULT I-LATTICEDVIEO STREAMS)的美國專 利申請(qǐng)相關(guān)，這兩個(gè)申請(qǐng)的全部內(nèi)容通過引用被并入。可使用任何適合的編程語言來實(shí)現(xiàn)由各個(gè)網(wǎng)絡(luò)實(shí)體所采用的程序或其他指令。示 例性編程語言包括C，C++, JAVA，匯編語言等。可采用不同的編程技術(shù)，例如面向過程或面 向?qū)ο蟆＠炭稍趩蝹€(gè)處理裝置或多處理器上執(zhí)行。例程可在操作系統(tǒng)環(huán)境或作為容納了 系統(tǒng)處理的所有或?qū)嵸|(zhì)部分的獨(dú)立例程進(jìn)行操作。在此處的描述中，提供了很多具體細(xì)節(jié)，例如元件和/或方法的示例，來提供本發(fā) 明實(shí)施例的全面理解。然而相關(guān)領(lǐng)域的技術(shù)人員將清楚，不采用一個(gè)或多個(gè)具體細(xì)節(jié)，或采 用其他裝置、系統(tǒng)、組件、方法、元件、材料、部件、和/或諸如此類，都能夠?qū)崿F(xiàn)發(fā)明的實(shí)施 例。在其他例子中，公知的結(jié)構(gòu)、材料或操作沒有在細(xì)節(jié)上被具體顯示或描述，以避免使本 發(fā)明的實(shí)施例不明確?！疤幚砥鳌被颉疤幚怼卑ㄌ幚頂?shù)據(jù)、信號(hào)或其他信息的任何人、硬件和/或軟件系 統(tǒng)、機(jī)構(gòu)或元件。處理器可以包括具有通用的中央處理單元、多處理單元、用于實(shí)現(xiàn)功能性 的專用電路的系統(tǒng)或其他系統(tǒng)。處理不限定地理位置或時(shí)間限制。例如，處理器可“實(shí)時(shí)” 地、“離線”地、“批處理模式”地實(shí)現(xiàn)其功能等。處理的部分可以在不同的時(shí)間和不同的地 點(diǎn)，被不同(或相同)的處理系統(tǒng)實(shí)現(xiàn)。計(jì)算機(jī)可以是與存儲(chǔ)器通信的任何處理器。貫穿本說明書提及的“一個(gè)實(shí)現(xiàn)”的“一個(gè)實(shí)施例”、“一實(shí)施例”、“一具體實(shí)施例” 是指與實(shí)施例相聯(lián)系地的所描述的特定特性、結(jié)構(gòu)或特點(diǎn)被包含在本發(fā)明的至少一個(gè)實(shí)施 例中，沒有必要而不一定包含在所有實(shí)施例中。因此，貫穿本說明書的各個(gè)地方中的短語 “在一個(gè)實(shí)施例中”，“在一實(shí)施例中”，“在一具體實(shí)施例中”不一定各自不需要指代同一個(gè)實(shí)施例。而且，本發(fā)明的任何具體實(shí)施例的特定特性、結(jié)構(gòu)或特點(diǎn)可以以任何適合的方法被與 結(jié)合到一個(gè)或多個(gè)其他實(shí)施例相結(jié)合中?？梢岳斫獾氖?，根據(jù)當(dāng)前的教導(dǎo)，此處描述和顯示 的本發(fā)明實(shí)施例的其他變形和修改是可允許的，并被視為本發(fā)明的精神和范圍的一部分。發(fā)明的實(shí)施例可以被全部或部分地通過使用編程的通用數(shù)字計(jì)算機(jī)、通過特定應(yīng) 用的集成電路、可編程邏輯裝置、現(xiàn)場(chǎng)可編程門陣列、光學(xué)的、化學(xué)的、生物的、量子的或納 米工程系統(tǒng)或機(jī)構(gòu)等來實(shí)現(xiàn)?？傮w而言，本發(fā)明的功能可以被現(xiàn)有技術(shù)的任何裝置來獲得。 可以使用分布式或網(wǎng)絡(luò)系統(tǒng)、元件、和/或電路。數(shù)據(jù)的通信或傳輸可以是有線的、無線的 或通過任何其他裝置。應(yīng)領(lǐng)會(huì)的是，圖畫/圖形中描述的一個(gè)或多個(gè)元件也能以更分離或更集成的方式 實(shí)現(xiàn)，或者在某些情況中不可操作。采用能甚至可以在某些情況中不可操作時(shí)、在根據(jù)特定 應(yīng)用有用時(shí)被移除或提出。存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)或裝置中以允許計(jì)算系統(tǒng)實(shí)現(xiàn)任何 上述方法的程序或代碼也在本發(fā)明的精神和范圍之內(nèi)。此外，除非另外特別說明，圖畫/圖形中的任何單個(gè)箭頭應(yīng)該僅被視為是示例性 的，而不是限制性的。例如，指示一個(gè)方向的通信的單個(gè)路徑上的箭頭并不使沿著那個(gè)信號(hào) 路徑的通信必須限定在那一個(gè)方向。而且，此處使用的術(shù)語“或”總體上表示“和/或”，除非另外特別說明。另外，術(shù)語 “包括”意味著“包括但不限定于”。應(yīng)當(dāng)認(rèn)為本發(fā)明還指出了元件或步驟的組合，盡管不清 楚實(shí)施分離或結(jié)合的能力，但是術(shù)語還是可以被預(yù)見的。此處說明書和貫穿在權(quán)利要求中使用的“一”、“該”包括多個(gè)指代，除非上下文清 楚地指明。而且，除非上下文清楚地另外指明，如此處說明書和貫穿在權(quán)利要求中使用的， “在……中”的意思包括“在……中”和“在……上”。本發(fā)明所呈現(xiàn)的實(shí)施例的前面描述，包括摘要中的描述，并不意味著將本發(fā)明窮 盡或限制為此處公開的精確形式。發(fā)明的具體實(shí)施例和示例僅僅是出于示例的目的在此處 描述，在本發(fā)明的精神和范圍內(nèi)可進(jìn)行各種等價(jià)的修改，如相關(guān)領(lǐng)域技術(shù)人員所認(rèn)識(shí)和領(lǐng) 會(huì)的。如同所述，對(duì)本發(fā)明的這些修改可以根據(jù)本發(fā)明呈現(xiàn)的實(shí)施例的前面描述作出，并被 包括在本發(fā)明的精神和范圍內(nèi)。因此，雖然本發(fā)明的特定實(shí)施例在此處被描述，但是在前面的公開中可進(jìn)行一定 范圍的修改，各種變化和替換，并且，應(yīng)領(lǐng)會(huì)的是，在不背離所闡述的本發(fā)明的范圍和精神 的情況下，在一些情形中可以采用本發(fā)明實(shí)施例的一些特性而不相應(yīng)地使用其它特征。因 此，對(duì)于本發(fā)明的實(shí)質(zhì)性范圍和精神，可以采用許多修改以適應(yīng)特定的情形或材料。并不希 望發(fā)明被限制為下述權(quán)利要求的特定術(shù)語和/或作為用于實(shí)施本發(fā)明的預(yù)期的最好模式 而公開的特定實(shí)施例，而是本發(fā)明將包括落入附加的權(quán)利要求的范圍內(nèi)的任何和所有實(shí)施 例以及等同物。
權(quán)利要求
1.一種用于提供數(shù)字視頻數(shù)據(jù)的方法，該方法包括選擇視頻信號(hào)的多個(gè)表示，其中所述多個(gè)表示的每一個(gè)表示包括各自的圖片序列，其 中所述多個(gè)表示的每一個(gè)表示中的每個(gè)圖片源自所述視頻信號(hào)的各自的對(duì)應(yīng)圖片，其中所 述視頻信號(hào)的所選多個(gè)表示的每一個(gè)表示中的連續(xù)圖片的順序?qū)?yīng)于所述視頻信號(hào)中的 連續(xù)圖片的順序；處理所述視頻信號(hào)的所選多個(gè)表示；以及在視頻流中提供所述視頻信號(hào)的第一表示FROTVS的第一多個(gè)經(jīng)過處理的圖片的至少 一部分之后，提供所述視頻信號(hào)的第二表示SROTVS的第一多個(gè)經(jīng)過處理的圖片。
2.根據(jù)權(quán)利要求1所述的方法，還包括在所述視頻流中提供FROTVS的第二多個(gè)經(jīng)過處理的圖片的至少一部分之后，提供 SROTVS的第二多個(gè)經(jīng)過處理的圖片，其中，在來自SROTVS的第一多個(gè)經(jīng)過處理的圖片的最 后一個(gè)提供圖片之后，提供SROTVS的第二多個(gè)經(jīng)過處理的圖片的第一提供圖片。
3.根據(jù)權(quán)利要求2所述的方法，其中，在所述視頻流中提供FROTVS和SROTVS的經(jīng)過處 理的圖片的順序是根據(jù)來自FROTVS的每個(gè)連續(xù)提供的圖片和來自SROTVS的每個(gè)連續(xù)提供 的圖片分別源自所述視頻信號(hào)的相同圖片的。
4.根據(jù)權(quán)利要求3所述的方法，其中，所述視頻流中FROTVS的第一多個(gè)經(jīng)過處理的圖 片的每一個(gè)連續(xù)提供的圖片對(duì)應(yīng)于所述視頻信號(hào)的第一組連續(xù)圖片中的各個(gè)圖片，并且其 中，所述視頻流中FROTVS的第二多個(gè)經(jīng)過處理的圖片的每一個(gè)連續(xù)提供的圖片對(duì)應(yīng)于所 述視頻信號(hào)的第二組連續(xù)圖片中的各個(gè)圖片，并且其中，所述第二組的第一圖片緊接在所 述視頻信號(hào)的第一組連續(xù)圖片的最后一個(gè)圖片之后。
5.根據(jù)權(quán)利要求4所述的方法，其中在所述視頻流中連續(xù)提供所述SROTVS的第一多個(gè) 經(jīng)過處理的圖片的圖片的同時(shí)，提供所述FROTVS的第二多個(gè)經(jīng)過處理的圖片的連續(xù)提供 圖片。
6.根據(jù)權(quán)利要求2所述的方法，其中所述視頻信號(hào)的所選多個(gè)表示的每一個(gè)表示對(duì)應(yīng) 于所述視頻信號(hào)的各個(gè)抽取版本。
7.根據(jù)權(quán)利要求6所述的方法，其中所述視頻信號(hào)的每個(gè)所述抽取版本對(duì)應(yīng)于映射到 所述視頻信號(hào)的每個(gè)圖片的各個(gè)像素采樣?xùn)鸥瘛?br> 8.根據(jù)權(quán)利要求7所述的方法，其中，在所述視頻流中提供來自FROTVS的第一多個(gè)經(jīng) 過處理的圖片的最后一個(gè)提供圖片之后，提供來自SROTVS的第一多個(gè)經(jīng)過處理的圖片的 第一提供圖片。
9.根據(jù)權(quán)利要求8所述的方法，其中，在所述視頻流中提供來自FROTVS的第二多個(gè)經(jīng) 過處理的圖片的第一圖片的同時(shí)，提供來自SROTVS的第一多個(gè)經(jīng)過處理的圖片的第一提 供圖片。
10.根據(jù)權(quán)利要求2所述的方法，其中在所述視頻流中提供來自所述FROTVS的第二多 個(gè)經(jīng)過處理的圖片的第一提供圖片之前，提供來自所述SROTVS的所述第一多個(gè)經(jīng)過處理 的圖片的第一提供圖片。
11.根據(jù)權(quán)利要求10所述的方法，其中，在所述視頻流中提供來自所述FROTVS的第一 多個(gè)經(jīng)過處理的圖片的圖片的同時(shí)，提供來自SROTVS的第一多個(gè)經(jīng)過處理的圖片的第一 提供圖片。
12.一種用于提供數(shù)字視頻數(shù)據(jù)的方法，該方法包括將視頻信號(hào)分塊為所述視頻信號(hào)的多個(gè)表示，其中所述視頻信號(hào)包括連續(xù)圖片，其中 每個(gè)表示分別對(duì)應(yīng)于所述視頻信號(hào)的一抽取版本，其中所述視頻信號(hào)的每個(gè)連續(xù)圖片被分 塊為所述圖片的多個(gè)抽取版本，其中所述視頻信號(hào)的每個(gè)連續(xù)圖片的多個(gè)抽取版本的每一 個(gè)抽取版本分別作為圖片被指派給所述視頻信號(hào)的對(duì)應(yīng)表示ROTVS ；將所述視頻信號(hào)的所述多個(gè)表示壓縮為多個(gè)視頻流，其中每個(gè)ROTVS被壓縮為分別對(duì) 應(yīng)的視頻流，其中所述多個(gè)視頻流包括第一視頻流和第二視頻流；以及在第一間隔期間提供所述多個(gè)視頻流的多個(gè)部分，其中在第一時(shí)間間隔期間提供來自 第二視頻流的第一壓縮圖片的至少一部分的同時(shí)，提供來自第一視頻流的第一壓縮圖片的 至少一部分。
13.根據(jù)權(quán)利要求12所述的方法，其中在第一時(shí)間間隔期間提供所述多個(gè)視頻流的多 個(gè)部分包括在第一間隔期間提供來自所述多個(gè)視頻流的每一個(gè)視頻流的至多一個(gè)部分，并 且其中在第一間隔期間的每個(gè)提供部分來自至多一個(gè)壓縮圖片。
14.根據(jù)權(quán)利要求13所述的方法，其中在第一間隔期間提供的多個(gè)視頻流的多個(gè)部分 分別對(duì)應(yīng)于源自所述視頻信號(hào)的不同圖片的壓縮圖片。
15.根據(jù)權(quán)利要求13所述的方法，其中來自第一視頻流的第一壓縮圖片和來自第二視 頻流的第一壓縮圖片源自所述視頻信號(hào)的同一個(gè)圖片。
16.根據(jù)權(quán)利要求14所述的方法，還包括在第二間隔期間提供所述多個(gè)視頻流的多個(gè)部分，其中在第二時(shí)間間隔期間提供來 自第二視頻流的第二壓縮圖片的至少一部分的同時(shí)，提供來自第一視頻流的第二壓縮圖片 的至少一部分，其中在第二間隔期間提供來自所述多個(gè)視頻流的每一個(gè)視頻流的至多一部 分，其中在第二間隔期間的每個(gè)提供部分來自至多一個(gè)壓縮圖片，并且其中來自第一視頻 流的第二壓縮圖片和來自第二視頻流的第二壓縮圖片源自所述視頻信號(hào)的同一個(gè)圖片。
17.一種用于提供數(shù)字視頻數(shù)據(jù)的系統(tǒng)，該系統(tǒng)包括視頻分塊模塊，所述視頻分塊模塊被配置為提供輸入視頻信號(hào)的每個(gè)連續(xù)圖片的多個(gè)抽取版本；將所述輸入視頻信號(hào)的每個(gè)連續(xù)圖片的所述多個(gè)抽取版本的每一個(gè)抽取版本作為一 個(gè)圖片指派給分別對(duì)應(yīng)的抽取視頻信號(hào)；以及提供分別對(duì)應(yīng)于所述輸入視頻信號(hào)多個(gè)抽取版本的多個(gè)抽取視頻信號(hào)；編碼器，所述編碼器被配置為將所述多個(gè)抽取視頻信號(hào)的每一個(gè)抽取視頻信號(hào)壓縮為獨(dú)立于指派給其他抽取視頻 信號(hào)的圖片的對(duì)應(yīng)視頻流；以及提供分別對(duì)應(yīng)于所述多個(gè)抽取視頻流的多個(gè)視頻流；以及發(fā)送器，所述發(fā)送器被配置為在多個(gè)間隔的每一個(gè)中提供來自所述多個(gè)視頻流的每 一個(gè)視頻流的一部分，其中所述多個(gè)間隔包括第一間隔和第二間隔，其中在所述多個(gè)間隔 的每一個(gè)中，來自所述多個(gè)視頻流的每一個(gè)視頻流的每個(gè)提供部分包括至少一個(gè)壓縮圖 片。
18.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述發(fā)送器還被配置為在多個(gè)連續(xù)間隔的每 一個(gè)中提供對(duì)應(yīng)于所述輸入視頻信號(hào)的第一多個(gè)連續(xù)圖片的各個(gè)壓縮圖片組，其中提供的各個(gè)壓縮圖片組中的每一個(gè)壓縮圖片組對(duì)應(yīng)于不同的視頻流。
19.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述發(fā)送器還被配置為在多個(gè)連續(xù)間隔的每一 個(gè)中提供來自所述多個(gè)視頻流的每一個(gè)視頻流的一連續(xù)部分。
20.根據(jù)權(quán)利要求19所述的系統(tǒng)，其中所述發(fā)送器還被配置為在第一時(shí)間間隔中提供源自所述輸入視頻信號(hào)的同一圖片的不同抽取版本的兩個(gè)壓 縮圖片，并且在第二時(shí)間間隔中提供源自所述輸入視頻信號(hào)的不同圖片的抽取版本的壓縮 圖片。
全文摘要
本發(fā)明公開了一種輔助魯棒數(shù)據(jù)傳輸?shù)难b置。在一個(gè)實(shí)施例中，裝置包括第一機(jī)構(gòu)，用于選擇輸入視頻信號(hào)的多個(gè)柵格，處理多個(gè)抽取視頻信號(hào)，以及根據(jù)第二相對(duì)時(shí)序?qū)Χ鄠€(gè)視頻流的對(duì)應(yīng)部分進(jìn)行時(shí)移。第二機(jī)構(gòu)將初始相對(duì)時(shí)序改變?yōu)榈诙鄬?duì)時(shí)序。
文檔編號(hào)H04N7/08GK102067592SQ200980123108
公開日2011年5月18日 申請(qǐng)日期2009年6月16日 優(yōu)先權(quán)日2008年6月17日
發(fā)明者格雷戈里·圣菲爾德, 阿圖羅·A·羅德里谷茲 申請(qǐng)人:思科技術(shù)公司