[0049]熵編碼器48的作用在于它需要較少的比特來編碼較小的、頻發(fā)的數(shù)值，所以，之前的階段的目的是用盡可能多的小的數(shù)值來表示視頻信號。
[0050]量化器44的目的在于量化的數(shù)值將是更小的，因此，其只需要更少的比特來編碼。變換的目的在于，在變換域中，存在趨向于量化為零或小的數(shù)值的更多數(shù)值，從而當(dāng)通過隨后的階段被編碼時將降低比特率。
[0051]編碼器可被布置成以幀內(nèi)預(yù)測編碼模式或幀間預(yù)測編碼模式(即，運動預(yù)測)進(jìn)行編碼。如果使用幀間預(yù)測，則幀間預(yù)測編碼模塊46相對于之前的幀F(xiàn)(t-l)的一部分而對來自某一幀F(xiàn)(t)的塊的已變換的、已量化的系數(shù)進(jìn)行編碼。所述塊被說成是根據(jù)之前的幀預(yù)測的。因此，編碼器僅僅需要傳輸在塊的預(yù)測版本和實際的塊之間的差(在本領(lǐng)域被稱為殘差)以及運動向量。因為殘差值趨向于是較小的，所以當(dāng)它們被傳遞到熵編碼器48時只需要較少的比特來編碼。
[0052]之前的幀的一部分的位置由運動向量確定，運動向量由幀間預(yù)測模塊46中的運動預(yù)測算法確定。
[0053]在實施例中，來自某一幀的某一投影的塊是根據(jù)在之前的幀中具有不同移位的不同投影而預(yù)測的。例如，參照圖12，來自幀F(xiàn)(t+l)、F(t+2)和/或F(t+3)的投影(b)、(c)和/或⑷的塊分別是根據(jù)幀F(xiàn) (t-Ι)中的投影(a)的一部分而預(yù)測的。因此，編碼器只需要根據(jù)相對于基本投影的殘差來對除一個以外的所有的投影進(jìn)行編碼。在不同投影之間進(jìn)行預(yù)測的這樣的情形下，表示幀之間的運動的運動向量可被加到表示不同投影之間的移位的向量上，以便得到正確的預(yù)測。這在圖11中示意地圖示。
[0054]可替換地，運動預(yù)測可以在來自不同幀的兩個對應(yīng)的投影之間，S卩，在投影的相應(yīng)幀內(nèi)具有相同移位的所述投影之間。例如，參照圖12，來自幀F(xiàn)(t+4)的投影(a)的塊可以根據(jù)幀F(xiàn)(t)的投影(a)預(yù)測，來自幀F(xiàn)(t+5)的投影(b)的塊可以根據(jù)幀F(xiàn)(t)的投影(b)預(yù)測等等(在這個示例中，模式以每4個投影重復(fù)進(jìn)行)。在這種情形下，所述移位在任何給定的預(yù)測中所使用的幀之間是相同的，而所以不需要進(jìn)行圖11上示出的那種添加。可使用這樣的實施例的另一個原因在于，需要的是，在攜帶不同投影的流之間不存在依賴性，所以攜帶投影中的一個或多個投影的流可以被丟棄，而(一個或者多個)剩余的流仍然可以被獨立地解碼。
[0055]如果使用幀間預(yù)測，則替代地，已變換的、已量化的樣本受到幀內(nèi)預(yù)測模塊45的處理。在這種情形下，來自當(dāng)前的幀F(xiàn)(t)的塊的已變換的、已量化的系數(shù)相對于在相同幀內(nèi)的塊(典型地，相鄰的塊)而被編碼。編碼器然后僅僅需要傳輸在塊的預(yù)測版本與相鄰的塊之間的殘差差值。再次，因為殘差值趨向于是較小的，所以當(dāng)它們被傳遞到熵編碼器48時只需要較少的比特來編碼。幀內(nèi)預(yù)測模塊45在同一幀中的同一投影的塊之間進(jìn)行預(yù)測。
[0056]預(yù)測可以有利地呈現(xiàn)用于減小殘差大小的更多機(jī)會，因為來自不同預(yù)測的對應(yīng)的配對樣本將趨向于是類似的，并且因此導(dǎo)致小的殘差。
[0057]一旦由幀內(nèi)預(yù)測編碼模塊45或幀間預(yù)測編碼模塊46進(jìn)行編碼，不同投影的樣本的塊被傳遞到熵編碼器48，在熵編碼器48中，它們受到另外的無損編碼階段的處理。由熵編碼器48輸出的編碼視頻然后被傳遞到發(fā)射機(jī)18，該發(fā)射機(jī)18把編碼視頻33通過網(wǎng)絡(luò)32 (例如，基于分組的網(wǎng)絡(luò)，諸如互聯(lián)網(wǎng))傳輸?shù)浇邮斩?2的接收機(jī)28。
[0058]圖7給出可被存儲在接收端22并在接收端22上運行的解碼系統(tǒng)的示意性框圖。解碼系統(tǒng)包括解碼器50和超級分辨率模塊70，例如，它們被實現(xiàn)為軟件模塊(但是沒有排除以下選項，即:在專用硬件電路中實現(xiàn)功能性的某些或者全部)。解碼器50具有被布置成接收來自接收機(jī)28的編碼視頻的輸入，以及操作地耦合到超級分辨率模塊70的輸入的輸出。超級分辨率模塊70具有被布置成將解碼視頻供應(yīng)到屏幕25的輸出。
[0059]圖5給出解碼器50的示意性框圖。解碼器50包括熵解碼器58、以及幀內(nèi)預(yù)測解碼模塊55和幀間預(yù)測(運動預(yù)測)解碼模塊54、逆量化模塊54和逆變換模塊52。熵解碼器58操作地耦合到來自接收機(jī)28的輸入。幀內(nèi)預(yù)測解碼模塊55和幀間預(yù)測解碼模塊56的每一個操作地耦合到熵解碼器58。逆量化模塊54操作地耦合到幀內(nèi)和幀間預(yù)測解碼模塊55和56，并且逆變換模塊52操作地耦合到逆量化模塊54。逆變換模塊被操作地耦合，以向超級分辨率模塊70供應(yīng)輸出。
[0060]在操作中，每個投影可被單獨地傳遞到解碼器50，并被視作是分開的流。
[0061]熵解碼器58按照熵編碼技術(shù)對編碼視頻信號33的每個投影執(zhí)行無損解碼操作，并把所產(chǎn)生的輸出傳遞到幀內(nèi)預(yù)測解碼模塊55或幀間預(yù)測解碼模塊56中的一個，以用于進(jìn)一步解碼，這取決于在編碼時使用的是幀內(nèi)預(yù)測還是幀間預(yù)測(運動預(yù)測)。
[0062]如果使用的是幀間預(yù)測，則幀間預(yù)測模塊56使用在編碼信號中所接收的運動向量基于之前的幀的一部分在幀的投影之間預(yù)測來自某一幀的某個塊。如果需要的話，可以加上運動向量和移位，如圖11所示。然而，在實施例中，如果運動預(yù)測在具有相同投影的幀之間(例如，如果移位模式是四幀長度，在幀F(xiàn)(t)與F(t+4)之間等等)，則并不需要加上運動向量和移位。
[0063]如果使用的是幀內(nèi)預(yù)測，則幀內(nèi)預(yù)測模塊55根據(jù)在同一幀中的某個塊來預(yù)測另一個塊。
[0064]解碼的投影然后被傳遞到逆量化模塊54 (其中量化電平被轉(zhuǎn)換成去量化的(de-quantized)尺度)以及被傳遞到逆變換模塊52 (其中去量化的系數(shù)從變換域轉(zhuǎn)換到空間域中的樣本)。已去量化的、已逆變換的樣本被供應(yīng)到超級分辨率模塊70。
[0065]超級分辨率模塊70使用來自同一幀的不同投影的較低分辨率樣本，以將其“粘合在一起”成為由被解碼的信號所表示的視頻圖像的較高分辨率版本。正如所討論的，這可以通過把來自序列中的不同幀的不同投影的較低分辨率樣本進(jìn)行重疊，并生成對應(yīng)于重疊區(qū)域的較高分辨率樣本而實現(xiàn)。較高分辨率樣本的數(shù)值通過在重疊的較低分辨率樣本的數(shù)值之間進(jìn)行外推(例如，通過取平均值)而找到。例如，參見在圖12中分別來自幀F(xiàn)(t)到F(t+3)的四個不同投影(a)到(d)的四個較低分辨率樣本S重疊的陰影區(qū)域。這允許在解碼器側(cè)重建較高分辨率樣本S’。
[0066]該過程將牽涉到帶來某些降級。例如，參照圖12，每個較低分辨率樣本表示原始輸入幀的四個較高分辨率樣本，并且具有(0，O)、(0，+1/2)、(+1/2，+1/2)和(+1/2，O)的移位的四個投影在時間上散布在不同的連續(xù)幀上。在這種情形下，來自四個不同投影的四個較低分辨率樣本的唯一組合在解碼器處是可得到的，以用于重新創(chuàng)建每個較高分辨率樣本，并且在解碼器側(cè)被重建的較高分辨率樣本尺寸可以是與在編碼器側(cè)的原始輸入幀的較高分辨率樣本尺寸相同的。然而，用來實現(xiàn)這個分辨率的數(shù)據(jù)在時間上是散布的，以致于信息在時域中丟失。如果僅創(chuàng)建兩個投影(例如，具有(0，0)和(+1/2,+1/2)的移位)，則出現(xiàn)另一個示例。在這種情形下，信息也丟失。然而，在任一種情形下，丟失可被看作為感知上可容忍的。一般地，在解碼器側(cè)重建的較高分辨率樣本不需要具有與在編碼器側(cè)的原始輸入幀的較高分辨率樣本一樣大的尺寸。
[0067]這個過程對被解碼的視頻信號中所有的幀執(zhí)行。如在圖12中，在不同幀中提供不同投影，解碼器在多個幀序列上重復(fù)該模式。已重建的、較高分辨率的幀輸出以用于供應(yīng)給屏幕25，以使得視頻被顯示給接收端22的用戶。
[0068]在實施例中，不同投影可以以分開的分組流通過網(wǎng)絡(luò)32從傳輸端12傳輸?shù)浇邮斩?2。因此，每個投影以構(gòu)成相應(yīng)的流的分開的一組分組來傳輸，例如，相應(yīng)的流由被包括在該流的分組中的針對每個流的分開的流標(biāo)識符來區(qū)分。流中的至少一個流被獨立地編碼，即，通過使用自含的編碼，而不是相對于攜帶其他投影的任何其他流來進(jìn)行編碼。在實施例中，流中的更多流或全部流可以按這種方式被編碼。
[0069]圖8給出將從在傳輸端12上運行的編碼器傳輸?shù)皆诮邮斩?2上運行的解碼器的編碼視頻信號33的示意圖。編碼視頻信號33包括對于每個塊的多個已編碼的、已量化的樣本。此外，編碼視頻信號被劃分成分別攜帶不同的投影(a)、(b)、(c)、(d)的分開的流33a、33b,33c和33d。在一個示例應(yīng)用中，編碼視頻信號可以作為諸如VoIP呼叫之類的實況播送的(實時)視頻電話呼叫的一部分在傳輸端12與接收端22之間進(jìn)行傳輸(VoIP呼叫也可以包括視頻)。
[0070]在不同的流中進(jìn)行傳輸?shù)膬?yōu)點在于這些流中的一個或多個流可被丟棄，或這些流的分組被丟棄，而仍然有可能至少根據(jù)剩余投影之一來解碼視頻的較低分辨率版本，或潛在地根據(jù)剩余投影的子集來解碼較高分辨率(但不是全分辨率)版本。流或分組可能是被故意丟棄的或者可能是在傳輸中丟失的。
[0071]投影可以因為各種原因在各種傳輸階段中被丟棄。投影可以被傳輸端12丟棄?？梢耘渲贸身憫?yīng)于來自接收端22的以下反饋來丟棄投影，即:在接收端處沒有足夠的資源(例如，沒有足夠的處理周期或下行鏈路寬度)來操控視頻的全分辨率版本或較高分辨率版本，或接收端的用戶不一定需要全分辨率或較高分辨率；或響應(yīng)于來自網(wǎng)絡(luò)32的以下反饋來丟棄投影，即:在網(wǎng)絡(luò)的一個或多個元件處沒有足夠的資源來操控視頻的全分辨率或較高分辨率版本(例如，存在網(wǎng)絡(luò)擁塞，以使得一個或多個路由器具有足夠滿的分組隊列從而導(dǎo)致它拋棄分組或整個流，或中間服務(wù)器沒有足夠的處理資源或上行鏈路或下行鏈路帶寬)。在傳輸端12沒有足夠的資源來以全分辨率或較高分辨率進(jìn)行編碼(例如，沒有足夠的處理周期或上行鏈路帶寬)的場合，可能出