現(xiàn)另一種丟棄的情形?？商鎿Q地或另外地，響應(yīng)于來自接收端22的、沒有足夠的資源來操控全分辨率或較高分辨率或這樣的分辨率在接收端22處是不一定需要的網(wǎng)絡(luò)條件(例如，擁塞)或信息，攜帶不同投影的流中的一個或多個流可能被網(wǎng)絡(luò)32的中間元件(諸如路由器或中間服務(wù)器)丟棄。
[0072]例如，比如說，信號在編碼器側(cè)被拆分成四個投影(a)到(d)，每個投影在分開的流中。如果接收端22接收全部四個流，則解碼系統(tǒng)可以重新創(chuàng)建該幀的全分辨率版本。然而，如果一個或多個流被丟棄，例如攜帶投影(b)和(d)的流被丟棄，則解碼系統(tǒng)仍然可以僅僅通過在來自剩余流的投影(a)和(C)的重疊樣本之間進(jìn)行外推而重建視頻的較高分辨率(但不是全分辨率)版本?？商鎿Q地，如果僅剩余一個流，例如攜帶投影(a)的流，則其可以被單獨用來僅僅顯示幀的較低分辨率版本。因此，可以基于將視頻信號拆分成不同投影而提供新形式的分層或者縮放編碼。
[0073]在實施例中，編碼器使用由編碼器側(cè)和解碼器側(cè)兩者所采取的預(yù)定移位模式，而不必在它們之間通過網(wǎng)絡(luò)發(fā)信號進(jìn)行通知，例如，它們兩者都被預(yù)編程為使用如以上關(guān)于圖12描述的諸如(O, O)、(O, +1/2)、(+1/2，+1/2)和(+1/2，O)之類的模式。在這種情形下，不必在一個或者多個編碼流中將移位模式發(fā)信號傳送到解碼器側(cè)。這樣做的優(yōu)點在于，不必?fù)?dān)心包含移位指示的分組或流可能丟失或被丟棄，否則這將會在解碼器處導(dǎo)致該重建方案中的故障。然而，使用預(yù)定模式不是必要的，并且在替換實施例中，可將移位或移位模式的指示發(fā)信號傳送到解碼器側(cè)。
[0074]按照如上文所舉例說明的方案，基于超級分辨率的技術(shù)可以有利地被用來減小對于發(fā)信號傳送編碼視頻所需要的每單位時間的比特數(shù)和/或用來提供新形式的分層編碼。
[0075]然而，如之前所提到的，有個問題可能與這樣的方案相關(guān)聯(lián)，因為當(dāng)使用基于運動預(yù)測的幀間預(yù)測編碼時，舍入誤差被引入到運動向量中。在圖9和10中，作為示例，圖示了這個問題。
[0076]圖9示出正在被編碼的塊B。塊B包括通過以下而形成的多個較低分辨率樣本S，即:組合相應(yīng)組的較高分辨率樣本S’。為了圖示的目的，在這個示例中，每個塊B包括四個較低分辨率樣本的相應(yīng)2x2正方形，并且每個較低的分辨率根據(jù)較高分辨率樣本S’的相應(yīng)2x2正方形形成。然而，可以使用更大的塊尺寸(例如，4x4、8x8)，并且較低分辨率樣本的其他尺寸也是可能的(例如，4x4 )。
[0077]塊B根據(jù)另一幀(典型地，之前的幀)的一部分來預(yù)測。這個部分典型地與所述塊具有相同的尺寸，但不限于與塊結(jié)構(gòu)的任何一個整個的塊共處一個位置(即，一般可以偏移塊的一小部分)。
[0078]在實施例中，幀間預(yù)測在投影序列內(nèi)具有相同位置的幀投影之間執(zhí)行。在圖12的示例中，模式以每四幀重復(fù)進(jìn)行，所以序列長度(η)是四幀的長度。在這種情形下，對于給定的投影或流的運動預(yù)測可以僅僅在每四幀之間，或在間隔四幀的整數(shù)倍的幀之間，或更一般地在幀F(xiàn)(t)與F(t+n)(或t+整數(shù)倍的η)之間。所以，在圖12中，運動預(yù)測僅僅在下述幀之間執(zhí)行:在被簡化為具有與投影(a)對齊的投影的幀之間；在被簡化為具有與投影
(b)對齊的投影的幀之間；在被簡化為具有與投影(c)對齊的投影的幀之間；在被簡化為具有與投影(d)對齊的投影的幀之間。也就是，運動預(yù)測僅在序列的不同實例中的相同投影之間進(jìn)行。所有的投影(a)可被看作為形成一組投影，所有的投影(b)形成另一組投影等等。
[0079]在實施例中，在分開的流中攜帶每組投影，每個流具有一組其自身自含的運動預(yù)測。所以，在圖8和12的示例中，來自序列中的位置(a)的所有投影被編碼成它們自身相應(yīng)的流33a，來自序列中的位置(b)的所有投影被編碼成分開的相應(yīng)的流33b，來自序列中的位置(c)的所有投影被編碼成另一個分開的相應(yīng)的流33c，以及來自序列中的位置(d)的所有投影被編碼成又一個分開的相應(yīng)的流33d。這樣，如果攜帶任何一個投影的流丟失(故意丟失或以其他方式丟失)，則每個剩余的流仍然是可獨立解碼的，因為其不依賴于丟失的信息。
[0080]在編碼器40處的運動預(yù)測模塊46生成運動向量，所述運動向量表示在塊B和該塊B相對于其而被預(yù)測的之前的幀的一部分之間的、視頻圖像平面中的空間偏移。正如本領(lǐng)域技術(shù)人員熟悉的，選擇根據(jù)其來預(yù)測塊的部分的位置，以使得在所述塊與所述部分(BP，最接近的匹配)之間的殘差差值最小化。
[0081]運動預(yù)測模塊46可訪問較高分辨率樣本S’(由圖4的較下方的箭頭所表示的)。因此，初始地，運動預(yù)測模塊46在較高分辨率尺度上確定基于圖像的較高分辨率版本的“真實的”運動向量ml。也就是說，以較高分辨率樣本尺寸的單位表示。
[0082]對于在投影中的給定的一個投影的流中進(jìn)行發(fā)信號傳送，運動向量然后基于由投影表示的圖像的較低分辨率版本來按比例縮小到較低分辨率尺度。也就是說，以較低分辨率樣本尺寸的單位表示。按比例縮小的運動向量Hl表示相同的物理距離，但是在較低的分辨率(較粗的)尺度上。
[0083]如果確定較高分辨率運動向量ml分別為在水平和垂直方向上的(X’，y’)的較高分辨率樣本，并且較低分辨率樣本的每一個在尺寸上是fxf的較高分辨率樣本以使得在投影之間的移位是較低分辨率像素的1/f，那么在水平和垂直坐標(biāo)軸上將該向量按比例縮小到Ι/f。這個較低分辨率向量SI (例如，由坐標(biāo)(X，y)所指代的)將等于按照正在使用的運動預(yù)測算法的精度而被舍入的(X’ /f, ? /f)。
[0084]例如，如果較高分辨率運動向量ffij皮確定為分別在水平和垂直方向上是(+10, -9)的較高分辨率樣本，以及較低分辨率樣本的每個在尺寸上是2x2的較高分辨率樣本以使得在投影之間的移位是較低分辨率像素的一半，那么在水平和垂直坐標(biāo)軸上將該向量按比例縮小到1/2，這將是(+5，-4.5)。
[0085]然而，因為運動向量的較低分辨率版本以比運動向量的較高分辨率版本粗兩倍(或更一般地f倍)的尺度而表達(dá)，所以將存在舍入誤差。因此，在給定的示例中，比如說運動預(yù)測算法以整數(shù)的樣本尺寸單位操作，較低分辨率運動向量?可被舍入到(+5，-4)或(+5，-4.5)。
[0086]這在幀的每個塊上重復(fù)進(jìn)行。在一個或者多個編碼比特流33中，將針對每個預(yù)測的塊的運動向量發(fā)信號傳送到接收端22上的解碼器50。
[0087]在解碼器側(cè)，解碼器50中的幀間預(yù)測模塊56然后從發(fā)信號傳送的信息中獲知:塊B是根據(jù)偏移(x，y)的較低分辨率樣本(例如，(+5，-4))的部分而預(yù)測的。它使用這個信息根據(jù)某一幀(例如，F(xiàn)(t))中偏移那個量的某個部分來預(yù)測另一幀(例如，F(xiàn)(t+4)或F(t+n))中的較低分辨率樣本的塊B。
[0088]如果打算的是，僅有單個投影的幀將可獨立地解碼作為獨立的流或信號(S卩，所以任一組投影是具有該選項的信號的獨立版本，而不一定與其他組的投影相組合來得到較高分辨率)，則可能期望按比例縮小的運動向量。例如，比如說，僅僅接收到攜帶序列中的類型(a)的投影的一個流。在這種情形下，解碼器甚至不需要必須知道該解碼器可以根據(jù)其來重新創(chuàng)建較高分辨率的其他流，而它只把所接收的流看作為單個低分辨率流。在這種情形下，使得所接收的運動向量以與較低分辨率樣本相同的尺度來表示是合期望的，并且解碼器因此具有獨立地將其視作編碼信號的選項，而不必按比例放大到較高分辨率，除非那是期望的或可用的。
[0089]然而，還留有以下問題:當(dāng)運動向量在經(jīng)過許多幀在數(shù)個幀間預(yù)測內(nèi)積累地相加時，舍入誤差將傳播。這在圖10中示意地圖示。隨著每次從一幀到下一幀的連續(xù)預(yù)測(對于所考慮的投影或流)，由舍入所產(chǎn)生的誤差將在解碼器處變得越來越糟糕。
[0090]為了解決這個問題，編碼器40中的運動預(yù)測模塊46被配置成標(biāo)識舍入誤差，并把這個誤差發(fā)信號傳送到在接收端22上的解碼器50，例如，把它作為邊信息包括在相關(guān)的編碼比特流中。發(fā)信號傳送舍入誤差是有利的，因為在解碼器處，運動估計可被假設(shè)為已經(jīng)以較高分辨率完成。在這種情形下，解碼器將必須使用高分辨率運動向量來執(zhí)行正確的重建。
[0091]例如，如果較低分辨率樣本尺寸是2x2的較高分辨率樣本，以使得在投影之間的移位是半個(較低分辨率)像素，那么舍入誤差可被表達(dá)為在水平和垂直方向的每一方向上的單個I比特余數(shù)O或I。如果較低分辨率樣本尺寸是4x4的較高分辨率樣本，以使得在投影之間的移位是四分之一個(較低分辨率)像素，那么余數(shù)可以通過使用在水平和垂直方向的每一方向上兩個比特00、01、10或11來表達(dá)。因此，可以用編碼比特流中僅僅幾個額外的比特來保留舍入誤差。
[0092]在解碼器50處，運動預(yù)測模塊56然后將余數(shù)與較低分辨率運動向量?相加，并使用這個結(jié)果來得到向量的更精確版本。這進(jìn)而又被用來預(yù)測塊B。例如，在半個像素移位的情形下，解碼器確定舍入誤差是O或I乘以半個較低分辨率樣本。例如，如果所接收的運動向量SI是(+5，-4)的較低分辨率樣本，以及舍入誤差是(O，I)，則重建的較高分辨率運動向量將是(+5，-4.5)的較低分辨率樣本一或被按比例放大到較高分辨率尺度的完全重新創(chuàng)建的(+10，-9)(而不是+10，-8)。注意，解碼器可以通過向上舍入或向下舍入而知道編碼器是否工作(例如，解碼器基于這一點被預(yù)編程)，以使得求和將包括加上或減去余數(shù)(視情況而定)?？商鎿Q地，符號可以被發(fā)信號傳送。還要注意，運動預(yù)測算法可能能夠根據(jù)非整數(shù)樣本偏移進(jìn)行預(yù)測，所以即使按照較低分辨率樣本來表達(dá)，4.5或類似的精度也可能是有用的。
[0093]編碼器-解碼器系統(tǒng)因此可以從以下能力