保留視頻編碼中的舍入誤差的制作方法
【專利說明】
【背景技術(shù)】
[0001]過去，被稱為“超級分辨率”的技術(shù)已經(jīng)在衛(wèi)星成像中被用來將所捕獲的圖像的分辨率提升超過圖像捕獲元件的固有的分辨率。如果衛(wèi)星(或它的某些部件)移動對應(yīng)于像素的一小部分的量以便捕獲空間上重疊的樣本的話，這是可以實現(xiàn)的。在重疊的區(qū)域中，較高分辨率樣本可以通過在該區(qū)域重疊的兩個或更多個較低分辨率樣本的數(shù)值之間進(jìn)行外推(例如，通過取平均值)而生成。較高分辨率樣本尺寸是重疊區(qū)域的尺寸，較高分辨率樣本的數(shù)值是外推的數(shù)值。
[0002]在圖1中示意性地圖示這個想法?？紤]具有從地面上的Ikmxlkm的區(qū)域捕獲樣本的單個正方形像素P的衛(wèi)星的情形。如果衛(wèi)星然后移動以使得由像素所捕獲的區(qū)域在平行于像素P的邊緣之一的方向上移位半公里，并且然后取得另一個樣本，則衛(wèi)星然后擁有覆蓋寬度為0.5km的重疊區(qū)域P’的兩個樣本。隨著這個過程進(jìn)行并且在移位方向上以0.5km的間隔取得樣本，并且還潛在地執(zhí)行垂直于原始移位的、偏移半個像素的連續(xù)掃描，這有可能構(gòu)建0.5kmx0.5km的分辨率的圖像，而不是Ikmxlkm的分辨率的圖像。將會意識到的是，給出這個示例是為了圖示的目的一也有可能構(gòu)建精細(xì)得多的分辨率，并且根據(jù)更復(fù)雜的運動模式來做到這一點。
[0003]最近，已經(jīng)提出將超級分辨率的概念用于視頻編碼。它的一種潛在應(yīng)用類似于上文所描述的情景一如果用戶的攝像機(jī)在幀之間物理地移位對應(yīng)于非整數(shù)數(shù)量的像素(例如，因為它是手持式攝像機(jī))并且這個運動可被檢測到(例如，通過使用運動估計算法或運動傳感器)，那么有可能通過在兩幀的像素在其中部分重疊的像素樣本之間進(jìn)行外推而創(chuàng)建具有比攝像機(jī)的圖像捕獲元件的固有分辨率更高的分辨率的圖像。
[0004]另一種潛在應(yīng)用是故意地降低每幀的分辨率并且在幀之間引入人工移位(與由于攝像機(jī)的實際運動而造成的移位相反)。這使得每幀的比特率能夠降低。參照圖2，比如說，攝像機(jī)捕獲某個較高分辨率的像素P’(可能是在初始量化階段之后)。在每幀F(xiàn)中以該分辨率進(jìn)行編碼將帶來某個比特率。在某個時間t處的第一幀F(xiàn)(t)中，編碼器因此創(chuàng)建具有尺寸P的像素的幀的較低分辨率版本，并且以較低分辨率傳輸和編碼這些像素。例如，在圖2中，每個較低分辨率像素是通過對四個較高分辨率像素的數(shù)值進(jìn)行平均而被創(chuàng)建的。在隨后的幀F(xiàn)(t+1)中，編碼器進(jìn)行同樣的工作，但是其中將光柵移位較低分辨率像素之一的一小部分，例如，在所示出的示例中，在水平方向和垂直方向上移位半個像素。在解碼器處，然后可以再次通過在兩幀的較低分辨率樣本的重疊區(qū)域之間進(jìn)行外推而重新創(chuàng)建較高分辨率像素尺寸P’。更復(fù)雜的移位模式也是可能的。例如，模式可以在第一幀的第一位置處開始，然后在第二幀中水平地將光柵移位半個像素(較低分辨率像素)，然后在第三幀中在垂直方向上將光柵移位半個像素，然后在第四幀中在水平方向上返回半個像素，然后在垂直方向上返回，以從第一位置重復(fù)該循環(huán)。在這種情形下，對于將被重建的每個較高分辨率像素而言，在解碼器處存在可用于在其之間進(jìn)行外推的四個樣本。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的實施例接收包括多個視頻圖像幀的輸入視頻信號，每幀包括多個較高分辨率樣本。然后，對于所述幀的序列中的每幀，生成不同的、相應(yīng)的“投影(project1n)”。每個投影包括多個較低分辨率樣本，其中不同投影的較低分辨率樣本表示不同的、但重疊的較高分辨率樣本組，其在視頻圖像平面中空間地重疊。視頻信號被編碼成一個或多個編碼流，并通過網(wǎng)絡(luò)傳輸?shù)浇邮斩恕?br>[0006]編碼包括基于對于每個預(yù)測的運動向量，在幀的不同幀的投影之間的幀間預(yù)測編碼。這也包括將運動向量從對應(yīng)于較高分辨率樣本的較高分辨率尺度按比例縮小到對應(yīng)于較低分辨率樣本的較低分辨率尺度。此外，確定由所述縮放所產(chǎn)生的舍入誤差的指示。把這個舍入誤差的指示發(fā)信號傳送到接收端。
[0007]本發(fā)明的其他實施例針對于對包括多個視頻圖像幀的視頻信號進(jìn)行解碼。通過網(wǎng)絡(luò)接收來自傳輸端的視頻信號，所述視頻信號包括視頻圖像的多個不同投影。每個投影包括多個較低分辨率樣本，其中不同投影的較低分辨率樣本表示在視頻圖像平面中空間地重疊的、不同的但重疊的部分。視頻信號被解碼，以便對投影進(jìn)行解碼。然后，生成以較高分辨率來表示視頻圖像的較高分辨率樣本。對于因此生成的每個較高分辨率樣本而言，這是通過根據(jù)來自不同投影的較低分辨率樣本中的一些較低分辨率樣本之間的重疊區(qū)域來形成較高分辨率樣本而實現(xiàn)的。在根據(jù)投影生成較高分辨率樣本后，該視頻信號以較高的分辨率輸出到屏幕。
[0008]解碼包括基于從傳輸端接收的、針對每個預(yù)測的運動向量，在幀的不同幀的投影之間進(jìn)行幀間預(yù)測。這還包括將在預(yù)測中使用的運動向量從對應(yīng)于較低分辨率樣本的較低分辨率尺度按比例放大到對應(yīng)于較高分辨率樣本的較高分辨率尺度。此外，從傳輸端接收舍入誤差，并且當(dāng)執(zhí)行運動向量的所述按比例放大時并入(incorporate)這個舍入誤差。
[0009]各種實施例可以在傳輸端、接收端系統(tǒng)處被體現(xiàn)，或作為計算機(jī)程序代碼在傳輸側(cè)或接收側(cè)運行，或可作為方法被實踐。計算機(jī)程序可以被體現(xiàn)在計算機(jī)可讀介質(zhì)上。計算機(jī)可讀介質(zhì)可以是存儲介質(zhì)。
【附圖說明】
[0010]為了更好地理解各種實施例并且示出它們可以如何付諸實施，作為示例，參考以下附圖，其中，
圖1是超級分辨率方案的示意表示。
[0011]圖2是超級分辨率方案的另一個示意表示。
[0012]圖3是通信系統(tǒng)的示意框圖。
[0013]圖4是編碼器的示意框圖。
[0014]圖5是解碼器的示意框圖。
[0015]圖6是編碼系統(tǒng)的示意表示。
[0016]圖7是解碼系統(tǒng)的示意表示。
[0017]圖8是包括多個流的編碼視頻信號的示意表示。
[0018]圖9是在兩幀之間進(jìn)行運動預(yù)測的示意圖示。
[0019]圖10是在幀序列上進(jìn)行運動預(yù)測的示意圖示。
[0020]圖11是運動向量加上超級分辨率移位的示意表示，以及圖12是將被編碼的視頻信號的另一個示意表示。
【具體實施方式】
[0021]本發(fā)明的實施例提供一種在視頻編碼中使用的基于超級分辨率的壓縮技術(shù)。在幀序列上，以視頻信號表示的圖像被劃分成多個不同的較低分辨率的“投影”，根據(jù)所述投影，可以重建幀的較高分辨率版本。每個投影是幀中的某個相應(yīng)不同幀的版本，但具有比原始幀更低的分辨率。每個不同投影的較低分辨率樣本在視頻圖像的參考柵格內(nèi)具有相對于彼此的不同的空間對齊，以使得不同投影的較低分辨率樣本重疊但不是完全一致。例如，每個投影是基于定義較低分辨率樣本的尺寸和形狀的相同光柵柵格的，但在不同投影的每一個投影中，向光柵應(yīng)用不同的偏移或“移位”，所述移位是在相對于光柵取向的水平和/或垂直方向上的較低分辨率樣本尺寸的一小部分。不論移位步長是多少(例如，1/2或1/4像素)，每幀僅被細(xì)分成一個投影。
[0022]在圖12中示意地圖示一個示例。在該頁的上部所圖示的是將被編碼的視頻信號，其包括多個幀F(xiàn)，每個幀F(xiàn)表示在時間t，t+1, t+2, t+3…中的連續(xù)時刻處的視頻圖像(其中時間作為幀索引來度量，并且t是時間中的任意點)。
[0023]一個給定的幀F(xiàn)(t)包括由較高分辨率的光柵定義的多個較高分辨率樣本S’，較高分辨率的光柵由圖12中的虛線柵格線示出。光柵是柵格結(jié)構(gòu)，當(dāng)向幀應(yīng)用該柵格結(jié)構(gòu)時，它把幀劃分成樣本，每個樣本由柵格的對應(yīng)單元所定義。注意，樣本并不一定意指與圖像捕獲元件的物理像素相同的尺寸的樣本，也不一定意指將在其上輸出視頻的屏幕的物理像素尺寸。例如，可以以甚至更高的分辨率捕獲樣本，然后將所述樣本進(jìn)行量化降低，以產(chǎn)生樣本S’。
[0024]幀序列F⑴、F(t+1)、F(t+2)、F(t+3)中的每個幀然后被轉(zhuǎn)換成相應(yīng)不同的投影
(a)到(d)。投影中的每一個包括通過將較低分辨率的光柵應(yīng)用到相應(yīng)的幀而定義的較低分辨率樣本S，如由覆蓋在圖12中的較高分辨率柵格上的實線所圖示的。再次，光柵是柵格結(jié)構(gòu)，當(dāng)它被應(yīng)用到幀時，它把所述幀劃分成樣本。每個較低分辨率樣本S表示一組較高分辨率樣本S’，并且其分組取決于較低分辨率光柵的柵格間隔和對齊，每個樣本由柵格的對應(yīng)單元定義。柵格可以是正方形或長方形柵格，并且較低分辨率樣本在形狀上可以是正方形或長方形(正如較高分辨率樣本一樣)，但是這不一定必須是這種情形。在所示出的示例中，每個較低分辨率樣本S覆蓋四個較高分辨率樣本S’的相應(yīng)的2x2的正方形。另一個示例是16個較高分辨率樣本的4x4的正方形。
[0025]每個較低分辨率樣本S表示相應(yīng)的一組較高分辨率樣本S’(每個較低分辨率樣本覆蓋整數(shù)數(shù)量的較高分辨率樣本)。較低分辨率樣本S的數(shù)值可以通過組合較高分辨率樣本的數(shù)值(例如通過取平均值，諸如平均數(shù)或加權(quán)平均數(shù)(但是不排除更復(fù)雜的關(guān)系))而被確定?？商鎿Q地，較低分辨率樣本的數(shù)值可以通過取較高分辨率樣本中的某個代表性樣本的數(shù)值或?qū)⑤^高分辨率數(shù)值的代表性子集進(jìn)行平均而被確定。
[0026]在第一投影(a)中的較低分辨率樣本的柵格具有在幀平面中相對于以被編碼的信號表示的視頻圖像的下面的較高分辨率光柵的某種第一對齊。為了參考，這在此可被稱為(0,0)的移位。由隨后的幀F(xiàn)(t+l)、F(t+2)、F(t+3)的每個另外的投影(b)到(d)所形成的較低分辨率樣本的柵格然后分別在幀平面中被移位相應(yīng)不同的量。對于每個連續(xù)的投影，移位是在水平或垂直方向上的較低分辨率樣本尺寸的一小部分。在所示出的示例中，在第二投影(b)中，較低分辨率的柵格向右移位半個