使用較低分辨率流的視頻編碼的制作方法
【專利說明】
【背景技術(shù)】
[0001]過去，稱為“超分辨率”的技術(shù)已在衛(wèi)星成像中被用來提高所捕捉圖像的分辨率超過圖像捕捉元件的固有分辨率。這可以在衛(wèi)星(或其某個部件)移動對應(yīng)于像素的幾分之一的量的情況下實(shí)現(xiàn)，從而捕捉在空間上重疊的樣本。在重疊區(qū)中，可以通過例如通過求平均而在與該區(qū)重疊的兩個或更多較低分辨率樣本的值之間進(jìn)行外推來生成較高分辨率樣本。較高分辨率樣本尺寸是重疊區(qū)的尺寸，并且較高分辨率樣本的值是外推值。
[0002]該構(gòu)思在圖1中示意性地圖示出。考慮具有單個正方形像素P的衛(wèi)星的情況，其從地面上的IkmX Ikm的區(qū)域捕捉樣本。如果衛(wèi)星然后移動，使得被像素捕捉的區(qū)域在平行于像素P的邊緣中的一個的方向上移位半公里，并且然后獲取另一樣本，則衛(wèi)星于是具有覆蓋寬度0.5km的重疊區(qū)P’的兩個可用樣本。隨著此過程的發(fā)展，在移位的方向上以0.5km間隔獲取樣本，并且潛在地還執(zhí)行垂直于原始移位偏移半個像素的連續(xù)掃描，有可能構(gòu)建0.5 kmX0.5 km而不是IkmX Ikm分辨率的圖像。將認(rèn)識到的是本示例是出于說明性目的給出的一一還有可能構(gòu)建精細(xì)得多的分辨率，并且從更復(fù)雜的運(yùn)動模式這樣做。
[0003]最近，已提出超分辨率的概念以便在視頻編碼中使用。存在其兩個潛在應(yīng)用。第一個類似于上文所述情形一一如果用戶的照相機(jī)在幀之間在物理上移位對應(yīng)于非整數(shù)像素(例如因?yàn)槠涫鞘殖质秸障鄼C(jī))的量，并且此運(yùn)動可以被檢測到(例如，使用運(yùn)動估計(jì)算法)，則有可能通過在其中兩個幀的像素部分地重疊的像素樣本之間進(jìn)行外推而創(chuàng)建具有比照相機(jī)的圖像捕捉元件的固有分辨率更高的分辨率的圖像。
[0004]第二潛在應(yīng)用是故意地降低每個幀的分辨率，并且在幀之間引入人為移位(與由于照相機(jī)的實(shí)際運(yùn)動而引起的移位相反)。這使得能夠降低每幀的位速率。參考圖2，比方說照相機(jī)捕捉某個較高分辨率的像素P’(可能在初始量化級之后)。每個幀F(xiàn)中的該分辨率下的編碼將招致某個位速率。在某個時間t處的第一幀F(xiàn)(t)中，編碼器因此創(chuàng)建具有尺寸P的像素的幀的較低分辨率版本，并且在較低分辨率下將這些進(jìn)行發(fā)射和編碼。例如，在圖2中，通過對四個較高分辨率像素的值進(jìn)行平均來創(chuàng)建每個較低分辨率像素。在后續(xù)幀F(xiàn) (t+Ι)中，編碼器做同樣的事，但是光柵移位較低分辨率像素中的一個的幾分之一，在所示的示例中例如在水平和垂直方向上的半個像素。在解碼器處，然后可以通過在兩個幀的較低分辨率樣本的重疊區(qū)之間進(jìn)行外推來再次地重新創(chuàng)建較高分辨率像素尺寸P’。更復(fù)雜的移位模式也是可能的。例如，該模式可在第一幀中的第一位置處開始，然后使光柵在第二幀中水平地移位半個(較低分辨率)像素，然后使光柵在第三幀中在垂直方向上移位半個像素，然后在第四幀中在水平方向上返回半個像素，然后在垂直方向上返回以從第一位置起重復(fù)該循環(huán)。在這種情況下，存在四個樣本可用于在解碼器處針對要重構(gòu)的每個較高分辨率像素而在該四個樣本之間進(jìn)行外推。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的實(shí)施例接收包括多個幀的視頻信號作為輸入，每個幀包括多個較高分辨率樣本。針對幀中的各每一個，生成各幀的多個不同投影。每個投影包括表不在較低分辨率下的各幀的多個較低分辨率樣本，其中，不同投影的較低分辨率樣本表;^各幀的較高分辨率樣本的不同但重疊的群組。通過對各幀中的每一個的投影進(jìn)行編碼來對視頻信號進(jìn)行編碼。
[0006]本發(fā)明的另外的實(shí)施例接收包括多個幀的視頻信號，每個幀包括多個不同投影，其中，每個投影包括多個較低分辨率樣本。不同投影的較低分辨率樣本表不各幀的不同但重疊的部分。通過對各幀中的每一個的投影進(jìn)行解碼來將視頻信號解碼。生成表示在較高分辨率下的各幀中的每一個的較高分辨率樣本。對于這樣生成的每個較高分辨率，這是通過從來自各幀的不同投影的較低分辨率樣本中的一些之間的重疊區(qū)形成較高分辨率樣本而完成的。在從投影生成之后在較高分辨率下將視頻信號輸出到屏幕。
[0007]可以將各種實(shí)施例體現(xiàn)為編碼系統(tǒng)、解碼系統(tǒng)或?qū)⒃诰幋a器或解碼器側(cè)運(yùn)行的計(jì)算機(jī)程序代碼，或者可實(shí)施為方法?？稍谟?jì)算機(jī)可讀介質(zhì)上體現(xiàn)計(jì)算機(jī)程序。計(jì)算機(jī)可讀可以是有形計(jì)算機(jī)可讀存儲介質(zhì)。
【附圖說明】
[0008]為了更好地理解各種實(shí)施例并示出其如何可以付諸實(shí)現(xiàn)，以示例的方式對附圖進(jìn)行參考，在所述附圖中:
圖1是超分辨率方案的示意性表示，
圖2是超分辨率方案的另一示意性表示，
圖3是通信系統(tǒng)的示意性框圖，
圖4是編碼器的示意性框圖，
圖5是解碼器的示意性框圖，
圖6是編碼系統(tǒng)的示意性表示，
圖7是解碼系統(tǒng)的示意性表示，
圖8是包括多個流的已編碼視頻信號的示意性表示，
圖9是要編碼的視頻信號的示意性表示，
圖10是要編碼的視頻信號的另一示意性表示，以及圖11是運(yùn)動矢量與超分辨率移位的加法的示意性表示。
【具體實(shí)施方式】
[0009]超分辨率的原始用途是人為地提高所捕捉圖像的分辨率超過捕捉設(shè)備的固有分辨率。如所討論的，稍后提出了供在視頻傳輸中使用以故意地降低每幀的分辨率，從而減小位速率的思想。
[0010]本發(fā)明的實(shí)施例并不是集中于這些用途中的任一個，而是尋找用于超分辨率技術(shù)的第三應(yīng)用:即，將給定幀劃分成多個不同的較低分辨率“投影”，可以從該多個不同的較低分辨率“投影”重構(gòu)幀的較高分辨率版本。每個投影是與原始幀相比具有較低分辨率的同一幀的版本。同一幀的每個不同投影的較低分辨率樣本在幀內(nèi)具有相對于彼此的不同空間對準(zhǔn)，使得不同投影的較低分辨率樣本重疊但并不重合。例如，每個投影基于定義較低分辨率樣本的尺寸和形狀的同一光柵網(wǎng)格，但是在不同投影中的每一個中光柵被施加以不同的偏移或“移位”，該移位在相對于光柵定向的水平和/或垂直方向上是較低分辨率樣本尺寸的幾分之一。
[0011]在圖9和10中示意性地示出了示例。在頁面的頂部處圖示的是要編碼的視頻信號，包括多個幀F(xiàn)，每個幀F(xiàn)表示處于連續(xù)時刻...t-1、t、t+Ι、...的視頻圖像(其中，作為幀索引來測量時間，并且t是任何的任意時間點(diǎn))。
[0012]給定幀F(xiàn)(t)包括由圖9中的點(diǎn)網(wǎng)格線所示的較高分辨率光柵定義的多個較高分辨率樣本S’。光柵是網(wǎng)格結(jié)構(gòu)，該網(wǎng)格結(jié)構(gòu)在被施加于幀時將其劃分成樣本，每個樣本由網(wǎng)格的相應(yīng)單元定義。請注意，樣本不一定意味著具有與圖像捕捉元件的物理像素相同尺寸的樣本，也不是將在其上面輸出視頻的屏幕的物理像素尺寸。例如，可以在甚至更高的分辨率下捕捉樣本，并且然后向下量化以產(chǎn)生樣本S’。
[0013]將同一幀F(xiàn)(t)分成多個不同投影(a)至(d)。同一幀F(xiàn)(t)的投影中的每一個包括通過將較低分辨率光柵施加于幀而定義的多個較低分辨率樣本S，如覆蓋在圖9中的較高分辨率網(wǎng)格上的實(shí)線所圖示的。再次地，光柵是在施加于幀時將其劃分成樣本的網(wǎng)格結(jié)構(gòu)。每個較低分辨率樣本S表示一組較高分辨率樣本S’，分組取決于較低分辨率光柵的網(wǎng)格間距和對準(zhǔn)，每個樣本由網(wǎng)格的相應(yīng)單元定義。網(wǎng)格優(yōu)選地是正方形或矩形網(wǎng)格，較低分辨率樣本優(yōu)選地在形狀方面是正方形或矩形的(如較高分辨率樣本一樣)，但不一定必須是這種情況。在所示示例中，每個較低分辨率樣本S覆蓋四個較高分辨率樣本S’的各二乘二正方形。另一示例將是十六的四乘四正方形。
[0014]每個較低分辨率樣本S表示各組較高分辨率樣本S’(每個較低分辨率樣本覆蓋整體數(shù)個較高分辨率樣本)。優(yōu)選地，通過將較高分辨率樣本的值組合、最優(yōu)選地通過求平均、諸如均值或加權(quán)均值(但不排除更復(fù)雜的關(guān)系)來確定較低分辨率樣本S的值。替換地，可以通過取較高分辨率樣本中的典型的一個的值或?qū)^高分辨率值的典型子集進(jìn)行平均來確定較低分辨率的值。
[0015]第一投影(a)中的較低分辨率樣本的網(wǎng)格在幀F(xiàn)(t)內(nèi)、即在幀的平面中具有某個、第一對準(zhǔn)。作為參考，在這里將其稱為(0，O)的移位。然后將同一幀F(xiàn)(t)的每個另一投影(b)至(d)所形成的較低分辨率樣本的網(wǎng)格在幀的平面中移位各自不同的量。針對每個連續(xù)投影，該移位是在水平或垂直方向上的較低分辨率樣本尺寸的幾分之一。在所示示例中，在第二投影(b)中，將較低分辨率網(wǎng)格向右移位半個(較低分辨率)樣本，即相對于參考位置(0，O)的(+?, O)的移位。在第三投影(c)中，將較低分辨率網(wǎng)格向下移位另一半個樣本，即相對于第二移位的(0，+?)的移位或者相對于參考位置的(+?, +?)的移位。在第四投影中，將較低分辨率網(wǎng)格向左移位另一半個樣本，即相對于第三投影的O)的移位或相對于參考位置的(0，+幻。這些移位一起構(gòu)成移位模式。
[0016]在圖9中，這通過參考第一投影(a)的較低分辨率樣本S(m，η)來舉例說明，其中，m和η分別是水平