專利名稱：圖像的插值的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種插值圖像像素的像素值的方法。本發(fā)明還涉及一種偏移距離插值器(warped distance interpolator)以及一種包括這種偏移距離插值器的顯示設(shè)備。
背景技術(shù)：
從G.Ramponi的“Warped distance for space-variant linear imageinterpolation”(IEEE Transactions on Image processing，vol.8no.5May1999)中可知偏移距離的概念(WaDi)。線性插值器的偏移距離概念使線性插值器適于自然(非圖形)圖像的局部像素結(jié)構(gòu)。具體說來，其目的是為了防止邊緣由于插值過程而變得模糊。
WaDi概念執(zhí)行一維插值。在水平方向上，插值的樣本可以是把將要插值的樣本夾在其中間的兩個(gè)相鄰水平樣本的線性組合。線性組合取決于要相對(duì)于兩個(gè)相鄰水平樣本進(jìn)行插值的樣本的片斷的(fractional)位置(或相位(phase))。亮度邊緣處的插值是通過在局部使相位偏移來進(jìn)行的，從而要插值的樣本實(shí)際上朝著右側(cè)或左側(cè)的輸入樣本移動(dòng)。該偏移在存在亮度邊緣時(shí)較強(qiáng)烈，而在光滑部分則較弱。為了確定偏移量，對(duì)必須插值的一個(gè)樣本周圍的四個(gè)像素進(jìn)行分析，并計(jì)算非對(duì)稱值，使得要插值的樣本朝著它所屬于的平坦區(qū)域移動(dòng)。
2D圖像的插值是通過下述來獲得的首先沿水平方向?qū)斎霕颖緢?zhí)行WaDi算法以獲取插值的水平樣本，并且隨后沿垂直方向?qū)Σ逯档乃綐颖緢?zhí)行WaDi算法。缺點(diǎn)是需要一種相對(duì)較復(fù)雜的算法。
發(fā)明概要本發(fā)明的目的是對(duì)二維圖像執(zhí)行WaDi插值，其提供了一種較高性能的算法。
本發(fā)明的第一方面提供一種如權(quán)利要求1中所述的插值圖像樣本值的方法。本發(fā)明的第二方面提供一種如權(quán)利要求7所述的偏移距離插值器。本發(fā)明的第三方面提供一種如權(quán)利要求8所述的顯示設(shè)備。在從屬權(quán)利要求中限定了按照本發(fā)明的有利實(shí)施例。
插值圖像樣本的樣本值的方法根據(jù)與一個(gè)特定樣本相鄰的樣本值來確定該特定樣本的局部梯度的方向。該局部梯度表示該特定樣本的位置處樣本值的變化方向。例如，如果該圖像包含白色左側(cè)區(qū)域和黑色右側(cè)區(qū)域，而該特定樣本靠近白色區(qū)域和黑色區(qū)域之間的垂直邊界，那么該梯度的方向?qū)⑹侵赶虬咨珔^(qū)域的水平方向。通常對(duì)圖像的每一輸出樣本確定局部梯度。
接著，采用沿特定樣本的梯度方向排列的插值器輸入值來確定偏移距離插值器WaDi的偏移系數(shù)。因此，眾所周知的WaDi插值器的插值器輸入值是在沿局部梯度方向通過特定樣本延伸的線上選擇的。
由于通常這些插值器輸入值與輸入樣本是不重合的，因此，必須根據(jù)與插值器輸入值相鄰的輸入樣本值來插值這些插值器輸入值。
確定沿局部梯度方向的偏移系數(shù)的優(yōu)點(diǎn)是可以在一個(gè)步驟中執(zhí)行WaDi插值，而不是依次沿水平方向和垂直方向執(zhí)行WaDi插值步驟。
在按照如權(quán)利要求2限定的本發(fā)明的實(shí)施例中，在輸出圖像是經(jīng)縮放的輸入圖像的系統(tǒng)中應(yīng)用WaDi插值。對(duì)于比例系數(shù)至少是2的情況，這種方法特別有意思，這時(shí)，輸出樣本之間的距離至多是輸入樣本之間距離的一半。距離可以是指兩個(gè)連續(xù)樣本之間經(jīng)過的時(shí)間，或者是指當(dāng)把這些樣本顯示在顯示屏像素上時(shí)顯示屏上的實(shí)際位置。
在本實(shí)施例中，首先從輸入圖像粗略地插值輸出圖像，以獲取原始插值數(shù)據(jù)，例如通過采用簡單的雙線性插值器。所得到的低通型式的圖像使得梯度的估算不太容易受到噪聲的影響。也可以采用更復(fù)雜的插值，如立體插值，但具有導(dǎo)致更高計(jì)算復(fù)雜度的缺點(diǎn)。局部梯度是通過采用輸出像素或由簡單插值器提供的原始插值數(shù)據(jù)來確定的。
在按照如權(quán)利要求3所限定的本發(fā)明實(shí)施例中，局部梯度是通過采用輸入樣本值來在輸入圖(input map)中確定的。將所求得的局部梯度映射到輸出圖(output map)中輸出樣本的輸出樣本位置。這種映射可以例如通過采用最近相鄰法或通過線性插值來進(jìn)行。這種方法無需原始插值步驟，因此花費(fèi)較少的計(jì)算工作量。
在按照如權(quán)利要求4所限定的本發(fā)明實(shí)施例中，樣本排列成矩陣，在該矩陣中由正交的x、y坐標(biāo)來定義樣本的位置。采用眾所周知的Sobel濾波器(Sobel Filter)來估計(jì)局部梯度的方向。
在按照如權(quán)利要求5所限定的本發(fā)明實(shí)施例中，用來確定梯度的相鄰插值器輸入值之間的距離基本上等于相鄰輸入樣本之間的距離，以提供連貫的插值。
在按照如權(quán)利要求6所限定的本發(fā)明實(shí)施例中，將偏移系數(shù)投影成x和y坐標(biāo)以控制WaDi插值器，以便按照所投影的偏移系數(shù)沿x方向和y方向?qū)嚯x進(jìn)行修改(使時(shí)域中的樣本或空域中的像素發(fā)生偏移)。因此，不是執(zhí)行兩次標(biāo)準(zhǔn)WaDi算法，而是首先沿x方向獲取中間結(jié)果，并且隨后利用這些中間結(jié)果沿y方向采用單個(gè)偏移系數(shù)的分量以從輸入樣本中直接獲得插值的輸出樣本。
根據(jù)下文所描述的實(shí)施例，本發(fā)明的這些和其它方面是顯然的，并且將參考所述實(shí)施例對(duì)其進(jìn)行闡明。
附圖簡述在圖中

圖1示出已知的兩步插值法，圖2示出用于闡明已知的“偏移距離”概念的波形，圖3示出按照本發(fā)明的實(shí)施例用于特定輸出樣本的沿局部梯度方向的插值器輸入值的排列，圖4示出用于闡明按照本發(fā)明的一步“偏移距離”概念的實(shí)施例的流程圖，圖5示出按照本發(fā)明的一步“偏移距離”概念的另一個(gè)實(shí)施例的流程圖，以及圖6示出包括按照本發(fā)明的“偏移距離”插值器的顯示設(shè)備的框圖。
優(yōu)選實(shí)施例的詳細(xì)說明圖1示出現(xiàn)有技術(shù)的兩步插值法。
在眾所周知的線性插值技術(shù)中，二維輸入圖像II(參見圖6)是用輸入樣本Pi來表示的，這些輸入樣本通常是等距離采樣的，因而這些輸入樣本Pi位于具有x方向和y方向的矩形網(wǎng)格上。輸入樣本Pi也被稱為輸入像素Pi，它是基于這樣的事實(shí)，即如果輸入樣本Pi被顯示在顯示屏DS(參見圖6)上，那么時(shí)間上的矩形網(wǎng)格將顯示為顯示屏DS上以位置表示的矩形網(wǎng)格。輸入樣本Pi的值決定輸入像素Pi的密度。實(shí)際要顯示在顯示屏DS上的輸出樣本Po可以根據(jù)輸入樣本Pi進(jìn)行插值以得到對(duì)應(yīng)于顯示屏DS上的像素的輸出像素Po。例如，如果顯示屏DS的分辨率是固定的(例如對(duì)于矩陣顯示就是這樣的情況)，并且輸入圖像II的分辨率不同于顯示屏DS的分辨率，那么這樣做就是必需的。
圖1示出位于輸入樣本Pi之間的輸出樣本Po的插值。輸入圖像第j行樣本的第i個(gè)輸入樣本Pi的值用f(xi，yj)來表示。輸出樣本Po的值用fo(x，y)來表示。在圖1中示出四個(gè)最接近輸出樣本Po的輸入樣本Pi。
首先，沿水平方向x插值輸入圖像II。在yj行中，利用xi列中的輸入樣本Pi的值f(xi，yj)以及xi+1列中的輸入樣本Pi的值f(xi+1，yj+1)來確定臨時(shí)樣本Pt1的值ft(x，yj)。以相同的方式，在yj+1行中，利用xi列中輸入樣本Pi的f(xi，yj+1)值以及xi+1列中輸入樣本Pi的f(xi+1，yj+1)值來確定臨時(shí)樣本Pt2的值f(x，yj+1)。隨后，利用臨時(shí)樣本Pt1和Pt2來確定輸出像素Po的值fo(x，y)。
臨時(shí)樣本Pt1和Pt2的值可以計(jì)算為ft(x，yk)＝(1-Sx)f(xi，yk)+Sxf(xi+1，yk) k＝j(luò)，j+1 (1)其中Sx是x和xi之間沿x方向的距離。
輸出樣本Po的值可以計(jì)算為fo(x，y)＝(1-Sy)ft(x，yj)+Syft(x，yj+1)(2)其中Sy是y和yj之間沿y方向的距離。
圖2示出用于闡述已知“偏移距離”概念的波形。按照如相對(duì)于圖1所闡述的相同方法，“偏移距離”概念(也稱為WaDi)采用兩步來確定輸出樣本Po的值。與相對(duì)于圖1闡述的線性插值不同的是，按照輸入圖像II的局部特征來修改(偏移)距離Sx和Sy以提高插值的輸出圖像OI(參見圖6)的感覺質(zhì)量。因此，WaDi首先通過采用具有已適配距離Sx沿x方向的線性插值算法來插值輸入圖像II，以獲取臨時(shí)的或中間的插值樣本Pt。隨后，WaDi將沿y方向?qū)哂幸堰m配距離Sy的中間插值樣本Pt應(yīng)用線性插值算法，以獲得輸出樣本Po。
WaDi根據(jù)下述偏移系數(shù)A使距離Sx和Sy發(fā)生偏移A＝(|a3-a1|-|a4-a2|)/(L-1) (3)其中，系數(shù)a1到a4是要被插值的輸出樣本Po的附近的輸入樣本值f(xi，yj)。根據(jù)WaDi所執(zhí)行的步驟，輸入樣本a1至a4的排列沿x方向或沿y方向。L是可用于顯示這些樣本的級(jí)(level)數(shù)，例如對(duì)于8位亮度信號(hào)，L＝256。
圖2示出用于闡述沿x方向的WaDi的波形和輸入樣本Pi。函數(shù)f(x)示出輸入視頻圖像II中的過渡的例子。
具體說來，WaDi的目的是防止邊緣由于插值過程而模糊。如果要插值的中間樣本Pt在輸出域中處于一個(gè)位置u(未示出)，那么輸入域中輸出樣本Po的相應(yīng)位置是x＝u/z，其中z是比例系數(shù)。輸入域包括輸入像素Pi，而輸出域包括輸出像素Po。片斷位置或相位是Sx＝x-x0，其中x0是x附近的左邊輸入樣本Pi。x0處的輸入樣本Pi具有樣本值a2，x1處的輸入樣本Pi具有值a3，x-1處的輸入樣本Pi具有值a1，以及x2處的輸入樣本Pi具有值a4，其在本例中為1。如果采用簡單的帳篷(tent)(雙線性)核作為WaDi的線性插值器的基核，那么輸出值將是ft(x)＝(1-Sx)f(xo)+Sxf(x1)＝(1-Sx)a2+Sxa3 (4)其中x1是接在x附近的右邊輸入樣本。
一般說來，插值樣本ft(x)是相鄰樣本f(x0)和f(x1)的線性組合，該線性組合取決于片斷位置(或相位)Sx。通過使相位Sx進(jìn)行局部偏移以使x實(shí)際上向右輸入樣本或左輸入樣本Pi移動(dòng)來修改亮度邊緣處的插值。當(dāng)存在亮度邊緣時(shí)，該偏移較強(qiáng)，而在光滑部分則較弱。為了確定偏移量，對(duì)在必須插值的位置x處的樣本周圍的位置x-1、x0、x1和x2處的四個(gè)樣本Pi進(jìn)行分析，并計(jì)算非對(duì)稱值或偏移系數(shù)A
A=|f(x1)-f(x-1)|-|f(x2)-f(x0)|L-1=|a3-a1|-|a4-a2|L-1---(5)]]>其中L是所允許的亮度級(jí)數(shù)(在8位量化的情況下為256)。并且x-1是輸入樣本x0之前的輸入樣本，而x2是輸入樣本x1之前的輸入樣本。如果采用的是S形邊緣模型，那么當(dāng)邊緣完全對(duì)稱的時(shí)候，等式(5)中的非對(duì)稱值A(chǔ)是0，而當(dāng)邊緣在樣本Pt的右(左)側(cè)更平坦時(shí)，非對(duì)稱值A(chǔ)接近1(或-1)。
要插值的樣本Pt應(yīng)當(dāng)朝著它所屬于的平坦區(qū)域移動(dòng)。因此，當(dāng)偏移系數(shù)A＞0時(shí)，必須增大相位Sx，而如果偏移系數(shù)A＜0，則必須降低相位Sx。這是通過下述偏移函數(shù)得到的Sx′＝Sx-kASx(Sx-1) (6)其中k是可控的偏移總量。如果k在
的范圍內(nèi)，則偏移相位Sx’保持在
的范圍內(nèi)。必須注意的是，無論A和k為何值，都保留兩個(gè)極值Sx＝0和Sx＝1(分別是Sx’＝0和Sx’＝1)。偏移中間樣本表示為WP。
按照與如通過沿x方向執(zhí)行已知的WaDi來確定偏移的中間樣本W(wǎng)P而闡述的相同方法，WaDi必須沿y方向來插值偏移的中間樣本W(wǎng)P以獲取輸出樣本Po。
在采用WaDi的線性濾波方程之前，改變相位Sx相當(dāng)于在中間網(wǎng)格或輸出網(wǎng)格中移動(dòng)要插值的樣本Pt或Po的位置，就像其被偏移那樣。實(shí)際上，樣本Pt或Po的最終位置是不變的，該算法將所獲得的值分配給要插值的樣本Pt或Po，就像是其處于偏移位置那樣。系數(shù)k控制偏移量，更大的k值使銳化效果提高。為了確保相位Sx處于區(qū)間0至1的范圍內(nèi)，系數(shù)k必須選擇為≤1。但是，對(duì)于自然圖像，系數(shù)優(yōu)選大于1。由于|A|通常是小的，所以即使這些系數(shù)k較大，相位Sx仍然小于1。如果相位Sx變成大于1，則它被修整(clip)為1，或者如果它小于0，則它被修整為0。
在按照本發(fā)明的實(shí)施例中，與已知的WaDi相比，在輸入圖像或輸出圖像中，沿局部梯度(θ)的方向僅確定一次偏移函數(shù)。
圖3示出對(duì)于特定輸出樣本可以如何按照本發(fā)明的實(shí)施例沿局部梯度的方向排列插值器輸出值a1至a4。輸入樣本Pi用x、y空間中間距為d的大圓點(diǎn)表示。輸出樣本Po則用形成輸出網(wǎng)格的水平線和垂直線的交點(diǎn)來表示。因此，圖3通過舉例示出系數(shù)為2時(shí)的比例。TR線表示黑色區(qū)域(邊界TR的左側(cè))和白色區(qū)域之間的邊界。輸出像素P的位置處的局部梯度方向用垂直于邊界TR的虛線DLG表示。
本發(fā)明是基于不是分別按照x方向或y方向的局部一維特征而是根據(jù)二維特征來改變相位Sx和Sy。因此，偏移系數(shù)A是沿可以是對(duì)角線的局部梯度方向θ在一個(gè)步驟中計(jì)算完成的。無需分別沿x方向和y方向獨(dú)立確定系數(shù)A。
正如相對(duì)于已知WaDi所討論的那樣，仍然通過利用位于必須確定其值的輸出樣本P附近的輸入值a1至a4來計(jì)算非對(duì)稱值或偏移系數(shù)A。但是，在按照本發(fā)明的實(shí)施例中，這些輸入值既非沿x方向的輸入樣本Pi，也非沿y方向的偏移臨時(shí)樣本Pt?，F(xiàn)在，輸入值a1至a4是沿局部梯度θ的方向來排列的。如圖3所示，用來確定偏移系數(shù)A的輸入值a1至a4位于DLG線上，因而是沿局部梯度θ的方向。通常，這些輸入值a1至a4將不會(huì)與輸入樣本Pi重合，因而必須根據(jù)輸入樣本Pi進(jìn)行插值。優(yōu)選地，輸入值a1至a4中的兩個(gè)連續(xù)值之間的距離等于輸入圖像II的樣本Pi的樣本周期，以保持與圖像插值階段的連貫性。
該樣本周期與沿x方向或y方向的兩個(gè)連續(xù)的輸入樣本Pi之間的距離對(duì)應(yīng)。例如，輸入值a1至a4是通過圖3中所示的位置中的雙線性插值來獲得的。輸入值a1至a4的這些位置是在距離要插值的輸出像素P的(xp，yp)位置分別為-1.5·d、-0.5·d、0.5·d以及1.5·d的地方沿最大梯度方向θ而選擇的，其中d是輸入網(wǎng)格中兩個(gè)連續(xù)輸入像素Pi之間的距離。輸入值a1至a4的x和y坐標(biāo)是利用下面的方程確定的x＝xp+(i-2.5)d·cos(θ)y＝y(tǒng)p+(i-2.5)d·sin(θ)其中i是輸入值ai的下標(biāo)。
下面描述兩種確定局部梯度θ的可能實(shí)施例。在第一實(shí)施例中，輸入圖像II是首先采用已知算法例如采用一種雙線性濾波來插值的，以獲取粗略插值的輸出樣本。根據(jù)這些輸出樣本，在輸出域中確定局部梯度θ。例如通過采用Sobel濾波器。獲取沿x方向和y方向的方向?qū)?shù)值的Sobel濾波器的可能屏蔽(mask)是Sobelx=1/40-1/41/20-1/21/40-1/4]]>Sobely=-1/4-1/2-1/40001/41/21/4]]>隨后，如下估計(jì)位置xi，yj處梯度θ的方向θ(xi，yj)＝arctan((f1*Sobely)|(xi，yj)/(f1*Sobelx)|(xi，yj)) (7)其中f1是輸入圖像II的粗插值的結(jié)果，而θ是在-π/2和π/2之間變化的角度。
通過在輸出域中采用Sobel方法已經(jīng)執(zhí)行了梯度估算。需要一種預(yù)處理(例如簡單的雙線性插值器)來獲取代表低通型式的輸入圖像II的原始插值輸出樣本，并且因此梯度估算不太受噪聲的影響。可以采用更復(fù)雜的方法如雙立方插值來執(zhí)行粗插值，當(dāng)然其缺點(diǎn)是更高的計(jì)算復(fù)雜度，但卻提供了更好的梯度值θ。盡管此第一實(shí)施例提供了一種很好的梯度估計(jì)，但它大大增加了總處理時(shí)間的開銷。
在另一實(shí)施例中，估計(jì)梯度θ的稍遜于最佳的解決方案是在輸入域中使用Sobel濾波器(利用輸入樣本Pi)，并且隨后將這些梯度值映射到輸出網(wǎng)格。這種映射例如可以通過采用最近相鄰法或者通過對(duì)估計(jì)的梯度值θ進(jìn)行線性插值來進(jìn)行。
如果需要很高的插值系數(shù)值，那么Sobel濾波器的通帶會(huì)太大，并且梯度估算無法工作。因此，對(duì)于高插值系數(shù)，最好采用兩個(gè)步驟來調(diào)整圖像大小，從而執(zhí)行整個(gè)算法兩次。例如，采用系數(shù)為8的插值可以變成系數(shù)為2的插值的級(jí)聯(lián)。替代地，可以采用Sobel濾波器來處理中等分辨率型式的輸入圖像II以獲取梯度值θ。將相同的梯度值θ分配給超高分辨率輸出網(wǎng)格中的一組輸出像素Po。
圖4示出用于闡述按照本發(fā)明的一步“偏移距離”概念的實(shí)施例的流程圖。
步驟1接收輸入樣本Pi(i，j)并提供局部梯度θ(m，n)(也稱為梯度)。在如前文所述的第一實(shí)施例中，步驟10插值輸入像素Pi(i，j)以獲取輸入到Sobelx濾波步驟11和Sobely濾波步驟12中去的估計(jì)的輸出樣本I’(m，n)。在相除步驟13中，將Sobely濾波步驟12的輸出除以Sobelx濾波步驟11的輸出。步驟14通過計(jì)算相除步驟13的輸出的反正切來確定梯度θ(m，n)。
步驟2執(zhí)行也稱為偏移系數(shù)A的確定的局部非對(duì)稱估計(jì)。在步驟20中，選擇四個(gè)輸入值a1至a4是沿局部梯度θ的方向的位置來確定的，因此是在DLG線上。P(m，n)是其值必須插值的輸出樣本，并且θ(P)是在該樣本P(m，n)的位置處的局部梯度。在步驟21中，輸入值a1至a4的值是通過在輸入值a1至a4的位置周圍輸入樣本Pi的插值來確定的。優(yōu)選采用雙線性插值。在步驟22中，根據(jù)插值的輸入值a1至a4，在一個(gè)步驟中按照方程5來確定偏移系數(shù)A。
步驟3確定輸出樣本Po(i，j)的值。步驟30接收梯度θ(m，n)和偏移系數(shù)A以通過與已知WaDi法的等式6所做的相同方式使距離Sx和Sy偏移來計(jì)算局部偏移分量或距離SLx和SLy。為了得到該結(jié)果，將偏移矢量A投影到x方向和y方向。下面的方程執(zhí)行這些運(yùn)算SLx＝Sx+kAcos(θ)/4(8)SLy＝Sy+kAsin(θ)/4(9)如在已知的WaDi法中，k是調(diào)節(jié)失真密度的相乘系數(shù)4，θ是定義梯度方向的角度。在分母處提供的可選系數(shù)4僅用于與已知的WaDi結(jié)果進(jìn)行比較。注意，k系數(shù)可以對(duì)逐個(gè)樣本(或者指的是逐個(gè)像素的輸出像素)通過(外部的)自動(dòng)控制來改變。例如，自然內(nèi)容檢測器可以用來估計(jì)局部像素是否是一張照片的一部分的概率。根據(jù)該估計(jì)，可以通過k系數(shù)來調(diào)節(jié)偏移效果以獲取最佳結(jié)果。
可選修整步驟31修整局部偏移距離SLx和Sly的值以使它們保持在0到1(包括極限)的范圍內(nèi)。否則，也可以這樣，特別是如果相乘系數(shù)k＞4，則偏移距離SLx或SLy小于0或大于1，這意味著要插值的輸出像素Po會(huì)移動(dòng)到由四個(gè)最接近的輸入像素Pi形成的正方形之外，這不會(huì)給出良好的插值。修整后的偏移距離用SLCx和SLCy來表示。
必須注意到，根據(jù)方程8和9，如果相位Sx＝0以及相位Sy＝0，并且如果A不是0，那么偏移距離SLx和Sly不可能等于0。所以，在對(duì)應(yīng)于輸入網(wǎng)格中的點(diǎn)的輸出網(wǎng)格的點(diǎn)處插值的輸出像素Po(m，n)可以具有與相應(yīng)輸入樣本Pi(i，j)不同的值。因此，按照本發(fā)明的已修改的WaDi算法是一種近似插值算法。
插值步驟32采用插值器插值輸入樣本Pi(i，j)，該插值器優(yōu)選采用線性核。經(jīng)修整的偏移距離SLCx和SLCy確定如何按照與已知的WaDi相同的方式通過對(duì)相鄰的輸入樣本Pi(i，j)進(jìn)行加權(quán)來對(duì)輸出樣本Po(m，n)進(jìn)行插值。
其中必須對(duì)輸出樣本值f(x’，y’)或像素Po(x，y)進(jìn)行估計(jì)的偏移位置x’，y’受三個(gè)因素的影響我們所插值的輸出像素Po的坐標(biāo)x，y，約束用來計(jì)算偏移系數(shù)A的輸入值ai的位置的局部梯度的方向θ，以及偏移強(qiáng)度參數(shù)k的值。
圖5示出按照本發(fā)明的一步“偏移距離”概念的另一實(shí)施例的一部分的流程圖。圖5示出按照前面討論的第二實(shí)施例來確定局部梯度θ(m，n)的方向的步驟1中所需的步驟?，F(xiàn)在步驟1包括步驟15和16而不是圖4中所示的步驟10至14。在步驟15中，局部梯度θ(i，j)的方向是在輸入樣本Pi的輸入圖像II中確定的。步驟16將這些局部梯度θ(i，j)從輸入域映射到輸出域以獲得輸出像素Po的局部梯度θ(m，n)。按照本發(fā)明的此實(shí)施例的WaDi處理的其它步驟與圖4中所示的步驟相同。
圖6示出包括按照本發(fā)明的“偏移距離”插值器的顯示設(shè)備的框圖。輸入視頻處理器IVP對(duì)輸入視頻IV進(jìn)行處理以獲得包括輸入樣本Pi的輸入圖像II。如果輸入視頻IV包括三個(gè)RGB信號(hào)，則輸入視頻處理器IVP可以包括確定亮度值的矩陣?？s放器WI包括按照本發(fā)明的WaDi插值器，它是一種被修改以能夠在一個(gè)步驟中對(duì)二維輸入圖像II進(jìn)行處理的已知的WaDi插值器?？s放器WI提供包括輸出樣本Po的輸出圖像OI。這樣一種縮放器通常在包括矩陣顯示器的顯示設(shè)備中是所需的。這樣一種矩陣顯示器具有由每行中的像素?cái)?shù)(顯示單元)和行數(shù)所確定的原始分辨率。另一方面，輸入圖像II的分辨率可以不同于矩陣顯示器的原始分辨率。因此，必須根據(jù)輸入樣本Pi插值要在矩陣顯示器的像素上顯示的輸出樣本Po。縮放器WI可以在存在時(shí)接收能夠插值三個(gè)信號(hào)R、G和B中的每一個(gè)的輸入視頻IV。輸出視頻處理對(duì)輸出視頻OI進(jìn)行處理，以獲得適合于驅(qū)動(dòng)包括顯示屏DS的顯示裝置DP的視頻驅(qū)動(dòng)信號(hào)VDS。
最后，按照本發(fā)明的優(yōu)選實(shí)施例涉及一種以給定順序執(zhí)行緊接的步驟的數(shù)字處理器。
采用預(yù)定的快速插值法插值10輸入圖像II，以獲取包括臨時(shí)輸出樣本Pot的粗插值輸出圖像I’(m，n)。確定臨時(shí)輸出樣本Pot以便達(dá)到采用這些樣本來計(jì)算局部梯度方向θ(m，n)的目的，但并不打算對(duì)其進(jìn)行顯示。
采用簡單算法如Sobel濾波器11和12、除法器13和反正切計(jì)算器14來計(jì)算該粗插值輸出圖像I’(m，n)中的局部梯度方向θ(m，n)，但也可以采用其它算法。
根據(jù)位于我們想要插值的輸出像素Po(m，n)周圍所選擇的20預(yù)定位置處的輸入圖像II的輸入樣本Pi(i，j)，沿該梯度方向θ(m，n)確定21若干插值的輸入值ai。采用這些輸入值ai，通過計(jì)算22偏移系數(shù)A來匹配WaDi法的邊緣模型。采用該偏移系數(shù)A來計(jì)算沿梯度方向θ(m，n)的偏移。
將所計(jì)算的偏移沿梯度方向θ(m，n)投影30到x和y軸上，并且如果必要?jiǎng)t執(zhí)行修整31。將所投影的x和y偏移分量應(yīng)用于32相位Sx和Sy(代表要相對(duì)于最接近的左上輸入像素Pi(i，j)插值的輸出樣本Po(m，n)的偏移)的值，以計(jì)算輸出樣本Po(m，n)的偏移位置。因此，采用32線性濾波技術(shù)在偏移位置中插值輸出樣本值Po(m，n)。輸出樣本Po(m，n)被用于進(jìn)行顯示。
每當(dāng)需要對(duì)攝影圖像或視頻進(jìn)行插值處理時(shí)，可以使用按照本發(fā)明的WaDi算法。當(dāng)要求比例系數(shù)大于2時(shí)，該算法的執(zhí)行情況最好。例如，可以在視頻墻應(yīng)用、照片潤飾軟件和其它情況下采用該算法。也可以用在集成電路內(nèi)，舉例來說，比如數(shù)字顯示系統(tǒng)的控制器。該算法可以在實(shí)時(shí)和批處理應(yīng)用中被實(shí)施。
應(yīng)當(dāng)注意，上述實(shí)施例是說明而不是限制本發(fā)明，并且在不偏離所附權(quán)利要求書的范圍的情況下，本領(lǐng)域的普通技術(shù)人員將能夠設(shè)計(jì)許多替換實(shí)施例。
盡管按照本發(fā)明的WaDi處理是針對(duì)灰度級(jí)圖像來描述的，但相同的處理可以用于彩色圖像。如果WaDi處理器接收RGB(紅、綠和藍(lán))輸入信號(hào)，那么可以通過采用根據(jù)RGB輸入信號(hào)確定的亮度值來計(jì)算偏移距離Slx和SLy。差別是在最后一個(gè)步驟32中，通過獨(dú)立采用偏移距離SLx和Sly或修整過的偏移距離SLCx、SLCy的同一值，三次將插值應(yīng)用于RGB信號(hào)中的每一個(gè)信號(hào)。
在權(quán)利要求書中，置于括號(hào)中的每一個(gè)參考符號(hào)不應(yīng)被理解成是對(duì)權(quán)利要求的限制。動(dòng)詞“包括”及其變化的使用不排除權(quán)利要求中所述的元件或步驟以外的元件或步驟的存在。元件之前的冠詞“a(一)”或“an(一個(gè))”并不排除存在多個(gè)這樣的元件的存在。本發(fā)明也可以通過包括若干不同元件的硬件或者通過適當(dāng)編程的計(jì)算機(jī)來實(shí)現(xiàn)。在列舉幾個(gè)裝置的設(shè)備權(quán)利要求中，這些裝置中的若干可以采用同一項(xiàng)硬件來實(shí)現(xiàn)。僅僅在相互不同的從屬權(quán)利要求中記載某些措施的事實(shí)并不表明不能有利地采用這些措施的組合。
權(quán)利要求
1.一種插值圖像的樣本(Pi，Pot)的樣本值(f)的方法，所述方法包括根據(jù)與一個(gè)特定樣本(Pi，Pot)相鄰的樣本值(f)，為該特定的一個(gè)樣本(Pi，Pot)確定(1)所述樣本值(f)的局部梯度(θ)的方向，沿所述特定的一個(gè)樣本(Pi，Pot)的局部梯度(θ)的方向選擇(20)插值器輸入值(ai)的位置，根據(jù)與所述插值器輸入值(ai)相鄰的樣本值(f)來插值(21)所述特定一個(gè)樣本(Pi，Pot)的插值器輸入值(ai)，以及利用所述插值器輸入值(ai)在一個(gè)單獨(dú)步驟中確定偏移距離插值器(3)的偏移系數(shù)(A)。
2.如權(quán)利要求1所述的插值圖像的樣本(Pi，Pot)的樣本值(f)的方法，其中根據(jù)系統(tǒng)中的輸入圖像(II)來插值輸出圖像(OI)，用于利用具有輸入樣本值的輸入樣本(Pi)對(duì)所述輸入圖像(II)進(jìn)行數(shù)字縮放以獲得具有輸出樣本(Po)的輸出圖像(OI)，所述方法還包括插值(10)所述輸入樣本值以獲得具有臨時(shí)輸出樣本值(I’(m，n))的插值的臨時(shí)輸出樣本(Pot)，把所述確定(1)所述局部梯度(θ)的方向安排成根據(jù)相鄰的臨時(shí)輸出樣本值(I’(m，n))來確定每一輸出樣本(Po)的局部梯度(θ)的方向。
3.如權(quán)利要求1所述的插值圖像的樣本(Pi，Pot)的樣本值(f)的方法，其中根據(jù)系統(tǒng)中的輸入圖像(II)來插值輸出圖像(OI)，用于利用輸入樣本(Pi)對(duì)所述輸入圖像(II)進(jìn)行數(shù)字縮放以獲得具有輸出樣本(Po)的輸出圖像(OI)，把所述確定(1)排列所述局部梯度(θ)的方向安排成根據(jù)相鄰的輸入樣本值來確定(15)每一輸入樣本(Pi)的局部梯度(θ)的方向，以獲得輸入樣本梯度值，以及所述方法還包括將所述輸入樣本梯度值映射(16)到輸出樣本(Po)的輸出梯度值，其中所述輸出梯度值中相應(yīng)的一個(gè)用作所述樣本(Pi，Pot)中特定的一個(gè)的局部梯度(θ)。
4.如權(quán)利要求2所述的插值圖像的樣本(Pi，Pot)的樣本值(f)的方法，其中所述輸入樣本(Pi)和輸出樣本(Po)排列成矩陣，所述矩陣包括沿x方向的像素行和沿y方向的像素列，所述確定(1)局部梯度(θ)的方向包括沿x方向?qū)εR時(shí)輸出樣本(Pot)進(jìn)行第一Sobel濾波(11)，以及沿y方向進(jìn)行第二Sobel濾波(12)，所述輸出樣本(Po)的局部梯度(θ)是所述第二Sobel濾波(12)除以所述第一Sobel濾波(11)的反正切。
5.如權(quán)利要求2或3所述的插值圖像的樣本(Pi，Pot)的樣本值(f)的方法，其中相鄰插值器輸入值(ai)之間的距離(d)基本上等于相鄰輸入樣本(Pi)之間的距離。
6.如權(quán)利要求2或3所述的插值圖像的樣本(Pi，Pot)的樣本值(f)的方法，其中將所述輸入樣本(Pi)和所述輸出樣本(Po)排列成矩陣，所述矩陣包括沿x方向的像素行和沿y方向的像素列，以及所述確定(22)偏移系數(shù)(A)包括將所述偏移系數(shù)(A)投影(30)到x和y軸上以分別獲得第一和第二偏移分量(Ax，Ay)，以及一個(gè)用于插值帶有由所述第一和第二偏移分量(Ax，Ay)確定的修改距離的輸入樣本(Pi)的插值器(32)。
7.一種插值圖像的樣本(Pi，Pot)的樣本值(f)的偏移距離插值器，所述插值器包括根據(jù)與特定的一個(gè)樣本(Pi，Pot)相鄰的樣本值(f)來確定(1)所述特定的一個(gè)樣本(Pi，Pot)的樣本值(f)的局部梯度(θ)的方向的裝置，沿所述特定的一個(gè)樣本(Pi，Pot)的局部梯度(θ)的方向選擇插值器輸入值(ai)的位置(20)的裝置，根據(jù)與所述插值器輸入值(ai)相鄰的像素值(f)來插值(21)所述特定的一個(gè)樣本(Pi，Po)的插值器輸入值(ai)的裝置，采用所述插值器輸入值(ai)在一個(gè)單獨(dú)步驟中確定(22)偏移距離插值器(3)的偏移系數(shù)(A)的裝置。
8.一種包括權(quán)利要求7的偏移距離插值器(3)以及顯示屏(DS)的顯示設(shè)備。
全文摘要
在一種插值圖像的樣本(Pi，Pot)的樣本值(f)的方法中，根據(jù)與特定的一個(gè)樣本(Pi，Pot)相鄰的樣本值(f)來確定特定的一個(gè)樣本(Pi，Pot)的樣本值(f)的局部梯度(8)的方向。沿特定的一個(gè)樣本(Pi，Pot)的局部梯度(8)的方向選擇(20)插值器輸入值(ai)的位置。根據(jù)與插值器輸入值(ai)相鄰的像素值(f)來插值(21)特定的一個(gè)樣本(Pi，Pot)的插值器輸入值(ai)，并且采用插值器輸入值(ai)來確定偏移距離插值(3)的偏移系數(shù)(A)。
文檔編號(hào)G06T3/40GK1799065SQ200480015375
公開日2006年7月5日 申請(qǐng)日期2004年5月25日 優(yōu)先權(quán)日2003年6月4日
發(fā)明者G·弗雷蒂, P·卡雷, F·佐塔, G·拉姆波尼 申請(qǐng)人:皇家飛利浦電子股份有限公司