專利名稱：：視頻處理的制作方法視頻處理本發(fā)明涉及視頻處理。存在幾種其中通過(guò)內(nèi)插或類似操作從輸入視頻信號(hào)的一個(gè)或更多圖像導(dǎo)出輸出視頻信號(hào)的圖像的情況。例子包括其中引入新的時(shí)間圖像位置的視頻標(biāo)準(zhǔn)變換、諸如隔行到逐行掃描變換的掃描變換以及分辨率改變(例如從標(biāo)準(zhǔn)清晰度到高清晰度的上變換)。當(dāng)然，可以作為復(fù)合或單一操作來(lái)執(zhí)行這些例子當(dāng)中的多于一項(xiàng)；當(dāng)然，該列表是為了舉例而非窮舉定義。以隔行到逐行掃描變換為具體例子，可以利用多種可用選項(xiàng)來(lái)從一個(gè)或更多輸入隔行掃描場(chǎng)生成輸出逐行掃描幀。如果不存在圖像運(yùn)動(dòng)，則所述輸出幀可以作為兩個(gè)相鄰輸入場(chǎng)的簡(jiǎn)單組合而形成，兩個(gè)相鄰輸入場(chǎng)其中一場(chǎng)提供該幀的奇數(shù)像素線(pixelline),另一場(chǎng)提供偶數(shù)像素線。這樣做在處理要求和精度方面都;f艮簡(jiǎn)單。但是如果存在運(yùn)動(dòng)，則必須使用其他技術(shù)。一種此類技術(shù)是場(chǎng)內(nèi)處理，其中從特定場(chǎng)內(nèi)的其他像素導(dǎo)出該場(chǎng)中的"缺失"像素。這樣做缺乏上面描述的簡(jiǎn)單組合的精度，這是因?yàn)榕c兩個(gè)場(chǎng)的組合相比，僅僅一半的信息被用來(lái)生成所述輸出幀。另一種技術(shù)是依賴于運(yùn)動(dòng)的處理，其中檢測(cè)從場(chǎng)到場(chǎng)的圖像運(yùn)動(dòng)，從而允許在表示兩個(gè)或更多場(chǎng)中的移動(dòng)對(duì)象的圖像位置之間內(nèi)插所述缺失的像素。假定從兩個(gè)或更多經(jīng)過(guò)子采樣的隔行源場(chǎng)導(dǎo)出所述輸出像素，依賴于運(yùn)動(dòng)的處理允許提高精度，但是其代價(jià)是潛在的混疊問(wèn)題。依賴于運(yùn)動(dòng)的處理的一種發(fā)展是導(dǎo)出達(dá)到子像素(sub-pixel)精度的運(yùn)動(dòng)矢量(其表示圖像間運(yùn)動(dòng))。利用這種運(yùn)動(dòng)矢量生成輸出像素，但是該輸出像素有可能(實(shí)際上是4艮可能)與輸出圖像中的所需像素位置未精確地空間對(duì)準(zhǔn)。因此，應(yīng)用空間濾波器來(lái)從所述輸出像素中的一個(gè)或更多輸出像素生成該所需像素位置處的像素。本發(fā)明提供了視頻處理設(shè)備，其中利用具有子像素精度的運(yùn)動(dòng)矢量從一個(gè)或更多輸入圖像生成輸出圖像的輸出像素的至少一個(gè)子集，該設(shè)備包括帶濾波器，用于從所述一個(gè)或更多輸入圖像導(dǎo)出低空間頻率部分和高頻部分；用于利用相應(yīng)的運(yùn)動(dòng)矢量從所述一個(gè)或更多輸入圖像的所述低空間頻率部分導(dǎo)出與最接近于所需輸出像素位置的像素位置相關(guān)的低頻貢獻(xiàn)的裝置；用于利用該相應(yīng)的運(yùn)動(dòng)矢量從所述一個(gè)或更多輸入圖像的所述高空間頻率部分導(dǎo)出高頻貢獻(xiàn)的裝置；空間濾波器，用于從所述高頻貢獻(xiàn)中的一個(gè)或更多高頻貢獻(xiàn)生成該所需像素位置處的高頻像素值；以及組合器，用于組合所述低頻貢獻(xiàn)與所述高頻像素值，以便生成與該所需像素位置相關(guān)的輸出像素值。本發(fā)明認(rèn)識(shí)到，混疊問(wèn)題往往更多地出現(xiàn)在更接近奈奎斯特(Nyquist)極限(采樣率的一半)的頻率處。因此，在所采樣的圖像內(nèi)，可以與高頻不同地處理低頻。特別地，在高頻下，子像素精度濾波操作對(duì)于避免混疊能夠是有用的；而在低空間頻率下，不應(yīng)用子像素精度濾波操作反而能夠獲得出乎意外的更好的結(jié)果。在所附權(quán)利要求書中限定了本發(fā)明的其他相應(yīng)方面和特征。現(xiàn)在將僅以實(shí)例的方式參照附圖來(lái)描述本發(fā)明的實(shí)施例，其中圖1示意性地示出了平板屏幕(flatscreen)顯示器布置；圖2示意性地示出了演播室(studio)環(huán)境中的視頻混合操作；圖3示意性地示出了隔行到逐行掃描變換器；圖4a和4b示意性地示出了"普通的"和廣義的釆樣理論(GST);圖5示意性地示出了利用子像素位置校正的變換處理的一部分；圖6示意性地示出了子像素誤差；圖7a示意性地示出了水平子像素校正；圖7b示意性地示出了垂直子像素校正；圖8a到8c示意性地示出了多相內(nèi)插；圖9示意性地示出了轉(zhuǎn)接器；圖IO示出了示例圖像；圖11示意性地示出了利用GxSobel算子的邊緣檢測(cè)；圖12示意性地示出了利用GySobel算子的邊緣檢測(cè)；圖13示意性地示出了塊匹配尺寸圖；圖14示意性地示出了塊匹配矢量接受結(jié)果；圖15示意性地示出了運(yùn)動(dòng)矢量驗(yàn)證；圖16示意性地示出了垂直半帶濾波；圖17a到17c示意性地示出了GST濾波器設(shè)計(jì)的各方面；以及圖18a到18e示意性地示出了應(yīng)對(duì)移動(dòng)圖像對(duì)象的各方面。圖1示意性地示出了平板屏幕顯示器布置10，其包括隔行視頻素材源20、隔行到逐行掃描變換器30以及顯示面板40,所述顯示面板比如是液晶(LCD)或等離子顯示器。該圖示出了隔行到逐行掃描變換的典型使用，這是由于許多廣播信號(hào)是隔行格式，而許多平板顯示器則在逐行掃描格式下最為成功地操作。因而，在圖1中，由所述隔行素材源20接收的廣播信號(hào)被用來(lái)生成隔行信號(hào)以供顯示。所述隔行信號(hào)被傳遞到所述隔行到逐行掃描變換器30,以便從該隔行信號(hào)生成逐行掃描信號(hào)。正是該逐行掃描信號(hào)^f皮傳遞到顯示器40。應(yīng)當(dāng)認(rèn)識(shí)到，所述隔行素材源20不必是廣播接收機(jī)，而可以是諸如DVD播放器之類的視頻回放設(shè)備、諸如互聯(lián)網(wǎng)連接之類的網(wǎng)絡(luò)連接等等。圖2示意性地示出了演播室環(huán)境中的視頻混合操作，以便給出使用隔行到逐行掃描變換的另一個(gè)例子。在這里提供了隔行素材源50和逐行掃描素材源60。這些源可以是攝影機(jī)、諸如磁帶錄像機(jī)或硬盤記錄器之類的視頻回放設(shè)備、廣播接收機(jī)等等。來(lái)自所述隔行素材源50的隔行輸出被提供到隔行到逐行掃描變換器70,以便生成逐行掃描信號(hào)?？梢杂梢曨l混合器80將該逐行掃描信號(hào)與來(lái)自源60的逐行掃描素材一起處理，以便生成經(jīng)過(guò)處理的逐行掃描輸出。當(dāng)然，如果需要的話可以把該視頻混合器80的逐行掃描輸出變換回到隔行格式，例如以便用于后續(xù)的廣播或記錄。還應(yīng)當(dāng)認(rèn)識(shí)到，該視頻混合器80僅僅是視頻處理設(shè)備的一個(gè)例子；在圖2中的該位置處例如可以替換地使用數(shù)字視頻效果單元。圖3示意性地示出了隔行到逐行掃描變換器，其接收基于場(chǎng)的輸入信號(hào)并且生成基于逐行掃描幀的輸出信號(hào)。在本實(shí)施例中，該輸出信號(hào)對(duì)于所述輸入信號(hào)的每個(gè)場(chǎng)具有一幀。圖3的變換器包括一個(gè)或更多場(chǎng)存儲(chǔ)裝置器100、運(yùn)動(dòng)估計(jì)器110、運(yùn)動(dòng)補(bǔ)償器120、水平和垂直位置校正器130、隱藏發(fā)生器140以及輸出選擇器150。為了描述清楚起見，所述運(yùn)動(dòng)補(bǔ)償器120和位置校正器130被顯示為分開的項(xiàng)；但是在實(shí)際情況中，有可能作為相同操作的一部分來(lái)實(shí)施這兩個(gè)功能。輸入場(chǎng)被存儲(chǔ)在(多個(gè))場(chǎng)存儲(chǔ)裝置100中，并且還被傳遞到運(yùn)動(dòng)估計(jì)器110。利用將在下面描述的基于塊的運(yùn)動(dòng)估計(jì)技術(shù)并且參照所述(多個(gè))場(chǎng)存儲(chǔ)裝置100，所述運(yùn)動(dòng)估計(jì)器IIO導(dǎo)出表示當(dāng)前場(chǎng)與另一場(chǎng)(例如前一場(chǎng))之間的圖像運(yùn)動(dòng)的運(yùn)動(dòng)矢量。所述運(yùn)動(dòng)矢量^L導(dǎo)出達(dá)到子像素精度。所述運(yùn)動(dòng)補(bǔ)償器120被用來(lái)生成"缺失的"像素，以便增強(qiáng)當(dāng)前場(chǎng)的像素，從而生成輸出幀。因此，當(dāng)前場(chǎng)的像素凈皮保留，并且利用運(yùn)動(dòng)補(bǔ)償通過(guò)來(lái)自所存儲(chǔ)的(多個(gè))場(chǎng)的像素來(lái)填充這些像素之間的空線。運(yùn)動(dòng)補(bǔ)償器120的操作將在下文中更加詳細(xì)地描述。采用所述水平和垂直位置校正器的原因在于，所述運(yùn)動(dòng)補(bǔ)償器的輸出雖然對(duì)于最近像素是正確的，但是通常并未與輸出幀中的采樣點(diǎn)(像素位置)精確對(duì)準(zhǔn)。這是因?yàn)檫\(yùn)動(dòng)估計(jì)執(zhí)行到子像素分辨率。利用多相濾波來(lái)校正水平位置誤差。利用采用了所謂的廣義采樣定理的特殊情況的濾波器來(lái)校正垂直位置誤差。將在下文中更加詳細(xì)地描述這些操作。所述隱藏發(fā)生器140被設(shè)置成在所述依賴于運(yùn)動(dòng)的補(bǔ)償布置無(wú)法提供像素值的情況下提供像素值。在無(wú)法完成導(dǎo)出關(guān)于每個(gè)像素的正確運(yùn)動(dòng)矢量所需的處理的情況下，可能需要所述隱藏發(fā)生器，這例如是由于所述圖像的性質(zhì)使得導(dǎo)出運(yùn)動(dòng)矢量不精確或者對(duì)處理器要求太高。在實(shí)際情況中，所述隱藏處理器被包括在所述運(yùn)動(dòng)補(bǔ)償器/位置校正器的功能內(nèi)，但是在圖3中被顯示為單獨(dú)的單元。類似地，所述選擇器150是所述運(yùn)動(dòng)補(bǔ)償器/位置校正器/隱藏發(fā)生器的功能的一部分，但是被單獨(dú)地顯示出來(lái)以說(shuō)明其操作。當(dāng)不能生成經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)南袼貢r(shí)，該選擇器150(在逐塊的基礎(chǔ)上)選擇隱藏像素。圖4a和4b提供了所述廣義采樣理論(GST)的概要。特別地，圖4a示意性地示出了"正常"采樣理論，而圖4b則示意性地示出了所述GST。在圖4a中示出了類似的情況，其中可以通過(guò)以fs的速率進(jìn)行采樣(也就是說(shuō)，采樣點(diǎn)每1/fs規(guī)則地出現(xiàn))而完美地重建具有fs/2的最大頻率的信號(hào)。這種分析對(duì)于基于時(shí)間的系統(tǒng)或者基于空間的系統(tǒng)同樣有效，也就是說(shuō)，可以按照每秒的樣本數(shù)或者每空間單位的樣本數(shù)來(lái)表示采樣率fs。圖4b示意性地示出了所述GST的一個(gè)實(shí)例。根據(jù)GST,實(shí)際上沒(méi)有必要以一個(gè)固定的采樣周期U/fs)進(jìn)行采樣。相反，如果以每2/fs的周期兩個(gè)采樣點(diǎn)進(jìn)行采樣，就可以完美地重建具有fs/2的最大頻率的信號(hào)。圖5示意性地示出了由圖3的設(shè)備實(shí)施的變換處理的一部分，以便說(shuō)明對(duì)于基于GST的位置校正的需求。場(chǎng)0、l和2在時(shí)間上均等地間隔開。其意圖是利用來(lái)自場(chǎng)1的現(xiàn)有像素以及經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)南袼?以便填充缺失的線)來(lái)產(chǎn)生逐行掃描幀，即幀1,其中所述經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)南袼卦诒纠惺峭ㄟ^(guò)利用基于塊的運(yùn)動(dòng)估計(jì)的運(yùn)動(dòng)補(bǔ)償技術(shù)從場(chǎng)0和2中導(dǎo)出的。在場(chǎng)1的像素線之間插入缺失的像素，以便產(chǎn)生幀1。但是幀1中經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)南袼鼐哂凶酉袼匚恢谜`差。應(yīng)當(dāng)注意到，在其他實(shí)施例中，所述缺失的像素僅僅是從一個(gè)場(chǎng)導(dǎo)出的。如上所述，通過(guò)兩種技術(shù)來(lái)校正所述子像素位置誤差。利用多相濾波來(lái)校正水平子像素誤差。利用GST濾波來(lái)校正垂直誤差。圖6示意性地示出了所述子像素誤差。白圓圏170表示填充場(chǎng)1的缺失線以產(chǎn)生幀1的經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)南袼氐乃栉恢??；蚁袼?80表示來(lái)自場(chǎng)1的真實(shí)像素的位置。黑像素190表示本例中經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)南袼氐奈恢??？梢钥闯?，?jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)南袼?90接近所需位置170,但是卻并未與其精確地對(duì)準(zhǔn)。圖7a示意性地示出了使用多相濾波器來(lái)校正水平位置。下面將更加詳細(xì)地描述多相濾波的技術(shù)，但是一般來(lái)說(shuō)，濾波器200接收一組經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)南袼刂祦?lái)作為輸入。該濾波器包括P組濾波器抽頭h,其中每一組被布置成相對(duì)于所述輸入運(yùn)動(dòng)補(bǔ)償像素以不同相位(在像素的情況下就是水平位置)生成輸出值。在圖7a中把所述相位示意性地表示(210)成從O(在本例中，相位O與左側(cè)真實(shí)像素對(duì)準(zhǔn))到P-1(在本例中，相位P-1與右側(cè)真實(shí)像素對(duì)準(zhǔn))。換句話說(shuō)，所述水平位置誤差被量化到1/P像素間隔的子像素精度。示意性轉(zhuǎn)接器220選擇正確的抽頭組，以生成與真實(shí)像素170水平對(duì)準(zhǔn)的新〗象素值190'。圖7b示意性地示出了使用所述GST來(lái)校正垂直位置。這里，像素190，被顯示為其水平位置已經(jīng)如上所述被校正。在垂直方向上，在兩條(幀)線的每個(gè)空間周期內(nèi)提供兩個(gè)像素來(lái)自場(chǎng)1的真實(shí)像素180和經(jīng)過(guò)水平較正的像素190，。在兩線空間周期內(nèi)存在兩個(gè)有效采樣點(diǎn)意味著可以通過(guò)垂直濾波處理來(lái)恢復(fù)每個(gè)相應(yīng)像素170的"原始"值。一組正確地垂直對(duì)準(zhǔn)的像素230只有4艮少的混疊或者沒(méi)有混疊。與此相反，一組不正確地垂直對(duì)準(zhǔn)的像素240遭受垂直混疊。適當(dāng)?shù)腉ST濾波器的等式如下+U2-，^/ZxC+tic)sin(pN(-1)2knsin(p"q)/舛/(n-kN-no)xc(n)+U2-1-外A,+ZxCn,)sin(p(n-no)/IS)(-l)2knsi褲-nq),/(n掘-n》其中，2個(gè)子采樣的數(shù)據(jù)序列形成樣本組1^+111)&=0...(1^1)),其中N是每奈奎斯特周期的離散等間隔樣本的最大數(shù)目，n是樣本號(hào)。因此，總而言之，所述GST可以被用來(lái)從兩個(gè)或更多隔行掃描場(chǎng)重建準(zhǔn)完美的逐行幀。所述處理涉及到在逐行掃描幀中拷貝來(lái)自一個(gè)場(chǎng)的像素并且在位置上恢復(fù)剩余的像素(從另一個(gè)場(chǎng)獲得)。隨后，水平相位校正和垂直GST重建產(chǎn)生了完成準(zhǔn)完美的逐行掃描幀的像素值。然而，為了從第二場(chǎng)恢復(fù)像素的位置和相位，必須知道精確到空間采樣分辨率的某一分?jǐn)?shù)的運(yùn)動(dòng)矢量。因此，現(xiàn)在在下面描述運(yùn)動(dòng)估計(jì)器IIO的操作。一般來(lái)說(shuō)，運(yùn)動(dòng)估計(jì)旨在利用圖像與其空間移位版本之間的誤差的某種局部最小化來(lái)檢測(cè)真實(shí)矢量的量值(magnitude)和方向。然而，如果圖像數(shù)據(jù)被子采樣(如在隔行源的場(chǎng)的情況下)，則在具有不同位移的各版本之間可能只有很小相關(guān)性或者甚至沒(méi)有相關(guān)性，從而抑制了通過(guò)這種方式的運(yùn)動(dòng)檢測(cè)。已經(jīng)知道幾種運(yùn)動(dòng)估計(jì)方法。這些方法包括1.梯度方法在其最簡(jiǎn)單的形式下，該技術(shù)假設(shè)在局部區(qū)域上的恒定亮度梯度，以便利用線性(直線)關(guān)系把像素或小塊平均亮度的改變轉(zhuǎn)換成運(yùn)動(dòng)。2.基于塊的方法該方法通常涉及到視頻序列中的兩個(gè)或更多連續(xù)幀之間的塊匹配，以便建立正確的位移。所使用的匹配標(biāo)準(zhǔn)是最小像素差度量，通常是相應(yīng)塊之間的MSE(均方誤差)。3傅里葉變換方法該技術(shù)通常與基于塊的方法相同，但是使用傅里葉變換來(lái)計(jì)算二維中的旋轉(zhuǎn)巻積。這樣顯著減少了在大區(qū)域上計(jì)算塊搜索結(jié)果所需要的計(jì)算工作量?；趬K的方法在操作中是通用的(也就是說(shuō)，基于塊的搜索的結(jié)果應(yīng)當(dāng)與應(yīng)用了傅立葉方法之后的結(jié)果相同)，并且與由梯度方法相關(guān)聯(lián)的假設(shè)所支持的梯度方法相比，產(chǎn)生在數(shù)學(xué)上更為精確的結(jié)果。在本實(shí)施例中使用塊匹配的方法，但是應(yīng)當(dāng)認(rèn)識(shí)到，也可以使用其4也方法。然而，所述塊搜索方法的一個(gè)已知缺陷是通過(guò)不正確的MSE最小化搜索的錯(cuò)誤運(yùn)動(dòng)矢量的計(jì)算。發(fā)生這種情況是出于至少三種可能原因1.針對(duì)所述搜索所選擇的塊缺少足夠的細(xì)節(jié)來(lái)確保任何位移都會(huì)產(chǎn)生大于0位移的MSE。2.所述MSE計(jì)算內(nèi)的求和可能會(huì)由于像素差而過(guò)載，從而導(dǎo)致對(duì)于比其他明顯不正確的位移更加接近真實(shí)情況的塊位移卻報(bào)告了更大的誤差。3.針對(duì)所述搜索所選擇的塊發(fā)生自相關(guān)，從而產(chǎn)生了比利用該塊的真實(shí)幀間矢量位移所能獲得的MSE更低的(幀內(nèi))MSE。在本實(shí)施例中利用針對(duì)每種情況的特定技術(shù)來(lái)解決上述可能錯(cuò)誤。參照?qǐng)D8a到8c,多相內(nèi)插是用來(lái)分析連續(xù)幀之間的子像素運(yùn)動(dòng)的方法，所述子像素運(yùn)動(dòng)的產(chǎn)生是由生成隔行掃描場(chǎng)的處理所導(dǎo)致的原始源圖像的非整數(shù)像素移位的結(jié)果。用于子塊MSE搜索的多相內(nèi)插可以被視為一種在計(jì)算上高效的方法，其首先通過(guò)應(yīng)用原始帶寬約束把樣本插入到數(shù)據(jù)序列中，并且其次選擇具有所期望的子像素移位的規(guī)則樣本組?？梢詮膱D8a到8c的示意圖導(dǎo)出一種多相內(nèi)插方法。圖8a示意性地示出了原始離散時(shí)間采樣的信號(hào)。圖8b示意性地示出了經(jīng)過(guò)填零的圖8a的原始信號(hào)。換句話說(shuō)，已經(jīng)在圖8a的信號(hào)的"真實(shí)"樣本之間(至少在概念上)插入了零值樣本。圖8c示意性地示出了已^J慮波以便重新應(yīng)用所述原始帶寬約束(即圖8a的信號(hào)帶寬)的圖8b的信號(hào)。假設(shè)所述原始信號(hào)和濾波器都是在實(shí)例0+nT時(shí)采樣的離散時(shí)間系列，其中n-O,1,2等等。出于簡(jiǎn)化本分析的目的，進(jìn)行丁=1的替換以對(duì)采樣周期進(jìn)行歸一化。首先對(duì)被稱作x(n)(由于T=l因此不是x(nT))的原始信號(hào)進(jìn)行填零，以便反應(yīng)內(nèi)插比。例如，按照因數(shù)N的內(nèi)插需要在原始(真實(shí))樣本之間插入N-1個(gè)O,以便產(chǎn)生N乘以原始長(zhǎng)度的樣本序列長(zhǎng)度。經(jīng)過(guò)填零的輸入序列與應(yīng)用原始帶寬約束(現(xiàn)在是第N帶)的(長(zhǎng)度L+1)濾波器h(n)的巻積產(chǎn)生結(jié)果序列y(n):y(0)-x(0)h(0);y(l)-x,);y(N-l)-l)h(O)...y(N)=x(N)h(O)+x(O)h(N)+...很明顯，y(O)、y(N)、y(2N)等等結(jié)果被計(jì)算為x(n)與濾波器系數(shù)h(O)、h(N)、h(2N)等等的巻積。類似地，y(l)、y(N+l)、y(2N+l)等等被計(jì)算為與濾波器系數(shù)h(l)、h(N+l)、h(2N+l)等等的巻積?？梢匀鐖D9中所示以在各系數(shù)組P之間進(jìn)行選擇的示意性轉(zhuǎn)接器300的形式來(lái)表示這些簡(jiǎn)式計(jì)算。所述轉(zhuǎn)接器選擇所需要的子像素相位。這種操作得到了效率，因?yàn)閮H僅需要計(jì)算提供該特定結(jié)果所需的乘法和加法。一般來(lái)說(shuō)，由于經(jīng)過(guò)填零的原始樣本序列^^見為具有原始能量的l/N，因此在輸出處施加增益因子N。在所述塊匹配算法中，在垂直和水平方向上都使用所述多相計(jì)算。因此，以子像素分辨率生成所述運(yùn)動(dòng)矢量。以像素計(jì)的最大搜索范圍(即一場(chǎng)內(nèi)的塊與另一場(chǎng)內(nèi)的塊之間的最大測(cè)試位移)被轉(zhuǎn)換成其所表示的子像素的數(shù)目。對(duì)于任何給定的距離0的偏移量，所需的相位是以子像素測(cè)量的該移位除以內(nèi)插比所得到的模數(shù)。以像素計(jì)的絕對(duì)位移是該移位除以內(nèi)插比的整數(shù)除法。使用一種可變塊尺寸選擇方法來(lái)進(jìn)行魯棒的基于幀的運(yùn)動(dòng)估計(jì)。在水平(上例中是X)和垂直(上例中是Y)方向上為每個(gè)塊分配最小和最大的2的乘方的尺寸。在開始時(shí)，所有塊的尺寸都^皮設(shè)置成2的預(yù)定最大乘方(例如5,則給出25個(gè)像素的最大塊尺寸)，但是用所述幀的外部尺度(dimesion)作為約束，以使得可以從開始在X和/或Y中減小塊尺寸以確保邊緣適配?；诶肧obel算子檢測(cè)及測(cè)量的邊緣內(nèi)容，進(jìn)行把每個(gè)塊垂直地或水平地(后者優(yōu)先)分成兩半的迭代處理?？偟脑硎侨绻l(fā)現(xiàn)塊包含多于所期望的邊緣內(nèi)容，則劃分該塊(服從最小塊尺寸一參見以下內(nèi)容)。所述Sobel算子采取兩個(gè)單獨(dú)的二維3*3系數(shù)濾波器的形式并且作為兩個(gè)單獨(dú)的二維3*3系數(shù)濾波器而應(yīng)用。首先，在下面左側(cè)示出的Gx檢測(cè)垂直邊緣，其次，在下面右側(cè)示出的Gy檢測(cè)水平邊緣。<table>tableseeoriginaldocumentpage12</column></row><table>由于Gx和Gy的系數(shù)值范圍，在與0到1的范圍內(nèi)的圖像數(shù)據(jù)巻積時(shí)，這些濾波器展現(xiàn)出+4到-4的最大增益。因此，首先通過(guò)除以4把通過(guò)應(yīng)用這些濾波器而獲得的結(jié)果歸一化到-1到+1的范圍。(作為替換方案，可以在所述Sobel算子中使用歸一化的系數(shù))圖10示出了對(duì)之應(yīng)用了當(dāng)前技術(shù)的某種技術(shù)的源視頻序列的一個(gè)圖像。所述源視頻序列實(shí)際上是從4096*1696像素基本圖像開始人為地生成的。應(yīng)用了模擬攝影機(jī)搖攝的整像素移位，以便使這種圖像的序列產(chǎn)生運(yùn)動(dòng)。通過(guò)第n帶濾波和利用相同因數(shù)的后續(xù)子采樣獲得最終輸出場(chǎng)，其中n=8的值提供512*212像素的最終尺寸。因此，所述源視頻序列中的每個(gè)場(chǎng)涉及到相對(duì)于各相鄰場(chǎng)的運(yùn)動(dòng)，并且還表示所述基本圖像經(jīng)過(guò)子采樣的版本。通過(guò)依次取得每個(gè)算子的(即Gx的和Gy的)結(jié)果的絕對(duì)值并且僅僅接受0.2及以上的絕對(duì)(歸一化)值(即應(yīng)用0.2的"大于"闊值)，把Gx和Gy應(yīng)用于圖10中示出的源圖像將產(chǎn)生圖11和12中所示的兩個(gè)邊緣檢測(cè)圖像。特別地，圖11示意性地示出了利用Gx算子檢測(cè)到的邊緣，圖12示意性地示出了利用Gy算子檢測(cè)到的邊緣。因此，像素被識(shí)別且標(biāo)記為"邊緣"像素。對(duì)于提出以在塊匹配中使用的每個(gè)像素塊，對(duì)所檢測(cè)到的(具有最小歸一化量值0.2的)邊緣像素的總計(jì)數(shù)進(jìn)行進(jìn)一步的閾值測(cè)試，以便確定是否可以分割該塊。在概念上把每個(gè)塊細(xì)分成4個(gè)四分之一(垂直及水平地一分為二)。如果每個(gè)四分之一包含大于或等于所述預(yù)定最小(不可分)塊尺寸的像素?cái)?shù)的水平和垂直邊緣像素計(jì)數(shù)，則接受所述塊劃分。然而，如果僅僅水平計(jì)數(shù)不足，則合并四分之一塊邊界，并且接受垂直的一分為二。最后，如果僅僅垂直計(jì)數(shù)不足，則合并四分之一塊邊界并且接受水平的一分為二。如果所述兩個(gè)計(jì)數(shù)都不足，則不對(duì)該塊進(jìn)行劃分，這標(biāo)記每一種情況下的停止標(biāo)準(zhǔn)。當(dāng)不再有細(xì)分時(shí)就完成了塊匹配映射。將該技術(shù)應(yīng)用到具有圖11和12中所示的邊緣闊值結(jié)果的圖10所示的圖像，結(jié)果得到圖13中示意性地示出的塊劃分才莫式。為了防止或者至少避免被用來(lái)評(píng)估塊相似度的均方誤差計(jì)算返回錯(cuò)誤的最小值，采用像素差限制來(lái)防止真實(shí)情況(groundtruth)周圍的小范圍內(nèi)的塊位移的總和出現(xiàn)飽和。在等式1中示出了用在塊匹配中的標(biāo)準(zhǔn)MSE計(jì)算。在等式l中，塊尺寸是1SPM像素，其在一幀中被索引為Ax,y并且在下一幀中被索引為Bx+j,y+k,其中，j和k是在所述最小化搜索期間應(yīng)用的全部像素水平和垂直位移。當(dāng)然，Bx+j,y+k指代根據(jù)利用圖9導(dǎo)出的那些圖像相位以及對(duì)于該分析所需要的(以子像素計(jì)的)實(shí)際位移的才莫等式l數(shù)的適當(dāng)圖像相位。如等式2所示，利用限制每像素的總體誤差的計(jì)算來(lái)替換上述內(nèi)核差值計(jì)算在等式2中，q是適當(dāng)?shù)某?shù)。對(duì)于范圍0...1內(nèi)的圖像數(shù)據(jù)，已經(jīng)發(fā)現(xiàn)q=l(T2的值工作良好。已經(jīng)發(fā)現(xiàn)，按照這種方式限制像素差在由所述塊搜索生成的完整二維誤差表面上提供了真實(shí)情況位移的更高清晰度和更大區(qū)別。為了防止或者至少減少所述塊搜索方法的錯(cuò)誤(或"劣種(rogue)")矢量生成，可以通過(guò)塊幀內(nèi)(自動(dòng))校正獲得對(duì)于出現(xiàn)劣種結(jié)果的可能性的提前警告。為了應(yīng)用這種技術(shù)，首先在相同圖像中的所需范圍內(nèi)執(zhí)行塊搜索。記錄最小MSE。隨后按照先前那樣在第二幀內(nèi)執(zhí)行塊搜索，然而，如果所記錄的最小MSE大于所述幀內(nèi)MSE，則丟棄從所述搜索中解析的矢量。還可以通過(guò)〗吏用幀內(nèi)相關(guān)結(jié)果來(lái)應(yīng)用最大MSE標(biāo)準(zhǔn)。通過(guò)僅^又允許在X和Y上的至少一個(gè)子像素的位移，可以獲得針對(duì)可置信匹配的最差可允許MSE的度量。于是當(dāng)所解析的位移(運(yùn)動(dòng)矢量)應(yīng)當(dāng)理想地處在距離真實(shí)情況的一個(gè)子像素之內(nèi)時(shí)，所述最大MSE標(biāo)準(zhǔn)是針對(duì)任何幀間MSE的上限。在圖14中示出了根據(jù)所描述的劣種矢量消除方法的每個(gè)矢量的有效性，其中僅僅給出了所述算法證實(shí)提供了真實(shí)運(yùn)動(dòng)估計(jì)結(jié)果的那些塊的框線(outline)?，F(xiàn)在將描述利用所述廣義采樣定理對(duì)所述隔行到逐行幀變換方法應(yīng)用運(yùn)動(dòng)矢量估計(jì)的其他技術(shù)。上面已經(jīng)描述了魯棒的基于幀的運(yùn)動(dòng)矢量估計(jì)。然而，在本發(fā)明中，不存在的正是幀數(shù)據(jù)，并且需要利用所述GST來(lái)重建所述幀數(shù)據(jù)。在沒(méi)有準(zhǔn)完美的運(yùn)動(dòng)矢量來(lái)將來(lái)自一場(chǎng)的像素位置恢復(fù)到另一場(chǎng)中并檢測(cè)用于GST濾波器選擇的相位對(duì)準(zhǔn)的情況下，就不能產(chǎn)生幀數(shù)據(jù)。幀數(shù)據(jù)等式2或者完美的運(yùn)動(dòng)矢量都不可能在沒(méi)有對(duì)方的情況下存在，但是二者又都難以首先導(dǎo)出。一種選項(xiàng)是基于場(chǎng)的運(yùn)動(dòng)估計(jì)。不幸的是，場(chǎng)數(shù)據(jù)存在混疊，這是由于從逐行格式的變換中的2:1子采樣或者是由于利用隔行格式生成源素材以供隨后顯示的捕獲設(shè)備的固有工作而導(dǎo)致的。由于所選擇的表示可能自然地在一個(gè)樣本組內(nèi)排除了在另一個(gè)樣本組內(nèi)很明顯的某些或全部特征，因此子采樣并未提供圖像數(shù)據(jù)塊將與另一個(gè)圖像中的任何推測(cè)相同的塊完全匹配的保證。然而，存在至少一些數(shù)據(jù)將以同樣的方式混疊的一定的可能性，并且將獲得具有正確的位移的場(chǎng)間匹配。關(guān)于為了確保魯棒的基于幀的運(yùn)動(dòng)估計(jì)所做出的三種改進(jìn)，并不是所有這些改進(jìn)都應(yīng)用于基于場(chǎng)的估計(jì)。首先，場(chǎng)數(shù)據(jù)可能是按照排除來(lái)自一個(gè)或更多區(qū)域的重要細(xì)節(jié)的方式進(jìn)行采樣的結(jié)果，而在實(shí)際情況中(或者在時(shí)間上靠后的另一個(gè)場(chǎng)實(shí)例中)該細(xì)節(jié)是存在的。因此，對(duì)于可變塊尺寸選擇使用細(xì)節(jié)分析并不適用于場(chǎng)數(shù)據(jù)。然而，修改所述MSE計(jì)算內(nèi)核以防止由于大的像素差而造成的誤差和上溢對(duì)于場(chǎng)數(shù)據(jù)是有效的。最佳情況是場(chǎng)不包含由于原始信號(hào)內(nèi)容的性質(zhì)而產(chǎn)生的混疊偽像；因此，對(duì)所述內(nèi)核計(jì)算的修改增強(qiáng)了所述搜索方法辨識(shí)可歸因于真實(shí)位移矢量的最小誤差的能力。劣種矢量避免技術(shù)同樣對(duì)于場(chǎng)數(shù)據(jù)是有效的。該技術(shù)是對(duì)所述塊搜索算法的補(bǔ)充，但只有在沒(méi)有嚴(yán)重混疊的情況下才能提高場(chǎng)的性能。對(duì)于嚴(yán)重混疊的場(chǎng)，所述塊搜索算法可能如前面已經(jīng)討論的那樣失敗的基本原因在于保留所述MSE內(nèi)核修改，或者劣種矢量消除方法將不會(huì)在這些條件下進(jìn)一步惡化性能。下面描述了基于場(chǎng)的運(yùn)動(dòng)估計(jì)算法，其中最初是通過(guò)細(xì)節(jié)分析替換塊選擇，并且隨后是通過(guò)使得該技術(shù)在基于場(chǎng)的系統(tǒng)中更為成功而進(jìn)一步增強(qiáng)。在所述GST運(yùn)動(dòng)估計(jì)算法中，用于基于場(chǎng)的MSE搜索的塊尺寸可以從某一最大初始尺寸開始在X和Y中以2的乘方的除法而改變。然而，這些除法受到可允許像素面積的控制，在所述可允許像素面積以下，所述塊不能收縮。該方法支持在X或Y中不是任何2的乘方倍數(shù)的難應(yīng)對(duì)的圖像尺寸，同時(shí)確保在所述塊匹配計(jì)算中包括足夠的像素?cái)?shù)目，以便實(shí)現(xiàn)所期望的相關(guān)結(jié)果精度(即所述MSE最小值是真實(shí)情況位移)。對(duì)應(yīng)于塊尺寸的起始值在X和Y中通常高達(dá)26,但是具有2048像素的總體初始最小面積值。小到X和Y中的22的最終塊尺寸受到25像素的最小面積的支持。用于所述GST的運(yùn)動(dòng)估計(jì)包括針對(duì)代表性運(yùn)動(dòng)的場(chǎng)間塊搜索、針對(duì)塊相似7復(fù)的場(chǎng)內(nèi)搜索以及幀間塊位移驗(yàn)、證。正如下面將討論的那樣，所述算法的全部?jī)杉?jí)都被實(shí)現(xiàn)來(lái)支持可變塊尺寸。對(duì)場(chǎng)數(shù)據(jù)應(yīng)用子像素運(yùn)動(dòng)矢量搜索算法生成圍繞真實(shí)情況矢量的運(yùn)動(dòng)矢量分布，即使在包括MSE內(nèi)核計(jì)算修改和劣種矢量去除技術(shù)時(shí)也是如此。這完全是由于場(chǎng)間的圖像數(shù)據(jù)的混疊以及缺乏可重復(fù)性而導(dǎo)致的。例如，其中連續(xù)圖像分別在每幀9和3子像素(在本例中是1/8像素)的速率下在X和Y中^^皮移位的測(cè)試序列生成表1中的如下運(yùn)動(dòng)矢量分布。<table>tableseeoriginaldocumentpage17</column></row><table>從表l中可以看出，最適合的矢量是X,Y二18,3,該矢量實(shí)際上是正確的。在相同類型的(偶數(shù)或奇數(shù))場(chǎng)之間應(yīng)用基于場(chǎng)的運(yùn)動(dòng)估計(jì)，這意味著在從中生成這些場(chǎng)的幀之間，在X和Y中的運(yùn)動(dòng)實(shí)際上要加倍。然而，由于僅僅使用場(chǎng)線的集合，因此該加倍隨后在Y中被減半，并且僅僅X被實(shí)際報(bào)告為實(shí)際運(yùn)動(dòng)的兩倍。因此，用來(lái)建立場(chǎng)的幀間的X和Y中的9和3^象素的位移祐」險(xiǎn)測(cè)為18和3-像素的位移。在該例中，合成的僅有搖攝(panning-only)的運(yùn)動(dòng)確保;險(xiǎn)測(cè)到一個(gè)主導(dǎo)矢量。然而，實(shí)際的場(chǎng)間運(yùn)動(dòng)可能要復(fù)雜得多。一般來(lái)說(shuō)，按照支持候選運(yùn)動(dòng)矢量的塊數(shù)的順序?qū)λ龊蜻x運(yùn)動(dòng)矢量進(jìn)行排序，并且可以按照受歡迎度的順序選擇一個(gè)或更多矢量以用于進(jìn)一步處理和驗(yàn)證。對(duì)通過(guò)場(chǎng)搜索獲得的候選運(yùn)動(dòng)矢量進(jìn)行驗(yàn)證，以便確保其有效性(或者至少增大其有效的可能性)。用在本實(shí)施例中的方法涉及到利用所述GST從兩個(gè)相繼場(chǎng)(跟在偶數(shù)場(chǎng)之后的奇數(shù)場(chǎng)或者反之亦然)反復(fù)地重建幀。用于重建的所述運(yùn)動(dòng)矢量是從基于場(chǎng)的運(yùn)動(dòng)估計(jì)獲得的，并且按照受歡迎度的順序排序的運(yùn)動(dòng)矢量。一旦重建了兩個(gè)連續(xù)幀之后，就采用基于塊的匹配來(lái)驗(yàn)證每個(gè)矢量的正確性。用于匹配的塊尺寸是可變的，并且其是基于前面對(duì)于場(chǎng)塊尺寸選擇所描述的固定面積標(biāo)準(zhǔn)。有用的是假設(shè)正在被驗(yàn)證的運(yùn)動(dòng)在4個(gè)場(chǎng)上是恒定的?？梢园褟囊粋€(gè)場(chǎng)對(duì)匹配獲得的矢量與來(lái)自下一場(chǎng)對(duì)匹配的矢量相組合，從而形成所述濾波處理的第一級(jí)。例如，如果矢量不受到來(lái)自每個(gè)場(chǎng)對(duì)的至少一塊的支持，則丟棄該矢量。圖15示意性地示出了矢量^S正的總體處理。在所述4場(chǎng)序列內(nèi)的相同類型(偶數(shù)或奇數(shù))的場(chǎng)之間生成候選運(yùn)動(dòng)矢量。組合這些矢量列表、按照受歡迎度進(jìn)行排序以及閾值丟棄沒(méi)有出現(xiàn)至少兩次(例如在每一場(chǎng)對(duì)之間出現(xiàn)一次)的條目都有助于建立一組具有優(yōu)先級(jí)的矢量，這樣確保所述用于幀重建的GST成功。一旦所述GST利用相同類型的相鄰場(chǎng)重建了兩幀之后，被用于該事例的場(chǎng)矢量就是在與另一幀相比時(shí)被應(yīng)用于在一幀內(nèi)映射的各塊的場(chǎng)矢量。所述匹配標(biāo)準(zhǔn)是MSE優(yōu)于具有大于或等于一個(gè)子像素位移的塊的任何幀內(nèi)(自)相關(guān)。這可以被視為與正在被驗(yàn)證的塊內(nèi)的視頻的能量和復(fù)雜度相關(guān)的閾值，并且意味著為了使得幀間塊匹配成功，由所述GST正在使用的運(yùn)動(dòng)矢量的正確程度必須在一個(gè)子像素之內(nèi)。除了細(xì)節(jié)最少的塊之外，該驗(yàn)證闊值對(duì)所有其他塊都工作良好，在所述細(xì)節(jié)最少的塊中，幀內(nèi)誤差較小，并且由所述GST計(jì)算所導(dǎo)致的偽像超出所述幀內(nèi)誤差。驗(yàn)證運(yùn)動(dòng)矢量的塊被提交給最終輸出幀結(jié)果。隨后可以對(duì)于下一個(gè)最適合的矢量參照從場(chǎng)分析獲得的所述候選運(yùn)動(dòng)矢量列表，并且所述處理重復(fù)，直到利用由所述最小面積約束給出的塊尺寸導(dǎo)出所述輸出幀的最大可能比例。上面描述的對(duì)于運(yùn)動(dòng)矢量的接受標(biāo)準(zhǔn)往往會(huì)留下一定比例的重建幀塊未經(jīng)驗(yàn)證。由自(幀內(nèi))相關(guān)設(shè)置的MSE閾值是特別嚴(yán)格的，并且往往會(huì)在以下情況下拒絕塊1、在所述塊區(qū)域內(nèi)的源幀細(xì)節(jié)特別低，從而生成非常小的自相關(guān)MSE，其中不管所述GST重建有多好都無(wú)法通過(guò)幀間相關(guān)而使其變得更好。2、源幀在正在被分析的塊區(qū)域內(nèi)具有復(fù)雜運(yùn)動(dòng)(多于一個(gè)代表性矢量)。由于所顯現(xiàn)的或所覆蓋的像素，在幀間將不會(huì)獲得良好的塊匹配(參見下面對(duì)圖18a到18e的討論)。3、作為上面的(2)的特殊情況，位于幀的邊緣處的塊由于搖攝運(yùn)動(dòng)遭受當(dāng)前像素的損失并且獲得新像素，并且與其他幀中的塊無(wú)法良好匹配。通過(guò)塊尺寸減小，可以在一定程度上應(yīng)對(duì)所有上述問(wèn)題。在上面的(2)和(3)的情況下，更小的塊將更好地適配于可以通過(guò)單一矢量描述其運(yùn)動(dòng)的幀的一部分，從而可以細(xì)化對(duì)象和背景區(qū)域直到(但不包括)其輪廓。于是，對(duì)應(yīng)于基于場(chǎng)的運(yùn)動(dòng)估計(jì)和基于幀的運(yùn)動(dòng)驗(yàn)證的最小塊面積被減小，并且重復(fù)上述處理。當(dāng)前在本實(shí)施例中允許小到16像素(4像素的X和Y維度)的最小塊面積。從大到小的塊面積選擇背后的原理如下。在開始于大約2048像素的最大塊面積時(shí)，獲得最精確的基于場(chǎng)的運(yùn)動(dòng)估計(jì)和基于幀的運(yùn)動(dòng)驗(yàn)證。隨后應(yīng)對(duì)可能更易受不代表真實(shí)情況位移的MSE最小值影響的更小塊，從而更好地隱藏任何小重建誤差。在每一輪的基于幀的矢量驗(yàn)證完成之后，從所述塊選擇當(dāng)中排除任何解析的畫面區(qū)域，以便如下利用更小的塊面積進(jìn)行基于場(chǎng)的候選運(yùn)動(dòng)矢量生成。構(gòu)造一個(gè)未解析幀像素的掩模，并且通過(guò)進(jìn)行簡(jiǎn)單的子采樣垂直進(jìn)行因數(shù)為2的取樣。對(duì)于下一輪的候選矢量生成，該掩才莫被覆蓋到場(chǎng)數(shù)據(jù)上。完成度高于90%的任何場(chǎng)塊都被從所述分析中排除，這是因?yàn)榭赡芾盟龇治鼋馕龅娜魏问噶慷家呀?jīng)被解析出來(lái)了。不以低于所決定的閾值的MSE重建的其他塊區(qū)域，是由于全局搖攝運(yùn)動(dòng)(點(diǎn)3以上)而發(fā)生了新像素增加和當(dāng)前像素?fù)p失的沿著所述幀的底部邊緣和左側(cè)邊緣的塊區(qū)域。利用經(jīng)過(guò)半帶內(nèi)插的現(xiàn)有場(chǎng)像素來(lái)替換具有未解析的運(yùn)動(dòng)的像素。平塊區(qū)域缺少高頻細(xì)節(jié)，而所述高頻細(xì)節(jié)則可能在其他情況下構(gòu)成混疊。在最終輸出圖像中，所述平塊區(qū)域的經(jīng)過(guò)內(nèi)插的相對(duì)物通常在主觀上是不可^f企測(cè)的。一般來(lái)說(shuō)，并且僅僅通過(guò)舉例的方式，到此所描述的總體運(yùn)動(dòng)估計(jì)算法可以被闡述為如下的步驟列表。對(duì)于從最大運(yùn)動(dòng)矢量檢測(cè)塊尺寸向下到最小運(yùn)動(dòng)矢量檢測(cè)塊尺寸的連續(xù)塊尺寸執(zhí)行這些步驟。1、利用場(chǎng)0與2之間的最低MSE匹配標(biāo)準(zhǔn)對(duì)于所有塊位置生成運(yùn)動(dòng)矢量列表，其中丟棄任何劣種矢量，對(duì)于所述劣種矢量來(lái)說(shuō)，其場(chǎng)內(nèi)相似度優(yōu)于在所述塊搜索期間找到的任何非零場(chǎng)間相似度。2、關(guān)于場(chǎng)1與3重復(fù)步驟1.3、合并所述兩個(gè)矢量列表。去除沒(méi)有在所合并的列表中出現(xiàn)至少兩次的矢量(即在任一列表中出現(xiàn)兩次或者在全部?jī)蓚€(gè)列表中出現(xiàn)一次)。4、按照矢量受歡迎度對(duì)所述列表進(jìn)行排序(出現(xiàn)頻率最高的矢量?jī)?yōu)先)。5、對(duì)于所述列表順序中的每個(gè)矢量5.1、利用場(chǎng)0作為當(dāng)前場(chǎng)以及場(chǎng)2作為運(yùn)動(dòng)補(bǔ)償場(chǎng)并且利用來(lái)自所述合并的排序后的列表的所選矢量，重建測(cè)試輸出圖像。5.2、重復(fù)步驟5.1,但是使用場(chǎng)1作為當(dāng)前場(chǎng)以及場(chǎng)3作為運(yùn)動(dòng)補(bǔ)償場(chǎng)。5.3、對(duì)于從最大驗(yàn)證塊尺寸向下到最小驗(yàn)證塊尺寸的連續(xù)塊尺寸5.3.1、利用對(duì)應(yīng)于從場(chǎng)0和2產(chǎn)生的測(cè)試輸出圖像中的該塊的一個(gè)子像素的位移，獲得圖像內(nèi)匹配閾值塊相似度度量。5.3.2、匹配/人場(chǎng)0和2產(chǎn)生的測(cè)試輸出幀與乂人場(chǎng)1和3產(chǎn)生的測(cè)試輸出幀之間的塊。5.3.3、如果所述測(cè)試幀間匹配優(yōu)于所述幀內(nèi)閾值，則接受所述矢量，并且把由利用場(chǎng)0和2產(chǎn)生的測(cè)試輸出幀中的塊所覆蓋的區(qū)域提交到最終輸出圖像。因此，運(yùn)動(dòng)生成和運(yùn)動(dòng)驗(yàn)證級(jí)獨(dú)立地工作并且都使用可變塊尺寸(從大約2048[高達(dá)64*32]像素的面積開始，并且小到4像素[例如2*2]結(jié)束)，所述可變塊尺寸反復(fù)地除以2以進(jìn)行尺寸減小。對(duì)于在更小塊尺寸下的后續(xù)運(yùn)動(dòng)矢量驗(yàn)證，在所述運(yùn)動(dòng)矢量驗(yàn)證的結(jié)果的反饋中使用重疊規(guī)則。需要這樣做的原因在于，由于在不同塊尺寸下的成功驗(yàn)證可能會(huì)存在最終輸出圖像的復(fù)雜區(qū)域，甚至在下一個(gè)可變塊尺寸被用來(lái)生成更多運(yùn)動(dòng)矢量之前也是如此。在所述最終輸出圖像中被驗(yàn)證的任何塊都被如此標(biāo)記。生成所述掩^t的"場(chǎng)尺寸"的表示，即幀掩才莫的經(jīng)過(guò)垂直子采樣的版本，其中如果已經(jīng)驗(yàn)證了對(duì)應(yīng)于該像素的運(yùn)動(dòng)(即，該像素是已經(jīng)被驗(yàn)證的塊的部分)，則所述幀掩模中的每個(gè)位置是"1"(在本例中)，如果沒(méi)有驗(yàn)證則是"0"。隨后使用所述場(chǎng)尺寸的掩^^莫來(lái)排除對(duì)應(yīng)于下一塊尺寸運(yùn)動(dòng)矢量生成的場(chǎng)的區(qū)域。在下一運(yùn)動(dòng)矢量生成塊尺寸下，如果某一塊與所述已經(jīng)驗(yàn)證的輸出像素掩模的重疊程度超過(guò)90%,則不使用該塊來(lái)生成運(yùn)動(dòng)矢量。這樣，隨著所述輸出幀的剩余部分被解析/驗(yàn)證，場(chǎng)間的后續(xù)運(yùn)動(dòng)矢量池應(yīng)當(dāng)收斂到未解析的圖像區(qū)域的運(yùn)動(dòng)。其意圖是使得主導(dǎo)運(yùn)動(dòng)總是處在所述合并的候選運(yùn)動(dòng)矢量列表的頂部。特別在嘗試?yán)脻撛诘鼗殳B的場(chǎng)數(shù)據(jù)估計(jì)運(yùn)動(dòng)時(shí)，從更大面積開始通常會(huì)生成要求后續(xù)驗(yàn)證的更為精確的矢量。這是從大塊開始的主要原因。在大約相同尺寸或小于該塊的對(duì)象中的運(yùn)動(dòng)可能未^皮;險(xiǎn)測(cè)到一因此需要減小所述塊尺寸。下面將描述圖3的設(shè)備的各詳細(xì)方面。圖16示意性地示出了半帶濾波方法。在圖16中，通過(guò)陰影行410來(lái)表示已知像素行，并且通過(guò)白色行410來(lái)表示經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)南袼匦小３颂囟ㄏ袼?20之外，假設(shè)所有的像素都已被成功地運(yùn)動(dòng)補(bǔ)償。將要執(zhí)行水平和垂直相位(子像素位置)校正。作為上述方法的一部分，將必須對(duì)與缺失像素420相鄰(或者至少在其半濾波器長(zhǎng)度內(nèi))的像素(例如像素440)進(jìn)行水平相位校正。如上所述，為了應(yīng)用所述水平相位校正，使用多相濾波器。但是這種濾波器將需要對(duì)應(yīng)于像素420的值以作為它的其中一項(xiàng)輸入。不存在這種值，因此在能夠?qū)Ω浇袼剡M(jìn)行相位校正之前必須生成一個(gè)這種值。在沒(méi)有這種值的情況下，對(duì)相鄰或附近像素440的相位校正將是不正確的。這種類型的錯(cuò)誤將被后續(xù)的垂直相位校正放大，并且可能會(huì)導(dǎo)致在輸出幀上出現(xiàn)主觀上有干擾的偽像。因此，找到對(duì)應(yīng)于像素420的良好隱藏值將是適當(dāng)?shù)摹＿@一點(diǎn)是如下實(shí)現(xiàn)的。首先，使用垂直半帶內(nèi)插來(lái)生成布置在像素420周圍的一行垂直內(nèi)插的像素值，所述垂直內(nèi)插的像素值的數(shù)目對(duì)于所述水平多相濾波器的每個(gè)抽頭來(lái)說(shuō)是足夠的。在圖16中通過(guò)垂直虛線框示意性地示出了垂直內(nèi)插濾波器430。每個(gè)垂直內(nèi)插濾波器生成一個(gè)與該像素420處在相同行中的^象素值。應(yīng)當(dāng)注意，行410中的經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)闹祵?duì)于該處理被暫時(shí)擱置；所述垂直半帶濾波器僅僅涉及到行400中的真實(shí)像素值。上面的處理在像素420周圍生成一行半帶內(nèi)插的像素值。這些半帶內(nèi)插的像素值不會(huì)替換該行內(nèi)的任何有效的經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)闹?，而是僅僅被用來(lái)得到對(duì)應(yīng)于該像素420的有用的隱藏值。隨后由多相濾波器對(duì)該組應(yīng)用"反轉(zhuǎn)"水平相移。所述"反轉(zhuǎn)"相移是與將被應(yīng)用于附近或鄰近像素440的相移相等且相反的相移。因此，到該反轉(zhuǎn)相移濾波器的輸入是在像素420附近產(chǎn)生的該組中的所述半帶內(nèi)插的像素。所述反轉(zhuǎn)相移的結(jié)果是對(duì)應(yīng)于該像素420的隱藏像素值。隨后按照正常情況對(duì)于像素440的水平相移使用對(duì)應(yīng)于像素420的該隱藏值。該技術(shù)可以被擴(kuò)展到其中缺失多于一個(gè)像素(在將被水平相移的像素的濾波器尺寸內(nèi))的情況。通過(guò)垂直半帶濾波生成所述缺失像素及其附近的像素。隨后對(duì)其中的每一個(gè)應(yīng)用反轉(zhuǎn)相移。隨后利用所述多相濾波器對(duì)將被相移的該像素進(jìn)行濾波，其中到該濾波器的至少某些輸入是由所述反轉(zhuǎn)相移的像素提供的。隨后可以由所述運(yùn)動(dòng)補(bǔ)償器使用按照這種方式獲得的運(yùn)動(dòng)矢量，以便從一個(gè)或更多場(chǎng)(通常是在時(shí)間上與當(dāng)前場(chǎng)鄰近的一個(gè)或兩個(gè)場(chǎng))獲得缺失的像素。圖17a到17c示意性地示出了GST濾波器設(shè)計(jì)的各方面。特別地，圖17a示意性地示出了隔行信號(hào)的典型的空間頻譜。該場(chǎng)包含高達(dá)場(chǎng)奈奎斯特極限(場(chǎng)釆樣率的一半)的空間頻率，但是由于所述隔行子采樣處理，這些頻率分量當(dāng)中的某一些實(shí)際上將被混疊，正如圖17a中的陰影區(qū)域所示。然而，已經(jīng)注意到，逐行掃描的幀的頻率內(nèi)容常常不會(huì)延伸到幀奈奎斯特極限，這意味著當(dāng)形成所述隔行掃描場(chǎng)時(shí)，所述混疊分量(其圍繞所述場(chǎng)奈奎斯特極限"折疊")往往不會(huì)向下延伸到O頻率。本實(shí)施例可以利用隔行信號(hào)的該特征，應(yīng)當(dāng)注意的是，所述GST空間位置校正濾波器的目的是減輕混疊效應(yīng)。在其中不存在混疊的頻率區(qū)域內(nèi)，應(yīng)用所述GST校正可能是不必要甚至不適當(dāng)?shù)?。圖17b示意性地示出了低通("LP")-高通("HP")濾波器響應(yīng)，其中，高達(dá)所述場(chǎng)奈奎斯特極限的頻率范圍被劃分成低頻區(qū)域和高頻區(qū)域?；诮?jīng)驗(yàn)試驗(yàn)，這兩個(gè)區(qū)域之間的交叉點(diǎn)在本實(shí)施例中被設(shè)置到所述場(chǎng)奈查斯特極限的大約20%。因此，一般來(lái)說(shuō)，預(yù)期所述低頻區(qū)域往往將不會(huì)包含任何混疊頻率分量，而所述高頻區(qū)域?qū)殳B頻率分量。在圖17b中示出的濾波器響應(yīng)被應(yīng)用于所述GST濾波器對(duì)之進(jìn)行操作的像素。對(duì)所述高頻區(qū)域進(jìn)行GST空間位置校正，而不對(duì)所述低頻區(qū)域進(jìn)行所述校正。隨后把所述兩個(gè)區(qū)域加回到一起。在經(jīng)-瞼測(cè)試中發(fā)現(xiàn)這一做法可以改進(jìn)總體系統(tǒng)的信噪比響應(yīng)。圖17c示意性地示出了用于實(shí)現(xiàn)所述濾波和部分校正技術(shù)的一種設(shè)置。特別地，圖17c的設(shè)置示出了在已經(jīng)實(shí)施了所述運(yùn)動(dòng)補(bǔ)償處理以從其極性與當(dāng)前場(chǎng)相反的場(chǎng)生成經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)南袼刂蟮那闆r。參照當(dāng)前場(chǎng)像素，在上采樣器500處以因數(shù)2對(duì)這些像素進(jìn)行上采樣。使用上采樣的原因在于，低頻/非混疊分量被用來(lái)產(chǎn)生幀。該處理實(shí)際上是上采樣和濾波處理——在所述實(shí)現(xiàn)方式中該處理被實(shí)施為內(nèi)插，其中對(duì)所使用的濾波器應(yīng)用所述20%場(chǎng)奈奎斯特頻率響應(yīng)。隨后把經(jīng)過(guò)上采樣的像素并行提供到低通濾波器510和補(bǔ)償延遲元件520。該低通濾波器510生成圖17b中所示的低頻區(qū)域。該低頻區(qū)域-波傳遞到下采樣器530并且從該處^L傳遞到加法器540。還通過(guò)減法器550從所述原始信號(hào)的經(jīng)過(guò)延遲的版本中減去所述濾波器510的低頻輸出。這樣生成了所述高頻區(qū)域，該高頻區(qū)域被下采樣器560下采樣，其結(jié)果被傳遞到GST校正濾波器570。關(guān)于所述經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)南袼兀@些像素遵循經(jīng)由上采樣器580、低通濾波器590、補(bǔ)償延遲600、減法器610和下采樣器620的類似路徑，從而所述經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)南袼氐母哳l分量被傳遞到所述GST濾波器570。所述GST濾波器的輸出被加法器540加回到所述當(dāng)前場(chǎng)像素的低頻分量中。應(yīng)當(dāng)注意到，一般來(lái)說(shuō)，從所述已知場(chǎng)獲得低頻分量具有很少的運(yùn)動(dòng)或者沒(méi)有運(yùn)動(dòng)。通過(guò)所述位置校正濾波器對(duì)來(lái)自所述已知場(chǎng)和所述未知場(chǎng)的高頻貢獻(xiàn)進(jìn)行處理，以便在所需位置處提供像素值。這樣給出了經(jīng)過(guò)相位校正的高頻信息。該高頻信息被加回到所述低頻貢獻(xiàn)中，這基本上是對(duì)所述已知場(chǎng)的垂直內(nèi)插。下面將參照?qǐng)D18a到18c描述用于處理對(duì)象和圖像邊緣以及所顯現(xiàn)的像素的技術(shù)。圖18a示意性地示出了一個(gè)圖像，其中對(duì)象700正在特定方向上移動(dòng)，并且圖像背景正在不同方向上移動(dòng)。圖中示出了示意性的初始?jí)K匹配柵格，其中標(biāo)記出用在所述塊匹配運(yùn)動(dòng)矢量檢測(cè)處理中的初始(最大)塊的位置。即使是對(duì)于圖18a的簡(jiǎn)單情況也可能出現(xiàn)各種潛在問(wèn)題。例如，在對(duì)象700的后沿處，像素將隨著該對(duì)象移動(dòng)通過(guò)而被顯現(xiàn)。由于這種像素不存在于前一場(chǎng)中，因此無(wú)法從該前一場(chǎng)導(dǎo)出這種像素。在所述對(duì)象與背景之間的邊界處，將很難選擇正確的運(yùn)動(dòng)矢量。此外，被應(yīng)用于處在所述邊界處或者與之非常接近的所述GST濾波器將接受來(lái)自所述邊界的另一側(cè)的像素值。因此，意圖通過(guò)對(duì)邊界像素應(yīng)用子像素校正而改進(jìn)所述圖像的濾波器可能實(shí)際上會(huì)由于模糊了對(duì)象700的邊緣而損害了該圖像。如上所述，在所述運(yùn)動(dòng)矢量生成級(jí)中，通常關(guān)于圖像產(chǎn)生各種不同的運(yùn)動(dòng)矢量，但是對(duì)于圖18a的圖像來(lái)說(shuō)，兩個(gè)矢量將是最頻繁地出現(xiàn)的。這兩個(gè)矢量是表示對(duì)象700的運(yùn)動(dòng)的矢量以及表示所述背景的運(yùn)動(dòng)的矢量。在遠(yuǎn)離該對(duì)象700與所述背景之間的邊界處，對(duì)所述矢量的驗(yàn)證應(yīng)當(dāng)是成功的。但是所述驗(yàn)證處理在該邊界處將遭遇困難。圖18b示意性地示出了可以用在如上所述的塊匹配處理中的最小塊匹配柵格。即使是對(duì)于該最小柵格，在所述對(duì)象700及其移動(dòng)背景之間的邊界處仍然存在無(wú)法為其正確地解析運(yùn)動(dòng)矢量的塊(該塊^f皮顯示為黑色正方形)。下面將參照處在所述對(duì)象700與所述背景之間的邊界區(qū)域處的4個(gè)塊。在圖18c到18e中示意性地示出了這些塊。在圖18c中，示出了被應(yīng)用來(lái)校正恰處在所述背景內(nèi)部的像素710的相位的水平多相濾波器720的一個(gè)例子。還示出了^皮應(yīng)用來(lái)校正恰處在所述對(duì)象內(nèi)部的像素730的相位的水平多相濾波器740的另一個(gè)例子。所述濾波器720將被對(duì)象像素(其關(guān)于所述背景將具有不正確的相位)"污染"，并且所述濾波器740將被背景像素(其關(guān)于所述對(duì)象將具有不正確的相位)污染。最好應(yīng)當(dāng)避免此類污染。對(duì)于垂直GST濾波器(在圖18c中未示出)也存在相同的問(wèn)題。有可能使用鏡像處理來(lái)重新使用處在正確區(qū)域(對(duì)象或背景)內(nèi)的像素，從而避免所述污染。圖18d是這種處理的一個(gè)示意性的例子，其中落在所述邊界的"錯(cuò)誤側(cè)"的所述多相濾波器720、740中的抽頭實(shí)際上被應(yīng)用于來(lái)自該邊界的正確側(cè)的像素值。如圖所示，所述鏡像處理關(guān)于所述濾波器中心(即像素710或730)對(duì)稱，但是其反射可以替換地關(guān)于所述邊界對(duì)稱。類似的考慮也適用于垂直GST濾波器。然而不幸的是，這種鏡像處理依賴于所述邊界位于何處的知識(shí)。對(duì)所述邊界的定位要求成功的運(yùn)動(dòng)矢量驗(yàn)證級(jí)。因此，這成為了一個(gè)循環(huán)問(wèn)題；即需要所述邊界的位置來(lái)正確地定位該邊界。本實(shí)施例通過(guò)一種精巧簡(jiǎn)單的技術(shù)解決了該問(wèn)題比起像素輸出，對(duì)于運(yùn)動(dòng)矢量驗(yàn)證使用更短的位置校正(多相/GST)濾波器。期望對(duì)于最終輸出圖像保留較長(zhǎng)的濾波器，這是因?yàn)檫@樣做通常會(huì)提高質(zhì)量。較短的濾波器可能會(huì)導(dǎo)致不想要的偽像，比如輸出圖像中的"振鈴"。但是對(duì)于其中為每個(gè)像素分配一個(gè)運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量驗(yàn)證來(lái)說(shuō)，較短的濾波器導(dǎo)致污染風(fēng)險(xiǎn)較低，并且提高了能夠在運(yùn)動(dòng)邊界附近正確地分配運(yùn)動(dòng)矢量的幾率。圖18e示意性地示出了被應(yīng)用于所述運(yùn)動(dòng)矢量驗(yàn)證級(jí)的兩個(gè)短濾波器720，和740，。對(duì)于最終輸出圖像的生成將使用諸如在圖18c中示意性地示出的較長(zhǎng)濾波器，其可能具有參照?qǐng)D18d所描述的鏡像。相同的考慮既適用于垂直方向也適用于水平方向。典型的濾波器抽頭長(zhǎng)度如下<table>tableseeoriginaldocumentpage26</column></row><table>應(yīng)當(dāng)認(rèn)識(shí)到，可以通過(guò)在適當(dāng)軟件控制下進(jìn)行操作的可編程或半可編程硬件來(lái)實(shí)現(xiàn)本發(fā)明的各實(shí)施例。所述硬件可以是通用計(jì)算機(jī)或者諸如ASIC(專用集成電路)或FPGA(現(xiàn)場(chǎng)可編程門陣列)之類的設(shè)置。所述軟件可以在諸如盤或固態(tài)存儲(chǔ)器之類的存儲(chǔ)介質(zhì)上提供，或者可以通過(guò)諸如網(wǎng)絡(luò)或因特網(wǎng)連接之類的傳輸介質(zhì)來(lái)提供，或者可以通過(guò)二者的組合來(lái)提供。權(quán)利要求1、視頻處理設(shè)備，其中利用具有子像素精度的運(yùn)動(dòng)矢量從一個(gè)或更多輸入圖像生成輸出圖像的輸出像素的至少一個(gè)子集，該設(shè)備包括帶濾波器，用于從所述一個(gè)或更多輸入圖像導(dǎo)出低空間頻率部分和高頻部分；用于利用相應(yīng)的運(yùn)動(dòng)矢量從所述一個(gè)或更多輸入圖像的所述低空間頻率部分導(dǎo)出與最接近于所需輸出像素位置的像素位置相關(guān)的低頻貢獻(xiàn)的裝置；用于利用該相應(yīng)的運(yùn)動(dòng)矢量從所述一個(gè)或更多輸入圖像的所述高空間頻率部分導(dǎo)出高頻貢獻(xiàn)的裝置；空間濾波器，用于從所述高頻貢獻(xiàn)中的一個(gè)或更多高頻貢獻(xiàn)生成該所需像素位置處的高頻像素值；以及組合器，用于組合所述低頻貢獻(xiàn)與所述高頻像素值，以便生成與該所需像素位置相關(guān)的輸出像素值。2、根據(jù)權(quán)利要求1的設(shè)備，其中所述輸出像素是從兩個(gè)輸入圖像生成的。3、根據(jù)權(quán)利要求2的設(shè)備，在與其中一個(gè)所述輸入圖像中的各像素位置完全相同的各像素位置處從該輸入圖像獲得輸出像素的另一個(gè)子集。4、根據(jù)權(quán)利要求1到3中任一項(xiàng)的設(shè)備，其中所述低頻部分對(duì)應(yīng)于高達(dá)所述輸入圖像的垂直奈奎斯特極限的大約20%的垂直空間頻率。5、根據(jù)任一項(xiàng)在前權(quán)利要求所述的視頻處理設(shè)備，該設(shè)備是掃描變換設(shè)備。6、一種視頻處理方法，其中利用具有子像素精度的運(yùn)動(dòng)矢量從一個(gè)或更多輸入圖像生成輸出圖像的輸出像素的至少一個(gè)子集，該方法包括以下步驟從所述一個(gè)或更多輸入圖像導(dǎo)出低空間頻率部分和高頻部分；利用對(duì)應(yīng)的運(yùn)動(dòng)矢量從所述一個(gè)或更多輸入圖像的所述低空間頻率部分導(dǎo)出與最接近所需輸出像素位置的像素位置相關(guān)的低頻貢獻(xiàn)；利用對(duì)應(yīng)的運(yùn)動(dòng)矢量從所述一個(gè)或更多輸入圖像的所述高空間頻率部分導(dǎo)出高頻貢獻(xiàn)；從一個(gè)或更多所述高頻貢獻(xiàn)生成該所需像素位置處的高頻像素值；以及組合所述低頻貢獻(xiàn)與所述高頻像素值，以便生成與該所需像素位置相關(guān)的輸出像素值。7、具有程序代碼的計(jì)算機(jī)軟件，當(dāng)由計(jì)算機(jī)執(zhí)行所述程序代碼時(shí)，其^皮設(shè)置成使得該計(jì)算機(jī)實(shí)施根據(jù)權(quán)利要求6的方法。8、一種介質(zhì)，其中通過(guò)該介質(zhì)來(lái)提供根據(jù)權(quán)利要求7的軟件。9、根據(jù)權(quán)利要求8的介質(zhì)，該介質(zhì)是存儲(chǔ)介質(zhì)。10、根據(jù)權(quán)利要求8的介質(zhì)，該介質(zhì)是傳輸介質(zhì)。全文摘要本發(fā)明涉及視頻處理。本發(fā)明提供視頻處理設(shè)備，其中利用具有子像素精度的運(yùn)動(dòng)矢量從一個(gè)或更多輸入圖像導(dǎo)出輸出圖像的輸出像素的至少一個(gè)子集，該設(shè)備包括帶濾波器，用于從所述一個(gè)或更多輸入圖像導(dǎo)出低空間頻率部分和高頻部分；用于利用對(duì)應(yīng)的運(yùn)動(dòng)矢量從所述一個(gè)或更多輸入圖像的所述低空間頻率部分導(dǎo)出與最接近所需輸出像素位置的像素位置相關(guān)的低頻貢獻(xiàn)的裝置；用于利用對(duì)應(yīng)的運(yùn)動(dòng)矢量從所述一個(gè)或更多輸入圖像的所述高空間頻率部分導(dǎo)出高頻貢獻(xiàn)的裝置；空間濾波器，用于從一個(gè)或更多所述高頻貢獻(xiàn)生成該所需像素位置處的高頻像素值；以及組合器，用于組合所述低頻貢獻(xiàn)與所述高頻像素值，以便生成與該所需像素位置相關(guān)的輸出像素值。文檔編號(hào)H04N5/44GK101283588SQ200680037486公開日2008年10月8日申請(qǐng)日期2006年10月27日優(yōu)先權(quán)日2005年10月31日發(fā)明者J·利文申請(qǐng)人:索尼英國(guó)有限公司