專利名稱：用受控向量統(tǒng)計特性進(jìn)行運(yùn)動估計和補(bǔ)償?shù)闹谱鞣椒?br> 技術(shù)領(lǐng)域：
本申請與在視頻圖像數(shù)據(jù)內(nèi)進(jìn)行運(yùn)動估計和補(bǔ)償?shù)姆椒ê拖到y(tǒng)有關(guān)。
背景技術(shù)：
已知的進(jìn)行運(yùn)動估計和補(bǔ)償?shù)南到y(tǒng)對接入片外存儲器內(nèi)的視頻圖像數(shù)據(jù)有明顯的帶寬要求。在有些系統(tǒng)中，用一個高速緩存器來降低這種帶寬要求。由于在接入視頻圖像數(shù)據(jù)中的空間局部性(spatiallocality)，平均性能可以得到改善。然而，不能保證存在這樣的空間局部性，因此最壞情況的性能得不到改善。這樣就提供不了所保證的降低執(zhí)行接入所需的帶寬的要求。
歐洲專利申請EP-A-0 294 957揭示了一種數(shù)字電視圖像內(nèi)運(yùn)動向量處理的方法和設(shè)備。這個文件揭示了一個運(yùn)動向量的濾波電路，用來提高在有些具體情況下向量的質(zhì)量。這個濾波電路使運(yùn)動估計器較為不易受噪聲的影響，保證運(yùn)動估計電路傳送較可靠的零向量。
G.de Haan等人在“采用3-D遞推塊匹配的真實運(yùn)動估計”(“Truemotion estimation with 3-Drecursive block matching”，IEEE Trans.CSVT，Oct 1993，pp.368-388)和“用于經(jīng)運(yùn)動補(bǔ)償?shù)慕饨诲e、降噪和圖像率變換的集成電路”(“IC for motion-compensated de-interlacing，noise reduction，and picture-rate conversion”，IEEE Trans.on CE，Aug.，1999，pp.617-624)中揭示了各種運(yùn)動估計技術(shù)和實現(xiàn)方式。

發(fā)明內(nèi)容
本發(fā)明旨在提供一種處理視頻數(shù)據(jù)的運(yùn)動估計和運(yùn)動補(bǔ)償?shù)姆椒ê拖到y(tǒng)，在應(yīng)用一個很小的運(yùn)動補(bǔ)償數(shù)據(jù)高速緩存器的情況下，在所有可能情況下將在運(yùn)動補(bǔ)償期間存儲器帶寬的使用限制在某個最大極限。
按照本發(fā)明，所提供的在視頻圖像數(shù)據(jù)內(nèi)進(jìn)行運(yùn)動估計和運(yùn)動補(bǔ)償?shù)姆椒òㄏ铝胁襟Ea)分析在視頻圖像數(shù)據(jù)的相繼圖像內(nèi)的運(yùn)動，按照所述運(yùn)動得出一個運(yùn)動向量場(motion vector field)；b)執(zhí)行運(yùn)動補(bǔ)償，將視頻圖像數(shù)據(jù)的一個子集存儲在一個第一存儲裝置內(nèi)，對于每個向量從第一存儲裝置檢索所需數(shù)據(jù)，在從第一存儲裝置得不到所需數(shù)據(jù)的情況下，從一個第二存儲裝置取得含有至少所需數(shù)據(jù)的遺漏部分的視頻圖像數(shù)據(jù)存入第一存儲裝置；其中，在步驟a)中視頻運(yùn)動向量場內(nèi)的運(yùn)動向量選擇成滿足至少一個統(tǒng)計特性。
許多現(xiàn)有系統(tǒng)，如de Haan所揭示的實現(xiàn)方式，應(yīng)用一個高速緩存器或二維緩存器存儲一個圖像的一個子集。運(yùn)動補(bǔ)償用運(yùn)動向量從高速緩存器取得數(shù)據(jù)。在典型的系統(tǒng)中，高速緩存器或二維緩存器覆蓋這些運(yùn)動向量的整個搜索范圍；通常它包括一些行存儲器。這導(dǎo)致存儲器比較大，例如720個像素寬和24行(關(guān)聯(lián)的最大垂直向量范圍為[-12，…，+12])。因此這樣的高速緩存器需要緩存至少17,280個像素。本發(fā)明使運(yùn)動補(bǔ)償數(shù)據(jù)高速緩存器可以容量大大減小。它通常只存儲幾百個像素。如果沒有專門措施，用一個小的運(yùn)動補(bǔ)償高速緩存器會導(dǎo)致在圖像存儲器和高速緩存器之間可能有很高的帶寬要求。特別是在各個方向具有大量運(yùn)動的復(fù)雜視頻景象的情況下，高速緩存器的刷新速率可以引起可能超過可用帶寬的過度數(shù)據(jù)通信量。結(jié)果，使刷新高速緩存器會太慢，這通常導(dǎo)致丟失一個輸出圖像。這認(rèn)為是非常嚴(yán)重的不自然現(xiàn)象，應(yīng)該避免。本發(fā)明允許使用一個小的高速緩存器，同時保證使用一個預(yù)定的最大帶寬，它大大低于最壞情況下使用的帶寬。
很清楚，一個數(shù)據(jù)高速緩存器的效率取決于數(shù)據(jù)基準(zhǔn)的空間局部性。這個局部性與高速緩存器的容量有關(guān)。對于一個大的數(shù)據(jù)高速緩存器，如在現(xiàn)有的系統(tǒng)中所用的，所有的數(shù)據(jù)接入將從緩存器取得數(shù)據(jù)。對于一個如在這里所提出的小的高速緩存器，一些數(shù)據(jù)請求將接入可從高速緩存器得到的數(shù)據(jù)，而其他請求將接入高速緩存器不能提供的數(shù)據(jù)。后一種情況引起數(shù)據(jù)高速緩存器的(局部)刷新，因此引起從圖像存儲器到高速緩存器的數(shù)據(jù)傳送。由于在圖像內(nèi)數(shù)據(jù)接入的位置取決于運(yùn)動向量，因此高速緩存器效率取決于向量場的統(tǒng)計信息。
在采用諸如視頻掃描率變換和時移錄取之類的一些運(yùn)動估計和補(bǔ)償?shù)膽?yīng)用中，在單個系統(tǒng)內(nèi)運(yùn)動估計后接著進(jìn)行運(yùn)動補(bǔ)償。在這樣的情況下，運(yùn)動估計器可以控制成所計算的向量場遵從預(yù)定的向量統(tǒng)計信息。結(jié)果，保證在圖像存儲器與運(yùn)動補(bǔ)償高速緩存器之間的帶寬使用低于某個極限。
通過利用視頻運(yùn)動向量場的適當(dāng)統(tǒng)計特性有可能保證在運(yùn)動補(bǔ)償器使用一個本機(jī)緩存器(或高速緩存器)時可以將接入片外存儲器內(nèi)的視頻圖像數(shù)據(jù)所需的帶寬降低到某個所保證的范圍。這將避免在一個景象內(nèi)有許多復(fù)雜的運(yùn)動的情況下所需的帶寬可能超過可用帶寬從而導(dǎo)致運(yùn)動補(bǔ)償處理的延遲。所需的統(tǒng)計特性可以通過優(yōu)先選擇改善需由運(yùn)動補(bǔ)償器執(zhí)行的訪問的空間局部性的候選運(yùn)動向量獲得。
至少一個統(tǒng)計特性或限制可以取決于訪問第二存儲裝置的第一帶寬。這個第一帶寬可以是第二存儲裝置可用的帶寬，即受硬件特性的限制?；蛘?，第一帶寬也可以是運(yùn)動補(bǔ)償器可用的帶寬。
此外，至少一個統(tǒng)計特性可以取決于存儲系統(tǒng)(即第一存儲裝置、第二存儲裝置和在第一和第二存儲裝置之間的通信裝置(包括所支持的數(shù)據(jù)傳送類型/協(xié)議))的至少一個體系結(jié)構(gòu)特性。
在另一個實施例中，根據(jù)訪問第二存儲裝置的實際可用帶寬動態(tài)地調(diào)整至少一個統(tǒng)計特性。通過動態(tài)地控制統(tǒng)計特性(例如隨時確定統(tǒng)計特性)，可以影響由運(yùn)動補(bǔ)償所引起的來自第二存儲裝置的數(shù)據(jù)通信量。這對其他功能也訪問第二存儲裝置的帶有共享存儲器的系統(tǒng)特別有用。
在另一個實施例中，所述方法還包括使運(yùn)動估計器實際使用的統(tǒng)計特性對另一個使用第一存儲裝置的系統(tǒng)可用的步驟。實際使用的統(tǒng)計特性可以與至少一個統(tǒng)計特性不同。而且，至少一個實際使用的統(tǒng)計特性可以用來確定訪問第二存儲裝置實際使用的帶寬，可以將可用帶寬與實際使用的帶寬之差用于另一個系統(tǒng)。例如，運(yùn)動估計器可以向使用第二存儲裝置的另一個系統(tǒng)報告實際發(fā)現(xiàn)的統(tǒng)計信息。根據(jù)這信息，其他系統(tǒng)部件可以確定運(yùn)動補(bǔ)償?shù)膶嶋H帶寬要求。在運(yùn)動補(bǔ)償實際沒有使用全部可用帶寬的情況下，可以允許其他系統(tǒng)部件使用這個帶寬。
在另一個實施例中，步驟a)包括a1)確定圖像的另一個子集的候選運(yùn)動向量的一個集合；a2)按照一個先前所選的運(yùn)動向量與每個候選運(yùn)動向量之間的相關(guān)性計算至少一個損失值(penalty value)；a3)考慮候選運(yùn)動向量的至少一個損失值和先前所選的運(yùn)動向量的至少一個損失值和至少一個統(tǒng)計特性的統(tǒng)計信息從候選運(yùn)動向量的集合中選擇另一個運(yùn)動向量。圖像的這另一個子集可以與先前為了選擇一個運(yùn)動向量所處理的圖像的子集水平鄰接(左、右鄰接)或垂直鄰接(上、下鄰接)。在相關(guān)性低于一個預(yù)定門限值時，向量是弱相關(guān)的，因此在運(yùn)動補(bǔ)償期間必需(部分)刷新第一數(shù)據(jù)存儲裝置。這將增大接入第二存儲裝置內(nèi)的視頻圖像數(shù)據(jù)所用的帶寬。損失計算為在運(yùn)動補(bǔ)償期間訪問第二存儲裝置將需要的帶寬的度量。通過考慮屬于在從候選運(yùn)動向量中選擇一個運(yùn)動向量時在當(dāng)前圖像內(nèi)實際所選的運(yùn)動向量的損失值的統(tǒng)計信息，包括新選的運(yùn)動向量的損失在內(nèi)的損失值的統(tǒng)計信息可以由至少一個輸入運(yùn)動估計器的統(tǒng)計特性限制。作為一個例子，所有損失值之和可以表示在運(yùn)動補(bǔ)償期間訪問第二存儲裝置的一定帶寬。在這里所揭示的方法中，這個和可以加以限制，從而就限制了帶寬。在一些已知的運(yùn)動估計方法中，選擇是根據(jù)候選運(yùn)動向量的匹配誤差和候選運(yùn)動向量的其他特征(諸如候選運(yùn)動向量相對當(dāng)前位置的起點)進(jìn)行的。
在另一個實施例中，先前所選的運(yùn)動向量的至少一個損失值的統(tǒng)計信息基于所有先前所選的運(yùn)動向量，因此考慮當(dāng)前圖像內(nèi)所有已選的運(yùn)動向量。這樣，在運(yùn)動補(bǔ)償期間訪問第二存儲裝置的帶寬限制在單個圖像的步長(granularity)。結(jié)果，限制了在運(yùn)動補(bǔ)償期間對于整個圖像所用的平均帶寬，但是在處理圖像的一個部分期間仍可能耗費高的峰值帶寬。
在有些情況下這是不可接受的，或者會導(dǎo)致較不經(jīng)濟(jì)的實現(xiàn)。因此，在另一個實施例中，先前所選的運(yùn)動向量的至少一個損失值的這些統(tǒng)計信息只考慮在當(dāng)前圖像內(nèi)已經(jīng)選擇的這些運(yùn)動向量的一個子集。這樣，將控制的步長細(xì)化到圖像的一個部分，從而可以避免在對圖像的一個部分進(jìn)行運(yùn)動補(bǔ)償期間耗費高的峰值帶寬。
在采用前面提到的這個實施例時，圖像處理的開始部分可以具有與圖像處理的結(jié)束部分不同的質(zhì)量，因為運(yùn)動估計步驟可以使在結(jié)束部分的運(yùn)動向量比在開始部分相關(guān)更強(qiáng)，以在圖像結(jié)束部分滿足至少一個統(tǒng)計特性。這可以引起可能可見的不自然現(xiàn)象。這種情況可以通過利用在一個視頻序列的相繼圖像之間通常有很強(qiáng)的時間相關(guān)(temporal correlation)的事實得到改善。通過時間反饋(temporalfeedback)，可以利用圖像序列的統(tǒng)計的特性，從而得到更為一致的圖像質(zhì)量。這可以在另一個實施例中實現(xiàn)，在這個實施例中，用先前圖像內(nèi)所選的運(yùn)動向量的至少一個損失值的統(tǒng)計信息進(jìn)一步影響步驟a3)的選擇過程。
在又一個實施例中，根據(jù)存儲器和通信裝置(包括第一存儲裝置、第二存儲裝置或通信裝置)的體系結(jié)構(gòu)特性選擇圖像的另一個子集。這允許視頻圖像的掃描次序?qū)ο到y(tǒng)的體系結(jié)構(gòu)特性進(jìn)行優(yōu)化。
在另一個方面，本申請?zhí)岢隽艘环N按照權(quán)利要求2至12之一所述的系統(tǒng)。這種系統(tǒng)配置成以一個簡單和高效率的實現(xiàn)方式達(dá)到本發(fā)明的方法的效果。
這種系統(tǒng)可以有益地用于電視機(jī)或機(jī)頂盒。
下面將通過結(jié)合


若干典型的實施例對本發(fā)明進(jìn)行詳細(xì)說明，在這些附圖中

圖1示出了按照本發(fā)明的一個實施例設(shè)計的運(yùn)動估計/補(bǔ)償系統(tǒng)的原理圖；圖2示出了按照本發(fā)明的另一個實施例設(shè)計的運(yùn)動估計/補(bǔ)償系統(tǒng)的原理圖；圖3示意性地示出了一個包括高速緩存器內(nèi)的一個子集的圖像；圖4示意性地示出了一個包括高速緩存器內(nèi)的另一個子集的圖像。
具體實施例方式
對于在視頻領(lǐng)域內(nèi)的一些嵌入系統(tǒng)來說許多應(yīng)用采用運(yùn)動估計和/或運(yùn)動補(bǔ)償技術(shù)。這樣一些應(yīng)用的一個關(guān)鍵特征是它們對于接入在(比較大的)圖像存儲器內(nèi)的視頻數(shù)據(jù)有明顯的帶寬要求。一個可選方案是用一個高速緩存器來降低這些帶寬要求，使由于在接入視頻數(shù)據(jù)中的空間局部性引起的平均情況性能得到改善。然而，由于這樣的空間局部性得不到保證，這樣一個高速緩存器不會改善最壞情況性能，因此將不能提供所保證的減小執(zhí)行這些接入所需的帶寬。
在圖1中示出了一個供在視頻應(yīng)用中使用的運(yùn)動估計和運(yùn)動補(bǔ)償系統(tǒng)的簡化方框圖。這個系統(tǒng)包括一個運(yùn)動估計器12和一個運(yùn)動補(bǔ)償器14。此外，這個系統(tǒng)還包括一個二維緩存器15，用來存儲一個視頻圖像中的一個比較小的2D區(qū)域(例如為8行，每行32像素)。視頻圖像幀在運(yùn)動補(bǔ)償器14和/或二維緩存器15的控制之下從一個(可能是片外的)圖像存儲器10輸入二維緩存器。圖像存儲器10可以存有多個視頻圖像。圖像存儲器裝有輸入視頻數(shù)據(jù)11。在運(yùn)動估計和運(yùn)動補(bǔ)償功能中，由一個運(yùn)動向量接入視頻數(shù)據(jù)塊。利用緩存器15可以重復(fù)使用視頻數(shù)據(jù)，從而有效地降低對圖像存儲器10與二維緩存器15之間的連接20的帶寬要求。
運(yùn)動估計器12配置成可以用眾所周知的運(yùn)動估計技術(shù)分析圖像存儲器10內(nèi)的相繼的視頻圖像片段，得出一些運(yùn)動向量。G.de Hewn等人在“用3-D遞推塊匹配的真實運(yùn)動估計”(“True motion estimationwith 3-D recursive block matching”，IEEE Trans.CSVT，Oct.1993，pp.368-388)中揭示了各種運(yùn)動估計技術(shù)。
通過通信裝置22，這些向量傳送給運(yùn)動補(bǔ)償器14，運(yùn)動補(bǔ)償器14用運(yùn)動向量接入二維緩存器15內(nèi)的視頻圖像數(shù)據(jù)。在數(shù)據(jù)在緩存器內(nèi)不存在的情況下，緩存器將用來自視頻圖像存儲器10的新數(shù)據(jù)(部分)刷新。在來自緩存器的視頻數(shù)據(jù)處理后，運(yùn)動補(bǔ)償器14的結(jié)果變換成視頻輸出數(shù)據(jù)16。
二維緩存器15的體系結(jié)構(gòu)特性通常在具體實現(xiàn)設(shè)計期間規(guī)定。對于圖像存儲器與2D緩存器之間的連接20也可以是這樣，為運(yùn)動補(bǔ)償提供一個預(yù)定的帶寬。然而，可能存在圖像存儲器與其他功能共享的情況。圖2示出了這樣一種更為高級的系統(tǒng)。
由于圖2中的圖像存儲器是多個功能共享的，因此圖像存儲器10與緩存器15之間的連接裝置20得到擴(kuò)展。在這種情況下，它通常實現(xiàn)為一個通信總線20。作為一個例子，系統(tǒng)加有總線客戶機(jī)42，這個總線客戶機(jī)可以執(zhí)行與運(yùn)動估計和運(yùn)動補(bǔ)償有關(guān)或無關(guān)的功能。在象這樣的一個系統(tǒng)中，接在通信裝置20上的運(yùn)動補(bǔ)償器14的可用帶寬可以有明顯不同，例如取決于總線客戶機(jī)42是否在用。運(yùn)動補(bǔ)償器14的帶寬使用可以受運(yùn)動估計器12內(nèi)的一些統(tǒng)計限制控制。在這個系統(tǒng)中，這些統(tǒng)計限制30由一個帶寬控制單元46動態(tài)地調(diào)整成適應(yīng)總線上的可用帶寬。作為這個系統(tǒng)的進(jìn)一步改進(jìn)，帶寬控制單元還可以從運(yùn)動估計器12檢索實際的統(tǒng)計特性48。通過分析這個信息，帶寬控制單元46可以預(yù)測運(yùn)動補(bǔ)償器14在應(yīng)用運(yùn)動向量時將實際使用的所需帶寬。在這個帶寬小于統(tǒng)計限制30所實施的帶寬極限的情況下，多余的帶寬可以用來改善其他功能的質(zhì)量。
通過改變統(tǒng)計限制30，可以在圖像質(zhì)量和帶寬占用之間進(jìn)行受控折衷，因此運(yùn)動補(bǔ)償器14的輸出圖像的質(zhì)量在帶寬限制這樣要求時有適度的降低。
通過將這些帶寬控制機(jī)制應(yīng)用到圖2的系統(tǒng)上，甚至可以貫徹多個功能的業(yè)務(wù)質(zhì)量，而且在總線過載的情況下使性能只有適度下降，重新使多個功能優(yōu)化。
在數(shù)字視頻處理技術(shù)中，運(yùn)動估計功能確定圖像數(shù)據(jù)中一些塊的運(yùn)動的一個向量場。在普通視頻圖像序列內(nèi)這些向量在大多數(shù)(假設(shè)為75％)情況下是高度相關(guān)的，而在另一些(假設(shè)最壞情況為25％)情況下完全不相關(guān)。此外，可以給出弱相關(guān)向量和強(qiáng)相關(guān)向量的定義。如果下一個向量是弱相關(guān)的，所需數(shù)據(jù)就不在(或不全部在)二維緩存器15內(nèi)，因此緩存器15需要從圖像存儲器10(部分)再充填。然而，如果下一個向量是強(qiáng)相關(guān)的，所需數(shù)據(jù)將是在緩存器15內(nèi)可得到的。
作為例子，圖3和4示出了相鄰運(yùn)動向量的相關(guān)性與高速緩存器效率的關(guān)系從而也就示出了與圖像存儲器10和緩存器15之間的數(shù)據(jù)通信量的關(guān)系。圖3示出了一個圖像60，圖像數(shù)據(jù)的一個子集62可在高速緩存器15內(nèi)得到。使示出了兩個運(yùn)動向量，分別屬于圖像數(shù)據(jù)兩個相鄰的塊64和66。這兩個運(yùn)動向量是強(qiáng)相關(guān)的，因此這兩個通過運(yùn)動向量接入的塊65 67都駐留在圖像數(shù)據(jù)的存儲在高速緩存器內(nèi)的子集62內(nèi)。在圖4中，示出了一個類似的情況，然而，在這種情況下兩個運(yùn)動向量是弱相關(guān)的。由于這兩個向量之間差別大，通過一個運(yùn)動向量接入的圖像數(shù)據(jù)的第二塊68沒有駐留在圖像數(shù)據(jù)的存儲在高速緩存器內(nèi)的子集62內(nèi)。因此，高速緩存器需要(部分)刷新。
視頻圖像存儲器10與二維緩存器15之間的通信裝置20的帶寬要求在盡可能重用二維緩存器15內(nèi)的數(shù)據(jù)時可以降低。在平均情況性能中，由于接入視頻數(shù)據(jù)的空間局部性，可以增大數(shù)據(jù)重用的效率。然而，在正常視頻數(shù)據(jù)中，并不保證存在這樣的局部性，使用一個二維緩存器改善不了最壞情況性能，從而提供不了所保證的減小執(zhí)行訪問視頻圖像存儲器10所需的帶寬。
根據(jù)圖像存儲器10內(nèi)的圖像數(shù)據(jù)，運(yùn)動估計器確定一個運(yùn)動向量場。在計算向量場期間，運(yùn)動估計器12保證統(tǒng)計限制30滿足。因此，運(yùn)動估計器12可以優(yōu)先選擇改善由運(yùn)動補(bǔ)償器14執(zhí)行的接入的空間局部性的候選運(yùn)動向量。這將改善二維緩存器15的命中率，因此減小了通過通信裝置20訪問視頻圖像存儲器10所需的帶寬。
在本發(fā)明中，限制了可以由運(yùn)動估計器12選擇的弱相關(guān)向量的百分比，以便保證不超過某個帶寬極限。對于某個圖像部分一個候選運(yùn)動向量是弱相關(guān)還是強(qiáng)相關(guān)取決于二維緩存器15的體系結(jié)構(gòu)和通信裝置20的體系結(jié)構(gòu)。此外，緩存器的容量也有關(guān)系。因此，統(tǒng)計限制30取決于圖像存儲器10與二維緩存器15之間的可用帶寬和取決于存儲系統(tǒng)的體系的結(jié)構(gòu)特性。
總的來說，如由運(yùn)動估計器12實現(xiàn)的運(yùn)動估計操作包括三個步驟。首先，為一個圖像的一個給定子集確定一個候選運(yùn)動向量集合。其次，為每個候選向量計算一個匹配準(zhǔn)則，最后選擇最好的候選運(yùn)動向量作為運(yùn)動估計器12的輸出向量。對于圖像的每個部分重復(fù)每個步驟，從而得到這個特定圖像的一個完整的向量場。
在Haan等人的論文(見上)中，一種特別有效的運(yùn)動估計方法是三維遞推搜索。在這種方法中，只有數(shù)目很有限的候選向量。在這些候選向量中間，有少數(shù)候選向量與在鄰接的圖像部分上計算出的向量相同或者從在鄰接的圖像部分上計算出的向量得出。根據(jù)定義，相同的向量是強(qiáng)相關(guān)的。此外，所得出的向量在很多情況下也是強(qiáng)相關(guān)的。在構(gòu)建一個圖像的運(yùn)動向量場時，在這種情況下，不僅采用匹配準(zhǔn)則，而且考慮一個附加的準(zhǔn)則(一個候選向量與一個相鄰向量的相關(guān)值)。因此，運(yùn)動估計器首先為每個候選運(yùn)動向量計算出一個損失值。這些損失值取決于候選運(yùn)動向量與相鄰的所計算的運(yùn)動向量之間的相關(guān)性。損失值是對在運(yùn)動補(bǔ)償期間所需帶寬的度量。在從候選運(yùn)動向量中選擇結(jié)果運(yùn)動向量時，對所計算的損失值進(jìn)行分析，同時還考慮先前所選的運(yùn)動向量的損失值的統(tǒng)計信息。這樣，除常規(guī)匹配準(zhǔn)則之外，損失值的分析是一個附加的選擇準(zhǔn)則。用這種方法，可以選擇一個是強(qiáng)相關(guān)的結(jié)果運(yùn)動向量，即使是它沒有最佳匹配，因此校正了所產(chǎn)生的運(yùn)動向量，從而保證在運(yùn)動補(bǔ)償期間的帶寬在一定的極限范圍之內(nèi)。這樣的校正可以使圖像質(zhì)量有些降低。
在假設(shè)強(qiáng)相關(guān)和弱相關(guān)向量在整個圖像上均勻分布從而在運(yùn)動估計器內(nèi)的校正在整個圖像上是均勻分布的情況下，這種處理可以方便地進(jìn)行，因為這意味著圖像質(zhì)量在整個圖像上是不變的。在一些視頻序列中這可能是不同的，而所揭示的方法可能導(dǎo)致在圖像處理開始部分與圖像處理結(jié)束部分有不同的圖像質(zhì)量。這可以是由于運(yùn)動估計器12在結(jié)束部分它可能必須迫使強(qiáng)相關(guān)向量能達(dá)到與弱相關(guān)向量的所需百分比而出岔引起的。
在大多數(shù)視頻序列中，在一個視頻序列內(nèi)的相繼圖像之間存在強(qiáng)的時間相關(guān)。通過一個時間遞推反饋回路，運(yùn)動估計器12可以從序列的統(tǒng)計特性估計對一個具體圖像所需校正的百分比或總數(shù)，將弱相關(guān)或強(qiáng)相關(guān)的候選運(yùn)動向量的優(yōu)先選擇均勻地分布到整個圖像上，因此提供一個質(zhì)量恒定的圖像。
相鄰的圖像部分(或運(yùn)動向量)可以是水平鄰接(左、右鄰接)或垂直鄰接(上、下鄰接)的。選擇其中的哪種可以取決于存儲系統(tǒng)的體系結(jié)構(gòu)特性，以便優(yōu)化掃描次序。
在一個帶有一個小的高速緩存器的系統(tǒng)內(nèi)，在不利用運(yùn)動向量場的統(tǒng)計特性時，景象內(nèi)有許多復(fù)雜的運(yùn)動的情況將導(dǎo)致大量必需的對視頻圖像存儲器10的訪問，從而導(dǎo)致通信裝置20的過載。結(jié)果，一個可能的影響可以是所計算的圖像不及時，實際上引起在視頻輸出16中丟失圖像。
在利用按照本發(fā)明設(shè)計的方法和系統(tǒng)時，在同樣的情況下，結(jié)果是運(yùn)動估計器12輸出的向量場的質(zhì)量降低，因為向量一致性的限制將迫使運(yùn)動估計器12選擇一些非最佳向量。這可以導(dǎo)致在運(yùn)動補(bǔ)償器14的運(yùn)動補(bǔ)償后的視頻輸出16內(nèi)圖像質(zhì)量降低。然而，可以防止在視頻信息流內(nèi)丟失圖像的嚴(yán)重得多的不自然現(xiàn)象，從而改善了所感覺的圖像質(zhì)量。此外，系統(tǒng)工作的可靠性和預(yù)測性還將得到改善。而且，使一個具有多個使用共享資源的功能的系統(tǒng)內(nèi)業(yè)務(wù)質(zhì)量成為可以接受的。
權(quán)利要求
1.一種在視頻圖像數(shù)據(jù)內(nèi)進(jìn)行運(yùn)動補(bǔ)償?shù)姆椒?，所述方法包括下列步驟a)分析視頻圖像數(shù)據(jù)的相繼圖像內(nèi)的運(yùn)動，按照所述運(yùn)動得出一個運(yùn)動向量場；b)執(zhí)行運(yùn)動補(bǔ)償，將視頻圖像數(shù)據(jù)的一個子集存儲在一個第一存儲裝置(15)內(nèi)，對于每個向量從第一存儲裝置(15)檢索所需數(shù)據(jù)，在從第一存儲裝置(15)得不到全部所需數(shù)據(jù)的情況下，從一個第二存儲裝置(10)取得含有至少所需數(shù)據(jù)的遺漏部分的視頻圖像數(shù)據(jù)存入第一存儲裝置(15)；其中，在步驟a)中視頻運(yùn)動向量場內(nèi)的運(yùn)動向量選擇成滿足至少一個統(tǒng)計特性。
2.一種在視頻圖像數(shù)據(jù)內(nèi)進(jìn)行運(yùn)動補(bǔ)償?shù)南到y(tǒng)，所述系統(tǒng)包括一個運(yùn)動估計器(12)，配置成分析視頻圖像數(shù)據(jù)的相繼圖像內(nèi)的運(yùn)動，按照所述運(yùn)動得出一個運(yùn)動向量場；一個與運(yùn)動估計器(12)和第一存儲裝置(15)連接的運(yùn)動補(bǔ)償器(14)，配置成執(zhí)行運(yùn)動補(bǔ)償，將視頻圖像數(shù)據(jù)的一個子集存儲在一個第一存儲裝置(15)內(nèi)，對于每個向量從第一存儲裝置(15)檢索所需數(shù)據(jù)，在從第一存儲裝置(15)得不到全部所需數(shù)據(jù)的情況下，從一個第二存儲裝置(10)取得含有至少所需數(shù)據(jù)的遺漏部分的視頻圖像數(shù)據(jù)存入第一存儲裝置(15)；所述運(yùn)動估計器(12)還配置成在視頻運(yùn)動向量場內(nèi)選擇滿足至少一個統(tǒng)計特性的運(yùn)動向量。
3.一種按照權(quán)利要求2所述的系統(tǒng)，其中所述至少一個統(tǒng)計特性取決于訪問第二存儲裝置(10)的第一帶寬。
4.一種按照權(quán)利要求2所述的系統(tǒng)，其中所述至少一個統(tǒng)計特性取決于第一存儲裝置(15)、第二存儲裝置(10)或在第一存儲裝置(15)與第二存儲裝置(10)之間的通信裝置(20)的至少一個體系結(jié)構(gòu)特性。
5.一種按照權(quán)利要求2所述的系統(tǒng)，其中所述至少一個統(tǒng)計特性按照訪問第二存儲裝置(10)的實際可用帶寬動態(tài)調(diào)整。
6.一種按照權(quán)利要求2所述的系統(tǒng)，其中所述運(yùn)動估計器(12)配置成使至少一個實際使用的統(tǒng)計特性可為另一個系統(tǒng)(42)所用。
7 一種按照權(quán)利要求6所述的系統(tǒng)，其中所述運(yùn)動估計器(12)配置成用至少一個實際使用的統(tǒng)計特性確定訪問第二存儲裝置(10)實際使用的帶寬，以及使可用帶寬與實際使用帶寬之差可為另一個系統(tǒng)(42)所用。
8.一種按照權(quán)利要求2所述的系統(tǒng)，其中所述運(yùn)動估計器(12)還配置成確定圖像的另一個子集的候選運(yùn)動向量的一個集合，按照在一個先前所選的運(yùn)動向量與每個候選運(yùn)動向量之間的相關(guān)性計算至少一個損失值，以及考慮這些候選運(yùn)動向量的至少一個損失值和先前所選的運(yùn)動向量的至少一個損失值和至少一個統(tǒng)計特性的統(tǒng)計信息從候選運(yùn)動向量的集合中選擇另一個運(yùn)動向量。
9.一種按照權(quán)利要求8所述的系統(tǒng)，其中所述先前所選的運(yùn)動向量的至少一個損失值基于當(dāng)前圖像內(nèi)所有先前所選的運(yùn)動向量。
10.一種按照權(quán)利要求8所述的系統(tǒng)，其中所述先前所選的運(yùn)動向量的至少一個損失值的統(tǒng)計信息基于當(dāng)前圖像內(nèi)先前所選的運(yùn)動向量的一個子集。
11.一種按照權(quán)利要求8所述的系統(tǒng)，其中先前圖像內(nèi)先前所選的運(yùn)動向量的至少一個損失值的統(tǒng)計信息用來進(jìn)一步影響所述另一個運(yùn)動向量的選擇。
12.一種按照權(quán)利要求8所述的系統(tǒng)，其中所述圖像的另一個子集根據(jù)第一存儲裝置(15)、第二存儲裝置(10)或通信裝置(20)的至少一個體系結(jié)構(gòu)特性選擇。
13.一種電視機(jī)，所述電視機(jī)包括一個按照權(quán)利要求2所述的進(jìn)行運(yùn)動補(bǔ)償?shù)南到y(tǒng)。
14.一種機(jī)頂盒，所述機(jī)頂盒包括一個按照權(quán)利要求2所述的進(jìn)行運(yùn)動補(bǔ)償?shù)南到y(tǒng)。
全文摘要
本發(fā)明提出的在視頻圖像數(shù)據(jù)內(nèi)進(jìn)行運(yùn)動補(bǔ)償?shù)姆椒ê拖到y(tǒng)包括一個配置成分析視頻圖像數(shù)據(jù)的相繼幀內(nèi)的運(yùn)動、按照所述運(yùn)動得出一個運(yùn)動向量場的運(yùn)動估計器(12)，一個與運(yùn)動估計器(12)和第一存儲裝置(15)連接的運(yùn)動補(bǔ)償器(14)。運(yùn)動補(bǔ)償器(14)配置成執(zhí)行運(yùn)動補(bǔ)償，將視頻圖像數(shù)據(jù)的一個子集存儲在一個第一存儲裝置(15)內(nèi)，對于每個向量從第一存儲裝置(15)檢索所需數(shù)據(jù)，在從第一存儲裝置(15)得不到全部所需數(shù)據(jù)的情況下，從一個第二存儲裝置(10)取得含有至少所需數(shù)據(jù)的遺漏部分的視頻圖像數(shù)據(jù)存入第一存儲裝置(15)。運(yùn)動估計器(12)還配置成在視頻運(yùn)動向量場內(nèi)選擇滿足至少一個統(tǒng)計特性的運(yùn)動向量。
文檔編號H03M7/36GK1620817SQ02813468
公開日2005年5月25日 申請日期2002年6月20日 優(yōu)先權(quán)日2001年7月6日
發(fā)明者R·J·舒藤, A·K·里門斯, P·范德沃爾夫 申請人:皇家菲利浦電子有限公司