專(zhuān)利名稱：跟蹤快速移動(dòng)的小物體的運(yùn)動(dòng)矢量場(chǎng)求精法的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種通過(guò)確定第二運(yùn)動(dòng)矢量場(chǎng)的第一個(gè)運(yùn)動(dòng)矢量將第一運(yùn)動(dòng)矢量場(chǎng)變換為第二運(yùn)動(dòng)矢量場(chǎng)的方法，第一運(yùn)動(dòng)矢量場(chǎng)是根據(jù)一個(gè)圖像序列的第一圖像和第二圖像來(lái)為第一圖像和第二圖像之間的一個(gè)時(shí)間位置計(jì)算出的。
本發(fā)明進(jìn)一步涉及一種用于將第一運(yùn)動(dòng)矢量場(chǎng)變換為第二運(yùn)動(dòng)矢量場(chǎng)的變換單元。
本發(fā)明進(jìn)一步涉及一種圖像處理設(shè)備，包含接收裝置，用于接收對(duì)應(yīng)于一個(gè)輸入圖像序列的信號(hào)；和圖像處理單元，用于根據(jù)該輸入圖像序列并根據(jù)由這樣的變換單元所提供的第二運(yùn)動(dòng)矢量場(chǎng)計(jì)算一個(gè)輸出圖像序列。
本發(fā)明進(jìn)一步涉及一種包含這樣的變換單元的視頻編碼單元。
本發(fā)明進(jìn)一步涉及一種要由計(jì)算機(jī)裝置加載的計(jì)算機(jī)程序產(chǎn)品，包含用于將第一運(yùn)動(dòng)矢量場(chǎng)變換為第二運(yùn)動(dòng)矢量場(chǎng)的指令。
背景技術(shù)：
在文章″True-Motion Estimation with 3-D Recursive SearchBlock Matching(利用3D遞歸搜索塊匹配的真實(shí)運(yùn)動(dòng)估計(jì))″(作者G.de Haan等，載于IEEE Transactions on circuits and systemsfor video technology，卷3，第5期，1993年10月，368-379頁(yè))中，公開(kāi)了一個(gè)所謂的運(yùn)動(dòng)估計(jì)單元。這個(gè)運(yùn)動(dòng)估計(jì)單元被設(shè)計(jì)用來(lái)根據(jù)一個(gè)輸入圖像序列估計(jì)運(yùn)動(dòng)矢量。這些被估計(jì)的運(yùn)動(dòng)矢量，例如能被用于計(jì)算一個(gè)內(nèi)插的輸出圖像。運(yùn)動(dòng)矢量涉及將序列的第一圖像的像素組轉(zhuǎn)換到序列的第二圖像的另一個(gè)像素組。通常，像素組是例如8*8個(gè)像素的像素塊。根據(jù)一個(gè)輸入圖像集合計(jì)算出來(lái)的、或者可應(yīng)用于輸出圖像的運(yùn)動(dòng)矢量集合，被稱作運(yùn)動(dòng)矢量場(chǎng)。所引證的運(yùn)動(dòng)估計(jì)單元，適合于實(shí)時(shí)視頻應(yīng)用。該遞歸方法產(chǎn)生相對(duì)一致的運(yùn)動(dòng)矢量場(chǎng)。
相對(duì)于背景以高速運(yùn)動(dòng)的較小物體的運(yùn)動(dòng)估計(jì)，看來(lái)是個(gè)問(wèn)題。特別地，在物體小于運(yùn)動(dòng)估計(jì)單元所應(yīng)用的塊大小的情況下，運(yùn)動(dòng)估計(jì)單元有時(shí)候估計(jì)出不正確的運(yùn)動(dòng)矢量。在物體的速度大于運(yùn)動(dòng)矢量格的樣本距離時(shí)，尤其如此。結(jié)果，較小的物體在運(yùn)動(dòng)補(bǔ)償?shù)妮敵鰣D像中有時(shí)會(huì)消失。運(yùn)動(dòng)補(bǔ)償?shù)妮敵鰣D像基于若干輸入圖像的時(shí)間插值和運(yùn)動(dòng)矢量場(chǎng)。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)目的是提供一種在開(kāi)頭段落中所述的那種方法，由此，第二運(yùn)動(dòng)矢量場(chǎng)與第一運(yùn)動(dòng)矢量場(chǎng)相比，更好地表示較小物體的運(yùn)動(dòng)。
本發(fā)明這個(gè)目的的實(shí)現(xiàn)，在于該方法包含通過(guò)選擇第一運(yùn)動(dòng)矢量場(chǎng)不含相應(yīng)的運(yùn)動(dòng)矢量的第一圖像的互相連接的像素的第一集合，確定該第一圖像中的第一不參照像素(un-referenced pixels)組；通過(guò)選擇第一運(yùn)動(dòng)矢量場(chǎng)不含相應(yīng)的運(yùn)動(dòng)矢量的第二圖像的互相連接的像素的第二集合，確定該第二圖像中的第二不參照像素組；計(jì)算一個(gè)從第一不參照像素組指向第二不參照像素組的候選運(yùn)動(dòng)矢量的匹配誤差；將該匹配誤差與一個(gè)預(yù)定的匹配閾限進(jìn)行比較，如果該匹配誤差低于該預(yù)定的閾限，則把該候選運(yùn)動(dòng)矢量分配給第二運(yùn)動(dòng)矢量場(chǎng)的第一個(gè)運(yùn)動(dòng)矢量。
一般來(lái)說(shuō)，運(yùn)動(dòng)補(bǔ)償一即時(shí)間插值，是通過(guò)系統(tǒng)地貫穿輸出圖像的所有像素、從一個(gè)或更多的原始輸入圖像中提取像素值而完成的。這樣，輸出圖像中將不出現(xiàn)洞眼，因?yàn)槊恳粋€(gè)輸出像素都被賦予一個(gè)值。然而，一般來(lái)說(shuō)，通過(guò)貫穿每一個(gè)輸出像素，原始輸入圖像中將具有不向運(yùn)動(dòng)補(bǔ)償?shù)妮敵鰣D像作貢獻(xiàn)的像素。這意味著，在輸入圖像中具有不被參照的。通常，不被參照的像素出現(xiàn)在遮蔽區(qū)，這是正確且合意的現(xiàn)象。發(fā)明人觀察到，在運(yùn)動(dòng)估計(jì)單元不能跟蹤高速的較小物體時(shí)，不參照像素也出現(xiàn)。本發(fā)明就是基于這個(gè)觀察。在兩個(gè)輸入圖像中，搜索不參照像素，隨后通過(guò)一個(gè)候選運(yùn)動(dòng)矢量把兩個(gè)輸入圖像中的不參照像素互相連接。如果候選運(yùn)動(dòng)矢量似乎適當(dāng)，則把它賦予以前估計(jì)的、當(dāng)時(shí)假設(shè)是不正確的運(yùn)動(dòng)矢量。這兩組不參照像素與以前估計(jì)的運(yùn)動(dòng)矢量的坐標(biāo)的關(guān)系，要由這兩組不參照像素的空間坐標(biāo)和兩個(gè)輸入圖像與運(yùn)動(dòng)矢量場(chǎng)之間的時(shí)間關(guān)系給出。
確定第一不參照像素組和確定第二不參照像素組，可以相互獨(dú)立地進(jìn)行。然而，最好根據(jù)第一不參照像素組確定第二不參照像素組。這種依賴的優(yōu)點(diǎn)是提高效率。另一個(gè)優(yōu)點(diǎn)是提高魯棒性。
在按照本發(fā)明的方法的一個(gè)實(shí)施例中，基于第一不參照像素組的一個(gè)空間環(huán)境，并且基于一個(gè)屬于第一運(yùn)動(dòng)矢量場(chǎng)并且位于第一不參照像素組的該空間環(huán)境的特定運(yùn)動(dòng)矢量，來(lái)確定第二不參照像素組。第一不參照像素組和第二不參照像素組必須處于互相比較靠近的位置。這意味著，在第一不參照像素組給定的情況下，可以根據(jù)第一不參照像素組的空間位置和一個(gè)特定的偏移量，找到第二不參照像素組。該偏移量最好由一個(gè)例如來(lái)自第一運(yùn)動(dòng)矢量場(chǎng)的運(yùn)動(dòng)矢量定義，或者通過(guò)從第一運(yùn)動(dòng)矢量場(chǎng)取一個(gè)特定運(yùn)動(dòng)矢量并向其添加一個(gè)Δ(增量)而構(gòu)造。該偏移量也可能是零，即應(yīng)用一個(gè)所謂的空運(yùn)動(dòng)矢量。
在按照本發(fā)明的方法的一個(gè)實(shí)施例中，基于計(jì)算第一不參照像素組與第二圖像中的候選的不參照像素組之間的重疊，來(lái)確定第二不參照像素組。重疊與第一不參照像素組的像素的第一數(shù)量和第二不參照像素組的像素的第二數(shù)量有關(guān)。除此之外，重疊可能與第一不參照像素組的形狀和第二不參照像素組的形狀有關(guān)。計(jì)算重疊，意味著在給定一個(gè)定義第一不參照像素組與第二不參照像素組之間的關(guān)系的候選運(yùn)動(dòng)矢量的情況下，計(jì)算在兩個(gè)圖像中不參照像素的數(shù)量。在確定重疊率較高、例如超過(guò)75％的情況下，假定該候選運(yùn)動(dòng)矢量是一個(gè)適當(dāng)?shù)暮蜻x運(yùn)動(dòng)矢量。隨后，計(jì)算對(duì)應(yīng)的匹配誤差。
第一不參照像素組的大小最好不是太小。因此，第一不參照像素組的像素的第一數(shù)量最好高于一個(gè)第一預(yù)定計(jì)數(shù)閾限。除此之外，第一不參照像素組的大小不是太大。因此，第一不參照像素組的像素的第一數(shù)量最好低于一個(gè)第二預(yù)定計(jì)數(shù)閾限。對(duì)于第二不參照像素組，最好滿足這兩個(gè)相同的條件。對(duì)于標(biāo)準(zhǔn)定義視頻圖像來(lái)說(shuō)，典型的值是第一預(yù)定計(jì)數(shù)等于4*4像素；第二預(yù)定計(jì)數(shù)等于10*10像素。
在按照本發(fā)明的方法的一個(gè)實(shí)施例中，確定匹配誤差包含計(jì)算第一和第二不參照像素組的各自像素值之間的差。例如，匹配誤差可以是絕對(duì)差的和(SAD)。這個(gè)匹配誤差是用于確定圖像部分之間的匹配的較好的度量，不需要密集的計(jì)算。
本發(fā)明的另一個(gè)目的是提供在開(kāi)頭段落中所述的那種變換單元，由此，第二運(yùn)動(dòng)矢量場(chǎng)與第一運(yùn)動(dòng)矢量場(chǎng)相比，更好地代表較小物體的運(yùn)動(dòng)。
這個(gè)目的的實(shí)現(xiàn)，在于該變換單元包含第一確定裝置，用于通過(guò)選擇第一運(yùn)動(dòng)矢量場(chǎng)不含相應(yīng)的運(yùn)動(dòng)矢量的第一圖像的互相連接的像素的第一集合，來(lái)確定第一圖像中的第一不參照像素組；第二確定裝置，用于通過(guò)選擇第一運(yùn)動(dòng)矢量場(chǎng)不含相應(yīng)的運(yùn)動(dòng)矢量的第二圖像的互相連接的像素的第二集合，來(lái)確定第二圖像中的第二不參照像素組；計(jì)算裝置，用于計(jì)算從第一不參照像素組指向第二不參照像素組的候選運(yùn)動(dòng)矢量的匹配誤差；比較裝置，用于將該匹配誤差與一個(gè)預(yù)定的匹配閾限進(jìn)行比較，如果該匹配誤差低于該預(yù)定的閾限，則把該候選運(yùn)動(dòng)矢量分配給第二運(yùn)動(dòng)矢量場(chǎng)的第一個(gè)運(yùn)動(dòng)矢量。
本發(fā)明的另一個(gè)目的是提供在開(kāi)頭段落中所述的那種圖像處理設(shè)備，由此，時(shí)間插值輸出圖像較好地代表具有較高速度的小物體。
這個(gè)目的的實(shí)現(xiàn)，在于該變換單元包含第一確定裝置，用于通過(guò)選擇第一運(yùn)動(dòng)矢量場(chǎng)不含相應(yīng)的運(yùn)動(dòng)矢量的第一圖像的互相連接的像素的第一集合，來(lái)確定第一圖像中的第一不參照像素組；第二確定裝置，用于通過(guò)選擇第一運(yùn)動(dòng)矢量場(chǎng)不合相應(yīng)的運(yùn)動(dòng)矢量的第二圖像的互相連接的像素的第二集合，來(lái)確定第二圖像中的第二不參照像素組；計(jì)算裝置，用于計(jì)算從第一不參照像素組指向第二不參照像素組的候選運(yùn)動(dòng)矢量的匹配誤差；比較裝置，用于將該匹配誤差與一個(gè)預(yù)定的匹配閾限進(jìn)行比較，如果該匹配誤差低于該預(yù)定的閾限，則把該候選運(yùn)動(dòng)矢量分配給第二運(yùn)動(dòng)矢量場(chǎng)的第一個(gè)運(yùn)動(dòng)矢量。
圖像處理設(shè)備可包含額外的部件，例如用于顯示輸出圖像的顯示裝置。圖像處理單元可支持一個(gè)或多個(gè)以下類(lèi)型的圖像處理例如按照MPEG標(biāo)準(zhǔn)的視頻壓縮一即編碼或解碼；
去隔行掃描隔行掃描，是用于交替地發(fā)送奇數(shù)編號(hào)的和偶數(shù)編號(hào)的圖像行的普通視頻廣播程序。去隔行掃描試圖恢復(fù)完全的垂直分辨率，即使得奇數(shù)和偶數(shù)行同時(shí)對(duì)每個(gè)圖像可用；圖像速率(rate)變換從一個(gè)原始輸入圖像系列中計(jì)算出一個(gè)更大的輸出圖像系列。輸出圖像在時(shí)間上位于兩個(gè)原始輸入圖像之間；時(shí)間減噪。這可能也涉及空間處理，導(dǎo)致空間-時(shí)間減噪。
圖像處理設(shè)備例如可以是電視、機(jī)頂盒、VCR(磁帶錄像機(jī))播放器、衛(wèi)星調(diào)諧器、DVD(數(shù)字通用光盤(pán))播放器或記錄器。
本發(fā)明的另一個(gè)目的是提供在開(kāi)頭段落中所述的那種計(jì)算機(jī)程序產(chǎn)品，由此，第二運(yùn)動(dòng)矢量場(chǎng)與第一運(yùn)動(dòng)矢量場(chǎng)相比，更好地代表較小物體的運(yùn)動(dòng)。
這個(gè)目的的實(shí)現(xiàn)，在于計(jì)算機(jī)裝置包含處理裝置和存儲(chǔ)器，計(jì)算機(jī)程序產(chǎn)品在被加載后，給所述處理裝置提供執(zhí)行以下功能的能力第一確定措施，通過(guò)選擇第一運(yùn)動(dòng)矢量場(chǎng)不含相應(yīng)的運(yùn)動(dòng)矢量的第一圖像的互相連接的像素的第一集合，確定第一不參照像素組；第二確定措施，通過(guò)選擇第一運(yùn)動(dòng)矢量場(chǎng)不含相應(yīng)的運(yùn)動(dòng)矢量的第二圖像的互相連接的像素的第二集合，確定第二不參照像素組；計(jì)算措施，計(jì)算從第一不參照像素組指向第二不參照像素組的候選運(yùn)動(dòng)矢量的匹配誤差；比較措施，將該匹配誤差與一個(gè)預(yù)定的匹配閾限進(jìn)行比較，如果該匹配誤差低于該預(yù)定的閾限，則把該候選運(yùn)動(dòng)矢量分配給第二運(yùn)動(dòng)矢量場(chǎng)的第一個(gè)運(yùn)動(dòng)矢量。
本發(fā)明的另一個(gè)目的是提供在開(kāi)頭段落中所述的那種具有改善的壓縮比率(rate)的視頻編碼單元。
這個(gè)目的的實(shí)現(xiàn)，在于變換單元包含第一確定裝置，用于通過(guò)選擇第一運(yùn)動(dòng)矢量場(chǎng)不含相應(yīng)的運(yùn)動(dòng)矢量的第一圖像的互相連接的像素的第一集合，確定第一圖像中的第一不參照像素組；第二確定裝置，用于通過(guò)選擇第一運(yùn)動(dòng)矢量場(chǎng)不含相應(yīng)的運(yùn)動(dòng)矢量的第二圖像的互相連接的像素的第二集合，確定第二圖像中的第二不參照像素組；計(jì)算裝置，用于計(jì)算從第一不參照像素組指向第二不參照像素組的候選運(yùn)動(dòng)矢量的匹配誤差；比較裝置，用于將該匹配誤差與一個(gè)預(yù)定的匹配閾限進(jìn)行比較，如果該匹配誤差低于該預(yù)定的閾限，則把該候選運(yùn)動(dòng)矢量分配給第二運(yùn)動(dòng)矢量場(chǎng)的第一個(gè)運(yùn)動(dòng)矢量。
因?yàn)樽詈蟮倪\(yùn)動(dòng)矢量場(chǎng)更好地代表實(shí)際的運(yùn)動(dòng)，視頻數(shù)據(jù)能更高效地被壓縮。殘余(residue)更小。
該變換單元的修改及其變體可對(duì)應(yīng)于所述圖像處理設(shè)備、方法、視頻編碼單元和計(jì)算機(jī)程序產(chǎn)品的修改及其變體。


依照本發(fā)明的變換單元、圖像處理設(shè)備、方法和計(jì)算機(jī)程序產(chǎn)品的這些和其它方面，將在以下參照附圖所述的實(shí)施方式和實(shí)施例中變得更加明顯并得到闡釋?zhuān)綀D中圖1示出了一個(gè)輸出圖像序列，其中，輸出圖像之一根據(jù)兩個(gè)輸入圖像和一個(gè)由按照現(xiàn)有技術(shù)的運(yùn)動(dòng)估計(jì)單元估計(jì)的運(yùn)動(dòng)矢量場(chǎng)而內(nèi)插；圖2示意性地示出了兩個(gè)輸入圖像中的不參照像素；圖3示意性地示出了按照本發(fā)明的變換單元；圖4示意性地示出了按照本發(fā)明的圖像處理設(shè)備；圖5示出了一個(gè)輸出圖像序列，其中，輸出圖像之一根據(jù)兩個(gè)輸入圖像和一個(gè)通過(guò)按照本發(fā)明的變換單元更新的運(yùn)動(dòng)矢量場(chǎng)而內(nèi)插。
附圖中自始至終用相同的標(biāo)注數(shù)字代表相似的部件。
具體實(shí)施例方式
圖1示出了一個(gè)輸出圖像序列，由此，根據(jù)兩個(gè)輸入圖像和一個(gè)由按照現(xiàn)有技術(shù)的運(yùn)動(dòng)估計(jì)單元估計(jì)的運(yùn)動(dòng)矢量場(chǎng)通過(guò)時(shí)間插值而計(jì)算輸出圖像的其中之一102。輸出圖像的第一個(gè)100等于輸入圖像的第一個(gè)。輸出圖像的第二個(gè)104等于輸入圖像的第二個(gè)。該輸入圖像序列代表一個(gè)足球比賽的一部分。攝影機(jī)在拍攝這個(gè)輸入圖像序列時(shí)進(jìn)行隨動(dòng)拍攝(pan)。在作為相應(yīng)的輸入圖像的直接拷貝的兩個(gè)輸出圖像100、104中，可以看到許多球員106、108、110、巡邊員112和足球114。由于攝影機(jī)的隨動(dòng)拍攝，球員106、108、110、巡邊員112和足球114相對(duì)于背景的速度較高。因此，運(yùn)動(dòng)估計(jì)單元不能正確地估計(jì)這些速度。不幸的是，由于不正確的運(yùn)動(dòng)估計(jì)，球員106、108、110、巡邊員112和足球114在通過(guò)時(shí)間插值而計(jì)算出的輸出圖像102中是不可見(jiàn)的。較后的輸出圖像102只顯示一個(gè)空的足球場(chǎng)。輸出圖像100、102、104的序列的觀眾將觀察到一個(gè)忽隱忽現(xiàn)的序列球員可見(jiàn)、球員可見(jiàn)、球員可見(jiàn)，等等。
圖2示意性地表示兩個(gè)輸入圖像200、202，它們被代表不參照像素204-212、214-222的覆蓋物(masks)所覆蓋。這意味著，第一個(gè)輸入圖像與不參照像素的二進(jìn)制位圖(map)被合并。這些不參照像素在輸入圖像中被表示為底部(back)條紋(stripes)和塊(blocks)。不參照的意思是這些像素尚未被用于如圖1中所示的輸出圖像的時(shí)間插值。它們沒(méi)有被使用的原因是被估計(jì)的運(yùn)動(dòng)矢量場(chǎng)不含對(duì)應(yīng)于這些像素的運(yùn)動(dòng)矢量。
簡(jiǎn)短地察看兩個(gè)圖像200、202，顯示這兩個(gè)圖像包含若干個(gè)較大的區(qū)域或者不參照像素組204-212、214-222。這兩個(gè)圖像的第一個(gè)200的不同的不參照像素組204-212的形狀和大小，與這兩個(gè)圖像的第二個(gè)202的不同的不參照像素組214-222的形狀和大小較好地匹配。例如，兩個(gè)圖像的第一個(gè)200的第一不參照像素組204，與兩個(gè)圖像的第二個(gè)202的第二不參照像素組214較好地匹配。兩個(gè)圖像的第一個(gè)200的第三不參照像素組210，也與兩個(gè)圖像的第二個(gè)202的第四不參照像素組220較好地匹配。按照本發(fā)明的方法和變換單元300根據(jù)的是這個(gè)觀察。變換的方法包含在隨后的圖像中尋找滿足若干條件(如其大小既不太大又不太小以及位于彼此空間環(huán)境中)的相關(guān)的不參照像素組。在第一不參照像素組204的第一空間位置與第二不參照像素組214的第二空間位置之間的估計(jì)差值，代表連接這兩個(gè)不參照像素組204、214的候選運(yùn)動(dòng)矢量。
進(jìn)一步觀察圖2的兩個(gè)圖像，顯示不同的不參照像素組204-212、214-222對(duì)應(yīng)于球員106-110、巡邊員112和足球114。這意味著，不同的不參照像素組204-212、214-222對(duì)應(yīng)于以高速相對(duì)于背景移動(dòng)的較小物體。
圖3示意性地表示按照本發(fā)明的變換單元300。變換單元300被安排用于將第一運(yùn)動(dòng)矢量場(chǎng)MVF1變換成第二運(yùn)動(dòng)矢量場(chǎng)MVF2。第一運(yùn)動(dòng)矢量場(chǎng)MVF1是根據(jù)一個(gè)圖像序列的第一圖像100和第二圖像104，對(duì)于第一圖像100和第二圖像104之間的一個(gè)時(shí)間位置n+a(0＜a＜1)而計(jì)算的。優(yōu)選地，由在文章″True-Motion Estimation with 3-DRecursive Search Block Matching″(作者G.de Haan等，載于IEEETransactions on circuits and systems for video technology，卷3，第5期，1993年10月，368-379頁(yè))中所指定的運(yùn)動(dòng)估計(jì)單元，計(jì)算第一運(yùn)動(dòng)矢量場(chǎng)MVF1。
變換的意思是，第一運(yùn)動(dòng)矢量場(chǎng)MVF1的若干運(yùn)動(dòng)矢量被更新，即被新的運(yùn)動(dòng)矢量取代。通常，第二運(yùn)動(dòng)矢量場(chǎng)MVF2的大部分運(yùn)動(dòng)矢量與第一運(yùn)動(dòng)矢量場(chǎng)MVF1的相應(yīng)的運(yùn)動(dòng)矢量相等。通常，只有較少的第二運(yùn)動(dòng)矢量場(chǎng)MVF2的運(yùn)動(dòng)矢量不同于第一運(yùn)動(dòng)矢量場(chǎng)MVF1的相應(yīng)的運(yùn)動(dòng)矢量。已經(jīng)被更新的運(yùn)動(dòng)矢量對(duì)應(yīng)于較小物體的運(yùn)動(dòng)。盡管通常只有很少的運(yùn)動(dòng)矢量被更新，在內(nèi)插的輸出圖像中的最后結(jié)果可能很大。它可能是足球在一個(gè)在內(nèi)插的輸出圖像中可見(jiàn)與足球在另一個(gè)在內(nèi)插的輸出圖像中不可見(jiàn)之間的差別。它也可能是球員可見(jiàn)還是不可見(jiàn)之間的差別。
變換單元300包含第一確定單元302，用于確定第一圖像中第一不參照像素組；第二確定單元304，用于確定第二圖像中第二不參照像素組；計(jì)算單元306，用于計(jì)算從第一不參照像素組指向第二不參照像素組的候選運(yùn)動(dòng)矢量的匹配誤差；比較單元308，用于將該匹配誤差與一個(gè)預(yù)定的匹配閾限進(jìn)行比較，如果該匹配誤差低于該預(yù)定的閾限T1，則把該候選運(yùn)動(dòng)矢量分配給第二運(yùn)動(dòng)矢量場(chǎng)MVF2的第一個(gè)運(yùn)動(dòng)矢量。
變換單元的工作如下。變換單元300在其第一輸入連接器310處被提供第一運(yùn)動(dòng)矢量場(chǎng)MVF1。根據(jù)第一運(yùn)動(dòng)矢量場(chǎng)MVF1與第一圖像100之間的時(shí)間關(guān)系，第一確定單元302被安排用于判定第一圖像的哪些像素是不被參照的。注意到第一運(yùn)動(dòng)矢量場(chǎng)MVF1屬于t＝n+a，第一圖像屬于t＝n。不被參照的意思是，在第一運(yùn)動(dòng)矢量場(chǎng)MVF1中沒(méi)有任何在這些像素處開(kāi)始或停止的運(yùn)動(dòng)矢量。這個(gè)判定過(guò)程的第一中間結(jié)果，是被參照像素和不被參照像素的一個(gè)二進(jìn)制位圖(也參看圖2)。隨后，在這個(gè)第一中間結(jié)果中搜索互相連接的組。這個(gè)搜索最好由一個(gè)具有4*4像素的內(nèi)核的模板匹配完成，其后跟隨二進(jìn)制區(qū)域增長(zhǎng)。最終，為第一圖像100確定第一不參照像素組。該確定要受第一不參照像素組的大小的上限和下限的限定。這些上限和下限通過(guò)第二輸入連接器318被提供，作為計(jì)數(shù)閾限。
可選地，對(duì)不參照像素的搜索，受對(duì)第一一致性(即第一運(yùn)動(dòng)矢量場(chǎng)MVF1的連續(xù)性)的調(diào)查的控制。在第一運(yùn)動(dòng)矢量場(chǎng)MVF1中的不連續(xù)的空間環(huán)境中，發(fā)現(xiàn)不參照像素的概率較高。除此之外，可以應(yīng)用第一運(yùn)動(dòng)矢量場(chǎng)的相應(yīng)運(yùn)動(dòng)矢量的匹配誤差，來(lái)控制對(duì)不參照像素的搜索。在運(yùn)動(dòng)矢量具有較高匹配誤差的空間環(huán)境中，發(fā)現(xiàn)不參照像素的概率較高。
類(lèi)似地，第二確定單元304被安排用于判定第二圖像的哪些像素是不被參照的(也參看圖2)。這意味著根據(jù)第一運(yùn)動(dòng)矢量場(chǎng)MVF1與第二圖像104之間的關(guān)系。
在確定了第一不參照像素組和第二圖像104的被參照的和不被參照的像素的二進(jìn)制位圖后，變換單元300開(kāi)始調(diào)查第一不參照像素組是否能與第二圖像104中的第二不參照像素組匹配。這個(gè)調(diào)查根據(jù)的是第一不參照像素組的空間位置和若干個(gè)空間偏移量。第一個(gè)空間偏移量等于零。第二個(gè)空間偏移量對(duì)應(yīng)于第一運(yùn)動(dòng)矢量場(chǎng)MVF1的一個(gè)運(yùn)動(dòng)矢量。第三個(gè)空間偏移量對(duì)應(yīng)于與一個(gè)增量組合的后一個(gè)運(yùn)動(dòng)矢量。對(duì)于每個(gè)空間偏移量，比較第一不參照像素組與第二圖像104的二進(jìn)制位圖。在這個(gè)意義上的比較，意味著一種模板匹配(templatematching)。換言之，對(duì)于每個(gè)空間偏移量，計(jì)算第一不參照像素組與第二圖像104的二進(jìn)制位圖的″1″值之間的重疊。一個(gè)對(duì)應(yīng)于大于75％的重疊的空間偏移量，被假設(shè)適合作為一個(gè)候選運(yùn)動(dòng)矢量。
這個(gè)候選運(yùn)動(dòng)矢量隨后通過(guò)計(jì)算單元306被評(píng)估。計(jì)算單元306根據(jù)第二確定單元304所提供的空間偏移量，通過(guò)第三輸入連接器314提供的第一輸入圖像100的像素值和通過(guò)第四輸入連接器312提供的第二輸入圖像104的像素值，來(lái)計(jì)算匹配誤差。像素值例如可代表亮度和/或色度。通常，應(yīng)用第一不參照像素組和第二不參照像素組的像素的像素值。
然后，將所計(jì)算的匹配誤差和候選運(yùn)動(dòng)矢量提供到比較單元308。比較單元308比較該匹配誤差與一個(gè)預(yù)定的匹配閾限T1，后者是通過(guò)第五輸入連接器322提供的，或者是從第五輸入連接器322所提供的外部輸入得到的。在圖像的亮度水平數(shù)等于256并且第一不參照像素組的大小等于16個(gè)像素的情況下，該預(yù)定的匹配閾限T1的典型的值等于48。如果所計(jì)算的匹配誤差低于預(yù)定匹配閾限T1，則把候選運(yùn)動(dòng)矢量賦予第二運(yùn)動(dòng)矢量場(chǎng)MVF2的適當(dāng)?shù)倪\(yùn)動(dòng)矢量。該適當(dāng)?shù)倪\(yùn)動(dòng)矢量的坐標(biāo)，是根據(jù)第二運(yùn)動(dòng)矢量場(chǎng)MVF2的時(shí)間位置(n+a)、第一不參照像素組的空間位置、以及根據(jù)候選運(yùn)動(dòng)矢量來(lái)確定的。顯然，第一不參照像素組的大小是與被更新的適當(dāng)?shù)倪\(yùn)動(dòng)矢量的數(shù)目有關(guān)的。
第一確定單元302、第二確定單元304、計(jì)算單元306和比較單元308，可以用一個(gè)處理器實(shí)現(xiàn)。通常，這些功能是在一個(gè)軟件程序產(chǎn)品的控制下執(zhí)行完成的。在執(zhí)行期間，通常將軟件程序產(chǎn)品加載到如RAM的存儲(chǔ)器中，并從存儲(chǔ)器中執(zhí)行。程序可以從后臺(tái)存儲(chǔ)器中一例如ROM、硬盤(pán)或磁性和/或光學(xué)存儲(chǔ)器一加載，或者可以通過(guò)諸如因特網(wǎng)的網(wǎng)絡(luò)加載?？蛇x地，一個(gè)專(zhuān)用集成電路提供所公開(kāi)的功能。
圖4示意性地表示按照本發(fā)明的圖像處理設(shè)備400，包含接收裝置402，用于接收代表一個(gè)輸入圖像序列的信號(hào)；運(yùn)動(dòng)估計(jì)單元408，被安排來(lái)為第一個(gè)輸入圖像和第二個(gè)輸入圖像中間的一個(gè)時(shí)間位置估計(jì)第一運(yùn)動(dòng)矢量場(chǎng)。第一運(yùn)動(dòng)矢量場(chǎng)包括在第一運(yùn)動(dòng)矢量場(chǎng)的時(shí)間位置的圖像的像素的相應(yīng)運(yùn)動(dòng)矢量；結(jié)合圖3所述的變換單元300，被安排用于計(jì)算第二運(yùn)動(dòng)矢量場(chǎng)；圖像處理單元404，被安排用于根據(jù)輸入圖像序列和第二運(yùn)動(dòng)矢量場(chǎng)計(jì)算輸出圖像；顯示裝置406，用于顯示圖像處理單元404的輸出圖像。
信號(hào)可以是通過(guò)天線或電纜接收的廣播信號(hào)，但也可以是來(lái)自諸如VCR(磁帶錄像機(jī))或數(shù)字通用光盤(pán)盤(pán)(DVD)的存儲(chǔ)裝置的信號(hào)。信號(hào)是在輸入連接器410處提供的。圖像處理設(shè)備400例如可以是個(gè)電視?；蛘?，圖像處理設(shè)備400不包含可選的顯示裝置，而是把輸出圖像提供到一個(gè)確實(shí)包含顯示裝置406的設(shè)備。因而，圖像處理設(shè)備400可以是機(jī)頂盒、衛(wèi)星調(diào)諧器、VCR播放器、DVD(數(shù)字通用光盤(pán))播放器或記錄器?？蛇x地，圖像處理設(shè)備400包含如硬盤(pán)的存儲(chǔ)裝置或者用于在可移動(dòng)存儲(chǔ)介質(zhì)上存儲(chǔ)的裝置，例如光盤(pán)。圖像處理設(shè)備400也可以是一個(gè)被電影公司或廣播公司應(yīng)用的系統(tǒng)。
作為選擇，將變換單元300應(yīng)用在一個(gè)視頻編碼單元中。按照本發(fā)明的變換單元300，對(duì)于例如MPEG編碼中的B幀的計(jì)算特別重要。
圖5表示一個(gè)輸出圖像序列100、101、104，由此根據(jù)兩個(gè)輸入圖像和通過(guò)按照本發(fā)明的變換單元300更新的運(yùn)動(dòng)矢量場(chǎng)，內(nèi)插輸出圖像之一101。注意到該輸出圖像序列的第一個(gè)100和第二個(gè)104與圖1中所示的相同。然而，圖5中所示的輸出圖像序列的第三個(gè)101與圖1中所示的輸出圖像序列的第三個(gè)102實(shí)質(zhì)不同?？梢郧宄乜吹剑ㄟ^(guò)應(yīng)用更新的運(yùn)動(dòng)矢量場(chǎng)，即改善的運(yùn)動(dòng)矢量場(chǎng)，計(jì)算出一個(gè)實(shí)質(zhì)上更好的內(nèi)插的輸出圖像?，F(xiàn)在，球員106、108、110、巡邊員112和足球114在整個(gè)輸出圖像序列中都是可見(jiàn)的。該序列的觀眾將不會(huì)觀察到結(jié)合圖1所述的忽隱忽現(xiàn)，而是觀察到一個(gè)平滑的運(yùn)動(dòng)畫(huà)面。
應(yīng)當(dāng)指出，上述實(shí)施例說(shuō)明而不是限制本發(fā)明，所屬技術(shù)領(lǐng)域的熟練人員在不偏離后附的權(quán)利要求的范圍的情況下將能夠設(shè)計(jì)可替代的實(shí)施例。在權(quán)利要求中，括號(hào)中的任何標(biāo)注符號(hào)不應(yīng)被解釋為對(duì)權(quán)利要求的限制?！鞍币辉~并不排除存在在權(quán)利要求中未列舉的部件或步驟。部件前面的“一個(gè)”一詞并不排除存在多個(gè)這樣的部件。本發(fā)明可以通過(guò)包含幾個(gè)不同部件的硬件并通過(guò)適當(dāng)編程的計(jì)算機(jī)實(shí)現(xiàn)。在枚舉若干個(gè)裝置的部件權(quán)利要求中，這些“裝置”中的幾種可以由相同的或同一個(gè)硬件實(shí)現(xiàn)。“第一”、“第二”和“第三”等的使用，并不表明任何順序。這些詞語(yǔ)要被解釋為名稱。這意味著，例如，第一圖像可以在第二圖像之前，也可以在第二圖像之后。
權(quán)利要求
1.一種通過(guò)確定第二運(yùn)動(dòng)矢量場(chǎng)的第一個(gè)運(yùn)動(dòng)矢量將第一運(yùn)動(dòng)矢量場(chǎng)變換為第二運(yùn)動(dòng)矢量場(chǎng)的方法，第一運(yùn)動(dòng)矢量場(chǎng)是根據(jù)一個(gè)圖像序列的第一圖像和第二圖像來(lái)為第一圖像和第二圖像之間的一個(gè)時(shí)間位置計(jì)算出的，該方法包含通過(guò)選擇第一運(yùn)動(dòng)矢量場(chǎng)不含相應(yīng)運(yùn)動(dòng)矢量的第一圖像的互相連接的像素的第一集合，來(lái)確定第一圖像中的第一不參照像素組；通過(guò)選擇第一運(yùn)動(dòng)矢量場(chǎng)不含相應(yīng)運(yùn)動(dòng)矢量的第二圖像的互相連接的像素的第二集合，來(lái)確定第二圖像中的第二不參照像素組；計(jì)算一個(gè)從第一不參照像素組指向第二不參照像素組的候選運(yùn)動(dòng)矢量的匹配誤差；將該匹配誤差與一個(gè)預(yù)定的匹配閾限進(jìn)行比較，如果該匹配誤差低于該預(yù)定的閾限，則把該候選運(yùn)動(dòng)矢量分配給第二運(yùn)動(dòng)矢量場(chǎng)的第一個(gè)運(yùn)動(dòng)矢量。
2.如權(quán)利要求1中所要求的變換方法，由此根據(jù)第一不參照像素組來(lái)確定第二不參照像素組。
3.如權(quán)利要求2中所要求的變換方法，由此根據(jù)第一不參照像素組的空間環(huán)境并且根據(jù)一個(gè)屬于第一運(yùn)動(dòng)矢量場(chǎng)且位于第一不參照像素組的空間環(huán)境中的特定運(yùn)動(dòng)矢量，來(lái)確定第二不參照像素組。
4.如權(quán)利要求2中所要求的變換方法，由此根據(jù)第一不參照像素組的空間環(huán)境和一個(gè)空運(yùn)動(dòng)矢量，來(lái)確定第二不參照像素組。
5.如權(quán)利要求1中所要求的變換方法，由此基于計(jì)算第一不參照像素組與第二圖像中的候選的不參照像素組之間的重疊，來(lái)確定第二不參照像素組。
6.如權(quán)利要求1中所要求的變換方法，由此第一不參照像素組的像素的第一數(shù)量超過(guò)第一預(yù)定計(jì)數(shù)閾限。
7.如權(quán)利要求1中所要求的變換方法，由此第一不參照像素組的像素的第一數(shù)量低于第二預(yù)定計(jì)數(shù)閾限。
8.如權(quán)利要求1中所要求的變換方法，由此確定匹配誤差包含計(jì)算第一和第二不參照像素組的相應(yīng)像素值之間的差。
9.一種變換單元(300)，用于通過(guò)確定第二運(yùn)動(dòng)矢量場(chǎng)的第一個(gè)運(yùn)動(dòng)矢量來(lái)將第一運(yùn)動(dòng)矢量場(chǎng)變換為第二運(yùn)動(dòng)矢量場(chǎng)，該第一運(yùn)動(dòng)矢量場(chǎng)是根據(jù)一個(gè)圖像序列的第一圖像和第二圖像來(lái)為第一圖像和第二圖像之間的一個(gè)時(shí)間位置計(jì)算出的，該單元包含第一確定裝置(302)，用于通過(guò)選擇第一運(yùn)動(dòng)矢量場(chǎng)不含相應(yīng)運(yùn)動(dòng)矢量的第一圖像的互相連接的像素的第一集合，來(lái)確定第一圖像中的第一不參照像素組；第二確定裝置(304)，用于通過(guò)選擇第一運(yùn)動(dòng)矢量場(chǎng)不含相應(yīng)的運(yùn)動(dòng)矢量的第二圖像的互相連接的像素的第二集合，來(lái)確定第二圖像中的第二不參照像素組；計(jì)算裝置(306)，用于計(jì)算從第一不參照像素組指向第二不參照像素組的候選運(yùn)動(dòng)矢量的匹配誤差；比較裝置(308)，用于將該匹配誤差與一個(gè)預(yù)定的匹配閾限進(jìn)行比較，如果該匹配誤差低于該預(yù)定的閾限，則把該候選運(yùn)動(dòng)矢量分配給第二運(yùn)動(dòng)矢量場(chǎng)的第一個(gè)運(yùn)動(dòng)矢量。
10.一種圖像處理設(shè)備(400)，包含接收裝置(402)，用于接收對(duì)應(yīng)于一個(gè)輸入圖像序列的信號(hào)；和圖像處理單元(404)，用于根據(jù)該輸入圖像序列并根據(jù)由如權(quán)利要求9中所要求的用于變換的變換單元所提供的第二運(yùn)動(dòng)矢量來(lái)計(jì)算一個(gè)輸出圖像序列。
11.如權(quán)利要求10中所要求的圖像處理設(shè)備(400)，特征在于進(jìn)一步包含用于顯示輸出圖像的顯示裝置(406)。
12.如權(quán)利要求11中所要求的圖像處理設(shè)備(400)，特征在于它是一個(gè)電視機(jī)。
13.一種視頻編碼單元，包含如權(quán)利要求9中所要求的變換單元。
14.一種要被計(jì)算機(jī)裝置加載的計(jì)算機(jī)程序產(chǎn)品，包含用于通過(guò)確定第二運(yùn)動(dòng)矢量場(chǎng)的第一個(gè)運(yùn)動(dòng)矢量將第一運(yùn)動(dòng)矢量場(chǎng)變換為第二運(yùn)動(dòng)矢量場(chǎng)的指令，該第一運(yùn)動(dòng)矢量場(chǎng)是根據(jù)一個(gè)圖像序列的第一圖像和第二圖像來(lái)為第一圖像和第二圖像之間的一個(gè)時(shí)間位置計(jì)算出的，該計(jì)算機(jī)裝置包含處理裝置和存儲(chǔ)器，該計(jì)算機(jī)程序產(chǎn)品在被加載后，為所述處理裝置提供執(zhí)行以下功能的能力通過(guò)選擇第一運(yùn)動(dòng)矢量場(chǎng)不含相應(yīng)的運(yùn)動(dòng)矢量的第一圖像的互相連接的像素的第一集合，來(lái)確定第一圖像中的第一不參照像素組；通過(guò)選擇第一運(yùn)動(dòng)矢量場(chǎng)不含相應(yīng)的運(yùn)動(dòng)矢量的第二圖像的互相連接的像素的第二集合，來(lái)確定第二圖像中的第二不參照像素組；計(jì)算一個(gè)從第一不參照像素組指向第二不參照像素組的候選運(yùn)動(dòng)矢量的匹配誤差；將該匹配誤差與一個(gè)預(yù)定的匹配閩限進(jìn)行比較，如果該匹配誤差低于該預(yù)定的閩限，則把該候選運(yùn)動(dòng)矢量分配給第二運(yùn)動(dòng)矢量場(chǎng)的第一個(gè)運(yùn)動(dòng)矢量。
全文摘要
公開(kāi)一種變換單元(300)，用于將第一運(yùn)動(dòng)矢量場(chǎng)(MVF1)變換為第二運(yùn)動(dòng)矢量場(chǎng)(MVF2)。第一運(yùn)動(dòng)矢量場(chǎng)是根據(jù)一個(gè)圖像序列的第一圖像和第二圖像來(lái)為第一圖像和第二圖像之間的一個(gè)時(shí)間位置計(jì)算出的。該變換單元(300)包含第一確定裝置(302)，用于確定第一圖像中的第一不參照像素組；第二確定裝置(304)，用于確定第二圖像中的第二不參照像素組；計(jì)算裝置(306)，用于計(jì)算從第一不參照像素組指向第二不參照像素組的候選運(yùn)動(dòng)矢量的匹配誤差；比較裝置(308)，用于將該匹配誤差與一個(gè)預(yù)定的匹配閾限進(jìn)行比較，如果該匹配誤差低于該預(yù)定的閾限，則把該候選運(yùn)動(dòng)矢量分配給第二運(yùn)動(dòng)矢量場(chǎng)的第一個(gè)運(yùn)動(dòng)矢量。
文檔編號(hào)G06T7/20GK1875633SQ200480031694
公開(kāi)日2006年12月6日 申請(qǐng)日期2004年10月19日 優(yōu)先權(quán)日2003年10月28日
發(fā)明者R·B·M·克雷恩根尼威克, F·J·德布魯恩 申請(qǐng)人:皇家飛利浦電子股份有限公司