專利名稱：運(yùn)動(dòng)矢量檢測(cè)裝置、運(yùn)動(dòng)矢量檢測(cè)方法和計(jì)算機(jī)程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種運(yùn)動(dòng)矢量檢測(cè)裝置、運(yùn)動(dòng)矢量檢測(cè)方法和計(jì)算機(jī)程序。具體地，本發(fā)明涉及一種從運(yùn)動(dòng)圖像數(shù)據(jù)中檢測(cè)運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量檢測(cè)裝置、運(yùn)動(dòng)矢量檢測(cè)方法和計(jì)算機(jī)程序。
背景技術(shù)：
隨著近來(lái)信息處理設(shè)備和通信終端功能的提高、高速通信基礎(chǔ)設(shè)施的發(fā)展、以及諸如DVD和藍(lán)光盤等高密度記錄媒體的普及，通過(guò)網(wǎng)絡(luò)的運(yùn)動(dòng)圖像數(shù)據(jù)的配送、使用高密度記錄媒體的運(yùn)動(dòng)圖像數(shù)據(jù)的存儲(chǔ)和再現(xiàn)等正盛行。鑒于這個(gè)情況，期望運(yùn)動(dòng)圖像數(shù)據(jù)的數(shù)據(jù)處理例如編碼等的效率或者速度得到提高。
例如，在運(yùn)動(dòng)圖像數(shù)據(jù)高效編碼的運(yùn)動(dòng)補(bǔ)償圖像編碼以及交通監(jiān)視系統(tǒng)或者自主行駛車輛的視覺傳感器的運(yùn)動(dòng)物體檢測(cè)或者速度檢測(cè)中，需要被包括在圖像數(shù)據(jù)中的每個(gè)物體的運(yùn)動(dòng)方向和大小(速度)的檢測(cè)，即運(yùn)動(dòng)矢量的檢測(cè)。
例如，作為運(yùn)動(dòng)補(bǔ)償圖像編碼的例子，已經(jīng)提出了作為運(yùn)動(dòng)圖像高效編碼國(guó)際標(biāo)準(zhǔn)的MPEG(運(yùn)動(dòng)圖像編碼專家組)編碼。MPEG編碼是通過(guò)將DCT(離散余弦變換)和運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼進(jìn)行組合來(lái)執(zhí)行編碼。在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼中，檢測(cè)運(yùn)動(dòng)圖像數(shù)據(jù)的連續(xù)幀之間，即當(dāng)前幀和緊前幀之間的圖像信號(hào)級(jí)別的相關(guān)性，基于所檢測(cè)的相關(guān)性來(lái)檢測(cè)運(yùn)動(dòng)矢量，并且基于所檢測(cè)的運(yùn)動(dòng)矢量來(lái)校正運(yùn)動(dòng)圖像，由此實(shí)現(xiàn)高效編碼。
作為檢測(cè)運(yùn)動(dòng)矢量的方法，公知塊匹配法。參考圖1，說(shuō)明塊匹配法的概要。提取出運(yùn)動(dòng)圖像在時(shí)間上連續(xù)的幀圖像，例如圖中時(shí)間(t)上的當(dāng)前幀[Ft]20和時(shí)間(t-1)上的先前幀[Ft-1]10。幀圖像的一個(gè)畫面被分割成由多個(gè)像素構(gòu)成的m像素×n行的小區(qū)域(以后稱為塊)。
將當(dāng)前幀[Ft]20用作為基準(zhǔn)幀，基準(zhǔn)幀的檢查塊By 21在特定的搜索區(qū)域22內(nèi)移動(dòng)，檢測(cè)出與先前幀[Ft-1]10的基準(zhǔn)塊Bx 11具有最小像素值差、即具有像素值之最高匹配度(最高相關(guān)性)的檢查塊。假定先前幀[Ft-1]10的基準(zhǔn)塊Bx11已經(jīng)移動(dòng)到從當(dāng)前幀[Ft]20檢測(cè)的高度相關(guān)的檢查塊的位置?；诒硎舅俣ㄟ\(yùn)動(dòng)的矢量，計(jì)算每個(gè)像素的運(yùn)動(dòng)矢量。如上述，在塊匹配法中，運(yùn)動(dòng)矢量是通過(guò)基于具有預(yù)定尺寸(m×n)的單個(gè)塊來(lái)檢查幀之間的相關(guān)性(匹配)被確定的。
在塊匹配法中，運(yùn)動(dòng)矢量是以每個(gè)塊為基礎(chǔ)確定的。作為表示每個(gè)塊的相關(guān)性即匹配度的估計(jì)值，例如使用幀差的絕對(duì)值之和，該幀差絕對(duì)值之和通過(guò)下述獲得將基準(zhǔn)塊Bx內(nèi)的多個(gè)像素和檢查塊By內(nèi)的在空間上對(duì)應(yīng)位置上的多個(gè)像素之間的值相減來(lái)計(jì)算幀差，以及將所計(jì)算的幀差的絕對(duì)值累加?；蛘?，例如，也可以使用幀差的平方和。
但是，在上述塊匹配法中，由于要執(zhí)行全部搜索以比較搜索區(qū)域內(nèi)的所有數(shù)據(jù)，因此檢測(cè)所需要的比較次數(shù)是非常大的，以致為了運(yùn)動(dòng)檢測(cè)要花費(fèi)很長(zhǎng)的時(shí)間，這是不利的。
而且，當(dāng)運(yùn)動(dòng)部分和靜止部分都包括在塊中時(shí)，以塊為基礎(chǔ)檢測(cè)的運(yùn)動(dòng)不會(huì)精確地對(duì)應(yīng)于塊中各個(gè)像素的運(yùn)動(dòng)。盡管這個(gè)問(wèn)題通過(guò)設(shè)定塊尺寸能夠被緩解，但是，例如，當(dāng)塊尺寸增大時(shí)，計(jì)算量增加，并且可能產(chǎn)生塊內(nèi)多個(gè)運(yùn)動(dòng)的問(wèn)題。相反，當(dāng)塊尺寸降低時(shí)，由于用于檢查匹配的區(qū)域變小，將產(chǎn)生運(yùn)動(dòng)檢測(cè)精度降低的問(wèn)題。就是說(shuō)，當(dāng)進(jìn)行塊匹配時(shí)，可能產(chǎn)生與基準(zhǔn)塊類似的大量的檢查塊，即具有與基準(zhǔn)塊的高度相關(guān)性的檢查塊。這是因?yàn)?，其包括了不歸因于運(yùn)動(dòng)的塊。這降低了運(yùn)動(dòng)檢測(cè)的精確性。例如，當(dāng)文本放映機(jī)(telop)水平或者垂直地運(yùn)動(dòng)時(shí)，可能產(chǎn)生重復(fù)圖案效應(yīng)。在漢字字符文本圖案的情況下，當(dāng)相同字符被分割成小的部分時(shí)，小的圖案經(jīng)常發(fā)生。因此，當(dāng)多個(gè)運(yùn)動(dòng)存在于塊中時(shí)，確定正確的運(yùn)動(dòng)是困難的。
例如在專利文獻(xiàn)1中，本專利申請(qǐng)的申請(qǐng)人已經(jīng)提出了一種運(yùn)動(dòng)矢量檢測(cè)方法和檢測(cè)裝置，其中能夠?qū)Ω鱾€(gè)像素檢測(cè)運(yùn)動(dòng)矢量，防止不正確檢測(cè)，而不增加計(jì)算量。
專利文獻(xiàn)1公開的運(yùn)動(dòng)矢量檢測(cè)處理的要點(diǎn)是代替計(jì)算估計(jì)值和確定每個(gè)像素或者每個(gè)塊的運(yùn)動(dòng)矢量，作為處理的第一步，將每個(gè)都由多個(gè)像素構(gòu)成的多個(gè)塊設(shè)置在一個(gè)幀中，并設(shè)置各個(gè)塊的代表點(diǎn)，檢查在另一個(gè)幀中設(shè)置的搜索區(qū)域內(nèi)的每個(gè)代表點(diǎn)和每個(gè)像素之間的相關(guān)性，并計(jì)算基于相關(guān)性信息的估計(jì)值以產(chǎn)生估計(jì)值表作為基于估計(jì)值的相關(guān)性信息，以及從該估計(jì)值表中提取出多個(gè)候選矢量。然后，作為處理的第二步，從所提取的候選矢量中選擇推測(cè)為最優(yōu)的候選矢量并且與每個(gè)像素進(jìn)行關(guān)聯(lián)，由此將該候選矢量確定為每個(gè)像素的運(yùn)動(dòng)矢量。如上述，各個(gè)像素的運(yùn)動(dòng)矢量通過(guò)下述確定產(chǎn)生估計(jì)值表；基于估計(jì)值表選擇候選矢量；以及關(guān)聯(lián)從多個(gè)候選矢量中選擇的候選矢量，作為每個(gè)像素的運(yùn)動(dòng)矢量。
該方法下文將稱為候選矢量法。
通過(guò)候選矢量法實(shí)現(xiàn)的運(yùn)動(dòng)矢量檢測(cè)處理的優(yōu)點(diǎn)是通過(guò)基于估計(jì)值表來(lái)提取有限數(shù)量的候選矢量，能夠降低計(jì)算量。另一個(gè)優(yōu)點(diǎn)是即使在可能發(fā)生運(yùn)動(dòng)矢量不正確檢測(cè)的物體的邊界區(qū)域中，也有可能從預(yù)先選擇的候選矢量中確定出每個(gè)像素的最佳運(yùn)動(dòng)矢量。迄今是這種情況通過(guò)全部搜索，即通過(guò)計(jì)算例如幀之間的像素差作為估計(jì)值以及計(jì)算幀內(nèi)所有像素的估計(jì)值，來(lái)確定每個(gè)像素的運(yùn)動(dòng)矢量。在候選矢量法中，有可能從預(yù)先選擇的候選矢量中確定每個(gè)像素的最佳運(yùn)動(dòng)矢量。因此，與全部搜索比較，相同估計(jì)值發(fā)生的概率降低了，由此防止了不正確檢測(cè)。
但是，在用于生成估計(jì)值表的處理中，設(shè)置各個(gè)塊的代表點(diǎn)，檢查每個(gè)代表點(diǎn)和在另一個(gè)幀中設(shè)置的搜索區(qū)域中的每個(gè)像素之間的相關(guān)性以基于相關(guān)性信息計(jì)算估計(jì)值，以及累加估計(jì)值。
例如，當(dāng)代表點(diǎn)像素X和包括在搜索區(qū)域中的輸入像素Y之間的差的絕對(duì)值小于特定的閾值TH時(shí)，該估計(jì)值被設(shè)置作為累加估計(jì)值。即，當(dāng)滿足下式時(shí)|X-Y|＜TH就在估計(jì)值表的相應(yīng)位置上計(jì)數(shù)+1，畫面上所有代表點(diǎn)的計(jì)算結(jié)果被合計(jì)到估計(jì)表中，由此生成估計(jì)值表。
在生成估計(jì)值表中，僅僅基于代表點(diǎn)的亮度級(jí)別和搜索區(qū)域內(nèi)輸入像素的亮度級(jí)別來(lái)檢查相關(guān)性。因此，當(dāng)使用圖2所示的當(dāng)前幀31和先前幀30來(lái)生成用于運(yùn)動(dòng)矢量檢測(cè)的估計(jì)值表時(shí)，在當(dāng)前幀31中所設(shè)置的搜索區(qū)域32內(nèi)搜索對(duì)應(yīng)于先前幀30內(nèi)代表點(diǎn)38的高相關(guān)像素，即基本上具有相同亮度級(jí)別的像素，并且在估計(jì)值表中累加并計(jì)數(shù)該像素。
在圖2右側(cè)所示的圖形中，示出了穿過(guò)先前幀30內(nèi)代表點(diǎn)38的在X方向的一線的像素級(jí)別、以及當(dāng)前幀搜索區(qū)域32內(nèi)的在X方向的一線的像素級(jí)別。
當(dāng)用先前幀的代表點(diǎn)38的像素級(jí)別＝100來(lái)從搜索區(qū)域38搜索具有高相關(guān)性的像素即具有類似像素級(jí)別的像素時(shí)，檢測(cè)到三個(gè)像素35、36和37。這三個(gè)像素都滿足條件|X-Y|＜TH因此這些像素被設(shè)置作為估計(jì)值表中的累加點(diǎn)。但是，實(shí)際上，在三個(gè)像素35、36和37中僅僅像素36與正確運(yùn)動(dòng)矢量相關(guān)聯(lián)，因此其它兩個(gè)像素35和37被不正確地作為累加點(diǎn)加到估計(jì)值表中。
如上述，在迄今已經(jīng)使用的用于生成估計(jì)值表的方法中，可能發(fā)生基于不正確信息的累加，因此使得不能確定由估計(jì)值表內(nèi)的峰值所表示的候選矢量都是正確的。能夠?qū)⑵袷褂玫墓烙?jì)值表生成處理中的問(wèn)題歸納如下(a)在僅僅基于與所檢測(cè)代表點(diǎn)之間的相關(guān)性來(lái)計(jì)數(shù)+1的方法中，估計(jì)值表的頻率依賴于圖像內(nèi)物體的面積。因此，從估計(jì)值表中檢測(cè)出畫面上存在的多個(gè)物體的運(yùn)動(dòng)矢量是困難的。
(b)由于估計(jì)值表內(nèi)峰值的大小依賴于物體的面積，因此對(duì)應(yīng)于諸如放映機(jī)的圖像內(nèi)具有小面積但顯著的物體候選矢量的峰值小，使得讀出候選矢量困難。
而且，當(dāng)基于候選矢量最終確定與每個(gè)像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量時(shí)，進(jìn)行塊匹配。在塊匹配中，鄰近先前幀中關(guān)注像素(subject pixel)的像素被設(shè)置作為塊，被包括在塊中的多個(gè)像素的相關(guān)性被整體檢測(cè)。為了通過(guò)塊匹配正確地確定運(yùn)動(dòng)矢量，需要增加塊尺寸以便正確地檢查相關(guān)性。當(dāng)塊尺寸增加時(shí)，諸如差的絕對(duì)值的和的計(jì)算的用于計(jì)算相關(guān)性的估計(jì)值的計(jì)算量增加。因此，效率降低，用于保持像素值的存儲(chǔ)器大小一定增加，引起增加硬件規(guī)模的問(wèn)題。
日本未審查專利申請(qǐng)公開號(hào)2001-61152。

發(fā)明內(nèi)容
本發(fā)明考慮了上述問(wèn)題，本發(fā)明的目的是提供一種運(yùn)動(dòng)矢量檢測(cè)裝置、運(yùn)動(dòng)矢量檢測(cè)方法和計(jì)算機(jī)程序，其通過(guò)檢查考慮了代表點(diǎn)以及鄰近代表點(diǎn)的像素級(jí)別的空間波形的相關(guān)性，而使得在基于代表點(diǎn)匹配的估計(jì)值表的生成中，能夠生成更精確的估計(jì)值表和進(jìn)行運(yùn)動(dòng)矢量的更精確檢測(cè)。
本發(fā)明的另一目的是提供一種運(yùn)動(dòng)矢量檢測(cè)裝置、運(yùn)動(dòng)矢量檢測(cè)方法和計(jì)算機(jī)程序，其通過(guò)檢查代表點(diǎn)以及鄰近代表點(diǎn)的像素是否具有與代表點(diǎn)相類似的運(yùn)動(dòng)來(lái)檢查相關(guān)性，使得在基于代表點(diǎn)匹配的估計(jì)值表的生成中，能夠生成更精確的估計(jì)值表和進(jìn)行運(yùn)動(dòng)矢量的更精確檢測(cè)。
本發(fā)明的又一目的是提供一種運(yùn)動(dòng)矢量檢測(cè)裝置、運(yùn)動(dòng)矢量檢測(cè)方法和計(jì)算機(jī)程序，其在從多個(gè)候選矢量中確定與每個(gè)像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量時(shí)不使用塊匹配而能夠在例如基于候選矢量方法的運(yùn)動(dòng)矢量檢測(cè)處理中進(jìn)行運(yùn)動(dòng)矢量的正確確定。
本發(fā)明的第一方面是用于從運(yùn)動(dòng)圖像數(shù)據(jù)中檢測(cè)運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量檢測(cè)裝置，所述運(yùn)動(dòng)矢量檢測(cè)裝置包括估計(jì)值表生成器，其基于時(shí)間軸上在不同幀之間的像素值相關(guān)性信息而生成估計(jì)值表；以及運(yùn)動(dòng)矢量確定器，其基于估計(jì)值表來(lái)檢測(cè)運(yùn)動(dòng)圖像數(shù)據(jù)幀內(nèi)像素的運(yùn)動(dòng)矢量，并將該運(yùn)動(dòng)矢量與該像素相關(guān)聯(lián)，其中，所述估計(jì)值表生成器包括像素相關(guān)性計(jì)算器，其以基于從一個(gè)幀中所選擇的代表點(diǎn)的代表點(diǎn)匹配為基礎(chǔ)，計(jì)算時(shí)間軸上在不同幀之間的相關(guān)性信息；權(quán)重計(jì)算器，其使用由像素相關(guān)性計(jì)算器的計(jì)算結(jié)果、和以在關(guān)注像素和鄰近關(guān)注像素的像素之間的像素值差為基礎(chǔ)的計(jì)算結(jié)果中的至少一個(gè)，來(lái)生成運(yùn)動(dòng)的可信度指數(shù)；以及估計(jì)值表計(jì)算器，其通過(guò)累加對(duì)應(yīng)于由權(quán)重計(jì)算器計(jì)算的可信度指數(shù)的估計(jì)值來(lái)生成估計(jì)值表。
而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，所述運(yùn)動(dòng)矢量檢測(cè)裝置還包括運(yùn)動(dòng)相似性檢測(cè)器，其檢測(cè)在對(duì)應(yīng)于關(guān)注像素的代表點(diǎn)和鄰近該代表點(diǎn)的代表點(diǎn)之間的運(yùn)動(dòng)的相似性，以及權(quán)重計(jì)算器基于作為運(yùn)動(dòng)相似性檢測(cè)器檢測(cè)結(jié)果的在代表點(diǎn)和鄰近代表點(diǎn)之間存在運(yùn)動(dòng)相似性的判定，通過(guò)考慮在代表點(diǎn)和鄰近代表點(diǎn)之間的像素值差來(lái)生成運(yùn)動(dòng)的可信度指數(shù)。
而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，如果在代表點(diǎn)之間存在運(yùn)動(dòng)相似性的判定已經(jīng)從運(yùn)動(dòng)相似性檢測(cè)器輸入，則權(quán)重計(jì)算器被構(gòu)成為根據(jù)下述公式并基于關(guān)注代表點(diǎn)的亮度級(jí)別Pm和被確定為具有運(yùn)動(dòng)相似性的N個(gè)鄰近代表點(diǎn)的亮度級(jí)別Pn來(lái)計(jì)算可信度指數(shù)β[公式2]β=ΣnN|Pm-Pn|]]>而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，所述運(yùn)動(dòng)矢量檢測(cè)裝置還包括計(jì)算器，其接收來(lái)自像素相關(guān)性計(jì)算器的基于代表點(diǎn)匹配的有無(wú)相關(guān)性的檢查結(jié)果的輸入、和來(lái)自權(quán)重計(jì)算器的可信度指數(shù)的輸入，以及計(jì)算器被構(gòu)成為把從像素相關(guān)性計(jì)算器輸入的基于代表點(diǎn)匹配的有無(wú)相關(guān)性的檢查結(jié)果和可信度系數(shù)進(jìn)行相加或者相乘，以計(jì)算最終估計(jì)值，并且將最終估計(jì)值輸出到估計(jì)值表計(jì)算器。
而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，如果在代表點(diǎn)之間存在運(yùn)動(dòng)相似性的判定已經(jīng)從運(yùn)動(dòng)相似性檢測(cè)器輸入，則權(quán)重計(jì)算器被構(gòu)成為計(jì)算可信度指數(shù)，使得可信度指數(shù)反映下述參數(shù)中的至少一個(gè)(a)鄰近代表點(diǎn)的運(yùn)動(dòng)的匹配或者相似性的例數(shù)；(b)與具有匹配或者相似運(yùn)動(dòng)的代表點(diǎn)之間的空間梯度；(c)具有匹配或者相似運(yùn)動(dòng)的代表點(diǎn)之間的距離。
而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，估計(jì)值表生成器還包括代表點(diǎn)靜止檢查器，其檢查代表點(diǎn)是否處于靜止區(qū)域中，以及當(dāng)代表點(diǎn)靜止檢查器確定代表點(diǎn)處于靜止區(qū)域中時(shí)，權(quán)重計(jì)算器被構(gòu)成為將可信度指數(shù)設(shè)置為0或者減少值。
而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，估計(jì)值表生成器還包括標(biāo)志數(shù)據(jù)計(jì)算器，其生成對(duì)應(yīng)于在關(guān)注像素和關(guān)注像素的鄰近區(qū)域內(nèi)像素之間的像素值差數(shù)據(jù)的標(biāo)志數(shù)據(jù)；以及相關(guān)性計(jì)算器，其基于標(biāo)志數(shù)據(jù)計(jì)算幀之間的標(biāo)志數(shù)據(jù)相關(guān)性信息；權(quán)重計(jì)算器被構(gòu)成為使用基于像素相關(guān)性計(jì)算器之計(jì)算結(jié)果的像素相關(guān)性信息和基于標(biāo)志相關(guān)性計(jì)算器之計(jì)算結(jié)果的標(biāo)志相關(guān)性信息中的至少一個(gè)來(lái)計(jì)算權(quán)重系數(shù)W，并且生成可信度指數(shù)作為基于該權(quán)重系數(shù)W所計(jì)算的值，權(quán)重計(jì)算器被構(gòu)成為基于考慮了在所述代表點(diǎn)和所述鄰近代表點(diǎn)之間的像素值差所生成的可信度指數(shù)、和被計(jì)算作為基于所述權(quán)重系數(shù)W之值的可信度指數(shù)，來(lái)計(jì)算新的可信度指數(shù)K，以及估計(jì)值表計(jì)算器被構(gòu)成為通過(guò)累加對(duì)應(yīng)于由權(quán)重計(jì)算器計(jì)算的新可信度指數(shù)K的估計(jì)值，來(lái)生成估計(jì)值表。
而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，所述運(yùn)動(dòng)矢量檢測(cè)裝置還包括標(biāo)志數(shù)據(jù)計(jì)算器，其生成對(duì)應(yīng)于在關(guān)注像素和鄰近關(guān)注像素的像素之間的像素值差數(shù)據(jù)的標(biāo)志數(shù)據(jù)；以及標(biāo)志相關(guān)性計(jì)算器，其基于標(biāo)志數(shù)據(jù)計(jì)算幀之間的標(biāo)志數(shù)據(jù)相關(guān)性信息；以及所述權(quán)重計(jì)算器使用基于像素相關(guān)性計(jì)算器之計(jì)算結(jié)果的像素相關(guān)性信息和基于標(biāo)志相關(guān)性計(jì)算器之計(jì)算結(jié)果的標(biāo)志相關(guān)性信息中的至少一個(gè)，來(lái)生成權(quán)重系數(shù)W，并且生成可信度指數(shù)作為基于該權(quán)重系數(shù)W所計(jì)算的值。
而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，標(biāo)志數(shù)據(jù)計(jì)算器被構(gòu)成為計(jì)算對(duì)應(yīng)于在關(guān)注像素和關(guān)注像素的鄰近區(qū)域內(nèi)像素之間的像素值差數(shù)據(jù)的標(biāo)志數(shù)據(jù)，使得該標(biāo)志數(shù)據(jù)具有比像素值差數(shù)據(jù)更少的位數(shù)。
而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，權(quán)重計(jì)算器被構(gòu)成為將權(quán)重系數(shù)W確定為從基于像素相關(guān)性計(jì)算器的計(jì)算結(jié)果的像素相關(guān)性信息中計(jì)算出的權(quán)重系數(shù)，所述權(quán)重系數(shù)W是至少基于在代表點(diǎn)像素的像素值和包括關(guān)注像素及鄰近關(guān)注像素之像素的相關(guān)性檢查目標(biāo)像素的像素值之間的差所計(jì)算的值W。
而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，權(quán)重計(jì)算器被構(gòu)成為將權(quán)重系數(shù)W計(jì)算作為從基于像素相關(guān)性計(jì)算器的計(jì)算結(jié)果的像素相關(guān)性信息和基于標(biāo)志相關(guān)性計(jì)算器的計(jì)算結(jié)果的標(biāo)志相關(guān)性信息中計(jì)算出的權(quán)重系數(shù)，所述權(quán)重系數(shù)W是基于X和Y之間的差的大小、Xf0和Yf0之間的差的大小、以及Xf1和Yf1之間的差的大小所計(jì)算的值W，這里，X表示代表點(diǎn)像素的像素值，Xf0和Xf1表示基于在X和鄰接代表點(diǎn)像素的兩個(gè)像素的像素值之間的差數(shù)據(jù)的標(biāo)志數(shù)據(jù)，Y表示相關(guān)性檢查目標(biāo)像素的像素值，Yf0和Yf1表示基于在Y和鄰接該像素的兩個(gè)像素的像素值之間的差數(shù)據(jù)的標(biāo)志數(shù)據(jù)。
而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，權(quán)重計(jì)算器被構(gòu)成為將活動(dòng)性A計(jì)算作為圖像數(shù)據(jù)的復(fù)雜性指數(shù)，以及權(quán)重計(jì)算器被構(gòu)成為基于所計(jì)算的活動(dòng)性A和權(quán)重系數(shù)W來(lái)計(jì)算可信度指數(shù)，所述權(quán)重系數(shù)W是至少基于在代表點(diǎn)像素的像素值和包括關(guān)注像素及鄰近關(guān)注像素之像素的相關(guān)性檢查目標(biāo)像素的像素值之間的差的大小而計(jì)算的。
而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，所述運(yùn)動(dòng)矢量檢測(cè)裝置還包括候選矢量提取器，其基于估計(jì)值表提取出一個(gè)或者多個(gè)候選矢量，以及運(yùn)動(dòng)矢量確定器被構(gòu)成為從候選矢量中選擇將與運(yùn)動(dòng)圖像數(shù)據(jù)幀內(nèi)每個(gè)像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量，并且將該運(yùn)動(dòng)矢量與該像素相關(guān)聯(lián)。
而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，運(yùn)動(dòng)矢量確定器被構(gòu)成為從將與運(yùn)動(dòng)矢量關(guān)聯(lián)的關(guān)注像素的鄰近區(qū)域中提取出特征像素，并且基于以該特征像素為基礎(chǔ)的相關(guān)性檢查來(lái)確定與關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，運(yùn)動(dòng)矢量確定器包括試探(tentative)檢查器，其通過(guò)檢查在將與運(yùn)動(dòng)矢量關(guān)聯(lián)的關(guān)注像素的像素值和由候選矢量指定的像素的像素值之間的相關(guān)性，來(lái)從候選矢量中僅僅選擇具有高相關(guān)性的候選矢量，以及僅僅對(duì)于由試探檢查器選擇的所選擇候選矢量才進(jìn)行基于特征像素的相關(guān)性檢查。
而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，運(yùn)動(dòng)矢量確定器被構(gòu)成為從將與運(yùn)動(dòng)矢量關(guān)聯(lián)的關(guān)注像素的鄰近區(qū)域中提取出特征像素，并且基于以該特征像素的位置信息為基礎(chǔ)的相關(guān)性檢查來(lái)確定與關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，運(yùn)動(dòng)矢量確定器被構(gòu)成為從將與運(yùn)動(dòng)矢量關(guān)聯(lián)的關(guān)注像素的鄰近區(qū)域中提取出特征像素，并且基于以該特征像素的像素值信息為基礎(chǔ)的相關(guān)性檢查來(lái)確定與關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，運(yùn)動(dòng)矢量確定器被構(gòu)成為從將與運(yùn)動(dòng)矢量關(guān)聯(lián)的關(guān)注像素的鄰近區(qū)域中提取出與鄰接像素之間具有像素值差最大絕對(duì)值的像素，作為特征像素，并且基于以該特征像素的位置信息為基礎(chǔ)的相關(guān)性檢查來(lái)確定與關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，運(yùn)動(dòng)矢量確定器被構(gòu)成為從將與運(yùn)動(dòng)矢量關(guān)聯(lián)的關(guān)注像素的鄰近區(qū)域中提取出與關(guān)注像素之間具有像素值差最大絕對(duì)值的像素作為特征像素，并且基于以該特征像素的像素值信息為基礎(chǔ)的相關(guān)性檢查來(lái)確定與關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，運(yùn)動(dòng)矢量確定器被構(gòu)成為從將與運(yùn)動(dòng)矢量關(guān)聯(lián)的關(guān)注像素的鄰近區(qū)域中提取出多個(gè)特征像素，并且基于以該多個(gè)特征像素為基礎(chǔ)的相關(guān)性檢查來(lái)確定與關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，運(yùn)動(dòng)矢量確定器被構(gòu)成為從將與運(yùn)動(dòng)矢量關(guān)聯(lián)的關(guān)注像素的鄰近區(qū)域中提取出與關(guān)注像素之間具有最大和最小像素值差的兩個(gè)像素作為特征像素，并且基于以該兩個(gè)特征像素為基礎(chǔ)的相關(guān)性檢查來(lái)確定與關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，運(yùn)動(dòng)矢量確定器被構(gòu)成為基于以該兩個(gè)特征像素的位置信息為基礎(chǔ)的相關(guān)性檢查來(lái)確定與關(guān)注像素相關(guān)的運(yùn)動(dòng)矢量。
而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，運(yùn)動(dòng)矢量確定器被構(gòu)成為從將與運(yùn)動(dòng)矢量關(guān)聯(lián)的關(guān)注像素的鄰近區(qū)域中提取出與關(guān)注像素之間具有最大和最小像素值差的兩個(gè)像素作為特征像素，并且基于以包括該兩個(gè)特征像素和關(guān)注像素的三個(gè)像素為基礎(chǔ)的相關(guān)性檢查來(lái)確定與關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
而且，在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置的實(shí)施例中，運(yùn)動(dòng)矢量確定器被構(gòu)成為從將與運(yùn)動(dòng)矢量關(guān)聯(lián)的關(guān)注像素的鄰近區(qū)域中提取出兩個(gè)特征像素，并且基于以包括該兩個(gè)特征像素和關(guān)注像素的三個(gè)像素的像素值為基礎(chǔ)的相關(guān)性檢查來(lái)確定與關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
本發(fā)明的第二方面是一種運(yùn)動(dòng)矢量檢測(cè)方法，用于從運(yùn)動(dòng)圖像數(shù)據(jù)中檢測(cè)運(yùn)動(dòng)矢量，所述運(yùn)動(dòng)矢量檢測(cè)方法包括估計(jì)值表生成步驟，其基于時(shí)間軸上在不同幀之間的像素值相關(guān)性信息生成估計(jì)值表；以及運(yùn)動(dòng)矢量檢測(cè)步驟，其基于估計(jì)值表檢測(cè)運(yùn)動(dòng)圖像數(shù)據(jù)幀內(nèi)像素的運(yùn)動(dòng)矢量，并將該運(yùn)動(dòng)矢量與該像素相關(guān)聯(lián)，其中，所述估計(jì)值表生成步驟包括像素相關(guān)性計(jì)算步驟，其以基于從一個(gè)幀中所選擇代表點(diǎn)的代表點(diǎn)匹配為基礎(chǔ)，計(jì)算時(shí)間軸上在不同幀之間的相關(guān)性信息；權(quán)重計(jì)算步驟，其使用像素相關(guān)性計(jì)算步驟中的計(jì)算結(jié)果和以在關(guān)注像素和鄰近關(guān)注像素的像素之間的像素值差為基礎(chǔ)的計(jì)算結(jié)果的至少一個(gè)，生成運(yùn)動(dòng)的可信度指數(shù)；以及估計(jì)值表計(jì)算步驟，其通過(guò)累加對(duì)應(yīng)于所計(jì)算的可信度指數(shù)的估計(jì)值來(lái)生成估計(jì)值表。
本發(fā)明的第三方面是一種計(jì)算機(jī)程序，用于從運(yùn)動(dòng)圖像數(shù)據(jù)中檢測(cè)運(yùn)動(dòng)矢量，所述計(jì)算機(jī)程序包括估計(jì)值表生成步驟，其基于時(shí)間軸上在不同幀之間的像素值相關(guān)性信息生成估計(jì)值表；以及運(yùn)動(dòng)矢量檢測(cè)步驟，其基于估計(jì)值表檢測(cè)運(yùn)動(dòng)圖像數(shù)據(jù)幀內(nèi)像素的運(yùn)動(dòng)矢量，并將該運(yùn)動(dòng)矢量與該像素相關(guān)聯(lián)；其中，所述估計(jì)值表生成步驟包括像素相關(guān)性計(jì)算步驟，其以基于從一個(gè)幀中所選擇代表點(diǎn)的代表點(diǎn)匹配為基礎(chǔ)，計(jì)算時(shí)間軸上在不同幀之間的相關(guān)性信息；權(quán)重計(jì)算步驟，其使用像素相關(guān)性計(jì)算步驟中的計(jì)算結(jié)果和以在關(guān)注像素和鄰近關(guān)注像素的像素之間的像素值差為基礎(chǔ)的計(jì)算結(jié)果中的至少一個(gè)，生成運(yùn)動(dòng)的可信度指數(shù)；以及估計(jì)值表計(jì)算步驟，其通過(guò)累加對(duì)應(yīng)于所計(jì)算的可信度指數(shù)的估計(jì)值來(lái)生成估計(jì)值表。
根據(jù)本發(fā)明的計(jì)算機(jī)程序是例如通過(guò)存儲(chǔ)媒體或者通信媒體能夠提供的程序，所述存儲(chǔ)媒體或者通信媒體將計(jì)算機(jī)可讀形式的程序提供給能夠執(zhí)行各種程序代碼的計(jì)算機(jī)系統(tǒng)，例如，記錄媒體諸如CD、FD、或者M(jìn)O，或者通信媒體例如為網(wǎng)絡(luò)。通過(guò)提供計(jì)算機(jī)可讀形式的程序，根據(jù)該程序的處理將在計(jì)算機(jī)系統(tǒng)上運(yùn)行。
通過(guò)結(jié)合附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行詳細(xì)描述，本發(fā)明的上述和其它目的、特性、優(yōu)點(diǎn)將變得更加清楚。在本說(shuō)明書中，系統(tǒng)是指多個(gè)設(shè)備的邏輯組合，而與構(gòu)成設(shè)備是否放置于同一殼體內(nèi)無(wú)關(guān)。
根據(jù)本發(fā)明的特征，當(dāng)基于代表點(diǎn)匹配生成估計(jì)值表時(shí)，考慮代表點(diǎn)和鄰近代表點(diǎn)的像素級(jí)別的空間波形來(lái)執(zhí)行相關(guān)性檢查。因此，能夠生成更精確的估計(jì)值表，并能夠更正確地檢測(cè)運(yùn)動(dòng)矢量。
而且，根據(jù)本發(fā)明的特征，權(quán)重系數(shù)W以代表點(diǎn)像素的相關(guān)性信息和標(biāo)志相關(guān)性信息為基礎(chǔ)計(jì)算，所述標(biāo)志相關(guān)性信息基于與在關(guān)注像素和關(guān)注像素的鄰近區(qū)域內(nèi)像素之間的像素值差數(shù)據(jù)相對(duì)應(yīng)的標(biāo)志數(shù)據(jù)，可信度指數(shù)α被生成作為以所計(jì)算的權(quán)重系數(shù)W和作為圖像數(shù)據(jù)復(fù)雜性指數(shù)的活動(dòng)性A為基礎(chǔ)所計(jì)算的值，并且累加對(duì)應(yīng)于可信度指數(shù)α的估計(jì)值以生成估計(jì)值表。因此，能夠生成基于考慮了在代表點(diǎn)和鄰近代表點(diǎn)的像素之間的像素值差來(lái)設(shè)定權(quán)重的估計(jì)值的估計(jì)值表。因此，能夠生成更精確的估計(jì)值表，并能夠更正確地檢測(cè)運(yùn)動(dòng)矢量。
而且，根據(jù)本發(fā)明的特征，計(jì)算對(duì)應(yīng)于在關(guān)注像素和關(guān)注像素的鄰近區(qū)域內(nèi)像素之間的像素值差數(shù)據(jù)的標(biāo)志數(shù)據(jù)，使得標(biāo)志數(shù)據(jù)具有比像素值差數(shù)據(jù)更少的位數(shù)，使得標(biāo)志相關(guān)性能夠通過(guò)處理具有小位數(shù)的數(shù)據(jù)來(lái)計(jì)算。因此，能夠在不降低處理速度的情況下生成精確的估計(jì)值表，以及能夠更正確地檢測(cè)運(yùn)動(dòng)矢量。因此，通過(guò)將本發(fā)明應(yīng)用到例如執(zhí)行運(yùn)動(dòng)圖像數(shù)據(jù)編碼等的圖像處理設(shè)備，能夠高效地檢測(cè)運(yùn)動(dòng)矢量，還能夠?qū)崿F(xiàn)設(shè)備尺寸的縮小。
而且，根據(jù)本發(fā)明的特征，當(dāng)基于代表點(diǎn)匹配生成估計(jì)值表時(shí)，檢查在代表點(diǎn)和鄰近代表點(diǎn)的像素之間的運(yùn)動(dòng)相似性。當(dāng)存在運(yùn)動(dòng)相似性時(shí)，確定相關(guān)性檢查結(jié)果的可信度是高的。然后，計(jì)算可信度指數(shù)β，累加基于可信度指數(shù)β的估計(jì)值以生成估計(jì)值表。因此，能夠生成更精確的估計(jì)值表，并能夠更正確地檢測(cè)運(yùn)動(dòng)矢量。
而且，根據(jù)本發(fā)明的特征，檢查在代表點(diǎn)和鄰近該代表點(diǎn)的代表點(diǎn)之間的運(yùn)動(dòng)的相似性。如果確定存在運(yùn)動(dòng)相似性，則考慮在代表點(diǎn)和鄰近代表點(diǎn)之間的像素值差而生成可信度指數(shù)β，并且累加對(duì)應(yīng)于可信度指數(shù)β的估計(jì)值以生成估計(jì)值表?？紤]下述參數(shù)計(jì)算可信度指數(shù)β(a)鄰近代表點(diǎn)的運(yùn)動(dòng)的匹配或者相似性的例數(shù)(b)與具有匹配或者相似運(yùn)動(dòng)的代表點(diǎn)之間的空間梯度(c)具有匹配或者相似運(yùn)動(dòng)的代表點(diǎn)之間的距離并且累加基于可信度指數(shù)β的估計(jì)值以生成估計(jì)值表。因此，能夠生成更精確的估計(jì)值表，并能夠更正確地檢測(cè)運(yùn)動(dòng)矢量。
而且，根據(jù)本發(fā)明的特征，除了可信度指數(shù)β之外，權(quán)重系數(shù)W以標(biāo)志相關(guān)性信息為基礎(chǔ)計(jì)算，所述標(biāo)志相關(guān)性信息基于與在關(guān)注像素和關(guān)注像素的鄰近區(qū)域內(nèi)像素之間的像素值差數(shù)據(jù)相對(duì)應(yīng)的標(biāo)志數(shù)據(jù)，可信度指數(shù)α被生成作為以所計(jì)算的權(quán)重系數(shù)W和作為圖像數(shù)據(jù)復(fù)雜性指數(shù)的活動(dòng)性A為基礎(chǔ)所計(jì)算的值，并且累加對(duì)應(yīng)于具有可信度指數(shù)α和可信度指數(shù)β的可信度指數(shù)K＝α+β的估計(jì)值，以生成估計(jì)值表。因此，能夠生成基于所考慮的也具有在代表點(diǎn)和鄰近代表點(diǎn)之間的像素值差的估計(jì)值的估計(jì)值表。因此，能夠生成更精確的估計(jì)值表，并能夠更正確地檢測(cè)運(yùn)動(dòng)矢量。由此，通過(guò)將本發(fā)明應(yīng)用到例如執(zhí)行運(yùn)動(dòng)圖像數(shù)據(jù)編碼等的圖像處理設(shè)備，能夠高效地檢測(cè)運(yùn)動(dòng)矢量，還能夠?qū)崿F(xiàn)設(shè)備尺寸的縮小。
而且，根據(jù)本發(fā)明的特征，在從運(yùn)動(dòng)圖像數(shù)據(jù)檢測(cè)運(yùn)動(dòng)矢量的處理中，當(dāng)從多個(gè)候選矢量中選擇和確定與每個(gè)像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量時(shí)，從將與運(yùn)動(dòng)矢量相關(guān)聯(lián)的關(guān)注像素的鄰近區(qū)域中提取出特征像素，并且基于特征像素的位置信息或者像素值信息而檢查相關(guān)性，以確定運(yùn)動(dòng)矢量。因此，不需要使用塊匹配，結(jié)果能夠降低用于計(jì)算相關(guān)性的估計(jì)值的計(jì)算量，例如差的絕對(duì)值之和的計(jì)算。因此，提高了處理的效率，并且能夠降低用于保持像素值的存儲(chǔ)器大小，使得能夠?qū)崿F(xiàn)硬件規(guī)模的減少。因此，通過(guò)將本發(fā)明應(yīng)用到例如執(zhí)行運(yùn)動(dòng)圖像數(shù)據(jù)編碼等的圖像處理設(shè)備，能夠更正確地檢測(cè)運(yùn)動(dòng)矢量。


圖1是用于解釋塊匹配概要的示意圖。
圖2是用于解釋基于代表點(diǎn)匹配的運(yùn)動(dòng)矢量檢測(cè)處理的問(wèn)題的示意圖。
圖3是用于解釋在運(yùn)動(dòng)矢量檢測(cè)處理中使用的代表點(diǎn)匹配的概要的示意圖。
圖4包括圖4(A)、(B)、(C)，是用于解釋在運(yùn)動(dòng)矢量檢測(cè)處理中執(zhí)行的基于代表點(diǎn)匹配的估計(jì)值表的創(chuàng)建、基于該估計(jì)值表的候選矢量的提取、以及基于所提取的候選矢量來(lái)設(shè)定與各個(gè)像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量的概要的示意圖。
圖5包括圖5(a)和(b)，是用于解釋在運(yùn)動(dòng)矢量檢測(cè)處理中從候選矢量確定運(yùn)動(dòng)矢量的處理的概要的示意圖。
圖6是表示用于執(zhí)行運(yùn)動(dòng)矢量檢測(cè)處理的根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置實(shí)施例的結(jié)構(gòu)的示意圖。
圖7是用于解釋用來(lái)執(zhí)行運(yùn)動(dòng)矢量檢測(cè)處理的根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置執(zhí)行的處理順序的流程圖。
圖8是表示在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置中估計(jì)值表生成器的詳細(xì)結(jié)構(gòu)的示意圖。
圖9是表示在估計(jì)值表生成器中的標(biāo)志數(shù)據(jù)計(jì)算器的詳細(xì)結(jié)構(gòu)的示意圖。
圖10包括圖10(a)和(b)，是用于解釋由標(biāo)志數(shù)據(jù)計(jì)算器執(zhí)行的特定處理例子的示意圖。
圖11包括圖11(a)和(b)，是用于解釋由權(quán)重計(jì)算處理器執(zhí)行的特定處理例子的流程示意圖。
圖12是表示根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置中估計(jì)值表生成器的詳細(xì)結(jié)構(gòu)的第二例子的示意圖。
圖13是表示用于解釋根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置執(zhí)行的估計(jì)值表生成處理的順序的流程圖的示意圖。
圖14是用于解釋代表點(diǎn)匹配的示意圖。
圖15是用于解釋根據(jù)本發(fā)明用來(lái)執(zhí)行鄰近代表點(diǎn)的類似性檢查的處理的示意圖。
圖16是表示根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置中估計(jì)值表生成器的詳細(xì)結(jié)構(gòu)的示意圖。
圖17是用于解釋在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置中由估計(jì)值表生成器內(nèi)的運(yùn)動(dòng)類似性檢測(cè)器執(zhí)行的處理的示意圖。
圖18包括圖18(a)和(b)，是用于解釋在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置中由估計(jì)值表生成器內(nèi)的權(quán)重計(jì)算器執(zhí)行的處理的示意圖。
圖19是用于解釋在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置中由估計(jì)值表生成器內(nèi)的權(quán)重計(jì)算器執(zhí)行的處理的示意圖。
圖20是用于解釋在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置中由估計(jì)值表生成器內(nèi)的權(quán)重計(jì)算器計(jì)算的可信度指數(shù)β的特定例子的示意圖。
圖21包括圖21(A)和(B)，是用于解釋在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置中由估計(jì)值表生成器內(nèi)的代表點(diǎn)靜止檢查器執(zhí)行的處理的示意圖。
圖22是表示用于解釋根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置執(zhí)行的估計(jì)值表生成處理的順序的流程圖的示意圖。
圖23是表示估計(jì)值表生成處理將要執(zhí)行的運(yùn)動(dòng)圖像數(shù)據(jù)的例子的示意圖。
圖24是表示通過(guò)將從像素相關(guān)性計(jì)算器輸出的數(shù)據(jù)直接累加所生成的估計(jì)值表的例子的示意圖。
圖25是表示通過(guò)由根據(jù)本發(fā)明的估計(jì)值表生成器執(zhí)行的處理所生成的估計(jì)值表的例子的示意圖。
圖26是表示通過(guò)由根據(jù)本發(fā)明的估計(jì)值表生成器執(zhí)行的處理所生成的估計(jì)值表的例子的示意圖。
圖27是表示根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置中的運(yùn)動(dòng)矢量確定器的詳細(xì)結(jié)構(gòu)的示意圖。
圖28是用于解釋由運(yùn)動(dòng)矢量確定器內(nèi)的試探檢查器執(zhí)行的處理的示意圖。
圖29是表示根據(jù)本發(fā)明的運(yùn)動(dòng)矢量確定器內(nèi)的附加信息計(jì)算器的詳細(xì)結(jié)構(gòu)的示意圖。
圖30是用于解釋由附加信息計(jì)算器檢測(cè)的特征像素的示意圖。
圖31是用于解釋由附加信息計(jì)算器執(zhí)行的特征像素檢測(cè)處理的示意圖。
圖32是用于解釋由根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置中的運(yùn)動(dòng)矢量確定器執(zhí)行的詳細(xì)處理的示意圖。
圖33是用于解釋由根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置執(zhí)行的運(yùn)動(dòng)矢量確定處理的順序的流程圖。
圖34是表示根據(jù)本發(fā)明的運(yùn)動(dòng)矢量確定器內(nèi)的附加信息計(jì)算器的示例結(jié)構(gòu)的示意圖。
圖35是表示根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置中的運(yùn)動(dòng)矢量確定器的詳細(xì)結(jié)構(gòu)(第二實(shí)施例)的示意圖。
圖36是表示根據(jù)本發(fā)明的運(yùn)動(dòng)矢量確定器內(nèi)的附加信息計(jì)算器的示例結(jié)構(gòu)的示意圖。
圖37是用于解釋由附加信息計(jì)算器檢測(cè)的特性像素的示意圖。
圖38是用于解釋由根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置中的運(yùn)動(dòng)矢量確定器執(zhí)行的詳細(xì)處理的示意圖。
圖39是用于解釋由根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置執(zhí)行的運(yùn)動(dòng)矢量確定處理的順序的流程圖。
圖40是用于解釋由根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置中的運(yùn)動(dòng)矢量確定器執(zhí)行的詳細(xì)處理的示意圖。
圖41是用于解釋由根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置執(zhí)行的運(yùn)動(dòng)矢量確定處理的順序的流程圖。
圖42是用于解釋由根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置執(zhí)行的運(yùn)動(dòng)矢量確定處理的順序的流程圖。
具體實(shí)施例方式
下面，參考附圖，詳細(xì)說(shuō)明根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置、運(yùn)動(dòng)矢量檢測(cè)方法和計(jì)算機(jī)程序。說(shuō)明將按下述題目順序給出1.通過(guò)代表點(diǎn)匹配法和候選矢量法生成估計(jì)值表的概要。
2.運(yùn)動(dòng)矢量檢測(cè)裝置的整體結(jié)構(gòu)和運(yùn)動(dòng)矢量檢測(cè)處理的過(guò)程。
3.使用基于與鄰近像素之間的差的標(biāo)志的估計(jì)值表生成處理的細(xì)節(jié)。
4.考慮了在代表點(diǎn)和鄰近代表點(diǎn)之間的相關(guān)性信息的估計(jì)值表生成處理的細(xì)節(jié)。
5.估計(jì)值表的特定例子。
6.基于特征像素的運(yùn)動(dòng)矢量確定處理的細(xì)節(jié)。
在下述運(yùn)動(dòng)矢量檢測(cè)處理中，使用代表點(diǎn)匹配法。在由本專利申請(qǐng)的申請(qǐng)人早先提交的已經(jīng)授權(quán)的日本專利號(hào)2083999中說(shuō)明了該代表點(diǎn)匹配法。就是說(shuō)，下述運(yùn)動(dòng)矢量檢測(cè)處理是例子，其中使用了在背景技術(shù)部分中早先說(shuō)明的候選矢量法(在日本未審查專利申請(qǐng)公開號(hào)2001-61152中公開)，并且其中使用了代表點(diǎn)匹配法。
在下述說(shuō)明中，將說(shuō)明基于幀的運(yùn)動(dòng)矢量檢測(cè)處理的例子，這里，一幀的運(yùn)動(dòng)圖像數(shù)據(jù)被考慮作為一個(gè)畫面，通過(guò)畫面(幀)之間的相互檢查來(lái)檢測(cè)幀內(nèi)的運(yùn)動(dòng)矢量。但是，本發(fā)明不局限于該示例處理，其可以使用在例如這種情況對(duì)應(yīng)于一幀的段(segment)的一場(chǎng)被考慮作為一個(gè)畫面，以逐場(chǎng)為基礎(chǔ)來(lái)執(zhí)行運(yùn)動(dòng)矢量檢測(cè)處理。
在下述說(shuō)明中，盡管將主要說(shuō)明用于處理基于電視信號(hào)的運(yùn)動(dòng)圖像數(shù)據(jù)的例子，但本發(fā)明除了電視信號(hào)之外還能夠應(yīng)用于各種類型的運(yùn)動(dòng)圖像數(shù)據(jù)。而且，當(dāng)處理視頻信號(hào)時(shí)，該視頻信號(hào)可以是隔行掃描信號(hào)(interlaced signals)或者非隔行掃描信號(hào)。
參考圖3到5，總體說(shuō)明在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)處理中使用的通過(guò)代表點(diǎn)匹配引起的估計(jì)值表的創(chuàng)建、基于該估計(jì)值表的候選矢量的提取、以及基于所檢測(cè)候選矢量的各個(gè)像素的運(yùn)動(dòng)矢量的設(shè)定。
提取出運(yùn)動(dòng)圖像在時(shí)間上連續(xù)的幀圖像，例如圖3所示的時(shí)間(t)上的當(dāng)前幀[Ft]80和時(shí)間(t-1)上的先前幀[Ft-1]70。
例如，當(dāng)前幀[Ft]80被考慮作為基準(zhǔn)幀，先前幀[Ft-1]70被分割成每個(gè)由m像素×n線構(gòu)成的多個(gè)塊，以及設(shè)置代表各個(gè)塊的代表點(diǎn)Ry。作為每個(gè)塊的代表點(diǎn)，代表該塊的像素值被關(guān)聯(lián)，例如a.在塊中心的像素值；b.塊中所有像素的像素值的平均；c.塊中所有像素的像素值的中值。
在代表點(diǎn)匹配中，與對(duì)于先前幀[Ft-1]70設(shè)定的塊代表點(diǎn)Ry 71對(duì)應(yīng)，在當(dāng)前幀[Ft]80上設(shè)定一定的搜索區(qū)域81，并且將搜索區(qū)域81中包括的每個(gè)像素的像素值與代表點(diǎn)Ry 71的像素值進(jìn)行比較。例如以由p像素×q線構(gòu)成的像素區(qū)域的形式設(shè)置搜索區(qū)域81。
就是說(shuō)，將搜索區(qū)域81內(nèi)的每個(gè)像素的像素值和根據(jù)上述a到c之一的代表點(diǎn)的像素值進(jìn)行比較和檢查，以計(jì)算估計(jì)值(例如幀差或者檢查結(jié)果)。在搜索區(qū)域81的每個(gè)偏移(每個(gè)像素位置)上計(jì)算該估計(jì)值。與先前幀[Ft-1]70內(nèi)設(shè)定的每個(gè)塊代表點(diǎn)對(duì)應(yīng)、在當(dāng)前幀[Ft]80上設(shè)定搜索區(qū)域，獲得基于在代表點(diǎn)的像素值和對(duì)應(yīng)搜索區(qū)域內(nèi)每個(gè)像素的像素值之間的比較的估計(jì)值，以及累加一個(gè)畫面中的所有代表點(diǎn)的估計(jì)值。如此，創(chuàng)建了具有與搜索區(qū)域相同大小的估計(jì)值表。
可以設(shè)置與代表點(diǎn)相關(guān)聯(lián)的搜索區(qū)域，使得鄰接搜索區(qū)域部分重疊，如圖4(A)所示。圖4(A)表示其中搜索區(qū)域以p×q(像素或者線)定義的區(qū)域的形式設(shè)置。例如，設(shè)置與先前幀[Ft-1]70內(nèi)設(shè)定的塊代表點(diǎn)71a相關(guān)聯(lián)的搜索區(qū)域81a和與先前幀[Ft-1]70內(nèi)設(shè)定的塊代表點(diǎn)71b相關(guān)聯(lián)的搜索區(qū)域81b，使得具有重疊。
如上述，搜索區(qū)域與各個(gè)代表點(diǎn)對(duì)應(yīng)設(shè)置，在每個(gè)代表點(diǎn)和與該代表點(diǎn)對(duì)應(yīng)設(shè)定的搜索區(qū)域內(nèi)的像素之間進(jìn)行比較，以及基于比較的值來(lái)設(shè)定估計(jì)值，使得例如在相關(guān)度變得更高時(shí)(在像素值的匹配度變得更高時(shí))，設(shè)定更高的估計(jì)值，由此設(shè)置與每個(gè)搜索區(qū)域的構(gòu)成像素對(duì)應(yīng)的估計(jì)值。
累加用于搜索區(qū)域的估計(jì)值，如圖4(B)所示，由此生成圖4(C)所示的估計(jì)值90。估計(jì)值表包括基于在例如先前幀[Ft-1]70內(nèi)n塊上設(shè)定的塊代表點(diǎn)Ry 1到n、和與用作為基準(zhǔn)幀的當(dāng)前幀[Ft]80內(nèi)設(shè)定的各個(gè)代表點(diǎn)Ry 1到n相關(guān)聯(lián)的搜索區(qū)域中的像素之間的比較的估計(jì)值，例如作為差絕對(duì)值的累加值計(jì)算的估計(jì)值，并且估計(jì)值表具有與每個(gè)搜索區(qū)域相同的大小。
在估計(jì)值表90中，當(dāng)搜索區(qū)域的偏離位置(i，j)上的像素值和代表點(diǎn)之間的相關(guān)性高時(shí)產(chǎn)生峰值(極值)。發(fā)生在估計(jì)值表中的峰值對(duì)應(yīng)于在運(yùn)動(dòng)圖像數(shù)據(jù)的畫面上顯示的物體的運(yùn)動(dòng)。
例如，當(dāng)整個(gè)畫面(幀)以相同方式運(yùn)動(dòng)時(shí)，在具有與搜索區(qū)域相同大小(p×q)的估計(jì)值表中，峰值發(fā)生在對(duì)應(yīng)于具有運(yùn)動(dòng)之方向和距離的矢量終點(diǎn)的位置上。當(dāng)畫面(幀)內(nèi)兩個(gè)物體以不同方式運(yùn)動(dòng)時(shí)，在具有與搜索區(qū)域相同大小(p×q)的估計(jì)值表中，兩個(gè)峰值發(fā)生在對(duì)應(yīng)于具有運(yùn)動(dòng)之不同方向和距離的兩個(gè)矢量終點(diǎn)的兩個(gè)位置上。當(dāng)存在靜止部分時(shí)，對(duì)應(yīng)于靜止部分的峰值也會(huì)發(fā)生。
基于如上述在估計(jì)值表中發(fā)生的峰值，獲得在先前幀[Ft-1]70和用作為基準(zhǔn)幀的當(dāng)前幀[Ft]80之間的運(yùn)動(dòng)矢量的候選(候選矢量)。
在基于在估計(jì)值表中發(fā)生的峰值而提取出多個(gè)候選矢量之后，對(duì)于幀的每個(gè)像素，從所選擇的候選矢量中選擇最合適的候選矢量，其被設(shè)置作為與像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
參考圖5，說(shuō)明基于所提取候選矢量來(lái)設(shè)定用于每個(gè)像素的運(yùn)動(dòng)矢量的處理。
圖5(a)中，中心像素91表示先前幀[Ft-1]內(nèi)的一個(gè)像素。例如，該像素具有亮度值(α)。假設(shè)基于上述估計(jì)值表中發(fā)生的峰值已經(jīng)提取出多個(gè)候選矢量，并且這些候選矢量是圖中所示的候選矢量A、B和C。確定先前幀[Ft-1]內(nèi)的像素91根據(jù)這些候選矢量的一個(gè)運(yùn)動(dòng)并且被顯示在對(duì)應(yīng)于當(dāng)前幀[Ft]內(nèi)像素的位置上。
圖5(a)中，像素a95、a96、和a97表示像素位置的當(dāng)前幀[Ft]的像素，所述像素位置基于候選矢量A、B和C被推定為從先前幀[Ft-1]內(nèi)像素91運(yùn)動(dòng)的目的地。在包括這三個(gè)像素的塊內(nèi)的像素值和包括像素91的塊內(nèi)的像素值之間的相關(guān)性通過(guò)塊匹配檢查，選擇具有最高相關(guān)性的對(duì)(pair)，為所選擇的對(duì)而設(shè)定的候選矢量被選擇作為像素91的運(yùn)動(dòng)矢量。
使用塊匹配的原因是如果檢查僅僅一個(gè)像素的對(duì)應(yīng)則會(huì)發(fā)生下述問(wèn)題。
(1)對(duì)于涉及關(guān)注幀內(nèi)像素的基準(zhǔn)幀內(nèi)的n個(gè)候選矢量，當(dāng)存在具有與運(yùn)動(dòng)矢量目的地的像素相同或者類似相關(guān)性的多個(gè)像素時(shí)，僅僅基于表示相關(guān)度的像素之間的差的絕對(duì)值(以后稱為MC殘差)來(lái)確定哪個(gè)運(yùn)動(dòng)矢量是正確的運(yùn)動(dòng)矢量是困難的。
(2)如果運(yùn)動(dòng)矢量是正確的，則假定與運(yùn)動(dòng)矢量目的地的像素之間的MC殘差是最小的。然而，在實(shí)際的圖像數(shù)據(jù)中，由于噪聲等的影響，與正確運(yùn)動(dòng)矢量目的地的像素之間的MC殘差在候選矢量中并不必定是最小的。
因?yàn)檫@些問(wèn)題，單個(gè)像素的MC殘差并不足以用來(lái)確定。因此，使用塊尺寸的多個(gè)像素來(lái)檢查關(guān)注像素作為中心的塊內(nèi)像素和候選矢量目的地的塊內(nèi)像素之間的相關(guān)性。
參考圖5(b)說(shuō)明特定塊匹配處理。如圖5(b)所示，作為在由候選矢量指示的塊內(nèi)包括的多個(gè)像素之間的相關(guān)性的指數(shù)，根據(jù)下式計(jì)算差的絕對(duì)值的和[公式3]SAD(vx,vy)=ΣM×N|Ft(x+vx,y+vy)-Ft-1(x,y)|]]>Ft-1(x，y)表示關(guān)注幀的亮度級(jí)別，F(xiàn)t(x+vx，y+vy)表示用作為基準(zhǔn)的幀的運(yùn)動(dòng)矢量目的地的亮度級(jí)別，M×N表示用于估計(jì)的塊大小。
例如，使用把最小化根據(jù)上述公式計(jì)算的差的絕對(duì)值的和(SAD)的候選矢量(vx，vy)選擇作為關(guān)注像素的運(yùn)動(dòng)矢量的方法。但是，在使用諸如塊匹配的塊的運(yùn)動(dòng)矢量分配中，不得不增加塊大小，以便改善運(yùn)動(dòng)矢量分配的性能。然而，用于計(jì)算諸如差的絕對(duì)值之和那樣的估計(jì)值的計(jì)算量增加，使得硬件規(guī)模增加。
在[6.基于特征像素的運(yùn)動(dòng)矢量確定處理的細(xì)節(jié)]部分將詳細(xì)說(shuō)明克服了上述問(wèn)題的基于代表點(diǎn)匹配的運(yùn)動(dòng)矢量檢測(cè)處理的方案。
如上述，通過(guò)設(shè)置表示各個(gè)塊的代表點(diǎn)，以及僅僅對(duì)已經(jīng)設(shè)置的代表點(diǎn)計(jì)算估計(jì)值，有可能設(shè)置候選矢量。因此，通過(guò)僅僅對(duì)有限數(shù)量的代表點(diǎn)計(jì)算估計(jì)值，能夠降低計(jì)算估計(jì)值所需要的計(jì)算量，使得能夠?qū)崿F(xiàn)高速處理。
圖6表示根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置實(shí)施例的結(jié)構(gòu)，其執(zhí)行運(yùn)動(dòng)矢量檢測(cè)處理，圖7表示運(yùn)動(dòng)矢量檢測(cè)處理的處理順序的流程圖。
如圖6所示，運(yùn)動(dòng)矢量檢測(cè)裝置包括估計(jì)值表生成器101、候選矢量提取器102、運(yùn)動(dòng)矢量確定器103和控制器104。估計(jì)值表生成器101通過(guò)輸入端接收?qǐng)D像數(shù)據(jù)的輸入作為運(yùn)動(dòng)矢量檢測(cè)處理對(duì)象，以及生成估計(jì)值表。輸入圖像例如是通過(guò)光柵掃描獲得的圖像數(shù)據(jù)。圖像數(shù)據(jù)例如包括數(shù)字色彩視頻信號(hào)的分量信號(hào)中的亮度信號(hào)。
輸入圖像數(shù)據(jù)被提供給估計(jì)值表生成器101，在這里，具有與搜索區(qū)域相同尺寸的估計(jì)值表基于上述代表點(diǎn)匹配法生成。這對(duì)應(yīng)于圖7所示流程中的步驟S101的處理。
候選矢量提取器102從由估計(jì)值表生成器101生成的估計(jì)值表中提取出多個(gè)運(yùn)動(dòng)矢量作為一個(gè)畫面中的候選矢量。就是說(shuō)，如上述，候選矢量提取器102基于在估計(jì)值表中發(fā)生的峰值而提取多個(gè)候選矢量。這對(duì)應(yīng)于圖7所示流程中的步驟S102的處理。
關(guān)于由候選矢量提取器102提取的多個(gè)候選矢量，對(duì)于所有幀中的每個(gè)像素，運(yùn)動(dòng)矢量確定器103檢查幀的像素之間的相關(guān)性，所述像素通過(guò)候選矢量被相互相關(guān)聯(lián)。然后，運(yùn)動(dòng)矢量確定器103將鏈接具有最高相關(guān)性的塊的候選矢量設(shè)定作為與像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。這對(duì)應(yīng)于圖7所示流程中的步驟S103的處理。該處理對(duì)應(yīng)于參考圖5上述的處理。
對(duì)于一個(gè)畫面(幀)中包括的每個(gè)像素，運(yùn)動(dòng)矢量確定器103從候選矢量中選擇最佳矢量，由此確定用于每個(gè)像素的運(yùn)動(dòng)矢量，并且輸出所確定的運(yùn)動(dòng)矢量。例如，對(duì)于特定的關(guān)注像素，使用由3線×3像素構(gòu)成的總共9像素的矩形塊，并且將用于鏈接根據(jù)塊匹配而具有最高相關(guān)性的塊的候選矢量確定作為關(guān)注像素的運(yùn)動(dòng)矢量。
控制器104控制估計(jì)值表生成器101、候選矢量提取器102以及運(yùn)動(dòng)矢量確定器103中的處理時(shí)序，以及進(jìn)出存儲(chǔ)器的中間數(shù)據(jù)的存儲(chǔ)和輸出等。
上面已經(jīng)說(shuō)明了基于代表點(diǎn)匹配通過(guò)運(yùn)動(dòng)矢量檢測(cè)裝置生成估計(jì)值表、和基于候選矢量方法的運(yùn)動(dòng)矢量檢測(cè)處理的概要。
下面，說(shuō)明由根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置中的估計(jì)值表生成器執(zhí)行的處理的細(xì)節(jié)，即，使用基于與鄰近像素之間的差的標(biāo)志的估計(jì)值表生成處理的細(xì)節(jié)。圖8表示估計(jì)值表生成器結(jié)構(gòu)細(xì)節(jié)。
如圖8所示，根據(jù)本發(fā)明的運(yùn)動(dòng)矢量檢測(cè)裝置中的估計(jì)值表生成器200包括像素相關(guān)性計(jì)算器210、標(biāo)志數(shù)據(jù)計(jì)算器220、標(biāo)志相關(guān)性計(jì)算器230、比較器241和242、權(quán)重計(jì)算處理器250、計(jì)算器260、以及估計(jì)值表計(jì)算器270。
像素相關(guān)性計(jì)算器210包括代表點(diǎn)存儲(chǔ)器211、用于計(jì)算像素值之間的差數(shù)據(jù)的差計(jì)算器212、以及用于計(jì)算差數(shù)據(jù)絕對(duì)值的絕對(duì)值計(jì)算器。標(biāo)志相關(guān)性計(jì)算器230包括標(biāo)志數(shù)據(jù)存儲(chǔ)器231，用于存儲(chǔ)由標(biāo)志數(shù)據(jù)計(jì)算器220計(jì)算的標(biāo)志數(shù)據(jù)；差計(jì)算器232，用于計(jì)算標(biāo)志數(shù)據(jù)之間的差數(shù)據(jù)；以及絕對(duì)值計(jì)算器223，用于計(jì)算差數(shù)據(jù)的絕對(duì)值。
權(quán)重計(jì)算處理器250包括活動(dòng)性(activity)計(jì)算器251、權(quán)重計(jì)算器252、查詢表(LUT)253、以及解碼器254。估計(jì)值表計(jì)算器270在估計(jì)值累加器271中累加每個(gè)由例如從計(jì)算器260輸出的8位數(shù)據(jù)構(gòu)成的估計(jì)值，以生成估計(jì)值表，并且將該估計(jì)值表存儲(chǔ)在估計(jì)值表存儲(chǔ)器272中。
首先，說(shuō)明由像素相關(guān)性計(jì)算器210執(zhí)行的處理。像素相關(guān)性計(jì)算器210執(zhí)行代表點(diǎn)匹配。
圖像數(shù)據(jù)通過(guò)輸入端例如以逐幀為基礎(chǔ)被輸入到像素相關(guān)性計(jì)算器210。被輸入到像素相關(guān)性計(jì)算器210的圖像數(shù)據(jù)被提供給差計(jì)算器212和代表點(diǎn)存儲(chǔ)器211。
存儲(chǔ)在代表點(diǎn)存儲(chǔ)器211中的圖像數(shù)據(jù)是從例如以逐幀為基礎(chǔ)輸入的圖像數(shù)據(jù)所生成的預(yù)定代表點(diǎn)的數(shù)據(jù)。例如，一個(gè)代表點(diǎn)被設(shè)置在每個(gè)塊中，所述塊是參考圖3和4上述的通過(guò)分割畫面而設(shè)定的，所述塊例如由m×n像素構(gòu)成。代表點(diǎn)與代表所述塊的像素值數(shù)據(jù)相關(guān)聯(lián)，例如a.在塊中心的像素值；b.塊中所有像素的像素值的平均；c.塊中所有像素的像素值的中值。
更具體地，例如，在基于來(lái)自控制器104(參考圖6)的信號(hào)的時(shí)序控制之下，從輸入幀圖像中選擇在空間上以規(guī)律間隔采樣的像素位置的圖像數(shù)據(jù)(像素值數(shù)據(jù))，并且將其存儲(chǔ)在代表點(diǎn)存儲(chǔ)器211中作為代表點(diǎn)數(shù)據(jù)。
從代表點(diǎn)存儲(chǔ)器211讀出的先前幀的代表點(diǎn)數(shù)據(jù)、和當(dāng)前幀的圖像數(shù)據(jù)被提供給差計(jì)算器212。
差計(jì)算器211計(jì)算在先前幀內(nèi)代表點(diǎn)的像素值和對(duì)應(yīng)于當(dāng)前幀圖像數(shù)據(jù)內(nèi)所設(shè)置代表點(diǎn)的搜索區(qū)域中的像素的像素值之間的差，例如幀差(相關(guān)性計(jì)算結(jié)果)，并將該幀差輸出到絕對(duì)值計(jì)算器213。
絕對(duì)值計(jì)算器213接收基于從差計(jì)算器211輸入的先前幀代表點(diǎn)數(shù)據(jù)和當(dāng)前幀圖像數(shù)據(jù)的幀差(相關(guān)性檢查結(jié)果)的輸入，并計(jì)算幀差的絕對(duì)值。
幀差的絕對(duì)值被輸入到比較器241，并與預(yù)定閾值1(TH1)進(jìn)行比較。當(dāng)幀差的絕對(duì)值小于閾值1(TH1)時(shí)，確定存在相關(guān)性，結(jié)果從比較器241中輸出表示存在相關(guān)性的位數(shù)據(jù)(例如[1])。當(dāng)幀差的絕對(duì)值大于或者等于閾值1(TH1)時(shí)，確定不存在相關(guān)性，結(jié)果從比較器242中輸出表示不存在相關(guān)性的位數(shù)據(jù)(例如
)。
迄今，是這種情況，將從比較器241輸出的值直接用作為生成估計(jì)值表時(shí)的累加點(diǎn)。就是說(shuō)，是這種情況，通過(guò)累加一個(gè)畫面所有代表點(diǎn)相關(guān)性的計(jì)算結(jié)果來(lái)生成估計(jì)值表，并且基于在所生成估計(jì)值表中產(chǎn)生的峰值(極值)來(lái)提取候選矢量。
然而，如參考圖2上述，當(dāng)估計(jì)值表通過(guò)僅僅基于代表點(diǎn)的相關(guān)性檢查而生成時(shí)，在一些情況下，由于被不正確檢測(cè)的累加點(diǎn)，導(dǎo)致不產(chǎn)生具有對(duì)應(yīng)于正確矢量的峰值的估計(jì)值表。
因此，根據(jù)本發(fā)明，考慮代表點(diǎn)附近的像素級(jí)別，即代表點(diǎn)附近的空間波形，生成估計(jì)值表。表示相關(guān)性存在或者不存在的、僅僅由從比較器241輸出的代表點(diǎn)的相關(guān)性信息構(gòu)成的1位數(shù)據(jù)在計(jì)算器260中基于權(quán)重計(jì)算器250的輸出而被轉(zhuǎn)換成例如8位數(shù)據(jù)。該8位數(shù)據(jù)被輸出到估計(jì)值累加器271，使得產(chǎn)生基于該8位數(shù)據(jù)的估計(jì)值表。
現(xiàn)在，說(shuō)明由標(biāo)志數(shù)據(jù)計(jì)算器220、標(biāo)志相關(guān)性計(jì)算器230和權(quán)重計(jì)算器250執(zhí)行的處理。
(a)標(biāo)志數(shù)據(jù)計(jì)算器標(biāo)志數(shù)據(jù)計(jì)算器220接收?qǐng)D像數(shù)據(jù)的輸入，并且執(zhí)行用于將所有輸入像素和鄰接像素?cái)?shù)據(jù)之間關(guān)系變換成標(biāo)志數(shù)據(jù)的處理。
圖9表示標(biāo)志數(shù)據(jù)計(jì)算器220的結(jié)構(gòu)細(xì)節(jié)。對(duì)于由標(biāo)志數(shù)據(jù)計(jì)算器220執(zhí)行的處理，通過(guò)參考將與鄰接像素之間的差值變換成標(biāo)志的例子來(lái)說(shuō)明，如圖10所示。
作為輸入信號(hào)的像素信號(hào)以光柵順序輸入，并被提供給圖9所示的寄存器221和差計(jì)算器226。差計(jì)算器226計(jì)算在從寄存器221輸出的像素的級(jí)別和后續(xù)的輸入像素的級(jí)別之間的差。
寄存器221的輸出被存儲(chǔ)在寄存器222中，并且還被提供給差計(jì)算器223。差計(jì)算器223計(jì)算在來(lái)自寄存器222的在先像素的級(jí)別和寄存器221中存儲(chǔ)的后續(xù)像素的級(jí)別之間的差。
就是說(shuō)，在圖10(a)所示的例子中，對(duì)于關(guān)注像素(x，y)300，計(jì)算了與前后鄰接像素(x+1，y)302和(x-1，y)303的級(jí)別之間的差值。
例如，當(dāng)像素級(jí)別由0到255的8位數(shù)據(jù)表示時(shí)，這些差數(shù)據(jù)以8位差數(shù)據(jù)的形式分別從差計(jì)算器223和226中輸出。
分別從差計(jì)算器223和226輸出的8位差數(shù)據(jù)被輸入到量化器224和227，并基于轉(zhuǎn)換表225被轉(zhuǎn)換成4位標(biāo)志數(shù)據(jù)，該4位標(biāo)志數(shù)據(jù)被輸出到標(biāo)志數(shù)據(jù)存儲(chǔ)器231。
轉(zhuǎn)換表225由圖10(b)所示的表構(gòu)成?；诓顢?shù)據(jù)d的值，參考轉(zhuǎn)換表225，量化器224和227將分別從差計(jì)算器223和226輸入的差數(shù)據(jù)d變換成特定的標(biāo)志數(shù)據(jù)。例如-255＜d≤-32→標(biāo)志＝0-32＜d≤-16→標(biāo)志＝1……16＜d≤32→標(biāo)志＝14
32＜d≤255→標(biāo)志＝15量化器224和227基于分別從差計(jì)算器223和226輸入的8位差數(shù)據(jù)d(0到255)的值，生成4位標(biāo)志數(shù)據(jù)(0到15)，并且將該4位標(biāo)志數(shù)據(jù)輸出到標(biāo)志數(shù)據(jù)存儲(chǔ)器231。
通常，作為圖像數(shù)據(jù)的性質(zhì)，由于與鄰接像素?cái)?shù)據(jù)之間的相關(guān)性高，使得即使通過(guò)與鄰接像素之間的差值上限，通過(guò)少的位數(shù)來(lái)表示圖像數(shù)據(jù)，也可推斷通過(guò)恢復(fù)原始像素?cái)?shù)據(jù)獲得的整個(gè)圖像中的量化誤差是小的。因此，根據(jù)本實(shí)施例的方案，用于表示關(guān)注像素?cái)?shù)據(jù)和鄰接像素?cái)?shù)據(jù)的每組3個(gè)像素的位數(shù)是8位×3＝24位，差信息被減少到4位標(biāo)志數(shù)據(jù)。
在檢查基于標(biāo)志數(shù)據(jù)的相關(guān)性的標(biāo)志相關(guān)性計(jì)算器230中，能夠基于被減少到4位的數(shù)據(jù)來(lái)檢查相關(guān)性。因此，處理的速度增加，硬件規(guī)模降低。
像素差數(shù)據(jù)到標(biāo)志數(shù)據(jù)的轉(zhuǎn)換不限于基于圖10(b)所示的轉(zhuǎn)換表的轉(zhuǎn)換。例如，鄰接像素?cái)?shù)據(jù)的8位差數(shù)據(jù)可以被減少到4位，或者8位像素值數(shù)據(jù)的較高4位可以被用作為標(biāo)志信息。
將鄰接像素之間的差轉(zhuǎn)換成標(biāo)志的方案是一種方法的例子，由于輸入像素以光柵順序被輸入，因此該方法使得通過(guò)不要求額外線存儲(chǔ)器的小計(jì)算電路就能有效地描述空間波形。而且，由于差數(shù)據(jù)被轉(zhuǎn)換成標(biāo)志，因此有利的是，不會(huì)丟失由3像素構(gòu)成的粗略波形信息。
(b)標(biāo)志相關(guān)性計(jì)算器下面，說(shuō)明由標(biāo)志相關(guān)性計(jì)算器230執(zhí)行的處理，其從標(biāo)志數(shù)據(jù)計(jì)算器220中接收根據(jù)上述說(shuō)明產(chǎn)生的標(biāo)志數(shù)據(jù)的輸入。
標(biāo)志相關(guān)性計(jì)算器230將從標(biāo)志數(shù)據(jù)計(jì)算器220輸入的標(biāo)志數(shù)據(jù)存儲(chǔ)在標(biāo)志數(shù)據(jù)存儲(chǔ)器231中。從標(biāo)志數(shù)據(jù)存儲(chǔ)器231讀出的先前幀的標(biāo)志數(shù)據(jù)和當(dāng)前幀的標(biāo)志數(shù)據(jù)被提供給差計(jì)算器232。
差計(jì)算器232計(jì)算在先前幀的標(biāo)志數(shù)據(jù)和當(dāng)前幀的標(biāo)志數(shù)據(jù)之間的標(biāo)志差，并將該標(biāo)志差輸出到絕對(duì)值計(jì)算器233。
絕對(duì)值計(jì)算器233接收從差計(jì)算器232輸入的、基于先前幀的標(biāo)志數(shù)據(jù)和當(dāng)前幀的標(biāo)志數(shù)據(jù)的幀差(計(jì)算標(biāo)志相關(guān)性的結(jié)果)的輸入，計(jì)算幀差的絕對(duì)值，以及將絕對(duì)值輸出到比較器242。
比較器242將從標(biāo)志相關(guān)性計(jì)算器230輸入的標(biāo)志數(shù)據(jù)差的絕對(duì)值與預(yù)定閾值2(TH2)進(jìn)行比較，并且在標(biāo)志數(shù)據(jù)差的絕對(duì)值小于預(yù)定閾值2(TH2)時(shí)將表示存在相關(guān)性的位數(shù)據(jù)輸出到權(quán)重計(jì)算器252，或者在標(biāo)志數(shù)據(jù)差的絕對(duì)值大于或等于預(yù)定閾值2(TH2)時(shí)將表示不存在相關(guān)性的位數(shù)據(jù)輸出到權(quán)重計(jì)算器252。
(c)權(quán)重計(jì)算處理器下面，說(shuō)明由權(quán)重計(jì)算處理器250執(zhí)行的處理。權(quán)重計(jì)算處理器250將由標(biāo)志相關(guān)性計(jì)算器230計(jì)算的標(biāo)志數(shù)據(jù)差的值輸入到解碼器254，并且計(jì)算圖像數(shù)據(jù)的活動(dòng)性。
活動(dòng)性是隨著圖像數(shù)據(jù)變得復(fù)雜其值增加的指數(shù)。更具體地，在例如諸如亮度級(jí)別的像素值級(jí)別在小范圍內(nèi)顯著變化的邊緣區(qū)域的區(qū)域，活動(dòng)性高，而如在天空?qǐng)D像的情況下當(dāng)圖像數(shù)據(jù)由平坦像素值構(gòu)成時(shí)，活動(dòng)性低。當(dāng)代表點(diǎn)的鄰近區(qū)域的活動(dòng)性高時(shí)，很容易確定代表點(diǎn)是否已經(jīng)運(yùn)動(dòng)，并且顯著地影響人的視覺感知。當(dāng)具有高活動(dòng)性的物體面積小時(shí)，根據(jù)迄今已經(jīng)使用的現(xiàn)有技術(shù)，估計(jì)值表內(nèi)的峰值依賴于尺寸，使得峰值的級(jí)別變低，其導(dǎo)致提取候選矢量的困難。結(jié)果，在候選矢量不包括具有高活動(dòng)性的物體的運(yùn)動(dòng)矢量的情況下，在確定運(yùn)動(dòng)矢量時(shí)確定可能的運(yùn)動(dòng)矢量是困難的。而且，根據(jù)圖像的性質(zhì)，當(dāng)具有高活動(dòng)性的像素?cái)?shù)據(jù)運(yùn)動(dòng)時(shí)，級(jí)別在運(yùn)動(dòng)量不大于圖像數(shù)據(jù)的采樣時(shí)顯著變化。不管這個(gè)性質(zhì)，當(dāng)確定基于像素級(jí)別數(shù)據(jù)的相關(guān)性高時(shí)，能夠期望所檢測(cè)候選運(yùn)動(dòng)矢量的可信度是高的。
參考圖11詳細(xì)說(shuō)明活動(dòng)性的計(jì)算。圖11(a)表示由權(quán)重計(jì)算處理器250保持的轉(zhuǎn)換表253。這是用于實(shí)現(xiàn)參考圖10(B)前述的轉(zhuǎn)換表的逆變換的表，其用于從標(biāo)志數(shù)據(jù)計(jì)算像素值差。當(dāng)與鄰接像素之間的像素值差大時(shí)，確定活動(dòng)性高。
在圖11所示的例子中，[3]被輸入作為左像素的標(biāo)志數(shù)據(jù)信息，[9]被輸入作為右像素的標(biāo)志數(shù)據(jù)信息。在這種情況下，解碼器254從圖11(a)所示的轉(zhuǎn)換表253中獲得對(duì)應(yīng)代表值差，并將該代表值差輸出到活動(dòng)性計(jì)算器251。
對(duì)應(yīng)于作為左像素標(biāo)志數(shù)據(jù)信息的[3]的代表點(diǎn)差是[-10]；對(duì)應(yīng)于作為右像素標(biāo)志數(shù)據(jù)信息的[9]的代表點(diǎn)差是[2]。
在這種情況下的活動(dòng)性A是A＝|-10|+|2|＝12。
圖11(b)表示在進(jìn)行上述計(jì)算的情況下特定像素值的設(shè)定例子。
關(guān)注像素的像素值＝128右鄰接像素的像素值＝130左鄰接像素的像素值＝118。
在該設(shè)定之下，通過(guò)上述計(jì)算所計(jì)算的活動(dòng)性是A＝|130-128|+|118-128|＝12該值等于動(dòng)態(tài)范圍(DR)，其是這3個(gè)像素中在最大像素值(MAX)＝130和最小像素值(MIN)＝118之間的差。
就是說(shuō)，從標(biāo)志數(shù)據(jù)計(jì)算的活動(dòng)性(A)具有對(duì)應(yīng)于動(dòng)態(tài)范圍(DR)的值。
在上述處理的例子中，權(quán)重計(jì)算處理器250從標(biāo)志相關(guān)性計(jì)算器230接收標(biāo)志數(shù)據(jù)的輸入，并且基于像素值差數(shù)據(jù)計(jì)算活動(dòng)性，該像素值差數(shù)據(jù)通過(guò)基于轉(zhuǎn)換表的轉(zhuǎn)換獲得(參考圖11)?；蛘?，例如，如圖12所示，活動(dòng)性計(jì)算器251可以接收從像素相關(guān)性計(jì)算器210輸出的幀差絕對(duì)值數(shù)據(jù)，以及基于該幀差絕對(duì)值數(shù)據(jù)計(jì)算活動(dòng)性A。
基于標(biāo)志數(shù)據(jù)或者幀差絕對(duì)值數(shù)據(jù)通過(guò)活動(dòng)性計(jì)算器251計(jì)算的活動(dòng)性A的值被輸出到權(quán)重計(jì)算器252。權(quán)重計(jì)算器252基于從比較器241和242輸入的、作為與閾值(TH1和TH2)比較結(jié)果的、表示有或者沒(méi)有相關(guān)性的數(shù)據(jù)，來(lái)計(jì)算權(quán)重W，并且基于活動(dòng)性A和權(quán)重W的值來(lái)計(jì)算可信度指數(shù)α。
基于代表點(diǎn)像素?cái)?shù)據(jù)和不同幀上設(shè)置的搜索區(qū)域內(nèi)的相關(guān)性，比較器241將由像素相關(guān)性計(jì)算器計(jì)算的像素相關(guān)性計(jì)算結(jié)果和閾值(TH1)進(jìn)行比較?；跇?biāo)志數(shù)據(jù)之間的相關(guān)性，比較器242將由標(biāo)志相關(guān)性計(jì)算器計(jì)算的標(biāo)志相關(guān)性計(jì)算結(jié)果和閾值(TH2)進(jìn)行比較，并且輸出比較結(jié)果。
作為相關(guān)性檢查的例子，當(dāng)假設(shè)代表點(diǎn)的像素?cái)?shù)據(jù)和代表點(diǎn)的標(biāo)志數(shù)據(jù)由X、Xf0、和Xf1表示，輸入像素?cái)?shù)據(jù)和輸入像素的標(biāo)志數(shù)據(jù)由Y、Yf0、和Yf1表示時(shí)，比較器241檢查下述表達(dá)式是否被滿足|X-Y|＜TH1…(表達(dá)式1)，以及比較器242檢查下述表達(dá)式是否被滿足|Xf0-Yf0|＜TH2…(表達(dá)式2)，|Xf1-Yf1|＜TH2…(表達(dá)式3)。
檢查的結(jié)果被輸入到權(quán)重計(jì)算器252。
盡管閾值TH1和TH2在本例中是固定的，但可選擇地，這些閾值可以通過(guò)從圖像數(shù)據(jù)計(jì)算閾值而改變。
權(quán)重計(jì)算器252基于根據(jù)上述三個(gè)表達(dá)式(表達(dá)式1到3)的檢查結(jié)果將相關(guān)度計(jì)算作為權(quán)重。例如，當(dāng)滿足表達(dá)式1，2和3時(shí)，有可能確定相關(guān)性是高的。另一方面，當(dāng)滿足表達(dá)式1的條件但不滿足表達(dá)式2和3的條件時(shí)，有可能確定相關(guān)性是低的。因此，有可能檢查基于相關(guān)度所檢測(cè)的候選運(yùn)動(dòng)矢量的可信度。
而且，基于從表達(dá)式1計(jì)算的殘差，有可能計(jì)算像素級(jí)別的相關(guān)度。例如，當(dāng)滿足表達(dá)式1的條件時(shí)，作為表示相關(guān)度的指數(shù)的權(quán)重系數(shù)W能夠被表示為W＝(TH1-|X-Y|)…(表達(dá)式4)。
當(dāng)不滿足表達(dá)式2和3時(shí)W＝0。因此，可以考慮，隨著權(quán)重系數(shù)W的值變大，所檢測(cè)的候選運(yùn)動(dòng)矢量的可信度是更高的。而且，根據(jù)表達(dá)式2和3的相關(guān)度可以被反映在權(quán)重系數(shù)W上。即Wall＝(TH1-|X-Y|)+(TH2-|Xf0-Yf0|)+(TH2-|Xf1-Yf1|)…(表達(dá)式5)。
當(dāng)不滿足表達(dá)式2和3時(shí)Wall＝0。
權(quán)重計(jì)算器252基于由上述方法之一計(jì)算的權(quán)重系數(shù)W和前述的活動(dòng)性A計(jì)算可信度指數(shù)α?？尚哦戎笖?shù)α根據(jù)下式計(jì)算α＝A×W(表達(dá)式6)權(quán)重計(jì)算器252將基于權(quán)重系數(shù)W和活動(dòng)性A根據(jù)上述表達(dá)式(表達(dá)式6)已經(jīng)計(jì)算的可信度指數(shù)α輸出到計(jì)算器260，并且將該可信度指數(shù)α與基于從比較器241輸出的代表點(diǎn)像素而表示有或者沒(méi)有相關(guān)性的結(jié)果位相乘。結(jié)果，當(dāng)基于從比較器241輸出的代表點(diǎn)像素而表示有或者沒(méi)有相關(guān)性的結(jié)果位是[1]時(shí)，可信度指數(shù)[α]的值被輸出到估計(jì)值表計(jì)算器270。
例如，當(dāng)用于檢查與代表點(diǎn)數(shù)據(jù)之間的相關(guān)性的閾值是TH1＝5并且與關(guān)注像素左右的兩個(gè)鄰接像素有關(guān)的活動(dòng)性上限是6位時(shí)，可信度的范圍為0≤α≤252，結(jié)果，與迄今使用的現(xiàn)有技術(shù)的1位相比，大約8位的權(quán)重能夠加到估計(jì)值表。因此，能夠創(chuàng)建可靠的估計(jì)值表。
盡管在上述實(shí)施例中，與水平鄰接關(guān)注像素的兩個(gè)像素之間的差的絕對(duì)值的和被用作為活動(dòng)性，但是或者例如也可以使用動(dòng)態(tài)范圍。
估計(jì)值表計(jì)算器270在估計(jì)值累加器271中累加對(duì)應(yīng)于輸入可信度指數(shù)的估計(jì)值以生成估計(jì)值表，并且將估計(jì)值表存儲(chǔ)在估計(jì)值表存儲(chǔ)器272中。
估計(jì)值累加器271累加對(duì)應(yīng)于從計(jì)算器260輸入的可信度指數(shù)的估計(jì)值。結(jié)果，創(chuàng)建了基于可信度指數(shù)的估計(jì)值表。
參考圖13所示的流程，說(shuō)明上述根據(jù)本發(fā)明的由運(yùn)動(dòng)矢量檢測(cè)裝置執(zhí)行的估計(jì)值表生成處理的順序。
在步驟S201，在先前幀圖像數(shù)據(jù)中設(shè)置(確定)代表點(diǎn)。如上述，每個(gè)塊的代表點(diǎn)與代表該塊的像素值相關(guān)聯(lián)，例如a.在塊中心的像素值；b.塊中所有像素的像素值的平均；c.塊中所有像素的像素值的中值。
在步驟S202，輸入當(dāng)前幀數(shù)據(jù)。當(dāng)前幀數(shù)據(jù)例如以光柵順序輸入。在步驟S203，標(biāo)志數(shù)據(jù)計(jì)算器220(參考圖8)執(zhí)行用于將輸入像素和左右鄰接像素之間的差變換成標(biāo)志的處理。
如參考圖9和10所述的，這個(gè)處理將例如8位像素值差數(shù)據(jù)變換成4位(0到15)標(biāo)志數(shù)據(jù)。
在步驟S204，檢查在代表點(diǎn)數(shù)據(jù)和輸入像素?cái)?shù)據(jù)之間的相關(guān)性。這個(gè)處理由圖8所示的像素相關(guān)性計(jì)算器210和比較器241執(zhí)行。當(dāng)前幀的圖像數(shù)據(jù)和從代表點(diǎn)存儲(chǔ)器211讀出的先前幀的代表點(diǎn)數(shù)據(jù)被提供給差計(jì)算器212，計(jì)算在先前幀內(nèi)代表點(diǎn)的像素值和與當(dāng)前幀圖像數(shù)據(jù)內(nèi)所設(shè)定的每個(gè)代表點(diǎn)相對(duì)應(yīng)的搜索區(qū)域內(nèi)的像素之間的像素值差，例如幀差(相關(guān)性的計(jì)算結(jié)果)，并且將該幀差輸出到絕對(duì)值計(jì)算器213，在這里計(jì)算幀差的絕對(duì)值。幀差的絕對(duì)值被輸入到比較器241并與預(yù)定閾值1(TH1)進(jìn)行比較。當(dāng)幀差的絕對(duì)值小于閾值1(TH1)時(shí)，確定存在相關(guān)性，因此從比較器241中輸出表示存在相關(guān)性的位數(shù)據(jù)(例如[1])。當(dāng)幀差的絕對(duì)值大于或者等于閾值1(TH1)時(shí)，確定不存在相關(guān)性，因此從比較器241中輸出表示不存在相關(guān)性的位數(shù)據(jù)(例如
)。
在步驟S205，檢查在代表點(diǎn)標(biāo)志數(shù)據(jù)和輸入像素標(biāo)志數(shù)據(jù)之間的相關(guān)性。這個(gè)處理由圖8所示的標(biāo)志相關(guān)性計(jì)算器230和比較器242執(zhí)行。
標(biāo)志相關(guān)性計(jì)算器230將從標(biāo)志數(shù)據(jù)計(jì)算器220輸入的標(biāo)志數(shù)據(jù)存儲(chǔ)在標(biāo)志數(shù)據(jù)存儲(chǔ)器231中。當(dāng)前幀的標(biāo)志數(shù)據(jù)和從標(biāo)志數(shù)據(jù)存儲(chǔ)器231中讀出的先前幀的標(biāo)志數(shù)據(jù)被提供給差計(jì)算器232。
差計(jì)算器232計(jì)算在先前幀的標(biāo)志數(shù)據(jù)和當(dāng)前幀的標(biāo)志數(shù)據(jù)之間的標(biāo)志差，并將該標(biāo)志差輸出到絕對(duì)值計(jì)算器233。
絕對(duì)值計(jì)算器233接收從差計(jì)算器232輸入的、基于先前幀的標(biāo)志數(shù)據(jù)和當(dāng)前幀的標(biāo)志數(shù)據(jù)的幀差的輸入(標(biāo)志相關(guān)性計(jì)算結(jié)果)，計(jì)算幀差的絕對(duì)值，以及將幀差的絕對(duì)值輸出到比較器242。
比較器242將從標(biāo)志相關(guān)性計(jì)算器230輸入的標(biāo)志數(shù)據(jù)差的絕對(duì)值與預(yù)定閾值2(TH2)進(jìn)行比較，并且在標(biāo)志數(shù)據(jù)差的絕對(duì)值小于預(yù)定閾值2(TH2)時(shí)將表示存在相關(guān)性的位數(shù)據(jù)輸出到權(quán)重計(jì)算器252，或者在標(biāo)志數(shù)據(jù)差的絕對(duì)值大于預(yù)定閾值2(TH2)時(shí)將表示不存在相關(guān)性的位數(shù)據(jù)輸出到權(quán)重計(jì)算器252。
在步驟S206，計(jì)算可信度指數(shù)α?？尚哦戎笖?shù)α的計(jì)算在權(quán)重計(jì)算器250中進(jìn)行。
如上述，基于標(biāo)志數(shù)據(jù)或者幀差絕對(duì)值數(shù)據(jù)，活動(dòng)性A在活動(dòng)性計(jì)算器251中計(jì)算，基于比較器241和242的輸出計(jì)算權(quán)重系數(shù)W，基于活動(dòng)性A和權(quán)重系數(shù)W，根據(jù)下式計(jì)算可信度指數(shù)αα＝A×W。
在步驟207，可信度指數(shù)α輸出作為估計(jì)值表中的累加點(diǎn)。在步驟S208，檢查在所有代表點(diǎn)和搜索區(qū)域內(nèi)的像素之間的相關(guān)性檢查是否結(jié)束。當(dāng)相關(guān)性檢查還沒(méi)有結(jié)束時(shí)，對(duì)于未處理像素，進(jìn)行步驟S202和隨后步驟的處理。當(dāng)處理對(duì)于所有像素結(jié)束時(shí)，結(jié)束處理。
下面，詳細(xì)說(shuō)明考慮代表點(diǎn)和鄰近代表點(diǎn)之間的相關(guān)性信息的估計(jì)值表的生成。
首先，參考圖14和15，說(shuō)明本實(shí)施例中估計(jì)值表的生成概要。在迄今已經(jīng)使用的代表點(diǎn)匹配的相關(guān)性檢測(cè)中，如圖14所示，例如，對(duì)于從先前幀320選擇的代表點(diǎn)321，對(duì)于當(dāng)前幀(輸入幀)322內(nèi)設(shè)置的搜索區(qū)域323的像素，順序執(zhí)行像素值的比較，以計(jì)算相關(guān)性并基于存在或者不存在相關(guān)性來(lái)獲得估計(jì)值，該估計(jì)值被用作為估計(jì)值表中的累加點(diǎn)。
例如，在圖14所示的例子中，當(dāng)與代表點(diǎn)321具有高相關(guān)性的像素324在搜索區(qū)域323中檢測(cè)出時(shí)，對(duì)應(yīng)于矢量V(Vx，Vy)的點(diǎn)被累加作為估計(jì)值表中的估計(jì)值。
假定代表點(diǎn)321的像素值由X(x，y)表示，像素324的像素值由Y(x；Vx，y+vy)表示，當(dāng)滿足下式時(shí)，確定存在相關(guān)性并相加估計(jì)值|X(x，y)-Y(x，+Vx，y+vy)|＜TH。
在本實(shí)施例的估計(jì)值計(jì)算中，如圖15所示，例如，對(duì)于從先前幀340選擇的代表點(diǎn)341，對(duì)于當(dāng)前幀(輸入幀)350內(nèi)設(shè)置的搜索區(qū)域中的像素，順序執(zhí)行像素值的比較，以計(jì)算像素值的相關(guān)性，并基于存在或者不存在相關(guān)性來(lái)檢測(cè)矢量，另外，對(duì)于鄰接代表點(diǎn)341的代表點(diǎn)342，對(duì)于搜索區(qū)域355內(nèi)的像素也執(zhí)行像素值的比較，以計(jì)算像素值的相關(guān)性，并類似地基于存在或者不存在相關(guān)性來(lái)檢測(cè)矢量，當(dāng)通過(guò)基于該多個(gè)代表點(diǎn)的相關(guān)性檢測(cè)所檢測(cè)的運(yùn)動(dòng)矢量是類似的時(shí)，設(shè)置具有增加權(quán)重的估計(jì)值。
更具體地，在基于先前幀340的代表點(diǎn)341的相關(guān)性檢查來(lái)計(jì)算估計(jì)值時(shí)，當(dāng)進(jìn)行與代表點(diǎn)341鄰近區(qū)域內(nèi)的另一個(gè)代表點(diǎn)342有關(guān)的相關(guān)性檢查，并且對(duì)于這兩個(gè)代表點(diǎn)341和342在對(duì)應(yīng)于相同矢量V(vx，vy)的位置上檢測(cè)到具有高相關(guān)性的像素351和352時(shí)，則判定由代表點(diǎn)341和具有高相關(guān)性的像素351確定的運(yùn)動(dòng)矢量V(vx，vy)具有高可信度，因此輸出通過(guò)添加可信度而確定權(quán)重的估計(jì)值。
如上述，當(dāng)本實(shí)施例中的估計(jì)值表生成器通過(guò)對(duì)于代表點(diǎn)檢查相關(guān)性來(lái)確定估計(jì)值時(shí)，估計(jì)值表生成器檢查在基于代表點(diǎn)相關(guān)性信息的運(yùn)動(dòng)矢量和基于與鄰近代表點(diǎn)有關(guān)的相關(guān)性信息的運(yùn)動(dòng)矢量之間的相似性，并且當(dāng)類似運(yùn)動(dòng)矢量存在時(shí)通過(guò)添加可信度來(lái)設(shè)置大的估計(jì)值，而當(dāng)類似運(yùn)動(dòng)矢量不存在時(shí)設(shè)置小的估計(jì)值，由此生成估計(jì)值表。
圖16表示本實(shí)施例中估計(jì)值表生成器400的結(jié)構(gòu)。如圖16所示，本實(shí)施例中的估計(jì)值表生成器400包括像素相關(guān)性計(jì)算器410、運(yùn)動(dòng)類似性檢測(cè)器420、比較器430、權(quán)重計(jì)算器441、計(jì)算器442、代表點(diǎn)靜止檢查檢測(cè)器450、以及估計(jì)值表計(jì)算器270。
像素相關(guān)性計(jì)算器410包括代表點(diǎn)存儲(chǔ)器411、用于計(jì)算像素值之差數(shù)據(jù)的差計(jì)算器412、以及用于計(jì)算差數(shù)據(jù)之絕對(duì)值的絕對(duì)值計(jì)算器413。運(yùn)動(dòng)類似性檢測(cè)器420包括具有寄存器(線存儲(chǔ)器)422和差計(jì)算器423的像素差計(jì)算器421、計(jì)算器424、絕對(duì)值計(jì)算器425、以及相關(guān)性檢查器426。
代表點(diǎn)靜止檢查檢測(cè)器450包括基準(zhǔn)值存儲(chǔ)器451、比較器452、以及標(biāo)志存儲(chǔ)器453。在估計(jì)值表計(jì)算器470中，估計(jì)值累加器471累加例如由從計(jì)算器442輸出的8位數(shù)據(jù)構(gòu)成的估計(jì)值，由此生成估計(jì)值表，并將估計(jì)值表存儲(chǔ)在估計(jì)值表存儲(chǔ)器472中。
首先，說(shuō)明由像素相關(guān)性計(jì)算器410執(zhí)行的處理。像素相關(guān)性計(jì)算器410執(zhí)行代表點(diǎn)匹配。
圖像數(shù)據(jù)通過(guò)輸入端例如以逐幀為基礎(chǔ)被輸入到像素相關(guān)性計(jì)算器410。被輸入到像素相關(guān)性計(jì)算器410的圖像數(shù)據(jù)被提供給差計(jì)算器412和代表點(diǎn)存儲(chǔ)器411。
存儲(chǔ)在代表點(diǎn)存儲(chǔ)器411中的圖像數(shù)據(jù)是從例如以逐幀為基礎(chǔ)輸入的圖像數(shù)據(jù)所生成的預(yù)定代表點(diǎn)的數(shù)據(jù)。例如，一個(gè)代表點(diǎn)被設(shè)置在每個(gè)塊中，所述塊是如上所述參考圖3和4通過(guò)分割畫面而設(shè)定的、例如由m×n像素構(gòu)成。代表點(diǎn)與代表所述塊的像素值數(shù)據(jù)相關(guān)聯(lián)，例如a.在塊中心的像素值；b.塊中所有像素的像素值的平均；c.塊中所有像素的像素值的中值。
更具體地，例如，在基于來(lái)自控制器104(參考圖6)的信號(hào)的時(shí)序控制之下，從輸入幀圖像中選擇在空間上以規(guī)律間隔采樣的像素位置的圖像數(shù)據(jù)(像素值數(shù)據(jù))，并且該圖像數(shù)據(jù)被存儲(chǔ)在代表點(diǎn)存儲(chǔ)器411中作為代表點(diǎn)數(shù)據(jù)。
當(dāng)前幀的圖像數(shù)據(jù)和從代表點(diǎn)存儲(chǔ)器411讀出的先前幀的代表點(diǎn)數(shù)據(jù)被提供給差計(jì)算器412。
差計(jì)算器411計(jì)算在先前幀的代表點(diǎn)的像素值和與當(dāng)前幀圖像數(shù)據(jù)內(nèi)所設(shè)置的每個(gè)代表點(diǎn)相關(guān)聯(lián)的搜索區(qū)域中的像素的像素值之間的差，例如幀差(相關(guān)性計(jì)算結(jié)果)，并將該幀差輸出到絕對(duì)值計(jì)算器413。
絕對(duì)值計(jì)算器413從差計(jì)算器411接收基于先前幀代表點(diǎn)數(shù)據(jù)和當(dāng)前幀圖像數(shù)據(jù)的幀差(相關(guān)性計(jì)算結(jié)果)的輸入，并且計(jì)算幀差的絕對(duì)值。
幀差的絕對(duì)值被輸入到比較器430并與預(yù)定閾值進(jìn)行比較。當(dāng)幀差的絕對(duì)值小于閾值(TH)時(shí)，確定存在相關(guān)性，因此從比較器430中輸出表示存在相關(guān)性的位數(shù)據(jù)(例如[1])。當(dāng)幀差的絕對(duì)值大于或者等于閾值(TH)時(shí)，確定不存在相關(guān)性，因此從比較器430中輸出表示不存在相關(guān)性的位數(shù)據(jù)(例如
)。
迄今，是這種情況，通過(guò)將從比較器430輸出的值直接用作為累加點(diǎn)來(lái)生成估計(jì)值表。就是說(shuō)，是這種情況，通過(guò)累加與一個(gè)畫面所有代表點(diǎn)有關(guān)的相關(guān)性的計(jì)算結(jié)果來(lái)生成估計(jì)值表，并且基于在所生成估計(jì)值表中產(chǎn)生的峰值(極值)來(lái)提取候選矢量。
如參考圖15上述，當(dāng)通過(guò)對(duì)于代表點(diǎn)執(zhí)行相關(guān)性檢查來(lái)確定估計(jì)值時(shí)，根據(jù)本實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置中的估計(jì)值表生成器檢查在基于代表點(diǎn)相關(guān)性信息的運(yùn)動(dòng)矢量和基于鄰近代表點(diǎn)的相關(guān)性信息的運(yùn)動(dòng)矢量之間的相似性，并且當(dāng)類似運(yùn)動(dòng)矢量存在時(shí)通過(guò)添加可信度來(lái)設(shè)置大的估計(jì)值，而當(dāng)類似運(yùn)動(dòng)矢量不存在時(shí)設(shè)置具有小權(quán)重的估計(jì)值。
這些處理步驟由圖16所示的運(yùn)動(dòng)相似性檢測(cè)器420、代表點(diǎn)靜止檢查器450、權(quán)重計(jì)算器441、和計(jì)算器442執(zhí)行。由這些部分執(zhí)行的處理將在下面說(shuō)明。
(a)運(yùn)動(dòng)相似性檢測(cè)器首先，參考圖17，在處理的特定例子的環(huán)境中說(shuō)明由運(yùn)動(dòng)相似性檢測(cè)器420執(zhí)行的處理。運(yùn)動(dòng)相似性檢測(cè)器420接收?qǐng)D像數(shù)據(jù)的輸入，并將輸入像素?cái)?shù)據(jù)存儲(chǔ)在像素差計(jì)算器421的寄存器(線存儲(chǔ)器)422中。圖17所示的輸入幀510被存儲(chǔ)在寄存器(線存儲(chǔ)器)422中。差計(jì)算器423計(jì)算在寄存器(線存儲(chǔ)器)422中所存儲(chǔ)的像素?cái)?shù)據(jù)和輸入像素?cái)?shù)據(jù)之間的像素值差。例如，如圖17所示，計(jì)算在像素511的像素值X1和像素512的像素值X5之間的差D＝X5-X1。這個(gè)處理在圖17所示的步驟1[S1]中執(zhí)行。X1和X5分別表示像素511和512的像素值。
選擇像素511和像素512之間的間隔等于先前幀500內(nèi)設(shè)定的代表點(diǎn)的間隔。
然后差D被輸入到計(jì)算器424，由計(jì)算器計(jì)算的結(jié)果被輸入到絕對(duì)值計(jì)算器425。基于從像素差計(jì)算器421輸入的值和從代表點(diǎn)存儲(chǔ)器411提供的先前幀內(nèi)的代表點(diǎn)的像素值，計(jì)算器424和絕對(duì)值計(jì)算器425執(zhí)行圖17所示的步驟2[S2]和步驟3[S3]中的計(jì)算。
更具體地，首先，在步驟2[S2]，計(jì)算在從圖6所示代表點(diǎn)存儲(chǔ)器411輸入的先前幀500內(nèi)的代表點(diǎn)像素502的像素值Q和輸入幀510的像素512之間的差的絕對(duì)值|Q-X5|。
然后，在步驟3[S3]，計(jì)算在從圖6所示代表點(diǎn)存儲(chǔ)器411輸入的先前幀內(nèi)的代表點(diǎn)像素501的像素值P和輸入幀510的像素511之間的差的絕對(duì)值|P-X5+D|。
圖17示出檢測(cè)出在關(guān)注代表點(diǎn)501和右鄰近代表點(diǎn)502之間的相似性的例子。在代表點(diǎn)匹配中，在一個(gè)輸入像素和多個(gè)代表點(diǎn)之間檢查相關(guān)性，使得|Q-X5|和|P-X1|不被并行地計(jì)算，并且計(jì)算|P-X5+D|代替計(jì)算|P-X1|。因此，如圖17所示的計(jì)算程序S 1到S3中那樣，在進(jìn)行代表點(diǎn)匹配之前，預(yù)先計(jì)算輸入幀的輸入像素和隔開代表點(diǎn)間隔的像素之間的差D。
然后，相關(guān)性檢查器426執(zhí)行圖17所示步驟4[S4]的處理，即在預(yù)定的閾值[TH]和步驟2和3計(jì)算的像素差之間的比較，以檢查是否滿足下式|Q-X5|＜TH|P-X5+D|＜TH。
當(dāng)滿足|Q-X5|＜TH和|P-X5+D|＜TH兩者時(shí)，確定對(duì)于代表點(diǎn)和鄰近代表點(diǎn)設(shè)置相同的運(yùn)動(dòng)矢量，并且存在運(yùn)動(dòng)的相似性。然后，圖16所示的運(yùn)動(dòng)相似性檢測(cè)器420將運(yùn)動(dòng)相似性存在的檢查結(jié)果，例如位[1]，輸出到權(quán)重計(jì)算器441。
當(dāng)不滿足|Q-X5|＜TH和|P-X5+D|＜TH的一個(gè)時(shí)，確定對(duì)于代表點(diǎn)和鄰近代表點(diǎn)不設(shè)置相同的運(yùn)動(dòng)矢量，并且不存在運(yùn)動(dòng)的相似性。然后，圖16所示的運(yùn)動(dòng)相似性檢測(cè)器420將運(yùn)動(dòng)相似性不存在的檢查結(jié)果，例如位
，輸出到權(quán)重計(jì)算器441。
(b)權(quán)重計(jì)算器下面，說(shuō)明由權(quán)重計(jì)算器441執(zhí)行的處理。將圖像內(nèi)物體上的代表點(diǎn)考慮作為關(guān)注像素，當(dāng)通過(guò)與鄰近代表點(diǎn)有關(guān)的相關(guān)性檢測(cè)所獲得的運(yùn)動(dòng)矢量是相似的時(shí)，權(quán)重計(jì)算器441確定該運(yùn)動(dòng)矢量具有高可信度，計(jì)算基于該可信度的可信度指數(shù)β，以及將該可信度指數(shù)β輸出到計(jì)算器442。
計(jì)算器442接收可信度指數(shù)β的輸入，并且還接收來(lái)自比較器430輸出的輸入，即，作為由像素相關(guān)性計(jì)算器410執(zhí)行的代表點(diǎn)匹配的結(jié)果，基于在代表點(diǎn)和搜索區(qū)域像素之間的相關(guān)性檢查結(jié)果，作為存在或者不存在相關(guān)性的檢查結(jié)果，當(dāng)存在相關(guān)性時(shí)是位[1]或者當(dāng)不存在相關(guān)性時(shí)是位
。
當(dāng)作為代表點(diǎn)匹配的結(jié)果確定存在相關(guān)性時(shí)，計(jì)算器442對(duì)位1執(zhí)行加上或者乘以基于由權(quán)重計(jì)算器輸入的、關(guān)于鄰近代表點(diǎn)而檢查存在運(yùn)動(dòng)相似性的結(jié)果而計(jì)算的可信度指數(shù)，并且將β×1或者β+1輸出到估計(jì)值累加器471作為最后的估計(jì)值。
當(dāng)來(lái)自運(yùn)動(dòng)相似性檢測(cè)器420的輸出指示檢查出存在相似性的結(jié)果時(shí)，權(quán)重計(jì)算器441計(jì)算可信度指數(shù)β。下面詳細(xì)說(shuō)明權(quán)重計(jì)算器441中的可信度指數(shù)β的計(jì)算。
如圖18所示，當(dāng)關(guān)注代表點(diǎn)和鄰近代表點(diǎn)的運(yùn)動(dòng)矢量是相似的時(shí)，如果在這些代表點(diǎn)之間存在空間梯度，即當(dāng)在這些代表點(diǎn)之間存在大的像素值差時(shí)，如圖18(a)所示，則在圖像內(nèi)具有亮度級(jí)別差的區(qū)域運(yùn)動(dòng)，并且運(yùn)動(dòng)矢量被考慮為具有更高的可信度。另一方面，當(dāng)在這些代表點(diǎn)之間不存在大的像素值差時(shí)，如圖18(b)所示，則具有小的亮度級(jí)別差的區(qū)域運(yùn)動(dòng)，例如背景區(qū)域或者天空區(qū)域，并且確定運(yùn)動(dòng)矢量的可信度是低的，即使檢測(cè)到運(yùn)動(dòng)的相似性。
更具體地，如圖19所示，基于在代表點(diǎn)之間的空間梯度550，權(quán)重計(jì)算器441計(jì)算可信度指數(shù)β。
當(dāng)檢查在代表點(diǎn)之間存在運(yùn)動(dòng)相似性的結(jié)果被從運(yùn)動(dòng)相似性檢測(cè)器420中輸入時(shí)，權(quán)重計(jì)算器441按照下式計(jì)算運(yùn)動(dòng)矢量的可信度指數(shù)β[公式4]β=ΣnN|pm-pn|]]>圖20表示根據(jù)上式計(jì)算的可信度指數(shù)β的特定例子。圖20表示在關(guān)注代表點(diǎn)550周圍的四個(gè)代表點(diǎn)被選擇作為鄰近代表點(diǎn)，并且通過(guò)運(yùn)動(dòng)相似性檢測(cè)器420檢測(cè)到各個(gè)鄰近代表點(diǎn)的運(yùn)動(dòng)相似性時(shí)的例子。
假設(shè)與關(guān)注代表點(diǎn)具有運(yùn)動(dòng)相似性的鄰近代表點(diǎn)560和562被檢測(cè)作為由運(yùn)動(dòng)相似性檢測(cè)器420的檢測(cè)結(jié)果，以及鄰近代表點(diǎn)561和563被確定作為與關(guān)注代表點(diǎn)550沒(méi)有運(yùn)動(dòng)相似性。
代表點(diǎn)的像素值如下代表點(diǎn)550→[Pm]代表點(diǎn)560→[P0]代表點(diǎn)561→[P1]代表點(diǎn)562→[P2]代表點(diǎn)563→[P3]。
在這種情況下，根據(jù)上式計(jì)算的可信度指數(shù)β是可信度指數(shù)β＝|Pm-P0|+|Pm-P2|。
當(dāng)代表點(diǎn)的位置不是固定的，并且能夠根據(jù)從圖像數(shù)據(jù)計(jì)算的特定參數(shù)而變化時(shí)，希望在鄰近代表點(diǎn)的運(yùn)動(dòng)矢量匹配時(shí)，考慮距關(guān)注代表點(diǎn)的距離來(lái)選擇可信度指數(shù)。就是說(shuō)，隨著代表點(diǎn)之間的距離變短，確定類似運(yùn)動(dòng)矢量的可信度更高，并且隨著代表點(diǎn)之間的距離變短，可信度指數(shù)被選擇為更高。
計(jì)算在關(guān)注代表點(diǎn)和鄰近代表點(diǎn)的運(yùn)動(dòng)矢量相似情況下的運(yùn)動(dòng)矢量的可信度指數(shù)β，使得該值反映下述參數(shù)的至少一個(gè)1.鄰近代表點(diǎn)的運(yùn)動(dòng)的匹配或者相似的例數(shù)；2.與具有匹配或者相似運(yùn)動(dòng)的代表點(diǎn)之間的空間梯度；3與具有匹配或者相似運(yùn)動(dòng)的代表點(diǎn)之間的距離。
權(quán)重計(jì)算器441從運(yùn)動(dòng)相似性檢測(cè)器420中接收與特定代表點(diǎn)相關(guān)聯(lián)的N個(gè)鄰近代表點(diǎn)的相似性檢查的結(jié)果的輸入，而且，如圖16所示，獲得基于像素相關(guān)性計(jì)算器410的輸出的代表點(diǎn)之間的空間梯度(像素值差信息)，計(jì)算根據(jù)上述公式的可信度指數(shù)β，以及將可信度指數(shù)β輸出到計(jì)算器442。
但是，當(dāng)運(yùn)動(dòng)的相似性被應(yīng)用到靜止區(qū)域中的代表點(diǎn)時(shí)，從靜止區(qū)域檢測(cè)的除(0，0)矢量之外的候選運(yùn)動(dòng)矢量的檢查結(jié)果的可信度是低的，使得將檢查結(jié)果加到估計(jì)值表是無(wú)意義的。因此，考慮從在被確定為靜止區(qū)域的區(qū)域中的代表點(diǎn)所檢測(cè)的候選運(yùn)動(dòng)矢量的可信度是低的，可信度指數(shù)β被選擇為0或者小的值。代表點(diǎn)的像素位置是否處于靜止區(qū)域由代表點(diǎn)靜止檢查器450確定。
(c)代表點(diǎn)靜止檢查器下面，說(shuō)明由代表點(diǎn)靜止檢查器450執(zhí)行的處理。代表點(diǎn)靜止檢查器450包括基準(zhǔn)值存儲(chǔ)器451、比較器452、以及標(biāo)志存儲(chǔ)器453。
比較器452接收在像素相關(guān)性計(jì)算器410中執(zhí)行的代表點(diǎn)匹配的結(jié)果的輸入，并且將該結(jié)果與在基準(zhǔn)值存儲(chǔ)器451中存儲(chǔ)的預(yù)設(shè)基準(zhǔn)值比較，以確定代表點(diǎn)是否處于靜止區(qū)域中。
參考圖21說(shuō)明由比較器452執(zhí)行的靜止檢查的特定例子。參考圖21(A)說(shuō)明先前幀[Ft-1]內(nèi)的代表點(diǎn)Ry的靜止檢查。該先前幀[Ft-1]內(nèi)的代表點(diǎn)Ry的靜止檢查不是基于在先前幀[Ft-1]內(nèi)的代表點(diǎn)Ry和當(dāng)前幀[Ft-1]內(nèi)的點(diǎn)Qy之間的幀差、而是基于在先前幀[Ft-1]內(nèi)的代表點(diǎn)Ry和更先前幀[Ft-2]內(nèi)的點(diǎn)Py之間的幀差來(lái)進(jìn)行。這是因?yàn)?，在使用Ry和Qy之間的幀差時(shí)，僅僅在當(dāng)前幀內(nèi)的Qy的數(shù)據(jù)被提供時(shí)才能夠檢查代表點(diǎn)Ry的靜止，但是，在使用Ry和Py之間的幀差時(shí)，在先前幀[Ft-1]的所有數(shù)據(jù)已經(jīng)被提供時(shí)獲得先前幀[Ft-1]內(nèi)存在的代表點(diǎn)的靜止檢查結(jié)果。
而且，由于對(duì)于幀[Ft-2]內(nèi)的代表點(diǎn)Py，在先前幀[Ft-1]內(nèi)的代表點(diǎn)Ry和更先前幀[Ft-2]內(nèi)的點(diǎn)Py之間的幀差的絕對(duì)值已經(jīng)通過(guò)像素相關(guān)性計(jì)算器410計(jì)算出，有可能使用這個(gè)值。
比較器452接收由像素相關(guān)性計(jì)算器410計(jì)算的在先前幀[Ft-1]內(nèi)的代表點(diǎn)Ry和更先前幀[Ft-2]內(nèi)的點(diǎn)Py之間的幀差的絕對(duì)值的輸入。當(dāng)幀差的絕對(duì)值小于在基準(zhǔn)值存儲(chǔ)器451內(nèi)存儲(chǔ)的預(yù)設(shè)基準(zhǔn)值時(shí)，比較器452假設(shè)先前幀[Ft-1]內(nèi)的代表點(diǎn)Ry處于靜止區(qū)域中，并且將靜止標(biāo)志(0)設(shè)置在標(biāo)志存儲(chǔ)器453中。
另一方面，當(dāng)由像素相關(guān)性計(jì)算器410計(jì)算的在先前幀[Ft-1]內(nèi)的代表點(diǎn)Ry和更先前幀[Ft-2]內(nèi)的點(diǎn)Py之間的幀差的絕對(duì)值大于或者等于在基準(zhǔn)值存儲(chǔ)器451內(nèi)存儲(chǔ)的預(yù)設(shè)基準(zhǔn)值時(shí)，比較器452假設(shè)先前幀[Ft-1]內(nèi)的代表點(diǎn)Ry不處于靜止區(qū)域中，并且將運(yùn)動(dòng)標(biāo)志(1)設(shè)置在標(biāo)志存儲(chǔ)器453中。這些標(biāo)志在由控制器(圖6所示的控制器104)的時(shí)序控制之下被存儲(chǔ)在標(biāo)志存儲(chǔ)器453中。
而且，在控制器控制下的適當(dāng)時(shí)序上，代表點(diǎn)靜止檢查標(biāo)志從標(biāo)志存儲(chǔ)器453被輸出到權(quán)重計(jì)算器441。權(quán)重計(jì)算器441基于輸入標(biāo)志的值來(lái)檢查代表點(diǎn)是否處于靜止區(qū)域中。當(dāng)代表點(diǎn)處于靜止區(qū)域中時(shí)，權(quán)重計(jì)算器441確定基于與代表點(diǎn)相關(guān)聯(lián)所檢測(cè)的相關(guān)性的運(yùn)動(dòng)矢量的可信度是低的，并且將可信度指數(shù)β設(shè)定為0或者小的值。可選擇地，當(dāng)計(jì)算器442進(jìn)行的計(jì)算是加時(shí)，β可以被設(shè)置為0，當(dāng)計(jì)算器442進(jìn)行的計(jì)算是乘時(shí)，β可以被設(shè)置為1。
但代表點(diǎn)不處于靜止區(qū)域時(shí)，根據(jù)上述公式計(jì)算的可信度指數(shù)β被輸出到計(jì)算器442。計(jì)算器442進(jìn)行可信度指數(shù)β的加或者乘，或者考慮可信度指數(shù)β計(jì)算輸出估計(jì)值，并且將結(jié)果輸出到估計(jì)值累加器471。
估計(jì)值表計(jì)算器270在估計(jì)值累加器271中累加反映輸入可信度指數(shù)β的估計(jì)值以生成估計(jì)值表，并且將估計(jì)值表存儲(chǔ)在估計(jì)值表存儲(chǔ)器272中。
估計(jì)值累加器271累加反映從計(jì)算器260輸入的可信度指數(shù)β的估計(jì)值。結(jié)果，生成了基于可信度指數(shù)β的估計(jì)值表。
參考圖22所示的流程，說(shuō)明上述根據(jù)本發(fā)明的由運(yùn)動(dòng)矢量檢測(cè)裝置執(zhí)行的估計(jì)值表生成處理的順序。
在步驟S301，在先前幀圖像數(shù)據(jù)中設(shè)置(確定)代表點(diǎn)。如上述，每個(gè)塊的代表點(diǎn)與代表該塊的像素值相關(guān)聯(lián)，例如a.在塊中心的像素值；b.塊中所有像素的像素值的平均；c.塊中所有像素的像素值的中值。
在步驟S302，輸入當(dāng)前幀數(shù)據(jù)。當(dāng)前幀數(shù)據(jù)例如以光柵順序輸入。步驟S303由像素差計(jì)算器421執(zhí)行，并且計(jì)算在輸入幀的輸入像素和距代表點(diǎn)間隔(dx)的另一個(gè)輸入像素之間的差。這個(gè)處理對(duì)應(yīng)于參考圖17說(shuō)明的步驟S1中的處理，即D＝X5-X1的計(jì)算。
在步驟S304，檢查在代表點(diǎn)數(shù)據(jù)和輸入像素?cái)?shù)據(jù)之間的相關(guān)性。這個(gè)處理由像素相關(guān)性計(jì)算器410和比較器430執(zhí)行。當(dāng)前幀的圖像數(shù)據(jù)和從代表點(diǎn)存儲(chǔ)器411讀出的先前幀的代表點(diǎn)數(shù)據(jù)被提供給差計(jì)算器412，在這里計(jì)算在先前幀內(nèi)每個(gè)代表點(diǎn)的像素值和與當(dāng)前幀圖像數(shù)據(jù)內(nèi)所設(shè)定的每個(gè)代表點(diǎn)相對(duì)應(yīng)的搜索區(qū)域內(nèi)的像素值之間的差，例如幀差(相關(guān)性的計(jì)算結(jié)果)。該幀差被輸出到絕對(duì)值計(jì)算器413，在這里計(jì)算幀差的絕對(duì)值。幀差的絕對(duì)值被輸入到比較器430，在這里幀差的絕對(duì)值與預(yù)定閾值1(TH)進(jìn)行比較。當(dāng)幀差的絕對(duì)值小于閾值(TH)時(shí)，確定存在相關(guān)性，結(jié)果從比較器430中輸出表示存在相關(guān)性的位數(shù)據(jù)(例如[1])。當(dāng)差的絕對(duì)值大于或者等于閾值(TH)時(shí)，確定不存在相關(guān)性，結(jié)果從比較器430中輸出表示不存在相關(guān)性的位數(shù)據(jù)(例如
)。
在步驟S305，從輸入像素和代表點(diǎn)之間的差數(shù)據(jù)檢測(cè)鄰近代表點(diǎn)的運(yùn)動(dòng)的相似性。這個(gè)處理由運(yùn)動(dòng)相似性檢測(cè)器420執(zhí)行，并且確定基于與對(duì)應(yīng)于先前幀內(nèi)的關(guān)注代表點(diǎn)和鄰近代表點(diǎn)的輸入幀中具有高相關(guān)性的像素之間的對(duì)應(yīng)而檢測(cè)的在關(guān)注代表點(diǎn)和鄰近代表點(diǎn)之間的運(yùn)動(dòng)是否是相似的。當(dāng)確定出存在運(yùn)動(dòng)的相似性時(shí)，運(yùn)動(dòng)相似性檢測(cè)器420將表示存在相似性的檢查結(jié)果輸出到權(quán)重計(jì)算器441。對(duì)于關(guān)注代表點(diǎn)的多個(gè)鄰近代表點(diǎn)，執(zhí)行存在或者不存在相似性的檢查，并且結(jié)果的數(shù)據(jù)被輸出到權(quán)重計(jì)算器441。
在步驟S306，計(jì)算可信度指數(shù)β。可信度指數(shù)β的計(jì)算由權(quán)重計(jì)算器441進(jìn)行。
如上述，將在關(guān)注代表點(diǎn)和鄰近代表點(diǎn)的運(yùn)動(dòng)矢量相似的情況下的運(yùn)動(dòng)矢量的可信度指數(shù)β定義為至少反映下述參數(shù)的值1.鄰近代表點(diǎn)的運(yùn)動(dòng)的匹配或者相似的例數(shù)；2.與具有匹配或者相似運(yùn)動(dòng)的代表點(diǎn)之間的空間梯度；3.與具有匹配或者相似運(yùn)動(dòng)的代表點(diǎn)之間的距離。
在步驟S307，可信度指數(shù)β被輸出作為估計(jì)值表的累加點(diǎn)。在步驟S308，檢查在所有代表點(diǎn)和搜索區(qū)域內(nèi)的像素之間的相關(guān)性檢查是否結(jié)束。當(dāng)相關(guān)性檢查還沒(méi)有結(jié)束時(shí)，對(duì)于未處理像素，進(jìn)行步驟S302和隨后步驟的處理。當(dāng)對(duì)于所有像素的處理結(jié)束時(shí)，結(jié)束處理。
可選擇地，可信度指數(shù)K可以根據(jù)下述公式通過(guò)將前述的可信度指數(shù)α和可信度指數(shù)β組合來(lái)計(jì)算K＝α+β使得反映可信度指數(shù)K的估計(jì)值被加到估計(jì)值表。在這種情況下，估計(jì)值表生成器被構(gòu)成為圖8所示結(jié)構(gòu)和圖16所示結(jié)構(gòu)的組合。
在現(xiàn)有技術(shù)中，是這種情況，估計(jì)值表生成器被構(gòu)成為通過(guò)添加作為僅僅基于代表點(diǎn)匹配的相關(guān)性檢查的結(jié)果所獲得的1位(存在或者不存在相關(guān)性)來(lái)形成估計(jì)值表。相反，通過(guò)使用上述的可信度指數(shù)α、可信度指數(shù)β或者可信度指數(shù)K＝α+β，有可能形成基于更精確估計(jì)值的估計(jì)值表。
例如，當(dāng)使用可信度指數(shù)K＝α+β時(shí)，假設(shè)對(duì)每個(gè)代表點(diǎn)所計(jì)算的匹配的可信度α的上限是7位，相似運(yùn)動(dòng)所涉及的代表點(diǎn)數(shù)是2，即左右代表點(diǎn)，以及在代表點(diǎn)之間的空間梯度的上限是6位，則在對(duì)于左右鄰近代表點(diǎn)檢測(cè)到相同的候選運(yùn)動(dòng)矢量時(shí)的可信度β最大為7位，結(jié)果所檢測(cè)的運(yùn)動(dòng)矢量的可信度指數(shù)K的權(quán)重能夠通過(guò)8位分辨率(resolution)來(lái)計(jì)算。由此，能夠形成具有高可信度的估計(jì)值表。
說(shuō)明當(dāng)使用按上述構(gòu)成的具有估計(jì)值表生成器的運(yùn)動(dòng)矢量檢測(cè)裝置來(lái)處理實(shí)際運(yùn)動(dòng)圖像數(shù)據(jù)時(shí)產(chǎn)生的頻率分布估計(jì)值表的例子。
作為特定例子，使用其中在靜止背景上存在運(yùn)動(dòng)物體(A)801、運(yùn)動(dòng)物體(B)802、運(yùn)動(dòng)物體(C)803、和運(yùn)動(dòng)物體(D)804的運(yùn)動(dòng)圖像數(shù)據(jù)800，如圖23所示。
運(yùn)動(dòng)物體(A)801和運(yùn)動(dòng)物體(C)803在水平左方向(-X方向)上運(yùn)動(dòng)，使得與在這些物體顯示區(qū)域中的像素相關(guān)聯(lián)的正確運(yùn)動(dòng)矢量是(Vx，Vy)＝(-n，0)。就是說(shuō)，水平左方向運(yùn)動(dòng)矢量將被設(shè)置在這些像素區(qū)域中。運(yùn)動(dòng)物體(B)802在水平右方向(+X方向)上運(yùn)動(dòng)，使得與在該物體顯示區(qū)域中的像素相關(guān)聯(lián)的正確運(yùn)動(dòng)矢量是(Vx，Vy)＝(n，0)。就是說(shuō)，水平左方向矢量將被設(shè)置在該像素區(qū)域中。
運(yùn)動(dòng)物體(D)804在垂直向上(+Y方向)上運(yùn)動(dòng)，使得與在該物體顯示區(qū)域中的像素相關(guān)聯(lián)的正確運(yùn)動(dòng)矢量是(Vx，Vy)＝(0，n)。就是說(shuō)，垂直向上矢量將被設(shè)置在該像素區(qū)域中。
圖24表示通過(guò)使用迄今使用的技術(shù)來(lái)僅僅累加代表點(diǎn)的相關(guān)性數(shù)據(jù)所生成的估計(jì)值表，例如，在日本未審查專利申請(qǐng)公開號(hào)2001-61152中公開的估計(jì)值表生成處理。在圖24所示的估計(jì)值表中，僅僅二維地示出了與垂直方向(-Y或者+Y方向)的運(yùn)動(dòng)矢量相關(guān)聯(lián)的峰值。
就是說(shuō)，圖24示出了通過(guò)直接累加從像素相關(guān)性計(jì)算器輸出的數(shù)據(jù)所生成的估計(jì)值表的兩維數(shù)據(jù)，其中僅僅出現(xiàn)了具有(Vy＝0)的峰值，即與背景區(qū)域中的靜止像素的靜止矢量相關(guān)聯(lián)的峰值。
圖25表示基于上述的可信度指數(shù)α，即基于活動(dòng)性A和權(quán)重系數(shù)W的可信度指數(shù)α所生成的估計(jì)值表的兩維數(shù)據(jù)。在這個(gè)表中，出現(xiàn)了與靜止像素相關(guān)聯(lián)的峰值、和與在垂直方向(Y方向)上運(yùn)動(dòng)的運(yùn)動(dòng)物體D相關(guān)聯(lián)的峰值。
如上述，在以基于活動(dòng)性A和權(quán)重系數(shù)W的可信度指數(shù)α所生成的估計(jì)值表中，與在圖像數(shù)據(jù)的顯示區(qū)域中僅僅占據(jù)小區(qū)域的物體的運(yùn)動(dòng)相關(guān)聯(lián)的峰值能夠出現(xiàn)在估計(jì)值表中。這用作為正確地提取候選矢量和確定運(yùn)動(dòng)矢量。
圖26表示基于可信度指數(shù)β，即考慮了在關(guān)注代表點(diǎn)和鄰近代表點(diǎn)之間的運(yùn)動(dòng)相似性檢測(cè)、以及在代表點(diǎn)之間的空間梯度(像素值差)所計(jì)算的可信度指數(shù)β所生成的估計(jì)值表的三維數(shù)據(jù)。在這個(gè)估計(jì)值表中，出現(xiàn)了與靜止像素對(duì)應(yīng)的峰值、和分別對(duì)應(yīng)于運(yùn)動(dòng)物體A，B，C和D的峰值。
如上述，在基于考慮了在關(guān)注代表點(diǎn)和鄰近代表點(diǎn)之間的運(yùn)動(dòng)相似性檢測(cè)、以及在代表點(diǎn)之間的空間梯度(像素值差)所計(jì)算的可信度指數(shù)β所生成的估計(jì)值表中，與在圖像數(shù)據(jù)的顯示區(qū)域中代表點(diǎn)的活動(dòng)性A小但占據(jù)大區(qū)域的物體的運(yùn)動(dòng)相對(duì)應(yīng)的峰值能夠出現(xiàn)在估計(jì)值表中。這用作為正確地提取候選矢量和確定運(yùn)動(dòng)矢量。
如參考圖6的上述，使用代表點(diǎn)匹配的運(yùn)動(dòng)矢量檢測(cè)裝置包括估計(jì)值表生成器101、候選矢量提取器102和運(yùn)動(dòng)矢量確定器103。估計(jì)值表生成器101基于輸入圖像數(shù)據(jù)生成估計(jì)值表，候選矢量提取器102從估計(jì)值表中提取多個(gè)候選矢量，以及運(yùn)動(dòng)矢量確定器103從多個(gè)候選矢量中確定用于每個(gè)像素的運(yùn)動(dòng)矢量。
但是，如上述，為了提高運(yùn)動(dòng)矢量確定器103對(duì)運(yùn)動(dòng)矢量確定的精度，在塊匹配中使用的塊尺寸一定要大。當(dāng)塊尺寸大時(shí)，需要在存儲(chǔ)器中存儲(chǔ)被包括在塊中的大量的像素值。而且，在上述差的絕對(duì)值之和的計(jì)算中，需要進(jìn)行基于被包括在塊中的大量像素值的計(jì)算。這引起硬件規(guī)模增大和處理效率下降的問(wèn)題。
因此，在下述實(shí)施例中，代替在由運(yùn)動(dòng)矢量確定器103執(zhí)行的運(yùn)動(dòng)矢量確定處理中使用塊匹配，而是基于特征像素位置信息來(lái)執(zhí)行運(yùn)動(dòng)矢量確定處理。下面，詳細(xì)說(shuō)明該運(yùn)動(dòng)矢量確定處理。
現(xiàn)在，說(shuō)明基于特征像素位置信息的運(yùn)動(dòng)矢量確定處理的兩個(gè)方案，即(1)基于兩點(diǎn)匹配的運(yùn)動(dòng)矢量確定處理；(2)基于三點(diǎn)匹配的運(yùn)動(dòng)矢量確定處理。
(1)基于兩點(diǎn)匹配的運(yùn)動(dòng)矢量確定處理首先，說(shuō)明基于兩點(diǎn)匹配的運(yùn)動(dòng)矢量確定處理。圖27表示根據(jù)本實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置中的運(yùn)動(dòng)矢量確定器的詳細(xì)結(jié)構(gòu)。圖27所示的運(yùn)動(dòng)矢量確定器1200對(duì)應(yīng)于圖6所示的運(yùn)動(dòng)矢量檢測(cè)裝置中的運(yùn)動(dòng)矢量確定器103。
圖27所示的運(yùn)動(dòng)矢量確定器1200從圖6所示的候選矢量提取器102中接收基于上述估計(jì)值表所確定的多個(gè)候選矢量的信息輸入，并且確定將與每個(gè)像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
如圖27所示，在本實(shí)施例中的運(yùn)動(dòng)矢量確定器1200包括像素相關(guān)性檢查器1210、試探檢查器1221、門1222、附加信息計(jì)算器1250、以及特征像素位置相關(guān)性檢查器1230。像素相關(guān)性檢查器1210包括當(dāng)前幀存儲(chǔ)器1211、先前幀存儲(chǔ)器1212、像素值差計(jì)算器1213、以及絕對(duì)值計(jì)算器1214。特征像素位置相關(guān)性檢查器1230包括當(dāng)前幀附加信息存儲(chǔ)器1231、先前幀附加信息存儲(chǔ)器1232、以及相關(guān)性檢查器1233。參考圖29和隨后附圖詳細(xì)說(shuō)明附加信息計(jì)算器1250。
像素相關(guān)性檢查器1210接收?qǐng)D像信號(hào)的輸入。該輸入圖像是例如通過(guò)光柵掃描獲得的圖像數(shù)據(jù)。例如，圖像數(shù)據(jù)包括數(shù)字色彩視頻信號(hào)的分量信號(hào)中的亮度信號(hào)。
圖像數(shù)據(jù)以幀數(shù)據(jù)為基礎(chǔ)輸入。圖像數(shù)據(jù)被首先存儲(chǔ)在當(dāng)前幀存儲(chǔ)器1211中，然后被存儲(chǔ)在先前幀存儲(chǔ)器1212中。因此，像素相關(guān)性檢查器1210將兩個(gè)連續(xù)幀的幀數(shù)據(jù)存儲(chǔ)在所述存儲(chǔ)器中。
而且，像素相關(guān)性檢查器1210從圖6所示候選矢量提取器102中接收候選矢量信息的輸入，基于候選矢量信息，對(duì)于先前幀的每個(gè)像素，即對(duì)于將確定運(yùn)動(dòng)矢量的每個(gè)像素(關(guān)注像素)，指定由多個(gè)候選矢量指定的當(dāng)前幀內(nèi)的像素位置，在像素值差計(jì)算器1213中計(jì)算在先前幀的關(guān)注像素和由多個(gè)候選矢量指定的當(dāng)前幀內(nèi)的每個(gè)像素之間的差，在絕對(duì)值計(jì)算器1214中計(jì)算該差的絕對(duì)值，以及將絕對(duì)值輸出到試探檢查器1221。
參考圖28說(shuō)明該系列處理。圖28表示輸入幀(當(dāng)前幀)圖像數(shù)據(jù)1300和過(guò)去幀(先前幀)圖像數(shù)據(jù)1310。這些幀數(shù)據(jù)是在當(dāng)前幀存儲(chǔ)器1211和先前幀存儲(chǔ)器1212中存儲(chǔ)的數(shù)據(jù)。
像素相關(guān)性檢查器1210從圖6所示候選矢量提取器102中接收候選矢量信息的輸入，候選矢量信息代表圖28所示候選矢量a到g。這些候選矢量已經(jīng)通過(guò)上述估計(jì)值表內(nèi)的峰值的檢測(cè)而獲得。
像素相關(guān)性檢查器1210基于候選矢量信息，對(duì)于先前幀的每個(gè)像素，即對(duì)于將確定運(yùn)動(dòng)矢量的每個(gè)像素(關(guān)注像素)，確定由多個(gè)候選矢量指定的當(dāng)前幀內(nèi)的像素位置。例如，對(duì)于圖28所示的過(guò)去幀(先前幀)圖像數(shù)據(jù)1310內(nèi)的關(guān)注像素1311，識(shí)別了由多個(gè)候選矢量指定的當(dāng)前幀內(nèi)的像素位置A到G。
像素值差計(jì)算器1213計(jì)算在過(guò)去幀(先前幀)圖像數(shù)據(jù)1310的關(guān)注像素1311和由候選矢量指定的當(dāng)前幀內(nèi)的每個(gè)像素位置A到G的像素值之間的差。絕對(duì)值計(jì)算器1214計(jì)算每個(gè)差的絕對(duì)值，即像素差的絕對(duì)值(MC殘差)，并且將該絕對(duì)值輸出到試探檢查器1221。
試探檢查器1221接收關(guān)注像素和由多個(gè)候選矢量確定的各個(gè)像素之間的差的絕對(duì)值(MC殘差)的輸入。例如，當(dāng)候選矢量數(shù)是n時(shí)，輸入n個(gè)差的絕對(duì)值(MC殘差)[di]，這里i＝1到n。
試探檢查器1221從n個(gè)差的絕對(duì)值(MC殘差)[di]中選擇與關(guān)注像素1311相關(guān)聯(lián)的運(yùn)動(dòng)矢量。更具體地，試探檢查器1221從n個(gè)差的絕對(duì)值(MC殘差)[di]中選擇最小的MC殘差。
假設(shè)該n個(gè)MC殘差的最小值用dmin表示，預(yù)定閾值用TH表示，則選擇指定滿足di-dmin≤TH的像素或者滿足dmin的像素的任何一個(gè)的候選矢量。
在圖28所示的例子中，例如，當(dāng)在像素A到E中A、C和E被選擇作為滿足上述標(biāo)準(zhǔn)的像素時(shí)，這些所選擇像素的候選矢量信息被從試探檢查器1221輸出到門1222，使得在從圖6所示候選矢量提取器102輸入的候選矢量信息中，僅僅所選擇的候選矢量信息被輸入到特征像素位置相關(guān)性檢查器1230。
特征像素位置相關(guān)性檢查器1230從由試探檢查器1221選擇的候選矢量中確定與像素相關(guān)聯(lián)的一個(gè)運(yùn)動(dòng)矢量。特征像素位置相關(guān)性檢查器1230基于從附加信息計(jì)算器1250輸入的關(guān)注像素之鄰接像素的特征像素位置信息，來(lái)檢查像素值的相關(guān)性，并且從由試探檢查器1221選擇的候選矢量中確定運(yùn)動(dòng)矢量。
參考圖29說(shuō)明附加信息計(jì)算器1250的詳細(xì)結(jié)構(gòu)。作為特征像素，附加信息計(jì)算器1250例如在鄰近關(guān)注像素的像素中提取與鄰接像素之間具有最大像素值差絕對(duì)值的像素。
圖29所示的附加信息計(jì)算器1250包括鄰接像素差絕對(duì)值計(jì)算器1251，其包括寄存器1252、像素值差計(jì)算器1253、和絕對(duì)值計(jì)算器1254；寄存器1255；最大差檢測(cè)器1256；最大差像素位置檢測(cè)器1257；以及寄存器1258。
鄰接像素差絕對(duì)值計(jì)算器1251接收要檢測(cè)運(yùn)動(dòng)矢量的圖像信號(hào)，并且將圖像幀數(shù)據(jù)存儲(chǔ)在寄存器1252中。像素值差計(jì)算器1253順序地計(jì)算寄存器1252中存儲(chǔ)的圖像數(shù)據(jù)的鄰接像素之間的差，絕對(duì)值計(jì)算器1254順序地計(jì)算該鄰接像素之間的差的絕對(duì)值，并將該絕對(duì)值輸出到最大差檢測(cè)器1256。
參考圖30，說(shuō)明特定處理。在附加信息計(jì)算器1250中，順序計(jì)算寄存器1252中存儲(chǔ)的圖像數(shù)據(jù)的鄰接像素之間的差的絕對(duì)值，以識(shí)別例如在關(guān)注像素之鄰近區(qū)域內(nèi)的像素中與鄰接像素之間具有差的最大絕對(duì)值的像素。所述關(guān)注像素之鄰近區(qū)域內(nèi)的像素是指例如在關(guān)注像素水平方向前或后-8到+7個(gè)像素的像素范圍內(nèi)的預(yù)定像素區(qū)域。
在圖30所示的例子中，在關(guān)注像素1281的鄰近區(qū)域內(nèi)，識(shí)別與鄰接像素具有差的最大絕對(duì)值的像素1282。
圖29所示的最大差檢測(cè)器1256完成比較，同時(shí)在寄存器1255中存儲(chǔ)順序輸入的鄰接像素之間的差的絕對(duì)值，以對(duì)-8到+7每組16個(gè)像素檢測(cè)具有像素值差之最大絕對(duì)值的像素差。就是說(shuō)，如圖31所示，對(duì)于16個(gè)像素的每一個(gè)，最大差檢測(cè)器1256對(duì)于各組16像素順序檢測(cè)具有像素值差之最大絕對(duì)值的像素差MAXa，MAXb和MAXc。
由最大差檢測(cè)器1256檢測(cè)的對(duì)于每個(gè)預(yù)定區(qū)域(例如每組16個(gè)像素)具有像素值差之最大絕對(duì)值的像素的信息被輸入到最大差像素位置檢測(cè)器1257，在這里檢測(cè)用于每個(gè)預(yù)定區(qū)域(例如每組16個(gè)像素)的最大差像素位置信息，并且該最大差像素位置信息被存儲(chǔ)在寄存器1258中。
在圖30所示的例子中，在關(guān)注像素1281的鄰近區(qū)域內(nèi)，當(dāng)關(guān)注像素的像素位置被表示為0時(shí)，具有與鄰接像素之間差的最大絕對(duì)值的像素1282的像素位置為[+4]。
在寄存器1258中存儲(chǔ)的用于每個(gè)預(yù)定區(qū)域(例如每組16個(gè)像素)的最大差像素位置信息被順序地輸出到當(dāng)前幀附加信息存儲(chǔ)器1231。
再參考圖27，繼續(xù)說(shuō)明由運(yùn)動(dòng)矢量確定器1200執(zhí)行的處理。參考圖29說(shuō)明的來(lái)自附加信息計(jì)算器1250的特征像素位置信息被存儲(chǔ)在圖27所示的特征像素位置相關(guān)性檢查器1230的當(dāng)前幀附加信息存儲(chǔ)器1231中。在當(dāng)前幀附加信息存儲(chǔ)器1231中，存儲(chǔ)了與幀相關(guān)聯(lián)而提取的用于每個(gè)預(yù)定區(qū)域(例如每組16個(gè)像素)的最大差像素位置信息。當(dāng)前幀附加信息存儲(chǔ)器1231中的信息在用于每幀的處理步驟中被傳送和存儲(chǔ)在先前幀附加信息存儲(chǔ)器1232中。
而且，當(dāng)前幀附加信息存儲(chǔ)器1231接收試探檢查器1221的輸出，即由試探檢查器1221選擇的選擇候選矢量信息。
基于在關(guān)注像素鄰近區(qū)域中提取的特征像素，相關(guān)性檢查器1233從由試探檢查器1221選擇的選擇候選矢量中確定與關(guān)注像素相關(guān)聯(lián)的單個(gè)運(yùn)動(dòng)矢量。
參考圖32說(shuō)明由相關(guān)性檢查器1233執(zhí)行的運(yùn)動(dòng)矢量確定處理。圖32表示輸入幀(當(dāng)前幀)圖像數(shù)據(jù)1301和過(guò)去幀(先前幀)圖像數(shù)據(jù)1310，其類似于參考圖28上述的情況。
在輸入幀(當(dāng)前幀)圖像數(shù)據(jù)1300中，示出了由參考圖28上述的試探檢查器進(jìn)行的候選矢量選擇處理所選擇的候選矢量a，c和e。
特征像素位置相關(guān)性檢查器1230中的相關(guān)性檢查器1233基于從過(guò)去幀(先前幀)圖像數(shù)據(jù)1310中所選擇的關(guān)注像素，即與運(yùn)動(dòng)矢量相關(guān)聯(lián)的關(guān)注像素1311，的鄰近區(qū)域中的特征像素位置數(shù)據(jù)，從候選矢量a，c，和e中確定運(yùn)動(dòng)矢量。
在圖32所示的例子中，基于從附加信息計(jì)算器1250輸入的信息，當(dāng)關(guān)注像素1311的像素位置被表示為
時(shí)，確定關(guān)注像素1311的鄰近區(qū)域內(nèi)的特征像素位置是[-3]。圖32中，關(guān)注像素的-4到+3的像素區(qū)域被示作為鄰近區(qū)域。
相關(guān)性檢查器1233檢查關(guān)注像素1311的鄰近區(qū)域內(nèi)的特征像素位置和由所選擇候選矢量a，c和e指定的對(duì)應(yīng)像素位置A，C和E的鄰近區(qū)域內(nèi)的特征像素位置之間的相關(guān)性。在附圖所示的例子中，在由所選擇候選矢量a指定的對(duì)應(yīng)像素位置A的鄰近區(qū)域1301內(nèi)，當(dāng)像素位置A被表示為
時(shí)，特征像素出現(xiàn)在[-3]的位置。該特征像素是對(duì)于具有預(yù)定大小的每個(gè)像素區(qū)域所選擇的特征像素，是在被定義為像素位置A之鄰近區(qū)域的區(qū)域內(nèi)具有與鄰接像素之差的最大絕對(duì)值的像素。
在由所選擇候選矢量c指定的對(duì)應(yīng)像素位置C的鄰近區(qū)域1302內(nèi)，當(dāng)像素位置C被表示為
時(shí)，特征像素出現(xiàn)在[-2]的位置。在由所選擇候選矢量e指定的對(duì)應(yīng)像素位置E的鄰近區(qū)域1303內(nèi)，當(dāng)像素位置C被表示為
時(shí)，特征像素出現(xiàn)在[+2]的位置。
當(dāng)關(guān)注像素位置被表示為
時(shí)，關(guān)注像素1311的鄰近區(qū)域內(nèi)的特征像素出現(xiàn)在[-3]的位置。該特征像素位置對(duì)應(yīng)于由候選矢量a指定的像素A的鄰近區(qū)域1301內(nèi)的特征像素位置[-3]，但不對(duì)應(yīng)于由另外兩個(gè)候選矢量c和e指定的像素C和E的鄰近區(qū)域1302和1303內(nèi)的特征像素位置[-2]和[+2]。
因此，候選矢量a被選擇作為與關(guān)注像素1311相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
相關(guān)性檢查器1233順序地將構(gòu)成幀的像素設(shè)置作為關(guān)注像素，并且對(duì)于每個(gè)關(guān)注像素，與上述類似，檢查與鄰近區(qū)域內(nèi)的特征像素位置之間的相關(guān)性，由此從所選擇的候選矢量中選擇和確定與構(gòu)成幀的每個(gè)像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
如上述，在圖27所示的運(yùn)動(dòng)矢量確定器中，基于關(guān)注像素的鄰近區(qū)域內(nèi)的像素值，指定特征像素位置，判定在與關(guān)注像素的鄰近區(qū)域內(nèi)的關(guān)注像素位置相對(duì)應(yīng)的特征像素的相對(duì)位置和由試探檢查器1221選擇的每個(gè)候選矢量所指定的像素的鄰近區(qū)域內(nèi)的特征像素位置之間的相關(guān)性、以及將指定具有最高相關(guān)性的特征像素位置上的像素的候選矢量確定作為與關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
現(xiàn)在，參考圖33所示流程圖，說(shuō)明上述運(yùn)動(dòng)矢量確定處理。
說(shuō)明圖33所示流程的各個(gè)步驟中的處理。圖33表示單個(gè)關(guān)注像素的運(yùn)動(dòng)矢量確定處理的流程。當(dāng)對(duì)幀圖像的所有構(gòu)成像素確定運(yùn)動(dòng)矢量時(shí)，幀圖像的構(gòu)成像素被順序選擇作為關(guān)注像素，并且對(duì)每個(gè)關(guān)注像素執(zhí)行圖33所示的流程。
首先，在步驟S1201執(zhí)行的處理中，計(jì)算在關(guān)注像素和由n個(gè)候選矢量指定的每個(gè)像素之間的差的絕對(duì)值，即MC殘差dn。這個(gè)處理由圖27所示的運(yùn)動(dòng)矢量確定器1200中的像素相關(guān)性檢查器1210執(zhí)行。
步驟S1202到S1204由試探檢查器1221執(zhí)行。在步驟S1202中，試探檢查器1221接收n個(gè)差絕對(duì)值(MC殘差)[di]的輸入，并且在n個(gè)MC殘差中檢測(cè)最小的值dmin。
在步驟S1203，進(jìn)行初始設(shè)定，使得i＝0(0≤i≤n)。在步驟S1204，檢查是否滿足下式，這里TH表示預(yù)定閾值di-dmin≤TH。
步驟S1204中進(jìn)行的處理是試探檢查，用于從參考圖28上述的候選矢量中選擇候選矢量。當(dāng)確定不滿足di-dmin≤TH時(shí)，確定相關(guān)的候選矢量不是要被選擇的候選矢量。然后，處理跳過(guò)基于步驟S1205和S1206的關(guān)注像素之鄰近區(qū)域內(nèi)的特征像素位置的相關(guān)性檢查，并且前進(jìn)到步驟S1207。
當(dāng)在步驟S1204執(zhí)行的試探檢查中滿足di-dmin≤TH時(shí)，相關(guān)候選矢量被選擇作為所選擇候選矢量，并且處理前進(jìn)到步驟S1205。步驟S1205和S1206的處理由圖27所示的運(yùn)動(dòng)矢量確定器1200的特征像素位置相關(guān)性檢查器1230執(zhí)行。
在步驟S1205，檢查特征像素位置的相關(guān)性。在該處理中，如參考圖32上述，檢查是否存在在關(guān)注像素的鄰近區(qū)域內(nèi)的特征像素位置和被選擇作為所選擇候選矢量的每個(gè)像素的鄰近區(qū)域內(nèi)的特征像素位置之間的相關(guān)性，即位置的對(duì)應(yīng)。
在步驟S1206，選擇具有更高相關(guān)性的候選矢量。在步驟S1207，基于i的值，檢查所有的候選矢量是否已經(jīng)被檢查。當(dāng)沒(méi)有完成檢查時(shí)，處理前進(jìn)到步驟S1209，其中i的值被更新(增加1)，并且重復(fù)步驟S1204和隨后步驟的處理。
當(dāng)所有候選矢量的檢查已經(jīng)結(jié)束時(shí)，處理前進(jìn)到步驟S1208。在步驟S1208，在當(dāng)時(shí)已經(jīng)選擇的候選矢量中具有最高相關(guān)性的候選矢量，即在步驟S1205計(jì)算的在關(guān)注像素的鄰近區(qū)域內(nèi)的特征像素位置和被選擇作為所選擇候選矢量的像素的鄰近區(qū)域內(nèi)的特征像素位置之間具有最高相關(guān)性的候選矢量，被確定作為與處理中關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
如上述，根據(jù)基于本實(shí)施例的兩點(diǎn)匹配的運(yùn)動(dòng)矢量確定處理，當(dāng)從候選矢量中確定運(yùn)動(dòng)矢量時(shí)，代替進(jìn)行塊匹配，使用關(guān)注像素和其附近的特征像素位置的信息。因此，不需要在塊匹配中執(zhí)行的基于對(duì)應(yīng)于塊尺寸的大量像素值的相關(guān)性計(jì)算，從而能夠?qū)崿F(xiàn)高效的處理。
當(dāng)輸入像素?cái)?shù)據(jù)以光柵掃描的順序輸入時(shí)，在被限定到關(guān)注像素的水平方向的鄰近區(qū)域內(nèi)具有最大差絕對(duì)值的像素位置的檢測(cè)、或者與鄰接像素之間具有最大差絕對(duì)值的像素位置的檢測(cè)，即由附加信息計(jì)算器1250進(jìn)行的附加信息計(jì)算處理，能夠與由圖6所示的估計(jì)值表生成器101執(zhí)行的估計(jì)值表生成處理并行進(jìn)行，使得在估計(jì)值表生成處理結(jié)束時(shí)有可能結(jié)束附加信息的計(jì)算。因此，不需要設(shè)置新的處理周期，使得能夠在不降低處理速度的情況下進(jìn)行運(yùn)動(dòng)矢量檢測(cè)處理。
盡管結(jié)合關(guān)注像素的鄰近區(qū)域被定義為-8到+7的16個(gè)像素或者-4到+3的8個(gè)像素以及關(guān)注像素位置被表示為
的例子已經(jīng)說(shuō)明了上述實(shí)施例，但是，任意區(qū)域都能夠被定義為鄰近區(qū)域。而且，考慮到像素以光柵掃描的順序被輸入，通過(guò)將鄰近區(qū)域僅僅設(shè)置在水平方向右側(cè)的范圍內(nèi)，有可能基于光柵掃描順序的輸入像素值來(lái)比較鄰接像素。因此，能夠減少用于像素值的存儲(chǔ)器面積，使得能夠進(jìn)一步降低硬件規(guī)模。
在上述實(shí)施例中，設(shè)置了像素的鄰近區(qū)域，附加信息計(jì)算器1250將與鄰近區(qū)域內(nèi)鄰接像素之間差絕對(duì)值成為最大的像素位置計(jì)算作為特征像素信息，并且該特征像素信息被用于相關(guān)性檢查。就是說(shuō)，用于相關(guān)性檢查的信息是(a)具有與鄰接像素的差絕對(duì)值的像素的位置代替僅僅使用具有與鄰接像素之間最大差絕對(duì)值的像素位置的信息，例如，下述信息可以被用作為相關(guān)性檢查信息(b)具有與鄰接像素之間最大差絕對(duì)值的像素的位置和像素值圖34表示在(b)情況下，即具有與鄰接像素之最大差絕對(duì)值的像素的位置和像素值用作為相關(guān)性檢查信息之情況下，附加信息計(jì)算器1250的示例結(jié)構(gòu)。
圖34所示附加信息計(jì)算器1250的結(jié)構(gòu)基本上與圖29所示附加信息計(jì)算器1250的結(jié)構(gòu)相同，其包括鄰接像素差絕對(duì)值計(jì)算器1251，其包括寄存器1252、像素值差計(jì)算器1253和絕對(duì)值計(jì)算器1254；寄存器1255；最大差檢測(cè)器1256；最大差像素位置檢測(cè)器1257；以及寄存器1258。
鄰接像素差絕對(duì)值計(jì)算器1251接收要檢測(cè)運(yùn)動(dòng)矢量的圖像信號(hào)的輸入，并且將圖像幀數(shù)據(jù)存儲(chǔ)在寄存器1252中。像素值差計(jì)算器1253順序地計(jì)算寄存器1252中存儲(chǔ)的圖像數(shù)據(jù)的鄰接像素之間的差。絕對(duì)值計(jì)算器1254順序地計(jì)算該鄰接像素之間的差的絕對(duì)值并將該絕對(duì)值輸出到最大差檢測(cè)器1256。
最大差檢測(cè)器1256執(zhí)行比較，同時(shí)在寄存器1255中存儲(chǔ)順序輸入的鄰接像素之間的差的絕對(duì)值，由此在例如每組16個(gè)像素的每個(gè)預(yù)定區(qū)域中檢測(cè)具有像素值差之最大絕對(duì)值的像素差。
由最大差檢測(cè)器1256檢測(cè)的對(duì)于每個(gè)預(yù)定區(qū)域(例如每組16個(gè)像素)具有最大絕對(duì)像素值差的像素的信息被輸入到最大差像素位置檢測(cè)器1257，在這里檢測(cè)用于每個(gè)預(yù)定區(qū)域(例如每組16個(gè)像素)的具有最大差的像素的位置信息，并且該位置信息被存儲(chǔ)在寄存器1258中。
參考圖29如上所述的附加信息計(jì)算器1250僅僅將寄存器1258中存儲(chǔ)的位置信息輸出到當(dāng)前幀附加信息存儲(chǔ)器1231，使得基于位置信息檢查相關(guān)性。圖34所示的附加信息計(jì)算器1250將具有最大差之像素位置的像素值信息、以及在寄存器1258中存儲(chǔ)的代表具有最大差之像素位置的位置信息，從寄存器1255輸出到當(dāng)前幀附加信息存儲(chǔ)器1231。
在圖27所示的特征像素位置相關(guān)性檢查器1230中，使用這兩個(gè)數(shù)據(jù)，即具有與鄰接像素之間最大差絕對(duì)值的像素的位置信息和像素值信息，來(lái)檢查相關(guān)性。
例如，在上述圖32中，即使當(dāng)所有被選擇候選矢量在與關(guān)注像素鄰近區(qū)域中所檢測(cè)的像素位置相同的位置上具有特征像素時(shí)，通過(guò)進(jìn)一步檢查像素值的相關(guān)性，有可能選擇具有最高匹配度的候選矢量，并將該候選矢量確定作為關(guān)注像素的運(yùn)動(dòng)矢量。
通過(guò)不僅使用位置信息而且還使用像素值級(jí)別信息或者像素值級(jí)別差信息以及位置信息來(lái)用于相關(guān)性檢查，有可能更精確地確定運(yùn)動(dòng)矢量。
上述兩點(diǎn)匹配基于物體運(yùn)動(dòng)且具有確定面積的假設(shè)。例如，當(dāng)特征像素被設(shè)置在遠(yuǎn)離關(guān)注像素的位置時(shí)，為相同物體的概率是低的。因此，可以執(zhí)行處理，使得與特征像素之間的距離被反映在相關(guān)性以及特征位置的匹配度上。就是說(shuō)，對(duì)于距關(guān)注像素近的位置上的特征像素，其權(quán)重可以在相關(guān)性檢查中增加，同時(shí)，對(duì)于距關(guān)注像素遠(yuǎn)的位置上的特征像素，其權(quán)重在相關(guān)性檢查中降低。
(2)基于三點(diǎn)匹配的運(yùn)動(dòng)矢量確定處理下面，說(shuō)明基于三點(diǎn)匹配的運(yùn)動(dòng)矢量確定處理。圖35表示根據(jù)本實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置中的運(yùn)動(dòng)矢量確定器的詳細(xì)結(jié)構(gòu)。圖35所示的運(yùn)動(dòng)矢量確定器400對(duì)應(yīng)于圖6所示的運(yùn)動(dòng)矢量檢測(cè)裝置中的運(yùn)動(dòng)矢量確定器103。
圖35所示的運(yùn)動(dòng)矢量確定器400從圖6所示的候選矢量提取器102中接收基于上述估計(jì)值表所確定的多個(gè)候選矢量的信息輸入，并且確定將與每個(gè)像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
如圖35所示，本實(shí)施例中的運(yùn)動(dòng)矢量確定器400包括像素相關(guān)性檢查器1410、試探檢查器1421、附加信息計(jì)算器1450、當(dāng)前幀附加信息存儲(chǔ)器1422、先前幀附加信息存儲(chǔ)器1423、以及鄰近區(qū)域信息相關(guān)性檢查器1430。像素相關(guān)性檢查器1410包括當(dāng)前幀存儲(chǔ)器1411、先前幀存儲(chǔ)器1412、像素值差計(jì)算器1413、以及絕對(duì)值計(jì)算器1414。鄰近區(qū)域信息相關(guān)性檢查器1430包括寄存器1431和1432、門1433、和相關(guān)性檢查器1434。參考圖35詳細(xì)說(shuō)明附加信息計(jì)算器1450。
像素相關(guān)性檢查器1410接收?qǐng)D像信號(hào)的輸入。該輸入圖像是例如通過(guò)光柵掃描獲得的圖像數(shù)據(jù)，如參考圖6上述的。例如，圖像數(shù)據(jù)包括數(shù)字色彩視頻信號(hào)的分量信號(hào)中的亮度信號(hào)。
圖像數(shù)據(jù)以幀數(shù)據(jù)為基礎(chǔ)輸入。圖像數(shù)據(jù)被首先存儲(chǔ)在當(dāng)前幀存儲(chǔ)器1411中，然后被存儲(chǔ)在先前幀存儲(chǔ)器1412中。因此，像素相關(guān)性檢查器1410將兩個(gè)連續(xù)幀的數(shù)據(jù)保持在所述存儲(chǔ)器中。
而且，像素相關(guān)性檢查器1410從圖6所示候選矢量提取器102中接收候選矢量信息的輸入，基于候選矢量信息，對(duì)于先前幀的每個(gè)像素，即對(duì)于將確定運(yùn)動(dòng)矢量的每個(gè)像素(關(guān)注像素)，識(shí)別由多個(gè)候選矢量指定的當(dāng)前幀內(nèi)的像素位置，在像素值差計(jì)算器1413中計(jì)算在先前幀的關(guān)注像素和由多個(gè)候選矢量指定的當(dāng)前幀內(nèi)的每個(gè)像素之間的差，在絕對(duì)值計(jì)算器1414中計(jì)算該差的絕對(duì)值，以及將差的絕對(duì)值輸出到試探檢查器1421。系列處理與上述兩點(diǎn)匹配的情況相同。
試探檢查器1421接收關(guān)注像素和由多個(gè)候選矢量確定的各個(gè)像素之間的差的絕對(duì)值(MC殘差)的輸入。例如，當(dāng)候選矢量數(shù)是n時(shí)，輸入n個(gè)差的絕對(duì)值(MC殘差)[di]，這里i＝1到n。
試探檢查器1421從n個(gè)差的絕對(duì)值(MC殘差)[di]中選擇與關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。更具體地，試探檢查器1421從n個(gè)差的絕對(duì)值(MC殘差)[di]中選擇小的MC殘差。這個(gè)處理也與上述兩點(diǎn)匹配情況相同。例如，假設(shè)該n個(gè)MC殘差的最小值用dmin表示，預(yù)定閾值用TH表示，則選擇指定滿足下式的像素或者滿足dmin的像素的候選矢量di-dmin≤TH。
在參考圖28上述的例子中，例如，當(dāng)在像素A到E中A、C和E被選擇作為滿足上述標(biāo)準(zhǔn)的像素時(shí)，用于這些像素的所選擇候選矢量信息被從試探檢查器1421輸出到門1433，使得在從圖6所示候選矢量提取器102輸入的候選矢量信息中，僅僅所選擇的候選矢量信息被輸入到鄰近區(qū)域信息相關(guān)性檢查器1430。
而且，在根據(jù)本實(shí)施例的像素相關(guān)性檢查器1410中，關(guān)注像素的鄰近區(qū)域內(nèi)的兩個(gè)像素的像素信息被從像素相關(guān)性檢查器1410的當(dāng)前幀存儲(chǔ)器1411輸入到鄰近區(qū)域信息相關(guān)性檢查器1430的寄存器1432，對(duì)應(yīng)于由候選矢量指定的n個(gè)像素的兩個(gè)像素，即n×2個(gè)像素，被從像素相關(guān)性檢查器1410的先前幀存儲(chǔ)器輸入到鄰近區(qū)域信息相關(guān)性檢查器1430的寄存器1431。
鄰近區(qū)域中的哪個(gè)像素將被輸出由當(dāng)前幀附加信息存儲(chǔ)器1422、先前幀附加信息存儲(chǔ)器1423以及n個(gè)候選矢量的信息輸出來(lái)確定。
由附加信息計(jì)算器1450計(jì)算的結(jié)果被輸出到當(dāng)前幀附加信息存儲(chǔ)器1422和先前幀附加信息存儲(chǔ)器1423。
參考圖36說(shuō)明附加信息計(jì)算器1450的特定結(jié)構(gòu)。例如，附加信息計(jì)算器1450提取與關(guān)注像素之間具有最大像素值差的像素和與關(guān)注像素之間具有最小像素值差的像素，作為關(guān)注像素附近的像素中的特征像素。
圖36所示的附加信息計(jì)算器1450包括關(guān)注像素差計(jì)算器1451，其包括寄存器1452和像素值差計(jì)算器1453；最大差像素信息獲得單元(MAX)1454；最小差像素信息獲得單元(MIN)1455；最大差像素位置檢測(cè)器1456；寄存器1457；最小差像素位置檢測(cè)器1458；以及寄存器1459。
關(guān)注像素差計(jì)算器1451接收要檢測(cè)運(yùn)動(dòng)矢量的圖像信號(hào)的輸入，并且將圖像幀數(shù)據(jù)存儲(chǔ)在寄存器1452中。像素值差計(jì)算器1453順序地計(jì)算寄存器1452中存儲(chǔ)的圖像數(shù)據(jù)的鄰近區(qū)域內(nèi)的差，并且將具有最大差的像素的信息存儲(chǔ)在最大差像素信息獲得單元(MAX)1454中，同時(shí)將具有最小差的像素的信息存儲(chǔ)在最小差像素信息獲得單元(MIN)1455中。這些像素信息包括像素位置信息。
參考圖37，說(shuō)明特定處理。在附加信息計(jì)算器1450中，對(duì)于寄存器1452中存儲(chǔ)的圖像數(shù)據(jù)，順序計(jì)算關(guān)注像素和關(guān)注像素的鄰接像素值之間的差，以在關(guān)注像素的鄰近區(qū)域內(nèi)的像素中獲得例如與關(guān)注像素之間具有最大差的像素的信息和與關(guān)注像素之間具有最小差的像素的信息。所述關(guān)注像素的鄰近區(qū)域內(nèi)的像素是指例如在水平方向上關(guān)注像素的-8到+7像素范圍、或者在二維區(qū)域中設(shè)定的塊的預(yù)定像素區(qū)域。
在圖37所示的例子中，在關(guān)注像素1481的鄰近區(qū)域內(nèi)，當(dāng)關(guān)注像素1481的像素位置被表示為
時(shí)，具有與關(guān)注像素之間最大差的像素是像素1482，即在像素位置[-5]上的像素。就是說(shuō)，具有最大空間梯度的像素被選擇，像素信息被獲得作為特征像素。而且，當(dāng)關(guān)注像素1481的像素位置被表示為
時(shí)，具有與關(guān)注像素之間最小差的像素是像素1483，即在像素位置[-1]上的像素。就是說(shuō)，具有最小空間梯度的像素被選擇，像素信息被獲得作為特征像素。
圖36所示的最大差像素信息獲得單元(MAX)1454基于被順序輸入其中的像素的差信息來(lái)在例如每組-8到+7的16個(gè)像素的每個(gè)預(yù)定區(qū)域中檢測(cè)與關(guān)注像素之間具有最大差的像素。最小差像素信息獲得單元(MIN)1455基于被順序輸入其中的像素的差信息來(lái)在每個(gè)預(yù)定區(qū)域中檢測(cè)與關(guān)注像素之間具有最小差的像素。
由最大差像素信息獲得單元(MAX)1454檢測(cè)的在每個(gè)預(yù)定區(qū)域中具有最大像素差的像素的信息被輸入到最大差像素位置檢測(cè)器1456，在這里每個(gè)預(yù)定區(qū)域(例如每組16個(gè)像素)的最大差像素位置信息被檢測(cè)，而且該最大差像素位置信息被存儲(chǔ)在寄存器1457中。
由最小差像素信息獲得單元(MIN)1455檢測(cè)的在每個(gè)預(yù)定區(qū)域中具有最小像素差的像素的信息被輸入到最小差像素位置檢測(cè)器1458，在這里每個(gè)預(yù)定區(qū)域(例如每組16個(gè)像素)的最小差像素位置信息被檢測(cè)，而且該最小差像素位置信息被存儲(chǔ)在寄存器1459中。
例如，在圖37所示的例子中，在關(guān)注像素1481的鄰近區(qū)域內(nèi)，當(dāng)關(guān)注像素的像素位置被表示為0時(shí)，與關(guān)注像素之間具有最大差的像素1482的像素位置為[-5]。當(dāng)關(guān)注像素的像素位置被表示為0時(shí)，與關(guān)注像素之間具有最小差的像素1483的像素位置為[-1]。
在寄存器1457中存儲(chǔ)的用于每個(gè)預(yù)定區(qū)域(例如每組16個(gè)像素)的最大差像素位置信息和在寄存器1459中存儲(chǔ)的用于每個(gè)預(yù)定區(qū)域(例如每組16個(gè)像素)的最小差像素位置信息被順序地輸出到當(dāng)前幀附加信息存儲(chǔ)器1422。
再參考圖35，繼續(xù)說(shuō)明由運(yùn)動(dòng)矢量確定器400執(zhí)行的處理。參考圖36說(shuō)明的來(lái)自附加信息計(jì)算器1450的特征像素位置信息被輸入到圖35所示的當(dāng)前幀附加信息存儲(chǔ)器1422中。對(duì)于每個(gè)幀的處理，該附加信息被傳送到先前幀附加信息存儲(chǔ)器1423。
輸入到當(dāng)前幀附加信息存儲(chǔ)器1422的當(dāng)前幀存儲(chǔ)器內(nèi)的附加信息，也就是與關(guān)注像素相關(guān)聯(lián)的兩個(gè)特征像素位置信息，即，與關(guān)注像素之間具有最大差的像素位置信息和與關(guān)注像素之間具有最小差的像素位置信息，被輸出到像素相關(guān)性檢查器1410的當(dāng)前幀存儲(chǔ)器1411，并且兩點(diǎn)的像素信息基于輸出信息被存儲(chǔ)在鄰近區(qū)域信息檢查器1430的寄存器1432中。該像素信息包括像素位置信息。
而且，輸入到先前幀附加信息存儲(chǔ)器1423的先前幀存儲(chǔ)器內(nèi)的附加信息，也就是與關(guān)注像素之間具有最大差的像素位置信息和與關(guān)注像素之間具有最小差的像素位置信息，被輸出到像素相關(guān)性檢查器1410的先前幀存儲(chǔ)器1412。先前幀存儲(chǔ)器1412還從候選矢量提取器中接收n個(gè)候選矢量的信息輸入。從由候選矢量信息指定的每個(gè)像素所確定的鄰近區(qū)域中識(shí)別兩個(gè)特征像素，使得n×2個(gè)特征像素信息被存儲(chǔ)在鄰近區(qū)域信息檢查器1430的寄存器1431中。該像素信息包括像素位置信息。
寄存器1431中存儲(chǔ)的n×2個(gè)特征像素信息通過(guò)門1433被輸出到相關(guān)性檢查器1434。在門1433，基于通過(guò)試探檢查器1421的試探檢查而從n個(gè)候選矢量中所選擇的所選擇候選矢量，僅僅在與所選擇候選矢量相關(guān)聯(lián)的像素的鄰近區(qū)域內(nèi)的特征像素信息被輸出到相關(guān)性檢查器1434。
另一方面，關(guān)注像素的特征像素信息被直接輸出到相關(guān)性檢查器1434。相關(guān)性檢查器1434檢查這些特征像素的相關(guān)性，以從所選擇候選矢量中確定單個(gè)運(yùn)動(dòng)矢量。
參考圖38說(shuō)明由相關(guān)性檢查器1434執(zhí)行的運(yùn)動(dòng)矢量確定處理。圖38表示輸入幀(當(dāng)前幀)的圖像數(shù)據(jù)1500和過(guò)去幀(先前幀)的圖像數(shù)據(jù)1510，其類似于參考圖28上述的情況。
在輸入幀(當(dāng)前幀)的圖像數(shù)據(jù)1500中，示出了由參考圖28上述的試探檢查器進(jìn)行的候選矢量選擇處理所選擇的候選矢量a，c和e。
鄰近區(qū)域信息檢查器1430中的相關(guān)性檢查器1433基于從過(guò)去幀(先前幀)圖像數(shù)據(jù)1510中所選擇的關(guān)注像素，即與運(yùn)動(dòng)矢量相關(guān)聯(lián)的關(guān)注像素1511，的鄰近區(qū)域中的特征像素位置數(shù)據(jù)，從候選矢量a，c，和e中確定運(yùn)動(dòng)矢量。
在圖38所示的例子中，關(guān)注像素1511的鄰近區(qū)域是二維塊區(qū)域。鄰近區(qū)域的設(shè)置是任意的，可以設(shè)置水平一維區(qū)域，類似于前述兩點(diǎn)匹配的情況。
當(dāng)將關(guān)注像素1511的像素位置作為中心時(shí)，確定在與關(guān)注像素之間具有最大差的像素位置上的最大空間梯度像素1512和在與關(guān)注像素之間具有最小差的像素位置上的最小空間梯度像素1513。
在輸入幀(當(dāng)前幀)1500中，在由各個(gè)所選擇候選矢量指定的像素周圍設(shè)置的每個(gè)像素區(qū)域中，即在與所選擇候選矢量a相關(guān)設(shè)置的像素區(qū)域1501、與所選擇候選矢量c相關(guān)設(shè)置的像素區(qū)域1502、以及在與所選擇候選矢量e相關(guān)設(shè)置的像素區(qū)域1503的每一個(gè)中，確定與中心像素之間具有最大差的像素位置上的最大空間梯度像素和與中心像素之間具有最小差的像素位置上的最小空間梯度像素。
相關(guān)性檢查器1433檢查關(guān)注像素1511的鄰近區(qū)域內(nèi)的特征像素位置和由所選擇候選矢量a，c和e指定的像素位置的鄰近區(qū)域內(nèi)的特征像素位置之間的相關(guān)性。
在附圖所示的例子中，由所選擇候選矢量1指定的鄰近區(qū)域1501處于對(duì)應(yīng)于關(guān)注像素1511的鄰近區(qū)域內(nèi)的特征像素位置的位置上。由另外兩個(gè)所選擇候選矢量c和e指定的鄰近區(qū)域1502和1503不位于對(duì)應(yīng)于關(guān)注像素1511的鄰近區(qū)域內(nèi)的特征像素位置的位置上。
因此，候選矢量a被選擇和確定作為與關(guān)注像素1511相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
相關(guān)性檢查器1433順序地將幀內(nèi)的像素設(shè)置作為關(guān)注像素，并且對(duì)于每個(gè)關(guān)注像素，與上述處理類似，執(zhí)行用于檢查鄰近區(qū)域內(nèi)的特征像素位置的相關(guān)性的處理，由此從所選擇的候選矢量中選擇和確定與幀內(nèi)的每個(gè)像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
如上述，在圖35所示的運(yùn)動(dòng)矢量確定器400中，基于關(guān)注像素的鄰近區(qū)域內(nèi)的像素值，識(shí)別兩個(gè)特征像素位置，檢查在與關(guān)注像素的鄰近區(qū)域內(nèi)的關(guān)注像素位置相對(duì)應(yīng)的特征像素的位置和由試探檢查器1221選擇的候選矢量所指定的像素的鄰近區(qū)域內(nèi)的特征像素位置之間的相關(guān)性，以及將指定具有最高相關(guān)性的特征像素位置的像素的候選矢量確定作為與關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
現(xiàn)在，參考圖39所示流程圖，說(shuō)明上述運(yùn)動(dòng)矢量確定處理的順序。圖39所示流程涉及確定與單個(gè)關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量的處理。當(dāng)對(duì)幀圖像的所有像素確定運(yùn)動(dòng)矢量時(shí)，幀圖像內(nèi)的像素被順序設(shè)定作為關(guān)注像素，并且對(duì)每個(gè)關(guān)注像素執(zhí)行圖39所示的流程。
首先，步驟S1301執(zhí)行的處理是計(jì)算在關(guān)注像素和由n個(gè)候選矢量指定的像素之間的差的絕對(duì)值，即MC殘差dn。這個(gè)處理由圖35所示的運(yùn)動(dòng)矢量確定器的像素相關(guān)性檢查器1410執(zhí)行。
步驟S1302到S1304由試探檢查器1421執(zhí)行。在步驟S1302中，試探檢查器1421接收n個(gè)差絕對(duì)值(MC殘差)[di]的輸入，并且檢測(cè)n個(gè)MC殘差中的最小值dmin。
在步驟S1303，進(jìn)行初始設(shè)定，使得i＝0(0≤i＜n)。在步驟S1304，檢查是否滿足下式，這里TH表示預(yù)定閾值di-dmin≤TH。
步驟S1304中進(jìn)行的處理是試探檢查，用于選擇候選矢量，如參考圖28上述。當(dāng)確定不滿足di-dmin≤TH時(shí)，確定相關(guān)的候選矢量將不被選擇作為選擇的候選矢量。然后，跳過(guò)基于關(guān)注像素之鄰近區(qū)域內(nèi)的特征像素位置的步驟S1305，S1306和S1307中的相關(guān)性檢查，處理前進(jìn)到步驟S1308。
當(dāng)在步驟S1304執(zhí)行的試探檢查中滿足di-dmin≤TH時(shí)，相關(guān)候選矢量被選擇作為所選擇候選矢量，并且處理前進(jìn)到步驟S1305。
在步驟S1305，檢查特征像素位置的相關(guān)性。如參考圖36的上述，在該處理中，檢查在關(guān)注像素的鄰近區(qū)域內(nèi)的兩個(gè)特征像素的位置和被選擇作為所選擇候選矢量的像素的鄰近區(qū)域內(nèi)的兩個(gè)特征像素的位置之間是否存在相關(guān)性，即位置的對(duì)應(yīng)。
在步驟S1306，選擇具有更高相關(guān)性的候選矢量。在步驟S1307，基于i的值，檢查所有的候選矢量檢查是否已經(jīng)完成。當(dāng)沒(méi)有完成檢查時(shí)，處理前進(jìn)到步驟S1310，其中i的值被更新(增加1)，并且重復(fù)步驟S1304和隨后步驟的處理。
當(dāng)所有候選矢量的檢查已經(jīng)結(jié)束時(shí)，處理前進(jìn)到步驟S1308，其中，在已經(jīng)選擇的候選矢量中具有最高相關(guān)性的候選矢量，即在步驟S1305計(jì)算的在關(guān)注像素的鄰近區(qū)域內(nèi)的兩個(gè)特征像素的位置和被選擇作為所選擇候選矢量的像素的鄰近區(qū)域內(nèi)的兩個(gè)特征像素的位置之間具有高相關(guān)性的候選矢量被確定作為與處理中的關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
如上述，在基于本實(shí)施例的三點(diǎn)匹配的運(yùn)動(dòng)矢量確定處理中，當(dāng)從候選矢量中確定運(yùn)動(dòng)矢量時(shí)，不執(zhí)行塊匹配，而是使用關(guān)注像素和鄰近該關(guān)注像素的兩個(gè)特征像素的位置信息。因此，不需要基于塊匹配中使用的根據(jù)塊尺寸的大量像素值的相關(guān)性計(jì)算，結(jié)果能夠?qū)崿F(xiàn)高效的處理。
在上述實(shí)施例中，基于使用當(dāng)前幀和先前幀的兩個(gè)特征像素位置的位置信息來(lái)檢查相關(guān)性?；蛘?，也可以基于與關(guān)注像素相關(guān)聯(lián)的特征像素位置上的像素值來(lái)檢查相關(guān)性。就是說(shuō)，可以僅僅基于使用關(guān)注像素的像素值和關(guān)注像素的鄰近區(qū)域內(nèi)的兩個(gè)特征像素的三點(diǎn)來(lái)進(jìn)行塊匹配。參考圖40說(shuō)明該處理的順序。
圖40表示輸入幀(當(dāng)前幀)圖像數(shù)據(jù)1600和過(guò)去幀(先前幀)圖像數(shù)據(jù)1610，其類似于上述圖38。
在輸入幀(當(dāng)前幀)的圖像數(shù)據(jù)1600中，示出了由參考圖28上述的試探檢查器進(jìn)行的候選矢量選擇處理所選擇的候選矢量a，c和e。
鄰近區(qū)域信息檢查器1430中的相關(guān)性檢查器1433基于從過(guò)去幀(先前幀)圖像數(shù)據(jù)1510中所選擇的關(guān)注像素、即作為與運(yùn)動(dòng)矢量相關(guān)聯(lián)的像素的關(guān)注像素1511，的鄰近區(qū)域中的特征像素位置數(shù)據(jù)，從候選矢量a，c，和e中確定運(yùn)動(dòng)矢量。
在圖40所示的例子中，關(guān)注像素1611的鄰近區(qū)域是二維塊區(qū)域。鄰近區(qū)域的設(shè)置是任意的，可以設(shè)置水平一維區(qū)域，類似于前述兩點(diǎn)匹配的情況。
當(dāng)將關(guān)注像素1611的像素位置作為中心時(shí)，確定在與關(guān)注像素之間具有最大差的像素位置上的最大空間梯度像素1612和在與關(guān)注像素之間具有最小差的像素位置上的最小空間梯度像素1613。
在輸入幀(當(dāng)前幀)1600中，在由各個(gè)所選擇候選矢量指定的像素周圍設(shè)置的每個(gè)像素區(qū)域中，即在與所選擇候選矢量a相關(guān)設(shè)置的像素區(qū)域1601、在與所選擇候選矢量c相關(guān)設(shè)置的像素區(qū)域1602、以及在與所選擇候選矢量e相關(guān)設(shè)置的像素區(qū)域1603的每一個(gè)中，拾取與關(guān)于在過(guò)去幀中檢測(cè)的關(guān)注像素1611的最大空間梯度像素1612和最小空間梯度像素1613的位置相對(duì)應(yīng)的像素，并輸出到圖35所示的鄰近區(qū)域信息相關(guān)性檢查器1430。
如圖40所示，從由所選擇候選矢量a，c和e指定的每一個(gè)像素區(qū)域1601，1602和1603中，拾取與關(guān)于在過(guò)去幀中檢測(cè)的關(guān)注像素1611的最大空間梯度像素1612和最小空間梯度像素1613的位置相對(duì)應(yīng)的像素，并且檢查相關(guān)性。
就是說(shuō)，在圖35所示的鄰近區(qū)域信息檢查器1430中，檢查這些像素之間的像素值的相關(guān)性。更具體地，判定在與關(guān)注像素1611相關(guān)的最大空間梯度像素1612和最小空間梯度像素1613的位置上的像素以及在像素區(qū)域1601，1602，和1603的對(duì)應(yīng)位置上的像素的像素值之間的相關(guān)性。至于中心像素，通過(guò)試探檢查器1421檢查相關(guān)性。因此，獲得了僅僅基于三點(diǎn)的匹配的結(jié)果，并且與通過(guò)三點(diǎn)匹配被確定為具有最高相關(guān)性的數(shù)據(jù)相關(guān)的所選擇候選矢量被確定為與關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
圖41表示根據(jù)上述方法的運(yùn)動(dòng)矢量確定處理的流程。在圖41所示的處理流程中，步驟S1401到S1404的處理對(duì)應(yīng)于參考圖39上述的處理流程中的步驟S1301到S1304的處理，其中所選擇候選矢量通過(guò)試探檢查器提取出。
在步驟S1405，進(jìn)行基于三點(diǎn)的塊匹配。就是說(shuō)，如參考圖40的上述，從由所選擇候選矢量指定的每一個(gè)像素區(qū)域中，拾取與關(guān)于在過(guò)去幀中檢測(cè)的關(guān)注像素的最大空間梯度像素和最小空間梯度像素的位置相對(duì)應(yīng)的像素，并且檢查相關(guān)性。對(duì)于中心像素，即與關(guān)注像素位置相關(guān)聯(lián)的像素相關(guān)性信息，參考試探檢查器的檢查結(jié)果。
通過(guò)在這三點(diǎn)之間檢查匹配來(lái)檢查相關(guān)性，具有最高相關(guān)性的矢量被確定為與關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。步驟S1406到S1408和S1410的處理對(duì)應(yīng)于參考圖39上述的處理流程中的步驟S1306到S1308和S1310的處理，因此其說(shuō)明省略。
如上述，在基于三點(diǎn)匹配從候選矢量確定運(yùn)動(dòng)矢量的處理中，不使用關(guān)注像素的鄰近區(qū)域(塊)中的所有像素來(lái)檢查相關(guān)性，而使用關(guān)注像素和兩個(gè)鄰接特征像素的位置信息或者像素值信息。因此，不需要基于塊匹配中使用的根據(jù)塊尺寸的大量像素值的相關(guān)性計(jì)算，結(jié)果能夠?qū)崿F(xiàn)高效的處理。
有可能執(zhí)行將上述兩個(gè)處理結(jié)合的處理，即基于參考圖39說(shuō)明的使用特征像素位置的相關(guān)性信息的相關(guān)性檢查的運(yùn)動(dòng)矢量確定處理、和基于參考圖41說(shuō)明的使用像素值的相關(guān)性信息的相關(guān)性檢查的運(yùn)動(dòng)矢量確定處理。
圖42表示用于解釋處理順序的流程，該處理順序?qū)⒒谑褂锰卣飨袼匚恢玫南嚓P(guān)性信息的相關(guān)性檢查的運(yùn)動(dòng)矢量確定處理和基于使用像素值的相關(guān)性信息的相關(guān)性檢查的運(yùn)動(dòng)矢量確定處理結(jié)合。
在圖42所示的處理流程中，步驟S1501到S1504的處理對(duì)應(yīng)于參考圖39上述的處理流程中的步驟S1301到S1304的處理，其中所選擇的候選矢量通過(guò)試探檢查器提取出。
在步驟S1505，檢查特征像素位置的相關(guān)性。如參考圖36上述，在該處理中，檢查在關(guān)注像素的鄰近區(qū)域內(nèi)的兩個(gè)特征像素的位置和被選擇作為所選擇候選矢量的像素的鄰近區(qū)域內(nèi)的兩個(gè)特征像素的位置之間是否存在相關(guān)性，即位置的對(duì)應(yīng)。
然后，在步驟S1506，進(jìn)行基于三像素的塊匹配。就是說(shuō)，如參考圖40上述，從由所選擇候選矢量指定的每一個(gè)像素區(qū)域中，拾取與關(guān)于在過(guò)去幀中檢測(cè)的關(guān)注像素的最大空間梯度像素和最小空間梯度像素的位置相對(duì)應(yīng)的像素，并且檢查相關(guān)性。對(duì)于中心像素，即與關(guān)注像素位置相關(guān)聯(lián)的像素相關(guān)性信息，參考試探檢查器的檢查結(jié)果。
在步驟S1507，考慮步驟S1505的相關(guān)性檢查和步驟S1506的相關(guān)性檢查二者來(lái)選擇具有最高相關(guān)性的矢量。步驟S1508到S1510的處理對(duì)應(yīng)于參考圖39上述的處理流程中的步驟S1307到S1308和S1301的處理，因此其說(shuō)明省略。
如上述，在基于像素位置的相關(guān)性和三點(diǎn)匹配從候選矢量確定運(yùn)動(dòng)矢量的處理中，不需要使用關(guān)注像素的鄰近區(qū)域(塊)中的所有像素來(lái)檢查相關(guān)性，而僅僅使用像素信息的極小的量。因此，不需要基于塊匹配中使用的根據(jù)塊尺寸的大量像素值的相關(guān)性計(jì)算，結(jié)果能夠?qū)崿F(xiàn)高效的處理。
盡管參考特定實(shí)施例已經(jīng)說(shuō)明了本發(fā)明，但顯然，對(duì)于本領(lǐng)域技術(shù)人員，在不脫離本發(fā)明精神的情況下，有可能對(duì)實(shí)施例進(jìn)行改進(jìn)或者替換。就是說(shuō)，本發(fā)明已經(jīng)利用例子進(jìn)行了說(shuō)明，本發(fā)明不應(yīng)當(dāng)做限制性解釋。應(yīng)當(dāng)根據(jù)權(quán)利要求來(lái)解釋本發(fā)明的精神。
本說(shuō)明書所述的處理系列能夠由硬件、軟件、或者硬件和軟件的組合來(lái)進(jìn)行。當(dāng)處理通過(guò)軟件實(shí)現(xiàn)時(shí)，其中記錄了處理序列的程序被安裝和執(zhí)行在嵌入于特殊硬件中的計(jì)算機(jī)存儲(chǔ)器中，或者程序被安裝和執(zhí)行在能夠執(zhí)行各種處理的通用計(jì)算機(jī)上。
例如，程序能夠被預(yù)先記錄在用作為記錄媒體的硬盤或者只讀存儲(chǔ)器(ROM)上。另外，程序可以被臨時(shí)或者永久地存儲(chǔ)(記錄)在諸如軟盤、光盤只讀存儲(chǔ)器(CD-ROM)、磁光(MO)盤、數(shù)字多功能盤(DVD)、磁盤或者半導(dǎo)體存儲(chǔ)器等可移去記錄媒體上。這種可移去記錄媒體能夠以所謂封裝軟件的形式提供。
代替將程序從上述可移去記錄媒體安裝在計(jì)算機(jī)上，程序可以從下載站點(diǎn)無(wú)線地傳送到計(jì)算機(jī)或者通過(guò)諸如LAN(局域網(wǎng))或者因特網(wǎng)的網(wǎng)絡(luò)有線地傳送到計(jì)算機(jī)，結(jié)果計(jì)算機(jī)能夠接收被傳送的程序，并將程序安裝在諸如硬盤的內(nèi)部記錄媒體上。
代替以上述順序順序地執(zhí)行，可以按照需要或者根據(jù)執(zhí)行處理的設(shè)備的處理能力來(lái)并行或個(gè)別地進(jìn)行本說(shuō)明書說(shuō)明的各種處理。本說(shuō)明書中的系統(tǒng)是指多個(gè)設(shè)備的邏輯組合，不限于構(gòu)成設(shè)備存在于同一殼體內(nèi)的情況。
工業(yè)實(shí)用性如上述，根據(jù)本發(fā)明的特征，當(dāng)基于代表點(diǎn)匹配生成估計(jì)值表時(shí)，考慮代表點(diǎn)和鄰近代表點(diǎn)的像素的級(jí)別的空間波形來(lái)執(zhí)行相關(guān)性檢查。因此，能夠生成更精確的估計(jì)值表，并能夠更正確地檢測(cè)運(yùn)動(dòng)矢量。
而且，根據(jù)本發(fā)明的特征，權(quán)重系數(shù)W以代表點(diǎn)像素的相關(guān)性信息和標(biāo)志相關(guān)性信息為基礎(chǔ)計(jì)算，所述標(biāo)志相關(guān)性信息基于與在關(guān)注像素和關(guān)注像素的鄰近區(qū)域內(nèi)像素之間的像素值差數(shù)據(jù)相對(duì)應(yīng)的標(biāo)志數(shù)據(jù)，可信度指數(shù)α被生成作為以所計(jì)算的權(quán)重系數(shù)W和作為圖像數(shù)據(jù)復(fù)雜性指數(shù)的活動(dòng)性A為基礎(chǔ)所計(jì)算的值，并且累加對(duì)應(yīng)于可信度指數(shù)α的估計(jì)值以生成估計(jì)值表。因此，能夠生成基于考慮了在代表點(diǎn)和鄰近代表點(diǎn)的像素之間的像素值差而設(shè)定權(quán)重的估計(jì)值的估計(jì)值表。因此，能夠生成更精確的估計(jì)值表，并能夠更正確地檢測(cè)運(yùn)動(dòng)矢量。
而且，根據(jù)本發(fā)明的特征，計(jì)算對(duì)應(yīng)于在關(guān)注像素和關(guān)注像素的鄰近區(qū)域內(nèi)像素之間的像素值差數(shù)據(jù)的標(biāo)志數(shù)據(jù)，使得標(biāo)志數(shù)據(jù)具有比像素值差數(shù)據(jù)更少的位數(shù)，使得標(biāo)志相關(guān)性能夠通過(guò)處理具有少位數(shù)的數(shù)據(jù)來(lái)計(jì)算。因此，能夠在不降低處理速度的情況下生成精確的估計(jì)值表，以及能夠更正確地檢測(cè)運(yùn)動(dòng)矢量。因此，通過(guò)將本發(fā)明應(yīng)用到例如執(zhí)行運(yùn)動(dòng)圖像數(shù)據(jù)編碼等的圖像處理設(shè)備，能夠高效地檢測(cè)運(yùn)動(dòng)矢量，還能夠?qū)崿F(xiàn)設(shè)備尺寸的縮小。
而且，根據(jù)本發(fā)明的特征，當(dāng)基于代表點(diǎn)匹配生成估計(jì)值表時(shí)，檢查在代表點(diǎn)和鄰近代表點(diǎn)的像素之間的運(yùn)動(dòng)相似性。當(dāng)存在運(yùn)動(dòng)相似性時(shí)，確定相關(guān)性檢查結(jié)果的可信度是高的。然后，計(jì)算可信度指數(shù)β，累加基于可信度指數(shù)β的估計(jì)值以生成估計(jì)值表。因此，能夠生成更精確的估計(jì)值表，并能夠更正確地檢測(cè)運(yùn)動(dòng)矢量。
而且，根據(jù)本發(fā)明的特征，檢查在代表點(diǎn)和鄰近該代表點(diǎn)的代表點(diǎn)之間的運(yùn)動(dòng)相似性。如果確定存在運(yùn)動(dòng)相似性，則考慮在代表點(diǎn)和鄰近代表點(diǎn)之間的像素值差而生成可信度指數(shù)β，并且累加對(duì)應(yīng)于可信度指數(shù)β的估計(jì)值，以生成估計(jì)值表。考慮下述參數(shù)計(jì)算可信度指數(shù)β(a)鄰近代表點(diǎn)的運(yùn)動(dòng)的匹配或者相似性的例數(shù)；(b)與具有匹配或者相似運(yùn)動(dòng)的代表點(diǎn)之間的空間梯度；(c)具有匹配或者相似運(yùn)動(dòng)的代表點(diǎn)之間的距離。并且累加基于可信度指數(shù)β的估計(jì)值，以生成估計(jì)值表。因此，能夠生成更精確的估計(jì)值表，并能夠更正確地檢測(cè)運(yùn)動(dòng)矢量。
而且，根據(jù)本發(fā)明的特征，除了可信度指數(shù)β之外，權(quán)重系數(shù)W以標(biāo)志相關(guān)性信息為基礎(chǔ)計(jì)算，所述標(biāo)志相關(guān)性信息基于與在關(guān)注像素和關(guān)注像素的鄰近區(qū)域內(nèi)像素之間的像素值差數(shù)據(jù)相對(duì)應(yīng)的標(biāo)志數(shù)據(jù)，可信度指數(shù)α被生成作為以所計(jì)算的權(quán)重系數(shù)W和作為圖像數(shù)據(jù)復(fù)雜性指數(shù)的活動(dòng)性A為基礎(chǔ)所計(jì)算的值，并且累加對(duì)應(yīng)于具有可信度指數(shù)α和可信度指數(shù)β的可信度指數(shù)K＝α+β的估計(jì)值以生成估計(jì)值表。因此，能夠生成基于也考慮了具有在代表點(diǎn)和鄰近代表點(diǎn)之間的像素值差的估計(jì)值的估計(jì)值表。因此，能夠生成更精確的估計(jì)值表，并能夠更正確地檢測(cè)運(yùn)動(dòng)矢量。由此，通過(guò)將本發(fā)明應(yīng)用到例如執(zhí)行運(yùn)動(dòng)圖像數(shù)據(jù)編碼等的圖像處理設(shè)備，能夠高效地檢測(cè)運(yùn)動(dòng)矢量，還能夠?qū)崿F(xiàn)設(shè)備尺寸的縮小。
而且，根據(jù)本發(fā)明的特征，在從運(yùn)動(dòng)圖像數(shù)據(jù)檢測(cè)運(yùn)動(dòng)矢量的處理中，當(dāng)從多個(gè)候選矢量中選擇和確定與每個(gè)像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量時(shí)，從將與運(yùn)動(dòng)矢量相關(guān)聯(lián)的關(guān)注像素的鄰近區(qū)域中提取出特征像素，并且基于特征像素的位置信息或者像素值信息來(lái)檢查相關(guān)性以確定運(yùn)動(dòng)矢量。因此，不需要使用塊匹配，結(jié)果能夠降低用于計(jì)算相關(guān)性的諸如差的絕對(duì)值之和的計(jì)算的估計(jì)值計(jì)算的量。因此，提高了處理的效率，并且能夠降低用于保持像素值的存儲(chǔ)器大小，使得能夠?qū)崿F(xiàn)硬件規(guī)模的減少。因此，通過(guò)將本發(fā)明應(yīng)用到例如執(zhí)行運(yùn)動(dòng)圖像數(shù)據(jù)編碼等的圖像處理設(shè)備，能夠更正確地檢測(cè)運(yùn)動(dòng)矢量。
權(quán)利要求
1.一種運(yùn)動(dòng)矢量檢測(cè)裝置，用于從運(yùn)動(dòng)圖像數(shù)據(jù)中檢測(cè)運(yùn)動(dòng)矢量，所述運(yùn)動(dòng)矢量檢測(cè)裝置包括估計(jì)值表生成器，基于時(shí)間軸上不同幀之間的像素值相關(guān)性信息而生成估計(jì)值表；以及運(yùn)動(dòng)矢量確定器，基于估計(jì)值表來(lái)檢測(cè)運(yùn)動(dòng)圖像數(shù)據(jù)幀內(nèi)像素的運(yùn)動(dòng)矢量，并將該運(yùn)動(dòng)矢量與該像素相關(guān)聯(lián)；其中，所述估計(jì)值表生成器包括像素相關(guān)性計(jì)算器，以基于從一個(gè)幀中所選擇的代表點(diǎn)的代表點(diǎn)匹配為基礎(chǔ)，計(jì)算時(shí)間軸上不同幀之間的相關(guān)性信息；權(quán)重計(jì)算器，使用由像素相關(guān)性計(jì)算器的計(jì)算結(jié)果、和以在關(guān)注像素和鄰近關(guān)注像素的像素之間的像素值差為基礎(chǔ)的計(jì)算結(jié)果中的至少一個(gè)，來(lái)生成運(yùn)動(dòng)的可信度指數(shù)；以及估計(jì)值表計(jì)算器，通過(guò)累加對(duì)應(yīng)于由權(quán)重計(jì)算器計(jì)算的可信度指數(shù)的估計(jì)值來(lái)生成估計(jì)值表。
2.根據(jù)權(quán)利要求1的運(yùn)動(dòng)矢量檢測(cè)裝置，還包括運(yùn)動(dòng)相似性檢測(cè)器，用于檢測(cè)在對(duì)應(yīng)于關(guān)注像素的代表點(diǎn)和鄰近該代表點(diǎn)的代表點(diǎn)之間的運(yùn)動(dòng)的相似性，其中，所述權(quán)重計(jì)算器基于作為運(yùn)動(dòng)相似性檢測(cè)器檢測(cè)結(jié)果的在代表點(diǎn)和鄰近代表點(diǎn)之間存在運(yùn)動(dòng)相似性的判定，通過(guò)考慮在代表點(diǎn)和鄰近代表點(diǎn)之間的像素值差，來(lái)生成運(yùn)動(dòng)的可信度指數(shù)。
3.根據(jù)權(quán)利要求2的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，如果在代表點(diǎn)之間存在運(yùn)動(dòng)相似性的判定已經(jīng)從運(yùn)動(dòng)相似性檢測(cè)器輸入，則所述權(quán)重計(jì)算器被構(gòu)成為根據(jù)下述公式，基于關(guān)注代表點(diǎn)的亮度級(jí)別Pm和被確定為具有運(yùn)動(dòng)相似性的N個(gè)鄰近代表點(diǎn)的亮度級(jí)別Pn，來(lái)計(jì)算可信度指數(shù)β[公式1]β=ΣnN|Pm-Pn|.]]>
4.根據(jù)權(quán)利要求2的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述運(yùn)動(dòng)矢量檢測(cè)裝置還包括計(jì)算器，所述計(jì)算器接收來(lái)自像素相關(guān)性計(jì)算器的基于代表點(diǎn)匹配的有無(wú)相關(guān)性的檢查結(jié)果的輸入、和來(lái)自權(quán)重計(jì)算器的可信度指數(shù)的輸入，以及其中所述計(jì)算器被構(gòu)成為把從像素相關(guān)性計(jì)算器輸入的基于代表點(diǎn)匹配的有無(wú)相關(guān)性的檢查結(jié)果、和可信度系數(shù)進(jìn)行相加或者相乘，以計(jì)算最終估計(jì)值，并且將最終估計(jì)值輸出到估計(jì)值表計(jì)算器。
5.根據(jù)權(quán)利要求2的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，如果在代表點(diǎn)之間存在運(yùn)動(dòng)相似性的判定已經(jīng)從運(yùn)動(dòng)相似性檢測(cè)器輸入，則所述權(quán)重計(jì)算器被構(gòu)成為計(jì)算可信度指數(shù)，使得可信度指數(shù)反映下述參數(shù)中的至少一個(gè)(a)鄰近代表點(diǎn)的運(yùn)動(dòng)的匹配或者相似的例數(shù)；(b)與具有匹配或者相似運(yùn)動(dòng)的代表點(diǎn)之間的空間梯度；(c)具有匹配或者相似運(yùn)動(dòng)的代表點(diǎn)之間的距離。
6.根據(jù)權(quán)利要求2的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述估計(jì)值表生成器還包括代表點(diǎn)靜止檢查器，用于檢查代表點(diǎn)是否處于靜止區(qū)域中，以及其中，當(dāng)代表點(diǎn)靜止檢查器確定代表點(diǎn)處于靜止區(qū)域中時(shí)，所述權(quán)重計(jì)算器被構(gòu)成為將可信度指數(shù)設(shè)置為0或者減少值。
7.根據(jù)權(quán)利要求2的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述估計(jì)值表生成器還包括標(biāo)志數(shù)據(jù)計(jì)算器，生成對(duì)應(yīng)于在關(guān)注像素和該關(guān)注像素的鄰近區(qū)域內(nèi)像素之間的像素值差數(shù)據(jù)的標(biāo)志數(shù)據(jù)；以及相關(guān)性計(jì)算器，基于標(biāo)志數(shù)據(jù)計(jì)算幀之間的標(biāo)志數(shù)據(jù)相關(guān)性信息；其中，所述權(quán)重計(jì)算器被構(gòu)成為使用基于像素相關(guān)性計(jì)算器之計(jì)算結(jié)果的像素相關(guān)性信息和基于標(biāo)志相關(guān)性計(jì)算器之計(jì)算結(jié)果的標(biāo)志相關(guān)性信息中的至少一個(gè)，來(lái)計(jì)算權(quán)重系數(shù)W，并且生成可信度指數(shù)作為基于該權(quán)重系數(shù)W所計(jì)算的值，其中，所述權(quán)重計(jì)算器被構(gòu)成為基于考慮了在所述代表點(diǎn)和所述鄰近代表點(diǎn)之間的像素值差所生成的可信度指數(shù)、和被計(jì)算作為基于所述權(quán)重系數(shù)W之值的可信度指數(shù)，來(lái)計(jì)算新的可信度指數(shù)K，以及其中，所述估計(jì)值表計(jì)算器被構(gòu)成為通過(guò)累加對(duì)應(yīng)于由權(quán)重計(jì)算器計(jì)算的新可信度指數(shù)K的估計(jì)值，來(lái)生成估計(jì)值表。
8.根據(jù)權(quán)利要求1的運(yùn)動(dòng)矢量檢測(cè)裝置，還包括標(biāo)志數(shù)據(jù)計(jì)算器，生成對(duì)應(yīng)于在關(guān)注像素和鄰近該關(guān)注像素的像素之間的像素值差數(shù)據(jù)的標(biāo)志數(shù)據(jù)；以及標(biāo)志相關(guān)性計(jì)算器，基于標(biāo)志數(shù)據(jù)計(jì)算幀之間的標(biāo)志數(shù)據(jù)相關(guān)性信息；其中所述權(quán)重計(jì)算器使用基于像素相關(guān)性計(jì)算器之計(jì)算結(jié)果的像素相關(guān)性信息和基于標(biāo)志相關(guān)性計(jì)算器之計(jì)算結(jié)果的標(biāo)志相關(guān)性信息中的至少一個(gè)，來(lái)生成權(quán)重系數(shù)W，并且生成可信度指數(shù)作為基于該權(quán)重系數(shù)W所計(jì)算的值。
9.根據(jù)權(quán)利要求8的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述標(biāo)志數(shù)據(jù)計(jì)算器被構(gòu)成為計(jì)算對(duì)應(yīng)于在關(guān)注像素和該關(guān)注像素的鄰近區(qū)域內(nèi)像素之間的像素值差數(shù)據(jù)的標(biāo)志數(shù)據(jù)，使得該標(biāo)志數(shù)據(jù)具有比像素值差數(shù)據(jù)更少的位數(shù)。
10.根據(jù)權(quán)利要求1的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述權(quán)重計(jì)算器被構(gòu)成為將權(quán)重系數(shù)W確定為從基于像素相關(guān)性計(jì)算器的計(jì)算結(jié)果的像素相關(guān)性信息中計(jì)算出的權(quán)重系數(shù)，所述權(quán)重系數(shù)W是至少基于在代表點(diǎn)像素的像素值和包括關(guān)注像素及鄰近該關(guān)注像素之像素的相關(guān)性檢查目標(biāo)像素的像素值之間的差所計(jì)算的值W。
11.根據(jù)權(quán)利要求8的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述權(quán)重計(jì)算器被構(gòu)成為將權(quán)重系數(shù)W計(jì)算作為從基于像素相關(guān)性計(jì)算器的計(jì)算結(jié)果的像素相關(guān)性信息和基于標(biāo)志相關(guān)性計(jì)算器的計(jì)算結(jié)果的標(biāo)志相關(guān)性信息中計(jì)算出的權(quán)重系數(shù)，所述權(quán)重系數(shù)W是基于X和Y之間的差的大小、Xf0和Yf0之間的差的大小、以及Xf1和Yf1之間的差的大小所計(jì)算的值W，其中，X表示代表點(diǎn)像素的像素值，Xf0和Xf1表示基于在X和鄰接該代表點(diǎn)像素的兩個(gè)像素的像素值之間的差數(shù)據(jù)的標(biāo)志數(shù)據(jù)，Y表示相關(guān)性檢查目標(biāo)像素的像素值，Yf0和Yf1表示基于在Y和鄰接該像素的兩個(gè)像素的像素值之間的差數(shù)據(jù)的標(biāo)志數(shù)據(jù)。
12.根據(jù)權(quán)利要求1的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述權(quán)重計(jì)算器被構(gòu)成為將活動(dòng)性A計(jì)算作為圖像數(shù)據(jù)的復(fù)雜性指數(shù)，以及其中，所述權(quán)重計(jì)算器被構(gòu)成為基于所計(jì)算的活動(dòng)性A和權(quán)重系數(shù)W來(lái)計(jì)算可信度指數(shù)，所述權(quán)重系數(shù)W是至少基于在代表點(diǎn)像素的像素值和包括關(guān)注像素及鄰近該關(guān)注像素之像素的相關(guān)性檢查目標(biāo)像素的像素值之間的差的大小而計(jì)算的。
13.根據(jù)權(quán)利要求1的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述運(yùn)動(dòng)矢量檢測(cè)裝置還包括候選矢量提取器，所述候選矢量提取器基于估計(jì)值表提取出一個(gè)或者多個(gè)候選矢量，以及其中，所述運(yùn)動(dòng)矢量確定器被構(gòu)成為從候選矢量中選擇將與運(yùn)動(dòng)圖像數(shù)據(jù)幀內(nèi)每個(gè)像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量，并且將該運(yùn)動(dòng)矢量與該像素相關(guān)聯(lián)。
14.根據(jù)權(quán)利要求13的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述運(yùn)動(dòng)矢量確定器被構(gòu)成為從將與運(yùn)動(dòng)矢量關(guān)聯(lián)的關(guān)注像素的鄰近區(qū)域中提取出特征像素，并且基于以該特征像素為基礎(chǔ)的相關(guān)性檢查來(lái)確定與該關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
15.根據(jù)權(quán)利要求14的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述運(yùn)動(dòng)矢量確定器包括試探檢查器，所述試探檢查器通過(guò)檢查在將與運(yùn)動(dòng)矢量關(guān)聯(lián)的關(guān)注像素的像素值和由候選矢量指定的像素的像素值之間的相關(guān)性，來(lái)從候選矢量中僅僅選擇具有高相關(guān)性的候選矢量，以及其中，僅僅對(duì)于由試探檢查器選擇的所選擇候選矢量進(jìn)行基于特征像素的相關(guān)性檢查。
16.根據(jù)權(quán)利要求14的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述運(yùn)動(dòng)矢量確定器被構(gòu)成為從將與運(yùn)動(dòng)矢量關(guān)聯(lián)的關(guān)注像素的鄰近區(qū)域中提取出特征像素，并且基于以該特征像素的位置信息為基礎(chǔ)的相關(guān)性檢查來(lái)確定與關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
17.根據(jù)權(quán)利要求14的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述運(yùn)動(dòng)矢量確定器被構(gòu)成為從將與運(yùn)動(dòng)矢量關(guān)聯(lián)的關(guān)注像素的鄰近區(qū)域中提取出特征像素，并且基于以該特征像素的像素值信息為基礎(chǔ)的相關(guān)性檢查來(lái)確定與關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
18.根據(jù)權(quán)利要求14的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述運(yùn)動(dòng)矢量確定器被構(gòu)成為從將與運(yùn)動(dòng)矢量關(guān)聯(lián)的關(guān)注像素的鄰近區(qū)域中提取出與鄰接像素之間具有像素值差最大絕對(duì)值的像素，作為特征像素，并且基于以該特征像素的位置信息為基礎(chǔ)的相關(guān)性檢查來(lái)確定與該關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
19.根據(jù)權(quán)利要求14的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述運(yùn)動(dòng)矢量確定器被構(gòu)成為從將與運(yùn)動(dòng)矢量關(guān)聯(lián)的關(guān)注像素的鄰近區(qū)域中提取出與該關(guān)注像素之間具有像素值差最大絕對(duì)值的像素，作為特征像素，并且基于以該特征像素的像素值信息為基礎(chǔ)的相關(guān)性檢查來(lái)確定與該關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
20.根據(jù)權(quán)利要求14的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述運(yùn)動(dòng)矢量確定器被構(gòu)成為從將與運(yùn)動(dòng)矢量關(guān)聯(lián)的關(guān)注像素的鄰近區(qū)域中提取出多個(gè)特征像素，并且基于以該多個(gè)特征像素為基礎(chǔ)的相關(guān)性檢查來(lái)確定與該關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
21.根據(jù)權(quán)利要求20的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述運(yùn)動(dòng)矢量確定器被構(gòu)成為從將與運(yùn)動(dòng)矢量關(guān)聯(lián)的關(guān)注像素的鄰近區(qū)域中提取出與關(guān)注像素之間具有最大和最小像素值差的兩個(gè)像素作為特征像素，并且基于以該兩個(gè)特征像素為基礎(chǔ)的相關(guān)性檢查來(lái)確定與關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
22.根據(jù)權(quán)利要求21的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述運(yùn)動(dòng)矢量確定器被構(gòu)成為基于以該兩個(gè)特征像素的位置信息為基礎(chǔ)的相關(guān)性檢查來(lái)確定與關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
23.根據(jù)權(quán)利要求20的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述運(yùn)動(dòng)矢量確定器被構(gòu)成為從將與運(yùn)動(dòng)矢量關(guān)聯(lián)的關(guān)注像素的鄰近區(qū)域中提取出與該關(guān)注像素之間具有最大和最小像素值差的兩個(gè)像素作為特征像素，并且基于以包括該兩個(gè)特征像素和關(guān)注像素的三個(gè)像素為基礎(chǔ)的相關(guān)性檢查來(lái)確定與關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
24.根據(jù)權(quán)利要求20的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述運(yùn)動(dòng)矢量確定器被構(gòu)成為從將與運(yùn)動(dòng)矢量關(guān)聯(lián)的關(guān)注像素的鄰近區(qū)域中提取出兩個(gè)特征像素，并且基于以包括該兩個(gè)特征像素和關(guān)注像素的三個(gè)像素的像素值為基礎(chǔ)的相關(guān)性檢查來(lái)確定與關(guān)注像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。
25.一種運(yùn)動(dòng)矢量檢測(cè)方法，用于從運(yùn)動(dòng)圖像數(shù)據(jù)中檢測(cè)運(yùn)動(dòng)矢量，所述運(yùn)動(dòng)矢量檢測(cè)方法包括估計(jì)值表生成步驟，基于時(shí)間軸上不同幀之間的像素值相關(guān)性信息生成估計(jì)值表；以及運(yùn)動(dòng)矢量檢測(cè)步驟，基于估計(jì)值表檢測(cè)運(yùn)動(dòng)圖像數(shù)據(jù)幀內(nèi)像素的運(yùn)動(dòng)矢量，并將該運(yùn)動(dòng)矢量與該像素相關(guān)聯(lián)；其中，所述估計(jì)值表生成步驟包括像素相關(guān)性計(jì)算步驟，以基于從一個(gè)幀中所選擇代表點(diǎn)的代表點(diǎn)匹配為基礎(chǔ)，計(jì)算時(shí)間軸上不同幀之間的相關(guān)性信息；權(quán)重計(jì)算步驟，使用像素相關(guān)性計(jì)算步驟中的計(jì)算結(jié)果和以在關(guān)注像素和鄰近該關(guān)注像素的像素之間的像素值差為基礎(chǔ)的計(jì)算結(jié)果的至少一個(gè)，生成運(yùn)動(dòng)的可信度指數(shù)；以及估計(jì)值表計(jì)算步驟，通過(guò)累加對(duì)應(yīng)于所計(jì)算的可信度指數(shù)的估計(jì)值來(lái)生成估計(jì)值表。
26.一種計(jì)算機(jī)程序，用于從運(yùn)動(dòng)圖像數(shù)據(jù)中檢測(cè)運(yùn)動(dòng)矢量，所述計(jì)算機(jī)程序包括估計(jì)值表生成步驟，基于時(shí)間軸上不同幀之間的像素值相關(guān)性信息生成估計(jì)值表；以及運(yùn)動(dòng)矢量檢測(cè)步驟，基于估計(jì)值表檢測(cè)運(yùn)動(dòng)圖像數(shù)據(jù)幀內(nèi)像素的運(yùn)動(dòng)矢量，并將該運(yùn)動(dòng)矢量與該像素相關(guān)聯(lián)；其中，所述估計(jì)值表生成步驟包括像素相關(guān)性計(jì)算步驟，以基于從一個(gè)幀中所選擇代表點(diǎn)的代表點(diǎn)匹配為基礎(chǔ)，計(jì)算時(shí)間軸上不同幀之間的相關(guān)性信息；權(quán)重計(jì)算步驟，使用像素相關(guān)性計(jì)算步驟中的計(jì)算結(jié)果和以在關(guān)注像素和鄰近該關(guān)注像素的像素之間的像素值差為基礎(chǔ)的計(jì)算結(jié)果中的至少一個(gè)，生成運(yùn)動(dòng)的可信度指數(shù)；以及估計(jì)值表計(jì)算步驟，通過(guò)累加對(duì)應(yīng)于所計(jì)算的可信度指數(shù)的估計(jì)值來(lái)生成估計(jì)值表。
全文摘要
提供一種裝置和方法，用來(lái)生成精確估計(jì)值表以實(shí)現(xiàn)正確運(yùn)動(dòng)矢量檢測(cè)處理。權(quán)重系數(shù)W以代表點(diǎn)像素的相關(guān)性信息和標(biāo)志相關(guān)性信息為基礎(chǔ)計(jì)算，所述標(biāo)志相關(guān)性信息基于與在關(guān)注像素和關(guān)注像素的鄰近區(qū)域內(nèi)像素之間的像素值差數(shù)據(jù)相對(duì)應(yīng)的標(biāo)志數(shù)據(jù)?？尚哦戎笖?shù)以所計(jì)算的權(quán)重系數(shù)W和作為圖像數(shù)據(jù)復(fù)雜性指數(shù)的活動(dòng)性A為基礎(chǔ)生成，或者可信度指數(shù)以在代表點(diǎn)和鄰近該代表點(diǎn)的像素之間的運(yùn)動(dòng)相似性為基礎(chǔ)生成，并且累加對(duì)應(yīng)于該可信度指數(shù)的估計(jì)值以生成估計(jì)值表。而且，基于鄰近關(guān)注像素的特征像素的位置或者像素值來(lái)檢查相關(guān)性以確定運(yùn)動(dòng)矢量。
文檔編號(hào)G06T7/20GK1926881SQ200580006359
公開日2007年3月7日 申請(qǐng)日期2005年2月22日 優(yōu)先權(quán)日2004年3月1日
發(fā)明者近藤哲二, 高橋健治, 吉川和志, 石川貴規(guī) 申請(qǐng)人:索尼株式會(huì)社