專利名稱：信息處理設(shè)備和方法以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種信息處理設(shè)備和方法，以及程序，具體地說，涉 及可以準(zhǔn)確地跟蹤運(yùn)動(dòng)圖^f象內(nèi)的跟蹤目標(biāo)的信息處理設(shè)備和方法、以
及程序。
背景技術(shù)：
迄今為止，已經(jīng)構(gòu)想了這樣一種布置其中，對(duì)圖像的內(nèi)容進(jìn)行
分析，并將其分析的結(jié)果應(yīng)用于圖像處理等中。例如，已經(jīng)構(gòu)想了這 樣一種布置其中，對(duì)于諸如由攝像機(jī)拍攝的拍攝圖像的運(yùn)動(dòng)圖像，
每一幀圖像內(nèi)的想要的部分被確定為跟蹤點(diǎn)，并且圖像被放大，或者 控制攝像機(jī)的操作以便跟蹤該跟蹤點(diǎn)(例如，參見日本未審查專利申 請(qǐng)公開號(hào)2005-303983 )。
作為用于跟蹤包含在由用戶指定的運(yùn)動(dòng)圖像中的目標(biāo)的技術(shù)，已 經(jīng)提出了多種方法。例如，有一種通過塊匹配處理進(jìn)行跟蹤的方法。 已知塊匹配是這樣的方法通過利用當(dāng)前場(chǎng)(或幀)圖像和與其相鄰 一個(gè)場(chǎng)(或一個(gè)幀)的圖像來獲得這些塊的差值(評(píng)估值)，從而獲 得運(yùn)動(dòng)矢量。此外，為了實(shí)現(xiàn)跟蹤，將為每個(gè)場(chǎng)(或幀)計(jì)算的運(yùn)動(dòng) 矢量與由用戶首先指定為開始點(diǎn)的位置進(jìn)行累積(integrate)。
圖1示例性地示出在對(duì)按照隔行掃描方法(interlace method) 的運(yùn)動(dòng)圖像進(jìn)行這樣的跟蹤處理的情形。如圖l所示，作為該運(yùn)動(dòng)圖像內(nèi)的幀圖像的幀11由第一場(chǎng)11-1和第二場(chǎng)11-2兩個(gè)場(chǎng)圖像構(gòu)成。 同樣地，在幀11之后的一幀12由第一場(chǎng)12-1和第二場(chǎng)12-2構(gòu)成， 在幀12之后的一幀13由第一場(chǎng)13-1和第二場(chǎng)13-2構(gòu)成。
對(duì)這樣的運(yùn)動(dòng)圖像的跟蹤處理的塊匹配通常在相鄰幀的相同場(chǎng) 之間(例如，在第一場(chǎng)11-1和第一場(chǎng)12-1之間)執(zhí)行，而不是在連 續(xù)場(chǎng)之間(例如，在第一場(chǎng)11-1和第二場(chǎng)11-2之間)執(zhí)行。此外， 為了減少處理成本等，只對(duì)每一幀的一個(gè)場(chǎng)進(jìn)行塊匹配，并且通過利 用前后彼此相鄰的場(chǎng)的值(例如，利用前一場(chǎng)和后一場(chǎng)之間的平均 值)，將另一場(chǎng)進(jìn)行內(nèi)插。也就是說，第一場(chǎng)或第二場(chǎng)被預(yù)先設(shè)置為 要進(jìn)行塊匹配的場(chǎng)，并且，對(duì)于該場(chǎng)，在連續(xù)幀的相同場(chǎng)之間執(zhí)行塊 匹配，通過利用其結(jié)果來計(jì)算運(yùn)動(dòng)矢量，但是對(duì)于另一場(chǎng)，將對(duì)用時(shí) 間上前后相鄰的場(chǎng)獲得的運(yùn)動(dòng)矢量的平均值等進(jìn)行內(nèi)插。
例如，當(dāng)假定在某個(gè)幀的第一場(chǎng)處跟蹤點(diǎn)的位置是P(t-l)，并且 通過塊匹配計(jì)算得到的位移是V時(shí)，在該幀的第二場(chǎng)處的位置P，(t-l) 和在下一幀的第一場(chǎng)處的位置P(t)在下面表達(dá)式(1)和(2)中給出。
<formula>formula see original document page 10</formula>
注意， 一般來"i兌，與4姿照逐4亍掃描方法(progressive method) 的運(yùn)動(dòng)圖像的情況 一樣，經(jīng)常通過跳過 一 幀來執(zhí)行塊匹配。
順便提一下，與電影的情況一樣，例如，將按照每秒24幀的逐 行掃描方法的運(yùn)動(dòng)圖像(在下文中稱為"24p圖像")變換為用于例 如電視廣播等的按照每秒60個(gè)場(chǎng)的隔行掃描方法的運(yùn)動(dòng)圖像，就是 將一個(gè)幀的圖像分成兩個(gè)場(chǎng)圖像或三個(gè)場(chǎng)圖像，從而適用于通常提及 的"2-3下拉(下拉)"。
圖2示出2-3下拉情形的一個(gè)例子。如圖2所示，作為在24p圖 像內(nèi)的某個(gè)時(shí)間點(diǎn)處的幀圖像的幀21被分成兩個(gè)場(chǎng)圖像，即60i圖像， 其中，幀31的第一場(chǎng)31-1作為第一場(chǎng)，第二場(chǎng)31-2作為第二場(chǎng)。而 且，同樣地，在幀21之后的一幀22被分成三個(gè)場(chǎng)圖像，即60i圖像，其中，在幀31之后的一幀32的第一場(chǎng)32-1和在幀32之后的一幀33 的第一場(chǎng)33-l作為第一場(chǎng)，幀32的第二場(chǎng)32-2作為第二場(chǎng)。
此外，同樣地，在幀22之后的一幀23 4皮分成兩個(gè)場(chǎng)圖4象，即 60i圖像，其中，在幀33之后的一幀34的第一場(chǎng)34-l作為第一場(chǎng)， 幀33的第二場(chǎng)33-2作為第二場(chǎng)。而且，同樣地，在幀23之后的一幀 24被分成三個(gè)場(chǎng)圖4象，即60i圖像，其中，在幀34之后的一幀35的 第一場(chǎng)35-1作為第一場(chǎng)，幀34的第二場(chǎng)34-2和幀35的第二場(chǎng)35-2 作為第二場(chǎng)。
如上所述，24p圖像內(nèi)的每一幀圖像都被變換為60i圖像中的兩 個(gè)場(chǎng)或三個(gè)場(chǎng)。
同樣地，將按照每秒30幀的逐行掃描方法的運(yùn)動(dòng)圖像(在下文 中稱為"30p圖像")變換為60i圖像，就是將幀圖像分成兩個(gè)場(chǎng)圖 像，這通常稱為"2-2下拉"。
圖3是示出2-2下拉情形的例子的視圖。如圖3所示，作為在30p 圖像內(nèi)的某個(gè)時(shí)間點(diǎn)處的幀圖像的幀41被分成作為60i圖像的兩個(gè) 場(chǎng)，即，幀51的第一場(chǎng)51-1和第二場(chǎng)51-2。同樣地，在30p圖像內(nèi)， 在幀41之后的幀42、幀43和幀44被分成作為60i圖像的場(chǎng)，即， 分別是幀52的第一場(chǎng)圖像52-1和第二場(chǎng)圖像52-2、幀53的第一場(chǎng) 圖像53-l和第二場(chǎng)圖像53-2、以及幀54的第一場(chǎng)圖像54-l和第二場(chǎng) 圖像54-2。
作為這樣的變換處理，存在多種類型的變換處理，例如，有這樣 一種變換處理在不分成場(chǎng)的情況下，與2-3下拉或2-2下拉并行地 變換為按照每秒60幀的逐行掃描方法的運(yùn)動(dòng)圖<象(在下文中稱為"60p 圖像")。
在任意一種變換情況下，生成的運(yùn)動(dòng)圖像的各個(gè)場(chǎng)圖像(或幀圖 像)是時(shí)間上不連續(xù)的場(chǎng)圖像，其中，在最初的運(yùn)動(dòng)圖像中是時(shí)間上 連續(xù)的幀圖像(分成場(chǎng)，并且)被重新排列。
例如，就圖1中的例子而言，第一場(chǎng)11-1圖像和第二場(chǎng)11-2圖 像是處于相互不同的時(shí)間點(diǎn)的圖像，但是，圖2中的第一場(chǎng)31-1和第二場(chǎng)31-2是從同一個(gè)幀圖像21生成的，所以，它們是處于彼此相同 的時(shí)間點(diǎn)的圖像。因此，對(duì)于通過下拉生成的運(yùn)動(dòng)圖像，連續(xù)的場(chǎng)圖 像(或幀圖像)在時(shí)間上不必一定是連續(xù)的。

發(fā)明內(nèi)容
然而，在對(duì)這樣的時(shí)間上不連續(xù)的圖像執(zhí)行塊匹配的情況下，有 這樣一種顧慮通過內(nèi)插處理得到的跟蹤結(jié)果可能會(huì)偏離最初的跟蹤 目標(biāo)。
圖4是描述這樣一種情況的視圖其中，使用通過2-3下拉生成 的圖像，執(zhí)行跟蹤處理。圖4被處于中間附近的虛線分成頂部階段和 底部階段，并且從頂部階段的左側(cè)向右側(cè)行進(jìn)的順序和從底部階段的 左側(cè)向右側(cè)行進(jìn)的順序表示時(shí)間序列。在頂部階段和底部階段中的每 一個(gè)的上側(cè)中示出的幀61到幀65示出了在進(jìn)行2-3下拉之前時(shí)間上 連續(xù)的幀圖像(例如，24p圖像)。例如，幀61是處于時(shí)間點(diǎn)t的幀 圖像，同樣地，幀62是處于時(shí)間點(diǎn)(t+l)的幀圖像，幀65是處于 時(shí)間點(diǎn)(t+4)的幀圖像。
在頂部階段和底部階段中的每一個(gè)的下側(cè)上示出的場(chǎng)71-1到場(chǎng) 76-1表示在進(jìn)行2-3下拉之后時(shí)間上連續(xù)的場(chǎng)圖像(例如，60i圖像)。 箭頭表示幀和場(chǎng)之間的相對(duì)關(guān)系。例如，作為60i圖像內(nèi)的幀71的第 一場(chǎng)的場(chǎng)71-1和作為幀71的第二場(chǎng)的場(chǎng)71-2是由作為24p圖像的幀 61變換而生成的場(chǎng)。
同樣地，作為60i圖像內(nèi)的幀72的第一場(chǎng)的場(chǎng)72-1、作為幀72 的第二場(chǎng)的場(chǎng)72-2、和作為幀73的第一場(chǎng)的場(chǎng)73-1是由作為24p圖 像的幀62變換而生成的場(chǎng)。而且，作為60i圖像內(nèi)的幀73的第二場(chǎng) 的場(chǎng)73-2和作為幀74的第一場(chǎng)的場(chǎng)74-1是由作為24p圖像的幀63 變換而生成的場(chǎng)。此外，作為60i圖^f象內(nèi)的幀74的第二場(chǎng)的場(chǎng)74-2、 作為幀75的第一場(chǎng)的場(chǎng)75-1、和作為幀75的第二場(chǎng)的場(chǎng)75-2是由 作為24p圖像的幀64變換而生成的場(chǎng)。作為60i圖像內(nèi)的幀76的第 一場(chǎng)的場(chǎng)76-1是由作為24p圖像的幀65變換而生成的場(chǎng)。作為在各個(gè)幀和場(chǎng)中示出的星形圖像的跟蹤目標(biāo)81是要通過跟 蹤處理進(jìn)行跟蹤的圖像。P(t)示出跟蹤目標(biāo)(在時(shí)間點(diǎn)t)在幀61內(nèi) 的位置，P(t+l)示出跟蹤目標(biāo)(在時(shí)間點(diǎn)t+l)在幀62內(nèi)的位置，P(t+2) 示出跟蹤目標(biāo)(在時(shí)間點(diǎn)t+2 )在幀63內(nèi)的位置，P(t+3)示出跟蹤目 標(biāo)(在時(shí)間點(diǎn)t+3)在幀64內(nèi)的位置，P(t+4)示出跟蹤目標(biāo)(在時(shí)間 點(diǎn)t+4)在幀65內(nèi)的位置。
此外，在場(chǎng)71-1到場(chǎng)76-1中以實(shí)心圓示出的跟蹤點(diǎn)82表示跟 蹤處理的處理結(jié)果(當(dāng)時(shí)的跟蹤目的地)?，F(xiàn)在，我們假定說，通過 利用塊匹配對(duì)每個(gè)幀的第一場(chǎng)執(zhí)行跟蹤，并且，通過利用第一場(chǎng)的跟 蹤點(diǎn)的平均值執(zhí)行內(nèi)插來對(duì)第二場(chǎng)執(zhí)行跟蹤。
就圖4中這樣的例子而言，對(duì)于作為各個(gè)幀的第一場(chǎng)的場(chǎng)71-1、 72-1、 73-1、 74-1、 75-1和76-1，通過塊匹配獲得跟蹤目的地，因此 3艮蹤目標(biāo)81和3艮蹤點(diǎn)82的位置基本匹配。
另一方面，第二場(chǎng)的跟蹤點(diǎn)82是通過內(nèi)插處理獲得的。因此， 例如，對(duì)于場(chǎng)71-2，雖然與場(chǎng)71-1相同的是跟蹤目標(biāo)81的位置是P(t)， 但是跟蹤點(diǎn)82的位置變?yōu)樵趫?chǎng)71-1中的跟蹤點(diǎn)82的位置P(t)和在場(chǎng) 72-1中的跟蹤點(diǎn)82的位置P(t+1)的平均值，即，{P(t)+P(t+l)}/2。因 此，如圖4所示，對(duì)于場(chǎng)71-2,跟蹤點(diǎn)82的位置與跟蹤目標(biāo)81偏離。 根據(jù)相同的原理，對(duì)于場(chǎng)73-2、場(chǎng)74-2和場(chǎng)75-2，在跟蹤點(diǎn)82和跟 蹤目標(biāo)81的位置之間形成偏離。
如上所述，對(duì)于由其中連續(xù)的場(chǎng)或幀在時(shí)間上不連續(xù)的圖像構(gòu)成 的運(yùn)動(dòng)圖像，有這樣的顧慮跟蹤處理的精確度可能會(huì)降低。例如， 如圖5所示，對(duì)于圖4中的每個(gè)場(chǎng)，在以所獲得的跟蹤點(diǎn)82作為中 心的局部圖像被放大顯示的情況下，有這樣的顧慮在以跟蹤點(diǎn)82 作為中心點(diǎn)的該放大圖像中，對(duì)于每個(gè)場(chǎng)，跟蹤目標(biāo)81的位置可能 會(huì)改變，因此不能以穩(wěn)定的方式確定該位置。
在圖5中示出的放大圖像91-1是這樣的圖像，其中以跟蹤點(diǎn) 82作為中心的預(yù)定范圍的區(qū)域是從圖4中的場(chǎng)71-1中提取并放大的。 同樣地，放大圖像91-2是這樣的圖像，其中以跟蹤點(diǎn)82作為中心的預(yù)定范圍的區(qū)域是從圖4中的場(chǎng)71-2中提取并放大的。同樣地，放 大圖92-1到放大圖96-1分別是從場(chǎng)72-1到場(chǎng)76-1中提取并放大的。 也就是說，在圖5中，放大圖像91-1、 91-2、 92-1、 92-2、 93-1、 93-2、 94-1、 94-2、 95-1、 95-2和96-1是以此順序連續(xù)的場(chǎng)圖像。
當(dāng)實(shí)時(shí)地觀察由這樣的各個(gè)圖像構(gòu)成的運(yùn)動(dòng)圖像時(shí)，由于例如跟 蹤目標(biāo)81和跟蹤點(diǎn)82之間的上述偏離，跟蹤目標(biāo)81的位置看起來 有細(xì)微的振動(dòng)，這可能給用戶呈現(xiàn)不舒服的圖像。
即使在其中時(shí)間上連續(xù)的場(chǎng)圖像或幀圖像的內(nèi)容在時(shí)間上不連 續(xù)的這樣的運(yùn)動(dòng)圖像的情況下，也有對(duì)跟蹤目標(biāo)進(jìn)行準(zhǔn)確的跟蹤的實(shí) 際需求。
根據(jù)本發(fā)明的實(shí)施例， 一種信息處理設(shè)備配置為在運(yùn)動(dòng)圖像內(nèi)跟 蹤作為跟蹤目標(biāo)的跟蹤點(diǎn)的圖像，在該運(yùn)動(dòng)圖像中，時(shí)間上連續(xù)的多 個(gè)圖像的內(nèi)容是時(shí)間上不連續(xù)的，所述信息處理設(shè)備包括塊匹配單 元，配置為對(duì)所述運(yùn)動(dòng)圖像的一些圖像執(zhí)行塊匹配，其中，比較要被 處理的圖像與時(shí)間上先于所述要被處理的圖像的圖像，以便確定所述 要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置；內(nèi)插單元，配置為執(zhí)行內(nèi)插 處理，其中，將沒有經(jīng)過由所述塊匹配單元執(zhí)行的所述塊匹配、作為 在所述運(yùn)動(dòng)圖像內(nèi)的所述要被處理的圖像之前或之后的圖像、且在與 所述要被處理的圖像的時(shí)間點(diǎn)相同的時(shí)間點(diǎn)具有內(nèi)容的圖像內(nèi)的所 述跟蹤點(diǎn)的位置確定為所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置； 以及運(yùn)動(dòng)矢量計(jì)算單元，配置為基于由所述塊匹配單元或所述內(nèi)插單 元確定的所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置，獲得從時(shí)間上 先于所述要被處理的圖像的圖像到所述要被處理的圖像的所述跟蹤 點(diǎn)的運(yùn)動(dòng)矢量。
所述運(yùn)動(dòng)圖像可以是經(jīng)過將幀圖像分成兩個(gè)或三個(gè)場(chǎng)圖像的2-3 下拉變換的運(yùn)動(dòng)圖像。
所述運(yùn)動(dòng)圖像可以是經(jīng)過將幀圖像分成兩個(gè)場(chǎng)圖像的2-2下拉變 換的運(yùn)動(dòng)圖像。
所述運(yùn)動(dòng)矢量計(jì)算單元可以包括第一運(yùn)動(dòng)矢量計(jì)算單元，配置為基于所述內(nèi)插單元確定的要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置， 獲得從時(shí)間上先于所述要被處理的圖像的圖像到所述要被處理的圖
像的所述跟蹤點(diǎn)的運(yùn)動(dòng)矢量；以及第二運(yùn)動(dòng)矢量計(jì)算單元，配置為基 于由所述塊匹配單元確定的要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置 和由所述內(nèi)插單元確定的先于所述要被處理的圖像的圖像內(nèi)的所述 跟蹤點(diǎn)的位置，獲得從前一個(gè)圖像到所述要被處理的圖像的跟蹤點(diǎn)的 運(yùn)動(dòng)矢量。
根據(jù)本發(fā)明的實(shí)施例， 一 種用于信息處理設(shè)備的信息處理方法， 所述信息處理設(shè)備配置為在運(yùn)動(dòng)圖像內(nèi)跟蹤作為跟蹤目標(biāo)的跟蹤點(diǎn) 的圖像，在該運(yùn)動(dòng)圖像中，時(shí)間上連續(xù)的多個(gè)圖像的內(nèi)容是時(shí)間上不 連續(xù)的，所述信息處理方法包括下述步驟對(duì)所述運(yùn)動(dòng)圖像的一些圖 像執(zhí)行塊匹配，其中，比較要被處理的圖像與時(shí)間上先于所述要被處 理的圖像的圖像，以便確定所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位 置；執(zhí)行內(nèi)插處理，其中，將沒有經(jīng)過所迷塊匹配、作為在所述運(yùn)動(dòng) 圖像內(nèi)的所述要被處理的圖像之前或之后的圖像、且在與所述要被處 理的圖像的時(shí)間點(diǎn)相同的時(shí)間點(diǎn)具有內(nèi)容的圖像內(nèi)的所述跟蹤點(diǎn)的 位置確定為所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置；以及基于所 確定的所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置，獲得從時(shí)間上先 于所述要被處理的圖像的圖像到所述要被處理的圖像的所述跟蹤點(diǎn) 的運(yùn)動(dòng)矢量。
根據(jù)本發(fā)明的實(shí)施例， 一種布置用來在運(yùn)動(dòng)圖像內(nèi)跟蹤作為跟蹤 目標(biāo)的跟蹤點(diǎn)的圖像的程序，在該運(yùn)動(dòng)圖像中，時(shí)間上連續(xù)的多個(gè)圖 像的內(nèi)容是時(shí)間上不連續(xù)的，所述程序使計(jì)算機(jī)執(zhí)行下述步驟對(duì)所 述運(yùn)動(dòng)圖像的一些圖像執(zhí)行塊匹配，其中，比較要被處理的圖像與時(shí) 間上先于所述要被處理的圖像的圖像，以便確定所述要被處理的圖像 內(nèi)的所述跟蹤點(diǎn)的位置；執(zhí)行內(nèi)插處理，其中，將沒有經(jīng)過所述塊匹 配、作為在所述運(yùn)動(dòng)圖像內(nèi)的所述要被處理的圖像之前或之后的圖 像、且在與所述要被處理的圖像的時(shí)間點(diǎn)相同的時(shí)間點(diǎn)具有內(nèi)容的圖 像內(nèi)的所述跟蹤點(diǎn)的位置確定為所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置；以及基于由所述塊匹配或所述內(nèi)插處理確定的所述要被處 理的圖像內(nèi)的所述跟蹤點(diǎn)的位置，獲得從時(shí)間上先于所述要被處理的 圖像的圖像到所述要被處理的圖像的所述跟蹤點(diǎn)的運(yùn)動(dòng)矢量。
根據(jù)上述配置，對(duì)運(yùn)動(dòng)圖像的一些圖像執(zhí)行塊匹配，其中比較要 被處理的圖像與時(shí)間上先于該要被處理的圖像的圖像，以便確定所述 要被處理的圖像內(nèi)的跟蹤點(diǎn)的位置，將沒有經(jīng)過塊匹配、作為在所述 運(yùn)動(dòng)圖像內(nèi)的所述要被處理的圖像之前或之后的圖像、且在與所述要 被處理的圖像的時(shí)間點(diǎn)相同的時(shí)間點(diǎn)具有內(nèi)容的圖像內(nèi)的跟蹤點(diǎn)的 位置確定為所述要被處理的圖像內(nèi)的跟蹤點(diǎn)的位置，并且，基于所確 定的要被處理的圖像內(nèi)的跟蹤點(diǎn)的位置，獲得從時(shí)間上先于所述要被 處理的圖像的圖像到所述要被處理的圖像的跟蹤點(diǎn)的運(yùn)動(dòng)矢量。
根據(jù)本發(fā)明的實(shí)施例， 一種信息處理設(shè)備配置為在運(yùn)動(dòng)圖像內(nèi)跟 蹤作為跟蹤目標(biāo)的跟蹤點(diǎn)的圖像，所述信息處理設(shè)備包括塊匹配單 元，配置為對(duì)所述運(yùn)動(dòng)圖像的一些圖像執(zhí)行塊匹配，其中，比較要被 處理的圖像與時(shí)間上先于所述要被處理的圖像的圖像，以便確定所述 要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置；不連續(xù)性檢測(cè)單元，配置為 針對(duì)在所述運(yùn)動(dòng)圖像中的時(shí)間上連續(xù)的多個(gè)圖像的內(nèi)容檢測(cè)時(shí)間不 連續(xù)性；內(nèi)插單元，配置為執(zhí)行內(nèi)插處理，其中，在所述不連續(xù)性檢 測(cè)單元已經(jīng)檢測(cè)到時(shí)間不連續(xù)性的情況下，將沒有經(jīng)過由所述塊匹配 單元執(zhí)行的所述塊匹配、作為在所述運(yùn)動(dòng)圖像內(nèi)的所述要被處理的圖 像之前或之后的圖像、且在與所述要被處理的圖像的時(shí)間點(diǎn)相同的時(shí) 間點(diǎn)具有內(nèi)容的圖像內(nèi)的所述跟蹤點(diǎn)的位置確定為所述要被處理的 圖像內(nèi)的所述跟蹤點(diǎn)的位置，以及在所述不連續(xù)性檢測(cè)單元尚未檢測(cè) 到時(shí)間不連續(xù)性的情況下，將沒有經(jīng)過由所述塊匹配單元執(zhí)行的所述 塊匹配且作為在所述運(yùn)動(dòng)圖像內(nèi)的所述要被處理的圖像之前的圖像 的圖像內(nèi)的所述跟蹤點(diǎn)的位置、與沒有經(jīng)過由所述塊匹配單元執(zhí)行的 所述塊匹配且作為在所述運(yùn)動(dòng)圖像內(nèi)的所述要被處理的圖像之后的 圖像的圖像內(nèi)的所述跟蹤點(diǎn)的位置之間的中間點(diǎn)確定為所述要被處 理的圖像內(nèi)的所述跟蹤點(diǎn)的位置；以及運(yùn)動(dòng)矢量計(jì)算單元，配置為基于由所述塊匹配單元或所述內(nèi)插單元確定的所述要被處理的圖像內(nèi) 的所述跟蹤點(diǎn)的位置，獲得從時(shí)間上先于所述要被處理的圖像的圖像 到所述要被處理的圖像的所述跟蹤點(diǎn)的運(yùn)動(dòng)矢量。
已由所述不連續(xù)性檢測(cè)單元檢測(cè)到其時(shí)間不連續(xù)性的運(yùn)動(dòng)圖像
可以是經(jīng)過將幀圖像分成兩個(gè)或三個(gè)場(chǎng)圖像的2-3下拉變換的運(yùn)動(dòng)圖 像。
已由所述不連續(xù)性檢測(cè)單元檢測(cè)到其時(shí)間不連續(xù)性的運(yùn)動(dòng)圖像 可以是經(jīng)過將幀圖像分成兩個(gè)場(chǎng)圖像的2-2下拉變換的運(yùn)動(dòng)圖像。
所述運(yùn)動(dòng)矢量計(jì)算單元可以包括第一運(yùn)動(dòng)矢量計(jì)算單元，配置 為基于所述內(nèi)插單元確定的要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置， 獲得從時(shí)間上先于所述要被處理的圖像的圖像到所述要被處理的圖 像的所述跟蹤點(diǎn)的運(yùn)動(dòng)矢量；以及第二運(yùn)動(dòng)矢量計(jì)算單元，配置為基 于由所述塊匹配單元確定的要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置 和由所述內(nèi)插單元確定的先于所述要被處理的圖像的圖像內(nèi)的所述 跟蹤點(diǎn)的位置，獲得從前一個(gè)圖像到所述要被處理的圖像的跟蹤點(diǎn)的 運(yùn)動(dòng)矢量。
根據(jù)本發(fā)明的實(shí)施例， 一 種用于信息處理設(shè)備的信息處理方法， 所述信息處理設(shè)備配置為在運(yùn)動(dòng)圖像內(nèi)跟蹤作為跟蹤目標(biāo)的跟蹤點(diǎn) 的圖像，所述信息處理方法包括下述步驟對(duì)所述運(yùn)動(dòng)圖像的一些圖 像執(zhí)行塊匹配，其中，比較要被處理的圖像與時(shí)間上先于所述要被處 理的圖像的圖像，以便確定所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位 置；針對(duì)在所述運(yùn)動(dòng)圖像中時(shí)間上連續(xù)的多個(gè)圖像的內(nèi)容檢測(cè)時(shí)間不 連續(xù)性；執(zhí)行內(nèi)插處理，其中，在已經(jīng)檢測(cè)到時(shí)間不連續(xù)性的情況下， 將沒有經(jīng)過所述塊匹配、作為在所述運(yùn)動(dòng)圖像內(nèi)的所述要被處理的圖 像之前或之后的圖像、且在與所述要被處理的圖像的時(shí)間點(diǎn)相同的時(shí) 間點(diǎn)具有內(nèi)容的圖像內(nèi)的所述跟蹤點(diǎn)的位置確定為所述要被處理的 圖像內(nèi)的所述跟蹤點(diǎn)的位置，以及在尚未檢測(cè)到時(shí)間不連續(xù)性的情況 下，將沒有經(jīng)過所述塊匹配且作為在所述運(yùn)動(dòng)圖像內(nèi)的所述要被處理 的圖像之前的圖像的圖像內(nèi)的所述跟蹤點(diǎn)的位置、與沒有經(jīng)過所述塊匹配且作為在所述運(yùn)動(dòng)圖像內(nèi)的所述要被處理的圖像之后的圖像的 圖像內(nèi)的所述跟蹤點(diǎn)的位置之間的中間點(diǎn)確定為所述要被處理的圖
像內(nèi)的所述跟蹤點(diǎn)的位置；以及基于由所確定的所述要被處理的圖像 內(nèi)的所述跟蹤點(diǎn)的位置，獲得從時(shí)間上先于所述要被處理的圖像的圖 像到所述要被處理的圖像的所述跟蹤點(diǎn)的運(yùn)動(dòng)矢量。
根據(jù)本發(fā)明的實(shí)施例， 一種布置用來在運(yùn)動(dòng)圖像內(nèi)跟蹤作為跟蹤 目標(biāo)的跟蹤點(diǎn)的圖像的程序，所述程序使計(jì)算機(jī)執(zhí)行下述步驟對(duì)所 述運(yùn)動(dòng)圖像的一些圖像執(zhí)行塊匹配，其中，比較要被處理的圖像與時(shí) 間上先于所述要被處理的圖像的圖像，以便確定所述要被處理的圖像 內(nèi)的所述跟蹤點(diǎn)的位置；針對(duì)在所述運(yùn)動(dòng)圖像中時(shí)間上連續(xù)的多個(gè)圖 像的內(nèi)容檢測(cè)時(shí)間不連續(xù)性；執(zhí)行內(nèi)插處理，其中，在已經(jīng)檢測(cè)到時(shí) 間不連續(xù)性的情況下，將沒有經(jīng)過所述塊匹配、作為在所述運(yùn)動(dòng)圖像 內(nèi)的所述要被處理的圖像之前或之后的圖像、且在與所述要被處理的 圖像的時(shí)間點(diǎn)相同的時(shí)間點(diǎn)具有內(nèi)容的圖像內(nèi)的所述跟蹤點(diǎn)的位置 確定為所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置，以及在尚未檢測(cè) 到時(shí)間不連續(xù)性的情況下，將沒有經(jīng)過由所述塊匹配處理執(zhí)行的所述 塊匹配且作為在所述運(yùn)動(dòng)圖像內(nèi)的所述要被處理的圖像之前的圖像 的圖像內(nèi)的所述跟蹤點(diǎn)的位置、與沒有經(jīng)過所述塊匹配且作為在所述 運(yùn)動(dòng)圖像內(nèi)的所述要被處理的圖像之后的圖像的圖像內(nèi)的所述跟蹤 點(diǎn)的位置之間的中間點(diǎn)確定為所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn) 的位置；以及基于由所述塊匹配或所述內(nèi)插處理確定的所述要被處理 的圖像內(nèi)的所述跟蹤點(diǎn)的位置，獲得從時(shí)間上先于所述要被處理的圖 像的圖像到所述要被處理的圖像的所述跟蹤點(diǎn)的運(yùn)動(dòng)矢量。
根據(jù)上述配置，對(duì)運(yùn)動(dòng)圖像的一些圖像執(zhí)行塊匹配，其中比較要 被處理的圖像與時(shí)間上先于該要被處理的圖像的圖像，以便確定所述 要被處理的圖像內(nèi)的跟蹤點(diǎn)的位置，針對(duì)在所述運(yùn)動(dòng)圖像中時(shí)間上連 續(xù)的多個(gè)圖像的內(nèi)容檢測(cè)時(shí)間不連續(xù)性，在已經(jīng)檢測(cè)到時(shí)間不連續(xù)性 的情況下，將沒有經(jīng)過由所述塊匹配處理執(zhí)行的所述塊匹配、作為在 所述運(yùn)動(dòng)圖像內(nèi)的所述要被處理的圖像之前或之后的圖像、且在與所述要被處理的圖像的時(shí)間點(diǎn)相同的時(shí)間點(diǎn)具有內(nèi)容的圖像內(nèi)的所述 跟蹤點(diǎn)的位置確定為所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置，以 及在尚未檢測(cè)到時(shí)間不連續(xù)性的情況下，將沒有經(jīng)過由所述塊匹配處 理執(zhí)行的所述塊匹配且作為在所述運(yùn)動(dòng)圖像內(nèi)的所述要被處理的圖 像之前的圖像的圖像內(nèi)的所述跟蹤點(diǎn)的位置、與沒有經(jīng)過所述塊匹配 且作為在所述運(yùn)動(dòng)圖像內(nèi)的所述要被處理的圖像之后的圖像的圖像 內(nèi)的所述跟蹤點(diǎn)的位置之間的中間點(diǎn)確定為所述要被處理的圖像內(nèi) 的所述跟蹤點(diǎn)的位置，從而執(zhí)行內(nèi)插處理，以及基于所確定的要被處 理的圖像內(nèi)的所述跟蹤點(diǎn)的位置，獲得從時(shí)間上先于所述要被處理的 圖像的圖像到所述要被處理的圖像的所述跟蹤點(diǎn)的運(yùn)動(dòng)矢量。
根據(jù)本發(fā)明的實(shí)施例，可以處理信息，具體地說，即使在時(shí)間上 連續(xù)的場(chǎng)圖像或幀圖像的內(nèi)容在時(shí)間上是不連續(xù)的情況下，也可以準(zhǔn) 確地跟蹤跟蹤目標(biāo)。


圖1是示出對(duì)按照隔行掃描方法的運(yùn)動(dòng)圖像進(jìn)行跟蹤處理的情
形的例子的視圖2是示出2-3下拉情形下的例子的視圖； 圖3是示出2-2下拉情形下的例子的視圖； 圖4是示出對(duì)通過2-3下拉生成的運(yùn)動(dòng)圖像的跟蹤處理的例子的
視圖5是示出以圖4的例子中的跟蹤點(diǎn)作為中心的放大圖像的例子 的視圖6是示出應(yīng)用了本發(fā)明實(shí)施例的跟蹤處理設(shè)備的主要配置的 例子的框圖7是用于描述跟蹤處理的流程的例子的流程圖； 圖8是用于描述塊匹配跟蹤處理的流程的例子的流程圖； 圖9是用于描述不連續(xù)性檢測(cè)處理的流程的例子的流程圖； 圖IO是用于描述內(nèi)插處理的流程的例子的流程圖；圖11是示出通過對(duì)24p圖像進(jìn)行2-3下拉而獲得的60i圖像的 例子的視圖12是示出通過對(duì)30p圖像進(jìn)行2-2下拉而獲得的60i圖像的 例子的視圖13是示出應(yīng)用了本發(fā)明實(shí)施例的監(jiān)視照相機(jī)設(shè)備的主要配置 的例子的框圖；以及
圖14是示出應(yīng)用了本發(fā)明實(shí)施例的個(gè)人電腦的配置的例子的框圖。
具體實(shí)施例方式
圖6是示出應(yīng)用了本發(fā)明實(shí)施例的跟蹤處理設(shè)備的主要配置的 例子的框圖。在圖6中示出的跟蹤處理設(shè)備100是這樣的設(shè)備該設(shè) 備跟蹤包含在每個(gè)場(chǎng)(或幀)的輸入運(yùn)動(dòng)圖像數(shù)據(jù)的圖像中的跟蹤目 標(biāo)，獲得其運(yùn)動(dòng)矢量，并將該運(yùn)動(dòng)矢量作為跟蹤結(jié)果輸出。
現(xiàn)在讓我們假定，在下文中，為了便于解釋，要利用隔行掃描方 法處理的運(yùn)動(dòng)圖像以場(chǎng)的遞增(increment)的方式輸入到跟蹤處理設(shè) 備100，并且針對(duì)每個(gè)場(chǎng)處理該運(yùn)動(dòng)圖像。不言而喻，可以實(shí)現(xiàn)這樣 的布置，其中，利用逐行掃描方法的輸入圖像以幀的遞增的方式輸入 到跟蹤處理設(shè)備100，并且針對(duì)每個(gè)場(chǎng)處理該輸入圖像。另外，在這 種情況下，下面描述的每一種處理都基本上以與隔行掃描方法的情況 相同的方式執(zhí)行，只不過是將場(chǎng)替換為幀(下面描述的幀是時(shí)間上連 續(xù)的兩個(gè)幀)。因此，讓我們假定下文的描述適用于這樣的情況處 理利用逐行掃描方法的運(yùn)動(dòng)圖像，除非將利用隔行掃描方法的運(yùn)動(dòng)圖 像和利用逐行掃描方法的運(yùn)動(dòng)圖像分開來進(jìn)行描述。
每當(dāng)輸入第一場(chǎng)圖像時(shí)，跟蹤處理設(shè)備100執(zhí)行跟蹤處理。具體 來說， 一旦輸入某個(gè)第一幀的第二場(chǎng)和其第二幀的第一場(chǎng)，跟蹤處理 設(shè)備100就執(zhí)行跟蹤處理。隨后， 一旦輸入第二幀的第二場(chǎng)并進(jìn)一步 輸入第三幀的第一場(chǎng)，就開始下一個(gè)跟蹤處理。
在這樣的跟蹤處理中，本次輸入的第一場(chǎng)將稱為當(dāng)前的第一場(chǎng)，本次輸入的第二場(chǎng)將稱為當(dāng)前的第二場(chǎng)。也就是說，當(dāng)前的第二場(chǎng)是 這樣一幀的圖像，該幀是在時(shí)間上在當(dāng)前的第一場(chǎng)之前的一幀。而且， 與當(dāng)前的第二場(chǎng)相同的幀的第一場(chǎng)(已經(jīng)輸入的第一場(chǎng))將稱為前一 個(gè)第一場(chǎng)。
另外，讓我們假定，包含在圖像中的跟蹤目標(biāo)將稱為跟蹤點(diǎn)，并 且包含該跟蹤點(diǎn)的預(yù)定區(qū)域?qū)⒎Q為跟蹤塊。該塊是構(gòu)成場(chǎng)圖像的局部 區(qū)域的局部圖像。該塊的圖像大小和形狀可以是任何大小和形狀，只
要該大小和形狀是預(yù)先確定的即可，但是，例如，經(jīng)常利用諸如32 像素乘32像素的矩形區(qū)域。
另外，下面在假定通過塊匹配執(zhí)行第 一場(chǎng)的跟蹤處理且通過內(nèi)插 處理執(zhí)行第二場(chǎng)的跟蹤處理的情況下進(jìn)行描述。不言而喻，可以實(shí)現(xiàn) 這樣的布置，其中，通過塊匹配執(zhí)行第二場(chǎng)的跟蹤處理，且通過內(nèi)插 處理執(zhí)行第一場(chǎng)的跟蹤處理。
現(xiàn)在， 一般來說，有大量的塊匹配技術(shù)，并且可以利用任何技術(shù)， 只要可以獲得跟蹤點(diǎn)位置的運(yùn)動(dòng)矢量即可，但是，在下文中處理是指 塊匹配，在所述塊匹配中，將前一個(gè)第一場(chǎng)的感興趣的塊與同當(dāng)前的 第一場(chǎng)的感興趣的塊最相似的比較目標(biāo)塊進(jìn)行比較，以便獲得相互圖 像(mutual image )的相似性，從而獲得與感興趣的塊最相似的比較 目標(biāo)塊。
應(yīng)當(dāng)注意，在該塊匹配中，感興趣的塊表示比較源塊，比較目標(biāo) 塊表示比較目的地塊(該塊與感興趣的塊的相似性被計(jì)算)。而且， 在塊中設(shè)置充當(dāng)參考的一個(gè)點(diǎn)(參考點(diǎn))。預(yù)先確定塊和其參考點(diǎn)之 間的位置關(guān)系，這對(duì)任何塊都是通用的。在下文中，感興趣的塊的參 考點(diǎn)將稱為感興趣的點(diǎn)，比較目標(biāo)塊的參考點(diǎn)將稱為比較點(diǎn)。而且， 在下文中，讓我們假定參考點(diǎn)也是對(duì)應(yīng)塊的中心點(diǎn)。
如圖6所示，跟蹤處理設(shè)備100包含圖像保持單元101、第一場(chǎng) 跟蹤處理單元102、不連續(xù)性檢測(cè)單元103、第二場(chǎng)跟蹤處理單元104、 運(yùn)動(dòng)矢量累積單元105和設(shè)置控制單元106。
圖像保持單元ioi由諸如半導(dǎo)體存儲(chǔ)器等之類的存儲(chǔ)介質(zhì)構(gòu)成，并且保持要輸入到跟蹤處理設(shè)備IOO的輸入運(yùn)動(dòng)圖像的各個(gè)場(chǎng)圖像中
的適當(dāng)數(shù)量的場(chǎng)圖像。
第一場(chǎng)跟蹤處理單元102執(zhí)行用于確定第一場(chǎng)內(nèi)的跟蹤點(diǎn)的位 置的跟蹤處理。第一場(chǎng)跟蹤處理單元102獲得前一個(gè)第一場(chǎng)和當(dāng)前的 第一場(chǎng)的圖像，以便執(zhí)行塊匹配。
也就是說，第一場(chǎng)跟蹤處理單元102通過塊匹配從當(dāng)前的第一場(chǎng) 中確定與已經(jīng)獲得的前一個(gè)第一場(chǎng)內(nèi)的跟蹤塊有最高相似性的比較 目標(biāo)塊，將該比較目標(biāo)塊的比較點(diǎn)確定為當(dāng)前的第一場(chǎng)內(nèi)的跟蹤點(diǎn)， 并且進(jìn)一步確定當(dāng)前的第二場(chǎng)內(nèi)的跟蹤點(diǎn)，隨后，獲得表示當(dāng)前的第 一場(chǎng)和當(dāng)前的第二場(chǎng)之間的跟蹤點(diǎn)的位置運(yùn)動(dòng)的運(yùn)動(dòng)矢量。第一場(chǎng)跟 蹤處理單元102將獲得的運(yùn)動(dòng)矢量提供給運(yùn)動(dòng)矢量累積單元105。
如圖6所示，這樣的第一場(chǎng)跟蹤處理單元102包括塊匹配單元 111和矢量計(jì)算單元112。
塊匹配單元111從圖像保持單元101獲得前一個(gè)第一場(chǎng)和當(dāng)前的 第一場(chǎng)的每一個(gè)圖像，并且，基于從設(shè)置控制單元106提供的與跟蹤 結(jié)果有關(guān)的信息，對(duì)以第一場(chǎng)內(nèi)的跟蹤塊作為感興趣的塊而輸入的運(yùn) 動(dòng)圖像的一些圖像(笫一場(chǎng))執(zhí)行塊匹配，以便比較要被處理的圖像 (當(dāng)前的第一場(chǎng))和時(shí)間上先于該要被處理的圖像的圖像(前一個(gè)第 一場(chǎng))。
一般來說，塊匹配處理是廣泛應(yīng)用于圖像處理的技術(shù)，因此，例 如，在塊匹配處理與設(shè)備內(nèi)的另一種圖像處理一同執(zhí)行的情況下，其 算法也可以轉(zhuǎn)用(divert)。請(qǐng)注意，例如，對(duì)于另一種設(shè)備或另一 種處理單元執(zhí)行的處理，在執(zhí)行相同的塊匹配的情況下，塊匹配單元 111也可以利用該處理結(jié)果。
塊匹配單元111將關(guān)于與感興趣的點(diǎn)最匹配的比較點(diǎn)(比較目標(biāo) 塊)的信息(當(dāng)前的第一場(chǎng)內(nèi)的跟蹤點(diǎn)的位置信息)提供給運(yùn)動(dòng)矢量 計(jì)算單元112和第二場(chǎng)跟蹤處理單元104。
在第二場(chǎng)跟蹤處理單元104的運(yùn)動(dòng)矢量計(jì)算單元132獲得從前一 個(gè)第一場(chǎng)到當(dāng)前的第二場(chǎng)的跟蹤點(diǎn)的運(yùn)動(dòng)矢量之后，運(yùn)動(dòng)矢量計(jì)算單元112從運(yùn)動(dòng)矢量計(jì)算單元132獲得從前一個(gè)第一場(chǎng)到當(dāng)前的第二場(chǎng) 的跟蹤點(diǎn)的運(yùn)動(dòng)矢量，利用從塊匹配單元lll提供的當(dāng)前的第一場(chǎng)的 比較點(diǎn)(比較目標(biāo)塊)的信息計(jì)算從當(dāng)前的第二場(chǎng)到當(dāng)前的第一場(chǎng)的 跟蹤點(diǎn)的運(yùn)動(dòng)矢量，并將該運(yùn)動(dòng)矢量信息提供給運(yùn)動(dòng)矢量累積單元 105。
一旦從圖像保持單元101獲得連續(xù)的多個(gè)場(chǎng)圖像，基于這些圖 像，不連續(xù)性檢測(cè)單元103利用例如在日本未審查專利申請(qǐng)公開No. 2007-82040中描述的方法來確定在輸入的運(yùn)動(dòng)圖 <象中時(shí)間上連續(xù)的 場(chǎng)的各個(gè)圖像是否是時(shí)間上不連續(xù)的，并針對(duì)在所述運(yùn)動(dòng)圖像中時(shí)間 上連續(xù)的多個(gè)圖像的內(nèi)容檢測(cè)時(shí)間不連續(xù)性。不連續(xù)性檢測(cè)單元103 包括評(píng)估值特征量計(jì)算單元121和狀態(tài)評(píng)估單元122。
評(píng)估值特征量計(jì)算單元121獲得與對(duì)在輸入的運(yùn)動(dòng)圖像中時(shí)間 上連續(xù)的多個(gè)場(chǎng)圖像的時(shí)間連續(xù)性的確定有關(guān)的信息，例如，諸如評(píng) 估值、閾值、特征量等的預(yù)定信息，并且，評(píng)估值特征量計(jì)算單元121 將該信息提供給狀態(tài)評(píng)估單元122。
基于從評(píng)估值特征量計(jì)算單元121提供的信息，狀態(tài)評(píng)估單元 122評(píng)估輸入的運(yùn)動(dòng)圖像是否包含時(shí)間上不連續(xù)的圖像、已經(jīng)執(zhí)行了 何種變換、輸入的運(yùn)動(dòng)圖像是否已經(jīng)經(jīng)過變換、以及當(dāng)前的第二場(chǎng)相 當(dāng)于在其變換模式(conversion pattern )中的哪個(gè)狀態(tài)(場(chǎng))。例如， 基于從評(píng)估值特征量計(jì)算單元121提供的信息，狀態(tài)評(píng)估單元122評(píng) 估輸入的運(yùn)動(dòng)圖像包含時(shí)間上不連續(xù)的圖像，該圖像是通過對(duì)24p圖 像執(zhí)行2-3下拉而獲得的60i圖像，并且，當(dāng)前的第二場(chǎng)對(duì)應(yīng)于圖2 中示出的2-3下拉變換模式的笫二場(chǎng)33-2。狀態(tài)評(píng)估單元122將其評(píng) 估結(jié)果提供給第二場(chǎng)跟蹤處理單元104的內(nèi)插處理單元131。
基于從狀態(tài)評(píng)估單元122提供的信息，笫二場(chǎng)跟蹤處理單元104 通過利用周圍場(chǎng)的運(yùn)動(dòng)矢量的內(nèi)插處理來獲得當(dāng)前的第二場(chǎng)內(nèi)的跟 蹤點(diǎn)的運(yùn)動(dòng)矢量。
第二場(chǎng)跟蹤處理單元104包含內(nèi)插處理單元131和運(yùn)動(dòng)矢量計(jì)算 單元132。內(nèi)插處理單元131通過與從狀態(tài)評(píng)估單元122提供的信息對(duì)應(yīng)的方法相對(duì)于在時(shí)間上前后連續(xù)的場(chǎng)的跟蹤點(diǎn)的位置確定跟蹤 點(diǎn)。
例如，在確定輸入的運(yùn)動(dòng)圖像不包含時(shí)間上不連續(xù)的圖像的情況 下(即，在尚未檢測(cè)到時(shí)間不連續(xù)性的情況下)，基于從設(shè)置控制單
元106提供的跟蹤矢量的累積值的信息(前一個(gè)第一場(chǎng)內(nèi)的跟蹤點(diǎn)的 位置信息)和從塊匹配單元lll提供的當(dāng)前的第一場(chǎng)內(nèi)的跟蹤點(diǎn)的位 置信息，內(nèi)插處理單元131將前一個(gè)第一場(chǎng)和當(dāng)前的第一場(chǎng)內(nèi)的跟蹤 點(diǎn)的位置之間的中間點(diǎn)確定為當(dāng)前的第二場(chǎng)內(nèi)的跟蹤點(diǎn)的位置。
此外，在確定輸入的運(yùn)動(dòng)圖像包含時(shí)間上不連續(xù)的圖像的情況下 (即，在檢測(cè)到時(shí)間不連續(xù)性的情況下)，基于從狀態(tài)評(píng)估單元122 提供的指示當(dāng)前的第二場(chǎng)相當(dāng)于變換模式的哪個(gè)場(chǎng)的信息，內(nèi)插處理 單元131選擇前一個(gè)第一場(chǎng)和當(dāng)前的第一場(chǎng)的與當(dāng)前的第二場(chǎng)的時(shí)間 點(diǎn)相同的時(shí)間點(diǎn)的圖像，并且，基于從設(shè)置控制單元106提供的前一
個(gè)第一場(chǎng)中的跟蹤點(diǎn)的位置信息或從塊匹配單元lll提供的當(dāng)前的第 一場(chǎng)內(nèi)的跟蹤點(diǎn)的位置信息，將該場(chǎng)的跟蹤點(diǎn)的位置作為當(dāng)前的第二 場(chǎng)內(nèi)的跟蹤點(diǎn)的位置。
基于從設(shè)置控制單元106提供的跟蹤矢量的累積值的信息(前一 個(gè)第一場(chǎng)內(nèi)的跟蹤點(diǎn)的位置信息)和上述確定的當(dāng)前的第二場(chǎng)內(nèi)的跟 蹤點(diǎn)的位置，運(yùn)動(dòng)矢量計(jì)算單元132計(jì)算從前一個(gè)第一場(chǎng)到當(dāng)前的第 二場(chǎng)的跟蹤點(diǎn)的運(yùn)動(dòng)矢量。運(yùn)動(dòng)矢量計(jì)算單元132將上述計(jì)算得到的 運(yùn)動(dòng)矢量提供給運(yùn)動(dòng)矢量累積單元105，并將其提供給運(yùn)動(dòng)矢量計(jì)算 單元112。
請(qǐng)注意，已經(jīng)進(jìn)行了這樣的描述運(yùn)動(dòng)矢量計(jì)算單元112利用運(yùn) 動(dòng)矢量計(jì)算單元132的處理結(jié)果(運(yùn)動(dòng)矢量)，但是可以實(shí)現(xiàn)這樣的 布置其中，獲得內(nèi)插處理單元131的處理結(jié)果(當(dāng)前的第二場(chǎng)內(nèi)的 跟蹤點(diǎn)的位置)，并且使用該處理結(jié)果計(jì)算從當(dāng)前的第二場(chǎng)到當(dāng)前的 第一場(chǎng)的跟蹤點(diǎn)的運(yùn)動(dòng)矢量。此外，運(yùn)動(dòng)矢量計(jì)算單元112和運(yùn)動(dòng)矢 量計(jì)算單元132可以集成為一個(gè)處理單元中。
運(yùn)動(dòng)矢量累積單元105對(duì)從第 一場(chǎng)跟蹤處理單元102或第二場(chǎng)跟蹤處理單元104為每個(gè)場(chǎng)提供的運(yùn)動(dòng)矢量進(jìn)行累積(將其加入到目前 為止已經(jīng)計(jì)算出的運(yùn)動(dòng)矢量的累積結(jié)果中)，將累積結(jié)果作為跟蹤結(jié) 果輸出到跟蹤處理設(shè)備100的外側(cè)，并將其提供給設(shè)置控制單元106。 而且，運(yùn)動(dòng)矢量累積單元105保持該累積結(jié)果，以便將其應(yīng)用于下一 個(gè)運(yùn)動(dòng)矢量的累積。
基于從運(yùn)動(dòng)矢量累積單元105提供的跟蹤結(jié)果，設(shè)置控制單元 106將跟蹤點(diǎn)(和跟蹤塊)的位置信息提供給第一場(chǎng)跟蹤處理單元102 或第二場(chǎng)跟蹤處理單元104。
接下來，將參考圖7的流程圖對(duì)由圖6中的跟蹤處理設(shè)備100 執(zhí)行的跟蹤處理的流程的例子進(jìn)行描述。
一旦輸入其下一幀的第二場(chǎng)圖像和第一場(chǎng)圖像，跟蹤處理設(shè)備 IOO就開始跟蹤處理。在步驟Sl,圖像保持單元101保持輸入的場(chǎng)圖 像(輸入圖像)的數(shù)據(jù)。在步驟S2，第一場(chǎng)跟蹤處理單元102的塊匹 配單元lll執(zhí)行塊匹配跟蹤處理。該塊匹配跟蹤處理的細(xì)節(jié)將稍后4皮 描述。
在步驟S3，不連續(xù)性檢測(cè)單元103對(duì)于輸入到跟蹤處理設(shè)備100 的輸入圖像執(zhí)行不連續(xù)性的檢測(cè)。該不連續(xù)性檢測(cè)處理的細(xì)節(jié)將稍后 被描述。 一旦不連續(xù)性檢測(cè)處理完成，在步驟S4，第二場(chǎng)跟蹤處理單 元104根據(jù)在步驟S3的處理獲得的檢測(cè)結(jié)果執(zhí)行內(nèi)插處理。該內(nèi)插 處理的細(xì)節(jié)將稍后被描述。 一旦在步驟S4的處理完成，在步驟S5， 第一場(chǎng)跟蹤處理單元104的運(yùn)動(dòng)矢量計(jì)算單元132獲得從當(dāng)前的第二 場(chǎng)到當(dāng)前的第一場(chǎng)的跟蹤點(diǎn)的運(yùn)動(dòng)矢量。
在步驟S6，運(yùn)動(dòng)矢量累積單元105進(jìn)一步將在步驟S4或步驟 S5中作為處理結(jié)果而獲得的跟蹤點(diǎn)的運(yùn)動(dòng)矢量加入到目前為止獲得 的跟蹤點(diǎn)的運(yùn)動(dòng)矢量的累積結(jié)果中，從而執(zhí)行累積。
在步驟S7，設(shè)置控制單元106將跟蹤結(jié)果(在步驟S6中計(jì)算得 到的運(yùn)動(dòng)矢量的累積結(jié)果)提供給第一場(chǎng)跟蹤處理單元102和第二場(chǎng) 跟蹤處理單元104，以便將其反映到每一個(gè)跟蹤點(diǎn)設(shè)置。
一旦完成步驟S7中的處理，設(shè)置控制單元106結(jié)束跟蹤處理。每當(dāng)輸入第一場(chǎng)圖像時(shí)，跟蹤處理設(shè)備100重復(fù)上述的跟蹤處理。
接下來，將參考圖8的流程圖對(duì)在圖7的步驟S2中執(zhí)行的塊匹 配跟蹤處理的流程的例子進(jìn)行描述。
一旦開始?jí)K匹配跟蹤處理，在步驟S21，塊匹配單元lll確定前 一個(gè)第一場(chǎng)內(nèi)的跟蹤點(diǎn)和跟蹤塊。
在步驟S22,塊匹配單元lll在連續(xù)幀間的第一場(chǎng)(即，前一個(gè) 第一場(chǎng)和當(dāng)前的第一場(chǎng))之間執(zhí)行塊匹配，以便確定當(dāng)前的第一場(chǎng)內(nèi) 的跟蹤點(diǎn)。塊匹配單元111在前一個(gè)第一場(chǎng)和當(dāng)前的第一場(chǎng)之間執(zhí)行 塊匹配，從而確定當(dāng)前的第一場(chǎng)內(nèi)的與前一個(gè)第一場(chǎng)的跟蹤塊有最高 相似性的比較目標(biāo)塊，并將該比較目標(biāo)塊的比較點(diǎn)確定為當(dāng)前的第一 場(chǎng)內(nèi)的跟蹤點(diǎn)。
一旦確定當(dāng)前的第一場(chǎng)內(nèi)的跟蹤點(diǎn)的位置，塊匹配單元111結(jié)束 塊匹配跟蹤處理，將處理返回到圖7的步驟S2，并執(zhí)行步驟S3和其 后的處理。
接下來，將參考圖9的流程圖對(duì)在圖7的步驟S3中執(zhí)行的不連 續(xù)性檢測(cè)處理的詳細(xì)流程的例子進(jìn)行描述。
一旦開始不連續(xù)性檢測(cè)處理，在步驟S41，評(píng)估值特征量計(jì)算單 元121利用例如在日本未審查專利申請(qǐng)公開No. 2007-82040中描述的 方法來獲得用于不連續(xù)性檢測(cè)的預(yù)定信息，例如評(píng)估值、閣值、特征 量等。 一旦獲得這些信息，在步驟S42，基于在步驟S41的處理中獲 得的信息，狀態(tài)評(píng)估單元122利用例如在日本未審查專利申請(qǐng)公開 No. 2007-82040中描述的方法來評(píng)估是否執(zhí)行變換、變換方法和當(dāng)前 狀態(tài)。
一旦完成步驟S42中的處理，狀態(tài)評(píng)估單元122結(jié)束不連續(xù)性檢 測(cè)處理，將處理返回到圖7的步驟S3，并執(zhí)行步驟S4和其后的處理。
接下來，將參考圖IO的流程圖對(duì)在圖7的步驟S4中執(zhí)行的內(nèi)插 處理進(jìn)行描述。
一旦開始內(nèi)插處理，在步驟S61，基于在圖9的步驟S42中獲得的評(píng)估結(jié)果，第二場(chǎng)跟蹤處理單元104的內(nèi)插處理單元131確定在輸 入圖像的場(chǎng)之間是否檢測(cè)到不連續(xù)性。在確定檢測(cè)到不連續(xù)性的情況 下，內(nèi)插處理單元131將處理前進(jìn)到步驟S62，并基于在圖9的步驟 S42中獲得的評(píng)估結(jié)果，確定當(dāng)前的第二場(chǎng)的圖像的時(shí)間點(diǎn)是否與前 一個(gè)第 一場(chǎng)的圖# 的時(shí)間點(diǎn)相同。
在前一個(gè)第一場(chǎng)和當(dāng)前的第二場(chǎng)的圖像由同一幀圖像構(gòu)成并且 兩者之間的時(shí)間點(diǎn)匹配的情況下，內(nèi)插處理單元131將處理前進(jìn)到步 驟S63,并將當(dāng)前的第二場(chǎng)的跟蹤點(diǎn)的位置設(shè)置為前一個(gè)第一場(chǎng)的相 同位置。也就是說，在這種情況下，在前一個(gè)第一場(chǎng)和當(dāng)前的第一場(chǎng) 之間，跟蹤點(diǎn)的位置不改變，因此，在步驟S64,運(yùn)動(dòng)矢量計(jì)算單元 132將從前一個(gè)第一場(chǎng)到當(dāng)前的笫二場(chǎng)的跟蹤點(diǎn)的位置的運(yùn)動(dòng)矢量設(shè) 置為零，結(jié)束該內(nèi)插處理，將處理返回到圖7的步驟S4，并執(zhí)行步驟 S5和其后的處理。
此外，在于步驟S62中確定當(dāng)前的第二場(chǎng)的圖像的時(shí)間點(diǎn)不同于 前一個(gè)第一場(chǎng)的圖^^的時(shí)間點(diǎn)的情況下，內(nèi)插處理單元131將處理前 進(jìn)到步驟S65。在這種情況下，當(dāng)前的第二場(chǎng)的圖像由與當(dāng)前的第一 場(chǎng)的圖像相同的幀圖像構(gòu)成。也就是說，當(dāng)前的第二場(chǎng)的圖像的時(shí)間 點(diǎn)與前一個(gè)第一場(chǎng)的圖像的時(shí)間點(diǎn)相同。因此，在步驟S65中，內(nèi)插 處理單元131將當(dāng)前的第二場(chǎng)的跟蹤點(diǎn)的位置設(shè)置為與當(dāng)前的第一場(chǎng) 相同的位置。在這種情況下，有一種可能性，即跟蹤點(diǎn)的位置在前 一個(gè)第一場(chǎng)和當(dāng)前的第二場(chǎng)之間改變，因此，在步驟S66，運(yùn)動(dòng)矢量 計(jì)算單元132從前一個(gè)第一場(chǎng)獲得運(yùn)動(dòng)矢量。在這種情況下，在圖7 的步驟S5中計(jì)算得到的從當(dāng)前的第二場(chǎng)到當(dāng)前的第一場(chǎng)的跟蹤點(diǎn)的 位置的運(yùn)動(dòng)矢量成為零。一旦獲得該運(yùn)動(dòng)矢量，運(yùn)動(dòng)矢量計(jì)算單元132 結(jié)束內(nèi)插處理，將處理返回到圖7的步驟S4，并執(zhí)行步驟S5和其后 的處理。
此外，在于步驟S61中確定在輸入圖像的場(chǎng)之間沒有檢測(cè)到不連 續(xù)性的情況下，內(nèi)插處理單元131將處理前進(jìn)到步驟S67，將當(dāng)前的 第二場(chǎng)的跟蹤點(diǎn)的位置設(shè)置為前一個(gè)第一場(chǎng)和當(dāng)前的第一場(chǎng)的跟蹤點(diǎn)的位置的中間位置，并將處理返回到步驟S66。在步驟S66，運(yùn)動(dòng) 矢量處理單元132獲得從前一個(gè)第一場(chǎng)到當(dāng)前的第二場(chǎng)的跟蹤點(diǎn)的運(yùn) 動(dòng)矢量。
如上所述， 一旦執(zhí)行了在步驟S64的處理或在步驟S66的處理， 運(yùn)動(dòng)矢量計(jì)算單元132結(jié)束內(nèi)插處理。
如上所述，在場(chǎng)圖像不連續(xù)的情況下，跟蹤處理設(shè)備100相對(duì)于 具有相同時(shí)間點(diǎn)的場(chǎng)的跟蹤點(diǎn)確定前一個(gè)場(chǎng)或后一個(gè)場(chǎng)的位置。這 樣，即使在時(shí)間上連續(xù)的場(chǎng)圖像或幀圖像的內(nèi)容在時(shí)間上不連續(xù)的情 況下，5艮蹤處理i殳備100也可以準(zhǔn)確地^艮蹤跟蹤目標(biāo)。
將參考圖ll和圖12對(duì)在運(yùn)動(dòng)圖像的這樣情況下的跟蹤情形的特 定例子進(jìn)行描述，在該運(yùn)動(dòng)圖像中，時(shí)間上連續(xù)的場(chǎng)或幀由時(shí)間上不 連續(xù)的圖像構(gòu)成。
圖11示出在通過對(duì)24p圖像進(jìn)行2-3下拉而獲得的60i圖像的 情況下的例子。圖ll是對(duì)應(yīng)于圖4的視圖。與圖4相似，圖ll被處 于中間附近的虛線分成頂部階段和底部階段，并且從頂部階段的左側(cè) 向右側(cè)行進(jìn)的順序和從底部階段的左側(cè)向右側(cè)行進(jìn)的順序表示時(shí)間 序列。在頂部階段和底部階段中的每一個(gè)的上側(cè)中示出的幀161到幀 165示出了在進(jìn)行2-3下拉之前時(shí)間上連續(xù)的幀圖^^。例如，幀161 是處于時(shí)間點(diǎn)t的幀圖像，同樣地，幀162是處于時(shí)間點(diǎn)(t+l)的幀 圖像，幀165是處于時(shí)間點(diǎn)(t+4)的幀圖像。
在每個(gè)頂部階段和底部階段的下側(cè)上示出的場(chǎng)171-1到場(chǎng)176-1 表示在進(jìn)行2-3下拉之后時(shí)間上連續(xù)的場(chǎng)圖像。箭頭表示幀和場(chǎng)之間 的相對(duì)關(guān)系。例如，作為60i圖像內(nèi)的幀171的第一場(chǎng)的場(chǎng)171-1和 作為幀171的第二場(chǎng)的場(chǎng)171-2是由作為24p圖像的幀161變換而生 成的場(chǎng)。
同樣地，作為60i圖^f象內(nèi)的幀172的第一場(chǎng)的場(chǎng)172-1、作為幀 172的第二場(chǎng)的場(chǎng)172-2和作為幀173的第一場(chǎng)的場(chǎng)173-1是由作為 24p圖像的幀162變換而生成的場(chǎng)。另外，作為60i圖像內(nèi)的幀173 的第二場(chǎng)的場(chǎng)173-2和作為幀174的第一場(chǎng)的場(chǎng)174-1是由作為24p圖像的幀163變換而生成的場(chǎng)。此外，作為60i圖像內(nèi)的幀174的第 二場(chǎng)的場(chǎng)174-2、作為幀175的第一場(chǎng)的場(chǎng)175-1和作為幀175的第 二場(chǎng)的場(chǎng)175-2是由作為24p圖像的幀164變換而生成的場(chǎng)。作為60i 圖像內(nèi)的幀176的第一場(chǎng)的場(chǎng)176-1是由作為24p圖像的幀165變換 而生成的場(chǎng)。
作為在各個(gè)幀和場(chǎng)中示出的星形圖像的跟蹤目標(biāo)181是由跟蹤 處理進(jìn)行跟蹤的圖像。P(t)示出跟蹤目標(biāo)181在幀161內(nèi)的位置(在 時(shí)間點(diǎn)t) ， P(t+1)示出跟蹤目標(biāo)181 (在時(shí)間點(diǎn)t+1)在幀162內(nèi)的 位置，P(t+2)示出跟蹤目標(biāo)181 (在時(shí)間點(diǎn)t+2)在幀163內(nèi)的位置， P(t+3)示出跟蹤目標(biāo)181 (在時(shí)間點(diǎn)t+3)在幀164內(nèi)的位置，以及 P(t+4)示出跟蹤目標(biāo)181 (在時(shí)間點(diǎn)t+4)在幀165內(nèi)的位置。
此外，在場(chǎng)171-1到場(chǎng)176-1中以實(shí)心圓示出的跟蹤點(diǎn)182表示 跟蹤處理的處理結(jié)果(當(dāng)時(shí)的跟蹤結(jié)果)?，F(xiàn)在，讓我們假定，通過 利用塊匹配對(duì)每個(gè)幀的第一場(chǎng)執(zhí)行跟蹤，并且，通過利用前后連續(xù)的 第 一 場(chǎng)的跟蹤點(diǎn)執(zhí)行內(nèi)插來對(duì)第二場(chǎng)執(zhí)行跟蹤。
就圖11中這樣的例子而言，對(duì)于作為各個(gè)幀的第一場(chǎng)的場(chǎng) 171-1、 172-1、 173-1、 174-1、 175-1和176-1，通過塊匹配獲得^艮蹤 目的地，因此跟蹤目標(biāo)181和跟蹤點(diǎn)182的位置基本匹配。
然而，在經(jīng)過2-3下拉的圖11所示的運(yùn)動(dòng)圖像中的第二場(chǎng)是不 連續(xù)的，因此根據(jù)上述跟蹤處理，例如，第二場(chǎng)中的場(chǎng)171-2的跟蹤 點(diǎn)182被設(shè)置為場(chǎng)171-1內(nèi)的跟蹤點(diǎn)182的位置，該場(chǎng)171-1是與場(chǎng) 171-2具有相同的時(shí)間點(diǎn)的圖像。
此外，同樣地，場(chǎng)172-2的跟蹤點(diǎn)182被設(shè)置為作為具有相同時(shí) 間點(diǎn)的圖像的場(chǎng)172-1內(nèi)的跟蹤點(diǎn)182的位置，場(chǎng)173-2的跟蹤點(diǎn)182 被設(shè)置為作為具有相同時(shí)間點(diǎn)的圖像的場(chǎng)174-1內(nèi)的跟蹤點(diǎn)182的位 置，場(chǎng)174-2的跟蹤點(diǎn)182被設(shè)置為作為具有相同時(shí)間點(diǎn)的圖像的場(chǎng) 175-1內(nèi)的跟蹤點(diǎn)182的位置，并且，場(chǎng)175-2的跟蹤點(diǎn)182被設(shè)置 為作為具有相同時(shí)間點(diǎn)的圖像的場(chǎng)175-1內(nèi)的跟蹤點(diǎn)182的位置。
因此，不僅對(duì)于第一場(chǎng)，而且對(duì)于第二場(chǎng)，跟蹤點(diǎn)182的位置與多艮蹤目標(biāo)181的相同。
圖12示出在通過對(duì)30p圖像進(jìn)行2-2下拉而獲得的60i圖像的 情況下的例子。圖12是對(duì)應(yīng)于圖11的視圖。與圖11相似，圖12被 處于中間附近的虛線分成頂部階段和底部階段，并且從頂部階段的左 側(cè)向右側(cè)行進(jìn)的順序和從底部階段的左側(cè)向右側(cè)行進(jìn)的順序表示時(shí) 間序列。在頂部階段和底部階段中的每一個(gè)的上側(cè)中示出的幀261到 幀265示出了在進(jìn)行2-2下拉之前時(shí)間上連續(xù)的幀圖像。例如，幀261 是處于時(shí)間點(diǎn)t的幀圖像，同樣地，幀262是處于時(shí)間點(diǎn)(t+l)的幀 圖像，幀265是處于時(shí)間點(diǎn)(t+4)的幀圖像。
在每個(gè)頂部階段和底部階段的下側(cè)上示出的場(chǎng)271-1到場(chǎng)275-2 表示在進(jìn)行2-2下拉之后時(shí)間上連續(xù)的場(chǎng)圖像。箭頭表示幀和場(chǎng)之間 的相對(duì)關(guān)系。例如，場(chǎng)271-1和271-2是由幀261變^:而生成的場(chǎng)。
作為在各個(gè)幀和場(chǎng)中示出的星形圖像的跟蹤目標(biāo)281是由跟蹤 處理進(jìn)行跟蹤的圖4象。P(t)示出跟蹤目標(biāo)281 (在時(shí)間點(diǎn)t)在幀261 內(nèi)的位置，P(t+1)示出跟蹤目標(biāo)281 (在時(shí)間點(diǎn)t+l)在幀262內(nèi)的位 置，P(t+2)示出跟蹤目標(biāo)281(在時(shí)間點(diǎn)t+2 )在幀263內(nèi)的位置，P(t+3) 示出跟蹤目標(biāo)281 (在時(shí)間點(diǎn)t+3)在幀264內(nèi)的位置，以及P(t+4) 示出跟蹤目標(biāo)281 (在時(shí)間點(diǎn)t+4)在幀265內(nèi)的位置。
此外，在場(chǎng)271-1到場(chǎng)275-2中以實(shí)心圓示出的跟蹤點(diǎn)282表示 跟蹤處理的處理結(jié)果(當(dāng)時(shí)的跟蹤結(jié)果)?，F(xiàn)在，讓我們假定，通過 利用塊匹配對(duì)每個(gè)幀的第一場(chǎng)執(zhí)行跟蹤，并且，通過利用前后連續(xù)的 第 一 場(chǎng)的跟蹤點(diǎn)執(zhí)行內(nèi)插來對(duì)第二場(chǎng)執(zhí)行跟蹤。
就圖12中這樣的例子而言，對(duì)于作為各個(gè)幀的第一場(chǎng)的場(chǎng) 271-1、 272-1、 273-1、 274-1和275-1,通過塊匹配獲得跟蹤目的地， 因此3艮蹤目標(biāo)281和3艮蹤點(diǎn)282的位置基本匹配。
然而，在經(jīng)過2-2下拉的圖12所示的運(yùn)動(dòng)圖像中，第二場(chǎng)是不 連續(xù)的，因此根據(jù)上述跟蹤處理，例如，第二場(chǎng)中的場(chǎng)271-2的跟蹤 點(diǎn)282被設(shè)置為場(chǎng)271-1內(nèi)的跟蹤點(diǎn)282的位置，該場(chǎng)271-1是與場(chǎng) 271-2具有相同的時(shí)間點(diǎn)的圖像。此外，同樣地，場(chǎng)272-2的跟蹤點(diǎn)282被設(shè)置為作為具有相同時(shí) 間點(diǎn)的圖像的場(chǎng)272-1內(nèi)的跟蹤點(diǎn)282的位置，場(chǎng)273-2的跟蹤點(diǎn)282 被設(shè)置為作為具有相同時(shí)間點(diǎn)的圖像的場(chǎng)273-1內(nèi)的跟蹤點(diǎn)282的位 置，場(chǎng)274-2的跟蹤點(diǎn)282被設(shè)置為作為具有相同時(shí)間點(diǎn)的圖像的場(chǎng) 274-1內(nèi)的跟蹤點(diǎn)282的位置，并且，場(chǎng)275-2的跟蹤點(diǎn)282被設(shè)置 為作為具有相同時(shí)間點(diǎn)的圖像的場(chǎng)275-1內(nèi)的跟蹤點(diǎn)282的位置。
因此，不僅對(duì)于第一場(chǎng)，而且對(duì)于第二場(chǎng)，跟蹤點(diǎn)282的位置與 i^艮蹤目標(biāo)281的相同。
如上所述，無論利用哪種下拉方法，跟蹤處理設(shè)備100都可以更 準(zhǔn)確地跟蹤跟蹤目標(biāo)。
可以實(shí)現(xiàn)這樣的布置，其中，跟蹤處理設(shè)備100作為跟蹤處理單 元，并嵌入在執(zhí)行其它處理的設(shè)備中。
圖13是示出應(yīng)用了本發(fā)明實(shí)施例的監(jiān)視照相機(jī)設(shè)備的配置的例 子的框圖。在圖13中示出的監(jiān)視照相機(jī)設(shè)備300是用于通過圖像監(jiān) 視預(yù)定房間、區(qū)域等的設(shè)備，并且是利用如上所述的對(duì)成像的圖像的 跟蹤處理結(jié)果來進(jìn)行照相機(jī)控制處理的設(shè)備。
監(jiān)視照相機(jī)設(shè)備300將通過由例如CCD攝像機(jī)等構(gòu)成的成像單 元311采集的圖像顯示在圖像顯示器312上。用戶(觀看者)瀏覽在 圖像顯示器312上顯示的圖像，從而理解(監(jiān)視)通過成像單元311 成像的空間的情形。
跟蹤處理單元313對(duì)由成像單元311輸入的圖像進(jìn)行如上所述的 跟蹤處理，從而檢測(cè)當(dāng)前圖像內(nèi)的預(yù)定跟蹤目標(biāo)，并將其檢測(cè)結(jié)果提 供給照相機(jī)驅(qū)動(dòng)單元314。照相機(jī)驅(qū)動(dòng)單元314驅(qū)動(dòng)成^f象單元311， 以便跟蹤其跟蹤目標(biāo)，并且執(zhí)行諸如變焦或聚焦、俯仰拍攝(tilting) 或搖攝(panning)等之類的調(diào)整，或進(jìn)行靜止圖像的拍攝。
如上所述，即使在時(shí)間上連續(xù)的場(chǎng)圖像或幀圖像的內(nèi)容在時(shí)間上 不連續(xù)的情況下，^艮蹤處理單元313也可以更準(zhǔn)確地5艮蹤跟蹤目標(biāo)， 并且照相機(jī)驅(qū)動(dòng)單元314可以更適當(dāng)?shù)仳?qū)動(dòng)成像單元311。也就是說， 監(jiān)視照相機(jī)設(shè)備300可以執(zhí)行更適當(dāng)?shù)谋O(jiān)視操作。顯而易見的是，利用本發(fā)明實(shí)施例的跟蹤處理單元不局限于監(jiān)視 照相機(jī)設(shè)備，任何類型的設(shè)備都可以利用，只要該設(shè)備執(zhí)行利用不連 續(xù)性檢測(cè)結(jié)果的處理即可。
上述系列的處理可以通過硬件執(zhí)行，也可以通過軟件執(zhí)行。在這
種情況下，例如，硬件可以配置為如圖14所示的個(gè)人電腦。
在圖14中，個(gè)人電腦400的CPU (中央處理單元)401根據(jù)存 儲(chǔ)在ROM (只讀存儲(chǔ)器)402中的程序、或者從存儲(chǔ)單元413栽入 RAM (隨機(jī)存取存儲(chǔ)器)403的程序執(zhí)行各種類型的處理。在適當(dāng)情 況下，RAM403也存儲(chǔ)用于CPU401執(zhí)行各種類型的處理的數(shù)據(jù)。
CPU 401、 ROM 402和RAM403通過總線404互相連4妄。總線 404還與輸入/輸出接口 410連接。
輸入/輸出接口 410與下述部件連接由鍵盤、鼠標(biāo)等構(gòu)成的輸 入單元411;由CRT (陰極射線管)、LCD (液晶顯示器)等構(gòu)成的 顯示器；由揚(yáng)聲器等構(gòu)成的輸出單元412;由硬盤等構(gòu)成的存儲(chǔ)單元 413;以及由調(diào)制解調(diào)器構(gòu)成的通信單元414。通信單元414通過網(wǎng)絡(luò) 執(zhí)行通信處理，該網(wǎng)絡(luò)可以包括因特網(wǎng)。
在適當(dāng)?shù)那闆r下輸入/輸出接口 410還與驅(qū)動(dòng)器415連接，在適 當(dāng)?shù)那闆r下，在該驅(qū)動(dòng)器415上安裝有可移動(dòng)介質(zhì)421,例如磁盤、 光盤、磁光盤、半導(dǎo)體存儲(chǔ)器等，并且從其中讀出的計(jì)算機(jī)程序在適 當(dāng)?shù)那闆r下安裝在存儲(chǔ)單元413中。
在上述系列的處理通過軟件執(zhí)行的情況下，構(gòu)成該軟件的程序從 網(wǎng)絡(luò)或記錄介質(zhì)安裝。
例如，如圖14所示，該記錄介質(zhì)不僅由記錄有程序的可移動(dòng)介 質(zhì)421構(gòu)成，而且由記錄有程序的ROM 402構(gòu)成，或由包含在存儲(chǔ) 單元413中的硬盤等構(gòu)成，該可移動(dòng)介質(zhì)421由磁盤(包括軟盤)、 光盤(包括CD-ROM(壓縮盤-只讀存儲(chǔ)器)、DVD(數(shù)字通用光盤))、 磁光盤(包括MD (Mini Disc))、半導(dǎo)體存儲(chǔ)器等構(gòu)成，該可移動(dòng) 介質(zhì)421被發(fā)布用于與設(shè)備主單元分開地向用戶分發(fā)程序，ROM 402 被發(fā)布用于以預(yù)先嵌入在設(shè)備主單元中的狀態(tài)向用戶訂閱(subscribe )程序。
請(qǐng)注意，根據(jù)本說明書的各個(gè)步驟不僅包括根據(jù)上述順序以時(shí)間 序列執(zhí)行的處理，而且包括不必以時(shí)間序列執(zhí)行且并行地或單獨(dú)地執(zhí) 行的處理。
此外，就本說明書而言，術(shù)語(yǔ)"系統(tǒng)"表示由多個(gè)設(shè)備構(gòu)成的整 個(gè)裝備。
請(qǐng)注意，在以上描述中，可以實(shí)現(xiàn)這樣的布置，其中，被描述為 一個(gè)設(shè)備的配置是被分開的，并且被配置為多個(gè)設(shè)備。相反地，被描 述為多個(gè)設(shè)備的配置可以集成為一個(gè)設(shè)備。此外，不言而喻，每一種 設(shè)備的配置中可以包含除了上述配置以外的配置。此外，在作為整個(gè) 系統(tǒng)的配置和操作基本上相同的情況下，某個(gè)設(shè)備的一部分配置可以 包含在另一個(gè)設(shè)備的配置中。也就是說，本發(fā)明的實(shí)施例不局限于上 述實(shí)施例，在不脫離本發(fā)明的主旨的情況下可以進(jìn)行多種變形。
本領(lǐng)域的技術(shù)人員應(yīng)該理解，根據(jù)設(shè)計(jì)要求和其它因素，可以進(jìn)行 各種修改、組合、子組合和替換，只要它們?cè)谒降臋?quán)利要求或其等同 形式的范圍內(nèi)即可。
權(quán)利要求
1. 一種信息處理設(shè)備，配置為在運(yùn)動(dòng)圖像內(nèi)跟蹤作為跟蹤目標(biāo)的跟蹤點(diǎn)的圖像，在該運(yùn)動(dòng)圖像中，時(shí)間上連續(xù)的多個(gè)圖像的內(nèi)容是時(shí)間上不連續(xù)的，所述信息處理設(shè)備包括塊匹配裝置，配置為對(duì)所述運(yùn)動(dòng)圖像的一些圖像執(zhí)行塊匹配，在所述塊匹配中，比較要被處理的圖像與時(shí)間上先于所述要被處理的圖像的圖像，以便確定所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置；內(nèi)插裝置，配置為執(zhí)行內(nèi)插處理，其中，將沒有經(jīng)過由所述塊匹配裝置執(zhí)行的所述塊匹配、作為在所述運(yùn)動(dòng)圖像內(nèi)在所述要被處理的圖像之前或之后的圖像、且在與所述要被處理的圖像的時(shí)間點(diǎn)相同的時(shí)間點(diǎn)具有內(nèi)容的圖像內(nèi)的所述跟蹤點(diǎn)的位置確定為所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置；以及運(yùn)動(dòng)矢量計(jì)算裝置，配置為基于由所述塊匹配裝置或所述內(nèi)插裝置確定的所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置，獲得從時(shí)間上先于所述要被處理的圖像的圖像到所述要被處理的圖像的所述跟蹤點(diǎn)的運(yùn)動(dòng)矢量。
2. 根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中，所述運(yùn)動(dòng)圖像 是經(jīng)過將一個(gè)幀圖像分成兩個(gè)或三個(gè)場(chǎng)圖像的2-3下拉變換的運(yùn)動(dòng)圖 像。
3. 根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中，所述運(yùn)動(dòng)圖像 是經(jīng)過將一個(gè)幀圖像分成兩個(gè)場(chǎng)圖像的2-2下拉變換的運(yùn)動(dòng)圖像。
4. 根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中，所述運(yùn)動(dòng)矢量 計(jì)算裝置包括第一運(yùn)動(dòng)矢量計(jì)算裝置，配置為基于由所述內(nèi)插裝置確定的要被 處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置，獲得從時(shí)間上先于所述要被處理 的圖像的圖像到所述要被處理的圖像的所述跟蹤點(diǎn)的運(yùn)動(dòng)矢量；以及第二運(yùn)動(dòng)矢量計(jì)算裝置，配置為基于由所述塊匹配裝置確定的要 被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置和由所述內(nèi)插裝置確定的先于所述要被處理的圖像的圖像內(nèi)的所述跟蹤點(diǎn)的位置，獲得從在先的圖 像到所述要被處理的圖像的所述跟蹤點(diǎn)的運(yùn)動(dòng)矢量。
5. —種用于信息處理設(shè)備的信息處理方法，所述信息處理設(shè)備 配置為在運(yùn)動(dòng)圖像內(nèi)跟蹤作為跟蹤目標(biāo)的跟蹤點(diǎn)的圖像，在該運(yùn)動(dòng)圖 像中，時(shí)間上連續(xù)的多個(gè)圖像的內(nèi)容是時(shí)間上不連續(xù)的，所述信息處 理方法包括下述步驟對(duì)所述運(yùn)動(dòng)圖像的一些圖像執(zhí)行塊匹配，其中，比較要被處理的 圖像與時(shí)間上先于所述要被處理的圖像的圖像，以便確定所述要被處 理的圖像內(nèi)的所述跟蹤點(diǎn)的位置；執(zhí)行內(nèi)插處理，其中，將沒有經(jīng)過所述塊匹配、作為在所述運(yùn)動(dòng) 圖像內(nèi)在所述要被處理的圖像之前或之后的圖像、且在與所述要被處 理的圖像的時(shí)間點(diǎn)相同的時(shí)間點(diǎn)具有內(nèi)容的圖像內(nèi)的所述跟蹤點(diǎn)的 位置確定為所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置；以及基于所確定的所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置，獲得 從時(shí)間上先于所述要被處理的圖像的圖像到所述要被處理的圖像的 所述跟蹤點(diǎn)的運(yùn)動(dòng)矢量。
6. —種布置用來在運(yùn)動(dòng)圖像內(nèi)跟蹤作為跟蹤目標(biāo)的跟蹤點(diǎn)的圖 像的程序，在該運(yùn)動(dòng)圖像中，時(shí)間上連續(xù)的多個(gè)圖像的內(nèi)容是時(shí)間上 不連續(xù)的，所迷程序使計(jì)算機(jī)執(zhí)行下述步驟對(duì)所述運(yùn)動(dòng)圖像的一些圖像執(zhí)行塊匹配，其中，比較要被處理的 圖像與時(shí)間上先于所述要被處理的圖像的圖像，以便確定所述要被處 理的圖像內(nèi)的所述跟蹤點(diǎn)的位置；執(zhí)行內(nèi)插處理，其中，將沒有經(jīng)過通過所述塊匹配的處理執(zhí)行的 所述塊匹配、作為在所述運(yùn)動(dòng)圖^f象內(nèi)的所述要^皮處理的圖^f象之前或之 后的圖像、且在與所述要被處理的圖像的時(shí)間點(diǎn)相同的時(shí)間點(diǎn)具有內(nèi) 容的圖像內(nèi)的所述跟蹤點(diǎn)的位置確定為所述要被處理的圖像內(nèi)的所 述跟蹤點(diǎn)的位置；以及基于由所述塊匹配的處理或所述內(nèi)插處理確定的所述要被處理 的圖像內(nèi)的所述跟蹤點(diǎn)的位置，獲得從時(shí)間上先于所述要被處理的圖像的圖像到所述要被處理的圖像的所述跟蹤點(diǎn)的運(yùn)動(dòng)矢量。
7. —種信息處理設(shè)備，配置為在運(yùn)動(dòng)圖像內(nèi)跟蹤作為跟蹤目標(biāo) 的跟蹤點(diǎn)的圖像，所述信息處理設(shè)備包括塊匹配裝置，配置為對(duì)所述運(yùn)動(dòng)圖像的一些圖像執(zhí)行塊匹配，其 中，比較要被處理的圖像與時(shí)間上先于所述要被處理的圖像的圖像， 以便確定所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置；不連續(xù)性檢測(cè)裝置，配置為針對(duì)所述運(yùn)動(dòng)圖像中的時(shí)間上連續(xù)的 多個(gè)圖像的內(nèi)容檢測(cè)時(shí)間不連續(xù)性；內(nèi)插裝置，配置為執(zhí)行內(nèi)插處理，其中，在所述不連續(xù)性檢測(cè)裝置已經(jīng)檢測(cè)到時(shí)間不連續(xù)性的情況 下，將沒有經(jīng)過由所述塊匹配裝置執(zhí)行的所述塊匹配、作為在所述運(yùn) 動(dòng)圖像內(nèi)的所述要被處理的圖像之前或之后的圖像、且在與所述要被 處理的圖像的時(shí)間點(diǎn)相同的時(shí)間點(diǎn)具有內(nèi)容的圖像內(nèi)的所述跟蹤點(diǎn) 的位置確定為所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置，以及在所述不連續(xù)性檢測(cè)裝置尚未檢測(cè)到時(shí)間不連續(xù)性的情況 下，將沒有經(jīng)過由所述塊匹配裝置執(zhí)行的所述塊匹配且作為在所述運(yùn) 動(dòng)圖像內(nèi)的所述要被處理的圖像之前的圖像的圖像內(nèi)的所述跟蹤點(diǎn) 的位置、與沒有經(jīng)過由所述塊匹配裝置執(zhí)行的所述塊匹配且作為在所 述運(yùn)動(dòng)圖像內(nèi)的所述要被處理的圖像之后的圖像的圖像內(nèi)的所述跟 蹤點(diǎn)的位置之間的中間點(diǎn)確定為所述要被處理的圖像內(nèi)的所述跟蹤 點(diǎn)的位置；以及運(yùn)動(dòng)矢量計(jì)算裝置，配置為基于由所述塊匹配裝置或所述內(nèi)插裝 置確定的所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置，獲得從時(shí)間上 先于所述要被處理的圖像的圖像到所述要被處理的圖像的所述跟蹤 點(diǎn)的運(yùn)動(dòng)矢量。
8. 根據(jù)權(quán)利要求7所述的信息處理設(shè)備，其中，已由所述不連 續(xù)性檢測(cè)裝置檢測(cè)到時(shí)間不連續(xù)性的運(yùn)動(dòng)圖像是經(jīng)過將 一 個(gè)幀圖像 分成兩個(gè)或三個(gè)場(chǎng)圖像的2-3下拉變換的運(yùn)動(dòng)圖像。
9. 根據(jù)權(quán)利要求7所述的信息處理設(shè)備，其中，已由所述不連續(xù)性檢測(cè)裝置檢測(cè)到時(shí)間不連續(xù)性的運(yùn)動(dòng)圖像是經(jīng)過將一個(gè)幀圖像分成兩個(gè)場(chǎng)圖像的2-2下拉變換的運(yùn)動(dòng)圖像。
10. 根據(jù)權(quán)利要求7所述的信息處理設(shè)備，其中，所述運(yùn)動(dòng)矢量 計(jì)算裝置包括第一運(yùn)動(dòng)矢量計(jì)算裝置，配置為基于由所述內(nèi)插裝置確定的要被 處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置，獲得從時(shí)間上先于所述要被處理 的圖像的圖像到所述要被處理的圖像的所述跟蹤點(diǎn)的運(yùn)動(dòng)矢量；以及第二運(yùn)動(dòng)矢量計(jì)算裝置，配置為基于由所述塊匹配裝置確定的要 被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置和由所述內(nèi)插裝置確定的先于 所述要被處理的圖像的圖像內(nèi)的所述跟蹤點(diǎn)的位置，獲得從在先的圖 像到所述要被處理的圖像的所述跟蹤點(diǎn)的運(yùn)動(dòng)矢量。
11. 一種用于信息處理設(shè)備的信息處理方法，所述信息處理設(shè)備 配置為在運(yùn)動(dòng)圖像內(nèi)跟蹤作為跟蹤目標(biāo)的跟蹤點(diǎn)的圖像，所述方法包 括下述步驟對(duì)所述運(yùn)動(dòng)圖像的一些圖像執(zhí)行塊匹配，其中，比較要被處理的 圖像與時(shí)間上先于所述要被處理的圖像的圖像，以便確定所述要被處 理的圖像內(nèi)的所述跟蹤點(diǎn)的位置；針對(duì)在所述運(yùn)動(dòng)圖像中時(shí)間上連續(xù)的多個(gè)圖像的內(nèi)容檢測(cè)時(shí)間 不連續(xù)性；執(zhí)行內(nèi)插處理，其中，在已經(jīng)檢測(cè)到時(shí)間不連續(xù)性的情況下，將沒有經(jīng)過所述塊匹 配、作為在所述運(yùn)動(dòng)圖像內(nèi)的所述要被處理的圖像之前或之后的圖 像、且在與所述要被處理的圖像的時(shí)間點(diǎn)相同的時(shí)間點(diǎn)具有內(nèi)容的圖 像內(nèi)的所述跟蹤點(diǎn)的位置確定為所述要被處理的圖像內(nèi)的所述跟蹤 點(diǎn)的位置，以及在尚未檢測(cè)到時(shí)間不連續(xù)性的情況下，將沒有經(jīng)過所述塊匹 配且作為在所述運(yùn)動(dòng)圖像內(nèi)的所述要被處理的圖像之前的圖像的圖 像內(nèi)的所述跟蹤點(diǎn)的位置、與沒有經(jīng)過所述塊匹配且作為在所述運(yùn)動(dòng) 圖像內(nèi)的所述要被處理的圖像之后的圖像的圖像內(nèi)的所述跟蹤點(diǎn)的位置之間的中間點(diǎn)確定為所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置；以及基于由所確定的所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置，獲 得從時(shí)間上先于所述要被處理的圖像的圖像到所述要被處理的圖像 的所述跟蹤點(diǎn)的運(yùn)動(dòng)矢量。
12. —種布置用來在運(yùn)動(dòng)圖像內(nèi)跟蹤作為跟蹤目標(biāo)的跟蹤點(diǎn)的 圖像的程序，所述程序使計(jì)算機(jī)執(zhí)行下述步驟對(duì)所述運(yùn)動(dòng)圖像的一些圖像執(zhí)行塊匹配，其中，比較要被處理的 圖像與時(shí)間上先于所述要被處理的圖像的圖像，以便確定所述要被處 理的圖像內(nèi)的所述跟蹤點(diǎn)的位置；針對(duì)在所述運(yùn)動(dòng)圖像中時(shí)間上連續(xù)的多個(gè)圖像的內(nèi)容檢測(cè)時(shí)間 不連續(xù)性；執(zhí)行內(nèi)插處理，其中，在所述檢測(cè)時(shí)間不連續(xù)性的處理已經(jīng)檢測(cè)到時(shí)間不連續(xù)性的 情況下，將沒有經(jīng)過通過所述塊匹配的處理執(zhí)行的所述塊匹配、作為 在所述運(yùn)動(dòng)圖像內(nèi)的所述要被處理的圖像之前或之后的圖像、且在與 所述要被處理的圖像的時(shí)間點(diǎn)相同的時(shí)間點(diǎn)具有內(nèi)容的圖像內(nèi)的所 述跟蹤點(diǎn)的位置確定為所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置， 以及在所述檢測(cè)時(shí)間不連續(xù)性的處理尚未檢測(cè)到時(shí)間不連續(xù)性的 情況下，將沒有經(jīng)過通過所述塊匹配的處理執(zhí)行的所述塊匹配且作為 在所述運(yùn)動(dòng)圖像內(nèi)的所述要被處理的圖像之前的圖像的圖像內(nèi)的所 述跟蹤點(diǎn)的位置、與沒有經(jīng)過所述塊匹配且作為在所述運(yùn)動(dòng)圖像內(nèi)的 所述要被處理的圖像之后的圖像的圖像內(nèi)的所述跟蹤點(diǎn)的位置之間 的中間點(diǎn)確定為所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置；以及基于由所述塊匹配的處理或所述內(nèi)插處理確定的所述要4皮處理 的圖像內(nèi)的所述跟蹤點(diǎn)的位置，獲得從時(shí)間上先于所述要被處理的圖 像的圖像到所述要被處理的圖像的所述跟蹤點(diǎn)的運(yùn)動(dòng)矢量。
13. —種信息處理設(shè)備，配置為在運(yùn)動(dòng)圖像內(nèi)跟蹤作為跟蹤目標(biāo)的跟蹤點(diǎn)的圖像，在該運(yùn)動(dòng)圖像中，時(shí)間上連續(xù)的多個(gè)圖像的內(nèi)容是時(shí)間上不連續(xù)的，所述信息處理設(shè)備包括塊匹配單元，配置為對(duì)所述運(yùn)動(dòng)圖像的一些圖像執(zhí)行塊匹配，其 中，比較要被處理的圖像與時(shí)間上先于所述要被處理的圖像的圖像， 以便確定所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置；內(nèi)插單元，配置為執(zhí)行內(nèi)插處理，其中，將沒有經(jīng)過由所述塊匹 配單元執(zhí)行的塊匹配、作為在所述運(yùn)動(dòng)圖像內(nèi)的所述要被處理的圖像 之前或之后的圖像、且在與所述要被處理的圖像的時(shí)間點(diǎn)相同的時(shí)間 點(diǎn)具有內(nèi)容的圖像內(nèi)的所迷跟蹤點(diǎn)的位置確定為所述要被處理的圖 寸象內(nèi)的所述跟蹤點(diǎn)的位置；以及運(yùn)動(dòng)矢量計(jì)算單元，配置為基于由所述塊匹配單元或所述內(nèi)插單 元確定的所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置，獲得從時(shí)間上 先于所述要被處理的圖像的圖像到所述要被處理的圖像的所述跟蹤 點(diǎn)的運(yùn)動(dòng)矢量。
14. 一種信息處理設(shè)備，配置為在運(yùn)動(dòng)圖像內(nèi)跟蹤作為跟蹤目標(biāo) 的跟蹤點(diǎn)的圖像，所述信息處理設(shè)備包括塊匹配單元，配置為對(duì)所述運(yùn)動(dòng)圖像的一些圖4象執(zhí)行塊匹配，其 中，比較要被處理的圖像與時(shí)間上先于所述要被處理的圖像的圖像， 以便確定所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置；不連續(xù)性檢測(cè)單元，配置為針對(duì)在所述運(yùn)動(dòng)圖像中時(shí)間上連續(xù)的 多個(gè)圖像的內(nèi)容檢測(cè)時(shí)間不連續(xù)性；內(nèi)插單元，配置為執(zhí)行內(nèi)插處理，其中，在所述不連續(xù)性檢測(cè)單元已經(jīng)檢測(cè)到時(shí)間不連續(xù)性的情況 下，將沒有經(jīng)過由所述塊匹配單元執(zhí)行的塊匹配、作為在所述運(yùn)動(dòng)圖 像內(nèi)的所述要被處理的圖像之前或之后的圖像、且在與所述要被處理 的圖像的時(shí)間點(diǎn)相同的時(shí)間點(diǎn)具有內(nèi)容的圖像內(nèi)的所述跟蹤點(diǎn)的位 置確定為所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置，以及在所述不連續(xù)性檢測(cè)單元尚未檢測(cè)到時(shí)間不連續(xù)性的情況 下，將沒有經(jīng)過由所述塊匹配單元執(zhí)行的所述塊匹配且作為在所述運(yùn)動(dòng)圖像內(nèi)的所述要被處理的圖像之前的圖像的圖像內(nèi)的所述跟蹤點(diǎn) 的位置、與沒有經(jīng)過由所述塊匹配單元執(zhí)行的所述塊匹配且作為在所 述運(yùn)動(dòng)圖像內(nèi)的所述要被處理的圖像之后的圖像的圖像內(nèi)的所述跟 蹤點(diǎn)的位置之間的中間點(diǎn)確定為所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置；以及運(yùn)動(dòng)矢量計(jì)算單元，配置為基于由所述塊匹配單元或所述內(nèi)插單 元確定的所述要被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置，獲得從時(shí)間上 先于所述要被處理的圖像的圖像到所述要被處理的圖像的所述跟蹤 點(diǎn)的運(yùn)動(dòng)矢量。
全文摘要
一種信息處理設(shè)備配置為在運(yùn)動(dòng)圖像內(nèi)跟蹤作為跟蹤目標(biāo)的跟蹤點(diǎn)的圖像，在該運(yùn)動(dòng)圖像中，時(shí)間上連續(xù)的多個(gè)圖像的內(nèi)容是時(shí)間上不連續(xù)的，所述信息處理設(shè)備包括塊匹配單元，用于在運(yùn)動(dòng)圖像內(nèi)執(zhí)行塊匹配，其中，比較已被處理的圖像與先于該已被處理的圖像的圖像，以便確定所述已被處理的圖像內(nèi)的跟蹤點(diǎn)的位置；內(nèi)插單元，用于執(zhí)行內(nèi)插處理，其中，將沒有經(jīng)過塊匹配、作為在所述運(yùn)動(dòng)圖像內(nèi)的所述已被處理的圖像之前或之后的圖像的圖像內(nèi)的跟蹤點(diǎn)的位置確定為所述已被處理的圖像內(nèi)的跟蹤點(diǎn)的位置；以及運(yùn)動(dòng)矢量計(jì)算單元，用于基于由所述塊匹配單元或所述內(nèi)插單元確定的所述已被處理的圖像內(nèi)的所述跟蹤點(diǎn)的位置，獲得所述跟蹤點(diǎn)的運(yùn)動(dòng)矢量。
文檔編號(hào)G06T7/20GK101533516SQ20091012650
公開日2009年9月16日 申請(qǐng)日期2009年3月10日 優(yōu)先權(quán)日2008年3月10日
發(fā)明者大月知之, 川口邦雄, 藤島幸一, 近藤哲二郎, 高橋健治 申請(qǐng)人:索尼株式會(huì)社