專利名稱：圖像信號(hào)處理設(shè)備、圖像信號(hào)處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像信號(hào)處理設(shè)備、圖像信號(hào)處理方法和程序，尤其 涉及能夠準(zhǔn)確跟蹤存在于圖像中的對(duì)象的圖像信號(hào)處理設(shè)備、圖像信 號(hào)處理方法和程序。
背景技術(shù)：
已開(kāi)發(fā)了大量的用于檢測(cè)顯示為運(yùn)動(dòng)圖像的圖像中的運(yùn)動(dòng)對(duì)象 并且跟蹤檢測(cè)出的對(duì)象的方法。
然而，在現(xiàn)有的方法中，對(duì)象跟蹤有時(shí)由于干擾(例如圖像噪聲 或長(zhǎng)時(shí)間遮擋)而失敗。
為了解決這一問(wèn)題，例如，提出了以下方法檢測(cè)圖像中的運(yùn)動(dòng) 對(duì)象，跟蹤該對(duì)象，并且如果用戶確定沒(méi)有獲得期望的跟蹤結(jié)果，則 用戶手工指定新的對(duì)象(例如參見(jiàn)日本未實(shí)審專利申請(qǐng)公布No. 2007-272732) 0
在用于跟蹤圖像中的對(duì)象的處理中，檢測(cè)對(duì)象的準(zhǔn)確運(yùn)動(dòng)向量是 必要的。為了確定檢測(cè)出的運(yùn)動(dòng)向量的準(zhǔn)確性，可使用這樣一種方法， 該方法將指示運(yùn)動(dòng)向量的準(zhǔn)確性的評(píng)估值(相關(guān)值的計(jì)算結(jié)果)和作 為指示圖像的粗糙度和空間相關(guān)性的值的活動(dòng)性中的每一個(gè)與預(yù)定 閾值(基于理想運(yùn)動(dòng)圖像預(yù)定義的值)進(jìn)行比較。
發(fā)明內(nèi)容
隨著用于圖像攝取裝置(例如，攝像機(jī))和顯示設(shè)備(例如，電 視機(jī)和個(gè)人計(jì)算機(jī))的發(fā)展，已提出多種運(yùn)動(dòng)圖像格式。例如，多種 類型的運(yùn)動(dòng)圖像包括由用戶利用攝像機(jī)拍攝并且被用戶編輯的運(yùn)動(dòng) 圖像、作為電視節(jié)目被廣播的運(yùn)動(dòng)圖像、經(jīng)由諸如因特網(wǎng)之類的網(wǎng)絡(luò)傳輸?shù)倪\(yùn)動(dòng)圖像、通過(guò)預(yù)定圖像處理進(jìn)行分辨率變換的運(yùn)動(dòng)圖像(例 如，上變換的運(yùn)動(dòng)圖像)、以及重復(fù)經(jīng)歷壓縮編碼和解碼的運(yùn)動(dòng)圖像。
因此，在用戶看到的運(yùn)動(dòng)圖像中，可能出現(xiàn)未包括在用于對(duì)象跟 蹤的上述格式中的預(yù)料外的運(yùn)動(dòng)圖像格式。如果具有預(yù)料外的格式的 圖像中的對(duì)象被跟蹤，則當(dāng)確定檢測(cè)出的運(yùn)動(dòng)向量的準(zhǔn)確性時(shí)，可能 無(wú)法獲得檢測(cè)出的運(yùn)動(dòng)向量的評(píng)估值和閾值的正確比較結(jié)果。
在這種情況下，無(wú)法獲得準(zhǔn)確的運(yùn)動(dòng)向量，并且因此，難以執(zhí)行 對(duì)象的高度精確跟蹤。
因此，本發(fā)明通過(guò)獲得準(zhǔn)確的運(yùn)動(dòng)向量實(shí)現(xiàn)對(duì)象的高度精確跟蹤。
根據(jù)本發(fā)明的一個(gè)實(shí)施例， 一種圖傳_信號(hào)處理設(shè)備包括用于檢 測(cè)設(shè)在運(yùn)動(dòng)圖像中的對(duì)象內(nèi)的跟蹤點(diǎn)的運(yùn)動(dòng)向量的檢測(cè)裝置、用于計(jì) 算表示檢測(cè)出的運(yùn)動(dòng)向量的可靠性的可靠性參數(shù)的計(jì)算裝置、用于通
過(guò)將計(jì)算出的可靠性參數(shù)與邊界進(jìn)行比較來(lái)確定檢測(cè)出的運(yùn)動(dòng)向量 是否被采用的確定裝置、用于累積計(jì)算出的可靠性參數(shù)的累積裝置以 及用于基于所累積的可靠性參數(shù)來(lái)改變邊界的改變裝置。
當(dāng)發(fā)生跟蹤點(diǎn)的轉(zhuǎn)移處理并且對(duì)應(yīng)于轉(zhuǎn)移前的原始跟蹤點(diǎn)的運(yùn) 動(dòng)向量和對(duì)應(yīng)于轉(zhuǎn)移后的新的跟蹤點(diǎn)的運(yùn)動(dòng)向量之差落在預(yù)定范圍 內(nèi)時(shí)，累積裝置可以累積表示對(duì)應(yīng)于原始跟蹤點(diǎn)的運(yùn)動(dòng)向量的可靠性 的可靠性參數(shù)。
改變裝置可以響應(yīng)于指示校正跟蹤點(diǎn)的位置的用戶操作，基于所 累積的可靠性參數(shù)來(lái)改變邊界。
響應(yīng)于指示校正跟蹤點(diǎn)的位置的用戶操作，累積裝置可以從所累 積的可靠性參數(shù)中排除在執(zhí)行用戶操作前的預(yù)定時(shí)間段內(nèi)累積的可 靠性參數(shù)，并且，在執(zhí)行用戶操作前的預(yù)定時(shí)間段內(nèi)累積的可靠性參 數(shù)被排除之后，改變裝置可以基于所累積的可靠性參數(shù)來(lái)改變邊界。
當(dāng)累積了預(yù)定數(shù)量的可靠性參數(shù)時(shí)，改變裝置可以基于所累積的 可靠性參數(shù)來(lái)改變邊界。
計(jì)算裝置可以計(jì)算評(píng)估值和塊活動(dòng)性，其中評(píng)估值表示在包括跟蹤點(diǎn)的預(yù)定區(qū)域中兩個(gè)圖像之間的相似度，塊活動(dòng)性表示在包括跟蹤 點(diǎn)的預(yù)定區(qū)域中像素的變化， 一對(duì)評(píng)估值和塊活動(dòng)性用作指示檢測(cè)出 的運(yùn)動(dòng)向量的可靠性的可靠性參數(shù)，并且累積裝置可以累積一對(duì)計(jì)算 出的評(píng)估值和塊活動(dòng)性作為可靠性參數(shù)。
當(dāng)累積具有相同塊活動(dòng)性的可靠性參數(shù)時(shí)，累積裝置可以僅累積 評(píng)估值較大的可靠性參數(shù)。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例， 一種用于處理圖像信號(hào)的方法包括
以下步驟檢測(cè)設(shè)在運(yùn)動(dòng)圖像中的對(duì)象內(nèi)的跟蹤點(diǎn)的運(yùn)動(dòng)向量，計(jì)算 表示檢測(cè)出的運(yùn)動(dòng)向量的可靠性的可靠性參數(shù)，通過(guò)將計(jì)算出的可靠 性參數(shù)與邊界進(jìn)行比較來(lái)確定檢測(cè)出的運(yùn)動(dòng)向量是否被采用，累積計(jì) 算出的可靠性參數(shù)，以及基于所累積的可靠性參數(shù)來(lái)改變邊界。
根據(jù)本發(fā)明的另 一個(gè)實(shí)施例， 一種計(jì)算機(jī)可讀程序包括程序代 碼，該程序代碼用于使計(jì)算機(jī)執(zhí)行以下步驟檢測(cè)設(shè)在運(yùn)動(dòng)圖像中的 對(duì)象內(nèi)的跟蹤點(diǎn)的運(yùn)動(dòng)向量，計(jì)算表示檢測(cè)出的運(yùn)動(dòng)向量的可靠性的 可靠性參數(shù)，通過(guò)將計(jì)算出的可靠性參數(shù)與邊界進(jìn)行比較來(lái)確定檢測(cè) 出的運(yùn)動(dòng)向量是否被采用，累積計(jì)算出的可靠性參數(shù)，以及基于所累 積的可靠性參數(shù)來(lái)改變邊界。
根據(jù)本發(fā)明的實(shí)施例，檢測(cè)設(shè)在運(yùn)動(dòng)圖像中的對(duì)象內(nèi)的跟蹤點(diǎn)的 運(yùn)動(dòng)向量，計(jì)算表示檢測(cè)出的運(yùn)動(dòng)向量的可靠性的可靠性參數(shù)，并且 通過(guò)將計(jì)算出的可靠性參數(shù)與邊界進(jìn)行比較來(lái)確定檢測(cè)出的運(yùn)動(dòng)向 量是否被采用。另外，累積計(jì)算出的可靠性參數(shù)，并且基于所累積的 可靠性參數(shù)來(lái)改變邊界。
才艮據(jù)本發(fā)明的實(shí)施例，可以準(zhǔn)確地確定運(yùn)動(dòng)向量的準(zhǔn)確性。
另外，根據(jù)本發(fā)明的實(shí)施例，可以執(zhí)行高度精確的對(duì)象跟蹤。
圖1是圖示根據(jù)本發(fā)明一個(gè)實(shí)施例的安保相機(jī)系統(tǒng)的示例性配 置的框圖2是圖示監(jiān)視處理的流程7圖3A至3C圖示了由圖1中所示的安保相機(jī)系統(tǒng)顯示的時(shí)序圖 像的例子；
圖4是圖示圖1中所示的對(duì)象跟蹤單元的示例性配置的框圖； 圖5是圖示跟蹤處理的流程圖6A至6C是圖示當(dāng)要跟蹤的對(duì)象被旋轉(zhuǎn)時(shí)的跟蹤處理的示意
圖7A至7C是圖示當(dāng)發(fā)生遮擋時(shí)的跟蹤處理的示意圖8A至8C是圖示當(dāng)發(fā)生場(chǎng)景改變時(shí)的跟蹤處理的示意圖9是圖示正常處理的流程圖IO是圖示正常處理的初始化處理的流程圖IIA至IIC是圖示正常處理的初始化處理的示意圖12是圖示異常處理的流程圖13是圖示異常處理的初始化處理的流程圖14是圖示模板選擇的示意圖15A至15C是圖示搜索范圍設(shè)置的示意圖16是圖示示例性的繼續(xù)確定處理的流程圖17是圖示圖4中所示的運(yùn)動(dòng)估計(jì)單元的示例性配置的框圖18是圖示塊活動(dòng)性的計(jì)算的示意圖19是圖示示例性的運(yùn)動(dòng)估計(jì)處理的流程圖20圖示了評(píng)估值和塊活動(dòng)性之間的關(guān)系；
圖21是圖示示例性的綜合確定處理的流程圖22是圖示示例性的參照線改變處理的示意圖23是圖示在判斷是否采用運(yùn)動(dòng)向量時(shí)的錯(cuò)誤的示意圖24是圖示指令延時(shí)的示意圖25是圖示改變的參照線的示意圖26是圖示圖4中所示的參照線改變單元的示例性配置的框圖27是圖示示例性的參照線改變處理的流程圖28是圖示圖1中所示的跟蹤點(diǎn)校正單元的示例性配置的框以及圖29是圖示示例性的跟蹤點(diǎn)校正處理的流程圖。
具體實(shí)施例方式
下面參考附圖詳細(xì)描述本發(fā)明的示例性實(shí)施例。 圖1圖示根據(jù)本發(fā)明一個(gè)實(shí)施例的安保相機(jī)系統(tǒng)的示例性配置。 安保相機(jī)系統(tǒng)1包括諸如視頻攝像機(jī)之類的圖像攝取單元21、 檢測(cè)拍攝圖像中要跟蹤的對(duì)象的跟蹤目標(biāo)檢測(cè)單元22、跟蹤被檢測(cè)對(duì) 象的跟蹤點(diǎn)的對(duì)象跟蹤單元23、根據(jù)用戶指令改變跟蹤點(diǎn)的跟蹤點(diǎn)校 正單元24、顯示例如拍攝圖像的圖像顯示器25、移動(dòng)圖像攝取單元 21以改變圖像拍攝方向的相機(jī)驅(qū)動(dòng)單元26、執(zhí)行安保相機(jī)系統(tǒng)1的 整體控制的控制單元27、包含控制程序的可移動(dòng)介質(zhì)28以及接收用 戶指令的指令輸入單元29。
圖像攝取單元21例如由包括圖像攝取元件的攝像機(jī)形成，圖像 攝取元件例如是電荷耦合器件(CCD )傳感器或互補(bǔ)金屬氧化物半導(dǎo) 體(CMOS)傳感器。圖像攝取單元21將通過(guò)圖像拍攝操作獲得的 成像信號(hào)提供給下游組件。跟蹤目標(biāo)檢測(cè)單元22基于從圖像攝取單 元21送來(lái)的成像信號(hào)(下文中簡(jiǎn)稱為"圖像")來(lái)檢測(cè)圖像中要跟蹤 的對(duì)象。之后，跟蹤目標(biāo)檢測(cè)單元22將設(shè)在對(duì)象上的跟蹤點(diǎn)的位置 發(fā)送到對(duì)象跟蹤單元23。
對(duì)象跟蹤單元23進(jìn)行操作以便在從圖像攝取單元21送來(lái)的圖像 中跟蹤從跟蹤目標(biāo)檢測(cè)單元22發(fā)送來(lái)的跟蹤點(diǎn)。另外，對(duì)象跟蹤單 元23將跟蹤結(jié)果輸出到跟蹤點(diǎn)校正單元24。此外，對(duì)象跟蹤單元23 控制相機(jī)驅(qū)動(dòng)單元26，使得相機(jī)驅(qū)動(dòng)單元26可以根據(jù)跟蹤結(jié)果拍攝 運(yùn)動(dòng)對(duì)象的圖像。當(dāng)用戶通過(guò)指令輸入單元29指示校正跟蹤點(diǎn)的位 置時(shí)，跟蹤點(diǎn)校正單元24將從用戶接收的校正值反映到從對(duì)象跟蹤 單元23接收的跟蹤結(jié)果中。跟蹤點(diǎn)校正單元24隨后在圖像顯示器25 上顯示校正結(jié)果。這樣，對(duì)象跟蹤單元23可以進(jìn)行操作以跟蹤來(lái)自 下一幀的校正后的跟蹤點(diǎn)。在對(duì)象跟蹤單元23的控制下，相機(jī)驅(qū)動(dòng) 單元26驅(qū)動(dòng)圖像攝取單元21以使圖像攝取單元21可以拍攝包含該對(duì)象的跟蹤點(diǎn)的圖像。
控制單元27例如由微計(jì)算機(jī)形成?？刂茊卧?7通過(guò)執(zhí)行存儲(chǔ)在 可移動(dòng)介質(zhì)28中的控制程序來(lái)控制安保相機(jī)系統(tǒng)1的組件。指令輸 入單元29包括多種按鈕和開(kāi)關(guān)，或者使用紅外光或無(wú)線電波的遙控 器。指令輸入單元29將與用戶指令相對(duì)應(yīng)的信號(hào)發(fā)送到控制單元27。
接下來(lái)參考圖2中所示的流程圖來(lái)描述由圖l中所示的安保相機(jī) 系統(tǒng)執(zhí)行的監(jiān)視操作。當(dāng)圖像攝取單元21拍攝要監(jiān)視的區(qū)域的圖像 時(shí)，監(jiān)視操作開(kāi)始，并且所拍攝的區(qū)域的成像信號(hào)被送到下游組件。
在步驟Sl中，跟蹤目標(biāo)檢測(cè)單元22在從圖像攝取單元21送來(lái) 的圖像中檢測(cè)要跟蹤的對(duì)象。更具體而言，例如當(dāng)圖像中存在運(yùn)動(dòng)對(duì) 象時(shí)，跟蹤目標(biāo)檢測(cè)單元22將運(yùn)動(dòng)對(duì)象檢測(cè)為要跟蹤的對(duì)象，并且 在檢測(cè)到的要跟蹤的對(duì)象中設(shè)置跟蹤點(diǎn)(例如，具有最高亮度的一點(diǎn) 或者對(duì)象的中心點(diǎn))。跟蹤目標(biāo)檢測(cè)單元22隨后將跟蹤點(diǎn)的位置作 為檢測(cè)結(jié)果輸出到對(duì)象跟蹤單元23。注意，用戶可以通過(guò)指令輸入單 元29指定某一點(diǎn)，以便確定要跟蹤的對(duì)象和跟蹤點(diǎn)。
在步驟S2中，對(duì)象跟蹤單元23執(zhí)行跟蹤處理(在下面參考圖5 更詳細(xì)描述)。在跟蹤處理中，對(duì)象跟蹤單元23跟蹤在步驟S1中檢 測(cè)到的跟蹤點(diǎn)。因而，對(duì)象跟蹤單元23在由圖像攝取單元21拍攝的 圖像中跟蹤在要跟蹤的對(duì)象(例如，人、動(dòng)物或機(jī)動(dòng)車輛)中設(shè)定的 跟蹤點(diǎn)，并將跟蹤結(jié)果輸出到控制單元27。另外，對(duì)象跟蹤單元23 將指示跟蹤點(diǎn)的位置的位置信息輸出到跟蹤點(diǎn)校正單元24。
在步驟S3中，控制單元27基于在步驟S2中獲得的跟蹤結(jié)果指 示圖像顯示器25在由圖像攝取單元21拍攝的圖像中顯示指示跟蹤點(diǎn) 的標(biāo)記。
在步驟S4中，對(duì)象跟蹤單元23基于在步驟S2中獲得的跟蹤結(jié) 果來(lái)檢測(cè)對(duì)象的運(yùn)動(dòng)，生成用于驅(qū)動(dòng)相機(jī)以便可以拍攝運(yùn)動(dòng)對(duì)象的圖 像的相機(jī)驅(qū)動(dòng)信號(hào)，并將相機(jī)驅(qū)動(dòng)信號(hào)輸出到相機(jī)驅(qū)動(dòng)單元26,在步 驟S5中，相機(jī)驅(qū)動(dòng)單元26根據(jù)從對(duì)象跟蹤單元23接收的相機(jī)驅(qū)動(dòng) 信號(hào)來(lái)驅(qū)動(dòng)圖像攝取單元21。因而，圖像攝取單元21搖動(dòng)或傾斜相機(jī)以使跟蹤點(diǎn)不會(huì)運(yùn)動(dòng)到屏幕以外。
在步驟S6中，例如，控制單元27基于通過(guò)指令輸入單元29從 用戶接收的結(jié)束指令的出現(xiàn)來(lái)確定執(zhí)行中的監(jiān)視處理是否結(jié)束。如果 沒(méi)有檢測(cè)到來(lái)自用戶的結(jié)束指令并且因此確定監(jiān)視處理沒(méi)有結(jié)束，則 處理返回到步驟S1。之后，執(zhí)行后續(xù)處理。如果在步驟S6中檢測(cè)到 來(lái)自用戶的結(jié)束指令并且因此確定監(jiān)視處理結(jié)束，則控制單元27結(jié) 束監(jiān)視處理。整個(gè)監(jiān)視處理就這樣被執(zhí)行。
圖3A至3C圖示了當(dāng)監(jiān)視處理正在執(zhí)行時(shí)顯示在圖像顯示器25 上的時(shí)序圖像的例子。
也就是說(shuō)，圖3A至3C圖示了這樣一個(gè)例子，其中跑動(dòng)的人被 檢測(cè)作為對(duì)象41，并且在對(duì)象41上設(shè)定的跟蹤點(diǎn)41A被跟蹤。
接下來(lái)參考圖4詳細(xì)描述圖1中所示的對(duì)象跟蹤單元23的示例 性配置。
對(duì)象跟蹤單元23包括模板匹配單元51、運(yùn)動(dòng)估計(jì)單元52、場(chǎng)景 改變檢測(cè)單元53、背景運(yùn)動(dòng)估計(jì)單元54、區(qū)域估計(jì)相關(guān)處理單元55、 轉(zhuǎn)移候選保留單元56、跟蹤點(diǎn)確定單元57、模板保留單元58、參照 線改變單元59、以及控制子單元60。
模板匹配單元51執(zhí)行從部署在其上游的圖像攝取單元21輸入的 圖像(下文中，該圖像被稱為輸入圖像)和保留在模板保留單元58 中的模板圖像之間的匹配處理。
運(yùn)動(dòng)估計(jì)單元52估計(jì)輸入圖像的運(yùn)動(dòng)，并且通過(guò)將一對(duì)表示估 計(jì)結(jié)果的估計(jì)值和塊活動(dòng)性與參照線133(下面參考圖20描述)進(jìn)行 比較來(lái)確定是否可采用通過(guò)估計(jì)獲得的運(yùn)動(dòng)向量。之后，運(yùn)動(dòng)估計(jì)單 元52將運(yùn)動(dòng)向量和指示是否可采用運(yùn)動(dòng)向量的信息(下文中稱為"采 用判斷信息")輸出到場(chǎng)景改變檢測(cè)單元53、背景運(yùn)動(dòng)估計(jì)單元54、 區(qū)域估計(jì)相關(guān)處理單元55和跟蹤點(diǎn)確定單元57。另外，運(yùn)動(dòng)估計(jì)單 元52向參照線改變單元59提供通過(guò)估計(jì)輸入圖像的運(yùn)動(dòng)而獲得的運(yùn) 動(dòng)向量以及用于確定是否可采用該運(yùn)動(dòng)向量的估計(jì)值和塊活動(dòng)性。
場(chǎng)景改變檢測(cè)單元53基于從運(yùn)動(dòng)估計(jì)單元52送來(lái)的運(yùn)動(dòng)向量和
ii關(guān)于運(yùn)動(dòng)向量的采用判斷信息來(lái)檢測(cè)場(chǎng)景改變。之后，場(chǎng)景改變檢測(cè)
單元53設(shè)置或重置指示檢測(cè)結(jié)果的場(chǎng)景改變標(biāo)志。背景運(yùn)動(dòng)估計(jì)單 元54基于從運(yùn)動(dòng)估計(jì)單元52送來(lái)的運(yùn)動(dòng)向量和關(guān)于運(yùn)動(dòng)向量的采用 判斷信息來(lái)估計(jì)背景運(yùn)動(dòng)。隨后，背景運(yùn)動(dòng)估計(jì)單元54將估計(jì)結(jié)果 輸送到區(qū)域估計(jì)相關(guān)處理單元55。
區(qū)域估計(jì)相關(guān)處理單元55基于從運(yùn)動(dòng)估計(jì)單元52送來(lái)的運(yùn)動(dòng)向 量和關(guān)于運(yùn)動(dòng)向量的采用判斷信息、從背景運(yùn)動(dòng)估計(jì)單元54送來(lái)的 背景運(yùn)動(dòng)以及從跟蹤點(diǎn)確定單元57送來(lái)的跟蹤點(diǎn)信息，來(lái)執(zhí)行區(qū)域 估計(jì)處理。另外，區(qū)域估計(jì)相關(guān)處理單元55基于所有輸入信息生成 轉(zhuǎn)移候選。區(qū)域估計(jì)相關(guān)處理單元55將轉(zhuǎn)移候選輸送到轉(zhuǎn)移候選保 留單元56，該轉(zhuǎn)移候選保留單元56保留轉(zhuǎn)移候選。此外，區(qū)域估計(jì) 相關(guān)處理單元55基于輸入圖像生成模板并將所生成的模板送到模板 保留單元58,模板保留單元58保留模板。
跟蹤點(diǎn)確定單元57基于從運(yùn)動(dòng)估計(jì)單元52送來(lái)的運(yùn)動(dòng)向量和關(guān) 于運(yùn)動(dòng)向量的采用判斷信息以及從轉(zhuǎn)移候選保留單元56送來(lái)的轉(zhuǎn)移 候選來(lái)確定跟蹤點(diǎn)。之后，跟蹤點(diǎn)確定單元57將指示所確定的跟蹤 點(diǎn)的位置的跟蹤點(diǎn)信息輸出到運(yùn)動(dòng)估計(jì)單元52和區(qū)域估計(jì)相關(guān)處理 單元55。此外，如果發(fā)生跟蹤點(diǎn)的轉(zhuǎn)移，則跟蹤點(diǎn)確定單元57將該 信息發(fā)送到參照線改變單元59。
參照線改變單元59基于從運(yùn)動(dòng)估計(jì)單元52送來(lái)的運(yùn)動(dòng)向量、用 于運(yùn)動(dòng)向量的釆用判斷的估計(jì)值和塊活動(dòng)性、從跟蹤點(diǎn)確定單元57 送來(lái)的關(guān)于跟蹤點(diǎn)發(fā)生轉(zhuǎn)移的信息以及從控制單元27送來(lái)的關(guān)于是 否有跟蹤點(diǎn)校正的用戶指令的信息，來(lái)改變通過(guò)由運(yùn)動(dòng)估計(jì)單元52 執(zhí)行的估計(jì)而獲得的、用于運(yùn)動(dòng)向量的采用判斷的參照線。參照線改 變單元59隨后將改變后的參照線發(fā)送到運(yùn)動(dòng)估計(jì)單元52。
控制子單元60控制模板匹配單元51和模板保留單元58以便基 于從跟蹤目標(biāo)檢測(cè)單元22輸出的跟蹤點(diǎn)信息來(lái)跟蹤被檢測(cè)的對(duì)象。 另外，控制子單元60向相機(jī)驅(qū)動(dòng)單元26輸出控制信號(hào)以便在圖像顯 示器25的屏幕中顯示跟蹤點(diǎn)。這樣，控制子單元60控制圖像攝取單元21的驅(qū)動(dòng)。因而，跟蹤點(diǎn)被控制為不會(huì)移到屏幕以外。另外，控 制子單元60將跟蹤結(jié)果(例如跟蹤點(diǎn)在屏幕中的位置)輸出到跟蹤 點(diǎn)校正單元24和控制單元27。
接下來(lái)參考圖5中所示的流程圖描述由對(duì)象跟蹤單元23執(zhí)行的 跟蹤處理(與在圖2所示的步驟S2中執(zhí)行的處理相對(duì)應(yīng)的處理)。
在跟蹤處理中，正常處理和異常處理交替執(zhí)行。也就是說(shuō)，在步 驟S11中，執(zhí)行正常處理(在下面參考圖9更詳細(xì)描述)，并且對(duì)由 跟蹤目標(biāo)檢測(cè)單元22檢測(cè)到的跟蹤點(diǎn)進(jìn)行跟蹤。如果對(duì)跟蹤點(diǎn)的跟 蹤丟失，則在步驟S12中執(zhí)行異常處理(在下面參考圖12更詳細(xì)描 述)。
在異常處理中，如果跟蹤點(diǎn)從圖像中消失，則利用模板匹配執(zhí)行 回到正常處理的返回處理。另外，在異常處理中，如果確定跟蹤處理 不能繼續(xù)，也就是說(shuō)，如果確定處理不能返回到正常處理，則處理結(jié) 束。然而，如果確定在利用模板匹配執(zhí)行返回處理之后能夠返回到正 常處理，則處理再次返回到步驟Sll。這樣，逐幀地重復(fù)執(zhí)行在步驟 Sll中執(zhí)行的正常處理和在步驟S12中執(zhí)行的異常處理。
如上所述，由于正常處理和異常處理在跟蹤處理中被交替執(zhí)行， 因此即使當(dāng)跟蹤點(diǎn)臨時(shí)消失時(shí)(例如，當(dāng)對(duì)象被旋轉(zhuǎn)時(shí)，發(fā)生遮擋時(shí)， 或者發(fā)生場(chǎng)景改變時(shí))，也可以對(duì)跟蹤點(diǎn)進(jìn)行跟蹤，如圖6A至6C、 7A至7C和8A至8C所示的圖像的例子中所示。
在圖6A所示的例子中，用作要跟蹤的對(duì)象的人臉74被顯示在 幀n-l中。人臉74包括右眼72和左眼73。另外，右眼72(準(zhǔn)確地說(shuō)， 是右眼72的圖像中的一個(gè)像素)被設(shè)定為跟蹤點(diǎn)71。
如圖6B所示，在下一幀n中，用作要跟蹤的對(duì)象的人向左運(yùn)動(dòng)。 如圖6C所示，在下一幀n+l中，人臉74在順時(shí)針?lè)较蛏闲D(zhuǎn)。結(jié)果， 用作跟蹤點(diǎn)的右眼72消失，并且因此跟蹤丟失。因此，在閨5所示 的步驟Sll中的上述正常處理中，存在于右眼72所在的同一對(duì)象(即， 人臉74)中的左眼73^t選為新的跟蹤點(diǎn)。因而，跟蹤點(diǎn)轉(zhuǎn)移到左眼 73。這樣就可以執(zhí)^亍i 艮蹤。在圖7A的例子所示的幀n-l中，球81從作為要跟蹤的對(duì)象的 人臉74的左邊運(yùn)動(dòng)而來(lái)。在圖7B所示的下一幀n中，球81恰好覆 蓋人臉74。此時(shí)，包括右眼72 (被指定為跟蹤點(diǎn)71)的人臉74不被 顯示。如果發(fā)生這種遮擋，則要替代跟蹤點(diǎn)71的轉(zhuǎn)移點(diǎn)也消失。因 此，在該時(shí)刻后難以對(duì)跟蹤點(diǎn)進(jìn)行跟蹤。
在這種情況下，執(zhí)行模板匹配。也就是說(shuō)，包括用作跟蹤點(diǎn)71 的右眼72的幀n-l (實(shí)際是在時(shí)間上領(lǐng)先于幀n-l的一幀)的圖像被 預(yù)先存儲(chǔ)為模板。當(dāng)球81進(jìn)一步向右運(yùn)動(dòng)并且用作跟蹤點(diǎn)71的右眼 72再次出現(xiàn)在幀n+l中時(shí)(如圖7C所示)，通過(guò)圖5所示的步驟S12 中的異常處理，基于模板檢測(cè)到用作跟蹤點(diǎn)71的右眼72再次出現(xiàn)。 之后，右眼72再次作為跟蹤點(diǎn)71被跟蹤。
在圖8A所示的例子中，用作要跟蹤的對(duì)象的人臉74被顯示在 幀n-l中。然而，如圖8B所示，在幀n中，人臉74消失，并且機(jī)動(dòng) 車輛91被全屏顯示。在這種情況下，發(fā)生場(chǎng)景改變。即使當(dāng)這種場(chǎng) 景改變發(fā)生并且跟蹤點(diǎn)71從圖像中消失時(shí)，也可以通過(guò)圖5所示的 步驟S12中的異常處理，基于模板檢測(cè)到用作跟蹤點(diǎn)71的右眼72再 次出現(xiàn)(如果用作跟蹤點(diǎn)71的右眼72被顯示在幀n+l中的話)，如 圖8C所示。因而，右眼72可以再次作為跟蹤點(diǎn)71被跟蹤。
接下來(lái)參考圖9中所示的流程圖詳細(xì)描述在圖5所示的步驟S11 中執(zhí)行的正常處理。
在步驟S21中，跟蹤點(diǎn)確定單元57執(zhí)行正常處理的初始化處理 (在下面參考圖10更詳細(xì)描述)。通過(guò)初始化處理，確定以跟蹤點(diǎn) 為基準(zhǔn)的區(qū)域估計(jì)范圍。這里所用的術(shù)語(yǔ)"區(qū)域估計(jì)范圍"是指當(dāng)對(duì)屬 于包括跟蹤點(diǎn)的對(duì)象(例如，人臉或人體，當(dāng)跟蹤點(diǎn)是人眼時(shí)，該人 臉或人體與人眼一起運(yùn)動(dòng))的像素范圍進(jìn)行估計(jì)時(shí)所參照的范圍。轉(zhuǎn) 移點(diǎn)是從區(qū)域估計(jì)范圍中的像素中選擇出來(lái)的。
在步驟S22中，控制子單元60控制這些單元以使這些單元等待 下一幀的圖像的輸入。在步驟S23中，運(yùn)動(dòng)估計(jì)單元52估計(jì)跟蹤點(diǎn) 的運(yùn)動(dòng)。也就是說(shuō)，運(yùn)動(dòng)估計(jì)單元52可以通過(guò)在步驟S22中接收包括跟蹤點(diǎn)(例如，由用戶指定的跟蹤點(diǎn))的幀的時(shí)間上后續(xù)的幀來(lái)獲 取兩個(gè)連續(xù)幀的圖像。下文中，包括跟蹤點(diǎn)的幀被稱為"先前幀"，而
時(shí)間上后續(xù)的幀被稱為"后續(xù)幀"。因此，在步驟S23中，運(yùn)動(dòng)估計(jì)單 元52可以通過(guò)確定與先前幀中的跟蹤點(diǎn)相對(duì)應(yīng)的后續(xù)幀中的跟蹤點(diǎn) 的位置來(lái)估計(jì)跟蹤點(diǎn)的運(yùn)動(dòng)。
注意，術(shù)語(yǔ)"時(shí)間上先前"和"時(shí)間上后續(xù)"是指輸入或處理被執(zhí)行 的順序。 一般而言，圖像被拍攝的順序與幀中的圖像被輸入的順序相 同。在這種情況下，在時(shí)間上先前拍攝的幀被稱為"先前圖像"。然而， 當(dāng)在時(shí)間上后續(xù)拍攝的幀被先處理時(shí)，在時(shí)間上后續(xù)拍攝的幀被稱為 "先前圖像"。
在步驟S24中，運(yùn)動(dòng)估計(jì)單元52根據(jù)步驟S23中的處理結(jié)果來(lái) 確定跟蹤點(diǎn)是否能夠被估計(jì)。例如，跟蹤點(diǎn)是否能夠被估計(jì)可以通過(guò) 是否可釆用由運(yùn)動(dòng)估計(jì)單元52生成并輸出的運(yùn)動(dòng)向量來(lái)確定。更具 體而言，如果運(yùn)動(dòng)向量可被采用，則確定跟蹤點(diǎn)可被估計(jì)。然而，如 果運(yùn)動(dòng)向量不被采用，則確定跟蹤點(diǎn)不能被估計(jì)。運(yùn)動(dòng)向量的采用判 斷在下面參考圖21更詳細(xì)地描述。
注意，在步驟S24中，如果跟蹤點(diǎn)的運(yùn)動(dòng)的估計(jì)結(jié)果和在跟蹤點(diǎn) 附近的一點(diǎn)的運(yùn)動(dòng)的估計(jì)結(jié)果與這些點(diǎn)中大部分的運(yùn)動(dòng)相同，則可以 確定跟蹤點(diǎn)可被估計(jì)。否則，可以確定跟蹤點(diǎn)不能被估計(jì)。
如果在步驟S24中確定跟蹤點(diǎn)的運(yùn)動(dòng)可被估計(jì)，也就是說(shuō)，如果 確定跟蹤點(diǎn)被設(shè)在同 一對(duì)象的相應(yīng)點(diǎn)上的可能性相當(dāng)高，則處理進(jìn)行 到步驟S25。更具體而言，在圖6A-C所示的例子中，如果在先前幀 中右眼72被指定為跟蹤點(diǎn)71并且在后續(xù)幀中右眼72很有可能被正 確跟蹤，則確定跟蹤點(diǎn)的運(yùn)動(dòng)可被估計(jì)。
在步驟S25中，跟蹤點(diǎn)確定單元57使跟蹤點(diǎn)偏移在步驟S23中 估計(jì)的運(yùn)動(dòng)量(即，運(yùn)動(dòng)向量)。因而，可在后續(xù)幀中確定存在于先 前幀中的跟蹤點(diǎn)的被跟蹤位置。
在步驟S25中的處理結(jié)束之后，處理進(jìn)行到步驟S26，在步驟 S26執(zhí)行區(qū)域估計(jì)相關(guān)處理。在區(qū)域估計(jì)相關(guān)處理中，可采用由本發(fā)明的發(fā)明人在日本未實(shí)審專利申請(qǐng)公布No. 2005-303983中提出的技 術(shù)。
通過(guò)在步驟S26中執(zhí)行區(qū)域估計(jì)相關(guān)處理，在步驟S21中執(zhí)行 的正常處理的初始化處理中確定的區(qū)域估計(jì)范圍被更新。另外，在跟 蹤變困難之前轉(zhuǎn)移點(diǎn)的候選(轉(zhuǎn)移候選)被預(yù)先提取出來(lái)，并被存儲(chǔ) 在轉(zhuǎn)移候選保留單元56中。注意，如果例如由于要跟蹤的對(duì)象的旋 轉(zhuǎn)而導(dǎo)致跟蹤點(diǎn)不被顯示，則使用轉(zhuǎn)移點(diǎn)。此外，如果轉(zhuǎn)移到轉(zhuǎn)移候 選也變得困難，則跟蹤被臨時(shí)停止。然而，用于確定當(dāng)跟蹤點(diǎn)再次出 現(xiàn)時(shí)是否可恢復(fù)跟蹤的模板被生成，并被存儲(chǔ)在模板保留單元58中。
在步驟S26中執(zhí)行的區(qū)域估計(jì)相關(guān)處理結(jié)束之后，處理返回到步 驟S22，并且重復(fù)后續(xù)處理。
如上所述，只要跟蹤點(diǎn)的運(yùn)動(dòng)可被估計(jì)，就逐幀地重復(fù)執(zhí)行從步 驟S22到S26的處理。這樣，對(duì)象(對(duì)象的跟蹤點(diǎn))被跟蹤。
相反，如果在步驟S24中確定對(duì)跟蹤點(diǎn)的運(yùn)動(dòng)的估計(jì)是困難的， 也就是說(shuō)，如果例如運(yùn)動(dòng)向量不被采用(如上所述)，則處理進(jìn)行到 步驟S27。
在步驟S27中，由于在步驟S26中執(zhí)行的區(qū)域估計(jì)相關(guān)處理中 生成的轉(zhuǎn)移候選被保留在轉(zhuǎn)移候選保留單元56中，因此跟蹤點(diǎn)確定 單元57選擇轉(zhuǎn)移候選中與原始跟蹤點(diǎn)距離最短的一個(gè)。隨后，在步 驟S28中，跟蹤點(diǎn)確定單元57確定在步驟S27中是否能夠選擇轉(zhuǎn)移 候選之一。如果跟蹤點(diǎn)確定單元57能夠選擇轉(zhuǎn)移候選之一，則處理 進(jìn)行到步驟S29。在步驟S29中，跟蹤點(diǎn)確定單元57將跟蹤點(diǎn)轉(zhuǎn)移(改 變)到在步驟S27中選擇的一個(gè)轉(zhuǎn)移候選。另外，跟蹤點(diǎn)確定單元57 向參照線改變單元59發(fā)送指示發(fā)生轉(zhuǎn)移的信息。
在步驟S29中執(zhí)行的處理結(jié)束之后，處理返回到步驟S23，在步 驟S23中從轉(zhuǎn)移候選中選出的新的跟蹤點(diǎn)的運(yùn)動(dòng)被估計(jì)。在步驟S24 中，再次確定新的跟蹤點(diǎn)的運(yùn)動(dòng)是否可被估計(jì)。如果新的跟蹤點(diǎn)的運(yùn) 動(dòng)可被估計(jì)，則在步驟S25中使跟蹤點(diǎn)偏移估計(jì)的運(yùn)動(dòng)量。在步驟S26 中，執(zhí)行區(qū)域估計(jì)相關(guān)處理。之后，處理再次返回到步驟S22，并且后續(xù)步驟被重復(fù)。
隨后，如果在步驟S24中確定對(duì)新的跟蹤點(diǎn)的運(yùn)動(dòng)的估計(jì)也很困 難，則處理再次進(jìn)行到步驟S27，在步驟S27中選擇與原始跟蹤點(diǎn)的 距離第二短的轉(zhuǎn)移候選。在步驟S29中，所選的轉(zhuǎn)移候選被設(shè)為新的 跟蹤點(diǎn)。之后，對(duì)于新的跟蹤點(diǎn)，重復(fù)步驟S23之后的處理。
注意，在步驟S27中，即使在保留在轉(zhuǎn)移候選保留單元56中的 所有轉(zhuǎn)移候選中的每一個(gè)都已被轉(zhuǎn)移成新的跟蹤點(diǎn)之后，對(duì)跟蹤點(diǎn)的
運(yùn)動(dòng)的估計(jì)也可能很困難。在這種情況下，在步驟S28中確定轉(zhuǎn)移候 選不能被選擇，并且因此正常處理結(jié)束。之后，處理進(jìn)行到圖5中所 示的步驟S12，在步驟S12中執(zhí)行異常處理。
接下來(lái)參考圖10中所示的流程圖詳細(xì)描述在圖9所示的步驟 S21中執(zhí)行的正常處理的初始化處理。
在步驟S41中，控制子單元60確定當(dāng)前執(zhí)行的正常處理是否是 從異常處理恢復(fù)的處理。也就是說(shuō)，控制子單元60確定在圖5所示 的步驟S12中的異常處理結(jié)束之后、處理是否再次返回到步驟Sll中 的正常處理。當(dāng)?shù)谝粠惶幚頃r(shí)，步驟S12中的異常處理還未被執(zhí)行。 因此，確定該處理不是從異常處理恢復(fù)的處理，并且處理進(jìn)行到步驟 S42。
在步驟S42中，跟蹤點(diǎn)確定單元57將跟蹤點(diǎn)設(shè)置為跟蹤點(diǎn)的指 示位置。
這里所用的術(shù)語(yǔ)"跟蹤點(diǎn)指示位置"是指在輸入圖像的點(diǎn)中具有 最高亮度的一點(diǎn)或者由用戶指定的一點(diǎn)。例如，由用戶指定的一點(diǎn)是 輸入圖像中通過(guò)操作指令輸入單元29而指定的任何點(diǎn)。跟蹤點(diǎn)確定 單元57將關(guān)于設(shè)定的跟蹤點(diǎn)的信息提供給區(qū)域估計(jì)相關(guān)處理單元55。
在步驟S43中，區(qū)域估計(jì)相關(guān)處理單元55基于在步驟S42中設(shè) 定的關(guān)于跟蹤點(diǎn)的位置信息來(lái)確定區(qū)域估計(jì)范圍。當(dāng)跟蹤點(diǎn)所屬的對(duì) 象中的一點(diǎn)被估計(jì)時(shí)，區(qū)域估計(jì)范圍被參照。區(qū)域估計(jì)范圍被預(yù)先設(shè) 置，使得跟蹤點(diǎn)所屬的對(duì)象占據(jù)區(qū)域估計(jì)范圍中的大部分點(diǎn)。更具體 而言，區(qū)域估計(jì)范圍被預(yù)先設(shè)置，使得區(qū)域估計(jì)范圍的位置和尺寸跟
17隨跟蹤點(diǎn)所屬的對(duì)象。這樣，可以估計(jì)占據(jù)區(qū)域估計(jì)范圍的最大部分
的運(yùn)動(dòng)區(qū)域是跟蹤點(diǎn)所屬的對(duì)象。在步驟S43中，例如，中心為跟蹤 點(diǎn)的預(yù)定范圍被設(shè)置為初始區(qū)域估計(jì)范圍。之后，處理進(jìn)行到圖9中 所示的步驟S22。
然而，如果在步驟S41中確定當(dāng)前執(zhí)行的正常處理是從圖5所示 的步驟S12中的異常處理恢復(fù)的處理，則處理進(jìn)行到步驟S44。在步 驟S44中，跟蹤點(diǎn)確定單元57基于與異常處理中的模板相匹配的位 置來(lái)確定跟蹤點(diǎn)和區(qū)域估計(jì)范圍，這將在下面參考圖12中所示的流 程圖進(jìn)行描述。例如，當(dāng)前幀中與模板中的跟蹤點(diǎn)匹配的一點(diǎn)被設(shè)置 為跟蹤點(diǎn)。另外，中心為所設(shè)定的跟蹤點(diǎn)的預(yù)定范圍被設(shè)置為區(qū)域估 計(jì)范圍。之后，處理進(jìn)行到圖9中所示的步驟S22。這樣，執(zhí)行了正 常處理的初始化處理。
下面參考圖11A至11C描述正常處理的初始化處理的具體例子。
如圖11A所示，在步驟S42中，幀n-l中人的右眼72被指定為 跟蹤點(diǎn)71。在步驟S43中，包括跟蹤點(diǎn)71的預(yù)定區(qū)域被指定為區(qū)域 估計(jì)范圍101。在步驟S24中，確定包括在區(qū)域估計(jì)范圍101中的采 才羊點(diǎn)在如圖11B所示的下一幀n中是否可#:估計(jì)。在圖11A至11C 所示的例子中，在圖11C所示的幀n+l中，包括右眼72的區(qū)域估計(jì) 范圍101的左半?yún)^(qū)域102被球81遮住。因此，在下一幀n+l中難以 估計(jì)顯示在幀n中的跟蹤點(diǎn)71的運(yùn)動(dòng)。因此，在這種情況下，從在 時(shí)間上先前的幀n-l中被預(yù)先定義為轉(zhuǎn)移候選的區(qū)域估計(jì)范圍101(包 括右眼72、用作對(duì)象的人臉74)的若干點(diǎn)中，選擇一個(gè)點(diǎn)(例如， 人臉74中包括的左眼73，更準(zhǔn)確地說(shuō)，是左眼73的圖像中的一個(gè)像 素)。所選的點(diǎn)被設(shè)定為幀n+l中的新的跟蹤點(diǎn)。
接下來(lái)參考圖12中所示的流程圖描述在上述正常處理之后執(zhí)行 的異常處理(在圖5所示的步驟S12中執(zhí)行的異常處理)。
如上所述，異常處理是在正常處理的步驟S24 (圖9)中確定對(duì) 跟蹤點(diǎn)的運(yùn)動(dòng)的估計(jì)是困難的并且還在步驟S28中確定跟蹤點(diǎn)的轉(zhuǎn)移 候選不能被選出時(shí)執(zhí)行的。在步驟S51中，控制子單元60執(zhí)行異常處理的初始化處理。該 初始化處理將參考圖13中所示的流程圖詳細(xì)描述。
在步驟S61中，當(dāng)異常處理開(kāi)始時(shí)，也就是說(shuō)，當(dāng)對(duì)跟蹤點(diǎn)的運(yùn) 動(dòng)的估計(jì)困難并且如果跟蹤點(diǎn)的轉(zhuǎn)移候選不能被選出時(shí)，控制子單元 60確定場(chǎng)景改變檢測(cè)單元53是否檢測(cè)到場(chǎng)景改變的發(fā)生。注意，場(chǎng) 景改變檢測(cè)單元53 —直基于從運(yùn)動(dòng)估計(jì)單元52接收的估計(jì)結(jié)果來(lái)監(jiān) 視場(chǎng)景改變是否發(fā)生。
如果確定場(chǎng)景改變已發(fā)生，則可以認(rèn)為因場(chǎng)景改變不能得到跟蹤 結(jié)果。因此，在步驟S62中，控制子單元60將模式改變到場(chǎng)景改變 模式。然而，如果確定場(chǎng)景改變未發(fā)生，則控制子單元60在步驟S63 中將模式改變到另一模式。
在執(zhí)行了步驟S62或S63中的處理之后，模板匹配單元51在步 驟S64中從保留在模板保留單元58中的模板中選擇時(shí)間上最舊的模 板。更具體而言，例如，假定如圖14所示，在幀n改變到幀n+l時(shí) 異常處理開(kāi)始。然后，從m幀的模板(這些模板是從幀n-m+l到幀n 所生成的模板并且被存儲(chǔ)在模板保留單元58中)當(dāng)中選擇為幀n-m+l 生成的時(shí)間上最舊的模板。
之所以不用緊鄰轉(zhuǎn)變到異常處理之前的模板(在圖14所示的例 子中，是為幀n生成的模板)而使用轉(zhuǎn)變前一段時(shí)間的模板，原因就 在于當(dāng)例如由于要跟蹤的對(duì)象被遮擋而轉(zhuǎn)變到異常處理時(shí)，在緊鄰 轉(zhuǎn)變發(fā)生前的時(shí)刻對(duì)象的大部分已經(jīng)被遮住，因此很有可能此時(shí)的模 板不能拍攝足夠大的對(duì)象圖像。因此，通過(guò)選擇比轉(zhuǎn)變略微靠前一點(diǎn) 的某一時(shí)刻的模板，可以提供可靠的跟蹤。
返回參考圖13，在步驟S65中，模板匹配單元51執(zhí)行用于確定 模板搜索范圍的處理。例如，模板搜索范圍被確定為使得緊鄰轉(zhuǎn)變到 異常處理前的跟蹤點(diǎn)的位置成為模板搜索范圍的中心。
也就是說(shuō)，如圖15A至15C所示，假定在圖15A中，幀n中對(duì) 象的臉74的右眼72被指定為跟蹤點(diǎn)71。球81從左邊運(yùn)動(dòng)而來(lái)。在 圖15B所示的幀n+l中，包括跟蹤點(diǎn)71的臉74被球81遮住。在圖15C所示的幀n+l中，跟蹤點(diǎn)71再次出現(xiàn)。在這種情況下，中心為 (包括在模板范圍111中的)跟蹤點(diǎn)71的區(qū)域被確定為模板搜索范 圍112。
在步驟S66中，模板匹配單元51將在轉(zhuǎn)變到異常處理后經(jīng)過(guò)的 幀數(shù)和場(chǎng)景改變數(shù)重置為0。經(jīng)過(guò)的幀數(shù)和場(chǎng)景改變數(shù)被用在圖12所 示的步驟S55中執(zhí)行的繼續(xù)確定處理中(在圖16所示的步驟S71、 S73、 S75和S77中)，這將在下面描述。這樣，異常處理的初始化 處理結(jié)束。之后，處理返回到圖12中所示的步驟S52。
在圖12所示的步驟S52中，控制子單元60等待下一幀的輸入。 當(dāng)下一幀被輸入時(shí)，模板匹配單元51在步驟S53中執(zhí)行模板搜索范 圍內(nèi)的模板匹配處理。
在步驟S54中，模板匹配單元51確定異常處理是否可返回到正 常處理。更具體而言，在模板匹配處理中，模板匹配單元51計(jì)算在 幾幀前的一幀中的模板的像素值(在圖15A-C所示的模板范圍111中 的像素值)和在模板搜索范圍中要匹配的像素值之間的絕對(duì)差值的 和。這樣，基于計(jì)算結(jié)果確定返回是否可能。
更準(zhǔn)確地說(shuō)，計(jì)算模板范圍111中的預(yù)定塊的像素值和模板搜索 范圍中的預(yù)定塊的像素值之間的絕對(duì)差值的和。模板范圍111中的塊 的位置順序移動(dòng)，并且絕對(duì)差值的和被相加。得到的值被定義為在模 板該位置處的模板的值。之后，通過(guò)在模板搜索范圍中順序移動(dòng)模板， 來(lái)搜索絕對(duì)差值的和最小的模板位置和該最小值。將所獲得的絕對(duì)差 值的最小和與預(yù)定閾值相比較。如果絕對(duì)差值的最小和小于或等于閾 值，則可以確定包括跟蹤點(diǎn)(包括在模板中)的對(duì)象重新出現(xiàn)(被再 次顯示)，并且因此，確定返回到正常處理是可能的。結(jié)果，在圖5 所示的步驟Sll中執(zhí)行的正常處理被恢復(fù)。
如果在步驟S54中確定返回到正常處理是困難的，則處理進(jìn)行到 步驟S55，在步驟S55中執(zhí)行繼續(xù)確定處理。繼續(xù)確定處理在下面參 考圖16更詳細(xì)地描述。在該繼續(xù)確定處理中，確定異常處理是否可 以繼續(xù)。在步驟S56中，作為在步驟S55中執(zhí)行的繼續(xù)確定處理的結(jié)果， 控制子單元60確定異常處理是否可以繼續(xù)。更具體而言，該確定利 用在圖16所示的步驟S76或S78中設(shè)置的標(biāo)志進(jìn)行，這將在下面描 述。如果異常處理可被繼續(xù)，則處理返回到步驟S52，并且執(zhí)行步驟 S52后續(xù)的處理。也就是說(shuō)，重復(fù)執(zhí)行等待跟蹤點(diǎn)再次出現(xiàn)的處理。
然而，如果在步驟S56中確定異常處理難以繼續(xù)(即，如果在圖 16所示的步驟S75確定在跟蹤點(diǎn)消失后經(jīng)過(guò)的幀數(shù)大于或等于閾值 THfr或者如果在步驟S77確定場(chǎng)景改變數(shù)大于或等于閾值THsc )， 則進(jìn)一步執(zhí)行異常處理是困難的。因而，跟蹤處理結(jié)束。
接下來(lái)參考圖16中所示的流程圖詳細(xì)描述在圖12所示的步驟 S55中執(zhí)行的繼續(xù)確定處理。
在步驟S71中，控制子單元60使用作變量的經(jīng)過(guò)的幀數(shù)遞增1。 注意，在圖12所示的步驟S51中執(zhí)行的異常處理的初始化處理(參 考圖13中所示的步驟S66)中，經(jīng)過(guò)的幀數(shù)被預(yù)先重置為0。
在步驟S72中，控制子單元60確定在正常處理轉(zhuǎn)移到異常處理 時(shí)場(chǎng)景改變檢測(cè)單元53是否檢測(cè)到場(chǎng)景改變。如果檢測(cè)到場(chǎng)景改變， 則處理進(jìn)行到步驟S73，在步驟S73中控制子單元60使用作變量的場(chǎng) 景改變數(shù)遞增1。注意，在圖12所示的步驟S51中執(zhí)行的異常處理的 初始化處理(參考圖13中所示的步驟S66)中，場(chǎng)景改變數(shù)也被預(yù)先 重置為0。如果在步驟S72中確定在正常處理轉(zhuǎn)移到異常處理時(shí)未檢 測(cè)到場(chǎng)景改變，則在步驟S73中執(zhí)行的處理被跳過(guò)。
隨后，在步驟S74中，控制子單元60確定當(dāng)前設(shè)置的模式是否 為場(chǎng)景改變模式。該模式在異常處理的初始化處理(參考圖13中所 示的步驟S62或S63)中被設(shè)置的。
如果當(dāng)前設(shè)置的模式是場(chǎng)景改變模式，則處理進(jìn)行到步驟S77， 在步驟S77中控制子單元60確定場(chǎng)景改變數(shù)是否小于預(yù)定閾值 THsc。如果場(chǎng)景改變數(shù)小于預(yù)定閾值THsc，則處理進(jìn)行到步驟S76， 在步驟S76中控制子單元60設(shè)置指示有可能繼續(xù)的標(biāo)志。然而，如 果在步驟S77中確定場(chǎng)景改變數(shù)大于或等于預(yù)定閾值THsc，則處理
21進(jìn)行到步驟S78，在步驟S78中控制子單元60設(shè)置指示不可能繼續(xù)的標(biāo)志。
相反，如果在步驟S74中確定當(dāng)前設(shè)置的模式不是場(chǎng)景改變模式 (如果確定該模式是另一模式)，則處理進(jìn)行到步驟S75，在步驟S75 中控制子單元60確定經(jīng)過(guò)的幀數(shù)是否小于預(yù)定閾值THfr。如果確定 經(jīng)過(guò)的幀數(shù)小于預(yù)定閾值THfr，則處理進(jìn)行到步驟S76,在步驟S76 中設(shè)置指示有可能繼續(xù)的標(biāo)志。然而，如果在步驟S75中確定經(jīng)過(guò)的 幀數(shù)大于或等于預(yù)定閾值THfr，則處理進(jìn)行到步驟S78，在步驟S78 中控制子單元60設(shè)置指示不可能繼續(xù)的標(biāo)志。
如上所述，如果在模板匹配處理中的場(chǎng)景改變數(shù)大于或等于閾值 THsc或者如果經(jīng)過(guò)的幀數(shù)大于或等于閾值THfr，則確定不允許進(jìn)一 步執(zhí)行異常處理。
如果模式是另一模式，則可以考慮場(chǎng)景改變數(shù)為0的條件來(lái)確定 是否可能繼續(xù)。
盡管前述描述是參考逐幀地執(zhí)行圖像處理并且所有幀都被用于 處理的情況來(lái)進(jìn)行的，但是處理可以逐場(chǎng)地執(zhí)行。另外，不是使用所 有的幀或所有的場(chǎng)，而是可以使用通過(guò)以預(yù)定間隔稀疏幀或場(chǎng)而提取 出的幀或場(chǎng)進(jìn)行處理。
接下來(lái)參考圖17描述圖4中所示的運(yùn)動(dòng)估計(jì)單元52的示例性配 置。運(yùn)動(dòng)估計(jì)單元52包括運(yùn)動(dòng)向量檢測(cè)單元121、活動(dòng)性計(jì)算單元 122、評(píng)估值計(jì)算單元123、閾值比較單元124、歸一化處理單元125 和綜合確定單元126。
運(yùn)動(dòng)向量檢測(cè)單元121例如利用塊匹配法或梯度法來(lái)檢測(cè)輸入 圖4象的兩幀之間的i 艮蹤點(diǎn)的運(yùn)動(dòng)向量。隨后，運(yùn)動(dòng)向量檢測(cè)單元121 將檢測(cè)出的運(yùn)動(dòng)向量提供給評(píng)估值計(jì)算單元123和綜合確定單元126。
活動(dòng)性計(jì)算單元122計(jì)算輸入圖像中跟蹤點(diǎn)的塊活動(dòng)性。隨后， 活動(dòng)性計(jì)算單元122將塊活動(dòng)性提供給閾值比較單元124和歸一化處 理單元125。
接下來(lái)描述塊活動(dòng)性。這里所用的術(shù)語(yǔ)"塊活動(dòng)性"是指表示圖像的復(fù)雜度或空間相關(guān)性的值。感興趣的像素的活動(dòng)性被定義為一個(gè)感
興趣的像素和周圍八個(gè)方向(垂直、水平和對(duì)角方向)上的8個(gè)像素 之間的絕對(duì)差值的平均值。
例如，當(dāng)感興趣的像素和周圍8個(gè)像素具有如圖18所示的像素 值時(shí)，感興趣的像素的活動(dòng)性可以計(jì)算如下
感興趣的像素的活動(dòng)性={|80-110| + |70-110| + |75-110| + |100-110| + |100-110| + |100畫(huà)110| + |80-110| + |80-110| + |80-110|}/8 = 24.375
塊活動(dòng)性可以通過(guò)以下方式獲得順序地將具有預(yù)定大小的像素 塊中的一個(gè)像素設(shè)定為感興趣的像素，計(jì)算這些像素的活動(dòng)性，并對(duì) 像素塊的各像素的計(jì)算出的活動(dòng)性求和。
注意，與如上所述計(jì)算出的值不同的值也可用于塊活動(dòng)性。例如， 方差或動(dòng)態(tài)范圍可以用于塊活動(dòng)性。
活動(dòng)性計(jì)算單元122通過(guò)確定以跟蹤點(diǎn)為中心的預(yù)定大小的像 素塊來(lái)計(jì)算塊活動(dòng)性。
評(píng)估值計(jì)算單元123計(jì)算表示具有預(yù)定大小的兩個(gè)像素塊之間 的相似度的評(píng)估值，這兩個(gè)像素塊中的每一個(gè)包括與由運(yùn)動(dòng)向量檢測(cè) 單元121檢測(cè)出的運(yùn)動(dòng)向量相關(guān)聯(lián)的兩個(gè)相應(yīng)幀中的跟蹤點(diǎn)。評(píng)估值 計(jì)算單元123隨后將評(píng)估值提供給歸一化處理單元125。更具體而言， 計(jì)算兩個(gè)像素塊中的像素值之間的絕對(duì)差值的和。如果運(yùn)動(dòng)向量檢測(cè) 單元121采用塊匹配法，則兩個(gè)像素塊中的像素值之間的絕對(duì)差值的 和已被計(jì)算以檢測(cè)運(yùn)動(dòng)向量。因此，該值可以用于評(píng)估值。
閾值比較單元124將由活動(dòng)性計(jì)算單元122計(jì)算出的塊活動(dòng)性與 預(yù)定閾值THa (見(jiàn)圖20)相比較，并將指示比較結(jié)果的標(biāo)志輸出到 綜合確定單元126。歸一化處理單元125對(duì)從評(píng)估值計(jì)算單元123送 來(lái)的評(píng)估值和從活動(dòng)性計(jì)算單元122送來(lái)的塊活動(dòng)性進(jìn)行歸一化，這 是通過(guò)將這些值中的每一個(gè)除以其最大值來(lái)實(shí)現(xiàn)的。歸一化處理單元 125隨后將歸一化評(píng)估值和歸一化塊活動(dòng)性輸出到綜合確定單元126。
綜合確定單元126將從歸一化處理單元125送來(lái)的歸一化評(píng)估值和塊活動(dòng)性中的每一個(gè)與參照線133 (見(jiàn)圖20)進(jìn)行比較。綜合確定 單元126隨后基于該比較結(jié)果和從閾值比較單元124輸出的指示比較 結(jié)果的標(biāo)志來(lái)確定運(yùn)動(dòng)向量是否被采用。之后，綜合確定單元126向 下游單元提供運(yùn)動(dòng)向量和指示該運(yùn)動(dòng)向量是否可被釆用的采用判斷 信息。
接下來(lái)參考圖19中所示的流程圖描述由運(yùn)動(dòng)估計(jì)單元52執(zhí)行的 示例性的運(yùn)動(dòng)估計(jì)處理。
在步驟S91中，運(yùn)動(dòng)向量檢測(cè)單元121檢測(cè)包括跟蹤點(diǎn)的輸入圖 像的兩幀之間的運(yùn)動(dòng)向量，并將檢測(cè)出的運(yùn)動(dòng)向量提供給評(píng)估值計(jì)算 單元123和綜合確定單元126。
在步驟S92中，評(píng)估值計(jì)算單元123計(jì)算在步驟S91檢測(cè)出的運(yùn) 動(dòng)向量的評(píng)估值。更具體而言，例如，評(píng)估值計(jì)算單元123計(jì)算包括 與運(yùn)動(dòng)向量相關(guān)聯(lián)的兩點(diǎn)的兩個(gè)塊中的像素值之間的絕對(duì)差值的和。 該和用作評(píng)估值。在評(píng)估值接近于O時(shí)，這兩個(gè)塊變得更加類似，也 就是說(shuō)，運(yùn)動(dòng)向量的可靠性變得更高。計(jì)算出的評(píng)估值被送到歸一化 處理單元125。
在步驟S93中，活動(dòng)性計(jì)算單元122計(jì)算輸入圖像中跟蹤點(diǎn)的塊 活動(dòng)性。活動(dòng)性計(jì)算單元122隨后將計(jì)算出的塊活動(dòng)性送到閾值比較 單元124和歸一化處理單元125。
在步驟S94中，閾值比較單元124將在步驟S93中計(jì)算的塊活動(dòng) 性與闊值THa進(jìn)行比較。閾值比較單元124隨后向綜合確定單元126 發(fā)送指示塊活動(dòng)性是否大于閾值THa的標(biāo)志。
在步驟S95中，歸一化處理單元125對(duì)從評(píng)估值計(jì)算單元123 送來(lái)的評(píng)估值和從活動(dòng)性計(jì)算單元122送來(lái)的塊活動(dòng)性進(jìn)行歸一化， 這是通過(guò)將這些值中的每一個(gè)除以其最大值來(lái)實(shí)現(xiàn)的。歸一化處理單 元125隨后將歸一化評(píng)估值和歸一化塊活動(dòng)性送到綜合確定單元126。
在步驟S96中，綜合確定單元126將從歸一化處理單元125送來(lái) 的歸一化評(píng)估值和塊活動(dòng)性中的每一個(gè)與參照線133進(jìn)行比較。綜合 確定單元126隨后基于該比較結(jié)果和從閾值比較單元124輸出的指示比較結(jié)果的標(biāo)志來(lái)執(zhí)行用于確定運(yùn)動(dòng)向量是否被采用的綜合確定處
理。之后，綜合確定單元126向下游單元提供運(yùn)動(dòng)向量和指示該運(yùn)動(dòng) 向量是否可被采用的確定結(jié)果。
接下來(lái)詳細(xì)描述在步驟S96中由綜合確定單元126執(zhí)行的示例性 的綜合確定處理。在描述綜合確定處理之前，先描述用于確定是否釆 用運(yùn)動(dòng)向量的評(píng)估值和塊活動(dòng)性之間的關(guān)系。
圖20圖示了與檢測(cè)出的運(yùn)動(dòng)向量相對(duì)應(yīng)的評(píng)估值和塊活動(dòng)性之 間的關(guān)系。橫坐標(biāo)表示歸一化塊活動(dòng)性，而縱坐標(biāo)表示歸一化評(píng)估值。
一般而言，統(tǒng)計(jì)表明隨著塊活動(dòng)性的增大和評(píng)估值的減小，相應(yīng) 運(yùn)動(dòng)向量的準(zhǔn)確性變得更高。因此，在圖20中，右下方是可靠區(qū)域， 而左上方是不可靠區(qū)域。
在實(shí)踐中，當(dāng)分別在橫坐標(biāo)和縱坐標(biāo)上繪制與正確檢測(cè)出的運(yùn)動(dòng) 向量相對(duì)應(yīng)的塊活動(dòng)性和評(píng)估值的值時(shí)(下文中這些點(diǎn)被稱為"采樣 點(diǎn)")，采樣點(diǎn)分布在位于圖20中所示的曲線131下方的區(qū)域R1中。 相反，當(dāng)繪制與不正確地檢測(cè)的運(yùn)動(dòng)向量相對(duì)應(yīng)的采樣點(diǎn)時(shí)，這些采 樣點(diǎn)分布在位于圖20中所示的曲線132左方的區(qū)域R2中。
因此，穿過(guò)原點(diǎn)并且具有斜率1的直線被確定為參照線133。具 有繪制在參照線133下方(包括參照線133)的區(qū)域中的采樣點(diǎn)的運(yùn) 動(dòng)向量被認(rèn)為是可靠的運(yùn)動(dòng)向量，并且因此該運(yùn)動(dòng)向量被采用。相反， 具有繪制在參照線133上方的區(qū)域中的采樣點(diǎn)的運(yùn)動(dòng)向量被認(rèn)為是不 可靠的運(yùn)動(dòng)向量，因此該運(yùn)動(dòng)向量不被采用。
然而，即使當(dāng)采樣點(diǎn)被繪制在參照線133下方時(shí)，與繪制在區(qū)域 R3(由陰影線指示)中的采樣點(diǎn)相對(duì)應(yīng)的運(yùn)動(dòng)向量也可能是不可靠的。 因此，曲線131和曲線132之間的交點(diǎn)P的橫坐標(biāo)(塊活動(dòng)性)被確 定為閾值THa。如果塊活動(dòng)性小于闞值THa，則相應(yīng)的運(yùn)動(dòng)向量被j人 為是不可靠的運(yùn)動(dòng)向量，并且因此該運(yùn)動(dòng)向量不^皮采用。
應(yīng)當(dāng)注意，用于確定是否采用運(yùn)動(dòng)向量的參照線的斜率并不限于 1。例如，該斜率可以基于理想圖像預(yù)先確定。
另外，參照線不是固定線。參照線可以被參照線改變單元59改變。參照線如何改變將在下面參考圖22和后續(xù)圖進(jìn)行描述。
接下來(lái)參考圖21中所示的流程圖詳細(xì)描述在步驟S96中執(zhí)行的
示例性的綜合確定處理。
在步驟S101中，綜合確定單元126確定塊活動(dòng)性是否大于或等
于閾值THa。該確定是利用在步驟S94中從閾值比較單元124發(fā)送來(lái)
的標(biāo)志進(jìn)行的。如果塊活動(dòng)性大于或等于閾值THa,則處理進(jìn)行到步
驟S102。
在步驟S102中，綜合確定單元126確定才艮據(jù)從歸一化處理單元 125送來(lái)的歸一化評(píng)估值和塊活動(dòng)性生成的采樣點(diǎn)是否被繪制在參照 線下方。如果采樣點(diǎn)被繪制在參照線下方，則處理進(jìn)行到步驟S103, 在步驟S103中綜合確定單元126確定從運(yùn)動(dòng)向量檢測(cè)單元121送來(lái) 的運(yùn)動(dòng)向量纟皮采用。
然而，如果在步驟SIOI中塊活動(dòng)性不大于或等于閾值THa，或 者如果在步驟S102中采樣點(diǎn)不被繪制在參照線下方，則處理進(jìn)行到 步驟S104。在步驟S104中，綜合確定單元126確定從運(yùn)動(dòng)向量檢測(cè) 單元121送來(lái)的運(yùn)動(dòng)向量不被采用。這樣，執(zhí)行了綜合確定處理。
接下來(lái)描述圖4中所示的參照線改變單元59。參照線改變單元 59是出于以下原因而設(shè)置的。
也就是說(shuō)，假定這樣一種情況，其中發(fā)生跟蹤點(diǎn)的轉(zhuǎn)移，并且如 圖22所示，與要轉(zhuǎn)移的跟蹤點(diǎn)181相對(duì)應(yīng)的運(yùn)動(dòng)向量VI基本上與對(duì) 應(yīng)于轉(zhuǎn)移后的新的跟蹤點(diǎn)182的運(yùn)動(dòng)向量V2相同(即，運(yùn)動(dòng)向量V1 和運(yùn)動(dòng)向量V2之差在預(yù)定范圍內(nèi))。此外，用戶沒(méi)有指示校正跟蹤 點(diǎn)的位置。然后，可以認(rèn)為關(guān)于與新的跟蹤點(diǎn)相對(duì)應(yīng)的運(yùn)動(dòng)向量不被 采用的確定是不正確的。也就是說(shuō)，可以認(rèn)為采樣點(diǎn)的分布如圖23 所示。在這種情況下，可以認(rèn)為與對(duì)應(yīng)于要轉(zhuǎn)移的采樣點(diǎn)的運(yùn)動(dòng)向量 的采樣點(diǎn)(當(dāng)歸一化塊活動(dòng)性被映射到橫坐標(biāo)并且歸一化評(píng)估值被映 射到縱坐標(biāo)時(shí)所確定的點(diǎn))相比較的參照線133是不適當(dāng)?shù)摹?br>
因此，當(dāng)發(fā)生跟蹤點(diǎn)轉(zhuǎn)移時(shí)，參照線改變單元59確定對(duì)應(yīng)于要 轉(zhuǎn)移的跟蹤點(diǎn)的運(yùn)動(dòng)向量是否基本上與對(duì)應(yīng)于轉(zhuǎn)移后的新的跟蹤點(diǎn)的運(yùn)動(dòng)向量相同。如果這兩個(gè)運(yùn)動(dòng)向量基本相同，則參照線改變單元
59累積與要轉(zhuǎn)移的跟蹤點(diǎn)相對(duì)應(yīng)的運(yùn)動(dòng)向量的采樣點(diǎn)作為采樣點(diǎn)。如 果累積了足夠數(shù)量的采樣點(diǎn)或者如果用戶指示校正跟蹤點(diǎn)的位置，則 參照線改變單元59基于所累積的采樣點(diǎn)來(lái)估計(jì)適當(dāng)?shù)膮⒄站€。
然而，如圖24所示，由于校正跟蹤點(diǎn)的位置的用戶指令可能被 延遲，所以與在用戶指令被輸入前的預(yù)定時(shí)間段內(nèi)發(fā)生的轉(zhuǎn)移相對(duì)應(yīng) 的采樣點(diǎn)不被用于估計(jì)。
另外，當(dāng)采樣點(diǎn)被累積并且如果某些采樣點(diǎn)具有相同橫坐標(biāo)(相 同的歸一化塊活動(dòng)性)時(shí)，只有具有最高評(píng)估值的采樣點(diǎn)被累積。這 樣，可以減少所累積的釆樣點(diǎn)的數(shù)量，因此，可以減小采樣點(diǎn)累積單 元172 (參考圖26)的容量。
為了基于所累積的采樣點(diǎn)估計(jì)參照線，例如可使用回歸分析方 法。因而，如圖25所示，可以計(jì)算穿過(guò)這些采樣點(diǎn)的中心的線133，。 或者，可以計(jì)算這樣一條線對(duì)于該線，所有累積的采樣點(diǎn)都被確定 為被采用(在所有采樣點(diǎn)上方并且具有最小斜率的線)。
圖26圖示了參照線改變單元59的詳細(xì)示例性配置。參照線改變 單元59包括控制子單元171、采樣點(diǎn)累積單元172、累積管理子單元 173和參照線估計(jì)子單元174。
控制子單元171利用從跟蹤點(diǎn)確定單元57發(fā)送來(lái)的指示發(fā)生跟 蹤點(diǎn)轉(zhuǎn)移的消息、從運(yùn)動(dòng)估計(jì)單元52送來(lái)的運(yùn)動(dòng)向量以及從控制單 元27發(fā)送來(lái)的指示用戶已指示校正跟蹤點(diǎn)的位置的消息，來(lái)控制參 照線改變單元59的所有子單元。
更具體而言，在從跟蹤點(diǎn)確定單元57接收到指示發(fā)生跟蹤點(diǎn)轉(zhuǎn) 移的消息后，如果如圖23所示對(duì)應(yīng)于要轉(zhuǎn)移的跟蹤點(diǎn)181的運(yùn)動(dòng)向 量VI基本上與對(duì)應(yīng)于轉(zhuǎn)移后的新的跟蹤點(diǎn)182的運(yùn)動(dòng)向量V2相同 (即，如果運(yùn)動(dòng)向量VI和運(yùn)動(dòng)向量V2之差落在預(yù)定范閨內(nèi))，則 控制子單元171使采樣點(diǎn)累積單元172累積與要轉(zhuǎn)移的跟蹤點(diǎn)相對(duì)應(yīng) 的運(yùn)動(dòng)向量的采樣點(diǎn)。隨后，當(dāng)累積了足夠數(shù)量的采樣點(diǎn)時(shí)或者當(dāng)用 戶指示校正跟蹤點(diǎn)的位置時(shí)，控制子單元171使參照線估計(jì)子單元174基于在接收到用戶指令前累積的采樣點(diǎn)來(lái)估計(jì)新的參照線。
采樣點(diǎn)累積單元172累積從運(yùn)動(dòng)估計(jì)單元52送來(lái)的采樣點(diǎn)。采 樣點(diǎn)具有分別表示運(yùn)動(dòng)向量的歸一化評(píng)估值和歸一化塊活動(dòng)性的縱 坐標(biāo)和橫坐標(biāo)。累積管理子單元173初始化采樣點(diǎn)累積單元172，減 少采樣點(diǎn)的數(shù)量，并且檢測(cè)所累積的采樣點(diǎn)的數(shù)量。
參照線估計(jì)子單元174基于在采樣點(diǎn)累積單元172中累積的采樣 點(diǎn)來(lái)估計(jì)替代當(dāng)前參照線的新的參照線。參照線估計(jì)子單元174隨后 向運(yùn)動(dòng)估計(jì)單元52發(fā)送關(guān)于新的參照線的信息。
接下來(lái)參考圖27中所示的流程圖描述由參照線改變單元59執(zhí)行 的示例性的參照線改變處理。參照線改變處理是與上述跟蹤處理同時(shí) 執(zhí)行的。
在步驟S151中，控制子單元171基于從控制單元27接收的消息 來(lái)確定用戶是否已指示校正跟蹤點(diǎn)的位置。如果用戶已指示校正跟蹤 點(diǎn)的位置，則處理進(jìn)行到步驟S152。
在步驟S152中，控制子單元171基于從跟蹤點(diǎn)確定單元57接收 的消息來(lái)確定是否已發(fā)生跟蹤點(diǎn)轉(zhuǎn)移。如果確定還未發(fā)生跟蹤點(diǎn)轉(zhuǎn) 移，則處理返回到步驟S151，并且后續(xù)處理被重復(fù)。
然而，如果在步驟S152中確定跟蹤點(diǎn)的轉(zhuǎn)移已發(fā)生，則處理進(jìn) 行到步驟S153。在步驟S153中，控制子單元171確定從運(yùn)動(dòng)估計(jì)單 元52送來(lái)的對(duì)應(yīng)于要轉(zhuǎn)移的跟蹤點(diǎn)的運(yùn)動(dòng)向量是否基本上與對(duì)應(yīng)于 轉(zhuǎn)移后的新的跟蹤點(diǎn)的運(yùn)動(dòng)向量相同(即，這兩個(gè)運(yùn)動(dòng)向量之差是否 在預(yù)定范圍內(nèi))。如果運(yùn)動(dòng)向量不是基本相同的，則處理返回到步驟 S151,并且后續(xù)處理^皮重復(fù)。
然而，如果在步驟S153中確定對(duì)應(yīng)于要轉(zhuǎn)移的跟蹤點(diǎn)的運(yùn)動(dòng)向 量基本上與對(duì)應(yīng)于轉(zhuǎn)移后的新的跟蹤點(diǎn)的運(yùn)動(dòng)向量相同，則處理進(jìn)行 到步驟S154。
在步驟S154中，在控制子單元171的控制下，采樣點(diǎn)累積單元 172累積從運(yùn)動(dòng)估計(jì)單元52送來(lái)的采樣點(diǎn)，其中每個(gè)采樣點(diǎn)具有分別 表示與原始跟蹤點(diǎn)相對(duì)應(yīng)的運(yùn)動(dòng)向量的歸一化評(píng)估值和歸 一化塊活
28動(dòng)性的縱坐標(biāo)和橫坐標(biāo)。此時(shí)，如果采樣點(diǎn)的塊活動(dòng)性與已經(jīng)累積的
采樣點(diǎn)的塊活動(dòng)性相同，則累積管理子單元173僅累積具有較高評(píng)估 值的采樣點(diǎn)。
在步驟S155中，累積管理子單元173確定已累積的采樣點(diǎn)的數(shù) 量是否足以估計(jì)參照線(即，預(yù)定數(shù)量的采樣點(diǎn))。如果確定還未累 積足夠數(shù)量的采樣點(diǎn)，則處理返回到步驟S151，并且后續(xù)處理被重復(fù)。
然而，如果在步驟S155中確定已累積了足夠數(shù)量的采樣點(diǎn)，則 處理進(jìn)行到步驟S156。在步驟S156中，累積管理子單元173向控制 子單元171發(fā)送指示已累積了足夠數(shù)量的采樣點(diǎn)的消息。在接收到消 息后，控制子單元171控制參照線估計(jì)子單元174，以使參照線估計(jì) 子單元174基于在采樣點(diǎn)累積單元172中累積的采樣點(diǎn)來(lái)估計(jì)替代當(dāng) 前參照線的新的參照線。在步驟S157中，參照線估計(jì)子單元174向 運(yùn)動(dòng)估計(jì)單元52發(fā)送關(guān)于新估計(jì)的參照線的信息。運(yùn)動(dòng)估計(jì)單元52 利用所接收的參照線來(lái)替代用于確定是否采用運(yùn)動(dòng)向量的參照線。
在步驟S158中，累積管理子單元173刪除在采樣點(diǎn)累積單元172 中累積的采樣點(diǎn)。之后，參照線改變處理從步驟S151起重復(fù)。
注意，如果在步驟S151中確定用戶已指示校正跟蹤點(diǎn)的位置， 則處理進(jìn)行到步驟S159。
在步驟S159中，在控制子單元171的控制下，從在采樣點(diǎn)累積 單元172中累積的采樣點(diǎn)中，累積管理子單元173僅去除根據(jù)在用戶 指示校正跟蹤點(diǎn)的位置之前的預(yù)定時(shí)間段內(nèi)發(fā)生的轉(zhuǎn)移處理(在圖24 所示的例子中，是第n和第(n-l)次轉(zhuǎn)移處理)而累積的采樣點(diǎn)。隨后， 處理進(jìn)行到步驟S155。在步驟S155中，如上所述，如果已累積了足 夠數(shù)量的采樣點(diǎn)，則估計(jì)新的參照線，并且利用估計(jì)的參照線來(lái)替代 當(dāng)前參照線。這樣，執(zhí)行了參照線改變處理。
如上所述，在參照線改變處理中，用于確定是否采用運(yùn)動(dòng)向量的 參照線不是固定的，而是根據(jù)累積的采樣點(diǎn)而變。因此，改變后的參 照線適合于用戶看到的圖像。因此，可以獲得準(zhǔn)確的運(yùn)動(dòng)向量，并且 因此可以提供高度精確的對(duì)象跟蹤處理。接下來(lái)參考圖28詳細(xì)描述圖1中所示的跟蹤點(diǎn)校正單元24的示 例性配置。跟蹤點(diǎn)校正單元24包括校正值計(jì)算子單元191、校正值應(yīng) 用子單元192和細(xì)調(diào)子單元193。
當(dāng)用戶通過(guò)指令輸入單元29指示校正跟蹤點(diǎn)的位置時(shí)，校正值 計(jì)算子單元191計(jì)算校正用的校正值。例如，指令輸入單元29包括 四向按鈕，該按鈕允許用戶選擇上方向、下方向、右方向和左方向， 并且按鈕的一次按壓提供預(yù)定的校正值。因此，根據(jù)用戶執(zhí)行的按壓 次數(shù)來(lái)計(jì)算校正值A(chǔ)u。或者，指令輸入單元29可包括允許用戶選擇 期望方向的杠桿。在這種情況下，根據(jù)杠桿的傾斜角來(lái)計(jì)算校正值A(chǔ)u。 計(jì)算出的校正值A(chǔ)u被輸出到校正值應(yīng)用子單元192。
校正值應(yīng)用子單元192將從校正值計(jì)算子單元191送來(lái)的校正值 Au應(yīng)用到用作從對(duì)象跟蹤單元23送來(lái)的跟蹤結(jié)果的位置信息。細(xì)調(diào) 子單元193細(xì)調(diào)校正值應(yīng)用子單元192已應(yīng)用從用戶接收的校正值A(chǔ)u 的跟蹤點(diǎn)。
接下來(lái)參考圖29中所示的流程圖描述由跟蹤點(diǎn)校正單元24執(zhí)行 的示例性的跟蹤點(diǎn)校正處理。
在步驟S171中，控制單元27確定用戶是否已使用指令輸入單元 29來(lái)指定要跟蹤的對(duì)象的位置并且指示開(kāi)始跟蹤。如果還未接收到指 令，則控制單元27等待，直到其接收到開(kāi)始跟蹤的指令為止。如果 在步驟S171中控制單元27確定用戶已指定要跟蹤的對(duì)象的位置并且 指示開(kāi)始跟蹤，則處理進(jìn)行到步驟S172。
在步驟S172中，對(duì)象跟蹤單元23的控制子單元60控制其它子 單元以使得這些子單元等待下一幀的圖像的輸入。在步驟S173中， 跟蹤點(diǎn)確定單元57計(jì)算下一幀中對(duì)象的位置。
在步驟S174中，控制單元27確定用戶是否已通過(guò)指令輸入單元 29指示校正位置。如果確定用戶還未指示校正位置，則處理進(jìn)行到步 驟S175，在步驟S175中跟蹤點(diǎn)確定單元57直接將在步驟S173中計(jì) 算出的對(duì)象位置認(rèn)為是下一幀中對(duì)象的位置。
然而，如果在步驟S174中確定用戶已指示校正位置，則處理進(jìn)元 57接收的跟蹤結(jié)果輸出到跟蹤點(diǎn)校正單元24。跟蹤點(diǎn)校正單元24將 由用戶指定的校正值A(chǔ)u應(yīng)用到輸入的跟蹤結(jié)果。應(yīng)用結(jié)果被認(rèn)為是 下一幀中對(duì)象的位置。
更具體而言，校正值計(jì)算子單元191根據(jù)指令輸入單元29的操 作量(例如，按鈕的按壓次數(shù)或者杠桿的傾斜角)來(lái)計(jì)算校正值。隨 后，校正值應(yīng)用子單元192將由用戶指定的校正值應(yīng)用到跟蹤結(jié)果。 此外，細(xì)調(diào)子單元193進(jìn)行細(xì)調(diào)以使得跟蹤點(diǎn)被設(shè)置為要跟蹤的對(duì)象 的中心。
在步驟S177中，控制單元27基于在步驟S175或S176中獲得 的跟蹤結(jié)果指示圖像顯示器25在由圖像攝取單元21拍攝的圖像上顯 示例如指示跟蹤點(diǎn)的標(biāo)記。
在步驟S178中，控制單元27確定用戶是否已操作指令輸入單元 29來(lái)指示結(jié)束跟蹤。如果確定用戶還未指示結(jié)束跟蹤，則處理返回到 步驟S172。之后，步驟S172后續(xù)的處理被重復(fù)。然而，如果在步驟 S178中確定用戶已指示結(jié)束跟蹤，則跟蹤點(diǎn)校正處理結(jié)束。
如上所述，在跟蹤點(diǎn)校正處理中，用戶可以執(zhí)行校正。另外，跟 蹤點(diǎn)被細(xì)調(diào)以使得跟蹤點(diǎn)與要跟蹤的對(duì)象的重心相同。因此，可以提 高對(duì)干擾的魯棒性。
盡管已參考安保相機(jī)系統(tǒng)描述了本發(fā)明的當(dāng)前實(shí)施例，但是本實(shí) 施例可適用于多種圖像信號(hào)處理設(shè)備。例如，本實(shí)施例可適用于電視 接收機(jī)。
另外，盡管已參考逐幀圖像處理描述了本發(fā)明的當(dāng)前實(shí)施例，但 是本實(shí)施例可適用于逐場(chǎng)圖像處理。
上述一系列處理不僅可用硬件實(shí)現(xiàn)，還可用軟件實(shí)現(xiàn)。當(dāng)上述一 系列處理用軟件執(zhí)行時(shí)，軟件的程序被從程序記錄介質(zhì)安裝到包含在 專用硬件中的計(jì)算機(jī)中或者可通過(guò)安裝多種程序執(zhí)行多種功能的計(jì) 算機(jī)(例如，通用個(gè)人計(jì)算機(jī))中。
程序記錄介質(zhì)存儲(chǔ)要安裝在計(jì)算機(jī)中并且可由計(jì)算機(jī)執(zhí)行的程序。如圖l所示，程序記錄介質(zhì)的例子包括磁盤(pán)(包括柔性盤(pán))、光
盤(pán)(包括致密盤(pán)-只讀存儲(chǔ)器(CD-ROM)和數(shù)字多功能盤(pán)(DVD))、 作為由半導(dǎo)體存儲(chǔ)器組成的封裝介質(zhì)的可移動(dòng)介質(zhì)28、以及臨時(shí)或永 久存儲(chǔ)程序的硬盤(pán)。程序可以利用有線或無(wú)線通信介質(zhì)(例如局域網(wǎng)、 因特網(wǎng)或數(shù)字衛(wèi)星廣播)、經(jīng)由接口 (例如路由器或調(diào)制解調(diào)器)被 存儲(chǔ)在程序記錄介質(zhì)中。
描述存儲(chǔ)在記錄介質(zhì)中的程序的步驟不僅包括按上述順序執(zhí)行 的處理，還包括可并行或單獨(dú)執(zhí)行的處理。
另外，這里所用的術(shù)語(yǔ)"系統(tǒng)"指包括多個(gè)子裝置的整個(gè)設(shè)備。 本申請(qǐng)包含與2008年4月3日向日本專利局提交的日本在先專 利申請(qǐng)JP 2008-096990有關(guān)的主題，上述申請(qǐng)的全部?jī)?nèi)容通過(guò)引用而 結(jié)合于此。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計(jì)需求和其他因素可以發(fā)生 各種修改、組合、子組合和變更，只要這些修改、組合、子組合和變 更在權(quán)利要求或其等同物的范圍內(nèi)。
權(quán)利要求
1.一種圖像信號(hào)處理設(shè)備，包括檢測(cè)裝置，用于檢測(cè)設(shè)在運(yùn)動(dòng)圖像中的對(duì)象內(nèi)的跟蹤點(diǎn)的運(yùn)動(dòng)向量；計(jì)算裝置，用于計(jì)算表示檢測(cè)出的運(yùn)動(dòng)向量的可靠性的可靠性參數(shù)；確定裝置，用于通過(guò)將計(jì)算出的可靠性參數(shù)與邊界進(jìn)行比較來(lái)確定檢測(cè)出的運(yùn)動(dòng)向量是否被采用；累積裝置，用于累積計(jì)算出的可靠性參數(shù)；以及改變裝置，用于基于所累積的可靠性參數(shù)來(lái)改變所述邊界。
2. 如權(quán)利要求1所述的圖像信號(hào)處理設(shè)備，其中，當(dāng)發(fā)生所述 跟蹤點(diǎn)的轉(zhuǎn)移處理并且對(duì)應(yīng)于轉(zhuǎn)移之前的原始跟蹤點(diǎn)的運(yùn)動(dòng)向量和 對(duì)應(yīng)于轉(zhuǎn)移之后的新的跟蹤點(diǎn)的運(yùn)動(dòng)向量之間的差落在預(yù)定范圍內(nèi) 時(shí)，所述累積裝置累積表示對(duì)應(yīng)于所述原始跟蹤點(diǎn)的運(yùn)動(dòng)向量的可靠 性的可靠性參數(shù)。
3. 如權(quán)利要求2所述的圖像信號(hào)處理設(shè)備，其中所述改變裝置 響應(yīng)于指示校正所述跟蹤點(diǎn)的位置的用戶操作，基于所累積的可靠性 參數(shù)來(lái)改變所述邊界。
4. 如權(quán)利要求3所述的圖像信號(hào)處理設(shè)備，其中，響應(yīng)于指示 校正所述跟蹤點(diǎn)的位置的用戶操作，所述累積裝置從所累積的可靠性 參數(shù)中排除在執(zhí)行該用戶操作之前的一預(yù)定時(shí)間段內(nèi)累積的可靠性 參數(shù)，并且其中，在執(zhí)行該用戶操作之前的預(yù)定時(shí)間段內(nèi)累積的可靠 性參數(shù)被排除之后，所述改變裝置基于所累積的可靠性參數(shù)來(lái)改變所 述邊界。
5. 如權(quán)利要求2所述的圖像信號(hào)處理設(shè)備，其中，當(dāng)累積了預(yù) 定數(shù)量的可靠性參數(shù)時(shí)，所述改變裝置基于所累積的可靠性參數(shù)來(lái)改 變所述邊界。
6. 如權(quán)利要求2所述的圖像信號(hào)處理設(shè)備，其中所述計(jì)算裝置計(jì)算評(píng)估值和塊活動(dòng)性，其中所述評(píng)估值表示在包括所述跟蹤點(diǎn)的預(yù) 定區(qū)域中兩個(gè)圖像之間的相似度，所述塊活動(dòng)性表示在包括所述跟蹤 點(diǎn)的預(yù)定區(qū)域中像素的變化， 一對(duì)所述評(píng)估值和所述塊活動(dòng)性用作指 示檢測(cè)出的運(yùn)動(dòng)向量的可靠性的可靠性參數(shù)，并且其中所述累積裝置 累積該對(duì)計(jì)算出的評(píng)估值和塊活動(dòng)性作為所述可靠性參數(shù)。
7. 如權(quán)利要求6所述的圖像信號(hào)處理設(shè)備，其中，當(dāng)累積塊活 動(dòng)性相同的可靠性參數(shù)時(shí)，所述累積裝置僅累積評(píng)估值較大的可靠性 參數(shù)。
8. —種用于處理圖像信號(hào)的方法，包括以下步驟 檢測(cè)設(shè)在運(yùn)動(dòng)圖像中的對(duì)象內(nèi)的跟蹤點(diǎn)的運(yùn)動(dòng)向量； 計(jì)算表示檢測(cè)出的運(yùn)動(dòng)向量的可靠性的可靠性參數(shù)； 通過(guò)將計(jì)算出的可靠性參數(shù)與邊界進(jìn)行比較來(lái)確定檢測(cè)出的運(yùn)動(dòng)向量是否被采用；累積計(jì)算出的可靠性參數(shù)；以及基于所累積的可靠性參數(shù)來(lái)改變所述邊界。
9. 一種包括程序代碼的計(jì)算機(jī)可讀程序，該程序代碼用于使計(jì) 算機(jī)執(zhí)行以下步驟檢測(cè)設(shè)在運(yùn)動(dòng)圖像中的對(duì)象內(nèi)的跟蹤點(diǎn)的運(yùn)動(dòng)向量；計(jì)算表示檢測(cè)出的運(yùn)動(dòng)向量的可靠性的可靠性參數(shù)； 通過(guò)將計(jì)算出的可靠性參數(shù)與邊界進(jìn)行比較來(lái)確定檢測(cè)出的運(yùn) 動(dòng)向量是否^皮采用；累積計(jì)算出的可靠性參數(shù)；以及 基于所累積的可靠性參數(shù)來(lái)改變所述邊界。
10. —種圖像信號(hào)處理設(shè)備，包括檢測(cè)單元，被配置為檢測(cè)設(shè)在運(yùn)動(dòng)圖像中的對(duì)象內(nèi)的跟蹤點(diǎn)的運(yùn) 動(dòng)向量；計(jì)算單元，被配置為計(jì)算表示檢測(cè)出的運(yùn)動(dòng)向量的可靠性的可靠 性參數(shù)；確定單元，被配置為通過(guò)將計(jì)算出的可靠性參數(shù)與邊界進(jìn)行比較來(lái)確定檢測(cè)出的運(yùn)動(dòng)向量是否被采用；-累積單元，被配置為累積計(jì)算出的可靠性參數(shù)；以及 改變單元，被配置為基于所累積的可靠性參數(shù)來(lái)改變所述邊界。
全文摘要
本發(fā)明公開(kāi)了圖像信號(hào)處理設(shè)備、圖像信號(hào)處理方法和程序。該圖像信號(hào)處理設(shè)備包括被配置為檢測(cè)設(shè)在運(yùn)動(dòng)圖像中的對(duì)象內(nèi)的跟蹤點(diǎn)的運(yùn)動(dòng)向量的檢測(cè)單元、被配置為計(jì)算表示檢測(cè)出的運(yùn)動(dòng)向量的可靠性的可靠性參數(shù)的計(jì)算單元、被配置為通過(guò)將計(jì)算出的可靠性參數(shù)與邊界進(jìn)行比較來(lái)確定檢測(cè)出的運(yùn)動(dòng)向量是否被采用的確定單元、被配置為累積計(jì)算出的可靠性參數(shù)的累積單元以及被配置為基于所累積的可靠性參數(shù)來(lái)改變邊界的改變單元。
文檔編號(hào)H04N7/18GK101551910SQ20091013297
公開(kāi)日2009年10月7日 申請(qǐng)日期2009年4月3日 優(yōu)先權(quán)日2008年4月3日
發(fā)明者半田正樹(shù), 大月知之, 石川貴規(guī), 近藤哲二郎 申請(qǐng)人:索尼株式會(huì)社