專利名稱：圖像配準(zhǔn)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像配準(zhǔn)方法，特別是涉及估計(jì)時(shí)間序列圖像中的目標(biāo) 圖像和參考圖像之間的運(yùn)動(dòng)的圖像配準(zhǔn)方法。
背景技術(shù)：
圖像配準(zhǔn)是指在將兩幅圖像(即參考圖像和目標(biāo)圖像)重疊時(shí)，估 計(jì)圖像一致的變換參數(shù)，即，是指估計(jì)目標(biāo)圖像和參考圖像之間的運(yùn)動(dòng)。圖像配準(zhǔn)、即目標(biāo)圖像和參考圖像之間的運(yùn)動(dòng)估計(jì)是在超析像處理、 圖像去馬賽克、三維重建、立體視覺(jué)、深度估計(jì)、圖像測(cè)量和機(jī)器視覺(jué) 等許多圖像處理中最基本且重要的處理(參照非專利文獻(xiàn)1、非專利文獻(xiàn)2)。為了進(jìn)行圖像配準(zhǔn)，即，為了估計(jì)時(shí)間序列圖像中的目標(biāo)圖像和參 考圖像之間的運(yùn)動(dòng)參數(shù)，大多通過(guò)平面投影變換進(jìn)行近似。只要能將配 準(zhǔn)對(duì)象(以下簡(jiǎn)稱為對(duì)象)的僅平面區(qū)域設(shè)定在目標(biāo)區(qū)域(ROI: Region oflnterest)上，就能求出準(zhǔn)確的運(yùn)動(dòng)參數(shù)。然而，由于在目標(biāo)區(qū)域內(nèi)不一定僅存在平面(平面區(qū)域)，因而往往 配準(zhǔn)對(duì)象的實(shí)際運(yùn)動(dòng)與根據(jù)平面投影變換模型而估計(jì)的運(yùn)動(dòng)不同。而且， 由于照明變化和遮擋等，往往使運(yùn)動(dòng)參數(shù)的估計(jì)失敗。針對(duì)這種問(wèn)題，以往提出了以下等許多方法，例如利用表示照明 變化的基礎(chǔ)圖像的方法(參照非專利文獻(xiàn)3、非專利文獻(xiàn)4)，分割成多 個(gè)區(qū)域的方法(參照非專利文獻(xiàn)5、非專利文獻(xiàn)6)，在二次曲面上對(duì)對(duì) 象形狀進(jìn)行建模的方法(參照非專利文獻(xiàn)7)，對(duì)臉那樣的復(fù)雜形狀進(jìn)行 建模的方法(參照非專利文獻(xiàn)8),利用運(yùn)動(dòng)分割的方法(參照非專利文 獻(xiàn)9、非專利文獻(xiàn)IO)對(duì)運(yùn)動(dòng)分布進(jìn)行建模的方法(參照非專利文獻(xiàn)11)， 以及選擇并利用適合于運(yùn)動(dòng)估計(jì)的區(qū)域的方法(參照非專利文獻(xiàn)12、非專利文獻(xiàn)13)。其中，例如在選擇并利用適合于運(yùn)動(dòng)估計(jì)的區(qū)域的方法(以下簡(jiǎn)稱 為區(qū)域選擇型方法)中，在非專利文獻(xiàn)12所公開(kāi)的方法中，求出根據(jù)沿 空間方向的濃度梯度的大小進(jìn)行了加權(quán)的剩余運(yùn)動(dòng)(該剩余運(yùn)動(dòng)也稱為法向流(normal flow))，將求出的剩余運(yùn)動(dòng)的大小較小的區(qū)域判斷為可 準(zhǔn)確地進(jìn)行配準(zhǔn)。然而，由于該法向流容易受到圖像內(nèi)包含的噪聲的影響，因而存在這樣的問(wèn)題，即為了提取準(zhǔn)確進(jìn)行了配準(zhǔn)的區(qū)域，需要對(duì)來(lái)自多個(gè)圖 像的結(jié)果進(jìn)行加權(quán)平均(參照非專利文獻(xiàn)12)、利用概率模型(參照非專利文獻(xiàn)14)等的后處理。并且，在屬于區(qū)域選擇型方法的非專利文獻(xiàn)13所公開(kāi)的方法中，存在這樣的問(wèn)題，即由于在按所估計(jì)的運(yùn)動(dòng)進(jìn)行了變形的圖像與參考圖 像之間，根據(jù)目標(biāo)區(qū)域內(nèi)的各像素的像素值的差異來(lái)減小權(quán)重，因而權(quán) 重也根據(jù)對(duì)象的照明變化而減小，有可能導(dǎo)致配準(zhǔn)失敗。這里，對(duì)利用平面投影變換的現(xiàn)有的圖像配準(zhǔn)方法進(jìn)行說(shuō)明。艮口， 在進(jìn)行圖像配準(zhǔn)時(shí)，使用平面投影變換模型來(lái)估計(jì)圖像間的運(yùn)動(dòng)、即時(shí) 間序列圖像中的輸入圖像(目標(biāo)圖像)和參考圖像之間的運(yùn)動(dòng)。為了估計(jì)表示該平面投影變換模型的參數(shù)、即目標(biāo)圖像相對(duì)于參考 圖像的運(yùn)動(dòng)參數(shù)(變換參數(shù))，定義由下述算式l表示的目標(biāo)函數(shù)。算式1<formula>formula see original document page 5</formula>式中，J(x)表示時(shí)間序列圖像中的輸入圖像，^(x)表示參考圖像， ROI表示目標(biāo)區(qū)域。并且，x-『;c，乂l]T表示用同次坐標(biāo)表示的圖像上的 位置。h-[AA，…，^f是表示平面投影變換的8個(gè)參數(shù)。<formula>formula see original document page 5</formula>表示目標(biāo)圖像相對(duì)于參考圖像的運(yùn)動(dòng)，即表示平面投影變換。作為目標(biāo)區(qū)域(ROI)，可使用任一區(qū)域，然而往往使用參考圖像上 的矩形區(qū)域。當(dāng)使上述算式1的目標(biāo)函數(shù)最小化時(shí)，全部利用該目標(biāo)區(qū)域ROI內(nèi)部的像素值。為了估計(jì)使上述算式1最小化的變換參數(shù)h，可利用例如梯度法(參 照非專利文獻(xiàn)15、非專利文獻(xiàn)16、非專利文獻(xiàn)17和非專利文獻(xiàn)18)、不 使用重復(fù)計(jì)算的超平面交叉法(參照非專利文獻(xiàn)19)、非專利文獻(xiàn)19所 公開(kāi)的超平面交叉法的高速化方法(參照非專利文獻(xiàn)20)等方法。當(dāng)使用上述那樣的屬于直接利用目標(biāo)區(qū)域內(nèi)的像素值的基于區(qū)域的 方法的現(xiàn)有的圖像配準(zhǔn)方法，進(jìn)行拍攝了被認(rèn)為是剛體的對(duì)象而得到的 圖像間的配準(zhǔn)時(shí)，有可能由于如下的主要原因而失敗。艮口，使用屬于基于區(qū)域的方法的、利用平面投影變換的現(xiàn)有的圖像 配準(zhǔn)方法所進(jìn)行的配準(zhǔn)的失敗主要原因包括如下。失敗主要原因之一對(duì)象的形狀當(dāng)使用在三維空間內(nèi)任意改變位置和方向的相機(jī)拍攝了平面時(shí)，可 使用平面投影變換模型來(lái)表示圖像間的變形。這里，假定相機(jī)的鏡頭失 真小到可忽略不計(jì)，并且另行進(jìn)行校正。當(dāng)對(duì)象的形狀不是平面時(shí)，當(dāng) 然，利用平面投影變換模型不能完全表現(xiàn)對(duì)象的外形變化，算式1的目 標(biāo)函數(shù)的最小值增大。因此，落入與正解運(yùn)動(dòng)參數(shù)不同的極小位置，有 可能導(dǎo)致配準(zhǔn)失敗。失敗主要原因之二對(duì)象的表面反射特性當(dāng)相機(jī)的位置和方向相對(duì)于平面發(fā)生變化時(shí)，通過(guò)相機(jī)觀察平面的 角度或者相機(jī)與平面之間的距離也變化。在平面的表面反射特性是均等 擴(kuò)散的情況下，平面的亮度不會(huì)由于觀察平面的角度或距離而變化。然 而，實(shí)際上，由于具有平面形狀的對(duì)象是完全均等擴(kuò)散面的情況很少， 因而對(duì)象(平面)的亮度由于相機(jī)相對(duì)于對(duì)象(平面)的位置或方向而 變化。因此，當(dāng)對(duì)象(平面)的亮度變化時(shí)，即當(dāng)圖像間的亮度變化時(shí)， 算式1的目標(biāo)函數(shù)值也變化，目標(biāo)函數(shù)的最小值增大，有可能導(dǎo)致配準(zhǔn) 失敗。失敗主要原因之三到對(duì)象的距離變化當(dāng)在時(shí)間序列圖像上對(duì)所拍攝的對(duì)象依次進(jìn)行配準(zhǔn)時(shí)，在到對(duì)象的 距離變化時(shí)，由于以下原因，有可能導(dǎo)致配準(zhǔn)失敗。第一，在攝影相機(jī)的鏡頭可使用針孔鏡頭進(jìn)行近似的情況下，艮P， 在即使到對(duì)象的距離變化也總是能拍攝對(duì)焦的時(shí)間序列圖像的情況下， 當(dāng)與對(duì)象之間的距離逐漸變大時(shí)，產(chǎn)生這種問(wèn)題。在參考圖像上將對(duì)象 拍攝得較大，而隨著時(shí)間經(jīng)過(guò)在所拍攝的時(shí)間序列圖像(即，用作輸入 圖像的圖像)上對(duì)象逐漸變小。為了針對(duì)設(shè)定在參考圖像上的目標(biāo)區(qū)域 將輸入圖像變形來(lái)進(jìn)行配準(zhǔn)，需要放大輸入圖像。伴隨圖像的放大，圖 像必定模糊。結(jié)果，針對(duì)參考圖像進(jìn)行輸入圖像的配準(zhǔn)變成在模糊不同 的圖像間進(jìn)行配準(zhǔn)，最終導(dǎo)致配準(zhǔn)失敗。第二，在攝影相機(jī)的鏡頭可使用薄壁鏡頭進(jìn)行近似的情況下，艮口， 在只有當(dāng)對(duì)象存在于規(guī)定的距離范圍內(nèi)時(shí)才能拍攝對(duì)焦的時(shí)間序列圖像 的情況下，當(dāng)相對(duì)于對(duì)象的對(duì)焦變化時(shí)，產(chǎn)生與由于第一原因所產(chǎn)生的 問(wèn)題相同的問(wèn)題。失敗主要原因之四照明變化上述算式1的目標(biāo)函數(shù)表示圖像間的像素值之差的平方和。因此， 目標(biāo)函數(shù)值當(dāng)然根據(jù)圖像間的形狀變化而變化，而目標(biāo)函數(shù)值當(dāng)然也根 據(jù)圖像的亮度變化而變化。對(duì)象的亮度根據(jù)照明變化而變化，當(dāng)對(duì)象的 亮度變化根據(jù)圖像上的位置而不同時(shí)，對(duì)配準(zhǔn)造成大的障礙。失敗主要原因之五遮擋當(dāng)在目標(biāo)區(qū)域內(nèi)有配準(zhǔn)對(duì)象(對(duì)象物體，即對(duì)象)和其他物體的遮 擋時(shí)，將對(duì)配準(zhǔn)造成大的障礙。特別是以遮擋對(duì)象物體的方式出現(xiàn)的其 他物體表面上的紋理密度或?qū)Ρ榷雀哂趯?duì)象表面的紋理時(shí)，使算式1的 目標(biāo)函數(shù)最小化的運(yùn)動(dòng)參數(shù)h強(qiáng)烈受到其他物體位置的影響，有可能得 到與對(duì)象的位置和姿勢(shì)不同的配準(zhǔn)結(jié)果。并且，還存在這樣的問(wèn)題，艮P: 由于對(duì)象的形狀和光源位置而產(chǎn)生對(duì)象自身的影子，該影子有時(shí)變化， 而該影子作為對(duì)象亮度的變化，給配準(zhǔn)結(jié)果帶來(lái)影響。以往，作為針對(duì)上述那樣的配準(zhǔn)失敗主要原因的對(duì)策，想出了很多辦法。作為主要對(duì)策，有如下所示的對(duì)策。 對(duì)策之一使用圖像的邊緣信息具體地說(shuō)，例如通過(guò)使用圖像的拉普拉斯算子或LoG (Laplacianof Gaussian,高斯-拉普拉斯算子)，可減小對(duì)象的亮度變化的影響。并且， 可在某種程度上吸收對(duì)象的模糊變化。然而，該對(duì)策存在不能應(yīng)對(duì)平面 以外的對(duì)象形狀和遮擋的問(wèn)題。對(duì)策之二使像素值歸一化通過(guò)在使目標(biāo)區(qū)域內(nèi)的像素值歸一化之后，使算式1的目標(biāo)函數(shù)最 小化，從而可減小對(duì)象的亮度變化的影響。當(dāng)運(yùn)動(dòng)被限定為平行移動(dòng)時(shí)， 只要利用歸一化互相關(guān)即可。還提出了當(dāng)運(yùn)動(dòng)是平面投影變換時(shí)可利用 歸一化互相關(guān)的方法(參照非專利文獻(xiàn)19和非專利文獻(xiàn)20)。然而，該 對(duì)策也存在不能應(yīng)對(duì)平面以外的對(duì)象形狀和遮擋的問(wèn)題。對(duì)策之三使用相鄰幀間運(yùn)動(dòng)的累積該對(duì)策利用了這一點(diǎn)，即在時(shí)間上接近的相鄰幀之間，對(duì)象的外形變化小。具體地說(shuō)，首先，依次求出相鄰幀之間的運(yùn)動(dòng)參數(shù)ht>t-1。然后，求出針對(duì)參考圖像的平面投影變換WtXihM>J，將其作為相鄰幀之間的平面投影變換的積Wf'''W[W(x;h"-i〕;h'-i"-2k'Shi，oL然而，該對(duì)策存在配準(zhǔn)誤差逐漸累積而使位置偏移的問(wèn)題。對(duì)策之四更新參考圖像利用這樣的對(duì)策使用算式1的最小值等指標(biāo)，在輸入圖像相對(duì)于 參考圖像大幅變化之前更新參考圖像。然而，盡管不象對(duì)策之三那樣(即， 使用相鄰幀之間的運(yùn)動(dòng)的累積)，然而該對(duì)策也存在配準(zhǔn)誤差逐漸累積而 使位置偏離的問(wèn)題。發(fā)明內(nèi)容鑒于上述情況，本發(fā)明的目的是提供一種圖像配準(zhǔn)方法，該方法是 用于估計(jì)時(shí)間序列圖像中的目標(biāo)圖像和參考圖像之間的運(yùn)動(dòng)的區(qū)域選擇 型圖像配準(zhǔn)方法，能應(yīng)用于具有任意形狀的對(duì)象的配準(zhǔn)，能針對(duì)照明變化和遮擋進(jìn)行魯棒和高精度圖像配準(zhǔn)。本發(fā)明涉及一種在拍攝對(duì)象所得的時(shí)間序列圖像中的參考圖像和目 標(biāo)圖像之間進(jìn)行高精度的配準(zhǔn)的圖像配準(zhǔn)方法，本發(fā)明的上述目的是這 樣來(lái)達(dá)到的，即將所述參考圖像上的規(guī)定區(qū)域設(shè)定為目標(biāo)區(qū)域，在進(jìn) 行上述配準(zhǔn)時(shí)，在所設(shè)定的所述目標(biāo)區(qū)域內(nèi)，根據(jù)掩模圖像的像素來(lái)估 計(jì)運(yùn)動(dòng)參數(shù)，該掩模圖像表示能通過(guò)規(guī)定變換準(zhǔn)確地進(jìn)行配準(zhǔn)的區(qū)域， 或者通過(guò)利用圖像間的相似性評(píng)價(jià)來(lái)生成所述掩模圖像，或者使用平面 投影變換、仿射變換、比例變換、旋轉(zhuǎn)變換、平行移動(dòng)或者采用它們的 組合的變換來(lái)作為所述規(guī)定變換。并且，本發(fā)明的上述目的是這樣來(lái)更有效地達(dá)到的，即在用ROI表示所述目標(biāo)區(qū)域，并且通過(guò)用某變換參數(shù)h使圖像厶(x)變形而大致能在圖像A(X)上配準(zhǔn)的情況下，下面的算式成立，艮P:/"x)"Q(W(x;h))， xeROI此時(shí)，與以所述目標(biāo)區(qū)域內(nèi)的像素x為中心的小區(qū)域上的圖像 /。(W(x;h))和所述圖像/Jx)之間的定義如下離，11)= Z |/o(W(X;h))-"x-ii)|2jtePatch式中，U^K，"2，lf是表示圖像間的平行移動(dòng)的向量，patch表示所述小區(qū)域，當(dāng)所述SSD全部滿足以下三個(gè)條件時(shí)，將與所述目標(biāo)區(qū)域 內(nèi)的像素X對(duì)應(yīng)的所述掩模圖像的像素值設(shè)定為1，在除此以外的情況 下設(shè)定為0，條件一所述SSD與平行移動(dòng)相關(guān)的子像素位置偏差小于0.5 [像素];條件二所述SSD的最小值足夠小； 條件三當(dāng)進(jìn)行了以所述SSD的最小值為中心的拋物線擬合時(shí)的水平方向和垂直方向上的二次系數(shù)中的任一個(gè)大于閾值。并且，本發(fā)明的上述目的是這樣來(lái)更有效地達(dá)到的，即所述配準(zhǔn) 由第一階段配準(zhǔn)和第二階段配準(zhǔn)構(gòu)成，在第一階段配準(zhǔn)中，生成表示相 鄰幀之間沒(méi)有變化的像素的跟蹤用掩模圖像，并估計(jì)相鄰幀之間的運(yùn)動(dòng) 參數(shù)，在第二階段配準(zhǔn)中，在用通過(guò)所述第一階段配準(zhǔn)估計(jì)出的運(yùn)動(dòng)參 數(shù)進(jìn)行了變形的目標(biāo)圖像和參考圖像之間，生成表示與參考圖像對(duì)應(yīng)良 好的目標(biāo)圖像中的像素的誤差校正用掩模圖像，使用所生成的誤差校正 用掩模圖像來(lái)重新估計(jì)與參考圖像對(duì)應(yīng)的目標(biāo)圖像的運(yùn)動(dòng)參數(shù)。


圖1是用于說(shuō)明本發(fā)明中的掩模圖像生成方法的示意圖。 圖2是用于說(shuō)明本發(fā)明中的第一階段配準(zhǔn)的示意圖。 圖3是用于說(shuō)明本發(fā)明中的第二階段配準(zhǔn)的示意圖。圖4是示出使用本發(fā)明的圖像配準(zhǔn)方法的實(shí)驗(yàn)一的配準(zhǔn)結(jié)果的圖。 圖5是分別示出實(shí)驗(yàn)一中本發(fā)明的掩模圖像fiOO、 W「,(X)的面積變化、本發(fā)明的第一階段、第二階段配準(zhǔn)后的平均SSD、以及使用現(xiàn)有的配準(zhǔn)方法配準(zhǔn)后的平均SSD的圖。圖6是示出在實(shí)驗(yàn)一中基于所估計(jì)的運(yùn)動(dòng)參數(shù)的距正解位置的距離的RMSE的圖。圖7是示出使用本發(fā)明的圖像配準(zhǔn)方法的實(shí)驗(yàn)二的配準(zhǔn)結(jié)果的圖。 圖8是分別示出實(shí)驗(yàn)二中本發(fā)明的掩模圖像G (" 、00的面積變化、本發(fā)明的第一階段、第二階段配準(zhǔn)后的平均SSD、以及使用現(xiàn)有的配準(zhǔn)方法配準(zhǔn)后的平均SSD的圖。圖9是示出使用本發(fā)明的圖像配準(zhǔn)方法的實(shí)驗(yàn)三的配準(zhǔn)結(jié)果的圖。 圖lO是分別示出在實(shí)驗(yàn)三中本發(fā)明的掩模圖像S(x)、 M,(x)的面積變化、本發(fā)明的第一階段、第二階段配準(zhǔn)后的平均SSD、以及使用現(xiàn) 有的配準(zhǔn)方法配準(zhǔn)后的平均SSD的圖。
具體實(shí)施方式
通常，圖像配準(zhǔn)方法(以下簡(jiǎn)稱為運(yùn)動(dòng)估計(jì)方法)可大致分類為基于特征的方法和基于區(qū)域的方法。本發(fā)明的圖像配準(zhǔn)方法屬于基于區(qū)域的方法，是能應(yīng)用于具有任意 形狀的對(duì)象而不限于平面形狀的對(duì)象的配準(zhǔn)、并能針對(duì)照明變化和遮擋 進(jìn)行魯棒和高精度圖像配準(zhǔn)的圖像配準(zhǔn)方法。艮口，本發(fā)明是區(qū)域選擇型圖像配準(zhǔn)方法，在該區(qū)域選擇型圖像配準(zhǔn) 方法中使用了表示能根據(jù)平面投影變換模型高精度地進(jìn)行近似的區(qū)域的 掩模圖像。由于本發(fā)明的圖像配準(zhǔn)方法分兩個(gè)階段進(jìn)行圖像配準(zhǔn)，因而 以下將本發(fā)明的圖像配準(zhǔn)方法簡(jiǎn)稱為區(qū)域選擇兩階段配準(zhǔn)方法。在本發(fā)明的第一階段中，為了針對(duì)照明變化和遮擋等實(shí)現(xiàn)魯棒配準(zhǔn)， 進(jìn)行基于相鄰幀之間的運(yùn)動(dòng)的配準(zhǔn)。此時(shí)，同時(shí)利用掩模圖像(以下該 掩模圖像稱為跟蹤用掩模圖像)。并且，為使目標(biāo)區(qū)域的形狀為一定，使 用所估計(jì)的運(yùn)動(dòng)參數(shù)，使目標(biāo)幀(以下簡(jiǎn)稱為目標(biāo)圖像)對(duì)應(yīng)于參考幀 (以下稱為參考圖像)進(jìn)行變形，之后進(jìn)行運(yùn)動(dòng)估計(jì)。然后，在本發(fā)明的第二階段中，為了補(bǔ)償在第一階段所估計(jì)的運(yùn)動(dòng) 參數(shù)內(nèi)包含的累積誤差，g卩，為了實(shí)現(xiàn)高精度的配準(zhǔn)，在根據(jù)在第一階 段中估計(jì)的運(yùn)動(dòng)參數(shù)進(jìn)行了變形的目標(biāo)幀和參考幀之間再次估計(jì)運(yùn)動(dòng)參 數(shù)，同時(shí)生成與該運(yùn)動(dòng)參數(shù)對(duì)應(yīng)的掩模圖像(以下該掩模圖像稱為誤差 校正用掩模圖像)。在本發(fā)明的圖像配準(zhǔn)方法中，通過(guò)進(jìn)行這種兩階段配準(zhǔn)，能應(yīng)用于 具有任意形狀的對(duì)象的配準(zhǔn)，能針對(duì)照明變化和遮擋實(shí)現(xiàn)魯棒和高精度 的圖像配準(zhǔn)。如背景技術(shù)中所述，導(dǎo)致使用現(xiàn)有的基于區(qū)域的方法的配準(zhǔn)失敗的 原因是將目標(biāo)區(qū)域內(nèi)的像素值全部同等地利用。在本發(fā)明中，不是按照現(xiàn)有的基于區(qū)域的方法那樣將目標(biāo)區(qū)域內(nèi)的 像素值全部同等地利用，而是將以下作為著眼點(diǎn)，g卩在目標(biāo)區(qū)域內(nèi)， 僅使用形狀或亮度相對(duì)于參考圖像不變化的像素(即，表示通過(guò)平面投 影變換能準(zhǔn)確地進(jìn)行配準(zhǔn)的區(qū)域的掩模圖像的像素)來(lái)估計(jì)運(yùn)動(dòng)參數(shù)， 從而在原理上不受這種形狀或亮度變化的影響。并且，在本發(fā)明中，通過(guò)重復(fù)交替地進(jìn)行區(qū)域選擇和運(yùn)動(dòng)參數(shù)估計(jì)，實(shí)現(xiàn)了高精度的圖像配準(zhǔn)。實(shí)際上，當(dāng)使用本發(fā)明的圖像配準(zhǔn)方法針對(duì)參考圖像進(jìn)行輸入圖像 的配準(zhǔn)時(shí)，按以下兩個(gè)階段進(jìn)行。第一階段是通過(guò)重復(fù)計(jì)算來(lái)同時(shí)估計(jì)時(shí)刻t的掩模圖像fi(x)、以 及使用掩模圖像2(x)的相鄰幀之間的變換參數(shù)、"的階段。第二階段是在通過(guò)平面投影變換w(w(x;h"'-0;hM，J進(jìn)行了變換的輸入圖像和參考圖像之間求出時(shí)刻t的掩模圖像^^/(X)，并使用求出的^^00來(lái)重新估計(jì)輸入圖像相對(duì)于參考圖像的變換參數(shù)h'，o的階段。如上所述，在本發(fā)明的圖像配準(zhǔn)方法中，利用了Q")和^^,(x)這 兩種掩模圖像。掩模圖像fi,")表示在相鄰幀之間沒(méi)有變化的像素，以下稱為跟蹤用掩模圖像。并且，掩模圖像^^(x)表示與參考圖像對(duì)應(yīng)良好的輸入圖像中的像素，以下稱為誤差校正用掩模圖像。另外，跟蹤用掩 模圖像和誤差校正用掩模圖像都與目標(biāo)區(qū)域一樣，用參考圖像上的坐標(biāo)系來(lái)表示。以下，參照附圖更詳細(xì)地說(shuō)明本發(fā)明的圖像配準(zhǔn)方法。 <1>掩模圖像生成方法如圖1 (A)所示，假定通過(guò)根據(jù)某變換參數(shù)h對(duì)圖像厶(x)進(jìn)行變形，能在圖像A")上大致進(jìn)行配準(zhǔn)。算式2<formula>formula see original document page 12</formula>此時(shí)，與以目標(biāo)區(qū)域(ROI)內(nèi)的像素X為中心的小區(qū)域(Patch)對(duì)應(yīng)的圖像J。(W(x;h》和^ O)之間的ssd ( Sum of Squared Difference, 平方差之和)按下述算式3來(lái)定義。算式3<formula>formula see original document page 12</formula>式中，u二[^，"2，1]是表示圖像間的平行移動(dòng)的向量。當(dāng)全部滿足以下三個(gè)條件時(shí)，將與目標(biāo)區(qū)域內(nèi)的位置x，即與像素x 對(duì)應(yīng)的2值跟蹤用掩模圖像G(X)設(shè)定為1，在除此以外的情況下設(shè)定為o。并且，在誤差校正用掩模圖像M(x)的情況下，也與跟蹤用掩模圖像洲一樣。 條件一與平行移動(dòng)相關(guān)的子像素位置偏差應(yīng)小于0.5 [像素](參照?qǐng)D1 (B) 和圖1 (C))。圖1 (B)示出SSD抽樣，圖1 (C)示出將二次曲線與 SSD抽樣進(jìn)行了擬合(parabola fitting,拋物線擬合)時(shí)的狀況。當(dāng)用算 式表示條件一時(shí)，為下述算式4。算式4'雖,
t)〈雖,[-1,0，1]t) 雖,
丁)<他[1，0，1]丁)'A(x，
T)<i (x，
t) 及(x,
t)〈及(x,
T)<2Scr 2x/^式中，S是小區(qū)域(Patch)的面積，":是圖像內(nèi)包含的正態(tài)白色噪聲的方差，S(《0是調(diào)整參數(shù)。順便說(shuō)一下，在后述的使用本發(fā)明進(jìn) 行的實(shí)驗(yàn)中，使用了 S是9 [像素]x9 [像素]的小區(qū)域(Patch)。并且，cf這一參數(shù)按攝影使用的相機(jī)和增益等的設(shè)定而不同，例如在使用 PointGrey公司制DragonFly(單板彩色VGA相機(jī))的情況下，設(shè)cr" =3.5，在使用SONY公司制VX2000的情況下，設(shè)(7 =4.5。條件三要有紋理。即，當(dāng)進(jìn)行了以SSD最小值為中心的拋物線擬合時(shí)的水 平方向和垂直方向上的二次系數(shù)(省略R ()的描述。在將 i (W) = "W2+^/+C與R (1)、R (0)、R (1)擬合時(shí)，算式 =諷-1) +及(1))/2-i (O) 、 6 =及(1) —i (—1)、 c-及(O)全部成立)中的任一個(gè)要大于閾值。當(dāng)用算式表示條件三時(shí)，為下述算式6。算式6'(雖,[-1,0， l]丁 ) + i (x， [i, 0， 1]T ))/2-i (x,
T)>/r25*(雖，
丁 ) + ， [0， 1， 1〗T ))/2-W(x，
T)>/r2lS式中，^ — 1《W是通過(guò)實(shí)驗(yàn)決定的調(diào)整參數(shù)。 <2>第一階段配準(zhǔn)第一階段配準(zhǔn)(以下簡(jiǎn)稱為魯棒配準(zhǔn))的目的是盡量在長(zhǎng)時(shí)間內(nèi)繼 續(xù)進(jìn)行對(duì)象跟蹤。如圖2所示，在第一階段配準(zhǔn)中，作為相鄰幀之間的平面投影變換 W(x;lv一)與在前一時(shí)刻卜i已求出的針對(duì)參考圖像的平面投影變換 W(x;h,—，,。)之積，求出針對(duì)時(shí)刻t的輸入圖像的變換參數(shù)。由于在相鄰幀之間圖像變化少，因而第一階段配準(zhǔn)不會(huì)嚴(yán)重失敗。 因此，即使對(duì)象的亮度或形狀相對(duì)于參考圖像逐漸變化，也能進(jìn)行魯棒 配準(zhǔn)?？傊诘谝浑A段配準(zhǔn)中，求出使下述算式7所表示的目標(biāo)函數(shù)最小化的運(yùn)動(dòng)參數(shù)h"-1和跟蹤用掩模圖像Q(x)。算式7<formula>formula see original document page 14</formula>式中，^-],o是針對(duì)前一幀已求出的運(yùn)動(dòng)參數(shù)，即第t一l個(gè)幀(時(shí)刻 t一l的輸入圖像)相對(duì)于參考幀(參考圖像)的運(yùn)動(dòng)參數(shù)。h"'-，是相鄰幀之間運(yùn)動(dòng)參數(shù)，即第t個(gè)幀(時(shí)刻t的輸入圖像)與第t一l個(gè)幀(時(shí)刻t一l的輸入圖像)之間的運(yùn)動(dòng)參數(shù)。7'(X)和仏")分別是時(shí)刻t和時(shí)刻t 一l的輸入圖像。由于跟蹤用掩模圖像GOO被定義在參考圖像上，因而使用己求出的運(yùn)動(dòng)參數(shù)將輸入圖像變形成與參考圖像一致，之后求出相鄰幀之間的運(yùn) 動(dòng)參數(shù)。具體地說(shuō)，按照從步驟1到步驟4的步驟，重復(fù)交替地求出相鄰幀 之間的運(yùn)動(dòng)參數(shù)和跟蹤用掩模圖像。 步驟1:使表示重復(fù)次數(shù)的指數(shù)i初始化，即，設(shè)i-O。將在時(shí)刻t一l已求出的跟蹤用掩模圖像Gm(x)設(shè)定為時(shí)刻t的初始掩模圖像Gr'、")。步驟2:使用跟蹤用掩模圖像0"(x)來(lái)求出使算式7最小化的相鄰幀之間 的運(yùn)動(dòng)參數(shù)h'ti 。步驟3:首先，使用在步驟2求出的相鄰幀之間的運(yùn)動(dòng)參數(shù)h"-i來(lái)生成進(jìn)行 了平面投影變換后的圖像"W(W(x;h"-i);hM，o》。然后，在所生成的圖像"w(w(x;h"");h,-w》和圖像；i(w(x;hf-i，o))之間使用在上述<1〉中所述的掩模圖像生成方法來(lái)生成跟蹤用掩模圖像0<'+1>(x)。步驟4:判斷相鄰幀之間的運(yùn)動(dòng)參數(shù)的變化是否為恒定值以下。在相鄰幀之 間的運(yùn)動(dòng)參數(shù)的變化為恒定值以下的情況下，判斷為相鄰幀之間的運(yùn)動(dòng)參數(shù)已收斂，作為相鄰幀之間的運(yùn)動(dòng)參數(shù)而輸出h^:，，結(jié)束第一階段配準(zhǔn)處理。另一方面，在相鄰幀之間的運(yùn)動(dòng)參數(shù)的變化不為恒定值以下的情況下，即當(dāng)11 h:1 一W^^ (7;表示在步驟4所說(shuō)的恒定值)時(shí)， 判斷為相鄰幀之間的運(yùn)動(dòng)參數(shù)還未收斂，設(shè)i —i + l，之后回到步驟2。 <3〉第二階段配準(zhǔn)第二階段配準(zhǔn)(以下稱為累積誤差校正配準(zhǔn))的目的是校正在第一 階段配準(zhǔn)中產(chǎn)生的配準(zhǔn)誤差。如圖3所示，在第二階段配準(zhǔn)中，在第一階段配準(zhǔn)中求出的圖像 /,(W(W(x;lv,);h,—w))、即通過(guò)平面投影變換W(W(x; h"—!); h卜!.Q)進(jìn)行了變換的時(shí)刻t的輸入圖像和參考圖像之間，求出時(shí)刻t的誤差校正用掩模圖像^^00 ，通過(guò)使用求出的^^(x)重新估計(jì)時(shí)刻t的輸入圖像相對(duì)于參考圖像的運(yùn)動(dòng)參數(shù)h,.o ，來(lái)校正配準(zhǔn)誤差。跟蹤用掩模圖像G(x)表示能在相鄰幀之間的配準(zhǔn)中利用的像素。由于相鄰幀之間的變化一般較小，因而跟蹤用掩模圖像^")的面積不怎 么減小。與此相對(duì)，當(dāng)輸入圖像相對(duì)于參考圖像逐漸變化時(shí)，誤差校正用掩模圖像^'("的面積逐漸減小。在第二階段配準(zhǔn)中，由于使用誤差校正用掩模圖像^f(x)的區(qū)域，因而為了獲得穩(wěn)定結(jié)果，需要使誤差校正用掩模圖像^^(x)的區(qū)域大到某種程度以上。因此，當(dāng)誤差校正用掩模圖像^,")的區(qū)域小時(shí)(即，在誤差校正用掩模圖像^^(x)的面積不滿規(guī)定閾值的情況下)，不進(jìn)行第 二階段配準(zhǔn)，而直接使用在第一階段配準(zhǔn)中求出的運(yùn)動(dòng)參數(shù)。總之，在第二階段配準(zhǔn)中，求出使下述算式8所表示的目標(biāo)函數(shù)最小化的運(yùn)動(dòng)參數(shù)h"Q和誤差校正用掩模圖像^^(x)。算式8&(h"0)= Z M洲/,(W(x;h,'o))-/0(x)|2xsROI式中，作為平面投影變換w";h,.o)的初始值w(x;h-)，使用在第一階段配準(zhǔn)中求出的平面投影變換w( w(x; h"-i); hf-i,o)。具體地說(shuō)，按照從步驟5到步驟9的步驟求出運(yùn)動(dòng)參數(shù)h,.o (即，時(shí)刻t的輸入圖像相對(duì)于參考圖像的變換參數(shù))和誤差校正用掩模圖像。與第一階段配準(zhǔn)不同，在第二階段配準(zhǔn)中，不重復(fù)進(jìn)行從步驟5到步驟9 的步驟。步驟5:將在第一階段配準(zhǔn)中求出的平面投影變換W(W(X; h"-i); h,-i,o )設(shè) 定為平面投影變換W(x;hM))的初始值W(^1^，)。步驟6:在通過(guò)平面投影變換W(x力!t)進(jìn)行了變換的時(shí)刻t的輸入圖像、即圖像人(W(x;h:》和參考圖像A)(x)之間，使用在上述(1)中所述 的掩模圖像生成方法來(lái)生成誤差校正用掩模圖像^^b(x)。步驟7:判斷在步驟6中生成的誤差校正用掩模圖像^^^(x)的面積是否不 滿規(guī)定閾值。在誤差校正用掩模圖像^^"^x)的面積不滿規(guī)定閾值的情況下，作為運(yùn)動(dòng)參數(shù)而輸出h，^，結(jié)束第二階段配準(zhǔn)處理。此時(shí)針對(duì)時(shí)刻t 的輸入對(duì)象的配準(zhǔn)處理全部結(jié)束。這里，需要根據(jù)時(shí)間序列圖像的運(yùn)動(dòng) 特性、目標(biāo)區(qū)域中的掩模區(qū)域的重心位置、掩模區(qū)域的分布等來(lái)調(diào)整規(guī) 定閾值。另外，在后述的使用本發(fā)明進(jìn)行的配準(zhǔn)實(shí)驗(yàn)中，將規(guī)定閾值設(shè) 定為20 [像素]x20 [像素]。 步驟8:在誤差校正用掩模圖像^C^^)的面積是規(guī)定閾值以上的情況下， 使用在步驟6中生成的誤差校正用掩模圖像^C^(x)來(lái)求出使算式8最小化的h,t，將其作為運(yùn)動(dòng)參數(shù)而輸出，結(jié)束第二階段配準(zhǔn)處理。因此， 針對(duì)時(shí)刻t的輸入對(duì)象的配準(zhǔn)處理全部結(jié)束。步驟9:最后，在圖像厶(w(x;h^))和參考圖像厶(x)之間，使用在上述(l)中所述的掩模圖像生成方法來(lái)生成誤差校正用掩模圖像^^<2>")，以便 用于確認(rèn)。<4〉初始值估計(jì)在后述的使用本發(fā)明進(jìn)行的配準(zhǔn)實(shí)驗(yàn)中，為了估計(jì)在第一階段配準(zhǔn) 中求出的相鄰幀之間的運(yùn)動(dòng)參數(shù)的初始值，利用了如下的分級(jí)檢索法(參照非專利文獻(xiàn)23)。不過(guò)，將級(jí)別限制成使縮小圖像中的目標(biāo)區(qū)域的面積 不小于25 [像素]x25 [像素]。 <5〉重復(fù)計(jì)算的高速化在本發(fā)明的圖像配準(zhǔn)方法中，首先，在第一階段配準(zhǔn)中，也需要進(jìn) 行使用梯度法的運(yùn)動(dòng)參數(shù)估計(jì)，其中該梯度法利用了重復(fù)計(jì)算(將重復(fù)次數(shù)設(shè)定為ig)，并且只進(jìn)行與跟蹤用掩模圖像Q(X)同時(shí)進(jìn)行估計(jì)用的重復(fù)計(jì)算(將該重復(fù)次數(shù)設(shè)為ir)。然后，在第二階段配準(zhǔn)中，需要僅執(zhí) 行一次梯度法(將該重復(fù)次數(shù)也設(shè)為ig)。在初始的梯度法中，需要每次重復(fù)計(jì)算輸入圖像的赫斯(Hessian) 矩陣。因此，在本發(fā)明中，需要針對(duì)各幀圖像求出赫斯矩陣(igxif + ig)次，與不進(jìn)行區(qū)域選擇的通常梯度法相比較，計(jì)算量大幅增加。另外，提出了一種高速化方法，該方法取代每次重復(fù)計(jì)算輸入圖像 的赫斯矩陣而僅計(jì)算一次參考圖像的赫斯矩陣來(lái)利用(參照非專利文獻(xiàn) 15)。在本發(fā)明中，通過(guò)利用非專利文獻(xiàn)15中公開(kāi)的該高速化方法，在 第一階段配準(zhǔn)中，針對(duì)各幀圖像進(jìn)行一次赫斯矩陣的計(jì)算即可，然后在 第二階段配準(zhǔn)中，由于可在預(yù)處理中預(yù)先計(jì)算，因而可實(shí)現(xiàn)計(jì)算的大幅 高速化。<6〉利用本發(fā)明進(jìn)行的配準(zhǔn)實(shí)驗(yàn)結(jié)果以下，使用本發(fā)明的圖像配準(zhǔn)方法(以下簡(jiǎn)稱為本發(fā)明)，利用實(shí)際 圖像來(lái)進(jìn)行若干配準(zhǔn)實(shí)驗(yàn)，確認(rèn)了本發(fā)明的有效性。即，通過(guò)后述的配 準(zhǔn)實(shí)驗(yàn)確認(rèn)了不僅是平面，還能應(yīng)用于具有任意形狀的對(duì)象，并且確認(rèn)了相對(duì)于照明變化和遮擋的魯棒性以及配準(zhǔn)的高精度性的本發(fā)明獨(dú)特的 優(yōu)良效果。在后述的配準(zhǔn)實(shí)驗(yàn)中，將PointGrey公司制DragonFly的單板彩色 VGA相機(jī)(30FPS)固定后加以利用。在配準(zhǔn)中，在去馬賽克處理后， 利用變換后的亮度分量。實(shí)驗(yàn)一 (與現(xiàn)有方法的比較實(shí)驗(yàn))首先，進(jìn)行對(duì)本發(fā)明和現(xiàn)有的圖像配準(zhǔn)方法(以下簡(jiǎn)稱為現(xiàn)有方法) 進(jìn)行比較的配準(zhǔn)實(shí)驗(yàn)。在實(shí)驗(yàn)一中，使用由300幀構(gòu)成的時(shí)間序列圖像，目標(biāo)區(qū)域(ROI) 的尺寸是200 [像素]x200 [像素]。并且，跟蹤對(duì)象是貼附在固定平面 上的航拍的海報(bào)。為了形成照明變化和遮擋，使手在海報(bào)上移動(dòng)。手的 影子相當(dāng)于照明變化，手的部分成為遮擋。在實(shí)驗(yàn)一中，由于在使相機(jī)固定的狀態(tài)下拍攝不移動(dòng)的固定的平面 形狀的對(duì)象(航拍的海報(bào))，因而，由于對(duì)象位置不變化，成為正解的運(yùn) 動(dòng)參數(shù)當(dāng)然成為單位矩陣。通過(guò)實(shí)驗(yàn)一確認(rèn)如下在有照明變化或遮擋的情況下，即使在使用 現(xiàn)有方法而產(chǎn)生配準(zhǔn)失敗的狀況下，通過(guò)使用本發(fā)明，能高精度地進(jìn)行 配準(zhǔn)而不會(huì)失敗。圖4示出實(shí)驗(yàn)一的配準(zhǔn)結(jié)果。如圖4所示，示出針對(duì)在實(shí)驗(yàn)一中利 用的時(shí)間序列圖像中的一部分圖像(即，第1幀、第72幀、第150幀、 第240幀)的配準(zhǔn)結(jié)果。具體地說(shuō)，圖4 (A)示出設(shè)定在參考圖像(作為開(kāi)頭幀的第l幀) 中的目標(biāo)區(qū)域(ROI)的跟蹤結(jié)果。而且，圖4 (B)示出針對(duì)目標(biāo)區(qū)域 (ROI),根據(jù)所估計(jì)的運(yùn)動(dòng)參數(shù)對(duì)輸入圖像整體進(jìn)行了平面投影變換的 圖像。只要準(zhǔn)確地估計(jì)出運(yùn)動(dòng)參數(shù)，就會(huì)靜止顯示目標(biāo)區(qū)域。另外，在 圖4 (B)中，用淺藍(lán)色表示跟蹤用掩模圖像。圖4 (C)示出目標(biāo)區(qū)域(ROI)中的跟蹤用掩模圖像G(x)。圖4(D)示出目標(biāo)區(qū)域(ROI)中的誤差校正用掩模圖像^^(x)。從圖4(C) 和圖4 (D)可知，當(dāng)有因手的影子引起的照明變化或因手引起的遮擋時(shí)，盡管相對(duì)于參考圖像的誤差校正用掩模圖像^^(x)的面積會(huì)減小，但由 于跟蹤用掩模圖像G")不怎么受影響，因而可繼續(xù)進(jìn)行跟蹤。另一方面，當(dāng)消除了因手的影子引起的照明變化或因手引起的遮擋時(shí)，相對(duì)于參考圖像的誤差校正用掩模圖像^^(x)的面積會(huì)增加。圖5 (A)示出在實(shí)驗(yàn)一中使用的跟蹤用掩模圖像^W和誤差校正 用掩模圖像^"x)的面積變化。從圖5 (A)可以看出，虛線所示的跟蹤 用掩模圖像的0(x)的面積在有因手引起的遮擋的期間減少，而通過(guò)所有幀確保了進(jìn)行跟蹤用的足夠面積。圖5 (B)示出在實(shí)驗(yàn)一中虛線所示的第一階段配準(zhǔn)后和實(shí)線所示的 第二階段配準(zhǔn)后的平均SSD。這里所說(shuō)的平均SSD是將在判斷為基于梯 度法的重復(fù)已收斂時(shí)的圖像間的SSD (最小SSD)除以掩模圖像的面積 后的結(jié)果。從圖5 (B)可知，在第一階段配準(zhǔn)中，平均SSD總是為低的值， 表示可穩(wěn)定且高精度地進(jìn)行配準(zhǔn)。另一方面，在第二階段配準(zhǔn)中，隨著 輸入圖像相對(duì)于參考圖像而變化，平均SSD也增加。在圖5 (B)中，表 示第二階段配準(zhǔn)后的平均SSD的實(shí)線中斷的區(qū)間表示，由于圖5 (A)中 的實(shí)線所示的誤差校正用掩模圖像^fOO的面積減小而不進(jìn)行第二階段 配準(zhǔn)的幀。圖5 (C)示出在實(shí)驗(yàn)一中使用現(xiàn)有的配準(zhǔn)方法的結(jié)果，即示出使用 全部利用目標(biāo)區(qū)域內(nèi)的像素的分級(jí)檢索法和梯度法的配準(zhǔn)后的平均 SSD。從圖5 (C)可以看出，在使用直接利用目標(biāo)區(qū)域且不進(jìn)行區(qū)域選 擇的現(xiàn)有的配準(zhǔn)方法進(jìn)行圖像配準(zhǔn)的時(shí)候，當(dāng)在目標(biāo)區(qū)域內(nèi)有照明變化 或遮擋時(shí)，該平均SSD單調(diào)增大，最后導(dǎo)致配準(zhǔn)失敗。圖5 (C)中的平 均SSD的值是一個(gè)比在利用了圖5 (B)的本發(fā)明的掩模圖像的情況下的 平均SSD大出2位數(shù)的值。圖5 (C)的平均SSD非常大不僅表示配準(zhǔn) 可能不穩(wěn)定，還表示配準(zhǔn)不準(zhǔn)確。在實(shí)驗(yàn)一中，由于運(yùn)動(dòng)是事先己知的，即由于成為正解的運(yùn)動(dòng)參數(shù) 是單位矩陣，因而根據(jù)基于所估計(jì)的運(yùn)動(dòng)參數(shù)的位置誤差評(píng)價(jià)了運(yùn)動(dòng)估計(jì)精度(參照非專利文獻(xiàn)15)。圖6示出在實(shí)驗(yàn)一中使用了設(shè)定在目標(biāo)區(qū)域內(nèi)的200x200處的位置的、基于所估計(jì)的運(yùn)動(dòng)參數(shù)的距正解位置的距 離的RMSE (Root Mean Square Error;均方根誤差)。具體地說(shuō)，在圖6中，將基于在(4)中所示的實(shí)線表示的本發(fā)明的區(qū)域選擇兩階段配準(zhǔn)方法的配準(zhǔn)與如下配準(zhǔn)進(jìn)行了比較與使用在(1) 中所示的實(shí)線表示的現(xiàn)有的配準(zhǔn)方法(即，全部利用目標(biāo)區(qū)域的分級(jí)檢索法和梯度法)的輸入圖像和參考圖像的直接配準(zhǔn)，使用在(2)中所示 的虛線表示的現(xiàn)有的配準(zhǔn)方法(即，全部利用目標(biāo)區(qū)域的分級(jí)檢索法和 梯度法)的相鄰幀之間的運(yùn)動(dòng)的累積的配準(zhǔn)，以及僅使用在(3)中所示 的虛線表示的本發(fā)明的第一階段配準(zhǔn)的配準(zhǔn)。從圖6可知，基于(1)和(2)的現(xiàn)有的配準(zhǔn)方法的配準(zhǔn)在72幀附 近跟蹤失敗，而基于(3)的本發(fā)明的第一階段配準(zhǔn)和基于(4)的本發(fā) 明的區(qū)域選擇兩階段配準(zhǔn)方法成功跟蹤到最終幀。并且，在(3)的本發(fā) 明的第一階段配準(zhǔn)方法中，隨著時(shí)間經(jīng)過(guò)，位置誤差逐漸增大，而在(4) 的本發(fā)明的區(qū)域選擇兩階段配準(zhǔn)方法中，從第二階段配準(zhǔn)再次開(kāi)始的186 幀附近，再次開(kāi)始高精度的跟蹤。實(shí)驗(yàn)二 (非平面對(duì)象的魯棒跟蹤實(shí)驗(yàn))在實(shí)驗(yàn)二中，跟蹤對(duì)象是直徑約14 [cm]的地球儀，用手使其慢慢 向左右旋轉(zhuǎn)，使用拍攝了作為跟蹤對(duì)象的地球儀的由300幀構(gòu)成的時(shí)間 序列圖像，目標(biāo)區(qū)域(ROI)的尺寸是100 [像素]xl00 [像素]。通過(guò)實(shí)驗(yàn)二確認(rèn)如下即使跟蹤對(duì)象具有非平面的形狀，也能使用 本發(fā)明的區(qū)域選擇兩階段配準(zhǔn)方法進(jìn)行魯棒跟蹤。圖7示出實(shí)驗(yàn)二的配準(zhǔn)結(jié)果。如圖7所示，示出針對(duì)在實(shí)驗(yàn)二中利 用的時(shí)間序列圖像中的一部分圖像(即，第1幀、第104幀、第187幀、 第283幀)的配準(zhǔn)結(jié)果。具體地說(shuō)，圖7 (A)示出設(shè)定在參考圖像(作為開(kāi)頭幀的第l幀) 內(nèi)的目標(biāo)區(qū)域(ROI)的跟蹤結(jié)果。然后，圖7 (B)示出針對(duì)目標(biāo)區(qū)域 (ROI)，根據(jù)所估計(jì)的運(yùn)動(dòng)參數(shù)對(duì)輸入圖像整體進(jìn)行了平面投影變換后 的圖像。另外，在圖7 (B)中，用淺藍(lán)色表示跟蹤用掩模圖像。圖7 (C)示出目標(biāo)區(qū)域(ROI)中的跟蹤用掩模圖像fi(x)。圖7 (D)示出目標(biāo)區(qū) 域(ROI)中的誤差校正用掩模圖像^^(x)。圖8 (A)示出在實(shí)驗(yàn)二中使用的跟蹤用掩模圖像0")和誤差校正 用掩模圖像^^"x)的面積變化。圖8 (B)示出在實(shí)驗(yàn)二中虛線所示的第 一階段配準(zhǔn)后和實(shí)線所示的第二階段配準(zhǔn)后的平均SSD。并且，圖8 (C) 示出在實(shí)驗(yàn)二中使用現(xiàn)有的配準(zhǔn)方法的結(jié)果，即示出使用全部利用目標(biāo) 區(qū)域內(nèi)的像素的分級(jí)檢索法和梯度法的配準(zhǔn)后的平均SSD。從圖8可知因?yàn)楸景l(fā)明的跟蹤用掩模圖像0(X)的面積被保持得較 大(參照?qǐng)D8 (A)的虛線)，還有與全部利用目標(biāo)區(qū)域的現(xiàn)有的配準(zhǔn)方 法(參照?qǐng)D8 (C))相比較，本發(fā)明在平均SSD為小值的狀態(tài)下推移(參 照?qǐng)D8 (B)的虛線)，因而與跟蹤對(duì)象是非平面無(wú)關(guān)，使用本發(fā)明可良 好地進(jìn)行跟蹤。并且，從圖8可知由于目標(biāo)區(qū)域的照明變化，本發(fā)明的誤差校正用掩模圖像^^(x)—時(shí)消失，存在不進(jìn)行第二階段配準(zhǔn)的期間(參照?qǐng)D 8 (B)的實(shí)線)，然而當(dāng)作為跟蹤對(duì)象的地球儀的旋轉(zhuǎn)角度復(fù)原時(shí)，誤差校正用掩模圖像^^(x)恢復(fù)，通過(guò)第二階段配準(zhǔn)來(lái)校正累積誤差。實(shí)驗(yàn)三(臉的魯棒跟蹤實(shí)驗(yàn))在實(shí)驗(yàn)三中，跟蹤對(duì)象是在室內(nèi)拍攝的人物的臉，由于在固定的室 內(nèi)照明下使臉的方向變化，因而有照明變化，并且，臉不僅僅是非平面， 而且形狀也有少許變化。在實(shí)驗(yàn)三中，使用拍攝作為跟蹤對(duì)象的臉?biāo)玫挠?00幀構(gòu)成的時(shí)間序列圖像，目標(biāo)區(qū)域(ROI)的尺寸是90 [像素] xlOO [像素]。通過(guò)實(shí)驗(yàn)三確認(rèn)如下:.即使是在現(xiàn)有的區(qū)域的配準(zhǔn)方法中通常不被 使用的跟蹤對(duì)象，也能使用本發(fā)明的區(qū)域選擇兩階段配準(zhǔn)方法進(jìn)行魯棒跟蹤。圖9示出實(shí)驗(yàn)三的配準(zhǔn)結(jié)果。如圖9所示，示出針對(duì)在實(shí)驗(yàn)三中利 用的時(shí)間序列圖像中的一部分圖像(即，第1幀、第104幀、第460幀、 第555幀)的配準(zhǔn)結(jié)果。具體地說(shuō)，圖9 (A)示出設(shè)定在參考圖像(作為開(kāi)頭幀的第l幀)內(nèi)的目標(biāo)區(qū)域(ROI)的跟蹤結(jié)果。并且，圖9 (B)示出針對(duì)目標(biāo)區(qū)域(ROI)，根據(jù)所估計(jì)的運(yùn)動(dòng)參數(shù)對(duì)輸入圖像整體進(jìn)行了平面投影變換后 的圖像。另外，在圖9 (B)中，用淺藍(lán)色表示跟蹤用掩模圖像。圖9 (C)示出目標(biāo)區(qū)域(ROI)中的跟蹤用掩模圖像Q(x)。圖9 (D)示出目標(biāo)區(qū)域(ROI)中的誤差校正用掩模圖像^,(x)。圖10 (A)示出在實(shí)驗(yàn)三中使用的跟蹤用掩模圖像fi")和誤差校正 用掩模圖像^f(x)的面積變化。圖10 (B)示出在實(shí)驗(yàn)三中虛線所示的第 一階段配準(zhǔn)后和實(shí)線所示的第二階段配準(zhǔn)后的平均SSD。并且，圖10(C) 示出在實(shí)驗(yàn)三中使用現(xiàn)有的配準(zhǔn)方法的結(jié)果，即示出使用全部利用目標(biāo) 區(qū)域內(nèi)的像素的分級(jí)檢索法和梯度法的配準(zhǔn)后的平均SSD。從圖10可知在實(shí)驗(yàn)三中使用的時(shí)間序列圖像中，由于輸入圖像相 對(duì)于參考圖像的變化多，因而本發(fā)明的第二階段配準(zhǔn)只進(jìn)行到初始期間， 即進(jìn)行到第25幀。然而，從圖10可知因?yàn)楸景l(fā)明的跟蹤用掩模圖像fi^)的面積被保持得較大(參照?qǐng)D10 (A)的虛線)，還有與全部利用目標(biāo)區(qū)域的現(xiàn)有 的配準(zhǔn)方法(參照?qǐng)D10 (C))相比較，本發(fā)明在平均SSD為小值的狀態(tài) 下推移(參照?qǐng)D10 (B)的虛線)，因而即使是人物的臉那樣的非平面且 形狀也變化的跟蹤對(duì)象，只要使用本發(fā)明，即使不利用第二階段配準(zhǔn)來(lái) 進(jìn)行累積誤差的校正，也能繼續(xù)進(jìn)行良好跟蹤(參照?qǐng)D9 (B))。另外，在上述本發(fā)明的實(shí)施方式中，在進(jìn)行圖像配準(zhǔn)時(shí)，根據(jù)平面 投影變換進(jìn)行了圖像變形，然而本發(fā)明中所說(shuō)的平面投影變換不僅僅是 平面投影變換，作為平面投影變換的特殊情況，還包含仿射變換、比例 變換、旋轉(zhuǎn)變換、平行變換以及采用它們的組合的變換。產(chǎn)業(yè)上的可利用性本發(fā)明的圖像配準(zhǔn)方法是區(qū)域選擇型圖像配準(zhǔn)方法，該區(qū)域選擇型 圖像配準(zhǔn)方法中使用表示可根據(jù)平面投影變換模型高精度地進(jìn)行近似的 區(qū)域的掩模圖像。在本發(fā)明的圖像配準(zhǔn)方法中，其特征在于，當(dāng)估計(jì)變換參數(shù)(運(yùn)動(dòng) 參數(shù))時(shí)，利用表示通過(guò)平面投影變換準(zhǔn)確地進(jìn)行了配準(zhǔn)的區(qū)域的掩模圖像。實(shí)際上，重要的特征在于，在使用本發(fā)明的圖像配準(zhǔn)方法進(jìn)行配準(zhǔn) 時(shí)，進(jìn)行第一階段配準(zhǔn)和第二階段配準(zhǔn)，在第一階段配準(zhǔn)中，為了針對(duì) 照明變化和遮擋等實(shí)現(xiàn)魯棒的配準(zhǔn)，而生成跟蹤用掩模圖像，并且進(jìn)行 基于相鄰幀之間的運(yùn)動(dòng)的配準(zhǔn)，在第二階段配準(zhǔn)中，為了補(bǔ)償在第一階 段配準(zhǔn)中估計(jì)的運(yùn)動(dòng)參數(shù)內(nèi)包含的累積誤差，即為了實(shí)現(xiàn)高精度的配準(zhǔn)， 而在根據(jù)在第一階段配準(zhǔn)中估計(jì)的運(yùn)動(dòng)參數(shù)進(jìn)行了變形的目標(biāo)幀(目標(biāo) 圖像)和參考幀(參考圖像)之間再次估計(jì)運(yùn)動(dòng)參數(shù)，同時(shí)生成與該運(yùn) 動(dòng)參數(shù)對(duì)應(yīng)的誤差校正用掩模圖像。根據(jù)具有上述特征的本發(fā)明的圖像配準(zhǔn)方法，由于目標(biāo)圖像和參考 圖像之間的配準(zhǔn)是通過(guò)進(jìn)行這種兩階段配準(zhǔn)來(lái)進(jìn)行的，因而可取得這樣 的本發(fā)明獨(dú)特的優(yōu)良效果，即不僅對(duì)于平面對(duì)象，而且對(duì)于具有任意 形狀的對(duì)象，都能針對(duì)照明變化和遮擋實(shí)現(xiàn)魯棒和高精度的圖像配準(zhǔn)。<參考文獻(xiàn)一覽〉非專利文獻(xiàn)l:工^."一. (L. G. Brown)著，「7—廿一《< 才71/^7>卜1/一>3> 亍夕二、乂夕 (A Survey of Image Registration Techniques) J'ACM 〕>tf:i — x<>々* 廿一《^7:(ACM Computing Surveys) ,1992年12月，第24巻，第4號(hào)，p. 325-376(圖像配準(zhǔn)技術(shù)綜述，ACM計(jì)算綜述，1992年12月，第24巻， 第4號(hào)，p. 325-376)非專利文獻(xiàn)2:tf一.^卜八(B. ZUova) 、 y工寸.7 ， 、乂 >亇_ (J. FJusser) 共著，「 <一 "1/^7卜1/一5>3>乂V、;/卜' 7— 廿一《< (Image Registration Methods: A Survey)」— 7 > 卜' 匕' y 3 >〕 〉 tf工 一 亍 < 〉夕* (Image and Vision CompuUng) ,2003年 10月，第21巻，第11號(hào)，P. 977-1000(圖像配準(zhǔn)方法綜述，圖像和視頻計(jì)算，2003年10月，第21巻，第11號(hào)，p. 977-1000)非專利文獻(xiàn)3:工厶./，、乂夕(M. Black)、工<."工/、乂> (A. Jepson)共著， 「7< ，* >一卜，、乂年>^ : 口八7卜7';/^:/夕:7 〉卜''卜，'乂 牛〉^才77 —亍一牛工1^<亍、乂卜*才/"工夕卜 江一^>^匕'工--《—7 h'J "7'D七* >"亍一 〉3 〉 (Eigen-Tracking: RobustMatching and Tracking of Articulated Objects using a View-Based Representation) j,^〉夕一于^3于^"卞一f^ 才7 〕〉tf a —夕 匕'y 3 > (International Journal of Computer Vision) ,1 998年，第26巻，第號(hào)，p.63-84(特征跟蹤使用基于閱覽的表示的關(guān)節(jié)物體的魯棒匹配和跟蹤， 《國(guó)際計(jì)算機(jī)視覺(jué)雜志》，1998年，第26巻，第l號(hào)，p. 63-84)非專利文獻(xiàn)4:i 一. f一. 八一力一 (G. D. Hager) 、bf — . 工7. 《^t:x厶 —(P. N. Belhumeur)共著，「工7 < 卞 > 卜 'J 一 9 3 > 卜，、乂 牛；> ^ 々,文 八'，義卜'J '乂夕 乇X 才7 "才乂卜'J 一 7 >■ F 》5氺一 -> 3 >( Efficient Region Tracking withParametric Models of Geometry and II lutninat ion) J , I EEE 卜 才>"夕一>7于)」->77>F7、>一> 4>亍'上 'y 工〉久 〈IEEE - Trans,on Pattern Analysis and Machine Intelligence) ， 1 998年10月，第20巻，第10號(hào)，p. 1 025- 1 039(使用幾何和照明的參數(shù)模型的有效區(qū)域跟蹤，《正EE圖形分析和 機(jī)器智能學(xué)報(bào)》，1998年10月，第20巻，第10號(hào)，p. 1025-1039)非專利文獻(xiàn)5:亍<—.^v力7 (T. Ishikawa) 、 了 < . 7-〉工一 ；C (I. Matthews )、工7.《<力一 (S. Baker)共著，「工7吖v亇〉卜 一乂一^75<;<>卜 々一父7，卜，47— U^工夕卜3〉 (Efficient Image Alignment with Outlier Rejection)」，x夕 k求 一 卜 CM U — ri-tR-02 — 27 (Tech. Report CMU-RI-TR-02-27) , 口 * 于-r夕7 "f^x亍^于二一卜(Robotics Institute),力一氺年一 乂口 >工二A—〉于一一 (Carnegie Mel Ion Univers i ty) ,2002年0月(使用離群值剔除的有效圖像配準(zhǔn)，技術(shù)報(bào)告CMU-RI-TR-02-27, 機(jī)器人技術(shù)學(xué)會(huì)，卡內(nèi)基美隆大學(xué)，2002年10月)非專利文獻(xiàn)6:工7. ^:xll;i— (F. Jurie)、工厶. 卜* —厶(M. Dbome〉共著'「 U7^ 夕<厶 口A又卜 亍〉/P—卜 7 、乂于〉夂(Real Time Robust Template Matching)」、4 > 7* 口 '乂夕 才7 :/ U于才、乂 〉 工 7 v — :> t:' i 3 〉 力；/ 7 7 k >" 7 ( In Proc. of Bri Ush Machine Vision Conference) , 2002年9月，p. 123-132(實(shí)時(shí)魯棒模板匹配，《英國(guó)機(jī)器視覺(jué)會(huì)議會(huì)志》，2002年9月，p. 123-132)非專利文獻(xiàn)7:工^.v亇i/工7 (A. Shashua) 、 々工夕7 ， 一 (Y. Wexler)共著，「Q —7一^〉夕'^^fl/夕卜〕〉匕工一亍一〉3〉 才 7 夕才一H，亍Y、乂夕 U77l^>7 廿一7一又(Q—Warping: Direct Computation of Quadratic Reference Surfaces) J , i EEE 卜5 〉人.才 > 八'夕一 > 7 * u 7 7 〉卜'7 — > 4 >亍 U y工> 7> ( IEEE Trans, on Pattern Analysis and Machine Intel) igence) , 200 1年8月，第23巻，第8號(hào)'p. 920-925(Q翹曲二次參考表面的直接計(jì)算，《正EE圖形分析和機(jī)器智能 學(xué)報(bào)》，2001年8月，第23巻，第8號(hào)，p. 920-925)非專利文獻(xiàn)8:亍-f —.工7.夕一、乂 (T. F. Cootes)、"工<.工K7 —義(J. Edwards) 、 > —.^工.亍一，(C. J. Taylor)共著，「7夕亍^ "7* 7tf7，》義乇力W (Active Appearance Models) J 、 I EE E卜5>又.才>/1夕一〉7于U、〉X7〉H75/ — ；> < ;>亍U 工 > 義 (IEEE Trans, on Pattern Analysis and Machine Intell igence) , 2001年6月，第.23巻，第6號(hào)，p. 681-685(活動(dòng)外觀模型，《正EE圖形分析和機(jī)器智能學(xué)報(bào)》，2001年6月， 第23巻，第6號(hào)，p. 681-685)非專利文獻(xiàn)9:— . :/— 7 7 < (P. Bouthemy) 、 <一. 7 ， > 〕 -f又 (E. Francois)共著，「乇一-〉3> 七^(guò)^>亍一5>3> 7>H 夕才U 歹4于5、y夕 、> —〉7于D、〉X 7口厶 ^義一^ 〉一 ^ > 7 (Motion SegmenUUon and Qualitative Dynamic Scene Analysis fro邁an Image Sequence) J , < >夕 一 少> 3于A i"7卞 一 于 ^ 才7 〕>tfjx —夕 tf"3>( International Journal of Computer Vision,) , 1 993年，第10巻，第2號(hào)，p.157-182(按圖像順序的運(yùn)動(dòng)分割和定性動(dòng)態(tài)景物分析，《國(guó)際計(jì)算機(jī)視覺(jué)雜 志》，1993年，第10巻，第2號(hào)，p. 157-182)非專利文獻(xiàn)10:7吖.八卜，7> (I. Patras)、 < 一. 工<.八〉'F'J夕7 (E. A. Hendriks) 、 7 — ^. 工Jh ，-工>夕*<夕(R. L. Lagendijk)共 著，「7〉 <>夕一1/<亍<- 乇一'>3〉 工7f^X^3^ —七 :jf / y于一-〉3〉 乂、乂':/卜'l — :^>^ 々才一夕一^工、乂卜'七^(guò) y > 、乂 (An Iterative Motion Estimation-Segmentation Method using Watershed Segments) j,:f〉 7"口、乂夕 <〉夕一于->"3少/^ 力> 才〉:/口七'乂-;/〉^Un Proc. of IEEE International Conference on Image Processing) ,1 998年10月，第2 巻，p.642-64 6(使用分水嶺分割的迭代運(yùn)動(dòng)估計(jì)分割方法，《國(guó)際圖像處理會(huì)議會(huì)志》，1998年10月，第2巻，p. 642-646)非專利文獻(xiàn)ll:工厶.工厶.于亇〉(M. M. Chang)、工<.工厶.r力A.:/ (A. M. Tekalp)、工厶.7<. 七廿> (M. I. Sezan)共著，「廿<7幾 亍^f二7X 乇一v3〉 工7>亍<;< —v3> 7>卜'七y乂〉亍一 、〉3 > (Simultaneous Motion Estimation and 'Segmentation) J , I E EE 卜5>7>. 才> ^y — 2 :/口七、:/v〉y (IEEE Trans, on Image Processing) ， 1 9 97年9月，第6巻，第9號(hào)，p. 1 326-1 333(同時(shí)運(yùn)動(dòng)估計(jì)和分割，《IEEE圖像處理學(xué)報(bào)》，1997年9月，第6 巻，第9號(hào)，p. 1326-1333)非專利文獻(xiàn)12-工厶.4，二 (M. Irani) 、 t 一. ^一V7 (B. Rousso)、工X. 《k， (S. Peleg)共著，「〕 > tf工一于^ 〉夕'才牛xU工一x^TV ^ 7〉卜' 卜，〉7《7l^〉卜 乇一v3〉( Computing Occluding and Transparent Motions) j , 4 :>夕一于-> 3 t》 i^亇一f》 才7 〕> tf 二 一夕 t:'3 > (International Journal of Computer Vision )，1 994年2月，第12巻，第1號(hào)(計(jì)算遮擋和透明運(yùn)動(dòng)，《國(guó)際計(jì)算機(jī)視覺(jué)雜志》，1994年2月，第12巻，第l號(hào))非專利文獻(xiàn)13:深尾隆則.金出武雄共著，r才夕^一-3〉匕対LT口A'X卜^2段階 特徴點(diǎn)追従7 ^ ^ U義厶_!,情報(bào)処理學(xué)會(huì)，2003年11月，CVIM-141,p. 1U-118(針對(duì)遮擋的魯棒的兩階段特征點(diǎn)跟蹤算法，《信息處理學(xué)會(huì)》，2003 年11月，CVIM-141， p. 111-118)非專利文獻(xiàn)14:<formula>formula see original document page 29</formula>Analysis and Machine Inte 11 igence) ,2003年12月，第25巻，第12號(hào)(使用從時(shí)間和多尺度共現(xiàn)統(tǒng)計(jì)所估計(jì)的非參數(shù)圖像運(yùn)動(dòng)模型的運(yùn) 動(dòng)識(shí)別，《正EE圖形分析和機(jī)器智能學(xué)報(bào)》，2003年12月，第25巻，第 12號(hào))非專利文獻(xiàn)15:工又.A —力一 (S. Baker) 、 7 、>工一 ；C (I. Matthews)共著，「^ —力又一力于f2047 —文才>:7— 工二77汀 >夕* 71/ —厶7 —夕 (Lucas-Kanade 20 Years On: A Unifying Framework)」，<>夕一于->3于兒 ^卞一于幾才7 〕>匕1一夕 匕'-73 〉 (International Journal of Computer Vision) ，2004年3月 ，第56巻，第3號(hào)，p. 22 1 -255(盧卡斯.卡納德法走過(guò)20年:一致化框架，《國(guó)際計(jì)算機(jī)視覺(jué)雜志》，2004年3月，第56巻，第3號(hào)，p. 221-255) 非專利文獻(xiàn)16:工厶.1/<-:>工一幾(M, Gleicher)著，「 /口 ^工夕亍^ :/ 1/^7Projective Registration with Difference Decomposition) J 、 口 、乂夕 才7 IEEE 吖〉夕一于〉3于^ 力>:771^>又 才〉 〕>匕。工一夕 tf"3〉 7>F 八°夕一> 1^〕夕*二-〉3> (Proc. of IEEE International C.onference on Computer Vision and Pattern Recognilion〉，廿> 7 7 > , 7義U力自治領(lǐng)/工^卜 U〕 (San Juan, Puerto Rico) , 1 997年6月，p.33 1 -337(具有差分分裂的投影配準(zhǔn)，《正EE國(guó)際計(jì)算機(jī)視覺(jué)和圖形識(shí)別會(huì) 議會(huì)志》，美國(guó)自治領(lǐng)地波多黎各，圣胡安，1997年6月，p. 331-337)非專利文獻(xiàn)17:tf —. 幾一力7 (B. Lucas) 、 x一一..力于f (T. Kanade)共著'「 7〉 "f夕k一亍一y <乂一、:>* V'2X卜l^一v3〉 亍夕二'乂夕 々Y乂 7〉 7^y亇一X3;v 卜々一 又亍k才 tf^3〉(An Iterative Image Registration 'Technique with 'an Application to Stereo Vi s i on〉」，/口'乂夕才7 O夕 一 于v 3 夕3 < >卜力〉77k〉7 才> 7—亍一7^v中^ 寸〉亍U^工〉7( Proc. of International Joint Conference on Artificial Intelligence),八'> 夕 一 八'力于^ (Vancouver, Canada) ,1981年4 月，p.674-679(應(yīng)用于立體視覺(jué)的迭代圖像配準(zhǔn)技術(shù)，《國(guó)際人工智能聯(lián)合會(huì)議會(huì) 志》，加拿大，溫哥華，1981年4月，p. 674-679)非專利文獻(xiàn)18:工<于.i;7寸. >工—厶(h. y. Shum)、7-^. 七一U7牛一 (R. Szeliski)共著，「〕>^卜，夕、>3> 才7 /、 / ， 5 '乂夕壬 廿 < 夕 0 — 乂 夂口 一八'^ 7 >卜* 口 一力》 7 ， 4 >卜( Construction of Panoramic Mosaics with Global and Local Alignment) J ， 4 >夕 一 于3于^ i^亇一于幾才7 > tf工 一 夕 tfy3 > (International Journal of Computer Vision) ,2002年7月 ,第48巻，第2號(hào)，p. 151-152(具有全局和局部配準(zhǔn)的全景馬賽克的結(jié)構(gòu)，《國(guó)際計(jì)算機(jī)視覺(jué)雜 志》，2002年7月，第48巻，第2號(hào)，p. 151-152)非專利文獻(xiàn)19:工厶. v三文(M. Shimizu)、工厶.才夕卜5 (M.Okutomi)共著， 「7Jl/于一"，乂一夕 、〉5二1/一';/3;> 工只x^;^ — V3〉 才〉 工U7 —《一7B 7、;/于>:^ (Multi-Parameter Simultaneous Estimation o.n Area-Based Matching)」，<>夕一大':>3于^ -7卞一 于J1/ 才7 3 > tf 二 一夕 If ^ 3 > ( Internat ionalof Computer Vi s ion) 、 2 0 0 6年(針對(duì)基于區(qū)域的匹配的多參數(shù)同時(shí)估計(jì)，《國(guó)際計(jì)算機(jī)視覺(jué)雜志》， 2006年)非專利文獻(xiàn)20:張馴槿 清水雅夫 奧富正敏共著，r畫(huà)像0k-; x卜k一^3 〉f:右〖，S超平面交差法0高速化手法」，電子情報(bào)通信學(xué)會(huì)論文誌，2006年2月， 第J89-D巻，第2號(hào)，p. 332-343(圖像配準(zhǔn)中的超平面交叉法的高速化方法，《電子信息通信學(xué)會(huì)論 文志》，2006年2月，第J89-D巻，第2號(hào)，p. 332-343)非專利文獻(xiàn)21:亍<—.力于f (T. Kanade)、工厶.才夕卜5 (M. Okuto迅i)共著， 「7— X亍l/才 7^3U;C厶々Y乂 7> 7夕'7'亍^7 々,>卜'々 v才U— 7>卜* 工夕7《iJ義〉卜(AStereo Matching Algorithm with an Adaptive Window: Theory and Experiment) j，IEEE 卜5>7. 才〉"夕一> 7于U卜7 7>卜*7 -Ti^xU-;^:^;^ IEEE Trans, on PatternAnalysis and Machine Intelligence) ,1 994年9月，第 16巻，第9號(hào) ，p.920-932(具有自適應(yīng)窗的立體匹配算法理論和實(shí)驗(yàn)，《IEEE圖形分析和 機(jī)器智能學(xué)報(bào)》，1994年9月，第16巻，第9號(hào)，p. 920-932)非專利文獻(xiàn)22:工厶.才夕卜S (M. Okutomi)、亍<—.力于f (T. Kanade)共著， 「7— 7^于7^1/ 《一7，4〉 7于k才(A Multiple Baseline Stereo)」，IEEE 卜，>又.才> 八'夕_> 7于U、〉X.7〉 卜* 7 v — > < >亍U 〉*工；> 7 (IEEE Trans, on Pattern Analysis and Machine Intelligence) ,1993年4月，第15巻，第4號(hào)，p.353-3 63(多基線立體，《IEEE圖形分析和機(jī)器智能學(xué)報(bào)》，1993年4月，第 15巻，第4號(hào)，p. 353-363)非專利文獻(xiàn)23:夕工<.7 — JK 《Jl/亇'〉(J. R. Bergen)、匕一.7于 > 夕* 〉( P. Anandan)、亇汀.^工汀.八>于(K. J. Hanna) 、 7 — ^. 匕> 〕""，二一 (R. Hingorani)共著，「八4工5 —亍力^ 乇5^k —《一7 K 乇一〉s:y 工7亍^y — 、〉3乂 (Hierarchical Mode卜Based Motion EsUmation) J , < ;> :/口、乂夕 才7 3 — 口 t！ 7 〉 力>7 7k〉7 才> 3>匕工一夕 tr^3>(In Proc. of European Conference on Computer Vision) , 夕D 7共和國(guó)，廿 > 夕 7幾yiJ —夕iJ年工工一J1/ (Santa Margherita Liguere) , 1 992年，p. 237—25 2(基于分層模型的運(yùn)動(dòng)估計(jì)，《歐洲計(jì)算機(jī)視覺(jué)會(huì)議會(huì)志》，意大利共和國(guó)，圣'馬格麗塔，利古雷，1992年，p. 237-252)
權(quán)利要求
1.一種圖像配準(zhǔn)方法，其在拍攝對(duì)象所得的時(shí)間序列圖像中的參考圖像和目標(biāo)圖像之間進(jìn)行高精度的配準(zhǔn)，該圖像配準(zhǔn)方法的特征在于，將所述參考圖像上的規(guī)定區(qū)域設(shè)定為目標(biāo)區(qū)域，在進(jìn)行所述配準(zhǔn)時(shí)，在所設(shè)定的所述目標(biāo)區(qū)域內(nèi)，根據(jù)掩模圖像的像素來(lái)估計(jì)運(yùn)動(dòng)參數(shù)，該掩模圖像表示能通過(guò)規(guī)定變換準(zhǔn)確地進(jìn)行配準(zhǔn)的區(qū)域。
2. 根據(jù)權(quán)利要求l所述的圖像配準(zhǔn)方法，其特征在于，通過(guò)利用圖 像間的相似性評(píng)價(jià)來(lái)生成所述掩模圖像。
3. 根據(jù)權(quán)利要求2所述的圖像配準(zhǔn)方法，其特征在于，所述規(guī)定變 換是平面投影變換、仿射變換、比例變換、旋轉(zhuǎn)變換、平行移動(dòng)或者采 用它們的組合的變換。
4. 根據(jù)權(quán)利要求3所述的圖像配準(zhǔn)方法，其特征在于，在用ROI表示所述目標(biāo)區(qū)域，并且通過(guò)用某變換參數(shù)h使圖像^(X)變形而大致能在圖像A00上配準(zhǔn)的情況下，下面的算式成立 <formula>formula see original document page 2</formula>此時(shí)，以所述目標(biāo)區(qū)域內(nèi)的像素x為中心的小區(qū)域上的圖像"^"h))和所述圖像AW之間的SSD定義如下<formula>formula see original document page 2</formula>xePatch式中，u二[w""2，l]T是表示圖像間的平行移動(dòng)的向量，Patch表示所述小區(qū)域，當(dāng)所述SSD全部滿足以下三個(gè)條件時(shí)，將與所述目標(biāo)區(qū)域內(nèi)的像素 X對(duì)應(yīng)的所述掩模圖像的像素值設(shè)定為1 ，在除此以外的情況下設(shè)定為0， 條件一-所述SSD與平行移動(dòng)相關(guān)的子像素位置偏差小于0.5 [像素]; 條件二所述SSD的最小值足夠小；條件三當(dāng)進(jìn)行了以所述SSD的最小值為中心的拋物線擬合時(shí)的水平方向和 垂直方向上的二次系數(shù)中的任一個(gè)大于閾值。
5.根據(jù)權(quán)利要求4所述的圖像配準(zhǔn)方法，其特征在于，所述配準(zhǔn)由第一階段配準(zhǔn)和第二階段配準(zhǔn)構(gòu)成，在所述第一階段配準(zhǔn)中，生成表示相鄰幀之間沒(méi)有變化的像素的跟 蹤用掩模圖像，并估計(jì)相鄰幀之間的運(yùn)動(dòng)參數(shù)，在所述第二階段配準(zhǔn)中，在用通過(guò)所述第一階段配準(zhǔn)估計(jì)出的運(yùn)動(dòng) 參數(shù)進(jìn)行了變形的目標(biāo)圖像和參考圖像之間，生成表示與參考圖像對(duì)應(yīng) 良好的目標(biāo)圖像中的像素的誤差校正用掩模圖像，使用所生成的誤差校 正用掩模圖像來(lái)重新估計(jì)目標(biāo)圖像相對(duì)于參考圖像的運(yùn)動(dòng)參數(shù)。
全文摘要
本發(fā)明提供一種圖像配準(zhǔn)方法，該方法是用于估計(jì)時(shí)間序列圖像中的目標(biāo)圖像和參考圖像之間的運(yùn)動(dòng)的區(qū)域選擇型圖像配準(zhǔn)方法，可應(yīng)用于具有任意形狀的對(duì)象的配準(zhǔn)，可針對(duì)照明變化和遮擋進(jìn)行魯棒和高精度圖像配準(zhǔn)。該方法是在拍攝對(duì)象所得的時(shí)間序列圖像中的參考圖像和目標(biāo)圖像之間進(jìn)行高精度配準(zhǔn)的圖像配準(zhǔn)方法，將參考圖像上的規(guī)定區(qū)域設(shè)定為目標(biāo)區(qū)域，在進(jìn)行配準(zhǔn)時(shí)，在所設(shè)定的目標(biāo)區(qū)域內(nèi)，根據(jù)表示通過(guò)平面投影變換能準(zhǔn)確地進(jìn)行配準(zhǔn)的區(qū)域的掩模圖像的像素，來(lái)估計(jì)運(yùn)動(dòng)參數(shù)。通過(guò)利用圖像間的相似性評(píng)價(jià)來(lái)生成掩模圖像。
文檔編號(hào)G06T7/20GK101405768SQ20078001017
公開(kāi)日2009年4月8日 申請(qǐng)日期2007年3月23日 優(yōu)先權(quán)日2006年3月23日
發(fā)明者奧富正敏, 張馴槿, 清水雅夫 申請(qǐng)人:國(guó)立大學(xué)法人東京工業(yè)大學(xué)