專利名稱：用于跟蹤運動對象的整體形狀的系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明提供了一種對運動對象中的形狀進行跟蹤的方法，更特別地，提供了一種在異方差噪聲存在時對具有線性約束的形狀進行跟蹤的方法。
背景技術(shù)：
對于絕大多數(shù)視覺跟蹤應(yīng)用來說，測量數(shù)據(jù)是不確定的，并且有時會被遺漏獲取的圖像帶有噪聲并且失真，而掩蔽可導(dǎo)致感興趣的對象的一部分不能被觀察。不確定性可以是整體均一的；但在絕大多數(shù)現(xiàn)實世界的情況中，其本質(zhì)上是異方差的，也就是說，既是各向異性的又是不均一的。一個很好的例子是超聲心動圖(超聲心臟數(shù)據(jù))。超聲傾向于反射人造制品，例如鏡面反射器，比如那些由膜制成的鏡面反射器。由于單一“視圖方向”，鏡面結(jié)構(gòu)的垂直表面產(chǎn)生強回聲，但傾斜或“離軸”的表面可能產(chǎn)生弱回聲，甚至根本不產(chǎn)生回聲(聲波“失落(drop out)”)。對于超聲心動圖來說，在組織表面與超聲波束平行的情況下，在心臟區(qū)域可能發(fā)生這種失落。
由于其有效性、相對低的成本以及非侵入性，心臟超聲圖像被廣泛用于心臟功能的評價。特別地，心室運動的分析是一種用于評價局部缺血以及梗塞的有效方法。對心內(nèi)膜壁進行分段或檢測是量化左心室的彈性及收縮性的首要步驟。一些現(xiàn)有方法的例子包括基于像素的分段/聚類方法(例如Color Kinesis)，光流變化，可變形模板及Markov隨機過程/場以及活動輪廓/蛇形方法。一些方法被用于2維、3維或4維(3D+時間)空間。
然而，大多數(shù)現(xiàn)有的分段或檢測方法并不嘗試再現(xiàn)心內(nèi)膜壁的精確的局部運動，而且在絕大多數(shù)情況下，沿著該壁的運動成分被忽略。這種簡化處理也由僅僅沿著當(dāng)前輪廓的法線進行搜尋的輪廓跟蹤裝置所采用。這對于局部壁異常的檢測來說是不適用的，因為異常的左心室的局部運動可能離開輪廓的法線，更不必提及整體運動，例如平移或旋轉(zhuǎn)(由于聲譜技師手的運動或者患者的呼吸運動)也引起輪廓上的偏離法線的局部運動。因此需要跟蹤心內(nèi)膜壁的整體形狀以及其局部運動，以檢測局部壁運動的異常。這種信息可被用于局部缺血及梗塞的進一步診斷。
通常，可將協(xié)方差分配給反映潛在的異方差噪聲的圖像特征或者流估計。當(dāng)數(shù)據(jù)被凈化成具有低的總噪聲水平時，異方差的特性可被忽略，并且整體不確定性可代替局部估計。然而，對于有很大噪聲的輸入來說，特別是對于那些具有空間變化的結(jié)構(gòu)噪聲來說，以局部協(xié)方差矩陣形式被編碼的信息就成為確保對象或者潛在的圖像結(jié)構(gòu)的可靠及魯棒的推斷的關(guān)鍵所在。
通常習(xí)慣于在跟蹤框架中施加模型限制。這樣的例子包括簡單模型，諸如斑點或參數(shù)化的橢圓；以及復(fù)雜模型，諸如識別模板。在大多數(shù)實際情況下，由于捕獲主要形狀變化的模式的數(shù)量是有限的并且通常比用于描述形狀的特征成分的初始數(shù)量要少得多，所以子空間模型適于形狀跟蹤。此外，一種基于主成分分析(PCA)的特征形狀子空間可捕獲任何復(fù)雜的形狀變化，這些變化在初始空間中即使利用非常簡單的參數(shù)模型也是高度非線性的。
如果測量向量受到異方差噪聲的影響，則到限制性子空間中的正交投影不僅是未對齊的，而且在信息丟失方面也會造成很大損害。僅僅在噪聲既是各向同性的又是均一的特定情況下才能對齊。
然而，大多數(shù)現(xiàn)有的關(guān)于子空間受限制的跟蹤的工作沒有考慮測量中的異方差噪聲。在“點分布模型”或者“活動形狀模型”中，基于具有地標(biāo)點一致性的訓(xùn)練形狀，導(dǎo)出基于PCA的子空間形狀模型。所產(chǎn)生的具有特征形狀的子空間捕獲訓(xùn)練數(shù)據(jù)集中最有意義的變化。在檢測時間，使模型擾動以產(chǎn)生與在候選位置的測試圖像匹配的合成圖像。然而，在該過程中沒有對測量噪聲進行建模。
即使當(dāng)異方差噪聲特性是可利用的時候，它們通常在擬合子空間模型過程中也被忽視。例如，在一種已知的在測量時捕獲完整的協(xié)方差矩陣的方法中，應(yīng)用相當(dāng)特別的閾值，以使測量平均值被限定于由模型協(xié)方差定義的超橢圓體限制。這種操作不依賴于測量噪聲。
另一種已知的方法應(yīng)用兩步法在Kalman濾波框架中施加形狀空間限制。這種形狀空間是線性變換的仿射子空間或者特征子空間。然而，到形狀空間中的投影是正交的，而沒有考慮量的異方差噪聲。因此，這種方法導(dǎo)致在投影期間信息的丟失。
另一種已知的方法是將Gaussian分布用于對感興趣的對象對象的外觀(在其情況下為臉)進行適應(yīng)性建模，其中使用EM算法獲悉該外觀。如在本發(fā)明中，在協(xié)方差矩陣中捕獲局部不確定性。不同之處在于，本發(fā)明專門研究了當(dāng)各向異性不確定性存在時子空間模型的限制以及在投影上相交的臨界選擇。
另一種已知的方法隱含地在光流估計過程中使用子空間限制，其也利用流的不確定性。盡管在不同的應(yīng)用中使用了不同的框架，本發(fā)明認(rèn)識到“更可靠的流向量將在子空間投影過程中具有更大的影響”。
另一種已知的方法是將異方差回歸用于擬合橢圓以及基本矩陣。在具有參數(shù)化模型的初始空間中實現(xiàn)擬合。在本發(fā)明中，避免了形狀變化的參數(shù)化——其可以是非常復(fù)雜以及高度非線性。替代地，本發(fā)明通過例如PCA建立子空間線性隨機模型，并且獲得關(guān)于擬合數(shù)據(jù)的平均值和協(xié)方差的封閉形式的解。
基于M估計器或者RANSAC的魯棒模型匹配也可被用于限制或者消除相對于模型為界外值的數(shù)據(jù)成分的影響。另外，在這些框架中沒有對(在空間或時間上)局部變化的不確定性進行研究。
其它相關(guān)的方法包括數(shù)據(jù)歸因，“填充”具有似是而非的值的丟失數(shù)據(jù)的實踐。在該領(lǐng)域中的工作植根于在語音識別、醫(yī)學(xué)圖像分析以及社會科學(xué)等方面具有廣泛應(yīng)用的統(tǒng)計學(xué)。然而，數(shù)據(jù)歸因問題的公式化通常假定0-1的可獲得性，也就是說，數(shù)據(jù)成分要么丟失，要么可獲得。需要提供一種統(tǒng)一的框架，以便將子空間模型限制與關(guān)于測量噪聲的形狀動態(tài)和異方差特性的信息以及關(guān)于形狀動態(tài)的信息相融合。

發(fā)明內(nèi)容
本發(fā)明提供一種用于跟蹤運動對象的整體形狀的系統(tǒng)和方法。沿著整體形狀的初始輪廓定義一個或多個控制點。當(dāng)對象運動時，對一個或多個控制點中的每一個進行跟蹤。估計運動時控制點的位置的不確定性。表示不確定性的一種形式是協(xié)方差矩陣。當(dāng)采用子空間形狀限制模型時，利用非正交投影和/或信息融合來研究不確定性。顯示每個作為結(jié)果發(fā)生的輪廓。
本發(fā)明還提供一種視覺跟蹤對象形狀的運動的系統(tǒng)。產(chǎn)生一個或多個第一彩色向量來表示控制點沿著形狀的輪廓的收縮。產(chǎn)生一個或多個第二控制向量來表示控制點沿著形狀的輪廓的擴張。第一及第二彩色向量被周期地顯示，從而顯示形狀的運動。
本發(fā)明還提供一種用于跟蹤運動對象的整體形狀的方法。沿著整體形狀定義一個或多個控制點。當(dāng)對象運動時，對一個或多個控制點中的每一個進行跟蹤。針對每個控制點建立多個外觀模型。結(jié)合由每個模型所產(chǎn)生的運動向量以便跟蹤形狀。


下面將參照附圖對本發(fā)明的優(yōu)選實施例進行更為詳細(xì)的描述，其中相同的附圖標(biāo)記表示相同的元件。
圖1是根據(jù)本發(fā)明的用于實施形狀跟蹤方法的示例系統(tǒng)的框圖；圖2是一種心臟超聲波心動描記圖像，說明了聲波失落區(qū)域和所估計的局部壁運動的不確定性；圖3是左心室的超聲波心動描記圖像，說明了具有控制點定位不確定性的心內(nèi)膜輪廓，這些控制點具有強烈的各向異性及不均一性；圖4說明了具有不同α值的增量式PCA模型和強適應(yīng)性PCA(SA-PCA，strongly-adapted-PCA)模型的實例；圖5a-5c說明了左心室的超聲波心動描記圖像，其中心內(nèi)膜壁被初始化(a)，并利用IPCA(b)及SA-PCA(c)來跟蹤；圖6a及6b說明了左心室的超聲波心動描記圖像，其中根據(jù)本發(fā)明對心內(nèi)膜壁的運動進行跟蹤；圖7a-7d說明了代表根據(jù)本發(fā)明的心尖四腔圖中左心室心內(nèi)膜壁的超聲波心動描記圖像的測試輪廓；圖8a-8d說明了代表根據(jù)本發(fā)明的胸骨旁短軸圖中左心室心內(nèi)膜壁的超聲波心動描記圖像的測試輪廓；圖9說明了根據(jù)本發(fā)明作為用于顯示圖像的方法的例子的超聲波心動描記圖像；以及圖10說明了根據(jù)本發(fā)明的一個實施例的基于多模型控制點的跟蹤裝置。
具體實施例方式
本發(fā)明提供了一種在存在異方差噪聲時對具有線性限制的形狀進行跟蹤的方法。將使用這種方法的一個例子是跟蹤心肌壁的整體形狀以及其局部運動，以檢測心臟內(nèi)局部壁運動的異常。該方法還可用于跟蹤心臟的心內(nèi)膜壁和心外膜壁。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，本發(fā)明可用于其它應(yīng)用，在這些應(yīng)用中形狀跟蹤是有用的，例如但不限于識別人類特征的運動、例如頭部運動、面部特征、手部運動或其他身體運動。本發(fā)明還可用在2維、3維及4維(3D+時間)解剖結(jié)構(gòu)、例如隨著時間發(fā)展的心臟、肺或者腫瘤等的醫(yī)學(xué)分析中。
為了描述本發(fā)明，將以對左心室心內(nèi)膜壁的跟蹤為例進行描述。圖1說明了超聲波心動描記系統(tǒng)的示例結(jié)構(gòu)，該超聲波心動描記系統(tǒng)使用根據(jù)本發(fā)明的用于對左心室心內(nèi)膜壁的形狀進行跟蹤的方法。利用醫(yī)學(xué)傳感器102、例如超聲換能器對患者進行檢查。傳感器102被用于獲得與特定醫(yī)學(xué)檢查相一致的醫(yī)學(xué)測量結(jié)果。例如，有心臟問題的患者可做超聲心動圖檢查，以幫助診斷特定的心臟疾病。超聲系統(tǒng)根據(jù)各種透視圖提供心臟的二維、三維及四維(3D+時間)圖像。
傳感器102所獲取的信息被傳送給處理器104，其可以是工作站或者個人計算機。處理器104將傳感器數(shù)據(jù)轉(zhuǎn)換成圖像并將其傳送給顯示器108。顯示器108還可傳送其它與該圖像有關(guān)的圖形信息或者信息表。根據(jù)本發(fā)明，還可為處理器104提供代表心內(nèi)膜壁的初始輪廓的數(shù)據(jù)。該數(shù)據(jù)可由用戶、例如醫(yī)生或聲譜技師手動地提供，或由處理器104自動提供。該輪廓包括一系列單獨的點，這些點的運動由處理器104進行跟蹤并在顯示器108上說明。關(guān)于如何對這些單獨的點進行跟蹤的細(xì)節(jié)將在下面更詳細(xì)地進行描述。
除了來自醫(yī)學(xué)傳感器102的數(shù)據(jù)外，處理器104還可接收其它數(shù)據(jù)輸入。例如，處理器可接收來自與處理器104相關(guān)聯(lián)的數(shù)據(jù)庫106的數(shù)據(jù)。這種數(shù)據(jù)可包括代表心內(nèi)膜壁的潛在輪廓形狀的子空間模型。這些子空間模型可以是代表多個患者的左心室的圖像，或者可以是由計算機基于統(tǒng)計信息生成的輪廓形狀模型。處理器104利用已知的方法、例如Bayesian核匹配方法或者基于光流的方法對輪廓形狀的各個點進行跟蹤。通過使用多模板適應(yīng)性匹配框架來校正跟蹤過程中的誤差積累。跟蹤的不確定性在每個點處以協(xié)方差矩陣的形式來表示，協(xié)方差矩陣隨后完全由利用非正交投影的子空間形狀限制所利用。
圖2顯示了心臟的典型的超聲波心動描記圖像。左心室心內(nèi)膜壁的具有聲波失落的那部分由實心橢圓208標(biāo)出。局部壁運動的估計由虛線橢圓202及204所描繪。由于聲波失落，心內(nèi)膜壁并不總是位于圖像中最強的邊緣處。根據(jù)本發(fā)明，使用統(tǒng)一的框架來融合帶有關(guān)于形狀動態(tài)和測量噪聲的異方差特性的信息以及關(guān)于形狀動態(tài)的信息的子空間模型限制。子空間模型可以采取特定子空間分布的形式，例如Gaussian，或者簡單的子空間限制，例如特征空間模型。
本發(fā)明跟蹤代表心內(nèi)膜壁的輪廓上的各個控制點?？衫肂ayesian核匹配方法或者基于光流的方法來進行跟蹤。在由作為共同發(fā)明人的Dorin Comaniciu在Annual Conf.of the German Societyfor Pattern Recognition(DAGM′02)(蘇黎世，瑞士，438-445，2002年)上發(fā)表的題為“Bayesian Kernel Tracking”一文中描述了Bayesian核匹配方法的一個例子，通過引用而將該文的全部包含在內(nèi)。在序列號為10/681,702的題為“Density Estimation-BasedInformation Fusion for Multiple Motion Computation”的共同未決的申請中描述了基于光流的跟蹤各個點的方法一個例子，在此通過引用而將該申請的全部包含在內(nèi)。根據(jù)本發(fā)明，使用多模板適應(yīng)性匹配框架并利用心臟運動的周期特性來對跟蹤過程中的誤差積累進行校正。跟蹤的不確定性在每個點處以協(xié)方差矩陣的形式來表示，該協(xié)方差矩陣隨后完全由利用非正交投影的子空間形狀限制所利用。
跟蹤框架是對圖像序列的兩步迭代處理。在第一圖像上畫出帶有控制點的初始輪廓(自動或手動)；然后，針對每一個按順序的連續(xù)的圖像，首先對每個控制點單獨進行跟蹤，同時還記錄各向異性的不確定性。作為第二步，利用非正交投影將新的輪廓投影到可行的子空間中?；谟?xùn)練輪廓獲悉可行的子空間，并利用跟蹤裝置可獲得的初始輪廓使可行的子空間與當(dāng)前情況相適應(yīng)，同時還考慮初始化的置信度(也就是說，手動初始化比完全自動的初始化具有更高的置信度)。
如上所述，在跟蹤過程中采用多個模板。多個模板的使用導(dǎo)致當(dāng)前情況的形狀統(tǒng)計的表征更為準(zhǔn)確。在Bayesian核匹配方法中，從已初始化的幀中提取第一模板。當(dāng)后續(xù)模板與現(xiàn)有模板充分不同并且還充分提供用于定位目的的信息時，添加后續(xù)模板，這通過與其本身的核匹配來測量提供更多信息的補丁是當(dāng)與其本身匹配時具有較高置信度的補丁。
使用一個以上模板的決定基于以下觀察結(jié)果，即心臟運動是周期性的，因此一個周期內(nèi)的不同的外觀模式都會在后面的周期中再出現(xiàn)。為了與多個模板相匹配，與每個模板進行匹配并選擇具有最佳匹配的那個模板。或者，為了節(jié)省計算，可以僅僅與以前相匹配的模板相鄰的模板進行匹配，從而再次利用周期運動。
在最佳位置的附近計算匹配位置的不確定性，同時使用核匹配方法以相同的方式計算相似圖。接著通過例如與二維Gaussian分布擬合或者通過將Hessian矩陣的加權(quán)估計的反轉(zhuǎn)，將相似表面用于估計協(xié)方差矩陣。
在基于流的方法的情況下，典型的光流實施僅僅利用相鄰的幀，從而使對長序列的跟蹤過程對誤差積累以及偏移敏感。采用多個模板以與用于核匹配相同的方式進行流計算。只要流的不確定性高，就添加局部梯度與現(xiàn)有模板明顯不同的新模板。
在得到每個控制點的新位置之后，下一步是通過捕獲人類心臟的“合理”形狀變化的統(tǒng)計模型來限制整體形狀。使用活動形狀模型或者基于PCA的形狀模型，后者也被稱為點分布模型。
由于心臟輪廓的不確定性既不是均一的，也就是說，由于信號失落，一些區(qū)域比另一些區(qū)域更糟；也不是各向同性的，例如，沿著邊緣比沿著梯度方向有更糟的定位。圖3顯示了這種越過輪廓的各向異性的并且不均一的噪聲的例子。如圖所示，最初已沿著心內(nèi)膜壁的輪廓識別出各個點、例如點302、304、306及308。對每一個點進行確定性測量，并環(huán)繞每一個點創(chuàng)建一個橢圓，該橢圓指示特定點位于正確位置的確定性水平；橢圓越大，關(guān)于特定點的位置的不確定性水平就越高。如圖3所示，點302具有環(huán)繞它的相對小的橢圓，從而表明關(guān)于該點在輪廓上的位置的確定性程度高。點306和308具有環(huán)繞它們的相對大的橢圓，從而表明關(guān)于這些點的位置的不確定性程度高。
考慮到新輪廓點的一般不確定性模型，最佳投影將不再是正交的。實際上，子空間中的最佳解決方案是在形狀模型子空間中相交分布上的最大可能形狀。此外，如果在子空間中有分布模型，則沒有理由忽視這種額外信息。下面提供關(guān)于怎樣進行非正交投影的詳細(xì)分析；以及在可獲得子空間模型分布的情況下，怎么將這種模型的信息與不確定輸入相融合。
本發(fā)明使用基于子空間模型的融合方法。假定同一n維變量x的兩次有噪聲的測量，每次測量由多維Gaussian分布p1及p2來表征，x的最大似然估計是具有與兩質(zhì)心的Mahalanobis距離的最小和的點x*＝argmin dm，其中dm=(x-x1)TC1-1(x-x1)+(x-x2)TC2-1(x-x2)---(1)]]>對x求導(dǎo)，得到x*=C(C1-1x+C2-1x2)]]>(2)C=(C1-1+C2-1)-1]]>這也被稱為x的最佳線性無偏估計(BLUE)。
假定Gaussian分布中的一個位于維度為p的子空間中，例如，C2是奇的。在C2＝UΛUT的奇值分解的情況下，其中U＝[u1，u2，…，un]，u/s為標(biāo)準(zhǔn)正交并且Λ＝diag{λ1，λ2，…，λp，0，…，0}，將方程(1)中與x2的Mahalanobis距離改寫為規(guī)范形式dm,2=(x-x2)TC2-1(x-x2)=Σi=1nλi-1[UT(x-x2)]2---(3)]]>當(dāng)λi趨向于0時，dm，2趨于無窮大，除非U0TX＝O，其中U0＝[Up+1，Up+2，…，Un]。(這里我們假定在不喪失一般性的情況下，子空間通過初始空間的原點。由于x2位于子空間中，所以U0TX2＝0。)因此，僅僅需要在方程(3)中保留那些與非0λI對應(yīng)的項dm,2=Σi=1pλi-1[UpT(x-x2)]2≡(x-x2)TC2+(x-x2),---(4)]]>其中C+為C的偽逆，并且Up＝[u1，u2，…，up]。
此外，由于U0Tx＝0，所以x可以用另一種形式來表示以便反映這種限制，對于1×p向量y來說
x＝UUTx＝U([Up|U0]Tx)＝U[y|0]＝Upy(5)方程(1)現(xiàn)在可以采取下列盡管奇異性但卻一般的形式dm=(Upy-x1)TC1-1(Upy-x1)+(Upy-x2)TC2+(Upy-x2)---(6)]]>對y求導(dǎo)得到y(tǒng)*=Cy*UpT(C1-1x1+C2+x2)---(7)]]>Cy*=[UpT(C1-1+C2+)Up]-1---(8)]]>x*=Upy*=Cx*(C1-1x1+C2+x2)---(9)]]>Cx*=UpCy*UpT---(10)]]>方程(7)表示信息空間中的融合，隨后轉(zhuǎn)換到子空間中。方程(9)為返回到初始空間中的坐標(biāo)變換。可以看出，Cx*和Cy*是與x*及y*相應(yīng)的協(xié)方差矩陣。
注意，這種解決方案不是通過用偽逆來代替常規(guī)的逆的方程(2)的簡單概括，這不會將x*限制于子空間中。
作為替代方案，可以將方程(7)和(8)寫成y*=(UpTC1-1Up+Λp-1)-1(UpTC1-1x1+Λp-1y2)---(11)]]>這里y2是x2在由Up所跨越的子空間中的變換坐標(biāo)，并且Λp＝diag{λ1，λ2，...，λp}。
方程(11)還可被顯示為兩種分布的子空間中的BLUE融合，一種分布是N(y2，Λp)，另一種分布為N(x1，C1)在子空間中的“交集”(不是投影！)N((UTpC-11Up)-1UTpC-11x1，(UTpC-11Up)-1)。
將從大的訓(xùn)練樣品庫獲悉的統(tǒng)計形狀模型用于引導(dǎo)特定心臟的輪廓可能有時是有問題的。根據(jù)本發(fā)明，訓(xùn)練樣品被用于獲得當(dāng)前心臟的形狀模型，而不是一般心臟的形狀模型。因此，存在強烈的動機以使一般模型適應(yīng)已知的當(dāng)前情況。根據(jù)本發(fā)明，對患者心臟的心內(nèi)膜壁的初始模型(手動或者通過自動檢測)進行檢查，以調(diào)整現(xiàn)有的PCA模型。
在確定心內(nèi)膜壁的實際輪廓并對其運動進行跟蹤時，考慮兩種方法一種方法中初始輪廓是確定性的，另一種方法中初始輪廓是不確定的(這可以是初始輪廓來自自動檢測算法的情況，其也提供不確定性)。
當(dāng)初始輪廓被假定是一個點時(確定性地必然)，使用強適應(yīng)性PCA(SA-PCA)模型來跟蹤該點的運動。假定老的PCA模型(排除當(dāng)前情況)和針對當(dāng)前情況初始化了的輪廓共同表示當(dāng)前情況的變化，但相對能量(即典型功率)分別為α和(1-α)，其中0＜α＜1。換句話說，假定當(dāng)前情況的形狀變化的一部分將在通用模型中被表示，而其余部分在初始輪廓的方向上進行捕獲。
PCA模型由分別為Xm、Λ以及U的其平均值、特征值矩陣以及特征向量矩陣表示。如果存儲初始全協(xié)方差矩陣C(這將是初始維度不是可怕地高的情況)，所調(diào)節(jié)的平均值和協(xié)方差矩陣簡單地為兩貢獻源的加權(quán)和xm，new＝αxm+(1-α)x (12)Cnew＝α(C+(xm-xm，new)(xm-xm，new)T)+(1-α)(x-xm，new)(xm-xm，new)T＝αC+α(1-α)(x-xm)(x-xm)T(13)可對Cnew進行特征分析以獲得新的子空間模型。
在不存儲C但在子空間中只有{Xm，Λ，U}是可獲取的情況下，通過直接的代數(shù)操作，可得到如下的調(diào)整后的特征分析結(jié)果{Xm，new，Λnew，Unew}初始輪廓x具有諸如xs＝UTxd的子空間分量，其中xd＝x-xm，并且具有諸如xr＝(x-xm)-Uxs的剩余向量。使xru為范數(shù)為1的xr的標(biāo)準(zhǔn)化版本(或者如果xr為零范數(shù)，則為零)。
代表所結(jié)合的能量的調(diào)整后的特征向量矩陣將具有如下形式Unew＝[U，xru]R (14)R和Λnew將是下列特征分析問題的解(αΛ00T0+α(1-α)xsxsTerxserxsTer2)R=RΛnew---(15)]]>其中er＝XruT(x-xm)為剩余能量。
上述公式比IPCA更為常用，具有新數(shù)據(jù)和老數(shù)據(jù)之間的可調(diào)能量比。如果將α設(shè)定為模型中的點比點的總數(shù)的分?jǐn)?shù)，這些公式將變得與IPCA等同。通常，由于訓(xùn)練集中的輪廓數(shù)通常很大，這將是與1非常接近的數(shù)。在α被設(shè)置在較小的值(即0.5)的情況下，根據(jù)當(dāng)前情況強烈地調(diào)整PCA模型，由此得名。圖4顯示了具有不同α值的IPCA和SA-PCA的簡單的二維圖表。
點404代表當(dāng)前情況，每個x 402表示與特定模型相對應(yīng)的訓(xùn)練點。橢圓406顯示了初始模型分布。橢圓408說明了增量式PCA模型，其對應(yīng)于強適應(yīng)性PCA模型，其中α＝0.99。橢圓410顯示了強適應(yīng)性PCA模型，其中α＝0.5。橢圓412顯示了強適應(yīng)性PCA模型，其中α＝0.1。每個橢圓描繪了相應(yīng)分布的90％等同可能的輪廓。
實際上，與一般訓(xùn)練集中的那些輪廓相比，當(dāng)前心臟的輪廓更可能與同一心臟的初始輪廓相似，尤其是在當(dāng)前心臟具有在訓(xùn)練集中不能很好地表示的不規(guī)則的形狀的情況下。在我們的系統(tǒng)中，將α設(shè)定為0.5。這允許來自初始輪廓的較強的影響模型能量的50％來自初始輪廓(如果與用99例訓(xùn)練的模型一起應(yīng)用IPCA，這將減少到僅僅1％)。
圖5a-c顯示了IPCA和SA-PCA的比較。該胸骨旁短軸圖具有不規(guī)則的形狀(帶有凹陷部分)，而訓(xùn)練集中圓形形狀占絕對多數(shù)?？紤]初始輪廓(圖5a)但具有非常小的權(quán)重(＜0.01％)的增量式PCA模型不能捕獲當(dāng)前形狀的凹陷特性；而且將輪廓限制為典型的圓形形狀(圖5b)。事實上，這種結(jié)果與使用不具備增量步驟的老PCA模型得到的結(jié)果相同。具有α＝0.5的適應(yīng)性PCA模型更好地匹配真實的邊界(圖5c)。
利用融合方法的非正交投影與SA-PCA模型調(diào)整之間微妙的但重要的相互作用如下與模型平均值和協(xié)方差的融合對于濾出子空間中但距離模型分布太遠的輪廓來說是必要的。然而，這種(與正交投影相比)更強的限制將不可避免地改變低的可能性，或者心臟輪廓的界外值。SA-PCA模型通過使用在給定的初始輪廓中提供的額外信息而朝當(dāng)前情況的方向強烈移動模型來調(diào)和這種兩難問題。
卡爾曼濾波器融合來自由動態(tài)處理所限定的預(yù)測的信息和來自有噪聲的測量的信息。當(dāng)用于形狀跟蹤時，需要另外的全局限制來穩(wěn)定可行范圍內(nèi)的整體形狀。本發(fā)明利用統(tǒng)一的融合框架將子空間模型限制合并到卡爾曼濾波器中。
對于卡爾曼濾波器來說，測量更新方程具有如下形式xk+1|k+1＝xk+1|k+K(zk+1-Hxk+1|k) (16)其中K＝Pk+1|kHT(HPk+1|kHT+R)-1(17)Pk+1|k+1＝(I-KH)Pk+1|k(18)Pk+1|k＝SPk|kST+Q (19)這里P為估計誤差協(xié)方差，而xi|j為給定在時間j的狀態(tài)時在時間i的狀態(tài)估計。測量模型為zk＝H xk+rk，其中rk表示協(xié)方差為R的測量噪聲。系統(tǒng)/過程模型為xk+1＝S xk+qk，其中qk表示協(xié)方差為Q的系統(tǒng)噪聲。
使用上述方法，通過下式給出具有子空間限制和異方差噪聲的卡爾曼濾波器的更新方程xk+1|k+1=Pk+1|k+1((Pk+1|k+1+Q)+xk|k+R-1z+C2+x2)---(20)]]>pk+1|k+1=Up[UpT((Pk|k+Q)++R-1+C2+)Up]-1UpT---(21)]]>其中假定系統(tǒng)噪聲協(xié)方差Q被包含在子空間中。觀察這種結(jié)合信息空間中所有可獲取的知識的解決方案的對稱性。這些方程提供了系統(tǒng)動態(tài)、子空間限制和噪聲信息的統(tǒng)一的融合。它們代表影響跟蹤系統(tǒng)的各種不確定性的全部表示。
根據(jù)本發(fā)明的一種替代的實施例，使用一種跟蹤技術(shù)，其依賴于基于控制點的對象表示以及用于結(jié)合多幀的模型信息的魯棒的融合。在不同時間維持并獲取基于一組控制點的對象表示。魯棒地結(jié)合由控制點建議的估計運動來確定對象的下一位置。通過隨著時間保持幾個模型來獲得對對象的視覺跟蹤。該結(jié)果是表征對象外觀的概率密度函數(shù)的非參數(shù)表示。通過獨立地從每個模型通過光流獲得運動估計及其不確定性來進行跟蹤。利用魯棒的融合技術(shù)、例如基于可變帶寬密度的融合(Variable-Bandwidth Density-based Fusion(VBDF))程序來計算對每個控制點的最終估計。VBDF計算位移密度函數(shù)的最有意義模式的位置，同時考慮它們的不確定性。VBDF程序管理多個數(shù)據(jù)源以及位移估計中的界外值。通過大的殘留誤差的估計不確定性，自然地對掩蔽進行處理。模型被分成多個區(qū)域，針對這多個區(qū)域?qū)α鳘毩⒌剡M行計算。殘留校準(zhǔn)誤差被用于計算估計的協(xié)方差矩陣的比例，因而減小了不可靠的位移的影響。
在本發(fā)明中，通過基于多重模態(tài)控制點的方法來處理由于掩蔽和外觀變化而引起的對象跟蹤挑戰(zhàn)。保持二維外觀模型的幾個代表并不將其限制為單峰分布，并且VDBF機制魯棒地結(jié)合多個估計以確定每個控制點的最主要的運動。為了在跟蹤過程中對變化進行建模，保持對象外觀隨著時間的多個樣本。
圖10說明了根據(jù)本發(fā)明的示例性的基于多模型控制點的跟蹤裝置。頂部的三個幀1002、1004及1006說明了模型集中的當(dāng)前樣本，每個當(dāng)前樣本與一組重疊的控制點相關(guān)聯(lián)?；诳刂泣c的方法比整體表示更魯棒，并且因此對照明變化以及姿勢不太敏感。本發(fā)明的另一個優(yōu)點在于，可通過分析匹配可能性在控制點水平對部分掩蔽進行處理。
獨立地對每個控制點進行處理；根據(jù)所有的模型模板，在當(dāng)前圖像中對其位置和協(xié)方差矩陣進行估計。例如，控制點中的一個由灰色矩形1014來示出，其相對于每一模型的位置及不確定性在Inew1008中示出。如幀1010中所示，VBDF魯棒融合程序被用于確定具有相關(guān)的不確定性的最主要的運動(模式)。注意由于掩蔽或者外觀變化而引起的每一控制點的估計位置的方差。
控制點在當(dāng)前幀中的位置還通過全局參數(shù)運動模型來限制。利用每個控制點位置的置信度來估計相似變換模型及其參數(shù)。因此，可靠的控制點對全局運動估計的貢獻更大。如果參考外觀的殘余誤差相對低，則將當(dāng)前幀添加到模型集中。這樣選擇閾值，使得在對象具有明顯的掩蔽的情況下不添加圖像。模型中模板的數(shù)目可以是可變的或固定的。如果模板的數(shù)目是固定的，則可提供拋棄某些模板的方案(例如，拋棄最老的模板)。
一種VBDF估計器基于具有適應(yīng)性核帶寬的非參數(shù)密度估計。該VBDF估計器被限定為密度函數(shù)的最有意義模式的位置。模式計算是基于多標(biāo)度最佳化框架中的可變帶寬平均移動技術(shù)。
使xi∈Rd，i＝1...n為可得到的d維估計，每個估計具有由協(xié)方差矩陣Ci所給定的相關(guān)的不確定性。以多標(biāo)度方式迭代地確定密度函數(shù)的最有意義模式。帶寬矩陣Hi＝Ci+α2I與每一個點xi有關(guān)，其中I為單位矩陣，參數(shù)α決定了分析的標(biāo)度。在位置x處的采樣點密度估計量由下式限定f^(x)=1n(2π)d/2Σi=1nexp(-12D2(x,xi,Hi))---(22)]]>其中D表示x與xi之間的Mahalanobis距離D2(x,xi,Hi)=(x-xi)THi-1(x-xi)---(23)]]>在位置x處的可變帶寬平均移動向量由下式給出m(x)=Hh(x)Σi=1nωi(x)Hi-1xi-x---(24)]]>其中Hh表示用依賴于數(shù)據(jù)的權(quán)重ωi(x)加權(quán)的帶寬矩陣的調(diào)和平均值Hh(x)=(Σi=1nωi(x)Hi-1)-1---(25)]]>在當(dāng)前位置x計算出的依賴于數(shù)據(jù)的權(quán)重具有下列表達式ωi(x)=1|Hi|1/2exp(-12D2(x,xi,Hi))Σi=1n1|Hi|1/2exp(-12D2(x,xi,Hi))---(26)]]>并且注意，它們滿足Σi=1nωi(x)=1.]]>可以看出，對應(yīng)于點x+m(x)的密度總是大于或等于對應(yīng)于點x的密度。因此，利用平均移動向量對該位置進行重復(fù)更新，得到爬山過程，其集中于具有基本密度的固定點。
VBDF估計器通過以多個標(biāo)度重復(fù)應(yīng)用適應(yīng)性平均移動過程而找到最重要的模式。其通過根據(jù)點xi的分布選擇大的參數(shù)α而從大標(biāo)度開始。在這種情況下，密度表面為單峰的，因而所確定的模式將對應(yīng)于整體上密度最大的區(qū)域。在減小參數(shù)α的值并且從以前一標(biāo)度所確定的模式開始平均移動迭代時，重復(fù)該過程。對最后一個步驟來說，與每一個點相關(guān)的帶寬矩陣與協(xié)方差矩陣相等，即Hi＝Ci。
VBDF估計器是一種用于信息融合的強有力工具，其具有處理多源模型的能力。由于在局部鄰域中的點可能表現(xiàn)出多種運動，所以這一點對運動估計來說是重要的。最有意義模式對應(yīng)于最相關(guān)的運動。
考慮具有n個模型M0，M1，...Mn。針對每個圖像，維持c個成分，它們的位置由xij表示，i＝1...n，j＝1...c。當(dāng)可得到新的圖像時，對每一成分及每一模型的位置和不確定性進行估計。這一步驟可利用多種技術(shù)、例如基于圖像相關(guān)性、空間梯度或時空能量的調(diào)整的技術(shù)來完成。利用VBDF技術(shù)，結(jié)果為每一成分及其不確定性Cij的運動估計xij。因此xij表示成分j相對于模型i的位置估計。協(xié)方差矩陣的標(biāo)度還可根據(jù)匹配的殘余誤差來估計。當(dāng)相應(yīng)的控制點被掩蔽，因而在控制點水平對掩蔽進行處理時，這將增大協(xié)方差矩陣的尺寸。
VBDF魯棒融合技術(shù)被用于確定成分j在當(dāng)前幀中的最相關(guān)的位置xj。通過標(biāo)度的模式跟蹤得出
x^j=C(x^j)Σi=1nωi(x^j)C^ij-1x^ij]]>C(x^j)=(Σi=1nωi(x^j)C^ij-1)-1]]>(27)其中權(quán)重ωi如在公式(26)中那樣定義ωi(x^j)=1|Cij|1/2exp(-12D2(x^j,x^ij,Cij))Σi=1n1|Cij|1/2exp(-12D2(x^i,x^ij,Cij))---(28)]]>并且注意，它們滿足Σi=1nωi(x)=1.]]>可以看出，對應(yīng)于點x+m(x)的密度總是高于或等于對應(yīng)于點x的密度。因此，利用平均移動向量對當(dāng)前位置進行重復(fù)更新產(chǎn)生爬山過程，其集中于具有基本密度的固定點。
通過以多個標(biāo)度迭代地應(yīng)用適應(yīng)性平均移動過程，VBDF估計器找到最重要的模式。其通過根據(jù)點xi的分布選擇大的參數(shù)α而從大的標(biāo)度開始。在這種情況下，密度表面是單峰的，因而所確定的模式將對應(yīng)于整體上密度最大的區(qū)域。在減小參數(shù)α的值并且從以前一標(biāo)度所確定的模式開始平均移動迭代時，重復(fù)該過程。對最后一個步驟來說，與每一個點相關(guān)的帶寬矩陣與協(xié)方差矩陣相等，即Hi＝Ci。
VBDF估計器是一種用于信息融合的強有力的工具，其具有處理多源模型的能力。由于在局部鄰域中的點可能表現(xiàn)出多種運動，所以這一點對運動估計來說是重要的。最有意義模式對應(yīng)于最相關(guān)的運動。
現(xiàn)在將描述根據(jù)本發(fā)明的跟蹤多個控制點模型的例子。有n個模型M0，M1，...Mn。針對每個圖像，保持c個控制點，其中用xij，i＝1...n，j＝1...c來表示它們的位置。當(dāng)可得到新的圖像時，對每一控制點及每一模型的位置和不確定性進行估計。這一步驟可利用多種技術(shù)、例如基于圖像相關(guān)性、空間梯度或時空能量的調(diào)整的技術(shù)來完成。使用VBDF技術(shù)，結(jié)果為每一控制點及其不確定性Cij的運動估計xij。因此xij表示成分j相對于模型i的位置估計。協(xié)方差矩陣的標(biāo)度還可根據(jù)匹配的殘余誤差來估計。當(dāng)相應(yīng)的控制點被掩蔽，因而在控制點水平對掩蔽進行處理時，這將增大協(xié)方差矩陣的尺寸。
VBDF魯棒融合技術(shù)被用于確定成分j在當(dāng)前幀中的最相關(guān)的位置xj。通過標(biāo)度的模式跟蹤得出
x^j=C(x^j)Σi=1nωi(x^j)C^ij-1x^ij]]>C(x^j)=(Σi=1nωi(x^j)C^ij-1)-1]]>(29)其中權(quán)重ωi如在公式(28)中那樣定以ωi(x^j)=1|Cij|1/2exp(-12D2(x^j,x^ij,Cij))Σi=1n1|Cij|1/2exp(-12D2(x^i,x^ij,Cij))---(30)]]>在每個控制點的計算之后，利用由估計的協(xié)方差矩陣所給定的權(quán)重執(zhí)行加權(quán)的矩形擬合。圖像補丁通過由4個參數(shù)限定的相似變換T相關(guān)聯(lián)。動態(tài)控制點位置x的相似變換由下列方程來表征T(x)=a-bbax+txty---(31)]]>其中tx、ty為平移參數(shù)，并且a、b用參數(shù)表示2D旋轉(zhuǎn)和比例縮放。
最小化的標(biāo)準(zhǔn)為參考位置x0j與估計位置xj(當(dāng)前幀中第j個控制點位置)之間的Mahalanobis距離之和。
(x^j-T(xj0))TC(x^j)-1(x^j-T(xj0))---(32)]]>通過標(biāo)準(zhǔn)加權(quán)的最小平方來完成最小化。注意，由于協(xié)方差矩陣被用于每一控制點，所以具有高不確定性的點的影響被減小。
在矩形與所跟蹤的控制點擬合之后，對矩形內(nèi)的動態(tài)成分待選者均一地進行再采樣。假定每個控制點相對于矩形的相對位置不會改變很多。如果再采樣位置與通過某一控制點的光流計算出的跟蹤位置之間的距離大于可容許的閾值，則跟蹤位置被認(rèn)為是界外值并用再采樣點來代替。如果有足夠的控制點具有低的殘余誤差，則將當(dāng)前圖像添加到模型集中。將模型與當(dāng)前幀之間的中值殘余誤差與預(yù)定閾值Th相比較。
假設(shè)一組模型M0，M1，...，Mn，其中成分j在幀i中具有位置xij，我們的對象跟蹤算法可通過下列步驟來概括1.給定一幅新的圖像If，通過始自在前一幀中所估計的位置j(f-1)的魯棒光流[8]來計算ij(f)；2.對于j＝1...c，利用VBDF估計器(Subsection 3.2)估計成分j的位置j(f)，得出(6)；
3.利用通過最小化(9)所計算的變換來限制成分的位置；4.如果其中值殘余誤差小于Th，則將新的外觀添加到模型集中。
所建議的多模板框架可直接用于形狀跟蹤的環(huán)境。如果所跟蹤的點表示通過樣條函數(shù)來建模的形狀的控制點，則多位置估計的魯棒融合的使用增加了形狀的位置估計的可靠性。當(dāng)形狀空間受限于所獲悉的子空間限制時，其還導(dǎo)致較小的校正。如果可獲取輪廓，用于跟蹤的模型模板則可從基于形狀之間的距離的模型集中在線地進行選取。
圖6a及6b示出了左心室的超聲波心動描記圖像，其中根據(jù)本發(fā)明對心內(nèi)膜壁的運動進行跟蹤。每個圖602、610的幀1說明了壁的初始輪廓，如圖像中的點所示。后續(xù)幀604、606、608、612、614、616說明了如何隨著時間對壁的運動進行跟蹤。根據(jù)本發(fā)明對每一個點進行測量。
實例在本實例中將在超聲波心動描記圖像中手動跟蹤的心臟輪廓用作訓(xùn)練集。心尖四腔(開放輪廓)與胸骨旁短軸(封閉輪廓)圖都如圖7a-7d以及圖8a-8d所示的那樣進行測試。還針對每個輪廓對地標(biāo)點作注釋。圖7b和圖8b顯示了畫在一起的訓(xùn)練輪廓集。在每個輪廓是以有序地標(biāo)點的坐標(biāo)作為其分量的向量的情況下(開放輪廓具有34個分量，封閉輪廓具有36個分量)，應(yīng)用特征分析方法。然后對列為訓(xùn)練向量的矩陣執(zhí)行PCA。并且將特征值用于形成作為子空間中的模型協(xié)方差矩陣的診斷矩陣。調(diào)節(jié)測量協(xié)方差矩陣來測試不同的情形。
圖7a和8a示出了測試輪廓，其中實線曲線704、802為真值(ground truth)，而虛曲線702、804為有噪聲的測量。期望在特征輪廓子空間中找到與當(dāng)前有噪聲的輪廓最接近的輪廓，其中更多不確定的點需要更多的調(diào)節(jié)。圖7c和圖8c顯示了當(dāng)將正交投影應(yīng)用于圖7a和圖8a的輪廓時的結(jié)果(其中各向同性的協(xié)方差由圍繞地標(biāo)點的小圓712、812表示)。圖7d和圖8d顯示了結(jié)果?？梢钥闯?，該結(jié)果更接近于真值。由于訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)相當(dāng)不同，因而不是完美的擬合。因此，測試輪廓中一些小的形狀變形可能在子空間中是不能實現(xiàn)的。
根據(jù)本發(fā)明，可利用顯像工具對輪廓進行觀察以幫助診斷。為了使醫(yī)生更容易地從超聲波心動描記圖像中診斷出心臟疾病，通過彩色向量實時地顯示LV輪廓。向量的長度表示LV壁輪廓上的點的位移大小，而向量的方向表示LV壁輪廓上的點的運動方向。出于示例的目的，橙色被用于描繪收縮運動，深藍色被用于描繪擴張運動。圖9顯示了一種表示結(jié)果。LV輪廓上的點的運動被跟蹤。通過Gaussian在時域和空間域中對運動進行平滑。為了使醫(yī)生更容易看到，向量的長度被放大三倍。
通過這種顯像方法，醫(yī)生可以很容易地看到心內(nèi)膜的每段的具有大小和方向的運動。結(jié)合全局運動補償和這種顯像方法可使醫(yī)生很容易看到LV的所有段中的收縮方向和大小。局部缺血區(qū)域或其它異常區(qū)域可直接并且容易地用人眼識別出來。
已經(jīng)描述了在醫(yī)學(xué)檢查過程中確定特征靈敏性的方法的實施例，需要說明的是，根據(jù)上述教導(dǎo)，本領(lǐng)域的普通技術(shù)人員可進行修改和變化。因此應(yīng)當(dāng)理解，可在由所附的權(quán)利要求書所限定的本發(fā)明的精神和范圍內(nèi)公開的本發(fā)明的特定實施例中作出改變。因此，已經(jīng)描述了具有專利法所要求的細(xì)節(jié)及特征的本發(fā)明，該特征在所附的權(quán)利要求書中闡明，其要求并期望受到專利特許證的保護。
權(quán)利要求
1.一種用于跟蹤運動對象的整體形狀的方法，該方法包括如下步驟沿著所述整體形狀定義一個或多個控制點；當(dāng)所述對象運動時對所述一個或多個控制點中的每一個進行跟蹤；表示運動中的控制點的位置的不確定性；以及使用先驗的形狀模型，利用所述不確定性來限制所述整體形狀。
2.根據(jù)權(quán)利要求1的方法，其特征在于，對所述一個或多個控制點中的每一個進行跟蹤的步驟采用Bayesian核匹配方法。
3.根據(jù)權(quán)利要求1的方法，其特征在于，對所述一個或多個控制點中的每一個進行跟蹤的步驟采用基于光流的方法。
4.根據(jù)權(quán)利要求1的方法，還包括如下步驟在對所述一個或多個控制點進行跟蹤的過程中，通過使用多模板適應(yīng)性匹配框架來校正誤差積累。
5.根據(jù)權(quán)利要求1的方法，其特征在于，所述先驗的形狀模型為子空間形狀限制模型。
6.根據(jù)權(quán)利要求1的方法，其特征在于，強適應(yīng)性主成分分析(SA-PCA)模型被用于限制形狀。
7.根據(jù)權(quán)利要求1的方法，其特征在于，利用所述不確定性的步驟還包括使用協(xié)方差矩陣以便采用利用非正交投影或者信息融合的子空間形狀限制模型。
8.一種用于跟蹤運動對象的整體形狀的系統(tǒng)，包括用于沿著所述整體形狀的初始輪廓定義一個或多個控制點的裝置；用于在所述對象運動時對所述一個或多個控制點中的每一個進行跟蹤的裝置；用于表示運動中的控制點的位置的不確定性的裝置；以及用于在使用先驗的形狀模型時利用所述不確定性來限制整體形狀的裝置。
9.根據(jù)權(quán)利要求8的系統(tǒng)，其特征在于，跟蹤裝置采用Bayesian核匹配方法。
10.根據(jù)權(quán)利要求8的系統(tǒng)，其特征在于，跟蹤裝置采用基于光流的方法。
11.根據(jù)權(quán)利要求8的系統(tǒng)，還包括用于在對所述一個或多個控制點進行跟蹤的過程中通過使用多模板適應(yīng)性匹配框架來校正誤差積累的裝置。
12.根據(jù)權(quán)利要求8的系統(tǒng)，其特征在于，將強適應(yīng)性主成分分析(SA-PCA)模型用于限制輪廓的形狀。
13.根據(jù)權(quán)利要求8的系統(tǒng)，其特征在于，利用所述不確定性的步驟還包括使用協(xié)方差矩陣以便采用利用非正交投影或者信息融合的子空間形狀限制模型。
14.一種用于視覺跟蹤對象形狀的運動的方法，包括如下步驟產(chǎn)生一個或多個第一彩色向量來表示控制點沿著形狀的輪廓的收縮；產(chǎn)生一個或多個第二彩色向量來表示控制點沿著形狀的輪廓的擴張；周期性地顯示第一和第二彩色向量，從而顯示形狀的運動。
15.一種用于視覺跟蹤對象形狀的運動的系統(tǒng)，包括用于產(chǎn)生一個或多個第一彩色向量來表示控制點沿著形狀的輪廓的收縮的裝置；用于產(chǎn)生一個或多個第二彩色向量來表示控制點沿著形狀的輪廓的擴張的裝置；用于周期性地顯示第一和第二彩色向量從而顯示形狀的運動的裝置。
16.一種用于跟蹤運動對象的整體形狀的方法，該方法包括如下步驟沿著所述整體形狀定義一個或多個控制點；當(dāng)所述對象運動時對所述一個或多個控制點中的每一個進行跟蹤；針對每一個控制點建立多個外觀模型；以及結(jié)合由每一個模型所產(chǎn)生的運動向量以便跟蹤形狀。
17.根據(jù)權(quán)利要求16的方法，還包括如下步驟利用魯棒的信息融合來計算每個控制點的位置的估計值。
18.根據(jù)權(quán)利要求16的方法，其特征在于，基于一個或多個控制點的位置的不確定性來建立所述多個外觀模型。
19.根據(jù)權(quán)利要求18的方法，其特征在于，所述魯棒的信息融合是基于可變帶寬密度的融合(VBDF)。
20.根據(jù)權(quán)利要求19的方法，其特征在于，所述魯棒的信息融合包括下列步驟輸入由平均向量和協(xié)方差矩陣所表示的多個測量結(jié)果；通過計算可變帶寬密度估計值，將所述測量結(jié)果融合在一起；以及檢測可變帶寬密度估計值的最有意義的節(jié)點。
全文摘要
本發(fā)明公開了一種用于跟蹤運動對象的整體形狀的系統(tǒng)和方法。沿著整體形狀的初始輪廓定義一個或多個控制點。當(dāng)對象運動時，對一個或多個控制點中的每一個進行跟蹤。使用多種技術(shù)來表示運動中的控制點的位置的不確定性。使用先驗的形狀模型，利用該不確定性來限制整體形狀。在一種替代的實施例中，針對每個控制點建立多個外觀模型，并結(jié)合每個模型所產(chǎn)生的運動向量以便跟蹤對象的形狀?？墒褂蔑@示器和彩色向量來視覺跟蹤對象形狀的運動。
文檔編號G06T7/20GK1781123SQ200480006235
公開日2006年5月31日 申請日期2004年3月8日 優(yōu)先權(quán)日2003年3月7日
發(fā)明者D·科馬尼秋, S·克里什南, X·S·周, B·喬治斯庫 申請人:西門子共同研究公司, 美國西門子醫(yī)療解決公司