專利名稱：通過直接因式分解對(duì)可變形形狀配準(zhǔn)和建模的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)數(shù)字圖像中可變形形狀的配準(zhǔn)(registration)。
背景技術(shù)：
可變形物體的統(tǒng)計(jì)形狀模型對(duì)于很多任務(wù)來說都是非常重要的，如分割2DMRI腦圖像、從3D超聲波圖像跟蹤心肌壁運(yùn)動(dòng)以及從2DI視頻跟蹤和識(shí)別人臉。但很多測(cè)量方法產(chǎn)生物體形狀相對(duì)于局部坐標(biāo)系的坐標(biāo)，例如，從不同視點(diǎn)拍攝的人臉的2D圖像或人心臟的3D超聲波立體。為了提取形狀模型，必須將這些不同局部坐標(biāo)系下的度量配準(zhǔn)到一個(gè)公共系統(tǒng)中。
當(dāng)物體為剛性的時(shí)，所觀察的形狀的變化來自于局部坐標(biāo)系的取向和標(biāo)度之間的差別。對(duì)這些形狀進(jìn)行配準(zhǔn)相當(dāng)于估算在它們之間的相似性變換，這些變換包括縮放、旋轉(zhuǎn)和平移。
在真實(shí)世界中，很多生物體和自然景象改變其形狀，如人臉和心臟。所觀察的形狀由于以下兩種相互關(guān)聯(lián)的因素而發(fā)生改變剛性相似性變換和非剛性形變。因此，配準(zhǔn)的目的在于對(duì)這兩種因素進(jìn)行分解和恢復(fù)。一種公知的方法是Generalized Procrustes Analysis(GPA)，其將形變視為高斯噪聲，并將每個(gè)觀察的形狀與一質(zhì)心形狀對(duì)準(zhǔn)，該質(zhì)心形狀是在剛體情況下已對(duì)準(zhǔn)的形狀的平均值。該配準(zhǔn)過程迭代地進(jìn)行，直至其收斂于一穩(wěn)態(tài)質(zhì)心。
可變形物體的形狀通常是一些形狀基的線性組合，如2D和3D人臉形狀以及2D心肌形狀。當(dāng)這樣的形變不明顯時(shí)，即與形變相比平均形狀占優(yōu)勢(shì)時(shí)，或當(dāng)它們相對(duì)于平均形狀對(duì)稱時(shí)，即正和負(fù)偏移量相互抵消時(shí)，可將這些形變視為高斯噪聲，并且Generalized Procrustes Analysis可以成功地用于配準(zhǔn)可變形形狀。然后可將原理成分分析(Principle Component Analysis)用于對(duì)準(zhǔn)的形狀以計(jì)算線形形變模型。但在很多應(yīng)用中，形變是明顯的，并且是非對(duì)稱的，例如由靜態(tài)建筑物和移動(dòng)的汽車構(gòu)成的動(dòng)態(tài)情景，或非同步眨動(dòng)的雙眼。在這樣的情況下，不能將形變視為高斯噪聲。因?yàn)镚eneralized Procrustes Analysis在配準(zhǔn)過程中不考慮非剛體形變，這樣的形變將使配準(zhǔn)以及因此產(chǎn)生的線形模型存在偏向。

發(fā)明內(nèi)容
在此舉例描述的本發(fā)明的實(shí)施例一般地包括用于直接因式分解的系統(tǒng)和方法，其將剛體相似性變換和非剛體形變分開。直接因式分解對(duì)于在任意維度上同時(shí)配準(zhǔn)可變形形狀和重構(gòu)線性形變模型獲得線性封閉式解?？勺冃涡螤畹木€性基表示已被成功地用于從2D圖像中恢復(fù)3D形狀。直接因式分解方法分別對(duì)剛體旋轉(zhuǎn)的正交性和可變形形狀基的唯一性實(shí)行線性約束，并對(duì)同時(shí)配準(zhǔn)所觀察的形狀和重構(gòu)形變基得出線性封閉式解。
本發(fā)明的一個(gè)實(shí)施例提供了對(duì)數(shù)字圖像中的可變形形狀進(jìn)行配準(zhǔn)和建模的方法，包括步驟提供一組可變形形狀的度量，其中所述度量組形成度量矩陣；以及同時(shí)解剛體配準(zhǔn)變換和線形模型。
本發(fā)明的另一實(shí)施例提供了對(duì)數(shù)字圖像中的可變形形狀進(jìn)行配準(zhǔn)和建模的方法，包括步驟提供D維可變形形狀的P點(diǎn)的N個(gè)度量的度量矩陣W；對(duì)于該N個(gè)度量確定基數(shù)K，其中K＜N，并選擇所述度量矩陣W的K個(gè)度量作為基集；將所述度量矩陣W分解為矩陣乘積M×B，其中M是建議的縮放旋轉(zhuǎn)矩陣(scaled rotation matrix)，而B是建議的基矩陣；計(jì)算由MiQkMjT=ID×D,i=j=k0D×D,(i,j)∈Φ]]>定義的矩陣QK，其中，Φ表示{(i，j)|i＝1，...，K；j＝1，...，N；iγk}，其表示將建議的縮放旋轉(zhuǎn)矩陣和建議的基矩陣變換為真縮放旋轉(zhuǎn)矩陣和真基矩陣的多值矩陣；對(duì)于k＝1，...，K1，將矩陣Qk分解為gkgkT，gk是DK％DK矩陣G的列；以及從M×G恢復(fù)真縮放旋轉(zhuǎn)矩陣，從G-1XB恢復(fù)真基矩陣。
本發(fā)明的另一實(shí)施例提供了計(jì)算機(jī)可讀程序存儲(chǔ)裝置，其中存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令的程序，用于實(shí)現(xiàn)在數(shù)字圖像中對(duì)可變形形狀進(jìn)行配準(zhǔn)和建模的方法，包括步驟提供一組可變形形狀的度量，其中所述度量組形成度量矩陣；以及同時(shí)解剛體配準(zhǔn)變換和線形模型。


圖1示出根據(jù)本發(fā)明實(shí)施例的直接因式分解配準(zhǔn)過程的流程圖；圖2示出用于實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的直接因式分解配準(zhǔn)過程的示例計(jì)算機(jī)系統(tǒng)的框圖。
具體實(shí)施例方式
在此舉例描述的本發(fā)明的實(shí)施例一般地包括用于直接因式分解配準(zhǔn)的系統(tǒng)和方法，其將剛體相似性變換和非剛體形變分開。
根據(jù)本發(fā)明的實(shí)施例，可將非剛性物體的形狀視為K個(gè)形狀基{Bk，k＝1，...，K}的線性組合。每個(gè)基是D×P矩陣，其表示形狀上的P個(gè)點(diǎn)，以在D維物體形狀空間中改變位置。因此該形狀在時(shí)間i的坐標(biāo)為Si=Σk=1KlikBk---(1)]]>其中，lik是基Bk的組合權(quán)重。物體形狀可從不同角度、以不同的距離和不同的標(biāo)度來度量。因此在物體形狀和其度量之間存在如下相似性變換Wi＝ciRiSi+Ti1(2)其中，ci為非0標(biāo)量，Ri為D×D正交矩陣，Ti為D×1向量，它們分別表示縮放、旋轉(zhuǎn)和平移變換，并且共同形成相似性變換。1是所有元素均為1的1×P向量。用公式(1)替代Si，并將ci合并到lik，得到Wi=(lilRi,...,likRi,Ti).B1...Bk1.---(3)]]>如果測(cè)量了可變形形狀的N個(gè)觀察，則可將這些度量堆疊成DN×P矩陣W。W中的N個(gè)D行中的每一個(gè)分別包含一個(gè)觀察的形狀。根據(jù)公式(3)，由于所有觀察的形狀都引用相同的形狀基集合，因此得到W=(MT)B1,---(4)]]>
其中，M是DN×DK縮放旋轉(zhuǎn)矩陣，B是DK×P基矩陣，而T是DN×1平移向量，如下所示M=l11R1···l1KR1...lN1RN···lNKRN]]>B=B1...BK---(5)]]>T=T1...TN.]]>因此，對(duì)可變形形狀的配準(zhǔn)和建模包括對(duì)度量矩陣W進(jìn)行分解以同時(shí)在M和T中恢復(fù)剛體相似性變換，和在B中重構(gòu)非剛體形變模型。為了準(zhǔn)確地對(duì)準(zhǔn)觀察的形狀，應(yīng)如公式(4)中那樣對(duì)W中的度量進(jìn)行直接因式分解，以同時(shí)重構(gòu)B中的可變形形狀基以及M和T中的剛體相似性變換。
根據(jù)本發(fā)明的實(shí)施例，因式分解W的第一步是將世界坐標(biāo)原點(diǎn)定位在所觀察的形狀的中心。然后在T中的平移相當(dāng)于形狀點(diǎn)的平均坐標(biāo)。將它們從度量中減去，得到W~=E-T·1=MB.]]>假設(shè)形變和剛體旋轉(zhuǎn)都是非退化的，即縮放旋轉(zhuǎn)矩陣M和形狀基矩陣B都是滿秩的，則根據(jù)公式(5)，M的秩為min{DN，DK}，B的秩為min{DK，P}。它們的乘積 的秩為min{DK，DN，P}。一般來說，形狀數(shù)N和點(diǎn)數(shù)P要比基數(shù)K大得多，以使得DN＞DK以及P＞DK。因此 的秩為DK，而K由K=rank(W~)/D]]>來確定。
根據(jù)本發(fā)明的實(shí)施例，可以采用奇異值分解(SVD)來將 分解為DN×DK矩陣 和DK×P矩陣 的乘積。該分解僅確定到非奇異DK×DK線性變換。真縮放旋轉(zhuǎn)矩陣M和基矩陣B的形式為M=M~·G]]>B=G-1·B~′---(6)]]>其中，G為確定M和B的非奇異DK×DK多值變換(ambiguity transformation)?，F(xiàn)在，對(duì)可變形形狀進(jìn)行配準(zhǔn)和建模的確定變?yōu)樵诮o定 下計(jì)算G。
矩陣G具有K個(gè)D列，表示為gk，k＝1，...，K，其中每列為DK×D矩陣。由于G是非奇異的，因此這些列彼此獨(dú)立。根據(jù)公式(5，6)，gk滿足
M~gk=l1kR1...lNkRN,---(7)]]>其中 具有N個(gè)D行，表示為 ，i＝1，...N，其中每行為D×DK矩陣。設(shè)Qk＝gkgkT，由多值矩陣列的乘積構(gòu)成DK×DK對(duì)稱矩陣。那么有M~iQkM~jT=likljkRiRjT,i,j=1,...,N.---(8)]]>為了計(jì)算Qk，有兩種類型的約束可用旋轉(zhuǎn)矩陣的正交性和形狀基的唯一性。
對(duì)旋轉(zhuǎn)矩陣的正交性約束可用于從2D圖像推斷3D結(jié)構(gòu)和運(yùn)動(dòng)。由于旋轉(zhuǎn)的正交性，可從以上公式得到M~iQkM~iT=lik2ID×D,i=1,...,N---(9)]]>其中，ID×D是D×D單位矩陣。以上D個(gè)對(duì)角線元素相等并且得到對(duì)Qk的D-1個(gè)線性約束。所有非對(duì)角線元素都為0。由于Qk是對(duì)稱的，有(D2-D)/2個(gè)線性約束。
根據(jù)本發(fā)明的實(shí)施例，對(duì)于N個(gè)觀察的形狀得到(N/2)(D2+D-2)個(gè)線性約束。對(duì)稱矩陣Qk具有(D2K2+DK)/2個(gè)不同的元素。當(dāng)N足夠大，以至于N≥D2K2+DKD2+D-2]]>時(shí)，可以用公式(9)中的線性正交約束來確定Qk。但是，這些約束中的大多數(shù)依賴于其它約束并因此是冗余的。但是，可以看到，對(duì)于正交性約束的通解為Qk＝G(Ω+Λ)GT，其中Ω是任意塊斜對(duì)稱矩陣，Λ是任意塊縮放單位矩陣。Λ和Ω都是對(duì)稱的。Λ的每個(gè)D×D塊都是縮放單位矩陣。Ω的所有對(duì)角D×D塊都是零矩陣，所有非對(duì)角D×D塊都是斜對(duì)稱矩陣。
Λ和Ω分別包含(K2+K)/2和(K2-K)(D2-D)/4個(gè)變量。因此，無論測(cè)量多少可變形形狀的觀察，僅實(shí)行導(dǎo)致自由度為((K2-K)(D2-D)+(K2+K))/4的多值解空間的正交性約束。此外，該空間包含無效解。具體地說，由于期望的Qk＝gkgkT是半正定的，因此當(dāng)(Ω+Λ)不為半正定時(shí)解Qk＝G(Ω+Λ)GT無效。在該空間中的確存在這樣的無效解。例如，當(dāng)Λ＝0時(shí)，(Ω+Λ)等于非半正定的塊斜對(duì)稱矩陣Ω。
正交性約束本質(zhì)上是多值的原因在于不能確定唯一一組形狀基。對(duì)基所實(shí)施的任何非奇異線性變換都會(huì)導(dǎo)致另一個(gè)合格基的集合。為了消除多值性，實(shí)施能保證形狀基的唯一性的約束。
可以從K個(gè)觀察的形狀來形成 的DK×P子矩陣，其中K是先前確定的基數(shù)。 的條件數(shù)是對(duì)所基于的可變形形狀的獨(dú)立性的度量。較小的條件數(shù)表示較強(qiáng)的獨(dú)立性。根據(jù)本發(fā)明的實(shí)施例，計(jì)算K個(gè)觀察的形狀的每個(gè)可能的集合的條件數(shù)，并選擇具有最小條件數(shù)的集合。該集合包含最獨(dú)立的K個(gè)可變形形狀。由于在線性變換空間中的任何K個(gè)獨(dú)立形狀都可被視為基集合，所以這些可變形形狀都可以被描述為唯一的基集合，即所選擇的觀察分別是縮放和旋轉(zhuǎn)形狀基。由于縮放不影響形狀的獨(dú)立性，因此將標(biāo)量吸收到基中，而所選擇的觀察則僅僅是旋轉(zhuǎn)這些基。
將所選擇的觀察表示為第一K個(gè)度量，即W~=RiBi,]]>i＝1，...，K，則對(duì)應(yīng)的系數(shù)為Iij＝1，i＝1，...，K(10)Iij＝0，i，j＝1，...，K，iγj。
根據(jù)公式(8，10)MiQkMjT=ID×D,i=j=k0D×D,(i,j)∈Φ---(11)]]>其中Φ表示{(i，j)|i＝1，...，K；j＝1，...，N；iγk}。這些4N(K-1)個(gè)線性約束唯一地確定了形狀基。
解公式(9)和(11)中的線性方程得到封閉式解Qk＝gkgkT，k＝1，...，K?？梢酝ㄟ^SVD分解Qk來恢復(fù)gk。由于(gkΨ)(gkΨ)T也等于Qk，因此Qk的分解相當(dāng)于任意D×D正交變換Ψ。該多值性因gl，...，gk是在不同的坐標(biāo)系下獨(dú)立被估計(jì)的這一事實(shí)而產(chǎn)生。為了解決多值性問題，需要將gl，...，gk變換到單一參考坐標(biāo)系下。
但是，根據(jù)公式(7)，M~igk=likRi,i=1,...,N.]]>由于旋轉(zhuǎn)矩陣Ri是正交的，即|Ri|=1,Ri=±M~igk|M~igk|.]]>符號(hào)由參考坐標(biāo)系的取向來確定。根據(jù)本發(fā)明的實(shí)施例，分別采用gl，...，gk來計(jì)算K個(gè)旋轉(zhuǎn)集合。由于分解多值性，在每兩個(gè)集合之間存在D×D正交變換。作為參考對(duì)旋轉(zhuǎn)集合之一進(jìn)行描述。確定其它旋轉(zhuǎn)的符號(hào)，使它們與對(duì)應(yīng)的參考旋轉(zhuǎn)一致。通過正交Procrustes Analysis來計(jì)算正交變換，以將標(biāo)以符號(hào)的旋轉(zhuǎn)集合變換為參考集合。這些正交變換還將gl，...，gk變換到公共坐標(biāo)系下，即得到期望的多值變換G。然后通過公式(7)來計(jì)算系數(shù)，通過公式(6)來恢復(fù)形狀基。它們的組合重構(gòu)該可變形形狀。
圖1示出根據(jù)本發(fā)明實(shí)施例的直接因式分解配準(zhǔn)過程的流程圖?，F(xiàn)在參考該圖，配準(zhǔn)在步驟11通過計(jì)算作為度量W的平均值的平移T然后通過W~=W-T·1]]>將其消除開始。然后，在步驟12，對(duì)因數(shù)W~=MB]]>實(shí)施SVD，其中M為DN％DK矩陣，B為DK％P矩陣。主導(dǎo)能量的 的秩為DK?；鶖?shù)K由 定義，其中D是物體形狀空間的維數(shù)。在步驟13，選擇K基觀察Wk，重新排列 并通過SVD計(jì)算W~=M~·B~]]>的秩DK近似值。在步驟14，通過解線性方程M~iQkM~iT=lik2ID×D,i=1,...,N]]>或MiQkMjT=ID×D,i=j=k0D×D,(i,j)∈Φ]]>來通過最小二乘法由公式(9)和(11)計(jì)算矩陣Qk，k＝1，...，K。在步驟15，通過SVD計(jì)算G的gk，k＝1，..，K，并從Ri=±M~igk|M~igk|]]>恢復(fù)旋轉(zhuǎn)。采用正交ProcrustesAnalysis將這些旋轉(zhuǎn)變換到公共坐標(biāo)系。在步驟16，從M=M~·G]]>和B=G-1·B~]]>恢復(fù)線形模型，并從M~gk=l1kR1...lNkRN]]>恢復(fù)系數(shù)。
它們的組合重構(gòu)配準(zhǔn)的形狀。為了節(jié)省計(jì)算費(fèi)用，可以在定位了一組具有足夠小條件數(shù)的K個(gè)觀察的形狀之后停止對(duì)基本觀察的搜索，因?yàn)樗鼈兠枋隽艘唤M獨(dú)立的形狀，但是，較多的獨(dú)立形狀導(dǎo)致較多的可靠配準(zhǔn)。當(dāng)確定基數(shù)為1時(shí)，形狀被視為剛體但為噪聲數(shù)據(jù)，并獲得類似于GPA的最小二乘配準(zhǔn)。
對(duì)根據(jù)本發(fā)明實(shí)施例的方法的性能進(jìn)行了利用模擬數(shù)據(jù)和真實(shí)數(shù)據(jù)的測(cè)試，包括人臉、心肌和動(dòng)態(tài)情景。
對(duì)直接因式分解的準(zhǔn)確性和堅(jiān)固性相對(duì)于不同的測(cè)量噪聲級(jí)別和基數(shù)進(jìn)行了量化評(píng)估。假設(shè)為高斯白噪聲，噪聲強(qiáng)度由噪聲的Frobenius范數(shù)和度量之間的比率表示 。對(duì)該算法分別在5種不同的噪聲級(jí)別下進(jìn)行了測(cè)試，即0％、5％、10％、15％和20％。在每個(gè)級(jí)別上，分別在2D空間中對(duì)包含1個(gè)基的剛體設(shè)置和包含2個(gè)，...，10個(gè)基的非剛體設(shè)置進(jìn)行了檢驗(yàn)。對(duì)于每種設(shè)置進(jìn)行了100次檢驗(yàn)。在每次檢驗(yàn)中隨機(jī)產(chǎn)生基并進(jìn)行標(biāo)準(zhǔn)化(|Bi|＝1)。因此它們一般是非對(duì)稱的。構(gòu)建了66個(gè)形狀作為基的線性組合。組合權(quán)重是這樣隨機(jī)產(chǎn)生的使得不同基的權(quán)重具有相同的數(shù)量級(jí)，即沒有一個(gè)基占優(yōu)勢(shì)。然后對(duì)這些形狀進(jìn)行隨機(jī)縮放、旋轉(zhuǎn)、平移并用噪聲污染以產(chǎn)生觀察。由于各個(gè)基對(duì)于形狀組合作出的貢獻(xiàn)是相等的，因此基數(shù)越大，形狀就越為“非剛體”，并且相對(duì)于各個(gè)單獨(dú)的基噪聲就越強(qiáng)。因此，一般來說，當(dāng)包含更多的基時(shí)，配準(zhǔn)就對(duì)測(cè)量噪聲越敏感。
所觀察的形狀分別通過擬定的方法和GPA來配準(zhǔn)。由于旋轉(zhuǎn)空間的多樣性，將誤差測(cè)量為以度表示的黎曼距離d(Rest，Rtruth)＝across(trace(RestRTtruth)/2)。采用經(jīng)對(duì)準(zhǔn)的形狀來重構(gòu)形狀基，然后將這些對(duì)準(zhǔn)的形狀投影到經(jīng)恢復(fù)的形狀空間中以獲得期望的可變形形狀。形狀的相對(duì)重構(gòu)誤差被計(jì)算為|重構(gòu)-真實(shí)|/|真實(shí)|。
當(dāng)噪聲級(jí)別為0％時(shí)，直接因式分解方法總是能夠以零誤差恢復(fù)確切的剛體旋轉(zhuǎn)和可變形形狀。當(dāng)如預(yù)期的加入噪聲時(shí)，配準(zhǔn)對(duì)噪聲更敏感，并且當(dāng)基數(shù)較大時(shí)誤差也較大。盡管如此，直接因式分解方法仍能獲得合理的準(zhǔn)確性，例如在10個(gè)基和20％噪聲級(jí)別的最壞情況下，形狀的平均誤差小于18％，旋轉(zhuǎn)的平均誤差小于7.5度。在剛體設(shè)置的情況下，這些方法都將形狀視為剛體但為噪聲數(shù)據(jù)，因此處理是相似的。即便是在沒有噪聲的情況下，對(duì)于形狀仍得到明顯的22％的誤差，以及對(duì)旋轉(zhuǎn)的11度的誤差。在基數(shù)較大時(shí)，GPA的誤差也較大。但GPA的性能對(duì)噪聲較不敏感，因?yàn)槠溆?jì)算對(duì)高斯白噪聲不敏感的最小二乘解。
人臉是高度非剛體的物體。可以看出臉部形狀的2D圖像是一些基本結(jié)構(gòu)的線性組合。該線性統(tǒng)計(jì)模型有助于如臉部跟蹤和識(shí)別這樣的任務(wù)。一個(gè)測(cè)試序列包括180個(gè)圖像，這些圖像包含臉部旋轉(zhuǎn)以及如眨眼和微笑這樣的臉部表情。2D臉部形狀由68個(gè)特征點(diǎn)表示。從形狀度量中減去平移、即平均坐標(biāo)，則平移后的形狀由形變和旋轉(zhuǎn)組成。估計(jì)基數(shù)為3，則在根據(jù)秩約束分解之后能夠保留平移形狀的99％的能量。然后采用建議的方法重構(gòu)剛體旋轉(zhuǎn)和3基線形模型。將經(jīng)配準(zhǔn)的形狀投影到線形空間以恢復(fù)3基可變形形狀。
另一測(cè)試?yán)邮悄槻啃螤钚蛄?，其中形變是非?duì)稱且非隨機(jī)的右眼瞼和眉毛向上張開，而在同時(shí)左眼瞼和眉毛向下閉合。從一個(gè)固定的視角來觀察這些形狀，不進(jìn)行剛體旋轉(zhuǎn)和平移。由此，所觀察的形狀由兩個(gè)基組成。采用GPA的配準(zhǔn)和重構(gòu)顯然包括在實(shí)際中不可能發(fā)生的旋轉(zhuǎn)，而直接因式分解方法則可以正確地配準(zhǔn)形狀并重構(gòu)形變模型。
人體器官如心臟和大腦通常動(dòng)態(tài)地或因人而異地改變其形狀。在很多應(yīng)用中采用統(tǒng)計(jì)形狀模型來解釋這些物體的圖像，如在分割2D MRI腦圖像中以及在2D超聲波圖像中跟蹤心肌壁運(yùn)動(dòng)中。對(duì)根據(jù)本發(fā)明實(shí)施例的方法在配準(zhǔn)2D超聲波心動(dòng)圖像中的心肌形狀和提取線形空間中進(jìn)行了測(cè)試。觀察數(shù)據(jù)由120個(gè)心肌圖像組成。該方法確定基數(shù)為3，并恢復(fù)旋轉(zhuǎn)和3基可變形形狀。最占主導(dǎo)地位的基約占總能量的90％，即形變類似于隨機(jī)噪聲是不明顯的。
對(duì)于如機(jī)器人導(dǎo)航和可視觀測(cè)這樣的任務(wù)來說，對(duì)動(dòng)態(tài)情景的3D建模是很重要的。當(dāng)3D情景由靜態(tài)建筑物和沿直線運(yùn)動(dòng)的車輛及行人組成時(shí)，形狀由線性基組成靜態(tài)部分和直線運(yùn)動(dòng)。一個(gè)示例序列包含三個(gè)同時(shí)沿相應(yīng)方向移動(dòng)的玩具，兩個(gè)在桌子上一個(gè)沿斜面運(yùn)動(dòng)。其它情景是靜態(tài)的。情景形狀由兩個(gè)基組成，一個(gè)用于靜態(tài)物體，另一個(gè)用于線性運(yùn)動(dòng)。從不同的視角觀察18個(gè)形狀。利用直接因式分解方法正確地重構(gòu)了該2基動(dòng)態(tài)情景形狀。由于線性3D運(yùn)動(dòng)是明顯且非對(duì)稱的，不應(yīng)把對(duì)應(yīng)的形變視為高斯噪聲。
應(yīng)當(dāng)理解，本發(fā)明可以在各種硬件、軟件、固件、專用過程或它們的組合中實(shí)現(xiàn)。在一種實(shí)施方式中，本發(fā)明可以作為應(yīng)用程序在存儲(chǔ)在計(jì)算機(jī)可讀程序存儲(chǔ)設(shè)備上的軟件中實(shí)現(xiàn)。該應(yīng)用程序可被加載到包括任何合適的體系結(jié)構(gòu)的機(jī)器上，并由該機(jī)器執(zhí)行。
圖2示出用于實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的直接因式分解配準(zhǔn)方法的示例計(jì)算機(jī)系統(tǒng)的框圖。參見圖2，用于實(shí)現(xiàn)本發(fā)明的計(jì)算機(jī)系統(tǒng)21，特別包括中央處理單元(CPU)22、存儲(chǔ)器23和輸入/輸出(I/O)接口24。計(jì)算機(jī)系統(tǒng)21通常通過I/O接口24耦合到顯示器25和各種輸入設(shè)備26，如鼠標(biāo)和鍵盤。支持電路可以包括如高速緩存、電源、時(shí)鐘電路及通信總線等電路。存儲(chǔ)器23可以包括隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、磁盤驅(qū)動(dòng)器、磁帶驅(qū)動(dòng)器等，或者是它們的組合。本發(fā)明可以作為例程27實(shí)現(xiàn)，其存儲(chǔ)在存儲(chǔ)器23中并由CPU 22執(zhí)行以處理來自信號(hào)源28的信號(hào)。因此，計(jì)算機(jī)系統(tǒng)2 1是通用計(jì)算機(jī)系統(tǒng)，其在執(zhí)行本發(fā)明的例程27時(shí)成為專用計(jì)算機(jī)系統(tǒng)。
計(jì)算機(jī)系統(tǒng)21還包括操作系統(tǒng)和微指令代碼。在此描述的各種處理和功能可以是微指令代碼的一部分，也可以是通過操作系統(tǒng)執(zhí)行的應(yīng)用程序的一部分(或是它們的組合)。此外，還可將各種其它外部設(shè)備連接到計(jì)算機(jī)平臺(tái)，如附加的數(shù)據(jù)存儲(chǔ)設(shè)備和打印設(shè)備。
還應(yīng)理解，由于附圖所示的一些子系統(tǒng)部件和方法步驟可以用軟件實(shí)現(xiàn)，系統(tǒng)部件(或處理步驟)之間的實(shí)際連接可能會(huì)因本發(fā)明被編程的方式而有所不同。本領(lǐng)域的技術(shù)人員根據(jù)在此提供的本發(fā)明的教導(dǎo)可以預(yù)見到這些并可以實(shí)現(xiàn)本發(fā)明的相似實(shí)現(xiàn)和配置。
在參考優(yōu)選實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)描述的同時(shí)，本領(lǐng)域的技術(shù)人員還可以在不脫離如所附權(quán)利要求所述的本發(fā)明的精神和范圍的情況下進(jìn)行各種修改和替換。
權(quán)利要求
1.一種對(duì)數(shù)字圖像中的可變形形狀進(jìn)行配準(zhǔn)和建模的方法，包括以下步驟提供一組可變形形狀的度量，其中所述度量組形成度量矩陣；以及同時(shí)解剛體配準(zhǔn)變換和線形模型。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述同時(shí)解剛體配準(zhǔn)變換和線形模型的步驟包括形成所述度量組的平均值并將該平均值從所述度量組中減去；將所述度量矩陣分解為建議的縮放旋轉(zhuǎn)矩陣和建議的基矩陣的乘積；由所述建議的縮放旋轉(zhuǎn)矩陣和建議的基矩陣計(jì)算多值變換的乘積矩陣；約束并分解所述乘積矩陣以確定多值變換矩陣；利用所述多值變換矩陣確定真縮放旋轉(zhuǎn)矩陣和真基矩陣；以及由所述真縮放旋轉(zhuǎn)矩陣和真基矩陣構(gòu)建經(jīng)配準(zhǔn)的形狀。
3.根據(jù)權(quán)利要求2所述的方法，還包括確定所述度量矩陣的秩，并從該秩中確定基數(shù)K。
4.根據(jù)權(quán)利要求3所述的方法，其中，所述度量組是從N個(gè)度量中選出的K個(gè)度量的子集，其中K＜N，并且其中所述選出的子集具有在該K個(gè)度量的所有可能的子集中最小的條件數(shù)。
5.根據(jù)權(quán)利要求2所述的方法，其中，采用奇異值分解來分解所述度量矩陣。
6.根據(jù)權(quán)利要求4所述的方法，其中，通過對(duì)建議的縮放旋轉(zhuǎn)矩陣施加正交性約束以及對(duì)建議的基矩陣施加唯一性約束來計(jì)算所述多值變換矩陣。
7.根據(jù)權(quán)利要求2所述的方法，其中，采用奇異值分解來分解所述多值變換矩陣。
8.根據(jù)權(quán)利要求6所述的方法，其中，所述對(duì)建議的基矩陣施加唯一性約束還包括選擇具有最小條件數(shù)的K個(gè)度量作為旋轉(zhuǎn)的基集合，以及對(duì)建議的縮放旋轉(zhuǎn)矩陣計(jì)算縮放系數(shù)。
9.根據(jù)權(quán)利要求7所述的方法，還包括步驟采用正交Procrustes分析將所述多值變換矩陣變換到公共坐標(biāo)系。
10.一種對(duì)數(shù)字圖像中的可變形形狀進(jìn)行配準(zhǔn)和建模的方法，具有以下步驟提供D維可變形形狀的P點(diǎn)的N個(gè)度量的度量矩陣W；對(duì)于該N個(gè)度量確定基數(shù)K，其中K＜N，并選擇所述度量矩陣W的K度量作為基集；將所述度量矩陣W分解為矩陣乘積M×B，其中M是建議的縮放旋轉(zhuǎn)矩陣，而B是建議的基矩陣；計(jì)算由MiQiMjT=ID×D,i=j=kOD×D,(i,j)∈Φ]]>定義的矩陣QK，其中， Ф表示{(i，j)|i＝1，...，K；j＝1，..，N；iγk}，其表示將建議的縮放旋轉(zhuǎn)矩陣和建議的基矩陣變換為真縮放旋轉(zhuǎn)矩陣和真基矩陣的多值矩陣；對(duì)于k＝1，...，K1，將矩陣QK分解為gkgkT，gk是DK％DK矩陣G的列；以及從M×G恢復(fù)真縮放旋轉(zhuǎn)矩陣，從G-1XB恢復(fù)真基矩陣。
11.根據(jù)權(quán)利要求10所述的方法，其中，所述度量矩陣W的大小為DN×％P，該方法還包括分解該度量矩陣W以確定該度量矩陣W的秩DK，以及其中所述基數(shù)K由秩(W)/D定義。
12.根據(jù)權(quán)利要求11所述的方法，其中，所述建議的縮放旋轉(zhuǎn)矩陣M的大小為DN×％DEK，建議的基矩陣的大小為DK×％P。
13.根據(jù)權(quán)利要求10所述的方法，其中，通過最小二乘法來計(jì)算所述矩陣QK。
14.根據(jù)權(quán)利要求10所述的方法，其中，對(duì)于縮放旋轉(zhuǎn)矩陣M的大小為D％N的行Mi，通過Ri=±Migk|Migk|]]>由gk確定未縮放旋轉(zhuǎn)Ri。
15.一種計(jì)算機(jī)可讀程序存儲(chǔ)裝置，其中存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令的程序，用于實(shí)現(xiàn)在數(shù)字圖像中對(duì)可變形形狀進(jìn)行配準(zhǔn)和建模的方法，包括步驟提供一組可變形形狀的度量，其中所述度量組形成度量矩陣；以及同時(shí)解剛體配準(zhǔn)變換和線形模型。
16.根據(jù)權(quán)利要求15所述的計(jì)算機(jī)可讀程序存儲(chǔ)裝置，其中，所述同時(shí)解剛體配準(zhǔn)變換和線形模型的步驟包括形成所述度量組的平均值并將該平均值從所述度量組中減去；將所述度量矩陣分解為建議的縮放旋轉(zhuǎn)矩陣和建議的基矩陣的乘積；由所述建議的縮放旋轉(zhuǎn)矩陣和建議的基矩陣計(jì)算多值變換的乘積矩陣；約束并分解所述乘積矩陣以確定多值變換矩陣；利用所述多值變換矩陣確定真縮放旋轉(zhuǎn)矩陣和真基矩陣；以及由所述真縮放旋轉(zhuǎn)矩陣和真基矩陣構(gòu)建經(jīng)配準(zhǔn)的形狀。
17.根據(jù)權(quán)利要求16所述的計(jì)算機(jī)可讀程序存儲(chǔ)裝置，其中，還包括確定所述度量矩陣的秩，并從該秩中確定基數(shù)K。
18.根據(jù)權(quán)利要求17所述的計(jì)算機(jī)可讀程序存儲(chǔ)裝置，其中，所述度量組是從N個(gè)度量中選出的K個(gè)度量的子集，其中K＜N，并且其中所述選出的子集具有在該K個(gè)度量的所有可能的子集中最小的條件數(shù)。
19.根據(jù)權(quán)利要求16所述的計(jì)算機(jī)可讀程序存儲(chǔ)裝置，其中，采用奇異值分解來分解所述度量矩陣。
20.根據(jù)權(quán)利要求18所述的計(jì)算機(jī)可讀程序存儲(chǔ)裝置，其中，通過對(duì)建議的縮放旋轉(zhuǎn)矩陣施加正交性約束以及對(duì)建議的基矩陣施加唯一性約束來計(jì)算所述多值變換矩陣。
21.根據(jù)權(quán)利要求16所述的計(jì)算機(jī)可讀程序存儲(chǔ)裝置，其中，采用奇異值分解來分解所述多值變換矩陣。
22.根據(jù)權(quán)利要求20所述的計(jì)算機(jī)可讀程序存儲(chǔ)裝置，其中，所述對(duì)建議的基矩陣施加唯一性約束還包括選擇具有最小條件數(shù)的K個(gè)度量作為旋轉(zhuǎn)的基集合，以及對(duì)建議的縮放旋轉(zhuǎn)矩陣計(jì)算縮放系數(shù)。
23.根據(jù)權(quán)利要求21所述的計(jì)算機(jī)可讀程序存儲(chǔ)裝置，其中，還包括步驟采用正交Procrustes分析將所述多值變換矩陣變換到公共坐標(biāo)系。
全文摘要
本發(fā)明涉及對(duì)數(shù)字圖像中的可變形形狀進(jìn)行配準(zhǔn)和建模的方法，包括步驟提供D維可變形形狀的P個(gè)點(diǎn)的N個(gè)度量的度量矩陣W；對(duì)該N個(gè)度量確定基數(shù)K，其中K＜N，并選擇該度量矩陣W的K個(gè)度量作為基集；將該度量矩陣W分解為矩陣乘積M×B，其中M是建議的縮放旋轉(zhuǎn)矩陣，而B是建議的基矩陣；計(jì)算由(I)定義的矩陣Q
文檔編號(hào)G06T7/00GK101014979SQ200580029559
公開日2007年8月8日 申請(qǐng)日期2005年8月31日 優(yōu)先權(quán)日2004年9月2日
發(fā)明者肖靖, 博格丹·喬治蘇, 相·肖恩·周, 多林·科馬尼修 申請(qǐng)人:西門子醫(yī)療技術(shù)美國股份有限公司