專利名稱：使用主要和次要標志的運動捕捉的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及運動捕捉，并且更具體地，涉及使用主要和次要標志(marker)來生成三維圖形和動畫的運動捕捉。
背景技術(shù)：
運動捕捉系統(tǒng)用于捕捉真實物體的運動，并且作為將其制作成動畫的一種方式，將其映射到由計算機生成的物體上。通常在制作運動圖像和視頻游戲時將這樣的系統(tǒng)用于創(chuàng)建用作源數(shù)據(jù)的人物的數(shù)字表示以創(chuàng)建計算機圖形(CG)動畫。在典型系統(tǒng)中，表演者穿著一套在多個位置附有標志(例如，在身體和四肢上附有較小的反射標志)的衣服，并且數(shù)字相機在照明標志的同時從不同角度記錄下表演者的運動。系統(tǒng)然后分析圖像以確定在每一幀中表演者衣服上的標志的位置(例如，如空間坐標)和方向。通過跟蹤標志的位置，系統(tǒng)產(chǎn)生標志隨時間的空間表示，并且建立運動中的表演者的數(shù)字表示。該運動然后被應(yīng)用于數(shù)字模型，該數(shù)字模型然后可以被紋理化(texture)并且被渲染(render)以產(chǎn)生表演者和/或表演的完整的CG表示。這種技術(shù)已經(jīng)被特效公司用于在許多流行電影中產(chǎn)生高度逼真的動畫。
某些運動捕捉系統(tǒng)優(yōu)于諸如關(guān)鍵幀(keyframing)之類的傳統(tǒng)動畫技術(shù)的優(yōu)點在于實時可視的能力。制作組可以實時地或者準實時地查看表演者的運動的空間表示，從而使得表演者能夠變化實體表演以捕捉最佳數(shù)據(jù)。此外，運動捕捉系統(tǒng)檢測不能夠通過使用其他動畫技術(shù)來容易地再現(xiàn)的實體運動的細微差異，從而產(chǎn)生更精確地反映自然運動的數(shù)據(jù)。因此，使用通過運動捕捉系統(tǒng)而收集的源材料的動畫通常呈現(xiàn)實質(zhì)上更加逼真的外觀。
捕捉運動數(shù)據(jù)的傳統(tǒng)方法可能經(jīng)受耗時的手動步驟。例如，某些方法
利用是小的反射球體(sphere)的標志。捕捉空間中的燈照明反射球體，并且相機捕捉所產(chǎn)生的反射。因為標志是球形的，所以來自單個燈的光可以從與入射光相關(guān)聯(lián)的半球被幾乎全向地反射，結(jié)果，所反射的光可以被放置在捕捉空間中的多個位置處的多個相機捕捉。通過這種方式，標志的空間坐標可以被確定。還必需逐幀地單獨跟蹤每個數(shù)據(jù)點以產(chǎn)生運動經(jīng)歷，通過該運動經(jīng)歷來影響所期望的動畫。出于相同原因，即因此從球形標志反射的光提供捕捉空間中明亮且精確的數(shù)據(jù)點，所以所捕捉的數(shù)據(jù)點相對較小并且因此在外觀上也可能幾乎相同。區(qū)分各個所捕捉的數(shù)據(jù)點可能十分困難，并且逐幀地跟蹤各個數(shù)據(jù)點可能因此變得十分復(fù)雜。因為當將被跟蹤的所捕捉數(shù)據(jù)點(即，標志)基本不可區(qū)分時，自動跟蹤方法存在問題，所以作為替代通常需要長時間的并且大量占用資源的手動處理，以確保精確地區(qū)分每個所捕捉的數(shù)據(jù)點并且從一幀到另一幀地使這些數(shù)據(jù)點與其自身正確地相關(guān)聯(lián)。此外，可能也需要大量標志用于充分地解析與表示經(jīng)動畫制作的CG表演者的表面的高分辨率3-D表面網(wǎng)格的頂點(vertex)相關(guān)聯(lián)的運動，因此混合了由大量數(shù)據(jù)進行自動和手動跟蹤的問題。
因此，所需要的是一種克服在傳統(tǒng)系統(tǒng)中發(fā)現(xiàn)的這些關(guān)于標志識別和跟蹤的重大問題的方法和系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明的實施例提供結(jié)合運動捕捉相機、使用主要和次要標志來捕捉運動。在一種實現(xiàn)方式中， 一種方法包括將多個主要標志耦合到目標；將至少一個次要標志耦合到目標；捕捉多個主要標志數(shù)據(jù)點，其中每個主要
標志數(shù)據(jù)點對應(yīng)于多個主要標志中的一個主要標志；捕捉至少一個次要標
志記號(signature)，每個標志記號對應(yīng)于并且唯一 (uniquely)地識別至少一個次要標志中的每個次要標志；并且通過使用至少一個次要標志記號
來識別多個主要標志。
在另一種實現(xiàn)方式中，捕捉至少一個次要標志記號的步驟包括捕捉至少一個次要標志的獨特(unique)屬性。
在另一種實現(xiàn)方式中，照明經(jīng)受周期性門控(gating)從而生成照明的導(dǎo)通狀態(tài)和關(guān)斷狀態(tài)；在照明的導(dǎo)通狀態(tài)期間捕捉照明的反射；并且在照明的關(guān)斷狀態(tài)期間捕捉獨特屬性。在另一種實現(xiàn)方式中，從亮標志中捕捉照明的反射；并且從暗標志中捕捉獨特屬性。
對于本領(lǐng)域中的普通技術(shù)人員而言，在查看如下的詳細說明和附圖之后，本發(fā)明的其他特征和優(yōu)點將變得更加顯而易見。


通過研究附圖，可以部分地收集本發(fā)明的關(guān)于其結(jié)構(gòu)和操作這兩方面的細節(jié)，其中類似標號指代類似部分，并且其中
圖1是示出根據(jù)一個實施例的運動捕捉系統(tǒng)的示圖2 (a)是示出根據(jù)一個實施例的捕捉主要標志數(shù)據(jù)點和次要標志記號的方法的流程圖2 (b)是示出根據(jù)一個使用交替幀的實施例的捕捉主要標志數(shù)據(jù)點和次要標志記號的方法的流程圖3 (a)是示出根據(jù)一個實施例的使用次要標志身份(identity)來標記(label)主要標志的方法的流程圖3 (b)是示出根據(jù)一個實施例的通過使用交替幀將次要標志身份用于標記主要標志的方法的流程圖4是示出根據(jù)一個實施例的主要和次要標志的物理布置的示圖5是示出根據(jù)另一實施例的主要標志和具有形狀屬性的次要標志的
8物理布置的示圖6是示出在不同實施例中使用的典型門控觸發(fā)器的示圖7是示出根據(jù)一個實施例的具有門控光源和兩個同步的門控運動捕
捉相機的捕捉空間的示圖， 一個相機用于捕捉主要標志數(shù)據(jù)并且另一個用
于捕捉次要標志數(shù)據(jù)點；以及
圖8是示出根據(jù)一個實施例的具有門控光源和兩個同步的門控運動捕
捉相機的捕捉空間的示圖，兩個相機同步地捕捉主要標志數(shù)據(jù)和次要標志
數(shù)據(jù)點。
具體實施例方式
如將在下文中進一步描述的，本發(fā)明滿足了對這樣一種運動捕捉系統(tǒng)的需求，這種運動捕捉系統(tǒng)允許逐幀地對標志進行更強的跟蹤。在以下的詳細描述中，類似的元件標號被用于描述在一個或多個附圖中示出的類似元件。
對與本領(lǐng)域中的技術(shù)人員而言，在閱讀了此描述之后，如何在各種替代實施例和替代應(yīng)用中實現(xiàn)本發(fā)明將變得清楚。然而，雖然將在此描述本發(fā)明的各種實施例，但是應(yīng)理解，僅通過示例而非限制性方式示出這些實施例。照此，不應(yīng)將這種對各種替代實施例的詳細描述解釋為限制本發(fā)明的由所附權(quán)利要求書給出的范圍和廣度。
標志是大部分形式的運動捕捉所必需的組件，并且包括兩個較寬類
別有源和無源標志。因為無源標志的保真度和分辨率高于其他標志，所以在許多應(yīng)用中優(yōu)選地使用無源標志。然而，由于在使用無源標志的過程中處理數(shù)據(jù)所存在的困難和所需要的手動操作，在混合系統(tǒng)中將這兩種不同類型的標志相結(jié)合是有益的。
例如，在某些實現(xiàn)方式中，可以通過使用包括有源和無源標志二者的混合系統(tǒng)來獲得期望的運動捕捉結(jié)果。通常，無源標志需要跟蹤而有源標志不需要跟蹤。在其他的實現(xiàn)方式中，在混合系統(tǒng)中使用主要和次要標志來獲得期望的運動捕捉結(jié)果。在這些其他的實現(xiàn)方式中，主宴標志是類似于無源標志的需要跟蹤的標志，并且次要標志是類似于有源標志的不需要跟蹤的標志。然而，在其他的實現(xiàn)方式中，有源標志被用作主要標志并且無源標志被用作次要標志。
一般地，有源標志的特征在于使用功率源來發(fā)射某種類型的能量。有
源標志或者組件的示例包括LED、有源RFID (射頻識別)標簽、數(shù)據(jù)手套、電位計、加速計、外部佩帶的外骨骼(externally-worn exoskeleton)和聲速鳴叫發(fā)射器(sonic-chirp emitter)。無源標志通常不需要功率源。無源標志或者組件的一個示例是回復(fù)反射(retro-reflective)球體，其實質(zhì)上構(gòu)成較小的發(fā)光球，該發(fā)光球在處于亮光中時產(chǎn)生容易被光學(xué)裝置捕捉到的小的、強烈的光點。無源標志的其他示例包括無源RJFID標簽、在暗處發(fā)光的斑點(patch)、形狀帶(shape tape)和提供電磁記號的電磁標簽?？梢栽?亮"和"暗"標志之間作出進一步的區(qū)分。例如，回復(fù)反射球體可以被表征為亮標志，而在暗處發(fā)光的標志可以被表征為暗標志。
可以從有源標志得到實時可視的運動捕捉數(shù)據(jù)，然后可以將由這些標志生成的骨架數(shù)據(jù)用于標記由運動捕捉系統(tǒng)生成的無源標志數(shù)據(jù)。這將會產(chǎn)生實時的視覺預(yù)覽，同時大大減少后處理中的手動清理，從而生成高質(zhì)量的光學(xué)運動捕捉數(shù)據(jù)。混合系統(tǒng)因此既提供實時表演又提供運動的高保真度。
參考圖1，根據(jù)本發(fā)明的一個實施例的混合運動捕捉系統(tǒng)100包括連接到用戶工作站120的運動捕捉處理器110。在所示出的實施例中，運動捕捉處理器110包括圖像捕捉模塊112、重建模塊114、主要標志跟蹤模塊116、數(shù)字建模模塊118和存儲模塊158。連接到運動捕捉處理器110的是兩個運動捕捉相機130、 132。在本發(fā)明的一個實施例中，根據(jù)各種用戶和動畫相關(guān)的要求，使用遠多于兩個的運動捕捉相機。運動捕捉相機130、 132聚焦在捕捉空間140上，在捕捉空間140中，目標150 (在圖1中被示出為任意形狀的對象)處于由空間坐標定義的位置處。
如圖1示出的實施例所示，目標150使多個主要標志152A-C和一個次要標志154與之耦合。可以由圖像捕捉模塊112來控制相機130、 132以一幀接一幀地捕捉主要標志152A-C和次要標志154的圖像并且將其傳送到運動捕捉處理器110的圖像捕捉模塊112。在一種實現(xiàn)方式中，相機130、 132在交替的圖像幀中捕捉主要標志152A-C和次要標志154的圖像。在另一種實現(xiàn)方式中，相機130、 132在相同幀中捕捉主要標志152A-C和次要標志154的圖像。因此而捕捉的圖像幀可以被置于存儲模塊158中?？商娲兀蛘咄瑫r地，可以由在工作站120處的用戶實時地查看這些圖像幀。
在一種實現(xiàn)方式中，來自相機130、 132的數(shù)據(jù)是以稱作"節(jié)拍(beat)"的數(shù)據(jù)集合來捕捉的。節(jié)拍對應(yīng)于這樣的數(shù)據(jù)，即在對應(yīng)于場景拍攝或者場景拍攝的一部分的時間段上所捕捉到的數(shù)據(jù)。每個相機130、 132可以針對每個節(jié)拍生成分離的文件。因此，對于單個節(jié)拍而言，針對一個相機130和另一相機132中的每個相機都將存在一個文件。應(yīng)理解，在使用相當大數(shù)目的相機130、 132的情況下，每個節(jié)拍將因此包括相應(yīng)大數(shù)目的分離數(shù)據(jù)文件，每個相機一個分離數(shù)據(jù)文件。此外，對于每個相機130、 132，對應(yīng)地存在標定數(shù)據(jù)(calibration data)的主體，該標定數(shù)據(jù)例如包括關(guān)于每個相機在捕捉空間140中的3-D位置、其聚焦方向(例如，相機130、 132沿3-D "光線"聚焦的該3-D "光線")以及其當前景深的信息。應(yīng)理解，可以添加標定數(shù)據(jù)的其他項，或者用其他項來替代在此討論的示例數(shù)據(jù)。
在一種實現(xiàn)方式中，重建模塊114可操作以讀取針對節(jié)拍而生成的文件("節(jié)拍文件")的部分或全部和針對適當相機130、 132的相應(yīng)標定數(shù)據(jù)，并且將相機數(shù)據(jù)融合成未經(jīng)標記的數(shù)據(jù)的原始3-D "點云"。這些數(shù)據(jù)可以被存儲到存儲器158中，或者被直接提供給主要標志跟蹤模塊116。
如將在下文中更加詳細地說明的，主要標志跟蹤模塊116接收原始3-D點云數(shù)據(jù)的幀，或者從存儲模塊158中取回所存儲的點云數(shù)據(jù)的幀。主要標志跟蹤模塊116還對幀執(zhí)行跟蹤功能從而使每個幀的主要標志與其之前或者之后的幀精確地映射，將次要標志身份用作對逐幀標記各個主要標志的輔助。 一旦標記完成，經(jīng)標記的數(shù)據(jù)被傳送到數(shù)字建模模塊118。數(shù)字建模模塊118針對每個幀在虛擬空間中創(chuàng)建頂點系統(tǒng)，該頂點系統(tǒng)構(gòu)成表示目標150的經(jīng)建模的表面。因為在一個幀中捕捉到的主要標志152A-'C在隨后的幀中被適當?shù)貥擞洖橄嗤闹饕獦酥?52A-C,所以主要標志因 此被逐幀地連接起來，并且經(jīng)建模的表面的運動可以被平滑地渲染。
如圖l所示，根據(jù)本發(fā)明的至少一個實施例，次要標志154可以被放 置得相對接近特定的主要標志152B。在另一種實現(xiàn)方式中，次要標志154 不必被放置得接近任一個主要標志152A-C。在一種實現(xiàn)方式中，在主要 標志152A-C和次要標志154之間分別存在多對一的對應(yīng)。主要標志152 與次要標志154的比率可以從一比一變化到對于當前的實現(xiàn)方式而言是適 當?shù)娜魏伪嚷?。使用者可以實現(xiàn)諸如這樣的變化之類的變更，從而在將主 要標志152從一個幀映射到下一個幀(即，跟蹤)時適應(yīng)預(yù)期的簡化或者 困難。例如，在一種實現(xiàn)方式中，幾百個主要標志被用于捕捉人面部和身 體上的細微運動。
圖2 (a)是示出根據(jù)一個實施例的捕捉主要標志數(shù)據(jù)點和次要標志記 號的方法的流程圖。該方法包括，在210，將主要標志152耦合到目標 150。在212， 一個或多個次要標志被耦合到目標150。在一種實現(xiàn)方式 中，在210和212處的耦合包括將涂料或者其他反射涂層應(yīng)用到目標150 上。接下來，在214，當前幀被用于捕捉主要標志數(shù)據(jù)點。在一種實現(xiàn)方 式中，主要標志152A-C是反射球體，并且球體表面上被照明的反射點實 質(zhì)上構(gòu)成主要標志數(shù)據(jù)點。也就是說，例如，來自主要標志152A的一個 反射構(gòu)成一個主要標志數(shù)據(jù)點。在216，捕捉次要標志154的記號，包括 次要標志記號的位置。在一種實現(xiàn)方式中，主要標志數(shù)據(jù)點和次要標志記 號實質(zhì)上被同時捕捉到。
通常，次要標志實質(zhì)上是可唯一地識別的，并且根據(jù)某種模式的特征 化，每個次要標志都具有實質(zhì)上獨特的記號。例如，在一種實現(xiàn)方式中， 次要標志以形狀為特征。在另一種實現(xiàn)方式中，次要標志以顏色為特征。 在另一種實現(xiàn)方式中，次要特征以亮度為特征，例如其在暗處發(fā)光的強 度。此外，次要標志可以是有源標志，包括諸如LED之類的可視器件和諸 如聲速鳴叫發(fā)射器或者有源RFID發(fā)射器之類的不可視設(shè)備。在另一種實 現(xiàn)方式中，次要標志可以以諸如形狀、顏色、亮度和發(fā)射之類的上述有源 和無源特征的部分或者全部特征的組合為特征。也就是說，次要標志可以以任何類似于以上提及的那些特征的可唯一識別的記號以及諸如RF和電 磁記號之類的其他不可視特征為特征。此外，可以在單一實現(xiàn)方式中同時 使用多種不同類型的次要標志。
還應(yīng)理解，根據(jù)用戶要求，主要標志可以包括以上討論的任何類型的 標志。
在某些實現(xiàn)方式中，諸如主要一次要、有源一無源和亮一暗之類的標 志配對被用于區(qū)分所捕捉的對象的部分或者區(qū)域，而非一個為另一個提供 參考。例如，在一種實現(xiàn)方式中，亮標志被用于運動捕捉身體并且暗標志 被用于運動捕捉面部。因此，在這種實現(xiàn)方式中，亮一暗標志配對被用于 將捕捉到的面部數(shù)據(jù)點與身體數(shù)據(jù)點區(qū)分開來。
如果在200判斷出當前幀不是最后一幀，那么在222，下一幀被提前 并且該幀成為新的當前幀。方法然后繼續(xù)，在214，通過使用新的當前幀 來捕捉下一組主要標志數(shù)據(jù)點。該方法如所描述的那樣繼續(xù)，直到當前幀 被確定為最后一幀。根據(jù)這種實現(xiàn)方式，主要標志數(shù)據(jù)和次要標志記號被 這樣基于逐個幀而獲取。
圖2 (b)是示出根據(jù)另一實施例的捕捉主要標志數(shù)據(jù)點和次要標志記 號的方法的流程圖。類似于在圖2 (a)中示出的方法，該方法包括，在 230，將主要標志152A-C耦合到目標150。在232， 一個或多個次要標志 154被耦合到目標150。在234，當前幀被用于捕捉主要標志數(shù)據(jù)點。然 后，在240，判斷當前幀是否是最后一幀。如果當前幀不是最后一幀，那 么在242，下一幀被提前，作為新的當前幀。在244，捕捉次要標志的記 號。如果在250判斷出當前幀不是最后一幀，那么在252，下一幀被提前 并且成為新的當前幀。方法然后繼續(xù)，在234，通過使用新的當前幀來捕 捉下一組主要標志數(shù)據(jù)點。該方法如所描述的那樣繼續(xù)，直到在240、 250 確定當前幀是最后一幀。根據(jù)這種實現(xiàn)方式，主要標志數(shù)據(jù)和次要標志記 號被這樣基于交替的逐個幀而獲取。
圖3 (a)是示出根據(jù)一個實施例的使用次要標志身份來標記主要標志 數(shù)據(jù)點的方法的流程圖。在一種實現(xiàn)方式中，'主要在340的數(shù)據(jù)后處理期 間執(zhí)行該方法，該方法一般地對應(yīng)于由圖1的主要標志跟蹤模塊116執(zhí)行的標記任務(wù)。在圖3 (a)中示出的方法包括，在310，針對所考慮的幀， 用運動捕捉相機來捕捉主要標志數(shù)據(jù)點和次要標志記號，并且存儲所捕捉 到的數(shù)據(jù)點和記號。在另一種實現(xiàn)方式中，對這樣捕捉的數(shù)據(jù)的存儲可以 與實時的或者準實時的處理可以是同時的。可替代地，所捕捉到的數(shù)據(jù)可 以被同時地存儲并實時地或者準實時地處理。然后在312，執(zhí)行重建以產(chǎn) 生3-D點云的原始數(shù)據(jù)。
標記開始于在314選擇第一幀作為當前幀。在316，當前幀中的主要 標志數(shù)據(jù)點被定位。在318，根據(jù)所捕捉到的該幀的次要標志記號的獨特 屬性來確定次要標志身份("ID")。實質(zhì)上獨特的次要標志ID是可能 的，這是因為從中得到這些次要標志ID的次要標志記號自身實質(zhì)上可唯 一地識別。例如，在一種實現(xiàn)方式中，次要標志可以包括個體上獨特的條 形碼。然后在320，將次要標志ID與適當?shù)闹饕獦酥緮?shù)據(jù)點相關(guān)聯(lián)。次要 標志ID提供獨特的記號并且因此相對容易跟蹤，而主要標志數(shù)據(jù)點單獨 難以彼此區(qū)分。在一種實現(xiàn)方式中，根據(jù)次要標志與主要標志數(shù)據(jù)點的空 間接近程度來進行主要標志數(shù)據(jù)點的關(guān)聯(lián)。在另一種實現(xiàn)方式中，次要標 志被用作一組鄰近的主要標志數(shù)據(jù)點的總的位置參考。由于根據(jù)次要標志 ID軌跡而推斷出的附加位置信息，使得這組實質(zhì)上不可個體地區(qū)分的主要 標志數(shù)據(jù)點因此可以被更容易地跟蹤。在另一種實現(xiàn)方式中，可以將主要 標志數(shù)據(jù)點與兩個或更多個次要標志ID相關(guān)聯(lián)，這兩個或更多個次要標 志ID對應(yīng)于實質(zhì)上位于該主要標志數(shù)據(jù)點附近的次要標志。例如，這樣 定位的兩個或更多個次要標志ID也可以通過所呈現(xiàn)的空間圖案而被實質(zhì) 上唯一地識別。應(yīng)理解，存在用于手動和自動地以多對一、多對多和一對 多的關(guān)系將一個或多個主要標志數(shù)據(jù)點與一個或多個次要標志ID相關(guān)聯(lián) 的其他選擇。
接下來在322，根據(jù)一個或多個相關(guān)聯(lián)的次要標志ID來唯一地標記主 要標志數(shù)據(jù)點。此外，主要標志數(shù)據(jù)點可以根據(jù)一個或多個己經(jīng)標記了的 其他主要標志數(shù)據(jù)點而被標記。然后在324，對應(yīng)于當前幀的所標記的主 要標志數(shù)據(jù)點被存儲。接下來在326，根據(jù)主要標志數(shù)據(jù)點來建立目標 150的虛擬模型。可替代地，主要標志數(shù)據(jù)點可以被用于使現(xiàn)有模型與目
14標150相匹配。如果在330判斷該幀不是所考慮的最后一幀，那么在 332，下一幀被提前為新的當前幀。然后在316，在新的當前幀中定位主要 標志數(shù)據(jù)點，并且該方法如在上文中所討論的那樣繼續(xù)，直到最后一幀被 確定。
圖3 (b)是示出根據(jù)另一實施例的通過使用交替幀將次要標志身份用 于標記主要標志的方法的流程圖。在一種實現(xiàn)方式中，主要在后處理390 期間執(zhí)行該方法，后處理390 —般地對應(yīng)于由圖1的主要標志跟蹤模塊 116執(zhí)行的任務(wù)。該方法包括，在310，用運動捕捉相機來捕捉并且存儲 所考慮的幀的主要標志數(shù)據(jù)點和次要標志記號。然后在312，執(zhí)行重建以 創(chuàng)建原始數(shù)據(jù)的3-D點云。
在352，第一幀被選作當前幀。在354，當前幀中的主要標志數(shù)據(jù)點 被定位。如果在360判斷出當前幀不是所考慮的最后一幀，那么在362， 下一幀被提前為新的當前幀。在364，根據(jù)所捕捉的幀的次要標志記號的 獨特屬性來確定次要標志身份("ID")。實質(zhì)上獨特的次要標志ID是 可能的，這是因為從中得到這些次要標志ID的次要標志記號自身實質(zhì)上 可唯一地識別。然后在366,將次要標志ID與適當?shù)闹饕獦酥緮?shù)據(jù)點相關(guān) 聯(lián)。在一種實現(xiàn)方式中，根據(jù)次要標志與主要標志數(shù)據(jù)點的空間接近程度 來進行主要標志數(shù)據(jù)點的關(guān)聯(lián)。在另一種實現(xiàn)方式中，可以將主要標志數(shù) 據(jù)點與兩個或更多個次要標志ID相關(guān)聯(lián)，這兩個或更多個次要標志ID對 應(yīng)于實質(zhì)上位于該主要標志數(shù)據(jù)點附近的次要標志。例如，這樣定位的兩 個或更多個次要標志還可以通過它們呈現(xiàn)的空間圖案而被實質(zhì)上唯一地識 別。應(yīng)理解，存在許多種將主要標志數(shù)據(jù)點與一個或多個次要標志ID相 關(guān)聯(lián)的方法。然后在368，根據(jù)一個或多個與每個主要標志數(shù)據(jù)點相關(guān)聯(lián) 的次要標志ID來唯一地標記主要標志數(shù)據(jù)點。然后在370，存儲對應(yīng)于當 前幀的所標記的主要標志數(shù)據(jù)點。接下來在372，根據(jù)主要標志數(shù)據(jù)點來 建立目標150的虛擬模型。如果在380判斷出當前幀不是所考慮的最后一 幀，那么在382，下一幀被提前為新的當前幀。然后在354，在新的當前 幀中定位主要標志數(shù)據(jù)點，并且該方法如在上文中所討論的那樣繼續(xù)，直 到在360、 380處確定出最后一幀。圖4示出根據(jù)本發(fā)明的一個實施例的在可變形表面上的主要和次要標志的物理布置。例如，該表面可以是運動捕捉序列中的由表演者穿著的緊
身衣褲的一部分。由變形網(wǎng)格400來表示該表面。在這種實現(xiàn)方式中，網(wǎng)格400的頂點定義主要標志410耦合到該表面的位置。在圖4中，所示出的二十四個主要標志是實質(zhì)上相同的反射球體。為了清楚起見，僅三個被索引。三個次要標志420被繪制為相同的橢圓。如所示出的，根據(jù)一對多的對應(yīng)，次要標志420可以分別位于主要標志410之間的開放區(qū)域中。可替代地，次要標志420可以被放置得十分接近主要標志410。如之前所討論的，應(yīng)理解，次要標志420包括有源和無源標志的任何類型或組合。
在一種實現(xiàn)方式中，如在310處那樣， 一個幀的主要標志410和次要標志420被捕捉。如在312處那樣，通過重建，如在上文中所討論的，表示由多個相機130、 132生成的節(jié)拍文件的融合的3-D原始點云被產(chǎn)生。3-D點云包括主要數(shù)據(jù)點和次要標志記號。在一種實現(xiàn)方式中，根據(jù)次要標志記號來確定次要標志ID (回想起在全體次要記號中一個次要標志記號實質(zhì)上是獨特的)，并且基于最接近程度將相應(yīng)的主要標志數(shù)據(jù)點與次要標志ID相關(guān)聯(lián)(在320)。也就是說，根據(jù)最接近主要標志410 (從該標志處捕捉到主要標志數(shù)據(jù)點)的次要標志420的次要標志ID，向該主要標志數(shù)據(jù)點分配標記。在另一種實現(xiàn)方式中，通過將次要標志420的固有獨特性與它們的空間位置結(jié)合，可以創(chuàng)建次要標志420的獨特空間圖案。因此，不僅可以根據(jù)主要標志相對于單個次要標志420的位置而且可以根據(jù)由多個次要標志420形成的空間圖案來識別主要標志。
在一個實施例中，通過使用獨特的形狀來提供次要標志的記號。圖5示出根據(jù)這樣的實施例的主要標志510和具有形狀屬性的次要標志522、524、 526的物理布置。次要標志522是三角形，標志524是六邊形，并且標志526是五角星。用變形網(wǎng)格500來表示表面。該示例中的網(wǎng)格500的頂點同樣定義主要標志510被耦合到該表面的位置。與圖4中情況相同，二十四個主要標志被示出為實質(zhì)上相同的反射球體。在該示例中，三個次要標志522、 524、 526被放置在主要標志510之間的區(qū)域中。所有三個次要標志522、 524、 526都被唯一地成形，因此具有獨特的光學(xué)記號。在一種實現(xiàn)方式中，如在310處那樣， 一個幀的主要標志510和次要
標志522、 524、 526被捕捉。如在312處那樣，通過重建，如在上文中所討論的，表示由多個相機130、 132生成的節(jié)拍文件的融合的3-D原始點云被產(chǎn)生。3-D點云包括對應(yīng)于主要標志510的主要數(shù)據(jù)點和對應(yīng)于次要標志522、 524、 526的次要標志記號。然后，可以根據(jù)次要標志基于獨特形狀的光學(xué)記號來分配次要標志ID。然后，基于最接近程度將相應(yīng)的主要標志數(shù)據(jù)點與次要標志ID相關(guān)聯(lián)(在320)。因為次要標志522、 524、526的固有獨特性，所以可以關(guān)于由多個次要標志形成的獨特的空間圖案來進一步識別主要標志510。在另一種實現(xiàn)方式中，雖然所使用的次要標志522、 524、 526并不是實質(zhì)上個體地獨特的，但是仍然形成實質(zhì)上局部獨特的圖案，藉此可以標記主要標志510。
圖6是示出在若干實施例中使用的典型門控觸發(fā)器信號600的示圖。這樣的門控觸發(fā)器是為人熟知的。如所示出的，信號具有分別對應(yīng)于導(dǎo)通和關(guān)斷狀態(tài)的高狀態(tài)610、 620、 630和低狀態(tài)612、 622、 632。門控觸發(fā)器的示例使用是對諸如閃光燈(strobe light)之類的光源的導(dǎo)通/關(guān)斷循環(huán)控制。
圖7是示出根據(jù)一個實施例的具有門控光源和兩個同步的門控運動捕捉相機720、 730的捕捉空間700的示圖， 一個相機720用于捕捉主要標志數(shù)據(jù)點并且另一相機730用于捕捉次要標志記號。在替代實施例中，相機720、 730均可以用于捕捉主要標志數(shù)據(jù)點和次要標志記號二者。
在圖7所示的實施例中，門電路710供應(yīng)第一門控信號712和第二門控信號714。第一門控信號712以與第二門控信號714相反的相位進行觸發(fā)。第一門控信號712觸發(fā)第一運動捕捉相機720和照明源722。因此，當?shù)谝婚T控信號712到達導(dǎo)通狀態(tài)時，照明源722被導(dǎo)通達導(dǎo)通狀態(tài)的半個周期的時間長度，并且第一運動捕捉相機720捕捉捕捉空間700的圖像幀。當?shù)谝婚T控信號712處于導(dǎo)通狀態(tài)時，第二門控信號714處于關(guān)斷狀態(tài)，因此由信號714來觸發(fā)的第二運動捕捉相機730處于關(guān)斷狀態(tài)。當門控信號前進半個周期時，狀態(tài)'反轉(zhuǎn)。第一門控信號712轉(zhuǎn)變?yōu)殛P(guān)斷狀態(tài)，從而將照明源722和第一運動捕捉相機720置于關(guān)斷狀態(tài)。第二門控信號
17714轉(zhuǎn)變?yōu)閷?dǎo)通狀態(tài)并且觸發(fā)第二運動捕捉相機730以捕捉捕捉空間700的圖像幀。因此，第一運動捕捉相機720捕捉到當捕捉空間700被照明時的圖像幀，并且第二運動捕捉相機730捕捉到當捕捉空間未被照明時的圖像幀。
在一個實施例中，目標740已經(jīng)將構(gòu)成主要標志(九個被示出，兩個被索引)的小反射球體750和構(gòu)成次要標志的在暗處發(fā)光的斑點752與之耦合。雖然為了便于圖示，在圖7中示出的次要標志752視覺上看起來相同，但是應(yīng)記起次要標志被定義為實質(zhì)上可唯一識別。在該示例中，通過使用各種形狀、顏色和發(fā)光強度，并且進一步包含諸如條形碼之類的可視圖案，在暗處發(fā)光的次要標志可以表示獨特的記號。
現(xiàn)參考圖7所示的實施例，當?shù)谝婚T控信號712被導(dǎo)通時，照明源722被觸發(fā)導(dǎo)通并且照明捕捉空間700，從而使得反射球體750反射捕捉空間700中的小的亮光點。同時第一運動相機720也被觸發(fā)導(dǎo)通，并且因此捕捉圖像幀中的亮光點。第一運動捕捉相機720因此捕捉如上所述的主要標志數(shù)據(jù)點。當在下一個半周期處第一門控信號712和第二門控信號714的狀態(tài)反轉(zhuǎn)時，照明被關(guān)斷。雖然沒有了照明，反射球體是暗的，但是在暗處發(fā)光的次要標志752可視地發(fā)光。在該半個周期期間，第二運動捕捉相機730同時被觸發(fā)到導(dǎo)通狀態(tài)，并且因此捕捉包括在現(xiàn)在變暗了的捕捉空間700中發(fā)光的次要標志752的圖像幀。也就是說，第二運動捕捉相機捕捉次要標志752的記號(例如，發(fā)光)。因此，由第一和第二運動捕捉相機720、 730捕捉到的兩個圖像幀序列一起構(gòu)成包括主要標志數(shù)據(jù)點和次要標志記號的交替幀序列。在一種實現(xiàn)方式中，然后根據(jù)諸如在圖3 (b)中示出的方法之類的方法來處理該運動捕捉序列。
圖8是示出根據(jù)一個實施例的具有門控光源和兩個同步的門控運動捕捉相機820、 830的捕捉空間800的示圖，其中兩個相機同步捕捉主要標志數(shù)據(jù)點和次要標志記號。如圖8所示，門電路810供應(yīng)第一門控信號812和第二門控信號814。與圖7所示的實施例相反，該實現(xiàn)方式中的第二門控信號814與第一門控信號812處于相同的相位。此外，觸發(fā)運動捕捉相機820、 830以在第一和第二門控信號812、 814的導(dǎo)通和關(guān)斷兩種狀態(tài)處捕捉圖像幀。與之前相同，第一選通信號812僅在導(dǎo)通狀態(tài)期間觸發(fā)
照明源822。因此，當?shù)谝婚T控信號812到達導(dǎo)通狀態(tài)時，照明源822被導(dǎo)通達導(dǎo)通狀態(tài)的半個周期的時間長度，并且第一和第二運動捕捉相機820、 830 二者都捕捉被照明的捕捉空間800的圖像幀。當?shù)谝缓偷诙T控信號812、 814轉(zhuǎn)變?yōu)殛P(guān)斷狀態(tài)時，照明源822被關(guān)斷達關(guān)斷狀態(tài)的半個周期的時間長度，并且第一和第二運動捕捉相機820、 830 二者都捕捉變暗了的捕捉空間800的圖像幀。也就是說，第一和第二門控信號812、 814在相位上同步，從而使得第一和第二運動捕捉相機820、 830 —致地操作。運動捕捉相機820、 830 二者因此捕捉交替的被照明和變暗的捕捉空間800的視圖的幀序列。
在本發(fā)明的一個實施例中，目標840已經(jīng)將構(gòu)成主要標志的較小反射球體850和構(gòu)成次要標志的在暗處發(fā)光的斑點852與之耦合。雖然為了便于圖示，在圖8中示出的次要標志852視覺上看起來相同，但是應(yīng)記起次要標志通常是實質(zhì)上可唯一識別的。在該示例中，與關(guān)于圖7所呈現(xiàn)的示例類似，通過各種形狀、顏色、發(fā)光強度或者包含諸如條形碼之類的可視圖案，在暗處發(fā)光的次要標志可以表示獨特的記號。
在圖8所示的實施例中，當?shù)谝缓偷诙T控信號812、 814轉(zhuǎn)變?yōu)閷?dǎo)通狀態(tài)時，照明源822被觸發(fā)導(dǎo)通并且照明捕捉空間800。這使得反射球體850反射捕捉空間800中的小的亮光點。同時第一和第二運動捕捉相機820、 830也被觸發(fā)導(dǎo)通，并且因此捕捉各自的圖像幀中的亮光點。也就是說，第一和第二運動捕捉相機820、 830捕捉如上所述的主要標志數(shù)據(jù)點。當在下一個半周期處第一和第二門控信號的狀態(tài)反轉(zhuǎn)時，照明源822被關(guān)斷。雖然沒有了照明，反射球體850是暗的，但是在暗處發(fā)光的次要標志852可視地發(fā)光。在該半個周期期間，第一和第二運動捕捉相機820、 830同時被關(guān)斷狀態(tài)觸發(fā)，并且因此捕捉另一圖像幀，這次捕捉現(xiàn)在變暗了的捕捉空間800中可見的次要標志852的記號。也就是說，第一和第二運動捕捉相機820、 830 二者都捕捉包括主要標志數(shù)據(jù)點和次要標志記號的交替幀序列。在一種實現(xiàn)方式中，然后根據(jù)諸如在圖3 (a)中示出的方法之類的方法來處理該序列。在另一種實現(xiàn)方式中，公開了在運動捕捉中使用的個人可佩帶的數(shù)字 化器。個人可佩帶的數(shù)字化器包括具有用于捕捉身體部分運動的元件的衣 服?？膳鍘У臄?shù)字化器可以提供身體表面(頭部、面部、身體)的數(shù)字表 示而無需光學(xué)捕捉。例如，具有壓電條的緊身衣褲使身體表面數(shù)字化。在 另一示例中，具有"形狀帶"的緊身衣褲使身體表面數(shù)字化。可以使用在 將帶彎曲之后改變光特性的光纖。
由可佩帶的數(shù)字化器捕捉到的非光學(xué)數(shù)據(jù)被傳送到利用該數(shù)據(jù)來確定 目標(或多個目標)運動的運動捕捉處理系統(tǒng)。該處理系統(tǒng)利用位置信息 來建立并且更新表示(一個或多個)目標的三維模型(點云或者網(wǎng))。
已經(jīng)描述了本發(fā)明的各種示例性實現(xiàn)方式。然而，本領(lǐng)域中的普通技 術(shù)人員將認識到另外的實現(xiàn)方式也是可能的并且落入本發(fā)明的范圍之內(nèi)。 例如，在一種變體中，可以將不同的方法用于如下的關(guān)聯(lián)通過使用兩個 數(shù)據(jù)集之間一對一、 一對多以及多對一的關(guān)系使主要標志數(shù)據(jù)點與次要標 志記號相關(guān)聯(lián)。此外，在圖7和圖8中示出的系統(tǒng)的各種組合可以滿足使 用者的不同需要。
因此，本發(fā)明并不僅局限于上述的這些實現(xiàn)方式。
權(quán)利要求
1.一種方法，包括將多個主要標志耦合到目標；將至少一個次要標志耦合到所述目標；捕捉多個主要標志數(shù)據(jù)點，其中每個主要標志數(shù)據(jù)點對應(yīng)于所述多個主要標志中的一個主要標志；捕捉至少一個次要標志記號，每個標志記號對應(yīng)于并且唯一地識別所述至少一個次要標志中的每個次要標志；并且通過使用所述至少一個次要標志記號來識別所述多個主要標志。
2. 如權(quán)利要求1所述的方法，其中所述捕捉多個主要標志數(shù)據(jù)點的步驟包括照明所述多個主要標志；并且 捕捉所述多個主要標志對所述照明的響應(yīng)。
3. 如權(quán)利要求2所述的方法，其中 所述多個主要標志包括多個反射標志；并且 所述響應(yīng)包括所述多個反射標志對所述照明的反射。
4. 如權(quán)利要求3所述的方法，其中所述捕捉至少一個次要標志記號的 步驟包括捕捉所述至少一個次要標志的獨特屬性。
5. 如權(quán)利要求4所述的方法，其中所述獨特屬性是形狀。
6. 如權(quán)利要求4所述的方法，其中所述獨特屬性是顏色。
7. 如權(quán)利要求4所述的方法，其中所述獨特屬性是電磁記號。
8. 如權(quán)利要求4所述的方法，其中所述獨特屬性是射頻記號。
9. 如權(quán)利要求4所述的方法，其中所述獨特屬性是條形碼。
10. 如權(quán)利要求3所述的方法，其中所述照明經(jīng)受周期性門控從而生成所述照明的導(dǎo)通狀態(tài)和關(guān)斷狀態(tài)； 在所述照明的導(dǎo)通狀態(tài)期間捕捉所述照明的所述反射；并且在所述照明的關(guān)斷狀態(tài)期間捕捉所述獨特屬性。
11. 如權(quán)利要求10所述的方法，其中 從亮標志捕捉所述照明的所述反射；并且 從暗標志捕捉所述獨特屬性。
12. 如權(quán)利要求11所述的方法，其中至少一個傳感器捕捉所述照明的所述反射和所述獨特屬性；并且所述至少一個傳感器與所述周期性門控同步，從而使得所述至少一個 傳感器在所述導(dǎo)通狀態(tài)期間從所述亮標志捕捉數(shù)據(jù)幀并且在所述關(guān)斷狀態(tài) 期間從所述暗標志捕捉數(shù)據(jù)幀。
13. 如權(quán)利要求12所述的方法，其中所述至少一個傳感器包括至少一 個運動捕捉相機。
14. 如權(quán)利要求12所述的方法，其中所述至少一個傳感器中的第一傳感器與所述周期性門控同步，從而在 所述導(dǎo)通狀態(tài)的每個導(dǎo)通狀態(tài)期間捕捉所述照明的所述反射；并且所述至少一個傳感器中的第二傳感器與所述周期性門控同步，從而在 所述關(guān)斷狀態(tài)的每個關(guān)斷狀態(tài)期間捕捉所述獨特屬性。
15. 如權(quán)利要求14所述的方法，其中所述第一傳感器包括被配置用于從所述多個反射標志捕捉所述反射的第一運動捕捉相機；并且所述第二傳感器包括被配置用于捕捉所述獨特屬性的第二運動捕捉相機。
16. 如權(quán)利要求IO所述的方法，其中由閃光燈來生成所述照明。
17. —種系統(tǒng)，包括 耦合到目標的多個主要標志； 耦合到所述目標的至少一個次要標志；其中所述至少一個次要標志中的每個標志可由第二標志記號唯一地識別；圖像捕捉模塊，其被配置用于捕捉多個主要標志數(shù)據(jù)點，每個主要標 志數(shù)據(jù)點對應(yīng)于所述多個主要標志中的一個主要標志，所述圖像捕捉模塊還被配置用于捕捉至少一個次要標志記號，每個次 要標志記號對應(yīng)于并且唯一地識別所述至少一個次要標志中的每個次要標志；以及主要標志跟蹤模塊，其被配置用于通過使用所述至少一個次要標志記 號來識別所述多個主要標志。
18. 如權(quán)利要求17所述的系統(tǒng)，其中所述至少一個次要標志包括在暗 處發(fā)光的標志。
19. 如權(quán)利要求17所述的系統(tǒng)，其中所述多個主要標志包括多個無源 標志，并且所述至少一個次要標志包括至少一個有源標志。
20. 如權(quán)利要求17所述的系統(tǒng)，其中所述多個主要標志包括多個有源 標志，并且所述至少一個次要標志包括至少一個無源標志。
21. 如權(quán)利要求20所述的系統(tǒng)，其中所述多個有源標志包括以下標志 的至少一種LED、有源RFID標簽、電位計、數(shù)據(jù)手套、加速計、外部佩帶的外 骨骼和聲速鳴叫發(fā)射器。
22. 如權(quán)利要求20所述的系統(tǒng)，其中所述至少一個無源標志包括以下 標志的至少一種無源RFID標簽、在暗處發(fā)光的斑點、形狀帶和電磁標簽。
23. 如權(quán)利要求17所述的系統(tǒng)，還包括數(shù)字建模模塊，其被配置用于在虛擬空間中生成頂點系統(tǒng)，所述虛擬 空間包括表示所述目標的經(jīng)建模的表面。
24. —種存儲在計算機可讀存儲介質(zhì)中的用于捕捉目標的運動的計算 機程序，該程序包括使得計算機執(zhí)行以下操作的可執(zhí)行指令捕捉多個主要標志數(shù)據(jù)點，每個主要標志數(shù)據(jù)點對應(yīng)于耦合到所述目 標的多個主要標志中的一個主要標志；捕捉至少一個次要標志記號，每個次要標志記號對應(yīng)于并且唯一地識 別耦合到所述目標的至少一個次要標志中的每個次要標志；并且通過使用所述至少一個次要標志記號來識別所述多個主要標志。
25. —種設(shè)備，包括用于捕捉多個主要標志數(shù)據(jù)點的裝置，每個主要標志數(shù)據(jù)點對應(yīng)于耦 合到目標的多個主要標志中的一個主要標志；用于捕捉至少一個次要標志記號的裝置，每個次要標志記號對應(yīng)于并 且唯一地識別耦合到所述目標的至少一個次要標志中的每個次要標志；以 及用于通過使用所述至少一個次要標志記號來識別所述多個主要標志的 裝置。
全文摘要
捕捉目標的運動。一種方法包括將多個主要標志耦合到目標；將至少一個次要標志耦合到目標；捕捉多個主要標志數(shù)據(jù)點，其中每個主要標志數(shù)據(jù)點對應(yīng)于多個主要標志中的一個主要標志；捕捉至少一個次要標志記號，每個次要標志記號對應(yīng)于并且唯一地識別所述至少一個次要標志中的每個次要標志；并且通過使用所述至少一個次要標志記號來識別多個主要標志。
文檔編號G06K9/00GK101496031SQ200680040296
公開日2009年7月29日 申請日期2006年8月28日 優(yōu)先權(quán)日2005年8月26日
發(fā)明者丹尼斯·J·小豪克, 德曼·喬丹 申請人:索尼株式會社;索尼電影娛樂公司