專利名稱：基于多雙目立體視覺的運(yùn)動捕獲方法
技術(shù)領(lǐng)域：
本發(fā)明涉及電子信息技術(shù)領(lǐng)域，尤其是計算機(jī)視覺領(lǐng)域。
技術(shù)背景運(yùn)動捕獲技術(shù)是一項目前在國際上廣泛應(yīng)用的高新技術(shù)。運(yùn)動捕獲技術(shù)是通過在表演者 各關(guān)節(jié)部位安置傳感器，當(dāng)表演者做出動作時，捕獲設(shè)備會檢測并記錄表演者各關(guān)節(jié)在三維 空間的運(yùn)動軌跡，并將其轉(zhuǎn)化為數(shù)字化的"抽象運(yùn)動"。這些運(yùn)動數(shù)據(jù)可以用來驅(qū)動不同的角 色模型，使得這些角色模型做出與表演者一模一樣的動作，從而在計算機(jī)上實(shí)現(xiàn)了運(yùn)動再現(xiàn)， 并最終生成動畫序列。目前，運(yùn)動捕獲技術(shù)已經(jīng)充分的運(yùn)用到影視廣告和游戲制作等相關(guān)行業(yè)中，它具有高速 度、高質(zhì)量、極具真實(shí)性等特點(diǎn)，不僅極大地提高動畫制作的水平和效率，降低了成本，而 且使動畫制作過程更為直觀，效果更為生動。因此，該技術(shù)擁有廣闊的應(yīng)用前景和巨大的商 業(yè)價值。目前在發(fā)達(dá)國家，該項技術(shù)己從試用性研究階段走向了實(shí)用化階段，有很多廠商相 繼推出了多種商品化的運(yùn)動捕獲系統(tǒng)如MotionAnalysis、 Polhemus、 Sega Interactive、 MAC、 X-Ist、 FilmBox等，其應(yīng)用領(lǐng)域也遠(yuǎn)遠(yuǎn)超出了表演動畫，并成功地用于虛擬現(xiàn)實(shí)、游戲、人 體工程學(xué)研究、模擬訓(xùn)練、生物力學(xué)研究等許多方面。在運(yùn)動視頻采集方面，國外的光學(xué)運(yùn)動捕獲系統(tǒng)比較成熟，通常采用的方法是多個紅 外攝像機(jī)環(huán)繞拍攝場地一周，形成多目視覺體系，人體標(biāo)記點(diǎn)采用可以發(fā)出紅外光的發(fā)光二 極管或者反射近紅外線的標(biāo)志球，進(jìn)行標(biāo)記點(diǎn)的運(yùn)動跟蹤。其中，MotionAnalysis的Eagle-4數(shù) 字動作捕捉及分析系統(tǒng)采用Eagle-4數(shù)字動作捕捉鏡頭，在2352x1728象素的模式下工作， 頻率可以達(dá)到每秒200幀，采用發(fā)光二極管作為標(biāo)記點(diǎn)。這類運(yùn)動視頻采集裝置簡單的操作， 能實(shí)現(xiàn)高分辨率的運(yùn)動視頻，為運(yùn)動捕獲的精準(zhǔn)測量提供保障。但是，該類裝置的價格昂貴， 較為復(fù)雜。與國外相比，國內(nèi)的技術(shù)相對落后。目前，有依托國外的現(xiàn)有技術(shù)開發(fā)的應(yīng)用系統(tǒng)，如 DVMC-8820光學(xué)運(yùn)動捕捉系統(tǒng)、DMC系統(tǒng)等是采用以發(fā)出紅外光的發(fā)光二極管(DMC)或 者反射近紅外線的標(biāo)志球(DVMC-8820)，作為人體標(biāo)記點(diǎn)，進(jìn)行人體運(yùn)動跟蹤。該類系統(tǒng) 跟蹤的標(biāo)記點(diǎn)數(shù)量有限，例如DMC系統(tǒng)目前支持的采集點(diǎn)大約在18個左右，最多可支持32 點(diǎn)的運(yùn)動捕捉(DVMC-8820系統(tǒng))。同時，國內(nèi)機(jī)構(gòu)也在研究具有自主知識產(chǎn)權(quán)的運(yùn)動捕獲 系統(tǒng)采用雙目可見光攝像機(jī)，利用可以區(qū)別的色塊作為人體標(biāo)記點(diǎn)，進(jìn)行人體運(yùn)動捕獲。 國內(nèi)的現(xiàn)有技術(shù)多沿用國外的同類技術(shù)，但是可以跟蹤的標(biāo)記點(diǎn)數(shù)目仍然有限。在運(yùn)動捕獲跟蹤方法方面，涉及的核心技術(shù)主要有攝像機(jī)定標(biāo)[5]、標(biāo)記點(diǎn)的三維匹配跟 蹤和三維重建等。由于運(yùn)動視頻采集裝置的不同，運(yùn)動捕獲系統(tǒng)的三維運(yùn)動捕獲跟蹤方法的 原理也是大相徑庭。基于標(biāo)記點(diǎn)的多紅外攝像機(jī)的三維運(yùn)動捕獲系統(tǒng)是當(dāng)前的發(fā)展趨勢，它通過多目視覺， 實(shí)現(xiàn)對多個標(biāo)記點(diǎn)的立體目標(biāo)跟蹤，通過多目數(shù)據(jù)融合實(shí)現(xiàn)三維運(yùn)動數(shù)據(jù)的獲取。多攝像機(jī) 的使用，能較好地解決因出現(xiàn)重疊與身體自遮擋時單目或雙目估計不準(zhǔn)的問題。在利用多攝 像機(jī)跟蹤的捕獲系統(tǒng)中，專利申請?zhí)枮?0803619.5的獲取運(yùn)動捕獲數(shù)據(jù)的方法要求照攝像機(jī) 裝置包括至少3臺彼此之間相隔規(guī)則距離的成等角設(shè)置的攝像機(jī)，這種攝像機(jī)的配置過于嚴(yán) 格。專利號為WO2005JP10644的日本專利將多個攝像機(jī)分成兩組，每組仍含有多個攝像機(jī)， 兩組分別在各自的局部空間獨(dú)立跟蹤標(biāo)記點(diǎn)，這種分組法在一定程度上避免了同時處理多個 攝像機(jī)的數(shù)據(jù)，但是每一小組的數(shù)據(jù)處理量仍然很大?；谏珘K的三維運(yùn)動捕獲系統(tǒng)采用雙目視覺，標(biāo)記點(diǎn)要求有明顯的特征，同時完成多個 標(biāo)記點(diǎn)的跟蹤。如羅忠祥等人在2002年《中國圖像圖形學(xué)報》上發(fā)表的"基于視頻的運(yùn)動捕 獲"，要求被跟蹤者穿上特制的緊身衣,其各關(guān)節(jié)點(diǎn)處為不同的^v塊,通過對色塊的跟蹤得到二 維關(guān)節(jié)點(diǎn)位置序列。但是采用色塊作為標(biāo)記點(diǎn)，在三維視覺中易發(fā)生形變以及在不同的攝像 頭間存在成像色調(diào)的差異，這都將導(dǎo)致跟蹤不準(zhǔn)確，且當(dāng)標(biāo)記點(diǎn)數(shù)量增多時，可明顯區(qū)分的 顏色有限。這些問題導(dǎo)致這種方法無法進(jìn)行實(shí)際應(yīng)用。 發(fā)明內(nèi)容為了克服現(xiàn)有技術(shù)對裝置要求較高、數(shù)據(jù)處理量大或跟蹤不準(zhǔn)確的不足，本發(fā)明提供一 種基于多雙目立體視覺的運(yùn)動捕獲方法，在雙目視覺實(shí)現(xiàn)的雙目三維立體跟蹤基礎(chǔ)上，融合 多組雙目的三維運(yùn)動數(shù)據(jù)，實(shí)現(xiàn)多目視覺下的全方位三維立體跟蹤，解決多個標(biāo)記點(diǎn)的三維 空間定位、跟蹤、軌跡融合等參數(shù)獲取問題。利用多組雙目實(shí)現(xiàn)的三維運(yùn)動跟蹤，彌補(bǔ)了普 通攝像機(jī)在標(biāo)記點(diǎn)檢測、跟蹤不準(zhǔn)確的缺點(diǎn)，提高了可跟蹤標(biāo)記點(diǎn)的個數(shù)，使得其跟蹤效果 可與釆用多紅外攝像機(jī)采集的三維運(yùn)動捕獲裝置相媲美。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案包括以下步驟-步驟一、架設(shè)運(yùn)動視頻采集裝置，通過運(yùn)動視頻采集裝置從不同方位采集人體運(yùn)動視頻 序列。架設(shè)運(yùn)動視頻采集裝置的步驟為將多臺普通攝像機(jī)每兩臺分成一組， 一組內(nèi)的兩臺攝像 機(jī)固定在一個平衡杠桿上，作為一個雙目視覺子系統(tǒng)，然后將若干個這樣的裝置圍繞場地一 周，由此形成多個平行雙目視覺系統(tǒng)的運(yùn)動采集裝置。步驟二、對多個攝像機(jī)拍攝的多目運(yùn)動視頻序列的標(biāo)定。采用張氏標(biāo)定法，該方法僅需 要一塊棋盤標(biāo)定板，操作簡單并且標(biāo)定精度較高，具體步驟如下 St印l:標(biāo)定各個攝像機(jī)的內(nèi)部參數(shù)。St印2:標(biāo)定各個攝像機(jī)的外部參數(shù)，即確定它們的相對位置關(guān)系，同時確立各個攝像 機(jī)的公共世界坐標(biāo)系，以解決因雙目子模塊坐標(biāo)系統(tǒng)相互獨(dú)立所造成的同一標(biāo)記點(diǎn)三維信息 不唯一的問題。在所有攝像機(jī)的公共視野區(qū)域范圍內(nèi)，拍攝共同的標(biāo)定圖像，然后分別在每 個相機(jī)下拍攝標(biāo)定圖像。利用采集的標(biāo)定圖像，使用張氏標(biāo)定法，計算相機(jī)的外部參數(shù)。步驟三、完成每一個雙目跟蹤器的標(biāo)記點(diǎn)匹配和跟蹤，且只考慮在其雙目公共視野區(qū)域 內(nèi)出現(xiàn)的標(biāo)記點(diǎn)，其他視野區(qū)域的標(biāo)記點(diǎn)不予考慮。以單目的二維擴(kuò)展卡爾曼預(yù)測跟蹤為基 礎(chǔ)，進(jìn)行雙目的三維擴(kuò)展卡爾曼預(yù)測跟蹤，同時利用外極限約束條件和三維立體匹配原則指 導(dǎo)標(biāo)記點(diǎn)的三維匹配。具體步驟如下St印l:手工建立雙目視覺下兩組視頻圖像之間的同步對應(yīng)關(guān)系。St印2:當(dāng)人體運(yùn)動趨于穩(wěn)定后，對己建立對應(yīng)關(guān)系的兩組視頻，每組視頻下標(biāo)注連續(xù) 四幀的標(biāo)記點(diǎn)，初始化雙目跟蹤器下每個標(biāo)記點(diǎn)的二維和三維濾波器的位置、 速度、加速度；St印3:利用二維卡爾曼濾波器預(yù)測每組視頻的二維圖像中標(biāo)記點(diǎn)在下一幀的位置、速度和加速度，然后利用三維卡爾曼濾波器預(yù)測標(biāo)記點(diǎn)在三維空間中的下一幀的位置、速度和加速度。 St印4:根據(jù)上一幀中預(yù)測的位置和范圍，在二維圖像中進(jìn)行標(biāo)記點(diǎn)跟蹤在預(yù)測范圍內(nèi)搜索，獲得二維候選標(biāo)記點(diǎn)，同時利用外極限約束，獲得兩組視頻下二維標(biāo)記點(diǎn)的對應(yīng)關(guān)系，并計算對應(yīng)的三維候選標(biāo)記點(diǎn)。 St印5:根據(jù)三維立體匹配原則，從三維候選標(biāo)記點(diǎn)中找到最佳三維候選標(biāo)記點(diǎn)，作為當(dāng)前時刻該標(biāo)記點(diǎn)三維跟蹤結(jié)果，并修正該標(biāo)記點(diǎn)的三維卡爾曼濾波器。 St印6:根據(jù)三維跟蹤結(jié)果，找出與其對應(yīng)的二維候選標(biāo)記點(diǎn)，即為相應(yīng)的二維跟蹤結(jié)果，并修正二維卡爾曼濾波器。返回St印3，直至處理完所有標(biāo)記點(diǎn)。 St印7:在雙目跟蹤器處理完所有標(biāo)記點(diǎn)后，檢測二維圖像中新出現(xiàn)的標(biāo)記點(diǎn)。將雙目下兩幅二維圖像中新出現(xiàn)的所有二維標(biāo)記點(diǎn)進(jìn)行組合，獲得當(dāng)前時刻所有可能新出現(xiàn)的三維標(biāo)記點(diǎn)。St印8:將雙目跟蹤器所有可能新出現(xiàn)的三維標(biāo)記點(diǎn)，以及己有所有標(biāo)記點(diǎn)的三維跟蹤 軌跡提交多目融合器。步驟四、完成多個雙目跟蹤器的三維跟蹤結(jié)果的數(shù)據(jù)融合。以雙目跟蹤數(shù)據(jù)為基礎(chǔ)，利 用時空約束關(guān)系和歐式距離原則完成多目下標(biāo)記點(diǎn)的軌跡數(shù)據(jù)融合，實(shí)現(xiàn)人體所有標(biāo)記點(diǎn)的 三維卡爾曼跟蹤，獲得最終三維運(yùn)動參數(shù)。具體步驟如下St印l:初始化人體所有標(biāo)記點(diǎn)的三維軌跡集合。St印2:對每個雙目跟蹤器正確跟蹤的標(biāo)記點(diǎn)，根據(jù)其所在的關(guān)節(jié)位置標(biāo)識狀態(tài)將其軌跡添加到三維軌跡集合中相應(yīng)的軌跡集中。 St印3:對于各雙目跟蹤器中的新標(biāo)記點(diǎn)，將其與三維軌跡集合中非空軌跡集的標(biāo)記點(diǎn)相比，若找到其對應(yīng)的標(biāo)記點(diǎn)軌跡，確定其位置標(biāo)識，轉(zhuǎn)St印5，否則轉(zhuǎn)St印4。 St印4:將新標(biāo)記點(diǎn)的軌跡與三維軌跡集合中空軌跡集標(biāo)記點(diǎn)的上一幀卡爾曼預(yù)測相比，若找到其對應(yīng)的標(biāo)記點(diǎn)軌跡，確定其位置標(biāo)識，并修改其對應(yīng)標(biāo)記點(diǎn)的軌跡集，即進(jìn)行卡爾曼修正和預(yù)測，否則轉(zhuǎn)St印7。St印5:對于當(dāng)前時刻，三維軌跡集合中軌跡集為空的標(biāo)記點(diǎn)，將其卡爾曼預(yù)測的軌跡 添加到當(dāng)前時刻的軌跡集中，并進(jìn)行相應(yīng)修正。St印6:對當(dāng)前時刻，非空的三維軌跡集合中的所有標(biāo)記點(diǎn)位置的軌跡集，根據(jù)標(biāo)記點(diǎn) 的時空約束關(guān)系(即每個標(biāo)記點(diǎn)的三維位置和速度等信息在各雙目下是相同的) 取其平均值來消除軌跡差異，確定每個標(biāo)記點(diǎn)最終三維運(yùn)動軌跡。St印7:處理異常情況若雙目跟蹤器新出現(xiàn)的標(biāo)記點(diǎn)，融合器無法確定其位置標(biāo)識，則 丟棄此標(biāo)記點(diǎn)，放棄對其的跟蹤。歩驟五、將多目融合器獲得的標(biāo)記點(diǎn)三維運(yùn)動軌跡信息反饋給雙目跟蹤器，用來完善雙 目跟蹤。具體步驟如下St印l:對雙目跟蹤器中出現(xiàn)遮擋現(xiàn)象的標(biāo)記點(diǎn)，根據(jù)多目融合器反饋的三維跟蹤結(jié)果， 修正雙目跟蹤器中該標(biāo)記點(diǎn)的三維卡爾曼濾波器和二維卡爾曼濾波器。St印2:對雙目跟蹤器中出現(xiàn)的新標(biāo)記點(diǎn)，根據(jù)多目融合器的反饋的新出現(xiàn)的三維標(biāo)記 點(diǎn)及其位置標(biāo)識，獲得其對應(yīng)的二維標(biāo)記點(diǎn)坐標(biāo)，將其二維和三維運(yùn)動信息添加到雙目跟蹤 器中。若該點(diǎn)連續(xù)出現(xiàn)四幀以上，則初始化該點(diǎn)的三維卡爾曼濾波器和二維卡爾曼濾波器。 然后，跳轉(zhuǎn)步驟三的St印3，直至完成所有視頻中的標(biāo)記點(diǎn)跟蹤。本發(fā)明的有益效果是本發(fā)明采用普通攝像機(jī)，降低了系統(tǒng)的成本，并且通過多雙目冗 余拍攝，彌補(bǔ)普通攝像機(jī)在圖像獲取方面的缺點(diǎn)，可以實(shí)現(xiàn)對人體運(yùn)動的全方位拍攝采集， 可以準(zhǔn)確、可靠地實(shí)現(xiàn)至少二十個人體標(biāo)記點(diǎn)的運(yùn)動采集。本發(fā)明采用了多目分組的的設(shè)計， 可以降低由于多個相機(jī)在標(biāo)定、標(biāo)記點(diǎn)提取等過程中的誤差，而引起的跟蹤過程的累計誤差 帶來的跟蹤不確定性，從而較好地解決了多目跟蹤人體運(yùn)動的誤差，提高人體運(yùn)動捕獲的精度。本發(fā)明采用了基于雙目的多目三維跟蹤，與完全采用多目的三維跟蹤相比，所需要的數(shù) 據(jù)量少，計算速度快，算法性能和跟蹤速度有明顯提高。本發(fā)明采用了二維和三維卡爾曼濾 波器相結(jié)合的跟蹤方法，很好地解決了在缺少圖像特征的情況下，準(zhǔn)確匹配跟蹤多個標(biāo)記點(diǎn) 的問題，實(shí)現(xiàn)了同時對多個標(biāo)記點(diǎn)(二十個以上)的三維跟蹤，采集后的視頻資料可重復(fù)使 用，應(yīng)用于影視制作，游戲開發(fā)，可大大節(jié)約資金投入，采集時間短，后期制作可與應(yīng)用方 聯(lián)合，減少應(yīng)用方后期的后期開發(fā)投入，總體經(jīng)濟(jì)效益可觀。該裝置可以廣泛應(yīng)用于影視制 作，游戲開發(fā)，MV與電視廣告的制作，生物力學(xué)分析，虛擬現(xiàn)實(shí)與增廣現(xiàn)實(shí)系統(tǒng)，機(jī)器人控 制，體育運(yùn)動分析等多種領(lǐng)域。下面結(jié)合附圖和實(shí)施例對本發(fā)明進(jìn)一步說明。


圖l是本發(fā)明的流程圖。圖2是本發(fā)明實(shí)施例所示架設(shè)多雙目攝像機(jī)位置示意圖。
具體實(shí)施方式
方法實(shí)施例-步驟一、用單色布料圍上一塊6mX6m的場地；8到16臺普通攝像機(jī)兩兩一組固定在一 個平衡杠桿上，然后圍繞場地四周，攝像機(jī)具有外同歩；表演者著純色服裝，并在主要關(guān)節(jié) 貼滿20個標(biāo)記點(diǎn)，開始拍攝。步驟二、標(biāo)定器標(biāo)定多個相機(jī)在各個相機(jī)的視野區(qū)域內(nèi)，分別采集標(biāo)定板在不同方向上的8幅圖片，利用張氏標(biāo)定法標(biāo)定各個相機(jī)的內(nèi)參；之后在所有相機(jī)的公共視野區(qū)域內(nèi)，采集1幅圖片，利用張氏標(biāo)定法標(biāo)定各個相機(jī)的外參，統(tǒng)一世界坐標(biāo)系。步驟三、每個雙目跟蹤器分別跟蹤其視野區(qū)域范圍內(nèi)的標(biāo)記點(diǎn)手工提取雙目視頻前四幀的標(biāo)記點(diǎn)，確立其對應(yīng)關(guān)系，同時初始化二維及三維kalman;然后利用kalman預(yù)測標(biāo)記 點(diǎn)在下一幀中的二維及三維位置信息，并在當(dāng)前二維預(yù)測區(qū)域內(nèi)尋找標(biāo)記點(diǎn)的對應(yīng)點(diǎn)，利用 外極限約束確立其匹配關(guān)系從而獲得三維對應(yīng)點(diǎn)；最后利用三維跟蹤結(jié)果優(yōu)化二維跟蹤，并 修正二維及三維kalman。步驟四、多目融合器融合多個雙目的結(jié)果利用雙目中正確跟蹤的標(biāo)記點(diǎn)的三維信息初 始化其對應(yīng)軌跡集合；然后將雙目中的新標(biāo)記點(diǎn)與非空軌跡集合中的標(biāo)記點(diǎn)比較，若找不到 對應(yīng)點(diǎn)，則與空軌跡集合中的標(biāo)記點(diǎn)的預(yù)測比較，如果仍找不到對應(yīng)點(diǎn)，則丟棄此點(diǎn)；其次 利用kalman對那些軌跡集合為空的標(biāo)記點(diǎn)進(jìn)行三維預(yù)測，利用預(yù)測信息代替測量信息；最后 分別對全部軌跡集合取平均值，獲得標(biāo)記點(diǎn)的三維信息。步驟五、雙目修正器根據(jù)多目融合器的反饋結(jié)果校正雙目跟蹤器，指導(dǎo)其后續(xù)跟蹤。
權(quán)利要求
1、基于多雙目立體視覺的運(yùn)動捕獲方法，其特征在于包括下述步驟(a)架設(shè)運(yùn)動視頻采集裝置，通過運(yùn)動視頻采集裝置從不同方位采集人體運(yùn)動視頻序列；(b)對多個攝像機(jī)拍攝的多目運(yùn)動視頻序列的標(biāo)定；(c)對每個雙目跟蹤器的標(biāo)記點(diǎn)進(jìn)行匹配和跟蹤，且只考慮在其雙目公共視野區(qū)域內(nèi)出現(xiàn)的標(biāo)記點(diǎn)，其他視野區(qū)域的標(biāo)記點(diǎn)不予考慮；(d)完成多個雙目跟蹤器的三維跟蹤結(jié)果的數(shù)據(jù)融合；(e)將多目融合器獲得的標(biāo)記點(diǎn)三維運(yùn)動軌跡信息反饋給雙目跟蹤器，用來完善雙目跟蹤。
2、 利用權(quán)利要求1所述基于多雙目立體視覺的運(yùn)動捕獲方法，其特征在于所述步驟(a) 將多臺普通攝像機(jī)每兩臺分成一組， 一組內(nèi)的兩臺攝像機(jī)固定在一個平衡杠桿上，作 為一個雙目視覺子系統(tǒng)，然后將若干個這樣的裝置圍繞場地一周，由此形成多個平行 雙目視覺系統(tǒng)的運(yùn)動采集裝置。
3、 利用權(quán)利要求1所述基于多雙目立體視覺的運(yùn)動捕獲方法，其特征在于所述步驟(c)包括下述歩驟(1 )手工建立雙目視覺下兩組視頻圖像之間的同步對應(yīng)關(guān)系；(2) 初始化雙目跟蹤器下每個標(biāo)記點(diǎn)的二維和三維濾波器；(3) 利用二維卡爾曼濾波器預(yù)測每組視頻的二維圖像中標(biāo)記點(diǎn)在下一幀的位置、速度 和加速度，然后利用三維卡爾曼濾波器預(yù)測標(biāo)記點(diǎn)在三維空間中的下 一 幀的位 置、速度和加速度；(4) 根據(jù)上一幀中預(yù)測的位置和范圍，在二維圖像中進(jìn)行標(biāo)記點(diǎn)跟蹤在預(yù)測范圍內(nèi) 搜索，獲得二維候選標(biāo)記點(diǎn)，同時利用外極限約束，獲得兩組視頻下二維標(biāo)記點(diǎn) 的對應(yīng)關(guān)系，并計算對應(yīng)的三維候選標(biāo)記點(diǎn)；(5) 根據(jù)三維立體匹配原則，從三維候選標(biāo)記點(diǎn)中找到最佳三維候選標(biāo)記點(diǎn)，作為當(dāng) 前時刻該標(biāo)記點(diǎn)三維跟蹤結(jié)果，并修正該標(biāo)記點(diǎn)的三維卡爾曼濾波器；(6) 根據(jù)三維跟蹤結(jié)果，找出與其對應(yīng)的二維候選標(biāo)記點(diǎn)，即為相應(yīng)的二維跟蹤結(jié)果， 并修正二維卡爾曼濾波器，返回歩驟(3)，直至處理完所有標(biāo)記點(diǎn)；(7) 在雙目跟蹤器處理完所有標(biāo)記點(diǎn)后，檢測二維圖像中新出現(xiàn)的標(biāo)記點(diǎn)。將雙目下 兩幅二維圖像中新出現(xiàn)的所有二維標(biāo)記點(diǎn)進(jìn)行組合，獲得當(dāng)前時刻所有可能新出 現(xiàn)的三維標(biāo)記點(diǎn)；(8)將雙目跟蹤器所有可能新出現(xiàn)的三維標(biāo)記點(diǎn)，以及已有所有標(biāo)記點(diǎn)的三維跟蹤軌 跡提交多目融合器。
4、 利用權(quán)利要求l所述基于多雙目立體視覺的運(yùn)動捕獲方法，其特征在于所述步驟(d) 包括下述步驟(1) 初始化人體所有標(biāo)記點(diǎn)的三維軌跡集合；(2) 對每個雙目跟蹤器正確跟蹤的標(biāo)記點(diǎn)，根據(jù)其所在的關(guān)節(jié)位置標(biāo)識狀態(tài)將其軌跡 添加到三維軌跡集合中相應(yīng)的軌跡集中；(3) 對于各雙目跟蹤器中的新標(biāo)記點(diǎn)，將其與三維軌跡集合中非空軌跡集的標(biāo)記點(diǎn)相 比，若找到其對應(yīng)的標(biāo)記點(diǎn)軌跡，則確定其位置標(biāo)識，轉(zhuǎn)步驟(5)，否則轉(zhuǎn)步 驟(4);(4) 將新標(biāo)記點(diǎn)的軌跡與三維軌跡集合中空軌跡集標(biāo)記點(diǎn)的上一幀卡爾曼預(yù)測相比， 若找到其對應(yīng)的標(biāo)記點(diǎn)軌跡，確定其位置標(biāo)識，并修改其對應(yīng)標(biāo)記點(diǎn)的軌跡集， 即進(jìn)行卡爾曼修正和預(yù)測，否則轉(zhuǎn)步驟(7);(5) 對于當(dāng)前時刻，三維軌跡集合中軌跡集為空的標(biāo)記點(diǎn)，將其卡爾曼預(yù)測的軌跡添 加到當(dāng)前時刻的軌跡集中，并進(jìn)行相應(yīng)修正；(6) 對當(dāng)前時刻，非空的三維軌跡集合中的所有標(biāo)記點(diǎn)位置的軌跡集，根據(jù)標(biāo)記點(diǎn)的 .時空約束關(guān)系(即每個標(biāo)記點(diǎn)的三維位置和速度等信息在各雙目下是相同的)取其平均值來消除軌跡差異，確定每個標(biāo)記點(diǎn)最終三維運(yùn)動軌跡；(7) 處理異常情況若雙目跟蹤器新出現(xiàn)的標(biāo)記點(diǎn)，融合器無法確定其位置標(biāo)識，則 丟棄此標(biāo)記點(diǎn)，放棄對其的跟蹤。
5、 利用權(quán)利要求l所述基于多雙目立體視覺的運(yùn)動捕獲方法，其特征在于所述步驟(e) 包括下述步驟(1) 對雙目跟蹤器中出現(xiàn)遮擋現(xiàn)象的標(biāo)記點(diǎn)，根據(jù)多目融合器反饋的三維跟蹤結(jié)果， 修正雙目跟蹤器中該標(biāo)記點(diǎn)的三維卡爾曼濾波器和二維卡爾曼濾波器；(2) 對雙目跟蹤器中出現(xiàn)的新標(biāo)記點(diǎn)，根據(jù)多目融合器的反饋的新出現(xiàn)的三維標(biāo)記點(diǎn) 及其位置標(biāo)識，獲得其對應(yīng)的二維標(biāo)記點(diǎn)坐標(biāo)，將其二維和三維運(yùn)動信息添加到 雙目跟蹤器中。若該點(diǎn)連續(xù)出現(xiàn)四幀以上，則初始化該點(diǎn)的三維卡爾曼濾波器和二維卡爾曼濾波器。然后，跳轉(zhuǎn)步驟(c)的步驟(3)，直至完成所有視頻中的標(biāo)記點(diǎn)跟蹤。
全文摘要
本發(fā)明公開了一種基于多雙目立體視覺的運(yùn)動捕獲方法，架設(shè)運(yùn)動視頻采集裝置，通過運(yùn)動視頻采集裝置從不同方位采集人體運(yùn)動視頻序列；對多個攝像機(jī)拍攝的多目運(yùn)動視頻序列的標(biāo)定；完成每一個雙目跟蹤器的標(biāo)記點(diǎn)匹配和跟蹤；完成多個雙目跟蹤器的三維跟蹤結(jié)果的數(shù)據(jù)融合；將多目融合器獲得的標(biāo)記點(diǎn)三維運(yùn)動軌跡信息反饋給雙目跟蹤器，完善雙目跟蹤。本發(fā)明在雙目視覺實(shí)現(xiàn)的雙目三維立體跟蹤基礎(chǔ)上，融合多組雙目的三維運(yùn)動數(shù)據(jù)，解決多個標(biāo)記點(diǎn)的三維空間定位、跟蹤、軌跡融合等參數(shù)獲取問題，提高了可跟蹤標(biāo)記點(diǎn)的個數(shù)，使得其跟蹤效果可與采用多紅外攝像機(jī)采集的三維運(yùn)動捕獲裝置相媲美。
文檔編號G06T7/20GK101226640SQ200710307748
公開日2008年7月23日 申請日期2007年12月21日 優(yōu)先權(quán)日2007年12月21日
發(fā)明者孔娟華, 張歡歡, 晏劍云, 李秀秀, 杰 蔡, 鄭江濱, 陳燕軍 申請人:西北工業(yè)大學(xué)