專利名稱：一種運(yùn)動(dòng)捕捉的數(shù)據(jù)修復(fù)方法、系統(tǒng)及運(yùn)動(dòng)捕捉系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于運(yùn)動(dòng)捕捉技術(shù)領(lǐng)域，尤其涉及一種運(yùn)動(dòng)捕捉的數(shù)據(jù)修復(fù)方法、系統(tǒng)及。
背景技術(shù)：
近年來，隨著計(jì)算機(jī)圖形學(xué)(Computer Graphics, CG)產(chǎn)業(yè)的飛速發(fā)展，運(yùn)動(dòng)捕捉日趨成熟，成為目前廣泛應(yīng)用的能夠真實(shí)再現(xiàn)運(yùn)動(dòng)物體運(yùn)動(dòng)細(xì)節(jié)的技術(shù)。運(yùn)動(dòng)捕捉是一種用于準(zhǔn)確測量運(yùn)動(dòng)物體在三維空間運(yùn)動(dòng)狀況的技術(shù)，其基于計(jì)算機(jī)圖形學(xué)原理，通過排布在空間中的數(shù)個(gè)視頻捕捉設(shè)備采集運(yùn)動(dòng)物體的運(yùn)動(dòng)圖像，之后對(duì)該運(yùn)動(dòng)圖像的圖象數(shù)據(jù)進(jìn)行處理，以還原運(yùn)動(dòng)物體的空間運(yùn)動(dòng)狀況。而人臉表情運(yùn)動(dòng)捕捉作為應(yīng)用于人體的運(yùn)動(dòng)捕捉的一個(gè)分支，是將運(yùn)動(dòng)捕捉應(yīng)于人臉表情動(dòng)畫制作的技術(shù)，其廣泛應(yīng)用于虛擬現(xiàn)實(shí)、影視制作、游戲娛樂和計(jì)算機(jī)動(dòng)畫等領(lǐng)域。傳統(tǒng)的人臉表情運(yùn)動(dòng)捕捉由于數(shù)個(gè)視頻捕捉設(shè)備采集到的運(yùn)動(dòng)圖像由于多個(gè)標(biāo)記點(diǎn)出現(xiàn)位置重疊、遮擋以及少于兩個(gè)攝像設(shè)備可見時(shí)，相應(yīng)的標(biāo)記點(diǎn)位置很難重構(gòu)而形成圖像數(shù)據(jù)的缺失，使得應(yīng)用傳統(tǒng)的人臉表情運(yùn)動(dòng)捕捉得到的圖像數(shù)據(jù)并不能直接驅(qū)動(dòng)3D 幾何模型。為此，現(xiàn)有技術(shù)提供了一種應(yīng)用于人臉表情運(yùn)動(dòng)捕捉領(lǐng)域的運(yùn)動(dòng)捕捉的數(shù)據(jù)修復(fù)方法，該方法采用與缺失點(diǎn)相鄰的標(biāo)記點(diǎn)的運(yùn)動(dòng)均值來表征缺失點(diǎn)的運(yùn)動(dòng)，以修復(fù)缺失數(shù)據(jù)，而沒有考慮人臉肌肉運(yùn)動(dòng)機(jī)理，使得應(yīng)用該方法修復(fù)的缺失點(diǎn)數(shù)據(jù)精確度低。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例的目的在于提供一種運(yùn)動(dòng)捕捉的數(shù)據(jù)修復(fù)方法，以解決現(xiàn)有技術(shù)提供的應(yīng)用于人臉表情運(yùn)動(dòng)捕捉領(lǐng)域的運(yùn)動(dòng)捕捉的數(shù)據(jù)修復(fù)方法沒有考慮人臉肌肉運(yùn)動(dòng)機(jī)理，修復(fù)的缺失點(diǎn)數(shù)據(jù)精確度低的問題。本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的，運(yùn)動(dòng)捕捉的數(shù)據(jù)修復(fù)方法，所述方法包括以下步驟采集運(yùn)動(dòng)物體上多個(gè)標(biāo)記點(diǎn)的兩幀或兩幀以上運(yùn)動(dòng)圖像數(shù)據(jù)，并根據(jù)采集的所述運(yùn)動(dòng)圖像數(shù)據(jù)分別追蹤所述多個(gè)標(biāo)記點(diǎn)的運(yùn)動(dòng)軌跡，以確定幀的缺失點(diǎn)和有效點(diǎn)；計(jì)算前一幀中，與所述缺失點(diǎn)相鄰的兩個(gè)或兩個(gè)以上所述有效點(diǎn)的參數(shù)集，以及所述缺失點(diǎn)分別與所述兩個(gè)或兩個(gè)以上有效點(diǎn)之間的距離之和；根據(jù)所述參數(shù)集和計(jì)算得到的所述缺失點(diǎn)分別與所述兩個(gè)或兩個(gè)以上有效點(diǎn)之間的距離之和，分別計(jì)算所述兩個(gè)或兩個(gè)以上有效點(diǎn)分別與其在當(dāng)前幀中對(duì)應(yīng)的標(biāo)記點(diǎn)之間的向量的權(quán)重，并將計(jì)算得到的所述權(quán)重結(jié)合所述參數(shù)集，得到所述缺失點(diǎn)在當(dāng)前幀的位置。其中，所述根據(jù)采集的所述運(yùn)動(dòng)圖像數(shù)據(jù)分別追蹤所述多個(gè)標(biāo)記點(diǎn)的運(yùn)動(dòng)軌跡， 以確定幀的缺失點(diǎn)和有效點(diǎn)的步驟可以包括以下步驟比較前一幀中所述多個(gè)標(biāo)記點(diǎn)的運(yùn)動(dòng)圖像數(shù)據(jù)與當(dāng)前幀中所述多個(gè)標(biāo)記點(diǎn)的運(yùn)動(dòng)圖像數(shù)據(jù)，將當(dāng)前幀的所述多個(gè)標(biāo)記點(diǎn)中，位置在前一幀標(biāo)記點(diǎn)的位置預(yù)設(shè)范圍內(nèi)的標(biāo)記點(diǎn)作為前一幀標(biāo)記點(diǎn)在當(dāng)前幀的對(duì)應(yīng)標(biāo)記點(diǎn)，以得到所述多個(gè)標(biāo)記點(diǎn)的運(yùn)動(dòng)軌跡，并將前一幀中在當(dāng)前幀存在對(duì)應(yīng)標(biāo)記點(diǎn)的標(biāo)記點(diǎn)作為有效點(diǎn)，將前一幀中在當(dāng)前幀中不存在對(duì)應(yīng)標(biāo)記點(diǎn)的標(biāo)記點(diǎn)作為缺失點(diǎn)。其中，所述方法在所述根據(jù)采集的所述運(yùn)動(dòng)圖像數(shù)據(jù)分別追蹤所述多個(gè)標(biāo)記點(diǎn)的運(yùn)動(dòng)軌跡的步驟之前，還可以包括以下步驟顯示采集的所述運(yùn)動(dòng)物體上多個(gè)標(biāo)記點(diǎn)的首幀運(yùn)動(dòng)圖像數(shù)據(jù)；接收用戶輸入的運(yùn)動(dòng)圖像數(shù)據(jù)修改信號(hào)，并根據(jù)所述運(yùn)動(dòng)圖像數(shù)據(jù)修改信號(hào)修改采集的首幀運(yùn)動(dòng)圖像數(shù)據(jù)。上述參數(shù)集包括由兩個(gè)或兩個(gè)以上所述有效點(diǎn)的位置構(gòu)成的點(diǎn)集、由所述缺失點(diǎn)分別與所述兩個(gè)或兩個(gè)以上有效點(diǎn)之間的距離構(gòu)成的距離集、以及由所述兩個(gè)或兩個(gè)以上有效點(diǎn)分別與所述兩個(gè)或兩個(gè)以上有效點(diǎn)在當(dāng)前幀中對(duì)應(yīng)的標(biāo)記點(diǎn)之間的向量構(gòu)成的
向量集。進(jìn)一步地，當(dāng)所述兩個(gè)或兩個(gè)以上有效點(diǎn)具體為三個(gè)有效點(diǎn)時(shí)，所述根據(jù)所述參數(shù)集和計(jì)算得到的所述缺失點(diǎn)分別與所述兩個(gè)或兩個(gè)以上有效點(diǎn)之間的距離之和，分別計(jì)算所述兩個(gè)或兩個(gè)以上有效點(diǎn)分別與其在當(dāng)前幀中對(duì)應(yīng)的標(biāo)記點(diǎn)之間的向量的權(quán)重的步驟可以表示為
權(quán)利要求
1.一種運(yùn)動(dòng)捕捉的數(shù)據(jù)修復(fù)方法，其特征在于，所述方法包括以下步驟采集運(yùn)動(dòng)物體上多個(gè)標(biāo)記點(diǎn)的兩幀或兩幀以上運(yùn)動(dòng)圖像數(shù)據(jù)，并根據(jù)采集的所述運(yùn)動(dòng)圖像數(shù)據(jù)分別追蹤所述多個(gè)標(biāo)記點(diǎn)的運(yùn)動(dòng)軌跡，以確定幀的缺失點(diǎn)和有效點(diǎn)；計(jì)算前一幀中，與所述缺失點(diǎn)相鄰的兩個(gè)或兩個(gè)以上所述有效點(diǎn)的參數(shù)集，以及所述缺失點(diǎn)分別與所述兩個(gè)或兩個(gè)以上有效點(diǎn)之間的距離之和；根據(jù)所述參數(shù)集和計(jì)算得到的所述缺失點(diǎn)分別與所述兩個(gè)或兩個(gè)以上有效點(diǎn)之間的距離之和，分別計(jì)算所述兩個(gè)或兩個(gè)以上有效點(diǎn)分別與其在當(dāng)前幀中對(duì)應(yīng)的標(biāo)記點(diǎn)之間的向量的權(quán)重，并將計(jì)算得到的所述權(quán)重結(jié)合所述參數(shù)集，得到所述缺失點(diǎn)在當(dāng)前幀的位置。
2.如權(quán)利要求1所述的運(yùn)動(dòng)捕捉的數(shù)據(jù)修復(fù)方法，其特征在于，所述根據(jù)采集的所述運(yùn)動(dòng)圖像數(shù)據(jù)分別追蹤所述多個(gè)標(biāo)記點(diǎn)的運(yùn)動(dòng)軌跡，以確定幀的缺失點(diǎn)和有效點(diǎn)的步驟包括以下步驟比較前一幀中所述多個(gè)標(biāo)記點(diǎn)的運(yùn)動(dòng)圖像數(shù)據(jù)與當(dāng)前幀中所述多個(gè)標(biāo)記點(diǎn)的運(yùn)動(dòng)圖像數(shù)據(jù)，將當(dāng)前幀的所述多個(gè)標(biāo)記點(diǎn)中，位置在前一幀標(biāo)記點(diǎn)的位置預(yù)設(shè)范圍內(nèi)的標(biāo)記點(diǎn)作為前一幀標(biāo)記點(diǎn)在當(dāng)前幀的對(duì)應(yīng)標(biāo)記點(diǎn)，以得到所述多個(gè)標(biāo)記點(diǎn)的運(yùn)動(dòng)軌跡，并將前一幀中在當(dāng)前幀存在對(duì)應(yīng)標(biāo)記點(diǎn)的標(biāo)記點(diǎn)作為有效點(diǎn)，將前一幀中在當(dāng)前幀中不存在對(duì)應(yīng)標(biāo)記點(diǎn)的標(biāo)記點(diǎn)作為缺失點(diǎn)。
3.如權(quán)利要求1所述的運(yùn)動(dòng)捕捉的數(shù)據(jù)修復(fù)方法，其特征在于，所述方法在所述根據(jù)采集的所述運(yùn)動(dòng)圖像數(shù)據(jù)分別追蹤所述多個(gè)標(biāo)記點(diǎn)的運(yùn)動(dòng)軌跡的步驟之前，還包括以下步驟顯示采集的所述運(yùn)動(dòng)物體上多個(gè)標(biāo)記點(diǎn)的首幀運(yùn)動(dòng)圖像數(shù)據(jù)；接收用戶輸入的運(yùn)動(dòng)圖像數(shù)據(jù)修改信號(hào)，并根據(jù)所述運(yùn)動(dòng)圖像數(shù)據(jù)修改信號(hào)修改采集的首幀運(yùn)動(dòng)圖像數(shù)據(jù)。
4.如權(quán)利要求1、2或3所述的運(yùn)動(dòng)捕捉的數(shù)據(jù)修復(fù)方法，其特征在于，所述參數(shù)集包括由兩個(gè)或兩個(gè)以上所述有效點(diǎn)的位置構(gòu)成的點(diǎn)集、由所述缺失點(diǎn)分別與所述兩個(gè)或兩個(gè)以上有效點(diǎn)之間的距離構(gòu)成的距離集、以及由所述兩個(gè)或兩個(gè)以上有效點(diǎn)分別與所述兩個(gè)或兩個(gè)以上有效點(diǎn)在當(dāng)前幀中對(duì)應(yīng)的標(biāo)記點(diǎn)之間的向量構(gòu)成的向量集。
5.如權(quán)利要求4所述的運(yùn)動(dòng)捕捉的數(shù)據(jù)修復(fù)方法，其特征在于，當(dāng)所述兩個(gè)或兩個(gè)以上有效點(diǎn)具體為三個(gè)有效點(diǎn)時(shí)，所述根據(jù)所述參數(shù)集和計(jì)算得到的所述缺失點(diǎn)分別與所述兩個(gè)或兩個(gè)以上有效點(diǎn)之間的距離之和，分別計(jì)算所述兩個(gè)或兩個(gè)以上有效點(diǎn)分別與其在當(dāng)前幀中對(duì)應(yīng)的標(biāo)記點(diǎn)之間的向量的權(quán)重的步驟表示為
6.如權(quán)利要求5所述的運(yùn)動(dòng)捕捉的數(shù)據(jù)修復(fù)方法，其特征在于，當(dāng)所述兩個(gè)或兩個(gè)以上有效點(diǎn)具體為三個(gè)有效點(diǎn)時(shí)，所述將計(jì)算得到的所述權(quán)重結(jié)合所述參數(shù)集，得到所述缺失點(diǎn)在當(dāng)前幀的位置的步驟表示為
7.如權(quán)利要求4所述的運(yùn)動(dòng)捕捉的數(shù)據(jù)修復(fù)方法，其特征在于，所述方法在所述根據(jù)所述參數(shù)集和計(jì)算得到的所述缺失點(diǎn)分別與所述兩個(gè)或兩個(gè)以上有效點(diǎn)之間的距離之和， 分別計(jì)算所述兩個(gè)或兩個(gè)以上有效點(diǎn)分別與其在當(dāng)前幀中對(duì)應(yīng)的標(biāo)記點(diǎn)之間的向量的權(quán)重，并將計(jì)算得到的所述權(quán)重結(jié)合所述參數(shù)集，得到所述缺失點(diǎn)在當(dāng)前幀的位置的步驟之后，還包括以下步驟根據(jù)得到的所述缺失點(diǎn)的位置以及所述有效點(diǎn)的參數(shù)集，將各幀中相互對(duì)應(yīng)的標(biāo)記點(diǎn)關(guān)聯(lián)后顯示。
8.—種運(yùn)動(dòng)捕捉的數(shù)據(jù)修復(fù)系統(tǒng)，其特征在于，所述系統(tǒng)包括信號(hào)采集單元，用于采集運(yùn)動(dòng)物體上多個(gè)標(biāo)記點(diǎn)的兩幀或兩幀以上運(yùn)動(dòng)圖像數(shù)據(jù)；軌跡追蹤模塊，用于根據(jù)所述信號(hào)采集單元采集的所述運(yùn)動(dòng)圖像數(shù)據(jù)分別追蹤所述多個(gè)標(biāo)記點(diǎn)的運(yùn)動(dòng)軌跡，以確定幀的缺失點(diǎn)和有效點(diǎn)；第一計(jì)算模塊，用于計(jì)算前一幀中，與所述軌跡追蹤模塊確定的缺失點(diǎn)相鄰的兩個(gè)或兩個(gè)以上所述軌跡追蹤模塊確定的有效點(diǎn)的參數(shù)集，以及所述缺失點(diǎn)分別與所述兩個(gè)或兩個(gè)以上有效點(diǎn)之間的距離之和；第二計(jì)算模塊，用于根據(jù)所述第一計(jì)算模塊計(jì)算得到的所述參數(shù)集和計(jì)算得到的所述缺失點(diǎn)分別與該兩個(gè)或兩個(gè)以上有效點(diǎn)之間的距離之和，分別計(jì)算所述兩個(gè)或兩個(gè)以上有效點(diǎn)分別與其在當(dāng)前幀中對(duì)應(yīng)的標(biāo)記點(diǎn)之間的向量的權(quán)重，并將計(jì)算得到的所述權(quán)重結(jié)合所述參數(shù)集，得到所述缺失點(diǎn)在當(dāng)前幀的位置。
9.如權(quán)利要求8所述的運(yùn)動(dòng)捕捉的數(shù)據(jù)修復(fù)系統(tǒng)，其特征在于，當(dāng)所述兩個(gè)或兩個(gè)以上有效點(diǎn)具體為三個(gè)有效點(diǎn)時(shí)，所述第二計(jì)算模塊根據(jù)所述第一計(jì)算模塊計(jì)算得到的所述參數(shù)集和計(jì)算得到的所述缺失點(diǎn)分別與該兩個(gè)或兩個(gè)以上有效點(diǎn)之間的距離之和，分別計(jì)算所述兩個(gè)或兩個(gè)以上有效點(diǎn)分別與其在當(dāng)前幀中對(duì)應(yīng)的標(biāo)記點(diǎn)之間的向量的權(quán)重的步驟表示為
10. 一種運(yùn)動(dòng)捕捉系統(tǒng)，包括置于運(yùn)動(dòng)物體上的多個(gè)傳感器，以及一運(yùn)動(dòng)捕捉的數(shù)據(jù)修復(fù)系統(tǒng)，其特征在于，所述運(yùn)動(dòng)捕捉的數(shù)據(jù)修復(fù)系統(tǒng)是如權(quán)利要求8或9所述的運(yùn)動(dòng)捕捉的數(shù)據(jù)修復(fù)系統(tǒng)；所述信號(hào)采集模塊是通過接收所述多個(gè)傳感器的信號(hào)，來采集運(yùn)動(dòng)物體上多個(gè)標(biāo)記點(diǎn)的兩幀或兩幀以上運(yùn)動(dòng)圖像數(shù)據(jù)的。
全文摘要
本發(fā)明公開了一種運(yùn)動(dòng)捕捉的數(shù)據(jù)修復(fù)方法，包括以下步驟采集運(yùn)動(dòng)物體上多個(gè)標(biāo)記點(diǎn)的兩幀或兩幀以上運(yùn)動(dòng)圖像數(shù)據(jù)，分別追蹤多個(gè)標(biāo)記點(diǎn)的運(yùn)動(dòng)軌跡，以確定幀的缺失點(diǎn)和有效點(diǎn)；計(jì)算前一幀中，與缺失點(diǎn)相鄰的兩個(gè)或兩個(gè)以上有效點(diǎn)的參數(shù)集，以及缺失點(diǎn)分別與兩個(gè)或兩個(gè)以上有效點(diǎn)之間的距離之和；根據(jù)參數(shù)集和計(jì)算得到的缺失點(diǎn)分別與兩個(gè)或兩個(gè)以上有效點(diǎn)之間的距離之和，分別計(jì)算兩個(gè)或兩個(gè)以上有效點(diǎn)與其在當(dāng)前幀中對(duì)應(yīng)點(diǎn)組成的運(yùn)動(dòng)向量的權(quán)重，并將計(jì)算得到的權(quán)重結(jié)合參數(shù)集，得到缺失點(diǎn)在當(dāng)前幀的位置。應(yīng)用該運(yùn)動(dòng)捕捉的數(shù)據(jù)修復(fù)方法對(duì)人臉表情進(jìn)行運(yùn)動(dòng)捕捉時(shí)，充分考慮了人臉肌肉這種非剛性結(jié)構(gòu)的運(yùn)動(dòng)機(jī)理，從而提高了缺失點(diǎn)的修復(fù)精度。
文檔編號(hào)G06T5/50GK102289801SQ20111012603
公開日2011年12月21日 申請(qǐng)日期2011年5月16日 優(yōu)先權(quán)日2011年5月16日
發(fā)明者張強(qiáng), 梁小英, 魏小鵬 申請(qǐng)人:大連大學(xué)