專利名稱：一種物體跟蹤方法和設備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及物體跟蹤，更具體地講，涉及一種使用三維模型和三維紋理進行物體跟蹤的方法和設備。
背景技術(shù)：
根據(jù)目標表達方式的不同，常見的物體跟蹤方法可以分為基于外觀的方法和基于特征的方法。在基于外觀的跟蹤方法中，模型和輸入圖像中被跟蹤目標的整個外觀紋理圖像都參與匹配過程，通過最小化二者之間的差距找到狀態(tài)參數(shù)。基于特征的方法通常選擇一些容易跟蹤，且對光照、角度、變形等比較魯棒的圖像特征，如顏色、邊緣、角點等，通過這些特征獲得物體狀態(tài)的估計。物體跟蹤算法還可以被分為確定性的方法和隨機性的方法兩類。確定性方法有梯度下降法，最大期望算法，回歸技術(shù)等。隨機方法有Condensation算法，動態(tài)貝葉斯網(wǎng)絡寸。物體跟蹤算法還可以分為基于運動的方法和基于模型的方法。在基于運動的方法中，首先使用光流算法，或者基于塊結(jié)構(gòu)的運動估計算法，或者基于圖像特征匹配的方法，估計出前后幀之間物體或者物體上某些部分的位移。然后，根據(jù)位移信息計算目標模型的運動參數(shù)。在基于模型的跟蹤方法中，使用模型描述目標狀態(tài)，通過改變模型參數(shù)，可以使模型描述與當前輸入圖像中相應信息之間的誤差最小，實現(xiàn)對物體的跟蹤。WO 2008/106725介紹了一種對三維人臉進行實時跟蹤的方法。這是一種基于特征的方法。使用當前模型參數(shù)，如位置、姿態(tài)、形狀等，可以渲染出處于此種參數(shù)條件下的人臉圖像，從圖像上選擇有利于跟蹤的角點特征，并對每個特征點在輸入圖像上尋找對應的位置，從而使用特征點的對應關(guān)系，計算出圖像中的人臉相對于當前模型參數(shù)的變化，實現(xiàn)跟
S示ο然而，在現(xiàn)有的物體跟蹤方法中，需要使用從大量訓練樣本學習得到模型。這種基于模型學習的方法存在的主要問題是，模型所描述對象的范圍受到訓練模型時使用的樣本的限制，模型無法表達出樣本集中沒有出現(xiàn)過的模式。對于物體跟蹤來說，如果目標形變的范圍或方式超出了樣本集中所包含的內(nèi)容，由于模型無法跟蹤目標的變化，會導致跟蹤中斷。此外，在現(xiàn)有的跟蹤方法中，被跟蹤目標被假設為剛性物體。即在跟蹤過程中，物體的形狀不發(fā)生變化，只有位置和尺寸發(fā)生變化。然而，很多實際物體(如人臉、人體器官等)均為非剛性物體。由于個體差異的存在，其形狀和表觀本來就存在差異，又可能在運動過程中產(chǎn)生形狀的改變，使得跟蹤的難度增加。此外，在現(xiàn)有的跟蹤方法中，被跟蹤目標的面外旋轉(zhuǎn)角度必須在一個比較小的范圍內(nèi)，如果超出了這一范圍，由于目標在圖像中的外觀變化過大，就會導致跟蹤中斷。以人臉為例，大部分跟蹤方法對于正面人臉上的特征，如眼睛、眉毛、嘴等，具有良好的跟蹤能力。然而如果頭部姿態(tài)發(fā)生變化，圖像中的人臉不再是正面情況時，跟蹤效果就會變差。
因此，需要一種能夠即使被跟蹤目標在跟蹤過程中發(fā)生形狀改變并且姿態(tài)變化很大的情況下也能實現(xiàn)精確跟蹤的方法和設備。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種物體跟蹤方法和設備，該物體跟蹤方法和設備在被跟蹤目標在跟蹤過程中發(fā)生形狀改變并且姿態(tài)變化很大的情況下也能實現(xiàn)精確跟蹤，從而獲得被跟蹤目標的位置、姿態(tài)和形狀變化參數(shù)。本發(fā)明的一方面提供一種物體跟蹤方法，所述方法包括接收用于跟蹤的圖像；基于第一幀圖像初始化被跟蹤物體的三維形狀模型的參數(shù)；在跟蹤當前幀圖像中的被跟蹤對象時，根據(jù)在先前幀圖像中獲得的三維形狀模型的參數(shù)，從紋理模板庫中選擇紋理模板，以對當前幀圖像中的被跟蹤對象進行跟蹤；更新三維形狀模型的參數(shù)，以使得從當前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與選擇的紋理模板對齊至第一預定程度。所述方法還可包括根據(jù)更新的三維形狀模型的參數(shù)確定當前幀圖像是否是關(guān)鍵幀；當確定當前幀圖像為關(guān)鍵幀時，基于更新了參數(shù)的三維形狀模型重新獲得被跟蹤物體的規(guī)范化紋理；將基于更新了參數(shù)的三維形狀模型而重新獲得的規(guī)范化紋理設置為紋理模板，以產(chǎn)生或更新與更新的參數(shù)對應的紋理模板，其中，當確定當前幀圖像為非關(guān)鍵幀時，結(jié)束對當前幀的跟蹤。三維形狀模型的參數(shù)可包括位置參數(shù)、姿態(tài)參數(shù)和形變參數(shù)。在先前幀圖像中獲得的三維形狀模型的參數(shù)可以是姿態(tài)參數(shù)。將三維形狀模型的頂點投影到圖像上，連接投影在圖像上的頂點形成網(wǎng)格，該網(wǎng)格所覆蓋的像素作為被跟蹤物體的紋理，通過去除該紋理的形變特性而獲得規(guī)范化紋理。三維形狀模型的三維姿態(tài)空間可被劃分多個區(qū)域，每個區(qū)域表示一個姿態(tài)范圍并且能夠?qū)谝粋€紋理模板，存在的對應的紋理模板的集合形成紋理模板庫。判斷當前幀圖像是否是關(guān)鍵幀的步驟可包括當更新的參數(shù)中的姿態(tài)參數(shù)所在的區(qū)域沒有對應的紋理模板時，確定當前幀圖像是關(guān)鍵幀。判斷當前幀圖像是否是關(guān)鍵幀的步驟還可包括當更新的參數(shù)中的姿態(tài)參數(shù)所在的區(qū)域存在對應的紋理模板時，當更新的參數(shù)中的姿態(tài)參數(shù)所表示的姿態(tài)比該對應的紋理模板被生成時三維形狀模型的姿態(tài)更接近該對應的區(qū)域的中心的坐標所表示的姿態(tài)時，確定當前幀圖像是關(guān)鍵幀。判斷當前幀圖像是否是關(guān)鍵幀的步驟還可包括確定與更新的參數(shù)中的姿態(tài)參數(shù)對應的區(qū)域；確定該對應的區(qū)域是否存在對應的紋理模板；如果存在對應的紋理模板，則確定更新的參數(shù)中的姿態(tài)參數(shù)所表示的姿態(tài)是否比該對應的紋理模板被生成時三維形狀模型的姿態(tài)更接近該對應的區(qū)域的中心的坐標所表示的姿態(tài)；如果確定不更接近，則將當前幀設置為非關(guān)鍵幀。判斷當前幀圖像是否是關(guān)鍵幀的步驟還可包括如果確定更接近，則確定從當前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與該對應的紋理模板是否對齊到至第二預定程度；如果確定對齊至第二預定程度，將當前幀設置為關(guān)鍵幀；如果確定沒有對齊至第二預定程度，則將當前幀設置為非關(guān)鍵幀；如果確定更接近，則在確定從當前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與該對應的紋理模板是否對齊到至第二預定程度之前，確定更新的參數(shù)中的姿態(tài)參數(shù)所表示的姿態(tài)是否比在前一幀圖像更新的參數(shù)中的姿態(tài)參數(shù)所表示的姿態(tài)更遠離該對應的區(qū)域的中心的坐標所表示的姿態(tài)；如果確定更遠離，則確定從當前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與該對應的紋理模板是否對齊到至第二預定程度；如果確定不更遠離，則將當前幀設置為非關(guān)鍵幀。判斷當前幀圖像是否是關(guān)鍵幀的步驟還可包括如果不存在對應的紋理模板，則確定從當前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與該對應的紋理模板是否對齊到至第二預定程度；如果確定對齊至第二預定程度，將當前幀設置為關(guān)鍵幀；如果確定沒有對齊至第二預定程度，則將當前幀設置為非關(guān)鍵幀。第一預定程度可小于等于第二預定程度?；诘谝粠瑘D像初始化被跟蹤物體的三維形狀模型的參數(shù)的步驟可包括通過調(diào)整三維形狀模型的參數(shù)使得三維形狀模型的頂點投影到第一幀圖像上時與第一幀圖像上的對應頂點重合至預定程度。形變參數(shù)可包括個性化形變參數(shù)和運動形變參數(shù)。基于第一幀圖像初始化被跟蹤物體的三維形狀模型的參數(shù)的步驟可包括通過調(diào)整個性化形變參數(shù)、位置參數(shù)和姿態(tài)參數(shù)使得三維形狀模型的頂點投影到第一幀圖像上時與第一幀圖像上的對應頂點重合至預定程度。將三維形狀模型的頂點投影到圖像上，連接投影在圖像上的頂點形成網(wǎng)格，該網(wǎng)格所覆蓋的像素作為被跟蹤物體的紋理，通過去除該紋理的形變特性而獲得規(guī)范化紋理，其中，通過去除該紋理的形變特性而獲得規(guī)范化紋理的步驟包括將在形變參數(shù)為零的條件下的三維形狀模型的頂點投影到二維平面，根據(jù)每個網(wǎng)格的頂點的坐標與每個網(wǎng)格所覆蓋的像素的位置關(guān)系，將每個網(wǎng)格所覆蓋的像素變換到該二維平面，從而得到規(guī)范化紋理。三維形狀模型的形狀可被表示如下S = & + Σ + Σ bAi
i i其中，&為平均形狀，Σ 為為可變部分，可變部分包括個性化形變
IJ
和運動形變'Ai和B」為形變的基向量，ai為個性化形變參數(shù)，h為運動形變參
ι./·當選擇的與在先前幀圖像中獲得的三維形狀模型的參數(shù)對應的紋理模板被生成時三維形狀模型的姿態(tài)與在跟蹤先前幀圖像時使用的紋理模板被生成時三維形狀模型的姿態(tài)之差在預定范圍內(nèi)時，使用在跟蹤先前幀圖像時使用的紋理模板。從紋理模板庫中選擇具有與在先前幀圖像中獲得的三維形狀模型的參數(shù)所表示的姿態(tài)相接近的姿態(tài)的紋理模板，以對當前幀圖像中的被跟蹤對象進行跟蹤。本發(fā)明的另一方面提供一種物體跟蹤設備，所述設備包括接收單元，接收用于跟蹤的圖像；初始化單元，基于第一幀圖像初始化被跟蹤物體的三維形狀模型的參數(shù)；紋理模板選擇單元，在跟蹤當前幀圖像中的被跟蹤對象時，根據(jù)在先前幀圖像中獲得的三維形狀模型的參數(shù)，從紋理模板庫中選擇紋理模板，以對當前幀圖像中的被跟蹤對象進行跟蹤；更新單元，更新三維形狀模型的參數(shù)，以使得從當前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與選擇的紋理模板對齊至第一預定程度。
7
所述物體跟蹤設備還可包括關(guān)鍵幀確定單元，根據(jù)更新的三維形狀模型的參數(shù)確定當前幀圖像是否是關(guān)鍵幀；規(guī)范化紋理計算單元，在關(guān)鍵幀確定單元確定當前幀圖像為關(guān)鍵幀時，基于更新了參數(shù)的三維形狀模型重新獲得被跟蹤物體的規(guī)范化紋理；紋理模板設置單元，將基于更新了參數(shù)的三維形狀模型而重新獲得的規(guī)范化紋理設置為紋理模板，以產(chǎn)生或更新與更新的參數(shù)對應的紋理模板，其中，當關(guān)鍵幀確定單元確定當前幀圖像為非關(guān)鍵幀時，結(jié)束對當前幀的跟蹤。在本發(fā)明中，為了使被跟蹤物體在產(chǎn)生較大幅度姿態(tài)變化時仍能被跟蹤到，使用了三維形狀模型和多個紋理模板。用三維形狀模型的位置和姿態(tài)參數(shù)描述被跟蹤物體的位置和姿態(tài)狀態(tài)，當被跟蹤物體形狀變化時，三維形狀模型的狀態(tài)參數(shù)同步變化，實現(xiàn)較大幅度姿態(tài)變化條件下的穩(wěn)定跟蹤。多個紋理模板用來表示被跟蹤物體在不同姿態(tài)條件下的外觀狀態(tài)，提高跟蹤方法對物體姿態(tài)變化的穩(wěn)定性。此外，為了使被跟蹤物體發(fā)生形變時仍能被跟蹤到，本發(fā)明使用的三維形狀模型中包含了變形參數(shù)。也就是說，在跟蹤過程中，三維形狀模型與被跟蹤物體同步產(chǎn)生形變，用三維形狀模型的形變參數(shù)描述物體的形變狀態(tài)。此外，為了減少跟蹤方法對于訓練樣本的依賴，本發(fā)明中使用的形狀模型，既可以通過統(tǒng)計的方式獲得，也可以使用手工設計的方式獲得。另外，跟蹤過程中所依賴的紋理信息，在跟蹤起始階段及跟蹤過程中，從輸入圖像中獲得，從而減少對訓練樣本的依賴。


通過下面結(jié)合附圖進行的詳細描述，本發(fā)明的上述和其它目的、特點和優(yōu)點將會變得更加清楚，其中圖1示出根據(jù)本發(fā)明實施例的物體跟蹤設備的框圖；圖2示出根據(jù)本發(fā)明實施例的物體跟蹤方法；圖3示出根據(jù)本發(fā)明實施例的獲得初始紋理模板的流程圖；圖4示出根據(jù)本發(fā)明實施例的調(diào)整三維形狀模型的參數(shù)的流程圖；圖5示出根據(jù)本發(fā)明實施例的劃分三維姿態(tài)空間的示意圖；圖6示出根據(jù)本發(fā)明實施例的判斷當前幀圖像是否是關(guān)鍵幀的流程圖。
具體實施例方式現(xiàn)在，將參照附圖更充分地描述不同的示例實施例。圖1示出根據(jù)本發(fā)明實施例的物體跟蹤設備的框圖。如圖1所示，根據(jù)本發(fā)明的物體跟蹤設備包括接收單元101、初始化單元102、紋理模板選擇單元103和更新單元104。接收單元101接收用于跟蹤的圖像，該圖像可由各種圖像獲取裝置產(chǎn)生，例如，相機、攝像機等。初始化單元102基于第一幀圖像初始化被跟蹤物體的三維形狀模型的參數(shù)。紋理模板選擇單元103在跟蹤當前幀圖像中的被跟蹤對象時，基于在跟蹤先前幀圖像時獲得的三維形狀模型的參數(shù)，從紋理模板庫中選擇合適的紋理模板，以跟蹤當前幀圖像中的被跟蹤對象。
更新單元104更新三維形狀模型的參數(shù)，以使得從當前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與選擇的紋理模板對齊至預定程度。在另外的實施例中，根據(jù)本發(fā)明的物體跟蹤設備還可包括關(guān)鍵幀確定單元105、規(guī)范化紋理計算單元106和紋理模板設置單元107。關(guān)鍵幀確定單元105根據(jù)更新的三維形狀模型的參數(shù)確定當前幀圖像是否是關(guān)鍵幀，以生產(chǎn)新的紋理模板或更新當前存在的紋理模板。規(guī)范化紋理計算單元106在關(guān)鍵幀確定單元105確定當前幀圖像為關(guān)鍵幀時，基于更新了參數(shù)的三維形狀模型重新獲得被跟蹤物體的規(guī)范化紋理。紋理模板設置單元107將基于更新了參數(shù)的三維形狀模型而重新獲得的規(guī)范化紋理設置為紋理模板，以產(chǎn)生或更新與更新的參數(shù)對應的紋理模板。圖2示出根據(jù)本發(fā)明實施例的物體跟蹤方法。下面根據(jù)圖2詳細描述本發(fā)明的物體跟蹤方法，同時更詳細地說明圖1的各單元所執(zhí)行的處理和具有的功能。在步驟S101，接收單元101接收用于跟蹤的圖像。該圖像可由各種圖像獲取裝置產(chǎn)生，例如，相機、攝像機等。在步驟S102，初始化單元102基于輸入的第一幀圖像初始化被跟蹤物體的三維形狀模型的參數(shù)。在本發(fā)明中，被跟蹤物體的三維形狀模型預先被建立，三維形狀模型的參數(shù)可包括位置參數(shù)、姿態(tài)參數(shù)和形變參數(shù)，從而能夠?qū)ξ矬w進行位置、姿態(tài)和形變的跟蹤。將三維形狀模型的頂點投影到輸入的圖像上，連接投影在圖像上的頂點形成網(wǎng)格，該網(wǎng)格所覆蓋的像素作為被跟蹤物體的紋理，將該紋理的坐標變換到形變參數(shù)為零的三維形狀模型得到規(guī)范化紋理。在初始化被跟蹤物體的三維形狀模型的參數(shù)時，初始化單元102調(diào)整三維形狀模型的參數(shù)，使得三維形狀模型的頂點投影到第一幀圖像上時與第一幀圖像上的頂點重合。當實現(xiàn)重合時獲得的三維形狀模型的參數(shù)就是初始化的三維形狀模型的參數(shù)。初始化的參數(shù)能夠準確反映被跟蹤物體的初始狀態(tài)。通過調(diào)整三維形狀模型的參數(shù)，使得三維形狀模型的頂點投影到第一幀圖像上時與第一幀圖像上的頂點重合時獲得的被跟蹤物體的紋理的規(guī)范化紋理為初始規(guī)范化紋理。在跟蹤過程中，如果三維形狀模型的參數(shù)是準確的，即三維形狀模型上的每個頂點始終與被跟蹤物體上固定的位置對應，則按照上述方式得到的規(guī)范化紋理具有不變性。不變性的含義是，在跟蹤過程中，忽略光照條件變化的影響，同一物體的規(guī)范化紋理不隨物體位置、姿態(tài)、形變參數(shù)的改變而改變。因此，反過來，規(guī)范化紋理是否保持不變，可以衡量作為跟蹤結(jié)果的三維模型的參數(shù)是否準確?？梢詫⑷S形狀模型的參數(shù)準確時獲得的規(guī)范化紋理保存下來，作為實現(xiàn)跟蹤的依據(jù)的紋理模板。當通過調(diào)整三維形狀模型的參數(shù)使得被跟蹤物體的規(guī)范化紋理與紋理模板對齊時，可使用此時的三維形狀模型的參數(shù)來表示被跟蹤物體的狀態(tài)(即，位置、姿態(tài)和形變中的至少一個)。實際上，由于非均勻光照和可視范圍的影響，即使模型參數(shù)準確，在物體姿態(tài)不同時，規(guī)范化紋理也是不同的。因此，需要對于不同的物體姿態(tài)來設置不同的紋理模板，紋理模板的集合稱為紋理模板庫。在一個示例中，三維形狀模型可通過向量被表示。三維形狀模型可包括被跟蹤物體的頂點在模型坐標系中的三維坐標S = (x1 Y1, Z1, x2, J2, Z2, ···, xn, yn, ζη)τ,其中，η為頂點的數(shù)量，(Xi，Zi)T為第i個頂點的坐標。在本發(fā)明中，三維形狀模型的形狀被劃分為平均形狀和可變部分。由于形狀實質(zhì)上可由坐標表示，因此三維坐標S可被轉(zhuǎn)換為包括平均形狀和可變部分，表示如下S = S0+J^j CtiAi + bjBj
其中，&為被跟蹤物體的平均形狀，為被跟蹤物體的可變
部分?？勺儾糠挚砂▊€性化形變4.和適動形敘Σ6/5/，個性化形變表示
. · _ ..... / /
被跟蹤物體相對于這一類物體平均形狀之間的差別，運動形變表示跟蹤過程中被跟蹤物體的形狀可能發(fā)生的變化。Ai和B」為形變的基向量，Bi和h為形變系數(shù)。形變系數(shù) 和bj也可分別用向量a和b表示，向量a和b為三維形狀模型的形變參數(shù)。即，在本發(fā)明中，形變參數(shù)包括個性化形變參數(shù)a和運動形變參數(shù)b。三維形狀模型的頂點坐標與其在圖像平面上的投影坐標之間的關(guān)系可被表示為(ui Vi)1 = M(xi; Yi, zi;l)T其中，M為投影變換矩陣，由三個旋轉(zhuǎn)角度θχ、0y、θζ，兩個平移系數(shù)、、~，和一個縮放系數(shù)s確定。投影變換相關(guān)的這六個參數(shù)用向量q表示，即，q= (θχ, 0y, θζ, tx, ty, tz)T0三維形狀模型的位置參數(shù)和姿態(tài)參數(shù)可由向量q表示，其中，θχ、0y> θζ為姿態(tài)參數(shù)η，、、、、億為位置參數(shù)(1?？梢詫⑷S形狀模型的頂點投影到圖像中的被跟蹤物體上，將通過連接投影在圖像上的頂點而形成的網(wǎng)格所覆蓋的圖像上的像素作為被跟蹤物體的紋理。將a = b = 0條件下的三維形狀模型的頇點投影到二維平面，根據(jù)每個網(wǎng)格的頂點的坐標與每個網(wǎng)格所覆蓋的像素的位置關(guān)系，將每個網(wǎng)格所覆蓋的像素(即，被跟蹤物體的紋理)變換到該二維平面，從而得到規(guī)范化紋理。即，通過去除被跟蹤物體的紋理的形變特性而獲得規(guī)范化紋理。例如，當網(wǎng)格為三角形時，根據(jù)每個三角形網(wǎng)格的三個頂點的坐標與每個三角形網(wǎng)格所覆蓋的像素的位置關(guān)系，將每個三角形網(wǎng)格所覆蓋的像素變換到該二維平面，從而得到規(guī)范化紋理。根據(jù)輸入的圖像I和模型參數(shù)計算規(guī)范化紋理χ的過程可被表示如下χ = ff(I, a, b, q)在跟蹤過程中，個性化形變參數(shù)a不發(fā)生改變，上述關(guān)系式可以簡化為χ = ff(I, b, q)在完成三維形狀模型的參數(shù)的初始化并且獲得初始的紋理模板之后，就可以進行
足艮S宗。在步驟S103，開始進行跟蹤，紋理模板選擇單元103根據(jù)三維形狀模型的當前參數(shù)，從紋理模板庫中選擇合適的紋理模板。即，在對當前幀中的被跟蹤對象進行跟蹤時，紋理模板選擇單元103使用在跟蹤先前幀圖像時獲得的三維形狀模型的參數(shù)，從紋理模板庫
10中選擇與之對應的紋理模板。在跟蹤第二幀圖像時，由于三維形狀模型的參數(shù)還沒有被調(diào)整，因此三維形狀模型的當前參數(shù)就是初始化的參數(shù)。類似地，在跟蹤第三幀圖像時，三維形狀模型的當前參數(shù)就是在跟蹤第二幀輸入圖像時調(diào)整后的參數(shù)；在跟蹤第i幀圖像時，三維形狀模型的當前參數(shù)就是在跟蹤第i-Ι幀圖像時調(diào)整后的參數(shù)。根據(jù)前面所述，當被跟蹤物體處于不同的姿態(tài)時，需要使用不同的紋理模板。艮口，在跟蹤過程中，由于可視范圍有限以及非均勻光照的影響，當物體姿態(tài)發(fā)生變化時，產(chǎn)生的規(guī)范化紋理圖像也會發(fā)生變化，與生成的初始紋理模板之間會存在偏差，導致跟蹤過程出現(xiàn)誤差。物體姿態(tài)與生成的初始紋理模板時的姿態(tài)差別越大，這種偏差就越顯著。物體姿態(tài)變化引起的規(guī)范化紋理圖像與紋理模板之間的偏差是不可避免的，為了減少這種偏差對跟蹤的影響，本發(fā)明針對不同的姿態(tài)使用不同的紋理模板。例如，可以劃分多個姿態(tài)范圍，一個姿態(tài)范圍可使用一個紋理模板?？筛鶕?jù)前一幀圖像中被跟蹤物體的姿態(tài)來選擇對應的紋理模板。由于三維形狀模型的當前參數(shù)實際上表示前一幀圖像中被跟蹤物體的狀態(tài)，因此可根據(jù)三維形狀模型的當前參數(shù)中的姿態(tài)參數(shù)來確定對應的紋理模板。在步驟S104，更新單元104更新三維形狀模型的參數(shù)，使得從當前幀圖像獲得的規(guī)范化紋理與在步驟S103選擇的紋理模板對齊。此時，獲得的三維形狀模型的參數(shù)表示當前幀圖像中被跟蹤物體的狀態(tài)。在本發(fā)明的一個實施例中，可預先設置不同姿態(tài)的紋理模板形成紋理模板庫。利用姿態(tài)接近在跟蹤先前幀圖像時獲得的三維形狀模型的參數(shù)所表示的姿態(tài)的紋理模板來跟蹤當前幀。優(yōu)選地，選擇姿態(tài)最接近在跟蹤先前幀圖像時獲得的三維形狀模型的參數(shù)所表示的姿態(tài)的紋理模板。然而，由于預先設置不同姿態(tài)的紋理模板需要大量的具有不同姿態(tài)的被跟蹤物體的圖像作為樣本，并分別獲得各個紋理模板，增加了工作量和計算量。在本發(fā)明的另一實施例中，可在跟蹤過程中獲得紋理模板來形成紋理模板庫，并且在跟蹤過程中可更新已經(jīng)存在的紋理模板。下面結(jié)合圖2和圖5詳細描述在跟蹤過程中獲得以及更新紋理模板的處理。如圖5所示，在三維姿態(tài)空間劃分多個區(qū)域，每個區(qū)域表示一個姿態(tài)范圍。例如，當旋轉(zhuǎn)角度θχ、9y、θ z的變化范圍為正負90度時，每隔10度劃分一個區(qū)域，則可劃分出5832個姿態(tài)范圍。每個區(qū)域可被表示為Ci,每個區(qū)域的中心的坐標可被表示為Pi，這里i為區(qū)域的編號。在跟蹤過程(包括初始化階段)中，每個區(qū)域可以被產(chǎn)生一個紋理模板Ti，并且每個區(qū)域的紋理模板Ti可以被更新。然而并不是每個區(qū)域一定會被產(chǎn)生紋理模板，這取決于被跟蹤物體在跟蹤過程中的姿態(tài)變化情況。存在的紋理模板的集合形成紋理模板庫。由于前面提到的初始規(guī)范化紋理是在將三維形狀模型的參數(shù)調(diào)整準確的情況下獲得的，因此可以將初始規(guī)范化紋理設置為初始的紋理模板。再參照圖2，在步驟S105，關(guān)鍵幀確定單元105根據(jù)更新的三維形狀模型的參數(shù)判斷當前幀圖像是否是關(guān)鍵幀，以產(chǎn)生新的紋理模板或更新已經(jīng)存在的紋理模板。如果在步驟S105確定當前幀圖像為關(guān)鍵幀，則在步驟S106，規(guī)范化紋理計算單元106基于更新了參數(shù)的三維形狀模型重新計算被跟蹤物體的規(guī)范化紋理。隨后，在步驟S107，紋理模板設置單元107將在步驟S106計算的規(guī)范化紋理設置為紋理模板，以產(chǎn)生或更新與當前幀圖像的姿態(tài)對應的區(qū)域的紋理模板。如果在步驟S105確定當前幀圖像為非關(guān)鍵幀，則結(jié)束對當前幀的跟蹤過程。在該實施例中，紋理模板主要是在跟蹤過程中產(chǎn)生的，因此將在當前幀更新的姿態(tài)參數(shù)所在的區(qū)域還沒有對應的紋理模板時，將當前幀設置為關(guān)鍵幀，以產(chǎn)生對應的紋理模板。此外，在該實施例中，在跟蹤過程中更新已經(jīng)存在的紋理模板。然而在產(chǎn)生與區(qū)域?qū)募y理模板時，更新的姿態(tài)參數(shù)可能不是該區(qū)域的中心，而是偏離該區(qū)域的中心。這樣，在三維姿態(tài)空間中，雖然各個區(qū)域是均勻劃分的，然而各個區(qū)域?qū)募y理模板的姿態(tài)參數(shù)并不是均勻分布的。因此為了使得紋理模板的姿態(tài)參數(shù)在三維姿態(tài)空間中也均勻分布，當存在對應的紋理模板時，如果當前幀的更新的姿態(tài)參數(shù)比該對應的紋理模板的姿態(tài)參數(shù)更接近對應的區(qū)域的中心，則可將通過已經(jīng)更新了參數(shù)的三維形狀模型從當前幀獲得的規(guī)范化紋理設置為紋理模板來更新該存在的紋理模板?？蛇x地，為了保證紋理模板的精度，在產(chǎn)生或更新紋理模板前需要確定從當前幀獲得的規(guī)范化紋理是否達到預定的精度要求。將在下面參照圖6進行詳細描述。圖3示出根據(jù)本發(fā)明實施例的獲得初始紋理模板的流程圖。在步驟S201，對輸入的第一幀圖像中的被跟蹤物體的關(guān)鍵點(或，頂點)進行定位。在步驟S202，通過調(diào)整三維形狀模型的參數(shù)，使得當三維形狀模型上的與定位的關(guān)鍵點對應的頂點投影到第一幀圖像上時，所述對應的頂點與關(guān)鍵點對齊。在步驟S203，計算規(guī)范化紋理圖像，并將其作為初始紋理模板。其中，在步驟S202調(diào)整三維形狀模型的參數(shù)時，由于第一幀圖像還不存在運動變形，此時可僅調(diào)整形變參數(shù)中的個性形變參數(shù)a以及位置參數(shù)和姿態(tài)參數(shù)q，對齊過程可被表示如下
N fU λ (S \ 2E(a,q) = ‘-‘ ,
=1 vviV KtI y其中，N為要對齊的關(guān)鍵點的數(shù)量，Ui, Vi為三維形狀模型的頂點在第一幀圖像上投影的二維坐標，S”、為定位得到的關(guān)鍵點的位置坐標，E(a，q)表示對齊程度，E(a，q)越小表示對齊程度越高。在確定最優(yōu)參數(shù)a和q的時候，使用分階段優(yōu)化的方式。在每個階段之中，令優(yōu)化對象分別為參數(shù)a和q，判斷誤差E (a，q)是否小于第一預定閾值。當誤差小于第一預定閾值時，說明優(yōu)化過程可以結(jié)束，保存這時的模型參數(shù)；否則，繼續(xù)進行優(yōu)化a和q，直到誤差小于預定閾值或者迭代次數(shù)超過一閾值時結(jié)束調(diào)整。此時，認為映射的三維形狀模型的頂點與關(guān)鍵點對齊或重合，即，當達到一定對齊或重合程度時，可認為實現(xiàn)對齊。由于根據(jù)實際情況可能需要不同的跟蹤精度，判斷是否對齊的標準可能不同，當要求跟蹤精度高時，可減小第一預定閾值；反之，可增大第一預定閾值。換句話說，當?shù)谝活A定閾值小時，要求的對齊程度高；當?shù)谝活A定閾值大時，要求的對齊程度低。下面參照圖4說明調(diào)整三維形狀模型的參數(shù)。圖4示出根據(jù)本發(fā)明實施例的在獲得初始紋理模板時調(diào)整三維形狀模型的參數(shù)的流程圖。在步驟S301，調(diào)整參數(shù)q。在步驟S302，確定E (a，q)是否小于第一預定閾值。如果在步驟S302確定小于第一預定閾值，則結(jié)束調(diào)整。如果在步驟S302確定不小于第一預定閾值，則在步驟S303調(diào)整參數(shù)a。在步驟S304，確定E(a，q)是否小于第一預定閾值。如果在步驟S304確定小于第一預定閾值，則結(jié)束調(diào)整。如果在步驟S304確定不小于第一預定閾值，則進行步驟S301。可選地，圖4所示的方法還包括步驟S305，其中，確定調(diào)整次數(shù)是否小于一閾值。如果確定調(diào)整次數(shù)小于閾值，則進行步驟S301 ；如果確定調(diào)整次數(shù)不小于閾值，則結(jié)束調(diào)離
iF. ο應該理解，也以可首先調(diào)整參數(shù)a然后調(diào)整參數(shù)q，或者可以同時調(diào)整a和q。在圖2的步驟S 104中更新三維形狀模型的當前參數(shù)時，也可利用圖4的分階段優(yōu)化的方式。在步驟S104調(diào)整三維形狀模型的參數(shù)時，處于跟蹤過程中，個性形變參數(shù)a不變，可針對運動形變參數(shù)b以及位置參數(shù)和姿態(tài)參數(shù)q進行更新，更新過程可被表示如下E(b，q) = Il ff(I,b, q) -T || 2其中，T為在步驟S103選擇的紋理模板，I為輸入的當前幀圖像。在優(yōu)化參數(shù)b和q的時候，使用分階段優(yōu)化的方式。在每個階段之中，令優(yōu)化對象分別為參數(shù)b或q，判斷誤差E(b，q)是否小于第二預定閾值。當誤差小于第二預定閾值時，說明優(yōu)化過程可以結(jié)束，保存這時的模型參數(shù)；否則，繼續(xù)進行優(yōu)化b和q，直到誤差小于第二預定閾值或者迭代次數(shù)超過一閾值時結(jié)束調(diào)整。此時，認為規(guī)范化紋理與紋理模板對齊。此外，也可同時調(diào)整b和q。圖6示出根據(jù)本發(fā)明實施例的關(guān)鍵幀確定單元105判斷當前幀圖像是否是關(guān)鍵幀的流程圖。在步驟S501，獲得當前幀圖像中的被跟蹤物體的姿態(tài)參數(shù)nt?？筛鶕?jù)在圖2的步驟S104獲得的被跟蹤物體的狀態(tài)獲得姿態(tài)參數(shù)nt。在步驟S502，基于姿態(tài)參數(shù)確定對應的區(qū)域C”即，將姿態(tài)參數(shù)所在的姿態(tài)范圍的區(qū)域確定為對應的區(qū)域Ci。在步驟S503，確定區(qū)域Ci是否存在對應的紋理模板凡。如果在步驟S503確定存在對應的紋理模板Ti,則在步驟S504，確定姿態(tài)參數(shù)nt所表示的姿態(tài)是否比紋理模板Ti被生成時三維形狀模型的姿態(tài)參數(shù)Mni更接近姿態(tài)參數(shù)Pi所表示的姿態(tài)，即確定Il Ht-Pi Il < Il Mni-Pi Il。如果在步驟S504確定更接近姿態(tài)參數(shù)nt所表示的姿態(tài)，則在步驟S505確定姿態(tài)參數(shù)nt所表示的姿態(tài)是否比前一幀圖像的被跟蹤物體的姿態(tài)參數(shù)IV1所表示的姿態(tài)更遠離姿態(tài)參數(shù)PiK表示的姿態(tài)，即確定IInt-PiII > Il IV1-Pi II。如果在步驟S505確定更遠離姿態(tài)參數(shù)Pi所表示的姿態(tài)時，則在步驟S506，確定E(b，q)是否小于第三預定閾值。這里，第三預定閾值小于等于第二預定閾值。如果在步驟S506確定E(b，q)是小于第三預定閾值時，則在步驟S507，將當前幀設置為關(guān)鍵幀。如果在步驟S506確定E(b，q)是不小于第三預定閾值時，則在步驟S508，將當前幀設置為非關(guān)鍵幀。如果在步驟S503確定不存在對應的紋理模板Ti,則進行到步驟S506。如果在步驟S504確定沒有更接近姿態(tài)參數(shù)nt所表示的姿態(tài)，則進行到步驟S508。
13
如果在步驟S505確定不更遠離近姿態(tài)參數(shù)Pi所表示的姿態(tài)，則進行到步驟S508，從而避免了重復建立紋理模板。在另一實施例中，可省略步驟S505。即，如果在步驟S504確定更接近姿態(tài)參數(shù)nt所表示的姿態(tài)，則進行到步驟S506。在跟蹤過程中，需要從紋理模板庫中選擇出適當?shù)募y理模板。選擇的依據(jù)是前一幀進行跟蹤后得到的姿態(tài)參數(shù)IV1。即，選擇具有與姿態(tài)參數(shù)IV1接近(即，接近到預定程度)或最接近的姿態(tài)的紋理模板來跟蹤當前幀圖像中的被跟蹤對象。例如，在所有的區(qū)域中，選擇已經(jīng)設置過紋理模板并且其中心姿態(tài)接近或最接近姿態(tài)參數(shù)IV1的區(qū)域Ci的紋理模板用于跟蹤當前幀。換句話說，如果姿態(tài)參數(shù)IV1所在的區(qū)域存在相應的紋理模板，則使用該紋理模板用于跟蹤當前幀；如果姿態(tài)參數(shù)IV1所在的區(qū)域不存在相應的紋理模板，則使用存在的紋理模板中姿態(tài)接近或最接近IV1的紋理模板來跟蹤當前幀。當被跟蹤物體的姿態(tài)處于兩個區(qū)域邊界時，可能發(fā)生頻繁更換紋理模板的現(xiàn)象，導致跟蹤結(jié)果跳動，所以可以根據(jù)需要提高更換紋理模板所需的條件。在一個實施例中，在前一幀使用的紋理模板Th被生成時被跟蹤物體的姿態(tài)Mrv1，根據(jù)在前一幀的更新的姿態(tài)參數(shù)IV1確定的在當前幀要使用的紋理模板為Ti,其被生成時被跟蹤物體(或三維形狀模型)的姿態(tài)Mnitl如果IlMni-IV1II-IlMrV1-IV1II在預定范圍內(nèi)，則可以仍然使用前一幀使用的紋理模板Th。在另外的實施例中，也可選擇存在的紋理模板中的生成時三維形狀模型的姿態(tài)參數(shù)接近(即，接近到預定程度)或最接近姿態(tài)參數(shù)IV1的紋理模板來跟蹤當前幀。即，僅考慮紋理模板自身的姿態(tài)，而非紋理模板所對應的區(qū)域的中心的姿態(tài)。在此使用的術(shù)語“單元”的意思是，但不限于，軟件和硬件組件，諸如可執(zhí)行特定任務的現(xiàn)場可編程門陣列(FPGA)或?qū)Ｓ眉呻娐?ASIC)。在本發(fā)明中，為了使被跟蹤物體在產(chǎn)生較大幅度姿態(tài)變化時仍能被跟蹤到，使用了三維形狀模型和多個紋理模板。用三維形狀模型的位置和姿態(tài)參數(shù)描述被跟蹤物體的位置和姿態(tài)狀態(tài)，當被跟蹤物體形狀變化時，三維形狀模型的狀態(tài)參數(shù)同步變化，實現(xiàn)較大幅度姿態(tài)變化條件下的穩(wěn)定跟蹤。多個紋理模板用來表示被跟蹤物體在不同姿態(tài)條件下的外觀狀態(tài)，提高跟蹤方法對物體姿態(tài)變化的穩(wěn)定性。此外，為了使被跟蹤物體發(fā)生形變時仍能被跟蹤到，本發(fā)明使用的三維形狀模型中包含了變形參數(shù)。也就是說，在跟蹤過程中，三維形狀模型與被跟蹤物體同步產(chǎn)生形變，用三維形狀模型的形變參數(shù)描述物體的形變狀態(tài)。此外，為了減少跟蹤方法對于訓練樣本的依賴，本發(fā)明中使用的形狀模型，既可以通過統(tǒng)計的方式獲得，也可以使用手工設計的方式獲得。另外，跟蹤過程中所依賴的紋理信息，在跟蹤起始階段及跟蹤過程中，從輸入圖像中獲得，從而減少對訓練樣本的依賴。盡管已經(jīng)參照其示例性實施例具體顯示和描述了本發(fā)明，但是本領(lǐng)域的技術(shù)人員應該理解，在不脫離權(quán)利要求所限定的本發(fā)明的精神和范圍的情況下，可以對其進行形式和細節(jié)上的各種改變。
權(quán)利要求
1.一種物體跟蹤方法，所述方法包括接收用于跟蹤的圖像；基于第一幀圖像初始化被跟蹤物體的三維形狀模型的參數(shù)；在跟蹤當前幀圖像中的被跟蹤對象時，根據(jù)在先前幀圖像中獲得的三維形狀模型的參數(shù)，從紋理模板庫中選擇紋理模板，以對當前幀圖像中的被跟蹤對象進行跟蹤；更新三維形狀模型的參數(shù)，以使得從當前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與選擇的紋理模板對齊至第一預定程度。
2.根據(jù)權(quán)利要求1所述的方法，還包括根據(jù)更新的三維形狀模型的參數(shù)確定當前幀圖像是否是關(guān)鍵幀；當確定當前幀圖像為關(guān)鍵幀時，基于更新了參數(shù)的三維形狀模型重新獲得被跟蹤物體的規(guī)范化紋理；將基于更新了參數(shù)的三維形狀模型而重新獲得的規(guī)范化紋理設置為紋理模板，以產(chǎn)生或更新與更新的參數(shù)對應的紋理模板，其中，當確定當前幀圖像為非關(guān)鍵幀時，結(jié)束對當前幀的跟蹤。
3.根據(jù)權(quán)利要求1所述的方法，其中，三維形狀模型的參數(shù)包括位置參數(shù)、姿態(tài)參數(shù)和形變參數(shù)。
4.根據(jù)權(quán)利要求3所述的方法，其中，在先前幀圖像中獲得的三維形狀模型的參數(shù)是姿態(tài)參數(shù)。
5.根據(jù)權(quán)利要求1所述的方法，其中，將三維形狀模型的頂點投影到圖像上，連接投影在圖像上的頂點形成網(wǎng)格，該網(wǎng)格所覆蓋的像素作為被跟蹤物體的紋理，通過去除該紋理的形變特性而獲得規(guī)范化紋理。
6.根據(jù)權(quán)利要求1或2所述的方法，其中，三維形狀模型的三維姿態(tài)空間被劃分多個區(qū)域，每個區(qū)域表示一個姿態(tài)范圍并且能夠?qū)谝粋€紋理模板，存在的對應的紋理模板的集合形成紋理模板庫。
7.根據(jù)權(quán)利要求6所述的方法，其中，判斷當前幀圖像是否是關(guān)鍵幀的步驟包括當更新的參數(shù)中的姿態(tài)參數(shù)所在的區(qū)域沒有對應的紋理模板時，確定當前幀圖像是關(guān)鍵幀。
8.根據(jù)權(quán)利要求7所述的方法，其中，判斷當前幀圖像是否是關(guān)鍵幀的步驟還包括當更新的參數(shù)中的姿態(tài)參數(shù)所在的區(qū)域存在對應的紋理模板時，當更新的參數(shù)中的姿態(tài)參數(shù)所表示的姿態(tài)比該對應的紋理模板被生成時三維形狀模型的姿態(tài)更接近該對應的區(qū)域的中心的坐標所表示的姿態(tài)時，確定當前幀圖像是關(guān)鍵幀。
9.根據(jù)權(quán)利要求8所述的方法，其中，判斷當前幀圖像是否是關(guān)鍵幀的步驟還包括確定與更新的參數(shù)中的姿態(tài)參數(shù)對應的區(qū)域；確定該對應的區(qū)域是否存在對應的紋理模板；如果存在對應的紋理模板，則確定更新的參數(shù)中的姿態(tài)參數(shù)所表示的姿態(tài)是否比該對應的紋理模板被生成時三維形狀模型的姿態(tài)更接近該對應的區(qū)域的中心的坐標所表示的姿態(tài)；如果確定不更接近，則將當前幀設置為非關(guān)鍵幀。
10.根據(jù)權(quán)利要求9所述的方法，其中，判斷當前幀圖像是否是關(guān)鍵幀的步驟還包括如果確定更接近，則確定從當前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與該對應的紋理模板是否對齊到至第二預定程度；如果確定對齊至第二預定程度，將當前幀設置為關(guān)鍵幀；如果確定沒有對齊至第二預定程度，則將當前幀設置為非關(guān)鍵幀；如果確定更接近，則在確定從當前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與該對應的紋理模板是否對齊到至第二預定程度之前，確定更新的參數(shù)中的姿態(tài)參數(shù)所表示的姿態(tài)是否比在前一幀圖像更新的參數(shù)中的姿態(tài)參數(shù)所表示的姿態(tài)更遠離該對應的區(qū)域的中心的坐標所表示的姿態(tài)；如果確定更遠離，則確定從當前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與該對應的紋理模板是否對齊到至第二預定程度；如果確定不更遠離，則將當前幀設置為非關(guān)鍵幀。
11.根據(jù)權(quán)利要求9所述的方法，其中，判斷當前幀圖像是否是關(guān)鍵幀的步驟還包括如果不存在對應的紋理模板，則確定從當前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與該對應的紋理模板是否對齊到至第二預定程度；如果確定對齊至第二預定程度，將當前幀設置為關(guān)鍵幀；如果確定沒有對齊至第二預定程度，則將當前幀設置為非關(guān)鍵幀。
12.根據(jù)權(quán)利要求9所述的方法，其中，第一預定程度小于等于第二預定程度。
13.根據(jù)權(quán)利要求1所述的方法，其中，基于第一幀圖像初始化被跟蹤物體的三維形狀模型的參數(shù)的步驟包括通過調(diào)整三維形狀模型的參數(shù)使得三維形狀模型的頂點投影到第一幀圖像上時與第一幀圖像上的對應頂點重合至預定程度。
14.根據(jù)權(quán)利要求3所述的方法，其中，形變參數(shù)包括個性化形變參數(shù)和運動形變參數(shù)。
15.根據(jù)權(quán)利要求14所述的方法，其中，基于第一幀圖像初始化被跟蹤物體的三維形狀模型的參數(shù)的步驟包括通過調(diào)整個性化形變參數(shù)、位置參數(shù)和姿態(tài)參數(shù)使得三維形狀模型的頂點投影到第一幀圖像上時與第一幀圖像上的對應頂點重合至預定程度。
16.根據(jù)權(quán)利要求3所述的方法，其中，將三維形狀模型的頂點投影到圖像上，連接投影在圖像上的頂點形成網(wǎng)格，該網(wǎng)格所覆蓋的像素作為被跟蹤物體的紋理，通過去除該紋理的形變特性而獲得規(guī)范化紋理，其中，通過去除該紋理的形變特性而獲得規(guī)范化紋理的步驟包括將在形變參數(shù)為零的條件下的三維形狀模型的頂點投影到二維平面，根據(jù)每個網(wǎng)格的頂點的坐標與每個網(wǎng)格所覆蓋的像素的位置關(guān)系，將每個網(wǎng)格所覆蓋的像素變換到該二維平面，從而得到規(guī)范化紋理。
17.根據(jù)權(quán)利要求14所述的方法，其中，三維形狀模型的形狀被表示如下S = S0+ ^aiAi+TbJnjIi其中，&為平均形狀，為可變部分，可變部分包括個性化形變和運動形變A ‘，Α,和錢為形變的基向量，a,為個性化形變參數(shù)， j . .!bj為運動形變參數(shù)。
18.根據(jù)權(quán)利要求6所述的方法，其中，當選擇的與在先前幀圖像中獲得的三維形狀模型的參數(shù)對應的紋理模板被生成時三維形狀模型的姿態(tài)與在跟蹤先前幀圖像時使用的紋理模板被生成時三維形狀模型的姿態(tài)之差在預定范圍內(nèi)時，使用在跟蹤先前幀圖像時使用的紋理模板。
19.根據(jù)權(quán)利要求1所述的方法，其中，從紋理模板庫中選擇具有與在先前幀圖像中獲得的三維形狀模型的參數(shù)所表示的姿態(tài)相接近的姿態(tài)的紋理模板，以對當前幀圖像中的被跟蹤對象進行跟蹤。
20.一種物體跟蹤設備，所述設備包括接收單元，接收用于跟蹤的圖像；初始化單元，基于第一幀圖像初始化被跟蹤物體的三維形狀模型的參數(shù)；紋理模板選擇單元，在跟蹤當前幀圖像中的被跟蹤對象時，根據(jù)在先前幀圖像中獲得的三維形狀模型的參數(shù)，從紋理模板庫中選擇紋理模板，以對當前幀圖像中的被跟蹤對象進行跟蹤；更新單元，更新三維形狀模型的參數(shù)，以使得從當前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與選擇的紋理模板對齊至第一預定程度。
21.如權(quán)利要求20所述的物體跟蹤設備，還包括關(guān)鍵幀確定單元，根據(jù)更新的三維形狀模型的參數(shù)確定當前幀圖像是否是關(guān)鍵幀；規(guī)范化紋理計算單元，在關(guān)鍵幀確定單元確定當前幀圖像為關(guān)鍵幀時，基于更新了參數(shù)的三維形狀模型重新獲得被跟蹤物體的規(guī)范化紋理；紋理模板設置單元，將基于更新了參數(shù)的三維形狀模型而重新獲得的規(guī)范化紋理設置為紋理模板，以產(chǎn)生或更新與更新的參數(shù)對應的紋理模板，其中，當關(guān)鍵幀確定單元確定當前幀圖像為非關(guān)鍵幀時，結(jié)束對當前幀的跟蹤。
全文摘要
提供一種物體跟蹤方法和設備，所述方法包括接收用于跟蹤的圖像；基于第一幀圖像初始化被跟蹤物體的三維形狀模型的參數(shù)；在跟蹤當前幀圖像中的被跟蹤對象時，根據(jù)在先前幀圖像中獲得的三維形狀模型的參數(shù)，從紋理模板庫中選擇紋理模板；更新三維形狀模型的參數(shù)，以使得從當前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與選擇的紋理模板對齊至預定程度。
文檔編號G06T7/00GK102385754SQ20101026864
公開日2012年3月21日 申請日期2010年8月30日 優(yōu)先權(quán)日2010年8月30日
發(fā)明者馮雪濤, 沈曉璐, 金培亭, 黃向生 申請人:三星電子株式會社, 北京三星通信技術(shù)研究有限公司