專(zhuān)利名稱(chēng)：用于相機(jī)跟蹤的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
以下描述涉及一種跟蹤相機(jī)的姿態(tài)的方法和設(shè)備，更具體地，涉及一種基于使用至少三臺(tái)相機(jī)拍攝的幀來(lái)跟蹤每臺(tái)相機(jī)的姿態(tài)的方法和設(shè)備。
背景技術(shù)：
相機(jī)跟蹤會(huì)是計(jì)算機(jī)化視覺(jué)系統(tǒng)中的基礎(chǔ)問(wèn)題。相機(jī)跟蹤旨在于自動(dòng)地從視頻序列恢復(fù)相機(jī)運(yùn)動(dòng)。相機(jī)跟蹤的基本構(gòu)思在于選擇在幀的序列中出現(xiàn)的場(chǎng)景點(diǎn)，并同時(shí)基于二維(2D)點(diǎn)的一組對(duì)應(yīng)關(guān)系來(lái)估計(jì)選擇的場(chǎng)景點(diǎn)的三維(3D)位置和相機(jī)運(yùn)動(dòng)。相機(jī)跟蹤可具有許多應(yīng)用，諸如深度恢復(fù)、3D重建、位置識(shí)別和自助機(jī)器人導(dǎo)航。特別地，隨著數(shù)字相機(jī)的廣泛使用，已經(jīng)可容易地使用單目相機(jī)，并且單目相機(jī)的價(jià)格正在變得更加便宜。因此，跟蹤單目相機(jī)的方法被廣泛使用。然而，不可從使用單目相機(jī)拍攝的圖像恢復(fù)動(dòng)態(tài)對(duì)象的3D信息。由于累積誤差，可能會(huì)難以從使用單目相機(jī)拍攝的圖像精確地恢復(fù)大尺度場(chǎng)景的相機(jī)運(yùn)動(dòng)。已經(jīng)提出了使用立體相機(jī)來(lái)恢復(fù)相機(jī)運(yùn)動(dòng)和深度映射的若干方法。然而，當(dāng)使用立體相機(jī)拍攝圖像時(shí)，可能會(huì)難以處理圖像中的閉塞(occlusions)。

發(fā)明內(nèi)容
通過(guò)提供一種基于使用至少三臺(tái)相機(jī)拍攝的幀來(lái)跟蹤相機(jī)姿態(tài)的方法來(lái)實(shí)現(xiàn)前述和/或其它方面，所述方法包括:提取和跟蹤多幀中的至少一個(gè)第一特征，并基于第一特征跟蹤多幀的每一幀中的每臺(tái)相機(jī)的姿態(tài)；基于至少一個(gè)單幀的每一幀的至少一個(gè)第二特征來(lái)跟蹤所述至少一個(gè)單幀的每一幀中的每臺(tái)相機(jī)的姿態(tài)。所述至少一個(gè)第二特征的每一個(gè)可相應(yīng)于所述至少一個(gè)第一特征中的一個(gè)，所述至少一個(gè)單幀的每一幀可以是與多幀連續(xù)的幀中的跟蹤的第二特征的數(shù)量小于門(mén)限的初始幀的先前幀。所述跟蹤多幀中的至少一個(gè)第一特征的步驟可包括:從多幀中的第一幀的至少三個(gè)圖像中提取第三特征，跟蹤第三特征直到多幀中的最后幀，通過(guò)從跟蹤的第三特征中移除具有動(dòng)態(tài)軌跡的特征來(lái)確定第一特征，以及基于第一特征來(lái)估計(jì)多幀的每一幀中的每臺(tái)相機(jī)的姿態(tài)。提取第三特征的步驟可包括:從第一幀的至少三個(gè)圖像中提取點(diǎn)，以產(chǎn)生尺度不變特征變換(SIFT)描述符，以及通過(guò)使用產(chǎn)生的SIFT描述符之間的描述符比較來(lái)匹配提取的點(diǎn)并通過(guò)將匹配的點(diǎn)連接作為特征，來(lái)產(chǎn)生第三特征。提取第三特征的步驟還可包括使用幾何約束移除第三特征中的異常值。幾何約束可包括對(duì)極約束、二次投影約束和深度范圍約束中的至少一個(gè)。所述跟蹤所述至少一個(gè)單幀的每一幀中的每臺(tái)相機(jī)的姿態(tài)的步驟可包括:將多幀的隨后的幀設(shè)置為當(dāng)前幀，在當(dāng)前幀中提取與第一特征的一個(gè)相應(yīng)的第二特征，當(dāng)?shù)诙卣鞯臄?shù)量大于或等于門(mén)限時(shí)，估計(jì)當(dāng)前幀中的每臺(tái)相機(jī)的姿態(tài)，以及將當(dāng)前幀的隨后的幀設(shè)置為新的當(dāng)前幀，并當(dāng)?shù)诙卣鞯臄?shù)量大于或等于門(mén)限時(shí)，在新的當(dāng)前幀中提取第二特征。所述跟蹤多幀中的至少一個(gè)第一特征的步驟可包括:當(dāng)?shù)诙卣鞯臄?shù)量小于門(mén)限時(shí)，再次跟蹤多幀的每一幀中的每臺(tái)相機(jī)的姿態(tài)。通過(guò)提供一種基于使用至少三臺(tái)相機(jī)拍攝的幀來(lái)跟蹤相機(jī)姿態(tài)的設(shè)備來(lái)實(shí)現(xiàn)前述和/或其它方面，所述設(shè)備包括:多幀處理單元，提取和跟蹤多幀中的至少一個(gè)第一特征，并基于第一特征跟蹤多幀的每一幀中的每臺(tái)相機(jī)的姿態(tài)；單幀處理單元，基于至少一個(gè)單幀的每一幀的至少一個(gè)第二特征來(lái)跟蹤所述至少一個(gè)單幀的每一幀中的每臺(tái)相機(jī)的姿態(tài)。所述至少一個(gè)第二特征的每一個(gè)可對(duì)應(yīng)于所述至少一個(gè)第一特征中的一個(gè)，所述至少一個(gè)單幀的每一幀可以是與多幀連續(xù)的幀中的跟蹤的第二特征的數(shù)量小于門(mén)限的初始幀的先前幀。多幀處理單元可包括:特征提取器，從多幀中的第一幀的至少三個(gè)圖像中提取第三特征；特征跟蹤單元，跟蹤第三特征直到多幀中的最后幀；動(dòng)態(tài)點(diǎn)檢測(cè)器，通過(guò)從跟蹤的第三特征中移除具有動(dòng)態(tài)軌跡的特征來(lái)確定第一特征；相機(jī)姿態(tài)估計(jì)器，基于第一特征來(lái)估計(jì)多幀的每一幀中的每臺(tái)相機(jī)的姿態(tài)。動(dòng)態(tài)點(diǎn)檢測(cè)器可計(jì)算第三特征的每一個(gè)的四維(4D)軌跡子空間，并可基于4D軌跡子空間確定第三特征的每一個(gè)是否具有動(dòng)態(tài)軌跡。特征提取器可從第一幀的至少三個(gè)圖像中提取點(diǎn)，以產(chǎn)生SIFT描述符，并可通過(guò)使用產(chǎn)生的SIFT描述符之間的描述符比較來(lái)匹配提取的點(diǎn)并通過(guò)將匹配的點(diǎn)連接作為特征，來(lái)產(chǎn)生第三特征。特征提取器可使用幾何約束移除第三特征中的異常值。單幀處理單元可包括:當(dāng)前幀設(shè)置單元，將多幀的隨后的幀設(shè)置為當(dāng)前幀；當(dāng)前幀特征估計(jì)器，在當(dāng)前幀中提取與第一特征的一個(gè)對(duì)應(yīng)的第二特征；門(mén)限比較器，當(dāng)?shù)诙卣鞯臄?shù)量大于或等于門(mén)限時(shí)，估計(jì)當(dāng)前幀中的每臺(tái)相機(jī)的姿態(tài)。當(dāng)?shù)诙卣鞯臄?shù)量大于或等于門(mén)限時(shí)，當(dāng)前幀設(shè)置單元可將當(dāng)前幀的隨后的幀設(shè)置為新的當(dāng)前幀，并當(dāng)?shù)诙卣鞯臄?shù)量大于或等于門(mén)限時(shí)，可在新的當(dāng)前幀中提取第二特征。當(dāng)?shù)诙卣鞯臄?shù)量小于門(mén)限時(shí)，多幀處理單元可再次運(yùn)行。將在接下來(lái)的描述中部分闡述實(shí)施例的另外的方面，還有一部分通過(guò)描述將是清楚的，或者可以經(jīng)過(guò)本公開(kāi)的實(shí)施而得知。


通過(guò)下面結(jié)合附圖對(duì)實(shí)施例進(jìn)行的描述，這些和/或其它方面將會(huì)變得清楚和更易于理解，其中:圖1示出用于描述根據(jù)實(shí)施例的相機(jī)跟蹤設(shè)備的操作的示圖。圖2示出根據(jù)實(shí)施例的用于跟蹤相機(jī)的姿態(tài)的設(shè)備的配置。圖3示出根據(jù)實(shí)施例的跟蹤相機(jī)的姿態(tài)的方法。
圖4示出根據(jù)實(shí)施例的多幀處理操作。圖5示出根據(jù)實(shí)施例的特征提取操作。圖6示出根據(jù)實(shí)施例的特征跟蹤操作。圖7示出根據(jù)實(shí)施例的動(dòng)態(tài)點(diǎn)檢測(cè)操作。圖8示出根據(jù)實(shí)施例的相機(jī)姿態(tài)估計(jì)操作。圖9示出根據(jù)實(shí)施例的單幀處理操作。
具體實(shí)施例方式現(xiàn)將詳細(xì)參考實(shí)施例,在附圖中示出實(shí)施例的示例,其中,相似的標(biāo)號(hào)始終表示相似的元件。以下通過(guò)參照附圖對(duì)實(shí)施例進(jìn)行描述以解釋本公開(kāi)。三目相機(jī)可包括三臺(tái)同步的相機(jī)。所述三臺(tái)同步的相機(jī)可以是共線配置。以下，術(shù)語(yǔ)“姿態(tài)”可被替換為位置，術(shù)語(yǔ)“序列”可指示通過(guò)連續(xù)捕捉場(chǎng)景產(chǎn)生的一系列圖像。三目序列可指示由包括在三目相機(jī)中的三臺(tái)相機(jī)中的每一臺(tái)連續(xù)捕捉場(chǎng)景而產(chǎn)生的三個(gè)序列。三維(3D)位置M可被表示為[X，Y，Z]t。這里，X、Y和Z可分別指示場(chǎng)景點(diǎn)的X坐標(biāo)、Y坐標(biāo)和Z坐標(biāo)。場(chǎng)景點(diǎn)的二維(2D)圖像位置m可被表示為[u，v]T。相機(jī)變換可被模型化為K[R|t]。在該示例中，K可以是內(nèi)部矩陣(intrinsicmatrix), [R| t]可以是投影矩陣(projective matrix)。內(nèi)部矩陣可基于相機(jī)的內(nèi)部屬性。相機(jī)的內(nèi)部屬性可包括根據(jù)沿圖像的X軸和y軸的像素的焦距、X軸與y軸之間的斜率以及基本點(diǎn)(principle point)。基本點(diǎn)可指示相機(jī)中心到圖像平面的投影。外部矩陣(extrinsic matrix)可對(duì)包括旋轉(zhuǎn)R和平移t的相機(jī)運(yùn)動(dòng)進(jìn)行建模。因此，投影過(guò)程可被表示為Am = K[R|t]M。這里，入可表示比例因子。“運(yùn)動(dòng)結(jié)構(gòu)”("Structure-from-motion")可指不從圖像測(cè)量m’估計(jì)所有M和[R|t]。當(dāng)選擇的場(chǎng)景點(diǎn)全部是靜態(tài)的時(shí)，上述估計(jì)可以是高度可靠的。然而，當(dāng)場(chǎng)景包括多個(gè)運(yùn)動(dòng)對(duì)象時(shí)，一些點(diǎn)在捕捉期間可具有多于單個(gè)3D位置，從而上述估計(jì)可能會(huì)被嚴(yán)重地干擾。為了確定點(diǎn)是否是靜態(tài)的，可檢查與所述點(diǎn)相應(yīng)的所有的2D圖像位置的對(duì)是否滿(mǎn)足對(duì)極幾何(epipolar geometry)。當(dāng)立體裝束(rig)可用時(shí)，匹配的點(diǎn)的3D位置可通過(guò)三角測(cè)量被更可靠地計(jì)算。兩個(gè)圖像屬于相同幀，可直接從立體裝束獲得左視圖與右視圖之間的相對(duì)姿態(tài)。與3D位置相關(guān)聯(lián)的信息可被用于特征跟蹤。特征跟蹤可指示連接與相同場(chǎng)景點(diǎn)相應(yīng)的圖像點(diǎn)。圖1示出用于描述根據(jù)實(shí)施例的相機(jī)跟蹤設(shè)備的操作的示圖。當(dāng)使用能夠拍攝左圖像、中間圖像和右圖像的三目相機(jī)時(shí)，中間圖像中的預(yù)定像素很少在左圖像和右圖像兩者中均閉塞。此外，當(dāng)使用三目相機(jī)時(shí)，在每個(gè)時(shí)間戳可獲得三個(gè)圖像。因此，可采用比對(duì)極幾何更強(qiáng)的幾何約束，以準(zhǔn)確地計(jì)算跟蹤的特征的3D位置并移除異常值(outlier)。在三目相機(jī)的配置中，可假設(shè)三目相機(jī)中的三臺(tái)相機(jī)的相對(duì)姿態(tài)固定。此外，可假設(shè)三臺(tái)相機(jī)的內(nèi)部參數(shù)在捕捉期間不改變。因此，相機(jī)姿態(tài)跟蹤設(shè)備100的輸入值可包括三目序列、內(nèi)部矩陣以及三臺(tái)相機(jī)的相對(duì)相機(jī)姿態(tài)。相機(jī)位置跟蹤設(shè)備100的輸出值可包括每個(gè)圖像的外部矩陣。外部矩陣可包括旋轉(zhuǎn)矩陣和平移矢量。例如，可通過(guò)諸如“用于Matlab的相機(jī)校準(zhǔn)工具箱”的工具來(lái)校準(zhǔn)三臺(tái)相機(jī)的內(nèi)部參數(shù)和位置。當(dāng)兩臺(tái)相機(jī)的外部相機(jī)參數(shù)是[1 |幻2時(shí)，可根據(jù)等式I來(lái)計(jì)算所述兩臺(tái)相機(jī)之間的相對(duì)位置:等式I
權(quán)利要求
1.一種基于使用至少三臺(tái)相機(jī)拍攝的幀來(lái)跟蹤相機(jī)姿態(tài)的方法，所述方法包括: 提取和跟蹤多幀中的至少一個(gè)第一特征，并基于第一特征跟蹤多幀的每一幀中的每臺(tái)相機(jī)的姿態(tài)；以及 基于至少一個(gè)單幀的每一幀的至少一個(gè)第二特征來(lái)跟蹤所述至少一個(gè)單幀的每一幀中的每臺(tái)相機(jī)的姿態(tài)， 其中，所述至少一個(gè)第二特征的每一個(gè)相應(yīng)于所述至少一個(gè)第一特征中的一個(gè)，所述至少一個(gè)單幀的每一幀是與多幀連續(xù)的幀中的跟蹤的第二特征的數(shù)量小于門(mén)限的初始幀的先前幀。
2.如權(quán)利要求1所述的方法，其中，所述跟蹤多幀中的至少一個(gè)第一特征的步驟包括: 從多幀中的第一幀的至少三個(gè)圖像中提取第三特征； 跟蹤第三特征直到多幀中的最后幀； 通過(guò)從跟蹤的第三特征中移除具有動(dòng)態(tài)軌跡的特征來(lái)確定第一特征；以及 基于第一特征來(lái)估計(jì)多幀的每一幀中的每臺(tái)相機(jī)的姿態(tài)。
3.如權(quán)利要求2所述的方法，其中，提取第三特征的步驟包括: 從第一幀的至少三個(gè)圖像中提取點(diǎn)，以產(chǎn)生尺度不變特征變換SIFT描述符；以及通過(guò)使用產(chǎn)生的SIFT描述符之間的描述符比較來(lái)匹配提取的點(diǎn)并通過(guò)將匹配的點(diǎn)連接作為特征，來(lái)產(chǎn)生第三特征。
4.如權(quán)利要求3所述的方法，其中，提取第三特征的步驟還包括: 使用幾何約束移除第三特征中的異常值。
5.如權(quán)利要求4所述的方法，其中，幾何約束包括對(duì)極約束、二次投影約束和深度范圍約束中的至少一個(gè)。
6.如權(quán)利要求1所述的方法，其中，所述跟蹤所述至少一個(gè)單幀的每一幀中的每臺(tái)相機(jī)的姿態(tài)的步驟包括: 將多幀的隨后的幀設(shè)置為當(dāng)前幀； 在當(dāng)前幀中提取與第一特征的一個(gè)對(duì)應(yīng)的第二特征； 當(dāng)?shù)诙卣鞯臄?shù)量大于或等于門(mén)限時(shí)，估計(jì)當(dāng)前幀中的每臺(tái)相機(jī)的姿態(tài)；以及將當(dāng)前幀的隨后的幀設(shè)置為新的當(dāng)前幀，并當(dāng)?shù)诙卣鞯臄?shù)量大于或等于門(mén)限時(shí)，在新的當(dāng)前幀中提取第二特征。
7.如權(quán)利要求6所述的方法，其中，所述跟蹤多幀中的至少一個(gè)第一特征的步驟包括: 當(dāng)?shù)诙卣鞯臄?shù)量小于門(mén)限時(shí)，再次跟蹤多幀的每一幀中的每臺(tái)相機(jī)的姿態(tài)。
8.一種基于使用至少三臺(tái)相機(jī)拍攝的幀來(lái)跟蹤相機(jī)姿態(tài)的設(shè)備，所述設(shè)備包括: 多幀處理單元，提取和跟蹤多幀中的至少一個(gè)第一特征，并基于第一特征跟蹤多幀的每一幀中的每臺(tái)相機(jī)的姿態(tài)；以及 單幀處理單元，基于至少一個(gè)單幀的每一幀的至少一個(gè)第二特征來(lái)跟蹤所述至少一個(gè)單幀的每一幀中的每臺(tái)相機(jī)的姿態(tài)， 其中，所述至少一個(gè)第二特征的每一個(gè)相應(yīng)于所述至少一個(gè)第一特征中的一個(gè)，所述至少一個(gè)單幀的每一幀是與多幀連續(xù)的幀中的跟蹤的第二特征的數(shù)量小于門(mén)限的初始幀的先前幀。
9.如權(quán)利要求8所述的設(shè)備，其中，多幀處理單元包括:特征提取器，從多幀中的第一幀的至少三個(gè)圖像中提取第三特征； 特征跟蹤單元，跟蹤第三特征直到多幀中的最后幀； 動(dòng)態(tài)點(diǎn)檢測(cè)器，通過(guò)從跟蹤的第三特征中移除具有動(dòng)態(tài)軌跡的特征來(lái)確定第一特征； 以及 相機(jī)姿態(tài)估計(jì)器，基于第一特征來(lái)估計(jì)多幀的每一幀中的每臺(tái)相機(jī)的姿態(tài)。
10.如權(quán)利要求9所述的設(shè)備，其中，動(dòng)態(tài)點(diǎn)檢測(cè)器計(jì)算第三特征的每一個(gè)的四維(4D)軌跡子空間，并基于4D軌跡子空間確定第三特征的每一個(gè)是否具有動(dòng)態(tài)軌跡。
11.如權(quán)利要求9所述的設(shè)備，其中，特征提取器從第一幀的至少三個(gè)圖像中提取點(diǎn)，以產(chǎn)生尺度不變特征變換SIFT描述符，并通過(guò)使用產(chǎn)生的SIFT描述符之間的描述符比較來(lái)匹配提取的點(diǎn)并通過(guò)將匹配的點(diǎn)連接作為特征，來(lái)產(chǎn)生第三特征。
12.如權(quán)利要求11所述的設(shè)備，其中，特征提取器使用幾何約束移除第三特征中的異常值。
13.如權(quán)利要求12所述的設(shè)備，其中，幾何約束包括對(duì)極約束、二次投影約束和深度范圍約束中的至少一個(gè)。
14.如權(quán)利要求8所述的設(shè)備，其中，單幀處理單元包括: 當(dāng)前幀設(shè)置單元，將多幀的隨后的幀設(shè)置為當(dāng)前幀； 當(dāng)前巾貞特征估計(jì)器，在當(dāng)前巾貞中提取與第一特征的一個(gè)對(duì)應(yīng)的第二特征； 門(mén)限比較器，當(dāng)?shù)诙卣鞯臄?shù)量大于或等于門(mén)限時(shí)，估計(jì)當(dāng)前幀中的每臺(tái)相機(jī)的姿態(tài)，其中，當(dāng)?shù)诙卣鞯臄?shù)量大于或等于門(mén)限時(shí)，當(dāng)前幀特征設(shè)置單元將當(dāng)前幀的隨后的幀設(shè)置為新的當(dāng)前幀，并當(dāng)?shù)诙卣鞯臄?shù)量大于或等于門(mén)限時(shí)，在新的當(dāng)前幀中提取第二特征。
15.如權(quán)利要求14所述的設(shè)備，其中，當(dāng)?shù)诙卣鞯臄?shù)量小于門(mén)限時(shí)，多幀處理單元再次運(yùn)行。
16.—種跟蹤至少三臺(tái)相機(jī)的每一臺(tái)的姿態(tài)的方法，所述方法包括: 從使用所述至少三臺(tái)相機(jī)拍攝的至少兩個(gè)連續(xù)幀中提取第一靜態(tài)特征； 跟蹤從所述至少兩個(gè)連續(xù)幀中提取的第一靜態(tài)特征； 基于跟蹤的第一靜態(tài)特征來(lái)估計(jì)所述至少三臺(tái)相機(jī)的每一臺(tái)的姿態(tài)； 從使用所述至少三臺(tái)相機(jī)拍攝的至少一個(gè)單幀中提取第二靜態(tài)特征；以及 基于提取的第二靜態(tài)特征來(lái)跟蹤在每個(gè)單幀中的所述至少三臺(tái)相機(jī)的每一臺(tái)的姿態(tài)。
17.如權(quán)利要求16所述的方法，其中，第二靜態(tài)特征相應(yīng)于第一靜態(tài)特征。
全文摘要
一種用于相機(jī)跟蹤的方法和設(shè)備。所述相機(jī)姿態(tài)跟蹤設(shè)備可基于使用至少三臺(tái)相機(jī)拍攝的幀來(lái)跟蹤相機(jī)姿態(tài)，可提取和跟蹤多幀中的至少一個(gè)第一特征，并可基于第一特征跟蹤多幀的每一幀中的每臺(tái)相機(jī)的姿態(tài)。當(dāng)在多幀中跟蹤了第一特征時(shí)，相機(jī)姿態(tài)跟蹤設(shè)備可基于至少一個(gè)單幀的每一幀的至少一個(gè)第二特征來(lái)跟蹤所述至少一個(gè)單幀的每一幀中的每臺(tái)相機(jī)的姿態(tài)。所述至少一個(gè)第二特征的每一個(gè)可相應(yīng)于所述至少一個(gè)第一特征中的一個(gè)，所述至少一個(gè)單幀的每一幀可以是與多幀連續(xù)的幀中的跟蹤的第二特征的數(shù)量小于門(mén)限的初始幀的先前幀。
文檔編號(hào)G06T7/00GK103218799SQ20121028678
公開(kāi)日2013年7月24日 申請(qǐng)日期2012年8月13日 優(yōu)先權(quán)日2012年1月18日
發(fā)明者金智元, 章國(guó)鋒, 樸斗植, 李皓榮, 劉浩敏, 鮑虎軍 申請(qǐng)人:三星電子株式會(huì)社