基于在線管理超分辨率塊的穩(wěn)定3d模型跟蹤器的制造方法
【專利摘要】本發(fā)明是一種基于在線管理高分辨率塊的穩(wěn)定3D模型跟蹤器，涉及計(jì)算機(jī)視覺(jué)領(lǐng)域。本發(fā)明采用了在線維護(hù)和基于關(guān)鍵框架集的超分辨率技術(shù)。通過(guò)離散目標(biāo)能量函數(shù)和圖像分割技術(shù)可以有效地解決模擬關(guān)鍵框架的不同條件和融合每個(gè)單獨(dú)關(guān)鍵框架的有用信息。同時(shí)，本發(fā)明也采用了多線程技術(shù)，將算法中包含的具有較高復(fù)雜度的部分作為一個(gè)輔助進(jìn)程從跟蹤器中分離出來(lái)，稱之為更新器，這將保證跟蹤器在耗時(shí)的超分辨率過(guò)程中不會(huì)被阻塞。實(shí)驗(yàn)結(jié)果表明我們所提出的跟蹤器，無(wú)論是具有復(fù)雜的背景還是光照條件發(fā)生重大變化，都具有性能優(yōu)越性。
【專利說(shuō)明】基于在線管理超分辨率塊的穩(wěn)定3D模型跟蹤器

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種跟蹤方法，特別是這種基于在線管理超分辨率塊的穩(wěn)定三維模型 跟蹤方法。

【背景技術(shù)】
[0002] 三維目標(biāo)追蹤是為了確定相應(yīng)的攝像機(jī)姿態(tài)中的六個(gè)自由度，對(duì)機(jī)器視覺(jué)、醫(yī)學(xué) 成像、顯示增強(qiáng)等等來(lái)說(shuō)，這無(wú)疑是一個(gè)重要的問(wèn)題。從根本上說(shuō)，要想找到攝像機(jī)姿態(tài)中 的六個(gè)參數(shù)空間是非常困難的。然而，我們可以通過(guò)給出目標(biāo)物體的CAD模型來(lái)將問(wèn)題進(jìn) 行簡(jiǎn)化，這也會(huì)很大程度地增加跟蹤方法的穩(wěn)定性和精確性。非常幸運(yùn)的是，目標(biāo)物體的 CAD模型是很容易就可以得到的，它也經(jīng)常被一些需要進(jìn)行攝像機(jī)姿態(tài)估計(jì)的應(yīng)用所采用， 例如顯示增強(qiáng)。因此，在最近幾年三維追蹤模型獲得了極大的關(guān)注。
[0003] 對(duì)于基于模型的跟蹤方法，有兩種信息可以采用。一種就是圖像的梯度，依據(jù)目標(biāo) 輪廓具有更高的梯度信息這樣的的假設(shè)。然而，圖像梯度是一個(gè)低質(zhì)量的特征，它無(wú)法將目 標(biāo)物體的任何先驗(yàn)信息考慮在內(nèi)。因此，跟蹤方法就可能面臨太多邊檢測(cè)器或梯度檢測(cè)器 所造成的未知狀況。為此，采用粒子濾波法來(lái)進(jìn)行多個(gè)假設(shè)的估計(jì)。然而，蒙特卡洛方法卻 面臨著高計(jì)算復(fù)雜度的問(wèn)題，因此就需要一些硬件來(lái)解決這些問(wèn)題，比如基于并行計(jì)算技 術(shù)的GPGPU就經(jīng)常被用來(lái)對(duì)算法進(jìn)行加速。除了邊界信息，紋理也提供了高質(zhì)量的特征，它 經(jīng)常被用來(lái)進(jìn)行特征點(diǎn)檢測(cè)、描述和匹配基線。除此之外，也可以將梯度和紋理特征相結(jié)合 產(chǎn)生一種更加穩(wěn)定的跟蹤方法。
[0004] 許多已知算法，例如差動(dòng)跟蹤方法，它僅僅依賴于前一個(gè)幀來(lái)計(jì)算物體的移動(dòng)。它 往往會(huì)導(dǎo)致誤差的積累，從而使它不適用于持久性的應(yīng)用。當(dāng)然，也存在一些其他的先進(jìn)算 法，然而，這些方法都需要將跟蹤方法之前的狀態(tài)進(jìn)行存儲(chǔ)，隨之而來(lái)的就是高空間復(fù)雜度 和時(shí)間復(fù)雜度，這也將影響跟蹤方法的實(shí)時(shí)性。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明集中于穩(wěn)定差動(dòng)跟蹤方法，將三維CAD模型作為完全的信息，從而提出能 夠處理這些問(wèn)題的關(guān)鍵幀集結(jié)構(gòu)，同時(shí)采用高分辨率技術(shù)來(lái)完善關(guān)鍵幀集，并用多線程技 術(shù)來(lái)加速算法。
[0006] 當(dāng)攝像機(jī)姿態(tài)和光照條件在追蹤過(guò)程中發(fā)生連續(xù)變化時(shí)，目標(biāo)物體在圖像上的投 影將會(huì)有明顯的不同，隱藏在不同圖像中的有用信息也很難被利用。為了處理這些問(wèn)題， 我們提出了關(guān)鍵幀塊集的概念。 l^h-?>W
[0007] 在追蹤在過(guò)程中，我們可以通過(guò)以下準(zhǔn)則來(lái)獲得一個(gè)關(guān)鍵幀。Ceaes 在這里;^和^"|分別表示當(dāng)前幀數(shù)和前一時(shí)刻的幀數(shù)，|_是兩個(gè)幀的最小距離；^是反 投影殘差，U是可接受的最大殘差；jp和^表示當(dāng)前攝像機(jī)姿態(tài)和所對(duì)應(yīng)的已存在關(guān)鍵幀 的姿態(tài),相應(yīng)的,^為兩個(gè)關(guān)鍵幀可接受的姿態(tài)差異。
[0008] 隨著新的關(guān)鍵幀被發(fā)現(xiàn)，具有相同尺度的塊Jri通過(guò)ZjOI= 來(lái)產(chǎn)生。在這里， 觸=_[//4【1;^(綱』))，，(1) = (1/1}72)?1是投影函數(shù)，^1(1』)通過(guò)深度就可以恢復(fù)出三維點(diǎn)。由于我們已經(jīng)知道了目標(biāo)物體的CAD模型，那么深度也就可以很容易獲 得。
[0009] 在多尺度塊集中，具有虛擬姿態(tài)4和虛擬相機(jī)￡|的并且已被修正的塊的尺度被 預(yù)先設(shè)定，原始圖像塊的尺度與已修正的并與之大小相同的塊尺度相同。
[0010] 在產(chǎn)生一個(gè)新的塊之后，額外的信息就可以利用了，我們應(yīng)該更新整個(gè)數(shù)據(jù)集。 這樣新塊的信息才可以與其它塊進(jìn)行融合，而通過(guò)簡(jiǎn)單的插值方法獲得的多尺度塊才有了 被修正的機(jī)會(huì)。對(duì)于每個(gè)目標(biāo)表面，首先應(yīng)該在最大的尺度上進(jìn)行更新，再在與之相鄰的較 小尺度上進(jìn)行更新，直至全部更新完畢。
[0011] 整個(gè)數(shù)據(jù)的管理和塊的修正都依賴于超分辨率算法。對(duì)給定一個(gè)尺度為i的塊和 另一個(gè)屬于不同關(guān)鍵幀且尺度為i->0)的塊，我們可以通過(guò)模擬它們之間光照條件 的變化來(lái)增強(qiáng)尺度為i的塊。具體就是通過(guò)最小化 = (#)+￡(#) 其中，_是兩個(gè)塊之間光照的改變,忍是目標(biāo)能量，表示兩個(gè)塊的一致性強(qiáng)度，^限 制了光照變化的平滑性。為了計(jì)算，低尺度塊首先投影到高尺度圖像平面中，然后我們 就可以直接測(cè)量在不同光照條件下兩個(gè)塊的差異。對(duì)于高尺度的每個(gè)像素?，能量一致性 可以表示為

【權(quán)利要求】
1. 一種基于在線管理超分辨率塊集的穩(wěn)定三維模型跟蹤方法，其特征是：采用在線維 護(hù)方法和基于關(guān)鍵框架集的超分辨率技術(shù)，通過(guò)將目標(biāo)能量函數(shù)離散化和圖像分割技術(shù)， 有效地解決了模擬關(guān)鍵框架的不同條件和融合每個(gè)單獨(dú)關(guān)鍵框架的有用信息等問(wèn)題，同 時(shí)，我們也采用了多線程技術(shù)，將算法中包含的具有較高復(fù)雜度的部分采用一個(gè)輔助進(jìn)程 進(jìn)行單獨(dú)處理，稱之為更新器 具體步驟為： (1) 在追蹤在過(guò)程中，我們可以通過(guò)以下準(zhǔn)則來(lái)獲得一個(gè)關(guān)鍵框架
(2) 產(chǎn)生新的塊，具體我們可以通過(guò)/<用)=廣(";!來(lái)產(chǎn)生相同尺度的塊/s, =洱[//4[4霄-?))，於1) = (Z/ZJ/Zf = X 是投影函數(shù) (3) 通過(guò)目標(biāo)物體的CAD模型，很容易獲得深度，再通過(guò)；就可以恢復(fù)出3D點(diǎn)， 其中2"是深度彳目息 (4) 更新整個(gè)數(shù)據(jù)集，將新塊的信息融入到舊的數(shù)據(jù)中，這樣那些通過(guò)簡(jiǎn)單的插值方法 獲得的多尺度塊才有了被修正的機(jī)會(huì)，而對(duì)于每個(gè)目標(biāo)，首先應(yīng)該在最大的尺度上進(jìn)行更 新，再在與之相鄰的較小尺度上進(jìn)行更新，直至全部更新完畢，此過(guò)程可以采用超分辨率技 術(shù) (5) 結(jié)合（1)、（2)、（3)、（4)進(jìn)行姿態(tài)估計(jì)。
【文檔編號(hào)】G06T19/00GK104376600SQ201410684123
【公開日】2015年2月25日 申請(qǐng)日期:2014年11月25日 優(yōu)先權(quán)日:2014年11月25日
【發(fā)明者】劉怡光, 吳鵬飛, 劉冰冰 申請(qǐng)人:四川大學(xué)