專利名稱：超復(fù)數(shù)整體描述彩色圖像的實(shí)時(shí)彩色視頻跟蹤算法的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻圖像處理技術(shù)領(lǐng)域，具體為一種采用超復(fù)數(shù)整體描述彩色圖像
的質(zhì)量參數(shù)作為目標(biāo)跟蹤的特征參數(shù)，而進(jìn)行實(shí)時(shí)彩色視頻目標(biāo)跟蹤的方法。
背景技術(shù)：
序列圖像中運(yùn)動(dòng)目標(biāo)的檢測與跟蹤，通過是指對拍攝的圖像序列進(jìn)行分析，檢 測出運(yùn)動(dòng)目標(biāo)并計(jì)算出目標(biāo)在每幀圖像上的位置，然后給出有關(guān)視頻目標(biāo)運(yùn)動(dòng)的相關(guān)參 數(shù)和規(guī)律的方法。這一問題是計(jì)算機(jī)視覺研究的主要內(nèi)容之一。計(jì)算機(jī)視覺是一門多學(xué) 科交叉的學(xué)科，涉及圖像處理、計(jì)算機(jī)圖形學(xué)、模式識別、人工智能、神經(jīng)網(wǎng)絡(luò)、計(jì)算 機(jī)、心理學(xué)、生理學(xué)、物理學(xué)和數(shù)學(xué)等。 視頻跟蹤技術(shù)是計(jì)算機(jī)視覺中一個(gè)必不可少的關(guān)鍵技術(shù)，它在機(jī)器人視覺導(dǎo) 航、軍事視覺制導(dǎo)、安全監(jiān)測、交通管制、醫(yī)療診斷、視頻壓縮以及氣象分析等許多方 面都有廣泛應(yīng)用。如軍事方面，已被成功地應(yīng)用于武器的成像制導(dǎo)、軍事偵察和監(jiān)視 等。早期電視和紅外跟蹤器均采用單一工作模式，必須完全用硬件實(shí)現(xiàn)?，F(xiàn)在的跟蹤可 以計(jì)算機(jī)為基礎(chǔ)，采用圖像處理與模式識別技術(shù)，利用程序控制實(shí)現(xiàn)多種功能。多模跟 蹤器已經(jīng)用于電視和紅外成像系統(tǒng)，如美國的坦克破壞者和海爾法等導(dǎo)彈的制導(dǎo)系統(tǒng)。 近年來，人工智能被應(yīng)用到視頻跟蹤中，有效地提高了系統(tǒng)的自適應(yīng)能力。民用方面， 如視覺監(jiān)控，已被廣泛地應(yīng)用在社會(huì)生活的各方面。視頻跟蹤可應(yīng)用于社區(qū)和重要設(shè) 施的保安監(jiān)控；用于智能交通系統(tǒng)中進(jìn)行車輛的實(shí)時(shí)檢測和追蹤，可以得到車流量、車 型、車速、車流密度等等許多有價(jià)值的交通流參數(shù)，同時(shí)還可以檢測事故或故障等突發(fā) 狀況。整個(gè)系統(tǒng)的流程框圖如圖1所示。 視頻跟蹤技術(shù)中最重要的一個(gè)問題就是如何表示被跟蹤的目標(biāo)?，F(xiàn)有的方法有 基于濾波器組的方法[l]，基于子空間的方法[2]和基于模板相關(guān)的方法[3]。其中基于模 板相關(guān)的方法由于實(shí)現(xiàn)容易，算法的效率高，在實(shí)際的應(yīng)用中被廣泛的應(yīng)用。
基于模板相關(guān)的視頻目標(biāo)跟蹤算法的主要思想是，預(yù)先建立一個(gè)表示目標(biāo)或待 檢測物體的模板作為識別和確定目標(biāo)位置的依據(jù)，用目標(biāo)模板與實(shí)時(shí)圖像中的各個(gè)子區(qū) 域圖像進(jìn)行比較，找出和目標(biāo)模板最相似的一個(gè)子圖像的位置，就認(rèn)為是當(dāng)前目標(biāo)的位 置。不過，傳統(tǒng)的基于模板相關(guān)的視頻目標(biāo)跟蹤算法具有幾個(gè)明顯的缺點(diǎn)。首先，基于 模板相關(guān)的視頻目標(biāo)跟蹤算法的魯棒性不夠強(qiáng)，環(huán)境的一些光照變化就會(huì)嚴(yán)重的影響跟 蹤的效果。其次，基于相關(guān)的視頻跟蹤算法只適合用于黑白視頻跟蹤，由于其沒有考慮 彩色視頻中的色彩信息，在彩色視頻跟蹤中的表現(xiàn)不理想。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于相關(guān)的實(shí)時(shí)彩色視頻目標(biāo)跟蹤的新方法，提出 用超復(fù)數(shù)整體描述彩色圖像的質(zhì)量參數(shù)作為檢測目標(biāo)的特征參數(shù)，從而整體上綜合考慮 彩色圖像的紅(R)，綠(G)，蘭(B)三基色的全部信息，因此能更好地反應(yīng)出彩色圖像的相
并定義
(2》似性。 1843年，哈密爾頓提出了一個(gè)有用的復(fù)數(shù)稱之為超復(fù)數(shù)，也稱四元數(shù)。超復(fù)數(shù) 可以看成復(fù)數(shù)的推廣，它包括一個(gè)實(shí)部分量和三個(gè)虛部分量。超復(fù)數(shù)空間的點(diǎn)可以表示 為<formula>formula see original document page 4</formula>
,=一,=jJt =—智=《，Ai =— 汰=j
如果希望描述彩色圖像R， G， B三色分量的內(nèi)在的聯(lián)系，式(l)的超復(fù)數(shù)可以 將彩色圖像的三色分量作為一個(gè)矢量整體進(jìn)行如下的無實(shí)部的純超復(fù)數(shù)描述[4]:
f(m， n) = R(m， n)i+G(m， n)j+B(m， n)k (3) 式中R(m， n)， G(m， n)， B(m， n)分別表示在彩色圖像坐標(biāo)(m， n)位置上的 R， G， B三色分量的數(shù)值。設(shè)有兩幅彩色圖像X和Y， X={Xl|i=l， A M}， Y = {yji = 1， A M}，其中Xm和ym為用純超復(fù)數(shù)表示的彩色圖像像素點(diǎn)，即
xm = xr(m)i+xg(m)j+xb(m)k (4)
ym = yr(m)i+yg(m)j+yb(m)k 式中x/m)， Xg(m)， xb(m)和y/m), yg(m)， yb(m)分別為X和Y兩幅彩色圖像的 R， G和B的分量。對兩幅彩色圖像X和Y定義通用的彩色圖像質(zhì)量指標(biāo)(UCQI)為[6]:
5 (-V， ..、■)=
<formula>formula see original document page 4</formula> I ii x ii y|為超復(fù)數(shù)均值P x和P y乘積的模值，超復(fù)數(shù)o xy的極坐標(biāo)形式是o xy = |oxy|e"e，而iix， iiy，、和Oy為純超復(fù)數(shù)，根據(jù)超復(fù)數(shù)的乘法運(yùn)算法則，純超復(fù)數(shù) 的平方為實(shí)數(shù)，其結(jié)果等于純超復(fù)數(shù)模值的平方。式(5)定義的質(zhì)量指標(biāo)考慮到了色彩失 真，相關(guān)損失，亮度和對比度失真，以及R， G， B三色之間失真的組合。為了說明這 些失真，我們可以將式(5)重寫成如下形式<formula>formula see original document page 4</formula>
式(6)中考慮了IPQI叫PIIQI
我們知道超復(fù)數(shù)的模值代表了彩色圖像的亮度信息，那么當(dāng)式(6)中第一項(xiàng)在測 量彩色圖像X和Y的亮度差別的同時(shí)，第二項(xiàng)評價(jià)的是彩色圖像X和Y的對比度的類似 性，而第三項(xiàng)代表彩色圖像X和Y的相關(guān)系數(shù)，它的模值在測量彩色圖像X和Y的線性
相關(guān)性的同時(shí)通過其幅角e評價(jià)這兩幅彩色圖像之間的色彩失真[6]，而e =0表示兩
幅彩色圖像之間沒有色彩失真[6]。簡而言之，式(6)的模值反映了兩幅彩色圖像空間和 結(jié)構(gòu)相似度的信息；而e"e反映了兩幅彩色圖像色彩信息的變化，相當(dāng)于對兩幅彩色圖 像計(jì)算互相關(guān)得到的結(jié)果。需要特別強(qiáng)調(diào)是，由于
<formula>formula see original document page 5</formula>
避腦！ (7) 因此式(6)測量的彩色圖像X和Y的相關(guān)系數(shù)考慮了R， G， B三色分量的內(nèi)在
聯(lián)系。即式(7)中的點(diǎn)乘和叉乘表達(dá)的R， G， B三色分量的內(nèi)在聯(lián)系。 本發(fā)明提出的使用圖像質(zhì)量參數(shù)作為檢測的特征參數(shù)，流程圖2所示。 局部圖像搜索的目標(biāo)跟蹤算法的流程為 (1)在第一幀圖像中選取跟蹤的目標(biāo)以及相應(yīng)的目標(biāo)模板，目標(biāo)模板為剛好能夠 包含目標(biāo)的矩形框。 (2)在當(dāng)前進(jìn)行目標(biāo)跟蹤的圖像幀中選定搜索的范圍選取以目標(biāo)模板的中心為 中心，以目標(biāo)模板長寬的倍數(shù)(例如2倍，3倍，….，等)為長寬的一個(gè)矩形區(qū)域?yàn)榫?部搜索范圍。 (3)使用目標(biāo)模板對搜索范圍內(nèi)的每個(gè)和目標(biāo)模板等大小的子圖像進(jìn)行彩色圖像
質(zhì)量參數(shù)的計(jì)算，即計(jì)算式(6)。當(dāng)其數(shù)值達(dá)到最大時(shí)，則認(rèn)為目標(biāo)跟蹤成功。 (4)閾值模板更新?？疾飚?dāng)前的跟蹤成功的彩色圖像質(zhì)量參數(shù)的數(shù)值，即式(6)
的數(shù)值，若其大于某一個(gè)閾值(大量實(shí)驗(yàn)表明0.9為一個(gè)合適的閾值)，將對應(yīng)的子圖像更
新為目標(biāo)模板；若其小于該閾值，表明此次跟蹤的目標(biāo)出現(xiàn)了部分遮擋情況，繼續(xù)使用
原來的目標(biāo)模板。 技術(shù)效果 在不同的應(yīng)用場景中，進(jìn)行了大量的實(shí)驗(yàn)。圖3到圖4為其中兩個(gè)跟蹤實(shí)例。 可以看到在不同場景中針對不同的跟蹤目標(biāo)，該算法都是十分有效的。
另外，為了驗(yàn)證我們的使用的跟蹤因子對彩色圖像敏感的特點(diǎn)，圖5給出了一 個(gè)車輛跟蹤的實(shí)驗(yàn)例子。跟蹤目標(biāo)為藍(lán)色小車，其干擾目標(biāo)為外形相同的同型號紅色小 車。在第k幀圖像中又有一輛與藍(lán)色小車形狀相同的紅色小車。 而如果我們采用本文提出的超復(fù)數(shù)彩色圖像質(zhì)量相關(guān)因子互相關(guān)匹配進(jìn)行目標(biāo) 跟蹤，彩色圖像表示為超復(fù)數(shù)形式，則歸一化的超復(fù)數(shù)相位互相關(guān)的曲面如圖6所示， 最大值為藍(lán)色小車所在位置，跟蹤目標(biāo)正確。而且可以看出，曲面比較平坦，而且曲面 的最大值的地方比較尖銳。而且，我們的相關(guān)因子的曲面圖上只有一個(gè)峰，也就是，我 們的彩色超復(fù)數(shù)相關(guān)因子不會(huì)受到不同顏色的物體的影響，即目標(biāo)跟蹤的結(jié)果不會(huì)因外 形相同的同型號其它顏色的物體干擾而丟失被跟蹤的目標(biāo)，這種干擾是僅僅采用黑白圖像進(jìn)行跟蹤時(shí)不能克服的困難。


圖l為跟蹤實(shí)例l，其中(a)為第l幀，(b)為第加幀，(c)為第eo幀，(d)為第 90幀。 圖2為跟蹤實(shí)例2，其中(a)為第l幀，(b)為第40幀，(c)為第80幀，(d)為第 120幀。 圖3為彩色目標(biāo)跟蹤實(shí)驗(yàn)，其中(a)為跟蹤目標(biāo)，(b)為待匹配的第k幀圖像，方
框內(nèi)為搜索區(qū)域。 圖4為相關(guān)因子圖。 參考文獻(xiàn) [l].Z.Wang， A.C.Bovik， H.R.Sheikh， E.P.Simoncelli. "Image quality assessment: From error measurement to structural similarity" .IEEE Trans.Image Process, vol.l3， no.4， pp.600-612, Apr.2004，[2].A.D.Jepson， D.J.Fleet， and T.F.El-Maraghi， "Robust online appearance models for visual tracking." IEEE Trans.Pattern Analysis and Machine Intelligence, vol.25 ， no. 10 ， pp.l296-1311， Oct.2003 [3].J丄im， D.Ross， R.S丄in， and M.H.Yang， "Incremental learning for visual tracking, " Advances in neural information processing systems, vol.17， pp.793-800， 2005.
[4].D.A.Montera， S.K.Rogers, D.W.Ruck， and M.E.Oxley， "Object tracking through adaptive correlation, " Proceedings of SPIE， 1959. 問.C.E.Moxey， S丄Sangwine， T.A.E11. "Hypercomplex correlation techniques for vector images, " IEEE Trans on Signal Processing, vol.51， no.7 pp.1941-1953， July 2003.
[6].郝明非，"彩色圖像超復(fù)數(shù)整體拼接及其質(zhì)量評估的研究"復(fù)旦大學(xué)理學(xué)碩 士學(xué)位論文，2007年5月。
權(quán)利要求
一種實(shí)時(shí)彩色視頻目標(biāo)跟蹤的新方法，其特征在于應(yīng)用“超復(fù)數(shù)整體描述彩色圖像的質(zhì)量相關(guān)因子”作為跟蹤彩色視頻目標(biāo)的特征參數(shù)，及其局部搜索的跟蹤方法與更新策略。
2. 根據(jù)權(quán)利要求1所述的實(shí)時(shí)彩色視頻目標(biāo)跟蹤的新方法，其特征在于應(yīng)用于目標(biāo)跟 蹤的特征參數(shù)——超復(fù)數(shù)整體描述彩色圖像的質(zhì)量參數(shù)。該參數(shù)綜合考慮了彩色圖像的 整體信息，可以很好的反映兩幅彩色圖像對于人眼的區(qū)別。因此可以達(dá)到人眼的目標(biāo)跟 蹤能力。
3. 根據(jù)權(quán)利要求1、 2所述的實(shí)時(shí)彩色視頻目標(biāo)跟蹤的新方法，其特征在于應(yīng)用跟蹤 目標(biāo)的特征參數(shù)——彩色圖像的質(zhì)量參數(shù)通過局部搜索的方法進(jìn)行目標(biāo)跟蹤以目標(biāo)模 板的中心為中心，以目標(biāo)模板長寬的兩倍為長寬，通過計(jì)算該區(qū)域彩色圖像質(zhì)量參數(shù)而 對此區(qū)域進(jìn)行搜索。當(dāng)給出的圖像質(zhì)量參數(shù)值達(dá)到最大時(shí)，目標(biāo)跟蹤成功。
4. 根據(jù)權(quán)利要求1、 2、 3所述的實(shí)時(shí)視頻目標(biāo)跟蹤的方法，其特征在于應(yīng)用目標(biāo)跟蹤 的特征參數(shù)——超復(fù)數(shù)整體描述彩色圖像的質(zhì)量相關(guān)因子通過局部搜索的方法進(jìn)行目標(biāo) 跟蹤成功后，進(jìn)行閾值模板更新當(dāng)超復(fù)數(shù)整體描述彩色圖像的質(zhì)量相關(guān)因子數(shù)值大于 某一個(gè)閾值，將當(dāng)前跟蹤到的目標(biāo)更新為模板；當(dāng)其小于某一個(gè)閾值，說明有部分遮擋 發(fā)生，不更新模板。
全文摘要
本發(fā)明屬于視頻圖像處理技術(shù)領(lǐng)域，具體為一種基于相關(guān)的實(shí)時(shí)彩色視頻目標(biāo)跟蹤的新方法。該方法通過局部彩色圖像搜索的方式進(jìn)行目標(biāo)跟蹤，提出利用超復(fù)數(shù)整體描述的彩色圖像質(zhì)量相關(guān)因子作為特征參數(shù)。該特征參數(shù)描述了彩色圖像之間的相似性，從而可以由彩色圖像質(zhì)量的相關(guān)因子值來表征被跟蹤目標(biāo)與目標(biāo)模板的相似程度，且能同時(shí)充分有效地利用彩色視頻的色彩信息，以達(dá)到準(zhǔn)確跟蹤目標(biāo)的目的。實(shí)驗(yàn)結(jié)果表明，提出的描述目標(biāo)的特征參數(shù)及其相應(yīng)的跟蹤算法可以對彩色視頻中的目標(biāo)進(jìn)行有效的跟蹤。
文檔編號G06T7/20GK101692285SQ20091019449
公開日2010年4月7日 申請日期2009年8月24日 優(yōu)先權(quán)日2009年8月24日
發(fā)明者陳應(yīng)光 申請人:上海龍東光電子有限公司