專利名稱：多攝像機目標匹配特征融合方法
技術領域：
本發(fā)明涉及一種多攝像機視頻監(jiān)控領域中信息處理的方法，具體是一種多攝像 機目標匹配的特征融合方法。
技術背景隨著視頻監(jiān)控技術的快速發(fā)展，以及單攝像機有限的視域無法滿足廣域視頻監(jiān) 控的要求，多攝像機非重疊視域目標跟蹤成為有效解決廣域視頻監(jiān)控問題的一種途 徑。目標特征提取與匹配是多攝像機目標跟蹤中的基礎以及重點。目標匹配是指把 在不同時刻出現(xiàn)在不同攝像機前的目標進行匹配，由于目標物體在不同攝像機前的 顏色、形狀和攝像機的觀測距離、觀測角度等方面的巨大的差異，以及各個攝像機 的內(nèi)部參數(shù)和監(jiān)控區(qū)域中光照等環(huán)境條件的不同等種種復雜的原因，傳統(tǒng)計算機視 覺理論中關于單攝像機跟蹤匹配的很多方法都不再適用。所以，無重疊視域攝像機 之間的特征提取和目標匹配需要建立適合自己特殊問題的新方法。經(jīng)對現(xiàn)有技術文獻的檢索發(fā)現(xiàn)，Javed等人于2008年在《Computer Vision and Image Understanding》(計算機視覺與圖像理解)發(fā)表的論文"Modeling inter —camera space-time and appearance relationships for tracking across non-overlapping views"(針對非重疊視域跟蹤的多攝像機時空及外觀關系建模) 運用顏色直方圖建立外觀模型。然而，由于多攝像機視域中各攝像機之間多種因素變化的不確定性，這些特征 均無法對于這些不確定因素同時具有魯棒性。因此，對多種特征進行融合可以實現(xiàn) 更加準確的匹配。例如，Patwardhan等人于2007年在ICIP (圖像處理國際會議)發(fā) 表的論文"A graph-based foreground representation and ITS application in example based people matching in video"(基于圖形的前景表示禾口ITS在基于 實例的人匹配中的應用)融合了顏色直方圖的特征和尺度不變(SIFT)的特征來進行目標匹配。Madden和Piccardi于2007年在AVSS (先進視頻及信號監(jiān)控)發(fā)表的 論文"A framework for track matching across disjoint cameras using robust shape and appearance features"(—種針對非重疊攝像機跟蹤匹配的魯棒外形 和外觀特征的框架)建立了一個框架來融合身高的信息和主要顏色譜的分布信息。 然而，目前的融合大都建立在簡單的貝葉斯框架或高斯框架下，缺少考慮特征本身 的特點以及在不同條件下的效果。 發(fā)明內(nèi)容本發(fā)明的目的在于克服現(xiàn)有技術中的不足，提供一種多攝像機目標匹配特征融合方法，對外觀特征進行疊代加寬融合，如顏色直方圖特征，UV色度特征，主要顏色譜特征，以及SIFT特征。使其克服各種特征對于不同變化因素的不確定性，在 特征級上進行融合，最終為多攝像機目標跟蹤提供實時、全面、準確的匹配依據(jù)。 本發(fā)明是通過以下技術方案實現(xiàn)的，本發(fā)明具體包括以下步驟-(1) 提取被跟蹤目標的外觀特征；(2) 特征相似度矩陣S的建立；(3) 置信度指數(shù)的確定；(4) 疊代加寬的特征融合算法。所述提取被跟蹤目標的外觀體征，由以下方法實現(xiàn)使用混合高斯模型建模提取顏色外觀特征。使用Cheng和Piccardi于2007年在《Optical Engineering))(光學工程) 發(fā)表的論文"Disjoint track matching based on a major color spectrum histogram representation"(基于主要顏色譜直方圖表示方法的非重疊跟蹤匹配)的方法提取主要顏色譜直方圖。使用Lowe于2004年在{International Journal of Computer Vision》(計 算機視覺)發(fā)表的論文"Distinctive image features from scale-invariant keypoints"(源于尺度不變關鍵點的區(qū)分性圖像特征)的方法提取尺度不變特征。對于顏色直方圖特征和UV色度特征，特征提取結果為混合高斯模型。對于主要顏色譜，特征提取為主要顏色直方圖。對于SIFT,特征提取128維尺度不變特征。 所述的特征相似度矩陣S的建立，通過以下步驟實現(xiàn) (1)對于顏色直方圖特征及UV色度特征，利用混合高斯模型參數(shù)，由下式計 算兩個待匹配目標間的相似度，<formula>formula see original document page 7</formula>其中，w。和^表示待匹配目標a和b的混合高斯模型中各分量的權值，x。;i和x^表示混合高斯模型中各分量的協(xié)方差矩陣，J(/7。,，A,)表示混合高斯模型均值的歐式距離，相似度數(shù)值越小，相似度越大；對于主要顏色譜特征，由下式計算兩個待匹配目標間的相似度，其中，P。,和A,表示待匹配目標&和b的主要顏色直方圖中相對應顏色柱的 權值；6/(C。,C。表示顏色柱C。和G之間的距離，相似度數(shù)值越小，相似度越大；對于尺度不變特征，兩個待匹配目標間的相似度采用提取尺度不變特征方法 獲取，相似度數(shù)值越大，相似度越大；(2)將獲得的相似度構成特征相似度矩陣S，其表示為<formula>formula see original document page 7</formula>其中，、.表示特征/中跟蹤目標與第y個待匹配目標間的相似度；所述的置信度指數(shù)的確定，通過以下方法計算對于顏色直方圖特征，UV色度特征及主要顏色譜特征，兩個待匹配目標間的置信度指數(shù)根據(jù)相似度矩陣，由下式計算得到<formula>formula see original document page 8</formula>其中，^表示相似度矩陣每行的元素<formula>formula see original document page 8</formula> 對于SIFT特征，兩個待匹配目標間的置信度指數(shù)根據(jù)相似度矩陣，由下式計 算得到- 如果C,.,的值小于丄，則將置信度指數(shù)最小值設為丄。置信度指數(shù)最大值為1。 "TV jV將置信度指數(shù)構成置信度指數(shù)矩陣，置信度指數(shù)矩陣與相似度矩陣行列數(shù)相同。所述的疊代加寬的特征融合算法，通過以下步驟實現(xiàn)(1) 設置W為疊代寬度閾值，設置疊代寬度初值&=1;(2) 在相似度矩陣中搜索每個特征行中前a個相似度最大的目標，如果某一 列且只有一列中的所有N個特征行的元素都被搜索到，則該列所對應的待匹配目標即表示目的目標，疊代終止；(3) 如果有大于1的w列中所有N個特征行的元素都被搜索到，則分別計算置信度指數(shù)矩陣中與此w列所對應的每一列的期望值，期望值最高的一列所對應的 待匹配目標即表示目的目標，疊代終止；(4) 如果沒有一列中的所有特征行的元素都被搜索到，即在當前寬度下未找 到任何目的目標，則更新疊代寬度a=a+l; a《w，轉步驟(2)，進行下一次疊代；(5) 若a〉w，則在當前寬度下搜索第二相似的目的目標，即取被搜索到的元 素最多的那一列所對應的待匹配目標作為目的目標，疊代終止。本發(fā)明與現(xiàn)有技術相比的顯著效果在于較單特征的匹配算法準確率較高，有效克服不同特征對于各種不確定因素魯棒性不同等缺點，為多攝像機非重疊視閾目 標跟蹤系統(tǒng)提供更加實時、全面、準確的匹配依據(jù)。而且，與一般的基于貝葉斯框 架的融合算法相比，對于置信度相差較大的特征，準確度較貝葉斯算法提高。本發(fā)明針對多攝像機目標跟蹤的需要，在特征級上對參與匹配的特征進行融 合，并考慮到不同特征的適用性，具有實時性強、可信度高、魯棒性強等優(yōu)點，特 別是在特征間的置信度指數(shù)差別較大或特征置信度指數(shù)未知的情況下進行在線融 合，這是以往技術方法都難以克服的難點，也是阻礙它們實現(xiàn)真正工程應用的主要 障礙。本發(fā)明使用先進的智能方法，實現(xiàn)不同特征間相似度的融合，最終為多攝像 機監(jiān)控提供實時，可靠的依據(jù)。


圖1本發(fā)明方法步驟方框示意圖。
具體實施方式
下面結合附圖和實施例對本發(fā)明的技術方案作詳細說明。以下實施例在以本發(fā) 明技術方案為前提下進行實施，給出了詳細的實施方式和過程，但本發(fā)明的保護范 圍不限于下述的實施例。為了更好地理解本實施例提出的方法，選取非重疊視域攝像機數(shù)目為2，參與 匹配的目標數(shù)量為10，設置兩攝像機具有不同的觀察角度，不同的光照條件及攝像 機參數(shù)。如圖1所示，本實施例具體實施步驟如下(1)對被匹配目標顏色直方圖特征，UV色度特征，主要顏色譜特征，以及SIFT特征進行特征提取。通過以下方法實現(xiàn)(1)顏色直方圖特征使用Cai等人于2007年在ACCV (亞洲計算機視覺會議) 發(fā)表的論文"Continuously tracking objects across multiple widely separated cameras"(廣域非重疊多攝像機持續(xù)目標跟蹤)的方法提取基于前景分割的顏色 直方圖特征。根據(jù)空間關系將目標劃分為三個部分，對于每部分使用高斯混合模型(G麗)來9計顏色分布，不同部分的權值由下式計算:p, =/K"s =6， i&,其中，",和^代表攝像機A和B中的檢測目標，p代表"，禾B 6,中 的對應部分相匹配的概率，戶(^=^)代表攝像機A和B中的目標相匹配的概率。(2) UV色度特征使用Jeong和Jaynes于2008年在《Machine Vision and Applications》(機器視覺及應用)發(fā)表的論文"Object matching in disjoint cameras using a color transfer approach"(使用顏色轉換方法的非重疊攝像 機目標匹配)提取UV色度空間模型。將目標劃分為三個部分，根據(jù)YUV顏色空間的UV通道建立色度平面。對于平 面上的顏色分布建立二維高斯混合模型。權值計算同顏色直方圖。(3) 主要顏色譜特征使用Cheng和Piccardi于2007年在《Optical Engineering》(光學工禾呈)發(fā)表的論文"Disjoint track matching based on a major color spectrum histogram representation"(基于主要顏色譜直方圖表示方法 的非重疊跟蹤匹配)的方法提取主要顏色譜直方圖。使用最鄰近分類法(麗C)對 像素進行聚類，分類閾值由下式計算如果兩個像素間的距離大于設定的閾值，則建立一個新的聚類中心。并使用k均值算法調整分類中心其中C&[/]代表k通道中聚類中心的當前值，w當前聚類中心的像素數(shù)量， 0^/-1]代表聚類中心的上一個值，特征提取為主要顏色直方圖，分類閾值為0. 07。 (4)SIFT特征:使用Lowe于2004年在《International Journal of ComputerVision》(計算機視覺)發(fā)表的論文 "Distinctive image features from scale-invariant keypoints"(源于尺度不變關鍵點的區(qū)分性圖像特征)的方法 提取尺度不變特征。本方法將靠近物體輪廓邊緣具有較清晰的分界線的特征進行去 除，得到128維特征。特征提取使用Visual 〔++語言編程。 (2)特征相似度矩陣S的建立在真實數(shù)據(jù)集中利用s = ^ V^7^<formula>formula see original document page 11</formula>
計算兩個目標間顏色直方圖特征及uv色度特征的相似度。利用 s-尤V^^.J(c。c;)計算兩個目標間主要顏色譜特征的相似度。兩個目標間/=1SIFT特征相似度的相似度為采用尺度不提取尺度不便特征的方法獲取。將計算結果 構成特征相似度矩陣，表示為0.482 0.353 0.397 0.437 1.0 0.599 0.575 0.884 0.438 0.4270.740 0.409 0.060 0.426 0.135 0.276 l扁0.198 0.689 0.0530.809 0.784 0.714 0.852 0.990 0.768 0.826 1.000 0.710 0.729 1 142462023式中，乂 力表示四種特征的對應不同匹配目標的相似度。其中，前三種基于 顏色的特征相似度數(shù)值越小表示相似度越大，SIFT特征相似度數(shù)值越大表示與相似 度越大。(3)置信度指數(shù)的確定 丄根據(jù)<formula>formula see original document page 11</formula>計算得置信度指數(shù)為<formula>formula see original document page 11</formula>顏色直方圖特征
以及SIFT特征
(4)疊代加寬融合算法用本融合算法對四種特征進行融合，融合算法用Visual 0++語言編程。 根據(jù)疊代加寬融合算法步驟(1):參數(shù)設置為疊代寬度閾值M^5，疊代寬 度初值3=1。根據(jù)疊代加寬融合算法步驟(2):在相似度矩陣中搜索每個特征行中前a個相 似度最大的目標，結果為特征1的第2個目標，特征2的第10個目標，特征3 的第9個目標，特征4的第6個目標。未找到任何一列中所有N個特征行的元素均 被搜索到。根據(jù)疊代加寬融合算法步驟(4): a=2，轉步驟(2)。根據(jù)疊代加寬融合算法步驟(2):在相似度矩陣中搜索每個特征行中前a個相 似度最大的目標，結果為特征1的第2、 3個目標，特征2的第3、 IO個目標， 特征3的第3、 9個目標，特征4的第3、 6個目標。找到第3列中的N個特征行的 元素均被搜索到。則第三個目標即為目的目標，疊代終止。另外，對四種特征進行兩兩融合，結果如下-顏色直方圖特征和UV色度特征間的融合，疊代寬度6 = 2，迭代結果為第三個 待匹配目標。UV色度特征和主要顏色譜特征，迭代寬度6 = 1，迭代結果為第三個 待匹配目標。主要顏色譜特征和SIFT特征，迭代寬度6 = 2，迭代結果為第三個待 匹配目標。其他特征間的融合可以得到類似的結果。通過與貝葉斯貝葉斯框架融合算法的結果相比較，本發(fā)明方法達到75%以上的 準確率，而且與貝葉斯框架算法相比表現(xiàn)出較好的魯棒性。
權利要求
1、一種多攝像機目標匹配特征融合方法，其特征在于包括以下步驟1)對于不同攝像機中出現(xiàn)的跟蹤目標提取外觀特征；其中，對于跟蹤目標的顏色直方圖特征，提取結果以一維混合高斯模型表示；對于UV色度特征，提取結果以二維混合高斯模型表示；對于主要顏色譜特征，提取結果以主要顏色直方圖表示；對于尺度不變特征，提取結果為128維尺度不變特征；2)建立特征相似度矩陣S對于顏色直方圖特征及UV色度特征，利用混合高斯模型參數(shù)，由下式計算兩個待匹配目標間的相似度，<maths id="math0001" num="0001" ><math><![CDATA[ <mrow><mi>s</mi><mo>=</mo><munderover> <mi>&Sigma;</mi> <mrow><mi>i</mi><mo>=</mo><mn>1</mn> </mrow> <mn>3</mn></munderover><mo>{</mo><msqrt> <msub><mi>w</mi><mi>ai</mi> </msub> <mo>&CenterDot;</mo> <msub><mi>w</mi><mi>bi</mi> </msub></msqrt><mo>&CenterDot;</mo><mo>[</mo><mo>|</mo><mi>log</mi><mrow> <mo>(</mo> <mfrac><msub> <mi>w</mi> <mi>ai</mi></msub><msub> <mi>w</mi> <mi>bi</mi></msub> </mfrac> <mo>)</mo></mrow><mo>|</mo><mo>+</mo><munderover> <mi>&Pi;</mi> <mrow><mi>k</mi><mo>=</mo><mn>1</mn> </mrow> <mi>n</mi></munderover><mo>|</mo><mo>|</mo><mi>log</mi><mrow> <mo>(</mo> <mfrac><msub> <mi>x</mi> <mi>aik</mi></msub><msub> <mi>x</mi> <mi>bik</mi></msub> </mfrac> <mo>)</mo></mrow><mo>|</mo><mo>|</mo><mo>+</mo><mi>d</mi><msup> <mrow><mo>(</mo><msub> <mi>p</mi> <mi>ai</mi></msub><mo>,</mo><msub> <mi>p</mi> <mi>bi</mi></msub><mo>)</mo> </mrow> <mn>2</mn></msup><mo>]</mo><mo>}</mo> </mrow>]]></math></maths>其中，wa和wb表示待匹配目標a和b的混合高斯模型中各分量的權值，xaik和xbik表示混合高斯模型中各分量的協(xié)方差矩陣，d(pai，pbi)表示混合高斯模型均值的歐式距離，相似度數(shù)值越小，相似度越大；對于主要顏色譜特征，由下式計算兩個待匹配目標間的相似度，<maths id="math0002" num="0002" ><math><![CDATA[ <mrow><mi>s</mi><mo>=</mo><munderover> <mi>&Sigma;</mi> <mrow><mi>i</mi><mo>=</mo><mn>1</mn> </mrow> <mi>n</mi></munderover><msqrt> <msub><mi>p</mi><mi>ai</mi> </msub> <mo>&CenterDot;</mo> <msub><mi>p</mi><mi>bi</mi> </msub></msqrt><mo>&CenterDot;</mo><mi>d</mi><mrow> <mo>(</mo> <msub><mi>C</mi><mi>a</mi> </msub> <mo>,</mo> <msub><mi>C</mi><mi>b</mi> </msub> <mo>)</mo></mrow> </mrow>]]></math></maths>其中，pai和pbi表示待匹配目標a和b的主要顏色直方圖中相對應顏色柱的權值；d(Ca，Cb)表示顏色柱Ca和Cb之間的距離，相似度數(shù)值越小，相似度越大；對于尺度不變特征，兩個待匹配目標間的相似度采用提取尺度不變特征方法獲取，相似度數(shù)值越大，相似度越大；將獲得的相似度構成特征相似度矩陣S，其表示為其中，si，j表示特征i中跟蹤目標與第j個待匹配目標間的相似度；i＝1，2，…，Nj＝1，2，…，M；3)確定置信度指數(shù)對于顏色直方圖特征，UV色度特征及主要顏色譜特征，兩個待匹配目標間的置信度指數(shù)根據(jù)相似度矩陣，由下式計算得到<maths id="math0003" num="0003" ><math><![CDATA[ <mrow><msub> <mi>C</mi> <mi>rij</mi></msub><mo>=</mo><mfrac> <mfrac><mn>1</mn><msub> <mi>S</mi> <mi>ij</mi></msub> </mfrac> <mrow><munderover> <mi>&Sigma;</mi> <mrow><mi>j</mi><mo>=</mo><mn>0</mn> </mrow> <mi>N</mi></munderover><mfrac> <mn>1</mn> <msub><mi>S</mi><mi>ij</mi> </msub></mfrac> </mrow></mfrac> </mrow>]]></math></maths>其中，Sij表示相似度矩陣每行的元素；i＝1，2，…，M j＝1，2，…，N；對于尺度不變特征，兩個待匹配目標間的置信度指數(shù)根據(jù)相似度矩陣，由下式計算得到<maths id="math0004" num="0004" ><math><![CDATA[ <mrow><msub> <mi>C</mi> <mi>rij</mi></msub><mo>=</mo><mfrac> <msub><mi>S</mi><mi>ij</mi> </msub> <mrow><munderover> <mi>&Sigma;</mi> <mrow><mi>j</mi><mo>=</mo><mn>0</mn> </mrow> <mi>N</mi></munderover><msub> <mi>S</mi> <mi>ij</mi></msub> </mrow></mfrac> </mrow>]]></math></maths>如果Cir的值小于 id="icf0006" file="A2008100412170003C4.tif" wi="6" he="8" top= "181" left = "62" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>則將置信度指數(shù)最小值設為 id="icf0007" file="A2008100412170003C5.tif" wi="6" he="8" top= "181" left = "121" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>置信度指數(shù)最大值為1；將置信度指數(shù)構成置信度指數(shù)矩陣，置信度指數(shù)矩陣與相似度矩陣行列數(shù)相同；4)進行疊代加寬的特征融合，通過以下步驟實現(xiàn)(1)設置w為疊代寬度閾值，設置疊代寬度初值a＝1；(2)在相似度矩陣中搜索每個特征行中前a個相似度最大的目標，如果某一列且只有一列中的所有N個特征行的元素都被搜索到，則該列所對應的待匹配目標即表示目的目標，疊代終止；(3)如果有大于1的m列中所有N個特征行的元素都被搜索到，則分別計算置信度指數(shù)矩陣中與此m列所對應的每一列的期望值，期望值最高的一列所對應的待匹配目標即表示目的目標，疊代終止；(4)如果沒有一列中的所有特征行的元素都被搜索到，即在當前寬度下未找到任何目的目標，則更新疊代寬度a＝a+1；若a≤w，轉步驟(2)，進行下一次疊代；(5)若a＞w，則在當前寬度下搜索第二相似的目的目標，即取被搜索到的元素最多的那一列所對應的待匹配目標作為目的目標，疊代終止。
全文摘要
本發(fā)明公開了一種多攝像機目標匹配特征融合方法，用于多攝像機視頻監(jiān)控領域中的信息處理，利用疊代加寬的算法進行實時特征融合，包括(1)提取被跟蹤目標的外觀特征，包括顏色直方圖特征，UV色度特征，主要顏色譜特征，以及SIFT特征；(2)分別針對各種特征計算兩個待匹配目標間的相似度，并建立特征相似度矩陣；(3)根據(jù)相似度矩陣計算確定待匹配目標間的置信度指數(shù)；(4)采用疊代加寬的特征融合算法獲取目的目標。本發(fā)明具有易于實現(xiàn)、魯棒性強、可靠性高、實時性強等優(yōu)點，可以為多攝像機目標匹配提供實時可靠的信息。
文檔編號G06T7/00GK101329765SQ20081004121
公開日2008年12月24日 申請日期2008年7月31日 優(yōu)先權日2008年7月31日
發(fā)明者劉允才, 呂曉威, 孔慶杰, 菲 翁 申請人:上海交通大學