專利名稱：多攝像機下基于主軸匹配的行人跟蹤方法
技術領域：
本發(fā)明涉及計算機視覺技術領域，特別涉及多攝像機匹配方法。
背景技術：
隨著社會的發(fā)展，安全問題日益變得重要。視覺監(jiān)控成為很多大型場所的要求。這些場所包括國家重要的安全部門、軍事。與此同時在很多公共場所，視覺監(jiān)控也變得至關重要，其中典型的應用是交通領域。由于傳統(tǒng)的視覺監(jiān)控系統(tǒng)都是一種事后監(jiān)控，所有的意外事件和異常情況都是保安人員當時或事后發(fā)現(xiàn)的，對各種破壞安全性的行為起不到制止作用；因此傳統(tǒng)的監(jiān)控系統(tǒng)將不能適應社會發(fā)展的需要。此時，智能化的視覺監(jiān)控系統(tǒng)成為時代的要求和研究者的目標。智能化的視覺監(jiān)控最終目的是實現(xiàn)實時識別運動目標的行為，從而對異常行為及時做出判斷和報警。而作為運動目標的行為識別與分析等高層問題的解決依賴于底層處理，即運動目標的跟蹤。在監(jiān)控場景中，人的運動往往是我們關注的焦點。此外，人的運動是一種非剛體的運動，其跟蹤相比其他的運動跟蹤(比如車輛的運動跟蹤)而言更加復雜。因此人的跟蹤成為智能化監(jiān)控一個至關重要的部分。
現(xiàn)如今，人們對視覺監(jiān)控系統(tǒng)的智能化與安全性要求越來越高，使用單攝像機對運動的人進行跟蹤遠遠不能滿足社會的需要。近些年來，利用多攝像機來跟蹤運動的人成為研究熱點。
多攝像機下人的跟蹤本質(zhì)上是一個多攝像機匹配的問題，即在同一時刻建立不同視角(攝像機)下運動物體之間的對應關系。多攝像機匹配是計算機視覺一個比較新的課題。在這方面，國外一些大學和研究機構(Maryland，Oxford，MIT)已開展了一些研究工作。根據(jù)所選特征的類型可以將相關工作大致劃分為兩大類基于區(qū)域的方法和基于特征點的方法。
基于區(qū)域的匹配方法是把人看作一個運動區(qū)域，利用運動區(qū)域的特征來建立不同視角下人的對應關系。在這類方法中，顏色是最常用的一個區(qū)域特征。Orwell等以及Krumm等利用顏色直方圖來估計人的區(qū)域顏色分布，通過比較顏色直方圖來建立多攝像機的匹配；Mittal等為人的運動區(qū)域建立了高斯顏色模型，然后利用這些模型建立匹配；另外一種方法是利用核密度函數(shù)估計區(qū)域顏色的分布，在此基礎上建立匹配。顏色特征雖然比較直觀，然而其在匹配方面很不魯棒。這是因為，基于顏色的匹配依賴于人的衣服的顏色，當兩個人的衣服顏色相同時，可能產(chǎn)生錯誤的匹配；其次，由于受光照和視角的影響，觀察到的同一個人的衣服顏色可能會發(fā)生變化。
基于特征點的方法是將人看成一系列的特征點，不同視角下人的匹配就轉(zhuǎn)化為特征點的匹配。特征點的匹配是基于一定的幾何約束。根據(jù)所選用的幾何約束的不同，這類方法可以劃分為兩個子類三維方法和二維方法。A.Utsumi選取運動物體的質(zhì)心作為特征點，然后比較他們的三維投影點；Q.Cai選取人的上半身中線的一些特征點，然后利用極限約束來尋找匹配。三維方法都需要對攝像機進行標定。當監(jiān)控場景中所使用的攝像機數(shù)目很大時，攝像機標定將是一個比較巨大的任務。為了克服三維方法的缺點，有些研究者提出了利用二維信息來建立多攝像機之間的匹配。Khan等利用地平面的單映約束(homography constraint)來匹配人腳上的特征點。但這些特征點容易受到噪聲的影響。當存在遮擋或者檢測效果不好，人只有部分被觀測時，提取的特征點將不魯棒，因此匹配的性能將會變差。
需要強調(diào)的是，雖然多攝像機下人的跟蹤在世界范圍內(nèi)得到了廣泛的關注和研究，但在多攝像機匹配技術方面仍然存在諸多難點。因此如何選取更加魯棒、準確的特征來匹配仍是一個挑戰(zhàn)。

發(fā)明內(nèi)容
本發(fā)明的目的在于避免傳統(tǒng)方法需要定標、采用特征易受噪聲與視角因素影響等缺點，提供一種簡單的、魯棒的多攝像機匹配方法用于多攝像機下人的跟蹤。
為實現(xiàn)上述目的，多攝像機下基于主軸匹配的行人跟蹤方法包括步驟(1)運動目標分割；(2)提取人的主軸特征；(3)單攝像機下的跟蹤；(4)根據(jù)主軸匹配似然函數(shù)尋找所有的最佳匹配對；(5)融合多視角信息更新跟蹤結(jié)果。
多攝像機是指使用兩個或兩個以上的單攝像機，該方法的前提條件是假設不同攝像機的可視區(qū)域中存在一個公共的平面，一般而言，這個公共的平面是指地平面。
本發(fā)明提取人的主軸作為特征，是一種新型的基于主軸的多攝像機匹配方法，具有很好的應用前景。


圖1是單個人的主軸檢測示例圖。
圖2是一群人的主軸檢測示例圖。
圖3是遮擋情況下的人的主軸檢測示例圖。
圖4是單攝像機下人的跟蹤框圖。
圖5是多攝像機下人的主軸投影關系圖。
圖6(a)是NLPR數(shù)據(jù)庫兩個攝像機下多人跟蹤實驗結(jié)果圖。
圖6(b)是NLPR數(shù)據(jù)庫三個攝像機下多人跟蹤實驗結(jié)果圖。
圖6(c)是PETS2001數(shù)據(jù)庫兩個攝像機下對單個人在遮擋情況下的跟蹤實驗結(jié)果圖。
圖6(d)是PETS2001數(shù)據(jù)庫兩個攝像機下對一群人在遮擋情況下的跟蹤實驗結(jié)果圖。
圖7是多攝像機下基于主軸匹配的行人跟蹤方法的概述圖。
具體實施例方式
本發(fā)明的主要特點在于1)提取人的主軸作為匹配的特征。由于人的主軸是人體區(qū)域的對稱軸，根據(jù)對稱性，對稱分布在主軸兩邊的點會互相抵消它們的誤差，從而使得主軸更加魯棒。并且人的主軸受運動檢測和分割的結(jié)果影響較?。?)提出了三種不同情況下人的主軸的檢測方法即單個人的主軸檢測、一群人的主軸檢測和遮擋情況下的人的主軸的檢測；3)基于不同視角下主軸的幾何關系約束，定義了主軸匹配似然函數(shù)來衡量不同視角下主軸對的相似度；4)根據(jù)匹配結(jié)果融合多視角信息，對跟蹤結(jié)果進行優(yōu)化更新。
方案的整體框架見附圖7。首先對單攝像機下的圖像序列進行運動檢測，提取人的主軸特征，進行單攝像機下的跟蹤；然后根據(jù)單映關系約束對不同視角下的主軸對進行匹配；最后根據(jù)匹配結(jié)果融合多視角信息更新跟蹤結(jié)果。
下面詳細給出該發(fā)明技術方案中所涉及的各個細節(jié)問題的說明。
(1)運動目標分割運動目標分割是運動跟蹤的第一步，算法采用的是單高斯模型的背景剪除方法來檢測運動區(qū)域。為了減少光照變化和陰影的影響，采用歸一化的顏色rgs模型，其中r＝R/(R+G+B)，g＝G/(R+G+B)，s＝R+G+B。先對一段背景圖像序列進行濾波，得到單高斯的背景模型。每個點的高斯參數(shù)為(ur，ug，us，σr2，σg2，σs2)，其中ui和σi(i＝r，g，s)分別是該點背景模型的均值和方差。然后將當前圖像與背景圖像進行差分處理，在對差分圖像進行閾值處理可以得到二值化圖像Mxy，在二值圖像中設定前景像素值為1，背景像素值為0。其過程為Mxy=0otherwise1|Ii(x,y)-ui(x,y)|>αiσi(x,y),i∈{r,g,s}---(1)]]>其中Ii(x，y)，(i＝r，g，s)為像素(x，y)的當前觀測值。αi是閾值參數(shù)，可在實驗中由經(jīng)驗確定。得到二值圖像后，在對其進行形態(tài)學算子中腐蝕與膨脹操作來進一步濾除噪聲。最后通過二值化的連通分量分析用于提取單連通的前景區(qū)域，作為分割后的運動區(qū)域。
(2)人的主軸的檢測為了簡單起見，假設人是直立行走的，而且人的主軸是存在的?；诖思僭O我們討論三種不同情況下的人的主軸的檢測方法，即單個人的主軸檢測；一群人的主軸檢測；遮擋情況下主軸的檢測。這三種情況可以根據(jù)跟蹤中對應關系來判斷。
單個人的主軸檢測。對于單個人，采用最小中值平方方法(Least MedianSequence)來檢測其主軸。假設第i個前景像素Xi到待定直線l的垂直距離是D(Xi，l)，根據(jù)最小中值平方方法，則所有前景像素到主軸的垂直距離的平方中值最小。
L=argminimediani{D(Xi,l)2}---(2)]]>附圖1給出了單個人的主軸檢測示例。
一群人的主軸檢測。一群人的主軸檢測包括個體分割和主軸檢測兩大部分。
為了將個體分割，引入垂直投影直方圖，一群人中的個體對應于垂直投影直方圖的峰值區(qū)域。只有滿足一定條件的峰值區(qū)域才對應于單個個體，我們把這些峰值區(qū)域稱為明顯峰值區(qū)域。明顯峰值區(qū)域必須滿足兩個條件a)峰值區(qū)域的最大值必須大于某一特定的閾值，峰值閾值PTb)峰值區(qū)域的最小值必須小于某一特定的閾值，波谷閾值CT假設在一峰值區(qū)域中，P1，P2，....，Pn是其局部極值。Cl，Cr分別是該區(qū)域的左右波谷值，則以上兩個條件用數(shù)學表達式可以表示為max(P1，P2，......，Pn)＞PT(3)Cl＜CT，Cr＜CT(4)波谷閾值CT選取為整個直方圖的均值，波峰閾值PT被選取為在圖像坐標中人的高度的百分之八十。在第二步主軸檢測中可以采用前面提到的單個人主軸檢測的方法。
圖2給出了多個人主軸檢測的例子。(b)是檢測到的前景區(qū)域，(c)為其垂直投影直方圖，(d)是分割后的結(jié)果。在垂直投影直方圖(c)中，有三個明顯的峰值區(qū)域，由此可以將這個區(qū)域分割為三個部分分別對應于三個個體。最后，他們的主軸在圖(e)中給出。
在遮擋情況下的人的主軸的檢測。先將人分割出來，找出其前景區(qū)域的像素，在對分割出來的前景像素利用最小中值平方誤差的方法來檢測人的主軸。我們采用基于顏色模板方法來實現(xiàn)遮擋情況下的分割。該模型包括一個顏色模型和一個附加的概率掩模。當出現(xiàn)遮擋時，運動物體的分割可以表示為分類問題，即判斷哪些前景像素屬于哪個模型。這個問題可以用貝葉斯法則來解決。如果滿足以下方程k=argmaxiPi(x)---(5)]]>則前景像素X屬于第k個運動物體(模型)。
遮擋情況下的主軸檢測如圖3所示。
(3)單攝像機下的跟蹤采用卡爾曼濾波器來實現(xiàn)跟蹤選取狀態(tài)向量X包含人在圖像中的位置(x，y)以及運動速度(vx，vy)，觀測向量Z為人的位置(x，y)。人的運動位置(x，y)被估計為人在圖像中腳點(”land-point”)的觀測值，即人的主軸與矩形框的下邊緣的交點。則Zt＝[xt，yt]TXt＝[xt，vx，t，yt，vy，t]T(6)人行走的速度可以近似地認為是恒定的，狀態(tài)轉(zhuǎn)移矩陣以及觀測矩陣為Φ=1Δt000100001Δt0001,H=10000010---(7)]]>由前一幀物體的位置預測當前幀物體的位置，然后和當前幀的觀測值(人的主軸與矩形框下邊緣的交點)進行比較。如果觀測值和預測值之間的距離很小，則表明觀測值可信度高，觀測值可以代表當前幀物體的位置；如果兩者的距離超過一定的閾值(比如人的下半部被遮擋這種情況)，則觀測值不可信了，我們定義了主軸與另一條線的交點來更新觀測值，這條線就是預測點到主軸的垂直線。整個單攝像機下的跟蹤框架可參見附圖4。
(4)尋找所有的最佳主軸匹配對首先需要計算不同圖像平面之間的單映矩陣。單映矩陣描述了不同圖像之間關于同一平面上的點的一一對應關系。通過給定的對應點可以聯(lián)立方程求解矩陣的參數(shù)。本方法的對應點獲取采用手工方式即事先在場景中設置標志點或者利用場景中的一些特殊的對應點。
然后定義主軸匹配似然函數(shù)。
主軸匹配似然函數(shù)用來衡量不同視角下人的主軸的匹配程度。在給出具體的定義之前，不同視角下主軸的幾何關系可參見附圖5。如圖所示，假設有兩個攝像機i和j。假設攝像機觀測到人s的主軸是Lsi，gsi是Lsi在地平面上的投影。對于攝像機j觀測到人k有相應的Lkj和gkj。攝像機i圖像平面到攝像機j圖像平面的單映矩陣為Hij。通過單映矩陣我們將Lsi投影到攝像機j的圖像平面坐標系中可以得到Lsij。Lsij和Lkj將會相交于一個點Qskij。根據(jù)單映矩陣的性質(zhì)，如果攝像機i觀測到的人s和攝像機j觀測到的人k對應于三維空間中的同一個人，則Qskij對應于該人的“l(fā)and-point”，即人的主軸和地平面的交點。因此，“l(fā)and-point”的觀測值和交點Qskij之間的距離可以用來衡量主軸之間的匹配程度。距離越小說明主軸之間越匹配。
根據(jù)不同視角下主軸的幾何關系，定義人s和k主軸之間的匹配似然函數(shù)為L(Lsi,Lkj)=p(Xsi|Qksji)p(Xkj|Qskij)---(8)]]>其中Xsi是攝像機i觀測到人s的“l(fā)and-point”，Xkj是攝像機j觀測到人k的“l(fā)and-point”Qskπ是主軸s從i視角轉(zhuǎn)換到j視角與主軸k的交點。
為了不失一般性，假設上面兩個概率密度函數(shù)服布，則p(Xsi|Qksji)=2π(|Σsi|)-1/2exp{-12(Xsi-Qksji)(Σsi)-1(Xsi-Qksji)T}]]>p(Xkj|Qskij)=2π(|Σkj|)-1/2exp{-12(Xkj-Qskij)(Σkj)-1(Xkj-Qskij)T}---(9)]]>最后根據(jù)匹配算法找到所有的最佳匹配對多攝像機的匹配實際上可以建模成為最大似然函數(shù)的問題，即相互對應的主軸對的主軸匹配似然函數(shù)在眾多主軸對的主軸匹配似然函數(shù)中是最大的。為了簡化問題，我們定義了主軸匹配距離，把最大似然函數(shù)問題轉(zhuǎn)化為最小匹配距離問題。argmaxs,kL(Lsi,Lkj)⇔argmins,kDskij]]>其中Dskij為主軸匹配距離，定義主軸匹配距離如下式Dskij=(Xsi-Qksji)(Σi)-1(Xsi-Qksji)T+(Xkj-Qskij)(Σj)-1(Xkj-Qskij)T---(10)]]>主軸距離Dskij越小，則主軸相互之間越匹配。
主軸匹配算法是為了尋找全局最佳匹配對，使得它們的Dskij之和最小。兩個攝像機之間的主軸匹配算法描述如下假設在攝像機i下，檢測到M個主軸L1i，L2i，.....，LMi；在攝像機j下，檢測到N個主軸L1j，L2j，.....，LNj。
步驟一將兩個視角下檢測到的主軸兩兩組合，組成所有可能匹配的主軸對。不失一般性，假定M≤N，則M個主軸依次按順序地從N個主軸中選出M個主軸與之匹配，共形成PNM種組合。每一種組合具有如下的形式θk={(L1i,Lk1j),(L2i,Lk2j).......,(LMi,LkMj)},k=1......PNM;---(11)]]>步驟二對于每一種組合中的每一個主軸對{m，n}，計算其匹配距離Dmnij，并且保證Dmnij<DT,]]>其中DT是由經(jīng)驗得出來的閾值，用來判斷主軸對{m，n}是否匹配。如果不滿足上述約束，則把主軸對{m，n}從θk中刪除掉。
步驟三選取匹配對數(shù)l最多的組合Θk，所有的Θk組成集合ΘΘ={Θk=(Lk1i,Lk1j),(Lk2i,Lk2j),...,(Lkli,Lklj)}]]>其中k∈PNM---(12)]]>步驟四在集合Θ中，尋找全局最佳匹配組合λ，使得其中所有的匹配距離Dskij之和達到最小值，即滿足下式λ=argmink(Σw=11(D(kw,kw′)(i,.j)))---(13)]]>步驟五最終得到的Θλ則為全局最佳匹配組合，其中的每一對則為匹配的主軸對。
上述算法很容易擴展到多于兩個攝像機的情況。首先攝像機兩兩組合，對于有公共地平面區(qū)域的一對攝像機，建立匹配關系可以采用上面介紹的算法；如果兩兩攝像機之間匹配產(chǎn)生矛盾時，則匹配關系只考慮具有最小匹配距離的主軸對。
(5)融合多視角信息更新跟蹤結(jié)果當找到所有的匹配主軸對后，這些匹配信息就可以用來更新單攝像機下的跟蹤結(jié)果。針對兩個攝像機的情況，只有當跟蹤的人處于兩個視角公共地平面區(qū)域時，更新這一步驟才有效。
假設通過上面提到的匹配算法找到對應于同一個人兩個視角下，分別是視角i和視角j的主軸對，將視角j下的主軸通過兩個圖像平面之間的單映關系轉(zhuǎn)換到視角i的圖像平面中，則原來視角i下的主軸與轉(zhuǎn)換過來的直線的交點就是最終此人在圖像平面i中的位置，用來更新原來單視角i下的跟蹤結(jié)果。對于視角j同理可知。
如附圖5，如果兩個視角下的主軸Lsi和Lkj對應于同一人，則將Lsi從視角i轉(zhuǎn)換到視角j得到直線Lsij，則此直線與Lkj交于點Qskij，這個交點就對應著該人在視角j下的“l(fā)and-point”，即人的主軸與地平面的交點。
對于多于兩個攝像機的情況，一個人可能有兩個或兩個以上這樣的交點，則選取這些交點的平均值作為人的最終位置“l(fā)and-point”。
對于人的下半部被遮擋的情況，基于預測的位置和檢測的主軸，本算法仍然能夠魯棒的匹配，準確的估計出人在圖像中的位置(“l(fā)and-point”)。
為了實施本發(fā)明的具體思想，我們在兩個數(shù)據(jù)庫上做了大量的實驗，實現(xiàn)了多攝像機下基于主軸匹配的行人跟蹤。實驗結(jié)果進一步驗證了該方法的有效性和魯棒性。
實驗結(jié)果如附圖6所示，被跟蹤的人用矩形框來表示，矩形框下面的數(shù)字表示人的序號，矩形框的中線表示檢測到的主軸，主軸和矩形框的下邊緣線的交點表示估計到的人在圖像中的位置。
在(a)中的數(shù)字1、2、3、4表示是NLPR數(shù)據(jù)庫兩個攝像機下多人跟蹤實驗結(jié)果。
(b)中的數(shù)字1、2、3、4表示是NLPR數(shù)據(jù)庫三個攝像機下多人跟蹤實驗結(jié)果。
圖6(c)中的數(shù)字1、2表示是PETS2001數(shù)據(jù)庫兩個攝像機下對單個人在遮擋情況下的跟蹤實驗結(jié)果。
圖6(d)中的數(shù)字1、2、3、4表示是PETS2001數(shù)據(jù)庫兩個攝像機下對一群人在遮擋情況下的跟蹤實驗結(jié)果。
權利要求
1.一種在多攝像機下基于主軸匹配的行人跟蹤方法，包括步驟運動目標分割；提取人的主軸特征；單攝像機下的跟蹤；根據(jù)主軸匹配似然函數(shù)尋找所有的最佳匹配對；融合多視角信息更新跟蹤結(jié)果；多攝像機是指使用兩個或兩個以上的單攝像機，該方法的前提條件是假設不同攝像機的可視區(qū)域中存在一個公共的平面，一般而言，這個公共的平面是指地平面。
2.按權利要求1所述的方法，其特征在于，運動目標分割，運動目標分割是運動跟蹤的第一步，算法采用的是單高斯模型的背景剪除方法來檢測運動區(qū)域，采用歸一化的顏色rgs模型，其中r＝R/(R+G+B)，g＝G/(R+G+B)，s＝R+G+B，先對一段背景圖像序列進行濾波，得到單高斯的背景模型，然后將當前圖像與背景圖像進行差分處理，在對差分圖像進行閾值處理可以得到二值化圖像Mxy，得到二值圖像后，在對其進行形態(tài)學算子中腐蝕與膨脹操作來進一步濾除噪聲，最后通過二值化的連通分量分析用于提取單連通的前景區(qū)域，作為分割后的運動區(qū)域。
3.按權利要求1所述的方法，其特征在于，所述的提取人的主軸特征包括如下三種情況單個人的主軸檢測；一群人的主軸檢測；在遮擋情況下的人的主軸檢測。
4.按權利要求1所述的方法，其特征在于，單攝像機下的跟蹤采用卡爾曼濾波器來實現(xiàn)跟蹤由前一幀物體的位置預測當前幀物體的位置，然后和當前幀的觀測值進行比較，如果觀測值和預測值之間的距離很小，則表明觀測值可信度高，觀測值可以代表當前幀物體的位置；如果兩者的距離超過一定的閾值，則觀測值不可信了，定義主軸與另一條線的交點來更新觀測值，這條線就是預測點到主軸的垂直線。
5.按權利要求1所述的方法，其特征在于，所述的尋找所有的最佳匹配對包括步驟計算不同圖像平面之間的單映矩陣；單映矩陣描述了不同圖像之間關于同一平面上的點的一一對應關系，通過給定的對應點可以聯(lián)立方程求解矩陣的參數(shù)，本方法的對應點獲取采用手工方式即事先在場景中設置標志點或者利用場景中的一些特殊的對應點；計算所有主軸對的匹配似然函數(shù)值；根據(jù)不同視角下主軸的幾何關系，定義主軸s和k之間的匹配似然函為L(Lsi,Lkj)=p(Xsi|Qksji)p(Xkj|Qskij)]]>其中Xsi是攝像機i觀測到人s的“l(fā)and-point”，Xkj是攝像機j觀測到人k的“l(fā)and-point”Qskπ是主軸s從i視角轉(zhuǎn)換到j視角與主軸k的交點；根據(jù)匹配算法找到所有的最佳匹配對多攝像機的匹配實際上可以建模成為最大似然函數(shù)的問題，即相互對應的主軸對的主軸匹配似然函數(shù)在眾多主軸對的主軸匹配似然函數(shù)中是最大的，為了簡化問題可以把最大似然函數(shù)問題轉(zhuǎn)化成最小匹配距離問題；尋找所有的最佳匹配對算法如下在攝像機i下，檢測到M個主軸L1i，L2i，.....，LMi；在攝像機j下，檢測到N個主軸L1j，L2j，.....，LNj，步驟一將兩個視角下檢測到的主軸兩兩組合，組成所有可能匹配的主軸對，不失一般性，假定M≤N，則M個主軸依次按順序地從N個主軸中選出M個主軸與之匹配，共形成PNM種組合，每一種組合具有如下的形式θk={(L1i,Lk1j),(L2i,Lk2j).......,(LMi,LkMj)},k=1······PNM;]]>步驟二對于每一種組合中的每一個主軸對{m，n}，計算其匹配距離Dmnij，并且保證Dmnij<DT,]]>其中DT是由經(jīng)驗得出來的閾值，用來判斷主軸對{m，n}是否匹配，如果不滿足上述約束，則把主軸對{m，n}從θk中刪除掉；步驟三選取匹配對數(shù)l最多的組合Θk，所有的Θk組成集合ΘΘ={Θk=(Lk1i,Lk1′j),(Lk2i,Lk2′j),...,(Lk1i,Lk1′j)}]]>其中k∈PNM]]>步驟四在集合Θ中，尋找全局最佳匹配組合λ，使得其中所有的匹配距離Dskij之和達到最小值，即滿足下式λ=argmink(Σw=1l(D(kw,kw′)(i,j)))]]>步驟五最終得到的Θλ則為全局最佳匹配組合，其中的每一對則為匹配的主軸對。
6.按權利要求1所述的方法，其特征在于，所述的融合多視角信息更新跟蹤結(jié)果包括步驟當找到所有的匹配主軸對后，這些匹配信息就可以用來更新單攝像機下的跟蹤結(jié)果，針對兩個攝像機的情況，只有當跟蹤的人處于兩個視角公共地平面區(qū)域時，更新這一步驟才有效，假設通過上面提到的匹配算法找到對應于同一個人兩個視角下，分別是視角i和視角j的主軸對，將視角j下的主軸通過兩個圖像平面之間的單映關系轉(zhuǎn)換到視角i的圖像平面中，則原來視角i下的主軸與轉(zhuǎn)換過來的直線的交點就是最終此人在圖像平面i中的位置，用來更新原來單視角i下的跟蹤結(jié)果，對于視角j同理可知，對于多于兩個攝像機的情況，一個人可能有兩個或兩個以上這樣的交點，則選取這些交點的平均值作為人的最終位置。
7.按權利要求3所述的方法，其特征在于，單個人的主軸的檢測，單個人的主軸檢測，對于單個人，采用最小中值平方方法來檢測其主軸，假設第i個前景像素Xi到待定直線l的垂直距離是D(Xi，l)，根據(jù)最小中值平方方法，則所有前景像素到主軸的垂直距離的平方中值最小，L=argminlmediani{D(Xi,l)2}.]]>
8.按權利要求3所述的方法，其特征在于，一群人的主軸檢測包括個體分割和主軸檢測兩大部分，為了將個體分割，引入垂直投影直方圖，一群人中的個體對應于垂直投影直方圖的峰值區(qū)域，只有滿足一定條件的峰值區(qū)域才對應于單個個體，把這些峰值區(qū)域稱為明顯峰值區(qū)域，明顯峰值區(qū)域必須滿足兩個條件a)峰值區(qū)域的最大值必須大于某一特定的閾值，峰值閾值PTb)峰值區(qū)域的最小值必須小于某一特定的閾值，波谷閾值CT假設在一峰值區(qū)域中，P1，P2，....，Pn是其局部極值，Cl，Cr分別是該區(qū)域的左右波谷值，則以上兩個條件用數(shù)學表達式可以表示為max(P1，P2，......，Pn)＞PTCl＜CT，Cr＜CT波谷閾值CT選取為整個直方圖的均值，波峰閾值PT被選取為在圖像坐標中人的高度的百分之八十，在第二步主軸檢測中可以采用前面提到的單個人主軸檢測的方法。
9.按權利要求3所述的方法，其特征在于，在遮擋情況下的人的主軸的檢測，先將人分割出來，找出其前景區(qū)域的像素，在對分割出來的前景像素利用最小中值平方誤差的方法來檢測人的主軸，采用基于顏色模板方法來實現(xiàn)遮擋情況下的分割，該模型包括一個顏色模型和一個附加的概率掩模，當出現(xiàn)遮擋時，運動物體的分割可以表示為分類問題，即判斷哪些前景像素屬于哪個模型，這個問題可以用貝葉斯法則來解決，如果滿足以下方程k=argmaxiPi(x)]]>則前景像素X屬于第k個運動物體。
全文摘要
本發(fā)明涉及計算機視覺技術領域，一種在多攝像機下基于主軸匹配的行人跟蹤方法，包括步驟對序列圖像進行運動檢測；提取人的主軸特征；進行單攝像機下的跟蹤；依據(jù)主軸匹配函數(shù)建立主軸匹配對；融合多視角信息對跟蹤結(jié)果進行優(yōu)化更新。本發(fā)明提出了一種新型的多攝像機匹配技術，克服了傳統(tǒng)多攝像機匹配方法需要定標、采用特征易受噪聲與視角因素的影響、依賴于準確分割算法的缺點，具有很好的應用前景。
文檔編號A61B5/117GK1941850SQ20051010813
公開日2007年4月4日 申請日期2005年9月29日 優(yōu)先權日2005年9月29日
發(fā)明者胡衛(wèi)明, 周雪, 胡敏 申請人:中國科學院自動化研究所