一種基于多視角貝葉斯網(wǎng)絡(luò)的多視角行人檢測方法
【專利摘要】本發(fā)明提出了一種基于視角貝葉斯網(wǎng)絡(luò)模型的行人檢測方法及裝置，可以對多個攝像頭監(jiān)控的人群比較密集的場景進行行人檢測和定位。不僅適用于前景提取效果較好的場景，也適用于前景提取效果不佳但可以通過行人檢測器進行檢測的場景。本發(fā)明的方法包括單視處理步驟、基平面映射步驟、多視角融合步驟和逆映射以及最終檢測結(jié)果輸出步驟。
【專利說明】—種基于多視角貝葉斯網(wǎng)絡(luò)的多視角行人檢測方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計算機視覺【技術(shù)領(lǐng)域】，涉及監(jiān)控視頻行人檢測分析方法，具體涉及一種基于多視角貝葉斯網(wǎng)絡(luò)模型(Mult1-view Bayesian Network,MvBN)的行人檢測方法，以及實現(xiàn)該方法的裝置。
【背景技術(shù)】
[0002]隨著監(jiān)控攝像頭廣泛的應(yīng)用于人們生活的方方面面，監(jiān)控視頻數(shù)據(jù)呈現(xiàn)爆炸式的增長。行人檢測是其他監(jiān)控視頻分析最重要的步驟之一，該步驟為其他監(jiān)控視頻分析應(yīng)用，如目標跟蹤，、事件監(jiān)測等提供基礎(chǔ)。檢測的準確度直接影響到其他監(jiān)控視頻分析應(yīng)用。多視角行人檢測相對于普通的單視角行人檢測來說，能夠更有效的處理因為遮擋而造成的誤檢漏檢等現(xiàn)象。并且多視角行人檢測不僅能夠檢測出行人在圖像中的位置，而且可以定位出行人在監(jiān)控場景里的真實位置。
[0003]基于多視角的行人檢測方法核心在于如何有效的融合多個視角的單視檢測信息。現(xiàn)有的多視角行人檢測方法，多是針對將單視檢測信息投影到地面上，然后直接進行簡單的融合。這種簡單的融合策略在行人比較稀疏和攝像頭擺放位置較高時有比較好的效果，但在行人比較密集的時候，由于缺少進一步細致的分析，檢測結(jié)果較差。
[0004]CN101144716A號中國發(fā)明專利申請“一種多視角運動目標檢測，定位與對應(yīng)方法”提出了一種利用多視角信息的運動目標檢測和定位的方法。該方法首先提取各個視角的前景檢測信息，在空間中快速的進行目標的三維重建，然后在垂直方向地面投影，通過檢測峰的位置得到目標。該方法僅是將多個視角的前景信息通過投影在地面上進行簡單的融合，并沒有考慮這種融合方法在行人比較密集時所產(chǎn)生的錯誤結(jié)果。并且，該方法只利用了前景信息，而沒有利用單視角的紋理特征。
[0005]CN1941850A號中國發(fā)明專利申請“多攝像機下基于主軸匹配的行人跟蹤方法”提出了一種基于主軸匹配的行人跟蹤方法。包括步驟:對序列圖像進行運動檢測；提取人的主軸特征；進行單攝像機下的跟蹤；依據(jù)主軸匹配函數(shù)建立主軸匹配對；融合多視角信息對跟蹤結(jié)果進行優(yōu)化更新。該方法需要在單視前景的聯(lián)通區(qū)域求取主軸，對前景要求比較高，魯棒性不足。并且，該方法也只是利用前景信息，而沒有利用紋理特征。因此在前景特征提取不準確的場景里(比如光照變化強烈等)，該方法的處理效果會大打折扣。
[0006]外文文獻“Mult1-camera Pedestrian Detection with a Mult1-view BayesianNetwork Model” (發(fā)表于 BMVC 2012, Proceedings of the British Machine VisionConference, Peixi Peng, Yonghong Tian, Yaoweiffang, Tiejun Huang, 2012)提出了一種基于MvBN的多視行人檢測方法，該文獻中只能利用單視前景檢測，不能在單視檢測中既可采用單視前景檢測的檢測結(jié)果，也可采用行人檢測器的檢測結(jié)果。

【發(fā)明內(nèi)容】

[0007]針對現(xiàn)有技術(shù)的局限性，本發(fā)明提出了一種基于視角貝葉斯網(wǎng)絡(luò)模型(MvBN)的行人檢測方法及裝置，可以對多個攝像頭監(jiān)控的人群比較密集的場景進行檢測和定位行人。不僅適用于前景提取效果較好的場景，也適用于前景提取效果不佳但可以通過行人檢測器進行檢測的場景。
[0008]為實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案:
[0009]一種基于多視角貝葉斯網(wǎng)絡(luò)模型(MvBN)的多視角行人檢測方法，其步驟如下:
[0010]單視處理步驟:對輸入的多攝像機監(jiān)控視頻，分別利用前景分析或行人檢測得到單個攝像頭中的檢測結(jié)果。
[0011]基平面映射步驟:利用攝像機參數(shù)，建立基平面與各攝像機圖像平面間的映射關(guān)系，將單個攝像頭的檢測結(jié)果映射到基平面。
[0012]多視角融合步驟:利用多視貝葉斯網(wǎng)絡(luò)，在基平面上融合多個視角的檢測信息；
[0013]逆映射以及最終檢測結(jié)果輸出步驟:將基平面上的檢測結(jié)果映射到各個圖像空間中去，并且輸出最終結(jié)果。
[0014]根據(jù)本發(fā)明進一步的發(fā)明目的，單視處理步驟中，分別對每個視角單獨的進行檢測。本方法中，單視檢測輸出既可以是前景圖的檢測結(jié)果，也可以是由行人檢測器得到的檢測結(jié)果。
[0015]根據(jù)本發(fā)明進一步的發(fā)明目的，基平面映射步驟中，包括如下子步驟:
[0016]a)根據(jù)攝像機參數(shù)建立基平面世界坐標系和各個視角圖像坐標系的映射關(guān)系。
[0017]b)將基平面離散成一系列位置點。
[0018]c)計算每個位置點對應(yīng)圖像的矩形框。
[0019]根據(jù)本發(fā)明進一步的發(fā)明目的，多視角融合步驟包括如下子步驟
[0020]a)將各個視角的單視檢測信息融合在基平面上，篩選出可能存在行人的位置。
[0021]b)建立多視角貝葉斯網(wǎng)絡(luò)(MvBN)對篩選出來的位置進行分析，計算每個位置存在行人的概率。
[0022]根據(jù)本發(fā)明進一步的發(fā)明目的，逆映射步驟中，根據(jù)MvBN的計算結(jié)果，將概率大于閾值的位置點作為最終輸出點，輸出這些位置的世界坐標。同時，將這些位置點映射到各個視角圖像坐標上，輸出在圖像里的位置。
[0023]根據(jù)本發(fā)明的另一個發(fā)明目的，本發(fā)明提出一種基于上述方法的MvBN多視行人檢測裝置，有如下模塊:
[0024]單視處理模塊，用于產(chǎn)生所有單個視角里的檢測信息。
[0025]基平面映射模塊，用于建立基平面和圖像平面的映射關(guān)系，并且離散化基平面
[0026]多視角融合模塊，用于融合多個視角的單視檢測信息，計算每個位置上行人存在的概率。
[0027]逆映射模塊，用于將基平面的檢測結(jié)果投影到各個視角中，然后輸出結(jié)果。
【專利附圖】

【附圖說明】
[0028]圖1是基于MvBN的多視行人檢測裝置的組成結(jié)構(gòu)圖；
[0029]圖2是單視檢測模塊框架圖；
[0030]圖3是基平面映射模塊示意圖；
[0031]圖4是多視角融合模塊示意圖；[0032]圖5是逆映射模塊框架圖；
[0033]圖6是基于實施例1的實驗結(jié)果示意圖；
[0034]圖7是基于實施例2的實驗結(jié)果示意圖。
【具體實施方式】
[0035]根據(jù)應(yīng)用場景的不同，本說明書中提出了兩種具體實施例，并配合附圖，對本發(fā)明做詳細的說明。但是本領(lǐng)域的技術(shù)人員根據(jù)本說明書中所記載的內(nèi)容，完全能夠在不付出創(chuàng)造性的勞動的情況下，進行變換、更改、替換、改進，因此本發(fā)明的內(nèi)容不受實施例的限制，任何相應(yīng)的變換、更改、替換、改進均在本發(fā)明的保護范圍之內(nèi)。
[0036]實施例1:
[0037]本實施例基于室外監(jiān)控場景。在室外環(huán)境中，光照變化，行人陰影以及被風(fēng)吹動的樹等都會給單視前景檢測帶來很多誤差。因此，在本實施例中，利用單視行人檢測器的檢測結(jié)果作為單視輸出。
[0038]圖1是本實施例的基于MvBN的多視行人檢測裝置的組成結(jié)構(gòu)圖。基于MvBN的多視行人檢測裝置包括:
[0039]單視檢測模塊，用于產(chǎn)生所有單個視角里的檢測信息；
[0040]基平面映射模塊，用于建立基平面和圖像平面的映射關(guān)系，并且離散化基平面；
[0041]多視角融合模塊，用于融合多個視角的單視檢測信息，計算每個位置上行人存在的概率；
[0042]另外，在本說明書中，多視角、多視、多攝像頭所指代的含義相同，下文中不再區(qū)分。其中，如圖1所示，從單視檢測模塊輸入的是單視的檢測結(jié)果，從基平面映射模塊輸入的是各個視角和基平面之間的映射關(guān)系，用來建立各個單視角檢測結(jié)果的關(guān)系。
[0043]逆映射模塊，用于將基平面的檢測結(jié)果投影到各個視角中，然后輸出結(jié)果。所述結(jié)果是指基平面上的檢測結(jié)果在各個視角平面上的映射結(jié)果。
[0044]參照圖2，圖2a為本實施例的單視檢測模塊。首先獨立的輸入各個視角獲得的監(jiān)控圖像，分別對各個視角利用行人檢測器(此處檢測器為現(xiàn)有技術(shù)，根據(jù)本發(fā)明的實施方式，采用了兩種檢測器，一種是前景檢測，一種是利用圖像特征檢測)進行單視檢測，輸出每個視角的檢測結(jié)果。根據(jù)本發(fā)明的一個實施例，檢測結(jié)果在監(jiān)控圖像中以一系列矩形框的形式呈現(xiàn)，這些矩形框中所包圍的則為檢測到的對象。
[0045]參照圖3，圖3為本實施例的基平面映射模塊。首先將地面離散成若干個位置點。利用基平面和圖像平面的映射關(guān)系，將每個位置點映射到各個視角中去，每個地面上的位置點在各個視角里有對應(yīng)的矩形框。
[0046]參照圖4，圖4為本實施例的多視角融合模塊。本模塊有如下兩個子模塊:a)參照圖4 (a)，為本模塊的位置篩選子模塊。所述位置篩選子模塊相當于一個預(yù)處理模塊，去除掉不可能存在行人的地方。位置篩選子模塊通過一些規(guī)則去除一些不可能存在行人的位置點。所述規(guī)則的判斷方法為:對每一個地面位置，如果這個位置點在每個視角里對應(yīng)的矩形框與單視檢測輸出的檢測結(jié)果重疊度都太低(重疊度就是指矩形框的重疊度，檢測結(jié)果就是一個矩形框)，則刪除這個位置點。
[0047]b)參照圖4(b，c),為本模塊的多視角貝葉斯網(wǎng)絡(luò)推理和學(xué)習(xí)子模塊，該模塊能夠?qū)崿F(xiàn)如下功能:
[0048]多視角貝葉斯網(wǎng)絡(luò)推理和學(xué)習(xí)子模塊的工作流程對應(yīng)于圖4b和圖4c，其中圖4b對應(yīng)下列步驟1-3，圖4c對應(yīng)下列步驟4-5:
[0049]1.為每個視角建立單視貝葉斯網(wǎng)絡(luò)(SBN)。在單視貝葉斯網(wǎng)絡(luò)中，每一個位置點在這個視角中對應(yīng)的矩形框作為節(jié)點。如果位置A在這個視角里遮擋了位置B，在該單視貝葉斯網(wǎng)絡(luò)中，則位置A是位置B的父節(jié)點。
[0050]2.將多個單視貝葉斯網(wǎng)絡(luò)融合為多視角貝葉斯網(wǎng)絡(luò)，地面上位置點對應(yīng)一個節(jié)點，與每個單視貝葉斯網(wǎng)絡(luò)中對應(yīng)的矩形框聯(lián)系在一起。
[0051]3.引入“主觀節(jié)點猜想狀態(tài)”(SSNS)參數(shù)，計算出地面上每個位置點基于SSNS的檢測概率值。計算方法如下:
【權(quán)利要求】
1.一種基于多視角貝葉斯網(wǎng)絡(luò)的多視角行人檢測方法，其特征在于，所述方法包括如下步驟: 單視處理步驟，所述單視處理步驟包括針對輸入的通過多個攝像頭獲得的監(jiān)控視頻，分別利用前景分析和/或行人檢測得到所述多個攝像頭中的單個攝像頭中的檢測結(jié)果； 基平面映射步驟，所述基平面映射步驟包括利用攝像頭參數(shù)，建立基平面與所述各個攝像頭的圖像平面間的映射關(guān)系，將所述單個攝像頭的檢測結(jié)果映射到所述基平面； 多視角融合步驟，所述多視角融合步驟包括利用多視貝葉斯網(wǎng)絡(luò)，在所述基平面上融合多個視角的檢測信息； 逆映射以及最終檢測結(jié)果輸出步驟，所述逆映射以及最終檢測結(jié)果輸出步驟包括將所述基平面上的檢測結(jié)果映射到所述各個圖像平面空間中去，并且輸出最終結(jié)果。
2.根據(jù)權(quán)利要求1所述的基于多視角貝葉斯網(wǎng)絡(luò)模型的多視角行人檢測方法，其特征在于，在所述單視處理步驟中，分別對每個視角單獨進行檢測。
3.根據(jù)權(quán)利要求1或2所述的基于多視角貝葉斯網(wǎng)絡(luò)模型的多視角行人檢測方法，其特征在于，在所述基平面映射步驟中，還包括如下步驟: a)根據(jù)所述攝像頭參數(shù)建立基平面世界坐標系和各個視角圖像坐標系的映射關(guān)系； b)將所述基平面離散成一系列位置點； c)計算每個所述位置點對應(yīng)圖像的矩形框。
4.根據(jù)權(quán)利要求1-3所述的基于多視角貝葉斯網(wǎng)絡(luò)模型的多視角行人檢測方法，其特征在于，所述多視角融合步驟，還包括如下步驟: a)將所述多視角中的各個視角的單視檢測信息融合在基平面上，篩選出可能存在行人的位置； b)建立多視角貝葉斯網(wǎng)絡(luò)，分析所述已篩選出來的位置，計算每個位置存在行人的概率。
5.根據(jù)權(quán)利要求1-4所述的基于多視角貝葉斯網(wǎng)絡(luò)模型的多視角行人檢測方法，其特征在于，在所述逆映射步驟中，根據(jù)多視角貝葉斯網(wǎng)絡(luò)的計算結(jié)果，將概率大于閾值的位置點作為最終輸出點，輸出這些位置的世界坐標，并且將這些位置映射到所述多個視角中的各個視角圖像坐標上，輸出其在所述各個視角圖像中的對應(yīng)位置。
6.一種基于多視角貝葉斯網(wǎng)絡(luò)的多視角行人檢測裝置，所述裝置包括: 單視處理單元，所述單視處理單元用于針對輸入的通過多個攝像頭獲得的監(jiān)控視頻，分別利用前景分析和/或行人檢測得到所述多個攝像頭中的單個攝像頭中的檢測結(jié)果； 基平面映射單元，所述基平面映射單元用于利用攝像頭參數(shù)，建立基平面與所述各個攝像頭的圖像平面間的映射關(guān)系，將所述單個攝像頭的檢測結(jié)果映射到所述基平面； 多視角融合單元，所述多視角融合單元用于利用多視貝葉斯網(wǎng)絡(luò)，在所述基平面上融合多個視角的檢測信息； 逆映射以及最終檢測結(jié)果輸出單元，所述逆映射以及最終檢測結(jié)果輸出單元用于將所述基平面上的檢測結(jié)果映射到所述各個圖像平面空間中去，并且輸出最終結(jié)果。
【文檔編號】G06K9/00GK103729620SQ201310680608
【公開日】2014年4月16日 申請日期:2013年12月12日 優(yōu)先權(quán)日:2013年12月12日
【發(fā)明者】田永鴻, 彭佩璽, 王耀威, 黃鐵軍 申請人:北京大學(xué)