專利名稱：用于交通路口場景并基于網(wǎng)絡(luò)物理系統(tǒng)的視頻圖像前景檢測方法
技術(shù)領(lǐng)域：
本發(fā)明涉及智能交通、視頻圖像處理和機器視覺領(lǐng)域，具體地說是用于交通路口場景并基于網(wǎng)絡(luò)物理系統(tǒng)的視頻圖像前景檢測方法。
背景技術(shù)：
前景檢測(Foreground Detection)方法一直是視頻監(jiān)控和圖像處理領(lǐng)域的一項重要研究內(nèi)容，它是后繼處理的基礎(chǔ)，直接影響著更高級別的應(yīng)用，如興趣目標(biāo)跟蹤、行為分析、異常檢測等。前景檢測算法有幀差分法、背景差分法兩大類。幀差分法速度快，能準確地獲取運動目標(biāo)的邊緣，但獲取的前景目標(biāo)上有較多空洞，對于運動速度快的目標(biāo)，檢測時會產(chǎn)生拖尾現(xiàn)象，而且無法檢測靜止目標(biāo)。背景差分(Background Subtraction)是先對背景圖像進行建模,然后計算輸入中貞和背景圖像之差，以檢測前景物體。這種方法相對簡單，能夠比較完整地提取運動目標(biāo)，也能適應(yīng)環(huán)境變化，有一定的抗干擾能力，但是這種方法對背景質(zhì)量的要求較高。典型背景建模方法有平均背景法、混合高斯算法等。在背景差分法中，為了獲得準確的前景，需要對背景進行實時更新，背景更新方法關(guān)系到檢測到的前景是否準確，對前景檢測的實時性也有很大影響，其重點和難點在于如何選擇合適的、自適應(yīng)的學(xué)習(xí)率(也稱為學(xué)習(xí)率)。混合高斯模型(Gaussian Mixture Model,簡稱GMM)于1999年被首次提出，是目前研究和應(yīng)用最廣泛的背景提取方法之一。該算法使用若干個加權(quán)高斯分布描述每個像素點，它可以處理實際應(yīng)用場景中像素點呈現(xiàn)的多模態(tài)自然屬性，因此在有重復(fù)運動背景時表現(xiàn)出較好的背景提取性能。但是GMM本身具有參數(shù)難以設(shè)置的問題，原算法中作者使用經(jīng)驗值確定背景的學(xué)習(xí)率，這種方法對于其他差異較大的場景顯然不太合適，于是許多研究者提出了 GMM的改進和增強算法，尤其是在自適應(yīng)學(xué)習(xí)率方面的研究工作，包括利用局部圖像的亮度變化、多層次信息反饋等方法在背景更新過程中調(diào)整學(xué)習(xí)率。例如最近幾年Ka Ki Ng等人在跟蹤應(yīng)用中提取背景時使用像素級的自適應(yīng)學(xué)習(xí)率(參見 Ng, K.，Delp, E. :Background subtraction using a pixel-wise adaptivelearning rate for object tracking initialization. In:Society of Photo-OpticalInstrumentation Engineers (SPIE) Conference Series. Volume 7882. (2011) 15)，與傳統(tǒng)方法中整個視頻序列以及每個像素位置處使用相同的經(jīng)驗值設(shè)定學(xué)習(xí)率的方法不同，他們根據(jù)兩個參數(shù)來確定某個像素點的學(xué)習(xí)率，一個參數(shù)由當(dāng)前幀與背景幀該像素亮度差決定，另一個由該像素點連續(xù)被判為背景點的時間長度決定。除此之外還有利用圖像局部亮度變化和不同級別反饋信息等來自適應(yīng)調(diào)整學(xué)習(xí)率的方法，如Yinghong Li等人在2010年提出的適時調(diào)整學(xué)習(xí)率的方法(參見Ying-hong，L.，Hong-fang, T.，Yanj Ζ. :An improvedgaussian mixture background model with real-time adjustment of learning rate.In:Information Networking and Automation(ICINA)，2010International Conferenceon. Volume I.，IEEE (2010) 512-518)，Shah M Deng 等人在 2010 年提出的 GMM 在背景提取應(yīng)用中的自適應(yīng)學(xué)習(xí)方法(參見 Shah, M. , Deng, J. , Woodford, B. : Localized adaptivelearning of mixture of Gaussians models for background extraction. In:Image andVision Computing New Zealand(IVCNZ)，2010 25th International Conference of,IEEE (2010) 1-8)等。雖然上述背景提取改進算法利用自適應(yīng)學(xué)習(xí)率確實提高了 GMM的穩(wěn)定性和準確 率，但這些方法使用在城市交通路口場景時依然存在一些限制。典型的城市交通路口大多安裝了輔助交通的紅綠信號燈，根據(jù)交通規(guī)則，當(dāng)路口紅燈亮?xí)r，對應(yīng)車道駛向路口的車輛作為場景中最主要的前景目標(biāo)，將減速并停止在停車線內(nèi)；當(dāng)綠燈亮?xí)r，車輛從靜止開始運動或直接勻速通過路口。上述情況帶來的問題是，當(dāng)背景提取算法依然按照某個經(jīng)驗值在整個圖像區(qū)域和視頻序列上更新背景，慢速并逐漸停止的車輛可能會很快融入背景，若用在跟蹤中，之前建立的跟蹤目標(biāo)也會隨之消失，前景檢測和跟蹤過程意外中斷。即使前邊提到的改進算法有能力在線調(diào)整學(xué)習(xí)率，但若僅僅利用圖像亮度信息，此時將無法正確指導(dǎo)該場景下的背景學(xué)習(xí)過程。近幾年，隨著無線傳感器網(wǎng)絡(luò)在智能交通(Intelligent TransportationSystems,簡稱ITS)領(lǐng)域中的廣泛應(yīng)用，物理網(wǎng)絡(luò)系統(tǒng)(Cyber-Physical Systems,簡稱CPS)成為一種備受矚目的提高計算可靠性和預(yù)測性的技術(shù)。常見的物理網(wǎng)絡(luò)系統(tǒng)是一種基于基礎(chǔ)設(shè)施組網(wǎng)的系統(tǒng)，它利用分布式信息感知、信息處理和融合以及無線組網(wǎng)等技術(shù)將計算過程和物理過程相互結(jié)合，已經(jīng)而且越來越多的應(yīng)用到醫(yī)療保健、智能交通、社交網(wǎng)絡(luò)等多種多樣的領(lǐng)域中。

發(fā)明內(nèi)容
本發(fā)明的目的在于為了克服現(xiàn)有背景提取技術(shù)單純依賴圖像信息自適應(yīng)學(xué)習(xí)的局限性，提供一種用于交通路口場景并基于網(wǎng)絡(luò)物理系統(tǒng)的視頻圖像前景檢測方法，該方法能夠準確的感受到物理環(huán)境的變化，而且避免了增加額外的圖像處理步驟。本發(fā)明技術(shù)解決方案用于交通路口場景并基于網(wǎng)絡(luò)物理系統(tǒng)的視頻圖像前景檢測方法，包含以下步驟(I)建立網(wǎng)絡(luò)物理系統(tǒng)，所述網(wǎng)絡(luò)物理系統(tǒng)包括路邊靜止攝像機、信號控制設(shè)備、無線通信模塊和計算單元；計算單元與攝像機相連，實時獲取攝像機采集到的交通視頻數(shù)據(jù)；信號控制設(shè)備和無線通信模塊用于捕獲和傳遞交通信號燈信息，計算單元接收并融合這些信息從而感知環(huán)境態(tài)勢，并據(jù)此執(zhí)行自適應(yīng)調(diào)整學(xué)習(xí)率的背景提取方法；(2)計算單元使用攝像機采集的交通視頻的最初N幀圖像進行背景幀初始化，采用的方法是平均幀法；(3)計算單元利用Hough變換對交通視頻圖像進行車道線檢測和興趣區(qū)域劃分，作為步驟(4)背景學(xué)習(xí)過程中按興趣區(qū)域自適應(yīng)調(diào)整像素學(xué)習(xí)率的分區(qū)依據(jù)；(4)計算單元在圖像處理過程中接收交通燈切換信號并進行分析，并根據(jù)自適應(yīng)規(guī)則指導(dǎo)不同區(qū)域像素點的背景學(xué)習(xí)過程，調(diào)整背景模型的參數(shù)并更新背景幀；所述自適應(yīng)規(guī)則包括當(dāng)交通燈切換為紅燈信號時，受紅燈影響停車的興趣區(qū)域調(diào)小背景學(xué)習(xí)率，當(dāng)交通燈切換為綠燈信號時，受綠燈影響通行的興趣區(qū)域調(diào)大背景學(xué)習(xí)率；(5)計算單元使用當(dāng)前幀與背景幀差分的方法，逐像素進行前景點和背景點判斷，CN 102930719 A
書
明
說
3/5頁
得到初步的前景區(qū)域；(6)采用后處理方法，包括陰影去除、形態(tài)學(xué)濾波、區(qū)域生長對(5)中得到的前景區(qū)域進行去噪，通過消除面積過小的無效前景區(qū)域、填補前景目標(biāo)被割裂的細小縫隙，得到最終比較完整可靠的前景區(qū)域。所述步驟(4)中計算單元執(zhí)行的操作包含以下步驟·步驟①讀取當(dāng)前視頻幀，針對圖像中的每一個像素點Xt，判斷像素Xt所處的圖像分割區(qū)域，根據(jù)交通燈切換信號和自適應(yīng)規(guī)則確定對應(yīng)的學(xué)習(xí)率調(diào)整方案；步驟②根據(jù)系統(tǒng)設(shè)定的閾值T1進行前景和背景點分類，背景幀像素μ t與當(dāng)前視頻幀像素值Xt進行做差，若滿足Ixt-UtI < T1則判為背景點，否則該點為前景點；步驟③使用調(diào)整后的學(xué)習(xí)率更新背景模型參數(shù)，包括背景均值和方差。所述步驟(6)中計算單元執(zhí)行的后處理操作包含以下步驟步驟①使用基于HSV (色調(diào)Hue，飽和度Saturation，亮度Value)顏色空間模型的方法進行陰影點去除；步驟②先進行開運算操作消除前景區(qū)域中的細小對象、平滑較大物體的邊界；再進行閉運算操作連接前景較大目標(biāo)區(qū)域之間的縫隙，使得前景更加完整不被割裂；步驟③根據(jù)預(yù)先設(shè)定的閾值Min刪除面積過小的前景區(qū)域。本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點在于(I)與傳統(tǒng)的視頻圖像前景檢測方法中僅利用局部圖像信息不同的是，本發(fā)明利用外部傳感器、信號控制設(shè)備以及無線通信單元，能夠更敏捷、準確的感受到物理環(huán)境的變化。(2)本發(fā)明利用外部物理環(huán)境信息而不是圖像本身信息指導(dǎo)背景學(xué)習(xí)過程，然后通過對圖像區(qū)域進行場景劃分得到區(qū)域集合Φ = { Y1, Y2,…，ΥΜ}，逐區(qū)域自適應(yīng)調(diào)整學(xué)習(xí)率α，既只需判斷信號量就能對物理環(huán)境變化做出準確的判斷，又有效避免了增加額外的圖像處理步驟。


圖I是本發(fā)明系統(tǒng)整體流程圖，圖中所示的所有步驟均在計算單元操作執(zhí)行，虛線框標(biāo)注的部分為本系統(tǒng)根據(jù)外部信息調(diào)整學(xué)習(xí)率的操作；圖2是本發(fā)明的應(yīng)用場景圖，圖中為一帶有信號燈、路邊靜止攝像機以及通信模塊和圖像處理單元的兩車道城市十字路口，其顯示的是南北方向車道面臨紅燈時的場景狀態(tài)，車道上不同顏色的矩形代表車輛；圖3是本發(fā)明方法的流程圖，以混合高斯建模方法為例進行了改進，圖中說明了改進后的GMM算法如何利用感知到的外部信號自適應(yīng)調(diào)整學(xué)習(xí)率；圖4是本發(fā)明的實驗結(jié)果對比圖，實際路口場景下的前景檢測結(jié)果表明，改進后的GMM算法檢測出的前景更加可靠、完整。
具體實施例方式下面結(jié)合附圖對本發(fā)明作詳細說明。如圖I所示，本發(fā)明具體操作過程如下
5
( I)計算單元從靜止攝像機獲取視頻序列，背景模型參數(shù)初始化，包括混合高斯背景模型參數(shù)高斯模型個數(shù)K=5，學(xué)習(xí)率α =0.005，標(biāo)準差σ =30，均值μ通過平均幀的方法得到。(2)車道線檢測，由于紅綠燈信號將對不同車道產(chǎn)生不同的影響，于是計算單元通過車道線檢測算法對視頻圖像區(qū)域進行劃分，得到區(qū)域集合Φ = !、，γ2，···, yM}(、表示第i個興趣區(qū)域，M為得到興趣區(qū)域的總個數(shù)，I < i SM)，作為后續(xù)按圖像空間范圍調(diào)整像素學(xué)習(xí)率的依據(jù)。然后對于視頻圖像的每一幀。(3)接收外部信號，該模塊主要通過外圍物理設(shè)備捕獲信號燈變化，然后將紅綠燈信號切換作為外部觸發(fā)消息傳遞給路邊計算單元。(4)消息處理，計算單元根據(jù)接收到的外部信息對物理場景的變化進行判斷并做相應(yīng)處理，并隨之調(diào)整學(xué)習(xí)率α，計算單元針對紅燈或綠燈信號調(diào)節(jié)不同區(qū)域的學(xué)習(xí)率，對于受紅燈影響的區(qū)域，由于前景車輛運動速度減慢并逐漸停止，其像素背景學(xué)習(xí)率應(yīng)調(diào)??；而綠燈切換區(qū)域的像素學(xué)習(xí)率則應(yīng)該調(diào)大。該過程具體操作步驟①讀取當(dāng)前視頻幀，針對圖像中的每一個像素點Xt，判斷其所處的圖像分割區(qū)域，根據(jù)交通燈切換信號和自適應(yīng)規(guī)則確定對應(yīng)的學(xué)習(xí)率調(diào)整方案；步驟②根據(jù)系統(tǒng)設(shè)定的閾值T1進行前景和背景點分類，背景幀像素μ t與當(dāng)前視頻幀像素值進行做差，若滿足Ixt-UtI < T1則判為背景點，否則該點為前景點；步驟③使用調(diào)整后的學(xué)習(xí)率更新背景模型參數(shù)，包括背景均值和方差。(5)根據(jù)維護的背景幀Ib對每個像素Xt進行前景點/背景點分類，初步得到提取出的前景點區(qū)域，然后使用調(diào)整后的學(xué)習(xí)率更新模型參數(shù)和背景幀。(6)前景區(qū)域后處理，最終得到更可靠完整的前景提取結(jié)果If。形態(tài)學(xué)操作和優(yōu)化包括步驟①利用圖像的HSV顏色特征消除前景區(qū)域的陰影點；步驟②先進行開運算操作消除前景區(qū)域中的細小對象、平滑較大物體的邊界；再進行閉運算操作連接前景較大目標(biāo)區(qū)域之間的縫隙，使得前景更加完整不被割裂；步驟③刪除小于閾值Min的小區(qū)域，不作為感興趣的前景目標(biāo)；參考圖2為本發(fā)明算的一個應(yīng)用場景實例圖，圖中為一帶有信號燈、路邊靜止攝像機以及通信模塊和圖像處理單元的兩車道城市十字路口，車道上的白色和黑色矩形表示車輛，車道中間的虛線表示車道線。圖中右上區(qū)域是路邊攝像機的安裝位置，虛線之間的區(qū)域表示攝像機視覺范圍。該場景顯示的是南北方向車道面臨紅燈時的場景狀態(tài)；參考圖3為改進后GMM算法的具體流程圖。在實驗中選擇混合高斯模型的個數(shù)K=5，初始化參數(shù)學(xué)習(xí)率α為O. 005，標(biāo)準差為30。當(dāng)計算單元接收外部信號并做了相應(yīng)學(xué)習(xí)率調(diào)整以后，在當(dāng)前時刻t，第i (i=l，2，…，5)個高斯分布的權(quán)值Qi,t根據(jù)公式I進行更新。Coi t = (l-α ) c^ H+aMi’t(I)其中a為學(xué)習(xí)率，Mi,,= I表示像素點與第i個高斯分布匹配，對其余不匹配的分布則有Miit = O。對于當(dāng)前幀的每個像素位置，需要對匹配上的高斯分布的參數(shù)μ和σ進行公式(2) (3)更新。其中，μ為所在高斯模型的均值，σ為標(biāo)準差，另一個學(xué)習(xí)率P =a n (Xt| μ t, σ k) , η表示高斯分布，變量的下標(biāo)t表示第t時刻。
Ut= (Ι-p ) μ w+p Xt(2)crr2 = (I- ρ)σ^_ + p(Xt — μ()τ {Xt — μ()(3)參考圖4為原始GMM算法與本發(fā)明改進GMM算法的實驗結(jié)果對比圖。其中第一行四幅圖(a)-(d)為測試視頻中隨機選擇地四幀，分別是第2115、2249、2347、2385幀，可以看到圖中右側(cè)車道遇到紅燈時的一個場景，即五輛駛近路口的汽車逐漸減速并停止在停車線內(nèi)。第二行的四幅圖像(e)-(h)為使用原始混合高斯算法的前景檢測結(jié)果，可以看到隨著時間的推移，先前停下的車輛隨著背景的更新逐漸融入背景而消失在前景檢測結(jié)果中，這正是本發(fā)明在該場景下應(yīng)該努力避免的問題。第三行的四幅圖像α)-(ι)是使用改進算法的前景檢測結(jié)果，圖中連續(xù)的直線為車道線檢測和處理后的顯示，通過場景區(qū)域分割和利用外部感知到的交通燈信息適應(yīng)性的調(diào)整學(xué)習(xí)率，避免慢速或停止的車輛融入背景并最終得到了比較可靠的前景檢測結(jié)果。本發(fā)明未詳細闡述部分屬于本領(lǐng)域公知技術(shù)。
權(quán)利要求
1.用于交通路口場景并基于網(wǎng)絡(luò)物理系統(tǒng)的視頻圖像前景檢測方法，其特征在于包含以下步驟 (1)建立網(wǎng)絡(luò)物理系統(tǒng)，所述網(wǎng)絡(luò)物理系統(tǒng)包括路邊靜止攝像機、信號控制設(shè)備、無線通信模塊和計算單元；計算單元與攝像機相連，實時獲取攝像機采集到的交通視頻數(shù)據(jù)；信號控制設(shè)備和無線通信模塊用于捕獲和傳遞交通信號燈信息，計算單元接收并融合這些信息從而感知環(huán)境態(tài)勢，并據(jù)此執(zhí)行自適應(yīng)調(diào)整學(xué)習(xí)率的背景提取方法； (2)計算單元使用攝像機采集的交通視頻的最初N幀圖像進行背景幀初始化，采用的方法是平均巾貞法； (3)計算單元利用Hough變換對交通視頻圖像進行車道線檢測和興趣區(qū)域劃分，作為步驟(4)背景學(xué)習(xí)過程中按興趣區(qū)域自適應(yīng)調(diào)整像素學(xué)習(xí)率的分區(qū)依據(jù)； (4)計算單元在圖像處理過程中接收交通燈切換信號并進行分析，并根據(jù)自適應(yīng)規(guī)則指導(dǎo)不同區(qū)域像素點的背景學(xué)習(xí)過程，調(diào)整背景模型的參數(shù)并更新背景幀；所述自適應(yīng)規(guī)則包括當(dāng)交通燈切換為紅燈信號時，受紅燈影響停車的興趣區(qū)域調(diào)小背景學(xué)習(xí)率，當(dāng)交通燈切換為綠燈信號時，受綠燈影響通行的興趣區(qū)域調(diào)大背景學(xué)習(xí)率； (5)計算單元使用當(dāng)前幀與背景幀差分的方法，逐像素進行前景點和背景點判斷，得到初步的前景區(qū)域； (6)采用后處理方法，包括陰影去除、形態(tài)學(xué)濾波、區(qū)域生長對(5)中得到的前景區(qū)域進行去噪，通過消除面積過小的無效前景區(qū)域、填補前景目標(biāo)被割裂的細小縫隙，得到最終比較完整可靠的前景區(qū)域。
2.根據(jù)權(quán)利要求I所述的用于交通路口場景并基于網(wǎng)絡(luò)物理系統(tǒng)的視頻圖像前景檢測算法，其特征在于所述步驟(4)中計算單元執(zhí)行的操作包含以下步驟 步驟①讀取當(dāng)前視頻幀，針對圖像中的每一個像素點Xt，判斷像素點Xt所處的圖像分割區(qū)域，根據(jù)交通燈切換信號和自適應(yīng)規(guī)則確定對應(yīng)的學(xué)習(xí)率調(diào)整方案； 步驟②根據(jù)系統(tǒng)設(shè)定的閾值T1進行前景和背景點分類，背景幀像素μ t與當(dāng)前視頻幀像素值進行做差，若滿足IXt-UtI < T1則判為背景點，否則該點為前景點； 步驟③使用調(diào)整后的學(xué)習(xí)率更新背景模型參數(shù)，包括背景均值和方差。
3.根據(jù)權(quán)利要求I所述的用于交通路口場景并基于網(wǎng)絡(luò)物理系統(tǒng)的視頻圖像前景檢測算法，其特征在于所述步驟(6)中計算單元執(zhí)行的后處理操作包含以下步驟 步驟①使用基于HSV (色調(diào)Hue，飽和度Saturation，亮度Value)顏色空間模型的方法進行陰影點去除； 步驟②先進行開運算操作消除前景區(qū)域中的細小對象、平滑較大物體的邊界；再進行閉運算操作連接前景較大目標(biāo)區(qū)域之間的縫隙，使得前景更加完整不被割裂； 步驟③根據(jù)預(yù)先設(shè)定的閾值Min刪除面積過小的前景區(qū)域。
全文摘要
一種用于交通路口場景并基于網(wǎng)絡(luò)物理系統(tǒng)的視頻圖像前景檢測方法，主要應(yīng)用場景是城市交通中的十字路口，主要包括根據(jù)系統(tǒng)中靜止攝像機獲取的視頻圖像，在提取出的背景幀中進行車道線檢測并劃分興趣區(qū)域，利用系統(tǒng)感知到的外部信息調(diào)整不同圖像區(qū)域像素點的背景學(xué)習(xí)過程和學(xué)習(xí)率，實時自適應(yīng)地調(diào)整算法中的參數(shù)，最終得到更準確的前景點檢測結(jié)果。本發(fā)明解決了城市交通路口場景中前景速度復(fù)雜多變的情況下的背景學(xué)習(xí)率根據(jù)物理環(huán)境自適應(yīng)調(diào)整的問題。
文檔編號G08G1/01GK102930719SQ201210380680
公開日2013年2月13日 申請日期2012年10月9日 優(yōu)先權(quán)日2012年10月9日
發(fā)明者丁嶸, 劉旭, 崔偉龍, 賀百靈 申請人:北京航空航天大學(xué)