專利名稱：一種適用于低對(duì)比度視頻的人體上半身檢測(cè)及分割的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻處理技術(shù)領(lǐng)域，尤其涉及人體上半身區(qū)域的檢測(cè)和提取方法，具體地說是一種適用于低對(duì)比度視頻的人體上半身檢測(cè)及分割的方法。
背景技術(shù)：
自動(dòng)檢測(cè)和視頻中的人體區(qū)域分割是兩個(gè)不同的監(jiān)控應(yīng)用的關(guān)鍵步驟。人體檢測(cè)方法通常從視頻中找到前景對(duì)象并基于形狀、顏色以及其它特征把它們標(biāo)識(shí)為人或非人區(qū)域。背景剔除法是一種常見的提取前景區(qū)域的預(yù)處理技術(shù)。另一類為基于機(jī)器學(xué)習(xí)的方法，并應(yīng)用了許多適用于機(jī)器學(xué)習(xí)的新特征?；谔荻鹊奶卣髯罹哂写硇?。這些方法不需要進(jìn)行背景剔除的預(yù)處理但是卻以高昂的計(jì)算成本為代價(jià)，因此限制了其在實(shí)時(shí)系統(tǒng)的應(yīng)用。視頻分割方法同樣基于背景剔除技術(shù)，同時(shí)集成了概率框架，如貝葉斯理論和馬爾可夫鏈蒙特卡羅模型。由于許多方法需要提供一個(gè)相對(duì)較好的背景剔除算法結(jié)果，一旦由于光照變化使得環(huán)境光照發(fā)生改變，這些方法便會(huì)失效。雖然一些改進(jìn)的背景剔除算法能夠解決上述問題，但如果前景對(duì)象在鏡頭前保持相當(dāng)長(zhǎng)的一段時(shí)間靜止不動(dòng)，那么前景會(huì)逐漸變化為背景。另外因?yàn)樵S多監(jiān)控系統(tǒng)所配備的攝像機(jī)其CCD芯片的質(zhì)量并不高，從而使得所獲得的視頻對(duì)比度較低，現(xiàn)有的方法處理這些視頻將更加困難。

發(fā)明內(nèi)容
(1)前景提取首先指定視頻的第一幀作為背景幀，把其格式從RGB顏色空間轉(zhuǎn)換到Lab顏色空間，然后對(duì)于輸入的每一幀，都用同樣的方式進(jìn)行顏色轉(zhuǎn)換；轉(zhuǎn)換后的輸出幀與背景幀使用背景剔除的方法來提取前景對(duì)象區(qū)域；然后對(duì)提取后的每個(gè)區(qū)域，使用膨脹腐蝕的形態(tài)學(xué)操作對(duì)噪點(diǎn)及空洞進(jìn)行濾波，最后使用廣度優(yōu)先連通區(qū)域搜索算法對(duì)前背景區(qū)域進(jìn)行標(biāo)記，生成前景區(qū)域掩碼；(2)形狀特征提取首先通過輪廓檢測(cè)算法提取出前景區(qū)域的輪廓線并對(duì)其采樣；然后以區(qū)域質(zhì)心為原點(diǎn)建立一個(gè)極坐標(biāo)系，對(duì)于每個(gè)采樣輪廓點(diǎn)，把其映射到一個(gè)二維平面，最終所有采樣點(diǎn)便形成了一二維直方圖；最后對(duì)得到的直方圖歸一化并展開，便可以
獲得一高維向量；(3)基于支持向量機(jī)的人體上半身模型訓(xùn)練以上一步驟中獲得的向量作為樣本，使用以半徑基函數(shù)為核函數(shù)的非線性支持向量機(jī)算法對(duì)所有訓(xùn)練樣本進(jìn)行K次交叉驗(yàn)證分析，最終生成一非線性決策超平面作為人體上半身區(qū)域與非人體上半身區(qū)域的分類器；(4)基于支持向量機(jī)的人體上半身模型分類同樣以步聚O)中所獲得的向量作為步驟(3)中訓(xùn)練所得分類器的輸入，輸出經(jīng)分類器決策映射后的類標(biāo)簽；(5)能量函數(shù)最小化優(yōu)化過程對(duì)于一個(gè)開始被認(rèn)為是人體區(qū)域的前景區(qū)域，當(dāng)其處理過程中被分類器檢測(cè)到其類標(biāo)簽為非人體區(qū)域時(shí)，用一個(gè)能量函數(shù)來對(duì)輪廓曲線進(jìn)行建模，以前一幀中正確的輪廓曲線為初始值，用歐拉-拉格朗日方法求解。本發(fā)明的方法主要由兩大過程構(gòu)成。首先，從當(dāng)前幀中通過背景剔除技術(shù)及形態(tài)學(xué)方法提取出表示前景對(duì)象的連通區(qū)域，然后對(duì)于每個(gè)前景區(qū)域，提取出其對(duì)應(yīng)的基于極坐標(biāo)二維直方圖的形狀特征，作為一個(gè)預(yù)先訓(xùn)練好的基于支持向量機(jī)的分類器的輸入，輸出一個(gè)對(duì)應(yīng)于人體上半身類及非人體上半身類的類標(biāo)簽。第二步過程，當(dāng)已經(jīng)被識(shí)別為人體的區(qū)域被誤判為非人體區(qū)域時(shí)，本發(fā)明用一個(gè)能量函數(shù)來表征相應(yīng)區(qū)域，同時(shí)通過一個(gè)能量函數(shù)最小化過程糾正錯(cuò)誤的輪廓線。最后在獲得正確的前景人體輪廓的基礎(chǔ)上更新背景幀。本發(fā)明能夠?qū)崟r(shí)處理較低對(duì)比度及分辨率的視頻，檢測(cè)正確率及分割結(jié)果都能滿足應(yīng)用的需求。


圖1為本發(fā)明的流程圖。
具體實(shí)施例方式下面根據(jù)本發(fā)明的流程1對(duì)各個(gè)部分進(jìn)行詳細(xì)說明1.前景提取首先指定視頻的第一幀作為背景幀，把其格式從RGB顏色空間轉(zhuǎn)換到Lab顏色空間。然后對(duì)于輸入的每一幀，都用同樣的方式進(jìn)行顏色轉(zhuǎn)換，轉(zhuǎn)換后的輸出幀與背景幀使用背景剔除的方法來提取前景對(duì)象區(qū)域(即用兩幀按像素求差取絕對(duì)值的方式，其值高于一定的閾值，便認(rèn)為是前景像素，否則為背景像素)。對(duì)提取后的每個(gè)區(qū)域，使用膨脹腐蝕的形態(tài)學(xué)操作對(duì)噪點(diǎn)及空洞進(jìn)行濾波，最后使用廣度優(yōu)先連通區(qū)域搜索算法對(duì)前背景區(qū)域進(jìn)行標(biāo)記，生成前景區(qū)域掩碼。2.形狀特征提取本發(fā)明所提出的特征較之于局部的有相梯度直方圖特征更加能夠描述人體上半身的形狀，因此具有更大的區(qū)分度，同時(shí)具有更小的計(jì)算復(fù)雜度。一個(gè)人的輪廓，特別是上半身的輪廓，可以看做是一個(gè)星凸集。若集S中存在一點(diǎn) Xtl,使得由&到S中任何一點(diǎn)的直線段都屬于s，則稱s為星形域或星形凸集。本發(fā)明的形狀特征便是以此為依據(jù)而設(shè)計(jì)的。對(duì)于一個(gè)特定的前景區(qū)域，本發(fā)明通過廣度優(yōu)先搜索找到前景區(qū)域的質(zhì)心，然后通過邊界跟隨算法找到同一區(qū)域的邊界輪廓線。接著在輪廓線上等角度地對(duì)輪廓線進(jìn)行逆時(shí)針采樣，即以前景區(qū)域的質(zhì)心做為一極坐標(biāo)系原點(diǎn)，則輪廓線上的每個(gè)采樣點(diǎn)在此坐標(biāo)系下便可表示成一組級(jí)坐標(biāo)(θ i，ri)，i = 1，2，. . .，N，其中ri為區(qū)域質(zhì)心到每個(gè)輪廓點(diǎn)的歐式距離，N為采樣點(diǎn)的總數(shù)。隨后這些級(jí)坐標(biāo)值被投影到一個(gè)二維平面上，平面的χ軸表示θ值，y軸表示r值，每個(gè)維度分別被量化，均分成m和η份。當(dāng)一個(gè)極坐標(biāo)值(θ ”
滿足下列條件時(shí)θ k 彡 θ j ^ θ k+1，rx ^ Ti ^ r1+1, k = 0，· · ·，m_l，1 = 0，· · ·，n_l則增加相應(yīng)的單元(k，1)的值。當(dāng)按上述方法遍歷完所有的點(diǎn)時(shí)，將會(huì)形成一具有特定模式的二維直方圖。此特定的模式表征著對(duì)應(yīng)輪廓線的特定形狀。最后，按行展開此直方圖各單元格的值并對(duì)其進(jìn)行歸一化后將得到一個(gè)mXn維的向量f。顯然經(jīng)本發(fā)明獲得的形狀特征與物體的位置和大小無關(guān)。 3.基于支持向量機(jī)的人體上半身模型訓(xùn)練與檢測(cè) 在訓(xùn)練階段，大量人體上半身圖像和非人體上半身圖像被搜集，通過手工標(biāo)記前景區(qū)域從而提取前景的形狀特征。這些形狀特征所對(duì)應(yīng)高維向量的集合組成了本發(fā)明用于訓(xùn)練的樣本集。本發(fā)明用支持向量機(jī)作為訓(xùn)練的算法，其核函數(shù)采用了高斯半徑基函數(shù)
權(quán)利要求
1.一種適用于低對(duì)比度視頻的人體上半身檢測(cè)及分割的方法，其特征在于該方法包括以下步驟(1)前景提取首先指定視頻的第一幀作為背景幀，把其格式從RGB顏色空間轉(zhuǎn)換到 Lab顏色空間，然后對(duì)于輸入的每一幀，都用同樣的方式進(jìn)行顏色轉(zhuǎn)換；轉(zhuǎn)換后的輸出幀與背景幀使用背景剔除的方法來提取前景對(duì)象區(qū)域；然后對(duì)提取后的每個(gè)區(qū)域，使用膨脹腐蝕的形態(tài)學(xué)操作對(duì)噪點(diǎn)及空洞進(jìn)行濾波，最后使用廣度優(yōu)先連通區(qū)域搜索算法對(duì)前背景區(qū)域進(jìn)行標(biāo)記，生成前景區(qū)域掩碼；(2)形狀特征提取首先通過輪廓檢測(cè)算法提取出前景區(qū)域的輪廓線并對(duì)其采樣 ’然后以區(qū)域質(zhì)心為原點(diǎn)建立一個(gè)極坐標(biāo)系，對(duì)于每個(gè)采樣輪廓點(diǎn)，把其映射到一個(gè)二維平面， 最終所有采樣點(diǎn)便形成了一二維直方圖；最后對(duì)得到的直方圖歸一化并展開，獲得一高維向量；(3)基于支持向量機(jī)的人體上半身模型訓(xùn)練以上一步驟中獲得的向量作為樣本，使用以半徑基函數(shù)為核函數(shù)的非線性支持向量機(jī)算法對(duì)所有訓(xùn)練樣本進(jìn)行K次交叉驗(yàn)證分析，最終生成一非線性決策超平面作為人體上半身區(qū)域與非人體上半身區(qū)域的分類器；(4)基于支持向量機(jī)的人體上半身模型分類同樣以步驟O)中所獲得的向量作為步驟(3)中訓(xùn)練所得分類器的輸入，輸出經(jīng)分類器決策映射后的類標(biāo)簽；(5)能量函數(shù)最小化優(yōu)化對(duì)于一個(gè)開始被認(rèn)為是人體區(qū)域的前景區(qū)域，當(dāng)其處理過程中被分類器檢測(cè)到其類標(biāo)簽為非人體區(qū)域時(shí)，用一個(gè)能量函數(shù)來對(duì)輪廓曲線進(jìn)行建模， 以前一幀中正確的輪廓曲線為初始值，用歐拉-拉格朗日方法求解，并用最后的結(jié)果更新背景區(qū)域。
2.如權(quán)利要求1所述的適用于低對(duì)比度視頻的人體上半身檢測(cè)及分割的方法，其特征在于步驟(1)中所述的使用背景剔除的方法來提取前景對(duì)象區(qū)域的過程如下用兩幀按像素求差取絕對(duì)值的方式，其值高于一定的閾值，便認(rèn)為是前景像素，否則為背景像素。
3.如權(quán)利要求1所述的適用于低對(duì)比度視頻的人體上半身檢測(cè)及分割的方法，其特征在于步驟O)的具體過程如下對(duì)于一個(gè)特定的前景區(qū)域，通過廣度優(yōu)先搜索找到前景區(qū)域的質(zhì)心，然后通過邊界跟隨算法找到同一區(qū)域的邊界輪廓線；接著在輪廓線上等角度地對(duì)輪廓線進(jìn)行逆時(shí)針采樣， 前景區(qū)域的質(zhì)心標(biāo)記為一極坐標(biāo)系原點(diǎn)，輪廓線上的每個(gè)采樣點(diǎn)在此坐標(biāo)系下便可表示成一組級(jí)坐標(biāo)(θ yr》，i = 1,2,...，N，其中ri為區(qū)域質(zhì)心到每個(gè)輪廓點(diǎn)的歐式距離，N為采樣點(diǎn)的總數(shù)；隨后這些級(jí)坐標(biāo)值被投影到一個(gè)二維平面上，平面的χ軸表示θ值，y軸表示 r值，每個(gè)維度分別被量化，均分成m和η份；當(dāng)一個(gè)極坐標(biāo)值(Qi^i)滿足下列條件時(shí)θ k < θ j ^ θ k+1，rx ^ Ti ^ r1+1, k = 0, . . . , m_l, 1=0,..., n_l則增加相應(yīng)的單元(k，1)的值；當(dāng)按上述方法遍歷完所有的點(diǎn)時(shí)，將會(huì)形成一具有特定模式的二維直方圖，此特定的模式表征著對(duì)應(yīng)輪廓線的特定形狀；最后，按行展開此直方圖各單元格的值并對(duì)其進(jìn)行歸一化后將得到一個(gè)mXn維的向量f。
4.如權(quán)利要求1所述的適用于低對(duì)比度視頻的人體上半身檢測(cè)及分割的方法，其特征在于步驟(3)的具體過程如下在訓(xùn)練階段，大量人體上半身圖像和非人體上半身圖像被搜集，通過手工標(biāo)記前景區(qū)域從而提取前景的形狀特征，這些形狀特征所對(duì)應(yīng)高維向量的集合組成了本發(fā)明用于訓(xùn)練的樣本集，采用支持向量機(jī)作為訓(xùn)練的算法，其核函數(shù)采用高斯半徑基函數(shù)
5.如權(quán)利要求1所述的適用于低對(duì)比度視頻的人體上半身檢測(cè)及分割的方法，其特征在于步驟(5)的具體過程如下用一個(gè)能量泛函數(shù)E。(s)來表征一段閉合的完整輪廓
全文摘要
本發(fā)明涉及一種適用于低對(duì)比度視頻的人體上半身檢測(cè)及分割的方法，主要由兩個(gè)過程構(gòu)成。首先，從當(dāng)前幀中通過背景剔除技術(shù)及形態(tài)學(xué)方法提取出表示前景對(duì)象的連通區(qū)域，然后對(duì)于每個(gè)前景區(qū)域，提取出其對(duì)應(yīng)的基于極坐標(biāo)二維直方圖的形狀特征，作為一個(gè)預(yù)先訓(xùn)練好的基于支持向量機(jī)的分類器的輸入，輸出一個(gè)對(duì)應(yīng)于人體上半身類及非人體上半身類的類標(biāo)簽。第二步過程，當(dāng)已經(jīng)被識(shí)別為人體的區(qū)域被誤判為非人體區(qū)域時(shí)，用一個(gè)能量函數(shù)來表征相應(yīng)區(qū)域，同時(shí)通過一個(gè)能量函數(shù)最小化過程糾正錯(cuò)誤的輪廓線。最后在獲得正確的前景人體輪廓的基礎(chǔ)上更新背景幀。本發(fā)明能夠?qū)崟r(shí)處理較低對(duì)比度及分辨率的視頻，檢測(cè)正確率及分割結(jié)果都能滿足應(yīng)用的需求。
文檔編號(hào)G06K9/00GK102521582SQ20111044659
公開日2012年6月27日 申請(qǐng)日期2011年12月28日 優(yōu)先權(quán)日2011年12月28日
發(fā)明者童若鋒, 謝迪 申請(qǐng)人:浙江大學(xué)