專利名稱：一種在復(fù)雜場(chǎng)景的視頻中進(jìn)行人體頭肩檢測(cè)的方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)信息挖掘技術(shù)領(lǐng)域，特別涉及一種在復(fù)雜場(chǎng)景的圖片中對(duì)人體的頭 肩檢測(cè)的方法，尤其涉及在真實(shí)世界的監(jiān)控視頻的幀中行人的頭肩檢測(cè)。
背景技術(shù)：
近年來(lái)，在計(jì)算機(jī)視頻分析領(lǐng)域，在視頻中對(duì)人體的檢測(cè)是一個(gè)熱門的研究方向。在 人體檢測(cè)的各種方法中，通過(guò)檢測(cè)身體的各部分來(lái)檢測(cè)人體是一個(gè)重要輔助手段。而對(duì)這 些身體各部分，頭肩區(qū)域是一個(gè)非常顯著的特征。由于視頻中的經(jīng)常會(huì)出現(xiàn)人體被部分遮 擋的情況，導(dǎo)致檢測(cè)困難，而此時(shí)頭肩還有很高的概率被檢測(cè)出來(lái)，所以檢測(cè)頭肩對(duì)檢測(cè) 人體很好的輔助作用。同時(shí)，在視頻事件檢測(cè)領(lǐng)域，人在頭肩附近的許多動(dòng)作往往包含一 些隱含的事件信息，比如揮手或者打電話等。所以，復(fù)雜背景下的頭肩檢測(cè)具有重要的意 義。 .
頭肩檢測(cè)屬于目標(biāo)檢測(cè)，而在目標(biāo)檢測(cè)領(lǐng)域，方法可以分為兩類， 一是做背景提取或 分割，分離出的前景目標(biāo)作為檢測(cè)結(jié)果。二是在圖像中直接搜索目標(biāo)。在視頻中用背景提 取的方法只能應(yīng)用于靜態(tài)攝像機(jī)，對(duì)于場(chǎng)景中靜止不動(dòng)的目標(biāo)，檢測(cè)非常困難，這限制了 它的應(yīng)用范圍。所以現(xiàn)在一般采用在圖像中直接搜索目標(biāo)的方法。這些方法一般使用分類 器根據(jù)目標(biāo)的特征對(duì)目標(biāo)進(jìn)行分類。目標(biāo)的特征是目標(biāo)本身包含的特征信息，比如目標(biāo)圖 像區(qū)域的顏色直方圖，紋理，梯度等。提取目標(biāo)的特征之后，分類器根據(jù)目標(biāo)的特征對(duì)目
標(biāo)的類別進(jìn)行判斷。目前國(guó)際通用的分類器主要是支持向量機(jī)(以下簡(jiǎn)稱SVM)，但是目 前的單級(jí)SVM分類器往往由于只進(jìn)行一次分類，準(zhǔn)確率不高。

發(fā)明內(nèi)容
本發(fā)明的目的是為克服已有技術(shù)的不足之處，提出一種在復(fù)雜場(chǎng)景的視頻中進(jìn)行人體頭肩 檢測(cè)的方法，以梯度方向直方圖作為描述目標(biāo)的特征。采用兩級(jí)的SVM作為分類器，可 以提高準(zhǔn)確率，同時(shí)提高檢測(cè)速度。
本發(fā)明是將一定數(shù)量的頭肩圖片和背景圖片作為正負(fù)樣本集，訓(xùn)練SVM作為第一級(jí) 分類器。用頭肩圖片和身體非頭肩部分的圖片作為正負(fù)樣本，訓(xùn)練SVM作為第二級(jí)分類 器。這樣就構(gòu)成了一個(gè)兩級(jí)的級(jí)聯(lián)分類器。檢測(cè)區(qū)域依次經(jīng)過(guò)這兩級(jí)SVM檢測(cè)，以此檢
4測(cè)結(jié)果作為最終結(jié)果。
本發(fā)明中使用的SVM是目前在國(guó)際比較流行的LibSVM分類器，不對(duì)它進(jìn)行修改。 本發(fā)明提出的在復(fù)雜場(chǎng)景的視頻中進(jìn)行人體頭肩檢測(cè)的方法，主要包括以下步驟
(1) 從待檢測(cè)的一類視頻中選擇一個(gè)視頻。從該視頻的各幀中人工標(biāo)定一定數(shù)量(至 少1000張)的頭肩圖片、 一定數(shù)量(至少1000張)背景圖片和一定數(shù)量(至少1000 張)的身體其他部分的圖片，其中要求這些圖片的邊長(zhǎng)至少1厘米。以頭肩圖片作為正樣 本圖片，以背景圖片作為負(fù)樣本圖片；；
(2) 將得到的正負(fù)樣本圖片進(jìn)行左右鏡像，增加樣本的數(shù)量；
(3) 提取得到的正負(fù)樣本圖片的梯度方向直方圖，并將梯度方向直方圖轉(zhuǎn)化為向量 的形式，作為樣本圖片的梯度向量；
(4) 用從正負(fù)樣本中提取出的梯度向量對(duì)第一級(jí)支持向量機(jī)(SVM)進(jìn)行訓(xùn)練，生 成一個(gè)用于分類的第一級(jí)模型；
(5) 用所述頭肩圖片作為新正樣本，用所述身體其他部分的圖片代替所述背景圖片 作為新負(fù)樣本；
(6) 提取所述新正負(fù)樣本圖片的梯度方向直方圖，并將梯度方向直方圖轉(zhuǎn)化為1乘 N的向量的形式，N為正整數(shù)，作為新樣本的梯度向量；
(7) 用從新的正負(fù)樣本中提取出的梯度向量對(duì)第二級(jí)支持向量機(jī)(SVM)進(jìn)行訓(xùn)練， 生成一個(gè)用于分類的第二級(jí)模型；
(8) 讀入一個(gè)待檢測(cè)視頻，提取該視頻的一幀圖像；
(9) 確定該幀圖像上某一個(gè)待檢測(cè)窗口的位置和大小，采用步驟(3)的方法提取該 窗口的梯度方向直方圖，并得到該窗口的梯度向量；
(10) 將該梯度向量通過(guò)第一級(jí)分類器進(jìn)行分類檢測(cè)，如果分類結(jié)果為負(fù)(即此窗口 不包含頭肩頭像)，則結(jié)束該窗口的檢測(cè)，轉(zhuǎn)步驟(11);如果第一級(jí)分類結(jié)果為正(即 第一級(jí)分類器判定此窗口包含頭肩頭像)，則將該梯度向量通過(guò)第二級(jí)分類器進(jìn)行分類 檢測(cè)；如果第二級(jí)分類結(jié)果為負(fù)，轉(zhuǎn)步驟(11)，如果分類結(jié)果為正，則確認(rèn)該窗口包 含頭肩，將窗口的坐標(biāo)保存下來(lái)，作為該窗口的檢測(cè)結(jié)果；
.(11)改變窗口的位置和大小，采用步驟(3)的方法提取該窗口的梯度方向直方圖， 并得到該窗口的梯度向量，轉(zhuǎn)步驟(10)進(jìn)行該窗口的分類檢測(cè)，最終得到各窗口的檢 測(cè)結(jié)果。
上述方法的步驟(3)具體包括如下步驟
(31)將每一個(gè)樣本圖片作為一個(gè)窗口，將窗口分為MxN的塊，塊之間有30%-50% 的重疊，M、 N均為正整數(shù)；(32) 該每個(gè)塊平分成多個(gè)單元；
(33) 對(duì)該每個(gè)單元內(nèi)的像素計(jì)算梯度方向和大??；
(34) 將每個(gè)單元內(nèi)的像素的梯度按方向統(tǒng)計(jì)成一個(gè)直方圖，并將梯度方向直方圖轉(zhuǎn)化
為向量的形式，作為該單元的梯度向量；
(35) 將各個(gè)單元的梯度向量連接成一個(gè)長(zhǎng)向量，作為該塊的梯度向量；
(36) 將窗口內(nèi)各個(gè)塊的梯度向量連接成一個(gè)長(zhǎng)向量，作為該窗口的梯度向量；
(37) 將該窗口的梯度向量進(jìn)行歸一化，作為該樣本圖片的梯度向量；上述方法的步驟(ll)改變窗口的位置和大小，進(jìn)行該窗口的分類檢測(cè)，具體包括如
下步驟
(111) 移動(dòng)該窗口的坐標(biāo)，并保持30%-80%重疊度，進(jìn)行該窗口的分類檢測(cè)；
(112) 改變窗口的尺寸大小(根據(jù)視頻中頭肩的大小確定取值范圍)，并且依次移動(dòng)窗
口的位置，進(jìn)行該窗口的分類檢測(cè)。
本發(fā)明的特點(diǎn)及效果
本發(fā)明提出的在復(fù)雜場(chǎng)景的視頻中'進(jìn)行人體頭肩檢測(cè)的方法，用于對(duì)真實(shí)世界里的監(jiān)控視頻中的人進(jìn)行頭肩檢測(cè)。選用了梯度方向直方圖作為頭肩的特征表示。梯度方向直方圖最近幾年開(kāi)始用于目標(biāo)檢測(cè)領(lǐng)域，選用它表示頭肩圖像，能夠保存目標(biāo)的邊緣走向特征，實(shí)驗(yàn)已經(jīng)證明，它是一種魯棒的特征，能提高檢測(cè)的性能。同時(shí)，使用不同的樣本訓(xùn)練兩個(gè)支持向量機(jī)，將它們構(gòu)成級(jí)聯(lián)分類器。在檢測(cè)過(guò)程中，第一級(jí)分類器去掉明顯不含頭肩的區(qū)域，通過(guò)第一級(jí)分類器的窗口再由第二級(jí)分類器進(jìn)行檢測(cè)。這樣，由于采用兩級(jí)分類器，可以提高準(zhǔn)確率，同時(shí)提高了檢測(cè)速度。在視頻中將人的頭肩檢測(cè)出來(lái)，可以用于人體跟蹤、事件檢測(cè)，對(duì)于實(shí)現(xiàn)自動(dòng)監(jiān)控具有重要意義。
具體實(shí)施例方式
本發(fā)明提出的一種在復(fù)雜場(chǎng)景的視頻中進(jìn)行人體頭肩檢測(cè)的方法，結(jié)合實(shí)施例詳細(xì)說(shuō)明如下
在視頻中進(jìn)行人體的頭肩檢測(cè)，實(shí)質(zhì)方法仍是在圖片上進(jìn)行檢測(cè)，本實(shí)施例采用直接在圖片上搜索的方法，具體包括以下步驟
(1)從待檢測(cè)的一類視頻中選擇一個(gè)視頻；從該視頻的各幀中人工標(biāo)定一定數(shù)量(至
少1000張)的頭肩圖片、 一定數(shù)量(至少1000張)背景圖片和一定數(shù)量(至少1000
張)的身體其他部分的圖片，其中要求這些圖片的邊長(zhǎng)至少1厘米；以頭肩圖片作為正樣本圖片，以背景圖片作為負(fù)樣本圖片；
6(2) 將得到的正負(fù)樣本圖片進(jìn)行左右鏡像，增加樣本的數(shù)量；
(3) 提取得到的正負(fù)樣本圖片的梯度方向直方圖，并將梯度方向直方圖轉(zhuǎn)化為向量的 形式，作為樣本圖片的梯度向量；具體包括
(31 )將一個(gè)每個(gè)圖片看作一個(gè)窗口，將該窗口劃分為3x3的小塊，小塊之間有50% 的重疊；
(32)該每個(gè)小塊又被平分為四個(gè)小單元；
(33 )對(duì)該每個(gè)單元內(nèi)的像素計(jì)算梯度方向和大小，本實(shí)施例的梯度值采用模板[-1,0,
l]的方法來(lái)計(jì)算，方向?yàn)?，《?arCtan , W+ — , W 大小為
va/we(義力=V
其中，grad(x,y)是該像素點(diǎn)的梯度方向。/(x,y)是該像素點(diǎn)的亮度值。Value(x,y)是該像 素點(diǎn)的梯度的值；
(34) 將單元內(nèi)各像素的梯度值按照梯度方向統(tǒng)計(jì)成顏色直方圖，以向量的形式保存， 將該向量作為該單元的梯度向量；
(35) 將各單元的梯度向量連接起來(lái)，每個(gè)小塊用一個(gè)歸一化的4x9=36維的向量 來(lái)表示，作為該塊的梯度向量；
(36) 將各塊的梯度向量連接起來(lái)，每個(gè)窗口的梯度方向直方圖就可以用一個(gè)9x 36=324維的向量來(lái)表示，作為該窗口的梯度向量；
(4) 用從正負(fù)樣本中提取出的梯度向量對(duì)第一級(jí)支持向量機(jī)(LibSVM)進(jìn)行訓(xùn)練，生 成一個(gè)用于分類的第一級(jí)模型；
(5) 用所述頭肩圖片作為新正樣本，用所述身體其他部分的圖片代替所述背景圖片作 為新負(fù)樣本；
(6) 提取得到的新正負(fù)樣本圖片的梯度方向直方圖，并將梯度方向直方圖轉(zhuǎn)化為1乘 324的向量的形式，作為新樣本的梯度向量；
(7) 用從新的正負(fù)樣本中提取出的梯度向量對(duì)第二級(jí)支持向量機(jī)(LibSVM)進(jìn)行訓(xùn)練， 生成一個(gè)用于分類的第二級(jí)模型；
(8) 調(diào)用openCV庫(kù)讀入一個(gè)待檢測(cè)視頻，解析出該視頻上的一幀；
(9) 確定該幀圖像上某一個(gè)待檢測(cè)窗口的位置和大小，采用步驟(31)到步驟(37)的方法提取該窗口的梯度方向直方圖，并得到該窗口的梯度向量；
(10) 將該梯度向量通過(guò)第一級(jí)LibSVM分類器進(jìn)行分類檢測(cè)，如果分類結(jié)果為負(fù)(即
此窗口不包含頭肩頭像)，則結(jié)束該窗口的檢測(cè)，則轉(zhuǎn)步驟(13);如果第一級(jí)分類結(jié)果為
正(即第一級(jí)分類器判定此窗口包含頭肩頭像)，則將該梯度向量通過(guò)第二級(jí)LibSVM分 類器進(jìn)行分類檢測(cè)；如果第二級(jí)分類結(jié)果為負(fù)，轉(zhuǎn)步驟(13)，如果分類結(jié)果為正，則確 認(rèn)該窗口包含頭肩，將窗口的坐標(biāo)保存下來(lái)，作為該窗口的檢測(cè)結(jié)果；
(11) 移動(dòng)該窗口的坐標(biāo)，并保持30%-80%重疊度，對(duì)該待檢測(cè)窗口進(jìn)行檢測(cè)；
(12) 改變窗口的尺寸大小(根據(jù)視頻中頭肩的大小確定取值范圍)，并且依次移動(dòng)窗 口的位置，進(jìn)行該窗口的分類檢測(cè)，最終得到各窗口的檢測(cè)結(jié)果。
權(quán)利要求
1、一種復(fù)雜場(chǎng)景的視頻中進(jìn)行人體頭肩檢測(cè)的方法，其特征在于，主要包括以下步驟(1)從待檢測(cè)的一類視頻中選擇一個(gè)視頻。從該視頻的各幀中人工標(biāo)定一定數(shù)量的頭肩圖片、一定數(shù)量背景圖片和一定數(shù)量的身體其他部分的圖片，其中要求這些圖片的邊長(zhǎng)至少1厘米。以頭肩圖片作為正樣本圖片，以背景圖片作為負(fù)樣本圖片；(2)將得到的正負(fù)樣本圖片進(jìn)行左右鏡像，增加樣本的數(shù)量；(3)提取得到的正負(fù)樣本圖片的梯度方向直方圖，并將梯度方向直方圖轉(zhuǎn)化為向量的形式，作為樣本圖片的梯度向量；(4)用從正負(fù)樣本中提取出的梯度向量對(duì)第一級(jí)支持向量機(jī)進(jìn)行訓(xùn)練，生成一個(gè)用于分類的第一級(jí)模型；(5)用所述頭肩圖片作為新正樣本，用所述身體其他部分的圖片代替所述背景圖片作為新負(fù)樣本；(6)提取所述新正負(fù)樣本圖片的梯度方向直方圖，并將梯度方向直方圖轉(zhuǎn)化為1乘N的向量的形式，N為正整數(shù)，作為新樣本的梯度向量；(7)用從新的正負(fù)樣本中提取出的梯度向量對(duì)第二級(jí)支持向量機(jī)進(jìn)行訓(xùn)練，生成一個(gè)用于分類的第二級(jí)模型；(8)讀入一個(gè)待檢測(cè)視頻，提取該視頻的一幀圖像；(9)確定該幀圖像上某一個(gè)待檢測(cè)窗口的位置和大小，采用步驟(3)的方法提取該窗口的梯度方向直方圖，并得到該窗口的梯度向量；(10)將該梯度向量通過(guò)第一級(jí)分類器進(jìn)行分類檢測(cè)，如果分類結(jié)果為負(fù)，則結(jié)束該窗口的檢測(cè)，轉(zhuǎn)步驟(11)；如果第一級(jí)分類結(jié)果為正，則將該梯度向量通過(guò)第二級(jí)分類器進(jìn)行分類檢測(cè)；如果第二級(jí)分類結(jié)果為負(fù)，轉(zhuǎn)步驟(11)，如果分類結(jié)果為正，則確認(rèn)該窗口包含頭肩，將窗口的坐標(biāo)保存下來(lái)，作為該窗口的檢測(cè)結(jié)果；(11)改變窗口的位置和大小，采用步驟(3)的方法提取該窗口的梯度方向直方圖，并得到該窗口的梯度向量，轉(zhuǎn)步驟(10)進(jìn)行該窗口的分類檢測(cè)，最終得到各窗口的檢測(cè)結(jié)果。
2、 如權(quán)利要求1所述方法，其特征在于，所述方法的步驟(3)具體包括如下步驟(31) 將每一個(gè)樣本圖片作為一個(gè)窗口，將窗口分為MxN的塊，塊之間有30%-50% 的重疊，M、 N均為正整數(shù)；(32) 該每個(gè)塊平分成多個(gè)單元；(33) 對(duì)該每個(gè)單元內(nèi)的像素計(jì)算梯度方向和大小；(34) 將每個(gè)單元內(nèi)的像素的梯度按方向統(tǒng)計(jì)成一個(gè)直方圖，并將梯度方向直方圖轉(zhuǎn)化 為向量的形式，作為該單元的梯度向量；(35) 將各個(gè)單元的梯度向量連接成一個(gè)長(zhǎng)向量，作為該塊的梯度向量；(36) 將窗口內(nèi)各個(gè)塊的梯度向量連接成一個(gè)長(zhǎng)向量，作為該窗口的梯度向量；(37) 將該窗口的梯度向量進(jìn)行歸一化，作為該樣本圖片的梯度向量:。
3、如權(quán)利要求i所述方法，其特征在于，所述方法的步驟(n)改變窗口的位置和大小，進(jìn)行該窗口的分類檢測(cè)，具體包括如下步驟(111) 移動(dòng)該窗口的坐標(biāo)，并保持30%-80%重疊度，進(jìn)行該窗口的分類檢測(cè)；(112) 改變窗口的尺寸大小，并且依次移動(dòng)窗口的位置，進(jìn)行該窗口的分類檢測(cè)。
全文摘要
本發(fā)明涉及一種在復(fù)雜場(chǎng)景的視頻中進(jìn)行人體頭肩檢測(cè)的方法，屬于計(jì)算機(jī)信息挖掘技術(shù)領(lǐng)域。從視頻的各幀中人工標(biāo)定頭肩圖片、背景圖片和身體其他部分的圖片作為正負(fù)樣本，鏡像這些圖片；提取正負(fù)樣本的梯度向量，對(duì)第一級(jí)分類器訓(xùn)練；用頭肩圖片作為新正樣本，用身體其他部分的圖片作為新負(fù)樣本；提取正負(fù)樣本的梯度向量，對(duì)第二級(jí)分類器訓(xùn)練。確定待檢測(cè)視頻的一幀中一個(gè)待檢測(cè)窗口的位置和大小，提取該窗口的梯度向量；將它通過(guò)第一級(jí)分類器，若分類為負(fù)，則結(jié)束檢測(cè)，若第一級(jí)分類為正，則將它通過(guò)第二級(jí)分類器；若分類為正，則確認(rèn)該窗口包含頭肩。改變窗口的位置和大小，對(duì)新窗口進(jìn)行同樣的檢測(cè)。本發(fā)明可以提高準(zhǔn)確率，同時(shí)提高檢測(cè)速度。
文檔編號(hào)G06K9/00GK101477626SQ200910077108
公開(kāi)日2009年7月8日 申請(qǐng)日期2009年1月16日 優(yōu)先權(quán)日2009年1月16日
發(fā)明者丁錫鋒, 孫立峰, 鵬 崔, 輝 徐, 楊士強(qiáng) 申請(qǐng)人:清華大學(xué)