暗視覺條件下的雙攝像頭實(shí)時(shí)行人檢測(cè)系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及暗視覺條件下的雙攝像頭實(shí)時(shí)行人檢測(cè)系統(tǒng)，包括中央處理單元以及：紅外攝像頭，用于采集紅外視頻圖像；可見光攝像頭，用于采集可見光視頻圖像；紅外圖像檢測(cè)單元，用于檢測(cè)紅外圖像中的候選目標(biāo)是否有人體目標(biāo)，確定紅外圖像中沒有人體目標(biāo)的候選目標(biāo)位置；可見光圖像檢測(cè)單元，用于對(duì)與用于對(duì)與紅外圖像同一時(shí)刻的可見光圖像進(jìn)行檢測(cè)，檢測(cè)可見光圖像中與紅外圖像中沒有人體目標(biāo)的候選目標(biāo)位置相同的位置是否有人體目標(biāo)；本發(fā)明檢測(cè)區(qū)域選取模塊中標(biāo)記出紅外檢測(cè)后不認(rèn)為是人體目標(biāo)的候選目標(biāo)，再根據(jù)不認(rèn)為是人體目標(biāo)的候選目標(biāo)的位置對(duì)應(yīng)可見光圖像相應(yīng)位置，然后用可見光方法檢測(cè)。
【專利說(shuō)明】
暗視覺條件下的雙攝像頭實(shí)時(shí)行人檢測(cè)系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及暗視覺條件下的雙攝像頭實(shí)時(shí)行人檢測(cè) 系統(tǒng)。
【背景技術(shù)】
[0002] 人是環(huán)境中最為活躍的元素，也是最需要關(guān)注的目標(biāo)。傳統(tǒng)的視頻人體目標(biāo)檢索 需要專業(yè)人員仔細(xì)查看每一幀可能的圖像，準(zhǔn)確性無(wú)法保障，而且需要花費(fèi)大量的時(shí)間。行 人檢測(cè)技術(shù)作為計(jì)算機(jī)視覺和模式識(shí)別技術(shù)的一個(gè)重要領(lǐng)域，是替代人工檢索的最佳方 式。行人檢測(cè)的應(yīng)用領(lǐng)域廣泛，如公共場(chǎng)所領(lǐng)域中汽車及火車站、機(jī)場(chǎng)等場(chǎng)景的監(jiān)控;車輛 駕駛輔助系統(tǒng)中的行人預(yù)警功能等。
[0003] 現(xiàn)有的行人檢測(cè)方向主要分為兩種:其一，將保存下來(lái)的視頻圖像進(jìn)行行人檢測(cè)， 這種方法易于實(shí)現(xiàn)，但是時(shí)間的滯后性往往會(huì)造成重大的損失;其二，對(duì)實(shí)時(shí)采集的圖像進(jìn) 行實(shí)時(shí)行人檢測(cè)，這種方法保證了信息的及時(shí)性，相比前一種有著巨大的優(yōu)勢(shì)，但是現(xiàn)有的 實(shí)時(shí)行人檢測(cè)方法識(shí)別率極低。比如，當(dāng)前行人檢測(cè)技術(shù)主要運(yùn)用可見光圖像，但是可見光 圖像中人體目標(biāo)易被遮擋覆蓋而無(wú)法被檢測(cè)出來(lái)，且在光照不足的暗視覺條件下幾乎無(wú)法 工作。
[0004] 暗視覺是指在黑夜或弱光環(huán)境中，無(wú)法像在充足光照條件下一樣分辨物體，看到 的景物全是灰黑色，只有明暗感。運(yùn)用暗視覺影像挖掘技術(shù)可以解決夜間和其它低光照度 時(shí)目標(biāo)圖像信息的獲取、轉(zhuǎn)換、增強(qiáng)、顯示等問題，使視覺在時(shí)域、空間和頻域得到有效的擴(kuò) 展;使得在光線不足或不便觀察的條件下，依然能夠獲取事物的圖像信息?？纱蟠笱由烊祟?和機(jī)器視覺對(duì)圖像的分辨能力，能夠獲得相對(duì)理想的視覺效果圖像。因此，運(yùn)用紅外圖像中 的行人檢測(cè)系統(tǒng)逐漸被人關(guān)注，但是由于紅外圖像缺少細(xì)節(jié)信息，難以檢測(cè)出重疊的人體 目標(biāo)。
[0005] 現(xiàn)有技術(shù)一般采用單一紅外攝像頭或可見光攝像頭進(jìn)行行人檢測(cè)，但漏檢率高、 實(shí)時(shí)性差，有必要結(jié)合紅外圖像檢測(cè)和可見光圖像檢測(cè)的優(yōu)勢(shì)，設(shè)計(jì)一種實(shí)時(shí)行人檢測(cè)系 統(tǒng)及方法。
【發(fā)明內(nèi)容】
[0006] 為解決以上問題，本發(fā)明提供一種暗視覺條件下的雙攝像頭實(shí)時(shí)行人檢測(cè)系統(tǒng)。
[0007] 本發(fā)明暗視覺條件下的雙攝像頭實(shí)時(shí)行人檢測(cè)系統(tǒng)，包括中央處理單元以及與中 央處理單元相連接的以下單元：
[0008] 紅外攝像頭，用于采集紅外視頻圖像；
[0009] 可見光攝像頭，用于采集可見光視頻圖像；
[0010]紅外圖像檢測(cè)單元，用于檢測(cè)紅外圖像中的候選目標(biāo)是否有人體目標(biāo)，確定紅外 圖像中沒有人體目標(biāo)的候選目標(biāo)位置；
[0011]圖像對(duì)應(yīng)單元，用于對(duì)應(yīng)同一時(shí)刻的紅外視頻幀圖像與可見光視頻幀圖像；
[0012] 可見光圖像檢測(cè)單元，用于對(duì)與紅外圖像同一時(shí)刻的可見光圖像進(jìn)行檢測(cè)，檢測(cè) 可見光圖像中與紅外圖像中沒有人體目標(biāo)的候選目標(biāo)位置相同的位置是否有人體目標(biāo)。
[0013] 優(yōu)選地，所述紅外圖像檢測(cè)單元包括依次連接的紅外圖像分割模塊、連通區(qū)域標(biāo) 記模塊、候選目標(biāo)選取模塊以及紅外圖像人體目標(biāo)特征提取及分類識(shí)別算法模塊；
[0014] 所述紅外圖像分割模塊對(duì)紅外圖像進(jìn)行二值化分割處理得到二值化圖像；
[0015] 所述連通區(qū)域標(biāo)記模塊采用兩遍掃描法對(duì)二值化處理后的圖像進(jìn)行處理，得到連 通區(qū)域；
[0016] 所述候選目標(biāo)選取模塊對(duì)連通區(qū)域進(jìn)行篩選，排除干擾連通區(qū)域后得到候選目 標(biāo)；
[0017] 所述紅外圖像人體目標(biāo)特征提取及分類識(shí)別算法模塊，采用基于Zernike不變矩 的紅外圖像人體目標(biāo)特征提取算法及最小距離分類器，判斷候選目標(biāo)中是否有人體目標(biāo)。 [0018]優(yōu)選地，所述紅外圖像分割模塊對(duì)紅外圖像進(jìn)行二值化分割處理得到二值化圖 像，包括:采用基于直方圖的自適應(yīng)K均值聚類紅外圖像分割算法，利用直方圖波峰確定K均 值聚類的K值，并且將這K個(gè)波峰對(duì)應(yīng)的灰度值作為聚類算法的K個(gè)初始聚類中心值，再通過 聚類中心聚類前后的移動(dòng)方向來(lái)選擇合適的波谷作為分割點(diǎn)，以此分割點(diǎn)分割得到二值化 圖像;其中K為聚類個(gè)數(shù)，其值為紅外圖像的灰度統(tǒng)計(jì)直方圖進(jìn)行滑動(dòng)均值濾波濾除偽峰和 毛刺后波形中波峰個(gè)數(shù)。
[0019] 優(yōu)選地，所述選擇合適的波谷作為分割點(diǎn)包括：
[0020] 當(dāng)K = 1時(shí)，若存在umax<Vj<gmax，則Vj作為分割點(diǎn)；
[0021 ]當(dāng)K = 2時(shí)，若存在Ui<Vj<Ui+i，且 A ui X A ui+i<0且Ui+i_Ui>Ui+i，_Ui '，則Vj作為 分割點(diǎn);右存在Umax< Vj <gmax，且umax<Umax，則Vj作為分割點(diǎn)；
[0022]如果選取的作為分割點(diǎn)的波谷不止一個(gè)，則選擇灰度值最大的波谷作為最終的分 割點(diǎn)；
[0023]其中，m表示第i個(gè)波峰，u1+1表示第i+1個(gè)波峰，^表示第j個(gè)波谷，umax為灰度值最 大的波峰，Umax '為聚類完成時(shí)灰度值最大的聚類中心，gmax為直方圖的最大灰階，Ui '表示聚 類完成后的中心值，Am表示聚類完成后的第i個(gè)波峰m'與第i個(gè)波峰m的變化量，△111+1表 示聚類完成后的第i+1個(gè)波峰Ui+i '與第i+1個(gè)波峰Ui+1的變化量。
[0024]優(yōu)選地，所述連通區(qū)域標(biāo)記模塊采用兩遍掃描法對(duì)二值化處理后的圖像進(jìn)行處 理，得到連通區(qū)域，具體包括：
[0025] 第一遍掃描:逐行逐列掃描像素值為1的點(diǎn)，若某點(diǎn)的4領(lǐng)域沒有任何標(biāo)記，則將該 點(diǎn)做新的最小標(biāo)記;若該點(diǎn)的4領(lǐng)域有標(biāo)記，則將4領(lǐng)域標(biāo)記中的最小數(shù)字標(biāo)記賦給該點(diǎn)，并 記錄4領(lǐng)域標(biāo)記為相等關(guān)系;所述某點(diǎn)的4領(lǐng)域是該點(diǎn)相鄰的上、下、左、右四個(gè)點(diǎn)；
[0026] 第二遍掃描:逐行逐列掃描像素值為1的點(diǎn)，將所有點(diǎn)的標(biāo)記修改為與其相等的最 小標(biāo)記，圖像中具有相同標(biāo)記的點(diǎn)組成連通區(qū)域。
[0027] 優(yōu)選地，所述候選目標(biāo)選取模塊對(duì)連通區(qū)域進(jìn)行篩選，排除干擾連通區(qū)域后得到 候選目標(biāo)，包括連通區(qū)域像素個(gè)數(shù)大于1〇〇且連通區(qū)域占最小鄰接矩形的填充比大于0.4且 最小鄰接矩形的寬高比在〇. 2至1.2之間。
[0028]優(yōu)選地，所述紅外圖像人體目標(biāo)特征提取及分類識(shí)別算法模塊，采用基于Zernike 不變矩的紅外圖像人體目標(biāo)特征提取算法及最小距離分類器，判斷候選目標(biāo)中是否有人體 目標(biāo)，包括：
[0029]將候選目標(biāo)圖像放在其最小鄰接圓內(nèi)，進(jìn)行歸一化處理，即設(shè)單位1為100像素，將 圓的半徑放縮至單位1
[0030] 計(jì)算候選目標(biāo)的0到8階Zernike矩Zpq;
[0031]計(jì)算候選目標(biāo)到事先建立好的均值人體姿態(tài)樣本的歐氏距離dk;
，_n為Zernike矩特征描述符的總個(gè)數(shù)，xi為候選目標(biāo)的 Zernike矩特征描述符，即對(duì)應(yīng)ZOO、Z11、…、Z88 ;uki表示第k種姿態(tài)的第i個(gè)Zernike矩特征 描述符，k表不體姿態(tài)分類種數(shù)，取值1 一 5;
[0033]計(jì)算dk-Tk，若所有dk_Tk都大于0,則該候選目標(biāo)不能確定為人體目標(biāo);若存在d k-Tk 小于0，則該候選目標(biāo)確定為人體目標(biāo);Tk表示預(yù)設(shè)閾值。
[0034] 優(yōu)選地，所述可見光圖像檢測(cè)單元包括依次相連接的檢測(cè)區(qū)域選取模塊、可見光 圖像人體目標(biāo)檢測(cè)算法模塊；
[0035] 所述檢測(cè)區(qū)域選取模塊將紅外圖像中候選目標(biāo)最小鄰接矩形的長(zhǎng)寬放大，后的可 見光圖像區(qū)域作為檢測(cè)區(qū)域；
[0036] 所述可見光圖像人體目標(biāo)檢測(cè)算法模塊采用方向梯度圖與支持向量機(jī)結(jié)合的人 體檢測(cè)算法，判定是否為人體目標(biāo)。
[0037]優(yōu)選地，將將紅外圖像中候選目標(biāo)最小鄰接矩形的長(zhǎng)寬放大FN，F(xiàn)N是放大比例，取 值范圍5%-25%。
[0038] 優(yōu)選地，所述可見光圖像人體目標(biāo)檢測(cè)算法模塊采用方向梯度圖與支持向量機(jī)結(jié) 合的人體檢測(cè)算法，判定是否為人體目標(biāo)，包括:若平均人體方向梯度圖的寬高比大于檢測(cè) 區(qū)域梯度方向圖的寬高比，將平均人體方向梯度圖保持寬高比不變，放縮至與檢測(cè)區(qū)域梯 度方向圖等寬；若平均人體方向梯度圖的寬高比小于檢測(cè)區(qū)域梯度方向圖的寬高比，將平 均人體方向梯度圖保持寬高比不變，放縮至與檢測(cè)區(qū)域梯度方向圖等高;然后使用支持向 量機(jī)計(jì)算事先訓(xùn)練好的各種平均人體方向梯度圖與檢測(cè)區(qū)域梯度方向圖的重疊部分的相 似度;若存在大于95 %的相似度，則為該檢測(cè)區(qū)存在人體目標(biāo);否則，不存在人體目標(biāo)。
[0039] 本發(fā)明采用紅外攝像頭與可見光攝像頭協(xié)同處理，降低了單一使用紅外攝像頭或 可見光攝像頭進(jìn)行實(shí)時(shí)行人檢測(cè)時(shí)的漏檢率和誤檢率，提高了實(shí)時(shí)行人檢測(cè)的效率，滿足 了實(shí)時(shí)、準(zhǔn)確的檢測(cè)需求。
【附圖說(shuō)明】
[0040] 圖1為本發(fā)明暗視覺條件下的紅外可見光雙攝像頭協(xié)同實(shí)時(shí)行人檢測(cè)系統(tǒng)優(yōu)選實(shí) 施例結(jié)構(gòu)框圖；
[0041] 圖2為本發(fā)明暗視覺條件下的紅外可見光雙攝像頭協(xié)同實(shí)時(shí)行人檢測(cè)系統(tǒng)另一優(yōu) 選實(shí)施例結(jié)構(gòu)框圖；
[0042] 圖3為本發(fā)明紅外圖像分割模塊濾波效果示意圖，其中圖3(a)為紅外圖像的灰度 統(tǒng)計(jì)直方圖，圖3(b)為對(duì)直方圖進(jìn)行滑動(dòng)均值濾波濾除偽峰和毛刺后的波形圖；
[0043] 圖4為本發(fā)明紅外圖像分割模塊對(duì)直方圖進(jìn)行滑動(dòng)均值濾波濾除偽峰和毛刺后的 波形圖并標(biāo)記波峰和波谷的示意圖；
[0044] 圖5為本發(fā)明紅外圖像分割模塊當(dāng)只有一個(gè)波峰時(shí)分割點(diǎn)選擇示意圖；
[0045] 圖6為本發(fā)明紅外圖像分割模塊當(dāng)有兩個(gè)波峰時(shí)聚類中心相向移動(dòng)分割點(diǎn)選擇示 意圖；
[0046] 圖7為本發(fā)明紅外圖像分割模塊當(dāng)有兩個(gè)波峰時(shí)聚類中心背向移動(dòng)分割點(diǎn)選擇示 意圖；
[0047] 圖8為本發(fā)明紅外圖像分割模塊當(dāng)有兩個(gè)波峰時(shí)聚類中心同向移動(dòng)分割點(diǎn)選擇示 意圖；
[0048]圖9為本發(fā)明紅外圖像分割模塊二值化處理前后圖像對(duì)比，圖9(a)為二值化處理 前圖像，圖9(b)為二值化處理后圖像；
[0049] 圖10為本發(fā)明連通區(qū)域標(biāo)記模塊兩遍掃描法示意圖；
[0050] 圖11為本發(fā)明連通區(qū)域標(biāo)記模塊兩遍掃描法前后圖像對(duì)比示意圖，圖11(a)為兩 遍掃描法前圖像，圖11 (b)為兩遍掃描法后圖像；
[0051] 圖12為本發(fā)明候選目標(biāo)選取模塊結(jié)果示意圖；
[0052]圖13為本發(fā)明紅外圖像人體目標(biāo)特征提取及分類識(shí)別算法模塊歸一化處理示意 圖；
[0053]圖14為本發(fā)明各個(gè)模塊處理后效果示意圖，14(a)表示紅外圖像，14(c)表示二值 化處理后的圖像，14(d)表示紅外圖像檢測(cè)后確定為人體目標(biāo)的候選目標(biāo)和不能確定為人 體目標(biāo)的候選目標(biāo)，14(b)表示對(duì)應(yīng)有不能確定為人體目標(biāo)的候選目標(biāo)的可見光圖像，14 (e)表示確定有人體目標(biāo)的候選目標(biāo)的可見光圖像；
[0054]圖15為本發(fā)明可見光圖像檢測(cè)示意圖，圖15(a)為一個(gè)可見光圖像的檢測(cè)區(qū)域，圖 15(b)為圖15(a)的梯度方向圖，圖15(c)為平均人體方向梯度圖；
[0055] 圖16為可見光圖像檢測(cè)單元中對(duì)檢測(cè)區(qū)域的方向梯度圖進(jìn)行第一次掃描時(shí)的兩 種情況；圖16(a)表示在平均人體方向梯度圖的寬高比大于檢測(cè)區(qū)域梯度方向圖的寬高比 時(shí)，將平均人體方向梯度圖保持寬高比不變，放縮至與檢測(cè)區(qū)域梯度方向圖等寬；圖16(b) 表示在平均人體方向梯度圖的寬高比小于檢測(cè)區(qū)域梯度方向圖的寬高比時(shí)，將平均人體方 向梯度圖保持寬高比不變，放縮至與檢測(cè)區(qū)域梯度方向圖等高；
[0056] 圖17為可見光圖像檢測(cè)單元中對(duì)檢測(cè)區(qū)域的方向梯度圖進(jìn)行第二次掃描時(shí)的兩 種情況；圖17(a)表示在平均人體方向梯度圖的寬高比大于檢測(cè)區(qū)域梯度方向圖的寬高比 時(shí)，將平均人體方向梯度圖右移檢測(cè)區(qū)域?qū)挾鹊?.1倍；圖17(b)表示在平均人體方向梯度 圖的寬高比小于檢測(cè)區(qū)域梯度方向圖的寬高比時(shí)，將平均人體方向梯度圖下移檢測(cè)區(qū)域長(zhǎng) 度的0.1倍；
[0057] 圖18為可見光圖像檢測(cè)單元中在第一行或第一列掃描完成之后，將平均人體方向 梯度圖長(zhǎng)和寬都縮小50%，再逐行逐列檢測(cè)是否存在人體目標(biāo)，圖18(a)表示從檢測(cè)區(qū)域的 左上角開始，圖18(b)表示將平均人體方向梯度圖右移0.1倍寬或長(zhǎng)，圖18(c)表示第一行掃 描完成后將平均人體方向梯度圖下移〇. 1倍長(zhǎng)或?qū)挘?br>[0058]圖19為本發(fā)明可見光圖像檢測(cè)單元檢測(cè)結(jié)果示意圖。
【具體實(shí)施方式】
[0059]通過下面對(duì)實(shí)施例的描述，將更加有助于公眾理解本發(fā)明，但不能也不應(yīng)當(dāng)將申 請(qǐng)人所給出的具體的實(shí)施例視為對(duì)本發(fā)明技術(shù)方案的限制，任何對(duì)部件或技術(shù)特征的定義 進(jìn)行改變和/或?qū)φw結(jié)構(gòu)作形式的而非實(shí)質(zhì)的變換都應(yīng)視為本發(fā)明的技術(shù)方案所限定的 保護(hù)范圍。
[0060]圖1為暗視覺條件下的紅外可見光雙攝像頭協(xié)同實(shí)時(shí)行人檢測(cè)系統(tǒng)的結(jié)構(gòu)框圖， 該系統(tǒng)包括中央處理單元，以及與中央處理單元相連接的以下單元：
[0061 ]紅外攝像頭，用于采集紅外視頻圖像；
[0062] 可見光攝像頭，用于采集可見光視頻圖像；
[0063] 紅外攝像頭和可見光攝像頭分別采集圖像，后續(xù)分別進(jìn)行處理，具體地，紅外攝像 頭采集的圖像送入紅外圖像檢測(cè)單元進(jìn)行處理，可見光攝像頭采集的圖像送入可見光圖像 檢測(cè)單元進(jìn)行處理。
[0064] 可以將采集的圖像直接進(jìn)行后續(xù)處理，但由于圖像會(huì)受設(shè)備環(huán)境等因素影響對(duì)未 經(jīng)處理的圖像進(jìn)行后續(xù)處理可能會(huì)使檢測(cè)的準(zhǔn)確性下降。優(yōu)選地，如圖2所示，所述系統(tǒng)還 包括圖像預(yù)處理單元，用于對(duì)采集的圖像進(jìn)行預(yù)處理，即紅外攝像頭采集的圖像送入圖像 預(yù)處理單元進(jìn)行預(yù)處理后再送入紅外圖像檢測(cè)單元進(jìn)行處理，可見光攝像頭采集的圖像送 入圖像預(yù)處理單元進(jìn)行預(yù)處理后再送入可見光圖像檢測(cè)單元進(jìn)行處理。圖像預(yù)處理單元包 括對(duì)圖像進(jìn)行光照補(bǔ)償以及均衡化;本單元為可選部件，通過對(duì)圖像進(jìn)行光照補(bǔ)償以及均 衡化，可以增加圖像識(shí)別的準(zhǔn)確率。
[0065] 紅外圖像檢測(cè)單元，用于檢測(cè)紅外圖像中的候選目標(biāo)是否有人體目標(biāo)，確定紅外 圖像中沒有人體目標(biāo)的候選目標(biāo)；
[0066] 圖像對(duì)應(yīng)單元，用于對(duì)應(yīng)同一時(shí)刻的紅外視頻幀圖像與可見光視頻幀圖像；
[0067] 可見光圖像檢測(cè)單元，用于對(duì)與紅外圖像同一時(shí)刻的可見光圖像進(jìn)行檢測(cè)，檢測(cè) 可見光圖像中與紅外圖像中沒有人體目標(biāo)的候選目標(biāo)位置相同的位置是否有人體目標(biāo)；
[0068] 該實(shí)施例充分利用紅外和可見光兩個(gè)攝像頭檢測(cè)同一時(shí)刻的同一個(gè)候選目標(biāo)，能 有效辨別重疊或被遮擋的人體，極大降低了漏檢率和誤檢率。
[0069] 所述紅外圖像檢測(cè)單元包括依次連接的紅外圖像分割模塊、連通區(qū)域標(biāo)記模塊、 候選目標(biāo)選取模塊以及紅外圖像人體目標(biāo)特征提取及分類識(shí)別算法模塊。
[0070] 所述紅外圖像分割模塊對(duì)紅外圖像進(jìn)行二值化分割處理，可以采用現(xiàn)有技術(shù)實(shí) 現(xiàn)，例如，《紅外技術(shù)》2014年第8期提出的一種紅外圖像的二值化分割算法研究，公開了基 于局部灰度梯度值和全局化閾值面相結(jié)合的二值化分割算法。
[0071]優(yōu)選地，本發(fā)明所述紅外圖像分割模塊采用基于直方圖的自適應(yīng)K均值聚類紅外 圖像分割算法，利用直方圖波峰確定K均值聚類的K值，并且將這K個(gè)波峰對(duì)應(yīng)的灰度值作為 聚類算法的K個(gè)初始聚類中心值，再通過聚類中心聚類前后的移動(dòng)方向來(lái)選擇合適的波谷 作為分割點(diǎn)，以此分割點(diǎn)分割得到二值化圖像。
[0072]為便于理解，對(duì)紅外圖像分割模塊作進(jìn)一步舉例說(shuō)明，紅外圖像分割模塊的處理 包括：
[0073] 第一步:計(jì)算紅外圖像的灰度統(tǒng)計(jì)直方圖，如圖3(a);
[0074] 第二步:對(duì)直方圖進(jìn)行滑動(dòng)均值濾波濾除偽峰和毛刺，得到圖3(b)波形，標(biāo)記波峰 (如ui)和波谷(如vi和V2)，如圖4所不;本實(shí)例米用的滑動(dòng)窗口長(zhǎng)度為5,滑動(dòng)步長(zhǎng)為1;
[0075]第三步:分兩種情況：
[0076] 1)當(dāng)直方圖只有一個(gè)波峰，即K = 1時(shí)，選擇靠近最大灰階的波谷作為分割點(diǎn)。
[0077] 例如表1和圖5所示，直方圖中存在一個(gè)波峰m和兩個(gè)波谷vdPv2，靠近最大灰階的 波谷^可以作為分割點(diǎn)(本專利中m表示第i個(gè)波峰，v謙示第j個(gè)波谷）。
[0078]表1圖5中波峰和波谷的灰度值
[0080] 2)當(dāng)直方圖不止一個(gè)波峰，即K彡2時(shí)，進(jìn)行自適應(yīng)K均值聚類；
[0081] 聚類算法的流程如下：
[0082] Stepl:將直方圖的波峰的個(gè)數(shù)作為聚類個(gè)數(shù)K，并將這K個(gè)波峰對(duì)應(yīng)的灰度值作為 聚類算法的K個(gè)初始中心值；
[0083] Step2:計(jì)算圖像中每個(gè)像素到K個(gè)中心值的歐式距離，將其歸入距離最近的中心 值所屬的聚類中；
[0084] Step3:計(jì)算每個(gè)聚類的新中心值以及新舊中心值的變化量；
[0085] Step4:若新舊中心值的變化量小于設(shè)定的中心變化閾值，則聚類完成；否則重復(fù) Step2-Step4;
[0086] 優(yōu)選地，本實(shí)施例中心變化閾值為1;
[0087]設(shè)聚類完成后的中心值m'與初始中心值（即波峰)m的變化量為AUl，聚類完成之 后進(jìn)行直方圖波谷閾值選取。
[0088]當(dāng)直方圖不止一個(gè)波峰時(shí)，波谷可以分為三類:處于兩個(gè)波峰之間的波谷、處于波 峰和最大灰階之間的波谷、處于波峰和最小灰階之間的波谷。
[0089] 1)對(duì)于處于兩個(gè)波峰之間的波谷，其兩側(cè)聚類中心的相對(duì)位置變化關(guān)系可以用來(lái) 判斷此類波谷能否作為分割點(diǎn)。
[0090] a.若兩側(cè)聚類中心相向移動(dòng)，相互接近，則該波谷是兩個(gè)不同類目標(biāo)的邊界，可以 作為分割點(diǎn)。例如表2和圖6所不，U2與U3之間的V2可以作為分割點(diǎn)。
[0091] 表2圖6中聚類中心聚類前后的變化值及波谷的灰度
[0093] b.若兩側(cè)聚類中心背向移動(dòng)，相互遠(yuǎn)離，則該波谷不是兩個(gè)不同類目標(biāo)的邊界，不 能作為分割點(diǎn)。例如表3和圖7所示，u^u2之間的v2不能作為分割點(diǎn)。
[0094]表3圖7中聚類中心聚類前后的變化值及波谷的灰度值
[0096] c.若兩側(cè)聚類中心同向移動(dòng)，則該波谷也不能作為分割點(diǎn)。
[0097] 例如表4和圖8所示，山與仍之間的V1不能作為分割點(diǎn)。
[0098] 表4圖8中聚類中心聚類前后的變化值及波谷的灰度值
[0100] 2)對(duì)于處于波峰和最大灰階之間的波谷，若聚類中心向正方向，即靠近最大灰階 的方向移動(dòng)，則該波谷可以作為分割點(diǎn)。
[0101] 例如表3和圖7所示，U2與最大灰階之間的V3可以作為分割點(diǎn)。
[0102] 3)處于波峰和最小灰階之間的波谷不作為分割點(diǎn)。
[0103] 例如表3和圖7所示，最小灰階與m之間的V1不能作為分割點(diǎn)。
[0104] 綜合上述條件可概括為： K. = 1時(shí)，.若存在11_<氣.<容_，貝fjvj作為分害！J點(diǎn) K = 2^ Lui+1 - ui > Uf+1 - ui 若存，則作為分割點(diǎn)
[0106] 其中，m表示第i個(gè)波峰，u1+1表示第i+1個(gè)波峰，表示第j個(gè)波谷，umax為灰度值最 大的波峰，Umax '為聚類完成時(shí)灰度值最大的聚類中心，gmax為直方圖的最大灰階，Ui '表示聚 類完成后的中心值，Am表示聚類完成后的第i個(gè)波峰m'與第i個(gè)波峰m的變化量，△111+1表 示聚類完成后的第i+1個(gè)波峰Ui+i '與第i+1個(gè)波峰Ui+1的變化量。
[0107] 按照上述條件選取的可以作為分割點(diǎn)的波谷可能不止一個(gè)，此時(shí)選擇高亮度比例 最小的波谷（即灰度值最大的波谷Vmax)作為最終的分割點(diǎn)，并以此點(diǎn)的灰度值為分割閾值 對(duì)紅外圖像做二值化處理得出分割結(jié)果。
[0108] 例如圖9所示，左邊紅外圖像圖9(a)經(jīng)過上述二值化處理后得到右邊圖像圖9(b)。
[0109] 優(yōu)選地，所述連通區(qū)域標(biāo)記模塊采用兩遍掃描法對(duì)二值化處理后的圖像進(jìn)行處 理，得到連通區(qū)域。
[0110] 第一遍掃描：（第一次掃描前圖像中的點(diǎn)沒有任何標(biāo)記)逐行逐列掃描像素值為1 的點(diǎn)，若某點(diǎn)的4領(lǐng)域(該點(diǎn)相鄰的上、下、左、右四個(gè)點(diǎn))沒有任何標(biāo)記(標(biāo)記為從1開始的正 整數(shù)），則將該點(diǎn)做新的最小標(biāo)記（即在已有的最大標(biāo)記上加1);若該點(diǎn)的4領(lǐng)域有標(biāo)記，則 將4領(lǐng)域標(biāo)記中的最小標(biāo)記賦給該點(diǎn)，并記錄4領(lǐng)域標(biāo)記為相等關(guān)系。上述標(biāo)記方式即該點(diǎn) 的4領(lǐng)域有沒有標(biāo)記:沒有標(biāo)記就給最小標(biāo)記，有標(biāo)記就把4領(lǐng)域標(biāo)記中的最小標(biāo)記賦給該 點(diǎn)
[0111] 第二遍掃描:逐行逐列掃描像素值為1的點(diǎn)，將所有點(diǎn)的標(biāo)記修改為與其相等的最 小標(biāo)記。此時(shí)圖像中具有相同標(biāo)記的點(diǎn)組成連通區(qū)域。
[0112] 舉例如下：
[0113] 如圖10所示，對(duì)于一個(gè)前景(如圖10(a)中的白色區(qū)域），第一次掃描的結(jié)果如圖10 (b)，其中數(shù)字標(biāo)記1，3,5相等，1為最小標(biāo)記，數(shù)字標(biāo)記2,4,6相等，2為最小標(biāo)記;第二次掃 描的結(jié)果如圖10(c)，此時(shí)圖像中具有相同標(biāo)記的點(diǎn)就組成了一個(gè)連通區(qū)域。
[0114] 同理，采用兩遍掃描法算法掃描圖11(a)，即可形成圖11(b)所示的9個(gè)連通區(qū)域。
[0115] 優(yōu)選地，所述候選目標(biāo)選取模塊對(duì)連通區(qū)域進(jìn)行篩選，排除干擾連通區(qū)域后得到 候選目標(biāo)；
[0116] 本實(shí)施例候選目標(biāo)選取模塊對(duì)連通區(qū)域進(jìn)行篩選包括:連通區(qū)域像素個(gè)數(shù)大于 100且連通區(qū)域占最小鄰接矩形的填充比大于0.4且最小鄰接矩形的寬高比在0.2至1.2之 間；
[0117] 為便于理解，舉例如下：
[0118] 按照以上條件對(duì)圖11(b)的9個(gè)連通區(qū)域進(jìn)行篩選，篩除了 5個(gè)不符合條件的連通 區(qū)域，余下4個(gè)符合條件的連通區(qū)域作為候選目標(biāo)，如圖12所示。
[0119] 優(yōu)選地，所述紅外圖像人體目標(biāo)特征提取及分類識(shí)別算法模塊，采用基于Zernike 不變矩的紅外圖像人體目標(biāo)特征提取算法及最小距離分類器，判斷候選目標(biāo)中是否有人體 目標(biāo)。
[0120]對(duì)候選目標(biāo)進(jìn)行歸一化(單位化)處理，計(jì)算得到Zernike矩后，再對(duì)取該矩的模作 為圖像檢索的特征向量，最后按歐式距離將其分到最近的類中，判斷候選目標(biāo)中是否有人 體目標(biāo)。
[0121 ]優(yōu)選地，如果有一個(gè)候選連通區(qū)域不確定有無(wú)人體目標(biāo)，則進(jìn)行可見光圖像檢測(cè)， 有人體候選目標(biāo)的不再送檢，標(biāo)示出來(lái)。
[0122] 二維灰度圖像可以被看成一個(gè)函數(shù)f(x，y)，函數(shù)值表示像素點(diǎn)(x，y)的灰度值;二 值化圖像的前景（白色區(qū)域)為1，背景（黑色區(qū)域)為〇,所以在定義域內(nèi)f(x，y)的函數(shù)值為 1，其他情況函數(shù)值為〇。
[0123] Zernike矩是一種矩函數(shù)，具有以下特點(diǎn)：
[0124] ① Zernike矩互相獨(dú)立，可以構(gòu)造任意高階矩，具有較強(qiáng)的特征表達(dá)能力；
[0125] ②Zernike矩具有旋轉(zhuǎn)和鏡像不變性，能夠很好地識(shí)別旋轉(zhuǎn)和鏡像目標(biāo)；
[0126] ③Zernike矩提取的特征相關(guān)性和冗余性較??；
[0127]④Zernike矩抗噪能力強(qiáng)，魯棒性較好。
[0128]在極坐標(biāo)系(r，0)中，p階的Zernike矩定義如下：
[0130]其中，VM(r，0)是p階q重的Zernike多項(xiàng)式，*表示復(fù)共輒，p是一個(gè)非負(fù)的整數(shù);q是 滿足以下條件的整數(shù):P_ I q I是偶數(shù)且I q I 。
[0133] 對(duì)于數(shù)字圖像，計(jì)算公式變?yōu)殡x散形式
[0134] 其中，r、0是極坐標(biāo)參數(shù)
，Q = arctan(y/x)，N表示沿圖像x、y坐標(biāo) 軸的像素?cái)?shù)，對(duì)于二值化圖像，在定義域內(nèi)f(x，y)的函數(shù)值為1，其他情況函數(shù)值為〇。
[0135] 為便于理解，舉例如下：
[0136] 第一步:將候選目標(biāo)圖像放在其最小鄰接圓內(nèi)，如圖13所示，進(jìn)行歸一化(單位化） 處理:設(shè)單位1為100像素，將圓的半徑放縮至單位1;
[0137] 第二步:計(jì)算候選目標(biāo)的0至丨」8階Zernike矩Zpq，將
.作為Zernike矩特征描
述符，如表5(表中Zpq表示p階q重Zernike矩 表示Zpq的特征描述符）。
[0138] 表5 Zernike矩特征描述符
[0140]第三步:計(jì)算候選目標(biāo)到事先建立好的均值人體姿態(tài)樣本的歐氏距離dk;
[0142] 其中，n為Zernike矩特征描述符的總個(gè)數(shù)，本實(shí)施例使用了0至Ij8階的Zernike矩， 共25個(gè)，xi為候選目標(biāo)的Zernike矩特征描述符，即對(duì)應(yīng)ZOO、Z11、…、Z88; uki表示第k種姿態(tài) 的第i個(gè)Zernike矩特征描述符，k表示體姿態(tài)分類種數(shù)，取值1 一5，本實(shí)施例本將人體姿態(tài) 分為5種，分別為正面站立、側(cè)面站立、行走、彎腰、半蹲，并為這5種姿態(tài)建立了均值人體姿 態(tài)樣本。
[0143] 第四步:將dk與預(yù)設(shè)閾值Tk比較，即計(jì)算dk_Tk，若所有d k_Tk都大于0,則該候選目標(biāo) 不能確定為人體目標(biāo);若存在dk_ Tk小于0，則該候選目標(biāo)確定為人體目標(biāo);本實(shí)施例優(yōu)選h =0.0020,T2 = 0.0316, T3 = 0.0346,T4 = 0.0077,T5 = 0.0071 〇
[0144] 本發(fā)明先在紅外攝像頭拍攝的圖像中使用上述紅外圖像人體目標(biāo)檢測(cè)方法檢測(cè) 人體目標(biāo)，把容易檢測(cè)的人體目標(biāo)確定下來(lái)，然后把紅外方法檢測(cè)后不認(rèn)為是人體目標(biāo)的 候選目標(biāo)(通常都是復(fù)雜狀態(tài)的人體目標(biāo)和真正的非人體目標(biāo))在紅外圖像中標(biāo)示出其位 置，并將標(biāo)示的位置對(duì)應(yīng)到可見光圖像相應(yīng)位置作進(jìn)一步判斷。由于紅外圖像缺少細(xì)節(jié)，所 以紅外光的人體目標(biāo)檢測(cè)比較粗略，但是快;可見光圖像細(xì)節(jié)豐富，人體目標(biāo)檢測(cè)比較精 確，但是慢，而且人體容易被遮擋。
[0145] 本發(fā)明檢測(cè)區(qū)域選取模塊中標(biāo)記出紅外檢測(cè)后不認(rèn)為是人體目標(biāo)的候選目標(biāo)，再 根據(jù)不認(rèn)為是人體目標(biāo)的候選目標(biāo)的位置對(duì)應(yīng)可見光圖像相應(yīng)位置，然后用可見光方法檢 測(cè)。兩種檢測(cè)方式配合使用，取長(zhǎng)補(bǔ)短，能得到很好的檢測(cè)效果和性能。
[0146] 可見光圖像檢測(cè)用的是方向梯度直方圖人體檢測(cè)算法，原本此方法要對(duì)整幅圖像 進(jìn)行搜索檢測(cè)，要花費(fèi)很長(zhǎng)時(shí)間，不具有實(shí)時(shí)性，本發(fā)明只需要在標(biāo)記的區(qū)域里搜索檢測(cè)， 花費(fèi)的時(shí)間大大減少。
[0147] 幀數(shù)對(duì)應(yīng)單元，用于對(duì)應(yīng)同一時(shí)刻的紅外視頻幀圖像與可見光視頻幀圖像；
[0148] 對(duì)應(yīng)就是選擇同一時(shí)間兩個(gè)攝像頭拍攝的圖像，攝像頭記錄視頻只能精確到秒， 每一秒會(huì)有很多幀，都選擇第n幀圖像幀就能保證兩種圖像對(duì)應(yīng)。如果取的圖像不是同一時(shí) 間的，其中的人體目標(biāo)可能會(huì)改變位置，可見光檢測(cè)方法在標(biāo)記區(qū)域內(nèi)就無(wú)法檢測(cè)出人體 目標(biāo)。
[0149] 可見光圖像檢測(cè)單元，用于檢測(cè)紅外圖像檢測(cè)單元檢測(cè)后不認(rèn)為是人體目標(biāo)的候 選目標(biāo);包括依次相連接的檢測(cè)區(qū)域選取模塊、可見光圖像人體目標(biāo)檢測(cè)算法模塊。
[0150] 優(yōu)選地，所述檢測(cè)區(qū)域選取模塊將紅外圖像中候選目標(biāo)最小鄰接矩形的長(zhǎng)寬放大 FN，后的可見光圖像區(qū)域作為檢測(cè)區(qū)域。
[0151] 舉例如下：
[0152] 將紅外圖像14(a)用上述方法分割后可得到二值化圖像14(c)，經(jīng)過連通區(qū)域標(biāo)記 和候選目標(biāo)選取后得到圖14⑷中被矩形標(biāo)記的候選目標(biāo)，例如圖14⑷中，紅外圖像人體 目標(biāo)特征提取及分類識(shí)別后將確定為人體的候選目標(biāo)用白色實(shí)線矩形標(biāo)記，不能確定為人 體的候選目標(biāo)用白色虛線矩形標(biāo)記。將圖14(d)中的白色矩形標(biāo)記對(duì)應(yīng)到可見光圖像14(b) 中，并將矩形長(zhǎng)寬放大，得到黑色虛線矩形標(biāo)記，黑色虛線矩形即為可見光圖像的檢測(cè)區(qū)域 如圖14(e)。優(yōu)選地，將矩形長(zhǎng)寬放大FN，F(xiàn)N是放大比例，取值范圍5 % - 25 %，優(yōu)選20 %。
[0153] 優(yōu)選地，所述可見光圖像人體目標(biāo)檢測(cè)算法模塊采用方向梯度圖（H0G)與支持向 量機(jī)(SVM)結(jié)合的人體檢測(cè)算法，先計(jì)算出可見光圖像中檢測(cè)區(qū)域的方向梯度圖，然后使用 事先訓(xùn)練好的平均人體方向梯度圖，以不同比例、不同間隔掃描檢測(cè)區(qū)域的方向梯度圖，每 次掃描都使用事先訓(xùn)練好的平均人體方向梯度圖的支持向量機(jī)，對(duì)掃描區(qū)域進(jìn)行分類，判 定是否為人體目標(biāo)。
[0154] 舉例如下：
[0155] 圖15(a)為一個(gè)可見光圖像的檢測(cè)區(qū)域，圖15(b)為圖15(a)的梯度方向圖，圖15 (c)為平均人體方向梯度圖。
[0156] 第一次掃描：
[0157] 如圖16所示，若平均人體方向梯度圖的寬高比大于檢測(cè)區(qū)域梯度方向圖的寬高 比，將平均人體方向梯度圖保持寬高比不變，放縮至與檢測(cè)區(qū)域梯度方向圖等寬，如圖16 (a);若平均人體方向梯度圖的寬高比小于檢測(cè)區(qū)域梯度方向圖的寬高比，將平均人體方向 梯度圖保持寬高比不變，放縮至與檢測(cè)區(qū)域梯度方向圖等高，如圖16(b)。然后使用支持向 量機(jī)計(jì)算事先訓(xùn)練好的各種平均人體方向梯度圖與檢測(cè)區(qū)域梯度方向圖的重疊部分的相 似度。若存在大于95 %的相似度，則為該檢測(cè)區(qū)存在人體目標(biāo);否則，不存在人體目標(biāo)。
[0158] 第二次掃描：將平均人體方向梯度圖移動(dòng)0.1倍寬或長(zhǎng)，再檢測(cè)是否存在人體目 標(biāo)。如圖17，在平均人體方向梯度圖的寬高比大于檢測(cè)區(qū)域梯度方向圖的寬高比時(shí)，將平均 人體方向梯度圖右移檢測(cè)區(qū)域?qū)挾鹊?.1倍，如圖17(a);在平均人體方向梯度圖的寬高比 小于檢測(cè)區(qū)域梯度方向圖的寬高比時(shí)，將平均人體方向梯度圖下移檢測(cè)區(qū)域長(zhǎng)度的0.1倍， 如圖17(b)。
[0159] 第一行或第一列掃描完成之后，將平均人體方向梯度圖長(zhǎng)和寬都縮小50%，再逐 行逐列檢測(cè)是否存在人體目標(biāo)。首先從檢測(cè)區(qū)域的左上角開始，如圖18(a);然后將平均人 體方向梯度圖右移0.1倍寬或長(zhǎng)，如圖18(b);第一行掃描完成后將平均人體方向梯度圖下 移0.1倍長(zhǎng)或?qū)挘鐖D18 (c);按此方式掃描，直到掃描至檢測(cè)區(qū)域的右下角。
[0160] 將存在人體的檢測(cè)區(qū)域用黑色實(shí)線矩形標(biāo)記出來(lái)，如圖19所示。
[0161] H0G+SVM的人體檢測(cè)方法準(zhǔn)確度較高，但耗時(shí)大，因而對(duì)整幅圖像進(jìn)行檢測(cè)無(wú)法滿 足實(shí)時(shí)性要求，本專利先用紅外檢測(cè)方法確定圖像中的檢測(cè)區(qū)域，再對(duì)檢測(cè)區(qū)域使用該方 法，可以大幅縮短檢測(cè)時(shí)間，滿夠到達(dá)實(shí)時(shí)性要求。
[0162] 本發(fā)明采用紅外攝像頭與可見光攝像頭協(xié)同處理，降低了單一使用紅外攝像頭或 可見光攝像頭進(jìn)行實(shí)時(shí)行人檢測(cè)時(shí)的漏檢率和誤檢率，提高了實(shí)時(shí)行人檢測(cè)的效率，滿足 了實(shí)時(shí)、準(zhǔn)確的檢測(cè)需求。
[0163] 在本申請(qǐng)所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的系統(tǒng)和方法，可以通過其 它的方式實(shí)現(xiàn)。例如，以上所描述的裝置實(shí)施例僅僅是示意性的，例如，所述單元的劃分，僅 僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如多個(gè)單元或組件可以結(jié) 合或者可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。
[0164] 所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開的，作為單元顯 示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè) 單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。
[0165] 本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中，也可以是各個(gè)單 元單獨(dú)物理存在，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成的單元既可以 采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能單元的形式實(shí)現(xiàn)。
[0166] 所述集成的單元如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用 時(shí)，可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。基于這樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上 或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式 體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī) 設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全 部或部分步驟。例如，中央處理單元可以是專用芯片、單片機(jī)等硬件實(shí)體，也可以是具有處 理功能的軟件或指令。而前述的存儲(chǔ)介質(zhì)包括:U盤、移動(dòng)硬盤、只讀存儲(chǔ)器(R0M，Read-0nly Memory)、隨機(jī)存取存儲(chǔ)器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲(chǔ)程 序代碼的介質(zhì)。
[0167] 以上所述，以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案，而非對(duì)其限制;盡管參照前 述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前 述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換;而這些 修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。
【主權(quán)項(xiàng)】
1. 暗視覺條件下的雙攝像頭實(shí)時(shí)行人檢測(cè)系統(tǒng)，其特征在于:包括中央處理單元W及 與中央處理單元相連接的W下單元： 紅外攝像頭，用于采集紅外視頻圖像； 可見光攝像頭，用于采集可見光視頻圖像； 紅外圖像檢測(cè)單元，用于檢測(cè)紅外圖像中的候選目標(biāo)是否有人體目標(biāo)，確定紅外圖像 中沒有人體目標(biāo)的候選目標(biāo)位置； 圖像對(duì)應(yīng)單元，用于對(duì)應(yīng)同一時(shí)刻的紅外視頻帖圖像與可見光視頻帖圖像； 可見光圖像檢測(cè)單元，用于對(duì)與紅外圖像同一時(shí)刻的可見光圖像進(jìn)行檢測(cè)，檢測(cè)可見 光圖像中與紅外圖像中沒有人體目標(biāo)的候選目標(biāo)位置相同的位置是否有人體目標(biāo)。2. 根據(jù)權(quán)利要求1所述暗視覺條件下的雙攝像頭實(shí)時(shí)行人檢測(cè)系統(tǒng)，其特征在于:所述 紅外圖像檢測(cè)單元包括依次連接的紅外圖像分割模塊、連通區(qū)域標(biāo)記模塊、候選目標(biāo)選取 模塊W及紅外圖像人體目標(biāo)特征提取及分類識(shí)別算法模塊； 所述紅外圖像分割模塊對(duì)紅外圖像進(jìn)行二值化分割處理得到二值化圖像； 所述連通區(qū)域標(biāo)記模塊采用兩遍掃描法對(duì)二值化處理后的圖像進(jìn)行處理，得到連通區(qū) 域； 所述候選目標(biāo)選取模塊對(duì)連通區(qū)域進(jìn)行篩選，排除干擾連通區(qū)域后得到候選目標(biāo)； 所述紅外圖像人體目標(biāo)特征提取及分類識(shí)別算法模塊，采用基于Zernike不變矩的紅 外圖像人體目標(biāo)特征提取算法及最小距離分類器，判斷候選目標(biāo)中是否有人體目標(biāo)。3. 根據(jù)權(quán)利要求2所述暗視覺條件下的雙攝像頭實(shí)時(shí)行人檢測(cè)系統(tǒng)，其特征在于:所述 紅外圖像分割模塊對(duì)紅外圖像進(jìn)行二值化分割處理得到二值化圖像，包括:采用基于直方 圖的自適應(yīng)K均值聚類紅外圖像分割算法，利用直方圖波峰確定K均值聚類的K值，并且將運(yùn) K個(gè)波峰對(duì)應(yīng)的灰度值作為聚類算法的K個(gè)初始聚類中屯、值，再通過聚類中屯、聚類前后的移 動(dòng)方向來(lái)選擇合適的波谷作為分割點(diǎn)，W此分割點(diǎn)分割得到二值化圖像;其中K為聚類個(gè) 數(shù)，其值為紅外圖像的灰度統(tǒng)計(jì)直方圖進(jìn)行滑動(dòng)均值濾波濾除偽峰和毛刺后波形中波峰個(gè) 數(shù)。4. 根據(jù)權(quán)利要求3所述暗視覺條件下的雙攝像頭實(shí)時(shí)行人檢測(cè)系統(tǒng)，其特征在于:所述 選擇合適的波谷作為分割點(diǎn)包括： 當(dāng)K=I時(shí)，若存在lW<Vj<gmax，則Vj作為分割點(diǎn)； 當(dāng)K = 2時(shí)，若存在Ui<Vj<Ui+l，且AuiXAui+l<0且Ui+l-Ui>Ui+l'-Ui'，則Vj作為分割 點(diǎn);右存在Umax< Vj <gmax，且imiax<Umax，則Vj作為分剖點(diǎn)； 如果選取的作為分割點(diǎn)的波谷不止一個(gè)，則選擇灰度值最大的波谷作為最終的分割 點(diǎn)' ； 其中，Ui表示第i個(gè)波峰，UW表示第i + 1個(gè)波峰，Vj表示第j個(gè)波谷，Umax為灰度值最大的 波峰，Umax'為聚類完成時(shí)灰度值最大的聚類中屯、，gmax為直方圖的最大灰階，Ui'表示聚類完 成后的中屯、值，Am表示聚類完成后的第i個(gè)波峰m'與第i個(gè)波峰Ui的變化量，Auw表示聚 類完成后的第i+1個(gè)波峰UW '與第i+1個(gè)波峰UW的變化量。5. 根據(jù)權(quán)利要求2所述暗視覺條件下的雙攝像頭實(shí)時(shí)行人檢測(cè)系統(tǒng)，其特征在于:所述 連通區(qū)域標(biāo)記模塊采用兩遍掃描法對(duì)二值化處理后的圖像進(jìn)行處理，得到連通區(qū)域，具體 包括： 第一遍掃描:逐行逐列掃描像素值為I的點(diǎn)，若某點(diǎn)的4領(lǐng)域沒有任何標(biāo)記，則將該點(diǎn)做 新的最小標(biāo)記;若該點(diǎn)的4領(lǐng)域有標(biāo)記，則將4領(lǐng)域標(biāo)記中的最小數(shù)字標(biāo)記賦給該點(diǎn)，并記錄 4領(lǐng)域標(biāo)記為相等關(guān)系;所述4領(lǐng)域是該點(diǎn)相鄰的上、下、左、右四個(gè)點(diǎn)； 第二遍掃描:逐行逐列掃描像素值為1的點(diǎn)，將所有點(diǎn)的標(biāo)記修改為與其相等的最小標(biāo) 記，圖像中具有相同標(biāo)記的點(diǎn)組成連通區(qū)域。6. 根據(jù)權(quán)利要求2所述暗視覺條件下的雙攝像頭實(shí)時(shí)行人檢測(cè)系統(tǒng)，其特征在于:所述 候選目標(biāo)選取模塊對(duì)連通區(qū)域進(jìn)行篩選，排除干擾連通區(qū)域后得到候選目標(biāo)，包括連通區(qū) 域像素個(gè)數(shù)大于100且連通區(qū)域占最小鄰接矩形的填充比大于0.4且最小鄰接矩形的寬高 比在0.2至1.2之間。7. 根據(jù)權(quán)利要求2所述暗視覺條件下的雙攝像頭實(shí)時(shí)行人檢測(cè)系統(tǒng)，其特征在于:所述 紅外圖像人體目標(biāo)特征提取及分類識(shí)別算法模塊，采用基于Zernike不變矩的紅外圖像人 體目標(biāo)特征提取算法及最小距離分類器，判斷候選目標(biāo)中是否有人體目標(biāo)，包括： 將候選目標(biāo)圖像放在其最小鄰接圓內(nèi)，進(jìn)行歸一化處理，即設(shè)單位1為100像素，將圓的 半徑放縮至單位1 計(jì)算候選目標(biāo)的〇至化階Zern化e矩卻q; 計(jì)算候選目標(biāo)到事先建立好的均值人體姿態(tài)樣本的歐氏距離dk;,n為Zern化e矩特征描述符的總個(gè)數(shù)，Xi為候選目標(biāo)的Zern化e矩 特征描述符，即對(duì)應(yīng)ZOO、Zl 1、…、Z88; Uki表示第k種姿態(tài)的第i個(gè)Zern化e矩特征描述符，k表 示體姿態(tài)分類種數(shù)，取值1-5; 計(jì)算dk-化，若所有dk-Tk都大于0，則該候選目標(biāo)不能確定為人體目標(biāo);若存在dk-Tk小于 0，則該候選目標(biāo)確定為人體目標(biāo);Tk表示預(yù)設(shè)闊值。8. 根據(jù)權(quán)利要求1所述暗視覺條件下的雙攝像頭實(shí)時(shí)行人檢測(cè)系統(tǒng)，其特征在于:所述 可見光圖像檢測(cè)單元包括依次相連接的檢測(cè)區(qū)域選取模塊、可見光圖像人體目標(biāo)檢測(cè)算法 模塊； 所述檢測(cè)區(qū)域選取模塊將紅外圖像中候選目標(biāo)最小鄰接矩形的長(zhǎng)寬放大，后的可見光 圖像區(qū)域作為檢測(cè)區(qū)域； 所述可見光圖像人體目標(biāo)檢測(cè)算法模塊采用方向梯度圖與支持向量機(jī)結(jié)合的人體檢 測(cè)算法，判定是否為人體目標(biāo)。9. 根據(jù)權(quán)利要求8所述暗視覺條件下的雙攝像頭實(shí)時(shí)行人檢測(cè)系統(tǒng)，其特征在于:將將 紅外圖像中候選目標(biāo)最小鄰接矩形的長(zhǎng)寬放大FN，F(xiàn)N是放大比例，取值范圍5 % - 25 %。10. 根據(jù)權(quán)利要求8所述暗視覺條件下的雙攝像頭實(shí)時(shí)行人檢測(cè)系統(tǒng)，其特征在于:所 述可見光圖像人體目標(biāo)檢測(cè)算法模塊采用方向梯度圖與支持向量機(jī)結(jié)合的人體檢測(cè)算法， 判定是否為人體目標(biāo)，包括:若平均人體方向梯度圖的寬高比大于檢測(cè)區(qū)域梯度方向圖的 寬高比，將平均人體方向梯度圖保持寬高比不變，放縮至與檢測(cè)區(qū)域梯度方向圖等寬;若平 均人體方向梯度圖的寬高比小于檢測(cè)區(qū)域梯度方向圖的寬高比，將平均人體方向梯度圖保 持寬高比不變，放縮至與檢測(cè)區(qū)域梯度方向圖等高;然后使用支持向量機(jī)計(jì)算事先訓(xùn)練好 的各種平均人體方向梯度圖與檢測(cè)區(qū)域梯度方向圖的重疊部分的相似度;若存在大于95% 的相似度，則為該檢測(cè)區(qū)存在人體目標(biāo);否則，不存在人體目標(biāo)。
【文檔編號(hào)】G06K9/20GK105913040SQ201610267971
【公開日】2016年8月31日
【申請(qǐng)日】2016年4月27日
【發(fā)明人】趙志強(qiáng), 凌鑫
【申請(qǐng)人】重慶郵電大學(xué)