專利名稱：一種紅外和可見光圖像相結(jié)合的乘客目標(biāo)檢測方法
技術(shù)領(lǐng)域：
本發(fā)明涉及乘客目標(biāo)圖像和背景分離方法，特別涉及一種紅外和可見光圖 像相結(jié)合的乘客目標(biāo)檢測方法。
背景技術(shù)：
客運車輛乘客上下門等場所常常需要統(tǒng)計在某一時間點或時間段內(nèi)上車 的乘客數(shù)量和下車的乘客數(shù)量，以此乘客統(tǒng)計數(shù)據(jù)為依據(jù)優(yōu)化運營和提高管理 水平。
統(tǒng)計客運車輛上下乘客的數(shù)量流程中，非常關(guān)鍵的一個步驟是檢測在任意 時間點是否存在乘客，以及每一個乘客在上下車過程中在該時間點所處的位 置。
申請?zhí)枮?00710036809.X的發(fā)明專利"運動目標(biāo)跟蹤及數(shù)量統(tǒng)計方法"公 開了一種主要應(yīng)用于客運汽車統(tǒng)計乘客數(shù)量的方法。該發(fā)明在車門上方安裝攝 像機完成圖像數(shù)據(jù)的采集，采用圖像識別的方法，完成乘客目標(biāo)和背景的分離。
武漢科技大學(xué)信息科學(xué)與工程學(xué)院的付曉薇在其碩士學(xué)位論文"一種基于 動態(tài)圖像的多目標(biāo)識別計數(shù)方法"中公布了一種采用幀間差和背景差的方法檢 測圖像中的乘客目標(biāo)區(qū)域，大連海事大學(xué)信號與圖像處理研究所的田京雷在 2005年全國圖象圖形學(xué)學(xué)術(shù)會議上公布了 "基于視頻的客流計數(shù)系統(tǒng)的研究" 論文(《第十二屆全國圖象圖形學(xué)學(xué)術(shù)會議論文集》，作者章毓晉，ISBN: 7302119309)，也采用背景差的方法來檢測圖像中乘客目標(biāo)區(qū)域。
以上采用圖像識別技術(shù)來統(tǒng)計乘客數(shù)量的方法，檢測乘客目標(biāo)并將乘客目 標(biāo)和背景分離是實現(xiàn)高精度乘客計數(shù)的關(guān)鍵。但是，由于攝像機所面臨的外界 工作環(huán)境極其復(fù)雜，人體上下車的行為、姿態(tài)千差萬別并且不可控。如果僅僅 采用上述方法對復(fù)雜情況下拍攝到的乘客上下車圖像進(jìn)行圖像識別，難以高效 準(zhǔn)確的將乘客目標(biāo)圖像和背景區(qū)域分離開來。

發(fā)明內(nèi)容
本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種在外界 工作環(huán)境極其復(fù)雜，人體上下車的行為和姿態(tài)千差萬別等復(fù)雜情況下乘客目標(biāo) 和背景區(qū)域的正確分離的紅外和可見光圖像相結(jié)合的乘客目標(biāo)檢測方法。
本發(fā)明的目的可以通過以下技術(shù)方案來實現(xiàn) 一種紅外和可見光圖像相結(jié) 合的乘客目標(biāo)檢測方法，其特征在于，包含以下步驟
(1) 分別接收一幅采集好的可見光圖像和紅外圖像；
(2) 檢測是否接收成功，若檢測結(jié)果為否，則返回步驟(1);
(3) 若步驟(2)中檢測的結(jié)果為是，則進(jìn)行紅外和可見光圖像預(yù)處理；
(4) 檢測是否處理成功，若檢測結(jié)果為否，則返回步驟(1);
(5) 若步驟(4)中檢測的結(jié)果為是，則進(jìn)行紅外圖像區(qū)域局部峰值檢測；
(6) 檢測是否檢測成功，若檢測結(jié)果為否，則返回步驟(1);
(7) 若步驟(6)中檢測的結(jié)果為是，則進(jìn)行運動峰值區(qū)域提??；
(8) 檢測是否提取成功，若檢測結(jié)果為否，則返回步驟(1);
(9) 若步驟(8)中檢測的結(jié)果為是，則進(jìn)行可見光圖像初分割；
(10) 檢測是否分割成功，若檢測結(jié)果為否，則返回步驟(1);
(11) 若步驟(10)中檢測的結(jié)果為是，則進(jìn)行綜合可見光圖像和紅外圖 像進(jìn)行人體區(qū)域的精細(xì)分割；
(12) 檢測是否分割成功，若檢測結(jié)果為否，則返回步驟(1);
(13) 若步驟(12)中檢測的結(jié)果為是，則進(jìn)行輸出人體區(qū)域和背景區(qū)域 分離的結(jié)果。
所述的紅外和可見光圖像預(yù)處理包括以下步驟
(1) 可見光圖像色彩空間變換，將可見光圖像由RGB色彩空間轉(zhuǎn)換為 YUV色彩空間；
(2) 圖像噪音濾波，采用3><3大小的模板進(jìn)行水平和垂直方向的中值濾波， 再采用3><3大小的模板進(jìn)行開啟運算，最后采用3><3大小的模板進(jìn)行閉合運算。
所述的紅外圖像區(qū)域局部峰值檢測包括以下步驟
(1) 采用"迭代均值偏移"算法，完成局部峰值點的檢測；
(2) 對紅外圖像進(jìn)行基于灰度直方圖統(tǒng)計特性的二值化操作，所有大于
閾值Threshold的像素點賦予標(biāo)記1，否則賦予標(biāo)記0。其中Threshold為通過 紅外圖像的灰度統(tǒng)計直方圖采用Otsu方法求解得到的二值化閾值；
(3) 消除所有標(biāo)記為O的局部峰值點；
(4) 對所有標(biāo)記為1的局部峰值，以空間距離為準(zhǔn)則進(jìn)行聚類，將在空 間相鄰的若干個局部峰值點合并為一個有效的局部峰值點。任何兩個局部峰值
點P (Xl， yi)和P (x2， y2)相鄰的判斷準(zhǔn)則為V(x, -x2)2 + (yi -y2)2 <Dist,其
中Dist是預(yù)先設(shè)定的值，一般取為6 15。 K個在空間相鄰的局部峰值點P (xk， yk) (k=0， 1， ...， K-l)合并為一個有效的新峰值點的計算方法為
1 K-l K-l
P'(x,y)=i(|;Xk，|;yk)。本步驟完成以后，有效局部峰值的個數(shù)為N。
K k=0 k=0
所述的運動峰值區(qū)域提取包括以下步驟
(1) 以紅外圖像的局部峰值點作為初始區(qū)域生長種子點，完成二值化標(biāo)
記值為1的連通區(qū)域生長操作，獲得以局部峰值點為種子點的連通區(qū)域；
(2) 計算每個連通區(qū)域的最小外接矩形R (i) (i=0， 1， ...,N-l);
(3) 將每個包含局部峰值的最小外接矩形在相鄰的前9幀連續(xù)紅外圖像 對應(yīng)位置為初始位置，進(jìn)行"迭代均值偏移"運算；
(4) 由"迭代均值偏移"算法求解得到連通區(qū)域k相對于前9幀紅外圖
像的總共十八個運動矢量值Mvl(x，:a,i卜(^-&，K。-_^)(!' = 0,1,..,8)和
Mv20c，:a，i) = (、。-、,,3>—3^)(!' = 0,l，."8)，(k=0， 1，…，N-1)。其中Mvl (x， y，
k， i )是連通區(qū)域k的最小外接矩形中心點C (x， y， k)相對于前i幀圖像 的運動矢量值，Mv2 (x， y， k， i )是連通區(qū)域k的局部峰值點P (x， y， k) 相對于前i幀的運動矢量值；
(5) 由十八個運動矢量值計算十八個投影累加和值
PMVl(k，i) = J]Mvl(x,y,k，i)cos0和PMV2(k，i) = ￡Mv2(x，y,k,i)cos<9;
i=0 i=0
(6) 求解連通區(qū)域k(k-O， 1，…，N-l)的所有18個投影累加和值中的 兩個最大投影累加和值，并將其稱為主投影累加和值MP1
(k)-max( MPVl(k，i))(ii,l,…，8)和MP2(k)=max( MPV2(k,i))(i=0，l"..,8); (7) 設(shè)置兩個累加器Counterl和Counter2，并將它們的值全部初始化為0。 計算連通區(qū)域k (k-O， 1，…，N-l)的第i個運動矢量值Mvl (x， y， k， i ) 和連通區(qū)域k的主投影累加和值MPl (k)之間的夾角，如果Mvl (x， y， k,
i )和MP1 (k)之間的夾角小于Angle度，則Counterl的值增加1。計算連 通區(qū)域k的第i個運動矢量值Mv2 (x， y， k， i )和主投影累加和值MP2 (k) 之間的夾角，如果Mv2 (x， y， k， i )和MP2 (k)之間的夾角小于45度， 則Counter2的值增加1。其中Angle是預(yù)先設(shè)置的值， 一般取30~45;
(8) 對某個連通區(qū)域k，如果以下四個條件(1) Counterl>Thresholdl， (2) Counter2〉Threshold2, (3) |MP1 (k) |>Threshold3， (4) |MP2(k)|>Threshold4
全部同時成立，則確定連通區(qū)域k是一個連續(xù)運動的區(qū)域。其中Thresholdl、 Threshold2、 Threshold3和Threshold4是預(yù)先設(shè)置的值。 一般取Thresholdl和 Threshold2的值為5 7，取Threshold3和Threshold4的值為12~20。
所述的可見光圖像初分割包括以下步驟
(1) 采用Sobd或Gaussian梯度算子計算圖像的梯度，并計算水平方向梯 度和垂直方向梯度的絕對最大值；
(2) 以圖像的絕對梯度值為輸入，采用分水線算法將圖像分割為連通的 獨立小區(qū)域。
所述的綜合可見光圖像和紅外圖像進(jìn)行人體區(qū)域的精細(xì)分割包括以下步
驟
(1) 將紅外圖像獲得的連續(xù)運動區(qū)域映射至可見光圖像所對應(yīng)的位置；
(2) 采用Markov能量最小化模型完成運動區(qū)域的精細(xì)分割；
(3) 計算連通的運動區(qū)域k的最小外接矩形(k-0， 1， ...， N)。求得的 矩形寬度、高度和面積依次記為W (k) 、 H(k)和A(k);
(4) 連通運動區(qū)域的最小外接矩形寬度、高度和面積校驗。對連通元k，
如果W (k)《W或者H (k)《H或者A (k)《A，則認(rèn)為此連通元不是候選的 人體圖像區(qū)域。其中W、 H和A為預(yù)先設(shè)定的值，根據(jù)攝像機距離汽車踏步高 度的不同， 一般取W為圖像寬度的^ 4， H為圖像高度的^^4， A為圖像面
(5) 將通過寬度、高度和面積驗證的連通運動區(qū)域的最小外接矩形的寬 和高全部歸一化，并計算歸一化的連通元圖像；
(6) 計算歸一化矩形中人體區(qū)域與標(biāo)準(zhǔn)人體模板區(qū)域之間的相關(guān)系數(shù)C;
(7) 如果相關(guān)系數(shù)C大于Threshold,則認(rèn)為是人體區(qū)域，否則不是人體 區(qū)域。其中Threshold是預(yù)先設(shè)置的值， 一般取0.6-0.8。
與現(xiàn)有技術(shù)相比，本發(fā)明方法在外界工作環(huán)境極其復(fù)雜，人體上下車的行 為和姿態(tài)千差萬別等復(fù)雜情況下，較好的解決了人體目標(biāo)圖像和背景圖象的分 離問題。


圖1是本發(fā)明紅外和可見光圖像相結(jié)合的乘客目標(biāo)檢測方法的流程圖； 圖2是本發(fā)明紅外和可見光圖像相結(jié)合的乘客目標(biāo)檢測系統(tǒng)的主要結(jié)構(gòu)示 意圖。
具體實施例方式
如圖1所示，在一種紅外和可見光圖像相結(jié)合的乘客目標(biāo)檢測方法中，步 驟l為起始步驟，分別接收一幅采集好的可見光圖像和紅外圖像；在步驟2中， 檢測是否接收成功，若檢測結(jié)果為否，則返回步驟1;若步驟2中檢測的結(jié)果 為是，則在步驟3中，進(jìn)行紅外和可見光圖像預(yù)處理；在步驟4中，檢測是否 處理成功，若檢測結(jié)果為否，則返回步驟1;若步驟4中檢測的結(jié)果為是，則 在步驟5中，進(jìn)行紅外圖像區(qū)域局部峰值檢測；在步驟6中，檢測是否檢測成 功，若檢測結(jié)果為否，則返回步驟l;若步驟6中檢測的結(jié)果為是，則在步驟 7中，進(jìn)行運動峰值區(qū)域提取；在步驟8中，檢測是否提取成功，若檢測結(jié)果 為否，則返回步驟h若步驟8中檢測的結(jié)果為是，則在步驟9中，進(jìn)行可見 光圖像初分割；在步驟10中，檢測是否分割成功，若檢測結(jié)果為否，則返回 步驟l;若步驟10中檢測的結(jié)果為是，則在步驟ll中，進(jìn)行綜合可見光圖像 和紅外圖像進(jìn)行人體區(qū)域的精細(xì)分割；在步驟12中，檢測是否分割成功，若 檢測結(jié)果為否，則返回步驟l;若步驟12中檢測的結(jié)果為是，則在步驟13中， 進(jìn)行輸出人體區(qū)域和背景區(qū)域分離的結(jié)果。
所述的紅外和可見光圖像預(yù)處理包括以下步驟 (1) 可見光圖像色彩空間變換，將可見光圖像由RGB色彩空間轉(zhuǎn)換為 YUV色彩空間；
(2) 圖像噪音濾波，采用3><3大小的模板進(jìn)行水平和垂直方向的中值濾波， 再采用3><3大小的模板進(jìn)行開啟運算，最后采用3><3大小的模板進(jìn)行閉合運算。
所述的紅外圖像區(qū)域局部峰值檢測包括以下步驟-
(1) 采用"迭代均值偏移"算法，完成局部峰值點的檢測；
(2) 對紅外圖像進(jìn)行基于灰度直方圖統(tǒng)計特性的二值化操作，所有大于 閾值Threshold的像素點賦予標(biāo)記1，否則賦予標(biāo)記0。其中Threshold為通過 紅外圖像的灰度統(tǒng)計直方圖采用Otsu方法求解得到的二值化閾值；
(3) 消除所有標(biāo)記為O的局部峰值點；
(4) 對所有標(biāo)記為1的局部峰值，以空間距離為準(zhǔn)則進(jìn)行聚類，將在空 間相鄰的若干個局部峰值點合并為一個有效的局部峰值點。任何兩個局部峰值
點P (xP yi)和P (x2， y2)相鄰的判斷準(zhǔn)則為^"-x2)2+(yi-y2)2 〈Dist,其
中Dist是預(yù)先設(shè)定的值，一般取為6 15。 K個在空間相鄰的局部峰值點P (xk， yk) (k=0， 1， ...， K-l)合并為一個有效的新峰值點的計算方法為
1 K-l K-l
P'(x,y) = l(|>k，￡yk)。本步驟完成以后，有效局部峰值的個數(shù)為N。
K k=0 k-0
所述的運動峰值區(qū)域提取包括以下步驟
(1) 以紅外圖像的局部峰值點作為初始區(qū)域生長種子點，完成二值化標(biāo) 記值為1的連通區(qū)域生長操作，獲得以局部峰值點為種子點的連通區(qū)域；
(2) 計算每個連通區(qū)域的最小外接矩形R (i) (i=0， 1，…,N-1);
(3) 將每個包含局部峰值的最小外接矩形在相鄰的前9幀連續(xù)紅外圖像
對應(yīng)位置為初始位置，進(jìn)行"迭代均值偏移"運算；
(4) 由"迭代均值偏移"算法求解得到連通區(qū)域k相對于前9幀紅外圖
像的總共十八個運動矢量值Mvl(x,;a,i)-(^-;cd,^。->^,)(!' = 0,1,..，8)和
MV2(;c,;a,i) = (xp。—Xp,.,力。一j^)(z、0，l，."8),(1^0， 1，…,N-1)。其中Mvl (x， y，
k， i )是連通區(qū)域k的最小外接矩形中心點C (x， y， k)相對于前i幀圖像 的運動矢量值，Mv2 (x， y， k， i )是連通區(qū)域k的局部峰值點P (x， y， k)
相對于前i幀的運動矢量值；
(5) 由十八個運動矢量值計算十八個投影累加和值
PMVl(k，i)=力Mvl(x,y,k，i)cos0和PMV2(k,i)=力Mv2(x，y，k，i)cos0;
i=0 i=0
(6) 求解連通區(qū)域k(k-O, 1， ...， N-l)的所有18個投影累加和值中的 兩個最大投影累加和值，并將其稱為主投影累加和值MP1
(k)=max( MPVl(k,i))(iK),l,…，8)和MP2(k)=max( MPV2(k，i))(i=0,l,.."8);
(7) 設(shè)置兩個累加器Counterl和Counter2，并將它們的值全部初始化為0。 計算連通區(qū)域k (k=0， 1，…，N-l)的第i個運動矢量值Mvl (x， y， k， i ) 和連通區(qū)域k的主投影累加和值MPl (k)之間的夾角，如果Mvl (x， y， k，
i )和MP1 (k)之間的夾角小于Angle度，則Counterl的值增加1。計算連 通區(qū)域k的第i個運動矢量值Mv2 (x， y， k， i )和主投影累加和值MP2 (k) 之間的夾角，如果Mv2 (x， y， k， i )和MP2 (k)之間的夾角小于45度， 則Counter2的值增加1。其中Angle是預(yù)先設(shè)置的值， 一般取30 45;
(8) 對某個連通區(qū)域k，如果以下四個條件(1) Counterl>Thresholdl, (2) Counter2〉Threshold2, (3) |MP1 (k) |>Threshold3， (4) |MP2(k)|>Threshold4
全部同時成立，則確定連通區(qū)域k是一個連續(xù)運動的區(qū)域。其中Thresholdl、 Threshold2、 Threshold3和Threshold4是預(yù)先設(shè)置的值。 一般取Thresholdl和 Threshold2的值為5~7，取Threshold3和Threshold4的值為12~20。
所述的可見光圖像初分割包括以下步驟
(1) 采用Sobd或Gaussian梯度算子計算圖像的梯度，并計算水平方向梯 度和垂直方向梯度的絕對最大值；
(2) 以圖像的絕對梯度值為輸入，采用分水線算法將圖像分割為連通的 獨立小區(qū)域。
所述的綜合可見光圖像和紅外圖像進(jìn)行人體區(qū)域的精細(xì)分割包括以下步
驟
U)將紅外圖像獲得的連續(xù)運動區(qū)域映射至可見光圖像所對應(yīng)的位置；
(2) 采用Markov能量最小化模型完成運動區(qū)域的精細(xì)分割；
(3) 計算連通的運動區(qū)域k的最小外接矩形(k=0， 1， ...， N)。求得的 矩形寬度、高度和面積依次記為W (k) 、 H(k)和A(k);
(4)連通運動區(qū)域的最小外接矩形寬度、高度和面積校驗。對連通元k， 如果W (k)《W或者H (k)《H或者A (k)《A，則認(rèn)為此連通元不是候選的 人體圖像區(qū)域。其中W、 H和A為預(yù)先設(shè)定的值，根據(jù)攝像機距離汽車踏步高 度的不同， 一般取W為圖像寬度的^ ;，H為圖像高度的^ 1， A為圖像面
(5) 將通過寬度、高度和面積驗證的連通運動區(qū)域的最小外接矩形的寬 和高全部歸一化，并計算歸一化的連通元圖像；
(6) 計算歸一化矩形中人體區(qū)域與標(biāo)準(zhǔn)人體模板區(qū)域之間的相關(guān)系數(shù)C;
(7) 如果相關(guān)系數(shù)C大于Threshold,則認(rèn)為是人體區(qū)域，否則不是人體 區(qū)域。其中Threshold是預(yù)先設(shè)置的值， 一般取0.6~0.8。
如圖2所示，該圖2是本發(fā)明紅外和可見光圖像相結(jié)合的乘客目標(biāo)檢測系 統(tǒng)的主要結(jié)構(gòu)示意圖，其結(jié)構(gòu)包含可見光攝像機14、紅外攝像機15、可見光 補光光源16、信號傳輸電纜17、圖像采集裝置18、運算處理器19。可見光補 光光源16、可見光攝像機14和紅外攝像機15固定垂直或略微向車門內(nèi)或車門 外傾斜一個小角度安裝在車門正上方的車輛頂棚上，并且確?？梢姽庋a光光源 16的光照射主軸方向和可見光攝像機14鏡頭拍攝圖像的主軸方向同軸。紅外 攝像機15和可見光攝像機14盡可能靠在一起安裝且保證兩個攝像機的主軸方 向平行。圖像采集裝置18和運算處理器19組成運算主機，安裝在車體內(nèi)任何 隱蔽的位置?？梢姽鈹z像機14和紅外攝像機15通過信號傳輸電纜17和圖像 采集裝置18相連，圖像采集裝置18和運算處理器19的數(shù)據(jù)總線相連。
在固定安裝好可見光攝像機14和紅外攝像機15以后，需要對它們在圖像 空間中進(jìn)行標(biāo)定確定可見光攝像機14所拍攝圖像的每個像素點對應(yīng)于紅外 攝像機15所拍攝圖像的哪個像素點。在此，采用手工標(biāo)定的方法，步驟如下
1. 分別采集一幅可見光圖像和一幅紅外圖像，要求在兩圖像中除了背景以 外沒有任何其它的運動物體。
2. 用鼠標(biāo)依次在兩幅圖像中選擇四對對應(yīng)點，而且這四對對應(yīng)點盡可能位 于兩幅圖像的四個角上，任何兩個像素不能有重合的對應(yīng)點。
3. 將四對像素點對齊，采用最小二乘擬合法確定一個最佳的平移旋轉(zhuǎn)參數(shù)
值(a， b， e)，其中a為水平方向的平移，b為垂直方向的平移，e為相對
于坐標(biāo)原點的旋轉(zhuǎn)角度。
4.對可見光圖像中的每個像素點(x, y)，采用以上計算得到的平移旋轉(zhuǎn) 參數(shù)值，由以下公式計算得到在紅外圖像中的對應(yīng)點坐標(biāo)
(x',y') = (x*Cos6>+a， y*Cos6> + b)。
一旦手工標(biāo)定完成，在以后的圖像識別過程中所采集的每一幀可見光圖像 和紅外圖像均采用以上對應(yīng)點映射模型將這兩幅圖像之間的像素點一一對應(yīng) 起來。
權(quán)利要求
1. 一種紅外和可見光圖像相結(jié)合的乘客目標(biāo)檢測方法，其特征在于，包含以下步驟(1)分別接收一幅采集好的可見光圖像和紅外圖像；(2)檢測是否接收成功，若檢測結(jié)果為否，則返回步驟(1)；(3)若步驟(2)中檢測的結(jié)果為是，則進(jìn)行紅外和可見光圖像預(yù)處理；(4)檢測是否處理成功，若檢測結(jié)果為否，則返回步驟(1)；(5)若步驟(4)中檢測的結(jié)果為是，則進(jìn)行紅外圖像區(qū)域局部峰值檢測；(6)檢測是否檢測成功，若檢測結(jié)果為否，則返回步驟(1)；(7)若步驟(6)中檢測的結(jié)果為是，則進(jìn)行運動峰值區(qū)域提取；(8)檢測是否提取成功，若檢測結(jié)果為否，則返回步驟(1)；(9)若步驟(8)中檢測的結(jié)果為是，則進(jìn)行可見光圖像初分割；(10)檢測是否分割成功，若檢測結(jié)果為否，則返回步驟(1)；(11)若步驟(10)中檢測的結(jié)果為是，則進(jìn)行綜合可見光圖像和紅外圖像進(jìn)行人體區(qū)域的精細(xì)分割；(12)檢測是否分割成功，若檢測結(jié)果為否，則返回步驟(1)；(13)若步驟(12)中檢測的結(jié)果為是，則進(jìn)行輸出人體區(qū)域和背景區(qū)域分離的結(jié)果。
2. 根據(jù)權(quán)利要求1所述的一種紅外和可見光圖像相結(jié)合的乘客目標(biāo)檢測 方法，其特征在于，所述的紅外和可見光圖像預(yù)處理包括以下步驟(1) 可見光圖像色彩空間變換，將可見光圖像由RGB色彩空間轉(zhuǎn)換為 YUV色彩空間；(2) 圖像噪音濾波，采用3><3大小的模板進(jìn)行水平和垂直方向的中值濾波， 再采用3"大小的模板進(jìn)行開啟運算，最后采用3><3大小的模板進(jìn)行閉合運算。
3. 根據(jù)權(quán)利要求1所述的一種紅外和可見光圖像相結(jié)合的乘客目標(biāo)檢測 方法，其特征在于，所述的紅外圖像區(qū)域局部峰值檢測包括以下步驟(1) 采用"迭代均值偏移"算法，完成局部峰值點的檢測；(2) 對紅外圖像進(jìn)行基于灰度直方圖統(tǒng)計特性的二值化操作，所有大于 閾值Threshold的像素點賦予標(biāo)記1，否則賦予標(biāo)記0。其中Threshold為通過 紅外圖像的灰度統(tǒng)計直方圖采用Otsu方法求解得到的二值化閾值；(3) 消除所有標(biāo)記為O的局部峰值點；(4) 對所有標(biāo)記為1的局部峰值，以空間距離為準(zhǔn)則進(jìn)行聚類，將在空 間相鄰的若干個局部峰值點合并為一個有效的局部峰值點。任何兩個局部峰值 點P (Xl， yi)和P (x2， y2)相鄰的判斷準(zhǔn)則為-x2)2 + (y, -y2)2 <Dist,其 中Dist是預(yù)先設(shè)定的值，一般取為6 15。 K個在空間相鄰的局部峰值點P (xk， yk) (k=0， 1, ...， K-l)合并為一個有效的新峰值點的計算方法為<formula>formula see original document page 3</formula>本步驟完成以后，有效局部峰值的個數(shù)為N。
4.根據(jù)權(quán)利要求1所述的一種紅外和可見光圖像相結(jié)合的乘客目標(biāo)檢測 方法，其特征在于，所述的運動峰值區(qū)域提取包括以下步驟(1) 以紅外圖像的局部峰值點作為初始區(qū)域生長種子點，完成二值化標(biāo)記值為1的連通區(qū)域生長操作，獲得以局部峰值點為種子點的連通區(qū)域；(2) 計算每個連通區(qū)域的最小外接矩形R (i) (i=0， 1， ...，N-l);(3) 將每個包含局部峰值的最小外接矩形在相鄰的前9幀連續(xù)紅外圖像對應(yīng)位置為初始位置，進(jìn)行"迭代均值偏移"運算；(4) 由"迭代均值偏移"算法求解得到連通區(qū)域k相對于前9幀紅外圖像的總共十八個運動矢量值Mvl(x,:a,i)"^-&,凡。-&)(!' = 0,1，..，8)和 Mv2(x，>a，i) = (xp。-xp,，々。-々,)(!' = 0,l,."8)，(k=0， 1，…，N-1)。其中Mvl (x， y， k， i )是連通區(qū)域k的最小外接矩形中心點C (x， y， k)相對于前i幀圖像 的運動矢量值，Mv2 (x， y， k， i )是連通區(qū)域k的局部峰值點P (x， y， k) 相對于前i幀的運動矢量值；(5) 由十八個運動矢量值計算十八個投影累加和值PMVl(k,i)=玄Mvl(x，y，k，i)cos0和PMV2(k，i) 二 tMv2(x,y，k,i)cos0;i=0 i=0(6) 求解連通區(qū)域k(k-0， 1， ...， N-l)的所有18個投影累加和值中的 兩個最大投影累加和值，并將其稱為主投影累加和值MP1(k)=max( MPVl(k,i))(i:0，l，…，8)和MP2(k)=max( MPV2(k，i))(i=0，l,.."8);(7) 設(shè)置兩個累加器Counterl和Counter2，并將它們的值全部初始化為0。 計算連通區(qū)域k (k=0， 1，…，N-l)的第i個運動矢量值Mvl (x， y， k, i ) 和連通區(qū)域k的主投影累加和值MPl (k)之間的夾角，如果Mvl (x， y， k，i )和MP1 (k)之間的夾角小于Angle度，則Counterl的值增加1。計算連 通區(qū)域k的第i個運動矢量值Mv2 (x， y， k， i )和主投影累加和值MP2 (k) 之間的夾角，如果Mv2 (x， y， k， i )和MP2 (k)之間的夾角小于45度， 則Counter2的值增加1。其中Angle是預(yù)先設(shè)置的值， 一般取30~45;(8) 對某個連通區(qū)域k,如果以下四個條件(1) Counterl>Thresholdl, (2) Counter2〉Threshold2， (3) |MP1 (k) |>Threshold3, (4) |MP2(k)|>Threshold4全部同時成立，則確定連通區(qū)域k是一個連續(xù)運動的區(qū)域。其中Thresholdl、 Threshold2、 Threshold3和Threshold4是預(yù)先設(shè)置的值。一般取Thresholdl和 Threshold2的值為5 7，取Threshold3和Threshold4的值為12~20。
5. 根據(jù)權(quán)利要求1所述的一種紅外和可見光圖像相結(jié)合的乘客目標(biāo)檢測方法，其特征在于，所述的可見光圖像初分割包括以下步驟(1) 采用Sobel或Gaussian梯度算子計算圖像的梯度，并計算水平方向梯 度和垂直方向梯度的絕對最大值；(2) 以圖像的絕對梯度值為輸入，采用分水線算法將圖像分割為連通的 獨立小區(qū)域。
6. 根據(jù)權(quán)利要求1所述的一種紅外和可見光圖像相結(jié)合的乘客目標(biāo)檢測 方法，其特征在于，所述的綜合可見光圖像和紅外圖像進(jìn)行人體區(qū)域的精細(xì)分 割包括以下步驟-(1) 將紅外圖像獲得的連續(xù)運動區(qū)域映射至可見光圖像所對應(yīng)的位置；(2) 采用Markov能量最小化模型完成運動區(qū)域的精細(xì)分割；(3) 計算連通的運動區(qū)域k的最小外接矩形(k=0， 1，…，N)。求得的矩形寬度、高度和面積依次記為W (k) 、 H(k)和A(k);(4) 連通運動區(qū)域的最小外接矩形寬度、高度和面積校驗。對連通元k，如果W (k)《W或者H (k)《H或者A (k)《A，則認(rèn)為此連通元不是候選的 人體圖像區(qū)域。其中W、 H和A為預(yù)先設(shè)定的值，根據(jù)攝像機距離汽車踏步高度的不同， 一般取W為圖像寬度的^ 4， H為圖像高度的^ 4， A為圖像面 (5) 將通過寬度、高度和面積驗證的連通運動區(qū)域的最小外接矩形的寬 和高全部歸一化，并計算歸一化的連通元圖像；(6) 計算歸一化矩形中人體區(qū)域與標(biāo)準(zhǔn)人體模板區(qū)域之間的相關(guān)系數(shù)C;(7) 如果相關(guān)系數(shù)C大于Threshold,則認(rèn)為是人體區(qū)域，否則不是人體 區(qū)域。其中Threshold是預(yù)先設(shè)置的值， 一般取0.6-0.8。
全文摘要
本發(fā)明涉及一種紅外和可見光圖像相結(jié)合的乘客目標(biāo)檢測方法，包含以下步驟分別接收一幅采集好的可見光圖像和紅外圖像；檢測是否接收成功，若為是，則進(jìn)行紅外和可見光圖像預(yù)處理；檢測是否處理成功，若為是，則進(jìn)行紅外圖像區(qū)域局部峰值檢測；檢測是否檢測成功，若為是，則進(jìn)行運動峰值區(qū)域提?。粰z測是否提取成功，若為是，則進(jìn)行可見光圖像初分割；檢測是否分割成功，若為是，則進(jìn)行綜合可見光圖像和紅外圖像進(jìn)行人體區(qū)域的精細(xì)分割；檢測是否分割成功，若為是，則進(jìn)行輸出人體區(qū)域和背景區(qū)域分離的結(jié)果。與現(xiàn)有技術(shù)相比，本發(fā)明方法在人體上下車的行為和姿態(tài)千差萬別等復(fù)雜情況下，較好的解決了人體目標(biāo)圖像和背景圖像的分離問題。
文檔編號G06K9/62GK101383004SQ200710045688
公開日2009年3月11日 申請日期2007年9月6日 優(yōu)先權(quán)日2007年9月6日
發(fā)明者萬長明, 薇 姚 申請人:上海遙薇實業(yè)有限公司