本發(fā)明屬于計算機視覺與圖像處理技術(shù)領(lǐng)域,特別是涉及一種基于部位分割的人體再識別方法。
背景技術(shù):
隨著計算機視覺技術(shù)的快速發(fā)展,由于人體再識別具有非接觸性的特點,因此在公共安全、醫(yī)療保健、刑事偵查等方面有著廣闊的應(yīng)用前景。人體再識別作為行人姿態(tài)、動作、行為識別等高層應(yīng)用的基礎(chǔ),具有重要的研究意義。
目前的人體再識別研究主要有兩個方向:(1)基于特征表示的方法。雖然該類方法在一定程度可以提高再識別的準(zhǔn)確性,但是僅從整體特性考慮人體目標(biāo),缺少了對人體目標(biāo)的空間約束性信息。(2)基于距離度量學(xué)習(xí)的方法。該類方法中距離函數(shù)的性能好壞與樣本的選取息息相關(guān)。當(dāng)具有足夠多的樣本時,學(xué)習(xí)出的距離函數(shù)才能夠普遍適用于多種環(huán)境下的再識別問題。而在樣本數(shù)過少時,會出現(xiàn)過擬合現(xiàn)象。另外,實際操作時,訓(xùn)練數(shù)據(jù)樣本需要人工標(biāo)注,因此會消耗大量的人工時間成本。
基于部位分割的人體再識別屬于上述第二種方法。該方法利用在再識別前做了大量的部位分割篩選的初期工作,能夠較快速、準(zhǔn)確地再識別出目標(biāo)人體。正因為圖像采集的同時需要處理和篩選且實時性要求較高,因此需要具有較高圖像計算復(fù)雜度的微機系統(tǒng)。Farenzena M,Bazzani L,Perina A等[Person Re-identification by Symmetry-drivenAccumulation of Local Features[C].IEEE Conference on Computer Vision and PatternRecognition(CVPR),2010:2360–2367]將視頻圖像中人體除頭部以外分為四個區(qū)域,分別提取并融合加權(quán)HSV直方圖特征、最大穩(wěn)定顏色區(qū)域(MSCR)和高頻復(fù)雜結(jié)構(gòu)塊(RHSP)三種特征來判斷是否是同一個人。該方法區(qū)域分割簡單,但是魯棒性較差,沒有深層次地挖掘短間隔內(nèi)多幀圖像之間的區(qū)別。中國專利公開號CN105303152A中公開了一種將人體尺度空間劃分與顏色通道結(jié)合來進行人體再識別的方法。每個顏色通道根據(jù)人體尺度空間劃分的多層圖像區(qū)域進行空間直方圖計算。但多個顏色通道級聯(lián)形成多通道空間直方圖時受復(fù)雜多變的環(huán)境背景的影響較大,從而造成識別率低。
技術(shù)實現(xiàn)要素:
為了解決上述問題,本發(fā)明的目的在于提供一種基于部位分割的人體再識別方法。
為了達到上述目的,本發(fā)明提供的基于部位分割的人體再識別方法包括按順序進行的下列步驟:
1)圖像數(shù)據(jù)獲?。菏紫壤肒inect攝像頭采集待檢測場景的多幀圖像,然后從上述圖像中提取出人體前景圖像,去噪后依次按部位分割成部位圖像并篩選、保存;將所有需查詢的人體部位圖像保存為查詢集,所有采集到的人體部位圖像保存為候選集,并將采集到的人體部位圖像按圖像序號和部位進行保存;
2)粗識別:將需查詢的人體目標(biāo)部位圖像和候選集中所有人體部位圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間,之后獲得顏色直方圖,然后使用EMD(地球移動距離)度量顏色直方圖間的相似性,并根據(jù)部位和拍攝角度的不同分配不同的權(quán)重,最后得到人體目標(biāo)與候選集所有人體之間的總體EMD值并從小到大進行排序;
3)細識別:選取上述粗排序中排名前50%的候選集中人體數(shù)據(jù),通過人體軀干部位衣物上的圖案紋理及圖案紋理位置的不同,將軀干部位圖像在垂直、水平方向上分別投影,再分別計算人體目標(biāo)與候選集中人體軀干部位垂直和水平方向上投影的皮爾遜相關(guān)系數(shù),在粗排序的基礎(chǔ)上進行細排序,最后由人工在細排序后的結(jié)果中尋找出目標(biāo)人體。
在步驟1)中,所述的圖像數(shù)據(jù)獲取方法的具體步驟如下:
1.2)前景提取
1.1.1)利用微軟Kinect深度攝像頭和彩色攝像頭分別采集待分析場景的多幀深度圖像和RGB彩色圖像;
1.1.2)將上述深度圖像中的每一像素用2個字節(jié),共16位表示,其中前13位表示該像素的深度值,后3位表示人體索引號,每一個在Kinect攝像頭視界中的人體都會被分配一個不同的索引號,如果后3位全部為0,則表示不是人體;
1.1.3)將深度圖像上屬于人體區(qū)域的相應(yīng)像素通過坐標(biāo)映射對應(yīng)到彩色坐標(biāo)系下的彩色圖像上;
1.1.4)在彩色圖像上提取出從深度圖像上映射來的人體前景像素,并復(fù)制到創(chuàng)建的空畫布上而得到人體前景圖像,由此實現(xiàn)人體前景提?。?/p>
1.2)圖像去噪
使用開運算進行人體前景圖像去噪,開運算單元選用9×9的方形算子;
1.3)基于深度骨骼點部位分割
1.3.1)坐標(biāo)變換:將攝像頭坐標(biāo)系下的骨骼節(jié)點映射到彩色坐標(biāo)系下,由此實現(xiàn)攝像頭坐標(biāo)系、深度坐標(biāo)系、彩色坐標(biāo)系的統(tǒng)一;
1.3.2)繪制旋轉(zhuǎn)矩形:選取人體前景圖像某部位上的兩個骨骼節(jié)點P1、P2,以此兩節(jié)點間的距離為旋轉(zhuǎn)矩形的長,記為a;除了軀干部位的寬度設(shè)為長的2/3,其它部位寬度均設(shè)為長的1/2,記為b;兩個骨骼節(jié)點P1、P2坐標(biāo)的中點設(shè)為旋轉(zhuǎn)矩形的旋轉(zhuǎn)中心O,以兩個骨骼節(jié)點P1、P2的連線與水平面的夾角為旋轉(zhuǎn)角θ繪出旋轉(zhuǎn)矩形;
按此繪制方法在人體前景圖像上畫出除頭部和腳部之外的多個旋轉(zhuǎn)矩形;
1.3.3)提取通過步驟1.3.2)獲取到的每一旋轉(zhuǎn)矩形的4個角坐標(biāo),記為p1(x1,y1),p2(x2,y2),p3(x3,y3),p4(x4,y4),再判斷4個角的x坐標(biāo)x1,x2,x3,x4和y坐標(biāo)y1,y2,y3,y4的最大及最小值;將x和y坐標(biāo)的最大最小值分別記為:xmax,xmin和ymax,ymin,得到旋轉(zhuǎn)矩形最小外接矩形的4個角坐標(biāo),記為q1(xmin,ymin),q2(xmax,ymin),q3(xmax,ymax),q4(xmin,ymax);
1.3.4)根據(jù)步驟1.3.3)得到的旋轉(zhuǎn)矩形的最小外接矩形4個角的坐標(biāo)遍歷人體前景圖像,分割出的最小外接矩形內(nèi)的像素即為人體部位,記為Part1,Part2,···,Part9,分別表示軀干,右上臂,右下臂,左上臂,左下臂,右大腿,右小腿,左大腿,左小腿;
1.5)多幀部位圖像評分
部位圖像評分使用以下3項指標(biāo):
(1)非白色背景區(qū)域占整幅部位圖像的比值
具體步驟為:
1.4.1)設(shè)背景部分為sum1,前景部分為sum2,并都初始化為0;
1.4.2)遍歷部位圖像,判斷紅綠藍三顏色通道每一個像素是否為白色(255,255,255),是則sum1+1,否則sum2+1;
設(shè)前景部分占整幅部位圖像的比值為Δ,計算公式為:
(2)人體目標(biāo)在Kinect攝像頭視界中的總偏移度
人體目標(biāo)在Kinect攝像頭視界中在攝像頭坐標(biāo)系下X,Y,Z方向上的角度差分別記為α,β,γ,設(shè)總偏移度為χ,計算公式為:
(3)部位圖像清晰度
采用均方誤差法來判斷該部位圖像質(zhì)量的好壞;
均方誤差法首先計算原始理想部位圖像和失真部位圖像像素差值的均方值MSE,然后通過均方值的大小來確定失真部位圖像的失真程度,計算公式為:
其中M,N分別為部位圖像的長和寬,fij表示原始理想部位圖像的像素值,設(shè)為1,fij'表示實際拍攝的部位圖像的像素值,歸一化為(0,1);
將上述三項指標(biāo)值分別乘以不同的權(quán)重,得到總體評分K,計算公式為:
最后將人體每一部位圖像均取總體評分K最高的加以保存,其中,將所有需查詢的人體部位圖像保存為查詢集,所有采集到的人體部位圖像保存為候選集,并將采集到的人體部位圖像按圖像序號和部位進行保存;
1.5)將部位圖像尺寸分類歸一化
將候選集中所有同一部位圖像歸一化到與需查詢的人體目標(biāo)相應(yīng)部位圖像相同的大小。
在步驟2)中,所述的粗識別的具體步驟如下:
2.2)顏色空間轉(zhuǎn)換
將上述部位圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間;
設(shè)(R,G,B)分別是一個顏色的紅、綠和藍分量,它們的值已歸一化在0到1之間的實數(shù);設(shè)max等于R,G和B中的最大者,min等于這些值中的最小者;H∈[0,360)是角度的色相角,S、V∈[0,1]是飽和度和亮度,轉(zhuǎn)換公式如式(5),(6),(7)所示:
其中:
V=max (7)
2.2)獲得顏色直方圖
2.2.1)設(shè)需要統(tǒng)計的特征的數(shù)目為dim;拆分HSV顏色空間中色相角H、飽和度S和亮度V三個分量,并將三個分量分別量化為36個間隔bin,記為dimHbin1,dimHbin2,…,dimHbin36;dimSbin1,dimSbin2,…,dimSbin36;dimVbin1,dimVbin2,…,dimVbin36;
2.2.2)分別統(tǒng)計色相角H、飽和度S和亮度V三個分量上每個dimibini的像素個數(shù),由此得到顏色直方圖;
2.3)對上述顏色直方圖進行相似性度量
采用EMD來度量顏色直方圖之間的相似性,計算公式為:
其中fij表示代價函數(shù)對應(yīng)于各個元素權(quán)重的大小,dij表示為第1個特征分布的第i個元素到第2個特征分布的第j個元素之間的歐式距離;
利用式(8)計算候選集里所有相應(yīng)部位顏色直方圖與需查詢的人體目標(biāo)該部位的顏色直方圖的EMD值,并將人體9個部位的EMD值分別記為EMD1,EMD2,···,EMD9;
2.4)分配權(quán)重并排序
2.4.1)給人體9個部位分配不同的權(quán)重,并根據(jù)上述9個部位的EMD值按式(9)計算總體EMD值,計算公式為:
2.4.2)記錄候選集中所有人體目標(biāo)的總體EMD值EMDmean并從小到大進行粗排序。
在步驟3)中,所述的細識別的具體步驟如下:
3.1)計算垂直、水平投影
3.1.1)選取上述已保存的需查詢的人體目標(biāo)軀干部位圖像與粗排序中排名前50%的候選集中所有軀干部位圖像;
3.1.2)將上述所有軀干部位圖像從彩色圖像依此轉(zhuǎn)化為灰度圖像、二值圖像;
3.1.3)統(tǒng)計上述二值圖像中垂直和水平方向上每個間隔bini上白色像素的個數(shù),分別記為dim1bini,dim2bini,由此得到垂直和水平投影后的直方圖;
3.2)計算皮爾遜相關(guān)系數(shù)
計算上述二值圖像中垂直和水平投影后的直方圖的皮爾遜相關(guān)系數(shù),具體步驟如下:
3.2.1)計算數(shù)學(xué)期望E(·),公式為:
其中:pk=P{X=xk},k=1,2,…是·的分布律;
3.2.2)由步驟3.2.1)中得到的數(shù)學(xué)期望E(·)計算方差,公式為:
3.2.3)由步驟3.2.1)中得到的數(shù)學(xué)期望E(·)計算協(xié)方差,公式為:
Cov(X,Y)=E{[X-E(X)][Y-E(Y)]} (12)
其中:X,Y分別表示需查詢的人體目標(biāo)的軀干部分直方圖和候選集中人體軀干部分直方圖;
3.2.4)由上述方差和協(xié)方差分別計算需查詢的人體目標(biāo)軀干部分垂直和水平投影后的直方圖與候選集中人體軀干部分垂直和水平投影后的直方圖的皮爾遜相關(guān)系數(shù),公式為:
最后將上述計算得到的垂直和水平方向的皮爾遜相關(guān)系數(shù)從大到小進行細排序并記錄,最后由人工在細排序后的結(jié)果中尋找出目標(biāo)人體。
本發(fā)明提供的基于部位分割的人體再識別方法具有如下有益效果:
1、現(xiàn)代人衣服款式顏色多種多樣,衣袖的顏色往往和軀干部分的顏色不一樣,大腿和小腿處的褲子的顏色也會不一樣。且在監(jiān)控攝像頭中,頭部信息一般較為細微,不易找到區(qū)分度大的特征,而腳部偏小,不易采集?;谝陨峡紤],把人體除頭以外,分割為:軀干、左/右上臂、左/右下臂、左/右大腿、左/右小腿共9個部位進行再識別具有較高的識別率。
2、粗識別可以提取出與查詢集顏色相近的候選集人體,但無法縮小搜索范圍。在粗識別的基礎(chǔ)上,對于軀干部位圖像,使用投影法可以提取出軀干部位的圖案及圖案的位置信息,進一步提高了識別率。
附圖說明
圖1為本發(fā)明提供的基于部位分割的人體再識別方法流程圖。
圖2為采用Kinect深度攝像頭采集的待檢測場景中的人體深度圖像。
圖3為人體前景圖像提取過程示意圖。
圖4和圖5分別為人體前景圖像去噪前后效果圖。
圖6為標(biāo)注有25個骨骼節(jié)點位置的標(biāo)準(zhǔn)男性藍本示意圖。
圖7為人體骨骼在攝像頭坐標(biāo)系下的三維表示示意圖。
圖8為旋轉(zhuǎn)矩形的繪制方法示意圖。
圖9為旋轉(zhuǎn)矩形框出的人體部位示意圖。
圖10為旋轉(zhuǎn)矩形最小外接矩形獲取過程示意圖。
圖11為人體分割后的9個部位圖像。
圖12為人體目標(biāo)在Kinect攝像頭視界下的角度差示意圖。
圖13為皮爾遜相關(guān)系數(shù)度量過程示意圖。
具體實施方式
下面結(jié)合附圖和具體實施例對本發(fā)明提供的基于部位分割的人體再識別方法進行詳細說明。
如圖1所示,本發(fā)明提供的基于部位分割的人體再識別方法包括按順序進行的下列步驟:
1)圖像數(shù)據(jù)獲取:首先利用Kinect攝像頭采集待檢測場景的多幀圖像,然后從上述圖像中提取出人體前景圖像,去噪后依次按部位分割成部位圖像并篩選、保存;將所有需查詢的人體部位圖像保存為查詢集,所有采集到的人體部位圖像保存為候選集,并將采集到的人體部位圖像按圖像序號和部位進行保存;
具體步驟如下:
1.3)前景提取
1.1.1)利用微軟Kinect深度攝像頭和彩色攝像頭分別采集待分析場景的多幀深度圖像和RGB彩色圖像;
1.1.2)將上述深度圖像中的每一像素用2個字節(jié),共16位表示,其中前13位表示該像素的深度值,后3位表示人體索引號,每一個在Kinect攝像頭視界中的人體都會被分配一個不同的索引號,如果后3位全部為0,則表示不是人體,如圖2所示;
1.1.3)由于在步驟1.1.2)中僅從深度圖像上判斷了每一像素是否屬于某一人體,但并沒有對應(yīng)相應(yīng)的彩色信息,因此,將深度圖像上屬于人體區(qū)域的相應(yīng)像素通過坐標(biāo)映射對應(yīng)到彩色坐標(biāo)系下的彩色圖像上;
1.1.4)在彩色圖像上提取出從深度圖像上映射來的人體前景像素,并復(fù)制到創(chuàng)建的空畫布上而得到人體前景圖像,由此實現(xiàn)人體前景提取;前景提取整體流程如圖3所示:
1.2)圖像去噪
由于步驟1.1)中得到的人體前景圖像存在一些細小的噪點,因此需要對其進行去噪處理。
本發(fā)明使用開運算進行人體前景圖像去噪,開運算單元選用9×9的方形算子。圖4和圖5分別為去噪前后的效果圖。
1.3)基于深度骨骼點部位分割
準(zhǔn)確的部位分割可提高再識別的識別率。對于已經(jīng)過去噪處理的人體前景圖像,本發(fā)明的部位分割根據(jù)Kinect攝像頭軟件開發(fā)包中25個骨骼節(jié)點對應(yīng)于人體的位置信息進行,如圖6所示。
具體步驟如下:
1.3.1)坐標(biāo)變換:人體骨骼節(jié)點在Kinect攝像頭中的攝像頭坐標(biāo)系下三維表示如圖7所示。
將攝像頭坐標(biāo)系下的骨骼節(jié)點映射到彩色坐標(biāo)系下,由此實現(xiàn)攝像頭坐標(biāo)系、深度坐標(biāo)系、彩色坐標(biāo)系的統(tǒng)一。
1.3.2)繪制旋轉(zhuǎn)矩形:選取人體前景圖像某部位上的兩個骨骼節(jié)點P1、P2,以此兩節(jié)點間的距離為旋轉(zhuǎn)矩形的長,記為a。除了軀干部位的寬度設(shè)為長的2/3,其它部位寬度均設(shè)為長的1/2,記為b。兩個骨骼節(jié)點P1、P2坐標(biāo)的中點設(shè)為旋轉(zhuǎn)矩形的旋轉(zhuǎn)中心O,以兩個骨骼節(jié)點P1、P2的連線與水平面的夾角為旋轉(zhuǎn)角θ繪出旋轉(zhuǎn)矩形,如圖8所示。
按此繪制方法在人體前景圖像上畫出除頭部和腳部之外的多個旋轉(zhuǎn)矩形,由各旋轉(zhuǎn)矩形框出的各個部位的效果圖如圖9所示。去除頭部是考慮到頭部區(qū)域比較細微,不容易提取出有效信息。
1.3.3)提取通過步驟1.3.2)獲取到的每一旋轉(zhuǎn)矩形的4個角坐標(biāo),記為p1(x1,y1),p2(x2,y2),p3(x3,y3),p4(x4,y4),再判斷4個角的x坐標(biāo)x1,x2,x3,x4和y坐標(biāo)y1,y2,y3,y4的最大及最小值。將x和y坐標(biāo)的最大最小值分別記為:xmax,xmin和ymax,ymin,得到旋轉(zhuǎn)矩形最小外接矩形的4個角坐標(biāo),記為q1(xmin,ymin),q2(xmax,ymin),q3(xmax,ymax),q4(xmin,ymax),如圖10所示。
1.3.4)根據(jù)步驟1.3.3)得到的旋轉(zhuǎn)矩形的最小外接矩形4個角的坐標(biāo)遍歷人體前景圖像,分割出的最小外接矩形內(nèi)的像素即為人體部位,記為Part1,Part2,…,Part9,分別表示軀干,右上臂,右下臂,左上臂,左下臂,右大腿,右小腿,左大腿,左小腿。分割出的9個部位圖像如圖11所示。
1.6)多幀部位圖像評分
在人群流動的場景下,考慮到Kinect攝像頭可拍攝到的距離s是0.5-4.5米。通常人的步速v是2m/s,則人體目標(biāo)可被跟蹤直到該目標(biāo)消失在Kinect攝像頭的視界持續(xù)時間T大約為2s。設(shè)置Kinect攝像頭拍攝間隔t是200ms,人體目標(biāo)可被跟蹤到的時間內(nèi)可拍到幀數(shù)為w,由式計算得2s時間內(nèi)可拍10幀圖像。
由于拍攝過程運動的人體目標(biāo)相對Kinect攝像頭的角度和姿態(tài)動作在持續(xù)時間內(nèi)差異較大,不同時刻可能會有不同的部位被遮擋,因此綜合多幀數(shù)據(jù),對丟失的部位使用其他幀數(shù)據(jù)相應(yīng)部位進行補充。使用部位圖像評分的策略,對該人體的9個部位圖像進行評分并選擇最優(yōu)的部位圖像進行保存。
其中,部位圖像評分使用以下3項指標(biāo):
(1)非白色背景區(qū)域占整幅部位圖像的比值。
具體步驟為:
1.4.1)設(shè)背景部分為sum1,前景部分為sum2,并都初始化為0;
1.4.2)遍歷部位圖像,判斷紅綠藍三顏色通道每一個像素是否為白色(255,255,255),是則sum1+1,否則sum2+1。
設(shè)前景部分占整幅部位圖像的比值為Δ,計算公式為:
(2)人體目標(biāo)在Kinect攝像頭視界中的總偏移度
人體目標(biāo)在Kinect攝像頭視界中在攝像頭坐標(biāo)系下X,Y,Z方向上的角度差如圖12所示,分別記為α,β,γ。設(shè)總偏移度為χ,計算公式為:
(3)部位圖像清晰度
本發(fā)明采用均方誤差法來判斷該部位圖像質(zhì)量的好壞。
均方誤差法首先計算原始理想部位圖像和失真部位圖像像素差值的均方值MSE,然后通過均方值的大小來確定失真部位圖像的失真程度,計算公式為:
其中M,N分別為部位圖像的長和寬,fij表示原始理想部位圖像的像素值,設(shè)為1,fij'表示實際拍攝的部位圖像的像素值,歸一化為(0,1)。
將上述三項指標(biāo)值分別乘以不同的權(quán)重,得到總體評分K,計算公式為:
最后將人體每一部位圖像均取總體評分K最高的加以保存。其中,將所有需查詢的人體部位圖像保存為查詢集,所有采集到的人體部位圖像保存為候選集,并將采集到的人體部位圖像按圖像序號和部位進行保存;
1.5)將部位圖像尺寸分類歸一化
通過步驟1.1)到1.4)已實現(xiàn)人體目標(biāo)獲取及部位優(yōu)選。由于不同人體目標(biāo)拍攝距離和角度的不同,得到的相同部位圖像尺寸大小也不盡相同。為了便于后續(xù)工作的進行,將候選集中所有同一部位圖像歸一化到與需查詢的人體目標(biāo)相應(yīng)部位圖像相同的大小。
2)粗識別:將需查詢的人體目標(biāo)部位圖像和候選集中所有人體部位圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間,之后獲得顏色直方圖,然后使用EMD(地球移動距離)度量顏色直方圖間的相似性,并根據(jù)部位和拍攝角度的不同分配不同的權(quán)重,最后得到人體目標(biāo)與候選集所有人體之間的總體EMD值并從小到大進行排序;
具體步驟如下:
2.3)顏色空間轉(zhuǎn)換
Kinect攝像頭采集的圖像默認使用RGB顏色空間保存,由于HSV顏色空間在不同的光照條件下有著較小的變化,且在HSV顏色空間下提取的顏色直方圖特征具有更好的區(qū)分度,因此須將上述部位圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間。
設(shè)(R,G,B)分別是一個顏色的紅、綠和藍分量,它們的值已歸一化在0到1之間的實數(shù)。設(shè)max等于R,G和B中的最大者,min等于這些值中的最小者。H∈[0,360)是角度的色相角,S、V∈[0,1]是飽和度和亮度,轉(zhuǎn)換公式如式(5),(6),(7)所示:
其中:
V=max (7)
2.2)獲得顏色直方圖
2.2.1)設(shè)需要統(tǒng)計的特征的數(shù)目為dim。拆分HSV顏色空間中色相角H、飽和度S和亮度V三個分量,并將三個分量分別量化為36個間隔bin,記為dimHbin1,dimHbin2,…,dimHbin36;dimSbin1,dimSbin2,…,dimSbin36;dimVbin1,dimVbin2,…,dimVbin36。
2.2.2)分別統(tǒng)計色相角H、飽和度S和亮度V三個分量上每個dimibini的像素個數(shù),由此得到顏色直方圖;
2.3)對上述顏色直方圖進行相似性度量
本發(fā)明采用EMD來度量顏色直方圖之間的相似性,實現(xiàn)多對多的匹配,降低誤匹配率,計算公式為:
其中fij表示代價函數(shù)對應(yīng)于各個元素權(quán)重的大小,dij表示為第1個特征分布的第i個元素到第2個特征分布的第j個元素之間的歐式距離。
利用式(8)計算候選集里所有相應(yīng)部位顏色直方圖與需查詢的人體目標(biāo)該部位的顏色直方圖的EMD值,并將人體9個部位的EMD值分別記為EMD1,EMD2,…,EMD9。
2.4)分配權(quán)重并排序
2.4.1)給人體9個部位分配不同的權(quán)重,并根據(jù)上述9個部位的EMD值按式(9)計算總體EMD值,計算公式為:
2.4.2)記錄候選集中所有人體目標(biāo)的總體EMD值EMDmean并從小到大進行粗排序。
3)細識別:上述步驟2)中使用顏色直方圖方法從全局顏色特征出發(fā),使得候選集中與人體目標(biāo)顏色差異較大的人體排名靠后,而整體顏色特征與需查詢的人體目標(biāo)相似度高的候選集人體排名相近且靠前,但仍無法進一步確定人體目標(biāo)的排名。因此,本步驟選取上述粗排序中排名前50%的候選集中人體數(shù)據(jù),通過人體軀干部位衣物上的圖案紋理及圖案紋理位置的不同,將軀干部位圖像在垂直、水平方向上分別投影,再分別計算人體目標(biāo)與候選集中人體軀干部位垂直和水平方向上投影的皮爾遜相關(guān)系數(shù),在粗排序的基礎(chǔ)上進行細排序,最后由人工在細排序后的結(jié)果中尋找出目標(biāo)人體。
圖13是細排序中皮爾遜相關(guān)系數(shù)(Pearson Correlation Coefficient)度量的流程示意圖。
具體步驟如下:
3.1)計算垂直、水平投影
3.1.1)選取上述已保存的需查詢的人體目標(biāo)軀干部位圖像與粗排序中排名前50%的候選集中所有軀干部位圖像;
3.1.2)將上述所有軀干部位圖像從彩色圖像依此轉(zhuǎn)化為灰度圖像、二值圖像;
3.1.3)統(tǒng)計上述二值圖像中垂直和水平方向上每個間隔bini上白色像素的個數(shù),分別記為dim1bini,dim2bini,由此得到垂直和水平投影后的直方圖;
3.2)計算皮爾遜相關(guān)系數(shù)
計算上述二值圖像中垂直和水平投影后的直方圖的皮爾遜相關(guān)系數(shù)。具體步驟如下:
3.2.1)計算數(shù)學(xué)期望E(·),公式為:
其中:pk=P{X=xk},k=1,2,…是·的分布律。
3.2.2)由步驟3.2.1)中得到的數(shù)學(xué)期望E(·)計算方差,公式為:
3.2.3)由步驟3.2.1)中得到的數(shù)學(xué)期望E(·)計算協(xié)方差,公式為:
Cov(X,Y)=E{[X-E(X)][Y-E(Y)]} (12)
其中:X,Y分別表示需查詢的人體目標(biāo)的軀干部分直方圖和候選集中人體軀干部分直方圖。
3.2.4)由上述方差和協(xié)方差分別計算需查詢的人體目標(biāo)軀干部分垂直和水平投影后的直方圖與候選集中人體軀干部分垂直和水平投影后的直方圖的皮爾遜相關(guān)系數(shù),公式為:
最后將上述計算得到的垂直和水平方向的皮爾遜相關(guān)系數(shù)從大到小進行細排序并記錄,最后由人工在細排序后的結(jié)果中尋找出目標(biāo)人體。優(yōu)點是能夠在不降低識別率的同時降低計算復(fù)雜度,提高處理效率
經(jīng)過測試,本發(fā)明提供的方法能夠較為快速準(zhǔn)確地實現(xiàn)人體再識別。