基于顏色區(qū)域特征的行人重識別方法及系統(tǒng)的制作方法
【專利摘要】一種數(shù)字圖像處理【技術(shù)領(lǐng)域】的基于在線聚類提取的顏色區(qū)域特征的行人重識別方法及系統(tǒng)，以只包含單個行人的矩形圖像或通過跟蹤結(jié)果從原始視頻圖像中裁取出目標(biāo)矩形框作為輸入圖像，經(jīng)前景提取和在線聚類提取得到顏色區(qū)域，再將顏色區(qū)域的統(tǒng)計(jì)特征作為局部特征應(yīng)用于人物重識別。本發(fā)明能夠充分地利用行人外貌的局部顏色分布結(jié)構(gòu)信息，從而大大提高行人重識別的準(zhǔn)確率。
【專利說明】基于顏色區(qū)域特征的行人重識別方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及的是一種數(shù)字圖像處理【技術(shù)領(lǐng)域】的方法及系統(tǒng)，具體是一種基于在線 聚類提取的顏色區(qū)域特征的行人重識別方法及系統(tǒng)。

【背景技術(shù)】
[0002] 在智能視頻處理日益發(fā)達(dá)的現(xiàn)代社會，攝像頭已經(jīng)遍布大街小巷，對于海量的視 頻數(shù)據(jù)，如何智能地進(jìn)行視頻分析為十分重要的課題。行人檢測、目標(biāo)跟蹤等研究領(lǐng)域都取 得了長足的發(fā)展，而作為銜接這兩個課題的人物重識別技術(shù)也在最近十年取得了飛速的發(fā) 展，涌現(xiàn)了一大批的行人外貌特征提取和表示方法。在視頻監(jiān)控中，往往有成千上萬個攝像 頭，而這些攝像頭彼此之間沒有交疊，那么如何將兩個互不交疊的攝像頭中檢測出的目標(biāo) 聯(lián)系起來，實(shí)現(xiàn)跨攝像頭的接力跟蹤就是行人重識別要解決的問題。行人重識別在安防、居 家養(yǎng)老等方面都有巨大的應(yīng)用前景。但是由于不同的攝像頭安放的位置、場景不同，導(dǎo)致不 同攝像頭下的人物圖像存在不同程度的顏色變化和幾何變化，再加上復(fù)雜的監(jiān)控場景下， 行人之間存在不同程度的遮擋，使得不同攝像頭下的行人重識別問題變得更加棘手。行人 重識別面臨的主要問題是光照、視角、姿勢、遮擋等的變化，為了解決上述問題，目前針對行 人重識別的研究主要分為以下兩類。一類是基于底層特征提取的行人外貌特征匹配方法， 它的側(cè)重點(diǎn)是提取出對不同攝像頭間的光照、視角、姿勢、遮擋等變化具有不變性的特征， 以提高行人外貌的匹配準(zhǔn)確率。另一類方法則是對簡單的歐式空間的距離比較方法進(jìn)行改 進(jìn)，設(shè)計(jì)能夠反映不同攝像頭間的光照、視角、姿勢、遮擋等變化的度量方法，使得即使不是 很有區(qū)分度的特征，也能達(dá)到很高的匹配率。第一類方法一般是非監(jiān)督的，不需要進(jìn)行數(shù)據(jù) 的標(biāo)定，但是特征提取的方法往往比第二類方法復(fù)雜，第二類方法一般是基于學(xué)習(xí)的方法， 需要進(jìn)行數(shù)據(jù)的標(biāo)定，但是因?yàn)樗軌蛴斜O(jiān)督的學(xué)習(xí)到攝像頭間的變換關(guān)系，因此行人重 識別的準(zhǔn)確率一般高于第一類方法，但是這種變換關(guān)系只是針對特定的攝像機(jī)間，對于每 一對攝像機(jī)都要學(xué)習(xí)它們的變換關(guān)系，使得這類方法的泛化能力不夠好。
[0003] 通過大量的文獻(xiàn)檢索，我們發(fā)現(xiàn)現(xiàn)有的運(yùn)用底層特征匹配進(jìn)行行人重識別的方 法，提取的特征主要包括顏色特征（如HSV直方圖，MSCR)、紋理特征（如局部二值模式LBP， Garbor filters等），形狀特征（如H0G特征）以及關(guān)鍵點(diǎn)（SIFT，SURF等），大部分的方 法是將上述幾種特征進(jìn)行組合，以彌補(bǔ)單個特征區(qū)分度和代表性不足的缺點(diǎn)。但是它們 大多數(shù)是基于像素點(diǎn)的特征（MSCR除外），而基于像素點(diǎn)的特征不夠魯棒且很容易受到噪 聲影響。此外，由于以上特征提取方法在特征提取過程中沒有考慮位置信息，所以研究者 們設(shè)計(jì)了一些位置對準(zhǔn)的策略，但是仍然很難解決由行人姿勢變化帶來的特征位置不對準(zhǔn) 情況。經(jīng)過文獻(xiàn)檢索，我們還發(fā)現(xiàn)，顏色特征在多數(shù)情況下，是最好的行人外貌描述特征， 目前已經(jīng)有研究者開始關(guān)注利用顏色的分布特征來表征行人外貌，進(jìn)行行人重識別。Igor Kviatkovsky 等人在 2013 年的〈〈IEEE Transactions on Pattern Analysis and Machine Intelligence》中的"Color Invariants for Person Reidentification"一文中，利用行人 外貌顏色的多模態(tài)分布特性（multimodal distribution)，將行人的上下身顏色信息分布 進(jìn)行建模，再通過模型匹配進(jìn)行人物重識別。這種方法雖然僅僅利用了顏色信息，卻取得了 很好的行人重識別效果。但是這種方法將上下身顏色的結(jié)構(gòu)信息限制為橢圓形分布，而實(shí) 際情況下，行人外貌的顏色分布顯然不一定是上下身顏色信息簡單地服從橢圓分布，因此 這種方法還是沒有能夠充分利用顏色的局部分布信息。
[0004] 中國專利文獻(xiàn)號0附038104764，公開（公告）日2014.05.21，公開了一種基于小 群體信息關(guān)聯(lián)的視頻監(jiān)控網(wǎng)絡(luò)中行人重識別方法，該技術(shù)監(jiān)控網(wǎng)絡(luò)中多攝像頭的行人重識 別過程中，尤其是在行人特征的提取和匹配的過程中，行人的特征極易受到場景變化、光照 變化的影響而造成重識別率的降低，同時大范圍的監(jiān)控網(wǎng)絡(luò)中也會存在一些穿著相似的行 人造成行人錯誤的重識別，為了提高行人的重識別率，降低外界因素對行人重識別的影響， 該技術(shù)根據(jù)小群體信息的關(guān)聯(lián)性，將行人小群體特征作為行人重識別的一個重要特征，主 要解決視頻監(jiān)控網(wǎng)絡(luò)中行人重識別準(zhǔn)確率低、精度不高的問題。但該技術(shù)首先要對人體進(jìn) 行分割，并且利用了視頻跟蹤過程中的軌跡信息，其使用過程復(fù)雜度較高。
[0005] 中國專利文獻(xiàn)號CN104021544A公開（公告）日2014. 09. 03,公開了一種溫室蔬菜 病害監(jiān)控視頻關(guān)鍵幀提取方法及提取系統(tǒng)，該技術(shù)將視覺顯著性與在線聚類算法相結(jié)合， 首先利用X2直方圖法進(jìn)行幀間差異度量，剔除具有相似特征的視頻幀圖像對算法計(jì)算量 的影響；其次將視頻幀圖像轉(zhuǎn)到HSV顏色空間，結(jié)合溫室蔬菜監(jiān)控視頻的特點(diǎn)，利用H、S通 道計(jì)算視覺顯著圖，提取視頻幀圖像中的顯著性區(qū)域，然后利用形態(tài)學(xué)方法對顯著性區(qū)域 中可能丟失的病斑信息進(jìn)行修復(fù)；最終利用在線聚類算法和像素幀平均算法實(shí)現(xiàn)關(guān)鍵幀提 取。該方法可以有效的獲取溫室蔬菜監(jiān)控視頻中病害的信息，為溫室蔬菜病害的準(zhǔn)確識別 奠定堅(jiān)實(shí)的基礎(chǔ)。該技術(shù)得與圖像處理、模式識別等技術(shù)結(jié)合的基礎(chǔ)上，會在設(shè)施蔬菜病害 識別方面有很大的貢獻(xiàn)。但該技術(shù)需要先進(jìn)行顯著性區(qū)域的提取，再利用在線聚類進(jìn)行關(guān) 鍵幀的提取。而在人物重識別中，由于光照、視角、姿勢等的變化，同一行人在不同攝像頭下 的顯著性區(qū)域，往往是不相同的，因此該技術(shù)也難以適用于人物重識別領(lǐng)域。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明針對現(xiàn)有技術(shù)存在的上述不足，提出一種基于在線聚類提取的顏色區(qū)域特 征的行人重識別方法及系統(tǒng)，能夠充分地利用行人外貌的局部顏色分布結(jié)構(gòu)信息，從而大 大提商行人重識別的準(zhǔn)確率。
[0007] 本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的：
[0008] 本發(fā)明涉及一種基于在線聚類提取的顏色區(qū)域特征的行人重識別方法，以只包含 單個行人的矩形圖像或通過跟蹤結(jié)果從原始視頻圖像中裁取出目標(biāo)矩形框作為輸入圖像， 經(jīng)前景提取和在線聚類提取得到顏色區(qū)域，再將顏色區(qū)域的統(tǒng)計(jì)特征作為局部特征應(yīng)用于 人物重識別。所述的方法具體包括以下步驟：
[0009] 步驟1)利用前景提取算法進(jìn)行目標(biāo)行人圖像的前景背景分離，得到前景區(qū)域；
[0010] 步驟2)對提取的前景區(qū)域進(jìn)行在線聚類，得到原始的顏色區(qū)域；
[0011] 所述的在線聚類是指：以像素為單位遍歷圖像，計(jì)算圖像中任一一點(diǎn)的通道值與 初始聚類中心之間的距離，以滿足其與最小值之差小于聚類閾值為條件，將滿足條件的像 素點(diǎn)作為該最小值的聚類，否則作為新建聚類，同時將初始聚類中心更新為該聚類的平均 值；完成遍歷后同一個聚類內(nèi)的像素點(diǎn)可以視為屬于同一個顏色區(qū)域，且區(qū)域的顏色值統(tǒng) 一為聚類中心的顏色值。
[0012] 所述的通道值優(yōu)選為：在lab顏色空間的（a，b)通道下的通道值。
[0013] 所述的初始聚類中心是指：圖像任一一個像素點(diǎn)的（a，b)通道值，優(yōu)選為左上角 且遍歷結(jié)束于右下角。
[0014] 步驟3)考慮空間分布和顏色距離，將相關(guān)顏色區(qū)域進(jìn)行合并，得到最終的局部顏 色區(qū)域；
[0015] 所述的合并是指：當(dāng)任兩個顏色區(qū)域同時滿足其之間的聚類中心顏色值的歐氏距 離以及其聚類中心的平均位置的歐氏距離分別小于顏色閾值和平均位置閾值時，合并該兩 個顏色區(qū)域，且設(shè)置合并后區(qū)域內(nèi)所有像素點(diǎn)的通道值的平均值為新的聚類中心。
[0016] 所述的聚類中心的平均位置指的是聚類內(nèi)所有像素點(diǎn)的坐標(biāo)的平均值；
[0017] 步驟4)對提取出的顏色區(qū)域進(jìn)行描述，作為行人重識別的特征表達(dá)；
[0018] 步驟5)利用步驟4中的特征進(jìn)行行人重識別。
[0019] 本發(fā)明涉及上述方法的實(shí)現(xiàn)裝置，包括：依次連接的背景分離模塊、在線聚類模 塊、顏色區(qū)域合并模塊、特征描述模塊以及重識別模塊，其中：背景分離模塊進(jìn)行前景提取 處理，并向在線聚類模塊輸出前景蒙版信息，在線聚類模塊進(jìn)行行人外貌主要顏色區(qū)域的 提取處理，并向顏色區(qū)域合并模塊輸出初始的顏色區(qū)域信息，顏色區(qū)域合并模塊對初始的 顏色區(qū)域模塊進(jìn)行合并處理，并向特征描述模塊輸出最終的顏色區(qū)域信息，特征描述模塊 進(jìn)行特征的描述與表達(dá)處理，并向重識別模塊輸出六維的特征向量信息，重識別模塊進(jìn)行 行人間特征向量的匹配處理，并給出最終的重識別結(jié)果。

【專利附圖】

【附圖說明】
[0020] 圖1為本發(fā)明流程圖。
[0021] 圖2為本發(fā)明特征提取算法流程圖。
[0022] 圖3為人物重識別常用的數(shù)據(jù)集中的隨機(jī)抽取的幾組待匹配的行人圖像。
[0023] 圖4為本發(fā)明所提出的方法的可視化的識別效果圖，第一列為待匹配的圖像，其 他列為利用本發(fā)明提取的特征，進(jìn)行特征匹配后，得出的排名前十的匹配圖像，第二列為按 照本發(fā)明的方法得到的最匹配圖像。
[0024] 圖5為本發(fā)明所提出的特征，應(yīng)用于人物重識別時，與其他方法的準(zhǔn)確率比較圖。

【具體實(shí)施方式】
[0025] 下面對本發(fā)明的實(shí)施例作詳細(xì)說明，本實(shí)施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行 實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施 例。 實(shí)施例1
[0026] 如圖1所示，本實(shí)施例包括以下步驟：
[0027] 步驟1)利用前景提取算法進(jìn)行目標(biāo)行人圖像的前景背景分離，得到前景區(qū)域。
[0028] 步驟 1 具體是利用文獻(xiàn)"Stel component analysis:Modeling spatial correlations in image class structure(STEL成分分析：對圖像類結(jié)構(gòu)的空間相關(guān)性 建模），'（J〇jic，N. Microsoft Res. , Redmond, WA, USA Perina, A. ；Cristani, M. ；Murino, V. ；Frey, B. <Computer Vision and Pattern Recognition),2009. CVPR 2009.IEEE Conference 2009.6.20)中的方法，本方法直接使用了作者提供的代碼進(jìn)行前景分離，具體 使用方法如下：
[0029] 1. 1)將數(shù)據(jù)集中所有的圖像進(jìn)行聚類（本實(shí)施例中聚類數(shù)設(shè)為128);
[0030] 1. 2)再將每一幅圖像的每一個像素點(diǎn)與聚類中心進(jìn)行比較，將距離最近的距離中 心號作為該像素的值，這樣可以得到輸入矩陣；
[0031] 1. 3)將得到的輸入矩陣帶入上述文獻(xiàn)中所提供的scadlearn.m程序中，并對輸出 后驗(yàn)概率Qs進(jìn)行二值化（本實(shí)施例將閾值設(shè)為0. 5)，Qs大于閾值的點(diǎn)設(shè)為1，反之為0,得 到前景蒙版。
[0032] 1. 4)將前景蒙版與原始圖像逐像素相乘，可以提取出前景區(qū)域。
[0033] 步驟2)對提取的前景區(qū)域進(jìn)行在線聚類，得到原始的顏色區(qū)域。
[0034] 所述的前景區(qū)域是由步驟1)得到的，背景區(qū)域的像素值被設(shè)為0。為了減小光照 等帶來的影響，在線聚類在lab顏色空間的（a，b)通道進(jìn)行，所述的在線聚類方法如圖2所 示，具體步驟如下：
[0035] 2. 1)將圖像左上角像素點(diǎn)的（a，b)通道值作為第一個聚類的聚類中心；
[0036] 2. 2)順序掃描像素點(diǎn)（從上到下、從左到右），并將每一個像素點(diǎn)（a，b)通道值與 現(xiàn)有的聚類中心進(jìn)行歐式距離比較，并找出最小距離d ;
[0037] 2. 3)若d彡thresholdl，則將當(dāng)前像素點(diǎn)歸入距離為d的聚類，并且將此聚類的 聚類中心更新為類內(nèi)所有像素的通道值的平均值，此處的thresholdl設(shè)為15 ;
[0038] 2. 4)反之，若d > thresholdl，則初始化一個新的類，并將該聚類中心初始化為當(dāng) 前像素點(diǎn)的顏色值；
[0039] 2. 5)如此循環(huán)，直到計(jì)算到右下角的像素點(diǎn)，這樣同一個聚類內(nèi)的像素點(diǎn)可以視 為屬于同一個顏色區(qū)域，且區(qū)域的顏色值統(tǒng)一為聚類中心的顏色值。
[0040] 步驟3)考慮空間分布和顏色距離，將相關(guān)顏色區(qū)域進(jìn)行合并，得到最終的局部顏 色區(qū)域。
[0041] 由于步驟2)得到的顏色區(qū)域，僅僅考慮了顏色信息，而沒有考慮到顏色的空間分 布，所述的空間分布，指的是步驟2)初步得到的顏色區(qū)域間的位置信息，具體的顏色區(qū)域 合并的步驟如下：
[0042] 3. 1)將步驟2)得到的任兩個顏色區(qū)域的聚類中心顏色值進(jìn)行歐式距離比較，得 到dc ;
[0043] 3. 2)將步驟2)得到的任兩個顏色區(qū)域的聚類中心的平均位置進(jìn)行歐氏距離比 較，得到ds ;
[0044] 所述的聚類中心的平均位置指的是聚類內(nèi)所有像素點(diǎn)的坐標(biāo)的平均值；
[0045] 3. 3)若d。< threshold〗且ds < threshold3則將兩個顏色區(qū)域合并起來，并更新 新的聚類中心為合并后的類內(nèi)的所有像素的通道值的平均值，此處的threshold〗設(shè)為25， threshold3 設(shè)為 20 ;
[0046] 3. 4)將步驟2)中的所有顏色區(qū)域都兩兩進(jìn)行比較后，將與同一個顏色區(qū)域合并 的所有區(qū)域合并為一個區(qū)域，直到得到的所有的顏色區(qū)域都無法再進(jìn)行合并。
[0047] 步驟4)對提取出的顏色區(qū)域進(jìn)行描述，作為行人重識別的特征表達(dá)。
[0048] 所述的對顏色區(qū)域進(jìn)行描述，是指對于步驟3)提取出的所有顏色區(qū)域，每一個顏 色區(qū)域用下述特征進(jìn)行描述：
[0049] f = (x, y, 1, a, b, F) (1)
[0050] 其中x，y是該顏色區(qū)域內(nèi)所包含的所有像素點(diǎn)的平均坐標(biāo)，1，a，b是該顏色區(qū)域 內(nèi)所包含的所有像素點(diǎn)的平均顏色值，而F為衡量顏色區(qū)域大小的參數(shù)，可以由下式計(jì)算 得到： mun ^ area
[0051] F=fnun + area (2]
[0052] 其中：num是該顏色區(qū)域所包含的像素點(diǎn)的個數(shù)，area是該顏色區(qū)域的外接矩形 的面積，具體的計(jì)算方法是得到該類所包含的所有像素點(diǎn)的X，y坐標(biāo)的最大值x_，y max和 最小值Xmin, ymin，則area的計(jì)算方法如下：
[0053] area = (xmax-xmin) * (ymax-ymin) ⑶
[0054] 其中：X，y是為了描述該顏色區(qū)域的位置信息，1，a，b是為了描述該顏色區(qū)域的平 均顏色信息，而F的引入是為了避免將很大的顏色區(qū)域與很小的顏色區(qū)域進(jìn)行匹配，即使 二者的位置和顏色都很相似，這樣可以減輕背景噪聲的影響。
[0055] 步驟5)利用步驟4)中的特征進(jìn)行行人重識別。
[0056] 如圖3所示，為從人物重識別VIPER數(shù)據(jù)集中隨機(jī)抽取的幾組待匹配的行人圖像。 通過步驟4)，第i個行人可以得到&個特征，其中&對應(yīng)于步驟3)中得到的第i個行人的 顏色區(qū)域的個數(shù)。要實(shí)現(xiàn)人物重識別，則需要對不同行人的特征進(jìn)行距離計(jì)算，實(shí)現(xiàn)匹配。 具體的實(shí)現(xiàn)方法如下：
[0057] 5. 1)對于某一個數(shù)據(jù)集（如：VIPER)，將數(shù)據(jù)分成兩組，每組包含所有行人的一張 圖片，VIPER共有612對行人，所以第一組包含612對行人的其中一幅圖像，而第二組包含 另一張圖像，同一個行人在兩組中的排列順序相同。
[0058] 5. 2)將第一組的第一張圖像的特征與第二組的所有圖像的特征進(jìn)行特征距離比 較，得到距離矩陣Μ的第一行數(shù)據(jù)A，由于第二組有612個行人，所以A包含612個距離數(shù) 據(jù)。所述的兩幅圖像的特征距離比較方法具體如下：
[0059] 5. 2. 1)比較兩幅圖像的顏色區(qū)域的個數(shù)，得到個數(shù)較少的圖像的顏色區(qū)域個數(shù) number ；
[0060] 5. 2. 2)將區(qū)域較少的圖像的第一個顏色區(qū)域的特征，與區(qū)域較多的圖像的所有區(qū) 域的特征進(jìn)行歐式距離比較，得到距離最小的區(qū)域，作為匹配的區(qū)域，并記錄最小距離dl ;
[0061] 5. 2. 3)重復(fù)步驟5. 2. 2)，直到顏色區(qū)域個數(shù)較少的圖像的每一個顏色區(qū)域都找 到匹配區(qū)域，并記錄最小距離d2, d3,. . .，dnumbOT，最終得到number個距離；
[0062] 5. 2. 4)將這number距離求平均數(shù)，作為這兩幅圖像的特征距離。
[0063] 5. 3)重復(fù)步驟5. 2)直到第一組中的所有行人都與第二組進(jìn)行了特征距離比較， 并得到距離矩陣M2，M3,...，M 612，最終得到612X612大小的矩陣，其中Mu表示第一組中的 第i個行人與第二組中的第j個行人的特征距離；
[0064] 5. 4)將Μ的每一行從小到大排序，排在第i位的距離對應(yīng)的第二組中的圖像，就是 本方法給出的與第一組中該行所對應(yīng)圖像第i匹配的圖像，其中排在第一列的是最匹配的 圖像。
[0065] 上述方法可通過以下裝置具體實(shí)現(xiàn)，該裝置包括：依次連接的背景分離模塊、在線 聚類模塊、顏色區(qū)域提取模塊、特征描述模塊以及重識別模塊，其中：背景分離模塊進(jìn)行前 景提取處理，并向在線聚類模塊輸出前景蒙版信息，在線聚類模塊進(jìn)行行人外貌主要顏色 區(qū)域的提取處理，并向顏色區(qū)域合并模塊輸出初始的顏色區(qū)域信息，顏色區(qū)域合并模塊對 初始的顏色區(qū)域模塊進(jìn)行合并處理，并向特征描述模塊輸出最終的顏色區(qū)域信息，特征描 述模塊進(jìn)行特征的描述與表達(dá)處理，并向重識別模塊輸出六維的特征向量信息，重識別模 塊進(jìn)行行人間特征向量的匹配處理，并給出最終的重識別結(jié)果。
[0066] 如圖4所示，為本實(shí)施例得出的排名前十的匹配圖像，第一列為待匹配圖像，后面 各列依次為本實(shí)施例給出的排名第一到十匹配的匹配圖像，其中紅框框出的為實(shí)際的匹配 圖像，可以看出本實(shí)施例所提出的方法能夠很好的進(jìn)行同一行人的識別和匹配。
[0067] 如圖5所示，為本實(shí)施例與其他方法的重識別準(zhǔn)確率比較圖，其中：SDALF為基于 對稱性進(jìn)行顏色、紋理等特征的提取，并將各類特征融合進(jìn)行人物重識別的方法；LDFV是 利用費(fèi)舍爾向量對基于像素點(diǎn)的特征進(jìn)行特征表達(dá)，再利用歐式距離進(jìn)行特征匹配的方； 而bLDFV、eLDFV都是對LDFV的延伸，bLDFV是將LDFV基于像素點(diǎn)的特征拓展為基于小矩 形區(qū)域的特征，而eLDFV是將LDFV與SDALF相結(jié)合的方法；eBiCov為利用Gabor濾波器和 協(xié)方差特征，并結(jié)合SDALF進(jìn)行人物重識別的方法；Proposed即本實(shí)施例準(zhǔn)確率結(jié)果，可以 看出本實(shí)施例在識別準(zhǔn)確率上大大優(yōu)于其他現(xiàn)有技術(shù)。
【權(quán)利要求】
1. 一種基于在線聚類提取的顏色區(qū)域特征的行人重識別方法，其特征在于，以只包含 單個行人的矩形圖像或通過跟蹤結(jié)果從原始視頻圖像中裁取出目標(biāo)矩形框作為輸入圖像， 經(jīng)前景提取和在線聚類提取得到顏色區(qū)域，再將顏色區(qū)域的統(tǒng)計(jì)特征作為局部特征應(yīng)用于 人物重識別； 所述的在線聚類是指：以像素為單位遍歷圖像，計(jì)算圖像中任一一點(diǎn)的通道值與初始 聚類中心之間的距離，以滿足其與最小值之差小于聚類閾值為條件，將滿足條件的像素點(diǎn) 作為該最小值的聚類，否則作為新建聚類，同時將初始聚類中心更新為該聚類的平均值；完 成遍歷后同一個聚類內(nèi)的像素點(diǎn)可以視為屬于同一個顏色區(qū)域，且區(qū)域的顏色值統(tǒng)一為聚 類中心的顏色值； 所述的合并是指：當(dāng)任兩個顏色區(qū)域同時滿足其之間的聚類中心顏色值的歐氏距離以 及其聚類中心的平均位置的歐氏距離分別小于顏色閾值和平均位置閾值時，合并該兩個顏 色區(qū)域，且設(shè)置合并后區(qū)域內(nèi)所有像素點(diǎn)的通道值的平均值為新的聚類中心。
2. 根據(jù)權(quán)利要求1所述的方法，其特征是，所述方法具體包括以下步驟： 步驟1)利用前景提取算法進(jìn)行目標(biāo)行人圖像的前景背景分離，得到前景區(qū)域； 步驟2)對提取的前景區(qū)域進(jìn)行在線聚類，得到原始的顏色區(qū)域； 步驟3)考慮空間分布和顏色距離，將相關(guān)顏色區(qū)域進(jìn)行合并，得到最終的局部顏色區(qū) 域； 步驟4)對提取出的顏色區(qū)域進(jìn)行描述，作為行人重識別的特征表達(dá)； 步驟5)利用步驟4中的特征進(jìn)行行人重識別。
3. 根據(jù)權(quán)利要求2所述的方法，其特征是，所述的步驟1)具體包括： I. 1)將數(shù)據(jù)集中所有的圖像進(jìn)行聚類； 1. 2)再將每一幅圖像的每一個像素點(diǎn)與聚類中心進(jìn)行比較，將距離最近的距離中心號 作為該像素的值； 1. 3)將得到的輸入矩陣帶入scadlearn.m程序中，并對輸出后驗(yàn)概率Qs進(jìn)行二值化， 得到前景蒙版； 1. 4)將前景蒙版與原始圖像逐像素相乘，可以提取出前景區(qū)域。
4. 根據(jù)權(quán)利要求2所述的方法，其特征是，所述的步驟2)具體包括： 2. 1)將圖像左上角像素點(diǎn)的（a，b)通道值作為第一個聚類的聚類中心； 2.2) 順序掃描像素點(diǎn)，并將每一個像素點(diǎn)（a，b)通道值與現(xiàn)有的聚類中心進(jìn)行歐式距 離比較，并找出最小距離d; 2. 3)若d彡thresholdl，則將當(dāng)前像素點(diǎn)歸入距離為d的聚類，并且將此聚類的聚類 中心更新為類內(nèi)所有像素的通道值的平均值； 2. 4)反之，若d>thresholdl，則初始化一個新的類，并將該聚類中心初始化為當(dāng)前像 素點(diǎn)的顏色值； 2. 5)如此循環(huán)，直到計(jì)算到右下角的像素點(diǎn)，這樣同一個聚類內(nèi)的像素點(diǎn)可以視為屬 于同一個顏色區(qū)域，且區(qū)域的顏色值統(tǒng)一為聚類中心的顏色值。
5. 根據(jù)權(quán)利要求2所述的方法，其特征是，所述的步驟3)具體包括： 3. 1)將步驟2)得到的任兩個顏色區(qū)域的聚類中心顏色值進(jìn)行歐式距離比較，得到d。； 3.2) 將步驟2)得到的任兩個顏色區(qū)域的聚類中心的平均位置進(jìn)行歐氏距離比較，得 到ds; 3. 3)若d。<threshold〗且ds <threshold〗則將兩個顏色區(qū)域合并起來，并更新新 的聚類中心為合并后的類內(nèi)的所有像素的通道值的平均值； 3.4)將步驟2)中的所有顏色區(qū)域都兩兩進(jìn)行比較后，將與同一個顏色區(qū)域合并的所 有區(qū)域合并為一個區(qū)域，直到得到的所有的顏色區(qū)域都無法再進(jìn)行合并。
6. 根據(jù)權(quán)利要求2所述的方法，其特征是，所述的步驟4)具體是指：對于步驟3)提取 出的所有顏色區(qū)域，每一個顏色區(qū)域描述為f= (x，y，1，a，b，F(xiàn))，其中：x，y是該顏色區(qū)域內(nèi) 所包含的所有像素點(diǎn)的平均坐標(biāo)，1，a，b是該顏色區(qū)域內(nèi)所包含的所有像素點(diǎn)的平均顏色 值，F(xiàn)為衡量顏色區(qū)域大小的參數(shù)：
實(shí)中：num是該顏色區(qū)域所包含的像素 點(diǎn)的個數(shù)，area是該顏色區(qū)域的外接矩形的面積，area= (Xmax-Xmin) *(ymax_ymin)，其中：該類 所包含的所有像素點(diǎn)的X，y坐標(biāo)的最大值x_，和最小值Xniin, yniin。
7. 根據(jù)權(quán)利要求2所述的方法，其特征是，所述的步驟5)具體包括： 5. 1)將數(shù)據(jù)集中的數(shù)據(jù)分成兩組，每組包含所有行人的一張圖片，第一組包含行人的 一幅圖像，而第二組包含另一張圖像，同一個行人在兩組中的排列順序相同； 5. 2)將第一組的第一張圖像的特征與第二組的所有圖像的特征進(jìn)行特征距離比較，得 到距離矩陣M的第一行數(shù)據(jù)M1; 5.3)重復(fù)步驟5. 2)直到第一組中的所有行人都與第二組進(jìn)行了特征距離比較，并得 到距離矩陣M2,M3, ...，M612，其中Mu表示第一組中的第i個行人與第二組中的第j個行人 的特征距離； 5. 4)將M的每一行從小到大排序，排在第i位的距離對應(yīng)的第二組中的圖像，即與第一 組中該行所對應(yīng)圖像第i匹配的圖像，其中排在第一列的是最匹配的圖像。
8. 根據(jù)權(quán)利要求7所述的方法，其特征是，所述的特征距離比較是指： 5.2. 1)比較兩幅圖像的顏色區(qū)域的個數(shù)，得到個數(shù)較少的圖像的顏色區(qū)域個數(shù)number； 5. 2. 2)將區(qū)域較少的圖像的第一個顏色區(qū)域的特征，與區(qū)域較多的圖像的所有區(qū)域的 特征進(jìn)行歐式距離比較，得到距離最小的區(qū)域，作為匹配的區(qū)域，并記錄最小距離Cl1 ; 5. 2. 3)重復(fù)步驟5. 2. 2)，直到顏色區(qū)域個數(shù)較少的圖像的每一個顏色區(qū)域都找到匹 配區(qū)域，并記錄最小距離d2,d3,. . .，dnumbOT，最終得到number個距離； 5. 2. 4)將這number距離求平均數(shù)，作為這兩幅圖像的特征距離。
9. 一種基于在線聚類提取的顏色區(qū)域特征的行人重識別系統(tǒng)，其特征在于，包括：依 次連接的背景分離模塊、在線聚類模塊、顏色區(qū)域提取模塊、特征描述模塊以及重識別模 塊，其中：背景分離模塊進(jìn)行前景提取處理，并向在線聚類模塊輸出前景蒙版信息，在線聚 類模塊進(jìn)行行人外貌主要顏色區(qū)域的提取處理，并向顏色區(qū)域合并模塊輸出初始的顏色區(qū) 域信息，顏色區(qū)域合并模塊對初始的顏色區(qū)域模塊進(jìn)行合并處理，并向特征描述模塊輸出 最終的顏色區(qū)域信息，特征描述模塊進(jìn)行特征的描述與表達(dá)處理，并向重識別模塊輸出六 維的特征向量信息，重識別模塊進(jìn)行行人間特征向量的匹配處理，并給出最終的重識別結(jié) 果。
【文檔編號】G06K9/46GK104268583SQ201410472544
【公開日】2015年1月7日 申請日期:2014年9月16日 優(yōu)先權(quán)日:2014年9月16日
【發(fā)明者】周芹, 鄭世寶, 蘇航, 王玉 申請人:上海交通大學(xué)