行人再識別方法和裝置與流程
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種行人再識別方法和裝置。
背景技術(shù)：
隨著人們對社會公共安全的日益關(guān)注以及視頻采集技術(shù)和大規(guī)模數(shù)據(jù)存儲技術(shù)的發(fā)展，大量的監(jiān)控攝像頭應(yīng)用在人群密集易發(fā)生公共安全的場所，人工已難以應(yīng)對海量增長的監(jiān)控視頻，因此利用計算機對監(jiān)控視頻中的行人等進行再識別的需求應(yīng)運而生。其中再識別是指監(jiān)控視頻中識別出某個特定的已經(jīng)在監(jiān)控網(wǎng)絡(luò)中出現(xiàn)過的行人。例如，在監(jiān)控網(wǎng)絡(luò)中，行人會在不同的攝像頭下出現(xiàn)，行人再識別的任務(wù)是在監(jiān)控網(wǎng)絡(luò)中行人的身份的鑒定，將曾經(jīng)在監(jiān)控網(wǎng)絡(luò)中出現(xiàn)過的目標(biāo)行人在其他攝像機的場景內(nèi)再次識別出來的技術(shù)，即在給定一些候選目標(biāo)的情況下如何將行人進行再識別。
現(xiàn)有的行人再識別技術(shù)中，將目標(biāo)行人的全局特征和行人圖像庫中的行人的全局特征進行比較，通過該兩個全局特征的相似度來確定該兩個行人是否為同一人。然而，僅僅靠全局特征的相似度比較得到的判斷結(jié)果的準(zhǔn)確度較低。因此，一種改進的方法是還獲取目標(biāo)行人的局部顯著性特征和用于比較的行人的顯著性特征，結(jié)合該兩個行人的全局特征比較結(jié)果以及局部顯著性特征比較結(jié)果來判斷該兩個行人是否為同一人。
現(xiàn)有技術(shù)中提取行人身上的局部顯著性特征的一種方法為，人工設(shè)計有36種屬性的局部特征，并針對該36種屬性的特征分布設(shè)計了36中檢測器，通過該36種檢測器來提取行人身上的局部顯著性特征。然而，針對每種局部顯著性特征設(shè)計的檢測器需要大量的標(biāo)注樣本，使得設(shè)計檢測器的成本較高。
技術(shù)實現(xiàn)要素：
本發(fā)明實施例提供了一種行人再識別方法和行人再識別裝置。
第一方面，本發(fā)明提供一種行人再識別方法，包括：獲取目標(biāo)圖像和參考圖像，所述目標(biāo)圖像和所述參考圖像均為行人圖像；采用同樣的檢測局部顯著性特征的方法分別檢測所述目標(biāo)圖像在目標(biāo)區(qū)域上的局部顯著性特征(下文簡稱為第一局部顯著性特征)和所述參考圖像在所述目標(biāo)區(qū)域上的局部顯著性特征(下面簡稱為第二局部顯著性特征)；計算所述第一局部顯著性特征和第二局部顯著性特征的相似度；
其中，所述目標(biāo)區(qū)域位于行人身上的任意一個區(qū)域，所述檢測局部顯著性特征的方法包括：獲取所述目標(biāo)區(qū)域中的顯著性圖(salience)；對所述目標(biāo)區(qū)域的顯著性圖進行二值化，生成二值圖像；從所述二值圖像中提取所述目標(biāo)區(qū)域中的連通部件集合，確定局部顯著性特征，所述局部顯著性特征包括所述連通部件集合中滿足預(yù)置條件的連通部件；
或者，
所述目標(biāo)區(qū)域位于行人圖像的頭部區(qū)域，所述檢測局部顯著性特征的方法包括：獲取所述目標(biāo)區(qū)域的顏色分布以及標(biāo)準(zhǔn)顏色分布，計算所述目標(biāo)區(qū)域的顏色分布與所述目標(biāo)區(qū)域的標(biāo)準(zhǔn)顏色分布的距離；當(dāng)所述距離大于第一預(yù)置數(shù)值時，確定所述目標(biāo)區(qū)域為局部顯著性特征。
結(jié)合第一方面，在第一方面的第一種可能的實現(xiàn)方式中，所述計算所述第一局部顯著性特征和第二局部顯著性特征的相似度，包括：
分別生成所述第一局部顯著性特征和所述第二局部顯著性特征的描述向量，其中，所述描述包括尺度描述、顏色描述、位置描述和形狀描述中的至少一種；計算所述第一局部顯著性特征和所述第二局部顯著性特征的描述向量的距離的倒數(shù)，將所述倒數(shù)作為所述第一局部顯著性特征和所述第二局部顯著性特征的相似度的一個因子。
結(jié)合第一方面，在第一方面的第二種可能的實現(xiàn)方式中，所述獲取所述目標(biāo)區(qū)域中的顯著性圖，包括：
對所述目標(biāo)區(qū)域中的任意一個像素點(x,y)，所述像素點的顯著性值為將salience(x,y)歸一化到0-255之間得到的值，其中，
結(jié)合第一方面、第一方面的第一種可能的實現(xiàn)方式或者第一方面的第二種可能的實現(xiàn)方式，在第一方面的第三種可能的實現(xiàn)方式中，所述預(yù)置條件包括：尺寸位于預(yù)置范圍內(nèi)，且在尺寸位于預(yù)置范圍內(nèi)的所有連通部件中顯著性最大，其中，連通部件的顯著性為所述連通部件中各像素點(x,y)的顯著性值的和。
結(jié)合第一方面的第三種可能的實現(xiàn)方式或者第一方面的第二種可能的實現(xiàn)方式，在第一方面的第四種可能的實現(xiàn)方式中，所述預(yù)置條件還包括：所述連通部件的中心位于預(yù)置區(qū)域集合內(nèi)。
結(jié)合第一方面、第一方面的第一種可能的實現(xiàn)方式、第一方面的第二種可能的實現(xiàn)方式、第一方面的第三種可能的實現(xiàn)方式或者第一方面的第四種可能的實現(xiàn)方式，在第一方面的第五種可能的實現(xiàn)方式中，所述獲取參考圖像，包括:
獲取行人跟蹤序列，所述行人跟蹤序列包括同一行人在同一跟蹤軌跡中至少兩個時刻的行人圖像；當(dāng)檢測到所述行人跟蹤序列中至少部分圖像在所述目標(biāo)區(qū)域上存在局部顯著性特征時，判斷所述局部顯著性特征在所述行人跟蹤序列中是否穩(wěn)定；當(dāng)確定所述局部顯著性特征穩(wěn)定時，根據(jù)所述行人跟蹤序列中所述目標(biāo)區(qū)域上存在局部顯著性特征的各圖像中的所述局部顯著性特征確定待填充特征，對所述行人跟蹤序列中目標(biāo)區(qū)域上不存在局部顯著性特征的圖像填充所述待填充特征；將所述行人跟蹤序列中的各圖像依次作為所述參考圖像。
結(jié)合第一方面、第一方面的第一種可能的實現(xiàn)方式、第一方面的第二種可能的實現(xiàn)方式、第一方面的第三種可能的實現(xiàn)方式或者第一方面的第四種可能的實現(xiàn)方式，在第一方面的第六種可能的實現(xiàn)方式中，所述獲取參考圖像，包括:
獲取行人跟蹤序列，所述行人跟蹤序列包括同一行人在同一跟蹤軌跡中至少兩個時刻的行人圖像；當(dāng)檢測到所述行人跟蹤序列中至少部分圖像在所述目標(biāo)區(qū)域上存在局部顯著性特征時，判斷所述局部顯著性特征在所述行人跟蹤序列中是否穩(wěn)定；當(dāng)確定所述局部顯著性特征不穩(wěn)定時，將所述行人跟蹤序列中目標(biāo)區(qū)域上存在局部顯著性特征的圖像中目標(biāo)區(qū)域上的局部顯著性特征刪除；將所述行人跟蹤序列中的各圖像依次作為所述參考圖像。
結(jié)合第一方面的第五種可能的實現(xiàn)方式或者第一方面的第六種可能的實現(xiàn)方式，在第一方面的第七種可能的實現(xiàn)方式中，所述判斷所述局部顯著性特征在所述行人跟蹤序列中是否穩(wěn)定，包括：
獲取第一比值，所述第一比值為在所述行人跟蹤序列中目標(biāo)區(qū)域上存在局部顯著性特征的圖像的數(shù)量與所述行人跟蹤序列中圖像總數(shù)的比值；當(dāng)所述第一比值小于第二預(yù)置數(shù)值時，確定所述局部顯著性特征不穩(wěn)定；當(dāng)所述第一比值不小于第二預(yù)置數(shù)值，確定所述局部顯著性特征穩(wěn)定；
或者，所述判斷所述局部顯著性特征在所述行人跟蹤序列中是否穩(wěn)定，包括：
計算所述行人跟蹤序列中第k幀和第k+1幀圖像在所述目標(biāo)區(qū)域的局部顯著性特征的相似度sk,k+1；當(dāng)
或者，所述判斷所述局部顯著性特征在所述行人跟蹤序列中是否穩(wěn)定，包括：獲取第一比值，所述第一比值為在所述行人跟蹤序列中目標(biāo)區(qū)域上存在局部顯著性特征的圖像的數(shù)量與所述行人跟蹤序列中圖像總數(shù)的比值；計算所述行人跟蹤序列中第k幀和第k+1幀圖像在所述目標(biāo)區(qū)域的局部顯著性特征的相似度sk,k+1；當(dāng)所述第一比值小于第二預(yù)置數(shù)值和/或
結(jié)合第一方面的第五種可能的實現(xiàn)方式或者第一方面的第六種可能的實現(xiàn)方式，在第一方面的第八種可能的實現(xiàn)方式中，所述計算所述第一局部顯著性特征和第二局部顯著性特征的相似度，包括：
分別獲取所述第一局部顯著性特征的置信度p1和所述第二局部顯著性特征的置信度p2，其中
第二方面，提供一種行人再識別裝置，包括：
獲取模塊，用于獲取目標(biāo)圖像和參考圖像，所述目標(biāo)圖像和所述參考圖像均為行人圖像；
檢測模塊，用于采用同樣的檢測局部顯著性特征的方法分別檢測所述目標(biāo)圖像在目標(biāo)區(qū)域上的局部顯著性特征(下文簡稱為第一局部顯著性特征)和所述參考圖像在所述目標(biāo)區(qū)域上的局部顯著性特征(下面簡稱為第二局部顯著性特征)；
計算模塊，用于計算所述第一局部顯著性特征和第二局部顯著性特征的相似度；
其中，
所述目標(biāo)區(qū)域位于行人身上的任意一個區(qū)域，所述檢測模塊在檢測局部顯著性特征時，具體用于獲取所述目標(biāo)區(qū)域中的顯著性圖(salience)；對所述目標(biāo)區(qū)域的顯著性圖進行二值化，生成二值圖像；從所述二值圖像中提取所述目標(biāo)區(qū)域中的連通部件集合，確定局部顯著性特征，所述局部顯著性特征包括所述連通部件集合中滿足預(yù)置條件的連通部件；
或者，
所述目標(biāo)區(qū)域位于行人圖像的頭部區(qū)域，所述檢測模塊在檢測局部顯著性特征時，具體用于：獲取所述目標(biāo)區(qū)域的顏色分布以及標(biāo)準(zhǔn)顏色分布，計算所述目標(biāo)區(qū)域的顏色分布與所述目標(biāo)區(qū)域的標(biāo)準(zhǔn)顏色分布的距離；當(dāng)所述距離大于第一預(yù)置數(shù)值時，確定所述目標(biāo)區(qū)域為局部顯著性特征。
結(jié)合第二方面，在第二方面的第一種可能的實現(xiàn)方式中，所述計算模塊具體用于：
分別生成所述第一局部顯著性特征和所述第二局部顯著性特征的描述向量，其中，所述描述包括尺度描述、顏色描述、位置描述和形狀描述中的至少一種；計算所述第一局部顯著性特征和所述第二局部顯著性特征的描述向量的距離的倒數(shù)，將所述倒數(shù)作為所述第一局部顯著性特征和所述第二局部顯著性特征的相似度的一個因子。
結(jié)合第二方面，在第二方面的第二種可能的實現(xiàn)方式中，所述檢測模塊在獲取所述目標(biāo)區(qū)域中的顯著性圖時，具體用于：
對所述目標(biāo)區(qū)域中的任意一個像素點(x，y)，所述像素點的顯著性值為將salience(x，y)歸一化到0-255之間得到的值，其中，
結(jié)合第二方面、第二方面的第一種可能的實現(xiàn)方式或者第二方面的第二種可能的實現(xiàn)方式，在第二方面的第三種可能的實現(xiàn)方式中，所述預(yù)置條件包括：尺寸位于預(yù)置范圍內(nèi)，且在尺寸位于預(yù)置范圍內(nèi)的所有連通部件中顯著性最大，其中，連通部件的顯著性為所述連通部件中各像素點(x,y)的顯著性值的和。
結(jié)合第二方面的第三種可能的實現(xiàn)方式或者第二方面的第二種可能的實現(xiàn)方式，在第二方面的第四種可能的實現(xiàn)方式中所述預(yù)置條件還包括：所述連通部件的中心位于預(yù)置區(qū)域集合內(nèi)。
結(jié)合第二方面、第二方面的第一種可能的實現(xiàn)方式、第二方面的第二種可能的實現(xiàn)方式、第二方面的第三種可能的實現(xiàn)方式或者第二方面的第四種可能的實現(xiàn)方式，在第二方面的第五種可能的實現(xiàn)方式中，所述獲取模塊在獲取參考圖像時，具體用于:
獲取行人跟蹤序列，所述行人跟蹤序列包括同一行人在同一跟蹤軌跡中至少兩個時刻的行人圖像；
當(dāng)檢測到所述行人跟蹤序列中至少部分圖像在所述目標(biāo)區(qū)域上存在局部顯著性特征時，判斷所述局部顯著性特征在所述行人跟蹤序列中是否穩(wěn)定；
當(dāng)確定所述局部顯著性特征穩(wěn)定時，根據(jù)所述行人跟蹤序列中所述目標(biāo)區(qū)域上存在局部顯著性特征的各圖像中的所述局部顯著性特征確定待填充特征，對所述行人跟蹤序列中目標(biāo)區(qū)域上不存在局部顯著性特征的圖像填充所述待填充特征；；
將所述行人跟蹤序列中的各圖像依次作為所述參考圖像。
結(jié)合第二方面、第二方面的第一種可能的實現(xiàn)方式、第二方面的第二種可能的實現(xiàn)方式、第二方面的第三種可能的實現(xiàn)方式或者第二方面的第四種可能的實現(xiàn)方式，在第二方面的第六種可能的實現(xiàn)方式中，所述獲取模塊在獲取參考圖像時，具體用于:
獲取行人跟蹤序列，所述行人跟蹤序列包括同一行人在同一跟蹤軌跡中至少兩個時刻的行人圖像；
當(dāng)檢測到所述行人跟蹤序列中至少部分圖像在所述目標(biāo)區(qū)域上存在局部顯著性特征時，判斷所述局部顯著性特征在所述行人跟蹤序列中是否穩(wěn)定；
當(dāng)確定所述局部顯著性特征不穩(wěn)定時，將所述行人跟蹤序列中目標(biāo)區(qū)域上存在局部顯著性特征的圖像中目標(biāo)區(qū)域上的局部顯著性特征刪除；
將所述行人跟蹤序列中的各圖像依次作為所述參考圖像。
結(jié)合第二方面的第五種可能的實現(xiàn)方式或者第一方面的第六種可能的實現(xiàn)方式，在第二方面的第七種可能的實現(xiàn)方式中，所述獲取模塊在判斷所述局部顯著性特征在所述行人跟蹤序列中是否穩(wěn)定時，具體用于：
獲取第一比值，所述第一比值為在所述行人跟蹤序列中目標(biāo)區(qū)域上存在局部顯著性特征的圖像的數(shù)量與所述行人跟蹤序列中圖像總數(shù)的比值；當(dāng)所述第一比值小于第二預(yù)置數(shù)值時，確定所述局部顯著性特征不穩(wěn)定；當(dāng)所述第一比值不小于第二預(yù)置數(shù)值，確定所述局部顯著性特征穩(wěn)定；
或者，所述判斷所述局部顯著性特征在所述行人跟蹤序列中是否穩(wěn)定，包括：
計算所述行人跟蹤序列中第k幀和第k+1幀圖像在所述目標(biāo)區(qū)域的局部顯著性特征的相似度sk,k+1；當(dāng)
或者，所述判斷所述局部顯著性特征在所述行人跟蹤序列中是否穩(wěn)定，包括：
獲取第一比值，所述第一比值為在所述行人跟蹤序列中目標(biāo)區(qū)域上存在局部顯著性特征的圖像的數(shù)量與所述行人跟蹤序列中圖像總數(shù)的比值；計算所述行人跟蹤序列中第k幀和第k+1幀圖像在所述目標(biāo)區(qū)域的局部顯著性特征的相似度sk,k+1；當(dāng)所述第一比值小于第二預(yù)置數(shù)值和/或
結(jié)合第二方面的第五種可能的實現(xiàn)方式或者第二方面的第六種可能的實現(xiàn)方式，在第二方面的第八種可能的實現(xiàn)方式中，所述計算模塊具體用于：
分別獲取所述第一局部顯著性特征的置信度p1和所述第二局部顯著性特征的置信度p2，其中
計算p＝|p1-p2|/(p1+p2)，將p作為所述第一局部顯著性特征和所述第二局部顯著性特征的相似度的一個因子。
從以上技術(shù)方案可以看出，本發(fā)明實施例具有以下優(yōu)點：
對圖像中的任意一個區(qū)域，通過獲取該區(qū)域中的顯著性圖并將該顯著性圖二值化生成二值圖像，再從該二值圖像中提取出符合預(yù)置條件的連通部件作為該區(qū)域的局部顯著性特征的至少部分，這樣，本發(fā)明采用統(tǒng)一的框架對行人圖像中的局部顯著性特征進行檢測，避免了現(xiàn)有技術(shù)中對每一種局部顯著性特征訓(xùn)練一種分類器而導(dǎo)致的檢測成本較高，或者，對圖像的頭部區(qū)域中的任意一個區(qū)域，通過獲取該區(qū)域的顏色分布以及標(biāo)準(zhǔn)顏色分別，并計算該區(qū)域的顏色分布與標(biāo)準(zhǔn)顏色分布的距離，當(dāng)該距離大于第一預(yù)置數(shù)值時確定該區(qū)域為局部顯著性特征，這樣，通過采用統(tǒng)一的框架對行人圖像的頭部中的顯著性特征進行檢測，避免了現(xiàn)有技術(shù)中對頭部上的每一種局部顯著性特征訓(xùn)練一種分類器，因此，本發(fā)明能夠降低檢測成本。
附圖說明
圖1為本發(fā)明的行人再識別方法的一個實施例的流程示意圖；
圖2為本發(fā)明的行人再識別方法的另一個實施例的流程示意圖；
圖3為本發(fā)明的行人再識別裝置的一個實施例的流程示意圖；
圖4為本發(fā)明的行人再識別裝置的一個實施例的流程示意圖。
具體實施方式
為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分的實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都應(yīng)當(dāng)屬于本發(fā)明保護的范圍。
本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”、“第三”“第四”等是用于區(qū)別不同的對象，而不是用于描述特定順序。此外，術(shù)語“包括”和“具有”以及它們?nèi)魏巫冃?，意圖在于覆蓋不排他的包含。例如包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備沒有限定于已列出的步驟或單元，而是可選地還包括沒有列出的步驟或單元，或可選地還包括對于這些過程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。
在一種常見的應(yīng)用場景中，對行人甲的圖像，需要從存有多個行人圖像的數(shù)據(jù)庫中找出與該行人甲為同一人的圖像。因此，需要將該行人甲的圖像依次與數(shù)據(jù)庫中的各行人圖像進行比較。一種方法是提取行人甲的圖像中行人甲的全局特征以及用于對比的圖像中的行人的全局特征，并將該兩個全局特征進行比較，以評價行人甲與用于對比的圖像中的行人的相似度。其中，提取行人的全局特征的方法有多種。例如，將該行人甲的圖像中顯示的行人甲以及用于對比的圖像中的行人分別分為頭部、上半身和下半身三個區(qū)域，并提取每個區(qū)域的顏色特征(例如每個區(qū)域在r、g、b、h、s五個通道上的顏色直方圖)和紋理特征(例如局部二值模式(英文：localbinarypatterns，縮寫：lbp)特征)。然后，將行人甲的每個區(qū)域的顏色特征和紋理特征串聯(lián)后生成該區(qū)域的全局特征，再將行人甲的三個區(qū)域的全局特征串聯(lián)，得到該行人甲的全局特征。用于對比的行人圖像采用同樣的方法得到該行人的全局特征。通過計算行人甲的全局特征和用于對比的行人的全局特征的相似度來評價行人甲與用于對比的行人是否同一個人。
然而，僅通過全局特征的比較來判斷兩個圖像中的行人是否為同一人，得到的判斷結(jié)果的準(zhǔn)確度較低，因此，本發(fā)明中，還采用如下的行人再識別方法，來比較兩個圖像中的局部顯著性特征，以提到判斷結(jié)果的準(zhǔn)確度。當(dāng)然，實際應(yīng)用中，下文描述的行人再識別方法不一定要結(jié)合上面描述的全局特征的方法使用，也可以單獨用于比較兩個圖像在目標(biāo)區(qū)域上的局部顯著性特征的相似度。
下面對本發(fā)明的行人再識別方法進行詳細說明。
如圖1所示，圖1為本發(fā)明的行人再識別方法的一個實施例的流程示意圖。本實施例中，行人再識別方法包括：
101、獲取目標(biāo)圖像和參考圖像，所述目標(biāo)圖像和所述參考圖像均為行人圖像。
本實施例中，行人圖像指的是圖中只有一個行人，沒有環(huán)境背景的圖像。目標(biāo)圖像中的行人為需要從數(shù)據(jù)庫中尋找的行人，參考圖像中的行人為數(shù)據(jù)庫中已經(jīng)存儲有圖像的行人，采用目標(biāo)圖像與參考圖像進行相比較，以從數(shù)據(jù)庫中找出與目標(biāo)圖像中的行人為同一人的圖像。實際應(yīng)用中，一般獲取到的圖像中不僅僅包括行人，還有背景環(huán)境圖。因此，在獲取到目標(biāo)行人的圖像以及數(shù)據(jù)庫中的圖像后，首先對圖像處理，將圖像中的背景像素去除，以提取出前景像素，也即行人圖像。去除背景像素的方法有多種，例如，可采用“運動目標(biāo)檢測”的算法來去除背景像素，或者采用圖像分割算法來去除背景像素，此為現(xiàn)有技術(shù)，在此不再贅述。
102、分別檢測第一局部顯著性特征和第二局部顯著性特征。
其中，第一局部顯著性特征為所述目標(biāo)圖像在目標(biāo)區(qū)域上的局部顯著性特征，第二局部顯著性特征為所述參考圖像在所述目標(biāo)區(qū)域上的局部顯著性特征。本實施例中，目標(biāo)區(qū)域指的是行人圖像上的任意一個區(qū)域。由于本發(fā)明中需檢測參考圖像在目標(biāo)區(qū)域上的局部顯著性特征與目標(biāo)圖像在目標(biāo)區(qū)域上的局部顯著性特征的相似度，因此，優(yōu)選的，目標(biāo)區(qū)域為目標(biāo)圖像中的行人身上的任意一個區(qū)域。實際應(yīng)用中，可將人體劃分不同的區(qū)域，并依次將各區(qū)域作為目標(biāo)區(qū)域；或者，也可以僅取人體中的部分區(qū)域來依次作為目標(biāo)區(qū)域，在此不作限制。獲取目標(biāo)區(qū)域上的局部顯著性特征的方法有多種。下面對其中的一種方法進行舉例說明。
首先，計算目標(biāo)區(qū)域的顯著性圖(salience)。舉例來說，在目標(biāo)區(qū)域的顯著性圖中，對目標(biāo)區(qū)域中的任意一個像素點(x，y)，該像素點(x，y)的顯著性值為根據(jù)以下公式計算得到的salience(x,y)歸一化到0-255之間后得到的值，其中，salience(x,y)＝∑(i,j)∈δdis(dot(x,y)-dot(i,j))，其中，dis(dot(x,y)-dot(i,j))表示目標(biāo)區(qū)域在預(yù)置空間內(nèi)像素點(x,y)與像素點(i,j)之間的距離，所述距離為歐式距離、卡方距離、漢明距離或馬氏距離，或者為其他類型的距離，在此不作限制。
其中，所述預(yù)置空間可以是預(yù)置色彩空間、預(yù)置頻域空間或者其他空間，在此不作限制。下面以預(yù)置空間為色彩空間進行具體舉例說明。具體的，
具體的，
其次，對所述目標(biāo)區(qū)域的顯著性圖進行二值化，生成二值圖像。具體的，可采用二值化方法(例如大津算法(otsu))對目標(biāo)區(qū)域的顯著性圖進行二值化，或者還可以采用nicblack算法、雙峰法、p參數(shù)法、最大熵值法、迭代法等等二值化方法來對目標(biāo)區(qū)域的顯著性圖進行二值化，在此不作限制。
然后，從所述二值圖像中提取所述目標(biāo)區(qū)域中的連通部件集合。其中，連通部件指的是圖像中具有相同像素值且位置相鄰的前景像素點組成的區(qū)域。具體提取連通部件的方法為現(xiàn)有技術(shù)，在此不再贅述。
獲取到連通部件集合后，從該連通部件中選出滿足預(yù)置條件的連通部件作為目標(biāo)區(qū)域的局部顯著性特征。舉例來說，該預(yù)置條件包括：尺寸位于預(yù)置范圍內(nèi)，且在尺寸位于預(yù)置范圍內(nèi)的所有連通部件中顯著性最大。例如，對于該目標(biāo)區(qū)域預(yù)設(shè)有最大高度值、最小高度值、最大寬度值和最小寬度值；連通部件的尺寸位于預(yù)置范圍內(nèi)，具體指的是連通部件的高度不大于最大高度值且不小于最小高度值，和/或連通部件的寬度不大于最大寬度值且不小于最小寬度值。當(dāng)然，上述僅為舉例，并不做限制。其中，連通部件的顯著性等于該連通部件中各像素點(x,y)的salience(x,y)的和。這樣，目標(biāo)區(qū)域中僅有一個局部顯著性特征，便于后續(xù)目標(biāo)圖像和參考圖像的目標(biāo)區(qū)域中的局部顯著性特征進行比較。
需注意的是，目標(biāo)區(qū)域?qū)?yīng)不同區(qū)域時，該目標(biāo)區(qū)域所對應(yīng)的預(yù)置范圍并不一定相同。
進一步，可選的，該預(yù)置條件還包括：連通部件的中心位于預(yù)置區(qū)域集合內(nèi)。其中，該預(yù)置區(qū)域集合中各區(qū)域為預(yù)先設(shè)定的出現(xiàn)局部顯著性特征的概率較高的區(qū)域，例如包括領(lǐng)口區(qū)域、胸前區(qū)域等等，在此不作限制。這樣，可以進一步提高所檢測出的局部顯著性特征的準(zhǔn)確性。
優(yōu)選的，本實施例中，獲取到連通部件集合后，從該連通部件中選出滿足預(yù)置條件的連通部件，并以該連通部件的外接預(yù)置規(guī)則圖形作為目標(biāo)區(qū)域的局部顯著性特征。其中，該外接預(yù)置規(guī)則圖形可以為矩形或者圓形，或者其他規(guī)則圖形，在此不作限制。這樣，可以采用較少的參數(shù)描述該局部顯著性特征的形狀。
需注意的是，目標(biāo)圖像或者參考圖像上的目標(biāo)區(qū)域上可能不存在局部顯著性特征，這種情況中，則輸出不存在局部顯著性特征的結(jié)果。或者，參考圖像上不存在目標(biāo)區(qū)域，例如，目標(biāo)圖像為行人的正面圖像，而參考圖像為行人的背面圖像。因此，可選的，在分別檢測第一局部顯著性特征和第二局部顯著性特征之前，本實施例的行人再識別方法還包括：確定所述參考圖像是否存在所述目標(biāo)區(qū)域，當(dāng)確定存在時，執(zhí)行步驟102，當(dāng)確定不存在時，停止執(zhí)行步驟102和103。其中，確定參考圖像是否存在目標(biāo)區(qū)域為現(xiàn)有技術(shù)，在此不再贅述。
103、計算所述第一局部顯著性特征和第二局部顯著性特征的相似度。
本實施例中，計算第一局部顯著性特特征和第二局部顯著性特征的相似度的方法有多種，下面對其中的一種進行舉例描述。
在獲取到第一局部顯著性特征和第二局部顯著性特征后，分別生成該兩個局部顯著性特征的描述向量，其中，該描述包括尺度描述、顏色描述、位置描述和形狀描述中的至少一種。
其中，尺度描述可以有多種，例如，尺度描述包括局部顯著性特征的寬度、高度和像素點數(shù)量，或者包括外接橢圓的長短軸長度和像素點數(shù)量，在此不作限制。
其中，顏色描述可以有多種，例如，顏色描述包括局部顯著性特征的顏色均值、顏色方差，或者包括局部顯著性特征的混合高斯模型，在此不作限制。在局部顯著性特征為滿足條件的連通部件的外接預(yù)置規(guī)則形狀的情況中，可選的，顏色描述包括局部顯著性特征的前景灰度均值與背景灰度均值的差、前景顏色均值，其中，局部顯著性特征的前景指的是該局部顯著性特征的連通部件，背景指的是該局部顯著性特征中除連通部件以外的區(qū)域。
其中，位置描述可以有多種，例如，第一局部顯著性特征的位置描述包括該第一局部顯著性特征或者所在區(qū)域的幾何中心與目標(biāo)圖像的幾何中心的相對位置，第二局部顯著性特征的位置描述包括該第二局部顯著性特征或者所在區(qū)域的幾何中心與參考圖像的幾何中心的相對位置，在此不作限制。
其中，形狀描述可以有多種，例如，第一局部顯著性特征的形狀描述feature1＝(blacknum1/edgenum1，blacknum1/area1)，其中blacknum1為第一局部顯著性特征中連通部件所包含的像素點數(shù)，blacknum1為該連通部件的邊緣像素點數(shù)，area1為第一局部顯著性特征的面積；第二局部顯著性特征的形狀描述feature2＝(blacknum2/edgenum2，blacknum2/area2)，其中blacknum2為第二局部顯著性特征中連通部件所包含的像素點數(shù)，blacknum2為該連通部件的邊緣像素點數(shù)，area2為第二局部顯著性特征的面積；或者，形狀描述包括局部顯著性特征中連通部件的邊緣像素點的梯度分布，在此不作限制。
具體的，可將各描述歸一化后串聯(lián)起來形成局部顯著性特征的描述向量。具體舉例來說，局部顯著性特征的特征向量
生成第一局部顯著性特征和所述第二局部顯著性特征的描述向量后，計算該兩個描述向量的距離，并將該距離的倒數(shù)作為第一局部顯著性特征和所述第二局部顯著性特征的相似度的其中一個因子。也即similarity(f1,f2)＝α×1/dis(feature1,feature2)；其中，α表示其他因子，similarity(f1,f2)表示第一局部顯著性特征和所述第二局部顯著性特征的相似度，dis(feature1,feature2)表示第一局部顯著性特征和所述第二局部顯著性特征的描述向量的距離。其中，該兩個描述向量的距離可以是歐式距離、漢明距離、馬氏距離、卡方距離或者其他距離，在此不作限制。
可以理解的是，在不存在第二局部顯著性特征的情況中，第一局部顯著性特征和第二局部顯著性特征的相似度為0。
本實施例中，對圖像中的任意一個區(qū)域，通過獲取該區(qū)域中的顯著性圖并將該顯著性圖二值化生成二值圖像，再從該二值圖像中提取出符合預(yù)置條件的連通部件作為該區(qū)域的局部顯著性特征的至少部分，這樣，本發(fā)明將行人圖像中的所有局部特征的檢測整合到統(tǒng)一的框架下進行處理，避免了現(xiàn)有技術(shù)中對每一種局部特征訓(xùn)練一種分類器從而無法窮舉所有局部特征的缺陷，能夠覆蓋所有的局部顯著性特征，且降低檢測成本。
本實施例中，在步驟102中對檢測局部顯著性特征局部顯著性特征的其中一種獲取方法進行了描述。可選的，當(dāng)目標(biāo)區(qū)域位于頭部區(qū)域時，還可以采用如下方法來檢測局部顯著性特征。
獲取所述目標(biāo)區(qū)域的顏色分布以及標(biāo)準(zhǔn)顏色分布，計算目標(biāo)區(qū)域的顏色分布與目標(biāo)區(qū)域的標(biāo)準(zhǔn)顏色分布的距離，當(dāng)該距離大于第一預(yù)置數(shù)值時，確定所述目標(biāo)區(qū)域為局部顯著性特征。
其中，目標(biāo)區(qū)域可以是頭發(fā)區(qū)域、眼睛區(qū)域、嘴部區(qū)域或者其他區(qū)域，在此不作限制。目標(biāo)區(qū)域的顏色分布可以為該目標(biāo)區(qū)域的顏色直方圖，或者為該目標(biāo)區(qū)域的顏色均值和顏色方差，或者為該目標(biāo)區(qū)域的混合高斯模型，或者是其他顏色分布，在此不作限制。目標(biāo)區(qū)域的標(biāo)準(zhǔn)顏色分布為根據(jù)預(yù)置數(shù)據(jù)庫中至少部分圖像的目標(biāo)區(qū)域上的顏色分布所統(tǒng)計出的參考值，例如，目標(biāo)區(qū)域的標(biāo)準(zhǔn)顏色分布為數(shù)據(jù)庫中至少部分圖像的目標(biāo)區(qū)域的顏色分布的平均值。其中，該預(yù)置數(shù)據(jù)庫可以為本發(fā)明中獲取參考圖像的數(shù)據(jù)庫或者其他數(shù)據(jù)庫，在此不作限制。需注意的是，參考圖像的目標(biāo)區(qū)域的標(biāo)準(zhǔn)顏色分布和目標(biāo)圖像的目標(biāo)區(qū)域的標(biāo)準(zhǔn)顏色分布不一定相同。例如，統(tǒng)計出目標(biāo)圖像的目標(biāo)區(qū)域的標(biāo)準(zhǔn)顏色分布所依據(jù)的數(shù)據(jù)庫和統(tǒng)計出參考圖像的目標(biāo)區(qū)域的標(biāo)準(zhǔn)顏色分布所依據(jù)的數(shù)據(jù)庫不同，在此不作限制。
獲取到目標(biāo)區(qū)域的顏色分布和標(biāo)準(zhǔn)顏色分布后，計算該兩個分布的距離，其中，該距離可以是歐式距離、卡方距離、漢明距離或馬氏距離，或者為其他類型的距離，在此不作限制。當(dāng)該距離大于第一預(yù)置數(shù)值時，確定目標(biāo)區(qū)域局部顯著性特征。需注意的是，目標(biāo)區(qū)域?qū)?yīng)頭部的不同區(qū)域時，該目標(biāo)區(qū)域所對應(yīng)的第一預(yù)置數(shù)值并不一定相同。
本實施例中，對圖像的頭部區(qū)域中的任意一個區(qū)域，通過獲取該區(qū)域的顏色分布以及標(biāo)準(zhǔn)顏色分別，并計算該區(qū)域的顏色分布與標(biāo)準(zhǔn)顏色分布的距離，當(dāng)該距離大于第一預(yù)置數(shù)值時確定該區(qū)域為局部顯著性特征，這樣，通過采用統(tǒng)一的框架對行人圖像的頭部中的顯著性特征進行檢測，避免了現(xiàn)有技術(shù)中對頭部上的每一種局部顯著性特征訓(xùn)練一種分類器，因此能夠降低檢測成本。
本實施例中，參考圖像的目標(biāo)區(qū)域中的局部顯著性特征用于和目標(biāo)圖像的目標(biāo)區(qū)域中的局部顯著性特征進行比較，該兩個局部顯著性特征的相似度用于判斷參考圖像和目標(biāo)圖像是否為同一人。然而，實際應(yīng)用中，由于運動變化、位置變化、視覺變化或者其他原因?qū)е聟⒖紙D像的目標(biāo)區(qū)域中的局部顯著性特征存在較大的不穩(wěn)定性，這在一定程度上降低了參考圖像和目標(biāo)圖像在目標(biāo)區(qū)域中的局部顯著性特征的比較結(jié)果的置信度。在本發(fā)明的另一種可能的實施方式中，在步驟“獲取參考圖像”中，利用時域信息提高參考圖像的目標(biāo)區(qū)域中的局部顯著性特征的穩(wěn)定性。下面對本發(fā)明的另一種可能的實施方式中的步驟“獲取參考圖像”進行詳細說明。如圖2所示，圖2為獲取參考圖像的方法的另一種實施例的流程示意圖。
201、獲取行人跟蹤序列。
本實施例中，行人跟蹤序列包括同一行人在同一跟蹤軌跡中至少兩個時刻的行人圖像。也即，行人跟蹤序列中的各圖像的行人為穿著打扮相同的同一行人。其中，行人跟蹤序列中的每個行人圖像中只有行人，沒有環(huán)境背景。實際應(yīng)用中，一般獲取到的圖像中不僅僅包括行人，還有背景環(huán)境圖。因此，在獲取到行人的一系列跟蹤圖像后，首先對各圖像處理，將圖像中的背景像素去除，以提取出前景像素，也即行人圖像。去除背景像素的方法有多種，例如，可采用“運動目標(biāo)檢測”的算法來去除背景像素，或者采用圖像分割算法來去除背景像素，此為現(xiàn)有技術(shù)，在此不再贅述。
202、當(dāng)檢測到所述行人跟蹤序列中至少部分圖像在所述目標(biāo)區(qū)域上存在局部顯著性特征時，判斷所述局部顯著性特征在所述行人跟蹤序列中是否穩(wěn)定。
其中，檢測局部顯著性特征的方法可以和上面實施例中所描述的檢測局部顯著性特征的方法相同，在此不再贅述。
其中，判斷局部顯著性特征在所述行人跟蹤序列中是否穩(wěn)定的方法有多種。舉例來說，確定行人跟蹤序列中目標(biāo)區(qū)域上存在局部顯著性特征的所有圖像后，計算該所有圖像的數(shù)量與行人跟蹤序列中圖像總數(shù)的比值，為描述方便，稱該比值為第一比值。當(dāng)所述第一比值小于第二預(yù)置數(shù)值時，確定所述局部顯著性特征不穩(wěn)定。當(dāng)所述第一比值不小于第二預(yù)置數(shù)值時，確定所述局部顯著性特征穩(wěn)定。
或者，在檢測所述行人跟蹤序列中各圖像在所述目標(biāo)區(qū)域上是否存在局部顯著性特征后，計算行人跟蹤序列中第k幀和第k+1幀圖像在所述目標(biāo)區(qū)域的局部顯著性特征的相似度sk,k+1，當(dāng)
或者，也可以當(dāng)所述第一比值不小于第二預(yù)置數(shù)值和/或
203、執(zhí)行步驟a和/或步驟b。
步驟a：當(dāng)確定所述局部顯著性特征穩(wěn)定時，根據(jù)所述行人跟蹤序列中存在局部顯著性特征的各圖像中的所述局部顯著性特征確定待填充特征，對所述行人跟蹤序列中目標(biāo)區(qū)域上不存在局部顯著性特征的圖像中填充所述待填充特征。
當(dāng)確定目標(biāo)區(qū)域上的局部顯著性特征穩(wěn)定時，可認為所述行人跟蹤序列中的行人實際中身上存在該局部顯著性特征。因此，對該行人跟蹤序列中目標(biāo)區(qū)域上不存在局部顯著性特征的每一個圖像，在該圖像的目標(biāo)區(qū)域上填充特征，為描述方便，將在該圖像的目標(biāo)區(qū)域上填充的特征稱為待填充特征。
本實施例中，具體根據(jù)行人跟蹤序列中目標(biāo)區(qū)域上存在局部顯著性特征的各圖像的目標(biāo)區(qū)域上的局部顯著性特征確定待填充特征。其中，確定待填充特征的方法有多種，例如，可將行人跟蹤序列中目標(biāo)區(qū)域上存在局部顯著性特征的各圖像中的其中一個圖像中的目標(biāo)區(qū)域上的局部顯著性特征作為待填充特征，或者將行人跟蹤序列中目標(biāo)區(qū)域上存在局部顯著性特征的各圖像中至少部分圖像的目標(biāo)區(qū)域上的局部顯著性特征的均值作為待填充特征，在此不作限制。
步驟b：當(dāng)確定所述局部顯著性特征不穩(wěn)定時，將所述行人跟蹤序列中目標(biāo)區(qū)域上存在局部顯著性特征的圖像中目標(biāo)區(qū)域上的局部顯著性特征刪除。
當(dāng)確定目標(biāo)區(qū)域上的局部顯著性特征不穩(wěn)定時，可認為所述行人跟蹤序列中的行人實際中身上不存在該局部顯著性特征。因此，對該行人跟蹤序列中目標(biāo)區(qū)域上存在局部顯著性特征的各圖像的目標(biāo)區(qū)域上的局部顯著性特征刪除。
204、將所述行人跟蹤序列中的各圖像依次作為所述參考圖像。
行人跟蹤序列中的圖像填充特征和/或刪除特征后，將行人跟蹤序列中的各圖像依次作為參考圖像，或者將行人跟蹤序列中的其中一個圖像作為參考圖像，在此不作限制。
可選的，本實施例中，還對填充特征和/或刪除特征后的行人跟蹤序列以及該行人跟蹤序列中各圖像中的局部顯著性特征的信息進行保存，以避免在采用不同的目標(biāo)圖像與該參考圖像進行比較時進行重復(fù)計算。
205、獲取目標(biāo)圖像。
獲取目標(biāo)圖像的方法可參考圖1所示實施例中步驟101的解釋說明，在此不再贅述。
206、分別檢測第一局部顯著性特征和第二局部顯著性特征。
其中，第一局部顯著性特征為所述目標(biāo)圖像在目標(biāo)區(qū)域上的局部顯著性特征，第二局部顯著性特征為當(dāng)前的參考圖像在所述目標(biāo)區(qū)域上的局部顯著性特征。
檢測第一局部顯著性特征和第二局部顯著性特征的方法可參考圖1所示實施例中步驟102的解釋說明，在此不再贅述。
207、計算所述第一局部顯著性特征和第二局部顯著性特征的相似度。
計算所述第一局部顯著性特征和第二局部顯著性特征的相似度的方法可參考圖1所示實施例中步驟103的解釋說明，在此不再贅述。
可選的，本實施例中，還分別獲取所述第一局部顯著性特征的置信度p1和所述第二局部顯著性特征的置信度p2，其中p1＝1，p2為
本實施例中，通過不同時刻下同一行人的跟蹤圖像對該行人在目標(biāo)區(qū)域上的局部顯著性特征的穩(wěn)定性進行驗證，以提高該行人在目標(biāo)區(qū)域上的局部顯著性特征的置信度，進而提高參考圖像和目標(biāo)圖像在目標(biāo)區(qū)域中的局部顯著性特征的比較結(jié)果的置信度。
為理解本發(fā)明，下面結(jié)合一個具體應(yīng)用場景對本發(fā)明的行人再識別方法進行舉例描述。
本實施例中，數(shù)據(jù)庫中存有多個行人的跟蹤序列，其中，該跟蹤序列包括同一行人在同一跟蹤軌跡中至少兩個時刻的圖像?，F(xiàn)需要從數(shù)據(jù)庫中查找出與第一圖像中的目標(biāo)行人為同一人的圖像。具體的，依次將第一圖像與各行人的跟蹤序列進行比較。其中，在將第一圖像與任意一個行人的跟蹤序列進行比較的過程中，包括將該第一圖像中的行人身上的局部顯著性特征與該行人的跟蹤序列中行人身上的局部顯著性特征進行比較。下面對如何將第一圖像中行人身上的局部顯著性特征與其中一個行人(下文中稱為參考行人)的跟蹤序列中行人身上的局部顯著性特征比較進行詳細解釋。
首先，下面先對如何對參考行人的跟蹤序列處理進行解釋說明。
對參考行人的跟蹤序列中的每一個圖像，根據(jù)“運動目標(biāo)檢測”算法將該圖像中的背景去除，僅留下該圖像中的行人圖像。下面稱去除背景后的跟蹤序列為行人跟蹤序列。對參考行人的行人跟蹤序列中的每一個行人圖像，按同一個預(yù)置分割方法將該行人圖像的身體區(qū)域分為不同的區(qū)域，以及將該行人圖像的頭部區(qū)域進行垂直方向的分區(qū)，具體的，將該行人圖像的頭部區(qū)域分為頭發(fā)區(qū)域、眼睛區(qū)域和嘴部區(qū)域。其中，對每一個區(qū)域，獲取該區(qū)域的局部顯著性特征。
具體的，當(dāng)獲取行人圖像的頭部區(qū)域上的各區(qū)域的局部顯著性特征時，采用如下方法來獲取每一個區(qū)域的局部顯著性特征：獲取該區(qū)域的顏色直方圖以及該區(qū)域的標(biāo)準(zhǔn)顏色直方圖，其中該區(qū)域的標(biāo)準(zhǔn)顏色直方圖為根據(jù)數(shù)據(jù)庫中至少部分圖像在該區(qū)域上的顏色直方圖所統(tǒng)計出的參考值。計算該區(qū)域的顏色直方圖和該區(qū)域的標(biāo)準(zhǔn)顏色直方圖的卡方距離，當(dāng)該大方舉例大于第一預(yù)置數(shù)值時，確定該整個區(qū)域為局部顯著性特征。其中，頭部區(qū)域上的不同區(qū)域所采用的第一預(yù)置數(shù)值并不相同。
當(dāng)獲取行人圖像的身體區(qū)域上各區(qū)域的局部顯著性特征時，采用如下方法來獲取身體區(qū)域上的局部顯著性特征：
對身體區(qū)域上的每一個區(qū)域中的每一個像素點(x，y)，該像素點(x，y)的顯著性值為根據(jù)以下公式計算得到的salience(x,y)歸一化到0-255之間后得到的值，
利用大津算法對該身體區(qū)域上的每一個區(qū)域的顯著性圖進行二值化，得到身體區(qū)域上每個區(qū)域的二值圖像。從各區(qū)域的二值圖像中提取該區(qū)域中的所有連通部件，得到身體區(qū)域上的所有連通部件，為描述方便，稱為總連通部件集合。對該總連通部件集合進行過濾，具體的，預(yù)設(shè)有最大高度值、最小高度值、最大寬度值和最小寬度值，且預(yù)設(shè)有特定區(qū)域集合(例如包括領(lǐng)口區(qū)域、胸前區(qū)域等等)；當(dāng)該總連通部件集合中任意一個連通部件的高度大于最大高度值，或小于最小高度值，或該連通部件的寬度大于最大寬度值，或小于最小寬度值時，或者該連通部件的中心不位于該特定區(qū)域集合內(nèi)時，將該連通部件從該總連通部件集合中刪除。這樣，總連通部件集合中剩下的連通部件作為候選局部顯著性特征集合。在該候選局部顯著性特征集合中，若任意至少兩個候選局部顯著性特征位于身體區(qū)域上的同一個區(qū)域上時，將該區(qū)域中∑(i,j)∈csalience(x,y)最大的候選局部顯著性特征作為該特定區(qū)域的局部顯著性特征，并將其余候選局部顯著性特征刪除。對于其余候選局部顯著性特征，則分別作為所在的區(qū)域的局部顯著性特征。
這樣，可以確定出參考行人的行人跟蹤序列中每個行人圖像的頭部區(qū)域上各區(qū)域和身體區(qū)域上各區(qū)域的局部顯著性特征(當(dāng)然，部分區(qū)域上不存在局部顯著性特征)。
確定每一個行人圖像上各區(qū)域的局部顯著性特征后，判斷每個區(qū)域上的局部顯著性特征在該參考行人的行人跟蹤序列中是否穩(wěn)定。其中，判斷方法可參考圖2所示實施例中步驟203的解釋說明，在此不再贅述。
當(dāng)確定該區(qū)域上的局部顯著性特征穩(wěn)定時，將參考行人的行人跟蹤序列中該區(qū)域上存在局部顯著性特征的各圖像在區(qū)域上的局部顯著性特征的均值作為待填充特征，將該待填充特征填充到該行人跟蹤序列中在該區(qū)域上不存在局部顯著性特征的各圖像的該區(qū)域中。
當(dāng)確定該區(qū)域上的局部顯著性特征穩(wěn)定時，將參考行人的行人跟蹤序列中該區(qū)域上存在局部顯著性特征的各圖像在區(qū)域上的局部顯著性特征刪除。
這樣，通過以上方法對參考行人的行人跟蹤序列中各行人圖像的局部顯著性特征進行融合與更新后，得到參考行人的新行人跟蹤序列。將該新行人跟蹤序列以及該新行人跟蹤序列中各行人圖像中的局部顯著性特征保存至數(shù)據(jù)庫中，并采用該新行人跟蹤序列和第一圖像進行比較。
具體的，根據(jù)“運動目標(biāo)檢測”算法將該第一圖像中的背景去除，僅留下該第一圖像中的行人圖像(下面稱為目標(biāo)圖像)。采用分割參考行人的行人圖像的方法對目標(biāo)圖像進行分割，使得目標(biāo)圖像上的各區(qū)域分別和參考行人的行人圖像上的各區(qū)域為人體上的同一區(qū)域。
獲取目標(biāo)圖像上區(qū)域的局部顯著性特征，其中，獲取方法和獲取參考行人的行人圖像上各區(qū)域的局部顯著性特征的方法相同，在此不再贅述。
依次將參考行人的新行人跟蹤序列中的各行人圖像(下面稱為參考圖像)和目標(biāo)圖像進行比較，具體的，依次對目標(biāo)圖像上的每一個區(qū)域，檢測該區(qū)域上的局部顯著性特征和參考圖像上在該區(qū)域上的局部顯著性特征的相似度。若參考圖像不存在該區(qū)域(例如該區(qū)域為胸前區(qū)域而參考圖像為人體的背面圖像)，則相似度為0。若參考區(qū)域存在該區(qū)域，則計算目標(biāo)圖像和參考圖像在該區(qū)域上的局部顯著性圖特征的相似度的方法可參考圖2所示實施例中步驟209的解釋說明，在此不再贅述。
這樣，目標(biāo)圖像與參考行人的新行人跟蹤序列中各行人圖像在各區(qū)域上的局部顯著性特征的相似度用于輔助判斷該目標(biāo)圖像中的行人和參考行人是否為同一人。
上面對本發(fā)明的行人再識別方法進行了描述，下面將對本發(fā)明的行人再識別裝置進行描述。
如圖3所示，圖3為本發(fā)明的行人再識別裝置的一個實施例的結(jié)構(gòu)示意圖。本實施例中，行人再識別裝置300包括：
獲取模塊301，用于獲取目標(biāo)圖像和參考圖像，所述目標(biāo)圖像和所述參考圖像均為行人圖像；
檢測模塊302，用于分別檢測第一局部顯著性特征和第二局部顯著性特征，所述第一局部顯著性特征為所述目標(biāo)圖像在目標(biāo)區(qū)域上的局部顯著性特征，所述第二局部顯著性特征為所述參考圖像在所述目標(biāo)區(qū)域上的局部顯著性特征；
計算模塊303，用于計算所述第一局部顯著性特征和第二局部顯著性特征的相似度；
其中，
所述目標(biāo)區(qū)域位于所述目標(biāo)圖像中行人身上的任意一個區(qū)域，所述檢測模塊在檢測局部顯著性特征時，具體用于獲取所述目標(biāo)區(qū)域中的顯著性圖(salience)；對所述目標(biāo)區(qū)域的顯著性圖進行二值化，生成二值圖像；從所述二值圖像中提取所述目標(biāo)區(qū)域中的連通部件集合，確定局部顯著性特征，所述局部顯著性特征包括所述連通部件集合中滿足預(yù)置條件的連通部件；
和/或，
所述目標(biāo)區(qū)域位于行人圖像的頭部區(qū)域，所述檢測模塊在檢測局部顯著性特征時，具體用于：獲取所述目標(biāo)區(qū)域的顏色分布以及標(biāo)準(zhǔn)顏色分布，計算所述目標(biāo)區(qū)域的顏色分布與所述目標(biāo)區(qū)域的標(biāo)準(zhǔn)顏色分布的距離；當(dāng)所述距離大于第一預(yù)置數(shù)值時，確定所述目標(biāo)區(qū)域為局部顯著性特征。
對圖像中的任意一個區(qū)域，通過獲取該區(qū)域中的顯著性圖并將該顯著性圖二值化生成二值圖像，再從該二值圖像中提取出符合預(yù)置條件的連通部件作為該區(qū)域的局部顯著性特征的至少部分，這樣，本發(fā)明將行人圖像中的所有局部特征的檢測整合到統(tǒng)一的框架下進行處理，避免了現(xiàn)有技術(shù)中對每一種局部特征訓(xùn)練一種分類器從而無法窮舉所有局部特征的缺陷，能夠覆蓋所有的局部顯著性特征，且降低檢測成本。
可選的，所述計算模塊303具體用于：
分別生成所述第一局部顯著性特征和所述第二局部顯著性特征的描述向量，其中，所述描述包括尺度描述、顏色描述、位置描述和形狀描述中的至少一種；計算所述第一局部顯著性特征和所述第二局部顯著性特征的描述向量的距離的倒數(shù)，將所述倒數(shù)作為所述第一局部顯著性特征和所述第二局部顯著性特征的相似度的一個因子。
可選的，所述檢測模塊302具體用于：
對所述目標(biāo)區(qū)域中的任意一個像素點(x，y)，所述像素點的顯著性值為將salience(x,y)歸一化到0-255之間得到的值，其中，
可選的，所述預(yù)置條件包括：尺寸位于預(yù)置范圍內(nèi)的所有連通部件中，顯著性最大的連通部件，其中，連通部件的顯著性為所述連通部件中各像素點(x,y)的salience(x,y)的和。
可選的，所述獲取模塊301在獲取參考圖像時，具體用于:
獲取行人跟蹤序列，所述行人跟蹤序列包括同一行人在同一跟蹤軌跡中至少兩個時刻的行人圖像；
檢測所述行人跟蹤序列中各圖像在所述目標(biāo)區(qū)域上是否存在局部顯著性特征；
判斷所述局部顯著性特征在所述行人跟蹤序列中是否穩(wěn)定；
當(dāng)確定所述局部顯著性特征穩(wěn)定時，根據(jù)所述行人跟蹤序列中所述目標(biāo)區(qū)域上存在局部顯著性特征的各圖像中的所述局部顯著性特征確定待填充特征，對所述行人跟蹤序列中目標(biāo)區(qū)域上不存在局部顯著性特征的圖像填充所述待填充特征；
當(dāng)確定所述局部顯著性特征不穩(wěn)定時，將所述行人跟蹤序列中目標(biāo)區(qū)域上存在局部顯著性特征的圖像中目標(biāo)區(qū)域上的局部顯著性特征刪除；
將所述行人跟蹤序列中的各圖像依次作為所述參考圖像。
可選的，所述獲取模塊301在判斷所述局部顯著性特征在所述行人跟蹤序列中是否穩(wěn)定時，具體用于：
獲取第一比值，所述第一比值為在所述行人跟蹤序列中目標(biāo)區(qū)域上存在局部顯著性特征的圖像的數(shù)量與所述行人跟蹤序列中圖像總數(shù)的比值；當(dāng)所述第一比值小于第二預(yù)置數(shù)值時，確定所述局部顯著性特征不穩(wěn)定；
或者，
計算所述行人跟蹤序列中第k幀和第k+1幀圖像在所述目標(biāo)區(qū)域的局部顯著性特征的相似度sk,k+1，當(dāng)
可選的，所述計算模塊303具體用于：
分別獲取所述第一局部顯著性特征的置信度p1和所述第二局部顯著性特征的置信度p2，其中
計算p＝|p1-p2|/(p1+p2)，將p作為所述第一局部顯著性特征和所述第二局部顯著性特征的相似度的一個因子。
上面從單元化功能實體的角度對本發(fā)明實施例中的行人再識別裝置進行了描述，下面從硬件處理的角度對本發(fā)明實施例中的行人再識別裝置進行描述。
請參閱圖4，圖4為本發(fā)明的行人再識別裝置的一個實施例的結(jié)構(gòu)示意圖。本實施例中，行人再識別裝置400包括：
處理器401，以及耦合到所述處理器401的存儲器402；其中，所述處理器401讀取所述存儲器402中存儲的計算機程序用于執(zhí)行以下操作：
獲取目標(biāo)圖像和參考圖像，所述目標(biāo)圖像和所述參考圖像均為行人圖像；
分別檢測第一局部顯著性特征和第二局部顯著性特征，所述第一局部顯著性特征為所述目標(biāo)圖像在目標(biāo)區(qū)域上的局部顯著性特征，所述第二局部顯著性特征為所述參考圖像在所述目標(biāo)區(qū)域上的局部顯著性特征；
計算所述第一局部顯著性特征和第二局部顯著性特征的相似度；
其中，
所述目標(biāo)區(qū)域位于行人身上的任意一個區(qū)域，所述檢測局部顯著性特征包括：獲取所述目標(biāo)區(qū)域中的顯著性圖(salience)；對所述目標(biāo)區(qū)域的顯著性圖進行二值化，生成二值圖像；從所述二值圖像中提取所述目標(biāo)區(qū)域中的連通部件集合，確定局部顯著性特征，所述局部顯著性特征包括所述連通部件集合中滿足預(yù)置條件的連通部件；
或者，
所述目標(biāo)區(qū)域位于行人圖像的頭部區(qū)域，所述檢測局部顯著性特征包括：獲取所述目標(biāo)區(qū)域的顏色分布以及標(biāo)準(zhǔn)顏色分布，計算所述目標(biāo)區(qū)域的顏色分布與所述目標(biāo)區(qū)域的標(biāo)準(zhǔn)顏色分布的距離；當(dāng)所述距離大于第一預(yù)置數(shù)值時，確定所述目標(biāo)區(qū)域為局部顯著性特征。
對處理器401所執(zhí)行的操作可參考圖1和圖2所示實施例中的行人再識別方法，在此不再贅述。
所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡潔，上述描述的系統(tǒng)，裝置和單元的具體工作過程，可以參考前述方法實施例中的對應(yīng)過程，在此不再贅述。
在本申請所提供的幾個實施例中，應(yīng)該理解到，所揭露的系統(tǒng)，裝置和方法，可以通過其它的方式實現(xiàn)。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。
另外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用軟件功能單元的形式實現(xiàn)。
所述集成的單元如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，可以存儲在一個計算機可讀取存儲介質(zhì)中?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括：u盤、移動硬盤、只讀存儲器(rom，read-onlymemory)、隨機存取存儲器(ram，randomaccessmemory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
以上所述，以上實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述實施例對本發(fā)明進行了詳細的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對前述各實施例所記載的技術(shù)方案進行修改，或者對其中部分技術(shù)特征進行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的精神和范圍。
- 還沒有人留言評論。精彩留言會獲得點贊！