本發(fā)明涉及通信技術(shù)領(lǐng)域，特別涉及一種箱包識別的方法，同時本申請還特別涉及一種箱包識別的設(shè)備。

背景技術(shù)：

行人識別是智能交通系統(tǒng)和智能監(jiān)控系統(tǒng)的重要組成部分，箱包識別則是行人識別的一個子課題，可以為行人識別提供更加豐富的特征，提高識別的準(zhǔn)確性，是行人識別非常重要的補(bǔ)充。

當(dāng)前箱包識別的方法很多，主流是基于深度學(xué)習(xí)的方案。最典型的有基于faster rcnn的箱包識別技術(shù)。但考慮到箱包識別的影響因素太多，包括常見的光照，旋轉(zhuǎn)，遮擋，縮放等因素，還有箱包不同的款式，不同的攜帶方式以及不同的環(huán)境背景都會明顯影響箱包識別的準(zhǔn)確性。因此，使用深度學(xué)習(xí)想要完全學(xué)習(xí)這些變量需要數(shù)量極大的樣本。然而，檢測樣本并不容易制作，若要制造數(shù)量巨大的樣本，需要耗費(fèi)大量的人力物力。

申請人在實(shí)現(xiàn)本申請的過程中，發(fā)現(xiàn)現(xiàn)有技術(shù)中，至少存在以下問題：

現(xiàn)有技術(shù)中的箱包識別方案，均是采用識別通用目標(biāo)(各類型的物體均適用的目標(biāo))的識別模型的識別方案，并沒有考慮箱包在圖像中的相對位置特征，特別是箱包與行人的位置特征，從而使得箱包識別的準(zhǔn)確率不高。

可見，如何在現(xiàn)有箱包識別技術(shù)的基礎(chǔ)上，結(jié)合箱包在圖像中的相對位置特征，來對圖像中的箱包區(qū)域進(jìn)行識別，進(jìn)而提高箱包識別的準(zhǔn)確性，成為本領(lǐng)域技術(shù)人員亟待解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供了一種箱包識別方法，用以在現(xiàn)有箱包識別技術(shù)的基礎(chǔ)上，結(jié)合箱包在圖像中的相對位置特征，來對圖像中的箱包區(qū)域進(jìn)行識別，進(jìn)而提高箱包識別的準(zhǔn)確性。

本發(fā)明提出了一種箱包識別的方法，其特征在于，所述方法至少包括：

通過預(yù)設(shè)的箱包識別模型獲取待檢測圖像的特征區(qū)域，以及所述特征區(qū)域的本體特征，所述特征區(qū)域的類型包括人體區(qū)域以及箱包區(qū)域；

根據(jù)預(yù)設(shè)的條件隨機(jī)場概率模型的第一層對所述箱包區(qū)域的本體特征以及所述箱包區(qū)域與所述人體區(qū)域之間的位置關(guān)系進(jìn)行一次分析，并根據(jù)所述一次分析的結(jié)果確定所述箱包區(qū)域所屬的箱包類型。

優(yōu)選地，所述方法還包括：

若根據(jù)所述一次分析的結(jié)果確定所述待檢測圖像中存在多個所述箱包區(qū)域，則根據(jù)所述條件隨機(jī)場概率模型的第二層對所述箱包區(qū)域的本體特征、所述箱包區(qū)域與所述人體區(qū)域之間的位置關(guān)系、以及所述箱包區(qū)域與其他箱包區(qū)域之間的位置關(guān)系進(jìn)行二次分析，并根據(jù)所述二次分析的結(jié)果確定所述箱包區(qū)域所屬的箱包類型。

優(yōu)選地，所述方法還包括：

通過難例樣本對所述條件隨機(jī)場概率模型進(jìn)行訓(xùn)練，所述難例樣本是通過對所述訓(xùn)練模型識別錯誤的樣本進(jìn)行糾正后獲取的。

優(yōu)選地，所述條件隨機(jī)場概率模型如下：

其中，p(y|x,θ)為箱包區(qū)域?yàn)橹付ㄏ浒愋偷母怕?，Z(x)為箱包區(qū)域的歸一化因子，exp{φ(y,x；θ)}為箱包區(qū)域?qū)儆谥付ㄏ浒愋偷膭菽芎瘮?shù)，y為所述指定箱包類型，x為所述箱包區(qū)域的輸入特征，θ為預(yù)設(shè)的參數(shù)，所述箱包區(qū)域的輸入特征包含所述箱包區(qū)域的本體特征以及所述箱包區(qū)域與所述人體區(qū)域的位置關(guān)系特征。

優(yōu)選地，所述條件隨機(jī)場概率模型中的

其中，y為所述指定箱包類型，x為所述箱包區(qū)域的輸入特征，θ為預(yù)設(shè)的參數(shù)，θ(y_v)為特征參數(shù)，λ_i,j為轉(zhuǎn)移函數(shù)的權(quán)值，為距離懲罰系數(shù)，θ(x_i,x_j,x_head,y_i,y_j)為轉(zhuǎn)移函數(shù)，v為箱包區(qū)域v，V為所述待檢測圖片中所有箱包區(qū)域組成的集合，i為特征區(qū)域i，j為特征區(qū)域j，E為待檢測圖片中所有特征區(qū)域兩兩連接組成的集合，x_v為箱包區(qū)域v的輸入特征，x_i為特征區(qū)域i的輸入特征，x_j為特征區(qū)域j的輸入特征，x_head為特征區(qū)域head的輸入特征y_v為箱包區(qū)域v的箱包類型，y_i為特征區(qū)域i的屬性類型，y_j為特征區(qū)域j的屬性類型，d為特征區(qū)域i與特征區(qū)域j之間的距離。

相應(yīng)的，本發(fā)明還提出了一種箱包識別的設(shè)備，其特征在于，所述設(shè)備至少包括：

獲取模塊，用于通過預(yù)設(shè)的箱包識別模型獲取待檢測圖像的特征區(qū)域，以及所述特征區(qū)域的本體特征，所述特征區(qū)域的類型包括人體區(qū)域以及箱包區(qū)域；

第一分析模塊，用于根據(jù)預(yù)設(shè)的條件隨機(jī)場概率模型的第一層對所述箱包區(qū)域的本體特征以及所述箱包區(qū)域與所述人體區(qū)域之間的位置關(guān)系進(jìn)行一次分析，并根據(jù)所述一次分析的結(jié)果確定所述箱包區(qū)域所屬的箱包類型。

優(yōu)選地，所述設(shè)備還包括：

第二分析模塊，用于在根據(jù)所述一次分析的結(jié)果確定所述待檢測圖像中存在多個所述箱包區(qū)域時，根據(jù)所述條件隨機(jī)場概率模型的第二層對所述箱包區(qū)域的本體特征、所述箱包區(qū)域與所述人體區(qū)域之間的位置關(guān)系、以及所述箱包區(qū)域與其他箱包區(qū)域之間的位置關(guān)系進(jìn)行二次分析，并根據(jù)所述二次分析的結(jié)果確定所述箱包區(qū)域所屬的箱包類型。

優(yōu)選地，所述設(shè)備還包括：

訓(xùn)練模塊，用于通過難例樣本對所述條件隨機(jī)場概率模型進(jìn)行訓(xùn)練，所述難例樣本是通過對所述訓(xùn)練模型識別錯誤的樣本進(jìn)行糾正后獲取的。

優(yōu)選地，所述條件隨機(jī)場概率模型如下：

其中，p(y|x,θ)為箱包區(qū)域?yàn)橹付ㄏ浒愋偷母怕?，Z(x)為箱包區(qū)域的歸一化因子，exp{φ(y,x；θ)}為箱包區(qū)域?qū)儆谥付ㄏ浒愋偷膭菽芎瘮?shù)，y為所述指定箱包類型，x為所述箱包區(qū)域的輸入特征，θ為預(yù)設(shè)的參數(shù)，所述箱包區(qū)域的輸入特征包含所述箱包區(qū)域的本體特征以及所述箱包區(qū)域與所述人體區(qū)域的位置關(guān)系特征。

優(yōu)選地，所述條件隨機(jī)場概率模型中的

其中，y為所述指定箱包類型，x為所述箱包區(qū)域的輸入特征，θ為預(yù)設(shè)的參數(shù)，θ(y_v)為特征參數(shù)，λ_i,j為轉(zhuǎn)移函數(shù)的權(quán)值，為距離懲罰系數(shù)，θ(x_i,x_j,x_head,y_i,y_j)為轉(zhuǎn)移函數(shù)，v為箱包區(qū)域v，V為所述待檢測圖片中所有箱包區(qū)域組成的集合，i為特征區(qū)域i，j為特征區(qū)域j，E為待檢測圖片中所有特征區(qū)域兩兩連接組成的集合，x_v為箱包區(qū)域v的輸入特征，x_i為特征區(qū)域i的輸入特征，x_j為特征區(qū)域j的輸入特征，x_head為特征區(qū)域head的輸入特征y_v為箱包區(qū)域v的箱包類型，y_i為特征區(qū)域i的屬性類型，y_j為特征區(qū)域j的屬性類型，d為特征區(qū)域i與特征區(qū)域j之間的距離。

通過應(yīng)用本發(fā)明提出的技術(shù)方案，通過預(yù)設(shè)的箱包識別模型獲取待檢測圖像的特征區(qū)域，以及特征區(qū)域的本體特征，特征區(qū)域的類型包括人體區(qū)域以及箱包區(qū)域；根據(jù)預(yù)設(shè)的條件隨機(jī)場概率模型的第一層對箱包區(qū)域的本體特征以及箱包區(qū)域與人體區(qū)域之間的位置關(guān)系進(jìn)行一次分析，并根據(jù)一次分析的結(jié)果確定箱包區(qū)域所屬的箱包類型。由于在一次分析中結(jié)合分析了箱包區(qū)域的本體特征以及箱包區(qū)域與人體區(qū)域之間的位置關(guān)系，使得分析的因素更加地全面，從而提高了箱包預(yù)測的結(jié)果。

附圖說明

為了更清楚地說明本申請的技術(shù)方案，下面將對實(shí)施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的一些實(shí)施例，對于本領(lǐng)域普通的技術(shù)人員而言，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本申請實(shí)施例提出的一種箱包識別方法的流程示意圖；

圖2為本申請具體實(shí)施例提出的一種經(jīng)過歸一化處理后的圖片的示意圖；

圖3為本申請具體實(shí)施例提出的對樣本圖片進(jìn)行區(qū)域劃分的示意圖；

圖4為本申請具體實(shí)施例提出的一種誤檢圖片的示意圖；

圖5為本申請具體實(shí)施例提出的一種特征區(qū)域之間的距離d的計(jì)算方法的示意圖；

圖6為本申請具體實(shí)施例提出的一種箱包識別方法的流程示意圖；

圖7為本申請具體實(shí)施例中提出一種箱包識別設(shè)備的結(jié)構(gòu)示意圖。

具體實(shí)施方式

如背景技術(shù)所述，現(xiàn)有的箱包識別技術(shù)，一般采用通用目標(biāo)的識別模型來對圖片中的箱包區(qū)域進(jìn)行識別，由于通用目標(biāo)的識別模型一般是通過檢測圖片中待測箱包區(qū)域的本體特征來對箱包所屬的屬性類型進(jìn)行預(yù)測。然而箱包在圖片中的位置關(guān)系，特別是與圖片中人體的位置關(guān)系也對箱包所屬的屬性類型有影響，例如，拉桿箱和手提包的上邊緣部分一般和手臂相連，背包的上邊緣部分一般靠近頭部和兩肩?？梢?，能夠通過箱包在檢測圖片中的位置關(guān)系對箱包所屬的屬性類型進(jìn)行進(jìn)一步地驗(yàn)證。

因此，本申請?zhí)岢鲆环N箱包識別方法，用以在現(xiàn)有箱包識別技術(shù)的基礎(chǔ)上，結(jié)合箱包在圖像中的相對位置特征，來對圖像中的箱包區(qū)域進(jìn)行識別，進(jìn)而提高箱包識別的準(zhǔn)確性。首先，通過預(yù)設(shè)的訓(xùn)練模型獲取待檢測圖像的特征區(qū)域，以及特征區(qū)域的本體特征。其中特征區(qū)域的類型包括人體區(qū)域以及箱包區(qū)域。然后根據(jù)預(yù)設(shè)的條件隨機(jī)場概率模型的第一層對箱包區(qū)域的本體特征以及箱包區(qū)域與人體區(qū)域之間的位置關(guān)系進(jìn)行一次分析，并根據(jù)一次分析結(jié)果確定箱包區(qū)域所屬的箱包類型。由于在一次分析中結(jié)合分析了箱包區(qū)域的本體特征以及箱包區(qū)域與人體區(qū)域之間的位置關(guān)系，使得分析的因素更加地全面，從而提高了箱包預(yù)測的結(jié)果。

如圖1所示為本申請?zhí)岢龅囊环N箱包識別方法的流程示意圖，需要說明的是本申請應(yīng)用于對圖片中的箱包區(qū)域進(jìn)行預(yù)測，在執(zhí)行本申請的步驟之前，需要對待預(yù)測的圖片進(jìn)行行人圖片歸一化處理。具體地，本申請至少包括以下的步驟：

S101，通過預(yù)設(shè)的箱包識別模型獲取待檢測圖像的特征區(qū)域，以及所述特征區(qū)域的本體特征。其中，特征區(qū)域的類型包括人體區(qū)域以及箱包區(qū)域。

在本申請的實(shí)施例中，在對待檢測圖像進(jìn)行行人圖片歸一化之后，首先通過預(yù)設(shè)的訓(xùn)練模型在待檢測圖像中獲取特征區(qū)域，特征區(qū)域的類型包括人體區(qū)域以及箱包區(qū)域。

其中，預(yù)設(shè)的訓(xùn)練模型可以是faster rcnn箱包識別模型，或者ssd箱包識別模型。通過以上的兩種箱包識別模型能夠在待檢測圖像中獲取特征區(qū)域(人體區(qū)域和箱包區(qū)域)，在待檢測圖像中獲取特征區(qū)域。

需要說明的是采用faster rcnn箱包識別模型，或者ssd箱包識別模型來在待檢測圖像中獲取特征區(qū)域在待檢測圖像中獲取特征區(qū)域的本體特征，只是本申請?zhí)岢龅囊环N優(yōu)選的方案，基于本申請的核心思想，本領(lǐng)域技術(shù)人員還可以采用其他特征區(qū)域以及特征區(qū)域的本體特征的獲取方法，這并不會影響本申請的保護(hù)范圍。

上述提到的人體區(qū)域以及箱包區(qū)域是本申請中預(yù)設(shè)的箱包識別模型的初步識別結(jié)果，在本申請的實(shí)施例中，還需要對上述的識別結(jié)果進(jìn)行進(jìn)一步地驗(yàn)證。

特征區(qū)域的本體特征是指本申請中預(yù)設(shè)的箱包識別模型提取到的特征區(qū)域的標(biāo)識特征，其代表了特征區(qū)域本身具備的特征，而不包括特征區(qū)域的位置特征。如果采用faster rcnn作為預(yù)設(shè)的箱包識別模型，則特征區(qū)域的標(biāo)識特征具體可以為一個多維向量(維數(shù)可以具體為4096維)。

特征區(qū)域的本體特征代表了特征區(qū)域本身的特征，作為本申請的條件隨機(jī)場概率模型的一部分輸入特征使用。并且，在本申請的優(yōu)選實(shí)施例中，需要對標(biāo)識特征(具體為一多維向量)進(jìn)行降維處理之后，再將其作為本申請的條件隨機(jī)場概率模型的部分輸入特征。

通過以上的步驟S101，能夠?qū)Υ龣z測圖像進(jìn)行特征區(qū)域的提取，并且獲取特征區(qū)域的本體特征。在本申請的實(shí)施例中，正是通過對特征區(qū)域中的箱包區(qū)域進(jìn)行進(jìn)一步地進(jìn)行合理性驗(yàn)證，從而增加了對箱包區(qū)域識別的準(zhǔn)確性。具體的，以下對具體的合理性驗(yàn)證過程進(jìn)行詳細(xì)的闡述。

S102，根據(jù)預(yù)設(shè)的條件隨機(jī)場概率模型的第一層對箱包區(qū)域的本體特征以及箱包區(qū)域與人體區(qū)域之間的位置關(guān)系進(jìn)行一次分析，并根據(jù)一次分析結(jié)果確定箱包區(qū)域所屬的箱包類型。

在本申請的實(shí)施例中，在獲取了待檢測圖像的特征區(qū)域以及特征區(qū)域的本體特征之后，根據(jù)預(yù)設(shè)的條件隨機(jī)場概率模型的第一層對箱包區(qū)域的本體特征以及箱包區(qū)域與人體區(qū)域之間的位置關(guān)系進(jìn)行一次分析，并根據(jù)一次分析結(jié)果確定箱包區(qū)域所屬的箱包類型。

待檢測圖像中箱包區(qū)域所屬的箱包類型除了與箱包區(qū)域的本體特征相關(guān)之外，還與箱包區(qū)域在圖片中所處的位置有關(guān)，特別是箱包區(qū)域與人體區(qū)域之間的位置關(guān)系顯得尤為重要。舉例而言，拉桿箱和手提包的上邊緣部分一般和手臂相連，背包的上邊緣部分一般靠近頭部和兩肩?？梢姡浒鼌^(qū)域與人體區(qū)域之間的位置關(guān)系對箱包所屬類型的能夠提供重要的參考。因此，在本申請的實(shí)施例中，將箱包區(qū)域與人體區(qū)域之間的位置關(guān)系作為條件隨機(jī)場概率模型的一個重要的輸入特征使用，從而使得對箱包區(qū)域所屬類型的預(yù)測更加地準(zhǔn)確。

在本申請的優(yōu)選實(shí)施例中，若根據(jù)一次分析的結(jié)果確定待檢測圖像中存在多個箱包區(qū)域，則根據(jù)條件隨機(jī)場概率模型的第二層對箱包區(qū)域的本體特征、箱包區(qū)域與人體區(qū)域之間的位置關(guān)系、以及箱包區(qū)域與其他箱包區(qū)域之間的位置關(guān)系進(jìn)行二次分析，并根據(jù)二次分析的結(jié)果確定箱包區(qū)域所屬的箱包類型。

如果根據(jù)一次分析的結(jié)果確定待檢測圖像中存在多個箱包區(qū)域，則需要進(jìn)一步地判斷各箱包區(qū)域之間的位置關(guān)系是否合理，也即進(jìn)一步地考慮箱包區(qū)域之間的相互影響。因此，在本申請的優(yōu)選實(shí)施例中，如果根據(jù)一次分析的結(jié)果確定待檢測圖像中存在多個箱包區(qū)域，則根據(jù)條件隨機(jī)場概率模型的第二層對箱包區(qū)域的本體特征、箱包區(qū)域與人體區(qū)域之間的位置關(guān)系、以及箱包區(qū)域與其他箱包區(qū)域之間的位置關(guān)系進(jìn)行二次分析，并根據(jù)二次分析的結(jié)果確定箱包區(qū)域所屬的箱包類型。由于綜合的考慮了上述的三種因素，從而使得對箱包區(qū)域所屬類型的預(yù)測更加地準(zhǔn)確。

在本申請的優(yōu)選實(shí)施例中，通過難例樣本對條件隨機(jī)場概率模型進(jìn)行訓(xùn)練。其中，難例樣本是通過對預(yù)設(shè)的箱包識別模型識別錯誤的樣本進(jìn)行糾正后獲取的。

在使用條件隨機(jī)場概率模型進(jìn)行箱包識別之前，首先需要對條件隨機(jī)場概率模型進(jìn)行訓(xùn)練，在本申請的優(yōu)選實(shí)施例中，除了采用普通的樣本來對條件隨機(jī)場概率模型進(jìn)行訓(xùn)練之外，還采用難例樣本來對條件隨機(jī)場概率模型進(jìn)行訓(xùn)練。其中，難例樣本是通過對預(yù)設(shè)的箱包識別模型識別錯誤的樣本進(jìn)行糾正后獲取的。

并且，由于難例樣本的數(shù)量有限，因此可以通過PCA降維重構(gòu)技術(shù)對難例樣本進(jìn)行擴(kuò)充，擴(kuò)充至原來的3～5倍。

通過以上還采用難例樣本來對條件隨機(jī)場概率模型進(jìn)行訓(xùn)練，能夠使得條件隨機(jī)場概率模型中待訓(xùn)練參數(shù)更加地準(zhǔn)確，從而條件隨機(jī)場概率模型對箱包區(qū)域的識別更加地準(zhǔn)確。

在本申請的優(yōu)選實(shí)施例中，條件隨機(jī)場概率模型具體如下：

其中，p(y|x,θ)為箱包區(qū)域?yàn)橹付ㄏ浒愋偷母怕?，Z(x)為箱包區(qū)域的歸一化因子，exp{φ(y,x；θ)}為箱包區(qū)域?qū)儆谥付ㄏ浒愋偷膭菽芎瘮?shù)，y為指定箱包類型，x為箱包區(qū)域的輸入特征，θ為預(yù)設(shè)的參數(shù)(通對條件隨機(jī)場概率模型進(jìn)行訓(xùn)練后得到)。

其中，箱包區(qū)域的輸入特征包含箱包區(qū)域的本體特征以及箱包區(qū)域與人體區(qū)域的位置關(guān)系特征。

在本申請的優(yōu)選實(shí)施例中箱包區(qū)域的輸入特征包含箱包區(qū)域的本體特征，結(jié)合箱包區(qū)域與人體區(qū)域的位置關(guān)系特征而得到。

在箱包區(qū)域的本體特征為多維向量時(具體為4096維)，首先需要對本體特征進(jìn)行降維處理，再結(jié)合箱包區(qū)域4個角點(diǎn)位置相對于頭部中間點(diǎn)的相對位移，以及該區(qū)域的長度，寬度信息重新構(gòu)造一個新的多維向量作為箱包區(qū)域的輸入特征。

在本申請的優(yōu)選實(shí)施例中，條件隨機(jī)場概率模型中的概率函數(shù)中的

其中，y為指定箱包類型，x為箱包區(qū)域的輸入特征，θ為預(yù)設(shè)的參數(shù)，θ(y_v)為狀態(tài)參數(shù)，λ_i,j為轉(zhuǎn)移函數(shù)的權(quán)值，為距離懲罰系數(shù)，θ(x_i,x_j,x_head,y_i,y_j)為轉(zhuǎn)移函數(shù)，v為箱包區(qū)域v，V為待檢測圖片中所有箱包區(qū)域組成的集合，i為特征區(qū)域i，j為特征區(qū)域j，E為待檢測圖片中所有特征區(qū)域兩兩連接組成的集合，x_v為箱包區(qū)域v的輸入特征，x_i為特征區(qū)域i的輸入特征，x_j為特征區(qū)域j的輸入特征，x_head為特征區(qū)域head的輸入特征，y_v為箱包區(qū)域v的箱包類型，y_i為特征區(qū)域i的屬性類型，y_j為特征區(qū)域j的屬性類型，d為特征區(qū)域i與特征區(qū)域j之間的距離。

需要說明的是，狀態(tài)參數(shù)θ(y_v)對應(yīng)于輸入特征x_v，其維度與x_v的維度相同，轉(zhuǎn)移函數(shù)θ(x_i,x_j,x_head,y_i,y_j)對應(yīng)于x_i、x_j以及x_head等三個輸入特征，其維度為輸入特征維度的3倍。

λ_i,j為轉(zhuǎn)移函數(shù)的權(quán)值，只與y_i，y_j有關(guān)系，其值的大小可以通過通過對條件隨機(jī)場概率模型進(jìn)行訓(xùn)練后得到。

在上式中，為距離懲罰系數(shù)，兩個區(qū)域相隔越遠(yuǎn)，其權(quán)重應(yīng)該越低，其中d的計(jì)算方法如下：

通過觀察大量箱包樣本，發(fā)現(xiàn)箱包區(qū)域的上邊緣部分特征更加明顯和穩(wěn)定，例如拉桿箱和手提包的上邊緣部分一般和手臂相連，背包的上邊緣部分一般靠近頭部和兩肩，但由于箱包大小和位置的不確定，下邊緣部分位置特征就不太明顯了。因此，在本申請送選取箱包區(qū)域上邊緣的中心點(diǎn)位置為參考點(diǎn)，其它區(qū)域和此中心點(diǎn)的最近距離即為d(d>＝0)，部分特殊情況下，該點(diǎn)被其它區(qū)域所包含，此時d應(yīng)該是負(fù)值，這里我們?nèi)＝0。

通過以上實(shí)施例的描述可知，通過預(yù)設(shè)的訓(xùn)練模型獲取待檢測圖像的特征區(qū)域，以及特征區(qū)域的本體特征。其中特征區(qū)域的類型包括人體區(qū)域以及箱包區(qū)域。然后根據(jù)預(yù)設(shè)的條件隨機(jī)場概率模型的第一層對箱包區(qū)域的本體特征以及箱包區(qū)域與人體區(qū)域之間的位置關(guān)系進(jìn)行一次分析，并根據(jù)一次分析結(jié)果確定箱包區(qū)域所屬的箱包類型。由于在一次分析中結(jié)合分析了箱包區(qū)域的本體特征以及箱包區(qū)域與人體區(qū)域之間的位置關(guān)系，使得分析的因素更加地全面，從而提高了箱包預(yù)測的結(jié)果。

為了進(jìn)一步闡述本發(fā)明的技術(shù)思想，現(xiàn)結(jié)合具體的實(shí)施流程，對本發(fā)明的技術(shù)方案進(jìn)行說明。

本申請所描述的箱包識別方法由如下步驟組成，入口為智能交通電警或者園區(qū)等采集的圖片，然后通過行人檢測獲取行人所在的區(qū)域(上下左右適當(dāng)擴(kuò)展一部分，確保箱包主要部分被包括在內(nèi))，通過矩形框截取效果如圖2所示，該部分為較成熟技術(shù)，在此不予贅述，需要說明，無論訓(xùn)練還是檢測，入口圖片為行人截取好的區(qū)域。優(yōu)選地，檢測和訓(xùn)練的圖片均被歸一化為400*200大小。

訓(xùn)練過程中對行人的區(qū)域分割，一共分為頭部，上臂，下臂，腿部和腳部，除了頭部之外，其他部分均分為左右，如下圖3所示(行人樣本獲取較為容易，訓(xùn)練難度也低于箱包)。

對于箱包分類，一共分為5類，分別為雙肩包，單肩包，手提包，帽子和拉桿箱，其中拉桿箱的框定如上圖所示，其它類別均按照上述方式框定，將所有區(qū)域標(biāo)注完成之后，按照特定格式生成訓(xùn)練樣本，投入faster rcnn進(jìn)行訓(xùn)練(總共的類別為箱包5類+人體部位屬性9類+背景1類＝15類)。

通過faster rcnn對訓(xùn)練圖片進(jìn)行特征獲取，訓(xùn)練圖片中所有候選框通過roipooling層歸一化為相同大小的區(qū)域，然后通過全連接層形成4096維向量經(jīng)過降維作為后續(xù)條件隨機(jī)場的一部分輸入特征。

條件隨機(jī)場的輸入訓(xùn)練樣本有兩個來源，一是上述faster rcnn相同的訓(xùn)練樣本；二是faster rcnn檢測過程中確認(rèn)有誤的樣本，這部分樣本經(jīng)過校正之后，可以作為條件隨機(jī)場的難例樣本輸入，校正方法舉例：如圖4所示，下面這張圖片有一張多檢(backpack)和一張誤檢(package)，校正過程就將多檢的區(qū)域直接標(biāo)識為背景框，將誤檢的區(qū)域標(biāo)識為對應(yīng)的類別(bag)，需要注意，經(jīng)過校正之后，下圖變?yōu)閮蓚€bag區(qū)域框，這是被條件隨機(jī)場認(rèn)為合理的存在關(guān)系，主要為了適配faster rcnn的誤檢率較高的情況。對于條件隨機(jī)場檢測之后輸出重復(fù)區(qū)域的處理，只要這些重復(fù)區(qū)域?qū)儆谕粋€類別屬性，都可以通過nms非極大值抑制算法進(jìn)行消除。

另外需要說明，鑒于檢測樣本一般不是很多，這部分難例樣本一般需要經(jīng)過PCA降維重構(gòu)技術(shù)進(jìn)行擴(kuò)充，擴(kuò)充至原來的3～5倍即可，視實(shí)際情況而定。

本申請采用的條件隨機(jī)場概率模型如下：此模型可以對某一個結(jié)點(diǎn)計(jì)算其屬性概率(即任意檢測到的箱包區(qū)域其屬性是否可靠，上式中的y序列只有一個未知)，亦可對幾個結(jié)點(diǎn)的綜合概率進(jìn)行計(jì)算(即多個箱包區(qū)域相互之間的位置關(guān)系是否合理，上式中的y序列有多個未知)。

其中，p(y|x,θ)為箱包區(qū)域?yàn)橹付ㄏ浒愋偷母怕?，Z(x)為箱包區(qū)域的歸一化因子，exp{φ(y,x；θ)}為箱包區(qū)域?qū)儆谥付ㄏ浒愋偷膭菽芎瘮?shù)，y為指定箱包類型，x為箱包區(qū)域的輸入特征，θ為預(yù)設(shè)的參數(shù)(通對條件隨機(jī)場概率模型進(jìn)行訓(xùn)練后得到)。其中x特征包含前述faster rcnn中全連接層輸出的4096維特征向量，經(jīng)過PCA技術(shù)降維而成的500維向量，結(jié)合該區(qū)域4個角點(diǎn)位置相對于頭部中間點(diǎn)的相對位移，以及該區(qū)域的長度，寬度信息，共506維向量組成。

上述概率模型中的

其中，y為指定箱包類型，x為箱包區(qū)域的輸入特征，θ為預(yù)設(shè)的參數(shù)，θ(y_v)為狀態(tài)參數(shù)，λ_i,j為轉(zhuǎn)移函數(shù)的權(quán)值，為距離懲罰系數(shù)，θ(x_i,x_j,x_head,y_i,y_j)為轉(zhuǎn)移函數(shù)，v為箱包區(qū)域v，V為待檢測圖片中所有箱包區(qū)域組成的集合，i為特征區(qū)域i，j為特征區(qū)域j，E為待檢測圖片中所有特征區(qū)域兩兩連接組成的集合，x_v為箱包區(qū)域v的輸入特征，x_i為特征區(qū)域i的輸入特征，x_j為特征區(qū)域j的輸入特征，x_head為特征區(qū)域head的輸入特征，y_v為箱包區(qū)域v的箱包類型，y_i為特征區(qū)域i的屬性類型，y_j為特征區(qū)域j的屬性類型，d為特征區(qū)域i與特征區(qū)域j之間的距離。

需要說明的是，對于第一層條件隨機(jī)場，i和j必然一個為箱包區(qū)域，另一個為人體屬性區(qū)域，對于第二層條件隨機(jī)場，只需要保證其中一個為箱包區(qū)域，然后遍歷所有可能組合即可。

上述提到的λ_i,j是轉(zhuǎn)移函數(shù)的權(quán)值，只和y_i,y_j有關(guān)，是距離懲罰系數(shù)，兩個區(qū)域相隔越遠(yuǎn)，其權(quán)重應(yīng)該越低，其中d的計(jì)算方法如下。

d的計(jì)算方法：通過觀察大量箱包樣本，發(fā)現(xiàn)箱包區(qū)域的上邊緣部分特征更加明顯和穩(wěn)定，例如拉桿箱和手提包的上邊緣部分一般和手臂相連，背包的上邊緣部分一般靠近頭部和兩肩，但由于箱包大小和位置的不確定，下邊緣部分位置特征就不太明顯了。因此，如圖5所示，在本申請送選取箱包區(qū)域上邊緣的中心點(diǎn)位置為參考點(diǎn)，其它區(qū)域和此中心點(diǎn)的最近距離即為d(d>＝0)。部分特殊情況下，該點(diǎn)被其它區(qū)域所包含，此時d應(yīng)該是負(fù)值，這里我們?nèi)＝0。

上述概率模型中的其中y’代表箱包區(qū)域所有可能屬于的箱包類型。

在本申請中，采用兩層的條件隨機(jī)場來對箱包區(qū)域進(jìn)行預(yù)測，取兩層條件隨機(jī)場的原因是faster rcnn對人體屬性的預(yù)測可靠度明顯高于對箱包屬性的預(yù)測，如果一開始就將人體屬性和所有箱包屬性放在一起進(jìn)行預(yù)測，會由于faster rcnn錯誤的箱包預(yù)測影響了條件隨機(jī)場的判斷，所以第一層的條件隨機(jī)場的預(yù)測是基于所有檢測出來的人體屬性區(qū)域和單一的箱包屬性區(qū)域，分別確認(rèn)各個箱包區(qū)域的置信度，對其中的誤檢和多檢進(jìn)行糾正。第二層的條件隨機(jī)場則是對所有箱包區(qū)域進(jìn)行綜合判斷，即考慮箱包區(qū)域之間的相互影響，尤其是箱包重疊情況，通過第二層的條件隨機(jī)場可以有效糾正。如果一幅圖片檢測出來只有一個箱包屬性區(qū)域，則無需進(jìn)行第二層的判斷。

如圖6所示，為本申請具體實(shí)施例的箱包識別的流程示意圖，由圖可知包括以下的步驟：

S601，接收檢測圖片。

S602，對檢測圖片進(jìn)行行人圖片歸一化處理。

S603，獲取檢測結(jié)果和roi特征。

通過Faster rcnn訓(xùn)練模型獲取檢測圖像的特征區(qū)域，以及特征區(qū)域的本體特征。

S604，特征PCA降維。

對特征區(qū)域的本體特征進(jìn)行特征PCA降維處理。

S605，條件隨機(jī)場第一層判別。

S606，是否只有一個箱包結(jié)點(diǎn)，若是，則執(zhí)行S607；若否，則執(zhí)行S608。

S607，輸出結(jié)果。

S608，條件隨機(jī)場第二層判別。

S609，輸出結(jié)果。

通過以上的流程描述可知，通過預(yù)設(shè)的箱包識別模型獲取待檢測圖像的特征區(qū)域，以及特征區(qū)域的本體特征，特征區(qū)域的類型包括人體區(qū)域以及箱包區(qū)域；根據(jù)預(yù)設(shè)的條件隨機(jī)場概率模型的第一層對箱包區(qū)域的本體特征以及箱包區(qū)域與人體區(qū)域之間的位置關(guān)系進(jìn)行一次分析，并根據(jù)一次分析的結(jié)果確定箱包區(qū)域所屬的箱包類型。由于在一次分析中結(jié)合分析了箱包區(qū)域的本體特征以及箱包區(qū)域與人體區(qū)域之間的位置關(guān)系，使得分析的因素更加地全面，從而提高了箱包預(yù)測的結(jié)果。

相應(yīng)的，本發(fā)明還提出了一種箱包識別的設(shè)備，如圖7所示，為本申請具體實(shí)施例中提出一種箱包識別設(shè)備的結(jié)構(gòu)示意圖。所述設(shè)備至少包括：

獲取模塊701，用于通過預(yù)設(shè)的箱包識別模型獲取待檢測圖像的特征區(qū)域，以及所述特征區(qū)域的本體特征，所述特征區(qū)域的類型包括人體區(qū)域以及箱包區(qū)域；

第一分析模塊702，用于根據(jù)預(yù)設(shè)的條件隨機(jī)場概率模型的第一層對所述箱包區(qū)域的本體特征以及所述箱包區(qū)域與所述人體區(qū)域之間的位置關(guān)系進(jìn)行一次分析，并根據(jù)所述一次分析的結(jié)果確定所述箱包區(qū)域所屬的箱包類型。

優(yōu)選地，所述設(shè)備還包括：

第二分析模塊，用于在根據(jù)所述一次分析的結(jié)果確定所述待檢測圖像中存在多個所述箱包區(qū)域時，根據(jù)所述條件隨機(jī)場概率模型的第二層對所述箱包區(qū)域的本體特征、所述箱包區(qū)域與所述人體區(qū)域之間的位置關(guān)系、以及所述箱包區(qū)域與其他箱包區(qū)域之間的位置關(guān)系進(jìn)行二次分析，并根據(jù)所述二次分析的結(jié)果確定所述箱包區(qū)域所屬的箱包類型。

優(yōu)選地，所述設(shè)備還包括：

訓(xùn)練模塊，用于通過難例樣本對所述條件隨機(jī)場概率模型進(jìn)行訓(xùn)練，所述難例樣本是通過對所述訓(xùn)練模型識別錯誤的樣本進(jìn)行糾正后獲取的。

優(yōu)選地，所述條件隨機(jī)場概率模型如下：

其中，p(y|x,θ)為箱包區(qū)域?yàn)橹付ㄏ浒愋偷母怕剩琙(x)為箱包區(qū)域的歸一化因子，exp{φ(y,x；θ)}為箱包區(qū)域?qū)儆谥付ㄏ浒愋偷膭菽芎瘮?shù)，exp{φ(y,x；θ)}為所述箱包區(qū)域?qū)儆谒鲋付ㄏ浒愋偷母怕屎瘮?shù)，y為所述指定箱包類型，x為所述箱包區(qū)域的輸入特征，θ為預(yù)設(shè)的參數(shù)，所述箱包區(qū)域的輸入特征包含所述箱包區(qū)域的本體特征以及所述箱包區(qū)域與所述人體區(qū)域的位置關(guān)系特征。

優(yōu)選地，所述條件隨機(jī)場概率模型中的

其中，y為所述指定箱包類型，x為所述箱包區(qū)域的輸入特征，θ為預(yù)設(shè)的參數(shù)，θ(y_v)為特征參數(shù)，λ_i,j為轉(zhuǎn)移函數(shù)的權(quán)值，為距離懲罰系數(shù)，θ(x_i,x_j,x_head,y_i,y_j)為轉(zhuǎn)移函數(shù)，v為箱包區(qū)域v，V為所述待檢測圖片中所有箱包區(qū)域組成的集合，i為特征區(qū)域i，j為特征區(qū)域j，E為待檢測圖片中所有特征區(qū)域兩兩連接組成的集合，x_v為箱包區(qū)域v的輸入特征，x_i為特征區(qū)域i的輸入特征，x_j為特征區(qū)域j的輸入特征，x_head為特征區(qū)域head的輸入特征y_v為箱包區(qū)域v的箱包類型，y_i為特征區(qū)域i的屬性類型，y_j為特征區(qū)域j的屬性類型，d為特征區(qū)域i與特征區(qū)域j之間的距離。

通過以上具體設(shè)備的描述可知，通過預(yù)設(shè)的箱包識別模型獲取待檢測圖像的特征區(qū)域，以及特征區(qū)域的本體特征，特征區(qū)域的類型包括人體區(qū)域以及箱包區(qū)域；根據(jù)預(yù)設(shè)的條件隨機(jī)場概率模型的第一層對箱包區(qū)域的本體特征以及箱包區(qū)域與人體區(qū)域之間的位置關(guān)系進(jìn)行一次分析，并根據(jù)一次分析的結(jié)果確定箱包區(qū)域所屬的箱包類型。由于在一次分析中結(jié)合分析了箱包區(qū)域的本體特征以及箱包區(qū)域與人體區(qū)域之間的位置關(guān)系，使得分析的因素更加地全面，從而提高了箱包預(yù)測的結(jié)果。

最后說明的是：以上各實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述各實(shí)施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解；其依然可以對前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分或者全部技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明權(quán)利要求所限定的范圍。

通過以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可以通過硬件實(shí)現(xiàn)，也可以借助軟件加必要的通用硬件平臺的方式來實(shí)現(xiàn)?；谶@樣的理解，本發(fā)明的技術(shù)方案可以以軟件產(chǎn)品的形式體現(xiàn)出來，該軟件產(chǎn)品可以存儲在一個非易失性存儲介質(zhì)(可以是CD-ROM，U盤，移動硬盤等)中，包括若干指令用以使得一臺計(jì)算機(jī)設(shè)備(可以是個人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實(shí)施場景所述的方法。

本領(lǐng)域技術(shù)人員可以理解附圖只是一個優(yōu)選實(shí)施場景的示意圖，附圖中的模塊或流程并不一定是實(shí)施本發(fā)明所必須的。

本領(lǐng)域技術(shù)人員可以理解實(shí)施場景中的裝置中的模塊可以按照實(shí)施場景描述進(jìn)行分布于實(shí)施場景的裝置中，也可以進(jìn)行相應(yīng)變化位于不同于本實(shí)施場景的一個或多個裝置中。上述實(shí)施場景的模塊可以合并為一個模塊，也可以進(jìn)一步拆分成多個子模塊。

上述本發(fā)明序號僅僅為了描述，不代表實(shí)施場景的優(yōu)劣。

以上公開的僅為本發(fā)明的幾個具體實(shí)施場景，但是，本發(fā)明并非局限于此，任何本領(lǐng)域的技術(shù)人員能思之的變化都應(yīng)落入本發(fā)明的保護(hù)范圍。