基于遷移學(xué)習(xí)的動物行為識別方法和裝置的制造方法
【專利摘要】本發(fā)明提出了一種基于遷移學(xué)習(xí)的目標(biāo)動物行為識別方法和裝置,即訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本包括人的行為樣本、非目標(biāo)動物的行為樣本和目標(biāo)動物的行為樣本中的一種或幾種的組合,測試數(shù)據(jù)集為目標(biāo)動物的行為樣本。該發(fā)明步驟包括:步驟101,針對訓(xùn)練數(shù)據(jù)集中的每一個訓(xùn)練樣本和測試數(shù)據(jù)集中的每一測試樣本,提取原始特征;步驟102,采用遷移學(xué)習(xí)中的領(lǐng)域適應(yīng)學(xué)習(xí)法將所述原始特征映射到共同空間中,得到新的特征;步驟103,利用所述新的特征訓(xùn)練SVM分類器,得到行為識別模型,同時對所述目標(biāo)動物行為識別模型進行測試;步驟104,利用所述動物行為識別模型對目標(biāo)動物的待識別行為進行識別。本發(fā)明提出的基于遷移學(xué)習(xí)的行為識別方法能有效的識別動物的行為。
【專利說明】
基于遷移學(xué)習(xí)的動物行為識別方法和裝置
技術(shù)領(lǐng)域
[0001 ]本發(fā)明屬于機器學(xué)習(xí)、計算機視覺的技術(shù)在動物行為的自動識別方面的應(yīng)用,適 用于動物行為的自動識別、動物異常行為分析等動物行為學(xué)的各項研究。
【背景技術(shù)】
[0002] 隨著監(jiān)控視頻和網(wǎng)絡(luò)視頻的數(shù)量日漸增多,視頻中自動識別行為的技術(shù)變得越來 越重要。如人的行為識別一樣,動物的行為識別也很重要,它的應(yīng)用包括野生動物行為分 析、寵物的監(jiān)控等。但是,獲取動物行為視頻的訓(xùn)練數(shù)據(jù)比較困難,特別是對某些稀有動物。
[0003] -些哲學(xué)家和行為研究者認(rèn)為,不同種類之間的行為是相似的??紤]到人的行為 的訓(xùn)練數(shù)據(jù)容易獲取,于是我們提出一個新的問題,能否用人的行為的數(shù)據(jù)來幫助識別動 物的行為?或者進一步,能否用人和某些動物的數(shù)據(jù)幫助識別另外一些動物的行為?
[0004] 考慮到不同的種類的動物或者人,行為的表現(xiàn)方式不同,這些差別對應(yīng)到所提取 的特征上,就是特征的分布不一樣。傳統(tǒng)機器學(xué)習(xí)中的分類方法假設(shè)訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù) 的分布是一致的,所以不能直接采用人的行為的特征做訓(xùn)練來幫助做動物的行為識別。因 為迀移學(xué)習(xí)(transfer learning,簡稱TL)針對訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)的分布不一致的情況, 所以我們正好利用TL來解決這個問題。
【發(fā)明內(nèi)容】
[0005] 針對動物的行為識別中訓(xùn)練數(shù)據(jù)獲取困難這個問題,本發(fā)明提出了一種基于迀移 學(xué)習(xí)的動物的行為識別方法和裝置。
[0006] 根據(jù)本發(fā)明一方面,提供了一種基于迀移學(xué)習(xí)的目標(biāo)動物行為識別方法,其包括:
[0007] 步驟101,針對訓(xùn)練數(shù)據(jù)集中的每一個訓(xùn)練樣本和測試數(shù)據(jù)集中的每一測試樣本, 提取原始特征;
[0008] 步驟102,采用迀移學(xué)習(xí)中的領(lǐng)域適應(yīng)學(xué)習(xí)法將所述原始特征映射到共同空間中, 得到新的特征;
[0009] 步驟103,利用所述新的特征訓(xùn)練SVM分類器,得到目標(biāo)動物行為識別模型,同時對 所述目標(biāo)動物行為識別模型進行測試;
[0010] 步驟104,利用所述動物行為識別模型對目標(biāo)動物的待識別行為進行識別。
[0011] 根據(jù)本發(fā)明另一方面,提供了一種基于迀移學(xué)習(xí)的目標(biāo)動物行為識別裝置,其包 括:
[0012] 特征提取模塊,用于針對訓(xùn)練數(shù)據(jù)集中的每一個訓(xùn)練樣本和測試數(shù)據(jù)集中的每一 測試樣本,提取原始特征;
[0013] 特征優(yōu)化模塊,用于采用迀移學(xué)習(xí)中的領(lǐng)域適應(yīng)學(xué)習(xí)法將所述原始特征映射到共 同空間中,得到新的特征;
[0014] 訓(xùn)練和測試模塊,用于利用所述新的特征訓(xùn)練SVM分類器,得到目標(biāo)動物行為識別 模型,同時對所述目標(biāo)動物行為識別模型進行測試;
[0015] 分類和識別模塊,用于利用所述動物行為識別模型對目標(biāo)動物的待識別行為進行 識別。
【附圖說明】
[0016] 圖1為本發(fā)明的主要四個步驟,即特征提取、特征優(yōu)化、訓(xùn)練和測試和分類和識別。
[0017] 圖2是本發(fā)明中所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本僅為人的行為樣本時,目標(biāo)動物行 為識別的算法流程圖。行為識別的算法如下:
[0018] 步驟1:分別對訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)提取原始特征;
[0019] 步驟2:采用迀移學(xué)習(xí)中領(lǐng)域適應(yīng)學(xué)習(xí)(domain adaption learning,簡稱DALMC 訓(xùn)練數(shù)據(jù)的特征和測試數(shù)據(jù)的特征一起映射到一個共同的空間,得到新的特征,以減小來 自人和動物的兩類特征在概率分布上的差異;
[0020] 步驟3:采用新特征訓(xùn)練、測試,識別目標(biāo)動物的行為。
[0021]圖3是本發(fā)明中所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本為人的行為樣本和非目標(biāo)動物的行 為樣本的組合時,目標(biāo)動物行為識別的算法流程圖。行為識別的算法如下:
[0022]步驟1:分別對訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)提取原始特征;
[0023]步驟2:對每一個來源(人或者某一類動物)的數(shù)據(jù)的特征和測試數(shù)據(jù)的特征,經(jīng)過 DAL,得到新的特征,采用這部分訓(xùn)練數(shù)據(jù)訓(xùn)練得到某個行為識別模型,最后得到多個從不 同來源迀移的行為識別的模型;
[0024] 步驟3:采用集成迀移學(xué)習(xí)(ensemble transfer learning,簡稱ETL)的方法融合 多個不同來源的迀移學(xué)習(xí)模型,以此識別目標(biāo)動物的行為。
[0025]圖4是本發(fā)明中所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本為人的行為樣本、非目標(biāo)動物的行 為樣本和目標(biāo)動物的行為樣本的組合時,目標(biāo)動物行為識別的算法流程圖。這里通過三種 策略解決這個問題。第一種策略只采用目標(biāo)動物的部分有標(biāo)注的數(shù)據(jù)做訓(xùn)練。第二種策略 用人和多類其它動物的行為的數(shù)據(jù)做訓(xùn)練。第三種策略是前兩種的結(jié)合,本發(fā)明中通過對 前兩種策略所預(yù)測的行為的概率分布做后融合。
[0026]圖5是A2D數(shù)據(jù)庫中人和部分動物對應(yīng)的行為示意圖。
【具體實施方式】
[0027]下面結(jié)合實例,并參照附圖,敘述本發(fā)明的具體細(xì)節(jié),并給出實驗結(jié)果和相關(guān)分 析。
[0028]本發(fā)明提出了一種基于迀移學(xué)習(xí)的目標(biāo)動物行為識別方法,其包括:
[0029]步驟101,針對訓(xùn)練數(shù)據(jù)集中的每一個訓(xùn)練樣本和測試數(shù)據(jù)集中的每一測試樣本, 提取原始特征;
[0030] 步驟102,采用迀移學(xué)習(xí)中的領(lǐng)域適應(yīng)學(xué)習(xí)法將所述原始特征映射到共同空間中, 得到新的特征;
[0031] 步驟103,利用所述新的特征訓(xùn)練SVM分類器,得到目標(biāo)動物行為識別模型,同時對 所述目標(biāo)動物行為識別模型進行測試;
[0032] 步驟104,利用所述動物行為識別模型對目標(biāo)動物的待識別行為進行識別。
[0033] 上述方法中,所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本包括人的行為樣本、非目標(biāo)動物的行 為樣本和目標(biāo)動物的行為樣本中的一種或幾種的組合。
[0034] 上述方法中,所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本僅為人的行為樣本時,步驟103包括:
[0035] 對于人的行為樣本,訓(xùn)練得到第一目標(biāo)動物識別模型;
[0036] 利用第一目標(biāo)動物識別模型識別待識別行為,得到最終的識別結(jié)果。
[0037] 上述方法中,所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本為人的行為樣本和非目標(biāo)動物的行為 樣本的組合時,步驟103包括:
[0038] 對于不同種類的行為樣本,分別訓(xùn)練得到不同的中間識別模型,利用集成迀移學(xué) 習(xí)法將所述不同的中間識別模型融合成一個目標(biāo)動物識別模型。
[0039] 上述方法中,所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本為人的行為樣本、非目標(biāo)動物的行為 樣本和目標(biāo)動物的行為樣本的組合時,步驟103包括:
[0040] 對于目標(biāo)動物的行為樣本,訓(xùn)練得到第一目標(biāo)動物識別模型;
[0041] 對于出目標(biāo)動物的其他不同種類的行為樣本,分別訓(xùn)練得到不同的中間識別模 型;
[0042]對于利用集成迀移學(xué)習(xí)法將所述中間識別模型融合成第二目標(biāo)動物識別模型;
[0043] 利用第一目標(biāo)動物識別模型和第二目標(biāo)動物識別模型分別識別待識別行為,并結(jié) 合兩個識別結(jié)果得到最終的識別結(jié)果。
[0044] 對輸入視頻,第一步要提取原始特征。我們采用在當(dāng)前行為識別研究中比較流行 的密集軌跡(dense trajectory)方法。首先,提取 TRJ (trajec tori es)、HOG (hi stograms of oriented gradients)、H0F(histograms of optical flow)、MBH(motion boundary histogram)四種局部特征,經(jīng)過主成分分析(principal component analysis,簡稱PCA)把 特征維度降到原來的一半,然后采用詞袋模型(bag of words)對每一種局部特征編碼,視 覺詞典(visual words)的個數(shù)設(shè)置為2000,于是對每個視頻得到了幻、!106、!10?、冊!1四種局 部特征的直方圖特征,最后把它們串接起來,作為視頻的原始特征。本發(fā)明不限于上述四種 原始特征,本方法對原始特征沒有限定,適用任何有效的行為識別的特征。
[0045] 由于來自人和動物的原始特征的概率分布不同,我們采用迀移學(xué)習(xí)的方法把原始 特征轉(zhuǎn)化為新的特征,最后采用線性支持向量機(support vector machine,SVM)作為最后 特征的分類器,設(shè)置參數(shù)C = 500。迀移學(xué)習(xí)的方法具體如下所述。
[0046] 圖2中,用人的行為的數(shù)據(jù)訓(xùn)練,把訓(xùn)練好的模型迀移到目標(biāo)動物,以識別該動物 的行為。在提取原始特征之后,我們采用TL中迀移稀疏編碼(transfer sparse coding,簡 稱TSC)的方法(Long等人提出),為了減小訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)在特征分布上的差異性,把 訓(xùn)練和測試數(shù)據(jù)的原始特征一起映射到一個共同的空間,得到新的特征。該方法具體步驟 如下。
[0047] 記H= [lu,…,hN] GRdxn為原始特征矩陣,其中D表示特征維度,N表示總的特征數(shù) 目,N=NMt,H的前Ns列為訓(xùn)練數(shù)據(jù)的特征,后Nt列為測試數(shù)據(jù)的特征。U= [m,…,uK] e Rdxk 為稀疏編碼的詞典,基的個數(shù)為LV= [V1,…,VN] e Rkxn為原始特征經(jīng)過稀疏編碼后的新特 征所組成的矩陣。迀移稀疏編碼TSC的目標(biāo)函數(shù)如下所示:
(J)
[0048]
[0049] 式中,λ,μ,γ為模型系數(shù),實驗中取固定的值,矩陣M,L為迀移學(xué)習(xí)相關(guān)參數(shù),解釋 如下。
[0050] 該目標(biāo)函數(shù)由三項組成。第一項是稀疏編碼的重構(gòu)誤差,第二項是對編碼的L1E 貝1J,使得新特征產(chǎn)生稀疏的效果,前兩項是傳統(tǒng)的稀疏編碼方法。第三項是針對迀移學(xué)習(xí) 的,由兩部分組成,即最大均值差異(maximum mean discrepancy,簡稱MMD)正則化和圖拉 普拉斯(graph Laplacian,簡稱GL)正規(guī)化。
[0051] MMD是對概率分布的一種非參數(shù)度量方法,它采用兩個不同概率分布的均值之間 的距離作為這兩個概率分布之間的距離度量,計算如下:
[0052] (2)
[0053]
[0054] (3)
[0055] MMD正則化能夠減小來自不同分布的特征經(jīng)過編碼后的差異,當(dāng)且僅當(dāng)兩類分布 相同的時候,MMD漸進趨近于0,相當(dāng)于沒有加約束。
[0056]如果兩個特征在原始空間距離近,那么在編碼的特征在新的空間距離也應(yīng)該近, GL正規(guī)化正是基于這個思路。它采用K近鄰對特征在原始空間的鄰近關(guān)系建模,構(gòu)建鄰接矩 陣W如下:
[0057]
(4>
[0058] 定義GL矩陣L=W-D,其中
灃最小化以下函數(shù):
[0059]
(5)
[0060] 對于公式(1)中的目標(biāo)函數(shù),可以采用兩步走的優(yōu)化方法求解。第一步,固定詞典 U,計算最優(yōu)的編碼V;第二步,固定編碼V,計算最優(yōu)的詞典U。這兩個步驟交替迭代,一直到 目標(biāo)函數(shù)值不再下降或者誤差在可接受的范圍之內(nèi)。
[0061] 對于新特征V,采用來自人的訓(xùn)練數(shù)據(jù)做訓(xùn)練,得到行為識別的模型,,然后采用測 試數(shù)據(jù)對所述目標(biāo)動物進行測試,用于識別目標(biāo)動物的行為,測試過程中分類器參數(shù)不變。 作為對比方法,我們對原始特征做類似的處理。
[0062] 圖3中,用人和多類其它動物的行為的數(shù)據(jù)訓(xùn)練,把多個訓(xùn)練好的模型迀移到同一 類目標(biāo)動物。對每一個來源(人或者某一類動物)的訓(xùn)練數(shù)據(jù),采用圖1中所述的方法,得到 從這個來源迀移的行為識別模型。集成迀移學(xué)習(xí)(ensemble transfer IearningJI^lETL) 是把多個TL模型的結(jié)果整合到一起的一類機器學(xué)習(xí)方法,正好針對我們的這個問題。這里, 我們采用局部加權(quán)集成(locally weighted ensemble,簡稱LWE)的方法(Gao等人提出)。具 體過程如下所述。
[0063] 假設(shè)已知1個從不同來源迀移的識別模型彳和測試數(shù)據(jù)集合DT,根據(jù)貝葉斯法 貝IJ,測試樣本的后驗概率估計如下:
[0064] (6)
[0065] 式中,P(y|h,Mk)表示模型Mk判斷樣本heDT是行為y的概率,P(MkIh)表示樣本h選 擇模型Mk來分類的概率,我們可以把P(Mk|h)看做對某一個樣本h的權(quán)重系數(shù),即,并作 為模型需要估計的參數(shù)。
[0066] 測試樣本h的真實標(biāo)簽是未知的,f(h)表示測試數(shù)據(jù)的概率密度函數(shù)。我們認(rèn)為以 下兩條假設(shè)是合理的:假設(shè)1,對某個測試樣本,如果某個模型的預(yù)測概率(P(y|h,M k))的分 布和該樣本真實的概率(P(y Ih))的分布接近,那么這個模型應(yīng)該擁有對這個樣本相對較大 的權(quán)重系數(shù);假設(shè)2,在概率密度f(h)值較大的區(qū)域,該密度函數(shù)的變化相對平緩,也就是 說,分類的邊界應(yīng)該在概率密度值較小的區(qū)域。
[0067] 但是,對于高維數(shù)據(jù),概率密度函數(shù)f(h)很難準(zhǔn)確估計,特別是樣本數(shù)目缺乏的情 況下。這里,我們采用一種替代的辦法。首先,對測試樣本聚類,并認(rèn)為聚類中心的邊界處對 應(yīng)概率密度低的區(qū)域。對于樣本h,如果模型M k預(yù)測的分類邊界和聚類中心的邊界一致,我 們認(rèn)為P(y I h,Mk)和標(biāo)簽真實的分布很像,也就是說,的值較大。
[0068] 因此,我們采用一種聚類的方法來估計模型對于樣本的權(quán)重系數(shù)。首先,把測試數(shù) 據(jù)聚為c個類別,并構(gòu)造圖61=%辦)^表示測試樣本集合辦表示測試樣本之間的連接關(guān) 系,當(dāng)且僅當(dāng)兩個不同的樣本屬于同一個聚類中心時,它們之間才會有邊相連接。接著,對 于每一個模型M k,我們構(gòu)造類似的圖= (Fr,EMk),不同之處在于邊的集合EMk,這里,當(dāng) 且僅當(dāng)兩個不同的樣本被模型M k判為同一個類別時,它們之間才會有邊相連接?;谝陨?的分析,我們可以認(rèn)為,對于樣本h,模型Mk的權(quán)重系數(shù)》和該樣本在圖Gt和圖G lvlk中共同 相鄰的節(jié)點的個數(shù)成正比,即:
[0069]
(7)
[0070] 式中VT,h,分別表示樣本h節(jié)點在圖Gt,GMk中的相鄰節(jié)點的集合。
[0071 ]對每一個樣本h,由此估計%%> ?并按照公式(6)計算屬于某行為的概率,從而判斷 該樣本的行為。
[0072] 圖4中,用人和多類其它動物的行為的數(shù)據(jù),以及目標(biāo)動物的部分有標(biāo)注的數(shù)據(jù)做 訓(xùn)練,以識別該動物的行為。我們采用三種策略,并比較它們的結(jié)果。第一種策略是傳統(tǒng)的 行為識別方法,即只采用目標(biāo)動物的有標(biāo)注的數(shù)據(jù)做訓(xùn)練。第二種策略是圖2中所述的方 法,即用人和多類其它動物的數(shù)據(jù)做訓(xùn)練。第三中策略是前兩種的結(jié)合,我們簡單的對前兩 種策略所預(yù)測的行為的概率分布做后融合,即把這兩個預(yù)測概率相加。
[0073] 下面通過具體實施例詳細(xì)說明本發(fā)明提出的上述方案,并借助實驗結(jié)果來驗證本 發(fā)明的有效性?;谝陨纤l(fā)明的方法,實驗設(shè)置分為以下三種情況:
[0074] 情況I:用人的數(shù)據(jù)做訓(xùn)練,把訓(xùn)練好的模型迀移到目標(biāo)動物,以識別該動物的行 為;
[0075] 情況2:用人和多類其它動物的數(shù)據(jù)做訓(xùn)練,把多個訓(xùn)練好的模型迀移到同一類目 標(biāo)動物,以識別該動物的行為;
[0076] 情況3 :用人和多類其它動物的數(shù)據(jù),以及該目標(biāo)動物的部分有標(biāo)注的數(shù)據(jù)做訓(xùn) 練,以識別該動物的行為。
[0077]針對目標(biāo)動物有部分訓(xùn)練數(shù)據(jù)的情況,本發(fā)明采用三種策略解決這個問題,即簡 易的行為識別方法,基于迀移學(xué)習(xí)的行為識別方法,以及兩者結(jié)合的方法。
[0078] 由于這是一個新的問題,需要數(shù)據(jù)庫中既有人的行為視頻,也有不同動物的行為 視頻。幸運的是,我們不需要自己構(gòu)建數(shù)據(jù)庫,美國密西根大學(xué)2015年公布了一個新的行為 識別的數(shù)據(jù)庫,即A2D數(shù)據(jù)庫,該數(shù)據(jù)庫同時包含動物和人的行為視頻。Xu等人構(gòu)建這個數(shù) 據(jù)庫是為了做本體(指行為的主體)和行為的共同分類、分割,我們正好用這個數(shù)據(jù)庫來做 基于迀移學(xué)習(xí)的動物的行為識別。
[0079] 圖5顯示了A2D數(shù)據(jù)庫中人和部分動物對應(yīng)的部分行為,從中可以看出,動物和人 的行為是相似的。
[0080] 實驗設(shè)置如下所述。
[0081] 對于情況1,我們把A2D中成人的全部視頻作為訓(xùn)練集合,分別把鳥、貓、狗這三類 動物的視頻作為測試集合。我們采用原始特征直接分類,作為非迀移學(xué)習(xí)方法和實驗中的 迀移學(xué)習(xí)方法做對比。結(jié)果如表格1所示。
[0082] 對于情況2,考慮到有四類視頻,成人、鳥、貓、狗,我們分別把鳥、貓、狗這三類動物 的視頻作為測試集合,而把其它所有視頻作為訓(xùn)練集合。舉個例子,用鳥的視頻做測試的時 候,采用成人、貓和狗的視頻做訓(xùn)練。類似于情況1,我們也用原始特征做分類,作為對比試 驗。因為我們針對情況2采用了集成迀移學(xué)習(xí)的融合方法,為驗證效果,我們采用后融合(把 多個分類器的預(yù)測概率相加)方法作為對比實驗。結(jié)果如表格2所示。
[0083] 對于情況3,對于鳥、貓、狗中的某一類目標(biāo)動物,我們首先把它所有的數(shù)據(jù)隨機劃 分訓(xùn)練集合測試集合,實驗中,采用20%的數(shù)據(jù)做訓(xùn)練,其余做測試,另外,采用其它動物以 及成人的全部數(shù)據(jù)作為額外的訓(xùn)練集合。我們對比了三種不同的策略,即傳統(tǒng)的行為識別 方法,基于迀移學(xué)習(xí)的行為識別方法,以及兩者結(jié)合的方法。結(jié)果如表格3所示。
[0084] 表格1情況1的行為識別精度,從人迀移到動物
[0086]表格2情況2的行為識別精度,從人和其它動物共同迀移到該動物,并經(jīng)過模型融 合
Luuvi j 從衣格i的結(jié)米η」以有出,It秒字 >」的力ViK非Xt秒字 >」的結(jié)米壯。田此諷明,人 的行為可以迀移到動物,并幫助動物的行為識別,特別是針對動物沒有訓(xùn)練樣本的情況下。 [0092]從表格2的結(jié)果可以看出,迀移學(xué)習(xí)的方法比非迀移學(xué)習(xí)的結(jié)果好,集成迀移學(xué)習(xí) 要比后融合的結(jié)果好。同時,我們發(fā)現(xiàn),表格2中的最好結(jié)果比表格1中的最好結(jié)果好。由此 說明,不僅人的行為可以迀移到動物,不同動物的行為也可以互相迀移。如果要識別某一類 動物的行為而沒有訓(xùn)練數(shù)據(jù),我們可以采用人和其它動物的數(shù)據(jù)做訓(xùn)練,提取特征之后,先 采用迀移學(xué)習(xí)的方法減少特征之間的差異,再采用集成迀移學(xué)習(xí)的方法融合多個模型,這 樣可以獲得最好的識別效果。
[0093]從表格3的結(jié)果可以看出,針對有部分標(biāo)注的樣本的情況,迀移學(xué)習(xí)方法依舊是很 有效的,特別是當(dāng)有標(biāo)注的數(shù)據(jù)不夠多時候(比如,低于20%)。另外,把傳統(tǒng)的行為識別方 法和基于迀移學(xué)習(xí)的行為識別方法結(jié)合起來,我們可以進一步提高識別精度。
[0094]綜上,針對動物的行為識別中訓(xùn)練數(shù)據(jù)獲取困難這個問題,我們提出了提出了一 種新的解決思路,即基于迀移學(xué)習(xí)的動物的行為識別。該方法能有效的識別動物的行為,適 用于目標(biāo)動物沒有訓(xùn)練樣本的情況,以及訓(xùn)練樣本不夠多的情況。
【主權(quán)項】
1. 一種基于迀移學(xué)習(xí)的動物行為識別方法,其包括: 步驟101,針對訓(xùn)練數(shù)據(jù)集中的每一個訓(xùn)練樣本和測試數(shù)據(jù)集中的每一測試樣本,提取 原始特征; 步驟102,采用迀移學(xué)習(xí)中的領(lǐng)域適應(yīng)學(xué)習(xí)法將所述原始特征映射到共同空間中,得到 新的特征; 步驟103,利用所述新的特征訓(xùn)練SVM分類器,得到目標(biāo)動物行為識別模型,同時對所述 目標(biāo)動物行為識別模型進行測試; 步驟104,利用所述動物行為識別模型對目標(biāo)動物的待識別行為進行識別。2. 根據(jù)權(quán)利要求1所述的方法,其中所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本包括人的行為樣本、 非目標(biāo)動物的行為樣本和目標(biāo)動物的行為樣本中的一種或幾種的組合。3. 根據(jù)權(quán)利要求2所述的方法,其中,所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本僅為人的行為樣本 時,步驟103包括: 對于人的行為樣本,訓(xùn)練得到第一目標(biāo)動物識別模型; 利用第一目標(biāo)動物識別模型識別待識別行為,得到最終的識別結(jié)果。4. 根據(jù)權(quán)利要求2所述的方法,其中所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本為人的行為樣本和 非目標(biāo)動物的行為樣本的組合時,步驟103包括: 對于不同種類的行為樣本,分別訓(xùn)練得到不同的中間識別模型,利用集成迀移學(xué)習(xí)法 將所述不同的中間識別模型融合成一個目標(biāo)動物識別模型。5. 根據(jù)權(quán)利要求2所述的方中,其中所述訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本為人的行為樣本、非 目標(biāo)動物的行為樣本和目標(biāo)動物的行為樣本的組合時,步驟103包括: 對于目標(biāo)動物的行為樣本,訓(xùn)練得到第一目標(biāo)動物識別模型; 對于目標(biāo)動物的其他不同種類的行為樣本,分別訓(xùn)練得到不同的中間識別模型; 對于利用集成迀移學(xué)習(xí)法將所述中間識別模型融合成第二目標(biāo)動物識別模型; 利用第一目標(biāo)動物識別模型和第二目標(biāo)動物識別模型分別識別待識別行為,并結(jié)合兩 個識別結(jié)果得到最終的識別結(jié)果。6. 根據(jù)權(quán)利要求1-5任一項所述的方法,其中,步驟103還包括: 利用測試樣本得到的新特征對所述目標(biāo)動物行為識別模型進行測試。7. 根據(jù)權(quán)利要求1所述的方法,其中,步驟101具體包括: 提取TRJ、HOG、HOF和MBH四種局部特征; 經(jīng)過主成分分析方法將所述四種局部特征的維度降到原來一半; 采用詞袋模型對每一種局部特征編碼,針對每個視頻得到上述四種局部特征的直方圖 特征; 將得到的直方圖特征串接起來,得到原始特征。8. 根據(jù)權(quán)利要求4所述的方法,其中,步驟103還包括: 對測試樣本進行聚類為c個類別,并構(gòu)造圖61=%而)^表示測試樣本集合而表示測 試樣本之間的連接邊集合,當(dāng)且僅當(dāng)兩個不同的測試樣本屬于同一個聚類中心時,它們之 間才會有邊相連接; 對于每一個待測試的目標(biāo)動物行為識別模型Mk,構(gòu)造圖= ),EKtk表示測試 樣本之間的連接邊集合,當(dāng)且僅當(dāng)兩個不同的測試樣本被待測試的目標(biāo)動物行為識別模型 Mk判為同一個類別時,它們之間才會有邊相連接; 基于以上的分析,對于測試樣本h,待測試的目標(biāo)動物行為識別模型Mk的權(quán)重系數(shù)>%^ 和該測試樣本在圖GT和圖〇4中共同相鄰的節(jié)點的個數(shù)成正比,即:式中VT, h,.a分別表示樣本h節(jié)點在圖GT,中的相鄰節(jié)點的集合; 對每一個測試樣本h,利用估計得到的1^^?計算測試樣本屬于某行為的概率,從而判 斷該測試樣本的行為。9. 根據(jù)權(quán)利要求8所述的方法,其中,如下計算測試樣本屬于某行為的概率:其中,P(y | h,Mk)表示Mk判斷樣本h e Dt是行為y的概率,P (Mk | h)表示樣本h選擇Mk來分類 的概率,把P(Mk I h)看做對某一個樣本h的權(quán)重系數(shù),即1為Mk的個數(shù)。10. -種基于迀移學(xué)習(xí)的目標(biāo)動物行為識別裝置,其包括: 特征提取模塊,用于針對訓(xùn)練數(shù)據(jù)集中的每一個訓(xùn)練樣本和測試數(shù)據(jù)集中的每一測試 樣本,提取原始特征; 特征優(yōu)化模塊,用于采用迀移學(xué)習(xí)中的領(lǐng)域適應(yīng)學(xué)習(xí)法將所述原始特征映射到共同空 間中,得到新的特征; 訓(xùn)練和測試模塊,用于利用所述新的特征訓(xùn)練SVM分類器,得到目標(biāo)動物行為識別模 型,同時對所述目標(biāo)動物行為識別模型進行測試; 分類和識別模塊,用于利用所述動物行為識別模型對目標(biāo)動物的待識別行為進行識 別。
【文檔編號】G06K9/62GK106056043SQ201610339756
【公開日】2016年10月26日
【申請日】2016年5月19日
【發(fā)明人】王亮, 王威, 王洪松
【申請人】中國科學(xué)院自動化研究所