一種軌跡建模與檢索方法
【技術領域】
[0001] 本發(fā)明涉及計算機視覺領域，特別涉及行為理解技術。
【背景技術】
[0002] 在計算機視覺領域中，尤其是在基于視頻分析的行為理解中，軌跡是一種重要的 特征，軌跡建?？梢詰糜谝曈X監(jiān)控和動作識別等領域。通過對運動軌跡建模，可以實現(xiàn)很 多有用的功能，例如發(fā)現(xiàn)典型的軌跡模式、檢測新的運動軌跡是否異常、檢索與新軌跡相似 的運動軌跡或視頻片斷等。
[0003] 由于不同場景中包含的軌跡模式各不相同，因此開發(fā)無監(jiān)督的軌跡建模方法、為 不同場景下的應用提供統(tǒng)一方便的解決方案是十分重要的。后文中提到的軌跡建模方法都 是無監(jiān)督的。目前已有的軌跡建模方法可以粗略地劃分為基于相似度的方法和基于概率模 型的方法?；谙嗨贫鹊姆椒ǜ鶕?jù)不同樣本之間的相似度來完成聚類的任務，其關鍵在于 定義軌跡相似度的計算方式。目前已存在多種不同的軌跡相似度的計算方法，如插值后的 歐氏距離、基于DFT系數(shù)的歐氏距離、動態(tài)時間規(guī)整（DTW)距離、最大公共子串（LCSS)距離 等。基于相似度的方法的優(yōu)點是模型簡單且容易實現(xiàn)，但它的缺點也是很明顯的：a)它不 能以一種普適的原則化的方法來確定類別的個數(shù)；b)用于異常檢測時缺乏概率解釋；c)難 以充分利用軌跡內(nèi)部的時空結構獲得更高的聚類準確度。概率模型大多屬于產(chǎn)生式模型， 即假設訓練好的模型能很好地解釋數(shù)據(jù)的生成機制。由于包含運動信息的數(shù)據(jù)表示形式多 樣，而且對于同樣形式的數(shù)據(jù)其產(chǎn)生機制也存在多種假設，因此概率模型運用廣泛，形式繁 多，常用的概率模型包括混合高斯模型（GMM)、隱馬爾可夫模型（HMM)、潛在狄利克雷分配 (LDA)、分層狄利克雷過程（HDP)等。與基于相似度的模型相比，概率模型明顯更加復雜，但 它具有更強的表達能力，可以更準確地對運動數(shù)據(jù)建模，并且其中HDP等貝葉斯非參數(shù)模 型可以自動確定合理的軌跡模式的數(shù)目。
[0004] 目前存在的軌跡建模與檢索方法無法同時兼具以下優(yōu)點：a)同時利用軌跡的時 間和空間結構，提高學習準確度和檢索性能；b)自動確定軌跡模式數(shù)目以及時空模型的結 構復雜度，避免繁瑣耗時的模型選擇過程；c)學習可以在各軌跡類別間共享的原子軌跡模 式，減少模型參數(shù)并發(fā)現(xiàn)更多軌跡模式的知識；d)聯(lián)合優(yōu)化軌跡聚類和軌跡時空模型的學 習過程，使二者相互促進；e)高效地實現(xiàn)軌跡檢索，避免遍歷數(shù)據(jù)庫。

【發(fā)明內(nèi)容】

[0005] (一）要解決的技術問題
[0006] 本發(fā)明的目的在于提出一種基于無監(jiān)督學習的軌跡建模和檢索方法，解決自動發(fā) 現(xiàn)軌跡模式以及/或者高效準確地實現(xiàn)軌跡檢索的技術問題。
[0007] (二）技術方案
[0008] 為實現(xiàn)上述目的，本發(fā)明提出一種基于粘性多模態(tài)對偶分層狄利克雷過程隱馬爾 可夫模型（SMD-HDP-HMM)的軌跡建模方法，該方法包括以下步驟：
[0009] 步驟SI:將每條軌跡表示成視覺文檔，形成包括多個視覺文檔的訓練集；以及
[0010] 步驟S2 :用訓練集中的視覺文檔學習SMD-HDP-HMM模型。
[0011] 優(yōu)選地，所述步驟S1包括：
[0012] 步驟Sla:將每條軌跡分割成子軌跡序列；
[0013] 步驟Sib:從每條子軌跡中提取一個特征向量；以及
[0014] 步驟Sic:對子軌跡特征向量聚類生成視覺詞典，根據(jù)該視覺詞典把每條子軌跡 編碼成視覺單詞，從而把每條軌跡表示成視覺文檔。
[0015] 優(yōu)選地，所述步驟S2包括：
[0016] 步驟S2a:為SMD-HDP-HMM中的各個參數(shù)隨機地生成初始值；以及
[0017] 步驟S2b:用Gibbs采樣法采樣SMD-HDP-HMM中的各個參數(shù)，采樣足夠多次直至模 型收斂。
[0018] 本發(fā)明還提供了一種軌跡檢索方法，該軌跡檢索方法使用根據(jù)權利要求1-7中的 任一項所述的軌跡建模方法生成的SMD-HDP-HMM模型，該軌跡檢索方法包括以下步驟：
[0019] 步驟S3 :將新輸入的軌跡表示成視覺文檔；以及
[0020] 步驟S4 :將新輸入的軌跡的視覺文檔與SMD-HDP-HMM模型進行匹配，判斷其是否 異常并且/或者檢索出SMD-HDP-HMM模型中與之最相似的軌跡。
[0021] 優(yōu)選地，所述步驟3包括：
[0022] 步驟S3a:將新軌跡分割成子軌跡序列；
[0023] 步驟S3b:從新軌跡的每條子軌跡中提取一個特征向量；以及
[0024] 步驟S3c:根據(jù)視覺詞典把新軌跡的每條子軌跡編碼成視覺單詞，從而把新軌跡 表示成視覺文檔。
[0025] 優(yōu)選地，所述步驟S4包括：
[0026] 步驟S4a:計算新軌跡關于SMD-HDP-HMM模型中各軌跡模式的條件似然，將其中最 大者與一個事先確定的閾值進行比較，如果小于該閾值，則判定新軌跡為異常軌跡；以及/ 或者
[0027] 步驟S4b:計算新軌跡屬于SMD-HDP-HMM模型中各軌跡模式的后驗概率，后驗概率 最大的軌跡模式中與該新軌跡的條件似然最大的軌跡即為SMD-HDP-HMM模型中與新軌跡 最相似的軌跡。
[0028](三）有益效果
[0029] 本發(fā)明所提出的基于SMD-HDP-HMM的軌跡建模與檢索方法，通過學習 SMD-HDP-HMM模型，能夠充分利用軌跡的時空結構以較高的準確度學習軌跡模式，自動確定 軌跡模式的數(shù)目，并高效地實現(xiàn)軌跡檢索。
【附圖說明】
[0030] 圖1為基于SMD-HDP-HMM的軌跡建模方法流程圖；
[0031] 圖2為圖1中步驟S1的流程圖；
[0032] 圖3為圖1中步驟S2的流程圖；
[0033] 圖4為使用SMD-HDP-HMM的軌跡檢索方法流程圖；以及
[0034] 圖5為SMD-HDP-HMM的概率圖模型。
【具體實施方式】
[0035] 為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚明白，以下結合具體實施例，并參照 附圖，對本發(fā)明作進一步的詳細說明。
[0036] 本發(fā)明的方法并不受具體硬件和編程語言的限制，用任何語言編寫都可以實現(xiàn)本 發(fā)明的方法。根據(jù)本發(fā)明的實施例，采用一臺具有2. 83G赫茲中央處理器和2G字節(jié)內(nèi)存的 計算機，并用Matlab語言實現(xiàn)根據(jù)本發(fā)明的方法。
[0037] 圖1示出了根據(jù)本發(fā)明的實施例的一種基于SMD-HDP-HMM的軌跡建模方法，該方 法包括：
[0038] 步驟S1 :將軌跡表示成視覺文檔，形成包括多個視覺文檔的訓練集；以及
[0039] 步驟S2 :用訓練集中的視覺文檔學習SMD-HDP-HMM模型。
[0040] 圖2示出了根據(jù)本發(fā)明的實施例的一種使用根據(jù)如上軌跡建模方法生成的 SMD-HDP-HMM模型的軌跡檢索方法，包括：
[0041] 步驟S3 :將新輸入的軌跡表示成視覺文檔；以及
[0042] 步驟S4:將新輸入的軌跡的視覺文檔與SMD-HDP-HMM模型進行匹配，判斷其是否 異常并且/或者檢索出SMD-HDP-HMM模型中與之最相似的軌跡。
[0043] 下面根據(jù)本發(fā)明的實施例，詳細說明上文所描述的各個步驟。
[0044] 如圖3所示，步驟S1包含如下步驟：
[0045] 步驟Sla:將一條原始軌跡s記為?.其中xjPy4分別表示軌跡中第t個 點的X軸坐標和Y軸坐標，S是該軌跡中的總點數(shù)。用譜聚類算法對帶時間標簽的點集 進行聚類，聚出的每個團簇即一條子軌跡，一條軌跡被分割成一個子軌跡序列。
[0046] 步驟Sib:首先對所有子軌跡進行重采樣使之具有相同的點數(shù)，再對子軌跡中每 個相鄰的點對作差分運算以獲得每個點的速度特征，例如該點的X軸速度分量和Y軸速度 分量。然后把每條子軌跡中各點的X軸位置坐標、Y軸位置坐標、X軸速度分量和Y軸速度 分量拼接成一個特征向量，最后對它們進行主成分分析（PCA)并取每條子軌跡的前D個主 成分系數(shù)作為它的特征向量，其中D可取為使前D個主成分的能量占總能量的98%。
[0047] 步驟Sic :用K-means算法對所有子軌跡的特征向量聚類得到一個V維的視覺詞 典，然后根據(jù)該詞典將每條子軌跡編碼成一個視覺單詞。相應地，每條軌跡就被自然地表示 為一個包含時序關系的視覺文檔以，其中T為步驟Sla中對該軌跡分割出的子軌跡數(shù)， ytG{1，…，V}，V應為一個較大的值?？梢愿鶕?jù)要分析的軌跡數(shù)據(jù)的分布復雜程度來確 定V的值。例如，根據(jù)本發(fā)明的實施例，其取值為200。
[0048] 如圖4所示，步驟S2包含如下步驟：
[0049]步驟S2a:
[0050] 在該步驟中，為SMD-HDP-HMM中的各個參數(shù)隨機地生成初始值。這里， SMD-HDP-HMM中的各個參數(shù)包括第j(j= 1，2，…）篇文檔的隱狀態(tài)序列{彳}、第j篇文 檔的模態(tài)標簽集合丨模態(tài)權重向量{1^丨、全局主題先驗分布0。、第c類文檔的主題先 驗{eJ、第C類文檔的狀態(tài)轉(zhuǎn)移矩陣丨《0、第j篇文檔的類別標簽{c]}以及主題參數(shù)集合 {y。
[0051] 圖5示出了該SMD-HDP-HMM模型中的各參數(shù)及這些參數(shù)之間的關系。具體而言， 從L維狄利克雷分布Dir(yQ/L，…，yQ/L)中采樣L維向量0。，它是一個全局主題分布。 從狄利克雷分布Dir(y 0。）中采樣L維向量0。，其中c^!l，是第c類文檔的主 題分布。從狄利克雷分布Dir(aSk)中采樣L維向量?4,其中kG{1，…，L}，Sk 是一個L維向量，其中第k個元素為1，其余元素皆為0, <是第c類文檔的第k個主題轉(zhuǎn) 移分布，形成第c類文檔的主題轉(zhuǎn)移矩陣。從￡維狄利克雷分布Dir(cr//、…，〇//：) 中采樣￡維向量iK，其中kG{1，…，L}，iK是主題k的多模態(tài)混合權重。從V維狄利克 雷分布DirU/V，…，X/V)中采樣V維向量9ks，