用于檢測異常運動的方法和設(shè)備的制作方法
【專利摘要】提供了一種用于檢測異常運動的方法和設(shè)備。所述設(shè)備包括特征跟蹤單元，被配置為提取輸入圖像中的運動對象的特征，跟蹤提取的特征的位置隨著時間的變化，并確定提取的特征的軌跡；主題在線學(xué)習(xí)單元，被配置為以作為成束的軌跡的文件為單位對輸入圖像進行分類，并通過使用作為概率主題模型的在線學(xué)習(xí)方法來確定構(gòu)成分類的文件的主題的概率分布狀態(tài)；運動模式在線學(xué)習(xí)單元，被配置為對于每個確定的主題來學(xué)習(xí)速度和方向，并通過推斷確定的主題之間的時空相關(guān)性來學(xué)習(xí)運動模式。
【專利說明】用于檢測異常運動的方法和設(shè)備
[0001]本申請要求于2013年2月25日提交到韓國專利局的第10-2013-0020130號韓國專利申請以及于2013年8月5日提交到韓國知識產(chǎn)權(quán)局的第10-2013-0092658號韓國專利申請的優(yōu)先權(quán)，其公開通過引用完整地包含于此。
【技術(shù)領(lǐng)域】
[0002]本公開涉及一種用于通過使用在線學(xué)習(xí)方法來檢測異常運動的方法和設(shè)備。
【背景技術(shù)】
[0003]學(xué)習(xí)圖像中的對象的運動流的方法大致分為基于軌跡的學(xué)習(xí)方法或基于局部特征的學(xué)習(xí)方法。這些學(xué)習(xí)方法可以大致分為三種類型的方法:
[0004]第一，有一種通過跟蹤圖像中的運動對象來搜索其軌跡并通過將軌跡聚類為幾種主要模式來學(xué)習(xí)圖像的方法。在這種第一類型的方法中，定義軌跡之間的距離，以使類似的軌跡以很短的距離相互分開，并通過使用定義的距離將類似的軌跡分類為各個模式。
[0005]第二，有一種通過使用高斯混合模型和核密度估計來定義從圖像的每個像素到下一個像素的轉(zhuǎn)移概率來學(xué)習(xí)圖像的方法。在這種第二類型的方法中，并未搜索軌跡的普通模式，而是統(tǒng)計地學(xué)習(xí)經(jīng)過圖像的每個位置的對象的速度和尺寸。與上述第一類型的方法相比，第二類型的方法具有對于以任意角度投射的圖像而言更加強健的性能。此外，第二類型的方法還可以有效地處理被切斷的軌跡。
[0006]第三，有一種通過從圖像提取局部特征(諸如光流)來學(xué)習(xí)圖像的方法。在這種第三類型的方法中，使用高斯混合模型或概率主題模型來生成學(xué)習(xí)模型。
[0007]然而，由于這些學(xué)習(xí)方法通常使用批量學(xué)習(xí)方案，因此，在圖像不斷變化的情況下，變化可能不會被反映在學(xué)習(xí)模型中。
[0008]第2011-0133476號韓國專利公布是現(xiàn)有技術(shù)的一種示例。

【發(fā)明內(nèi)容】

[0009]本公開的一個或更多個實施例包括一種即使多個正常運動模式相隔時間差地出現(xiàn)在輸入圖像中的任意局部區(qū)域中也允許執(zhí)行學(xué)習(xí)的方法。
[0010]本公開的一個或更多個示例性實施例可以包括一種檢測異常行為的方法。所述方法可以允許學(xué)習(xí)圖像中的特征的速度和方向信息，并且可以允許確定模式之間的時空關(guān)系O
[0011]本公開的一個或更多個示例性實施例可以包括一種檢測異常行為的方法。所述方法可以適應(yīng)于隨著時間變化在圖像中的變化，并且即使對于復(fù)雜圖像(諸如人群集中的圖像)也可以具有強健的性能。
[0012]將在下面的描述中闡述其他方面，并且通過下面的描述其他方面將變得清楚。
[0013]根據(jù)本公開的一個或更多個示例性實施例，一種用于檢測異常運動的設(shè)備可以包括:特征跟蹤單元，用于提取輸入圖像中的運動對象的特征，跟蹤提取的特征的位置隨著時間的變化，并確定提取的特征的軌跡；主題在線學(xué)習(xí)單元，用于以文件(作為成束的軌跡)為單位對輸入圖像進行分類，并通過使用在線學(xué)習(xí)方法(作為概率主題模型)來確定構(gòu)成分類的文件的主題的概率分布狀態(tài)；運動模式在線學(xué)習(xí)單元，用于對于每個確定的主題來學(xué)習(xí)速度和方向，并通過推斷確定的主題之間的時空相關(guān)性來學(xué)習(xí)運動模式。
[0014]根據(jù)本公開的一個或更多個示例性實施例，一種用于檢測異常運動的設(shè)備可以包括:特征跟蹤單元，用于提取輸入圖像中的運動對象的特征，跟蹤提取的特征的位置隨著時間的變化，并確定提取的特征的軌跡；軌跡分類單元，用于以指示一束軌跡的文件為單位對輸入圖像進行分類，并通過使用在線學(xué)習(xí)方法(作為概率主題模型)來推斷指示構(gòu)成每個文件的主題的直方圖分布的多項分布參數(shù)概率矢量值，由此對于文件中的每個主題來聚類軌跡的位置；時空相關(guān)性推斷單元，用于基于推斷的多項分布參數(shù)概率矢量值來推斷時空相關(guān)性；運動模式在線學(xué)習(xí)單元，用于對于每個聚類的主題來學(xué)習(xí)速度和方向，并通過推斷確定的主題之間的時空相關(guān)性來學(xué)習(xí)運動模式。
[0015]所述設(shè)備還可以包括異常性檢測單元，通過使用學(xué)習(xí)到的運動模式的高斯學(xué)習(xí)結(jié)果，當(dāng)包括在每一幀輸入圖像中的軌跡被包括在學(xué)習(xí)到的運動模式中的概率低時，將運動模式分類為異常運動模式。
[0016]軌跡可以由一組單詞Wji和一組矢量差Vji,來表示，所述一組單詞表示指示軌跡經(jīng)過的柵格點的位置的一組單詞。所述一組矢量差表示單詞中的實際特征的位置與所述實際特征在τ幀之前的位置之間的一組矢量差vjiT，Wji指示第j軌跡經(jīng)過第i柵格，其中，τ、j和i是整數(shù)。
[0017]多項分布參數(shù)概率矢量值可以包括文件-主題概率分布(Θ d)和主題-單詞概率分布((pk)。
[0018]時空相關(guān)性推斷單元可以使用K均值聚類方法來推斷時空相關(guān)性。
[0019]根據(jù)本公開的一個或更多個示例性實施例，一種檢測異常運動的方法可以包括:在特征跟蹤單元中，提取輸入圖像中的運動對象的特征，跟蹤提取的特征的位置隨著時間的變化，并確定提取的特征的軌跡；在主題在線學(xué)習(xí)單元中，以文件(作為成束的軌跡)為單位對輸入圖像進行分類，并通過使用在線學(xué)習(xí)方法(作為概率主題模型)來確定構(gòu)成分類的文件的主題的概率分布狀態(tài)；在運動模式在線學(xué)習(xí)單元中，對于每個確定的主題來學(xué)習(xí)速度和方向，通過推斷確定的主題之間的時空相關(guān)性來學(xué)習(xí)運動模式。
[0020]根據(jù)本公開的一個或更多個示例性實施例，一種檢測異常運動的方法可以包括:在特征跟蹤單元中，提取輸入圖像中的運動對象的特征，跟蹤提取的特征的位置隨著時間的變化，確定提取的特征的軌跡；在軌跡分類單元中，以指示一束軌跡的文件為單位對輸入圖像進行分類，并通過使用在線學(xué)習(xí)方法(作為概率主題模型)來推斷指示構(gòu)成每個文件的主題的直方圖分布的多項分布參數(shù)概率矢量值，由此對于文件中的每個主題來聚類軌跡的位置；在時空相關(guān)性推斷單元中，基于推斷的多項分布參數(shù)概率矢量值來推斷時空相關(guān)性；在運動模式在線學(xué)習(xí)單元中，對于每個聚類的主題來學(xué)習(xí)速度和方向，并通過推斷確定的主題之間的時空相關(guān)性來學(xué)習(xí)運動模式。
【專利附圖】

【附圖說明】
[0021]通過下面結(jié)合附圖對示例性實施例進行的描述，這些和/或其他方面將變得清楚和更易于理解，其中:
[0022]圖1是根據(jù)本公開的示例性實施例的異常行為檢測設(shè)備的內(nèi)部配置圖；
[0023]圖2A和圖2B是示出根據(jù)本公開的示例性實施例的通過使用在線潛在狄利克雷分配(OLDA)學(xué)習(xí)方法以文件為單位對輸入圖像進行分類并確定構(gòu)成分類的文件的主題的概率分布狀態(tài)的示例的示圖；
[0024]圖3是示出根據(jù)本公開的示例性實施例的提取輸入圖像中的運動對象的特征并通過跟蹤提取的特征的位置隨著時間的變化來確定軌跡信息的示例的示圖；
[0025]圖4是示出根據(jù)本公開的示例性實施例的示出軌跡信息段的方法的示例的示圖；
[0026]圖5是示出根據(jù)本公開的示例性實施例的使用K均值聚類方法確定時空相關(guān)性的示例的示圖；
[0027]圖6是示出根據(jù)本公開的示例性實施例的通過推斷主題之間的時空相關(guān)性來學(xué)習(xí)運動模式的示例的示圖；
[0028]圖7是示出根據(jù)本公開的示例性實施例的在線學(xué)習(xí)方法(作為概率主題模型)的圖形的類型的示圖；
[0029]圖8A至圖8C是示出根據(jù)本公開的示例性實施例的級聯(lián)推斷方法的示例的示圖；
[0030]圖9A和圖9B是示出根據(jù)本公開的示例性實施例的對于每個主題來聚類軌跡的位置的示例的示圖。
【具體實施方式】
[0031]現(xiàn)在將對示例性實施例進行詳細的描述，其示例在附圖中示出，其中，相同的標(biāo)號始終指示相同部件。就這一點而言，當(dāng)前的示例性實施例可以具有不同的形式并且不應(yīng)被解釋為局限于這里所闡述的描述。因此，僅僅是通過參照附圖在下面描述示例性實施例，以解釋本說明書的各方面。
[0032]附圖中的框圖示出根據(jù)本公開的示例性實施例的設(shè)備和方法。就這一點而言，每個框可以表示包含用于執(zhí)行指定邏輯功能的一個或更多個可執(zhí)行指令的模塊、程序或部分代碼。還應(yīng)該注意的是，可以通過用于執(zhí)行指定功能/操作的基于專用硬件的系統(tǒng)、通過用于執(zhí)行指定功能/操作的基于軟件的系統(tǒng)或通過專用硬件和計算機指令的組合來實現(xiàn)框圖。
[0033]圖1是根據(jù)本公開的示例性實施例的異常行為檢測設(shè)備100的內(nèi)部配置圖。
[0034]異常行為檢測設(shè)備100包括特征跟蹤單元110、主題在線學(xué)習(xí)單元120、運動模式在線學(xué)習(xí)單元130和異常檢測單元140。
[0035]例如，當(dāng)輸入圖像是描述車輛交通的一系列幀時，特征跟蹤單元110提取輸入圖像中的運動對象(例如，車輛)的特征，并跟蹤提取的特征隨著時間的位置變化，以確定軌跡信息。
[0036]在本公開的示例性實施例中，特征跟蹤單元110根據(jù)主要主題(例如，徑直前進軌跡信息、左轉(zhuǎn)彎軌跡信息、右轉(zhuǎn)軌跡信息、U形轉(zhuǎn)彎軌跡信息等)對輸入圖像中的軌跡信息進行分類。特征跟蹤單元110通過使用Kanade-Lucas-Tomasi (KLT)跟蹤技術(shù)對所述軌跡信息進行分類。如以下參照圖3所述，特征跟蹤單元110通過使用所述分類的軌跡信息來學(xué)習(xí)區(qū)域、速度等。[0037]主題在線學(xué)習(xí)單元120根據(jù)主要主題(諸如，作為示例的水平方向徑直前進軌跡、左轉(zhuǎn)彎軌跡、U形轉(zhuǎn)彎軌跡或垂直方向徑直前進軌跡)對由特征跟蹤單元110確定的軌跡信息進行分類。
[0038]為此，如以下參照圖2A和圖2B所述，主題在線學(xué)習(xí)單元120以指示一束軌跡的文件為單位對輸入圖像進行分類，并通過使用在線學(xué)習(xí)方法(作為概率主題模型)來確定包括構(gòu)成分類的文件的單詞的主題的概率分布狀態(tài)。例如，每一幀輸入圖像可以被劃分成柵格，并且由單詞來表示軌跡經(jīng)過的柵格的位置。
[0039]此后，運動模式在線學(xué)習(xí)單元130對于由主題在線學(xué)習(xí)單元120確定的每個主題來學(xué)習(xí)區(qū)域、速度和方向。運動模式在線學(xué)習(xí)單元130推斷確定的主題之間的時空相關(guān)性?？梢酝ㄟ^使用K均值聚類方法來推斷時空相關(guān)性。例如，如以下參照圖5所述，在左轉(zhuǎn)彎之后出現(xiàn)U形轉(zhuǎn)彎的情況下，通過推斷U形轉(zhuǎn)彎和左轉(zhuǎn)彎之間的時空相關(guān)性來學(xué)習(xí)運動模式。
[0040]當(dāng)包括在每一幀輸入圖像中的軌跡偏離由運動模式在線學(xué)習(xí)單元130學(xué)習(xí)的預(yù)定義運動模式時，異常檢測單元140確定出現(xiàn)異常行為。當(dāng)包括在每一幀輸入圖像中的軌跡對應(yīng)于學(xué)習(xí)到的運動模式的概率低時，異常檢測單元140基于由運動模式在線學(xué)習(xí)單元130學(xué)習(xí)的運動模式的高斯學(xué)習(xí)結(jié)果(參考表達式10至表達式12)將包括在幀中的軌跡的運動模式確定為異常。另一方面，當(dāng)包括在每一幀輸入圖像中的軌跡沒有偏離由運動模式在線學(xué)習(xí)單元130學(xué)習(xí)的預(yù)定義運動模式時，異常檢測單元140確定出現(xiàn)正常行為。
[0041]圖2A和圖2B是示出根據(jù)本公開的示例性實施例的在主題在線學(xué)習(xí)單元120 (見圖1)中通過使用在線 潛在狄利克雷分配(OLDA)學(xué)習(xí)方法以文件為單位對輸入圖像進行分類并確定構(gòu)成分類的文件的主題的概率分布狀態(tài)的示例的示圖。
[0042]OLDA是主要用于自然語言處理領(lǐng)域的概率主題模型。OLDA是根據(jù)主題對多個文件進行分類并確定文件中的單詞包括在哪個主題中的技術(shù)。目前還以各種方式來使用0LDA，不僅用于自然語言處理領(lǐng)域，而且用于計算機圖像處理領(lǐng)域。
[0043]在本公開的示例性實施例中，使用了將變分貝葉斯(VB)用作在線學(xué)習(xí)方法的OLDA學(xué)習(xí)方法。
[0044]通過使用OLDA學(xué)習(xí)方法，即使輸入圖像的情況不斷變化，所述變化也可反映在學(xué)習(xí)模型中并且可以根據(jù)順序的輸入來不斷更新輸出結(jié)果。
[0045]此外，通過使用OLDA學(xué)習(xí)方法，即使多個正常運動模式相隔時間差地出現(xiàn)在輸入圖像中的任意局部區(qū)域中，也可以學(xué)習(xí)運動模式。
[0046]參照圖2A，在本公開的示例性實施例中，以文件為單位對輸入圖像進行分類，其中，所述文件均指示一束軌跡Tr1至Trm，例如，文件dl201、文件d2202和文件d3203。在這種情況下，文件dl201、文件d2202和文件d3203由一束m個軌跡(m是自然數(shù))構(gòu)成。
[0047]圖2B是示出通過使用在線學(xué)習(xí)方法(作為概率主題模型)獲得的示圖。所述示圖是具有構(gòu)成分類的文件的單詞的主題的概率分布狀態(tài)的示例。
[0048]根據(jù)本公開的示例性實施例，文件dl201分別由軌跡TrflO至1^213構(gòu)成。軌跡TrflO由指示軌跡的位置的一組單詞220構(gòu)成。
[0049]具體地講，將每一幀輸入圖像劃分為η乘η柵格。軌跡經(jīng)過的柵格的位置由單詞表示。例如，當(dāng)?shù)趈軌跡經(jīng)過第i柵格時，柵格的位置由Wji表示。以這種方式，第j軌跡由一組單詞220 (Wpi=l，2，...，n)表示。此后，通過使用在線學(xué)習(xí)方法(作為概率主題模型)確定指示在每個軌跡中單詞包括在哪個主題的概率分布。
[0050]在這種情況下，假設(shè)指示一束軌跡的文件由通過多項分布生成的多個主題構(gòu)成。此外，假設(shè)構(gòu)成輸入圖像的軌跡包括在潛在主題之一中，其中，所述潛在主題表示輸入圖像中的代表性的k個流。
[0051 ] 參照圖2B中的概率分布230，明顯的是，構(gòu)成軌跡TrflO的一組單詞220(Wji, i=l, 2,..., η)很有可能包括在第一主題Tl (徑直前進軌跡)中。
[0052]類似地，軌跡Tr2211還被示為很有可能包括在第一主題Tl (徑直前進軌跡)中，軌跡Tr3212被示為很有可能包括在第二主題T2 (左轉(zhuǎn)彎軌跡)中，軌跡Trm213被示為很有可能包括在第三主題T3 (右轉(zhuǎn)彎軌跡)中。
[0053]在本公開的示例性實施例中，如圖2B的示例性實施例中描述，以指示一束軌跡的文件為單位對輸入圖像進行分類，并確定構(gòu)成文件的單詞包括在哪個主題的概率分布狀態(tài)。以這種方式，對于每個主題來聚類軌跡的位置。例如，可以針對整個輸入圖像來根據(jù)主題對軌跡進行分類。包括在第一主題Tl (徑直前進軌跡)中的軌跡可以聚類為軌跡Τrι210、軌跡Tr2211，...，包括在第二主題T2 (左轉(zhuǎn)彎軌跡)中的軌跡可以聚類為軌跡Tr3212，...，包括在第三主題T3 (右轉(zhuǎn)彎軌跡)中的軌跡可以聚類為軌跡Trm213，....。以這種方式，可以分析根據(jù)時區(qū)在輸入圖像中最頻繁出現(xiàn)的主題的分布和對于每個主題的軌跡的位置。
[0054]圖3是示出提取輸入圖像中的運動對象的特征并通過跟蹤提取的特征隨著時間的位置變化來確定軌跡信息的示例的示圖。
[0055]參照圖3，從tl的輸入圖像提取特征A310、特征B320、特征C330和特征D340。然后，跟蹤這些提取的特征隨著時間的位置變化。
[0056]例如，特征A的位置隨著時間改變到310、311和312。此外，特征B的位置改變到320、321和322，特征C的位置改變到330、331和332，特征D的位置改變到340、341和342。跟蹤所述特征的位置的這些變化。
[0057]圖4是示出根據(jù)本公開的示例性實施例的示出軌跡信息段的方法的示例的示圖。
[0058]軌跡Tr410= {(X1, y” I)，(x2, y2, 2)，(x3, y3, 3)，(x4, y4, 4)..., (xT, yT, T)}
[0059]參照圖4,軌跡Tr410由一組單詞Wji和一組矢量差Vji τ來表示。一組單詞Wji指的是表示在輸入圖像中軌跡經(jīng)過的柵格點的位置的一組單詞。參照圖4，Wji420指示第j軌跡經(jīng)過第i柵格，第j軌跡由一組單詞(Wp i=l, 2，...,Nj)來表示。
[0060]一組矢量差表示單詞內(nèi)的實際特征的位置420和實際特征在τ幀之前的位置之間的一組矢量值的差VjiT。
[0061]參照圖4, 一組矢量差由一組以下項來表不:實際特征的位置420和在一中貞之前的位置(Xpy1, 1)421之間的矢量差vjn430、實際特征的位置420和在兩幀之前的位置(x2，Y2, 2) 422之間的矢量差vji2440、實際特征的位置420和在τ幀之前的位置(xT, yT, T)423之間的矢量差vjiT450。優(yōu)選地，如參照以下表達式6所描述，矢量差Vji τ450具有高斯分布并且以Ν(μ，Σ)的形式表示。
[0062]在這種情況下,可將矢量差表示為Vjil= (Δ xjn，Ayjil), Vji2= (Axji2, Δ yJi2),..., Vji T = ( Δ Xji τ, Δ yji τ)。
[0063]高斯分布可以指示對于每個主題在τ幀之前單詞相互分開的距離?？梢酝ㄟ^使用關(guān)于在單詞內(nèi)軌跡經(jīng)過的實際特征的位置和實際特征在τ幀之前的位置之間的矢量差Vji τ的信息來確定高斯分布。
[0064]圖5是示出根據(jù)本公開的示例性實施例的使用K均值聚類方法來確定時空相關(guān)性的示例的示圖。
[0065]如以下參照圖SB詳細描述，可以使用K均值聚類方法來確定文件和主題之間的概率分布9d。
[0066]圖6是示出根據(jù)本公開的示例性實施例的通過推斷主題之間的時空相關(guān)性來學(xué)習(xí)運動模式的示例的示圖。
[0067]在本公開的示例性實施例中，如上所述，圖7中所示的在線學(xué)習(xí)模型用于對于每個主題來學(xué)習(xí)區(qū)域、速度和方向，并通過推斷確定的主題之間的時空相關(guān)性來學(xué)習(xí)運動模式。
[0068]圖7是示出根據(jù)本公開的示例性實施例的在線學(xué)習(xí)方法(作為概率主題模型)的圖形的類型的示圖。
[0069]在本公開的示例性實施例中，通過使用下面所描述的表達式I至表達式6將基于KLT跟蹤技術(shù)確定的軌跡變形為基于圖7中所示的概率主題模型的在線學(xué)習(xí)模型的形式。
[0070]在所述在線學(xué)習(xí)方法的處理中，假設(shè)軌跡Zj包括在潛在主題中，其中，所述潛在主題表示輸入圖像中的 代表性的k個流。潛在主題是圖像中的主要運動模式，諸如徑直前進、
左轉(zhuǎn)彎等。
[0071]此外，假設(shè)指示一束軌跡的文件由通過多項分布生成的多個主題構(gòu)成。這樣，文件中的主題的概率分布與通過狀態(tài)Sd生成的多項分布的參數(shù)概率矢量0d相關(guān)。這里，狀態(tài)Sd指的是對于每個時間單位出現(xiàn)的一組行為主題。因此，當(dāng)確定隨著時間的狀態(tài)轉(zhuǎn)移時，可以確定隨著時間的主要行為。
[0072]在根據(jù)本公開的示例性實施例的概率主題模型中，使用了表達式I至表達式6。
[0073]’、'*/ I 1 ~ΜαΙ?Ηπ%, { I ⑴
[0074]在表達式I中，Sd表示當(dāng)前狀態(tài)，Stw表示之前狀態(tài)，Multi ()表示多項分布。狀態(tài)Sd具有關(guān)于在順序d中主要生成什么運動模式(或主題)的信息。
[0075]表達式I指示在當(dāng)前順序d中出現(xiàn)的特定狀態(tài)Sd是否只受到在之前順序d-Ι中的特定的之前狀態(tài)Stw的影響。
[0076]0d|Sd~Dir(a)，⑵
[0077]在表達式2中，sd表示當(dāng)前狀態(tài)，Θ d表示多項分布的參數(shù)概率矢量，Dir ()表示狄利克雷分布，ct表示狄利克雷分布的超參數(shù)(hyper-parameter)。
[0078]表達式2指示Θ d以指示當(dāng)整個模型被假設(shè)為貝葉斯定理(Bayesian)時的特定分布的概率的形式表示。
[0079]<K~Dir(3)，(3)
[0080]在表達式3中，表不單詞-主題分布，Dir ()表不狄利克雷分布，β表不狄利克雷分布的超參數(shù)。
[0081]ZjI Θ d ~Multi ( Θ d)，(4)
[0082]表達式4假設(shè)變量z由Θ d導(dǎo)出。變量z用于確定每個單詞是否具有特定的主題索引。Gd是指示對應(yīng)的文件包括在哪個主題中的概率分布。
【權(quán)利要求】
1.一種用于檢測異常運動的設(shè)備，所述設(shè)備包括: 特征跟蹤單元，被配置為提取輸入圖像中的運動對象的特征，跟蹤提取的特征的位置隨著時間的變化，并確定提取的特征的軌跡； 主題在線學(xué)習(xí)單元，被配置為以作為成束的軌跡的文件為單位對輸入圖像進行分類，并通過使用作為概率主題模型的在線學(xué)習(xí)方法來確定包括在分類的文件中的主題的概率分布狀態(tài)； 運動模式在線學(xué)習(xí)單元，被配置為對于每個確定的主題來學(xué)習(xí)速度和方向，并通過推斷確定的主題之間的時空相關(guān)性來學(xué)習(xí)運動模式。
2.根據(jù)權(quán)利要求1所述的設(shè)備，還包括:異常檢測單元，被配置為通過使用學(xué)習(xí)到的運動模式的高斯學(xué)習(xí)結(jié)果，響應(yīng)于包括在每一幀輸入圖像中的軌跡被包括在學(xué)習(xí)到的運動模式中的概率低，將運動模式分類為異常運動模式。
3.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述特征跟蹤單元被配置為通過使用Kanade-Lucas-Tomasi跟蹤技術(shù)來提取輸入圖像中的運動對象的特征。
4.根據(jù)權(quán)利要求1所述的設(shè)備，其中，在所述主題在線學(xué)習(xí)單元中，文件包括通過多項分布生成的多個主題，指示構(gòu)成文件的多個主題的概率分布狀態(tài)的多項分布參數(shù)概率矢量值被推斷以對于每個主題來聚類軌跡的位置。
5.根據(jù)權(quán)利要求1所述的設(shè)備，其中，指示構(gòu)成文件的多個主題的概率分布狀態(tài)的多項分布參數(shù)概率矢量值包括文件-主題概率分布(Θ d)和主題-單詞概率分布(Cpk)。
6.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述軌跡由一組單詞Wji和一組矢量差vjiT來表示，所述一組單詞由軌跡經(jīng)過的柵格點位置表示，并且 其中，Wji指示第j軌跡經(jīng)過第i柵格，所述一組矢量差表示單詞中的實際特征的位置與所述實際特征在τ幀之前的位置之間的一組矢量差vjiT。
7.根據(jù)權(quán)利要求6所述的設(shè)備，其中，單詞Ri基于多項分布，并且包括在單詞中的矢量的差VM具有高斯分布。
8.根據(jù)權(quán)利要求6所述的設(shè)備，其中，通過使用特定柵格的當(dāng)前幀的位置值和在τ幀之前的特定柵格的實際位置值，對于每個單詞位置來確定速度。
9.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述在線學(xué)習(xí)方法為在線潛在狄利克雷分配學(xué)習(xí)方法。
10.根據(jù)權(quán)利要求9所述的設(shè)備，其中，在所述在線潛在狄利克雷分配學(xué)習(xí)方法中，使用變分貝葉斯來推斷潛在狄利克雷分配。
11.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述運動模式在線學(xué)習(xí)單元被配置為通過使用K均值聚類方法來推斷時空相關(guān)性。
12.一種用于檢測異常運動的設(shè)備，所述設(shè)備包括: 特征跟蹤單元，被配置為提取輸入圖像中的運動對象的特征，跟蹤提取的特征的位置隨著時間的變化，并確定提取的特征的軌跡； 軌跡分類單元，被配置為以指示一束軌跡的文件為單位對輸入圖像進行分類，并通過使用作為概率主題模型的在線學(xué)習(xí)方法來推斷多項分布參數(shù)概率矢量值，以便對于文件中的每個主題來聚類軌跡的位置，其中，所述多項分布參數(shù)概率矢量值指示構(gòu)成每個文件的主題的直方圖分布； 時空相關(guān)性推斷單元，被配置為基于推斷的多項分布參數(shù)概率矢量值來推斷時空相關(guān)性； 運動模式在線學(xué)習(xí)單元，被配置為對于每個聚類的主題來學(xué)習(xí)速度和方向，并通過推斷確定的主題之間的時空相關(guān)性來學(xué)習(xí)運動模式。
13.根據(jù)權(quán)利要求12所述的設(shè)備，還包括:異常檢測單元，被配置為通過使用學(xué)習(xí)到的運動模式的高斯學(xué)習(xí)結(jié)果，響應(yīng)于包括在每一幀輸入圖像中的軌跡被包括在學(xué)習(xí)到的運動模式中的概率低，將運動模式分類為異常運動模式。
14.根據(jù)權(quán)利要求12所述的設(shè)備，其中，所述多項分布參數(shù)概率矢量值包括文件-主題概率分布(Θ d)和主題-單詞概率分布(q>k)。
15.根據(jù)權(quán)利要求12所述的設(shè)備，其中，所述時空相關(guān)性推斷單元被配置為使用K均值聚類方法來推斷時空相關(guān)性。
16.根據(jù)權(quán)利要求12所述的設(shè)備，其中，所述軌跡由一組單詞Wji和一組矢量差vjiT來表示，所述一組單詞由軌跡經(jīng)過的柵格點位置表示，并且 其中，Wji指示第j軌跡經(jīng)過第i柵格，所述一組矢量差表示單詞中的實際特征的位置與所述實際特征在τ幀之前的位置之間的一組矢量差Vji τ。
17.根據(jù)權(quán)利要求16所述的設(shè)備，其中，單詞Ri基于多項分布，并且包括在單詞中的矢量的差'iT具有高斯分布。
18.根據(jù)權(quán)利要求16所述的設(shè)備，其中，通過使用特定柵格的當(dāng)前幀的位置值和在τ幀之前的特定柵格的實際位置值，對于每個單詞位置來確定速度。
19.根據(jù)權(quán)利要求12所述的設(shè)備，其中，所述特征跟蹤單元被配置為通過使用Kanade-Lucas-Tomasi跟蹤技術(shù)來提取輸入圖像中的運動對象的特征。
20.根據(jù)權(quán)利要求12所述的設(shè)備，其中，所述在線學(xué)習(xí)方法為在線潛在狄利克雷分配學(xué)習(xí)方法。
21.一種檢測異常運動的方法，所述方法包括: 提取輸入圖像中的運動對象的特征； 跟蹤提取的特征的位置隨著時間的變化； 確定提取的特征的軌跡； 以作為成束的軌跡的文件為單位對輸入圖像進行分類； 通過使用作為概率主題模型的在線學(xué)習(xí)方法來確定構(gòu)成分類的文件的主題的概率分布狀態(tài)； 對于每個確定的主題來學(xué)習(xí)速度和方向； 通過推斷確定的主題之間的時空相關(guān)性來學(xué)習(xí)運動模式。
22.根據(jù)權(quán)利要求21所述的方法，還包括:通過使用學(xué)習(xí)到的運動模式的高斯學(xué)習(xí)結(jié)果，響應(yīng)于包括在每一幀輸入圖像中的軌跡被包括在學(xué)習(xí)到的運動模式中的概率低，將運動模式分類為異常運動模式。
23.一種檢測異常運動的方法，所述方法包括: 提取輸入圖像中的運動對象的特征； 跟蹤提取的特征的位置隨著時間的變化；確定提取的特征的軌跡； 以指示一束軌跡的文件為單位對輸入圖像進行分類； 通過使用作為概率主題模型的在線學(xué)習(xí)方法來推斷指示多項分布參數(shù)概率矢量值，以便對于文件中的每個主題來聚類軌跡的位置，其中，所述多項分布參數(shù)概率矢量值構(gòu)成每個文件的主題的直方圖分布； 基于推斷的多項分布參數(shù)概率矢量值來推斷時空相關(guān)性； 對于每個聚類的主題來學(xué)習(xí)速度和方向； 通過推斷確定的主題之間的時空相關(guān)性來學(xué)習(xí)運動模式。
【文檔編號】G06K9/62GK104008390SQ201410059276
【公開日】2014年8月27日 申請日期:2014年2月21日 優(yōu)先權(quán)日:2013年2月25日
【發(fā)明者】柳永俊, 鄭夏旭, 李侊茂, 崔鎮(zhèn)榮, 樸東俊, 林廷恩 申請人:三星泰科威株式會社, 首爾國立大學(xué)校產(chǎn)學(xué)協(xié)力財團