本描述涉及聚類技術。

一個或多個實施例可以被應用于檢索通過圖像傳感器(圖像捕獲)設備獲取的場景中的移動對象的簇。

背景技術：

聚類是按照如下方式來對(例如圖像)信息的集合分組的任務：該方式使得同一組(稱為簇)中的信息的條目比其他組中的信息的條目彼此更加類似。

移動對象的檢測和跟蹤是是計算機視覺應用中很普遍且重要的任務，主要是作為支持其他應用的低層級任務。

實現(xiàn)這一步驟的效率扮演著很重要的角色，因為其可能明顯影響執(zhí)行隨后的處理步驟。

雖然該領域已經(jīng)有廣泛的活動，但仍然感到需要一種改進的聚類技術。

技術實現(xiàn)要素：

一個或多個實施例的目的是用于滿足這樣的需求。

本公開一個方面涉及一種聚類系統(tǒng)，用于從輸入幀的運動矢量開始聚類由輸入幀的流傳達的圖像信息，系統(tǒng)包括：聚類裝置，用于將運動矢量分組成簇集，合并聚類裝置，用于合并來自簇集(106，108)中的簇，其中系統(tǒng)包括以下中的至少一項：i)濾波器(102')，用于在分組成簇集之前，向運動矢量施加濾波以去除沒有被包括在之前的簇中的小運動矢量，ii)時間聚類裝置，用于通過如下方式來使用時間聚類補充合并聚類，即，從簇集中去除那些沒有在輸入幀的流中的前一幀中的簇并且聯(lián)合當前幀的那些涉及在輸入幀的流中的前一幀的相同簇的簇，iii)簇平滑裝置，用于針對輸入幀的流中的當前幀和前一幀計算同源簇的加權平均，iv)聚類裝置，被配置用于使用由輸入幀的流中的前一幀的合并聚類(110，112)而產(chǎn)生的矢量(116)、針對當前幀的簇集中的分組補充運動矢量。

本公開另一方面涉及一種裝置，包括：根據(jù)本公開第一方面的聚類系統(tǒng)，耦合至系統(tǒng)以向系統(tǒng)提供輸入幀(IF)的流的圖像捕獲設備(C)。

權利要求是本文中提供的一個或多個示例性實施例的公開內(nèi)容的組成部分。

一個或多個實施例可以使用相鄰幀之間的運動矢量(借助于出于這一目的已知的任何過程而獲得)；從這些運動矢量開始，根據(jù)一個或多個實施例的系統(tǒng)可以能夠檢索由圖像傳感器設備獲取的場景中的移動對象的簇。

一個或多個實施例可以依賴于以下基本想法：將具有類似的空間和運動信息的矢量看作屬于相同的對象。

在一個或多個實施例中，也可以使用時間信息來改善性能。

一個或多個實施例的典型的應用領域可以包括例如用于以下各項的裝置：

-攝像頭監(jiān)視；

-人員/對象檢測/識別；

–CTA(交叉車流警告)；

–人員行為分析(例如防盜、跌落檢測等)；

–無人看管行李檢測。

一個或多個實施例可以提供以下優(yōu)點中的一個或多個：

–可以通過求助于具有低功耗并且沒有附加存儲器要求的簡單技術來提供可靠且低成本的聚類系統(tǒng)；

–提供適合用于與各種用于估計相鄰幀之間的運動矢量的過程一起使用的靈活的解決方案；

-可以采用前一幀聚類和矢量信息以獲得在當前幀中的更加魯棒的聚類確定；

可以對當前和之前的相關簇求平均以針對用戶維持更“優(yōu)美的”的聚類輸出。

附圖說明

現(xiàn)在將參考附圖僅以示例方式來描述一個或多個實施例，在附圖中：

圖1是聚類布置的示意性框圖；

圖2是一個或多個實施例的示意性框圖；以及

圖3包括部分a)到g)，圖3是一個或多個實施例的可能操作的示意性表示。

具體實施方式

在隨后的描述中，說明一個或多個具體細節(jié)，旨在提供對實施例的示例的深度理解?？梢栽跊]有這些具體細節(jié)中的一個或多個的情況下或者使用其他方法、部件、材料等來獲得這些實施例。在其他情況下，沒有對已知的結構、材料或操作進行詳細說明或描述，以免模糊實施例的某些方面。

本描述的框架中對“實施例”或“一個實施例”的引用意圖表示關于該實施例描述的特定的配置、結構或特性被包括在至少一個實施例中。因此，諸如“在實施例中”或者“在一個實施例中”等可以存在于本描述的一個或多個位置處的短語不一定指代同一實施例。另外，可以在一個或多個實施例中按照任意適當?shù)姆绞浇M合特定的構造、結構或特性。

本文中所使用的附圖標記僅為了方便而提供，因此沒有限定保護范圍或?qū)嵤├姆秶?/p>

為了簡潔，下面的描述中借助于括號之間的附圖標記(例如[X])來指代某些文檔，并且附圖標記表示中出現(xiàn)在本描述的末尾的文檔的列表中的文檔。

一個或多個實施例可以使用相鄰幀(例如借助于已知用于該目的的任何裝置、例如數(shù)字視頻相機C獲得的視頻流中的輸入幀IF)之間的運動矢量MV。

從這些矢量MV開始，一個或多個實施例可以能夠檢索通過圖像傳感器設備獲得的場景中的運動對象的簇(參見例如圖1和2中識別為CI的簇)。

一個或多個實施例的基本想法是：將具有類似的空間和運動信息的矢量看作屬于同一對象[1]。可選地，也使用時間信息來改善性能。

如所指出的，運動對象的檢測和跟蹤是計算機視覺應用中普通且重要的任務，主要作為支持其他應用的低層級任務。實現(xiàn)這一步驟的效率扮演著很重要的角色，因為其可能顯著影響執(zhí)行隨后的處理步驟。

本質(zhì)上，可以采用兩種類型的方法以便滿足這一任務：基于區(qū)域的方法和基于邊界的方法。

背景減除和光流是普通的基于區(qū)域的方法：然而這些并不特別適合用于實時應用，因為它們可能需要很長的時間以用于估計背景模型。

各種基于邊界的方法可以使用基于邊緣的光流[2][3][4]。

圖1是例如[5][6]中公開的過程的例示。

應當理解，可以用硬件、軟件、固件或者硬件、軟件和固件的組合或子組合來執(zhí)行在本示例性詳細描述中討論的處理步驟中的部分或全部步驟。例如，以上步驟中的一些或全部可以由執(zhí)行程序指令的計算電路、諸如微處理器或微控制器來執(zhí)行，或者可以由硬連線或固件配置的電路、諸如ASIC或FPGA來執(zhí)行。

在步驟100，從由(數(shù)字)圖像傳感器或圖像捕獲設備C(其可以是出于這一目的已知的任何類型，例如相機，并且其本身可以不是實施例的部分)提供的輸入幀IF開始，可以提供相鄰幀之間的運動矢量MV的列表(通過已知的方法，其不需要在本文中詳細描述)。

在步驟102，可以執(zhí)行預濾波，以便例如消除噪聲和/或毛刺。

在步驟104，可以執(zhí)行標記(也是用本身已知的方式)以便針對每個“類似的”運動矢量插入標簽。

在聚類步驟106，可以將具有相同標簽的矢量分組成簇，并且在另外的“NxM聚類”步驟108中，可以將找到的簇擴展至更大的NxM窗口。

最后，在合并聚類步驟110中，可以將“類似的”簇合并以提供最終的被標識的簇CI。

這樣的方法可能呈現(xiàn)各種缺點。

比如，以上考慮的各種步驟中的一些步驟可能結果在計算上事是繁重的，因為它們可能對圖像(也就是幀)進行操作。在例如使用中值濾波器或者背景去除的情況下，對于預濾波步驟102尤其是這樣。

另外，沒有使用時間簇信息以便增強聚類，例如使用用于跟蹤的之前的聚類信息，并且沒有使用“之前”矢量信息。

一個或多個實施例可以采用圖2中例示的聚類方法，其中已經(jīng)結合圖1介紹的部分或元素使用相同的附圖標記來表示。在此出于簡潔的目的不再重復相應的詳細描述。

圖2中例示的處理步驟中的一些或全部也可以用硬件、軟件、固件或者硬件、軟件和固件的組合或子組合來執(zhí)行。例如，這些步驟中的一些或全部步驟可以由執(zhí)行程序指令的計算電路、諸如微處理器或微控制器來執(zhí)行，或者可以由硬連線或固件配置的電路、諸如ASIC或FPGA來執(zhí)行。

在圖2中例示的一個或多個實施例中，圖1的預濾波步驟102可以用“智能”預濾波步驟102'來取代，在“智能”預濾波步驟102'中消除了在之前簇中沒有的(非常)小矢量。

在圖2中例示的一個或多個實施例中，可以在112與合并聚類110相關聯(lián)地(例如在合并聚類110之后)執(zhí)行時間聚類以便消除在前一幀中沒有的簇并且聯(lián)合涉及相同前一簇的當前簇。

在圖2中例示的一個或多個實施例中，可以在114(例如在合并和時間聚類110、112之后)執(zhí)行簇平滑以便產(chǎn)生例如當前和先前相關簇的加權平均。

在圖2中例示的一個或多個實施例中，例如在標記步驟104中，可以在下一幀中插入(可選地施加相同的運動，也就是考慮恒定的對象速度)在當前簇(例如在114處的簇平滑中可用的簇)中包含的(所有)時間矢量116。

也就是，在一個或多個實施例中，可以使用由于先前幀的合并聚類110(以及可選的時間聚類112)產(chǎn)生的簇中包括的矢量116來補充意圖被分組(例如經(jīng)由104處的標記)在當前幀的簇集(例如106、108、110)中的運動矢量MV。

在圖2中例示的一個或多個實施例中，可以對取決于距離、模和角度而被認為“類似”的矢量/簇執(zhí)行各種類型的標記、聚類和合并步驟。

比如，在如圖2中例示的一個或多個實施例中，光流步驟100可以生成輸入運動矢量MV，其在標記104和聚類106、108(例如N＝16，M＝16)步驟之后可以標識如圖3的部分a)中例示的多個簇。這些然后可以經(jīng)歷如圖3的部分b)中用橢圓示意性地表示的合并聚類110以獲得圖3的部分c)中示意性地描繪的所得到的多個簇(在合并聚類之后)。

在施加時間聚類112時，可以去除這些所得到的簇中的某些簇(例如圖3的部分d)中用十字標記表示的簇中的三個簇)，因為這些簇沒有出現(xiàn)在之前的幀期間中，使得如圖3的部分e)中示意性地描繪地僅保留例如三個簇。

在向這些簇施加時間矢量116時，例如可以擴展(聯(lián)合)兩個簇，并且例如可以引入另一簇，如圖3的部分f)中示意性地描繪的。

在114施加簇平滑(可能連同102'處的“智能”預處理)可以允許通過去除上一被標識的簇來標識某些對象、例如三個移動的汽車，這導致最終結果，即圖3的部分g)中示意性地描繪的被標識的簇CI。

如所指出的，圖1的102處例示的傳統(tǒng)的預濾波可以借助于復雜的濾波、諸如例如中值濾波器[5]來去除運動矢量噪聲。

在圖2中例示的一個或多個實施例中，可以使用各種簡單的濾波方法用于102'處的智能預濾波，這取決于例如進來的運動矢量的噪聲。

第一方法可以包括蠻力選項、例如刪除所有的“小”矢量(被認為是噪聲)。

比如，在一個或多個實施例中，如果abs_sum(v)<＝MAX_ABS_VALUE(例如小于某個門限)，例如其中abs_sum(v)＝ABS(dX)+ABS(dY)，則可以認為矢量v＝(dX,dY)“小”。

第二方法可以包括“智能”選項，基于其包括以下所有小矢量：

–位于前一幀的聚類的周圍；

–在矢量與前一簇幀之間具有定向差異小于α。

第三方法可以包括在前面考慮的“智能”選項加上某個窗口WxH中至少為N個的具有相同定向的小矢量兩者。

在一個或多個實施例中，可以在以上討論的三個方法中使用以下數(shù)值：

–第一方法：MAX_ABS_VALUE＝1；

–第二方法：α＝[10°..50°]，這取決于應用；

–第三方法：W＝8，H＝8，N＝5。

在圖2中例示的一個或多個實施例中，104處的標記處理可以類似于例如[6]中公開的標記處理。

這可以涉及：如果以下條件滿足，則例如在位置p1和p2處向矢量v1和v2插入相同的標簽：

-SAD(p1,p2)<MPD(參見例如[6])；

–SAD(v1,v2)<MVD(如果與例如[6]相比，這是不同的條件，其考慮單個組成的絕對差異)；

-orientation_difference(v1,v2)<α(如果與例如[6]相比，這是附加條件)。

在以上描述中，SAD表示絕對差異之和。

在一個或多個實施例中，可以使用以下數(shù)值：

MPD＝[15..75]，MVD＝[1..5]，這取決于應用。

在一個或多個實施例中，聚類布置106可以分組成具有相同標簽的簇矢量，而聚類NxM步驟108可以將所找到的簇擴展至其NxM更大窗口。

在圖2中例示的一個或多個實施例中，合并聚類步驟110在以下條件成立的情況下合并兩個簇C1和C2：

–((X_distance(C1,C2)<MCD)并且(Y_distance(C1,C2)<MCD))，其是傳統(tǒng)條件；

orientation_difference(C1,C2)<β，其可以被認為是引入的新的條件。

如本文中所使用的，簇定向表示簇中的矢量的平均(均值)定向。

在一個或多個實施例中，可以使用以下數(shù)值：

MCD＝17；β＝[10°..180°]，這取決于應用。

在圖2中例示的一個或多個實施例中，112處的時間聚類可以包括：

–獲取之前與當前幀簇之間的簇關系；

–消除與前一幀簇沒有關系的當前簇；

–合并“有關系”的之前和當前簇。

如果以下條件成立，則可以保持來自前一幀的簇C1和在當前幀的簇C2“有關系”：

((X_distance(C1,C2)<MTCD)并且(Y_distance(C1,C2)<MTCD))；

orientation_difference(C1,C2)<β，其可以是針對110處的合并聚類考慮的相同的條件。

在一個或多個實施例中，MTCD＝1。

在圖2中例示的一個或多個實施例中，114處的簇平滑可以涉及例如如下計算“有關系”的之前簇C1和當前簇C2之間的加權平均：

C2＝(C2*CURRENT_W+C1*PREVIOUS_W)/SUM_W。

在一個或多個實施例中，可以使用以下數(shù)值：

MTCD＝1；

CURRENT_W＝1；PREVIOUS_W＝3；SUM_W＝4。

在圖2中例示的一個或多個實施例中，時間矢量框116可以對應于在下一幀中插入被包含在當前簇中的所有矢量(可選地施加相同的運動，其考慮恒定的對象速度)。

在一個或多個實施例中，112處的時間聚類可以導致獲得之前與當前幀的簇之間的簇關系。

這可以促進例如在場景中顯示對象的軌跡(例如由相同的簇編號標識)，使得例如可以計算和顯示簇圖心。

例如通過使用以下各項，在不同場景中的應用以及不同相機C的情況下執(zhí)行的示例性實施例的測試具有演示的基本滿意的視覺結果：

-線性和魚眼鏡頭；

-不同的相機和分辨率；

-不同的場景(在不同的參數(shù)設置下)，例如用于具有真實和城市仿真圖像的CTA(控制車流警告)、視頻監(jiān)控、人員檢測和用于機動車的智能后視鏡。

比如，在CTA城市仿真中，發(fā)現(xiàn)根據(jù)一個或多個實施例的系統(tǒng)能夠正確地標識兩個交叉的汽車。

此外，人員檢測過程演示了正確地標識將袋子留下的人和袋子本身的能力，其與傳統(tǒng)的人員檢測過程相比具有改進的結果。

嘗試根據(jù)一個或多個實施例的系統(tǒng)以正確地識別兩個經(jīng)過的人，而傳統(tǒng)的人員檢測過程僅識別一個人。

類似地，發(fā)現(xiàn)根據(jù)一個或多個實施例的系統(tǒng)在具有魚眼鏡頭的真實CTA場景中能夠正確地識別三個經(jīng)過的汽車。

一個或多個實施例因此可以提供一種聚類(例如數(shù)字)輸入幀(例如IF)的流傳達的圖像信息的方法，聚類從上述輸入幀的運動矢量(MV)開始，方法包括：

-將上述運動矢量分組(例如104，106，108)成簇集，

-通過合并來自上述簇集的簇來向上述簇集施加合并聚類(110)，

其中方法包括以下中的一項或多項(并且可選地包括全部)：

-i)在上述分組成簇集之前，向上述運動矢量施加濾波(例如102')以去除沒有被包括在之前的簇(例如之前幀的簇)中的小運動矢量，

-ii)通過從上述簇集中去除那些沒有在上述輸入幀的流中的前一幀中的簇并且聯(lián)合涉及上述輸入幀的流中的前一幀的相同簇的當前幀的那些簇來使用時間聚類(例如112)補充上述合并聚類，

-iii)針對上述輸入幀的流中的當前幀和前一幀計算同源(homologous)簇的加權平均(例如114)，

-iv)使用由于上述輸入幀的流中的前一幀的上述合并聚類(110，可能在例如112被時間聚類補充)而產(chǎn)生的矢量(例如116)、針對當前幀的上述簇集中的分組補充上述運動矢量。

在一個或多個實施例中，可以根據(jù)上述運動矢量之間的距離、模和角度差異來將上述運動矢量分組成上述簇集。

在一個或多個實施例中，可以根據(jù)上述簇集中的上述簇之間的距離、模和角度差異來合并來自上述簇集的簇。

在一個或多個實施例中，向上述運動矢量施加上述濾波以去除沒有被包括在之前的簇中的小運動矢量可以包括以下中的一項：

-a)刪除絕對值(例如abs_sum(v))不大于某個門限(例如MAX_ABS_VALUE)的運動矢量；

-b)刪除除了那些在上述輸入幀的流中的前一幀中的簇周圍的并且與上述輸入幀(IF)的流中的前一幀中的矢量與上述簇之間的定向差異小于某個角度門限(例如α)的運動矢量之外的運動矢量；

-c)刪除除了那些滿足以上條件b)之外的運動矢量以及除了那些在某個幀窗口WxH中具有相同定向的至少某個數(shù)目N的運動矢量之外的運動矢量。

在一個或多個實施例中，時間聚類(例如112)可以包括：

-獲取上述輸入幀的流中的當前幀與前一幀中的幀簇之間的某個簇關系，

-刪除與前一幀簇沒有簇關系的當前幀簇，以及

-合并滿足上述簇關系的之前和當前幀簇。

在一個或多個實施例中，當前幀簇和前一幀簇可以保持在具有小于相應距離和定向門限的距離(例如X_distance(C1，C2)和Y_distance(C1，C2))和定向差異(例如orientation_difference(C1，C2))的情況下滿足上述關系。

一個或多個實施例可以包括針對上述輸入幀的流中的當前幀和前一幀計算同源簇的加權平均，其中上述同源簇滿足先前出于上述時間聚類的目的定義的上述簇關系。

在一個或多個實施例中，將上述運動矢量分組成簇集可以包括：如果

-i)SAD(p1,p2)<MPD并且SAD(v1,v2)<MVD，

其中SAD表示絕對差異之和并且MPD和MVD表示相應門限，

以及

-ii)上述運動矢量v1和v2具有小于某個角度門限(例如α)的定向差異，

則通過在位置p1和p2向運動矢量v1和v2施加相同的標簽來分組到上述簇矢量的集合中具有相同標簽的同一簇。

描述中提及的文檔的列表

1.W.-C.Lu,Y.-C.F.Wang and C.-S.Chen,"Learning dense optical-flow trajectory patterns for video object extraction,"IEEE International Conference on Advanced Video&Signal-based Surveillance(AVSS),August 2010。

2.J.H.Duncan and T.-C.Chou,“On the detection of motion and the computation of optical flow,”IEEE Trans.Pattern Analysis and Machine Intelligence,vol.14,no.3,March 1992。

3.V.Caselles and B.Coll,“Snakes in movement,”SIAM J.Numerical Analysis,vol.33,1996。

4.S.S.Beauchemin and J.L.Barron,“The computation of optical flow,”ACM Computing Surveys,1995。

5.S.Aslani and H.Mahdavi-Nasab,"Optical Flow Based Moving Object Detection and Tracking for Traffic Surveillance",World Academy of Science,Engineering and Technology International Journal of Electrical,Robotics,Electronics and Communications Engineering,Vol.7,No.9,2013。

6.M.Yokoyama and T.Poggio,"A Contour-Based Moving Object Detection and Tracking",Proceedings of the 14th International Conference on Computer Communications and Networks(ICCCN),2005。

在不偏離背后原理的情況下，細節(jié)和實施例可以甚至明顯地相對于僅通過示例公開的內(nèi)容發(fā)生變化，而沒有偏離保護范圍。

保護范圍由所附權利要求限定。