本公開總體涉及計算機視覺領(lǐng)域，具體涉及場景分割方法及設(shè)備。

背景技術(shù)：

在復(fù)雜場景中同時對場景中的所有物體進行跟蹤和分析是非常困難且耗時的。例如，圖1示出了具有復(fù)雜場景的交通環(huán)境的示例性示意圖。如圖1所示，該場景中有很多物體，例如背景、行人、車輛等，并且這些物體具有不同的運動狀態(tài)，因此同時對所有這些物體進行跟蹤、分析、以及運動狀態(tài)的預(yù)測是一項非常有難度的工作。

ransac(隨機抽樣一致性)算法是一種廣泛用來進行運動參數(shù)估計的方法，但是在上述復(fù)雜場景中應(yīng)用ransac算法具有以下局限性：場景中的所有物體被同等看待，而不管它們是靜止的還是運動的，也不管它們是如何運動的；在對裝備有攝像機的物體進行運動估計時是假設(shè)該物體在運動而場景中的其他物體靜止的，而事實上有可能場景中的大多數(shù)其他物體也在運動；根據(jù)ransac算法，在進行運行參數(shù)估計時僅保留整個場景中的最強假設(shè)，而不考慮其他假設(shè)，然而事實上其他假設(shè)也包含對于分析整個場景有用的信息。由于以上局限性，導(dǎo)致采用傳統(tǒng)ransac算法對復(fù)雜場景中的物體進行跟蹤和分析的效果不佳。

技術(shù)實現(xiàn)要素：

根據(jù)本公開的一個方面的實施例，提供了一種場景分割方法，包括：獲取所述場景的當(dāng)前幀圖像，并檢測該當(dāng)前幀圖像中的特征點；對當(dāng)前幀圖像中的所有特征點進行劃分，以將運動狀態(tài)一致的特征點劃分到同一個區(qū)域中；對每個劃分得到的區(qū)域中的特征點的點集執(zhí)行隨機抽樣一致性算法，并基于至少是最強假設(shè)的結(jié)果對該區(qū)域進行分裂處理；以及對于經(jīng)過分裂處理后得到的各個區(qū)域，將其中運動狀態(tài)一致的相鄰區(qū)域兩兩合并。

根據(jù)本公開的另一個方面的實施例，提供了一種場景分割設(shè)備，包括： 獲取部件，配置為獲取所述場景的當(dāng)前幀圖像，并檢測該當(dāng)前幀圖像中的特征點；分區(qū)部件，配置為對當(dāng)前幀圖像中的所有特征點進行劃分，以將運動狀態(tài)一致的特征點劃分到同一個區(qū)域中；分裂部件，配置為對每個劃分得到的區(qū)域中的特征點的點集執(zhí)行隨機抽樣一致性算法，并基于至少是最強假設(shè)的結(jié)果對該區(qū)域進行分裂處理；以及合并部件，配置為對于經(jīng)過分裂處理后得到的各個區(qū)域，將其中運動狀態(tài)一致的相鄰區(qū)域兩兩合并。

根據(jù)本公開的另一個方面的實施例，提供了一種場景分割設(shè)備，包括：處理器；存儲器；和存儲在所述存儲器中的計算機程序指令。所述計算機程序指令在被所述處理器運行時執(zhí)行以下步驟：獲取所述場景的當(dāng)前幀圖像，并檢測該當(dāng)前幀圖像中的特征點；對當(dāng)前幀圖像中的所有特征點進行劃分，以將運動狀態(tài)一致的特征點劃分到同一個區(qū)域中；對每個劃分得到的區(qū)域中的特征點的點集執(zhí)行隨機抽樣一致性算法，并基于至少是最強假設(shè)的結(jié)果對該區(qū)域進行分裂處理；以及對于經(jīng)過分裂處理后得到的各個區(qū)域，將其中運動狀態(tài)一致的相鄰區(qū)域兩兩合并。

上述場景分割方法和設(shè)備能夠根據(jù)物體的運動狀態(tài)對場景進行分割，從而將復(fù)雜場景中具有相同運動狀態(tài)的物體劃分到同一個區(qū)域中，由此使得可以通過對各個區(qū)域分別進行跟蹤和分析而實現(xiàn)對整個復(fù)雜區(qū)域中所有物體的準(zhǔn)確的跟蹤和分析。

附圖說明

通過結(jié)合附圖對本公開實施例進行更詳細(xì)的描述，本公開的上述以及其它目的、特征和優(yōu)勢將變得更加明顯。附圖用來提供對本公開實施例的進一步理解，并且構(gòu)成說明書的一部分，與本公開實施例一起用于解釋本公開，并不構(gòu)成對本公開的限制。在附圖中，相同的參考標(biāo)號通常代表相同部件或步驟。

圖1示出了具有復(fù)雜場景的交通環(huán)境的示例性示意圖。

圖2示出了根據(jù)本公開實施例的場景分割方法的流程圖。

圖3示出了當(dāng)前幀圖像是場景的圖像幀序列中除第一幀以外的圖像幀時對當(dāng)前幀圖像中的所有特征點進行劃分處理的示意性流程圖。

圖4例示了根據(jù)本發(fā)明實施例的場景分割方法中將運動狀態(tài)一致的相鄰區(qū)域兩兩合并的處理的流程圖。

圖5例示了經(jīng)過分裂處理后區(qū)域分割狀況的一個示例情形。

圖6示出了根據(jù)本公開實施例的場景分割設(shè)備的功能配置框圖。

圖7示出了用于實現(xiàn)根據(jù)本公開實施例的示例性場景分割設(shè)備的計算設(shè)備的框圖。

具體實施方式

下面將結(jié)合本公開實施例中的附圖，對本公開實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本公開一部分實施例，而不是全部的實施例?；诒竟_中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本公開保護的范圍。

如前所述，復(fù)雜場景中往往包含多個運動狀態(tài)彼此不同的物體，因此如果將該復(fù)雜場景作為一個整體采用傳統(tǒng)的ransac算法來進行運動參數(shù)估計，則得到的結(jié)果并不能反映各個物體的實際運動狀態(tài)，因此可能是無意義的。在本公開中，根據(jù)物體的運動狀態(tài)對場景進行分割，以將復(fù)雜場景中具有相同運動狀態(tài)的物體劃分到同一個區(qū)域中。由于同一個區(qū)域中的物體具有相同的運動狀態(tài)，由此以區(qū)域為單位分別進行跟蹤和分析能夠較為準(zhǔn)確的反映出各個物體的實際運動狀態(tài)。

下面參考圖2對根據(jù)本公開實施例的場景分割方法進行描述。圖2示出了根據(jù)本公開實施例的場景分割方法的流程圖。

如圖2所示，在步驟s210，獲取所述場景的當(dāng)前幀圖像，并檢測該當(dāng)前幀圖像中的特征點。

所述場景的當(dāng)前幀圖像可以是從外部輸入的，也可以是通過拍攝得到的，或者通過其他手段得到的。特征點又稱興趣點、關(guān)鍵點，它是在圖像中突出且具有代表意義的一些點，通過這些點可以用來識別圖像、進行圖像配準(zhǔn)、進行3d重建等。在該步驟中，可以采用諸如局部二值模式(lbp)特征、梯度特征、harris特征、haar特征檢測方法等任何適當(dāng)?shù)膱D像特征檢測方法來檢測當(dāng)前幀圖像中的特征點。

在步驟s220，對當(dāng)前幀圖像中的所有特征點進行劃分，以將運動狀態(tài)一致的特征點劃分到同一個區(qū)域中。

眾所周知，運動狀態(tài)是指物體進行機械運動時相對某個參考系的運動速度的狀態(tài)。通常認(rèn)為運動狀態(tài)的內(nèi)容包括：靜止還是運動，以及運動物體的 運動速度和運動方向。該步驟中將運動狀態(tài)一致的特征點劃分到同一個區(qū)域中。

作為一個示例，在當(dāng)前幀圖像是所述場景的圖像幀序列中的第一幀時，可以根據(jù)該場景的先驗知識對當(dāng)前幀圖像中的所有特征點進行劃分。所述先驗知識例如場景的頂部是天空、底部是車道線、上部兩側(cè)是背景等信息，此處可以基于該先驗知識對特征點進行劃分，以將運動狀態(tài)一致的特征點劃分到同一個區(qū)域中。例如，根據(jù)先驗知識獲知場景的底部是車道，由于屬于車道線的特征點具有相同的運動狀態(tài)(靜止)，因此可以基于該先驗知識將底部的特征點劃分到同一個區(qū)域。

作為另一個示例，在當(dāng)前幀圖像是所述場景的圖像幀序列中的第一幀時，也可以簡單地將整個圖像均勻劃分為相同大小的圖像區(qū)域，各個特征點相應(yīng)地屬于它們所在的區(qū)域。例如，假定所述場景的圖像幀的大小為w×h，給定兩個預(yù)定義的常數(shù)m和n，則整個圖像被均分為m×n個同樣大小的矩形區(qū)域，其中每個區(qū)域的大小為(w/m)×(h/n)。當(dāng)然，相對于根據(jù)場景的先驗知識對圖像中的所有特征點進行劃分，按照該示例進行特征點劃分可能不能很好地將運動狀態(tài)一致的特征點劃分到同一個區(qū)域中。

在當(dāng)前幀圖像是所述場景的圖像幀序列中除第一幀以外的圖像幀時，可以基于前一幀的劃分結(jié)果對當(dāng)前幀圖像中的所有特征點進行劃分。作為非限制性的示例，圖3示出了在當(dāng)前幀圖像是場景的圖像幀序列中除第一幀以外的圖像幀時對當(dāng)前幀圖像中的所有特征點進行劃分處理的示意性流程圖。下面將結(jié)合圖3進行詳細(xì)的描述。

如圖3所示，在步驟s2201，確定前一幀圖像中檢測到的各個特征點與當(dāng)前幀圖像中的各個特征點之間的對應(yīng)關(guān)系。

可以通過諸如klt跟蹤、特征匹配等各種已有的方法來確定前一幀圖像中檢測到的各個特征點與當(dāng)前幀圖像中的各個特征點之間的對應(yīng)關(guān)系，此處不再詳述。

在步驟s2202，對于當(dāng)前幀圖像中的每個特征點，判斷其在前一幀圖像是否有對應(yīng)的特征點；如果當(dāng)前幀圖像中的任一特征點i在前一幀圖像有對應(yīng)的特征點i’，則前進到步驟s2203，如果沒有，則轉(zhuǎn)到步驟s2204。

在步驟s2203，將特征點i劃分到當(dāng)前幀圖像中、與特征點i’在前一幀圖像的場景分割結(jié)果中所屬于的區(qū)域?qū)?yīng)的區(qū)域。

舉例來說，如果當(dāng)前幀圖像中的特征點i在前一幀圖像中的對應(yīng)特征點i’在最終的場景分割結(jié)果中被劃分到區(qū)域s(i’)，那么在當(dāng)前幀圖像中，該特征點i劃分到與該區(qū)域s(i’)對應(yīng)的區(qū)域s(i)。

在步驟s2204，確定當(dāng)前幀圖像中距離該特征點i最近的、在前一幀圖像中有對應(yīng)的特征點j’的特征點j，并將該特征點i劃分到與特征點j相同的區(qū)域。

舉例來說，如果當(dāng)前幀圖像中的特征點j在前一幀圖像中的對應(yīng)特征點j’在最終的場景分割結(jié)果中被劃分到區(qū)域s(j’)，那么在當(dāng)前幀圖像中，該特征點i和特征點j將被劃分到同一個區(qū)域，即劃分到與該區(qū)域s(j’)對應(yīng)的區(qū)域s(j)。

回到圖2，在步驟s230，對每個劃分得到的區(qū)域中的特征點的點集執(zhí)行隨機抽樣一致性算法，并基于至少是最強假設(shè)的結(jié)果對該區(qū)域進行分裂處理。

上述步驟s220中的處理可能不能很準(zhǔn)確地將運動狀態(tài)一致的特征點劃分到同一個區(qū)域中。在該步驟中將通過區(qū)域分裂更為準(zhǔn)確地將運動狀態(tài)一致的特征點劃分到同一個區(qū)域。具體的，在該步驟中，若某個劃分得到的區(qū)域中的特征點的運動狀態(tài)不一致，則將該區(qū)域分裂為一個或多個區(qū)域，并將具有不同運動狀態(tài)的特征點相應(yīng)地劃分到不同的區(qū)域中。下面將對該步驟的處理進行詳細(xì)的描述。

隨機抽樣一致性(ransac)算法是一種常用的運動參數(shù)估計方法，此處僅僅是為了有助于理解本公開，對ransac算法簡單描述如下。ransac是從一個觀察數(shù)據(jù)集合中估計模型參數(shù)(模型擬合)的迭代方法，其是一種隨機的不確定算法，每次運算求出的結(jié)果可能不相同，但總能給出一個合理的結(jié)果，為了提高概率可以提高迭代次數(shù)。ransac的基本假設(shè)是：數(shù)據(jù)由“內(nèi)點(inlier)”組成，例如：數(shù)據(jù)的分布可以用一些模型參數(shù)來解釋；“外點(outlier)”是不能適應(yīng)該模型的數(shù)據(jù)；除此之外的數(shù)據(jù)屬于噪聲。具體的，ransac通過反復(fù)選擇數(shù)據(jù)中的一組隨機子集來達成目標(biāo)。被選取的子集被假設(shè)為內(nèi)點，并用下述方法進行驗證：步驟1.有一個模型適應(yīng)于假設(shè)的內(nèi)點，即所有的未知參數(shù)都能從假設(shè)的內(nèi)點計算得出；步驟2.用步驟1中得到的模型去測試所有的其它數(shù)據(jù)，如果某個點適用于估計的模型，認(rèn)為它也是內(nèi)點；步驟3.如果有足夠多的點被歸類為假設(shè)的內(nèi)點，那么估計的模型就足夠合理；步驟4.然后，用所有假設(shè)的內(nèi)點去重新估計模型，因為它僅僅被初始的假設(shè) 內(nèi)點估計過；步驟5.最后，通過估計內(nèi)點與模型的錯誤率來評估模型。其中，模型所具有的內(nèi)點的數(shù)量越多，則該模型對應(yīng)的假設(shè)越強，并且具有數(shù)量最多的內(nèi)點的模型對應(yīng)于最強假設(shè)。

在該步驟s230中，可以采用各種適當(dāng)?shù)姆绞交趫?zhí)行隨機抽樣一致性算法的結(jié)果對各個區(qū)域進行分裂處理。

例如，作為一個示例，可以只考慮最強假設(shè)的結(jié)果對各個區(qū)域進行分裂處理。具體的，對于經(jīng)過步驟s220劃分得到的每個區(qū)域，對該區(qū)域中的特征點的點集執(zhí)行隨機抽樣一致性算法，并計算最強假設(shè)中內(nèi)點數(shù)與該區(qū)域中特征點總數(shù)的比率。如果該比率低于第一閾值，則說明符合最強假設(shè)的特征點的數(shù)量不夠多，也就是說不存在使得點集中的足夠多的特征點都符合的一個理想模型。此時可以將該區(qū)域分裂為第一區(qū)域和第二區(qū)域，其中該區(qū)域中屬于最強假設(shè)的內(nèi)點的特征點劃分到第一區(qū)域，其他特征點劃分到第二區(qū)域。所述第一閾值是預(yù)先確定的，其可以根據(jù)經(jīng)驗值或根據(jù)具體情況來設(shè)定。

作為另一個示例，可以不僅考慮最強假設(shè)，同時還考慮其后強度逐漸降低的若干個強假設(shè)對各個區(qū)域進行分裂處理。具體的，對于經(jīng)過步驟s220劃分得到的每個區(qū)域，對該區(qū)域(例如區(qū)域a)中的特征點的點集執(zhí)行隨機抽樣一致性算法，并計算各個假設(shè)中內(nèi)點數(shù)與該區(qū)域中特征點總數(shù)的比率。如果最強假設(shè)對應(yīng)的所述比率低于第一閾值，同時除最強假設(shè)外存在n個假設(shè)其各自對應(yīng)的比率均大于第二閾值，則將該劃分得到的區(qū)域a分裂為n+1個區(qū)域，其中n≥1，該n+1個區(qū)域與包括所述最強假設(shè)和n個假設(shè)在內(nèi)的n+1個假設(shè)一一對應(yīng)。所述第二閾值也可以根據(jù)經(jīng)驗值或根據(jù)具體情況預(yù)先設(shè)定。

在上面提到的另一個示例中，各個區(qū)域中的特征點同樣根據(jù)其是哪個假設(shè)的內(nèi)點來進行劃分。具體的，作為一個例子，可以將所述n+1個假設(shè)按照對應(yīng)的比率從大到小的順序進行排序，即對應(yīng)的比率越大則該假設(shè)的排序越靠前。對于區(qū)域a中僅屬于某一假設(shè)的內(nèi)點的特征點，將其劃分到與該某一假設(shè)對應(yīng)的區(qū)域；對于區(qū)域a中屬于多個假設(shè)的內(nèi)點的特征點，將其劃分到與該多個假設(shè)中排序最靠前的假設(shè)對應(yīng)的區(qū)域。例如，假設(shè)區(qū)域a中的特征點i僅是最強假設(shè)的內(nèi)點，則將該特征點i劃分到與最強假設(shè)對應(yīng)的區(qū)域。再比如，假設(shè)區(qū)域a中的特征點j同時是排序在第二位的假設(shè)(第一次強假設(shè))和第三位的假設(shè)(第二次強假設(shè))的內(nèi)點，則將該特征點j劃分到與排序在第二位的假設(shè)對應(yīng)的區(qū)域。除了以上兩種情形外，在某些情況下區(qū)域a中可 能還存在不屬于n+1個假設(shè)中的任何一個假設(shè)的內(nèi)點的特征點，對于該類特征點，可以如下進行劃分處理：

(i)針對所述n+1個假設(shè)中的每一個假設(shè)，確定與該假設(shè)對應(yīng)的一組運動參數(shù)。如前面提到的，按照ransac算法，每個假設(shè)對應(yīng)于一種模型。在該處理中，對于n+1個假設(shè)中的每一個假設(shè)，確定與該假設(shè)對應(yīng)的模型所采用的模型參數(shù)，即一組運動參數(shù)。例如，作為一個示例，所述一組運動參數(shù)可以是物體的旋轉(zhuǎn)和平移參數(shù)(r,t)。

(ii)對于不屬于任一假設(shè)的內(nèi)點的特征點p，根據(jù)在步驟s2201中確定的前一幀圖像中的各個特征點與當(dāng)前幀圖像中的各個特征點之間的對應(yīng)關(guān)系確定該特征點p在前一幀圖像中對應(yīng)的特征點p’，隨后利用在處理(i)中確定的每一組運動參數(shù)，計算出該特征點p’在當(dāng)前幀圖像中的映射點p*，然后計算特征點p與各個映射點p*之間的距離。

(iii)確定處理(ii)中計算得到各個距離中的最小距離所對應(yīng)的一組運動參數(shù)，并將特征點p劃分到與和該組運動參數(shù)對應(yīng)的假設(shè)所對應(yīng)的區(qū)域。

在步驟s240，對于經(jīng)過分裂處理后得到的各個區(qū)域，將其中運動狀態(tài)一致的相鄰區(qū)域兩兩合并。

步驟s230中的處理可能會導(dǎo)致過分裂，在該步驟s240中通過將運動狀態(tài)一致的相鄰區(qū)域兩兩合并，使得運動狀態(tài)一致的特征點被劃分到同一個區(qū)域中。下面將參考圖4對該步驟的處理進行詳細(xì)的描述。圖4例示了根據(jù)本發(fā)明實施例的場景分割方法中的將經(jīng)過分裂處理后得到的各個區(qū)域中運動狀態(tài)一致的相鄰區(qū)域兩兩合并的處理的流程圖。

如圖4所示，在步驟s2401，對于任意兩個相鄰區(qū)域，計算它們各自的特征點的點集的重心之間的距離，并將所述距離小于預(yù)定閾值的兩個相鄰區(qū)域作為一個組合。

在該步驟中，對于經(jīng)過分裂處理后得到的任意兩個相鄰區(qū)域，只要其各自的特征點的點集的重心之間的距離小于預(yù)定閾值，就將這兩個相鄰區(qū)域作為一個組合。此處，某一區(qū)域可能和多個相鄰區(qū)域分別形成組合。

在步驟s2402，對于每一個組合，對其包含的兩個相鄰區(qū)域各自的特征點的點集的并集執(zhí)行隨機抽樣一致性算法，以確定該組合的最強假設(shè)中內(nèi)點數(shù)與并集中的特征點數(shù)的比率。

對于每一個組合，通過在該步驟中對所述并集執(zhí)行隨機抽樣一致性算法 以確定最強假設(shè)中內(nèi)點數(shù)與并集中的特征點總數(shù)的比率，可以確定該并集中(即該組合的兩個相鄰區(qū)域中)運動狀態(tài)一致的特征點的數(shù)量情況。

在步驟s2403，判斷與各個組合對應(yīng)的各個比率中的最高比率是否大于預(yù)定閾值；如果大于預(yù)定閾值，則前進到步驟s2404，如果不大于預(yù)定閾值，則結(jié)束合并處理。

如果最高比率大于預(yù)定閾值，則說明與該最高比率對應(yīng)的組合中的兩個區(qū)域中有大量的特征點的運動狀態(tài)是一致的，因此可以將該組合中的兩個區(qū)域合并。如果最高比率不大于預(yù)定閾值，則說明即使是與該最高比率對應(yīng)的組合中的兩個區(qū)域中也不存在大量運動狀態(tài)一致的特征點，因此與該最高比率對應(yīng)的組合中的兩個區(qū)域不應(yīng)當(dāng)被合并，而其他與更低的比率對應(yīng)的組合中的區(qū)域則更加不應(yīng)當(dāng)被合并，由此合并處理結(jié)束。

在步驟s2404，將與最高比率對應(yīng)的組合中的兩個區(qū)域合并。

在步驟s2405，確定剩余的未合并過的區(qū)域是否為一個以上，如果是一個以上，則對這些剩余的未合并過的區(qū)域重復(fù)執(zhí)行上述步驟s2401-s2404，如果不是一個以上，則合并處理結(jié)束。

在步驟s2404中將某一組合中的兩個區(qū)域合并之后，剩余的未合并過的區(qū)域?qū)p少兩個，在該步驟中確定剩余的未合并過的區(qū)域，并對這些區(qū)域重復(fù)執(zhí)行上述步驟s2401-s2404，直至剩余的未合并過的區(qū)域僅剩余一個，即不存在可以合并的區(qū)域。

為了有助于理解，下面將結(jié)合圖5所示的示例對如圖4所示的相鄰區(qū)域的合并處理進行簡要說明。圖5例示了經(jīng)過分裂處理后區(qū)域分割狀況的一個示例情形。如圖5所示，經(jīng)過分裂處理后得到5個區(qū)域，其中，區(qū)域a與區(qū)域b、c和d相鄰，區(qū)域b和區(qū)域a、c和e相鄰，區(qū)域c和區(qū)域a、b、d和e相鄰，區(qū)域d和區(qū)域a、c、e相鄰，區(qū)域e和區(qū)域b、c、d相鄰。假設(shè)在步驟s2401中經(jīng)過計算確定區(qū)域a和區(qū)域b的特征點的點集的重心之間的距離小于預(yù)定閾值(為了便于表述，以下簡稱為“重心符合要求”)，區(qū)域a和區(qū)域c的重心符合要求，區(qū)域b和區(qū)域e的重心符合要求，區(qū)域c和區(qū)域e的重心符合要求，區(qū)域d和區(qū)域c的重心符合要求，區(qū)域d和區(qū)域e的重心符合要求，則在該步驟得到相鄰區(qū)域的6個組合，即組合(a，b)，(a，c)，(b，e)，(c，e)，(d，c)，(d，e)。隨后，在步驟s2402中，確定這6個組合各自的最強假設(shè)中內(nèi)點數(shù)與并集中的特征點數(shù)的比率，由此得到6 個比率，并且假設(shè)其中組合(a，b)對應(yīng)的比率為80％是這6個比率中的最高比率。假設(shè)預(yù)定閾值為70％，則在步驟s2403中確定組合(a，b)對應(yīng)的最高比率大于預(yù)定閾值，由此處理前進到步驟s2404，并將該組合(a，b)中的兩個區(qū)域a和b合并。至此，圖5中所示的經(jīng)過分裂處理得到5個區(qū)域中剩余3個未合并過的區(qū)域c，d，e，此后對這3個區(qū)域重復(fù)執(zhí)行步驟s2401-2404的處理。具體的，假設(shè)在步驟s2401中經(jīng)過計算確定區(qū)域c和區(qū)域e的重心符合要求，區(qū)域d和區(qū)域c的重心符合要求，區(qū)域d和區(qū)域e的重心符合要求，則在該步驟得到相鄰區(qū)域的3個組合，即組合(c，e)，(d，c)，(d，e)。隨后，在步驟s2402中，確定這3個組合各自的最強假設(shè)中內(nèi)點數(shù)與并集中的特征點數(shù)的比率，由此得到3個比率，并且假設(shè)其中組合(d，e)對應(yīng)的比率為50％是這3個比率中的最高比率。由于在步驟s2403中確定組合(d，e)對應(yīng)的最高比率不大于預(yù)定閾值，由此合并處理結(jié)束。

應(yīng)當(dāng)理解，以上結(jié)合圖4描述的具體處理僅僅是步驟s240中合并處理的一種示例實現(xiàn)方式，而并非是對本發(fā)明的限制。可以采用其他具體的實現(xiàn)方式來進行合并處理。例如，以上描述的步驟s2401并非是必需的，即可以將任意兩個相鄰區(qū)域作為一個組合而不要求其各自的特征點的點集的重心之間的距離小于預(yù)定閾值。再比如，在以上描述的步驟s2404，除了僅將與最高比率對應(yīng)的組合中的兩個區(qū)域合并之外，也可以將其比率大于閾值的所有組合中的兩個區(qū)域都進行合并。

以上已經(jīng)參考附圖描述了根據(jù)本發(fā)明實施例的場景分割方法?？蛇x的，在如上進行了該場景分割方法之后，對于分割得到的每個區(qū)域可以進行隨機抽樣一致性計算，并將與最強假設(shè)對應(yīng)的運動參數(shù)作為該區(qū)域的運動參數(shù)。

根據(jù)本發(fā)明實施例的上述場景分割方法根據(jù)物體的運動狀態(tài)對場景進行分割，從而將復(fù)雜場景中具有相同運動狀態(tài)的物體劃分到同一個區(qū)域中，由此使得可以通過對各個區(qū)域分別進行跟蹤和分析而實現(xiàn)對整個復(fù)雜區(qū)域中所有物體的準(zhǔn)確的跟蹤和分析。

下面參考圖6描述根據(jù)本公開實施例的場景分割設(shè)備600。圖6示出了根據(jù)本公開實施例的場景分割設(shè)備的功能配置框圖。如圖6所示，場景分割設(shè)備600可以包括：獲取部件610，分區(qū)部件620，分裂部件630，以及合并部件640。所述各部件的具體功能和操作與上文中針對圖2-5描述的基本相同，因此為了避免重復(fù)，在下文中僅對所述設(shè)備進行簡要的描述，而省略對相同 細(xì)節(jié)的詳細(xì)描述。

獲取部件610配置為獲取所述場景的當(dāng)前幀圖像，并檢測該當(dāng)前幀圖像中的特征點。所述獲取部件610可以通過各種適當(dāng)?shù)姆绞絹慝@取所述場景的當(dāng)前幀圖像。例如，該獲取部件610可以是攝像單元，以拍攝得到所述場景的當(dāng)前幀圖像，或者該獲取部件610可以是輸入單元，以從外部輸入所述場景的當(dāng)前幀圖像。在獲取所述場景的當(dāng)前幀圖像后，獲取部件610可以采用諸如局部二值模式(lbp)特征、梯度特征、harris特征、haar特征檢測方法等任何適當(dāng)?shù)膱D像特征檢測方法來檢測當(dāng)前幀圖像中的特征點。

分區(qū)部件620配置為對當(dāng)前幀圖像中的所有特征點進行劃分，以將運動狀態(tài)一致的特征點劃分到同一個區(qū)域中。作為一個示例，在當(dāng)前幀圖像是所述場景的圖像幀序列中的第一幀時，分區(qū)部件620可以根據(jù)該場景的先驗知識對當(dāng)前幀圖像中的所有特征點進行劃分。作為另一個示例，在當(dāng)前幀圖像是所述場景的圖像幀序列中的第一幀時，分區(qū)部件620也可以簡單地將整個圖像均勻劃分為相同大小的圖像區(qū)域，各個特征點相應(yīng)地屬于它們所在的區(qū)域。當(dāng)然，相對于根據(jù)場景的先驗知識對圖像中的所有特征點進行劃分，按照該示例進行特征點劃分可能不能很好地將運動狀態(tài)一致的特征點劃分到同一個區(qū)域中。當(dāng)當(dāng)前幀圖像是所述場景的圖像幀序列中除第一幀以外的圖像幀時，分區(qū)部件620可以基于前一幀的劃分結(jié)果對當(dāng)前幀圖像中的所有特征點進行劃分。作為示例，分區(qū)部件620可以如下對當(dāng)前幀圖像中的所有特征點進行劃分：確定前一幀圖像中檢測到的各個特征點與當(dāng)前幀圖像中的各個特征點之間的對應(yīng)關(guān)系；對于當(dāng)前幀圖像中的每個特征點，判斷確定其在前一幀圖像是否有對應(yīng)的特征點；如果當(dāng)前幀圖像中的任一特征點i在前一幀圖像有對應(yīng)的特征點i’，則將特征點i劃分到當(dāng)前幀圖像中、與特征點i’在前一幀圖像的場景分割結(jié)果中所屬于的區(qū)域?qū)?yīng)的區(qū)域，如果該特征點i在前一幀圖像沒有對應(yīng)的特征點i’，則確定當(dāng)前幀圖像中距離該特征點i最近的、在前一幀圖像中有對應(yīng)的特征點j’的特征點j，并將該特征點i劃分到與特征點j相同的區(qū)域。

分裂部件630配置為對每個劃分得到的區(qū)域中的特征點的點集執(zhí)行隨機抽樣一致性算法，并基于至少是最強假設(shè)的結(jié)果對該區(qū)域進行分裂處理。分區(qū)部件620可能不能很準(zhǔn)確地將運動狀態(tài)一致的特征點劃分到同一個區(qū)域中，分裂部件630將通過區(qū)域分裂更準(zhǔn)確地將運動狀態(tài)一致的特征點劃分到 同一個區(qū)域。具體的，若某個劃分得到的區(qū)域中的特征點的運動狀態(tài)不一致，則分裂部件630可將該區(qū)劃分裂為一個或多個區(qū)域，以將具有不同運動狀態(tài)的特征點相應(yīng)地劃分到不同的區(qū)域中。

作為一個示例，可以只考慮最強假設(shè)的結(jié)果對各個區(qū)域進行分裂處理。具體的，對于通過分區(qū)部件620劃分得到的每個區(qū)域，分裂部件630對該區(qū)域中的特征點的點集執(zhí)行隨機抽樣一致性算法，并計算最強假設(shè)中內(nèi)點數(shù)與該區(qū)域中特征點總數(shù)的比率。如果該比率低于第一閾值，則分裂部件630將該區(qū)域分裂為第一區(qū)域和第二區(qū)域，其中該區(qū)域中屬于最強假設(shè)的內(nèi)點的特征點劃分到第一區(qū)域，其他特征點劃分到第二區(qū)域。所述第一閾值是預(yù)先確定的，其可以根據(jù)經(jīng)驗值或根據(jù)具體情況來設(shè)定。

作為另一個示例，可以不僅考慮最強假設(shè)，同時還考慮其后強度逐漸降低的若干個強假設(shè)對各個區(qū)域進行分裂處理。具體的，對于通過分區(qū)部件620劃分得到的每個區(qū)域，分裂部件630對該區(qū)域(例如區(qū)域a)中的特征點的點集執(zhí)行隨機抽樣一致性算法，并計算各個假設(shè)中內(nèi)點數(shù)與該區(qū)域中特征點總數(shù)的比率。如果最強假設(shè)對應(yīng)的所述比率低于第一閾值，同時除最強假設(shè)外存在n個假設(shè)其各自對應(yīng)的比率均大于第二閾值，則將該劃分得到的區(qū)域a分裂為n+1個區(qū)域，其中n≥1，該n+1個區(qū)域與包括所述最強假設(shè)和n個假設(shè)在內(nèi)的n+1個假設(shè)一一對應(yīng)。所述第二閾值也可以根據(jù)經(jīng)驗值或根據(jù)具體情況預(yù)先設(shè)定。在該示例中，各個區(qū)域中的特征點同樣根據(jù)其是哪個假設(shè)的內(nèi)點來進行劃分。具體的，作為一個例子，可以將所述n+1個假設(shè)按照對應(yīng)的比率從大到小的順序進行排序，即對應(yīng)的比率越大則該假設(shè)的排序越靠前。對于區(qū)域a中僅屬于某一假設(shè)的內(nèi)點的特征點，將其劃分到與該某一假設(shè)對應(yīng)的區(qū)域；對于區(qū)域a中屬于多個假設(shè)的內(nèi)點的特征點，將其劃分到與該多個假設(shè)中排序最靠前的假設(shè)對應(yīng)的區(qū)域；對于區(qū)域a中不屬于n+1個假設(shè)中的任何一個假設(shè)的內(nèi)點的特征點，分裂部件630可以如下進行劃分處理：(i)針對所述n+1個假設(shè)中的每一個假設(shè)，確定與該假設(shè)對應(yīng)的一組運動參數(shù)。如前面提到的，按照ransac算法，每個假設(shè)對應(yīng)于一種模型。在該處理中，對于n+1個假設(shè)中的每一個假設(shè)，確定與該假設(shè)對應(yīng)的模型所采用的模型參數(shù)，即一組運動參數(shù)。例如，作為一個示例，所述一組運動參數(shù)可以是物體的旋轉(zhuǎn)和平移參數(shù)(r,t)；(ii)對于不屬于任一假設(shè)的內(nèi)點的特征點p，根據(jù)分區(qū)部件620確定的前一幀圖像中的各個特征點與當(dāng)前幀圖像中的各個特征 點之間的對應(yīng)關(guān)系確定該特征點p在前一幀圖像中對應(yīng)的特征點p’，隨后利用在處理(i)中確定的每一組運動參數(shù)，計算出該特征點p’在當(dāng)前幀圖像中的映射點p*，然后計算特征點p與各個映射點p*之間的距離；(iii)確定處理(ii)中計算得到各個距離中的最小距離所對應(yīng)的一組運動參數(shù)，并將特征點p劃分到與和該組運動參數(shù)對應(yīng)的假設(shè)所對應(yīng)的區(qū)域。

合并部件640配置為對于經(jīng)過分裂處理后得到的各個區(qū)域，將其中運動狀態(tài)一致的相鄰區(qū)域兩兩合并。分裂部件630可能會導(dǎo)致過分裂，合并部件640通過將運動狀態(tài)一致的相鄰區(qū)域兩兩合并，使得運動狀態(tài)一致的特征點被劃分到同一個區(qū)域中。

作為示例，該合并部件640可以包括距離計算部件、隨機抽樣一致性計算部件、判斷部件和合并子部件(圖中未示出)。

距離計算部件配置為對于任意兩個相鄰區(qū)域，計算它們各自的特征點的點集的重心之間的距離，并將所述距離小于預(yù)定閾值的兩個相鄰區(qū)域作為一個組合。此處，某一區(qū)域可能和多個相鄰區(qū)域分別形成組合。隨機抽樣一致性計算部件配置為對于每一個組合，對其包含的兩個相鄰區(qū)域各自的特征點的點集的并集執(zhí)行隨機抽樣一致性算法，以確定該組合的最強假設(shè)中內(nèi)點數(shù)與并集中的特征點數(shù)的比率。判斷部件配置為判斷與各個組合對應(yīng)的各個比率中的最高比率是否大于預(yù)定閾值。合并子部件配置為將與最高比率對應(yīng)的組合中的兩個區(qū)域合并。

應(yīng)當(dāng)理解，以上描述的具體結(jié)構(gòu)僅僅是合并部件640的一種示例結(jié)構(gòu)，而并非是對本發(fā)明的限制。合并部件640可以配置為具有其他可能的具體結(jié)構(gòu)。例如，以上描述的距離計算部件并非是必需的，即可以將任意兩個相鄰區(qū)域作為一個組合而不要求其各自的特征點的點集的重心之間的距離小于預(yù)定閾值。再比如，以上描述的合并子部件除了僅將與最高比率對應(yīng)的組合中的兩個區(qū)域合并之外，也可以將其比率大于閾值的所有組合中的兩個區(qū)域都進行合并。

以上已經(jīng)參考圖6描述了根據(jù)本公開實施例的場景分割設(shè)備600。該場景分割設(shè)備600根據(jù)物體的運動狀態(tài)對場景進行分割，從而將復(fù)雜場景中具有相同運動狀態(tài)的物體劃分到同一個區(qū)域中，由此使得可以通過對各個區(qū)域分別進行跟蹤和分析而實現(xiàn)對整個復(fù)雜區(qū)域中所有物體的準(zhǔn)確的跟蹤和分析。

下面，參照圖7來描述可用于實現(xiàn)本公開實施例的示例性場景分割設(shè)備的計算設(shè)備框圖。

如圖7所示，計算設(shè)備700包括一個或多個處理器702、存儲裝置704、攝像頭706和輸出裝置708，這些組件通過總線系統(tǒng)710和/或其它形式的連接機構(gòu)(未示出)互連。應(yīng)當(dāng)注意，圖7所示的計算設(shè)備700的組件和結(jié)構(gòu)只是示例性的，而非限制性的，根據(jù)需要，計算設(shè)備700也可以具有其他組件和結(jié)構(gòu)。

處理器702可以是中央處理單元(cpu)或者具有數(shù)據(jù)處理能力和/或指令執(zhí)行能力的其它形式的處理單元，并且可以控制計算設(shè)備700中的其它組件以執(zhí)行期望的功能。

存儲裝置704可以包括一個或多個計算機程序產(chǎn)品，所述計算機程序產(chǎn)品可以包括各種形式的計算機可讀存儲介質(zhì)，例如易失性存儲器和/或非易失性存儲器。所述易失性存儲器例如可以包括隨機存取存儲器(ram)和/或高速緩沖存儲器(cache)等。所述非易失性存儲器例如可以包括只讀存儲器(rom)、硬盤、閃存等。在所述計算機可讀存儲介質(zhì)上可以存儲一個或多個計算機程序指令，處理器702可以運行所述程序指令，以實現(xiàn)上文所述的本公開的實施例的功能以及/或者其它期望的功能。在所述計算機可讀存儲介質(zhì)中還可以存儲各種應(yīng)用程序和各種數(shù)據(jù)，例如當(dāng)前幀圖像中的特征點、特征點劃分結(jié)果、前一幀圖像與當(dāng)前幀圖像中的各個特征點之間的對應(yīng)關(guān)系、每個劃分得到的區(qū)域的最強假設(shè)的結(jié)果、各組運動參數(shù)、兩個區(qū)域的重心之間的距離、各個預(yù)定閾值等等。

攝像頭706用于拍攝當(dāng)前幀圖像，并且將所拍攝的當(dāng)前幀圖像存儲在存儲裝置704中以供其它組件使用。

輸出裝置708可以向外部輸出各種信息，例如場景的分割結(jié)果、每個分割的到區(qū)域的運動參數(shù)，并且可以包括顯示器、投影儀、電視等各種顯示設(shè)備。

以上結(jié)合具體實施例描述了本公開的基本原理，但是，需要指出的是，在本公開中提及的優(yōu)點、優(yōu)勢、效果等僅是示例而非限制，不能認(rèn)為這些優(yōu)點、優(yōu)勢、效果等是本公開的各個實施例必須具備的。另外，上述公開的具體細(xì)節(jié)僅是為了示例的作用和便于理解的作用，而非限制，上述細(xì)節(jié)并不限制本公開為必須采用上述具體的細(xì)節(jié)來實現(xiàn)。

本公開中涉及的器件、裝置、設(shè)備、系統(tǒng)的方框圖僅作為例示性的例子并且不意圖要求或暗示必須按照方框圖示出的方式進行連接、布置、配置。如本領(lǐng)域技術(shù)人員將認(rèn)識到的，可以按任意方式連接、布置、配置這些器件、裝置、設(shè)備、系統(tǒng)。諸如“包括”、“包含”、“具有”等等的詞語是開放性詞匯，指“包括但不限于”，且可與其互換使用。這里所使用的詞匯“或”和“和”指詞匯“和/或”，且可與其互換使用，除非上下文明確指示不是如此。這里所使用的詞匯“諸如”指詞組“諸如但不限于”，且可與其互換使用。

本公開中的步驟流程圖以及以上方法描述僅作為例示性的例子并且不意圖要求或暗示必須按照給出的順序進行各個實施例的步驟，某些步驟可以并行、彼此獨立或按照其他適當(dāng)?shù)捻樞驁?zhí)行。另外，諸如“其后”、“然后”、“接下來”等等的詞語不意圖限制步驟的順序；這些詞語僅用于引導(dǎo)讀者通讀這些方法的描述。

還需要指出的是，在本公開的裝置和方法中，各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應(yīng)視為本公開的等效方案。

提供所公開的方面的以上描述以使本領(lǐng)域的任何技術(shù)人員能夠做出或者使用本公開。對這些方面的各種修改對于本領(lǐng)域技術(shù)人員而言是非常顯而易見的，并且在此定義的一般原理可以應(yīng)用于其他方面而不脫離本公開的范圍。因此，本公開不意圖被限制到在此示出的方面，而是按照與在此公開的原理和新穎的特征一致的最寬范圍。盡管以上已經(jīng)討論了多個示例方面和實施例，但是本領(lǐng)域技術(shù)人員將認(rèn)識到其某些變型、修改、改變、添加和子組合。