跟蹤對象的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及跟蹤對象的方法和裝置，更具體地，本發(fā)明涉及利用關(guān)于對象的三維模型來確定進行對象跟蹤的方法和裝置。
【背景技術(shù)】
[0002]視頻圖像中的特定對象的跟蹤在很多領(lǐng)域具有重要的意義。根據(jù)跟蹤結(jié)果，可獲得特定對象的行為特征。例如近年來，駕駛輔助系統(tǒng)的應(yīng)用日漸普及。這樣的駕駛輔助系統(tǒng)通常在車輛上安裝有攝像設(shè)備，以便拍攝關(guān)于前方道路的圖像，并通過分析所拍攝的圖像來進行例如對象識別、跟蹤前方車輛等處理，從而給出有助于駕駛員駕駛的信息。
[0003]傳統(tǒng)的視頻對象跟蹤方法利用二維圖像特征來表征對象，在視頻圖像的不同幀之間進行特征匹配，從而實現(xiàn)跟蹤。然而對象的三維特征在映射到二維圖像特征時丟失了大量有用的信息。例如在對象發(fā)生旋轉(zhuǎn)(即，對象的朝向發(fā)生改變)時，對象的二維圖像特征發(fā)生較大的改變，從而影響特征匹配的結(jié)果和最終對象跟蹤的性能。

【發(fā)明內(nèi)容】

[0004]本發(fā)明實施例的目的在于提供一種跟蹤對象的方法和裝置，以解決上述問題。
[0005]本發(fā)明的一個實施例提供了一種追蹤跟蹤對象的方法，包括:從視頻圖像獲得對象的三維結(jié)構(gòu)特征和平面圖像特征；根據(jù)三維結(jié)構(gòu)特征生成對象的三維空間模型；根據(jù)平面圖像特征和所構(gòu)建的三維空間模型生成對象的增強三維模型；以及根據(jù)所生成的增強三維模型進行對象跟蹤。
[0006]本發(fā)明的另一實施例提供了一種追蹤跟蹤對象的裝置，包括:特征獲取單元，配置來從視頻圖像獲得對象的三維結(jié)構(gòu)特征和平面圖像特征；空間模型構(gòu)建單元，配置來根據(jù)三維結(jié)構(gòu)特征生成對象的三維空間模型；增強模型生成單元，配置來根據(jù)平面圖像特征和所構(gòu)建的三維空間模型生成對象的增強三維模型；以及對象跟蹤單元，配置來根據(jù)所生成的增強三維模型進行對象跟蹤。
[0007]在根據(jù)本發(fā)明實施例提供的跟蹤對象的方法和裝置中，從采集的視頻圖像獲得的對象的三維結(jié)構(gòu)特征和平面圖像特征兩者來生成對象的增強三維模型，使得通過所生成的增強三維模型能夠更加魯棒并且有效地實現(xiàn)在視頻圖像中對于對象的跟蹤。
【附圖說明】
[0008]圖1是描述了根據(jù)本發(fā)明一個實施例的跟蹤對象的方法的流程圖。
[0009]圖2a是示出了根據(jù)本發(fā)明的一個示例根據(jù)深度信息獲得的特征點的示意圖。
[0010]圖2b是示出了根據(jù)本發(fā)明的一個示例根據(jù)多個特征點同時提取對象在三維空間中的特征線和特征面的示意圖。
[0011]圖3a是示出了根據(jù)本發(fā)明的示例獲得的一個平面圖像特征的示意圖。
[0012]圖3b是示出了根據(jù)本發(fā)明的示例獲得的另一平面圖像特征的示意圖。
[0013]圖4是描述了根據(jù)本發(fā)明一個示例的根據(jù)所生成的增強三維模型進行對象跟蹤的方法的流程圖。
[0014]圖5是示出了所采集的視頻圖像的圖像幀的一個示例的說明圖。
[0015]圖6是示出了根據(jù)本發(fā)明的一個實施例的跟蹤對象的裝置的示范性結(jié)構(gòu)框圖。
[0016]圖7是示出根據(jù)本發(fā)明的一個示例的特征獲取單元的示范性結(jié)構(gòu)框圖。
[0017]圖8是示出了根據(jù)本發(fā)明的一個示例的對象跟蹤單元的示范性結(jié)構(gòu)框圖。
[0018]圖9是示出了根據(jù)本發(fā)明的一個示例的預(yù)測特征選擇模塊的示范性結(jié)構(gòu)框圖。
[0019]圖10是示出按照本發(fā)明實施例的跟蹤對象的硬件系統(tǒng)的總體硬件框圖。
【具體實施方式】
[0020]為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，將參考附圖詳細描述本發(fā)明的優(yōu)選實施例。注意，在本說明書和附圖中，具有基本上相同步驟和元素用相同的附圖標記來表示，且對這些步驟和元素的重復(fù)解釋將被省略。
[0021]圖1是描述了根據(jù)本發(fā)明一個實施例的跟蹤對象的方法100的流程圖。下面，將參照圖1來描述根據(jù)本發(fā)明實施例的跟蹤對象的方法。在根據(jù)本發(fā)明的實施例中，視頻圖像為立體相機所采集的三維視頻圖像，并且立體相機的具體形式包括但不限于雙目相機。此夕卜，在根據(jù)本發(fā)明的實施例中，視頻圖像中的對象包括在視頻圖像的場景中出現(xiàn)的機動車、自行車、行人、動物等活動或行進的對象。
[0022]如圖1所示，在步驟S101中，從視頻圖像獲得對象的三維結(jié)構(gòu)特征和平面圖像特征。根據(jù)本發(fā)明的一個示例，在步驟S101中，可從視頻圖像獲得例如視差值之類的深度信息，并且從深度信息獲得對象的三維結(jié)構(gòu)特征。例如，三維結(jié)構(gòu)特征可包括對象的特征點、特征線、特征面和/或特征體。
[0023]根據(jù)本發(fā)明的一個示例，可以依次獲得特征點、特征線、特征面和特征體。具體地，根據(jù)深度信息獲得在三維空間中位于對象各個表面上的多個點(即，對象的三維點云數(shù)據(jù))作為特征點。然后，可從所獲得的多個特征點提取在三維空間中物體的各個表面之間的邊界線作為特征線。在提取了多條特征線的情況下，可根據(jù)所確定的特征線在三維空間中構(gòu)建代表對象的表面特征面，并且可根據(jù)所構(gòu)建的特征面進一步在三維空間中構(gòu)建代表對象的形狀的特征體。
[0024]然而，本發(fā)明不限于此。根據(jù)本發(fā)明另一示例，在根據(jù)深度信息獲得的特征點足夠多的情況下，可從所獲得的多個特征點同時提取對象在三維空間中的特征線、特征面和特征體。圖2a是示出了根據(jù)本發(fā)明的一個示例根據(jù)深度信息獲得的特征點的示意圖。圖2b是示出了根據(jù)本發(fā)明的一個示例根據(jù)多個特征點同時提取對象在三維空間中的特征線和特征面的示意圖。如圖2a所示，對象表面上的大量特征點構(gòu)成虛線框210中的不是黑色的區(qū)域。并且如圖2b所示，從圖2a所示的特征點，提取對象在三維空間中的特征線221-227以及特征面231。此外，還可根據(jù)深度信息同時提取對象的特征點、特征線、特征面和特征體。
[0025]根據(jù)本發(fā)明的又一示例，可從視頻圖像獲得在特定朝向下對象呈現(xiàn)的表面的紋理和/或整體的輪廓作為平面圖像特征。圖3a是示出了根據(jù)本發(fā)明的示例獲得的一個平面圖像特征的示意圖。圖3b是示出了根據(jù)本發(fā)明的示例獲得的另一平面圖像特征的示意圖。在圖3a和圖3b所示的示例中，拍攝視頻圖像的立體相機位于對象300的正前方。在此情況下，如圖3a所示，在根據(jù)所拍攝的視頻圖像獲得的對象300的正視圖中，可將對象300所呈現(xiàn)的表面310的紋理作為一個平面圖像特征，例如表面310的紋理可包括汽車格柵311在表面310上的設(shè)置位置和形狀，車燈321a和車燈321b在表面310上的設(shè)置位置和形狀等。此外，可將如圖3b所示，可將對象300在正視圖中呈現(xiàn)的整體的輪廓330作為另一個平面圖像特征。此外，根據(jù)本發(fā)明示例的平面圖像特征不限于此，例如，當位于對象的正后方時，在根據(jù)所拍攝的視頻圖像獲得的對象的后視圖中，可將對象所呈現(xiàn)的表面的紋理和/或整體的輪廓作為平面圖像特征；以及當位于對象的旁邊時，在根據(jù)所拍攝的視頻圖像獲得的對象的側(cè)視圖中，可將對象所呈現(xiàn)的表面的紋理和/或整體的輪廓作為平面圖像特征。
[0026]返回圖1，在步驟S102中，可在根據(jù)所述三維結(jié)構(gòu)特征生成對象的三維空間模型。例如，可結(jié)合對象的特征點、特征線、特征面和/或特征體中的至少一部分生成對象的三維空間模型。
[0027]然后，在步驟S103中，可根據(jù)平面圖像特征和所構(gòu)建的三維空間模型生成對象的增強三維模型。并且在步驟S104中，可根據(jù)所生成的增強三維模型進行對象跟蹤。以下將結(jié)合圖4描述根據(jù)所生成的增強三維模型進行對象跟蹤的一個示例。
[0028]圖4是描述了根據(jù)本發(fā)明一個示例的根據(jù)所生成的增強三維模型進行對象跟蹤的方法400的流程圖。如圖4所示，在步驟S401中，根據(jù)先前對于對象的跟蹤結(jié)果，預(yù)測對象在視頻圖像的下一幀中將呈現(xiàn)的朝向。例如，可采用卡爾