一種基于三維結(jié)構(gòu)坐標(biāo)約束的運(yùn)動目標(biāo)檢測方法
【專利摘要】本發(fā)明提出一種基于三維結(jié)構(gòu)坐標(biāo)約束的運(yùn)動目標(biāo)檢測方法。首先對相鄰三幀圖像中的匹配點(diǎn)，通過極線約束的方法區(qū)分出滿足極線約束的匹配點(diǎn)和不滿足極線約束的匹配點(diǎn)；然后針對滿足極線約束的匹配點(diǎn)，利用Plane&Parallax方法計算出匹配點(diǎn)的三維結(jié)構(gòu)坐標(biāo)，使用三維結(jié)構(gòu)坐標(biāo)約束方法區(qū)分出滿足結(jié)構(gòu)坐標(biāo)約束的匹配點(diǎn)和不滿足結(jié)構(gòu)坐標(biāo)約束的匹配點(diǎn)；最后將不滿足極線約束的匹配點(diǎn)和不滿足結(jié)構(gòu)坐標(biāo)約束的匹配點(diǎn)合并獲得運(yùn)動目標(biāo)。本發(fā)明解決了強(qiáng)視差情況下檢測結(jié)果虛警率高的問題，同時對兩視圖下的運(yùn)動退化情況也有所改善。
【專利說明】一種基于三維結(jié)構(gòu)坐標(biāo)約束的運(yùn)動目標(biāo)檢測方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像探測與處理領(lǐng)域，具體涉及一種基于三維結(jié)構(gòu)坐標(biāo)約束的運(yùn)動目標(biāo)檢測方法。

【背景技術(shù)】
[0002]如何在移動平臺下進(jìn)行有效的運(yùn)動目標(biāo)檢測是機(jī)器視覺與智能監(jiān)控中的一個關(guān)鍵問題。移動平臺下，運(yùn)動目標(biāo)和背景在圖像中均存在運(yùn)動，解決這類問題的傳統(tǒng)方法主要分為兩種，一種方法是將視頻圖像中存在的視差忽略，認(rèn)為相鄰兩幀圖像滿足簡單的單應(yīng)矩陣變換或仿射變換，利用單應(yīng)矩陣來估計兩幅圖像中背景的全局運(yùn)動；另一種方法則是分析相機(jī)的內(nèi)外部參數(shù)，利用幾何建模的方法來推算出圖像中的光流場，尋找背景點(diǎn)滿足的光流場約束關(guān)系。然而，這兩種方法只能適用于圖像視差不顯著的情況，例如航拍視頻或相機(jī)焦距較短的場合，而針對視頻圖像中存在較大視差情況下(例如公共場合近距離監(jiān)控等)的運(yùn)動目標(biāo)檢測卻無能為力，往往容易將視差較大的背景點(diǎn)亦判作運(yùn)動目標(biāo)，形成虛
m
目O
[0003]Yan Zhang等人論證了在純平移情況下，背景光流將會匯聚到圖像中的某一點(diǎn)，即F0E,從而檢測出運(yùn)動目標(biāo)；Amnon Shashua提出了相機(jī)成像中的類仿射結(jié)構(gòu)，提出了著名的Plane&Parallax方法。然而這兩種方法均以兩視圖幾何為根基，離不開基礎(chǔ)矩陣(Fundamental Matrix),而針對于兩視圖幾何下的運(yùn)動退化情況則無能為力，即當(dāng)目標(biāo)與相機(jī)移動方向一致時，上述方法將無法檢測出運(yùn)動目標(biāo)，從而出現(xiàn)漏檢情況，虛警率高。
[0004]文獻(xiàn) Moving Object Localizat1n in Thermal Imagery by Forward-backwardMHI中提出的圖像補(bǔ)償方法，通過魯棒性地估計相鄰幀圖像之間滿足的單應(yīng)矩陣，一定程度上消除了因相機(jī)運(yùn)動引起的圖像背景的全局運(yùn)動，但卻無法消除圖像中存在的視差，從而將圖像中視差較大的背景點(diǎn)亦當(dāng)做運(yùn)動目標(biāo)，任然存在虛警率高的問題。


【發(fā)明內(nèi)容】

[0005]本發(fā)明提出一種基于三維結(jié)構(gòu)坐標(biāo)約束的運(yùn)動目標(biāo)檢測方法，解決了強(qiáng)視差情況下檢測結(jié)果虛警率高的問題，同時對兩視圖下的運(yùn)動退化情況也有所改善。
[0006]為了解決上述技術(shù)問題，本發(fā)明提供一種基于三維結(jié)構(gòu)坐標(biāo)約束的運(yùn)動目標(biāo)檢測方法，首先對相鄰三幀圖像中的匹配點(diǎn)，通過極線約束的方法區(qū)分出滿足極線約束的匹配點(diǎn)和不滿足極線約束的匹配點(diǎn)；然后針對滿足極線約束的匹配點(diǎn)，利用Plane&Parallax方法計算出匹配點(diǎn)的三維結(jié)構(gòu)坐標(biāo)，使用三維結(jié)構(gòu)坐標(biāo)約束方法區(qū)分出滿足結(jié)構(gòu)坐標(biāo)約束的匹配點(diǎn)和不滿足結(jié)構(gòu)坐標(biāo)約束的匹配點(diǎn)；最后將不滿足極線約束的匹配點(diǎn)和不滿足結(jié)構(gòu)坐標(biāo)約束的匹配點(diǎn)合并獲得運(yùn)動目標(biāo)。
[0007]本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點(diǎn)在于:(1)該方法以視頻圖像中相鄰三幀圖像作為分析對象，為運(yùn)動目標(biāo)檢測提供了更多約束條件，從而其退化條件極為苛刻，有效提高了運(yùn)動目標(biāo)檢測的檢測率。(2)該方法利用三維空間點(diǎn)的結(jié)構(gòu)坐標(biāo)約束關(guān)系，考慮了三維空間點(diǎn)的深度信息，從而適用于圖像中存在強(qiáng)視差的情況，能夠有效對運(yùn)動目標(biāo)、強(qiáng)視差背景點(diǎn)和一般背景點(diǎn)進(jìn)行有效分類，從而大大降低虛警率。

【專利附圖】

【附圖說明】
[0008]圖1是本發(fā)明方法的原理框圖。
[0009]圖2是本發(fā)明中使用的Plane&Parallax方法原理圖。
[0010]圖3是本發(fā)明仿真實驗中使用的待處理的視頻圖像序列的相鄰三幀圖像，其中，(a)是前一幀圖像，(b)是中間幀圖像，(C)是后一幀圖像。
[0011]圖4是本發(fā)明仿真實驗中使用現(xiàn)有方法獲得的檢測結(jié)果。
[0012]圖5是本發(fā)明仿真實驗中使用本發(fā)明方法獲得的檢測結(jié)果。

【具體實施方式】
[0013]本發(fā)明通過尋找視頻圖像中大量匹配點(diǎn)魯棒性地估算背景點(diǎn)所滿足的多視角幾何約束關(guān)系，從而對所有的匹配點(diǎn)進(jìn)行分類，找出不滿足背景約束的匹配點(diǎn)作為運(yùn)動目標(biāo)。
[0014]具體如圖1所示，本發(fā)明以視頻圖像中相鄰三幀圖像作為分析對象，
[0015]首先通過極線約束的方法對相鄰三幀圖像中的匹配點(diǎn)進(jìn)行一次分類檢測，區(qū)分出滿足極線約束的匹配點(diǎn)和不滿足極線約束的匹配點(diǎn)，將滿足極線約束的匹配點(diǎn)歸為一類，將不滿足極線約束的匹配點(diǎn)歸為另一類，其中不滿足極線約束的匹配點(diǎn)就是一次分類檢測后獲得的運(yùn)動目標(biāo)；
[0016]然后，針對滿足極線約束的匹配點(diǎn)，利用Plane&Parallax (主平面+視差)方法計算出匹配點(diǎn)的三維結(jié)構(gòu)坐標(biāo)，使用三維結(jié)構(gòu)坐標(biāo)約束對滿足極線約束的匹配點(diǎn)進(jìn)行二次分類檢測，區(qū)分出滿足結(jié)構(gòu)坐標(biāo)約束的匹配點(diǎn)和不滿足結(jié)構(gòu)坐標(biāo)約束的匹配點(diǎn)，其中不滿足結(jié)構(gòu)坐標(biāo)約束的匹配點(diǎn)就是二次分類檢測后獲得的運(yùn)動目標(biāo)；
[0017]最后，將兩次分類檢測獲得的運(yùn)動目標(biāo)合并即獲得最終檢測到的運(yùn)動目標(biāo)。
[0018]前述Plane&Parallax (主平面+視差)方法可以參見參見文獻(xiàn)Relative AffineStructure:Canonical Model for3D From2D Geometry and Applicat1ns。
[0019]本發(fā)明中，所述通過極線約束的方法對相鄰三幀圖像中的匹配點(diǎn)進(jìn)行一次分類檢測的過程為:
[0020]步驟101、求取相鄰三幀圖像中的匹配點(diǎn)對。相鄰鄰三幀圖像分別為前一幀圖像、中間幀圖像和后一幀圖像。先檢測中間幀圖像的特征點(diǎn)(例如Harris特征點(diǎn)等)，然后利用KLT點(diǎn)跟蹤的方法(參見文獻(xiàn)Good Features to Track)跟蹤獲得中間巾貞圖像的特征點(diǎn)分別在前后兩幀圖像中的兩組匹配點(diǎn)，取兩組匹配點(diǎn)的交集作為相鄰三幀圖像的匹配點(diǎn)。
[0021]步驟102、估計前一巾貞圖像與中間巾貞圖像之間的基礎(chǔ)矩陣(Fundamental Matrix)F12，求得每一匹配點(diǎn)的基礎(chǔ)矩陣殘差屯，每一匹配點(diǎn)的基礎(chǔ)矩陣殘差Cli如公式(I)所示，
[0022](Ii = xf FuXi(3)
[0023]公式⑴中，Xi和V i分別表示在前一幀圖像和中間幀圖像中對應(yīng)的第i個特征點(diǎn)，T為轉(zhuǎn)置運(yùn)算符；
[0024]步驟103、判斷公式(2)是否成立，若公式(2)成立，則該特征點(diǎn)滿足極線約束；若公式(2)不成立，則說明該特征點(diǎn)不滿足極線約束，將不滿足極線約束的匹配點(diǎn)的集合記作R1,即一次分類檢測后獲得的運(yùn)動目標(biāo)，
[0025]Cli < α.med {d” d2,...} (4)
[0026]公式⑵中，α為給定系數(shù)閾值,med為取中值函數(shù)。
[0027]本發(fā)明中，所述使用三維結(jié)構(gòu)坐標(biāo)約束對滿足極線約束的匹配點(diǎn)二次分類檢測的過程為:
[0028]步驟201、針對步驟103獲得的滿足極線約束的匹配點(diǎn)，利用Plane&Parallax方法計算出匹配點(diǎn)的三維結(jié)構(gòu)坐標(biāo)。
[0029]Plane&Parallax方法原理如圖2所示。在三維空間中，一空間點(diǎn)X在左右兩相機(jī)焦平面上成像分別為左視圖X和X'，η平面誘導(dǎo)了左視圖到右視圖的一個單應(yīng)變換矩陣H，點(diǎn)X, π為X通過π平面映射到右視圖上的點(diǎn)，即χ, π =Ηχ，根據(jù)幾何關(guān)系可知右極點(diǎn)e'、χ, π和χ'共線，從而V可用公式(3)表示，
[0030]χ' = Hx+ke' (5)
[0031]公式(3)中，k表征X與π平面的偏離程度，即若k越接近于0，則說明X距離π平面越近，因此，k表示三維空間中X的“深度”。
[0032]令s = (xT, k)T, χ為空間點(diǎn)X在左相機(jī)焦平面上的像點(diǎn)，s為點(diǎn)X的結(jié)構(gòu)坐標(biāo)。τ為轉(zhuǎn)置。
[0033]本發(fā)明根據(jù)PI ane&Paral I ax方法,通過前一巾貞圖像和中間巾貞圖像得到空間點(diǎn)X在前一幀圖像和中間幀圖像之間的結(jié)構(gòu)坐標(biāo)S，同理，通過中間幀圖像和后一幀圖像得到X的在中間幀圖像和后一幀圖像之間的結(jié)構(gòu)坐標(biāo)s'，此時，若X是背景點(diǎn)，則s和s'滿足如公式(4)所示的約束關(guān)系，
[0034]s' tGs = O (6)
[0035]式⑷中，G為4X4的矩陣，其秩為2。
[0036]步驟202、計算特征點(diǎn)的殘差ε i，計算方式如公式(5)所示，
[0037]Gs^(7)
[0038]步驟203、判斷公式(6)是否成立，若公式(6)成立，則說明特征點(diǎn)滿足結(jié)構(gòu)坐標(biāo)約束；若公式(6)不成立，則說明特征點(diǎn)不滿足結(jié)構(gòu)坐標(biāo)約束，將不滿足結(jié)構(gòu)坐標(biāo)約束的特征點(diǎn)集合記作R2,即二次分類檢測后獲得的運(yùn)動目標(biāo)，
[0039]ε j < β.med { ε 1； ε 2,...} (8)
[0040]公式(6)中，β為給定系數(shù)閾值，med為取中值函數(shù)。
[0041]步驟四、將兩次分類結(jié)果合并，即將次分類檢測后獲得的運(yùn)動目標(biāo)R1和二次分類檢測后獲得的運(yùn)動目標(biāo)R2合并，從而得到最終的運(yùn)動目標(biāo)檢測結(jié)果R，如公式(7)所示，
[0042]R = R1 U R2 (9)
[0043]本發(fā)明的效果可以通過以下仿真實驗作進(jìn)一步說明:
[0044]圖3是本實驗所用的連續(xù)三幀圖像，其中，(a)為前一幀圖像，(b)為中間幀圖像，(C)為后一幀圖像，在三幀圖像中，坦克模型為運(yùn)動目標(biāo)，書籍、瓶子和紙巾為背景，由于場景距離相機(jī)較近，視頻圖像存在較大的視差。
[0045]圖 4 為米用文獻(xiàn) Moving Object Localizat1n in Thermal Imagery byForward-backward MHI中提出的圖像補(bǔ)償方法,對圖2中連續(xù)三巾貞圖像進(jìn)行處理,檢測出來的目標(biāo)點(diǎn)，圖中每一對圈和十字為檢測出的運(yùn)動目標(biāo)點(diǎn)。從圖中可以看出，由于瓶子距相機(jī)更近，視差原因?qū)е卤尘皼]有得到很好的補(bǔ)償，從而被當(dāng)成運(yùn)動目標(biāo)。
[0046]圖5為采用了本發(fā)明方法對圖2中連續(xù)三幀圖像進(jìn)行處理，檢測出來的目標(biāo)點(diǎn)，圖中每一對圈和十字為檢測出的運(yùn)動目標(biāo)點(diǎn)。從圖中可以看出，目標(biāo)點(diǎn)均在運(yùn)動的坦克上，靜止瓶子上的目標(biāo)點(diǎn)均被濾除，虛警率大大降低。
【權(quán)利要求】
1.一種基于三維結(jié)構(gòu)坐標(biāo)約束的運(yùn)動目標(biāo)檢測方法，其特征在于， 首先，對相鄰三幀圖像中的匹配點(diǎn)，通過極線約束的方法區(qū)分出滿足極線約束的匹配點(diǎn)和不滿足極線約束的匹配點(diǎn)； 然后，針對滿足極線約束的匹配點(diǎn)，利用Plane&Parallax方法計算出匹配點(diǎn)的三維結(jié)構(gòu)坐標(biāo)，使用三維結(jié)構(gòu)坐標(biāo)約束方法區(qū)分出滿足結(jié)構(gòu)坐標(biāo)約束的匹配點(diǎn)和不滿足結(jié)構(gòu)坐標(biāo)約束的匹配點(diǎn)； 最后，將不滿足極線約束的匹配點(diǎn)和不滿足結(jié)構(gòu)坐標(biāo)約束的匹配點(diǎn)合并獲得運(yùn)動目標(biāo)。
2.如權(quán)利要求1所述基于三維結(jié)構(gòu)坐標(biāo)約束的運(yùn)動目標(biāo)檢測方法，其特征在于，所述區(qū)分滿足極線約束的匹配點(diǎn)和不滿足極線約束的匹配點(diǎn)的方法為: 步驟101、求取相鄰三幀圖像中的匹配點(diǎn)對； 步驟102、估計前一幀圖像與中間幀圖像之間的基礎(chǔ)矩陣F12，求得每一匹配點(diǎn)的基礎(chǔ)矩陣殘差屯，每一匹配點(diǎn)的基礎(chǔ)矩陣殘差Cli的計算如公式(I)所示， d =|x；rF12x.1(I) 公式⑴中，Xi和X' i分別表示在前一幀圖像和中間幀圖像中對應(yīng)的第i個特征點(diǎn)，T為轉(zhuǎn)置運(yùn)算符； 步驟103、判斷公式(2)是否成立，若公式(2)成立，則該特征點(diǎn)滿足極線約束；若公式(2)不成立，則該特征點(diǎn)不滿足極線約束，
Cli < α.mecUd” d2,...} (2) 公式(2)中，α為給定系數(shù)閾值,med為取中值函數(shù)。
3.如權(quán)利要求2所述基于三維結(jié)構(gòu)坐標(biāo)約束的運(yùn)動目標(biāo)檢測方法，其特征在于，求取相鄰三幀圖像中的匹配點(diǎn)對的方法為: 先檢測中間幀圖像的Harris特征點(diǎn)，然后利用KLT點(diǎn)跟蹤的方法跟蹤獲得中間幀圖像的特征點(diǎn)分別在前后兩幀圖像中的兩組匹配點(diǎn)，取兩組匹配點(diǎn)的交集作為相鄰三幀圖像的匹配點(diǎn)。
4.如權(quán)利要求2所述基于三維結(jié)構(gòu)坐標(biāo)約束的運(yùn)動目標(biāo)檢測方法，其特征在于，所述匹配點(diǎn)的三維結(jié)構(gòu)坐標(biāo)s = (x\ k)τ，其中，X為空間點(diǎn)在相鄰兩幀圖像中前一幀圖像中的像點(diǎn)。
5.如權(quán)利要求4所述基于三維結(jié)構(gòu)坐標(biāo)約束的運(yùn)動目標(biāo)檢測方法，其特征在于，區(qū)分滿足結(jié)構(gòu)坐標(biāo)約束的匹配點(diǎn)和不滿足結(jié)構(gòu)坐標(biāo)約束的匹配點(diǎn)的方法為: 步驟201、計算特征點(diǎn)的殘差Si，計算方式如公式(3)所示， S1-1(3) 公式(3)中，s為通過前一幀圖像和中間幀圖像得到空間點(diǎn)在前一幀圖像和中間幀圖像之間的結(jié)構(gòu)坐標(biāo)；s ^為通過中間幀圖像和后一幀圖像得到的在中間幀圖像和后一幀圖像之間的結(jié)構(gòu)坐標(biāo)；G為4X4的矩陣，其秩為2 ；T為轉(zhuǎn)置運(yùn)算符； 步驟202、判斷公式(4)是否成立，若公式(4)成立，則該特征點(diǎn)滿足結(jié)構(gòu)坐標(biāo)約束；若公式(4)不成立，則該特征點(diǎn)不滿足結(jié)構(gòu)坐標(biāo)約束，
ε i < β.med{ ε 1； ε 2,...} (4) 公式(4)中，β為給定系數(shù)閾值，med為取中值函數(shù)。
6.如權(quán)利要求5所述基于三維結(jié)構(gòu)坐標(biāo)約束的運(yùn)動目標(biāo)檢測方法，其特征在于，將不滿足極線約束的匹配點(diǎn)和不滿足結(jié)構(gòu)坐標(biāo)約束的匹配點(diǎn)合并的方式如公式(5)所示，
R = R1 U R2 (5) 公式(5)，R為檢測出的最終運(yùn)動目標(biāo)，R1為不滿足極線約束的匹配點(diǎn)的集合，R2為不滿足結(jié)構(gòu)坐標(biāo)約束的匹配點(diǎn)的集合。
【文檔編號】G06T7/20GK104240267SQ201410481725
【公開日】2014年12月24日 申請日期:2014年9月19日 優(yōu)先權(quán)日:2014年9月19日
【發(fā)明者】陳錢, 汪鵬程, 陸愷立, 廖逸琪, 徐富元, 顧國華, 錢惟賢, 任侃 申請人:南京理工大學(xué)