專利名稱：基于車載單目相機(jī)的運(yùn)動(dòng)目標(biāo)感知與告警方法
技術(shù)領(lǐng)域：
本發(fā)明屬于車載相機(jī)的運(yùn)動(dòng)目標(biāo)感知方法，特別涉及基于車載單目相機(jī) 的運(yùn)動(dòng)目標(biāo)感知與告警方法。
技術(shù)背景環(huán)境感知是車輛主動(dòng)安全系統(tǒng)的主要功能，運(yùn)動(dòng)目標(biāo)感知又是環(huán)境感知 中的重要組成部分。目前智能車輛的環(huán)境感知傳感器主要是毫米波雷達(dá)和激 光雷達(dá)，這類主動(dòng)傳感器的作用區(qū)域有限，而且價(jià)格昂貴。當(dāng)前，如何使用 攝像機(jī)感知環(huán)境，這類技術(shù)備受關(guān)注。所提出的解決方法主要有三類 一類 是使用雙目視覺(jué)方法，直接獲得場(chǎng)景深度，為運(yùn)動(dòng)目標(biāo)檢測(cè)提供線索，但是 雙目視覺(jué)系統(tǒng)結(jié)構(gòu)復(fù)雜，成本高；另一類方法是結(jié)合使用標(biāo)定過(guò)的單目相機(jī)和車輛速度表、陀螺儀，或其它測(cè)量車輛運(yùn)動(dòng)狀態(tài)的傳感器，通過(guò)檢測(cè)車輛 運(yùn)動(dòng)狀態(tài)，計(jì)算背景在圖像中運(yùn)動(dòng)的軌跡，以此檢測(cè)出不符合這種運(yùn)動(dòng)軌跡 的運(yùn)動(dòng)目標(biāo)，然而相機(jī)的參數(shù)有可能會(huì)隨著運(yùn)動(dòng)中車輛的振動(dòng)而改變，初始 設(shè)定的相機(jī)參數(shù)不一定始終保持可靠，其次廉價(jià)的車輛運(yùn)動(dòng)狀態(tài)傳感器不能提供精確的運(yùn)動(dòng)狀態(tài)信息；第三種方法是只使用非標(biāo)定單目相機(jī)，通過(guò)模型 參數(shù)估計(jì)方法，計(jì)算出背景在成像平面的投影的運(yùn)動(dòng)模型，以此檢測(cè)不符合 這類模型的運(yùn)動(dòng)目標(biāo)。當(dāng)使用非標(biāo)定單目車載相機(jī)感知運(yùn)動(dòng)目標(biāo)時(shí)，最大的困難是，車載相機(jī) 隨車運(yùn)動(dòng)，導(dǎo)致靜止的背景投影在相機(jī)的成像平面上時(shí)也發(fā)生了運(yùn)動(dòng)，干擾 了原本的運(yùn)動(dòng)目標(biāo)檢測(cè)?，F(xiàn)有技術(shù)多只使用由基礎(chǔ)矩陣來(lái)描述的外極點(diǎn)約束模型來(lái)區(qū)分背景和運(yùn)動(dòng)的像素點(diǎn)。(外極點(diǎn)約束模型是一種相機(jī)幾何模型，它 表示了相機(jī)移動(dòng)時(shí)，空間中靜止點(diǎn)在兩個(gè)相機(jī)成像平面中的關(guān)系?；A(chǔ)矩陣是一個(gè)3X3的方陣，其秩為2。)但是外極點(diǎn)約束模型并不能全面地區(qū)分背 景和運(yùn)動(dòng)的像素點(diǎn)，導(dǎo)致不能檢測(cè)與本車平行運(yùn)動(dòng)的目標(biāo)。有些技術(shù)是把問(wèn) 題簡(jiǎn)化(IEEE CVPRW，06 pp.131-138),認(rèn)為車輛只有直線運(yùn)動(dòng)，從而簡(jiǎn)化 外極點(diǎn)約束模型，但是這種簡(jiǎn)化導(dǎo)致系統(tǒng)的適用范圍變小。有些技術(shù)則在外極 點(diǎn)約束模型的基礎(chǔ)上加入部分先驗(yàn)知識(shí)(IEEE IVS，06 pp.261-267)，例如車 輛高于地面，以期獲得更好的運(yùn)動(dòng)目標(biāo)檢測(cè)效果。但是這些先驗(yàn)知識(shí)沒(méi)有在 本質(zhì)上克服外極點(diǎn)約束模型的缺點(diǎn)。 發(fā)明內(nèi)容本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的不足，提供一種基于車載單目相 機(jī)的運(yùn)動(dòng)目標(biāo)感知與告警方法，該方法能夠可靠地檢測(cè)運(yùn)動(dòng)目標(biāo)，并在提高 模型參數(shù)估計(jì)精度的同時(shí)，減少參數(shù)估計(jì)的耗時(shí)。本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的包括以下步驟1) 攝像機(jī)采集道路前方連續(xù)的圖像序列，并通過(guò)圖像采集卡，輸入到計(jì) 算機(jī)系統(tǒng)中，由計(jì)算機(jī)軟件處理；2) 計(jì)算機(jī)軟件中的特征點(diǎn)檢測(cè)與跟蹤模塊包括特征點(diǎn)提取與匹配模塊和 圖像背景靜止特征點(diǎn)跟蹤模塊；特征點(diǎn)提取與匹配模塊從圖像序列中抽取連 續(xù)的三幀圖像，實(shí)施蘇珊SUSAN特征點(diǎn)檢測(cè)和尺度不變特征點(diǎn)檢測(cè)，并使 用尺度不變特征點(diǎn)描述方法生成特征點(diǎn)描述向量，再使用歐氏空間距離度量， 進(jìn)行三幀圖像之間的特征點(diǎn)匹配；特征點(diǎn)提取與匹配模塊輸出的匹配特征點(diǎn) 將同時(shí)輸出到圖像背景靜止特征點(diǎn)跟蹤模塊、圖像靜止背景特征點(diǎn)和運(yùn)動(dòng)目標(biāo)特征點(diǎn)分類模塊；3) 圖像背景靜止特征點(diǎn)跟蹤模塊跟蹤靜止背景特征點(diǎn)，并將數(shù)據(jù)輸入到 圖像靜止背景特征點(diǎn)幾何約束模型參數(shù)估計(jì)模塊進(jìn)行模型參數(shù)估計(jì)；4) 圖像靜止背景特征點(diǎn)和運(yùn)動(dòng)目標(biāo)特征點(diǎn)分類模塊使用圖像靜止背景特 征點(diǎn)幾何約束模型參數(shù)估計(jì)模塊輸出的模型參數(shù)構(gòu)建幾何約束模型，將特征 點(diǎn)提取與匹配模塊所輸出的所有匹配特征點(diǎn)分成靜止背景點(diǎn)和運(yùn)動(dòng)目標(biāo)點(diǎn)； 靜止背景點(diǎn)將反饋到圖像背景靜止特征點(diǎn)跟蹤模塊；運(yùn)動(dòng)目標(biāo)點(diǎn)將輸出到運(yùn) 動(dòng)特征點(diǎn)時(shí)域?yàn)V波模塊，濾波后的運(yùn)動(dòng)特征點(diǎn)數(shù)據(jù)將輸入到運(yùn)動(dòng)目標(biāo)分割模 塊，目標(biāo)分割結(jié)果輸出到運(yùn)動(dòng)目標(biāo)顯示告警模塊。圖像背景靜止特征點(diǎn)跟蹤模塊使用圖像靜止背景特征點(diǎn)和運(yùn)動(dòng)目標(biāo)特征 點(diǎn)分類模塊反饋的前一幀的靜止背景特征點(diǎn)，與當(dāng)前幀的特征點(diǎn)實(shí)行匹配， 實(shí)現(xiàn)跟蹤靜止背景特征點(diǎn)；其過(guò)程為以前一幀靜止背景特征點(diǎn)的坐標(biāo)為參考，在當(dāng)前幀的一個(gè)矩 形區(qū)域中，尋找可與前一幀靜止特征點(diǎn)匹配的當(dāng)前幀的特征點(diǎn)，矩形區(qū)域的 長(zhǎng)和寬與特征點(diǎn)的"，力坐標(biāo)呈下面的函數(shù)關(guān)系L 11=1>。+1 小-會(huì)-62| 其中w和h是矩形的長(zhǎng)和寬，(x,力是特征點(diǎn)坐標(biāo)，(6^2)是上一圖像幀 的外極點(diǎn)參數(shù)，是(a。A，^,b。,bO函數(shù)參數(shù)。矩形的中心坐標(biāo)(、~)為匹配使用的描述向量就是尺度不變特征點(diǎn)描述向量，找到的這些匹配特 征點(diǎn)，確定為當(dāng)前圖像中的背景靜止特征點(diǎn)；經(jīng)過(guò)該模塊對(duì)靜止背景點(diǎn)的跟蹤，從所有特征點(diǎn)中篩選出部分背景靜止點(diǎn)，用于幾何約束模型參數(shù)估計(jì)。所述的圖像靜止背景特征點(diǎn)和運(yùn)動(dòng)目標(biāo)特征點(diǎn)分類模塊使用圖像靜止背 景特征點(diǎn)幾何約束模型參數(shù)估計(jì)模塊輸出的模型參數(shù)構(gòu)建幾何約束模型，采用一種通過(guò)2D平面投影變換計(jì)算外極點(diǎn)約束模型和結(jié)構(gòu)一致性約束模型的 技術(shù)-首先，使用圖像背景靜止特征點(diǎn)跟蹤模塊篩選得到的連續(xù)三幀圖像(A、 B、 C)中的匹配的靜止特征點(diǎn)，估計(jì)相鄰兩幀之間的2D投影變換參數(shù)H，2和 H23;使用參數(shù)H^和H"，計(jì)算B、 C兩幀的靜止特征點(diǎn)在A、 B兩幀中的2D 平面投影以及平面視差；其次，使用所述的平面視差，估計(jì)第二幀圖像B在第一幀圖像A中的外 極點(diǎn)&，和第三幀圖像C在第二幀圖像B中的外極點(diǎn)6";再使用平面視差和外極點(diǎn)ei2和e"計(jì)算靜止特征點(diǎn)的3D結(jié)構(gòu)向量，并使用3D結(jié)構(gòu)向量估計(jì) 3D結(jié)構(gòu)一致性模型參數(shù)G;最后，使用了外極點(diǎn)約束模型和結(jié)構(gòu)一致性模型對(duì)特征點(diǎn)提取與匹配模 塊輸出的所有特征點(diǎn)進(jìn)行分類特征點(diǎn)越是符合模型，則與模型的匹配誤差 越小，特征點(diǎn)就越趨向于被分類為靜止點(diǎn)；反之則越趨向于被分為運(yùn)動(dòng)點(diǎn)； 外極點(diǎn)約束模型的匹配誤差為《=O _ ^w M - (x - xw )e2 — (>xw — ;qyw)其中hA]是約束模型估計(jì)模塊的外極點(diǎn)參數(shù)e'2 ，"力是特征點(diǎn)x的坐 標(biāo)，^w，^)是x的2D平面投影坐標(biāo)；結(jié)構(gòu)一致性模型的匹配誤差為其中G是約束模型估計(jì)模塊輸出的結(jié)構(gòu)一致性模型參數(shù)，g和P2是3D結(jié)構(gòu)向量。本發(fā)明所提出的跟蹤靜止背景點(diǎn)估計(jì)約束模型參數(shù)的技術(shù)，可以使模型參數(shù)估計(jì)時(shí)間減少2/3，模型參數(shù)估計(jì)的精度提高15%左右。本發(fā)明提出的 通過(guò)2D投影變換，聯(lián)合外極點(diǎn)約束模型和結(jié)構(gòu)一致性約束模型，分類圖像 靜止或運(yùn)動(dòng)像素點(diǎn)的技術(shù)，能夠可靠地感知道路上的運(yùn)動(dòng)目標(biāo)，克服了單一 使用外極點(diǎn)約束模型時(shí)，無(wú)法感知與本車平行運(yùn)動(dòng)的目標(biāo)的缺點(diǎn)。


圖1是方法工作的原理示意圖。圖2是方法的框架結(jié)構(gòu)示意圖。圖3是方法流程示意圖。圖4是結(jié)合隨機(jī)采樣一致擬合方法的外極點(diǎn)約束模型參數(shù)估計(jì)流程示意圖。圖5是結(jié)合最小中值方差擬合方法的結(jié)構(gòu)一致性約束模型參數(shù)估計(jì)流程 示意圖。圖6 (a)是本發(fā)明對(duì)道路上單個(gè)運(yùn)動(dòng)目標(biāo)檢測(cè)的效果示意圖。 圖6 (b)是本發(fā)明對(duì)道路上多個(gè)運(yùn)動(dòng)目標(biāo)檢測(cè)的效果示意圖。 下面結(jié)合附圖對(duì)本發(fā)明的內(nèi)容作進(jìn)一步詳細(xì)說(shuō)明。
具體實(shí)施方式
參照?qǐng)D1所示，道路上運(yùn)動(dòng)的目標(biāo)和靜止的背景，例如運(yùn)動(dòng)的車輛和靜 止的房屋、樹木，雖然在車載相機(jī)的成像平面中均在運(yùn)動(dòng)，但是它們運(yùn)動(dòng)的 特性有明顯區(qū)別。通過(guò)連續(xù)幾幀圖像之間的特征點(diǎn)匹配，圖像特征點(diǎn)一般是 圖像灰度變化的局部極值點(diǎn)，或含有顯著結(jié)構(gòu)信息的區(qū)域中心，現(xiàn)存在多種特征點(diǎn)提取方法；圖像中匹配的特征點(diǎn)代表了空間中同一個(gè)物理點(diǎn)，可以獲得特征點(diǎn)的運(yùn)動(dòng)向量v，例如圖1中運(yùn)動(dòng)目標(biāo)上的特征點(diǎn)運(yùn)動(dòng)向量v，，背景中 房屋和樹木的運(yùn)動(dòng)向量V2和v、外極點(diǎn)約束模型和結(jié)構(gòu)一致性約束模型是一 種描述靜止背景特征點(diǎn)在相機(jī)成像平面上的運(yùn)動(dòng)特性的模型。外極點(diǎn)約束模 型是一種相機(jī)幾何模型，它表示了相機(jī)移動(dòng)時(shí)，空間中靜止點(diǎn)在兩個(gè)相機(jī)成 像平面中的關(guān)系；結(jié)構(gòu)一致性約束模型也是一種相機(jī)幾何模型，它表示了相 機(jī)移動(dòng)時(shí)，空間中靜止點(diǎn)在三個(gè)相機(jī)成像平面中的關(guān)系；這兩種模型均是線 性模型。靜止背景特征點(diǎn)的運(yùn)動(dòng)向量對(duì)于約束模型具有很小的匹配誤差，而 運(yùn)動(dòng)目標(biāo)特征點(diǎn)的運(yùn)動(dòng)向量對(duì)于約束模型具有很大的匹配誤差。使用這一原 理，可以利用連續(xù)圖像幀之間的特征點(diǎn)匹配獲取特征點(diǎn)的運(yùn)動(dòng)信息，并通過(guò) 準(zhǔn)確估計(jì)約束模型的參數(shù)，然后對(duì)特征點(diǎn)進(jìn)行分類，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)感知。參照?qǐng)D2所示，其包含 一臺(tái)不需要標(biāo)定的單目攝像機(jī)； 一塊連接計(jì)算 機(jī)系統(tǒng)和攝像機(jī)的圖像采集卡，圖像采集結(jié)果輸入一個(gè)特征點(diǎn)檢測(cè)與跟蹤模 塊，其中包括特征點(diǎn)提取與匹配模塊和圖像靜止背景特征點(diǎn)跟蹤模塊，其輸 出包括兩部分， 一部分是將要輸入靜止背景特征點(diǎn)與運(yùn)動(dòng)特征點(diǎn)分類模塊的 所有圖像特征點(diǎn)及其匹配信息，另一部分是將要輸入圖像靜止背景特征點(diǎn)幾 何約束模型參數(shù)估計(jì)模塊的經(jīng)過(guò)跟蹤篩選出來(lái)的部分靜止背景特征點(diǎn)匹配信 息；圖像靜止背景特征點(diǎn)幾何約束模型參數(shù)估計(jì)模塊將計(jì)算得到的模型參數(shù) 估計(jì)結(jié)果輸入一個(gè)靜止背景特征點(diǎn)與運(yùn)動(dòng)特征點(diǎn)分類模塊；靜止背景特征點(diǎn) 與運(yùn)動(dòng)特征點(diǎn)分類模塊的輸出包括兩部分， 一部分是運(yùn)動(dòng)特征點(diǎn)，將輸入運(yùn) 動(dòng)特征點(diǎn)時(shí)域?yàn)V波模塊，另一部分是靜止背景特征點(diǎn)，將輸入特征點(diǎn)檢測(cè)與 跟蹤模塊，用于下一幀循環(huán)跟蹤靜止背景點(diǎn)； 一個(gè)運(yùn)動(dòng)特征點(diǎn)時(shí)域?yàn)V波模塊，輸出濾波后的運(yùn)動(dòng)特征點(diǎn)到一個(gè)運(yùn)動(dòng)目標(biāo)分割模塊，為目標(biāo)顯示與告警模塊 提供最終的目標(biāo)信息； 一個(gè)參數(shù)輸入模塊用于系統(tǒng)參數(shù)設(shè)定。 參照?qǐng)D3所示，其具體描述如下第一階段，攝像機(jī)拍攝的道路場(chǎng)景視頻首先被分解成圖像序列，然后每 連續(xù)的三幀圖像為一組參與運(yùn)算，相鄰圖像組之間有二幀圖像是重復(fù)的。特 征點(diǎn)提取與匹配模塊對(duì)三幀圖像進(jìn)行蘇珊SUSAN特征點(diǎn)檢測(cè)和尺度不變特 征點(diǎn)檢測(cè)，并使用尺度不變特征點(diǎn)描述方法生成特征點(diǎn)描述向量/，再使用歐氏空間距離度量確定三幀圖像的特征點(diǎn)之間匹配關(guān)系<formula>formula see original document page 11</formula>其中Xj是第一幀圖像中編號(hào)為i的特征點(diǎn)，x)是第二幀圖像中編號(hào)為j的特征點(diǎn)，x「是第三幀圖像中編號(hào)為l的特征點(diǎn)。已知Xi尋找x;的公式如下 <formula>formula see original document page 11</formula>k其中^是第一幀圖像中編號(hào)為i的特征點(diǎn)的描述向量，^是第二幀圖像中編號(hào)為k的特征點(diǎn)描述向量。同理，已知x;可以尋找到^，最終形成匹配特征點(diǎn)對(duì)<formula>formula see original document page 11</formula>然后圖像背景靜止特征點(diǎn)跟蹤模塊使用圖像靜止背景 特征點(diǎn)與運(yùn)動(dòng)目標(biāo)特征點(diǎn)分類模塊返回的前一幀圖像靜止背景特征點(diǎn)，跟蹤當(dāng)前幀的特征點(diǎn)中的部分靜止背景特征點(diǎn)。其方法是，以前一幀靜止背景特征點(diǎn)的坐標(biāo)為參考，在當(dāng)前幀的一個(gè)矩形區(qū)域中，尋找可與前一幀靜止特征點(diǎn)匹配的當(dāng)前幀的特征點(diǎn)。矩形區(qū)域的長(zhǎng)和寬與特征點(diǎn)的"力坐標(biāo)呈下面的函數(shù)關(guān)系<formula>formula see original document page 11</formula> 其中W和h是矩形的長(zhǎng)和寬，(x,力是特征點(diǎn)坐標(biāo)，(e,A)是上一圖像幀 的外極點(diǎn)參數(shù)，是(a。,a，，^b。,b，;)函數(shù)參數(shù)。矩形的中心坐標(biāo)(、^)為匹配使用的描述向量就是特征點(diǎn)提取與匹配模塊提取的尺度不變特征點(diǎn) 描述向量。匹配方法也是使用歐氏空間距離度量決定匹配關(guān)系。該模塊為下 一階段的模型參數(shù)估計(jì)提供相對(duì)可靠的匹配特征點(diǎn)數(shù)據(jù)。
第二階段是約束模型參數(shù)估計(jì)階段。首先使用第一階段篩選得到的連續(xù)
三幀圖像A、 B、 C中的匹配的靜止特征點(diǎn)"'，x"x"，估計(jì)相鄰兩幀之間的2D 投影變換參數(shù)Hi2和H"，使其滿足下面的條件
可以使用直接線性變換法求解Hi2和H"。
其次使用l-^H'2X2」和X2w-「H23Xy計(jì)算B、 C兩幀的靜止特征點(diǎn)在A、 B 兩幀中的2D投影"w，x"。
然后估計(jì)第二幀圖像B在第一幀圖像A中的外極點(diǎn) ，和第三幀圖像C 在第二幀圖像B中的外極點(diǎn)e"，使其滿足下面的條件
為了便于運(yùn)算，可將上式簡(jiǎn)化。以計(jì)算e'2為例，^是一個(gè)2維向量[61，￡21， 第一幀A中的某個(gè)特征點(diǎn)xi和對(duì)應(yīng)的2D投影xiw也是2維向量，分別為[^" 和Kv，Xv]，那么對(duì)于每一個(gè)靜止特征點(diǎn)，均有下面的方程
若第一階段提供N個(gè)靜止特征點(diǎn)，可以構(gòu)建N個(gè)這樣的方程，構(gòu)成超定 方程組。使用奇異值分解法可以計(jì)算出[e"e2]。為了減輕第一階段提供的靜止特征點(diǎn)中含有的錯(cuò)誤跟蹤點(diǎn)，被稱為外點(diǎn)，對(duì)外極點(diǎn)約束模型參數(shù)估計(jì)精度
的影響，要結(jié)合使用隨機(jī)采樣一致RANSAC參數(shù)擬合方法。隨機(jī)采樣一致 參數(shù)擬合方法是一種隨機(jī)參數(shù)估計(jì)法，具體過(guò)程參考圖4。
然后計(jì)算靜止特征點(diǎn)的3D結(jié)構(gòu)向量f ，這是一個(gè)4維向量h，y，"]。其 中x，》即為特征點(diǎn)在成像平面上的坐標(biāo)，W皮稱為歸一化的相對(duì)高度，其中 包含了點(diǎn)在空間的高度和深度信息。計(jì)算3D結(jié)構(gòu)向量，主要是計(jì)算"這需 要兩幀圖像。以第一幀A和第二幀B為例，計(jì)算特征點(diǎn)在這兩幀中的歸一化 的相對(duì)高度，需要B幀在A幀中的外極點(diǎn)ei2，特征點(diǎn)在A幀的坐標(biāo)x'，以 及該特征點(diǎn)從B幀2D投影到A幀的坐標(biāo)5^ 。計(jì)算公式如下
其中，x'、 xlw、 e'2均采用齊次坐標(biāo)，即x^[x'，乂，l]T， xlw=hw，_ylw，l]T， e12=h，e2，l](這一點(diǎn)與外極點(diǎn)估計(jì)時(shí)不同)。于是就可以得到A幀和B幀的 特征點(diǎn)3D結(jié)構(gòu)向量^ ^K，為，1，^。同理可以得到B幀和C幀的特征點(diǎn)3D結(jié)
構(gòu)向量^-K，少2,"2]。
最后是估計(jì)三幀圖像的結(jié)構(gòu)一致性約束模型。對(duì)于A幀和B幀的特征點(diǎn) 3D結(jié)構(gòu)向量&， B幀和C幀的特征點(diǎn)3D結(jié)構(gòu)向量^，該模型可以表述為 gGf2=0，其中G是一個(gè)4X4的矩陣，且秩為2。對(duì)于每一個(gè)特征點(diǎn)均可構(gòu) 成一個(gè)^(^^0的方程。若第一階段提供N個(gè)靜止特征點(diǎn)，可以構(gòu)建N個(gè) 這樣的方程，構(gòu)成超定方程組。使用奇異值分解法可以計(jì)算出G。為了減輕 第一階段提供的靜止特征點(diǎn)中含有的錯(cuò)誤跟蹤點(diǎn)(稱為外點(diǎn))，對(duì)結(jié)構(gòu)一致性 約束模型參數(shù)估計(jì)精度的影響，要結(jié)合使用最小中值方差LMedS參數(shù)擬合方 法。最小中值方差參數(shù)擬合方法是一種隨機(jī)參數(shù)估計(jì)法，具體過(guò)程參考圖5。第三階段是特征點(diǎn)分類階段。使用第二階段得到的模型參數(shù)，對(duì)當(dāng)前幀 的所有特征點(diǎn)進(jìn)行分類。分類的依據(jù)是特征點(diǎn)和模型的匹配誤差。特征點(diǎn)越 是符合模型，與模型的匹配誤差越小，特征點(diǎn)就越趨向于被分類為靜止點(diǎn)。
特征點(diǎn)提取與跟蹤模塊輸出的A、 B、 C連續(xù)三幀圖像中的匹配的所有特征 點(diǎn)"，x"x"，先被外極點(diǎn)約束模型分類。計(jì)算特征點(diǎn)與外極點(diǎn)模型匹配誤差
的公式如下
<formula>formula see original document page 14</formula>艮 其中[e"^]是約束模型估計(jì)模塊的外極點(diǎn)參數(shù)。當(dāng)某個(gè)特征點(diǎn)與外極點(diǎn)模 型的匹配誤差超過(guò)設(shè)定的閾值^時(shí)，則將該特征點(diǎn)分入運(yùn)動(dòng)目標(biāo)點(diǎn)。匹配誤 差小于閾值^的特征點(diǎn)進(jìn)入使用結(jié)構(gòu)一致性約束模型分類的階段。在此階段， 首先計(jì)算特征點(diǎn)在A、 8兩幀中的30結(jié)構(gòu)向量&=[^，>;'，1，/^和8、 C兩幀中 的3D結(jié)構(gòu)向量^-^，A，l，W，計(jì)算方法和第二階段描述的方法相同。然后 計(jì)算特征點(diǎn)與結(jié)構(gòu)一致性約束模型的匹配誤差，公式如下-
<formula>formula see original document page 14</formula>
其中G是約束模型估計(jì)模塊的結(jié)構(gòu)一致性模型參數(shù)。當(dāng)某個(gè)特征點(diǎn)的匹
配誤差《超過(guò)設(shè)定的閾值^時(shí)，則將該特征點(diǎn)分入運(yùn)動(dòng)目標(biāo)點(diǎn)
第四階段是運(yùn)動(dòng)目標(biāo)的產(chǎn)生與分割階段。首先對(duì)運(yùn)動(dòng)特征點(diǎn)進(jìn)行時(shí)域?yàn)V 波，即某個(gè)特征點(diǎn)只有在連續(xù)三幀內(nèi)均被分入運(yùn)動(dòng)特征點(diǎn)時(shí)，才被系統(tǒng)確認(rèn) 為運(yùn)動(dòng)目標(biāo)特征點(diǎn)。接著計(jì)算以特征點(diǎn)附近一定區(qū)域內(nèi)的多個(gè)圖像塊內(nèi)的光 流，根據(jù)比較圖像塊內(nèi)的光流與以特征點(diǎn)為中心的圖像塊內(nèi)的光流的一致性， 確定該圖像塊是否屬于運(yùn)動(dòng)目標(biāo)。最后將鄰近的圖像塊聚類在一起，形成最 后的運(yùn)動(dòng)目標(biāo)區(qū)域。參照?qǐng)D4所示，首先設(shè)定系統(tǒng)參數(shù)循環(huán)次數(shù)^和誤差閾值。然后進(jìn)入 循環(huán)。在循環(huán)中，先隨機(jī)挑選3個(gè)特征點(diǎn)，構(gòu)建3個(gè)如下的方程
Oi -乂w)ei 一Oi _xiw)e2 =^^lw -、_ylw < Cy2 一Aw)a -(a - &w)e2 = _yj2w _&y2w
!_ O3 — ;V )e， — (A - x3w )e2 = _y3x3w — x3y3w
其中"^)是第i個(gè)特征點(diǎn)的坐標(biāo)，(^，l)是第i個(gè)特征點(diǎn)的2D投影變換
坐標(biāo)。使用奇異值分解得到的"，&)值。然后使用該(￡'，^)值，計(jì)算其余特征 點(diǎn)的模型擬合誤差，公式如下
《=Oi — Xw X - Oi — xiw )e2 — (>^1W - ;Ci_yiw)
剔除誤差大于設(shè)定閾值^的特征點(diǎn)，使用剩余的特征點(diǎn)(稱為內(nèi)點(diǎn))，再
次構(gòu)建方程組
-Mwh — —&w)e2 =_y,xlw -;^lw
U "iwh 一(、 _xlw)e2 =1 n 使用奇異值分解重新估計(jì)"A)值，記錄參數(shù)擬合誤差
《=2]" "iw)ei -" -Oe2 -d n)
其中，參與累加計(jì)算參數(shù)擬合誤差的特征點(diǎn)中均為內(nèi)點(diǎn)。結(jié)束循環(huán)后，
挑選參數(shù)擬合誤差最小的那一輪循環(huán)中，計(jì)算得到的"，6)值作為最終的外 極點(diǎn)參數(shù)值。
參照?qǐng)D5所示，首先設(shè)定系統(tǒng)參數(shù)循環(huán)次數(shù)、然后進(jìn)入循環(huán)。在循 環(huán)中，先隨機(jī)挑選15個(gè)特征點(diǎn)，構(gòu)建方程組
其中^表示第i個(gè)特征點(diǎn)在第一幀和第二幀中的3D結(jié)構(gòu)向量，5'表示第i個(gè)特征點(diǎn)在第二幀和第三幀中的3D結(jié)構(gòu)向量。使用奇異值分解法得到的g 值。然后使用該g值，計(jì)算其余特征點(diǎn)的模型擬合誤差，記錄模型擬合中值
誤差<formula>formula see original document page 16</formula>
結(jié)束循環(huán)后，找出所有循環(huán)中模型擬合中值誤差最小的那一輪循環(huán)，取 該輪循環(huán)中估計(jì)的G值，計(jì)算各個(gè)特征點(diǎn)的擬合誤差-
<formula>formula see original document page 16</formula>
取模型擬合誤差小于中值誤差的那些特征點(diǎn)，構(gòu)造方程組: <formula>formula see original document page 16</formula>使用奇異值分解法，重新計(jì)算g的值，作為最終結(jié)構(gòu)一致性模型的參數(shù)(
參照?qǐng)D6所示，其中方框標(biāo)注的區(qū)域是感知到的運(yùn)動(dòng)目標(biāo)存在區(qū)域(
權(quán)利要求
1、基于車載單目相機(jī)的運(yùn)動(dòng)目標(biāo)感知與告警方法，其特征在于，包括以下步驟1)攝像機(jī)采集道路前方連續(xù)的圖像序列，并通過(guò)圖像采集卡，輸入到計(jì)算機(jī)系統(tǒng)中，等待計(jì)算機(jī)軟件處理；2)計(jì)算機(jī)軟件中的特征點(diǎn)檢測(cè)與跟蹤模塊包括特征點(diǎn)提取與匹配模塊和圖像背景靜止特征點(diǎn)跟蹤模塊；特征點(diǎn)提取與匹配模塊從圖像序列中抽取連續(xù)的三幀圖像，實(shí)施蘇珊SUSAN特征點(diǎn)檢測(cè)和尺度不變特征點(diǎn)檢測(cè)，并使用尺度不變特征點(diǎn)描述方法生成特征點(diǎn)描述向量，再使用歐氏空間距離度量，進(jìn)行三幀圖像之間的特征點(diǎn)匹配；特征點(diǎn)提取與匹配模塊輸出的匹配特征點(diǎn)將同時(shí)輸出到圖像背景靜止特征點(diǎn)跟蹤模塊、圖像靜止背景特征點(diǎn)和運(yùn)動(dòng)目標(biāo)特征點(diǎn)分類模塊；3)圖像背景靜止特征點(diǎn)跟蹤模塊跟蹤靜止背景特征點(diǎn)，并將數(shù)據(jù)輸入到圖像靜止背景特征點(diǎn)幾何約束模型參數(shù)估計(jì)模塊進(jìn)行模型參數(shù)估計(jì)；4)圖像靜止背景特征點(diǎn)和運(yùn)動(dòng)目標(biāo)特征點(diǎn)分類模塊使用圖像靜止背景特征點(diǎn)幾何約束模型參數(shù)估計(jì)模塊輸出的模型參數(shù)構(gòu)建幾何約束模型，將特征點(diǎn)提取與匹配模塊所輸出的所有匹配特征點(diǎn)分成靜止背景點(diǎn)和運(yùn)動(dòng)目標(biāo)點(diǎn)；靜止背景點(diǎn)將反饋到圖像背景靜止特征點(diǎn)跟蹤模塊；運(yùn)動(dòng)目標(biāo)點(diǎn)將輸出到運(yùn)動(dòng)特征點(diǎn)時(shí)域?yàn)V波模塊，濾波后的運(yùn)動(dòng)特征點(diǎn)數(shù)據(jù)將輸入到運(yùn)動(dòng)目標(biāo)分割模塊，目標(biāo)分割結(jié)果輸出到運(yùn)動(dòng)目標(biāo)顯示告警模塊。
2、 根據(jù)權(quán)利要求1所述的方法，其特征在于，圖像背景靜止特征點(diǎn)跟蹤 模塊使用圖像靜止背景特征點(diǎn)和運(yùn)動(dòng)目標(biāo)特征點(diǎn)分類模塊反饋的前一幀的靜止背景特征點(diǎn)，與當(dāng)前幀的特征點(diǎn)實(shí)行匹配，實(shí)現(xiàn)跟蹤靜止背景特征點(diǎn)；其過(guò)程為以前一幀靜止背景特征點(diǎn)的坐標(biāo)為參考，在當(dāng)前幀的一個(gè)矩 形區(qū)域中，尋找可與前一幀靜止特征點(diǎn)匹配的當(dāng)前幀的特征點(diǎn)，矩形區(qū)域的 長(zhǎng)和寬與特征點(diǎn)的"，力坐標(biāo)呈下面的函數(shù)關(guān)系<formula>formula see original document page 3</formula>其中w和h是矩形的長(zhǎng)和寬，(x,力是特征點(diǎn)坐標(biāo)，(e,，e2)是上一圖像幀 的外極點(diǎn)參數(shù)，是(a。，ap^，b。A)函數(shù)參數(shù)。矩形的中心坐標(biāo)(、~)為<formula>formula see original document page 3</formula>匹配使用的描述向量就是尺度不變特征點(diǎn)描述向量，找到的這些匹配特 征點(diǎn)，確定為當(dāng)前圖像中的背景靜止特征點(diǎn)；經(jīng)過(guò)該模塊對(duì)靜止背景點(diǎn)的跟 蹤，從所有特征點(diǎn)中篩選出部分背景靜止點(diǎn)，用于幾何約束模型參數(shù)估計(jì)。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的圖像靜止背景特征 點(diǎn)和運(yùn)動(dòng)目標(biāo)特征點(diǎn)分類模塊使用圖像靜止背景特征點(diǎn)幾何約束模型參數(shù)估 計(jì)模塊輸出的模型參數(shù)構(gòu)建幾何約束模型，采用一種通過(guò)2D平面投影變換 計(jì)算外極點(diǎn)約束模型和結(jié)構(gòu)一致性約束模型的技術(shù)首先，使用圖像背景靜止特征點(diǎn)跟蹤模塊篩選得到的連續(xù)三幀圖像(A、 B、 C)中的匹配的靜止特征點(diǎn)，估計(jì)相鄰兩幀之間的2D投影變換參數(shù)H'2和 H";使用參數(shù)Hu和H"，計(jì)算B、 C兩幀的靜止特征點(diǎn)在A、 B兩幀中的2D 平面投影以及平面視差；其次，使用所述的平面視差，估計(jì)第二幀圖像B在第一幀圖像A中的外 極點(diǎn)612，和第三幀圖像C在第二幀圖像B中的外極點(diǎn)e";再使用平面視差和外極點(diǎn)ei2和e"計(jì)算靜止特征點(diǎn)的3D結(jié)構(gòu)向量，并使用3D結(jié)構(gòu)向量估計(jì) 3D結(jié)構(gòu)一致性模型參數(shù)G;最后，使用了外極點(diǎn)約束模型和結(jié)構(gòu)一致性模型對(duì)特征點(diǎn)提取與匹配模 塊輸出的所有特征點(diǎn)進(jìn)行分類特征點(diǎn)越是符合模型，則與模型的匹配誤差 越小，特征點(diǎn)就越趨向于被分類為靜止點(diǎn)；反之則越趨向于被分為運(yùn)動(dòng)點(diǎn)； 外極點(diǎn)約束模型的匹配誤差為《=(少-少wM -(nw)e2 _(>aw -^w)其中h，^是約束模型估計(jì)模塊的外極點(diǎn)參數(shù)ei2 ，"力是特征點(diǎn)x的坐 標(biāo)，"w，^)是x的2D平面投影坐標(biāo)；結(jié)構(gòu)一致性模型的匹配誤差為其中G是約束模型估計(jì)模塊輸出的結(jié)構(gòu)一致性模型參數(shù)，f,和g是3D結(jié) 構(gòu)向量。
全文摘要
本發(fā)明公開了一種基于車載單目相機(jī)的運(yùn)動(dòng)目標(biāo)感知與告警方法，該方法軟件中的特征點(diǎn)檢測(cè)與跟蹤模塊包括特征點(diǎn)提取與匹配模塊和圖像背景靜止特征點(diǎn)跟蹤模塊；圖像背景靜止特征點(diǎn)跟蹤模塊跟蹤靜止背景特征點(diǎn)，圖像靜止背景特征點(diǎn)和運(yùn)動(dòng)目標(biāo)特征點(diǎn)分類模塊使用圖像靜止背景特征點(diǎn)幾何約束模型參數(shù)估計(jì)模塊輸出的模型參數(shù)構(gòu)建幾何約束模型，將特征點(diǎn)提取與匹配模塊所輸出的所有匹配特征點(diǎn)分成靜止背景點(diǎn)和運(yùn)動(dòng)目標(biāo)點(diǎn)；靜止背景點(diǎn)將反饋到圖像背景靜止特征點(diǎn)跟蹤模塊；運(yùn)動(dòng)目標(biāo)點(diǎn)將輸出到運(yùn)動(dòng)特征點(diǎn)時(shí)域?yàn)V波模塊，濾波后的數(shù)據(jù)輸入到運(yùn)動(dòng)目標(biāo)分割模塊，目標(biāo)分割結(jié)果輸出到運(yùn)動(dòng)目標(biāo)顯示告警模塊。該方法能夠提高模型參數(shù)估計(jì)精度，減少參數(shù)估計(jì)的耗時(shí)。
文檔編號(hào)G06T7/20GK101303732SQ200810017930
公開日2008年11月12日 申請(qǐng)日期2008年4月11日 優(yōu)先權(quán)日2008年4月11日
發(fā)明者劉躍虎, 沖 孫, 張雪濤, 盛興東, 袁澤劍, 袁茂軍, 鄭南寧 申請(qǐng)人:西安交通大學(xué)