基于多模型估計(jì)的面向移動(dòng)攝像機(jī)的運(yùn)動(dòng)目標(biāo)檢測方法
【專利摘要】基于多模型估計(jì)的面向移動(dòng)攝像機(jī)的運(yùn)動(dòng)目標(biāo)檢測方法，涉及計(jì)算機(jī)視覺技術(shù)。對(duì)輸入視頻圖像序列預(yù)處理，并進(jìn)行特征提??；從匹配對(duì)F中估計(jì)出第一個(gè)投影變換模型S1；從匹配對(duì)F中提取第二個(gè)投影變換模型S2；分別使用兩個(gè)變換模型將S1,S2把前一幀Ik?1投影到當(dāng)前幀Ik并進(jìn)行幀差，得到兩個(gè)差分圖d1和d2；將前一幀的檢測結(jié)果Mk?1作為置信區(qū)域，對(duì)d1和d2進(jìn)行二值化得到兩個(gè)二值化差分圖mask1和mask2；將mask1和mask2進(jìn)行邏輯與操作得到二值化圖maskAndk，再進(jìn)行形態(tài)學(xué)處理得到最終的檢測結(jié)果Mk。
【專利說明】
基于多模型估計(jì)的面向移動(dòng)攝像機(jī)的運(yùn)動(dòng)目標(biāo)檢測方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)，具體是涉及基于多模型估計(jì)的面向移動(dòng)攝像機(jī)的運(yùn) 動(dòng)目標(biāo)檢測方法。
【背景技術(shù)】
[0002] 運(yùn)動(dòng)目標(biāo)檢測是計(jì)算機(jī)視覺研究熱點(diǎn)之一。根據(jù)攝像機(jī)的狀態(tài)，可以分為面向靜 止攝像機(jī)的檢測和面向移動(dòng)攝像機(jī)的檢測兩大類。面向移動(dòng)攝像機(jī)的目標(biāo)檢測，攝像機(jī)發(fā) 生移動(dòng)和旋轉(zhuǎn)，導(dǎo)致背景和物體同時(shí)發(fā)生運(yùn)動(dòng)，增加了運(yùn)動(dòng)目標(biāo)檢測的難度。面向移動(dòng)攝像 機(jī)的運(yùn)動(dòng)目標(biāo)檢測技術(shù)已經(jīng)廣泛應(yīng)用于自動(dòng)駕駛和運(yùn)動(dòng)目標(biāo)跟蹤，機(jī)器人導(dǎo)航中。因此，對(duì) 計(jì)算機(jī)視覺中的移動(dòng)攝像機(jī)下運(yùn)動(dòng)目標(biāo)檢測技術(shù)進(jìn)行深入研究，不斷提高檢測的準(zhǔn)確率， 具有重要的現(xiàn)實(shí)意義。
[0003] 當(dāng)前計(jì)算機(jī)視覺領(lǐng)域中的移動(dòng)攝像機(jī)下的運(yùn)動(dòng)目標(biāo)檢測主要有3類:光流法、背景 減除法和幀間差分法。
[0004] 光流法的主要思想是圖像中背景和運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)速度不同，兩者之間的光流存 在較大的差異。因此可以通過分析特征點(diǎn)長期的軌跡來檢測和分割運(yùn)動(dòng)物體。該方法能較 好地適應(yīng)攝像機(jī)移動(dòng)的情形。但是該方法對(duì)圖像邊緣和噪聲十分敏感，同時(shí)全局稠密光流 的微分和迭代計(jì)算量大，無法保證實(shí)時(shí)性，且存在孔徑問題。
[0005] 背景減除法利用圖像配準(zhǔn)來動(dòng)態(tài)更新背景模型，通過比較實(shí)際圖像與背景模型來 獲取運(yùn)動(dòng)目標(biāo)。該方法能夠檢測出運(yùn)動(dòng)目標(biāo)的所有像素點(diǎn)，但是該方法對(duì)光照變化等十分 敏感，容易產(chǎn)生大量錯(cuò)檢。
[0006] 幀間差分法對(duì)連續(xù)補(bǔ)償運(yùn)動(dòng)攝像機(jī)幀的背景進(jìn)行配準(zhǔn)，將目標(biāo)檢測轉(zhuǎn)化為靜態(tài)背 景下的運(yùn)動(dòng)物體檢測問題，通過前后幀之間的差分圖像分離出運(yùn)動(dòng)物體。該方法計(jì)算簡單， 精度高，能夠較好的適應(yīng)環(huán)境變化較大的情況，但是一般不能獲得運(yùn)動(dòng)目標(biāo)的完整輪廓?；?于幀間差分的主要方法有Zhou D等人（Zhou D,Wang L，Cai X，et al .Detection of moving targets with a moving camera[C]//Robotics and Biomimetics(R0BI0), 2009IEEE International Conference on. IEEE,2009:677-681)提出的基于SIFT特征點(diǎn)和 RANSAC的方法和Zhou M等人（Zhou M,Asari V K.Speeded-up robust features based moving object detection on shaky video[M]//Computer Networks and Intelligent Computing · Springer Berlin Heidelberg ,2011: 677-682)提出的基于SURF特征點(diǎn)和 RANSAC的方法。
[0007] 幀間差分法是否有效的關(guān)鍵在于相鄰兩幀之間配準(zhǔn)的精度，也即能否通過相鄰兩 幀的特征點(diǎn)匹配對(duì)較準(zhǔn)確地建立兩幅圖像上背景像素點(diǎn)之間的映射關(guān)系，使得前一幀的像 素點(diǎn)能正確的投影到當(dāng)前幀的坐標(biāo)系下，從而通過幀差檢測出運(yùn)動(dòng)目標(biāo)。然而，上述的方法 對(duì)整個(gè)圖片使用一個(gè)變換模型。這使得它們只適用于整個(gè)場景近似為一個(gè)平面的情形(例 如航拍的視頻）。當(dāng)場景中有多個(gè)平面時(shí)，容易出現(xiàn)誤檢和漏檢。此外，上述的方法在幀差后 進(jìn)行二值化時(shí)對(duì)整個(gè)場景使用一個(gè)相同的閾值，這也會(huì)導(dǎo)致檢測效果不佳。如果閾值過高， 則運(yùn)動(dòng)目標(biāo)容易被漏檢，當(dāng)閾值設(shè)置過低時(shí)，又容易出現(xiàn)大量背景。

【發(fā)明內(nèi)容】

[0008] 本發(fā)明的目的在于提供一種基于多模型估計(jì)的面向移動(dòng)攝像機(jī)的運(yùn)動(dòng)目標(biāo)檢測 方法。
[0009] 本發(fā)明包括以下步驟：
[0010] A)對(duì)輸入視頻圖像序列進(jìn)行預(yù)處理，并進(jìn)行特征提取，將前一幀Ih和當(dāng)前幀1^ 取到的特征點(diǎn)（./L(.kV)>和進(jìn)行匹配，得到兩幅圖像間的多個(gè)匹配對(duì) 廠=丨./Γ I .V)，.//(", V)，/ = 1,…，％ 丨,./=丨,^ 標(biāo)，u和V為當(dāng)前幀Ik特征點(diǎn)坐標(biāo)，Nk-ι和Nk分別為前一幀和當(dāng)前幀的特征點(diǎn)數(shù)目，N為幀數(shù)，N、 Nk-i和Nk為自然數(shù)；
[0011 ] B)使用RANSAC方法從匹配對(duì)F中估計(jì)出第一個(gè)投影變換模型Si;
[0012] C)使用RANSAC方法從匹配對(duì)F中提取第二個(gè)投影變換模型S2;
[0013] D)分別使用兩個(gè)變換模型將Sl，S2fc前一幀Ih投影到當(dāng)前幀Ik并進(jìn)行幀差，得到 兩個(gè)差分圖di和cb;
[0014] E)將前一幀的檢測結(jié)果Μη作為置信區(qū)域，對(duì)步驟D)得到的兩個(gè)差分圖山和山進(jìn)行 二值化得到兩個(gè)二值化差分圖maski和mask2;
[0015] F)將步驟E)得到的兩個(gè)二值化差分圖maskdPmasks進(jìn)行邏輯與操作得到一個(gè)二值 化圖 maskAndk;
[0016] G)將步驟F)得到的二值化圖maskAndk進(jìn)行形態(tài)學(xué)處理得到最終的檢測結(jié)果Mk。
[0017] 在步驟A)中，所述對(duì)輸入視頻圖像序列進(jìn)行預(yù)處理的具體步驟可為：
[0018] A1)對(duì)圖像進(jìn)行灰度化處理；
[0019] A2)對(duì)圖像進(jìn)行一次高斯濾波操作去除噪聲；
[0020] A3)對(duì)圖像進(jìn)行SURF特征提?。?br>[0021] A4)將前一幀Ik-i和當(dāng)前幀"提取到的特征點(diǎn)和(f (x,>'))進(jìn)行匹配，得到 兩幅圖像間的多個(gè)匹配對(duì)
[0022] 在步驟B)中，所述從匹配對(duì)F中估計(jì)出第一個(gè)投影變換模型&的具體步驟可為：
[0023] B1)從匹配對(duì)F中隨機(jī)選取四個(gè)匹配對(duì)，根據(jù)公式：
[0024]
[0025] 計(jì)算出一個(gè)模型假設(shè)Si的9個(gè)參數(shù)(ao~a8)，其中11和￥為匹配對(duì)中前一幀特征點(diǎn)的 坐標(biāo)，X和y匹配對(duì)中當(dāng)前幀特征點(diǎn)坐標(biāo)；
[0026] B2)計(jì)算所有匹配對(duì)F相對(duì)于模型假SSi的投影誤差：
[0027] =1 ^ I
[0028]誤差小于閾值threshold的匹配對(duì)為內(nèi)點(diǎn)，否則為外點(diǎn)；統(tǒng)計(jì)模型假設(shè)&的內(nèi)點(diǎn)數(shù) hilicrs ；
[0029] B3)重復(fù)步驟B1)和B2)100次，選取內(nèi)點(diǎn)數(shù)最大的模型假設(shè)作為第一個(gè)投影變換模 型S1:
[0030]
[0031] 在步驟C)中，所述從匹配對(duì)F中提取第二個(gè)投影變換模型&的具體步驟可為：
[0032] C1)計(jì)算所有匹配對(duì)F在第一個(gè)投影變換模型下的投影誤差：
[0033]
[0034 ]誤差小于閾值thr e sho 1 di的匹配對(duì)為內(nèi)點(diǎn)，否則為外點(diǎn)。
[0035] C2)使用RANSAC方法從步驟C1)得到的第一個(gè)投影變換模型Si的外點(diǎn)中估計(jì)出第 二個(gè)投影變換模型S2。
[0036] 在步驟D)中，所述分別使用兩個(gè)變換模型將前一幀Ih投影到當(dāng)前幀Ik并 進(jìn)行幀差，得到兩個(gè)差分圖cU和d 2的具體步驟可為：
[0037] D1)利用步驟B)估計(jì)得到的投影變換模型SJ#前一幀Ih變換到當(dāng)前幀Ik的坐標(biāo)系 下，并與當(dāng)前幀進(jìn)行幀差，得到第一個(gè)差分圖d 1;
[0038] D2)利用步驟C)估計(jì)得到的投影變換模型前一幀Ih變換到當(dāng)前幀Ik的坐標(biāo)系 下，并與當(dāng)前幀進(jìn)行幀差，得到第二個(gè)差分圖d 2。
[0039] 在步驟E)中，所述將前一幀的檢測結(jié)果Μη作為置信區(qū)域，對(duì)步驟D)得到的兩個(gè)差 分圖di和d2進(jìn)行二值化得到兩個(gè)二值化差分圖maski和mask2的具體步驟可為：
[0040] E1)將前一幀的檢測結(jié)果Μη的前景區(qū)域進(jìn)行膨脹操作，得到置信圖ML ;
[0041] E2)根據(jù)步驟El)得到的置信圖M。，將步驟D1)得到的差分圖cU分為置信區(qū)域dlc 和非置信區(qū)域din;
[0042] E3)根據(jù)二值化閾值thresholds將步驟E2)得到的差分圖cU的置信區(qū)域dlc進(jìn)行二 值化，根據(jù)二值化閾值thresholds將步驟E2)得到的差分圖cU的非置信區(qū)域d ln進(jìn)行二值化， 從而得到二值化差分圖mash;
[0043] E4)根據(jù)步驟El)得到的置信圖Μ。，將步驟D2)得到的差分圖d2分為置信區(qū)域d2c 和非置信區(qū)域d2n;
[0044] E5)跟據(jù)二值化閾值thr e sho 1 d2將步驟E5)得到的差分圖d2的置信區(qū)域d2c進(jìn)行二 值化，根據(jù)二值化閾值thresholds將步驟E5)得到的差分圖d 2的非置信區(qū)域d2n進(jìn)行二值化， 從而得到二值化差分圖mask2〇
[0045] 在步驟G)中，所述將步驟F)得到的二值化圖maskAndk進(jìn)行形態(tài)學(xué)處理的具體步驟 可為：
[0046] G1)將步驟F)得到的二值化圖進(jìn)行閉運(yùn)算得到二值化圖maskAndClosek;
[0047] G2)將步驟G1)得到的二值化圖maskAndClosek進(jìn)行開運(yùn)算得到最終的檢測結(jié)果Mk。
[0048]本發(fā)明首先利用RANSAC方法從相鄰幀的特征點(diǎn)匹配對(duì)中估計(jì)出兩個(gè)變換模型。使 用者兩個(gè)變換模型分別進(jìn)行一次投影和幀差。然后根據(jù)置信區(qū)域?qū)蓚€(gè)幀差圖的置信區(qū)域 和非置信區(qū)域分別進(jìn)行二值化。最后將兩個(gè)二值化幀差圖進(jìn)行邏輯與操作，完成運(yùn)動(dòng)目標(biāo) 檢測。本發(fā)明利用魯棒模型擬合方法從相鄰幀的匹配對(duì)中估計(jì)出兩個(gè)模型，也即從場景中 提取出兩個(gè)主平面，從而能夠使用于復(fù)雜場景下的運(yùn)動(dòng)目標(biāo)檢測。兩個(gè)模型分別進(jìn)行一次 幀差二值化，通過對(duì)兩個(gè)二值化幀差圖進(jìn)行漏記與操作能較好的去除誤檢。本發(fā)明還提出 了基于置信區(qū)域的幀差圖像二值化。對(duì)置信區(qū)域使用一個(gè)較小的二值化閾值，使得運(yùn)動(dòng)目 標(biāo)能更加完整的檢測出來。對(duì)非置信區(qū)域使用一個(gè)較大的二值化閾值，使得背景能夠更好 的被去除。另外，本發(fā)明使用投影變換模型來描述兩幀之間的映射關(guān)系。投影變換是一種非 線性變換，它比傳統(tǒng)方法使用的仿射變換能更好的適應(yīng)存在嚴(yán)重視差、景深等的場景。
【附圖說明】
[0049]圖1為本發(fā)明實(shí)施例的兩個(gè)變換模型內(nèi)點(diǎn)分布不意圖。其中三角形代表的是第一 個(gè)投影變換結(jié)構(gòu)的內(nèi)點(diǎn)，正方形代表的是第二個(gè)投影變換模型的內(nèi)點(diǎn)，十字形代表的是噪 聲點(diǎn)。
[0050]圖2為本發(fā)明實(shí)施例的置信區(qū)域圖。其中白色區(qū)域?yàn)橹眯艆^(qū)域，黑色區(qū)域?yàn)榉侵眯?區(qū)域。
[0051 ]圖3為本發(fā)明實(shí)施例的第一個(gè)二值化差分圖。
[0052]圖4為本發(fā)明實(shí)施例的第二個(gè)二值化差分圖。
[0053]圖5為本發(fā)明實(shí)施例的兩個(gè)二值化差分圖進(jìn)行邏輯與操作的結(jié)果圖。
[0054]圖6為本發(fā)明實(shí)施例的經(jīng)過形態(tài)學(xué)處理后的檢測結(jié)果圖。
【具體實(shí)施方式】
[0055] 下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明的方法作詳細(xì)說明，本實(shí)施例在以本發(fā)明技術(shù)方 案為前提下進(jìn)行實(shí)施，給出了實(shí)施方式和具體操作過程，但本發(fā)明的保護(hù)范圍不限于下述 的實(shí)施例。
[0056] 本發(fā)明實(shí)施例的實(shí)施方式包括以下步驟：
[0057] S1)對(duì)輸入視頻圖像序列進(jìn)行預(yù)處理，并進(jìn)行特征提取。將前一幀1^和當(dāng)前幀Ik 提取到的特征點(diǎn)(尤辦汀)）和(./以W))進(jìn)行匹配，得到兩幅圖像間的多個(gè)匹配對(duì)
，其中X和y為前一幀Ik-ι特征點(diǎn) 坐標(biāo)，u和v為當(dāng)前幀Ik特征點(diǎn)坐標(biāo)，Nk-dPNk分別為前一幀和當(dāng)前幀的特征點(diǎn)數(shù)目，數(shù)量級(jí)通 常在10 3以上。N為幀數(shù)，N、Nk-1和Nk為自然數(shù)。
[0058]具體包括:對(duì)圖像進(jìn)行灰度化處理。
[0059] 對(duì)圖像進(jìn)行一次高斯濾波操作去除噪聲。高斯濾波的大小一般取為3X3,標(biāo)準(zhǔn)差 一般取為1。
[0060] 對(duì)圖像進(jìn)行SURF特征提取。
[0061] 將前一幀Ik-dP當(dāng)前幀Ik提取到的特征點(diǎn)(Uw?和(//(x,.v))進(jìn)行匹配，得到兩 幅圖像間的多個(gè)匹配對(duì)廠=.丨./? i(.V,V)!.
[0062] S2)使用RANSAC方法從匹配對(duì)F中估計(jì)出第一個(gè)投影變換模型Si。
[0063] 具體包括:從匹配對(duì)F中隨機(jī)選取四個(gè)匹配對(duì)，根據(jù)公式
[0064]
[0065] 計(jì)算出一個(gè)模型假設(shè)Si的9個(gè)參數(shù)(ao~a8)。其中11和￥為匹配對(duì)中前一幀特征點(diǎn)的 坐標(biāo)，χ和y匹配對(duì)中當(dāng)前幀特征點(diǎn)坐標(biāo)。
[0066] 計(jì)算所有匹配對(duì)F相對(duì)于模型假SSi的投影誤差：
[0067]
[0068]誤差小于閾值threshold的匹配對(duì)為內(nèi)點(diǎn)，否則為外點(diǎn)。統(tǒng)計(jì)模型假設(shè)&的內(nèi)點(diǎn)數(shù) Iniie!\ 〇
[0069] 重復(fù)上述兩個(gè)步驟100次，選取內(nèi)點(diǎn)數(shù)最大的模型假設(shè)作為第一個(gè)投影變換模型 Si：
[0070] ^
[0071 ] S3)使用RANSAC方法從匹配對(duì)F中提取第二個(gè)投影變換模型S2。
[0072] 具體包括:計(jì)算所有匹配對(duì)F在第一個(gè)投影變換模型下的投影誤差：
[0073]
[0074] 誤差小于閾值thresholdi(通常1.5<thresholdi<3.5)的匹配對(duì)為內(nèi)點(diǎn)，否則為 外點(diǎn)。
[0075] 使用RANSAC方法從步驟S3得到的第一個(gè)投影變換模型外點(diǎn)中估計(jì)出第二個(gè) 投影變換模型&。如圖1所示，第一個(gè)投影變換模型的內(nèi)點(diǎn)(三角形點(diǎn))集中分布在水平的地 面這一個(gè)平面上，第二個(gè)投影變換模型點(diǎn)（正方形點(diǎn))集中分布在豎直的建筑物和數(shù)目這一 個(gè)平面上。
[0076] S4)分別使用兩個(gè)變換模型將SI&把前一幀1^投影到當(dāng)前幀Ik并進(jìn)行幀差，得到 兩個(gè)差分圖di和cb。
[0077] 具體包括:利用步驟S2估計(jì)得到的投影變換模型前一幀Ih變換到當(dāng)前幀Ik的 坐標(biāo)系下，并與當(dāng)前幀進(jìn)行幀差，得到第一個(gè)差分圖du
[0078] 利用步驟S3估計(jì)得到的投影變換模型&將前一幀Ih變換到當(dāng)前幀Ik的坐標(biāo)系下， 并與當(dāng)前幀進(jìn)行幀差，得到第二個(gè)差分圖d 2。
[0079] S5)將前一幀的檢測結(jié)果Μη作為置信區(qū)域，對(duì)步驟S4得到的兩個(gè)差分圖cU和d2進(jìn) 行二值化得到兩個(gè)二值化差分圖maski和mask〗。圖3為第一個(gè)二值化差分圖maski，圖4為第 二個(gè)二值化差分圖mask2〇
[0080] 具體包括:將前一幀的檢測結(jié)果Mk-i的前景區(qū)域進(jìn)行膨脹操作，得到置信圖Μ。。 如圖2所示，白色部分為置信區(qū)域。
[0081] 根據(jù)置信圖ML，將步驟S4得到的差分圖cb分為置信區(qū)域dlc和非置信區(qū)域dln。
[0082] 根據(jù)二值化閾值threshold2(通常15<1:11^811〇1(12<25)將差分圖(11的置信區(qū)域(11。 進(jìn)行二值化，根據(jù)二值化閾值thresholds (通常3(X thresholds <40)將差分圖di的非置信 區(qū)域dln進(jìn)行二值化，從而得到二值化差分圖masku
[0083] 根據(jù)置信圖，將步驟S4得到的差分圖d2分為置信區(qū)域d2c和非置信區(qū)域d2n。
[0084] 跟據(jù)二值化閾值thresholds將差分圖辦的置信區(qū)域d2c進(jìn)行二值化，根據(jù)二值化閾 值thresholds將差分圖d 2的非置信區(qū)域d2n進(jìn)行二值化，從而得到二值化差分圖masks。
[0085] S6)將步驟S5)得到的兩個(gè)二值化差分圖maskdPmasks進(jìn)行邏輯與操作得到一個(gè)二 值化圖maskAndk。如圖5所示，其中黑色區(qū)域?yàn)楸尘?，白色區(qū)域?yàn)闄z測出的運(yùn)動(dòng)目標(biāo)位置。
[0086] S7)將步驟S6得到的二值化圖maskAndk進(jìn)行形態(tài)學(xué)處理得到最終的檢測結(jié)果Mk。
[0087] 具體包括:將步驟S6得到的二值化圖進(jìn)行閉運(yùn)算得到二值化圖maskAndClosek。
[0088]將二值化圖maskAndClosek進(jìn)行開運(yùn)算得到最終的檢測結(jié)果Mk。如圖6所示，其中黑 色區(qū)域?yàn)楸尘埃咨珔^(qū)域?yàn)闄z測出的運(yùn)動(dòng)目標(biāo)位置。
【主權(quán)項(xiàng)】
1. 基于多模型估計(jì)的面向移動(dòng)攝像機(jī)的運(yùn)動(dòng)目標(biāo)檢測方法，其特征在于包括W下步 驟： A) 對(duì)輸入視頻圖像序列進(jìn)行預(yù)處理，并進(jìn)行特征提取，將前一帖Ik-1和當(dāng)前帖Ik提取到 的特征點(diǎn)（后(.W，)）和（//托W)進(jìn)行匹配，得到兩幅圖像間的多個(gè)匹配對(duì) f = ?尼如，八 Λ''("，v：M' = レ..，Λζ^一，y = レ..，W4-乂 = l，...，W，其中χ和y為前一帖Ik-l特征點(diǎn)坐 標(biāo)，U和V為當(dāng)前帖Ik特征點(diǎn)坐標(biāo)，Nk-1和Nk分別為前一帖和當(dāng)前帖的特征點(diǎn)數(shù)目，Ν為帖數(shù)，Ν、 Nk-i和Nk為自然數(shù)； B) 使用RANSAC方法從匹配對(duì)F中估計(jì)出第一個(gè)投影變換模型Si; C) 使用RANSAC方法從匹配對(duì)F中提取第二個(gè)投影變換模型S2; D) 分別使用兩個(gè)變換模型將Si，S2把前一帖Ik-1投影到當(dāng)前帖Ik并進(jìn)行帖差，得到兩個(gè) 差分圖山和cb; E) 將前一帖的檢測結(jié)果Mk-i作為置信區(qū)域，對(duì)步驟D)得到的兩個(gè)差分圖山和cb進(jìn)行二值 化得到兩個(gè)二值化差分圖maski和masks; F) 將步驟E)得到的兩個(gè)二值化差分圖maski和masks進(jìn)行邏輯與操作得到一個(gè)二值化圖 m曰skAndk; G) 將步驟F)得到的二值化圖maskAndk進(jìn)行形態(tài)學(xué)處理得到最終的檢測結(jié)果Mk。2. 如權(quán)利要求1所述基于多模型估計(jì)的面向移動(dòng)攝像機(jī)的運(yùn)動(dòng)目標(biāo)檢測方法，其特征 在于在步驟A)中，所述對(duì)輸入視頻圖像序列進(jìn)行預(yù)處理的具體步驟為： A1)對(duì)圖像進(jìn)行灰度化處理； A2)對(duì)圖像進(jìn)行一次高斯濾波操作去除噪聲； A3)對(duì)圖像進(jìn)行SURF特征提取； A4)將前一帖Ik-1和當(dāng)前帖Ik提取到的特征點(diǎn)(足1托W巧Ρ(//(.γ，.ν))進(jìn)行匹配，得到兩幅 圖像間的多個(gè)匹配對(duì)廠= .!./,M..v，.vU>'，,。3. 如權(quán)利要求1所述基于多模型估計(jì)的面向移動(dòng)攝像機(jī)的運(yùn)動(dòng)目標(biāo)檢測方法，其特征 在于在步驟B)中，所述從匹配對(duì)F中估計(jì)出第一個(gè)投影變換模型Si的具體步驟為： B1)從匹配對(duì)F中隨機(jī)選取四個(gè)匹配對(duì)，根據(jù)公式：計(jì)算出一個(gè)模型假設(shè)Si的9個(gè)參數(shù)(ao~曰8)，其中U和V為匹配對(duì)中前一帖特征點(diǎn)的坐 標(biāo)，X和y匹配對(duì)中當(dāng)前帖特征點(diǎn)坐標(biāo)； B2)計(jì)算所有匹配對(duì)F相對(duì)于模型假設(shè)Si的投影誤差：誤差小于闊值thresholdi的匹配對(duì)為內(nèi)點(diǎn)，否則為外點(diǎn)；統(tǒng)計(jì)模型假設(shè)Si的內(nèi)點(diǎn)數(shù) B3)重復(fù)步驟B1)和B2H00次，選取內(nèi)點(diǎn)數(shù)最大的模型假設(shè)作為第一個(gè)投影變換模型Si:4. 如權(quán)利要求1所述基于多模型估計(jì)的面向移動(dòng)攝像機(jī)的運(yùn)動(dòng)目標(biāo)檢測方法，其特征 在于在步驟C)中，所述從匹配對(duì)F中提取第二個(gè)投影變換模型S2的具體步驟為： C1)計(jì)算所有匹配對(duì)F在第一個(gè)投影變換模型下的投影誤差：誤差小于闊值thre sho 1山的匹配對(duì)為內(nèi)點(diǎn)，否則為外點(diǎn)； C2)使用RANSAC方法從步驟C1)得到的第一個(gè)投影變換模型Si的外點(diǎn)中估計(jì)出第二個(gè)投 影變換模型S2。5. 如權(quán)利要求1所述基于多模型估計(jì)的面向移動(dòng)攝像機(jī)的運(yùn)動(dòng)目標(biāo)檢測方法，其特征 在于在步驟D)中，所述分別使用兩個(gè)變換模型將Si，S2把前一帖Ik-很影到當(dāng)前帖Ik并進(jìn)行 帖差，得到兩個(gè)差分圖山和cb的具體步驟為： D1)利用步驟B)估計(jì)得到的投影變換模型Si將前一帖Ik-1變換到當(dāng)前帖Ik的坐標(biāo)系下， 并與當(dāng)前帖進(jìn)行帖差，得到第一個(gè)差分圖山； D2)利用步驟C)估計(jì)得到的投影變換模型S2將前一帖Ik-1變換到當(dāng)前帖Ik的坐標(biāo)系下， 并與當(dāng)前帖進(jìn)行帖差，得到第二個(gè)差分圖cb。6. 如權(quán)利要求1所述基于多模型估計(jì)的面向移動(dòng)攝像機(jī)的運(yùn)動(dòng)目標(biāo)檢測方法，其特征 在于在步驟E)中，所述將前一帖的檢測結(jié)果Mk-i作為置信區(qū)域，對(duì)步驟D)得到的兩個(gè)差分圖 山和d2進(jìn)行二值化得到兩個(gè)二值化差分圖maski和masks的具體步驟為： E1)將前一帖的檢測結(jié)果Mk-i的前景區(qū)域進(jìn)行膨脹操作，得到置信圖Mti; E2)根據(jù)步驟El)得到的置信圖將步驟D1)得到的差分圖di分為置信區(qū)域die和非 置信區(qū)域din; E3)根據(jù)二值化闊值thresholds將步驟E2)得到的差分圖di的置信區(qū)域die進(jìn)行二值化， 根據(jù)二值化闊值thresholds將步驟E2)得到的差分圖山的非置信區(qū)域din進(jìn)行二值化，從而 得到二值化差分圖maski; E4)根據(jù)步驟El)得到的置信圖A/y，將步驟D2)得到的差分圖cb分為置信區(qū)域cbc和非置 信區(qū)域Cbn; E5)跟據(jù)二值化闊值thresholds將步驟E5)得到的差分圖cb的置信區(qū)域cbc進(jìn)行二值化， 根據(jù)二值化闊值thresholds將步驟E5)得到的差分圖cb的非置信區(qū)域cbn進(jìn)行二值化，從而 得到二值化差分圖masks。7. 如權(quán)利要求1所述基于多模型估計(jì)的面向移動(dòng)攝像機(jī)的運(yùn)動(dòng)目標(biāo)檢測方法，其特征 在于在步驟G)中，所述將步驟巧得到的二值化圖maskAndk進(jìn)行形態(tài)學(xué)處理的具體步驟為： G1)將步驟F)得到的二值化圖進(jìn)行閉運(yùn)算得到二值化圖maskAndClosek; G2)將步驟G1)得到的二值化圖maskAndClosek進(jìn)行開運(yùn)算得到最終的檢測結(jié)果Mk。
【文檔編號(hào)】G06K9/00GK105975918SQ201610278401
【公開日】2016年9月28日
【申請日】2016年4月29日
【發(fā)明人】王菡子, 王興, 嚴(yán)嚴(yán)
【申請人】廈門大學(xué)