專利名稱：運(yùn)動(dòng)特征點(diǎn)檢測(cè)方法及裝置、運(yùn)動(dòng)目標(biāo)檢測(cè)方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉 及一種從不少于三幀的多幀序列圖像中檢測(cè)出運(yùn)動(dòng)特征點(diǎn)以及運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)特征點(diǎn)檢測(cè)方法及裝置、運(yùn)動(dòng)目標(biāo)檢測(cè)方法及裝置。
背景技術(shù)：
作為對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)的現(xiàn)有技術(shù)，有公開號(hào)為CN101290682A、CN101266689A、 CN101561932A等的中國(guó)專利公開文獻(xiàn)中所公開的技術(shù)。在公開號(hào)為CN101290682A(申請(qǐng)?zhí)?00810115591. 1)的中國(guó)專利公開文獻(xiàn)中所公開的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，包括如下步驟將當(dāng)前輸入圖像投影到背景模型上，得到所述當(dāng)前輸入圖像的特征圖像；將所述特征圖像反投影到所述背景模型上，得到所述當(dāng)前輸入圖像的重建圖像；通過(guò)比較所述當(dāng)前輸入圖像和所述重建圖像，確定所述當(dāng)前輸入圖像上的運(yùn)動(dòng)目標(biāo)圖像。如上所述，在通過(guò)這種運(yùn)動(dòng)目標(biāo)檢測(cè)方法進(jìn)行檢測(cè)時(shí)，由于包括建立背景模型、特征圖像的提取、重建圖像、輸入圖像和重建圖像的比較等等步驟，所以其運(yùn)算量非常大。在中國(guó)專利公開文獻(xiàn)CN101266689A(申請(qǐng)?zhí)?00810104665. 1)中所公開的運(yùn)動(dòng)
目標(biāo)檢測(cè)方法，包括如下步驟利用當(dāng)前輸入圖像的前若干幀圖像中的像素點(diǎn)的像素值，計(jì)算當(dāng)前輸入圖像的像素點(diǎn)的概率密度值來(lái)建立背景模型；將當(dāng)前輸入圖像的像素點(diǎn)的概率密度值與預(yù)先設(shè)定的閾值進(jìn)行比較，確定當(dāng)前輸入圖像上的運(yùn)動(dòng)目標(biāo)圖像，作為前景。在該運(yùn)動(dòng)目標(biāo)檢測(cè)方法中，也是通過(guò)計(jì)算出整幅圖像的各個(gè)像素點(diǎn)的概率密度值來(lái)建立背景模型，并將當(dāng)前輸入圖像的各個(gè)像素點(diǎn)與所述的概率密度值進(jìn)行比較，因此其運(yùn)算量也非常大。在中國(guó)專利公開文獻(xiàn)CN101561932A(申請(qǐng)?zhí)?00910084007. 5)中所公開的動(dòng)態(tài)復(fù)雜背景下的實(shí)時(shí)運(yùn)動(dòng)目標(biāo)檢測(cè)方法，包括如下步驟從視頻中獲取幀圖像，確定當(dāng)前幀圖像中顏色的協(xié)方差，并獲得所述幀圖像的灰度圖像；獲得所述灰度圖像中像素點(diǎn)的灰度值和梯度值，根據(jù)得到的所述像素點(diǎn)的灰度值、梯度值和預(yù)定參數(shù)確定像素點(diǎn)值，判斷所述像素點(diǎn)值是否小于前一幀圖像中確定的顏色的協(xié)方差的預(yù)定倍數(shù)，若是，則所述像素點(diǎn)為背景點(diǎn)，若否，則所述像素點(diǎn)為前景點(diǎn)，所述前景點(diǎn)的集合為實(shí)時(shí)運(yùn)動(dòng)目標(biāo)。根據(jù)該運(yùn)動(dòng)目標(biāo)檢測(cè)方法，需要對(duì)視頻中的當(dāng)前幀圖像比較各個(gè)像素點(diǎn)獲得所述灰度圖像中像素點(diǎn)的灰度值和梯度值，并判斷該各個(gè)像素點(diǎn)值是否小于前一幀圖像中確定的顏色的協(xié)方差的預(yù)定倍數(shù)，由此來(lái)判斷是背景點(diǎn)還是前景點(diǎn)。由于需要對(duì)圖像中的每一個(gè)點(diǎn)進(jìn)行所述的計(jì)算和處理，因此，其運(yùn)算量也非常大。如上所述，上述現(xiàn)有的各種運(yùn)動(dòng)目標(biāo)檢測(cè)方法中，都存在有其運(yùn)算量較大的問(wèn)題。 尤其是，在裝載攝像機(jī)的汽車高速行駛的情況下，在短時(shí)間內(nèi)，利用該攝像機(jī)拍攝的圖像可能會(huì)很多，而且，如果利用上述的現(xiàn)有的運(yùn)動(dòng)目標(biāo)檢測(cè)方法檢測(cè)運(yùn)動(dòng)目標(biāo)，則由于運(yùn)算量過(guò)大，所以有時(shí)不能滿足實(shí)時(shí)檢測(cè)的要求。

發(fā)明內(nèi)容
鑒于現(xiàn)有技術(shù)中的上述技術(shù)問(wèn)題，本發(fā)明的目的在于，提供一種能夠以較少的計(jì)算量簡(jiǎn)單地檢測(cè)出運(yùn)動(dòng)特征點(diǎn)及運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)特征點(diǎn)檢測(cè)方法及裝置以及運(yùn)動(dòng)目標(biāo)檢測(cè)方法及裝置。為了實(shí)現(xiàn)上述技術(shù)問(wèn)題，本申請(qǐng)的第一方案的運(yùn)動(dòng)特征點(diǎn)檢測(cè)方法，從不少于3 幀的多幀序列圖像中檢測(cè)出運(yùn)動(dòng)特征點(diǎn)，其特征在于，包括初始特征點(diǎn)檢測(cè)步驟，將上述多幀序列圖像中的某一幀圖像作為初始圖像，從該初始圖像中檢測(cè)出初始特征點(diǎn)；初始特征點(diǎn)跟蹤軌跡獲取步驟，在上述多幀序列圖像中的除了上述初始圖像的其它圖像中，跟蹤檢測(cè)上述初始特征點(diǎn)的跟蹤點(diǎn)，按圖像序列的順序連接上述初始圖像中的上述初始特征點(diǎn)的位置以及上述其它圖像中的上述初始特征點(diǎn)的跟蹤點(diǎn)的位置，從而形成初始特征點(diǎn)跟蹤軌跡；初始特征點(diǎn)參照軌跡獲取步驟，根據(jù)攝像機(jī)內(nèi)參數(shù)以及攝像機(jī)運(yùn)動(dòng)參數(shù)，計(jì)算出上述初始特征點(diǎn)在各上述其它圖像中所應(yīng)在的參照點(diǎn)，按圖像序列的順序連接初始圖像中的上述初始特征點(diǎn)的位置以及上述初始特征點(diǎn)在上述其它圖像中所應(yīng)在的參照點(diǎn)的位置，從而形成初始特征點(diǎn)參照軌跡；以及運(yùn)動(dòng)特征點(diǎn)判斷步驟，比較上述初始特征點(diǎn)參照軌跡和上述初始特征點(diǎn)跟蹤軌跡，當(dāng)上述初始特征點(diǎn)參照軌跡和上述初始特征點(diǎn)跟蹤軌跡的相似度小于預(yù)定值時(shí)，將該初始特征點(diǎn)判斷為運(yùn)動(dòng)特征點(diǎn)。

上述運(yùn)動(dòng)特征點(diǎn)檢測(cè)方法，優(yōu)選上述初始特征點(diǎn)跟蹤軌跡獲取步驟包括誤跟蹤判斷步驟，該誤跟蹤判斷步驟在上述初始特征點(diǎn)跟蹤軌跡符合以下三種情形之一時(shí)，判斷為誤跟蹤(a)上述初始特征點(diǎn)跟蹤軌跡中的某兩個(gè)跟蹤點(diǎn)之間的線段的長(zhǎng)度超過(guò)預(yù)定長(zhǎng)度；(b)上述初始特征點(diǎn)跟蹤軌跡中某兩個(gè)相鄰的線段向量之間的夾角超過(guò)預(yù)定角度；(C) 在上述多幀序列圖像為4幀以上的情況下，上述初始特征點(diǎn)跟蹤軌跡中某三個(gè)相鄰的線段表現(xiàn)為先向一側(cè)轉(zhuǎn)彎、后向另一側(cè)轉(zhuǎn)彎；在上述誤跟蹤判斷步驟判斷為誤跟蹤時(shí)，在上述初始特征點(diǎn)跟蹤軌跡獲取步驟去除該判斷為誤跟蹤的初始特征點(diǎn)跟蹤軌跡。本申請(qǐng)的第二方案的運(yùn)動(dòng)特征點(diǎn)檢測(cè)裝置，從不少于3幀的多幀序列圖像中檢測(cè)出運(yùn)動(dòng)特征點(diǎn)，其特征在于，包括初始特征點(diǎn)檢測(cè)單元，將上述多幀序列圖像中的某一幀圖像作為初始圖像，從該初始圖像中檢測(cè)出初始特征點(diǎn)；初始特征點(diǎn)跟蹤軌跡獲取單元，在上述多幀序列圖像中的除了上述初始圖像的其它圖像中，跟蹤檢測(cè)上述初始特征點(diǎn)的跟蹤點(diǎn)，按圖像序列的順序連接上述初始圖像中的上述初始特征點(diǎn)的位置以及上述其它圖像中的上述初始特征點(diǎn)的跟蹤點(diǎn)的位置，從而形成初始特征點(diǎn)跟蹤軌跡；初始特征點(diǎn)參照軌跡獲取單元，根據(jù)攝像機(jī)內(nèi)參數(shù)以及攝像機(jī)運(yùn)動(dòng)參數(shù)，計(jì)算出上述初始特征點(diǎn)在各上述其它圖像中所應(yīng)在的參照點(diǎn)，按圖像序列的順序連接上述初始圖像中的上述初始特征點(diǎn)的位置以及上述初始特征點(diǎn)在上述其它圖像中所應(yīng)在的參照點(diǎn)的位置，從而形成初始特征點(diǎn)參照軌跡；以及運(yùn)動(dòng)特征點(diǎn)判斷單元，比較上述初始特征點(diǎn)參照軌跡和上述初始特征點(diǎn)跟蹤軌跡，當(dāng)上述初始特征點(diǎn)參照軌跡和上述初始特征點(diǎn)跟蹤軌跡的相似度小于預(yù)定值時(shí)，將該初始特征點(diǎn)判斷為運(yùn)動(dòng)特征點(diǎn)。本申請(qǐng)的第三方案的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，從不少于3幀的多幀序列圖像中檢測(cè)出運(yùn)動(dòng)特征點(diǎn)，其特征在于，包括初始特征點(diǎn)檢測(cè)步驟，將上述多幀序列圖像中的某一幀圖像作為初始圖像，從該初始圖像中檢測(cè)出初始特征點(diǎn)；初始特征點(diǎn)跟蹤軌跡獲取步驟，在上述多幀序列圖像中的除了上述初始圖像的其它圖像中，跟蹤檢測(cè)上述初始特征點(diǎn)的跟蹤點(diǎn)，按圖像序列的順序連接上述初始圖像中的上述初始特征點(diǎn)的位置以及上述其它圖像中的上述初始特征點(diǎn)的跟蹤點(diǎn)的位置，從而形成初始特征點(diǎn)跟蹤軌跡；初始特征點(diǎn)參照軌跡獲取步驟，根據(jù)攝像機(jī)內(nèi)參數(shù)以及攝像機(jī)運(yùn)動(dòng)參數(shù)，計(jì)算出上述初始特征點(diǎn)在各上述其它圖像中所應(yīng)在的參照點(diǎn)，按圖像序列的順序連接初始圖像中的上述初始特征點(diǎn)的位置以及上述初始特征點(diǎn)在上述其它圖像中所應(yīng)在的參照點(diǎn)的位置，從而形成初始特征點(diǎn)參照軌跡；以及運(yùn)動(dòng)特征點(diǎn)判斷步驟，比較上述初始特征點(diǎn)參照軌跡和上述初始特征點(diǎn)跟蹤軌跡， 當(dāng)上述初始特征點(diǎn)參照軌跡和上述初始特征點(diǎn)跟蹤軌跡的相似度小于預(yù)定值時(shí)，將該初始特征點(diǎn)判斷為運(yùn)動(dòng)特征點(diǎn)。上述運(yùn)動(dòng)目標(biāo)檢測(cè)方法在上述初始特征點(diǎn)檢測(cè)步驟中從上述初始圖像中檢測(cè)出多個(gè)初始特征點(diǎn)，并對(duì)該多個(gè)初始特征點(diǎn)的每一個(gè)均執(zhí)行上述初始特征點(diǎn)跟蹤軌跡獲取步驟、上述初始特征點(diǎn)參照軌跡獲取步驟以及上述運(yùn)動(dòng)特征點(diǎn)判斷步驟，從而得到多個(gè)運(yùn)動(dòng)特征點(diǎn)。上述運(yùn)動(dòng)目標(biāo)檢測(cè)方法還包括運(yùn)動(dòng)特征點(diǎn)聚類步驟，將上述得到的多個(gè)運(yùn)動(dòng)特征點(diǎn)進(jìn)行聚類，形成各類的運(yùn)動(dòng)特征點(diǎn)的集合；以及運(yùn)動(dòng)目標(biāo)確定步驟，將在上述聚類步驟中聚類的各類的運(yùn)動(dòng)特征點(diǎn)的集合分別確定為各運(yùn)動(dòng)目標(biāo)。上述運(yùn)動(dòng)目標(biāo)檢測(cè)方法，優(yōu)選上述運(yùn)動(dòng)特征點(diǎn)聚類步驟包括種子點(diǎn)確定步驟，將在上述運(yùn)動(dòng)特征點(diǎn)判斷步驟判斷出的運(yùn)動(dòng)特征點(diǎn)中的未聚類的某一點(diǎn)作為第i類的第1個(gè)點(diǎn)，并將該第1個(gè)點(diǎn)作為種子點(diǎn)；聚類步驟，計(jì)算未聚類的運(yùn)動(dòng)特征點(diǎn)與上述種子點(diǎn)之間的距離，并將與該種子點(diǎn)的距離小于第1閾值的運(yùn)動(dòng)特征點(diǎn)聚類到上述第i類；第一重復(fù)步驟，分別將聚類到上述第i類的運(yùn)動(dòng)特征點(diǎn)中除了已經(jīng)作為上述種子點(diǎn)的運(yùn)動(dòng)特征點(diǎn)以外的其它運(yùn)動(dòng)特征點(diǎn)作為新的種子點(diǎn)，重復(fù)上述聚類步驟，直到未聚類的運(yùn)動(dòng)特征點(diǎn)中沒(méi)有能夠聚類到第i類的運(yùn)動(dòng)特征點(diǎn)為止；以及第二重復(fù)步驟，若還有未聚類的運(yùn)動(dòng)特征點(diǎn)，則進(jìn)行i = i+1運(yùn)算，重復(fù)上述種子點(diǎn)確定步驟、聚類步驟以及上述第一重復(fù)步驟，直到所有運(yùn)動(dòng)特征點(diǎn)都聚類為止，上述運(yùn)動(dòng)目標(biāo)確定步驟將在上述聚類步驟中聚類的所有聚到第i 類中的運(yùn)動(dòng)特征點(diǎn)確定為第i運(yùn)動(dòng)目標(biāo)。本發(fā)明的第四方案的運(yùn)動(dòng)目標(biāo)檢測(cè)裝置，從不少于3幀的多幀序列圖像中檢測(cè)出運(yùn)動(dòng)特征點(diǎn)，其特征在于，包括初始特征點(diǎn)檢測(cè)單元，將上述多幀序列圖像中的某一幀圖像作為初始圖像，從該初始圖像中檢測(cè)出初始特征點(diǎn)；初始特征點(diǎn)跟蹤軌跡獲取單元，在上述多幀序列圖像中的除了上述初始圖像的其它圖像中，跟蹤檢測(cè)上述初始特征點(diǎn)的跟蹤點(diǎn)，按圖像序列的順序連接上述初始圖像中的上述初始特征點(diǎn)的位置以及上述其它圖像中的上述初始特征點(diǎn)的跟蹤點(diǎn)的位置，從而形成初始特征點(diǎn)跟蹤軌跡；初始特征點(diǎn)參照軌跡獲取單元，根據(jù)攝像機(jī)內(nèi)參數(shù)以及攝像機(jī)運(yùn)動(dòng)參數(shù)，計(jì)算出上述初始特征點(diǎn)在各上述其它圖像中所應(yīng)在的參照點(diǎn)，按圖像序列的順序連接上述初始圖像中的上述初始特征點(diǎn)的位置以及上述初始特征點(diǎn)在上述其它圖像中所應(yīng)在的參照點(diǎn)的位置，從而形成初始特征點(diǎn)參照軌跡；運(yùn)動(dòng)特征點(diǎn)判斷單元，比較上述初始特征點(diǎn)參照軌跡和上述初始特征點(diǎn)跟蹤軌跡，當(dāng)上述初始特征點(diǎn)參照軌跡和上述初始特征點(diǎn)跟蹤軌跡的相似度小于預(yù)定值時(shí)，將該初始特征點(diǎn)判斷為運(yùn)動(dòng)特征點(diǎn)；以及運(yùn)動(dòng)特征點(diǎn)聚類單元，將由運(yùn)動(dòng)特征點(diǎn)判斷單元檢測(cè)到的多個(gè)運(yùn)動(dòng)特征點(diǎn)進(jìn)行聚類，形成各類的運(yùn)動(dòng)特征點(diǎn)的集合；運(yùn)動(dòng)目標(biāo)確定單元，將上述聚類單元聚類的各類的運(yùn)動(dòng)特征點(diǎn)的集合分別確定為各運(yùn)動(dòng)目標(biāo)。根據(jù)上述運(yùn)動(dòng)特征點(diǎn)檢測(cè)方法及裝置、運(yùn)動(dòng)目標(biāo)檢測(cè)方法和裝置的技術(shù)方案，由于對(duì)于除了初始圖像的其它圖像僅需要跟蹤檢測(cè)特征點(diǎn)，并且，僅對(duì)特征點(diǎn)的跟蹤軌跡和參照軌跡的相似度進(jìn)行比較，通過(guò)比較結(jié)果來(lái)判斷是否為運(yùn)動(dòng)特征點(diǎn)，因此能夠通過(guò)對(duì)較少的數(shù)據(jù)量進(jìn)行簡(jiǎn)單的處理即可檢測(cè)出運(yùn)動(dòng)特征點(diǎn)，進(jìn)而檢測(cè)出運(yùn)動(dòng)目標(biāo)，從而提高了運(yùn)算效率。并且，上述技術(shù)方案還具有簡(jiǎn)單易實(shí)現(xiàn)的優(yōu)點(diǎn)。此外，由于是利用多幅圖像檢測(cè)出運(yùn)動(dòng)目標(biāo)，因此，避免了不穩(wěn)定的特征點(diǎn)跟蹤和自運(yùn)動(dòng)估計(jì)造成誤識(shí)別的缺點(diǎn)，具有很好的
魯棒性。此外，根據(jù)上述運(yùn)動(dòng)特征點(diǎn)檢測(cè)方法及裝置、運(yùn)動(dòng)目標(biāo)檢測(cè)方法和裝置的技術(shù)方案，由于誤跟蹤判斷單元通過(guò)誤跟蹤判斷處理，去除該判斷為誤跟蹤的跟蹤軌跡，因此，因此大幅降低了運(yùn)動(dòng)目標(biāo)檢測(cè)的誤識(shí)別率。


圖1是表示本發(fā)明的實(shí)施方式1的運(yùn)動(dòng)特征點(diǎn)檢測(cè)裝置的框圖。圖2是表示本發(fā)明的實(shí)施方式1的運(yùn)動(dòng)特征點(diǎn)檢測(cè)方法的流程圖。

圖3是用于說(shuō)明目標(biāo)在畫面中成像的原理的圖。圖4中，(a)表示特征點(diǎn)參考軌跡和特征點(diǎn)跟蹤軌跡近似的情況，(b)表示特征點(diǎn)參考軌跡和特征點(diǎn)跟蹤軌跡非近似的情況。圖5是表示本發(fā)明的實(shí)施方式2的運(yùn)動(dòng)特征點(diǎn)檢測(cè)裝置的框圖。圖6中，(a)、(b)、(c)分別示出視為誤跟蹤的三種情形，(d)示出視為跟蹤無(wú)誤的情形。圖7是表示本發(fā)明的實(shí)施方式3的運(yùn)動(dòng)目標(biāo)檢測(cè)裝置的框圖。圖8是表示本發(fā)明的實(shí)施方式3的變形例的運(yùn)動(dòng)目標(biāo)檢測(cè)裝置的框圖。圖9是表示本發(fā)明的實(shí)施方式3的運(yùn)動(dòng)特征點(diǎn)聚類單元的框圖。圖10是表示本發(fā)明的實(shí)施方式3的運(yùn)動(dòng)目標(biāo)檢測(cè)方法中運(yùn)動(dòng)特征點(diǎn)聚類步驟的各子步驟和運(yùn)動(dòng)目標(biāo)確定步驟的流程圖。圖11是表示作為本發(fā)明的實(shí)施方式1 3的變形例的顯示裝置的框圖。
具體實(shí)施例方式以下，關(guān)于本發(fā)明的各實(shí)施方式，參照附圖進(jìn)行詳細(xì)說(shuō)明。再有，下面的各實(shí)施方式僅僅是用于說(shuō)明本發(fā)明的優(yōu)選實(shí)施方式，并不直接限定本發(fā)明的權(quán)利范圍。<實(shí)施方式1>下面，參照?qǐng)D1 4，說(shuō)明實(shí)施方式1的運(yùn)動(dòng)特征點(diǎn)檢測(cè)裝置1及運(yùn)動(dòng)特征點(diǎn)檢測(cè)方法。<運(yùn)動(dòng)特征點(diǎn)檢測(cè)裝置1的結(jié)構(gòu)>如圖1所示，用于從不少于三幀的多幀序列圖像中檢測(cè)出運(yùn)動(dòng)特征點(diǎn)的運(yùn)動(dòng)特征點(diǎn)檢測(cè)裝置1，包括初始特征點(diǎn)檢測(cè)單元2、初始特征點(diǎn)跟蹤軌跡獲取單元3、初始特征點(diǎn)參照軌跡獲取單元4以及運(yùn)動(dòng)特征點(diǎn)判斷單元5。初始特征點(diǎn)檢測(cè)單元2將多幀序列圖像中的某一幀圖像作為初始圖像，從該初始圖像中檢測(cè)出初始特征點(diǎn)。該初始圖像可以是上述多幀序列圖像中的第一幀圖像，也可以是上述多幀序列圖像中的最后一幀圖像，可以是該序列圖像中的任一順序的圖像。在本實(shí)施方式中，假設(shè)初始圖像為第t-n時(shí)刻的圖像，并且，初始特征點(diǎn)檢測(cè)單元2從初始圖像中檢測(cè)到的特征點(diǎn)集構(gòu)成點(diǎn)集Ft_n。在此，t > 3，η < t，t和η均為自然數(shù)。作為該初始特征點(diǎn)檢測(cè)單元2從圖像中檢測(cè)出特征點(diǎn)的特征點(diǎn)檢測(cè)方法，可以利用現(xiàn)有技術(shù)中的任何一種特征點(diǎn)檢測(cè)技術(shù)，只要該特征點(diǎn)檢測(cè)技術(shù)能夠有效地提取出特征點(diǎn)、并且滿足所要求的運(yùn)算效率就可以。在本實(shí)施方式中，優(yōu)選將圖像中目標(biāo)的角點(diǎn)作為特征點(diǎn)，并且，作為特征點(diǎn)檢測(cè)方法，例如可以利用Harris(哈里斯)角點(diǎn)檢測(cè)算子、SUSAN角點(diǎn)檢測(cè)算子和特征值的角點(diǎn)檢測(cè)算子等來(lái)進(jìn)行檢測(cè)，尤其優(yōu)選Harris (哈里斯)角點(diǎn)檢測(cè)算子初始特征點(diǎn)跟蹤軌跡獲取單元3用于在多幀圖像中的除了初始圖像的其它圖像中，跟蹤檢測(cè)初始特征點(diǎn)的跟蹤點(diǎn)，按圖像序列的順序連接初始圖像中的初始特征點(diǎn)的位置以及其它圖像中的初始特征點(diǎn)的跟蹤點(diǎn)的位置，從而形成初始特征點(diǎn)跟蹤軌跡。在本實(shí)施方式中，假設(shè)其它圖像為t時(shí)刻圖像。上述圖像序列的順序可以是圖像序列的正序，也可以是圖像序列的反序。作為初始特征點(diǎn)跟蹤軌跡獲取單元3在多幀圖像中的除了初始圖像的其它圖像中跟蹤檢測(cè)初始特征點(diǎn)的跟蹤方法，可以利用現(xiàn)有技術(shù)中的任何一種特征點(diǎn)跟蹤方法，只要該特征點(diǎn)跟蹤方法能夠有效地跟蹤特征點(diǎn)、并且滿足所要求的運(yùn)算效率就可以。例如， 常用的特征點(diǎn)匹配算法有模版匹配算法和光流追蹤算法等。在本實(shí)施方式中，優(yōu)選基于圖像金字塔光流的特征跟蹤方法(Lucas and Kanade，s pyramid-based optical flow algorithm,)來(lái)獲得匹配特征點(diǎn)。下面利用圖3，說(shuō)明本實(shí)施方式的初始特征點(diǎn)跟蹤軌跡獲取單元3獲取特征點(diǎn)跟蹤軌跡的方法。初始特征點(diǎn)跟蹤軌跡獲取單元3通過(guò)特征點(diǎn)跟蹤方法，對(duì)從上述第t-n時(shí)刻的圖像中提取到的各特征點(diǎn)在第t時(shí)刻圖像中的位置進(jìn)行匹配跟蹤，并記錄能夠在第t 時(shí)刻圖像中跟蹤到的特征點(diǎn)及其在t時(shí)刻圖像中的跟蹤點(diǎn)位置，構(gòu)成匹配點(diǎn)集Ft。之后，在第t時(shí)刻的圖像坐標(biāo)系中，按照?qǐng)D像序列的正序或者反序分別連接點(diǎn)集Ft_n、Ft中的相互匹配的特征點(diǎn)，從而形成各初始特征點(diǎn)的跟蹤軌跡。取點(diǎn)P(u，v) e Ft_n及其在第t時(shí)刻圖像中的匹配點(diǎn)P' (u' ,ν' ) eFt，在第t時(shí)刻圖像中，這對(duì)點(diǎn)構(gòu)成跟蹤軌跡向量f = ρ' -ρ
=(U' -U, V' -ν) O初始特征點(diǎn)跟蹤軌跡獲取單元3同樣也可以在第t-n+1時(shí)刻、……、第t_l時(shí)刻圖像中，對(duì)從上述第t-n時(shí)刻的圖像中提取到的各特征點(diǎn)進(jìn)行匹配跟蹤，從而構(gòu)成點(diǎn)集 Ft_n+1、……、Ft_i，并最終在第t時(shí)刻圖像中，按照?qǐng)D像序列的正序或者反序分別連接各特征點(diǎn)的匹配點(diǎn)，從而形成各初始特征點(diǎn)的跟蹤軌跡，例如，在圖4(a)、(b)中，Q點(diǎn)為初始圖像 (第t-n時(shí)刻，此時(shí)，t為5，η為5)中提取的某一初始特征點(diǎn)，Ι\、Τ2、Τ3、Τ4分別為上述Q點(diǎn)在第t-η+Ι時(shí)刻、第t-n+2時(shí)刻、第t-n+3時(shí)刻、第t_n+4時(shí)刻的跟蹤點(diǎn)，Q、T1, T2, T3> T4五點(diǎn)在第t時(shí)刻的圖像中連接形成了初始特征點(diǎn)Q的跟蹤軌跡。在上述中，在第t時(shí)刻的圖像坐標(biāo)系中，按照?qǐng)D像序列的正序或反序分別連接點(diǎn)集Ft_n、……、Ft中的相互匹配的特征點(diǎn)，從而形成特征點(diǎn)跟蹤軌跡，但是也可以在第t-n時(shí)亥IJ、第t-η+Ι時(shí)刻、……、第t-Ι時(shí)刻中任一時(shí)刻的圖像坐標(biāo)系中，按照?qǐng)D像序列的正序或反序分別連接點(diǎn)集Ft_n、……、Ft中的相互匹配的特征點(diǎn)，從而形成各初始特征點(diǎn)的特征點(diǎn)跟蹤軌跡。初始特征點(diǎn)參照軌跡獲取單元4根據(jù)攝像機(jī)內(nèi)參數(shù)以及攝像機(jī)運(yùn)動(dòng)參數(shù)，計(jì)算出初始特征點(diǎn)在各其它圖像中所應(yīng)在的參照點(diǎn)，按圖像序列的順序連接初始圖像中的初始特征點(diǎn)的位置以及初始特征點(diǎn)在其它圖像中所應(yīng)在的參照點(diǎn)的位置，從而形成初始特征點(diǎn)參照軌跡。在上述中，攝像機(jī)內(nèi)參數(shù)是指攝像機(jī)成像所涉及到的攝像機(jī)的各種性能參數(shù)，攝像機(jī)運(yùn)動(dòng)參數(shù)是指在攝像機(jī)處于運(yùn)動(dòng)的狀態(tài)下的其運(yùn)動(dòng)參數(shù)。首先，參照?qǐng)D3說(shuō)明運(yùn)動(dòng)特征點(diǎn)在圖像中所形成的運(yùn)動(dòng)向量。如圖3所示建立攝像機(jī)坐標(biāo)系，Zc軸沿?cái)z像機(jī)光軸方向，Yc垂直于道路平面。對(duì)于第t-η時(shí)刻圖像中特征點(diǎn) P(u, v) e Ft_n的實(shí)際目標(biāo)點(diǎn)為P，假設(shè)它是直線ρΡ上在Y。軸坐標(biāo)為H的點(diǎn)P'的成像，設(shè)點(diǎn)P'在第t-n時(shí)刻的攝像機(jī)坐標(biāo)系下坐標(biāo)(X，Y，Z)，在第t時(shí)刻攝像機(jī)坐標(biāo)系下的坐標(biāo) (X'，V，Z')，則Y，Y'都等于H，在第t時(shí)刻圖像上的成像點(diǎn)為p〃 (u"，v")，我們稱之為點(diǎn)P(u，v)對(duì)應(yīng)的運(yùn)動(dòng)點(diǎn)。在第t時(shí)刻圖像坐標(biāo)系中，將所有點(diǎn)對(duì)ρ和p〃連線構(gòu)成運(yùn)動(dòng)軌跡，并稱向量m = ρ〃 -ρ= (u〃 -u, ν" -ν)為運(yùn)動(dòng)向量。下面介紹如何根據(jù)已知的點(diǎn)ρ的坐標(biāo)(u，v)，自車運(yùn)動(dòng)參數(shù)(tx，tz，《y)，攝像機(jī)內(nèi)參數(shù)11(|、％、叔、(^、€求得運(yùn)動(dòng)點(diǎn)？〃的坐標(biāo)(u〃，ν")。其中自車運(yùn)動(dòng)參數(shù)(tx，tz，coy) 的獲取可以由傳感器獲得，如速度傳感器和陀螺儀傳感器等，也可以由序列圖像用計(jì)算的方法獲得，如采用光流方法、運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(Structureform Motion, SFM)的方法或基于特征點(diǎn)檢測(cè)、直接法等方法估計(jì)得到，如文獻(xiàn)"A robust method for computing vehicle ego-motion，，(Stein, G. P. ；Mano, 0. ；Shashua, Α. ；2000 ；IEEE)中采用直接的方法估計(jì)運(yùn)動(dòng)參數(shù)，文獻(xiàn)"Transformingcamera geometry to a virtual downward-looking camera robust ego-motionestimation and ground-layer detection，，(Qifa Ke ；Kanade, Τ.； 2003 ；IEEE)中采用改進(jìn)的直接方法獲得運(yùn)動(dòng)參數(shù)。在此，自車運(yùn)動(dòng)參數(shù)(tx，tz，coy)相當(dāng)于上述的攝像機(jī)運(yùn)動(dòng)參數(shù)。(1)由攝像機(jī)成像原理有
權(quán)利要求
1.一種運(yùn)動(dòng)特征點(diǎn)檢測(cè)方法，從不少于3幀的多幀序列圖像中檢測(cè)出運(yùn)動(dòng)特征點(diǎn)，其特征在于，包括初始特征點(diǎn)檢測(cè)步驟，將上述多幀序列圖像中的某一幀圖像作為初始圖像，從該初始圖像中檢測(cè)出初始特征點(diǎn)；初始特征點(diǎn)跟蹤軌跡獲取步驟，在上述多幀序列圖像中的除了上述初始圖像的其它圖像中，跟蹤檢測(cè)上述初始特征點(diǎn)的跟蹤點(diǎn)，按圖像序列的順序連接上述初始圖像中的上述初始特征點(diǎn)的位置以及上述其它圖像中的上述初始特征點(diǎn)的跟蹤點(diǎn)的位置，從而形成初始特征點(diǎn)跟蹤軌跡；初始特征點(diǎn)參照軌跡獲取步驟，根據(jù)攝像機(jī)內(nèi)參數(shù)以及攝像機(jī)運(yùn)動(dòng)參數(shù)，計(jì)算出上述初始特征點(diǎn)在各上述其它圖像中所應(yīng)在的參照點(diǎn)，按圖像序列的順序連接上述初始圖像中的上述初始特征點(diǎn)的位置以及上述初始特征點(diǎn)在上述其它圖像中所應(yīng)在的參照點(diǎn)的位置， 從而形成初始特征點(diǎn)參照軌跡；以及運(yùn)動(dòng)特征點(diǎn)判斷步驟，比較上述初始特征點(diǎn)參照軌跡和上述初始特征點(diǎn)跟蹤軌跡，當(dāng)上述初始特征點(diǎn)參照軌跡和上述初始特征點(diǎn)跟蹤軌跡的相似度小于預(yù)定值時(shí)，將該初始特征點(diǎn)判斷為運(yùn)動(dòng)特征點(diǎn)。
2.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)特征點(diǎn)檢測(cè)方法，其特征在于，上述多幀序列圖像包括上述初始圖像以及不少于2幀的后序的其它圖像，上述圖像序列的順序是上述圖像序列的正序。
3.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)特征點(diǎn)檢測(cè)方法，其特征在于，上述多幀序列圖像包括上述初始圖像以及不少于2幀的前序的其它圖像，上述圖像序列的順序是上述圖像序列的反序。
4.根據(jù)權(quán)利要求1 3中任一項(xiàng)所述的運(yùn)動(dòng)特征點(diǎn)檢測(cè)方法，其特征在于，上述初始特征點(diǎn)跟蹤軌跡獲取步驟包括誤跟蹤判斷步驟，該誤跟蹤判斷步驟在上述初始特征點(diǎn)跟蹤軌跡符合以下三種情形之一時(shí)，判斷為誤跟蹤(a)上述初始特征點(diǎn)跟蹤軌跡中的某兩個(gè)跟蹤點(diǎn)之間的線段的長(zhǎng)度超過(guò)預(yù)定長(zhǎng)度；(b)上述初始特征點(diǎn)跟蹤軌跡中某兩個(gè)相鄰的線段向量之間的夾角超過(guò)預(yù)定角度；(c)在上述多幀序列圖像為4幀以上的情況下，上述初始特征點(diǎn)跟蹤軌跡中某三個(gè)相鄰的線段表現(xiàn)為先向一側(cè)轉(zhuǎn)彎、后向另一側(cè)轉(zhuǎn)彎；在上述誤跟蹤判斷步驟判斷為誤跟蹤時(shí)，在上述初始特征點(diǎn)跟蹤軌跡獲取步驟去除該判斷為誤跟蹤的初始特征點(diǎn)跟蹤軌跡。
5.一種運(yùn)動(dòng)特征點(diǎn)檢測(cè)裝置，從不少于3幀的多幀序列圖像中檢測(cè)出運(yùn)動(dòng)特征點(diǎn)，其特征在于，包括初始特征點(diǎn)檢測(cè)單元，將上述多幀序列圖像中的某一幀圖像作為初始圖像，從該初始圖像中檢測(cè)出初始特征點(diǎn)；初始特征點(diǎn)跟蹤軌跡獲取單元，在上述多幀序列圖像中的除了上述初始圖像的其它圖像中，跟蹤檢測(cè)上述初始特征點(diǎn)的跟蹤點(diǎn)，按圖像序列的順序連接上述初始圖像中的上述初始特征點(diǎn)的位置以及上述其它圖像中的上述初始特征點(diǎn)的跟蹤點(diǎn)的位置，從而形成初始特征點(diǎn)跟蹤軌跡；初始特征點(diǎn)參照軌跡獲取單元，根據(jù)攝像機(jī)內(nèi)參數(shù)以及攝像機(jī)運(yùn)動(dòng)參數(shù)，計(jì)算出上述初始特征點(diǎn)在各上述其它圖像中所應(yīng)在的參照點(diǎn)，按圖像序列的順序連接上述初始圖像中的上述初始特征點(diǎn)的位置以及上述初始特征點(diǎn)在上述其它圖像中所應(yīng)在的參照點(diǎn)的位置， 從而形成初始特征點(diǎn)參照軌跡；以及運(yùn)動(dòng)特征點(diǎn)判斷單元，比較上述初始特征點(diǎn)參照軌跡和上述初始特征點(diǎn)跟蹤軌跡，當(dāng)上述初始特征點(diǎn)參照軌跡和上述初始特征點(diǎn)跟蹤軌跡的相似度小于預(yù)定值時(shí)，將該初始特征點(diǎn)判斷為運(yùn)動(dòng)特征點(diǎn)。
6.根據(jù)權(quán)利要求5所述的運(yùn)動(dòng)特征點(diǎn)檢測(cè)裝置，其特征在于， 上述初始特征點(diǎn)跟蹤軌跡獲取單元包括誤跟蹤判斷單元，該誤跟蹤判斷單元在上述初始特征點(diǎn)跟蹤軌跡符合以下三種情形之一時(shí)，判斷為誤跟蹤(a)上述初始特征點(diǎn)跟蹤軌跡中的某兩個(gè)跟蹤點(diǎn)之間的線段的長(zhǎng)度超過(guò)預(yù)定長(zhǎng)度；(b)上述初始特征點(diǎn)跟蹤軌跡中某兩個(gè)相鄰的線段向量之間的夾角超過(guò)預(yù)定角度；(c)在上述多幀序列圖像為4幀以上的情況下，上述初始特征點(diǎn)跟蹤軌跡中某三個(gè)相鄰的線段表現(xiàn)為先向一側(cè)轉(zhuǎn)彎、后向另一側(cè)轉(zhuǎn)彎；在上述誤跟蹤判斷單元判斷為誤跟蹤時(shí)，上述初始特征點(diǎn)跟蹤軌跡獲取單元去除該判斷為誤跟蹤的初始特征點(diǎn)跟蹤軌跡。
7.—種運(yùn)動(dòng)目標(biāo)檢測(cè)方法，從不少于3幀的多幀序列圖像中檢測(cè)出運(yùn)動(dòng)特征點(diǎn)，其特征在于，包括初始特征點(diǎn)檢測(cè)步驟，將上述多幀序列圖像中的某一幀圖像作為初始圖像，從該初始圖像中檢測(cè)出初始特征點(diǎn)；初始特征點(diǎn)跟蹤軌跡獲取步驟，在上述多幀序列圖像中的除了上述初始圖像的其它圖像中，跟蹤檢測(cè)上述初始特征點(diǎn)的跟蹤點(diǎn)，按圖像序列的順序連接上述初始圖像中的上述初始特征點(diǎn)的位置以及上述其它圖像中的上述初始特征點(diǎn)的跟蹤點(diǎn)的位置，從而形成初始特征點(diǎn)跟蹤軌跡；初始特征點(diǎn)參照軌跡獲取步驟，根據(jù)攝像機(jī)內(nèi)參數(shù)以及攝像機(jī)運(yùn)動(dòng)參數(shù)，計(jì)算出上述初始特征點(diǎn)在各上述其它圖像中所應(yīng)在的參照點(diǎn)，按圖像序列的順序連接初始圖像中的上述初始特征點(diǎn)的位置以及上述初始特征點(diǎn)在上述其它圖像中所應(yīng)在的參照點(diǎn)的位置，從而形成初始特征點(diǎn)參照軌跡；以及運(yùn)動(dòng)特征點(diǎn)判斷步驟，比較上述初始特征點(diǎn)參照軌跡和上述初始特征點(diǎn)跟蹤軌跡，當(dāng)上述初始特征點(diǎn)參照軌跡和上述初始特征點(diǎn)跟蹤軌跡的相似度小于預(yù)定值時(shí)，將該初始特征點(diǎn)判斷為運(yùn)動(dòng)特征點(diǎn)，上述運(yùn)動(dòng)目標(biāo)檢測(cè)方法在上述初始特征點(diǎn)檢測(cè)步驟中從上述初始圖像中檢測(cè)出多個(gè)初始特征點(diǎn)，并對(duì)該多個(gè)初始特征點(diǎn)的每一個(gè)均執(zhí)行上述初始特征點(diǎn)跟蹤軌跡獲取步驟、 上述初始特征點(diǎn)參照軌跡獲取步驟以及上述運(yùn)動(dòng)特征點(diǎn)判斷步驟，從而得到多個(gè)運(yùn)動(dòng)特征占，上述運(yùn)動(dòng)目標(biāo)檢測(cè)方法還包括運(yùn)動(dòng)特征點(diǎn)聚類步驟，將上述得到的多個(gè)運(yùn)動(dòng)特征點(diǎn)進(jìn)行聚類，形成各類的運(yùn)動(dòng)特征點(diǎn)的集合；以及運(yùn)動(dòng)目標(biāo)確定步驟，將在上述聚類步驟中聚類的各類的運(yùn)動(dòng)特征點(diǎn)的集合分別確定為各運(yùn)動(dòng)目標(biāo)。
8.根據(jù)權(quán)利要求7所述的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其特征在于，上述初始特征點(diǎn)跟蹤軌跡獲取步驟包括誤跟蹤判斷步驟，該誤跟蹤判斷步驟在上述初始特征點(diǎn)跟蹤軌跡符合以下三種情形之一時(shí)，判斷為誤跟蹤(a)上述初始特征點(diǎn)跟蹤軌跡中的某兩個(gè)跟蹤點(diǎn)之間的線段的長(zhǎng)度超過(guò)預(yù)定長(zhǎng)度；(b)上述初始特征點(diǎn)跟蹤軌跡中某兩個(gè)相鄰的線段向量之間的夾角超過(guò)預(yù)定角度；(c)在上述多幀序列圖像為4幀以上的情況下，上述初始特征點(diǎn)跟蹤軌跡中某三個(gè)相鄰的線段表現(xiàn)為先向一側(cè)轉(zhuǎn)彎、后向另一側(cè)轉(zhuǎn)彎；在上述誤跟蹤判斷步驟判斷為誤跟蹤時(shí)，在上述初始特征點(diǎn)跟蹤軌跡獲取步驟去除該判斷為誤跟蹤的初始特征點(diǎn)跟蹤軌跡。
9.一種運(yùn)動(dòng)目標(biāo)檢測(cè)裝置，從不少于3幀的多幀序列圖像中檢測(cè)出運(yùn)動(dòng)特征點(diǎn)，其特征在于，包括初始特征點(diǎn)檢測(cè)單元，將上述多幀序列圖像中的某一幀圖像作為初始圖像，從該初始圖像中檢測(cè)出初始特征點(diǎn)；初始特征點(diǎn)跟蹤軌跡獲取單元，在上述多幀序列圖像中的除了上述初始圖像的其它圖像中，跟蹤檢測(cè)上述初始特征點(diǎn)的跟蹤點(diǎn)，按圖像序列的順序連接上述初始圖像中的上述初始特征點(diǎn)的位置以及上述其它圖像中的上述初始特征點(diǎn)的跟蹤點(diǎn)的位置，從而形成初始特征點(diǎn)跟蹤軌跡；初始特征點(diǎn)參照軌跡獲取單元，根據(jù)攝像機(jī)內(nèi)參數(shù)以及攝像機(jī)運(yùn)動(dòng)參數(shù)，計(jì)算出上述初始特征點(diǎn)在各上述其它圖像中所應(yīng)在的參照點(diǎn)，按圖像序列的順序連接上述初始圖像中的上述初始特征點(diǎn)的位置以及上述初始特征點(diǎn)在上述其它圖像中所應(yīng)在的參照點(diǎn)的位置， 從而形成初始特征點(diǎn)參照軌跡；運(yùn)動(dòng)特征點(diǎn)判斷單元，比較上述初始特征點(diǎn)參照軌跡和上述初始特征點(diǎn)跟蹤軌跡，當(dāng)上述初始特征點(diǎn)參照軌跡和上述初始特征點(diǎn)跟蹤軌跡的相似度小于預(yù)定值時(shí)，將該初始特征點(diǎn)判斷為運(yùn)動(dòng)特征點(diǎn)；以及運(yùn)動(dòng)特征點(diǎn)聚類單元，將由運(yùn)動(dòng)特征點(diǎn)判斷單元檢測(cè)到的多個(gè)運(yùn)動(dòng)特征點(diǎn)進(jìn)行聚類， 形成各類的運(yùn)動(dòng)特征點(diǎn)的集合；運(yùn)動(dòng)目標(biāo)確定單元，將上述聚類單元聚類的各類的運(yùn)動(dòng)特征點(diǎn)的集合分別確定為各運(yùn)動(dòng)目標(biāo)。
10.根據(jù)權(quán)利要求9所述的運(yùn)動(dòng)目標(biāo)檢測(cè)裝置，其特征在于，上述初始特征點(diǎn)跟蹤軌跡獲取單元包括誤跟蹤判斷單元，該誤跟蹤判斷單元在上述初始特征點(diǎn)跟蹤軌跡符合以下三種情形之一時(shí)，判斷為誤跟蹤(a)上述初始特征點(diǎn)跟蹤軌跡中的某兩個(gè)跟蹤點(diǎn)之間的線段的長(zhǎng)度超過(guò)預(yù)定長(zhǎng)度；(b)上述初始特征點(diǎn)跟蹤軌跡中某兩個(gè)相鄰的線段向量之間的夾角超過(guò)預(yù)定角度；(c)在上述多幀序列圖像為4幀以上的情況下，上述初始特征點(diǎn)跟蹤軌跡中某三個(gè)相鄰的線段表現(xiàn)為先向一側(cè)轉(zhuǎn)彎、后向另一側(cè)轉(zhuǎn)彎；在上述誤跟蹤判斷單元判斷為誤跟蹤時(shí)，上述初始特征點(diǎn)跟蹤軌跡獲取單元去除該判斷為誤跟蹤的初始特征點(diǎn)跟蹤軌跡。
全文摘要
本發(fā)明的運(yùn)動(dòng)特征點(diǎn)檢測(cè)方法，包括將某一幀圖像作為初始圖像，從該初始圖像中檢測(cè)出初始特征點(diǎn)；在其它圖像中跟蹤檢測(cè)初始特征點(diǎn)的跟蹤點(diǎn)，按圖像序列的順序連接初始圖像中的初始特征點(diǎn)的位置以及其它圖像中的初始特征點(diǎn)的跟蹤點(diǎn)的位置，從而形成初始特征點(diǎn)跟蹤軌跡；根據(jù)攝像機(jī)內(nèi)參數(shù)以及攝像機(jī)運(yùn)動(dòng)參數(shù)，計(jì)算出初始特征點(diǎn)在各其它圖像中所應(yīng)在的參照點(diǎn)，按圖像序列的順序連接初始圖像中的初始特征點(diǎn)的位置以及初始特征點(diǎn)在其它圖像中所應(yīng)在的參照點(diǎn)的位置，從而形成初始特征點(diǎn)參照軌跡；以及比較初始特征點(diǎn)參照軌跡和初始特征點(diǎn)跟蹤軌跡，當(dāng)初始特征點(diǎn)參照軌跡和初始特征點(diǎn)跟蹤軌跡的相似度小于預(yù)定值時(shí)，將該初始特征點(diǎn)判斷為運(yùn)動(dòng)特征點(diǎn)。
文檔編號(hào)G06T7/20GK102222341SQ201010149409
公開日2011年10月19日 申請(qǐng)日期2010年4月16日 優(yōu)先權(quán)日2010年4月16日
發(fā)明者于紅緋, 劉威, 張瑩瑩, 袁淮 申請(qǐng)人:東軟集團(tuán)股份有限公司, 阿爾派株式會(huì)社