本案是申請?zhí)枺?01280023237.0，發(fā)明名稱為：用于車輛分類的方法和系統(tǒng)的分案申請。本發(fā)明涉及一種車輛分類的方法和系統(tǒng)，并且更特別地涉及一種使用視頻和/或視頻圖像的稱作分層車輛分類系統(tǒng)的方法和系統(tǒng)、一種使用車輛離地間隙測量系統(tǒng)的車輛分類的方法和系統(tǒng)，以及用于客運車輛的分類并且測量它們的屬性的方法和系統(tǒng)，而且更特別地涉及從單個相機(jī)捕獲沿著道路行進(jìn)的車輛并且將所述車輛分類成3個類別中的一個：轎車(sedan)、皮卡(pickup)和/或小型貨車(minivan)及suv(運動型多用途車)。

背景技術(shù)：

車輛被典型地分類成六(6)個類別中的一個：轎車、皮卡、小型貨車、suv(運動型多用途車)、公共汽車以及卡車。當(dāng)前，人們認(rèn)為用于分類路上民用車輛的這種系統(tǒng)不存在。基于現(xiàn)有技術(shù)水平視頻的車輛分類器單獨基于它們的大小來分類車輛。因此，這些系統(tǒng)在各種客運和商用車輛的細(xì)粒分類中失敗。

已經(jīng)針對車輛的側(cè)視圖做過學(xué)術(shù)研究；然而，用于根據(jù)后視圖視頻來分類車輛的現(xiàn)有工作不存在。典型系統(tǒng)具有指向道路車道的相機(jī)使得該相機(jī)的水平掃描線與地平線平行。因此，將期望具有用于根據(jù)車輛的后視圖和/或后端的視頻的車輛的分層分類的軟件系統(tǒng)。

此外，客運車輛分類的當(dāng)前方法和系統(tǒng)依靠車輛的側(cè)視圖。通常，車輛的側(cè)剖面是用來準(zhǔn)確地分類車輛的關(guān)鍵信息。然而，在多車道道路上，側(cè)剖面能夠容易地被其他車輛擋住。此外，沿著高速公路和其他道路部署的大多數(shù)相機(jī)捕獲車輛的后視圖使基于側(cè)剖面的技術(shù)變得無用。因此，存在對基于車輛的后端或后部的相機(jī)圖像來分類客運車輛的系統(tǒng)和方法的需要。

技術(shù)實現(xiàn)要素：

依照示例性實施例，用于計算車輛的分層分類的方法包括：使用移動對象檢測系統(tǒng)來定位移動對象；基于所述移動對象相對于車行道車道的寬度的寬度來確定所述移動對象是否是小車輛或大車輛；以及將所述移動對象分配給分類器以得到細(xì)化分類。

依照進(jìn)一步的示例性實施例，用于車輛的分類的系統(tǒng)包括：相機(jī)，用于捕獲至少一個移動對象的圖像；以及計算機(jī)處理單元，其執(zhí)行以下步驟：使用移動對象檢測系統(tǒng)來定位移動對象；基于所述移動對象相對于車行道車道的寬度的寬度來確定所述移動對象是否是小車輛或大車輛；以及將所述移動對象分配給分類器以得到細(xì)化分類。

依照進(jìn)一步的示例性實施例，計算機(jī)程序產(chǎn)品包括具有用于客運車輛的分類并且根據(jù)后視圖視頻幀來測量它們的屬性在其中體現(xiàn)的計算機(jī)可讀代碼的非暫時性計算機(jī)可用介質(zhì)，所述計算機(jī)可讀程序代碼被配置成執(zhí)行過程，所述過程包括以下步驟：使用移動對象檢測系統(tǒng)來定位移動對象；基于所述移動對象相對于車行道車道的寬度的寬度來確定所述移動對象是否是小車輛或大車輛；以及將所述移動對象分配給分類器以得到細(xì)化分類。

依照示例性實施例，用于計算車輛的間隙的方法包括：(a)標(biāo)定相機(jī)圖像與路面之間的變換；(b)使用所述變換來計算相機(jī)圖像中的每條掃描線的標(biāo)度；(c)定位圖像中的車輛的牌照(licenseplate)；(d)計算牌照的水平標(biāo)度和垂直標(biāo)度；(e)將牌照的水平標(biāo)度與每條掃描線的標(biāo)度進(jìn)行比較并且其中各標(biāo)度是相等的掃描線被找到；(f)計算匹配掃描線與牌照的頂部之間的掃描線的數(shù)目；(g)將所述掃描線的數(shù)目除以編號牌的垂直標(biāo)度以找到牌照離地面的高度；(h)計算牌照的頂部與車輛的最低可見部分之間的掃描線的數(shù)目；(i)將牌照的頂部與車輛的最低可見部分之間的掃描線的數(shù)目除以編號牌的垂直標(biāo)度以找到牌照的頂部到車輛的最低可見部分之間的距離；以及(j)步驟(g)中的所述距離減去步驟(i)中的所述距離以獲得車輛的離地間隙。

依照進(jìn)一步的示例性實施例，用于車輛的分類的系統(tǒng)包括：相機(jī)，用于捕獲至少一個移動對象的圖像；以及計算機(jī)處理單元，其執(zhí)行以下步驟：(a)標(biāo)定相機(jī)圖像與路面之間的變換；(b)使用所述變換來計算相機(jī)圖像中的每條掃描線的標(biāo)度；(c)定位圖像中的車輛的牌照；(d)計算牌照的水平標(biāo)度和垂直標(biāo)度；(e)將牌照的水平標(biāo)度與每條掃描線的標(biāo)度進(jìn)行比較并且其中各標(biāo)度是相等的掃描線被找到；(f)計算匹配掃描線與牌照的頂部之間的掃描線的數(shù)目；(g)將所述掃描線的數(shù)目除以編號牌的垂直標(biāo)度以找到牌照離地面的高度；(h)計算牌照的頂部與車輛的最低可見部分之間的掃描線的數(shù)目；(i)將牌照的頂部與車輛的最低可見部分之間的掃描線的數(shù)目除以編號牌的垂直標(biāo)度以找到牌照的頂部到車輛的最低可見部分之間的距離；以及(j)步驟(g)中的所述距離減去步驟(i)中的所述距離以獲得車輛的離地間隙。

依照進(jìn)一步的示例性實施例，計算機(jī)程序產(chǎn)品包括具有用于客運車輛的分類并且根據(jù)后視圖視頻幀來測量它們的屬性在其中體現(xiàn)的計算機(jī)可讀代碼的非暫時性計算機(jī)可用介質(zhì)，所述計算機(jī)可讀程序代碼被配置成執(zhí)行過程，所述過程包括以下步驟：(a)標(biāo)定相機(jī)圖像與路面之間的變換；(b)使用所述變換來計算相機(jī)圖像中的每條掃描線的標(biāo)度；(c)定位圖像中的車輛的牌照；(d)計算牌照的水平標(biāo)度和垂直標(biāo)度；(e)將牌照的水平標(biāo)度與每條掃描線的標(biāo)度進(jìn)行比較并且其中各標(biāo)度是相等的掃描線被找到；(f)計算匹配掃描線與牌照的頂部之間的掃描線的數(shù)目；(g)將所述掃描線的數(shù)目除以編號牌的垂直標(biāo)度以找到牌照離地面的高度；(h)計算牌照的頂部與車輛的最低可見部分之間的掃描線的數(shù)目；(i)將牌照的頂部與車輛的最低可見部分之間的掃描線的數(shù)目除以編號牌的垂直標(biāo)度以找到牌照的頂部到車輛的最低可見部分之間的距離；以及(j)步驟(g)中的所述距離減去步驟(i)中的所述距離以獲得車輛的離地間隙。

依照示例性實施例，用于計算車輛的間隙的方法包括：標(biāo)定相機(jī)圖像與路面之間的變換；檢測針對其間隙將被計算的車輛上特征的位置；檢測車輛陰影的位置；跟蹤車輛上的特征和車輛陰影隨著時間的推移的位置；倒轉(zhuǎn)車輛的特征和陰影的位置并且計算位置倒數(shù)（inverse）之間的差；使用所述差與車輛的高度之間的關(guān)系來基于車輛的高度之間的差計算來自后視圖的車輛的最低可見部分與道路之間的距離；以及基于車輛的間隙來分類所述車輛。

依照進(jìn)一步的示例性實施例，用于計算車輛的間隙的系統(tǒng)包括：相機(jī)，用于捕獲至少一個移動對象的圖像；以及計算機(jī)處理單元，其執(zhí)行以下步驟：標(biāo)定相機(jī)圖像與路面之間的變換；檢測針對其間隙將被計算的車輛上特征的位置；檢測車輛陰影的位置；跟蹤車輛上的特征和車輛陰影隨著時間的推移的位置；倒轉(zhuǎn)車輛的特征和陰影的位置并且計算位置倒數(shù)之間的差；使用所述差與車輛的高度之間的關(guān)系來基于車輛的高度之間的差計算來自后視圖的車輛的最低可見部分與道路之間的距離；以及基于車輛的間隙來分類所述車輛。

依照另一示例性實施例，計算機(jī)程序產(chǎn)品包括具有用于客運車輛的分類并且根據(jù)后視圖視頻幀來測量它們的屬性在其中體現(xiàn)的計算機(jī)可讀代碼的非暫時性計算機(jī)可用介質(zhì)，所述計算機(jī)可讀程序代碼被配置成執(zhí)行過程，所述過程包括以下步驟：標(biāo)定相機(jī)圖像與路面之間的變換；檢測針對其間隙將被計算的車輛上特征的位置；檢測車輛陰影的位置；跟蹤車輛上的特征和車輛陰影隨著時間的推移的位置；倒轉(zhuǎn)車輛的特征和陰影的位置并且計算位置倒數(shù)之間的差；使用所述差與車輛的高度之間的關(guān)系來基于車輛的高度之間的差計算來自后視圖的車輛的最低可見部分與道路之間的距離；以及基于車輛的間隙來分類所述車輛。

依照示例性實施例，用于車輛的分類的方法包括：(a)標(biāo)定相機(jī)圖像與路面之間的變換；(b)檢測相機(jī)圖像中的路面上的移動對象；(c)為所述移動對象中的每一個確立對稱的垂直軸；(d)針對移動對象中的每一個檢測與對稱的垂直軸相交的主導(dǎo)水平邊緣；(e)針對多個連續(xù)視頻幀來跟蹤所述主導(dǎo)水平邊緣；(f)將主導(dǎo)水平邊緣中的每一個投影到地平面上；(g)將每對相鄰?fù)队斑吘壱暈橥队氨砻妫?h)計算投影表面中的改變；以及(i)根據(jù)被發(fā)送到分類器的投影表面中的改變來計算不同結(jié)構(gòu)簽名。

依照進(jìn)一步的示例性實施例，用于車輛的分類的系統(tǒng)包括：相機(jī)，用于捕獲至少一個移動對象的圖像；以及計算機(jī)處理單元，其執(zhí)行以下步驟：(a)標(biāo)定相機(jī)圖像與路面之間的變換；(b)檢測相機(jī)圖像中的路面上的移動對象；(c)為所述移動對象中的每一個確立對稱的垂直軸；(d)針對移動對象中的每一個檢測與對稱的垂直軸相交的主導(dǎo)水平邊緣；(e)針對多個連續(xù)視頻幀來跟蹤所述主導(dǎo)水平邊緣；(f)將主導(dǎo)水平邊緣中的每一個投影到地平面上；(g)將每對相鄰?fù)队斑吘壱暈橥队氨砻妫?h)計算投影表面中的改變；以及(i)根據(jù)被發(fā)送到分類器的投影表面中的改變來計算不同結(jié)構(gòu)簽名。

依照進(jìn)一步的示例性實施例，計算機(jī)程序產(chǎn)品包括具有用于客運車輛的分類并且根據(jù)后視圖視頻幀來測量它們的屬性在其中體現(xiàn)的計算機(jī)可讀代碼的非暫時性計算機(jī)可用介質(zhì)，所述計算機(jī)可讀程序代碼被配置成執(zhí)行過程，所述過程包括以下步驟：(a)標(biāo)定相機(jī)圖像與路面之間的變換；(b)檢測相機(jī)圖像中的路面上的移動對象；(c)為所述移動對象中的每一個確立對稱的垂直軸；(d)針對移動對象中的每一個檢測與對稱的垂直軸相交的主導(dǎo)水平邊緣；(e)針對多個連續(xù)視頻幀來跟蹤所述主導(dǎo)水平邊緣；(f)將主導(dǎo)水平邊緣中的每一個投影到地平面上；(g)將每對相鄰?fù)队斑吘壱暈橥队氨砻妫?h)計算投影表面中的改變；以及(i)根據(jù)被發(fā)送到分類器的投影表面中的改變來計算不同結(jié)構(gòu)簽名。

本公開的一個或多個實施例的細(xì)節(jié)在下面在附圖和描述中被闡述。其他特征、目的以及優(yōu)點從描述和圖中并且從權(quán)利要求中將是顯而易見的。

附圖說明

附圖被包括來提供對本發(fā)明的進(jìn)一步理解，并且被并入和構(gòu)成本說明書的一部分。圖圖示了本發(fā)明的實施例，并且連同描述一起用來解釋本發(fā)明的原理。在圖中，

圖1示出了依照示例性實施例的分層分類系統(tǒng)的圖。

圖2示出了用于檢測大車輛與小車輛相對的斑點（blob）的分層分類系統(tǒng)的示例。

圖3示出了依照示例性實施例的用于在卡車與公共汽車之間分類的分類系統(tǒng)的示例。

圖4示出了依照示例性實施例的例外分類的示例。

圖5示出了依照實施例的用于車輛離地間隙測量系統(tǒng)的示例性設(shè)置。

圖6示出了提供用于與如圖5中所示出的車輛離地間隙測量系統(tǒng)一起使用的基線的路面的透視圖像。

圖7示出了路面上的多個位置的相機(jī)平面。

圖8示出了依照示例性實施例的車輛間隙估計的圖。

圖9示出了依照示例性實施例的車輛間隙估計系統(tǒng)的流程圖。

圖10示出了依照示例性實施例的用于車輛離地間隙測量系統(tǒng)的另一示例性設(shè)置。

圖11示出了由針對如圖10中所示出的車輛離地間隙測量系統(tǒng)的設(shè)置所捕獲的圖像。

圖12示出了如圖10中所示出的車輛離地間隙系統(tǒng)的系統(tǒng)圖。

圖13示出了來自具有兩個感興趣投影的側(cè)視圖的針對移動車輛的投影隨著時間的幾何結(jié)構(gòu)的圖像。

圖14示出了用于表征地平面上投影中的改變的圖像和計算。

圖15示出了用于表征地平面上投影中的改變的另一圖像和相關(guān)計算。

圖16示出了依照示例性實施例的用來確立路面與相機(jī)圖像之間的映射的標(biāo)定的圖像。

圖17示出了依照示例性實施例的移動對象檢測系統(tǒng)的流程圖。

圖18示出了依照示例性實施例的對稱檢測系統(tǒng)的流程圖。

圖19示出了針對多個車輛的結(jié)構(gòu)簽名的一系列照片。

圖20示出了依照示例性實施例的系統(tǒng)圖的流程圖。

具體實施方式

基于視頻的分層車輛分類系統(tǒng)

依照示例性實施例，在本文中描述了用于車輛根據(jù)它們的后視圖視頻的分層分類的軟件系統(tǒng)。車輛被典型地分類成六(6)個類別中的一個：轎車、皮卡、小型貨車、suv(運動型多用途車)、公共汽車以及卡車。這時，人們認(rèn)為用于分類路上民用車輛的這種系統(tǒng)不存在。基于現(xiàn)有技術(shù)水平視頻的車輛分類器單獨基于它們的大小來分類車輛。因此，它們在各種客運和商用車輛的細(xì)粒分類中失敗。依照示例性實施例，如圖1中所示出的基于視頻的分層車輛分類系統(tǒng)100，其將車輛分類成六(6)個分類中的一個，所述六個分類包括轎車110、皮卡120、小型貨車130、suv(運動型多用途車)140、公共汽車150以及卡車160。本系統(tǒng)優(yōu)選包括指向道路車道的相機(jī)使得該相機(jī)的水平掃描線與地平線平行。一旦相機(jī)已被定位，系統(tǒng)就檢測下列的：

系統(tǒng)首先檢測道路上的車道：

采用諸如霍夫(hough)變換之類的邊緣檢測技術(shù)和表決方法，道路或車行道上的車道被檢測。如果檢測到多個車道，則基于其諸如來自相機(jī)的可見性、交通密度等之類的屬性來選擇感興趣車道。對于多個車道，該多個車道中的每一個都通過為所檢測到的車道中的每一個實現(xiàn)本系統(tǒng)而被處理。

系統(tǒng)使用移動對象檢測來定位視頻中的移動對象：

使用標(biāo)準(zhǔn)移動對象檢測技術(shù)，來自視頻的移動對象被檢測。依照示例性實施例，如果多個移動對象被檢測到則它們被個別地處理。

基于對象的大小，大或小車輛分類器被激活：

客運車輛和商用車輛能夠基于它們的大小與彼此相區(qū)分。不像旨在執(zhí)行車輛基于其大小的細(xì)粒分類的現(xiàn)有技術(shù)水平系統(tǒng)，依照示例性實施例，如本文中所描述的可替換的方法使用大小來區(qū)別客運和商用車輛，這是更可靠的?，F(xiàn)有技術(shù)水平系統(tǒng)檢測移動斑點的大小以實現(xiàn)基于大小的分類。依照示例性實施例，關(guān)于車輛大小的判定200是基于如圖2中所示出的斑點寬度與車道寬度的比較，即使整個車輛尚未進(jìn)入相機(jī)的視圖這也允許系統(tǒng)進(jìn)行小/大判定。例如，如圖2中所示，大車輛210的前緣202占據(jù)車道的大部分，例如超過90%，而小車輛220的前緣202占據(jù)較小的，例如少于90%。因此，與基于斑點的方法相比能夠較早地做出或者進(jìn)行判定。

小車輛分類器具有以下步驟：

基于結(jié)構(gòu)，車輛被分類成轎車、皮卡以及小型貨車+suv類別。依照實施例，如果車輛被分類為小型貨車+suv，則小型貨車+suv分類器被激活。如果例外情況被檢測到則例外分類器被激活。

大車輛分類器具有以下步驟：

依照示例性實施例，在步驟1中，移動對象的兩側(cè)對稱的垂直軸被確立。在步驟2中，諸如陰影之類的檢測對象的不對稱部分被分開。在步驟3中，對象中的主導(dǎo)垂直邊緣被檢測。在步驟4中，如果一個或多個主導(dǎo)垂直邊緣存在于對稱的垂直軸附近，則對象被分類為卡車。在步驟5中，如果朝對象的左右末端對稱的一對主導(dǎo)垂直邊緣存在，則對象被分類為卡車?？商鎿Q地，在步驟6中，如果對象朝左右末端不具有對稱的一對主導(dǎo)垂直邊緣，則對象被分類為公共汽車。圖3示出了卡車310和公共汽車320的后部部分的多個圖像300，其中卡車310朝左右末端具有對稱的一對主導(dǎo)垂直邊緣330，而公共汽車320朝左右末端不具有對稱的一對主導(dǎo)垂直邊緣。在步驟7中，如果例外情況被檢測到，則例外分類器被激活。

小型貨車/suv(小型貨車+suv)分類器具有以下步驟：

依照示例性實施例，車輛(移動對象)的離地間隙被估計，如果對象具有高的離地間隙，則它被分類為suv。可替換地，如果對象具有低的離地間隙，則它被分類為小型貨車；而如果例外情況被檢測到則例外分類器被激活。

例外分類器結(jié)合規(guī)則來重新分類前面的分類器組未能分類的對象：

依照另一示例性實施例，能夠重新配置這個分類器的元素。例如，掀背式轎車：如果小車輛被分類為小型貨車/suv，但具有較小的斑點大小則將它重新分類為掀背式轎車/如圖4a中所示出的旅行轎車410；具有安裝在后部的備用輪的suv：如果具有圓形對稱大小的輪的小車輛在車輛的后部上被檢測到，則將它分類為如圖4b中所示出的suv420；油罐卡車：如果具有非矩形狀后部的大車輛被檢測到，則將它分類為如圖4c中所示出的油罐卡車430；以及卡車：如果具有紅白色的反光帶范型442的大車輛被檢測到，則將該車輛分類為如圖4d中所示出的卡車440。

系統(tǒng)的應(yīng)用：

如本文中所描述的系統(tǒng)和方法能夠被用于：分類道路上的車輛；分開商用和客運車輛；標(biāo)識商用和客運車輛以得到自動的基于類別的收費；針對法律實施檢測車道限制違犯；交通分析；和/或確保對車輛的有限/受控訪問的安全相關(guān)應(yīng)用。

系統(tǒng)的變化：

如本文中所描述的系統(tǒng)能夠被實現(xiàn)用于根據(jù)后視圖和/或正視圖和/或側(cè)視圖來分類車輛?？商鎿Q地，能夠?qū)崿F(xiàn)檢測各類別中的僅幾個的部分分類器。此外，各部分或完整系統(tǒng)能夠被實現(xiàn)為等效硬件實施方式。

依照另一示例性實施例，計算機(jī)程序產(chǎn)品包括具有用于客運車輛的分類并且根據(jù)后視圖視頻幀來測量它們的屬性在其中體現(xiàn)的計算機(jī)可讀代碼的非暫時性計算機(jī)可用介質(zhì)。計算機(jī)可讀程序代碼被配置成執(zhí)行過程，所述過程包括以下步驟：使用移動對象檢測系統(tǒng)來定位移動對象；基于移動對象的大小來確定移動對象是否是小車輛或大車輛；以及基于移動對象的大小將移動對象分配給分類器。

計算機(jī)可用介質(zhì)當(dāng)然可以為磁記錄介質(zhì)、磁光記錄介質(zhì)或?qū)韺⒈婚_發(fā)的任何其他記錄介質(zhì)，其全部能夠被認(rèn)為以全部相同的方式適用于本發(fā)明。包括主要和輔助復(fù)制產(chǎn)品及其他東西的這種介質(zhì)的復(fù)制品無疑被認(rèn)為相當(dāng)于上述介質(zhì)。此外，即使本發(fā)明的實施例是軟件和硬件的組合，它也根本不會背離本發(fā)明的構(gòu)思。本發(fā)明可以被實現(xiàn)使得其軟件部分已被提前寫到記錄介質(zhì)上并且將在操作中根據(jù)需要而被讀取。

車輛離地間隙測量系統(tǒng)

在本文中公開了根據(jù)它們的后視圖視頻來計算諸如保險杠之類的車輛部分離道路或地面的間隙的方法和系統(tǒng)。依照示例性實施例，所述方法和系統(tǒng)從后視圖提供小型貨車與suv(運動型多用途車)類別之間的分離，這從諸如大小、長度、寬度、運動軌跡以及形狀剖面之類的其他測量是不可能的。

依照示例性實施例，系統(tǒng)包括相機(jī)，所述相機(jī)被以其水平掃描線與地平線平行的這樣一種方式安裝。此外，相機(jī)被優(yōu)選配置成看到道路的車道中的一個。圖5-7示出了系統(tǒng)的基本設(shè)置，所述系統(tǒng)包括具有到路面420上的投影的光線410的相機(jī)(未示出)，所述投影的光線與車輛的后保險杠430相交。圖6示出了來自透視圖的示例性路面600，而不同的相機(jī)角度700如圖7中所示。依照示例性實施例，標(biāo)定階段，針對圖像中的每條掃描線的標(biāo)度被計算。根據(jù)透視投影，對象被與那兒到相機(jī)的距離成反比例地?fù)Q算，其中。如果相機(jī)的掃描線與地平線平行，則第y條掃描線在道路上的投影具有與它相關(guān)聯(lián)的標(biāo)度，例如標(biāo)度(y)。能夠根據(jù)車道寬度來計算以像素/英尺為單位的標(biāo)度。對于每條掃描線，如果道路上的兩個成像點之間的距離是已知的，則能夠確立標(biāo)度。例如，能夠針對每條掃描線檢測車道末端和r并且車道寬度已知為12英尺。對于每條掃描線系統(tǒng)找到標(biāo)度作為兩點之間的像素的數(shù)目和道路上它們之間的距離的比值。

定位圖像中的車輛的牌照

圖8示出了依照示例性實施例的車輛間隙估計800的圖。如圖8中所示，在自動牌照識別(alpr)模塊的幫助下系統(tǒng)定位車輛的牌照810。

計算牌照的水平標(biāo)度和垂直標(biāo)度

牌810的水平標(biāo)度被計算為以像素為單位的寬度對以英尺為單位的寬度的比值。同樣地，牌810的垂直標(biāo)度被計算為以像素為單位的高度對以英尺為單位的高度的比值。

執(zhí)行標(biāo)度匹配

牌照的水平標(biāo)度與每條掃描線的標(biāo)度進(jìn)行比較，并且其中各標(biāo)度是相等的掃描線被找到。

計算牌照的高度

匹配掃描線與牌照的頂部之間的掃描線的數(shù)目被計算。這個數(shù)目被除以編號牌的垂直標(biāo)度以找到牌照離地面的高度。

計算車輛的最低邊緣與牌照的頂部之間的距離

牌照的頂部與車輛的最低可見部分之間的掃描線的數(shù)目被計算。這個數(shù)目被除以編號牌的垂直標(biāo)度以找到牌照離的頂部到車輛的最低可見部分之間的距離。

計算離地間隙

距離減去距離以找到車輛的離地間隙。圖9示出了依照如上所述的示例性實施例的車輛間隙估計系統(tǒng)900的流程圖。

應(yīng)用

離地間隙能夠在車輛分類例如區(qū)分小型貨車與suv(運動型多用途車)、公共汽車與卡車中作為特征被估計。

替代實施方式

代替牌照，車輛后表面上的其他已知尺寸還能夠被用來計算車輛上的標(biāo)度。例如如圖10中所示，描述了從后視圖提供小型貨車和suv類別之間的確定的系統(tǒng)和方法，這從諸如大小、長度、寬度、運動軌跡以及形狀剖面之類的其他測量是不可能的。如圖10中所示，系統(tǒng)1000包括相機(jī)1010，所述相機(jī)1010被以其水平掃描線與地平線平行的這樣一種方式安裝。此外，相機(jī)1010通過看到道路1030的車道中的一個的至少一部分來捕獲車輛1020。圖11示出了由如圖10中所示出的相機(jī)1010所捕獲的圖像1100。以下步驟被采取：

相機(jī)參數(shù)被測量

為了測量車輛的離地間隙，車輛通過相機(jī)而被觀察。在能夠計算間隙之前，相機(jī)高度、相機(jī)俯角以及相機(jī)焦距被測量。

線在無窮遠(yuǎn)處的投影被找到

在無窮遠(yuǎn)處的線被確立為通過圖像中兩條平行線的交點的水平線。這些線可以是如圖11中所示出的車道標(biāo)記a和。

計算各特征的位置的偏移。

車輛特征被在水平圖像坐標(biāo)和垂直圖像坐標(biāo)處的相機(jī)捕獲。車輛當(dāng)它在道路車道中離去時被相機(jī)記錄。僅車輛特征的垂直坐標(biāo)中的改變是明顯的。車輛特征的位置相對于線在無窮遠(yuǎn)處的投影被計算。這通過將偏移加到圖像位置來實現(xiàn)。所加偏移是圖像的第一水平掃描線的圖像坐標(biāo)與線在無窮遠(yuǎn)處的投影的圖像坐標(biāo)之間的差。對于在圖像坐標(biāo)處的特征，它的位置被計算為。

針對其間隙將被估計的特征的位置被檢測。

一般而言，車輛的間隙是來自后視圖的車輛的最低可見部分與道路之間的距離?？商鎿Q地，它可以是保險杠的頂部/中間/底部與道路之間的距離。特征能夠通過諸如邊緣檢測、區(qū)分段、群集以及分類之類的圖像處理和模式識別技術(shù)的組合來檢測。如果檢測到的特征對于圖像坐標(biāo)具有一個以上的值，則代表性值被用來計算特征位置。對于的選擇是最大或最小值、最頻繁值或值的加權(quán)和等。當(dāng)的最大值表示特征的最低部分時，它是典型選擇。幀中特征的位置被計算為。

車輛陰影的位置被檢測。

對于車輛，它的陰影被定位。能夠以不同的方式來定位陰影：基于太陽或其他主導(dǎo)光源、相機(jī)的位置和道路幾何結(jié)構(gòu)；當(dāng)陰影是不對稱的時基于對稱推理；當(dāng)陰影被投在車輛之下時基于圖像位置；當(dāng)陰影低于它們落在上面的對象的密度時基于密度。如果檢測到的陰影對于圖像坐標(biāo)具有一個以上的值，則代表性值被用來計算特征位置。對于的選擇是最大或最小值、最頻繁值或值的加權(quán)和等。當(dāng)的最大值表示陰影的最低部分時，它是典型選擇。幀中特征的位置被計算為。

車輛部分和陰影的位置隨著時間被跟蹤。

車輛隨著時間而移動，并且因此陰影和車輛部分也在由相機(jī)所捕獲的圖片中移動。使用諸如密度、顏色、邊緣、區(qū)、圖像位置等之類的屬性。陰影和車輛部分位置兩者都隨著時間被跟蹤。特征的位置被存儲為、等等。類似地，陰影的位置被存儲為、等等。跟蹤被繼續(xù)持續(xù)個幀。在這里且車輛對于相機(jī)而言是可見的幀的數(shù)目。

位置倒數(shù)之間的差被計算。

對于每個幀，特征和陰影位置被倒轉(zhuǎn)。

其中不同幀的位置倒數(shù)之間的差被計算。

典型地=1即針對連續(xù)幀來計算各差。

使用差與車輛部分的高度之間的關(guān)系，車輛的間隙被計算。

對于在幀和之間以速度移動的對象來說，其間隙與道路相距的特征的各位置的倒數(shù)之間的差是

如果速度是已知的，則上述等式被求解以找到間隙。如果速度是未知的則附加的分析被執(zhí)行。對于陰影，因為陰影被投在道路上。

以上兩個等式中的constant(常數(shù))是相同的并且單獨通過第二等式來計算。然后第一等式能夠被用來找到間隙。圖12示出了依照示例性實施例的如上所述用來計算車輛的離地間隙的步驟的系統(tǒng)1200圖。如圖12中所示，系統(tǒng)包括相機(jī)1210，其提供用于檢測車輛特征和車輛陰影的視頻流1220，所述車輛特征和車輛陰影被用來計算如上所述的車輛間隙。

示例性應(yīng)用

離地間隙能夠在車輛分類例如區(qū)分小型貨車與suv、公共汽車與卡車等中作為特征被估計。還能夠計算能夠在車輛分類中使用的其他車輛特征的高度。

替代實施方式

能夠針對車輛的正視圖視頻來實現(xiàn)所述系統(tǒng)。代替車輛的保險杠，系統(tǒng)能夠被用來計算諸如頂部、擋風(fēng)玻璃等之類的其他車輛部分的高度。當(dāng)相機(jī)是水平的時掃描線不沿著地平線，由該相機(jī)所捕獲的圖像能夠被調(diào)整來使掃描線變得水平。系統(tǒng)然后被應(yīng)用于所調(diào)整的圖像。間隙估計能夠通過組合多個幀的估計來改進(jìn)。

依照另一示例性實施例，計算機(jī)程序產(chǎn)品包括具有用于客運車輛的分類并且根據(jù)后視圖視頻幀來測量它們的屬性在其中體現(xiàn)的計算機(jī)可讀代碼的非暫時性計算機(jī)可用介質(zhì)。計算機(jī)可讀程序代碼被配置成執(zhí)行過程，所述過程包括以下步驟：(a)計算相機(jī)圖像與路面之間的變換；(b)使用所述變換來計算相機(jī)圖像中的每條掃描線的標(biāo)度；(c)定位圖像中的車輛的牌照；(d)計算牌照的水平標(biāo)度和垂直標(biāo)度；(e)將牌照的水平標(biāo)度與每條掃描線的標(biāo)度進(jìn)行比較并且其中各標(biāo)度是相等的掃描線被找到；(f)計算匹配掃描線與牌照的頂部之間的掃描線的數(shù)目；(g)將掃描線的數(shù)目除以編號牌的垂直標(biāo)度以找到牌照離地面的高度；(h)計算牌照的頂部與車輛的最低可見部分之間的掃描線的數(shù)目；(i)將牌照的頂部與車輛的最低可見部分之間的掃描線的數(shù)目除以編號牌的垂直標(biāo)度以找到牌照的頂部到車輛的最低可見部分之間的距離；以及(j)步驟(g)中的距離減去步驟(i)中的距離以獲得車輛的離地間隙。

計算機(jī)可用介質(zhì)當(dāng)然可以為磁記錄介質(zhì)、磁光記錄介質(zhì)或?qū)韺⒈婚_發(fā)的任何其他記錄介質(zhì)，其全部能夠被認(rèn)為以全部相同的方式適用于本發(fā)明。包括主要和輔助復(fù)制產(chǎn)品和其他東西的這種介質(zhì)的復(fù)制品無疑被認(rèn)為相當(dāng)于上述介質(zhì)。此外，即使本發(fā)明的實施例是軟件和硬件的組合，它也根本不會背離本發(fā)明的構(gòu)思。本發(fā)明可以被實現(xiàn)使得其軟件部分已被提前寫到記錄介質(zhì)上并且將在操作中根據(jù)需要而被讀取。

基于結(jié)構(gòu)簽名的客運車輛分類和測量系統(tǒng)

依照示例性實施例，如本文中所描述的系統(tǒng)和方法依靠用于車輛的分類的結(jié)構(gòu)簽名，所述結(jié)構(gòu)簽名通過來自車輛的后部的客運車輛段的多(或多個)視頻幀的分析來獲得。結(jié)構(gòu)簽名對與車輛的對稱軸相交的可見車輛表面是否與道路平行或別樣的進(jìn)行編碼。所述系統(tǒng)和方法提供用于客運車輛的分類并且測量它們的屬性，并且更特別地以便從單個相機(jī)捕獲沿著道路行進(jìn)的車輛并且將該車輛分類成3個類別中的一個：轎車、皮卡和/或小型貨車及suv(運動型多用途車)。

依照示例性實施例，用于車輛的分類的系統(tǒng)和方法包括以下步驟：計算相機(jī)圖像與路面之間的變換角；檢測路面上的移動對象；為移動對象中的每一個確立對稱的垂直軸；針對移動對象中的每一個檢測與對稱的垂直軸相交的主導(dǎo)水平邊緣；針對多個連續(xù)視頻幀來跟蹤所述主導(dǎo)水平邊緣；將主導(dǎo)水平邊緣中的每一個投射到地平面上；將每對相鄰?fù)渡溥吘壱暈橥渡浔砻?；計算投射表面中的改變；根?jù)投射表面中的改變來計算不同結(jié)構(gòu)簽名；以及在類別中分類不同結(jié)構(gòu)簽名。例如，如圖13-15中所示，來自具有兩個感興趣投影的側(cè)視圖的針對移動車輛的投影隨著時間的幾何結(jié)構(gòu)的圖像1300以及用于表征地平面上投影中的改變的圖像1400、1500被獲得。所述方法優(yōu)選包括以下步驟：

步驟1-通過標(biāo)定來確立相機(jī)圖像與道路之間的變換

依照示例性實施例，系統(tǒng)通過標(biāo)定來確立相機(jī)圖像與道路之間的變換。標(biāo)定確立相機(jī)圖像點與道路上的點之間的一對一對應(yīng)。這個對應(yīng)能夠通過知道圖像中和道路上的至少4個共平面點的位置而被確立，所述至少4個共平面點中的三個不是共線的。圖16示出了其中道路上的點a、b、c以及d的二維位置1610是從交通標(biāo)記標(biāo)準(zhǔn)或測量知道的場景1600。它們在圖像中的對應(yīng)二維位置是道路上的a’、b’、c’以及d’1620，其能夠被圖像處理或者手動地檢測到。采用這4個對應(yīng)，唯一變換能夠通過使用投影幾何學(xué)來確定。

步驟2-使用移動對象檢測來定位視頻中的移動對象

依照示例性實施例，所述系統(tǒng)使用移動對象檢測來定位視頻中的移動對象。視頻中的移動對象能夠用諸如幀差、改變檢測以及光流之類的各種計算機(jī)視覺技術(shù)來檢測。如果多個車輛被檢測到，則每個對象能夠基于它們的諸如顏色和位置之類的屬性被分配唯一標(biāo)識。因此，現(xiàn)在能夠個別地針對其余的分類系統(tǒng)來處理每個對象。移動對象的檢測提供其邊界和位置。此外，依照示例性實施例，系統(tǒng)1700融合了光流、幀差以及圖像分段方法來像圖17中所示出的那樣檢測移動對象。

步驟3-確立對象的對稱的垂直軸

如圖18中所示，對象的對稱的垂直軸1800然后被確立。依照實施例，車輛的后視圖展示沿著垂直軸的強(qiáng)對稱。車輛的可見結(jié)構(gòu)沿著對稱軸被幾乎完全地捕獲。此外，存在用來確立對象的兩側(cè)對稱的各種方法。所述系統(tǒng)優(yōu)選通過匹配gabor特征來確立兩側(cè)對稱的軸。在所檢測到的移動對象附近的感興趣區(qū)然后用一組gabor濾波器在步驟2中被濾波1810。依照示例性實施例，gabor濾波器的輸出是邊緣幅度和方向。對gabor濾波器的輸出執(zhí)行環(huán)繞抑制1820以消除可能干擾對稱檢測的局部紋理圖案。非最大抑制1830和細(xì)化1840也被執(zhí)行以避免偽邊緣。系統(tǒng)匹配邊緣點1850，這具有互補(bǔ)方位(θ和180-θ)并且這是沿著圖像的相同掃描線的。每對匹配的邊緣點然后對與邊緣點兩者等距離的垂直軸進(jìn)行表決。依照示例性實施例，優(yōu)勝者接受所有(wta)方法1870能夠被使用和/或其他技術(shù)能夠適用于表決1860以確立車輛的對稱的垂直軸。

步驟4-分開諸如陰影之類的被檢測對象的不對稱部分

諸如陰影之類的被檢測對象的不對稱部分被分開。太陽或其他照明源使車輛將陰影投在道路上。該陰影通過步驟2作為移動對象的一部分被檢測。因為陰影是不對稱的，所以它能夠通過對步驟2中所檢測到的移動對象實施在步驟3中找到的對稱的軸而被消除。此外，同樣能夠使用諸如基于物理學(xué)之類的陰影去除的其他方法。

步驟5-檢測與對稱的垂直軸相交的主導(dǎo)水平邊緣

與對稱的垂直軸相交的主導(dǎo)水平邊緣被檢測。如所示，車輛的圖像展示強(qiáng)烈的水平和垂直邊緣。在車輛圖像中看到的水平邊緣的大部分由結(jié)構(gòu)改變引起。系統(tǒng)從車輛圖像中檢測主導(dǎo)水平邊緣。各邊緣的偽檢測通過消除不與在步驟3中檢測到的對稱軸相交的邊緣來避免。

步驟6-在多個連續(xù)視頻幀中跟蹤水平邊緣

水平邊緣在多個連續(xù)視頻幀中被跟蹤。系統(tǒng)在多個以下視頻幀中跟蹤在步驟5中檢測到的邊緣。跟蹤用lukas-kanade-tomasi跟蹤器來執(zhí)行。還能夠應(yīng)用諸如基于相關(guān)的均值漂移之類的其他跟蹤方法。

步驟7-將邊緣投影在地平面上

這些邊緣現(xiàn)在被投影到地平面上。從步驟5和6所檢測和跟蹤到的邊緣的位置是根據(jù)2d(2維)圖像坐標(biāo)的。用在步驟1中確立的變換在2d道路坐標(biāo)上變換這些。

步驟8-計算投影表面隨著時間的推移的改變

投影表面隨著時間的推移的改變被計算。在圖像中和在道路上投影的每對相鄰邊緣被視為表面。系統(tǒng)將沿著對稱軸的邊緣之間的距離視為表面的高度。對于每個投影表面，在每個跟蹤階躍情況下的高度改變被計算。依照示例性實施例，各種時間步長能夠被用來計算這些改變。

步驟9-根據(jù)投影表面中的改變來計算不同結(jié)構(gòu)簽名

不同結(jié)構(gòu)簽名根據(jù)投影表面中的改變被計算。如果表面與道路平行，則它的投影的高度不會隨著時間而改變。然而，如果表面不與道路平行，則它的投影的高度隨著時間而改變。應(yīng)當(dāng)注意的是，如果這個表面的高度是小的，則投影的改變將是較小的。這可能導(dǎo)致小表面的誤解。為了避免混淆，投影改變被用在特定時刻(例如，初始或最后)的投影歸一化。這讓對于與道路平行的投影改變接近于零同時放大小表面中的改變。

步驟10-將結(jié)構(gòu)簽名分類成轎車、皮卡以及小型貨車+suv類別

結(jié)構(gòu)簽名被分類成轎車、皮卡以及(小型貨車+suv)類別。作為結(jié)構(gòu)簽名轎車1910、皮卡1920以及小型貨車(1930)+suv(1940)類別分別能夠被語義地表示為{pp,n,p,n}、{p,n,pp,n}以及{pp,nn}。在這里表示與道路平行的表面而表示不與道路平行的表面。符號和被重復(fù)來指示較大的長度。這在其中交叉影線部分代表與道路平行的表面而非交叉影線部分代表其他表面的圖19中被示出。系統(tǒng)將這些簽名傳遞給分類器。除了別的以外，分類器還能夠被選擇成為語義分類器、概率分類器或諸如svm之類的基于機(jī)器學(xué)習(xí)的分類器。系統(tǒng)將具有徑向基本功能的svm用作分類器。對于svm分類結(jié)構(gòu)簽名被用數(shù)表達(dá)。從被檢測對象的頂部開始到所述對象的底部投影改變沿著對稱軸被采樣持續(xù)固定次數(shù)，使得在道路投影上這些樣本是等距離的。

當(dāng)分類正被執(zhí)行時，對于車輛的測量通過系統(tǒng)在各個步驟處生成。在分類步驟4之后，表示車輛的對稱斑點是可用的。斑點的下緣使用分類步驟1中的變換而被投影到道路上。依照示例性實施例，投影大小是車輛的寬度。在分類步驟7之后，最小投影邊緣在兩個不同時間的位置被優(yōu)選用來計算車輛的速度。圖20示出了針對如依照示例性實施例一樣的過程的系統(tǒng)圖2000的流程圖。如圖20中所示，系統(tǒng)2000包括視頻流2010，所述視頻流2010被分析以經(jīng)由如上所述的一系列步驟來確定車輛類別2020、車輛速度2030以及車輛大小。

依照示例性實施例，所述系統(tǒng)的應(yīng)用能夠包括：分類道路上的客運車輛；能夠基于車輛類別來執(zhí)行停車庫或停車場分配；對于法律實施的車輛速度測量；以及確保對車輛的有限/受控訪問的安全相關(guān)應(yīng)用。

此外，所述系統(tǒng)的變化能夠包括并且不限于：系統(tǒng)能夠被實現(xiàn)用于根據(jù)正視圖和側(cè)視圖來分類車輛；僅系統(tǒng)的分類器部分能夠被實現(xiàn)；僅系統(tǒng)的測量部分能夠被實現(xiàn)；僅速度測量能夠被實現(xiàn)；僅大小測量能夠被實現(xiàn)；檢測各類別中的僅一個或兩個的部分分類器能夠被實現(xiàn)；以及部分或完整軟件系統(tǒng)能夠被實現(xiàn)為等效硬件實施方式。

依照另一示例性實施例，計算機(jī)程序產(chǎn)品包括具有用于客運車輛的分類并且根據(jù)后視圖視頻幀來測量它們的屬性在其中體現(xiàn)的計算機(jī)可讀代碼的非暫時性計算機(jī)可用介質(zhì)。計算機(jī)可讀程序代碼被配置成執(zhí)行過程，所述過程包括用于車輛的分類的方法的步驟，包括：(a)標(biāo)定相機(jī)圖像與路面之間的變換角；(b)檢測相機(jī)圖像中的路面上的移動對象；(c)為移動對象中的每一個確立對稱的垂直軸；(d)針對移動對象中的每一個檢測與對稱的垂直軸相交的主導(dǎo)水平邊緣；(e)針對多個連續(xù)視頻幀來跟蹤所述主導(dǎo)水平邊緣；(f)將主導(dǎo)水平邊緣中的每一個投影到地平面上；(g)將每對相鄰?fù)队斑吘壱暈橥队氨砻妫?h)計算投影表面中的改變；以及(i)根據(jù)投影表面中的改變來計算不同結(jié)構(gòu)簽名。

計算機(jī)可用介質(zhì)當(dāng)然可以為磁記錄介質(zhì)、磁光記錄介質(zhì)或?qū)韺⒈婚_發(fā)的任何其他記錄介質(zhì)，其全部能夠被認(rèn)為以全部相同的方式適用于本發(fā)明。包括主要和輔助復(fù)制產(chǎn)品和其他東西的這種介質(zhì)的復(fù)制品無疑被認(rèn)為相當(dāng)于上述介質(zhì)。此外，即使本發(fā)明的實施例是軟件和硬件的組合，它也根本不會背離本發(fā)明的構(gòu)思。本發(fā)明可以被實現(xiàn)使得其軟件部分已被提前寫到記錄介質(zhì)上并且將在操作中根據(jù)需要而被讀取。

將理解的是，前述描述是優(yōu)選實施例的描述，并且因此，僅僅表示物品和制造該物品的方法。能夠了解的是，鑒于上述教導(dǎo)的不同實施例的許多變化和修改對于本領(lǐng)域的技術(shù)人員而言將是容易顯而易見的。因此，在不背離如在所附權(quán)利要求中所闡述的物品和方法的精神和范圍的情況下，可以作出示例性實施例以及可替換的實施例。