本發(fā)明屬于計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，更具體地，涉及一種基于先驗(yàn)概率圖的多類(lèi)交通燈檢測(cè)方法及系統(tǒng)。

背景技術(shù)：

隨著汽車(chē)的增多，交通問(wèn)題日益凸顯。為了解決交通擁堵，降低事故發(fā)生率，越來(lái)越多的研究機(jī)構(gòu)投入到了智能交通系統(tǒng)的研究中，而交通燈作為交通運(yùn)轉(zhuǎn)的樞紐設(shè)備，是其中必不可少的一部分。如果能及時(shí)、自動(dòng)地捕捉到交通燈信號(hào)，無(wú)論是對(duì)無(wú)人駕駛還是智能輔助駕駛，都有非常重要的意義。

交通燈檢測(cè)系統(tǒng)通常采用短程通信，全球定位系統(tǒng)(Global Positioning System，GPS)，計(jì)算機(jī)視覺(jué)等方式。其中，使用計(jì)算機(jī)視覺(jué)的檢測(cè)方法由于其易于安裝，成本低廉，效果直觀，且無(wú)需增添額外的基礎(chǔ)設(shè)施等特點(diǎn)受到重視。該方法通過(guò)在汽車(chē)上安裝一個(gè)攝像機(jī)，采集汽車(chē)前方道路場(chǎng)景的圖像，分析圖像中是否存在交通燈，并對(duì)其位置和類(lèi)型進(jìn)行判斷。

目前基于計(jì)算機(jī)視覺(jué)的交通燈檢測(cè)方法基本上采用的是啟發(fā)式的方法，一般分為以下幾個(gè)步驟：首先得到交通燈的候選區(qū)域，通常是在特定的顏色空間內(nèi)對(duì)圖像進(jìn)行分割，或者采用頂帽算法得到圖像中的亮斑區(qū)域；其次對(duì)得到的候選區(qū)域采模板匹配或者連通域分析等方式進(jìn)行過(guò)濾，得到最終的交通燈檢測(cè)結(jié)果。

上述方法雖然速度比較快，但是由于其檢測(cè)方式是采用一些人為設(shè)定的規(guī)則，應(yīng)用的范圍通常比較受限。交通燈類(lèi)型眾多，很難設(shè)計(jì)一個(gè)對(duì)所有類(lèi)型的交通燈都可以準(zhǔn)確檢測(cè)的方法，所以現(xiàn)存的方法大多數(shù)只能應(yīng)用于圓形的交通燈。而且上述方法對(duì)光照變化以及噪聲的魯棒性差，由于交通燈的遮擋、光照變化、光暈、閃爍以及復(fù)雜場(chǎng)景中其他燈的干擾等問(wèn)題的存在，計(jì)算得到的模型往往只能適用于某個(gè)特定的數(shù)據(jù)集，無(wú)法應(yīng)用到復(fù)雜的真實(shí)場(chǎng)景中。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種基于先驗(yàn)概率圖的多類(lèi)交通燈檢測(cè)方法及系統(tǒng)，其目的在于采用基于學(xué)習(xí)的交通燈檢測(cè)方法，對(duì)采集樣本中不同形狀的交通燈樣本進(jìn)行標(biāo)記，采用多類(lèi)分類(lèi)器訓(xùn)練一個(gè)多類(lèi)分類(lèi)器，再利用交通燈的分布規(guī)律構(gòu)建先驗(yàn)概率圖，對(duì)分類(lèi)閾值進(jìn)行自適應(yīng)設(shè)置，并且采用積分通道特征作為交通燈模型的特征表達(dá)，由此解決現(xiàn)有技術(shù)方案中往往只能適用于某個(gè)特定形狀交通燈和抗干擾能力的技術(shù)問(wèn)題。

為實(shí)現(xiàn)上述目的，按照本發(fā)明的一個(gè)方面，提供了一種基于先驗(yàn)概率圖的多類(lèi)交通燈檢測(cè)方法，該方法包括以下步驟：

(1)按照設(shè)定好的比例對(duì)待測(cè)圖像進(jìn)多尺度縮放；優(yōu)選的，圖像縮放系數(shù)第一層為1，之后每一層為上一層的0.95，總共縮放20層；

(2)對(duì)縮放后的所有圖像提取積分通道特征，形成特征金字塔；

(3)采用一個(gè)固定大小的窗口在特征金字塔的每一層進(jìn)行滑動(dòng)，并利用交通燈檢測(cè)模型對(duì)滑動(dòng)窗口內(nèi)的積分通道特征進(jìn)行檢測(cè)，得到包含交通燈的滑動(dòng)窗口位置和窗口的交通燈概率得分；

(4)統(tǒng)計(jì)包含交通燈并相互重疊的滑動(dòng)窗口的重疊面積，重疊面積超過(guò)設(shè)定的重疊閾值則選取交通燈概率得分最高的滑動(dòng)窗口作為待分類(lèi)窗口；優(yōu)選的，重疊閾值為0.5；

(5)將待分類(lèi)窗口輸入到交通燈分類(lèi)模型，得到交通燈的類(lèi)型及狀態(tài)并輸出。

進(jìn)一步地，所述步驟(3)中交通燈檢測(cè)模型的訓(xùn)練具體包括以下步驟：

(21)采集道路場(chǎng)景圖像，采集到的樣本圖像中要包含需檢測(cè)到的所有交通燈類(lèi)型和狀態(tài)，且不同類(lèi)型和狀態(tài)交通燈的數(shù)目平均分布；

(22)對(duì)圖像樣本進(jìn)行人工標(biāo)記，切割包含完整交通燈的區(qū)域并標(biāo)記為正樣本，隨機(jī)選取不包含交通燈區(qū)域作為負(fù)樣本，將正負(fù)樣本尺寸歸一化；

(23)選取正負(fù)樣本的特征通道，之后提取正負(fù)樣本特征通道的圖像特征，最后對(duì)得到的圖像特征進(jìn)行集合得到正負(fù)樣本的積分通道特征；

(24)利用交通燈正負(fù)樣本的積分通道特征，訓(xùn)練一個(gè)Adaboost分類(lèi)器作為交通燈檢測(cè)模型。

進(jìn)一步地，所述步驟(3)中對(duì)滑動(dòng)窗口內(nèi)的積分通道特征進(jìn)行檢測(cè)具體采用軟級(jí)聯(lián)Adaboost，Adaboost分類(lèi)器是由多個(gè)弱分類(lèi)器組成，如下式

其中，x為滑動(dòng)窗口中提取了積分通道特征向量；h_i(x)為第i個(gè)弱分類(lèi)器對(duì)特征向量x的輸出；從第一個(gè)弱分類(lèi)器開(kāi)始，比較第一個(gè)弱分類(lèi)器和自適應(yīng)檢測(cè)閾值，若小于自適應(yīng)檢測(cè)閾值,則認(rèn)定滑動(dòng)窗口內(nèi)是背景，繼續(xù)滑動(dòng)窗口進(jìn)行下一次檢測(cè)；若大于自適應(yīng)檢測(cè)閾值則累加后一個(gè)弱分類(lèi)器，并將累加結(jié)果繼續(xù)和自適應(yīng)檢測(cè)閾值對(duì)比，若小于自適應(yīng)檢測(cè)閾值,則認(rèn)定滑動(dòng)窗口是背景，繼續(xù)滑動(dòng)窗口進(jìn)行下一次檢測(cè)；若大于自適應(yīng)檢測(cè)閾值則繼續(xù)累加后一個(gè)弱分類(lèi)器，直到通過(guò)最后一個(gè)弱分類(lèi)器，則認(rèn)定該滑動(dòng)窗口包含交通燈目標(biāo)，輸出累加結(jié)果作為交通燈概率得分；輸出滑動(dòng)窗口位置。

進(jìn)一步地，所述的自適應(yīng)檢測(cè)閾值的求取包括以下步驟：

(41)計(jì)算所有正樣本的交通燈位置先驗(yàn)概率圖和交通燈尺寸先驗(yàn)概率圖；

(42)計(jì)算位置先驗(yàn)概率圖I_p的積分圖

其中，積分圖的每一個(gè)點(diǎn)的值相當(dāng)于原圖中在該點(diǎn)左上角所有值的累加；通過(guò)對(duì)積分圖進(jìn)行簡(jiǎn)單的算術(shù)操作，得到

其中，x和y表示檢測(cè)窗口左上角的坐標(biāo),w和h分別表示檢測(cè)窗口的寬和高；

(43)由尺寸先驗(yàn)概率圖I_s，計(jì)算候選區(qū)域尺寸與該區(qū)域出現(xiàn)交通燈的期望尺寸之間的偏差P_s(x,y,w,h)

(44)自適應(yīng)檢測(cè)閾值為

T(x,y,w,h)＝-P_s(x,y,w,h)·P_p(x,y,w,h)。

進(jìn)一步地，所述步驟(5)中交通燈分類(lèi)模型的訓(xùn)練具體分為以下步驟：

(51)對(duì)正樣本中不同形狀不同狀態(tài)的交通燈進(jìn)行人工分類(lèi)標(biāo)記；

(52)選取正樣本的特征通道，之后提取正樣本特征通道的圖像特征，最后對(duì)得到的圖像特征進(jìn)行集合得到正負(fù)樣本的積分通道特征；

(53)利用分類(lèi)正樣本，采用多類(lèi)分類(lèi)器進(jìn)行訓(xùn)練，得到交通燈分類(lèi)模型；優(yōu)選的，多類(lèi)分類(lèi)器采用Adaboost.MH算法。

按照本發(fā)明的另一方面，提供了一種基于先驗(yàn)概率圖的多類(lèi)交通燈檢測(cè)系統(tǒng)，該系統(tǒng)包括以下部分：

待測(cè)圖像縮放模塊，用于按照設(shè)定好的比例對(duì)待測(cè)圖像進(jìn)多尺度縮放；優(yōu)選的，圖像縮放系數(shù)第一層為1，之后每一層為上一層的0.95，總共縮放20層；

積分通道特征提取模塊，用于對(duì)縮放后的所有圖像提取積分通道特征，形成特征金字塔；

滑動(dòng)檢測(cè)模塊，用于采用一個(gè)固定大小的窗口在特征金字塔的每一層進(jìn)行滑動(dòng)，并利用交通燈檢測(cè)模型對(duì)滑動(dòng)窗口內(nèi)的積分通道特征進(jìn)行檢測(cè)，得到包含交通燈的滑動(dòng)窗口位置和窗口的交通燈概率得分；

非極大值抑制模塊，用于統(tǒng)計(jì)包含交通燈并相互重疊的滑動(dòng)窗口的重疊面積，重疊面積超過(guò)設(shè)定的重疊閾值則選取交通燈概率得分最高的滑動(dòng)窗口作為待分類(lèi)窗口；優(yōu)選的，重疊閾值為0.5；

分類(lèi)模塊，用于將待分類(lèi)窗口輸入到交通燈分類(lèi)模型，得到交通燈的類(lèi)型及狀態(tài)并輸出。

進(jìn)一步地，所述滑動(dòng)檢測(cè)模塊中交通燈檢測(cè)模型的訓(xùn)練系統(tǒng)具體包括以下單元：

采樣單元，用于采集道路場(chǎng)景圖像，采集到的樣本圖像中要包含需檢測(cè)到的所有交通燈類(lèi)型和狀態(tài)，且不同類(lèi)型和狀態(tài)交通燈的數(shù)目平均分布；

正負(fù)樣本標(biāo)記單元，用于對(duì)圖像樣本進(jìn)行人工標(biāo)記，切割包含完整交通燈的區(qū)域并標(biāo)記為正樣本，隨機(jī)選取不包含交通燈區(qū)域作為負(fù)樣本，將正負(fù)樣本尺寸歸一化；

積分通道特征提取單元，用于選取正負(fù)樣本的特征通道，之后提取正負(fù)樣本特征通道的圖像特征，最后對(duì)得到的圖像特征進(jìn)行集合得到正負(fù)樣本的積分通道特征；

交通燈檢測(cè)模型訓(xùn)練單元，用于利用交通燈正負(fù)樣本的積分通道特征，訓(xùn)練一個(gè)Adaboost分類(lèi)器作為交通燈檢測(cè)模型。

進(jìn)一步地，所述滑動(dòng)檢測(cè)模塊中對(duì)滑動(dòng)窗口內(nèi)的積分通道特征進(jìn)行檢測(cè)具體采用軟級(jí)聯(lián)Adaboost，Adaboost分類(lèi)器是由多個(gè)弱分類(lèi)器組成，如下式

其中，x為滑動(dòng)窗口中提取了積分通道特征向量；h_i(x)為第i個(gè)弱分類(lèi)器對(duì)特征向量x的輸出；從第一個(gè)弱分類(lèi)器開(kāi)始，比較第一個(gè)弱分類(lèi)器和自適應(yīng)檢測(cè)閾值，若小于自適應(yīng)檢測(cè)閾值,則認(rèn)定滑動(dòng)窗口內(nèi)是背景，繼續(xù)滑動(dòng)窗口進(jìn)行下一次檢測(cè)；若大于自適應(yīng)檢測(cè)閾值則累加后一個(gè)弱分類(lèi)器，并將累加結(jié)果繼續(xù)和自適應(yīng)檢測(cè)閾值對(duì)比，若小于自適應(yīng)檢測(cè)閾值,則認(rèn)定滑動(dòng)窗口是背景，繼續(xù)滑動(dòng)窗口進(jìn)行下一次檢測(cè)；若大于自適應(yīng)檢測(cè)閾值則繼續(xù)累加后一個(gè)弱分類(lèi)器，直到通過(guò)最后一個(gè)弱分類(lèi)器，則認(rèn)定該滑動(dòng)窗口包含交通燈目標(biāo)，輸出累加結(jié)果作為交通燈概率得分；輸出滑動(dòng)窗口位置。

進(jìn)一步地，所述的自適應(yīng)檢測(cè)閾值的求取系統(tǒng)包括以下單元：

先驗(yàn)概率圖計(jì)算單元，用于計(jì)算所有正樣本的交通燈位置先驗(yàn)概率圖和交通燈尺寸先驗(yàn)概率圖；

積分圖計(jì)算單元，用于計(jì)算位置先驗(yàn)概率圖I_p的積分圖

其中，積分圖的每一個(gè)點(diǎn)的值相當(dāng)于原圖中在該點(diǎn)左上角所有值的累加；通過(guò)對(duì)積分圖進(jìn)行簡(jiǎn)單的算術(shù)操作，得到

其中，x和y表示檢測(cè)窗口左上角的坐標(biāo),w和h分別表示檢測(cè)窗口的寬和高；

偏差計(jì)算單元，用于由尺寸先驗(yàn)概率圖I_s，計(jì)算候選區(qū)域尺寸與該區(qū)域出現(xiàn)交通燈的期望尺寸之間的偏差P_s(x,y,w,h)

自適應(yīng)檢測(cè)閾值計(jì)算單元，用于計(jì)算自適應(yīng)檢測(cè)閾值

T(x,y,w,h)＝-P_s(x,y,w,h)·P_p(x,y,w,h)。

進(jìn)一步地，所述分類(lèi)模塊中交通燈分類(lèi)模型的訓(xùn)練系統(tǒng)具體分為以下單元：

分類(lèi)標(biāo)記單元，用于對(duì)正樣本中不同形狀不同狀態(tài)的交通燈進(jìn)行人工分類(lèi)標(biāo)記；

分類(lèi)積分通道特征提取單元，用于選取正樣本的特征通道，之后提取正樣本特征通道的圖像特征，最后對(duì)得到的圖像特征進(jìn)行集合得到正負(fù)樣本的積分通道特征；

交通燈分類(lèi)模型訓(xùn)練單元，用于利用分類(lèi)正樣本，采用多類(lèi)分類(lèi)器進(jìn)行訓(xùn)練，得到交通燈分類(lèi)模型，優(yōu)選的，多類(lèi)分類(lèi)器采用Adaboost.MH算法。

總體而言，通過(guò)本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)特征及有益效果：

(1)采用基于學(xué)習(xí)的交通燈檢測(cè)方法，對(duì)采集樣本中不同形狀的交通燈樣本進(jìn)行標(biāo)記，采用多類(lèi)分類(lèi)器訓(xùn)練一個(gè)多類(lèi)分類(lèi)器，實(shí)現(xiàn)了對(duì)不同類(lèi)型交通燈的識(shí)別，可以判斷檢測(cè)到的交通燈的形狀和狀態(tài)；

(2)本發(fā)明采用積分通道特征作為交通燈模型的特征表達(dá)。與單純的使用顏色特征或者梯度特征進(jìn)行目標(biāo)檢測(cè)比較而言，積分通道特征首先提取了多種不同類(lèi)型的特征再進(jìn)行融合，從而形成了目標(biāo)的多元表達(dá)，增強(qiáng)了特征的魯棒性；

(3)采用自適應(yīng)閾值的方式，結(jié)合交通燈的分布特點(diǎn)，利用交通燈出現(xiàn)概率與尺寸以及圖像位置之間的關(guān)系設(shè)定檢測(cè)的閾值，提高了檢測(cè)的精度。

附圖說(shuō)明

圖1本發(fā)明整體流程圖；

圖2本發(fā)明中圖像通道示意圖；

圖3a本發(fā)明中位置先驗(yàn)概率示意圖；

圖3b本發(fā)明中尺寸先驗(yàn)概率示意圖；

圖4a、4b、4c和4d本發(fā)明中交通燈定位功能示意圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。

如圖1所示為本發(fā)明實(shí)施例的實(shí)施流程，具體包括以下步驟：

(1)按照設(shè)定好的比例對(duì)待測(cè)圖像進(jìn)多尺度縮放；本實(shí)施中縮放系數(shù)第一層為1，之后每一層為上一層的0.95，總共縮放20層；

(2)對(duì)縮放后的所有圖像提取積分通道特征，形成特征金字塔；對(duì)縮放后的圖像提取積分通道特征，形成特征金字塔；

通道是原始圖像的輸出響應(yīng)，表示所提取的某種類(lèi)型的特征；對(duì)于彩色圖像而言，每個(gè)顏色通道則對(duì)應(yīng)一個(gè)通道，其他類(lèi)似的通道可對(duì)原始圖像進(jìn)行各種線性和非線性變換得到；本實(shí)例提取交通燈的顏色和梯度特征，構(gòu)建了十個(gè)特征通道，如圖2所示，其中包含LUV三個(gè)顏色通道、一個(gè)梯度強(qiáng)度通道和梯度投影在0度到180度之間均勻分布的六個(gè)方向所構(gòu)成的六個(gè)梯度方向通道；在特征通道上提取Haar特征，將所有特征通道的Haar特征向量連接起來(lái)得到樣本的積分通道特征。

(3)采用一個(gè)固定大小的窗口在特征金字塔的每一層進(jìn)行滑動(dòng)，并利用交通燈檢測(cè)模型對(duì)滑動(dòng)窗口內(nèi)的積分通道特征進(jìn)行檢測(cè)，得到包含交通燈的滑動(dòng)窗口位置和窗口的交通燈概率得分；

其中交通燈檢測(cè)模型的訓(xùn)練具體包括以下步驟：

(21)采集道路場(chǎng)景圖像，采集到的樣本圖像中要包含需檢測(cè)到的所有交通燈類(lèi)型和狀態(tài)，且不同類(lèi)型和狀態(tài)交通燈的數(shù)目平均分布；

(22)對(duì)圖像樣本進(jìn)行人工標(biāo)記，切割包含完整交通燈的區(qū)域并標(biāo)記為正樣本，隨機(jī)選取不包含交通燈區(qū)域作為負(fù)樣本，將正負(fù)樣本尺寸歸一化；

(23)選取正負(fù)樣本的特征通道，之后提取正負(fù)樣本特征通道的圖像特征，最后對(duì)得到的圖像特征進(jìn)行集合得到正負(fù)樣本的積分通道特征；

(24)利用交通燈正負(fù)樣本的積分通道特征，訓(xùn)練一個(gè)Adaboost分類(lèi)器作為交通燈檢測(cè)模型。

為了加快檢測(cè)的速度，本發(fā)明采用了軟級(jí)聯(lián)Adaboost，Adaboost分類(lèi)器是由多個(gè)弱分類(lèi)器組成的

其中，x為滑動(dòng)窗口中提取了積分通道特征向量；h_i(x)為第i個(gè)弱分類(lèi)器對(duì)特征向量x的輸出；從第一個(gè)弱分類(lèi)器開(kāi)始，比較第一個(gè)弱分類(lèi)器和自適應(yīng)檢測(cè)閾值，若小于自適應(yīng)檢測(cè)閾值,則認(rèn)定滑動(dòng)窗口內(nèi)是背景，繼續(xù)滑動(dòng)窗口進(jìn)行下一次檢測(cè)；若大于自適應(yīng)檢測(cè)閾值則累加后一個(gè)弱分類(lèi)器，并將累加結(jié)果繼續(xù)和自適應(yīng)檢測(cè)閾值對(duì)比，若小于自適應(yīng)檢測(cè)閾值,則認(rèn)定滑動(dòng)窗口是背景，繼續(xù)滑動(dòng)窗口進(jìn)行下一次檢測(cè)；若大于自適應(yīng)檢測(cè)閾值則繼續(xù)累加后一個(gè)弱分類(lèi)器，直到通過(guò)最后一個(gè)弱分類(lèi)器，則認(rèn)定該滑動(dòng)窗口包含交通燈目標(biāo)，輸出累加結(jié)果作為交通燈概率得分；輸出滑動(dòng)窗口位置。

其中自適應(yīng)檢測(cè)閾值的求取包括以下步驟：

(41)計(jì)算所有正樣本的交通燈位置先驗(yàn)概率圖和交通燈尺寸先驗(yàn)概率圖；

(42)計(jì)算位置先驗(yàn)概率圖I_p的積分圖

其中，積分圖的每一個(gè)點(diǎn)的值相當(dāng)于原圖中在該點(diǎn)左上角所有值的累加；通過(guò)對(duì)積分圖進(jìn)行簡(jiǎn)單的算術(shù)操作，得到

其中，x和y表示檢測(cè)窗口左上角的坐標(biāo),w和h分別表示檢測(cè)窗口的寬和高；

(43)由尺寸先驗(yàn)概率圖I_s，計(jì)算候選區(qū)域尺寸與該區(qū)域出現(xiàn)交通燈的期望尺寸之間的偏差P_s(x,y,w,h)

(44)自適應(yīng)檢測(cè)閾值為

T(x,y,w,h)＝-P_s(x,y,w,h)·P_p(x,y,w,h)。

(4)統(tǒng)計(jì)包含交通燈并相互重疊的滑動(dòng)窗口的重疊面積，重疊面積超過(guò)設(shè)定的重疊閾值則選取交通燈概率得分最高的滑動(dòng)窗口作為待分類(lèi)窗口；本實(shí)施例重疊閾值為0.5。

(5)將待分類(lèi)窗口輸入到交通燈分類(lèi)模型，得到交通燈的類(lèi)型及狀態(tài)并輸出；

其中交通燈分類(lèi)模型的訓(xùn)練包括以下步驟：

(51)對(duì)正樣本中不同形狀不同狀態(tài)的交通燈進(jìn)行人工分類(lèi)標(biāo)記；

(52)選取正樣本的特征通道，之后提取正樣本特征通道的圖像特征，最后對(duì)得到的圖像特征進(jìn)行集合得到正負(fù)樣本的積分通道特征；

(53)利用分類(lèi)正樣本，采用多類(lèi)分類(lèi)器進(jìn)行訓(xùn)練，得到交通燈分類(lèi)模型；本實(shí)施例多類(lèi)分類(lèi)器采用Adaboost.MH算法。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。