本發(fā)明具體涉及一種結(jié)合特征和模型的道路檢測(cè)方法。
背景技術(shù)：
視聽(tīng)覺(jué)信息的認(rèn)知計(jì)算是信息科學(xué)、生命科學(xué)和梳理科學(xué)的交叉學(xué)科，其發(fā)展水平反映了國(guó)家信息服務(wù)及相關(guān)產(chǎn)業(yè)的綜合實(shí)力，無(wú)人駕駛技術(shù)是視聽(tīng)覺(jué)信息處理基礎(chǔ)理論研究、視聽(tīng)覺(jué)認(rèn)知相關(guān)的腦—機(jī)接口等關(guān)鍵技術(shù)的集成，也是國(guó)家視聽(tīng)覺(jué)信息處理領(lǐng)域的整體研究實(shí)力的體現(xiàn)。其中基于計(jì)算機(jī)視覺(jué)的道路檢測(cè)技術(shù)，是無(wú)人駕駛汽車智能導(dǎo)航系統(tǒng)的核心技術(shù)之一。
現(xiàn)實(shí)中的道路可以分為結(jié)構(gòu)化和非結(jié)構(gòu)化道路，目前非結(jié)構(gòu)化道路路面環(huán)境較為復(fù)雜、路面特征易受天氣、光照變化的干擾等客觀原因，精確、實(shí)時(shí)的非結(jié)構(gòu)道路檢測(cè)仍然是一個(gè)富有挑戰(zhàn)性的問(wèn)題，在已有的非結(jié)構(gòu)化道路檢測(cè)算法研究中，基于特征的道路檢測(cè)算法魯棒性較強(qiáng)，但存在算法復(fù)雜度過(guò)高、環(huán)境適應(yīng)能力不足的問(wèn)題；基于模型的道路檢測(cè)算法實(shí)時(shí)性較好，但仍然存在對(duì)陰影、光照變化的魯棒性較差的問(wèn)題。
技術(shù)實(shí)現(xiàn)要素：
本發(fā)明要解決的技術(shù)問(wèn)題是提供一種結(jié)合特征和模型的道路檢測(cè)方法。
結(jié)合特征和模型的道路檢測(cè)方法，包括以下步驟：
S1：通過(guò)攝像頭實(shí)時(shí)采集車道圖像信息；
S2：采用基于多層神經(jīng)網(wǎng)絡(luò)的道路分割方法進(jìn)行道路分割，找出其中道路區(qū)域；
S3：根據(jù)道路區(qū)域和非道路區(qū)域的分割結(jié)果找出道路邊界；
S4：對(duì)道路的邊界點(diǎn)進(jìn)行提取，使用條件概率密度傳播算法估計(jì)消失點(diǎn)位置，對(duì)道路消失點(diǎn)位置進(jìn)行跟蹤；
S5：使用將消失點(diǎn)位置融合到二次曲線道路道路邊界擬合過(guò)程中的啟發(fā)式擬合算法擬合道路模型。
進(jìn)一步的，所述基于多層神經(jīng)網(wǎng)絡(luò)的道路分割方法如下：
S2-1：將圖像從RGB色彩空間轉(zhuǎn)換到HSV色彩空間，將道路區(qū)域與非道路區(qū)域樣本中每一個(gè)像素點(diǎn)的色調(diào)和飽和度作為像素的特征向量作為多層神經(jīng)網(wǎng)絡(luò)輸入向量提供給輸入層，每一個(gè)輸入層節(jié)點(diǎn)的輸出結(jié)果等于輸入特征向量中的對(duì)應(yīng)分量；
S2-2：依據(jù)網(wǎng)絡(luò)連接，隱含層節(jié)點(diǎn)對(duì)各個(gè)輸入進(jìn)行加權(quán)求和，得到的標(biāo)量稱為凈激活，即：
其中，i為輸入層節(jié)點(diǎn)的索引，d為輸入層節(jié)點(diǎn)數(shù)，j為隱含層節(jié)點(diǎn)的索引，ωij為輸入層節(jié)點(diǎn)i到隱含層節(jié)點(diǎn)j的權(quán)值，ωj0為附加特征值x0＝1與附加權(quán)值ω0的積；
每個(gè)隱含層節(jié)點(diǎn)以凈激活作為輸入，并激發(fā)一個(gè)輸出分量，這個(gè)分量是凈激活的非線性函數(shù)，選用非線性函數(shù)如下：
S2-3：每個(gè)輸出層節(jié)點(diǎn)將接受隱含層節(jié)點(diǎn)的輸出信號(hào)，計(jì)算其凈激活：
其中，j為隱含層節(jié)點(diǎn)的索引，ηH為隱含層節(jié)點(diǎn)數(shù)，k為輸出層節(jié)點(diǎn)的索引，ωkj為輸入層節(jié)點(diǎn)j到隱含層節(jié)點(diǎn)k的權(quán)值；
輸出層節(jié)點(diǎn)以類似方法激發(fā)輸出層分量：
使用多層神經(jīng)網(wǎng)絡(luò)進(jìn)行分類判決的過(guò)程可以被描述為計(jì)算輸出層節(jié)點(diǎn)各輸出分量的過(guò)程；
S2-4：使用分塊分割的方法，并使用基于隸屬概率的判決結(jié)果修正策略進(jìn)行優(yōu)化，具體如下：
(1)將圖像分割成N*N的方塊，每個(gè)方塊的四個(gè)角區(qū)域稱為角點(diǎn)，假設(shè)任意一個(gè)像素點(diǎn)x都屬于道路區(qū)域R或者非道路區(qū)域NR，即x∈{R,NR}，則角點(diǎn)C∈{R,NR}，且角點(diǎn)C屬于道路區(qū)域R或者非道路區(qū)域NR的隸屬概率可以定義為：
其中，N為角點(diǎn)區(qū)域內(nèi)像素點(diǎn)個(gè)數(shù)；
(2)依據(jù)分塊中四個(gè)角點(diǎn)的類型判別結(jié)果及隸屬概率，可以將分塊劃分為三類：
如果某分塊四個(gè)角點(diǎn)都屬于道路區(qū)域R，則該分塊也屬于道路區(qū)域R，且隸屬概率為：
如果某分塊四個(gè)角點(diǎn)都屬于非道路區(qū)域NR，則該分塊也屬于非道路區(qū)域NR，且隸屬概率為：
如果某分塊四個(gè)角點(diǎn)中，既有屬于道路區(qū)域R，也有屬于非道路區(qū)域NR的角點(diǎn)，則該分塊屬于混合區(qū)域MIX，且隸屬概率為各角點(diǎn)屬于判決分類的隸屬概率的均值；
(3)假定屬于混合區(qū)域MIX的分塊只會(huì)出現(xiàn)在屬于道路區(qū)域R的分塊與非道路區(qū)域NR之間；以行為主序從左到右掃描分塊，如果遇到混合快，則測(cè)試其左右分塊屬性是否相同，如果其左右分塊中有屬于混合區(qū)域MIX的分塊，則測(cè)試分塊再向左或向右移動(dòng)；如果該塊的左右分塊屬性相同，都屬于道路區(qū)域R，或者都屬于非道路區(qū)域NR，則測(cè)試該分塊的隸屬概率，如果該分塊的隸屬概率低于一個(gè)給定的閾值，則其屬性被修正為其左右塊屬性相同；如果該分塊的隸屬概率高于一定給定的閾值，則不更改其屬性。
進(jìn)一步的，道路的邊界點(diǎn)進(jìn)行提取方法如下：
S4-1：對(duì)圖像建立坐標(biāo)系，通常以圖像左上角為原點(diǎn)，向右為x軸方向，向下為y軸方向，以y軸為主方向，從左到右掃描圖像所有像素點(diǎn)；
S4-2：對(duì)于每一行像素點(diǎn)序列，找出其中連續(xù)的屬于道路區(qū)域的像素點(diǎn)作為候選道路子線段，如果一行像素點(diǎn)中包含多條候選道路子線段，合并其中距離較為接近的子線段；
S4-3：記錄每一條道路線段的左右邊界坐標(biāo)，將其作為候選道路邊界點(diǎn)；
S4-4：將掃描點(diǎn)向下一行移動(dòng)，直到所有像素點(diǎn)掃描完畢，記錄下所有候選道路邊界點(diǎn)集。
進(jìn)一步的，將消失點(diǎn)位置融合到道路邊界擬合過(guò)程中的啟發(fā)式擬合算法具體如下：
S5-1：對(duì)于圖像序列中的第n幀，圖像中道路消失點(diǎn)Zn的位置的觀察值定義為第n幀的道路邊界擬合結(jié)果LRn和LRn的交點(diǎn)；
S5-2：通過(guò)第n幀道路消失點(diǎn)的位置的觀察值Zn,使用天劍概率密度傳播算法來(lái)計(jì)算第n+1幀道路消失點(diǎn)的位置的先驗(yàn)概率；
S5-3：根據(jù)步驟S5-2對(duì)第n+1幀消失點(diǎn)位置的預(yù)測(cè)結(jié)果，以及對(duì)第n+1幀圖像的候選道路邊界點(diǎn)集使用最小二乘法對(duì)道路的左右邊界線LRn+1和LRn+1進(jìn)行初步擬合，擬合的過(guò)程中，道路消失點(diǎn)的權(quán)重大于其他道路邊界點(diǎn)權(quán)值；
S5-4：計(jì)算所有提取的道路邊界點(diǎn)與擬合出的道路邊界方程之間的距離，如果某點(diǎn)與道路邊界方程距離大于所有道路邊界點(diǎn)與邊界方程之間距離的均值，該店將被排除，并根據(jù)該點(diǎn)的坐標(biāo)，尋找該點(diǎn)所在行的候選道路子線段，如果能找出一條子線段邊界點(diǎn)與道路邊界方程的距離接近，則替換該邊界點(diǎn)為候選道路邊界點(diǎn)，否則，排除該點(diǎn)；
S5-5：使用新的道路邊界點(diǎn)集與第n+1幀消失點(diǎn)位置的預(yù)測(cè)結(jié)果再次使用最小二乘法擬合道路的左右邊界線LRn+1和LRn+1，并計(jì)算LRn+1和LRn+1的交點(diǎn)作為第n+1幀道路消失點(diǎn)的觀察值Zn+1；
S5-6：使用條件概率密度傳播算法計(jì)算后驗(yàn)概率。
本發(fā)明的有益效果是：
(1)改進(jìn)了基于多層神經(jīng)網(wǎng)絡(luò)的道路分割方法，通過(guò)多層神經(jīng)網(wǎng)絡(luò)對(duì)道路與非道路區(qū)域樣本各像素的色調(diào)、飽和度進(jìn)行學(xué)習(xí)，并使用學(xué)習(xí)后的網(wǎng)絡(luò)來(lái)分類新的像素點(diǎn)，達(dá)到提升算法的對(duì)抗陰影與光照變化魯棒性的目的；同時(shí)采用了分塊分類的方法抑制攝像頭采集過(guò)程產(chǎn)生的隨機(jī)噪音，并設(shè)計(jì)了基于隸屬概率的判決結(jié)果修正策略，以達(dá)到減輕道路區(qū)域與非道路區(qū)域中干擾物影響的目的；
(2)采用條件概率密度傳播算法對(duì)道路消失點(diǎn)進(jìn)行跟蹤和預(yù)測(cè)，并將道路消失點(diǎn)的預(yù)測(cè)結(jié)果融入道路邊界擬合過(guò)程，彌補(bǔ)了基于單幀圖像處理的傳統(tǒng)算法沒(méi)有充分利用視頻流中各幀之間相關(guān)性的缺點(diǎn)，達(dá)到了增強(qiáng)算法穩(wěn)定性與魯棒性的目的。
具體實(shí)施方式
以下具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步闡述，但不作為對(duì)本發(fā)明的限定。
實(shí)驗(yàn)1本發(fā)明的方法實(shí)際處理效果和傳統(tǒng)算法效果進(jìn)行比對(duì)。
一、像素級(jí)的定量檢測(cè)性能評(píng)估
使用像素級(jí)的定量評(píng)估方法，將最終檢測(cè)結(jié)果分為四類，所有類別如下表1所示。
表1像素級(jí)的定量評(píng)估方法定義
表1中，TN為真實(shí)值為非道路區(qū)域，算法檢測(cè)值也為非道路區(qū)域的像素點(diǎn)個(gè)數(shù)；FN為真實(shí)值為道路區(qū)域，算法檢測(cè)值為非道路區(qū)域的像素點(diǎn)個(gè)數(shù)；FP為真實(shí)值為非道路區(qū)域，算法檢測(cè)值為道路區(qū)域的像素點(diǎn)個(gè)數(shù)；TP為真實(shí)值為道路區(qū)域，算法檢測(cè)值也為道路區(qū)域的像素點(diǎn)個(gè)數(shù)。
在對(duì)各像素進(jìn)行判別的基礎(chǔ)上，定量分析方法的統(tǒng)計(jì)性能指標(biāo)如下表2所示。
表2像素級(jí)的定量評(píng)估方法性能指標(biāo)
本發(fā)明提出的算法與現(xiàn)有的核密度估計(jì)算法在不同場(chǎng)景中所統(tǒng)計(jì)的各性能指標(biāo)上的對(duì)比如表3所示。
表3各性能指標(biāo)對(duì)比分析
相對(duì)于傳統(tǒng)算法，本發(fā)明的算法在多種場(chǎng)景中各性能指標(biāo)都有所提升，檢測(cè)精度最高達(dá)978％,檢測(cè)質(zhì)量最高達(dá)94.3％，檢出率最高達(dá)97.5％。
二、消失點(diǎn)估計(jì)的性能分析
對(duì)一個(gè)完整的視頻序列使用不同方法的檢測(cè)結(jié)果進(jìn)行定量分析，結(jié)果如表3所示。
表3消失點(diǎn)估計(jì)的性能定量分析
如上表中所示，在檢測(cè)質(zhì)量與檢測(cè)精度的平均性能上，使用消失點(diǎn)估計(jì)啟發(fā)式道路擬合方法能夠獲得3％左右的提升，檢出率也有一定的提升。