本發(fā)明涉及圖像處理、視頻監(jiān)控以及行車安全，特別涉及道路檢測方法及裝置。

背景技術(shù)：

駕駛員輔助系統(tǒng)可以通過給駕駛員提醒和指導(dǎo)來降低交通事故的發(fā)生率?；谝曈X的道路檢測是駕駛員輔助系統(tǒng)的關(guān)鍵，能夠?yàn)檎系K物檢測提供線索，而且是無人駕駛中場景理解的基礎(chǔ)，有利于路徑規(guī)劃。

通常，道路可以分為結(jié)構(gòu)化道路和非結(jié)構(gòu)化道路。結(jié)構(gòu)化道路是指具有明顯的道路標(biāo)識線、清晰的道路邊界、特殊的顏色信息的道路，如高速公路、城市道路等，其道路檢測問題可以簡化為道路標(biāo)識線檢測問題，相關(guān)技術(shù)研究已經(jīng)非常成熟。非結(jié)構(gòu)化道路指結(jié)構(gòu)化程度較低，沒有清晰的車道線和道路邊界的道路，針對非結(jié)構(gòu)化道路的檢測方法尚處于研究階段。由于道路環(huán)境復(fù)雜多變以及光線、水漬、陰影、復(fù)雜障礙物等因素的影響，道路區(qū)域和非道路區(qū)域更加難以區(qū)分。

目前，道路檢測方法主要分為以下兩類：第一類方法是基于模型的方法，此類方法主要用于檢測結(jié)構(gòu)化道路，而且檢測的道路區(qū)域比較完整，不過現(xiàn)實(shí)中隨著車輛的運(yùn)動，道路形狀在不斷的變化，很難建立合適的模型去進(jìn)行道路匹配；最常用的是第二類方法，基于特征的方法，此類方法主要是利用道路區(qū)域的顏色、紋理、邊緣等特征進(jìn)行檢測，對道路形狀不敏感，可以適合任何形狀的道路，但容易受到陰影、光線的影響，并且道路環(huán)境復(fù)雜多變，使得特征的選擇更加困難。

綜上所述，目前迫切需要提出一種魯棒性和實(shí)用性較強(qiáng)地道路檢測的方法及裝置。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明的主要目的在于實(shí)現(xiàn)道路檢測，且魯棒性和實(shí)用性較強(qiáng)。

為達(dá)到上述目的，針對復(fù)雜環(huán)境下道路檢測魯棒性不好的問題，本發(fā)明提供了一種基于超像素和卷積神經(jīng)網(wǎng)絡(luò)的道路檢測方法，該方法包括：

(1)使用簡單線性迭代聚類算法對圖像預(yù)處理，將圖像分割成大小均勻的超像素；

(2)基于超像素塊使用卷積神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)最有利于分類的特征，訓(xùn)練網(wǎng)絡(luò)；

(3)使用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)對道路區(qū)域和非道路區(qū)域進(jìn)行分類；

(4)根據(jù)超像素鄰域之間的關(guān)系，利用馬爾科夫隨機(jī)場對分類的結(jié)果進(jìn)行優(yōu)化。

所述步驟(1)進(jìn)一步包括：

簡單線性迭代聚類算法利用像素的顏色相似性與位置關(guān)系來生成超像素；對于每個超像素，其中心采用CIELAB顏色空間的三維顏色特征l、a、b及二維位置信息x、y進(jìn)行描述；

初始化種子點(diǎn)步驟，假設(shè)圖像有N個像素點(diǎn)，預(yù)分割為K個超像素，那么每個超像素的大小為N/K，且每個種子點(diǎn)的距離近似為為了避免種子點(diǎn)處在圖像的邊緣位置，對后續(xù)的聚類過程造成干擾，將種子點(diǎn)移動到以它為中心的3×3的窗口內(nèi)梯度值最小處，同時為每個種子分配一個單獨(dú)的標(biāo)簽；

相似度衡量步驟，為了提高算法的運(yùn)算速度，只在以種子點(diǎn)為中心的2s×2s區(qū)域內(nèi)搜索相似像素點(diǎn)，將最相似種子點(diǎn)的標(biāo)簽賦給該像素；通過不斷迭代該過程，直到收斂；相似度的衡量關(guān)系如下：

式中d_lab為像素點(diǎn)間的顏色差異，d_xy為像素點(diǎn)間的空間距離，D_i為兩個像素的相似度，s為種子點(diǎn)的間距，m為平衡參數(shù)，用來衡量顏色值與空間信息在相似度衡量中的比重；D_i取值越大，說明兩個像素越相似；

考慮到提取的超像素的特征以及計(jì)算量，本算法選擇分割超像素的個數(shù)是300。

所述步驟(2)進(jìn)一步包括：

超像素提取步驟，用簡單線性迭代聚類算法對原始圖像提取超像素；

保存超像素的外接矩形步驟，以超像素的中心為中心，保存超像素的外接矩形；

歸一化步驟，將矩形統(tǒng)一歸一化到N×N大小，并標(biāo)記每個矩形的類別(道路是正樣本，標(biāo)簽為1，非道路是負(fù)樣本，標(biāo)簽為0)，作為訓(xùn)練數(shù)據(jù)；

分類器訓(xùn)練步驟，將訓(xùn)練數(shù)據(jù)輸入卷積神經(jīng)網(wǎng)絡(luò)，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)；在卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的過程中，首先使用當(dāng)前的網(wǎng)絡(luò)權(quán)值和網(wǎng)絡(luò)輸入計(jì)算網(wǎng)絡(luò)的輸出，由得到的網(wǎng)絡(luò)輸出和樣本標(biāo)簽計(jì)算誤差，然后用反向傳播算法計(jì)算誤差對網(wǎng)絡(luò)權(quán)值的導(dǎo)數(shù)，最后使用權(quán)值更新方法更新權(quán)值，經(jīng)過多次訓(xùn)練后使得網(wǎng)絡(luò)中可學(xué)習(xí)的參數(shù)達(dá)到最優(yōu)，得到一個穩(wěn)定的網(wǎng)絡(luò)結(jié)構(gòu)；

本方法中用到的卷積神經(jīng)網(wǎng)絡(luò)包括3個卷積層，2個降采樣層，2個全連接層。

所述步驟(3)：

將待檢測圖像分割成超像素，提取超像素的外接矩形，將矩形歸一化到N×N大小，通過訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)判斷其是否為道路，從而獲得圖像初步的道路區(qū)域。

所述步驟(4)：

使用馬爾可夫隨機(jī)場來優(yōu)化標(biāo)簽圖，純粹的馬爾科夫模型就是指一件事物的當(dāng)前狀態(tài)只與它之前的1個或者n個狀態(tài)有關(guān)，而與再之前的狀態(tài)有關(guān)系；引申到圖像領(lǐng)域，就是認(rèn)為圖像中某一點(diǎn)的特征(一般都是像素點(diǎn)灰色、顏色值等)只與其附近的一小塊領(lǐng)域有關(guān)，而與其他的領(lǐng)域無關(guān)；

設(shè)x、y是二維平面上的隨機(jī)場，y是觀測圖像，x是分割的標(biāo)記場；令是圖像真實(shí)標(biāo)號的估計(jì)，由最大后驗(yàn)概率(MAP)準(zhǔn)則有

P(x)是標(biāo)記場的先驗(yàn)概率，能夠等價(jià)描述為Gibbs分布，滿足

P(y/x)是似然概率，在給定類別標(biāo)號x_i＝l時，通常認(rèn)為像素強(qiáng)度值y_i服從參數(shù)為θ_i＝{μ_l，σ_l}的高斯分布，即滿足：

式中為x_i超像素i的標(biāo)簽，y_i為超像素i的像素值，l取值為1或者0，l＝1時超像素i為道路，l＝0時超像素i為非道路，μ_l為第l類區(qū)域的均值，σ_l為第l類區(qū)域的標(biāo)準(zhǔn)方差，β為平滑參數(shù)(取值通常在0.8～1.4)，N_t為超像素的鄰域。

使用馬爾科夫隨機(jī)場優(yōu)化標(biāo)簽圖進(jìn)一步包括：

初始分類結(jié)果步驟，卷積神經(jīng)網(wǎng)絡(luò)分類結(jié)果作為圖像的初始分割；

分割參數(shù)更新步驟，由當(dāng)前分割更新θ_i＝{μ_l，σ_l}，μ_l和σ_l分別是當(dāng)前第l類區(qū)域的均值和標(biāo)準(zhǔn)方差；

計(jì)算超像素最大可能類別步驟，由當(dāng)前圖像參數(shù)和上次迭代的分割結(jié)果，并根據(jù)最大后驗(yàn)概率準(zhǔn)則計(jì)算每個超像素最大可能的類別；

網(wǎng)絡(luò)判斷步驟，判斷是否收斂或達(dá)到了最高迭代次數(shù)，如果滿足則退出；否則返回分割參數(shù)更新步驟，進(jìn)行下一次迭代。

與現(xiàn)有的道路檢測技術(shù)相比，本發(fā)明的基于超像素和卷積神經(jīng)網(wǎng)絡(luò)的道路檢測方法及裝置可以實(shí)現(xiàn)復(fù)雜環(huán)境下的道路檢測，且魯棒性和實(shí)用性較強(qiáng)。

附圖說明

圖1示出了按照本發(fā)明的整體流程圖。

圖2示出了按照本發(fā)明的原始圖像圖。

圖3示出了按照本發(fā)明的超像素分割結(jié)果圖。

圖4示出了按照本發(fā)明的基于超像素和卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)訓(xùn)練圖。

圖5示出了按照本發(fā)明的卷積神經(jīng)網(wǎng)絡(luò)的初步分類結(jié)果圖。

圖6示出了按照本發(fā)明的馬爾科夫隨機(jī)場優(yōu)化分類結(jié)果圖。

圖7示出了按照本發(fā)明的實(shí)際分類結(jié)果圖。

具體實(shí)施方式

為使貴審查員能進(jìn)一步了解本發(fā)明的結(jié)構(gòu)、特征及其他目的，現(xiàn)結(jié)合所附較佳實(shí)施例詳細(xì)說明如下，所說明的較佳實(shí)施例僅用于說明本發(fā)明的技術(shù)方案，并非限定本發(fā)明。

圖1給出了按照本發(fā)明的整體流程。如圖1所示，按照本發(fā)明的基于超像素和卷積神經(jīng)網(wǎng)絡(luò)的道路檢測方法包括：

(1)使用簡單線性迭代聚類算法對圖像預(yù)處理，將圖像分割成大小均勻的超像素；

(2)基于超像素塊使用卷積神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)最有利于分類的特征，訓(xùn)練網(wǎng)絡(luò)；

(3)使用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)對道路區(qū)域和非道路區(qū)域進(jìn)行分類；

(4)根據(jù)超像素鄰域之間的關(guān)系，利用馬爾科夫隨機(jī)場對分類的結(jié)果進(jìn)行優(yōu)化。

圖3示出了按照本發(fā)明的超像素分割結(jié)果圖。如圖3所示，所述步驟(1)進(jìn)一步包括：

簡單線性迭代聚類算法利用像素的顏色相似性與位置關(guān)系來生成超像素；對于每個超像素，其中心采用CIELAB顏色空間的三維顏色特征l、a、b及二維位置信息x、y進(jìn)行描述；

初始化種子點(diǎn)步驟，假設(shè)圖像有N個像素點(diǎn)，預(yù)分割為K個超像素，那么每個超像素的大小為N/K，且每個種子點(diǎn)的距離近似為為了避免種子點(diǎn)處在圖像的邊緣位置，對后續(xù)的聚類過程造成干擾，將種子點(diǎn)移動到以它為中心的3×3的窗口內(nèi)梯度值最小處，同時為每個種子分配一個單獨(dú)的標(biāo)簽；

相似度衡量步驟，為了提高算法的運(yùn)算速度，只在以種子點(diǎn)為中心的2s×2s區(qū)域內(nèi)搜索相似像素點(diǎn)，將最相似種子點(diǎn)的標(biāo)簽賦給該像素；通過不斷迭代該過程，直到收斂；相似度的衡量關(guān)系如下：

式中d_lab為像素點(diǎn)間的顏色差異，d_xy為像素點(diǎn)間的空間距離，D_i為兩個像素的相似度，s為種子點(diǎn)的間距，m為平衡參數(shù)，用來衡量顏色值與空間信息在相似度衡量中的比重；D_i取值越大，說明兩個像素越相似；

考慮到提取的超像素的特征以及計(jì)算量，本算法選擇分割超像素的個數(shù)是300。

圖4示出了按照本發(fā)明的基于超像素和卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)訓(xùn)練圖。如圖4所示，所述步驟(2)進(jìn)一步包括：

超像素提取步驟，用簡單線性迭代聚類算法對原始圖像提取超像素；

保存超像素的外接矩形步驟，以超像素的中心為中心，保存超像素的外接矩形；

歸一化步驟，將矩形統(tǒng)一歸一化到N×N大小，并標(biāo)記每個矩形的類別(道路是正樣本，標(biāo)簽為1，非道路是負(fù)樣本，標(biāo)簽為0)，作為訓(xùn)練數(shù)據(jù)；

分類器訓(xùn)練步驟，將訓(xùn)練數(shù)據(jù)輸入卷積神經(jīng)網(wǎng)絡(luò)，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)；在卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的過程中，首先使用當(dāng)前的網(wǎng)絡(luò)權(quán)值和網(wǎng)絡(luò)輸入計(jì)算網(wǎng)絡(luò)的輸出，由得到的網(wǎng)絡(luò)輸出和樣本標(biāo)簽計(jì)算誤差，然后用反向傳播算法計(jì)算誤差對網(wǎng)絡(luò)權(quán)值的導(dǎo)數(shù)，最后使用權(quán)值更新方法更新權(quán)值，經(jīng)過多次訓(xùn)練后使得網(wǎng)絡(luò)中可學(xué)習(xí)的參數(shù)達(dá)到最優(yōu)，得到一個穩(wěn)定的網(wǎng)絡(luò)結(jié)構(gòu)；

本方法中用到的卷積神經(jīng)網(wǎng)絡(luò)包括3個卷積層，2個降采樣層，2個全連接層。

圖5示出了按照本發(fā)明的卷積神經(jīng)網(wǎng)絡(luò)的初步分類結(jié)果圖。如圖5所示，所述步驟(3)：

將待檢測圖像分割成超像素，提取超像素的外接矩形，將矩形歸一化到N×N大小，通過訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)判斷其是否為道路，從而獲得圖像初步的道路區(qū)域。

圖6示出了按照本發(fā)明的馬爾科夫隨機(jī)場優(yōu)化分類結(jié)果圖。如圖6所示，所述步驟(4)：

使用馬爾可夫隨機(jī)場來優(yōu)化標(biāo)簽圖，純粹的馬爾科夫模型就是指一件事物的當(dāng)前狀態(tài)只與它之前的1個或者n個狀態(tài)有關(guān)，而與再之前的狀態(tài)有關(guān)系；引申到圖像領(lǐng)域，就是認(rèn)為圖像中某一點(diǎn)的特征(一般都是像素點(diǎn)灰色、顏色值等)只與其附近的一小塊領(lǐng)域有關(guān)，而與其他的領(lǐng)域無；

設(shè)x、y是二維平面上的隨機(jī)場，y是觀測圖像，x是分割的標(biāo)記場；令是圖像真實(shí)標(biāo)號的估計(jì)，由最大后驗(yàn)概率(MAP)準(zhǔn)則有

P(x)是標(biāo)記場的先驗(yàn)概率，能夠等價(jià)描述為Gibbs分布，滿足

P(y/x)是似然概率，在給定類別標(biāo)號x_i＝l時，通常認(rèn)為像素強(qiáng)度值y_i服從參數(shù)為θ_i＝{μ_l，σ_l}的高斯分布，即滿足：

式中為x_i超像素i的標(biāo)簽，y_i為超像素i的像素值，l取值為1或者0，l＝1時超像素i為道路，l＝0時超像素i為非道路，μ_l為第l類區(qū)域的均值，σ_l為第l類區(qū)域的標(biāo)準(zhǔn)方差，β為平滑參數(shù)(取值通常在0.8～1.4)，N_i為超像素的鄰域。

使用馬爾科夫隨機(jī)場優(yōu)化標(biāo)簽圖進(jìn)一步包括：

初始分類結(jié)果步驟，卷積神經(jīng)網(wǎng)絡(luò)分類結(jié)果作為圖像的初始分割；

分割參數(shù)更新步驟，由當(dāng)前分割更新θ_i＝{μ_l，σ_l}，μ_l和σ_l分別是當(dāng)前第l類區(qū)域的均值和標(biāo)準(zhǔn)方差；

計(jì)算超像素最大可能類別步驟，由當(dāng)前圖像參數(shù)和上次迭代的分割結(jié)果，并根據(jù)最大后驗(yàn)概率準(zhǔn)則計(jì)算每個超像素最大可能的類別；

網(wǎng)絡(luò)判斷步驟，判斷是否收斂或達(dá)到了最高迭代次數(shù)，如果滿足則退出；否則返回分割參數(shù)更新步驟，進(jìn)行下一次迭代。

發(fā)明的基于超像素和卷積神經(jīng)網(wǎng)絡(luò)的道路檢測方法及裝置可以實(shí)現(xiàn)復(fù)雜環(huán)境下的的道路檢測，且魯棒性和實(shí)用性較強(qiáng)。

以上所述，僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍，應(yīng)當(dāng)理解，本發(fā)明并不限于這里所描述的實(shí)現(xiàn)方案，這些實(shí)現(xiàn)方案描述的目的在于幫助本領(lǐng)域中的技術(shù)人員實(shí)踐本發(fā)明。任何本領(lǐng)域中的技術(shù)人員很容易在不脫離本發(fā)明精神和范圍的情況下進(jìn)行進(jìn)一步的改進(jìn)和完善，因此本發(fā)明只受到本發(fā)明權(quán)利要求的內(nèi)容和范圍的限制，其意圖涵蓋所有包括在由所附權(quán)利要求所限定的本發(fā)明精神和范圍內(nèi)的備選方案和等同方案。