交通場景深度解析方法、裝置及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于數(shù)據(jù)分析技術(shù)領(lǐng)域，尤其設(shè)及一種交通場景深度解析方法、裝置及系 統(tǒng)。
【背景技術(shù)】
[0002] 交通場景對汽車駕駛來說極其復(fù)雜，采用攝像頭采樣進行分析的方法能高效快速 地評估當(dāng)前場景，應(yīng)用到自動駕駛系統(tǒng)和輔助駕駛系統(tǒng)中，最重要的功能之一就是要準確 地分析該場景圖像中道路區(qū)域信息。
[0003] 現(xiàn)有技術(shù)中，有的是使用四線激光雷達探測道路，但運種探測方法對道路邊緣要 求極高，在無明顯邊界的道路中，道路探測效果不好并且在變化萬千的交通場景中道路數(shù) 據(jù)的采樣性不具有通用型。有的采用了統(tǒng)計學(xué)習(xí)方法來擬合相鄰像素的特征，只要增加不 同類型道路的訓(xùn)練樣本，也可W解決道路多樣性問題，但是使用最大流/最小割算法獲得道 路區(qū)域，由于權(quán)值估計會因為實際道路樣本的扭曲和不清晰等原因，無法很好地通過權(quán)值 估計器獲得正確的參數(shù)，在一些光照等原因?qū)е绿貏e敏感的場景，該方法也失去了去識別 道路的能力。在W上現(xiàn)有技術(shù)中，由于實際上交通場景非常多樣化，它們針對不同的路況不 具有自適應(yīng)的能力，對交通場景道路情況的識別精確性不高。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明提供交通場景深度解析方法及裝置，可通過將多尺度的圖像輸入卷積神經(jīng) 網(wǎng)絡(luò)與反卷神經(jīng)網(wǎng)絡(luò)構(gòu)成的神經(jīng)網(wǎng)絡(luò)，可有效地學(xué)習(xí)目標(biāo)道路特征，并且通過回歸擬合來 提高深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的特征的準確性，提高交通場景解析的準確度。
[0005] 本發(fā)明提供的交通場景深度解析方法，包括：
[0006] 使用多個交通場景數(shù)據(jù)庫中的原始圖像數(shù)據(jù)集和原始圖像對應(yīng)的道路區(qū)域標(biāo)定 作為訓(xùn)練樣本;通過拉普拉斯金字塔變換方式，將所述訓(xùn)練樣本中的各原始圖像縮放為多 個不同尺度;將縮放后的圖像輸入與不同尺度分別對應(yīng)的神經(jīng)網(wǎng)絡(luò)，W通過所述神經(jīng)網(wǎng)絡(luò) 提取道路特征，所述神經(jīng)網(wǎng)絡(luò)由卷積神經(jīng)網(wǎng)絡(luò)部分與反卷積神經(jīng)網(wǎng)絡(luò)部分聯(lián)合組成;利用 訓(xùn)練縮放后的圖像和所述縮放后的圖像對應(yīng)的道路區(qū)域標(biāo)定，對卷積神經(jīng)網(wǎng)絡(luò)與反卷積神 經(jīng)網(wǎng)絡(luò)的參數(shù)進行訓(xùn)練;通過與所述神經(jīng)網(wǎng)絡(luò)鏈接的全鏈接層輸出與原始圖像像素相同的 一維數(shù)組，并將所述一維數(shù)組還原為與所述原始圖像相同大小的結(jié)果圖像，所述結(jié)果圖像 中標(biāo)出不同類型的道路;使用預(yù)置標(biāo)準對所述結(jié)果圖像進行處理，W還原出道路的分割結(jié) 果;將待檢測圖像輸入訓(xùn)練成功的所述神經(jīng)網(wǎng)絡(luò)中，得到完成道路分割與該待檢測圖像對 應(yīng)的結(jié)果圖像。
[0007] 本發(fā)明提供的交通場景深度解析裝置，包括：
[000引樣本確定模塊，用于使用多個交通場景數(shù)據(jù)庫中的原始圖像數(shù)據(jù)集和原始圖像對 應(yīng)的道路區(qū)域標(biāo)定作為訓(xùn)練樣本;變換模塊，用于通過拉普拉斯金字塔變換方式，將所述訓(xùn) 練樣本中的各原始圖像縮放為多個不同尺度;提取模塊，用于將縮放后的圖像輸入與不同 尺度分別對應(yīng)的神經(jīng)網(wǎng)絡(luò)，w通過所述神經(jīng)網(wǎng)絡(luò)提取道路特征，所述神經(jīng)網(wǎng)絡(luò)由卷積神經(jīng) 網(wǎng)絡(luò)部分與反卷積神經(jīng)網(wǎng)絡(luò)部分聯(lián)合組成；訓(xùn)練模塊，用于利用訓(xùn)練縮放后的圖像和所述 縮放后的圖像對應(yīng)的道路區(qū)域標(biāo)定，對卷積神經(jīng)網(wǎng)絡(luò)與反卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)進行訓(xùn)練； 輸出模塊，用于通過與所述神經(jīng)網(wǎng)絡(luò)鏈接的全鏈接層輸出與原始圖像像素相同的一維數(shù) 組;還原模塊，用于將所述一維數(shù)組還原為與所述原始圖像相同大小的結(jié)果圖像，所述結(jié)果 圖像中標(biāo)出不同類型的道路;所述還原模塊，還用于使用預(yù)置標(biāo)準對所述結(jié)果圖像進行處 理，W還原出道路的分割結(jié)果;檢測模塊，用于將待檢測圖像輸入訓(xùn)練成功的所述神經(jīng)網(wǎng)絡(luò) 中，得到完成道路分割與該待檢測圖像對應(yīng)的結(jié)果圖像。
[0009] 從上述本發(fā)明實施例可知，本發(fā)明通過將多尺度的圖像輸入神經(jīng)網(wǎng)絡(luò)，能有效地 提取局部道路特征，且卷積神經(jīng)網(wǎng)絡(luò)與反卷神經(jīng)網(wǎng)絡(luò)構(gòu)成的神經(jīng)網(wǎng)絡(luò)能有效地學(xué)習(xí)目標(biāo)道 路特征，并且通過回歸擬合來提高深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的特征的準確性，不僅在道路識別精 度上有非常高的性能，而且非常有效地提高了在不同交通場景下的適應(yīng)能力，通過pixel-wise 方法針對圖像每一個像素進行預(yù)測 ，極大地提高 了區(qū)域 內(nèi)分割 的進度 ，另外 ，為無人駕 駛和輔助駕駛使用了攝像頭相關(guān)的傳感器也極大地降低了成本。
【附圖說明】
[0010] 為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可 W根據(jù)運些附圖獲得其他的附圖。
[0011] 圖1是本發(fā)明第一實施例提供的交通場景深度解析方法的實現(xiàn)流程示意圖；
[0012] 圖2是本發(fā)明第一實施例中交通場景深度解析方法的數(shù)據(jù)處理流程示意圖；
[0013] 圖3是本發(fā)明第二實施例提供的交通場景深度解析裝置的結(jié)構(gòu)示意圖；
[0014] 圖4是本發(fā)明第Ξ實施例提供的交通場景深度解析裝置的結(jié)構(gòu)示意圖。
【具體實施方式】
[001引為使得本發(fā)明的發(fā)明目的、特征、優(yōu)點能夠更加的明顯和易懂，下面將結(jié)合本發(fā)明 實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實 施例僅僅是本發(fā)明一部分實施例，而非全部實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技 術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范 圍。
[0016] 本發(fā)明各實施例的方案主要針對交通場景中的道路與道路線進行分割。通過訓(xùn)練 樣本訓(xùn)練出一個像素級的分類器，可對采集到的交通圖像中每一個像素進行分類，來判斷 交通圖像中不同區(qū)域所屬類別，W還原交通圖像對應(yīng)的實際交通場景的道路狀況。
[0017] 請參閱圖1，圖1為本發(fā)明第一實施例提供的交通場景深度解析方法的實現(xiàn)流程示 意圖，主要包括W下步驟S101至步驟S107:
[0018] S101、使用多個交通場景數(shù)據(jù)庫中的原始圖像數(shù)據(jù)集和原始圖像對應(yīng)的道路區(qū)域 標(biāo)定作為訓(xùn)練樣本。
[0019] 例如使用KITTI-R0AD與LabelMe的圖像數(shù)據(jù)集和運些圖像對應(yīng)的道路區(qū)域標(biāo)定作 為訓(xùn)練樣本，中間加入少量扭曲與旋轉(zhuǎn)的圖像，增加訓(xùn)練出的分類器的準確度。
[0020] 為便于后續(xù)圖像的處理，可將多個交通場景數(shù)據(jù)庫中的原始圖像數(shù)據(jù)集中的各原 始圖像進行歸一化處理后，和歸一化處理后的圖像對應(yīng)的道路區(qū)域標(biāo)定作為訓(xùn)練樣本。具 體地，對原始圖像數(shù)據(jù)集中的各個圖像進行標(biāo)注和歸一化處理，標(biāo)注的方法與KITTI-R0AD 的標(biāo)注方法相同，將所有已標(biāo)注的圖像歸一到同一尺度，例如圖像大小為375*375。
[0021] S102、通過拉普拉斯金字塔變換方式，將該訓(xùn)練樣本中的各原始圖像縮放為多個 不同尺度。
[0022] 將訓(xùn)練樣本中的各圖像進行拉普拉斯金字塔變換進行尺度縮放，若進行了歸一化 處理，則是歸一化處理后的各原始圖像按照拉普拉斯金字塔變換方式進行尺度的縮放，即 按照設(shè)置的比例縮放到多個不同的尺度。數(shù)量默認為4個尺度，可根據(jù)道路的復(fù)雜情況進行 不同尺度數(shù)量的增加，例如存在多條不相連的道路時，認為是復(fù)雜情況，可適量增加不同尺 度的數(shù)量。
[0023] S103、將縮放后的圖像輸入與不同尺度分別對應(yīng)的神經(jīng)網(wǎng)絡(luò)，W通過該神經(jīng)網(wǎng)絡(luò) 提取道路特征，該神經(jīng)網(wǎng)絡(luò)由卷積神經(jīng)網(wǎng)絡(luò)部分與反卷積神經(jīng)網(wǎng)絡(luò)部分聯(lián)合組成；
[0024] 其中卷積神經(jīng)網(wǎng)絡(luò)部分使用的是VGG16層的卷積網(wǎng)絡(luò)結(jié)構(gòu)，而反卷積神經(jīng)網(wǎng)絡(luò)則 像卷積網(wǎng)絡(luò)的倒