汽車自動駕駛方法和裝置的制造方法
【專利摘要】本發(fā)明公開了一種汽車自動駕駛方法和裝置，涉及車輛智能控制技術(shù)領(lǐng)域。本發(fā)明基于場的理論建立車輛行駛環(huán)境的風(fēng)險模型，從而利用行駛環(huán)境風(fēng)險場全面的反映車輛的駕駛環(huán)境，有利于實現(xiàn)不同道路環(huán)境下的自動駕駛。并且根據(jù)行駛環(huán)境風(fēng)險場和駕駛員操作對車輛自動駕駛模型進(jìn)行訓(xùn)練，以學(xué)習(xí)優(yōu)秀人類駕駛員的經(jīng)驗，實現(xiàn)擬人化自動駕駛。
【專利說明】
汽車自動駕駛方法和裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及車輛智能控制技術(shù)領(lǐng)域，特別是涉及一種汽車自動駕駛方法和裝置。
【背景技術(shù)】
[0002]近年例如自適應(yīng)巡航系統(tǒng)、車道保持系統(tǒng)等汽車駕駛輔助系統(tǒng)迅速發(fā)展，改善了道路交通安全狀況。
[0003]目前人們正在研究汽車自動駕駛技術(shù)。其中一種基于分布式處理方法實現(xiàn)汽車自動駕駛的技術(shù)，該技術(shù)將一個大的系統(tǒng)分為多個子系統(tǒng)，每個子系統(tǒng)具有清楚的語義信息。例如，自動駕駛系統(tǒng)劃分為基于視覺的車道線識別、基于雷達(dá)的車輛識別、行人檢測、車輛控制等子系統(tǒng)。其中的每個子系統(tǒng)負(fù)責(zé)設(shè)定的一項或多項任務(wù)。例如，負(fù)責(zé)環(huán)境感知的不同子系統(tǒng)分別輸出特定的環(huán)境感知信息，如分別輸出車道線、車輛、行人等。車輛控制子系統(tǒng)根據(jù)這些環(huán)境感知信息做出運(yùn)動決策，輸出車輛控制指令。
[0004]然而，這些特定的環(huán)境感知信息一般是事先設(shè)定的，如車道線偏移量及夾角、車輛距離及速度等，在復(fù)雜的道路環(huán)境中并不能全面的反映車輛的駕駛環(huán)境，例如，道路環(huán)境中可能出現(xiàn)非常見的障礙物等，這會導(dǎo)致車輛控制子系統(tǒng)的失效。另外，傳統(tǒng)的分布式處理方式?jīng)Q定了自動駕駛系統(tǒng)的感知和駕駛方式不能很好的學(xué)習(xí)優(yōu)秀人類駕駛員的經(jīng)驗，無法做到擬人化自動駕駛。

【發(fā)明內(nèi)容】

[0005]本發(fā)明要解決的其中一個技術(shù)問題是，如何全面的反映車輛的駕駛環(huán)境，實現(xiàn)擬人化自動駕駛。
[0006]為實現(xiàn)上述目的，本發(fā)明提供一種汽車自動駕駛方法，包括:根據(jù)采集的環(huán)境感知信息和駕駛員操作信息建立車輛自動駕駛數(shù)據(jù)庫，并將所述車輛自動駕駛數(shù)據(jù)庫劃分為訓(xùn)練集和測試集;根據(jù)所述訓(xùn)練集中的環(huán)境感知信息建立訓(xùn)練用的行駛環(huán)境風(fēng)險場，根據(jù)所述訓(xùn)練用的行駛環(huán)境風(fēng)險場和所述訓(xùn)練集中的駕駛員操作信息對所述深度學(xué)習(xí)模型進(jìn)行訓(xùn)練;根據(jù)所述測試集中的環(huán)境感知信息建立測試用的行駛環(huán)境風(fēng)險場，將所述測試用的行駛環(huán)境風(fēng)險場輸入所述深度學(xué)習(xí)模型，輸出預(yù)測的車輛控制變量，通過比較預(yù)測的車輛控制變量和所述測試集中的駕駛員操作信息對所述深度學(xué)習(xí)模型進(jìn)行測試。
[0007]其中，訓(xùn)練用或者測試用的行駛環(huán)境風(fēng)險場采用以下方法建立:根據(jù)靜止物體形成的勢能場信息、運(yùn)動物體形成的動能場信息以及駕駛員形成的行為場信息建立行駛環(huán)境風(fēng)險場;其中，
[0008]對于訓(xùn)練用的行駛環(huán)境風(fēng)險場，靜止物體形成的勢能場信息和運(yùn)動物體形成的動能場信息根據(jù)所述訓(xùn)練集中的環(huán)境感知信息確定，駕駛員形成的行為場信息根據(jù)所述訓(xùn)練集中的駕駛員操作信息確定；
[0009]對于測試用的行駛環(huán)境風(fēng)險場，靜止物體形成的勢能場信息和運(yùn)動物體形成的動能場信息根據(jù)所述測試集中的環(huán)境感知信息確定，駕駛員形成的行為場信息根據(jù)所述測試集中的駕駛員操作信息確定。
[0010]在一個實施例中，靜止物體形成的勢能場信息根據(jù)靜止物體的屬性和道路條件確定;運(yùn)動物體形成的動能場信息根據(jù)運(yùn)動物體的屬性、運(yùn)動狀態(tài)和道路條件確定。
[0011 ]在環(huán)境感知信息由多個傳感器采集得到的情況下，該方法還包括:
[0012]對多個傳感器的坐標(biāo)系進(jìn)行轉(zhuǎn)換，以形成統(tǒng)一的坐標(biāo)系；
[0013]和/或
[0014]使用目標(biāo)的馬氏距離關(guān)聯(lián)不同傳感器觀測的同一目標(biāo)，對不同傳感器觀測的同一目標(biāo)按發(fā)生概率進(jìn)行加權(quán)平均，作為該同一目標(biāo)的發(fā)生概率。
[0015]在一個實施例中，根據(jù)所述訓(xùn)練用的行駛環(huán)境風(fēng)險場和所述訓(xùn)練集中的駕駛員操作信息對所述深度學(xué)習(xí)模型進(jìn)行訓(xùn)練包括:將所述訓(xùn)練用的行駛環(huán)境風(fēng)險場和所述訓(xùn)練集中的駕駛員操作信息輸入深度學(xué)習(xí)模型，輸出預(yù)測的車輛控制變量和駕駛員操作信息的損失信息;根據(jù)所述駕駛員操作信息的損失信息修正所述深度學(xué)習(xí)模型中車輛控制變量的參數(shù)。
[0016]為實現(xiàn)上述目的，本發(fā)明提供一種汽車自動駕駛裝置，包括:樣本形成模塊，用于根據(jù)采集的環(huán)境感知信息和駕駛員操作信息建立車輛自動駕駛數(shù)據(jù)庫，并將所述車輛自動駕駛數(shù)據(jù)庫劃分為訓(xùn)練集和測試集;模型訓(xùn)練模塊，用于根據(jù)所述訓(xùn)練集中的環(huán)境感知信息建立訓(xùn)練用的行駛環(huán)境風(fēng)險場，根據(jù)所述訓(xùn)練用的行駛環(huán)境風(fēng)險場和所述訓(xùn)練集中的駕駛員操作信息對所述深度學(xué)習(xí)模型進(jìn)行訓(xùn)練;模型測試模塊，用于根據(jù)所述測試集中的環(huán)境感知信息建立測試用的行駛環(huán)境風(fēng)險場，將所述測試用的行駛環(huán)境風(fēng)險場輸入所述深度學(xué)習(xí)模型，輸出預(yù)測的車輛控制變量，通過比較預(yù)測的車輛控制變量和所述測試集中的駕駛員操作信息對所述深度學(xué)習(xí)模型進(jìn)行測試。
[0017]所述模型訓(xùn)練模塊包括第一風(fēng)險場建立單元，用于根據(jù)靜止物體形成的勢能場信息、運(yùn)動物體形成的動能場信息以及駕駛員形成的行為場信息建立訓(xùn)練用的行駛環(huán)境風(fēng)險場;其中，靜止物體形成的勢能場信息和運(yùn)動物體形成的動能場信息根據(jù)所述訓(xùn)練集中的環(huán)境感知信息確定，駕駛員形成的行為場信息根據(jù)所述訓(xùn)練集中的駕駛員操作信息確定；
[0018]所述模型測試模塊包括第二風(fēng)險場建立單元，用于根據(jù)靜止物體形成的勢能場信息、運(yùn)動物體形成的動能場信息以及駕駛員形成的行為場信息建立測試用的行駛環(huán)境風(fēng)險場;其中，靜止物體形成的勢能場信息和運(yùn)動物體形成的動能場信息根據(jù)所述測試集中的環(huán)境感知信息確定，駕駛員形成的行為場信息根據(jù)所述測試集中的駕駛員操作信息確定。
[0019]其中，靜止物體形成的勢能場信息根據(jù)靜止物體的屬性和道路條件確定;運(yùn)動物體形成的動能場信息根據(jù)運(yùn)動物體的屬性、運(yùn)動狀態(tài)和道路條件確定。
[0020]在環(huán)境感知信息由多個傳感器采集得到的情況下，所述樣本形成模塊包括:數(shù)據(jù)處理單元和樣本形成單元；
[0021 ]所述數(shù)據(jù)處理單元，用于
[0022]對多個傳感器的坐標(biāo)系進(jìn)行轉(zhuǎn)換，以形成統(tǒng)一的坐標(biāo)系；
[0023]和/或
[0024]使用目標(biāo)的馬氏距離關(guān)聯(lián)不同傳感器觀測的同一目標(biāo)，對不同傳感器觀測的同一目標(biāo)按發(fā)生概率進(jìn)行加權(quán)平均，作為該同一目標(biāo)的發(fā)生概率；
[0025]所述樣本形成單元，用于根據(jù)采集的環(huán)境感知信息和駕駛員操作信息建立車輛自動駕駛數(shù)據(jù)庫，并將所述車輛自動駕駛數(shù)據(jù)庫劃分為訓(xùn)練集和測試集。
[0026]所述模型訓(xùn)練模塊包括模型訓(xùn)練單元，用于將所述訓(xùn)練用的行駛環(huán)境風(fēng)險場和所述訓(xùn)練集中的駕駛員操作信息輸入深度學(xué)習(xí)模型，輸出預(yù)測的車輛控制變量和駕駛員操作信息的損失信息;根據(jù)所述駕駛員操作信息的損失信息修正所述深度學(xué)習(xí)模型中車輛控制變量的參數(shù)。
[0027]本發(fā)明基于場的理論建立車輛行駛環(huán)境的風(fēng)險模型，從而利用行駛環(huán)境風(fēng)險場全面的反映車輛的駕駛環(huán)境，有利于實現(xiàn)不同道路環(huán)境下的自動駕駛。并且根據(jù)行駛環(huán)境風(fēng)險場和駕駛員操作對車輛自動駕駛模型進(jìn)行訓(xùn)練，以學(xué)習(xí)優(yōu)秀人類駕駛員的經(jīng)驗，實現(xiàn)擬人化自動駕駛。
【附圖說明】
[0028]圖1是本發(fā)明汽車自動駕駛方法一個實施例的流程示意圖。
[0029]圖2是本發(fā)明對深度學(xué)習(xí)模型進(jìn)行訓(xùn)練的一個實施例的流程圖。
[0030]圖3示出本發(fā)明一典型道路環(huán)境下的行駛環(huán)境風(fēng)險場的示意圖。
[0031]圖4是本發(fā)明對深度學(xué)習(xí)模型進(jìn)行測試的一個實施例的流程圖。
[0032]圖5是本發(fā)明汽車自動駕駛裝置一個實施例的結(jié)構(gòu)示意圖。
[0033]圖6是本發(fā)明汽車自動駕駛裝置再一個實施例的結(jié)構(gòu)示意圖。
【具體實施方式】
[0034]本發(fā)明提出了一種汽車自動駕駛方法，該方法利用采集的環(huán)境感知信息建立行駛環(huán)境風(fēng)險場，根據(jù)行駛環(huán)境風(fēng)險場和駕駛員操作訓(xùn)練深度學(xué)習(xí)模型，可實現(xiàn)車輛的自動駕駛，降低了車輛自動駕駛模型(簡稱模型)的訓(xùn)練難度。
[0035]圖1是本發(fā)明汽車自動駕駛方法一個實施例的流程示意圖。如圖1所示，該方法包括以下步驟:
[0036]步驟S102，根據(jù)采集的環(huán)境感知信息和駕駛員操作信息建立車輛自動駕駛數(shù)據(jù)庫，并將車輛自動駕駛數(shù)據(jù)庫劃分為訓(xùn)練集和測試集，以形成樣本。訓(xùn)練集用來訓(xùn)練模型，在模型訓(xùn)練階段使用;測試集用來驗證模型的可用性，在模型測試階段使用。
[0037]其中，環(huán)境感知信息是由至少一種傳感器采集的環(huán)境數(shù)據(jù)。例如，車載攝像機(jī)采集的圖像，激光雷達(dá)的點云信息和毫米波雷達(dá)的目標(biāo)信息等，但不限于所舉示例。
[0038]其中，駕駛員操作信息包括車輛轉(zhuǎn)向角、車輛加/減速度等信息。為了獲取豐富多樣的駕駛數(shù)據(jù)，可以選用不同駕駛員的駕駛數(shù)據(jù)。例如，使用的數(shù)據(jù)庫采樣頻率為10赫茲，選用不同駕駛員兩小時的駕駛數(shù)據(jù)作為訓(xùn)練集，共計72000幀，選用不同駕駛員半小時的駕駛數(shù)據(jù)作為測試集，共計18000幀。通過學(xué)習(xí)不同駕駛員的駕駛行為，可以實現(xiàn)車輛的擬人化自動駕駛。
[0039]步驟S104，根據(jù)訓(xùn)練集中的環(huán)境感知信息建立訓(xùn)練用的行駛環(huán)境風(fēng)險場，根據(jù)訓(xùn)練用的行駛環(huán)境風(fēng)險場和訓(xùn)練集中的駕駛員操作信息對深度學(xué)習(xí)模型進(jìn)行訓(xùn)練。
[0040]在一個實施例中，對深度學(xué)習(xí)模型進(jìn)行訓(xùn)練包括:將訓(xùn)練用的行駛環(huán)境風(fēng)險場和訓(xùn)練集中的駕駛員操作信息輸入深度學(xué)習(xí)模型，輸出預(yù)測的車輛控制變量，例如車輛轉(zhuǎn)向角、車輛加/減速度等，根據(jù)預(yù)測的車輛控制變量和期望的車輛控制變量(根據(jù)駕駛員操作信息確定期望的車輛控制變量)確定駕駛員操作信息的損失信息，根據(jù)駕駛員操作信息的損失信息修正深度學(xué)習(xí)模型中車輛控制變量的參數(shù)。經(jīng)過一定次數(shù)的迭代，得到符合要求的深度學(xué)習(xí)模型。其中，深度學(xué)習(xí)模型例如可以為深度卷積神經(jīng)網(wǎng)絡(luò)模型。
[0041]行駛環(huán)境風(fēng)險場可以全面地描述行駛環(huán)境，有利于實現(xiàn)不同道路環(huán)境下的自動駕駛。
[0042]步驟S106，根據(jù)測試集中的環(huán)境感知信息建立測試用的行駛環(huán)境風(fēng)險場，將測試用的行駛環(huán)境風(fēng)險場輸入深度學(xué)習(xí)模型，輸出預(yù)測的車輛控制變量，通過比較預(yù)測的車輛控制變量和測試集中的駕駛員操作信息對深度學(xué)習(xí)模型進(jìn)行測試。
[0043]一種示例性的測試方法描述如下，如果預(yù)測的車輛控制變量和測試集中的駕駛員操作信息之間的差距小于預(yù)設(shè)值，也即，二者的一致性較好，則可以確定深度學(xué)習(xí)模型可用。其中，車輛控制變量例如包括車輛轉(zhuǎn)向角、車輛加/減速度等。
[0044]然而，本領(lǐng)域技術(shù)人員可以理解，上述測試方法并非唯一的。例如，將預(yù)測的車輛控制變量用于對車輛進(jìn)行控制，觀察車輛能否正常行駛，如果可以正常行駛，則確定深度學(xué)習(xí)模型可用。
[0045]上述實施例本發(fā)明基于場的理論建立車輛行駛環(huán)境的風(fēng)險模型，從而利用行駛環(huán)境風(fēng)險場全面的反映車輛的駕駛環(huán)境，有利于實現(xiàn)不同道路環(huán)境下的自動駕駛。并且根據(jù)行駛環(huán)境風(fēng)險場和駕駛員操作對車輛自動駕駛模型進(jìn)行訓(xùn)練，以學(xué)習(xí)優(yōu)秀人類駕駛員的經(jīng)驗，實現(xiàn)擬人化自動駕駛。此外，相對于直接利用環(huán)境感知信息對車輛自動駕駛模型進(jìn)行訓(xùn)練，降低了車輛自動駕駛模型的訓(xùn)練難度。
[0046]本發(fā)明還提供了一種對深度學(xué)習(xí)模型進(jìn)行訓(xùn)練的方法。參見圖2所示的對深度學(xué)習(xí)模型進(jìn)行訓(xùn)練的流程圖，針對訓(xùn)練集中的數(shù)據(jù)，訓(xùn)練過程如下:
[0047]步驟S202，對訓(xùn)練集中由至少一個傳感器采集的環(huán)境感知信息進(jìn)行識別，識別出例如靜止物體、運(yùn)動物體、道路等駕駛環(huán)境信息。
[0048]下面以攝像機(jī)、激光雷達(dá)、毫米波雷達(dá)等為例描述識別過程。
[0049]根據(jù)攝像機(jī)采集的圖像，識別出車道線及車輛等目標(biāo)。其中，可以使用圖像處理方法識別圖像中的車道線。該方法通過圖像自適應(yīng)閾值分割、車道標(biāo)記線特征點提取、特征點聚類與擬合、車道線匹配與跟蹤等步驟，實現(xiàn)車道線的準(zhǔn)確識別與穩(wěn)定跟蹤。其中，可以使用機(jī)器學(xué)習(xí)的方法識別圖像中的車輛目標(biāo)。該方法使用H0G(Histogram of OrientedGradient，方向梯度直方圖)特征及AdaBoost(—種迭代算法)級聯(lián)分類器訓(xùn)練車輛檢測模型，進(jìn)而使用車輛檢測模型實現(xiàn)車輛目標(biāo)的準(zhǔn)確檢測。本領(lǐng)域技術(shù)人員可以理解，對于行人、騎車人、道路、路標(biāo)等目標(biāo)可以參考前述的車道線及車輛目標(biāo)的識別方法，這里不再贅述。
[0050]此外，激光雷達(dá)可獲得道路上障礙物及路面的點云信息(即空間坐標(biāo)信息)。毫米波雷達(dá)可獲得障礙物(如車輛、圍欄等目標(biāo))的位置與速度等信息。
[0051 ]步驟S204，可選的，在多個傳感器采集環(huán)境感知信息的情況下，還可以進(jìn)行坐標(biāo)轉(zhuǎn)換和/或數(shù)據(jù)融合。
[0052]其中，坐標(biāo)轉(zhuǎn)換是指對多個傳感器的坐標(biāo)系進(jìn)行轉(zhuǎn)換，以形成統(tǒng)一的坐標(biāo)系，使后續(xù)的數(shù)據(jù)融合更容易。一種坐標(biāo)轉(zhuǎn)換的方法例如可以是，將圖像坐標(biāo)系轉(zhuǎn)換為攝像機(jī)坐標(biāo)，再將攝像機(jī)坐標(biāo)及其他傳感器的坐標(biāo)系轉(zhuǎn)換到統(tǒng)一的車輛坐標(biāo)系(例如固聯(lián)于自車的坐標(biāo)系，坐標(biāo)原點在車輛質(zhì)心)，實現(xiàn)不同傳感器感知信息的坐標(biāo)轉(zhuǎn)換。
[0053]其中，由于不同傳感器感知信息的屬性不同，如毫米波雷達(dá)橫向分辨率低、視覺傳感器測距精度差等，本發(fā)明使用目標(biāo)的馬氏距離關(guān)聯(lián)不同傳感器觀測的同一目標(biāo)，進(jìn)一步為了融合不同傳感器觀測值，對不同傳感器觀測的同一目標(biāo)按發(fā)生概率進(jìn)行加權(quán)平均，作為該同一目標(biāo)的發(fā)生概率，從而實現(xiàn)多傳感器信息的融合及觀測值真實狀態(tài)的有效估計。其中，例如可以使用聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)(JPDA，Joint Probability Data Associat1n)方法對不同傳感器觀測的同一目標(biāo)按發(fā)生概率進(jìn)行加權(quán)平均。
[0054]通過上述坐標(biāo)轉(zhuǎn)換或數(shù)據(jù)融合，可以更準(zhǔn)確地識別道路環(huán)境信息。
[0055]步驟S206，根據(jù)訓(xùn)練集中的環(huán)境感知信息建立訓(xùn)練用的行駛環(huán)境風(fēng)險場。
[0056]本發(fā)明提供了一種能夠全面的反映車輛行駛環(huán)境的風(fēng)險程度的風(fēng)險場建立方法。即，根據(jù)靜止物體(如?？康能囕v等)形成的勢能場信息、運(yùn)動物體(如運(yùn)動的車輛和行人)形成的動能場信息以及駕駛員形成的行為場信息建立行駛環(huán)境風(fēng)險場，公式表示如下:
[0057]Es = Er+Ev+Ed (I)
[0058]其中，Es表示行駛環(huán)境風(fēng)險場，Er表示靜止物體形成的勢能場信息，Ev表示運(yùn)動物體形成的動能場信息，Ed表示駕駛員形成的行為場信息。
[0059]對于訓(xùn)練用的行駛環(huán)境風(fēng)險場，靜止物體形成的勢能場信息和運(yùn)動物體形成的動能場信息根據(jù)訓(xùn)練集中的環(huán)境感知信息確定，駕駛員形成的行為場信息根據(jù)訓(xùn)練集中的駕駛員操作信息確定。具體來說，勢能場表征道路上靜止物體對行車安全影響的物理場，勢能場場強(qiáng)的大小和方向主要由靜止物體屬性和道路條件決定。動能場是表征道路上運(yùn)動物體對行車安全影響的物理場，動能場場強(qiáng)的大小和方向主要由運(yùn)動物體的屬性、運(yùn)動狀態(tài)及道路條件決定。行為場是表征駕駛員行為特性對行車安全影響的物理場，行為場場強(qiáng)的大小主要由駕駛員的行為特性決定的。相同條件下，激進(jìn)型的駕駛員常常比保守型駕駛員造成的行車風(fēng)險大，其行為場場強(qiáng)就大；駕駛技能低的駕駛員通常比駕駛技能高的駕駛員行為場場強(qiáng)大。
[0060]圖3示出一典型道路環(huán)境下的行駛環(huán)境風(fēng)險場的示意圖。為方便深度學(xué)習(xí)的訓(xùn)練過程，可將風(fēng)險場離散化并投影到二維的圖像上。其中，風(fēng)險場圖像的橫坐標(biāo)表示車輛的橫向方向，縱坐標(biāo)表示車輛的縱向方向，圖像像素值表示風(fēng)險程度(例如可以量化到O到255)。在本實施例中例如可以考慮車輛左右20米、前100米、后50米的范圍，每個像素代表0.5米的長度，故生成的風(fēng)險場灰度圖像大小為300x80。
[0061]步驟S208，將訓(xùn)練用的行駛環(huán)境風(fēng)險場和訓(xùn)練集中的駕駛員操作信息(即監(jiān)督信息)輸入深度學(xué)習(xí)模型，輸出預(yù)測的車輛控制變量。
[0062]其中，駕駛員操作信息包括車輛轉(zhuǎn)向角、車輛加/減速度等信息。為了獲取豐富多樣的駕駛數(shù)據(jù)，可以選用不同駕駛員的駕駛數(shù)據(jù)。
[0063]其中，深度學(xué)習(xí)模型例如可以是深度卷積神經(jīng)網(wǎng)絡(luò)模型，該模型包括五層卷積層和兩層全連接層，最后一層輸出二維的車輛控制量。
[0064]步驟S210，根據(jù)預(yù)測的車輛控制變量和期望的車輛控制變量(根據(jù)駕駛員操作信息確定)確定駕駛員操作信息的損失信息，例如用L2損失函數(shù)，根據(jù)駕駛員操作信息的損失信息修正深度學(xué)習(xí)模型中車輛控制變量的參數(shù)。
[0065]經(jīng)過一定次數(shù)(例如1萬次)的迭代，可以得到符合要求的深度學(xué)習(xí)模型，從而完成對深度學(xué)習(xí)模型的訓(xùn)練過程。
[0066]上述實施例，基于場的理論建立車輛行駛環(huán)境的風(fēng)險評估模型，融合多種傳感器信息輸入，建立全面的行駛環(huán)境描述體系，有利于實現(xiàn)不同道路環(huán)境下的自動駕駛。結(jié)合車輛行駛環(huán)境及駕駛員相應(yīng)的車輛操作輸出，基于深度學(xué)習(xí)方法學(xué)習(xí)車輛的自動駕駛模型，可實現(xiàn)車輛的自動駕駛。通過學(xué)習(xí)不同駕駛員的駕駛行為，可實現(xiàn)車輛的擬人化自動駕駛。
[0067]本發(fā)明還提供了一種對深度學(xué)習(xí)模型進(jìn)行測試的方法。參見圖4所示的對深度學(xué)習(xí)模型進(jìn)行測試的流程圖，針對測試集中的數(shù)據(jù)，測試過程如下:
[0068]步驟S402，對測試集中由至少一個傳感器采集的環(huán)境感知信息進(jìn)行識別，識別出例如靜止物體、運(yùn)動物體、道路等駕駛環(huán)境信息。
[0069]其中，對測試集中的環(huán)境感知信息的識別方法可以參考對訓(xùn)練集中的環(huán)境感知信息的識別方法(即參考步驟S202)，這里不再贅述。
[0070]步驟S404，可選的，在多個傳感器采集環(huán)境感知信息的情況下，還可以進(jìn)行坐標(biāo)轉(zhuǎn)換和/或數(shù)據(jù)融合。
[0071]其中，對測試集中的環(huán)境感知信息的坐標(biāo)轉(zhuǎn)換和/或數(shù)據(jù)融合方法可以參考對訓(xùn)練集中的環(huán)境感知信息的坐標(biāo)轉(zhuǎn)換和/或數(shù)據(jù)融合方法(即參考步驟S204)，這里不再贅述。
[0072]步驟S406，根據(jù)測試集中的環(huán)境感知信息建立測試用的行駛環(huán)境風(fēng)險場。
[0073]其中，測試用的行駛環(huán)境風(fēng)險場的建立方法可以參考訓(xùn)練用的行駛環(huán)境風(fēng)險場的建立方法(即參考步驟S206)，這里不再贅述。
[0074]步驟S408，將測試用的行駛環(huán)境風(fēng)險場輸入訓(xùn)練得到的深度學(xué)習(xí)模型，即使用訓(xùn)練的深度學(xué)習(xí)模型處理輸入的行駛環(huán)境風(fēng)險場，輸出預(yù)測的車輛控制變量。
[0075]例如，將生成的大小為300x80的風(fēng)險場灰度圖像輸入到訓(xùn)練得到的深度卷積神經(jīng)網(wǎng)絡(luò)模型，通過回歸得到二維的車輛控制量，例如車輛轉(zhuǎn)向角、加/減速度等信息。
[0076]步驟S410，通過比較預(yù)測的車輛控制變量和測試集中的駕駛員操作信息對深度學(xué)習(xí)模型進(jìn)行測試。
[0077]—種示例性的測試方法描述如下，如果預(yù)測的車輛控制變量和測試集中的駕駛員操作信息之間的差距小于預(yù)設(shè)值，也即，二者的一致性較好，則可以確定深度學(xué)習(xí)模型可用。其中，車輛控制變量例如包括車輛轉(zhuǎn)向角、車輛加/減速度等。
[0078]如果深度學(xué)習(xí)模型可用，則可以根據(jù)深度學(xué)習(xí)模型輸出的車輛控制量(如車輛轉(zhuǎn)向角、加/減速度等)，使用PID(比例積分微分)控制實現(xiàn)對車輛的有效控制。
[0079]本發(fā)明還提供了一種汽車自動駕駛裝置，參考圖5，該裝置包括:
[0080]樣本形成模塊502，用于根據(jù)采集的環(huán)境感知信息和駕駛員操作信息建立車輛自動駕駛數(shù)據(jù)庫，并將車輛自動駕駛數(shù)據(jù)庫劃分為訓(xùn)練集和測試集；
[0081]模型訓(xùn)練模塊504，用于根據(jù)訓(xùn)練集中的環(huán)境感知信息建立訓(xùn)練用的行駛環(huán)境風(fēng)險場，根據(jù)訓(xùn)練用的行駛環(huán)境風(fēng)險場和訓(xùn)練集中的駕駛員操作信息對深度學(xué)習(xí)模型進(jìn)行訓(xùn)練;
[0082]模型測試模塊506，用于根據(jù)測試集中的環(huán)境感知信息建立測試用的行駛環(huán)境風(fēng)險場，將測試用的行駛環(huán)境風(fēng)險場輸入深度學(xué)習(xí)模型，輸出預(yù)測的車輛控制變量，通過比較預(yù)測的車輛控制變量和測試集中的駕駛員操作信息對深度學(xué)習(xí)模型進(jìn)行測試。
[0083]參考圖6，在環(huán)境感知信息由多個傳感器采集得到的情況下，樣本形成模塊502包括:數(shù)據(jù)處理單元5022和樣本形成單元5024 ；
[0084]數(shù)據(jù)處理單元5022，用于對多個傳感器的坐標(biāo)系進(jìn)行轉(zhuǎn)換，以形成統(tǒng)一的坐標(biāo)系；和/或，使用目標(biāo)的馬氏距離關(guān)聯(lián)不同傳感器觀測的同一目標(biāo)，對不同傳感器觀測的同一目標(biāo)按發(fā)生概率進(jìn)行加權(quán)平均，作為該同一目標(biāo)的發(fā)生概率。
[0085]樣本形成單元5024，用于根據(jù)采集的環(huán)境感知信息和駕駛員操作信息建立車輛自動駕駛數(shù)據(jù)庫，并將車輛自動駕駛數(shù)據(jù)庫劃分為訓(xùn)練集和測試集。
[0086]其中，模型訓(xùn)練模塊504包括第一風(fēng)險場建立單元5042，用于根據(jù)靜止物體形成的勢能場信息、運(yùn)動物體形成的動能場信息以及駕駛員形成的行為場信息建立訓(xùn)練用的行駛環(huán)境風(fēng)險場;其中，靜止物體形成的勢能場信息和運(yùn)動物體形成的動能場信息根據(jù)訓(xùn)練集中的環(huán)境感知信息確定，駕駛員形成的行為場信息根據(jù)訓(xùn)練集中的駕駛員操作信息確定。
[0087]其中，模型訓(xùn)練模塊504包括模型訓(xùn)練單元5044，用于將訓(xùn)練用的行駛環(huán)境風(fēng)險場和訓(xùn)練集中的駕駛員操作信息輸入深度學(xué)習(xí)模型，輸出預(yù)測的車輛控制變量和駕駛員操作信息的損失信息;根據(jù)駕駛員操作信息的損失信息修正深度學(xué)習(xí)模型中車輛控制變量的參數(shù)。
[0088]其中，模型測試模塊506包括第二風(fēng)險場建立單元5062，用于根據(jù)靜止物體形成的勢能場信息、運(yùn)動物體形成的動能場信息以及駕駛員形成的行為場信息建立測試用的行駛環(huán)境風(fēng)險場;其中，靜止物體形成的勢能場信息和運(yùn)動物體形成的動能場信息根據(jù)測試集中的環(huán)境感知信息確定，駕駛員形成的行為場信息根據(jù)測試集中的駕駛員操作信息確定。
[0089]其中，靜止物體形成的勢能場信息根據(jù)靜止物體的屬性和道路條件確定;運(yùn)動物體形成的動能場信息根據(jù)運(yùn)動物體的屬性、運(yùn)動狀態(tài)和道路條件確定。
[0090]其中，模型測試模塊506包括模型測試單元5064，用于將測試用的行駛環(huán)境風(fēng)險場輸入深度學(xué)習(xí)模型，輸出預(yù)測的車輛控制變量，通過比較預(yù)測的車輛控制變量和測試集中的駕駛員操作信息對深度學(xué)習(xí)模型進(jìn)行測試。
[0091]本發(fā)明基于場的理論建立車輛行駛環(huán)境的風(fēng)險模型，從而利用行駛環(huán)境風(fēng)險場全面的反映車輛的駕駛環(huán)境，有利于實現(xiàn)不同道路環(huán)境下的自動駕駛。并且根據(jù)行駛環(huán)境風(fēng)險場和駕駛員操作對車輛自動駕駛模型進(jìn)行訓(xùn)練，以學(xué)習(xí)優(yōu)秀人類駕駛員的經(jīng)驗，實現(xiàn)擬人化自動駕駛。此外，相對于直接利用環(huán)境感知信息對車輛自動駕駛模型進(jìn)行訓(xùn)練，降低了車輛自動駕駛模型的訓(xùn)練難度。
[0092]最后需要指出的是:以上實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制。本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:可以對前述各實施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分技術(shù)特征進(jìn)行等同替換;這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的精神和范圍。
【主權(quán)項】
1.一種汽車自動駕駛方法，其特征在于，包括: 根據(jù)采集的環(huán)境感知信息和駕駛員操作信息建立車輛自動駕駛數(shù)據(jù)庫，并將所述車輛自動駕駛數(shù)據(jù)庫劃分為訓(xùn)練集和測試集； 根據(jù)所述訓(xùn)練集中的環(huán)境感知信息建立訓(xùn)練用的行駛環(huán)境風(fēng)險場，根據(jù)所述訓(xùn)練用的行駛環(huán)境風(fēng)險場和所述訓(xùn)練集中的駕駛員操作信息對所述深度學(xué)習(xí)模型進(jìn)行訓(xùn)練； 根據(jù)所述測試集中的環(huán)境感知信息建立測試用的行駛環(huán)境風(fēng)險場，將所述測試用的行駛環(huán)境風(fēng)險場輸入所述深度學(xué)習(xí)模型，輸出預(yù)測的車輛控制變量，通過比較預(yù)測的車輛控制變量和所述測試集中的駕駛員操作信息對所述深度學(xué)習(xí)模型進(jìn)行測試。2.如權(quán)利要求1所述的方法，其特征在于，其中，訓(xùn)練用或者測試用的行駛環(huán)境風(fēng)險場采用以下方法建立: 根據(jù)靜止物體形成的勢能場信息、運(yùn)動物體形成的動能場信息以及駕駛員形成的行為場信息建立行駛環(huán)境風(fēng)險場； 其中， 對于訓(xùn)練用的行駛環(huán)境風(fēng)險場，靜止物體形成的勢能場信息和運(yùn)動物體形成的動能場信息根據(jù)所述訓(xùn)練集中的環(huán)境感知信息確定，駕駛員形成的行為場信息根據(jù)所述訓(xùn)練集中的駕駛員操作信息確定； 對于測試用的行駛環(huán)境風(fēng)險場，靜止物體形成的勢能場信息和運(yùn)動物體形成的動能場信息根據(jù)所述測試集中的環(huán)境感知信息確定，駕駛員形成的行為場信息根據(jù)所述測試集中的駕駛員操作信息確定。3.如權(quán)利要求2所述的方法，其特征在于， 靜止物體形成的勢能場信息根據(jù)靜止物體的屬性和道路條件確定； 運(yùn)動物體形成的動能場信息根據(jù)運(yùn)動物體的屬性、運(yùn)動狀態(tài)和道路條件確定。4.如權(quán)利要求1所述的方法，其特征在于，在環(huán)境感知信息由多個傳感器采集得到的情況下，還包括: 對多個傳感器的坐標(biāo)系進(jìn)行轉(zhuǎn)換，以形成統(tǒng)一的坐標(biāo)系； 和/或 使用目標(biāo)的馬氏距離關(guān)聯(lián)不同傳感器觀測的同一目標(biāo)，對不同傳感器觀測的同一目標(biāo)按發(fā)生概率進(jìn)行加權(quán)平均，作為該同一目標(biāo)的發(fā)生概率。5.如權(quán)利要求1所述的方法，其特征在于，根據(jù)所述訓(xùn)練用的行駛環(huán)境風(fēng)險場和所述訓(xùn)練集中的駕駛員操作信息對所述深度學(xué)習(xí)模型進(jìn)行訓(xùn)練包括: 將所述訓(xùn)練用的行駛環(huán)境風(fēng)險場和所述訓(xùn)練集中的駕駛員操作信息輸入深度學(xué)習(xí)模型，輸出預(yù)測的車輛控制變量和駕駛員操作信息的損失信息； 根據(jù)所述駕駛員操作信息的損失信息修正所述深度學(xué)習(xí)模型中車輛控制變量的參數(shù)。6.一種汽車自動駕駛裝置，其特征在于，包括: 樣本形成模塊，用于根據(jù)采集的環(huán)境感知信息和駕駛員操作信息建立車輛自動駕駛數(shù)據(jù)庫，并將所述車輛自動駕駛數(shù)據(jù)庫劃分為訓(xùn)練集和測試集； 模型訓(xùn)練模塊，用于根據(jù)所述訓(xùn)練集中的環(huán)境感知信息建立訓(xùn)練用的行駛環(huán)境風(fēng)險場，根據(jù)所述訓(xùn)練用的行駛環(huán)境風(fēng)險場和所述訓(xùn)練集中的駕駛員操作信息對所述深度學(xué)習(xí)模型進(jìn)行訓(xùn)練； 模型測試模塊，用于根據(jù)所述測試集中的環(huán)境感知信息建立測試用的行駛環(huán)境風(fēng)險場，將所述測試用的行駛環(huán)境風(fēng)險場輸入所述深度學(xué)習(xí)模型，輸出預(yù)測的車輛控制變量，通過比較預(yù)測的車輛控制變量和所述測試集中的駕駛員操作信息對所述深度學(xué)習(xí)模型進(jìn)行測試。7.如權(quán)利要求6所述的裝置，其特征在于， 所述模型訓(xùn)練模塊包括第一風(fēng)險場建立單元，用于根據(jù)靜止物體形成的勢能場信息、運(yùn)動物體形成的動能場信息以及駕駛員形成的行為場信息建立訓(xùn)練用的行駛環(huán)境風(fēng)險場；其中，靜止物體形成的勢能場信息和運(yùn)動物體形成的動能場信息根據(jù)所述訓(xùn)練集中的環(huán)境感知信息確定，駕駛員形成的行為場信息根據(jù)所述訓(xùn)練集中的駕駛員操作信息確定； 所述模型測試模塊包括第二風(fēng)險場建立單元，用于根據(jù)靜止物體形成的勢能場信息、運(yùn)動物體形成的動能場信息以及駕駛員形成的行為場信息建立測試用的行駛環(huán)境風(fēng)險場；其中，靜止物體形成的勢能場信息和運(yùn)動物體形成的動能場信息根據(jù)所述測試集中的環(huán)境感知信息確定，駕駛員形成的行為場信息根據(jù)所述測試集中的駕駛員操作信息確定。8.如權(quán)利要求7所述的裝置，其特征在于， 靜止物體形成的勢能場信息根據(jù)靜止物體的屬性和道路條件確定； 運(yùn)動物體形成的動能場信息根據(jù)運(yùn)動物體的屬性、運(yùn)動狀態(tài)和道路條件確定。9.如權(quán)利要求6所述的裝置，其特征在于，在環(huán)境感知信息由多個傳感器采集得到的情況下，所述樣本形成模塊包括:數(shù)據(jù)處理單元和樣本形成單元； 所述數(shù)據(jù)處理單元，用于 對多個傳感器的坐標(biāo)系進(jìn)行轉(zhuǎn)換，以形成統(tǒng)一的坐標(biāo)系； 和/或 使用目標(biāo)的馬氏距離關(guān)聯(lián)不同傳感器觀測的同一目標(biāo)，對不同傳感器觀測的同一目標(biāo)按發(fā)生概率進(jìn)行加權(quán)平均，作為該同一目標(biāo)的發(fā)生概率； 所述樣本形成單元，用于根據(jù)采集的環(huán)境感知信息和駕駛員操作信息建立車輛自動駕駛數(shù)據(jù)庫，并將所述車輛自動駕駛數(shù)據(jù)庫劃分為訓(xùn)練集和測試集。10.如權(quán)利要求6所述的裝置，其特征在于， 所述模型訓(xùn)練模塊包括模型訓(xùn)練單元，用于將所述訓(xùn)練用的行駛環(huán)境風(fēng)險場和所述訓(xùn)練集中的駕駛員操作信息輸入深度學(xué)習(xí)模型，輸出預(yù)測的車輛控制變量和駕駛員操作信息的損失信息;根據(jù)所述駕駛員操作信息的損失信息修正所述深度學(xué)習(xí)模型中車輛控制變量的參數(shù)。
【文檔編號】G05D1/02GK105892471SQ201610515191
【公開日】2016年8月24日
【申請日】2016年7月1日
【發(fā)明人】李曉飛, 張德兆, 王肖, 霍舒豪
【申請人】北京智行者科技有限公司