對象物推斷裝置以及對象物推斷方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及根據(jù)對對象物進(jìn)行拍攝而得到的圖像來推斷該對象物的位置以及速 度的對象物推斷裝置以及對象物推斷方法。
【背景技術(shù)】
[0002] 例如，提出了各種利用搭載于汽車等車輛的照相機(jī)對車輛的前方進(jìn)行拍攝，并根 據(jù)拍攝到的圖像來檢測行人、其它車輛等對象物的檢測裝置(參照專利文獻(xiàn)1、非專利文獻(xiàn) 1)。在這樣的檢測裝置中，對對象物進(jìn)行檢測來測定(推斷）從車輛(照相機(jī))到對象物的距 離以及對象物的移動(速度）。
[0003] 通過掌握這樣的對象物的位置以及速度，能夠判定該對象物對于車輛而言是否危 險。而且，在對象物對于車輛而言可能構(gòu)成危險的情況下，能夠?qū)︸{駛員警告該情況或自動 控制制動器，來輔助駕駛員的駕駛。
[0004] 在非專利文獻(xiàn)1中公開了一種根據(jù)利用兩個照相機(jī)拍攝到的圖像來推斷對象物在 三維上的位置以及速度的方法。具體而言，在非專利文獻(xiàn)1的方法中，根據(jù)利用兩個照相機(jī) 拍攝到的兩個圖像按每個像素求出視差。另外，根據(jù)利用一個照相機(jī)獲取到的連續(xù)的幀圖 像來計算每個像素的推移(光流場）。而且，將上述視差以及光流場作為輸入，通過卡爾曼濾 波來推斷對象物的當(dāng)前的位置以及速度。
[0005] 專利文獻(xiàn)1:國際公開第2006/081906號公報
[0006] 非專利文獻(xiàn)· y- (Clemens Rabe)、々工· Franke)、婦上7 7 ?年l^、（Stefan Gehrig)著、「複雑女背景丨二糾寸§移動體<Z) 高速検出」（Fast detection of moving objects in complex scenarios)、Y 工 >"卜自動車シレ求シ:ク么，2007IEEE(Intelligent Vehicles Symposium，2007IEEE)、（^f' 夕^文一少）、2007年6 月 13 日、ρ·398 -403
[0007] 然而，根據(jù)利用照相機(jī)拍攝到的映像獲取的視差、光流場不可避免地會產(chǎn)生因照 相機(jī)的分辨率引起的誤差、因錯誤地追蹤對象物而引起的誤差(跟蹤錯誤)等。而且，若被輸 入包含這樣的誤差(異常值)的視差、光流場，則計算出的對象物的推斷值也包含誤差。
[0008] 即，沒有提供在視差、光流場的輸入值是異常值的情況下，能夠適當(dāng)?shù)貙νㄟ^濾波 計算出的推斷值進(jìn)行修正，并以較高的精度推斷對象物的狀態(tài)(位置/速度)的裝置。

【發(fā)明內(nèi)容】

[0009] -個實(shí)施方式提供一種在視差信息以及推移信息中檢測出異常值的情況下能夠 適當(dāng)?shù)貙ν茢嘀颠M(jìn)行修正，高精度地推斷對象物的位置以及速度的對象物推斷裝置以及對 象物推斷方法。
[0010] -個實(shí)施方式的對象物推斷裝置基于圖像獲取單元從不同的位置拍攝到的多個 圖像，來推斷該圖像中的對象物的位置以及速度。上述對象物推斷裝置具備:推移信息獲取 單元，在上述多個圖像中的成為基準(zhǔn)的基準(zhǔn)圖像中，從在時間上位于前后的幀獲取對應(yīng)的 像素的位置在時間上的推移信息;視差信息獲取單元，從上述多個圖像中以上述基準(zhǔn)圖像 為基準(zhǔn)來獲取對應(yīng)的各像素的視差信息;推斷值獲取單元，基于上述推移信息獲取單元獲 取的推移信息以及上述視差信息獲取單元獲取的視差信息，使用濾波來推斷上述對象物在 三維空間上的位置以及速度的推斷值;判定單元，判定上述推移信息獲取單元獲取的推移 信息以及上述視差信息獲取單元獲取的視差信息分別是否是異常值；以及修正單元，基于 上述判定單元的判定結(jié)果，來對上述推斷值獲取單元獲取的上述推斷值進(jìn)行修正。上述修 正單元在上述判定單元判定為上述推移信息獲取單元獲取的上述推移信息是異常值的情 況下、以及在上述判定單元判定為上述視差信息獲取單元獲取的上述視差信息是異常值的 情況下，利用不同的方法對上述推斷值獲取單元獲取的推斷值進(jìn)行修正。
【附圖說明】
[0011]圖1是表示搭載有實(shí)施方式所涉及的對象物推斷裝置的汽車的系統(tǒng)結(jié)構(gòu)的框圖。
[0012] 圖2是表示實(shí)施方式所涉及的對象物推斷裝置推斷對象物的狀態(tài)的概念圖。
[0013] 圖3(a)是表示對作為對象物的其他車輛進(jìn)行拍攝而得到的圖像的圖，（b)是表示 視差信息的圖，（c)是表示推移信息的圖。
[0014] 圖4是對在推移信息中產(chǎn)生異常值并對推斷值進(jìn)行修正的情況加以說明的圖。
[0015] 圖5是對在視差信息中產(chǎn)生異常值并對推斷值進(jìn)行修正的情況加以說明的圖。
[0016] 圖6是表示通過實(shí)施方式所涉及的對象物推斷方法來進(jìn)行對象物的狀態(tài)推斷時的 控制流程的流程圖。
[0017] 圖7是表示實(shí)驗(yàn)例的實(shí)驗(yàn)條件的圖。
[0018] 圖8是表不實(shí)驗(yàn)例的實(shí)驗(yàn)結(jié)果的圖表。
【具體實(shí)施方式】
[0019] 接下來，對實(shí)施方式所涉及的對象物推斷裝置以及對象物推斷方法進(jìn)行說明。在 實(shí)施方式中，對將對象物推斷裝置搭載于作為車輛的汽車(普通乘用車)的情況進(jìn)行說明。
[0020] [實(shí)施方式]
[0021]圖1是表示搭載有本實(shí)施方式所涉及的對象物推斷裝置10的汽車的系統(tǒng)結(jié)構(gòu)的框 圖。對象物推斷裝置10與圖像獲取部12(圖像獲取單元）以及車輛信息獲取部14電連接。而 且，對象物推斷裝置10基于來自圖像獲取部12以及車輛信息獲取部14的輸入，來推斷由圖 像獲取部12拍攝到的對象物(例如其它車輛、行人)的狀態(tài)(位置以及速度）。
[0022]其中，對象物推斷裝置10與未圖示的駕駛輔助裝置電連接，將由對象物推斷裝置 10獲得的對象物的推斷值輸出至駕駛輔助裝置。在駕駛輔助裝置中，使用被輸入的推斷值， 例如對駕駛員警告對象物的存在或自動控制制動器，來輔助駕駛員的駕駛。
[0023](關(guān)于圖像獲取部）
[0024]圖像獲取部12例如被安裝于汽車的擋風(fēng)玻璃(前窗玻璃）（未圖示）的車輛室側(cè)，對 汽車的行進(jìn)方向的前方進(jìn)行拍攝。本實(shí)施方式的圖像獲取部12是具備分離在左右(與汽車 的行進(jìn)方向垂直的水平方向）的一對照相機(jī)16、18的立體照相機(jī)。其中，在以下的說明中，將 左側(cè)的照相機(jī)稱為第一照相機(jī)16(第一拍攝單元），將右側(cè)的照相機(jī)稱為第二照相機(jī)18(第 二拍攝單元）。
[0025]第一照相機(jī)16以及第二照相機(jī)18實(shí)現(xiàn)拍攝時機(jī)的同步以便在同一時刻拍攝幀。第 一照相機(jī)16以及第二照相機(jī)18從相互不同的位置對汽車的行駛方向的前方進(jìn)行拍攝，分別 獲取第一圖像(基準(zhǔn)圖像)以及第二圖像。
[0026](關(guān)于車輛信息獲取部）
[0027]車輛信息獲取部14用于檢測汽車的行駛狀態(tài)，具備檢測汽車的橫擺率的橫擺率傳 感器20以及檢測汽車的車速(行駛速度)的車速傳感器22。由車輛信息獲取部14獲取到的橫 擺率以及車速被輸出至對象物推斷裝置10的后述的推斷值獲取部26。
[0028](關(guān)于對象物推斷裝置）
[0029]如圖1所示，對象物推斷裝置10將輸入值獲取部24以及推斷值獲取部26作為基本 結(jié)構(gòu)。
[0030] (關(guān)于輸入值獲取部）
[0031] 輸入值獲取部24具備推移信息計算部28(推移信息獲取單元）以及視差信息計算 部30(視差信息獲取單元）。輸入值獲取部24基于圖像獲取部12獲取的第一圖像以及第二圖 像，來獲取輸入至推斷值獲取部26的輸入值(后述的視差信息以及推移信息）。
[0032]推移信息計算部28與第一照相機(jī)16電連接，被輸入由第一照相機(jī)16獲取到的第一 圖像。另外，推移信息計算部28具備RAM等可改寫的存儲部(未圖示），將前1幀的第一圖像隨 時存儲以及更新至存儲部。
[0033] 推移信息計算部28根據(jù)當(dāng)前的幀的第一圖像和存儲部所存儲的前1幀的第一圖像 (在時間上位于前后的幀)來獲取對應(yīng)的像素的位置在時間上的推移信息(光流場）。
[0034] 在實(shí)施方式中，推移信息以第一照相機(jī)16的光軸中心為原點(diǎn)，有關(guān)像素的橫向（X 方向）的位置分量被定義為u、有關(guān)像素的縱向(y方向）的位置分量被定義為V。
[0035]其中，推移信息計算部28在計算推移信息(u，v)時，例如使用濃度梯度法、Horn-Schunck的方法（B.K.P.Horn and B.G. Schunck,Determining Optical Flow,AI(17), No. 1-3,1981，pp. 185-203)等公知的方法。
[0036] 視差信息計算部30與第一照相機(jī)16以及第二照相機(jī)18雙方電連接，分別被輸入由 兩個照相機(jī)16、18獲取到的第一圖像以及第二圖像。視差信息計算部30基于被輸入的第一 圖像以及第二圖像，按每個像素來計算視差(視差信息d)。
[0037] 具體而言，對于第一圖像的各像素以及第二圖像所對應(yīng)的各像素，例如通過基于 Semi-Global Matching的圖像處理來計算視差信息d。在本實(shí)施方式中，視差信息計算部30 被設(shè)定為以第一圖像為基準(zhǔn)來計算視差信息d。即，視差信息d與以第一照相機(jī)16的光軸中 心為原點(diǎn)的有關(guān)像素的縱深位置(從第一照相機(jī)16到對象物的距離)唯一建立對應(yīng)關(guān)系。其 中，各像素的幀間的跟蹤基于推移信息計算部28計算的推移信息(u，v)(即，光流場)來進(jìn) 行。
[0038]由推移信息計算部28計算出的推移信息(u，v)以及由視差信息計算部30計算出的 視差信息d被輸出至推斷值獲取部26。
[0039] 如圖1所示，推斷值獲取部26具備計算部32(推斷值獲取單元）、判定部34(判定單 元）、以及修正部36(修正單元）。
[0040] 計算部32通過將