物體檢測(cè)裝置和物體檢測(cè)方法
【專利摘要】本發(fā)明涉及物體檢測(cè)裝置和物體檢測(cè)方法。物體檢測(cè)裝置包括攝像機(jī)和ECU。攝像機(jī)安裝于車輛并且捕捉圖像。ECU被構(gòu)造成基于圖像獲取圖像的各個(gè)像素區(qū)域的深度距離；基于深度距離提取至少一個(gè)候補(bǔ)物體；計(jì)算至少一個(gè)候補(bǔ)物體的深度距離隨著時(shí)間的改變量；并且使用隨著時(shí)間的改變量從至少一個(gè)候補(bǔ)物體之中檢測(cè)車輛周圍的物體。當(dāng)提取在圖像中相鄰的第一候補(bǔ)物體和第二候補(bǔ)物體、并且第二隨著時(shí)間的改變量是第一隨著時(shí)間的改變量的兩倍時(shí)，判定第二候補(bǔ)物體為與第一候補(bǔ)物體相同的物體。
【專利說(shuō)明】
物體檢測(cè)裝置和物體檢測(cè)方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及物體檢測(cè)裝置和物體檢測(cè)方法。
【背景技術(shù)】
[0002]作為與物體檢測(cè)有關(guān)的技術(shù)，例如，日本專利申請(qǐng)公開(kāi)N0.2009-176091(JP 2009-176091A)描述了使用由攝像機(jī)捕捉的圖像檢測(cè)附近的物體的技術(shù)。JP 2009-176091A描述了獲取圖像上的距離信息、并且基于該距離信息檢測(cè)物體的裝置和方法。當(dāng)應(yīng)用于檢測(cè)在主車輛前方行駛的在前車輛時(shí)，該檢測(cè)裝置和檢測(cè)方法試圖通過(guò)從要獲取的目標(biāo)距離信息排除在前車輛的尾燈之間的區(qū)域來(lái)抑制由于主車輛的反射而引起的錯(cuò)誤檢測(cè)。

【發(fā)明內(nèi)容】

[0003]上面描述的物體檢測(cè)技術(shù)可能不能充分地抑制物體的錯(cuò)誤檢測(cè)。即，因?yàn)閮H省略了特定區(qū)域作為要獲取距離信息的對(duì)象，所以可能不能處理主車輛在其它區(qū)域的反射，導(dǎo)致發(fā)生物體的錯(cuò)誤檢測(cè)的情況。
[0004]因此，在該技術(shù)領(lǐng)域，需要發(fā)展抑制物體的錯(cuò)誤檢測(cè)的物體檢測(cè)技術(shù)。
[0005]從而，本發(fā)明的一個(gè)方面涉及包括攝像機(jī)和ECU的物體檢測(cè)裝置。攝像機(jī)安裝于車輛并且捕捉圖像。ECU被構(gòu)造成基于圖像獲取圖像的各個(gè)像素區(qū)域的深度距離;基于深度距離提取至少一個(gè)候補(bǔ)物體;計(jì)算至少一個(gè)候補(bǔ)物體的深度距離隨著時(shí)間的改變量;并且使用隨著時(shí)間的改變量從至少一個(gè)候補(bǔ)物體之中檢測(cè)車輛周圍的物體。當(dāng)提取在圖像中相鄰的第一候補(bǔ)物體和第二候補(bǔ)物體、并且第二隨著時(shí)間的改變量是第一隨著時(shí)間的改變量的兩倍時(shí)，判定第二候補(bǔ)物體為與第一候補(bǔ)物體相同的物體。第一隨著時(shí)間的改變量是第一候補(bǔ)物體的深度距離隨著時(shí)間的改變量，并且第二隨著時(shí)間的改變量是第二候補(bǔ)物體的深度距離隨著時(shí)間的改變量。
[0006]根據(jù)該方面，當(dāng)從基于圖像的像素區(qū)域的深度距離提取的候補(bǔ)物體之中檢測(cè)到物體、并且提取在圖像中相鄰的第一候補(bǔ)物體和第二候補(bǔ)物體、且第二候補(bǔ)物體的深度距離隨著時(shí)間的改變量是第一候補(bǔ)物體的深度距離隨著時(shí)間的改變量的兩倍時(shí)，判定第二候補(bǔ)物體為與第一候補(bǔ)物體相同的物體。因此，抑制將深度距離隨著時(shí)間的改變量是相鄰候補(bǔ)物體的深度距離隨著時(shí)間的改變量的兩倍的主車輛的反射檢測(cè)為分開(kāi)的物體。
[0007]在上述方面中，攝像機(jī)可以是立體攝像機(jī)。
[0008]本發(fā)明的另一個(gè)方面涉及一種物體檢測(cè)方法，包括:利用攝像機(jī)捕捉圖像，所述攝像機(jī)安裝于車輛;利用ECU基于所述圖像獲取所述圖像的像素區(qū)域的深度距離；利用所述ECU基于所述深度距離提取至少一個(gè)候補(bǔ)物體;利用所述ECU計(jì)算至少一個(gè)所述候補(bǔ)物體的所述深度距離隨著時(shí)間的改變量；以及利用所述ECU使用所述隨著時(shí)間的改變量從至少一個(gè)所述候補(bǔ)物體之中檢測(cè)所述車輛周圍的物體。當(dāng)提取在圖像中相鄰的第一候補(bǔ)物體和第二候補(bǔ)物體、并且第二隨著時(shí)間的改變量是第一隨著時(shí)間的改變量的兩倍時(shí)，判定第二候補(bǔ)物體為與第一候補(bǔ)物體相同的物體。第一隨著時(shí)間的改變量是第一候補(bǔ)物體的深度距離隨著時(shí)間的改變量，并且第二隨著時(shí)間的改變量是第二候補(bǔ)物體的深度距離隨著時(shí)間的改變量。
[0009]根據(jù)該方法，當(dāng)從基于圖像的像素區(qū)域的深度距離而提取的候補(bǔ)物體之中檢測(cè)物體、并且提取在圖像中相鄰的第一候補(bǔ)物體和第二候補(bǔ)物體時(shí)，當(dāng)?shù)诙蜓a(bǔ)物體的深度距離隨著時(shí)間的改變量是第一候補(bǔ)物體的深度距離隨著時(shí)間的改變量的兩倍時(shí)，判定第二候補(bǔ)物體為與第一候補(bǔ)物體相同的物體。因此，抑制將深度距離隨著時(shí)間的改變量是相鄰候補(bǔ)物體的深度距離隨著時(shí)間的改變量的兩倍的主車輛的反射檢測(cè)為分開(kāi)的物體。
[0010]根據(jù)本發(fā)明，能夠在使用圖像的物體檢測(cè)中抑制物體的錯(cuò)誤檢測(cè)。
【附圖說(shuō)明】
[0011]下面將參考附圖描述本發(fā)明的示例性實(shí)施例的特征、優(yōu)點(diǎn)以及技術(shù)和工業(yè)意義，其中，相同的標(biāo)號(hào)表示相同的元件，并且其中:
[0012]圖1是示出根據(jù)本發(fā)明的一個(gè)實(shí)例實(shí)施例的物體檢測(cè)裝置的構(gòu)造的概要的塊圖；
[0013]圖2是在利用圖1中的物體檢測(cè)裝置的物體檢測(cè)中使用的圖像的說(shuō)明圖；
[0014]圖3是圖1中的物體檢測(cè)裝置中的分組(grouping)的說(shuō)明圖；
[0015]圖4是物體檢測(cè)中的分組的比較例的視圖；以及
[0016]圖5是圖示出根據(jù)該實(shí)例實(shí)施例的圖1中的物體檢測(cè)裝置和物體檢測(cè)方法的操作的流程圖。
【具體實(shí)施方式】
[0017]在下文中，將參考附圖描述本發(fā)明的實(shí)例實(shí)施例。在下面的描述中，利用相同的參考標(biāo)號(hào)表示相同的元件，并且將省略重復(fù)描述。
[0018]圖1是根據(jù)本發(fā)明的一個(gè)實(shí)例實(shí)施例的物體檢測(cè)裝置I的結(jié)構(gòu)的概要圖。
[0019]如圖1所示，物體檢測(cè)裝置I是這樣的裝置:其使用由安裝在車輛中的攝像機(jī)2捕捉的圖像來(lái)檢測(cè)車輛周圍的物體。該物體檢測(cè)裝置I安裝在車輛中，并且包括例如攝像機(jī)2和E⑶(電子控制單元)3。
[0020]例如，攝像機(jī)2用作捕捉車輛周圍的區(qū)域的圖像的攝像部，并且安裝成能夠捕捉在行駛方向上位于車輛前方的區(qū)域的圖像。對(duì)于攝像機(jī)2，可以使用能夠獲取圖像的輝度信息和深度距離信息的攝像機(jī)。即，例如，可以使用諸如立體攝像機(jī)這樣的能夠獲取形成圖像的各個(gè)像素區(qū)域的輝度信息和各個(gè)像素區(qū)域的深度距離信息的攝像機(jī)。在這種情況下，對(duì)于攝像機(jī)2，使用了具有在與攝像方向交叉的方向上排列布置的多個(gè)攝像部的攝像機(jī)。稍后將描述像素區(qū)域的細(xì)節(jié)。
[0021]由攝像機(jī)2捕捉的圖像可以是彩色或黑白的。并且，圖像波段可以是可見(jiàn)波長(zhǎng)或近紅外波長(zhǎng)。即，只要能夠獲取根據(jù)其能夠識(shí)別車輛周圍的物體的圖像數(shù)據(jù)，則圖像波段可以是任意波段。并且，只要攝像機(jī)能夠獲取圖像的亮度信息和深度距離信息，就可以使用除了立體攝像機(jī)之外的傳感器，例如，TOF(飛行時(shí)間)攝像機(jī)用于攝像機(jī)2，或者可以使用捕捉圖像的亮度信息的攝像機(jī)與獲取深度距離信息的傳感器的組合，例如，激光雷達(dá)傳感器等用于攝像機(jī)2。
[0022]E⑶3是控制整個(gè)物體檢測(cè)裝置I的電子控制單元，并且例如，主要由包括CPU、ROM和RAM的計(jì)算機(jī)形成。ECU 3電連接于攝像機(jī)2，并且接收來(lái)自攝像機(jī)2的圖像信號(hào)。E⑶3包括:距離信息獲取部30、分組部31、候補(bǔ)物體提取部32、距離變化計(jì)算部33、和物體檢測(cè)部34。
[0023]距離信息獲取部30是獲取與由攝像機(jī)2捕捉的圖像中的深度距離有關(guān)的信息的深度距離獲取部。例如，距離信息獲取部30獲取由攝像機(jī)2捕捉的圖像數(shù)據(jù)，并且利用該圖像數(shù)據(jù)獲取形成圖像的各個(gè)像素區(qū)域的深度距離信息。圖像數(shù)據(jù)是能夠從其獲取圖像的各個(gè)像素區(qū)域的亮度信息和深度距離信息的數(shù)據(jù)，并且每次以預(yù)定周期重復(fù)獲取時(shí)均記載。
[0024]形成圖像的像素區(qū)域可以是由單個(gè)像素形成的區(qū)域或者由多個(gè)像素形成的區(qū)域。當(dāng)將像素區(qū)域設(shè)定為由多個(gè)像素形成的區(qū)域時(shí)，像素區(qū)域是由例如四個(gè)，即，2 X 2像素形成的區(qū)域，或者是由比這更多的像素形成的區(qū)域。例如，輝度信息是像素區(qū)域的輝度值。當(dāng)像素區(qū)域由多個(gè)像素形成時(shí)，可以將多個(gè)像素的輝度值的平均值、最高值、最低值或預(yù)定的代表值用作像素區(qū)域的輝度信息。并且，深度距離信息是與像素區(qū)域中的捕捉到的物體的深度距離有關(guān)的信息，并且包括深度距離。例如，深度距離是到在攝像機(jī)2的攝像方向的捕捉到的物體的距離。當(dāng)使用立體攝像機(jī)作為攝像機(jī)2時(shí)，深度方向是從連接多個(gè)攝像機(jī)的安裝位置的直線到捕捉到的物體的方向。捕捉到的物體是圖像中的捕捉的物體，并且包括諸如道路的路面和天空這樣的背景，以及諸如三維物體這樣的物體。當(dāng)像素區(qū)域由單個(gè)像素形成時(shí)，該像素的深度方向變?yōu)橄袼貐^(qū)域的深度方向信息。當(dāng)像素區(qū)域由多個(gè)像素形成時(shí)，可以將多個(gè)像素的深度距離的平均值、最高值、最低值或預(yù)定的代表值用作像素區(qū)域的深度距離信息。
[0025]可以將深度距離的值如此用作深度距離信息，或者可以將與深度距離相對(duì)應(yīng)的值或與深度距離相當(dāng)?shù)闹涤米魃疃染嚯x。例如，可以將與深度距離相對(duì)應(yīng)的視差的值用作深度距離信息。視差的值是捕捉到的物體或由兩個(gè)攝像機(jī)捕捉的兩個(gè)圖像中的物體的視差的值，并且是隨著深度距離變近而變大的值。
[0026]當(dāng)將立體攝像機(jī)用作攝像機(jī)2時(shí)，距離信息獲取部30產(chǎn)生關(guān)于左右兩個(gè)圖像的視差圖像。然后，距離信息獲取部30使用視差圖像中的像素區(qū)域的視差的值作為深度距離信息。距離信息獲取部30還可以基于各個(gè)像素區(qū)域的視差來(lái)計(jì)算各個(gè)像素區(qū)域的深度距離，并且使用該深度距離的值作為深度距離信息。例如，密集立體技術(shù)可以用于計(jì)算深度距離信息。更具體地，SGM方法或ELAS方法等可以用作用于計(jì)算深度距離信息的方法。
[0027]對(duì)于已經(jīng)獲取深度距離信息的圖像，分組部31基于深度距離信息將多個(gè)像素區(qū)域分組。該分組部31是將三維空間中的相鄰的像素區(qū)域分為同一組的部分。例如，當(dāng)相同距離范圍中的像素區(qū)域在圖像的豎直方向上相鄰時(shí)，分組部31將這些像素區(qū)域分為同一組。相同的距離范圍是包括相同距離和距離相同距離預(yù)定距離范圍內(nèi)的大致相同距離的范圍。并且，當(dāng)相同距離范圍中的像素區(qū)域在圖像的豎直方向和橫向上相鄰時(shí)，分組部31將這些像素區(qū)域分為同一組。
[0028]現(xiàn)在將參考圖2至4詳細(xì)描述分組部31中的分組。圖2是由攝像機(jī)2捕捉的主車輛的前進(jìn)方向上的圖像的視圖。在該圖像中捕捉到了在前車輛60。主車輛的反射區(qū)域61存在于在前車輛60的下部上。圖2是在夜間來(lái)自主車輛的頭燈的反射的實(shí)例的視圖。
[0029]當(dāng)通過(guò)分組部31對(duì)圖2中的圖像進(jìn)行分組時(shí)，當(dāng)像素區(qū)域在預(yù)定距離范圍中相鄰時(shí)，將相同距離范圍中的像素區(qū)域分為同一組。在圖2中，將在前車輛60分組到一起作為第一組60a，并且將主車輛的反射區(qū)域61分組到一起作為第二組61a。這是因?yàn)榉瓷鋮^(qū)域61的深度距離是在前車輛60的深度距離的兩倍，所以將其識(shí)別為不同的組。
[0030]圖3是由攝像機(jī)2捕捉的主車輛的前進(jìn)方向上的圖像的視圖，其中，捕捉到行人65、66和67。行人65和66處于相同的深度距離，并且行人67比行人65和66更遠(yuǎn)，并且示出于行人65與行人66之間。在這種情況下，根據(jù)深度距離將行人65、66和67分組。即，因?yàn)樘幱诓煌纳疃染嚯x的行人67示出于行人65與行人66之間，所以行人65和66處于不同的組。
[0031]相比之下，圖4所示的比較例是在沒(méi)有充分考慮深度距離的情況下進(jìn)行分組的實(shí)例。在該比較例中，將行人65、66和67分為同一組，所以沒(méi)有進(jìn)行適當(dāng)?shù)姆纸M。
[0032]并且，在分組部31的分組中，可以創(chuàng)建圖像中的物體的橫向位置和深度位置的坐標(biāo)系的鳥(niǎo)瞰圖的數(shù)據(jù)，可以識(shí)別物體的存在，并且可以將物體分組。并且，作為物體的橫向位置的信息，可以使用圖像區(qū)域的輝度值，或者可以使用用于識(shí)別分組隨著時(shí)間改變的各個(gè)圖像區(qū)域的光流。
[0033]候補(bǔ)物體提取部32是基于由距離信息獲取部30獲取的深度距離而提取(S卩，選擇)候補(bǔ)物體的提取部。即，使用深度距離信息從圖像所示的物體中提取要檢測(cè)的候補(bǔ)物體。例如，在圖2的圖像中全部示出了諸如在前車輛60這樣的三維物體、路面71和背景72，并且根據(jù)在前車輛60、路面71和背景72的各自的深度距離將其分組，但是僅提取三維物體作為候補(bǔ)物體。
[0034]更具體地，背景72的深度距離是大的，所以能夠通過(guò)將候補(bǔ)物體限制為具有等于或小于預(yù)定的閾值的深度距離的那些物體而排除背景72作為候補(bǔ)物體。并且，路面71是深度距離根據(jù)顯示位置而逐漸改變的區(qū)域，所以能夠通過(guò)將候補(bǔ)物體限制為具有等于或多于預(yù)定量的不變化的深度距離的那些物體而排除路面71作為候補(bǔ)物體。并且，除了路面71之夕卜，還可以排除沿著道路設(shè)置的護(hù)壁或護(hù)欄等作為候補(bǔ)物體。結(jié)果，將提取主車輛周圍的三維物體作為候補(bǔ)物體。
[0035]距離變化計(jì)算部33是計(jì)算由候補(bǔ)物體提取部32所提取的候補(bǔ)物體的深度距離隨著時(shí)間的改變的計(jì)算部。例如，在圖2中，如果提取表示在前車輛60的第一組60a和處于主車輛的反射區(qū)域61中的第二組61a作為候補(bǔ)物體，則分別計(jì)算第一組60a和第二組61a的深度距離隨著時(shí)間的改變量。候補(bǔ)物體的深度距離隨著時(shí)間的改變量對(duì)應(yīng)于候補(bǔ)物體相對(duì)于物體檢測(cè)裝置I或主車輛的相對(duì)速度。在重復(fù)執(zhí)行的物體檢測(cè)過(guò)程中，基于第一組60a和第二組61a的最新深度距離和當(dāng)前深度距離進(jìn)行深度距離的隨著時(shí)間的改變量的具體計(jì)算?？梢曰谥T如形成組的像素區(qū)域的平均值或中間值這樣的代表值來(lái)計(jì)算各組的深度距離。還可以使用最新深度距離的后一個(gè)或前一個(gè)深度距離來(lái)計(jì)算深度距離的隨著時(shí)間的改變量。
[0036]物體檢測(cè)部34是使用由距離變化計(jì)算部33計(jì)算的候補(bǔ)物體的深度距離隨著時(shí)間的改變量，從檢測(cè)候補(bǔ)物體中檢測(cè)物體的檢測(cè)部。即，當(dāng)通過(guò)候補(bǔ)物體提取部32提取在圖像中相鄰的第一候補(bǔ)物體和第二候補(bǔ)物體時(shí)，當(dāng)?shù)诙蜓a(bǔ)物體的深度距離隨著時(shí)間的改變量是第一候補(bǔ)物體隨著時(shí)間的改變量的兩倍時(shí)，物體檢測(cè)部34判定第二候補(bǔ)物體為與第一候補(bǔ)物體相同的物體。然而，如果提取在圖像中相鄰的第一候補(bǔ)物體和第二候補(bǔ)物體、并且第二候補(bǔ)物體的深度距離隨著時(shí)間的改變量不是第一候補(bǔ)物體隨著時(shí)間的改變量的兩倍時(shí)，則物體檢測(cè)部34判定第二候補(bǔ)物體為與第一候補(bǔ)物體不同的物體。并且，如果不提取在圖像中相鄰的候補(bǔ)物體，則物體檢測(cè)部34判定不相鄰的候補(bǔ)物體是分離的物體。
[0037]更具體地，在圖2中，如果提取彼此相鄰的在前車輛60的第一組60a和主車輛的反射區(qū)域61的第二組61a作為候補(bǔ)物體，則判定在前車輛60的第一組60a和反射區(qū)域61的第二組61a中的一組的深度距離隨著時(shí)間的改變量是否是另一組隨著時(shí)間的改變量的兩倍。然后，例如，如果反射區(qū)域61的第二組61a的深度距離隨著時(shí)間的改變量是在前車輛60的第一組60a的深度距離隨著時(shí)間的改變量的兩倍，則將第二組61a判定或識(shí)別為與第一組60a的在前車輛60相同的物體。
[0038]因此，將反射于在前車輛60上的主車輛等的頭燈等識(shí)別為在前車輛60的一部分，所以抑制將頭燈等的反射錯(cuò)誤地檢測(cè)為與在前車輛60分離的物體。
[0039]這里，深度距離隨著時(shí)間的改變量的兩倍還包括隨著時(shí)間的改變量的大致兩倍。例如，考慮到深度距離的檢測(cè)誤差，當(dāng)?shù)诙蜓a(bǔ)物體的深度距離隨著時(shí)間的改變量是第一候補(bǔ)物體的深度距離隨著時(shí)間的改變量的大致兩倍時(shí)，可以將第二候補(bǔ)物體判定為與第一候補(bǔ)物體相同的物體。更具體地，如果深度距離的檢測(cè)精度是實(shí)際距離的± 10%，則當(dāng)?shù)诙蜓a(bǔ)物體的深度距離隨著時(shí)間的改變量是第一候補(bǔ)物體的深度距離隨著時(shí)間的改變量的兩倍的± 20 %以內(nèi)的值時(shí)，將第二候補(bǔ)物體檢測(cè)為與第一候補(bǔ)物體相同的物體。并且，可以根據(jù)深度距離的檢測(cè)精度來(lái)設(shè)定大致兩倍的范圍。
[0040]并且，當(dāng)?shù)谝缓蜓a(bǔ)物體與第二候補(bǔ)物體相鄰時(shí)可以是當(dāng)?shù)谝缓蜓a(bǔ)物體與第二候補(bǔ)物體的各自的一側(cè)互相接觸時(shí)，或者可以是當(dāng)如圖2的作為第二候補(bǔ)物體的第二組61a由作為第一候補(bǔ)物體的第一組60a圍繞并且接觸時(shí)。
[0041]另一方面，如果在圖2中主車輛的反射區(qū)域61不存在于在前車輛60上，S卩，如果不存在相鄰的候補(bǔ)物體，則將在前車輛60的第一組60a檢測(cè)為物體，而不使用深度距離隨著時(shí)間的改變量。
[0042]可以通過(guò)將實(shí)現(xiàn)各種功能的軟件或程序安裝到ECU3內(nèi)而形成上述的距離信息獲取部30、分組部31、候補(bǔ)物體提取部32、距離變化計(jì)算部33和物體檢測(cè)部34。并且，可以通過(guò)單個(gè)電子控制單元形成這些部分中的一部分或全部。
[0043]在圖1中，輸出部4電連接于ECU3。輸出部4基于物體的檢測(cè)結(jié)果而運(yùn)轉(zhuǎn)。例如，提醒駕駛員的提醒裝置或控制行駛的控制裝置等對(duì)應(yīng)于輸出部。
[0044]接著，將描述根據(jù)該實(shí)例實(shí)施例的物體檢測(cè)裝置I的操作和根據(jù)該實(shí)例實(shí)施例的物體檢測(cè)方法。
[0045]圖5是圖示出根據(jù)該實(shí)例實(shí)施例的物體檢測(cè)裝置I和物體檢測(cè)方法的物體檢測(cè)程序的流程圖。例如，通過(guò)ECU 3以預(yù)定周期重復(fù)地進(jìn)行物體檢測(cè)程序。
[0046]首先，如圖5中的步驟SlO所示，進(jìn)行圖像讀取處理。圖像讀取處理是用于讀取由攝像機(jī)2捕捉的圖像的圖像數(shù)據(jù)的處理。當(dāng)將立體攝像機(jī)用作攝像機(jī)2時(shí)，讀取多個(gè)圖像資料。
[0047]然后，處理進(jìn)入步驟S12，在步驟S12中進(jìn)行距離信息獲取處理。該距離信息獲取處理是用于獲取與由攝像機(jī)2捕捉到的圖像的深度距離相關(guān)的信息的處理。即，在該距離信息獲取處理中，使用圖像數(shù)據(jù)獲取構(gòu)成圖像的各個(gè)像素區(qū)域的深度距離信息。以預(yù)定的周期重復(fù)地獲取通過(guò)該距離信息獲取處理所獲取到的深度距離信息，并且每次獲取時(shí)均存儲(chǔ)。作為該處理的特定內(nèi)容，例如，當(dāng)將立體攝像機(jī)用作攝像機(jī)2時(shí)，進(jìn)行用于產(chǎn)生左右兩個(gè)圖像的視差圖像的處理。獲取視差圖像的各個(gè)像素區(qū)域的視差的值作為深度距離信息。并且，可以基于各個(gè)圖像區(qū)域的視差來(lái)計(jì)算各個(gè)圖像區(qū)域的深度距離，并且可以獲取該深度距離的值作為深度距離信息。
[0048]然后，處理進(jìn)入步驟S14，在步驟S14中進(jìn)行分組處理。對(duì)于已經(jīng)獲取深度距離信息的圖像，分組處理是用于鏈接多個(gè)像素區(qū)域并且基于深度距離信息對(duì)其進(jìn)行分組的處理。在該分組處理中，在三維空間中臨近的像素區(qū)域分在同一組中。例如，當(dāng)圖像中的處于相同距離范圍的像素區(qū)域在預(yù)定的距離范圍內(nèi)臨近時(shí)，將它們分在同一組中。
[0049]例如，在圖2中，在前車輛60分在第一組60a中。并且，主車輛在對(duì)前車輛60的反射區(qū)域61分在第二組61a中。這是因?yàn)?，反射區(qū)域61的深度距離是在前車輛60的深度距離的兩倍，所以基于深度距離將其識(shí)別為分開(kāi)的組。
[0050]在該分組處理中，可以通過(guò)將圖像分割為多個(gè)區(qū)域而進(jìn)行投票處理來(lái)進(jìn)行分組，或者可以使用通過(guò)從直方圖選擇多個(gè)獨(dú)立的代表距離來(lái)進(jìn)行分組的形式。并且，只要能夠?qū)D像中的相同距離范圍的像素區(qū)域分組在一起，可以使用任一種方法。然后，記錄并且保持分組處理的結(jié)果。例如，至少將圖像中的位置、區(qū)域的大小和所分組的深度距離鏈接在一起并且記錄。
[0051]然后，處理進(jìn)入圖5中的步驟S16，在步驟S16中進(jìn)行候補(bǔ)物體提取處理。候補(bǔ)物體提取處理是用于基于由距離信息獲取處理所獲取到的深度距離來(lái)提取候補(bǔ)物體的處理。即，使用深度距離信息從顯示在圖像上的那些物體之中提取要檢測(cè)的候補(bǔ)物體。例如，諸如在前車輛60這樣的三維物體、路面71和背景72全部顯示在圖2的圖像中，并且根據(jù)它們各自的深度距離進(jìn)行分組，但是僅提取三維物體作為候補(bǔ)物體。
[0052]更具體地，背景72的深度距離很大，所以能夠通過(guò)將候補(bǔ)物體限制為具有等于或小于預(yù)定的閾值的深度距離的那些物體而排除背景72。并且，路面71是深度距離根據(jù)顯示位置而逐漸變化的區(qū)域，所以能夠通過(guò)將候補(bǔ)物體限制為具有等于或多于預(yù)定量的不改變的深度距離的那些物體而排除路面71。并且，除了路面71之外，還可以排除將沿著道路設(shè)置的護(hù)壁或護(hù)欄等作為候補(bǔ)物體。結(jié)果，將提取主車輛周圍的三維物體作為候補(bǔ)物體。
[0053]然后，處理進(jìn)入步驟S18，在步驟S18中進(jìn)行距離變化計(jì)算處理。該距離變化計(jì)算處理是用于計(jì)算通過(guò)候補(bǔ)物體提取處理所提取的候補(bǔ)物體的深度距離隨著時(shí)間的改變量的處理。例如，在圖2中，如果提取表示在前車輛60的第一組60a和處于主車輛的反射區(qū)域61中的第二組61a作為候補(bǔ)物體，則計(jì)算第一組60a和第二組61a 二者的深度距離隨著時(shí)間的改變量。更具體地，需要基于第一組60a和第二組61a的最新深度距離和當(dāng)前深度距離簡(jiǎn)單地計(jì)算深度距離隨著時(shí)間的改變量。還可以使用最新深度距離的后一個(gè)或前一個(gè)深度距離來(lái)計(jì)算深度距離隨著時(shí)間的改變量。
[0054]然后，處理進(jìn)入步驟S20，在步驟S20中進(jìn)行物體檢測(cè)處理。該物體檢測(cè)處理是用于使用通過(guò)距離變化計(jì)算處理所計(jì)算的候補(bǔ)物體的深度距離隨著時(shí)間的改變量來(lái)從候補(bǔ)物體之中檢測(cè)物體的處理。即，在物體檢測(cè)處理中，當(dāng)通過(guò)候補(bǔ)物體提取處理提取在圖像中相鄰的第一候補(bǔ)物體和第二候補(bǔ)物體時(shí)，當(dāng)?shù)诙蜓a(bǔ)物體的深度距離隨著時(shí)間的改變量是第一候補(bǔ)物體的深度距離隨著時(shí)間的改變量的兩倍時(shí)，判定第二候補(bǔ)物體為與第一候補(bǔ)物體相同的物體。然而，在物體檢測(cè)處理中，如果提取在圖像中相鄰的第一候補(bǔ)物體和第二候補(bǔ)物體、并且第二候補(bǔ)物體的深度距離隨著時(shí)間的改變量不是第一候補(bǔ)物體的深度距離隨著時(shí)間的改變量的兩倍，則判定第二候補(bǔ)物體為與第一候補(bǔ)物體不同的物體。并且，在物體檢測(cè)處理中，如果不提取在圖像中相鄰的候補(bǔ)物體，則判定不相鄰的候補(bǔ)物體為分開(kāi)的物體。
[0055]更具體地，在圖2中，如果提取彼此相鄰的在前車輛60的第一組60a和主車輛的反射區(qū)域61的第二組61a作為候補(bǔ)物體，則判定在前車輛60的第一組60a和反射區(qū)域61的第二組61a中的一組的深度距離隨著時(shí)間的改變量是否是另一組隨著時(shí)間的改變量的兩倍。然后，例如，如果反射區(qū)域61的第二組61a的深度距離隨著時(shí)間的改變量是在前車輛60的第一組60a的深度距離隨著時(shí)間的改變量的兩倍，則將第二組61a判定或識(shí)別為與第一組60a的在前車輛60相同的物體。因此，將反射在在前車輛60上的主車輛的頭燈等識(shí)別為在前車輛60的一部分，所以抑制將頭燈等的反射錯(cuò)誤地檢測(cè)物為與在前車輛60分開(kāi)的物體。然而，如果在圖2中的在前車輛60上沒(méi)有反射區(qū)域61，S卩，如果不存在相鄰的候補(bǔ)物體，則將在前車輛60的第一組60a檢測(cè)為物體，而不使用深度距離隨著時(shí)間的改變量。
[0056]然后，處理進(jìn)入圖5中的步驟S22，在步驟S22中進(jìn)行輸出處理。輸出處理是用于輸出物體的檢測(cè)結(jié)果的處理。例如，將物體的檢測(cè)結(jié)果輸出到諸如提醒駕駛員的提醒裝置或控制行駛的控制裝置這樣的輸出部4。當(dāng)完成步驟S22中的處理時(shí)，該控制程序的循環(huán)結(jié)束。
[0057]在圖5中的控制程序的循環(huán)中，只要不影響控制結(jié)果，則可以互換控制處理的順序，或者可以省略控制處理的一部分的執(zhí)行。
[0058]如上所述，依照根據(jù)該實(shí)例實(shí)施例的物體檢測(cè)裝置I和物體檢測(cè)方法，當(dāng)基于圖像的像素區(qū)域的深度距離從候補(bǔ)物體之中檢測(cè)物體、并且提取在圖像中相鄰的第一候補(bǔ)物體和第二候補(bǔ)物體時(shí)，當(dāng)?shù)诙蜓a(bǔ)物體的深度距離隨著時(shí)間的改變量是第一候補(bǔ)物體的深度距離隨著時(shí)間的改變量的兩倍時(shí)，將第二候補(bǔ)物體判定為與第一候補(bǔ)物體相同的物體。因此，抑制將深度距離隨著時(shí)間的改變量是相鄰的候補(bǔ)物體的深度距離隨著時(shí)間的改變量的兩倍的主車輛的反射檢測(cè)為分開(kāi)的物體，所以提高了物體檢測(cè)精度。
[0059]并且，利用根據(jù)該實(shí)例實(shí)施例的物體檢測(cè)裝置I和物體檢測(cè)方法，只要第一候補(bǔ)物體與第二候補(bǔ)物體相鄰，則即使不存在特定的位置關(guān)系，也能夠抑制將主車輛的反射錯(cuò)誤地檢測(cè)為分開(kāi)的物體。例如，利用僅排除作為要獲取距離信息的對(duì)象的在前車輛的尾燈之間的區(qū)域的裝置，當(dāng)主車輛行駛的道路是上坡時(shí)，主車輛的反射的位置將是比尾燈之間低的位置，所以不能適當(dāng)?shù)匾种棋e(cuò)誤檢測(cè)。相比之下，利用根據(jù)該實(shí)例實(shí)施例的物體檢測(cè)裝置I和物體檢測(cè)方法，即使補(bǔ)償主車輛的反射的區(qū)域以尾燈之間的位置，在前車輛與主車輛的反射的區(qū)域也是相鄰的，所以能夠抑制錯(cuò)誤檢測(cè)。
[0060]并且，利用根據(jù)該實(shí)例實(shí)施例的物體檢測(cè)裝置I和物體檢測(cè)方法，只要第一候補(bǔ)物體與第二候補(bǔ)物體相鄰，則不僅在夜間而且在白天期間都能夠抑制將主車輛的反射錯(cuò)誤地檢測(cè)為分開(kāi)的物體。例如，利用僅排除作為要獲取距離信息的對(duì)象的在前車輛的尾燈之間的區(qū)域的裝置，除非在夜間，否則不能容易地檢測(cè)尾燈，所以除了夜間之外的檢測(cè)變得困難。相比之下，利用根據(jù)該實(shí)例實(shí)施例的物體檢測(cè)裝置I和物體檢測(cè)方法，不需要檢測(cè)尾燈，所以減輕了物體檢測(cè)處理的負(fù)擔(dān)，并且即使在白天進(jìn)行物體檢測(cè)，物體檢測(cè)也不困難。
[0061]上述實(shí)例實(shí)施例僅僅是根據(jù)本發(fā)明的物體檢測(cè)裝置的一個(gè)實(shí)例實(shí)施例，并且根據(jù)本發(fā)明的物體檢測(cè)裝置不限于上述實(shí)例實(shí)施例中的描述。在不背離權(quán)利要求的范圍的情況下，根據(jù)本發(fā)明的物體檢測(cè)裝置可以根據(jù)上述實(shí)例實(shí)施例進(jìn)行改進(jìn)，或者可以應(yīng)用于除了車輛之外的事物。
【主權(quán)項(xiàng)】
1.一種物體檢測(cè)裝置，其特征在于，包括: 攝像機(jī)，安裝于車輛并且捕捉圖像； E⑶，被構(gòu)造成 基于所述圖像獲取所述圖像的各個(gè)像素區(qū)域的深度距離； 基于所述深度距離提取至少一個(gè)候補(bǔ)物體； 計(jì)算至少一個(gè)所述候補(bǔ)物體的所述深度距離隨著時(shí)間的改變量;并且使用所述隨著時(shí)間的改變量從至少一個(gè)所述候補(bǔ)物體之中檢測(cè)所述車輛周圍的物體；其中，當(dāng)提取在所述圖像中相鄰的第一候補(bǔ)物體和第二候補(bǔ)物體、并且第二隨著時(shí)間的改變量是第一隨著時(shí)間的改變量的兩倍時(shí)，判定為所述第二候補(bǔ)物體為與所述第一候補(bǔ)物體相同的物體，所述第一隨著時(shí)間的改變量是所述第一候補(bǔ)物體的所述深度距離隨著時(shí)間的改變量，并且所述第二隨著時(shí)間的改變量是所述第二候補(bǔ)物體的所述深度距離隨著時(shí)間的改變量。2.根據(jù)權(quán)利要求1所述的物體檢測(cè)裝置，其特征在于: 所述攝像機(jī)是立體攝像機(jī)。3.一種物體檢測(cè)方法，其特征在于，包括: 利用攝像機(jī)捕捉圖像，所述攝像機(jī)安裝于車輛； 利用ECU基于所述圖像獲取所述圖像的像素區(qū)域的深度距離； 利用所述E⑶基于所述深度距離提取至少一個(gè)候補(bǔ)物體； 利用所述ECU計(jì)算至少一個(gè)所述候補(bǔ)物體的所述深度距離隨著時(shí)間的改變量；以及利用所述ECU使用所述隨著時(shí)間的改變量從至少一個(gè)所述候補(bǔ)物體之中檢測(cè)所述車輛周圍的物體； 其中，當(dāng)提取在所述圖像中相鄰的第一候補(bǔ)物體和第二候補(bǔ)物體、并且第二隨著時(shí)間的改變量是第一隨著時(shí)間的改變量的兩倍時(shí)，判定為所述第二候補(bǔ)物體為與所述第一候補(bǔ)物體相同的物體，所述第一隨著時(shí)間的改變量是所述第一候補(bǔ)物體的所述深度距離隨著時(shí)間的改變量，并且第二隨著時(shí)間的改變量是所述第二候補(bǔ)物體的所述深度距離隨著時(shí)間的改變量。
【文檔編號(hào)】G06T7/00GK105825495SQ201610045149
【公開(kāi)日】2016年8月3日
【申請(qǐng)日】2016年1月22日
【發(fā)明人】?jī)?nèi)田尚秀, 白井孝昌, 石神裕丈
【申請(qǐng)人】豐田自動(dòng)車株式會(huì)社, 株式會(huì)社電裝