對(duì)象物變化檢測(cè)裝置及對(duì)象物變化檢測(cè)方法
【專利摘要】本發(fā)明根據(jù)圖像來檢測(cè)對(duì)象物，并獲取表示檢測(cè)到的對(duì)象物的形狀信息的特征量分布，保存通過已獲取的特征量分布而被表示的形狀信息，通過使用已保存的形狀信息而對(duì)預(yù)定時(shí)間前的形狀信息和當(dāng)前的形狀信息進(jìn)行比較，從而檢測(cè)出對(duì)象物的變化。在此，本發(fā)明從由包含對(duì)象物在內(nèi)的圖像區(qū)域中提取的處理對(duì)象區(qū)域中獲取對(duì)象物的特征量分布。此外，本發(fā)明使用從形狀信息中獲取并保存的形狀變化信息而檢測(cè)對(duì)象物的變化。此外，本發(fā)明使用對(duì)形狀變化信息進(jìn)行平均化了的平均化形狀變化信息而檢測(cè)對(duì)象物的變化。
【專利說明】對(duì)象物變化檢測(cè)裝置及對(duì)象物變化檢測(cè)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種對(duì)象物變化檢測(cè)裝置及對(duì)象物變化檢測(cè)方法。
【背景技術(shù)】
[0002]一直以來，開發(fā)了一種對(duì)車輛周邊的對(duì)象物進(jìn)行檢測(cè)的技術(shù)。
[0003]例如，在專利文獻(xiàn)I中公開了一種如下的行人突然出現(xiàn)預(yù)測(cè)裝置，所述行人突然出現(xiàn)預(yù)測(cè)裝置通過獲取存在于本車輛的前方的行人的位置及移動(dòng)速度的時(shí)間序列變化和周邊信息，并對(duì)所獲取的位置及移動(dòng)速度的時(shí)間序列變化、與行人突然出現(xiàn)于車道時(shí)的位置及移動(dòng)速度的時(shí)間序列變化的模式進(jìn)行比較，并且對(duì)所獲取的周邊信息、與行人突然出現(xiàn)于車道時(shí)的預(yù)先獲取的周邊信息進(jìn)行比較，從而預(yù)測(cè)在本車輛正在行駛的車道上是否有行人突然出現(xiàn)。
[0004]此外，在專利文獻(xiàn)2中公開了一種如下的行人識(shí)別裝置，所述行人識(shí)別裝置通過從由外界傳感器輸入的圖像數(shù)據(jù)中生成邊緣圖像，并對(duì)候選行人的左右的腿部的開度W進(jìn)行檢測(cè)，并且對(duì)候選行人的頭部進(jìn)行推斷，且根據(jù)該頭部的位置而對(duì)候選行人的身長(zhǎng)H進(jìn)行推斷，根據(jù)候選行人的身長(zhǎng)H及腿部的開度W而判斷腿部W相對(duì)于身長(zhǎng)H的比率(W/H)是否為預(yù)定值α以上，從而判斷候選行人是否有可能橫穿本車輛的前進(jìn)路線。
[0005]此外，在專利文獻(xiàn)3中公開了一種如下的車外監(jiān)視裝置，所述車外監(jiān)視裝置通過針對(duì)以預(yù)定間隔劃分了距離圖像的每個(gè)劃分而制作直方圖并求取立體物的存在位置和該距離，并將每個(gè)劃分的距離相互接近的劃分集中為組，并且對(duì)于各組而在數(shù)據(jù)的排列方向發(fā)生較大變化的部分處將組分割之后，根據(jù)各組的相互的位置關(guān)系，對(duì)組進(jìn)行再結(jié)合，而將一個(gè)立體物識(shí)別為物體和側(cè)壁之間的組合，通過計(jì)算出立體物的角點(diǎn)的位置從而計(jì)算出立體物的位置、向前后和左右方向的移動(dòng)速度等的參數(shù)，從而對(duì)斜前方的車輛的位置及行駛情況進(jìn)行檢測(cè)。
[0006]在先技術(shù)文獻(xiàn)
[0007]專利文獻(xiàn)
[0008]專利文獻(xiàn)1:日本特開2010-102437號(hào)公報(bào)
[0009]專利文獻(xiàn)2:日本特開2007-264778號(hào)公報(bào)
[0010]專利文獻(xiàn)3:日本特開平10-283461號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0011]發(fā)明所要解決的課題
[0012]但是，在現(xiàn)有技術(shù)(專利文獻(xiàn)I?3等)中，存在無法迅速且準(zhǔn)確地檢測(cè)出車輛周邊的對(duì)象物的變化的問題點(diǎn)。
[0013]例如，在專利文獻(xiàn)I所記載的行人突然出現(xiàn)預(yù)測(cè)裝置中，由于僅觀察行人的位置變化及速度變化，因此到能夠確認(rèn)位置及速度的變化為止無法預(yù)測(cè)出行人的突然出現(xiàn)，從而與根據(jù)行人的姿勢(shì)(即，對(duì)象物的形狀)而進(jìn)行預(yù)測(cè)的情況相比，存在行人的突然出現(xiàn)的預(yù)測(cè)變遲這樣的問題。
[0014]此外，在專利文獻(xiàn)2所記載的行人識(shí)別裝置中，由于作為行人的姿勢(shì)(S卩，對(duì)象物的形狀)而僅觀察相對(duì)于身長(zhǎng)H的腿開度W，因此存在如下問題，即，如果不在行人開始了橫穿之后，則無法預(yù)測(cè)出有可能橫穿本車輛的前進(jìn)路線的行人。此外，在該行人識(shí)別裝置中，由于對(duì)于所有的行人只能設(shè)定一個(gè)相對(duì)于身長(zhǎng)H的腿開度W的閾值，所以還存在無法預(yù)測(cè)以較小的步幅突然出現(xiàn)的行人的行動(dòng)的問題。
[0015]此外，在專利文獻(xiàn)3所記載的車外監(jiān)視裝置中，由于在車輛的側(cè)面必須存在側(cè)壁，因此存在在車道寬度較寬的高速道路中無法適用的問題。此外，在該車輛監(jiān)視裝置中，由于作為輸入，距離圖像是必須的，因此還存在傳感器的結(jié)構(gòu)變復(fù)雜這樣的問題。
[0016]本發(fā)明是鑒于上述情況而完成的，其目的在于，提供一種能夠迅速且準(zhǔn)確地檢測(cè)出車輛周邊的對(duì)象物的變化的對(duì)象物變化檢測(cè)裝置及對(duì)象物變化檢測(cè)方法。
[0017]用于解決課題的方法
[0018]本發(fā)明的對(duì)象物變化檢測(cè)裝置，其特征在于，具備:對(duì)象物檢測(cè)單元，其根據(jù)圖像來檢測(cè)對(duì)象物；形狀信息獲取單元，其獲取表示由所述對(duì)象物檢測(cè)單元檢測(cè)到的所述對(duì)象物的形狀信息的特征量分布；形狀信息保存單元，其保存通過由所述形狀信息獲取單元獲取的所述概率分布而被表示的所述形狀信息；對(duì)象物變化檢測(cè)單元，其使用由所述形狀信息保存單元所保存的所述形狀信息，而對(duì)預(yù)定時(shí)間前的所述形狀信息和當(dāng)前的所述形狀信息進(jìn)行比較，從而檢測(cè)出所述對(duì)象物的變化。
[0019]在此，優(yōu)選為，在上述記載的對(duì)象物變化檢測(cè)裝置中，還具備正態(tài)化單元，其對(duì)通過由所述形狀信息獲取單元所獲取的所述特征量分布而被表示的所述形狀信息進(jìn)行正態(tài)化，所述形狀信息保存單元保存由所述正態(tài)化單元所正態(tài)化了的所述形狀信息。
[0020]此外，優(yōu)選為，在上述記載的對(duì)象物變化檢測(cè)裝置中，所述形狀信息獲取單元通過使用預(yù)定的特征量而獲取由所述對(duì)象物檢測(cè)單元所檢測(cè)到的所述對(duì)象物的所述特征量分布，所述正態(tài)化單元對(duì)由所述形狀信息獲取單元所獲取的所述特征量分布進(jìn)行正態(tài)化，并獲取與該特征量分布相對(duì)應(yīng)的概率分布，所述形狀信息保存單元保存由所述正態(tài)化單元所獲取的所述概率分布，所述對(duì)象物變化檢測(cè)單元使用預(yù)定的尺度，而對(duì)由所述形狀信息保存單元所保存的預(yù)定時(shí)間前的所述概率分布與當(dāng)前的所述概率分布之間的差值進(jìn)行計(jì)算，在所計(jì)算出的差值大于預(yù)定的閾值的情況下，檢測(cè)出所述對(duì)象物的變化進(jìn)行檢測(cè)。
[0021]此外，優(yōu)選為，上述記載的對(duì)象物變化檢測(cè)裝置還具備處理對(duì)象區(qū)域提取單元，其從包含由所述對(duì)象物檢測(cè)單元所檢測(cè)到的所述對(duì)象物在內(nèi)的圖像區(qū)域中提取處理對(duì)象區(qū)域，所述形狀信息獲取單元從由所述處理對(duì)象區(qū)域提取單元所提取出的所述處理對(duì)象區(qū)域中，獲取所述對(duì)象物的所述特征量分布。
[0022]此外，優(yōu)選為，上述記載的對(duì)象物變化檢測(cè)裝置還具備:形狀變化信息獲取單元，其使用由所述形狀信息保存單元所保存的所述概率分布，來獲取所述預(yù)定時(shí)間前的所述概率分布與當(dāng)前的所述概率分布之間的差值，以作為所述對(duì)象物的形狀變化信息；形狀變化信息保存單元，其保存由所述形狀變化信息獲取單元所獲取的所述形狀變化信息，所述對(duì)象物變化檢測(cè)單元使用由所述形狀變化信息保存單元所保存的所述形狀變化信息來計(jì)算相似度，在該相似度小于預(yù)定的閾值的情況下，檢測(cè)出所述對(duì)象物的變化。
[0023]此外，優(yōu)選為，上述記載的對(duì)象物變化檢測(cè)裝置還具備形狀變化平均化單元，其對(duì)由所述形狀變化信息保存單元所保存的多個(gè)所述形狀變化信息進(jìn)行平均化，以獲取平均化形狀變化信息，所述對(duì)象物變化檢測(cè)單元使用由所述形狀變化平均化單元所獲取的平均化形狀變化信息來計(jì)算所述相似度，在該相似度小于所述預(yù)定的閾值的情況下，檢測(cè)出所述對(duì)象物的變化。
[0024]此外，優(yōu)選為，在上述記載的對(duì)象物變化檢測(cè)裝置中，所述預(yù)定的特征量是表示為概率分布的特征量，并包括使用圖像的亮度本身的第一特征量、使用圖像的邊緣的第二特征量以及使用圖像的顏色的第三特征量中的至少一個(gè)。
[0025]此外，優(yōu)選為，在上述記載的對(duì)象物變化檢測(cè)裝置中，所述第一特征量包括亮度、亮度的主元分析、Hu矩、垂直線間長(zhǎng)度、哈爾特征以及poselet中的至少一個(gè),第二特征量包括尺度不變特征變換、主元分析、加速穩(wěn)健特征、梯度定位與方向直方圖、形狀上下文、梯度方向直方圖、共生梯度方向直方圖、特征交互描述信息以及小邊特征中至少一個(gè)，第三特征量包括RGB以及Lab中的至少一個(gè)。
[0026]此外，優(yōu)選為，在上述記載的對(duì)象物變化檢測(cè)裝置中，所述預(yù)定的尺度是使用距離或偽距離來計(jì)測(cè)概率分布間的差異的尺度。
[0027]此外，優(yōu)選為，在上述記載的對(duì)象物變化檢測(cè)裝置中，所述距離包括曼哈頓距離、歐幾里得距離、一致范數(shù)、馬氏距離、漢明距離中的至少一種，所述偽距離包括K-L散信息量。
[0028]此外，優(yōu)選為，在上述記載的對(duì)象物變化檢測(cè)裝置中，所述相似度包括余弦相似度。
[0029]本發(fā)明的對(duì)象物變化檢測(cè)方法的特征在于，包括如下步驟:對(duì)象物檢測(cè)步驟，根據(jù)圖像來檢測(cè)對(duì)象物；形狀信息獲取步驟，獲取表示在所述對(duì)象物檢測(cè)步驟中檢測(cè)到的所述對(duì)象物的形狀信息的特征量分布；形狀信息保存步驟，保存通過在所述形狀信息獲取步驟中獲取的所述特征量分布而被表示的所述形狀信息；對(duì)象物變化檢測(cè)步驟，使用在所述形狀信息保存步驟中保存的所述形狀信息，而對(duì)預(yù)定時(shí)間前的所述形狀信息和當(dāng)前的所述形狀信息進(jìn)行比較，從而檢測(cè)出所述對(duì)象物的變化。
[0030]發(fā)明效果
[0031]本發(fā)明實(shí)現(xiàn)了能夠迅速且正確地檢測(cè)出車輛周邊的對(duì)象物的變化的效果。
【專利附圖】

【附圖說明】
[0032]圖1為表示本發(fā)明所涉及的對(duì)象物變化檢測(cè)裝置的結(jié)構(gòu)的一個(gè)示例的框圖。
[0033]圖2為表示實(shí)施方式I所涉及的對(duì)象物變化檢測(cè)處理的一個(gè)示例的流程圖。
[0034]圖3為表示實(shí)施方式I所涉及的變化檢測(cè)用圖表的一個(gè)示例的圖。
[0035]圖4為表示實(shí)施方式2所涉及的對(duì)象物變化檢測(cè)處理的一個(gè)示例的流程圖。
[0036]圖5為表示實(shí)施方式2所涉及的對(duì)象物圖像區(qū)域和處理對(duì)象區(qū)域的一個(gè)示例的圖。
[0037]圖6為表示實(shí)施方式3所涉及的對(duì)象物變化檢測(cè)處理的一個(gè)示例的流程圖。
[0038]圖7為表示實(shí)施方式3所涉及的變化檢測(cè)用圖表的一個(gè)示例的圖。
[0039]圖8為表示實(shí)施方式4所涉及的對(duì)象物變化檢測(cè)處理的一個(gè)示例的流程圖。
[0040]圖9為表示實(shí)施方式4所涉及的變化檢測(cè)用圖表的一個(gè)示例的圖?！揪唧w實(shí)施方式】
[0041]以下，根據(jù)附圖，對(duì)本發(fā)明所涉及的對(duì)象物變化檢測(cè)裝置及對(duì)象物變化檢測(cè)方法的實(shí)施方式詳細(xì)地進(jìn)行說明。另外，并不是根據(jù)該實(shí)施方式而限定該發(fā)明。此外，在下述的實(shí)施方式中的構(gòu)成要素中，包含有本領(lǐng)域技術(shù)人員能夠容易設(shè)想到的方式，或者實(shí)質(zhì)上相同的方式。
[0042]參照?qǐng)D1，對(duì)于本發(fā)明所涉及的對(duì)象物變化檢測(cè)裝置的結(jié)構(gòu)進(jìn)行說明。圖1為表示本發(fā)明所涉及的對(duì)象物變化檢測(cè)裝置的結(jié)構(gòu)的一個(gè)示例的框圖。
[0043]如圖1所示，對(duì)象物變化檢測(cè)裝置I為，例如通過使用被搭載于車輛上的汽車控制用計(jì)算機(jī)等而構(gòu)成的裝置，并且以可通信的方式與被搭載于車輛上的攝像機(jī)2進(jìn)行連接。攝像機(jī)2為，對(duì)本車輛周邊進(jìn)行拍攝，從而生成拍攝有本車輛周邊的圖像數(shù)據(jù)的設(shè)備。攝相機(jī)2例如為能夠在可視光區(qū)域或紅外線區(qū)域進(jìn)行拍攝的CCD (電荷耦合器件)攝像機(jī)或者CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)攝像機(jī)等。攝像機(jī)2被設(shè)置在能夠?qū)囕v的前方、側(cè)方、后方等的車輛周邊進(jìn)行攝像的任意的位置上。
[0044]對(duì)象物變化檢測(cè)裝置I具備控制部12和存儲(chǔ)部14?？刂撇?2為總體地控制對(duì)象物變化檢測(cè)裝置I的構(gòu)件，例如為CPU (Central Processing Unit:中央處理器)等。存儲(chǔ)部14為用于存儲(chǔ)數(shù)據(jù)的構(gòu)件，例如為RAM (Random Access Memory:隨機(jī)存取存儲(chǔ)器)、R0M(Read Only Memory:只讀存儲(chǔ)器)、或者硬盤等。
[0045]存儲(chǔ)部14具備形狀信息存儲(chǔ)部14a、處理對(duì)象區(qū)域存儲(chǔ)部14b、形狀變化信息存儲(chǔ)部14c、平均化形狀變化信息存儲(chǔ)部14d。
[0046]形狀信息存儲(chǔ)部14a為存儲(chǔ)從圖像數(shù)據(jù)中提取出的對(duì)象物的形狀信息的形狀信息存儲(chǔ)單元。對(duì)象物包含存在于本車輛周邊的、行人、自行車、摩托車、車輛等的移動(dòng)物體中的至少一個(gè)。此外，對(duì)象物可以為車輛的門等的對(duì)象物的一部分。形狀信息為表示對(duì)象物的形狀的特征量的數(shù)據(jù)。另外，特征量并不限定于此，而是包含使用圖像數(shù)據(jù)的亮度自身的第一特征量、使用圖像數(shù)據(jù)的邊緣的第二特征量、以及使用圖像數(shù)據(jù)的顏色的第三特征量中的至少一個(gè)。第一特征量例如包含亮度、亮度的PCA (主元分析)、Hu矩、LBP (垂直線間長(zhǎng)度)、Haarlikefeature (哈爾特征)以及poselet中的至少一個(gè)。第二特征量例如包含SIFT(尺度不變特征變換)、PCA (主元分析)、SURF (加速穩(wěn)健特征)、GOLH (梯度定位與方向直方圖)、shape context (形狀上下文)、H0G (梯度方向直方圖)、CoHOG (共生梯度方向直方圖)、FIND (特征交互描述信息)以及edgelet (小邊特征)中的至少一個(gè)。第三特征量例如包含RGB以及Lab中的至少一個(gè)。
[0047]處理對(duì)象區(qū)域存儲(chǔ)部14b為，存儲(chǔ)與包含對(duì)象物的圖像數(shù)據(jù)的圖像區(qū)域的一部分相對(duì)應(yīng)的處理對(duì)象區(qū)域的處理對(duì)象區(qū)域存儲(chǔ)單元。形狀變化信息儲(chǔ)存部14c為，存儲(chǔ)表示預(yù)定時(shí)間內(nèi)的形狀信息的時(shí)間變化的形狀變化信息的形狀變化信息存儲(chǔ)單元。平均化形狀變化信息存儲(chǔ)部14d為，存儲(chǔ)表示形狀變化信息的平均的平均化形狀變化信息的平均化形狀變化信息存儲(chǔ)單元。
[0048]控制部12具備對(duì)象物檢測(cè)部12a、處理對(duì)象區(qū)域提取部12b、形狀信息獲取部12c、正態(tài)化部12d、形狀信息保存部12e、形狀變化信息獲取部12f、形狀變化信息保存部12g、形狀變化平均化部12h以及對(duì)象物變化檢測(cè)部12i。[0049]對(duì)象物檢測(cè)部12a為根據(jù)圖像而檢測(cè)出對(duì)象物的對(duì)象物檢測(cè)單元。對(duì)象物檢測(cè)部12a通過使用預(yù)先被存儲(chǔ)于存儲(chǔ)部14中的、表示對(duì)象物的形狀的概要的數(shù)據(jù)而進(jìn)行模式匹配等，從而對(duì)對(duì)象物進(jìn)行檢測(cè)。
[0050]處理對(duì)象區(qū)域提取部12b為，從包含由對(duì)象物檢測(cè)部12a檢測(cè)出的對(duì)象物的圖像區(qū)域中提取處理對(duì)象區(qū)域的處理對(duì)象區(qū)域提取單元。處理對(duì)象區(qū)域?yàn)?，?duì)于由后文所述的對(duì)象物變化檢測(cè)部12i實(shí)施的對(duì)象物的變化檢測(cè)處理而言有效的預(yù)定區(qū)域。例如，當(dāng)對(duì)象物為行人時(shí)，處理對(duì)象區(qū)域包括僅包含行人的全身或僅包含下半身的區(qū)域等。處理對(duì)象區(qū)域提取部12b可以將已提取的處理對(duì)象區(qū)域存儲(chǔ)于處理對(duì)象區(qū)域存儲(chǔ)部14b中。
[0051]形狀信息獲取部12c為，對(duì)表示由對(duì)象物檢測(cè)部12a檢測(cè)出的對(duì)象物的形狀信息的特征量分布進(jìn)行獲取的形狀信息獲取單元。具體而言，形狀信息獲取部12c使用預(yù)定的特征量而獲取由對(duì)象物檢測(cè)部12a檢測(cè)出的對(duì)象物的特征量分布。在此，預(yù)定的特征量為，作為概率分布而表不的特征量，包含上述的第一特征量、第二特征量以及第三特征量中的至少一個(gè)。此外，形狀信息獲取部12c可以從由處理對(duì)象區(qū)域提取部12b提取的處理對(duì)象區(qū)域、或者從被存儲(chǔ)于處理對(duì)象區(qū)域存儲(chǔ)部14b的處理對(duì)象區(qū)域中獲取對(duì)象物的特征量分布。
[0052]正態(tài)化部12d為，對(duì)通過由形狀信息獲取部12c獲取的特征量分布而被表示的形狀信息進(jìn)行正態(tài)化的正態(tài)化單元。具體而言，正態(tài)化部12d對(duì)由形狀信息獲取部12c獲取的特征量分布進(jìn)行正態(tài)化，從而獲取與該特征量分布相對(duì)應(yīng)的概率分布。
[0053]形狀信息保存部12e為，對(duì)通過由形狀信息獲取部12c獲取的特征量分布而被表示的形狀信息進(jìn)行保存的形狀信息保存單元。在此，形狀信息保存部12e對(duì)通過正態(tài)化部12d而正態(tài)化了的形狀信息進(jìn)行保存。具體而言，形狀信息保存部12e對(duì)由正態(tài)化部12d獲取的概率分布進(jìn)行保存。即，形狀信息保存部12e將正態(tài)化了的形狀信息(概率分布)存儲(chǔ)于形狀信息存儲(chǔ)部14a中。另外，在本實(shí)施方式中，形狀信息保存部12e可以保存由形狀信息獲取部12c獲取的正態(tài)化前的特征量分布。
[0054]形狀變化信息獲取部12f為,通過使用由形狀信息保存部12e所保存的完成正態(tài)化的形狀信息、即被存儲(chǔ)于形狀信息存儲(chǔ)部14a中的概率分布，從而將預(yù)定時(shí)間前的概率分布和當(dāng)前的概率分布之間的差值作為對(duì)象物的形狀變化信息而獲取的形狀變化信息獲取單元。
[0055]形狀變化信息保存部12g為保存由形狀變化信息獲取部12f獲取的形狀變化信息的形狀變化信息保存單元。即，形狀變化信息保存部12g將已獲取的形狀變化信息存儲(chǔ)于形狀變化信息存儲(chǔ)部14c中。
[0056]形狀變化平均化部12h為通過使由形狀變化信息保存部12g保存了的多個(gè)形狀變化信息、即被存儲(chǔ)于形狀變化信息存儲(chǔ)部14c中的形狀變化信息平均化，從而獲取平均化形狀變化信息的形狀變化平均化單元。形狀變化平均化部12h可以將已獲取的平均化形狀變化信息存儲(chǔ)于平均化形狀變化信息存儲(chǔ)部14d中。
[0057]對(duì)象物變化檢測(cè)部12i為，通過使用由形狀信息保存部12e保存的形狀信息、即被存儲(chǔ)于形狀信息存儲(chǔ)部14a中的形狀信息，而對(duì)預(yù)定時(shí)間前的形狀信息和當(dāng)前的形狀信息進(jìn)行比較，從而對(duì)對(duì)象物的變化進(jìn)行檢測(cè)的對(duì)象物變化檢測(cè)單元。對(duì)象物的變化意味著交通環(huán)境中的對(duì)象物的危險(xiǎn)的變化，包含對(duì)象物的運(yùn)動(dòng)變化開始時(shí)的形狀的變化。雖然作為對(duì)象物的變化并不限定于此，但是，例如包含像行人或自行車突然改變動(dòng)向而出現(xiàn)在當(dāng)前路線上這樣的變化、并行車車輛或摩托車突然變更車道并并入本車道這樣的變化、前方車輛突然開始掉頭這樣的變化、前方車輛為了進(jìn)入道路旁邊的店鋪等而突然開始左右轉(zhuǎn)彎這樣的變化、以及泊車車輛的車門突然打開這樣的變化等。
[0058]具體而言，對(duì)象物變化檢測(cè)部12i使用預(yù)定的尺度而對(duì)被存儲(chǔ)于形狀信息存儲(chǔ)部14a中的預(yù)定時(shí)間前的概率分布和當(dāng)前的概率分布之間的差值進(jìn)行計(jì)算，當(dāng)所計(jì)算出的差值大于預(yù)定的閾值時(shí)，檢測(cè)出對(duì)象物的變化。預(yù)定的尺度是指，以距離或偽距離來計(jì)測(cè)概率分布間的差值異的尺度。距離雖然并不限于此，但是包含Lp norm、例如Llnorm (曼哈頓距離)、L2norm (歐幾里得距離)、L infinity norm (一致范數(shù))等。此外，距離可以包括馬氏距離。當(dāng)使用該馬氏距離時(shí)，優(yōu)選為從過去的多個(gè)矢量P (t)中制作出分布。此外，距離可以包含漢明距離。當(dāng)使用該漢明距離時(shí)，優(yōu)選為在某種程度上使數(shù)值離散化。此外，偽距離雖然并不限于此，但是包含K-L散信息量(Kullback-Leibler divergence)(以下稱為KL信息量)。在此，KL信息量是指對(duì)兩個(gè)概率分布P、Q間的差異進(jìn)行計(jì)測(cè)的尺度，在信息理論領(lǐng)域中是眾所周知的。
[0059]另外，在本實(shí)施方式中，也可以采用如下方式，S卩，在通過形狀信息保存部12e而保存了正態(tài)化前的特征量分布時(shí)，對(duì)象物變化檢測(cè)部12i分別對(duì)被存儲(chǔ)于形狀信息存儲(chǔ)部14a中的預(yù)定時(shí)間前的特征量分布以及當(dāng)前的特征量分布進(jìn)行正態(tài)化，并分別獲取與該預(yù)定時(shí)間前的特征量分布及該當(dāng)前的特征量分布相對(duì)應(yīng)的概率分布，使用預(yù)定的尺度而對(duì)已獲取的預(yù)定時(shí)間前的概率分布和當(dāng)前的概率分布之間的差值進(jìn)行計(jì)算，在所計(jì)算出的差值大于預(yù)定的閾值時(shí)，檢測(cè)出對(duì)象物的變化。
[0060]在此，對(duì)象物變化檢測(cè)部12i可以使用由形狀變化信息保存部12g保存的形狀變化信息、即被存儲(chǔ)于形狀變化信息存儲(chǔ)部14c中的形狀變化信息而對(duì)相似度進(jìn)行計(jì)算，在該相似度小于預(yù)定的閾值時(shí)，檢測(cè)出對(duì)象物的變化。相似度并不限于此，而是包含余弦相似度等。此外，對(duì)象物變化檢測(cè)部12i可以使用由形狀變化平均化部12h獲取的平均化形狀變化信息、或者被存儲(chǔ)于平均化形狀變化信息存儲(chǔ)部14d中的平均化形狀變化信息而對(duì)相似度進(jìn)行計(jì)算，在該相似度小于預(yù)定的閾值時(shí)，檢測(cè)出對(duì)象物的變化。
[0061]接下來，參照?qǐng)D2至圖9，對(duì)在上述的對(duì)象物變化檢測(cè)裝置I中被執(zhí)行的對(duì)象物變化檢測(cè)處理進(jìn)行說明。以下，按照實(shí)施方式I?4的順序，對(duì)在本發(fā)明中的對(duì)象物變化檢測(cè)裝置I中被執(zhí)行的對(duì)象物變化檢測(cè)處理進(jìn)行說明。另外，在以下的對(duì)象物變化檢測(cè)處理中，作為存在于車輛周邊的對(duì)象物，雖然以行人為一個(gè)示例進(jìn)行說明，但是并不限定于此。此夕卜，作為表示對(duì)象物的形狀的特征量，雖然以SIFT特征量為一個(gè)示例進(jìn)行說明，但是并不限于此。此外，作為計(jì)測(cè)概率分布P、Q間的差值異的尺度，雖然以KL信息量為一個(gè)示例進(jìn)行說明，但是并不限于此。
[0062][實(shí)施方式I]
[0063]在實(shí)施方式I中，參照?qǐng)D2及圖3，對(duì)在如下的對(duì)象物變化檢測(cè)裝置I中被執(zhí)行的對(duì)象物變化檢測(cè)處理進(jìn)行說明，所述對(duì)象物變化檢測(cè)裝置I具備對(duì)象物檢測(cè)部12a、形狀信息獲取部12c、正態(tài)化部12d、形狀信息保存部12e、對(duì)象物變化檢測(cè)部12i。圖2為表示實(shí)施方式I所涉及的對(duì)象物變化檢測(cè)處理的一個(gè)示例的流程圖。圖3為表示實(shí)施方式I所涉及的變化檢測(cè)用圖表的一個(gè)示例的圖。[0064]如圖2所示，首先，對(duì)象物變化檢測(cè)裝置I的控制部12從攝像機(jī)2中獲取拍攝有本車輛周邊的圖像數(shù)據(jù)(步驟SAl )。
[0065]接下來，對(duì)象物變化檢測(cè)裝置I的對(duì)象物檢測(cè)部12a從在步驟SAl中獲取的圖像數(shù)據(jù)中作為對(duì)象物而對(duì)行人進(jìn)行檢測(cè)(步驟SA2)。例如，對(duì)象物檢測(cè)部12a使用預(yù)先被存儲(chǔ)于存儲(chǔ)部14中的、表示行人等的對(duì)象物的形狀的概要的數(shù)據(jù)而進(jìn)行模式匹配等，從而檢測(cè)出對(duì)象物。
[0066]接下來，對(duì)象物變化檢測(cè)裝置I的形狀信息獲取部12c獲取表示在步驟SA2中檢測(cè)出的對(duì)象物的形狀信息的特征量分布(步驟SA3)。具體而言，形狀信息獲取部12c從在步驟SA2中檢測(cè)出的對(duì)象物中，實(shí)施作為表示形狀信息的特征量分布V (t)的SIFT特征量的計(jì)算。在此，SIFT特征量作為表示形狀的特征量而在圖像識(shí)別區(qū)域等中被眾所周知。此外，SIFT特征量由于用直方圖來表示在包含對(duì)象物的圖像數(shù)據(jù)的哪個(gè)部分分布有哪個(gè)朝向的邊緣，因此作為概率分布而表示。
[0067]接下來，正態(tài)化部12d像表示下述的數(shù)學(xué)式(I)那樣，將在步驟SA3中獲取的特征量分布V (t)的Llnorm正態(tài)化為I,并獲取特征量(概率分布)P (t)(步驟SA4)。
[0068][公式1]
[0069]SiIpiU) |=1 …數(shù)學(xué)式(I)
[0070]接下來，對(duì)象物變化檢測(cè)裝置I的形狀信息保存部12e將在步驟SA4中獲取的形狀信息保存在形狀信息存儲(chǔ)部14a中(步驟SA5)。即，形狀信息保存部12e進(jìn)行在步驟SA4中正態(tài)化了的特征量(概率分布)P (t)的保存。
[0071]接下來，如下述的數(shù)學(xué)式(2)所示，對(duì)象物變化檢測(cè)裝置I的控制部12從在步驟SA5中保存的特征量(概率分布)P (t)中，進(jìn)行η幀前的特征量和當(dāng)前的特征量之間的差值d (t，n)的計(jì)算(步驟SA6)。如下述的數(shù)學(xué)式(3)所示，控制部12使用KL信息量而進(jìn)行差值d (t, η)的計(jì)算。
[0072][公式2]
【權(quán)利要求】
1.一種對(duì)象物變化檢測(cè)裝置，其特征在于，具備: 對(duì)象物檢測(cè)單元，其根據(jù)圖像來檢測(cè)對(duì)象物； 形狀信息獲取單元，其獲取表示由所述對(duì)象物檢測(cè)單元檢測(cè)到的所述對(duì)象物的形狀信息的特征量分布； 形狀信息保存單元，其保存通過由所述形狀信息獲取單元獲取的所述特征量分布而被表示的所述形狀信息； 對(duì)象物變化檢測(cè)單元，其使用由所述形狀信息保存單元所保存的所述形狀信息，而對(duì)預(yù)定時(shí)間前的所述形狀信息和當(dāng)前的所述形狀信息進(jìn)行比較，從而檢測(cè)出所述對(duì)象物的變化。
2.如權(quán)利要求1所述的對(duì)象物變化檢測(cè)裝置，其特征在于， 還具備正態(tài)化單元，其對(duì)通過由所述形狀信息獲取單元所獲取的所述特征量分布而被表示的所述形狀信息進(jìn)行正態(tài)化， 所述形狀信息保存單元保存由所述正態(tài)化單元所正態(tài)化了的所述形狀信息。
3.如權(quán)利要求2所述的對(duì)象物變化檢測(cè)裝置，其特征在于， 所述形狀信息獲取單元通過使用預(yù)定的特征量而獲取由所述對(duì)象物檢測(cè)單元所檢測(cè)到的所述對(duì)象物的所述特征量分布， 所述正態(tài)化單元對(duì)由所述形狀信息獲取單元所獲取的所述特征量分布進(jìn)行正態(tài)化，并獲取與該特征量分布相對(duì)應(yīng)的概率分布， 所述形狀信息保存單元保存由所述正態(tài)化單元所獲取的所述概率分布， 所述對(duì)象物變化檢測(cè)單元使用預(yù)定的尺度，而對(duì)由所述形狀信息保存單元所保存的預(yù)定時(shí)間前的所述概率分布與當(dāng)前的所述概率分布之間的差值進(jìn)行計(jì)算，在計(jì)算出的差值大于預(yù)定的閾值的情況下，檢測(cè)出所述對(duì)象物的變化。
4.如權(quán)利要求1所述的對(duì)象物變化檢測(cè)裝置，其特征在于， 還具備處理對(duì)象區(qū)域提取單元，其從包含由所述對(duì)象物檢測(cè)單元所檢測(cè)到的所述對(duì)象物在內(nèi)的圖像區(qū)域中提取處理對(duì)象區(qū)域， 所述形狀信息獲取單元從由所述處理對(duì)象區(qū)域提取單元所提取出的所述處理對(duì)象區(qū)域中，獲取所述對(duì)象物的所述特征量分布。
5.如權(quán)利要求3或4所述的對(duì)象物變化檢測(cè)裝置，其特征在于， 還具備: 形狀變化信息獲取單元，其使用由所述形狀信息保存單元所保存的所述概率分布，來獲取所述預(yù)定時(shí)間前的所述概率分布與當(dāng)前的所述概率分布之間的差值，以作為所述對(duì)象物的形狀變化信息； 形狀變化信息保存單元，其保存由所述形狀變化信息獲取單元所獲取的所述形狀變化信息， 所述對(duì)象物變化檢測(cè)單元使用由所述形狀變化信息保存單元所保存的所述形狀變化信息來計(jì)算相似度，在該相似度小于預(yù)定的閾值的情況下，檢測(cè)出所述對(duì)象物的變化。
6.如權(quán)利要求5所述的對(duì)象物變化檢測(cè)裝置，其特征在于， 還具備形狀變化平均化單元，其對(duì)由所述形狀變化信息保存單元所保存的多個(gè)所述形狀變化信息進(jìn)行平均化，以獲取平均化形狀變化信息，所述對(duì)象物變化檢測(cè)單元使用由所述形狀變化平均化單元所獲取的平均化形狀變化信息來計(jì)算所述相似度，在該相似度小于所述預(yù)定的閾值的情況下，檢測(cè)出所述對(duì)象物的變化。
7.如權(quán)利要求3所述的對(duì)象物變化檢測(cè)裝置，其特征在于， 所述預(yù)定的特征量是表示為概率分布的特征量， 并包括使用圖像的亮度本身的第一特征量、使用圖像的邊緣的第二特征量以及使用圖像的顏色的第三特征量中的至少一個(gè)。
8.如權(quán)利要求7所述的對(duì)象物變化檢測(cè)裝置，其特征在于， 所述第一特征量包括亮度、亮度的主元分析、Hu矩、垂直線間長(zhǎng)度、哈爾特征以及poselet中的至少一個(gè)， 第二特征量包括尺度不變特征變換、主元分析、加速穩(wěn)健特征、梯度定位與方向直方圖、形狀上下文、梯度方向直方圖、共生梯度方向直方圖、特征交互描述信息以及小邊特征中至少一個(gè)， 第三特征量包括RGB以及Lab中的至少一個(gè)。
9.如權(quán)利要求3所述的對(duì)象物變化檢測(cè)裝置，其特征在于， 所述預(yù)定的尺度是使 用距離或偽距離來計(jì)測(cè)概率分布間的差異的尺度。
10.如權(quán)利要求9所述的對(duì)象物變化檢測(cè)裝置，其特征在于， 所述距離包括曼哈頓距離、歐幾里得距離、一致范數(shù)、馬氏距離、漢明距離中的至少一種， 所述偽距離包括K-L散信息量。
11.如權(quán)利要求6所述的對(duì)象物變化檢測(cè)裝置，其特征在于， 所述相似度包括余弦相似度。
12.—種對(duì)象物變化檢測(cè)方法，其特征在于，包括如下步驟: 對(duì)象物檢測(cè)步驟，根據(jù)圖像來檢測(cè)對(duì)象物； 形狀信息獲取步驟，獲取表示在所述對(duì)象物檢測(cè)步驟中檢測(cè)到的所述對(duì)象物的形狀信息的特征量分布； 形狀信息保存步驟，保存通過在所述形狀信息獲取步驟中獲取的所述特征量分布而被表示的所述形狀信息； 對(duì)象物變化檢測(cè)步驟，使用在所述形狀信息保存步驟中保存的所述形狀信息，而對(duì)預(yù)定時(shí)間前的所述形狀信息和當(dāng)前的所述形狀信息進(jìn)行比較，從而檢測(cè)出所述對(duì)象物的變化。
【文檔編號(hào)】G08B25/00GK103814401SQ201180073587
【公開日】2014年5月21日 申請(qǐng)日期:2011年9月20日 優(yōu)先權(quán)日:2011年9月20日
【發(fā)明者】小川雅弘, 金道敏樹, 船山竜士, 深町映夫 申請(qǐng)人:豐田自動(dòng)車株式會(huì)社