本發(fā)明涉及用于檢測在車輛的周圍存在的檢測對象物體的裝置以及計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

已經(jīng)提出有很多用于檢測在車輛的周圍存在的行人等檢測對象物體(target object)的裝置。例如，作為執(zhí)行這樣的方法的裝置的一個例子，有專利文獻(xiàn)1所公開的裝置。該裝置求出表示對檢測對象物體的形狀進(jìn)行檢測時(shí)的檢測難易的指標(biāo)。上述指標(biāo)的值越低、即檢測對象物體的形狀越難以檢測，該裝置將用于將從車輛周圍檢測出的物體判定為檢測對象物體的閾值設(shè)定得越小。由此，能夠提高檢測對象物體的檢測率。

專利文獻(xiàn)1：日本專利4937029號公報(bào)

上述專利文獻(xiàn)1所公開的裝置使用上述閾值，來判斷從車輛周圍檢測出的物體是否是檢測對象物體。因此，若將該閾值設(shè)定得較小，則即便是從車輛周圍檢測出的、作為檢測對象物體的可靠性較低的對象物，也容易判定為是檢測對象物體。因此，存在將不是檢測對象物體的物體判定為是檢測對象物體的誤檢測增加之虞。

技術(shù)實(shí)現(xiàn)要素：

本公開的一個方式提供一種能夠應(yīng)對這樣的問題點(diǎn)的物體檢測方法及裝置、以及計(jì)算機(jī)程序產(chǎn)品。即，本公開的其他方式的目的在于，提供能夠更高精度地檢測作為在本車輛的周圍存在的檢測對象的物體的物體檢測方法及裝置、以及計(jì)算機(jī)程序產(chǎn)品。

本發(fā)明的第一方式涉及的物體檢測裝置是檢測在車輛的周圍存在的特定的種類的物體作為檢測對象物體的物體檢測裝置。該物體檢測裝置具備獲取部，該獲取部反復(fù)獲取基于成為上述檢測對象物體的候補(bǔ)的在上述車輛的周圍存在的至少一個物體候補(bǔ)的至少位置的信息。另外，物體檢測裝置具備狀態(tài)遷移部，該狀態(tài)遷移部每當(dāng)求出上述至少一個物體候補(bǔ)的信息時(shí)，就基于規(guī)定的狀態(tài)遷移條件來判斷上述至少一個物體候補(bǔ)的信息屬于基于該至少一個物體候補(bǔ)與上述檢測對象物體的關(guān)聯(lián)性而預(yù)先決定出的多個狀態(tài)中的哪個狀態(tài)，從而使該至少一個物體候補(bǔ)的信息在上述多個狀態(tài)間遷移。并且，物體檢測裝置具備判斷部，該判斷部基于表示與上述至少一個物體候補(bǔ)建立有對應(yīng)關(guān)系的狀態(tài)是如何遷移來的遷移信息，來判斷該至少一個物體候補(bǔ)是否是上述檢測對象物體。

本發(fā)明的第二方式涉及的計(jì)算機(jī)程序產(chǎn)品是用于檢測在車輛的周圍存在的特定的種類的物體作為檢測對象物體的計(jì)算機(jī)可讀取的計(jì)算機(jī)程序產(chǎn)品。該計(jì)算機(jī)程序產(chǎn)品使計(jì)算機(jī)分別執(zhí)行如下步驟：

(1)反復(fù)獲取基于成為上述檢測對象物體的候補(bǔ)的、在上述車輛的周圍存在的至少一個物體候補(bǔ)的至少位置的信息的第一步驟；

(2)每當(dāng)求出上述至少一個物體候補(bǔ)的信息時(shí)，就基于規(guī)定的狀態(tài)遷移條件來判斷上述至少一個物體候補(bǔ)的信息屬于基于該至少一個物體候補(bǔ)與上述檢測對象物體的關(guān)聯(lián)性而預(yù)先決定出的多個狀態(tài)中的哪個狀態(tài)，從而使該至少一個物體候補(bǔ)的信息在上述多個狀態(tài)間遷移的第二步驟；以及

(3)每當(dāng)求出上述至少一個物體候補(bǔ)的信息時(shí)，就基于表示與該至少一個物體候補(bǔ)建立有對應(yīng)關(guān)系的狀態(tài)是如何遷移來的遷移信息，來判斷該至少一個物體候補(bǔ)是否是上述檢測對象物體的第三步驟。

本發(fā)明的第三方式涉及的物體檢測方法是檢測在車輛的周圍存在的特定的種類的物體作為檢測對象物體的物體檢測方法。該物體檢測方法具備：

(1)反復(fù)獲取基于成為上述檢測對象物體的候補(bǔ)的、在上述車輛的周圍存在的至少一個物體候補(bǔ)的至少位置的信息的第一步驟；

(2)每當(dāng)求出上述至少一個物體候補(bǔ)的信息時(shí)，就基于規(guī)定的狀態(tài)遷移條件來判斷上述至少一個物體候補(bǔ)的信息屬于基于該至少一個物體候補(bǔ)與上述檢測對象物體的關(guān)聯(lián)性而預(yù)先決定出的多個狀態(tài)中的哪個狀態(tài)，從而使該至少一個物體候補(bǔ)的信息在上述多個狀態(tài)間遷移的第二步驟；以及

(3)每當(dāng)求出上述至少一個物體候補(bǔ)的信息時(shí)，就基于表示與該至少一個物體候補(bǔ)建立有對應(yīng)關(guān)系的狀態(tài)是如何遷移來的遷移信息，來判斷該至少一個物體候補(bǔ)是否是上述檢測對象物體的第三步驟。

本發(fā)明的第一～第三方式基于表示成為檢測對象物體的候補(bǔ)的至少一個物體候補(bǔ)的信息在基于上述至少一個物體候補(bǔ)與上述檢測對象物體的關(guān)聯(lián)性而預(yù)先決定出的多個狀態(tài)間是如何遷移的遷移信息，來判定該至少一個物體候補(bǔ)是否是檢測對象物體。因此，與以往的使用單純的閾值來判斷檢測物體是否是檢測對象物體的結(jié)構(gòu)相比，本發(fā)明的第一～第三方式能夠更高精度地對檢測對象物體進(jìn)行檢測。

附圖說明

圖1是表示本發(fā)明的實(shí)施方式涉及的物體檢測裝置的簡要結(jié)構(gòu)的框圖。

圖2是表示圖1所示的處理部的CPU所執(zhí)行的對象物體檢測處理的一個例子的流程圖。

圖3是表示由圖1所示的照相機(jī)拍攝到的幀圖像中的行人候補(bǔ)矩形的一個例子的圖。

圖4是用于對被匯集為集群矩形區(qū)域的4個行人候補(bǔ)矩形區(qū)域、以及對上述集群矩形區(qū)域賦予的第一識別信息進(jìn)行說明的圖。

圖5是用于對被匯集為集群矩形區(qū)域的4個行人候補(bǔ)矩形區(qū)域、以及對上述集群矩形區(qū)域賦予的第二識別信息進(jìn)行說明的圖。

圖6是用于對被匯集為集群矩形區(qū)域的4個行人候補(bǔ)矩形區(qū)域、以及對上述集群矩形區(qū)域賦予的第三識別信息進(jìn)行說明的圖。

圖7是用于對被匯集為集群矩形區(qū)域的4個行人候補(bǔ)矩形區(qū)域、以及對上述集群矩形區(qū)域賦予的第四識別信息進(jìn)行說明的圖。

圖8是表示通過對象物體檢測處理而得到的集群矩形區(qū)域的例子的圖。

圖9是表示處于某個跟蹤狀態(tài)的跟蹤對象集群用于遷移至其它跟蹤狀態(tài)的條件的一個例子的表。

圖10是表示多個跟蹤狀態(tài)間的狀態(tài)遷移的一個例子的圖。

圖11是表示成為跟蹤對象的多個集群矩形區(qū)域的一個例子的圖。

圖12是針對在圖11所示的多個集群矩形區(qū)域內(nèi)的一個目標(biāo)集群矩形區(qū)域中未檢測出突然出現(xiàn)信息的情況，表示該目標(biāo)集群矩形區(qū)域的跟蹤狀態(tài)的隨時(shí)間的遷移的圖。

圖13是表示成為跟蹤對象的多個集群矩形區(qū)域的一個例子的圖，是針對在該多個集群矩形區(qū)域內(nèi)的一個目標(biāo)集群矩形區(qū)域檢測出突然出現(xiàn)信息的情況表示的圖。

圖14是針對圖13所示的目標(biāo)集群矩形區(qū)域中檢測出突然出現(xiàn)信息的情況，表示該目標(biāo)集群矩形區(qū)域的跟蹤狀態(tài)的隨時(shí)間的遷移的圖。

具體實(shí)施方式

以下，結(jié)合附圖對本發(fā)明涉及的實(shí)施方式進(jìn)行說明。

[實(shí)施方式的結(jié)構(gòu)]

本發(fā)明的實(shí)施方式涉及的物體檢測裝置1例如被搭載于乘用車等車輛V。該物體檢測裝置1具備檢測在車輛V的周圍存在的行人等特定的種類的物體作為檢測對象物體(target object)的功能。如圖1所示，物體檢測裝置1具備處理部10、例如構(gòu)成拍攝部的照相機(jī)21、多個傳感器22、以及至少一個控制對象26，照相機(jī)21以及至少一個控制對象26以能夠通信的方式與處理部10連接。

照相機(jī)21能夠拍攝車輛V的周圍的至少一部分，例如從車輛V沿著該車輛V的行進(jìn)方向設(shè)定的規(guī)定的檢測區(qū)域的圖像。在本實(shí)施方式中，照相機(jī)21能夠拍攝包含車輛V行駛的道路前方的區(qū)域、以及道路前方區(qū)域的兩側(cè)的規(guī)定區(qū)域的范圍的圖像。該照相機(jī)21被構(gòu)成為以預(yù)先設(shè)定的周期(例如，30frames per second(fps：每秒幀數(shù))、即1秒鐘30幀的拍攝速率)拍攝上述檢測區(qū)域的幀圖像的公知的照相機(jī)。照相機(jī)21周期性地將拍攝到的幀圖像發(fā)送至處理部10。

多個傳感器22包括獲取車輛V的位置信息以及速度信息的公知的傳感器、獲取車輛V的周圍的物體(前行車、行人等)的位置信息以及速度信息(例如，相對于車輛V的相對速度信息)等的公知的傳感器。

至少一個控制對象26是若從處理部10發(fā)送來與檢測對象物體相關(guān)的信息，則根據(jù)需要，進(jìn)行避免該檢測對象物體與車輛V的碰撞的動作、或者使因碰撞引起的沖擊緩和的動作的設(shè)備。例如，控制對象26包含分別使車輛V的制動器以及操作轉(zhuǎn)向裝置動作的第一以及第二致動器。第一以及第二致動器分別使對應(yīng)的制動器以及操作轉(zhuǎn)向裝置動作，從而避免與檢測對象物體的碰撞，或者即使在車輛V與檢測對象物體發(fā)生了碰撞的情況下也使該碰撞時(shí)的沖擊緩和。

處理部10例如被構(gòu)成為計(jì)算機(jī)電路，具備CPU11、和ROM、RAM等存儲器12。該存儲器12例如包含有計(jì)算機(jī)、即CPU可讀取的非瞬時(shí)存儲介質(zhì)。CPU11基于儲存于存儲器12的程序、即程序命令PI，來實(shí)施后述的對象物體檢測處理等各種處理。

[本實(shí)施方式的處理]

在這樣構(gòu)成的物體檢測裝置1中，處理部10實(shí)施圖2所示的對象物體檢測處理。對象物體檢測處理從由照相機(jī)21拍攝到的幀圖像中，對檢測對象物體進(jìn)行檢測。對象物體檢測處理判斷是否存在車輛V與該檢測到的檢測對象物體發(fā)生碰撞的可能。在判斷為存在車輛V與檢測對象物體碰撞的可能性的情況下，對象物體檢測處理使控制對象26動作。

其中，本實(shí)施方式對檢測行人作為檢測對象物體的對象物體檢測處理進(jìn)行說明。本實(shí)施方式的對象物體檢測處理是例如若車輛V的電源被接通則開始，之后被反復(fù)實(shí)施的處理。

若開始對象物體檢測處理，則如圖2所示，處理部10首先實(shí)施行人候補(bǔ)提取處理以及聚類處理(S110～S140)。在該信息獲取處理中，處理部10利用照相機(jī)21周期性地進(jìn)行拍攝，并獲取從該照相機(jī)21周期性地發(fā)送來的幀圖像(S110)。接著，處理部10基于本次獲取到的幀圖像、以及在本次之前獲取到的至少1張幀圖像來進(jìn)行突然出現(xiàn)檢測處理(S120)。

作為該突然出現(xiàn)檢測方法，處理部10在步驟S120中，例如使用日本特開2014-029604號公報(bào)所記載的方法。即，處理部10使用多個幀圖像內(nèi)本次獲取到的幀圖像(例如設(shè)為I_n)、和在本次之前獲取到的至少1張幀圖像(I_n-1、I_n-2…)，在該幀圖像I_n、I_n-1、I_n-2…中提取相互對應(yīng)的多個特征點(diǎn)。處理部10計(jì)算提取出的各特征點(diǎn)中的光流。處理部10基于計(jì)算出的光流，來判斷是否存在突然出現(xiàn)至車輛V的被預(yù)測的行駛區(qū)域(例如，行駛道路上的行駛車道前方)的概率比規(guī)定值高的至少一個物體。其中，車輛V的被預(yù)測的行駛區(qū)域能夠基于本次拍攝到的幀圖像來推斷。

例如，處理部10基于計(jì)算出的光流，來求取基于該光流的例如多個物體進(jìn)入車輛V的被預(yù)測的行駛區(qū)域的角度。然后，處理部10基于該角度，求出該多個物體突然出現(xiàn)至車輛V的被預(yù)測的行駛區(qū)域的概率。

在判斷為該判斷的結(jié)果是存在突然出現(xiàn)至車輛V的被預(yù)測的行駛區(qū)域的概率比規(guī)定值高的至少一個物體的情況下，處理部10將與本次獲得的幀圖像空間對應(yīng)地設(shè)定的坐標(biāo)空間上的上述至少一個物體作為突然出現(xiàn)物體，將該突然出現(xiàn)物體的位置坐標(biāo)作為突然出現(xiàn)信息，與該突然出現(xiàn)物體的識別信息建立對應(yīng)地存儲至存儲器12。其中，上述突然出現(xiàn)物體的位置坐標(biāo)既可以是包含該突然出現(xiàn)物體整體的例如矩形區(qū)域整體的坐標(biāo)，也可以是該突然出現(xiàn)物體中的代表的一個特征點(diǎn)的位置坐標(biāo)。

此外，處理部10也能夠使用公知的圖案識別處理等，來確定幀圖像I_n、I_n-1、I_n-2…中所包含的物體的種類，并對該確定出的種類的物體，使用光流來進(jìn)行突然出現(xiàn)判定。對于該點(diǎn)而言，上述的步驟S120中所使用的突然出現(xiàn)檢測處理不用確定其種類就能夠判斷至少一個物體的突然出現(xiàn)的有無。因此，具有步驟S120中所使用的突然出現(xiàn)檢測處理能夠簡單并且高速地進(jìn)行該突然出現(xiàn)檢測處理的優(yōu)點(diǎn)。

接著，處理部10從本次獲取到的幀圖像、即本次從照相機(jī)21發(fā)送來的幀圖像中，檢測檢測對象物體的候補(bǔ)、即像行人的物體(S130)。該步驟S130的處理使用預(yù)先準(zhǔn)備的檢測方法，從本次獲得的幀圖像中，檢測對包含檢測對象物體即行人的候補(bǔ)的矩形的區(qū)域進(jìn)行表示的多個矩形區(qū)域(行人候補(bǔ)矩形區(qū)域)。

而且，處理部10在多個行人候補(bǔ)矩形區(qū)域中將位置以及/或者尺寸彼此類似的行人候補(bǔ)矩形區(qū)域的組建立關(guān)聯(lián)，匯集(聚類)為一個代表性的集群矩形區(qū)域(S140)。

其中，在本實(shí)施方式中，根據(jù)包含作為檢測對象物體的行人的多個幀圖像，預(yù)先學(xué)習(xí)各幀圖像中的表示行人的像素值的圖案、即幀圖像中的行人的特征圖像圖案，該學(xué)習(xí)圖案作為詞典文件被預(yù)先存儲于存儲器12。例如，在本實(shí)施方式中，將基于包含行人的上半身以及下半身的全身的形狀的特征圖像圖案作為詞典文件F1存儲于存儲器12。另外，例如在本實(shí)施方式中，將基于行人的上半身的形狀的特征圖像圖案作為詞典文件F2，存儲于存儲器12。并且，在本實(shí)施方式中，將基于行人的下半身的形狀的特征圖像圖案作為詞典文件F3存儲于存儲器12。

在本實(shí)施方式中，預(yù)先準(zhǔn)備有第一～第四檢測方法。本實(shí)施方式涉及的檢測方法使用上述詞典文件F1～F3內(nèi)的至少一個詞典文件，從本次獲得的幀圖像中檢測行人候補(bǔ)矩形區(qū)域。因此，例如如圖3所示，在本實(shí)施方式涉及的檢測方法中，與實(shí)際的行人P1以及P2對應(yīng)地檢測出的行人候補(bǔ)矩形區(qū)域R1(P1)～Rn(P1)以及R1(P2)～Rm(P2)的數(shù)量比對作為非行人的例如樹木、標(biāo)志誤設(shè)定的行人候補(bǔ)矩形區(qū)域RW的數(shù)量多。

其中，在詞典文件F1～F3中設(shè)定有與行人檢測相關(guān)的各自的可靠性，例如，詞典文件F1的可靠性最高，接著詞典文件F2的可靠性較高，然后是詞典文件F3的可靠性。即，使用詞典文件F1求出的某個矩形區(qū)域是與行人對應(yīng)的矩形區(qū)域的可靠性比使用詞典文件F2求出的某個矩形區(qū)域是與行人對應(yīng)的矩形區(qū)域的可靠性高。

本實(shí)施方式涉及的檢測方法在根據(jù)多個行人候補(bǔ)矩形區(qū)域求出多個集群矩形區(qū)域后，對各集群矩形區(qū)域賦予不同的識別信息。即，本實(shí)施方式涉及的檢測方法包含以下的第一～第八步驟。

第一步驟使用預(yù)先決定出的尺寸的檢測用(探索用)矩形窗在本次獲取到的幀圖像上進(jìn)行掃描、即探索。其中，在本實(shí)施方式中，本次獲取到的幀圖像上的掃描、即探索能夠使用多個探索方法來進(jìn)行。

例如，在本實(shí)施方式中，作為一個例子，能夠使用第一～第三探索方法SM1～SM3。

第一探索方法SM1在本次的幀圖像中的針對比在該本次的幀圖像之前拍攝到的幀圖像，例如緊前的幀圖像獲得的行人候補(bǔ)矩形區(qū)域及其周邊的區(qū)域上，使檢測用矩形窗每規(guī)定像素地移動并掃描，并且求出各個掃描位置上的檢測用矩形窗內(nèi)的像素值的圖案、即檢測用矩形窗內(nèi)的圖像的特征圖案。

第二探索方法SM2在本次的幀圖像之前拍攝到的幀圖像，例如緊前的幀圖像中，通過步驟S120的處理檢測出突然出現(xiàn)信息的情況下，在本次的幀圖像上的與突然出現(xiàn)信息對應(yīng)的位置及其周邊的區(qū)域上，使檢測用矩形窗每規(guī)定像素地移動并掃描，并且求出各個掃描位置上的檢測用矩形窗內(nèi)的像素值的圖案、即檢測用矩形窗內(nèi)的圖像的特征圖案。

第三探索方法SM3一邊使矩形窗在行方向以及列方向上每規(guī)定像素地交替移動一邊進(jìn)行掃描，直至使檢測用矩形窗在本次獲取到的幀圖像上，從作為初始掃描位置的其左上角部到達(dá)右下角部，并且求出各個掃描位置上的檢測用矩形窗內(nèi)的像素值的圖案、即檢測用矩形窗內(nèi)的圖像的特征圖案。

在第一～第三探索方法SM1～SM3中，設(shè)定有與行人檢測相關(guān)的各自的可靠性，例如，第一探索方法SM1的可靠性最高，接著第二探索方法SM2的可靠性較高，然后是第三探索方法SM3的可靠性。即，使用第一探索方法SM1求出的某個矩形區(qū)域是與行人對應(yīng)的矩形區(qū)域的可靠性比使用第二探索方法SM2求出的某個矩形區(qū)域是與行人對應(yīng)的矩形區(qū)域的可靠性高。

第二步驟求出在第一步驟中按檢測用矩形窗的每個掃描位置分別獲得的特征圖案與上述多個詞典文件F1～F3內(nèi)的至少一個詞典文件所包含的多個特征圖案的相似度。其中，將該相似度也稱為得分。

例如，在使用了包含行人整體的尺寸的檢測用矩形窗作為檢測用矩形窗的情況下，例如，第二步驟使用詞典文件F1來求相似度。另外，在使用了行人的上半身的尺寸的檢測用矩形窗作為檢測用矩形窗的情況下，例如，第四步驟使用詞典文件F2來求相似度。

第三步驟將在第二步驟中求出的一致度是規(guī)定的第一閾值以上的多個掃描位置上的檢測用矩形窗設(shè)為行人候補(bǔ)矩形區(qū)域。

此外，上述第一～第三步驟(對應(yīng)于步驟S130)將檢測用矩形窗的尺寸設(shè)為了規(guī)定的尺寸，但本實(shí)施方式涉及的檢測方法并不限定于此，也可以使用不同的尺寸的檢測用矩形窗。該情況下，本實(shí)施方式涉及的檢測方法對各個尺寸的檢測用矩形窗的每一個檢測用矩形窗進(jìn)行上述第一～第三步驟，從而能夠?qū)⒍鄠€檢測用矩形窗檢測為行人候補(bǔ)矩形區(qū)域。

接著，本實(shí)施方式涉及的檢測方法作為第四步驟，對在第三步驟中求出的多個行人候補(bǔ)矩形區(qū)域中彼此位置以及/或者尺寸類似的行人候補(bǔ)矩形區(qū)域的組建立關(guān)聯(lián)，并從建立了關(guān)聯(lián)的行人候補(bǔ)矩形區(qū)域中選擇一個代表性的集群矩形區(qū)域。結(jié)果，多個行人候補(bǔ)矩形區(qū)域被匯集為代表性的多個集群矩形區(qū)域(步驟S140)。

而且，本實(shí)施方式涉及的檢測方法作為第五步驟，對各集群矩形區(qū)域賦予與對應(yīng)的集群矩形區(qū)域建立有關(guān)聯(lián)的矩形區(qū)域的數(shù)量，作為第一識別信息、即似然關(guān)聯(lián)信息(步驟S145)。

例如，圖4示有被匯集為集群矩形區(qū)域CR的4個行人候補(bǔ)矩形區(qū)域R1～R4。即，對該集群矩形區(qū)域CR賦予了檢測矩形區(qū)域數(shù)量的4作為第一識別信息。

接著，本實(shí)施方式涉及的檢測方法作為第六步驟，求出與各集群矩形區(qū)域建立有關(guān)聯(lián)的多個矩形區(qū)域各自的相似度、即得分的最大值以及平均值作為最大得分以及平均得分，并賦予該最大得分以及平均得分作為針對對應(yīng)的集群矩形區(qū)域的第二識別信息、即似然關(guān)聯(lián)信息(步驟S145)。其中，在本實(shí)施方式中，使用平均得分作為第二識別信息。

得分較高的矩形區(qū)域意味著是實(shí)際上包含行人的區(qū)域的可靠性較高。

例如，圖5示有被匯集為上述集群矩形區(qū)域CR的4個行人候補(bǔ)矩形區(qū)域R1～R4、以及該行人候補(bǔ)矩形區(qū)域R1～R4各自的得分(0.9、0.1、-0.3、0.2)。即，對該集群矩形區(qū)域CR賦予最大得分0.9以及平均得分0.225作為第二識別信息。

接著，本實(shí)施方式涉及的檢測方法作為第七步驟，賦予在求取與各集群矩形區(qū)域建立有關(guān)聯(lián)的多個行人候補(bǔ)矩形區(qū)域各自的相似度時(shí)所使用的多個詞典文件中具有最大的可靠性的詞典文件，作為針對對應(yīng)的集群矩形區(qū)域的第三識別信息、即似然關(guān)聯(lián)信息(步驟S145)。

例如，圖6示有被匯集為集群矩形區(qū)域CR的4個行人候補(bǔ)矩形區(qū)域R1～R4、以及與該行人候補(bǔ)矩形區(qū)域R1～R4分別對應(yīng)的詞典文件(F1、F1、F2、F3)。即，對該集群矩形區(qū)域CR賦予具有最大的可靠性的詞典文件F1作為第三識別信息。

并且，本實(shí)施方式涉及的檢測方法作為第八步驟，賦予在分別求取與各集群矩形區(qū)域建立有關(guān)聯(lián)的多個行人候補(bǔ)矩形區(qū)域時(shí)所使用的探索方法中具有最大的可靠性的探索方法，作為針對對應(yīng)的集群矩形區(qū)域的第四識別信息、即似然關(guān)聯(lián)信息(S145)。

例如，圖7示有被匯集為集群矩形區(qū)域CR的4個行人候補(bǔ)矩形區(qū)域R1～R4、以及與該行人候補(bǔ)矩形區(qū)域R1～R4分別對應(yīng)的探索方法(SM2、SM2、SM3、SM2)。即，對該集群矩形區(qū)域CR賦予具有最大的可靠性的探索方法SM2作為第四識別信息。

其中，在上述本實(shí)施方式涉及的檢測方法中，當(dāng)按由照相機(jī)21獲得的每個幀圖像求取行人候補(bǔ)矩形區(qū)域時(shí)，能夠?qū)⒗缍鄠€可計(jì)算上述相似度(得分)的公知的識別器進(jìn)行組合來使用。作為該各識別器，例如能夠使用公知的支持向量機(jī)(SVM：Support vector machine)。另外，作為檢測用矩形窗內(nèi)的圖像的特征圖案，例如能夠使用公知的邊緣梯度的直方圖(HOG：Histograms of Oriented Edges)、即HOG特征量、Haar-like特征量等。

如上所述，處理部10通過執(zhí)行本實(shí)施方式涉及的檢測方法，在步驟S140中，對在檢測出的多個行人候補(bǔ)矩形區(qū)域中位置以及/或者尺寸彼此類似的行人候補(bǔ)矩形區(qū)域的組建立關(guān)聯(lián)，聚類成一個代表性的集群矩形區(qū)域。

若按每個組決定集群矩形區(qū)域，則處理部10將與本次的幀圖像空間對應(yīng)的坐標(biāo)空間中的各組的集群矩形區(qū)域的位置坐標(biāo)與第一～第四識別信息建立關(guān)聯(lián)而存儲至存儲器12(步驟S145)。

例如，如圖8所示，能夠?qū)⒂锰摼€框表示的被分組的多個行人候補(bǔ)矩形區(qū)域R11表示為用實(shí)線框表示的一個集群矩形區(qū)域CR11。同樣，能夠?qū)⒂锰摼€框表示的被分組的多個行人候補(bǔ)矩形區(qū)域R12表示為用實(shí)線框表示的一個集群矩形區(qū)域CR12。

接著，處理部10判斷在步驟S140中檢測出的例如多個集群矩形區(qū)域(檢測集群)與當(dāng)前正跟蹤的例如多個集群矩形區(qū)域(跟蹤對象集群)是否處于對應(yīng)關(guān)系(步驟S150)。具體而言，處理部10進(jìn)行在步驟S140中檢測出的各集群矩形區(qū)域的坐標(biāo)位置是否接近當(dāng)前正跟蹤的多個跟蹤對象集群中的某一個跟蹤對象集群的坐標(biāo)位置的處理(S150)。

在該步驟S150的判斷的結(jié)果為否的情況下(步驟S150→否)，處理部10判斷為在步驟S140中檢測出的多個集群矩形區(qū)域中，是成為新的跟蹤對象的集群矩形區(qū)域(新跟蹤對象集群)。作為該判斷的結(jié)果，本次的對象物體檢測處理、即針對本次的幀圖像的對象物體檢測處理移至步驟S400的處理。

在步驟S400中，處理部10將新跟蹤對象集群的當(dāng)前的跟蹤狀態(tài)設(shè)為新跟蹤狀態(tài)。而且，處理部10將新跟蹤狀態(tài)與該新跟蹤對象集群的識別信息以及坐標(biāo)位置建立對應(yīng)關(guān)系地存儲至存儲器12，作為新跟蹤對象集群的跟蹤狀態(tài)。接著，處理部10返回到步驟S110的處理，基于從照相機(jī)21發(fā)送來的幀圖像，執(zhí)行步驟S110～S330的處理。

另一方面，在步驟S150中第一判斷處理以及第二判斷處理雙方都為“是”的情況下(步驟S150→是)，處理部10判斷為在步驟S140中檢測出的各集群矩形區(qū)域與在前一次的對象物體檢測處理、即針對前一次的幀圖像的對象物體檢測處理中跟蹤的跟蹤對象集群對應(yīng)。作為該判斷的結(jié)果，本次的對象物體檢測處理移至步驟S160的處理。

此外，如圖9所示，作為針對集群矩形區(qū)域的跟蹤狀態(tài)，除了上述初始跟蹤狀態(tài)以外，還預(yù)先準(zhǔn)備有下面的3個狀態(tài)(跟蹤狀態(tài)A、跟蹤狀態(tài)B、跟蹤狀態(tài)C)。而且，在本實(shí)施方式中，用于將處于各跟蹤狀態(tài)的跟蹤對象集群遷移至其它跟蹤狀態(tài)的條件例如如圖9所示那樣被預(yù)先設(shè)定，例如被組裝于存儲器12內(nèi)以及/或者對象物體檢測處理的程序內(nèi)。在除了新跟蹤狀態(tài)的情況下，與跟蹤狀態(tài)A的集群矩形區(qū)域?qū)?yīng)的行人候補(bǔ)實(shí)際上是行人的可能性最高，接著，與跟蹤狀態(tài)B的集群矩形區(qū)域?qū)?yīng)的行人候補(bǔ)實(shí)際上是行人的可能性較高，與跟蹤狀態(tài)C的集群矩形區(qū)域?qū)?yīng)的行人候補(bǔ)實(shí)際上是行人的可能性被設(shè)定得比與跟蹤狀態(tài)B的集群矩形區(qū)域?qū)?yīng)的行人候補(bǔ)實(shí)際上是行人的可能性低。即，跟蹤狀態(tài)A、跟蹤狀態(tài)B、跟蹤狀態(tài)C所對應(yīng)的可能性的順序按照從高到低的順序?yàn)椋焊櫊顟B(tài)A、跟蹤狀態(tài)B、跟蹤狀態(tài)C。

如圖9所示，假定為前一次的對象物體檢測處理中是新跟蹤狀態(tài)的集群矩形區(qū)域在本次的對象物體檢測處理中，其第一識別信息的值(即，檢測矩形區(qū)域的數(shù)量，設(shè)為N)變得比第一閾值TH1大。此時(shí)，前一次的對象物體檢測處理時(shí)是新跟蹤狀態(tài)的集群矩形區(qū)域在本次的對象物體檢測處理時(shí)，被判斷為遷移至跟蹤狀態(tài)A。

同樣，假定為前一次的對象物體檢測處理中是跟蹤狀態(tài)A的集群矩形區(qū)域在本次的對象物體檢測處理中，其第一識別信息的值N比第二閾值TH2大，其第二識別信息的值(即，平均得分，設(shè)為AS)比第三閾值TH3大，并且其第三識別信息的值(即，具有最大的可靠性的詞典文件，F(xiàn))是詞典文件F3以外。此時(shí)，前一次的對象物體檢測處理時(shí)是跟蹤狀態(tài)A的集群矩形區(qū)域即使在本次的對象物體檢測處理時(shí)，也被判斷為是跟蹤狀態(tài)A(即，維持跟蹤狀態(tài)A)。

此外，如圖9所示，上述假定的條件若使用邏輯運(yùn)算符，則能夠如下表示。

(N＞TH2)& &(AS＞TH3)& &(F?。紽3)

這里，邏輯運(yùn)算符&&表示邏輯積，邏輯運(yùn)算符?。奖硎緝蛇叢幌嗟?。

另一方面，假定為前一次的對象物體檢測處理中是跟蹤狀態(tài)A的集群矩形區(qū)域在本次的對象物體檢測處理中，其第一識別信息的值N是第二閾值TH2以下、或其第二識別信息的值A(chǔ)S是第三閾值TH3以下、或者其第三識別信息的值F是詞典文件F3。此時(shí)，前一次的對象物體檢測處理時(shí)是跟蹤狀態(tài)A的集群矩形區(qū)域在本次的對象物體檢測處理時(shí)，被判斷為遷移至跟蹤狀態(tài)B。

此外，如圖9所示，上述假定的條件若使用邏輯運(yùn)算符，則能夠如下表示。

(N≤TH2)||(AS＞TH3)||(F＝＝F3)

其中，邏輯運(yùn)算符||表示邏輯和，邏輯運(yùn)算符＝＝表示兩邊相等。

另外，假定為與在前一次的對象物體檢測處理中是跟蹤狀態(tài)A的集群矩形區(qū)域?qū)?yīng)的集群矩形區(qū)域在本次的對象物體檢測處理中不存在。此時(shí)，前一次的對象物體檢測處理時(shí)是跟蹤狀態(tài)A的集群矩形區(qū)域在本次的對象物體檢測處理時(shí)，被判斷為遷移至跟蹤狀態(tài)C。

假定為前一次的對象物體檢測處理中是跟蹤狀態(tài)B的集群矩形區(qū)域在本次的對象物體檢測處理中，其第一識別信息的值比第四閾值TH4大，并且該第二識別信息的值比第五閾值TH5大。此時(shí)，前一次的對象物體檢測處理時(shí)是跟蹤狀態(tài)B的集群矩形區(qū)域在本次的對象物體檢測處理時(shí)，被判斷為遷移至跟蹤狀態(tài)A。其中，將上述條件即第一識別信息的值比第四閾值TH4大，并且其第二識別信息的值比第五閾值TH5大這一條件設(shè)為跟蹤狀態(tài)A遷移條件。

另外，前一次的對象物體檢測處理中是跟蹤狀態(tài)B的集群矩形區(qū)域在本次的對象物體檢測處理中也存在，但在不滿足上述跟蹤狀態(tài)A遷移條件的情況下，前一次的對象物體檢測處理時(shí)是跟蹤狀態(tài)B的集群矩形區(qū)域在本次的對象物體檢測處理時(shí)，也被判斷為是跟蹤狀態(tài)B(即，維持跟蹤狀態(tài)B)。

另一方面，假定為與在前一次的對象物體檢測處理中是跟蹤狀態(tài)B的集群矩形區(qū)域?qū)?yīng)的集群矩形區(qū)域在本次的對象物體檢測處理中不存在。此時(shí)，前一次的對象物體檢測處理時(shí)是跟蹤狀態(tài)B的集群矩形區(qū)域在本次的對象物體檢測處理時(shí)，被判斷為遷移至跟蹤狀態(tài)C。

在本次的對象物體檢測處理中也存在前一次的對象物體檢測處理中是跟蹤狀態(tài)C的集群矩形區(qū)域的情況下，前一次的對象物體檢測處理時(shí)是跟蹤狀態(tài)C的集群矩形區(qū)域在本次的對象物體檢測處理時(shí)，被判斷為遷移至跟蹤狀態(tài)B。

另一方面，假定為與在前一次的對象物體檢測處理中是跟蹤狀態(tài)C的集群矩形區(qū)域?qū)?yīng)的集群矩形區(qū)域在本次的對象物體檢測處理中不存在。此時(shí)，前一次的對象物體檢測處理時(shí)是跟蹤狀態(tài)C的集群矩形區(qū)域在本次的對象物體檢測處理時(shí)，也被判斷為是跟蹤狀態(tài)C(即，維持跟蹤狀態(tài)C)。

其中，新跟蹤狀態(tài)是在通過步驟S140檢測出的集群矩形區(qū)域被判斷為是新跟蹤對象集群的情況下，被設(shè)定為該新跟蹤對象集群的特殊的狀態(tài)。

此外，第二閾值TH2被設(shè)定為比第一以及第四閾值TH1以及TH4大的值，另外，第四閾值TH4被設(shè)定為比第一閾值TH1大的值。另外，第三閾值TH3被設(shè)定為比第五閾值TH5大的值。

另外，如圖9所示，處于各跟蹤狀態(tài)的跟蹤對象集群被設(shè)定為若滿足對應(yīng)的規(guī)定的條件則消失。即，若處于各跟蹤狀態(tài)的跟蹤對象集群滿足對應(yīng)的規(guī)定的條件，則針對該跟蹤對象集群的跟蹤結(jié)束。

例如，假定為前一次的對象物體檢測處理中是新跟蹤狀態(tài)的集群矩形區(qū)域在本次的對象物體檢測處理中，其第一識別信息的值為第一閾值TH1以下。此時(shí)，前一次的對象物體檢測處理時(shí)是新跟蹤狀態(tài)的集群矩形區(qū)域在本次的對象物體檢測處理時(shí)，被判斷為消失。

另外，假定為在過去4次的針對幀圖像的對象物體檢測處理(過去4次對象物體檢測處理)中被判斷為是跟蹤狀態(tài)B或者跟蹤狀態(tài)C、并且在前一次的針對幀圖像的對象物體檢測處理中被判斷為是跟蹤狀態(tài)B的集群矩形區(qū)域在本次的對象物體檢測處理中，還是跟蹤狀態(tài)B或跟蹤狀態(tài)C。此時(shí)，前一次的對象物體檢測處理時(shí)是跟蹤狀態(tài)B的集群矩形區(qū)域在本次的對象物體檢測處理時(shí)，被判斷為消失。

進(jìn)而，假定為前一次的針對幀圖像的對象物體檢測處理中被判斷為是跟蹤狀態(tài)C的集群矩形區(qū)域在本次的對象物體檢測處理中還是跟蹤狀態(tài)C。此時(shí)，前一次的對象物體檢測處理時(shí)是跟蹤狀態(tài)C的集群矩形區(qū)域在本次的對象物體檢測處理時(shí)，被判斷為消失了。

圖10是表示上述的跟蹤狀態(tài)(新跟蹤狀態(tài)、跟蹤狀態(tài)A、跟蹤狀態(tài)B、跟蹤狀態(tài)C、消失)期間的狀態(tài)遷移的一個例子的圖。

其中，在本實(shí)施方式中，在處于各跟蹤狀態(tài)的跟蹤對象集群進(jìn)行狀態(tài)遷移的情況下，朝向可能性為上位的跟蹤狀態(tài)的遷移條件被嚴(yán)格設(shè)定，朝向可能性為下位的跟蹤狀態(tài)的遷移條件被寬松設(shè)定。

并且，在本實(shí)施方式中，假定為過去2次的針對幀圖像的對象物體檢測處理中被判斷為跟蹤狀態(tài)A的集群矩形區(qū)域在本次的對象物體檢測處理中還是跟蹤狀態(tài)A。即，構(gòu)成為在持續(xù)3次針對幀圖像的對象物體檢測處理中集群矩形區(qū)域被判斷為跟蹤狀態(tài)A的情況下，與該集群矩形區(qū)域?qū)?yīng)的行人候補(bǔ)被確定為是行人(參照后述的步驟S260)。其中，將在該持續(xù)3次針對幀圖像的對象物體檢測處理中集群矩形區(qū)域被判斷為跟蹤狀態(tài)A這一條件、即基于對應(yīng)的集群矩形區(qū)域的行人候補(bǔ)被確定為行人的條件(判定條件)設(shè)為行人確定條件。此時(shí)，將上述跟蹤狀態(tài)A持續(xù)的次數(shù)即3次設(shè)為對象物體檢測處理中的次數(shù)閾值。

另外，在處于各跟蹤狀態(tài)的跟蹤對象集群進(jìn)行狀態(tài)遷移的情況下，設(shè)定為可能性朝向上位的遷移只能逐個階段地進(jìn)行，另一方面，對于可能性朝向下位的遷移而言，能夠無限制地遷移。

例如，在步驟S140中檢測出多個集群矩形區(qū)域的情況下，處理部10對每個該集群矩形區(qū)域，執(zhí)行步驟S160～S330的處理。以下，將在步驟S140中檢測出的多個集群矩形區(qū)域中的一個集群區(qū)域設(shè)為目標(biāo)集群矩形區(qū)域，對針對該目標(biāo)集群矩形區(qū)域的步驟S160～S330的處理進(jìn)行說明。

在步驟S160中，處理部10從存儲器12讀出目標(biāo)集群矩形區(qū)域的第一～第四識別信息。接著，在步驟S170中，處理部10從存儲器12讀出與目標(biāo)集群矩形區(qū)域?qū)?yīng)的跟蹤對象集群中的、在前一次的對象物體檢測處理的后述的步驟S250中被更新并存儲于存儲器12的跟蹤狀態(tài)、以及該跟蹤狀態(tài)的持續(xù)次數(shù)。

接著，處理部10對目標(biāo)集群矩形區(qū)域判斷是否設(shè)定有突然出現(xiàn)信息(步驟S210)。

即，處理部10對目標(biāo)集群矩形區(qū)域的位置坐標(biāo)、和在步驟S120中檢測出并存儲于存儲器12的突然出現(xiàn)物體的突然出現(xiàn)信息中的位置坐標(biāo)進(jìn)行比較，并基于該比較結(jié)果，來判斷在目標(biāo)集群矩形區(qū)域的位置坐標(biāo)與被存儲于存儲器12的突然出現(xiàn)物體的突然出現(xiàn)信息之間是否有相關(guān)關(guān)系。

作為該比較的結(jié)果，在目標(biāo)集群矩形區(qū)域的位置坐標(biāo)與被存儲于存儲器12的突然出現(xiàn)物體的突然出現(xiàn)信息沒有相關(guān)關(guān)系的情況下(步驟S210的判斷的結(jié)果為“否”)，對象物體檢測處理移至后述的步驟S230的處理。

另一方面，作為上述比較的結(jié)果，在目標(biāo)集群矩形區(qū)域的位置坐標(biāo)與被存儲于存儲器12的至少一個物體的突然出現(xiàn)信息之間有相關(guān)關(guān)系的情況下(步驟S210的判斷的結(jié)果為“是”)，處理部10判定為與目標(biāo)集群矩形區(qū)域?qū)?yīng)的行人候補(bǔ)是突然出現(xiàn)物體。而且，處理部10對用于使目標(biāo)集群矩形區(qū)域的跟蹤狀態(tài)遷移的遷移條件以及/或者針對目標(biāo)集群矩形區(qū)域的行人確定條件進(jìn)行變更(步驟S220)。

例如，在判定為與目標(biāo)集群矩形區(qū)域?qū)?yīng)的行人候補(bǔ)是突然出現(xiàn)物體的情況下，處理部10對用于使目標(biāo)集群矩形區(qū)域的跟蹤狀態(tài)遷移的遷移條件以及/或者針對目標(biāo)集群矩形區(qū)域的行人確定條件進(jìn)行變更，以使其變得比當(dāng)前的條件寬松、即容易判定為行人(步驟S220)。具體而言，處理部10將上述的第一～第五閾值TH1～TH5變更為較小的值、或者將上述行人確定條件的閾值從預(yù)先決定的值(3次)變更為較小的值(步驟S220)。

其中，步驟S220的處理僅在步驟S210的判斷處理中判定為肯定的情況下執(zhí)行。即，即使在前一次的針對幀圖像的對象物體檢測處理中步驟S210為肯定而執(zhí)行了步驟S220的處理的情況下，當(dāng)在本次的針對幀圖像的對象物體檢測處理中步驟S210為否定時(shí)，用于使目標(biāo)集群矩形區(qū)域的跟蹤狀態(tài)遷移的遷移條件以及/或者針對目標(biāo)集群矩形區(qū)域的行人確定條件的值也成為變更前的值。

接著，處理部10基于在步驟S160中讀出的目標(biāo)集群矩形區(qū)域的第一～第四識別信息、以及在步驟S170中讀出的與目標(biāo)集群矩形區(qū)域?qū)?yīng)的跟蹤對象集群的跟蹤狀態(tài)(即，前一次的跟蹤狀態(tài))，來判斷目標(biāo)集群矩形區(qū)域的第一～第四識別信息的至少一部分是否滿足前一次的跟蹤狀態(tài)中的遷移條件(步驟S230)。

例如，如上所述，處理部10在前一次的跟蹤狀態(tài)是跟蹤狀態(tài)A～C的某一個的情況下，判斷目標(biāo)集群矩形區(qū)域的第一～第三識別信息、或者第一以及第二識別信息是否滿足與該前一次的跟蹤狀態(tài)對應(yīng)的遷移條件(參照圖9)(步驟S230)。

其中，在圖9中，與前一次的跟蹤狀態(tài)對應(yīng)的遷移條件(參照圖9)基于目標(biāo)集群矩形區(qū)域的第一～第三識別信息、或者第一以及第二識別信息來設(shè)定，但本發(fā)明并不限定于上述。即，在本發(fā)明中，能夠使用目標(biāo)集群矩形區(qū)域的第一～第四識別信息內(nèi)的至少一個識別信息來設(shè)定與前一次的跟蹤狀態(tài)對應(yīng)的遷移條件(參照圖9)。另外，作為第二識別信息，也可以不是平均得分，而使用最大得分。

另外，如上所述，處理部10在前一次的跟蹤狀態(tài)是新跟蹤狀態(tài)的情況下，判斷目標(biāo)集群矩形區(qū)域的第一識別信息是否滿足與該前一次的跟蹤狀態(tài)對應(yīng)的遷移條件(參照圖9)(步驟S230)。

在目標(biāo)集群矩形區(qū)域的第一～第四識別信息的至少一部分部不滿足前一次的跟蹤狀態(tài)中的遷移條件的情況下(步驟S230的判斷的結(jié)果為“否”)，對象物體檢測處理移至后述的步驟S250的處理。另一方面，在目標(biāo)集群矩形區(qū)域的第一～第四識別信息的至少一部分滿足前一次的跟蹤狀態(tài)中的遷移條件的情況下(步驟S230的判斷的結(jié)果為“是”)，處理部10將目標(biāo)集群矩形區(qū)域的本次的跟蹤狀態(tài)從前一次的跟蹤狀態(tài)變更為與上述遷移條件對應(yīng)的跟蹤狀態(tài)(步驟S240)。

接著，處理部10對目標(biāo)集群矩形區(qū)域的本次的跟蹤狀態(tài)的持續(xù)次數(shù)進(jìn)行更新(步驟S250)。即，若目標(biāo)集群矩形區(qū)域的本次的跟蹤狀態(tài)相對于前一次的跟蹤狀態(tài)未發(fā)生變化，則處理部10將存儲于存儲器12的目標(biāo)集群矩形區(qū)域的跟蹤狀態(tài)的持續(xù)次數(shù)自加1來進(jìn)行更新(步驟S250)。另一方面，若目標(biāo)集群矩形區(qū)域的本次的跟蹤狀態(tài)相對于前一次的跟蹤狀態(tài)發(fā)生了變化，則處理部10將本次的跟蹤狀態(tài)的持續(xù)次數(shù)設(shè)定為1，并存儲至存儲器12(步驟S250)。

該目標(biāo)集群矩形區(qū)域的本次的跟蹤狀態(tài)的持續(xù)次數(shù)是表示在該目標(biāo)集群矩形區(qū)域遷移至某個跟蹤狀態(tài)后，同一跟蹤狀態(tài)持續(xù)的時(shí)間的參數(shù)。

在步驟S250的處理后，處理部10基于目標(biāo)集群矩形區(qū)域的本次的跟蹤狀態(tài)是否是跟蹤狀態(tài)A，并且持續(xù)次數(shù)是否達(dá)到了次數(shù)閾值(3次)來判斷與該目標(biāo)集群矩形區(qū)域?qū)?yīng)的行人候補(bǔ)是否表示行人(步驟S260)。

在目標(biāo)集群矩形區(qū)域的本次的跟蹤狀態(tài)是跟蹤狀態(tài)A，并且持續(xù)次數(shù)達(dá)到了次數(shù)閾值(3次)的情況下，處理部10斷定為與該目標(biāo)集群矩形區(qū)域?qū)?yīng)的行人候補(bǔ)表示行人(步驟S260)。

另一方面，在目標(biāo)集群矩形區(qū)域的本次的跟蹤狀態(tài)表示消失的情況下，處理部10斷定為與該目標(biāo)集群矩形區(qū)域?qū)?yīng)的行人候補(bǔ)不表示行人(步驟S260)。

進(jìn)而，在目標(biāo)集群矩形區(qū)域的本次的跟蹤狀態(tài)是跟蹤狀態(tài)A以及消失以外的狀態(tài)、或者即使是跟蹤狀態(tài)A，其持續(xù)次數(shù)也未達(dá)到次數(shù)閾值(3次)的情況下，處理部10使與該目標(biāo)集群矩形區(qū)域?qū)?yīng)的行人候補(bǔ)是否是行人的判定為不確定(步驟S260)。

若步驟S260的判斷完成，則處理部10判斷是否已經(jīng)斷定為與目標(biāo)集群矩形區(qū)域?qū)?yīng)的行人候補(bǔ)表示行人、或者不表示行人(步驟S330)。

在步驟S330的判斷的結(jié)果未斷定為與目標(biāo)集群矩形區(qū)域?qū)?yīng)的行人候補(bǔ)表示行人、或者不表示行人的情況下(步驟S330的判斷的結(jié)果為“否”)，處理部10返回到步驟S110的處理，基于從照相機(jī)21發(fā)送出的幀圖像，來執(zhí)行步驟S110～S330的處理。

另一方面，在步驟S330的判斷的結(jié)果斷定為與目標(biāo)集群矩形區(qū)域?qū)?yīng)的行人候補(bǔ)表示行人、或者不表示行人的情況下(步驟S330的判斷的結(jié)果為“是”)，對象物體檢測處理移至步驟S350的處理。

如上所述，在步驟S140中檢測出多個集群矩形區(qū)域的情況下，處理部10對與該多個集群矩形區(qū)域分別對應(yīng)的多個目標(biāo)集群矩形區(qū)域的每一個目標(biāo)集群矩形區(qū)域，執(zhí)行步驟S160～S330的處理。即，處理部10在斷定為與多個目標(biāo)集群矩形區(qū)域中的至少一個目標(biāo)集群矩形區(qū)域?qū)?yīng)的行人候補(bǔ)是行人、或者不是行人的情況下，執(zhí)行步驟S350，并且在不能斷定與多個目標(biāo)集群矩形區(qū)域中的至少一個目標(biāo)集群矩形區(qū)域?qū)?yīng)的行人候補(bǔ)是否是行人的情況下，處理部10執(zhí)行步驟S110～S330的處理。

在步驟S350中，處理部10在步驟S330的判斷的結(jié)果斷定為與多個目標(biāo)集群矩形區(qū)域?qū)?yīng)的多個行人候補(bǔ)是行人的情況下，處理部10基于存儲于存儲器12的與該多個行人對應(yīng)的多個目標(biāo)集群矩形區(qū)域的位置坐標(biāo)、突然出現(xiàn)物體的突然出現(xiàn)信息、以及車輛V的預(yù)測行駛區(qū)域，來決定多個行人間的優(yōu)先級。例如，處理部10以下面的條件來決定多個行人間的優(yōu)先級。

(1)作為條件1，在與多個行人對應(yīng)的多個目標(biāo)集群矩形區(qū)域內(nèi)的一個目標(biāo)集群矩形區(qū)域設(shè)定有突然出現(xiàn)信息的情況下，將與該目標(biāo)集群矩形區(qū)域?qū)?yīng)的行人的優(yōu)先級設(shè)為最大。

(2作為條件2，在與多個行人對應(yīng)的多個目標(biāo)集群矩形區(qū)域內(nèi)的多個目標(biāo)集群矩形區(qū)域設(shè)定有突然出現(xiàn)信息的情況下，根據(jù)該多個目標(biāo)集群矩形區(qū)域間的位置坐標(biāo)與車輛V的預(yù)測行駛區(qū)域的關(guān)系，以接近預(yù)測行駛區(qū)域的順序來決定優(yōu)先級。

(3)作為條件3，在與多個行人對應(yīng)的多個目標(biāo)集群矩形區(qū)域內(nèi)的每一個目標(biāo)集群矩形區(qū)域都未設(shè)定突然出現(xiàn)信息的情況下，根據(jù)該多個目標(biāo)集群矩形區(qū)域間的位置坐標(biāo)與車輛V的預(yù)測行駛區(qū)域的關(guān)系，以接近預(yù)測行駛區(qū)域的順序來決定優(yōu)先級。

其中，在步驟S140中僅檢測出一個集群矩形區(qū)域的情況下，處理部10保持原樣地執(zhí)行步驟S360的處理。

在步驟S350中決定了多個行人間的優(yōu)先級的情況下，處理部10基于決定出的優(yōu)先級，將多個行人各自的位置坐標(biāo)以及/或者速度信息輸出至至少一個控制對象26(步驟S360)，并結(jié)束對象物體檢測處理。另一方面，在步驟S350中未決定出優(yōu)先級的情況下、即檢測出單獨(dú)的行人的情況下，處理部10將該行人的位置坐標(biāo)以及/或者速度信息輸出至至少一個控制對象26(步驟S360)，并結(jié)束對象物體檢測處理。至少一個控制對象26基于被輸出的至少一位行人的位置坐標(biāo)以及/或者速度信息，根據(jù)需要，進(jìn)行避免該至少一位行人與車輛V碰撞的動作、或者使由碰撞引起的沖擊緩和的動作。

其中，被檢測出的行人的速度信息能夠由處理部10基于幀圖像求出，另外，也能夠使用由傳感器22求出的速度信息。

另外，在步驟S330的判斷的結(jié)果斷定為與多個目標(biāo)集群矩形區(qū)域?qū)?yīng)的多個行人候補(bǔ)不是行人的情況下，處理部10不進(jìn)行步驟S350以及S360的處理，結(jié)束對象物體檢測處理。

通過執(zhí)行上述的對象物體檢測處理，如圖11所示，若從某個幀圖像I檢測出4個集群矩形區(qū)域CR21～CR24，則實(shí)施該4個集群矩形區(qū)域CR21～CR24的狀態(tài)的跟蹤。該4個集群矩形區(qū)域CR21～CR24中的任意一個集群矩形區(qū)域(目標(biāo)集群矩形區(qū)域)的跟蹤狀態(tài)例如如圖12所示，在時(shí)刻1、即最初檢測到該目標(biāo)集群矩形區(qū)域時(shí)的對象物體檢測處理(以下，稱為第一次的檢測處理)中，成為新狀態(tài)，在時(shí)刻2、即第二次的檢測處理中，遷移至跟蹤狀態(tài)A。之后，每當(dāng)從照相機(jī)21發(fā)送出幀圖像(時(shí)刻3、4、…)時(shí)，目標(biāo)集群矩形區(qū)域的跟蹤狀態(tài)就根據(jù)該目標(biāo)集群矩形區(qū)域是否滿足遷移條件，如圖12所示那樣遷移。

另外，設(shè)如圖13所示，從某個幀圖像I1檢測出4個集群矩形區(qū)域CR31～CR34，對該4個集群矩形區(qū)域CR31～CR34中的集群矩形區(qū)域CR31設(shè)定有突然出現(xiàn)信息。將該集群矩形區(qū)域CR31的跟蹤狀態(tài)的狀態(tài)遷移的一個例子示于圖14。如圖14所示，在時(shí)刻1、即在最初檢測出該目標(biāo)集群矩形區(qū)域時(shí)的對象物體檢測處理(以下，稱為第一次的檢測處理)中，在步驟S220的處理中，用于使集群矩形區(qū)域CR1的跟蹤狀態(tài)遷移的遷移條件、以及/或者針對集群矩形區(qū)域CR1的行人確定條件被變更，并基于該被變更后的遷移條件以及/或者行人確定條件，分別執(zhí)行對應(yīng)的狀態(tài)遷移判定以及/或者行人判定。同樣，在時(shí)刻3(第三次的檢測處理)、時(shí)刻6(第六次的檢測處理)、以及時(shí)刻7(第七次的檢測處理)分別也對用于使集群矩形區(qū)域CR1的跟蹤狀態(tài)遷移的遷移條件、以及/或者針對集群矩形區(qū)域CR1的行人確定條件進(jìn)行變更，并基于該變更后的遷移條件以及/或者行人確定條件，分別執(zhí)行對應(yīng)的狀態(tài)遷移判定以及/或者行人判定。此外，在除此以外的時(shí)刻2、4、以及5(第二次、第四次、以及第五次的檢測處理)中，不對遷移條件以及行人確定條件進(jìn)行變更地執(zhí)行狀態(tài)遷移判定以及行人判定。

[通過本實(shí)施方式得到的效果]

如以上那樣詳細(xì)敘述的物體檢測裝置1是將車輛V的周圍的特定的種類的物體(例如，行人)作為檢測對象物體來檢測的裝置。該物體檢測裝置1的處理部10反復(fù)獲取基于成為上述檢測對象物體的候補(bǔ)的在車輛V的周圍存在的至少一個物體候補(bǔ)的至少位置的信息(例如，基于至少一個物體的位置以及形狀的信息)。

每當(dāng)求上述至少一個物體候補(bǔ)的信息時(shí)，處理部10就基于規(guī)定的狀態(tài)遷移條件來判斷上述至少一個物體候補(bǔ)的信息屬于基于該至少一個物體候補(bǔ)與上述檢測對象物體的關(guān)聯(lián)性而預(yù)先決定的多個狀態(tài)中的哪個狀態(tài)，從而使該至少一個物體候補(bǔ)的信息在上述多個狀態(tài)間遷移。

而且，處理部10基于表示與上述至少一個物體候補(bǔ)建立對應(yīng)的狀態(tài)是如何遷移而來的遷移信息，來判斷該至少一個物體候補(bǔ)是否是上述檢測對象物體。

上述物體檢測裝置1根據(jù)表示成為檢測對象物體的候補(bǔ)的至少一個物體候補(bǔ)的信息在基于上述至少一個物體候補(bǔ)與上述檢測對象物體的關(guān)聯(lián)性而預(yù)先決定出的多個狀態(tài)間是如何遷移的遷移信息，來判定該至少一個物體候補(bǔ)是否是檢測對象物體。因此，與以往的使用單純的閾值來判斷檢測物體是否是檢測對象物體的結(jié)構(gòu)相比，物體檢測裝置1能夠更高精度地檢測檢測對象物體。

另外，上述物體檢測裝置1的處理部10獲取表示上述至少一個物體候補(bǔ)的信息遷移至上述多個狀態(tài)中的第一狀態(tài)后的持續(xù)時(shí)間的參數(shù)的值，在該參數(shù)的值達(dá)到了規(guī)定的遷移判定值的情況下，使上述至少一個物體候補(bǔ)的信息遷移至上述多個狀態(tài)中的上述第一狀態(tài)以外的第二狀態(tài)。

根據(jù)上述物體檢測裝置1，能夠?qū)⒈硎局辽僖粋€物體候補(bǔ)的信息遷移至上述多個狀態(tài)中的第一狀態(tài)后的持續(xù)時(shí)間的參數(shù)的值是否達(dá)到了規(guī)定的遷移判定值作為上述狀態(tài)遷移條件之一。

并且，上述物體檢測裝置1的處理部10獲取表示上述至少一個物體候補(bǔ)的信息遷移至上述多個狀態(tài)中的特定的狀態(tài)后的持續(xù)時(shí)間的參數(shù)的值，將該參數(shù)的值達(dá)到了規(guī)定的判定值作為判定條件來使用，在上述參數(shù)的值達(dá)到了規(guī)定的判定值的情況下，將上述至少一個物體候補(bǔ)判斷為上述檢測對象物體。

根據(jù)該物體檢測裝置1，能夠基于遷移至特定的狀態(tài)后的持續(xù)時(shí)間，可靠地判斷上述至少一個物體候補(bǔ)是上述檢測對象物體。

而且，上述物體檢測裝置1的處理部10獲取與上述至少一個物體候補(bǔ)是否會突然出現(xiàn)至車輛的預(yù)測行駛區(qū)域相關(guān)的突然出現(xiàn)信息，在上述突然出現(xiàn)信息表示上述至少一個物體候補(bǔ)突然出現(xiàn)至車輛的預(yù)測行駛區(qū)域的情況下，對上述狀態(tài)遷移條件或者上述判定條件進(jìn)行變更。

上述物體檢測裝置1在上述突然出現(xiàn)信息表示上述至少一個物體候補(bǔ)突然出現(xiàn)至車輛的預(yù)測行駛區(qū)域的情況下，例如能夠變更上述判定條件，以便例如容易地將該至少一個物體檢測為上述檢測對象物體。因此，在上述至少一個物體候補(bǔ)突然出現(xiàn)至車輛V的預(yù)測行駛區(qū)域的情況下，能夠迅速地判斷該突然出現(xiàn)的物體候補(bǔ)是檢測對象物體。

上述物體檢測裝置1的照相機(jī)21反復(fù)拍攝車輛V的周圍的幀圖像，并將拍攝到的幀圖像反復(fù)發(fā)送至處理部10。處理部10一邊在本次發(fā)送來的幀圖像上改變規(guī)定的探索區(qū)域，一邊在該幀圖像內(nèi)，求出在具有與上述檢測對象物體的多個特征圖案相類似的圖像特征圖案的多個候補(bǔ)區(qū)域中，表示相互關(guān)聯(lián)的候補(bǔ)區(qū)域的組的物體候補(bǔ)集群。然后，處理部10求出與表示被求出的物體候補(bǔ)集群和上述檢測對象物體對應(yīng)的合理性的似然相關(guān)聯(lián)的似然關(guān)聯(lián)信息，來作為上述至少一個物體候補(bǔ)的信息的一部分。

處理部10每當(dāng)求出作為該至少一個物體候補(bǔ)的信息的上述物體候補(bǔ)集群的似然關(guān)聯(lián)信息時(shí)，就基于上述規(guī)定的狀態(tài)遷移條件來判斷該物體候補(bǔ)集群的似然關(guān)聯(lián)信息屬于上述多個狀態(tài)中的哪個狀態(tài)，從而使上述物體候補(bǔ)集群在上述多個狀態(tài)間遷移。

而且，處理部10每當(dāng)求出作為上述至少一個物體候補(bǔ)的信息的上述物體候補(bǔ)集群的似然關(guān)聯(lián)信息時(shí)，就基于表示與該物體候補(bǔ)集群建立有對應(yīng)的狀態(tài)是如何遷移來的遷移信息，來判斷該物體候補(bǔ)集群是否與上述檢測對象物體對應(yīng)。

根據(jù)上述物體檢測裝置1，在幀圖像內(nèi)，基于與上述檢測對象物體的特征圖案相類似，并且具有相互關(guān)聯(lián)的圖像特征圖案的多個候補(bǔ)區(qū)域的組即物體候補(bǔ)集群中的與表示是上述檢測對象物體的合理性的似然相關(guān)聯(lián)的似然關(guān)聯(lián)信息，來求上述物體候補(bǔ)集群的上述多個狀態(tài)間的遷移信息，并基于該遷移信息，來判斷該物體候補(bǔ)集群是否與上述檢測對象物體對應(yīng)。因此，與以往的使用單純的閾值來判斷檢測物體是否是檢測對象物體的結(jié)構(gòu)相比，物體檢測裝置1能夠更高精度地檢測檢測對象物體。

上述物體檢測裝置1的處理部10使用被分組為上述物體候補(bǔ)集群的多個候補(bǔ)區(qū)域的數(shù)量作為上述似然關(guān)聯(lián)信息的一部分，使用被分組為該物體候補(bǔ)集群的多個候補(bǔ)區(qū)域的數(shù)量是否比預(yù)先設(shè)定的閾值大作為上述狀態(tài)遷移條件的一部分。

另外，上述物體檢測裝置1的處理部10求出被分組為上述物體候補(bǔ)集群的多個候補(bǔ)區(qū)域各自的表示與上述檢測對象物體的特征圖案的相似度的得分，將該多個候補(bǔ)區(qū)域各自的得分的最大值以及平均值中的至少一方作為上述似然關(guān)聯(lián)信息的一部分來使用，并且將該得分的最大值以及平均值中的至少一方是否比預(yù)先設(shè)定的閾值大作為上述狀態(tài)遷移條件來使用。

上述檢測對象物體的多個特征圖案按每個種類保持于多個詞典文件，在該多個詞典文件中，與檢測對象物體檢測相關(guān)聯(lián)的可靠性的值被預(yù)先設(shè)定為不同的值，上述物體檢測裝置1的處理部10存儲有上述多個詞典文件，另一方面，上述物體檢測裝置1的處理部10一邊在本次發(fā)送來的幀圖像上改變規(guī)定的探索區(qū)域，一邊在該幀圖像內(nèi)，求出多個具有與上述多個詞典文件的某一個詞典文件中所存儲的多個特征圖案相類似的圖像特征圖案的候補(bǔ)區(qū)域，并在所求出的多個候補(bǔ)區(qū)域中，求出表示相互關(guān)聯(lián)的候補(bǔ)區(qū)域的組的物體候補(bǔ)集群。

而且，上述物體檢測裝置1的處理部10求出表示在求取被分組為上述物體候補(bǔ)集群的多個候補(bǔ)區(qū)域的每一個時(shí)使用了上述多個詞典文件的哪一個詞典文件的信息來作為上述似然關(guān)聯(lián)信息，并基于該物體候補(bǔ)集群中的所求出的似然關(guān)聯(lián)信息，求出上述物體候補(bǔ)集群的上述多個狀態(tài)間的遷移信息。

上述物體檢測裝置1的處理部10一邊使用表示在本次發(fā)送來的幀圖像上使規(guī)定的探索區(qū)域如何移動的多個探索方法中的任意一個探索方法使上述規(guī)定的探索區(qū)域變化，一邊在該幀圖像內(nèi)，求出多個具有與上述檢測對象物體的多個特征圖案相類似的圖像特征圖案的候補(bǔ)區(qū)域，并求出在所求出的多個候補(bǔ)區(qū)域中，表示相互關(guān)聯(lián)的候補(bǔ)區(qū)域的組的物體候補(bǔ)集群。

而且，上述物體檢測裝置1的處理部10求出表示在求取被分組為上述物體候補(bǔ)集群的多個候補(bǔ)區(qū)域的每一個時(shí)使用了上述多個探索方法的哪一個探索方法的信息來作為上述似然關(guān)聯(lián)信息，并基于該物體候補(bǔ)集群中的所求出的似然關(guān)聯(lián)信息，來求上述物體候補(bǔ)集群的上述多個狀態(tài)間的遷移信息。

上述的使用似然關(guān)聯(lián)信息的物體檢測裝置1與以往的使用單純的閾值來判斷檢測物體是否是檢測對象物體的結(jié)構(gòu)相比，能夠更高精度地檢測檢測對象物體。

另外，上述物體候補(bǔ)集群被求出多個，上述處理部10判斷上述多個物體候補(bǔ)集群的每一個是否是上述檢測對象物體，在該判斷的結(jié)果判斷為上述多個物體候補(bǔ)集群中的一部分物體候補(bǔ)集群分別是上述檢測對象物體的情況下，上述處理部10選擇上述一部分物體候補(bǔ)集群，基于被選擇出的物體候補(bǔ)集群各自的位置信息，來決定與該被選擇出的物體候補(bǔ)集群分別對應(yīng)的檢測對象物體間的優(yōu)先級。

例如，搭載于車輛V的至少一個控制對象26能夠按照由上述物體檢測裝置1決定出的多個檢測對象物體間的優(yōu)先級，來執(zhí)行針對該被檢測出的多個對象物體的處理。結(jié)果，與搭載于車輛V的至少一個控制對象26并列地執(zhí)行針對多個檢測對象物體的每一個的處理的情況相比，能夠高效并且順暢地執(zhí)行針對該被檢測出的多個對象物體的處理。

[其它實(shí)施方式]

本發(fā)明并沒有被上述的實(shí)施方式以任何方式限定并解釋。另外，只要能夠解決課題則省略了上述實(shí)施方式的結(jié)構(gòu)的一部分的實(shí)施方式也包含于本發(fā)明的實(shí)施方式。另外，對上述實(shí)施方式以及后述的其變形例適當(dāng)?shù)剡M(jìn)行組合而構(gòu)成的實(shí)施方式也包含于本發(fā)明的實(shí)施方式。另外，在不脫離僅通過技術(shù)方案所記載的語句而確定的發(fā)明的本質(zhì)的限度內(nèi)，能夠想到的所有實(shí)施方式也包含于本發(fā)明的實(shí)施方式。另外，在技術(shù)方案中也適當(dāng)?shù)厥褂昧嗽谏鲜鰧?shí)施方式的說明中所使用的附圖標(biāo)記，但這是以容易理解各技術(shù)方案所涉及的發(fā)明的目的而使用的，并不是想要限定各技術(shù)方案所涉及的發(fā)明的技術(shù)范圍。

例如，在上述實(shí)施方式中，構(gòu)成為將作為特定的種類的物體的一個例子的行人作為檢測對象物體來檢測，但本發(fā)明并不限定于該結(jié)構(gòu)，例如，也可以將樹木、車輛等行人以外的種類的物體作為檢測對象物體來檢測。

[實(shí)施方式的結(jié)構(gòu)與本發(fā)明的單元的對應(yīng)關(guān)系的一個例子]

在上述實(shí)施方式中處理部10所執(zhí)行的處理中的例如步驟S110、S130、S140、S145的處理與本發(fā)明中的例如獲取部對應(yīng)，在上述實(shí)施方式中處理部10所執(zhí)行的處理中的例如步驟S120的處理與本發(fā)明中的例如突然出現(xiàn)信息獲取部對應(yīng)。

在上述實(shí)施方式中處理部10所執(zhí)行的處理中的例如步驟S150、S160、S170、S210、S220、S230、S240的處理與本發(fā)明中的例如狀態(tài)遷移部對應(yīng)。

在上述實(shí)施方式中處理部10所執(zhí)行的處理中的例如步驟S260的處理與本發(fā)明中的例如判斷部對應(yīng)。

在上述實(shí)施方式中處理部10所執(zhí)行的處理中的例如步驟S170的處理與本發(fā)明中的例如參數(shù)獲取部對應(yīng)。

在上述實(shí)施方式中處理部10所執(zhí)行的處理中的例如步驟S140的處理與本發(fā)明中的例如集群部對應(yīng)，在上述實(shí)施方式中處理部10所執(zhí)行的處理中的例如步驟S145的處理與本發(fā)明中的例如關(guān)聯(lián)信息計(jì)算部對應(yīng)。

并且，上述實(shí)施方式中的S170的處理相當(dāng)于本發(fā)明中所說的持續(xù)時(shí)間獲取單元，上述實(shí)施方式中的S210、S220的處理相當(dāng)于本發(fā)明中所說的條件變更單元。另外，上述實(shí)施方式中的S230、S240的處理相當(dāng)于本發(fā)明中所說的物體狀態(tài)遷移單元，上述實(shí)施方式中的S260、S330、S360的處理相當(dāng)于本發(fā)明中所說的輸出單元。

并且，在上述實(shí)施方式中，第一識別信息(與對應(yīng)的集群矩形區(qū)域建立有關(guān)聯(lián)的矩形區(qū)域的數(shù)量)、第二識別信息(對應(yīng)的集群矩形區(qū)域中的最大或者平均得分)、第三識別信息(具有最大的可靠性的詞典文件)、以及第四識別信息(具有最大的可靠性的探索方法)與本發(fā)明中的例如似然關(guān)聯(lián)信息對應(yīng)。

附圖標(biāo)記的說明

1…物體檢測裝置；10…處理部；11…CPU；12…存儲器；21…照相機(jī)；22…傳感器；26…控制對象。