本發(fā)明涉及圖像處理裝置及車(chē)載顯示系統(tǒng)及顯示裝置及圖像處理方法及圖像處理程序。

背景技術(shù)：

以往，存在有通過(guò)提供駕駛員的目視確認(rèn)的狀態(tài)作為行駛信息來(lái)輔助駕駛的行駛信息提供裝置(例如，參照專利文獻(xiàn)1)。該行駛信息提供裝置根據(jù)對(duì)象物的屬性將車(chē)輛的周?chē)膶?duì)象物分類成若干的小組，并用不同的顏色來(lái)顯示各個(gè)小組。作為對(duì)象物，有其他的車(chē)輛，步行者，標(biāo)識(shí)，信號(hào)，人行橫道等。對(duì)象物的“屬性”例如是對(duì)象物的類別以及距離。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：國(guó)際公開(kāi)第2008/029802號(hào)

技術(shù)實(shí)現(xiàn)要素：

發(fā)明所要解決的技術(shù)問(wèn)題

以往的行駛提供情報(bào)裝置將車(chē)輛的周?chē)膶?duì)象物中類別一樣，并且當(dāng)前彼此間的距離在閾值以下的對(duì)象物分類成相同小組。在對(duì)象物分組時(shí)，不考慮對(duì)象物間將來(lái)的距離。

例如，在互相靠近站著的4個(gè)步行者中，認(rèn)定1個(gè)步行者處于要開(kāi)始跑的姿勢(shì)。這種情況下，想要開(kāi)始跑的步行者和余下的3個(gè)步行者間當(dāng)前的距離小，但是可以預(yù)料到將來(lái)的距離會(huì)變大。但是，以往的行駛信息提供裝置將四個(gè)步行者作為相同小組來(lái)顯示。因此，駕駛員難以對(duì)想要開(kāi)始跑的步行者和余下的3個(gè)步行者分別進(jìn)行目視確認(rèn)。其結(jié)果是，在步行者實(shí)際上已經(jīng)跑出去的時(shí)候駕駛員才注意到該步行者是有所延遲的，對(duì)安全駕駛造成障礙。

如上所述，即使對(duì)象物間當(dāng)前的距離在閾值以下，根據(jù)對(duì)象物間的將來(lái)的距離，有時(shí)也應(yīng)該對(duì)對(duì)象物分別進(jìn)行目視確認(rèn)。但是，現(xiàn)有技術(shù)中，存在無(wú)法根據(jù)這種情況進(jìn)行適宜的分組的課題。

本發(fā)明的目的在于，例如對(duì)于按每個(gè)小組強(qiáng)調(diào)顯示的對(duì)象物，匯總應(yīng)該分別目視確認(rèn)的對(duì)象物并適當(dāng)?shù)胤诸悜?yīng)該目視確認(rèn)的對(duì)象物。

用于解決技術(shù)問(wèn)題的技術(shù)手段

本發(fā)明的一個(gè)實(shí)施方式的圖像處理裝置包括：

提取部，該提取部從拍攝了至少包含一個(gè)移動(dòng)的對(duì)象物的多個(gè)對(duì)象物的拍攝圖像中提取該多個(gè)對(duì)象物；

預(yù)測(cè)部，該預(yù)測(cè)部預(yù)測(cè)由所述提取部提取出的多個(gè)對(duì)象物間的將來(lái)的距離；

分類部，該分類部基于由所述預(yù)測(cè)部預(yù)測(cè)到的將來(lái)的距離將由所述提取部提取出的多個(gè)對(duì)象物分類成小組；以及

處理部，該處理部將所述拍攝圖像加工成強(qiáng)調(diào)顯示圖像，該強(qiáng)調(diào)顯示圖像中按小組強(qiáng)調(diào)顯示由所述分類部分類后的多個(gè)對(duì)象物。

發(fā)明效果

本實(shí)施方式中，基于對(duì)象物間的將來(lái)的距離，將對(duì)象物分類成小組，而無(wú)關(guān)乎對(duì)象物間的當(dāng)前的距離。因此，根據(jù)本發(fā)明，對(duì)于按每個(gè)小組強(qiáng)調(diào)顯示的對(duì)象物，能夠匯總應(yīng)該分別目視確認(rèn)的對(duì)象物并適當(dāng)?shù)胤诸悜?yīng)該目視確認(rèn)的對(duì)象物。

附圖說(shuō)明

圖1是表示實(shí)施方式1所涉及的車(chē)載顯示系統(tǒng)的結(jié)構(gòu)的框圖。

圖2是表示實(shí)施方式1所涉及的車(chē)載顯示系統(tǒng)的動(dòng)作的流程圖。

圖3是表示實(shí)施方式1的對(duì)象物數(shù)據(jù)的示例的圖。

圖4是表示實(shí)施方式1所涉及的分類處理的步驟的流程圖。

圖5是表示實(shí)施方式1的關(guān)系性表格的示例的表

圖6是表示實(shí)施方式1的強(qiáng)調(diào)顯示圖像的示例的圖。

圖7是表示實(shí)施方式1的強(qiáng)調(diào)顯示圖像的示例的圖。

圖8是表示實(shí)施方式1的強(qiáng)調(diào)顯示圖像的示例的圖。

圖9是表示實(shí)施方式1的強(qiáng)調(diào)顯示圖像的示例的圖。

圖10是表示實(shí)施方式2的關(guān)系性表格的示例的表

圖11是表示本發(fā)明的實(shí)施方式所涉及的車(chē)載顯示系統(tǒng)的硬件結(jié)構(gòu)的一個(gè)示例的圖。

具體實(shí)施方式

以下，使用附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行說(shuō)明。另外，各圖中，對(duì)于相同或相當(dāng)部分標(biāo)注相同標(biāo)號(hào)。實(shí)施方式的說(shuō)明中，對(duì)相同或相當(dāng)部分適當(dāng)省略或簡(jiǎn)化其說(shuō)明。

實(shí)施方式1.

首先，對(duì)本實(shí)施方式的概要進(jìn)行說(shuō)明。

本實(shí)施方式中，被拍攝的對(duì)象物與對(duì)象物間的現(xiàn)在的距離無(wú)關(guān)，而是基于對(duì)象物間的將來(lái)的距離，被分類成若干小組，并按小組進(jìn)行強(qiáng)調(diào)顯示。在對(duì)象物分組時(shí)，考慮對(duì)象物間將來(lái)的距離?！皬?qiáng)調(diào)顯示”是指用框包圍某一圖像中的對(duì)象物，或者用顏色標(biāo)注，從而在該圖像內(nèi)容易對(duì)對(duì)象物進(jìn)行目視確認(rèn)。作為對(duì)象物，有車(chē)輛、人類、動(dòng)物這樣的移動(dòng)的對(duì)象物和標(biāo)識(shí)、紅綠燈、人行橫道這樣的不移動(dòng)的對(duì)象物。作為車(chē)輛，有汽車(chē)，摩托車(chē)，自行車(chē)等。對(duì)象物具有屬性。“屬性”例如是對(duì)象物的類別以及距離以及速度。作為屬性的一種的“類別”與對(duì)象物現(xiàn)在的狀態(tài)無(wú)關(guān)，是能夠區(qū)分對(duì)象物的特性或種類。例如，即使對(duì)象物現(xiàn)在沒(méi)在移動(dòng)但具有移動(dòng)的能力的話，那該對(duì)象物的類別是移動(dòng)的對(duì)象物?？烧J(rèn)為類別具有階層。例如，在移動(dòng)的對(duì)象物的下層有車(chē)輛、人類、動(dòng)物這樣的下位的類別。在車(chē)輛的下層，有汽車(chē)，摩托車(chē)，自行車(chē)等進(jìn)一步下位的類別。作為屬性的一種的“距離”不是上述的“對(duì)象物間的現(xiàn)在的距離”和“對(duì)象物間的將來(lái)的距離”，而是從拍攝到對(duì)象物的地點(diǎn)到對(duì)象物的距離。

例如，設(shè)定在互相靠近站著的4個(gè)步行者中，有1個(gè)步行者處于要開(kāi)始跑的姿勢(shì)。這種情況下，想要開(kāi)始跑的步行者和余下的3個(gè)步行者間的當(dāng)時(shí)的距離小，但是可以預(yù)料到將來(lái)的距離會(huì)變大。假設(shè)在4個(gè)人匯總作為相同小組進(jìn)行強(qiáng)調(diào)顯示的時(shí)候，難以對(duì)想要開(kāi)始跑的人和余下的3個(gè)人分別進(jìn)行目視確認(rèn)。本實(shí)施方式中，考慮四個(gè)人之間的將來(lái)的距離，想要開(kāi)始跑的人和余下的3個(gè)人被分類成不同的小組。于是，拍攝到四個(gè)人的圖像被加工成下述圖像，即，將一個(gè)人作為一個(gè)小組進(jìn)行強(qiáng)調(diào)顯示，將余下的三個(gè)人匯總作為另一小組進(jìn)行強(qiáng)調(diào)顯示。因此，觀察到加工后的圖像的人容易分別對(duì)想要開(kāi)始跑的人和余下的3個(gè)人進(jìn)行目視確認(rèn)。

本實(shí)施方式中，在對(duì)象物分組時(shí)，還考慮對(duì)象物間的關(guān)系性。

例如，設(shè)為在遠(yuǎn)離停著的1輛車(chē)的位置，有一個(gè)人正朝向該車(chē)輛移動(dòng)。該情況下，停著的車(chē)輛與朝向車(chē)輛的人之間的現(xiàn)在的距離較大，但是可以認(rèn)為將來(lái)的距離成為0。并且，還認(rèn)為，停著的車(chē)輛與朝向車(chē)輛的人之間具有車(chē)輛及乘坐該車(chē)輛的人這一關(guān)系性。假設(shè)在使1輛車(chē)和一個(gè)人作為不同的小組分別強(qiáng)調(diào)顯示了的時(shí)候，難以對(duì)停著的車(chē)輛和朝向車(chē)輛的人進(jìn)行匯總來(lái)目視確認(rèn)。但是，在這種情況下，匯總兩者進(jìn)行目視確認(rèn)更高效。本實(shí)施方式中，考慮到一輛車(chē)與一個(gè)人之間的關(guān)系性，將停著的車(chē)輛與朝向車(chē)輛的人分類成相同小組。于是，拍攝到一輛車(chē)和一個(gè)人的圖像被加工成將一輛車(chē)和一個(gè)人匯總為一個(gè)小組來(lái)進(jìn)行強(qiáng)調(diào)顯示的圖像。因此，觀察到加工后的圖像的人容易匯總地來(lái)目視確認(rèn)停著的車(chē)輛和朝向車(chē)輛的人。

例如，本實(shí)施方式能夠適用于駕駛的輔助。本實(shí)施方式中，根據(jù)位于車(chē)輛周邊的對(duì)象物的移動(dòng)預(yù)測(cè)的結(jié)果、或者基于對(duì)象物之間的關(guān)系性推定的結(jié)果來(lái)分組，能夠目視確認(rèn)性較高地對(duì)車(chē)輛的周邊狀況進(jìn)行顯示。因此，有助于駕駛員的安全確認(rèn)。

接著，作為本實(shí)施方式的詳細(xì)情況，依次說(shuō)明本實(shí)施方式所涉及的系統(tǒng)的結(jié)構(gòu)、本實(shí)施方式所涉及的系統(tǒng)的動(dòng)作、本實(shí)施方式的效果。

<結(jié)構(gòu)的說(shuō)明>

圖1是表示實(shí)施方式所涉及的車(chē)載顯示系統(tǒng)100的結(jié)構(gòu)的框圖。

如圖1所示，車(chē)載顯示系統(tǒng)100包括拍攝裝置110、圖像處理裝置120、數(shù)據(jù)存儲(chǔ)裝置130、顯示裝置140。

拍攝裝置110例如是立體相機(jī)或雷達(dá)。拍攝裝置110搭載于車(chē)輛200。拍攝裝置110拍攝車(chē)輛200的周邊以獲得拍攝圖像101。拍攝圖像101是拍攝到至少包含一個(gè)移動(dòng)的對(duì)象物的多個(gè)對(duì)象物的圖像。

圖像處理裝置120例如是計(jì)算機(jī)。圖像處理裝置120可以搭載于車(chē)輛200，可以由駕駛員拿到車(chē)輛200內(nèi)，也可以設(shè)置在車(chē)輛200的外部。圖像處理裝置120包括提取部121、預(yù)測(cè)部122、分類部123、以及處理部124。

提取部121從拍攝裝置110獲取拍攝圖像101。提取部121從獲取到的拍攝圖像101提取多個(gè)對(duì)象物。如上所述，多個(gè)對(duì)象物包含至少一個(gè)移動(dòng)的對(duì)象物。

提取部121對(duì)于提取出的多個(gè)對(duì)象物主要進(jìn)行下述三個(gè)處理。

作為第1處理，提取部121計(jì)算提取到的多個(gè)對(duì)象物間的當(dāng)前的距離dc?！爱?dāng)前”具體是指通過(guò)拍攝裝置110拍攝到拍攝圖像101的時(shí)間點(diǎn)?！岸鄠€(gè)對(duì)象物間的當(dāng)前距離”，在存在兩個(gè)對(duì)象物的情況下是指該兩個(gè)對(duì)象物的一方與另一方間的當(dāng)前的距離，在存在三個(gè)以上對(duì)象物的情況下是指該三個(gè)以上的對(duì)象物各自與其他對(duì)象物間的當(dāng)前的距離。

作為第2處理，提取部121判定所提取出的多個(gè)對(duì)象物各自的類別。例如，提取部121判定對(duì)象物的類別是移動(dòng)的對(duì)象物，還是不移動(dòng)的對(duì)象物。本實(shí)施方式中，提取部121針對(duì)移動(dòng)的對(duì)象物判定對(duì)象物的類別是車(chē)輛、人還是動(dòng)物。并且，提取部121針對(duì)車(chē)輛判定對(duì)象物的類別是汽車(chē)、摩托車(chē)還是自行車(chē)。

作為第3處理，提取部121推定將類別判定為移動(dòng)的對(duì)象物的對(duì)象物的當(dāng)前的速度vc。例如，提取部121對(duì)將類別判定為車(chē)輛或人的對(duì)象物的當(dāng)前的速度vc進(jìn)行推定。

預(yù)測(cè)部122預(yù)測(cè)被提取部121提取出的多個(gè)對(duì)象物間的將來(lái)的距離df?！皩?lái)”具體指從當(dāng)前開(kāi)始數(shù)秒、數(shù)十秒或數(shù)分鐘后的時(shí)間點(diǎn)?！岸鄠€(gè)對(duì)象物間的將來(lái)的距離”，在存在兩個(gè)對(duì)象物的情況下是指該兩個(gè)對(duì)象物的一方與另一方間的將來(lái)的距離，在存在三個(gè)以上對(duì)象物的情況下是指該三個(gè)以上的對(duì)象物各自與其他對(duì)象物間的將來(lái)的距離。例如，預(yù)測(cè)部122根據(jù)被提取部121判定為類別是移動(dòng)的對(duì)象物的對(duì)象物的過(guò)去的舉動(dòng)，預(yù)測(cè)該對(duì)象物的移動(dòng)，基于移動(dòng)預(yù)測(cè)的結(jié)果，計(jì)算移動(dòng)之后的對(duì)象物和其他的對(duì)象物間的距離以作為將來(lái)的距離df?！斑^(guò)去的舉動(dòng)”是對(duì)象物被提取部121最初提取之后，每隔一個(gè)時(shí)刻將提取部121獲得的信息進(jìn)行匯總而得的數(shù)據(jù)，相當(dāng)于后述的對(duì)象物數(shù)據(jù)131。

作為移動(dòng)預(yù)測(cè)的處理的一種，預(yù)測(cè)部122判斷由提取部121判定為類別是人的對(duì)象物的姿勢(shì)是否是要開(kāi)始跑的姿勢(shì)。預(yù)測(cè)部122基于判斷結(jié)果，預(yù)測(cè)由提取部121判斷為類別是人的對(duì)象物與提取部121提取出的其他的對(duì)象物間的將來(lái)的距離df。

分類部123基于預(yù)測(cè)部122預(yù)測(cè)到的將來(lái)的距離df，將提取部121提取出的多個(gè)對(duì)象物分類成小組。即，分類部123將提取部121提取出的多個(gè)對(duì)象物中的被預(yù)測(cè)部122預(yù)測(cè)到的彼此間的將來(lái)的距離df大于閾值ta的對(duì)象物分類成不同小組。分類部123將由提取部121提取出的多個(gè)對(duì)象物中的被預(yù)測(cè)部122預(yù)測(cè)到的彼此間的將來(lái)的距離df小于閾值ta的對(duì)象物分類成相同小組。分類部123對(duì)于由提取部121提取出的多個(gè)對(duì)象物中的被預(yù)測(cè)部122預(yù)測(cè)到的彼此間的將來(lái)的距離df等于閾值ta的對(duì)象物，可以分類成相同小組，也可以分類成不同小組。

本實(shí)施方式中，分類部123進(jìn)一步根據(jù)由預(yù)測(cè)部122預(yù)測(cè)到的將來(lái)的距離df和由提取部121判定出的類別，推定被提取部121提取出的多個(gè)對(duì)象物間的關(guān)系性。分類部123根據(jù)推定出的關(guān)系性將該多個(gè)對(duì)象物分類成小組。例如，分類部123在推定出兩個(gè)對(duì)象物間具有以下兩種的任一種關(guān)系性時(shí)，將該兩個(gè)對(duì)象物分類成相同小組。

作為第1種的關(guān)系性，分類部123在推定為兩個(gè)對(duì)象物之間存在另一方對(duì)象物靠近一方對(duì)象物這樣的關(guān)系性時(shí)，將該2個(gè)對(duì)象物分類成相同小組。例如，分類部123在被提取部121提取出的多個(gè)對(duì)象物包含由提取部121判定為類別是人的第1對(duì)象物和由提取部121判定為類別是車(chē)輛的第2對(duì)象物，并且由預(yù)測(cè)部122預(yù)測(cè)到的第1對(duì)象物與第2對(duì)象物間的將來(lái)的距離df小于閾值ta，且由提取部121推定出的第2對(duì)象物的當(dāng)前的速度vc2的大小是0的情況下，推定在第1對(duì)象物和第2對(duì)象物之間具有車(chē)輛以及乘坐該車(chē)輛的人這一關(guān)系性。即，分類部123對(duì)于作為人的第1對(duì)象物和作為車(chē)輛的第2對(duì)象物的組合，在df＜ta且vc2＝0這樣的條件成立的情況下，將第1對(duì)象物和第2對(duì)象物分類成相同小組。此處的“車(chē)輛”既包含汽車(chē)也包含自行車(chē)。此外，例如，分類部123在被提取部121提取出的多個(gè)對(duì)象物包含由提取部121判定為各自的類別均是人的第1對(duì)象物和第2對(duì)象物，并且由預(yù)測(cè)部122預(yù)測(cè)到的第1對(duì)象物與第2對(duì)象物間的將來(lái)的距離df小于閾值ta的情況下，推定在第1對(duì)象物和第2對(duì)象物之間具有彼此相靠近的人這一關(guān)系性。即，分類部123對(duì)于均為人的第1對(duì)象物和第2對(duì)象物的組合，在df＜ta這一條件成立的情況下，將第1對(duì)象物和第2對(duì)象物分類成相同小組。

作為第2種的關(guān)系性，分類部123在推定兩個(gè)對(duì)象物之間存在成列移動(dòng)的對(duì)象物這一關(guān)系性時(shí)，將該2個(gè)對(duì)象物分類成相同小組。具體而言，分類部123在被提取部121提取出的多個(gè)對(duì)象物中存在由提取部121判定為類別是移動(dòng)的對(duì)象物的第1對(duì)象物和第2對(duì)象物，且下述條件成立的情況下，推定在第1對(duì)象物和第2對(duì)象物之間具有成列移動(dòng)的對(duì)象物這一關(guān)系性。第一個(gè)條件是由提取部121計(jì)算出的第1對(duì)象物和第2對(duì)象物間的當(dāng)前距離dc和由預(yù)測(cè)部122預(yù)測(cè)到的第1對(duì)象物和第2對(duì)象物間的將來(lái)的距離df的差比閾值tb要小這一條件。第2個(gè)條件是由提取部121推定出的第1對(duì)象物和第2對(duì)象物的當(dāng)前的速度vc1,vc2的大小比0要大這一條件。第3個(gè)條件是速度vc1、vc2的大小的差比其他的閾值tc要小這一條件。即，分類部123對(duì)于均為移動(dòng)的對(duì)象物的第1對(duì)象物和第2對(duì)象物的組合，在|dc－df|＜tb且|vc1|＞0且|vc2|＞0且|vc1－vc2|＜tc這樣的條件成立的情況下，將第1對(duì)象物和第2對(duì)象物分類成相同小組。該情況下的第1對(duì)象物和第2對(duì)象物例如是由提取部121判定為類別是自行車(chē)的對(duì)象物。該情況下，由分類部123推定出的關(guān)系性是成列行駛的自行車(chē)這一關(guān)系性。另外，將“差”設(shè)為絕對(duì)值。此外，速度vc1、vc2是包含方向的矢量。分類部123可以使用速度vc1、vc2所成的角度來(lái)推定關(guān)系性。具體而言，分類部123在上述第2個(gè)條件、上述第3個(gè)條件和速度vc1,vc2所成的角度比其他的閾值td要小這一條件成立的情況下，推定在第1對(duì)象物和第2對(duì)象物之間存在成列移動(dòng)的對(duì)象物這一關(guān)系性。即，分類部123對(duì)于均為移動(dòng)的對(duì)象物的第1對(duì)象物和第2對(duì)象物的組合，在|vc1|＞0且|vc2|＞0且|vc1－vc2|＜tc且「vc1，vc2所成的角度」＜td這樣的條件成立的情況下，將第1對(duì)象物和第2對(duì)象物分類成相同小組。即使使用這樣的條件，結(jié)果，基于由提取部121計(jì)算出的第1對(duì)象物和第2對(duì)象物間的當(dāng)前的距離dc和由預(yù)測(cè)部122預(yù)測(cè)到的第1對(duì)象物和第2對(duì)象物間的將來(lái)的距離df的差，將多個(gè)對(duì)象物分類成相同小組。

分類部123也可以在上述兩種關(guān)系以外，推定各種關(guān)系性。

處理部124將拍攝圖像101加工成強(qiáng)調(diào)顯示圖像102。強(qiáng)調(diào)顯示圖像102是按小組強(qiáng)調(diào)顯示經(jīng)分類部123分類后的多個(gè)對(duì)象物的圖像。例如，強(qiáng)調(diào)顯示圖像102是對(duì)每個(gè)小組用一個(gè)框圍住被分類部123所分類的多個(gè)對(duì)象物的圖像。處理部124將強(qiáng)調(diào)顯示圖像102輸入顯示裝置140。。

數(shù)據(jù)存儲(chǔ)裝置130例如是hdd(harddiskdrive：硬盤(pán)驅(qū)動(dòng)器)或ssd(solidstatedrive：固態(tài)硬盤(pán))。數(shù)據(jù)存儲(chǔ)裝置130可以搭載于車(chē)輛200，可以由駕駛員拿到車(chē)輛200內(nèi)，也可以設(shè)置在車(chē)輛200的外部。數(shù)據(jù)存儲(chǔ)裝置130存儲(chǔ)對(duì)象物數(shù)據(jù)131和關(guān)系性表格132。對(duì)象物數(shù)據(jù)131是針對(duì)由圖像處理裝置120的提取部121提取出的多個(gè)對(duì)象物分別記錄了提取部121的計(jì)算結(jié)果、判定結(jié)果、推定結(jié)果等的數(shù)據(jù)。對(duì)象物數(shù)據(jù)131被圖像處理裝置120的預(yù)測(cè)部122所參照。關(guān)系性表格132是預(yù)先定義了彼此間存在關(guān)系性的對(duì)象物的類別的組合的表格。關(guān)系性表格132被圖像處理裝置120的分類部123所參照。

顯示裝置140例如是lcd(liquidcrystaldisplay：液晶顯示器)或hud(head－updisplay：平視顯示器)。顯示裝置140搭載于車(chē)輛200。顯示裝置140輸出從圖像處理裝置120的處理部124輸入的強(qiáng)調(diào)顯示圖像102。顯示裝置140包括輸入部141和輸出部142。

輸入部141從圖像處理裝置120的處理部124接收強(qiáng)調(diào)顯示圖像102的輸入。即，向輸入部141輸入強(qiáng)調(diào)顯示圖像102。

輸出部142輸出被輸入至輸入部141的強(qiáng)調(diào)顯示圖像102。

如上所述，強(qiáng)調(diào)顯示圖像102是將拍攝到至少包含一個(gè)移動(dòng)的對(duì)象物在內(nèi)的多個(gè)對(duì)象物的拍攝圖像101經(jīng)過(guò)加工而得到的圖像，是對(duì)基于預(yù)測(cè)到的該多個(gè)對(duì)象物間的將來(lái)的距離df來(lái)分類成小組的該多個(gè)對(duì)象物按小組強(qiáng)調(diào)顯示的圖像。本實(shí)施方式中，在對(duì)象物分組時(shí)，考慮到對(duì)象物間的將來(lái)的距離df。因此，與不考慮對(duì)象物間的將來(lái)的距離df的情況相比，能更適當(dāng)?shù)剡M(jìn)行分組。即，在即使對(duì)象物間的當(dāng)前的距離dc較小但被預(yù)測(cè)為對(duì)象物間的將來(lái)的距離df變大的時(shí)候，在強(qiáng)調(diào)顯示圖像102中，這些對(duì)象物被分別強(qiáng)調(diào)顯示。因此，車(chē)輛200的駕駛員容易單獨(dú)目視確認(rèn)這些對(duì)象物。由此，本實(shí)施方式中，根據(jù)對(duì)象物間將來(lái)的距離df，按駕駛員應(yīng)目視確認(rèn)的單位強(qiáng)調(diào)顯示對(duì)象物，從而能夠輔助安全駕駛。

圖像處理裝置120、數(shù)據(jù)存儲(chǔ)裝置130、顯示裝置140可以形成為一體，也可以任意兩個(gè)形成為一體而另一個(gè)單獨(dú)形成，也可以一個(gè)一個(gè)均單獨(dú)形成。例如，顯示裝置140被安裝為搭載于車(chē)輛200的導(dǎo)航裝置或da(displayaudio：顯示音頻)或hud。圖像處理裝置120被安裝為智能手機(jī)，平板、移動(dòng)電話機(jī)這樣的移動(dòng)終端?；蛘?，圖像處理裝置120作為服務(wù)器計(jì)算機(jī)進(jìn)行安裝?；蛘撸瑘D像處理裝置120與顯示裝置140一起被安裝為導(dǎo)航裝置。數(shù)據(jù)存儲(chǔ)裝置130與圖像處理裝置120一起被安裝為移動(dòng)終端或伺服計(jì)算機(jī)?；蛘?，數(shù)據(jù)存儲(chǔ)裝置130與顯示裝置140一起被安裝為導(dǎo)航裝置?；蛘撸瑪?shù)據(jù)存儲(chǔ)裝置130作為獨(dú)立于圖像處理裝置120和顯示裝置140的單獨(dú)存儲(chǔ)介質(zhì)進(jìn)行安裝。移動(dòng)終端由駕駛員帶入車(chē)輛200，通過(guò)有線或無(wú)線與拍攝裝置110和顯示裝置140通信。伺服計(jì)算機(jī)設(shè)置于數(shù)據(jù)中心等，經(jīng)由互聯(lián)網(wǎng)等網(wǎng)絡(luò)，和拍攝裝置110以及顯示裝置140通信。

另外，本實(shí)施方式所涉及的系統(tǒng)可以是車(chē)載顯示系統(tǒng)100以外的顯示系統(tǒng)。即，本實(shí)施方式可應(yīng)用于車(chē)輛200的駕駛輔助以外的用途。例如，本實(shí)施方式能應(yīng)用于住宅、辦公室等的安全監(jiān)視的輔助。該情況下，拍攝裝置110和顯示裝置140被適當(dāng)設(shè)置在車(chē)輛200以外的場(chǎng)所。

<動(dòng)作的說(shuō)明>

圖2是相當(dāng)于本實(shí)施方式所涉及的顯示方法、示出車(chē)載顯示系統(tǒng)100的動(dòng)作的流程圖。圖3是表示對(duì)象物數(shù)據(jù)131的示例的表。

圖2的s11是拍攝處理。圖2的s12是提取處理。圖2的s13是預(yù)測(cè)處理。圖2的s14是分類處理。圖2的s15是圖像處理。圖2的s16是顯示處理。s12～s15是相當(dāng)于本實(shí)施方式的圖像處理方法，或本實(shí)施方式的圖像處理程序的處理步驟的圖像處理裝置120的動(dòng)作。

圖2的s11中，拍攝裝置110拍攝車(chē)輛200的周邊從而獲得拍攝圖像101。例如，若拍攝裝置110是立體相機(jī)，則拍攝圖像101是拍攝到車(chē)輛200的周邊的三維靜止圖像或動(dòng)圖像。若拍攝裝置110是雷達(dá)，則拍攝圖像101是表示到車(chē)輛200的周邊的障礙物為止的距離的雷達(dá)圖像。

圖2的s12中，圖像處理裝置120的提取部121從s11獲得的拍攝圖像101中提取對(duì)象物。提取部121判斷提取的對(duì)象物的屬性。

具體而言，提取部121按提取到的對(duì)象物從s11獲得的拍攝圖像101中提取對(duì)象物的特征量。例如，在數(shù)據(jù)存儲(chǔ)裝置130預(yù)先按對(duì)象物種類存儲(chǔ)對(duì)象物的特征量的基準(zhǔn)值或基準(zhǔn)范圍。提取部121使用神經(jīng)網(wǎng)、機(jī)器學(xué)習(xí)這樣的具有模式識(shí)別功能的軟件即識(shí)別器，通過(guò)將提取出的特征量與基準(zhǔn)值或者基準(zhǔn)范圍進(jìn)行比較，從而判定提取出的對(duì)象物的類別。提取部121將記錄了當(dāng)前時(shí)刻、提取到的特征量、判定出的類別的數(shù)據(jù)作為圖3所示的對(duì)象物數(shù)據(jù)131寫(xiě)入數(shù)據(jù)存儲(chǔ)裝置130。

提取部121對(duì)提取出每個(gè)的對(duì)象物根據(jù)在s11獲得的拍攝圖像101計(jì)算對(duì)象物的當(dāng)前的相對(duì)位置。“當(dāng)前的相位位置”是指例如從車(chē)輛200到對(duì)象物的當(dāng)前的距離及方向。例如，如果拍攝裝置110是立體相機(jī)，則提取部121基于立體相機(jī)的視差，計(jì)算從車(chē)輛200到對(duì)象物的距離以及方向。若拍攝裝置110是雷達(dá)，則提取部121根據(jù)雷達(dá)的觀測(cè)值計(jì)算距離及方向。如圖3所示，對(duì)象物數(shù)據(jù)131還記錄有由提取部121計(jì)算出的當(dāng)前的相對(duì)位置。

提取部121對(duì)每個(gè)提取出的對(duì)象物計(jì)算當(dāng)前距離dc，該當(dāng)前距離dc是所計(jì)算出的當(dāng)前的相對(duì)位置與其他對(duì)象物的當(dāng)前的相對(duì)位置的差。雖然圖3沒(méi)有示出，對(duì)象物數(shù)據(jù)131還可記錄有由提取部121計(jì)算出的當(dāng)前的距離dc。

提取部121對(duì)每個(gè)提取出的對(duì)象物通過(guò)將本次提取出的特征量與上一次提取出的特征量進(jìn)行比較來(lái)判斷上一次是否也提取了相同的對(duì)象物。提取部121在判定為上一次也提取出相同的對(duì)象物的情況下，根據(jù)計(jì)算出的當(dāng)前的相對(duì)位置與上一次計(jì)算出的相對(duì)位置，推定對(duì)象物當(dāng)前的速度vc。例如，提取部121從數(shù)據(jù)存儲(chǔ)裝置130讀取對(duì)象物數(shù)據(jù)131，該對(duì)象物數(shù)據(jù)131中記錄有由拍攝裝置110上一次拍攝了拍攝圖像101的時(shí)刻、以及與本次提取出的特征量接近的特征量。本次提取出的特征量和上次提取出的特征量是否接近通過(guò)使用上述識(shí)別器來(lái)判斷。提取部121根據(jù)讀取到的對(duì)象物數(shù)據(jù)131中記錄的相對(duì)位置、本次計(jì)算出的當(dāng)前的相對(duì)位置、讀取到的對(duì)象物數(shù)據(jù)131中記錄的時(shí)刻、以及當(dāng)前的時(shí)刻這樣的信息，來(lái)計(jì)算對(duì)象物當(dāng)前的速度vc。在因?yàn)檐?chē)輛200通過(guò)行駛使車(chē)輛200的位置發(fā)生了變化的情況下，提取部121基于車(chē)輛200的位置的變化修正讀取到的對(duì)象物數(shù)據(jù)131中記錄的相對(duì)位置，并計(jì)算對(duì)象物的當(dāng)前的速度vc。另外，提取部121不僅參照當(dāng)前的相對(duì)位置和上次的相對(duì)值，而且也可以從相對(duì)位置的一系列的時(shí)間序列數(shù)據(jù)計(jì)算對(duì)象物的平均速度。如圖3所示，對(duì)象物數(shù)據(jù)131中還記錄有由提取部121推定出的當(dāng)前的速度vc。

在圖2的s13中，圖像處理裝置120的預(yù)測(cè)部122對(duì)每個(gè)s12中被判定為類別為移動(dòng)的對(duì)象物的對(duì)象物，參照s12中寫(xiě)入數(shù)據(jù)存儲(chǔ)裝置130的對(duì)象物數(shù)據(jù)131及過(guò)去寫(xiě)入的對(duì)象物數(shù)據(jù)131，進(jìn)行對(duì)象物的移動(dòng)預(yù)測(cè)。移動(dòng)預(yù)測(cè)例如可以使用卡爾曼濾波器或粒子濾波器。s12中判定出的類別為人的情況下，預(yù)測(cè)部122通過(guò)姿勢(shì)推定判定人是否成為要開(kāi)始跑的姿勢(shì)，預(yù)測(cè)將來(lái)的速度。作為姿勢(shì)推定的方法例如可以使用如下方法：使用上述的識(shí)別器，學(xué)習(xí)人要開(kāi)始跑的姿勢(shì)和除此以外的姿勢(shì)，從而識(shí)別姿勢(shì)。

具體而言，預(yù)測(cè)部122對(duì)每個(gè)s12中判定為種類為移動(dòng)的對(duì)象物的對(duì)象物，通過(guò)比較s12中提取出的特征量和由提取部121過(guò)去提取出的特征量判斷是否從過(guò)去重復(fù)提取了相同的對(duì)象物。預(yù)測(cè)部122在判斷為從過(guò)去重復(fù)提取到相同對(duì)象物的情況下，從相對(duì)位置和速度的歷史，預(yù)測(cè)對(duì)象物的將來(lái)的相對(duì)位置?！皩?lái)的相對(duì)位置”例如是從車(chē)輛200到對(duì)象物的將來(lái)的距離和方向。例如，預(yù)測(cè)部122從數(shù)據(jù)存儲(chǔ)裝置130讀取記錄有與s12中提取出的特征量接近的特征量的對(duì)象物數(shù)據(jù)131。s12中提取出的特征量與過(guò)去提取出的特征量是否接近使用上述識(shí)別器來(lái)判斷。預(yù)測(cè)部122根據(jù)記錄在讀取到的對(duì)象物數(shù)據(jù)131的相對(duì)位置、速度以及時(shí)刻，和在s12中計(jì)算出的當(dāng)前的相對(duì)位置、以及在s12中推定出的速度、以及當(dāng)前時(shí)刻，分析對(duì)象物的相對(duì)位置以及速度的時(shí)間序列變化。在車(chē)輛200通過(guò)行駛使車(chē)輛200的位置發(fā)生變化的情況下，提取部122基于車(chē)輛200的位置的變化修正讀取到的對(duì)象物數(shù)據(jù)131中記錄的相對(duì)位置，并對(duì)對(duì)象物的相對(duì)位置及速度的時(shí)間序列變化進(jìn)行分析。預(yù)測(cè)部122根據(jù)分析結(jié)果預(yù)測(cè)對(duì)象物的將來(lái)的相對(duì)位置。

預(yù)測(cè)部122對(duì)每個(gè)s12中判定為類別是移動(dòng)的對(duì)象物的對(duì)象物，計(jì)算預(yù)測(cè)到的將來(lái)的相對(duì)位置和其他的對(duì)象物的將來(lái)的相對(duì)位置的差即將來(lái)的距離df。

圖2的s14中，圖像處理裝置120的分類部123基于在s13預(yù)測(cè)到的將來(lái)的距離df，將在s12提取出的對(duì)象物分類成小組。即，分類部123對(duì)每個(gè)在s12提取出的對(duì)象物決定對(duì)象物所屬的小組。關(guān)于s14詳細(xì)情況將在下文中進(jìn)行描述。

圖2的s15中，圖像處理裝置120的處理部124對(duì)在s11獲得的拍攝圖像101進(jìn)行加工，生成強(qiáng)調(diào)顯示圖像102。強(qiáng)調(diào)顯示圖像102是對(duì)每個(gè)在s14決定的小組強(qiáng)調(diào)顯示了在s12提取出的對(duì)象物的圖像。例如，強(qiáng)調(diào)顯示圖像102是對(duì)每個(gè)在s14所決定的小組用一個(gè)框圍住在s12提取出的對(duì)象物的圖像。

圖2的s16中，顯示裝置140輸出在s15所生成的強(qiáng)調(diào)顯示圖像102。

圖2的s17中，若車(chē)輛200的行駛結(jié)束，則流程結(jié)束。若車(chē)輛200的行駛不結(jié)束，則流程返回s11。車(chē)輛200的行駛的“結(jié)束”例如是車(chē)輛200的驅(qū)動(dòng)源即發(fā)動(dòng)機(jī)或電動(dòng)機(jī)的停止。

圖4是表示圖2的s14的分類處理的步驟的流程圖。圖5是例示出了關(guān)系性表格132的表。

圖4的s21中，圖像處理裝置120的分類部123在圖2的s12提取出的對(duì)象物中選擇任意的兩個(gè)對(duì)象物即第1對(duì)象物和第2對(duì)象物。

圖4的s22中，對(duì)于s21中選擇的第1對(duì)象物和第2對(duì)象物，分類部123從數(shù)據(jù)存儲(chǔ)裝置130，參照?qǐng)D2的s12中寫(xiě)入數(shù)據(jù)存儲(chǔ)裝置130的對(duì)象物數(shù)據(jù)131，確定第1對(duì)象物的類別和第2對(duì)象物的類別。即，分類部123確定在s21中所選擇的第1對(duì)象物和第2對(duì)象物的類別的組合。

圖4的s23中，分類部123利用數(shù)據(jù)存儲(chǔ)裝置130中存儲(chǔ)的關(guān)系性表格132來(lái)檢索在s22中確定的類別的組合。

如圖5所示，關(guān)系性表格132中，對(duì)每個(gè)“第1對(duì)象物”和“第2對(duì)象物”這兩個(gè)對(duì)象物的類別的組合，定義了“條件”、以及滿足了“條件”的情況下“第1對(duì)象物”和“第2對(duì)象物”之間是否存在“關(guān)系性”。在滿足某“條件”時(shí)，若定義為在滿足了該“條件”的情況下具有“關(guān)系性”，則將“第1對(duì)象物”和“第2對(duì)象物”分類成相同小組。另一方面，在滿足了某“條件”時(shí)，若定義為在滿足了該“條件”的情況下不存在“關(guān)系性”，則將“第1對(duì)象物”和“第2對(duì)象物”分類成不同小組。

例如，對(duì)于人和其他人的組合，定義為在人與其他人間的將來(lái)的距離df大于閾值ta這一條件c1滿足的情況下，應(yīng)推定沒(méi)有特定的關(guān)系性。

對(duì)于人與汽車(chē)的組合，定義為在人與汽車(chē)間的將來(lái)的距離df小于閾值ta、汽車(chē)的當(dāng)前的速度vc2的大小為0這一條件c2滿足的情況下，應(yīng)推定具有汽車(chē)及乘坐該汽車(chē)的人這一關(guān)系性。

對(duì)于人與汽車(chē)的組合，定義為在人與汽車(chē)間的將來(lái)的距離df小于閾值ta、汽車(chē)的當(dāng)前的速度vc2大小為0這一條件c3滿足的情況下，應(yīng)推定具有汽車(chē)及乘坐該汽車(chē)的人這一關(guān)系性。

對(duì)于自行車(chē)和其他自行車(chē)的組合，定義為在自行車(chē)與其他自行車(chē)間的當(dāng)前的距離dc、自行車(chē)與其他自行車(chē)間將來(lái)的距離df的差小于閾值tb，自行車(chē)與其他自行車(chē)的當(dāng)前的速度vc1、vc2的大小比0大，自行車(chē)與其他自行車(chē)的當(dāng)前的速度vc1、vc2的大小的差小于閾值tc這一條件c4滿足的情況下，應(yīng)推定具有成列行駛的自行車(chē)這一關(guān)系性。

對(duì)于汽車(chē)與其他汽車(chē)的組合，定義為在始終為真這一條件c5滿足的情況下，應(yīng)推定為沒(méi)有特定的關(guān)系性。即，定義為由于無(wú)條件應(yīng)推定為不存在關(guān)系性。

圖4的s24中，分類部123判定在圖2的s13所預(yù)測(cè)的第1對(duì)象物和第2對(duì)象物間的將來(lái)的距離df相對(duì)于在s23檢索出的類別的組合是否滿足關(guān)系性表格132中定義的條件。分類部123根據(jù)需要進(jìn)一步判定在圖2的s12中計(jì)算出的第1對(duì)象物與第2對(duì)象物間的當(dāng)前的距離dc、在圖2的s12中推定出的第1對(duì)象物當(dāng)前的速度vc1、在圖2的s12中推定出的第2對(duì)象物的當(dāng)前的速度vc2中任一個(gè)或全部相對(duì)于在s23中檢索出的類別的組合是否滿足關(guān)系性表格132定義的條件。分類部123在判定為滿足條件的情況下，在滿足了該條件的情況下，判定關(guān)系性表格132中是否定義有第1對(duì)象物與第2對(duì)象物間具有關(guān)系性。在關(guān)系性表格132中定義為具有關(guān)系性的情況下，分類部123將第1對(duì)象物和第2對(duì)象物分類成相同小組。另一方面，在分類部123判定為不滿足條件的情況下，或者在關(guān)系性表格132中定義為沒(méi)有關(guān)系性的情況下，分類部123將第1對(duì)象物和第2對(duì)象物分類成不同小組。

圖4的s25中，若從圖2的s12中提取出的對(duì)象物能夠選擇的兩個(gè)對(duì)象物的組合在s21中全部選擇完畢，則流程結(jié)束。若有未選擇的兩個(gè)對(duì)象物的組合，則流程返回s21。

圖6到圖9是表示強(qiáng)調(diào)顯示圖像102的示例。

圖6的示例中，一個(gè)人301和三個(gè)人302～304分別被框305、306包圍。

例如，設(shè)在互相靠近站著的4個(gè)人301～304中，有1個(gè)人301處于將要開(kāi)始跑的姿勢(shì)。該情況下，一個(gè)人301和剩余的三個(gè)人302～304間的當(dāng)前的距離dc較小，但考慮到將來(lái)的距離df變大。人301是第1對(duì)象物，人302是第2對(duì)象物，圖2的s13中預(yù)測(cè)的人301和人302間的將來(lái)的距離df比閾值ta大的情況下，滿足上述條件c1。分類部123通過(guò)參照關(guān)系性表格132，在條件c1滿足的情況下，可推定沒(méi)有特定的關(guān)系性。因此，在圖4的s24中，分類部123推定人301與人302間沒(méi)有關(guān)系性，將人301和人302分類成不同小組。另一方面，分類部123基于未圖示的關(guān)系性表格132的其他定義，將人302和人303分類成相同小組。同樣地，分類部123將人302和人304分類成相同小組。圖2的s15中，處理部124生成圖6所示的強(qiáng)調(diào)顯示圖像102。

圖7的示例中，將人311和汽車(chē)312一并用一個(gè)框313包圍。

例如，設(shè)定人311在離開(kāi)停著的汽車(chē)312的位置，朝向汽車(chē)312。該情況下，人311和汽車(chē)312間的當(dāng)前的距離dc較大，但考慮將來(lái)的距離df變?yōu)?。人311是第1對(duì)象物，汽車(chē)312是第2對(duì)象物，圖2的s13中所預(yù)測(cè)的人311和汽車(chē)312間的將來(lái)的距離df比閾值ta小，圖2的s12中所推定的汽車(chē)312的當(dāng)前的速度vc2的大小為0的情況下，滿足上述條件c2。分類部123通過(guò)參照關(guān)系性表格132，在條件c2滿足的情況下，可推定為具有汽車(chē)312和乘坐該汽車(chē)312的人311這一關(guān)系性。因此，在圖4的s24中，分類部123將人311和汽車(chē)312分類成相同小組。圖2的s15中，處理部124生成圖7所示的強(qiáng)調(diào)顯示圖像102。

圖8的示例中，將兩輛自行車(chē)321、322一并用一個(gè)框323包圍。

例如，設(shè)有兩輛自行車(chē)321、322成列行駛。該情況下，認(rèn)為兩輛自行車(chē)321、322間當(dāng)前的距離dc與將來(lái)的距離df幾乎沒(méi)有差值。自行車(chē)321是第1對(duì)象物，自行車(chē)322是第2對(duì)象物，在圖2的s12中計(jì)算出的自行車(chē)321與自行車(chē)322間的當(dāng)前的距離dc、圖2的s13中所預(yù)測(cè)的自行車(chē)321和自行車(chē)322間的將來(lái)的距離df的差小于閾值tb、圖2的s12中所推定的自行車(chē)321和自行車(chē)322的當(dāng)前的速度vc1、vc2的大小大于0，圖2的s12中所推定的自行車(chē)321和自行車(chē)322的當(dāng)前的速度vc1、vc2的大小的差小于閾值tc的情況下，滿足所述條件c4，而與圖2的s12中計(jì)算出的自行車(chē)321和自行車(chē)322間的當(dāng)前的距離dc無(wú)關(guān)。分類部123通過(guò)參照關(guān)系性表格132，在條件c4滿足的情況下，可推定為具有成列行駛的自行車(chē)321、322這一關(guān)系性。因此，在圖4的s24中，分類部123將自行車(chē)321和自行車(chē)322分類成相同小組。圖2的s15中，處理部124生成圖8所示的強(qiáng)調(diào)顯示圖像102。

另外，在上述示例中，分類部123取代是否滿足條件c4、或者在是否滿足條件c4的基礎(chǔ)上，還可根據(jù)圖2的s13中后方的自行車(chē)322的移動(dòng)預(yù)測(cè)的結(jié)果，判定后方的自行車(chē)322是否沿著前方的自行車(chē)321的移動(dòng)軌跡。

另外，在上述示例中，處理部124可以生成圖9所示的強(qiáng)調(diào)顯示圖像102以取代圖8所示的強(qiáng)調(diào)顯示圖像102。圖8所示的強(qiáng)調(diào)顯示圖像102是拍攝了車(chē)輛200的側(cè)方的圖像，將該圖像中的兩輛自行車(chē)321、322一并用一個(gè)框323包圍。另一方面，圖9所示的強(qiáng)調(diào)顯示圖像102是拍攝了車(chē)輛200的前方的圖像，將該圖像中的前方的自行車(chē)321、和代替該圖像中沒(méi)有拍攝到的后方的自行車(chē)322的標(biāo)記324及箭頭325一并用一個(gè)框323包圍。圖9所示的強(qiáng)調(diào)顯示圖像102中，可將標(biāo)記324和箭頭325視為一個(gè)對(duì)象物。

效果的說(shuō)明

本實(shí)施方式中，基于對(duì)象物間的將來(lái)的距離df，將對(duì)象物分類成小組，而與對(duì)象物間的當(dāng)前的距離dc無(wú)關(guān)。因此，根據(jù)本實(shí)施方式，對(duì)于按每個(gè)小組強(qiáng)調(diào)顯示的對(duì)象物，能夠恰當(dāng)?shù)胤诸惓蓱?yīng)該分別目視確認(rèn)的對(duì)象物和應(yīng)該一并目視確認(rèn)的對(duì)象物。

在圖6的例子中，在4個(gè)人301-304中有一個(gè)人301為要開(kāi)始跑的姿勢(shì)。因此，一個(gè)人301和剩余的三個(gè)人302～304間的當(dāng)前的距離dc較小，但圖像處理裝置120預(yù)測(cè)其將來(lái)的距離df會(huì)變大。圖像處理裝置120生成強(qiáng)調(diào)顯示圖像102，該強(qiáng)調(diào)顯示圖像102中用獨(dú)立的框305、306分別包圍一個(gè)人301和剩余的三個(gè)人302～304。觀察到該強(qiáng)調(diào)顯示圖像102的駕駛員至少能夠從人301跑出去的瞬間開(kāi)始單獨(dú)目視確認(rèn)到人301而區(qū)別于剩余的三個(gè)人302～304。因此，駕駛員容易注意到將要開(kāi)始跑的人301，能夠進(jìn)行安全駕駛。

本實(shí)施方式中，進(jìn)一步根據(jù)對(duì)象物間的關(guān)系性將對(duì)象物分類成小組。因此，根據(jù)本實(shí)施方式，對(duì)于按每個(gè)小組強(qiáng)調(diào)顯示的對(duì)象物，能夠?qū)?yīng)該分別目視確認(rèn)的對(duì)象物和應(yīng)該一并目視確認(rèn)的對(duì)象物更恰當(dāng)?shù)剡M(jìn)行分類。

圖7的示例中，人311朝向汽車(chē)312。因此，人311和汽車(chē)312間的當(dāng)前的距離dc較大，但圖像處理裝置120預(yù)測(cè)到其將來(lái)的距離df會(huì)變小。圖像處理裝置120推定在人311和汽車(chē)312之間具有汽車(chē)312和乘坐該汽車(chē)312的人311這一關(guān)系性。圖像處理裝置120生成強(qiáng)調(diào)顯示圖像102，該強(qiáng)調(diào)顯示圖像102中一并將人311和汽車(chē)312用一個(gè)框313包圍。觀察到該強(qiáng)調(diào)顯示圖像102的駕駛員在人311坐進(jìn)汽車(chē)312之前能夠一并對(duì)人311和汽車(chē)312進(jìn)行目視確認(rèn)。因此，駕駛員也容易注意其他事物，對(duì)于對(duì)象物與對(duì)象物之間的區(qū)域也能作為應(yīng)注意的區(qū)域進(jìn)行識(shí)別，從而能夠安全駕駛。

實(shí)施方式2.

對(duì)于本實(shí)施方式，主要說(shuō)明其與實(shí)施方式1的差異。

以下，依次說(shuō)明本實(shí)施方式所涉及的系統(tǒng)的結(jié)構(gòu)、本實(shí)施方式所涉及的系統(tǒng)的動(dòng)作、本實(shí)施方式的效果。

<結(jié)構(gòu)的說(shuō)明>

本實(shí)施方式的車(chē)載顯示系統(tǒng)100的結(jié)構(gòu)與圖1所示的實(shí)施方式1相同。

本實(shí)施方式中，圖像處理裝置120的提取部121針對(duì)人，判定對(duì)象物的類別是否是兒童。提取部121計(jì)算判定為類別是兒童或動(dòng)物的對(duì)象物的動(dòng)作的變化量ma。

提取部121對(duì)于人進(jìn)一步判定對(duì)象物的類別是否是從汽車(chē)的駕駛座出來(lái)的人、以及對(duì)象物的類別是否是從汽車(chē)的后排座椅出來(lái)的人。

本實(shí)施方式中，圖像處理裝置120的分類部123在由提取部121提取出的多個(gè)對(duì)象物包括由提取部121判定為類別是人的第1對(duì)象物和由提取部121判定為類別是兒童或動(dòng)物的第2對(duì)象物，由提取部121計(jì)算出的第2對(duì)象物的動(dòng)作的變化量ma大于其他閾值te的情況下，將第1對(duì)象物和第2對(duì)象物分類成不同小組。另外，第1對(duì)象物可以是由提取部121判定為類別不是兒童的對(duì)象物，也可以是由提取部121判定為類別是兒童的對(duì)象物。

本實(shí)施方式中，圖像處理裝置120的處理部124在被分類部123在過(guò)去分類成相同小組的2個(gè)以上的對(duì)象物中，至少一個(gè)對(duì)象物被分類部123分類成與剩余的對(duì)象物不同的小組的情況下，作為強(qiáng)調(diào)顯示圖像102的強(qiáng)調(diào)顯示的形式，對(duì)該至少一個(gè)對(duì)象物和該剩余的對(duì)象物使用不同的形式。例如，在至此包含于小組a的對(duì)象物離開(kāi)小組a，形成獨(dú)立的小組b時(shí)，考慮用至此相同的粗細(xì)以及顏色的框包圍屬于小組a的對(duì)象物，用比小組a要粗或者與小組a不同顏色的框包圍屬于小組b的對(duì)象物?；蛘?，考慮用與至此包圍小組a的框相同的粗細(xì)和顏色的框包圍屬于小組b的對(duì)象物，用比小組b要粗或與小組b不同顏色的框包圍屬于小組a的對(duì)象物。在前者的情況下，能夠更強(qiáng)地喚起對(duì)屬于小組b的對(duì)象物的注意。在后者的情況下，能夠更強(qiáng)地喚起對(duì)屬于小組a的對(duì)象物的注意。

<動(dòng)作的說(shuō)明>

以下，使用圖2說(shuō)明相當(dāng)于本實(shí)施方式所涉及的顯示方法的車(chē)載顯示系統(tǒng)100的動(dòng)作。

圖2的s11與實(shí)施方式1相同。

在圖2的s12中，提取部121對(duì)每個(gè)判定為類別為兒童或動(dòng)物的對(duì)象物，通過(guò)比較在s12中提取出的特征量和由提取部121過(guò)去提取出的特征量判斷是否從過(guò)去重復(fù)提取了相同對(duì)象物。提取部121在判斷為從過(guò)去重復(fù)提取了相同對(duì)象物的情況下，根據(jù)相對(duì)位置和速度的歷史，計(jì)算對(duì)象物的動(dòng)作的變化量ma。另外，提取部121也可以計(jì)算對(duì)象物的光流來(lái)取代相對(duì)位置和速度的歷史，并根據(jù)計(jì)算結(jié)果計(jì)算對(duì)象物的動(dòng)作的變化量ma。雖然沒(méi)有圖示，但通過(guò)提取部121寫(xiě)入數(shù)據(jù)存儲(chǔ)裝置130的對(duì)象物數(shù)據(jù)131還記錄有由提取部121計(jì)算出的動(dòng)作的變化量ma。

圖2的s12中提取部121的其他動(dòng)作也與實(shí)施方式1相同。

圖2的s13和s14與實(shí)施方式1相同。但本實(shí)施方式中，關(guān)系性表格132的結(jié)構(gòu)與實(shí)施方式1不同。

圖10是表示關(guān)系性表格132的示例的表。

如圖10所示，關(guān)系性表格132中，對(duì)每個(gè)“第1對(duì)象物”和“第2對(duì)象物”這兩個(gè)對(duì)象物的類別的組合，除了與圖5所示的相同的“條件”和“關(guān)系性”之外，還定義了“解除后強(qiáng)調(diào)對(duì)象物”，該“解除后強(qiáng)調(diào)對(duì)象物”表示在解除了分組的情況下對(duì)“第1對(duì)象物”和“第2對(duì)象物”中哪一個(gè)對(duì)象物進(jìn)行更強(qiáng)的強(qiáng)調(diào)顯示?！敖獬朔纸M的情況”是指分類為相同小組的兩個(gè)對(duì)象物被分類到不同小組的情況。

例如，對(duì)于人和汽車(chē)的組合，定義了下述情況，即：在人從汽車(chē)的駕駛座出來(lái)這一條件c6滿足的情況下，更強(qiáng)地強(qiáng)調(diào)顯示人，以及在人從汽車(chē)的后排座椅出來(lái)這一條件c7滿足的情況下，更強(qiáng)地強(qiáng)調(diào)顯示汽車(chē)。

對(duì)于人與動(dòng)物的組合，定義了下述情況，即：在人和動(dòng)物間的將來(lái)的距離df比閾值ta小這一條件c8滿足的情況下，應(yīng)該推定具有動(dòng)物及帶著該動(dòng)物的人這一關(guān)系性，以及在動(dòng)物的動(dòng)作變化量ma比閾值te大這一條件c9滿足的情況下，更強(qiáng)地強(qiáng)調(diào)顯示動(dòng)物。

另外，在對(duì)某兩個(gè)對(duì)象物的類別的組合所定義的多個(gè)條件同時(shí)滿足的情況下，這些多個(gè)條件中，推定為具有關(guān)系性的條件與推定為不具有關(guān)系性的條件混合存在時(shí)，推定為沒(méi)有關(guān)系性的條件優(yōu)先。例如，對(duì)于人和動(dòng)物的組合，即使條件c8和條件c9均滿足，也有條件c9優(yōu)先，人和動(dòng)物被分類成不同小組。在推定為沒(méi)有關(guān)系性的兩個(gè)以上的條件同時(shí)滿足的情況下，例如，設(shè)為依照對(duì)于各個(gè)條件預(yù)先設(shè)定的優(yōu)先順序。

例如，設(shè)為人帶著動(dòng)物步行。人類是第1對(duì)象物，動(dòng)物是第2對(duì)象物，在圖2的s13中所預(yù)測(cè)的人類和動(dòng)物間的將來(lái)的距離df比閾值ta小的情況下滿足上述條件c8。分類部123通過(guò)參照關(guān)系性表格132，在條件c8滿足了的情況下，可推定為具有動(dòng)物及帶著動(dòng)物的人的關(guān)系性。因此，在圖4的s24中，分類部123將人和動(dòng)物分類成相同小組。

然后，動(dòng)物頻繁地進(jìn)行突發(fā)的動(dòng)作。在圖2的s12中計(jì)算出的動(dòng)物的動(dòng)作的變化量ma大于閾值te的情況下，比條件c8優(yōu)先度高的條件c9被滿足。分類部123通過(guò)參照關(guān)系性表格132，在條件c9滿足了的情況下，可推定沒(méi)有特定的關(guān)系性。因此，在圖4的s24中，分類部123將人和動(dòng)物分類成不同小組。另外，分類部123在條件c9滿足了的情況下，可以考慮通過(guò)推定人和人帶著的危險(xiǎn)動(dòng)物這一關(guān)系性，將人和動(dòng)物分類成不同小組。

如上所述，分類部123在關(guān)系性表格132中所定義的推定為沒(méi)有關(guān)系性的條件被滿足的情況下，解除分組。

圖2的s15中，處理部124對(duì)在s11獲得的拍攝圖像101進(jìn)行加工，生成強(qiáng)調(diào)顯示圖像102。s14中被分類成相同小組的兩個(gè)以上對(duì)象物中，至少一個(gè)對(duì)象物被分類成與s14中剩余的對(duì)象物不同的小組的情況下，處理部124參照數(shù)據(jù)存儲(chǔ)裝置130中存儲(chǔ)的關(guān)系性表格132，生成比分類成另一個(gè)小組的對(duì)象物更強(qiáng)地強(qiáng)調(diào)顯示了分類成任一個(gè)小組的對(duì)象物的圖像，以作為強(qiáng)調(diào)顯示圖像102。

效果的說(shuō)明

本實(shí)施方式中，在過(guò)去分類成相同小組的兩個(gè)以上的對(duì)象物中至少一個(gè)對(duì)象物被分類成與剩余的對(duì)象物不同的小組的情況下，作為強(qiáng)調(diào)顯示的形式，對(duì)該至少一個(gè)對(duì)象物和該剩余的對(duì)象物使用不同的形式。因此，根據(jù)本實(shí)施方式，能夠明確地，使與其他對(duì)象物一并進(jìn)行目視確認(rèn)的對(duì)象物變化成應(yīng)單獨(dú)進(jìn)行目視確認(rèn)的對(duì)象物。

例如，在正和成人一起步行的兒童或者飼養(yǎng)主人帶的動(dòng)物開(kāi)始搗亂時(shí)，需要注意兒童或者動(dòng)物。本實(shí)施方式中，能夠在這種情況下解除分組，容易注意兒童或動(dòng)物。

在人從汽車(chē)下來(lái)時(shí)，也需要注意人或汽車(chē)。本實(shí)施方式中，能夠在這種情況下解除分組，容易注意人或汽車(chē)。

圖11是表示本發(fā)明的實(shí)施方式所涉及的車(chē)載顯示系統(tǒng)100的硬件結(jié)構(gòu)的示例的圖。

圖11中，車(chē)載顯示系統(tǒng)100是計(jì)算機(jī)，包括輸出裝置910、輸入裝置920、存儲(chǔ)裝置930、處理裝置940這樣的硬件。硬件被提取部121、預(yù)測(cè)部122、分類部123、處理部124這樣的圖像處理裝置120的各部分所利用。

輸出裝置910例如是顯示裝置140、打印機(jī)、通信模塊。輸出裝置910由圖像處理裝置120的各部分利用于數(shù)據(jù)、信息、信號(hào)的輸出或發(fā)送。

輸入裝置920例如是拍攝裝置110、鍵盤(pán)、鼠標(biāo)、觸摸面板、通信模塊。輸入裝置920被利用于由圖像處理裝置120的各部分進(jìn)行數(shù)據(jù)、信息、信號(hào)的輸入或接收。

存儲(chǔ)裝置930例如是數(shù)據(jù)存儲(chǔ)裝置130、rom(readonlymemory：只讀存儲(chǔ)器)、ram(randomaccessmemory：隨機(jī)存取存儲(chǔ)器)、hdd、ssd。存儲(chǔ)裝置930存儲(chǔ)程序931、文件932。程序931中包含執(zhí)行圖像處理裝置120的各部分的處理的程序。文件932中包含由圖像處理裝置120的各部分進(jìn)行運(yùn)算、加工、讀取、寫(xiě)入、利用、輸入、輸出等的數(shù)據(jù)、信息、信號(hào)等。例如，數(shù)據(jù)存儲(chǔ)裝置130中存儲(chǔ)的文件932包含對(duì)象物數(shù)據(jù)131和關(guān)系性表格132。

處理裝置940例如是cpu(centralprocessingunit：中央處理器)、gpu(graphicsprocessingunit：圖像處理單元)。處理裝置940經(jīng)由總線等與其他的硬件器件相連接，并控制這些硬件器件。處理裝置940從存儲(chǔ)裝置930讀取程序931，執(zhí)行程序931。處理裝置940被利用于圖像處理裝置120的各部分進(jìn)行運(yùn)算、加工、讀取、寫(xiě)入、利用、輸入、輸出等。另外，多個(gè)處理裝置940也可以協(xié)同執(zhí)行程序931。例如，gpu執(zhí)行將拍攝圖像101加工成強(qiáng)調(diào)顯示圖像102的處理部124的處理，也可以使cpu執(zhí)行其他提取部121和預(yù)測(cè)部122和分類部123的處理。

圖像處理裝置120的各部分可以將“部”替換為“電路”、“裝置”、“設(shè)備”。此外，圖像處理裝置120的各部分，也也可以將“部”替換為“工序”、“步驟”、“處理”。即，圖像處理裝置120的各部分可以僅由軟件實(shí)現(xiàn)，也可以僅由硬件處理，或者也可以由軟件和硬件的組合來(lái)實(shí)現(xiàn)。軟件作為程序931可以預(yù)先存儲(chǔ)于存儲(chǔ)裝置930，可以從互聯(lián)網(wǎng)等網(wǎng)絡(luò)下載并存儲(chǔ)于存儲(chǔ)裝置930，也可以從可拆卸的記錄介質(zhì)移動(dòng)或拷貝并存儲(chǔ)到存儲(chǔ)裝置930。程序931使計(jì)算機(jī)作為圖像處理裝置120的各部分發(fā)揮作用?；蛘撸绦?31使計(jì)算機(jī)執(zhí)行圖像處理裝置120的各部分的處理。硬件例如可以是asic(applicationspecificintegratedcircuit：專用集成電路)、fpgc(fieldprogrammablegatearray：現(xiàn)場(chǎng)可編程門(mén)陣列)這樣的集成電路，也可以是分立元件的組合。

以上，對(duì)本發(fā)明的實(shí)施方式進(jìn)行了說(shuō)明，也可以組合這些實(shí)施方式中的某些來(lái)實(shí)施。或者，可以對(duì)這些實(shí)施方式中任一個(gè)或幾個(gè)實(shí)施部分。例如，在這些實(shí)施方式的說(shuō)明中作為“部”進(jìn)行說(shuō)明，可以僅采用其中任一個(gè)，也可以采用幾個(gè)的任意組合。另外，本發(fā)明不限于這些實(shí)施方式，根據(jù)需要可進(jìn)行各種變更。

標(biāo)號(hào)說(shuō)明

100車(chē)載顯示系統(tǒng)，101拍攝圖像，102強(qiáng)調(diào)顯示圖像，110拍攝裝置，120圖像處理裝置，121提取部，122預(yù)測(cè)部，123分類部，124處理部，130數(shù)據(jù)存儲(chǔ)裝置，131對(duì)象物數(shù)據(jù)，132關(guān)系性表格，140顯示裝置，141輸入部，142輸出部，200車(chē)輛，301～304人，305、306框，311人，312汽車(chē)，313框，321、322自行車(chē)，323框，324標(biāo)記，325箭頭，910輸出裝置，920輸入裝置，930存儲(chǔ)裝置，931程序，932文件，940處理裝置。