本申請(qǐng)基于并要求2015年5月21日提交的第2015-103861號(hào)在先日本專利申請(qǐng)的優(yōu)先權(quán)，此在先申請(qǐng)的全部?jī)?nèi)容在此引入作為參考。

技術(shù)領(lǐng)域

在此討論的實(shí)施例涉及圖像處理設(shè)備和圖像處理方法。

背景技術(shù)：

已知具有一種常規(guī)裝置，其通過(guò)使用安裝在車輛上的障礙物傳感器來(lái)檢測(cè)位于駕駛者盲點(diǎn)處的障礙物，并且向駕駛者通知檢測(cè)到的障礙物。當(dāng)檢測(cè)到障礙物時(shí)，該裝置通過(guò)執(zhí)行顯示切換向駕駛者通知障礙物(例如參見第2013-190957號(hào)日本特許專利公開)。

但是，如同常規(guī)裝置一樣，當(dāng)每次檢測(cè)到障礙物而執(zhí)行顯示切換時(shí)，該裝置都向駕駛者通知障礙物，即使當(dāng)不需要向駕駛者通知障礙物時(shí)也是如此。如上所述，在某些情況下，常規(guī)裝置不能適當(dāng)?shù)叵蝰{駛者通知障礙物。

考慮到上面問題，已實(shí)現(xiàn)實(shí)施例的一個(gè)方面，并且該實(shí)施例的一個(gè)目標(biāo)是提供一種能夠適當(dāng)?shù)叵蝰{駛者通知障礙物的圖像處理設(shè)備和圖像處理方法。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)實(shí)施例的一個(gè)方面的圖像處理設(shè)備包括顯示控制器和判定單元。所述顯示控制器基于來(lái)自圖像捕獲設(shè)備的圖像，當(dāng)從虛擬視點(diǎn)查看車輛周 邊時(shí)生成合成圖像，并且導(dǎo)致顯示單元顯示所述合成圖像。所述判定單元在所述顯示單元上顯示包括所述合成圖像的虛擬視點(diǎn)屏幕以外的屏幕的情況下，當(dāng)檢測(cè)所述車輛周圍的障礙物的檢測(cè)器檢測(cè)到所述障礙物時(shí)，判定是否滿足用于切換到通知屏幕以便向乘員通知所述障礙物的存在的切換條件。當(dāng)所述判定單元判定滿足所述切換條件時(shí)，所述顯示控制器導(dǎo)致所述顯示單元顯示通過(guò)在所述虛擬視點(diǎn)屏幕上疊加預(yù)定通知圖像獲得的通知屏幕。

根據(jù)實(shí)施例的一個(gè)方面，可提供一種能夠適當(dāng)?shù)叵蜍囕v的駕駛者通知障礙物的圖像處理設(shè)備和圖像處理方法。

附圖說(shuō)明

當(dāng)結(jié)合附圖考慮時(shí)，通過(guò)參考以下詳細(xì)描述，可以更好地理解以及更完整地了解實(shí)施例及其附帶的許多優(yōu)點(diǎn)，這些附圖是：

圖1A是示出車輛與障礙物之間的位置關(guān)系的示意圖；

圖1B是示出在顯示單元上顯示的屏幕的一個(gè)實(shí)例的圖；

圖1C是示出在顯示單元上顯示的屏幕的一個(gè)實(shí)例的圖；

圖2是示出根據(jù)一個(gè)實(shí)施例的周邊監(jiān)視系統(tǒng)的配置實(shí)例的圖；

圖3是示出根據(jù)所述實(shí)施例的圖像捕獲單元的布置實(shí)例的圖；

圖4是示出根據(jù)所述實(shí)施例的從圖像控制器生成的合成圖像的一個(gè)實(shí)例的圖；

圖5是示出根據(jù)所述實(shí)施例的從圖像控制器生成的合成圖像的另一個(gè)實(shí)例的圖；

圖6是示出根據(jù)所述實(shí)施例的顯示條件表的圖；

圖7是示出根據(jù)所述實(shí)施例的顯示停止條件表的圖；

圖8是示出根據(jù)所述實(shí)施例的停止或條件表的圖；

圖9是說(shuō)明根據(jù)所述實(shí)施例的停止或條件的圖；

圖10是示出根據(jù)所述實(shí)施例的通知開始處理的流程圖；以及

圖11是示出根據(jù)所述實(shí)施例的通知終止處理的流程圖。

具體實(shí)施方式

以下，將參考附圖詳細(xì)解釋本公開的圖像處理設(shè)備和圖像處理方法的一個(gè)實(shí)施例。此外，以下公開的實(shí)施例并非旨在限制本發(fā)明。

1.圖像處理方法

圖1A至1C是示出根據(jù)一個(gè)實(shí)施例的圖像處理方法的解釋圖。圖像處理方法例如由安裝在車輛C上的圖像處理設(shè)備10執(zhí)行。圖1A是示出車輛C與障礙物之間的位置關(guān)系的示意圖。圖1B和1C是示出在顯示單元上顯示的屏幕的實(shí)例的圖。

在根據(jù)所述實(shí)施例的圖像處理方法中，通過(guò)在顯示單元(未示出)上顯示由安裝在車輛C上的檢測(cè)器40a至40d檢測(cè)到的障礙物，向駕駛者通知該障礙物。在此，盡管解釋將人H檢測(cè)為障礙物，但障礙物并不限于人H。例如，障礙物可以是諸如自行車和摩托車之類的其它車輛，或者可以是電桿或樹。

圖像處理設(shè)備10基于來(lái)自安裝在車輛C上的圖像捕獲設(shè)備(未示出)的所捕獲的圖像輸入，針對(duì)從虛擬視點(diǎn)查看車輛周邊的情況生成合成圖像。圖像處理設(shè)備10導(dǎo)致顯示單元(未示出)顯示所生成的合成圖像。如上所述，顯示單元顯示包括合成圖像的虛擬視點(diǎn)屏幕。

例如，如圖1B和1C的上部所示，顯示單元顯示包括由導(dǎo)航設(shè)備生成的導(dǎo)航地圖的圖像100(以下稱為導(dǎo)航圖像)。如上所述，顯示單元顯示包括導(dǎo)航圖像100的導(dǎo)航屏幕101。

以下，在其中例如在顯示單元上顯示導(dǎo)航屏幕101作為包括合成圖像的虛擬視點(diǎn)屏幕以外的屏幕的情況下，將解釋當(dāng)作為障礙物的人H接近車輛時(shí)由圖像處理設(shè)備10執(zhí)行的圖像處理方法。

在車輛C周圍檢測(cè)障礙物的檢測(cè)器40a至40d安裝在車輛C上。檢測(cè)器40a至40d例如是間隙聲吶(clearance sonar)。檢測(cè)器40a至40d具有預(yù)定檢測(cè)范圍R1至R4，以便將位于檢測(cè)范圍R1至R4內(nèi)的物體檢測(cè)為障礙物。在圖1A中，檢測(cè)器40a將位于預(yù)定檢測(cè)范圍R1內(nèi)的人H檢 測(cè)為障礙物。

在其中在顯示單元上顯示導(dǎo)航屏幕101的情況下，當(dāng)檢測(cè)器40a檢測(cè)到人H時(shí)，圖像處理設(shè)備10判定是否滿足用于切換到通知屏幕200的切換條件。通知屏幕200是用于向駕駛者通知作為障礙物的人H的存在的屏幕。

例如，在其中在顯示單元上顯示導(dǎo)航屏幕101(如圖1B和1C的上部所示)的情況下，當(dāng)駕駛者正在操作導(dǎo)航設(shè)備時(shí)，圖像處理設(shè)備10將顯示單元的顯示更改為通知屏幕200導(dǎo)致妨礙駕駛者的操作。因此，圖像處理設(shè)備10例如采用針對(duì)導(dǎo)航設(shè)備的操作的有無(wú)作為切換條件。當(dāng)未在導(dǎo)航設(shè)備上執(zhí)行操作時(shí)，圖像處理設(shè)備10從導(dǎo)航屏幕切換到通知屏幕200。另一方面，當(dāng)在導(dǎo)航設(shè)備上執(zhí)行操作時(shí)，圖像處理設(shè)備10不從導(dǎo)航屏幕切換到通知屏幕。

當(dāng)判定滿足切換條件(即，未在導(dǎo)航設(shè)備上執(zhí)行操作)時(shí)，圖像處理設(shè)備10導(dǎo)致顯示單元顯示通知屏幕200。例如，如圖1B的下部所示，通知屏幕200是包括合成圖像300和捕獲的圖像500的屏幕。通過(guò)在虛擬視點(diǎn)圖像上疊加預(yù)定通知圖像41而獲得合成圖像300。

另一方面，當(dāng)判定不滿足切換條件(即，在導(dǎo)航設(shè)備上執(zhí)行操作)時(shí)，圖像處理設(shè)備10不向駕駛者通知障礙物，即使當(dāng)檢測(cè)器40a將人H檢測(cè)為障礙物時(shí)也是如此。因此，如圖1C的下部所示，持續(xù)在顯示單元上顯示包括導(dǎo)航圖像100的導(dǎo)航屏幕101。

如上所述，在其中在顯示單元上顯示虛擬視點(diǎn)屏幕以外的屏幕的情況下，當(dāng)滿足用于切換到通知屏幕200的切換條件時(shí)，圖像處理設(shè)備10將顯示單元的顯示更改為通知屏幕200。因此，在需要通知的情況下，圖像處理設(shè)備10能夠適當(dāng)?shù)叵蝰{駛者通知障礙物。應(yīng)該注意，如上所述采用針對(duì)導(dǎo)航設(shè)備的操作的有無(wú)作為切換條件僅是一個(gè)實(shí)例。圖像處理設(shè)備10能夠基于切換條件以外的條件，判定是否執(zhí)行切換到通知屏幕200。以下，將進(jìn)一步解釋包括圖像處理設(shè)備10的周邊監(jiān)視系統(tǒng)1。

2.周邊監(jiān)視系統(tǒng)

圖2是示出根據(jù)所述實(shí)施例的周邊監(jiān)視系統(tǒng)1的配置實(shí)例的圖。如圖2中所示，周邊監(jiān)視系統(tǒng)1包括圖像處理設(shè)備10、圖像捕獲設(shè)備20、導(dǎo)航設(shè)備30、檢測(cè)器40和傳感器組件50。

2.1圖像捕獲設(shè)備

如圖3中所示，圖像捕獲設(shè)備20包括放置在車輛C前方的前方圖像捕獲單元20a、放置在車輛C后方的后方圖像捕獲單元20b、放置在車輛C右側(cè)的右側(cè)圖像捕獲單元20c、以及放置在車輛C左側(cè)的左側(cè)圖像捕獲單元20d。圖3是示出圖像捕獲單元20a至20d的布置實(shí)例的圖。

圖像捕獲單元20a至20d包括諸如電荷耦合器件(CCD)和互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)之類的圖像捕獲元件，并且將由圖像捕獲元件捕獲的車輛C周圍的圖像(以下稱為捕獲的圖像)輸出到圖像處理設(shè)備10。此外，圖像捕獲單元20a至20d捕獲其成像方向是車輛C的前、后、右和左方向的相應(yīng)圖像。

圖像捕獲單元20a至20d采用廣角鏡頭，例如魚眼鏡頭。圖像捕獲單元20a至20d的每一個(gè)具有大小不小于180度的視角。通過(guò)使用圖像捕獲單元20a至20d，能夠捕獲車輛C的完整周邊。

2.2導(dǎo)航設(shè)備

圖2中所示的導(dǎo)航設(shè)備30包括顯示單元31、語(yǔ)音輸出單元32、輸入操作單元33以及控制器34。當(dāng)車輛C的駕駛者正在駕駛時(shí)，導(dǎo)航設(shè)備30具有導(dǎo)航功能和音頻功能。此外，導(dǎo)航設(shè)備30將在顯示單元31上顯示的屏幕上的信息和由輸入操作單元33接收的有關(guān)輸入操作的信息輸出到圖像處理設(shè)備10。

顯示單元31包括液晶顯示器(LCD)。顯示單元31例如根據(jù)控制器34的指示，顯示導(dǎo)航圖像100(參見圖1)和基于電視廣播信號(hào)的圖像(以下稱為電視圖像)。此外，顯示單元31顯示捕獲的圖像、虛擬視點(diǎn)圖像或合成圖像，如后面描述的那樣。

語(yǔ)音輸出單元32包括揚(yáng)聲器。語(yǔ)音輸出單元32例如根據(jù)控制器34的指示，輸出導(dǎo)航功能的語(yǔ)音指導(dǎo)和基于電視廣播信號(hào)的語(yǔ)音。此外，輸 入操作單元33接收由操作者針對(duì)導(dǎo)航設(shè)備30執(zhí)行的輸入操作。此外，當(dāng)顯示單元31例如是觸摸屏顯示器時(shí)，顯示單元31可以具有輸入操作單元33的功能。

控制器34控制包括在導(dǎo)航設(shè)備30中的單元?？刂破?4例如基于由輸入操作單元33接收的輸入操作，導(dǎo)致顯示單元31顯示預(yù)定圖像或者導(dǎo)致語(yǔ)音輸出單元32輸出音頻數(shù)據(jù)。

2.3檢測(cè)器

如圖3中所示，檢測(cè)器40包括放置在車輛C右前方的右前檢測(cè)器40a、放置在車輛C左前方的左前檢測(cè)器40b、放置在車輛C右后方的右后檢測(cè)器40c、以及放置在車輛C左后方的左后檢測(cè)器40d。

檢測(cè)器40a至40d是間隙聲吶。檢測(cè)器40a至40d將位于相應(yīng)間隙聲吶的檢測(cè)范圍R1至R4內(nèi)的物體檢測(cè)為障礙物。檢測(cè)器40a至40d的每一個(gè)向圖像處理設(shè)備10通知檢測(cè)到的障礙物。應(yīng)該注意，檢測(cè)器40a至40d并不限于諸如間隙聲吶之類的超聲傳感器。檢測(cè)器40a至40d可以是諸如毫米波雷達(dá)之類的無(wú)線電波傳感器。

檢測(cè)器40的布置并不限于圖3中所示的實(shí)例。例如，與后聲吶一樣，檢測(cè)器40可以設(shè)置在車輛C后方。此外，檢測(cè)器40a至40d的數(shù)量可以是四個(gè)或更多。

2.4傳感器組件

傳感器組件50包括各種類型的傳感器，例如檢測(cè)車輛C的狀態(tài)的檔位傳感器51和速度傳感器52。檔位傳感器51檢測(cè)換檔桿(未示出)的位置。換檔桿的位置包括其中車輛C完全停止的“駐車”以及其中車輛C向后移動(dòng)的“倒車”。速度傳感器52檢測(cè)車輛C的行駛速度(以下稱為車輛速度)。傳感器組件50將每個(gè)傳感器的檢測(cè)結(jié)果輸出到圖像處理設(shè)備10。

2.5圖像處理設(shè)備

圖像處理設(shè)備10包括圖像控制器11(相當(dāng)于“顯示控制器”的實(shí)例)、判定單元12和存儲(chǔ)單元13。

2.5.1圖像控制器

圖像控制器11針對(duì)從圖像捕獲設(shè)備20獲得的圖像數(shù)據(jù)執(zhí)行各種圖像處理，并且生成要在顯示單元31上顯示的捕獲的圖像、虛擬視點(diǎn)圖像或合成圖像。

圖像控制器11從圖像捕獲單元20a至20d獲得捕獲的圖像數(shù)據(jù)。圖像控制器11根據(jù)要在顯示單元31上顯示的圖像的類型，從圖像捕獲單元20a至20d的所捕獲的圖像中選擇一個(gè)或多個(gè)圖像。圖像控制器11根據(jù)判定單元12的通知，選擇一個(gè)或多個(gè)捕獲的圖像。

圖像控制器11針對(duì)多個(gè)捕獲的圖像執(zhí)行坐標(biāo)變換過(guò)程，并且生成虛擬視點(diǎn)圖像(這是從虛擬視點(diǎn)查看的圖像)。作為坐標(biāo)變換過(guò)程，圖像控制器11例如在預(yù)定投影平面上投影(映射)捕獲的圖像，并且在預(yù)定投影平面上所投影的捕獲圖像中，設(shè)置當(dāng)從虛擬視點(diǎn)查看時(shí)在預(yù)定視角范圍內(nèi)的圖像作為虛擬視點(diǎn)圖像。

例如，圖像控制器11存儲(chǔ)表，該表指示包括在圖像捕獲單元20a至20d的捕獲的圖像中的數(shù)據(jù)的位置與預(yù)定投影平面的位置之間的對(duì)應(yīng)關(guān)系。通過(guò)使用該表，圖像控制器11將包括在圖像捕獲單元20a至20d的捕獲的圖像中的數(shù)據(jù)投影在預(yù)定投影平面的對(duì)應(yīng)位置上。

預(yù)定投影平面例如具有基本半球形(例如，碗形)。半球形的中心區(qū)域(例如，碗的底部)是車輛C的位置，并且車輛C的位置外部(例如，基本半球形的外周區(qū)域)相當(dāng)于車輛C的周圍區(qū)域。應(yīng)該注意，預(yù)定投影平面并不限于曲面。它例如可以是平面。

圖像控制器11生成通過(guò)在虛擬視點(diǎn)圖像上疊加預(yù)定通知圖像而獲得的合成圖像。例如，預(yù)定通知圖像是對(duì)應(yīng)于檢測(cè)器40的任一檢測(cè)范圍R1至R4的圖像。圖像控制器11通過(guò)在虛擬視點(diǎn)圖像上疊加通知圖像，生成合成圖像，其中通知圖像是這樣的圖像：該圖像指示沿著其中檢測(cè)器40檢測(cè)障礙物的方向(前或后方向)的檢測(cè)范圍(R1至R4)。

圖4是示出從圖像控制器11生成的通知屏幕200的一個(gè)實(shí)例的圖。如圖4中所示，當(dāng)檢測(cè)器40將位于車輛C前方的人H檢測(cè)為障礙物時(shí)，圖 像控制器11生成合成圖像300作為通知屏幕200，合成圖像300通過(guò)在虛擬視點(diǎn)圖像600上疊加與設(shè)置在車輛C前方的檢測(cè)器40a、40b的檢測(cè)范圍R1、R2對(duì)應(yīng)的圖像41a、41b(通知圖像)而獲得。

虛擬視點(diǎn)圖像600上的圖像41a、41b不一定與實(shí)際檢測(cè)范圍R1、R2相同。合成圖像300是指示其中障礙物存在于車輛C周圍的圖像便已足夠。例如，因?yàn)橥ㄖ獔D像可能是箭頭，所以它可能不是對(duì)應(yīng)于檢測(cè)范圍R1、R2的圖像41a、41b。

從圖像控制器11生成的通知屏幕200并不限于圖4中所示的實(shí)例。例如，如圖5中所示，可以在通過(guò)使用框架圍繞障礙物而執(zhí)行突出顯示之后，顯示檢測(cè)到的障礙物。在這種情況下，圖像控制器11可以通過(guò)使合成圖像300(通過(guò)在虛擬視點(diǎn)圖像上疊加通知圖像41a、41b而獲得)與其中針對(duì)障礙物執(zhí)行突出顯示的捕獲的前方圖像500并列而生成通知屏幕200。

在虛擬視點(diǎn)圖像600上疊加通知圖像41a、41b的位置并不限于圖4和5中所示的實(shí)例。例如，圖像控制器11可以在被包括在合成圖像300中的車輛圖像上疊加通知圖像。

如上所述，圖像控制器11根據(jù)判定單元12的通知，生成合成圖像300和捕獲的圖像500或虛擬視點(diǎn)圖像600，并且導(dǎo)致顯示單元31顯示圖像(多個(gè))。

2.5.2判定單元

在其中在顯示單元31上顯示包括合成圖像300的虛擬視點(diǎn)屏幕以外的屏幕的情況下，當(dāng)檢測(cè)器40檢測(cè)到障礙物時(shí)，判定單元12判定是否滿足用于切換到通知屏幕200以便向駕駛者通知障礙物的存在的切換條件。當(dāng)判定滿足切換條件時(shí)，判定單元12向圖像控制器11通知顯示檢測(cè)器40的檢測(cè)結(jié)果和通知屏幕200的效果。

當(dāng)在顯示單元31上顯示通知屏幕200時(shí)，判定單元12判定是否滿足用于終止通知屏幕200的顯示的終止條件。當(dāng)判定滿足終止條件時(shí)，判定單元12通知圖像控制器11終止通知屏幕200的顯示。

2.5.2.1切換條件的實(shí)例

判定單元12例如判定是否滿足每個(gè)顯示條件。當(dāng)滿足所有顯示條件時(shí)，判定單元12判定滿足切換條件。將通過(guò)使用圖6解釋顯示條件。圖6是示出指示滿足或不滿足每個(gè)顯示條件的顯示條件表的圖。

如上所述，作為一個(gè)實(shí)例，由判定單元12判定的顯示條件包括針對(duì)導(dǎo)航設(shè)備30的輸入操作的有無(wú)。例如，當(dāng)在檢測(cè)器40檢測(cè)到障礙物之后經(jīng)過(guò)預(yù)定時(shí)間為止未執(zhí)行針對(duì)導(dǎo)航設(shè)備30的輸入操作時(shí)，判定單元12判定沒有輸入操作。

換言之，判定單元12判定滿足條件“輸入操作關(guān)閉”，并且將顯示條件表的“輸入操作關(guān)閉”設(shè)置為“1”。另一方面，例如當(dāng)在檢測(cè)器40檢測(cè)到障礙物之后經(jīng)過(guò)預(yù)定時(shí)間為止執(zhí)行了針對(duì)導(dǎo)航設(shè)備30的輸入操作時(shí)，判定單元12判定存在輸入操作，并且將顯示條件表的“輸入操作關(guān)閉”設(shè)置為“0”。

在此，在檢測(cè)到障礙物之后的預(yù)定時(shí)間內(nèi)判定針對(duì)導(dǎo)航設(shè)備30的輸入操作的有無(wú)。但是，例如，可以在檢測(cè)障礙物之前的預(yù)定時(shí)間內(nèi)判定輸入操作的有無(wú)。換言之，例如當(dāng)直到在檢測(cè)器40檢測(cè)到障礙物之前的預(yù)定時(shí)間內(nèi)未執(zhí)行針對(duì)導(dǎo)航設(shè)備30的輸入操作時(shí)，判定單元12判定沒有輸入操作。

作為顯示條件的一個(gè)實(shí)例，判定單元12判定顯示單元31是否正在顯示包括電視圖像的電視屏幕。例如當(dāng)未在顯示單元31上顯示電視屏幕時(shí)，判定單元12判定滿足顯示條件，并且將顯示條件表的“電視屏幕關(guān)閉”設(shè)置為“1”。另一方面，例如當(dāng)在顯示單元31上顯示電視屏幕時(shí)，判定單元31判定不滿足顯示條件，并且將顯示條件表的“電視屏幕關(guān)閉”設(shè)置為“0”。

如上所述，當(dāng)在顯示單元31上顯示電視屏幕時(shí)，認(rèn)為駕駛者正在觀看電視屏幕并且未駕駛車輛C。在這種情況下，判定單元12判定可能未向駕駛者通知障礙物，并且因此不執(zhí)行切換到通知屏幕200。因此，駕駛者可以觀看電視而不會(huì)被通知屏幕200遮擋。此外，當(dāng)未在顯示單元上顯示電視屏幕時(shí)，判定單元12能夠通過(guò)判定執(zhí)行切換到通知屏幕200，適當(dāng)?shù)叵? 駕駛者通知障礙物。

判定單元12例如根據(jù)換檔桿的位置，判定是否滿足顯示條件。具體地說(shuō)，例如當(dāng)換檔桿位于駐車和倒車以外的位置時(shí)，判定單元12判定滿足顯示條件，并且將顯示條件表的“除了換檔桿P、R以外”設(shè)置為“1”。另一方面，例如當(dāng)換檔桿位于駐車或倒車的位置處時(shí)，判定單元12判定不滿足顯示條件，并且將顯示條件表的“除了換檔桿P、R以外”設(shè)置為“0”。

當(dāng)換檔桿位于“P”的位置(即，駐車位置)處時(shí)，車輛C停止。在這種情況下，因?yàn)檐囕vC不與障礙物碰撞，所以判定單元12判定不執(zhí)行切換到通知屏幕200。因此，當(dāng)車輛C可能與檢測(cè)到的障礙物碰撞時(shí)，判定單元12能夠通過(guò)判定執(zhí)行切換到通知屏幕200，適當(dāng)?shù)叵蝰{駛者通知障礙物。

當(dāng)換檔桿位于“R”(即，倒車位置)處時(shí)，認(rèn)為車輛C正在向后移動(dòng)，并且因此駕駛者充分注意車輛C的周邊。備選地，在顯示單元31上顯示虛擬視點(diǎn)屏幕，并且已經(jīng)向駕駛者通知障礙物。因此，在這種情況下，判定單元12判定不執(zhí)行切換到通知屏幕200。如上所述，當(dāng)駕駛者未充分注意車輛C的周邊時(shí)，或者當(dāng)未向駕駛者通知障礙物時(shí)，判定單元12能夠通過(guò)判定執(zhí)行切換到通知屏幕200，適當(dāng)?shù)叵蝰{駛者通知障礙物。

判定單元12例如根據(jù)車輛C的車輛速度，判定是否滿足顯示條件。具體地說(shuō)，例如當(dāng)車輛C的速度不小于第一速度Vth1并且不大于第二速度Vth2(第一速度Vth1快于0千米/小時(shí)，第二速度Vth2快于第一速度Vth1)時(shí)，判定單元12判定滿足顯示條件，并且將顯示條件表的“車輛速度在預(yù)定范圍內(nèi)”設(shè)置為“1”。另一方面，當(dāng)車輛速度小于第一速度Vth1或者大于第二速度Vth2時(shí)，判定單元12判定不滿足顯示條件，并且將顯示條件表的“車輛速度在預(yù)定范圍內(nèi)”設(shè)置為“0”。

例如，當(dāng)車輛速度小于第一速度Vth1時(shí)，車輛C基本停止，并且因此與障礙物的碰撞可能性小。此外，當(dāng)車輛速度大于第二速度Vth2時(shí)，駕駛者集中精力駕駛車輛。在這種情況下，如果執(zhí)行切換到通知屏幕200，則關(guān)注的是駕駛者的駕駛受到妨礙。因此，當(dāng)車輛速度在預(yù)定范圍以外時(shí)， 判定單元12判定不執(zhí)行切換到通知屏幕200。如上所述，當(dāng)車輛速度在預(yù)定范圍內(nèi)時(shí)，判定單元12能夠通過(guò)判定執(zhí)行切換到通知屏幕200，適當(dāng)?shù)叵蝰{駛者通知障礙物。

例如當(dāng)滿足上述所有顯示條件(即，將顯示條件表的所有顯示條件設(shè)置為“1”)時(shí)，判定單元12判定滿足切換條件。另一方面，因?yàn)樵趫D6中所示的實(shí)例中條件“除了換檔桿P、R以外”是“0”，所以未判定滿足所有顯示條件。判定單元12判定不滿足切換條件。

在此，盡管示出四個(gè)顯示條件，但顯示條件并不限于四個(gè)。例如，當(dāng)導(dǎo)航設(shè)備30正在執(zhí)行語(yǔ)音指導(dǎo)時(shí)，判定單元12可以判定不執(zhí)行切換到通知屏幕200，因?yàn)殛P(guān)注的是妨礙導(dǎo)航設(shè)備30的指導(dǎo)。顯示條件的數(shù)量可以是四個(gè)或更多或者四個(gè)或更少。此外，駕駛者可以選擇其中執(zhí)行切換到通知屏幕200的條件。

2.5.2.2終止條件的實(shí)例

判定單元12例如判定是否滿足每個(gè)顯示停止條件。當(dāng)滿足所有顯示停止條件時(shí)，判定單元12判定滿足終止條件，并且指示圖像控制器11終止通知屏幕200的顯示。

通過(guò)使用圖7至9，將解釋顯示停止條件。圖7是示出指示滿足或不滿足每個(gè)顯示停止條件的顯示停止條件表的圖。圖8是示出指示滿足或不滿足顯示停止條件的停止或條件(stop OR condition)的停止或條件表的圖。圖9是解釋停止或條件的圖。

作為顯示停止條件之一，判定單元12判定顯示單元31是否正在顯示指示檢測(cè)器40的檢測(cè)結(jié)果的通知屏幕200。當(dāng)顯示單元31正在顯示通知屏幕200時(shí)，判定單元12判定滿足顯示停止條件“通知屏幕顯示”，并且將圖7中所示的顯示停止條件表的“通知屏幕顯示”設(shè)置為“1”。另一方面，當(dāng)顯示單元31并未正在顯示通知屏幕200時(shí)，判定單元12判定不滿足顯示停止條件“通知屏幕顯示”，并且將顯示停止條件表的“通知屏幕顯示”設(shè)置為“0”。

判定單元12根據(jù)換檔桿的位置，判定是否滿足顯示停止條件。具體地 說(shuō)，例如當(dāng)換檔桿的位置是駐車和倒車以外的位置時(shí)，判定單元12判定滿足顯示停止條件，并且將顯示停止條件表的“除了換檔桿P、R以外”設(shè)置為“1”。另一方面，例如當(dāng)換檔桿位于駐車或倒車的位置處時(shí)，判定單元12判定不滿足顯示停止條件，并且將顯示條件表的“除了換檔桿P、R以外”設(shè)置為“0”。

判定單元12判定是否滿足作為顯示停止條件的或條件(OR condition)。當(dāng)滿足至少一個(gè)停止或條件時(shí)，判定單元12判定滿足或條件。

作為顯示停止條件的一個(gè)實(shí)例，判定單元12判定檢測(cè)器40的開關(guān)是否關(guān)閉(OFF)。當(dāng)檢測(cè)器40的開關(guān)關(guān)閉時(shí)，判定單元12判定檢測(cè)器40的開關(guān)關(guān)閉，并且將圖8中所示的停止或條件表的“檢測(cè)器開關(guān)關(guān)閉”設(shè)置為“1”。另一方面，當(dāng)檢測(cè)器40的開關(guān)開啟(ON)時(shí)，判定單元12判定檢測(cè)器40的開關(guān)未關(guān)閉，并且將停止或條件表的“檢測(cè)器開關(guān)關(guān)閉”設(shè)置為“0”。

檢測(cè)器40的開關(guān)例如可以由駕駛者在開啟與關(guān)閉之間切換。因此，例如當(dāng)駕駛者將檢測(cè)器40的開關(guān)切換到關(guān)閉時(shí)，判定單元12判定不需要檢測(cè)障礙物，并且因此終止通知屏幕200的顯示。

作為顯示停止條件的一個(gè)實(shí)例，判定單元12判定其中檢測(cè)器40未檢測(cè)到障礙物的時(shí)間是否超過(guò)預(yù)定時(shí)間P1。當(dāng)檢測(cè)器40在預(yù)定時(shí)間內(nèi)未檢測(cè)到障礙物時(shí)，判定單元12判定在檢測(cè)障礙物之后已經(jīng)過(guò)預(yù)定時(shí)間，并且將停止或條件表的“在預(yù)定時(shí)間內(nèi)沒有障礙物檢測(cè)”設(shè)置為“1”。另一方面，當(dāng)在預(yù)定時(shí)間內(nèi)檢測(cè)到障礙物時(shí)，判定單元12判定在檢測(cè)障礙物之后未經(jīng)過(guò)預(yù)定時(shí)間，并且將停止或條件表的“在預(yù)定時(shí)間內(nèi)沒有障礙物檢測(cè)”設(shè)置為“0”。

如上所述，當(dāng)在預(yù)定時(shí)間內(nèi)未檢測(cè)到障礙物時(shí)，判定單元12判定終止通知屏幕200的顯示，因?yàn)樵谲囕vC的周圍不存在障礙物。

作為顯示停止條件的一個(gè)實(shí)例，判定單元12判定其中車輛C的速度小于第一速度Vth1的時(shí)間是否超過(guò)預(yù)定時(shí)間。當(dāng)其中車輛速度小于第一速度Vth1的時(shí)間超過(guò)預(yù)定時(shí)間時(shí)，判定單元12將停止或條件表的“在預(yù) 定時(shí)間內(nèi)車輛速度低于第一速度Vth1”設(shè)置為“1”。另一方面，當(dāng)其中車輛速度小于第一速度Vth1的時(shí)間不大于預(yù)定時(shí)間時(shí)，判定單元12將停止或條件表的“在預(yù)定時(shí)間內(nèi)車輛速度低于第一速度Vth1”設(shè)置為“0”。

作為顯示停止條件的一個(gè)實(shí)例，判定單元12判定車輛C的速度是否超過(guò)第三速度Vth3，第三速度Vth3快于第二速度Vth2。當(dāng)車輛速度超過(guò)第三速度Vth3時(shí)，判定單元12將停止或條件表的“車輛速度大于第三速度Vth3”設(shè)置為“1”。另一方面，當(dāng)車輛速度小于第三速度Vth3時(shí)，判定單元12將停止或條件表的“車輛速度大于第三速度Vth3”設(shè)置為“0”。

通過(guò)使用圖9，將解釋車輛速度與判定單元12針對(duì)顯示條件和顯示停止條件進(jìn)行的判定之間的關(guān)系。在圖9中，將其中判定單元12顯示通知屏幕200(即，判定滿足顯示條件)的情況解釋為“開啟”，并且將其中判定單元12不顯示通知屏幕200(即，判定滿足顯示停止條件)的情況解釋為“關(guān)閉”。

在圖9中，上部示出車輛C的速度的時(shí)間變化，并且下部示出判定單元12的判定結(jié)果。如圖9的上部所示，當(dāng)車輛C的車輛速度改變并且車輛速度不小于第一速度Vth1時(shí)，判定單元12判定通知的狀態(tài)為“開啟”，即判定顯示通知屏幕200。當(dāng)車輛速度超過(guò)第三速度Vth3時(shí)，判定單元12判定通知的狀態(tài)為“關(guān)閉”，即判定不顯示通知屏幕200。

當(dāng)車輛速度不大于第二速度Vth2時(shí)，判定單元12判定通知的狀態(tài)為“開啟”，即判定顯示通知屏幕200。當(dāng)其中車輛速度小于第一速度Vth1的時(shí)間超過(guò)預(yù)定時(shí)間P1時(shí)，判定單元12判定通知的狀態(tài)為“關(guān)閉”，即判定不顯示通知屏幕200。

如上所述，判定顯示通知屏幕200時(shí)的速度(第二速度Vth2)不同于判定終止通知屏幕200的顯示時(shí)的速度(第三速度Vth3)。因此，例如當(dāng)車輛速度頻繁改變(如圖9中所示的時(shí)間T1)時(shí)，不能防止在開始與終止之間頻繁切換通知屏幕200。

當(dāng)其中車輛速度小于第一速度Vth1的時(shí)間一直持續(xù)達(dá)預(yù)定時(shí)間P1時(shí)，終止通知屏幕200的顯示。因此，例如當(dāng)車輛速度頻繁改變(如圖9 中所示的時(shí)間T12)時(shí)，不能防止在開始與終止之間頻繁切換通知屏幕200。

例如當(dāng)滿足上述至少一個(gè)停止或條件(即，圖8中的停止或條件表的至少一個(gè)停止或條件是“1”)時(shí)，判定單元12判定滿足或條件，并且將如圖7中所示的顯示停止條件表的“或條件滿足”設(shè)置為“1”。

例如當(dāng)滿足上述所有顯示停止條件(即，顯示停止條件表的所有顯示停止條件是“1”)時(shí)，判定單元12判定滿足終止條件。在圖7中所示的實(shí)例中，因?yàn)樗酗@示停止條件是“1”，所以判定單元12判定滿足終止條件，并且指示圖像控制器11終止通知屏幕200。

解釋了其中采用三個(gè)條件作為顯示停止條件并且采用四個(gè)條件作為停止或條件的情況。但是，顯示停止條件和停止或條件并不限于上面情況。例如，在其中在顯示單元31上顯示通知屏幕200的情況下，當(dāng)針對(duì)導(dǎo)航設(shè)備30執(zhí)行輸入操作時(shí)，判定單元12可以假設(shè)駕駛者已確認(rèn)通知屏幕200并且判定終止通知屏幕200的顯示。顯示停止條件和停止或條件的數(shù)量可以是四個(gè)或三個(gè)或更多，或者可以是四個(gè)或三個(gè)或更少。備選地，駕駛者可以選擇用于終止通知屏幕200的條件。

解釋了其中當(dāng)滿足圖7中所示的所有顯示停止條件時(shí)，判定單元12判定終止通知屏幕200的顯示的情況。但是，本實(shí)施例并不限于上面的情況。例如，當(dāng)將圖7的“除了換檔桿P、R以外”更改為“0”(即，將換檔桿更改為駐車或倒車)時(shí)，判定單元12可以判定終止通知屏幕200的顯示，而不管滿足或不滿足或條件。備選地，當(dāng)在顯示通知屏幕200之后已經(jīng)過(guò)預(yù)定時(shí)間時(shí)，判定單元12可以判定終止通知屏幕200的顯示。

2.5.3存儲(chǔ)單元

存儲(chǔ)單元13例如存儲(chǔ)顯示條件表、顯示停止條件表以及停止或條件表。此外，存儲(chǔ)單元13存儲(chǔ)判定是否滿足切換條件和判定是否滿足終止條件所必需的信息，這些判定由判定單元12執(zhí)行。存儲(chǔ)單元13是諸如隨機(jī)存取存儲(chǔ)器(RAM)和閃存之類的半導(dǎo)體存儲(chǔ)器件，或者諸如硬盤和光盤之類的存儲(chǔ)設(shè)備。

3.通知處理

接下來(lái)，將解釋由圖像處理設(shè)備10執(zhí)行的通知處理。圖像處理設(shè)備10執(zhí)行包括通知開始處理和通知終止處理的通知處理。

3.1通知開始處理

圖10是示出由圖像處理設(shè)備10執(zhí)行的通知開始處理的流程圖。首先，圖像處理設(shè)備10判定檢測(cè)器40是否檢測(cè)到障礙物(步驟S101)。當(dāng)判定檢測(cè)器40未檢測(cè)到障礙物(步驟S101：否)時(shí)，圖像處理設(shè)備10將過(guò)程返回到步驟S101以便等待障礙物的檢測(cè)。

另一方面，當(dāng)檢測(cè)器40檢測(cè)到障礙物(步驟S101：是)時(shí)，圖像處理設(shè)備10判定是否在顯示單元31上顯示包括合成圖像300的虛擬視點(diǎn)屏幕(步驟S102)。當(dāng)在顯示單元31上顯示包括合成圖像300的虛擬視點(diǎn)屏幕(步驟S102：是)時(shí)，圖像處理設(shè)備10將過(guò)程前進(jìn)到步驟S104。

當(dāng)未在顯示單元31上顯示包括合成圖像300的虛擬視點(diǎn)屏幕(步驟S102：否)時(shí)，圖像處理設(shè)備10判定是否滿足切換條件(步驟S103)。當(dāng)不滿足切換條件(步驟S103：否)時(shí)，圖像處理設(shè)備10判定不需要切換到通知屏幕200，并且終止通知開始處理。

當(dāng)滿足切換條件(步驟S103：是)時(shí)，圖像處理設(shè)備10生成合成圖像300(步驟S104)，并且導(dǎo)致顯示單元31顯示通過(guò)在所生成的合成圖像300上疊加通知圖像而獲得的通知屏幕200(步驟S105)。

當(dāng)顯示條件改變(例如，車輛C的車輛速度改變或者換檔桿的位置改變)時(shí)，圖像處理設(shè)備10預(yù)先更新顯示條件表，并且在步驟S103通過(guò)參考該顯示條件表，執(zhí)行滿足或不滿足切換條件的判定。備選地，圖像處理設(shè)備10可以通過(guò)在執(zhí)行步驟S103時(shí)判定所有顯示條件，判定是否滿足切換條件。

圖像處理設(shè)備10可以使用步驟S103取代步驟S102，或者可以同時(shí)執(zhí)行步驟S102和S103。

3.2通知終止處理

圖11是示出由圖像處理設(shè)備10執(zhí)行的通知終止處理的流程圖。圖像處理設(shè)備10在執(zhí)行通知開始處理之后執(zhí)行通知終止處理。

首先，圖像處理設(shè)備10繼續(xù)在顯示單元31上顯示通知屏幕200(步驟S201)。接下來(lái)，圖像處理設(shè)備10判定是否滿足終止條件(步驟S202)。當(dāng)判定不滿足終止條件(步驟S202：否)時(shí)，圖像處理設(shè)備10將過(guò)程返回到步驟S201，并且繼續(xù)在顯示單元31上顯示通知屏幕200。

另一方面，當(dāng)判定滿足終止條件(步驟S202：是)時(shí)，圖像處理設(shè)備10指示顯示單元31終止通知屏幕200的顯示(步驟S203)。在從圖像處理設(shè)備10接收用于終止通知屏幕200的顯示的指示時(shí)，顯示單元31例如顯示剛好在顯示通知屏幕200之前的屏幕。備選地，圖像處理設(shè)備10可以確定要在顯示單元31上顯示的圖像。

當(dāng)顯示停止條件和停止或條件改變(例如，車輛C的車輛速度改變或者換檔桿的位置改變)時(shí)，圖像處理設(shè)備10預(yù)先更新顯示停止條件表和停止或條件表，并且在步驟S202通過(guò)參考該顯示停止條件表，執(zhí)行滿足或不滿足終止條件的判定。備選地，圖像處理設(shè)備10可以在更新顯示停止條件表和停止或條件表時(shí)執(zhí)行步驟S202。備選地，圖像處理設(shè)備10可以通過(guò)在執(zhí)行步驟S202時(shí)判定所有顯示停止條件，判定是否滿足終止條件。

如上所述，在其中在顯示單元31上顯示虛擬視點(diǎn)屏幕以外的屏幕的情況下，當(dāng)滿足用于切換到通知屏幕200的切換條件時(shí)，圖像處理設(shè)備10將顯示單元31的顯示更改為通知屏幕200。因此，在需要通知的情況下，圖像處理設(shè)備10能夠適當(dāng)?shù)叵蝰{駛者通知障礙物。

4.備選實(shí)例

在上述實(shí)施例中，盡管圖像處理設(shè)備10在檢測(cè)器40檢測(cè)到障礙物之后判定是否向駕駛者通知障礙物，但本實(shí)施例并不限于上面的情況。例如，當(dāng)顯示單元31未顯示包括合成圖像300的虛擬視點(diǎn)屏幕并且滿足切換條件時(shí)，圖像處理設(shè)備10判定當(dāng)前模式是用于向駕駛者通知障礙物的通知模式。當(dāng)從處于檢測(cè)模式的檢測(cè)器40接收障礙物檢測(cè)通知時(shí)，圖像處理設(shè)備10向駕駛者通知障礙物。

如上所述，因?yàn)閳D像處理設(shè)備10預(yù)先在通知與檢測(cè)模式之間切換，所以圖像處理設(shè)備10不需要在檢測(cè)到障礙物時(shí)判定滿足或不滿足切換條件， 并且因此可以在檢測(cè)器40檢測(cè)到障礙物時(shí)立即向駕駛者通知障礙物。

在其中圖像處理設(shè)備10處于通知模式的情況下，當(dāng)在顯示單元31上顯示通知屏幕200(即，判定滿足不包括圖7的條件“通知屏幕顯示”的顯示停止條件)時(shí)，圖像處理設(shè)備10終止檢測(cè)模式。

如上所述，因?yàn)楫?dāng)滿足不同于顯示條件的顯示停止條件時(shí)終止檢測(cè)模式，所以能夠限制在短時(shí)間段內(nèi)頻繁地在開始與終止檢測(cè)模式之間切換。

根據(jù)實(shí)施例的一個(gè)方面，可提供一種能夠適當(dāng)?shù)叵蜍囕v的駕駛者通知障礙物的圖像處理設(shè)備和圖像處理方法。

盡管針對(duì)特定實(shí)施例描述了本發(fā)明以便進(jìn)行完整和清晰的公開，但所附權(quán)利要求并不因此被限制，而是被解釋為包含所屬技術(shù)領(lǐng)域的技術(shù)人員可以想到的所有修改和備選結(jié)構(gòu)，這些修改和備選結(jié)構(gòu)完全落入在此給出的基本教導(dǎo)的范圍之內(nèi)。