本發(fā)明涉及將使用車載相機拍攝車輛的周邊區(qū)域而成的圖像顯示在顯示畫面上的技術(shù)。

背景技術(shù)：

已知一種對利用搭載于車輛的前后左右的車載相機獲得的拍攝圖像實施視線轉(zhuǎn)換為宛如從上方觀察車輛的圖像的處理并顯示所獲得的圖像(俯瞰圖像或鳥瞰圖：bird’seyeview)的技術(shù)。車輛的駕駛員若能夠確認俯瞰圖像則能夠包括距離感在內(nèi)容易掌握周圍存在的障礙物與本車輛的位置關(guān)系、描繪在路面的標示等與本車輛的位置關(guān)系。

另外，還提出了盡管不在車輛的左右搭載車載相機，但顯示車輛的前后左右方向的周邊區(qū)域的俯瞰圖像的技術(shù)。在該技術(shù)中，針對車輛的左右方向的周邊區(qū)域，無法利用車載相機直接拍攝圖像，但利用如下原理根據(jù)搭載于車輛的前后的車載相機的圖像生成左右方向的俯瞰圖像。

首先，在由車輛的前方的車載相機獲得的拍攝圖像不僅拍到車輛的正面的區(qū)域，還拍到在其兩側(cè)斜前方的區(qū)域。而且，該斜前方的區(qū)域因車輛前進而終成為車輛的左右方向的區(qū)域。因此，若存儲俯瞰圖像并根據(jù)車輛的移動量從已存儲的俯瞰圖像中截取與車輛的左右方向的區(qū)域?qū)膱D像來顯示，則能夠?qū)④囕v的左右方向也包括在內(nèi)地顯示周邊區(qū)域的俯瞰圖像。

當然，上述內(nèi)容在車輛后退的情況下也同樣完全適用。因此，在車輛后退時也能夠顯示車輛的前后左右方向的俯瞰圖像。需要說明的是，顯示在車輛的左右方向的俯瞰圖像實際上是稍前拍攝的過去的俯瞰圖像。因此，從過去的俯瞰圖像截取并顯示在車輛的左右方向的圖像被稱為“歷史圖像”。

在這樣的顯示歷史圖像的技術(shù)中，若水滴、泥等異物附著于車載相機的透鏡、覆蓋該透鏡的罩等，則不僅拍攝圖像，歷史圖像有時也拍入異物。因此，在通過排列多個歷史圖像來顯示俯瞰圖像的情況下，橫跨多個歷史圖像而拍入異物，從而無法適當?shù)仫@示車輛的周邊區(qū)域。因此，在專利文獻1中，提出了一種檢測拍入至拍攝圖像的異物并將檢測到的異物從歷史圖像去除的技術(shù)。

專利文獻1：國際公開第2009/057410號

然而，在上述技術(shù)中，檢測附著于車載相機的異物需要從拍攝圖像的圖像區(qū)域整體檢測異物，因此存在處理負擔變大的問題。

技術(shù)實現(xiàn)要素：

本發(fā)明是鑒于現(xiàn)有技術(shù)中存在的上述課題而完成的，其目的在于在使用歷史圖像顯示車輛周邊的俯瞰圖像的技術(shù)上提供減少與異物的檢測相關(guān)的處理負擔并且截取去除異物的歷史圖像的車輛周邊圖像顯示裝置和車輛周邊圖像顯示方法。

為了解決上述課題，本發(fā)明的車輛周邊圖像顯示裝置以及車輛周邊圖像顯示方法通過對由車載相機獲得的拍攝圖像進行視線轉(zhuǎn)換來生成拍攝俯瞰圖像。而且，獲取關(guān)于車輛的移動量的移動信息，從車輛到達當前的位置之前生成的拍攝俯瞰圖像中截取作為拍攝車輛的死角區(qū)域而成的部分的圖像的歷史圖像，與拍攝俯瞰圖像一起顯示在顯示畫面上。另外，從拍攝俯瞰圖像中的作為歷史圖像而截取的部分對附著于車載相機的異物進行檢測，并在檢測到該異物的情況下，在去除了該異物的狀態(tài)下截取歷史圖像。

根據(jù)上述車輛周邊圖像顯示裝置以及車輛周邊圖像顯示方法，并不是從拍攝俯瞰圖像的圖像區(qū)域整體檢測異物，而是限定于作為歷史圖像而截取的部分來檢測異物，若檢測到異物，則去除該異物并截取歷史圖像。因此，能夠減少與異物的檢測相關(guān)的處理負擔，并且能夠截取去除了異物的歷史圖像。

附圖說明

圖1是表示搭載了本發(fā)明的第一實施例、第二實施例所涉及的車輛周邊圖像顯示裝置(圖像顯示裝置100)的車輛1的說明圖。

圖2是表示圖像顯示裝置100的內(nèi)部結(jié)構(gòu)的概要的說明圖。

圖3中的(a)、(b)是表示拍攝車輛1的前方的區(qū)域而獲得的拍攝圖像的說明圖。

圖4中的(a)、(b)是關(guān)于將拍攝圖像轉(zhuǎn)換為俯瞰圖像的原理的說明圖。

圖5是關(guān)于使用歷史圖像顯示車輛1的周邊的俯瞰圖像的原理的說明圖。

圖6是關(guān)于使用歷史圖像顯示車輛1的周邊的俯瞰圖像的技術(shù)容易受到附著于車載相機10f、10r的異物的影響的理由的說明圖。

圖7是第一實施例所涉及的俯瞰圖像顯示處理的前半部分的流程圖。

圖8是第一實施例所涉及的俯瞰圖像顯示處理的后半部分的流程圖。

圖9是第一實施例所涉及的俯瞰圖像顯示處理中的異物去除處理的流程圖。

圖10中的(a)、(b)是示意性地示出在俯瞰圖像顯示處理中的異物去除處理中搜索異物的樣子的說明圖。

圖11是第一實施例所涉及的俯瞰圖像顯示處理中的異物去除處理的流程圖。

圖12中的(a)、(b)是示意性地示出在第一實施例所涉及的俯瞰圖像顯示處理中的異物去除處理中從歷史圖像去除異物的樣子的說明圖。

圖13是表示在第一實施例所涉及的俯瞰圖像顯示處理中的異物去除處理中從拍攝俯瞰圖像去除異物的樣子的說明圖。

圖14是示意性地示出在第二實施例所涉及的俯瞰圖像顯示處理中的異物去除處理中從歷史圖像去除異物的樣子的說明圖。

圖15是第二實施例所涉及的俯瞰圖像顯示處理中的異物去除處理的流程圖。

圖16是表示在第二實施例所涉及的俯瞰圖像顯示處理中的異物去除處理中從拍攝俯瞰圖像去除異物的樣子的說明圖。

具體實施方式

[第一實施例]

下面，對上述的本申請發(fā)明的第一實施例所涉及的車輛周邊圖像顯示裝置和車輛周邊圖像顯示方法進行說明。

[a.車輛周邊圖像顯示裝置的結(jié)構(gòu)]

圖1中示出了搭載有車輛周邊圖像顯示裝置的車輛1。需要說明的是，在本實施例中，圖像顯示裝置100與本發(fā)明中的“車輛周邊圖像顯示裝置”對應。如圖1所示，車輛1具備搭載于車輛1的前方的車載相機10f、搭載于車輛1的后方的車載相機10r、搭載于車廂內(nèi)的顯示畫面11、以及圖像顯示裝置100等。需要說明的是，在本實施例中，對在車輛1的前方以及后方分別搭載有車載相機10f、10r的情況進行說明，但對于搭載了車載相機10f或車載相機10r任一方的車輛1也能夠應用本申請發(fā)明。圖像顯示裝置100若接受到由車載相機10f、10r拍攝的車輛1的周邊的圖像，則在將該圖像轉(zhuǎn)換為像從車輛1的上方拍攝那樣的俯瞰圖像之后，將獲得的圖像顯示在顯示畫面11。

另外，在車輛1搭載有檢測方向盤2的轉(zhuǎn)向操縱角的轉(zhuǎn)向操縱角傳感器12、檢測車速的車速傳感器13、以及檢測未圖示的變速器的檔位的換檔位置傳感器14等。轉(zhuǎn)向操縱角傳感器12、車速傳感器13以及換檔位置傳感器14的輸出被輸入至圖像顯示裝置100，圖像顯示裝置100根據(jù)上述輸出獲取車輛1的移動信息(行駛速度以及移動方向等)。而且，圖像顯示裝置100根據(jù)車輛1的移動信息和由車載相機10f、10r獲得的俯瞰圖像來生成成為車載相機10f、10r的死角的區(qū)域(車輛1的左右方向的區(qū)域)的俯瞰圖像，并顯示在顯示畫面11。

圖2中示出了本實施例的圖像顯示裝置100的概要內(nèi)部結(jié)構(gòu)。如圖所示，本實施例的圖像顯示裝置100具備拍攝圖像獲取部101、拍攝俯瞰圖像生成部102、圖像顯示部103、移動信息獲取部104、異物檢測部105、異物去除部106、拍攝俯瞰圖像存儲部107以及歷史圖像截取部108。需要說明的是，這8個“部”是著眼于圖像顯示裝置100將車輛1的周邊的圖像顯示在顯示畫面11的功能并方便地對圖像顯示裝置100的內(nèi)部進行分類的抽象概念，并不表示圖像顯示裝置100物理地劃分為8個部分。因此，這些“部”也能夠作為由cpu執(zhí)行的計算機程序來實現(xiàn)，也能夠作為包括lsi、存儲器在內(nèi)的電子電路來實現(xiàn)，而且，也能夠通過將它們組合來實現(xiàn)。

拍攝圖像獲取部101與車載相機10f以及車載相機10r連接，從車載相機10f按照一定周期(約30hz)獲取從斜上方拍攝車輛1的前方的區(qū)域而成的拍攝圖像。另外，從車載相機10r按照一定周期(約30hz)獲取從斜上方拍攝車輛1的后方的區(qū)域而成的拍攝圖像。然后，將獲取到的拍攝圖像輸出至拍攝俯瞰圖像生成部102。需要說明的是，在本實施例中，拍攝圖像獲取部101與本發(fā)明中的“拍攝圖像獲取部”對應。

拍攝俯瞰圖像生成部102從拍攝圖像獲取部101接受利用車載相機10f、10r拍攝而獲得的拍攝圖像來生成俯瞰圖像。即，通過車載相機10f獲得的拍攝圖像是從斜上方拍攝車輛1的前方的區(qū)域的圖像，但通過對該圖像實施后述的視線轉(zhuǎn)換來生成像從車輛1的上方拍攝那樣的俯瞰圖像。同樣，由車載相機10r拍攝的拍攝圖像是從斜上方拍攝車輛1的后方的區(qū)域而成的圖像，但將該圖像轉(zhuǎn)換為像從車輛1的上方拍攝那樣的俯瞰圖像。對由車載相機10f、10r拍攝的拍攝圖像實施視線轉(zhuǎn)換來生成俯瞰圖像的方法，在下文中描述。在本實施例中，拍攝俯瞰圖像生成部102與本發(fā)明中的“拍攝俯瞰圖像生成部”對應。

需要說明的是，如后所述，在本實施例的圖像顯示裝置100中，不僅對于車輛1的前后方向的區(qū)域，對于車輛1的左右方向的區(qū)域也能夠生成俯瞰圖像并顯示在顯示畫面11。這里，顯示在車輛1的前后方向的俯瞰圖像是對利用車載相機10f、10r拍攝的當前的圖像進行視線轉(zhuǎn)換而成的圖像。與此相對，顯示在車輛1的左右方向的俯瞰圖像是根據(jù)車輛1的移動信息將在車輛1的前后方向顯示的過去的俯瞰圖像合成的圖像。因此，下面，為了與在車輛1的左右方向顯示的合成的俯瞰圖像區(qū)分而將顯示在車輛1的前后方向的俯瞰圖像稱為“拍攝俯瞰圖像”。另外，在僅稱為“俯瞰圖像”時，是指從車輛1的上方觀察的圖像，因此，拍攝俯瞰圖像和在車輛1的左右方向顯示的合成的俯瞰圖像(后述的歷史圖像)均相當于“俯瞰圖像”。拍攝俯瞰圖像生成部102將生成的拍攝俯瞰圖像輸出至拍攝俯瞰圖像存儲部107和圖像顯示部103。

圖像顯示部103若從拍攝俯瞰圖像生成部102接受到車輛1的前后的拍攝俯瞰圖像，則通過將該拍攝俯瞰圖像配置于在顯示畫面11上存在于車輛1的前方以及后方的拍攝區(qū)域來顯示車輛1的周邊區(qū)域的俯瞰圖像。在本實施例中，圖像顯示部103與本發(fā)明中的“拍攝俯瞰圖像顯示部”對應。需要說明的是，對于在車輛1的左右方向存在的死角區(qū)域，圖像顯示部103也能夠通過后述的方法來顯示俯瞰圖像。

拍攝俯瞰圖像存儲部107對從拍攝俯瞰圖像生成部102供給的拍攝俯瞰圖像進行存儲。在本實施例中，拍攝俯瞰圖像存儲部107與本發(fā)明中的“拍攝俯瞰圖像存儲部”對應。移動信息獲取部104與轉(zhuǎn)向操縱角傳感器12、車速傳感器13、換檔位置傳感器14連接。移動信息獲取部104根據(jù)這些傳感器的輸出獲取車輛1的移動信息。這里，車輛1的移動信息是指車輛1在前進、后退還是停車之類的信息、車輛1在筆直地前進、右轉(zhuǎn)彎還是左轉(zhuǎn)彎、轉(zhuǎn)彎的情況下與轉(zhuǎn)彎的大小有關(guān)的信息、以及與車輛1的行駛速度有關(guān)的信息等。在本實施例中，移動信息獲取部104與本發(fā)明中的“移動信息獲取部”對應。

歷史圖像截取部108根據(jù)來自移動信息獲取部104的移動信息，從存儲在拍攝俯瞰圖像存儲部107的拍攝俯瞰圖像中截取與車輛1的左右的死角區(qū)域?qū)牟糠值膱D像(歷史圖像)。即，當前的死角區(qū)域在過去也曾是拍攝區(qū)域，因而存儲在拍攝俯瞰圖像存儲部107的拍攝俯瞰圖像中包括與當前的死角區(qū)域?qū)膱D像。因此，根據(jù)車輛1的移動信息對與死角區(qū)域?qū)膱D像是拍攝俯瞰圖像中的哪部分進行確定，并將該部分的圖像截取為歷史圖像。然后，將截取的歷史圖像輸出至圖像顯示部103。

圖像顯示部103若從歷史圖像截取部108接受到車輛1的左右的歷史圖像，則通過將該歷史圖像配置于在顯示畫面11上對應的位置來顯示車輛1的死角區(qū)域的俯瞰圖像。結(jié)果，能夠?qū)㈥P(guān)于遍及車輛1的整周的周邊區(qū)域的俯瞰圖像與從拍攝俯瞰圖像生成部102接受到的拍攝俯瞰圖像合在一起顯示在顯示畫面11。需要說明的是，在本實施例中，圖像顯示部103也與本發(fā)明中的“歷史圖像顯示部”對應。

異物檢測部105通過對存儲在拍攝俯瞰圖像存儲部107的拍攝俯瞰圖像的圖像區(qū)域進行搜索，對附著于車載相機10f、10r并拍入至拍攝圖像的泥、水滴等異物進行檢測。這里，若異物拍入至拍攝圖像，則在拍攝俯瞰圖像也拍入有異物，進而，在顯示于顯示畫面11的歷史圖像(俯瞰圖像)也拍入有異物。因此，異物檢測部105對拍入至拍攝圖像的異物進行檢測。需要說明的是，也可以通過代替拍攝俯瞰圖像而對由拍攝圖像獲取部101獲取的拍攝圖像的圖像區(qū)域進行搜索來檢測異物。異物去除部106從歷史圖像截取部108暫時接受顯示前的歷史圖像，從該歷史圖像去除異物并輸送至歷史圖像截取部108(截取去除了異物的歷史圖像)。這樣一來，即便異物附著于車載相機10f、10r而導致在拍攝圖像拍入有異物，也能夠?qū)⑷コ水愇锏臍v史圖像(俯瞰圖像)顯示在顯示畫面11。如上所述，在本實施例中，異物檢測部105、異物去除部106以及歷史圖像截取部108協(xié)作，若未檢測到異物則將歷史圖像保持原狀截取，若檢測到異物則截取去除了異物的歷史圖像。因此，異物檢測部105、異物去除部106以及歷史圖像截取部108與本發(fā)明中的“歷史圖像截取部”對應。

上述的本實施例的圖像顯示裝置100具有為了顯示車輛1的死角區(qū)域的俯瞰圖像而使用歷史圖像，同時不易受到異物拍入至拍攝圖像(進而是歷史圖像)的影響的較大優(yōu)點。下面，對其理由與本實施例的圖像顯示裝置100顯示車輛1的周邊的俯瞰圖像的方法進行說明，但作為它們的準備，對通過視線轉(zhuǎn)換生成拍攝俯瞰圖像的方法與使用歷史圖像顯示俯瞰圖像的方法的概要進行說明。

[b.使用歷史圖像顯示車輛的周邊的俯瞰圖像的原理]

作為一個例子，考慮多個標記等間隔且以格子狀描繪在利用車輛1的車載相機10f(或車載相機10r)拍攝的地面的情況。圖3中的(a)中示出了從車輛1的上方觀察等間隔且以格子狀描繪在車輛1的前方的地面的多個圓圈標記的狀態(tài)。在圖中，從車載相機10f起沿傾斜方向延伸的2條點劃線表示車載相機10f的拍攝區(qū)域與死角區(qū)域的邊界。另外，圓圈標記用粗實線顯示的情況表示該標記位于車載相機10f的拍攝區(qū)域內(nèi)，圓圈標記用細虛線顯示的情況表示該標記位于車載相機10f的死角區(qū)域內(nèi)。車載相機10f(或車載相機10r)從斜上方拍攝這樣的地面。

圖3中的(b)中示出了利用車載相機10f獲得的拍攝圖像。拍攝圖像中拍到了在車載相機10f的拍攝范圍內(nèi)存在的地面的標記。例如，拍攝圖像上的標記a拍到了圖3中的(a)的地面上的標記a，拍攝圖像上的標記b拍到了地面上的標記b。同樣，拍攝圖像上的標記c和標記d拍到了地面上的標記c和標記d。這樣，車載相機10f的拍攝范圍內(nèi)的地面上的坐標與拍攝圖像上的坐標之間存在一對一的對應關(guān)系。因此，只要利用該對應關(guān)系，就能夠?qū)D3中的(b)所例示的拍攝圖像轉(zhuǎn)換為像圖3中的(a)所例示的那樣像從車輛1的上方俯視地面那樣的圖像(俯瞰圖像)。這是對車載相機10f(或車載相機10r)的拍攝圖像進行視線轉(zhuǎn)換來生成俯瞰圖像時的想法。

通過進行這樣的視線轉(zhuǎn)換，圖4中的(a)所示的拍攝圖像轉(zhuǎn)換為圖4中的(b)所示的俯瞰圖像。這樣獲得的俯瞰圖像是越遠位置處左右方向越寬的圖像。這是因為車載相機10f(或車載相機10r)的拍攝范圍向左右兩側(cè)擴大(參照圖3中的(a))。在圖4中的(b)中，將俯瞰圖像中向左側(cè)擴大的區(qū)域顯示為區(qū)域l，將向右側(cè)擴大的區(qū)域顯示為區(qū)域r。

在圖4中的(b)所示的狀態(tài)下，區(qū)域l和區(qū)域r均位于車載相機10f的拍攝區(qū)域內(nèi)。然而，若車輛1前進，則區(qū)域l成為車輛1的左方的死角區(qū)域，區(qū)域r成為車輛1的右方的死角區(qū)域。因此，存儲對車載相機10f的拍攝圖像進行視線轉(zhuǎn)換而獲得的俯瞰圖像(拍攝俯瞰圖像)，隨著車輛1的移動，從過去的拍攝俯瞰圖像中截取與當前的死角區(qū)域?qū)牟糠值膱D像(歷史圖像)來顯示即可。

圖5中示出了隨著車輛1的移動在死角區(qū)域顯示歷史圖像的樣子。例如，假設在時刻ta，在車輛1的前方以及后方顯示拍攝俯瞰圖像，但在車輛1的左右尚未顯示歷史圖像。另外，該拍攝俯瞰圖像不僅為了顯示車輛1的拍攝區(qū)域的俯瞰圖像而使用，還為了之后顯示死角區(qū)域的俯瞰圖像而進行存儲。

接下來，若在時刻tb通過車載相機10f、10r拍攝新的圖像，則根據(jù)該拍攝圖像生成新的拍攝俯瞰圖像，并顯示在車輛1的前方以及后方。另外，在圖中，在時刻ta存儲的拍攝俯瞰圖像標注斜線顯示。需要說明的是，在圖5中，為了表示在不同時刻獲得的拍攝俯瞰圖像的重疊，過去獲得的拍攝俯瞰圖像(標注斜線顯示的圖像)相對于車輛1的行進方向而向右側(cè)稍微錯開位置來顯示。如圖所示，在時刻ta獲得的拍攝俯瞰圖像的一部分與在時刻tb新獲得的拍攝俯瞰圖像重疊，但也存在未重疊的部分。該未重疊的部分相當于在時刻tb進入車載相機10f的死角區(qū)域的部分(本次新成為死角區(qū)域的部分)。因此在時刻tb，從時刻ta的拍攝俯瞰圖像中，將與時刻tb的拍攝俯瞰圖像未重疊的部分的圖像截取為歷史圖像，并顯示在車輛1的左右的死角區(qū)域。另外，對于時刻tb的拍攝俯瞰圖像也為了隨后截取歷史圖像而進行存儲。需要說明的是，車載相機10f、10r按照約30hz的周期拍攝圖像，因此從時刻ta至時刻tb為止，車輛1移動的距離較短，但為了避免圖示繁瑣，在圖5中，車輛1的移動距離顯示得比實際長。因此，實際上，時刻ta的拍攝俯瞰圖像的大部分與時刻tb的拍攝俯瞰圖像重疊，截取為歷史圖像的部分是小于圖示的圖像。

而且，若在時刻tc通過車載相機10f、10r拍攝到新的圖像，則根據(jù)該拍攝圖像生成的拍攝俯瞰圖像顯示在車輛1的前方以及后方。另外，如圖5所示，在時刻tc，儲存有時刻ta以及時刻tb的兩個拍攝俯瞰圖像。在時刻tb已經(jīng)顯示在死角區(qū)域的歷史圖像隨著時刻tb至時刻tc間的車輛1的移動，將顯示位置向與車輛1的行進方向相反的方向移動(轉(zhuǎn)移)。例如，如圖所示，在車輛1前進的情況下，顯示位置向車輛1的后方轉(zhuǎn)移。另外，對于隨著車輛1的移動而新成為死角區(qū)域的部分，從拍攝俯瞰圖像將相應部分截取為歷史圖像。這里，存在時刻ta及時刻tb的多個拍攝俯瞰圖像，但在任意一個中均包括成為死角區(qū)域的部分，因而從新的時刻tb的拍攝俯瞰圖像截取歷史圖像。然后，將該歷史圖像顯示在與新的死角區(qū)域?qū)奈恢?。另外，對于時刻tc的拍攝俯瞰圖像也為了截取歷史圖像而存儲。

之后，時刻td、時刻te也同樣，每當車載相機10f、10r拍攝新的圖像時，顯示拍攝俯瞰圖像以及歷史圖像。即，對于車輛1的前后的拍攝區(qū)域，顯示對拍攝圖像進行視線轉(zhuǎn)換而獲得的拍攝俯瞰圖像。而且，對于死角區(qū)域，轉(zhuǎn)移已經(jīng)顯示的歷史圖像來顯示，并且截取與新的死角區(qū)域?qū)臍v史圖像來顯示。這樣一來，能夠顯示車輛1的周邊的遍及整周的俯瞰圖像。

可是，這樣使用歷史圖像來顯示俯瞰圖像的技術(shù)存在如下問題。即，存在如下弱點：若異物附著于車載相機10f(或車載相機10r)而導致在拍攝圖像拍入有異物，則顯示的俯瞰圖像的畫質(zhì)劣化。使用圖6對該理由進行說明。例如，假設在時刻ta異物附著于車載相機10f(或車載相機10r)而導致在拍攝圖像拍入有異物。若在拍攝圖像拍入有異物，則在對該拍攝圖像進行視線轉(zhuǎn)換而成的拍攝俯瞰圖像也拍入有異物。圖中用涂滿的圓形表示在時刻ta的拍攝俯瞰圖像的情況表示在拍攝俯瞰圖像拍入有異物。在該例中，在拍攝俯瞰圖像的圖像區(qū)域中的在時刻tb截取為歷史圖像的區(qū)域拍入有異物。因此，在時刻tb，在截取的歷史圖像也顯示有異物，即便在之后的時刻，只要該歷史圖像轉(zhuǎn)移并顯示，就保持顯示有異物的狀態(tài)。

另外，若異物一旦附著于車載相機10f(或車載相機10r)，則通常暫時會保持附著有異物的狀態(tài)，在這種情況下，在之后生成的拍攝俯瞰圖像也拍入有異物。例如，在圖中，在時刻tb～td生成的拍攝俯瞰圖像也拍入有異物。因此，在時刻tc～te新截取的歷史圖像也顯示有異物，因而如圖所示，異物相連地顯示。結(jié)果，被異物遮擋而未顯示車輛1的周邊狀況的范圍擴大。因此，為了避免這種情況，在本實施例的圖像顯示裝置100中，按照如下方法來顯示車輛1的周邊的俯瞰圖像。

[c.第一實施例的俯瞰圖像顯示處理]

圖7以及圖8中示出了上述的第一實施例所涉及的圖像顯示裝置100以及圖像顯示方法所執(zhí)行的俯瞰圖像顯示處理的流程圖。該處理由圖像顯示裝置100執(zhí)行。如圖所示，若第一實施例所涉及的圖像顯示裝置100開始俯瞰圖像顯示處理，則首先從車載相機10f以及車載相機10r獲取車輛1的前方以及后方的拍攝圖像(s101)。接著，獲取車輛1的移動信息(s102)。這里，車輛1的移動信息是指從轉(zhuǎn)向操縱角傳感器12、車速傳感器13、換檔位置傳感器14等獲取到的信息。

接下來，圖像顯示裝置100通過對從車載相機10f、10r獲得的拍攝圖像進行視線轉(zhuǎn)換，生成針對車輛1的前方以及后方的拍攝區(qū)域的拍攝俯瞰圖像(s103)。然后，在顯示畫面11上與車載相機10f以及車載相機10r的拍攝區(qū)域?qū)膸鎯ζ鲗懭肭胺揭约昂蠓降呐臄z俯瞰圖像(s104)。這里，幀存儲器是指為了在顯示畫面11顯示圖像而使用的存儲區(qū)域。顯示在顯示畫面11的圖像一旦在幀存儲器上生成之后，作為映像信號輸出，由此顯示在顯示畫面11。幀存儲器上的一個個地址(例如24位的地址區(qū)域)與顯示畫面11上的一個個像素對應。在s104中，在顯示畫面11上與車載相機10f的拍攝區(qū)域?qū)膸鎯ζ鞯母鞯刂穼懭肭胺降呐臄z俯瞰圖像，并在與車載相機10r的拍攝區(qū)域?qū)膸鎯ζ鞯母鞯刂穼懭牒蠓降呐臄z俯瞰圖像。

接著，將獲得的拍攝俯瞰圖像存儲在存儲器(s105)。每當車載相機10f、10r拍攝圖像時，拍攝俯瞰圖像生成并存儲，因此在s105中，以能夠在多個拍攝俯瞰圖像間識別存儲(或生成)圖像的時機的前后關(guān)系的狀態(tài)(例如與時間戳一起)存儲在存儲器。

若這樣將歷史俯瞰圖像存儲在存儲器(s105)，則進行異物搜索處理(s106)。在異物搜索處理中，通過對存儲在存儲器的拍攝俯瞰圖像的圖像區(qū)域進行搜索而對附著于車載相機10f(或車載相機10r)并拍入至拍攝圖像的異物進行檢測。需要說明的是，對于異物搜索處理，在下文中詳細地進行說明。

接著，對車輛1是否處于前進中進行判斷(圖8的s107)。車輛1是否處于前進中能夠根據(jù)在s102中獲取到的移動信息進行判斷。結(jié)果，在車輛1處于前進中的情況下(s107：是)，從顯示在車輛1的前方的過去的拍攝俯瞰圖像中選擇最新的(前一個)拍攝俯瞰圖像。即，該最新的拍攝俯瞰圖像是到前一刻為止拍攝拍攝區(qū)域而成的圖像，因此是拍到本次新成為車輛1的死角區(qū)域的部分的拍攝俯瞰圖像。需要說明的是，有時在過去的拍攝俯瞰圖像中，即便不是最新的拍攝俯瞰圖像，也存在拍到新成為死角區(qū)域的部分的拍攝圖像，但為了顯示與當前的車輛1的周邊狀況更接近的俯瞰圖像(歷史圖像)，選擇最新的拍攝俯瞰圖像。另一方面，在車輛1處于后退中的情況下(s107：否)，從顯示在車輛1的后方的過去的拍攝俯瞰圖像中，選擇拍到本次新成為死角區(qū)域的部分的過去的(最新的)拍攝俯瞰圖像(s109)。

接著，截取在s108或s109中選擇的拍攝俯瞰圖像的圖像區(qū)域中的與本次新成為死角區(qū)域的部分對應的圖像區(qū)域(歷史圖像)(s110)。車輛1的移動信息在s102中已經(jīng)獲取，因此能夠根據(jù)該移動信息決定過去的(最新的)拍攝俯瞰圖像的圖像區(qū)域中的與本次新成為死角區(qū)域的部分對應的圖像區(qū)域(歷史圖像)。該截取到的歷史圖像作為實施異物的去除的對象而暫時存儲在存儲器。然后，對該歷史圖像進行去除異物的異物去除處理(s111)。即，若在s106的異物搜索處理中檢測到異物，則進行從在s110中截取到的歷史圖像去除異物的處理。當然，若在s106的異物搜索處理中未檢測到異物，則不進行從在s110的處理中截取到的歷史圖像去除異物的處理。需要說明的是，對于異物去除處理(s111)，在下文中與異物搜索處理(s106)一起詳細地進行說明。

接著，在將與本次新成為死角區(qū)域的部分對應的歷史圖像(若檢測到異物，則為去除了異物的歷史圖像)寫入至幀存儲器之前，將已經(jīng)寫入的過去的歷史圖像移動(轉(zhuǎn)移)至與車輛1的移動量對應的地址(s112)。即，與已經(jīng)寫入的過去的歷史圖像對應的死角區(qū)域根據(jù)車輛1的移動量向車輛1的前方或后方移動。因此，使已經(jīng)寫入的過去的歷史圖像與車輛1的移動量對應地轉(zhuǎn)移。需要說明的是，刪除因車輛1移動而不再與車輛1的死角區(qū)域?qū)臍v史圖像，即刪除因轉(zhuǎn)移而從與幀存儲器上的死角區(qū)域?qū)牡刂菲x的歷史圖像。若這樣轉(zhuǎn)移過去的歷史圖像，則與幀存儲器上的死角區(qū)域?qū)牡刂返囊徊糠挚罩茫幱谖创鎯v史圖像的狀態(tài)。該空置的幀存儲器上的地址是與新的死角區(qū)域?qū)牡刂贰Ｒ虼?，在該地址寫入在s110中截取到的新的歷史圖像(s113)。另外，對于拍攝區(qū)域，車輛1的前方以及后方的拍攝俯瞰圖像在圖8的s104中已經(jīng)寫入至幀存儲器，因而在死角區(qū)域中轉(zhuǎn)移過去的歷史圖像并且寫入新的歷史圖像，由此在幀存儲器上完成顯示在顯示畫面11的圖像。因此，圖像顯示裝置100將幀存儲器上的圖像輸出至顯示畫面11(s114)。結(jié)果，在顯示畫面11顯示有像從上方觀察車輛1的周邊那樣的俯瞰圖像。

若像以上那樣將幀存儲器上的圖像顯示在顯示畫面11(s114)，則對是否結(jié)束關(guān)于車輛1的周邊區(qū)域的俯瞰圖像的顯示進行判斷(s115)。結(jié)果，在尚未結(jié)束顯示的情況下(s115：否)，返回處理的開端，再次獲取由車載相機10f、10r獲得的拍攝圖像(圖7的s101)之后，執(zhí)行上述連續(xù)的一系列的處理。與此相對，在判斷為結(jié)束顯示的情況下(s115：是)，結(jié)束第一實施例所涉及的圖像顯示裝置100以及圖像顯示方法所執(zhí)行的俯瞰圖像顯示處理。

圖9中示出了俯瞰圖像顯示處理中的異物搜索處理的流程圖。如上使用圖7所述，異物搜索處理(s106)是存儲拍攝俯瞰圖像之后進行的處理。在異物搜索處理中，通過對存儲的拍攝俯瞰圖像的圖像區(qū)域進行搜索來進行對附著于車載相機10f(或車載相機10r)并拍入至拍攝圖像的異物進行檢測的處理。

若開始異物搜索處理，則首先對開始異物的搜索的條件(搜索開始條件)是否成立進行判斷。例如，如圖所示，對車輛1是否處于行駛中進行判斷(s201)，若車輛1處于行駛中(s201：是)，則對從前次搜索異物起是否經(jīng)過了規(guī)定時間(例如1分鐘)進行判斷(s202)。結(jié)果，若從前次搜索異物起經(jīng)過了規(guī)定時間(s202：是)，則視為搜索開始條件成立，開始之后的搜索異物的處理。這里，駕駛員觀察顯示于顯示畫面11的俯瞰圖像認為是為了對車輛1行駛中在周邊是否存在障礙物進行確認。在這點上，若如上所述構(gòu)成為在車輛1處于行駛中的情況下開始異物的搜索，則能夠在駕駛員觀察俯瞰圖像的可能性低的時機(車輛1處于停止中)不進行異物的搜索，由此減少處理負擔，并且在駕駛員觀察俯瞰圖像的可能性高的時機(車輛1處于行駛中)對拍入俯瞰圖像(歷史圖像)的異物進行檢測。需要說明的是，鑒于這點，在車輛1開始行駛的情況下或在進行了用于使車輛1的行駛開始的操作(例如，加速操作、解除手剎的操作、將變速器的檔位切換為行駛擋的操作等)的情況下(在對于車輛1的駕駛員操作的變化量為規(guī)定量以上的情況下)，可以開始異物的搜索。

另外，駕駛員觀察顯示在顯示畫面11的俯瞰圖像認為是為了確認存在于車輛1的周邊的障礙物進入視野并與該障礙物形成的距離。而且，在像這樣障礙物進入視野的情況下，駕駛員可以考慮降低車輛1的行駛速度即減速。因此，在車輛1的行駛速度在規(guī)定速度以下的情況下、在車輛1的行駛速度成為規(guī)定速度以下的情況下、在車輛1的行駛速度的降低量在規(guī)定量以上的情況下、在進行了用于降低車輛1的行駛速度的操作(例如，加速操作等)的情況下(在對于車輛1的駕駛員操作的變化量在規(guī)定量以上的情況下)，可以開始異物的搜索。在這種情況下，也能夠在駕駛員觀察俯瞰圖像的可能性低的時機(這里為車輛1處于高速行駛中、勻速行駛中)不進行異物的搜索，由此減少處理負擔，并且在駕駛員觀察俯瞰圖像的可能性高的時機(這里為車輛1處于低速行駛中、降低行駛速度的情況)對拍入俯瞰圖像(歷史圖像)的異物進行檢測。

另外，駕駛員觀察顯示在顯示畫面11的俯瞰圖像認為是為了使車輛1后退來進行停車。因此，在車輛1后退的情況下、在進行了用于使車輛1后退的操作(例如，加速操作、將變速器的檔位切換至后退用的檔的操作等)的情況下(在對于車輛1的駕駛員操作的變化量成為規(guī)定量以上的情況下)，可以開始異物的搜索。在這種情況下，也能夠在駕駛員觀察俯瞰圖像的可能性低的時機(這里為前進中)不進行異物的搜索，由此減少處理負擔，并且在駕駛員觀察俯瞰圖像的可能性高的時機(這里為后退中、開始后退的情況下)對拍入俯瞰圖像(歷史圖像)的異物進行檢測。

在上述那樣的開始異物的搜索的條件(搜索開始條件)成立的情況下(在圖9中，s201：是，s202：是)，進行搜索拍入拍攝俯瞰圖像的異物的處理。在本實施例中，并不是以拍攝俯瞰圖像的全部的圖像區(qū)域為對象來搜索異物，而是限定于拍攝俯瞰圖像的圖像區(qū)域中的作為歷史圖像使用(截取)的圖像區(qū)域來搜索異物。下面，將拍攝俯瞰圖像的圖像區(qū)域中的作為歷史圖像使用(截取)的圖像區(qū)域即成為異物的搜索對象的圖像區(qū)域稱為“搜索圖像區(qū)域”。

在搜索異物的處理中，首先，決定搜索圖像區(qū)域(s203)。搜索圖像區(qū)域是如上所述作為歷史圖像使用(截取)的圖像區(qū)域，因此與從拍攝俯瞰圖像截取歷史圖像時(圖8的s110)同樣，根據(jù)在s102中獲得的移動信息來決定與本次成為新的死角區(qū)域的部分對應的圖像區(qū)域，并將該圖像區(qū)域作為搜索圖像區(qū)域(s203)。例如，在圖10中的(a)所示的例子中，由于車輛1前進，所以將前方的拍攝俯瞰圖像中的斜線部分決定為搜索圖像區(qū)域。

若決定了搜索圖像區(qū)域(s203)，則搜索該搜索圖像區(qū)域，并在規(guī)定期間上對顏色信息(rgb值、亮度值等)的變化量少的區(qū)域(像素)進行檢測(s204)。即，盡管車輛1前進或后退導致周邊狀況變化，但在存在顏色信息的變化量較少的區(qū)域的情況下，能夠判斷為該區(qū)域是拍入有異物的區(qū)域(以下稱為“異物圖像區(qū)域”)。本實施例中，將這樣的檢測異物圖像區(qū)域的情況表述為“檢測異物”。

對于異物圖像區(qū)域的檢測而言，如圖10中的(b)所示，例如將從最新的拍攝俯瞰圖像向過去回溯的多個拍攝俯瞰圖像從存儲在存儲器的拍攝俯瞰圖像中讀出。然后，判斷在讀出的多個拍攝俯瞰圖像間，是否存在在搜索圖像區(qū)域內(nèi)變化量較少的區(qū)域(異物圖像區(qū)域)進行。這里，在車輛1的行駛速度較小的情況下，短時間內(nèi)車輛1的周邊狀況的變化容易變小，因而對搜索圖像區(qū)域的顏色信息的變化量而言，即便不是異物圖像區(qū)域也容易變小。因此，在車輛1的行駛速度較小的情況下，若以短時間量的拍攝俯瞰圖像為對象來搜索異物，則存在盡管未拍入異物但也檢測到異物的可能性。與此相對，在車輛1的行駛速度較大的情況下，即便在短時間內(nèi)車輛1的周邊狀況的變化也容易變大，因而對搜索圖像區(qū)域的顏色信息的變化量而言，若非異物圖像區(qū)域則容易變大。因此，在車輛1的行駛速度較大的情況下，即便以短時間量的拍攝俯瞰圖像為對象來搜索異物，誤檢測出異物的可能性也較小。因此，在車輛的行駛速度在規(guī)定速度以上(例如5km/h以上)的情況下，設為異物搜索的對象(回溯讀出)的拍攝俯瞰圖像的數(shù)量可以根據(jù)車輛1的行駛速度決定(可以為在與車輛的行駛速度相應的時間上獲取的數(shù)量)。這樣一來，能夠抑制異物的誤檢測，并且能夠減少與異物檢測相關(guān)的處理負擔。

需要說明的是，在上述的例子中，將搜索圖像區(qū)域中顏色信息的變化量較少的區(qū)域作為異物圖像區(qū)域，但也可以通過公知的邊緣檢測處理等對拍入至搜索圖像區(qū)域的物體進行檢測，并在多個拍攝俯瞰圖像間該物體的移動量(所謂的移動向量)在規(guī)定量以下的情況下，將拍入有該物體的區(qū)域作為異物圖像區(qū)域。另外，在上述的例子中，搜索拍攝俯瞰圖像的搜索圖像區(qū)域來檢測異物圖像區(qū)域(異物)，但也可以將與拍攝圖像的歷史圖像對應的區(qū)域決定為搜索圖像區(qū)域，并搜索拍攝圖像的搜索圖像區(qū)域來檢測異物圖像區(qū)域(異物)。

這樣對搜索圖像區(qū)域內(nèi)的異物圖像區(qū)域(異物)進行了搜索的結(jié)果(s204)是，在檢測到異物圖像區(qū)域(異物)的情況下(s205：是)，在將該異物圖像區(qū)域存儲在存儲器之后(s206)，結(jié)束圖9所示的異物搜索處理，并返回至圖7以及圖8所示的俯瞰圖像顯示處理。與此相對，在未檢測到異物圖像區(qū)域的情況下(s205：否)，直接結(jié)束圖9所示的異物搜索處理，并返回至圖7以及圖8所示的俯瞰圖像顯示處理。需要說明的是，存儲在存儲器的異物圖像區(qū)域在下次搜索異物圖像區(qū)域(異物)時刪除。

如上所述，在本實施例的圖像顯示裝置100以及圖像顯示方法中，并不是以拍攝俯瞰圖像或拍攝圖像的全部的圖像區(qū)域為對象來搜索異物，而是限定于作為歷史圖像使用的圖像區(qū)域來搜索異物。因此，不僅能夠從容易受到異物的拍入帶來的影響的歷史圖像去除異物，還能夠減少與該異物的檢測相關(guān)的處理負擔。

圖11中示出了俯瞰圖像顯示處理中的異物去除處理的流程圖。如上使用圖8所述，異物去除處理(s111)是在圖8的s110中截取歷史圖像之后進行的處理，是從該歷史圖像去除異物的處理。

若開始異物去除處理，則首先對是否存儲有異物圖像區(qū)域進行判斷(s301)。即，通過如上使用圖9所述的異物搜索處理來檢測異物圖像區(qū)域(異物)，對該異物圖像區(qū)域是否存儲于存儲器進行判斷。結(jié)果，在未存儲有異物圖像區(qū)域的情況下(在未檢測到異物的情況下)(s301：否)，在圖8的s110中截取到的歷史圖像未拍入異物，因而直接結(jié)束圖11所示的異物去除處理，并返回至圖8所示的俯瞰圖像顯示處理。而且，在圖8所示的俯瞰圖像顯示處理中，進行與異物去除處理連續(xù)的s112～s114的處理，由此在圖8的s110中截取到的歷史圖像保持原狀顯示。

與此相對，在存儲有異物圖像區(qū)域的情況下(在檢測到異物的情況下)(圖11的s301：是)，在圖8的s110中截取到的歷史圖像拍入有異物，因而從該歷史圖像去除異物。這里，在按照流程圖對去除異物的處理的詳細內(nèi)容進行說明之前，使用圖12對去除異物的處理的概要進行說明。需要說明的是，在下面的說明中，假設車輛1前進。

如圖12中的(a)所示，搜索圖像區(qū)域是作為歷史圖像截取的圖像區(qū)域，因而在搜索圖像區(qū)域中檢測到異物圖像區(qū)域(圖中為涂滿的圓形)的情況下，在歷史圖像也拍入有異物。若將拍入有該異物的歷史圖像保持原狀地顯示在顯示畫面11，則在該歷史圖像轉(zhuǎn)移并顯示的期間處于異物也顯示的狀態(tài)。另外，在之后截取的歷史圖像也拍入有異物，因而如圖所示，異物相連地顯示。結(jié)果，被異物遮擋而未顯示車輛1的周邊狀況的范圍擴大。因此，在搜索圖像區(qū)域檢測到異物圖像區(qū)域的情況下(在截取到的歷史圖像拍入有異物的情況下)，將拍入有異物的歷史圖像替換為其他歷史圖像，由此從截取到的歷史圖像去除異物。在本實施例中，如圖12中的(b)所示，截取到的歷史圖像(拍入有異物的歷史圖像)不顯示(圖中為虛線×標記)，讀出比截取到該歷史圖像的拍攝俯瞰圖像前一個(過去)存儲的拍攝俯瞰圖像。然后，從該前一個存儲的拍攝俯瞰圖像，將拍到與歷史圖像(拍入有異物的歷史圖像)相同的死角區(qū)域的圖像區(qū)域(下面稱為“代替圖像區(qū)域”)截取為新的歷史圖像來顯示(圖中為實線箭頭)。即，若車輛在移動，則在本次的拍攝俯瞰圖像中拍入搜索圖像區(qū)域的死角區(qū)域在過去的拍攝俯瞰圖像中也拍入其他圖像區(qū)域(代替圖像區(qū)域)，因而將該圖像區(qū)域作為新的歷史圖像。由此，能夠從歷史圖像去除異物。需要說明的是，如圖中交叉影線所示，拍攝俯瞰圖像保持原狀地顯示在拍攝區(qū)域。

根據(jù)上述情況，返回圖11所示的異物去除處理的流程圖的說明。在s301的判斷處理中，在判斷為存儲有異物圖像區(qū)域的情況下(檢測到異物的情況下)(s301：是)，首先，讀出比本次截取到的歷史圖像(拍入有異物的歷史圖像)前一個存儲的拍攝俯瞰圖像(s302)。然后，對在該拍攝俯瞰圖像是否存在代替圖像區(qū)域進行判斷(s303)。如上使用圖12中的(b)所述，代替圖像區(qū)域是指拍到與本次截取到的歷史圖像(拍入有異物的歷史圖像)相同的死角區(qū)域的圖像區(qū)域。s303的判斷處理的結(jié)果是，在前一個存儲的拍攝俯瞰圖像不存在代替圖像區(qū)域的情況下(s303：否)，直接結(jié)束圖11所示的異物去除處理，返回至圖8所示的俯瞰圖像顯示處理。該情況下，在圖8所示的俯瞰圖像顯示處理中，進行與異物去除處理連續(xù)的s112～s114的處理，由此在s110中截取到的歷史圖像保持原狀(保持不去除異物的狀態(tài))顯示。

另一方面，在前一個拍攝俯瞰圖像存在代替圖像區(qū)域的情況下(s303：是)，首先，搜索該代替圖像區(qū)域(s304)并對是否未拍入異物進行判斷(s305)。即，在本實施例中，如上使用圖12中的(b)所述，在將代替圖像區(qū)域作為新的歷史圖像截取并顯示時，存在在代替圖像區(qū)域也拍入有異物的可能性。因此，與對搜索圖像區(qū)域進行搜索的情況同樣(參照圖10)，對于代替圖像區(qū)域也搜索異物(異物圖像區(qū)域)。結(jié)果，若在代替圖像區(qū)域未拍入異物(s305：否)，則截取該代替圖像區(qū)域并作為新的歷史圖像存儲在存儲器(在去除異物的狀態(tài)下截取歷史圖像)(s309)。然后，圖像顯示裝置100結(jié)束圖11所示的異物去除處理，返回至圖8所示的俯瞰圖像顯示處理。該情況下，在圖8所示的俯瞰圖像顯示處理中，進行與異物去除處理連續(xù)的s112～s114的處理，由此顯示截取了代替圖像區(qū)域的新的歷史圖像。這樣一來，能夠顯示車輛1的死角區(qū)域中的被異物遮擋而未顯示的部分，能夠使俯瞰圖像的畫質(zhì)提高。

與此相對，在代替圖像區(qū)域也拍入有異物的情況下(s305：是)，將代替圖像區(qū)域的異物圖像區(qū)域存儲在存儲器(s306)。然后，對代替圖像區(qū)域的異物圖像區(qū)域的大小(像素數(shù))與已經(jīng)截取的歷史圖像(這里為搜索圖像區(qū)域)的異物圖像區(qū)域的大小(像素數(shù))進行比較(s307)，若代替圖像區(qū)域的異物圖像區(qū)域較小(s307：是)，則截取該代替圖像區(qū)域并作為新的歷史圖像存儲在存儲器(s308)。即，對拍入至已經(jīng)截取的歷史圖像的異物的大小與拍入至想要新截取的歷史圖像的異物的大小進行比較，若拍入至想要新截取的歷史圖像的異物較小，則重新截取歷史圖像。在代替圖像區(qū)域的異物圖像區(qū)域的大小即拍入至想要新截取的歷史圖像的異物的大小在拍入至已經(jīng)截取的歷史圖像的異物的大小以上的情況下，不截取代替圖像區(qū)域(不重新截取歷史圖像)。

這樣一來，若進行了s307或s308的處理，則重復s302之后的處理，由此將拍攝俯瞰圖像一個個地向過去回溯并讀出(s302)，對在該拍攝俯瞰圖像是否存在代替圖像區(qū)域進行判斷(s303)，在存在該代替圖像區(qū)域的情況下(s303：是)，對在代替圖像區(qū)域是否拍入有異物進行判斷(s304、s305)。然后，在代替圖像區(qū)域未拍入異物的情況下(s305：否)，截取該代替圖像區(qū)域并作為新的歷史圖像(在去除了異物的狀態(tài)下截取歷史圖像)。該情況下，在圖8所示的俯瞰圖像顯示處理中，進行與異物去除處理連續(xù)的s112～s114的處理，由此顯示未拍入異物的歷史圖像(去除了異物的歷史圖像)。這樣一來，能夠向過去回溯并找到車輛1的死角區(qū)域中被異物遮擋而無法顯示的部分的圖像。結(jié)果，能夠提高顯示車輛1的死角區(qū)域中被異物遮擋而未顯示的部分的概率，能夠使俯瞰圖像的畫質(zhì)提高。

與此相對，在代替圖像區(qū)域拍入有異物的情況下(s305：是)，對拍入至代替圖像區(qū)域(想要新截取的歷史圖像)的異物的大小與拍入至已經(jīng)截取的歷史圖像的異物的大小進行比較，若拍入至代替圖像區(qū)域(想要新截取的歷史圖像)的異物較小(s307：是)，則重新截取歷史圖像(s308)。即，即便向過去回溯并讀出拍攝俯瞰圖像，在代替圖像區(qū)域拍入有異物的情況下，也將拍入的異物最小的代替圖像區(qū)域截取為新的歷史圖像。而且，若一直無法找到未拍入異物的代替圖像區(qū)域，且在過去的拍攝俯瞰圖像不再存在代替圖像區(qū)域(s303：否)，則圖像顯示裝置100結(jié)束圖11所示的異物去除處理，并返回至圖8所示的俯瞰圖像顯示處理。該情況下，在圖8所示的俯瞰圖像顯示處理中，進行與異物去除處理連續(xù)的s112～s114的處理，由此在當前時刻顯示存儲在存儲器的歷史圖像。即，顯示拍入的異物最小的歷史圖像。這樣一來，即便無法完全消除車輛1的死角區(qū)域中被異物遮擋而未顯示的部分，也能夠縮小該區(qū)域，能夠使俯瞰圖像的畫質(zhì)提高。

需要說明的是，在搜索圖像區(qū)域拍入有異物的情況下，如圖12中的(b)所示，在顯示在拍攝區(qū)域的拍攝俯瞰圖像(圖中為利用交叉影線表示的拍攝俯瞰圖像)也拍入有異物。因此，如圖13所示，在搜索圖像區(qū)域拍入有異物的情況下，也可以進行將顯示在拍攝區(qū)域的拍攝俯瞰圖像的搜索圖像區(qū)域替換為過去的拍攝俯瞰圖像的代替圖像區(qū)域的處理。這樣一來，能夠顯示車輛1的拍攝區(qū)域中被異物遮擋而未顯示的部分，能夠使俯瞰圖像的畫質(zhì)提高。

[第二實施例]

接下來，對第二實施例所涉及的圖像顯示裝置100以及圖像顯示方法所執(zhí)行的俯瞰圖像顯示處理進行說明。圖14中示出了第二實施例的異物去除處理的概要。在圖14中，假設車輛1前進。在第二實施例中，若在搜索圖像區(qū)域中檢測到異物圖像區(qū)域(在截取到的歷史圖像拍入有異物的情況下)，則利用與第一實施例不同的方法去除異物。在第二實施例中，如圖14所示，截取到的歷史圖像(拍入有異物的歷史圖像)中未拍入異物的圖像區(qū)域(異物圖像區(qū)域以外的圖像區(qū)域)保持原狀顯示(圖中為實線箭頭)。另外，拍入有異物的圖像區(qū)域(異物圖像區(qū)域)替換為替代的圖像(圖中為虛線箭頭)。即，讀出比截取了歷史圖像(拍入有異物的歷史圖像)的拍攝俯瞰圖像前一個(過去)存儲的拍攝俯瞰圖像。然后，從該前一個存儲的拍攝俯瞰圖像讀出拍到與歷史圖像的異物圖像區(qū)域?qū)乃澜菂^(qū)域的圖像區(qū)域即歷史圖像中拍到被異物遮擋而未顯示的死角區(qū)域的圖像區(qū)域(下面稱為“局部圖像區(qū)域”)并進行合成。由此，能夠從歷史圖像去除異物。需要說明的是，如圖中交叉影線所示，在拍攝區(qū)域中，拍攝俯瞰圖像保持原狀顯示。

圖15中示出了第二實施例所涉及的俯瞰圖像顯示處理中的異物去除處理的流程圖。第二實施例所涉及的異物去除處理也是在圖8所示的俯瞰圖像顯示處理中的s110中截取歷史圖像之后進行的處理。

若圖像顯示裝置100開始第二實施例所涉及的異物去除處理，則首先對是否存儲有異物圖像區(qū)域進行判斷(s401)。即，對在如上使用圖9所述的異物搜索處理中檢測異物圖像區(qū)域(異物)，且該異物圖像區(qū)域是否存儲于存儲器進行判斷。結(jié)果，在未存儲有異物圖像區(qū)域的情況下(在未檢測到異物的情況下)(s401：否)，由于在圖8的s110中截取到的歷史圖像未拍入異物，因此直接結(jié)束圖15所示的異物去除處理，并返回至圖8所示的俯瞰圖像顯示處理。而且，在圖8所示的俯瞰圖像顯示處理中，進行與異物去除處理連續(xù)的s112～s114的處理，由此在s110中截取到的歷史圖像保持原狀顯示。

與此相對，在存儲有異物圖像區(qū)域的情況下(在檢測到異物的情況下)(圖15的s401：是)，在圖8的s110中截取到的歷史圖像拍入有異物，因此進行從該歷史圖像去除異物的處理。在該處理中，首先讀出比本次截取到的歷史圖像(拍入有異物的歷史圖像)前一個存儲的拍攝俯瞰圖像(s402)。然后，對在該拍攝俯瞰圖像是否存在局部圖像區(qū)域進行判斷(s403)。如上使用圖14所述，局部圖像區(qū)域是指拍到與本次截取到的歷史圖像(拍入有異物的歷史圖像)的異物圖像區(qū)域?qū)乃澜菂^(qū)域的圖像區(qū)域，換言之，是指在本次截取到的歷史圖像(拍入有異物的歷史圖像)中拍到被異物遮擋而未顯示的死角區(qū)域的圖像區(qū)域。s403的判斷處理的結(jié)果是，在前一個存儲的拍攝俯瞰圖像不存在局部圖像區(qū)域的情況下(s403：否)，直接結(jié)束圖15所示的異物去除處理，并返回至圖8所示的俯瞰圖像顯示處理。該情況下，在圖8所示的俯瞰圖像顯示處理中，進行與異物去除處理連續(xù)的s112～s114的處理，由此在s110中截取到的歷史圖像保持原狀(保持不去除異物的狀態(tài))顯示。

另一方面，在前一個拍攝俯瞰圖像存在局部圖像區(qū)域的情況下(s403：是)，首先搜索該局部圖像區(qū)域(s404)并對是否未拍入異物進行判斷(s405)。即，在本實施例中，如上使用圖14所述，在截取局部圖像區(qū)域并與歷史圖像合成來顯示時，存在在局部圖像區(qū)域也拍入有異物的可能性。因此，與對搜索圖像區(qū)域進行搜索的情況同樣(參照圖10)，對于局部圖像區(qū)域也搜索異物(異物圖像區(qū)域)。結(jié)果，若在局部圖像區(qū)域未拍入異物(s405：否)，則截取該局部圖像區(qū)域。然后，將截取的局部圖像區(qū)域合成(替換)至在圖8的s110中截取的歷史圖像的異物圖像區(qū)域，并存儲在存儲器(在去除了異物的狀態(tài)下截取歷史圖像)。然后，結(jié)束圖15所示的異物去除處理，并返回至圖8所示的俯瞰圖像顯示處理。該情況下，在圖8所示的俯瞰圖像顯示處理中，進行與異物去除處理連續(xù)的s112～s114的處理，由此顯示將截取的局部圖像區(qū)域合成而成的歷史圖像。這樣一來，能夠?qū)囕v1的死角區(qū)域中未被異物遮擋的區(qū)域顯示最新的圖像(在圖8的s110的處理截取的歷史圖像)，并且顯示被異物遮擋而未顯示的部分(局部圖像區(qū)域的圖像)。結(jié)果，能夠使俯瞰圖像的畫質(zhì)提高。

與此相對，在局部圖像區(qū)域也拍入有異物的情況下(s405：是)，將局部圖像區(qū)域的異物圖像區(qū)域存儲在存儲器(s406)。然后，對局部圖像區(qū)域的異物圖像區(qū)域的大小(像素數(shù))與歷史圖像的異物圖像區(qū)域的大小(像素數(shù))進行比較(s407)，若局部圖像區(qū)域的異物圖像區(qū)域較小(s407：是)，則截取該局部圖像區(qū)域并合成至歷史圖像的異物圖像區(qū)域，存儲在存儲器(s408)。即，對拍入至歷史圖像的異物的大小與拍入至想要新截取的局部圖像區(qū)域的異物的大小進行比較，若拍入至想要新截取的局部圖像區(qū)域的異物較小，則截取該局部圖像區(qū)域并合成至歷史圖像的異物圖像區(qū)域。想要新截取的局部圖像區(qū)域的異物圖像區(qū)域的大小、即拍入至想要新截取的局部圖像區(qū)域的異物的大小在拍入至歷史圖像的異物的大小以上的情況下，不將局部圖像區(qū)域合成至歷史圖像。

這樣一來，若進行了s407或s408的處理，則重復s402之后的處理，由此將拍攝俯瞰圖像一個個地向過去回溯并讀出(s402)，對在該拍攝俯瞰圖像是否存在局部圖像區(qū)域進行判斷(s403)，在存在該局部圖像區(qū)域的情況下(s403：是)，對在局部圖像區(qū)域是否拍入有異物進行判斷(s404、s405)。而且，在局部圖像區(qū)域未拍入異物的情況下(s405：否)，截取該局部圖像區(qū)域并合成至歷史圖像的異物圖像區(qū)域(在去除了異物的狀態(tài)下截取歷史圖像)。該情況下，在圖8所示的俯瞰圖像顯示處理中，進行與異物去除處理連續(xù)的s112～s114的處理，由此顯示將未拍入異物的局部圖像區(qū)域合成而成的歷史圖像(去除了異物的歷史圖像)。這樣一來，能夠向過去回溯并找到車輛1的死角區(qū)域中被異物遮擋而無法顯示的部分的圖像。結(jié)果，能夠提高顯示車輛1的死角區(qū)域中被異物遮擋而未顯示的部分的概率，能夠使俯瞰圖像的畫質(zhì)提高。

與此相對，在局部圖像區(qū)域拍入有異物的情況下(s405：是)，對拍入至局部圖像區(qū)域的異物的大小與拍入至歷史圖像的異物的大小(在已經(jīng)將前次截取的局部圖像區(qū)域合成的情況下為拍入至合成之后的歷史圖像的異物的大小)進行比較，若拍入至局部圖像區(qū)域(想要新截取的局部圖像區(qū)域)的異物較小(s407：是)，則截取該局部圖像區(qū)域并合成至歷史圖像的異物圖像區(qū)域(s408)。即，即使向過去回溯并讀出拍攝俯瞰圖像，在代替圖像區(qū)域也拍入有異物的情況下，將拍入的異物最小的局部圖像區(qū)域合成至歷史圖像的異物圖像區(qū)域。

而且，若一直無法找到未拍入異物的局部圖像區(qū)域，且在過去的拍攝俯瞰圖像不再存在局部圖像區(qū)域(s403：否)，則結(jié)束圖15所示的異物去除處理，并返回至圖8所示的俯瞰圖像顯示處理。該情況下，在圖8所示的俯瞰圖像顯示處理中，進行與異物去除處理連續(xù)的s112～s114的處理，由此在當前時刻顯示存儲在存儲器的歷史圖像。即，顯示將拍入的異物最小的局部圖像區(qū)域合成而成的歷史圖像。這樣一來，即便無法完全消除車輛1的死角區(qū)域中被異物遮擋而未顯示的部分，也能夠縮小該區(qū)域，能夠使俯瞰圖像的畫質(zhì)提高。

需要說明的是，在搜索圖像區(qū)域拍入有異物的情況下，如圖14所示，在顯示在拍攝區(qū)域的拍攝俯瞰圖像(圖中為利用交叉影線表示的拍攝俯瞰圖像)也拍入有異物。因此，如圖16所示，在搜索圖像區(qū)域拍入有異物的情況下，也可以將顯示在拍攝區(qū)域的拍攝俯瞰圖像的異物圖像區(qū)域替換為過去的拍攝俯瞰圖像的局部圖像區(qū)域。這樣一來，能夠抑制在顯示于拍攝區(qū)域的拍攝俯瞰圖像拍入有異物。這樣一來，能夠顯示車輛1的拍攝區(qū)域中被異物遮擋而未顯示的部分，能夠使俯瞰圖像的畫質(zhì)提高。另外，在上述的第二實施例所涉及的俯瞰圖像顯示處理的異物去除處理中，通過在歷史圖像的異物圖像區(qū)域合成過去的拍攝俯瞰圖像的局部圖像區(qū)域并進行顯示來去除異物，但并不局限于此，也可以通過將異物圖像區(qū)域的圖像(顏色信息)替換為預先決定為歷史圖像的異物圖像區(qū)域的圖像(顏色信息)、與異物圖像區(qū)域的周邊區(qū)域同樣的圖像(顏色信息)來去除異物。這樣一來，能夠減少與異物的去除相關(guān)的處理負擔，并且能夠抑制異物顯眼顯示。

以上，對第一實施例以及第二實施例所涉及的圖像顯示裝置100(車輛周邊圖像顯示裝置)以及圖像顯示方法(車輛周邊圖像顯示方法)進行了說明，但本發(fā)明并不局限于上述實施例，在不脫離其主旨的范圍內(nèi)能夠以各種方式實施。

附圖標記說明：

1…車輛；2…方向盤；10f、10r…車載相機；11…顯示畫面；12…轉(zhuǎn)向操縱角傳感器；13…車速傳感器；14…換檔位置傳感器；100…圖像顯示裝置(車輛周邊圖像顯示裝置)；101…拍攝圖像獲取部；102…拍攝俯瞰圖像生成部；103…圖像顯示部；104…移動信息獲取部；105…異物檢測部；106…異物去除部；107…拍攝俯瞰圖像存儲部；108…歷史圖像截取部。