53] 在本實施方式中,投影變換用于,將因為車輛1的傾斜而產(chǎn)生的拍攝圖像數(shù)據(jù)內(nèi) 的路面變形,變換成車輛1未傾斜的情況,例如,也包括將拍攝圖像數(shù)據(jù)內(nèi)的梯形形狀的區(qū) 域變換成長方形或正方形的區(qū)域的所謂梯形修正等。
[0154] 圖16是示出因車輛1的傾斜而導(dǎo)致的拍攝圖像數(shù)據(jù)的變形與通過變換部714變 換后的拍攝圖像數(shù)據(jù)的顯示范圍的圖。在圖16所示的例子中示出了車輛1在側(cè)傾狀態(tài)的 情況下產(chǎn)生的俯視圖像數(shù)據(jù)的變形狀態(tài)(al)、(a2),并且示出了車輛1在俯仰狀態(tài)的情況 下產(chǎn)生的俯視圖像數(shù)據(jù)的變形狀態(tài)(bl)、(b2)。如此,在因車輛1的傾斜而導(dǎo)致俯視圖像 數(shù)據(jù)發(fā)生變形的狀態(tài)下,若將其與在俯視圖像存儲部706存儲的俯視圖像數(shù)據(jù)合成,則變 形被累積起來。
[0155] 因此,本實施方式的變換部714,對于第二拍攝圖像數(shù)據(jù),根據(jù)圖16的該第二側(cè)傾 角進行規(guī)定的投影變換;所述第二拍攝圖像,是在顯示范圍((al)、(a2)、(bl)、(b2))內(nèi)剪 切出來的,所述顯示范圍((al)、(a2)、(bl)、(b2))是根據(jù)由拍攝了拍攝圖像數(shù)據(jù)時獲取的 加速度數(shù)據(jù)求得的側(cè)傾角而確定的。通過該投影變換,將顯示范圍((al)、(a2)、(bl)、(b2)) 變換成圖16(c)所示的顯示范圍。并且,根據(jù)側(cè)傾角確定示出作為投影變換的對象的顯示 區(qū)域的4點的位置坐標(biāo)的方法不限于現(xiàn)有的方法,使用任何方法都可以,例如,也可以預(yù)先 設(shè)置側(cè)傾角Θ與四點的位置坐標(biāo)的對應(yīng)關(guān)系。
[0156] 合成部715將在俯視圖像存儲部706存儲的俯視圖像數(shù)據(jù)與通過變換部714投影 變換后的俯視圖像數(shù)據(jù)合成。
[0157] 圖17是示出通過合成部715合成后的俯視圖像數(shù)據(jù)的例子的圖。在圖17所示的 俯視圖像數(shù)據(jù)中,顯示范圍1101是最新合成的范圍。而且,顯示范圍1102是在此之前合成 的范圍,顯示范圍1103是更早之前合成的范圍。如此,在本實施方式中,車輛1每次移動都 合成俯視圖像數(shù)據(jù)。
[0158] 俯視圖像存儲部706存儲通過合成部715合成后的俯視圖像數(shù)據(jù)。如此,俯視圖 像存儲部706通過在車輛1每次移動規(guī)定的移動量時,合成、存儲新生成的俯視圖像數(shù)據(jù), 將示出車輛1之下的地面狀況的俯視圖像數(shù)據(jù)存儲至俯視圖像存儲部706。
[0159] 圖18是示出在俯視圖像存儲部706存儲的俯視圖像數(shù)據(jù)的例子的圖。如圖18所 示,在俯視圖像數(shù)據(jù)中,除了合成存儲有根據(jù)現(xiàn)在拍攝的拍攝圖像數(shù)據(jù)生成的俯視圖像數(shù) 據(jù)以外,還合成存儲有根據(jù)到上次為止拍攝的拍攝圖像數(shù)據(jù)生成的俯視圖像數(shù)據(jù)。如圖18 所示,在俯視圖像存儲部706存儲的俯視圖像數(shù)據(jù)中,還包括車輛1之下的地面。并且,在 圖18示出的車輛1的形狀是為了容易說明而示出的,不是包含在俯視圖像存儲部706存儲 的實際俯視圖像數(shù)據(jù)內(nèi)的數(shù)據(jù)。
[0160] 此外,合成部715將在俯視圖像存儲部706存儲的俯視圖像數(shù)據(jù)與通過變換部714 投影變換后的俯視圖像數(shù)據(jù)合成時,在車輛1以旋轉(zhuǎn)角Θ i旋轉(zhuǎn)的情況下,將在俯視圖像存 儲部706存儲的俯視圖像數(shù)據(jù)以該旋轉(zhuǎn)角Θ i進行了旋轉(zhuǎn)處理之后,將其與通過變換部714 投影變換后的俯視圖像數(shù)據(jù)合成。由此,能夠顯示與車輛1的旋轉(zhuǎn)相對應(yīng)的俯視圖像數(shù)據(jù)。
[0161] 輸出部705將在俯視圖像存儲部706存儲的俯視圖像數(shù)據(jù)以及將各種各樣的信息 合成后獲得的圖像數(shù)據(jù)一起輸出至顯示裝置8。圖19是示出輸出部705輸出的畫面信息 的例子的圖。在圖19所示的畫面信息的例子中,除了俯視圖像數(shù)據(jù)1301以外,還攝有如下 數(shù)據(jù):拍攝圖像數(shù)據(jù)1302,其是拍攝部16a拍攝車輛1的行進方向而得的數(shù)據(jù);拍攝圖像數(shù) 據(jù)1303,其是拍攝部16b拍攝車輛1的左側(cè)前輪周邊而得的數(shù)據(jù);拍攝圖像數(shù)據(jù)1304,其是 拍攝部16d拍攝車輛1的右側(cè)前輪周邊而得的數(shù)據(jù)。進而,在顯示區(qū)域1305將車輛1的俯 仰角及側(cè)傾角作為能夠識別的信息顯示。即,使用表示車輛1的圖標(biāo)的傾斜度表示側(cè)傾角, 另一方面,使用通過該圖標(biāo)的中心線與水平線之間的距離表示俯仰角。雖然在本實施方式 中使用這樣的顯示方式以能夠識別的方式示出了側(cè)傾角及俯仰角,但不限于這樣的顯示方 式,也可以是其他的顯示方式。
[0162] 此外,將輸出部705輸出的通過拍攝部16a拍攝有車輛1的行進方向的拍攝圖像 數(shù)據(jù)1302作為進行旋轉(zhuǎn)控制后獲得的拍攝圖像數(shù)據(jù)。由此,駕駛員能夠識別拍攝圖像數(shù)據(jù) 內(nèi)的高度關(guān)系。
[0163] 接著,說明在本實施方式的周邊監(jiān)視部700面向顯示裝置8的顯示處理。圖20是 示出在本實施方式的周邊監(jiān)視部700的上述處理的順序的流程圖。
[0164] 首先,獲取部701從拍攝部16獲取拍攝圖像數(shù)據(jù)(步驟S1401)。接著,獲取部701 從加速度傳感器26獲取加速度數(shù)據(jù)(步驟S1402)。
[0165] 然后,角度計算部702根據(jù)加速度數(shù)據(jù)計算出車輛1的側(cè)傾角及俯仰角(步驟 51403) 。計算出的側(cè)傾角及俯仰角是濾波控制部703進行根據(jù)低通濾波器的濾波而獲得 的。
[0166] 然后,旋轉(zhuǎn)控制部711對于拍攝圖像數(shù)據(jù)進行與側(cè)傾角對應(yīng)的旋轉(zhuǎn)控制(步驟 51404) 。
[0167] 接著,俯視圖像生成部712根據(jù)旋轉(zhuǎn)控制后獲得的拍攝圖像數(shù)據(jù),生成以俯瞰的 方式示出在車輛1的行進方向并且在該車輛1的周邊存在的規(guī)定的區(qū)域的俯視圖像數(shù)據(jù) (步驟 S1405)。
[0168] 移動量計算部713根據(jù)生成的俯視圖像數(shù)據(jù),提取預(yù)定的顯示范圍(區(qū)域)的圖 像數(shù)據(jù)(步驟S1406)。此外,移動量計算部713保持過去(例如判斷出上次移動量在規(guī)定 的閾值以上時)根據(jù)俯視圖像數(shù)據(jù)從同樣的范圍提取的圖像數(shù)據(jù)。
[0169] 然后,移動量計算部713根據(jù)從俯視圖像數(shù)據(jù)提取的預(yù)定的顯示范圍(區(qū)域)的 圖像數(shù)據(jù),計算出車輛1的移動量(步驟S1407)。
[0170] 然后,圖像處理部704判斷計算出的移動量是否在規(guī)定的閾值以上(步驟S1408)。 作為閾值,例如是IOcm等,根據(jù)實施方式設(shè)定適當(dāng)?shù)拈撝导纯伞?br>[0171] 圖像處理部704,在判斷出移動量在規(guī)定的閾值以上的情況下(步驟S1408 :是 (Yes)),俯視圖像生成部712根據(jù)現(xiàn)在拍攝的拍攝圖像數(shù)據(jù),即,根據(jù)在進行步驟S1404的 旋轉(zhuǎn)控制之前的拍攝圖像數(shù)據(jù),生成俯視圖像數(shù)據(jù)(步驟S1409)。
[0172] 之后,變換部714根據(jù)現(xiàn)在的車輛1的側(cè)傾角及俯仰角,進行俯視圖像數(shù)據(jù)的投影 變換(步驟S1410)。使用包括梯形修正的投影變換,來修正因側(cè)傾角及俯仰角中的一項以 上原因而產(chǎn)生的俯視圖像數(shù)據(jù)的變形。此外,在車輛1產(chǎn)生了側(cè)傾角的情況下,因為并非以 重心為基準(zhǔn)發(fā)生傾斜,而是以車輪3等為軸而發(fā)生傾斜,所以在左右方向發(fā)生偏移。因此, 本實施方式的變換部714針對左右方向的偏移進行偏移修正。同樣的,在產(chǎn)生了俯仰角的 情況下也對前后方向的偏移進行偏移修正。
[0173] 接著,合成部715將投影變換后的現(xiàn)在的俯視圖像數(shù)據(jù)與在俯視圖像存儲部存儲 的俯視圖像數(shù)據(jù)合成(步驟S1411)。并且,合成部715在車輛1以旋轉(zhuǎn)角Θ i旋轉(zhuǎn)后的情況 下,進行旋轉(zhuǎn)控制,使在俯視圖像存儲部706存儲的俯視圖像數(shù)據(jù)與合成前的該旋轉(zhuǎn)角Θ i 相符合。
[0174] 然后,輸出部705從在俯視圖像存儲部706存儲的俯視圖像數(shù)據(jù)中,剪切出用于在 顯示裝置8顯示的俯視圖像數(shù)據(jù)(步驟S1412)。之后,輸出部705在向剪切出的俯視圖像 數(shù)據(jù)附加各種各樣的信息之后,將其輸出至顯示裝置8(步驟S1413)。
[0175] 另一方面,圖像處理部704在判斷出移動量比規(guī)定的閾值小的情況下(步驟 S1408:否(No)),繼續(xù)已經(jīng)在顯示裝置8顯示的俯視圖像數(shù)據(jù)等的輸出(步驟S1414)。
[0176] <第三實施方式>
[0177] 在第二實施方式中說明了顯示用于確認(rèn)車輛1的狀況的俯視圖像數(shù)據(jù)的實施方 式。但是,不限于僅顯示俯視圖像數(shù)據(jù),也可以對俯視圖像數(shù)據(jù)附加用于確認(rèn)現(xiàn)在的狀況的 各種各樣的信息。因此,在第三在實施方式中說明對俯視圖像數(shù)據(jù)附加各種各樣的信息的 例子。
[0178] 首先,說明第三實施方式的周邊監(jiān)視部1700的結(jié)構(gòu)。圖21是示出在本實施方式 的周邊監(jiān)視ECU14內(nèi)實現(xiàn)的周邊監(jiān)視部1700的結(jié)構(gòu)的框圖。
[0179] 圖21所示的周邊監(jiān)視部1700與第一實施方式的周邊監(jiān)視部700相比,不同點在 于,將獲取部變更成與獲取部701實施不同處理的獲取部1701,將圖像處理部變更成與圖 像處理部704實施不同處理的圖像處理部1702。
[0180] 與第二實施方式同樣地,獲取部1701除了獲取拍攝圖像數(shù)據(jù)與加速度數(shù)據(jù)之外, 還從(未圖示)行程傳感器獲取懸架檢測結(jié)果,該懸架檢測結(jié)果表示前輪3F的懸架的下沉 情況,還從轉(zhuǎn)向角傳感器19獲取前輪3F及后輪3R的轉(zhuǎn)向角的檢測結(jié)果。在本實施方式中, 將獲取的懸架檢測結(jié)果及轉(zhuǎn)向角的檢測結(jié)果輸出至圖像處理部1702。
[0181] 圖像處理部1702與第二實施方式的圖像處理部704相比,在以下幾點上與第二實 施方式不同,即:追加有輪胎外形計算部1711,追加有軌跡計算部1712,將合成部變更成與 第二實施方式的合成部715實施不同處理的合成部1713。
[0182] 輪胎外形計算部1711根據(jù)由獲取部1701獲取的懸架檢測結(jié)果及轉(zhuǎn)向角的檢測結(jié) 果,計算應(yīng)該疊加在俯視圖像數(shù)據(jù)上的輪胎外形。例如,在以俯視視點設(shè)置了攝像頭的情況 下,就前輪3F及后輪3R而言,若懸架下沉則靠近攝像頭,則會被映攝得較大,若懸架伸展則 遠(yuǎn)離攝像頭,則會被映攝得較小。因此,在本實施方式中,為了在俯視圖像數(shù)據(jù)中表示車輛1 的輪胎外形,輪胎外形計算部1711根據(jù)懸架檢測結(jié)果及轉(zhuǎn)向角,計算應(yīng)疊加在俯視圖像數(shù) 據(jù)中的輪胎外形形狀(前輪3F的大小及角度)。
[0183] 軌跡計算部1712根據(jù)前輪3F的轉(zhuǎn)向角及后輪3R的轉(zhuǎn)向角,計算在車輛1的行進 方向上的移動預(yù)測軌跡。本實施方式的軌跡計算部1712,計算應(yīng)該附加在現(xiàn)在的拍攝圖像 數(shù)據(jù)上的移動預(yù)測軌跡來作為前輪3F的移動預(yù)測軌跡,并且計算應(yīng)該附加在俯視圖像數(shù) 據(jù)上的移動預(yù)測軌跡來作為后輪3R的移動預(yù)測軌跡。通過輸出部705將計算出的移動預(yù) 測軌跡附加在拍攝圖像數(shù)據(jù)及俯視圖像數(shù)據(jù)上輸出。
[0184] 此外,合成部1713通過與第二實施方式同樣的處理,將在俯視圖像存儲部706存 儲的俯視圖像數(shù)據(jù)與通過變換部714投影變換后的俯視圖像數(shù)據(jù)合成后,對于合成后的俯 視圖像數(shù)據(jù),在推斷出的現(xiàn)在前輪3存在的位置上,附加能夠識別前輪3F的轉(zhuǎn)向角及大小 的標(biāo)記。
[0185] 合成部1713每次合成時,通過在前輪3R存在的位置附加標(biāo)記,將前輪3R的移動 軌跡表示在俯視圖像數(shù)據(jù)中。然后,輸出部705根據(jù)通過合成部1713合成的俯視圖像數(shù)據(jù), 進行在顯示裝置8的畫面信息的輸出。
[0186] 圖22是示出第三實施方式的輸出部705輸出的畫面信息的例子的圖。在圖22所 示的例子中,除了攝有俯視圖像數(shù)據(jù)1601以外,還攝有拍攝圖像