專利名稱：車輛駕駛輔助裝置的制作方法
技術領域：
本發(fā)明涉及一種車輛駕駛輔助裝置。
背景技術：
現有技術中，公知有如下這樣的駕駛輔助裝置在顯示器的畫面 上，顯示例如從拍攝車輛后方情況的攝像機輸出的影像，并在該影像 上疊加用于輔助駕駛員執(zhí)行停車動作的導向標記(例如，參照日本發(fā) 明專利公開公報特開2001-180405號)。
該駕駛輔助裝置中，導向標記包括對用于停車的操縱起始地進 行導向的操縱開始導向線；和對方向盤的反方向操作(回輪)地點進 行導向的標記(eyemark)。采用該操縱輔助裝置，駕駛員需要按如 下方式來進行駕駛操作，即，使規(guī)定長度線段的駕駛開始導向線在停 車的操縱開始時疊加在設定于停車空間內的拐角位置處的目標點上， 使圓形的標記在停車的反方向操作方向盤開始時疊加在設定于停車 空間內的拐角位置處的目標點上。
此外，現有技術中，還公知有如下這樣的駕駛輔助裝置在顯示 畫面中顯示從例如對車輛行進方向進行攝像的攝像機所輸出的影像， 并在該影像上疊加顯示用于輔助駕駛員執(zhí)行停車動作的導向標記，該 導向標記包括用于表示車輛的預測路線的導向線和表示車寬的導向 線，駕駛員可分別對該兩種導向線是顯示還是不顯示進行切換(例如， 參照日本發(fā)明專利7>開公報特開2001-6097號)。此外，現有技術中，還公知有如下這樣的停車輔助裝置例如為
了輔助駕駛員執(zhí)行停車動作，根據停車空間算出理想的行駛軌跡，并 用可視圖形來顯示該理想的行駛軌跡、沿著該行駛軌跡的理想(方向 盤)轉向角、以及實際轉向角與理想轉向角之間的偏差(例如，參照
日本發(fā)明專利公開公報特開平11-283199號)。

發(fā)明內容
然而，就上述第一個現有技術所公開的操縱輔助裝置而言，只是 在后攝像機所輸出的圖像上疊加顯示有用于輔助駕駛員駕駛車輛的 導向標記。因此，由于停車時的車輛位置不斷變化，所以有時難以看 清楚停車空間和導向標記之間的位置關系。而且，很難像如下這樣來 進行駕駛操作，即， 一邊移動車輛， 一邊使圓形的標記與停車空間的 目標點重合在一起。因此，釆用該駕駛輔助裝置，要求駕駛員高水平 地駕駛。此外，和轉彎開始導向線、圓形的標記相對應的目標點被設 定在停車空間內的拐角處，因此，要在顯示器的畫面中容易就觀察到 位置較遠的目標點還是比較困難的，不便于駕駛員駕駛。
本發(fā)明是鑒于上述不足而作出的，第一個目的在于提供一種車輛 駕駛輔助裝置，采用本發(fā)明，可合適地輔助駕駛員，從而便于駕駛員 駕駛。
此外，就上述第二個現有技術所公開的駕駛輔助裝置而言，多個 導向線中的各線是顯示還是不顯示可分別由駕駛員切換。在該結構 中，根據車輛的駕駛狀態(tài)即使出現需要改變導向線的情況，但在駕駛
員作出新的指示之前，已經不需要的導向線還會持續(xù)得到顯示。因此， 顯示畫面變得很亂，而且，為了停止不需要的導向線的顯示，有較麻 煩的操作。
本發(fā)明是鑒于上述不足而作出的，第二個目的在于提供一種車輛 駕駛輔助裝置，采用本發(fā)明，可合適地輔助駕駛員，從而便于駕駛員 駕駛。
此外，就上述第三個現有技術所公開的停車輔助裝置而言，由于只是將理想轉向角和實際轉向角偏離理想轉向角的量顯示出來。因 此，需要像如下這樣來進行駕駛，即，不斷地確認該實際轉向角的偏 移量，并使該偏移量為零。因此，駕駛操作比較復雜，很好地按其進 行駕駛操作需要熟練的技能。此外，該停車輔助裝置中，只是采用了 與轉向角相關的圖形來進行顯示，根據停車空間和車輛之間的相對位 置應做出什么樣的規(guī)定駕駛操作，駕駛員也無法認清，因為對從開始 執(zhí)行停車動作到執(zhí)行完畢的過程中需要進行的一個個駕駛操作駕駛 員無法把握，因此，可能難以進行合適的駕駛操作。
本發(fā)明是鑒于上述不足而作出的，第三個目的在于提供一種車輛 駕駛輔助裝置，采用本發(fā)明，可合適地輔助駕駛員，從而便于駕駛員 駕駛。
(1) 為了達到解決上述問題的目的，本發(fā)明第一個發(fā)明的車輛
駕駛輔助裝置包括多個攝像裝置，用于對車外周邊區(qū)域進行攝像并 輸出圖像；視點變換圖象處理機構，其對所述多個攝像裝置所輸出的 所述圖像進行視點變換的圖像處理，得到變換圖像；顯示裝置，其設 置在車廂內；轉向角狀態(tài)量檢測機構，其對與車輛的實際轉向角相關 的轉向角狀態(tài)量進行檢測，測得檢測值；顯示控制機構，其對所述視
點變換圖像處理機構所輸出的所述變換圖像和用于輔助駕駛員執(zhí)行 停車動作的導向標記進行疊加，并使它們顯示在所述顯示裝置中，其
中，所述顯示控制機構根據所述轉向角狀態(tài)量檢測機構所測得的所述 檢測值，使所述導向標記顯示在所述顯示裝置中，所述導向標記包括 與所述車輛在所述停車動作開始時的初始位置相關的初始位置確定 導向線和與反方向操作方向盤動作的開始位置相關的反方向操作方 向盤開始位置確定導向線。
(2) 此外，所述第一個發(fā)明的車輛駕駛輔助裝置中，在所述停 車動作為側方停車的情況下，所述顯示控制機構將側方停車初始位置 確定導向線作為所述初始位置確定導向線并顯示在所述顯示裝置中， 以所述側方停車初始位置確定導向線處于停車框的拐角部中與所述 車輛最近的那個所述拐角部時，所述車輛所處位置作為側方停車初始位置。
(3) 此外，所述第一個發(fā)明的車輛駕駛輔助裝置中，在所述停 車動作為入庫停車的情況下，所述顯示控制機構將入庫停車初始位置 確定導向線作為所述初始位置確定導向線顯示在所述顯示裝置中，以 使所述入庫停車初始位置確定導向線處于停車框的大致中部時，所述 車輛所處位置作為入庫停車初始位置。
(4) 為了達到解決上述問題的目的，本發(fā)明第二個發(fā)明的車輛 駕駛輔助裝置包括多個攝像裝置，用于對車外周邊區(qū)域進行攝像并 輸出圖像；顯示裝置，其設置在車廂內；轉向角狀態(tài)量檢測機構，其 對與車輛的實際轉向角相關的轉向角狀態(tài)量進行檢測，測得檢測值；
顯示控制機構，其將如下標記與所述多個攝像裝置所輸出的所述圖像 重疊，并使其顯示在所述顯示裝置中，該標記是指用于輔助駕駛員 執(zhí)行停車動作的停車導向標記；根據所述轉向角狀態(tài)量檢測機構輸出 的所述檢測值預測得到的與所述車輛的行駛軌跡相關的預測導向標 記、或位于距所述車輛身見定距離的基準導向標記二者中至少任何一 個，其中，在對所述車輛執(zhí)行規(guī)定停車動作時，所述顯示控制機構禁 止對所述預測導向標記和所述基準導向標記進行顯示。
(5) 為了達到解決上述問題的目的，本發(fā)明第三個發(fā)明的車輛 駕駛輔助裝置包括多個攝像裝置，用于對車外周邊區(qū)域進行攝像并 輸出圖像；顯示裝置，其設置在車廂內；顯示控制機構，其對所述多 個攝像裝置所輸出的所述圖像和用于輔助駕駛員執(zhí)行停車動作的導 向標記進行疊加，并使其顯示在所述顯示裝置中，其中，所述顯示控 制機構使操作提示顯示在所述顯示裝置中，該操作提示用于指示停車 時的駕駛操作，對與所述駕駛操作的多到操作中正在執(zhí)行的那個操作 相對應的所述操作提示進行突出顯示。
(6) 此外，所述第三個發(fā)明的車輛駕駛輔助裝置中，在突出顯 示與所述正執(zhí)行的操作相對應的所述操作提示時，所述顯示控制機構 增大被突出顯示的所述操作提示的對比度。
(7) 此外，所述第三個發(fā)明的車輛駕駛輔助裝置中，在突出顯示與所述正執(zhí)行的操作相對應的所述操作提示時，所述顯示控制機構 增大被突出顯示的所述操作提示的顯示尺寸。
(8) 此外，所述第三個發(fā)明的車輛駕駛輔助裝置中，在突出顯 示與所述正執(zhí)行的操作相對應的所述操作提示時，所述顯示控制機構 改變被突出顯示的所述操作提示的顯示顏色。
(9) 此外，所述第三個發(fā)明的車輛駕駛輔助裝置中，所述顯示
控制機構將所述操作提示顯示在，與重疊顯示有所述導向標記的所述 圖像的顯示范圍不相沖突的位置。
采用所述(l)的車輛駕駛輔助裝置，多個攝像裝置對車外周邊 區(qū)域進行攝像并輸出圖像，在對該圖像進行視點變換圖象處理后獲得 的變換圖像上疊加用于輔助駕駛的導向標記。此時，即使車輛移動也 可以得到停車空間和導向標記之間的相對位置容易進行辨認的變換 圖像(如，從車輛上方來俯視的俯視圖等)，提高了駕駛員辨認的容 易性。
此外，作為導向標記，顯示有由規(guī)定的線段構成的初始位置確定 導向線和反方向操作方向盤開始位置確定導向線。此時，可容易地進 行用于確定各導向線相對于規(guī)定目標位置的位置的駕駛操作，可提高 駕駛員進行駕駛操作的便利性。
采用所述(2)的車輛駕駛輔助裝置，駕駛員需要進行的駕駛操 作僅為，使側方停車的初始位置確定導向線移到停車框的拐角部中與 所述車輛最近的那個所述拐角部。此時，例如與使初始位置確定導向 線移到停車框的拐角部中離該車最近的拐角部以外其他拐角部的情 況相比，駕駛員易于識別所必要的駕駛操作。此外，也易于在顯示裝 置的顯示畫面上觀察目標位置，駕駛員能容易地進行駕駛操作，可提 高駕駛員進行駕駛操作的便利性。
采用所述(3)的車輛駕駛輔助裝置，駕駛員需要進行的駕駛操 作為，使入庫停車的初始位置確定導向線移到停車框的大致中部位 置。此時，例如與使初始位置確定導向線移到在規(guī)定位置設定的目標 點的情況相比，駕駛員能容易地進行駕駛操作，可提高駕駛員進行駕駛操作的便利性。
采用所述(4)的車輛駕駛輔助裝置，禁止在停車時顯示預測導 向線和基準導向線。由此，例如，即使駕駛員在允許顯示預測導向線 和基準導向線的狀態(tài)下執(zhí)行了停車動作，也可自動停止對顯示預測導 向線和基準導向線的顯示。此時，可防止因顯示有預測導向線和基準 導向線而難于辨認停車導向線的情況發(fā)生，并防止顯示變得繁雜，提 高了駕駛員進行駕駛操作的便利性。
釆用所述(5)的車輛駕駛輔助裝置，不僅在多個攝像裝置輸出 的圖像上疊加導向標記，還疊加操作提示，該操作提示突出顯示與停 車時的完整駕駛操作的多道操作中各操作相對應的操作提示。此時， 對駕駛員來說，易于在停車空間PW和車輛之間的相對位置適當的合 適時刻，準確地發(fā)現需要進行的駕駛操作，也可容易地進行駕駛操作。 因此，駕駛員能容易地把握從執(zhí)行停車動作開始到執(zhí)行完畢的過程中 的完整駕駛操作，提高駕駛員進行駕駛操作的便利性。
采用所述(9)的車輛駕駛輔助裝置，通過將操作提示顯示在， 與疊加顯示有導向標記的圖像的顯示范圍不相沖突的位置，對于駕駛 員來說，能一邊容易地對操作提示和實際的外界周邊區(qū)域的圖像進行 比較， 一邊準確地識別纟喿作提示。


圖1是本發(fā)明一實施方式的車輛駕駛輔助裝置的結構圖。
圖2是表示本發(fā)明 一 實施方式的車輛駕駛輔助裝置的外部攝像機 的布置方式的圖。
圖3是表示與本發(fā)明一實施方式的車輛駕駛輔助裝置的拍攝范圍 相對應的^見定外部區(qū)域的圖。
圖4是表示通過本發(fā)明 一 實施方式的車輛駕駛輔助裝置的后攝像 機拍攝到的圖像數據RP、通過對圖像數據RP進行視點變換圖像處理 而獲得的變換圖像RCP的一個例子的圖。
圖5是表示本發(fā)明一實施方式的車輛駕駛輔助裝置的與左、右后視鏡ML、 MR的開合狀態(tài)相對應的全景拍攝畫面GV的圖像的圖。
圖6是表示本發(fā)明一實施方式的車輛駕駛輔助裝置在左、右后視 4竟ML、 MR的開合狀態(tài)的圖。
圖7中(A)是本發(fā)明一實施方式的車輛駕駛輔助裝置在左、右 后視鏡ML、 MR的展開狀態(tài)下的全景拍4i畫面GV的圖像。
圖7中(B)是本發(fā)明一實施方式的對比例的車輛駕駛輔助裝置 在左、右后視鏡ML、 MR的折疊狀態(tài)下的全景拍攝畫面GV的圖像。
圖8是表示從本發(fā)明 一實施方式的車輛駕駛輔助裝置的圖像處理 部輸出的各變換圖像的例子的圖。
圖9是表示從本發(fā)明一實施方式的車輛駕駛輔助裝置的顯示畫面 的例子的圖。
圖10中(A)是表示本發(fā)明一實施方式的車輛駕駛輔助裝置的顯 示畫面的例子的圖。
圖10中(B)是表示本發(fā)明一實施方式的對比例的車輛駕駛輔助 裝置的顯示畫面的例子的圖。
圖11是表示本發(fā)明一實施方式的車輛駕駛輔助裝置的顯示畫面 所顯示的導向標記的例子的圖。
圖12是表示在本發(fā)明一實施方式的車輛駕駛輔助裝置的顯示畫 面的全景拍攝畫面GV的圖像上疊加顯示有預測導向線EL的例子的 圖。
圖13是表示在本發(fā)明一實施方式的車輛駕駛輔助裝置的顯示畫 面的全景拍攝畫面GV的圖像上疊加顯示有預測導向線EL的例子的 圖。
圖14是表示在本發(fā)明一實施方式的車輛駕駛輔助裝置的顯示畫 面的前方拍4聶畫面FV和后方拍纟聶畫面RV的各圖^象上疊加有預測導 向線EL的例子的圖。
圖15是表示在本發(fā)明一實施方式的車輛駕駛輔助裝置的顯示畫 面的前方拍纟聶畫面FV和后方拍4聶畫面RV的各圖^象上疊加顯示有預 測導向線EL的例子的圖。圖16是表示在本發(fā)明一實施方式的車輛駕駛輔助裝置的顯示畫
面的全景拍攝畫面GV的圖像上疊加顯示有基準導向線DL的例子的圖。
圖17是表示在本發(fā)明一實施方式的車輛駕駛輔助裝置的顯示畫 面的后方拍攝畫面RV的圖像上疊加顯示有基準導向線DL的例子的 圖。
圖18是表示在本發(fā)明一實施方式的車輛駕駛輔助裝置的顯示畫 面的全景拍攝畫面G V的圖像上疊加顯示有側方停車的初始位置確定 導向線PLA和反方向操作方向盤開始位置確定導向線PLB的例子的 圖。
圖19是表示在本發(fā)明一實施方式的車輛駕駛輔助裝置的顯示畫 面的全景拍攝畫面GV的圖像上疊加顯示有側方停車的初始位置確定 導向線PLA和反方向操作方向盤開始位置確定導向線PLB的例子的 圖。
圖20是表示在本發(fā)明一實施方式的車輛駕駛輔助裝置的顯示畫 面的全景拍攝畫面GV的圖像上疊加顯示有入庫停車的初始位置確定 導向線PLA和反方向操作方向盤開始位置確定導向線PLB的例子的 圖。
圖21是表示在本發(fā)明一實施方式的車輛駕駛輔助裝置的顯示畫 面的全景拍攝畫面GV的圖像上疊加顯示有入庫停車的初始位置確定 導向線PLA和反方向操作方向盤開始位置確定導向線PLB的例子的 圖。
圖22是表示在本發(fā)明一實施方式的車輛駕駛輔助裝置的顯示畫 面的全景拍攝畫面G V的圖像上疊加顯示有側方停車的初始位置確定 導向線PLA和反方向"I喿作方向盤開始位置確定導向線PLB的例子的 圖。
圖23是表示在本發(fā)明一實施方式的車輛駕駛輔助裝置的顯示畫 面的全景拍攝畫面GV的圖像上疊加顯示有入庫停車的初始位置確定 導向線PLA和反方向操作方向盤開始位置確定導向線PLB的例子的
12圖。
圖24是表示在本發(fā)明一實施方式的車輛駕駛輔助裝置的顯示畫面上所顯示的停車導向線菜單的例子的圖。
圖25是表示在本發(fā)明一實施方式的車輛駕駛輔助裝置的顯示畫面的全景拍攝畫面GV的圖像上疊加顯示有側方停車的初始位置確定導向線PLA和反方向操作方向盤開始位置確定導向線PLB的例子的圖。
圖26是表示與本發(fā)明一實施方式的車輛駕駛輔助裝置的顯示畫面的全景拍攝畫面GV的圖像一起顯示的操作提示HELP的例子的圖。
圖27是表示在本發(fā)明一實施方式的車輛駕駛輔助裝置的顯示畫面的全景拍4聶畫面GV的圖像上疊加顯示有入庫停車的初始位置確定導向線PLA和反方向操作方向盤開始位置確定導向線PLB的例子的圖。
圖28是表示與本發(fā)明一實施方式的車輛駕駛輔助裝置的顯示畫面的全景拍攝畫面GV的圖像一起顯示的操作提示HELP的例子的圖。
具體實施例方式
下面，參照附圖對本發(fā)明 一 實施方式的車輛駕駛輔助裝置進行說明。
本實施方式的車輛駕駛輔助裝置IO設置在車上，如圖1所示，包括可對車外進行拍攝的外部攝像機11;近紅外線LED12;車輛狀態(tài)傳感器13;導航裝置14;操作開關15;切換開關16;折疊開關17;后視鏡驅動機構18;顯示裝置19;由包括CPU等的電子電路構成的圖像處理裝置20。
如圖2所示，外部攝像機11以車外為拍攝區(qū)域，包括以前方周邊區(qū)域作為攝像區(qū)域的前攝像機11a;以后方周邊區(qū)域作為攝像區(qū)域的后攝像機lib;以左側周邊區(qū)域作為攝像區(qū)域的左攝像機11c;以右側周邊區(qū)域作為攝像區(qū)域的右攝像機11d。該外部攝像機11能拍
攝如從可見光至近紅外線區(qū)域的光，通過對各攝像機lla、 llb、 llc、
lid所拍攝到的圖像進行規(guī)定的圖像處理，如過濾或二值化處理等，生成由二維排列的像素構成的圖像數據，然后將該圖像數據輸出給圖
像處理裝置20。
此外，前攝像機lla例如設置在車輛的前格柵上；后攝像機lib例如設置在車輛的后背門或掀背門等上；左攝像機llc和右攝像機lld例如分別i殳置在車輛的左、右后視j竟ML、 MR的下端等位置。
近紅外線LED12例如設置在車輛的副駕駛座側的后視鏡(如左側的后視鏡ML)上，并由圖像處理裝置20控制其點亮與否。近紅外線LED12例如在夜間等時候與前照燈(省略圖示)同時點亮，從而照亮副駕駛座側的規(guī)定區(qū)域(如，副駕駛座側的外部攝像機11的攝像區(qū)域，即，作為左攝像機llc的攝像區(qū)域的車輛左方的周邊區(qū)域)。
車輛狀態(tài)傳感器13對自身車輛的車輛狀態(tài)量進行檢測。車輛狀態(tài)傳感器13例如包括如下機構車輪速度傳感器31,其對驅動輪的轉速(車輪速度)進行檢測；轉向角傳感器32,其對(方向盤)轉向角(如駕駛員對方向盤操作的轉向角大小和方向)或與該方向盤轉向角對應的車輛實際轉向角進行檢測；檔位傳感器33等，其在駕駛員操作換擋桿(省略圖示)而對變速機構(省略圖示)的狀態(tài)進行切換時，檢測與變速機構的當前狀態(tài)相對應的檔位。
導航裝置14根據車輛的當前位置和預先存儲的地圖數據執(zhí)行地圖匹配處理。此外，還針對如根據操作員的輸入操作等，設定的目的地，執(zhí)行路線搜索和路線引導等處理，并向顯示裝置19和揚聲器(省略圖示)發(fā)出控制指令，以指示它們如何動作。
操作開關15根據駕駛員對其進行的操作輸出各種指令信號，如在顯示裝置19的顯示畫面上的菜單中對各種項目進行選擇時的指令等。
切換開關16根據駕駛員對其進行的操作，輸出用于對顯示裝置19的顯示畫面上進行各種顯示切換的指令信號。折疊開關17根據駕駛員對其進行的操作將各種指令信號輸出給
后視鏡驅動才幾構18,由該后視鏡驅動機構18使車輛的左、右后視鏡ML、 MR折疊、展開以及改變角度等。
顯示裝置19根據圖像處理裝置20的控制進行各種顯示。例如，在顯示裝置19的顯示畫面上，不僅顯示外部攝像機11輸出的各圖像數據，還可在這些圖像數據上疊加顯示車輛自身的位置和各種導向標記等。
圖像處理裝置20例如包括LED控制部41、圖像處理部42、存儲部44以及顯示控制部45。
LED控制部41對近紅外線LED12進4于控制，例如4吏近紅外線LED12在夜間等時4矣與前照燈(省略圖示)同時點亮，還例如4吏近紅外線LED12在顯示裝置19的顯示畫面中顯示有后述的側方拍攝畫面SV的圖像時點亮。
圖像處理部42才艮據外部攝像機11的各才聶像機lla、 llb、 llc、lld輸出的圖像數據，例如通過規(guī)定的變換處理等，生成與預設的規(guī)定拍攝范圍相對應的變換圖像，并將其輸出。
此外，規(guī)定拍攝范圍例如為圖3中(A)所示的車輛前方區(qū)域的拍攝范圍(前方拍攝畫面FV);圖3中(B)所示的車輛后方區(qū)域的拍攝范圍(后方拍攝畫面RV);圖3中(C)所示的車輛左、右側前方區(qū)域的拍攝范圍(側方拍攝畫面SV);圖3中(D)所示的車輛兩側后方區(qū)域的拍攝范圍，即，將左、右后視鏡ML、 MR能照到的區(qū)域虛擬地再現出來的拍攝范圍(鏡像拍攝畫面MV);圖3中(E)所示的車輛前方區(qū)域中將顯示區(qū)域朝左右擴展后的拍攝范圍(前方盲
區(qū)拍攝畫面FBV);圖3中(F)所示的俯視車輛周邊區(qū)域而看到的拍攝范圍(全景拍攝畫面GV)等。
例如在生成全景拍攝畫面GV圖像時，如圖4所示，圖像處理部42對圖像的變形等進行修正并進行視點變換圖像處理(改變拍攝圖像的視點位置)，將各攝像機lla、 llb、 llc、 lld輸出的圖像數據(如圖4所示的車輛后方區(qū)域的圖像數據RP)變?yōu)閺能囕v的垂直方向上方的規(guī)定視點位置BP向下看所看到的圖像(如圖4所示的變換圖像
RCP)。接下來，從通過該變換處理獲得的各變換圖像中，提取被設定在各變換圖像上規(guī)定的視角范圍內的圖像(如前方提取圖像PF、后方提取圖像PR、左側提取圖像PSL、右側提取圖像PSR),并它們從彼此交接位置加以拼接。接下來，如圖5中(A) 、 (B)所示，合成這些圖像(各提取圖像PF、 PR、 PSL、 PSR)而生成合成圖像，并將該合成圖像作為全景拍攝畫面GV的圖像輸出。此外，該合成圖像中，在相鄰的提取圖像各自的分界處設置規(guī)定的分界線ML (maskline )。
此夕卜，當外部攝像機11中的左攝像機llc和右攝像機lld分別設置在車輛的左、右后視鏡ML、 MR的下端時，左纟聶像機llc和右才聶像機lld的攝像區(qū)域會隨著左、右后視鏡ML、 MR的開合(即，展開或折疊)而發(fā)生變化。因此，圖像處理部42要根據左、右后視鏡ML、 MR的開合狀態(tài)來改變在視點變換圖像處理中的處理內容，同時改變被設定在各變換圖像上的規(guī)定的視角范圍(即，用于從各變換圖像中提取各提取圖像PF、 PR、 PSL、 PSR的提取范圍)。此外，還改變用于構成合成圖像的各圖像(即，各提取圖像PF、 PR、 PSL、PSR)彼此之間的分界位置。通過這些處理，從而無論左、右后視鏡ML、 MR是處于展開狀態(tài)還是折疊狀態(tài)，都可生成表示同一規(guī)定周邊區(qū)域的全景拍攝畫面GV的圖像。
如圖6中(A) ~ (D)所示，當左、右后禍L4竟ML、 MR從展開狀態(tài)移動到折疊狀態(tài)時，后視鏡ML、 MR在水平方向上的傾斜角度會發(fā)生變換，使得后視鏡ML、 MR的端部朝垂直方向上方揚起。此時，對于各li^象才幾llc、 lld，它們,皮設定為在左、右后^L鏡ML、 MR的展開狀態(tài)下僅對車輛左、右側周邊區(qū)域進行拍攝，因而當它們在左、右后視鏡ML、 MR的折疊狀態(tài)下，不僅其攝像區(qū)域會朝車輛后方移位，圖像中還會含有不必要的車身左側部分和車身右側部分。
此時，若采用與在左、右后視鏡ML、 MR的展開狀態(tài)下來生成全景拍攝畫面GV的圖像(如圖7中(A)所示的展開狀態(tài)下的全景拍攝畫面GV的圖像)的處理方式相同的處理方式(即，處理中釆用
同樣的視點變換圖像處理，以同樣的用于提取各提取圖像PSL、 PSR的提取范圍的方式，以及同樣的構成合成圖像的各提取圖像PF、 PR、PSL、 PSR彼此之間的分界位置的方式)，來生成左、右后視鏡ML、MR的折疊狀態(tài)下的全景拍攝畫面GV的圖像(如圖7中(B)所示的折疊狀態(tài)下的全景拍攝畫面GV的圖像)，則從規(guī)定視點位置BP俯視不能得看到合適的圖像。并且，采用相同處理方法，不僅不能顯示車輛左、右側的規(guī)定周邊區(qū)域，此外，提取圖像PSL、 PSR和用于構成合成圖像的其他各提取圖像PF、 PR之間的分界位置也會錯位。
鑒于該情況，圖像處理部42首先根據左、右后視鏡ML、 MR的開合狀態(tài)來改變視點變換中的處理內容。并且，改變在被設定在各變換圖像上的規(guī)定的視角范圍(即，用于從各變換圖像中提取各提取圖像PF、 PR、 PSL、 PSR的提取范圍)。這樣，無論左、右后視鏡ML、MR是處于展開狀態(tài)還是折疊狀態(tài)，都可將從規(guī)定視點位置BP俯視看到的、用來顯示車輛左、右側的同一規(guī)定周邊區(qū)域的、合適的各提取圖像PSL、 PSR提取出來。
此外，與左、右后視j竟ML、 MR處于展開狀態(tài)的情況相比，當左、右后視鏡ML、 MR處于折疊狀態(tài)時，各攝像機llc、 lld的攝像區(qū)域會朝車輛后方移位，由此會出現拍不到的區(qū)域?？紤]到有這些問題，與如圖5中(A)所示的左、右后視鏡ML、 MR處于展開狀態(tài)的情況相比，在如圖5中(B)所示的左、右后視鏡ML、 MR處于折疊狀態(tài)的情況下，使前方提取圖像PF與左側提取圖像PSL、右側提取圖像PSR之間的分界位置朝車輛后方移位，讓合成圖像中各提取圖像PF、 PSL、 PSR彼此之間的分界位置發(fā)生變化。圖像處理部42按照分界位置的變化，變更從各變換圖像中提取各提取圖像PF、 PR、 PSL、PSR的提取范圍。
在如圖5中(A)所示的左、右后視^竟ML、 MR的展開狀態(tài)下，表示前方提取圖像PF與左側提取圖像PSL、右側提取圖像PSR之間的分界位置的分界線ML,相對于沿車輛的左右方向延伸的線，朝車
17前方傾斜規(guī)定的第一角度ot 。與此相對，在如圖5中(B)所示的左、 右后浮見鏡ML、 MR的折疊狀態(tài)下，表示前方拔:耳又圖像PF與左側提取 圖像PSL、右側提取圖像PSR之間的分界位置的分界線ML,相對于 沿車輛的左右方向延伸的線，朝車前方傾斜規(guī)定的第二角度e (P< a),該第二角度P小于第一角度a 。這樣，與左、右后視鏡ML、 MR處于展開狀態(tài)的情況相比，在左、右后視鏡ML、 MR處于折疊狀 態(tài)的情況下，對前方提取圖像PF的提取區(qū)域擴大，而對左側提取圖 像PSL和右側提取圖像PSR的提取區(qū)域縮小。
顯示控制部45還可將與導航裝置14各種處理相關的導航畫面顯 示在顯示裝置19的顯示畫面中。
此外，顯示控制部45按照預設好的規(guī)定組合方式，或者與操作 開關15或切換開關16輸出的指令信號相對應的規(guī)定組合方式，或者 與車輛狀態(tài)傳感器13輸出的檢測信號相對應的規(guī)定組合方式，將從 圖像處理部42輸出的各變換圖像顯示在顯示裝置19中，該各變換圖 像例如為圖8中(A)所示的前方拍攝畫面FV;圖8中(B)所示 的后方拍攝畫面RV;圖8中(C) 、 (D)所示的側方拍攝畫面SV; 圖8中(E) 、 (F)所示左、右鏡像拍攝畫面MV;圖8中(G)所 示的前方盲區(qū)拍攝畫面FBV;以及圖8中(H)所示的全景拍攝畫面 GV。
此外，在將從圖像處理部42輸出的各變換圖像顯示在顯示裝置 19的顯示畫面上時，顯示控制部45獲得存儲在存儲部44中的各種信 息和各種圖像，將它們顯示在顯示裝置19的顯示畫面中。并且，將 用于輔助駕駛員駕駛的各種導向標記(例如，圖8中(A) (F)、 (H)所示的與車輛周邊規(guī)定位置相關的基準導向線DL,以及圖8 中(A) 、 (H)所示的與車輛的行駛軌跡相關的預測導向線EL等) 疊加顯示在各經變換的圖像上。
例如，當與車輛狀態(tài)傳感器13的車輪速度傳感器31輸出的檢測 信號相對應的車輛速度(車速)為規(guī)定的低速判斷閾值Vth以下，且 根據檔位傳感器33輸出的檢測信號判斷出檔位為倒車檔之外的檔位(如向前驅動檔位等)時，顯示控制部45從預設的多個顯示方式中，
選才奪如下四種顯示方式，即，如圖9中(A)所示的前方拍才聶畫面FV 和全景拍攝畫面GV的組合，如圖9中(B)所示的前方盲區(qū)拍攝畫 面FBV,如圖9中(C)所示的左、右側方拍才聶畫面SV的組合，如 圖9中(D)所示的左側方拍攝畫面SV。接下來，顯示控制部45將 上述這些顯示方式中的任何一種顯示在顯示裝置19的顯示畫面中， 所顯示的圖像可由切換開關16輸出的指令信號等進行切換。
此時，顯示控制部45不僅在顯示裝置19中顯示從圖像處理部42 輸出的各變換圖像，還在顯示裝置19中顯示從存儲部44中獲得的例 如如下信息顯示方式指示圖像IP,用于表示能被切換到的顯示方式；
攝像區(qū)域指示圖像CP,用于示意性地表示與正在顯示的經變換的圖 像相對應的那個外部攝像機11的攝像區(qū)域；各種信息(如"請一邊 直接確認周圍狀況一邊駕駛"等)、菜單顯示以及操作提示等。
顯示方式指示圖像IP例如為，表示前方拍t聶畫面FV和全景拍攝 畫面GV的組合的圖像(F . G);表示前方盲區(qū)拍攝畫面FBV的圖 像(FB);表示左、右側方拍攝畫面SV的組合或者僅左側方拍攝畫 面SV的圖像(S);表示后方拍攝畫面RV和全景拍攝畫面GV的組 合的圖像(R'G);以及表示后方拍攝畫面RV和左、右鏡像拍攝畫 面MV的組合的圖像(R M)。如圖9中(A) ~ (D)所示，與其 他可切換成的顯示方式所對應的顯示方式指示圖像IP相比，與顯示 裝置19的顯示畫面中正在顯示的那個顯示方式所對應的顯示方式指 示圖像IP,被通過如通過增大對比度、增大尺寸或讓顯示顏色變化等 方式而突出顯示。
如圖9中(C) 、 (D)所示，作為顯示方式指示圖像IP,顯示 控制部45加以控制，突出顯示的是表示左、右側方拍4聶畫面SV的組 合或只是左側方拍攝畫面SV的圖像(S),此時，還顯示有第一、 第二輔助顯示方式指示圖像IPa、 IPb,該第一、第二輔助顯示方式指 示圖像IPa、 IPb用于指示可相互切換的顯示方式(即，左、右側方拍 攝畫面SV的組合的顯示方式，或者只是左側方拍攝畫面SV的顯示方式)。
該第一輔助顯示方式指示圖像IPa表示的是，例如可通過長按操 作開關15 (長按"左"鍵)，從左、右側方拍攝畫面SV的組合的 顯示方式切換為只有左側方拍攝畫面SV的顯示方式。該第二輔助顯 示方式指示圖像IPb表示的是，例如可通過長按操作開關15 (長按 "左""右，，鍵)，從只有左側方拍攝畫面SV的顯示方式切換為左、 右側方拍攝畫面SV的組合的顯示方式。
針對前方拍才聶畫面FV和全景拍;^聶畫面GV的組合，如圖9中(A) 所示，顯示控制部45將前方拍攝畫面FV的圖像和全景拍^^畫面GV 的圖像左右并列地顯示在顯示裝置19的顯示畫面中。
此外，^"對后方拍4聶畫面RV和全景拍纟聶畫面GV的組合，顯示 控制部45將后方拍攝畫面RV的圖像和全景拍攝畫面GV的圖像左 右并列地顯示在顯示裝置19的顯示畫面中。
此外，針對左、右側方拍攝畫面SV的組合，如圖9中(C)所示， 顯示控制部45將左側方拍:f聶畫面SV的圖j象和右側方拍^l畫面SV的 圖像左右并列地顯示在顯示裝置19的顯示畫面中。
此外，在根據如檔位傳感器33輸出的檢測信號判斷出檔位為倒 車檔時，則選擇后拍攝畫面RV和左、右鏡像拍攝畫面MV的組合， 對于該組合，如圖10中(A)所示，將左鏡像拍攝畫面MV的圖像 和右鏡像拍攝畫面MV的圖像左右并列地設置在上層，并將后方拍攝 畫面RV設置在下層，像這樣將各拍攝畫面顯示在顯示裝置19的顯 示畫面中。該情況下，與圖10中(B)所示的i殳置方式相比，即，與 將后方拍攝畫面RV設置在上層而將左、右鏡像拍攝畫面MV的圖像 設置在下層的設置方式相比，圖10中(A)的組合可防止駕駛員對顯 示方式產生不自然感，提高可視性。
此外， -使在車輛前進時與前方拍纟聶畫面FV相組合的全景拍纟聶畫 面GV的圖^象、和在車輛后退時與后方拍l聶畫面RV相組合的全景拍 攝畫面GV的圖像二者相同(即，使構成全景拍攝畫面GV的圖像的 各提取圖像PF、 PR、 PSL、 PSR的視角范圍和各提取圖像彼此之間的分界位置等不發(fā)生變化，為相同的顯示方式)。
如圖ll所示，在將從圖像處理部42輸出的各變換圖像顯示在顯 示裝置19的顯示畫面中時，顯示控制部45根據操作開關15輸出的 指令信號，將用于輔助駕駛員駕駛的各種導向標記疊加在各變換圖像 (如，前方拍攝畫面FV、后方拍攝畫面RV、側方拍攝畫面SV、鏡 像拍攝畫面MV以及全景拍攝畫面GV各圖像)上。
導向標記例如為預測導向線EL、基準導向線DL、停車導向線PL。
預測導向線EL是表示根據如轉向角傳感器3 2輸出的檢測信號而 預測得到的車輛行駛軌跡的導向線。當轉向角傳感器32檢測到的方 向盤轉向角或與該轉向角對應的車輛實際轉向角為規(guī)定值以上時，將 預測導向線EL疊加顯示在全景拍攝畫面GV、前方拍攝畫面FV以及 后方拍攝畫面RV各圖像上，并使預測導向線EL的顯示顏色與后述 的基準導向線DL的顯示顏色不同。此外，當執(zhí)行后述的停車動作時 (例如，在最大限度地轉動了方向盤的情況下倒車時，即，在方向盤 轉向角或與該轉向角對應的車輛實際轉向角為近似最大值附近、即規(guī) 定值以上的情況下倒車時)，禁止對預測導向線EL進行顯示。
例如疊加顯示在全景拍攝畫面GV的圖像上的預測導向線EL具 有顯示起始點PO，該顯示起始點PO相對于與車輛的行駛狀態(tài)相對應 的基準點具有規(guī)定的邊距m。在如圖12中(A) 、 (B)和圖13中 (A)所示的前進時的左轉彎和右轉彎的情況下，預測導向線EL為 以保險杠外端P1和轉彎時靠里側后輪外端P2為基準點而顯示的兩條 導向線(預測導向線EL)。在如圖12中(C) 、 (D)和圖13中(B) 所示的倒車時的左轉彎和右轉彎的情況下，預測導向線EL為以左右 的后輪外端P3、 P4為基準點而顯示的兩條導向線(預測導向線EL)。
此外，如圖14中(A)和圖15中(A)所示，例如疊加顯示在前 方拍攝畫面FV的圖像上的預測導向線EL為如下這樣一條導向線 從相對于基準點也就是距保險杠外端Pl具有規(guī)定邊距m的顯示起始 點PO開始， 一直延伸到距車輛前端規(guī)定距離fm的前方位置。如圖 14中(B)和圖15中(B)所示，例如疊加在后方拍4聶畫面RV的圖
21像上的預測導向線EL為如下這樣的框狀導向線從相對于基準點也 就是距左右的后輪外端P3、 P4具有規(guī)定邊距m的顯示起始點PO開 始， 一直延伸到到距車輛后端規(guī)定距離的后方位置。
基準導向線DL顯示在距車輛外端(如前端、后端、側端(左 側、右側))預設有規(guī)定距離的位置上，基準導向線DL的顯示顏色 與預測導向線EL的顯示顏色不同。
此外，當執(zhí)行后述的停車動作時(如，在最大限度地轉動了方向 盤的情況下倒車時)，禁止對基準導向線DL進行顯示。
此外，當檔位變?yōu)榈管嚈n而車輛即將后退時，在轉向角傳感器32 才企測出的方向盤轉向角或與該轉向角對應的車輛實際轉向角為失見定 值以上、顯示出預測導向線EL的情況下，禁止對基準導向線DL進 行顯示。
根據如檔位傳感器33輸出的檢測信號判斷檔位是否為倒車檔， 并根據該判斷信息來切換基準導向線DL的顯示位置。
當檔位為倒車檔以外的檔位時，如圖16中(A)所示，例如疊加 顯示在全景拍攝畫面GV的圖像上的基準導向線DL為如下這樣的框 狀導向線在車輛前方，具體而言，顯示在與車輛前端間隔^見定距離 fa且與車輛兩側間隔^見定距離sa的位置上。此外，當檔位為倒車檔 時，如圖16中(B)所示，例如疊加在全景拍攝畫面GV的圖像上的 基準導向線DL為如下這樣的框狀導向線在車輛后方，具體而言， 顯示在與車輛后端間隔規(guī)定距離ra且與車輛兩側間隔規(guī)定距離sa的 位置上。
此外，如圖17所示，例如疊加顯示在后方拍攝畫面RV的圖像上 的基準導向線DL，為如下這樣的多條導向線DL0 DL3和兩條導向線 DLs。導向線DL0 DL3的長度大致與車寬相同，導向線DLO在車輛 的后背門或掀背門打開的狀態(tài)下與車輛上位置最靠后的部分間隔規(guī) 定距離r0的后方位置，導向線DL1 DL3位于與車輛后端間隔多個不 同規(guī)定距離rl、 r2、 r3的后方位置；導向線DLs位于與車輛兩側間隔 規(guī)定距離sa的位置，從車輛后端向后延伸。此外，基準導向線DL不僅可疊加顯示在全景拍攝畫面GV、前 方拍^聶畫面FV以及后方拍纟聶畫面RV上，還可疊加顯示在左、右側 方拍攝畫面SV的各圖像和左、右鏡像拍攝畫面MV的各圖像上。
停車導向線pl是用于駕駛員對車輛執(zhí)行停車動作時輔助其駕駛 的導向線，例如包括與停車動作開始時的車輛初始位置相關的初始 位置確定導向線PLA;與反方向操作方向盤動作的開始位置相關的反 方向#:作方向盤開始位置確定導向線PLB，該初始位置確定導向線 PLA和反方向操作方向盤開始位置確定導向線PLB的顯示顏色互不 相同。停車導向線PL疊加在全景拍攝畫面GV上。此外，作為對車 輛執(zhí)行的停車動作，例如設定有側方停車和入庫停車。
如圖18中(A) 、 (B)所示，作為停車動作，當執(zhí)行向左、向 右的側方停車時，在車輛后方的左(或右)規(guī)定位置上，顯示規(guī)定線 段那樣的初始位置確定導向線PLA。此外，還顯示由如下移動軌跡的 一部分構成的反方向纟喿作方向盤開始位置確定導向線PLB,該移動軌 跡是指，在最大限度地向左、向右轉動了方向盤并使車輛后退時，轉 彎時車輛靠外側后輪(或相對于轉彎時外側后輪具有規(guī)定邊距的部 位)的移動軌跡(即，為了向左側方停車而最大限度地向右轉動了方 向盤時的該靠外后輪的移動軌跡，和為了向右側方停車而最大限度地 向左轉動了方向盤時的該靠外后輪的移動軌跡)。
側方停車過程中，如圖19中(A)所示，初始位置確定導向線 PLA以如下方式來引導駕駛員駕駛車輛，即，讓駕駛員使初始位置確 定導向線PLA處于含有規(guī)定四邊形停車框(車位)PW的拐角部中離 車最近的那個拐角部PWa這樣的位置。只要停車框PW上離車最近 的拐角部PWa位于該初始位置確定導向線PLA上的任何位置，車輛 所處位置就是側方停車的停車操作中最合適的初始位置。
此外，側方停車過程中，如圖19中(B)所示，反方向操作方向 盤開始位置確定導向線PLB以如下方式來引導駕駛員駕駛車輛，使 駕駛員從初始位置起最大限度地轉動方向盤(即，在向左側方停車的 情況下，最大限度地向左轉動方向盤，在向右側方停車的情況下，最大限度地向右轉動方向盤)并讓車輛從初始位置開始后退時，引導駕 駛員使反方向操作方向盤開始位置確定導向線PLB移到與規(guī)定四邊形的停車框PW內最靠里側的長邊PWb接近的位置。當該反方向操 作方向盤開始位置確定導向線PLB接近停車框PW內最靠里側的長 邊PWb后，車輛所處位置就是側方停車的停車操作中最合適的反方 向操作方向盤位置。這樣，如圖19中(C)所示，通過從反方向操作方向盤位置起反 方向操作方向盤而最大限度地轉動方向盤(即，向左側方停車的情況下，最大限度地向右轉動方向盤，向右側方停車的情況下，最大限度 地向左轉動方向盤)，使車輛后退，即可將車輛停入停車框PW內。 如圖20中(A) 、 (B)所示，作為停車動作，當執(zhí)行向左或向 右的入庫停車時，會在車輛左側或右側的規(guī)定位置上，顯示規(guī)定框狀 的初始位置確定導向線PLA。此外，還顯示由如下移動軌跡的一部分 構成的反方向操作方向盤開始位置確定導向線PLB，該移動軌跡是 指，在最大限度地向左或向右轉動了方向盤而倒車時，兩后輪(或相 對于兩后4侖具有規(guī)定邊距的部位)的移動軌跡(即，為了向左入庫停 車而最大限度地向左轉動了方向盤時的兩后輪的移動軌跡，和為了向 右入庫停車而最大限度地向右轉動了方向盤時的兩后輪的移動軌跡)。此外，框狀的初始位置確定導向線PLA的內部也可被填實。 在該入庫停車過程中，如圖21中(A)所示，初始位置確定導向 線PLA以如下方式來引導駕駛員駕駛車輛，即，駕駛員需使初始位 置確定導向線PLA移到規(guī)定四邊形的停車框PW的大致中部。當將 該初始位置確定導向線PLA位于停車框PW的大致中部時，車輛所 處位置即為入庫停車的停車操作中最合適的初始位置。此外，在入庫停車過程中，如圖21中(B)所示，反方向操作方 向盤開始位置確定導向線PLB以如下方式來引導駕駛員駕駛車輛， 即，在駕駛員從初始位置起最大限度地轉動方向盤(即，在向左入庫 停車的情況下，最大限度地向右轉動方向盤，在向右側方停車的情況下，最大限度地向左轉動方向盤)，使車輛從初始位置開始前進，讓 駕駛員使反方向操作方向盤開始位置確定導向線PLB的后端部分PLBr設置到規(guī)定四邊形的停車框PW內。當該反方向操作方向盤開 始位置確定導向線PLB的后端部分PLBr移到^f亭車框PW內時，車輛 的位置即為入庫停車的停車操作中最合適的反方向操作方向盤位置。這樣，如圖21中(C)所示，通過從反方向操作方向盤位置起反 方向操作方向盤動作而最大限度地轉動方向盤(即，在向左入庫停車 的情況下，最大限度地向左轉動方向盤，在向右入庫停車的情況下， 最大限度地向右轉動方向盤)并使車輛開始后退，即可將車輛停入停 車框PW內。進行各停車動作中，初始位置確定導向線PLA總是疊加在全景拍 攝畫面GV的圖像上，當通過轉向角傳感器32檢測出的規(guī)定方向的 方向盤轉向角或與該轉向角對應的車輛實際轉向角，為方向盤差不多 被最大限度地轉動、也就是規(guī)定值以上時，將反方向操作方向盤開始 位置確定導向線PLB疊加顯示在全景拍攝畫面GV的圖像上。參照圖22中(A) 、 (B)所示的向左的側方停車的全景拍攝畫 面GV的圖像，在車輛處于停車動作中的初始位置，在將檔位設定在 倒車檔(圖22中(A)所示的狀態(tài))后，向左轉動方向盤，使方向盤 的轉向角或與該轉向角對應的車輛實際轉向角變?yōu)榉较虮P差不多3皮 最大限度地轉動、也就是規(guī)定值以上時(圖22中(B)所示的狀態(tài))， 才將反方向操作方向盤開始位置確定導向線PLB疊加顯示在全景拍 攝畫面GV的圖像上。此外，參照圖23中(A) 、 (B)所示的向左的入庫停車的全景 拍攝畫面GV的圖像，在車輛處于停車動作中的初始位置，并將檔位 設定在倒車檔以外的檔位上(圖23中(A)所示的狀態(tài))后，當向右 轉動方向盤，使方向盤轉向角或與該轉向角所對應的車輛實際轉向角 變?yōu)榉较虮P差不多被最大限度地轉動、也就是規(guī)定值以上時(圖23 中(B)所示的狀態(tài))，才將反方向操作方向盤開始位置確定導向線 PLB疊加顯示在全景拍攝畫面GV的圖像上。此外，對疊加顯示在全景拍攝畫面GV的圖像上反方向操作方向
盤開始位置確定導向線PLB的顯示， 一直持續(xù)到停車動作結束時。
顯示控制部45根據操作開關15輸出的指令信號，對導向標記的 有無進行切換以及對顯示裝置19的顯示內容進行切換。
如圖9中(A)所示，通常，在顯示裝置19的顯示畫面中顯示全 景拍攝畫面GV的圖像時(即，未將各種導向標記疊加在全景拍攝畫 面GV的圖像上時)，顯示控制部45會進行控制，根據對操作開關 15進行的規(guī)定操作(如，旋轉操作)，將用于表示可對規(guī)定的停車導 向線菜單進行顯示的指示圖像PP (停車菜單)顯示在顯示畫面中。 此外，當操作者對操作開關15進行規(guī)定操作(如，旋轉操作)時， 也會將如圖24所示的規(guī)定的停車導向線菜單顯示在顯示畫面中。
該停車導向線菜單例如包括控制預測導向線EL和基準導向線 DL的顯示與否的選擇菜單(基準/預測導向線)；和控制與向左、向 右的側方停車或向左、向右的入庫停車相對應的停車導向線PL的顯 示與否的各選擇菜單(向左的入庫停車導向線、向右的入庫停車導向
線、向左的側方停車導向線、向右的側方停車導向線)。
此外，在顯示畫面中顯示有停車導向線菜單的狀態(tài)下，可通過對
操作開關15進行規(guī)定操作(如，旋轉操作和按下操作)，選擇各選 擇菜單和確定是否顯示與各選擇菜單相對應的導向線。
例如，將從通常的前方拍纟聶畫面FV和全景拍4聶畫面GV的組合 的顯示方式切換過來的停車導向線菜單(例如，圖24所示的停車導 向線菜單)顯示在顯示畫面中，在該狀態(tài)下，能通過對操作開關15
PL的顯示進行控制的選擇菜單(向左的側方停車導向線)。在進行 完該選擇后，如圖25中(A)所示，將顯示畫面的顯示切換回前方拍 攝畫面FV和全景拍攝畫面GV的組合的顯示方式。此時，若方向盤 轉向角或與該轉向角對應的車輛實際轉向角不足規(guī)定值，且檔位為倒 車檔之外的檔位時，則在前方拍攝畫面FV的圖像上疊加顯示基準導 向線DL,在全景拍攝畫面GV的圖像上疊加顯示基準導向線DL和初始位置確定導向線PLA。此時，通過對操作開關15進行規(guī)定操作
(如，按下操作)，還可在顯示畫面上顯示指示圖像PHa(使用方法)， 該指示圖像PHa表示，可將提示停車導向線PL的使用方法的操作提 示顯示出來。
此外，當操作者對操作開關15進行規(guī)定操作(如，按下操作) 時，可將如圖26中(A)所示那樣的規(guī)定的操作提示HELP與全景拍 攝畫面GV圖像一起顯示在顯示畫面中。
此時，操作提示HELP可顯示在顯示畫面上與全景拍攝畫面GV 的圖像的顯示范圍不相沖突的位置上。
此時，通過對操作開關15進行規(guī)定操作(如，按下操作)，還 可在顯示畫面中顯示指示圖像PHb (使用方法OFF),該指示圖像 PHb表示，可結束對操作提示HELP的顯示。
該操作提示HELP包括多道操作的各指示信息Ha (如，"l.使導 向線與停車框的角部重合"、"2.最大限度地向左轉動方向盤，在導 向線達到路肩前使車輛一直后退"、"3.最大限度地向右轉動方向盤， 倒車，直至車輛停入停車框內"等)和示意圖像Hb,其中，該多道 操作動作組成如在向左的側方停車時的完整的駕駛操作；該示意圖像
Hb對應于各指示信息Ha,示意性地顯示停車框PW與車輛、停車導 向線PL之間的位置關系。根據停車時車輛的實際狀態(tài)(如，通過檔 位傳感器33檢測出的檔位，和通過轉向角傳感器32檢測出的方向盤 轉向角或與該轉向角對應的車輛實際轉向角的大小)，即，根據停車時
的完整的駕駛操作的多道操作，依次突出顯示各指示Ha和各示意圖像 Hb。此外，突出顯示是通過如增大對比度、增大顯示尺寸或改變顯示顏 色等方式而進行的。
此外，在停車時的完整的駕駛操作的多道操作中，對應的各指示 信息Ha和各示意圖像Hb的顯示顏色相同，多道操作之間，對應的 各指示信息Ha彼此的顯示顏色不同，對應的示意圖像Hb彼此的顯 示顏色也不同。
在如圖25中(A)和圖26中(A)所示的顯示畫面中，在向左的
27側方停車時，檔位為倒車檔以外的檔位，該狀態(tài)下，在方向盤轉向角 或與該轉向角對應的車輛實際轉向角不足規(guī)定值時，相應地，在全景
拍攝畫面GV的圖像上僅疊加顯示初始位置確定導向線PLA,操作提 示HELP中，只突出顯示用來指示將車輛設定到停車動作的初始位置 時的指示信息Ha( "l.使導向線與停車框的角部重合")和與該指示 信息Ha相對應的示意圖像Hb。在從上一狀態(tài)起，在向左的側方停車 的車輛初始位置處，將檔位桿從該狀態(tài)設定為倒車檔，然后，向左轉 動方向盤，4吏方向盤轉向角或與該轉向角對應的車輛實際轉向角變?yōu)?方向盤差不多被最大限度地轉動、也就是規(guī)定值以上，此時，像如下 這樣來對顯示進行切換。參照圖25中(B)和圖26中(B)所示的 顯示畫面，在后方拍纟聶畫面RV和全景拍纟聶畫面GV的組合的顯示方 式下，在全景拍攝畫面GV的圖像上疊加顯示初始位置確定導向線 PLA和反方向操作方向盤開始位置確定導向線PLB。此外，操作提示 HELP中，突出顯示如下的指示信息Ha ( "2.最大限度地向左轉動方 向盤，在導向線達到路肩前使車輛一直后退"、"3.最大限度地向右 轉動方向盤，倒車直至車輛停入停車框內")和與這些指示信息Ha 相對應的模式圖像Hb的狀態(tài)，此時的指示信息Ha指示的情況為 最大限度地轉動方向盤使車輛從初始位置開始后退，然后從反方向操 作方向盤位置起最大限度地向反方向轉動方向盤并使車輛后退。
此外，例如，將從通常的前方拍t聶畫面FV和全景拍纟聶畫面GV 的組合的顯示方式切換過來的停車導向線菜單(例如，圖24所示的 停車導向線菜單)顯示在顯示畫面中的狀態(tài)下，通過對操作開關15
進行規(guī)定操作，選擇用來對向左的入庫停車的停車導向線PL的顯示 進行指示的選擇菜單(向左的入庫停車導向線)，則可如圖27中(A) 所示，將顯示畫面的顯示切換為前方拍4聶畫面FV和全景拍:^聶畫面GV 的組合的顯示方式。
此時，若方向盤轉向角或與該轉向角對應的車輛實際轉向角為頭見 定值以上，且檔位為倒車檔之外的檔位時，則在前方拍攝畫面FV的 圖像上疊加顯示基準導向線DL,在全景拍攝畫面GV的圖像上疊加顯示基準導向線DL、初始位置確定導向線PLA以及反方向操作方向 盤開始位置確定導向線PLB。此時，還可通過對操作開關15進行規(guī) 定操作(如，按下操作)，在顯示畫面上顯示指示圖像PHa (使用方 法)，該指示圖像PHa表示的是，可使指示停車導向線PL的使用方 法的操作提示顯示出來。
此外，當操作者對操作開關15進行規(guī)定操作(如，按下操作) 后，則將如圖28中(A)所示那樣的規(guī)定的操作提示HELP和全景拍 攝畫面GV圖像一起顯示在顯示畫面中。此時，再次對操作開關15 進行規(guī)定操作(如，按下操作)后，在顯示畫面中顯示指示圖像PHb (使用方法OFF),該指示圖像PHb表示的是，可結束對操作提示 HELP的顯示。
該操作提示HELP包括多道操作的各指示信息Ha(如，"l.使(初 始位置確定導向線PLA的)標記與停車框的中部對應"、"2.最大限 度地向右轉動方向盤，并使車輛前進到停車導向線進入停車框"、"3. 最大限度地向左轉動方向盤，使車輛一直后退，直至車輛停入停車框 內"等)和示意圖像Hb,其中，該多道操作組成如向左的入庫停車 時的完整的駕駛操作；該示意圖像Hb對應于各指示信息Ha,示意性 地顯示停車框PW與車輛、停車導向線PL之間的位置關系。根據停 車時車輛的實際狀態(tài)(如，通過檔位傳感器33 ;險測出的檔位，和通 過轉向角傳感器32檢測出的方向盤轉向角或與該轉向角對應的車輛 實際轉向角的大小)，即，根據停車時的完整的駕駛操作的多道操作， 依次突出顯示各指示信息Ha和各示意圖像Hb。此外，突出顯示是通 過如增大對比度、增大顯示尺寸或改變顯示顏色等方式而進行的。
在如圖27中(A)和圖28中(A)所示的顯示畫面中，表示的是 在向左的入庫停車，檔位為倒車檔以外的檔位的狀態(tài)，其方向盤轉向 角或與該轉向角對應的車輛實際轉向角不足規(guī)定值。相應地，在全景 拍攝畫面GV的圖像上疊加顯示有基準導向線DL、初始位置確定導 向線PLA和反方向操作方向盤開始位置確定導向線PLB，操作提示 HELP中，僅突出顯示先將車輛停到停車動作的初始位置、再最大限度地轉動方向盤并4吏車輛從初始位置起開始后退而移動到反方向
操作方向盤位置的指示信息Ha ( "l.使(初始位置確定導向線PLA的)標記與停車框的中部對應"、"2.最大限度地向右轉動方向盤，并使車輛前進到停車導向線進入停車框")和與這些指示信息Ha相對應的示意圖像Hb。從上一狀態(tài)起，在向左的入庫停車中車輛的反方向操作方向盤位置處，將檔位桿設定為倒車檔，然后向左轉動方向盤，使方向盤轉向角或與該轉向角對應的車輛實際轉向角變?yōu)榉较虮P差不多被最大限度地轉動、也就是規(guī)定值以上，此時，如圖27中(B)和圖28中(B)所示，在后方拍^^畫面RV和全景拍:t聶畫面GV的組合的顯示方式下，將初始位置確定導向線PLA和反方向操作方向盤開始位置確定導向線PLB疊加顯示在全景拍攝畫面GV的圖像上。此外，操作提示HELP中，只突出顯示指示最大限度地向反方向轉動方向盤并使車輛從反方向操作方向盤位置開始后退的指示信息Ha( 3.最大限度地向左轉動方向盤，使車輛一直后退，直至車輛停入停車框內")和與該指示信息Ha相對應的示意圖像Hb。
如上所述，通過采用本實施方式的車輛駕駛輔助裝置10,在全景拍攝畫面GV的圖像上疊加顯示停車導向線PL。由此，即使在車輛移動過程中，駕駛員也易于識別停車框PW和停車導向線PL之間的相對位置。
此外，停車導向線PL所包含的初始位置確定導向線PLA和反方向操作方向盤開始位置確定導向線PLB為規(guī)定的線段。由此，可容易地進行用于確定位置的駕駛操作，可提高駕駛員進行駕駛操作的便利性。
此外，駕駛員需要進行的側方停車的操作是，使初始位置確定導向線PLA移到停車框PW的拐角部中離車最近的拐角部PWa這樣的位置。該情況下，例如與初始位置確定導向線PLA移到停車框PW的拐角部中離該車最近的拐角部PWa以外的位置的情況相比，駕駛員易于掌握必要的駕駛操作，此外，也易于在顯示裝置19的顯示畫面上識別出作為目標的拐角部PWa。因此，駕駛員能容易地進行駕駛操作，也可提高駕駛員進行駕駛操作的便利性。
此外，駕駛員需要進行的入庫停車的操作是，使初始位置確定導
向線PLA位于停車框PW的大致中部這樣的位置。該情況下，例如與使初始位置確定導向線PLA位于在規(guī)定位置設定的目標點等的情況相比，可筒化駕駛員的駕駛操作，便于駕駛員進行駕駛操作。
此外，如上所述，通過采用本實施方式的車輛駕駛輔助裝置10,禁止在停車時顯示預測導向線EL和基準導向線DL。由此，例如，即使駕駛員在允許顯示預測導向線EL和基準導向線DL的狀態(tài)下執(zhí)行停車動作，也可自動停止對顯示預測導向線EL和基準導向線DL的顯示，這樣可防止因顯示有預測導向線EL和基準導向線DL而難于視認停車導向線PL的情況發(fā)生，并防止顯示變得繁雜，便于駕駛員進行駕駛操作。
此外，如上所述，通過采用本實施方式的車輛駕駛輔助裝置10,根據由各攝像機lla、 llb、 llc、 lld輸出的圖像數據變換得到的圖像上疊加導向標記，此外，還顯示操作提示HELP,該操作提示HELP能突出顯示與停車時的完整駕駛操作的多道操作中各操作相對應的操作提示。由此，對駕駛員來說，易于在停車空間PW和車輛之間的相對位置適當的合適時刻，準確地發(fā)現到需要進行的駕駛操作，也可把握從執(zhí)行停車動作開始到執(zhí)行完畢的過程中的完整駕駛操作，便于駕駛員進行駕駛操作。
此外，通過將操作提示HELP顯示在，與疊加顯示有導向標記的變換圖像的顯示范圍不相沖突的位置，對于駕駛員來說，易于一邊對操作提示HELP和從實際的外界周邊拍攝畫面變換得來圖像進行比較， 一邊準確地識別操作提示。
盡管已對本發(fā)明的優(yōu)選實施方式作了以上描述和圖示說明，但應
明的精神或范圍的情況下，可對本發(fā)明進行各種增加、刪減、替換以及其它修改。因此，本發(fā)明不受前述描述的限制，而僅受后附權利要求的范圍的限制。
3權利要求
1.一種車輛駕駛輔助裝置，其特征在于，包括多個攝像裝置，用于對車外周邊區(qū)域進行攝像并輸出圖像；視點變換圖象處理機構，其對所述多個攝像裝置所輸出的所述圖像進行視點變換的圖像處理，得到變換圖像；顯示裝置，其設置在車廂內；轉向角狀態(tài)量檢測機構，其對與車輛的實際轉向角相關的轉向角狀態(tài)量進行檢測，測得檢測值；顯示控制機構，其對所述視點變換圖像處理機構所輸出的所述變換圖像和用于輔助駕駛員執(zhí)行停車動作的導向標記進行疊加，并使它們顯示在所述顯示裝置中，所述顯示控制機構根據所述轉向角狀態(tài)量檢測機構所測得的所述檢測值，使所述導向標記顯示在所述顯示裝置中，所述導向標記包括與所述車輛在所述停車動作開始時的初始位置相關的初始位置確定導向線和與反方向操作方向盤動作的開始位置相關的反方向操作方向盤開始位置確定導向線。
2. 如權利要求1所述的車輛駕駛輔助裝置，其特征在于，在所述停車動作為側方停車的情況下，所述顯示控制機構將側方 停車初始位置確定導向線作為所述初始位置確定導向線并顯示在所述顯示裝置中，以所述側方停車初始位置確定導向線處于停車框的拐角部中與 所述車輛最近的那個所述拐角部時，所述車輛所處位置作為側方停車 初始位置。
3. 如權利要求1所述的車輛駕駛輔助裝置，其特征在于，在所述停車動作為入庫停車的情況下，所述顯示控制機構將入庫 停車初始位置確定導向線作為所述初始位置確定導向線顯示在所述 顯示裝置中，以使所述入庫停車初始位置確定導向線處于停車框的大致中部時，所述車輛所處位置作為入庫停車初始位置。
4. 一種車輛駕駛輔助裝置，其特征在于，包括多個攝像裝置，用于對車外周邊區(qū)域進行攝像并輸出圖像； 顯示裝置，其設置在車廂內；轉向角狀態(tài)量檢測機構，其對與車輛的實際轉向角相關的轉向角 狀態(tài)量進行檢測，測得檢測值；顯示控制機構，其將如下標記與所述多個攝像裝置所輸出的所述 圖像重疊，并使其顯示在所述顯示裝置中，該標記是指用于輔助駕 駛員執(zhí)行停車動作的停車導向標記；根據所述轉向角狀態(tài)量檢測機構輸出的所述檢測值預測得到的與所述車輛的行駛軌跡相關的預測導 向標記、或位于距所述車輛規(guī)定距離的基準導向標記二者中至少任何 一個，在對所述車輛執(zhí)行規(guī)定停車動作時，所述顯示控制機構禁止對所 述預測導向標記和所述基準導向標記進4于顯示。
5. —種車輛駕駛輔助裝置，其特征在于，包括多個攝像裝置，用于對車外周邊區(qū)域進行攝像并輸出圖像； 顯示裝置，其設置在車廂內；顯示控制機構，其對所述多個攝像裝置所輸出的所述圖像和用于 輔助駕駛員執(zhí)行停車動作的導向標記進行疊加，并使其顯示在所述顯 示裝置中，所述顯示控制機構使操作提示顯示在所述顯示裝置中，該操作提 示用于指示停車時的駕駛操作，對與所述駕駛操作的多到操作中正在執(zhí)行的那個操作相對應的 所述操作提示進行突出顯示。
6. 如權利要求5所示的車輛駕駛輔助裝置，其特征在于，在突出顯示與所述正執(zhí)行的操作相對應的所述操作提示時，所述 顯示控制機構增大被突出顯示的所述操作提示的對比度。
7. 如權利要求5或6所示的車輛駕駛輔助裝置，其特征在于， 在突出顯示與所述正執(zhí)行的操作相對應的所述操作提示時，所述顯示控制機構增大被突出顯示的所述操作提示的顯示尺寸。
8. 如權利要求5或6所示的車輛駕駛輔助裝置，其特征在于， 在突出顯示與所述正執(zhí)行的操作相對應的所述操作提示時，所述顯示控制機構改變被突出顯示的所述操作提示的顯示顏色。
9. 如權利要求5或6所示的車輛駕駛輔助裝置，其特征在于， 所述顯示控制機構將所述操作提示顯示在，與重疊顯示有所述導向標記的所述圖像的顯示范圍不相沖突的位置。
全文摘要
本發(fā)明提供一種車輛駕駛輔助裝置，包括對車外周邊區(qū)域攝像并輸出圖像的多個攝像裝置；視點變換圖象處理機構，對輸出的圖像進行視點變換的圖像處理，得到變換圖像；設在車廂內的顯示裝置；轉向角狀態(tài)量檢測機構，檢測與車輛的實際轉向角相關的轉向角狀態(tài)量，測得檢測值；顯示控制機構，疊加視點變換圖像處理機構輸出的變換圖像和輔助駕駛員執(zhí)行停車動作的導向標記，使它們顯示在顯示裝置中，顯示控制機構根據轉向角狀態(tài)量檢測機構輸出的檢測值，使導向標記顯示在顯示裝置中，該導向標記包括與車輛在停車動作開始時的初始位置相關的初始位置確定導向線和與反方向操作方向盤動作的開始位置相關的反方向操作方向盤開始位置確定導向線。
文檔編號B60R21/00GK101676149SQ200910176309
公開日2010年3月24日 申請日期2009年9月14日 優(yōu)先權日2008年9月16日
發(fā)明者三枝重信, 大島健一, 小西康博, 川越浩行, 清水學, 照田八州志, 片嶋淑隆, 藤原幸廣 申請人:本田技研工業(yè)株式會社