車輛的控制裝置及程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明的實(shí)施方式涉及車輛的控制裝置及程序。
【背景技術(shù)】
[0002] 以往，作為支援車輛停車的技術(shù)，存在有使用設(shè)置在車輛上的多個(gè)攝像頭，將作為 車輛的周邊環(huán)境拍攝的圖像數(shù)據(jù)提供給駕駛員的技術(shù)。提出了向駕駛員提供時(shí)根據(jù)車輛舉 動(dòng)修正拍攝的圖像數(shù)據(jù)的技術(shù)。此外，提出了為了容易識別周邊環(huán)境而生成以俯瞰視點(diǎn)表 示出車輛周邊的地面的俯視圖像數(shù)據(jù)的技術(shù)。
[0003] 現(xiàn)有技術(shù)文獻(xiàn)
[0004] 專利文獻(xiàn)
[0005] 專利文獻(xiàn)1 :日本特開2009-212703號公報(bào)
[0006] 專利文獻(xiàn)2 :日本特開平9-52555號公報(bào)
[0007] 專利文獻(xiàn)3 :日本特開2003-009141號公報(bào)
[0008] 專利文獻(xiàn)4 :日本特開2003-244688號公報(bào)

【發(fā)明內(nèi)容】

[0009] 發(fā)明要解決的課題
[0010] 但是，在現(xiàn)有技術(shù)中，例如因?yàn)閮H在有駕駛員的指示的情況下修正圖像數(shù)據(jù)，所以 出現(xiàn)無法實(shí)時(shí)修正這樣的問題；或者因?yàn)槭褂密嚿砀叨葌鞲衅鳈z測車輛的傾斜度，所以出 現(xiàn)在輪胎未接地等情況下無法以良好精度把握傾斜度、無法充分恰當(dāng)?shù)仫@示圖像數(shù)據(jù)等的 問題。此外，在基于這樣的圖像數(shù)據(jù)的顯示中，出現(xiàn)很難正確地把握車輛的周邊狀況等的問 題。
[0011] 用于解決課題的方法
[0012] 作為一個(gè)例子，本發(fā)明的實(shí)施方式的車輛的控制裝置具有：獲取部，獲取拍攝圖像 數(shù)據(jù)和車輛狀態(tài)數(shù)據(jù)，所述拍攝圖像數(shù)據(jù)是從設(shè)置在車輛上的用于拍攝該車輛的周邊的拍 攝部輸出的數(shù)據(jù)，所述車輛狀態(tài)數(shù)據(jù)是從設(shè)置在該車輛上的車輛狀態(tài)檢測部輸出的數(shù)據(jù)； 控制部，基于根據(jù)所述車輛狀態(tài)數(shù)據(jù)計(jì)算出的所述車輛相對于水平方向而在左右方向上的 傾斜度，來旋轉(zhuǎn)控制所述拍攝圖像數(shù)據(jù)，所述水平方向是與重力方向垂直的水平面所包括 的方向；所述控制部，以使被拍攝在所述拍攝圖像數(shù)據(jù)中的被攝體所包括的水平線與輸出 目標(biāo)的顯示區(qū)域的橫向的邊大致平行的方式，進(jìn)行旋轉(zhuǎn)控制。因此，作為一個(gè)例子，起到容 易把握基于拍攝圖像數(shù)據(jù)的車輛周邊的狀況的效果。
[0013] 此外，作為一個(gè)例子，在所述車輛的控制裝置中，所述車輛狀態(tài)檢測部獲取加速度 數(shù)據(jù)，所述加速度數(shù)據(jù)作為所述車輛狀態(tài)數(shù)據(jù)，是由設(shè)置在所述車輛的加速度檢測部輸出 的；所述控制部，將與所述拍攝部用于拍攝的鏡頭的中心對應(yīng)的所述拍攝圖像數(shù)據(jù)的顯示 區(qū)域內(nèi)的位置坐標(biāo)作為原點(diǎn)，根據(jù)側(cè)傾角來旋轉(zhuǎn)控制所述拍攝圖像數(shù)據(jù)，所述側(cè)傾角是根 據(jù)所述加速度數(shù)據(jù)求出的，用于表示圍繞所述車輛的前后軸旋轉(zhuǎn)的傾斜度。因此，作為一個(gè) 例子，起到容易地把握基于拍攝圖像數(shù)據(jù)的車輛周邊的狀況的效果。此外，起到視覺上容易 識別高度差的效果。
[0014] 此外，作為一個(gè)例子，在所述車輛的控制裝置中，所述控制部進(jìn)一步進(jìn)行所述拍攝 圖像數(shù)據(jù)的放大處理或縮小處理。因此，作為一個(gè)例子，通過根據(jù)輸出目標(biāo)進(jìn)行拍攝圖像數(shù) 據(jù)的放大或縮小，起到視認(rèn)性提高的效果。
[0015] 此外，作為一個(gè)例子，在所述車輛的控制裝置中，所述控制部進(jìn)一步針對所述拍攝 圖像數(shù)據(jù)，使所述鏡頭中心對應(yīng)的位置坐標(biāo)從所述顯示區(qū)域的中心移動(dòng)。因此，作為一個(gè)例 子，通過根據(jù)輸出目標(biāo)進(jìn)行拍攝圖像數(shù)據(jù)的移動(dòng)控制，起到視認(rèn)性提高的效果。
[0016] 此外，作為一個(gè)例子，在所述車輛的控制裝置中，所述控制部進(jìn)一步使所述鏡頭中 心對應(yīng)的位置坐標(biāo)從所述顯示區(qū)域的中心向所述顯示區(qū)域內(nèi)的上方移動(dòng)。因此，作為一個(gè) 例子，因?yàn)橹饕@示拍攝圖像數(shù)據(jù)所包括的水平線下方的區(qū)域，所以起到能夠容易把握車 輛周邊的狀況的效果。
[0017] 此外，作為一個(gè)例子，在所述車輛的控制裝置中，在顯示有所述拍攝圖像數(shù)據(jù)的顯 示裝置中，將表示出側(cè)傾角與俯仰角其中至少一個(gè)的信息與所述拍攝圖像數(shù)據(jù)一起顯示， 所述側(cè)傾角示出了圍繞所述車輛的前后軸旋轉(zhuǎn)的傾斜度，所述俯仰角示出了圍繞所述車輛 的左右軸旋轉(zhuǎn)的傾斜度。因此，作為一個(gè)例子，起到容易地把握車輛狀態(tài)與車輛周邊的狀況 兩者的效果。
[0018] 此外，作為一個(gè)例子，在所述車輛的控制裝置中，所述獲取部進(jìn)一步獲取示出所述 車輛是否已切換至越野用的模式的信息；所述控制部在所述車輛已切換至越野用的模式的 情況下，根據(jù)所述車輛狀態(tài)數(shù)據(jù)旋轉(zhuǎn)控制所述拍攝圖像數(shù)據(jù)。因此，作為一個(gè)例子，在越野 用的模式中起到在視覺上容易識別車輛周邊的狀況的效果。
[0019] 此外，作為一個(gè)例子，在所述車輛的控制裝置進(jìn)一步具有生成部，其根據(jù)通過所述 控制部旋轉(zhuǎn)控制后獲得的所述拍攝圖像數(shù)據(jù)，生成以俯瞰視點(diǎn)表示出所述車輛周邊的地面 的俯視圖像數(shù)據(jù)。因此，作為一個(gè)例子，因?yàn)橥ㄟ^參照旋轉(zhuǎn)控制并水平化之后進(jìn)行了視點(diǎn)變 更的俯視圖像數(shù)據(jù)，能夠以俯瞰的方式識別車輛周邊，所以起到在視覺上容易識別車輛周 圍的狀況的效果。
[0020] 此外，作為一個(gè)例子，在本發(fā)明的實(shí)施方式的程序使計(jì)算機(jī)執(zhí)行：獲取步驟，獲取 拍攝圖像數(shù)據(jù)和車輛狀態(tài)數(shù)據(jù)，所述拍攝圖像數(shù)據(jù)是從設(shè)置在車輛上的用于拍攝該車輛的 周邊的拍攝部輸出的數(shù)據(jù)，所述車輛狀態(tài)數(shù)據(jù)是從設(shè)置在該車輛上的車輛狀態(tài)檢測部輸出 的數(shù)據(jù)；控制步驟，基于根據(jù)所述車輛狀態(tài)數(shù)據(jù)計(jì)算出的所述車輛相對于水平方向而在左 右方向上的傾斜度，來旋轉(zhuǎn)控制所述拍攝圖像數(shù)據(jù)，所述水平方向是與重力方向垂直的水 平面所包括的方向；在所述控制步驟中，以使被拍攝在所述拍攝圖像數(shù)據(jù)中的被攝體所包 括的水平線與輸出目標(biāo)的顯示區(qū)域的橫向的邊大致平行的方式，進(jìn)行旋轉(zhuǎn)控制。因此，作為 一個(gè)例子，起到能夠容易地把握基于拍攝圖像數(shù)據(jù)的車輛周邊的狀況的效果。
[0021] 此外，作為一個(gè)例子，在所述程序進(jìn)一步使所述計(jì)算機(jī)執(zhí)行：生成步驟，其根據(jù)通 過所述控制步驟旋轉(zhuǎn)控制后獲得的所述拍攝圖像數(shù)據(jù)，生成以俯瞰視點(diǎn)表示出所述車輛周 邊的地面的俯視圖像數(shù)據(jù)。作為一個(gè)例子，創(chuàng)建旋轉(zhuǎn)控制并水平化之后進(jìn)行了視點(diǎn)變更的 俯視圖像數(shù)據(jù)。其結(jié)果是，因?yàn)槟軌蛞愿╊姆绞阶R別車輛的周邊，所以起到在視覺上容易 識別車輛周圍的狀況的效果。
【附圖說明】
[0022] 圖1是示出實(shí)施方式的車輛的車室（車廂）的一部分在透視狀態(tài)下的一個(gè)例子的 立體圖。
[0023] 圖2是示出實(shí)施方式的車輛的一個(gè)例子的俯視圖（俯瞰圖）。
[0024] 圖3是示出實(shí)施方式的車輛的周邊監(jiān)視系統(tǒng)的一個(gè)例子的框圖。
[0025] 圖4是示出實(shí)施方式的加速度傳感器的檢測方向的一個(gè)例子的圖。
[0026] 圖5是示出在第一實(shí)施方式的周邊監(jiān)視EQJ (electronic control unit :電子控 制單元）內(nèi)實(shí)現(xiàn)的周邊監(jiān)視部的結(jié)構(gòu)的框圖。
[0027] 圖6是通過第一實(shí)施方式的拍攝部拍攝的拍攝圖像數(shù)據(jù)的一個(gè)例子。
[0028] 圖7是示出在將與鏡頭中心對應(yīng)的位置坐標(biāo)作為原點(diǎn)的情況下，表示出拍攝圖像 數(shù)據(jù)的顯示區(qū)域的二維正交坐標(biāo)系的一個(gè)例子的圖。
[0029] 圖8是示出通過第一實(shí)施方式的旋轉(zhuǎn)控制部進(jìn)行了旋轉(zhuǎn)修正后的拍攝圖像數(shù)據(jù) 的一個(gè)例子的圖。
[0030] 圖9是示出了由第一實(shí)施方式的合成部合成后的圖像數(shù)據(jù)的一個(gè)例子的圖。
[0031] 圖10是示出在第一實(shí)施方式的周邊監(jiān)視部中的面向顯示裝置的顯示處理的順序 的流程圖。
[0032] 圖11是示在出第二實(shí)施方式的周邊監(jiān)視ECU內(nèi)實(shí)現(xiàn)的周邊監(jiān)視部的結(jié)構(gòu)的框圖。
[0033] 圖12是示出第二實(shí)施方式的車輛越野行駛時(shí)該車輛駛上石頭等的狀況的例子的 圖。
[0034] 圖13是示出在將與鏡頭中心對應(yīng)的位置坐標(biāo)作為原點(diǎn)的情況下，表示出拍攝圖 像數(shù)據(jù)的顯示區(qū)域的二維正交坐標(biāo)系的例子的圖。
[0035] 圖14是示出通過第二實(shí)施方式的移動(dòng)量計(jì)算部計(jì)算出的光流的概念的圖。
[0036] 圖15是示出光流（optical flow)的平均值與車輛的移動(dòng)量的關(guān)系的圖。
[0037] 圖16是示出因第二實(shí)施方式的車輛的傾斜導(dǎo)致的拍攝圖像數(shù)據(jù)的變形與通過變 換部變換后的拍攝圖像數(shù)據(jù)的顯示范圍的圖。
[0038] 圖17是示出通過第二實(shí)施方式的合成部合成后的俯視圖像數(shù)據(jù)的例子的圖。
[0039] 圖18是示出在第二實(shí)施方式的俯視圖像存儲部存儲的俯視圖像數(shù)據(jù)的例子的 圖。
[0040] 圖19是示出第二實(shí)施方式的輸出部輸出的畫面信息的例子的圖。
[0041] 圖20是示出在第二實(shí)施方式的周邊監(jiān)視部中的面向顯示裝置8的顯示處理的順 序的流程圖。
[0042] 圖21是示在出第三實(shí)施方式的周邊監(jiān)視ECU內(nèi)實(shí)現(xiàn)的周邊監(jiān)視部的結(jié)構(gòu)的框圖。
[0043] 圖22是不出第三實(shí)施方式的輸出部輸出的畫面信息的例子的圖。
【具體實(shí)施方式】
[0044] 在下面的多個(gè)實(shí)施方式中包括同樣的結(jié)構(gòu)要素。因此，下面對同樣的結(jié)構(gòu)要素附 上共同的附圖標(biāo)記。此外，省略重復(fù)的說明。
[0045]〈第一實(shí)施方式〉
[0046] 在實(shí)施方式中，例如，車輛1既可以是將內(nèi)燃機(jī)（發(fā)動(dòng)機(jī)，未圖示）作為驅(qū)動(dòng)源的 汽車（內(nèi)燃機(jī)汽車），也可以是將電動(dòng)機(jī)（馬達(dá)，未圖示）作為驅(qū)動(dòng)源的汽車（電動(dòng)汽車、燃 料電池汽車等），還可以是將這雙方作為驅(qū)動(dòng)源的汽車（混合動(dòng)力汽車）。此外，車輛1既 能夠搭載各種變速裝置，又能夠搭載驅(qū)動(dòng)內(nèi)燃機(jī)或電動(dòng)機(jī)所需要的各種裝置（系統(tǒng)、零件 等）。此外，能夠以各種方式設(shè)定車輛1中涉及車輪3的驅(qū)動(dòng)的裝置的方式或數(shù)量、布局等。
[0047] 如圖1所示，車體2構(gòu)成了乘坐者（未圖示）乘坐的車室2a。在車室2a內(nèi)，在面 向作為乘坐者的駕駛員的座位2b的狀態(tài)下，設(shè)置有轉(zhuǎn)向部4、加速操作部5、制動(dòng)操作部6、 變速操作部7等。作為一個(gè)例子，雖然在本實(shí)施方式中轉(zhuǎn)向部4是從儀表盤（儀表面板） 突出的方向盤，加速操作部5是位于駕駛員腳下的加速踏板，制動(dòng)操作部6是位于駕駛員腳 下的制動(dòng)踏板，變速操作部7是從中央控制臺突出的變速桿，但并不限于上述這些。
[0048] 此外，在車室2a內(nèi)設(shè)置有顯示裝置8 (顯示輸出部）、聲音輸出裝置9 (聲音輸出 部）。例如，顯示裝置 8 是IXD(liquid crystal display:液晶顯示器）、0ELD(organic electroluminescent display:有機(jī)電致發(fā)光顯示器）等。作為一個(gè)例子，聲音輸出裝置 9是揚(yáng)聲器。此外，作為一個(gè)例子，在本實(shí)施方式中顯示裝置8被透明的操作輸入部10 (例 如，觸摸面板等）覆蓋。乘坐者等能夠通過操作輸入部10來以視覺識別在顯示裝置8的顯 示畫面上顯示的影像（圖像）。此外，乘坐者等通過在與顯示于顯示裝置8的顯示畫面的 影像（圖像）對應(yīng)的位置上使用手指等觸摸、按壓或移動(dòng)操作輸入部10來進(jìn)行操作，能夠 執(zhí)行操作輸入（指示輸入）。此外，作為一個(gè)例子，在本實(shí)施方式中顯示裝置8、聲音輸出裝 置9、操作輸入部10等設(shè)置于監(jiān)視裝置11，所述監(jiān)視裝置11位于儀表盤的車寬方向（左右 方向）的中央部。監(jiān)視裝置11能夠具有開