專利名稱：車載圖像處理裝置的制作方法
技術領域：
本發(fā)明涉及車載的圖像處理裝置。
背景技術：
以前，為了控制車輛行駛，已知利用從車載的攝像機等取得的圖像
信息的裝置(例如，參照日本特開平7 - 89443號公報)。該裝置是限定 圖像處理范圍，控制車輛使得對象物存在于已限定的限定范圍內(nèi)的裝 置。

發(fā)明內(nèi)容
但是，在以前的圖像處理裝置中，由于在畫面上該對象物大幅移動， 所以為了跟蹤對象物體需要將比較大的圖像區(qū)域作為處理對象，會使圖 像處理負荷增大。同樣，在具備根據(jù)對象物的位置位移來檢測車輛的運 動量的功能的情況下，也需要將比較大的圖像區(qū)域作為處理對象。
因此，本發(fā)明是為了解決這種技術問題而完成的，其目的是提供一 種能夠在保持計算出的運動量的精度的同時，高效地進行用于計算本車 輛的運動量的圖像處理的圖像處理裝置。
即，本發(fā)明涉及的圖像處理裝置包括如下單元而構成笫一拍攝單 元，拍攝車輛的周圍作為圖像信息；特定區(qū)域提取單元，將比由所述圖 像信息形成的圖像區(qū)域的中心靠近周邊側的區(qū)域設為特定區(qū)域，并提取 多個所述特定區(qū)域；以及運動量計算單元，基于多個所述特定區(qū)域內(nèi)的 圖像信息來計算本車輛的運動量。
通過以此方式構成，對于由拍攝到的圖像信息形成的圖像區(qū)域，可 以僅以規(guī)定的特定區(qū)域為處理對象，因此能夠高效地進行圖像處理。此 外，將比圖像區(qū)域的中心側靠近拍攝到的對象物的位置變化量較大的周 邊側的區(qū)域設為特定區(qū)域并提取多個，因此能夠正確地把握圖像的縱向 以及橫向的位移來計算出車輛的運動量。由此，能夠在保持精度的同時高效地計算出車輛的運動量。
在此，優(yōu)選，在圖像處理裝置中，所述特定區(qū)域提取單元在行駛道 路為左側通行的情況下，將從所述圖像區(qū)域的中心觀察為左上方的區(qū)域 設為第一特定區(qū)域并提取，將從所述圖像區(qū)域的中心觀察為右下方的區(qū) 域設為第二特定區(qū)域并提取。
通過以此方式構成，在行駛道路為左側通行的情況下，能夠將從圖
像信息的整個區(qū)域的中心觀察為左上方和右下方的區(qū)域設為特定區(qū)域 并提取，因此能夠將設置在行進方向左上方的道路標記或建筑物等，以
及存在于行進方向右下方的白線或中央分離區(qū)等作為特征點的對象物 可靠地納入特定區(qū)域內(nèi)
此外，優(yōu)選，在圖像處理裝置中，包括第二拍攝單元，與所述第 一拍攝單元相比，視角的大小較小；以及第一圖像修正單元，使用由所 述運動量取得單元取得的所述運動量，修正由所述第二拍攝單元所取得 的圖像。
通過以此方式構成，能夠從視角不同的拍攝單元取得多個圖像。在 此，由比第二拍攝單元視角大的第一拍攝單元(廣角的拍攝單元)拍攝 到的圖像與由第二拍攝單元(窄角的拍攝單元)拍攝到的圖像相比，包 含相對于拍攝方向更靠近外側的圖像信息。據(jù)此，通過使用由廣角的拍 攝單元拍攝到的圖像來檢測對象物體位移，能夠更準確地把握圖像的位 移。這樣，在包括多個視角不同的拍攝單元的情況下，通過使用由視角 最大的拍攝單元拍攝到的圖像來計算車輛的運動量，并使用計算出的車 輛的運動量進行對由其他拍攝單元拍攝到的圖像的修正，從而能夠高精 度地進行圖像的修正。
此外，優(yōu)選，在圖像處理裝置中，包括中央?yún)^(qū)域提取單元，從所 述圖像區(qū)域中提取作為所述圖像區(qū)域的中央的區(qū)域的中央?yún)^(qū)域；以及第 二圖像修正單元，使用由所述運動量取得單元取得的所述運動量，修正 由所述中央?yún)^(qū)域提取單元所提取的中央?yún)^(qū)域的圖像。
通過以此方式構成，能夠提取作為圖像信息的中央的區(qū)域的中央?yún)^(qū) 域，取得整體圖像和中央?yún)^(qū)域的圖像這兩個圖像。據(jù)此，能夠使用根據(jù)圖像區(qū)域的周邊側的特定區(qū)域計算出的運動量，修正中央?yún)^(qū)域的圖像。 中央?yún)^(qū)域的圖像對應于由遠景拍攝單元(窄角的拍攝單元)拍攝到的圖 像，周邊側的特定區(qū)域對應于由廣角的拍攝單元拍攝到的圖像，因此無 須包括兩個拍攝單元，而使用 一個圖像便可高精度地進行遠景的圖像處 理的修正。


圖1是本發(fā)明的第一實施方式涉及的圖像處理裝置1的結構概要圖。
圖2是表示圖1的圖像處理裝置1的動作的流程圖。
圖3是圖1的圖像處理裝置l設為處理對象的圖像例。
圖4是本發(fā)明的第二實施方式涉及的圖像處理裝置2的結構概要圖。
圖5是本發(fā)明的第三實施方式涉及的圖像處理裝置3的結構概要圖。
圖6是表示圖5的圖像處理裝置3的攝像機的設置的概要圖。
圖7是圖5的圖像處理裝置3設為處理對象的圖像例。
圖8是本發(fā)明的第四實施方式涉及的圖像處理裝置4的結構概要圖。
圖9是圖8的圖像處理裝置4設為處理對象的圖像例。
具體實施例方式
以下，參照附圖詳細說明本發(fā)明的實施方式。另外，在附圖的說明 中，對相同的要素賦予相同的符號，省略重復的說明。
(第一實施方式)
圖l是本發(fā)明的第一實施方式涉及的車載圖像處理裝置l的結構概 要圖。本實施方式涉及的車載圖像處理裝置1例如適于在根據(jù)圖像信息取得車輛的運動量以進行行駛控制的駕駛輔助系統(tǒng)中使用。
如圖1所示，本實施方式涉及的車載圖像裝置1包括信息取得部50 以及ECU10而構成。在此，ECU ( Electronic Control Unit,電子控制 單元)是進行電子控制的汽車設備的計算機，包括CPU (Central Processing Unit,中央處理單元)、ROM ( Read Only Memory,只讀存 儲器)、RAM (Random Access Memory,隨機訪問存儲器)以及輸入 輸出接口等而構成。
信息取得部50包括第一攝像機(第一拍攝單元)51。第一攝像機 51包括取得車輛周邊的圖像信息的圖像傳感器而構成。作為圖像傳感 器，例如使用CCD (Charge Coupled Device,電荷耦合器件)圖4象傳 感器或CMOS (Complementary Metal Oxide Semiconductor,互補型 金屬氧化物半導體)圖像傳感器。第一攝像機51取得的像素數(shù)例如縱 向為480,橫向為640。此外，笫一攝像機51具有將拍攝到的圖像的圖 像信息向ECU10輸出的功能。
ECU10包括圖像抽減部11、第一特定區(qū)域提取部(特定區(qū)域提取 單元)12、第二特定區(qū)域提取部(特定區(qū)域提取單元)13、第一相關處 理部15、第二相關處理部16、橫向位移檢測部18、縱向位移檢測部19 和運動量計算部(運動量計算單元)20。
圖像抽減部11具有抽減圖像信息的像素數(shù)的功能。圖像抽減部11 具有從第一攝像機51輸入圖像信息，并抽減輸入的圖像信息的像素數(shù) 的功能。例如，在圖像信息的像素數(shù)在垂直方向上為480的情況下，將 從圖像上側數(shù)起位于第偶數(shù)位的像素全部刪除，成為240個像素。此夕卜， 圖像抽減部11具有將抽減了像素數(shù)后的圖像信息向第一特定區(qū)域提取 部12以及第二特定區(qū)域提取部13輸出的功能。另外，在各個車載圖像 處理裝置中，也可以根據(jù)需要抽減水平方向的像素數(shù)。例如，在水平方 向的^^素數(shù)為640個的情況下，可以通過與垂直方向的處理相同的處理 使之成為320個像素。
第一特定區(qū)域提取部12具有提取為了計算車輛的運動量而成為處 理對象的第一區(qū)域的功能。第一特定區(qū)域提取部12從圖像抽減部11輸 入圖像信息，從所輸入的圖像信息的圖像區(qū)域中提取第一特定區(qū)域(第一個特定區(qū)域)。該第一特定區(qū)域是比圖像整體的圖像區(qū)域小的小區(qū)域， 從比圖像區(qū)域中心靠近邊緣側的區(qū)域中提取。例如，在左側通行的情況 下，從建筑物、道路標記、電線桿或者樹木等成為圖像處理的特征點的
對象物容易出現(xiàn)的左上區(qū)域中提取。此外，第一特定區(qū)域提取部12具 有將所提取的第一特定區(qū)域的圖像信息向第一相關處理部15輸出的功 能。
第二特定區(qū)域提取部13具有提取為了計算車輛的運動量而成為處 理對象的第二區(qū)域的功能。第二特定區(qū)域提取部13從圖像抽減部11輸 入圖像信息，從所輸入的圖像信息的圖像區(qū)域中提取第二特定區(qū)域(第 二個特定區(qū)域)。該第二特定區(qū)域是比圖像整體的圖像區(qū)域小的小區(qū)域， 從比圖像區(qū)域中心靠近邊緣側的區(qū)域中提取。例如，在左側通行的情況 下，從白線、中央分離區(qū)等成為圖像處理的特征點的對象物容易出現(xiàn)的 右下區(qū)域中提取。這樣，優(yōu)選，以與第一特定區(qū)域的位置的坐標即第一 特定區(qū)域的縱向以及橫向的坐標不重疊的方式取得第二特定區(qū)域的位 置。此外，第二特定區(qū)域提取部13具有將提取的第二特定區(qū)域的圖像 信息向第二相關處理部16輸出的功能。
第一相關處理部15具有檢測在第一特定區(qū)域內(nèi)顯示的特征點的功 能。第一相關處理部15以規(guī)定的間隔從第一特定區(qū)域提取部12輸入第 一特定區(qū)域的圖像信息，例如通過光流(Optical Flow)處理搜索并檢 測第 一特定區(qū)域的圖像信息中所顯示的特征點，檢測出特征點的移動位 置、移動方向或移動速度等與特征點相關的信息。此外，第一相關處理
向位移檢測部19輸出的功能。
第二相關處理部16具有檢測第二特定區(qū)域內(nèi)所顯示的特征點的功 能。第二相關處理部16以規(guī)定的間隔從第二特定區(qū)域提取部13輸入第 二特定區(qū)域的圖像信息，例如通過光流處理搜索并檢測第二特定區(qū)域的 圖像信息中所顯示的特征點，檢測出特征點的移動位置、移動方向或移 動速度等與特征點相關的信息。此外，第二相關處理部16具有將檢測 出的與特征點相關的信息向橫向位移檢測部18以及縱向位移檢測部19 輸出的功能。
橫向檢測部18具有基于從圖像信息中檢測出的與特征點相關的信息檢測圖像的橫向成分的功能。圖像的橫向成分例如是圖像的移動方向
和速度的橫向成分。橫向檢測部18從第一相關處理部15以及笫二相關 處理部16輸入與特征點相關的信息，根據(jù)第一特定區(qū)域的圖像信息中 所顯示的特征點與第二特定區(qū)域的圖像信息中所顯示的特征點之間的 規(guī)定的相關關系、例如移動位置的相關關系、移動方向的相關關系、移 動速度的相關關系等，檢測圖像的橫向成分。此外，橫向檢測部18具 有將檢測出的橫向成分向運動量計算部20輸出的功能。
縱向檢測部19具有基于從圖像信息中檢測出的與特征點相關的信 息檢測圖像的縱向成分的功能。圖像的縱向成分例如是圖像的移動方向 和速度的縱向成分?？v向檢測部19從第一相關處理部15以及第二相關 處理部16輸入與特征點相關的信息，才艮據(jù)笫一特定區(qū)域的圖像信息中 所顯示的特征點與第二特定區(qū)域的圖像信息中所顯示的特征點之間的 規(guī)定的相關關系、例如移動位置的相關關系、移動方向的相關關系、移 動速度的相關關系等，檢測圖像的縱向成分。此外，縱向檢測部19具 有將檢測出的縱向成分向運動量計算部20輸出的功能。
運動量計算部20具有計算車輛的運動量的功能。運動量計算部20 具有如下功能即從橫向檢測部18以及縱向檢測部19輸入圖像的橫向 成分以及縱向成分，根據(jù)橫向成分計算車輛的橫擺(Yaw)方向、根據(jù) 縱向成分計算車輛的縱擺方向(Pitch )、根據(jù)橫向成分以及縱向成分計 算側傾(Roll)方向的運動量。
接著，使用圖2以及圖3說明本實施方式涉及的車載圖像處理裝置 1的動作。圖2是表示本實施方式涉及的車載圖像處理裝置1的動作的 流程圖，圖3是車載圖像處理裝置l設為處理對象的圖像例。圖2所示 的流程圖例如在使車輛具備的行駛輔助按鈕為ON時候執(zhí)行，以規(guī)定的 間隔反復執(zhí)行。另外，考慮到理解說明的容易性，以圖3所示的圖像的 橫向為x,縱向為y,說明車輛左側通行時的處理。
如圖2所示，車載圖像處理裝置1從圖像信息的輸入處理開始 (SIO)。 S10的處理由信息取得部50執(zhí)行，是輸入圖像信息的處理。 信息取得部50從信息取得部50輸入例如圖3所示的圖像信息。S10的 處理結束后，轉到特定區(qū)域提取處理(S12)。
8S12的處理由第一特定區(qū)域提取部12以及第二特定區(qū)域提取部13 執(zhí)行，是從圖像信息中提取特定區(qū)域的處理。例如圖3的A1所示，第 一特定區(qū)域提取部12從比圖像區(qū)域中心Pl靠近周邊F1側的區(qū)域中提 取比圖像區(qū)域小的小區(qū)域。在此，由于是左側通行，所以第一特定區(qū)域 提取部12從圖像的左上區(qū)域中提取第一特定區(qū)域A1。在第一特定區(qū)域 Al中，作為特征點顯示了樹木B的圖像。此外，例如圖3的A2所示， 第二特定區(qū)域提取部13從比圖像區(qū)域中心Pl靠近周邊Fl側的區(qū)域中 提取比圖像區(qū)域小的小區(qū)域。在此，由于是左側通行，所以第二特定區(qū) 域提取部13從圖像的右上區(qū)域中提取第二特定區(qū)域A2。在第二特定區(qū) 域A2中，作為特征點顯示了白線C的圖像。S12的處理結束后，轉到 特征點的位移檢測處理(S14)。
S14的處理由第一相關處理部15、第二相關處理部16、橫向位移檢 測部18以及縱向位移檢測部19執(zhí)行，是檢測特定區(qū)域的圖像內(nèi)的特征 點的位移的處理。第一相關處理部15以及第二相關處理部16例如與上 次輸入的圖像信息相比較，分別提取第一特定區(qū)域Al、第二特定區(qū)域 A2的圖像內(nèi)的特征點。橫向位移檢測部18輸入第一相關處理部15所 提取的與第一特定區(qū)域Al的特征點相關的信息，并輸入第二相關處理 部16所提取的與第二特定區(qū)域A2的特征點相關的信息。并且，橫向位 移檢測部18根據(jù)與第一特定區(qū)域A1的特征點相關的信息和與第二特定 區(qū)域A2的特征點相關的信息之間的規(guī)定的相關關系，檢測例如圖3所 示的x方向的位移。此外，縱向位移檢測部19輸入第一相關處理部15 所提取的與第一特定區(qū)域Al的特征點相關的信息，并輸入第二相關處 理部16所提取的與第二特定區(qū)域A2的特征點相關的信息。而且，橫向 位移檢測部18根據(jù)與第一特定區(qū)域A1的特征點相關的信息和與第二特 定區(qū)域A2的特征點相關的信息的規(guī)定的相關關系，檢測例如圖3所示 的y方向的位移。S14的處理結束后，轉到運動量的計算處理(S16)。
S16的處理由運動量計算部20執(zhí)行，是基于由S14的處理輸入的特 征點的位移來計算車輛的運動量的處理。運動量計算部20基于x方向 以及y方向的位移，計算車輛的橫擺方向、縱擺方向以及側傾方向的運 動量。S16的處理結束后，圖2所示的控制處理結束。這樣，通過進行 圖2所示的控制處理，無須以圖3所示的圖像全體為處理對象，而以第 一特定區(qū)域Al以及第二特定區(qū)域A2為處理對象，由此，能夠在保持精度的同時進行圖像處理。
如上所述，根據(jù)本實施方式的圖像處理裝置1，對于由拍攝到的圖
像信息形成的圖像區(qū)域，能夠僅以第一特定區(qū)域A1以及第二特定區(qū)域 A2為處理對象，因此能夠高效地進行圖像處理。此外，將比圖像區(qū)域 的中心Pl側靠近拍攝到的特征點的位置變化量較大的周邊F1側的區(qū)域 設為第一特定區(qū)域Al以及第二特定區(qū)域A2并提取，因此，能夠準確 地把握圖像的縱向以及橫向的位移來計算出車輛的運動量。由此，能夠 在保持精度的同時高效地計算出車輛的運動量。并且，由于減輕了圖像 處理的負荷，所以能夠增加單位時間能處理圖像的次數(shù)，因此能夠以更 短的周期檢測運動量。據(jù)此，與橫擺率傳感器等的測量相比，能夠進行 時間分辨率較好的測量。此外，通過包括多個特定區(qū)域，能夠準確地檢 測例如車輛的側傾。
此外，根據(jù)本實施方式的圖像處理裝置1，在行駛道路為左側通行 的情況下，能夠將從圖像信息的整個區(qū)域的中心觀察為左上方的區(qū)域設 為第一特定區(qū)域Al提取，將右下方的區(qū)域設為第二特定區(qū)域A2并提 取，因此能夠將設置在行進方向左上方的道路標記或建筑物等，以及存 在于行進方向右下方的白線或中央分離區(qū)等成為特征點的對象物可靠 地納入特定區(qū)域內(nèi)。
(第二實施方式)
接著，說明本發(fā)明的第二實施方式涉及的圖像處理裝置。
第二實施方式涉及的圖像處理裝置2是與圖l所示的第一實施方式 涉及的圖像處理裝置1幾乎相同地構成的裝置，不同點在于包括第三特 定區(qū)域提取部14以及第三相關處理部17。因此，對與第一實施方式相 同的結構要素賦予與第一實施方式相同的符號并省略說明，對第三特定 區(qū)域提取部14以及第三相關處理部17進行詳細說明。
圖4是本實施方式涉及的圖像處理裝置2的結構概要圖。本實施方 式涉及的圖像處理裝置2包括信息取得部50以及ECUIO， ECU10包括 第三特定區(qū)域提取部14以及第三相關處理部17。
第三特定區(qū)域提取部14幾乎以與第一特定區(qū)域提取部12同樣的方式構成，具有提取為了計算車輛的運動量而成為處理對象的第三區(qū)域的
功能。第三特定區(qū)域提取部14從圖像抽減部ll輸入圖像信息，從所輸 入的圖像信息的圖像區(qū)域中提取第三特定區(qū)域(第三個特定區(qū)域)。該 第三特定區(qū)域是比圖像區(qū)域小的小區(qū)域，如圖3所示，以與第一特定區(qū) 域Al的y方向以及第二特定區(qū)域A2的x方向重疊的方式提取。此夕卜， 第三特定區(qū)域提取部14具有將所提取的第三特定區(qū)域的圖像信息向第 三相關處理部17輸出的功能。
第三相關處理部17具有檢測在第三特定區(qū)域內(nèi)所顯示的特征點的 功能。第三相關處理部17以規(guī)定的間隔從第三特定區(qū)域提取部14輸入 第三特定區(qū)域的圖像信息，例如通過光流(Optical Flow)處理搜索并 檢測第三特定區(qū)域的圖像信息中所顯示的特征點，檢測出特征點的移動 方向和速度等與特征點相關的信息。此外，第三相關處理部17具有將 檢測出的與特征點相關的信息向橫向位移檢測部18以及縱向位移檢測 部19輸出的功能。
此外，通過包括第三相關處理部17， ECU10內(nèi)包括的第一相關處 理部15僅向橫向位移檢測部18輸出與特征點相關的信息，ECU10內(nèi) 具有的第二相關處理部16僅向橫向位移檢測部19輸出與特征點相關的
"f^息o
在以上述方式構成的情況下，橫向位移檢測部18能夠從特定區(qū)域 Al以及A3輸入圖像信息并檢測出圖像的橫向變動，縱向位移檢測部 19能夠從特定區(qū)域A2以及A3輸入圖像信息并檢測出圖像的縱向變動。 據(jù)此，能夠在保持精度的同時進行圖像處理。
如上所述，根據(jù)本實施方式的圖像處理裝置2，對于由拍攝到的圖 像信息形成的圖像區(qū)域，能夠僅以第一特定區(qū)域A1、第二特定區(qū)域A2 以及第三特定區(qū)域A3為處理對象，因此能夠高效地進行圖像處理。此 外，將比圖像區(qū)域的中心Pl側靠近拍攝到的對象物的位置變化量較大 的周邊F1側的區(qū)域"^殳為第一特定區(qū)域Al、第二特定區(qū)域A2以及第三 特定區(qū)域A3并提取，因此，能夠準確地把握圖像的縱向以及橫向的位 移并計算出車輛的運動量。由此，能夠在保持精度的同時高效地計算出 車輛的運動量。并且，由于減輕了圖像處理的負荷，所以能夠增加單位 時間能處理圖像的次數(shù)，因此能夠以更短的周期檢測運動量。據(jù)此，與橫擺率傳感器等的測量相比，能夠進行時間分辨率較好的測量。
此外，根據(jù)本實施方式的圖像處理裝置2,在行駛道路為左側通行 的情況下，能夠將從圖像信息的整個區(qū)域的中心觀察為左上方的區(qū)域設 為第一特定區(qū)域Al并提取，將右下方的區(qū)域設為第二特定區(qū)域A2并 提取，因此能夠將設置在行進方向左上方的道路標記或建筑物等，以及 存在于行進方向右下方的白線或中央分離區(qū)等成為特征點的對象物可 靠地納入特定區(qū)域內(nèi)。
(第三實施方式)
接著，說明本發(fā)明的第三實施方式涉及的圖像處理裝置。
第三實施方式涉及的圖像處理裝置3是幾乎以與圖1所示的第一實 施方式涉及的圖像處理裝置l相同的方式構成的裝置，不同點在于包括 第二攝像機(第二拍攝單元)52以及圖像修正部(第一修正單元)22。 因此，對與第一實施方式相同的結構要素賦予與第一實施方式相同的符 號并省略說明，對第二攝像機52以及圖像修正部22進行詳細說明。
圖5是本實施方式涉及的圖像處理裝置3的結構概要圖，圖6是本 實施方式涉及的圖像處理裝置3的信息取得部50的設置例子，圖7是 視角不同的信息取得部50設為處理對象的圖像例。本實施方式涉及的 困像處理裝置3包括信息取得部50以及ECU10，分別地，信息取得部 50包括第二攝像機52， ECU10包括圖像修正部22。
第二攝像機52具有用于取得車輛周邊的圖像信息的圖像傳感器而 構成。作為圖像傳感器，例如使用CCD圖像傳感器或CMOS圖像傳感 器。第二攝像機52取得的像素數(shù)例如縱向為480，橫向為640。此外， 與第一攝像機51相比，第二攝像機52使用視角窄的攝像機。在此，例 如，作為第一攝像機51使用水平方向的視角為±20°的攝像機，作為 第二攝像機52使用水平方向的視角為±10°的攝像機。此外，如圖6 所示，第一攝像機以及第二攝像機52被設置在車輛60的前擋風玻璃61 的中央上部。例如，第一攝像機51被設置在車輛行進方向的中心線M 上，第二攝像機52被設置在第一攝像機51附近。此外，第二攝像機52 具有將拍攝到的圖像信息向圖像修正部22輸出的功能。圖像修正部22具有修正從第二攝像機52輸入的圖像的功能。圖像 修正部22具有從運動量計算部20輸入根據(jù)使用第一攝像機51拍攝到 的圖像計算出的運動量，并修正第二攝像機52的圖像的功能。
如圖7所示，以此方式構成的圖像處理裝置3取得由第一攝像機拍 攝到的圖像(a)和由第二攝像機拍攝到的圖像(b)。在此，與圖像(b) 相比，圖像(a)包含相對于拍攝方向更靠向外側的圖像信息。圖像處 理裝置3使用視角較廣的圖像(a)以與第一實施方式相同的順序計算 出車輛的運動量，使用計算出的運動量修正圖像(b)的由車輛運動成 分造成的影響。
如上所述，根據(jù)本實施方式的圖像處理裝置3，對于由拍攝到的圖 像信息形成的圖像區(qū)域，能夠僅以第一特定區(qū)域Al以及第二特定區(qū)域 A2為處理對象，因此能夠高效地進行圖像處理。此外，將比圖像區(qū)域 的中心Pl側靠近拍攝到的對象物的位置變化量較大的周邊F1側的區(qū)域 設為第一特定區(qū)域Al以及第二特定區(qū)域A2并提取，因此，能夠準確 地把握圖像的縱向以及橫向的位移并計算出車輛的運動量。由此，能夠 在保持精度的同時高效地計算出車輛的運動量。此外，由于減輕了圖像 處理的負荷，所以能夠增加單位時間能處理圖像的次數(shù)，因此能夠以更 短的周期檢測運動量。據(jù)此，與橫擺率傳感器等的測量相比，能夠進行 時間分辨率較好的測量。
此外，根據(jù)本實施方式的圖像處理裝置3，在行駛道路為左側通行 的情況下，能夠將從圖像信息的整個區(qū)域的中心觀察為左上方的區(qū)域設 為第一特定區(qū)域Al并提取，將右下方的區(qū)域設為第二特定區(qū)域A2并 提取，因此能夠將設置在行進方向左上方的道路標記或建筑物等，以及 存在于行進方向右下方的白線或中央分離區(qū)等成為特征點的對象物可 靠地納入特定區(qū)域內(nèi)。
此外，根據(jù)本實施方式的圖像處理裝置3，能夠從視角不同的攝像 機51、 52取得多個圖像。在此，由比第二攝像機52的視角大的第一攝 像機51拍攝到的圖像與由第二攝像機52拍攝到的圖像相比，包含相對 于拍攝方向更靠向外側的圖像信息。因此，由于使用由第一攝像機51 拍攝到的圖像檢測對象物的位移，所以能夠更加準確地把握圖像的位 移。這樣，在具有視角不同的攝像機51、 52的情況下，使用由視角大
13的笫一攝像機51拍攝到的圖像來計算車輛的運動量，并使用計算出的 車輛運動量進行對由第二攝像機52拍攝到的圖像的修正，由此能夠高 精度地進行圖像的修正。
(第四實施方式)
接著，說明本發(fā)明的第四實施方式涉及的圖像處理裝置。
第四實施方式涉及的圖像處理裝置4是幾乎以與圖l所示的第一實 施方式涉及的圖像處理裝置l相同的方式構成的裝置，不同點在于包括 轉向角傳感器53、中央?yún)^(qū)域提取部(中央?yún)^(qū)域提取單元)21以及圖像 修正部(第二修正單元)22。因此，對與第一實施方式相同的結構要素 賦予與第一實施方式相同的符號并省略說明，對轉向角傳感器53、中央
區(qū)域提取部21以及圖傳 修正部22進行詳細說明。
圖8是本實施方式涉及的圖像處理裝置4的結構概要圖，圖9是本 實施方式涉及的圖像處理裝置3的信息取得部50設為處理對象的圖像 例。本實施方式涉及的圖像處理裝置4包括信息取得部50以及ECUIO， 信息取得部50包括轉向角傳感器53， ECU10包括中央?yún)^(qū)域提取部21 以及圖像修正部22。
轉向角傳感器53是檢測通過轉向盤手柄對轉向盤進行了旋轉操作 的角度作為轉向角的傳感器。該轉向角傳感器53具有檢測轉向角并向 中央?yún)^(qū)域提取部21輸出的功能。
中央?yún)^(qū)域提取部21具有根據(jù)轉向角來提取從第一攝像機51輸入的 圖像的中央部的功能。例如，在如圖9的(a)所示那樣未操作轉向盤 手柄的狀態(tài)下，提取位于圖像的中心的中央?yún)^(qū)域A4。此外，在如圖9 的(b)所示那樣將轉向盤手柄向左操作了的情況下，根據(jù)轉向角的大 小從例如A5所示的區(qū)域中提取中央?yún)^(qū)域A4。這樣，具有基于從轉向角 傳感器53輸入的轉向角使規(guī)定大小的區(qū)域滑動并提取圖像的功能。
圖像修正部22具有修正中央?yún)^(qū)域A4、 A5的圖像的功能。圖像修正 部22具有從運動量計算部20輸入根據(jù)使用第一攝像機51拍攝到的圖 像計算出的運動量，并修正中央?yún)^(qū)域A4、 A5的圖像的功能。以此方式構成的圖像處理裝置4與第三實施方式所示的圖像處理裝 置3相同，能夠得到中央?yún)^(qū)域A4、 A5的圖像和整體圖像這兩個圖像。 據(jù)此，與第三實施方式相同，能夠使用整體圖像計算運動量，使用計算 出的運動量進行對中央?yún)^(qū)域A4、 A5的圖像的修正。
如上所述，根據(jù)本實施方式的圖像處理裝置4,對于由拍攝到的圖
像信息形成的圖像區(qū)域，能夠僅以第一特定區(qū)域Al以及第二特定區(qū)域
A2為處理對象，因此能夠高效地進行圖像處理。此外，將比圖像區(qū)域
的中心Pl側靠近拍攝到的對象物的位置變化量較大的周邊F1側的區(qū)域
設為第一特定區(qū)域Al以及第二特定區(qū)域A2并提取，因此能夠準確地
把握圖像的縱向以及橫向的位移并計算出車輛的運動量。由此，能夠在
保持精度的同時高效地計算出車輛的運動量。并且，由于減輕了圖像處
理的負荷，所以能夠增加單位時間能處理圖像的次數(shù)，因此能夠以更短
的周期檢測運動量。據(jù)此，與橫擺率傳感器等的測量相比，能夠進行時 間分辨率較好的測量。
此外，根據(jù)本實施方式的圖像處理裝置4，在行駛道路為左側通行 的情況下，能夠將從圖像信息的整個區(qū)域的中心觀察為左上方的區(qū)域設 為第一特定區(qū)域Al并提取，將右下方的區(qū)域設為第二特定區(qū)域A2并 提取，因此能夠將設置在行進方向左上方的道路標記或建筑物等，以及 存在于行進方向右下方的白線或中央分離區(qū)等成為特征點的對象物可 靠地納入特定區(qū)域內(nèi)。
此外，根據(jù)本實施方式的圖像處理裝置4，雖然不包括視角不同的 多個攝像機，也能夠取得多個圖像。提取作為圖像信息的中央的區(qū)域的 中央?yún)^(qū)域A4、 A5，能夠使用根據(jù)圖像區(qū)域的周邊F1側的特定區(qū)域計算 出的運動量，修正中央?yún)^(qū)域A4、 A5的圖像。在此，包含中央?yún)^(qū)域A4、 A5的整體圖像與中央?yún)^(qū)域A4、 A5的圖像區(qū)域相比，包含相對于拍攝 方向更靠向外側的圖像信息。因此，通過使用整體圖像檢測出對象物的 位移，能夠更加準確地進行把握。此外，與第三實施方式相比，中央?yún)^(qū) 域A4、 A5的圖像對應于由遠景拍攝單元(窄角的拍攝單元)拍攝到的 圖像，周邊F1側的特定區(qū)域對應于由廣角的拍攝單元拍攝到的圖像， 因此無須包括兩個拍攝單元，而使用 一個圖像便可高精度地進行遠景的 圖像處理的修正。另外，上述的各實施方式表示本發(fā)明涉及的圖像處理裝置的一例。本發(fā)明涉及的圖像處理裝置并不限定于上述各實施方式，可以在不改變權利要求書中記載的要點的情況下改變各實施方式涉及的圖像處理裝置，或者適用于其他裝置。
例如，在實施方式中，說明了在左側通行的情況下以從圖像區(qū)域中心觀察為左上方以及右下方的小區(qū)域為特定區(qū)域的例子，在右側通信的情況下，最好以從圖像區(qū)域中心觀察為右上方以及左下方的小區(qū)域為特定區(qū)域。
此外，在實施方式中，說明了提取第三個特定區(qū)域的例，特定區(qū)域
也可以是4個以上，只要將提取到的多個特定區(qū)域相加得到的區(qū)域比整個區(qū)域小，就能取得減輕處理負荷的效果。
產(chǎn)業(yè)上的利用可能性
根據(jù)本發(fā)明，能夠在保持計算出的運動量的精度的同時，高效地進行用于計算本車輛的運動量的圖像處理。
權利要求
1、一種車載圖像處理裝置，其中，包括第一拍攝單元，拍攝車輛的周圍作為圖像信息；特定區(qū)域提取單元，將比由所述圖像信息形成的圖像區(qū)域的中心靠近周邊側的區(qū)域設為特定區(qū)域，并提取多個所述特定區(qū)域；以及運動量計算單元，基于多個所述特定區(qū)域內(nèi)的圖像信息來計算本車輛的運動量。
2、 根據(jù)權利要求l所述的車載圖像處理裝置，其中， 所述特定區(qū)域提取單元在行駛道路為左側通行的情況下，將從所述圖像區(qū)域的中心觀察處于左上方的區(qū)域設為第一特定區(qū)域并提取，將從 所述圖像區(qū)域的中心觀察處于右下方的區(qū)域設為第二特定區(qū)域并提取。
3、 根據(jù)權利要求1或2所述的車載圖像處理裝置，其中，包括 第二拍攝單元，與所述第一拍攝單元相比，視角的大小較??；以及 第一圖像修正單元，使用由所述運動量取得單元取得的所述運動量，修正由所述第二拍攝單元所取得的圖像。
4、 根據(jù)權利要求1或2所述的車載圖像處理裝置，其中，包括 中央?yún)^(qū)域提取單元，從所述圖像區(qū)域中提取作為所述圖像區(qū)域的中央的區(qū)域的中央?yún)^(qū)域；以及第二圖像修正單元，使用由所述運動量取得單元取得的所述運動 量，修正由所述中央?yún)^(qū)域提取單元所提取的中央?yún)^(qū)域的圖像。
全文摘要
圖像處理裝置(1)包括拍攝車輛的周圍的第一攝像機(51)；將比圖像的中心靠近周邊側的區(qū)域設為特定區(qū)域(A1，A2)并提取的特定區(qū)域提取部(12，13)；以及基于多個特定區(qū)域內(nèi)的圖像信息來計算本車輛的運動量的運動量計算單元；由此，能夠僅以拍攝到的圖像中的第一特定區(qū)域(A1)以及第二特定區(qū)域(A2)為處理對象，因此能夠高效地進行圖像處理。
文檔編號G06T1/00GK101689291SQ20088002227
公開日2010年3月31日 申請日期2008年7月17日 優(yōu)先權日2007年7月17日
發(fā)明者阿久津英作 申請人:豐田自動車株式會社