專利名稱：車輛用圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種根據(jù)拍攝圖像檢測路面上的白線以及立體物的車輛用圖像處理裝置。
背景技術(shù)：
一直以來，利用根據(jù)照相機所拍攝的圖像的亮度分布而作成的亮度直方圖，來控 制照相機的快門速度的控制裝置已是眾所周知(例如，參照專利文獻1)。專利文獻1所記 載的控制裝置對快門速度進行調(diào)節(jié)，使得在將亮度分布直方圖的度數(shù)從亮度低的一側(cè)按順 序相加所得的累加值與從亮度高的一側(cè)按順序相加所得的累加值超過各自的設(shè)定值時，低 側(cè)和高側(cè)的區(qū)間長度互相相等。在車輛上，通過這樣控制快門速度的照相機對車輛的周邊進行拍攝，并根據(jù)所拍 攝的圖像來幫助駕駛者。例如，已出現(xiàn)一種可根據(jù)所拍攝的車輛周圍的圖像檢測行駛路線、 障礙物，從而幫助駕駛者進行車輛操作的車輛用圖像處理裝置(例如，參照專利文獻2)。專 利文獻2的車輛用圖像處理裝置，根據(jù)一對立體照相機中的一個照相機所獲得圖像檢測白 線，并且將由雙方照相機所獲得的圖像與每個矩形區(qū)域進行比較，根據(jù)其關(guān)聯(lián)性檢測立體 物。專利文獻1 日本特開平11-2586M號公報專利文獻2 日本特開平11-14346號公報但是，檢測路面上的白線的場合與檢測立體物的場合，各自所適用的快門速度不 同。因此，如果如專利文獻1記載的那樣，如果不區(qū)分白線檢測與立體物檢測而根據(jù)拍攝 的圖像整體的亮度分布來控制快門速度，則不能拍攝適合于白線與立體物的各自檢測的圖 像。另外，如專利文獻2所記載的那樣，即使單純地將一對立體照相機共用于白線檢測用與 立體物檢測用，也難于高精度地分別檢測出白線與立體物。

發(fā)明內(nèi)容
因此，本發(fā)明的目的在于提供一種車輛用圖像處理裝置，其可以共用照相機，獲得 分別適合于立體物檢測處理和白線檢測處理的圖像。為了解決上述問題，本發(fā)明的車輛用圖像處理裝置包括計算處理單元，計算處理 用于調(diào)節(jié)幀曝光的照相機控制值；拍攝單元，利用計算處理單元計算出的照相機控制值進 行拍攝；以及檢測處理單元，對通過拍攝單元所拍攝的幀進行白線檢測處理和立體物檢測 處理，其特征在于，拍攝單元將通過所述計算處理單元計算處理的、分別適于檢測白線和立 體物的照相機控制值適用于每個幀，進行拍攝；檢測處理單元對適用白線用照相機控制值而拍攝的幀進行白線檢測處理，對適用立體物用照相機控制值而拍攝的幀進行立體物檢測處理。另外，為了解決上述課題，本發(fā)明提供一種車輛用圖像處理裝置，其特征在于，包 括第1拍攝單元，可進行平面物檢測用的快門控制以及立體物檢測用的快門控制；第2拍 攝單元，進行立體物檢測用的快門控制；以及圖像處理部，對通過第1和第2拍攝單元的至 少一個所拍攝的圖像，進行平面物檢測或者立體物檢測。根據(jù)本發(fā)明，提供一種車輛用圖像處理裝置，其可以共用照相機，獲得分別適于立 體物檢測處理和白線檢測處理的圖像。


圖1為表示利用本發(fā)明的車輛用圖像處理裝置的系統(tǒng)結(jié)構(gòu)的一個例子的示意圖。圖2為在照相機E⑶與立體照相機E⑶之間進行的圖像處理時序的部分示意圖。圖3為立體物檢測處理的流程圖。圖4為白線檢測處理的流程圖。圖5為以一定頻率發(fā)送照相機控制值的時間程序。圖6為照相機ECU進行照相機控制時的流程圖。圖7為表示在路面上設(shè)定了光度標準窗口的示意圖。圖8為表示在立體物周圍設(shè)定了光度標準窗口的示意圖。圖9為本實施方式的車輛用圖像處理裝置的系統(tǒng)結(jié)構(gòu)圖的一個例子。圖10為在圖像獲取部與立體E⑶之間進行的圖像處理時序的部分示意圖。圖11為根據(jù)這樣的時序處理而控制左右照相機的控制順序流程圖。圖12為表示立體ECU對應(yīng)幀編號進行白線檢測或立體物檢測的圖像處理順序的 流程圖。符號說明10照相機 ECU11、12 拍攝元件13照相機 CPU14圖像輸出部15、16 鏡頭17照相機模塊18、25、洸存儲器20立體 ECU21圖像輸入部22圖像轉(zhuǎn)換處理部23SV-CPU24圖像識別處理部
具體實施例方式以下，參照附圖，例舉實施例對本發(fā)明的最佳實施方式進行說明。
實施例1圖1為表示利用了本發(fā)明的車輛用圖像處理裝置的系統(tǒng)結(jié)構(gòu)一個例子的圖。本圖 像處理系統(tǒng)具有照相機ECU (Electric Control Unit) 10、和立體ECU20。各個ECU都是將 中央處理裝置(CPU)、存儲程序的ROM、暫時存儲數(shù)據(jù)的RAM、輸入接口、輸出接口等的多個 電路元件作為一個單元而構(gòu)成的。也可稱為計算機。照相機E⑶10作為拍攝手段，包括拍攝元件11、12和鏡頭15、16等構(gòu)成立體 照相機的照相機模塊17 ；照相機CPU13 ；以及圖像輸出部14等。拍攝元件11、12由例如 CCD(Charge Coupled Device)^5 " CMOS(Complementary Metal Oxide Semiconductor) 等的光電轉(zhuǎn)換元件構(gòu)成。從車輛前方照射到照相機模塊17中的光，通過拍攝元件11、12進 行光電轉(zhuǎn)換，將儲存的電荷作為電壓讀出放大，并進行A/D轉(zhuǎn)換后，轉(zhuǎn)換成具有預(yù)定亮度色 調(diào)(例如256色調(diào))的數(shù)字圖像。 照相機CPU13對根據(jù)來自于立體E⑶20的后述的照相機控制值，而進行調(diào)節(jié)照相 機的幀曝光的照相機控制。照相機CPU13經(jīng)由作為輸出接口的圖像輸出部14，將照相機模 塊17所拍攝的幀、拍攝時適用的照相機控制值、幀計數(shù)等作為圖像信號發(fā)送給立體ECU20。 另外，拍攝元件不限于2個，也可以為2個以上。立體E⑶20包括作為輸入接口的圖像輸入部21、具有幾何轉(zhuǎn)換LSI等的幾何 轉(zhuǎn)換處理部22、具有圖像處理LSI等的圖像識別處理部Μ、以及用于監(jiān)控各處理部的 SV-CPU23。從照相機E⑶10的圖像輸出部14輸出的圖像信號被發(fā)送到作為立體E⑶20的輸 入接口的圖像輸入部21。圖像輸出部14與圖像輸入部21為預(yù)定的數(shù)字傳送方式的接口。接受了圖像信號的圖像輸入部21，將圖像信號的圖像數(shù)據(jù)發(fā)送至幾何轉(zhuǎn)換處理部 22。幾何轉(zhuǎn)換處理部22進行下述已知的處理，即，利用校準數(shù)據(jù)，從照相機模塊17所拍攝 的被用于立體運算處理的幀中，消除拍攝元件11、12或者鏡頭15、16等的硬件的內(nèi)部誤差 因素(鏡頭歪斜、光軸偏移、焦距偏移以及拍攝元件歪斜等)的影響，并使核線(Epipolar Line)與圖像水平線重合。幾何轉(zhuǎn)換處理部22根據(jù)存儲于存儲器25中的幾何轉(zhuǎn)換用的 LUT(Look Up Table 查閱表)來轉(zhuǎn)換輸入圖像。圖像識別處理部M根據(jù)來自幾何轉(zhuǎn)換處理部22并經(jīng)過了幾何轉(zhuǎn)換的圖像數(shù)據(jù)， 進行立體物檢測處理、白線檢測處理和快門控制。用于這些處理和控制的圖像處理程序和 需要進行處理的圖像數(shù)據(jù)被儲存在存儲器26中，圖像識別處理部M讀取這些程序/數(shù)據(jù)， 進行上述處理/控制。圖像識別處理部M實施的立體物檢測處理是，例如通過從立體視覺技術(shù)所拍攝 的幀中檢測立體物的圖像處理程序而進行處理。立體物檢測處理為，例如求出通過配置于 左右的拍攝元件11、12所拍攝的一對圖像的相關(guān)性，根據(jù)對同一物體的視差，利用三角測 量的原理計算出到該物體的距離。也就是說，圖像識別處理部M從通過拍攝元件11、12所拍攝的一組立體圖像中提 取出照有相同拍攝對象物的部分，在一組立體拍攝圖像之間，對應(yīng)其拍攝對象物的相同點， 并通過求出所對應(yīng)的點(對應(yīng)點)的偏移量(視差)來計算出到拍攝對象物的距離。在 拍攝對象物位于前方的情況下，如果將由拍攝元件11所拍攝的圖像與由拍攝元件12所拍 攝的圖像重合，則拍攝對象物沿左右橫方向偏移。并且把一側(cè)圖像一個一個像素地進行位移，直到求出最重合的位置。此時位移了的像素數(shù)為η。如果設(shè)鏡頭的焦距為f，光軸間的 距離為m，像素間距為d，則到拍攝對象物的距離L滿足L= (f .m)/(n.d)的關(guān)系式。該 (η · d)為視差。另外，圖像識別處理部M實施的白線檢測處理為，通過從拍攝的幀中檢測路面白 線的圖像處理程序而進行的處理。在白線檢測處理中，首先從根據(jù)亮度分為2值的拍攝的 幀中選擇出被認為是相當于路面上的白線的像素(白線后補點)。并且，如果白線后補點是 直線排列的，則判斷為所選擇出的白線后補點就是路面白線。另外，白線檢測處理也可以如下述那樣進行。根據(jù)所拍攝幀的例如亮度，從幀底部 向上方尋找具有預(yù)定閾值以上亮度的區(qū)域。由于白線在其兩端具有高頻率成分的邊緣，所 以如果將車輛前方的幀沿水平方向進行微分，則在白線的兩端可得到峰值，該峰值在白線 的線內(nèi)、從白線外到白線、從白線到白線外可以得到正負相反的值，由此可以推算出白線部 分。通過在幀上施加進行此種處理的強調(diào)白線濾光器，可以強調(diào)白線部分，這樣，在經(jīng)過白 線強調(diào)的幀中，通過對具有白線特征的、即亮度高、線形狀等特征的區(qū)域進行匹配的方法， 檢測出白線。另外，圖像識別處理部M實施的快門控制，計算處理并調(diào)節(jié)適當?shù)恼障鄼C控制值 (快門速度S或控制增益值K)。幀的曝光根據(jù)快門的速度S而變化，如果快門速度S較慢， 則由于能保持通過的光，所以在較暗的場所也可以拍攝。圖像識別處理部M根據(jù)預(yù)定的函 數(shù)，從拍攝的幀的目標光度 和拍攝的幀的實際光度Da中計算出適當?shù)恼障鄼C控制值。例 如，將快門速度S的此次值作為Sn，將快門速度S的上一次值作為Sim、控制增益值K，根據(jù) 預(yù)定函數(shù)F[、= SN_i+K · (De-Da)]計算出照相機控制值。SV-CPU23是監(jiān)控(supervisor)各處理部的CPU。也可以由圖像識別處理部M兼 任。SV-CPU23將來自圖像識別處理部M的快門控制結(jié)果、即照相機控制值發(fā)送給照相機 E⑶10內(nèi)的照相機CPU13并進行指示。通過在車輛上搭載這樣的照相機E⑶10和立體E⑶20，可以在利用路上的障礙物 等的圖像識別信息的控制中使用。例如，SV-CPU23經(jīng)由車內(nèi)LAN，可以將其結(jié)果發(fā)送給需要 圖像識別處理結(jié)果的其他的ECU。所謂其他的ECU是指例如對躲避沖撞·減輕沖撞系統(tǒng)進 行控制的ECU、對車路線維持支援系統(tǒng)或車路線脫離警報系統(tǒng)進行控制的ECU、車間距ECU、 制動器E⑶等。下面，參照附圖對本實施例的車輛用圖像處理裝置的動作進行說明。在利用圖像處理檢測某對象物時，優(yōu)選通過調(diào)節(jié)快門速度等的照相機控制值，使 該對象物具有最適合的光度，來控制照相機的曝光。其方法之一是將作為照相機控制值決 定標準的窗口，設(shè)定在拍攝圖像上。如圖7所示，為了能正確檢測出在白線檢測處理中所檢 測的白線30，可以在路面上設(shè)定光度標準窗口 33。另一方面，如圖8所示，在立體物檢測處 理中，為了能正確檢測出所檢測的以前行車輛或者障礙物為主的立體物32，可以在立體物 32周圍設(shè)定光度標準窗口 34。但是，在同時進行白線檢測與立體物檢測的情況下，如何設(shè) 定光度標準就變得重要。在檢測立體物時，如果使用白線用照相機控制值，則會產(chǎn)生圖像飽和 (saturation)，而不能收集到立體物的信息。進一步，即使照相機E⑶10 —側(cè)可以簡單地將 正確使用了白線用照相機控制值的白線用圖像和正確使用了立體物用照相機控制值的立
6體物用圖像進行切換，但是如果不能在照相機ECUlO與立體ECU20之間對拍攝的幀進行很 好的整合，則立體E⑶20有可能錯過圖像處理的時機，或者取錯應(yīng)該進行圖像處理的圖像。因此，本發(fā)明的車輛用圖像處理裝置為了得到分別適用于立體物檢測處理和白線 檢測處理的圖像，進行如下動作。圖2是在照相機E⑶10與立體E⑶20之間進行的圖像處理時序的部分示意圖。立體E⑶20內(nèi)的SV-CPU23與照相機E⑶10內(nèi)的照相機CPU13進行串行通信。 SV-CPU23通過串行通信，必須交替地將通過圖像識別處理部M的快門控制計算出的白線 用照相機控制值(位于圖2上方的符號al、a2、a3的實線箭頭)和立體物用照相機控制值 (位于圖2上方的符號bl、b2、b3的虛線箭頭)發(fā)送給照相機CPU13。例如，以50ms的發(fā)送 周期，發(fā)送白線用照相機控制值和立體物用照相機控制值(參照圖5)。另外，白線用照相機 控制值與立體物用照相機控制值的發(fā)送順序被固定，當通信計數(shù)為奇數(shù)時(圖2中的符號 (i)、(iii)、(v))發(fā)送白線用照相機控制值，為偶數(shù)時(圖2中的符號(ii)、(iv)、(vi))就 發(fā)送立體物用照相機控制值。另外，SV-CPU23在發(fā)送照相機控制值時，與圖像識別處理部M照相機控制值的起 算時間(timing)無關(guān)，而是發(fā)送在該發(fā)送時段的最新計算結(jié)果的照相機控制值。即，通過 圖像識別處理部M進行的照相機控制值的計算處理如果由于高負荷等原因，而沒有趕上 發(fā)送時間，則發(fā)送上次計算出的照相機控制值。另一方面，照相機ECUlO以2幀為最小單位進行白線用照相機控制，以1幀為最小 單位進行立體物用照相機控制。即，來自于SV-CPU23的白線用照相機控制值適用于每2幀， 來自于SV-CPU23的立體物用照相機控制值適用于每1幀。在這里，照相機的1幀由2個叫做半幀(field)的要素構(gòu)成。即，在掃描線的第奇 數(shù)條處進行掃描的“奇數(shù)(ODD)半幀”，和掃描線的第偶數(shù)條處進行掃描的“偶數(shù)(EVEN)半 幀”。照相機E⑶10對所拍攝的每1幀按順序賦予幀計數(shù)N(N= 1、2、3、...)。為了能進一 步對半幀加以區(qū)別，也可以賦予“Ιο、Ie”、“2ο、2e”、. . ·。在這樣的條件下，由照相機ECUlO進行的照相機控制按照下述方式進行。圖6是 照相機ECUlO進行照相機控制時的流程圖。照相機ECUlO根據(jù)幀計數(shù)N來決定是進行白線 用照相機控制，還是進行立體物用照相機控制(步驟70)。對于用3除以幀計數(shù)N的余數(shù)為 0的計數(shù)的幀，使用白線用照相機控制值來進行白線用照相機控制(步驟72)。另一方面， 對于用3除以幀計數(shù)N的余數(shù)為1的計數(shù)的幀，使用立體物用照相機控制值來進行立體物 用照相機控制(步驟74)。因此，在圖2中，照相機E⑶10在各“幀計數(shù)3”、“6”、“9”使用白線用照相機控制 值進行拍攝，在各“幀計數(shù)4”、“7”、“10”使用立體物用照相機控制值進行拍攝。照相機ECUlO將接收到的最新的立體物用照相機控制值或者白線用照相機控制 值分別適用于每個最小單位進行拍攝。即，照相機控制值的接收時間與拍攝時間可以不同步。因此，如上所述，照相機ECU10，在對幀計數(shù)為3的幀進行照相機控制時，使用白線 用照相機控制值al，在對幀計數(shù)為7的幀進行照相機控制時，使用立體物用照相機控制值 bl。相對于此，在對幀計數(shù)為5的幀進行照相機控制時，由于還沒有接收到白線用照相機控 制值a2，所以使用作為此時最新的照相機控制值的白線用照相機控制值al。對于幀計數(shù)為2或8的幀也同樣。接著，進行了上述的照相機控制的照相機ECU10，將所拍攝的幀的圖像數(shù)據(jù)與該幀 的照相機控制值以及幀計數(shù)一起發(fā)送給立體ECU20。此時，要預(yù)先設(shè)定通信定義，該通信定 義為“1、用3除以幀計數(shù)N的余數(shù)為0(N mod 3 = 0)的幀是通過白線用照相機控制進行拍 攝的白線用幀”，“2、用3除幀計數(shù)N的余數(shù)為1或2(N mod 3 = 1,2)的幀是通過立體物用 照相機控制進行拍攝的立體物用幀”。照相機ECUlO按照該通信定義將這些數(shù)據(jù)發(fā)送給立 體 ECU20。從照相機ECUlO接受了圖像數(shù)據(jù)的立體ECU20，根據(jù)賦予給幀的幀計數(shù)將白線用 幀與立體物用幀區(qū)分開來。立體ECU20按照上述通信定義，在應(yīng)處理的幀的幀計數(shù)N滿足 “N mod 3 = 0”時，認定是白線用照相機控制拍攝的白線用幀，并進行白線檢測處理。另一 方面，待處理的幀的幀計數(shù)N滿足“N mod 3 = 1、2”時，認定是立體物用照相機控制拍攝的 立體物用幀，進行立體物檢測處理。并且，在白線檢測處理之后，進行白線用照相機控制值 計算等的白線檢測后處理，在立體物檢測處理之后，進行立體物用照相機控制值計算等的 立體物檢測后處理。在這里，圖3以及圖4是從照相機E⑶10接受了圖像數(shù)據(jù)的立體E⑶20進行處理的 流程圖。在圖3中，立體ECU20按照上述通信定義，對于待處理幀的幀計數(shù)N進行確認(步 驟10、12)。如果“N mod 3 = 1”，立體E⑶20內(nèi)的圖像識別處理部M則進行立體物檢測處 理(步驟14)。并且，圖像識別處理部M根據(jù)進行了立體物檢測處理的幀，計算出立體物用 照相機控制值(步驟16)。另一方面，在步驟12，如果不是“Nmod 3 = 1”，則進行無效處理 (步驟18)。在圖4中也同樣，立體E⑶20按照上述通信定義，確認應(yīng)處理幀的幀計數(shù)N(步驟 30、32)。如果“N mod 3 = 0”，立體ECU20內(nèi)的圖像識別處理部M則進行白線檢測處理(步 驟34)。并且，圖像識別處理部M根據(jù)進行了白線檢測處理的幀，計算出白線用照相機控 制值(步驟36)。另一方面，如果在步驟32中不是“N mod 3 = 0”，則進行無效處理(步驟 38)。在這里，如步驟12和步驟32那樣，立體E⑶20按照幀計數(shù)來切換控制。當由于處 理負荷增大等原因使白線檢測處理或者立體物檢測處理的時間增加而錯過時機的情況下， 就放棄該次的主循環(huán)(步驟18、38的無效處理)，改變時間重新開始。作為處理時間的限 制，例如，預(yù)先設(shè)定白線檢測處理在16. 7ms以內(nèi)，立體物檢測處理在83. 3ms以內(nèi)。另外，立 體ECU20內(nèi)的圖像識別處理部M的啟動時間是，白線檢測時為EVEN啟動，立體物檢測時為 ODD啟動，所以為了在初期啟動時幀計數(shù)與ODD/EVEN啟動定時相一致，必須空循環(huán)。例如， 有時以EVEN啟動接受立體物圖像，或者以O(shè)DD啟動接受白線圖像。在這種情況下，必須放 棄該次處理，以對準SV-CPU23的白線用照相機控制值與立體物用照相機控制值發(fā)送給照 相機E⑶10的發(fā)送時間。如上所述，立體ECU20根據(jù)所賦予的幀計數(shù)，將應(yīng)進行白線檢測處理的幀與應(yīng)進 行立體物檢測處理的幀區(qū)別開來，由此，可以防止在白線用與立體物用時錯取應(yīng)進行檢測 處理的幀。并且，進行了幀區(qū)分的立體ECU20根據(jù)區(qū)分為白線檢測處理用的幀，進行白線檢 測處理和白線用照相機控制值的計算處理，且根據(jù)區(qū)分為立體物檢測處理用的幀，進行立 體物檢測處理和立體物用照相機控制值的計算處理。
對于如上述進行了計算處理的白線用照相機控制值和立體物用照相機控制值，設(shè) 定其發(fā)送順序，該發(fā)送順序為“通信計數(shù)為奇數(shù)時發(fā)送白線用照相機控制值，為偶數(shù)時發(fā)送 立體物用照相機控制值”。據(jù)此，立體E⑶20向照相機E⑶10發(fā)送信息。因此，照相機E⑶10 通過接受以該發(fā)送順序發(fā)送的照相機控制值，可以防止將白線用照相機控制值和立體物用 照相機控制值錯誤地適用于幀。進一步地，對于上述順序的來自立體E⑶20的各照相機控制值，照相機E⑶10對其 計數(shù)為用3除以幀計數(shù)N的余數(shù)為0的幀，適用白線用照相機控制值以執(zhí)行白線用照相機 控制。另一方面，對其計數(shù)為用3除以幀計數(shù)N的余數(shù)為1的幀，適用立體物用照相機控制 值以執(zhí)行立體物用照相機控制。實施了各照相機控制的照相機ECU10，在所拍攝的幀的圖像 數(shù)據(jù)賦予該幀的照相機控制值與幀計數(shù)后，將其發(fā)送給立體ECU20。在照相機ECUlO與立 體ECU20之間反復(fù)進行這樣的流程，可以獲得分別適用于立體物檢測處理與白線檢測處理 的圖像。以上，對本發(fā)明的最佳實施例進行了詳細說明，但本發(fā)明并不限于上述實施例，可 以在不脫離本發(fā)明的范圍內(nèi)，對上述實施例施加各種變形與置換。例如，本實施例的掃描方 式不作特別限定，可以是交替的方式，也可以是非交替方式。實施例2在本實施例中，對如下的車輛用圖像處理裝置進行說明，即，該車輛用圖像處理裝 置將一對立體照相機的一個的快門控制交替切換為白線檢測用與立體物檢測用，分別高精 度地檢測白線與立體物。并且，通過顯示裝置上一直顯示由一對立體照相機中的一個進行 拍攝的圖像，從而在不增加車載照相機的情況下，也可幫助駕駛。圖9(a)是本實施方式的車輛用圖像處理裝置的系統(tǒng)結(jié)構(gòu)圖的一個例子。另外，在 圖9(a)中，對于與圖1相同的結(jié)構(gòu)標注相同的符號并省略其說明。照相機模塊17為由右照相機17R和左照相機17L構(gòu)成的立體照相機，并且，一個 照相機(本實施例中為右照相機17R)兼作夜視用(NightView)照相機。由于夜視用的幀 可以不經(jīng)過立體攝像E⑶20的圖像處理，直接在顯示裝置上顯示，所以在夜視裝置工作期 間(以下簡稱為NV裝置工作時)，圖像輸出部14向例如HUDOfead Up Display 抬頭顯示 器)輸出右照相機17R的巾貞，并且將左右照相機17R、17L所拍攝的幀輸出到圖像輸入部21。下面，對本實施例的快門控制進行說明。如實施例1所說明的那樣，對最適合拍攝 對象物的快門速度、增益值等的照相機控制值進行調(diào)節(jié)。另外，在夜間由于不能獲得充分的 光量，所以必須通過將快門速度設(shè)定為較慢，并將增益值設(shè)定為較高，而成為適合夜視的照 相機控制值。這樣，車輛根據(jù)目的的不同而利用較多圖像，如，用于檢測立體物的圖像、用于檢 測白線的圖像、夜視用的圖像，但是對應(yīng)于目的分別裝載各種照相機，在成本和車輛空間方 面都具有困難。因此，在本實施例中，通過將一個檢測立體物的照相機用于夜視，并將另一 個用于檢測白線，而可以利用一對立體照相機實現(xiàn)立體物檢測、白線檢測以及夜視用的圖 像拍攝。圖9(b)表示立體照相機共用系統(tǒng)的概略圖。另外，在圖9(b)中，對與圖9(a)相 同的部分賦予相同的符號。照相機17R通常根據(jù)夜視型用的照相機控制值(以下簡稱為NV 用照相機控制值)進行拍攝，照相機17L交替切換NV用照相機控制值和用于檢測白線的照相機控制值(以下簡稱為白線用照相機控制值)進行拍攝。因此，照相機17L利用NV用照 相機控制值進行拍攝時，立體ECU20可以使用一對幀進行立體物檢測，在照相機17L利用白 線用照相機控制值進行拍攝時，立體ECU20可以進行白線檢測。圖像獲取部10即使可以簡單地對使用了白線用照相機控制值的白線檢測用幀和 恰當使用了夜視用照相機控制值的立體物檢測用幀進行切換，如果不在圖像獲取部10與 立體E⑶20之間對拍攝幀進行整合，立體E⑶20側(cè)就可能錯過圖像處理定時，或者錯取應(yīng)進 行圖像處理的圖像。因此，本實施例的車輛用圖像處理裝置1為了獲得分別適合于立體物檢測處理和 白線檢測處理的圖像，進行如下動作。圖10為在圖像獲取部10與立體E⑶20之間進行的圖像處理時序的部分示意圖。立體ECU20的SV-CPU23與圖像獲取部10的照相機CPU13進行串行通信。SV-CPU23 通過串行通信將通過圖像識別處理部M的快門控制計算出的照相機控制值分別發(fā)送給照 相機17R和17L。SV-CPU23通常向照相機17R發(fā)送NV用照相機控制值，必須交替地向照相 機17L發(fā)送NV用照相機控制值和白線用照相機控制值。因此，按預(yù)定間隔T (例如50ms)的發(fā)送周期，將白線用照相機控制值和NV用照相 機控制值發(fā)送給照相機17L。另外，白線用照相機控制值和NV照相機控制值的發(fā)送順序為， 在通信計數(shù)(圖10的(i) (vi))為奇數(shù)時發(fā)送白線用照相機控制值，為偶數(shù)時發(fā)送NV 用照相機控制值。在根據(jù)NV用照相機控制值控制照相機17R、17L的循環(huán)中，使用一對幀，通過圖像 識別處理部對進行立體物檢測處理。在通過白線用照相機控制值控制照相機的循環(huán)中，使 用由照相機17L拍攝的幀，通過圖像識別處理部M進行白線檢測處理。SV-CPU23在發(fā)送照相機控制值時，在該發(fā)送時段中，發(fā)送圖像識別處理部M最后 計算出的照相機控制值。即，圖像識別處理部M進行的照相機控制值的計算處理在由于高 負荷等原因沒有趕上照相機的發(fā)送時段的情況下，就發(fā)送上一次計算出的照相機控制值。另一方面，圖像獲取部10以預(yù)定的幀數(shù)為最小單位進行白線檢測和NV用照相機 控制。在圖10中，來自于SV-CPU23的白線用照相機控制值以及NV用照相機控制值適用于 每1幀。另外，白線用照相機控制值的適用幀數(shù)與NV用照相機控制值的適用幀數(shù)也可以不 同。圖11為表示通過這樣時序處理控制照相機17L和照相機17R的控制順序的流程 圖。圖11(a)表示照相機17L的照相機控制，圖1Kb)表示照相機17R的照相機控制。照相機CPU13根據(jù)幀編號判斷對照相機17L的照相機控制是為NV用還是為白線 用(Si)。在幀編號為偶數(shù)時(Si中的是)，照相機ECU13就根據(jù)NV用照相機控制值對照相 機17L進行控制(S2)。在圖10中，相當于幀編號“0o、2O、4O、6O、. . · ”，照相機17L的這些幀通過NV用照
相機控制值進行拍攝。NV用照相機控制值對快門速度設(shè)定下限，對增益值設(shè)定上限，由此，即使拍攝前面 行使車輛或路燈等的光源，也可以防止成暈現(xiàn)象。另外，NV裝置工作時照射接近紅外區(qū)域 波長的光，并拍攝立體物的反射光，從而不?；螌γ孳囕v，但是為了高效照射近紅外光，而 在照相機17R上安裝可見光截止濾波器。另外，如果在一對幀上具有除了視差以外的差異，
10就不能進行立體物的檢測。因此，在照相機17L上也安裝可見光截止濾波器。因此，至少在 NV裝置工作時，照射近紅外線，并且在左右照相機上安裝有可見光截止濾波器。在幀編號為奇數(shù)時(S3中的是)，照相機CPU13根據(jù)白線用照相機控制值控制照相 機 17L(S4)。在圖10中，相當于幀編號“l(fā)0le、303e、5c^e、. . · ”，照相機17L的這些幀根據(jù)白線 用照相機控制值進行拍攝。白線用照相機控制值在檢測時白線明亮(亮度較大)為好，因此對快門速度不設(shè) 下限，對增益值不設(shè)上限。由于白線沒有光源，所以即使不設(shè)置這樣的限制，也不會產(chǎn)生成 暈現(xiàn)象。另外，由于前照燈(包含有若干近紅外光)以及近紅外光在白線上反射，所以即使 安裝著可見光截止濾波器，照相機17L也可拍攝具有足夠亮度的白線。另外，如上所述，在圖像獲取部10沒有從立體ECU20接收照相機控制值的循環(huán)中， 此時適用最新的照相機控制值對照相機17L、17R進行控制。對于夜視用，由于持續(xù)向HUD投影圖像的右側(cè)照相機17R—直由NV用照相機控制 值進行控制，所以與幀編號無關(guān)，而根據(jù)NV用照相機控制值進行控制(S5)。在圖10中，相當于幀編號“0ο 6e... ”，照相機17R的這些幀根據(jù)NV用照相機控 制值進行拍攝。如圖10所示，照相機17L交替切換白線用照相機控制值和NV用照相機控制值，進 行快門控制，照相機17R只利用NV用照相機控制值進行快門控制。這樣的流程在照相機E⑶10與立體E⑶20之間反復(fù)進行，利用照相機17R可以獲 得適于立體物檢測處理以及夜視的圖像，利用照相機17L可以交替得到分別適于立體物檢 測處理與白線檢測處理的圖像。另外，圖像獲取部10將已經(jīng)接收到的最后的白線用照相機控制值或者NV用照相 機控制值分別適用于每個最小幀單位而進行拍攝，因此，照相機控制值的接收時間與拍攝 時間可以不同步。圖12為表示立體E⑶20根據(jù)幀編號進行白線檢測或立體物檢測的圖像處理順序 的流程圖。所拍攝的幀與該幀的照相機控制值以及幀編號一起被發(fā)送給立體E⑶20。立體E⑶20根據(jù)幀編號判斷是進行立體物檢測的圖像處理、還是進行白線檢測的 圖像處理(SlO)。從圖像獲取部10接收了幀的立體ECU20，根據(jù)賦予給幀的幀編號對白線用幀和立 體物幀進行區(qū)分。立體E⑶20在待處理幀的幀編號為偶數(shù)時(S10中的是)，認定為通過立 體物用照相機控制拍攝的立體物用幀，并進行立體物檢測處理(S20)。另一方面，在待處理幀的幀編號為奇數(shù)時(S30為是)，立體E⑶20認定為通過白線 用照相機控制拍攝的幀，并進行白線檢測處理(S40)。即使待處理幀的幀編號為奇數(shù)時，圖像輸出部14也一直向HUD輸出照相機17R所 拍攝的幀。另外，在立體ECU20進行白線檢測處理時，不進行基于該幀(幀編號為奇數(shù)的 幀)的立體物檢測。這種情況下，照相機17R進行拍攝并輸入給立體ECU20的幀不被使用 或者被廢棄。并且，在白線檢測處理之后，進行白線用照相機控制值計算等的白線檢測后處理，在立體物檢測之后，進行立體物用照相機控制值計算等的立體物檢測后處理。另外，由于處理負荷增大等原因，使白線檢測處理或者立體物檢測處理的時間增 加而錯過時間的情況下，就改變時間重新開始。作為處理時間的限制，例如白線檢測處理預(yù) 先設(shè)定在16. 7ms以內(nèi)，立體物檢測處理預(yù)先設(shè)定在83. :3ms以內(nèi)。在立體E⑶20內(nèi)的圖像識別處理部M最初啟動時，為了使幀編號與ODD/EVEN啟 動時間相一致，所以與實施例1同樣需要進行空循環(huán)。如上所述，立體ECU20根據(jù)被賦予的幀編號，區(qū)分開應(yīng)進行白線檢測處理的幀和 應(yīng)進行立體物檢測處理的幀，由此，可以防止在白線檢測用與立體物檢測用時錯誤讀取應(yīng) 進行檢測處理的幀。并且，對幀進行了區(qū)分的立體ECU20，根據(jù)區(qū)分為白線檢測處理用的幀， 進行白線檢測處理和白線用照相機控制值的計算處理，而根據(jù)區(qū)分為立體物檢測處理用的 幀，進行立體物檢測處理和立體物用(NV用)照相機控制值的計算處理。并且，對于這樣計算處理的白線用照相機控制值和NV用照相機控制值，在照相機 CPU13與SV-CPU23之間設(shè)定發(fā)送順序為，“在通信計數(shù)為奇數(shù)時發(fā)送白線用照相機控制值， 在偶數(shù)時發(fā)送NV用照相機控制值”，立體E⑶20按照該預(yù)定順序向照相機E⑶10發(fā)送信息。 因此，照相機ECUlO可以按照該發(fā)送順序接收照相機控制值，并適用于照相機17L的照相機 控制值。實施了各照相機控制的照相機ECU10，將所拍攝的幀在賦予了該幀的照相機控制 值與幀編號后，發(fā)送給立體E⑶20。在照相機E⑶10與立體E⑶20之間反復(fù)進行這樣處理的 循環(huán)，可以獲得分別適于立體物檢測處理與白線檢測處理的圖像。以上，對本發(fā)明最佳實施例進行了說明，但是本發(fā)明并不限于上述實施例，在不脫 離本發(fā)明的保護范圍內(nèi)，可對上述實施例施加各種變形與置換。例如，本實施例的掃描方式 不做特別限定，可以是交替的方式，也可以是非交替的方式。本國際申請主張的優(yōu)先權(quán)基于2005年5月20日提出的日本國發(fā)明專利申請第 2005-148097號以及2006年5月11日提出的日本國發(fā)明專利申請第2006-132205號，在本 國際申請中引用第2005-148097號以及第2006-132205號專利申請的全部內(nèi)容。
權(quán)利要求
1.一種車輛用圖像處理裝置，其特征在于，包括第1拍攝單元，其在基于平面物檢測用的快門控制而計算出的照相機控制值、以及基 于立體物檢測用的快門控制而計算出的照相機控制值之間進行交替切換，從而進行拍攝；第2拍攝單元，其根據(jù)基于立體物檢測用的快門控制而計算出的照相機控制值，從而 進行拍攝；以及圖像處理部，其根據(jù)賦予給幀的幀編號對平面物檢測用的幀和立體物檢測用的幀進行 區(qū)分，從而對通過第1和第2拍攝單元的至少一個所拍攝的圖像，進行平面物檢測或者立體 物檢測。
2.如權(quán)利要求1所述的車輛用圖像處理裝置，其特征在于，對每個幀，第1拍攝單元以在平面物檢測用的快門控制和立體物檢測用的快門控制之 間切換的方式而進行拍攝。
3.如權(quán)利要求1或2所述的車輛用圖像處理裝置，其特征在于，具有將第2拍攝單元拍攝的圖像輸出到顯示裝置的圖像輸出部。
4.如權(quán)利要求3所述的車輛用圖像處理裝置，其特征在于，即使第1拍攝單元通過平面物檢測用的快門控制進行拍攝，所述圖像輸出部也將第2 拍攝單元通過立體物檢測用的快門控制所拍攝的圖像輸出到所述顯示裝置。
5.如權(quán)利要求3所述的車輛用圖像處理裝置，其特征在于，當?shù)?拍攝單元通過平面物檢測用的快門控制進行拍攝，并且第2拍攝單元通過立體 物檢測用的快門控制進行拍攝時，所述圖像輸出部將第2拍攝單元拍攝的圖像輸出到所述 顯示裝置，所述圖像處理部進行平面物檢測。
6.如權(quán)利要求1或2所述的車輛用圖像處理裝置，其特征在于，立體物檢測用的快門控制在快門速度上具有下限，在增益值上具有上限，平面物檢測 用的快門控制可以設(shè)定比所述下限小的快門速度，以及比所述上限大的增益值。
全文摘要
本發(fā)明涉及一種車輛用圖像處理裝置，照相機(17)將以適于白線檢測的方式計算出的照相機控制值，適用于每一幀進行拍攝，并且，將以適于立體物檢測的方式計算出的照相機控制值，適用于每一幀進行拍攝。在賦予了幀計數(shù)和拍攝時適用的照相機控制值的基礎(chǔ)上，所拍攝的幀被發(fā)送給立體ECU(20)，立體ECU(20)根據(jù)其賦予的幀計數(shù)對白線用幀和立體物用幀進行區(qū)分。立體ECU(20)根據(jù)所區(qū)分的幀，進行白線用檢測或者立體物用檢測，并且，計算出白線用照相機控制值或者立體物用照相機控制值，將其計算出的照相機控制值發(fā)送給照相機(17)。
文檔編號H04N13/00GK102074007SQ20101062341
公開日2011年5月25日 申請日期2006年5月18日 優(yōu)先權(quán)日2005年5月20日
發(fā)明者宇佐美祐之, 玉置友康 申請人:豐田自動車株式會社