專利名稱：車載攝像頭位置變化量檢測裝置的制作方法
技術領域：
本發(fā)明涉及一種利用車載攝像頭拍到的拍攝圖像來檢測該車載攝像頭位置變化
量的裝置。
背景技術：
作為檢測車載攝像頭位置變化量的方法之一，例如有人提出如下一種方法:為了修正因攝像頭搖動而產生的畫面的錯位，在車載攝像頭拍到的拍攝圖像中設定錯位檢測區(qū)域，檢測按照時間序列拍到的各拍攝圖像中的錯位檢測區(qū)域的亮度的重心位置，根據(jù)該重心位置的變化情況來計算因搖動而產生的攝像頭位置變化量(例如參照專利文獻I)。專利文獻1:日本發(fā)明專利公開公報特開平4-287579號由上述專利文獻I記載的方法可知，在檢測車載攝像頭位置變化量時，在車輛行駛時，尤其是受到車輛的縱搖(縱向搖動)的影響時，利用攝像頭按照時間序列拍到的各拍攝圖像中的錯位檢測區(qū)域內的拍攝對象會有不同。而且在此時，若各拍攝圖像中的錯位檢測區(qū)域的亮度的重心位置對應的是不同物體的拍攝部分，會出現(xiàn)無法精準地檢測出攝像頭位置變化量的問題。

發(fā)明內容
鑒于上述情況，本發(fā)明的目的在于提供如下一種車載攝像頭位置變化量檢測裝置:其能利用車載攝像頭拍到的拍攝圖像來精準地檢測出攝像頭位置變化量。為實現(xiàn)上述目的，本發(fā)明所述的車載攝像頭位置變化量檢測裝置具有:參照值求出部，對由車載攝像頭所拍到的拍攝圖像，將規(guī)定的測定用區(qū)域劃分為多個測定單位區(qū)域，并將各測定單位區(qū)域內的像素的灰度值或色飽和度值的總和或平均值作為各測定單位區(qū)域的參照值，其中，該測定單位區(qū)域是在與實際空間中的鉛垂方向相當?shù)奶囟ǚ较蛏?，以?guī)定像素數(shù)為寬度將車載攝像頭所拍到的拍攝圖像劃分而成的區(qū)域；攝像頭位置變化量求出部，由上述攝像頭所拍到的第I圖像中由上述參照值求出部求出的各參照值在上述特定方向上的分布狀態(tài)為第I分布狀態(tài)，以及由上述攝像頭在不同于上述第I圖像的拍攝時刻時所拍到的第2圖像中由上述參照值求出部求出的各參照值在上述特定方向上的分布狀態(tài)為第2分布狀態(tài)，所述攝像頭位置變化量求出部將該第I分布狀態(tài)或該第2分布狀態(tài)在上述特定方向上進行移動，而求出兩者的相關度，并且根據(jù)相關度最大時的移動量來求出從上述第I圖像的拍攝時刻到第2圖像的拍攝時刻的上述攝像頭位置變化量(技術方案I)。由技術方案I可知，對由上述攝像頭所拍到的拍攝圖像，能夠由上述參照值求出部求出上述測定用區(qū)域中，各上述測定單位區(qū)域的參照值。該參照值表示各測定單位區(qū)域的灰度或色飽和度的整體變化傾向，由于各測定單位區(qū)域是在特定方向上，以上述寬度將上述測定用區(qū)域劃分而得的，所以各參照值在上述特定方向上的分布狀態(tài)表示上述測定用區(qū)域中，在上述特定方向上的灰度或色飽和度的整體分布狀態(tài)。另外，對由不同時刻所拍到的上述第I圖像和上述第2圖像，根據(jù)上述第I圖像中的上述第I分布狀態(tài)以及上述第2圖像中的上述第2分布狀態(tài)，由上述攝像頭位置變化量求出部將上述第I分布狀態(tài)或上述第2分布狀態(tài)在上述特定方向上進行移動，求出兩者的相關度。還有，上述攝像頭位置變化量求出部根據(jù)相關度最大時兩者的移動量來求出上述攝像頭位置變化量。此時，上述第I分布狀態(tài)和上述第2分布狀態(tài)可以是表示上述測定用區(qū)域中整體的灰度或色飽和度的分布狀態(tài)。因此，上述攝像頭位置變化量求出部能夠通過降低由于上述攝像頭位置變化而產生的、在上述第I圖像和上述第2圖像中，因上述測定用區(qū)域中的拍攝對象的改變而帶來的影響，求出上述測定區(qū)域中的被拍攝物在上述特定方向上的移動量。另外，因上述特定方向相當于實際空間中的鉛垂方向，所以上述攝像頭位置變化量求出部能根據(jù)該移動量精準地求出上述攝像頭在鉛垂方向上的位置變化量。另外，在技術方案I的基礎上，上述攝像頭的拍攝范圍包括搭載有該攝像頭的車輛前方的道路，根據(jù)由上述攝像頭拍到的拍攝圖像中道路的圖像部分的位置來設定上述測定用區(qū)域(技術方案2)。由技術方案2可知，通過設定上述測定用區(qū)域，能提高由上述攝像頭位置變化量求出部所求出的上述攝像頭位置變化量精度，其中，所述測定用區(qū)域包括灰度或色飽和度的分布狀態(tài)平穩(wěn)的道路的圖像部分。另外，在技術方案2的基礎上，還具有測定用區(qū)域變更部，其根據(jù)由上述攝像頭拍到的拍攝圖像中的道路的圖像部分的位置，或道路周圍的所在物的位置來變更上述測定用區(qū)域(技術方案3)。由技術方案3可知，由上述測定用區(qū)域變更部根據(jù)由上述攝像頭拍到的拍攝圖像中的道路的圖像部分的位置，或道路周圍的所在物的位置來變更上述測定用區(qū)域，變更結果為或加大上述測定用區(qū)域內的道路的圖像部分所占的比例，或去除其他車輛的圖像部分。這樣通過變更上述測定用區(qū)域，可以防止因道路的圖像部分以外的圖像部分的影響而減少由上述攝像頭位置變化量求出部求出的上述攝像頭位置變化量精度的情況出現(xiàn)。


圖1是用于說明攝像頭和車輛行駛輔助裝置安裝在車輛上的方式的圖。圖2是表示車輛行駛輔助裝置的構成的圖。圖3是由車輛行駛輔助裝置求出垂直灰度矢量的處理流程圖。圖4是用于說明垂直灰度矢量的圖。圖5是用于說明根據(jù)時序圖像中的垂直灰度矢量的相關度來求出攝像頭位置變化量的圖。圖6是用于說明變更測定用區(qū)域的例子的圖。
具體實施例方式下面，參照圖1 圖5說明本發(fā)明的實施方式。參照圖1可知，在本實施方式中，由本發(fā)明的車載攝像頭位置變化量檢測裝置構成車輛行駛輔助裝置10的一部分，該車輛行駛輔助裝置10搭載在車輛I (自己車輛)上。在車輛I上搭載有攝像頭20 (車載攝像頭)和車輛行駛輔助裝置10。
攝像頭20安裝在車內，能透過前擋風玻璃來拍攝車輛I的前方，實際空間中的坐標系是這樣定義的:以攝像頭20的安裝部位原點，以車輛I左右方向(車寬方向)為X軸、上下方向(鉛垂方向)為Y軸、前后方向(行進方向)為Z軸。參照圖2可知，車輛I除了車輛行駛輔助裝置10以外，還具有速度傳感器21、加速度傳感器22、橫向角速度傳感器23、轉向裝置30和制動裝置31。由速度傳感器21來輸出車輛I的速度檢測信號，由加速度傳感器22來輸出車輛I的加速度檢測信號，由橫向角速度傳感器23來輸出車輛I的橫向角速度檢測信號。車輛行駛輔助裝置10是由CPU、存儲器等構成的電子單元，來自攝像頭20的影像信號和各傳感器21、22、23的檢測信號輸入其中。由車輛行駛輔助裝置10來檢測出攝像頭20因車輛I在上下方向上的搖動而在Y軸方向上的位置變化量，并由車輛行駛輔助裝置10修正(差值修正)由攝像頭20拍到的拍攝圖像的錯位，用于檢測該位置變化量的裝置相當于本發(fā)明的車載攝像頭位置變化量檢測裝置。車輛行駛輔助裝置10中，用于對差值進行修正的、測定用區(qū)域變更部11、參照值求出部12、攝像頭位置變化量求出部13和差值修正部14的功能，通過使CPU中運行存儲在存儲器中的車輛行駛輔助用控制程序來實現(xiàn)。由車輛行駛輔助裝置10對由攝像頭20拍到的拍攝圖像進行差值修正，再從經過差值修正之后的拍攝圖像中檢測出設在道路上的行車道標記以感知車輛I的行車道位置。車輛I上還搭載有轉向裝置30和制動裝置31，由車輛行駛輔助裝置10來控制轉向裝置30和制動裝置31之一或兩者的工作狀況時，就能進行駛輔助控制而不會使車輛I偏離行車道。下面根據(jù)圖3所示的流程來說明由參照值求出部12完成的處理。在STEP(步驟、下同)10中，由攝像頭20拍到的圖像(彩色圖像)輸入車輛行駛輔助裝置10，此時在STEP20中，對由攝像頭20輸出的像素進行圖像重組處理(demosaicing)(亦稱逆馬賽克變換處理)以求出各像素的RGB顏色數(shù)據(jù)。還有，由于本實施方式中的攝像頭20采用拜耳(Bayer)排列的單片感光元件，因此在STEP20中進行了圖像重組處理，如果使用三片獨立型RGB感光元件，則無需進行圖像重組處理。STEP30 STEP50是由參照值求出部12進行的處理。如圖4所示，由攝像頭20拍到的圖像是垂直坐標(y坐標)為O N(像素)、水平坐標(X坐標)為O M(像素)的(N+l) X (M+1)像素的圖像Im。另外，y軸方向相當于實際空間中的鉛垂方向，該實際空間中的鉛垂方向又相當于本發(fā)明中的特定方向。由參照值求出部12執(zhí)行STEP30中的循環(huán)程序1，在STEP31中，將圖像Im的各坐
標(x、y) (x = 0、1、2.....M,y = 0、1、2.....N)的像素的R、G、B數(shù)據(jù)變換為灰度值，得到
各像素的灰度值I (x、y、t) (t為拍攝時刻)。還有，也可選擇各像素的R、G、B數(shù)據(jù)中的一個以得到各像素的灰度值。在接下來的STEP40的循環(huán)程序中，由參照值求出部12將圖像Im劃分為y坐標相同X坐標為O M的、具有IX (M+1)像素的N+1個測定單位區(qū)域。還有，測定單位區(qū)域在I軸方向上的寬度也可以不是I個像素(I條線)而是多個像素。接下來，由參照值求出部12按照下式(I)求出各測定單位區(qū)域的像素的灰度值的平均值，將其作為各測定單位區(qū)域的參照值re (y、t) (y = 0、1、2.....N, t為圖像Im的拍攝時刻)。[式I]
權利要求
1.一種車載攝像頭位置變化量檢測裝置，其特征在于，具有: 參照值求出部，對由車載攝像頭所拍到的拍攝圖像，將規(guī)定的測定用區(qū)域劃分為多個測定單位區(qū)域，并將各測定單位區(qū)域內的像素的灰度值或色飽和度值的總和或平均值作為各測定單位區(qū)域的參照值，其中，所述測定單位區(qū)域是在與實際空間中的鉛垂方向相當?shù)奶囟ǚ较蛏?，以?guī)定像素數(shù)為寬度將車載攝像頭所拍到的拍攝圖像劃分而成的區(qū)域； 攝像頭位置變化量求出部，由上述攝像頭拍到的第I圖像中由上述參照值求出部求出的各參照值在上述特定方向上的分布狀態(tài)為第I分布狀態(tài)，以及由上述攝像頭在不同于上述第I圖像的拍攝時刻時所拍到的第2圖像中由上述參照值求出部求出的各參照值在上述特定方向上的分布狀態(tài)為第2分布狀態(tài)，所述攝像頭位置變化量求出部將該第I分布狀態(tài)或者該第2分布狀態(tài)在上述特定方向上進行移動，求出兩者的相關度，根據(jù)相關度最大時的移動量來求出從上述第I圖像的拍攝時刻到第2圖像的拍攝時刻的上述攝像頭位置變化量。
2.根據(jù)權利要求1所述的車載攝像頭位置變化量檢測裝置，其特征在于， 上述攝像頭的拍攝范圍包括搭載有該攝像頭的車輛前方的道路， 根據(jù)由上述攝像頭拍到的拍攝圖像中的道路的圖像部分的位置來設定上述測定用區(qū)域。
3.根據(jù)權利要求2所述的車載攝像頭位置變化量檢測裝置，其特征在于， 還具有測定用區(qū)域變更部，其根據(jù)由上述攝像頭拍到的拍攝圖像中的道路的圖像部分的位置，或道路周圍的所在物的位置來變更上述測定用區(qū)域。
全文摘要
本發(fā)明提供一種車載攝像頭位置變化量檢測裝置，具有參照值求出部(12)，對由車載攝像頭(20)所拍到的拍攝圖像，將測定用區(qū)域(Ea)劃為多個測定單位區(qū)域(D0～DN)，并將各測定單位區(qū)域內的像素的灰度值的平均值作為各測定單位區(qū)域的參照值re(0、t)、re(1、t)、...、re(N、1)，且設定表示各參照值在垂直方向上的分布狀態(tài)的垂直灰度矢量VEC(t)；攝像頭位置變化量求出部(13)，將t2時刻的拍攝圖像的垂直灰度矢量VEC(t2)在垂直方向(y方向)上移動以求出t1時刻的拍攝圖像的垂直灰度矢量VEC(t1)和該t2時刻的拍攝圖像的垂直灰度矢量VEC(t2)之間的相關度，根據(jù)相關度最大時的移動量求出t1～t2的攝像頭(20)的位置變化量。
文檔編號H04N5/225GK103109522SQ20118004400
公開日2013年5月15日 申請日期2011年11月9日 優(yōu)先權日2010年11月16日
發(fā)明者森直樹 申請人:本田技研工業(yè)株式會社