本公開涉及圖像生成設(shè)備。

背景技術(shù)：

已知一種在捕獲自身車輛周邊的圖像時(shí)基于自身車輛的車輛速度和自身車輛周邊的光亮度來設(shè)定曝光時(shí)間的技術(shù)。因此，所捕獲的圖像的模糊度保持在一定的范圍內(nèi)(參照日本特許公報(bào)No.5421999)。因此，提高了通過所捕獲的圖像對(duì)在顯示板等上示出的標(biāo)記進(jìn)行識(shí)別的精確度。

然而，當(dāng)曝光時(shí)間縮短以減少模糊度時(shí)，在捕獲電子顯示設(shè)備的圖像時(shí)會(huì)發(fā)生閃爍。降低了借助于所捕獲的圖像對(duì)通過從電子顯示設(shè)備發(fā)出的光所顯示的標(biāo)記進(jìn)行識(shí)別的精確度。

技術(shù)實(shí)現(xiàn)要素：

因此，期望利用單個(gè)相機(jī)基于在顯示板上示出的信息和在電子顯示設(shè)備上顯示的信息以較高的精確度執(zhí)行過程。

本公開的第一示例性實(shí)施方式提供了一種圖像生成設(shè)備，所述圖像生成設(shè)備包括：第一成像裝置，所述第一成像裝置在預(yù)定的第一正時(shí)在適于捕獲用于識(shí)別在顯示板上示出的信息的圖像的第一狀態(tài)下通過安裝在自身車輛中的相機(jī)的成像操作捕獲所述自身車輛周邊的圖像，并且從在所述第一狀態(tài)下捕獲的所述圖像獲取第一捕獲圖像；第二成像裝置，所述第二成像裝置在預(yù)定的第二正時(shí)在適于捕獲用于識(shí)別通過從電子顯示設(shè)備發(fā)出的光而顯示的信息的圖像的第二狀態(tài)下通過所述相機(jī)的成像操作捕獲所述自身車輛周邊的圖像，并且從在所述第二狀態(tài)下捕獲的所述圖像獲取第二捕獲圖像；以及執(zhí)行裝置，所述執(zhí)行裝置用于執(zhí)行基于由所述第一成像裝置獲取的所述第一捕獲圖像和由所述第二成像裝置獲取的所述第二捕獲圖像的過程。

作為比如這種配置的結(jié)果，通過單個(gè)相機(jī)生成了適于識(shí)別在顯示板 上示出的信息的捕獲圖像和適于識(shí)別通過從電子顯示設(shè)備發(fā)出的光所顯示的信息的捕獲圖像。因此，通過選擇性地使用這些圖像，可以以高精確度識(shí)別在顯示板上示出的信息和在電子顯示設(shè)備上顯示的信息兩者。因此，可以利用單個(gè)相機(jī)以較高的精確度執(zhí)行基于在顯示板上示出的信息和在電子顯示設(shè)備上顯示的信息的過程。

本公開的第二示例性實(shí)施方式提供了一種圖像生成設(shè)備，所述圖像生成設(shè)備包括：成像裝置，所述成像裝置在預(yù)定正時(shí)處通過安裝在自身車輛中的相機(jī)的多次成像操作以使得利用所述多次成像操作捕獲的所述多個(gè)圖像中的每個(gè)圖像的模糊度均能夠保持在預(yù)定許可范圍內(nèi)的曝光時(shí)間捕獲所述自身車輛周邊的多個(gè)圖像，并且由利用所述多次成像操作捕獲的所述多個(gè)圖像獲取多個(gè)捕獲圖像；生成裝置，所述生成裝置對(duì)在所述預(yù)定正時(shí)處獲取的所述多個(gè)捕獲圖像中的位置偏差進(jìn)行校正，并且隨后通過將所述多個(gè)捕獲圖像彼此組合而生成合成圖像；以及執(zhí)行裝置，所述執(zhí)行裝置執(zhí)行基于所述合成圖像的過程。

作為比如這種配置的結(jié)果，通過單個(gè)相機(jī)生成了模糊度降低的多個(gè)捕獲圖像。另外，在將這些捕獲圖像中的位置偏差校正之后，生成這些捕獲圖像的合成圖像。在每個(gè)捕獲圖像中均抑制了模糊。因此，可以從合成圖像以高精確度識(shí)別在顯示板上示出的信息。另外，由于對(duì)利用多次成像操作捕獲的圖像進(jìn)行了合成，因此可以使亮度分布適于識(shí)別在電子顯示設(shè)備上顯示的信息。因此，可以利用單個(gè)相機(jī)以較高的精確度執(zhí)行基于在顯示板上示出的信息和在電子顯示設(shè)備上顯示的信息的過程。

附圖說明

在附圖中：

圖1是根據(jù)第一實(shí)施方式的圖像生成系統(tǒng)的框圖；

圖2是根據(jù)第一實(shí)施方式的成像過程的流程圖；

圖3是根據(jù)第一實(shí)施方式的第一幀設(shè)定過程的流程圖；

圖4是示出了車輛速度與曝光限值時(shí)間之間的關(guān)系的曲線圖；

圖5是根據(jù)第一實(shí)施方式的第二幀設(shè)定過程的流程圖；

圖6是根據(jù)第一實(shí)施方式至第三實(shí)施方式的用于第二幀的曝光時(shí) 間的說明圖；

圖7是根據(jù)第二實(shí)施方式至第三實(shí)施方式的成像過程的流程圖；

圖8是根據(jù)第四實(shí)施方式的成像過程的流程圖；以及

圖9是根據(jù)第四實(shí)施方式的共用幀設(shè)定過程的流程圖。

具體實(shí)施方式

下文將參照附圖對(duì)應(yīng)用本公開的各實(shí)施方式進(jìn)行描述。

[第一實(shí)施方式]

[配置的描述]

如圖1中所示，根據(jù)第一實(shí)施方式的圖像生成系統(tǒng)1安裝在車輛(下文將稱作“自身車輛”)中，并且該圖像生成系統(tǒng)1包括捕獲自身車輛周邊的圖像的相機(jī)10以及圖像生成設(shè)備20等。

相機(jī)10包括成像器11和圖像接口(I/F)12等。

成像器11包括圖像傳感器、放大單元、模數(shù)(A/D)轉(zhuǎn)換單元等。圖像傳感器可以是電荷耦合裝置(CCD)圖像傳感器或互補(bǔ)式金屬氧化物半導(dǎo)體(CMOS)圖像傳感器。

在成像器11中，當(dāng)圖像傳感器捕獲圖像時(shí)，放大單元以預(yù)定的增益將從圖像傳感器輸出的模擬信號(hào)放大。模擬信號(hào)指示所捕獲的圖像中的每個(gè)像素的亮度(光亮度)。另外，A/D轉(zhuǎn)換單元將放大的模擬信號(hào)所指示的模擬值轉(zhuǎn)換成數(shù)字值。隨后，成像器11將指示數(shù)字值(即，構(gòu)成所捕獲的圖像的每個(gè)像素的輸出像素值)的信號(hào)作為圖像數(shù)據(jù)以行為單位(即，與沿水平掃描方向排列的像素對(duì)應(yīng)的圖像數(shù)據(jù)的集合)輸出。

圖像I/F 12將由成像器11生成的圖像數(shù)據(jù)輸出至圖像生成設(shè)備20。

圖像生成設(shè)備20包括控制單元21、通信單元22、傳感器單元23、存儲(chǔ)器24等。

控制單元21主要由已知的微型計(jì)算機(jī)構(gòu)成。微型計(jì)算機(jī)包括中央處理單元(CPU)、只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、輸入/輸出(I/O)、連接這些部件的總線等等?？刂茊卧?1基于儲(chǔ)存在ROM 中的程序和加載到RAM上的程序執(zhí)行各個(gè)過程。另外，控制單元21通過相機(jī)10捕獲自身車輛周邊的圖像。此外，控制單元21設(shè)定相機(jī)10的曝光時(shí)間、曝光頻率、增益等。

通信單元22經(jīng)由諸如控制器局域網(wǎng)(CAN)之類的車載局域網(wǎng)(LAN)2與安裝在自身車輛中的另一電子控制單元(ECU)30進(jìn)行通信。

傳感器單元23檢測(cè)自身車輛的車輛速度。

存儲(chǔ)器24是用于在其中儲(chǔ)存由相機(jī)10捕獲的圖像的圖像數(shù)據(jù)的部分，并且存儲(chǔ)器24包括RAM等。

[過程]

在根據(jù)第一實(shí)施方式的圖像生成系統(tǒng)1中，相機(jī)10在周期性到來的成像正時(shí)處捕獲自身車輛周邊的圖像。隨后，基于所捕獲的圖像，圖像生成系統(tǒng)1或其他ECU 30執(zhí)行與驅(qū)動(dòng)有關(guān)的過程。在與驅(qū)動(dòng)有關(guān)的過程中，執(zhí)行對(duì)捕獲圖像的圖像識(shí)別。隨后，基于圖像識(shí)別的結(jié)果，執(zhí)行與自身車輛的驅(qū)動(dòng)有關(guān)的過程。

作為與驅(qū)動(dòng)有關(guān)的過程的示例，可以考慮驅(qū)動(dòng)輔助過程、用于實(shí)現(xiàn)自動(dòng)巡航的過程等等。更具體地，例如，可以考慮檢測(cè)到另一車輛、行人或類似物并執(zhí)行發(fā)出警告、進(jìn)行車輛速度控制、進(jìn)行轉(zhuǎn)向角度控制或類似行為以避免碰撞的過程。此外，可以考慮檢測(cè)偏離行車道的過程、控制頭燈方向等的過程和類似過程。

圖像生成系統(tǒng)1在成像正時(shí)處在成像期間生成多種類型的捕獲圖像。所捕獲的圖像包括因抑制了模糊而適于對(duì)標(biāo)記板標(biāo)記進(jìn)行圖像識(shí)別的第一捕獲圖像(下文稱作“第一幀”)。另外，所捕獲的圖像包括因抑制了閃爍而適于對(duì)電子標(biāo)記進(jìn)行圖像識(shí)別的第二捕獲圖像(下文稱作“第二幀”)。標(biāo)記板標(biāo)記例如指的是印在顯示板等上的標(biāo)記的信息。電子標(biāo)記指的是通過從電子顯示設(shè)備發(fā)出的光顯示出的信息。下面將對(duì)由圖像生成系統(tǒng)1執(zhí)行的過程進(jìn)行詳細(xì)的描述。

(1)成像過程

首先，將對(duì)用于生成第一幀和第二幀的成像過程進(jìn)行描述(圖2)。圖像生成設(shè)備20在周期性成像正時(shí)到來時(shí)執(zhí)行該過程。

在步驟S100處，圖像生成設(shè)備20的控制單元21執(zhí)行第一幀設(shè)定過程(細(xì)節(jié)在下文描述)，在第一幀設(shè)定過程中，相機(jī)10被設(shè)定至使第一幀能夠成像的第一狀態(tài)?？刂茊卧?1隨后進(jìn)行至步驟S105。

在步驟S105處，控制單元21通過相機(jī)10捕獲第一幀。另外，控制單元21從相機(jī)10獲取第一幀并將第一幀儲(chǔ)存在存儲(chǔ)器24中?？刂茊卧?1隨后進(jìn)行至步驟S110。

在步驟S110處，控制單元21執(zhí)行第二幀設(shè)定過程(細(xì)節(jié)在下文描述)，在第二幀設(shè)定過程中，相機(jī)10被設(shè)定至使第二幀能夠成像的第二狀態(tài)?？刂茊卧?1隨后進(jìn)行至步驟S115。

在步驟S115處，控制單元21通過相機(jī)10捕獲第二幀。另外，控制單元21從相機(jī)10獲取第二幀并將第二幀儲(chǔ)存在存儲(chǔ)器24中。控制單元21隨后進(jìn)行至步驟S120。

在步驟S120處，控制單元21從存儲(chǔ)器24讀出第一幀和第二幀。控制單元21隨后允許基于第一幀和第二幀執(zhí)行與驅(qū)動(dòng)有關(guān)的過程?？刂茊卧?1終止該過程。具體地，例如，當(dāng)圖像生成設(shè)備20執(zhí)行與驅(qū)動(dòng)有關(guān)的過程時(shí)，控制單元21可以將第一幀和第二幀給送至執(zhí)行該與驅(qū)動(dòng)有關(guān)的過程的部分，并且使該部分開始與驅(qū)動(dòng)有關(guān)的過程。另外，例如，當(dāng)其他ECU 30執(zhí)行該與驅(qū)動(dòng)有關(guān)的過程時(shí)，控制單元21可以經(jīng)由車載LAN 2將第一幀和第二幀傳輸至ECU 30并使ECU 30執(zhí)行該與驅(qū)動(dòng)有關(guān)的過程。

(2)第一幀設(shè)定過程

接下來，將描述第一幀設(shè)定過程(圖3)。在第一幀設(shè)定過程中，相機(jī)10設(shè)定至使得第一幀能夠被捕獲的狀態(tài)。該過程被配置為成像過程所調(diào)用的子程序。

在步驟S200處，圖像生成設(shè)備20的控制單元21在曝光時(shí)間和增益等設(shè)定至提前規(guī)定的預(yù)設(shè)值的情況下通過相機(jī)10進(jìn)行成像?？刂茊卧?1隨后基于所捕獲的圖像中的每個(gè)像素的亮度測(cè)量自身車輛周邊的光亮度(步驟S205)。

在隨后的步驟S210處，控制單元21基于光亮度的測(cè)量值確定相機(jī)10的適于使第一幀成像的曝光時(shí)間和增益等?？刂茊卧?1隨后進(jìn)行至 步驟S215。

在步驟S215處，控制單元21判斷所確定的曝光時(shí)間是否小于曝光時(shí)間限值。曝光時(shí)間限值是基于自身車輛的車輛速度和預(yù)定許可模糊度范圍而預(yù)先確定的。此處，曝光時(shí)間限值以下述方式預(yù)先確定。

也就是說，第一幀的許可模糊度范圍是基于以第一幀為基礎(chǔ)所執(zhí)行的與驅(qū)動(dòng)有關(guān)的過程的內(nèi)容而預(yù)先確定的。另外，發(fā)生模糊的趨勢(shì)根據(jù)自身車輛的車輛速度以及是白天還是夜晚等情況而不同。因此，對(duì)于白天和對(duì)于夜晚，最大曝光時(shí)間(曝光時(shí)間限值)是基于自身車輛的車輛速度而預(yù)先確定的。最大曝光時(shí)間是使模糊度能夠保持在許可范圍內(nèi)的最大時(shí)間量。

圖4中的曲線圖分別指示白天和夜晚當(dāng)許可的模糊度范圍在4個(gè)像素內(nèi)、在2個(gè)像素內(nèi)及在1.5個(gè)像素內(nèi)時(shí)與車輛速度相關(guān)的曝光時(shí)間限值。在與驅(qū)動(dòng)有關(guān)的過程中，相比在白天期間，在夜晚進(jìn)行針對(duì)更靠近自身車輛的區(qū)域的圖像識(shí)別。在夜晚，對(duì)遠(yuǎn)距離區(qū)域中存在的物體不進(jìn)行圖像識(shí)別。因此，在對(duì)靠近自身車輛的區(qū)域中存在的物體成像時(shí)如果模糊度處于許可范圍內(nèi)，模糊不會(huì)產(chǎn)生問題。在相同的車輛速度下，夜晚的曝光時(shí)間限值比白天的曝光時(shí)間限值長，甚至在許可模糊度范圍相同的情況下，也是如此。

控制單元21的ROM中儲(chǔ)存與每個(gè)曲線圖(這些曲線圖分別對(duì)應(yīng)于白天及夜晚的許可模糊度范圍)對(duì)應(yīng)的曝光時(shí)間限值確定表。控制單元21經(jīng)由傳感器單元23檢測(cè)自身車輛的車輛速度。另外，控制單元21基于光亮度的測(cè)量值判斷是白天還是夜晚?？刂茊卧?1隨后參照和基于與驅(qū)動(dòng)有關(guān)的過程的內(nèi)容而預(yù)先確定的許可模糊度范圍以及和就白天或夜晚的確定結(jié)果相對(duì)應(yīng)的曝光時(shí)間限值確定表，并且控制單元21基于自身車輛的車輛速度確定曝光時(shí)間限值。

隨后，當(dāng)確定曝光時(shí)間小于曝光時(shí)間限值(即步驟S215處為是)時(shí)，控制單元21進(jìn)行至步驟S225。當(dāng)確定曝光時(shí)間等于或大于曝光限值時(shí)間(即，步驟S215處為否)時(shí)，控制單元21進(jìn)行至步驟S220。

在步驟S220處，控制單元21再次確定曝光時(shí)間和增益。具體地，控制單元21以下述方式增大所捕獲的圖像的亮度：

曝光時(shí)間＝在步驟S215處確定的曝光時(shí)間限值

新的增益＝在步驟S210處確定的增益×在步驟S210處確定的曝光時(shí)間/在步驟S215處確定的曝光時(shí)間限值

在隨后的步驟S225處，控制單元21將所確定的曝光時(shí)間和增益等設(shè)定在相機(jī)10的成像器11中并終止該過程。

(3)第二幀設(shè)定過程

接下來，將描述第二幀設(shè)定過程(圖5)。在第二幀設(shè)定過程中，相機(jī)10設(shè)定至使得第二幀能夠被捕獲的狀態(tài)。該過程被配置為成像過程所調(diào)用的子程序。

在步驟S300處，圖像生成設(shè)備20的控制單元21在曝光時(shí)間和增益等設(shè)定至提前規(guī)定的預(yù)設(shè)值的情況下通過相機(jī)10進(jìn)行成像?？刂茊卧?1隨后基于所捕獲的圖像中的每個(gè)像素的亮度測(cè)量自身車輛周邊的光亮度(步驟S305)。

在隨后的步驟S310處，控制單元21將曝光時(shí)間確定為能夠抑制在捕獲電子標(biāo)記的圖像時(shí)發(fā)生的閃爍的預(yù)定時(shí)間長度?；谠撈毓鈺r(shí)間，控制單元21確定預(yù)定增益并且隨后進(jìn)行至步驟S315。具體地，曝光時(shí)間可以大約是在電子顯示設(shè)備上顯示的電子標(biāo)記的閃爍周期所采用的時(shí)間段的時(shí)間量或者是比該時(shí)間段長的時(shí)間量。

在步驟S315處，控制單元21判斷光亮度的測(cè)量值是否是提前規(guī)定的閾值或更大。因此，控制單元21判斷在相機(jī)10以所確定的曝光時(shí)間進(jìn)行成像時(shí)發(fā)生飽和的像素的數(shù)目是否達(dá)到提前規(guī)定的水平。隨后，當(dāng)在步驟S315處確定為是時(shí)，控制單元21進(jìn)行至步驟S320。當(dāng)在步驟S315處確定為否時(shí)，控制單元21進(jìn)行至步驟S325。

在步驟S320處，控制單元21將增益確定為較小的值以使得將在步驟S305處從所捕獲的圖像測(cè)得的光亮度抑制至在步驟S315處使用的閾值或更低。具體地，例如，可以提供下述表：在該表中，設(shè)定為增益的值被與光亮度的超出閾值的測(cè)量值相關(guān)聯(lián)地記錄?？刂茊卧?1隨后可以通過參照該表確定增益的值。

也就是說，根據(jù)第一實(shí)施方式，當(dāng)捕獲第二幀時(shí)，以與被采用作為 電子標(biāo)記的閃爍周期的時(shí)間段相等或長于該時(shí)間段的較長曝光時(shí)間進(jìn)行成像。另外，當(dāng)因曝光時(shí)間增加而預(yù)測(cè)會(huì)發(fā)生較大的飽和時(shí)，將增益減小以抑制飽和度(圖6)。

在步驟S325處，控制單元21將所確定的曝光時(shí)間和增益等設(shè)定在相機(jī)10的成像器11中并終止該過程。

[效果]

在根據(jù)第一實(shí)施方式的圖像生成系統(tǒng)1中，在每個(gè)成像正時(shí)處通過單個(gè)相機(jī)10生成了第一幀和第二幀。第一幀適于對(duì)標(biāo)記板標(biāo)記進(jìn)行圖像識(shí)別。第二幀適于對(duì)電子標(biāo)記進(jìn)行圖像識(shí)別。因此，通過這些幀的選擇性使用，可以以較高的精確度對(duì)標(biāo)記板標(biāo)記和電子標(biāo)記進(jìn)行識(shí)別。因此，可以利用單個(gè)相機(jī)10以較高的精確度執(zhí)行基于標(biāo)記板標(biāo)記和電子標(biāo)記進(jìn)行的與驅(qū)動(dòng)有關(guān)的過程。

另外，將捕獲第一幀時(shí)的曝光時(shí)間設(shè)定至曝光時(shí)間限值或更小。曝光時(shí)間限值是基于自身車輛的車輛速度以及是白天還是夜晚規(guī)定的。因此，可以將所捕獲的圖像的模糊度確定地保持在許可范圍內(nèi)。此外，當(dāng)曝光時(shí)間限值不滿足正常所需的曝光時(shí)間時(shí)，在相機(jī)10的成像器11中設(shè)定較大的增益。較大的增益是基于正常所需的曝光時(shí)間與曝光時(shí)間限值的比率規(guī)定的。因此，可以在抑制模糊的同時(shí)使所捕獲的圖像的亮度合適。

另外，在捕獲第二幀時(shí)，設(shè)定了使得能夠抑制閃爍的曝光時(shí)間。另外，當(dāng)預(yù)測(cè)要生成大量飽和像素時(shí)，在相機(jī)10的成像器11中設(shè)定較低的增益。因此，可以抑制飽和。

[第二實(shí)施方式]

接下來，將描述根據(jù)第二實(shí)施方式的圖像生成系統(tǒng)1。根據(jù)第二實(shí)施方式的圖像生成系統(tǒng)1由與根據(jù)第一實(shí)施方式的相機(jī)和圖像生成設(shè)備類似的相機(jī)10和圖像生成設(shè)備20構(gòu)成。然而，過程的內(nèi)容部分地不同。下文，將主要描述這些不同之處。

根據(jù)第二實(shí)施方式，圖像生成設(shè)備20在周期性成像正時(shí)到來時(shí)執(zhí)行成像過程。第一幀和第二幀從而被捕獲。然而，用于捕獲第二幀的方法與根據(jù)第一實(shí)施方式的方法不同。

具體地，根據(jù)第二實(shí)施方式，當(dāng)成像正時(shí)到來時(shí)，連續(xù)進(jìn)行兩次成像(圖6)。此處，將曝光時(shí)間設(shè)定成使得發(fā)生飽和的像素的數(shù)目保持在提前規(guī)定的水平或更少的曝光時(shí)間(例如，為電子標(biāo)記的閃爍周期所采用的時(shí)間段的大約一半的時(shí)間量)。此時(shí)，在第一次成像操作期間，生成了構(gòu)成所捕獲圖像的偶數(shù)行圖像數(shù)據(jù)。在第二次成像操作期間，生成了構(gòu)成所捕獲圖像的奇數(shù)行圖像數(shù)據(jù)。將這些捕獲圖像進(jìn)行合成從而生成第二幀。

構(gòu)造通過相機(jī)10捕獲的圖像的行從上端側(cè)按順序被從1開始進(jìn)行編號(hào)。偶數(shù)行指的是編號(hào)為偶數(shù)的行，奇數(shù)行指的是編號(hào)為奇數(shù)的行。

下面將描述根據(jù)第二實(shí)施方式的成像過程(圖7)。當(dāng)周期性成像正時(shí)到來時(shí)通過圖像生成設(shè)備20執(zhí)行該過程。在該過程中，步驟S400和S405類似于根據(jù)第一實(shí)施方式的成像過程的步驟S100和S105。因此，省去了對(duì)其的描述。

在步驟S410處，控制單元21將相機(jī)10的曝光時(shí)間設(shè)定至電子標(biāo)記的閃爍周期的大約一半的時(shí)間量。另外，控制單元21基于該曝光時(shí)間設(shè)定相機(jī)10的增益等?？刂茊卧?1隨后進(jìn)行至步驟S415。

在步驟S415處，控制單元21通過相機(jī)10進(jìn)行兩次成像。此時(shí)，在第一次成像操作期間，控制單元21在存儲(chǔ)器24中僅儲(chǔ)存構(gòu)成從相機(jī)10輸出的捕獲圖像的偶數(shù)行的圖像數(shù)據(jù)。在第二次成像操作期間，控制單元21在存儲(chǔ)器24中僅儲(chǔ)存構(gòu)成從相機(jī)10輸出的捕獲圖像的奇數(shù)行的圖像數(shù)據(jù)。

用于捕獲第二幀的方法不限于先前描述的方法。在第一次成像操作期間，可以通過圖像傳感器使相機(jī)10進(jìn)行與偶數(shù)行對(duì)應(yīng)的成像。隨后可以將偶數(shù)行的圖像數(shù)據(jù)儲(chǔ)存在存儲(chǔ)器24中。另外，在第二次成像操作期間，可以通過圖像傳感器使相機(jī)10進(jìn)行與奇數(shù)行對(duì)應(yīng)的成像。隨后可以將奇數(shù)行的圖像數(shù)據(jù)儲(chǔ)存在存儲(chǔ)器24中。

在隨后的步驟S420處，控制單元21通過將偶數(shù)行的圖像數(shù)據(jù)與奇數(shù)行的圖像數(shù)據(jù)進(jìn)行合成而生成了第二幀。另外，控制單元21將第二幀儲(chǔ)存在存儲(chǔ)器24中。此處，這些行的圖像數(shù)據(jù)段以合適的順序排列。

隨后的步驟S425類似于根據(jù)第一實(shí)施方式的成像過程的步驟 S120。因此，省去了對(duì)其的描述。

[效果]

在根據(jù)第二實(shí)施方式的圖像生成系統(tǒng)1中，在第二幀的成像正時(shí)處進(jìn)行兩次成像。此處，曝光時(shí)間是電子標(biāo)記的閃爍周期所采用的時(shí)間段的大約一半。在第一次成像操作期間，生成了偶數(shù)行的圖像數(shù)據(jù)。在第二次成像操作期間，生成了奇數(shù)行的圖像數(shù)據(jù)。通過將這些捕獲圖像進(jìn)行合成生成了第二幀。

因此，由這些圖像數(shù)據(jù)段生成了飽和度降低的捕獲圖像。另外，甚至在偶數(shù)行的圖像數(shù)據(jù)和奇數(shù)行的圖像數(shù)據(jù)中的一者發(fā)生閃爍的情況下，只要另一者中沒有發(fā)生閃爍，就能抑制整個(gè)第二幀中的閃爍。此外，這兩次成像操作的總曝光時(shí)間大約等于電子標(biāo)記的閃爍周期。因此，甚至在一次成像操作期間發(fā)生閃爍的情況下，也可以在另一成像操作期間抑制閃爍。因此，可以更可靠地抑制第二幀中的閃爍。

[第三實(shí)施方式]

接下來，將描述根據(jù)第三實(shí)施方式的圖像生成系統(tǒng)1。根據(jù)第三實(shí)施方式的圖像生成系統(tǒng)1由與根據(jù)第二實(shí)施方式的相機(jī)和圖像生成設(shè)備類似的相機(jī)10和圖像生成設(shè)備20構(gòu)成。執(zhí)行與根據(jù)第二實(shí)施方式的過程類似的過程。然而，用于捕獲第二幀的方法與根據(jù)第二實(shí)施方式的方法不同。

具體地，根據(jù)第三實(shí)施方式，當(dāng)成像正時(shí)到來時(shí)，利用三次成像操作(圖6)連續(xù)地捕獲第二幀。此處，曝光時(shí)間設(shè)定成使得發(fā)生飽和的像素的數(shù)目保持在提前規(guī)定的水平或更少的曝光時(shí)間(例如，為電子標(biāo)記的閃爍周期所采用的時(shí)間段的大約三分之一的時(shí)間量)。將這些捕獲圖像進(jìn)行合成從而生成了第二幀。

成像正時(shí)處的成像操作的次數(shù)不限于三次。成像可以進(jìn)行兩次、四次或更多次。隨后可以通過將所捕獲的圖像進(jìn)行合成來生成第二幀。此時(shí)，這些成像操作的總曝光時(shí)間優(yōu)選地是大約為電子標(biāo)記的閃爍周期或更長的時(shí)間量。

就步驟S410至S420(圖7)而言，根據(jù)第三實(shí)施方式的成像過程與根據(jù)第二實(shí)施方式的成像過程不同。將描述步驟S410至S420處的過 程。

在步驟S410處，控制單元21將相機(jī)10的曝光時(shí)間設(shè)定至電子標(biāo)記的閃爍周期的大約三分之一的時(shí)間量。另外，控制單元21基于該曝光時(shí)間設(shè)定相機(jī)10的增益等?？刂茊卧?1隨后進(jìn)行至步驟S415。

在步驟S415處，控制單元21通過相機(jī)10進(jìn)行三次成像。另外，控制單元21將所捕獲的圖像儲(chǔ)存在存儲(chǔ)器24中?？刂茊卧?1隨后進(jìn)行至步驟S420。

在步驟S420處，控制單元21將在步驟S415處生成的捕獲圖像合成并且因此生成了第二幀。第二幀在這種情況下被調(diào)節(jié)成使得亮度分布適于所述與驅(qū)動(dòng)有關(guān)的過程?？刂茊卧?1將第二幀儲(chǔ)存在存儲(chǔ)器24中?？刂茊卧?1隨后進(jìn)行至步驟S425。此時(shí)，可以在對(duì)捕獲圖像中的位置偏差校正之后將捕獲圖像進(jìn)行合成。

[效果]

在根據(jù)第三實(shí)施方式的圖像生成系統(tǒng)1中，在第二幀的成像正時(shí)處進(jìn)行三次成像。此處，曝光時(shí)間是電子標(biāo)記的閃爍周期所采用的時(shí)長的大約三分之一。隨后通過將捕獲圖像進(jìn)行合成而生成第二幀。

因此，由圖像數(shù)據(jù)段生成了飽和度降低的捕獲圖像。另外，甚至在捕獲圖像中的任意捕獲圖像發(fā)生閃爍的情況下，只要剩余捕獲圖像沒有發(fā)生閃爍，就能抑制整個(gè)第二幀中的閃爍。此外，這三次成像操作的總曝光時(shí)間大約等于電子標(biāo)記的閃爍周期。因此，甚至在捕獲圖像中的任意捕獲圖像發(fā)生閃爍的情況下，也可以在剩余捕獲圖像中抑制閃爍。因此，可以更可靠地抑制第二幀中的閃爍。

[第四實(shí)施方式]

接下來，將描述根據(jù)第四實(shí)施方式的圖像生成系統(tǒng)1。根據(jù)第四實(shí)施方式的圖像生成系統(tǒng)1由與根據(jù)第一實(shí)施方式的相機(jī)和圖像生成設(shè)備類似的相機(jī)10和圖像生成設(shè)備20構(gòu)成。然而，過程的內(nèi)容部分地不同。下文，將主要描述這些不同之處。

根據(jù)第四實(shí)施方式，圖像生成設(shè)備20在周期性成像正時(shí)到來時(shí)執(zhí)行成像過程。然而，在成像過程中，捕獲的是適于標(biāo)記板標(biāo)記的圖像識(shí) 別和電子標(biāo)記的圖像識(shí)別的單個(gè)共用幀(在該單個(gè)共用幀中，抑制了模糊和閃爍兩者)。

具體地，當(dāng)成像正時(shí)到來時(shí)，以較短的曝光時(shí)間連續(xù)地進(jìn)行多次成像，從而使得模糊能夠被抑制。隨后，將捕獲圖像中的位置偏差校正。隨后，通過將捕獲圖像進(jìn)行合成而生成共用幀。

下面將更詳細(xì)地描述根據(jù)第四實(shí)施方式的圖像生成系統(tǒng)1所執(zhí)行的過程。

(1)成像過程

首先，將對(duì)用于生成共用幀的成像過程進(jìn)行描述(圖8)。圖像生成設(shè)備20在周期性成像正時(shí)到來時(shí)執(zhí)行該過程。

在步驟S500處，圖像生成設(shè)備20的控制單元21執(zhí)行共用幀設(shè)定過程(細(xì)節(jié)在下文描述)，在共用幀設(shè)定過程中，相機(jī)10被設(shè)定至使得共用幀能夠成像的狀態(tài)。控制單元21隨后進(jìn)行至步驟S505.

在步驟S505處，控制單元21以針對(duì)共用幀設(shè)定過程設(shè)定的曝光次數(shù)進(jìn)行成像?？刂茊卧?1隨后進(jìn)行至步驟S510。當(dāng)執(zhí)行下文描述的共用幀設(shè)定過程的步驟S630時(shí)，曝光的次數(shù)設(shè)定為兩次或更多次。然而，當(dāng)沒有執(zhí)行步驟S630時(shí)，曝光次數(shù)設(shè)定為一次。

在步驟S510處，控制單元21校正各捕獲圖像中的位置偏差。具體地，例如，控制單元21可以從捕獲圖像中的任意捕獲圖像提取特征點(diǎn)。特征點(diǎn)是多個(gè)邊緣相交的點(diǎn)?？刂茊卧?1隨后可以在其他捕獲圖像中搜索所提取的特征點(diǎn)并將各捕獲圖像中的特征點(diǎn)相關(guān)聯(lián)。隨后，控制單元21可以通過移動(dòng)各捕獲圖像中的像素的位置來校正位置偏差，使得各捕獲圖像的相應(yīng)特征點(diǎn)重疊。

接著，控制單元21通過將校準(zhǔn)過的捕獲圖像進(jìn)行合成而生成共用幀。該共用幀在這種情況下被調(diào)節(jié)成使得亮度分布適于與驅(qū)動(dòng)有關(guān)的過程?？刂茊卧?1將共用幀儲(chǔ)存在存儲(chǔ)器24中。控制單元21隨后進(jìn)行至步驟S515。

在步驟S515處，控制單元21從存儲(chǔ)器24讀出共用幀?？刂茊卧?1隨后允許基于共用幀執(zhí)行與驅(qū)動(dòng)有關(guān)的過程?？刂茊卧?1終止該過 程。具體地，當(dāng)圖像生成設(shè)備20執(zhí)行與驅(qū)動(dòng)有關(guān)的過程時(shí)，控制單元21可以將共用幀給送至執(zhí)行與驅(qū)動(dòng)有關(guān)的過程的部分，并且使該部分開始與驅(qū)動(dòng)有關(guān)的過程。另外，當(dāng)其他ECU 30執(zhí)行與驅(qū)動(dòng)有關(guān)的過程時(shí)，控制單元21可以經(jīng)由車載LAN 2將共用幀傳輸至ECU 30，并且使ECU 30執(zhí)行與驅(qū)動(dòng)有關(guān)的過程。

(2)共用幀設(shè)定過程

接下來，將描述共用幀設(shè)定過程，在該共用幀設(shè)定過程中，相機(jī)10設(shè)定至使得共用幀能夠被捕獲的狀態(tài)(圖9)。該過程被配置為成像過程所調(diào)用的子程序。

在該過程中，步驟S600至S620與根據(jù)第一實(shí)施方式的第一幀設(shè)定過程的步驟S200至S220類似。因此，將省去對(duì)其的描述。

當(dāng)在步驟S615處確定為是時(shí)或者在于步驟S620之后執(zhí)行的步驟S625處時(shí)，控制單元21判斷所確定的曝光時(shí)間是否小于提前規(guī)定的抗閃爍曝光時(shí)間(例如大約為電子標(biāo)記的閃爍周期的時(shí)間量)。當(dāng)在步驟S625處確定為是時(shí)，控制單元21進(jìn)行至步驟S630。當(dāng)步驟S625處確定為否時(shí)，控制單元21進(jìn)行至步驟S635。

在步驟S630處，控制單元21將曝光的次數(shù)(換句話說，相機(jī)10進(jìn)行成像的次數(shù))確定為兩次或更多次。控制單元21隨后進(jìn)行至步驟S635。具體地，例如，控制單元21可以計(jì)算通過用抗閃爍曝光時(shí)間除以早前確定的曝光時(shí)間所獲得的值?？刂茊卧?1隨后可以將所獲得的值的小數(shù)點(diǎn)后的數(shù)字調(diào)高為整數(shù)以形成下一整數(shù)，并將所得到的值設(shè)定為曝光的次數(shù)。換句話說，控制單元21可以將曝光時(shí)間設(shè)定成使得成像操作的總曝光時(shí)間是抗閃爍曝光時(shí)間或更長。

在步驟S635處，控制單元21將所確定的曝光時(shí)間和增益等設(shè)定在相機(jī)10的成像器11中?？刂茊卧?1隨后終止該過程。

[效果]

在根據(jù)第四實(shí)施方式的圖像生成系統(tǒng)1中，通過單個(gè)相機(jī)10生成了模糊度被降低的多個(gè)捕獲圖像。另外，在將這些捕獲圖像中的位置偏差進(jìn)行校正之后，生成這些捕獲圖像的合成圖像。在每個(gè)捕獲圖像中均抑制了模糊。因此，可以以高精確度從該合成圖像識(shí)別標(biāo)記板標(biāo)記。另 外，由于對(duì)利用多次成像操作捕獲的圖像進(jìn)行合成，因此可以使亮度分布適于對(duì)電子標(biāo)記進(jìn)行識(shí)別。因此，可以利用單個(gè)相機(jī)10以高精確度執(zhí)行基于標(biāo)記板標(biāo)記和電子標(biāo)記的與驅(qū)動(dòng)有關(guān)的過程。

[其他實(shí)施方式]

上文描述了本公開的多個(gè)實(shí)施方式。然而，本公開不限于上述實(shí)施方式。不同的其他實(shí)施方式也可以。

(1)在根據(jù)第二實(shí)施方式的圖像生成系統(tǒng)1中，在成像正時(shí)處進(jìn)行兩次成像。在第一次成像操作期間，生成了用于偶數(shù)行的圖像數(shù)據(jù)。在第二次成像操作期間，生成了用于奇數(shù)行的圖像數(shù)據(jù)。也就是說，提供了兩種類型的排列模式作為構(gòu)成捕獲圖像的第一行至第X行進(jìn)行排列的模式。在這兩種排列模式中，行被排列成在這些行中的相鄰行之間具有等于單行的間隔。

然而，本公開不限于此，在這些排列模式中，行可以被排列成在這些行中的相鄰行之間具有等于兩行或更多行的間隔。替代性地，行可以以Y(Y>2)行為單位排列成在這些行中的相鄰行之間具有等于單行、兩行或更多行的間隔。另外，可以提供Z(Z>2)種類型的排列模式。在成像正時(shí)處可以進(jìn)行Z次成像。在每次成像操作期間，可以生成與不同排列模式對(duì)應(yīng)的行的圖像數(shù)據(jù)。當(dāng)然，排列模式優(yōu)選地被規(guī)定成使得在將所有類型的排列模式的行組合時(shí)，所有這些行將排列成在各行之間不存在間隔。此時(shí)，在成像正時(shí)處執(zhí)行的成像操作的總曝光時(shí)間優(yōu)選地是大約為閃爍周期或更長的時(shí)間量。

具體地，例如，提供了三種類型的排列模式。在這種情況下，這些排列模式可以分別由序列用3x(x是1或更大的整數(shù))來表達(dá)的行、序列用3x+1來表達(dá)的行、以及序列用3x+2來表達(dá)的行構(gòu)成。

即使在使用前述構(gòu)造時(shí)，也可以實(shí)現(xiàn)類似的效果。

(2)根據(jù)上述實(shí)施方式的單個(gè)構(gòu)成元件所提供的功能可以分散在多個(gè)構(gòu)成元件中。多個(gè)構(gòu)成元件所提供的功能可以結(jié)合在單個(gè)構(gòu)成元件中。另外，可以用提供了類似功能的公知配置來代替根據(jù)上述實(shí)施方式的配置的至少一部分。此外，可以省去根據(jù)上述實(shí)施方式的配置的一部分。此外，可以增添根據(jù)上述實(shí)施方式的配置的至少一部分或者可以用 根據(jù)上述實(shí)施方式的配置的至少一部分代替根據(jù)上述實(shí)施方式的另一配置。在通過對(duì)權(quán)利要求的范圍的表述指定的技術(shù)思想中包括的任何實(shí)施方式都是本公開的實(shí)施方式。

(3)本公開還可以由除上述圖像生成系統(tǒng)1以外的不同形式實(shí)現(xiàn)，比如與圖像生成系統(tǒng)1對(duì)應(yīng)的單個(gè)設(shè)備、使計(jì)算機(jī)能夠用作構(gòu)成圖像生成系統(tǒng)1的圖像生成設(shè)備20的程序、記錄該程序的記錄媒介以及與圖像生成設(shè)備20所執(zhí)行的過程對(duì)應(yīng)的方法。

[與權(quán)利要求的對(duì)應(yīng)性]

將指出在第一實(shí)施方式至第四實(shí)施方式的描述中所使用的術(shù)語與權(quán)利要求中所使用的術(shù)語之間的對(duì)應(yīng)性。

圖像生成設(shè)備20的傳感器單元23對(duì)應(yīng)于車輛速度檢測(cè)裝置的示例。

在根據(jù)第一實(shí)施方式的圖像生成設(shè)備20的控制單元21所執(zhí)行的成像過程中，步驟S105對(duì)應(yīng)于第一成像裝置的示例；步驟S115對(duì)應(yīng)于第二成像裝置的示例；并且步驟S120對(duì)應(yīng)于執(zhí)行裝置。

在控制單元21所執(zhí)行的第一幀設(shè)定過程中，步驟S210至S225對(duì)應(yīng)于第一成像裝置的示例；并且步驟S205對(duì)應(yīng)于光亮度檢測(cè)裝置的示例。

在控制單元21所執(zhí)行的第二幀設(shè)定過程中，步驟S310至S325對(duì)應(yīng)于第二成像裝置的示例。

在根據(jù)第二實(shí)施方式和第三實(shí)施方式的圖像生成設(shè)備20的控制單元21所執(zhí)行的成像過程中，步驟S405對(duì)應(yīng)于第一成像裝置的示例；步驟S410至S420對(duì)應(yīng)于第二成像裝置的示例；并且步驟S425對(duì)應(yīng)于執(zhí)行裝置。

在根據(jù)第四實(shí)施方式的圖像生成設(shè)備20的控制單元21所執(zhí)行的成像過程中，步驟S505對(duì)應(yīng)于成像裝置的示例；步驟S510對(duì)應(yīng)于生成裝置的示例；并且步驟S515對(duì)應(yīng)于執(zhí)行裝置的示例。