專利名稱：圖像處理系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置和圖像處理方法，其組合利用多個(gè)攝像頭 (camera)拍攝的圖像，以產(chǎn)生單個(gè)連續(xù)顯示圖像。
背景纟支術(shù)
由多個(gè)車載攝像頭拍攝多個(gè)圖像、并組合拍攝的圖像以產(chǎn)生單個(gè)顯示圖 像的圖像處理系統(tǒng)已經(jīng)廣為知悉。在例如用于導(dǎo)4元(navigation)的顯示屏上 顯示單個(gè)顯示圖像。然而，才艮據(jù)車載攝像頭的安裝位置、方向以及特性，所 拍攝的圖像可能具有不同的平均亮度值。因此，如果不經(jīng)過調(diào)節(jié)而組合所拍 攝的圖像，則所得到的顯示圖像可能會(huì)不令人滿意。
未經(jīng)審查的公開號(hào)為2007-72750的日本專利申請(qǐng)描述了這樣的系統(tǒng)，其 通過多個(gè)具有自動(dòng)增益控制(AGC)功能的車載:f聶像頭來(lái)拍攝多個(gè)圖像。暫 時(shí)壓縮拍攝的圖像亮度值，移動(dòng)兩個(gè)鄰近拍攝的重疊部分的亮度值，以減少 重疊部分的亮度值之間的差，在純白色和純黑色之間的亮度值范圍內(nèi)解壓縮 所拍攝的圖像的亮度值，并且，組合所得到的圖像。

發(fā)明內(nèi)容
圖像處理系統(tǒng)和方法的實(shí)施例用于包括多個(gè)圖像獲取裝置和顯示單元的 車輛，其中，所述多個(gè)圖像獲取裝置指向車輛周圍的不同的預(yù)定區(qū)域，以提 供預(yù)定區(qū)域的拍攝圖像。圖像處理系統(tǒng)的一個(gè)實(shí)施例包括提取單元，其被 配置為從所拍攝的圖像提取主題區(qū)域(subject area),其中主題區(qū)域?qū)?yīng)于鄰 近于圖像獲取裝置的預(yù)定區(qū)域的部分區(qū)域；圖像處理單元，其包括被配置為 均衡化主題區(qū)域的亮度值、以提供處理后的圖像的亮度控制單元；以及顯示
圖像產(chǎn)生單元，其被配置為組合處理后的圖4象以產(chǎn)生顯示圖像。


此處的描述參考附圖而給出，其中在這幾個(gè)圖中，相同的附圖標(biāo)記代表
相同的部分，并且其中
圖1是示出應(yīng)用了本發(fā)明的下向圖像(downward image)顯示系統(tǒng)的框
圖2是示出4個(gè)車載攝像頭的安裝位置和所拍攝的區(qū)域的示意圖； 圖3是示出在顯示器上顯示的下向顯示圖像的示意圖； 圖4是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的控制器的框圖； 圖5是示出從車載攝像頭的整個(gè)拍攝圖l象提取的作為顯示區(qū)域圖像的圖 像部分的示意圖6A是利用前和后攝像頭的顯示區(qū)域圖像而示出前攝像頭和后攝像頭 的完整拍攝圖像之間的關(guān)系的示意圖6B是利用右側(cè)和左側(cè)攝像頭的顯示區(qū)域圖像而示出右側(cè)攝像頭和左 側(cè)攝像頭的完整拍攝圖像之間的關(guān)系的示意圖7是示出顯示區(qū)域圖像的亮度值變化和車載攝像頭的鏡頭特性之間關(guān) 系的示意圖；以及
圖8是示出根據(jù)本發(fā)明的實(shí)施例的由控制器產(chǎn)生下向顯示圖像的流程圖。
具體實(shí)施例方式
在上述日本未審查申請(qǐng)公開號(hào)為2007-72750的系統(tǒng)中，通過車載攝像頭 的AGC功能，自動(dòng)控制所拍攝的圖像的亮度值。然而，由各個(gè)車載攝像頭提 供的亮度級(jí)別校正的幅度的差異可能會(huì)增加所需要的亮度值校正的幅度。此 外，在校正之后，可能未充分地解壓縮暫時(shí)壓縮的亮度值，從而導(dǎo)致顯示圖 像被部分地模糊。相反，本發(fā)明的實(shí)施例能夠提供顯示圖像的良好連續(xù)性， 由此產(chǎn)生在整個(gè)圖像中不帶有任何視覺上不適的區(qū)域的滿意的顯示圖像。
以下，參考附圖詳細(xì)描述本發(fā)明的特定實(shí)施例。此處，結(jié)合使用4個(gè)車 載攝像頭拍攝前、后、左和右圖像的下向圖像顯示系統(tǒng)而描述本發(fā)明。將拍 攝圖像轉(zhuǎn)換為對(duì)應(yīng)于位于車輛之上的虛擬視點(diǎn)的下向圖像，并且，組合下向
圖像，以作為單個(gè)連續(xù)下向顯示圖像而顯示。還結(jié)合具有這種下向圖像顯示 系統(tǒng)的圖像處理設(shè)備而描述本發(fā)明。然而，本發(fā)明并不局限于這些應(yīng)用，并 可以被應(yīng)用于組合利用多個(gè)攝像頭拍攝的圖像、以產(chǎn)生單個(gè)連續(xù)顯示圖像的 任何類型的圖像處理裝置。
圖1的下向圖像顯示系統(tǒng)包括控制器10?？刂破?0的輸入側(cè)連接于4 個(gè)車載攝像頭，即，前攝像頭l,后攝像頭2，右側(cè)攝像頭3以及左側(cè)攝像頭 4。車載攝像頭1-4包括各自的圖像獲取元件la、 2a、 3a和4a，例如CCD 傳感器或者CMOS傳感器；以及布置于圖像獲取元件la、 2a、 3a和4a前面 的各自的鏡頭lb、 2b、 3b和4b?？刂破?0的輸出側(cè)連接于顯示器5,例如 安裝在車艙內(nèi)的液晶顯示單元。再者，控制器10連接于屏幕改變開關(guān)6，以 改變顯示器5的顯示屏幕。用于下向圖像顯示系統(tǒng)中的顯示器5也可被例如 導(dǎo)航系統(tǒng)20的車輛內(nèi)的另一個(gè)系統(tǒng)所使用。控制器IO執(zhí)行與導(dǎo)航系統(tǒng)20的 控制器的協(xié)作控制。如果通過例如屏幕改變開關(guān)6的操作而請(qǐng)求，則控制器 10允許上述下向顯示圖像被顯示在顯示器5上。
除了各種輸入和輸出連接之外，控制器10可以由包括隨機(jī)存取存儲(chǔ)器 (RAM)、只讀存儲(chǔ)器(ROM)以及中央處理單元(CPU)的微計(jì)算機(jī)而實(shí) 現(xiàn)。通常，在此描述的控制器IO的處理單元的控制功能由存儲(chǔ)在ROM中的 一個(gè)或多個(gè)軟件程序的CPU的執(zhí)行而實(shí)現(xiàn)。當(dāng)然，可以通過硬件組件實(shí)現(xiàn)一 些或者全部的處理單元以及它們相關(guān)聯(lián)的功能。
如圖2所示，4個(gè)車載招H象頭l-4各自指向不同的預(yù)定區(qū)域Al-A4。如所 示出的，前攝像頭1被安裝在鄰近位于車輛的前部的散熱器格柵的位置。前 攝像頭1以與路面的傾角拍攝在車的前邊的預(yù)定區(qū)域Al的圖像。后攝像頭2 被安裝于位于車輛的尾部的頂擾流板(roof spoiler )上。后攝像頭2以與路面 的傾角拍攝在車輛的后面的預(yù)定區(qū)域A2。右側(cè)揭J象頭3被安裝于位于車的右 側(cè)部分的側(cè)鏡(sidemirror)上。右側(cè)攝像頭3以與路面的傾角拍攝在車輛的 右側(cè)的預(yù)定區(qū)域A3的圖像。左側(cè)攝像頭4被安裝于車輛的左側(cè)部分的側(cè)鏡 上。左側(cè)攝像頭4以與路面的傾角拍攝車輛的左側(cè)的預(yù)定區(qū)域A4的圖像。
4個(gè)車載攝像頭1-4拍攝的區(qū)域Al-A4具有重疊部分，其中，車載攝像 頭1-4的區(qū)域Al-A4的鄰近部分或者區(qū)域部分地重疊。具體地，前攝像頭1 拍攝的區(qū)域Al與右側(cè)攝像頭3拍攝的區(qū)域A3在車輛的右前側(cè)的部分區(qū)域部 分地重疊。前攝像頭1拍攝的區(qū)域A1與左側(cè)攝像頭4拍攝的區(qū)域A4在車輛
的左前側(cè)的部分區(qū)域部分地重疊。再者，后攝像頭2拍攝的區(qū)域A2與右側(cè) 攝像頭3拍攝的區(qū)域A3在車輛的右后側(cè)的部分區(qū)域部分地重疊。后攝像頭2 拍攝的區(qū)域A2與左側(cè)攝像頭4拍攝的區(qū)域A4在車輛的左后側(cè)的部分區(qū)域部 分;也重疊。
由4個(gè)車載攝像頭l-4拍攝的區(qū)域Al-A4的圖像被輸入到控制器10?？?制器IO使用車載攝像頭l-4拍攝的圖像產(chǎn)生圖3中示出的下向顯示圖像，并 且允許顯示器5顯示所產(chǎn)生的圖像。下向顯示圖像是從車輛上向下觀察的車 輛周圍的路面的圖像。將投影(project)鄰近車輛的路面的車載攝像頭1-4 的拍攝圖像的圖像部分轉(zhuǎn)換為從位于車輛上的虛擬視點(diǎn)向下觀察的下向圖 像，并且耦接轉(zhuǎn)換后的圖像，以產(chǎn)生單個(gè)連續(xù)圖像。
在圖3中的下向顯示圖像中，前攝像頭1拍攝的圖像用在表現(xiàn)車輛的前 邊的路面的圖像區(qū)域B1中，并且，后攝像頭2拍攝的圖像用在表現(xiàn)車輛的后 邊的路面的圖像區(qū)域B2中。再者，右側(cè)攝像頭3拍攝的圖像用在表現(xiàn)車輛的 右側(cè)的路面的圖像區(qū)域B3中，而左側(cè)攝像頭4拍攝的圖像用在表現(xiàn)車輛的左 側(cè)的路面的圖像區(qū)域B4中。圖像區(qū)域B5-B8是可以分別的由兩個(gè)鄰近的車 載攝像頭拍攝的路面的區(qū)域。根據(jù)給定的規(guī)則，選擇性地使用兩個(gè)車載攝像 頭拍攝的圖像之一、或者所述兩個(gè)拍攝的圖像。在圖3中示出的下向顯示圖 像中，在下向顯示圖像的中央顯示的車輛是存儲(chǔ)在控制器10的存儲(chǔ)器中的 圖，并且，由控制器IO將其疊加在下向顯示圖像上。
如上所述，形成下向顯示圖像，使得由4個(gè)車載攝像頭l-4拍攝的圖像 的部分圖像的視點(diǎn)被轉(zhuǎn)換為下向視點(diǎn)，并耦接圖像。因此，如果車載攝像頭 1-4拍攝的圖像具有各種亮度值，則耦接的圖像的連續(xù)性可能降低，并且，耦 接的圖像可能不令人滿意。為避免這樣，控制器IO從車載攝像頭l-4拍攝的 圖像提取用于下向顯示圖像的圖像部分，即，鄰近車輛的路面區(qū)域的圖像部 分，作為顯示區(qū)域圖像。處理提取的顯示區(qū)域圖像，以控制亮度值。然后， 轉(zhuǎn)換顯示區(qū)域圖像的視點(diǎn)，并且，組合顯示區(qū)域圖像，以產(chǎn)生下向顯示圖像。
圖4是圖1的控制器10的一個(gè)實(shí)施例的框圖。如圖4所示，控制器10 包括輸入幀存儲(chǔ)器lla至lld、顯示區(qū)域圖像提取單元12、鏡頭對(duì)應(yīng)校正單 元13、 AGC處理單元14、圖4象間調(diào)節(jié)4交正單元15、顯示圖4象產(chǎn)生單元16、 以及輸出幀存儲(chǔ)器17。鏡頭對(duì)應(yīng)校正單元13、 AGC處理單元14以及圖像間 調(diào)節(jié)校正單元15定義圖像處理單元18。
在控制器10中，當(dāng)由車載攝像頭l-4拍攝的車輛周圍的區(qū)域Al-A4的圖 像分別被輸入到輸入幀存儲(chǔ)器lla-lld時(shí)，輸入幀存儲(chǔ)器lla-lld按照幀暫時(shí) 存儲(chǔ)車載攝像頭1-4拍攝的圖像數(shù)據(jù)。
顯示區(qū)域圖像提取單元12輸出指令信號(hào)給輸入幀存儲(chǔ)器lla-lld，以便 從車載攝像頭1-4的整體的拍攝圖像分別提取圖像部分，作為存儲(chǔ)在輸入幀 存儲(chǔ)器lla-lld中并且用作下向顯示圖像的顯示區(qū)域圖像。更為具體地，如圖 5所示，顯示區(qū)域圖像提取單元12允許鄰近對(duì)應(yīng)的已經(jīng)拍攝了圖像的車載攝 像頭的圖像部分Y (即，投影鄰近車輛的路面的圖像部分Y)被作為顯示區(qū) 域圖像而從由車載攝像頭拍攝的拍攝圖像X中提取。
為了簡(jiǎn)單，參考圖6A和6B給出描述，其中，車載攝像頭拍攝的圖像和 顯示區(qū)域圖像之間的關(guān)系改變?yōu)橄孪驁D像。如圖6A所示，顯示區(qū)域圖像提 取單元U輸出指令信號(hào)，使得從前攝像頭1的整個(gè)拍攝圖像X1提取鄰近車 輛的部分區(qū)域的圖像部分Yl作為顯示區(qū)域圖像，并且，從后攝像頭2的整 個(gè)拍攝圖像X2提取鄰近車輛的部分區(qū)域的圖像部分Y2作為顯示區(qū)域圖像。 再者，如圖6B所示，顯示區(qū)域圖像提取單元12輸出指令信號(hào)，使得從右側(cè) 攝像頭3的整個(gè)拍攝圖像X3提取鄰近車輛的部分區(qū)域的圖像部分Y3作為顯 示區(qū)域圖像，并且從左側(cè)攝像頭4的整個(gè)拍攝圖像X4提取鄰近車輛的部分 區(qū)域的圖像部分Y4作為顯示區(qū)域圖像。注意到，在車載攝像頭l-4拍攝的圖 像中的投影鄰近車輛的路面的部分可以根據(jù)車載攝像頭1-4的安裝位置和安 裝角度而改變。因此，預(yù)先進(jìn)行實(shí)驗(yàn)，以為每個(gè)車載攝像頭1-4確定投影鄰 近車輛的路面的范圍。從輸入幀存儲(chǔ)器1 la-l ld讀取根據(jù)顯示區(qū)域圖像提取部 分12的指令信號(hào)提取的顯示區(qū)域圖像的圖像數(shù)據(jù)，并且將其發(fā)送給鏡頭對(duì)應(yīng) 才交正單元13。
鏡頭對(duì)應(yīng)校正單元(第一校正單元)13根據(jù)已經(jīng)拍攝了顯示區(qū)域圖像的 車載攝像頭的對(duì)應(yīng)鏡頭的亮度曲線，校正每個(gè)提取的顯示區(qū)域圖像的圖像數(shù) 據(jù)，使得對(duì)應(yīng)于鏡頭邊沿部分的顯示區(qū)域圖像的圖像部分的亮度值與對(duì)應(yīng)于 鏡頭中心部分的圖像部分的亮度值之間的差減少。
如圖7所示，由于已經(jīng)拍攝了原始的拍攝圖像的車載攝像頭1-4的鏡頭 特性，從車載攝像頭1-4拍攝的圖像提取的顯示區(qū)域圖像已經(jīng)在鏡頭邊沿部 分減少了光量。因此，對(duì)應(yīng)于鏡頭邊沿部分的圖像部分的亮度值傾向于比對(duì) 應(yīng)與鏡頭中心部分的圖像部分的亮度值更小。鏡頭對(duì)應(yīng)校正單元13按照每個(gè)
車載攝像頭1-4的鏡頭的亮度曲線，為每個(gè)拍攝圖像校正對(duì)應(yīng)于鏡頭特性的 顯示區(qū)域圖像的亮度值的這種變化。例如，通過先前進(jìn)行的實(shí)驗(yàn)等等，測(cè)定
對(duì)應(yīng)于車載攝像頭1-4的鏡頭特性的顯示區(qū)域圖像的亮度值的變化。例如， 通過創(chuàng)建必要的校正量與每個(gè)像素到顯示區(qū)域圖像的鏡頭中心的距離相關(guān)的 映射表(map),存儲(chǔ)用于減小顯示區(qū)域圖像的亮度值的變化的校正量。因此， 通過使用所述映射表的筒單處理，鏡頭對(duì)應(yīng)校正單元13可以適當(dāng)?shù)匦Ｕ總€(gè) 顯示區(qū)域圖像的圖像數(shù)據(jù)。將帶有由鏡頭對(duì)應(yīng)校正單元13按照車載攝像頭 1-4的鏡頭特性而校正的亮度值的顯示區(qū)域圖像的圖像數(shù)據(jù)發(fā)送到AGC處理 單元14。如果在已經(jīng)被從車載攝像頭1-4的拍攝圖像中分別提取作為顯示區(qū) 域圖像的圖像部分中未發(fā)現(xiàn)按照車載攝像頭1-4的鏡頭特性的亮度值之間的 差，則可以省略鏡頭對(duì)應(yīng)4交正單元13的4吏正。
AGC處理單元14為已經(jīng)由鏡頭對(duì)應(yīng)校正單元13校正的顯示區(qū)域圖像執(zhí) 行自動(dòng)增益控制(AGC)處理。當(dāng)放大輸入信號(hào)時(shí)，AGC處理自動(dòng)地控制增 益，使得增益的輸出電平變?yōu)楹愣āGC處理單元14通過用于顯示區(qū)域圖 像的AGC處理，均衡化顯示區(qū)域圖像的亮度值。
傳統(tǒng)上，通過使用具有AGC功能的攝像頭，為整個(gè)拍攝圖像執(zhí)行AGC 處理。然而，攝像頭內(nèi)的AGC處理可能影響除了投影鄰近車輛的路面的圖像 部分用以產(chǎn)生下向顯示圖像的顯示區(qū)域圖像之外的背景部分。如果在車載攝 像頭1-4的拍攝圖像之間、拍攝的圖像中的背景部分的亮度值的差可被注意 到，則可能在用于產(chǎn)生下向顯示圖像的顯示區(qū)域圖像之間產(chǎn)生亮度值的大的 差。
具體地，在本實(shí)施例的下向圖^f象顯示系統(tǒng)中的用以產(chǎn)生下向顯示圖像的 顯示區(qū)域圖像是投影鄰近于車輛的路面的圖像部分，所述部分被包含在車載 攝像頭1-4的整個(gè)拍攝圖像中。由于顯示區(qū)域圖像投影共同對(duì)象，所以，拍 攝圖像的亮度值的差可能較小。然而，除了該圖像部分之外的背景部分可能 包含各種對(duì)象，并且由此具有各種亮度值，例如當(dāng)投影遠(yuǎn)處的天空時(shí)、或者 當(dāng)投影建筑物時(shí)。在很多情況下，可能在背景部分中發(fā)現(xiàn)亮度值之間的大的 差。歸因于此，如果從已針對(duì)整個(gè)拍攝圖像執(zhí)行了 AGC處理的拍攝圖像提取 投影路面的顯示區(qū)域圖像，則雖然顯示區(qū)域圖像并不具有大的亮度值差，但 由于AGC處理，也可能產(chǎn)生亮度值的大的差。如果簡(jiǎn)單地組合顯示區(qū)域圖像 以產(chǎn)生下向顯示圖像，則下向顯示圖像的連續(xù)性可能顯著降低。因此，在根據(jù)本實(shí)施例的下向圖像顯示系統(tǒng)中，在控制器10中提供AGC 處理單元14,并且，為從車載攝像頭1-4的拍攝圖像提取作為顯示區(qū)域圖像 的圖像部分執(zhí)行AGC處理。因此，在防止產(chǎn)生在顯示區(qū)域圖像之間的亮度值 之間的大的差的同時(shí)，顯示區(qū)域圖像的亮度值可被均衡化，由此，可靠地提 供下向顯示圖像的連續(xù)性。發(fā)送由AGC處理單元14執(zhí)行了 AGC處理的顯 示區(qū)域圖像的圖像數(shù)據(jù)給圖像間調(diào)節(jié)校正單元15。
圖像間調(diào)節(jié)校正單元(第二校正單元)15獲得重疊部分的平均亮度值的 差，其中，由四個(gè)車載攝像頭1-4的鄰近車載攝像頭拍攝的兩個(gè)拍攝圖像的 顯示區(qū)域圖像的部分重疊，并且，校正兩個(gè)顯示區(qū)域圖像中的至少一個(gè)的圖 像數(shù)據(jù)，以便減少平均亮度值之間的差。
具體地，從前攝像頭1拍攝的圖像提取的顯示區(qū)域圖像、以及從右側(cè)攝 像頭3拍攝的圖像提取的顯示區(qū)域圖像具有投影車輛的右前側(cè)的路面的重疊 部分。圖像間調(diào)節(jié)校正單元15計(jì)算在顯示區(qū)域圖像中的投影車輛的右前側(cè)的 路面的重疊部分的平均亮度值，其中所述顯示區(qū)域圖像已經(jīng)被從前攝像頭1 的拍攝圖像中提取，并且已經(jīng)具有由鏡頭對(duì)應(yīng)校正單元13執(zhí)行的校正、以及 由AGC處理單元14執(zhí)行的AGC處理，并且，計(jì)算在顯示區(qū)域圖像中的投 影車輛的右前側(cè)的路面的重疊部分的平均亮度值，所述顯示區(qū)域圖像已經(jīng)被 從右側(cè)攝像頭3的拍攝圖像提取，并且已經(jīng)由鏡頭對(duì)應(yīng)校正單元13執(zhí)行了校 正、并由AGC處理單元14凈丸行了 AGC處理。圖像間調(diào)節(jié)校正單元15獲得 兩個(gè)顯示區(qū)域圖像的重疊部分的平均亮度值之間的差。圖像間調(diào)節(jié)校正單元 15^f交正兩個(gè)顯示區(qū)域圖像中的至少一個(gè)的圖像彰:據(jù)，從而消除該差，即，兩 個(gè)顯示區(qū)域圖像中的重疊部分的平均亮度值充分地變?yōu)橄嗤?br> 再者，從前攝像頭1的拍攝圖像提取的顯示區(qū)域圖像和從左側(cè)攝像頭4 的拍攝圖像提取的顯示區(qū)域圖像具有投影車輛的左前側(cè)的路面的重疊部分。 因此，圖像間調(diào)節(jié)校正單元15對(duì)兩個(gè)顯示區(qū)域圖像執(zhí)行類似的處理，并且校 正兩個(gè)顯示區(qū)域圖像中的至少一個(gè)的圖像數(shù)據(jù)，使得顯示區(qū)域圖像中的重疊 部分的平均亮度值之間的差得以消除。
再者，從后攝像頭2的拍攝圖像提取的顯示區(qū)域圖像以及從右側(cè)攝像頭 3拍攝的圖像提取的顯示區(qū)域圖像具有投影車輛的右后側(cè)路面的重疊部分。 因此，圖像間調(diào)節(jié)校正單元15對(duì)兩個(gè)顯示區(qū)域圖像執(zhí)行類似的處理，并且校 正兩個(gè)顯示區(qū)域圖像中的至少一個(gè)的圖像數(shù)據(jù)，使得顯示區(qū)域圖像中的重疊
部分的平均亮度值之間的差得以消除。
再者，從后攝像頭2的拍攝圖像提取的顯示區(qū)域圖像以及從左側(cè)攝像頭 4拍攝的圖像提取的顯示區(qū)域圖像具有投影車輛的左后側(cè)路面的重疊部分。 因此，圖像間調(diào)節(jié)校正單元15對(duì)兩個(gè)顯示區(qū)域圖像執(zhí)行類似的處理，并且校 正兩個(gè)顯示區(qū)域圖像的至少一個(gè)的圖像數(shù)據(jù)，使得在顯示區(qū)域圖像中的重疊 部分的平均亮度值之間的差得以消除。
如果執(zhí)行了 AGC處理的鄰近的顯示區(qū)域圖像之間的亮度值的差異是充 分可忽略的，則可以不在兩個(gè)顯示區(qū)域圖像之間執(zhí)行圖像間調(diào)節(jié)校正單元15 的校正。
在顯示區(qū)域圖像提取單元12、鏡頭對(duì)應(yīng)校正單元13、 AGC處理單元14 以及圖像間調(diào)節(jié)校正單元15的處理之后，顯示圖像產(chǎn)生單元16將顯示區(qū)域 圖像轉(zhuǎn)換為從位于車輛上的虛擬視點(diǎn)向下觀看的下向圖像，并且組合轉(zhuǎn)換后 的下向圖像，以產(chǎn)生單個(gè)連續(xù)的下向顯示圖像。此處，根據(jù)安裝位置、安裝 角度以及車載攝像頭l-4的鏡頭特性，唯一確定車載攝像頭l-4拍攝的圖像和 下向圖像之間的關(guān)系。因此，將從車載攝像頭1-4的拍攝圖像提取的顯示區(qū) 域圖像轉(zhuǎn)換為下向圖像的操作可以僅通過使用轉(zhuǎn)換映射表等等在存儲(chǔ)器中轉(zhuǎn) 換坐標(biāo)而實(shí)現(xiàn)。
由顯示圖像產(chǎn)生單元16產(chǎn)生的下向顯示圖像的圖像數(shù)據(jù)被存儲(chǔ)在輸出 幀存儲(chǔ)器17中，并且按照幀輸出給顯示器5。相應(yīng)地，例如，如圖3所示， 在顯示器5上，示出車輛周圍的路面的下向顯示圖像是從車輛的上面向下觀 察的。
圖8是示出這樣的處理的流程圖，該處理涉及在根據(jù)圖1的下向圖像 顯示系統(tǒng)中，每當(dāng)4個(gè)車載攝像頭1-4的拍攝圖像分別被累積在控制器10的 輸入幀存儲(chǔ)器lla-lld中時(shí)，由控制器IO執(zhí)行的下向顯示圖像的產(chǎn)生。
當(dāng)4個(gè)車載攝像頭1-4拍攝的圖像的圖像數(shù)據(jù)已經(jīng)分別被累積在控制器 10的存儲(chǔ)器11a-lld中時(shí)，在步驟S1，顯示區(qū)域圖像校正單元12輸出指令 信號(hào)給輸入幀存儲(chǔ)器lla-lld,以便提取投影鄰近已經(jīng)拍攝了圖像的車載攝像 頭1-4的部分區(qū)域的圖像部分。即，分別從整個(gè)拍攝圖像中提取投影鄰近車 輛的路面的圖像部分作為顯示區(qū)域圖像。
在步驟S2，鏡頭對(duì)應(yīng)校正單元13校正顯示區(qū)域圖像的圖像數(shù)據(jù)，以便 減少對(duì)應(yīng)于車載攝像頭的鏡頭末端部分的圖像部分的亮度值與在步驟1中從 車載攝像頭1-4的拍攝圖像提取的顯示區(qū)域圖像的對(duì)應(yīng)于鏡頭中心部分的圖
像部分的亮度值之間的差。
在步驟S3，根據(jù)在步驟S2中的車載攝像頭的鏡頭特性，AGC處理單元 14執(zhí)行AGC處理，以為在步驟S2中校正的顯示區(qū)域圖像均衡化圖像的亮度 值。
在步驟S4中，圖像間調(diào)節(jié)校正單元15校正鄰近的兩個(gè)顯示區(qū)域圖像的 至少一個(gè)的圖像數(shù)據(jù)，以消除在步驟S3中執(zhí)行了 AGC處理的兩個(gè)顯示區(qū)域 圖像中的重疊部分的平均亮度值之間的差。
在步驟S5中，顯示圖像產(chǎn)生單元16通過已知的視點(diǎn)轉(zhuǎn)換技術(shù)轉(zhuǎn)換顯示 區(qū)域圖像為下向圖像，并且組合顯示區(qū)域圖像，以產(chǎn)生要被顯示在顯示器5 上的下向顯示圖像。
在根據(jù)本實(shí)施例的下向圖像顯示系統(tǒng)中，每當(dāng)四個(gè)車載攝像頭的拍攝圖 像的圖像數(shù)據(jù)分別被累積在輸入幀存儲(chǔ)器11a-lld中時(shí)，控制器10重復(fù)上述 步驟S1到S5的處理。相應(yīng)地，可以產(chǎn)生在整個(gè)圖^f象中沒有間斷的滿意的下 向顯示圖像。
如上所述，控制器IO分別從車載攝像頭1-4的整個(gè)拍攝圖像提取投影鄰 近車輛的路面、并用以產(chǎn)生作為顯示區(qū)域圖像的下向顯示圖像的圖像部分， 并且對(duì)顯示區(qū)域圖像執(zhí)行AGC處理，以便均衡化顯示圖像的亮度值的差異。 相應(yīng)地，利用下向圖像顯示系統(tǒng)，可以均衡化顯示區(qū)域圖像的亮度值，同時(shí) 防止顯示區(qū)域圖像的亮度值之間的大的差異。因此，可以可靠地提供下向顯 示圖像的連續(xù)性，并且，可以在顯示器5上顯示在整個(gè)圖像中無(wú)不適的中斷 的滿意的下向顯示圖像。
在下向圖像顯示系統(tǒng)中，在對(duì)從車載攝像頭1-4的拍攝圖像提取的顯示 區(qū)域圖像執(zhí)行AGC處理之前，控制器10執(zhí)行校正，以便減少對(duì)應(yīng)于車載攝 像頭的鏡頭末端部分的每個(gè)顯示區(qū)域圖像的圖像部分的亮度值與對(duì)應(yīng)于鏡頭 中心部分的圖像部分的亮度值之間的差。相應(yīng)地，可以在顯示器5上顯示不 帶有間斷的滿意的下向顯示圖像。
在下向圖像顯示系統(tǒng)中，在對(duì)從車載攝像頭1-4拍攝的圖像提取的顯示 區(qū)域圖像執(zhí)行AGC處理之后，控制器IO校正兩個(gè)顯示區(qū)域圖像的至少一個(gè) 的圖像數(shù)據(jù)，以消除在兩個(gè)顯示區(qū)域圖像中的重疊部分的平均亮度值之間的 差。相應(yīng)地，可以在顯示器5上顯示具有連續(xù)性的滿意的下向顯示圖像。
在上述實(shí)施例中，當(dāng)在顯示器5上顯示下向顯示圖l象時(shí)，轉(zhuǎn)換一見點(diǎn)并非 必須要被轉(zhuǎn)換為下向圖像。在沒有視點(diǎn)轉(zhuǎn)換的情況下，依然可以獲得相似的 優(yōu)點(diǎn)。
因此，為了允許容易地理解本發(fā)明，上述實(shí)施例已經(jīng)做了描述，但其并 不限制本發(fā)明。相反，本發(fā)明的目的在于涵蓋包括在所附權(quán)利要求的范圍中 的各種各樣的修改和等價(jià)的安排，其范圍與最寬泛的解釋相一致，以包括在 法律的允許下的所有的修改和等價(jià)結(jié)構(gòu)。
權(quán)利要求
1、一種用于車輛的圖像處理系統(tǒng)，所述車輛包括指向所述車輛周圍的不同預(yù)定區(qū)域以便提供所拍攝的預(yù)定區(qū)域的圖像的多個(gè)圖像獲取裝置、以及顯示單元，所述圖像處理系統(tǒng)包括提取單元，其被配置為從所拍攝的圖像提取主題區(qū)域，其中，所述主題區(qū)域?qū)?yīng)于鄰近所述圖像獲取裝置的預(yù)定區(qū)域的部分區(qū)域；圖像處理單元，其包括亮度控制單元，所述亮度控制單元被配置為均衡化主題區(qū)域的亮度值，以提供處理后的圖像；顯示圖像產(chǎn)生單元，其被配置為組合處理后的圖像，以產(chǎn)生顯示圖像。
2、 如權(quán)利要求1所述的圖像處理系統(tǒng)，其中，所述顯示圖像產(chǎn)生單元 被配置為將處理后的圖像轉(zhuǎn)換為與從位于車輛之上的虛擬視點(diǎn)的下向視圖 相對(duì)應(yīng)的下向圖像，并組合所述下向圖像。
3、 如權(quán)利要求1所述的圖像處理系統(tǒng)，還包括多個(gè)圖像獲取裝置，所述多個(gè)圖像獲取裝置中的每個(gè)具有圖像獲取元 件、以及被置于所述圖像獲取元件前面的鏡頭；并且，其中，所述圖像處理單元包括被配置為根據(jù)對(duì)應(yīng)鏡頭的亮度曲線而對(duì)每 個(gè)主題區(qū)域執(zhí)行第 一 圖像校正的第 一校正單元。
4、 如權(quán)利要求3所述的圖像處理系統(tǒng)，其中，第一校正單元被配置為 減小與對(duì)應(yīng)鏡頭的鏡頭中心部分相對(duì)應(yīng)的部分主題區(qū)域的亮度值、以及與對(duì) 應(yīng)鏡頭的鏡頭邊沿部分相對(duì)應(yīng)的部分主題區(qū)域的亮度值之間的差。
5、 如權(quán)利要求1所述的圖像處理系統(tǒng)，其中，來(lái)自由鄰近的圖像獲取 裝置提供的所拍攝的圖像的主題區(qū)域?qū)Χx重疊部分；并且所述圖像處理單元包括第二校正單元，第二校正單元被配置為在均衡化 亮度值之后，檢測(cè)在兩個(gè)主題區(qū)域中的重疊部分的平均亮度值之間的差，并 對(duì)所述兩個(gè)主題區(qū)域中的至少 一個(gè)執(zhí)行第二圖像校正，以減少平均亮度值之 間的差。
6、 如權(quán)利要求1所述的圖像處理系統(tǒng)，其中，所述亮度控制單元被配 置為執(zhí)行自動(dòng)增益控制處理。
7、 一種用于車輛的圖像處理系統(tǒng)，所述車輛包括指向所述車輛周圍的 不同預(yù)定區(qū)域以便提供所拍攝的預(yù)定區(qū)域的圖像的多個(gè)圖像獲取裝置、以及顯示單元，所述圖像處理系統(tǒng)包括用于從所拍攝的圖像提取主題區(qū)域的部件，其中，所述主題區(qū)域?qū)?yīng)于 鄰近車輛的預(yù)定區(qū)域的部分區(qū)域；用于均衡化主題區(qū)域的亮度值以提供處理后的圖像的部件；用于根據(jù)處理后的圖像產(chǎn)生顯示圖像的部件。
8、 一種用于車輛的圖^f象處理方法，所述車輛包括指向所述車輛周圍的 不同預(yù)定區(qū)域以便提供所拍攝的預(yù)定區(qū)域的圖像的多個(gè)圖像獲取裝置、以及 顯示單元，所述方法包括從由圖像獲取裝置提供的所拍攝的圖像中提取接近所述多個(gè)圖像獲取 裝置的主題區(qū)域的主題區(qū)域圖像；均衡化主題區(qū)域圖像的亮度值，以提供處理后的圖像；以及 組合處理后的圖像，以產(chǎn)生復(fù)合圖像。
9、 如權(quán)利要求8所述的圖像處理方法，還包括在組合所述處理后的圖l象之前，將處理后的圖像轉(zhuǎn)換為從位于車輛之上 的虛擬視點(diǎn)的下向視圖。
10、 如權(quán)利要求8所述的圖像處理方法，還包括根據(jù)相應(yīng)的圖像獲取裝置的鏡頭的亮度曲線，校正每個(gè)主題區(qū)域圖像的 亮度值。
11、 如權(quán)利要求8所述的圖像處理方法，還包括減小與相應(yīng)的圖像獲取裝置的鏡頭的鏡頭中心部分相對(duì)應(yīng)的每個(gè)主題 區(qū)域圖像的一部分的亮度值、以及與相應(yīng)的圖像獲取裝置的鏡頭的鏡頭邊沿 部分相對(duì)應(yīng)的主題區(qū)域圖像的一部分的亮度值之間的差。
12、 如權(quán)利要求8所述的圖像處理方法，還包括在均衡化亮度值之后，檢測(cè)來(lái)自由鄰近的圖像獲取裝置提供的所拍攝的 圖像的主題區(qū)域圖像對(duì)的重疊部分的平均亮度值之間的差；以及校正所述主題區(qū)域圖像中的至少一個(gè)的亮度值，以減小重疊部分的平均 亮度值之間的差。
13、 如權(quán)利要求8所述的圖像處理方法，還包括對(duì)所述主題區(qū)域圖像執(zhí)行自動(dòng)增益控制處理，以提供處理后的圖像。
全文摘要
一種用于車輛的圖像處理系統(tǒng)，所述車輛包括指向所述車輛周圍的不同預(yù)定區(qū)域以便提供所拍攝的預(yù)定區(qū)域的圖像的多個(gè)圖像獲取裝置、以及顯示單元。從所拍攝的圖像提取主題區(qū)域，其中，所述主題區(qū)域?qū)?yīng)于鄰近所述圖像獲取裝置的預(yù)定區(qū)域的部分區(qū)域。均衡化主題區(qū)域的亮度值，以提供處理后的圖像，并且，組合處理后的圖像，以產(chǎn)生顯示圖像。
文檔編號(hào)B60R1/00GK101340566SQ200810131959
公開日2009年1月7日 申請(qǐng)日期2008年7月2日 優(yōu)先權(quán)日2007年7月2日
發(fā)明者大谷莊太郎, 菅原大輔, 酒井和彥, 金岡晃廣 申請(qǐng)人:日產(chǎn)自動(dòng)車株式會(huì)社