獲取高動態(tài)圖像的方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提出了一種獲取高動態(tài)圖像的方法及系統(tǒng)。其中，該系統(tǒng)包括雙目攝像機(jī)和計算機(jī)，所述雙目攝像機(jī)包括同向緊挨設(shè)置的長曝光攝像頭、短曝光攝像頭，長曝光攝像頭和短曝光攝像頭通過數(shù)據(jù)線與計算機(jī)連接。長曝光攝像頭以長曝光快門時間獲取長曝光道路場景圖像；短曝光攝像頭以短曝光快門時間獲取短曝光道路場景圖像；計算機(jī)獲取第n幀長曝光道路場景圖像以及第m幀短曝光道路場景圖像，并基于對第n幀長曝光道路場景圖像以及第m幀短曝光道路場景圖像的處理獲得高動態(tài)圖像。本發(fā)明的方法及系統(tǒng)由于采用雙目攝像機(jī)分別同時獲取不同曝光圖像，縮短高動態(tài)圖像的曝光時間長度，因此能夠降低由攝像機(jī)的運(yùn)動而導(dǎo)致的運(yùn)動模糊。
【專利說明】獲取高動態(tài)圖像的方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理領(lǐng)域，特別涉及車載運(yùn)動場景下由雙目攝像機(jī)實現(xiàn)的獲取高動態(tài)圖像的方法及系統(tǒng)。
【背景技術(shù)】
[0002]有些場景中某些區(qū)域的亮度差異較大，有些區(qū)域較亮，而另一部分區(qū)域則較暗，攝像機(jī)在普通曝光拍攝這個場景時，無法同時獲取那些區(qū)域的紋理信息，解決辦法是使用高動態(tài)技術(shù)來控制攝像機(jī)的拍攝方式，使用動態(tài)非線性方式來記錄環(huán)境中額亮度信息，使所拍攝圖像包含更廣闊的亮度信息，這就是高動態(tài)圖像。
[0003]目前，一般是利用單個攝像機(jī)在時間上先后進(jìn)行長曝光和短曝光而分別獲取長曝光道路場景圖像和短曝光道路場景圖像，再將所獲得的長曝光道路場景圖像與短曝光道路場景圖像進(jìn)行合成來獲取高動態(tài)圖像。
[0004]現(xiàn)有的使用單個攝像機(jī)在時間序列上變換曝光來獲取高動態(tài)圖像的方法，由于是通過感光像素陣列進(jìn)行時間上的長、短積分時間復(fù)位和讀出來實現(xiàn)的，即分別進(jìn)行長曝光時間和短曝光時間。那么，合成一張高動態(tài)圖像的曝光時應(yīng)為長曝光時間與短曝光時間之和，總的曝光時間過長，該單個攝像機(jī)的運(yùn)動易產(chǎn)生運(yùn)動模糊。
[0005]此外，現(xiàn)有的使用單個攝像機(jī)所采用的圖像融合技術(shù)主要為區(qū)域的像素融合，容易造成合成圖像的光流不平滑，不自然；對合成圖像的后續(xù)處理技術(shù)較少，不能適合不同亮度的環(huán)境；運(yùn)動補(bǔ)償技術(shù)未考慮空間位置信息，不能進(jìn)行較大位置變換的運(yùn)動補(bǔ)償。

【發(fā)明內(nèi)容】

[0006]為了克服以上由單個攝像機(jī)在曝光時長引起的運(yùn)動模糊的缺陷，本發(fā)明提出了一種可用于車載雙目攝像機(jī)獲取高動態(tài)圖像的方法及系統(tǒng)，特別是可適用于車載運(yùn)動場景下雙目攝像機(jī)獲取高動態(tài)圖像的方法及系統(tǒng)。這里所述的雙目攝像機(jī)可以由兩個獨(dú)立攝像機(jī)(其中兩個獨(dú)立攝像機(jī)分別具有長曝光攝像頭和短曝光攝像頭)組成，或者是一體式雙目攝像機(jī)(同時具有長曝光攝像頭和短曝光攝像頭)。
[0007]—方面，本發(fā)明提出了一種雙目攝像機(jī)獲取高動態(tài)圖像的方法，包括:獲取第η幀長曝光道路場景圖像和第m幀短曝光道路場景圖像，其中所述第η幀長曝光道路場景圖像由曝光快門時間為h的長曝光攝像頭拍攝，所述第m幀短曝光道路場景圖像由曝光快門時間為ts的短曝光攝像頭拍攝，所述長曝光攝像頭與所述短曝光攝像頭同向緊挨設(shè)置，其中πι=[η*ν\]，η大于或等于l，m大于或等于I ;分別將所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像消除靜態(tài)合成誤差，以獲得第η幀有效長曝光道路場景圖像和第m幀有效短曝光道路場景圖像；依據(jù)權(quán)重W，合成所述第η幀有效長曝光道路場景圖像和所述第m幀有效短曝光道路場景圖像，以生成第η幀合成圖像；對所述第η幀合成圖像進(jìn)行直方圖均衡化處理，并獲得第η幀高動態(tài)圖像。
[0008]進(jìn)一步地，所述分別將所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像消除靜態(tài)合成誤差，包括:對所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像分別進(jìn)行雙目校正，并裁切出有效像素區(qū)域，作為第η幀有效長曝光像素區(qū)域和第m幀有效短曝光像素區(qū)域；根據(jù)所述第η幀有效長曝光像素區(qū)域和所述第m幀有效短曝光像素區(qū)域計算出道路的V視差圖像，對所述第η幀有效長曝光像素區(qū)域或所述第m幀有效短曝光像素區(qū)域進(jìn)行線性切向變形，從而獲得第η幀有效長曝光道路場景圖像或第m幀有效短曝光道路場景圖像，其中變形后的所述第η幀有效長曝光像素區(qū)域或所述第m幀有效短曝光像素區(qū)域的邊緣斜率為所述V視差圖像中所述道路平面的直線斜率。
[0009]進(jìn)一步地，當(dāng)η*ν\為非整數(shù)時，在所述分別將所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像消除靜態(tài)合成誤差之后，還包括:對所述第m幀有效短曝光道路場景圖像進(jìn)行運(yùn)動補(bǔ)償，以消除所述第η幀有效長曝光道路場景圖像和所述第m幀有效短曝光道路場景圖像之間的動態(tài)合成誤差。
[0010]進(jìn)一步地，所述對所述第m幀有效短曝光道路場景圖像進(jìn)行運(yùn)動補(bǔ)償，包括:根據(jù)所述第η幀長曝光道路場景圖像與所述第m幀短曝光道路場景圖像拍攝的時間間隔At、汽車前向速度V和橫擺角速度w，運(yùn)用車輛運(yùn)動學(xué)公式將所述第m幀有效短曝光道路場景圖像移至Λ t后時刻所對應(yīng)的位置，再進(jìn)行逆透射變換，得到運(yùn)動補(bǔ)償后的第m幀有效短曝光道路場景圖像。
[0011]進(jìn)一步地，依據(jù)第η幀長曝光道路場景圖像、第m幀短曝光道路場景圖像及第η幀合成圖像的直方圖，調(diào)整^ ts和W，其中當(dāng)η為I時，ts和W分別為其初始值。
[0012]第二方面，本發(fā)明提出了一種獲取高動態(tài)圖像的系統(tǒng)，包括:雙目攝像機(jī)和計算機(jī)，所述雙目攝像機(jī) 包括同向緊挨設(shè)置的長曝光攝像頭和短曝光攝像頭，所述長曝光攝像頭和所述短曝光攝像頭通過數(shù)據(jù)線與所述計算機(jī)連接，其中所述長曝光攝像頭和所述短曝光攝像頭并排緊挨放置，其光軸近似平行且采樣頻率相同；所述長曝光攝像頭以曝光快門時間L獲取長曝光道路場景圖像；所述短曝光攝像頭以曝光快門時間ts獲取短曝光道路場景圖像；所述計算機(jī)獲取第η幀長曝光道路場景圖像以及第m幀短曝光道路場景圖像，并基于對所述第η幀長曝光道路場景圖像以及所述第m幀短曝光道路場景圖像的處理獲得高動態(tài)圖像，其中,η大于或等于I, m大于或等于I。
[0013]進(jìn)一步地，所述計算機(jī)基于對所述第η幀長曝光道路場景圖像以及所述第m幀短曝光道路場景圖像的處理獲得高動態(tài)圖像，包括:所述計算機(jī)對所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像分別進(jìn)行雙目校正，并裁切出有效像素區(qū)域，作為第η幀有效長曝光像素區(qū)域和第m幀有效短曝光像素區(qū)域；所述計算機(jī)根據(jù)第η幀有效長曝光像素區(qū)域和第m幀有效短曝光像素區(qū)域計算出道路的V視差圖像，對所述第η幀有效長曝光像素區(qū)域或所述第m幀有效短曝光像素區(qū)域進(jìn)行線性切向變形，從而獲得第η幀有效長曝光道路場景圖像和第m幀有效短曝光道路場景圖像，其中變形后的所述第η幀有效長曝光像素區(qū)域或所述第m幀有效短曝光像素區(qū)域的邊緣斜率為所述V視差圖像中所述道路平面的直線斜率；所述計算機(jī)依據(jù)權(quán)重W，合成所述第η幀有效長曝光道路場景圖像和所述第m幀有效短曝光道路場景圖像，以生成第η幀合成圖像；所述計算機(jī)對所述第η幀合成圖像進(jìn)行直方圖均衡化處理，并獲得第η幀高動態(tài)圖像。
[0014]進(jìn)一步地，當(dāng)I^t1As為非整數(shù)時，所述計算機(jī)對所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像分別進(jìn)行雙目校正，并裁切出有效像素區(qū)域，作為第η幀有效長曝光像素區(qū)域和第m幀有效短曝光像素區(qū)域；所述計算機(jī)根據(jù)第η幀有效長曝光像素區(qū)域和第m幀有效短曝光像素區(qū)域計算出道路的V視差圖像，對所述第η幀有效長曝光像素區(qū)域或所述第m幀有效短曝光像素區(qū)域進(jìn)行線性切向變形，從而獲得第η幀有效長曝光道路場景圖像或第m幀有效短曝光道路場景圖像，其中變形后的所述第η幀有效長曝光像素區(qū)域或所述第m幀有效短曝光像素區(qū)域的邊緣斜率為所述V視差圖像中所述道路平面的直線斜率；所述計算機(jī)根據(jù)所述第η幀長曝光道路場景圖像與所述第m幀短曝光道路場景圖像拍攝的時間間隔Λ t、汽車前向速度V和橫擺角速度W，運(yùn)用車輛運(yùn)動學(xué)公式將所述第m幀有效短曝光道路場景圖像移至Λ t后時刻所對應(yīng)的位置，再進(jìn)行逆透射變換，得到運(yùn)動補(bǔ)償后的第m幀有效短曝光道路場景圖像；所述計算機(jī)依據(jù)權(quán)重W，合成所述第η幀有效長曝光道路場景圖像和所述第m幀有效短曝光道路場景圖像，以生成第η幀合成圖像；所述計算機(jī)對所述第η幀合成圖像進(jìn)行直方圖均衡化處理，并獲得第η幀高動態(tài)圖像。
[0015]進(jìn)一步地，所述計算機(jī)對所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像分別進(jìn)行雙目校正，包括:所述計算機(jī)利用所述長曝光攝像頭和所述短曝光攝像頭在標(biāo)定坐標(biāo)中的內(nèi)參數(shù)矩陣、外參數(shù)矩陣、畸變矩陣和旋轉(zhuǎn)矩陣對所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像進(jìn)行去畸變及校正。
[0016]進(jìn)一步地，在獲取所述第η幀高動態(tài)圖像之后，所述計算機(jī)依據(jù)第η幀長曝光道路場景圖像、第m幀短曝光道路場景圖像及第η幀合成圖像的直方圖，調(diào)整I1Us和W，并將調(diào)整后的h和ts分別提供給所述長曝光攝像頭和所述短曝光攝像頭；其中當(dāng)η為I時，&、ts和W分別為其初始值。
[0017]第三方面，本發(fā)明提出了一種獲取高動態(tài)圖像的裝置，包括:獲取單元、校正單元、合成單元和均衡化處理單元。其中，獲取單元用于獲取第η幀長曝光道路場景圖像和第m幀短曝光道路場景圖像，其中所述第η幀長曝光道路場景圖像由曝光快門時間為h的長曝光攝像頭拍攝，所述第m幀短曝光道路場景圖像由曝光快門時間為ts的短曝光攝像頭拍攝，所述長曝光攝像頭與所述短曝光攝像頭同向緊挨設(shè)置，其中η大于或等于1，m大于或等于I ;校正單元用于分別將所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像消除靜態(tài)合成誤差，以獲得第η幀有效長曝光道路場景圖像和第m幀有效短曝光道路場景圖像；合成單元用于依據(jù)權(quán)重W，合成所述第η幀有效長曝光道路場景圖像和所述第m幀有效短曝光道路場景圖像，以生成第η幀合成圖像；均衡化處理單元用于對所述第η幀合成圖像進(jìn)行直方圖均衡化處理，并獲得第η幀高動態(tài)圖像。
[0018]此外，本發(fā)明的裝置還可以包括:運(yùn)動補(bǔ)償單元，用于當(dāng)I^t1As為非整數(shù)時，在所述合成單元進(jìn)行合成圖像之前，對所述第m幀有效短曝光道路場景圖像進(jìn)行運(yùn)動補(bǔ)償，以消除所述第η幀有效長曝光道路場景圖像和所述第m幀有效短曝光道路場景圖像之間的動態(tài)合成誤差。
[0019]進(jìn)一步地，本發(fā)明的裝置還可以包括:調(diào)整單元，依據(jù)第η幀長曝光道路場景圖像、第m幀短曝光道路場景圖像及其合成圖像的直方圖，調(diào)整&、％和W，并將調(diào)整后的&和ts提供給長曝光攝像頭和短曝光攝像頭。同樣地，當(dāng)η為I時，、、^和胃可以分別為其初始值。 [0020]第四方面，本發(fā)明提出了一種獲取高動態(tài)圖像的系統(tǒng)，包括:雙目攝像機(jī)和如第三方面及其各實施方式中的獲取高動態(tài)圖像的裝置，所述雙目攝像機(jī)包括同向緊挨設(shè)置的長曝光攝像頭和短曝光攝像頭，所述長曝光攝像頭和所述短曝光攝像頭通過數(shù)據(jù)線與所述裝置連接，其中所述長曝光攝像頭和所述短曝光攝像頭并排緊挨放置，其光軸近似平行且采樣頻率相同；所述長曝光攝像頭以曝光快門時間h獲取長曝光道路場景圖像；所述短曝光攝像頭以曝光快門時間ts獲取短曝光道路場景圖像；所述裝置獲取第η幀長曝光道路場景圖像以及第m幀短曝光道路場景圖像，并基于對所述第η幀長曝光道路場景圖像以及所述第m幀短曝光道路場景圖像的處理獲得高動態(tài)圖像，其中η大于或等于1，m大于或等于I。
[0021]進(jìn)一步地，獲取高動態(tài)圖像的裝置包括:獲取單元、校正單元、合成單元和均衡化處理單元；還可以包括:運(yùn)動補(bǔ)償單元和/或調(diào)整單元。其中:
[0022]獲取單元用于獲取第η幀長曝光道路場景圖像和第m幀短曝光道路場景圖像，其中所述第η幀長曝光道路場景圖像由曝光快門時間為tl的長曝光攝像頭拍攝，所述第m幀短曝光道路場景圖像由曝光快門時間為ts的短曝光攝像頭拍攝，所述長曝光攝像頭與所述短曝光攝像頭同向緊挨設(shè)置，其中，η大于或等于1，m大于或等于I ;
[0023]校正單元用于分別將所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像消除靜態(tài)合成誤差，以獲得第η幀有效長曝光道路場景圖像和第m幀有效短曝光道路場景圖像；
[0024]合成單元用于依據(jù)權(quán)重W，合成所述第η幀有效長曝光道路場景圖像和所述第m幀有效短曝光道路場景圖像，以生成第η幀合成圖像；
[0025]均衡化處理單 元用于對所述第η幀合成圖像進(jìn)行直方圖均衡化處理，并獲得第η中貞聞動態(tài)圖像；
[0026]運(yùn)動補(bǔ)償單元用于當(dāng)I^t1As為非整數(shù)時，在所述合成單元進(jìn)行合成圖像之前，對所述第m幀有效短曝光道路場景圖像進(jìn)行運(yùn)動補(bǔ)償，以消除所述第η幀有效長曝光道路場景圖像和所述第m幀有效短曝光道路場景圖像之間的動態(tài)合成誤差；
[0027]調(diào)整單元依據(jù)第η幀長曝光道路場景圖像、第m幀短曝光道路場景圖像及其合成圖像的直方圖，調(diào)整tptjPW，并將調(diào)整后的&和ts提供給長曝光攝像頭和短曝光攝像頭。同樣地，當(dāng)η為I時，tpts和W可以分別為其初始值。
[0028]由此可見，本發(fā)明采用多線程異步拍攝圖像，以最長曝光時間內(nèi)各攝像頭最后拍攝的圖像作為計算機(jī)的輸入圖像，從而可以減少拍攝時間間隔。
[0029]此外，本發(fā)明的方法及系統(tǒng)在圖層級上合成圖像，能夠提高合成圖像的光流平滑性；并且，圖像合成后通過映射曲線進(jìn)行直方圖均衡化調(diào)整，提高合成圖像對環(huán)境亮度的適應(yīng)性。
[0030]進(jìn)一步地，本發(fā)明的方法和系統(tǒng)還可以加入具有道路空間位置信息的運(yùn)動補(bǔ)償，從而減少圖像的合成誤差。
【專利附圖】

【附圖說明】
[0031]為了更清楚地說明本發(fā)明實施例的技術(shù)方案，下面將對本發(fā)明實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面所描述的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。[0032]圖1示出了根據(jù)本發(fā)明的獲取高動態(tài)圖像的系統(tǒng)的結(jié)構(gòu)示意圖。
[0033]圖2示出了根據(jù)本發(fā)明的獲取高動態(tài)圖像的方法的流程圖。
[0034]圖3示出了根據(jù)本發(fā)明的獲取高動態(tài)圖像的裝置的結(jié)構(gòu)示意圖。
[0035]圖4示出了根據(jù)本發(fā)明具體實施例的獲取高動態(tài)圖像的方法的流程圖。
[0036]圖5a和圖5b為本發(fā)明具體實施例的使用V視差圖像消除合成誤差的視圖。
[0037]圖6示出了本發(fā)明具體實施例中所使用的透射變換示意圖。
[0038]圖7示出了本發(fā)明具體實施例所使用的車輛運(yùn)動學(xué)彌補(bǔ)示意圖。
[0039]圖8a示出了本發(fā)明具體實施例的直方圖分析示意圖，圖8b、圖8c、圖8d分別為圖8a所示直方圖分析示意圖中的相應(yīng)的合成圖像直方圖，短曝光道路場景圖像直方圖，長曝光道路場景圖像直方圖。
【具體實施方式】
[0040]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明的一部分實施例，而不是全部實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都應(yīng)屬于本發(fā)明保護(hù)的范圍。
[0041]根據(jù)本發(fā)明的獲取高動態(tài)圖像的系統(tǒng)包括計算機(jī)(例如，可以是滿足車載振動環(huán)境條件要求的車載計算機(jī)或嵌入式微計算機(jī))和雙目攝像機(jī)。該雙目攝像機(jī)通過數(shù)據(jù)線與該計算機(jī)進(jìn)行數(shù)據(jù)通訊。這里，雙目攝像機(jī)可以由兩個單目攝像機(jī)組成。容易想到，所述雙目攝像機(jī)也可以是由兩個攝像機(jī)一體式形成的雙目攝像機(jī)。其中，雙目攝像機(jī)中的長曝光攝像頭和短曝光攝像頭須并排緊挨放置，且光軸近似平行，其結(jié)構(gòu)示意圖如圖1所示。在該系統(tǒng)中，該雙目攝像機(jī)優(yōu)選地具有同型號的曝光值可調(diào)整的電子攝像頭。
[0042]將雙目攝像機(jī)的兩個攝像頭并排緊挨放置在車輛上，攝像頭的光軸近似平行。其中，一個攝像頭負(fù)責(zé)獲取車輛所行駛的道路的長曝光圖像(以下稱“長曝光道路場景圖像”)，曝光快門時間為&，另一個攝像頭負(fù)責(zé)獲取道路的短曝光圖像(以下稱“短曝光道路場景圖像”)，曝光快門時間為ts。為了方便描述，稱獲取長曝光道路場景圖像的攝像頭為長曝光攝像頭，稱獲取短曝光道路場景圖像的攝像頭為短曝光攝像頭。
[0043]也就是說，根據(jù)本發(fā)明的獲取高動態(tài)圖像的系統(tǒng)包括雙目攝像機(jī)和計算機(jī)，該雙目攝像機(jī)包括長曝光攝像頭和短曝光攝像頭，該長曝光攝像頭和該短曝光攝像頭均通過數(shù)據(jù)線與該計算機(jī)連接，其中長曝光攝像頭以曝光快門時間h獲取長曝光道路場景圖像；短曝光攝像頭以曝光快門時間ts獲取短曝光道路場景圖像；計算機(jī)獲取第η幀長曝光道路場景圖像以及第m幀短曝光道路場景圖像，并基于對第η幀長曝光道路場景圖像以及第m幀短曝光道路場景圖像的處理獲得高動態(tài)圖像，其中η大于或等于1，m大于或等于I。
[0044]由此可見，本發(fā)明采用多線程異步拍攝圖像，以最長曝光時間內(nèi)各攝像頭最后拍攝的圖像作為計算機(jī)的輸入圖像，從而可以減少拍攝時間間隔。
[0045]如上所述，為了獲得高動態(tài)圖像，計算機(jī)可以對第η幀長曝光道路場景圖像以及第m幀短曝光道路場景圖像進(jìn)行合成及直方圖均衡化等處理。在對圖像進(jìn)行合成之前，需要消除兩幅圖像之間的合成誤差。例如，本發(fā)明中利用圖像雙目校正以及V視差圖像中的道路直線來指導(dǎo)線性切向變形，進(jìn)而分別消除不同攝像機(jī)間的靜態(tài)縱向合成誤差及靜態(tài)橫向合成誤差。
[0046]具體而言，計算機(jī)可以對所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像分別進(jìn)行雙目校正，并裁切出有效像素區(qū)域，作為第η幀有效長曝光像素區(qū)域和第m幀有效短曝光像素區(qū)域；然后，再根據(jù)第η幀有效長曝光像素區(qū)域和第m幀有效短曝光像素區(qū)域計算出道路的V視差圖像，對第η幀有效長曝光像素區(qū)域或第m幀有效短曝光像素區(qū)域進(jìn)行線性切向變形，從而獲得第η幀有效長曝光道路場景圖像或第m幀有效短曝光道路場景圖像，其中變形后的第η幀有效長曝光像素區(qū)域或變形后的第m幀有效短曝光像素區(qū)域的邊緣斜率為V視差圖像中道路平面的直線斜率。至此，長、短曝光道路場景圖像之間的靜態(tài)合成誤差被消除。
[0047]此外，為了獲取質(zhì)量更優(yōu)的高動態(tài)圖像，合成的圖像應(yīng)盡量同步。若合成的兩幅圖像在時間上不同步，則需要對其中的一幅圖像進(jìn)行運(yùn)動補(bǔ)償，以確保需要合成的兩幅圖像之間的同步性。本發(fā)明使用透射變換將攝像機(jī)獲取的圖像投影到道路平面，使用運(yùn)動學(xué)模型進(jìn)行位置轉(zhuǎn)換，再進(jìn)行逆透射變換回攝像機(jī)圖像，進(jìn)而消除不同時刻所拍攝的圖像間的動態(tài)合成誤差。
[0048]也就是說，當(dāng)I^t1As為非整數(shù)時，在分別將第η幀長曝光道路場景圖像和第m幀短曝光道路場景圖像消除靜態(tài)合成誤差之后，還可以對第m幀有效短曝光道路場景圖像進(jìn)行運(yùn)動補(bǔ)償，以消除第η幀有效長曝光道路場景圖像和第m幀有效短曝光道路場景圖像之間的動態(tài)合成誤差。
[0049]具體而言，計算機(jī)根據(jù)第η幀長曝光道路場景圖像與第m幀短曝光道路場景圖像拍攝的時間間隔Λ t、汽車前向速度V和橫擺角速度《，運(yùn)用車輛運(yùn)動學(xué)公式將第m幀有效短曝光道路場景圖像移至Λ t后時刻所對應(yīng)的位置，再進(jìn)行逆透射變換，得到運(yùn)動補(bǔ)償后的第m幀有效短曝光道路場景圖像。
[0050]由此，依據(jù)合成圖像是否同步，可以將計算機(jī)的實現(xiàn)的處理概況為以下兩個實施例。
[0051]在第一實施例中，計算機(jī)首先對第η幀長曝光道路場景圖像和第m幀短曝光道路場景圖像分別進(jìn)行雙目校正，并裁切出有效像素區(qū)域，作為第η幀有效長曝光像素區(qū)域和第m幀有效短曝光像素區(qū)域；接著，根據(jù)第η幀有效長曝光像素區(qū)域和第m幀有效短曝光像素區(qū)域計算出道路的V視差圖像，對第η幀有效長曝光像素區(qū)域或第m幀有效短曝光像素區(qū)域進(jìn)行線性切向變形，從而獲得第η幀長曝光道路場景圖像或第m幀短曝光道路場景圖像，其中變形后的第η幀有效長曝光像素區(qū)域或變形后的第m幀有效短曝光像素區(qū)域的邊緣斜率為所述V視差圖像中所述道路平面的直線斜率；然后，依據(jù)權(quán)重W，合成第η幀有效長曝光道路場景圖像和第m幀有效短曝光道路場景圖像，以生成第η幀合成圖像；最后，對第η幀合成圖像進(jìn) 行直方圖均衡化處理，并獲得第η幀高動態(tài)圖像。以上步驟適于當(dāng)I^t1/ts為整數(shù)的場合，即輸入計算機(jī)的第η幀長曝光道路場景圖像和第m幀短曝光道路場景圖像同步，因此無需進(jìn)行運(yùn)動補(bǔ)償。由此，本發(fā)明使用雙目校正和V視差圖像中的道路直線來指導(dǎo)線性切向變形，進(jìn)而消除不同攝像機(jī)間的靜態(tài)合成誤差。
[0052]在第二實施例中，當(dāng)I^t1As為非整數(shù)時，即輸入計算機(jī)的第η幀長曝光道路場景圖像和第m幀短曝光道路場景圖像存在拍攝時間間隔。于是，計算機(jī)首先對第η幀長曝光道路場景圖像和第m幀短曝光道路場景圖像分別進(jìn)行雙目校正，并裁切出有效像素區(qū)域，作為第η幀有效長曝光像素區(qū)域和第m幀有效短曝光像素區(qū)域；接著，根據(jù)第η幀有效長曝光像素區(qū)域和第m幀有效短曝光像素區(qū)域計算出道路的V視差圖像，對第η幀有效長曝光像素區(qū)域或第m幀有效短曝光像素區(qū)域進(jìn)行線性切向變形，從而獲得第η幀長曝光道路場景圖像或第m幀短曝光道路場景圖像，其中變形后的第η幀有效長曝光像素區(qū)域或變形后的第m幀有效短曝光像素區(qū)域的邊緣斜率為V視差圖像中道路平面的直線斜率；然后，根據(jù)第η幀長曝光道路場景圖像與第m幀短曝光道路場景圖像拍攝的時間間隔At、汽車前向速度V和橫擺角速度《，運(yùn)用車輛運(yùn)動學(xué)公式將第m幀有效短曝光道路場景圖像移至At后時刻所對應(yīng)的位置，再進(jìn)行逆透射變換，得到運(yùn)動補(bǔ)償后的第m幀有效短曝光道路場景圖像；進(jìn)一步地，依據(jù)權(quán)重W，合成第η幀有效長曝光道路場景圖像和m幀有效短曝光道路場景圖像，以生成第η幀合成圖像；最后，對第η幀合成圖像進(jìn)行直方圖均衡化處理，并獲得第η幀聞動態(tài)圖像。
[0053]以上，計算機(jī)通過利用長曝光攝像頭和短曝光攝像頭在標(biāo)定坐標(biāo)中的內(nèi)參數(shù)矩陣、外參數(shù)矩陣、畸變矩陣和旋轉(zhuǎn)矩陣對第η幀長曝光道路場景圖像和第m幀短曝光道路場景圖像進(jìn)行去畸變及校正，以實現(xiàn)對第η幀長曝光道路場景圖像和第m幀短曝光道路場景圖像分別進(jìn)行雙目校正。
[0054]由上可知，合成圖像是通過設(shè)定合成權(quán)值，以整幅圖像為單位進(jìn)行圖層級的合成，進(jìn)而使合成圖像的光流更加平滑自然。此外，本發(fā)明中需要對合成圖像進(jìn)行直方圖均衡化的灰度映射處理，從而提高輸出的合成圖像的清晰度。
[0055]合成圖像后，對長、短曝光道路場景圖像和合成圖像的各自的直方圖進(jìn)行分析，獲取主要灰度區(qū)域范圍。依據(jù)長、短曝光道路場景圖像兩直方圖中間無間隙原則、長、短曝光道路場景圖像兩直方圖距離兩端灰度范圍盡可能小原則、長、短曝光道路場景圖像兩直方圖寬度限定原則和經(jīng)驗公式對各攝像頭的曝光控制參數(shù)(曝光快門時間h和ts)和合成權(quán)值進(jìn)行反饋調(diào)節(jié)，進(jìn)而提高各攝像頭的環(huán)境適應(yīng)性。
[0056]這里所述的經(jīng)驗公式可通過如下方式得到:先進(jìn)行大量人工手動調(diào)節(jié)實驗，記錄人為調(diào)整的最佳效果的相關(guān)參數(shù)，對這些參數(shù)進(jìn)行統(tǒng)計記錄，再通過數(shù)據(jù)分析擬合，從而確定公式中的相關(guān)參數(shù)。圖像調(diào)整的最佳效果可通過三種方式確定:一是簡單的人為評價，即通過人眼直觀評價；二是量化評價，即使用相關(guān)的圖像評價參數(shù)(如峰值信噪比(PSNR，PeakSignal to Noise Ratio));三是前兩者評價方法結(jié)合。
[0057]具體而言，在獲取第η幀高動態(tài)圖像之后，計算機(jī)依據(jù)第η幀長曝光道路場景圖像、第m幀短曝光道路場景圖像及第η幀合成圖像的直方圖，調(diào)整I1Us和W，并將調(diào)整后的&和ts分別提供給長曝光攝像頭和短曝光攝像頭。接著，長曝光攝像頭和短曝光攝像頭則利用調(diào)整后的&和ts (例如，記為h’和ts’)進(jìn)行拍攝，以便將第(n+1)幀長曝光道路場景圖像以及第[(η+Ι)*、’ /t/ ]幀短曝光道路場景圖像提供給計算機(jī)。容易理解，當(dāng)η為I時，Vts和W可以分別為其設(shè)定的初始值。
[0058]綜上所述，本發(fā)明的系統(tǒng)由于采用雙目攝像機(jī)分別同時獲取不同曝光圖像，縮短高動態(tài)圖像的曝光時間長度，因此能夠降低由攝像機(jī)的運(yùn)動而導(dǎo)致的運(yùn)動模糊。
[0059]此外，本發(fā)明的系統(tǒng)在圖層級上合成圖像，能夠提高合成圖像的光流平滑性；并且，圖像合成后通過映射曲線進(jìn)行直方圖均衡化調(diào)整，提高合成圖像對環(huán)境亮度的適應(yīng)性。[0060]進(jìn)一步地，本發(fā)明的系統(tǒng)還可以加入具有道路空間位置信息的運(yùn)動補(bǔ)償，從而減少圖像的合成誤差。
[0061]下面，參考圖2，詳細(xì)描述根據(jù)本發(fā)明的獲取高動態(tài)圖像的方法的流程。
[0062]如圖2所示,獲取高動態(tài)圖像的方法包括以下步驟:
[0063]步驟21，獲取第η幀長曝光道路場景圖像和第m幀短曝光道路場景圖像，其中所述第η幀長曝光道路場景圖像由曝光快門時間為h的長曝光攝像頭拍攝，所述第m幀短曝光道路場景圖像由曝光快門時間為ts的短曝光攝像頭拍攝，所述長曝光攝像頭與所述短曝光攝像頭同向緊挨設(shè)置，其中，η大于或等于1，m大于或等于I ;
[0064]步驟22，分別將所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像消除靜態(tài)合成誤差，以獲得第η幀有效長曝光道路場景圖像和第m幀有效短曝光道路場景圖像；
[0065]步驟23，依據(jù)權(quán)重W，合成所述第η幀有效長曝光道路場景圖像和所述第m幀有效短曝光道路場景圖像，以生成第η幀合成圖像；
[0066]步驟24，對所述第η幀合成圖像進(jìn)行直方圖均衡化處理，并獲得第η幀高動態(tài)圖像。
[0067]由此可見，本發(fā)明的方法由于采用雙目攝像機(jī)分別同時獲取不同曝光圖像，縮短高動態(tài)圖像的曝光時間長度因此能夠降低由攝像機(jī)的運(yùn)動而導(dǎo)致的運(yùn)動模糊。
[0068]進(jìn)一步地，當(dāng)η*ν\為非整數(shù)時，在分別將所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像消除靜態(tài)合成誤差之后，本發(fā)明的方法還可以包括步驟25，即對所述第m幀有效短曝光道路場景圖像進(jìn)行運(yùn)動補(bǔ)償，以消除所述第η幀有效長曝光道路場景圖像和所述第m幀有效短曝光道路場景圖像之間的動態(tài)合成誤差。
[0069]具體而言，對所述第m幀有效短曝光道路場景圖像進(jìn)行運(yùn)動補(bǔ)償是指:根據(jù)所述第η幀長曝光道路場景圖像與所述第m幀短曝光道路場景圖像拍攝的時間間隔At、汽車前向速度V和橫擺角速度w，運(yùn)用車輛運(yùn)動學(xué)公式將所述第m幀有效短曝光道路場景圖像移至Δ t后時刻所對應(yīng)的位置，再進(jìn)行逆透射變換，得到運(yùn)動補(bǔ)償后的第m幀有效短曝光道路場景圖像。
[0070]進(jìn)一步地，在步驟22中，分別對所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像消除靜態(tài)合成誤差是指:分別對所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像消除靜態(tài)縱向合成誤差和靜態(tài)橫向合成誤差。
[0071]其中，消除靜態(tài)縱向合成誤差的步驟是:對所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像分別進(jìn)行雙目校正，并裁切出有效像素區(qū)域，作為第η幀有效長曝光像素區(qū)域和第m幀有效短曝光像素區(qū)域。這里，可以利用所述長曝光攝像頭和所述短曝光攝像頭在標(biāo)定坐標(biāo)中的內(nèi)參數(shù)矩陣、外參數(shù)矩陣、畸變矩陣和旋轉(zhuǎn)矩陣對所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像進(jìn)行去畸變及校正，以實現(xiàn)第η幀長曝光道路場景圖像和第m幀短曝光道路場景圖像的雙目校正。
[0072]其中，消除靜態(tài)橫向合成誤差的步驟是:根據(jù)所述第η幀有效長曝光像素區(qū)域和所述第m幀有效短曝光像素區(qū)域計算出道路的V視差圖像，對所述第η幀有效長曝光像素區(qū)域或所述第m幀有效短曝光像素區(qū)域進(jìn)行線性切向變形，從而獲得第η幀長曝光道路場景圖像和第m幀短曝光道路場景圖像，其中變形后的所述第η幀有效長曝光像素區(qū)域或所述第m幀有效短曝光像素區(qū)域的邊緣斜率為所述V視差圖像中所述道路平面的直線斜率。
[0073]進(jìn)一步地，在獲取到第η幀高動態(tài)圖像之后，本發(fā)明的方法還可以包括步驟26，即依據(jù)第η幀長曝光道路場景圖像、第m幀短曝光道路場景圖像及其合成圖像的直方圖，調(diào)整tl、ts和W，其中當(dāng)η為I時，tl、ts和W分別為其初始值。
[0074]由上可知，本發(fā)明的方法在圖層級上合成圖像，能夠提高合成圖像的光流平滑性；并且，圖像合成后通過映射曲線進(jìn)行直方圖均衡化調(diào)整，提高合成圖像對環(huán)境亮度的適應(yīng)性。進(jìn)一步地，本發(fā)明的方法還可以加入具有道路空間位置信息的運(yùn)動補(bǔ)償，從而減少圖像的合成誤差。
[0075]在圖3中，獲取高動態(tài)圖像的裝置30包括獲取單元31、校正單元32、合成單元33和均衡化處理單元34。其中，
[0076]獲取單元31用于獲取第η幀長曝光道路場景圖像和第m幀短曝光道路場景圖像，其中所述第η幀長曝光道路場景圖像由曝光快門時間為h的長曝光攝像頭拍攝，所述第m幀短曝光道路場景圖像由曝光快門時間為ts的短曝光攝像頭拍攝，所述長曝光攝像頭與所述短曝光攝像頭同向緊挨設(shè)置，其中，η大于或等于1，m大于或等于I ;
[0077]校正單元32用于分別將所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像消除靜態(tài)合成誤差，以獲得第η幀有效長曝光道路場景圖像和第m幀有效短曝光道路場景圖像；
[0078]合成單元33用于依據(jù)權(quán)重W，合成所述第η幀有效長曝光道路場景圖像和所述第m幀有效短曝光道路場景圖像，以生成第η幀合成圖像；
[0079]均衡化處理單元34用于對所述第η幀合成圖像進(jìn)行直方圖均衡化處理，并獲得第η幀高動態(tài)圖像。
[0080]此外，在圖3所示的獲取高動態(tài)圖像的裝置30中，還可以包括運(yùn)動補(bǔ)償單元35，用于當(dāng)I^t1As為非整數(shù)時，在所述合成單元34進(jìn)行合成圖像之前，對所述第m幀有效短曝光道路場景圖像進(jìn)行運(yùn)動補(bǔ)償，以消除所述第η幀有效長曝光道路場景圖像和所述第m幀有效短曝光道路場景圖像之間的動態(tài)合成誤差。
[0081]進(jìn)一步地，運(yùn)動補(bǔ)償單元35可以根據(jù)所述第η幀長曝光道路場景圖像與所述第m幀短曝光道路場景圖像拍攝的時間間隔At、汽車前向速度V和橫擺角速度W，運(yùn)用車輛運(yùn)動學(xué)公式將所述第m幀有效短曝光道路場景圖像移至Λ t后時刻所對應(yīng)的位置，再進(jìn)行逆透射變換，得到運(yùn)動補(bǔ)償后的第m幀有效短曝光道路場景圖像。
[0082] 此外，校正單元32可以包括縱向校正子單元和橫向校正子單元。其中，縱向校正子單元可以對所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像分別進(jìn)行雙目校正，并裁切出有效像素區(qū)域，作為第η幀有效長曝光像素區(qū)域和第m幀有效短曝光像素區(qū)域。這里，縱向校正子單元可以利用所述長曝光攝像頭和所述短曝光攝像頭在標(biāo)定坐標(biāo)中的內(nèi)參數(shù)矩陣、外參數(shù)矩陣、畸變矩陣和旋轉(zhuǎn)矩陣對所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像進(jìn)行去畸變及校正，以實現(xiàn)雙目校正。接著，橫向校正子單元可以根據(jù)所述第η幀有效長曝光像素區(qū)域和所述第m幀有效短曝光像素區(qū)域計算出道路的V視差圖像，對所述第η幀有效長曝光像素區(qū)域或所述第m幀有效短曝光像素區(qū)域進(jìn)行線性切向變形，從而獲得第η幀長曝光道路場景圖像和第m幀短曝光道路場景圖像，其中變形后的所述第η幀有效長曝光像素區(qū)域或所述第m幀有效短曝光像素區(qū)域的邊緣斜率為所述V視差圖像中所述道路平面的直線斜率。
[0083]進(jìn)一步地,在圖3所不的獲取聞動態(tài)圖像的裝置30中，除了以上單兀，獲取聞動態(tài)圖像的裝置30還可以包括調(diào)整單元36，以便依據(jù)第η幀長曝光道路場景圖像、第m幀短曝光道路場景圖像及其合成圖像的直方圖，調(diào)整I1Us和W，并將調(diào)整后的h和ts提供給長曝光攝像頭和短曝光攝像頭。同樣地，當(dāng)η為I時，&、％和W可以分別為其初始值。
[0084]綜上所述，本發(fā)明的獲取高動態(tài)圖像的裝置由于采用雙目攝像機(jī)分別同時獲取不同曝光圖像，縮短高動態(tài)圖像的曝光時間長度因此能夠降低由攝像機(jī)的運(yùn)動而導(dǎo)致的運(yùn)動模糊。此外，在圖層級上合成圖像，能夠提高合成圖像的光流平滑性；并且，圖像合成后通過映射曲線進(jìn)行直方圖均衡化調(diào)整，提高合成圖像對環(huán)境亮度的適應(yīng)性。進(jìn)一步地，還可以加入具有道路空間位置信息的運(yùn)動補(bǔ)償，從而減少圖像的合成誤差。
[0085]據(jù)此，本發(fā)明提出了一種獲取高動態(tài)圖像的系統(tǒng)，如圖3所示，包括雙目攝像機(jī)和如上所述的獲取高動態(tài)圖像的裝置30，所述雙目攝像機(jī)包括同向緊挨設(shè)置的長曝光攝像頭和短曝光攝像頭，所述長曝光攝像頭和所述短曝光攝像頭通過數(shù)據(jù)線與所述裝置連接，其中所述長曝光攝像頭和所述短曝光攝像頭并排緊挨放置，其光軸近似平行且采樣頻率相同；所述長曝光攝像頭以曝光快門時間h獲取長曝光道路場景圖像；所述短曝光攝像頭以曝光快門時間ts獲取短曝光道路場景圖像；所述裝置30獲取第η幀長曝光道路場景圖像以及第m幀短曝光道路場景圖像，并基于對所述第η幀長曝光道路場景圖像以及所述第m幀短曝光道路場景圖像的處理獲得高動態(tài)圖像，其中η大于或等于1，m大于或等于I。
[0086]這里，獲取高動態(tài)圖像的裝置30可以車載計算機(jī)的形態(tài)呈現(xiàn)，也可以是包括以下部件的形態(tài)呈現(xiàn):
[0087]獲取單元用于獲取第η幀長曝光道路場景圖像和第m幀短曝光道路場景圖像，其中所述第η幀長曝光道路場景圖像由曝光快門時間為h的長曝光攝像頭拍攝，所述第m幀短曝光道路場景圖像由曝光快門時間為ts的短曝光攝像頭拍攝，所述長曝光攝像頭與所述短曝光攝像頭同向緊挨設(shè)置，其中，η大于或等于1，m大于或等于I ;
[0088]校正單元用于分別將所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像消除靜態(tài)合成誤差，以獲得第η幀有效長曝光道路場景圖像和第m幀有效短曝光道路場景圖像；
[0089]合成單元用于依據(jù)權(quán)重W，合成所述第η幀有效長曝光道路場景圖像和所述第m幀有效短曝光道路場景圖像，以生成第η幀合成圖像；
[0090]均衡化處理單元用于對所述第η幀合成圖像進(jìn)行直方圖均衡化處理，并獲得第η中貞聞動態(tài)圖像；
[0091]運(yùn)動補(bǔ)償單元用于當(dāng)I^t1As為非整數(shù)時，在所述合成單元進(jìn)行合成圖像之前，對所述第m幀有效短曝光道路場景圖像進(jìn)行運(yùn)動補(bǔ)償，以消除所述第η幀有效長曝光道路場景圖像和所述第m幀有效短曝光道路場景圖像之間的動態(tài)合成誤差；
[0092]調(diào)整單元依據(jù)第η幀長曝光道路場景圖像、第m幀短曝光道路場景圖像及其合成圖像的直方圖， 調(diào)整tptjPW，并將調(diào)整后的&和ts提供給長曝光攝像頭和短曝光攝像頭。同樣地，當(dāng)η為I時，tpts和W可以分別為其初始值。
[0093]下面，將參照附圖4至圖8d，仍以包括雙目攝像機(jī)的高動態(tài)圖像系統(tǒng)為例，具體說明根據(jù)本發(fā)明的獲取高動態(tài)圖像的方法。
[0094]如圖4所示，根據(jù)本發(fā)明具體實施例的獲取高動態(tài)圖像的方法包括以下步驟:
[0095]步驟S1:將兩個攝像頭并排緊挨放置在車輛上(可為同樣放置的一體式雙目攝像機(jī))，兩個攝像頭的光軸近似平行。其中，一個攝像頭負(fù)責(zé)獲取車輛所行駛的道路的長曝光圖像(以下稱“長曝光道路場景圖像”)，曝光快門時間為&，另一個攝像頭負(fù)責(zé)獲取道路的短曝光圖像(以下稱“短曝光道路場景圖像”)，曝光快門時間為ts。為了方便描述，稱獲取長曝光道路場景圖像的攝像頭為長曝光攝像頭，稱獲取短曝光道路場景圖像的攝像頭為短曝光攝像頭。
[0096]這里，兩個攝像頭的頻率應(yīng)相同，初始的長、短曝光快門時間可以分別為攝像頭在該拍攝頻率下所允許的最大、最小曝光快門時間。然后，為了使兩攝像頭能在不同環(huán)境亮度均獲取充分的灰度紋理信息，可以調(diào)節(jié)曝光快門時間。例如，在本發(fā)明的實施例中，是通過反饋調(diào)節(jié)來進(jìn)一步調(diào)整曝光快門時間。
[0097]步驟S2:兩個攝像頭分別被控制在各自的曝光快門時間內(nèi)不斷拍攝圖像。于是，在長曝光攝像頭獲取第η幀長曝光道路場景圖像時間內(nèi)，短曝光攝像頭獲取的最后一幀圖像為第幀短曝光道路場景圖像，以第η幀長曝光道路場景圖像和第m幀短曝光道路場景圖像作為車載計算機(jī)的輸入圖像。
[0098]也就是說，該兩個攝像頭分別被控制，以使其在各自的快門時間內(nèi)不斷拍攝圖像。這樣，長曝光攝像頭獲取第η幀圖像時，車載計算機(jī)選擇該第η幀長曝光道路場景圖像以及該時間段內(nèi)短曝光攝像 頭拍攝的最后一幀短曝光道路場景圖像作為輸入圖像。
[0099]換句話說，車載計算機(jī)在I^t1時刻能夠獲得的輸入圖像分別為:第η幀長曝光道路場景圖像和第m幀短曝光道路場景圖像，其中。
[0100]步驟S3:車載計算機(jī)分別對輸入的第η幀長曝光道路場景圖像和第m幀短曝光道路場景圖像進(jìn)行雙目校正，即根據(jù)對兩攝像頭標(biāo)定(例如，通用標(biāo)定技術(shù))得到的內(nèi)參數(shù)矩陣K、外參數(shù)矩陣[R| T]、畸變矩陣D和旋轉(zhuǎn)矩陣R，其中
【權(quán)利要求】
1.一種雙目攝像機(jī)獲取高動態(tài)圖像的方法，其特征在于，包括: 獲取第η幀長曝光道路場景圖像和第m幀短曝光道路場景圖像，其中所述第η幀長曝光道路場景圖像由曝光快門時間為h的長曝光攝像頭拍攝，所述第m幀短曝光道路場景圖像由曝光快門時間為ts的短曝光攝像頭拍攝，所述長曝光攝像頭與所述短曝光攝像頭同向緊挨設(shè)置，其中，η大于或等于1，m大于或等于I ; 分別將所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像消除靜態(tài)合成誤差，以獲得第η幀有效長曝光道路場景圖像和第m幀有效短曝光道路場景圖像； 依據(jù)權(quán)重W，合成所述第η幀有效長曝光道路場景圖像和所述第m幀有效短曝光道路場景圖像，以生成第η幀合成圖像； 對所述第η幀合成圖像進(jìn)行直方圖均衡化處理，并獲得第η幀高動態(tài)圖像。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分別將所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像消除靜態(tài)合成誤差，包括: 對所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像分別進(jìn)行雙目校正，并裁切出有效像素區(qū)域，作為第η幀有效長曝光像素區(qū)域和第m幀有效短曝光像素區(qū)域； 根據(jù)所述第η幀有效長曝光像素區(qū)域和所述第m幀有效短曝光像素區(qū)域計算出道路的V視差圖像，對所述第η幀有效長曝光像素區(qū)域或所述第m幀有效短曝光像素區(qū)域進(jìn)行線性切向變形，從而獲得第η幀有效長曝光道路場景圖像或第m幀有效短曝光道路場景圖像，其中變形后的所述第η幀有效長曝光像素區(qū)域或所述第m幀有效短曝光像素區(qū)域的邊緣斜率為所述V視差圖像中所述道路平面的直線斜率。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，當(dāng)η*ν\為非整數(shù)時，在所述分別將所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像消除靜態(tài)合成誤差之后，還包括:對所述第m幀有效短曝光道路場景圖像進(jìn)行運(yùn)動補(bǔ)償，以消除所述第η幀有效長曝光道路場景圖像和所述第m幀有效短曝光道路場景圖像之間的動態(tài)合成誤差。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述對所述第m幀有效短曝光道路場景圖像進(jìn)行運(yùn)動補(bǔ)償，包括: 根據(jù)所述第η幀長曝光道路場景圖像與所述第m幀短曝光道路場景圖像拍攝的時間間隔Λ t、汽車前向速度V和橫擺角速度W，運(yùn)用車輛運(yùn)動學(xué)公式將所述第m幀有效短曝光道路場景圖像移至Λ t后時刻所對應(yīng)的位置，再進(jìn)行逆透射變換，得到運(yùn)動補(bǔ)償后的第m幀有效短曝光道路場景圖像。
5.根據(jù)權(quán)利要求1至4中任一項所述的方法，其特征在于，依據(jù)第η幀長曝光道路場景圖像、第m幀短曝光道路場景圖像及第η幀合成圖像的直方圖，調(diào)整I1Us和W，其中當(dāng)η為I時，h、ts和W分別為其初始值。
6.一種獲取高動態(tài)圖像的系統(tǒng)，其特征在于，包括:雙目攝像機(jī)和計算機(jī)，所述雙目攝像機(jī)包括長曝光攝像頭和短曝光攝像頭，所述長曝光攝像頭和所述短曝光攝像頭通過數(shù)據(jù)線與所述計算機(jī)連接，其中所述長曝光攝像頭和所述短曝光攝像頭并排緊挨放置，其光軸近似平行且采樣頻率相同； 所述長曝光攝像頭以曝光快門時間h獲取長曝光道路場景圖像； 所述短曝光攝像頭以曝光快門時間ts獲取短曝光道路場景圖像；所述計算機(jī)獲取第η幀長曝光道路場景圖像以及第m幀短曝光道路場景圖像，并基于對所述第η幀長曝光道路場景圖像以及所述第m幀短曝光道路場景圖像的處理獲得高動態(tài)圖像，其中,η大于或等于I, m大于或等于I。
7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述計算機(jī)基于對所述第η幀長曝光道路場景圖像以及所述第m幀短曝光道路場景圖像的處理獲得高動態(tài)圖像，包括: 所述計算機(jī)對所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像分別進(jìn)行雙目校正，并裁切出有效像素區(qū)域，作為第η幀有效長曝光像素區(qū)域和第m幀有效短曝光像素區(qū)域； 所述計算機(jī)根據(jù)第η幀有效長曝光像素區(qū)域和第m幀有效短曝光像素區(qū)域計算出道路的V視差圖像，對所述第η幀有效長曝光像素區(qū)域或所述第m幀有效短曝光像素區(qū)域進(jìn)行線性切向變形，從而獲得第η幀有效長曝光道路場景圖像和第m幀有效短曝光道路場景圖像，其中變形后的所述第η幀有效長曝光像素區(qū)域或所述第m幀有效短曝光像素區(qū)域的邊緣斜率為所述V視差圖像中所述道路平面的直線斜率； 所述計算機(jī)依據(jù)權(quán)重W，合成所述第η幀有效長曝光道路場景圖像和所述第m幀有效短曝光道路場景圖像，以生成第η幀合成圖像； 所述計算機(jī)對所述第η幀合成圖像進(jìn)行直方圖均衡化處理，并獲得第η幀高動態(tài)圖像。
8.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，當(dāng)Mt1As為非整數(shù)時， 所述計算機(jī)對所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像分別進(jìn)行雙目校正，并裁切出有效像素區(qū)域，作為第η幀有效長曝光像素區(qū)域和第m幀有效短曝光像素區(qū)域； 所述計算機(jī)根據(jù)第η幀有效長曝光像素區(qū)域和第m幀有效短曝光像素區(qū)域計算出道路的V視差圖像，對所述第η幀有效長曝光像素區(qū)域或所述第m幀有效短曝光像素區(qū)域進(jìn)行線性切向變形，從而獲得第η幀有效長曝光道路場景圖像或第m幀有效短曝光道路場景圖像，其中變形后的所述第η幀有效長曝光像素區(qū)域或所述第m幀有效短曝光像素區(qū)域的邊緣斜率為所述V視差圖像中所述道路平面的直線斜率； 所述計算機(jī)根據(jù)所述第η幀長曝光道路場景圖像與所述第m幀短曝光道路場景圖像拍攝的時間間隔Λ t、汽車前向速度V和橫擺角速度W，運(yùn)用車輛運(yùn)動學(xué)公式將所述第m幀有效短曝光道路場景圖像移至At后時刻所對應(yīng)的位置，再進(jìn)行逆透射變換，得到運(yùn)動補(bǔ)償后的第m幀有效短曝光道路場景圖像； 所述計算機(jī)依據(jù)權(quán)重W，合成所述第η幀有效長曝光道路場景圖像和所述第m幀有效短曝光道路場景圖像，以生成第η幀合成圖像； 所述計算機(jī)對所述第η幀合成圖像進(jìn)行直方圖均衡化處理，并獲得第η幀高動態(tài)圖像。
9.根據(jù)權(quán)利要求7或8所述的系統(tǒng)，其特征在于，所述計算機(jī)對所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像分別進(jìn)行雙目校正，包括: 所述計算機(jī)利用所述長曝光攝像頭和所述短曝光攝像頭在標(biāo)定坐標(biāo)中的內(nèi)參數(shù)矩陣、外參數(shù)矩陣、畸變矩陣和旋轉(zhuǎn)矩陣對所述第η幀長曝光道路場景圖像和所述第m幀短曝光道路場景圖像進(jìn)行去畸變及校正。
10.根據(jù)權(quán)利要求6至9中任一項所述的系統(tǒng)，其特征在于，在獲取所述第η幀高動態(tài)圖像之后，所述計算機(jī)依據(jù)第η幀長曝光道路場景圖像、第m幀短曝光道路場景圖像及第η幀合成圖像的直方圖，調(diào)整和W，并將調(diào)整后的h和ts分別提供給所述長曝光攝像頭和所述短 曝光攝像頭；其中當(dāng)η為I時，ts和W分別為其初始值。
【文檔編號】H04N5/235GK103973989SQ201410149114
【公開日】2014年8月6日 申請日期:2014年4月15日 優(yōu)先權(quán)日:2014年4月15日
【發(fā)明者】龔建偉, 姜巖, 曹林浪, 熊光明, 陳慧巖 申請人:北京理工大學(xué)