一種基于晝夜成像特征的交通信號燈圖像強化方法及裝置與流程
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于晝夜成像特征的交通信號燈圖像強化方法及裝置。
背景技術(shù)：
目前交通管理中的電警相機廣泛應(yīng)用于路口車輛違章行為抓拍，為交通違章處罰提供判罰依據(jù)。它主要是通過記錄違章車輛行為和信號燈顏色狀態(tài)信息生成違章證據(jù)圖，使處罰車輛違章變的有理有據(jù)，避免處罰爭議。
電子警察相機監(jiān)控場景一般為十字路口，交通信號燈距離電警相機較遠，且信號燈面積較小，一般單個信號燈在20*20像素。所以，當(dāng)電警相機由于安裝桿件熱脹冷縮等原因有微小移動時，信號燈在圖像上會出現(xiàn)明顯偏移。還有在環(huán)境光照不足時，信號燈位置畫面過曝，或環(huán)境光過強時，信號燈不明顯。上述情況都容易導(dǎo)致證據(jù)圖上信號燈顏色不明確，然而在違章判罰時，要求證據(jù)圖上信號燈顏色鮮明，避免異議。因此，需要對信號燈圖像進行強化，以滿足用戶對證據(jù)圖的要求
一般來說，信號燈圖像強化需要已知信號燈的位置和狀態(tài)?，F(xiàn)有技術(shù)通常是在一幀實時圖像中，提取定位區(qū)域內(nèi)的紅色或綠色像素點，然后根據(jù)其亮度、色度、形狀等特征與背景進行分割，來確定信號燈的位置。然而這一類方法抗干擾能力較弱，實際紅綠燈附近存在對應(yīng)顏色的背景時，很難正確定位。另外，信號燈顏色或亮度特征不明顯時，定位準(zhǔn)確性也會明顯降低。還有技術(shù)方案通過統(tǒng)計一段時間內(nèi)，信號燈附近區(qū)域內(nèi)各點的顏色、亮度變化情況，得出每個點處于信號燈上的可能性，再結(jié)合信號燈各燈眼的相對位置不變性，綜合得出信號燈位置。但該方案得出的是一段時間內(nèi)信號燈的概率分布，實時性差，而且對信號燈邊界不敏感，無法直接用于過曝或不明顯圖像的恢復(fù)及強化。
技術(shù)實現(xiàn)要素：
本發(fā)明的目的是提供一種基于晝夜成像特征的交通信號燈圖像強化方法及裝置，來解決現(xiàn)有技術(shù)圖像強化不準(zhǔn)確的問題。
為了實現(xiàn)上述目的，本發(fā)明技術(shù)方案如下：
一種基于晝夜成像特征的交通信號燈圖像強化方法，所述交通信號燈圖像強化方法，包括：
獲取待處理視頻圖像及其對應(yīng)的信號燈狀態(tài)信息，確定所述待處理視頻圖像中信號燈狀態(tài)信息對應(yīng)的燈眼定位區(qū)域；
判斷所述待處理視頻圖像是日間圖像還是夜間圖像，如果是夜間圖像則進入夜間處理模式，如果是日間圖像則進入日間處理模式；
在夜間處理模式下，根據(jù)燈眼定位區(qū)域中每個像素點的亮度、以及每個像素點的本信號燈顏色濃度，確定前景點及實際燈眼區(qū)域，并生成單幀燈眼模板；
在日間處理模式下，根據(jù)燈眼定位區(qū)域中每個像素點的本信號燈顏色濃度，以及對夜間處理模式下生成的單幀燈眼模板進行預(yù)處理得到的燈眼模板，進行模板匹配確定實際燈眼區(qū)域，提取實際燈眼區(qū)域中與燈眼模板匹配的像素點作為實際燈眼區(qū)域的前景點；
對實際燈眼區(qū)域中的前景點進行強化涂色。
進一步地，所述根據(jù)燈眼定位區(qū)域中每個像素點的亮度、以及每個像素點的本信號燈顏色濃度，確定前景點及實際燈眼區(qū)域，并生成單幀燈眼模板，包括：
遍歷燈眼定位區(qū)域，獲取燈眼定位區(qū)域中每個像素點的亮度、以及每個像素點的本信號燈顏色濃度；
沿信號燈燈組的垂直方向逐行掃描燈眼定位區(qū)域，對于每一行，若第一個本信號燈顏色濃度大于設(shè)定顏色濃度閾值的像素點與最后一個本信號燈顏色濃度大于設(shè)定顏色濃度閾值的像素點之間，存在亮度值大于設(shè)定亮度閾值的像素點，則將第一個本信號燈顏色濃度大于設(shè)定顏色濃度閾值的像素點與最后一個本信號燈顏色濃度大于設(shè)定顏色濃度閾值的像素點之間的像素點作為前景點；
在前景點組成的區(qū)域范圍內(nèi)，對亮度值進行二值化，根據(jù)二值化結(jié)果和實際燈眼尺寸計算每個前景點的權(quán)重，通過加權(quán)平均求實際燈眼中心，確定實際燈眼區(qū)域；
沿信號燈燈組的垂直方向，將實際燈眼區(qū)域兩側(cè)各向外擴展設(shè)定的尺寸生成單幀燈眼模板。
進一步地，所述對夜間處理模式下生成的單幀燈眼模板進行預(yù)處理得到的燈眼模板，預(yù)處理過程包括：
將夜間處理模式下生成的一系列單幀燈眼模板合并；
進行二值化處理得到燈眼模板s；
對燈眼模板s進行閉運算來填補燈眼模板s中殘缺的部分，得到閉運算后的燈眼模板s0；
統(tǒng)計燈眼模板s0中心wl*hl范圍內(nèi)前景點所占比例rate，若rate小于或等于50％，則以s0中心wl*hl區(qū)域作為實際模板；若rate大于50％，則以s0中心wl*hl區(qū)域開始，向外逐漸擴大模板區(qū)域，將rate處于
進一步地，所述根據(jù)燈眼定位區(qū)域中每個像素點的本信號燈顏色濃度，以及對夜間處理模式下生成的單幀燈眼模板進行預(yù)處理得到的燈眼模板，進行模板匹配確定實際燈眼區(qū)域，提取實際燈眼區(qū)域中與燈眼模板匹配的像素點作為實際燈眼區(qū)域的前景點，包括：
遍歷燈眼定位區(qū)域，獲取燈眼定位區(qū)域中每個像素點的本信號燈顏色濃度；
根據(jù)燈眼定位區(qū)域中以像素點為中心的與燈眼模板等大的區(qū)域與燈眼模板區(qū)域的匹配程度，確定該像素點的權(quán)重；
根據(jù)每個像素點的權(quán)重，通過加權(quán)平均求實際燈眼中心，確定實際燈眼區(qū)域。
進一步地，所述燈眼定位區(qū)域中每個像素點的本信號燈顏色濃度，通過如下方法得到：
將燈眼定位區(qū)域的yuv格式的視頻圖像轉(zhuǎn)換為rgb格式的視頻圖像；
根據(jù)每個像素點的rgb顏色分量計算得到本信號燈顏色濃度；
所述燈眼定位區(qū)域中每個像素點的亮度，通過如下方法得到：
將燈眼定位區(qū)域的yuv格式的視頻圖像轉(zhuǎn)換為rgb格式的視頻圖像；
根據(jù)每個像素點的rgb顏色分量和y分量計算得到像素點的亮度。
本發(fā)明還提出了一種基于晝夜成像特征的交通信號燈圖像強化裝置，所述交通信號燈圖像強化裝置，包括：
燈眼定位模塊，用于獲取待處理視頻圖像及其對應(yīng)的信號燈狀態(tài)信息，確定所述待處理視頻圖像中信號燈狀態(tài)信息對應(yīng)的燈眼定位區(qū)域；
判斷模塊，用于判斷所述待處理視頻圖像是日間圖像還是夜間圖像，如果是夜間圖像則進入夜間處理模式，如果是日間圖像則進入日間處理模式；
夜間處理模塊，用于在夜間處理模式下，根據(jù)燈眼定位區(qū)域中每個像素點的亮度、以及每個像素點的本信號燈顏色濃度，確定前景點及實際燈眼區(qū)域，并生成單幀燈眼模板；
日間處理模塊，用于在日間處理模式下，根據(jù)燈眼定位區(qū)域中每個像素點的本信號燈顏色濃度，以及對夜間處理模式下生成的單幀燈眼模板進行預(yù)處理得到的燈眼模板，進行模板匹配確定實際燈眼區(qū)域，提取實際燈眼區(qū)域中與燈眼模板匹配的像素點作為實際燈眼區(qū)域的前景點；
強化涂色模塊，用于對實際燈眼區(qū)域中的前景點進行強化涂色。
進一步地，所述夜間處理模塊，在根據(jù)燈眼定位區(qū)域中每個像素點的亮度、以及每個像素點的本信號燈顏色濃度，確定前景點及實際燈眼區(qū)域，并生成單幀燈眼模板時，執(zhí)行如下操作：
遍歷燈眼定位區(qū)域，獲取燈眼定位區(qū)域中每個像素點的亮度、以及每個像素點的本信號燈顏色濃度；
沿信號燈燈組的垂直方向逐行掃描燈眼定位區(qū)域，對于每一行，若第一個本信號燈顏色濃度大于設(shè)定顏色濃度閾值的像素點與最后一個本信號燈顏色濃度大于設(shè)定顏色濃度閾值的像素點之間，存在亮度值大于設(shè)定亮度閾值的像素點，則將第一個本信號燈顏色濃度大于設(shè)定顏色濃度閾值的像素點與最后一個本信號燈顏色濃度大于設(shè)定顏色濃度閾值的像素點之間的像素點作為前景點；
在前景點組成的區(qū)域范圍內(nèi)，對亮度值進行二值化，根據(jù)二值化結(jié)果和實際燈眼尺寸計算每個前景點的權(quán)重，通過加權(quán)平均求實際燈眼中心，確定實際燈眼區(qū)域；
沿信號燈燈組的垂直方向，將實際燈眼區(qū)域兩側(cè)各向外擴展設(shè)定的尺寸生成單幀燈眼模板。
進一步地，所述日間處理模塊，在對所述對夜間處理模式下生成的單幀燈眼模板進行預(yù)處理得到的燈眼模板時，執(zhí)行如下操作：
將夜間處理模式下生成的一系列單幀燈眼模板合并；
進行二值化處理得到燈眼模板s；
對燈眼模板s進行閉運算來填補燈眼模板s中殘缺的部分，得到閉運算后的燈眼模板s0；
統(tǒng)計燈眼模板s0中心wl*hl范圍內(nèi)前景點所占比例rate，若rate小于或等于50％，則以s0中心wl*hl區(qū)域作為實際模板；若rate大于50％，則以s0中心wl*hl區(qū)域開始，向外逐漸擴大模板區(qū)域，將rate處于
進一步地，所述日間處理模塊，在根據(jù)燈眼定位區(qū)域中每個像素點的本信號燈顏色濃度，以及對夜間處理模式下生成的單幀燈眼模板進行預(yù)處理得到的燈眼模板，進行模板匹配確定實際燈眼區(qū)域，提取實際燈眼區(qū)域中與燈眼模板匹配的像素點作為實際燈眼區(qū)域的前景點時，執(zhí)行如下操作：
遍歷燈眼定位區(qū)域，獲取燈眼定位區(qū)域中每個像素點的本信號燈顏色濃度；
根據(jù)燈眼定位區(qū)域中以像素點為中心的與燈眼模板等大的區(qū)域與燈眼模板區(qū)域的匹配程度，確定該像素點的權(quán)重；
根據(jù)每個像素點的權(quán)重，通過加權(quán)平均求實際燈眼中心，確定實際燈眼區(qū)域。
進一步地，所述夜間處理模塊和日間處理模塊，在獲取燈眼定位區(qū)域中每個像素點的本信號燈顏色濃度時，執(zhí)行如下操作：
將燈眼定位區(qū)域的yuv格式的視頻圖像轉(zhuǎn)換為rgb格式的視頻圖像；
根據(jù)每個像素點的rgb顏色分量計算得到本信號燈顏色濃度；
所述夜間處理模塊，在獲取燈眼定位區(qū)域中每個像素點的亮度時，執(zhí)行如下操作：
將燈眼定位區(qū)域的yuv格式的視頻圖像轉(zhuǎn)換為rgb格式的視頻圖像；
根據(jù)每個像素點的rgb顏色分量和y分量計算得到像素點的亮度。
本發(fā)明提出的一種基于晝夜成像特征的交通信號燈圖像強化方法及裝置，利用信號燈的晝夜成像特征，在夜間更新燈眼模板，在白天利用上述模板匹配的方式確定信號燈的準(zhǔn)確位置，從而利用了夜間成像特性避免了白天復(fù)雜背景對模板的影響，降低了復(fù)雜背景對信號燈識別及圖像強化的干擾，使得圖像強化涂色更加準(zhǔn)確。
附圖說明
圖1為本發(fā)明基于晝夜成像特征的交通信號燈圖像強化方法流程圖；
圖2為本發(fā)明基于晝夜成像特征的交通信號燈圖像強化裝置結(jié)構(gòu)示意圖。
具體實施方式
下面結(jié)合附圖和實施例對本發(fā)明技術(shù)方案做進一步詳細(xì)說明，以下實施例不構(gòu)成對本發(fā)明的限定。
如圖1所示，本技術(shù)方案一種基于晝夜成像特征的交通信號燈圖像強化方法，包括：
步驟s1、獲取待處理視頻圖像及其對應(yīng)的信號燈狀態(tài)信息，確定所述待處理視頻圖像中信號燈狀態(tài)信息對應(yīng)的燈眼定位區(qū)域。
信號燈的原始位置和各燈眼的顏色屬性由用戶配置，信號燈燈組一般包括紅、綠、黃等顏色的信號燈，可以橫向設(shè)置或縱向設(shè)置。任意一盞信號燈，其顏色屬性和其原始位置是已經(jīng)配置好的，即紅色信號燈、綠色信號燈、黃色信號燈都已經(jīng)配置好，由于信號燈和電警相機安裝好后，相對位置固定，信號燈對應(yīng)的原始位置都是已知的。
為了克服由于安裝桿件熱脹冷縮等原因有微小移動時，信號燈在圖像上會出現(xiàn)明顯偏移的情況，對于后續(xù)用來進行強化處理的燈眼定位區(qū)域，需要根據(jù)原始位置來進行調(diào)整。
即假設(shè)已知信號燈原始位置為矩形abcd，在設(shè)定信號燈各個燈眼的定位區(qū)域時，可以將原始位置矩形abcd向外擴充一定的大小，從而在發(fā)生一定偏移的情況下，設(shè)定的燈眼定位區(qū)域也能包含實際燈眼區(qū)域(實際燈眼區(qū)域的尺寸是確定的，由信號燈的物理條件決定)，保證后續(xù)圖像強化的準(zhǔn)確性。擴充時，可以根據(jù)燈眼的半徑進行擴充，例如燈眼的半徑是r，將燈眼原始位置矩形abcd的長和寬分別加上1/4*r來作為燈眼定位區(qū)域的長和寬；或者直接將燈眼原始位置矩形abcd的長和寬分別加上設(shè)定的像素數(shù)量，如原始位置為30*20像素，燈眼定位區(qū)域可以擴充為33*23像素。
通常信號燈燈組中各個信號燈的燈眼定位區(qū)域都是預(yù)先設(shè)定好，在后續(xù)的處理中，只需根據(jù)接收的信號燈狀態(tài)信息，確定是哪種顏色的信號燈亮，就選取對應(yīng)的信號燈的燈眼定位區(qū)域，用于后續(xù)的計算和強化。
因此，在獲取一幀待處理視頻圖像時，還需要獲取該幀圖像對應(yīng)的信號燈狀態(tài)信息。信號燈狀態(tài)信息可由圖像中檢測，也可以通過檢測信號燈驅(qū)動信號等物理手段獲取。從而可以確定該幀圖像中，哪個信號燈是點亮的，并進一步根據(jù)預(yù)設(shè)的信號燈各個燈眼的定位區(qū)域，從待處理視頻圖像中確定該點亮的信號燈對應(yīng)的燈眼定位區(qū)域。例如獲取該幀圖像時，檢測得到信號燈狀態(tài)信息是紅燈，則從該幀圖像中選取紅色信號燈對應(yīng)的燈眼定位區(qū)域用于后續(xù)的計算和強化。
步驟s2、判斷待處理視頻圖像是日間圖像還是夜間圖像，如果是夜間圖像則進入步驟s3，如果是日間圖像則進入步驟s4。
本技術(shù)方案基于晝夜成像特征來分別進行圖像強化處理，由于夜間與日間信號燈成像特征具有較大區(qū)別，在夜間顏色更加鮮艷，且沒有復(fù)雜背景干擾，因此本實施例分別進行處理，其中在對日間圖像進行處理時，用到根據(jù)夜間圖像生成的燈眼模板。
而判斷待處理視頻圖像拍攝的時間是在夜間還是在日間，可以根據(jù)電警相機內(nèi)部記錄的實際時間來自行判斷，或者根據(jù)圖像整體亮度、色度來進行判斷。本實施例對判斷是日間還是夜間的具體方法不做限制，以下不再贅述。
步驟s3、在夜間處理模式下，根據(jù)燈眼定位區(qū)域中每個像素點的亮度、以及每個像素點的本信號燈顏色濃度，確定前景點及實際燈眼區(qū)域，并生成單幀燈眼模板，進入步驟s5。
具體地，當(dāng)待處理視頻圖像對是夜間圖像時，進行夜間模式處理。夜間模式處理包括如下步驟：
步驟s3.1、遍歷燈眼定位區(qū)域，獲取燈眼定位區(qū)域中每個像素點的亮度、以及每個像素點的本信號燈顏色濃度。
一般電警相機獲取的是8位yuv格式的視頻圖像，首先轉(zhuǎn)換為8位rgb格式，任意像素點點(x,y)，轉(zhuǎn)換計算方法如下：
然后，計算像素點(x,y)的亮度值、以及本信號燈顏色濃度，其中本信號燈顏色濃度是與本信號燈顏色對應(yīng)的顏色濃度，即信號燈是紅燈時，計算紅色濃度，而信號燈是綠燈時，計算綠色濃度。本實施例以當(dāng)前處理的待處理視頻圖像對應(yīng)的信號燈為紅色(信號燈狀態(tài)信息為紅燈點亮)為例進行說明，對于綠燈的情況，將相應(yīng)的變量改為綠色即可，以下不再贅述。
以紅色為例，根據(jù)每個像素點的rgb顏色分量計算像素點(x,y)對應(yīng)的紅色濃度red(x,y)，根據(jù)每個像素點的rgb顏色分量和y分量計算得到像素點的亮度值whi(x,y)：
s(x,y)＝max(r(x,y),g(x,y))-min(r(x,y),g(x,y))
其中，r(x,y)、g(x,y)、b(x,y)為顏色分量，y(x,y)為yuv顏色格式下的y分量，cya(x,y)，s(x,y)都是中間變量，cya(x,y)表示紅色的補色(天青色)強度，s(x,y)體現(xiàn)紅色的相對明顯程度。thr為紅色濃度提取的門限，用于過濾太暗的點，例如取thr＝30。采用上述公式計算的顏色濃度和亮度值，能夠過濾掉太暗的像素點。
需要說明的是，在信號燈為綠燈時，上述公式中cya(x,y)應(yīng)該替換為綠色的補色(品紅色)強度，s(x,y)體現(xiàn)綠色的相對明顯程度。本發(fā)明主要是針對紅燈和綠燈來進行圖像強化，在下文中主要以紅燈為例來進行說明。
具體地，若處理綠燈，則將紅色濃度red(x,y)改為綠色濃度gre(x,y)，公式中cya(x,y)用mag(x,y)替換：
其中，mag(x,y)為綠色的補色(品紅色)強度。thg為綠色濃度提取的門限，用于過濾太暗的點，可取thg＝30。
本實施例中，本信號燈顏色濃度還可以簡單地直接以本信號燈顏色的分量來代替，例如紅色信號燈的燈眼定位區(qū)域中每個像素點的本信號燈顏色濃度用該像素點的r分量來代替。本實施例自定義紅色/綠色濃度用于提取光暈，相當(dāng)于將傳統(tǒng)的r-g-b色度空間轉(zhuǎn)換為red-cya-other或gre-mag-other的顏色空間中，即目標(biāo)顏色-目標(biāo)補色-無關(guān)色，然后使用目標(biāo)顏色分量與目標(biāo)補色分量之差表示目標(biāo)顏色的濃度。
本技術(shù)方案亮度whi通過yuv顏色模型的y分量與rgb顏色模型的r、g分量之差相減得到，可以有效區(qū)分純的紅綠色與高亮白色間。與直接使用yuv模型的y分量相比，本實施例的方法能更好的區(qū)分過曝前景與光暈。在傳統(tǒng)處理方法中，一般需要轉(zhuǎn)換為hsv或his顏色模型才能達到類似效果，需要計算h分量，運算量較大且效果不好。
步驟s3.2、沿信號燈燈組的垂直方向逐行掃描燈眼定位區(qū)域，對于每一行，若第一個本信號燈顏色濃度大于設(shè)定顏色濃度閾值的像素點與最后一個本信號燈顏色濃度大于設(shè)定顏色濃度閾值的像素點之間，存在亮度值大于設(shè)定亮度閾值的像素點，則將第一個本信號燈顏色濃度大于設(shè)定顏色濃度閾值的像素點與最后一個本信號燈顏色濃度大于設(shè)定顏色濃度閾值的像素點之間的像素點作為前景點。
假設(shè)目標(biāo)信號燈燈組是水平方向的，則沿豎直方向掃描：
對于燈眼定位區(qū)域中的每一列，設(shè)x坐標(biāo)為x，則首先檢查該行中第一個和最后一個紅色像素點的y坐標(biāo)ys與ye：
其中，redth是設(shè)定顏色濃度閾值，即判斷紅色明顯的門限，紅色濃度大于紅色明顯的像素點被視為紅色像素點，redth例如取值128。
若ys(x)與ye(x)都存在，且在(ys,ye)范圍內(nèi)存在高亮的點，則該列中(ys,ye)范圍內(nèi)的所有點標(biāo)記為前景點，用fnt(x,y)來標(biāo)識前景點，即：
其中，whith是設(shè)定亮度閾值，即判斷高亮像素點的門限，例如取值64。x為當(dāng)前列的x坐標(biāo)，y為當(dāng)前列每一點的y坐標(biāo)。fnt(x,y)為1的表示像素點(x,y)屬于前景點，fnt(x,y)為0表示像素點(x,y)屬于背景。上述公式表示在第一個和最后一個紅色像素點之間，存在亮度值大于設(shè)定亮度閾值的高亮像素點時，在第一個和最后一個紅色像素點之間的像素點fnt(x,y)為1，表示為前景點。本實施例通過位置關(guān)系確定前景點，對背景路燈、遠處車燈等具有較好的過濾效果。
同理，若目標(biāo)信號燈燈組是豎直方向的，則沿水平方向掃描，這里不再贅述。
步驟s3.3、在前景點組成的區(qū)域范圍內(nèi)，對亮度值進行二值化，根據(jù)二值化結(jié)果和實際燈眼尺寸計算每個前景點的權(quán)重，通過加權(quán)平均求實際燈眼中心，確定實際燈眼區(qū)域。
以下通過兩個實施例來描述如何確定實際燈眼區(qū)域的方法：
一種實施例：
首先在前景點組成的區(qū)域范圍內(nèi)，對亮度值whi進行二值化得到前景點二值化圖像lght：
其中，th為二值化門限。前景點組成的區(qū)域范圍內(nèi)必定包含過曝部分和光暈部分，在二值化后，其中l(wèi)ght＝1為過曝部分。本實施例二值化門限th可以用大津法求得，具體過程如下：
th＝t|(g(t)＝max(g))
其中，numl表示前景點組成的區(qū)域內(nèi)前景點的總數(shù)；n0(t)、n1(t)分別為t門限下的第一類點數(shù)和第二類點數(shù)，u0(t)、u1(t)分別為t門限下的第一類均值和第二類均值，g(t)為類間方差，即求得使得類間方差g(t)最大的t值作為二值化門限。二值化門限th還可以根據(jù)經(jīng)驗來得到，這里不再贅述。
然后根據(jù)二值化結(jié)果和實際燈眼尺寸計算每個前景點的權(quán)重，每個前景點的權(quán)重即該前景點作為實際燈眼中心的可能性，權(quán)重的計算公式如下：
其中，wght(x,y)為該前景點的權(quán)重，即實際燈眼中心處于(x,y)處的可能性。由該公式可知，前景點的權(quán)重為以該前景點為中心的實際燈眼尺寸范圍內(nèi)的二值化結(jié)果的和與所有前景點組成的區(qū)域內(nèi)的二值化結(jié)果的和的比值。
然后，根據(jù)前景點的權(quán)重，通過加權(quán)平均求實際燈眼中心(centx,centy)：
即實際燈眼區(qū)域坐標(biāo)為((centx-wl/2,centy-hl/2),(centx+wl/2,centy+hl/2))，其中wl為實際燈眼尺寸的寬度，hl為實際燈眼尺寸的高度。
本實施例在表示實際燈眼區(qū)域時，用該區(qū)域的左上點和右下點坐標(biāo)表示，以下不再贅述。
另一種實施例：
首先在前景點組成的區(qū)域范圍內(nèi)，對亮度值whi進行二值化：
其中，th為二值化門限。前景點組成的區(qū)域范圍內(nèi)必定包含過曝部分和光暈部分，在二值化后，其中l(wèi)ght＝1為過曝部分。本實施例二值化門限th可以用大津法求得，具體過程如下：：
th＝t|(g(t)＝max(g))
其中，numl表示前景點組成的區(qū)域內(nèi)前景點的總數(shù)；n0(t)、n1(t)分別為t門限下的第一類點數(shù)和第二類點數(shù)，u0(t)、u1(t)分別為t門限下的第一類均值和第二類均值。
然后根據(jù)二值化結(jié)果和實際燈眼尺寸計算每個前景點的權(quán)重，每個前景點的權(quán)重即該前景點作為實際燈眼中心的可能性：
其中，wght(x,y)為該前景點的權(quán)重，即實際燈眼中心處于(x,y)處的可能性。
然后過濾權(quán)重小于過濾門限的前景點，即過濾wght中較小的部分,過濾后的權(quán)重wghtl:
wth＝r1·max(wght)，其中wth為過濾門限；
其中，r1為參數(shù)，用于控制過濾門限，例如取值為0.8。通過本步驟可以消除權(quán)重較小的像素點對后續(xù)計算實際燈眼中心的影響，進一步提高準(zhǔn)確率。
然后，通過加權(quán)平均求實際燈眼中心(centx,centy)：
即實際燈眼區(qū)域坐標(biāo)為((centx-wl/2,centy-hl/2),(centx+wl/2,centy+hl/2))，其中wl為實際燈眼尺寸的寬度，hl為實際燈眼尺寸的高度。
對于夜間模式處理，在求出實際燈眼區(qū)域后，就可以進入步驟s5進行強化涂色。但是還需要執(zhí)行如下步驟來生成單幀燈眼模板：
步驟s3.4、沿信號燈燈組的垂直方向，將實際燈眼區(qū)域兩側(cè)各向外擴展設(shè)定的尺寸生成單幀燈眼模板。
本實施例在表示實際燈眼區(qū)域時，用該區(qū)域的左上點和右下點坐標(biāo)表示。
對于水平方向的燈組，沿豎直方向外擴，單幀燈眼模板區(qū)域為：
(tlx,tly)＝(centx-wl/2,centy-hl)；
(brx,bry)＝(centx+wl/2,centy+hl)。
對于豎直方向的燈組，沿水平方向外擴，單幀燈眼模板區(qū)域為：
(tlx,tly)＝(centx-wl,centy-hl/2)；
(brx,bry)＝(centx+wl,centy+hl/2)。
本實施例中向外擴展的尺寸為二分之一燈眼尺寸，在實際的應(yīng)用中，向外擴展的尺寸可以做出調(diào)整，例如向外擴展三分之一燈眼尺寸。
步驟s4、在日間處理模式下，根據(jù)燈眼定位區(qū)域中每個像素點的本信號燈顏色濃度，以及對夜間處理模式下生成的單幀燈眼模板進行預(yù)處理得到的燈眼模板，進行模板匹配確定實際燈眼區(qū)域，提取實際燈眼區(qū)域中與燈眼模板匹配的像素點作為實際燈眼區(qū)域的前景點。
具體地，對夜間處理模式下生成的單幀燈眼模板進行預(yù)處理，得到燈眼模板的過程如下：
將夜間處理模式下生成的一系列單幀燈眼模板合并，并進行二值化處理得到燈眼模板s。
例如對一個信號燈燈眼，假設(shè)整個晚上收集了m個單幀燈眼模板，記為std(m)|m∈[1,m]，則燈眼模板s按以下方式計算：
先將m個單幀燈眼模板累加：
然后對累加模板stmp二值化，二值化門限ws可以由經(jīng)驗值設(shè)定，一般可取ws＝0.9m：
經(jīng)過二值化處理后，有效過濾了燈眼模板s的邊緣毛刺。
隨后，對燈眼模板s進行閉運算，根據(jù)占空比選擇模板尺寸：
其中，p為閉運算模板：
為了計算方便，一般使用以下的3*3閉運算模板，該閉運算模板也可以選擇5*5，閉運算模板中的具體參數(shù)也可以進行調(diào)整，例如都是1，目的是通過閉運算來填補燈眼模板中殘缺的部分。
然后，統(tǒng)計燈眼模板s0中心wl*hl范圍內(nèi)前景點所占比例rate，按以下方法調(diào)整模板區(qū)域，在模板區(qū)域不減小的前提下，使得rate盡量接近50％，以方便后續(xù)的模板匹配：
若rate小于50％，則以s0中心wl*hl區(qū)域作為實際模板，記為t0；
若rate大于50％，則以s0中心wl*hl區(qū)域開始，向外逐漸擴大模板區(qū)域，將rate處于
將最終燈眼模板t0的寬高記為wt、ht。
其中rate為50％，可以使得燈眼模板t0中前景點和背景各占一半，對應(yīng)于模板t中1和-1的比例大致相等，在后續(xù)的匹配中能夠抗干擾能力更強，位置精度更高。wl為實際燈眼尺寸的寬度，hl為實際燈眼尺寸的高度。
為了便于后續(xù)的計算，本實施例還將t0轉(zhuǎn)換為由1和-1表示，記為t：
t＝t0×2-1。
模板t有1和-1構(gòu)成，便于在實際燈眼區(qū)域中的前景點進行強化涂色時的計算，運算量大幅降低。
需要說明的是，對燈眼模板s進行閉運算、以及調(diào)整模版區(qū)域都是優(yōu)選的技術(shù)方案，本發(fā)明技術(shù)方案也可以直接以燈眼模版s來進行后續(xù)的運算。通過閉運算可以填補燈眼模板中殘缺的部分，調(diào)整模板區(qū)域可以優(yōu)化后續(xù)模板匹配過程，抗干擾能力更強。
上述對單幀燈眼模板進行預(yù)處理得到的燈眼模板，一天內(nèi)只在剛切換到白天時進行一次，得到的燈眼模板在日間處理模式中應(yīng)用。其中單幀燈眼模板累加和二值化，可以在夜間每得到一幀單幀燈眼模版后進行計算，也可以在剛切換到白天時進行一次計算，本發(fā)明對此不做限制。
本實施例進入日間處理模式，進行模板匹配得到確定實際燈眼區(qū)域，過程如下：
步驟s4.1、遍歷燈眼定位區(qū)域，獲取燈眼定位區(qū)域中每個像素點的本信號燈顏色濃度。
與步驟s3.1類似，以紅色信號燈為例，對于8位yuv制式的圖片，首先轉(zhuǎn)換為8位rgb格式：
然后，計算像素點(x,y)對應(yīng)的紅色濃度red(x,y)：
其中，thr用于過濾過暗的點，例如取值thr＝30。
步驟4.2、根據(jù)燈眼定位區(qū)域中以像素點為中心的與燈眼模板等大的區(qū)域與燈眼模板區(qū)域的匹配程度，確定該像素點的權(quán)重。
本步驟通過模板匹配確定燈眼定位區(qū)域中各個像素點的權(quán)重，根據(jù)如下公式直接進行匹配運算，得到權(quán)重w0：
w0(x,y)＝∑cor(rx,ry)×t(tx,ty)
其中，
(tx,ty)直接對應(yīng)：
其中wl為實際燈眼尺寸的寬度，hl為實際燈眼尺寸的高度。
然后，對w0進行歸一化運算：
過濾掉權(quán)重較小的值并歸一化：
其中，thw為權(quán)重過濾門限，例如取200。權(quán)重小于過濾門限的，該像素點可以確認(rèn)為背景，去除后可以降低背景的干擾。
需要說明的是，cor表示本信號燈顏色濃度，紅色濃度表示為red，若處理的信號燈為綠燈，則替換為綠色濃度gre：
其中，mag為綠色的補色品紅色，thg為綠色濃度提取的門限，用于過濾太暗的點，可取thg＝30。
本實施例進行模板匹配確定燈眼定位區(qū)域中各個像素點的權(quán)重，還可以通過如下方法來進行匹配，例如：
wtmp(x，y)＝σ|red(rx，ry)-255×t0(tx，ty)|
w0(x,y)＝max(wtmp)-wtmp(x,y)
其中，wtmp表示以像素點(x，y)為中心的區(qū)域與模板的標(biāo)準(zhǔn)差，t0為實際模板。
步驟4.3、根據(jù)每個像素點的權(quán)重，通過加權(quán)平均求實際燈眼中心，確定實際燈眼區(qū)域。
本實施例實際燈眼區(qū)域的燈眼中心坐標(biāo)記為(cx,cy)，則：
對應(yīng)實際燈眼區(qū)域坐標(biāo)為：((cx-wl/2,cy-hl/2),(cx+wl/2,cy+hl/2))，從而確定了實際燈眼區(qū)域。
步驟4.4、提取實際燈眼區(qū)域中與燈眼模板匹配的像素點作為實際燈眼區(qū)域的前景點。
實際燈眼區(qū)域內(nèi)與燈眼模板匹配的部分即為前景區(qū)域，使用矩陣lght標(biāo)記：
其中，t為燈眼模版，(sx,sy)表示實際燈眼區(qū)域內(nèi)像素點(x,y)在燈眼模板上的對應(yīng)坐標(biāo)：
即當(dāng)像素點(x,y)對應(yīng)燈眼模板上的坐標(biāo)(sx,sy)點值t(sx，sy)大于0，則該像素點(x,y)對應(yīng)的二值化圖像點lght(x，y)為1，為需要涂色的前景點，從而可以確定白天的視頻圖像中的前景點。
步驟s5、對實際燈眼區(qū)域中的前景點進行強化涂色。
通過上述夜間模式和日間模式的處理，對來自白天或夜間抓拍的視頻圖像，都能夠通過本發(fā)明的技術(shù)方案找到實際燈眼區(qū)域，確定實際燈眼區(qū)域中的前景點，從而可以將原始圖像上對應(yīng)的點涂上適當(dāng)?shù)念伾?，即紅色信號燈涂上紅色，綠色信號燈涂上綠色。
如圖2所示，本實施例一種基于晝夜成像特征的交通信號燈圖像強化裝置，該交通信號燈圖像強化裝置，包括：
燈眼定位模塊，用于獲取待處理視頻圖像及其對應(yīng)的信號燈狀態(tài)信息，確定所述待處理視頻圖像中信號燈狀態(tài)信息對應(yīng)的燈眼定位區(qū)域；
判斷模塊，用于判斷所述待處理視頻圖像是日間圖像還是夜間圖像，如果是夜間圖像則進入夜間處理模式，如果是日間圖像則進入日間處理模式；
夜間處理模塊，用于在夜間處理模式下，根據(jù)燈眼定位區(qū)域中每個像素點的亮度、以及每個像素點的本信號燈顏色濃度，確定前景點及實際燈眼區(qū)域，并生成單幀燈眼模板；
日間處理模塊，用于在日間處理模式下，根據(jù)燈眼定位區(qū)域中每個像素點的本信號燈顏色濃度，以及對夜間處理模式下生成的單幀燈眼模板進行預(yù)處理得到的燈眼模板，進行模板匹配確定實際燈眼區(qū)域，提取實際燈眼區(qū)域中與燈眼模板匹配的像素點作為實際燈眼區(qū)域的前景點；
強化涂色模塊，用于對實際燈眼區(qū)域中的前景點進行強化涂色。
與上述方法對應(yīng)地，本實施例基于晝夜成像特征的交通信號燈圖像強化裝置中各模塊，以如下優(yōu)選方式工作，對于其他可以替代的方案，這里不再贅述。
本實施例夜間處理模塊，在根據(jù)燈眼定位區(qū)域中每個像素點的亮度、以及每個像素點的本信號燈顏色濃度，確定前景點及實際燈眼區(qū)域，并生成單幀燈眼模板時，執(zhí)行如下操作：
遍歷燈眼定位區(qū)域，獲取燈眼定位區(qū)域中每個像素點的亮度、以及每個像素點的本信號燈顏色濃度；
沿信號燈燈組的垂直方向逐行掃描燈眼定位區(qū)域，對于每一行，若第一個本信號燈顏色濃度大于設(shè)定顏色濃度閾值的像素點與最后一個本信號燈顏色濃度大于設(shè)定顏色濃度閾值的像素點之間，存在亮度值大于設(shè)定亮度閾值的像素點，則將第一個本信號燈顏色濃度大于設(shè)定顏色濃度閾值的像素點與最后一個本信號燈顏色濃度大于設(shè)定顏色濃度閾值的像素點之間的像素點作為前景點；
在前景點組成的區(qū)域范圍內(nèi)，對亮度值進行二值化，根據(jù)二值化結(jié)果和實際燈眼尺寸計算每個前景點的權(quán)重，通過加權(quán)平均求實際燈眼中心，確定實際燈眼區(qū)域；
沿信號燈燈組的垂直方向，將實際燈眼區(qū)域兩側(cè)各向外擴展設(shè)定的尺寸生成單幀燈眼模板。
本實施例所述日間處理模塊，在對所述對夜間處理模式下生成的單幀燈眼模板進行預(yù)處理得到的燈眼模板時，執(zhí)行如下操作：
將夜間處理模式下生成的一系列單幀燈眼模板合并；
進行二值化處理得到燈眼模板s；
對燈眼模板s進行閉運算來填補燈眼模板s中殘缺的部分，得到閉運算后的燈眼模板s0；
統(tǒng)計燈眼模板s0中心wl*hl范圍內(nèi)前景點所占比例rate，若rate小于或等于50％，則以s0中心wl*hl區(qū)域作為實際模板；若rate大于50％，則以s0中心wl*hl區(qū)域開始，向外逐漸擴大模板區(qū)域，將rate處于
本實施例所述日間處理模塊，在根據(jù)燈眼定位區(qū)域中每個像素點的本信號燈顏色濃度，以及對夜間處理模式下生成的單幀燈眼模板進行預(yù)處理得到的燈眼模板，進行模板匹配確定實際燈眼區(qū)域，提取實際燈眼區(qū)域中與燈眼模板匹配的像素點作為實際燈眼區(qū)域的前景點時，執(zhí)行如下操作：
遍歷燈眼定位區(qū)域，獲取燈眼定位區(qū)域中每個像素點的本信號燈顏色濃度；
根據(jù)燈眼定位區(qū)域中以像素點為中心的與燈眼模板等大的區(qū)域與燈眼模板區(qū)域的匹配程度，確定該像素點的權(quán)重；
根據(jù)每個像素點的權(quán)重，通過加權(quán)平均求實際燈眼中心，確定實際燈眼區(qū)域。
另外，本實施例所述夜間處理模塊和日間處理模塊，在獲取燈眼定位區(qū)域中每個像素點的本信號燈顏色濃度時，執(zhí)行如下操作：
將燈眼定位區(qū)域的yuv格式的視頻圖像轉(zhuǎn)換為rgb格式的視頻圖像；
根據(jù)每個像素點的rgb顏色分量計算得到本信號燈顏色濃度；
所述夜間處理模塊，在獲取燈眼定位區(qū)域中每個像素點的亮度時，執(zhí)行如下操作：
將燈眼定位區(qū)域的yuv格式的視頻圖像轉(zhuǎn)換為rgb格式的視頻圖像；
根據(jù)每個像素點的rgb顏色分量和y分量計算得到像素點的亮度。
綜上所述，本技術(shù)方案的方法及裝置，利用了夜間成像特性避免了白天復(fù)雜背景對模板的影響，降低復(fù)雜背景對信號燈識別及圖像強化的干擾，使得圖像強化涂色更加準(zhǔn)確。
以上實施例僅用以說明本發(fā)明的技術(shù)方案而非對其進行限制，在不背離本發(fā)明精神及其實質(zhì)的情況下，熟悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護范圍。
- 還沒有人留言評論。精彩留言會獲得點贊！