專利名稱：基于單目多檢測面的機(jī)器視覺的車輛闖紅燈行為檢測裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種車輛闖紅燈行為檢測裝置，將機(jī)器視覺技術(shù)、圖像處理技術(shù)、數(shù)據(jù)通信技術(shù)、計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)等有效的綜合運(yùn)用于交通違章管理，尤其適用于專門檢測和處理闖紅燈行為的電子警察。
背景技術(shù)：
隨著經(jīng)濟(jì)的飛速發(fā)展，車輛數(shù)量的急劇增加，產(chǎn)生了日益嚴(yán)重的交通問題，如交通環(huán)境惡化、交通事故頻繁、交通擁擠阻塞等，特別是在北京、上海等中大型城市交通情況呈現(xiàn)惡化趨勢，每年我國的交通事故的死亡人數(shù)基本上處在10萬人左右水平，連續(xù)幾年居世界首位。在中國，交通事故每死3個(gè)人，有2個(gè)是由于違章駕駛。我國多年的交通事故統(tǒng)計(jì)資料顯示，交通事故的主要加害者是機(jī)動車駕駛員，而行人、乘車人和騎自行車的人是交通事故中的三大受害群體，死亡人數(shù)中的四分之三是行人、乘車人和騎自行車的人。許多統(tǒng)計(jì)資料表明，極大多數(shù)的嚴(yán)重的交通事故發(fā)生在十字路口，而其中的極大多數(shù)又是由于機(jī)動車駕駛員違章或闖紅燈造成的。目前我國的中大城市的交通管理中已經(jīng)普遍使用攝像機(jī)來監(jiān)視交通的違章，由于缺乏圖像處理技術(shù)和人工智能技術(shù)的支持，還需要大量的人力來進(jìn)行實(shí)時(shí)的觀測，從而對異常路面情況做出實(shí)時(shí)的反映，這種處理方法需要大量的人力投入，同時(shí)對監(jiān)視人員又要求有較高的素質(zhì)和注意力。采用這種工作方式的缺點(diǎn)是占用大量警力、執(zhí)法人員容易疲勞、不能全天候工作、無法提供有力證據(jù)。本發(fā)明的一種基于單 目多檢測面機(jī)器視覺的車輛闖紅燈行為檢測裝置用于無人職守的交通路口，裝置能自動對交通路口的情況進(jìn)行監(jiān)控，對車輛的行駛狀況進(jìn)行跟蹤監(jiān)視，自動記錄違反交通規(guī)則的車輛；發(fā)明中關(guān)鍵要解決的問題是實(shí)現(xiàn)能夠正確、快速檢測和識別視頻序列中闖紅燈的運(yùn)動車輛，這樣可以將所獲得的視頻信息用于法律裁決。我國的現(xiàn)行交通規(guī)則是 國務(wù)院在1988年3月9日發(fā)布的，規(guī)則中對路口車輛、行人的通行有明確的規(guī)定。在規(guī)則的第二章第十條中規(guī)定(1)綠燈亮?xí)r，準(zhǔn)許車輛、行人通行，但轉(zhuǎn)彎的車輛不準(zhǔn)妨礙直行的車輛和被放行的行人通行；(2)黃燈亮?xí)r，不準(zhǔn)車輛行人通行，但已越過停止線的車輛和已進(jìn)入人行橫道的行人，可以繼續(xù)通行；(3)紅燈亮?xí)r，不準(zhǔn)車輛、行人通行；(4)綠色箭頭燈亮?xí)r，準(zhǔn)許車輛按箭頭所示方向通行；(5)黃燈閃爍時(shí)，車輛、行人須在確保安全的原則下通行。右轉(zhuǎn)彎的車輛和T形路口右邊無橫道的直行車輛，遇到前款(2)、(3)條規(guī)定時(shí)，在不妨礙被放行的車輛和行人通行的情況下，可以通行。我國現(xiàn)行的交通法規(guī)在信號燈與車輛行駛狀況的關(guān)系方面可以用表I來歸納；
權(quán)利要求
1.一種基于單目多檢測面的機(jī)器視覺的車輛闖紅燈行為檢測裝置，所述的車輛闖紅燈行為檢測裝置包括微處理器和用于監(jiān)視路口情況的監(jiān)控傳感器，所述的微處理器包括 圖像數(shù)據(jù)讀取以及預(yù)處理模塊，用于讀取從監(jiān)控傳感器傳過來的視頻圖像信息，對視頻圖像信息進(jìn)行預(yù)處理； 虛擬檢測線設(shè)定、交通燈檢測區(qū)域設(shè)定、車道定制、車道與信號燈關(guān)聯(lián)定制模塊，用于定制車道的虛擬停車線、定制交通信號燈檢測區(qū)域、定制道路上的車道、定制車道與控制信號燈之間的關(guān)聯(lián)； 網(wǎng)絡(luò)傳輸模塊，用于將違章車輛的違章過程的圖像、時(shí)間和地點(diǎn)信息通過網(wǎng)絡(luò)傳輸?shù)浇痪芾聿块T； 其特征在于所述的監(jiān)控傳感器是單目多檢測面的高清攝像機(jī)，所述的單目多檢測面的高清攝像機(jī)包括用以反射信號燈區(qū)域范圍的折反射鏡面、用以拍攝在停車線附近區(qū)域車輛運(yùn)行狀態(tài)和信號燈狀態(tài)的高清攝像機(jī)，所述的折反射鏡面位于高清攝像機(jī)的前上方，通過折反射鏡面的折反射高清攝像機(jī)能拍攝到所監(jiān)控路口相對應(yīng)的信號燈狀態(tài)，另一方面通過高清攝像機(jī)還能拍攝到監(jiān)控路口停止線附近的狀態(tài)；在高清攝像機(jī)成像面上有兩個(gè)檢測面的圖像信息，其中上部為信號燈狀態(tài)的圖像，下部為與該信號燈狀態(tài)相對應(yīng)的路口狀態(tài)的圖像；一個(gè)高清攝像機(jī)的攝像范圍覆蓋道路上的所有車道，調(diào)整折反射鏡面的固定轉(zhuǎn)角，使得在高清攝像機(jī)成像的圖像中的上部能拍攝到信號燈狀態(tài)的圖像； 所述的微處理器還包括 色彩空間轉(zhuǎn)化模塊，用于對每個(gè)車道上的視頻圖像中的所述的交通燈檢測區(qū)域設(shè)定的信號燈區(qū)域的圖像RGB色彩空間轉(zhuǎn)換到HSV色彩空間； 信號燈狀態(tài)檢測模塊，用于對每個(gè)車道上的視頻圖像中的信號燈狀態(tài)的檢測； 運(yùn)動車輛檢測模塊，用于對每個(gè)車道上的視頻圖像中的運(yùn)動車輛對象的檢測； 車輛違章判斷模塊，用于檢測每個(gè)車道上的車輛是否存在著闖紅燈違章行為； 違章車輛的車牌號識別模塊，用于識別違章車輛的車牌號； 違章記錄生成模塊，用于將車輛違章行為的整個(gè)過程并同時(shí)間、地點(diǎn)、行駛方向和違章車輛的車牌號的信息一起生成一條違章記錄。
2.如權(quán)利要求1所述的基于單目多檢測面的機(jī)器視覺的車輛闖紅燈行為檢測裝置，其特征在于所述的單目多檢測面的高清攝像機(jī)，采用高清攝像機(jī)與折反射鏡面進(jìn)行一體化設(shè)計(jì)，在高清攝像機(jī)的支撐座上引出一根折反射鏡面支撐桿，支撐桿的一端與折反射鏡面用萬向連接副進(jìn)行連接，折反射鏡面相對高清攝像機(jī)的鏡頭位置能進(jìn)行任意角度的調(diào)整；實(shí)際安裝使用時(shí)，通過調(diào)整折反射鏡面與高清攝像機(jī)鏡頭的相對位置和角度，使得高清攝像機(jī)成像的圖像中的上部能拍攝到信號燈狀態(tài)的圖像；調(diào)整結(jié)束后鎖住萬向連接副以保證高清攝像機(jī)能有效地、精準(zhǔn)地獲取信號燈的狀態(tài)。
3.如權(quán)利要求1或2所述的基于單目多檢測面的機(jī)器視覺的車輛闖紅燈行為檢測裝置，其特征在于所述的虛擬檢測線設(shè)定、交通燈檢測區(qū)域設(shè)定、車道定制、車道與信號燈關(guān)聯(lián)定制模塊中，所述的虛擬檢測線設(shè)定用于建立與實(shí)際道路上的停車線相對應(yīng)的虛擬檢測線，定制的方法是直接通過高清攝像機(jī)拍攝的道路平面圖像上畫與停車線相重合的線；所述的交通燈檢測區(qū)域設(shè)定用于檢測信號燈的狀態(tài)，由于交通信號燈的位置固定，通過交通信號燈狀態(tài)檢測區(qū)域設(shè)定可以排除一些圖像的干擾，以提高檢測交通信號燈狀態(tài)的準(zhǔn)確性，定制的方法是直接通過高清攝像機(jī)拍攝的通過折反射鏡面成像部分圖像上畫與交通信號燈大小相吻合的區(qū)域；所述的車道定制用于設(shè)定在多車道上允許車輛運(yùn)行的方向，在一些城市中對多車道上明確規(guī)定了左行、直行、右行車道，車道通行方向設(shè)定必須與實(shí)際路口車道情況相一致，定制的方法是直接通過高清攝像機(jī)拍攝的道路平面圖像上畫與實(shí)際路口車道情況相一致的車道線，車道線定制后需要建立車道線與虛擬檢測線之間的關(guān)聯(lián)；所述的車道與信號燈關(guān)聯(lián)定制用于建立車道與信號燈之間的關(guān)聯(lián)，即左行車道與左行信號燈進(jìn)行關(guān)聯(lián)，直行車道與直行信號燈進(jìn)行關(guān)聯(lián)，右行車道與右行信號燈進(jìn)行關(guān)聯(lián)，由于前面建立了車道線與虛擬檢測線之間的關(guān)聯(lián)，因此這里就建立了虛擬檢測線與信號燈的關(guān)聯(lián)；根據(jù)這樣的關(guān)聯(lián)以及交通法規(guī)就能判斷車輛是否存在著闖紅燈行為以及越線行駛的違章行為。
4.如權(quán)利要求1或2所述的基于單目多檢測面的機(jī)器視覺的車輛闖紅燈行為檢測裝置，其特征在于所述的信號燈狀態(tài)檢測模塊中，首先，通過顏色歸一化處理，HSV的3個(gè)分量值均在O I之間；然后用顏色直方圖統(tǒng)計(jì)色調(diào)H在紅黃綠3種顏色范圍內(nèi)的像素個(gè)數(shù)Number{E,Y,G}，交通燈檢測區(qū)域中的像素總的像素個(gè)數(shù)記為Total，用公式(I)計(jì)算兩者的比例，NumRadio{i} = Number{i}/Totar e {R, Y, G} (I) 式中，Number{i}為紅黃綠3種顏色中某一種顏色在交通燈檢測區(qū)域的像素個(gè)數(shù)，Total為交通燈檢測區(qū)域的像素總的像素個(gè)數(shù)，NumRadio{i}為紅黃綠3種顏色中某一種顏色在交通燈檢測區(qū)域的像素個(gè)數(shù)值與該區(qū)域中的像素總的像素個(gè)數(shù)的比值； 最后進(jìn)行交通信號燈的狀態(tài)判斷，判斷方法由公式(2)給出， R.td,NumRadio{R, > 0.8 Yellow, NwnRadioi >0.8Color =式中， (jreeih KiHmRadioir, > 0.8 No Trajfic light signal or light flashesNumRadiow為紅色在交通燈檢測區(qū)域的像素個(gè)數(shù)值與該區(qū)域中的像素總的像素個(gè)數(shù)的比值，NumRadiom為黃色在交通燈檢測區(qū)域的像素個(gè)數(shù)值與該區(qū)域中的像素總的像素個(gè)數(shù)的比值，NumRadiote)為綠色在交通燈檢測區(qū)域的像素個(gè)數(shù)值與該區(qū)域中的像素總的像素個(gè)數(shù)的比值。
5.如權(quán)利要求1或2所述的基于單目多檢測面的機(jī)器視覺的車輛闖紅燈行為檢測裝置，其特征在于所述的運(yùn)動車輛檢測模塊中，用運(yùn)動歷史圖像算法提取出該車道上的前景運(yùn)動對象，判斷在該車道上的虛擬檢測線上是否存在著有運(yùn)動車輛對象； 所述運(yùn)動歷史圖像算法，即MHI算法，MHI中得到的運(yùn)動歷史圖像是一段時(shí)間間隔中的相鄰圖像幀進(jìn)行幀間差分和灰度化處理之后得到的，這種得到運(yùn)動歷史圖像的算法對于始終處于運(yùn)動狀態(tài)的目標(biāo)可以很好地得到運(yùn)動輪廓模板并且計(jì)算量比較小，MHI算法能用于創(chuàng)建一個(gè)運(yùn)動梯度圖像并通過SOBEL算子計(jì)算得到運(yùn)動梯度的方向和大小，同時(shí)利用該結(jié)果可進(jìn)一步用于估算對象的運(yùn)動方向，由于MHI算法不需要背景建模只進(jìn)行幀間差分處理就可以得到前景運(yùn)動對象，因而該算法對于提取前景運(yùn)動對象具有很高的實(shí)時(shí)性，計(jì)算方法如公式(3)所示，
6.如權(quán)利要求1或2所述的基于單目多檢測面的機(jī)器視覺的車輛闖紅燈行為檢測裝置，其特征在于所述的車輛違章判斷模塊中，分為兩種基本情況；第一種情況是有明確有車道交通燈的道路，第二種情況是有沒有明確車道交通燈而只有一個(gè)交通燈的道路； 第一種情況是針對有明確規(guī)定車道行駛方向的道路，首先可以根據(jù)虛擬車道上檢測是否有車輛變道行駛，如果有在直行道上的車輛發(fā)生右轉(zhuǎn)或者左轉(zhuǎn)都判定為違章行駛，這種情況與信號燈的狀況無關(guān)；其次是與信號燈有關(guān)的違章行駛，這種情況是要根據(jù)信號燈的狀況、虛擬車道以及停止虛擬線上的檢測情況來做判斷，一般情況下對于每個(gè)行駛方向每個(gè)車道都有相對應(yīng)的信號燈，且每個(gè)行駛方向也都有相對應(yīng)的停止線，因此可以依據(jù)我國現(xiàn)行的交通法規(guī)來進(jìn)行判斷，在某個(gè)車道上當(dāng)某個(gè)方向行駛的紅燈亮?xí)r，如果發(fā)現(xiàn)有車輛正在進(jìn)入停止虛擬線或者處在停止虛擬線位置上便認(rèn)為是闖紅燈，作為違章；當(dāng)某個(gè)車道上當(dāng)某個(gè)方向行駛的黃燈亮?xí)r，如果發(fā)現(xiàn)有車輛正在進(jìn)入停止虛擬線作為違章行為； 第二種情況是有沒有明確車道交通燈而只有一個(gè)交通燈的道路，這種情況的判斷要比第一種情況復(fù)雜一些，這是因?yàn)楦鶕?jù)我國現(xiàn)行的交通法規(guī)即使在紅燈的情況下靠近路右邊的車輛是允許右轉(zhuǎn)彎的，也就是說，并不是在紅燈的情況下所有超越停止虛擬線位置的車輛都是違章的，要區(qū)分是否有違章還要看后面車輛跟蹤的結(jié)果；具體做法是發(fā)現(xiàn)有車輛正在進(jìn)入停止虛擬線或者處在停止虛擬線位置上便設(shè)定該車輛越線狀態(tài)，然后繼續(xù)跟蹤，如果跟蹤發(fā)現(xiàn)設(shè)定了越線狀態(tài)的車輛并沒有向右轉(zhuǎn)彎，那么就作為違章行為。
7.如權(quán)利要求1或2所述的基于單目多檢測面的機(jī)器視覺的車輛闖紅燈行為檢測裝置，其特征在于在所述的車輛違章判斷模塊中判斷存在著有車輛闖紅燈情況時(shí)開始記錄機(jī)動車違章取證視頻圖像，開始抓拍第一個(gè)位置的圖像；隨著時(shí)間推移，檢測到車輛仍然向著信號燈禁止方向運(yùn)行情況下，繼續(xù)抓拍第二個(gè)和第三個(gè)位置的圖像，抓拍圖像的格式為JPEG。
8.如權(quán)利要求1或2所述的基于單目多檢測面的機(jī)器視覺的車輛闖紅燈行為檢測裝置，其特征在于所述的違章車輛的車牌號識別模塊中，根據(jù)高清攝像機(jī)所抓拍到第一個(gè)位置的違章車輛圖像信息，對車輛前部車牌上的號碼進(jìn)行識別；如果不能識別出違章車輛的車牌號，繼續(xù)用第二個(gè)位置的違章車輛圖像信息進(jìn)行車牌號識別，在第三個(gè)位置的違章車輛圖像信息進(jìn)行車牌號識別結(jié)果仍然無法識別的情況下，讓交通違章處理部門的人工確認(rèn)。
9.如權(quán)利要求1或2所述的基于單目多檢測面的機(jī)器視覺的車輛闖紅燈行為檢測裝置，其特征在于所述的違章記錄生成模塊中，用記錄中包括了 GA/T832-2009國家標(biāo)準(zhǔn)中規(guī)定的《道路交通安全違法行為圖像取證技術(shù)規(guī)范》和GA/T496-2004國際標(biāo)準(zhǔn)中規(guī)定的《闖紅燈自動記錄系統(tǒng)通用技術(shù)條件》所規(guī)定的具體要求和指標(biāo)內(nèi)容；抓拍第一個(gè)位置、第二個(gè)位置和第三個(gè)位置的圖像以及闖紅燈過程的視頻圖像均以附件形式添附在違章記錄下，附件名以時(shí)間+地點(diǎn)的方式命名；違章記錄以及附件保存在闖紅燈違章記錄數(shù)據(jù)庫中。
10.如權(quán)利要求8所述的基于單目多檢測面的機(jī)器視覺的車輛闖紅燈行為檢測裝置，其特征在于在抓拍第一位置、第二位置和第三位置的闖紅燈違章行為圖像時(shí)采用一種窄脈沖發(fā)生器發(fā)出的脈沖光進(jìn)行閃光輔助照明，閃光輔助照明有微處理器控制，在抓拍動作時(shí)同時(shí)啟動閃光輔助照明，脈沖光閃光持續(xù)時(shí)間為一般閃光持續(xù)時(shí)間的幾十分之一，閃光輔助照明安裝在單目多檢測面攝像機(jī)附近，閃光照明光線朝著路口停車線方向投射。
全文摘要
一種基于單目多檢測面的機(jī)器視覺的車輛闖紅燈行為檢測裝置，包括微處理器、用于監(jiān)視道路情況的監(jiān)控傳感器，監(jiān)控傳感器為單目多檢測面高清攝像機(jī)，通過單目多檢測面高清攝像機(jī)同時(shí)拍攝信號燈和信號燈相關(guān)的車道停車線附近的闖紅燈車輛的相關(guān)圖像，通過圖像處理技術(shù)識別交通信號燈的狀態(tài)和停車線附近車輛運(yùn)動狀態(tài)，根據(jù)國家相關(guān)法律法規(guī)自動判定車輛闖紅燈行為、自動生成違章記錄以及相關(guān)佐證材料。本發(fā)明提供一種檢測精準(zhǔn)、維護(hù)安裝方便和違章取證完整的基于單目多檢測面的機(jī)器視覺的車輛闖紅燈行為檢測裝置。
文檔編號G08G1/017GK103065470SQ20121055190
公開日2013年4月24日 申請日期2012年12月18日 優(yōu)先權(quán)日2012年12月18日
發(fā)明者湯一平, 劉康, 林璐璐, 夏少杰, 周靜愷, 徐海濤, 嚴(yán)杭晨, 黃磊磊, 馬寶慶, 俞立 申請人:浙江工業(yè)大學(xué)