本發(fā)明涉及一種車輛軌跡跟蹤及車牌識(shí)別系統(tǒng),同時(shí)還涉及該車輛軌跡跟蹤及車牌識(shí)別系統(tǒng)的識(shí)別方法。
背景技術(shù):
目前的城市物聯(lián)網(wǎng)管理系統(tǒng)中,對(duì)于安防的要求越來越高,特別是車輛的監(jiān)控,例如一些逃犯駕車逃逸后,無法及時(shí)的追蹤車輛,將目前的安防系統(tǒng)只能大致根據(jù)車輛顏色和車型款式人工的判斷,無法做到自動(dòng)監(jiān)測(cè),更加無法做到進(jìn)一步精確的實(shí)時(shí)跟蹤,從而無法跟蹤車輛的運(yùn)行軌跡。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明所要解決的第一個(gè)技術(shù)問題是:提供一種車輛軌跡跟蹤及車牌識(shí)別系統(tǒng),該車輛軌跡跟蹤及車牌識(shí)別系統(tǒng)能夠快速準(zhǔn)確的檢測(cè)行駛車輛的車牌,從而實(shí)現(xiàn)車輛的精準(zhǔn)識(shí)別跟蹤,提高安全性能。
本發(fā)明所要解決的第二個(gè)技術(shù)問題是:提供一種車輛軌跡跟蹤及車牌識(shí)別方法,該識(shí)別方法能夠監(jiān)視行駛的車輛,并定位車輛的車牌后對(duì)車牌進(jìn)行切分,然后再準(zhǔn)確的識(shí)別切分后的車牌,識(shí)別迅速,準(zhǔn)確度高。
為解決上述第一技術(shù)問題,本發(fā)明的技術(shù)方案是:一種車輛軌跡跟蹤及車牌識(shí)別系統(tǒng),包括設(shè)置于各監(jiān)測(cè)點(diǎn)上的特寫攝像頭,所述特寫攝像頭通過光端機(jī)和編碼器與設(shè)置于每個(gè)監(jiān)測(cè)點(diǎn)上的下游存儲(chǔ)模塊連接,該下游存儲(chǔ)模塊與云計(jì)算平臺(tái)通訊連接,所述云計(jì)算平臺(tái)中包括專用于分析識(shí)別車牌的車牌分析處理模塊,該車牌分析處理模塊包括
車輛檢測(cè)跟蹤模塊,該車輛檢測(cè)跟蹤模塊用于對(duì)特寫攝像頭拍攝的視頻進(jìn)行分析,跟蹤車輛的位置后根據(jù)車牌的清晰程度和車牌顯示面積的大小確定最佳時(shí)間段作為視頻分析對(duì)象;
車牌定位模塊,該車牌定位模塊以車牌框作為區(qū)別特征并且結(jié)合車牌底色對(duì)比的方式對(duì)視頻分析對(duì)象中的每一幀圖像均進(jìn)行分析,確定出車牌的具體位置得到定位結(jié)果圖片;
車牌矯正和精定位模塊,該車牌矯正和精定位模塊對(duì)定位結(jié)果圖片進(jìn)行矯正并提高圖像的銳度和清晰度,然后再次對(duì)每一幀圖像的定位結(jié)果進(jìn)行精確定位,再次剔除不相關(guān)的圖像部位得到精定位結(jié)果圖片;
車牌切分模塊,該車牌切分模塊對(duì)每一幀圖像的的精定位結(jié)果圖片均切分成若干個(gè)待識(shí)別圖片,每個(gè)待識(shí)別圖片中只包含一個(gè)文字;
字符識(shí)別模塊,該字符識(shí)別模塊將每個(gè)待識(shí)別圖片與數(shù)據(jù)庫中的預(yù)先儲(chǔ)存的車牌文字進(jìn)行一一對(duì)比得出初步識(shí)別結(jié)果;
結(jié)果決策模塊,該結(jié)果決策模塊根據(jù)車牌在視頻過程中留下的記錄信息結(jié)合每一幀圖片得到的初步識(shí)別結(jié)果的最大可信值得出該車牌的綜合可信度,得出輸出識(shí)別結(jié)果或是拒絕該結(jié)果繼續(xù)跟蹤該車牌的結(jié)論;
輸出管理模塊,該輸出管理模塊將結(jié)果決策模塊得到的識(shí)別結(jié)果輸出。
作為一種優(yōu)選的方案,所述的車牌分析處理模塊中還包括學(xué)習(xí)模塊和車牌跟蹤模塊;車牌跟蹤模塊根據(jù)車牌定位模塊得到的定位結(jié)果圖片再反饋至視頻中確定車輛運(yùn)行時(shí)車牌在視頻中的運(yùn)動(dòng)軌跡;學(xué)習(xí)模塊與車輛檢測(cè)跟蹤模塊、車牌定位模塊、車牌矯正和精定位模塊、車牌切分模塊、字符識(shí)別模塊、結(jié)果決策模塊、車牌跟蹤模塊均連接,學(xué)習(xí)模塊根據(jù)多次的車牌分析處理后,結(jié)合車牌在視頻中的運(yùn)動(dòng)軌跡、拍攝視頻的角度、圖片質(zhì)量和車輛運(yùn)行速度、監(jiān)測(cè)點(diǎn)周邊環(huán)境對(duì)各模塊進(jìn)行反饋指導(dǎo),使車牌定位模塊優(yōu)先識(shí)別每一幀圖片中車牌軌跡的位置,并指導(dǎo)其他模塊根據(jù)該監(jiān)測(cè)點(diǎn)的拍攝角度和拍攝環(huán)境做適應(yīng)性的優(yōu)化調(diào)整。
作為一種優(yōu)選的方案,所述監(jiān)測(cè)點(diǎn)包括道路的入口和出口監(jiān)測(cè)點(diǎn)、各公共場(chǎng)所的入口和出口的監(jiān)測(cè)點(diǎn)、小區(qū)和學(xué)校的入口和出口的檢測(cè)點(diǎn),其中道路入口和出口的監(jiān)測(cè)點(diǎn)上的特寫攝像頭的數(shù)目與道路的車道數(shù)一一對(duì)應(yīng),并在道路入口和出口的監(jiān)測(cè)點(diǎn)上設(shè)置有全景攝像頭和輔助光源,其中,設(shè)置于同一條道路的入口和出口監(jiān)測(cè)點(diǎn)上的特寫攝像頭分別對(duì)車輛的車頭和車尾進(jìn)行拍攝。
采用了上述技術(shù)方案后,本發(fā)明的效果是:該車輛軌跡跟蹤及車牌識(shí)別系統(tǒng)是集圖像數(shù)字采集、存儲(chǔ)和車牌實(shí)時(shí)自動(dòng)識(shí)別諸多功能于一身的智能視頻處理系統(tǒng),可廣泛應(yīng)用于道路通行車輛監(jiān)控與報(bào)警。該系統(tǒng)實(shí)現(xiàn)了治安管理的現(xiàn)代化和智能化,提供了功能強(qiáng)大的智能監(jiān)測(cè)系統(tǒng),為平安校園的建設(shè)發(fā)揮重要作用。系統(tǒng)檢測(cè)實(shí)時(shí)記錄過往監(jiān)控點(diǎn)的每一輛機(jī)動(dòng)車的圖像;對(duì)運(yùn)行車輛的流量情況進(jìn)行常年不間斷的自動(dòng)記錄、分析和存儲(chǔ);實(shí)現(xiàn)車輛牌照信息的抓拍和識(shí)別,并連接在云平臺(tái)上可與黑名單比對(duì),對(duì)可疑車輛進(jìn)行抓拍、跟蹤和報(bào)警,該識(shí)別系統(tǒng)先確定車輛運(yùn)行的最佳時(shí)間段然后統(tǒng)一的識(shí)別該時(shí)間段內(nèi)的每一幀圖像,得到一個(gè)綜合的識(shí)別結(jié)果,識(shí)別的準(zhǔn)確度大大的提高,而每個(gè)監(jiān)測(cè)點(diǎn)均對(duì)車牌進(jìn)行了識(shí)別,即可對(duì)可疑車輛進(jìn)行跟蹤,得出車輛的軌跡。
又由于所述的車牌分析處理模塊中還包括學(xué)習(xí)模塊和車牌跟蹤模塊;車牌跟蹤模塊根據(jù)車牌定位模塊得到的定位結(jié)果圖片再反饋至視頻中確定車輛運(yùn)行時(shí)車牌在視頻中的運(yùn)動(dòng)軌跡;學(xué)習(xí)模塊與車輛檢測(cè)跟蹤模塊、車牌定位模塊、車牌矯正和精定位模塊、車牌切分模塊、字符識(shí)別模塊、結(jié)果決策模塊、車牌跟蹤模塊均連接,學(xué)習(xí)模塊根據(jù)多次的車牌分析處理后,結(jié)合車牌在視頻中的運(yùn)動(dòng)軌跡、拍攝視頻的角度、圖片質(zhì)量和車輛運(yùn)行速度、監(jiān)測(cè)點(diǎn)周邊環(huán)境對(duì)各模塊進(jìn)行反饋指導(dǎo),使車牌定位模塊優(yōu)先識(shí)別每一幀圖片中車牌軌跡的位置,并指導(dǎo)其他模塊根據(jù)該監(jiān)測(cè)點(diǎn)的拍攝角度和拍攝環(huán)境做適應(yīng)性的優(yōu)化調(diào)整,因此,該識(shí)別系統(tǒng)還可帶自學(xué)習(xí)模式,可根據(jù)監(jiān)測(cè)點(diǎn)的環(huán)境適應(yīng)性的調(diào)整,從而提高了識(shí)別速度。
為解決上述第二技術(shù)問題,本發(fā)明的技術(shù)方案是:一種車輛軌跡跟蹤及車牌識(shí)別方法,該方法包括以下步驟:
A、在監(jiān)測(cè)點(diǎn)設(shè)置特寫攝像頭,用于拍攝過往車輛的視頻;
B、利用車輛檢測(cè)跟蹤模塊對(duì)特寫攝像頭拍攝的視頻進(jìn)行分析,當(dāng)車輛檢測(cè)跟蹤模塊發(fā)現(xiàn)拍攝的視頻中有車輛通過時(shí),車輛檢測(cè)跟蹤模塊跟蹤車輛的位置后根據(jù)車牌的清晰程度和車牌顯示面積的大小確定拍攝視頻中的最佳時(shí)間段作為視頻分析對(duì)象;
C、該車牌定位模塊以車牌框作為區(qū)別特征并且結(jié)合車牌底色作為輔助區(qū)別特征,該車牌定位模塊對(duì)視頻分析對(duì)象中的每一幀圖像均進(jìn)行分析,將視頻分析對(duì)象中的每一幀圖像中劃分為易定位圖像和難定位圖像,易定位圖像中包含了上述區(qū)別特征以及輔助區(qū)別特征,即可確定出車牌的具體位置得到定位結(jié)果圖片;難定位圖像中以車牌框作為區(qū)別技術(shù)特征無法定位時(shí),以車牌底色的輔助區(qū)別特征再次定位,定位后的結(jié)果再參考其他易定位圖像中的定位結(jié)果,若該難定位圖像中的定位結(jié)果的車牌位置與易定位圖像中的車牌按照直線軌跡變化時(shí),則表明該難定位圖像中的定位結(jié)果準(zhǔn)確,若該難定位圖像中的定位結(jié)果的車牌位置與易定位圖像中的車牌位置不按照直線軌跡變化時(shí),則該難定位圖像的定位結(jié)果不準(zhǔn)確,則該無定位結(jié)果的易定位圖像不作為判定基礎(chǔ);
D、車牌矯正和精定位模塊對(duì)定位結(jié)果圖片進(jìn)行矯正并提高圖像的銳度和清晰度,上述的難定位圖像的定位結(jié)果圖片中,可能存在多個(gè)顏色與車牌底色相同的區(qū)域,車牌矯正和精定位模塊對(duì)這些區(qū)域再次篩選,再次按照車輛運(yùn)行的軌跡進(jìn)行篩分,最終得到一幅與易定位圖像中車牌運(yùn)行軌跡吻合的定位結(jié)果圖片,多個(gè)定位結(jié)果圖片經(jīng)過精定位后得到一組精定位結(jié)果圖片;
E、通過車牌切分模塊將精定位結(jié)果圖片劃分成若干個(gè)包含單個(gè)文字的待識(shí)別圖片,然后通過字符識(shí)別模塊將每個(gè)待識(shí)別圖片與數(shù)據(jù)庫中的預(yù)先儲(chǔ)存的車牌文字進(jìn)行一一對(duì)比得出初步識(shí)別結(jié)果;
F、結(jié)果決策模塊對(duì)所有的初步識(shí)別結(jié)果進(jìn)行分析,根據(jù)車牌在視頻過程中留下的記錄信息結(jié)合初步識(shí)別結(jié)果的最大可信值得出該車牌的綜合可信度,最終得出輸出識(shí)別結(jié)果或是拒絕該結(jié)果繼續(xù)跟蹤該車牌的結(jié)論;
其中,優(yōu)選的,該步驟F中的最大可信值的具體判定方式為:若初步識(shí)別結(jié)果是唯一的結(jié)果文字,則該唯一的結(jié)果文字作為最終識(shí)別結(jié)果,若初步識(shí)別結(jié)果中得到多個(gè)可能結(jié)果文字,此時(shí)判定該初步結(jié)果中得到各可能結(jié)果文字的圖片數(shù)量并同時(shí)參考該圖片數(shù)量中的易定位圖片所占比例,占圖片數(shù)量最多且易定位圖片最多的的可能結(jié)果文字作為最終識(shí)別結(jié)果。
其中,優(yōu)選的,該車輛軌跡跟蹤及車牌識(shí)別方法還包括自學(xué)習(xí)模式,其具體方式為:每個(gè)監(jiān)測(cè)點(diǎn)的特寫攝像頭拍攝的視頻中,拍攝的角度和環(huán)境中的靜止物體始終不變,利用車牌跟蹤模塊跟蹤視頻中的車牌的運(yùn)行軌跡,綜合多個(gè)視頻分析對(duì)象得出車牌在多個(gè)視頻中的集中運(yùn)行區(qū)域后,車牌定位模塊、車牌矯正和精定位模塊優(yōu)先識(shí)別該集中運(yùn)行區(qū)域;車牌切分模塊和字符識(shí)別模塊經(jīng)過該監(jiān)測(cè)點(diǎn)的多次識(shí)別后適應(yīng)性的修正切分的角度和字符識(shí)別角度。
其中,進(jìn)一步優(yōu)選的,該車輛軌跡跟蹤及車牌識(shí)別方法中的特寫攝像頭包括用于對(duì)準(zhǔn)車頭拍攝的車頭特寫攝像頭和用于對(duì)準(zhǔn)車尾拍攝的車尾攝像頭,該車輛軌跡跟蹤及車牌識(shí)別方法還包括車標(biāo)識(shí)別,云計(jì)算平臺(tái)的數(shù)據(jù)庫內(nèi)預(yù)先儲(chǔ)存了汽車的常見車標(biāo)圖片以及常見的每款車型的車頭車標(biāo)位置圖片和車尾車標(biāo)位置圖片,在步驟C中車牌定位的同時(shí)還對(duì)定位車標(biāo)進(jìn)行定位,然后再將定位后的車標(biāo)與數(shù)據(jù)庫中的車頭車標(biāo)位置圖片和車尾車標(biāo)位置圖片進(jìn)行比對(duì),得出車標(biāo)識(shí)別結(jié)果。
采用了上述技術(shù)方案后,本發(fā)明的效果是:該識(shí)別方法首先確定最佳時(shí)間段作為視頻分析對(duì)象,確保了后續(xù)的分析識(shí)別的準(zhǔn)確度,降低了識(shí)別難度;其次對(duì)視頻分析對(duì)象的每一幀圖像均識(shí)別分析,得到綜合性的概率性的結(jié)果,使結(jié)果更加準(zhǔn)確,避免了偶然概率的發(fā)生;再次該識(shí)別方法在車牌定位后再次矯正和精定位,進(jìn)一提高了識(shí)別的準(zhǔn)確性;最后該識(shí)別方法通過文字切分的方式切分后再單獨(dú)對(duì)比,并通過結(jié)果決策模塊綜合性的判斷識(shí)別結(jié)構(gòu)的可信度,最終得出可信度最大的識(shí)別結(jié)果,該識(shí)別方法識(shí)別準(zhǔn)確,可全天候的識(shí)別監(jiān)測(cè)點(diǎn)上的過往車輛,無需設(shè)置外部觸發(fā)裝置,主動(dòng)對(duì)過往車輛的車牌進(jìn)行監(jiān)測(cè),滿足公安系統(tǒng)中日益嚴(yán)格的監(jiān)控要求。
又由于該步驟F中的最大可信值的具體判定方式為:若初步識(shí)別結(jié)果是唯一的結(jié)果文字,則該唯一的結(jié)果文字作為最終識(shí)別結(jié)果,若初步識(shí)別結(jié)果中得到多個(gè)可能結(jié)果文字,此時(shí)判定該初步結(jié)果中得到各可能結(jié)果文字的圖片數(shù)量并同時(shí)參考該圖片數(shù)量中的易定位圖片所占比例,占圖片數(shù)量最多且易定位圖片最多的的可能結(jié)果文字作為最終識(shí)別結(jié)果,該最大可信值的判斷結(jié)果準(zhǔn)確度更高。
另外,該識(shí)別方法可以根據(jù)每個(gè)檢測(cè)點(diǎn)的識(shí)別狀態(tài)進(jìn)行適應(yīng)性的調(diào)整,使識(shí)別的速度提高同時(shí)又不影響識(shí)別的準(zhǔn)確性。該識(shí)別方法兼顧車標(biāo)識(shí)別,可進(jìn)一步識(shí)別的車牌與車標(biāo)對(duì)應(yīng),減少套牌車輛的影響。
附圖說明
下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)一步說明。
圖1是本發(fā)明實(shí)施例的工作原理圖;
附圖中:1.視頻輸入管理模塊;11.特寫攝像頭;12.全景攝像頭;2.車牌分析處理模塊;21.車輛檢測(cè)跟蹤模塊;22.車牌定位模塊;23.車牌矯正和精定位模塊;24.車牌切分模塊;25.字符識(shí)別模塊;26.結(jié)果決策模塊;27.輸出管理模塊;28.學(xué)習(xí)模塊;29.車牌跟蹤模塊;3.下游存儲(chǔ)模塊。
具體實(shí)施方式
下面通過具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)描述。
如圖1所示,一種車輛軌跡跟蹤及車牌識(shí)別系統(tǒng),包括設(shè)置于各監(jiān)測(cè)點(diǎn)上的特寫攝像頭11,所述特寫攝像頭11通過光端機(jī)和編碼器與設(shè)置于每個(gè)監(jiān)測(cè)點(diǎn)上的下游存儲(chǔ)模塊3連接,該下游存儲(chǔ)模塊3與云計(jì)算平臺(tái)通訊連接,所述云計(jì)算平臺(tái)中包括專用于分析識(shí)別車牌的車牌分析處理模塊2,當(dāng)然,云計(jì)算平臺(tái)上還包括云存儲(chǔ)模塊和其他模塊,城市中的其他智慧系統(tǒng)均可集成在云計(jì)算平臺(tái)上。為了進(jìn)一步方便人工觀察,在每個(gè)監(jiān)測(cè)點(diǎn)上還增加了全景攝像頭12,用來拍攝監(jiān)測(cè)點(diǎn)當(dāng)時(shí)周圍的環(huán)境;并且每個(gè)攝像頭均設(shè)置有高頻閃光燈補(bǔ)光,方便夜間拍攝。特寫攝像頭11和全景攝像頭12構(gòu)成了視頻輸入管理模塊1,拍攝的視頻傳輸至下游存儲(chǔ)模塊3內(nèi),采用容量存滿后覆蓋的方式實(shí)現(xiàn)持續(xù)存儲(chǔ)。
所述監(jiān)測(cè)點(diǎn)包括道路的入口和出口監(jiān)測(cè)點(diǎn)、各公共場(chǎng)所的入口和出口的監(jiān)測(cè)點(diǎn)、小區(qū)和學(xué)校的入口和出口的檢測(cè)點(diǎn),其中道路入口和出口的監(jiān)測(cè)點(diǎn)上的特寫攝像頭11的數(shù)目與道路的車道數(shù)一一對(duì)應(yīng),其中,設(shè)置于同一條道路的入口和出口監(jiān)測(cè)點(diǎn)上的特寫攝像頭11分別對(duì)車輛的車頭和車尾進(jìn)行拍攝,其可以采用至少兩種方式實(shí)現(xiàn),一種是同一個(gè)道路入口的特寫攝像頭11和出口的特寫攝像頭11的的安裝方向不同,例如,入口攝像頭拍攝的是車尾,出口的特寫攝像頭11拍攝的是車頭。另一種方式在入口和處口均安裝了拍攝車頭的攝像頭和拍攝車尾的攝像頭,兩種方式均可,而本實(shí)施例優(yōu)選的采用前者。
該車牌分析處理模塊2包括
車輛檢測(cè)跟蹤模塊21,該車輛檢測(cè)跟蹤模塊21用于對(duì)特寫攝像頭11拍攝的視頻進(jìn)行分析,跟蹤車輛的位置后根據(jù)車牌的清晰程度和車牌顯示面積的大小確定最佳時(shí)間段作為視頻分析對(duì)象;該車輛檢測(cè)跟蹤模塊21能夠很好的克服各種外界的干擾,得到更加合理的識(shí)別結(jié)果。
車牌定位模塊22,該車牌定位模塊22以車牌框作為區(qū)別特征并且結(jié)合車牌底色對(duì)比的方式對(duì)視頻分析對(duì)象中的每一幀圖像均進(jìn)行分析,確定出車牌的具體位置得到定位結(jié)果圖片;適用于各種復(fù)雜的背景環(huán)境和不同的攝像角度,由于每個(gè)檢測(cè)點(diǎn)的拍攝角度不變,可以通過學(xué)習(xí)足夠的樣本快速的訓(xùn)練出不同車牌類型的檢測(cè)模型。其中,上述的區(qū)別特征需要預(yù)先錄入,我國車輛的號(hào)牌有二十多種,即"大型汽車前號(hào)牌、小型汽車號(hào)牌、領(lǐng)館汽車號(hào)牌、境外汽車號(hào)牌、外籍汽車號(hào)牌、試驗(yàn)汽車號(hào)牌、教練汽車號(hào)牌、掛車號(hào)牌、武警汽車號(hào)牌、警用汽車號(hào)牌、軍隊(duì)小型汽車號(hào)牌、軍隊(duì)大型汽車號(hào)牌、使館汽車號(hào)牌、大型汽車后號(hào)牌、2002式號(hào)牌、農(nóng)用運(yùn)輸車號(hào)牌、摩托車號(hào)牌、拖拉機(jī)號(hào)牌、其他號(hào)牌"。各車牌均可錄入一種樣式作為區(qū)別特征,方便識(shí)別。
車牌矯正和精定位模塊23,該車牌矯正和精定位模塊23對(duì)定位結(jié)果圖片進(jìn)行矯正并提高圖像的銳度和清晰度,然后再次對(duì)每一幀圖像的定位結(jié)果進(jìn)行精確定位,再次剔除不相關(guān)的圖像部位得到精定位結(jié)果圖片。
車牌切分模塊24,該車牌切分模塊24對(duì)每一幀圖像的的精定位結(jié)果圖片均切分成若干個(gè)待識(shí)別圖片,每個(gè)待識(shí)別圖片中只包含一個(gè)文字;利用了車牌文字的灰度、顏色、邊緣分布等各種特征,能較好地抑制車牌周圍其他噪聲的影響,并能容忍一定傾斜角度的車牌。其中,云計(jì)算平臺(tái)的數(shù)據(jù)庫中可存儲(chǔ)各種車牌常用字符。
字符識(shí)別模塊25,該字符識(shí)別模塊25將每個(gè)待識(shí)別圖片與數(shù)據(jù)庫中的預(yù)先儲(chǔ)存的車牌文字進(jìn)行一一對(duì)比得出初步識(shí)別結(jié)果;數(shù)據(jù)庫中預(yù)先儲(chǔ)存的字符包括:
Ⅰ"0—9"十個(gè)阿拉伯?dāng)?shù)字;
Ⅱ"A—Z"二十六個(gè)英文字母;
Ⅲ省市區(qū)漢字簡稱(京、津、晉、冀、蒙、遼、吉、黑、滬、蘇、浙、皖、閩、贛、魯、豫、鄂、湘、粵、桂、瓊、川、貴、云、藏、陜、甘、青、寧、新、渝);
Ⅳ軍牌漢字(軍、海、空、集、北、沈、南、蘭、廣、成、濟(jì));
Ⅴ號(hào)牌分類用漢字(警、學(xué)、領(lǐng)、試、掛、港、澳);
Ⅵ武警車牌字;
結(jié)果決策模塊26,該結(jié)果決策模塊26根據(jù)車牌在視頻過程中留下的記錄信息結(jié)合每一幀圖片得到的初步識(shí)別結(jié)果的最大可信值得出該車牌的綜合可信度,得出輸出識(shí)別結(jié)果或是拒絕該結(jié)果繼續(xù)跟蹤該車牌的結(jié)論;其中,記錄信息包括識(shí)別結(jié)果、識(shí)別可信度、軌跡記錄、相似度記錄等,一個(gè)車牌的最終識(shí)別結(jié)果是通過分析所有幀的識(shí)別結(jié)果,對(duì)它們進(jìn)行智能化的歸類和投票,并結(jié)合一定的文法信息綜合而成。這種方法綜合利用了所有幀的信息,減少了以往基于單幅圖像的識(shí)別算法所帶來的偶然性錯(cuò)誤,大大提高了系統(tǒng)的識(shí)別率和識(shí)別結(jié)果的正確性和可靠性。
輸出管理模塊27,該輸出管理模塊27將結(jié)果決策模塊26得到的識(shí)別結(jié)果輸出。
本實(shí)施例中,所述的車牌分析處理模塊2中還包括學(xué)習(xí)模塊28和車牌跟蹤模塊29;
車牌跟蹤模塊29根據(jù)車牌定位模塊22得到的定位結(jié)果圖片再反饋至視頻中確定車輛運(yùn)行時(shí)車牌在視頻中的運(yùn)動(dòng)軌跡;該車牌跟蹤模塊29具有一定容錯(cuò)能力的運(yùn)動(dòng)模型和更新模型,使得那些被短時(shí)間遮擋或瞬間模糊的車牌仍能被正確地跟蹤和預(yù)測(cè)。
學(xué)習(xí)模塊28與車輛檢測(cè)跟蹤模塊21、車牌定位模塊22、車牌矯正和精定位模塊23、車牌切分模塊24、字符識(shí)別模塊25、結(jié)果決策模塊26、車牌跟蹤模塊29均連接,學(xué)習(xí)模塊28根據(jù)多次的車牌分析處理后,結(jié)合車牌在視頻中的運(yùn)動(dòng)軌跡、拍攝視頻的角度、圖片質(zhì)量和車輛運(yùn)行速度、監(jiān)測(cè)點(diǎn)周邊環(huán)境對(duì)各模塊進(jìn)行反饋指導(dǎo),使車牌定位模塊22優(yōu)先識(shí)別每一幀圖片中車牌軌跡的位置,并指導(dǎo)其他模塊根據(jù)該監(jiān)測(cè)點(diǎn)的拍攝角度和拍攝環(huán)境做適應(yīng)性的優(yōu)化調(diào)整。
本實(shí)施例還公開了一種車輛軌跡跟蹤及車牌識(shí)別方法,該方法包括以下步驟:
A、在監(jiān)測(cè)點(diǎn)設(shè)置特寫攝像頭11,用于拍攝過往車輛的視頻;
B、利用車輛檢測(cè)跟蹤模塊21對(duì)特寫攝像頭11拍攝的視頻進(jìn)行分析,當(dāng)車輛檢測(cè)跟蹤模塊21發(fā)現(xiàn)拍攝的視頻中有車輛通過時(shí),車輛檢測(cè)跟蹤模塊21跟蹤車輛的位置后根據(jù)車牌的清晰程度和車牌顯示面積的大小確定拍攝視頻中的最佳時(shí)間段作為視頻分析對(duì)象;
C、該車牌定位模塊22以車牌框作為區(qū)別特征并且結(jié)合車牌底色作為輔助區(qū)別特征,該車牌定位模塊22對(duì)視頻分析對(duì)象中的每一幀圖像均進(jìn)行分析,將視頻分析對(duì)象中的每一幀圖像中劃分為易定位圖像和難定位圖像,易定位圖像中包含了上述區(qū)別特征以及輔助區(qū)別特征,即可確定出車牌的具體位置得到定位結(jié)果圖片;難定位圖像中以車牌框作為區(qū)別技術(shù)特征無法定位時(shí),以車牌底色的輔助區(qū)別特征再次定位,定位后的結(jié)果再參考其他易定位圖像中的定位結(jié)果,若該難定位圖像中的定位結(jié)果的車牌位置與易定位圖像中的車牌按照直線軌跡變化時(shí),則表明該難定位圖像中的定位結(jié)果準(zhǔn)確,若該難定位圖像中的定位結(jié)果的車牌位置與易定位圖像中的車牌位置不按照直線軌跡變化時(shí),則該難定位圖像的定位結(jié)果不準(zhǔn)確,則該無定位結(jié)果的易定位圖像不作為判定基礎(chǔ);
D、車牌矯正和精定位模塊23對(duì)定位結(jié)果圖片進(jìn)行矯正并提高圖像的銳度和清晰度,上述的難定位圖像的定位結(jié)果圖片中,可能存在多個(gè)顏色與車牌底色相同的區(qū)域,車牌矯正和精定位模塊23對(duì)這些區(qū)域再次篩選,再次按照車輛運(yùn)行的軌跡進(jìn)行篩分,最終得到一幅與易定位圖像中車牌運(yùn)行軌跡吻合的定位結(jié)果圖片,多個(gè)定位結(jié)果圖片經(jīng)過精定位后得到一組精定位結(jié)果圖片;
E、通過車牌切分模塊24將精定位結(jié)果圖片劃分成若干個(gè)包含單個(gè)文字的待識(shí)別圖片,然后通過字符識(shí)別模塊25將每個(gè)待識(shí)別圖片與數(shù)據(jù)庫中的預(yù)先儲(chǔ)存的車牌文字進(jìn)行一一對(duì)比得出初步識(shí)別結(jié)果;
F、結(jié)果決策模塊26對(duì)所有的初步識(shí)別結(jié)果進(jìn)行分析,根據(jù)車牌在視頻過程中留下的記錄信息結(jié)合初步識(shí)別結(jié)果的最大可信值得出該車牌的綜合可信度,最終得出輸出識(shí)別結(jié)果或是拒絕該結(jié)果繼續(xù)跟蹤該車牌的結(jié)論;
該步驟F中的最大可信值的具體判定方式為:若初步識(shí)別結(jié)果是唯一的結(jié)果文字,則該唯一的結(jié)果文字作為最終識(shí)別結(jié)果,若初步識(shí)別結(jié)果中得到多個(gè)可能結(jié)果文字,此時(shí)判定該初步結(jié)果中得到各可能結(jié)果文字的圖片數(shù)量并同時(shí)參考該圖片數(shù)量中的易定位圖片所占比例,占圖片數(shù)量最多且易定位圖片最多的的可能結(jié)果文字作為最終識(shí)別結(jié)果。
該車輛軌跡跟蹤及車牌識(shí)別方法還包括自學(xué)習(xí)模式,其具體方式為:每個(gè)監(jiān)測(cè)點(diǎn)的特寫攝像頭11拍攝的視頻中,拍攝的角度和環(huán)境中的靜止物體始終不變,利用車牌跟蹤模塊29跟蹤視頻中的車牌的運(yùn)行軌跡,綜合多個(gè)視頻分析對(duì)象得出車牌在多個(gè)視頻中的集中運(yùn)行區(qū)域后,車牌定位模塊22、車牌矯正和精定位模塊23優(yōu)先識(shí)別該集中運(yùn)行區(qū)域;車牌切分模塊24和字符識(shí)別模塊25經(jīng)過該監(jiān)測(cè)點(diǎn)的多次識(shí)別后適應(yīng)性的修正切分的角度和字符識(shí)別角度。
該車輛軌跡跟蹤及車牌識(shí)別方法中的特寫攝像頭11包括用于對(duì)準(zhǔn)車頭拍攝的車頭特寫攝像頭11和用于對(duì)準(zhǔn)車尾拍攝的車尾攝像頭,該車輛軌跡跟蹤及車牌識(shí)別方法還包括車標(biāo)識(shí)別,云計(jì)算平臺(tái)的數(shù)據(jù)庫內(nèi)預(yù)先儲(chǔ)存了汽車的常見車標(biāo)圖片以及常見的每款車型的車頭車標(biāo)位置圖片和車尾車標(biāo)位置圖片,在步驟C中車牌定位的同時(shí)還對(duì)定位車標(biāo)進(jìn)行定位,然后再將定位后的車標(biāo)與數(shù)據(jù)庫中的車頭車標(biāo)位置圖片和車尾車標(biāo)位置圖片進(jìn)行比對(duì),得出車標(biāo)識(shí)別結(jié)果。該車標(biāo)的識(shí)別并非是必須項(xiàng),只是可根據(jù)實(shí)際的需求進(jìn)行啟動(dòng),例如,當(dāng)懷疑車輛出現(xiàn)套牌時(shí),可以啟動(dòng)該功能。
以上所述實(shí)施例僅是對(duì)本發(fā)明的優(yōu)選實(shí)施方式的描述,不作為對(duì)本發(fā)明范圍的限定,在不脫離本發(fā)明設(shè)計(jì)精神的基礎(chǔ)上,對(duì)本發(fā)明技術(shù)方案作出的各種變形和改造,均應(yīng)落入本發(fā)明的權(quán)利要求書確定的保護(hù)范圍內(nèi)。