本發(fā)明涉及監(jiān)控領(lǐng)域,具體而言,涉及一種車(chē)輛監(jiān)控的方法和裝置、處理器、圖像采集設(shè)備。
背景技術(shù):
目前在高清卡口系統(tǒng)中,帶有圖片抓拍和駕駛者人臉、安全帶檢測(cè)、遮陽(yáng)板檢測(cè)等模式識(shí)別技術(shù)的高清網(wǎng)絡(luò)攝像機(jī),簡(jiǎn)稱抓拍機(jī)。對(duì)于交警、公安等用戶而言,要求抓拍機(jī)拍攝的圖片清晰且易于識(shí)別,以方便為治安刑偵、緝查布控、肇事逃逸等時(shí)間業(yè)務(wù)事件發(fā)生后的查找線索等業(yè)務(wù)提供數(shù)據(jù)支撐。
基于上述業(yè)務(wù)需求,抓拍機(jī)一般會(huì)選取拍攝的車(chē)輛圖片的感興趣區(qū)域來(lái)進(jìn)行圖像處理或特征識(shí)別,現(xiàn)有技術(shù)中進(jìn)行圖像處理的準(zhǔn)確性不夠;并且在進(jìn)行圖像識(shí)別時(shí)未考慮監(jiān)控車(chē)輛的車(chē)型、圖像前期處理等因素對(duì)特征識(shí)別結(jié)果的影響,因此其特征識(shí)別或圖像處理的結(jié)果都不夠理想,存在監(jiān)控車(chē)輛的圖像檢測(cè)識(shí)別率較低的問(wèn)題。
針對(duì)上述的問(wèn)題,目前尚未提出有效的解決方案。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明實(shí)施例提供了一種車(chē)輛監(jiān)控的方法和裝置、處理器、圖像采集設(shè)備,以至少解決監(jiān)控車(chē)輛的圖像檢測(cè)識(shí)別率較低的技術(shù)問(wèn)題。
根據(jù)本發(fā)明實(shí)施例的一個(gè)方面,提供了一種車(chē)輛監(jiān)控方法,該車(chē)輛監(jiān)控方法包括:識(shí)別監(jiān)控到的車(chē)輛圖像中的車(chē)窗區(qū)域圖像;對(duì)上述車(chē)窗區(qū)域圖像進(jìn)行特征識(shí)別,得到目標(biāo)特征的識(shí)別結(jié)果;對(duì)上述車(chē)輛圖像和上述車(chē)窗區(qū)域圖像分別進(jìn)行人眼感官處理,并將處理后的車(chē)輛圖像和處理后的車(chē)窗區(qū)域圖像拼接得到處理后的圖像;輸出上述目標(biāo)特征的識(shí)別結(jié)果和上述處理后的圖像。
進(jìn)一步地,對(duì)上述車(chē)窗區(qū)域圖像進(jìn)行特征識(shí)別,得到目標(biāo)特征的識(shí)別結(jié)果包括:對(duì)上述車(chē)窗區(qū)域圖像進(jìn)行預(yù)處理得到預(yù)處理圖像;對(duì)上述預(yù)處理圖像進(jìn)行特征識(shí)別,得到上述目標(biāo)特征的識(shí)別結(jié)果。
進(jìn)一步地,在對(duì)上述預(yù)處理圖像進(jìn)行特征識(shí)別,得到上述目標(biāo)特征的識(shí)別結(jié)果之 后,上述方法還包括::保存識(shí)別到的上述預(yù)處理圖像的圖像參數(shù),其中,上述圖像參數(shù)包括:上述預(yù)處理圖像的前景與背景的對(duì)比度和/或上述預(yù)處理圖像的灰度值;將上述識(shí)別結(jié)果、上述識(shí)別結(jié)果的置信度和上述圖像參數(shù)作為反饋參數(shù);使用上述反饋參數(shù)調(diào)整對(duì)上述車(chē)窗區(qū)域圖像進(jìn)行預(yù)處理的預(yù)處理參數(shù),得到調(diào)整后的預(yù)處理參數(shù);使用上述調(diào)整后的預(yù)處理參數(shù)對(duì)當(dāng)前的車(chē)窗區(qū)域圖像和/或下一個(gè)車(chē)窗區(qū)域圖像進(jìn)行預(yù)處理,其中,上述預(yù)處理包括對(duì)比度增強(qiáng)、曲線校正、銳化、降噪中的至少一種處理方式。
進(jìn)一步地,對(duì)上述車(chē)窗區(qū)域圖像進(jìn)行特征識(shí)別,得到目標(biāo)特征的識(shí)別結(jié)果包括:識(shí)別上述車(chē)窗區(qū)域圖像中的上述車(chē)輛的駕駛者的人臉特征;識(shí)別上述車(chē)窗區(qū)域圖像中是否存在駕駛狀態(tài)特征,得到狀態(tài)識(shí)別結(jié)果,其中,上述駕駛狀態(tài)特征包括上述駕駛者打電話的特征、上述車(chē)輛的遮陽(yáng)板打開(kāi)的特征以及上述駕駛者系安全帶的特征中的至少之一,其中上述識(shí)別結(jié)果包括上述駕駛者的人臉特征和上述狀態(tài)識(shí)別結(jié)果。
進(jìn)一步地,對(duì)上述車(chē)輛圖像和上述車(chē)窗區(qū)域圖像分別進(jìn)行人眼感官處理包括:對(duì)上述車(chē)輛圖像進(jìn)行高光和/或陰影調(diào)整,得到上述處理后的車(chē)輛圖像;以及調(diào)整上述車(chē)窗區(qū)域圖像中各個(gè)像素點(diǎn)的對(duì)比度系數(shù),得到上述處理后的車(chē)窗區(qū)域圖像。
進(jìn)一步地,將處理后的車(chē)輛圖像和處理后的車(chē)窗區(qū)域圖像拼接得到處理后的圖像包括:將上述處理后的車(chē)輛圖像的任意一條邊與上述處理后的車(chē)窗區(qū)域圖像的一條邊拼接,得到上述處理后的圖像;或使用上述處理后的車(chē)窗區(qū)域圖像替代上述處理后的車(chē)輛圖像中的車(chē)窗部分,得到上述處理后的圖像。
根據(jù)本發(fā)明實(shí)施例的另一方面,還提供了一種車(chē)輛監(jiān)控裝置,該車(chē)輛監(jiān)控裝置包括:圖像識(shí)別模塊,用于識(shí)別監(jiān)控到的車(chē)輛圖像中的車(chē)窗區(qū)域圖像;特征識(shí)別模塊,用于對(duì)上述車(chē)窗區(qū)域圖像進(jìn)行特征識(shí)別,得到目標(biāo)特征的識(shí)別結(jié)果;圖像處理模塊,用于對(duì)上述車(chē)輛圖像和上述車(chē)窗區(qū)域圖像分別進(jìn)行人眼感官處理,并將處理后的車(chē)輛圖像和處理后的車(chē)窗區(qū)域圖像拼接得到處理后的圖像;輸出模塊,用于輸出上述目標(biāo)特征的識(shí)別結(jié)果和上述處理后的圖像。
進(jìn)一步地,上述特征識(shí)別模塊包括:第一圖像處理子模塊,用于對(duì)上述車(chē)窗區(qū)域圖像進(jìn)行預(yù)處理得到預(yù)處理圖像;第一特征識(shí)別子模塊,用于對(duì)上述預(yù)處理圖像進(jìn)行特征識(shí)別,得到上述目標(biāo)特征的識(shí)別結(jié)果。
進(jìn)一步地,上述車(chē)輛監(jiān)控裝置還包括:保存模塊,用于保存識(shí)別到的上述預(yù)處理圖像的圖像參數(shù),其中,上述圖像參數(shù)包括:上述預(yù)處理圖像的前景與背景的對(duì)比度和/或上述預(yù)處理圖像的灰度值;第一處理模塊,用于將上述識(shí)別結(jié)果、上述識(shí)別結(jié)果 的置信度和上述圖像參數(shù)作為反饋參數(shù);第二處理模塊,用于使用上述反饋參數(shù)調(diào)整對(duì)上述車(chē)窗區(qū)域圖像進(jìn)行預(yù)處理的預(yù)處理參數(shù),得到調(diào)整后的預(yù)處理參數(shù);第三處理模塊,用于使用上述調(diào)整后的預(yù)處理參數(shù)對(duì)當(dāng)前的車(chē)窗區(qū)域圖像和/或下一個(gè)車(chē)窗區(qū)域圖像進(jìn)行預(yù)處理,其中,上述預(yù)處理包括對(duì)比度增強(qiáng)、曲線校正、銳化以及降噪中的至少一種處理方式。
進(jìn)一步地,上述特征識(shí)別模塊還包括:第二特征識(shí)別子模塊,用于識(shí)別上述車(chē)窗區(qū)域圖像中的上述車(chē)輛的駕駛者的人臉特征;第三特征識(shí)別子模塊,用于識(shí)別上述車(chē)窗區(qū)域圖像中是否存在駕駛狀態(tài)特征,得到狀態(tài)識(shí)別結(jié)果,其中,上述駕駛狀態(tài)特征包括上述駕駛者打電話的特征、上述車(chē)輛的遮陽(yáng)板打開(kāi)的特征以及上述駕駛者系安全帶的特征中的至少之一,其中,上述識(shí)別結(jié)果包括上述駕駛者的人臉特征和上述狀態(tài)識(shí)別結(jié)果。
進(jìn)一步地,上述圖像處理模塊包括:第一調(diào)整子模塊,用于對(duì)上述車(chē)輛圖像進(jìn)行高光和/或陰影調(diào)整,得到上述處理后的車(chē)輛圖像;第二調(diào)整子模塊,用于調(diào)整上述車(chē)窗區(qū)域圖像中各個(gè)像素點(diǎn)的對(duì)比度系數(shù),得到上述處理后的車(chē)窗區(qū)域圖像。
進(jìn)一步地,上述圖像處理模塊還包括:拼接模塊,用于將上述處理后的車(chē)輛圖像的任意一條邊與上述處理后的車(chē)窗區(qū)域圖像的一條邊拼接,得到上述處理后的圖像;或替代模塊,用于使用上述處理后的車(chē)窗區(qū)域圖像替代上述處理后的車(chē)輛圖像中的車(chē)窗部分,得到上述處理后的圖像。
根據(jù)本發(fā)明實(shí)施例的另一方面,還提供了一種處理器,包括具有上述任一特征的上述車(chē)輛監(jiān)控裝置。
根據(jù)本發(fā)明實(shí)施例的另一方面,還提供了一種圖像采集設(shè)備,該圖像采集設(shè)備包括:圖像采集單元,用于在車(chē)輛進(jìn)入預(yù)設(shè)位置時(shí)采集上述車(chē)輛的車(chē)輛圖像;具有上述特征的上述處理器,與上述圖像采集單元連接,用于識(shí)別上述車(chē)輛圖像中的車(chē)窗區(qū)域圖像;對(duì)上述車(chē)窗區(qū)域圖像進(jìn)行特征識(shí)別,得到目標(biāo)特征的識(shí)別結(jié)果,對(duì)上述車(chē)輛圖像和上述車(chē)窗區(qū)域圖像分別進(jìn)行人眼感官處理,并將處理后的車(chē)輛圖像和處理后的車(chē)窗區(qū)域圖像拼接得到處理后的圖像;以及輸出上述目標(biāo)特征的識(shí)別結(jié)果和上述處理后的圖像。
進(jìn)一步地,上述圖像采集單元包括:成像傳感器,用于在上述車(chē)輛進(jìn)入上述預(yù)設(shè)位置時(shí)獲取上述車(chē)輛的成像圖像;數(shù)據(jù)轉(zhuǎn)換器,分別與上述成像傳感器和上述處理器連接,用于將上述成像圖像轉(zhuǎn)換為YUV數(shù)據(jù)形式的上述車(chē)輛圖像,并將上述車(chē)輛圖像輸入上述處理器。
在本發(fā)明實(shí)施例中,通過(guò)識(shí)別監(jiān)控到的車(chē)輛圖像中的車(chē)窗區(qū)域圖像,對(duì)上述車(chē)窗區(qū)域圖像進(jìn)行特征識(shí)別從而得到目標(biāo)特征的識(shí)別結(jié)果;并對(duì)上述車(chē)輛圖像和上述車(chē)窗區(qū)域圖像分別進(jìn)行人眼感官處理,再將處理后的車(chē)輛圖像和處理后的車(chē)窗區(qū)域圖像拼接從而得到處理后的圖像;最終輸出上述目標(biāo)特征的識(shí)別結(jié)果和上述處理后的圖像,達(dá)到了準(zhǔn)確識(shí)別監(jiān)控車(chē)輛目標(biāo)特征和處理后的車(chē)輛圖像適宜人眼感官的效果,進(jìn)而解決了監(jiān)控車(chē)輛的圖像檢測(cè)識(shí)別率較低的技術(shù)問(wèn)題。
附圖說(shuō)明
此處所說(shuō)明的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解,構(gòu)成本申請(qǐng)的一部分,本發(fā)明的示意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明,并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中:
圖1是根據(jù)本發(fā)明實(shí)施例的一種可選的車(chē)輛監(jiān)控方法的流程圖;
圖2是根據(jù)本發(fā)明實(shí)施例的另一種可選的車(chē)輛監(jiān)控方法的流程圖;
圖3是根據(jù)本發(fā)明實(shí)施例的第三種可選的車(chē)輛監(jiān)控方法的流程圖;
圖4是根據(jù)本發(fā)明實(shí)施例的一種可選的車(chē)輛監(jiān)控方法的示意圖;
圖5是根據(jù)本發(fā)明實(shí)施例的另一種可選的車(chē)輛監(jiān)控方法的示意圖;
圖6是根據(jù)本發(fā)明實(shí)施例的一種可選的車(chē)輛監(jiān)控裝置的示意圖;
圖7是根據(jù)本發(fā)明實(shí)施例的另一種可選的車(chē)輛監(jiān)控裝置的示意圖;
圖8是根據(jù)本發(fā)明實(shí)施例的第三種可選的車(chē)輛監(jiān)控裝置的示意圖;
圖9是根據(jù)本發(fā)明實(shí)施例的第四種可選的車(chē)輛監(jiān)控裝置的示意圖;
圖10是根據(jù)本發(fā)明實(shí)施例的第五種可選的車(chē)輛監(jiān)控裝置的示意圖;
圖11是根據(jù)本發(fā)明實(shí)施例的一種可選的圖像采集設(shè)備的示意圖;
圖12是根據(jù)本發(fā)明實(shí)施例的另一種可選的圖像采集設(shè)備的示意圖;
圖13是根據(jù)本發(fā)明實(shí)施例的第三種可選的圖像采集設(shè)備的示意圖;
圖14是根據(jù)本發(fā)明實(shí)施例的一種可選的車(chē)輛監(jiān)控方法的流程示意圖。
具體實(shí)施方式
為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案,下面將結(jié)合本發(fā)明實(shí)施例中的 附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分的實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都應(yīng)當(dāng)屬于本發(fā)明保護(hù)的范圍。
需要說(shuō)明的是,本發(fā)明的說(shuō)明書(shū)和權(quán)利要求書(shū)及上述附圖中的術(shù)語(yǔ)“第一”、“第二”等是用于區(qū)別類似的對(duì)象,而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換,以便這里描述的本發(fā)明的實(shí)施例能夠以除了在這里圖示或描述的那些以外的順序?qū)嵤?。此外,術(shù)語(yǔ)“包括”和“具有”以及他們的任何變形,意圖在于覆蓋不排他的包含,例如,包含了一系列步驟或單元的過(guò)程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元,而是可包括沒(méi)有清楚地列出的或?qū)τ谶@些過(guò)程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。
實(shí)施例1
根據(jù)本發(fā)明實(shí)施例,提供了一種車(chē)輛監(jiān)控方法的實(shí)施例,需要說(shuō)明的是,在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行,并且,雖然在流程圖中示出了邏輯順序,但是在某些情況下,可以以不同于此處的順序執(zhí)行所示出或描述的步驟。
圖1是根據(jù)本發(fā)明實(shí)施例的車(chē)輛監(jiān)控方法,如圖1所示,該方法包括如下步驟:
步驟S102,識(shí)別監(jiān)控到的車(chē)輛圖像中的車(chē)窗區(qū)域圖像;
步驟S104,對(duì)車(chē)窗區(qū)域圖像進(jìn)行特征識(shí)別,得到目標(biāo)特征的識(shí)別結(jié)果;
步驟S106,對(duì)車(chē)輛圖像和車(chē)窗區(qū)域圖像分別進(jìn)行人眼感官處理,并將處理后的車(chē)輛圖像和處理后的車(chē)窗區(qū)域圖像拼接得到處理后的圖像;
步驟S108,輸出目標(biāo)特征的識(shí)別結(jié)果和處理后的圖像。
在本發(fā)明實(shí)施例中,通過(guò)識(shí)別監(jiān)控到的車(chē)輛圖像中的車(chē)窗區(qū)域圖像,對(duì)上述車(chē)窗區(qū)域圖像進(jìn)行特征識(shí)別從而得到目標(biāo)特征的識(shí)別結(jié)果;并對(duì)上述車(chē)輛圖像和上述車(chē)窗區(qū)域圖像分別進(jìn)行人眼感官處理,再將處理后的車(chē)輛圖像和處理后的車(chē)窗區(qū)域圖像拼接從而得到處理后的圖像;最終輸出上述目標(biāo)特征的識(shí)別結(jié)果和上述處理后的圖像,達(dá)到了準(zhǔn)確識(shí)別監(jiān)控車(chē)輛目標(biāo)特征和處理后的車(chē)輛圖像適宜人眼感官的效果,進(jìn)而解決了監(jiān)控車(chē)輛的圖像檢測(cè)識(shí)別率較低的技術(shù)問(wèn)題。
可選地,在輸出目標(biāo)特征的識(shí)別結(jié)果和處理后的圖像時(shí),可以采用同步輸出的方式輸出目標(biāo)特征的識(shí)別結(jié)果和處理后的圖像。
可選地,監(jiān)控到的車(chē)輛圖像為車(chē)輛及其周?chē)h(huán)境圖像,監(jiān)控地點(diǎn)可以為公共交通中的十字路口、公路段,也可以為小區(qū)地下車(chē)庫(kù)、公共停車(chē)場(chǎng)等具有車(chē)輛監(jiān)控需求的地帶,監(jiān)控到的車(chē)輛圖像中的車(chē)輛的狀態(tài)可以為行駛狀態(tài)或停泊狀態(tài),若車(chē)輛處于行駛狀態(tài),車(chē)輛的行駛速度對(duì)于監(jiān)控成像的影響在此不做限定,若車(chē)輛處于夜間環(huán)境,夜間光線對(duì)于監(jiān)控成像的影響在此同樣不做限定。
在本發(fā)明的上述實(shí)施例,可以通過(guò)高清卡口或高清治安卡口監(jiān)控過(guò)往車(chē)輛到車(chē)輛圖像。高清卡口:采用先進(jìn)的光電、計(jì)算機(jī)、圖像處理、模式識(shí)別、以及遠(yuǎn)程數(shù)據(jù)訪問(wèn)等技術(shù),對(duì)監(jiān)控路段的機(jī)動(dòng)車(chē)道、非機(jī)動(dòng)車(chē)道進(jìn)行全天候?qū)崟r(shí)監(jiān)控并記錄相關(guān)圖像數(shù)據(jù)(即上述實(shí)施例中的車(chē)輛圖像)。在獲取車(chē)輛圖像之后,可以通過(guò)前端的處理系統(tǒng)(如處理器)對(duì)所拍攝的車(chē)輛圖像進(jìn)行分析,從中自動(dòng)獲取車(chē)輛的通過(guò)時(shí)間、地點(diǎn)、行駛方向、號(hào)牌號(hào)碼、號(hào)牌顏色、車(chē)身顏色等數(shù)據(jù),并將獲取到的信息通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)傳輸?shù)礁咔蹇谙到y(tǒng)控制中心的數(shù)據(jù)庫(kù)中進(jìn)行數(shù)據(jù)存儲(chǔ)、查詢、比對(duì)等處理,當(dāng)發(fā)現(xiàn)肇事逃逸、違規(guī)或可疑車(chē)輛時(shí),系統(tǒng)會(huì)自動(dòng)向攔截系統(tǒng)及相關(guān)人員發(fā)出告警信號(hào)。
高清治安卡口:面向公安治安防控,采用先進(jìn)的光電技術(shù)、圖像處理技術(shù)、模式識(shí)別技術(shù)對(duì)道路上過(guò)往的每一輛汽車(chē)拍下車(chē)輛的圖像和前排司乘人員的特征,并自動(dòng)識(shí)別出車(chē)輛的牌照。利用車(chē)輛治安高清治安卡口系統(tǒng)可以非常迅速地捕捉到肇事車(chē)輛、違章車(chē)輛、黑名單車(chē)輛等,對(duì)公路運(yùn)行車(chē)輛的構(gòu)成、流量分布、違章情況進(jìn)行常年不間斷的自動(dòng)記錄。
可選地,車(chē)窗區(qū)域圖像為車(chē)輛圖像中能夠識(shí)別到的擋風(fēng)玻璃區(qū)域,例如:前排座位左右車(chē)窗擋風(fēng)玻璃、后排座位左右車(chē)窗擋風(fēng)玻璃、車(chē)尾擋風(fēng)玻璃和車(chē)頭擋風(fēng)玻璃。為了獲取更多的目標(biāo)特征和更有處理價(jià)值的車(chē)窗區(qū)域圖片,本實(shí)施例選取車(chē)頭擋風(fēng)玻璃或前排座位左車(chē)窗擋風(fēng)玻璃作為待處理車(chē)窗區(qū)域圖片。
可選地,目標(biāo)特征可以但不限于為以下之一:車(chē)牌、安全帶、遮陽(yáng)板、駕駛者臉部以及駕駛者手機(jī)通話動(dòng)作。依據(jù)不同監(jiān)控需求,目標(biāo)特征還可以為其他具有辨識(shí)度的車(chē)輛特征、駕駛者特征或駕駛者行為特征。
其中,遮陽(yáng)板:是指在汽車(chē)前風(fēng)擋、后風(fēng)擋那塊,為了避免陽(yáng)光刺眼設(shè)計(jì)的,能來(lái)回搬動(dòng),從而調(diào)整太陽(yáng)光對(duì)眼睛的照射度,避免了交通事故的發(fā)生。
可選地,人眼感官處理在本實(shí)施例中,應(yīng)理解為在進(jìn)行一次完整車(chē)輛圖像的處理過(guò)程之后,所得到的圖像處理結(jié)果適宜于人眼的感官識(shí)別,例如,人眼感官在生物學(xué)領(lǐng)域定義為能夠感知變化在30Hz以內(nèi),每秒100次的光線變化?;谌搜鄣纳飳W(xué)屬性,處理后的車(chē)輛圖像更易于人眼辨識(shí)。
可選地,圖2是根據(jù)本發(fā)明實(shí)施例的另一種可選的車(chē)輛監(jiān)控方法的流程圖,如圖2所示,該方法包括如下步驟:
步驟S202,對(duì)車(chē)窗區(qū)域圖像進(jìn)行預(yù)處理得到預(yù)處理圖像;
步驟S204,對(duì)預(yù)處理圖像進(jìn)行特征識(shí)別,得到目標(biāo)特征的識(shí)別結(jié)果。
可選地,對(duì)車(chē)窗區(qū)域圖像進(jìn)行預(yù)處理的方法可以為:對(duì)輸入的車(chē)輛圖片YUV數(shù)據(jù)進(jìn)行車(chē)窗檢測(cè),獲取車(chē)窗區(qū)域矩形區(qū)域,并保存車(chē)窗區(qū)域矩形對(duì)應(yīng)的YUV數(shù)據(jù),對(duì)保存的車(chē)窗矩形區(qū)域的YUV數(shù)據(jù)進(jìn)行以下方式的圖像處理:自動(dòng)對(duì)比度增強(qiáng)處理、Gamma(伽馬曲線)曲線處理、USM銳化(Unsharp Mask,USM銳化濾鏡)、降噪模塊處理。最終得到預(yù)處理圖像。其中,USM銳化為繪圖軟件中的工具,用于快速聚焦圖像中的模糊邊緣;Gamma曲線處理為顯示器中矯正圖像亮度偏差的一種圖像處理方法。
可選地,識(shí)別結(jié)果在廣義上為可被普通監(jiān)控設(shè)備操作人員所獲知并理解的信息,識(shí)別結(jié)果可以作為數(shù)值、文字、符號(hào)或顏色等特征在輸出設(shè)備的人機(jī)交互界面進(jìn)行顯示。例如:某輛小轎車(chē)被監(jiān)控并被采集到車(chē)輛圖像和車(chē)窗區(qū)域圖像,通過(guò)上述實(shí)施例中的圖像處理和特征識(shí)別之后,輸出設(shè)備輸出的識(shí)別結(jié)果為文字串,該文字串的一部分可以為“車(chē)牌號(hào):京KD3457;駕駛者未使用手機(jī);駕駛者未系安全帶”。
可選地,識(shí)別結(jié)果還可以包括其他車(chē)輛信息,例如車(chē)輛類型或車(chē)輛顏色等,此處以車(chē)輛類型作為車(chē)輛信息的情況,進(jìn)一步對(duì)本實(shí)施例中的通過(guò)對(duì)預(yù)處理圖像進(jìn)行特征識(shí)別,得到目標(biāo)特征的識(shí)別結(jié)果做詳細(xì)說(shuō)明。
可選地,識(shí)別車(chē)輛圖像中的車(chē)輛類型,基于車(chē)輛類型定位車(chē)輛圖像中的車(chē)窗區(qū)域,并識(shí)別出車(chē)窗區(qū)域?qū)?yīng)的車(chē)窗區(qū)域圖像。具體的,可以根據(jù)車(chē)輛圖像中的車(chē)輛位置信息確定目標(biāo)區(qū)域圖像,其中,目標(biāo)區(qū)域圖像為在車(chē)輛的主視圖方向上的圖像;提取目標(biāo)區(qū)域圖像中的車(chē)輛的輪廓特征和紋理特征;并通過(guò)分類器識(shí)別輪廓特征和紋理特征,得到車(chē)輛類型。
具體的,根據(jù)車(chē)輛檢測(cè)位置信息設(shè)置車(chē)輛正面的感興趣區(qū)域,并提取車(chē)輛輪廓的紋理特征時(shí),可以通過(guò)將車(chē)輛輪廓的紋理特征送入分類器進(jìn)行訓(xùn)練和預(yù)測(cè)得到車(chē)輛類型。例如,基于車(chē)輛外形特征區(qū)分車(chē)輛圖像中的車(chē)輛類型,一般情況下,貨車(chē)、轎車(chē)、客車(chē)等機(jī)動(dòng)車(chē)輛的外形特征是不同的,由此可知,貨車(chē)、轎車(chē)、客車(chē)等機(jī)動(dòng)車(chē)輛的外形特征在本實(shí)施例中對(duì)應(yīng)的車(chē)輛類型也是不同的。進(jìn)一步,基于不同類型的車(chē)輛的外形設(shè)計(jì)和具體構(gòu)造不同,車(chē)窗區(qū)域在不同類型車(chē)輛中的位置也是不同的,例如普通小轎車(chē)和雙層巴士中,具有駕駛者特征的車(chē)窗區(qū)域的位置是不同的,因此,可以基于車(chē)輛類型定位車(chē)輛圖像中的車(chē)窗區(qū)域,并識(shí)別出車(chē)窗區(qū)域?qū)?yīng)的車(chē)窗區(qū)域圖像,具體的, 對(duì)輸入的車(chē)輛圖片YUV數(shù)據(jù)進(jìn)行車(chē)窗檢測(cè),扣取車(chē)窗區(qū)域矩形區(qū)域,并保存車(chē)窗區(qū)域矩形對(duì)應(yīng)的YUV數(shù)據(jù)。其中,YUV(Y、U、V分別表示像素分量)是一種顏色編碼格式,主要是指亮度參量和色度參量分開(kāi)表示的像素格式,用于優(yōu)化彩色視頻信號(hào)的傳輸。
可選地,對(duì)預(yù)處理圖像進(jìn)行特征識(shí)的方法可以為,將上述預(yù)處理圖像、即圖像處理后的車(chē)窗矩形區(qū)域YUV數(shù)據(jù)送入車(chē)牌識(shí)別算法、安全帶檢測(cè)算法、人臉定位檢測(cè)算法、遮陽(yáng)板檢測(cè)算法、打手機(jī)檢測(cè)算法等車(chē)窗區(qū)域內(nèi)目標(biāo)特征識(shí)別組件,輸出并保存各目標(biāo)特征的識(shí)別結(jié)果。
可選地,圖3是根據(jù)本發(fā)明實(shí)施例的第三種可選的車(chē)輛監(jiān)控方法的流程圖,如圖3所示,該方法包括如下步驟:
步驟S302,保存識(shí)別到的預(yù)處理圖像的圖像參數(shù),其中,圖像參數(shù)包括:預(yù)處理圖像的前景與背景的對(duì)比度和/或預(yù)處理圖像的灰度值;
步驟S304,將識(shí)別結(jié)果、識(shí)別結(jié)果的置信度和圖像參數(shù)作為反饋參數(shù);
步驟S306,使用反饋參數(shù)調(diào)整對(duì)車(chē)窗區(qū)域圖像進(jìn)行預(yù)處理的預(yù)處理參數(shù),得到調(diào)整后的預(yù)處理參數(shù);
步驟S308,使用調(diào)整后的預(yù)處理參數(shù)對(duì)當(dāng)前的車(chē)窗區(qū)域圖像和/或下一個(gè)車(chē)窗區(qū)域圖像進(jìn)行預(yù)處理,其中,預(yù)處理包括對(duì)比度增強(qiáng)、曲線校正、銳化以及降噪中的至少一種處理方式。
在本實(shí)施例中,保存識(shí)別到的預(yù)處理圖像的圖像參數(shù),該圖像參數(shù)可以為預(yù)處理圖像的前景與背景的對(duì)比度或預(yù)處理圖像的灰度值,也可以同時(shí)包含上述二者。通過(guò)保存大量圖像參數(shù)并進(jìn)行統(tǒng)計(jì),可以調(diào)整并完善圖像處理策略。識(shí)別結(jié)果的置信度可以通過(guò)對(duì)大量圖像識(shí)別樣本中的識(shí)別錯(cuò)誤率或正確率進(jìn)行統(tǒng)計(jì)以獲取。
可選地,將識(shí)別結(jié)果的置信度作為反饋參數(shù)包括:通過(guò)對(duì)識(shí)別結(jié)果進(jìn)行統(tǒng)計(jì)獲取識(shí)別結(jié)果的置信度,其中,對(duì)識(shí)別結(jié)果進(jìn)行統(tǒng)計(jì)的方法包括:判斷各個(gè)識(shí)別結(jié)果(如駕駛者打電話的特征的識(shí)別結(jié)果、車(chē)輛的遮陽(yáng)板打開(kāi)的特征的識(shí)別結(jié)果、駕駛者系安全帶的特征的識(shí)別結(jié)果等)是否準(zhǔn)確;統(tǒng)計(jì)準(zhǔn)確的識(shí)別結(jié)果的數(shù)量得到識(shí)別結(jié)果的準(zhǔn)確率,并確定該準(zhǔn)確率的置信度。
其中,識(shí)別結(jié)果可以以是否的形式存在,例如,圖像中存在駕駛者打電話的特征,識(shí)別結(jié)果為是,則識(shí)別結(jié)果正確;若識(shí)別結(jié)果為否,則識(shí)別結(jié)果不正確。
可選地,可以基于判斷結(jié)果分別對(duì)識(shí)別結(jié)果進(jìn)行標(biāo)記,如果識(shí)別結(jié)果正確,將該識(shí)別結(jié)果的判斷結(jié)果標(biāo)記為1,如果識(shí)別結(jié)果不正確,將該識(shí)別結(jié)果的判斷結(jié)果標(biāo)記 為0,然后對(duì)識(shí)別結(jié)果的判斷結(jié)果的標(biāo)記求和,得到準(zhǔn)確的識(shí)別結(jié)果的數(shù)量,計(jì)算準(zhǔn)確的識(shí)別結(jié)果的數(shù)量與識(shí)別結(jié)果的總數(shù)的比率,得到準(zhǔn)確率。
可選地,置信度一般用于表明抽樣指標(biāo)和總體指標(biāo)的誤差不超過(guò)一定范圍的概率保證度,具體在本實(shí)施例中,置信度用于表明識(shí)別結(jié)果和預(yù)存的歷史識(shí)別結(jié)果的誤差不超過(guò)一定范圍的概率保證度。因此,置信度可以評(píng)價(jià)識(shí)別結(jié)果的準(zhǔn)確性,進(jìn)而通過(guò)將置信度作為反饋參數(shù),可以使預(yù)處理參數(shù)的調(diào)整結(jié)果更為可靠。
可選地,對(duì)車(chē)窗區(qū)域圖像進(jìn)行特征識(shí)別,得到目標(biāo)特征的識(shí)別結(jié)果包括:識(shí)別車(chē)窗區(qū)域圖像中的車(chē)輛的駕駛者的人臉特征;識(shí)別車(chē)窗區(qū)域圖像中是否存在駕駛狀態(tài)特征,得到狀態(tài)識(shí)別結(jié)果,其中,駕駛狀態(tài)特征包括駕駛者打電話的特征、車(chē)輛的遮陽(yáng)板打開(kāi)的特征以及駕駛者系安全帶的特征中的至少之一,其中,識(shí)別結(jié)果包括駕駛者的人臉特征和狀態(tài)識(shí)別結(jié)果。
可選地,識(shí)別車(chē)窗區(qū)域圖像中的車(chē)輛的駕駛者的人臉特征包括:獲取在車(chē)窗區(qū)域圖像成像時(shí)間之前成像的歷史車(chē)窗區(qū)域圖像;提取歷史車(chē)窗區(qū)域圖像中的車(chē)輛的駕駛者的人臉特征;通過(guò)將歷史車(chē)窗區(qū)域圖像中的車(chē)輛的駕駛者的人臉特征進(jìn)行Haar特征(即Haar-like特征,計(jì)算機(jī)視覺(jué)領(lǐng)域一種常用的特征描述算子)計(jì)算,得到人臉特征檢測(cè)器;通過(guò)人臉特征檢測(cè)器識(shí)別車(chē)窗區(qū)域圖像中的車(chē)輛的駕駛者的人臉特征,得到人臉特征識(shí)別結(jié)果。
可選地,通過(guò)選取并訓(xùn)練車(chē)窗區(qū)域圖像中駕駛者的人臉的Haar特征,形成檢測(cè)器,然后再利用此檢測(cè)器對(duì)駕駛者進(jìn)行人臉檢測(cè)。
可選地,識(shí)別車(chē)窗區(qū)域圖像中的駕駛者的駕駛狀態(tài)特征,得到狀態(tài)識(shí)別結(jié)果包括:獲取車(chē)窗區(qū)域圖像成像時(shí)間之前成像的歷史車(chē)窗區(qū)域圖像;提取歷史車(chē)窗區(qū)域圖像中的車(chē)輛的遮陽(yáng)板的邊緣特征;通過(guò)處理歷史車(chē)窗區(qū)域圖像中的車(chē)輛的遮陽(yáng)板的邊緣特征,得到遮陽(yáng)板打開(kāi)狀態(tài)特征檢測(cè)器;通過(guò)遮陽(yáng)板打開(kāi)狀態(tài)特征檢測(cè)器識(shí)別車(chē)窗區(qū)域圖像中的車(chē)輛的遮陽(yáng)板打開(kāi)狀態(tài)特征,得到遮陽(yáng)板打開(kāi)狀態(tài)特征識(shí)別結(jié)果。
可選地,通過(guò)選取并訓(xùn)練車(chē)窗區(qū)域圖像中遮陽(yáng)板的邊緣特征,形成檢測(cè)器,然后進(jìn)行遮陽(yáng)板檢測(cè),以確定是否開(kāi)啟遮陽(yáng)板。
可選地,識(shí)別車(chē)窗區(qū)域圖像中的駕駛者的駕駛狀態(tài)特征,得到狀態(tài)識(shí)別結(jié)果還包括:提取車(chē)窗區(qū)域圖像中的車(chē)輛的駕駛者的位置信息、邊緣特征和紋理特征;通過(guò)分類器識(shí)別位置信息和邊緣特征,得到駕駛者打電話特征識(shí)別結(jié)果;通過(guò)分類器識(shí)別位置信息和紋理特征,得到安全帶狀態(tài)特征識(shí)別結(jié)果。
可選地,提取車(chē)窗區(qū)域圖像中駕駛者的位置信息和紋理特征,并將駕駛者的位置 信息和紋理特征送入分類器進(jìn)行訓(xùn)練和預(yù)測(cè),得出駕駛者是否佩戴安全帶的識(shí)別結(jié)果。
可選地,提取車(chē)窗區(qū)域圖像中駕駛者的位置信息和邊緣特征,并將駕駛者的位置信息和邊緣特征送入分類器進(jìn)行訓(xùn)練和預(yù)測(cè),得出駕駛者是否正在打電話的識(shí)別結(jié)果。
可選地,對(duì)車(chē)輛圖像和車(chē)窗區(qū)域圖像分別進(jìn)行人眼感官處理包括:對(duì)車(chē)輛圖像進(jìn)行高光和/或陰影調(diào)整,得到處理后的車(chē)輛圖像;以及調(diào)整車(chē)窗區(qū)域圖像中各個(gè)像素點(diǎn)的對(duì)比度系數(shù),得到處理后的車(chē)窗區(qū)域圖像。
其中,可以對(duì)輸入的車(chē)輛圖片YUV數(shù)據(jù)進(jìn)行高光和/或陰影調(diào)整,得到處理后的車(chē)輛圖像。高光和/或陰影調(diào)整可以配合以下處理方式共同進(jìn)行調(diào)整,包括:自動(dòng)對(duì)比度增強(qiáng)處理、Gamma曲線處理、USM銳化、降噪模塊處理等。
可選地,對(duì)車(chē)窗區(qū)域圖像進(jìn)行人眼感官處理的方式可以為對(duì)輸入的車(chē)輛圖片YUV數(shù)據(jù)進(jìn)行車(chē)窗檢測(cè),選取車(chē)窗區(qū)域矩形區(qū)域,并保存車(chē)窗區(qū)域矩形對(duì)應(yīng)的YUV數(shù)據(jù);然后調(diào)整車(chē)窗區(qū)域圖像中各個(gè)像素點(diǎn)的對(duì)比度系數(shù),得到處理后的車(chē)窗區(qū)域圖像。對(duì)比度系數(shù)的調(diào)整可以配合以下處理方式共同進(jìn)行調(diào)整,包括:自動(dòng)對(duì)比度增強(qiáng)處理、Gamma曲線處理、USM銳化、降噪模塊處理等;然后保存一次圖像處理后的車(chē)窗矩形區(qū)域YUV數(shù)據(jù);進(jìn)一步將一次圖像處理后的車(chē)窗矩形區(qū)域YUV數(shù)據(jù)進(jìn)行二次圖像處理,該處理包括:自動(dòng)對(duì)比度增強(qiáng)處理、Gamma曲線處理、USM銳化、降噪模塊處理。最后保存車(chē)窗區(qū)域處理后的YUV數(shù)據(jù),即處理后的車(chē)窗區(qū)域圖像。
可選地,將處理后的車(chē)輛圖像和處理后的車(chē)窗區(qū)域圖像拼接得到處理后的圖像包括:將處理后的車(chē)輛圖像的任意一條邊與處理后的車(chē)窗區(qū)域圖像的一條邊拼接,得到處理后的圖像;或使用處理后的車(chē)窗區(qū)域圖像替代處理后的車(chē)輛圖像中的車(chē)窗部分,得到處理后的圖像。
可選地,拼接處理后的車(chē)輛圖像和處理后的車(chē)窗區(qū)域圖像,得到處理后的圖像可以為將上述處理后的車(chē)輛圖像的YUV數(shù)據(jù)和處理后的車(chē)窗區(qū)域圖像的YUV數(shù)據(jù)進(jìn)行保存拼接合成一張圖片,該處理后的圖像能夠滿足人眼感官的要求,能較好地表現(xiàn)車(chē)輛區(qū)域通透和車(chē)窗局部透視的要求。該處理后的車(chē)輛圖像和處理后的車(chē)窗區(qū)域圖像有多種拼接合成方式,例如,將處理后的車(chē)輛圖像的任意一條邊與處理后的車(chē)窗區(qū)域圖像的一條邊拼接,得到處理后的圖像。具體的,如圖4所示,可以將處理后的車(chē)輛圖像的右邊線與處理后的車(chē)窗區(qū)域圖像的左邊線在水平方向上左右拼接,也可以如圖5所示,可以將處理后的車(chē)輛圖像的下邊線與處理后的車(chē)窗區(qū)域圖像的上邊線在豎直方向上上下拼接,可選地,在將處理后的車(chē)輛圖像中的一條邊與處理后的車(chē)窗區(qū)域圖像進(jìn)行拼接時(shí),兩條邊可以全部或部分地拼接在一起。此外,也可以用處理后的車(chē)窗區(qū)域 圖像替代處理后的車(chē)輛圖像中的車(chē)窗區(qū)域部分的圖像。
在本發(fā)明實(shí)施例中,通過(guò)識(shí)別監(jiān)控到的車(chē)輛圖像中的車(chē)窗區(qū)域圖像,對(duì)上述車(chē)窗區(qū)域圖像進(jìn)行特征識(shí)別從而得到目標(biāo)特征的識(shí)別結(jié)果;并對(duì)上述車(chē)輛圖像和上述車(chē)窗區(qū)域圖像分別進(jìn)行人眼感官處理,再將處理后的車(chē)輛圖像和處理后的車(chē)窗區(qū)域圖像拼接從而得到處理后的圖像;最終輸出上述目標(biāo)特征的識(shí)別結(jié)果和上述處理后的圖像,達(dá)到了準(zhǔn)確識(shí)別監(jiān)控車(chē)輛目標(biāo)特征和處理后的車(chē)輛圖像適宜人眼感官的效果,進(jìn)而解決了監(jiān)控車(chē)輛的圖像檢測(cè)識(shí)別率較低的技術(shù)問(wèn)題。
需要說(shuō)明的是,對(duì)于前述的各方法實(shí)施例,為了簡(jiǎn)單描述,故將其都表述為一系列的動(dòng)作組合,但是本領(lǐng)域技術(shù)人員應(yīng)該知悉,本發(fā)明并不受所描述的動(dòng)作順序的限制,因?yàn)橐罁?jù)本發(fā)明,某些步驟可以采用其他順序或者同時(shí)進(jìn)行。其次,本領(lǐng)域技術(shù)人員也應(yīng)該知悉,說(shuō)明書(shū)中所描述的實(shí)施例均屬于優(yōu)選實(shí)施例,所涉及的動(dòng)作和模塊并不一定是本發(fā)明所必須的。
實(shí)施例2
根據(jù)本發(fā)明實(shí)施例的另一個(gè)方面,還提供了一種車(chē)輛監(jiān)控裝置,如圖6所示的車(chē)輛監(jiān)控裝置包括:
圖像識(shí)別模塊601,用于識(shí)別監(jiān)控到的車(chē)輛圖像中的車(chē)窗區(qū)域圖像;
特征識(shí)別模塊602,用于對(duì)車(chē)窗區(qū)域圖像進(jìn)行特征識(shí)別,得到目標(biāo)特征的識(shí)別結(jié)果;
圖像處理模塊603,用于對(duì)車(chē)輛圖像和車(chē)窗區(qū)域圖像分別進(jìn)行人眼感官處理,并將處理后的車(chē)輛圖像和處理后的車(chē)窗區(qū)域圖像拼接得到處理后的圖像;
輸出模塊604,用于輸出目標(biāo)特征的識(shí)別結(jié)果和處理后的圖像。
可選地,輸出模塊604在輸出目標(biāo)特征的識(shí)別結(jié)果和處理后的圖像時(shí),可以采用同步輸出的方式輸出目標(biāo)特征的識(shí)別結(jié)果和處理后的圖像。
可選地,監(jiān)控到的車(chē)輛圖像為車(chē)輛及其周?chē)h(huán)境圖像,監(jiān)控地點(diǎn)可以為公共交通中的十字路口、公路段,也可以為小區(qū)地下車(chē)庫(kù)、公共停車(chē)場(chǎng)等具有車(chē)輛監(jiān)控需求的地帶,監(jiān)控到的車(chē)輛圖像中的車(chē)輛的狀態(tài)可以為行駛狀態(tài)或停泊狀態(tài),若車(chē)輛處于行駛狀態(tài),車(chē)輛的行駛速度對(duì)于監(jiān)控成像的影響在此不做限定,若車(chē)輛處于夜間環(huán)境,夜間光線對(duì)于監(jiān)控成像的影響在此同樣不做限定。
在本發(fā)明的上述實(shí)施例,可以通過(guò)高清卡口或高清治安卡口監(jiān)控過(guò)往車(chē)輛到車(chē)輛 圖像。高清卡口:采用先進(jìn)的光電、計(jì)算機(jī)、圖像處理、模式識(shí)別、以及遠(yuǎn)程數(shù)據(jù)訪問(wèn)等技術(shù),對(duì)監(jiān)控路段的機(jī)動(dòng)車(chē)道、非機(jī)動(dòng)車(chē)道進(jìn)行全天候?qū)崟r(shí)監(jiān)控并記錄相關(guān)圖像數(shù)據(jù)(即上述實(shí)施例中的車(chē)輛圖像)。在獲取車(chē)輛圖像之后,可以通過(guò)前端的處理系統(tǒng)(如處理器)對(duì)所拍攝的車(chē)輛圖像進(jìn)行分析,從中自動(dòng)獲取車(chē)輛的通過(guò)時(shí)間、地點(diǎn)、行駛方向、號(hào)牌號(hào)碼、號(hào)牌顏色、車(chē)身顏色等數(shù)據(jù),并將獲取到的信息通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)傳輸?shù)礁咔蹇谙到y(tǒng)控制中心的數(shù)據(jù)庫(kù)中進(jìn)行數(shù)據(jù)存儲(chǔ)、查詢、比對(duì)等處理,當(dāng)發(fā)現(xiàn)肇事逃逸、違規(guī)或可疑車(chē)輛時(shí),系統(tǒng)會(huì)自動(dòng)向攔截系統(tǒng)及相關(guān)人員發(fā)出告警信號(hào)。
高清治安卡口:面向公安治安防控,采用先進(jìn)的光電技術(shù)、圖像處理技術(shù)、模式識(shí)別技術(shù)對(duì)道路上過(guò)往的每一輛汽車(chē)拍下車(chē)輛的圖像和前排司乘人員的特征,并自動(dòng)識(shí)別出車(chē)輛的牌照。利用車(chē)輛治安高清治安卡口系統(tǒng)可以非常迅速地捕捉到肇事車(chē)輛、違章車(chē)輛、黑名單車(chē)輛等,對(duì)公路運(yùn)行車(chē)輛的構(gòu)成、流量分布、違章情況進(jìn)行常年不間斷的自動(dòng)記錄。
可選地,車(chē)窗區(qū)域圖像為車(chē)輛圖像中能夠識(shí)別到的擋風(fēng)玻璃區(qū)域,例如:前排座位左右車(chē)窗擋風(fēng)玻璃、后排座位左右車(chē)窗擋風(fēng)玻璃、車(chē)尾擋風(fēng)玻璃和車(chē)頭擋風(fēng)玻璃。為了獲取更多的目標(biāo)特征和更有處理價(jià)值的車(chē)窗區(qū)域圖片,本實(shí)施例選取車(chē)頭擋風(fēng)玻璃或前排座位左車(chē)窗擋風(fēng)玻璃作為待處理車(chē)窗區(qū)域圖片。
可選地,目標(biāo)特征可以但不限于為以下之一:車(chē)牌、安全帶、遮陽(yáng)板、駕駛者臉部以及駕駛者手機(jī)通話動(dòng)作。依據(jù)不同監(jiān)控需求,目標(biāo)特征還可以為其他具有辨識(shí)度的車(chē)輛特征、駕駛者特征或駕駛者行為特征。
其中,遮陽(yáng)板:是指在汽車(chē)前風(fēng)擋、后風(fēng)擋那塊,為了避免陽(yáng)光刺眼設(shè)計(jì)的,能來(lái)回搬動(dòng),從而調(diào)整太陽(yáng)光對(duì)眼睛的照射度,避免了交通事故的發(fā)生。
可選地,人眼感官處理在本實(shí)施例中,應(yīng)理解為在進(jìn)行一次完整車(chē)輛圖像的處理過(guò)程之后,所得到的圖像處理結(jié)果適宜于人眼的感官識(shí)別,例如,人眼感官在生物學(xué)領(lǐng)域定義為能夠感知變化在30Hz以內(nèi),每秒100次的光線變化。基于人眼的生物學(xué)屬性,處理后的車(chē)輛圖像更易于人眼辨識(shí)。
可選地,如圖7所示,特征識(shí)別模塊602包括:
第一圖像處理子模塊701,用于對(duì)車(chē)窗區(qū)域圖像進(jìn)行預(yù)處理得到預(yù)處理圖像;
第一特征識(shí)別子模塊702,用于對(duì)預(yù)處理圖像進(jìn)行特征識(shí)別,得到目標(biāo)特征的識(shí)別結(jié)果。
可選地,第一圖像處理子模塊701對(duì)車(chē)窗區(qū)域圖像進(jìn)行預(yù)處理的方法可以為:對(duì) 輸入的車(chē)輛圖片YUV數(shù)據(jù)進(jìn)行車(chē)窗檢測(cè),獲取車(chē)窗區(qū)域矩形區(qū)域,并保存車(chē)窗區(qū)域矩形對(duì)應(yīng)的YUV數(shù)據(jù),對(duì)保存的車(chē)窗矩形區(qū)域的YUV數(shù)據(jù)進(jìn)行以下方式的圖像處理:自動(dòng)對(duì)比度增強(qiáng)處理、Gamma(伽馬曲線)曲線處理、USM銳化(Unsharp Mask,USM銳化濾鏡)、降噪模塊處理。最終得到預(yù)處理圖像。其中,USM銳化為繪圖軟件中的工具,用于快速聚焦圖像中的模糊邊緣;Gamma曲線處理為顯示器中矯正圖像亮度偏差的一種圖像處理方法。
可選地,第一特征識(shí)別子模塊702得到的識(shí)別結(jié)果在廣義上為可被普通監(jiān)控設(shè)備操作人員所獲知并理解的信息,識(shí)別結(jié)果可以作為數(shù)值、文字、符號(hào)或顏色等特征在輸出設(shè)備的人機(jī)交互界面進(jìn)行顯示。例如:某輛小轎車(chē)被監(jiān)控并被采集到車(chē)輛圖像和車(chē)窗區(qū)域圖像,通過(guò)上述實(shí)施例中的圖像處理和特征識(shí)別之后,輸出設(shè)備輸出的識(shí)別結(jié)果為文字串,該文字串的一部分可以為“車(chē)牌號(hào):京KD3457;駕駛者未使用手機(jī);駕駛者未系安全帶”。
可選地,識(shí)別結(jié)果還可以包括其他車(chē)輛信息,例如車(chē)輛類型或車(chē)輛顏色等,此處以車(chē)輛類型作為車(chē)輛信息的情況,進(jìn)一步對(duì)本實(shí)施例中的通過(guò)對(duì)預(yù)處理圖像進(jìn)行特征識(shí)別,得到目標(biāo)特征的識(shí)別結(jié)果做詳細(xì)說(shuō)明。
可選地,第一特征識(shí)別子模塊702識(shí)別車(chē)輛圖像中的車(chē)輛類型,基于車(chē)輛類型定位車(chē)輛圖像中的車(chē)窗區(qū)域,并識(shí)別出車(chē)窗區(qū)域?qū)?yīng)的車(chē)窗區(qū)域圖像。具體的,根據(jù)車(chē)輛圖像中的車(chē)輛位置信息確定目標(biāo)區(qū)域圖像,其中,目標(biāo)區(qū)域圖像為在車(chē)輛的主視圖方向上的圖像;提取目標(biāo)區(qū)域圖像中的車(chē)輛的輪廓特征和紋理特征;并通過(guò)分類器識(shí)別輪廓特征和紋理特征,得到車(chē)輛類型。
具體的,根據(jù)車(chē)輛檢測(cè)位置信息設(shè)置車(chē)輛正面的感興趣區(qū)域,并提取車(chē)輛輪廓的紋理特征時(shí),可以通過(guò)將車(chē)輛輪廓的紋理特征送入分類器進(jìn)行訓(xùn)練和預(yù)測(cè)得到車(chē)輛類型。例如,基于車(chē)輛外形特征區(qū)分車(chē)輛圖像中的車(chē)輛類型,一般情況下,貨車(chē)、轎車(chē)、客車(chē)等機(jī)動(dòng)車(chē)輛的外形特征是不同的,由此可知,貨車(chē)、轎車(chē)、客車(chē)等機(jī)動(dòng)車(chē)輛的外形特征在本實(shí)施例中對(duì)應(yīng)的車(chē)輛類型也是不同的。進(jìn)一步,基于不同類型的車(chē)輛的外形設(shè)計(jì)和具體構(gòu)造不同,車(chē)窗區(qū)域在不同類型車(chē)輛中的位置也是不同的,例如普通小轎車(chē)和雙層巴士中,具有駕駛者特征的車(chē)窗區(qū)域的位置是不同的,因此,可以基于車(chē)輛類型定位車(chē)輛圖像中的車(chē)窗區(qū)域,并識(shí)別出車(chē)窗區(qū)域?qū)?yīng)的車(chē)窗區(qū)域圖像,具體的,對(duì)輸入的車(chē)輛圖片YUV數(shù)據(jù)進(jìn)行車(chē)窗檢測(cè),扣取車(chē)窗區(qū)域矩形區(qū)域,并保存車(chē)窗區(qū)域矩形對(duì)應(yīng)的YUV數(shù)據(jù)。其中,YUV(Y、U、V分別表示像素分量)是一種顏色編碼格式,主要是指亮度參量和色度參量分開(kāi)表示的像素格式,用于優(yōu)化彩色視頻信號(hào)的傳輸。
可選地,對(duì)預(yù)處理圖像進(jìn)行特征識(shí)的方法還可以為,將上述預(yù)處理圖像、即圖像 處理后的車(chē)窗矩形區(qū)域YUV數(shù)據(jù)送入車(chē)牌識(shí)別算法、安全帶檢測(cè)算法、人臉定位檢測(cè)算法、遮陽(yáng)板檢測(cè)算法、打手機(jī)檢測(cè)算法等車(chē)窗區(qū)域內(nèi)目標(biāo)特征識(shí)別組件,輸出并保存各目標(biāo)特征的識(shí)別結(jié)果。
可選地,如圖8所示,車(chē)輛監(jiān)控裝置還包括:
保存模塊801,用于保存識(shí)別到的預(yù)處理圖像的圖像參數(shù),其中,圖像參數(shù)包括:預(yù)處理圖像的前景與背景的對(duì)比度和/或預(yù)處理圖像的灰度值;
第一處理模塊802,用于將識(shí)別結(jié)果、識(shí)別結(jié)果的置信度和圖像參數(shù)作為反饋參數(shù);
第二處理模塊803,用于使用反饋參數(shù)調(diào)整對(duì)車(chē)窗區(qū)域圖像進(jìn)行預(yù)處理的預(yù)處理參數(shù),得到調(diào)整后的預(yù)處理參數(shù);
第三處理模塊804,用于使用調(diào)整后的預(yù)處理參數(shù)對(duì)當(dāng)前的車(chē)窗區(qū)域圖像和/或下一個(gè)車(chē)窗區(qū)域圖像進(jìn)行預(yù)處理,其中,預(yù)處理包括對(duì)比度增強(qiáng)、曲線校正、銳化以及降噪中的至少一種處理方式。
可選地,在本實(shí)施例中,保存模塊801保存識(shí)別到的預(yù)處理圖像的圖像參數(shù),該圖像參數(shù)可以為預(yù)處理圖像的前景與背景的對(duì)比度或預(yù)處理圖像的灰度值,也可以同時(shí)包含上述二者。通過(guò)保存大量圖像參數(shù)并進(jìn)行統(tǒng)計(jì),可以調(diào)整并完善圖像處理策略。識(shí)別結(jié)果的置信度可以通過(guò)對(duì)大量圖像識(shí)別樣本中的識(shí)別錯(cuò)誤率或正確率進(jìn)行統(tǒng)計(jì)以獲取。
可選地,第一處理模塊802將識(shí)別結(jié)果的置信度作為反饋參數(shù)包括:通過(guò)對(duì)識(shí)別結(jié)果進(jìn)行統(tǒng)計(jì)獲取識(shí)別結(jié)果的置信度,其中,對(duì)識(shí)別結(jié)果進(jìn)行統(tǒng)計(jì)的方法包括:判斷各個(gè)識(shí)別結(jié)果(如駕駛者打電話的特征的識(shí)別結(jié)果、車(chē)輛的遮陽(yáng)板打開(kāi)的特征的識(shí)別結(jié)果、駕駛者系安全帶的特征的識(shí)別結(jié)果等)是否準(zhǔn)確;統(tǒng)計(jì)準(zhǔn)確的識(shí)別結(jié)果的數(shù)量得到識(shí)別結(jié)果的準(zhǔn)確率,并確定該準(zhǔn)確率的置信度。
其中,識(shí)別結(jié)果可以以是否的形式存在,例如,圖像中存在駕駛者打電話的特征,識(shí)別結(jié)果為是,則識(shí)別結(jié)果正確;若識(shí)別結(jié)果為否,則識(shí)別結(jié)果不正確。
可選地,可以基于判斷結(jié)果分別對(duì)識(shí)別結(jié)果進(jìn)行標(biāo)記,如果識(shí)別結(jié)果正確,將該識(shí)別結(jié)果的判斷結(jié)果標(biāo)記為1,如果識(shí)別結(jié)果不正確,將該識(shí)別結(jié)果的判斷結(jié)果標(biāo)記為0,然后對(duì)識(shí)別結(jié)果的判斷結(jié)果的標(biāo)記求和,得到準(zhǔn)確的識(shí)別結(jié)果的數(shù)量,計(jì)算準(zhǔn)確的識(shí)別結(jié)果的數(shù)量與識(shí)別結(jié)果的總數(shù)的比率,得到準(zhǔn)確率。
可選地,置信度一般用于表明抽樣指標(biāo)和總體指標(biāo)的誤差不超過(guò)一定范圍的概率 保證度,具體在本實(shí)施例中,置信度用于表明識(shí)別結(jié)果和預(yù)存的歷史識(shí)別結(jié)果的誤差不超過(guò)一定范圍的概率保證度。因此,置信度可以評(píng)價(jià)識(shí)別結(jié)果的準(zhǔn)確性,進(jìn)而通過(guò)將置信度作為反饋參數(shù),可以使預(yù)處理參數(shù)的調(diào)整結(jié)果更為可靠。
可選地,如圖9所示,特征識(shí)別模塊602包括:
第二特征識(shí)別子模塊901,用于識(shí)別車(chē)窗區(qū)域圖像中的車(chē)輛的駕駛者的人臉特征;
第三特征識(shí)別子模塊902,用于識(shí)別車(chē)窗區(qū)域圖像中是否存在駕駛狀態(tài)特征,得到狀態(tài)識(shí)別結(jié)果,其中,駕駛狀態(tài)特征包括駕駛者打電話的特征、車(chē)輛的遮陽(yáng)板打開(kāi)的特征以及駕駛者系安全帶的特征中的至少之一,其中,識(shí)別結(jié)果包括駕駛者的人臉特征和狀態(tài)識(shí)別結(jié)果。
可選地,第二特征識(shí)別子模塊901識(shí)別車(chē)窗區(qū)域圖像中的車(chē)輛的駕駛者的人臉特征包括:獲取在車(chē)窗區(qū)域圖像成像時(shí)間之前成像的歷史車(chē)窗區(qū)域圖像;提取歷史車(chē)窗區(qū)域圖像中的車(chē)輛的駕駛者的人臉特征;通過(guò)將歷史車(chē)窗區(qū)域圖像中的車(chē)輛的駕駛者的人臉特征進(jìn)行Haar特征(即Haar-like特征,計(jì)算機(jī)視覺(jué)領(lǐng)域一種常用的特征描述算子)計(jì)算,得到人臉特征檢測(cè)器;通過(guò)人臉特征檢測(cè)器識(shí)別車(chē)窗區(qū)域圖像中的車(chē)輛的駕駛者的人臉特征,得到人臉特征識(shí)別結(jié)果。
可選地,第二特征識(shí)別子模塊901通過(guò)選取并訓(xùn)練車(chē)窗區(qū)域圖像中駕駛者的人臉的Haar特征,形成檢測(cè)器,然后再利用此檢測(cè)器對(duì)駕駛者進(jìn)行人臉檢測(cè)。
可選地,第三特征識(shí)別子模塊902識(shí)別車(chē)窗區(qū)域圖像中的駕駛者的駕駛狀態(tài)特征,得到狀態(tài)識(shí)別結(jié)果包括:獲取車(chē)窗區(qū)域圖像成像時(shí)間之前成像的歷史車(chē)窗區(qū)域圖像;提取歷史車(chē)窗區(qū)域圖像中的車(chē)輛的遮陽(yáng)板的邊緣特征;通過(guò)處理歷史車(chē)窗區(qū)域圖像中的車(chē)輛的遮陽(yáng)板的邊緣特征,得到遮陽(yáng)板打開(kāi)狀態(tài)特征檢測(cè)器;通過(guò)遮陽(yáng)板打開(kāi)狀態(tài)特征檢測(cè)器識(shí)別車(chē)窗區(qū)域圖像中的車(chē)輛的遮陽(yáng)板打開(kāi)狀態(tài)特征,得到遮陽(yáng)板打開(kāi)狀態(tài)特征識(shí)別結(jié)果。
可選地,第三特征識(shí)別子模塊902通過(guò)選取并訓(xùn)練車(chē)窗區(qū)域圖像中遮陽(yáng)板的邊緣特征,形成檢測(cè)器,然后進(jìn)行遮陽(yáng)板檢測(cè),以確定是否開(kāi)啟遮陽(yáng)板。
可選地,第三特征識(shí)別子模塊902識(shí)別車(chē)窗區(qū)域圖像中的駕駛者的駕駛狀態(tài)特征,得到狀態(tài)識(shí)別結(jié)果還包括:提取車(chē)窗區(qū)域圖像中的車(chē)輛的駕駛者的位置信息、邊緣特征和紋理特征;通過(guò)分類器識(shí)別位置信息和邊緣特征,得到駕駛者打電話特征識(shí)別結(jié)果;通過(guò)分類器識(shí)別位置信息和紋理特征,得到安全帶狀態(tài)特征識(shí)別結(jié)果。
可選地,第三特征識(shí)別子模塊902提取車(chē)窗區(qū)域圖像中駕駛者的位置信息和紋理 特征,并將駕駛者的位置信息和紋理特征送入分類器進(jìn)行訓(xùn)練和預(yù)測(cè),得出駕駛者是否佩戴安全帶的識(shí)別結(jié)果。
可選地,第三特征識(shí)別子模塊902提取車(chē)窗區(qū)域圖像中駕駛者的位置信息和邊緣特征,并將駕駛者的位置信息和邊緣特征送入分類器進(jìn)行訓(xùn)練和預(yù)測(cè),得出駕駛者是否正在打電話的識(shí)別結(jié)果。
可選地,如圖10所示,圖像處理模塊603包括:
第一調(diào)整子模塊1001,用于對(duì)車(chē)輛圖像進(jìn)行高光和/或陰影調(diào)整,得到處理后的車(chē)輛圖像;
第二調(diào)整子模塊1002,用于調(diào)整車(chē)窗區(qū)域圖像中各個(gè)像素點(diǎn)的對(duì)比度系數(shù),得到處理后的車(chē)窗區(qū)域圖像。
其中,第一調(diào)整子模塊1001可以對(duì)輸入的車(chē)輛圖片YUV數(shù)據(jù)進(jìn)行高光和/或陰影調(diào)整,得到處理后的車(chē)輛圖像。高光和/或陰影調(diào)整可以配合以下處理方式共同進(jìn)行調(diào)整,包括:自動(dòng)對(duì)比度增強(qiáng)處理、Gamma曲線處理、USM銳化、降噪模塊處理等。
可選地,第二調(diào)整子模塊1002對(duì)車(chē)窗區(qū)域圖像進(jìn)行人眼感官處理的方式可以為對(duì)輸入的車(chē)輛圖片YUV數(shù)據(jù)進(jìn)行車(chē)窗檢測(cè),選取車(chē)窗區(qū)域矩形區(qū)域,并保存車(chē)窗區(qū)域矩形對(duì)應(yīng)的YUV數(shù)據(jù);然后調(diào)整車(chē)窗區(qū)域圖像中各個(gè)像素點(diǎn)的對(duì)比度系數(shù),得到處理后的車(chē)窗區(qū)域圖像。對(duì)比度系數(shù)的調(diào)整可以配合以下處理方式共同進(jìn)行調(diào)整,包括:自動(dòng)對(duì)比度增強(qiáng)處理、Gamma曲線處理、USM銳化、降噪模塊處理等;然后保存一次圖像處理后的車(chē)窗矩形區(qū)域YUV數(shù)據(jù);進(jìn)一步將一次圖像處理后的車(chē)窗矩形區(qū)域YUV數(shù)據(jù)進(jìn)行二次圖像處理,該處理包括:自動(dòng)對(duì)比度增強(qiáng)處理、Gamma曲線處理、USM銳化、降噪模塊處理。最后保存車(chē)窗區(qū)域處理后的YUV數(shù)據(jù),即處理后的車(chē)窗區(qū)域圖像。
可選地,圖像處理模塊還包括:
拼接模塊,用于將處理后的車(chē)輛圖像的任意一條邊與處理后的車(chē)窗區(qū)域圖像的一條邊拼接,得到處理后的圖像;或
替代模塊,用于使用處理后的車(chē)窗區(qū)域圖像替代處理后的車(chē)輛圖像中的車(chē)窗部分,得到處理后的圖像。
可選地,拼接處理后的車(chē)輛圖像和處理后的車(chē)窗區(qū)域圖像,得到處理后的圖像可以為將上述處理后的車(chē)輛圖像的YUV數(shù)據(jù)和處理后的車(chē)窗區(qū)域圖像的YUV數(shù)據(jù)進(jìn)行保存拼接合成一張圖片,該處理后的圖像能夠滿足人眼感官的要求,能較好地表現(xiàn)車(chē)輛區(qū)域通透和車(chē)窗局部透視的要求。該處理后的車(chē)輛圖像和處理后的車(chē)窗區(qū)域圖像有多 種拼接合成方式,例如,將處理后的車(chē)輛圖像的任意一條邊與處理后的車(chē)窗區(qū)域圖像的一條邊拼接,得到處理后的圖像。具體的,如圖4所示,可以將處理后的車(chē)輛圖像的右邊線與處理后的車(chē)窗區(qū)域圖像的左邊線在水平方向上左右拼接,也可以如圖5所示,可以將處理后的車(chē)輛圖像的下邊線與處理后的車(chē)窗區(qū)域圖像的上邊線在豎直方向上上下拼接??蛇x地,在將處理后的車(chē)輛圖像中的一條邊與處理后的車(chē)窗區(qū)域圖像進(jìn)行拼接時(shí),兩條邊可以全部或部分地拼接在一起。此外,也可以用處理后的車(chē)窗區(qū)域圖像替代處理后的車(chē)輛圖像中的車(chē)窗區(qū)域部分的圖像。
根據(jù)本發(fā)明實(shí)施例的另一方面,還提供了一種處理器,包括具有實(shí)施例中任一實(shí)施例的車(chē)輛監(jiān)控裝置。
該處理器可以設(shè)置在高清卡口或高清治安卡口的抓拍機(jī)中。其中,抓拍機(jī)可以為透視車(chē)窗并且檢測(cè)車(chē)窗區(qū)域目標(biāo)特征的工作平臺(tái)。
在本發(fā)明實(shí)施例中,通過(guò)識(shí)別監(jiān)控到的車(chē)輛圖像中的車(chē)窗區(qū)域圖像,對(duì)上述車(chē)窗區(qū)域圖像進(jìn)行特征識(shí)別從而得到目標(biāo)特征的識(shí)別結(jié)果;并對(duì)上述車(chē)輛圖像和上述車(chē)窗區(qū)域圖像分別進(jìn)行人眼感官處理,再將處理后的車(chē)輛圖像和處理后的車(chē)窗區(qū)域圖像拼接從而得到處理后的圖像;最終輸出上述目標(biāo)特征的識(shí)別結(jié)果和上述處理后的圖像,達(dá)到了準(zhǔn)確識(shí)別監(jiān)控車(chē)輛目標(biāo)特征和處理后的車(chē)輛圖像適宜人眼感官的效果,進(jìn)而解決了監(jiān)控車(chē)輛的圖像檢測(cè)識(shí)別率較低的技術(shù)問(wèn)題。
根據(jù)本發(fā)明實(shí)施例的另一方面,還提供了一種圖像采集設(shè)備11,該圖像采集設(shè)備11包括:
圖像采集單元1101,用于在車(chē)輛進(jìn)入預(yù)設(shè)位置時(shí)采集車(chē)輛的車(chē)輛圖像;處理器1102,與圖像采集單元1101連接,用于識(shí)別車(chē)輛圖像中的車(chē)窗區(qū)域圖像;對(duì)車(chē)窗區(qū)域圖像進(jìn)行特征識(shí)別,得到目標(biāo)特征的識(shí)別結(jié)果,對(duì)車(chē)輛圖像和車(chē)窗區(qū)域圖像分別進(jìn)行人眼感官處理,并將處理后的車(chē)輛圖像和處理后的車(chē)窗區(qū)域圖像拼接得到處理后的圖像;以及輸出目標(biāo)特征的識(shí)別結(jié)果和處理后的圖像。
可選地,處理器1102在輸出目標(biāo)特征的識(shí)別結(jié)果和處理后的圖像時(shí),可以采用同步輸出的方式輸出目標(biāo)特征的識(shí)別結(jié)果和處理后的圖像。
該圖像采集設(shè)備可以設(shè)置在高清卡口或高清治安卡口上。
通過(guò)上述實(shí)施例中的圖像采集設(shè)備,在識(shí)別監(jiān)控到的車(chē)輛圖像中的車(chē)窗區(qū)域圖像之后,對(duì)上述車(chē)窗區(qū)域圖像進(jìn)行特征識(shí)別從而得到目標(biāo)特征的識(shí)別結(jié)果;并對(duì)上述車(chē)輛圖像和車(chē)窗區(qū)域圖像分別進(jìn)行人眼感官處理,并將處理后的車(chē)輛圖像和處理后的車(chē)窗區(qū)域圖像拼接從而得到處理后的圖像;最終輸出上述目標(biāo)特征的識(shí)別結(jié)果和上述處 理后的圖像,達(dá)到了準(zhǔn)確識(shí)別監(jiān)控車(chē)輛目標(biāo)特征和處理后的圖像適宜人眼感官的效果,解決了監(jiān)控車(chē)輛的圖像檢測(cè)識(shí)別率較低的技術(shù)問(wèn)題。
可選地,處理器1102對(duì)車(chē)輛圖像進(jìn)行人眼感官處理的處理方式可以為對(duì)輸入的車(chē)輛圖片YUV數(shù)據(jù)進(jìn)行車(chē)窗檢測(cè),選取車(chē)窗區(qū)域矩形區(qū)域,并保存車(chē)窗區(qū)域矩形對(duì)應(yīng)的YUV數(shù)據(jù);然后將輸入的車(chē)輛圖片YUV數(shù)據(jù)進(jìn)行基于人眼感官策略的車(chē)輛圖像處理,包括:自動(dòng)對(duì)比度增強(qiáng)處理、Gamma曲線處理、USM銳化、降噪模塊處理,最后保存車(chē)輛圖片的YUV數(shù)據(jù),即處理后的車(chē)輛圖像。
可選地,處理器1102對(duì)車(chē)輛圖像進(jìn)行人眼感官處理的處理方式可以為對(duì)輸入的車(chē)輛圖片YUV數(shù)據(jù)進(jìn)行車(chē)窗檢測(cè),選取車(chē)窗區(qū)域矩形區(qū)域,并保存車(chē)窗區(qū)域矩形對(duì)應(yīng)的YUV數(shù)據(jù);然后將輸出的車(chē)窗矩形區(qū)域的YUV數(shù)據(jù)進(jìn)行一次圖像處理,包括:自動(dòng)對(duì)比度增強(qiáng)處理、Gamma曲線處理、USM銳化、降噪模塊處理;然后保存一次圖像處理后的車(chē)窗矩形區(qū)域YUV數(shù)據(jù);進(jìn)一步將一次圖像處理后的車(chē)窗矩形區(qū)域YUV數(shù)據(jù)進(jìn)行二次圖像處理,即基于人眼感官策略的車(chē)窗區(qū)域圖像處理,該處理包括:自動(dòng)對(duì)比度增強(qiáng)處理、Gamma曲線處理、USM銳化、降噪模塊處理。最后保存車(chē)窗區(qū)域處理后的YUV數(shù)據(jù),即車(chē)窗感官圖像。
可選地,處理器1102拼接處理后的車(chē)輛圖像和車(chē)窗感官圖像,得到處理后的車(chē)輛圖像可以為將上述車(chē)輛圖片的YUV數(shù)據(jù)和車(chē)窗區(qū)域處理后的YUV數(shù)據(jù)進(jìn)行保存拼接合成一張圖片,該處理后的車(chē)輛圖片能夠滿足人眼感官的要求,能較好地表現(xiàn)車(chē)輛區(qū)域通透和車(chē)窗局部透視的要求。而且該處理后的車(chē)輛圖像和車(chē)窗感官圖像有多種拼接合成方式,例如,將處理后的車(chē)輛圖像的任意一條邊與處理后的車(chē)窗區(qū)域圖像的一條邊拼接,得到處理后的圖像。具體的,如圖4所示,可以將處理后的車(chē)輛圖像的右邊線與處理后的車(chē)窗區(qū)域圖像的左邊線在水平方向上左右拼接,也可以如圖5所示,可以將處理后的車(chē)輛圖像的下邊線與處理后的車(chē)窗區(qū)域圖像的上邊線在豎直方向上上下拼接。可選地,在將處理后的車(chē)輛圖像中的一條邊與處理后的車(chē)窗區(qū)域圖像進(jìn)行拼接時(shí),兩條邊可以全部或部分地拼接在一起。此外,也可以用處理后的車(chē)窗區(qū)域圖像替代處理后的車(chē)輛圖像中的車(chē)窗區(qū)域部分的圖像。
可選地,如圖12所示,圖像采集單元1101包括:
成像傳感器1201,用于在車(chē)輛進(jìn)入預(yù)設(shè)位置時(shí)獲取車(chē)輛的成像圖像;
數(shù)據(jù)轉(zhuǎn)換器1202,分別與成像傳感器和處理器連接,用于將成像圖像轉(zhuǎn)換為YUV數(shù)據(jù)形式的車(chē)輛圖像,并將車(chē)輛圖像輸入處理器。
其中,數(shù)據(jù)轉(zhuǎn)換器可以為模數(shù)轉(zhuǎn)換器。
可選地,成像傳感器1201用于在車(chē)輛行駛過(guò)程或停泊過(guò)程中,用抓拍機(jī)對(duì)場(chǎng)景進(jìn)行監(jiān)控,當(dāng)車(chē)輛進(jìn)入預(yù)先設(shè)置的抓拍位置,運(yùn)行在主處理器中視頻檢測(cè)算法會(huì)自動(dòng)觸發(fā)圖像采集單元抓拍車(chē)輛通行圖片。
可選地,數(shù)據(jù)轉(zhuǎn)換器1202將成像傳感器1201采集到的圖片會(huì)以YUV數(shù)據(jù)形式送入下一處理環(huán)節(jié),從而使最終輸出的圖片能夠達(dá)到透視車(chē)窗的效果且車(chē)窗區(qū)域目標(biāo)特征識(shí)別結(jié)果更準(zhǔn)確。
可選地,圖像采集設(shè)備可以由鏡頭、圖像采集單元(成像sensor傳感器、A/D轉(zhuǎn)換模塊、FPGA可編程邏輯控制器)、主控制器、SDRAM內(nèi)存四部分組成。
可選地,如圖13所示的一種可選的圖像采集設(shè)備的實(shí)施例,該圖像采集設(shè)備包括鏡頭1301、圖像采集單元、主控制器1305和內(nèi)存1306。其中,圖像采集單元包括成像傳感器1302、模/數(shù)轉(zhuǎn)換器1303和可編程邏輯控制器1304。
在上述實(shí)施例中,通過(guò)鏡頭和成像傳感器采集車(chē)輛圖像,經(jīng)過(guò)模/數(shù)轉(zhuǎn)換器(即上述實(shí)施例中的數(shù)據(jù)轉(zhuǎn)換器)和可編程邏輯控制器將車(chē)輛圖像發(fā)送至主控制器,主控制器實(shí)現(xiàn)上述實(shí)施例中的處理器的功能,其中,內(nèi)存用于存儲(chǔ)該實(shí)施例中的車(chē)輛圖像和對(duì)車(chē)輛圖像進(jìn)行處理的過(guò)程中產(chǎn)生的過(guò)程數(shù)據(jù)。
上述實(shí)施例中的圖片采集設(shè)備可以為抓拍機(jī);其中的主控制器可以包括高運(yùn)算性能的ARM架構(gòu)處理器和DSP處理器。
可選地,如圖14所示的車(chē)輛監(jiān)控方法,該實(shí)施例包括如下步驟:
步驟S1401,獲取車(chē)輛圖像的YUV數(shù)據(jù)。
具體地,可以從高清卡口或高清治安卡口獲取該車(chē)輛圖像。
步驟S1402,獲取車(chē)窗感興趣區(qū)域圖像。
具體地,可以通過(guò)車(chē)輛ROI區(qū)域(即車(chē)窗感興趣區(qū)域)定位模塊獲取車(chē)窗感興趣區(qū)域圖像,該車(chē)窗感興趣區(qū)域圖像即為上述實(shí)施例中的車(chē)窗區(qū)域圖像。
可選地,車(chē)輛ROI區(qū)域定位模塊可以對(duì)獲取的卡口圖片的YUV數(shù)據(jù)(即上述實(shí)施例中的車(chē)輛圖像的YUV數(shù)據(jù))進(jìn)行車(chē)窗檢測(cè),從車(chē)輛圖像中扣取車(chē)窗區(qū)域的矩形區(qū)域,并保存該車(chē)窗區(qū)域圖像的YUV數(shù)據(jù)。
步驟S1403,針對(duì)車(chē)輛圖像進(jìn)行人眼感官處理。也即,對(duì)車(chē)輛圖像進(jìn)行人眼觀感處理,得到通透的車(chē)輛圖像。該步驟與步驟S1402可以是并行的。
具體地,在獲取卡口圖片YUV數(shù)據(jù)之后,對(duì)其進(jìn)行圖像處理后,保存卡口圖片車(chē) 輛的YUV數(shù)據(jù),即通透的車(chē)輛圖像,其中的圖像處理包括:人眼感官方向處理,圖像處理還可以包括:自動(dòng)對(duì)比度增強(qiáng)處理、Gamma曲線處理、USM銳化以及降噪處理中的至少之一。
步驟S1404,輸出處理后的車(chē)輛圖像(即為上述的通透的車(chē)輛圖像)。
步驟S1405,針對(duì)車(chē)窗區(qū)域圖像進(jìn)行人眼感官處理。
具體地,在獲取車(chē)窗區(qū)域圖像的YUV數(shù)據(jù)之后,對(duì)其進(jìn)行圖像處理,并保存處理后的車(chē)窗區(qū)域圖像的YUV數(shù)據(jù),即透視的車(chē)窗區(qū)域圖像,其中的圖像處理包括:人眼感官方向處理,圖像處理還可以包括:自動(dòng)對(duì)比度增強(qiáng)處理、Gamma曲線處理、USM銳化以及降噪處理中的至少之一。
步驟S1406,輸出處理后的車(chē)窗區(qū)域圖像(即為透視的車(chē)窗區(qū)域圖像)。
步驟S1407,將處理后的車(chē)輛圖像和處理后的車(chē)窗區(qū)域圖像拼接成處理后的圖像。
上述實(shí)施例中的拼接處理方式有多種形式:可以將處理后的車(chē)輛圖像和處理后的車(chē)窗區(qū)域圖像進(jìn)行左右拼接、上下拼接,也可以使用處理后的車(chē)窗區(qū)域圖像替代處理后的全畫(huà)幅圖像中的車(chē)窗部分。
圖1所示實(shí)施例的步驟S106可以通過(guò)上述步驟S1403至S1407實(shí)現(xiàn),上述步驟可以通過(guò)圖片處理模塊處理。
通過(guò)上述實(shí)施例得到的處理后的圖像,可以滿足人眼感官的要求,能很好地表現(xiàn)車(chē)輛區(qū)域通透和車(chē)窗局部透視的要求。
步驟S1408,對(duì)車(chē)窗感興趣區(qū)域進(jìn)行圖像預(yù)處理。
該步驟可以是與步驟S1405并行的。
其中,對(duì)識(shí)別到的車(chē)窗區(qū)域圖像進(jìn)行圖像預(yù)處理得到預(yù)處理圖像,并保存該預(yù)處理圖像的YUV數(shù)據(jù)。其中,預(yù)處理包括下述處理中的至少之一:自動(dòng)對(duì)比度增強(qiáng)處理、Gamma曲線處理、USM銳化以及降噪處理。
步驟S1409,識(shí)別車(chē)型。
步驟S1410,檢測(cè)駕駛者是否系安全帶。
檢測(cè)結(jié)果可以為:系安全帶(可以用識(shí)別表示)和未系安全帶(可以用不識(shí)別表示)。
步驟S1411,定位駕駛者的人臉特征。
步驟S1412,檢測(cè)遮陽(yáng)板是否打開(kāi)。
檢測(cè)結(jié)果可以為:打開(kāi)(可以用識(shí)別表示)和未打開(kāi)(可以用不識(shí)別表示)。
步驟S1413,檢測(cè)駕駛者是否在打手機(jī)。
檢測(cè)結(jié)果可以為:打手機(jī)(可以用識(shí)別表示)和未打手機(jī)(可以用不識(shí)別表示)。
上述的步驟S1409至步驟S1413可以是并行處理的。
步驟S1414,統(tǒng)計(jì)特征識(shí)別結(jié)果。即統(tǒng)計(jì)步驟S1409至步驟S1413的特征識(shí)別結(jié)果。
步驟S1415,基于特征識(shí)別結(jié)果確定反饋控制參數(shù)。
步驟S1416,輸出處理后的圖像和特征識(shí)別結(jié)果。
在本發(fā)明實(shí)施例中,通過(guò)識(shí)別監(jiān)控到的車(chē)輛圖像中的車(chē)窗區(qū)域圖像,對(duì)上述車(chē)窗區(qū)域圖像進(jìn)行特征識(shí)別從而得到目標(biāo)特征的識(shí)別結(jié)果;并對(duì)上述車(chē)輛圖像進(jìn)行人眼感官處理從而得到處理后的車(chē)輛圖像;最終輸出上述目標(biāo)特征的識(shí)別結(jié)果和上述處理后的車(chē)輛圖像,達(dá)到了準(zhǔn)確識(shí)別監(jiān)控車(chē)輛目標(biāo)特征和處理后的車(chē)輛圖像適宜人眼感官的效果,進(jìn)而解決了監(jiān)控車(chē)輛的圖像檢測(cè)識(shí)別率較低的技術(shù)問(wèn)題。
上述本發(fā)明實(shí)施例序號(hào)僅僅為了描述,不代表實(shí)施例的優(yōu)劣。
在本發(fā)明的上述實(shí)施例中,對(duì)各個(gè)實(shí)施例的描述都各有側(cè)重,某個(gè)實(shí)施例中沒(méi)有詳述的部分,可以參見(jiàn)其他實(shí)施例的相關(guān)描述。
在本申請(qǐng)所提供的幾個(gè)實(shí)施例中,應(yīng)該理解到,所揭露的技術(shù)內(nèi)容,可通過(guò)其它的方式實(shí)現(xiàn)。其中,以上所描述的裝置實(shí)施例僅僅是示意性的,例如所述單元的劃分,可以為一種邏輯功能劃分,實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式,例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點(diǎn),所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過(guò)一些接口,單元或模塊的間接耦合或通信連接,可以是電性或其它的形式。
所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個(gè)地方,或者也可以分布到多個(gè)單元上。可以根據(jù)實(shí)際的需要選擇其中的部分或者全部單元來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。
另外,在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中,也可以是各個(gè)單元單獨(dú)物理存在,也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成 的單元既可以采用硬件的形式實(shí)現(xiàn),也可以采用軟件功能單元的形式實(shí)現(xiàn)。
所述集成的單元如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí),可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中?;谶@樣的理解,本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái),該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中,包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可為個(gè)人計(jì)算機(jī)、服務(wù)器或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括:U盤(pán)、只讀存儲(chǔ)器(ROM,Read-Only Memory)、隨機(jī)存取存儲(chǔ)器(RAM,Random Access Memory)、移動(dòng)硬盤(pán)、磁碟或者光盤(pán)等各種可以存儲(chǔ)程序代碼的介質(zhì)。
以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式,應(yīng)當(dāng)指出,對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō),在不脫離本發(fā)明原理的前提下,還可以做出若干改進(jìn)和潤(rùn)飾,這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。