本發(fā)明涉及圖像識別技術(shù)領(lǐng)域，特別涉及一種車窗檢測方法及裝置。

背景技術(shù)：

隨著社會的不斷發(fā)展，交通管控的任務越來越復雜，越來越繁重。為了更加準確、高效地對交通進行監(jiān)控和管理，智能交通監(jiān)控技術(shù)應運而生。根據(jù)智能交通監(jiān)控拍攝的圖像，可以準確的識別其中的車輛信息，對車輛的違法、違規(guī)行為進行監(jiān)控和管理。而有些監(jiān)控和管理操作需要針對圖像中車輛中的具體信息進行，例如安全帶檢測、年檢標識檢測、車前擺件檢測等問題，此時就需要獲取車輛中的具體信息了，一般通過檢測出來車窗區(qū)域，獲取相應的具體信息，因此車窗檢測是一個比較重要的研究方向。

目前，在圖像中進行車窗檢測時，主要包括：基于顏色差異的車窗檢測方法和基于直線特性的車窗檢測方法。

其中基于顏色差異的車窗檢測方法，是基于玻璃的透光性和吸光性的，圖像中玻璃所在區(qū)域的大部分像素點的飽和度和亮度都比較低，利用車窗和車身的顏色特征可以實現(xiàn)車窗區(qū)域的檢測。但是該方法需要圖像中車身和車窗的顏色特征有明顯的區(qū)別，當車身顏色和車窗顏色特征差異不大時，檢測效果不好。

基于直線特性的車窗檢測方法中，首先需要在圖像中進行水平邊緣檢測，并結(jié)合hough變換進行直線連接，并檢測車窗的上下水平邊界，其次，運用數(shù)學形態(tài)學去除小的短枝，再結(jié)合積分投影方法檢測車窗兩側(cè)邊界，從而確定車窗區(qū)域。該方法因受遮擋、光照、幾何形變等影響較大，魯棒性不強，并且當圖像因天氣原因車窗邊界不明顯時，或者車輛發(fā)生傾斜時，很容易造成誤檢和漏檢。

技術(shù)實現(xiàn)要素：

本發(fā)明實施例公開了一種車窗檢測方法及裝置，用以提高車窗檢測的準確性及魯棒性。

為達到上述目的，本發(fā)明實施例公開了一種車窗檢測方法，應用于電子設(shè)備，所述方法包括：

接收標記有待檢的車窗區(qū)域的圖像，確定所述車窗區(qū)域的特征金字塔；

采用訓練完成的可變形部件混合模型，對所述特征金字塔進行評分，其中所述可變形部件混合模型包括至少兩個可變形部件模型，且為所述至少兩個可變形部件模型中根濾波器的最大值，及對應的每個部件濾波器的最大值的加權(quán)和；

當所述可變形部件混合模型中根濾波器的評分值大于設(shè)定的第一閾值，且所述可變形部件混合模型的總評分值大于設(shè)定的第二閾值時，根據(jù)所述評分值對應的根位置及設(shè)定的區(qū)域大小，確定所述圖像中的車窗區(qū)域。

進一步地，當所述評分值不大于設(shè)定的第一閾值時，確定所述圖像中不存在車窗區(qū)域。

進一步地，所述根據(jù)所述評分值對應的根位置及設(shè)定的區(qū)域大小，確定所述圖像中的車窗區(qū)域包括：

將所述根位置作為左上角的頂點，所述設(shè)定的區(qū)域大小覆蓋的范圍作為所述圖像中的車窗區(qū)域。

進一步地，確定所述可變形部件混合模型的過程包括：

針對每種類型的車輛，識別樣本圖像集中該類型的車輛對應的樣本圖像，根據(jù)識別到的樣本圖像中標記的待檢的車窗區(qū)域，對該類型的車輛對應的可變形部件模型進行訓練；

根據(jù)針對每種類型的車輛訓練的可變形部件模型，及預設(shè)的數(shù)量閾值，選擇相應數(shù)量個可變形部件模型；

將所述相應數(shù)量個可變形部件模型根濾波器的最大值，及對應的部件濾波器的最大值的加權(quán)和確定為所述可變形部件混合模型。

進一步地，所述對該類型的車輛對應的可變形部件模型進行訓練包括：

根據(jù)第一個樣本圖像中標記的待檢的車窗區(qū)域，確定根濾波器；

針對每個其他的樣本圖像，根據(jù)已經(jīng)確定的根濾波器對當前樣本圖像進行評分，根據(jù)根濾波器的評分最大值及所述根濾波器的大小，對所述當前圖像中標記的待檢的車窗區(qū)域進行更新，并根據(jù)更新后的待檢的車窗區(qū)域，確定所述根濾波器及部件濾波器。

進一步地，所述根據(jù)針對每種類型的車輛訓練的可變形部件模型，及預設(shè)的數(shù)量閾值，選擇相應數(shù)量個可變形部件模型包括：

根據(jù)所述預設(shè)的數(shù)量閾值，針對每個待選的可變形部件模型中部件濾波器與根濾波器的相對位移，選擇相應數(shù)量個可變形部件模型，其中被選中的可變形部件模型中相同序號的部件濾波器相對于根濾波器的位移相差較小。

進一步地，所述可變形混合模型中所述每個根濾波器對應的第一權(quán)值和每個對應的部件濾波器對應的每個第二權(quán)值為1；或

所述每個根濾波器對應的第一權(quán)值相等，每個對應的部件濾波器對應的第二權(quán)值相等。

進一步地，第一權(quán)值和每個第二權(quán)值的確定過程包括：

選擇任意一個可變形部件模型作為目標可變形部件模型；

采用所述目標可變形部件模型的根濾波器對每個樣本圖像進行評分，確定每個第一評分，并依次采用所述目標可變形部件模型的每個部件濾波器分別對每個樣本圖像進行評分，確定每個第二評分；

針對根濾波器，根據(jù)所述每個第一評分的和，及所述每個第一評分和第二評分的和，確定第一權(quán)值，針對每個部件濾波器，根據(jù)該部件濾波器對應的每個第二評分的和，及所述每個第一評分和第二評分的和，確定每個第二權(quán)值。

進一步地，第一權(quán)值和每個第二權(quán)值的確定過程包括：

針對選擇的每個可變形部件模型，采用該可變形部件模型的根濾波器對每個樣本圖像進行評分，確定每個第一評分，并依次采用該可變形部件模型的每個部件濾波器分別對每個樣本圖像進行評分，確定每個第二評分；

根據(jù)針對選擇的每個可變形部件模型的每個第一評分的和，及每個第一評分和每個第二評分的和，確定第一權(quán)值，并針對每個部件濾波器，根據(jù)選擇的每個可變形部件模型的該部件濾波器對應的每個第二評分的和，及每個第一評分和第二評分的和，確定每個第二權(quán)值。

進一步地，所述方法還包括：

在檢測到的車窗區(qū)域中，根據(jù)駕駛員的位置，確定所述車窗區(qū)域中的駕駛員候選區(qū)域；

在所述駕駛員候選區(qū)域中，采用預先訓練完成的卷積神經(jīng)網(wǎng)絡(luò)，識別駕駛員候選區(qū)域內(nèi)的駕駛員是否佩戴安全帶。

進一步地，所述卷積神經(jīng)網(wǎng)絡(luò)的訓練過程包括：

在樣本圖像集的駕駛員候選區(qū)域中，采用相應的檢測模型，檢測駕駛員所在的位置；

根據(jù)每個樣本圖像集檢測到的駕駛員的圖像及該駕駛員是否佩戴安全帶的信息，對卷積神經(jīng)網(wǎng)絡(luò)進行訓練。

本發(fā)明實施例公開了一種車窗檢測裝置，所述裝置包括：

確定模塊，用于接收標記有待檢的車窗區(qū)域的圖像，確定所述車窗區(qū)域的特征金字塔；

評分模塊，用于采用訓練完成的可變形部件混合模型，對所述特征金字塔進行評分，其中所述可變形部件混合模型包括至少兩個可變形部件模型，且為所述至少兩個可變形部件模型中根濾波器的最大值，及對應的每個部件濾波器的最大值的加權(quán)和；

檢測模塊，用于當所述可變形部件混合模型中根濾波器的評分值大于設(shè)定的第一閾值，且所述可變形部件混合模型的總評分值大于設(shè)定的第二閾值時，根據(jù)所述評分值對應的根位置及設(shè)定的區(qū)域大小，確定所述圖像中的車窗區(qū)域。

進一步地，所述檢測模塊，還用于當所述評分值不大于設(shè)定的第一閾值時，確定所述圖像中不存在車窗區(qū)域。

進一步地，所述檢測模塊，具體用于將所述根位置作為左上角的頂點，所述設(shè)定的區(qū)域大小覆蓋的范圍作為所述圖像中的車窗區(qū)域。

進一步地，所述裝置還包括：

訓練模塊，用于針對每種類型的車輛，識別樣本圖像集中該類型的車輛對應的樣本圖像，根據(jù)識別到的樣本圖像中標記的待檢的車窗區(qū)域，對該類型的車輛對應的可變形部件模型進行訓練；根據(jù)針對每種類型的車輛訓練的可變形部件模型，及預設(shè)的數(shù)量閾值，選擇相應數(shù)量個可變形部件模型；將所述相應數(shù)量個可變形部件模型根濾波器的最大值，及對應的部件濾波器的最大值的加權(quán)和確定為所述可變形部件混合模型。

進一步地，所述訓練模塊，具體用于根據(jù)第一個樣本圖像中標記的待檢的車窗區(qū)域，確定根濾波器；針對每個其他的樣本圖像，根據(jù)已經(jīng)確定的根濾波器對當前樣本圖像進行評分，根據(jù)根濾波器的評分最大值及所述根濾波器的大小，對所述當前圖像中標記的待檢的車窗區(qū)域進行更新，并根據(jù)更新后的待檢的車窗區(qū)域，確定所述根濾波器及部件濾波器。

進一步地，所述訓練模塊，具體用于根據(jù)所述預設(shè)的數(shù)量閾值，針對每個待選的可變形部件模型中部件濾波器與根濾波器的相對位移，選擇相應數(shù)量個可變形部件模型，其中被選中的可變形部件模型中相同序號的部件濾波器相對于根濾波器的位移相差較小。

進一步地，所述訓練模塊，具體用于將所述可變形混合模型中所述每個根濾波器對應的第一權(quán)值和每個對應的部件濾波器對應的每個第二權(quán)值確定為1；或確定所述每個根濾波器對應的第一權(quán)值相等，每個對應的部件濾波器對應的第二權(quán)值相等。

進一步地，所述訓練模塊，具體用于選擇任意一個可變形部件模型作為目標可變形部件模型；采用所述目標可變形部件模型的根濾波器對每個樣本圖像進行評分，確定每個第一評分，并依次采用所述目標可變形部件模型的每個部件濾波器分別對每個樣本圖像進行評分，確定每個第二評分；針對根濾波器，根據(jù)所述每個第一評分的和，及所述每個第一評分和第二評分的和，確定第一權(quán)值，針對每個部件濾波器，根據(jù)該部件濾波器對應的每個第二評分的和，及所述每個第一評分和第二評分的和，確定每個第二權(quán)值。

進一步地，所述訓練模塊，具體用于針對選擇的每個可變形部件模型，采用該可變形部件模型的根濾波器對每個樣本圖像進行評分，確定每個第一評分，并依次采用該可變形部件模型的每個部件濾波器分別對每個樣本圖像進行評分，確定每個第二評分；根據(jù)針對選擇的每個可變形部件模型的每個第一評分的和，及每個第一評分和每個第二評分的和，確定第一權(quán)值，并針對每個部件濾波器，根據(jù)選擇的每個可變形部件模型的該部件濾波器對應的每個第二評分的和，及每個第一評分和第二評分的和，確定每個第二權(quán)值。

進一步地，所述裝置還包括：

識別模塊，用于在檢測到的車窗區(qū)域中，根據(jù)駕駛員的位置，確定所述車窗區(qū)域中的駕駛員候選區(qū)域；在所述駕駛員候選區(qū)域中，采用預先訓練完成的卷積神經(jīng)網(wǎng)絡(luò)，識別駕駛員候選區(qū)域內(nèi)的駕駛員是否佩戴安全帶。

進一步地，所述裝置還包括：

訓練模塊，用于在樣本圖像集的駕駛員候選區(qū)域中，采用相應的檢測模型，檢測駕駛員所在的位置；根據(jù)每個樣本圖像集檢測到的駕駛員的圖像及該駕駛員是否佩戴安全帶的信息，對卷積神經(jīng)網(wǎng)絡(luò)進行訓練。

本發(fā)明實施例提供了一種車窗檢測方法及裝置，該方法中當接收到標記有待檢的車窗區(qū)域的圖像后，計算該車窗區(qū)域的特征金字塔，并采用訓練完成的可變形部件混合模型，對特征金字塔進行評分，其中該可變形部件混合模型包括至少兩個可變形部件模型，且為所述至少兩個可變形部件模型的根濾波器的最大值，及對應的每個部件濾波器的最大值的加權(quán)和，當所述可變形部件混合模型中根濾波器的評分值大于設(shè)定的第一閾值，且所述可變形部件混合模型的總評分值大于設(shè)定的第二閾值時，根據(jù)所述評分值對應的根位置及設(shè)定的區(qū)域大小，確定所述圖像中的車窗區(qū)域。由于本發(fā)明實施例采用可變形部件混合模型，該可變形部件混合模型為至少兩個可變形部件模型的加權(quán)和，而可變形部件混合模型對于圖像的變形、光照變化、車身顏色變化等不太敏感，對部分遮擋有較強的處理能力，因此可以提高車窗區(qū)域的檢測的準確性和魯棒性。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實施例提供的一種車窗檢測過程示意圖；

圖2A-圖2C為本發(fā)明實施例提供的標記有待檢的車窗區(qū)域的圖像；

圖3為本發(fā)明實施例提供的確定可變形部件混合模型的過程；

圖4A為本發(fā)明實施例提供的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖；

圖4B為本發(fā)明實施例提供的一種車窗檢測裝置結(jié)構(gòu)示意圖。

具體實施方式

為了提高圖像中車窗檢測的準確性及魯棒性，本發(fā)明實施例提供了一種車窗檢測方法及裝置。

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

圖1為本發(fā)明實施例提供的一種車窗檢測過程示意圖，該過程包括以下步驟：

S101：接收標記有待檢的車窗區(qū)域的圖像，提取所述車窗區(qū)域的特征金字塔。

本發(fā)明實施例應用于電子設(shè)備，具體的該電子設(shè)備可以是臺式機、筆記本、其他具有處理能力的智能設(shè)備等。

在對圖像進行車窗檢測時，首先在圖像中標記待檢的車窗區(qū)域，具體可以采用矩形框進行標記，該矩形框的大小可以不受限制。對車窗區(qū)域進行標記，可以是采用現(xiàn)有技術(shù)的方式，例如可以根據(jù)圖像中車牌的位置，以及車輛的類型，在車牌上方以一定車牌比例估計進行標記的車窗區(qū)域。

圖2A-圖2C為本發(fā)明實施例提供的標記有待檢的車窗區(qū)域的圖像，具體的，當車輛為小轎車時如圖2A所示，在圖像中標記的車窗區(qū)域為1.2倍～3.5倍車牌長度，當車輛為貨車時如圖2B所示，在圖像中標記的車窗區(qū)域為1.8倍～5.5倍車牌長度，當車輛為大客車時如圖2C所示，在圖像中標記的車窗區(qū)域為1.5倍～7.5倍車牌長度，對于圖像中無車牌的車輛，則將整車區(qū)域進行標記，即將整車區(qū)域標記為車窗區(qū)域。

當然在對圖像中待檢的車窗區(qū)域進行標記時，也可以采用其他方法，在本發(fā)明實施例中對該過程不進行贅述。

針對標記有待檢的車窗區(qū)域的圖像，通過平滑和下采樣處理得到該車窗區(qū)域的圖像金字塔，然后計算該圖像金字塔中每層圖像的所有特征，確定該車窗區(qū)域的特征金字塔，特征金字塔中每一層的最小單位是細胞單元(cell)。具體的，確定該車窗區(qū)域的特征金字塔的過程屬于現(xiàn)有技術(shù)，本發(fā)明實施例中對該過程不進行贅述。

S102：采用訓練完成的可變形部件混合模型，對所述特征金字塔進行評分，其中所述可變形部件混合模型包括至少兩個可變形部件模型，且為所述至少兩個可變形部件模型中根濾波器的最大值，及對應的每個部件濾波器的最大值的加權(quán)和。

在本發(fā)明實施例中采用可變形部件混合模型檢測圖像中的車窗區(qū)域，具體的，該可變形部件混合模型包括至少兩個可變形部件模型，且為所述至少兩個可變形部件模型中根濾波器的最大值，及對應的每個部件濾波器的最大值的加權(quán)和。可變形部件混合模型中每個可變形部件模型中根濾波器和對應的部件濾波器對應的權(quán)值可以相同，也可以不同。在本發(fā)明實施例中為了便于區(qū)分，將根濾波器對應的權(quán)值稱為第一權(quán)值，將每個對應的部件濾波器對應的權(quán)值統(tǒng)稱為第二權(quán)重。

其中，根據(jù)可變形部件混合模型，對特征金字塔中每層圖像進行評分的過程屬于現(xiàn)有技術(shù)，在本發(fā)明實施例中對該過程不進行贅述。

S103：當所述可變形部件混合模型中根濾波器的評分值大于設(shè)定的第一閾值，且所述可變形部件混合模型的總評分值大于設(shè)定的第二閾值時，根據(jù)所述評分值對應的根位置及設(shè)定的區(qū)域大小，確定所述圖像中的車窗區(qū)域。

由于本發(fā)明實施例中的可變形部件混合模型為至少兩個可變形部件模型中根濾波器的最大值，及對應的每個部件濾波器的最大值的加權(quán)和，因此該可變形部件混合模型的根濾波器的評分值，即為該至少兩個可變形部件模型中根濾波器的最大評分值。當該評分值大于設(shè)定的第一閾值時，進一步判斷該可變形部件混合模型的總評分值是否大于設(shè)定的第二閾值，如果大于，則在該圖像中確定車窗區(qū)域。

當該評分值不大于設(shè)定的第一閾值時，確定圖像中不存在車窗區(qū)域。一般在圖像中進行車窗區(qū)域的標記，是根據(jù)車窗區(qū)域的某種特征進行的，采用該特征標記的車窗區(qū)域，為圖像中存在車窗位置概率最大的位置，因此如果評分值不大于設(shè)定的第一閾值，可以認為該圖像中不存在車窗區(qū)域。

由于本發(fā)明實施例采用可變形部件混合模型，該可變形部件混合模型為至少兩個可變形部件模型的加權(quán)和，而可變形部件混合模型對于圖像的變形、光照變化、車身顏色變化等不太敏感，對部分遮擋有較強的處理能力，因此可以提高車窗區(qū)域的檢測的準確性和魯棒性。

本發(fā)明實施例中為了提高對圖像中車窗檢測的準確性及魯棒性，并能夠針對任何圖像進行檢測，采用了可變形部件模型?？勺冃尾考Ｐ涂梢跃C合考慮目標的整體信息、各部分的表象信息和空間關(guān)系，可以提取到比基于整體的方法更加豐富的信息，對于圖像中的變形、光照變化、車身顏色等變化不太敏感，對于部分遮擋具有較強的處理能力。

另外，本發(fā)明實施例為了實現(xiàn)對各種車型、各種類型的車窗進行檢測，根據(jù)對不同類型的車輛訓練的可變形部件模型，將訓練完成的至少兩個可變形部件模型中根濾波器的最大值，及對應的每個部件濾波器的最大值的加權(quán)和，確定為可變形部件混合模型，從而實現(xiàn)對不同類型的車輛的車窗的檢測，達到較好的綜合檢測效果。

圖3為本發(fā)明實施例提供的確定可變形部件混合模型的過程，該過程包括以下步驟：

S301：針對每種類型的車輛，識別樣本圖像集中該類型的車輛對應的樣本圖像，根據(jù)識別到的樣本圖像中標記的待檢的車窗區(qū)域，對該類型的車輛對應的可變形部件模型進行訓練。

本發(fā)明實施例中在對可變形部件模型進行訓練時，是針對不同的車型分別進行的訓練，這是因為不同類型的車輛的車窗區(qū)別還是比較大的。具體的，在本發(fā)明實施例中可以將車型按照小轎車、大客車、貨車等進行分類，在進行訓練時，針對不同的類型的車輛訓練至少一個可變形部件模型。

樣本圖像集為負樣本圖像和各種類型的車輛對應的樣本圖像的集合，負樣本圖像即不包含車窗的圖像，在訓練可變形部件模型時，為了提高可變形部件模型檢車的準確性，還需要準備些負樣本圖像。

針對樣本圖像集中的樣本圖像和負樣本圖像，對圖像中的待檢的車窗區(qū)域進行標記，標記時，與上述實施例中描述的標記方法相同。具體的，當車輛為小轎車時如圖2A所示，在圖像中標記的車窗區(qū)域為1.2倍～3.5倍車牌長度，當車輛為貨車時如圖2B所示，在圖像中標記的車窗區(qū)域為1.8倍～5.5倍車牌長度，當車輛為大客車時如圖2C所示，在圖像中標記的車窗區(qū)域為1.5倍～7.5倍車牌長度，對于圖像中無車牌的車輛，則將整車區(qū)域進行標記，即將整車區(qū)域標記為車窗區(qū)域。當然在對圖像中待檢的車窗區(qū)域進行標記時，也可以采用其他方法，只要可變形部件模型訓練時與車窗檢測時，采用相同的標記方法即可，在本發(fā)明實施例中對該過程不進行贅述。

根據(jù)標記有待檢的車窗區(qū)域的樣本圖像，即可針對每種類型的可變形部件模型進行訓練，具體的針對可變形部件模型進行訓練的過程屬于現(xiàn)有技術(shù)，在本發(fā)明實施例中對該過程不進行贅述。

S302：根據(jù)針對每種類型的車輛訓練的可變形部件模型，及預設(shè)的數(shù)量閾值，選擇相應數(shù)量個可變形部件模型。

當針對每種類型的車輛訓練完成至少一個可變形部件模型后，在生成可變形部件混合模型時，訓練完成的所有可變形部件模型都可以用來確定可變形部件混合模型。但為了減少計算量，提高檢測的效率，在本發(fā)明實施例中可以預設(shè)數(shù)量閾值，當訓練完成的可變形部件模型的數(shù)量大于該預設(shè)的數(shù)量閾值時，在訓練完成的可變形部件模型中進行選擇，選擇該數(shù)量閾值對應的數(shù)量的可變形部件模型，根據(jù)選擇的可變形部件模型生成可變形部件混合模型。當訓練完成的所有可變形部件模型的數(shù)量不大于該設(shè)定的數(shù)量閾值時，根據(jù)訓練完成的所有可變形部件模型生成可變形部件混合模型。

具體在進行選擇時，可以任意選擇，例如按照訓練完成的可變形部件模型的序號選擇，例如預設(shè)的數(shù)量閾值為3，訓練完成的可變形部件模型的序號分別為1-6，則可以選擇序號為1-3的可變形部件模型，或者選擇序號為奇數(shù)的可變形部件模型，或者選擇序號為偶數(shù)的可變形部件模型，或者按照其他的規(guī)則隨便選擇。

當然在選擇時，因為可變形部件模型是針對每種類型的車輛訓練的，因此在進行選擇時，也可以考慮車輛類型的信息，選擇的可變形部件模型盡量覆蓋每張類型的車輛。還以上例進行說明，預設(shè)的數(shù)量閾值為3，訓練完成的可變形部件模型的序號分別為1-6，其中，序號1、2的可變形部件模型是針對小轎車訓練完成的，序號3、4的可變形部件模型是針對大客車訓練完成的，序號5、6的可變形部件模型是針對貨車訓練完成的，則在選擇時，可以選擇序號為1、3、5的可變形部件混合模型，從而覆蓋每種類型的車輛，便于對不同類型的車輛的車窗區(qū)域進行檢測。當然在選擇可變形部件模型時還可以采用其他方式，在本發(fā)明實施例中對該過程不再一一贅述。

S303：將所述相應數(shù)量個可變形部件模型根濾波器的最大值，及對應的部件濾波器的最大值的加權(quán)和確定為所述可變形部件混合模型。

在本發(fā)明實施例中該可變形部件混合模型包括m個可變形部件模型，m為不小于2的整數(shù)，并且對m個可變形部件模型的第i個部件濾波器分別進行計算，取最大值作為該部件濾波器的得分，從而能夠保證較準確的檢測車窗位置，i為0到n的整數(shù)，i為0時為根濾波器。

另外因為各個部件濾波器捕捉到的信息不同，所以各個部件濾波器在車窗檢測中的重要性也是不同的，在本發(fā)明實施例中對每個部件濾波器進行加權(quán)，從而得到可變形部件混合模型。

可變形部件混合模型中每個可變形部件模型中根濾波器和對應的部件濾波器對應的權(quán)值可以相同也可以不同。其中當每個根濾波器對應的第一權(quán)值為1，并且對應的每個部件濾波器對應的第二權(quán)值也為1時，是該可變形部件混合模型的一種特殊形式，此時的可變形部件混合模型是每個可變形部件模型的直接相加，并為根濾波器最大值和對應的部件濾波器最大值的和。

在本發(fā)明實施例中為了進一步提高車窗檢測的準確性，根據(jù)每個部件濾波器的重要性確定每個部件濾波器的第二權(quán)重，并且對應的每個部件濾波器的第二權(quán)重對應相等。具體的，該可變形部件混合模型包括至少兩個可變形部件模型，且為所述至少兩個可變形部件模型中根濾波器的最大值，及對應的每個部件濾波器的最大值的加權(quán)和，如下式：

其中，score(p₀,...,p_n)為該可變形部件混合模型，G_0,1,…,G_0，m為m個可變形部件模型的根濾波器，ω₀為根濾波器對應的第一權(quán)值，G_i,1,…,G_i，m為m個可變形部件模型的第i個部件濾波器，其中每個可變形部件模型有n個部件濾波器，其中m個可變形部件模型的第i個部件濾波器對應的第二權(quán)值為ω_i。

下面對本發(fā)明實施例中可變形部件混合模型的確定過程進行詳細說明。

可變形部件模型(Deformable Part Model)包括：一個較為粗糙的、覆蓋整個目標的根濾波器，幾個高分辨率的部件濾波器以及部件濾波器相對于根濾波器的位移。濾波器就是一個權(quán)重向量，所謂濾波器的評分值就是此權(quán)重向量與特征金字塔中w*h大小子窗口的特征向量的點積。而可變形部件模型的評分值是根濾波器的評分值與部件濾波器的評分值的和，每個濾波器的評分值都是此濾波器的各個空間位置評分的最大值，每個濾波器的空間位置評分是該濾波器在該子窗口上濾波器的評分減去變形花費。

假設(shè)F是一個w*h大小的濾波器，H是特征金字塔，p＝(x,y,l)表示特征金字塔中l(wèi)層坐標為(x,y)的位置，φ(H,p,w,h)表示特征金字塔H中以p點為左上角的頂點的w*h大小的子窗口中的所有特征向量，按行優(yōu)先順序串聯(lián)起來得到的向量，所以濾波器F在p處的評分值為F′·φ(H,p,w,h)，F(xiàn)′表示將F中的權(quán)重向量按行優(yōu)先順序串聯(lián)起來得到的向量。

因此，含有n+1個濾波器的可變形部件模型可以通過根濾波器F₀和一系列部件濾波器來定義，其中，每個部件濾波器可以表示為一個三元組：(F_i,v_i,d_i)，其中F_i為第i個部件濾波器，v_i為一個二維向量，表示第i個部件濾波器的位置的矩形中心點相對于根濾波器的位置，矩形中心點又稱為錨點，d_i是一個四維向量，為一個二次函數(shù)的參數(shù)，此二次函數(shù)表示部件濾波器的每個可能位置相對于其錨點位置的變形花費。

可變形部件模型中每個部件濾波器所在層的特征分辨率都是根濾波器所在層的特征分辨率的兩倍。部件濾波器在位置p上的評分值等于每個部件濾波器在各自位置的評分值，減去此位置相對于根位置的變形花費再加上偏移值：

其中，(dx_i,dy_i)＝(x_i,y_i)-(2^*(x₀,y₀)+v_i)表示第i個部件濾波器相對于其錨點位置的位移，(x₀,y₀)是根濾波器在其所在層的坐標，為了統(tǒng)一到部件濾波器所在的層，需要乘以2，v_i是第i個部件濾波器的錨點相對于根濾波器的坐標偏移，φ_d(dx,dy)＝(dx,dy_,dx²,dy²)表示變形花費。

具體的，可以將位移b分配到每個濾波器中，即因此濾波器在位置p的評分值可以進行如下改寫：

即

可變形部件模型采用隱藏支持向量機(LSVM)方法，對每個圖像的評分值進行計算，具體可以表示為：f_β(x)＝max_zβ·Φ|(x,z)，其中β是模型的參數(shù)向量，z是隱藏變量。

在針對每種類型的車輛，對該類型的車輛對應的可變形部件模型進行訓練時包括：

根據(jù)第一個樣本圖像中標記的待檢的車窗區(qū)域，確定根濾波器；

針對每個其他的樣本圖像，根據(jù)已經(jīng)確定的根濾波器對當前樣本圖像進行評分，根據(jù)根濾波器的評分最大值及所述根濾波器的大小，對所述當前圖像中標記的待檢的車窗區(qū)域進行更新，并根據(jù)更新后的待檢的車窗區(qū)域，確定所述根濾波器及部件濾波器。

樣本圖像集中的樣本圖像包括多個，在針對每種類型的車輛訓練可變形部件模型時，獲取包含該類型的車輛的樣本圖像，首先進行根濾波器的初始化，即根據(jù)獲取的第一個樣本圖像中標記的待檢的車窗區(qū)域，使用支持向量機來確定根濾波器的初始值。針對獲取到的每個其他樣本圖像進行訓練時，根據(jù)采用上一個樣本圖像確定的根濾波器，對當前樣本圖像進行評分，根據(jù)評分最大值所在的位置和根濾波器的大小，對當前樣本圖像中標記的車窗區(qū)域進行更新，并根據(jù)更新后的車窗區(qū)域，對根濾波器進行更新。

另外，在對可變形部件模型進行訓練時，在每次訓練時，在根濾波器確定的位置上，貪婪的選擇評分值最大的區(qū)域作為部件濾波器的位置，根據(jù)不斷的更新樣本圖像，更新部件濾波器。具體的根據(jù)根濾波器的位置，進行部件濾波器更新的過程屬于現(xiàn)有技術(shù)，在本發(fā)明實施例中對該過程不進行贅述。上述使用隱藏支持向量機訓練可變形部件模型的過程，通過不斷地迭代和更新樣本圖像，得到準確的可變形部件模型。

本發(fā)明實施例中針對每種類型的車輛訓練至少一個可變形部件模型，而用于生成可變形部件混合模型的可變形部件模型的數(shù)量閾值，可能小于訓練的可變形部件模型的總量，因此在本發(fā)明實施例中根據(jù)針對每種類型的車輛訓練的可變形部件模型，及預設(shè)的數(shù)量閾值，選擇相應數(shù)量個可變形部件模型，該過程具體包括：

根據(jù)所述預設(shè)的數(shù)量閾值，針對每個待選的可變形部件模型中部件濾波器與根濾波器的相對位移，選擇相應數(shù)量個可變形部件模型，其中被選中的可變形部件模型中相同序號的部件濾波器相對于根濾波器的位移相差較小。

本發(fā)明實施例在選擇構(gòu)成可變形部件混合模型的可變形部件模型中，相同序號的部件濾波器相對于根濾波器的位移相差較小，可以保證被選中的可變形部件模型對相同位置的檢測精度相差不大，從而可以提高檢測精度。具體的在選擇可變形部件模型時，根據(jù)每個部件濾波器與根濾波器的相對位移，對訓練完成的可變形部件模型中進行篩選。在篩選時是針對每個部件濾波器與根濾波器的相對位移進行的，篩選出每個部件濾波器的相對位移小于預設(shè)閾值的可變形部件模型，其中，篩選出的可變形部件模型中每個部件濾波器與根濾波器的相對位移都小于預設(shè)閾值。

當篩選出的可變形部件模型的數(shù)量與預設(shè)的數(shù)量閾值相等時，則將篩選出的可變形部件模型作為被選中的可變形部件模型。當篩選出的可變形部件模型的數(shù)量與預設(shè)的數(shù)量閾值不等時，可調(diào)整可變形部件中部件濾波器的數(shù)量，采用樣本圖像重新對每種類型的車輛對應的可變形部件模型進行訓練，具體的在調(diào)整可變形部件模型中部件濾波器的數(shù)量時，可以是減小部件濾波器的數(shù)量。

根據(jù)訓練完成的每個可變形部件模型，及預設(shè)的數(shù)量閾值，選擇相應數(shù)量個可變形部件模型，其中被選中的可變形部件模型中相同序號的部件濾波器相對于根濾波器的位移相差較小。如果此時篩選出的可變形部件模型還是不能滿足該預設(shè)的數(shù)量閾值，則針對每個可變形部件模型，根據(jù)該可變形部件模型中每個部件濾波器與根濾波器的相對位移的和，選擇相對位移較小的相應數(shù)量個可變形部件模型。

具體的，在選擇時如果每個可變形部件模型中每個相同序號的部件濾波器相對于根濾波器的位移相差都不大，則按照位移相差的大小，選擇位移相差較小的可變形部件模型。如果存在位移相差比較大的可變形部件模型，并且待選擇的可變形部件模型數(shù)量大于設(shè)定的數(shù)量閾值，則將該位移相差比較大的可變形部件模型去除。

例如訓練完成的可變形部件模型共5個，分別為A、B、C、D、E，預設(shè)的數(shù)量閾值為3個，每個可變形部件模型包括4個部件濾波器，其中A中各部件濾波器與根濾波器的位移差分別為1、3、1、2，B中各部件濾波器與根濾波器的位移差分別為2、1、2、3，C中各部件濾波器與根濾波器的位移差分別為1、1、2、2、D中各部件濾波器與根濾波器的位移差分別為2、1、2、2，E中各部件濾波器與根濾波器的位移差分別為2、1、2、5，則在選擇可變形部件模型時，因為E中存在位移差為5的部件濾波器，因此在選擇時將E去除，在剩余的A、B、C、D中，C的位移差最小，然后是A和D，最后是B，因此在進行選擇時，選擇可變形部件模型A、C、D。

選擇了構(gòu)成可變形部件混合模型的可變形部件模型后，將選擇的可變形部件模型的部件濾波器按照順序進行合并，得到(K₀,K₁,...,K_n)，K_i為來自m個不同的可變形部件模型的第i個部件濾波器的集合。

由于不同類型的車輛的車窗區(qū)別較大，各個濾波器捕捉到的信息不同，因此各個濾波器在車窗檢測中的重要性也是不同的，在本發(fā)明實施例中為了有效提高檢測準確性，采用的可變形部件混合模型為可變形部件加權(quán)模型，加權(quán)模型可以表示為(w₀K₀,w₁K₁,...,w_nK_n)，w_i為第i個部件濾波器對應的權(quán)重。

本發(fā)明實施例中該可變形部件混合模型為根濾波器和對應的部件濾波器的最大值，將每個根濾波器對應的權(quán)重稱為第一權(quán)值，對應的每個部件濾波器對應的權(quán)重稱為第二權(quán)值。其中第一權(quán)值和每個第二權(quán)值可以都為1，當然也可以為其他值。

為了根據(jù)車窗檢測中每個部件濾波器的重要性，對車窗進行檢測，從而提高檢測的準確性，在本發(fā)明實施例中所述可變形混合模型中所述根濾波器對應的第一權(quán)值相等，每個對應的部件濾波器對應的第二權(quán)值相等。因此本發(fā)明實施例的可變形部件混合模型可以表示為m為可變形部件模型的數(shù)量，n為每個可變形部件模型中部件濾波器的數(shù)量，w_i為第i個濾波器對應的權(quán)重。

其中，第一權(quán)值和每個第二權(quán)值的確定過程包括：

選擇任意一個可變形部件模型作為目標可變形部件模型；

采用所述目標可變形部件模型的根濾波器對每個樣本圖像進行評分，確定每個第一評分，并依次采用所述目標可變形部件模型的每個部件濾波器分別對每個樣本圖像進行評分，確定每個第二評分；

針對根濾波器，根據(jù)所述每個第一評分的和，及所述每個第一評分和第二評分的和，確定第一權(quán)值，針對每個部件濾波器，根據(jù)該部件濾波器對應的每個第二評分的和，及所述每個第一評分和第二評分的和，確定每個第二權(quán)值。

或，在確定第一權(quán)值和第二權(quán)值時也可以采用以下方法：

針對選擇的每個可變形部件模型，采用該可變形部件模型的根濾波器對每個樣本圖像進行評分，確定每個第一評分，并依次采用該可變形部件模型的每個部件濾波器分別對每個樣本圖像進行評分，確定每個第二評分；

根據(jù)針對選擇的每個可變形部件模型的每個第一評分的和，及每個第一評分和每個第二評分的和，確定第一權(quán)值，并針對每個部件濾波器，根據(jù)選擇的每個可變形部件模型的該部件濾波器對應的每個第二評分的和，及每個第一評分和第二評分的和，確定每個第二權(quán)值。

因為可變形部件混合模型包括至少兩個可變形部件模型，在確定第一權(quán)值和第二權(quán)值時，可以任意選擇一個可變形部件模型，根據(jù)其對樣本圖像的評分確定，當然也可以采用每個可變形部件模型對樣本圖像的評分來確定。采用每個可變形部件模型對樣本圖像的評分確定權(quán)值，能夠更準確的體現(xiàn)每個部件濾波器的重要性，從而進一步提高車窗檢測的準確性。

下面以根據(jù)每個可變形部件模型對樣本圖像的評分確定權(quán)值的過程進行說明，其中這里的每個可變形部件模型是指構(gòu)成可變形部件混合模型的每個可變形部件模型。針對該每個可變形部件模型，使用根濾波器，將部件濾波器置零，對每個樣本圖像進行評分，將評分值記錄為score_ju(0)，即第j個可變形部件模型的根濾波器對第u個樣本圖像的評分值。之后采用第一個部件濾波器，將其他濾波器置零，對每個樣本圖像進行評分，評分的值記錄為score_ju(1)。之后采用同樣的方法，計算每個部件濾波器對每個樣本圖像的評分，從而可獲得第i個濾波器的權(quán)值為其中score_ju(i)為第j個可變形部件模型的第i個濾波器，針對第u個樣本圖像的評分，score_ju為第j個可變形部件模型對第u個樣本圖像的總評分，其中m為可變形部件模型的數(shù)量，U為樣本圖像集，u為樣本圖像集中的任意一個樣本圖像，可變形部件模型中部件濾波器的數(shù)量為n。

當可變形部件混合模型訓練完成后，即可采用其對圖像中的車窗區(qū)域進行檢測，因為該可變形部件混合模型為濾波器最大值的加權(quán)和，因此通過該可變形部件混合模型對待檢測的圖像進行評分后，獲取到的根濾波器的評分值，即為至少兩個可變形部件模型中根濾波器的最大評分值，當該評分值不大于設(shè)定的第一閾值時，確定該圖像中不存在車窗。

當該評分值大于設(shè)定的第一閾值時，獲取該可變形部件混合模型的總評分值，同樣的，該可變形部件混合模型的總評分值即為至少兩個可變形部件模型中，對應的每個濾波器的最大值與相應的權(quán)值的乘積和，當該總評分值大于設(shè)定的第二閾值時，確定該圖像中存在車窗區(qū)域，根據(jù)該評分值對應的根位置及設(shè)定的區(qū)域大小，確定圖像中的車窗區(qū)域，即將根位置作為左上角的頂點，圖像中該設(shè)定的區(qū)域大小覆蓋的范圍作為圖像中的車窗區(qū)域。該設(shè)定的區(qū)域大小一般根據(jù)圖像中車窗大小設(shè)定，例如可以是8*8，或者10*10、10*12等等，具體可以根據(jù)需要靈活設(shè)定。

在本發(fā)明實施例中當在圖像中確定了車窗區(qū)域后，可以根據(jù)圖像中的車窗區(qū)域，識別駕駛員是否佩戴了安全帶。具體的，在圖像中的車窗區(qū)域中識別駕駛員是否佩戴了安全帶，是采用預先訓練完成的卷積神經(jīng)網(wǎng)絡(luò)進行的，其識別過程包括：

在檢測到的車窗區(qū)域中，根據(jù)駕駛員的位置，確定所述車窗區(qū)域中的駕駛員候選區(qū)域；

在所述駕駛員候選區(qū)域中，采用預先訓練完成的卷積神經(jīng)網(wǎng)絡(luò)，識別駕駛員候選區(qū)域內(nèi)的駕駛員是否佩戴安全帶。

具體的，在本發(fā)明實施例中可以對進行安全帶識別的卷積神經(jīng)網(wǎng)絡(luò)進行訓練，該訓練完成的卷積神經(jīng)網(wǎng)絡(luò)可以檢測車窗區(qū)域中的駕駛員是否佩戴安全帶。

該所述卷積神經(jīng)網(wǎng)絡(luò)的訓練過程包括：

在樣本圖像集的駕駛員候選區(qū)域中，采用相應的檢測模型，檢測駕駛員所在的位置；

根據(jù)每個樣本圖像集檢測到的駕駛員的圖像及該駕駛員是否佩戴安全帶的信息，對卷積神經(jīng)網(wǎng)絡(luò)進行訓練。

本發(fā)明實施例中樣本圖像集中包括大量的樣本圖像，在每個樣本圖像中包含車窗區(qū)域，在樣本圖像的車窗區(qū)域中選擇車窗右側(cè)2/3的區(qū)域，作為駕駛員候選區(qū)域。在駕駛員候選區(qū)域中檢測駕駛員所在的位置，可以采用相應的檢測模型，其中該檢測模型包括人臉檢測模型和頭肩檢測模型，較佳地，可以選擇檢測效果較好的頭肩檢測模型。通過頭肩檢測模型可以檢測出駕駛員候選區(qū)域中駕駛員的頭和肩膀所在的區(qū)域，獲取該區(qū)域?qū)膱D像，將該區(qū)域?qū)膱D像作為駕駛員的圖像。

根據(jù)每個駕駛員的圖像，確定每個駕駛員是否佩戴安全帶，根據(jù)駕駛員的圖像及該駕駛員是否佩戴安全帶的信息，對卷積神經(jīng)網(wǎng)絡(luò)進行訓練。

在對卷積神經(jīng)網(wǎng)絡(luò)進行訓練之前，還包括對每個駕駛員的圖像進行歸一化處理，歸一化后的駕駛員的圖像大小相同。

具體的，在本發(fā)明實施例中在對卷積神經(jīng)網(wǎng)絡(luò)進行訓練時，該卷積神經(jīng)網(wǎng)絡(luò)包括卷積層、1/2降采樣層、直連層和回歸層。其中卷積層可以對輸入的圖像采用若干個卷積核進行卷積操作；1/2降采樣層對輸入的圖像進行降采樣，每橫向和縱向兩個像素點合并為一個像素點，達到減低圖像分辨率的目的；直連層為普通的神經(jīng)網(wǎng)絡(luò)連接，直連層的每一個節(jié)點均與上一層的輸出節(jié)點相連接；回歸層對輸入的特征進行回歸，輸出判別結(jié)果。

該卷積神經(jīng)網(wǎng)絡(luò)的具體結(jié)構(gòu)如圖4A所示，在本發(fā)明實施例中在對駕駛員的圖像進行歸一化后，駕駛員的圖像大小為64*64，卷積層的卷積核的大小為3*3，m、n、p的值分別取48、96和128，直連層的節(jié)點數(shù)為400個。

參見圖4A所示，歸一化后的駕駛員的圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)，先經(jīng)過3個3*3的卷積層，再經(jīng)過一個1/2降采樣層，1/2降采樣層的輸出結(jié)果作為2個3*3的卷積層的出入，再經(jīng)過一個1/2降采樣層，1/2降采樣層的輸出結(jié)果作為2個3*3的卷積層的出入，再經(jīng)過一個1/2降采樣層，1/2降采樣層與直連層連接，通過softmax回歸層得到判別結(jié)果。

卷積神經(jīng)網(wǎng)絡(luò)訓練完成后，即可在檢測到的車窗區(qū)域中，對駕駛員是否佩戴安全帶進行檢測。卷積神經(jīng)網(wǎng)絡(luò)具有強大的特征學習能力，能夠克服由人工置頂特征所帶來的描述不夠準確的問題，另外，在本發(fā)明實施例中采用12層的網(wǎng)絡(luò)，較小的卷積核，可以在保證準確率的基礎(chǔ)上，減低計算量。

圖4B為本發(fā)明實施例提供的一種車窗檢測裝置，該裝置包括：

確定模塊41，用于接收標記有待檢的車窗區(qū)域的圖像，確定所述車窗區(qū)域的特征金字塔；

評分模塊42，用于采用訓練完成的可變形部件混合模型，對所述特征金字塔進行評分，其中所述可變形部件混合模型包括至少兩個可變形部件模型，且為所述至少兩個可變形部件模型中根濾波器的最大值，及對應的每個部件濾波器的最大值的加權(quán)和；

檢測模塊43，用于當所述可變形部件混合模型中根濾波器的評分值大于設(shè)定的第一閾值，且所述可變形部件混合模型的總評分值大于設(shè)定的第二閾值時，根據(jù)所述評分值對應的根位置及設(shè)定的區(qū)域大小，確定所述圖像中的車窗區(qū)域。

所述檢測模塊43，還用于當所述評分值不大于設(shè)定的第一閾值時，確定所述圖像中不存在車窗區(qū)域。

所述檢測模塊43，具體用于將所述根位置作為左上角的頂點，所述設(shè)定的區(qū)域大小覆蓋的范圍作為所述圖像中的車窗區(qū)域。

所述裝置還包括：

訓練模塊44，用于針對每種類型的車輛，識別樣本圖像集中該類型的車輛對應的樣本圖像，根據(jù)識別到的樣本圖像中標記的待檢的車窗區(qū)域，對該類型的車輛對應的可變形部件模型進行訓練；根據(jù)針對每種類型的車輛訓練的可變形部件模型，及預設(shè)的數(shù)量閾值，選擇相應數(shù)量個可變形部件模型；將所述相應數(shù)量個可變形部件模型根濾波器的最大值，及對應的部件濾波器的最大值的加權(quán)和確定為所述可變形部件混合模型。

所述訓練模塊44，具體用于根據(jù)第一個樣本圖像中標記的待檢的車窗區(qū)域，確定根濾波器；針對每個其他的樣本圖像，根據(jù)已經(jīng)確定的根濾波器對當前樣本圖像進行評分，根據(jù)根濾波器的評分最大值確定的車窗區(qū)域及所述當前圖像中標記的待檢的車窗區(qū)域，對所述當前圖像中標記的待檢的車窗區(qū)域進行更新，并根據(jù)更新后的待檢的車窗區(qū)域，確定所述根濾波器及部件濾波器。

所述訓練模塊44，具體用于根據(jù)所述預設(shè)的數(shù)量閾值，針對每個待選的可變形部件模型中部件濾波器與根濾波器的相對位移，選擇相應數(shù)量個可變形部件濾波器，其中選擇的可變形部件模型中相同序號的部件濾波器相對于根濾波器的位移相差較小。

所述訓練模塊44，具體用于將所述可變形混合模型中所述每個根濾波器對應的第一權(quán)值和每個對應的部件濾波器對應的每個第二權(quán)值確定為1；或確定所述每個根濾波器對應的第一權(quán)值相等，每個對應的部件濾波器對應的第二權(quán)值相等。

所述訓練模塊44，具體用于選擇任意一個可變形部件模型作為目標可變形部件模型；采用所述目標可變形部件模型的根濾波器對每個樣本圖像進行評分，確定每個第一評分，并依次采用所述目標可變形部件模型的每個部件濾波器分別對每個樣本圖像進行評分，確定每個第二評分；針對根濾波器，根據(jù)所述每個第一評分的和，及所述每個第一評分和第二評分的和，確定第一權(quán)值，針對每個部件濾波器，根據(jù)該部件濾波器對應的每個第二評分的和，及所述每個第一評分和第二評分的和，確定每個第二權(quán)值。

所述訓練模塊44，具體用于針對選擇的每個可變形部件模型，采用該可變形部件模型的根濾波器對每個樣本圖像進行評分，確定每個第一評分，并依次采用該可變形部件模型的每個部件濾波器分別對每個樣本圖像進行評分，確定每個第二評分；根據(jù)針對選擇的每個可變形部件模型的每個第一評分的和，及每個第一評分和每個第二評分的和，確定第一權(quán)值，并針對每個部件濾波器，根據(jù)選擇的每個可變形部件模型的該部件濾波器對應的每個第二評分的和，及每個第一評分和第二評分的和，確定每個第二權(quán)值。

所述裝置還包括：

識別模塊45，用于在檢測到的車窗區(qū)域中，根據(jù)駕駛員的位置，確定所述車窗區(qū)域中的駕駛員候選區(qū)域；在所述駕駛員候選區(qū)域中，采用預先訓練完成的卷積神經(jīng)網(wǎng)絡(luò)，識別駕駛員候選區(qū)域內(nèi)的駕駛員是否佩戴安全帶。

所述裝置還包括：

訓練模塊46，用于在樣本圖像集的駕駛員候選區(qū)域中，采用相應的檢測模型，檢測駕駛員所在的位置；根據(jù)每個樣本圖像集檢測到的駕駛員的圖像及該駕駛員是否佩戴安全帶的信息，對卷積神經(jīng)網(wǎng)絡(luò)進行訓練。

本發(fā)明實施例提供了一種車窗檢測方法及裝置，該方法中當接收到標記有待檢的車窗區(qū)域的圖像后，計算該車窗區(qū)域的特征金字塔，并采用訓練完成的可變形部件混合模型，對特征金字塔進行評分，其中該可變形部件混合模型包括至少兩個可變形部件模型，且為所述至少兩個可變形部件模型的根濾波器的最大值，及對應的每個部件濾波器的最大值的加權(quán)和，當所述可變形部件混合模型中根濾波器的評分值大于設(shè)定的第一閾值，且所述可變形部件混合模型的總評分值大于設(shè)定的第二閾值時，根據(jù)所述評分值對應的根位置及設(shè)定的區(qū)域大小，確定所述圖像中的車窗區(qū)域。由于本發(fā)明實施例采用可變形部件混合模型，該可變形部件混合模型為至少兩個可變形部件模型的加權(quán)和，而可變形部件混合模型對于圖像的變形、光照變化、車身顏色變化等不太敏感，對部分遮擋有較強的處理能力，因此可以提高車窗區(qū)域的檢測的準確性和魯棒性。

對于系統(tǒng)/裝置實施例而言，由于其基本相似于方法實施例，所以描述的比較簡單，相關(guān)之處參見方法實施例的部分說明即可。

本領(lǐng)域內(nèi)的技術(shù)人員應明白，本申請的實施例可提供為方法、系統(tǒng)、或計算機程序產(chǎn)品。因此，本申請可采用完全硬件實施例、完全軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且，本申請可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(zhì)(包括但不限于磁盤存儲器、CD-ROM、光學存儲器等)上實施的計算機程序產(chǎn)品的形式。

本申請是參照根據(jù)本申請實施例的方法、設(shè)備(系統(tǒng))、和計算機程序產(chǎn)品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個機器，使得通過計算機或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些計算機程序指令也可存儲在能引導計算機或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計算機或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理，從而在計算機或其他可編程設(shè)備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

盡管已描述了本申請的優(yōu)選實施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對這些實施例做出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu)選實施例以及落入本申請范圍的所有變更和修改。

顯然，本領(lǐng)域的技術(shù)人員可以對本申請進行各種改動和變型而不脫離本申請的精神和范圍。這樣，倘若本申請的這些修改和變型屬于本申請權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本申請也意圖包含這些改動和變型在內(nèi)。