配,分類(lèi)錯(cuò)誤的給以更大的權(quán)值,分類(lèi)正確的 給以較小的權(quán)值,具體訓(xùn)練過(guò)程見(jiàn)圖12。在選取弱分類(lèi)器時(shí)候的公式為:
[0104] 其中exp是指數(shù)函數(shù),f (Xl)是弱分類(lèi)器,Vl是當(dāng)前的分類(lèi)標(biāo)記,wf樣本i在第t 次迭代的權(quán)重。在轉(zhuǎn)移學(xué)習(xí)階段,輸入是已經(jīng)在通用數(shù)據(jù)庫(kù)上面訓(xùn)練好的模型,輸出是將通 用數(shù)據(jù)庫(kù)上面的模型轉(zhuǎn)移到紅外圖像上面的模型。為了衡量模型之間的差距并且盡可能的 將通用數(shù)據(jù)庫(kù)上面的模型參數(shù)轉(zhuǎn)移到紅外圖像上面,我們使用了 KL距離來(lái)衡量模型的差 另IJ。具體的優(yōu)化公式如下:
[0107] 式子當(dāng)中,λ設(shè)置不同的值,最后我們選取一個(gè)能讓測(cè)試錯(cuò)誤率到達(dá)最低的λ, 是在通用數(shù)據(jù)庫(kù)上面訓(xùn)練所得到的模型,P,q是兩個(gè)概率分布,Pl,^是兩個(gè)分布中第 i個(gè)實(shí)例的概率。
[0108] 在測(cè)試階段,最后的強(qiáng)分類(lèi)器是
由于轉(zhuǎn)移學(xué)習(xí)的模型與非轉(zhuǎn)移學(xué) 習(xí)的模型一樣,只是參數(shù)不一樣,因此采用傳統(tǒng)的瀑布樹(shù)級(jí)聯(lián)分類(lèi)器來(lái)進(jìn)行人臉檢測(cè),對(duì)每 幀圖像進(jìn)行金字塔縮放,在不同的縮放尺度上面進(jìn)行人臉檢測(cè),然后將檢測(cè)的結(jié)果縮放到 原始圖像大小即可。在不同的圖像縮放的時(shí)候,為了加快運(yùn)算速度,同時(shí)對(duì)不同尺度的圖像 進(jìn)行縮放,并行計(jì)算特征值,計(jì)算積分圖像進(jìn)行檢測(cè),具體的檢測(cè)過(guò)程見(jiàn)圖13。
[0109] 由于使用Vector Boosting算法,因此魯棒性比較強(qiáng),能處理不同姿態(tài)的人臉,使 得人臉檢測(cè)范圍比較大。相比直接在紅外圖像上面訓(xùn)練得到的模型,利用的互聯(lián)網(wǎng)上存在 的大量姿態(tài)各異的人臉圖像來(lái)增強(qiáng)模型的魯棒性,同時(shí)相比僅使用互聯(lián)網(wǎng)圖片訓(xùn)練得到的 通用人臉檢測(cè)模型,加入了紅外圖像信息,使得最后的模型更加具有針對(duì)性,在紅外圖像上 面比通用模型具有更好的效果。更進(jìn)一步,與一般Haar特征提取方法不同,由于使用了修 改中心變化特征提取算法(MCT)和局部梯度模式(LGP)的特征提取的組合,使得算法對(duì)圖 像的光照變化非常不敏感,檢測(cè)效果更好。在得到整個(gè)算法的模型參數(shù)后,給定一副新圖 像,首先會(huì)抽取圖像的MCT特征和局部梯度模式(LGP),計(jì)算出積分圖像,然后對(duì)該圖像上 所有的位置進(jìn)行滑動(dòng),對(duì)每一個(gè)滑動(dòng)的窗口(40X40像素)利用瀑布級(jí)聯(lián)模型進(jìn)行評(píng)價(jià)來(lái) 判斷該窗口是否是人臉區(qū)域。
[0110] 對(duì)于眼睛定位算法,利用Float Boosting作為分類(lèi)器模型,除了分類(lèi)器模型和特 征提取不一樣,整個(gè)檢測(cè)步驟基本同人臉檢測(cè)一樣。
[0111] 具體步驟如下:(1)特征提取階段:用多模塊修改中心變換(MBMCT)來(lái)抽取所有眼 睛區(qū)域和非眼睛區(qū)域的圖像特征(包括紅外和通用數(shù)據(jù)庫(kù)),具體MBMCT見(jiàn)附圖10。
[0112] (2)正負(fù)樣本構(gòu)建階段:將通用數(shù)據(jù)庫(kù)和紅外圖像數(shù)據(jù)庫(kù)中的圖像進(jìn)行分類(lèi),包 含眼睛區(qū)域圖像和非眼睛區(qū)域圖像,將眼睛區(qū)域圖像縮放到15X 15像素。
[0113] (3)原始訓(xùn)練階段:在通用數(shù)據(jù)庫(kù)上面采用傳統(tǒng)的Float Boosting算法進(jìn)行強(qiáng)分 類(lèi)器的構(gòu)建,分類(lèi)器所用的特征是MBMCT ;
[0114] (4)轉(zhuǎn)移學(xué)習(xí)階段:在紅外數(shù)據(jù)庫(kù)上面采用Float Boosting算法進(jìn)行強(qiáng)聯(lián)分類(lèi)器 的構(gòu)建,并且同時(shí)兼顧通用數(shù)據(jù)庫(kù)上面所得到的模型,去優(yōu)化特定的訓(xùn)練目標(biāo)方程,使得所 得到的模型既具有通用模型的特點(diǎn)又具有紅外圖像數(shù)據(jù)的特點(diǎn),克服紅外圖像數(shù)據(jù)量不足 問(wèn)題;
[0115] (5)檢測(cè)階段:利用轉(zhuǎn)移學(xué)習(xí)階段得到的Float Boosting模型,在紅外圖像上面 用基于矢量樹(shù)模型結(jié)構(gòu)對(duì)眼睛區(qū)域進(jìn)行檢測(cè)。最后,對(duì)得到的多個(gè)潛在的眼睛矩形區(qū)域來(lái) 進(jìn)行平均,并取矩形的中心點(diǎn)作為眼珠位置。
[0116] 在特征提取階段,采用基于MBMCT特征的具體計(jì)算方法為:
[0119] 其中
是積分圖 像。
[0120] 由于MBMCT可以在人臉檢測(cè)MCT特征提取結(jié)果上進(jìn)行修正,這樣就可以避免重復(fù) 提取特征,在數(shù)字信號(hào)處理器上面,所需要的處理時(shí)間就會(huì)大幅度減少。
[0121] 原始訓(xùn)練階段所用的Float Boosting目標(biāo)方程為:
[0124] 其中yi是第i個(gè)實(shí)例的標(biāo)記,HM(Xl)是強(qiáng)分類(lèi)器(已經(jīng)運(yùn)行Μ次迭代)對(duì)實(shí)例 Xl 的分類(lèi)結(jié)果,h(x)是新的弱分類(lèi)器。轉(zhuǎn)移學(xué)習(xí)所用的優(yōu)化方程是:
[0126] 其中77^是在通用數(shù)據(jù)上所學(xué)習(xí)得到的強(qiáng)分類(lèi)器,λ是平衡參數(shù)。
[0127] 在得到針對(duì)紅外圖像的算法模型參數(shù)后,給定任意一副新人臉區(qū)域(假設(shè)人臉區(qū) 域已經(jīng)檢測(cè)到),算法會(huì)再對(duì)該人臉圖像進(jìn)行金字塔縮放,在對(duì)每一個(gè)縮放人臉圖像區(qū)域內(nèi) 所有的位置進(jìn)行滑動(dòng),滑動(dòng)窗口大小為15Χ 15像素,再對(duì)每一個(gè)滑動(dòng)的窗口來(lái)進(jìn)行評(píng)價(jià)來(lái) 判斷該窗口是否是包含眼睛區(qū)域。為了在嵌入式平臺(tái)上面縮短處理時(shí)間,實(shí)現(xiàn)時(shí)候可以將 人臉區(qū)域劃分為4塊,然后只在上面兩個(gè)區(qū)域來(lái)進(jìn)行眼睛的檢測(cè),見(jiàn)圖11。在得到所有的可 能包含眼睛的區(qū)域后,再對(duì)所有區(qū)域做平均計(jì)算來(lái)獲得眼睛區(qū)域的位置,獲取眼睛區(qū)域位 置后,取區(qū)域中心位置作為眼睛的位置。同一般基于自適應(yīng)提升算法(Adab〇〇st),DCT變化 等眼睛檢測(cè)方法不同,其采取Floating Boost作為分類(lèi)器,MBMCT作為特征提取方法,實(shí)際 上機(jī)測(cè)試結(jié)果表明,MBMCT比DCT變化更加穩(wěn)定,可鑒別性更強(qiáng)。
[0128] 對(duì)于眨眼分類(lèi)算法,得到眼睛具體位置后,將眼睛附近區(qū)域部分抽取出來(lái),提取多 模塊修改中心變換(MBMCT)特征值,然后對(duì)當(dāng)前特征向量進(jìn)行分類(lèi)。由于眨眼分類(lèi)是二分 類(lèi)問(wèn)題,而且特征維度比較高,因此采用基于RBF核的非線性支持向量機(jī)模型(SVM)?;?RBF核的非線性支持向量機(jī)(SVM)公式為:
[0132] 其中,a i是對(duì)第i個(gè)例子的隱藏變量,y i是第i個(gè)例子的標(biāo)記,x i是第i個(gè)例子的 輸入特征,k(Xl,X])是第i個(gè)例子和第j個(gè)例子之間的相似度(通過(guò)定義內(nèi)核k來(lái)實(shí)現(xiàn)), C是懲罰參數(shù)。為了計(jì)算k(Xl,X]),采用RBF核函數(shù)。整個(gè)眨眼分類(lèi)算法的工作流程如下:
[0133] 特征提取階段:用多模塊修改中心變換(MBMCT)特征值來(lái)抽取所有非閉眼圖像和 閉眼圖像特征(包括紅外和通用數(shù)據(jù)庫(kù))。眼睛區(qū)域圖像大小為15X 15像素。
[0134] 原始訓(xùn)練階段:將通用數(shù)據(jù)庫(kù)上面所得到的閉眼圖像和非閉眼圖像的特征值輸入 到SVM分類(lèi)器中進(jìn)行訓(xùn)練,并且指定一系列參數(shù),比如懲罰參數(shù),核參數(shù),優(yōu)化算法。
[0135] 轉(zhuǎn)移學(xué)習(xí)階段:在紅外數(shù)據(jù)庫(kù)上面采用SVM算法進(jìn)行新的分類(lèi)器的構(gòu)建,并且同 時(shí)兼顧通用數(shù)據(jù)庫(kù)上面所得到的模型,去優(yōu)化新的訓(xùn)練目標(biāo)方程,使得所得到的模型既具 有通用模型的特點(diǎn)又具有紅外圖像數(shù)據(jù)的特點(diǎn),克服紅外圖像訓(xùn)練數(shù)據(jù)量不足問(wèn)題。具體 轉(zhuǎn)移學(xué)習(xí)的公式類(lèi)似于人臉檢測(cè)的,都是采用KL距離來(lái)判斷。
[0136] 分類(lèi)階段:利用轉(zhuǎn)移學(xué)習(xí)階段得到的SVM模型,假設(shè)眼睛區(qū)域已經(jīng)檢測(cè)到,對(duì)檢測(cè) 到的眼睛區(qū)域提取多模塊通用局部二進(jìn)制特征,將特征值輸入到已經(jīng)訓(xùn)練好的SVM模型中 去,得到分類(lèi)結(jié)果,同時(shí)也可以得到分類(lèi)結(jié)果的信任度。
[0137] 相比于其它基于圖像處理技術(shù),比如通過(guò)腐蝕算法來(lái)檢測(cè)上下眼皮,然后通過(guò)上 下眼皮距離來(lái)判斷眼睛狀態(tài),基于多模塊局部二進(jìn)制特征值提取對(duì)光照更加不敏感,并且 對(duì)圖像噪音更加魯棒,而且實(shí)驗(yàn)證明特征可分類(lèi)型更強(qiáng)。相對(duì)于局部二進(jìn)制特征提取方法, 發(fā)現(xiàn)多模塊通用局部二進(jìn)制特征提取方法更加適合眨眼分類(lèi),而且上機(jī)實(shí)驗(yàn)結(jié)果表明,非 線性RBF核支持向量機(jī)的算法比線性支持向量機(jī)算法的分類(lèi)準(zhǔn)確率更高。而且不同的是, 算法可以對(duì)每個(gè)眼睛進(jìn)行單獨(dú)的狀態(tài)判斷,然后將兩個(gè)眼睛的狀態(tài)綜合起來(lái),得到最后的 判定結(jié)果。同時(shí),為了增強(qiáng)算法的準(zhǔn)確率,設(shè)置了接口,以供用戶(hù)修改分類(lèi)結(jié)果的閥值,一些 分類(lèi)結(jié)果見(jiàn)圖15。
[0138] 對(duì)于嘴部定位與跟蹤算法,同眼睛定位一樣,也是采用了 Boosting模型和MBMCT 特征提取,不同之處在于訓(xùn)練的圖像不一樣,嘴部定位訓(xùn)練的圖像是嘴部區(qū)域以及嘴部具 體的點(diǎn)位置,而且在進(jìn)行嘴部檢測(cè)時(shí)候,滑動(dòng)窗口大小與眼睛檢測(cè)不一樣,并且檢測(cè)的起始 位置也是與眼睛檢測(cè)不一樣。跟眼部檢測(cè)模塊不同的是,在嘴部,添加了跟蹤功能,這樣在 定位功能不能正常工作下我們還能找到嘴部位置。由于嘴部定位工作原理跟眼睛定位是一 樣的,因?yàn)樵诖瞬辉僦貜?fù)敘述檢測(cè)過(guò)程。
[0139] 跟蹤算法假設(shè)司機(jī)頭部移動(dòng)范圍不會(huì)很大,每連續(xù)幾幀圖像之間比較接近,因此 在即使沒(méi)有檢測(cè)到人臉情況下,仍然可以假設(shè)當(dāng)前幀存在人臉并且人臉區(qū)域是在上一幀圖 像中人臉區(qū)域附近,因此跟蹤算法會(huì)在當(dāng)前所有潛在的可能區(qū)域進(jìn)行搜索、匹配,然后找到 最相似的嘴部區(qū)域,并且判斷相似度,如果相似度大于一定的閥值,則跟蹤成功,否則,跟蹤 失敗,這樣就可以判斷當(dāng)前圖像中根本不存在人臉圖像,也就是司機(jī)不在當(dāng)前駕駛座位。
[0140] 與一般跟蹤模塊不一樣的是,本發(fā)明實(shí)施例采用的基于加速的強(qiáng)壯性特征提取算 法(SURF)作為特征提取方法,SURF運(yùn)算速度快,在進(jìn)行跟蹤時(shí)候,其具有其他特征提取不 可比擬的速度優(yōu)勢(shì)。另外,我們采用頻率圖交叉相似度來(lái)衡量?jī)蓚€(gè)向量之前的相似度,不 同于其它的余弦相似度,頻率圖交叉衡量辦法運(yùn)算速度極快,而且不涉及乘法運(yùn)算、浮點(diǎn)運(yùn) 算,并且在相似度衡量效果上面跟余弦相似度接近。頻率圖交叉相似度計(jì)算公式如下:
[0142] 其中a,b是兩個(gè)統(tǒng)計(jì)直方圖,&1和b 1是直方圖a,b中的第i個(gè)頻率值。
[0143] 對(duì)于面部表情識(shí)別算法,在檢測(cè)到人臉和定位到眼睛之后,通過(guò)線性插值和