專利名稱：一種自拍視頻中眼睛圖像的調(diào)正方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻數(shù)據(jù)處理和成像領(lǐng)域，特別是一種自拍視頻中眼睛圖像的調(diào)正方法。
背景技術(shù)：
在數(shù)字視頻處理的應(yīng)用領(lǐng)域中，尤其隨著3G通信網(wǎng)絡(luò)的普及，視頻自拍和網(wǎng)絡(luò)視 頻的應(yīng)用越來(lái)越廣泛。目前存在一個(gè)很令人煩惱的現(xiàn)狀，就是視頻采集裝置一般都位于顯 示裝置的外邊緣附近，如圖2所示。在這種情況下，當(dāng)被拍攝人目光注視顯示裝置的屏幕 時(shí)，顯示裝置上的成像結(jié)果是眼睛的注視點(diǎn)偏離顯示裝置的屏幕，簡(jiǎn)而言之，就是屏幕觀察 者獲得的人臉顯示圖像中眼睛圖像歪的，而非正視的，人類視覺(jué)所感受到的眼睛圖像的“正 視”與“非正視”主要是根據(jù)人眼中鞏膜、虹膜以及瞳孔的相對(duì)位置感受的，一般認(rèn)為虹膜和 瞳孔位于鞏膜中心位置即為“正視”，否則為“非正視”。而當(dāng)被拍攝人目光注視視頻采集裝 置時(shí)，顯示裝置上的成像結(jié)果是眼睛的注視點(diǎn)朝向顯示裝置的屏幕但被拍攝人自己看不到 這一成像結(jié)果，如圖Ia和圖Ib所示。

發(fā)明內(nèi)容
發(fā)明目的本發(fā)明所要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有技術(shù)的不足，提供一種自拍視 頻中眼睛圖像的調(diào)正方法，從而使得被拍攝者在注視屏幕時(shí)，視頻采集裝置采集并最終顯 示出來(lái)的是眼睛正視的圖像。為了解決上述技術(shù)問(wèn)題，本發(fā)明公開(kāi)了一種自拍視頻中眼睛圖像的調(diào)正方法，包 括以下步驟步驟一，目標(biāo)眼睛圖像檢測(cè)和定位從視頻圖像中檢測(cè)并定位眼睛的位置；步驟二，眼睛圖像中鞏膜圖像、虹膜圖像以及瞳孔圖像的識(shí)別定位根據(jù)灰度區(qū) 分出鞏膜圖像和虹膜圖像；根據(jù)紋理區(qū)分出虹膜圖像和瞳孔圖像；定位鞏膜圖像和虹膜圖 像、虹膜圖像和瞳孔圖像的相對(duì)位置；步驟三，虹膜圖像和瞳孔圖像的二次投影，將虹膜圖像和瞳孔圖像平移到鞏膜圖 像的中心，從而實(shí)現(xiàn)眼睛圖像的調(diào)正。本發(fā)明中，優(yōu)選地，所述步驟一包括以下步驟步驟(11)，對(duì)自拍視頻的圖像進(jìn)行預(yù)處理；包括使用腐蝕膨脹法加強(qiáng)圖像中各個(gè) 分散點(diǎn)的連通性，使用中值濾波處理圖像使得圖像更加平滑。此步驟可以采用本領(lǐng)域常見(jiàn) 的圖像處理方法，同時(shí)，本步驟不是本發(fā)明的必要步驟，只是優(yōu)化步驟之一，本發(fā)明在脫離 了本步驟的情況下，仍然能夠?qū)崿F(xiàn)發(fā)明目的。步驟(12)，圖像進(jìn)行色度空間轉(zhuǎn)換，由于在雙色差或色調(diào)飽和度平面上，不同人 種的膚色變化不大，膚色的差異更多的是存在于亮度而不是色度，因此可以根據(jù)膚色情況 從自拍視頻的圖像中識(shí)別出人臉圖像；例如在光照良好且對(duì)比度適宜的情況下，即平均亮 度值在100 200之間，對(duì)比度在50% 80%之間，膚色區(qū)域在YCbCr空間占據(jù)102 < Cb< 128，125 < Cr < 160 的范圍。步驟(13)，根據(jù)灰度法從人臉圖像中識(shí)別出左、右眼睛的圖像；根據(jù)眼球區(qū)域和 面部圖像在灰度上的截然不同，通過(guò)對(duì)該區(qū)域圖像進(jìn)行黑白二值化處理后即可根據(jù)灰度的 不同快速劃分出兩者的分界。本發(fā)明中，優(yōu)選地，所述步驟二包括以下步驟步驟(21)，對(duì)識(shí)別出的眼睛圖像進(jìn)行黑白二值化處理，并根據(jù)灰度法識(shí)別出鞏膜 圖像和虹膜圖像；根據(jù)鞏膜和虹膜圖像在灰度上的截然不同，通過(guò)對(duì)該區(qū)域圖像進(jìn)行黑白 二值化處理后即可根據(jù)灰度的不同快速劃分出兩者的分界。步驟(22)，根據(jù)紋理分析法識(shí)別出虹膜圖像和瞳孔圖像，并計(jì)算虹膜圖像和瞳孔 圖像的相對(duì)位置；虹膜區(qū)域有較多復(fù)雜的紋理，而瞳孔區(qū)域基本呈現(xiàn)單一紋理并且虹膜區(qū) 域總是呈現(xiàn)圓形，因此可以對(duì)該區(qū)域進(jìn)行分塊傅里葉變換分析或分塊離散余弦變換，通過(guò) 分析變換域中高頻分量，高頻分量多表明該區(qū)域紋理復(fù)雜，為虹膜區(qū)域，反之則為瞳孔區(qū) 域，從而給出空間域兩者之間的界限。步驟(23)，計(jì)算出瞳孔圖像中心點(diǎn)距離虹膜中心點(diǎn)的方位角α和距離d。本發(fā)明中，優(yōu)選地，所述步驟三包括以下步驟步驟(31)，將虹膜圖像平移到鞏膜圖像的中心；步驟(32)，對(duì)于虹膜圖像平移后鞏膜圖像上的圖像缺失部分，使用平移前虹膜圖 像周圍的鞏膜圖像進(jìn)行填充；步驟(33)，根據(jù)瞳孔圖像中心點(diǎn)距離虹膜中心點(diǎn)的方位角α和距離d，將平移后 的虹膜圖像所在的圓形區(qū)域以圓心為中心進(jìn)行有向旋轉(zhuǎn)；旋轉(zhuǎn)方向?yàn)棣? α，旋轉(zhuǎn)角度為 rtarT1 (d/r)，其中r為瞳孔的半徑。步驟(34)，對(duì)于虹膜圖像有向旋轉(zhuǎn)后空缺部分，使用鞏膜圖像周圍的虹膜圖像進(jìn) 行填充。本發(fā)明的原理是當(dāng)被拍攝者視線對(duì)準(zhǔn)顯示屏幕時(shí)，將拍攝到的視頻圖像中人眼目 標(biāo)檢測(cè)之后根據(jù)瞳孔在眼球上的分布情況判斷出視線和瞳孔中心到攝像機(jī)光心連線的夾 角，根據(jù)該角度對(duì)采集到的視頻圖像眼部附近的區(qū)域進(jìn)行二次投影，最終實(shí)現(xiàn)在顯示屏幕 上顯示目光對(duì)準(zhǔn)屏幕的視頻圖像。有益效果本發(fā)明在不增加額外裝置的情況下，通過(guò)軟件方法進(jìn)行圖像處理，從而 使得當(dāng)人臉面對(duì)顯示裝置而眼睛不注視攝像鏡頭時(shí)可在顯示裝置上獲得眼睛注視顯示裝 置的活動(dòng)視頻圖像，大大降低了硬件系統(tǒng)的改進(jìn)成本。本發(fā)明方法在視頻通信，視頻會(huì)議等 需要使用視頻進(jìn)行雙向或者多向通訊的方面有重要的應(yīng)用前景。


下面結(jié)合附圖和具體實(shí)施方式
對(duì)本發(fā)明做更進(jìn)一步的具體說(shuō)明，本發(fā)明的上述和 /或其他方面的優(yōu)點(diǎn)將會(huì)變得更加清楚。圖1是現(xiàn)實(shí)中注視對(duì)準(zhǔn)和注視不對(duì)準(zhǔn)的示意圖。圖2是現(xiàn)有技術(shù)常見(jiàn)視頻自拍裝置的示意圖。圖3是本發(fā)明注視矯正計(jì)算的示意圖。圖4是本發(fā)明注視矯正計(jì)算的過(guò)程圖。
圖5是本發(fā)明連通區(qū)域的檢測(cè)的流程圖。圖6是本發(fā)明類Haar矩形特征示例圖。圖7是本發(fā)明方法簡(jiǎn)化流程圖。
具體實(shí)施例方式本發(fā)明硬件部分由單個(gè)視頻拍攝裝置、運(yùn)算處理裝置和顯示裝置組成，核心思路 是利用視頻圖像中目標(biāo)識(shí)別、目標(biāo)配準(zhǔn)和目標(biāo)二次投影，實(shí)現(xiàn)顯示裝置中顯示觀察者的目 光正視的視頻圖像。如圖7所示，本發(fā)明公開(kāi)了一種自拍視頻中眼睛圖像的調(diào)正方法，包括以下步驟步驟一，目標(biāo)眼睛圖像檢測(cè)和定位從視頻圖像中檢測(cè)并定位眼睛的位置；所述步驟一包括以下步驟步驟11，對(duì)自拍視頻的圖像進(jìn)行預(yù)處理；步驟12，從自 拍視頻的圖像中識(shí)別出人臉圖像；步驟13，根據(jù)灰度法從人臉圖像中識(shí)別出左、右眼睛的 圖像。步驟11，對(duì)自拍視頻的圖像進(jìn)行預(yù)處理；對(duì)自拍視頻的圖像進(jìn)行預(yù)處理，由于圖像的采集往往在多變的，不可預(yù)料的環(huán)境 (主要是光照環(huán)境)下進(jìn)行，對(duì)圖像進(jìn)行預(yù)處理使其使其能夠適應(yīng)算法的要求顯得尤為必 要，本發(fā)明中涉及到的圖像預(yù)處理包括直方圖均衡、形態(tài)學(xué)操作和中值濾波。直方圖均衡化是數(shù)字圖像處理中最為基本的一個(gè)操作，其作用是使得圖像的對(duì)比 度分明。形態(tài)學(xué)操作，分為形態(tài)學(xué)腐蝕和形態(tài)學(xué)膨脹，它們針對(duì)二值圖像進(jìn)行。先腐蝕在 膨脹稱為閉操作，可以使得圖像中缺損的圖形閉合，相反則稱為開(kāi)操作，使得閉合的圖像斷 裂。經(jīng)過(guò)形態(tài)學(xué)操作可以去除圖像中的孤立噪聲點(diǎn)并且將由于各種原因造成的斷裂連通區(qū) 域進(jìn)行修復(fù)。中值濾波是一種能有效抑制噪聲的非線性信號(hào)處理技術(shù)。中值濾波的基本原理是 把數(shù)字圖像或數(shù)字序列中一點(diǎn)的值用該點(diǎn)的一個(gè)鄰域中各點(diǎn)值的中值代替，從而消除孤立 的噪聲點(diǎn)。經(jīng)過(guò)中值濾波波后圖像將變得平滑。步驟12，從自拍視頻的圖像中識(shí)別出人臉 圖像，包括基于膚色分割的人臉檢測(cè)多數(shù)人臉?lè)治龅姆椒ǘ际腔诨叶葓D像，而膚色分割是利用了人類膚色的顏色色 度信息作為特征，進(jìn)行人臉檢測(cè)，是一種基于特征不變量的人臉檢測(cè)方法。人類膚色與自然背景存在明顯的區(qū)別，由于面部血管的作用，其紅色分量較為飽 滿；并且在不同光照、人種條件下的膚色相對(duì)維持在一個(gè)穩(wěn)定的范圍內(nèi)。同時(shí)，這種方法只 需對(duì)全局圖像進(jìn)行數(shù)次遍歷，運(yùn)算速度快，易于實(shí)現(xiàn)，是一種被廣泛運(yùn)用于人臉檢測(cè)系統(tǒng)的 基礎(chǔ)算法。該算法主要分為三個(gè)步驟步驟a，膚色區(qū)域分割利用YCbCr色彩空間進(jìn)行膚色分割，在該空間內(nèi)，膚色Cr 分量的閾值易于選取，且受到光照影響很小。YCbCr與RGB顏色空間的轉(zhuǎn)換關(guān)系為Y = O. 256789R+0. 504129G+0. 0097906B+16Cb = -0. 148223R-0. 290992G+0. 439215B+128Cr = 0. 439215R-0. 367789G-0. 071426B+128
R=L 164383 X (Υ_16)+1· 596027 X (Cr-128)G=L 164382 X (Υ-16) _0· 391762 X (Cb-128) _0· 812969 X (Cr-128)B=L 164382 X (Υ_16)+2· 017230 X (Cb-128)通過(guò)閾值分割，將YCbCr彩色圖像轉(zhuǎn)化為黑白圖像，黑色表示背景，白色標(biāo)記了接 近膚色的區(qū)域。一般情況下，也就是光照良好且對(duì)比度適宜的情況下，膚色區(qū)域在YCbCr空 間占據(jù)102 < Cb < 128，125 < Cr < 160的范圍，因此分割的閾值可以選擇Cb = 116，Cr =144。步驟b，將所有連通的白色區(qū)域?qū)⒈欢ㄎ怀鰜?lái)，在檢測(cè)區(qū)域值前，對(duì)圖像進(jìn)行一些 預(yù)處理(1)利用形態(tài)學(xué)閉操作(腐蝕_膨脹)加強(qiáng)各個(gè)分散點(diǎn)的連通性。(2)利用中值濾 波使得圖像平滑。步驟C，所有被找到的白色區(qū)域中，通過(guò)面積，長(zhǎng)寬比，位置等等信息篩選出最有可 能是人臉的區(qū)域。在本實(shí)施例中，面部占圖像比例一般都很高(比如60%以上)，位置處于 圖像中心區(qū)域，長(zhǎng)寬比接近1 1，因此很容易被區(qū)分。連通區(qū)域的檢測(cè)在人臉膚色分割算法中，一個(gè)重要的步驟是要將形態(tài)學(xué)操作之 后的圖像中的連通區(qū)域檢測(cè)出來(lái)，確定包圍這些區(qū)域的最小矩形邊界的坐標(biāo)，大小，長(zhǎng)寬比 等。為了進(jìn)行檢測(cè)，首先確定一些定義“連通區(qū)域”的規(guī)則，這些規(guī)則可表示為(1)兩點(diǎn)連 通要求它們?cè)谛谢蛄猩舷噜?斜相鄰不算為連通)；(2)如果一個(gè)連通區(qū)域包含另一個(gè)連通 區(qū)域，后者將被忽略；(3)如果一個(gè)連通區(qū)域的最小矩形邊界與另一連通區(qū)域的最小矩形 邊界部分重疊，兩者被定義為獨(dú)立的兩個(gè)連通區(qū)域。根據(jù)這些規(guī)則，設(shè)計(jì)一種遍歷邊界的算 法，逐行逐列的搜索連通的類膚色像素，定義類膚色像素為1，非膚色像素為0。算法流程表 示如圖5所示，圖5a和圖5b分別是多個(gè)區(qū)域檢測(cè)的總流程以及單個(gè)區(qū)域檢測(cè)具體流程。如圖5a所示，從圖像左上角第一行第一個(gè)像素開(kāi)始按行遍歷，判斷當(dāng)前像素是否 為起始點(diǎn)，若是則應(yīng)用圖5b的方法檢測(cè)以該像素為起始點(diǎn)的邊界，并在完成檢測(cè)后標(biāo)記邊 界，并指向上一起始點(diǎn)的右邊一個(gè)像素點(diǎn)；若不是起始點(diǎn)則繼續(xù)按行遍歷下一個(gè)像素，重復(fù) 以上過(guò)程直到遍歷完整所有像素。檢測(cè)邊界如圖5b所示，從起始點(diǎn)作為當(dāng)前點(diǎn)開(kāi)始檢測(cè)邊界。首先以左、上、右、下 的順時(shí)針?lè)较虿檎耶?dāng)前點(diǎn)周圍是否有同類型像素點(diǎn)，之后在判斷找到的像素點(diǎn)是否為邊界 點(diǎn)。為方便說(shuō)明，本發(fā)明以當(dāng)前點(diǎn)左邊存在同類型像素點(diǎn)為例。設(shè)當(dāng)前像素點(diǎn)A，并且查找 到點(diǎn)A左邊是否存在同類型像素點(diǎn)B，如果不存在，則更新邊界，并判斷能否回到起始點(diǎn)，如 果不能回到起始點(diǎn)，則重新查找到點(diǎn)A左邊是否存在同類型像素點(diǎn)B，如果能回到起始點(diǎn)， 則結(jié)束；如果存在同類型像素點(diǎn)B，將B設(shè)為當(dāng)前點(diǎn)，再判斷AB方向的逆時(shí)針第一個(gè)方向上 即“下”方是否有同類型像素點(diǎn)，如果沒(méi)有像素點(diǎn)，則更新邊界，并重新查找到點(diǎn)A左邊是否 存在同類型像素點(diǎn)B，若下方有同類型像素點(diǎn)C，則說(shuō)明A不是邊界點(diǎn)，將當(dāng)前點(diǎn)設(shè)為C以BC 的逆時(shí)針?lè)较蛳蛳伦卟檎遗袛嗍欠窕氐狡鹗键c(diǎn)，如果回到起始點(diǎn)，則結(jié)束，如果沒(méi)有回到起 始點(diǎn)，則判斷右邊是否有點(diǎn)，如果沒(méi)有，若沒(méi)有則說(shuō)明點(diǎn)B是邊緣點(diǎn)，更新邊界并繼續(xù)以AB 方向?yàn)槠鹗挤较蝽槙r(shí)針查找邊界，并重新判斷下方是否有像素點(diǎn)，如果有點(diǎn)，則向右走，判 斷是否回到起始點(diǎn)，如果回到起始點(diǎn)，則結(jié)束；如果沒(méi)有回到起始點(diǎn)，則判斷上邊是否有點(diǎn)， 如果沒(méi)有，則更新邊界，并重新判斷右邊是否有點(diǎn)；如果上方有點(diǎn)，則向上走，并判斷是否回 到起始點(diǎn)，如果是則結(jié)束，如果不是回到起始點(diǎn)則重新判斷左邊是否有點(diǎn)，直至查找到起始點(diǎn)為止。通過(guò)邊界信息，獲取區(qū)域的面積、長(zhǎng)寬比，面積過(guò)大、過(guò)小，長(zhǎng)寬比過(guò)大、過(guò)小的區(qū)域 都將被排除。本實(shí)施例采用基于AdaBoost的人臉檢測(cè)Adaboost具體解決了兩個(gè)問(wèn)題一是怎么處理訓(xùn)練樣本？在AdaBoost中，每個(gè)樣 本都被賦予一個(gè)權(quán)重。如果某個(gè)樣本沒(méi)有被正確分類，它的權(quán)重就會(huì)被提高，反之則降低。 這樣，AdaBoost方法將注意力更多地放在“難分”的樣本上。二是怎么合并弱分類器成為一 個(gè)強(qiáng)分類器？強(qiáng)分類器表示為若干弱分類器的線性加權(quán)和形式，準(zhǔn)確率越高的弱學(xué)習(xí)機(jī)權(quán) 重越高。因此AdaBoost包含了兩個(gè)重要思想，一是多特征的融合(這是Boosting算法的 核心)，二是加權(quán)分類，將多個(gè)特征賦予不同的權(quán)重，且權(quán)重是通過(guò)訓(xùn)練獲得的(傳統(tǒng)加權(quán) 分類的權(quán)重是預(yù)知的)。結(jié)合實(shí)際來(lái)說(shuō)，對(duì)于人臉檢測(cè)，要從背景中取得人臉，前面已經(jīng)闡述 過(guò)必定要根據(jù)某些特征，例如紋理和邊緣特征等等，在本實(shí)施例中，采用類Haar方法進(jìn)行 特征提取。選取K個(gè)特征，也就是有K個(gè)弱分類器，T個(gè)訓(xùn)練樣本，通過(guò)循環(huán)測(cè)試獲得分類 正確率最高的K個(gè)特征向量的權(quán)重組合，在循環(huán)過(guò)程中不斷更新T個(gè)訓(xùn)練樣本的權(quán)重值，將 難以分類的權(quán)重提高，易于分類的降低。本方法采取AdaBoost方法進(jìn)行人臉檢測(cè)，下面將 詳細(xì)闡述算法的細(xì)節(jié)，所有算法都是針對(duì)灰度圖像進(jìn)行的類Haar特征提取類Haar特征是一種矩形對(duì)特征，在給定有限的數(shù)據(jù)情況下，基 于類Haar特征的檢測(cè)能夠編碼特定區(qū)域的狀態(tài)，矩形特征對(duì)一些簡(jiǎn)單的圖形結(jié)構(gòu)，比如邊 緣、線段，比較敏感，但是其只能描述特定走向(水平、垂直、對(duì)角)的結(jié)構(gòu)，因此比較粗略。 臉部一些特征能夠由矩形特征簡(jiǎn)單地描繪，例如，通常，眼睛要比臉頰顏色更深，這就是一 種邊緣特征；鼻梁兩側(cè)要比鼻梁顏色要深，這就是一種線性特征；嘴巴要比周圍顏色更深 等等，如圖6b所示，這就是一種特定方向的特征。常用的特征矩形，分為邊緣特征和線性特 征以及特定方向特征，如圖6a所示，邊緣特征模版用于提取不同角度的邊緣信息，線性特 征模版用于提取不同角度的線性圖像塊，特定方向特征模版用于提取指定類型的圖像塊。基礎(chǔ)模板在尺寸上是最小的，故而可以通過(guò)縮放形成各種尺寸的同類模板，例如 邊緣特征模板1就是2個(gè)像素的模板。而模板在遍歷圖像時(shí)的特征值，是圖像上被白色矩 形覆蓋的區(qū)域之和減去被黑色矩形覆蓋的區(qū)域之和。因此一幅純色圖像的上所有的特征的 值都將是零。各個(gè)模板的特征模板可以在子窗口內(nèi)以“任意”尺寸“任意”放置，每一種形 態(tài)稱為一個(gè)特征。找出子窗口所有特征，是進(jìn)行弱分類訓(xùn)練的基礎(chǔ)。對(duì)于一幅待檢測(cè)的圖像，例如mXn的圖像，顯然其中包含大量的特征，多個(gè)特征 的總數(shù)目之和是一個(gè)可觀的數(shù)字，因此，下面將討論圖像中包含特征總數(shù)的問(wèn)題。形象的 說(shuō)，圖像是一個(gè)大盒子，模板是在其中自由活動(dòng)的小盒子，小盒子在大盒子里面有很多不同 的擺放位置，各種尺度的小盒子的所有可能擺放位置的總和就是特征的總數(shù)。設(shè)模板的大 小為sXt，則mXn中所包含的特征總數(shù)Ω=。為 多種不同模板的特征數(shù)的和即為圖像中特征總數(shù)，通常的對(duì)于2個(gè)邊緣模板、2個(gè) 線性模板，1個(gè)特定方向模板，5個(gè)模板在16 X 16大小的圖像中特征數(shù)為32384，如果圖像大 小為36 X 36，特征數(shù)將達(dá)到816264。積分圖運(yùn)算從上述數(shù)據(jù)可以看出，一幅圖像中的特征數(shù)目十分龐大，并且隨著圖 像大小的急劇增長(zhǎng)。因此找到一個(gè)合適的特征計(jì)算方法十分必要。本實(shí)施例采用的積分圖 方法是一種有效、快速的特征計(jì)算方法。對(duì)于一幅圖像A，其中A(x，y)點(diǎn)的積分圖值定義為 也就是該點(diǎn)和原點(diǎn)為對(duì)角點(diǎn)的矩形內(nèi)所有點(diǎn)的和。利用積分圖可以快速方便的計(jì) 算出圖像的類Haar矩形特征。矩形特征的特征值計(jì)算，只與此特征端點(diǎn)的積分圖有關(guān)，而 與圖像坐標(biāo)值無(wú)關(guān)。因此，不管此矩形特征的尺度如何，特征值的計(jì)算所耗費(fèi)的時(shí)間都是常 量，而且都只是簡(jiǎn)單的加減運(yùn)算。正因如此，積分圖的引入，大大地提高了檢測(cè)的速度。AdaBoost設(shè)計(jì)流程AdaBoost算法最終是要獲得一個(gè)合適的強(qiáng)分類器，設(shè)計(jì)分類 器的過(guò)程主要是訓(xùn)練過(guò)程，訓(xùn)練采用大量的樣本，包括人臉與非人臉，其流程如下1)給定一系列訓(xùn)練樣本(Xl，yi)，(x2，y2)，，，(xn，yn)，其中yi = O表示其為負(fù)樣本 (非人臉)，Yi = 1表示其為正樣本(人臉)。η為一共的訓(xùn)練樣本數(shù)量；2)初始化權(quán)重Wlii = D(i)，令= ^"或其中m正樣本的數(shù)量，1為附樣本的 3)對(duì)t = 1. . . T首先歸一化權(quán)重，T為迭代次數(shù) α = 再對(duì)每個(gè)特征f，訓(xùn)練一個(gè)弱分類器h(x，f，p，θ)；計(jì)算對(duì)應(yīng)所有特征的弱分類器 的加權(quán)qt錯(cuò)誤率ε f，其中，f為特征，θ為閾值和ρ指示不等號(hào)方向ε f = Σ Jqi I h (xi f, ρ, θ )-yj 繼而選取最佳的弱分類器h (χ)(擁有最小錯(cuò)誤率ε t)ε t = minf,p, 0 Σ iqjl^x” f，ρ，θ ) -Yi= Σ iQi I h(xi;ft,pt, θ t) -Yi I = Σ iQi I ht (x) -Yi弱分類器的訓(xùn)練及選取將在下面詳細(xì)闡述。按照這個(gè)最佳弱分類器，調(diào)整權(quán)重
W(+li = Wtipt其中ei = 0表示Xi被正確地分類，其中ei = 1表示Xi被錯(cuò)誤地分類；Pt = T^-
Hf最后的強(qiáng)分類器為
8
一個(gè)弱分類器h(x，f，p，θ)由一個(gè)特征f，閾值θ和指示不等號(hào)方向的ρ組成
h( , Λ、Ji pm<po
其它對(duì)于本實(shí)施例中的矩形特征來(lái)說(shuō)，弱分類器的特征值f (X)就是矩形特征的特征 值。由于在訓(xùn)練的時(shí)候，選擇的訓(xùn)練樣本集的尺寸等于檢測(cè)子窗口的尺寸，檢測(cè)子窗口的尺 寸決定了矩形特征的數(shù)量，所以訓(xùn)練樣本集中的每個(gè)樣本的特征相同且數(shù)量相同，而且一 個(gè)特征對(duì)一個(gè)樣本有一個(gè)固定的特征值。對(duì)于理想的像素值隨機(jī)分布的圖像來(lái)說(shuō)，同一個(gè) 矩形特征對(duì)不同圖像的特征值的平均值應(yīng)該趨于一個(gè)定值K。這個(gè)情況，也應(yīng)該發(fā)生在非人 臉樣本上，但是由于非人臉樣本不一定是像素隨機(jī)的圖像，因此上述判斷會(huì)有一個(gè)較大的 偏差。對(duì)每一個(gè)特征，計(jì)算其對(duì)所有的一類樣本(人臉或者非人臉)的特征值的平均值，最 后得到所有特征對(duì)所有一類樣本的平均值分布。人臉樣本與非人臉樣本的分布曲線差別并 不大，不過(guò)注意到特征值大于或者小于某個(gè)值后，分布曲線出現(xiàn)了一致性差別，這說(shuō)明了絕 大部分特征對(duì)于識(shí)別人臉和非人臉的能力是很微小的，但是存在一些特征及相應(yīng)的閾值， 可以有效地區(qū)分人臉樣本與非人臉樣本。一個(gè)弱學(xué)習(xí)器(一個(gè)特征)的要求僅僅是它能夠以稍低于50%的錯(cuò)誤率來(lái)區(qū) 分人臉和非人臉圖像，因此上面提到只能在某個(gè)概率范圍內(nèi)準(zhǔn)確地進(jìn)行區(qū)分就已經(jīng)完全足 夠。按照這個(gè)要求，可以把所有錯(cuò)誤率低于50%的矩形特征都找到(適當(dāng)?shù)剡x擇閾值，對(duì)于 固定的訓(xùn)練集，幾乎所有的矩形特征都可以滿足上述要求)。每輪訓(xùn)練，將選取當(dāng)輪中的最 佳弱分類器(在算法中，迭代T次即是選擇T個(gè)最佳弱分類器)，最后將每輪得到的最佳弱 分類器按照一定方法提升為強(qiáng)分類器。訓(xùn)練一個(gè)弱分類器(特征f)就是在當(dāng)前權(quán)重分布的情況下，確定f的最優(yōu)閾值， 使得這個(gè)弱分類器(特征f)對(duì)所有訓(xùn)練樣本的分類誤差最低。選取一個(gè)最佳弱分類器就 是選擇那個(gè)對(duì)所有訓(xùn)練樣本的分類誤差在所有弱分類器中最低的那個(gè)弱分類器(特征)。 對(duì)于每個(gè)特征f，計(jì)算所有訓(xùn)練樣本的特征值，并將其排序。通過(guò)掃描一遍排好序的特征值， 可以為這個(gè)特征確定一個(gè)最優(yōu)的閾值，從而訓(xùn)練成一個(gè)弱分類器。具體來(lái)說(shuō)，對(duì)排好序的表 中的每個(gè)元素，計(jì)算下面四個(gè)值1)全部人臉樣本的權(quán)重的和T+ ；2)全部非人臉樣本的權(quán)重的和T-；3)在此元素之前的人臉樣本的權(quán)重的和S+ ；4)在此元素之前的非人臉樣本的權(quán)重的和S-；這樣，當(dāng)選取當(dāng)前元素的特征值巧,和它前面的一個(gè)特征值巧μ之間的數(shù)作為閾值 時(shí)，所得到的弱分類器就在當(dāng)前元素處把樣本分開(kāi)——也就是說(shuō)這個(gè)閾值對(duì)應(yīng)的弱分類器
9將當(dāng)前元素前的所有元素分類為人臉(或非人臉)，而把當(dāng)前元素后(含)的所有元素分類 為非人臉(或人臉)?？梢哉J(rèn)為這個(gè)閾值所帶來(lái)的分類誤差為e = min (S++ (Π)，S> (T+-S+))通過(guò)把這個(gè)排序的表掃描從頭到尾掃描一遍就可以為弱分類器選擇使分類誤差 最小的閾值(最優(yōu)閾值)，也就是選取了一個(gè)最佳弱分類器。AdaBoost強(qiáng)分類器由弱分類器級(jí)聯(lián)而成，強(qiáng)分類器對(duì)待一幅待檢測(cè)圖像時(shí)，相當(dāng) 于讓所有弱分類器投票，再對(duì)投票結(jié)果按照弱分類器的錯(cuò)誤率加權(quán)求和，將投票加權(quán)求和 的結(jié)果與平均投票結(jié)果比較得出最終的結(jié)果。平均投票結(jié)果，即假設(shè)所有的弱分類器投“贊 同”票和“反對(duì)”票的概率都相同，求出的平均概率為 步驟13，根據(jù)灰度法從人臉圖像中識(shí)別出左、右眼睛的圖像。步驟二，眼睛圖像中鞏膜圖像、虹膜圖像以及瞳孔圖像的識(shí)別定位根據(jù)灰度識(shí) 別出鞏膜圖像和虹膜圖像；根據(jù)紋理識(shí)別出虹膜圖像和瞳孔圖像；定位鞏膜圖像和虹膜圖 像、虹膜圖像和瞳孔圖像的相對(duì)位置；所述步驟二包括以下步驟步驟21，對(duì)識(shí)別出的眼睛圖像進(jìn)行黑白二值化處理， 并根據(jù)灰度的不同識(shí)別出鞏膜圖像和虹膜圖像，二值化采用OStu方法，即選取使得二值化 后圖像灰度方差和最大的閾值進(jìn)行二值化，由于鞏膜圖像和虹膜圖像在灰度上的較大差 異，二值化后鞏膜區(qū)域?yàn)榘咨缒^(qū)域?yàn)楹谏鶕?jù)虹膜區(qū)域邊界為圓形的特征可以很 方便的把兩者區(qū)分開(kāi)來(lái)；步驟22，根據(jù)紋理分析法識(shí)別出虹膜圖像和瞳孔圖像，并計(jì)算虹 膜圖像和瞳孔圖像的相對(duì)位置；虹膜區(qū)域有較多復(fù)雜的紋理，而瞳孔區(qū)域基本呈現(xiàn)單一紋 理并且虹膜區(qū)域總是呈現(xiàn)圓形，因此可以對(duì)該區(qū)域進(jìn)行分塊傅里葉變換分析或分塊離散余 弦變換，通過(guò)分析變換域中高頻分量，高頻分量多表明該區(qū)域紋理復(fù)雜，為虹膜區(qū)域，反之 則為瞳孔區(qū)域，從而給出空間域兩者之間的界限。本發(fā)明中通過(guò)比較兩個(gè)圖像頻譜間高頻 分量占低頻分量的比例來(lái)確定，實(shí)際計(jì)算時(shí)，一般可以認(rèn)為在頻譜呈雙峰分布時(shí)，高頻成分 占總頻譜能量20%以上就可界定為虹膜區(qū)域。步驟23，計(jì)算出瞳孔圖像中心點(diǎn)距離虹膜中 心點(diǎn)的方位角和距離。由于瞳孔和虹膜都呈現(xiàn)圓形，本發(fā)明中瞳孔中心點(diǎn)和虹膜中心點(diǎn)的 獲取通過(guò)分別提取瞳孔和虹膜的弧形邊界，利用圓心和圓弧的幾何關(guān)系定位出來(lái)。步驟三，虹膜圖像和瞳孔圖像的二次投影，將虹膜圖像和瞳孔圖像通過(guò)有向旋轉(zhuǎn) 移動(dòng)到鞏膜圖像的中心，從而實(shí)現(xiàn)眼睛圖像的調(diào)正。如圖4所示，其中斜條紋區(qū)域表示平移和有向旋轉(zhuǎn)后的空缺部分，點(diǎn)陣部分表示 虹膜，黑色區(qū)域表示瞳孔。所述步驟三包括以下步驟步驟31，將虹膜圖像平移到鞏膜圖像 的中心，如圖4(a)所示；步驟32，對(duì)于虹膜圖像平移后鞏膜圖像上的圖像缺失部分，使用 平移前虹膜圖像周圍的鞏膜圖像進(jìn)行填充，如圖4(c)中所示；步驟33，根據(jù)瞳孔圖像中心 點(diǎn)距離虹膜中心點(diǎn)的方位角和距離，將平移后的虹膜圖像所在的圓形區(qū)域以圓心為中心進(jìn) 行有向旋轉(zhuǎn)，如圖3和圖4(c)中所示。根據(jù)瞳孔圖像中心點(diǎn)距離虹膜中心點(diǎn)的方位角α 和距離d，將平移后的虹膜圖像所在的圓形區(qū)域以圓心為中心進(jìn)行有向旋轉(zhuǎn)；旋轉(zhuǎn)方向?yàn)?Ji + α，旋轉(zhuǎn)角度為r tarTYd/r)，其中r為瞳孔的半徑；步驟34，對(duì)于虹膜圖像有向旋轉(zhuǎn)后空缺部分，使用鞏膜圖像周圍的虹膜圖像進(jìn)行填充。所述步驟11的預(yù)處理包括使用腐蝕膨脹法加強(qiáng)圖像中各個(gè)分散點(diǎn)的連通性。所 述步驟11的預(yù)處理包括使用直方圖均衡化提高圖像的對(duì)比度。所述步驟11的預(yù)處理包括 使用中值濾波處理圖像。本發(fā)明提供了一種自拍視頻中眼睛圖像的調(diào)正方法的思路及方法，具體實(shí)現(xiàn)該技 術(shù)方案的方法和途徑很多，以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng) 域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些 改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。本實(shí)施例中未明確的各組成部分均可用現(xiàn)有技術(shù) 加以實(shí)現(xiàn)。
權(quán)利要求
一種自拍視頻中眼睛圖像的調(diào)正方法，其特征在于，包括以下步驟步驟一，目標(biāo)眼睛圖像檢測(cè)和定位從視頻圖像中檢測(cè)并定位眼睛的位置；步驟二，眼睛圖像中鞏膜圖像、虹膜圖像以及瞳孔圖像的區(qū)分和定位根據(jù)灰度區(qū)分出鞏膜圖像和虹膜圖像；根據(jù)紋理區(qū)分出虹膜圖像和瞳孔圖像；定位鞏膜圖像和虹膜圖像、虹膜圖像和瞳孔圖像的相對(duì)位置；步驟三，虹膜圖像和瞳孔圖像的二次投影，將虹膜圖像和瞳孔圖像通過(guò)有向旋轉(zhuǎn)移動(dòng)到鞏膜圖像的中心，從而實(shí)現(xiàn)眼睛圖像的調(diào)正。
2.根據(jù)權(quán)利要求1所述的一種自拍視頻中眼睛圖像的調(diào)正方法，其特征在于，所述步 驟一包括以下步驟步驟(11)，對(duì)自拍視頻的圖像進(jìn)行預(yù)處理；步驟(12)，從自拍視頻的圖像中識(shí)別出人臉圖像；步驟(13)，根據(jù)灰度關(guān)系從人臉圖像中識(shí)別出左、右眼睛的圖像。
3.根據(jù)權(quán)利要求2所述的一種自拍視頻中眼睛圖像的調(diào)正方法，其特征在于，所述步 驟二包括以下步驟步驟(21)，對(duì)識(shí)別出的眼睛圖像進(jìn)行黑白二值化處理，并根據(jù)灰度關(guān)系識(shí)別出鞏膜圖 像和虹膜圖像；步驟(22)，根據(jù)紋理分析法識(shí)別出虹膜圖像和瞳孔圖像，并計(jì)算虹膜圖像和瞳孔圖像 的相對(duì)位置；步驟(23)，計(jì)算出瞳孔圖像中心點(diǎn)距離虹膜中心點(diǎn)的方位角和距離。
4.根據(jù)權(quán)利要求3所述的一種自拍視頻中眼睛圖像的調(diào)正方法，其特征在于，所述步 驟三包括以下步驟步驟(31)，將虹膜圖像平移到鞏膜圖像的中心；步驟(32)，對(duì)于虹膜圖像平移后鞏膜圖像上的圖像缺失部分，使用平移前虹膜圖像周 圍的鞏膜圖像進(jìn)行填充；步驟(33)，根據(jù)瞳孔圖像中心點(diǎn)距離虹膜中心點(diǎn)的方位角和距離，將平移后的虹膜圖 像所在的圓形區(qū)域以圓心為中心進(jìn)行有向旋轉(zhuǎn)；步驟(34)，對(duì)于虹膜圖像有向旋轉(zhuǎn)后空缺部分，使用鞏膜圖像周圍的虹膜圖像進(jìn)行填充。
5.根據(jù)權(quán)利要求2所述的一種自拍視頻中眼睛圖像的調(diào)正方法，其特征在于，所述步 驟(11)的預(yù)處理包括使用腐蝕膨脹法加強(qiáng)圖像中各個(gè)分散點(diǎn)的連通性。
6.根據(jù)權(quán)利要求2所述的一種自拍視頻中眼睛圖像的調(diào)正方法，其特征在于，所述步 驟(11)的預(yù)處理包括使用中值濾波處理圖像。
全文摘要
本發(fā)明公開(kāi)了一種自拍視頻中眼睛圖像的調(diào)正方法，包括以下步驟步驟一，目標(biāo)眼睛圖像檢測(cè)和定位從視頻圖像中檢測(cè)并定位眼睛的位置；步驟二，眼睛圖像中鞏膜圖像、虹膜圖像以及瞳孔圖像的識(shí)別定位根據(jù)灰度識(shí)別出鞏膜圖像和虹膜圖像；根據(jù)紋理識(shí)別出虹膜圖像和瞳孔圖像；定位鞏膜圖像和虹膜圖像、虹膜圖像和瞳孔圖像的相對(duì)位置；步驟三，虹膜圖像和瞳孔圖像的二次投影，將虹膜圖像和瞳孔圖像平移到鞏膜圖像的中心，從而實(shí)現(xiàn)眼睛圖像的調(diào)正。本發(fā)明在不增加額外裝置的情況下，通過(guò)軟件方法進(jìn)行圖像處理，從而使得當(dāng)人臉面對(duì)顯示裝置而眼睛不注視攝像鏡頭時(shí)可在顯示裝置上獲得眼睛注視顯示裝置的活動(dòng)視頻圖像，大大降低了硬件系統(tǒng)的改進(jìn)成本。
文檔編號(hào)G06K9/32GK101930543SQ20101026404
公開(kāi)日2010年12月29日 申請(qǐng)日期2010年8月27日 優(yōu)先權(quán)日2010年8月27日
發(fā)明者劉詩(shī)詩(shī), 袁杰, 鄭暉 申請(qǐng)人:南京大學(xué)