眼球識(shí)別方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及臉部識(shí)別技術(shù)，更為具體地，涉及眼球識(shí)別技術(shù)。
【背景技術(shù)】
[0002] 眼球追蹤主要是研究眼球運(yùn)動(dòng)信息的獲取、建模和模擬。隨著攝像頭已廣泛普及 在手機(jī)、筆記本電腦、PC等設(shè)備中，眼球追蹤已廣泛用于活體檢測、汽車駕駛員疲勞檢測、指 令控制等場景中。
[0003] 人臉平面旋轉(zhuǎn)校正是完成眼球跟蹤中重要一環(huán)，很多識(shí)別眼球的實(shí)現(xiàn)效果有賴于 圖像是否旋轉(zhuǎn)校正。

【發(fā)明內(nèi)容】

[0004] 有鑒于此，本發(fā)明提供眼球識(shí)別方法，包括： a) 獲取用戶面部圖像； b) 在所獲取的面部圖像中，劃分出包含人臉輪廓的矩形，該矩形為包含人臉輪廓的矩 形圖像； c) 記錄所劃分出的矩形圖像在顯示系統(tǒng)中的坐標(biāo)； d) 針對(duì)所劃分的矩形圖像，基于人臉圖像的對(duì)稱性與投影振幅，進(jìn)行校正，以獲得校正 后的人臉圖像； e) 基于校正后的人臉圖像以及所記錄的位置，識(shí)別眼球位置。
[0005] 根據(jù)本發(fā)明一個(gè)示例的眼球識(shí)別方法，其中，所述步驟d包括： dl)計(jì)算該矩形圖像的中心點(diǎn)位置〇; d2)將所述矩形圖像轉(zhuǎn)換為灰度圖P; d3)在所述灰度圖中，以至少不同比例劃分出多個(gè)子矩形圖像qi，其中，各子矩形圖像 以所述中心點(diǎn)為中心，所述比例均小于l，i為大于1的整數(shù)； d4)將各子矩形圖像(^在矩形圖像的平面內(nèi)繞中心點(diǎn)旋轉(zhuǎn)一定角度α; d5)對(duì)各子矩形圖像，向其長度方向做投影得到長度方向投影曲線/?χ)，計(jì)算該投影 曲線/(I)的波峰灰度值、波谷灰度值g腿; d6)對(duì)各子矩形圖像qi，計(jì)算其對(duì)稱性Sym(qi); d7)對(duì)各子矩形圖像qi，分別計(jì)算h(qi)=gmax(qi)-0 · gmin(qi)+ η · Sym(qi)，其中，β 與η是預(yù)設(shè)參數(shù)，兩者均為正數(shù);可根據(jù)圖片的特點(diǎn)設(shè)置β與η，它們數(shù)值越大，與它們相乘的 項(xiàng)的權(quán)重就越大； d8)將各子矩形圖像q^h(qi)值累加，獲得旋轉(zhuǎn)α角度下的累加 h值； d9)在(α1，α2)的角度范圍內(nèi)變換旋轉(zhuǎn)角度α的大小，并依次執(zhí)行步驟d4到d8獲得多個(gè) 旋轉(zhuǎn)角度下的h值； d 10 )從多個(gè)旋轉(zhuǎn)角度下的多個(gè)h值中選擇最大的h值，與該h值對(duì)應(yīng)的旋轉(zhuǎn)角度對(duì)應(yīng)的 圖像即為校正圖像。
[0006] 根據(jù)本發(fā)明一個(gè)示例的眼球識(shí)別方法，其中，所述步驟d6包括： 對(duì)每個(gè)矩形圖像^，向長度方向做投影，得到該方向的投影曲線 使對(duì)稱中心處于[1 /4w，1 /2w]范圍內(nèi)時(shí)，對(duì)稱區(qū)間分別是(0，c)和(c，2c)，其中w為矩形 圖像P的寬度，C為對(duì)稱中心，貝lJSym(qi，c)=X |g(y)-g(2c-y) I，其中y在(0，c)范圍內(nèi)；以及 當(dāng)對(duì)稱中心c處于[l/2w，3/4w]范圍內(nèi)時(shí)，對(duì)稱區(qū)間分別是（2c-w，c)和（c，w)，則Sym (qi)= Σ |g(y)-g(2c_y) |，其中y在(c，w)范圍內(nèi)。
[0007] 根據(jù)本發(fā)明一個(gè)示例的眼球識(shí)別方法，其中，步驟d3中，以不同的三個(gè)比例劃分出 三個(gè)子矩形圖像ρι，Ρ2與P 3。
[0008] 根據(jù)本發(fā)明的又一方面，還提供眼球識(shí)別系統(tǒng)，該系統(tǒng)包括： 第一單元，用于獲取用戶面部圖像； 第二單元，用于在所獲取的面部圖像中，劃分出包含人臉輪廓的矩形，該矩形為包含人 臉輪廓的矩形圖像； 第三單元，用于記錄所劃分出的矩形圖像在顯示系統(tǒng)中的坐標(biāo)； 第四單元，用于針對(duì)所劃分的矩形圖像，基于人臉圖像的對(duì)稱性與投影振幅，進(jìn)行校 正，以獲得校正后的人臉圖像； 第五單元，用于基于校正后的人臉圖像以及所記錄的位置，識(shí)別眼球位置。
[0009] 根據(jù)本發(fā)明一個(gè)示例的眼球識(shí)別系統(tǒng)，其中，所述第四單元包括： 第一子單元，用于計(jì)算該矩形圖像的中心點(diǎn)位置； 第二子單元，用于將所述矩形圖像轉(zhuǎn)換為灰度圖P; 第三子單元，用于在所述矩形圖像中，以至少不同比例劃分出多個(gè)子矩形圖像，其 中，各子矩形圖像以所述中心點(diǎn)為中心，所述比例均小于l，i為大于1的整數(shù)； 第四子單元，用于將各子矩形圖像啦在矩形圖像的平面內(nèi)繞中心點(diǎn)旋轉(zhuǎn)一定角度α; 第五子單元，用于對(duì)各子矩形圖像，向其長度方向做投影得到長度方向投影曲線 ，計(jì)算該投影曲線/(Λ)的波峰灰度值、波谷灰度值; 第六子單元，用于對(duì)各子矩形圖像&，計(jì)算其對(duì)稱性Sym(qi); 第七子單元，用于對(duì)各子矩形圖像9!，分別計(jì)算11^)=811^(9〇-0 1111；[11(91)+11*37111 (qi); 第八子單元，用于將各子矩形圖像qj^h(qi)值累加，獲得旋轉(zhuǎn)α角度下的累加 MI; 第九子單元，用于在(α1，α2)的角度范圍內(nèi)變換旋轉(zhuǎn)角度α的大小，并將轉(zhuǎn)換后的角度 傳送給第四子單元，由第四子單元到第八子單元依次操作獲得多個(gè)旋轉(zhuǎn)角度下的h值； 第十子單元，用于從多個(gè)旋轉(zhuǎn)角度下的多個(gè)h值中選擇最大的h值，與該h值對(duì)應(yīng)的旋轉(zhuǎn) 角度對(duì)應(yīng)的圖像即為校正圖像。
【附圖說明】
[0010] 圖1是根據(jù)本發(fā)明示例的眼球識(shí)別方法的流程圖。
[0011] 圖2給出了圖1中的步驟14的流程圖。
[0012] 圖3示意了第三子圖像q3繞中心點(diǎn)〇旋轉(zhuǎn)角度α后的示意性圖示。
[0013] 圖4是該眼球識(shí)別系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0014] 現(xiàn)在參照附圖描述本發(fā)明的示意性示例。相同的附圖標(biāo)號(hào)表示相同的元件。下文 描述的各實(shí)施例有助于本領(lǐng)域技術(shù)人員透徹理解本發(fā)明，且意在示例而非限制。除非另有 限定，文中使用的術(shù)語(包括科學(xué)、技術(shù)和行業(yè)術(shù)語)具有與本發(fā)明所屬領(lǐng)域的技術(shù)人員普 遍理解的含義相同的含義。此外，流程圖中各步驟的先后順序也不以圖示的順序?yàn)橄蕖?br>[0015] 在本文中，圖像與圖像均表示通過攝像頭等影像獲取元件所取得的用戶的圖像以 及基于該圖像進(jìn)行處理后獲得的圖像，圖像與圖像在本文中可互換使用。
[0016] 圖1是根據(jù)本發(fā)明一個(gè)示例的眼球識(shí)別方法的流程圖。簡單來說，根據(jù)圖1所示的 方法，首先獲取到用戶面部圖像，隨后對(duì)其進(jìn)行處理以獲得校正圖像，在該校正圖像中確認(rèn) 眼球的位置，最后基于所確認(rèn)的眼球位置來確定原始的用戶面部圖像中的眼球位置。
[0017] 在步驟10,獲取用戶面部圖像?？赏ㄟ^攝像頭等影像獲取部件獲取用戶面部圖像。
[0018] 在步驟12,在所獲取的面部圖像中，劃分出包含人臉輪廓的矩形，該矩形即為包含 人臉輪廓的矩形圖像。所劃分的矩形圖像至少包括人的五官。劃分可采用已有圖形識(shí)別方 法中的劃分方式。
[0019] 在步驟14,記錄所劃分出的矩形圖像在顯示系統(tǒng)中的坐標(biāo)。所顯示的圖像在現(xiàn)實(shí) 設(shè)備中都有坐標(biāo)位置，示例地，可記錄該坐標(biāo)位置。
[0020] 在步驟16,針對(duì)所劃分的矩形圖像，基于人臉圖像的對(duì)稱性與投影振幅，進(jìn)行校 正，以獲得校正后的人臉圖像。
[0021] 在步驟18,基于校正后的人臉圖像以及所記錄的位置，識(shí)別眼球位置。該步驟識(shí)別 出眼球位置之后，則可結(jié)合步驟14中記錄的坐標(biāo)位置，相應(yīng)地確定出原始圖像中眼球的位 置。
[0022]作為示例，圖2給出了圖1中的步驟14的流程圖。
[0023]如圖所示，在步驟140,計(jì)算該矩形圖像的中心點(diǎn)〇位置。
[0024] 在步驟142,將所述矩形圖像轉(zhuǎn)換為灰度圖P。
[0025] 在步驟144,在所述灰度圖中，以至少不同比例劃分出多個(gè)子矩形圖像qi，其中，各 子矩形圖像以所述中心點(diǎn)為中心，所述比例均小于l，i為大于1的整數(shù)。作為示例，按照 0.5、0.6以及0.7的比例分別劃分出三個(gè)子矩形圖像，在以下的示例中，分別將其稱為第一 子圖像qi、第二子圖像q2與第三子圖像q3。
[0026] 在步驟146,將各子矩形圖像qi在矩形圖像的平面內(nèi)繞中心點(diǎn)〇旋轉(zhuǎn)一定角度α。例 如將第一子圖像qi繞中心點(diǎn)〇旋轉(zhuǎn)角度α，將第一子圖像q 2繞中心點(diǎn)〇旋轉(zhuǎn)角度α，將第一子圖 像q3繞中心點(diǎn)〇旋轉(zhuǎn)角度α。
[0027] 在步驟148,對(duì)各子矩形圖像，向其長度方向做投影得到長度方向投影曲線./h)， 計(jì)算該投影曲線的波峰灰度值、波谷灰度值匕）。圖3示意了第三子圖 像q3繞中心點(diǎn)〇旋轉(zhuǎn)角度α后的示意性圖示。如圖所示，矩形圖像q的長度為w，寬度為h，這里 要特別說明的是，在本發(fā)明的示例中，是將矩形圖像q沿著顯示屏幕X軸方向的邊的長度作 為長度邊、沿著顯示屏幕y軸方向的邊的長度做為寬度邊。但這僅是示意，也可將沿X軸方向 的長度作為寬度邊，沿顯示屏幕y軸方向的邊的長度作為高度的邊。第三子圖像q3的長度為 w'，寬度為h'。將第三子圖像q3向其長度邊的方向投影，獲得投影曲線ih)，計(jì)算該投影曲 線/(X)的波峰灰度值名、波谷灰度值甚
[0028] 在步驟150,對(duì)各子矩形圖像qi，計(jì)算其對(duì)稱性Sym(qi)。對(duì)于圍繞中心〇旋轉(zhuǎn)的每個(gè) 子圖像，左右按照人臉中心垂線具有對(duì)稱性。自然而然，我們計(jì)算每張候選圖像的對(duì)稱 性值Sym( qi)，以衡量人臉的對(duì)稱性。同時(shí)，在圖像中，無法實(shí)現(xiàn)準(zhǔn)確得知人臉中心線的位 置，所以，系統(tǒng)逐一將對(duì)稱中心c設(shè)置l/4w到3/4w的范圍內(nèi)，計(jì)算對(duì)稱中心c的圖片的對(duì)稱性 值Sym( qi，C)，挑取其中最大數(shù)值，作為圖片的對(duì)稱性值Sym(qi，C)。在此，應(yīng)理解到，Sym( qi， c)表示的是以對(duì)稱中心c為對(duì)稱中心而獲得的57111(9〇。571]1(91，(3)的計(jì)算方式如下： 對(duì)個(gè)每個(gè)矩形q，向y軸方向（與長度邊平行)做投影，得到y(tǒng)軸灰度值投影曲線X=g(y); 當(dāng)對(duì)稱中心c處于[l/4w, l/2w]范圍內(nèi)時(shí)，對(duì)稱區(qū)間分別是(0，c)和(o,2c) Sym(qi，c) = Σ |g(y)-g(2c_y) I，其中y屬于(0，c)范圍內(nèi)； 當(dāng)對(duì)稱中心c處于[l/2w，3/4w]范圍內(nèi)時(shí)，對(duì)稱區(qū)間分別是(2c-w，c)和(c，w);以及Sym (qi，c)= Σ |g(y)-g(2c_y) |，其中y屬于(c，w)范圍內(nèi)。
[0029] 隨后，在步驟152,對(duì)各子矩形圖像qi，分別計(jì)算h(qi)=gmax(qi)-0 · gmin(qi) + η · Sym(qi)。示例地，對(duì)第一子圖像qi，計(jì)算h(qi)=gmax(qi)-0 · gmin(qi)+ η · Sym(qi，c); 對(duì)第二子圖像q2,計(jì)算h(q2)=gmax(q2)_P · gmin(q2)+ η · Sym(q2，c) ;qi，對(duì)第三子圖像q3計(jì) 算h(q3)=gmax(q3)_0 · gmin(q3)+ η · Sym(q3，c)。
[0030] 在步驟154，對(duì)各子矩形圖像qi的h(qi)值累加，獲得旋轉(zhuǎn)α角度下的累加 h值。示例 地，累加 h是 11(91)、11(92)與11(93)的和。
[0031] 在步驟156,在(α1，α2)的角度范圍內(nèi)變換旋轉(zhuǎn)角度α的大小，并依次執(zhí)行步驟146 到步驟154獲得多個(gè)旋轉(zhuǎn)角度下的h值。
[0032]在步驟158，從步驟154中得到的h值以及執(zhí)行步驟156得到的多個(gè)h值中，選擇最大 的h值。該具有最大的h值的子圖像便是所選擇的校正圖像。