專利名稱：人眼觀察視角的測量方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及識別圖形的方法，特別是涉及應(yīng)用電子設(shè)備進行人的臉部特征進行識別的方法。
背景技術(shù)：
隨著計算機視覺技術(shù)的發(fā)展，人臉識別技術(shù)得到了長足的發(fā)展和應(yīng)用，其理論和 算法體系日臻完善。傳統(tǒng)上，人們把人臉識別技術(shù)分成人臉的檢測和人臉的識別兩大部分， 其中，人臉的檢測是利用人類臉部器官的結(jié)構(gòu)、外形以及分布等共性特征，來檢測是否有人 臉的存在，人臉的識別則是把檢測到的人臉特征和人臉模板庫中預(yù)存的特征進行模式對 比，以判斷人的身份。人臉識別技術(shù)仍面臨著一定的挑戰(zhàn)，主要體現(xiàn)在，雖然人臉的面部特征具有相似 性，臉部器官的分布、結(jié)構(gòu)和外形具有穩(wěn)定的關(guān)系，可適用于通過人臉進行定位，但是要應(yīng) 用到個體定位則不易。其原因在于人臉外形很不穩(wěn)定，人臉有很多表情變化，并且在不同 的角度進行觀察，人臉的視覺圖像也相差很大，從而使得人臉識別效果的穩(wěn)定性和準(zhǔn)確性 存在相當(dāng)程度的不確定性；另外，人臉識別還受光照條件，例如白天和夜晚，室內(nèi)和室外等； 人臉上的遮蓋物，例如口罩、墨鏡、頭發(fā)和胡須等以及年齡等多方面因素的影響。現(xiàn)有的人臉識別技術(shù)大約可以分為四大類1)基于知識的方法，是對組成典型人臉的知識進行編碼。通常，先驗知識包換了這 些人臉特征的相互關(guān)系，早期的人臉定位多用此方法。2)特征不變方法，是通過找出存在的一些結(jié)構(gòu)特征，這些特征在姿態(tài)、觀察點、光 照條件改變的情況下保持不變，然后用這些特征來定位人臉。其代表性的技術(shù)有基于人臉 特征的邊緣組法；基于紋理的人臉模式空間灰度矩陣法；基于膚色的高斯混合法；以及基 于多特征的膚色、大小和形狀混合法。3)模板匹配法，是先存儲一張人臉的幾個標(biāo)準(zhǔn)模板，用來描述整張人臉或人臉的 部分特性，然后通過計算輸入圖像與已經(jīng)存儲模板之間的相似度來進行檢測。其代表性的 技術(shù)有基于預(yù)先定義的形狀模板法以及基于可變形模板的活性形狀模板法。4)基于外觀的方法，其與上述的模板匹配區(qū)別在于其模板是從一組訓(xùn)練圖像經(jīng) 過學(xué)習(xí)而得來的，這些圖像包括人臉外觀的具有代表性的變化因素。其代表性的技術(shù)有基 于本征臉的本征向量分解和聚合法；基于分布的高斯分布和多層感知器法；基于神經(jīng)網(wǎng)絡(luò) 的結(jié)合仲裁模式的方法；多項式內(nèi)核的支持向量機；貝葉斯分類法；基于隱馬爾科夫模型 的統(tǒng)計法；以及多級聯(lián)Adaboost算法。Adaboost算法是一種可機器學(xué)習(xí)的方法，其核心思想是針對同一個訓(xùn)練集訓(xùn)練不 同的弱分類器一一只要檢測率高于50%，然后把這些弱分類器集成起來，構(gòu)成一個更強大 的最終分類器一一強分類器。Kearns和Valiant已經(jīng)證明只要有足夠的數(shù)據(jù)，弱學(xué)習(xí)算 法就能集成為任意精度的假設(shè)強學(xué)習(xí)算法。Adaboost算法根據(jù)每次訓(xùn)練集中每個樣本的分 類是否正確，以及上次的總體分類的準(zhǔn)確率，來確定每個樣本的權(quán)值。將修改過權(quán)值的新數(shù)據(jù)集送給下層弱分類器進行再次訓(xùn)練，這樣得到新的弱分類器----下層分類器，如此這班 地重復(fù)多次，最后將每次訓(xùn)練中得到的弱分類器融合起來，作為最后的決策分類器。如中國 專利CN200810056854. 6所公開的一種基于圖片幾何結(jié)構(gòu)的人臉檢測方法，包括人臉模型 的訓(xùn)練過程和人臉圖像的檢測過程，該方法包括以下步驟人臉模型的訓(xùn)練過程步驟訓(xùn) 練樣本歸一化步驟；特征提取步驟；采用合適大小的塊對樣本進行劃分的分塊步驟；將計 算獲得所有差分值拉成特征列向量步驟，提交分類器學(xué)習(xí)；瀑布型支持向量機的學(xué)習(xí)過程； 采用級聯(lián)分類器針對每個窗口中的樣本圖片進行分類；人臉圖像的檢測步驟對檢測到的 人臉進行標(biāo)記。在采用Adaboost算法進行人臉和臉部器官的檢測并定位其位置的實現(xiàn)過程中， 人眼的識別和定位是人臉檢測的關(guān)鍵，人眼精確定位是人臉識別前處理階段中非常關(guān)鍵的 一個環(huán)節(jié)，只要眼球被精確定位，其它的人臉器官如眉、嘴、鼻等，可藉由潛在的幾何分布關(guān) 系比較精確地定位，在人眼定位算法中，比較常用的算法可以分為霍夫變換法、變形模板 法、邊緣特征分析法和對稱變換法。雖然，上述現(xiàn)有的方法已經(jīng)能夠較成功地實現(xiàn)人臉的檢測，然而，針對一些特定的 應(yīng)用領(lǐng)域，比如對人眼觀察視角進行測量，通過圖像或視頻中的人是否正在觀看屏幕/鏡 頭，來實現(xiàn)收視率調(diào)查、戶外廣告的效果評價等，由于人面部的微小轉(zhuǎn)動，或者眼球的微小 轉(zhuǎn)動，都可能會引起視角的很大變化，這除了涉及上述的人臉識別技術(shù)外，還涉及到人眼的 有關(guān)生理參數(shù)，人類個體面部器官的幾何參數(shù)以及人相對屏幕/鏡頭的位置參數(shù)等因素的 影響，從而使得精確測量人眼觀察視角成為一樁非常棘手的技術(shù)難題。目前，進行人眼視角的測量和追蹤的方法主要有1)儀器法，例如眼動儀，在測量 時，需要戴上特制的頭盔；2)計算機圖形圖像處理法。這種方法利用人眼轉(zhuǎn)動時相關(guān)特征 之間的變動關(guān)系進行視角測量。這些特征有普爾欽斑中心、虹膜中心、眼角、瞳孔中心等。例 如普爾欽斑點法，其原理是，在拍攝鏡頭對人臉進行成像時，在一定的光照和角度下，成像 的人眼瞳孔中會產(chǎn)生一個高亮度的普爾欽斑，該斑點中心的位置與瞳孔中心的位置有一定 的對應(yīng)關(guān)系。測量人臉中的這些生理特征之間的關(guān)系，從而測量出人眼的視角。上面列出 的幾個特征，由于其產(chǎn)生或測量有一定的條件，因此有所限制。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題在于克服上述現(xiàn)有技術(shù)的不足，而提出一種可以實現(xiàn)較 精確地測量人眼觀察視角的技術(shù)。本發(fā)明所說的“人眼觀察視角”是，圖像或視頻中的人的視線相對于其平視狀態(tài) 下的空間偏移角度，或者定義為“圖像或視頻中的人的視線相對于拍攝鏡頭的空間偏移角 度”，這兩種不同的定義，采用的測量方法、步驟完全一致，測量結(jié)果也按照各自的定義進行 解釋。例如，視線左偏15度，或者視線右偏45度，等等。本發(fā)明所說的“人眼觀察視角的測 量”是，測量或估算出這個空間角度。本發(fā)明對人眼視角的測量和追蹤的方法屬于計算機圖形圖像處理法。為了增強應(yīng)用的普適性，本發(fā)明選取了雙眼中心和鼻梁線作為測量視角的特征變量，根據(jù)統(tǒng)計學(xué)習(xí)來 測量視角。本發(fā)明解決上述技術(shù)問題采用的技術(shù)方案包括，提出一種人眼觀察視角的測量方法，其包括的步驟大致有1)預(yù)先建立人眼觀察視角模板庫，其包括人臉的轉(zhuǎn)動、人眼的 轉(zhuǎn)動以及拍攝鏡頭的角度信息；2)計算第一類參數(shù)，即人眼觀察視角模板庫中的人的雙眼 中心的距離；3)計算第二類參數(shù)，即人眼觀察視角模板庫中的人的鼻梁線與雙眼中心的夾 角；4)計算第三類參數(shù)，即人眼觀察視角模板庫中的人的鼻梁線與雙眼中心的交點與雙眼 中點的偏移；5)構(gòu)造上述人眼觀察各種視角與三類參數(shù)的參數(shù)矩陣；以及6)用Adaboost 算法，依照已構(gòu)造的該參數(shù)矩陣，來判斷一幅待檢圖像中的人的視角。本發(fā)明解決上述技術(shù)問題采用的技術(shù)方案還包括，提出一種人眼觀察視角的測量 裝置，包括攝像頭和處理器，該處理器上可運行相應(yīng)的應(yīng)用程序以配合該攝像頭實現(xiàn)上述 的測量方法。本發(fā)明解決上述技術(shù)問題采用的技術(shù)方案還包括，提出一種戶外廣告的效果評價 的方法，通過設(shè)置上述的測量裝置，對被測對象的人眼觀察視角進行判斷，并對該判斷結(jié)果 進行統(tǒng)計。與現(xiàn)有技術(shù)相比，采用本發(fā)明的人眼觀察視角的測量方法及裝置，可以實現(xiàn)較精 確地測量人眼觀察視角，以實現(xiàn)收視率調(diào)查和/或戶外廣告的效果評價等應(yīng)用。


圖1為本發(fā)明的人眼觀察視角的測量方法實施例的原理圖。圖2為本發(fā)明的人眼觀察視角的測量方法實施例的原理圖。圖3為本發(fā)明的人眼觀察視角的測量方法實施例中人眼觀察視角的三個參數(shù)的不意。圖4為本發(fā)明的人眼觀察視角的測量方法實施例中人臉轉(zhuǎn)動后各參數(shù)發(fā)生變化 的示意。圖5為本發(fā)明的人眼觀察視角的測量裝置實施例中處理器的結(jié)構(gòu)圖。圖6為本發(fā)明的人眼觀察視角的測量方法及裝置實施例中所采用的Haar-Iike特 征。圖7為本發(fā)明的人眼觀察視角的測量方法及裝置實施例中θ與參數(shù)r，α的關(guān)系 的示意。圖8為本發(fā)明的人眼觀察視角的測量方法及裝置實施例中訓(xùn)練Ci上的T個弱分 類器的示意。
具體實施例方式以下結(jié)合附圖所示之最佳實施例作進一步詳述。參見圖1，本發(fā)明的人眼觀察視角的測量方法實施例，其包括的步驟大致有1)預(yù)先建立人眼觀察視角模板庫，其包括人臉的轉(zhuǎn)動、人眼的轉(zhuǎn)動以及拍攝鏡頭的角度信息；2) 計算第一類參數(shù)，即人眼觀察視角模板庫中的人的雙眼中心的距離；3)計算第二類參數(shù)， 即人眼觀察視角模板庫中的人的鼻梁線與雙眼中心的夾角；4)計算第三類參數(shù)，即人眼觀 察視角模板庫中的人的鼻梁線與雙眼中心的交點與雙眼中點的偏移；5)構(gòu)造上述人眼觀 察各種視角與三類參數(shù)的參數(shù)矩陣；以及6)用Adaboost算法，依照已構(gòu)造的該參數(shù)矩陣， 來判斷一幅待檢圖像中的人的視角。
參見圖2，本發(fā)明的人眼觀察視角的測量裝置實施例，包括攝像頭和處理器，該處 理器上可運行相應(yīng)的應(yīng)用程序以配合該攝像頭實現(xiàn)上述的測量方法。該攝像頭的設(shè)置角度 與實際應(yīng)用中的屏幕/鏡頭的視角相適應(yīng)。在生活中，當(dāng)人們進行觀察時，通常最舒適的姿態(tài)是圍繞頸部軸心進行小角度轉(zhuǎn) 動，或者，眼球在眼眶中進行小角度轉(zhuǎn)動。一般情況下，人眼的視覺范圍是以頸部為軸心的 180度半球。本發(fā)明的核心思想是，對圖像進行檢測，當(dāng)檢測出圖像中的人臉、人眼、人眼眼 球的中心位置以及人鼻梁線后，參見圖3，定義出判定人眼視角的三個參數(shù)其一，雙眼中 心距指人雙眼眼球的中心距離，記為m，其二，圖像上人的鼻梁線或其延長線與雙眼中心 的夾角，記為α，其三，鼻梁線與雙眼中心交點相對于雙眼中點的偏移，記為ε。需要說明 的是，本發(fā)明中鼻梁線為假想的一條線，開始于鼻根，結(jié)束于鼻尖。如記人眼視角為θ，那么 θ就是這三個參數(shù)的函數(shù)θ = f(m, α , ε )。其中，當(dāng)α =0，ε = 0時，θ = f(m,0,0) = 0，即人處于平視姿態(tài)，人眼視角為
0，即人眼視線落在屏幕/鏡頭上。
盡管夾角α在很多情況下可以粗略說明人臉視線的偏移方向，但不能以此說明 人臉視線的偏移角度，因為α只是θ在圖像上的投影，而θ尚受眼球轉(zhuǎn)動的影響。下面 結(jié)合圖4，分析這三個參數(shù)對視角的影響X-Y-Z坐標(biāo)系是原始的人臉部的平視狀態(tài)，aa為雙眼中心距，bb為鼻梁線。當(dāng)人臉繞頸部轉(zhuǎn)動一個角度θ后，雙眼中心從aa轉(zhuǎn)動到a’ a’位置，鼻梁線從bb 轉(zhuǎn)動到b’ b’位置。新的雙眼中心a’ a’和新的鼻梁線b’ b’投影到圖像上，就形成了夾角 a。a’ a’的長度在X_Y平面上的投影相比aa變小了，人眼視角與雙眼中心距呈現(xiàn)出單調(diào) 減函數(shù)關(guān)系，也即m越小，θ越大；m越大，θ越小。當(dāng)人臉繞頸部轉(zhuǎn)動一個角度θ后，由于屏幕/鏡頭位置不變，因此圖像上的雙眼 連線就是a’ a'在aa上的投影，但圖像上的鼻梁線就是b’ b’在X_Y平面上的投影，因而產(chǎn) 生了雙眼中心與鼻梁線之間的夾角。人臉轉(zhuǎn)動越大，θ越大，雙眼距離投影就越小m，雙眼 中心與鼻梁線之間的夾角α也越大。因此，θ與雙眼中心與鼻梁線之間的夾角α是單調(diào) 增函數(shù)關(guān)系，同時α與m是單調(diào)減函數(shù)關(guān)系。視角θ與偏移量ε的關(guān)系則比較復(fù)雜。一方面人臉繞頸部的轉(zhuǎn)動會產(chǎn)生偏移 量，并且是轉(zhuǎn)動越多，偏移量越大；另一方面，眼珠的轉(zhuǎn)動也會產(chǎn)生偏移量，可以記這兩種偏 移量為ε 1禾口 ε 2，這樣ε = ε 1+ε 2。為了測量出圖像或視頻中的人眼觀察視角，首先需要預(yù)先建立人眼觀察視角模板 庫。該模板庫按照人眼觀察視角分類成若干個子模板庫，在子模板庫中存儲若干典型的人 類觀察視角的圖像，這樣，人眼觀察視角就由這些圖像來定義。除需建立人眼觀察視角的模 板庫外，還需分別建立人臉模板庫、非人臉模板庫、人鼻子模板庫和非人鼻子模板庫。建立 人臉模板庫的目的，是為了檢測圖像或視頻中的人臉；建立人鼻子模板庫的目的，是為了檢 測圖像或視頻中的人鼻子。由于有眾多的研究機構(gòu)已構(gòu)造了人臉模板庫和非人臉模板庫， 因此可以直接引用。但人鼻模板庫和非人鼻模板庫需新建立。本發(fā)明的測量人眼觀察視角的方法的過程，大致包括首先建立一個人臉檢測的計算機子系統(tǒng)。該子系統(tǒng)是一個Adaboost分類系統(tǒng)。用 人臉模板庫、非人臉模板庫的圖像訓(xùn)練該子系統(tǒng)，使其獲得對人臉的檢測能力。
同樣地，建立一個人鼻子檢測的計算機子系統(tǒng)。該子系統(tǒng)也是一個Adaboost分類 系統(tǒng)。用人鼻子模板庫、非人鼻子模板庫的圖像訓(xùn)練該子系統(tǒng)，使其獲得對人鼻子的檢測能 力。其次，建立一個計算人眼觀察視角參數(shù)的計算機子系統(tǒng)。該子系統(tǒng)用于測量出模 板庫的各種視角下的參數(shù)，以形成參數(shù)矩陣。該計算機子系統(tǒng)先用人臉檢測子系統(tǒng)、人鼻 子檢測子系統(tǒng)掃描人眼觀察視角的模板庫，識別出其中的人臉、人鼻子，對人眼進行初級定 位，對人眼進行精確定位，識別人鼻梁線，計算出每幅圖像的人眼觀察視角三參數(shù)m、α、ε， 這樣就和預(yù)先設(shè)定的人眼視角θ —起構(gòu)成了人眼觀察視角參數(shù)矩陣A= [m α ε θ]。 在實際中由于精確測量較為困難，因此可以用θ的范圍表示，這樣A可以表示為A= [m α ε θ 1-Θ2]，θ 1-Θ2為θ的范圍，也即預(yù)先設(shè)定的人眼觀察視角模板庫中的每一幅圖像 所對應(yīng)的視角范圍。最后，再建立一個判別人眼觀察視角的計算機子系統(tǒng)。通過該系統(tǒng)就可以輸出圖 像或視頻中的人眼的觀察視角。這個系統(tǒng)是一個Adaboost分類系統(tǒng)。用獲得的這個人眼 觀察視角參數(shù)矩陣來訓(xùn)練這個Adaboost分類系統(tǒng)，使其具有較高精度的分類能力。當(dāng)建立好這樣的系統(tǒng)后，就可對圖像或視屏中的人的觀察視角進行檢測。本發(fā)明的人眼觀察視角的測量裝置，包括攝像頭和處理器，該處理器上可運行相 應(yīng)的應(yīng)用程序以配合該攝像頭實現(xiàn)上述的測量方法。下面結(jié)合圖5，對本發(fā)明的方法及裝置 予以更詳盡的描述首先說明一下如何建立人眼觀察視角模板庫。由于人眼的觀察視角處于以頸部為 軸線的前180度半球面上，以及人眼有向上看、向前看、向下看三種仰(俯)方向，因此可以 據(jù)此把人眼的觀察視角以一個最小觀察粒度為單位劃分為若干個區(qū)域，以此區(qū)域分類構(gòu)造 人眼觀察視角模板庫。假設(shè)待測對象端坐在原點上，雙眼平視前方，以一個半徑R移動攝像 頭，繞原點轉(zhuǎn)動，每隔一個最小觀察粒度，例如3度，拍攝該待測對象，這樣就形成了若干幅 圖像，每幅圖像對應(yīng)了一個視角。然后該待測對象以一定角度仰視，也以同樣的半徑R移動 攝像機，繞原點轉(zhuǎn)動，每隔一個最小觀察粒度，例如3度，拍攝該待測對象，這樣又形成了若 干幅圖像，每幅圖像對應(yīng)了一個視角。如此，以不同的仰角，俯角進行拍攝。接下來，待測對 象僅按最小觀察粒度的倍數(shù)轉(zhuǎn)動眼球，每種情況下都重復(fù)上面的過程。這樣就得到了若干 個各種視角下的人臉圖像，每幅圖像情況下人眼的視角就對應(yīng)一個值。轉(zhuǎn)動攝像頭等效于 轉(zhuǎn)動人臉。這樣就建立了人眼觀察視角模板庫。本發(fā)明的輸入有人臉模板庫和非人臉模板庫，人鼻模板庫和非人鼻模板庫，多種 預(yù)先分類好的人眼觀察視角模板庫，待檢圖像。模板庫中都是預(yù)先存儲的圖像。其中，人臉 模板庫和非人臉模板庫可以采用一些研究機構(gòu)提供的可免費使用的圖像庫，也可以另行建 立。人鼻模板庫中只含有各種視角下的人鼻的圖像。人眼觀察視角模板庫包括已知的各種 視角下的人臉的圖像。本發(fā)明的輸出有人眼觀察視角參數(shù)矩陣；對待檢圖像分析后檢出的結(jié)果，即視 角范圍。本發(fā)明的處理器包括五個主要的部分組成圖像預(yù)處理；人臉檢測Adaboost分類器；人鼻檢測Adaboost分類器；人眼觀察視角參數(shù)計算器；Adaboost人眼觀察視角分類
ο
圖像預(yù)處理是在時域和空域中對圖像進行平滑、變換、增強、恢復(fù)、濾波，以消除其 中的隨機噪聲和高斯噪聲等，修復(fù)或增強圖像中的邊緣，使圖像中客體信息特征更加突出、 簡練。常用的算法包括灰度運算、二值運算、中值濾波、均值濾波、高斯濾波、各向異性擴算、 Gabor濾波和小波分析等。人臉檢測Adaboost分類器由兩大部分組成分類器訓(xùn)練部分和分類器決策部分。 圖6是分類器采用的Haar-Like特征模板。訓(xùn)練分類器的簡要步驟是首先歸一化人臉模 板庫和非人臉模板庫中的圖像；分別計算模板中每一圖像每一位置對應(yīng)于每個Haar-Like 特征塊的特征值(積分圖)；進行若干次循環(huán)，每次循環(huán)中，對所有特征塊中的每一個特征 塊都訓(xùn)練出一個弱分類器，使其誤判率小于50%，誤判率最小的那個分類器則為該次循環(huán) 中的最佳分類器，然后按最佳分類器的決策調(diào)整每個樣本的權(quán)重，以便進行下一次循環(huán)；最 后把每次循環(huán)訓(xùn)練出的最佳分類器融合起來，形成最終強分類器。用訓(xùn)練出的分類器檢測 圖像中是否存在人臉的簡要步驟是首先對待檢圖像進行預(yù)處理和歸一化；分別計算該圖 像每一位置對應(yīng)于每個Haar-Like特征塊的特征值；由強分類器中的每個弱分類器對該圖 像是否有人臉進行投票，最后對投票結(jié)果進行加權(quán)平均，得出最后的決策結(jié)果。人鼻檢測Adaboost分類器的組成和工作原理與人臉檢測Adaboost分類器一樣。人臉區(qū)域的粗定位的步驟是檢測到人臉的存在后，采用Anil K. Jain的Cb，Cr橢 圓聚類方法產(chǎn)生人臉區(qū)域的初始二值圖，然后用二值形態(tài)學(xué)的開運算進行去噪處理，得到 人臉區(qū)域的二值圖。方法是對圖像進行色彩變換后，對每一像素的Cb，Cr值代入膚色判定 公式
其中，a = 25. 39，b = 14. 03，ecx = 1. 60，ecy = 2. 41 ； 其中，θ= 2. 53，cx = 109. 38，cy = 152. 02。得到(X，y)值，再計算該(x，y)是否落在橢圓區(qū)域內(nèi)，如果是，則置該像素為1，否 則為0，這樣就得到了圖像的初始二值圖。得到人臉區(qū)域后，先用小灰度聚類法粗定眼球中心點。然后采用霍夫變換法進行 眼球中心點的精確定位。聚類的過程是先將圖像進行灰度化處理和中值濾波或高斯濾波， 將圖像中灰度值最小的若干個(假設(shè)為N)個像素，按列遞增的循序排序，如相鄰的列數(shù)差 值都為超過預(yù)先設(shè)定的門限，說明只有一個聚類中心，及只有一只眼，求出這些像素行列的 平均值就是要找的眼球中心；如超過了門限，說明這些像素可以聚類成兩類，對左眼，因為 陰影、鏡腳集中在左邊，所以取右邊那類的平均值；對右眼，則取左邊那類的平均值，N的選 擇可根據(jù)臉部區(qū)域部分的總像素數(shù)目及人類眼球部分占人臉圖像的大致百分比決定。在用霍夫變換定位眼球前，先用Carmy算子提取邊緣。對于比較細長的眼睛，由于 眼球的上半部分較多的被眼皮覆蓋，所以改用檢測眼瞼的下半園。設(shè)圖像空間為(i，j)，i 和j分別表示眼球區(qū)域灰度像素的行列坐標(biāo)，三維變換空間為(ie，je, R)，其中，ie，je分 別代表眼球圓心的行和列，R為半徑，這樣，三維變換空間(ie，je, R)就是霍夫變換的三維參數(shù)空間。眼瞼下半圓的代數(shù)表達式就為下式i = ie+squrt(R2-(j-je)2)其中 squrt 表示開方運算。 對于參數(shù)空間的每一個坐標(biāo)點(ie，je，R)，在圖像空間都對應(yīng)一個半圓，在這個半 圓上存在的邊緣點個數(shù)就是參數(shù)空間左標(biāo)點(ie，je，R)對應(yīng)的值。參數(shù)空間上的峰值點即 為所求的眼球半圓參數(shù)。定位出人臉區(qū)域和雙眼中心及眼球半徑后，根據(jù)人臉中眼睛、鼻子的幾何分布關(guān) 系的先驗知識，構(gòu)造出人鼻子的區(qū)域。然后用Carmy算子檢測出鼻梁的正中線。經(jīng)過上述處理后，可以計算出本發(fā)明所需要的人眼觀察視角所需的三個參數(shù)，這 樣，對人眼觀察視角庫中的模板圖像逐幅處理后，形成人眼觀察視角參數(shù)矩陣。接下來需要構(gòu)造基于這個人眼觀察視角參數(shù)矩陣的學(xué)習(xí)器=Adaboost人眼觀察 視角分類器。傳統(tǒng)的Adaboost分類器是對某一個事物進行決策，決策的結(jié)果只有是或否以 及其置信度。與此有所不同，本發(fā)明的Adaboost人眼觀察視角分類器是要估算出一個數(shù)值 的范圍，是一個涉及多值選擇的問題。下面詳細說明如何構(gòu)造。假定人眼觀察視角參數(shù)矩陣為A= [m α ε θ 1-θ 2]，其中m，ε按圖3所示的 測量人眼觀察視角的三個參數(shù)中的雙眼中心坐標(biāo)確定正負，α按圖3所示的測量人眼觀察 視角的三個參數(shù)中的“雙眼中心與鼻梁線夾角坐標(biāo)確定正負。θ的范圍為士90度。又假 定視角的最小觀察粒度為Δ θ =3度。如按前所述建立人眼觀察視角模板庫，那么通常有 θ 2 = θ 1+Δ θ，即他們之間僅相差一個最小觀察粒度Δ θ。前文已經(jīng)分析過m，ε和α的關(guān)系，m與α是單調(diào)減函數(shù)關(guān)系，ε與α是單調(diào) 增函數(shù)關(guān)系，因此，m與ε也是單調(diào)減函數(shù)關(guān)系，因此可以定義二者之間的比率關(guān)系為r = ε/m，可以分析，r也與θ體現(xiàn)單調(diào)增函數(shù)關(guān)系。θ與r，α的關(guān)系曲線見圖5。假定r的最小觀察粒度為ΔΓ = 0.001，這樣，首先按照α和r這兩個參數(shù)構(gòu)造 特征塊在正的角度范圍內(nèi)α從O開始，按照Δ θ的倍數(shù)確定一個區(qū)間范圍[η*Δ θ , (η+1)*Δ θ]，直到90°C為止。負的角度范圍內(nèi)α也如此劃分。r從O開始，按照倍數(shù)確定 一個區(qū)間范圍[i*Ar，(i+l)*Ar]。這樣就構(gòu)造出一個特征塊t = (η* Δ θ，(η+1)*Δ θ， i*Ar，(i+1)* Ar)η 的取值要使得(η+1)*Δ θ <90，假定11<^1 的取值要(i+l)*Ar 不 超過達到一個合理的值，假定i < I。這樣，特征塊的總個數(shù)就是(N+1)*(I+1)*4。乘以4 的原因是，考慮了 r和α對每一個樣本都有兩個方向。對于每一個特征塊，其特征值就是 二維值(Q1 θ 2)對，即視角范圍。構(gòu)造Adaboost人眼觀察視角分類器的思路是，首先，對某一個視角區(qū)間[i*A θ， ( +1)*Δ Θ]，-Ν< = i <= N，構(gòu)造出對于其上的的強分類器，設(shè)為Q。Ci的數(shù)學(xué)表達式為 其中Cu為Ci中的第j個弱分類器，Eij為該弱分類器的誤檢率。T為希望的每個 Ci中的弱分類器的個數(shù)。
然后，融合這些強分類器，即用這些強分類器進行求和運算。于是就形成了 Adaboost人眼觀察視角分類器。這樣，當(dāng)給定待檢圖像I (x，y)后，人眼觀察視角分類器的 判決結(jié)果就是f(I) = f(m, α , ε ) =Σ Ν」=Α* j，設(shè)其值為 i，那么視角區(qū)間 θ 為Δ < = θ <= Δ θ *(i+l)再考慮如何構(gòu)造Ci中的T個弱分類器經(jīng)過前文的簡化，人眼觀察視角參數(shù)矩陣就簡化為A = [r α QfQ^Ae]本發(fā)明把這個參數(shù)矩陣中的每一個參數(shù)對，作為訓(xùn)練樣本。產(chǎn)生Ci中第j個弱分 類器的實質(zhì)是，對于某一個特征塊，求合適的[r α ]的閾值范圍，使得該弱分類器把滿足這 個閾值范圍的樣本判定為其視角落在區(qū)間[ *Δ θ，(i+l)*A θ ]中。如果這個判定與事實 一致，即該樣本事實上的視角也落在區(qū)間θ , ( +1)*Δ θ]中，那么就給“檢對”加一 分，否則就給“檢錯”加一分。只要“檢對”的分?jǐn)?shù)占總分的比率大于50%，那么這個弱分類 器即成立。每個特征都有一個對應(yīng)的弱分類器，其中的正確率最高的那個弱分類器就是最 佳分類器。求Ci中的T個弱分類器的更詳細步驟，與傳統(tǒng)Adaboost算法的步驟相一致，這里 略為說明如下假定視角的最小觀察粒度為Δ θ = 3度，那么在180度視角區(qū)間內(nèi)一共需要產(chǎn)生2Ν = 2*90/ Δ θ個區(qū)域。這些區(qū)域?qū)?yīng)的視角范圍是Di = [ *Δ θ , ( +1)*Δ θ]，其中-N <=i< = N-l0這個區(qū)域上對應(yīng)的強分類器為Ci,又假定Di上分布的訓(xùn)練樣本個數(shù)為NSi, 這樣，總的訓(xùn)練樣本數(shù)為NS = Σ Hi^1A =參數(shù)矩陣的個數(shù)如前定義的特征塊定義為t(n，i) = (η* Δ Θ，(η+1)*Δ θ，i* Δ r，(i+1) * Δ r)，其 中-NC=HS=^1，-i C=IC=I-L假定Τ = 50。那么，訓(xùn)練Ci上的T個弱分類器 的步驟就如圖8所示。以上，僅為本發(fā)明之較佳實施例，意在進一步說明本發(fā)明，而非對其進行限定。凡 根據(jù)上述之文字和附圖所公開的內(nèi)容進行的簡單的替換，都在本專利的權(quán)利保護范圍之 列。
權(quán)利要求
一種人眼觀察視角的測量方法，其特征在于，包括以下步驟1)預(yù)先建立人眼觀察視角模板庫；2)計算第一類參數(shù)，即人眼觀察視角模板庫中的人的雙眼中心的距離；3)計算第二類參數(shù)，即人眼觀察視角模板庫中的人的鼻梁線與雙眼中心的夾角；4)計算第三類參數(shù)，即人眼觀察視角模板庫中的人的鼻梁線與雙眼中心的交點與雙眼中點的偏移；5)構(gòu)造上述人眼觀察各種視角與三類參數(shù)的參數(shù)矩陣；以及6)用Adaboost算法，依照已構(gòu)造的該參數(shù)矩陣，來判斷一幅待檢圖像中的人的視角。
2.如權(quán)利要求1所述的測量方法，其特征在于，還包括以下步驟建立人臉與非人臉模 板庫和人鼻與非人鼻模板庫。
3.如權(quán)利要求2所述的測量方法，其特征在于，還包括以下步驟對該人臉與非人臉像 模板庫、人鼻與非人鼻模板庫、人眼觀察視角模板庫以及待檢圖像進行圖像預(yù)處理、人臉檢 測、人臉區(qū)域初定位、眼球初定位、雙眼中心精確定位、鼻梁區(qū)域初定位以及鼻梁線精確定 位，其中的人臉檢測和人鼻檢測采用Adaboost分類器進行處理。
4.如權(quán)利要求3所述的測量方法，其特征在于，該眼球初定位要依據(jù)該人臉區(qū)域初定 位的結(jié)果，該雙眼中心精確定位要依據(jù)該眼球初定位的結(jié)果，該鼻梁區(qū)域初定位要依據(jù)該 人臉區(qū)域初定位的結(jié)果和該眼球初定位的結(jié)果，而該鼻梁線精確定位要依據(jù)該鼻梁區(qū)域初 定位的結(jié)果。
5.如權(quán)利要求1所述的測量方法，其特征在于，該人眼觀察視角模板庫包括人臉的轉(zhuǎn) 動和人眼的轉(zhuǎn)動信息。
6.如權(quán)利要求1所述的測量方法，其特征在于，該人眼觀察視角模板庫包括拍攝鏡頭 的角度信息。
7.如權(quán)利要求1所述的測量方法，其特征在于，該人眼觀察視角模板庫包括已知的各 種視角下的人臉的圖像。
8.如權(quán)利要求7所述的測量方法，其特征在于，該參數(shù)矩陣中的人眼觀察各種視角的 值是用人眼觀察視角模板庫中的每一幅圖像所對應(yīng)的視角范圍來表示。
9.一種人眼觀察視角的測量裝置，包括攝像頭和處理器，其特征在于，該處理器上能夠 運行相應(yīng)的應(yīng)用程序以配合該攝像頭實現(xiàn)權(quán)利要求1至8任一項所述的測量方法。
10.一種戶外廣告的效果評價的方法，其特征在于，設(shè)置權(quán)利要求9所述的測量裝置， 對被測對象的人眼觀察視角進行判斷，并對該判斷結(jié)果進行統(tǒng)計。
全文摘要
一種人眼觀察視角的測量方法及裝置，包括以下步驟1)預(yù)先建立人眼觀察視角模板庫，其包括人臉的轉(zhuǎn)動、人眼的轉(zhuǎn)動以及拍攝鏡頭的角度信息；2)計算第一類參數(shù)，即人眼觀察視角模板庫中的人的雙眼中心的距離；3)計算第二類參數(shù)，即人眼觀察視角模板庫中的人的鼻梁線與雙眼中心的夾角；4)計算第三類參數(shù)，即人眼觀察視角模板庫中的人的鼻梁線與雙眼中心的交點與雙眼中點的偏移；5)構(gòu)造上述人眼觀察各種視角與三類參數(shù)的參數(shù)矩陣；以及6)用Adaboost算法，依照已構(gòu)造的該參數(shù)矩陣，來判斷一幅待檢圖像中的人的視角?？梢詫崿F(xiàn)較精確地測量人眼觀察視角，以實現(xiàn)收視率調(diào)查和戶外廣告的效果評價等應(yīng)用。
文檔編號G06K9/00GK101840509SQ20101016634
公開日2010年9月22日 申請日期2010年4月30日 優(yōu)先權(quán)日2010年4月30日
發(fā)明者李利民 申請人:深圳華昌視數(shù)字移動電視有限公司