專利名稱：：基于人臉檢測的錯誤閱讀姿勢檢測方法
技術(shù)領(lǐng)域：
：本發(fā)明是圖像處理
技術(shù)領(lǐng)域：
的方法，是一種基于統(tǒng)計模型和跟蹤算法，通過人臉在圖像中的尺度和位置信息，推斷人體閱讀姿勢的計算方法，能夠直接應(yīng)用于近視防治、疲勞警告等領(lǐng)域。與傳統(tǒng)技術(shù)相比，具有方便、簡單的優(yōu)勢。
背景技術(shù)：
：隨著個人計算機的普及，人們?yōu)楣ぷ鳎瑢W(xué)習(xí)或娛樂在計算機屏幕上花越來越多的時間，導(dǎo)致近視、斜視等眼科疾病的快速增加。在計算機前的不正確姿勢包括距離屏幕過近、斜視和長時間凝視屏幕等?，F(xiàn)有的針對人體姿態(tài)的預(yù)防近視系統(tǒng)主要采用以下幾種方式(1)使用紅外傳感器或光敏儀器。這種方式一般只能單方向地測量距離，而且范圍有限，常常受書桌布局的影響，也無法在使用計算機的時候使用。(2)在使用者頭部安裝水平儀。顯然這很容易引起使用者的不適，同時對縱向的距離無法測定。(3)使用支架強行固定使用者。而對于需要預(yù)防近視的主要人群——青少年來說，這同樣也會使他們感到不舒適，而且容易對青少年的身體發(fā)育產(chǎn)生不利影響。同時，上述三種方式都無法對使用時間進行準確的測定。計算機視覺技術(shù)在最近幾年有突飛猛進的進展。在大部分計算機系統(tǒng)中攝像頭已成為標準配件。本發(fā)明所需要的硬件設(shè)備僅僅是一臺個人計算機和一個普通的攝像頭，使用者無需添加任何設(shè)備，大大增強了使用的便利性。
發(fā)明內(nèi)容本發(fā)明目的在于提出一個運行于通用計算機系統(tǒng)的基于人臉檢測的錯誤閱讀姿勢(IRPs)檢測系統(tǒng)，該系統(tǒng)能夠迅速對錯誤姿勢發(fā)出警告。本發(fā)明解決其技術(shù)問題所采用的步驟如下1)人臉檢測用一種結(jié)合結(jié)構(gòu)和皮膚特征的人臉檢測算法獲得魯棒性的檢測結(jié)果，包括正臉、側(cè)臉以及部分遮擋的人臉。2)人臉跟蹤用具有尺度適應(yīng)性的Meanshift算法對檢測到的人臉進行跟蹤。3)測量估計利用勾股定理，在人臉檢測和跟蹤結(jié)果上獲取諸如閱讀距離、視角、閱讀時間等信息。4)錯誤閱讀姿勢檢測用人工神經(jīng)網(wǎng)絡(luò)(ANN—ArtificialNeuronalNetwork)分類器訓(xùn)練使用短暫觀察窗口的錯誤閱讀姿勢模型，利用這些模型檢測出錯誤閱讀姿勢。本發(fā)明有益的效果是首次將視覺技術(shù)應(yīng)用到閱讀姿勢糾正中，提出一種新的從低級視覺線索檢測到高級語義的方法。圖1是本發(fā)明錯誤閱讀姿勢檢測的流程圖。圖2是不同方向和長寬比的人臉模板圖3是人臉屏幕與攝像機的幾何關(guān)系圖圖4是錯誤閱讀姿勢檢測的ANN結(jié)構(gòu)具體實施方式一、下面結(jié)合附圖和實施例對本發(fā)明作進一步描述。l.人臉檢測Harr特征被廣泛用于人臉定位，本發(fā)明利用這種特征結(jié)合Adaboost分類器定位正面人臉。為了彌補上述人臉檢測方法的不完整，還引入一個皮膚區(qū)域分析算法。(1)首先建立一個皮膚高斯混合模型(GMM—GaussianMixtureModel)來分割皮膚區(qū)域，這個模型用公式(1)來描述<formula>formulaseeoriginaldocumentpage6</formula>其中^a,=1，a,.表示每個混合分量的權(quán)重，g,表示第/個高斯模型。(2)用人臉模板從分割結(jié)果中檢測出人臉。首先從灰度平均人臉(有多幅人臉灰度圖象疊加后平均)中建立一個標準的人臉模板，這個模板由兩個眼睛區(qū)域(&,i^)和一個嘴部區(qū)域(&)組成。標準模板在-45°到45。內(nèi)旋轉(zhuǎn)，得到5個方向上的模板。在每個方向上，根據(jù)不同的長寬比例{1.2,U，1.0，0.9，0.8，0.7，0.6}得到7個模板。這樣，我們就有了35個臉部模板，如圖2所示。分割皮膚區(qū)域前先用皮膚比例過濾，皮膚比例小于50%的區(qū)域都不予考慮。皮膚與非皮膚區(qū)域的幾何匹配結(jié)果2.人臉跟蹤人臉檢測算法在人臉與屏幕距離適中時很有效，但當距離很近時就會失效。這時，應(yīng)該采用人臉跟蹤算法定位人臉區(qū)域。首先計算HSV(hue,saturation,value)空間的色調(diào)值(H)，建立32位直方圖來表示人臉區(qū)域，然后利用Meanshift算法在顯示空間找到跟蹤對象。具體步驟如下1)初始化所檢測到的人臉位置為X。-(x。,;0，并用^"，>;(^。+^^。+/0來表示人臉區(qū)域。其中，w和A分別是人臉的寬度和長度。2)在色調(diào)彩色空間提取直方圖&(X?！?，其中"l,2，…,n表示目標，計算它與人臉模板差異的巴氏距離mjn(pLa(X。),〗])，其中《表示跟蹤過程中的可能位置的直方圖，X為所檢測到的人臉區(qū)域。3)用標準Meanshift優(yōu)化算法，找到滿足mjn(/[p(y。)^])的位置義(;c,力。4)如果Meanshift的最后兩次迭代的最終誤差比閾值5.0個像素大，則跟蹤失敗。5)假設(shè)人臉的改變總是較大的，為了跟蹤到人臉位置/(x,y,;c+w，;;+;0，生成一個稍大的人臉區(qū)域乂(U，;;-夂;c+w+A少+;2+c5)。如果人臉改變比,小，則由步驟6)進行修改。6)利用皮膚模型計算皮膚像素，歸納出皮膚圖。重新分割皮膚像素，得到它們的邊界框(i,;c+W,>/W)，找到尺度改變。3.錯誤閱讀姿勢檢測一般離攝像機越近，人臉就會越大。通過所檢測到的人臉寬度，可以用線性函數(shù)估計人臉與攝像機的距離(2)其中，^是人臉與攝像機的距離，W是標準的人臉與攝像機距離，/」第f幀人臉區(qū)域的寬度，/WQ是當前用戶在標準人臉與攝像機距離下的人臉區(qū)域?qū)挾?。人臉到屏幕距離(閱讀距離)可以用公式(3)計算得到"',')2—(A2)"2,(3)其中，？是從人臉中心到攝像機的投影距離。設(shè)c'是人臉中心到屏幕中心的投影距離。"和c;分別是圖像中人臉中心到攝像機的距離和人臉中心到屏幕中心的距離，如附圖3，則通過公式(4)可以計算它們的關(guān)系";=c'/c;=c0/C/0，(4)由c'和z/可以計算出視角WW=arctan(c'/w')。(5)4.錯誤閱讀姿勢的神經(jīng)網(wǎng)絡(luò)(ANN)模型根據(jù)計算公式，可以得到錯誤閱讀姿勢的ANN模型。本系統(tǒng)中使用3層ANN學(xué)習(xí)方法訓(xùn)練檢測模型。每個視頻幀可以表示為一個三維向量^("'刀'，/)，該向量的值與標準向量疋(t/",r)的比值在范圍內(nèi)。每一個觀察幀中都計算一個向量形成ANN的輸入節(jié)點，因此ANN需要個觀察向量構(gòu)造一個3N維的特征。如圖4所示，本系統(tǒng)的ANN可以用100-200個樣本訓(xùn)練，訓(xùn)練中，采用Sigmod函數(shù)作為網(wǎng)絡(luò)層間的轉(zhuǎn)換函數(shù)。其中，判別函數(shù)可用公式(6)表示。<formula>formulaseeoriginaldocumentpage8</formula>其中，1表示神經(jīng)網(wǎng)絡(luò)中/2結(jié)點到下一層的/結(jié)點之間的全值，、".,含義類似。二、性能說明定義標準閱讀距離f/為0.75m，視角6為兀/2，r持續(xù)時間為1小時(視頻幀數(shù)約為90,000幀)。錯誤閱讀姿勢檢測中，閱讀距離、視角、時間的檢測誤差分別為12.4%,18.9%，2.5%。我們對10人以上的超過300種錯誤閱讀姿勢進行了檢測，測試環(huán)境包括不同光照條件、復(fù)雜背景、多種閱讀姿勢等。結(jié)果如下表所示(SRD:shortreadingdistance;BVG:biasedviewangle;LRT:longreadingtime)。表-i<table>tableseeoriginaldocumentpage8</column></row><table><table>tableseeoriginaldocumentpage9</column></row><table>平均識別率為87%，誤報率(ERR—ErrorReportRate)是3.6°/。。在實際應(yīng)用中，這個指標已經(jīng)足夠高。由此說明了此方法在檢測中的可行性和優(yōu)勢。權(quán)利要求1.一種基于人臉檢測的閱讀姿勢檢測方法。該方法包括如下步驟步驟1用一種結(jié)合結(jié)構(gòu)和皮膚特征的人臉檢測算法獲得魯棒性的檢測結(jié)果，包括正臉、側(cè)臉以及部分遮擋的人臉圖像。步驟2用具有尺度適應(yīng)性的Meanshift算法對檢測到的人臉進行跟蹤。步驟3利用勾股定理，在之前獲得的人臉檢測和跟蹤結(jié)果上測量獲得諸如閱讀距離、視角、閱讀時間等信息。步驟4利用已有的錯誤閱讀姿勢模型，從實時數(shù)據(jù)中檢測出是否有錯誤的閱讀姿勢。2.根據(jù)權(quán)利要求1所述的基于人臉檢測的閱讀姿勢糾正方法，本專利的特征在于步驟1中人臉檢測采用的Harr特征與皮膚模型相結(jié)合的方法。3.根據(jù)權(quán)利要求1所述一種基于人臉檢測的閱讀姿勢糾正方法，其特征在于，用于皮膚區(qū)域特征匹配的人臉模板有兩個眼睛區(qū)域和一個嘴部區(qū)域組成。其標準模板在-45度到45度內(nèi)旋轉(zhuǎn)，得到5個方向上的模板。在每個方向上，根據(jù)不同的長寬比例{1.2，1.1，1.0，0.9，0.8，0.7，0.6}得到7個模板，共計35個模板。4.根據(jù)權(quán)利要求1所述一種基于人臉檢測的閱讀姿勢糾正方法，其特征在于，人臉跟蹤采用的Meanshift算法是基于顏色直方圖來定位人臉區(qū)域的。其步驟是1)初始化檢測到的人臉位置為Z。=0c。,y。)，這里人臉區(qū)域為F(W。,X。+M^。+/2)，這里，w和h分別是人臉的寬度和長度。2)在色調(diào)彩色空間提取直方圖{/74(義。)}6=1,2,…,w表示目標，計算它與人臉模板差異的巴氏距離，表示為公式(1)<formula>formulaseeoriginaldocumentpage3</formula>3)用標準Meanshift優(yōu)化算法，找到滿足mjn(/^(Z。)，印的位置義0c,力。4)如果Meanshift的最后兩次迭代的最終誤差比閾值5.0個像素大，則跟蹤失敗。5)假設(shè)人臉的改變總是較大的，為了跟蹤到人臉位置/Ocj,x+w，y+A)，生成一個稍大的人臉區(qū)域乂(x-&少-5，;c+w+&y+"。。如果人臉改變比/小，則有步驟6)進行修改。6)利用皮膚模型計算皮膚像素，歸納出皮膚圖。重新分割皮膚像素，得到它們的邊界框Oc,,;c'+w',乂+A')，找到尺度改變。5.根據(jù)權(quán)利要求1所述一種基于人臉檢測的閱讀姿勢糾正方法，其特征在于，在每個視頻幀提取3維向量^w'^，/)，作為訓(xùn)練錯誤閱讀姿勢模型的3層人工神經(jīng)網(wǎng)絡(luò)的一個入口，也即是ANN需要一個3N維的特征w。6.根據(jù)權(quán)利要求1所述一種基于人臉檢測的閱讀姿勢糾正方法，其特征在于，利用ANN對人臉模板識別時相鄰層之間的轉(zhuǎn)移函數(shù)2采用Sigmod函數(shù)。判別函數(shù)描述為<formula>formulaseeoriginaldocumentpage3</formula>其中，、表示神經(jīng)網(wǎng)絡(luò)中第/z個結(jié)點到下一層的j'個結(jié)點之間的全值，,,.含義類似。全文摘要本發(fā)明是一種基于人臉定位的錯誤閱讀姿勢檢測識別方法。該方法首先采用結(jié)合基于結(jié)構(gòu)和皮膚的人臉檢測算法，獲得正面、非正面以及部分遮擋的人臉檢測結(jié)果，用多尺度的Meanshift算法對檢測到的人臉進行跟蹤；然后，基于勾股定理在人臉檢測和跟蹤的結(jié)果上估計測量值，如閱讀距離、視角和閱讀時間等；最后，用由人工神經(jīng)網(wǎng)絡(luò)分類器訓(xùn)練的錯誤閱讀姿勢模型，利用時間觀察窗來進行識別。本發(fā)明使用了一種便利的錯誤閱讀姿勢檢測方法，算法簡單，節(jié)約資源，魯棒性好。文檔編號G06K9/00GK101539989SQ20081008511公開日2009年9月23日申請日期2008年3月20日優(yōu)先權(quán)日2008年3月20日發(fā)明者葉齊祥,焦建彬,焱范申請人:中國科學(xué)院研究生院