本發(fā)明屬于圖像處理
技術(shù)領(lǐng)域：
，特別涉及一種人臉點(diǎn)云特征點(diǎn)定位方法，可用于三維人臉識(shí)別。
背景技術(shù)：
：點(diǎn)云數(shù)據(jù)是對(duì)真實(shí)物體表面進(jìn)行掃描采樣獲得的離散數(shù)據(jù)，曲率是曲面重要的局部幾何屬性，所以，曲率能夠用于三維人臉點(diǎn)云特征點(diǎn)的分析與識(shí)別。近年來(lái)，國(guó)內(nèi)外學(xué)者在三維點(diǎn)云曲率方面已經(jīng)提出了多種方法。李謙總結(jié)了國(guó)內(nèi)外有關(guān)點(diǎn)云數(shù)據(jù)的研究現(xiàn)狀，重點(diǎn)研究了基于曲率特征信息的點(diǎn)云數(shù)據(jù)處理方法。蔣建國(guó)通過(guò)局部曲面曲率的計(jì)算，并結(jié)合灰度特征信息，定位了鼻尖點(diǎn)、鞍點(diǎn)和左右瞳孔點(diǎn)。Ganguly運(yùn)用主曲率、高斯曲率、最大和最小曲率等在曲面形狀描述的優(yōu)越性，將曲率用于三維人臉識(shí)別。在特征點(diǎn)定位方面，王蜜宮通過(guò)改進(jìn)局部形狀圖的(LocalShapeMap)的統(tǒng)計(jì)模型，實(shí)現(xiàn)鼻尖點(diǎn)和內(nèi)眼角點(diǎn)的精確定位。王晉疆運(yùn)用一種3D局部曲面形狀的描述子——點(diǎn)特征(PointSignature)，實(shí)現(xiàn)點(diǎn)云數(shù)據(jù)的特征點(diǎn)提取?？娪纻セ谌S模型表面頂點(diǎn)局部鄰域旋轉(zhuǎn)圖像的分析，提出一種三維形狀表面局部相似性的度量方法。通過(guò)對(duì)已公開(kāi)算法的分析比較，本文提出了一種基于SpinImage的人臉點(diǎn)云特征定位的方法。該方法實(shí)現(xiàn)了任意表情和姿態(tài)下的三維人臉點(diǎn)云鼻尖點(diǎn)和左右內(nèi)眼角點(diǎn)的定位。技術(shù)實(shí)現(xiàn)要素：旋轉(zhuǎn)圖像的表示方法，是把三維物體表面上基準(zhǔn)有向點(diǎn)與其他有向點(diǎn)的幾何位置關(guān)系轉(zhuǎn)化為一幅二維圖像，便于表征物體的特征。旋轉(zhuǎn)圖像法通過(guò)支撐距離和支撐角度來(lái)控制全局覆蓋點(diǎn)的數(shù)量來(lái)描述一定區(qū)域內(nèi)的曲面形狀，而且減少了雜亂和自遮擋對(duì)圖像的影響，已被證明是三維表面識(shí)別的一個(gè)精確方法，但要計(jì)算所有點(diǎn)的旋轉(zhuǎn)圖像，運(yùn)算量大、消耗時(shí)間長(zhǎng)。受此啟發(fā)，本文利用旋轉(zhuǎn)圖像來(lái)實(shí)現(xiàn)特征點(diǎn)的精確定位，為了減少計(jì)算代價(jià)，在計(jì)算旋轉(zhuǎn)圖像之前，先通過(guò)HK(平均曲率和高斯曲率)曲面形狀描述方法對(duì)點(diǎn)云的局部形狀進(jìn)行分類(lèi)，得到特征點(diǎn)候選區(qū)域。據(jù)先驗(yàn)知識(shí)，在候選區(qū)域中手工標(biāo)注三個(gè)特征點(diǎn)(鼻尖點(diǎn)和左右內(nèi)眼角點(diǎn))，然后把這三個(gè)特征點(diǎn)形成的旋轉(zhuǎn)圖像作為本文的特征點(diǎn)模板。最后，通過(guò)其他點(diǎn)云候選特征點(diǎn)的旋轉(zhuǎn)圖像和特征點(diǎn)模板進(jìn)行相似性比較，從而實(shí)現(xiàn)人臉點(diǎn)云的鼻尖點(diǎn)和左右內(nèi)眼角點(diǎn)定位。本發(fā)明的目的通過(guò)如下技術(shù)方案實(shí)現(xiàn)：S1：由于人臉點(diǎn)云數(shù)據(jù)在采集的過(guò)程中不可避免的包含較多的噪聲點(diǎn)，從而會(huì)影響到人臉點(diǎn)云特征點(diǎn)定位效果，因此采用雙邊濾波的噪聲濾波的預(yù)處理方法，進(jìn)行點(diǎn)云數(shù)據(jù)的預(yù)處理，計(jì)算公式為：V′←V+d·n其中V為點(diǎn)云中的任意一個(gè)頂點(diǎn)，d可以稱(chēng)作雙邊濾波權(quán)重因子，n為當(dāng)前頂點(diǎn)V的法向方向。S2:通過(guò)HK(平均曲率和高斯曲率)這一曲面形狀描述方法，對(duì)預(yù)處理后的點(diǎn)云數(shù)據(jù)劃分出人臉特征點(diǎn)候選區(qū)域。HK的計(jì)算公式為：Ix，Iy是沿著x和y方向的一階偏導(dǎo)，Ixy，Ixx和Iyy是對(duì)應(yīng)的二階偏導(dǎo)。通過(guò)平均曲率和高斯曲率的正負(fù)號(hào)來(lái)進(jìn)行點(diǎn)類(lèi)型的分類(lèi)。S3:對(duì)特征點(diǎn)候選區(qū)點(diǎn)生成旋轉(zhuǎn)圖像(SpinImage)。旋轉(zhuǎn)圖像是一種三維物體表面的全局配準(zhǔn)技術(shù)，取三維人臉點(diǎn)云模型上任一點(diǎn)，計(jì)算該點(diǎn)的法向量得到切平面，然后將其余所有點(diǎn)向該點(diǎn)的切平面投影，形成的二維直方圖則為該點(diǎn)的旋轉(zhuǎn)圖像。旋轉(zhuǎn)圖像生成的過(guò)程決定了其具有三維曲面全面的幾何表征性，計(jì)算公式為：SO:R3→R2S4:用線性相關(guān)系數(shù)R來(lái)表示事先手工標(biāo)記模板的鼻尖點(diǎn)和左右內(nèi)眼角點(diǎn)的旋轉(zhuǎn)圖像和特征點(diǎn)形成的旋轉(zhuǎn)圖像相似程度，從而實(shí)現(xiàn)任意姿態(tài)下的鼻尖點(diǎn)和左右內(nèi)眼角點(diǎn)的定位。由于線性相關(guān)系數(shù)是利用像素?cái)?shù)量進(jìn)行計(jì)算的，旋轉(zhuǎn)圖像重疊的數(shù)量將影響相關(guān)系數(shù)，R的取值范圍(-1，1)，其中，當(dāng)R的值越大，越接近1，這兩個(gè)旋轉(zhuǎn)圖像越相似，越接近-1，說(shuō)明這兩個(gè)旋轉(zhuǎn)圖像不相似，本文取R的閾值為0.9。計(jì)算公式為：其中，P和Q是兩個(gè)旋轉(zhuǎn)圖像，N為兩個(gè)旋轉(zhuǎn)圖像重疊像素的數(shù)量，p和q為旋轉(zhuǎn)圖像每個(gè)像素的數(shù)值。附圖說(shuō)明圖1表示人臉不同點(diǎn)處的旋轉(zhuǎn)圖像示例，從上到下依次是：額頭點(diǎn)，鼻尖點(diǎn)，臉頰點(diǎn)和下巴點(diǎn)。圖2表示對(duì)人臉點(diǎn)云通過(guò)HK生成的特征點(diǎn)候選區(qū)(圖中黑色部分)。其中A、B分別為左右眼角處橢圓凹形點(diǎn)區(qū)域，C是鼻尖處橢圓形凸形點(diǎn)區(qū)域。(a)和(b)是根據(jù)HK對(duì)人臉點(diǎn)云分類(lèi)的效果圖，(c)是根據(jù)先驗(yàn)知識(shí)標(biāo)記的特征點(diǎn)模板。圖3表示不同人臉點(diǎn)云形成旋轉(zhuǎn)圖像的比較。左右兩個(gè)人臉點(diǎn)云上兩個(gè)點(diǎn)是左內(nèi)眼角點(diǎn)和鼻尖點(diǎn)，左人臉點(diǎn)云最下方的點(diǎn)為左臉頰一點(diǎn)，右人臉點(diǎn)云最下方的點(diǎn)為人中一點(diǎn)。圖4表示旋轉(zhuǎn)圖像的相似度比較。A、B為不同人臉點(diǎn)云的鼻尖點(diǎn)所生成的旋轉(zhuǎn)圖像，C為人中一點(diǎn)所生成的旋轉(zhuǎn)圖像，然后比較A、B和A、C旋轉(zhuǎn)圖像的相似性，其中A、B的相似度為R＝0.914，A、C的相似度為R＝0.167。圖5展示了不同姿態(tài)和表情的部分定位結(jié)果。圖6旋轉(zhuǎn)圖像的參數(shù)。具體實(shí)施方式實(shí)驗(yàn)環(huán)境Intel(R)Core(TM)i5CPU主頻2.67GHz，內(nèi)存為8.0GB。Win8操作系統(tǒng)。本文實(shí)驗(yàn)所用的數(shù)據(jù)庫(kù)是A.B.Moreno建立的GavabDB3D人臉數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)包含549個(gè)三維面部表面圖像，共有61個(gè)人(45位男性和16位女性)，每個(gè)人有9張不同的圖像，他們中的大多數(shù)年齡在18到40歲之間。此外，人臉姿態(tài)和面部表情都是有規(guī)則的變化，其中包括2張無(wú)表情正臉和4張無(wú)表情轉(zhuǎn)動(dòng)圖像，以及3張有突出變化表情的正面人臉圖像。每個(gè)圖像數(shù)據(jù)內(nèi)容包括點(diǎn)的三維坐標(biāo)和連接關(guān)系，本文提取每個(gè)圖像數(shù)據(jù)中的三維坐標(biāo)來(lái)當(dāng)作實(shí)驗(yàn)的點(diǎn)云庫(kù)。仿真軟件MATLAB2015a。本文選擇了兩組點(diǎn)云數(shù)據(jù)進(jìn)行原旋轉(zhuǎn)圖像算法和本文提出的只對(duì)候選區(qū)進(jìn)行旋轉(zhuǎn)圖像計(jì)算的運(yùn)行時(shí)間的比較。在幾乎相同準(zhǔn)確率的條件下，原算法花費(fèi)時(shí)間較長(zhǎng)，至少需要一個(gè)小時(shí)，而本文的方法大大縮短了運(yùn)行時(shí)間。實(shí)驗(yàn)內(nèi)容本發(fā)明實(shí)驗(yàn)所用的數(shù)據(jù)庫(kù)是A.B.Moreno建立的GavabDB3D人臉數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)包含549個(gè)三維面部表面圖像，共有61個(gè)人(45位男性和16位女性)，每個(gè)人有9張不同的圖像，他們中的大多數(shù)年齡在18到40歲之間。此外，人臉姿態(tài)和面部表情都是有規(guī)則的變化，其中包括2張無(wú)表情正臉和4張無(wú)表情轉(zhuǎn)動(dòng)圖像，以及3張有突出變化表情的正面人臉圖像。每個(gè)圖像數(shù)據(jù)內(nèi)容包括點(diǎn)的三維坐標(biāo)和連接關(guān)系，本文提取每個(gè)圖像數(shù)據(jù)中的三維坐標(biāo)來(lái)當(dāng)作實(shí)驗(yàn)的點(diǎn)云庫(kù)。由于人臉點(diǎn)云數(shù)據(jù)在采集的過(guò)程中不可避免的包含較多的噪聲點(diǎn)，從而會(huì)影響到人臉點(diǎn)云特征點(diǎn)定位效果，因此本文尋求一種魯棒的預(yù)處理方法，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理之后再進(jìn)行特征點(diǎn)的定位。本發(fā)明的具體步驟為：S1：首先對(duì)數(shù)據(jù)庫(kù)的人臉點(diǎn)云數(shù)據(jù)采用雙邊濾波的噪聲濾波方法，因?yàn)殡p邊濾波的原理是某鄰點(diǎn)在點(diǎn)云去噪過(guò)程中所占的權(quán)重大小不是由單個(gè)因素左右的，而是由它到中心點(diǎn)的空間距離大小和它與中心點(diǎn)深度上的相似度共同決定的，所謂空間中的鄰點(diǎn)與中心點(diǎn)深度上的相似度，即指鄰點(diǎn)與中心點(diǎn)的空間距離向量投影到中心點(diǎn)法向上的距離大小，這種算法不需要詳細(xì)的拓?fù)湫畔?，而且?jì)算簡(jiǎn)單，運(yùn)算速度快。定義如下：V′←V+d·n其中V為點(diǎn)云中的任意一個(gè)頂點(diǎn)，d稱(chēng)作雙邊濾波權(quán)重因子，n為當(dāng)前頂點(diǎn)V的法向方向。雙邊濾波過(guò)程的關(guān)鍵是求出濾波權(quán)重因子，使得點(diǎn)云模型上的頂點(diǎn)沿著法向方向移動(dòng)，并通過(guò)這種方式來(lái)光順光噪點(diǎn)。點(diǎn)云模型的雙邊濾波權(quán)重因子d的定義如下：其中，N(v)表示頂點(diǎn)V的所有鄰域點(diǎn)的集合，||v-pi||為當(dāng)前鄰點(diǎn)到中心點(diǎn)v的距離，<n,v-pi為當(dāng)前鄰點(diǎn)和中心點(diǎn)在深度上的相似度，也就是當(dāng)前鄰點(diǎn)與中心點(diǎn)之間的距離在中心點(diǎn)法向n上的投影。S2：然后通過(guò)HK(平均曲率和高斯曲率)這一曲面形狀描述方法，對(duì)預(yù)處理后的點(diǎn)云數(shù)據(jù)劃分出人臉特征點(diǎn)候選區(qū)。其中兩個(gè)主曲率的平均值是曲面的平均曲率H，曲面的兩個(gè)主曲率之積是曲面的高斯曲率K，HK的計(jì)算公式如下：Ix，Iy是沿著x和y方向的一階偏導(dǎo)，Ixy，Ixx和Iyy是對(duì)應(yīng)的二階偏導(dǎo)。通過(guò)平均曲率和高斯曲率的正負(fù)號(hào)來(lái)進(jìn)行點(diǎn)類(lèi)型的分類(lèi)。下表給出了H和K的9種組合類(lèi)型。HK曲面類(lèi)型幾何描述>0>0峰點(diǎn)在所有方向局部為凸>0＝0不存在>0<0阱點(diǎn)在所有方向局部為凹＝0>0脊點(diǎn)局部為凸，在一個(gè)方向?yàn)槠剑?＝0平面平面＝0<0谷點(diǎn)局部為凹，在一個(gè)方向?yàn)槠?lt;0>0鞍形脊點(diǎn)大部分局部為凸，小部分為凹<0＝0極小曲面凹凸分布各半<0<0鞍形谷點(diǎn)大部分局部為凹，小部分為凸HK對(duì)人臉點(diǎn)云進(jìn)行分類(lèi)，得到特征點(diǎn)的候選區(qū)域。根據(jù)鼻尖點(diǎn)和內(nèi)眼角點(diǎn)在點(diǎn)云曲面中凹凸性的先驗(yàn)知識(shí)，在特征點(diǎn)候選區(qū)中標(biāo)記出鼻尖點(diǎn)和左右內(nèi)眼角點(diǎn)來(lái)作為本文特征點(diǎn)的模板，如圖2中的(c)所示。S3：對(duì)特征點(diǎn)候選區(qū)的點(diǎn)和特征點(diǎn)的模板生成旋轉(zhuǎn)圖像(SpinImage)。旋轉(zhuǎn)圖像是一種三維物體表面的全局配準(zhǔn)技術(shù)，取三維人臉點(diǎn)云模型上任一點(diǎn)，計(jì)算該點(diǎn)的法向量得到切平面，然后將其余所有點(diǎn)向該點(diǎn)的切平面投影，形成的二維直方圖則為該點(diǎn)的旋轉(zhuǎn)圖像。旋轉(zhuǎn)圖像生成的過(guò)程決定了其具有三維曲面全面的幾何表征性，計(jì)算公式為：SO:R3→R2給定一個(gè)三維曲面O，p是曲面O上的一有向點(diǎn)，n為p點(diǎn)所對(duì)應(yīng)的法線。P是垂直法線n且過(guò)p點(diǎn)的切平面，直線L是經(jīng)過(guò)p點(diǎn)并平行于法線n。而其他點(diǎn)x旋轉(zhuǎn)映射坐標(biāo)為：p，x兩點(diǎn)處法向量n之間的距離α，和點(diǎn)x與切平面的有向距離β，如圖6所示，這樣，三維數(shù)據(jù)投影到由(p，n)確定的二維坐標(biāo)系下的映射函數(shù)表達(dá)式為SO，選定有向點(diǎn)p以后，三維曲面上的任意一點(diǎn)x與p的關(guān)系通過(guò)(α，β)來(lái)表達(dá)，旋轉(zhuǎn)圖像就是該有向點(diǎn)鄰域的(α，β)坐標(biāo)的二維圖像。如圖1所示，人臉點(diǎn)云不同位置生成不同的旋轉(zhuǎn)圖像。S4：用線性相關(guān)系數(shù)R來(lái)表示事先手工標(biāo)記模板的鼻尖點(diǎn)和左右內(nèi)眼角點(diǎn)的旋轉(zhuǎn)圖像和特征點(diǎn)形成的旋轉(zhuǎn)圖像相似程度，從而實(shí)現(xiàn)任意姿態(tài)下的鼻尖點(diǎn)和左右內(nèi)眼角點(diǎn)的定位。我們用線性相關(guān)系數(shù)R來(lái)表示兩個(gè)旋轉(zhuǎn)圖像的相似程度，由于線性相關(guān)系數(shù)是利用像素?cái)?shù)量進(jìn)行計(jì)算的，旋轉(zhuǎn)圖像重疊的數(shù)量將影響相關(guān)系數(shù)。如下公式中，R表示為線性相關(guān)系數(shù)，兩個(gè)旋轉(zhuǎn)圖像P和Q，N為兩個(gè)旋轉(zhuǎn)圖像重疊像素的數(shù)量，p和q為旋轉(zhuǎn)圖像每個(gè)像素的數(shù)值。R的取值范圍(-1，1)，其中，當(dāng)R的值越大，越接近1，這兩個(gè)旋轉(zhuǎn)圖像越相似，越接近-1，說(shuō)明這兩個(gè)旋轉(zhuǎn)圖像不相似，本文取R的閾值為0.9。計(jì)算公式為：表2是本文方法與Ganguly和王蜜宮兩種方法精確率的比較結(jié)果。Ganguly是根據(jù)深度圖像中的曲率特征進(jìn)行特征點(diǎn)的提取，通過(guò)平均曲率、最大曲率組合和高斯曲率、平均曲率組合比較識(shí)別結(jié)果，但僅通過(guò)曲率信息進(jìn)行特征的提取，算法的魯棒性易受影響。王蜜宮是基于局部幾何信息，所以受到較小的表情和姿態(tài)變化影響。此外，由于不同人的鼻子的相似性，所以在本文數(shù)據(jù)庫(kù)中旋轉(zhuǎn)角度較小的情況下，本文和王蜜宮的方法對(duì)鼻尖點(diǎn)幾乎都能完全精確定位。當(dāng)人臉點(diǎn)云旋轉(zhuǎn)接近90°時(shí)，由于旋轉(zhuǎn)角度太大，鼻子、內(nèi)眼角的描述區(qū)域的缺失，三種方法的精確率有所下降，從而導(dǎo)致特征點(diǎn)的定位誤差，由于王蜜宮是基于點(diǎn)的局部形狀信息進(jìn)行特征點(diǎn)定位，而本文是基于旋轉(zhuǎn)圖像的相似度比較來(lái)進(jìn)行特征點(diǎn)提取的，所以Ganguly和王蜜宮兩種方法受到了更大的影響。由表2實(shí)驗(yàn)結(jié)果得知，在該數(shù)據(jù)庫(kù)下，本文的方法要優(yōu)越于另外兩種方法。表2三種算法的比較數(shù)據(jù)類(lèi)型本文的精確率王蜜宮的精確率Ganguly的精確率正面變化表情95.37％81.25％69.95％輕微旋轉(zhuǎn)90.18％74.91％47.54％接近90°85.51％63.36％18.03％以上操作即為整個(gè)三維人臉特征點(diǎn)定位的全過(guò)程。當(dāng)前第1頁(yè)1 2 3