一種基于人臉生物特征的面匹配空間注冊(cè)方法
【專利摘要】本發(fā)明是一種基于人臉生物特征的面匹配空間注冊(cè)方法。針對(duì)人臉表面光滑，紋理單一的特點(diǎn)，搭建了主動(dòng)式結(jié)構(gòu)光立體視覺(jué)系統(tǒng)，進(jìn)行人臉面部點(diǎn)云的獲取。提出并實(shí)現(xiàn)了一種基于人臉生物特征的面部點(diǎn)云粗略配準(zhǔn)方法，在二維圖像空間通過(guò)基于統(tǒng)計(jì)信息的主動(dòng)形狀模型（ASM）方法識(shí)別鼻尖與眼睛；在三維空間通過(guò)對(duì)局部鄰域進(jìn)行主成分分析識(shí)別出對(duì)應(yīng)的鼻尖與眼睛，從而自動(dòng)獲得兩個(gè)點(diǎn)云的初始配準(zhǔn)矩陣。最后基于迭代最近點(diǎn)（ICP）算法，完成點(diǎn)云的精確配準(zhǔn)，實(shí)現(xiàn)空間注冊(cè)。
【專利說(shuō)明】—種基于人臉生物特征的面匹配空間注冊(cè)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)輔助醫(yī)療領(lǐng)域，具體地說(shuō)是一種基于人臉生物特征的面匹配空間注冊(cè)方法，該方法可用于圖像引導(dǎo)神經(jīng)外科手術(shù)導(dǎo)航系統(tǒng)中去，改善醫(yī)生的醫(yī)護(hù)環(huán)境。
【背景技術(shù)】
[0002]隨著計(jì)算機(jī)技術(shù)和醫(yī)學(xué)影像技術(shù)的發(fā)展，圖像引導(dǎo)神經(jīng)外科手術(shù)導(dǎo)航系統(tǒng)(ImageGuided Neurosurgery System, IGNS)得到了越來(lái)越廣泛的應(yīng)用，成為醫(yī)療器械領(lǐng)域的一個(gè)新的研究熱點(diǎn)。神經(jīng)導(dǎo)航系統(tǒng)能夠幫助醫(yī)生快速確定病灶位置，規(guī)劃手術(shù)刀操作路徑，使手術(shù)更加快捷、微創(chuàng)、安全高效，進(jìn)而縮短手術(shù)時(shí)間，降低手術(shù)風(fēng)險(xiǎn)。
[0003]在導(dǎo)航手術(shù)過(guò)程中，患者的實(shí)際體位要和三維模型精確配準(zhǔn)，才能保證在模型中真實(shí)反映出器械與病變的位置關(guān)系。把患者在空間中的實(shí)際位置和三維模型中的虛擬位置進(jìn)行精確配準(zhǔn)的過(guò)程，在導(dǎo)航手術(shù)中稱為注冊(cè)，而注冊(cè)算法和注冊(cè)過(guò)程的精度直接影響著整個(gè)導(dǎo)航系統(tǒng)的精度。基于點(diǎn)匹配的剛體配準(zhǔn)法是目前手術(shù)導(dǎo)航系統(tǒng)臨床應(yīng)用中使用最多的空間配準(zhǔn)法。該方法需要在兩個(gè)空間中分別選取對(duì)應(yīng)的標(biāo)記點(diǎn)(不管是手都還是自動(dòng)的方法)?；邳c(diǎn)匹配的方法目前已經(jīng)可以達(dá)到一個(gè)很高的精度了，但是點(diǎn)匹配法中存在一些固有缺陷，給神經(jīng)導(dǎo)航的臨床應(yīng)用造成不便，需要有人工標(biāo)記物的醫(yī)學(xué)影像圖片，即需要專門(mén)為導(dǎo)航進(jìn)行一次影像掃描，粘貼在頭皮表面的人工標(biāo)記物容易發(fā)生移位，從而引起較大的空間配準(zhǔn)誤差，植入型人工標(biāo)記物需要固定在頭骨上，對(duì)患者帶來(lái)一定傷害，具有侵入性，標(biāo)記點(diǎn)識(shí)別過(guò)程消耗時(shí)間較長(zhǎng)。
[0004]與點(diǎn)匹配相比，面匹配的優(yōu)點(diǎn)是使用病人固有特征進(jìn)行空間配準(zhǔn)，不需要再額外放置人工標(biāo)記物，縮短了術(shù)前準(zhǔn)備時(shí)間，可以直接使用已有的圖像進(jìn)行導(dǎo)航，而不需專門(mén)為導(dǎo)航進(jìn)行影像掃描。在面匹配方面，著名的“頭帽法”是將一個(gè)空間中提取的點(diǎn)為“帽”，另一個(gè)空間中提取的面為“頭”，當(dāng)“頭”與“帽”最佳匹配時(shí)，即完成空間配準(zhǔn)。迭代最近點(diǎn)算法Fast-MICP在開(kāi)始時(shí)需要手動(dòng)指定一些匹配點(diǎn)對(duì)來(lái)初始化ICP (Iterative ClosestPoints，迭代最近點(diǎn))算法，得到一個(gè)初步的轉(zhuǎn)換矩陣。將病人空間點(diǎn)云數(shù)據(jù)映射到2D平面，根據(jù)點(diǎn)到平面的距離生成灰度圖(投影高度圖像)，用Harris角點(diǎn)檢測(cè)算法檢測(cè)到的角點(diǎn)來(lái)代替參與匹配的點(diǎn)云，大大減少了點(diǎn)的數(shù)量，加快了 ICP的收斂速度。該算法雖然速度較快，但精度不是很理想(<3mm)。

【發(fā)明內(nèi)容】

[0005]在本文中，設(shè)計(jì)并實(shí)現(xiàn)了一種基于人臉生物特征的面匹配空間注冊(cè)方法。在分別獲得病人物理空間和圖像引導(dǎo)空間的臉部點(diǎn)云后，在二維圖像空間通過(guò)基于統(tǒng)計(jì)信息的ASM (Active Shape Model,主動(dòng)形狀模型)方法識(shí)別鼻尖與眼睛,在三維空間通過(guò)對(duì)局部鄰域進(jìn)行主成分分析提取面部特征點(diǎn)，對(duì)這些特征點(diǎn)進(jìn)一步聚類識(shí)別出對(duì)應(yīng)的鼻尖與眼睛，從而自動(dòng)獲得兩個(gè)點(diǎn)云的初始配準(zhǔn)矩陣。最后基于ICP完成無(wú)人工標(biāo)記點(diǎn)的空間注冊(cè)?！緦＠綀D】

【附圖說(shuō)明】
[0006]圖1示出本發(fā)明基于人臉生物特征的面匹配空間注冊(cè)方法的主要流程圖；
[0007]圖2示出本發(fā)明隨機(jī)編碼結(jié)構(gòu)光的人頭模型；
[0008]圖3示出本發(fā)明基于基于統(tǒng)計(jì)信息的ASM方法識(shí)別鼻尖與眼睛；
[0009]圖4示出本發(fā)明通過(guò)對(duì)局部鄰域進(jìn)行主成分分析識(shí)別出對(duì)應(yīng)的鼻尖與眼睛；
[0010]圖5示出本發(fā)明粗略配準(zhǔn)和精細(xì)配準(zhǔn)的結(jié)果。
【具體實(shí)施方式】
[0011]如圖1所示，本發(fā)明的基于人臉生物特征的面匹配空間注冊(cè)方法采用如下步驟:
[0012]( I)結(jié)合結(jié)構(gòu)光和雙目立體視覺(jué)的方法獲取病人空間表面點(diǎn)云。一般來(lái)說(shuō)，模式圖中相鄰像素差異越大、對(duì)比越明顯，在左右像對(duì)中尋找匹配點(diǎn)準(zhǔn)確度越高。隨機(jī)編碼就是這樣的一種編碼方式，其基本思想是模式圖每個(gè)位置的信息都是隨機(jī)的，不需要特別設(shè)計(jì)的編碼信息，因此也不需要解碼。由于彩色的結(jié)構(gòu)光模式對(duì)物體本身的顏色和紋理非常敏感，本文選用了二值隨機(jī)編碼方式。在獲得校正的左右圖像后，我們利用SAD方法作為相似性評(píng)價(jià)標(biāo)準(zhǔn)來(lái)計(jì)算左右兩圖中點(diǎn)的對(duì)應(yīng)關(guān)系。同時(shí)為了過(guò)濾掉那些誤匹配點(diǎn)，使重建出的三維點(diǎn)坐標(biāo)準(zhǔn)確，提高空間注冊(cè)精度。使用了兩個(gè)過(guò)濾規(guī)則:1)有效區(qū)域過(guò)濾。對(duì)于一個(gè)表面平滑、連續(xù)的物體，其視差變換也應(yīng)該平滑連續(xù)，相差較小，即具有局部一致性。因此，對(duì)于視差圖內(nèi)的任一像素點(diǎn)，都滿足:
[0013]
【權(quán)利要求】
1.一種基于人臉生物特征的面匹配空間注冊(cè)方法，其特征在于它包括以下步驟: (1)在病人空間中結(jié)合結(jié)構(gòu)光和雙目立體視覺(jué)的方法獲取病人空間表面三維點(diǎn)云； (2)在二維圖像上通過(guò)基于統(tǒng)計(jì)信息的ASM方法識(shí)別鼻尖與眼睛； (3)對(duì)術(shù)前采集的醫(yī)學(xué)影像圖像進(jìn)行表面重建，獲得人頭三維模型，在該三維模型上通過(guò)對(duì)局部鄰域進(jìn)行主成分分析提取面部特征點(diǎn)，對(duì)這些特征點(diǎn)進(jìn)一步聚類識(shí)別出對(duì)應(yīng)的鼻尖與眼睛； (4)利用上述步驟(2)和(3)獲取的鼻尖與眼睛的對(duì)應(yīng)點(diǎn)，計(jì)算人頭模型和三維點(diǎn)云之間的初始變化矩陣，再利用最近點(diǎn)算法(ICP)來(lái)完成人頭三維模型的模型空間和病人空間的點(diǎn)云注冊(cè)。
2.如權(quán)利要求1所述的基于人臉生物特征的面匹配空間注冊(cè)方法，其特征在于:在所述步驟(1)中結(jié)合結(jié)構(gòu)光和雙目立體視覺(jué)的方法來(lái)獲取病人空間表面點(diǎn)云的方法，該方法結(jié)合主動(dòng)式和被動(dòng)式兩種方法，建立主動(dòng)式結(jié)構(gòu)光立體視覺(jué)系統(tǒng)， (1)選用二值隨機(jī)編碼方式； (2)利用SAD方法作為相似性評(píng)價(jià)標(biāo)準(zhǔn)來(lái)計(jì)算左右兩圖中點(diǎn)的對(duì)應(yīng)關(guān)系； (3)采用了有效區(qū)域過(guò)濾和健壯性過(guò)濾，包括: 1)有效區(qū)域過(guò)濾，對(duì)于一個(gè)表面平滑、連續(xù)的物體，其視差變換也應(yīng)該平滑連續(xù)，具有局部一致性；因此，對(duì)于視差圖內(nèi)的任一像素點(diǎn)，都滿足:
3.如權(quán)利要求1所述的基于人臉生物特征的面匹配空間注冊(cè)方法，其特征在于:在所述步驟(2)中通過(guò)基于統(tǒng)計(jì)信息的ASM方法識(shí)別鼻尖與眼睛，具體方法是: 首先利用ASM方法對(duì)雙目相機(jī)采集到的圖片進(jìn)行特征點(diǎn)提??； 其次在獲取特定眼睛和鼻尖點(diǎn)的二維坐標(biāo)后，利用立體視覺(jué)原理，計(jì)算這些特征點(diǎn)的三維坐標(biāo)。
4.如權(quán)利要求1所述的基于人臉生物特征的面匹配空間注冊(cè)方法，其特征在于:在所述的步驟(4)中，使用基于人臉生物特征方法先確定一個(gè)初始矩陣，進(jìn)行粗略配準(zhǔn)，然后再使用ICP算法進(jìn)行精確配準(zhǔn)；模型空間和病人空間的左右眼睛、鼻子的三維坐標(biāo)，計(jì)算出粗略的空間變換矩陣。
5.如權(quán)利要求1所述的基于人臉生物特征的面匹配空間注冊(cè)方法，其特征在于:步驟(3)中，在模型空間使用基于局部鄰域主成分分析識(shí)別出對(duì)應(yīng)的鼻尖與眼睛，具體為:使用基于PCA的方法計(jì)算后，將術(shù)前掃描模型分割為兩部分:第一部分為眼瞼、鼻子、耳朵；剩余部分為第二部分；針對(duì)第一部分，做如下處理: (3.1)對(duì)提取出的特征點(diǎn)進(jìn)行聚類，使這些特征點(diǎn)劃分到3個(gè)類中，這三個(gè)類中心分別在左右耳，前臉處； (3.2)求人頭模型質(zhì)心，
【文檔編號(hào)】G06T7/00GK103927747SQ201410134295
【公開(kāi)日】2014年7月16日 申請(qǐng)日期:2014年4月3日 優(yōu)先權(quán)日:2014年4月3日
【發(fā)明者】沈旭昆, 方小瑞, 胡勇 申請(qǐng)人:北京航空航天大學(xué)