本發(fā)明涉及雙目立體視覺(jué)技術(shù)領(lǐng)域，尤其涉及一種基于雙目立體視覺(jué)的人臉三維重建方法。

背景技術(shù)：

人臉的三維結(jié)構(gòu)信息廣泛的應(yīng)用在人臉圖像處理中，例如人臉識(shí)別、人臉跟蹤、人臉對(duì)齊等方面。在過(guò)去幾年，國(guó)內(nèi)外研究者提出了許多人臉三維重建的方法，一類方法是基于硬件設(shè)備進(jìn)行三維人臉結(jié)構(gòu)的采集，如使用三維激光掃描儀、結(jié)構(gòu)光掃描儀等。這類方法能夠獲得精度較高的人臉三維結(jié)構(gòu)數(shù)據(jù)，但是需要使用價(jià)格昂貴的硬件設(shè)備，使得此方法具有造價(jià)高、不靈活、復(fù)雜度高等諸多限制，并不適合應(yīng)用于普通場(chǎng)合。另一類方法是基于視頻或者基于多角度照片的三維人臉重建方法，這類方法成本低，使用靈活，能夠應(yīng)用在日常生活中。

基于雙目立體視覺(jué)的人臉三維重建屬于第二類方法中的一種，如何使用雙目立體圖像來(lái)重建人臉的三維結(jié)構(gòu)仍然是一個(gè)有挑戰(zhàn)的問(wèn)題，這種方法只使用一對(duì)圖像，它們來(lái)自雙目攝像頭的左攝像頭和右攝像頭，從而對(duì)人臉的三維信息進(jìn)行恢復(fù)。目前存在很多雙目匹配的方法，包含全局立體匹配算法和局部立體匹配算法，如BM算法、SGM算法、Meshstereo算法等。但是人臉區(qū)域的低紋理問(wèn)題是人臉三維重建主要需要解決的問(wèn)題。因此，提出了專門針對(duì)人臉結(jié)構(gòu)的雙目立體匹配方法，如基于人臉先驗(yàn)的塊匹配方法、基于種子點(diǎn)增長(zhǎng)法等進(jìn)行三維人臉結(jié)構(gòu)的恢復(fù)，這類方法采用高分辨率(1380是人臉區(qū)域的的攝像頭采集設(shè)備，獲得較高準(zhǔn)確的結(jié)果，或者采取普通分辨率(640采集設(shè)備，的攝像頭，但是獲得的人臉精度比較差。由于人臉是曲面結(jié)構(gòu)，而基于視差平面的立體匹配算法針對(duì)曲面結(jié)構(gòu)的能夠進(jìn)行很好的恢復(fù)。結(jié)合人臉初始結(jié)構(gòu)視差，通過(guò)立體匹配算法獲取人臉的三維結(jié)構(gòu)。

技術(shù)實(shí)現(xiàn)要素：

鑒于上述技術(shù)問(wèn)題，本發(fā)明提供了一種基于雙目立體視覺(jué)的人臉三維重建方法。

根據(jù)本發(fā)明的一個(gè)方面，提供了一種基于雙目立體視覺(jué)的人臉三維重建方法

該雙目立體視覺(jué)的人臉三維重建方法包括：

步驟A，構(gòu)建雙目立體視覺(jué)系統(tǒng)，其中，所述雙目立體視覺(jué)系統(tǒng)包括左攝像裝置和右攝像裝置；

步驟B，利用所述雙目立體視覺(jué)系統(tǒng)采集人臉圖像，由左攝像裝置得到左圖像，由右攝像裝置得到右圖像；對(duì)左圖像和右圖像進(jìn)行立體校正；檢測(cè)左圖像和右圖像中的人臉區(qū)域；

步驟C，對(duì)于左圖像和右圖像中的人臉區(qū)域，進(jìn)行人臉關(guān)鍵點(diǎn)的定位和匹配；

步驟D，利用匹配的人臉關(guān)鍵點(diǎn)進(jìn)行臉部稠密視差初始化，得到初始化視差；

步驟E，通過(guò)立體匹配算法平滑初始化視差；以及

步驟F，結(jié)合平滑后的初始化視差進(jìn)行人臉三維重建。

優(yōu)選的，本發(fā)明雙目立體視覺(jué)的人臉三維重建方法中，左攝像裝置和右攝像裝置為相同型號(hào)的相機(jī)或攝像頭：

步驟A包括：

子步驟A1，對(duì)左攝像裝置和右攝像裝置進(jìn)行標(biāo)定，得到兩者的內(nèi)參數(shù)，畸變參數(shù)和對(duì)應(yīng)三維點(diǎn)的外參數(shù)；基于左右攝像裝置對(duì)應(yīng)三維點(diǎn)的外參數(shù)，得到雙目立體視覺(jué)系統(tǒng)的旋轉(zhuǎn)矩陣R、平移矩陣T；

子步驟A2，基于左攝像裝置的內(nèi)參數(shù)和畸變參數(shù)、右攝像裝置的內(nèi)參數(shù)和畸變參數(shù)，以及求取的雙目立體視覺(jué)系統(tǒng)的旋轉(zhuǎn)矩陣R和平移矩陣T，得到左校正矩陣和右校正矩陣；

其中，左校正矩陣用于對(duì)左圖像進(jìn)行立體校正，右校正矩陣用于對(duì)右圖像進(jìn)行立體校正，經(jīng)過(guò)左校正矩陣處理后的左圖像中的點(diǎn)與經(jīng)過(guò)右校正矩陣處理后的右圖像中的匹配點(diǎn)在同一條掃描線上；

步驟B中對(duì)左圖像和右圖像進(jìn)行立體校正包括：利用左校正矩陣對(duì)左圖像進(jìn)行立體校正，利用右校正矩陣對(duì)右圖像進(jìn)行立體校正。

優(yōu)選的，本發(fā)明雙目立體視覺(jué)的人臉三維重建方法中，子步驟A1包括：

子分步驟A1a，獲取10～20組包含不同角度和方向的平面棋盤圖像；

子分步驟A1b，對(duì)獲取的平面棋盤圖像進(jìn)行棋盤監(jiān)測(cè)，定位出所述三維點(diǎn)所對(duì)應(yīng)的棋盤格中的角點(diǎn)；根據(jù)張正友標(biāo)定方法和Brown算法，獲取左攝像裝置和右攝像裝置的內(nèi)參數(shù)、畸變參數(shù)和棋盤角點(diǎn)對(duì)應(yīng)的外參數(shù)；

其中，所述棋盤角點(diǎn)對(duì)應(yīng)的外參數(shù)包括：左攝像裝置的旋轉(zhuǎn)矩陣R_l和左攝像裝置的平移矩陣T_l；右攝像裝置的旋轉(zhuǎn)矩陣R_r和右攝像裝置的平移矩陣T_r；

子分步驟A1c，將角點(diǎn)Q輸入到左右攝像裝置的攝像裝置坐標(biāo)系，對(duì)應(yīng)左圖和右圖的坐標(biāo)點(diǎn)Q_l和Q_r，存在如下式關(guān)系：

Q_l＝R_lQ+T_l

Q_r＝R_rQ+T_r

Q_l＝R^T(Q_r-T)

其中，Q為角點(diǎn)Q在世界坐標(biāo)系的三維坐標(biāo)，左圖為左攝像裝置得到的圖像，右圖為右攝像裝置得到的圖像，推出下面關(guān)系：

R＝R_r(R_l)

廠＝T_r-RT_l

根據(jù)給定棋盤格的角點(diǎn)的對(duì)個(gè)聯(lián)合視圖，以及每個(gè)角點(diǎn)所對(duì)應(yīng)的外參數(shù)矩陣，求解出旋轉(zhuǎn)矩陣R和平移矩陣T；由于圖像噪聲和舍入誤差，每一對(duì)棋盤都會(huì)使得R和T的結(jié)果出現(xiàn)細(xì)小不同，選用R和T參數(shù)的中值作為真實(shí)結(jié)果的初始值，運(yùn)用Levenberg-Marquardt迭代算法查找棋盤角點(diǎn)在兩個(gè)攝像裝置視圖上的最小投影誤差，返回旋轉(zhuǎn)矩陣R和平移矩陣T的結(jié)果。

優(yōu)選的，本發(fā)明雙目立體視覺(jué)的人臉三維重建方法中，子步驟A2中，利用Bouguet算法，左攝像裝置的內(nèi)參數(shù)和畸變參數(shù)、右攝像裝置的內(nèi)參數(shù)和畸變參數(shù)，以及求取的雙目立體視覺(jué)系統(tǒng)的旋轉(zhuǎn)矩陣R和平移矩陣T，得到左校正矩陣和右校正矩陣。

優(yōu)選的，本發(fā)明雙目立體視覺(jué)的人臉三維重建方法中，步驟B中運(yùn)用Haar-Adaboost分類器檢測(cè)左圖像和右圖像上的人臉區(qū)域。

優(yōu)選的，本發(fā)明雙目立體視覺(jué)的人臉三維重建方法中，步驟C包括：

子步驟C1，定位左圖像和右圖像中人臉區(qū)域的人臉關(guān)鍵點(diǎn)；

子步驟C2，匹配左圖像和右圖像中相關(guān)的人臉關(guān)鍵點(diǎn)，獲得人臉先驗(yàn)的稀疏拓?fù)湫畔?左圖人臉形狀SL和右邊人臉形狀SR，其中左圖人臉形狀SL包含左臉關(guān)鍵點(diǎn)坐標(biāo){(lx_i，ly_i)，i∈[1，n]}，右邊人臉形狀SR包含右臉關(guān)鍵點(diǎn)坐標(biāo){(rx_i，ry_i)，i∈[1，n]}，n代表關(guān)鍵點(diǎn)的總數(shù)。

優(yōu)選的，本發(fā)明雙目立體視覺(jué)的人臉三維重建方法中，子步驟C1中，結(jié)合回歸樹集合ERT算法定位左圖像和右圖像的人臉關(guān)鍵點(diǎn)。

優(yōu)選的，本發(fā)明雙目立體視覺(jué)的人臉三維重建方法中，步驟D包括：

子步驟D1，計(jì)算左圖像和右圖像中匹配的人臉關(guān)鍵點(diǎn)的視差；

子步驟D2，利用左圖像和右圖像中匹配的人臉關(guān)鍵點(diǎn)的視差，計(jì)算左圖像和右圖像中除匹配的人臉關(guān)鍵點(diǎn)之外的其他點(diǎn)的視差，實(shí)現(xiàn)人臉視差的稠密化，得到初始化視差。

優(yōu)選的，本發(fā)明雙目立體視覺(jué)的人臉三維重建方法中，子步驟D1中，依據(jù)下式計(jì)算左圖像和右圖像中匹配的人臉關(guān)鍵點(diǎn)的視差：

其中，lx_i代表第i個(gè)人臉關(guān)鍵點(diǎn)在左圖像的所在的列，rx_i代表在右圖像中與其匹配的人臉關(guān)鍵點(diǎn)所在的列，視差D(p_i)代表相對(duì)應(yīng)的人臉關(guān)鍵點(diǎn)的列坐標(biāo)差的絕對(duì)值，i＝1，2，3，......，n，n為匹配的關(guān)鍵點(diǎn)的個(gè)數(shù)。

優(yōu)選的，本發(fā)明雙目立體視覺(jué)的人臉三維重建方法中，子步驟D2包括：

子分步驟D2a，利用臉部定位出的關(guān)鍵點(diǎn)對(duì)臉部進(jìn)行Delaunay三角剖分，將臉部劃分成n個(gè)三角形；

子分步驟D2b，對(duì)于每一個(gè)三角形，通過(guò)三角形的三個(gè)頂點(diǎn)視差獲得三角形內(nèi)點(diǎn)的視差，實(shí)現(xiàn)人臉視差的稠密化，得到初始化視差。

優(yōu)選的，本發(fā)明雙目立體視覺(jué)的人臉三維重建方法中，子分步驟D2b中，通過(guò)三角形的三個(gè)頂點(diǎn)視差獲得三角形內(nèi)點(diǎn)的視差包括：

三角形的三個(gè)頂點(diǎn)為p1，p2，p3，對(duì)于三角形內(nèi)的點(diǎn)p，都存在一個(gè)u和v，使得p點(diǎn)與點(diǎn)p1，p2，p3存在關(guān)系如公式：

p_x＝(1-u-v)·p1_x+u·p2_x+v·p3_x

p_y＝(1-u-v)·p1_y+u·p2_y+v·p3_x

通過(guò)將p點(diǎn)的坐標(biāo)(p_x，p_y)，p1點(diǎn)的坐標(biāo)(p1_x，p1_y)，p2點(diǎn)的坐標(biāo)(p2_x，p2_y)，p3點(diǎn)的坐標(biāo)(p3_x，p3_y)代入公式解出u和v參數(shù)；

由公式進(jìn)行插值運(yùn)算得到點(diǎn)p的視差D(p)：

D(p)＝(1-u-V)·D(p1)+u·D(p2)+V·D(p3)。

優(yōu)選的，本發(fā)明雙目立體視覺(jué)的人臉三維重建方法中，步驟E包括：

子步驟E1，利用代價(jià)計(jì)算得到左右兩圖對(duì)應(yīng)點(diǎn)的相似度，得到左右兩圖對(duì)應(yīng)點(diǎn)的匹配代價(jià)；

子步驟E2，利用代價(jià)聚合計(jì)算，通過(guò)左右兩圖對(duì)應(yīng)點(diǎn)匹配代價(jià)，得到所述對(duì)應(yīng)點(diǎn)周圍點(diǎn)的聚合代價(jià)；

子步驟E3，選用最小聚合匹配代價(jià)的平面作為最優(yōu)平面，反求出像素點(diǎn)視差。

優(yōu)選的，本發(fā)明雙目立體視覺(jué)的人臉三維重建方法中，步驟E1匹配代價(jià)的計(jì)算方法為：

G點(diǎn)為中心點(diǎn)，G點(diǎn)的亮度值I(G)，N(G)代表以G為中心，半徑為d的方形鄰域內(nèi)，鄰域N(G)內(nèi)的像素點(diǎn)的亮度值I(G′)為鄰域N(G)內(nèi)的像素點(diǎn)的亮度值，若鄰域內(nèi)的點(diǎn)的G′的亮度值小于G，則點(diǎn)G′的位置上的值記為1，反之則為0，即為ε(G，G′)；

將鄰域內(nèi)的點(diǎn)的值串聯(lián)起來(lái)，完成變換，值為Rτ(G)，其公式如下：

對(duì)每一個(gè)點(diǎn)進(jìn)行這樣的變換后，左右兩幅圖點(diǎn)與點(diǎn)的相似性則為計(jì)算對(duì)應(yīng)點(diǎn)的變換值的哈明距離H，距離越小，表示相似度越高，從而求出像素J，K之間的匹配代價(jià)為：

ρ(J，K)＝H(R(J)，R(K))；

所述子步驟E2中，所述代價(jià)聚合計(jì)算公式為：

其中K為一像素點(diǎn)，J為W_K下一點(diǎn)，W_K代表像素K的方形窗口，d_K＝a_fK_x+b_fK_y+c_f代表像素K點(diǎn)的視差，W(J，K)為權(quán)重函數(shù)；

所述權(quán)重函數(shù)W(J，K)考慮到方形窗口內(nèi)的邊緣問(wèn)題，利用兩點(diǎn)的顏色相似度來(lái)定義權(quán)值函數(shù)，如果顏色相近則賦予高權(quán)重，反之，則賦予低權(quán)重，表示如公式所示：

其中，γ是定義的參數(shù)，||I_J-I_K||表示J和K的RGB顏色空間的L1范數(shù)。

子步驟3中，視差計(jì)算包括最優(yōu)平面計(jì)算，其計(jì)算公式為：

其中，F(xiàn)代表所有的視差平面，f_J作為J點(diǎn)的最優(yōu)平面，通過(guò)最優(yōu)平面的參數(shù)反求出像素的視差。

優(yōu)選的，本發(fā)明雙目立體視覺(jué)的人臉三維重建方法中，步驟F包括：

選取任意二維點(diǎn)S，其坐標(biāo)為(x，y)，相關(guān)聯(lián)的視差d，將此點(diǎn)投影到三維中，三維坐標(biāo)為(X/W，Y/W，Z/W)，得到矩陣：

其中，O為投影矩陣，

O中c_x表示主點(diǎn)左圖像的x坐標(biāo)，c_y表示主點(diǎn)左圖像的y坐標(biāo)，T_x表示兩個(gè)攝像裝置之間的基線長(zhǎng)度，f代表攝像裝置的焦距，c_x′表示主點(diǎn)右圖像的x坐標(biāo)；

通過(guò)上述公式求得像素點(diǎn)所對(duì)應(yīng)的三維坐標(biāo)，從而得到人臉三維結(jié)構(gòu)。

從上述技術(shù)方案可以看出，本發(fā)明基于雙目立體視覺(jué)的人臉三維重建方法至少具有以下有益效果其中之一：

(1)本發(fā)明針對(duì)人臉的曲面結(jié)構(gòu)，采用視差平面的立體匹配算法，恢復(fù)更加平滑的人臉三維結(jié)構(gòu)；

(2)本發(fā)明采用人臉先驗(yàn)結(jié)構(gòu)，以此為基礎(chǔ)初始化視差平面，提高了人臉三維重建結(jié)果的準(zhǔn)確度；

(3)本發(fā)明采用普通攝像頭作為圖像的采集設(shè)備，能夠節(jié)約設(shè)備的成本。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例基于雙目立體視覺(jué)的人臉三維重建方法的流程圖。

圖2為本發(fā)明實(shí)施例基于雙目立體視覺(jué)的人臉三維重建方法的子步驟A1的流程圖。

圖3為本發(fā)明實(shí)施例基于雙目立體視覺(jué)的人臉三維重建方法的子步驟D2的流程圖。

圖4為立體匹配視覺(jué)的幾何模型。

具體實(shí)施方式

本發(fā)明提供了一種基于雙目立體視覺(jué)的人臉三維重建方法。該人臉三維重建方法只使用一對(duì)圖像，它們來(lái)自雙目攝像頭的左攝像頭和右攝像頭，從而對(duì)人臉的三維信息進(jìn)行恢復(fù)。

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。

參照?qǐng)D1至圖4對(duì)本發(fā)明的實(shí)施例進(jìn)行說(shuō)明。

下面結(jié)合附圖和具體實(shí)施方式來(lái)發(fā)明做出進(jìn)一步描述。

如圖1所示，首先，利用兩臺(tái)攝像機(jī)搭建平行的雙目立體視覺(jué)系統(tǒng)，分別標(biāo)定兩臺(tái)攝像機(jī)內(nèi)外參數(shù)，并校正雙目相機(jī)，使得相機(jī)的匹配點(diǎn)位于同一行，然后同時(shí)各拍攝人臉的一幅圖像，使用Viola-Jones人臉檢測(cè)方法，結(jié)合回歸樹集合(Ensemble ofRegression Trees，ERT)算法對(duì)左右圖像進(jìn)行人臉關(guān)鍵點(diǎn)定位，接著匹配左右關(guān)鍵點(diǎn)，恢復(fù)人臉稀疏的視差估計(jì)，運(yùn)用線性插值算法初步估計(jì)臉部稠密的視差，結(jié)合基于視差平面的Patchmatch立體匹配算法對(duì)得到的視差進(jìn)行平滑處理，重建臉部稠密的視差。根據(jù)標(biāo)定的參數(shù)和對(duì)應(yīng)點(diǎn)的視差，恢復(fù)出稠密的人臉三維點(diǎn)云信息。

下面對(duì)具體的實(shí)施過(guò)程分塊進(jìn)行描述：

步驟A：構(gòu)建雙目立體視覺(jué)系統(tǒng)，其中，所述雙目立體視覺(jué)系統(tǒng)包括左攝像裝置和右攝像裝置；

利用兩個(gè)同等型號(hào)的攝像頭，平行放置，搭建雙目立體視覺(jué)系統(tǒng)。并對(duì)兩個(gè)攝像機(jī)進(jìn)行參數(shù)標(biāo)定及校正。

為了通過(guò)立體匹配算法重建出人臉的三維結(jié)構(gòu)，首先必須獲取攝像機(jī)的內(nèi)參數(shù)和兩個(gè)相機(jī)的相對(duì)基線參數(shù)，才能根據(jù)三角測(cè)量原理從像素點(diǎn)的視差恢復(fù)對(duì)應(yīng)的三維坐標(biāo)。這就需要首先對(duì)相機(jī)進(jìn)行標(biāo)定。

子步驟A1：

對(duì)左攝像裝置和右攝像裝置進(jìn)行標(biāo)定，得到兩者的內(nèi)參數(shù)，畸變參數(shù)和對(duì)應(yīng)三維點(diǎn)的外參數(shù)；基于每個(gè)三維點(diǎn)對(duì)應(yīng)的左右攝像裝置的外參數(shù)矩陣，得到雙目立體視覺(jué)系統(tǒng)的旋轉(zhuǎn)矩陣R、平移矩陣T和左右攝像裝置的相對(duì)基線參數(shù)。

本發(fā)明基于平面棋盤格標(biāo)記物的攝像機(jī)標(biāo)定方法。兩個(gè)攝像機(jī)獲取左右兩個(gè)輸入的棋盤圖像。根據(jù)張正友標(biāo)定方法，獲取10到20組包含不同角度和方向的平面棋盤圖像。接著進(jìn)行攝像機(jī)標(biāo)定，首先對(duì)輸入對(duì)象進(jìn)行棋盤檢測(cè)，然后定位出三維點(diǎn)對(duì)于棋盤格中的角點(diǎn)。

根據(jù)張正友的標(biāo)定算法和Brown算法，分別獲取左右攝像機(jī)的內(nèi)參數(shù)、畸變參數(shù)和每個(gè)棋盤格上的每個(gè)角點(diǎn)的對(duì)應(yīng)的外參數(shù)，完成左右攝像機(jī)的標(biāo)定和矯正。

這樣得出了空間一點(diǎn)與圖像中此點(diǎn)所對(duì)應(yīng)的關(guān)系。對(duì)于之前記錄的棋盤格上的某一角點(diǎn)Q，以及利用計(jì)算出的相對(duì)應(yīng)的外參數(shù)矩陣，包括對(duì)左相機(jī)的旋轉(zhuǎn)矩陣R_l和平移矩陣T_l，以及對(duì)右相機(jī)的旋轉(zhuǎn)矩陣R_r和平移矩陣T_r。

將Q點(diǎn)輸入到左右攝像機(jī)的攝像機(jī)坐標(biāo)系，對(duì)應(yīng)左圖和右圖的坐標(biāo)點(diǎn)Q_l和Q_r，存在如下式關(guān)系：

Q_l＝R_lQ+T_l

Q_r＝R_rQ+T_r

Q_l＝R^T(Q_r-T)

其中雙目相機(jī)相對(duì)的旋轉(zhuǎn)矩陣R和平移矩陣T，推出下面的簡(jiǎn)單關(guān)系：

R＝R_r(R_l)

T＝T_r-RT_l

根據(jù)給定棋盤格的角點(diǎn)的對(duì)個(gè)聯(lián)合視圖，以及每個(gè)角點(diǎn)所對(duì)應(yīng)的外參數(shù)矩陣，可以求解出旋轉(zhuǎn)矩陣R和平移矩陣T。由于圖像噪聲和舍入誤差，每一對(duì)棋盤都會(huì)使得R和T的結(jié)果出現(xiàn)細(xì)小不同。選用R和T參數(shù)的中值作為真實(shí)結(jié)果的初始值，運(yùn)用Levenberg-Marquardt迭代算法查找棋盤角點(diǎn)在兩個(gè)攝像機(jī)視圖上的最小投影誤差，并返回R和T的結(jié)果，從而得到雙目立體視覺(jué)系統(tǒng)的旋轉(zhuǎn)矩陣R、平移矩陣T和左右攝像機(jī)的相對(duì)基線參數(shù)。

子步驟A2：

基于雙目立體視覺(jué)系統(tǒng)的旋轉(zhuǎn)矩陣R，平移矩陣T，左右相機(jī)的內(nèi)參數(shù)以及畸變參數(shù)矩陣，得到左校正矩陣和右校正矩陣。

由于攝像頭不能完全的有準(zhǔn)確的共面行對(duì)準(zhǔn)，所以對(duì)兩臺(tái)攝像機(jī)的圖像平面進(jìn)行重投影，使得它們精確落在同一個(gè)平面上，而且圖像的行完全地對(duì)準(zhǔn)到前向平行的結(jié)構(gòu)上。這樣的校正，可以簡(jiǎn)化搜索范圍。經(jīng)過(guò)校正后的左右圖，使得左圖的點(diǎn)與右圖的相關(guān)的匹配點(diǎn)在同一條掃描線上。如果不進(jìn)行極線校正，對(duì)于圖像上的某一點(diǎn)，需要計(jì)算此點(diǎn)的在對(duì)應(yīng)圖像上的極線，并在這條極線上搜索對(duì)應(yīng)的匹配點(diǎn)，這條線既不平行也不垂直，增大了計(jì)算的復(fù)雜度，也增加了搜索的范圍。此處選用Bouguet算法進(jìn)行立體校正，利用上述得到的左右相機(jī)的內(nèi)參數(shù)矩陣，畸變參數(shù)矩陣以及雙目相機(jī)間的旋轉(zhuǎn)矩陣和平移矩陣，求解出左校正矩陣和右校正矩陣，使兩圖像中的每一幅重投影次數(shù)最小化，同時(shí)使得觀測(cè)面積最小化。

步驟B：

對(duì)于左圖像和右圖像中的人臉區(qū)域，進(jìn)行人臉關(guān)鍵點(diǎn)的定位和匹配。

利用搭建的雙目立體視覺(jué)系統(tǒng)中的左右攝像頭采集人臉圖像，并使用人臉檢測(cè)算法與關(guān)鍵點(diǎn)定位算法對(duì)兩幅圖像進(jìn)行人臉檢測(cè)與關(guān)鍵點(diǎn)定位。

子步驟B1：

運(yùn)用Haar-Adaboost分類器檢測(cè)左右圖像上的人臉區(qū)域，結(jié)合回歸樹集合ERT算法定位出左圖像和右圖像的人臉關(guān)鍵點(diǎn)。

子步驟B2：

匹配左圖像和右圖像中相關(guān)的人臉關(guān)鍵點(diǎn)，獲得人臉先驗(yàn)的稀疏拓?fù)湫畔?左圖人臉形狀SL和右邊人臉形狀SR，其中左圖人臉形狀SL包含左臉關(guān)鍵點(diǎn)坐標(biāo){(lx_i，ly_i)，i∈[1，n]}，右邊人臉形狀SR包含右臉關(guān)鍵點(diǎn)坐標(biāo){(rx_i，ry_i)，i∈[1，n]}，n代表關(guān)鍵點(diǎn)的總數(shù)。

步驟C：

利用匹配的人臉關(guān)鍵點(diǎn)進(jìn)行臉部稠密視差初始化，得到初始化視差。

子步驟C1：

計(jì)算左圖像和右圖像中匹配的人臉關(guān)鍵點(diǎn)的視差：

由于左右圖像是經(jīng)過(guò)立體校正的，所以左右匹配的人臉關(guān)鍵點(diǎn)位于同一行。人臉關(guān)鍵點(diǎn)p_i的視差D(p_i)的計(jì)算如公式所示：

其中，lx_i代表人臉關(guān)鍵點(diǎn)在左圖像的所在的列，rx_i代表在右圖像中與其匹配的人臉關(guān)鍵點(diǎn)所在的列，視差D(p_i)代表相對(duì)應(yīng)的人臉關(guān)鍵點(diǎn)的列坐標(biāo)差的絕對(duì)值。

但是對(duì)于人臉的結(jié)構(gòu)來(lái)說(shuō)，這樣的視差太過(guò)稀疏，不能夠很好的描述人臉的結(jié)構(gòu)。

子步驟C2：

利用左圖像和右圖像中匹配的人臉關(guān)鍵點(diǎn)的視差，計(jì)算左圖像和右圖像中除匹配的人臉關(guān)鍵點(diǎn)之外的其他點(diǎn)的視差，實(shí)現(xiàn)人臉視差的稠密化，得到初始化視差。

子分步驟C2a：

利用臉部定位出的關(guān)鍵點(diǎn)對(duì)臉部進(jìn)行Delaunay三角剖分，將臉部劃分成n個(gè)三角形。

子分步驟C2b：

對(duì)于每一個(gè)三角形，通過(guò)三角形的三個(gè)頂點(diǎn)視差獲得三角形內(nèi)點(diǎn)的視差

此處假設(shè)，位于同一三角形內(nèi)的點(diǎn)的視差與三角形三個(gè)頂點(diǎn)的視差成線性關(guān)系，從而通過(guò)一個(gè)三角形的三個(gè)頂點(diǎn)視差獲得三角形內(nèi)點(diǎn)的視差。如果三角形的三個(gè)頂點(diǎn)為p1，p2，p3。對(duì)于三角形內(nèi)的任意點(diǎn)p，都存在一個(gè)u和v，使得p點(diǎn)與點(diǎn)p1，p2，p3存在關(guān)系如公式

p＝(1-u-v)·p1+u·p2+v·p3

p點(diǎn)的坐標(biāo)為(p_x，p_y)，p1點(diǎn)的坐標(biāo)為(p1_x，p1_y)，p2點(diǎn)的坐標(biāo)為(p2_x，p2_y)，p3點(diǎn)的坐標(biāo)為(p3_x，p3_y)，它們滿足公式的關(guān)系，此時(shí)就能解出u和v參數(shù)。

p_x＝(1-u-v)·p1_x+u·p2_x+v·p3_x

p_y＝(1-u-v)·p1_y+u·p2_y+v·p3_y

從而由公式進(jìn)行插值運(yùn)算得到對(duì)p點(diǎn)的視差D(P)：

D(p)＝(1-u-v)·D(p1)+u·D(pp2)+v·D(p3)

得到了整個(gè)臉部稠密的初始視差。

步驟D：

通過(guò)立體匹配算法平滑初始化視差。

傳統(tǒng)的局部的立體算法以整數(shù)視差作為支持窗，并且假設(shè)同一支持窗內(nèi)的像素點(diǎn)具有相同的視差，但是這個(gè)假設(shè)對(duì)于曲面或者傾斜的表面不成立，這樣會(huì)導(dǎo)致前向平行的表面出現(xiàn)一定的偏差?；谝暡钇矫娴姆椒?，如Patchmatch方法，對(duì)于圖片上的像素(x₀，y₀)，對(duì)應(yīng)的視差為d，對(duì)應(yīng)的視差平面f，a_f，b_f，c_f表示平面f，單位向量表示平面的法向量。如圖2所示，立體匹配算法主要包含代價(jià)計(jì)算、代價(jià)聚合、視差計(jì)算和后處理四個(gè)步驟。

子步驟D1：

利用代價(jià)計(jì)算得到左右兩圖對(duì)應(yīng)點(diǎn)的相似度，得到左右兩圖對(duì)應(yīng)點(diǎn)的匹配代價(jià)。

匹配代價(jià)的計(jì)算直接影響算法精度和效率。經(jīng)過(guò)選擇，本專利采用census算法來(lái)計(jì)算對(duì)應(yīng)點(diǎn)的相似度，這個(gè)算法具有灰度不變性，使得像素灰度值的具體大小和編碼之間的相關(guān)性不強(qiáng)，只關(guān)注像素之間的大小關(guān)系，對(duì)噪聲具有一定的魯棒性。準(zhǔn)則就是將鄰域內(nèi)的元素與中心元素作比較，具體的方法如下式所示：

以G點(diǎn)為中心點(diǎn)，將此點(diǎn)的亮度值I(G)與其鄰域N(G)內(nèi)的像素點(diǎn)的亮度值I(G”)進(jìn)行比較。N(G)代表以G為中心，半徑為d的方形鄰域內(nèi)，若鄰域內(nèi)的點(diǎn)的G′的亮度值小于G，則點(diǎn)G′的位置上的值記為1，反之則為0，即為ε(G，G·)。將鄰域內(nèi)的點(diǎn)的值串聯(lián)起來(lái)，完成變換，值為R_τ(G)。對(duì)每一個(gè)點(diǎn)進(jìn)行這樣的變換后，左右兩幅圖點(diǎn)與點(diǎn)的相似性則為計(jì)算對(duì)應(yīng)點(diǎn)的變換值的哈明距離片。距離越小，表示相似度越高。像素J，K之間的匹配代價(jià)ρ(J，K)＝H(R(J)，R(K))。

子步驟D2：

利用代價(jià)聚合計(jì)算，通過(guò)左右兩圖對(duì)應(yīng)點(diǎn)匹配代價(jià)，得到所述對(duì)應(yīng)點(diǎn)周圍點(diǎn)的聚合代價(jià)。

對(duì)于某一個(gè)像素點(diǎn)J在視差平面f下與其W_K范圍下點(diǎn)K的聚合視差代價(jià)m，如公式所示：

其中W_K代表像素K的方形窗口，d_K＝a_fK_x+b_fK_y+c_f代表像素K點(diǎn)的視差。平面參數(shù)a_f，b_f，c_f可通過(guò)公式轉(zhuǎn)換成平面單位法向量

權(quán)重函數(shù)W(J，K)考慮到方形窗口內(nèi)的邊緣問(wèn)題，利用兩點(diǎn)的顏色相似度來(lái)定義權(quán)值函數(shù)，如果顏色相近則賦予高權(quán)重，反之，則賦予低權(quán)重，表示如公式所示：

其中，γ是定義的參數(shù)，||I_J-I_K||表示J和K的RGB顏色空間的L1范數(shù)。

子步驟D3：

選用最小聚合匹配代價(jià)的平面作為最優(yōu)平面，反求出像素點(diǎn)視差。

對(duì)于某個(gè)像素點(diǎn)J選用具有最小的聚合匹配代價(jià)m的平面f_J作為當(dāng)前點(diǎn)的最優(yōu)平面，如公式所示：

F代表所有的視差平面，所對(duì)應(yīng)的解是無(wú)窮多的。通過(guò)下面的方式找到較優(yōu)的平面參數(shù)。首先初始化平面參數(shù)和視差參數(shù)，將求得的稠密人臉視差用來(lái)初始化參數(shù)d，將人臉結(jié)構(gòu)約束在視差中，其余參數(shù)隨機(jī)初始化。通過(guò)迭代進(jìn)行空間傳播，視角傳播和平面細(xì)化三個(gè)步驟來(lái)優(yōu)化參數(shù)平面。

最后找到最優(yōu)的參數(shù)平面，反求出像素點(diǎn)所具有的視差。

步驟E：

結(jié)合平滑后的初始化視差進(jìn)行人臉三維重建。

結(jié)合得到的相機(jī)內(nèi)參數(shù)，相機(jī)的相對(duì)基線參數(shù)，以及像素點(diǎn)所對(duì)應(yīng)的平滑后的初始視差。經(jīng)過(guò)校正后的雙目相機(jī)根據(jù)三角測(cè)量原則，如圖4所示，從下面公式，將任意一個(gè)二維點(diǎn)S，其坐標(biāo)為(x，y)，和相關(guān)聯(lián)的視差d，將此點(diǎn)投影到三維中，三維坐標(biāo)為(X/W，Y/W，Z/W)。

其中O為投影矩陣，

O中c_x表示主點(diǎn)左圖像的x坐標(biāo)，c_y表示主點(diǎn)左圖像的y坐標(biāo)，，T_x表示兩個(gè)攝像頭之間的基線長(zhǎng)度，L代表相機(jī)的焦距，c_x′表示主點(diǎn)右圖像的x坐標(biāo)，主點(diǎn)為主光線與圖像平面相交的點(diǎn)。

這樣通過(guò)以上的公式，可以得出像素點(diǎn)所對(duì)應(yīng)的三維坐標(biāo)，以此可以得到人臉的三維結(jié)構(gòu)。

本發(fā)明針對(duì)人臉的曲面結(jié)構(gòu)，采用視差平面的立體匹配算法，恢復(fù)更加平滑的人臉三維結(jié)構(gòu)；采用人臉先驗(yàn)結(jié)構(gòu)，以此為基礎(chǔ)初始化視差平面，提高了人臉三維重建結(jié)果的準(zhǔn)確度。

至此，本發(fā)明實(shí)施例介紹完畢。

至此，已經(jīng)結(jié)合附圖對(duì)本實(shí)施例進(jìn)行了詳細(xì)描述。依據(jù)以上描述，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)對(duì)本發(fā)明基于雙目立體視覺(jué)的人臉三維重建方法有了清楚的認(rèn)識(shí)。

需要說(shuō)明的是，在附圖或說(shuō)明書正文中，未繪示或描述的實(shí)現(xiàn)方式，均為所屬技術(shù)領(lǐng)域中普通技術(shù)人員所知的形式，并未進(jìn)行詳細(xì)說(shuō)明。此外，上述對(duì)各方法的定義并不僅限于實(shí)施例中提到的各種具體方式，本領(lǐng)域普通技術(shù)人員可對(duì)其進(jìn)行簡(jiǎn)單地更改或替換，

還需要說(shuō)明的是，本文可提供包含特定值的參數(shù)的示范，但這些參數(shù)無(wú)需確切等于相應(yīng)的值，而是可在可接受的誤差容限或設(shè)計(jì)約束內(nèi)近似于相應(yīng)值。實(shí)施例中提到的方向用語(yǔ)，例如“上”、“下”、“前”、“后”、“左”、“右”等，僅是參考附圖的方向，并非用來(lái)限制本發(fā)明的保護(hù)范圍。此外，除非特別描述或必須依序發(fā)生的步驟，上述步驟的順序并無(wú)限制于以上所列，且可根據(jù)所需設(shè)計(jì)而變化或重新安排。并且上述實(shí)施例可基于設(shè)計(jì)及可靠度的考慮，彼此混合搭配使用或與其他實(shí)施例混合搭配使用，即不同實(shí)施例中的技術(shù)特征可以自由組合形成更多的實(shí)施例。

以上所述的具體實(shí)施例，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說(shuō)明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。