技術(shù)特征：

1.一種基于雙目立體視覺(jué)的人臉三維重建方法，其特征在于，包括：

步驟A，構(gòu)建雙目立體視覺(jué)系統(tǒng)，其中，所述雙目立體視覺(jué)系統(tǒng)包括左攝像裝置和右攝像裝置；

步驟B，利用所述雙目立體視覺(jué)系統(tǒng)采集人臉圖像，由左攝像裝置得到左圖像，由右攝像裝置得到右圖像；對(duì)左圖像和右圖像進(jìn)行立體校正；檢測(cè)左圖像和右圖像中的人臉區(qū)域；

步驟C，對(duì)于左圖像和右圖像中的人臉區(qū)域，進(jìn)行人臉關(guān)鍵點(diǎn)的定位和匹配；

步驟D，利用匹配的人臉關(guān)鍵點(diǎn)進(jìn)行臉部稠密視差初始化，得到初始化視差；

步驟E，通過(guò)立體匹配算法平滑初始化視差；以及

步驟F，結(jié)合平滑后的初始化視差進(jìn)行人臉三維重建。

2.根據(jù)權(quán)利要求1所述的人臉三維重建方法，其特征在于，所述左攝像裝置和右攝像裝置為相同型號(hào)的相機(jī)或攝像頭：

所述步驟A包括：

子步驟A1，對(duì)左攝像裝置和右攝像裝置進(jìn)行標(biāo)定，得到兩者的內(nèi)參數(shù)，畸變參數(shù)和對(duì)應(yīng)三維點(diǎn)的外參數(shù)；基于左右攝像裝置對(duì)應(yīng)三維點(diǎn)的外參數(shù)，得到雙目立體視覺(jué)系統(tǒng)的旋轉(zhuǎn)矩陣R、平移矩陣T；

子步驟A2，基于左攝像裝置的內(nèi)參數(shù)和畸變參數(shù)、右攝像裝置的內(nèi)參數(shù)和畸變參數(shù)，以及求取的雙目立體視覺(jué)系統(tǒng)的旋轉(zhuǎn)矩陣R和平移矩陣T，得到左校正矩陣和右校正矩陣；

其中，左校正矩陣用于對(duì)左圖像進(jìn)行立體校正，右校正矩陣用于對(duì)右圖像進(jìn)行立體校正，經(jīng)過(guò)左校正矩陣處理后的左圖像中的點(diǎn)與經(jīng)過(guò)右校正矩陣處理后的右圖像中的匹配點(diǎn)在同一條掃描線上；

所述步驟B中對(duì)左圖像和右圖像進(jìn)行立體校正包括：利用左校正矩陣對(duì)左圖像進(jìn)行立體校正，利用右校正矩陣對(duì)右圖像進(jìn)行立體校正。

3.根據(jù)權(quán)利要求2所述的人臉三維重建方法，其特征在于，所述子步驟A1包括：

子分步驟A1a，獲取10～20組包含不同角度和方向的平面棋盤(pán)圖像；

子分步驟A1b，對(duì)獲取的平面棋盤(pán)圖像進(jìn)行棋盤(pán)監(jiān)測(cè)，定位出所述三維點(diǎn)所對(duì)應(yīng)的棋盤(pán)格中的角點(diǎn)；根據(jù)張正友標(biāo)定方法和Brown算法，獲取左攝像裝置和右攝像裝置的內(nèi)參數(shù)、畸變參數(shù)和棋盤(pán)角點(diǎn)對(duì)應(yīng)的外參數(shù)；

其中，所述棋盤(pán)角點(diǎn)對(duì)應(yīng)的外參數(shù)包括：左攝像裝置的旋轉(zhuǎn)矩陣R_l和左攝像裝置的平移矩陣T_l；右攝像裝置的旋轉(zhuǎn)矩陣R_r和右攝像裝置的平移矩陣T_r；

子分步驟A1c，將角點(diǎn)Q輸入到左右攝像裝置的攝像裝置坐標(biāo)系，對(duì)應(yīng)左圖和右圖的坐標(biāo)點(diǎn)Q_l和Q_r，存在如下式關(guān)系：

Q_l＝R_lQ+T_l

Q_r＝R_rQ+T_r

Q_l＝R^T(Q_r-T)

其中，Q為角點(diǎn)Q在世界坐標(biāo)系的三維坐標(biāo)，左圖為左攝像裝置得到的圖像，右圖為右攝像裝置得到的圖像，推出下面關(guān)系：

R＝R_r(R_l)

T＝T_r-RT_l

根據(jù)給定棋盤(pán)格的角點(diǎn)的對(duì)個(gè)聯(lián)合視圖，以及每個(gè)角點(diǎn)所對(duì)應(yīng)的外參數(shù)矩陣，求解出旋轉(zhuǎn)矩陣R和平移矩陣T；由于圖像噪聲和舍入誤差，每一對(duì)棋盤(pán)都會(huì)使得R和T的結(jié)果出現(xiàn)細(xì)小不同，選用R和T參數(shù)的中值作為真實(shí)結(jié)果的初始值，運(yùn)用Levenberg-Marquardt迭代算法查找棋盤(pán)角點(diǎn)在兩個(gè)攝像裝置視圖上的最小投影誤差，返回旋轉(zhuǎn)矩陣R和平移矩陣T的結(jié)果。

4.根據(jù)權(quán)利要求2所述的人臉三維重建方法，其特征在于，所述子步驟A2中，利用Bouguet算法，左攝像裝置的內(nèi)參數(shù)和畸變參數(shù)、右攝像裝置的內(nèi)參數(shù)和畸變參數(shù)，以及求取的雙目立體視覺(jué)系統(tǒng)的旋轉(zhuǎn)矩陣R和平移矩陣T，得到左校正矩陣和右校正矩陣。

5.根據(jù)權(quán)利要求1所述的人臉三維重建方法，其特征在于，所述步驟B中運(yùn)用Haar-Adaboost分類(lèi)器檢測(cè)左圖像和右圖像上的人臉區(qū)域。

6.根據(jù)權(quán)利要求1所述的人臉三維重建方法，其特征在于，所述步驟C包括：

子步驟C1，定位左圖像和右圖像中人臉區(qū)域的人臉關(guān)鍵點(diǎn)；

子步驟C2，匹配左圖像和右圖像中相關(guān)的人臉關(guān)鍵點(diǎn)，獲得人臉先驗(yàn)的稀疏拓?fù)湫畔?左圖人臉形狀SL和右邊人臉形狀SR，其中左圖人臉形狀SL包含左臉關(guān)鍵點(diǎn)坐標(biāo){(lx_i，ly_i)，i∈[1，n]}，右邊人臉形狀SR包含右臉關(guān)鍵點(diǎn)坐標(biāo){(rx_i，ry_i)，i∈[1，n]}，n代表關(guān)鍵點(diǎn)的總數(shù)。

7.根據(jù)權(quán)利要求6所述的人臉三維重建方法，其特征在于，所述子步驟C1中，結(jié)合回歸樹(shù)集合ERT算法定位左圖像和右圖像的人臉關(guān)鍵點(diǎn)。

8.根據(jù)權(quán)利要求6所述的人臉三維重建方法，其特征在于，所述步驟D包括：

子步驟D1，計(jì)算左圖像和右圖像中匹配的人臉關(guān)鍵點(diǎn)的視差；

子步驟D2，利用左圖像和右圖像中匹配的人臉關(guān)鍵點(diǎn)的視差，計(jì)算左圖像和右圖像中除匹配的人臉關(guān)鍵點(diǎn)之外的其他點(diǎn)的視差，實(shí)現(xiàn)人臉視差的稠密化，得到初始化視差。

9.根據(jù)權(quán)利要求8所述的人臉三維重建方法，其特征在于，所述子步驟D1中，依據(jù)下式計(jì)算左圖像和右圖像中匹配的人臉關(guān)鍵點(diǎn)的視差：

$D\left(p_i\right)=\sqrt{{({\mathrm{lx}}_i-{\mathrm{rx}}_i)}^2}=abs({\mathrm{lx}}_i-{\mathrm{rx}}_i)$

其中，lx_i代表第i個(gè)人臉關(guān)鍵點(diǎn)在左圖像的所在的列，rx_i代表在右圖像中與其匹配的人臉關(guān)鍵點(diǎn)所在的列，視差D(p_i)代表相對(duì)應(yīng)的人臉關(guān)鍵點(diǎn)的列坐標(biāo)差的絕對(duì)值，i＝1，2，3，......，n，n為匹配的關(guān)鍵點(diǎn)的個(gè)數(shù)。

10.根據(jù)權(quán)利要求8所述的人臉三維重建方法，其特征在于，所述子步驟D2包括：

子分步驟D2a，利用臉部定位出的關(guān)鍵點(diǎn)對(duì)臉部進(jìn)行Delaunay三角剖分，將臉部劃分成n個(gè)三角形；

子分步驟D2b，對(duì)于每一個(gè)三角形，通過(guò)三角形的三個(gè)頂點(diǎn)視差獲得三角形內(nèi)點(diǎn)的視差，實(shí)現(xiàn)人臉視差的稠密化，得到初始化視差。

11.根據(jù)權(quán)利要求10所述的人臉三維重建方法，其特征在于，所述子分步驟D2b中，通過(guò)三角形的三個(gè)頂點(diǎn)視差獲得三角形內(nèi)點(diǎn)的視差包括：

三角形的三個(gè)頂點(diǎn)為p1，p2，p3，對(duì)于三角形內(nèi)的點(diǎn)p，都存在一個(gè)u和v，使得p點(diǎn)與點(diǎn)p1，p2，p3存在關(guān)系如公式：

p_x＝(1-u-v)·p1_x+u·p2_x+v·p3_x

p_y＝(l-u-v)·pl_y+u·p2_y+v·p3_x

通過(guò)將p點(diǎn)的坐標(biāo)(p_x，p_y)，p1點(diǎn)的坐標(biāo)(p1_x，p1_y)，p2點(diǎn)的坐標(biāo)(p2_x，p2_y)，p3點(diǎn)的坐標(biāo)(p3_x，p3_y)代入公式解出u和v參數(shù)；

由公式進(jìn)行插值運(yùn)算得到點(diǎn)p的視差D(p)：

D(p)＝(1-u-V)·D(p1)+u·D(p2)+V·D(p3)。

12.根據(jù)權(quán)利要求1所述的人臉三維重建方法，其特征在于，所述步驟E包括：

子步驟E1，利用代價(jià)計(jì)算得到左右兩圖對(duì)應(yīng)點(diǎn)的相似度，得到左右兩圖對(duì)應(yīng)點(diǎn)的匹配代價(jià)；

子步驟E2，利用代價(jià)聚合計(jì)算，通過(guò)左右兩圖對(duì)應(yīng)點(diǎn)匹配代價(jià)，得到所述對(duì)應(yīng)點(diǎn)周?chē)c(diǎn)的聚合代價(jià)；

子步驟E3，選用最小聚合匹配代價(jià)的平面作為最優(yōu)平面，反求出像素點(diǎn)視差。

13.根據(jù)權(quán)利要求12所述的人臉三維重建方法，其特征在于：

所述子步驟E1匹配代價(jià)的計(jì)算方法為：

$\mathrm{\ϵ}(G,G^{\′})=\left\{\begin{array}{cc}1& ifI\left(G^{\′}\right)\<I\left(G\right)\\ 0& others\end{array}\right.$

G點(diǎn)為中心點(diǎn)，G點(diǎn)的亮度值I(G)，N(G)代表以G為中心，半徑為d的方形鄰域內(nèi)，鄰域N(G)內(nèi)的像素點(diǎn)的亮度值I(G′)為鄰域N(G)內(nèi)的像素點(diǎn)的亮度值，若鄰域內(nèi)的點(diǎn)的G′的亮度值小于G，則點(diǎn)G′的位置上的值記為1，反之則為0，即為ε(G，G′)；

將鄰域內(nèi)的點(diǎn)的值串聯(lián)起來(lái)，完成變換，值為R_τ(G)，其公式如下：

$R_{\mathrm{\τ}}\left(G\right)=\⊗\mathrm{\ϵ}(G,G^{\′}),G^{\′}\∈N\left(G\right)$

對(duì)每一個(gè)點(diǎn)進(jìn)行這樣的變換后，左右兩幅圖點(diǎn)與點(diǎn)的相似性則為計(jì)算對(duì)應(yīng)點(diǎn)的變換值的哈明距離H，距離越小，表示相似度越高，從而求出像素J，K之間的匹配代價(jià)為：

ρ(J，K)＝H(R(J)，R(K))；

所述子步驟E2中，所述代價(jià)聚合計(jì)算公式為：

$m(J,f)=\underset{K\∈W_J}{\Σ}W(J,K)\·\mathrm{\ρ}(K,K-d_K)$

其中K為一像素點(diǎn)，J為W_K下一點(diǎn)，W_K代表像素K的方形窗口，d_K＝a_fK_x+b_fK_y+c_f代表像素K點(diǎn)的視差，W(J，K)為權(quán)重函數(shù)；

所述權(quán)重函數(shù)W(J，K)考慮到方形窗口內(nèi)的邊緣問(wèn)題，利用兩點(diǎn)的顏色相似度來(lái)定義權(quán)值函數(shù)，如果顏色相近則賦予高權(quán)重，反之，則賦予低權(quán)重，表示如公式所示：

$W(J,K)=e^{\frac{-\left|\right|I_J-I_K\left|\right|}{\mathrm{\γ}}}$

其中，γ是定義的參數(shù)，||I_J-I_K||表示J和K的RGB顏色空間的L1范數(shù)。

所述子步驟3中，所述視差計(jì)算包括最優(yōu)平面計(jì)算，其計(jì)算公式為：

$f_J=\underset{f\∈F}{\arg \min m(J,f)}$

其中，F(xiàn)代表所有的視差平面，f_J作為J點(diǎn)的最優(yōu)平面，通過(guò)最優(yōu)平面的參數(shù)反求出像素的視差。

14.根據(jù)權(quán)利要求13所述的人臉三維重建方法，其特征在于，所述步驟F包括：

選取任意二維點(diǎn)S，其坐標(biāo)為(x，y)，相關(guān)聯(lián)的視差d，將此點(diǎn)投影到三維中，三維坐標(biāo)為(X/W，Y/W，Z/W)，得到矩陣：

$O\left[\begin{array}{c}x\\ y\\ d\\ 1\end{array}\right]=\left[\begin{array}{c}X\\ Y\\ Z\\ W\end{array}\right]$

其中，O為投影矩陣，

$O=\left[\begin{array}{cccc}1& 0& 0& -c_x\\ 0& 1& 0& -c_y\\ 0& 0& 1& f\\ 0& 0& -1/Y_x& (c_x-c_x^{\′})T_x\end{array}\right]$

O中c_x表示主點(diǎn)左圖像的x坐標(biāo)，c_y表示主點(diǎn)左圖像的y坐標(biāo)，T_x表示兩個(gè)攝像裝置之間的基線長(zhǎng)度，f代表攝像裝置的焦距，c_x′表示主點(diǎn)右圖像的x坐標(biāo)；

通過(guò)上述公式求得像素點(diǎn)所對(duì)應(yīng)的三維坐標(biāo)，從而得到人臉三維結(jié)構(gòu)。