本發(fā)明涉及一種基于光度立體視覺的測量材質(zhì)幾何特征重構(gòu)方法。

背景技術(shù)：
在計算機(jī)圖形學(xué)中，對布料織物、皮膚等復(fù)雜材質(zhì)的真實感渲染一直是很大的挑戰(zhàn)。這類問題的難點在于，材質(zhì)的高度真實感呈現(xiàn)依賴于其幾何建模以及材質(zhì)建模。幾何建模描述物體的形狀特性，是構(gòu)建物體表面的可見凹凸特征的宏觀幾何結(jié)構(gòu)，而傳統(tǒng)的宏觀幾何模型對材質(zhì)的表達(dá)能力不夠；材質(zhì)建模描述物體對光照的反射特性，是構(gòu)建能夠影響高光分布的微觀幾何結(jié)構(gòu)。相同幾何模型的不同物體，由于表面幾何結(jié)構(gòu)、材料、密度、顏色等屬性存在差異，在不同光照下會呈現(xiàn)出復(fù)雜而豐富的光學(xué)現(xiàn)象。微觀材質(zhì)模型如果不正確，圖像看起來就有人造的痕跡。將幾何建模與材質(zhì)建模結(jié)合，BTF變成了一個很好的選擇。BTF(BidirectionalTextureFunction)即雙向紋理函數(shù)，能夠定義與傳遞任意材質(zhì)表面的唯一性，考慮光源和視點的因素，捕捉陰影、掩膜與復(fù)雜的非漫反射效果，使材質(zhì)具有真實感，無人造痕跡。BTF是一種6維的紋理表示方法，包括光源、視點、位置信息，采集、測量、捕獲真實世界的各種材質(zhì)信息，將真實感材質(zhì)表示為在變換光照和視角方向下的二維紋理。測量裝置對材質(zhì)在不同光源與視角方向下捕獲的圖像序列，即為BTF數(shù)據(jù)，因而BTF可以被看成空間變換的BRDF和中觀-幾何結(jié)構(gòu)的結(jié)合。本發(fā)明旨于從BTF數(shù)據(jù)中重構(gòu)材質(zhì)的中觀幾何結(jié)構(gòu)，包括物體表面的法向信息和深度信息，重構(gòu)的對象為毛衣織物、壁紙、窗簾等測量材質(zhì)。從圖像中重構(gòu)物體的幾何特征，可借用計算機(jī)視覺中的三維重建方法，恢復(fù)物體表面的朝向，并根據(jù)表面的梯度場來擬合曲面。常見的三維重建方法有ShapeFromX方法、光度立體視覺法、運(yùn)動圖像序列法、立體視覺法等方法。在重構(gòu)測量材質(zhì)的幾何特征過程中，重構(gòu)法向信息可采用光度立體視覺方法(PhotometricStereo)，采集不同光照條件下的圖像序列作為該方法的輸入，利用圖像亮度的變化計算材質(zhì)表面的法向。重構(gòu)深度信息可采用最小二乘的表面重建方法，利用重構(gòu)出的法向信息估計表面的梯度場，然后新建一個離散表面，使它的梯度與測量的梯度在全局垂直距離的最小二乘意義上相等，據(jù)此求解出表面的深度信息。計算過程中不受任何邊界條件的約束，重建的表面能夠達(dá)到二次多項式或更高級別的多項式精度，且保證是最小二乘表面重建的唯一解。光度立體視覺的方法實現(xiàn)簡單且適用于任意近似漫反射表面的三維重建，能夠恢復(fù)出場景的細(xì)節(jié)信息，適合材質(zhì)從BTF數(shù)據(jù)中重構(gòu)法向信息。但由于反射模型假設(shè)為理想的Lambert反射模型，而實際上輸入的圖像序列中都有非Lambert的異常部分，易受高光、陰影、噪聲等因素的影響，使表面重建的結(jié)果出現(xiàn)偏差，存在低頻噪聲。且光度立體視覺對測量設(shè)備有嚴(yán)格要求，容易引入系統(tǒng)誤差。

技術(shù)實現(xiàn)要素：
本發(fā)明為了解決上述問題，提出了一種基于光度立體視覺的測量材質(zhì)幾何特征重構(gòu)方法，本方法，利用測量材質(zhì)在不同角度光源與視角下的BTF數(shù)據(jù)，對光度立體視覺方法進(jìn)行了優(yōu)化，去除圖像序列中高光、陰影、噪聲等對光度立體視覺方法的影響，從而重構(gòu)出物體表面的朝向。再經(jīng)由重構(gòu)的法向信息計算出材質(zhì)表面的梯度場，采用最小二乘的表面重建方法，求解出表面的深度信息。為了實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：一種基于光度立體視覺的測量材質(zhì)幾何特征重構(gòu)方法，包括以下步驟：(1)對測量材質(zhì)在不同光源、不同視角方向下拍攝一組圖像，進(jìn)行多曝光-高動態(tài)范圍合成和正視圖校準(zhǔn)，得到BTF數(shù)據(jù)；(2)選取視角為正視方向且光源的俯仰角為固定方位角變換的目標(biāo)圖像，計算其的亮度信息，根據(jù)此光源方向下所有視角的BTF數(shù)據(jù)計算相應(yīng)目標(biāo)圖像的亮度均值；(3)計算每幅目標(biāo)圖像的mask圖，根據(jù)mask圖標(biāo)記圖像中每個像素位置的亮度值是否可用，若不可用，將計算的亮度均值替換相應(yīng)的目標(biāo)圖像的亮度值；(4)遍歷每個像素位置，建立所有目標(biāo)圖像的亮度矩陣，根據(jù)光度立體視覺方法，計算測量材質(zhì)的法向信息；(5)根據(jù)測量材質(zhì)的法向信息，計算測量的梯度場信息，并將其作為輸入，采用最小二乘的曲面重建方法計算測量材質(zhì)的深度信息。所述步驟(1)中，具體步驟包括：(1-1)采集不同視角、光源方向與曝光時間下的測量材質(zhì)的數(shù)據(jù)；(1-2)通過材質(zhì)測量設(shè)備拍攝的圖像，利用每個曝光時間相對應(yīng)的LDR圖像中圖像細(xì)節(jié)清晰可見的部分來合成相應(yīng)視角與光源方向下的HDR圖像；(1-3)根據(jù)拍攝設(shè)備的內(nèi)外參數(shù)與裁剪邊長，使得拍攝得到的像素按照正視視角相機(jī)的像素排列方式進(jìn)行重排列，最終獲得校準(zhǔn)后的正視圖像。優(yōu)選的，所述步驟(1-1)中，利用相機(jī)光源陣列模式的真實感材質(zhì)測量裝置采集測量材質(zhì)。所述步驟(2)中，具體步驟包括：(2-1)選取視角的俯仰角為0度、方位角為0度，光源方向的俯仰角固定為某一數(shù)值的所有圖像，作為目標(biāo)圖像，獲取目標(biāo)圖像的灰度信息，并計算這些目標(biāo)圖像相應(yīng)的光源方向；(2-2)對每幅目標(biāo)圖像對應(yīng)的所有視角下的圖像，獲取其灰度信息作為亮度值，對每一個像素位置，將這些圖像在這一點的亮度值升序排序，分別去掉最大的n個值與最小的n個值，取中值作為這幅目標(biāo)圖像在這一像素位置的亮度均值。優(yōu)選的，所述步驟(2-2)中，n為自然數(shù)，優(yōu)選為5個。所述步驟(3)中，具體步驟包括：(3-1)對每幅目標(biāo)圖像，計算相應(yīng)的mask圖，用于標(biāo)記此圖像中每個像素位置的亮度值是否可用；(3-2)更新mask圖，設(shè)定灰度閾值上下限，對每幅目標(biāo)圖像的每個像素位置進(jìn)行灰度信息判斷，若灰度信息小于下限，將此像素點視為受陰影影響，若灰度信息大于上限，將此像素點視為受高光影響，其mask值均標(biāo)記為0；(3-3)對每一個像素位置，遍歷目標(biāo)圖像的mask圖，若mask值標(biāo)記為1的個數(shù)小于預(yù)設(shè)值，此像素位置無法通過光度立體視覺正確計算法向信息，將所有目標(biāo)圖像的此像素位置的亮度值用亮度均值代替。所述步驟(3-1)中，初始mask圖的mask值標(biāo)記為1，記為可用。優(yōu)選的，所述灰度閾值上下限為[0.2*M，1.2M]，其中，M為目標(biāo)圖像在此像素位置的亮度均值。所述步驟(4)中，具體步驟包括：(4-1)遍歷每一個像素位置，計算所有目標(biāo)圖像的亮度矩陣和相應(yīng)的光源方向矩陣；(4-2)利用亮度矩陣和光源方向矩陣，依照光度立體視覺方法計算像素位置的法向信息。所述步驟(4-2)中，具體方法為：法向信息n＝(STS)-1STI，其中，I為所有目標(biāo)圖像的亮度矩陣，s為相應(yīng)的光源方向矩陣。所述步驟(5)中，具體步驟包括：(5-1)利用函數(shù)表示待重構(gòu)材質(zhì)的表面，定義參數(shù)，構(gòu)成梯度空間；(5-2)根據(jù)已計算出的法向信息，計算測量的梯度場信息；(5-3)使待重構(gòu)表面的測量梯度值與實際梯度的平方差的卷積最小，表達(dá)價值函數(shù)的離散形式，根據(jù)最小二乘的曲面重建方法求解，得到深度信息。所述步驟(5-1)具體為：待重構(gòu)材質(zhì)的表面記為z＝z(x,y)，則定義參數(shù)p與q如下，構(gòu)成梯度空間(p，q)∈R2；所述步驟(5-2)中，具體方法為，測量的梯度場信息p與q的計算方法為：其中nx，ny，nz分別為法向量n的三個分量，p與q構(gòu)成梯度空間(p，q)。所述步驟(5-3)的具體方法為：使待重構(gòu)表面的測量梯度值與實際梯度的平方差的卷積最小，對應(yīng)的價值函數(shù)ε的離散形式如下所示:其中和是經(jīng)過光度立體視覺方法計算的測量梯度p與q，而zx與zy是待恢復(fù)表面z的真實梯度值，根據(jù)最小二乘的曲面重建方法求解此最小化問題的最優(yōu)解，即計算出待重構(gòu)表面的深度信息z。本發(fā)明的有益效果為：(1)本發(fā)明適用于真實世界中所有可測量的材質(zhì)，利用BTF測量數(shù)據(jù)所有視角的圖像信息，對光度立體視覺方法進(jìn)行優(yōu)化，重構(gòu)材質(zhì)的表面朝向，進(jìn)而重構(gòu)深度信息；(2)本發(fā)明在計算材質(zhì)表面的法向信息階段，使輸入的圖像序列出現(xiàn)高光、陰影等非Lamertian漫反射部分的因素影響時，能計算出較為準(zhǔn)確的法向信息；在重構(gòu)深度信息階段，通過濾波，減少了測量梯度場的噪聲對深度計算的影響。附圖說明圖1為基于光度立體視覺方法對測量材質(zhì)的幾何特征進(jìn)行重構(gòu)的總體流程圖；圖2為計算目標(biāo)圖像對應(yīng)mask圖方法的流程圖；圖3(a)為實例中待重構(gòu)幾何特征的測量材質(zhì)圖像；圖3(b)為重構(gòu)出的法向圖；圖3(c)重構(gòu)出的未經(jīng)優(yōu)化的深度圖；圖3(d)為經(jīng)中值濾波方法優(yōu)化后的深度圖。具體實施方式：下面結(jié)合附圖與實施例對本發(fā)明作進(jìn)一步說明。如圖1所示，在采集BTF數(shù)據(jù)步驟中，利用相機(jī)光源陣列模式的真實感材質(zhì)測量裝置采集待恢復(fù)幾何特征的測量材質(zhì)的信息，并經(jīng)過多曝光-高動態(tài)范圍合成圖像、正視圖校準(zhǔn)、圖像預(yù)處理等數(shù)據(jù)預(yù)處理步驟，最終獲得測量材質(zhì)在不同視角、不同光源方向下的圖像，計算相應(yīng)圖像的灰度值，作為測量材質(zhì)在此視角此光源方向下的亮度信息。在測量材質(zhì)的法向信息計算步驟中，采用光度立體視覺的方法，選取BTF數(shù)據(jù)中，視角方向固定為正視方向(俯仰角和方位角都為零)，光源方向固定為某一俯仰角，變換方位角的目標(biāo)圖像的灰度值作為測量材質(zhì)在相應(yīng)光源方向的亮度值，根據(jù)其他所有視角下的圖像的亮度信息，修復(fù)目標(biāo)圖像的亮度信息，避免陰影、高光等非Lambertian的異常部分對恢復(fù)法向信息的影響。將修復(fù)的圖像的亮度信息與相應(yīng)的光源方向作為輸入，計算每一個像素位置上測量材質(zhì)的法向信息。在測量材質(zhì)的深度信息計算步驟中，采用最小二乘的曲面重建方法，利用光度立體視覺計算出的法向信息，估計出測量的梯度場，使曲面的梯度與測量的梯度的平方差的卷積價值函數(shù)最小，經(jīng)過計算求出離散的測量材質(zhì)的深度信息。由于測量的梯度場存在噪聲，對恢復(fù)的深度信息進(jìn)行中值濾波，將濾波后的深度信息作為重構(gòu)的結(jié)果。一種基于光度立體視覺的測量材質(zhì)幾何特征重構(gòu)方法，包括如下步驟：步驟1.BTF數(shù)據(jù)采集，利用相機(jī)光源陣列模式的真實感材質(zhì)測量裝置采集測量材質(zhì)，對采集的結(jié)果進(jìn)行預(yù)處理，得到BTF數(shù)據(jù)；步驟2.選取視角為正視方向，光源的俯仰角固定方位角變換的目標(biāo)圖像，計算目標(biāo)圖像的亮度信息，根據(jù)此光源方向下所有視角的BTF數(shù)據(jù)計算相應(yīng)目標(biāo)圖像的亮度均值；步驟3.對每幅目標(biāo)圖像計算相應(yīng)mask圖，以確保測量材質(zhì)的每個像素位置的數(shù)據(jù)是否可用，若不可用，利用目標(biāo)圖像的亮度均值更新目標(biāo)圖像的亮度值。步驟4.計算測量材質(zhì)的法向信息，輸入目標(biāo)圖像的亮度信息及相應(yīng)的光源方向，采用光度立體視覺方法計算法向信息；步驟5.計算測量材質(zhì)的深度信息，根據(jù)測量材質(zhì)的法向信息，計算測量的梯度場信息作為輸入，采用最小二乘的曲面重建方法計算測量材質(zhì)的深度信息；步驟6.對計算的深度信息進(jìn)行中值濾波，將濾波后的深度信息作為重構(gòu)的結(jié)果。所述步驟(1)包括如下步驟：步驟(1.1)：利用相機(jī)光源陣列模式的真實感材質(zhì)測量裝置采集不同視角、光源方向、與曝光時間下的測量材質(zhì)的數(shù)據(jù)。步驟(1.2)：多曝光-高動態(tài)范圍合成圖像(合成HDR)，通過材質(zhì)測量設(shè)備拍攝的圖像，利用每個曝光時間相對應(yīng)最佳細(xì)節(jié)的LDR圖像來合成相應(yīng)視角與光源方向下的HDR圖像。步驟(1.3)：正視圖校準(zhǔn)，由于拍攝時視角是俯仰角從0到90，方位角0到360度，并不都是正視圖像，這里根據(jù)相機(jī)內(nèi)外參數(shù)與裁剪邊長，讓該視角相機(jī)拍攝得到的像素按照正視視角相機(jī)的像素排列方式進(jìn)行重排列，最終獲得校準(zhǔn)后的正視圖像。所述步驟(2)包括如下步驟：步驟(2.1)：選取視角的俯仰角為0度、方位角為0度，光源方向的俯仰角固定為某一數(shù)值的所有圖像，作為目標(biāo)圖像。獲取目標(biāo)圖像的灰度信息，記為i，并計算這些目標(biāo)圖像相應(yīng)的光源方向，記為s。步驟(2.2)：對每幅目標(biāo)圖像對應(yīng)的所有視角下的圖像，獲取其灰度信息作為亮度值，對每一個像素位置，將這些圖像在這一點的亮度值升序排序，分別去掉最大的五個值與最小的五個值，取中值作為這幅目標(biāo)圖像在這一像素位置的亮度均值，記為i’。所述步驟(3)包括如下步驟：步驟(3.1)：對每幅目標(biāo)圖像，計算相應(yīng)的mask圖，用于標(biāo)記此圖像中每個像素位置的亮度值是否可用，初始mask圖的mask值標(biāo)記為1，記為可用；步驟(3.2)：更新mask圖，對每幅目標(biāo)圖像，每個像素位置，若i<0.2*i’，將此像素點視為受陰影影響，其mask值標(biāo)記為0；若i＞1.2*i’，將此像素點視為受高光影響，其mask值標(biāo)記為0；步驟(3.3)：對每一個像素位置，遍歷目標(biāo)圖像的mask圖，若mask值標(biāo)記為1的個數(shù)小于3，此像素位置無法通過光度立體視覺正確計算法向信息，將所有目標(biāo)圖像的此像素位置的亮度值i用亮度均值i’代替。所述步驟(4)包括如下步驟：步驟(4.1)：遍歷每一個像素位置，計算所有目標(biāo)圖像的亮度矩陣為I，相應(yīng)的光源方向矩陣為S；步驟(4.2)：根據(jù)光度立體視覺方法的公式(1)，計算出此像素位置的法向信息n；n＝(STS)-1STI公式(1)所述步驟(5)包括如下步驟：步驟(5.1)：待重構(gòu)材質(zhì)的表面記為z＝z(x,y)，則定義參數(shù)p與q如公式(2)，構(gòu)成梯度空間(p，q)∈R2；步驟(5.2)根據(jù)已計算出的法向信息，計算測量的梯度場信息p與q，計算公式如公式(3)；步驟(5.3)：使待重構(gòu)表面的測量梯度值與實際梯度的平方差的卷積最小，價值函數(shù)的離散形式如公式(4)，其中和是經(jīng)過光度立體視覺方法計算的測量梯度p與q，而zx與zy是待恢復(fù)表面的真實梯度值。根據(jù)最小二乘的曲面重建方法求解，即計算出待重構(gòu)表面的深度信息z。實施例一：選定毛衣織物的材質(zhì)如圖3(a)，作為待重構(gòu)的測量材質(zhì)，采用相機(jī)光源陣列模式的真實感材質(zhì)測量裝置拍攝數(shù)據(jù)。測量裝置包括工作臺，所述工作臺上固定拍攝支架，所述拍攝支架包括半圓弧形相機(jī)固定臂、半圓弧形光源旋轉(zhuǎn)臂和中心旋轉(zhuǎn)托盤，所述相機(jī)固定臂上架設(shè)有多臺相機(jī)，所述光源固定臂上架設(shè)有多個光源；拍攝支架和工作臺通過計算機(jī)串口編程控制。通過測量相機(jī)拍攝，并經(jīng)過多曝光-高動態(tài)范圍合成圖像(合成HDR)、正視圖校準(zhǔn)、圖像預(yù)處理等數(shù)據(jù)預(yù)處理步驟，獲得材質(zhì)在視角的俯仰角為0度到90度(間隔15度)，方位角為0度到360度(間隔15度)，光源方向為0度到90度(間隔15度)，方位角為0度到360度(間隔15度)拍攝的圖像共6561張，像素為256*256。選定視角方向為正視方向，光源方向俯仰角為15度的六個光源方向為目標(biāo)光源方向，對應(yīng)的六張圖像作為目標(biāo)圖像。步驟1.對六張目標(biāo)圖像計算灰度值，存儲到6*65536的矩陣intensity中，矩陣的每一行存儲了一張目標(biāo)圖像的256*256的所有像素點的亮度信息。將目標(biāo)圖像相應(yīng)的六個光源方向，轉(zhuǎn)化為笛卡爾坐標(biāo)系，存儲到6*3的矩陣S中；步驟2.對每個目標(biāo)光源方向，計算材質(zhì)在所有視角下的圖像的亮度均值。首先，對每個像素位置，將所有視角下的圖像的亮度值即灰度值按升序排序，然后分別去掉最大的五個值與最小的五個值，取中值作為材質(zhì)在這一光源方向、這一像素位置的亮度均值。將數(shù)據(jù)存儲到6*65536的矩陣intensityMean中；步驟3.初始化一個6*65536的全1矩陣mask，然后更新mask矩陣。遍歷每一張目標(biāo)圖像i＝1,2,3,…,6，對每一個像素位置j＝1,2,3,…,65536，遵循如下規(guī)則：1.若intensity(i,j)<0.2*intensityMean(i,j)，將此像素點視為受陰影影響，mask(i,j)標(biāo)記為0；2.若intensity(i,j)＞1.2*intensityMean(i,j)，將此像素點視為受高光影響，mask(i,j)值標(biāo)記為0。Mask矩陣更新結(jié)束后，按列j＝1,2,3…65536遍歷mask矩陣，若標(biāo)記為1的數(shù)小于3，此像素位置無法通過光度立體視覺正確計算法向信息，將矩陣intensity的第j列替換成intensityMean的第j列；步驟4.聲明一個3*65536的矩陣normal作為測量材質(zhì)的法向矩陣。遍歷所有的像素位置j＝1,2,3…65536，根據(jù)公式(1)求出每個像素位置的法向n，存儲到矩陣normal的第j列中。公式中的I為此處的第j列intensity，S為此處的光源方向矩陣S；步驟5.待重構(gòu)材質(zhì)的表面記為z＝z(x,y)，根據(jù)公式(3)計算測量的梯度場，根據(jù)最小二乘的曲面重建方法求解公式(4)，求得離散的測量材質(zhì)深度信息，存儲到256*256的矩陣Z中；步驟6.采用5*5的濾波窗口，對矩陣Z進(jìn)行濾波，得到測量材質(zhì)最終的深度信息。上述雖然結(jié)合附圖對本發(fā)明的具體實施方式進(jìn)行了描述，但并非對本發(fā)明保護(hù)范圍的限制，所屬領(lǐng)域技術(shù)人員應(yīng)該明白，在本發(fā)明的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動即可做出的各種修改或變形仍在本發(fā)明的保護(hù)范圍以內(nèi)。