本發(fā)明涉及一種基于3D局部剛性和深度圖引導(dǎo)各向異性平滑的場景流估計方法。

背景技術(shù)：

場景流是3維稠密運動場，表示實際場景中每個點的3D運動。場景流表示場景的真實運動場，并且包含深度信息，因此場景流在智能人機交互，3維重建和車輛輔助駕駛等領(lǐng)域具有廣泛的應(yīng)用前景。為使場景流能夠廣泛應(yīng)用，準(zhǔn)確估計場景流是一個至關(guān)重要的問題。場景流求解是一個病態(tài)問題，需要附加多種假設(shè)約束才能求解。

場景流的概念是卡內(nèi)基梅隆大學(xué)的Vedula于1999年首次提出。場景流估計主要分為：基于雙目立體視覺的場景流估計和深度傳感器的場景流估計。隨著深度傳感器技術(shù)的發(fā)展和廣泛應(yīng)用，基于彩色圖和深度圖(RGB-D)的場景流估計，引起了研究者越來越多的關(guān)注?；谏疃葌鞲衅鞯膱鼍傲鞴烙?，可以利用單傳感器計算場景流，由于具備準(zhǔn)確的深度初值，因此與基于雙目立體視覺的場景流估計相比，可以減小計算量和計算的復(fù)雜度，具有廣泛的發(fā)展前景。隨著Kinect V1的出現(xiàn)，Gottfried較早提出了一種基于RGB-D的場景流求解算法。Quiroga提出局部和全局結(jié)合的方法求解場景流，局部和全局結(jié)合更有利于得到精確、稠密的場景流。隨后利用全局約束結(jié)合自適應(yīng)的TV正則化求解稠密場景流。Ferstl提出各向異性擴散張量的全總變分正則化。Sun提出一種分層求解策略，取得了較好的效果。但是現(xiàn)有技術(shù)，很少有人注重求解場景流精度的同時還注重研究運動邊緣的保持效果。

本方案的根據(jù)目前的研究現(xiàn)狀，考慮存在的技術(shù)問題，提出一種場景流求解思路。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提出一種基于3D局部剛性和深度圖引導(dǎo)各向異性平滑的場景流估計方法。

本發(fā)明的目的是這樣實現(xiàn)的：

包括以下步驟：

S1利用RGB-D傳感器同時獲取對齊的紋理圖像和深度圖像；

S2構(gòu)建場景流估計能量泛函，結(jié)合3D局部剛性表面假設(shè)和全局約束方法求解稠密場景流，場景流能量函數(shù)的形式為：

由數(shù)據(jù)項和平滑項組成，為場景流，λ為平衡因子；

S3利用紋理圖像和深度圖像，結(jié)合3D局部剛性表面假設(shè)設(shè)計數(shù)據(jù)項；

S4結(jié)合深度圖驅(qū)動的各向異性擴散張量和全變分正則化設(shè)計平滑項；

S5創(chuàng)建圖像金字塔，采用由粗到精的求解策略；利用對偶方法求解場景流，引入場景流輔助變量：

其中為場景流輔助變量，θ為常量；

將能量函數(shù)分解成基于數(shù)據(jù)項的優(yōu)化求解和基于平滑項的優(yōu)化求解兩部分，兩部分進(jìn)行交替求解。

所述的步驟S1包括：

在t時刻和t+1時刻，利用RGB-D相機獲取場景中運動目標(biāo)的紋理圖像和深度圖像，并進(jìn)行視角對齊；獲取的深度圖邊緣處會有空洞和深度值缺失，利用三邊濾波對深度圖進(jìn)行修復(fù)。

步驟S3包括：

基于3D局部剛性表面的數(shù)據(jù)項，即設(shè)在3D場景局部表面滿足運動一致性，數(shù)據(jù)項包括基于魯棒懲罰約束的亮度恒常和深度恒常，亮度恒常是基于紋理圖像的約束，為在圖像中約束3D場景流，數(shù)據(jù)項表示成場景流的函數(shù)，將場景流通過透視投影變換映射到2維空間，得到其2維映射光流，通過場景流表示的映射光流在圖像域約束3D場景流；深度恒常是基于深度圖像的約束，t時刻深度圖的深度值加上場景流z方向分量值，與t+1時刻深度圖像的深度值相等。

場景流在圖像域的映射光流為用表示第1幀圖像點x₁(x,y)在第2幀圖像估算的位置點，則有：

根據(jù)亮度恒常得到：

其中：I₁(x)為x點在第1幀圖像的灰度值，I₂(W(x,v))為第2幀圖像W(x,v)點的灰度值；

根據(jù)深度恒常得到：

其中：Z₁(x)為x點深度值，為點的深度值，v_z(x)為場景流在z方向分量；

推出殘余項分別為：

其中：D＝(0,0,1)^T；

引入的魯棒懲罰函數(shù)：

Ψ(S²)＝(S²+ε²)^α

取ε＝0.001，α＝0.45；

進(jìn)一步推出數(shù)據(jù)項：

數(shù)據(jù)項采用3D局部剛性表面，在圖像域的表示形式為將約束方程設(shè)定在x的鄰域N(x)內(nèi)成立：

步驟S4包括：

定義深度圖驅(qū)動的各向異性擴散張量和全變分相結(jié)合的平滑項為：

其中v_d(d＝1,2,3)對應(yīng)于場景流的3個分量：v_x,v_y,v_z，T^1/2為各向異性擴散張量，定義為：

其中Z(x)為深度圖，x為深度圖的像素點,為深度圖的梯度，為的法向量；通過引入各向異性擴散張量，減弱梯度方向的平滑程度。

步驟S5包括：

S5.1場景流能量函數(shù)求解采取多分辨率細(xì)化的金字塔求解策略，并把該層金字塔求解的場景流值作為下一層的求解初值；

S5.2對偶方法求解場景流是引入輔助變量將場景流能量泛函分解成兩個相互聯(lián)系的能量泛函：基于數(shù)據(jù)項的能量泛函，類似于最小二乘的求解問題，用高斯牛頓算法求解；基于平滑項的能量泛函，用基于Legendre-Fenchel變換的ROF模型的求解方法進(jìn)行求解，并將這兩個能量泛函交替優(yōu)化求解，得到最終的估計的場景流。

步驟S5.2包括：

最終的場景流能量泛函為：

引入場景流輔助變量則上式變?yōu)?

基于數(shù)據(jù)項的優(yōu)化求解：

通過固定不變求解

數(shù)據(jù)項最優(yōu)化求解問題，類似于最小二乘的求解問題，利用高斯牛頓迭代求解，設(shè)其中即設(shè)初始值已知，求

則上式變?yōu)?

進(jìn)行泰勒展開：

求的導(dǎo)數(shù)，并令導(dǎo)數(shù)等于0，最后求得的表達(dá)式，并用迭代策略求解，

基于平滑項的優(yōu)化求解符合ROF去噪模型，利用基于Legendre-Fenchel變換的ROF模型求解方法進(jìn)行求解。

本發(fā)明的有益效果在于：

本發(fā)明利用彩色圖像的像素間色差與像素之間的位置關(guān)系來共同確定空域濾波器權(quán)值，進(jìn)而解決了修復(fù)過程中邊緣失真的問題，為減少修復(fù)誤差，結(jié)合顏色信息與結(jié)構(gòu)相似度系數(shù)共同確定值域濾波器權(quán)值。

附圖說明

圖1為本發(fā)明的設(shè)計流程圖。

圖2為本發(fā)明的映射關(guān)系圖。

具體實施方式

下面結(jié)合附圖對本發(fā)明進(jìn)行更詳盡的描述。

3D局部剛性表面假設(shè)和基于深度圖驅(qū)動的各向異性全變分正則化共同約束場景流。3D局部剛性表面假設(shè)可以使計算場景流更精確；基于深度圖驅(qū)動的各向異性全變分正則化可以得到稠密且運動邊緣清晰的場景流，二者結(jié)合可以得到稠密、精確，運動邊緣清晰的場景流。

S1.獲取場景紋理圖像和深度圖像，并對紋理圖像和深度圖像進(jìn)行視角對齊，為保證場景流計算的準(zhǔn)確度和深度圖引導(dǎo)場景流各向異性平滑的可靠性，利用紋理圖像進(jìn)行修復(fù)的方法，對深度圖進(jìn)行三邊濾波修復(fù)。

S2.使用變分法求解場景流，設(shè)計場景流求解的能量函數(shù)，附加多種約束條件解決場景流計算的病態(tài)問題，結(jié)合3D局部剛性表面假設(shè)和全局約束方法約束場景流，求解能量函數(shù)的極小值估計場景流。

S3.場景流能量泛函數(shù)據(jù)項設(shè)計?；?D局部剛性表面假設(shè)的數(shù)據(jù)項，即假設(shè)在3D場景局部表面滿足運動一致性。基于魯棒懲罰約束的亮度恒常假設(shè)和深度恒常假設(shè)共同構(gòu)建數(shù)據(jù)項。

S4.場景流能量泛函平滑項設(shè)計。平滑項使用基于深度圖驅(qū)動的各向異性全變分正則化平滑場景流，避免運動邊界模糊。

S5.為解決大位移問題，構(gòu)建圖像金字塔求解場景流。對場景流能量泛函在由粗到精不同分辨率圖像上進(jìn)行求解，并把該層金字塔求解的場景流值作為下一層的求解初值；利用對偶模型，引入場景流輔助變量分步求解場景流，將場景流能量函數(shù)數(shù)據(jù)項和平滑項分離開來，進(jìn)行分步交替求解，交替求解不僅可以降低計算難度，還有助于將不同的算法整合到一個算法框架中。數(shù)據(jù)項最優(yōu)化求解，類似于最小二乘問題，利用高斯牛頓迭代求解；平滑項最優(yōu)化求解，符合ROF(Rudin,Osher,Fatemi)去噪模型，用一種基于Legendre-Fenchel變換的ROF模型求解方法進(jìn)行求解。

S1.在t時刻和t+1時刻，利用Kinect V1相機獲取場景中運動目標(biāo)的紋理圖像和深度圖像，并進(jìn)行視角對齊。

受RGB-D相機設(shè)備原理限制，深度圖邊緣處會有空洞和深度值缺失，因此為保證場景流計算的準(zhǔn)確度和深度圖引導(dǎo)場景流各向異性平滑的可靠性，先對深度圖進(jìn)行修復(fù)。利用結(jié)合紋理圖像進(jìn)行修復(fù)的方法，借助與深度圖視角對齊的紋理圖像信息的方法，對深度圖邊緣的保持具有較好的效果。利用三邊濾波修復(fù)模型對深度圖像進(jìn)行修復(fù)，彌補傳統(tǒng)雙邊濾波模型在一定程度上會造成圖像特征模糊的不足。本發(fā)明利用彩色圖像的像素間色差與像素之間的位置關(guān)系來共同確定空域濾波器權(quán)值，進(jìn)而解決了修復(fù)過程中邊緣失真的問題，為減少修復(fù)誤差，結(jié)合顏色信息與結(jié)構(gòu)相似度系數(shù)共同確定值域濾波器權(quán)值。

S2.構(gòu)建場景流能量泛函求解場景流，通過求解能量函數(shù)的極小值來估計場景流。場景流是一種3維稠密運動場，本發(fā)明通過施加多種約束條件進(jìn)行求解，定義場景流的能量泛函的表達(dá)式：

由數(shù)據(jù)項和平滑項組成，為場景流，λ為平衡因子。

S3.場景流能量泛函數(shù)據(jù)項設(shè)計。亮度恒常假設(shè)和深度恒常假設(shè)共同構(gòu)建數(shù)據(jù)項。

亮度恒常假設(shè)和深度恒常假設(shè)。恒常假設(shè)是在圖像域，為在圖像中約束三維流場，數(shù)據(jù)項需要表示成場景流與深度Z的函數(shù)。需要將場景流通過透視投影變換映射到二維空間，得到二維映射光流，映射關(guān)系圖如圖2：

如圖1所示，攝像機在t時刻的一幀圖像中的一點為x₁(x,y),其對應(yīng)三維空間坐標(biāo)為X₁(X,Y,Z),在t+1時刻該點的位置為x₂(x',y')，X₂(X',Y',Z')。光流表示為場景流表示為則X₁,X₂與場景流的關(guān)系可表示為：

已知二維和三維空間的轉(zhuǎn)換關(guān)系為：

M為攝像機內(nèi)參數(shù)矩陣。有(3)(4)式可得：

光流的u分量：

對泰勒展開：

當(dāng)則可以得到

又因為：于是

同理可得光流分量：

于是：

令表示x₁(x,y)點在第2幀估算的位置所以：

根據(jù)亮度恒常假設(shè)得到：

其中：I₁(x)為x點在第1幀圖像的灰度值，為點在第2幀圖像的灰度值。

根據(jù)深度恒常假設(shè)得到：

其中：Z₁(x)為x點深度值，為點的深度值，v_z(x)為場景流在z方向分量。

因此根據(jù)公式(13)和公式(14)可推出殘余項分別為：

其中：D＝(0,0,1)^T

為抑制光流數(shù)據(jù)項中的集外點，同時保證能量泛函的凸性與可微性引入形如的公式(17)的魯棒懲罰函數(shù)，取ε＝0.001。

進(jìn)一步推出數(shù)據(jù)項：

對數(shù)據(jù)項進(jìn)行局部約束，將約束方程設(shè)定在x的鄰域N(x)內(nèi)成立：

S4.場景流能量泛函平滑項設(shè)計。平滑項使用基于深度圖驅(qū)動的各向異性全變分正則化平滑場景流，避免運動邊界模糊。

全變分正則化是非常有效的正則化方法，本專利定義深度圖的各向異性擴散張量和全變分相結(jié)合的平滑項為：

其中v_d(d＝1,2,3)對應(yīng)于場景流的三個分量：v_x,v_y,v_z，T^1/2為各向異性擴散張量，可定義：

其中Z(x)為深度圖,x為深度像素點，為的法向量，深度圖邊界往往與運動邊界重合，通過引入各向異性擴散張量，減弱梯度方向的平滑程度，而沿著邊緣方向的平滑不受影響，從而達(dá)到保持運動邊緣的目的。

S5.為解決大位移問題，構(gòu)建4層圖像金字塔求解場景流。對場景流能量泛函在由粗到精的不同分辨率的圖像上進(jìn)行求解，并把該層金字塔求解的場景流值作為下一層的求解初值。

利用對偶模型，引入場景流輔助變量分步求解場景流。將場景流能量函數(shù)數(shù)據(jù)項和平滑項分離開來，進(jìn)行分步交替求解，交替求解不僅可以降低計算難度，還有助于將不同的算法整合到一個算法框架中。數(shù)據(jù)項最優(yōu)化求解時，利用高斯牛頓迭代求解，平滑項最優(yōu)求解利用基于Legendre-Fenchel變換的ROF求解方法進(jìn)行求解。

最后得到能量函數(shù)的表達(dá)式：

引入場景流輔助變量則:

S5.數(shù)據(jù)項最優(yōu)化求解時，利用高斯牛頓迭代求解.

通過固定不變求解

假設(shè)其中即假設(shè)初始值已知，求即通過求其增量的形式求解。

則上式變?yōu)?

在處進(jìn)行泰勒展開得：

對于每一個點x對上式求的導(dǎo)數(shù)：

將提出：

其中：

場景流的求解是一個迭代方案，因此利用迭代的方案表示初始化則公式(28)可以表示為：

其中：E為單位陣，

其中：

Q₁₁＝f_x²I_x² (37)

Q₁₂＝Q₂₁＝f_xI_xf_yI_y (38)

Q₁₃＝Q₃₁＝f_xI_x[I_x(c_x-x)+I_y(c_y-y)] (39)

Q₂₂＝f_y²I_y² (40)

Q₂₃＝Q₃₂＝f_yI_y[I_x(c_x-x)+I_y(c_y-y)] (41)

Q₃₃＝[I_x(c_x-x)+I_y(c_y-y)]² (42)

其中：

R₁₁＝f_x²Z_x² (45)

R₁₂＝R₂₁＝f_xf_yZ_xZ_y (46)

R₁₃＝R₃₁＝f_xZ_x[Z_x(c_x-x)+Z_y(c_y-y)-Z] (47)

R₂₂＝f_y²Z_y² (48)

R₂₃＝R₃₂＝f_yZ_y[Z_x(c_x-x)+Z_y(c_y-y)-Z] (49)

R₃₃＝[Z_x(c_x-x)+Z_y(c_y-y)-Z]² (50)

S8.平滑項最優(yōu)化求解符合ROF去噪模型，可用對偶ROF模型求解。

通過固定不變求解v'：

利用Legendre-Fenchel(LF)變換進(jìn)行求解：

若:

LF變換為:

又因為滿足條件：

所以：

若令：

則原公式可變?yōu)椋?/p>

對于每一個點x,對上式求的偏導(dǎo)：

利用梯度下降法：

根據(jù)散度定理，由上式可得：

對于每一個點x,對上式求u_d的偏導(dǎo)：

因此：

因此最后的迭代公式為：

針對場景流估計問題，本發(fā)明提出了一種基于3D局部剛性和深度圖驅(qū)動的各向異性全變分正則化的場景流估計方法。具體內(nèi)容包括：S1.利用RGB-D傳感器同時獲取對齊的紋理圖像和深度圖像，并用三邊濾波對深度圖進(jìn)行修復(fù)；S2.構(gòu)建場景流能量泛函，包括數(shù)據(jù)項和平滑項；S3.基于3D局部剛性表面假設(shè)的數(shù)據(jù)項設(shè)計；S4.基于深度圖引導(dǎo)的各向異性張量和全變分正則化的平滑項設(shè)計；S5.場景流的求解：為解決大位移問題，構(gòu)建圖像金字塔分層求解場景流；利用對偶模型分步求解，將能量函數(shù)分解成基于數(shù)據(jù)項的優(yōu)化求解和基于平滑項的優(yōu)化求解兩部分，兩部分進(jìn)行交替求解?；跀?shù)據(jù)項部分，利用高斯牛頓算法迭代求解；基于平滑項部分看作ROF去噪模型,利用一種基于Legendre-Fenchel變換的ROF模型求解方法進(jìn)行求解。