本發(fā)明屬于計(jì)算機(jī)視覺與計(jì)算機(jī)圖形圖像處理領(lǐng)域，具體地說是一種RGBD數(shù)據(jù)流中關(guān)鍵幀的提取方法，該方法為基于RGBD數(shù)據(jù)流的三維重建中相機(jī)位姿估計(jì)優(yōu)化以及紋理重建的研究提供了更可靠的數(shù)據(jù)來源，對基于RGBD數(shù)據(jù)的三維重建技術(shù)的研究有著重要意義。

背景技術(shù)：

隨著深度傳感器的普及和三維重建技術(shù)的發(fā)展，近年來基于RGBD數(shù)據(jù)的三維模型重建的研究正在興起。與傳統(tǒng)基于RGB圖像的三維重建相比，深度圖像提供了場景的三維信息，極大地提高了三維重建的可行性和精度。而關(guān)鍵幀提取在相機(jī)的位姿估計(jì)、相機(jī)重定位以及紋理重建中都起到重要的作用。

目前針對三維重建的關(guān)鍵幀提取的方法可以分為以下三類：一是基于時間戳的方法，該類算法以時間戳或幀數(shù)為單位，每隔一定的時間或幀數(shù)提取數(shù)據(jù)作為關(guān)鍵幀。這類方法實(shí)現(xiàn)簡單、時間效率極高，關(guān)鍵幀的選取會受到掃描速率的影響；二是基于幀間運(yùn)動檢測的方法，該類方法計(jì)算每一幀數(shù)據(jù)與上一關(guān)鍵幀的相機(jī)相對位姿變換，根據(jù)大小決定是否加入關(guān)鍵幀序列；三是基于圖像特征的方法，如Philip等人根據(jù)幀間對應(yīng)特征點(diǎn)的數(shù)量提取關(guān)鍵幀。這類方法對相機(jī)的參數(shù)依賴性不高，但由于實(shí)際運(yùn)行效率問題，適合應(yīng)用在實(shí)時性要求不高的三維重建中。

上述關(guān)鍵幀提取方法通常會面臨關(guān)鍵幀的質(zhì)量較低問題，如深度圖像的噪聲、空洞以及RGB圖像的運(yùn)動模糊等，對相機(jī)位姿的優(yōu)化以及紋理提取等都有一定的影響。

技術(shù)實(shí)現(xiàn)要素：

為克服上述缺點(diǎn)，本發(fā)明的目的在于根據(jù)RGBD數(shù)據(jù)流的特點(diǎn)，結(jié)合三維重建的需求，利用局部精確的相機(jī)姿態(tài)，研究一種融合多幀數(shù)據(jù)，在盡量保持原始數(shù)據(jù)特征的情況下，提高數(shù)據(jù)質(zhì)量的關(guān)鍵幀提取方法。

為了達(dá)到上述目的，本發(fā)明提出了一種面向RGBD三維重建的關(guān)鍵幀提取方法，其包括以下步驟：

步驟(1)、將標(biāo)定后的深度相機(jī)和彩色相機(jī)采集的RGBD數(shù)據(jù)流按照時間戳分組，相鄰若干幀的深度圖像、RGB圖像和用視覺里程計(jì)估計(jì)的相機(jī)位姿為一組數(shù)據(jù)；

步驟(2)、對每一組數(shù)據(jù)，根據(jù)深度相機(jī)的內(nèi)部參數(shù)，將每一幀深度圖像映射到三維空間中，然后根據(jù)相機(jī)位姿向組內(nèi)第一幀深度圖像投影，得到投影深度圖像，投影的過程中更新投影深度圖像中相鄰的整數(shù)坐標(biāo)的像素值，對投影深度圖像的每一個像素，取與組內(nèi)第一幀深度圖像最接近的深度值為實(shí)際深度值；

步驟(3)、對投影深度圖像的每一個像素，根據(jù)相應(yīng)投影坐標(biāo)的誤差計(jì)算其權(quán)值，對組內(nèi)每一幀投影深度圖像，以加權(quán)平均的方式計(jì)算最終的深度關(guān)鍵幀的像素值；

步驟(4)、對每一組數(shù)據(jù)中的RGB圖像，根據(jù)彩色相機(jī)和深度相機(jī)的內(nèi)外參數(shù)以及深度關(guān)鍵幀的像素值，將組內(nèi)第一幀RGB圖像映射到三維空間中，然后根據(jù)每一幀的相機(jī)位姿分別向組內(nèi)其余幀的RGB圖像投影，用線性插值的方式計(jì)算每一個像素的灰度值，得到每一幀圖像對應(yīng)的投影RGB圖像；

步驟(5)、對每一幀輸入的RGB圖像，計(jì)算其運(yùn)動模糊程度，結(jié)合投影深度圖像的權(quán)值，計(jì)算相應(yīng)的投影RGB圖像中每一個像素對應(yīng)的權(quán)值，對組內(nèi)每一幀投影RGB圖像，以加權(quán)中位數(shù)的方式計(jì)算關(guān)鍵幀的灰度值。

其中，所述步驟(1)中，每一組數(shù)據(jù)的幀數(shù)為5。

其中，所述步驟(5)中，投影RGB圖像像素的權(quán)值計(jì)算同時考慮投影深度圖像像素的權(quán)值與圖像模糊程度。

本發(fā)明的原理在于：首先對于相機(jī)采集的RGBD數(shù)據(jù)流，將相鄰若干幀RGB和深度圖像劃分為一組，保證組內(nèi)數(shù)據(jù)的相似和連續(xù)性。根據(jù)深度相機(jī)內(nèi)參，將每一幀深度圖像映射到三維空間中得到對應(yīng)的三維點(diǎn)云，然后根據(jù)每一幀的相機(jī)位姿將三維點(diǎn)云投影到該幀所在組的第一幀深度圖像上，計(jì)算投影深度圖像和對應(yīng)的權(quán)值。以加權(quán)平均的方式融合組內(nèi)的所有投影深度圖像得到深度關(guān)鍵幀。根據(jù)深度相機(jī)和彩色相機(jī)的內(nèi)外參數(shù)以及深度關(guān)鍵幀的像素值，將每組第一幀RGB圖像映射到三維空間中得到對應(yīng)的三維點(diǎn)云，然后根據(jù)每一幀的相機(jī)位姿將三維點(diǎn)云分別投影到組內(nèi)的每一幀RGB圖像上，利用線性插值的方法計(jì)算像素灰度值，得到投影RGB圖像。在計(jì)算投影RGB圖像的權(quán)值時，考慮對應(yīng)投影深度圖像的權(quán)值以及RGB圖像的運(yùn)動模糊程度，對于運(yùn)動模糊程度低的RGB圖像，對應(yīng)的投影RGB圖像賦予更高的權(quán)值。最后，以加權(quán)中位數(shù)的方法融合組內(nèi)所有的投影RGB圖像，得到RGB關(guān)鍵幀。

本發(fā)明中深入分析了三維重建中對RGBD關(guān)鍵幀的需求，與現(xiàn)有的一般針對三維重建的關(guān)鍵幀提取技術(shù)相比的優(yōu)點(diǎn)在于：

(1)、考慮深度相機(jī)采集的原始數(shù)據(jù)質(zhì)量較低的特點(diǎn)，以及局部相機(jī)位姿估計(jì)的高精度特點(diǎn)，通過融合多幀深度圖像有效減少了單幀深度圖像的空洞和噪聲。

(2)、考慮相機(jī)運(yùn)動過程中采集的原始數(shù)據(jù)存在運(yùn)動模糊的特點(diǎn)，結(jié)合深度圖像提供的像素平面到三維空間的映射能力，通過融合多幀RGB圖像有效減少了單幀RGB圖像可能帶來的運(yùn)動模糊，提高RGB圖像的精度。

附圖說明

圖1示出本發(fā)明中原深度圖像以及投影后對應(yīng)的投影深度圖像，其中圖1(a)為原始深度圖像，圖1(b)為對應(yīng)的投影深度圖像；

圖2示出本發(fā)明中原RGB圖像以及投影后對應(yīng)的投影RGB圖像，其中圖2(a)為原始RGB圖像，圖2(b)為對應(yīng)的投影RGB圖像；

圖3示出本發(fā)明中融合前后的深度圖像關(guān)鍵幀，其中圖3(a)為融合前的深度圖像，圖3(b)為融合后的深度圖像；

圖4示出本發(fā)明中融合前后的RGB圖像關(guān)鍵幀，其中圖4(a)為融合前的RGB圖像，圖4(b)為融合后的RGB圖像；

圖5示出本發(fā)明的一種面向RGBD三維重建的關(guān)鍵幀提取的原理圖。

具體實(shí)施方式

結(jié)合附圖對本發(fā)明實(shí)施例進(jìn)行詳細(xì)的描述。

本發(fā)明的實(shí)施過程主要分成四個步驟：RGBD數(shù)據(jù)幀分組、投影深度圖像計(jì)算、投影RGB圖像計(jì)算、投影數(shù)據(jù)融合。

步驟一、RGBD數(shù)據(jù)幀的分組

對于給定的已配準(zhǔn)的RGBD數(shù)據(jù)流Input₁～I(xiàn)nput_n，將時間戳相鄰的若干幀RGB圖像(以C₁～C_k為例)、深度圖像(以D₁～D_k為例)和對應(yīng)的相機(jī)位姿(以T₁～T_k為例)分為一組。

步驟二、投影深度圖像計(jì)算

其主要步驟為：

步驟(2.1)根據(jù)深度相機(jī)內(nèi)部參數(shù)K_d將D₁～D_k中的每一個像素點(diǎn)分別映射到三維空間中，具體為：

p＝K_d*(u,v,d)^T (1)

其中，p為映射后的三維點(diǎn)坐標(biāo)，K_d為深度相機(jī)的內(nèi)參矩陣(3*3)，u、v為原始像素坐標(biāo)，d為該像素坐標(biāo)下對應(yīng)的深度值。

步驟(2.2)通過相機(jī)位姿矩陣，將每一幀的點(diǎn)云數(shù)據(jù)轉(zhuǎn)化到所在組內(nèi)第一幀的相機(jī)坐標(biāo)系下，具體為：

pr＝T₁^-1*T_i*p (2)

其中，pr為對應(yīng)第一幀相機(jī)坐標(biāo)系下的三維點(diǎn)云坐標(biāo)，T₁為所在組第一幀的相機(jī)位姿矩陣，T_i為第i幀的相機(jī)位姿矩陣。

步驟(2.3)根據(jù)深度相機(jī)內(nèi)部參數(shù)K_d，將三維點(diǎn)云映射到像素坐標(biāo)系下，得到投影深度圖像中對應(yīng)的像素坐標(biāo)。具體為：

其中，px,py為映射后的像素坐標(biāo)值，dr為對應(yīng)的深度值。

步驟(2.4)由于步驟(2.3)中得到的像素坐標(biāo)px,py通常不為整數(shù)，需要更新投影深度圖像中與之相鄰的4個像素坐標(biāo)。對于多個三維點(diǎn)映射到同一個像素坐標(biāo)的情況，取其深度值為離第一幀原始深度圖像最接近的值。

步驟三、投影深度圖像融合

步驟(3.1)對投影深度圖像的每一個像素ur,vr，根據(jù)最終取得的深度值dr和相應(yīng)的像素坐標(biāo)px,py，計(jì)算該像素對應(yīng)的權(quán)值。對于沒有被映射到的像素，權(quán)值設(shè)為0。

其中，w_d(ur,vr)為投影深度圖像像素的權(quán)值。

步驟(3.2)對于深度關(guān)鍵幀中的每一個像素，根據(jù)組內(nèi)所有投影深度圖像和權(quán)值，定義其深度值d_keyframe為：

其中，d_keyframe為該組融合的深度關(guān)鍵幀的像素值，dⁱ為第i幀圖像對應(yīng)的投影深度圖像在該像素下的深度值，為相應(yīng)的權(quán)值。

步驟四、投影RGB圖像計(jì)算

其主要為：

步驟(4.1)根據(jù)彩色相機(jī)內(nèi)參矩陣K_c將每組第一幀RGB圖像C₁中的每一個像素點(diǎn)和在深度圖像中對應(yīng)的深度d_c映射到三維空間中，具體為：

p_c(x,y,z)＝K_c*(u_c,v_c,d_c)^T (6)

其中，p_c為映射后的三維點(diǎn)坐標(biāo)，u_c,v_c為RGB圖像中的像素坐標(biāo)，d_c為該像素坐標(biāo)在對應(yīng)深度圖像中的深度值。

步驟(4.2)通過相機(jī)位姿矩陣，將點(diǎn)云數(shù)據(jù)分別轉(zhuǎn)化到組內(nèi)每一幀所在的相機(jī)坐標(biāo)系下，具體為：

pr_c＝T₁^-1*T_i*p_c (7)

其中，pr_c為對應(yīng)幀相機(jī)坐標(biāo)系下的三維點(diǎn)云坐標(biāo)。

步驟(4.3)根據(jù)彩色相機(jī)內(nèi)部參數(shù)K_c，將三維點(diǎn)云映射到像素坐標(biāo)系下，得到其在投影RGB圖像中對應(yīng)的像素坐標(biāo)。具體為：

其中，px_c,py_c,dr_c為三維點(diǎn)云在投影RGB圖像中的像素坐標(biāo)及深度值。

步驟(4.4)由于步驟(4.3)中得到的像素坐標(biāo)px_c,py_c通常不為整數(shù)，需要從對應(yīng)幀的原始RGB圖像中線性插值得到投影RGB圖像中像素坐標(biāo)u_c,v_c的灰度值。

步驟五、投影RGB圖像融合

步驟(5.1)對每一幀RGB圖像C_i，估計(jì)其運(yùn)動模糊程度blur_i，對于投影RGB圖像的每一個像素，結(jié)合對應(yīng)的投影深度圖像的每一個像素的權(quán)值，計(jì)算其權(quán)值：

其中，為第i幀投影RGB圖像像素的權(quán)值。

步驟(5.2)對RGB關(guān)鍵幀中的每一個像素，根據(jù)組內(nèi)所有投影RGB圖像的灰度值和權(quán)值，計(jì)算其灰度值為：

其中，c_keyframe為該組融合的RGB關(guān)鍵幀的像素值。