本發(fā)明涉及人體掃描技術(shù)領(lǐng)域，具體涉及一種基于圖像局部配準(zhǔn)的全景去虛影方法。
背景技術(shù)：
三維人體掃描技術(shù)通過(guò)人體掃描儀，對(duì)人體全身或局部進(jìn)行掃描，形成人體的圖像或記錄，可以廣泛應(yīng)用于各種領(lǐng)域，通過(guò)對(duì)局部進(jìn)行掃描，然后將掃描的圖像進(jìn)行拼接形成全景圖像，因此圖像拼接是全景圖像合成中關(guān)鍵技術(shù)之一，拼接的結(jié)果影響全景預(yù)覽的觀感。目前，即便以最優(yōu)化攝像機(jī)的全局方向和焦距進(jìn)行全景合成，由于遮擋或者曝光的差異，最后的拼接圖在某些地方仍舊有些模糊和重影。
技術(shù)實(shí)現(xiàn)要素：
本發(fā)明根據(jù)上述現(xiàn)有技術(shù)中存在的問(wèn)題，提供一種基于圖像局部配準(zhǔn)的全景去虛影方法。主要應(yīng)用在人體掃描領(lǐng)域，利用圖像全景預(yù)覽方法，輔助定位各個(gè)攝像機(jī)的配準(zhǔn)情況，防止個(gè)別相機(jī)的標(biāo)定誤差較大的情況。
為解決上述問(wèn)題，本發(fā)明采用的技術(shù)方案是：一種基于圖像局部配準(zhǔn)的全景去虛影方法，其特征在于，包括以下步驟：
對(duì)圖像采集裝置得到的姿態(tài)參數(shù)進(jìn)行優(yōu)化；
計(jì)算3D空間點(diǎn)的原始特征位置；
將3D空間點(diǎn)投影在每一幀圖像得到每幀圖像的目標(biāo)位置；
計(jì)算每幀圖像的目標(biāo)位置與原始特征位置之間的差別構(gòu)成局部偏移估計(jì)；
將局部偏移估計(jì)進(jìn)行內(nèi)插形成一個(gè)修正向量場(chǎng)；
通過(guò)修正向量場(chǎng)計(jì)算修正值，并將修正值疊加到原始特征位置。
進(jìn)一步地，所述優(yōu)化對(duì)攝像機(jī)的姿態(tài)參數(shù)，具體包括：采用全局光束法平差對(duì)圖像采集裝置的姿態(tài)參數(shù)進(jìn)行優(yōu)化，光束法平差是以共線(xiàn)方程式作為數(shù)學(xué)模型，像點(diǎn)的像平面坐標(biāo)觀測(cè)值是未知數(shù)的分線(xiàn)性函數(shù)，經(jīng)過(guò)線(xiàn)性化后按照最小二乘法原理進(jìn)行計(jì)算。
進(jìn)一步地，計(jì)算3D空間點(diǎn)的原始特征位置；具體包括，對(duì)掃描三維物體進(jìn)行后投影并計(jì)算后投影的平均值，根據(jù)該平均值計(jì)算三維物體的3D空間點(diǎn)的原始特征位置。
進(jìn)一步地，通過(guò)修正向量場(chǎng)計(jì)算修正值，并將修正值疊加到原始特征位置，具體包括：
對(duì)修正向量場(chǎng)執(zhí)行逆卷繞算法計(jì)算修正值，即將稀疏的修正值uij置于投影位置上，用雙線(xiàn)性核函數(shù)進(jìn)行插值獲取其他位置的修正值，從而得到局部配準(zhǔn)的對(duì)應(yīng)關(guān)系，根據(jù)修正值與原始視角對(duì)應(yīng)的圖像可以獲取新圖像所有位置的像素內(nèi)容。
進(jìn)一步地，所述優(yōu)化對(duì)圖像采集裝置的姿態(tài)參數(shù)；具體包括：對(duì)圖像采集裝置采集的圖像建立局部配準(zhǔn)。
進(jìn)一步地，所述局部配準(zhǔn)采用分層修正場(chǎng)估計(jì)方法實(shí)現(xiàn)，包括以下步驟：在一定平移范圍內(nèi)做一個(gè)全搜索，采用分層修正估計(jì)：建立一個(gè)圖像金字塔，使用金字塔當(dāng)前處理層級(jí)的一些種子用來(lái)初始化下一層的搜索。
進(jìn)一步地，所述使用金字塔當(dāng)前處理層級(jí)的一些種子用來(lái)初始化下一層的搜索；具體為：在金字塔中尺寸最小的圖像層上搜索對(duì)應(yīng)的局部配準(zhǔn)結(jié)果，獲得離散像素；然后將該層估計(jì)的修正場(chǎng)結(jié)果作為初始值來(lái)對(duì)下一層做局部搜索；直至金字塔的最底層。
與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：
本發(fā)明有以下優(yōu)點(diǎn)：
1.針對(duì)全景圖像拼接中較難處理的虛影現(xiàn)象進(jìn)行分析，實(shí)現(xiàn)了圖像內(nèi)容一致性，通過(guò)本發(fā)明方法，可以有效消除兩張拼接圖中的虛影。
2.通過(guò)分析圖像輪廓和特征點(diǎn)，實(shí)現(xiàn)圖像局部匹配，合成后的全景圖像輪廓清晰，保持真實(shí)的場(chǎng)景物體邊界。
3.針對(duì)圖像特征匹配，提供了一種基于金字塔的分層修正場(chǎng)估計(jì)方法，該方法速度較快，并且準(zhǔn)確度很高。
附圖說(shuō)明
圖1為本發(fā)明提出一種基于圖像局部配準(zhǔn)的全景去虛影方法流程圖。
具體實(shí)施方式
以下結(jié)合附圖對(duì)本發(fā)明進(jìn)行進(jìn)一步的說(shuō)明。
參見(jiàn)圖1，為本發(fā)明提出一種基于圖像局部配準(zhǔn)的全景去虛影方法流程圖。
如圖1所示，一種基于圖像局部配準(zhǔn)的全景去虛影方法，其特征在于，包括以下步驟：
步驟101，對(duì)圖像采集裝置得到的姿態(tài)參數(shù)進(jìn)行優(yōu)化；
步驟102，計(jì)算3D空間點(diǎn)的原始特征位置；
步驟103，將3D空間點(diǎn)投影在每一幀圖像得到每幀圖像的目標(biāo)位置；
步驟104，計(jì)算每幀圖像的目標(biāo)位置與原始特征位置之間的差別構(gòu)成局部偏移估計(jì)；
步驟105，將局部偏移估計(jì)進(jìn)行內(nèi)插形成一個(gè)修正向量場(chǎng)；
步驟106，通過(guò)修正向量場(chǎng)計(jì)算修正值，并將修正值疊加到原始特征位置。
本發(fā)明實(shí)施例中，為了確保輪廓邊界的一致性，本發(fā)明對(duì)拼接圖像的公共區(qū)域進(jìn)行分析，得到每行像素的關(guān)鍵位置，對(duì)用于圖像拼接的兩張圖進(jìn)行特征點(diǎn)提取，并且利用顏色距離和領(lǐng)域梯度核距離對(duì)特征點(diǎn)進(jìn)行匹配。由于拼接區(qū)域的圖像內(nèi)容存在一定的順序約束，可通過(guò)分析特征點(diǎn)的視差來(lái)計(jì)算修正值，然后用于雙線(xiàn)性插值。
在步驟101中，所述對(duì)圖像采集裝置得到的姿態(tài)參數(shù)進(jìn)行優(yōu)化，具體包括：采用全局光束法平差對(duì)圖像采集裝置的姿態(tài)參數(shù)進(jìn)行優(yōu)化，光束法平差是以共線(xiàn)方程式作為數(shù)學(xué)模型，像點(diǎn)的像平面坐標(biāo)觀測(cè)值是未知數(shù)的分線(xiàn)性函數(shù)，經(jīng)過(guò)線(xiàn)性化后按照最小二乘法原理進(jìn)行計(jì)算。
圖像采集裝置的姿態(tài)參數(shù)是對(duì)圖像采集裝置的定位，目的是使得圖像采集裝置能通過(guò)環(huán)境中的物體的圖像來(lái)確定物體的位置、姿態(tài)等，通過(guò)圖像采集裝置采集的二維圖像提取三維空間信息。圖像采集裝置為設(shè)置在三維物體周?chē)臄z像機(jī)組。
在步驟102中，計(jì)算3D空間點(diǎn)的原始特征位置；具體包括，對(duì)掃描三維物體進(jìn)行后投影并計(jì)算后投影的平均值，根據(jù)該平均值計(jì)算三維物體的3D空間點(diǎn)的原始特征位置。
在步驟106中，通過(guò)修正向量場(chǎng)計(jì)算修正值，并將修正值疊加到原始特征位置，具體包括：
對(duì)修正向量場(chǎng)執(zhí)行逆卷繞算法計(jì)算修正值，即將稀疏的修正值置于投影位置上，用雙線(xiàn)性核函數(shù)進(jìn)行插值獲取其他位置的修正值，從而得到局部配準(zhǔn)的對(duì)應(yīng)關(guān)系，根據(jù)修正值與原始視角對(duì)應(yīng)的圖像可以獲取新圖像所有位置的像素內(nèi)容。
在估計(jì)完攝像機(jī)的參數(shù)之后，利用3D位置向后投影的平均值來(lái)計(jì)算3D空間點(diǎn)xi的位置：
其中表示第j個(gè)視角中與xi的對(duì)應(yīng)投影點(diǎn)，其通過(guò)第j個(gè)視角的攝像機(jī)參數(shù)實(shí)現(xiàn)與后向投影實(shí)現(xiàn)對(duì)應(yīng)，3D位置向后投影的平均值由多個(gè)視角對(duì)應(yīng)的后向投影加權(quán)平均所得；Rj第j視角對(duì)應(yīng)攝像機(jī)中的外參旋轉(zhuǎn)矩陣、fj指第j個(gè)視角對(duì)應(yīng)攝像機(jī)的焦距，cij指第j個(gè)視角對(duì)應(yīng)的3D點(diǎn)xi的權(quán)重。
將3D空間點(diǎn)xi其投影到得到投影位置
其中，Kj指第j個(gè)視角對(duì)應(yīng)攝像機(jī)中的內(nèi)參矩陣；
由于3D空間點(diǎn)存在一組與視角對(duì)應(yīng)的二維圖像特征點(diǎn)間的位置匹配關(guān)系，因此投影位置和原始特征位置xij之間的差別構(gòu)成一組局部偏移估計(jì)以此為基礎(chǔ)，進(jìn)行內(nèi)插形成一個(gè)稠密的修正向量場(chǎng)uj(xi)。
在步驟101中，所述對(duì)圖像采集裝置得到的姿態(tài)參數(shù)進(jìn)行優(yōu)化；具體包括：對(duì)圖像采集裝置采集的圖像建立局部配準(zhǔn)。
進(jìn)一步地，所述局部配準(zhǔn)采用分層修正場(chǎng)估計(jì)方法實(shí)現(xiàn)，包括以下步驟：在一定平移范圍內(nèi)做一個(gè)全搜索，采用分層修正估計(jì)：建立一個(gè)圖像金字塔，使用金字塔當(dāng)前處理層級(jí)的一些種子用來(lái)初始化下一層的搜索。
進(jìn)一步地，所述使用金字塔當(dāng)前處理層級(jí)的一些種子用來(lái)初始化下一層的搜索；具體為：在金字塔中尺寸最小的圖像層上搜索對(duì)應(yīng)的局部配準(zhǔn)結(jié)果，獲得離散像素；然后將該層估計(jì)的修正場(chǎng)結(jié)果作為初始值來(lái)對(duì)下一層做局部搜索；直至金字塔的最底層。
本發(fā)明從運(yùn)動(dòng)估計(jì)入手，采用金字塔分層模塊下亞像素級(jí)運(yùn)動(dòng)估計(jì)，大大降低了運(yùn)算量，提高了運(yùn)動(dòng)估計(jì)的精度，有助于獲取更好的超分辨率重建效果。
本發(fā)明采用光束平差法可以實(shí)現(xiàn)攝像機(jī)的姿態(tài)估計(jì)，但是在一些特定的情況下，如兩張攝像機(jī)畸變矯正后圖像的場(chǎng)景水平線(xiàn)重疊，這時(shí)采用光束平差法求解反而較為復(fù)雜。在兩幅圖像或者兩個(gè)塊之間建立配準(zhǔn)，最簡(jiǎn)單的方法是相對(duì)一幅圖平移另一幅圖。本發(fā)明提出一種分層運(yùn)動(dòng)估計(jì)方法來(lái)實(shí)現(xiàn)局部配準(zhǔn)，具體實(shí)施為：
在一定平移范圍內(nèi)做一個(gè)全搜索，整數(shù)或者亞像素級(jí)的步長(zhǎng)都可以。為了加速搜索過(guò)程，我們通常采用分層運(yùn)動(dòng)估計(jì)：建立一個(gè)金字塔，首先在最粗糙的層上搜索數(shù)量較少的離散的像素。之后，將該層的運(yùn)動(dòng)估計(jì)結(jié)果作為初始值來(lái)對(duì)下一層做更小范圍局部的搜索。
上面結(jié)合附圖對(duì)本發(fā)明優(yōu)選實(shí)施方式作了詳細(xì)說(shuō)明，但是本發(fā)明不限于上述實(shí)施方式，在本領(lǐng)域普通技術(shù)人員所具備的知識(shí)范圍內(nèi)，還可以在不脫離本發(fā)明宗旨的前提下做出各種變化。不脫離本發(fā)明的構(gòu)思和范圍可以做出許多其他改變和改型。應(yīng)當(dāng)理解，本發(fā)明不限于特定的實(shí)施方式，本發(fā)明的范圍由所附權(quán)利要求限定。