本發(fā)明屬于圖像處理、立體視覺
技術(shù)領(lǐng)域：
，具體講本發(fā)明涉及一種雙視點(diǎn)立體圖像中對(duì)象視差的調(diào)整方法。
背景技術(shù)：
：基于從兩個(gè)視點(diǎn)獲取的同一場(chǎng)景的立體像圖對(duì)，通過移動(dòng)兩個(gè)視點(diǎn)中匹配像素點(diǎn)在水平方向上的位置，從而使得每一像素點(diǎn)的視差發(fā)生改變，可以實(shí)現(xiàn)視差調(diào)整。根據(jù)是否使用深度圖像，可以將視差控制算法分為兩類：1)使用深度圖進(jìn)行視差調(diào)整的算法，這類方法通常需要精確的視差圖或深度圖來進(jìn)行深度調(diào)整，通常根據(jù)特定的需求來改變深度圖，并使用虛擬視點(diǎn)繪制技術(shù)來產(chǎn)生深度調(diào)整后的立體圖像。然而，深度圖的獲取還是一個(gè)正在研究的方向，高質(zhì)量的深度圖通常不容易得到，尤其是在對(duì)象的邊緣部分容易產(chǎn)生失真。2)不使用深度圖的視差調(diào)整算法，這類方法通常使用shifting或warping方法，直接對(duì)立體圖像進(jìn)行處理，不使用深度圖。然而，這種方法經(jīng)常產(chǎn)生圖像的變形和空洞。傳統(tǒng)視差平移方法廣泛的運(yùn)用在商業(yè)3D顯示中。該方法將左右圖像中被調(diào)整的對(duì)象水平移動(dòng)相同的距離，從而改變被調(diào)整對(duì)象的視差。然而，這種方法通常會(huì)改變對(duì)象在3D空間中的實(shí)際大小。這一副作用會(huì)顯著降低視差調(diào)整的效果?；趙arping的視差調(diào)整方法近些年發(fā)展迅速，該方法通過計(jì)算左右圖像中匹配點(diǎn)的理想坐標(biāo)位置，并在左右圖像上分別繪制網(wǎng)格。然后，基于匹配點(diǎn)坐標(biāo)位置約束能量方程，結(jié)合相應(yīng)的形狀保持等能量約束，計(jì)算網(wǎng)格頂點(diǎn)的坐標(biāo)位置。最后，采用warping技術(shù)對(duì)圖像進(jìn)行處理，得到視差調(diào)整后的結(jié)果圖像。Yan等人提出了一個(gè)線性深度映射方法，根據(jù)特定的觀察配置來調(diào)整立體視頻的深度范圍。該方法列出了一系列能量方程，用于進(jìn)行深度調(diào)整和圖像內(nèi)容保持。然而，所提出的深度映射模型不符合人類的視覺規(guī)律，在調(diào)整單個(gè)對(duì)象時(shí)，不能保持對(duì)象在3D空間中的大小。Park等人提出了一種利用3D空間虛擬前平行平面投影進(jìn)行深度調(diào)整的方法。該方法首先將對(duì)象從左右圖像中分割出來，得到左右圖像中對(duì)象的相互匹配關(guān)系。然后，將左右圖像中被選中對(duì)象上的像素投影到一個(gè)虛擬前平行平面上。通過將這個(gè)平面向觀察者的方向移動(dòng)，并且將像素點(diǎn)投影回左右圖像，得到深度調(diào)整以后的結(jié)果圖像。然而，這種方法沒有考慮將對(duì)象向遠(yuǎn)離觀察者移動(dòng)的情況，在這種情況時(shí)會(huì)產(chǎn)生空洞。技術(shù)實(shí)現(xiàn)要素：為克服現(xiàn)有技術(shù)的不足，本發(fā)明旨在針對(duì)當(dāng)前視差調(diào)整算法會(huì)產(chǎn)生形變、空洞或?qū)ο笤?D空間中的大小發(fā)生變化等問題，研究立體圖像中對(duì)象視差的調(diào)整方法，為立體圖像后處理、舒適度提升等奠定基礎(chǔ)。本發(fā)明采用的技術(shù)方案是，一種立體圖像中對(duì)象視差調(diào)整方法，步驟如下：1)關(guān)鍵點(diǎn)的提取及被調(diào)整對(duì)象的分割通過SIFT方法提取關(guān)鍵點(diǎn)，并使用匹配算法進(jìn)行左右圖像的匹配，得到匹配關(guān)鍵點(diǎn)對(duì)，使用GrabCut方法，將被調(diào)整對(duì)象從圖像中分割出來；2)基于深度映射模型計(jì)算關(guān)鍵點(diǎn)的理想坐標(biāo)值根據(jù)立體圖像對(duì)象視差調(diào)整的需要，建立深度映射模型，依據(jù)深度映射模型，計(jì)算關(guān)鍵點(diǎn)的理想坐標(biāo)值，3)構(gòu)建能量方程(1)對(duì)象深度映射在被選中對(duì)象上的所有關(guān)鍵點(diǎn)都使用深度映射模型來進(jìn)行理想坐標(biāo)的計(jì)算，使用下面的能量方程來約束調(diào)整后的關(guān)鍵點(diǎn)坐標(biāo)位置最優(yōu)化的接近理想坐標(biāo)位置：Ezl(cl′)=Σi∈n||ci,l′-c^i,l||2]]>Ezr(cr′)=Σi∈n||ci,r′-c^i,r||2]]>其中cl′為被調(diào)整后的關(guān)鍵點(diǎn)坐標(biāo)，為理想關(guān)鍵點(diǎn)點(diǎn)坐標(biāo)；(2)對(duì)象形狀保持根據(jù)深度映射模型，被選中對(duì)象在左右圖像上的大小會(huì)隨著深度的改變而相應(yīng)變化，對(duì)象形變比例ki為：ki=Xi′-Xi+1′Xi-Xi+1]]>使用均值來得到總體的形變比例k：k=1nΣi∈nki]]>之后，通過以下約束網(wǎng)格約束能量項(xiàng)來保持對(duì)象的形狀:Emesh(cv′)=ΣoΣi,j∈v||ci′-cj′-k(ci-cj)||2]]>其中v表示網(wǎng)格的四個(gè)頂點(diǎn)；(3)背景特征保持使用以下能量項(xiàng)來保持背景的特征：Ebl(cl′)=Σj∈γ||cj,l′-c^j,l||2andEbr(cr′)=Σj∈γ||cj,r′-c^j,r||2]]>其中γ表示所有在背景上的關(guān)鍵點(diǎn)，and是原始坐標(biāo)點(diǎn)，同時(shí)，將距離對(duì)象α像素的范圍設(shè)置為緩沖區(qū)域，在應(yīng)用能量方程時(shí)排除該區(qū)域的關(guān)鍵點(diǎn)，從而使得形變盡量發(fā)生在緩沖區(qū)域，且解決了對(duì)象大小變化造成的和背景的沖突；(4)背景邊緣保持對(duì)圖像進(jìn)行邊緣檢測(cè)，同時(shí)去除對(duì)象和緩沖區(qū)域部分的邊緣，之后使用以下能量項(xiàng)約束背景邊緣盡量保持不變:Eel(cel′)=Σi∈edge||ci,l′-c^i,l||2andEer(cer′)=Σi∈edge||ci,r′-c^i,r||2]]>其中edge為處在背景邊界上的所有關(guān)鍵點(diǎn)；(5)總體能量方程最后，將上面各式相加得到總體的能量方程：E(cv′)＝Ez(cl′,cr′)+λ1Emesh(cv′)+λ2Eb(cl′,cr′)+λ3Ee(cel′,cer′)變量λ1，λ2和λ3設(shè)置為權(quán)重系數(shù)；4)最優(yōu)化計(jì)算網(wǎng)格頂點(diǎn)坐標(biāo)值在得到總體能量方程以后，接下來就需要對(duì)能量方程進(jìn)行求解，使得能量方程的值最小，由于本方法使用的總體能量方程是一個(gè)最小二乘擬合問題，因此可以很容易的進(jìn)行求解，從而得到左右圖像上每個(gè)網(wǎng)格頂點(diǎn)最優(yōu)化的坐標(biāo)位置，獲得左右圖像上網(wǎng)格新的幾何結(jié)構(gòu)；5)采用warping技術(shù)對(duì)圖像進(jìn)行處理左右圖像上每個(gè)網(wǎng)格頂點(diǎn)的坐標(biāo)值計(jì)算得到之后，根據(jù)得到的網(wǎng)格頂點(diǎn)坐標(biāo)值，使用warping技術(shù)對(duì)圖像進(jìn)行處理，最后得到特定對(duì)象深度調(diào)整后的結(jié)果圖像。深度映射模型的構(gòu)建過程如下：所有在被選中對(duì)象上的關(guān)鍵點(diǎn)都在3D空間中移動(dòng)相同的距離，對(duì)于圖像中對(duì)象上的每一個(gè)關(guān)鍵點(diǎn)對(duì)，可以計(jì)算得到該關(guān)鍵點(diǎn)對(duì)在3D空間中的對(duì)應(yīng)點(diǎn)距離觀察者的水平位置Z為：Z=BtB-D]]>其中B是觀察者兩眼間的距離，t是觀察者和屏幕之間的垂直距離，D是關(guān)鍵點(diǎn)對(duì)的視差；3D空間中點(diǎn)P1(X1,Y1,Z1)的坐標(biāo)可以由關(guān)鍵點(diǎn)對(duì)P1R(X1R,Y1R,Z1R)和P1L(X1L,Y1L,Z1L)得到：X1=BB+(X1L-X1R)(X1L+B2)-B2]]>Y1=BB+(X1L-X1R)Y1L]]>Z1=BB+(X1L-X1R)t]]>在計(jì)算得到每個(gè)關(guān)鍵點(diǎn)對(duì)在3D空間中對(duì)應(yīng)點(diǎn)的坐標(biāo)后，被選擇對(duì)象在3D空間中的近似中心PC(XC,YC,ZC)可以通過下式計(jì)算得到：XC=1nΣi=1nXi]]>YC=1nΣi=1nYi]]>ZC=1nΣi=1nZi]]>其中n是被調(diào)整對(duì)象上關(guān)鍵點(diǎn)的個(gè)數(shù)；通過以對(duì)象的中心為基準(zhǔn)移動(dòng)在對(duì)象上的所有關(guān)鍵點(diǎn)相同的距離，來調(diào)整被選擇對(duì)象的視差，為了不使被調(diào)整對(duì)象移出圖像，將其向著觀察者兩眼中點(diǎn)的方向移動(dòng)，移動(dòng)后3D空間中點(diǎn)P1′(X1′,Y1′,Z1′)的位置為：X1′=B(X1L-X1R)+B(X1L+B2)-B2-dx]]>Y1′=B(X1L-X1R)+BY1L-dy]]>Z1′=B(X1L-X1R)+Bt-dz]]>其中dz是原始和目標(biāo)深度的差值，dx和dy是水平和垂直方向上的偏移量，可以通過下式計(jì)算得到：dx=dzXCZC]]>dy=dzYCZC]]>同樣的，被選中對(duì)象上的所有點(diǎn)都使用同樣的偏移量來計(jì)算，這使得被選中對(duì)象在3D空間中的大小保持不變；當(dāng)深度調(diào)整以后的點(diǎn)P1′(X1′,Y1′,Z1′)得到以后，左右圖像中視差調(diào)整后關(guān)鍵點(diǎn)P′1L和P′1L的理想坐標(biāo)就可以計(jì)算得到；X1L′=B(X1L-X1R)+B(X1L+B2)-dxB(X1L-X1R)+B-dmt-B2]]>Y1L′=B(X1L-X1R)+BY1L-dyB(X1L-X1R)+B-dmt]]>X1R′=B2-B-B(X1L-X1R)+B(X1L+B2)+dxB(X1L-X1R)+B-bmt]]>Y1R′=B(X1L-X1R)+BY1R-dyB(X1L-X1R)+B-dmt.]]>本發(fā)明的特點(diǎn)及有益效果是：本發(fā)明可以在調(diào)整立體圖像中對(duì)象視差的同時(shí)保持對(duì)象在3D空間中的大小，使得視差調(diào)整更加符合人類視覺規(guī)律，取得更好的效果。同時(shí)，避免了對(duì)象和背景圖像的形變，保證了視差調(diào)整后的圖像質(zhì)量。附圖說明：圖1為用于測(cè)試的雙視點(diǎn)立體圖像合成圖。圖2為本發(fā)明得出的視差調(diào)整后的結(jié)果圖。圖3為技術(shù)方案的流程圖。具體實(shí)施方式為克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種立體圖像中對(duì)象視差的調(diào)整方法，其特征在于可以保持對(duì)象在3D空間中的大小，且結(jié)果圖像不產(chǎn)生明顯的變形和空洞，所述方法包括以下步驟：1)關(guān)鍵點(diǎn)的提取及被調(diào)整對(duì)象的分割通過SIFT方法提取關(guān)鍵點(diǎn)，并使用匹配算法進(jìn)行左右圖像的匹配，得到匹配關(guān)鍵點(diǎn)對(duì)。使用GrabCut方法，將被調(diào)整對(duì)象從圖像中分割出來。2)基于深度映射模型計(jì)算關(guān)鍵點(diǎn)的理想坐標(biāo)值在本模型中，所有在被選中對(duì)象上的關(guān)鍵點(diǎn)都在3D空間中移動(dòng)相同的距離。對(duì)于圖像中對(duì)象上的每一個(gè)關(guān)鍵點(diǎn)對(duì)，可以計(jì)算得到該關(guān)鍵點(diǎn)對(duì)在3D空間中的對(duì)應(yīng)點(diǎn)距離觀察者的水平位置Z為：Z=BtB-D]]>其中B是觀察者兩眼間的距離，t是觀察者和屏幕之間的垂直距離，D是關(guān)鍵點(diǎn)對(duì)的視差。3D空間中點(diǎn)P1(X1,Y1,Z1)的坐標(biāo)可以由關(guān)鍵點(diǎn)對(duì)P1R(X1R,Y1R,Z1R)和P1L(X1L,Y1L,Z1L)得到：X1=BB+(X1L-X1R)(X1L+B2)-B2]]>Y1=BB+(X1L-X1R)Y1L]]>Z1=BB+(X1L-X1R)t]]>在計(jì)算得到每個(gè)關(guān)鍵點(diǎn)對(duì)在3D空間中對(duì)應(yīng)點(diǎn)的坐標(biāo)后，被選擇對(duì)象在3D空間中的近似中心PC(XC,YC,ZC)可以通過下式計(jì)算得到：XC=1nΣi=1nXi]]>YC=1nΣi=1nYi]]>ZC=1nΣi=1nZi]]>其中n是被調(diào)整對(duì)象上關(guān)鍵點(diǎn)的個(gè)數(shù)。本發(fā)明通過以對(duì)象的中心為基準(zhǔn)移動(dòng)在對(duì)象上的所有關(guān)鍵點(diǎn)相同的距離，來調(diào)整被選擇對(duì)象的視差。為了不使被調(diào)整對(duì)象移出圖像，本方法將其向著觀察者兩眼中點(diǎn)的方向移動(dòng)。移動(dòng)后3D空間中點(diǎn)P1′(X1′,Y1′,Z1′)的位置為：X1′=B(X1L-X1R)+B(X1L+B2)-B2-dx]]>Y1′=B(X1L-X1R)+BY1L-dy]]>Z1′=B(X1L-X1R)+Bt-dz]]>其中dz是原始和目標(biāo)深度的差值，dx和dy是水平和垂直方向上的偏移量，可以通過下式計(jì)算得到：dx=dzXCZC]]>dy=dzYCZC]]>同樣的，被選中對(duì)象上的所有點(diǎn)都使用同樣的偏移量來計(jì)算，這使得被選中對(duì)象在3D空間中的大小保持不變。當(dāng)深度調(diào)整以后的點(diǎn)P1′(X1′,Y1′,Z1′)得到以后，左右圖像中視差調(diào)整后關(guān)鍵點(diǎn)P′1L和P′1L的理想坐標(biāo)就可以計(jì)算得到。X1L′=B(X1L-X1R)+B(X1L+B2)-dxB(X1L-X1R)+B-dmt-B2]]>Y1L′=B(X1L-X1R)+BY1L-dyB(X1L-X1R)+B-dmt]]>X1R′=B2-B-B(X1L-X1R)+B(X1L+B2)+dxB(X1L-X1R)+B-bmt]]>Y1R′=B(X1L-X1R)+BY1R-dyB(X1L-X1R)+B-dmt]]>3)構(gòu)建能量方程(1)對(duì)象深度映射在被選中對(duì)象上的所有關(guān)鍵點(diǎn)都使用深度映射模型來進(jìn)行理想坐標(biāo)的計(jì)算。使用下面的能量方程來約束調(diào)整后的關(guān)鍵點(diǎn)坐標(biāo)位置最優(yōu)化的接近理想坐標(biāo)位置：Ezl(cl′)=Σi∈n||ci,l′-c^i,l||2]]>Ezr(cr′)=Σi∈n||ci,r′-c^i,r||2]]>其中cl′為被調(diào)整后的關(guān)鍵點(diǎn)坐標(biāo)，為理想關(guān)鍵點(diǎn)點(diǎn)坐標(biāo)。(2)對(duì)象形狀保持根據(jù)深度映射模型，被選中對(duì)象在左右圖像上的大小會(huì)隨著深度的改變而相應(yīng)變化，對(duì)象形變比例ki為：ki=Xi′-Xi+1′Xi-Xi+1]]>使用均值來得到總體的形變比例k：k=1nΣi∈nki]]>之后，通過以下約束網(wǎng)格約束能量項(xiàng)來保持對(duì)象的形狀:Emesh(cv′)=ΣoΣi,j∈v||ci′-cj′-k(ci-cj)||2]]>其中v表示網(wǎng)格的四個(gè)頂點(diǎn)。(3)背景特征保持使用以下能量項(xiàng)來保持背景的特征：Ebl(cl′)=Σj∈γ||cj,l′-c^j,l||2andEbr(cr′)=Σj∈γ||cj,r′-c^j,r||2]]>其中γ表示所有在背景上的關(guān)鍵點(diǎn)，and是原始坐標(biāo)點(diǎn)。同時(shí)，將距離對(duì)象α像素的范圍設(shè)置為緩沖區(qū)域，在應(yīng)用能量方程時(shí)排除該區(qū)域的關(guān)鍵點(diǎn)，從而使得形變盡量發(fā)生在緩沖區(qū)域，且解決了對(duì)象大小變化造成的和背景的沖突。(4)背景邊緣保持對(duì)圖像進(jìn)行邊緣檢測(cè)，同時(shí)去除對(duì)象和緩沖區(qū)域部分的邊緣。之后使用以下能量項(xiàng)約束背景邊緣盡量保持不變:Eel(cel′)=Σi∈edge||ci,l′-c^i,l||2andEer(cer′)=Σi∈edge||ci,r′-c^i,r||2]]>其中edge為處在背景邊界上的所有關(guān)鍵點(diǎn)。(5)總體能量方程最后，將上面各式相加得到總體的能量方程：E(cv′)＝Ez(cl′,cr′)+λ1Emesh(cv′)+λ2Eb(cl′,cr′)+λ3Ee(cel′,cer′)變量λ1，λ2和λ3設(shè)置為權(quán)重系數(shù)。4)最優(yōu)化計(jì)算網(wǎng)格頂點(diǎn)坐標(biāo)值在得到總體能量方程以后，接下來就需要對(duì)能量方程進(jìn)行求解，使得能量方程的值最小。由于本方法使用的總體能量方程是一個(gè)最小二乘擬合問題，因此可以很容易的進(jìn)行求解，從而得到左右圖像上每個(gè)網(wǎng)格頂點(diǎn)最優(yōu)化的坐標(biāo)位置，獲得左右圖像上網(wǎng)格新的幾何結(jié)構(gòu)。5)采用warping技術(shù)對(duì)圖像進(jìn)行處理左右圖像上每個(gè)網(wǎng)格頂點(diǎn)的坐標(biāo)值計(jì)算得到之后。就可以根據(jù)得到的網(wǎng)格頂點(diǎn)坐標(biāo)值，使用warping技術(shù)對(duì)圖像進(jìn)行處理，最后得到特定對(duì)象深度調(diào)整后的結(jié)果圖像。下面通過雙視點(diǎn)立體圖像對(duì)的視差調(diào)整過程說明本發(fā)明的最佳實(shí)施方式：1.關(guān)鍵點(diǎn)的提取及被調(diào)整對(duì)象的分割通過SIFT方法提取關(guān)鍵點(diǎn)，并使用匹配算法進(jìn)行左右圖像的匹配:對(duì)于左圖的某個(gè)SIFT關(guān)鍵點(diǎn)，在右圖所有SIFT關(guān)鍵點(diǎn)中尋找與左圖中關(guān)鍵點(diǎn)最近和次近的關(guān)鍵點(diǎn)，記兩者到左圖關(guān)鍵點(diǎn)的距離分別為dis1和dis2。若dis1和dis2滿足下式，則將左右圖中距離最近的這對(duì)關(guān)鍵點(diǎn)視為正確的匹配，否則認(rèn)為是錯(cuò)誤的匹配予以剔除。dis1dis2<0.8]]>對(duì)左右圖像中所有的關(guān)鍵點(diǎn)進(jìn)行上述過程，得到所有匹配關(guān)鍵點(diǎn)對(duì)。之后，使用GrabCut方法，將被調(diào)整對(duì)象從圖像中分割出來。2.基于深度映射模型計(jì)算關(guān)鍵點(diǎn)的理想坐標(biāo)值根據(jù)匹配得到的左右圖像關(guān)鍵點(diǎn)對(duì)，通過將左右圖像關(guān)鍵點(diǎn)的水平坐標(biāo)做差，可以計(jì)算得到各個(gè)關(guān)鍵點(diǎn)對(duì)的視差。根據(jù)視差值，可以使用下式計(jì)算得到各個(gè)關(guān)鍵點(diǎn)在3D空間中的深度值：Z=BtB-D]]>其中B代表觀察者兩眼間的距離，D代表視差，t代表觀察者到顯示屏幕之間的垂直距離。3D空間中點(diǎn)P1(X1,Y1,Z1)的坐標(biāo)可以由關(guān)鍵點(diǎn)對(duì)P1R(X1R,Y1R,Z1R)和P1L(X1L,Y1L,Z1L)計(jì)算得到：X1=BB+(X1L-X1R)(X1L+B2)-B2]]>Y1=BB+(X1L-X1R)Y1L]]>Z1=BB+(X1L-X1R)t]]>在計(jì)算得到每個(gè)關(guān)鍵點(diǎn)對(duì)在3D空間中對(duì)應(yīng)點(diǎn)的坐標(biāo)后，被選擇對(duì)象在3D空間中的近似中心PC(XC,YC,ZC)可以通過下式計(jì)算得到：XC=1nΣi=1nXi]]>YC=1nΣi=1nYi]]>ZC=1nΣi=1nZi]]>其中n是被調(diào)整對(duì)象上關(guān)鍵點(diǎn)的個(gè)數(shù)。本發(fā)明以對(duì)象的中心為基準(zhǔn)，將處在對(duì)象上的所有關(guān)鍵點(diǎn)在3D空間中移動(dòng)相同的距離，從而調(diào)整被選擇對(duì)象的視差。為了不使被調(diào)整對(duì)象移出圖像，本方法將其向著觀察者兩眼中點(diǎn)的方向移動(dòng)。移動(dòng)后在3D空間中對(duì)應(yīng)點(diǎn)P1′(X1′,Y1′,Z1′)的坐標(biāo)位置為：X1′=B(X1L-X1R)+B(X1L+B2)-B2-dx]]>Y1′=B(X1L-X1R)+BY1L-dy]]>Z1′=B(X1L-X1R)+Bt-dm]]>其中dz是原始和目標(biāo)深度的差值，dx和dy是水平和垂直方向上的偏移量，可以通過下式計(jì)算得到：dx=dmXCZC]]>dy=dmYCZC]]>同樣的，被選中對(duì)象上的所有點(diǎn)都使用同樣的偏移量來計(jì)算，這使得被選中對(duì)象在3D空間中的大小保持不變。當(dāng)深度調(diào)整以后的點(diǎn)P1′(X1′,Y1′,Z1′)得到以后，左右圖像中視差調(diào)整后左右圖像中的關(guān)鍵點(diǎn)P′1L和P′1L的理想坐標(biāo)就可以計(jì)算得到。X1L′=B(X1L-X1R)+B(X1L+B2)-dxB(X1L-X1R)+B-dmt-B2]]>Y1L′=B(X1L-X1R)+BY1L-dyB(X1L-X1R)+B-dmt]]>X1R′=B2-B-B(X1L-X1R)+B(X1L+B2)+dxB(X1L-X1R)+B-bmt]]>Y1R′=B(X1L-X1R)+BY1R-dyB(X1L-X1R)+B-dmt]]>其中，唯一、直觀的變量dx表示物體在深度方向上的變化量，可以改變dx來進(jìn)行物體視差調(diào)整后理想坐標(biāo)點(diǎn)的計(jì)算，3.構(gòu)建能量方程接下來，本方法在左右圖像上繪制網(wǎng)格，使用雙線性插值方法通過網(wǎng)格頂點(diǎn)坐標(biāo)近似表示關(guān)鍵點(diǎn)的坐標(biāo)位置。根據(jù)計(jì)算得到的深度調(diào)整后關(guān)鍵點(diǎn)在左右圖像中的理想坐標(biāo)位置，使用以下能量方程來使得深度調(diào)整后實(shí)際關(guān)鍵點(diǎn)在左右圖像上的坐標(biāo)位置盡量靠近理想坐標(biāo)位置，從而使得對(duì)象的深度得到調(diào)整：1)對(duì)象深度映射在被選中對(duì)象上的所有關(guān)鍵點(diǎn)都使用深度映射模型來進(jìn)行理想坐標(biāo)的計(jì)算。使用下面的能量方程來約束調(diào)整后的關(guān)鍵點(diǎn)坐標(biāo)位置最優(yōu)化的接近理想坐標(biāo)位置：Ezl(cl′)=Σi∈n||ci,l′-c^i,l||2]]>Ezr(cr′)=Σi∈n||ci,r′-c^i,r||2]]>其中cl′為被調(diào)整后的關(guān)鍵點(diǎn)坐標(biāo)，為理想關(guān)鍵點(diǎn)點(diǎn)坐標(biāo)。2)對(duì)象形狀保持根據(jù)深度映射模型，被選中對(duì)象在左右圖像上的大小會(huì)隨著深度的改變而相應(yīng)變化，對(duì)象形變比例ki為：ki=Xi′-Xi+1′Xi-Xi+1]]>使用均值來得到總體的形變比例k：k=1nΣi∈nki]]>之后，通過以下約束網(wǎng)格約束能量項(xiàng)來保持對(duì)象的形狀:Emesh(cv′)=ΣoΣi,j∈v||ci′-cj′-k(ci-cj)||2]]>其中v表示網(wǎng)格的四個(gè)頂點(diǎn)。3)背景特征保持使用以下能量項(xiàng)來保持背景的特征：Ebl(cl′)=Σj∈γ||cj,l′-c^j,l||2andEbr(cr′)=Σj∈γ||cj,r′-c^j,r||2]]>其中γ表示所有在背景上的關(guān)鍵點(diǎn)，and是原始坐標(biāo)點(diǎn)。同時(shí)，將距離對(duì)象α像素的范圍設(shè)置為緩沖區(qū)域，在應(yīng)用能量方程時(shí)排除該區(qū)域的關(guān)鍵點(diǎn)，從而使得形變盡量發(fā)生在緩沖區(qū)域，且解決了對(duì)象大小變化造成的和背景的沖突。4)背景邊緣保持對(duì)圖像使用canny算子進(jìn)行邊緣檢測(cè)，之后去除對(duì)象和緩沖區(qū)域部分的邊緣。使用以下能量項(xiàng)約束背景邊緣盡量保持不變:Eel(cel′)=Σi∈edge||ci,l′-c^i,l||2andEer(cer′)=Σi∈edge||ci,r′-c^i,r||2]]>其中edge為處在背景邊界上的所有關(guān)鍵點(diǎn)。5)總體能量方程最后，將上面各式相加得到總體的能量方程：E(cv′)＝Ez(cl′,cr′)+λ1Emesh(cv′)+λ2Eb(cl′,cr′)+λ3Ee(cel′,cer′)變量λ1，λ2和λ3設(shè)置為權(quán)重系數(shù)。4.最優(yōu)化計(jì)算網(wǎng)格頂點(diǎn)坐標(biāo)值在得到總體能量方程以后，接下來就需要對(duì)能量方程進(jìn)行求解，使得能量方程的值最小。cv′=argmincv′E(cv′)]]>由于本方法使用的總體能量方程是一個(gè)最小二乘擬合問題，因此可以很容易的進(jìn)行求解。將能量方程中各個(gè)變量求偏導(dǎo)數(shù)，且另其等于零：∂E(cv′)∂cv′=0]]>通過解上面的式子，可以計(jì)算得到左右圖像上每個(gè)網(wǎng)格頂點(diǎn)最優(yōu)化的坐標(biāo)位置。從而得到了左右圖像上網(wǎng)格的新的幾何結(jié)構(gòu)。5.采用warping技術(shù)對(duì)圖像進(jìn)行處理有了到左右圖像上每個(gè)網(wǎng)格頂點(diǎn)的坐標(biāo)值。就可以根據(jù)得到的網(wǎng)格頂點(diǎn)坐標(biāo)值，使用warping技術(shù)對(duì)圖像進(jìn)行處理。Warping技術(shù)將每個(gè)網(wǎng)格看作單獨(dú)的單元分別進(jìn)行處理，根據(jù)網(wǎng)格四個(gè)頂點(diǎn)的坐標(biāo)位置，對(duì)矩形網(wǎng)格單元做相應(yīng)的拉伸、彎曲等操作，并使用雙線性插值方法來對(duì)空白區(qū)域進(jìn)行填充。最后得到特定對(duì)象深度調(diào)整后的結(jié)果圖像。當(dāng)前第1頁1 2 3