本申請涉及虛擬視點合成領(lǐng)域，具體涉及一種實時虛擬視點合成的方法及裝置。
背景技術(shù)：
：如今，3D相關(guān)的技術(shù)日趨成熟，在家里觀看3D電視成為現(xiàn)實。然而必須佩戴3D眼鏡這樣一種觀看方式阻礙了家庭用戶對其的接受度。多視點3D顯示設(shè)備使得裸眼觀看3D視頻成為可能。這種設(shè)備需要以多路視頻流為輸入，且視頻流的路數(shù)因設(shè)備而異。多視點3D顯示設(shè)備的一個難點是如何生成多路視頻流。最簡單的方式是從各個視點直接拍攝對應(yīng)的視頻流，然而這卻是最不現(xiàn)實的，因為對于多路視頻流，不管是拍攝還是傳輸?shù)某杀径际呛馨嘿F的，而且不同的設(shè)備需要不同路數(shù)的視頻流。現(xiàn)有技術(shù)中，S3D(Stereoscopic3D)是3D內(nèi)容生成的主流方式，并且仍將保持多年。如果多視點3D顯示設(shè)備配備有一種自動的、實時的轉(zhuǎn)換系統(tǒng)，將S3D轉(zhuǎn)換為其對應(yīng)路數(shù)的視頻流，而不影響已經(jīng)建立好的3D產(chǎn)業(yè)鏈，這無疑是最完美的解決方案。這種由S3D轉(zhuǎn)換為多路視頻流的技術(shù)稱為“虛擬視點合成”。典型的虛擬視點合成技術(shù)是基于深度圖繪制(DIBR)，其合成質(zhì)量依賴于深度圖的精度。然而，現(xiàn)有的深度估計算法還不夠成熟，高精度的深度圖通常是由人工交互的半自動化方式生成；此外，由于真實場景中物體相互遮擋而導(dǎo)致基于深度圖來合成的虛擬視點中會產(chǎn)生空洞。這些問題限制了DIBR自動地、實時地為多視點3D顯示設(shè)備生成內(nèi)容。技術(shù)實現(xiàn)要素：為解決上述問題，本申請?zhí)峁┮环N實時虛擬視點合成的方法及裝置。根據(jù)本申請的第一方面，本申請?zhí)峁┮环N實時虛擬視點合成的方法，包括：根據(jù)左、右兩路真實視點的圖像提取稀疏視差數(shù)據(jù)；根據(jù)提取的稀疏視差數(shù)據(jù)，分別計算左路真實視點的像素坐標(biāo)和右路真實視點的像素坐標(biāo)在中間位置的虛擬視點的坐標(biāo)映射WL和WR；根據(jù)左路真實視點到中間位置的虛擬視點的坐標(biāo)映射WL，插值得到左路真實視點到其他若干位置的虛擬視點的坐標(biāo)映射WL1～WLN，其中N為正整數(shù)；和/或，根據(jù)右路真實視點到中間位置的虛擬視點的坐標(biāo)映射WR，插值得到右路真實視點到其他若干位置的虛擬視點的坐標(biāo)映射WR1～WRM，其中M為正整數(shù)；根據(jù)左路真實視點的圖像以及坐標(biāo)映射WL1～WLN，分別合成相應(yīng)位置的虛擬視點的圖像；和/或，根據(jù)右路真實視點的圖像以及坐標(biāo)映射WR1～WRM，分別合成相應(yīng)位置的虛擬視點的圖像。在一較優(yōu)的實施例中，根據(jù)左、右兩路真實視點的圖像提取稀疏視差數(shù)據(jù)，具體包括：對于左、右路真實視點的圖像，進行FAST特征檢測，得到若干特征點；使用BRIEF計算各特征點的特征描述符；分別計算左路真實視點的圖像中的各特征點的特征描述符到右路真實視點的圖像中的各特征點的特征描述符的漢明距離，基于最小漢明距離這種方式進行特征點的匹配。在一較優(yōu)的實施例中，使用GPU根據(jù)左、右兩路真實視點的圖像提取稀疏視差數(shù)據(jù)；和/或，使用GPU合成相應(yīng)位置的虛擬視點的圖像。根據(jù)本申請的第二方面，本申請?zhí)峁┮环N實時虛擬視點合成的裝置，包括：視差提取單元，用于根據(jù)左、右兩路真實視點的圖像提取稀疏視差數(shù)據(jù)；坐標(biāo)映射單元，用于根據(jù)提取的稀疏視差數(shù)據(jù)，分別計算左路真實視點的像素坐標(biāo)和右路真實視點的像素坐標(biāo)在中間位置的虛擬視點的坐標(biāo)映射WL和WR；插值單元，用于根據(jù)左路真實視點到中間位置的虛擬視點的坐標(biāo)映射WL，插值得到左路真實視點到其他若干位置的虛擬視點的坐標(biāo)映射WL1～WLN，其中N為正整數(shù)；和/或，用于根據(jù)右路真實視點到中間位置的虛擬視點的坐標(biāo)映射WR，插值得到右路真實視點到其他若干位置的虛擬視點的坐標(biāo)映射WR1～WRM，其中M為正整數(shù)；合成單元，用于根據(jù)左路真實視點的圖像以及坐標(biāo)映射WL1～WLN，分別合成相應(yīng)位置的虛擬視點的圖像；和/或，用于根據(jù)右路真實視點的圖像以及坐標(biāo)映射WR1～WRM，分別合成相應(yīng)位置的虛擬視點的圖像。在一較優(yōu)的實施例中，所述視差提取單元包括：FAST特征檢測單元，用于對于左、右路真實視點的圖像，進行FAST特征檢測，得到若干特征點；BRIEF特征描述符單元，用于使用BRIEF計算各特征點的特征描述符；特征點匹配單元，用于分別計算左路真實視點的圖像中的各特征點的特征描述符到右路真實視點的圖像中的各特征點的特征描述符的漢明距離，基于最小漢明距離這種方式進行特征點的匹配。在一較優(yōu)的實施例中，所述視差提取單元是基于GPU并行計算來完成稀疏視差數(shù)據(jù)的提取；和/或，所述合成單元是基于GPU并行計算來完成虛擬視點的圖像合成。本申請的有益效果是：依上述實施的實時虛擬視點合成的方法及裝置，在合成虛擬視點的圖像的整個過程中，不需要像現(xiàn)有技術(shù)一樣借助深度圖，因此有效的規(guī)避了基于深度圖繪制技術(shù)所導(dǎo)致的問題；依上述實施的實時虛擬視點合成的方法及裝置，在提取稀疏視差數(shù)據(jù)時，由于使用了FAST特征檢測以及BRIEF計算各特征點的特征描述符，在保證匹配精度的同時，還具有很快的計算速度，有助于實現(xiàn)虛擬視點合成的實時化；依上述實施的實時虛擬視點合成的方法及裝置，利用GPU的并行計算能力，使用GPU根據(jù)左、右兩路真實視點的圖像提取稀疏視差數(shù)據(jù)，和/或，使用GPU合成相應(yīng)位置的虛擬視點的圖像，加速了計算速度，有助于實現(xiàn)虛擬視點合成的實時化。附圖說明圖1為本申請一種實施例的實時虛擬視點合成的方法的流程示意圖；圖2為本申請一種實施例的實時虛擬視點合成的方法中提取稀疏視差數(shù)據(jù)的流程示意圖；圖3為本申請一種實施例的實時虛擬視點合成的方法中在GPU中進行FAST特征檢測時的線程分配示意圖；圖4為本申請一種實施例的實時虛擬視點合成的方法中在GPU中進行計算漢明距離時的線程分配示意圖；圖5為本申請一種實施例的實時虛擬視點合成的方法中在GPU中進行交叉驗證時的線程分配示意圖；圖6為本申請一種實施例的實時虛擬視點合成的方法中8個視點(包括2個真實視點和6個虛擬視點)的位置關(guān)系的示意圖，圖示的距離是按兩路真實視點歸一化的距離；圖7為本申請一種實施例的實時虛擬視點合成的方法中在GPU中根據(jù)左/右視圖與相應(yīng)位置的warp合成相應(yīng)位置的虛擬視點時的線程分配示意圖；圖8為本申請一種實施例的實時虛擬視點合成的方法的效果示意圖，圖8(a)～(h)分別對應(yīng)著圖6中的各視點的視圖；圖9為本申請一種實施例的實時虛擬視點合成的裝置的結(jié)構(gòu)示意圖；圖10為本申請一種實施例的實時虛擬視點合成的裝置中視差提取單元的結(jié)構(gòu)示意圖；圖11為本申請一種實施例的實時虛擬視點合成的裝置中FAST特征檢測單元的結(jié)構(gòu)示意圖。具體實施方式本申請公開了一種實時虛擬視點合成的方法及裝置，其基于圖像域形變(IDW)技術(shù)，在合成虛擬視點的圖像的整個過程中，不需要像現(xiàn)有技術(shù)一樣借助深度圖，因此有效的規(guī)避了基于深度圖繪制技術(shù)所導(dǎo)致的問題，例如不需要借助稠密的深度圖，也不會導(dǎo)致空洞的出現(xiàn)；此外，我們還借助于通用圖形處理器(GPGPU)強大的并行計算能力，加速IDW算法，實現(xiàn)了實時的虛擬視點合成。本申請的實時虛擬視點合成的方法包括四大步驟：首先，對輸入的左、右兩路真實視點的圖像，提取稀疏視差數(shù)據(jù)。稀疏視差通過圖像局部特征匹配進行估計。特征匹配的精度對后續(xù)合成的質(zhì)量至關(guān)重要?？紤]到輸入的兩路視圖具有一樣的分辨率和相似的角度，所需要的特征算子不需要具有抗尺度和抗旋轉(zhuǎn)性。所以，本申請使用角點檢測算子FAST和二值描述算子BRIEF提取稀疏局部特征，雖然不具有抗尺度和抗旋轉(zhuǎn)性，但是具有很快的計算速度，并同樣具有很高的匹配精度。此外，我們利用GPU的并行計算能力對FAST+BRIEF加速。其次，計算warp，用于指導(dǎo)合成虛擬視點。一個warp就是像素從真實視點到虛擬視點的圖像坐標(biāo)映射。為此，發(fā)明人首先構(gòu)造能量函數(shù)，能量函數(shù)是3個約束項的加權(quán)和，分別是稀疏視差項、空域平滑項和時域平滑項。再將圖像劃分為三角形網(wǎng)格(mesh)，網(wǎng)格頂點以及網(wǎng)格內(nèi)像素點的圖像坐標(biāo)共同組成warp。網(wǎng)格頂點的坐標(biāo)是能量函數(shù)的變量項，通過使能量函數(shù)最小化，即對能量函數(shù)求偏導(dǎo)數(shù)并設(shè)偏導(dǎo)式為0，可以求得這些坐標(biāo)。而網(wǎng)格內(nèi)像素點則由三角形網(wǎng)格頂點通過仿射變換求得。可以采用SOR迭代法求解最小的能量，并利用OpenMP并行庫，利用多核CPU并行求解各warp。這一步可以得到兩個warp，分別是左路真實視點的像素坐標(biāo)和右路真實視點的像素坐標(biāo)在中間位置的虛擬視點的坐標(biāo)映射WL和WR，這種映射反應(yīng)了視差的正確變化。再次，為了適配多視點3D顯示設(shè)備所需要的多路視點輸入，可以基于WL和WR，通過內(nèi)插和外插的方法，插值得到對應(yīng)數(shù)量的warp。最后，在warp的指導(dǎo)下，合成對應(yīng)的虛擬視點。如上所述，計算得到的warp只包含三角形mesh頂點的坐標(biāo)信息，而三角形內(nèi)部的像素則可以通過仿射變換求得。所以在合成對應(yīng)的虛擬視點時，先求得每個三角形mesh的仿射變換系數(shù)，然后進行反向映射，通過雙線性插值，將真實視點中對應(yīng)位置的像素繪制到虛擬視點中。每一個三角形mesh是互相獨立的，因此可以同樣借助GPU的并行計算能力，對每一個三角形并行操作。下面通過具體實施方式結(jié)合附圖對本申請作進一步詳細(xì)說明。請參照圖1，本申請公開的實時虛擬視點合成的方法包括步驟S100～S700。在一實施例中，步驟S100和S700在GPU中進行，步驟S300和S500在CPU中進行。下面具體說明。步驟S100、根據(jù)左、右兩路真實視點的圖像提取稀疏視差數(shù)據(jù)。在一具體實施例中，請參照圖2，步驟S100具體包括步驟S101～S105。步驟S101、對于左、右路真實視點的圖像，進行FAST特征檢測，得到若干特征點。在一具體實施例中，對于左、右路真實視點的圖像，進行FAST特征檢測，得到若干特征點，具體包括子步驟S101a、S101b和S101c：子步驟S101a、對圖像進行興趣點檢測；子步驟S101b、計算各興趣點的響應(yīng)值；子步驟S101c、根據(jù)響應(yīng)值對興趣點進行非極大值抑制。例如，輸入兩路真實視點的圖像后，將其分別處理成灰度圖，然后分別對每一幅圖像檢測興趣點。發(fā)明人以O(shè)penCL實現(xiàn)了FAST-12，且將FAST段測試的閾值thresh設(shè)置為30。FAST特征檢測如上所述，包括三個子步驟組成，為此發(fā)明人設(shè)計了3個OpenCL核函數(shù)。首先是檢測興趣點，其次是為興趣點計算響應(yīng)值，最后根據(jù)響應(yīng)值對興趣點進行非極大值抑制。后面兩步主要是為了避免多個特征點擠在一起。在一實施例中，整個流水線都在GPU上實現(xiàn)，這3個核函數(shù)依次啟動。待檢測出兩幅圖的興趣點后，本過程完成。本過程的OpenCL線程分配策略如圖3所示，為圖像k每個像素分配一個線程，各個線程都將執(zhí)行同樣的核函數(shù)，實現(xiàn)了單指令多數(shù)據(jù)級(SIMD)并行。步驟S103、使用BRIEF計算各特征點的特征描述符。在一具體實施例中，例如，本步驟S103以步驟S101中檢測出的特征點作為輸入，本過程將使用BRIEF計算特征描述符，較優(yōu)地，同樣在GPU上實現(xiàn)。首先發(fā)明人為左、右路視點的圖像計算積分圖，積分圖將用于快速平滑圖像從而去除噪聲，然后將計算得到的積分圖傳送到GPU上。請注意，步驟S101中檢測的特征點的結(jié)果仍存于GPU內(nèi)存中。發(fā)明人以O(shè)penCL實現(xiàn)了BRIEF32，即256位二值描述符。在以特征點為中心的48×48大小的方形區(qū)域中，選取256對采樣點，以大小為9的平滑核，通過查積分圖對采樣點去噪。通過比較每對采樣點的灰度值大小，得到比特0或者1，經(jīng)過256次比較則得到了該特征點的描述符。本過程設(shè)計1個OpenCL核函數(shù)，線程分配策略仍如圖3所示，一個線程計算一個像素，只有在當(dāng)前像素是步驟S101中檢測出來的特征點時，當(dāng)前線程才會為其計算出有效的描述符。步驟S105、分別計算左路真實視點的圖像中的各特征點的特征描述符到右路真實視點的圖像中的各特征點的特征描述符的漢明(Hamming)距離，基于最小漢明距離這種方式進行特征點的匹配。在一具體實施例中，例如，本步驟S105基于步驟S103計算出來得特征描述符，發(fā)明人通過求最小Hamming距離尋求最匹配的特征對。由于步驟S103的結(jié)果是零散分布在圖像上的描述符，而GPU并行計算更青睞于連續(xù)的數(shù)據(jù)區(qū)域。為此，發(fā)明人進行一個預(yù)處理操作。將零散的描述符逐個復(fù)制到另一塊連續(xù)的較小的GPU內(nèi)存，并統(tǒng)計描述符的個數(shù)，以及其對應(yīng)的像素坐標(biāo)。發(fā)明人分別對兩幅圖進行操作，待預(yù)處理完成，發(fā)明人還獲知了左右路視圖的描述符的個數(shù)，分別記為α和β。然后再分配對應(yīng)數(shù)量的線程并行求解左路視圖中各個特征點的特征描述符到右路視圖中各個特征點的特征描述符的Hamming距離，線程分配策略如圖4所示。計算兩個比特串的Hamming距離，則可以通過統(tǒng)計異或運算結(jié)果中比特‘1’的個數(shù)快速求得。GPU也有對應(yīng)的指令‘popcnt’支持這個操作。待上述操作完成，可以得到了一個二維表，包含了左右路視圖中對應(yīng)的描述符之間的Hamming距離。在最后的特征匹配階段，可以通過查表來尋找最相似的特征對。為了保證匹配的精度，在一實施例中可以進行了交叉驗證，如圖5所示，首先分配α個線程為左路視圖中的各個描述符尋找右路視圖中最近距離的描述符，然后分配β個線程為右路視圖中的各個描述符尋找左路視圖中最近距離的描述符。交叉驗證保證了兩個特征點都是彼此最匹配的。輸出將匹配的特征點的圖像坐標(biāo)，作為步驟S300的輸入。步驟S300、根據(jù)提取的稀疏視差數(shù)據(jù)，分別計算左路真實視點的像素坐標(biāo)和右路真實視點的像素坐標(biāo)在中間位置的虛擬視點的坐標(biāo)映射WL和WR，這種映射反應(yīng)了視差的正確變化。在一具體實施例中，步驟S300可以包括兩個步驟，一是構(gòu)造能量函數(shù)，二是求解線性方程，下面具體說明。(1)不妨以左路真實視點的WL為例，詳述能量函數(shù)的構(gòu)造過程。能量函數(shù)可以由稀疏視差項、空域平滑項和時域平滑項構(gòu)成，其可以被下面的表達(dá)式所表示：E(wL)＝λdEd(wL)+λsEs(wL)+λtEt(wL)；下面分別對能量函數(shù)中的稀疏視差項、空域平滑項和時域平滑項進行說明。a、稀疏視差項以圖像局部特征點對(pL，pR)作為輸入，我們先定位包含該特征點pL的三角形s，設(shè)該三角形的頂點為[v1,v2,v3]，而pL關(guān)于s的質(zhì)心坐標(biāo)為[α,β,γ]，滿足以下關(guān)系：pL＝αv1+βv2+γv3；記pM是特征點pL在WL中的投影位置，而稀疏視差項是為了約束pM與pL之間的距離，所以有如下關(guān)系式：E1(pL)＝||αwL(v1)+βwL(v2)+γwL(v3)-pM||2；其中，pM＝(pL+pR)/2，遍歷各個特征點對，累加相應(yīng)的E1(pL)，得到稀疏視差項如下：Ed(wL)=ΣpL∈FE1(pL);]]>b、空域平滑項記(m,n)為三角形mesh的索引號，而p(m,n)對應(yīng)三角形頂點的圖像坐標(biāo)。定義如下兩個函數(shù)，分別用于測量三角形豎直邊和水平邊的形變：hor_dist(x,y)＝||wL(p(x+1,y))-wL(p(x,y))-(p(x+1,y)-p(x,y))||2；ver_dist(x,y)＝||wL(p(x,y+1))-wL(p(x,y))-(p(x,y+1)-p(x,y))||2；上直角三角形Supper的頂點為[p(m,n),p(m+1,n),p(m,n+1)]，而下直角三角形Slower的頂點為[p(m+1,n),p(m+1,n+1),p(m,n+1)]，空域平滑項約束的是這些三角形的幾何形變：E2(m,n)＝Eupper(m,n)+Elower(m,n)；Eupper(m,n)＝ver_dist(m,n)+hor_dist(m,n)；Elower(m,n)＝ver_dist(m+1,n)+hor_dist(m,n+1)；遍歷所有網(wǎng)格，累加對應(yīng)的E2(m,n)，得到空域平滑項如下：Es(m,n)=Σ(m,n)E2(m,n);]]>c、時域平滑項時域平滑項用于確保圖像紋理在時域上的穩(wěn)定。令wLj表示第j幀的warp，因此時域平滑項可以構(gòu)造如下:Et(wLj)=Σ(m,n)||wLj(p(m,n))-wLj-1(p(m,n))||2;]]>(2)求解線性方程上面構(gòu)造得到的能量函數(shù)是一個二次表達(dá)式，以warp中三角形mesh的頂點為變元。尋找最小的能量值時，可以基于能量函數(shù)，分別對頂點的橫縱坐標(biāo)求偏導(dǎo)。可以得到一個線性表達(dá)式Ax＝b，并可以表示為如下矩陣形式：a11...a1N···aN1...aNN×x1···xN=b1···bN;]]>解空間[x1…xN]T的大小取決于三角形mesh的數(shù)量。一個例子中，把圖像劃分成64×48個mesh?？梢钥吹?，系數(shù)矩陣是大小為3185×3185的方陣，并且還是一個稀疏的帶狀矩陣，并且是嚴(yán)格對角占優(yōu)矩陣。為此，在一實施例中，可以采用SOR迭代法求解近似解，而非通過矩陣分解法。對于視頻，上一幀的解作為求解當(dāng)前幀的初值進行SOR迭代，以充分利用時域相關(guān)性。注意到，對頂點的橫縱坐標(biāo)分別求偏導(dǎo)，將得到兩個線性表達(dá)式，再加上對右路視圖同樣需要計算一個warp，那么總共要求解四個線性方程。為此，在一實施例中，可以使用OpenMP庫，利用多核CPU并行求解。步驟S500、根據(jù)左路真實視點到中間位置的虛擬視點的坐標(biāo)映射WL，插值得到左路真實視點到其他若干位置的虛擬視點的坐標(biāo)映射WL1～WLN，其中N為正整數(shù)；和/或，根據(jù)右路真實視點到中間位置的虛擬視點的坐標(biāo)映射WR，插值得到右路真實視點到其他若干位置的虛擬視點的坐標(biāo)映射WR1～WRM，其中M為正整數(shù)。請參照圖6，不妨以8路視點為例。為了得到8路視點，可以插值得到對應(yīng)位置的warp。以α表示虛擬視點的位置(為歸一化坐標(biāo))，并以u表示真實視點處的warp，也就是規(guī)格的mesh劃分。那么通過公式WLα＝2α(WL0.5-u)+u可以插值得到-0.2、0.2、0.4三個虛擬視點處的warp，通過公式WRα＝2(1-α)(WR0.5-u)+u可以插值得到0.6、0.8、1.2三個位置的warp。在一較優(yōu)的實施例中，根據(jù)左路真實視點到中間位置的虛擬視點的坐標(biāo)映射WL，插值得到左路真實視點到中間位置左邊的若干位置的虛擬視點的坐標(biāo)映射WL1～WLN，其中N為正整數(shù)；并且，根據(jù)右路真實視點到中間位置的虛擬視點的坐標(biāo)映射WR，插值得到右路真實視點到中間位置右邊的若干位置的虛擬視點的坐標(biāo)映射WR1～WRM。在一較優(yōu)實施例中，N和M相等，并且得到的虛擬視點的位置關(guān)于中間位置對稱。步驟S700、根據(jù)左路真實視點的圖像以及坐標(biāo)映射WL1～WLN，分別合成相應(yīng)位置的虛擬視點的圖像；和/或，根據(jù)右路真實視點的圖像以及坐標(biāo)映射WR1～WRM，分別合成相應(yīng)位置的虛擬視點的圖像。在一較優(yōu)實施例中，根據(jù)左路真實視點的圖像以及坐標(biāo)映射WL1～WLN，分別合成相應(yīng)位置的虛擬視點的圖像，其中坐標(biāo)映射WL1～WLN是左路真實視點到中間位置左邊的若干位置的虛擬視點的坐標(biāo)映射；以及根據(jù)右路真實視點的圖像以及坐標(biāo)映射WR1～WRM，分別合成相應(yīng)位置的虛擬視點的圖像，其中坐標(biāo)映射WR1～WRM是右路真實視點到中間位置右邊的若干位置的虛擬視點的坐標(biāo)映射。不妨仍以圖6中的例子進行說明。在步驟S500中我們得到了輸入的左右視圖在虛擬視點位置-0.2、0.2、0.4、0.6、0.8和1.2處的映射(即形變W-0.2、W0.2、W0.4、W0.6、W0.8、W1.2)。為了合成虛擬視圖，我們基于輸入的左視圖IL和W-0.2、W0.2、W0.4合成-0.2、0.2、0.4三個位置的虛擬視圖，以及基于輸入的右視圖IR和W0.6、W0.8、W1.2合成0.6、0.8、1.2三個位置的虛擬視圖。具體地，可以通過對各個三角形mesh進行圖像域形變，從而合成虛擬視圖。一個三角形mesh由3個頂點標(biāo)識，而三角形內(nèi)部的mesh則通過仿射變換求得。為了合成目標(biāo)圖像，先求解仿射變換系數(shù)，然后進行反向映射，通過雙線性插值，將真實視點中對應(yīng)位置的像素繪制到虛擬視點中。如上所述的例子，輸入的視圖被劃分為64×48個mesh，為了合成6路虛擬視點，總共需要計算64×48×2×6個三角形。這一步同樣具有很高的并行度，因此可以設(shè)計一個OpenCL核函數(shù)并行計算。對應(yīng)的線性分配策略如圖7所示?？梢詫⒂嬎愠龅?個warp以及左右兩路真實視圖傳入GPU內(nèi)存，在核函數(shù)中先判斷當(dāng)前線程處理的三角形對應(yīng)的虛擬視點，然后求得仿射變換系數(shù)，再依據(jù)真實視圖繪制虛擬視點中的像素。待所有的36864個線程工作完成，6路虛擬視圖就合成了。合成的6路虛擬視圖加上輸入的2路真實視圖，對應(yīng)于8路視點。至此，虛擬視點的實時化合成技術(shù)的所有步驟完成。在一實施例中，可以將能量函數(shù)的三個參數(shù){λd,λs,λt}設(shè)置為{1，0.05，1}。實驗表明，對720P視頻，本申請可以將S3D實時地轉(zhuǎn)換為8路視點，效果展示如圖8所示，圖8(a)～(h)分別對應(yīng)著圖6中的各視點的視圖，8(a)為位置為-0.2的虛擬視圖，8(b)為位置為0的真實視圖(即輸入的左路真實視點的圖像)，8(c)為位置為0.2的虛擬視圖，8(d)為位置為0.4的虛擬視圖，8(e)為位置為0.6的虛擬視圖，8(f)為位置為0.8的虛擬視圖，8(g)為位置為1的真實視圖(即輸入的右路真實視點的圖像)，8(h)為位置為1.2的虛擬視圖。本申請的實時虛擬視點合成的方法，在合成虛擬視點的圖像的整個過程中，不需要像現(xiàn)有技術(shù)一樣借助深度圖，因此有效的規(guī)避了基于深度圖繪制技術(shù)所導(dǎo)致的問題；在提取稀疏視差數(shù)據(jù)時，由于使用了FAST特征檢測以及BRIEF計算各特征點的特征描述符，在保證匹配精度的同時，還具有很快的計算速度，有助于實現(xiàn)虛擬視點合成的實時化；利用GPU的并行計算能力，使用GPU根據(jù)左、右兩路真實視點的圖像提取稀疏視差數(shù)據(jù)，和/或，使用GPU合成相應(yīng)位置的虛擬視點的圖像，加速了計算速度，有助于實現(xiàn)虛擬視點合成的實時化。相應(yīng)地，本申請公開了一種實時虛擬視點合成的裝置，請參照圖9，其包括視差提取單元100、坐標(biāo)映射單元300、插值單元500和合成單元700，下面具體說明。視差提取單元100用于根據(jù)左、右兩路真實視點的圖像提取稀疏視差數(shù)據(jù)。在一實施例中，如圖10所示，視差提取單元100包括FAST特征檢測單元101、BRIEF特征描述符單元103和特征點匹配單元105；FAST特征檢測單元101用于對于左、右路真實視點的圖像，進行FAST特征檢測，得到若干特征點；BRIEF特征描述符單元103用于使用BRIEF計算各特征點的特征描述符；特征點匹配單元105用于分別計算左路真實視點的圖像中的各特征點的特征描述符到右路真實視點的圖像中的各特征點的特征描述符的漢明距離，基于最小漢明距離這種方式進行特征點的匹配。在一實施例中，請參照圖11，F(xiàn)AST特征檢測單元101包括興趣點檢測子單元101a、響應(yīng)值計算子單元101b和非極大值抑制子單元101c；興趣點檢測子單元101a用于對圖像進行興趣點檢測；響應(yīng)值計算子單元101b用于計算各興趣點的響應(yīng)值；非極大值抑制子單元101c用于根據(jù)響應(yīng)值對興趣點進行非極大值抑制。坐標(biāo)映射單元300用于根據(jù)提取的稀疏視差數(shù)據(jù)，分別計算左路真實視點的像素坐標(biāo)和右路真實視點的像素坐標(biāo)在中間位置的虛擬視點的坐標(biāo)映射WL和WR，這種映射反應(yīng)了視差的正確變化。插值單元500用于根據(jù)左路真實視點到中間位置的虛擬視點的坐標(biāo)映射WL，插值得到左路真實視點到其他若干位置的虛擬視點的坐標(biāo)映射WL1～WLN，其中N為正整數(shù)；和/或，用于根據(jù)右路真實視點到中間位置的虛擬視點的坐標(biāo)映射WR，插值得到右路真實視點到其他若干位置的虛擬視點的坐標(biāo)映射WR1～WRM，其中M為正整數(shù)。在一較優(yōu)實施例中，插值單元500根據(jù)左路真實視點到中間位置的虛擬視點的坐標(biāo)映射WL，插值得到左路真實視點到中間位置左邊的若干位置的虛擬視點的坐標(biāo)映射WL1～WLN，其中N為正整數(shù)；并且，插值單元500還根據(jù)右路真實視點到中間位置的虛擬視點的坐標(biāo)映射WR，插值得到右路真實視點到中間位置右邊的若干位置的虛擬視點的坐標(biāo)映射WR1～WRM。在一較優(yōu)實施例中，N和M相等，并且得到的虛擬視點的位置關(guān)于中間位置對稱。合成單元700用于根據(jù)左路真實視點的圖像以及坐標(biāo)映射WL1～WLN，分別合成相應(yīng)位置的虛擬視點的圖像；和/或，用于根據(jù)右路真實視點的圖像以及坐標(biāo)映射WR1～WRM，分別合成相應(yīng)位置的虛擬視點的圖像。在一較優(yōu)實施例中，合成單元700根據(jù)左路真實視點的圖像以及坐標(biāo)映射WL1～WLN，分別合成相應(yīng)位置的虛擬視點的圖像，其中坐標(biāo)映射WL1～WLN是左路真實視點到中間位置左邊的若干位置的虛擬視點的坐標(biāo)映射；以及合成單元700根據(jù)右路真實視點的圖像以及坐標(biāo)映射WR1～WRM，分別合成相應(yīng)位置的虛擬視點的圖像，其中坐標(biāo)映射WR1～WRM是右路真實視點到中間位置右邊的若干位置的虛擬視點的坐標(biāo)映射。在一實施例中，本申請的實時虛擬視點合成的裝置中，視差提取單元100是基于GPU并行計算來完成稀疏視差數(shù)據(jù)的提取，合成單元700是基于GPU并行計算來完成虛擬視點的圖像合成。以上內(nèi)容是結(jié)合具體的實施方式對本申請所作的進一步詳細(xì)說明，不能認(rèn)定本申請的具體實施只局限于這些說明。對于本申請所屬
技術(shù)領(lǐng)域：
的普通技術(shù)人員來說，在不脫離本申請發(fā)明構(gòu)思的前提下，還可以做出若干簡單推演或替換。當(dāng)前第1頁1 2 3