專利名稱：一種雙目系統(tǒng)中基于gpu的實時繪制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種雙目三維視頻系統(tǒng)中基于深度圖像的繪制技術(shù)，特別是一種雙目系統(tǒng)中基于GPU (圖形處理器)達(dá)到實時的繪制方法。
背景技術(shù)：
3DTV (三維電視)是立體顯示技術(shù)的主要應(yīng)用之一，其典型的系統(tǒng)組成如下視頻采集，編碼傳輸，接收端解碼，3D (三維)場景重建和3D顯示。傳統(tǒng)的電視系統(tǒng)只需要傳輸一路視頻，而3DTV系統(tǒng)則需要傳輸兩路或者多路的視頻，但是考慮到相機(jī)的成本和帶寬的限制，只能傳輸有限的視頻，因此在終端進(jìn)行虛擬視點(diǎn)繪制顯得尤為重要，同時3D場景重建的好壞也直接關(guān)系到整個3DTV系統(tǒng)的好壞。虛擬視點(diǎn)繪制可以通過兩類技術(shù)完成MBR(基于模型的繪制)和IBR (基于圖像的繪)。MBR需要場景復(fù)雜度的實驗?zāi)Ｐ?，主要用?D游戲和純虛擬場景的創(chuàng)建，并不適合動態(tài)場景的繪制；IBR則利用二維圖像作為數(shù)據(jù)源來生成虛擬視點(diǎn)圖像，并不需要復(fù)雜的3D場景信息。在眾多IBR技術(shù)中DIBR(基于深度的圖像繪制)技術(shù)由于其繪制的圖像的真實性和其操作的簡單性，使之成為最為行之有效的虛擬視點(diǎn)繪制的方法，因此DIBR更適合于3DTV系統(tǒng)終端的繪制。DIBR利用參考視點(diǎn)圖像和其對應(yīng)的深度圖像把各個像素投影到3D空間，從而為每一個像素建立一個簡單的3D場景模型；然后把這個簡單的3D場景模型投影到虛擬攝像機(jī)圖像平面，進(jìn)而完成了虛擬視點(diǎn)的繪制，整個過程即三維圖像變換。理論上DIBR能利用一路紋理圖像和其對應(yīng)的深度圖像繪制出任意虛擬視點(diǎn)，但是DIBR存在空洞問題?？斩磫栴}主要是由于參考視點(diǎn)圖像不可能包含3D場景所有的信息，應(yīng)用DIBR繪制虛擬視點(diǎn)時，由于虛擬視點(diǎn)相對于參考視點(diǎn)存在水平位移，可能使得一些物體在虛擬視點(diǎn)中是如景而在參考視點(diǎn)中卻是背景，而參考視點(diǎn)的紋理圖像并不提供任何關(guān)于背景物體的信息，因此在虛擬視點(diǎn)中產(chǎn)生了空洞?！耙宦芳y理+ —路深度”和“兩路紋理+兩路深度”是目前主要的虛擬視點(diǎn)繪制方法。“一路紋理+ —路深度”方法是通過對紋理圖像和其對應(yīng)深度圖像執(zhí)行一次三維圖像變換直接得到虛擬視點(diǎn)圖像；而“兩路紋理+兩路深度”則是通過執(zhí)行兩次三維圖像變換，然后再進(jìn)行視點(diǎn)融合，最后得到虛擬視點(diǎn)圖像。因此“一路紋理+—路深度”方法得到虛擬視點(diǎn)的空洞明顯多于“兩路紋理+兩路深度”所得到的繪制結(jié)果。目前，深度圖像預(yù)處理、三維圖像變換和圖像修復(fù)是繪制虛擬視點(diǎn)圖像的三個主要步驟。深度圖像預(yù)處理主要采用高斯平滑濾波、中值濾波和一些平滑邊緣的濾波器，這些深度圖像預(yù)處理的方法能夠一定程度上減少虛擬視點(diǎn)圖像中空洞的產(chǎn)生，但同樣也對虛擬點(diǎn)圖像產(chǎn)生了幾何畸變。圖像修復(fù)算法能有效的填充虛擬視點(diǎn)的空洞，但是其算法復(fù)雜度極高，很難應(yīng)用到實時的3DTV系統(tǒng)中。另外，通過LDI (分層深度圖像)也能夠有效的填充空洞，它允許在相應(yīng)的層存儲空洞的像素，這樣空洞就可以利用這些像素來填充，但是LDI不僅增加計算的復(fù)雜度而且耗費(fèi)帶寬嚴(yán)重
發(fā)明內(nèi)容
本發(fā)明旨在提供一種雙目系統(tǒng)中基于GPU的實時繪制方法，利用空洞圖像空洞分布的特點(diǎn)、GPU并行計算的能力和DIBR技術(shù)高度并行性的特點(diǎn)，在保證合成新視點(diǎn)圖像在主、客觀質(zhì)量上達(dá)到較好效果的同時，大幅度提高繪制的速度。為達(dá)到上述目的，本發(fā)明的構(gòu)思是
首先在雙目系統(tǒng)的發(fā)送端繪制出空洞掩膜圖像并提取大空洞的紋理信息，然后在系統(tǒng)的接收端利用提取的紋理信息填充大空洞，同時利用插值算法填充小空洞；采用GPU加速虛擬視點(diǎn)圖像的繪制，首先利用CUDA (通用并行計算架構(gòu))技術(shù)將每個像素投影到三維空間，然后應(yīng)用Open GL (開源的圖形程序接口)技術(shù)將三維空間中的像素投影點(diǎn)反投影到二維平面完成虛擬視點(diǎn)圖像的繪制。根據(jù)上述構(gòu)思，本發(fā)明的技術(shù)方案是
一種雙目系統(tǒng)中基于GPU的實時繪制方法，其步驟是
(1)發(fā)送端繪制出空洞掩膜圖像并提取紋理信息繪制出空洞掩膜圖像，利用空洞掩膜圖像找到大空洞橫向的最大值，根據(jù)此最大值提取相應(yīng)的空洞填充圖像，即HFI (空洞填充圖像);
(2)接收端空洞填充利用發(fā)送端提取的紋理信息填充大空洞，并利用插值算法填充小空洞；
(3)GPU加速繪制利用CUDA技術(shù)將紋理圖像中的像素逐一投影到三維空間，然后應(yīng)用Open GL技術(shù)將三維空間中的像素投影點(diǎn)反投影到二維平面完成虛擬視點(diǎn)圖像的繪制。本發(fā)明的雙目系統(tǒng)中一種基于GPU的實時繪制方法與已有技術(shù)相比較，具有如下顯而易見的突出實質(zhì)性特點(diǎn)和顯著優(yōu)點(diǎn)該方法在雙目系統(tǒng)的發(fā)送端繪制出空洞掩膜，提取大空洞的紋理信息HFI，在接收端利用提取的紋理信息HFI填充大空洞，特別是當(dāng)場景的紋理發(fā)生突變時，傳遞HFI繪制所得到虛擬視點(diǎn)圖像的客觀質(zhì)量越好；同時將CUDA技術(shù)和Open GL技術(shù)引入到基于深度的圖像繪制中，合理地對常規(guī)的基于CPU (中央處理器)的繪制改成基于GPU的繪制，運(yùn)行在NVIDIA Quadro 600圖形卡上，對分辨率為1024X768和1920X1080圖像的繪制速率分別達(dá)到45fps和28fps，同時合成的新視點(diǎn)圖像在主、客觀質(zhì)量上達(dá)到了較好的效果，可實現(xiàn)雙目系統(tǒng)的實時繪制。


圖I為本發(fā)明一種雙目系統(tǒng)中基于GPU的實時繪制方法原理框圖2為測試序列“Book Arrival”的第8視點(diǎn)第17幀彩色紋理圖像；
圖3為圖2所示“Book Arrival”序列的彩色紋理圖像對應(yīng)的深度圖4為測試序列“Book Arrival”的第7視點(diǎn)第17幀彩色紋理圖像；
圖5為空洞圖像的掩膜圖像；
圖6為發(fā)送端提取的空洞填充圖像(HFI)；
圖7為繪制空洞掩膜圖像原理框圖8為利用第8視點(diǎn)第17幀彩色紋理圖像和其對應(yīng)的深度圖像繪制第7視點(diǎn)第17幀所產(chǎn)生的空洞圖像；
圖9為本發(fā)明方法所繪制的虛擬視點(diǎn)圖像；
圖10為應(yīng)用CUDA技術(shù)把紋理圖像中的每一個像素投影到三維空間的原理框圖；圖11為應(yīng)用Open GL技術(shù)把三維空間中的像素投影到二維平面的原理框圖12為序列“Book Arrival”繪制虛擬視點(diǎn)的客觀質(zhì)量比較；
圖13為序列“Book Arrival”6-20中貞的繪制時間(單位:ms)。
具體實施例方式以下結(jié)合附圖對本發(fā)明的優(yōu)選實施例作進(jìn)一步的詳細(xì)說明。實施例一
參見圖1，本雙目系統(tǒng)中基于GPU的實時繪制方法，其特征在于首先在雙目系統(tǒng)的發(fā)送端繪制出空洞掩膜圖像并提取大空洞的紋理信息HFI，然后在系統(tǒng)的接收端利用提取的HFI填充大空洞，并利用插值算法填充小空洞；為達(dá)到實時性的要求，采用GPU加速虛擬視點(diǎn)圖像的繪制；首先利用CUDA技術(shù)將紋理圖像中的像素投影到三維空間，然后應(yīng)用OpenGL技術(shù)將三維空間中的像素投影到二維平面完成虛擬視點(diǎn)圖像的繪制；其步驟是
(1)發(fā)送端繪制出空洞掩膜圖像并提取紋理信息繪制出空洞掩膜圖像，利用空洞掩膜圖像找到大空洞橫向的最大值，根據(jù)此最大值提取相應(yīng)的空洞填充圖像，即HFI ；
(2)接收端空洞填充利用發(fā)送端提取的紋理信息HFI填充大空洞，并利用插值算法填充小空洞；
(3)GPU加速繪制利用CUDA技術(shù)將紋理圖像中的像素逐一投影到三維空間，然后應(yīng)用Open GL技術(shù)將三維空間中的像素投影點(diǎn)反投影到二維平面完成虛擬視點(diǎn)圖像的繪制。實施例二
本實例與實施例一基本相同，特別之處如下
所述步驟(I)發(fā)送端繪制出空洞掩膜圖像并提取紋理信息的具體步驟如下
①利用深度圖像和其對應(yīng)的頂點(diǎn)索引進(jìn)行三維圖像變換，變換之后顏色緩沖區(qū)分別用O和255賦值，其中O表示空洞區(qū)域，255表示非空洞區(qū)域。根據(jù)Open GL的存儲特點(diǎn)，圖像的頂點(diǎn)索引、頂點(diǎn)的顏色數(shù)據(jù)和頂點(diǎn)的深度信息分別存儲于頂點(diǎn)緩沖區(qū)、顏色緩沖區(qū)和深度緩沖區(qū)；而空洞掩膜是一幅起標(biāo)記性作用的圖像，它只記錄空洞的位置，無需考慮所對應(yīng)的顏色數(shù)據(jù)；
②利用空洞掩膜圖像找到大空洞橫向的最大值，根據(jù)此最大值提取相應(yīng)的空洞填充圖像 HFI。所述步驟(2)接收端空洞填充的具體步驟如下
①空洞圖像中大空洞利用發(fā)送端提取的HFI進(jìn)行空洞填充，采用CUDA技術(shù)為每一行啟動一個線程加速空洞的填充；
②空洞圖像中小空洞利用水平插值算法進(jìn)行空洞填充，其優(yōu)點(diǎn)是它具有高度的并行性，易于CUDA實現(xiàn)，可以為每個像素啟動給一個線程，大幅度減少了空洞填充的時間，插值式如下
(I)
其中S是空洞位置的像素值，巧和6分別是水平方向上空洞邊界處左側(cè)和右側(cè)的像素值G是加權(quán)因子。
所述步驟(3) GPU加速繪制的具體步驟如下
①應(yīng)用CUDA技術(shù)為紋理圖像中的每一個像素啟動一個線程，每一個線程均利用下式
(2)把像素投影到三維空間，
Zcm - 2.[及||]. Μ
(2)
其中4是三維世界坐標(biāo)系中的深度值，m是圖像坐標(biāo)系中某像素的坐標(biāo)，M是三維世界坐標(biāo)系中某像素的坐標(biāo)，矩陣j和[R H分別是3 X 3的相機(jī)內(nèi)參矩陣和3 X 4的相機(jī)外參矩陣；
②應(yīng)用OpenGL技術(shù)對三維空間中的像素進(jìn)行正投影變換、透視除法操作、視口變換、光柵化和基于片斷的操作，最后帶有空洞的虛擬視點(diǎn)圖像存儲在幀緩沖區(qū)中。實施例三
本實施例以本發(fā)明的技術(shù)方案為前提下進(jìn)行實施，給出了詳細(xì)的實施方式，但本發(fā)明的保護(hù)范圍不限于下述的實施例。本實施例的應(yīng)用環(huán)境如下用于基于深度的繪制的視頻為“Book Arrival”標(biāo)準(zhǔn)測試序列，該序列的分辨率為1024X768，相機(jī)陣列的水平距離為6. 0cm，相機(jī)的焦距是140cm ;圖2為測試序列“Book Arrival”第8視點(diǎn)第17幀彩色紋理圖像；圖3為圖2所示的彩色紋理圖像所對應(yīng)的深度圖像；圖4為測試序列“Book Arrival”的第7視點(diǎn)第17幀彩色紋理圖像；為了模擬本文的雙目實時系統(tǒng)，以H. 264/AVC的標(biāo)準(zhǔn)參考軟件JM18. O為實驗平臺，測試的幀數(shù)為15幀。參見圖1，本雙目系統(tǒng)中基于GPU的實時繪制方法，其步驟是
(1)發(fā)送端繪制出空洞掩膜圖像并提取紋理信息繪制出空洞掩膜圖像，利用空洞掩膜圖像找到大空洞橫向的最大值，根據(jù)此最大值提取相應(yīng)的空洞填充圖像，即HFI ；
(2)接收端空洞填充利用發(fā)送端提取的紋理信息填充大空洞，并利用插值算法填充小空洞；
(3)GPU加速繪制利用CUDA技術(shù)將紋理圖像中的像素逐一投影到三維空間，然后應(yīng)用Open GL技術(shù)將三維空間中的像素投影點(diǎn)反投影到二維平面完成虛擬視點(diǎn)圖像的繪制。上述步驟(I)所述的繪制出空洞掩膜圖像，利用空洞掩膜圖像找到大空洞橫向的最大值，根據(jù)此最大值提取相應(yīng)的空洞填充圖像HFI，空洞掩膜圖像如圖5所示，空洞填充圖像HFI如圖6所示，其具體步驟如下
(1-1)利用深度圖像和其對應(yīng)的頂點(diǎn)索引進(jìn)行三維圖像變換即，變換之后顏色緩沖區(qū)分別用O和255賦值，其中O表示空洞區(qū)域，255表示非空洞區(qū)域。根據(jù)Open GL的存儲特點(diǎn)，圖像的頂點(diǎn)索引、頂點(diǎn)的顏色數(shù)據(jù)和頂點(diǎn)的深度信息分別存儲于頂點(diǎn)緩沖區(qū)、顏色緩沖區(qū)和深度緩沖區(qū)。而空洞掩膜是一幅起標(biāo)記性作用的圖像，它只記錄空洞的位置，無需考慮所對應(yīng)的顏色數(shù)據(jù)。具體實現(xiàn)方法如圖7所示。(1-2)利用空洞掩膜圖像找到大空洞橫向的最大值，根據(jù)此最大值提取相應(yīng)的空洞填充圖像HFI。上述的步驟(2)所述的利用發(fā)送端提取的紋理信息填充大空洞，并利用插值算法填充小空洞，帶空洞的紋理圖像如圖8所示，空洞填充后效果圖像如圖9所示，其具體步驟如下
(2-1)空洞圖像中大空洞利用發(fā)送端提取的HFI進(jìn)行空洞填充，采用CUDA技術(shù)為每一行啟動一個線程加速空洞的填充。(2-2)空洞圖像中小空洞利用水平插值算法進(jìn)行空洞填充，其優(yōu)點(diǎn)是它具有高度的并行性，易于CUDA實現(xiàn)，可以為每個像素啟動給一個線程，大幅度減少了空洞填充的時間，插值式如下
P^aPl+ (I-CtjPr
(3)
其中是空洞位置的像素值，巧和4分別是水平方向上空洞邊界處左側(cè)和右側(cè)的像素值，《是加權(quán)因子。上述的步驟(3)所述的利用CUDA技術(shù)將紋理圖像中的像素逐一投影到三維空間，然后應(yīng)用Open GL技術(shù)將三維空間中的像素投影點(diǎn)反投影到二維平面完成虛擬視點(diǎn)圖像的繪制，其具體步驟如下
(3-1)首先由于深度圖像是(Γ255灰度值的灰度圖像，在三維圖像變換之前應(yīng)根據(jù)式
(4)把灰度級轉(zhuǎn)換為真實三維空間中的深度值，
(4)
其中Zi表示真實三維空間中的深度值，和Zast是距攝像機(jī)的最近和最遠(yuǎn)距離，z是深度圖像的深度級。然后利用式(4)、應(yīng)用CUDA技術(shù)為紋理圖像中的每一個像素啟動一個線程，每一個線程均利用式(5)把像素投影到三維空間，
Z￡m = A-^R^· M
(5)
其中^是三維世界坐標(biāo)系中的深度值，m是圖像坐標(biāo)系中某像素的坐標(biāo)，M是三維
世界坐標(biāo)系中某像素的坐標(biāo)，矩陣j和O分別是3 X 3的相機(jī)內(nèi)參矩陣和3 X 4的相機(jī)外
參矩陣。應(yīng)用CUDA技術(shù)把紋理圖像中的像素逐一投影到三維空間的原理框圖，如圖10所示。緩沖區(qū)操作是通過Open GL驅(qū)動程序來完成的，主要目的是在GPU上開辟適當(dāng)?shù)拇鎯臻g并通過CUDA核函數(shù)為其賦值。實現(xiàn)圖形互操作性的關(guān)鍵是要注冊圖形資源，CUDA運(yùn)行時將返回一個指向緩沖區(qū)的句柄，以后CUDA將通過這個句柄來訪問緩沖區(qū)。同時在顯卡全局內(nèi)存上分配適當(dāng)?shù)拇鎯臻g，用來為核函數(shù)執(zhí)行三維圖像變換提供數(shù)據(jù)源。啟動核函數(shù)之前必須以一個實際的顯存地址傳遞給它，所以首先映射圖形資源，然后請求一個指向被映射資源的指針，執(zhí)行三維圖像變換之后的數(shù)據(jù)將存儲在此地址空間。最后啟動核函數(shù)執(zhí)行三維圖像變換，得到真實三維空間中的像素投影點(diǎn)數(shù)據(jù)。
(3-2)三維空間中的像素投影點(diǎn)反投影到二維平面的原理框圖如圖11所示，關(guān)鍵步驟如下首先把三維空間中物體的頂點(diǎn)坐標(biāo)進(jìn)行正投影變換；其次進(jìn)行透視除法操作，得到規(guī)范化的設(shè)備坐標(biāo)；再次進(jìn)行視口變換，從而確立了設(shè)備坐標(biāo)與屏幕像素之間的對應(yīng)關(guān)系；下一步進(jìn)行光柵化，為屏幕渲染圖像做準(zhǔn)備；基于片斷的操作主要是啟動深度測試功能，通過檢測深度緩沖區(qū)中的歸一化的深度值進(jìn)行虛擬視點(diǎn)中正確像素的選擇；經(jīng)過渲染帶有空洞的虛擬視點(diǎn)圖像存儲在幀緩沖區(qū)中。本實施例以圖像的PSNR (峰值信噪比)和SSM (結(jié)構(gòu)相似性指數(shù))作為繪制質(zhì)量的客觀評價標(biāo)準(zhǔn)。表I列出了“Book Arrival”序列(QP值分別取22，27，32，37，42，47)應(yīng)用所提出算法進(jìn)行繪制的客觀性能比較?？梢钥闯觯瑐魉虷FI提高了繪制的客觀質(zhì)量。當(dāng)場景的紋理越復(fù)雜時，傳遞HFI繪制所得到虛擬視點(diǎn)圖像的客觀質(zhì)量越好。從主觀質(zhì)量上看，圖9為利用本發(fā)明方法合成虛擬視點(diǎn)的圖像，圖4為利用攝像機(jī)采集真實視點(diǎn)的圖像，可見兩幅圖像的主觀質(zhì)量基本相當(dāng)。本實施例利用GPU計時，考慮到計時的誤差，取10次新視點(diǎn)圖像繪制時間的平均值作為最終的繪制時間。表2列出了繪制序列“Book 41^^1”第6 20幀時各幀所需要的時間，由表可以看出GPU繪制一幀的時間平均在22ms左右，達(dá)到了實時繪制的目的。按照本發(fā)明所述方法，能保證合成新視點(diǎn)圖像在主、客觀質(zhì)量上達(dá)到了較好效果的同時大幅度提高了繪制的速度，由此也驗證了本發(fā)明的有效性。
權(quán)利要求
1.一種雙目系統(tǒng)中基于GPU (圖形處理器)的實時繪制方法，其特征在于首先在雙目系統(tǒng)的發(fā)送端繪制出空洞掩膜圖像并提取大空洞的紋理信息HFI (空洞填充圖像)，然后在系統(tǒng)的接收端利用提取的HFI填充大空洞，并利用插值算法填充小空洞；為達(dá)到實時性的要求，采用GPU加速虛擬視點(diǎn)圖像的繪制；首先利用CUDA (通用并行計算架構(gòu))技術(shù)將紋理圖像中的像素投影到三維空間，然后應(yīng)用Open GL (開源的圖形程序接口)技術(shù)將三維空間中的像素投影到二維平面完成虛擬視點(diǎn)圖像的繪制；其步驟是(1)發(fā)送端繪制出空洞掩膜圖像并提取紋理信息繪制出空洞掩膜圖像，利用空洞掩膜圖像找到大空洞橫向的最大值，根據(jù)此最大值提取相應(yīng)的空洞填充圖像，即HFI ；(2)接收端空洞填充利用發(fā)送端提取的紋理信息HFI填充大空洞，并利用插值算法填充小空洞；(3)GPU加速繪制利用⑶DA技術(shù)將紋理圖像中的像素逐一投影到三維空間，然后應(yīng)用Open GL技術(shù)將三維空間中的像素投影點(diǎn)反投影到二維平面完成虛擬視點(diǎn)圖像的繪制。
2.根據(jù)權(quán)利要求I所述的雙目系統(tǒng)中基于GPU的實時繪制方法，其特征在于所述步驟(1)發(fā)送端繪制出空洞掩膜圖像并提取紋理信息的具體步驟如下①利用深度圖像和其對應(yīng)的頂點(diǎn)索引進(jìn)行三維圖像變換，變換之后顏色緩沖區(qū)分別用O和255賦值，其中O表示空洞區(qū)域，255表示非空洞區(qū)域；根據(jù)Open GL的存儲特點(diǎn)，圖像的頂點(diǎn)索引、頂點(diǎn)的顏色數(shù)據(jù)和頂點(diǎn)的深度信息分別存儲于頂點(diǎn)緩沖區(qū)、顏色緩沖區(qū)和深度緩沖區(qū)；而空洞掩膜是一幅起標(biāo)記性作用的圖像，它只記錄空洞的位置，無需考慮所對應(yīng)的顏色數(shù)據(jù)；②利用空洞掩膜圖像找到大空洞橫向的最大值，根據(jù)此最大值提取相應(yīng)的空洞填充圖像 HFI。
3.根據(jù)權(quán)利要求I所述的雙目系統(tǒng)中基于GPU的實時繪制方法，其特征在于所述步驟(2)接收端空洞填充的具體步驟如下①空洞圖像中大空洞利用發(fā)送端提取的HFI進(jìn)行空洞填充，采用CUDA技術(shù)為每一行啟動一個線程加速空洞的填充；②空洞圖像中小空洞利用水平插值算法進(jìn)行空洞填充，其優(yōu)點(diǎn)是它具有高度的并行性，易于CUDA實現(xiàn)，可以為每個像素啟動給一個線程，大幅度減少了空洞填充的時間，插值式如下 其中巧是空洞位置的像素值和Ργ分別是水平方向上空洞邊界處左側(cè)和右側(cè)的像素值&是加權(quán)因子。
4.根據(jù)權(quán)利要求I所述的雙目系統(tǒng)中基于GPU的實時繪制方法，其特征在于所述步驟(3)GPU加速繪制的具體步驟如下①應(yīng)用CUDA技術(shù)為紋理圖像中的每一個像素啟動一個線程，每一個線程均利用下式(2)把像素投影到三維空間，其中4是三維世界坐標(biāo)系中的深度值，m是圖像坐標(biāo)系中某像素的坐標(biāo)，I 是三維世界坐標(biāo)系中某像素的坐標(biāo)，矩陣A和[R H分別是3 X 3的相機(jī)內(nèi)參矩陣和3 X 4的相機(jī)外參矩陣；②應(yīng)用Open GL技術(shù)對三維空間中的像素進(jìn)行正投影變換、透視除法操作、視口變換、光柵化和基于片斷的操作，最后帶有空洞的虛擬視點(diǎn)圖像存儲在幀緩沖區(qū)中。
全文摘要
本發(fā)明涉及一種雙目系統(tǒng)中基于GPU(圖形處理器)的實時繪制方法。本發(fā)明在雙目系統(tǒng)的發(fā)送端繪制出空洞掩膜圖像并提取大空洞的紋理信息，然后在系統(tǒng)的接收端利用提取的紋理信息填充大空洞，同時利用插值算法填充小空洞；本發(fā)明采用GPU加速虛擬視點(diǎn)圖像的繪制，首先利用CUDA(通用并行計算架構(gòu))技術(shù)將每個像素投影到三維空間，然后應(yīng)用OpenGL(開源的圖形程序接口)技術(shù)將三維空間中的像素投影到二維平面完成虛擬視點(diǎn)圖像的繪制。本發(fā)明大幅度提高了繪制的速度，合成的新視點(diǎn)圖像在主、客觀質(zhì)量上達(dá)到了較好的效果，可實現(xiàn)雙目系統(tǒng)的實時繪制。
文檔編號G06T15/20GK102930593SQ20121036676
公開日2013年2月13日 申請日期2012年9月28日 優(yōu)先權(quán)日2012年9月28日
發(fā)明者鄭專, 安平, 鄔芙瓊, 王奎, 張兆楊 申請人:上海大學(xué)