專利名稱：一種立體視頻渲染方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種立體視頻渲染方法及裝置。
背景技術(shù)：
深度圖在立體視頻采集、后期制作以及視頻二維轉(zhuǎn)三維中都扮演著極其重要的角色。在現(xiàn)有的技術(shù)水平下，人們已經(jīng)有多種渠道可以獲得二維視頻所對(duì)應(yīng)的深度圖，但是在立體視頻最終呈現(xiàn)給觀眾的時(shí)候，仍需要有較高質(zhì)量的不同視角的圖像，而利用深度圖生成不同視角的圖像這一過(guò)程，一般稱之為基于深度圖的立體視頻渲染。傳統(tǒng)的基于深度的立體視頻渲染一般包含以下幾個(gè)步驟1、根據(jù)深度值計(jì)算視差值2、根據(jù)視差值計(jì)算圖像的正向坐標(biāo)3、根據(jù)正向坐標(biāo)對(duì)原圖進(jìn)行像素搬移生成目標(biāo)圖像
4、對(duì)目標(biāo)圖像中存在的空洞進(jìn)行檢測(cè)并填補(bǔ)。 傳統(tǒng)的立體視頻渲染方法的核心是計(jì)算正向坐標(biāo)并對(duì)原圖按照正向坐標(biāo)進(jìn)行像素搬移，其搬移過(guò)程如圖I所示。圖I中，A'表示原圖中的某行像素，B’表示原圖中的某行像素經(jīng)過(guò)搬移后的結(jié)果，即渲染后的目標(biāo)圖中的某行像素。其中A'中每個(gè)像素點(diǎn)上的數(shù)字代表了該像素的正向坐標(biāo)，在渲染過(guò)程中，將原圖中的該像素按照其正向坐標(biāo)的指向，復(fù)制到目標(biāo)圖的相應(yīng)位置。由于深度圖的不平滑，很容易造成B'中出現(xiàn)空洞。而且對(duì)于不同的深度圖，空洞出現(xiàn)的位置和大小都不相同。當(dāng)B'中出現(xiàn)空洞后，一般需要進(jìn)行空洞檢測(cè)和空洞填補(bǔ)，但由于空洞出現(xiàn)的隨機(jī)性，空洞檢測(cè)和填補(bǔ)的這一步驟在軟件和硬件上實(shí)現(xiàn)時(shí)都需要消耗相當(dāng)一部分的計(jì)算時(shí)間和計(jì)算資源。

發(fā)明內(nèi)容
本發(fā)明旨在至少解決上述技術(shù)問(wèn)題之一。為此，本發(fā)明的一個(gè)目的在于提出一種無(wú)需空洞填補(bǔ)、計(jì)算量較小的立體視頻渲染方法。本發(fā)明的另一目的在于提出一種無(wú)需空洞填補(bǔ)、計(jì)算量較小的立體視頻渲染裝置。為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明第一方面的立體視頻渲染方法包括以下步驟A.輸入深度圖和視頻同步信號(hào)，獲取深度圖中像素(i，j)的深度值Daj),其中i為行坐標(biāo)，j為列坐標(biāo)；B.根據(jù)深度圖，逐行計(jì)算所有像素的反向坐標(biāo)；以及C.根據(jù)所有像素的反向坐標(biāo)，對(duì)視頻同步信號(hào)進(jìn)行采樣取值，以獲得立體視頻渲染結(jié)果，并輸出立體視頻渲染結(jié)果。在本發(fā)明立體視頻渲染方法的一個(gè)實(shí)施例中，步驟B進(jìn)一步包括B1.根據(jù)第i行第一列像素(i，D的深度值D (i，I)計(jì)算第i行全局偏移量OfTseti ;和B2.根據(jù)第i行各個(gè)元素(i，j)的深度值D (i，j)和第i行全局偏移量OfTseti迭代地計(jì)算第i行各個(gè)元素(i，j)的反向坐標(biāo)C(i, j)。在本發(fā)明立體視頻渲染方法的一個(gè)實(shí)施例中，第i行全局偏移量Offseti的計(jì)算公式為=Offseti=-Dtia^discale,其中discale為視差調(diào)節(jié)參數(shù)。
在本發(fā)明立體視頻渲染方法的一個(gè)實(shí)施例中，步驟B2進(jìn)一步包括B21.根據(jù)第i行全局偏移量Offseti,計(jì)算第i行第一列像素(i，I)的反向坐標(biāo)C(i,D JPB22.根據(jù)第i行中第j_l列像素的反向坐標(biāo)Caj-D,第i行中第j列像素的深度值D 以及第i行全局偏移量Offseti,計(jì)算第i行中第j列像素的反向坐標(biāo)C&J)。在本發(fā)明立體視頻渲染方法的一個(gè)實(shí)施例中，第i行第一列像素的反向坐標(biāo)C(i,D的計(jì)算公式為Cai) = -Offseti。在本發(fā)明立體視頻渲染方法的一個(gè)實(shí)施例中，第i行中第j列像素的反向坐標(biāo)C(i,j)的計(jì)算公式為若j-discale*D(ijJ)+Offseti<C(ijJ_1)則C (i, j)=C(i, j—D+1-S ；若C(i,貝[I C1 h ;) = (I — -7—, i, + ——(i - discale * D(l + Offset ,) + 1- S t 若
權(quán)利要求
1.一種立體視頻渲染方法，其特征在于，包括以下步驟 A.輸入深度圖和視頻同步信號(hào)，獲取所述深度圖中像素(i，j)的深度值Daj),其中i為行坐標(biāo)，j為列坐標(biāo)； B.根據(jù)所述深度圖，逐行計(jì)算所有像素的反向坐標(biāo)；以及 C.根據(jù)所述所有像素的反向坐標(biāo)，對(duì)所述視頻同步信號(hào)進(jìn)行采樣取值，以獲得立體視頻渲染結(jié)果，并輸出所述立體視頻渲染結(jié)果。
2.根據(jù)權(quán)利要求I所述的立體式視頻渲染方法，其特征在于所述步驟B進(jìn)一步包括 BI.根據(jù)第i行第一列像素(i，l)的深度值D (i，I)計(jì)算第i行全局偏移量Offseti;和 B2.根據(jù)第i行各個(gè)元素(i，j)的深度值D(i，j)和所述第i行全局偏移量OfTseti迭代地計(jì)算第i行各個(gè)元素(i，j)的反向坐標(biāo)C(i，j)。
3.根據(jù)權(quán)利要求2所述的立體式視頻渲染方法，其特征在于所述第i行全局偏移量Offseti的計(jì)算公式為Affseti=-DaD^discale,其中discale為視差調(diào)節(jié)參數(shù)。
4.根據(jù)權(quán)利要求3所述的立體式視頻渲染方法，其特征在于所述步驟B2進(jìn)一步包括 B21.根據(jù)所述第i行全局偏移量Offseti,計(jì)算第i行第一列像素(i，I)的反向坐標(biāo)Caa);和 B22.根據(jù)第i行中第j-1列像素的反向坐標(biāo)Ca^)，第i行中第j列像素的深度值D(i,j),以及所述第i行全局偏移量Offseti,計(jì)算所述第i行中第j列像素的反向坐標(biāo)Qm)。
5.根據(jù)權(quán)利要求4所述的立體式視頻渲染方法，其特征在于所述第i行第一列像素的反向坐標(biāo)Cai)的計(jì)算公式為=CaD=-Offsetitj
6.根據(jù)權(quán)利要求4所述的立體式視頻渲染方法，其特征在于所述第i行中第j列像素的反向坐標(biāo)Caj)的計(jì)算公式為若 j_discale*D(i, j+OfTseti<C(i, j—1)。則=C(Lj)=C(i,j-1)1-S ； 若 C (i, J-1)<j-discale*D(ij J)+0ffseti<C(ij j^d+M, JjllJ
7.根據(jù)權(quán)利要求I所述的立體式視頻渲染方法，其特征在于所述采樣取值的過(guò)程為 若所述像素(i，j)的反向坐標(biāo)C(i,j)為整數(shù)，則直接采樣原圖中第i行第C(i,」)列像素(i,C(ijJ))的信息； 若所述像素(i，j)的反向坐標(biāo)C(i,j)為整數(shù)為浮點(diǎn)數(shù)，則取第i行第C(i,」)相鄰整數(shù)列的像素的信息，按照比例進(jìn)行插值。
8.一種立體視頻渲染裝置，其特征在于，包括以下部分 輸入模塊，用于輸入視頻同步信號(hào)和深度圖； 深度值獲取模塊，用于獲取所述深度圖中像素(i，j)的深度值D^，其中i為行坐標(biāo)，j為列坐標(biāo)；反向坐標(biāo)獲取模塊，用于獲取所有像素的反向坐標(biāo)； 采樣取值模塊，用于根據(jù)所述所有像素的反向坐標(biāo)，從所述視頻同步信號(hào)中進(jìn)行像素采樣取值；和 輸出模塊，用于在完成所有像素的所述像素采樣取值操作后，輸出立體視頻渲染結(jié)果。
9.根據(jù)權(quán)利要求8所述的立體式視頻渲染裝置，其特征在于所述反向坐標(biāo)獲取模塊進(jìn)一步包括 全局變量計(jì)算模塊，用于根據(jù)第i行第一列像素(i，D的深度值]^:)計(jì)算第i行全局偏移量Offseti ;和 反向坐標(biāo)計(jì)算模塊，用于根據(jù)第i行各個(gè)元素(i，j)的深度值D(m)和所述第i行全局偏移量OffSeti迭代地計(jì)算第i行各個(gè)元素(i，j)的反向坐標(biāo)C&j)。
10.根據(jù)權(quán)利要求8所述的立體式視頻渲染裝置，其特征在于所述第i行全局偏移量Offseti的計(jì)算公式為Affseti=-Da^discaie,其中discale為視差調(diào)節(jié)參數(shù)。
11.根據(jù)權(quán)利要求10所述的立體式視頻渲染裝置，其特征在于所述反向坐標(biāo)計(jì)算模塊進(jìn)一步包括 首列像素反向坐標(biāo)計(jì)算模塊，用于根據(jù)所述第i行全局偏移量OfTseti,計(jì)算第i行第一列像素(i，D的反向坐標(biāo)C(i,D ;和 其他列像素反向坐標(biāo)計(jì)算模塊，用于根據(jù)第i行中第j_l列像素的反向坐標(biāo)第i行中第j列像素的深度值D (i,j)，以及所述第i行全局偏移量Offseti,計(jì)算所述第i行中第j列像素的反向坐標(biāo)C(i,j.)。
12.根據(jù)權(quán)利要求11所述的立體式視頻渲染裝置，其特征在于所述第i行第一列像素的反向坐標(biāo)Cai)的計(jì)算公式為Cai) = -Offset^
13.根據(jù)權(quán)利要求11所述的立體式視頻渲染裝置，其特征在于所述第i行中第j列像素的反向坐標(biāo)C(i,j5的計(jì)算公式為若
14.根據(jù)權(quán)利要求8所述的立體式視頻渲染裝置，其特征在于所述采樣取值模塊中， 若所述像素(i，j)的反向坐標(biāo)C(i,j)為整數(shù)，則直接采樣原圖中第i行第C(i,」)列像素(i,C(ijJ))的信息； 若所述像素(i，j)的反向坐標(biāo)C(i,j)為整數(shù)為浮點(diǎn)數(shù)，則取第i行第C(i,」)相鄰整數(shù)列的像素的信息，按照比例進(jìn)行插值。
全文摘要
本發(fā)明提出一種立體視頻渲染方法及裝置，該方法包括以下步驟輸入深度圖和視頻同步信號(hào)，獲取深度圖中各像素的深度值；根據(jù)深度圖，逐行計(jì)算所有像素的反向坐標(biāo)；以及根據(jù)所有像素的反向坐標(biāo)，對(duì)視頻同步信號(hào)進(jìn)行采樣取值，以獲得立體視頻渲染結(jié)果，并輸出立體視頻渲染結(jié)果。根據(jù)本發(fā)明實(shí)施例的方法，可以免除渲染后形成空洞，省卻了空洞檢測(cè)和填充的步驟，計(jì)算量較小，提高了渲染處理速率，同時(shí)降低了對(duì)硬件資源的要求。該方法對(duì)于深度圖的平滑性沒(méi)有嚴(yán)格的要求，既可接受經(jīng)過(guò)濾波之后的深度圖，也可以接受邊緣突變較大的深度圖，應(yīng)用范圍較廣。
文檔編號(hào)H04N13/00GK102724526SQ20121020065
公開(kāi)日2012年10月10日 申請(qǐng)日期2012年6月14日 優(yōu)先權(quán)日2012年6月14日
發(fā)明者季向陽(yáng), 戴瓊海, 曹汛, 郝偉 申請(qǐng)人:清華大學(xué)