專利名稱：一種交互式多視點(diǎn)視頻系統(tǒng)中虛擬視點(diǎn)的合成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種交互式多視點(diǎn)視頻系統(tǒng)中虛擬視點(diǎn)的合成方法，尤其涉及一種用于用戶自主選擇視點(diǎn)時(shí)視點(diǎn)切換過(guò)程視頻圖像生成方法的設(shè)計(jì)，屬于信息傳播技術(shù)領(lǐng)域。
背景技術(shù)：
多視點(diǎn)視頻是視頻處理的新興領(lǐng)域。在這個(gè)領(lǐng)域中，單路視頻源被環(huán)繞場(chǎng)景的拍攝的多路視頻取代。多視點(diǎn)視頻能夠提供用戶與場(chǎng)景的交互能力，即用戶可以自主選擇觀察角度以獲得更好的觀看效果。虛擬視點(diǎn)是指在用戶切換實(shí)際視點(diǎn)的過(guò)程中經(jīng)過(guò)的沒(méi)有實(shí)際攝像機(jī)拍攝的視點(diǎn)。依靠實(shí)際視點(diǎn)拍攝的視頻生成虛擬視點(diǎn)的視頻圖像，達(dá)到視點(diǎn)平滑切換的目的成為目前多視點(diǎn)視頻領(lǐng)域的重要問(wèn)題。由于多視點(diǎn)視頻系統(tǒng)中存在的攝像機(jī)數(shù)量多、相鄰攝像機(jī)拍攝夾角大，傳統(tǒng)合成方法在處理多視點(diǎn)視頻合成問(wèn)題時(shí)，存在著計(jì)算量大，處理攝像機(jī)夾角小和視頻質(zhì)量差的問(wèn)題，限制了這些方法的實(shí)用性和應(yīng)用場(chǎng)景。

發(fā)明內(nèi)容
本發(fā)明的目的是提出一種交互式多視點(diǎn)視頻系統(tǒng)中虛擬視點(diǎn)的合成方法，通過(guò)對(duì)前景圖像的特征點(diǎn)提取和跟蹤建立圖像的對(duì)應(yīng)關(guān)系；根據(jù)對(duì)應(yīng)特征點(diǎn)進(jìn)行視頻對(duì)象的三角剖分；通過(guò)插值運(yùn)算得到虛擬視點(diǎn)的視頻前景圖像；對(duì)于背景圖像使用全景圖生成方法得到拍攝場(chǎng)景背景的全景圖；最后將前后景圖像融合得到虛擬視點(diǎn)對(duì)應(yīng)的虛擬圖像。
本發(fā)明提出的交互式多視點(diǎn)視頻系統(tǒng)中虛擬視點(diǎn)的合成方法，包括以下步驟(1)視頻系統(tǒng)根據(jù)用戶交互觀看視頻的請(qǐng)求，確定過(guò)渡視頻圖像質(zhì)量的參數(shù)，進(jìn)而確定相鄰實(shí)際視點(diǎn)間需要插進(jìn)的圖像幀數(shù)，并確定用戶當(dāng)前的視點(diǎn)序號(hào)以及視角切換后的視點(diǎn)序號(hào)，進(jìn)而計(jì)算視角切換所經(jīng)過(guò)的實(shí)際視點(diǎn)的數(shù)量及其序號(hào)；(2)根據(jù)上述實(shí)際視點(diǎn)的序號(hào)讀取各路實(shí)際視頻當(dāng)前時(shí)間點(diǎn)的視頻幀并存儲(chǔ)；(3)將上述實(shí)際視點(diǎn)的各視頻幀分割成前景和背景圖像，并按上述實(shí)際視點(diǎn)的序號(hào)依次分別存儲(chǔ)；(4)利用上述背景圖像得到背景的全景圖像；(5)利用前景圖像，得到前景的灰度圖像，并對(duì)其進(jìn)行中值濾波，去除噪聲；(6)從上述濾波后的前景灰度圖像中提取圖像特征，并建立其與相鄰實(shí)際視點(diǎn)拍攝的圖像特征之間的對(duì)應(yīng)關(guān)系；
(7)根據(jù)上述對(duì)應(yīng)關(guān)系，對(duì)相鄰實(shí)際視點(diǎn)的圖像進(jìn)行三角剖分，并根據(jù)三角剖分結(jié)果和上述插值幀數(shù)，在兩個(gè)相鄰實(shí)際視點(diǎn)之間進(jìn)行插值運(yùn)算，得到虛擬視點(diǎn)前景圖像；(8)將上述虛擬視點(diǎn)前景圖像與背景的全景圖像進(jìn)行疊加，得到虛擬視點(diǎn)圖像。
上述方法中，將實(shí)際視點(diǎn)的各視頻幀分割成前景和背景圖像，包括以下步驟(1)對(duì)實(shí)際視點(diǎn)的多幀視頻進(jìn)行差值計(jì)算和平滑濾波，獲得視頻對(duì)象的大致區(qū)域；(2)對(duì)上述大致區(qū)域進(jìn)行形態(tài)處理，構(gòu)造視頻對(duì)象的內(nèi)外邊界；(3)通過(guò)多值水線分割算法提取對(duì)象邊界。
上述方法中，從濾波后的前景灰度圖像中提取圖像特征，并建立其與相鄰實(shí)際視點(diǎn)拍攝的圖像特征之間的對(duì)應(yīng)關(guān)系的方法，包括以下步驟(1)計(jì)算前景灰度圖像中所有象素對(duì)應(yīng)矩陣A=ΣwIx2IxIyIxIyIx2]]>的特征值，λ1和λ2，且λ1大于λ2，其中A表示二階矩陣，w表示搜索窗口，I表示提取特征的圖像，IX＝I/x，IY＝I/y，x和y分別表示圖像的水平和豎直方向；(2)根據(jù)上述每個(gè)象素的二階矩陣特征值中較小的一個(gè)λ2，將圖像中的所有象素做降序排序；(3)根據(jù)上述圖像質(zhì)量參數(shù)，從上述排序的象素中選取前n個(gè)象素作為圖像特征，并存儲(chǔ)特征的圖像位置信息和順序編號(hào)；(4)根據(jù)上述圖像特征，在與其相鄰的實(shí)際視點(diǎn)的前景圖像中進(jìn)行窗口匹配搜索，設(shè)定一個(gè)窗口誤差域值，選取窗口匹配誤差最小并且低于誤差閾值的象素作為與上述圖像特征相對(duì)應(yīng)的特征，并存儲(chǔ)其位置信息和對(duì)應(yīng)特征編號(hào)，對(duì)該特征作成功標(biāo)記，對(duì)窗口誤差值高于閾值的象素，作失敗標(biāo)記；(5)重復(fù)步驟(4)，直到所有特征都打上標(biāo)記；(6)對(duì)上述標(biāo)記失敗的圖像特征，根據(jù)實(shí)際視點(diǎn)視頻編碼中的運(yùn)動(dòng)向量做步驟(2)；得到最終的對(duì)應(yīng)特征集合。
上述方法中，對(duì)相鄰實(shí)際視點(diǎn)的圖像進(jìn)行三角剖分的方法，包括以下步驟(1)計(jì)算前景灰度圖像中每?jī)蓚€(gè)圖像特征點(diǎn)之間的距離，并排序得到距離的最大值和最小值；(2)將上述最大值和最小值之差除以一個(gè)定值，得到搜索步長(zhǎng)；(3)從圖像中兩點(diǎn)之間距離最小的任意一點(diǎn)出發(fā)，以上述搜索步長(zhǎng)為初始半徑的循環(huán)搜索，每個(gè)循環(huán)的搜索半徑增加一個(gè)搜索步長(zhǎng)，對(duì)搜索范圍內(nèi)的點(diǎn)進(jìn)行三點(diǎn)共線判斷，若共線則繼續(xù)搜索，直至找到形成三角形的點(diǎn)，將該三個(gè)點(diǎn)標(biāo)記為入選，并存儲(chǔ)三角形序號(hào)和三個(gè)點(diǎn)的特征序號(hào)；(4)從上述找到的形成三角形的點(diǎn)出發(fā)，重復(fù)步驟(3)，直到所有的點(diǎn)都標(biāo)記成入選；(5)按三角形重心的坐標(biāo)大小，對(duì)上述所有形成的三角形進(jìn)行升序排序，生成三角形列表。
上述方法中，在兩個(gè)相鄰實(shí)際視點(diǎn)之間進(jìn)行插值運(yùn)算，得到虛擬視點(diǎn)前景圖像的方法，包括以下步驟(1)根據(jù)虛擬視點(diǎn)與相鄰兩個(gè)實(shí)際視點(diǎn)的距離大小的比例關(guān)系，確定虛擬視點(diǎn)圖像的插值權(quán)重；(2)計(jì)算所有虛擬視點(diǎn)圖像與相鄰兩個(gè)實(shí)際視點(diǎn)圖像的剖分三角形之間的變換矩陣；(3)對(duì)每個(gè)虛擬視點(diǎn)中的象素，從上述三角形列表中尋找相應(yīng)的三角形序號(hào)；(4)從上述三角形之間的變換矩陣中選擇與上述三角形序號(hào)相對(duì)應(yīng)的變換矩陣，并將虛擬視點(diǎn)中象素的仿射坐標(biāo)分別乘以該變換矩陣，得到對(duì)應(yīng)的相鄰實(shí)際視點(diǎn)圖像中的象素坐標(biāo)；(5)讀取相鄰實(shí)際視點(diǎn)圖像中的象素坐標(biāo)對(duì)應(yīng)的顏色信息，根據(jù)上述插值權(quán)重計(jì)算虛擬視點(diǎn)中象素的顏色值；(6)重復(fù)步驟(4)和(5)，計(jì)算虛擬視點(diǎn)圖像中所有象素的顏色值。
上述方法中，將虛擬視點(diǎn)前景圖像與背景的全景圖像進(jìn)行疊加，得到虛擬視點(diǎn)圖像的方法，包括以下步驟(1)根據(jù)上述虛擬視點(diǎn)前景圖像的插值權(quán)重，計(jì)算背景全景圖中對(duì)應(yīng)的背景窗口位置；(2)在上述位置的窗口的背景圖像上疊加對(duì)應(yīng)的虛擬視點(diǎn)前景圖像，得到虛擬視點(diǎn)圖像；(3)在上述疊加的虛擬視點(diǎn)圖像上前景與背景的交接處，進(jìn)行五階高斯濾波，得到最終的合成視頻圖像。
本發(fā)明提出的一種交互式多視點(diǎn)視頻系統(tǒng)中虛擬視點(diǎn)的合成方法，用于生成用戶切換視點(diǎn)過(guò)程中的中間過(guò)渡視頻序列，使得用戶在觀看視點(diǎn)切換的過(guò)程中得到平滑過(guò)渡的視覺(jué)效果。主要的優(yōu)勢(shì)在于低計(jì)算量，實(shí)時(shí)合成的可能性，較好的視頻質(zhì)量和算法使用現(xiàn)有硬件設(shè)備的良好接口。使用相鄰攝像機(jī)視頻流建立不完全三維結(jié)構(gòu)關(guān)系來(lái)取代三維模型；并且通過(guò)提取并跟蹤特征的方式來(lái)建立兩個(gè)視頻流之間的對(duì)應(yīng)關(guān)系，可以不需要精確的攝像機(jī)標(biāo)定方法，只要求攝像機(jī)的擺放是在同一水平線上并且是距離視頻場(chǎng)景中的主要前景物體大致一樣，搜索特征的時(shí)候不用考慮攝像機(jī)的旋轉(zhuǎn)變化，降低搜索的復(fù)雜度。這種搜索和跟蹤特征的方法可以處理25到30度攝像機(jī)夾角的拍攝圖像。
具體實(shí)施例方式
本發(fā)明提出的交互式多視點(diǎn)視頻系統(tǒng)中虛擬視點(diǎn)的合成方法，首先視頻系統(tǒng)根據(jù)用戶交互觀看視頻的請(qǐng)求，確定過(guò)渡視頻圖像質(zhì)量的參數(shù)，進(jìn)而確定相鄰實(shí)際視點(diǎn)間需要插進(jìn)的圖像幀數(shù)，并確定用戶當(dāng)前的視點(diǎn)序號(hào)以及視角切換后的視點(diǎn)序號(hào)，進(jìn)而計(jì)算視角切換所經(jīng)過(guò)的實(shí)際視點(diǎn)的數(shù)量及其序號(hào)；根據(jù)實(shí)際視點(diǎn)的序號(hào)讀取各路實(shí)際視頻當(dāng)前時(shí)間點(diǎn)的視頻幀并存儲(chǔ)；將實(shí)際視點(diǎn)的各視頻幀分割成前景和背景圖像，并按上述實(shí)際視點(diǎn)的序號(hào)依次分別存儲(chǔ)；利用背景圖像得到背景的全景圖像；利用前景圖像，得到前景的灰度圖像，并對(duì)其進(jìn)行中值濾波，去除噪聲；從濾波后的前景灰度圖像中提取圖像特征，并建立其與相鄰實(shí)際視點(diǎn)拍攝的圖像特征之間的對(duì)應(yīng)關(guān)系；根據(jù)對(duì)應(yīng)關(guān)系，對(duì)相鄰實(shí)際視點(diǎn)的圖像進(jìn)行三角剖分，并根據(jù)三角剖分結(jié)果和上述插值幀數(shù)，在兩個(gè)相鄰實(shí)際視點(diǎn)之間進(jìn)行插值運(yùn)算，得到虛擬視點(diǎn)前景圖像；將虛擬視點(diǎn)前景圖像與背景的全景圖像進(jìn)行疊加，得到虛擬視點(diǎn)圖像。
以下詳細(xì)介紹本發(fā)明的內(nèi)容本發(fā)明的方法，首先由交互式多視點(diǎn)視頻系統(tǒng)接受用戶發(fā)送的變換視點(diǎn)位置的請(qǐng)求，請(qǐng)求中包括過(guò)渡視頻圖像質(zhì)量參數(shù)和用戶當(dāng)前的視點(diǎn)序號(hào)M以及視角切換后的視點(diǎn)序號(hào)N，上述過(guò)渡視頻圖像質(zhì)量參數(shù)提供高質(zhì)量圖像和低質(zhì)量圖像兩種選擇，分別對(duì)應(yīng)相鄰實(shí)際視點(diǎn)間需要插進(jìn)的圖像幀數(shù)為20幀和10幀，上述M-N+1為變換視點(diǎn)位置所經(jīng)過(guò)的實(shí)際視點(diǎn)數(shù)量，其序號(hào)為包含在M和N之間的所有自然數(shù)。
根據(jù)上述實(shí)際視點(diǎn)的序號(hào)讀取各路實(shí)際視頻當(dāng)前時(shí)間點(diǎn)的視頻幀并存儲(chǔ)；將上述實(shí)際視點(diǎn)的各視頻幀分別與其所在實(shí)際視點(diǎn)的前一幀視頻進(jìn)行差值計(jì)算和平滑濾波，獲得視頻對(duì)象的大致區(qū)域，進(jìn)而進(jìn)行形態(tài)處理構(gòu)造視頻對(duì)象的內(nèi)外邊界，改進(jìn)的多值水線分割算法精確提取對(duì)象邊界，即對(duì)內(nèi)外邊界區(qū)域內(nèi)的圖像進(jìn)行平滑消除噪聲，使得屬于同一物體區(qū)域的像素點(diǎn)平滑，并且使區(qū)域與區(qū)域之間的邊界得到保持，從內(nèi)外邊界向區(qū)域內(nèi)部進(jìn)行區(qū)域擴(kuò)張，當(dāng)內(nèi)邊界擴(kuò)張區(qū)域和外邊界擴(kuò)張區(qū)域相交時(shí)，相交的邊界就是前景和背景圖像的分割邊界，并按上述實(shí)際視點(diǎn)的序號(hào)依次分別存儲(chǔ)。
對(duì)于上述背景圖像，以序號(hào)最小的圖像為基準(zhǔn)圖像，其坐標(biāo)原點(diǎn)作為全景圖的坐標(biāo)原點(diǎn)，其他序號(hào)的圖像分別計(jì)算相對(duì)于基準(zhǔn)圖像的全局運(yùn)動(dòng)參數(shù)，并根據(jù)上述全局運(yùn)動(dòng)參數(shù)計(jì)算其所有象素的全景圖坐標(biāo)，進(jìn)而拼接成背景的全景圖。
對(duì)于上述前景圖像，首先得到前景的灰度圖像，并對(duì)其進(jìn)行中值濾波，去除噪聲；并對(duì)上述灰度圖像每個(gè)象素計(jì)算其矩陣A=ΣWIX2IXIYIXIYIY2]]>的特征值λ1和λ2，且λ1大于λ2，其中A表示二階矩陣，w表示搜索窗口，實(shí)際采用9×9的窗口，I表示提取特征的圖像，IX＝I/x，IY＝I/y，x和y分別表示圖像的水平和豎直方向；并根據(jù)λ2的大小對(duì)所有象素降序排序，選取前50個(gè)象素作為圖像特征，存儲(chǔ)上述圖像特征的對(duì)應(yīng)坐標(biāo)和順序編號(hào)。
根據(jù)上述圖像特征，在與其相鄰的實(shí)際視點(diǎn)的前景圖像中進(jìn)行窗口為9×9的匹配搜索，設(shè)定一個(gè)窗口誤差域值500，選取窗口匹配誤差最小并且低于誤差閾值的象素作為與上述圖像特征相對(duì)應(yīng)的特征，并存儲(chǔ)其位置信息和對(duì)應(yīng)特征編號(hào)，對(duì)該特征作成功標(biāo)記，對(duì)窗口誤差值高于閾值的象素，作失敗標(biāo)記。
對(duì)上述標(biāo)記失敗的圖像特征，其搜索起始位置加上實(shí)際視點(diǎn)視頻編碼中對(duì)應(yīng)的運(yùn)動(dòng)向量得到新的搜索起始位置，并重復(fù)上述的圖像匹配搜索過(guò)程，所有有成功標(biāo)記的特征形成最終的對(duì)應(yīng)特征集合。
計(jì)算前景灰度圖像中每?jī)蓚€(gè)圖像特征點(diǎn)之間的距離，并排序得到距離的最大值和最小值，上述最大值和最小值之差除以一個(gè)定值100，得到搜索步長(zhǎng)，從圖像中兩點(diǎn)之間距離最小的任意一點(diǎn)出發(fā)，以上述搜索步長(zhǎng)為初始半徑的循環(huán)搜索，每個(gè)循環(huán)的搜索半徑增加一個(gè)搜索步長(zhǎng)，對(duì)搜索范圍內(nèi)的點(diǎn)進(jìn)行三點(diǎn)共線判斷，若共線則繼續(xù)搜索，直至找到形成三角形的點(diǎn)，將該三個(gè)點(diǎn)標(biāo)記為入選，并存儲(chǔ)三角形序號(hào)和三個(gè)點(diǎn)的特征序號(hào)，從上述找到的形成三角形的點(diǎn)出發(fā)，重復(fù)上述搜索過(guò)程直到所有的點(diǎn)都標(biāo)記成入選；按三角形重心的坐標(biāo)大小，對(duì)上述所有形成的三角形進(jìn)行升序排序，生成三角形列表；根據(jù)虛擬視點(diǎn)與相鄰兩個(gè)實(shí)際視點(diǎn)的距離大小的比例關(guān)系，確定虛擬視點(diǎn)圖像的插值權(quán)重λ，并根據(jù)下面的公式計(jì)算所有虛擬視點(diǎn)圖像與相鄰兩個(gè)實(shí)際視點(diǎn)圖像的剖分三角形之間的變換矩陣，T=f1*T1⇒f2-1*T=T1⇒f2-1=T1*T-1T=f2*T2⇒f2-1*T=T2⇒f2-1=T2*T-1]]>其中假設(shè)p(x，y，1)時(shí)在虛擬視點(diǎn)圖像中的象素，T是象素p所在三角形的仿射變換矩陣，p1，p2分別p是在左右兩個(gè)真實(shí)圖像中對(duì)應(yīng)象素的仿射坐標(biāo)，T1和T2分別代表從p到p1和p2所在三角形的仿射矩陣。f1和f2分別表示從中間視點(diǎn)到左右兩個(gè)實(shí)際視點(diǎn)圖像的變換矩陣。f1-1，f2-1分別表示了f1和f2的逆矩陣；對(duì)每個(gè)虛擬視點(diǎn)中的象素，從上述三角形列表中尋找相應(yīng)的三角形序號(hào)，并進(jìn)而選擇與上述三角形序號(hào)相對(duì)應(yīng)的變換矩陣，將虛擬視點(diǎn)中象素的仿射坐標(biāo)分別乘以該變換矩陣，得到對(duì)應(yīng)的相鄰實(shí)際視點(diǎn)圖像中的象素坐標(biāo)；讀取相鄰實(shí)際視點(diǎn)圖像中的象素坐標(biāo)對(duì)應(yīng)的顏色信息，根據(jù)下面的公式計(jì)算虛擬視點(diǎn)中象素的顏色值，C＝C1*λ+C2*(1-λ)其中C，C1和C2分別表示象素在中間視點(diǎn)，左視點(diǎn)和右視點(diǎn)的顏色值，而λ表示上述虛擬視點(diǎn)圖像的插值權(quán)重；根據(jù)上述虛擬視點(diǎn)前景圖像的插值權(quán)重λ，根據(jù)公式E1＝L*(1-λ)及E2＝L*(1-λ)+W計(jì)算背景全景圖中對(duì)應(yīng)的背景窗口位置，其中E1和E2表示窗口左右邊界，L表示全景圖長(zhǎng)度，λ表示上述虛擬視點(diǎn)圖像的插值權(quán)重，在上述位置的窗口的背景圖像上疊加對(duì)應(yīng)的虛擬視點(diǎn)前景圖像，得到虛擬視點(diǎn)圖像，在上述疊加的虛擬視點(diǎn)圖像上前景與背景的交接處，進(jìn)行5階的高斯濾波，得到最終的合成視頻圖像。
權(quán)利要求
1.一種交互式多視點(diǎn)視頻系統(tǒng)中虛擬視點(diǎn)的合成方法，其特征在于該方法包括以下步驟(1)視頻系統(tǒng)根據(jù)用戶交互觀看視頻的請(qǐng)求，確定過(guò)渡視頻圖像質(zhì)量的參數(shù)，進(jìn)而確定相鄰實(shí)際視點(diǎn)間需要插進(jìn)的圖像幀數(shù)，并確定用戶當(dāng)前的視點(diǎn)序號(hào)以及視角切換后的視點(diǎn)序號(hào)，進(jìn)而計(jì)算視角切換所經(jīng)過(guò)的實(shí)際視點(diǎn)的數(shù)量及其序號(hào)；(2)根據(jù)上述實(shí)際視點(diǎn)的序號(hào)讀取各路實(shí)際視頻當(dāng)前時(shí)間點(diǎn)的視頻幀并存儲(chǔ)；(3)將上述實(shí)際視點(diǎn)的各視頻幀分割成前景和背景圖像，并按上述實(shí)際視點(diǎn)的序號(hào)依次分別存儲(chǔ)；(4)利用上述背景圖像得到背景的全景圖像；(5)利用前景圖像，得到前景的灰度圖像，并對(duì)其進(jìn)行中值濾波，去除噪聲；(6)從上述濾波后的前景灰度圖像中提取圖像特征，并建立其與相鄰實(shí)際視點(diǎn)拍攝的圖像特征之間的對(duì)應(yīng)關(guān)系；(7)根據(jù)上述對(duì)應(yīng)關(guān)系，對(duì)相鄰實(shí)際視點(diǎn)的圖像進(jìn)行三角剖分，并根據(jù)三角剖分結(jié)果和上述插值幀數(shù)，在兩個(gè)相鄰實(shí)際視點(diǎn)之間進(jìn)行插值運(yùn)算，得到虛擬視點(diǎn)前景圖像；(8)將上述虛擬視點(diǎn)前景圖像與背景的全景圖像進(jìn)行疊加，得到虛擬視點(diǎn)圖像。
2.如權(quán)利要求1所述的方法，其特征在于其中所述的將實(shí)際視點(diǎn)的各視頻幀分割成前景和背景圖像，包括以下步驟(1)對(duì)實(shí)際視點(diǎn)的多幀視頻進(jìn)行差值計(jì)算和平滑濾波，獲得視頻對(duì)象的大致區(qū)域；(2)對(duì)上述大致區(qū)域進(jìn)行形態(tài)處理，構(gòu)造視頻對(duì)象的內(nèi)外邊界；(3)通過(guò)多值水線分割算法提取對(duì)象邊界。
3.如權(quán)利要求1所述的方法，其特征在于其中所述的從濾波后的前景灰度圖像中提取圖像特征，并建立其與相鄰實(shí)際視點(diǎn)拍攝的圖像特征之間的對(duì)應(yīng)關(guān)系的方法，包括以下步驟(1)計(jì)算前景灰度圖像中所有象素對(duì)應(yīng)矩陣A=ΣWIX2IXIYIXIYIY2]]>的特征值，λ1和λ2，且λ1大于λ2，其中A表示二階矩陣，w表示搜索窗口，I表示提取特征的圖像，IX＝I/x，IY＝I/y，x和y分別表示圖像的水平和豎直方向；(2)根據(jù)上述每個(gè)象素的二階矩陣特征值中較小的一個(gè)λ2，將圖像中的所有象素做降序排序；(3)根據(jù)上述圖像質(zhì)量參數(shù)，從上述排序的象素中選取前n個(gè)象素作為圖像特征，并存儲(chǔ)特征的圖像位置信息和順序編號(hào)；(4)根據(jù)上述圖像特征，在與其相鄰的實(shí)際視點(diǎn)的前景圖像中進(jìn)行窗口匹配搜索，設(shè)定一個(gè)窗口誤差域值，選取窗口匹配誤差最小并且低于誤差閾值的象素作為與上述圖像特征相對(duì)應(yīng)的特征，并存儲(chǔ)其位置信息和對(duì)應(yīng)特征編號(hào)，對(duì)該特征作成功標(biāo)記，對(duì)窗口誤差值高于閾值的象素，作失敗標(biāo)記；(5)重復(fù)步驟(4)，直到所有特征都打上標(biāo)記；(6)對(duì)上述標(biāo)記失敗的圖像特征，根據(jù)實(shí)際視點(diǎn)視頻編碼中的運(yùn)動(dòng)向量做步驟(2)；得到最終的對(duì)應(yīng)特征集合。
4.如權(quán)利要求1所述的方法，其特征在于其中所述的對(duì)相鄰實(shí)際視點(diǎn)的圖像進(jìn)行三角剖分的方法，包括以下步驟(1)計(jì)算前景灰度圖像中每?jī)蓚€(gè)圖像特征點(diǎn)之間的距離，并排序得到距離的最大值和最小值；(2)將上述最大值和最小值之差除以一個(gè)定值，得到搜索步長(zhǎng)；(3)從圖像中兩點(diǎn)之間距離最小的任意一點(diǎn)出發(fā)，以上述搜索步長(zhǎng)為初始半徑的循環(huán)搜索，每個(gè)循環(huán)的搜索半徑增加一個(gè)搜索步長(zhǎng)，對(duì)搜索范圍內(nèi)的點(diǎn)進(jìn)行三點(diǎn)共線判斷，若共線則繼續(xù)搜索，直至找到形成三角形的點(diǎn)，將該三個(gè)點(diǎn)標(biāo)記為入選，并存儲(chǔ)三角形序號(hào)和三個(gè)點(diǎn)的特征序號(hào)；(4)從上述找到的形成三角形的點(diǎn)出發(fā)，重復(fù)步驟(3)，直到所有的點(diǎn)都標(biāo)記成入選；(5)按三角形重心的坐標(biāo)大小，對(duì)上述所有形成的三角形進(jìn)行升序排序，生成三角形列表。
5.如權(quán)利要求1所述的方法，其特征在于其中所述的在兩個(gè)相鄰實(shí)際視點(diǎn)之間進(jìn)行插值運(yùn)算，得到虛擬視點(diǎn)前景圖像的方法，包括以下步驟(1)根據(jù)虛擬視點(diǎn)與相鄰兩個(gè)實(shí)際視點(diǎn)的距離大小的比例關(guān)系，確定虛擬視點(diǎn)圖像的插值權(quán)重；(2)計(jì)算所有虛擬視點(diǎn)圖像與相鄰兩個(gè)實(shí)際視點(diǎn)圖像的剖分三角形之間的變換矩陣；(3)對(duì)每個(gè)虛擬視點(diǎn)中的象素，從上述三角形列表中尋找相應(yīng)的三角形序號(hào)；(4)從上述三角形之間的變換矩陣中選擇與上述三角形序號(hào)相對(duì)應(yīng)的變換矩陣，并將虛擬視點(diǎn)中象素的仿射坐標(biāo)分別乘以該變換矩陣，得到對(duì)應(yīng)的相鄰實(shí)際視點(diǎn)圖像中的象素坐標(biāo)；(5)讀取相鄰實(shí)際視點(diǎn)圖像中的象素坐標(biāo)對(duì)應(yīng)的顏色信息，根據(jù)上述插值權(quán)重計(jì)算虛擬視點(diǎn)中象素的顏色值；(6)重復(fù)步驟(4)和(5)，計(jì)算虛擬視點(diǎn)圖像中所有象素的顏色值。
6.如權(quán)利要求1所述的方法，其特征在于其中所述的將虛擬視點(diǎn)前景圖像與背景的全景圖像進(jìn)行疊加，得到虛擬視點(diǎn)圖像的方法，包括以下步驟(1)根據(jù)上述虛擬視點(diǎn)前景圖像的插值權(quán)重，計(jì)算背景全景圖中對(duì)應(yīng)的背景窗口位置；(2)在上述位置的窗口的背景圖像上疊加對(duì)應(yīng)的虛擬視點(diǎn)前景圖像，得到虛擬視點(diǎn)圖像；(3)在上述疊加的虛擬視點(diǎn)圖像上前景與背景的交接處，進(jìn)行五階高斯濾波，得到最終的合成視頻圖像。
全文摘要
本發(fā)明涉及一種交互式多視點(diǎn)視頻系統(tǒng)中虛擬視點(diǎn)的合成方法，屬信息傳播技術(shù)領(lǐng)域。首先對(duì)視頻系統(tǒng)初始化，根據(jù)實(shí)際視點(diǎn)的序號(hào)讀取實(shí)際視頻當(dāng)前時(shí)間點(diǎn)的視頻幀，將各視頻幀分割成前景和背景圖像；利用背景圖像得到背景的全景圖像；利用前景圖像，得到前景的灰度圖像，建立其與相鄰實(shí)際視點(diǎn)拍攝的圖像特征之間的對(duì)應(yīng)關(guān)系；根據(jù)對(duì)應(yīng)關(guān)系，對(duì)相鄰實(shí)際視點(diǎn)的圖像進(jìn)行三角剖分，并根據(jù)三角剖分結(jié)果和上述插值幀數(shù)，在兩個(gè)相鄰實(shí)際視點(diǎn)之間進(jìn)行插值運(yùn)算，得到虛擬視點(diǎn)前景圖像；將虛擬視點(diǎn)前景圖像與背景的全景圖像進(jìn)行疊加，得到虛擬視點(diǎn)圖像。本發(fā)明的方法，使用戶在觀看視點(diǎn)切換的過(guò)程中得到平滑過(guò)渡的視覺(jué)效果，而且計(jì)算量低、實(shí)時(shí)合成、視頻質(zhì)量好。
文檔編號(hào)H04N5/262GK1694512SQ20051007747
公開日2005年11月9日 申請(qǐng)日期2005年6月24日 優(yōu)先權(quán)日2005年6月24日
發(fā)明者李放, 孫立峰, 楊士強(qiáng) 申請(qǐng)人:清華大學(xué)