本發(fā)明涉及一種立體視頻幀率上轉(zhuǎn)換技術(shù)，屬于圖像、多媒體信號處理技術(shù)領(lǐng)域。

技術(shù)背景

自由視點電視通過多視點播放呈現(xiàn)給觀眾三維立體的觀影效果，因而得到廣泛發(fā)展。由于傳輸帶寬限制，當(dāng)前的三維視頻研究與應(yīng)用通常采用深度視頻(MVD)模式。三維視頻中虛擬視點的呈現(xiàn)由真實視點紋理圖聯(lián)合對應(yīng)深度圖經(jīng)過基于深度圖-紋理圖渲染技術(shù)(DIBR)得到，深度圖并非用來直接觀看，而只用作合成虛擬視點。

幀率上轉(zhuǎn)換技術(shù)能突破網(wǎng)絡(luò)傳輸帶寬的限制，在接收端對視頻幀率進行倍數(shù)的提高，從而提高視頻流暢度，提升觀影質(zhì)量。幀率上轉(zhuǎn)換本質(zhì)是一種基于前后幀的線性插值過程。簡單的插值如幀重復(fù)法與幀平均法對運動流暢性并未改善，因此人們將運動矢量考慮到幀率上轉(zhuǎn)換中，通過在物體運動軌跡上插入中間幀從而得到更流暢的視頻效果。基于運動補償?shù)膸噬限D(zhuǎn)換方法包括三個主要步驟：運動估計、運動矢量后處理以及基于運動補償?shù)牟逯怠?/p>

在自由視點電視中，紋理圖為觀眾實際觀看的圖像，深度圖作為紋理圖深度信息的補充，能用來合成其他視點的紋理圖。當(dāng)對某一視點紋理圖進行幀率上轉(zhuǎn)換時，對應(yīng)的，其相關(guān)深度圖也需要做相同倍數(shù)的幀率上轉(zhuǎn)換。深度圖將場景的不同深度層次以不同的灰度值來表示，距離越近則深度值越小，轉(zhuǎn)換為圖像灰度值表示則灰度值越大。深度圖灰度值變化的地方通常為場景中不同物體的交界處，我們稱為邊緣。深度圖的邊緣在DIBR中起著十分重要的作用，它在某種層度上決定了合成的虛擬視點的好壞。因此，如果我們以和紋理圖相同的方法對深度圖進行幀率上轉(zhuǎn)換，那么因為運動匹配失誤以及平滑帶來的圖像模糊在深度圖中就會變成邊緣的模糊與邊緣錯誤。因此正確地保證邊緣成為深度圖幀率上轉(zhuǎn)換的重點。

技術(shù)實現(xiàn)要素：

本發(fā)明利用深度圖與紋理圖的相關(guān)性，對深度圖進行邊緣塊與平坦塊的分類，并根據(jù)標(biāo)記采用加入紋理梯度信息的塊運動匹配準(zhǔn)則得到不同宏塊的運動矢量，分別對不同宏塊進行運動矢量后處理及自適應(yīng)插值，同時得到深度圖插值幀和紋理圖插值幀。相比傳統(tǒng)的幀率上轉(zhuǎn)換方法，此發(fā)明加強了對深度圖邊緣的處理，插入的深度圖具有更好的邊緣特性，插入的紋理圖質(zhì)量也更好。

本發(fā)明采用的技術(shù)方案如下：

一種基于相關(guān)性的自適應(yīng)補償立體視頻幀率上轉(zhuǎn)換方法，其特征在于該方法包括以下步驟：

步驟1：提取同一時刻及下一時刻的深度圖和紋理圖，并保存為圖像對；

步驟2：將深度圖進行邊緣塊標(biāo)記，并對邊緣塊采用基于k均值聚類的像素點分類；

步驟3：根據(jù)像素點分類進行運動估計，采用加入紋理權(quán)值的塊匹配準(zhǔn)則進行塊匹配搜索，對不同類型的塊分別進行常規(guī)UMHS搜索的塊匹配運動估計與四叉樹的UMHS塊匹配運動估計，獲得原始運動矢量；

步驟4：對不同分類的像素進行自適應(yīng)運動矢量后處理，分別對平坦塊及邊緣塊進行異常點檢測并修復(fù)，得到精確運動矢量；

步驟5：基于運動補償?shù)淖赃m應(yīng)插值方法；

步驟6：基于邊緣判斷的補洞插值，對空洞點進行分類，利用基于邊緣判斷的補洞插值得到最終插入的紋理圖及深度圖；

步驟7：分別合成紋理序列和深度圖序列并輸出。

優(yōu)選的，在步驟2中將深度圖劃分為大小相同的圖像塊，對塊內(nèi)像素深度值進行方差計算，將方差大于閾值的塊標(biāo)記為邊緣塊，小于閾值的塊標(biāo)記為平坦塊；采用k均值聚類方法對標(biāo)記為邊緣的宏塊進行前景背景分離，用k均值聚類方法對標(biāo)記為邊緣的宏塊進行像素聚類，其中灰度值更小的像素類被標(biāo)記為背景像素，灰度值大的像素類被標(biāo)記為前景像素。

優(yōu)選的，在步驟3中，采用加入紋理梯度權(quán)值的絕對誤差和TSAD作為塊匹配準(zhǔn)則，增加紋理所占比重，根據(jù)上一步驟得到的邊緣塊與平坦塊分類，對標(biāo)記為平坦塊的宏塊進行常規(guī)的UMHS塊匹配運動估計，對于標(biāo)記為邊緣塊的宏塊進行四叉樹的UMHS塊匹配運動估計，獲得原始運動矢量。

優(yōu)選的，在步驟4中分別對平坦塊及邊緣塊進行運動矢量后處理，對于平坦塊，首先比較平坦塊與八鄰域中同是平坦塊的運動矢量的差異，根據(jù)與平均運動矢量的比較來判斷當(dāng)前塊運動矢量是否異常，如果為異常運動矢量，采用均值替代的方法更正當(dāng)前異常運動矢量；對于邊緣塊，首先對只包含單一深度層的子宏塊進行同一深度層的八鄰域均值糾正，然后對既包含前景又包含背景的子宏塊，分別進行背景像素點和前景像素點的八鄰域均值糾正，得到精確運動矢量。

優(yōu)選的，在步驟6中進行基于邊緣判斷的補洞插值，通過對深度圖中空洞像素點等距的四個像素點兩兩進行灰度值比較，如果有任意兩個像素點灰度值差值大于閾值，則認為該空洞是處于邊緣區(qū)域的空洞，對其進行后向運動補償插值；否則認為該空洞為平坦處空洞，采用鄰域像素平均方式直接得到插值像素值從而得到完整插值幀；以同樣的信息標(biāo)記對紋理圖做補洞處理，得到紋理圖插值幀。

本發(fā)明利用深度圖與紋理圖的相關(guān)性，對深度圖進行邊緣塊與平坦塊的分類，并將此分類信息運用到運動估計、運動矢量后處理以及基于運動補償?shù)牟逯颠^程中，對邊緣像素塊采用像素點級別的運動矢量估計與平滑處理，得到的運動矢量更加準(zhǔn)確，最終補償?shù)玫降纳疃葓D邊緣更清晰，紋理圖的質(zhì)量也更高。

附圖說明

圖1是立體視頻中同時對深度圖和紋理圖進行二倍幀率上轉(zhuǎn)換示意圖。

圖2是本發(fā)明整體方法流程圖。

圖3是對深度圖中包含邊緣像素點宏塊進行標(biāo)記結(jié)果圖。

圖4是深度圖邊緣塊進行K均值聚類示意圖。

圖5是邊緣宏塊K均值聚類過程示意圖。

圖6是紋理圖宏塊紋理梯度示意圖。

圖7是四叉樹運動估計示意圖。

圖8是空洞類型判斷示意圖。

圖9是本發(fā)明實驗結(jié)果圖，(a)是Beergarden第32幀紋理圖，(b)是本發(fā)明合成的Beergarden第32幀紋理圖，(c)是Beergarden第32深度圖，(d)是本發(fā)明合成的Beergarden第32幀深度圖。

具體實施方式

本發(fā)明提出的立體視頻幀率上轉(zhuǎn)換方法具體流程如圖1所示，首先對深度圖進行邊緣分類，根據(jù)分類結(jié)果對紋理圖的當(dāng)前幀與后一幀采用基于邊緣的自適應(yīng)運動估計得到初始運動矢量，再采用基于深度信息的運動矢量后處理得到最佳運動向量，然后對空洞塊進行邊緣區(qū)域判斷完成運動補償?shù)牟逯?，達到深度圖和紋理圖的幀率上轉(zhuǎn)換，有效減小深度圖邊緣誤插值，達到高質(zhì)量重建目的。

下面結(jié)合具體實施例(但不限于此例)以及附圖對本發(fā)明進行進一步的說明。

(一)讀入視頻幀

(1)寫入視頻幀，保存紋理圖的第t幀作為當(dāng)前幀，記作f_t，與之對應(yīng)的深度圖記作d_t；第t+1幀作為參考幀，記為f_t+2，其對應(yīng)深度圖記作d_t+2；插入紋理圖記作f_t+1，插入深度圖記作d_t+1；每一幀紋理圖與其對應(yīng)深度圖記為一個圖像對；

(二)圖像預(yù)處理

(1)深度圖邊緣塊標(biāo)記：

同一場景中不同的物體具有不同的運動方向，基于塊匹配的運動搜索易將物體交界處劃分在同一搜索塊中，使原本具有不同運動方向的像素點擁有相同的運動方向。深度圖在兩物體交界處有明顯的深度值變化，從而可以利用檢測深度值變化來劃分含邊緣像素點的搜索塊和不含邊緣的搜索塊。深度變化程度用塊內(nèi)深度變化方差σ表示。如公式1所示，將深度圖劃分為相同大小的圖像塊，l(p_i)為每個像素點的標(biāo)記，如果當(dāng)前塊內(nèi)深度值p_i方差大于某一閾值Th_σ，則此塊標(biāo)記為邊緣塊,記為1，否則標(biāo)記為平坦塊，記為0,如公式2所示，其中mbSize為宏塊大小，μ為平均深度值。附圖3是檢測到的深度變化區(qū)域，方框所示宏塊為邊緣塊：

(2)前景背景分離：

對深度圖來說，一般標(biāo)記為邊緣的圖像塊內(nèi)含有兩個深度層的像素，我們認為灰度值大的是前景像素點，灰度值小的為背景像素點。對兩種像素做K均值聚類，將前景背景像素進行分離。k均值聚類過程如附圖4所示。逐行掃描深度圖圖像塊，在標(biāo)記為邊緣的宏塊塊處開始進行聚類，任意選擇兩個起始點，將灰度差作為距離更新聚類中心，直到邊緣塊內(nèi)所有像素點被分為兩類，其中灰度值小的標(biāo)記為背景像素點，灰度值大的標(biāo)記為前景像素點，如附圖3所示；

(三)基于深度圖邊緣的運動估計過程

(1)紋理增強的匹配準(zhǔn)則：

本發(fā)明采用快速運動估計方法Unsymmetrieal-CrossMuti-Hexagon Search(UMHS)進行塊匹配運動搜索。它是一種混合型塊匹配搜索，具有搜索速度快，不易陷入局部最小點的優(yōu)點；以基于紋理增強的絕對誤差和(texture enhancement-based sum of absolute differences；TSAD)作為運動估計匹配準(zhǔn)則，用紋理圖的塊間絕對誤差和作為主要代價函數(shù)，加入當(dāng)前塊的紋理(如附圖6)權(quán)值，作為最終的塊搜索準(zhǔn)則，如公式3到公式5所示：

其中

TSAD＝SAD+γSAD_Texture (公式5)

其中(x,y)為當(dāng)前幀紋理圖f_t的待匹配像素點；為參考幀紋理圖斜對角元素差值的絕對值，又稱為紋理信息的絕對誤差和SAD_Texture；p_i指當(dāng)前宏塊，p_iy和p_ix分別是宏塊的長和寬，m為參考圖像中宏塊的長寬，v為TSAD最小時的最佳運動矢量。

(2)邊緣塊的四叉樹運動估計

對于深度圖中標(biāo)記為邊緣的塊，對應(yīng)地，在紋理圖中找到這些塊，將當(dāng)前紋理圖宏塊進行四叉樹分解，并對每個宏塊下的四個子宏塊分別進行運動估計，估計準(zhǔn)則依舊采用TSAD匹配代價函數(shù)，找到每個小塊的最佳匹配塊，從而確定宏塊內(nèi)每個小塊的最佳運動矢量，如附圖7所示。

(四)基于深度圖的運動矢量后處理過程

(1)平坦塊矢量后處理

a.判斷異常運動矢量

確定當(dāng)前平坦塊八鄰域內(nèi)的平坦塊，計算當(dāng)前塊與周圍平坦塊的平均運動矢量如公式6所示，(x,y)為當(dāng)前平坦塊，p_i為當(dāng)前塊八鄰域塊，l(p_i)取1時表示為平坦塊。如果當(dāng)前塊與平均運動矢量的差值D_c大于周圍平坦塊與平均運動矢量的平均差值D_ave，則將當(dāng)前塊判定為異常塊，如公式。

b.異常點修正

對于異常的平坦區(qū)域宏塊，采用周圍領(lǐng)域中平坦塊SAD加權(quán)平均來修正不可靠運動矢量。如公式10所示。其中ω_τ(p_i)為領(lǐng)域塊SAD權(quán)值，如公式11所示。

其中p_j為周圍領(lǐng)域N_m(P)的像素點，l(p_i)為當(dāng)前塊標(biāo)記，v(p_i)為當(dāng)前塊的原始運動矢量。

(2)邊緣塊矢量后處理

由于對邊緣塊采用四叉樹運動估計，所以當(dāng)前邊緣塊內(nèi)包含四個運動矢量。根據(jù)預(yù)處理中標(biāo)記的前景背景像素點，對此邊緣塊宏塊，若其子宏塊內(nèi)全為前景或背景，選擇當(dāng)前宏塊八鄰域中全與其子宏塊處于同一深度的平坦塊做矢量平均，將均值矢量賦給此子宏塊內(nèi)所有像素點；對于既有背景像素又有前景像素的子宏塊，將所有子宏塊中的前景像素點，選擇子宏塊八鄰域內(nèi)同為前景的宏塊進行矢量平均，并將平均矢量賦給前景像素點；同樣的，對所有子宏塊中的背景像素點，選擇子宏塊八鄰域內(nèi)同為背景的宏塊進行矢量平均，并將平均矢量賦給背景像素點。

(五)基于運功補償?shù)牟逯?/p>

(1)重疊塊插值

如果有且只有一個運動矢量指向待插值像素點，則當(dāng)前位置像素點由前向運動補償?shù)玫?，則公式12中λ₁＝η₁＝1，中λ₂＝η₂＝0；如果有多個運動矢量指向待插值像素點，則當(dāng)前位置像素點由TSAD值最小的宏塊內(nèi)像素點以及其后一幀的平均表示，此時其中f_t+1(x,y)表示紋理圖插值幀，f_t和f_t+2分別是紋理圖當(dāng)前幀和紋理圖參考幀；D_t+1(x,y)表示深度圖插值幀，D_t和D_t+1分別是深度圖當(dāng)前幀和深度圖參考幀，v_x和v_y為得到的運動矢量的橫縱坐標(biāo)。

$f_{t+1}(x,y)={\mathrm{\λ}}_1{f}_t(x-\frac{1}{2}{v}_x,y-\frac{1}{2}{v}_y)+{\mathrm{\λ}}_2{f}_{t+2}(x+\frac{1}{2}{v}_x,y+\frac{1}{2}{v}_y)$

(2)空洞類型判定

對于沒有運動矢量指向的待插值像素點，首先判斷它是處于平坦像素點還是邊緣像素點。由于空洞范圍一般不超過一個搜索宏塊的寬度，所以可以對該空洞點上下左右倍宏塊長度m(附圖8)的點進行快速邊緣判定，如公式13所示，d(a₁,b₁)和d(a₂,b₂)表示四個角上任意兩點深度值，如果四個角上的任意兩點間深度差大于閾值Thd則認為當(dāng)前點是處于邊緣處的空洞點，否則就認為當(dāng)前點處于平坦區(qū)域。

(c)空洞點運動補償插值

由于邊緣區(qū)域的空洞是由于前景與背景發(fā)生相對運動而產(chǎn)生的，且空洞處像素在前一幀中并不存在，因此對于處于邊緣區(qū)域的像素點采用后向運動補償?shù)牟逯?，此時，公式12中λ₁＝η₁＝0，中λ₂＝η₂＝1；對于平坦部分的空洞點，對該點八鄰域中非空洞的點進行平均直接得到空洞點像素值，如公式14所示,p(x,y)為當(dāng)前空洞點像素，n為八鄰域中非空洞的像素點，p_i是對應(yīng)像素值：

本申請選用了兩組立體視頻序列Beergarden(512*384)BookArrival(512*384)進行測試并與基于三邊濾波的幀率提升、基于全搜索的幀率提升方法進行比較，評價的標(biāo)準(zhǔn)是峰值信噪比PSNR(Peak Signal to Noise Ratio)和結(jié)構(gòu)相似性SSIM(structural similarity index measurement)，值越大表明插值幀質(zhì)量越好，結(jié)果如表1所示，可以看出本申請相比另兩種幀率上轉(zhuǎn)換方式得到的插值幀質(zhì)量更好，能有效解決空洞等問題。

表1