一種基于色度混合匹配的幀率上轉(zhuǎn)換方法
【專利摘要】本文公開(kāi)了一種基于色度混合匹配的幀率上轉(zhuǎn)換方法，用以增強(qiáng)視頻序列的視覺(jué)質(zhì)量，首先，采用色度混合匹配模型設(shè)計(jì)塊匹配準(zhǔn)則，其能以小計(jì)算代價(jià)反映視頻序列亮度與色差通道上的差值水平；接著，改進(jìn)的三維遞歸搜索方法被使用計(jì)算前后向初始運(yùn)動(dòng)向量場(chǎng)，在此基礎(chǔ)上，提出時(shí)空運(yùn)動(dòng)向量提純方法，隱式地加入時(shí)空平滑約束至運(yùn)動(dòng)向量提純過(guò)程，獲得更平滑的運(yùn)動(dòng)向量場(chǎng)；然后，提出高容錯(cuò)運(yùn)動(dòng)向量平滑方法，抑制運(yùn)動(dòng)向量場(chǎng)中存在的異常；最后，為了減少邊緣模糊與遮擋問(wèn)題，提出雙加權(quán)重疊塊運(yùn)動(dòng)補(bǔ)償方法，使用前后向運(yùn)動(dòng)向量場(chǎng)聯(lián)合生成內(nèi)插幀，本發(fā)明可明顯改善內(nèi)插幀的主客觀質(zhì)量，且確保了低計(jì)算復(fù)雜度。
【專利說(shuō)明】
-種基于色度混合匹配的順率上轉(zhuǎn)換方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明屬于視頻編碼技術(shù)領(lǐng)域，設(shè)及一種視頻帖率上轉(zhuǎn)換方法，特別設(shè)及一種基 于色度混合匹配的帖率上轉(zhuǎn)換方法。
【背景技術(shù)】
[0002] 隨著高清數(shù)字電視化DTV)和高端多媒體信息系統(tǒng)的迅速發(fā)展，急需提高現(xiàn)有視頻 節(jié)目源帖率W達(dá)到高質(zhì)量視覺(jué)效果；另外，對(duì)于某些傳輸帶寬受限場(chǎng)合，例如，視頻會(huì)議及 3G視頻會(huì)議，僅利用主流標(biāo)準(zhǔn)進(jìn)行壓縮，仍然無(wú)法達(dá)到要求帖率，因此，需要在編碼端減少 輸入視頻帖率，對(duì)低帖率視頻作編碼，而對(duì)解碼后的低帖率視頻進(jìn)行帖率上轉(zhuǎn)換。
[0003] 帖率上轉(zhuǎn)換的主流技術(shù)是運(yùn)動(dòng)補(bǔ)償法，它的基本要素是運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償內(nèi) 插。運(yùn)動(dòng)估計(jì)對(duì)運(yùn)動(dòng)補(bǔ)償帖率上轉(zhuǎn)換性能具有極大影響，而運(yùn)動(dòng)補(bǔ)償內(nèi)插的實(shí)施也需依靠 不同的運(yùn)動(dòng)估計(jì)策略。目前，現(xiàn)有的運(yùn)動(dòng)補(bǔ)償帖率上轉(zhuǎn)換可分為Ξ類：1)單向運(yùn)動(dòng)估計(jì);2) 雙向運(yùn)動(dòng)估計(jì);3)多假設(shè)運(yùn)動(dòng)估計(jì)。單向運(yùn)動(dòng)估計(jì)首先估計(jì)出前后兩帖間的運(yùn)動(dòng)向量場(chǎng)，隨 后，沿著運(yùn)動(dòng)軌跡平移各塊內(nèi)插出新帖，然而，視頻帖存在的遮擋問(wèn)題和異常運(yùn)動(dòng)向量會(huì)導(dǎo) 致新帖中出現(xiàn)空桐和重疊現(xiàn)象。根據(jù)運(yùn)動(dòng)對(duì)稱假設(shè)，雙向運(yùn)動(dòng)估計(jì)為內(nèi)插帖的每塊分配唯 一運(yùn)動(dòng)向量，從而避免了重疊與空桐問(wèn)題，然而，當(dāng)物體運(yùn)動(dòng)失去對(duì)稱性時(shí)，它就無(wú)法確保 運(yùn)動(dòng)估計(jì)的準(zhǔn)確性，除此之外，由于內(nèi)插塊是未知的，視頻帖存在的大量周期重復(fù)性模式也 會(huì)導(dǎo)致不準(zhǔn)確的運(yùn)動(dòng)向量。多假設(shè)運(yùn)動(dòng)估計(jì)估計(jì)出多種運(yùn)動(dòng)向量場(chǎng)，相應(yīng)的運(yùn)動(dòng)補(bǔ)償內(nèi)插 則是充分利用運(yùn)些具有不同準(zhǔn)確度的運(yùn)動(dòng)向量場(chǎng)W最大后驗(yàn)概率準(zhǔn)則生成內(nèi)插帖，盡管它 能夠提供顯著地性能提升，但是它的計(jì)算復(fù)雜度是傳統(tǒng)方法的若干倍。由上可知，如何提高 運(yùn)動(dòng)估計(jì)精度，較好地克服遮擋與異常運(yùn)動(dòng)向量引起的不良效應(yīng)，并確保低計(jì)算復(fù)雜度，生 成高質(zhì)量的帖率上轉(zhuǎn)換信息是目前亟待解決的技術(shù)問(wèn)題。

【發(fā)明內(nèi)容】

[0004] 技術(shù)問(wèn)題:本發(fā)明為解決在低計(jì)算負(fù)擔(dān)下確保高精度運(yùn)動(dòng)估計(jì)，提出了一種基于 色度混合匹配的帖率上轉(zhuǎn)換方法，進(jìn)一步改善運(yùn)動(dòng)補(bǔ)償帖率上轉(zhuǎn)換性能。
[0005] 技術(shù)方案:為了實(shí)現(xiàn)上述目的，本發(fā)明借助于色度混合匹配，分別提出時(shí)空運(yùn)動(dòng)向 量提純和高容錯(cuò)運(yùn)動(dòng)向量平滑提純內(nèi)插帖的運(yùn)動(dòng)向量場(chǎng)，雙加權(quán)重疊塊運(yùn)動(dòng)補(bǔ)償也被提出 用W減弱運(yùn)動(dòng)補(bǔ)償內(nèi)插中的邊緣模糊與遮擋問(wèn)題。其包括如下步驟：
[0006] S1:塊匹配準(zhǔn)則首先通過(guò)采用色度混合匹配模型進(jìn)行改善，受Bayer模式啟發(fā)，色 度混合匹配模型混合亮度與色差成份至一個(gè)二維平面，因此，單次作絕對(duì)差值和運(yùn)算就可 近似計(jì)算視頻序列中多個(gè)通道的差值，基于色度混合匹配模型的塊匹配準(zhǔn)則充分利用多通 道上的信息，與此同時(shí)，減少計(jì)算復(fù)雜度。由于塊匹配準(zhǔn)則是運(yùn)動(dòng)估計(jì)各模塊中的基本要 素，因此，其對(duì)運(yùn)動(dòng)補(bǔ)償帖率上轉(zhuǎn)換整體性能有著較大的積極影響。
[0007] S2:內(nèi)插帖的前后運(yùn)動(dòng)向量場(chǎng)將分別計(jì)算，它們被使用去聯(lián)合內(nèi)插新帖，為了減少 前后運(yùn)動(dòng)估計(jì)的計(jì)算復(fù)雜度，Ξ維遞歸捜索方法被用于生成前后帖的前向與后向運(yùn)動(dòng)向量 場(chǎng)?；诖罅康膶?shí)踐經(jīng)驗(yàn)，更合適的候選運(yùn)動(dòng)向量集合和單次迭代被用于Ξ維遞歸捜索方 法，其有助于權(quán)衡運(yùn)動(dòng)估計(jì)精度與捜索速度。
[0008] S3:為了克服現(xiàn)存運(yùn)動(dòng)向量提純方法總會(huì)導(dǎo)致不平滑運(yùn)動(dòng)向量場(chǎng)的問(wèn)題，提出時(shí) 空運(yùn)動(dòng)向量提純得到更可靠的運(yùn)動(dòng)向量場(chǎng)，并依靠運(yùn)動(dòng)向量場(chǎng)的時(shí)空一致性假設(shè)，隱式地 嵌入平滑約束至提純過(guò)程。
[0009] S4:提出高容錯(cuò)運(yùn)動(dòng)向量平滑抑制邊緣的過(guò)平滑，它采用加權(quán)方法檢測(cè)不準(zhǔn)確的 運(yùn)動(dòng)向量W抑制鄰近運(yùn)動(dòng)向量中的異常不誤導(dǎo)檢測(cè)結(jié)果，由于運(yùn)些異常經(jīng)常出現(xiàn)在邊緣地 區(qū)，傳統(tǒng)基于空間相關(guān)性的糾錯(cuò)法將由基于時(shí)間相關(guān)性的方法替換。
[0010] S5:利用前后運(yùn)動(dòng)向量場(chǎng)，雙加權(quán)重疊塊運(yùn)動(dòng)補(bǔ)償被提出緩解邊緣過(guò)平滑和遮擋：
[0011] S51:為了減少邊緣過(guò)平滑，當(dāng)前塊在前后帖中匹配塊的加權(quán)平均被用于分別計(jì)算 前后向運(yùn)動(dòng)向量場(chǎng)的兩個(gè)內(nèi)插塊候選，其中匹配塊的加權(quán)系數(shù)根據(jù)重疊區(qū)域絕對(duì)差值和計(jì) 算，重疊區(qū)域絕對(duì)差值和代表了內(nèi)插塊與鄰近塊的連續(xù)性；
[0012] S52:為了緩解遮擋問(wèn)題，根據(jù)基于色度混合匹配模型的雙向絕對(duì)差值和度量前后 向運(yùn)動(dòng)向量的可靠性，兩個(gè)內(nèi)插塊候選將被再次加權(quán)。
[0013] 有益效果：本發(fā)明提出了一種基于色度混合匹配的帖率上轉(zhuǎn)換方法，其中混合色 度匹配模型可減少由噪聲和重復(fù)模式所導(dǎo)致的不準(zhǔn)確運(yùn)動(dòng)向量的數(shù)量，時(shí)空運(yùn)動(dòng)向量提純 和高容錯(cuò)運(yùn)動(dòng)向量平滑抑制了異常運(yùn)動(dòng)向量數(shù)量，雙加權(quán)重疊塊運(yùn)動(dòng)補(bǔ)償則可同時(shí)緩解邊 緣過(guò)平滑和遮擋問(wèn)題。本發(fā)明W小計(jì)算代價(jià)明顯改善內(nèi)插帖的主客觀質(zhì)量，獲得了良好的 視覺(jué)效果。
【附圖說(shuō)明】
[0014] 圖1為本發(fā)明的流程
[0015] 圖2為混合色度匹配模型的構(gòu)造過(guò)程
[0016] 圖3為Ξ維遞歸捜索方法中候選運(yùn)動(dòng)向量的相對(duì)位置
[0017] 圖4為時(shí)空運(yùn)動(dòng)向量提純中候選提純運(yùn)動(dòng)向量集
[0018] 圖5為運(yùn)動(dòng)向量窗口和運(yùn)動(dòng)異常實(shí)例：（a)運(yùn)動(dòng)向量窗口；（b)運(yùn)動(dòng)異常實(shí)例
[0019] 圖6為雙加權(quán)重疊塊運(yùn)動(dòng)補(bǔ)償方法流程
[0020] 圖7為重疊區(qū)域絕對(duì)差值和實(shí)例
【具體實(shí)施方式】
[0021] 下面結(jié)合附圖和對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步的說(shuō)明。
[0022] 本發(fā)明提出的運(yùn)動(dòng)補(bǔ)償帖率上轉(zhuǎn)換方法整體流程如圖1所示，包括基于色度混合 匹配模型的塊匹配準(zhǔn)則、基于Ξ維遞歸捜索的前后向運(yùn)動(dòng)估計(jì)、時(shí)空運(yùn)動(dòng)向量提純、高容錯(cuò) 運(yùn)動(dòng)向量平滑和雙加權(quán)重疊塊運(yùn)動(dòng)補(bǔ)償。具體實(shí)施步驟如下：
[0023] S1:受Bayer模式的啟發(fā)，構(gòu)造出色度混合匹配模型，如圖2所示。由于人眼視覺(jué)系 統(tǒng)相對(duì)地更加關(guān)注亮度細(xì)節(jié)，因此，色度混合匹配模型包含有較多的亮度采樣點(diǎn)。Y通道上 塊Bij的亮度采樣點(diǎn)位置Bi,/由菱形下采樣決定。經(jīng)過(guò)大量的統(tǒng)計(jì)分析，常見(jiàn)自然圖像的頻 譜主要分布在二維頻譜中W原點(diǎn)為中屯、、4個(gè)頂點(diǎn)在直角坐標(biāo)軸上的一個(gè)菱形范圍內(nèi)，運(yùn)是 由于在自然場(chǎng)景圖像中，垂直的和水平的物體、線條、運(yùn)動(dòng)等比在其他方向上要多，因而，反 映在頻譜上就是水平和垂直方向的高頻分量要比其他方向多。基于該經(jīng)驗(yàn)，色度混合匹配 模型使用菱形下采樣來(lái)避免在下采樣過(guò)程可能引入的頻譜混疊失真?？紤]到人眼視覺(jué)系統(tǒng) 對(duì)彩色信息并不敏感，彩色信息將被適當(dāng)?shù)貋G棄，塊Bi,j在U和V通道上將通過(guò)均勻下采樣分 別獲得采樣位置Bi,/和Bi,/。為了不引入過(guò)多的計(jì)算復(fù)雜度，在容忍一定失真的前提下，下 采樣前的低通濾波過(guò)程將被忽略。將和Bi,/合并就形成了最終的色度混合匹配模 型，那么，前向的基于色度混合匹配模型的絕對(duì)差值和可設(shè)計(jì)如下：
[0024]
[00劇式中汾別是前參考帖、后參考帖，Yt+1(.)與Yt-1( ·)分別表示fVi與ft-1的 亮度成份，Ut+i( ·)和Ut-i( ·)分別是ft-i和ft+i的藍(lán)色差分量，Vt+i( ·)和Vt-i( ·)分別是ft-i 和ft+i的紅色差分量。由于色差分量的誤差能量常小于亮度分量的誤差能量，因此，通過(guò)引 入W適當(dāng)?shù)胤糯骍和V通道上的絕對(duì)差值和。后向的基于色度混合匹配模型的絕對(duì)差值和也 能W上式相似的形式構(gòu)造?；谏然旌掀ヅ淠Ｐ偷碾p向絕對(duì)差值和被設(shè)計(jì)如下：
[0026]
[0027]利用格式分別為CIF(352 X 288)、720P( 1280 X 720)和 1080P(1920 X 1080)的若干 測(cè)試序列評(píng)估在不同W值下的算法性能，發(fā)現(xiàn)最優(yōu)W值出現(xiàn)在[4，12]范圍內(nèi)。因此，W將被設(shè) 置為8。
[002引 S2:S維遞歸捜索方法采用MCMP-SAD計(jì)算ft-i與ft+i間的前后向運(yùn)動(dòng)向量場(chǎng)。在本 示例中，僅詳細(xì)描述前向運(yùn)動(dòng)估計(jì)的流程，對(duì)于后向運(yùn)動(dòng)估計(jì)，其與前向運(yùn)動(dòng)估計(jì)類似，僅 是沿著相反方向執(zhí)行。由f t+l至化t-l的前向運(yùn)動(dòng)向量Vf0可計(jì)算如下：
[0029]
[0030] 式中CS為Ξ維遞歸捜索方法的候選運(yùn)動(dòng)向量集，其候選運(yùn)動(dòng)向量位置如圖3所示， 運(yùn)些候選運(yùn)動(dòng)向量分別是:零向量0,當(dāng)前塊位置Bi,j(中屯、)處的運(yùn)動(dòng)向量，空間鄰域塊位置 Sa(上方)和Sb(左側(cè))處的運(yùn)動(dòng)向量，時(shí)間鄰域塊位置Ta(下側(cè))和Tb(右側(cè))處的運(yùn)動(dòng)向量，W 及空間鄰域塊位置Ua(左上方)和化(右上側(cè))處的隨機(jī)擾動(dòng)運(yùn)動(dòng)向量，如下表示：
[0031 ] CS = (0，MVF"i't-i(Sa)，MVF"i't-i(Sb)，
[0032] MVFt-i, t-3(Ta)，MVFt-i, t-3(Tb)，Ra，姑 eUS
[0033] MVFt+i, t-i (Ua) +Ra，MVFt+i, t-i (化）+化}
[0034]
[0035] 式中MVFt+i,t-i表示ft+i至Ijft-i的運(yùn)動(dòng)向量場(chǎng)，MVFt-i,t-3表示ft-iSJft-3的運(yùn)動(dòng)向量場(chǎng)。
[0036] S3:獲得ft-i與ft+i間的前后向運(yùn)動(dòng)向量場(chǎng)后，提出的時(shí)空運(yùn)動(dòng)向量提純方法將利 用它們分別為內(nèi)插帖內(nèi)各塊分配唯一的前向運(yùn)動(dòng)向量Vf和后向運(yùn)動(dòng)向量Vb。本示例詳細(xì)介 紹前向運(yùn)動(dòng)向量提純過(guò)程，后向運(yùn)動(dòng)向量提純僅是沿著相反方向進(jìn)行相同的運(yùn)算。在前向 情形中，當(dāng)計(jì)算內(nèi)插帖ft的前向運(yùn)動(dòng)向量場(chǎng)MVFt,t-i時(shí)，由ft-1到ft-3的運(yùn)動(dòng)向量場(chǎng)MVFt-i,t-3 和由ft+i到ft-i的運(yùn)動(dòng)向量場(chǎng)MVFt+i,t-i是已知的，因此，由ft-i到ft-2的運(yùn)動(dòng)向量場(chǎng)MVFt-i,t-2和 由ft+翊ft的運(yùn)動(dòng)向量場(chǎng)MVFt+i,河計(jì)算如下：
[0037] MVFt-i,t-2=MVFt-i,t-3/2 [003引 MVF"i,t=MVF"i,t-i/2
[0039] 根據(jù)上述的時(shí)間鄰域運(yùn)動(dòng)向量場(chǎng)，時(shí)空運(yùn)動(dòng)一致性可隱含地加入至前向運(yùn)動(dòng)向量 提純，通過(guò)如圖4所示的候選提純運(yùn)動(dòng)向量集RS，其可表示如下：
[0040] RS=(0，MVFt't-i(Si)，MVFt't-i(S2)，MVFt't-i(S3)，MVFt't-i(S4)
[0041 ] MVF"i't(Ti)，MVF"i't(T2)，MVFt-i't-2(T3)，MVFt-i't-2(T4)}
[0042] 其中零向量0加入至RS中是因?yàn)榱阆蛄砍霈F(xiàn)頻率較高。最后，由ft到ft-i的前向運(yùn) 動(dòng)向量Vf可計(jì)算如下：
[0043]
[0044] S4:高容錯(cuò)運(yùn)動(dòng)平滑方法去糾正邊緣區(qū)域內(nèi)不準(zhǔn)確的運(yùn)動(dòng)向量。為了檢測(cè)異常，尺 寸為3X3的窗口（如圖5(a)所示）自上到下從左至右依次遍歷所有運(yùn)動(dòng)向量。在運(yùn)動(dòng)向量窗 口內(nèi)，V0是待處理的運(yùn)動(dòng)向量，V1-V8是V0的鄰域運(yùn)動(dòng)向量。然而，若運(yùn)動(dòng)異常存在于V1-V8內(nèi)， 那么，將會(huì)對(duì)異常檢測(cè)產(chǎn)生不良影響，例如，圖5(b)顯示了在鄰域運(yùn)動(dòng)向量中V3和V6為運(yùn)動(dòng) 異常。為了克服該問(wèn)題，提出一個(gè)加權(quán)策略檢測(cè)異常，首先計(jì)算Vm、D〇和Dm如下：
[0049]式中Vm表示八個(gè)鄰域運(yùn)動(dòng)向量V1-V8的加權(quán)均值，Wi用于度量鄰域運(yùn)動(dòng)向量Vi的可 靠度(MCMP-SBAD越小，Vi的可靠度越高），Do表示Vm與V0的歐式距離，Dm表示Vm與八個(gè)鄰域運(yùn) 動(dòng)向量之間歐式距離的平均，II · I h代表b范數(shù)。若Do>Dm，vo被認(rèn)為是一個(gè)異常。加權(quán)檢測(cè) 可阻止Vm接近八個(gè)鄰域運(yùn)動(dòng)向量?jī)?nèi)的異常，因此，提高了異常檢測(cè)的準(zhǔn)確度。由于運(yùn)動(dòng)異常 經(jīng)常會(huì)出現(xiàn)在邊緣區(qū)域，因此，HFT-MVS算法將使用時(shí)間相關(guān)性糾正異常，如下：
[(K)加 ]
[0051] 式中Vin是由相鄰塊的非異常運(yùn)動(dòng)向量組成的集合。
[0052] S5:為了阻止邊緣過(guò)平滑和遮擋現(xiàn)象，提出的雙加權(quán)重疊塊運(yùn)動(dòng)補(bǔ)償方法將聯(lián)合 前后向運(yùn)動(dòng)向量場(chǎng)利用空間與時(shí)間加權(quán)生成內(nèi)插帖。具體的實(shí)施過(guò)程如圖6所示，描述如 下：
[0053] S51:對(duì)于空間加權(quán)策略，利用前向運(yùn)動(dòng)向量分別從ft-i與ft+i中抽取參考?jí)KXfp和 Xfη，接著，利用下式生成前向候選塊Xf C :
[0化4] Xfc = α印X印+αfnX化
[005引其中α印和α化分別表示評(píng)估沿P、沿η與它們空間鄰域塊連續(xù)性的加權(quán)系數(shù)。采用重疊 區(qū)域絕對(duì)差值和計(jì)算加權(quán)系數(shù)afp和afn。圖7列舉了計(jì)算重疊區(qū)域絕對(duì)差值和時(shí)，當(dāng)前塊與 空間鄰域塊的關(guān)系，其計(jì)算表達(dá)式為：
[005引 Am,n = Bi+m,j+n00i, j
[0059] Vi+m, j+n = MVFt, t-1 (Bi+m, j+n)
[0060] 式中Bi,j是當(dāng)前內(nèi)插塊的位置，Bi+m,j+n(m，n = -l，0，l)是其空間鄰域塊的位置，0i,j 為Bi, j和Bi+m, j+n的重疊區(qū)域。SOADfp和SOAD化可反映 Xfp、X化與它們空間鄰域塊連續(xù)性，且連續(xù) 性越強(qiáng)，S0A扣P和SOADfn取值越小。因此，afp和α化可計(jì)算如下；
[0063] 后向候選塊Xbc也可計(jì)算如下：
[0067] 式中Xbp和Xbn是利用后向運(yùn)動(dòng)向量vbc從ft-i與ft+沖抽取的參考?jí)K，SOADbp和SOADbn 分別為Xbp、Xbn與它們空間鄰域塊的重疊區(qū)域絕對(duì)差值和。
[006引S52:對(duì)于時(shí)間加權(quán)策略，最終的內(nèi)插塊Xc將由Xfc和Xbc通過(guò)加權(quán)&和化求和得到， 表達(dá)如下：
[0069] Xc = efXfc+0bXbc
[0070] 其中β?和化分別用于度量前后向運(yùn)動(dòng)向量Vfc和Vbc的可靠性。MCMP-SBAD被用于度 量運(yùn)動(dòng)向量的可靠度。MCMP-SBAD值較低，表示該運(yùn)動(dòng)向量相對(duì)更加真實(shí)，其造成遮擋現(xiàn)象 的概率越低，因此，&和化可計(jì)算如下：
[0073] TCf=MCMP-SBAD(Bi,j，Vfc，t)
[0074] TCb=MCMP-SBAD (Bi, j，-vbc，t)
[0075] 時(shí)間加權(quán)策略使最終的內(nèi)插塊Xc自適應(yīng)地接近Xfc和Xbc中具有更大時(shí)間相關(guān)性的 一個(gè)，而高時(shí)間相關(guān)性將確保運(yùn)動(dòng)向量的可靠性，降低遮擋出現(xiàn)的概率，因此，遮擋問(wèn)題可 得到有效緩解。
[0076] 本發(fā)明的仿真結(jié)果
[0077] 實(shí)施若干種實(shí)驗(yàn)評(píng)估本發(fā)明提出的帖率上轉(zhuǎn)換方法性能。測(cè)試序列使用兩種格式 CIF(352 X 288)和1080P( 1920 X 1080)，其中CIF格式的測(cè)試序列包括Foreman、化irs、 Foo憂all、Stefan、Tennis、Mobile和Bus，1080P格式的測(cè)試序列包括F^edest;rian、RushHour 和化actor。為了評(píng)估內(nèi)插帖的質(zhì)量，每個(gè)測(cè)試序列的前50個(gè)偶數(shù)帖被移除，接著，它們通過(guò) 各種內(nèi)插算法由前50個(gè)奇數(shù)帖再次生成，最后，再計(jì)算生成內(nèi)插帖與原始帖之間的PSNR(峰 值信噪比）值W反映內(nèi)插帖的客觀質(zhì)量。對(duì)比算法采用四類方法如下：文獻(xiàn)C. Wang和 S. G. Jeong提出的基于單向運(yùn)動(dòng)估計(jì)的內(nèi)插方法，文獻(xiàn)B. D.化oi和S. J. Kang提出的基于雙 向運(yùn)動(dòng)估計(jì)的內(nèi)插方法，W及文獻(xiàn)H.B丄iu和S.G.Jeong提出的基于多假設(shè)運(yùn)動(dòng)估計(jì)的內(nèi)插 方法。
[007引表1列出了在格式為CIF和1080P的不同測(cè)試序列下各視頻帖率上轉(zhuǎn)換方法重建出 內(nèi)插帖的平均PSNR值，可看出與除多假設(shè)運(yùn)動(dòng)估計(jì)類方法外的對(duì)比方法相比，本發(fā)明獲得 了更高的PSNR值，例如，對(duì)于包含有縮放場(chǎng)景、旋轉(zhuǎn)和慢速平移運(yùn)動(dòng)的Mobile序列，本發(fā)明 獲得了3.11地~8.28地的PSNR增益。與多假設(shè)運(yùn)動(dòng)估計(jì)類方法相比，本發(fā)明平均上降低約 0.44dB，僅在少數(shù)序列下獲得了更高的PSNR值，例如，對(duì)于Footbal 1和Tractor序列，與 H.B丄iu方法相比，本發(fā)明分別獲得了0.13地和0.71地的PSNR增益，而對(duì)于Mobile序列，本 發(fā)明也比S.G.Jeong方法高出1.89地。然而，由于需要多個(gè)不同密度的運(yùn)動(dòng)向量場(chǎng)，多假設(shè) 運(yùn)動(dòng)估計(jì)類方法具有較大的計(jì)算復(fù)雜度，尤其對(duì)于S. G. Jeong方法，若干復(fù)雜的視頻分析工 具(視頻分段，紋理綜合等)將進(jìn)一步在H.B丄iu方法基礎(chǔ)上引入沉重的計(jì)算負(fù)擔(dān)，因此，多 假設(shè)運(yùn)動(dòng)估計(jì)類方法的良好性能是W增加計(jì)算復(fù)雜度為代價(jià)的。如表2所示，由于提出算法 使用了簡(jiǎn)單的預(yù)測(cè)捜索技術(shù)，且僅利用單運(yùn)動(dòng)向量場(chǎng)內(nèi)插邊信息，所W它具有相對(duì)輕的計(jì) 算負(fù)擔(dān)。與其他僅利用單運(yùn)動(dòng)向量場(chǎng)的對(duì)比方法相比，本發(fā)明W較小的計(jì)算復(fù)雜度縮短了 與多假設(shè)運(yùn)動(dòng)估計(jì)類方法的性能差距，甚至在個(gè)別情況下，本發(fā)明性能也超出了多假設(shè)運(yùn) 動(dòng)估計(jì)類方法。
[0079] 表1格式為CIF和1080P的不同測(cè)試序列下各視頻帖率上轉(zhuǎn)換方法生成內(nèi)插帖的平 均PSNR值(地）
[0080]
[0081] 表2對(duì)于CIF和1080P格式的視頻序列各視頻帖率上轉(zhuǎn)換方法生成內(nèi)插帖所需的平 均處理時(shí)間（s/Rrame)
[0082]
【主權(quán)項(xiàng)】
1. 一種基于色度混合匹配模型的視頻幀率上轉(zhuǎn)換方法，其特征在于該方法借助于色度 混合匹配模型，分別提出時(shí)空運(yùn)動(dòng)向量提純方法和高容錯(cuò)運(yùn)動(dòng)向量平滑方法提純內(nèi)插幀的 運(yùn)動(dòng)向量場(chǎng)，雙加權(quán)重疊塊運(yùn)動(dòng)補(bǔ)償方法也被提出用以減弱運(yùn)動(dòng)補(bǔ)償內(nèi)插中的邊緣模糊與 遮擋問(wèn)題。2. 如權(quán)利要求1所述的色度混合匹配模型，其特征在于混合亮度與色差成份至一個(gè)二 維平面，單次作絕對(duì)差值和運(yùn)算就可近似計(jì)算視頻序列中多個(gè)通道的差值，基于色度混合 匹配模型的塊匹配準(zhǔn)則充分利用多通道上的信息，與此同時(shí)，減少計(jì)算復(fù)雜度，由于塊匹配 準(zhǔn)則是運(yùn)動(dòng)估計(jì)各模塊中的基本要素，因此，其對(duì)運(yùn)動(dòng)補(bǔ)償幀率上轉(zhuǎn)換整體性能有著較大 的積極影響。3. 如權(quán)利要求1所述的時(shí)空運(yùn)動(dòng)向量提純方法，其特征在于依靠運(yùn)動(dòng)向量場(chǎng)的時(shí)空一 致性假設(shè)，隱式地嵌入平滑約束至提純過(guò)程。4. 如權(quán)利要求1所述的高容錯(cuò)運(yùn)動(dòng)向量平滑方法，其特征在于采用加權(quán)方法檢測(cè)不準(zhǔn) 確的運(yùn)動(dòng)向量以抑制鄰近運(yùn)動(dòng)向量中的異常不誤導(dǎo)檢測(cè)結(jié)果，由于這些異常經(jīng)常出現(xiàn)在邊 緣地區(qū)，傳統(tǒng)基于空間相關(guān)性的糾錯(cuò)法將由基于時(shí)間相關(guān)性的方法替換。5. 如權(quán)利要求1所述的雙加權(quán)重疊塊運(yùn)動(dòng)補(bǔ)償方法，其特征在于：（1)為了減少邊緣過(guò) 平滑，當(dāng)前塊在前后幀中匹配塊的加權(quán)平均被用于分別計(jì)算前后向運(yùn)動(dòng)向量場(chǎng)的兩個(gè)內(nèi)插 塊候選，其中匹配塊的加權(quán)系數(shù)根據(jù)重疊區(qū)域絕對(duì)差值和計(jì)算，重疊區(qū)域絕對(duì)差值和代表 了內(nèi)插塊與鄰近塊的連續(xù)性；（2)為了緩解遮擋問(wèn)題，根據(jù)基于色度混合匹配模型的雙向絕 對(duì)差值和度量前后向運(yùn)動(dòng)向量的可靠性，兩個(gè)內(nèi)插塊候選將被再次加權(quán)。
【文檔編號(hào)】H04N19/132GK105872559SQ201610172218
【公開(kāi)日】2016年8月17日
【申請(qǐng)日】2016年3月20日
【發(fā)明人】李然, 孫芳, 劉宏兵
【申請(qǐng)人】信陽(yáng)師范學(xué)院