專利名稱：圖框速率轉(zhuǎn)換裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖框內(nèi)插裝置及方法，尤指一種利用移動估算及移動補償?shù)膱D框速率轉(zhuǎn)換裝置及方法。
背景技術(shù)：
利用移動補償(motion compensation, MC)的圖框(frame)內(nèi)插法可以回朔至 1980代后期。利用移動補償內(nèi)插法具有許多優(yōu)點。為了有效的在原始的圖框中內(nèi)插新圖框，通常會先估算原始的輸入圖框中標的的移動。近年來，由于半導體及電視技術(shù)的發(fā)展， 利用移動估算補償(motion estimation and motion compensation, MEMC)的圖框速率轉(zhuǎn)換(frame rate conversion, FRC)獲得許多注意。利用MEMC的FRC通常從一組候選者移動向量中選擇一優(yōu)選移動向量來執(zhí)行移動估算。如何建立候選者清單以及如何選出優(yōu)選者， 每一MEMC方法各有不同?，F(xiàn)今技術(shù)的算法在具有一致性移動的場景中具有不錯的效果，但在一些困難的狀況，如快速移動的物體的邊界、包藏的場景(occlusion scene)、以及具有少量細節(jié)的區(qū)域等，會導致許多可見的假影(artifact)。因此，現(xiàn)今的技術(shù)存在許多挑戰(zhàn)與改善的空間以改善視頻(video，視訊)畫面的品質(zhì)。

發(fā)明內(nèi)容
因此，本發(fā)明的眾多目的之一即在提供一種圖框速率轉(zhuǎn)換裝置及一種圖框速率轉(zhuǎn)換方法以改善視頻畫面的品質(zhì)。依據(jù)本發(fā)明之一實施例，披露一種圖框速率轉(zhuǎn)換方法。該方法包括下列步驟接收至少兩個輸入圖框；根據(jù)該至少兩個輸入圖框來產(chǎn)生多個移動向量；根據(jù)該多個移動向量來產(chǎn)生一包含區(qū)域移動向量及時間移動向量的候選者清單；根據(jù)該候選者清單來產(chǎn)生一優(yōu)選候選者；以及根據(jù)該優(yōu)選候選者產(chǎn)生至少一輸出圖框。依據(jù)本發(fā)明的另一實施例，披露一種圖框速率轉(zhuǎn)換裝置。該圖框速率轉(zhuǎn)換裝置，用以接收至少兩個輸入圖框并產(chǎn)生至少一輸出圖框，包含一移動估算模塊，用以檢測一訊源的頻道狀態(tài)來產(chǎn)生一檢測結(jié)果自該至少兩個輸入圖框來產(chǎn)生一包含區(qū)域移動向量及時間移動向量的候選者清單，并自該候選者清單產(chǎn)生一優(yōu)選移動向量；以及一移動補償模塊，用以依據(jù)該優(yōu)選移動向量來產(chǎn)生該至少一輸出圖框；其中該優(yōu)選移動向量是利用一雙向搜尋方式而產(chǎn)生。


圖1顯示根據(jù)本發(fā)明之一實施例的圖框速率轉(zhuǎn)換裝置。圖2顯示根據(jù)本發(fā)明之一實施例的圖框特征提取模塊。圖3顯示根據(jù)本發(fā)明之一實施例的ME模塊。圖4顯示根據(jù)本發(fā)明之一實施例的控制模塊。圖5顯示根據(jù)本發(fā)明之一實施例的MC模塊。
圖6顯示根據(jù)本發(fā)明之一實施例的圖框速率轉(zhuǎn)換方法的流程圖。主要元件符號說明100 圖框速率轉(zhuǎn)換裝置110 圖框特征提取模塊120 移動估算模塊130 控制模塊140 移動補償模塊
具體實施例方式MEMC的功能是用以減少由低圖框速率的視頻(如Mf/s的影片)轉(zhuǎn)換至高圖框速率的視頻(如120Hz TV)所產(chǎn)生的急動(judder)現(xiàn)象。圖1例示Mf/s輸入及在MEMC之后的120f/s輸出。目標(target)圖框及參考 (reference)圖框為在原始輸入圖框序列中的兩個相鄰圖框。請注意本實施例雖以兩個圖框為例，但本發(fā)明也可以使用兩個以上的圖框。請繼續(xù)參考圖1，根據(jù)本發(fā)明之一實施例中的圖框速率轉(zhuǎn)換裝置100，其用以接收至少兩個輸入圖框并產(chǎn)生至少一輸出圖框，其包括一移動估算(ME)模塊120以及一移動補償(MC)模塊140。移動估算模塊120用來自該至少兩個輸入圖框來產(chǎn)生一包含區(qū)域移動向量及時間移動向量的候選者清單，并自該候選者清單產(chǎn)生一優(yōu)選移動向量。該移動補償模塊140用以依據(jù)該優(yōu)選移動向量來產(chǎn)生該至少一輸出圖框。根據(jù)本發(fā)明的另一實施例，該區(qū)域移動向量為局部(local)移動向量以及該時間移動向量為時間流(MvFlow)候選者。根據(jù)本發(fā)明的另一實施例，圖框速率轉(zhuǎn)換裝置100還包括一圖框特征提取模塊 110以及一控制模塊130。圖框特征提取模塊110用以自該輸入圖框提取信息?？刂颇K 130用以根據(jù)來自圖框特征提取模塊110或該移動估算(ME)模塊120的信息來決定該優(yōu)選移動向量的權(quán)重。根據(jù)本發(fā)明的另一實施例，圖框特征提取模塊110用以從該輸入圖框提取出淡入 /淡出信息，而控制模塊130根據(jù)該淡入/淡出信息來決定該優(yōu)選移動向量的權(quán)重。根據(jù)本發(fā)明的另一實施例，圖框特征提取模塊110用以從該輸入圖框產(chǎn)生標志檢測信息，而輸出圖框根據(jù)該標志檢測信息來產(chǎn)生。移動估算(ME)模塊120檢測輸入圖框中的標的的軌跡(trajectory)，并以移動向量(MV)表示。輸出的(內(nèi)插的)圖框根據(jù)移動向量來產(chǎn)生，并根據(jù)產(chǎn)生的圖框所將顯示 (display)的時間將標的置放在適當?shù)奈恢?。移動補償(MC)模塊140利用MV以及目標與參考圖框在目標與參考圖框之間來產(chǎn)生內(nèi)插的圖框。控制模塊130利用ME模塊120取得的統(tǒng)計信息以及來自圖框特征提取模塊110的信息來決定在輸出圖框中的目標與參考圖框的權(quán)重、優(yōu)選MV的權(quán)重、以及標的的位置。在一些狀況中，如場景(scene)的變換，控制模塊130也回饋信息至ME模塊120以調(diào)整ME模塊120的動作。參考圖2，圖框特征提取模塊110可以包括影像位置檢測單元111、標志檢測單元 112、以及淡入/淡出檢測單元113。圖框特征提取模塊110由輸入圖框分析圖像的內(nèi)容，并利用影像位置檢測單元111來提供圖像位置的信息、利用標志檢測單元112來提供標志位置或標志檢測信息、或利用淡入/淡出檢測單元113來提供淡入/淡出信息。圖框特征提取模塊110這些將這些信息輸出至ME模塊120以得到更佳的MV、或輸出至MC模塊140以幫助確認在輸出圖框中的內(nèi)插像素的正確性。其它信息，如淡入/淡出檢測信息，將送至控制模塊140以控制輸出圖框的結(jié)果，如根據(jù)淡入/淡出檢測信息來決定優(yōu)選移動向量的權(quán)重。參考圖3，移動估算(ME)模塊120可以包括雙向單元121、RMV檢測單元122、RMV 緩沖器123、MV緩沖器124、時間流(Mvflow)單元125、后移動估算單元126、以及像素MV單元127。雙向單元121用以由目標圖框至參考圖框及/或由參考圖框至目標圖框來搜尋或決定優(yōu)選MV(優(yōu)選候選者)。RMV檢測單元122用以檢測并產(chǎn)生區(qū)域移動向量(regional moving vector, RMV)。RMV緩沖器123用以儲存來自RMV檢測單元122的RMV，并提供RMV 候選者至雙向單元121。MV緩沖器IM用以儲存來自RMV檢測單元122的先前不同時間的 RMV或經(jīng)后ME單元1 修正后的優(yōu)選移動向量，并將其儲存為時間移動向量(MV)。時間流 (MvFlow)單元125，用以根據(jù)MvFlow檢測，在時間MV中檢測Mvflow候選者，并將MvFlow 候選者輸出至雙向單元121。后移動估算單元1 用以執(zhí)行一后移動估算檢測以修正優(yōu)選移動向量，并將輸出至RMV檢測單元122、像素MV單元127、及MV緩沖器124，其中后移動估算檢測包含跳動(jump)修正、包覆檢測、以及離群值(outlier)濾波的至少其中之一，其中 RMV檢測單元122根據(jù)優(yōu)選移動向量的修正來調(diào)整其本身的檢測。而像素MV單元127用以根據(jù)(修正后的)優(yōu)選移動向量來推導像素的MV。ME模塊120將目標圖框分割為固定大小的小區(qū)塊，然后在參考圖框搜尋最佳匹配，并以移動向量(MV)代表區(qū)塊由目標圖框至參考圖框的軌跡(trajectory)。此實施例以絕對差(Sum of Absolute Difference, SAD)為基準來決定優(yōu)選MV或候選者，但本發(fā)明不以使用SAD為限。由于ME包含大量的運算工作，為了避免搜尋整個參考圖框，本發(fā)明可以使用快速搜尋并只搜尋一些點。在找到每一區(qū)塊的優(yōu)選移動向量區(qū)塊后，將執(zhí)行后ME檢測以修正錯誤的移動向量，并標示出包藏(occlusion)發(fā)生的區(qū)域。然后像素MV單元127推導每一像素的移動向量，再執(zhí)行MC以產(chǎn)生輸出像素(pixel)。移動估算(ME)是尋找移動向量(MV)以代表在相臨圖框的標的移動的過程。ME 模塊120將整個圖框分割為固定大小的小區(qū)塊，如8X8或16X16，然后在兩個圖框間根據(jù)一搜尋基準來搜尋最佳匹配。此實施例以絕對差(Sum of Absolute Difference, SAD)為基準，而也可以使用均方差(mean square error, MSE)或中位數(shù)絕對誤差(mean absolute distortion, MAD)，本發(fā)明不以使用SAD為限。本發(fā)明可以使用固定目標搜尋，也即在目標圖框固定一區(qū)塊，然后再搜尋參考圖框。全面搜尋為最詳細的搜尋方法。全面搜尋是在搜尋范圍內(nèi)搜尋所有可能的位置。當圖框很大而搜尋范圍也很大，這可能不切實際。不同于全面搜尋，本發(fā)明使用快速搜尋方法，其只搜尋所有可能候選者的一個子集合。子集合，也即候選者的選取很重要，其將影響ME的效能。通常目前區(qū)塊的移動與其相鄰區(qū)塊的移動有密切的關(guān)系，這些就可為執(zhí)行快速搜尋時的好的候選者。根據(jù)本發(fā)明之一實施例，本發(fā)明提出兩種特別型態(tài)的候選者。第一種為MvFlow候選者。通過記錄標的的移動，本發(fā)明可以使用由時間t-2至t-Ι (或更早)的軌跡來推斷標的在時間t的位置。第二種區(qū)域移動向量(RMV)候選者。當場景平移(panning)時，整張圖將往一致的方向移動，此種移動向量本發(fā)明稱之為總體(GlcAal)區(qū)域移動向量(GRMV)， 其可為好的候選者。如果整張圖并未平移，本發(fā)明仍可以找到一移動向量來代表某一局部的一致移動，此種移動向量本發(fā)明稱之為局部(Local)區(qū)域移動向量(LRMV)。有時目前區(qū)塊的移動可能與它的候選者有些許的不同。然而，通過搜尋候選者的鄰近范圍可以得到此區(qū)塊更精確的移動以改善其效能。其稱之為小范圍搜尋。根據(jù)本發(fā)明之一實施例，其可使用雙向搜尋方式，以在單一方向可以找到但另一方向無法找到時有所幫助。這種情形包括圖像的邊界以及包覆/非包覆的狀況。前向搜尋是由目標圖框搜尋至參考圖框，而后向搜尋是由參考圖框搜尋至目標圖框。在搜尋候選者之后，本發(fā)明發(fā)現(xiàn)單獨使用搜尋基準，如最小SAD，可能無法找到區(qū)塊的真正移動或最近似的移動。為了降低這種錯誤，根據(jù)本發(fā)明之一實施例，其在作比較之前，對搜尋基準加入偏差(值)。這種偏差(值)每一候選者可以各有不同，其是根據(jù)每一候選者的特征以及其與臨近區(qū)域的相互關(guān)系。最后，執(zhí)行一后移動估算檢測以修正一些錯誤的優(yōu)選移動向量。如果標的以一致的速度移動，它的移動向量應幾乎為常數(shù)且它的位置應可輕易的自其先前的移動來預測。此種移動向量應為用以搜尋的好的候選者搜尋。本發(fā)明提出時間流Mvflow方法來搜尋此種候選者。作為考慮時間流MvFlow的在前一圖框的區(qū)塊應不超過最大的搜尋范圍。由于可能會有許多可能的時間流MvFlow候選者，本發(fā)明加入一些限制條件以移除較不可能代表真正移動的候選者。本發(fā)明可以在計算重疊時，縮小目前區(qū)塊的大小及/或候選者區(qū)塊的大小。本發(fā)明排除具有小重疊區(qū)域的候選者。因此，如果所預測的移動沒有在位置或區(qū)域上提供足夠的重疊，本發(fā)明就排除此種候選者。仍可能有許多可能的候選者本發(fā)明無法全部搜尋。本發(fā)明可以對其根據(jù)如重疊區(qū)域或移動向量的大小的準則以可能性來排序，并挑選最大者來作為時間流MvFlow候選者。當兩個候選者之移動向量彼此靠近，本發(fā)明將其合并以減少多余的搜尋如此以取得更多獨特的候選者。在總體平移場景中，本發(fā)明使用一個移動向量來代表整體圖像的移動。此種MV稱之為總體區(qū)域移動向量(GRMV)。相同的現(xiàn)象可以在較小的區(qū)域觀察到，本發(fā)明使用一局部移動向量(LRMV)來代表其移動。例如，LRMV可以代表一 6X6區(qū)塊之移動向量，但本發(fā)明不以6X6區(qū)塊為限。由于在搜尋未完成前，本發(fā)明可能無法計算出目前圖框之所有GRMV 或LRMV，本發(fā)明利用前一圖框的GRMV及LRMV作為時間候選者。兩者，也即目前或時間上的 GRMV及LRMV候選者，在快速搜尋皆為好的候選者。本發(fā)明也可加一負偏差(negative)至GRMV及LRMV候選者以使其較占優(yōu)勢。此偏差不一定為常數(shù)，其取決于GRMV及LRMV的可靠度及區(qū)塊的活動(activity)。GRMV及 LRMV的可靠度由GRMV/LRMV區(qū)域的移動向量的變異(variance)來決定。如變異小，則可靠度尚。對各別的候選者，本發(fā)明執(zhí)行以候選者為中心的小范圍搜尋，小范圍可以設(shè)定為例如X :-3..+3&y :-3..+3，并搜尋范圍內(nèi)的所有位置。本發(fā)明可以使用部份圖素 (fractional pel)搜尋，如半圖素(half-pel)或四分之一圖素(quarter-pel)搜尋，而最佳匹配位置將代表此候選者為優(yōu)選者并在最后決定階段再與其它候選者作比較。
雖臨近各別候選者的小范圍搜尋有助于更有效率的掌握快速移動，但有時即使對屬于同一標的的區(qū)塊，其也會引起MV的小量變益。此種小量變益對大部分的場景并不會有問題，但有時會產(chǎn)生假影。此外搜尋準則也可能不精確。本發(fā)明也可能發(fā)現(xiàn)一些不相關(guān)的區(qū)塊比目前區(qū)塊更符合其真實的移動。此種現(xiàn)象稱之為ME混擾(alias)。這種現(xiàn)象通常發(fā)生在具有相似結(jié)構(gòu)(texture)或重復圖案(pattern)區(qū)域。錯的移動向量將導致假影。為了避免MV的小量變益，本發(fā)明使靠近原本候選者位置的MV較占優(yōu)勢。例如，當執(zhí)行小范圍搜尋時，本發(fā)明根據(jù)與原本位置的距離來計算一偏差(bias)，并將偏差與SAD 相加。在候選者之中，具有最佳搜尋準則者，如具有最小SAD者，通常被選為優(yōu)選移動向量或優(yōu)選候選者。然而，由于影像的復雜度與基于區(qū)塊的移動搜尋的限制，此種移動向量也可能無法代表目前區(qū)塊的真正移動，不正確的移動向量將導致假影。本發(fā)明通過在比較之前加入偏差至SAD來克服此情形。本發(fā)明考慮目前區(qū)塊與其鄰近區(qū)塊之空間相關(guān)性(spatial correlation)，以及目前區(qū)塊與前一圖框中的對應區(qū)塊 (counterpart)的時間相關(guān)性(temporal correlation),而計算空間偏差(spatial bias) 與時間偏差(temporal bias)，并將二者與SAD相加以作為新的搜尋準則，優(yōu)選MV即為最小的加總SAD(SAD+空間偏差+時間偏差)者。如有二候選者具有進似的SADs，具有較強的空間及/或時間相關(guān)性者(即較小的空間+時間偏差者)將成為優(yōu)選者。此法可以降低 ME混擾(alias)的發(fā)生。偏差與區(qū)塊的復雜度有關(guān)。區(qū)塊結(jié)構(gòu)(texture)越復雜，其SAD也可能越高。因此偏差值要設(shè)為高些才能有效。本發(fā)明通過計算區(qū)塊的活動(activity)來估計其復雜度，方法如下，其中(start, χ, start, y)及(end. χ, end. y)代表區(qū)塊的起始及結(jié)束位置，而 block[y] [χ]為(x,y)位置的像素值(pixel value)
權(quán)利要求
1.一種圖框速率轉(zhuǎn)換方法，其特征在于，包括 接收至少兩個輸入圖框；根據(jù)所述至少兩個輸入圖框來產(chǎn)生多個移動向量；根據(jù)所述多個移動向量來產(chǎn)生一包括區(qū)域移動向量及時間移動向量的候選者清單； 根據(jù)所述候選者清單來產(chǎn)生一優(yōu)選候選者；以及根據(jù)所述優(yōu)選候選者產(chǎn)生至少一輸出圖框。
2.根據(jù)權(quán)利要求1所述的圖框速率轉(zhuǎn)換方法，其特征在于，根據(jù)所述多個移動向量來產(chǎn)生所述包含區(qū)域移動向量及時間移動向量的候選者清單的步驟包括產(chǎn)生包括局部區(qū)域移動向量的所述候選者清單；以及產(chǎn)生包括時間流候選者的所述候選者清單。
3.根據(jù)權(quán)利要求1所述的圖框速率轉(zhuǎn)換方法，其特征在于，根據(jù)所述候選者清單來產(chǎn)生所述優(yōu)選候選者的步驟包括自所述候選者清單選擇一具有最小的一絕對差(SAD)的移動向量作為所述優(yōu)選候選者ο
4.根據(jù)權(quán)利要求1所述的圖框速率轉(zhuǎn)換方法，其特征在于，根據(jù)所述候選者清單來產(chǎn)生所述優(yōu)選候選者的步驟包括根據(jù)一移動向量的時間及空間鄰近的移動向量來選擇所述移動向量作為所述優(yōu)選候選者。
5.根據(jù)權(quán)利要求1所述的圖框速率轉(zhuǎn)換方法，其特征在于，根據(jù)所述候選者清單來產(chǎn)生所述優(yōu)選候選者的步驟包括自所述候選者清單選擇一具有最小的一絕對差、一空間偏差、以及一時間偏差的總和的移動向量作為所述優(yōu)選候選者。
6.根據(jù)權(quán)利要求1所述的圖框速率轉(zhuǎn)換方法，其特征在于，根據(jù)所述候選者清單來產(chǎn)生所述優(yōu)選候選者的步驟包括利用一雙向搜尋方式自所述候選者清單選擇所述優(yōu)選候選者。
7.根據(jù)權(quán)利要求1所述的圖框速率轉(zhuǎn)換方法，其特征在于，還包括以下步驟執(zhí)行一后移動估算檢測以修正所述優(yōu)選移動向量，其中所述后移動估算檢測包括一跳躍修正、一包覆檢測、以及一離群值濾波的至少其中之一。
8.根據(jù)權(quán)利要求1所述的圖框速率轉(zhuǎn)換方法，其特征在于，還包括以下步驟 根據(jù)一區(qū)塊是否在所述至少兩個輸入圖框間移動、所述區(qū)塊是否靜止、以及所述區(qū)塊的邊緣信息來檢測一標志區(qū)塊。
9.根據(jù)權(quán)利要求1所述的圖框速率轉(zhuǎn)換方法，其特征在于，根據(jù)所述優(yōu)選候選者產(chǎn)生所述至少一輸出圖框的步驟包括執(zhí)行一圖框可靠度檢測來決定所述優(yōu)選候選者之一權(quán)重以產(chǎn)生所述至少一輸出圖框。
10.根據(jù)權(quán)利要求1所述的圖框速率轉(zhuǎn)換方法，其特征在于，根據(jù)所述優(yōu)選候選者產(chǎn)生所述至少一輸出圖框的步驟包括根據(jù)所述優(yōu)選候選者及其鄰近的移動向量來控制一內(nèi)差像素值。
11.根據(jù)權(quán)利要求1所述的圖框速率轉(zhuǎn)換方法，其特征在于，還包括以下步驟 通過利用一雙向搜尋方式產(chǎn)生的絕對差信息來執(zhí)行一包覆檢測以在所述至少兩個輸入圖框中檢測包覆及非包覆區(qū)域。
12.—種圖框速率轉(zhuǎn)換裝置，其特征在于，用以接收至少兩個輸入圖框并產(chǎn)生至少一輸出圖框，包括一移動估算模塊，用以檢測一訊源的頻道狀態(tài)來產(chǎn)生一檢測結(jié)果自所述至少兩個輸入圖框來產(chǎn)生一包括區(qū)域移動向量及時間移動向量的候選者清單，并自所述候選者清單產(chǎn)生一優(yōu)選移動向量；以及一移動補償模塊，用以依據(jù)所述優(yōu)選移動向量來產(chǎn)生所述至少一輸出圖框； 其中所述優(yōu)選移動向量利用一雙向搜尋方式而產(chǎn)生。
13.根據(jù)權(quán)利要求12所述的圖框速率轉(zhuǎn)換裝置，其特征在于，還包括一圖框特征提取模塊，用以自所述至少兩個輸入圖框產(chǎn)生一淡入/淡出信息；以及一控制模塊，用以依據(jù)所述淡入/淡出信息來決定所述優(yōu)選移動向量的一權(quán)重； 其中所述至少一輸出圖框依據(jù)所述權(quán)重而產(chǎn)生。
14.根據(jù)權(quán)利要求12所述的圖框速率轉(zhuǎn)換裝置，其特征在于，還包括 一圖框特征提取模塊，用以自所述至少兩個輸入圖框產(chǎn)生一標志檢測信息； 其中所述至少一輸出圖框依據(jù)標志檢測信息而產(chǎn)生。
15.根據(jù)權(quán)利要求12所述的圖框速率轉(zhuǎn)換裝置，其特征在于，所述優(yōu)選候選者是根據(jù)所述優(yōu)選候選者的時間及空間鄰近的移動向量來選取。
全文摘要
本發(fā)明涉及一種圖框速率轉(zhuǎn)換裝置及方法，圖框速率轉(zhuǎn)換裝置用以接收至少兩個輸入圖框并產(chǎn)生至少一輸出圖框。該圖框速率轉(zhuǎn)換裝置包括一移動估算模塊、一移動補償模塊、一圖框特征提取模塊、以及一控制模塊。該移動估算模塊用來自該至少兩個輸入圖框來產(chǎn)生一包含區(qū)域移動向量及時間移動向量的候選者清單，并自該候選者清單產(chǎn)生一優(yōu)選移動向量。該移動補償模塊用以依據(jù)該優(yōu)選移動向量來產(chǎn)生該至少一輸出圖框。該控制模塊用以根據(jù)來自圖框特征提取模塊、或移動估算模塊的信息來決定該優(yōu)選移動向量的權(quán)重。
文檔編號H04N7/26GK102291578SQ20111016805
公開日2011年12月21日 申請日期2011年6月21日 優(yōu)先權(quán)日2010年6月21日
發(fā)明者包一鳴, 陳永欽, 龔云 申請人:瑞昱半導體股份有限公司