專利名稱：基于混合塊匹配的運動估計方法和用其轉(zhuǎn)換幀速率的裝置的制作方法
技術領域：
與本發(fā)明相符的裝置和方法涉及幀速率轉(zhuǎn)換，并且尤其涉及基于使用重疊塊的混合塊匹配的運動估計。
背景技術：
通常，個人計算機(PC)或高清晰度電視(HDTV)執(zhí)行幀速率轉(zhuǎn)換以與遵守各種廣播標準，諸如逐行倒相(PAL)或國家電視制式委員會(NTSC)的節(jié)目相兼容。幀速率轉(zhuǎn)換是改變每秒的幀數(shù)的行為。特別是，當幀速率增加時，必須內(nèi)插新的幀。隨著近來廣播技術的進步，在根據(jù)諸如運動圖像專家組(MPEG)和H.263的視頻壓縮標準來壓縮視頻數(shù)據(jù)之后執(zhí)行幀速率轉(zhuǎn)換。
在視頻處理領域中，由于視頻信號的高自相關性而使得其通常有冗余。數(shù)據(jù)壓縮效率可以通過在數(shù)據(jù)壓縮期間消除冗余來改善。這里，為了有效壓縮時變的視頻幀，必須消除時間軸方向上的冗余。換言之，通過用先前幀來代替示出無運動或示出微小運動的幀，就可以大大減少要被發(fā)送的數(shù)據(jù)量。運動估計(ME)是在先前幀中搜索塊的行為，所述塊是與當前幀中的塊最相似的塊。運動矢量(MV)指示塊已經(jīng)移動了多少。
現(xiàn)有的MV算法包括全搜索塊匹配算法(FSBMAFull-Search BlockMatching A1gorithm)和快速搜索算法(FSAFast Search Algorithm)。
FSBMA包括將連續(xù)輸入的視頻分割成預定大小的像素塊和確定與所分割的塊的每一個最為相似的塊在前一幀或后一幀中的位置來作為MV。換言之，在輸入幀中的塊和在與所述輸入幀中的塊最為相似的參考幀中的塊之間的相對距離被稱為MV。在基于塊的運動估計中，平均絕對差(MAD)、均方差(MSE)、或絕對差值的和(SAD)通常被用來確定相鄰塊之間的相似性。這里，由于MAD不需要乘法，所以它只需要少量的計算，并且可以以硬件來容易地實現(xiàn)。因此，使用MAD的FSBMA估計在與參考幀相鄰的幀中的塊之中具有與該參考幀中的塊的最小MAD的塊，并獲得在該參考幀中的塊和所估計的塊之間的運動矢量。
然而，盡管FSBMA是簡單且理想精確的MV算法，但是它需要大量的計算，并因此而不適于實時編碼。
同時，與FSBMA相比，F(xiàn)SA以精確度為代價大大減少了計算量，并適合于實時視頻編碼器(例如，視頻電話、IMT-2000終端、視頻會議系統(tǒng)等)，其中視頻質(zhì)量相對較不重要。FSA的示例包括分級搜索塊匹配算法(Hierarchical Search Block Matching Algorithm，HSBMA)、一像素貪婪搜索(One-Pixel Greedy Search，OPGS)、3步搜索(Three-Step Search，TSS)算法、菱形搜索算法(Diamond Search Algorithm)、4步搜索(Four-StepSearch，F(xiàn)SS)算法、和梯度搜索算法(Gradient Search Algorithm)。
這里，HSBMA具有高精確度且相對不太受運動量的影響，但是包括大量的計算和需要用于存儲低分辨率幀的存儲器。同時，對于長距離運動矢量和短距離運動矢量二者，HSBMA無差別地都需要大量的計算。
OPGS算法僅可以發(fā)現(xiàn)接近中心點(或起始點)的有效運動矢量，不能正確地收斂于局部最小點，在具有復雜運動的復雜圖像中不能獲得正確結(jié)果，和需要大量的計算以發(fā)現(xiàn)跨越長距離的運動矢量。

發(fā)明內(nèi)容
本發(fā)明提供了一種基于混合塊匹配進行運動估計的方法，其中在視頻壓縮系統(tǒng)中組合了修改后的全搜索算法和快速搜索算法，從而通過搜索全局最小點來執(zhí)行快速搜索并提高壓縮效率。
本發(fā)明還提供了一種使用基于混合塊匹配進行運動估計的方法來轉(zhuǎn)換幀速率的方法和裝置。
根據(jù)本發(fā)明的一個方面，提供了一種在視頻壓縮系統(tǒng)中基于混合塊匹配進行運動估計的方法。該方法包括將當前幀分割成塊并對從所分割的塊中采樣的塊執(zhí)行全搜索算法；基于通過執(zhí)行全搜索算法所獲得的運動矢量(fMV)，將通過線性內(nèi)插所獲得的運動矢量(iMV)分配給當前幀中未被采樣的塊；以及通過將通過線性內(nèi)插所獲得的運動矢量用作搜索起始點來執(zhí)行快速搜索算法。
根據(jù)本發(fā)明的另一個方面，提供了一種用于轉(zhuǎn)換幀速率的裝置，該裝置包括幀緩沖器、混合運動估計單元、和運動補償內(nèi)插單元。幀緩沖器逐幀存儲輸入視頻。混合運動估計單元對在存儲在幀緩沖器中的在當前幀中的塊之中的被采樣的塊執(zhí)行全搜索算法，基于通過全搜索所獲得的運動矢量，將通過線性內(nèi)插所獲得的運動矢量分配給當前幀中未被采樣的塊，和通過將通過線性內(nèi)插所獲得的運動矢量用作搜索起始點來執(zhí)行快速搜索算法。運動補償內(nèi)插單元基于由混合運動估計單元所估計的運動矢量，來產(chǎn)生要內(nèi)插到幀之間的像素值。


通過參照附圖詳細描述本發(fā)明的示范性實施例，本發(fā)明的上述和其它方面將變得更加清楚，其中圖1是說明了根據(jù)本發(fā)明的示范性實施例的、基于混合塊匹配進行運動估計的方法的流程圖；圖2說明了圖1的用于被采樣的塊的全搜索運動矢量估計；圖3說明了圖1的使用重疊塊的運動估計；圖4A說明了圖1的由被采樣的像素構成的運動估計(ME)塊；圖4B說明了運動補償內(nèi)插(MCI)塊；圖5說明了圖1的使用雙線性內(nèi)插分配給未被采樣的塊的運動矢量；圖6說明了圖1的使用雙線性內(nèi)插計算的運動矢量；圖7說明了圖1的定義了任意塊的搜索區(qū)域的相鄰塊；圖8是圖1的起始于分配給未被采樣的塊的運動矢量的快速搜索算法的概念圖；和圖9是根據(jù)本發(fā)明的示范性實施例的、用于轉(zhuǎn)換幀速率的裝置的框圖。
具體實施例方式
圖1是說明了根據(jù)本發(fā)明的示范性實施例的、基于混合塊匹配進行運動估計的方法的流程圖。
本發(fā)明利用了如下事實在兩個時間上相鄰的幀之間，當前幀中的塊的運動矢量及其相鄰塊的運動矢量具有相同或相似的特性。
在第一操作110中，當前正被逐幀輸入的視頻信號被分割成塊。然后，以預定間隔從所分割的塊中采樣特定塊。因此，整個塊被分割成經(jīng)過全搜索的被采樣的塊和未經(jīng)過全搜索的未被采樣的塊。
在操作120中，使用重疊塊對當前幀中的被采樣的塊執(zhí)行全搜索算法。參照圖2，計算當前幀中被采樣的塊和參考幀的搜索區(qū)域中的參考塊之間的MAD，并且將具有最小MAD的位置的坐標(x，y)確定為運動矢量。
例如，當給出第(n-1)幀F(xiàn)n-1和第n幀F(xiàn)n時，計算當前幀(Fn-1)中的塊和先前幀(Fn)的搜索區(qū)域中的參考塊之間的MAD，如等式1和2所示，并將具有最小MAD的塊和當前幀(Fn-1)中的塊之間的空間距離確定為運動矢量。首先，如下計算MADMAD(k,l)(χ,γ)=Σi=1N1Σj=1N2|fn-1(k+i+χ,l+j+y)-fn(k+i,l+j)|N1×N2]]>其中，n是指示時域中輸入幀的順序的變量，(i，j)是像素的空間坐標，(x，y)是兩個匹配的塊之間的距離，(k，1)是2個由N1×N2個像素構成的塊的空間坐標，而N1和N2是兩個匹配的塊的每一個的水平和垂直維數(shù)。
如下獲得在運動估計區(qū)域中具有最小MAD的塊的運動矢量(χm,γm)(k,l)=argmin(χ,γ)∈S{MAD(k,l)(χ,γ)}]]>其中，S是用于運動估計的搜索范圍，而(xm，ym)表示具有最小MAD的塊的運動矢量。
此時，全搜索算法通常使用符合標準的塊，象符合MPRG1/2的塊，但是也可以使用如圖3中所示的重疊塊。
換言之，幀中的像素被分割成N1×N2個像素的運動補償內(nèi)插(MCI)塊和M1×M2個像素的運動估計(ME)塊，該ME塊具有與MCI塊相同的中心軸且比MCI塊更大。例如，ME塊大小可以是32×32，而MCI塊大小可以是16×16。同時，M1×M2的ME塊與其相鄰的塊(其位于M1×M2的ME塊的左側(cè)、右側(cè)、上方和下方)水平間隔N1，而垂直間隔N2。因此，M1×M2的ME塊與其相鄰的塊重疊。以1∶2或更低來二次采樣ME塊中的像素。
圖4A說明了M1×M2的ME塊，其中以1∶2來二次采樣像素并且像素被分割成所選擇的像素和未被選擇的像素，而圖4B說明了N1×N2的MCI塊。因此，全搜索算法使用小于M1×M2的ME塊的重疊MCI塊，來對M1×M2的ME塊執(zhí)行運動估計。
因此，可以如下表示使用所采樣的ME塊的MAD
MAD(k,l)(χ,γ)=Σi=1[M1/a]Σj=1[M2/a]a2|fn-1(k+ai+x,l+aj+y)-fn(k+ai,l+a)|M1×M2]]>其中，α是用于采樣ME塊中的像素的采樣系數(shù)，[M/α]是不大于M/α的最大整數(shù)，M1×M2是ME塊的大小，而M1和M2被設置成大于等式1的N1和N2。
下面，在操作130中，使用如圖5中所示的通過全搜索所獲得的運動矢量fMV，將通過雙線性內(nèi)插所獲得的運動矢量iMV分配給當前幀中未被采樣的塊。使用事實在兩個時間上相鄰的幀之間，當前幀中的塊的運動矢量及其相鄰塊的運動矢量具有相同或相似的特性，可以如下表示圖6中的未被采樣的塊的雙線性內(nèi)插iMV＝(1-β)[(1-α)fMV1+αfMV2]+β[(1-α)fMV3+αfMV4].............(4)，其中，fMV1-4指示4個最近的塊的運動矢量，其是通過全搜索而獲得的，而α和β是在fMV和iMV之間的水平和垂直有理數(shù)常數(shù)。
在操作140中，通過將通過雙線性內(nèi)插而獲得的運動矢量iMV用作搜索起始點來執(zhí)行快速搜索算法。同時，可以使用精細搜索算法(fine searchalgorithm)來代替快速搜索算法，所述精細搜索算法通過在例如±2或±4范圍的小范圍內(nèi)執(zhí)行全搜索來估計運動矢量?？焖偎阉魉惴ǖ氖纠℉SBMA、OPGS、TSS算法、菱形算法、FSS算法、和梯度搜索算法。
此時，參照通過全搜索算法而獲得的、與對應塊最接近的相鄰塊的運動矢量或者對應塊的相鄰塊的運動矢量，來可變地確定快速搜索的搜索區(qū)域。換言之，如圖7中所示，其坐標是(i，j)的ME塊的搜索起始點iMM(i，j)是給定的初始值。基于該給定的初始值，通過下列方法之一，使用相鄰塊的運動矢量來確定搜索區(qū)域(SA)1)SA＝MAX{|fMV(α)-iMV(i，j)|，|fMV(b)-iMV(i，j)|，|fMV(c)-iMV(i，j)|，|fMV(d)-iMV(i，j)|}其中，fMV(a)至fMV(d)指示在早期階段中獲得的塊iMV(i，j)的相鄰塊的運動矢量。
2)SA＝MAX{|iMV1-iMV(i，j)|，|iMV2-iMV(i，j)|，|iMV3-iMV(i，j)|，|iMV4-iMV(i，j)|}，其中，iMV1至iMV4指示位于塊iMV(i，j)的左側(cè)、左上側(cè)、上方和右上側(cè)的塊的運動矢量。
如圖8中所示，執(zhí)行快速搜索算法以確定當前塊中的目標塊和參考幀中的塊匹配的位置。例如，使用當前幀中的塊的、通過雙線性內(nèi)插所獲得的運動矢量iMV來作為搜索起始點，來搜索參考幀中的搜索區(qū)域的局部最小點。然后，如果發(fā)現(xiàn)局部最小點，則停止搜索，并且將局部最小點的位置確定為當前幀中的該塊的運動矢量。
圖9是根據(jù)本發(fā)明的示范性實施例的、用于通過使用基于混合塊匹配進行運動估計的方法來轉(zhuǎn)換幀速率的裝置的框圖。
圖9的幀速率轉(zhuǎn)換器包括第一幀緩沖器910、幀延遲單元920、第二幀緩沖器930、混合運動估計單元940、和運動補償內(nèi)插(MCI)單元950?；旌线\動估計單元940包括塊采樣單元942、全搜索算法單元944、運動矢量分配單元946、和快速搜索算法單元948。
參照圖5，第一幀緩沖器910逐幀存儲輸入視頻信號。例如，第n幀的視頻信號被存儲在第一幀緩沖器910中。在幀延遲單元920中被延遲了一幀的視頻信號被存儲在第二幀緩沖器930中。例如，第(n-1)幀被存儲在第二幀緩沖器930中。
混合運動估計單元940使用第n幀和第(n-1)幀之間的混合搜索算法來提取所有可能的塊的運動矢量。換言之，塊采樣單元942采樣第n幀中的一些塊。全搜索算法單元944通過在第n幀的被采樣的塊和第(n-1)幀的塊之間執(zhí)行全搜索算法來估計運動矢量fMV。運動矢量分配單元946基于由全搜索算法單元944獲得的運動矢量fMV來執(zhí)行雙線性內(nèi)插，并將通過雙線性內(nèi)插所獲得的運動矢量iMV分配給未被采樣的塊。快速搜索算法單元948通過將分配給未被采樣的塊的運動矢量iMV用作為搜索起始點，來執(zhí)行快速搜索算法。
MCI單元950通過將由混合運動估計單元940估計的運動矢量fMV和iMV應用于存儲在第一幀緩沖器910和第二幀緩沖器930中的第n幀和第(n-1)幀的塊來執(zhí)行運動補償，并且基于所估計的運動矢量fMV和iMV和在第n幀和第(n-1)幀之間匹配的塊的像素值來產(chǎn)生要內(nèi)插到第n幀和第(n-1)幀之間的像素值。
如上所述，根據(jù)本發(fā)明，通過組合修改后的全搜索算法和快速搜索算法，可能通過搜索全局最小點來執(zhí)行快速搜索和改善壓縮效率。特別地，通過使用修改后的全搜索算法，減少了初始運動估計的量并且可以提高運動估計的實際性能。同樣，通過使用快速搜索算法中的修改后的搜索區(qū)域，可以提高搜索速度。
同時，本發(fā)明還可以被實現(xiàn)為計算機可讀記錄介質(zhì)上的計算機可讀代碼。計算機可讀記錄介質(zhì)是任何可以存儲其后能夠被計算機系統(tǒng)讀取的數(shù)據(jù)的數(shù)據(jù)存儲設備。計算機可讀記錄介質(zhì)的示例包括只讀存儲器(ROM)、隨機存取存儲器(RAM)、CD-ROM、磁帶、軟盤、光學數(shù)據(jù)存儲設備和載波。計算機可讀記錄介質(zhì)還可以經(jīng)由連接計算機系統(tǒng)的網(wǎng)絡而被分發(fā)，從而計算機可讀代碼以分散的方式被存儲和執(zhí)行。
雖然參照本發(fā)明的示例性實施例具體示出和描述了本發(fā)明，但是本領域技術人員應當理解在不背離由所附權利要求所限定的本發(fā)明的精神和范圍的情況下，可以在形式和細節(jié)上做出各種改變。
本申請要求于2004年9月18日提交給韓國知識產(chǎn)權局的、韓國專利申請第10-2004-0074823號的優(yōu)先權，這里引用其整個公開內(nèi)容作為參考。
權利要求
1.一種用于在視頻壓縮系統(tǒng)中基于混合塊匹配進行運動估計的方法，該方法包括將當前幀分割成多個塊并對所述多個塊的被采樣的塊執(zhí)行全搜索算法；基于通過執(zhí)行全搜索算法所獲得的運動矢量(fMV)，將通過線性內(nèi)插所獲得的運動矢量(iMV)分配給當前幀中多個塊的未被采樣的塊；以及通過將通過線性內(nèi)插所獲得的運動矢量用作搜索起始點來執(zhí)行快速搜索算法。
2.如權利要求1所述的方法，其中全搜索算法的執(zhí)行包括計算當前幀中被采樣的塊和參考幀的搜索區(qū)域中的參考塊之間的平均絕對差(MAD)，并確定具有最小MAD的位置的坐標(x，y)為運動矢量。
3.如權利要求1所述的方法，其中在全搜索算法的執(zhí)行中，當前幀中被采樣的塊具有M1×M2個像素的大小，并與具有N1×N2個像素的大小的運動補償內(nèi)插(MCI)塊重疊，M1×M2個像素的被采樣的塊中的像素被采樣，并且M1和M2大于N1和N2。
4.如權利要求1所述的方法，其中如下表示通過線性內(nèi)插所獲得的運動矢量iMV＝(1-β)[(1-α)fMV1+αfMV2]+β[(1-α)fMV3+ααfMV4]其中，fMV1-4指示通過全搜索所獲得的4個最近的塊的運動矢量，而α和β是通過線性內(nèi)插所獲得的運動矢量(iMV)和通過全搜索所獲得的運動矢量(fMV)之間的水平和垂直有理數(shù)常數(shù)。
5.如權利要求5所述的方法，其中參照與對應塊最接近的相鄰塊的運動矢量，來可變地確定快速搜索算法的搜索區(qū)域。
6.如權利要求5所述的方法，其中搜索區(qū)域(SA)由下式給出SA＝MAX{|fMV(a)-iMV(i，j)|，|fMV(b)-iMV(i，j)|，|fMV(c)-iMV(i，j)|，|fMV(d)-iMV(i，j)|}，其中，(i，j)是像素的空間坐標，iMV(i，j)是塊中通過線性內(nèi)插所獲得的運動矢量，而fMV(a)至fMV(d)是通過對塊的相鄰塊執(zhí)行全搜索算法所獲得的運動矢量。
7.如權利要求5所述的方法，其中搜索區(qū)域(SA)由下式給出SA＝MAX{|iMV1-iMV(i，j)|，|iMV2-iMV(i，j)|，|iMV3-iMV(i，j)|，|iMV4-iMV(i，j)|}，其中，(i，j)是像素的空間坐標，iMV1至iMV4是塊的相鄰塊的運動矢量。
8.如權利要求1所述的方法，其中快速搜索算法的執(zhí)行包括使用通過對當前幀中的塊進行線性內(nèi)插所獲得的運動矢量來作為搜索起始點，來搜索參考幀的搜索區(qū)域中的局部最小點；如果發(fā)現(xiàn)局部最小點，則停止搜索；以及將局部最小點確定為當前幀中的該塊的運動矢量。
9.一種用于轉(zhuǎn)換幀速率的方法，該方法包括將當前幀分割成多個塊并對所述多個塊的被采樣的塊執(zhí)行全搜索算法；基于通過執(zhí)行全搜索算法所獲得的運動矢量(iMV)，將通過線性內(nèi)插所獲得的運動矢量(fMV)分配給當前幀中多個塊的未被采樣的塊；通過將通過線性內(nèi)插所獲得的運動矢量(iMV)用作搜索起始點來執(zhí)行快速搜索算法；以及基于通過快速搜索算法所估計的運動矢量和在第n幀和第(n-1)幀之間匹配的塊的像素值，來生成要內(nèi)插到第n幀和第(n-1)幀之間的像素值。
10.一種用于轉(zhuǎn)換幀速率的裝置，該裝置包括幀緩沖器，用于逐幀存儲輸入視頻；混合運動估計單元，用于對在存儲在幀緩沖器中的當前幀中的多個塊的被采樣的塊執(zhí)行全搜索算法，基于通過全搜索算法所獲得的運動矢量，將通過線性內(nèi)插所獲得的運動矢量分配給當前幀中多個塊的未被采樣的塊，和通過將通過線性內(nèi)插所獲得的運動矢量用作搜索起始點來執(zhí)行快速搜索算法；以及運動補償內(nèi)插單元，用于基于由混合運動估計單元所估計的運動矢量，來產(chǎn)生要內(nèi)插到幀之間的像素值。
11.如權利要求10所述的裝置，其中所述混合運動估計單元包括塊采樣單元，用于采樣當前幀中一些塊；全搜索算法單元，用于通過在由塊采樣單元采樣的當前幀的被采樣的塊和先前幀中的塊之間執(zhí)行全搜索算法來估計運動矢量；運動矢量分配單元，用于基于由全搜索算法單元所獲得的運動矢量，將通過線性內(nèi)插所獲得的運動矢量分配給未被采樣的塊；以及快速搜索算法單元，用于通過將分配給未被采樣的塊的運動矢量用作為搜索起始點，來執(zhí)行快速搜索算法。
全文摘要
本發(fā)明提供了一種在視頻編碼器中基于使用重疊塊的混合塊匹配的運動估計方法，以及一種使用該方法來轉(zhuǎn)換幀速率的裝置。該方法包括將當前幀分割成塊并對從所分割的塊中采樣的塊執(zhí)行全搜索算法；基于通過全搜索所獲得的運動矢量(iMV)，將通過線性內(nèi)插所獲得的運動矢量(fMV)分配給當前幀中未被采樣的塊；以及通過將通過線性內(nèi)插所獲得的運動矢量用作搜索起始點來執(zhí)行快速搜索算法。
文檔編號H04N7/26GK1750657SQ20051009904
公開日2006年3月22日 申請日期2005年9月5日 優(yōu)先權日2004年9月18日
發(fā)明者河泰鉉, 金載石 申請人:三星電子株式會社