專利名稱：用于糾正運(yùn)動矢量的設(shè)備及其方法
用于糾正運(yùn)動矢量的設(shè)備及其方法 技術(shù)領(lǐng)域根據(jù)本發(fā)明的方法和設(shè)備涉及糾正(correct)運(yùn)動矢量，更具體地講，涉及 一種用于糾正運(yùn)動矢量的設(shè)備和方法，所述設(shè)備和方法通過使用利用多個矢 量模板之中具有最高可靠性的矢量模板推得的運(yùn)動矢量替換將被處理的塊的 運(yùn)動矢量來糾正不準(zhǔn)確的運(yùn)動矢量，從而能夠有效地減少內(nèi)插圖像的失真的 發(fā)生。
背景技術(shù)：
通常，幀速率轉(zhuǎn)換(FRC)用于通過利用運(yùn)動估計(jì)和運(yùn)動補(bǔ)償技術(shù)在原始幀 之間產(chǎn)生內(nèi)插幀來臨時提高圖像的分辨率，從而處理運(yùn)動模糊(motion blurring)。FRC對于運(yùn)動估計(jì)通常使用塊匹配算法(BMA)。 BMA通過以塊為單位 比較兩個連續(xù)幀來對于每個塊估計(jì)運(yùn)動矢量。在這種情況下，主要使用兩個 幀之間的絕對差之和(SAD),即，使用像素值的絕對差之和來估計(jì)運(yùn)動矢量。然而，在存在于幀中的前景(foreground)和背景具有不同運(yùn)動的遮蔽區(qū) (occlusion area)中，圖像信息僅存在于一個幀中，因此估計(jì)的運(yùn)動矢量變得不 準(zhǔn)確。此外，在重復(fù)圖案的圖像等中，兩個幀之間的SAD值無法彼此區(qū)分， 難以執(zhí)行準(zhǔn)確的運(yùn)動估計(jì)，由此降低了估計(jì)的運(yùn)動矢量的準(zhǔn)確性。因此，如果使用這樣的運(yùn)動矢量來產(chǎn)生內(nèi)插圖像，則由于不準(zhǔn)確的運(yùn)動 矢量而導(dǎo)致在內(nèi)插圖像中發(fā)生失真，這使得圖像的畫面質(zhì)量降低。發(fā)明內(nèi)容本發(fā)明的示例性實(shí)施例克服了上述缺點(diǎn)和其他未在前面描述的缺點(diǎn)。此 外，本發(fā)明不必克服上述缺點(diǎn)，并且本發(fā)明的示例性實(shí)施例可以不克服上述 的任何問題。本發(fā)明提供了 一種用于糾正運(yùn)動矢量的設(shè)備及其方法，所述設(shè)備和方法 通過使用利用多個矢量模板之中具有最高可靠性的矢量模板推得的運(yùn)動矢量
替換將被處理的塊的運(yùn)動矢量來糾正不準(zhǔn)確的運(yùn)動矢量，從而能夠有效地減 少內(nèi)插圖像的失真的發(fā)生。根據(jù)本發(fā)明的 一方面，提供了 一種根據(jù)本發(fā)明示例性實(shí)施例的用于糾正 運(yùn)動矢量的設(shè)備，該設(shè)備包括矢量模板映射單元，通過把將被處理的塊和 相鄰塊的運(yùn)動矢量映射到多個模板的塊來產(chǎn)生多個矢量模板，所述多個模板包括分成兩個類的多個塊；類可靠性判斷單元，判斷由矢量模板映射單元產(chǎn) 生的各個矢量模板的類劃分的可靠性；矢量模板選擇單元，選擇作為類可靠 性判斷單元判斷的結(jié)果具有最高可靠性的矢量模板；運(yùn)動矢量糾正單元，通 過使用由矢量模板選擇單元選擇的矢量模板的類的代表運(yùn)動矢量來糾正屬于 一個類的將被處理的塊的運(yùn)動矢量。所述兩個類可以是前景類和背景類，并且通過沿水平方向、垂直方向或 對角線方向分離所述多個模板可使所述兩個類彼此分開。所述類可靠性判斷單元可包括代表運(yùn)動矢量計(jì)算單元，計(jì)算各個類的 代表運(yùn)動矢量；矢量類分散計(jì)算單元，基于計(jì)算出的代表運(yùn)動矢量計(jì)算所述 兩個類內(nèi)部的分散程度和所述兩個類之間的分散程度。所述代表運(yùn)動矢量可對應(yīng)于通過計(jì)算各個類的運(yùn)動矢量的中值而獲得的值。所述可靠性可與每個類內(nèi)部的分散程度成反比并且與所述兩個類之間的 分散程度成正比。所述運(yùn)動矢量糾正單元可使用由矢量模板選擇單元選擇的矢量模板的所 述兩個類之中所述將被處理的塊所屬于的類的代表運(yùn)動矢量替換所述將被處 理的塊的運(yùn)動矢量。所述設(shè)備可還包括模板產(chǎn)生單元，用于產(chǎn)生所述多個模板。所述多個模板可被分成不同的類。根據(jù)本發(fā)明的另一方面，4是供了一種用于糾正運(yùn)動矢量的方法，該方法 包括通過把將被處理的塊和相鄰塊的運(yùn)動矢量映射到多個模板的塊來產(chǎn)生 多個矢量模板，所述多個模板包括分成兩個類的多個塊；判斷各個產(chǎn)生的矢 量模板的類劃分的可靠性；選擇作為可靠性判斷的結(jié)果具有最高可靠性的矢 量模板；通過使用選擇的矢量模板的類的代表運(yùn)動矢量來糾正屬于一個類的 將被處理的塊的運(yùn)動矢量。


通過參照附圖對本發(fā)明特定示例性實(shí)施例進(jìn)行的描述，本發(fā)明的以上和 其他方面和優(yōu)點(diǎn)將會變得更力口清楚，其中圖1是示意性地表示根據(jù)本發(fā)明示例性實(shí)施例的用于糾正運(yùn)動矢量的設(shè)備的整體結(jié)構(gòu)的方框圖；圖2是前景和背景彼此交迭的區(qū)域中所包括的運(yùn)動矢量的直方圖；圖3是表示根據(jù)本發(fā)明示例性實(shí)施例的用于矢量模板構(gòu)造的模板的示例性示圖；圖4A和圖4B是表示根據(jù)本發(fā)明示例性實(shí)施例的矢量模板和用于判斷矢 量模板的可靠性的相應(yīng)矢量分布的示圖；圖5是表示根據(jù)本發(fā)明示例性實(shí)施例的糾正運(yùn)動矢量的過程的流程圖。
具體實(shí)施方式
現(xiàn)在將參照附圖對本發(fā)明的示例性實(shí)施例進(jìn)行詳細(xì)的描述。在附圖中， 相同部件始終由相同標(biāo)號表示。在下面的描述中，為了簡明和清楚而省略了 對這里所包括的已知功能和結(jié)構(gòu)的詳細(xì)描述。備的整體結(jié)構(gòu)的方框圖。才艮據(jù)本發(fā)明示例性實(shí)施例的用于糾正運(yùn)動矢量的設(shè)備包括矢量模板映 射單元110、類可靠性判斷單元120、矢量模板選擇單元130和運(yùn)動矢量糾正 單元140。矢量模板映射單元110通過把將被處理的塊和相鄰塊的運(yùn)動矢量映射到 多個模板的塊來產(chǎn)生多個矢量模板。所述多個矢量模板通過使用所述多個模 板來產(chǎn)生，并且所述多個模板包括分成兩個不同類的多個塊。矢量才莫板用于更準(zhǔn)確地推得將被處理的塊的運(yùn)動矢量。圖2是前景和背 景彼此交迭的區(qū)域中所包括的運(yùn)動矢量的直方圖。虛線指示的區(qū)域是對運(yùn)動 的判斷比較模糊的區(qū)域，并且在該區(qū)域中，估計(jì)的運(yùn)動矢量的準(zhǔn)確度降低。 該區(qū)域指的是前景和背景的運(yùn)動彼此不同的遮蔽區(qū)或者運(yùn)動估計(jì)較難的重復(fù) 圖案等的圖像區(qū)域。為了在所述區(qū)域中更準(zhǔn)確地估計(jì)運(yùn)動矢量，分別判斷所述多個矢量模板 的可靠性，所述多個矢量模板是通過把根據(jù)輸入圖像的運(yùn)動估計(jì)估計(jì)出的運(yùn)
動矢量映射到所述多個模板來產(chǎn)生的，所述多個模板能夠根據(jù)前景和背景的 幾何位置來產(chǎn)生，判斷出的可靠性用于更加準(zhǔn)確地推得運(yùn)動矢量。圖3是表示多個模板的示例性示圖，所述多個模板能夠預(yù)先脫機(jī)(offline)產(chǎn)生以便它們能夠被獲取用于將被處理的每個塊從而產(chǎn)生多個矢量模板。所述模板是通過模板產(chǎn)生單元(未示出)來產(chǎn)生的。各模板可形成為3x3塊，并 且可沿垂直、水平或?qū)蔷€方向分成兩類。所述兩類是前景類(即類A)和背景 類(即類B)。根據(jù)劃分前景類和背景類的情況的數(shù)量，模板的數(shù)量可大于圖3 中示出的模板的數(shù)量。各模板的中心處以"*"標(biāo)記的塊是將被處理的塊，以 斜線指示的塊屬于類A,空白的塊屬于類B。各矢量模板是通過把以塊為單位根據(jù)輸入圖像的運(yùn)動估計(jì)估計(jì)出的運(yùn)動 矢量映射到各沖莫板的相應(yīng)塊來產(chǎn)生的。因此，屬于類A或類B的運(yùn)動矢量的 組合根據(jù)各矢量模板而不同。類可靠性判斷單元120判斷由矢量模板映射單元110產(chǎn)生的各矢量模板 的類劃分(class division)的可靠性。類可靠性判斷單元120可包括代表運(yùn)動 矢量(representative motion vector)計(jì)算單元121，用于計(jì)算各個類的代表運(yùn)動 矢量；和矢量類分散(vector-classdispersion)計(jì)算單元122，用于在計(jì)算出的代 表運(yùn)動矢量的基礎(chǔ)上計(jì)算每個類內(nèi)部的分散程度和類之間的分散程度。圖4A表示矢量模板的示例，運(yùn)動矢量被映射到該矢量模板上。在圖4A 中，以斜線指示的塊屬于類A,空白的塊屬于類B。 V4是將被處理的塊的運(yùn) 動矢量，Vo~V3和Vs V8是相鄰塊的運(yùn)動矢量。為了判斷如圖4A中所構(gòu)造 的矢量模板的可靠性，代表運(yùn)動矢量計(jì)算單元121通過^^式(1)計(jì)算各個類的 代表運(yùn)動矢量。如公式(l)中所示，通過獲得屬于各個類的運(yùn)動矢量的中值(median)來計(jì) 算代表運(yùn)動矢量。在這種情況下，將各個類的代表運(yùn)動矢量定義為中值而非運(yùn)動矢量的方向和大小變形。基于如上所述計(jì)算出的代表運(yùn)動矢量，矢量類分散計(jì)算單元122通過公 式(2)計(jì)算每個類內(nèi)部的分散程度Sw和類之間的分散程度Sb。!=o " ............(2)這里，每個類內(nèi)部的分散程度Sw被定義為類A內(nèi)部的分散程度SwA與類 B內(nèi)部的分散程度Swb之和，各個類內(nèi)部的分散程度被定義為由代表運(yùn)動矢 量計(jì)算單元121計(jì)算出的代表運(yùn)動矢量與包括在各個類中的運(yùn)動矢量之間的 距離之和。另外，由于類之間的分散程度Sb表示類A和類B的平均值之間的距離， 所以類之間的分散程度Sb基本與所述兩個類的代表運(yùn)動矢量之間的距離之差相同。這里，SbA表示從類A的代表運(yùn)動矢量VA到代表運(yùn)動矢量之間的平均 值Vm的距萬，SbB表示從類B的代表運(yùn)動矢量VB到代表運(yùn)動矢量之間的平均值Vm的距萬。圖4B是表示在圖4A的矢量模板的基礎(chǔ)上如上所述計(jì)算出的矢量分布的 示圖。如圖4B中所示，以斜線指示的一個橢圓對應(yīng)于類A,以虛線指示的另 一個橢圓對應(yīng)于類B。所述兩個類彼此稍微分開，可以看出Sb和Sw值影響 所述兩個類之間的獨(dú)立性。類可靠性判斷單元120在由矢量類分散計(jì)算單元122計(jì)算的分散程度Sb 和Sw的基礎(chǔ)上使用公式(3)判斷類劃分的可靠性。如公式(3)中所示，類劃分的可靠性與每個類內(nèi)部的分散程度Sw成反比 并且與類之間的分散程度Sb成正比。也就是說，當(dāng)Sw變大時，構(gòu)成每個類 的運(yùn)動矢量之間的一致性降低，當(dāng)Sb變小時，由于所述兩個類的代表運(yùn)動矢 量類似而導(dǎo)致對前景和背景的判斷變得模糊。因此，當(dāng)Sw變小并且Sb變大時，所述類之間的交迭部分減少，所述類 之間的獨(dú)立性增加，并且類劃分的可靠性增加。矢量模板選擇單元130選擇作為類可靠性判斷單元120判斷的結(jié)果具有 最高可靠性的矢量模板，以便糾正將被處理的塊的運(yùn)動矢量。運(yùn)動矢量糾正單元140使用由矢量模板選擇單元130選擇的矢量模板的 類的代表運(yùn)動矢量來糾正將被處理的塊的運(yùn)動矢量。也就是說，運(yùn)動矢量糾 正單元140通過使用由矢量模板選擇單元130選擇的矢量模板的各個類之中
所述將被處理的塊所屬于的類的代表運(yùn)動矢量替換所述將被處理的塊的運(yùn)動矢量。例如，如果如圖4A中所示的矢量模板被選擇作為具有最高可靠性的 矢量模板，則將被處理的塊V4屬于前景類A,因此使用前景類A的代表運(yùn)動 矢量VA來替換將一皮處理的塊V4的運(yùn)動矢量。圖5是表示才艮據(jù)本發(fā)明示例性實(shí)施例的糾正運(yùn)動矢量的過程的流程圖。 首先，通過把將被處理的塊和相鄰塊的運(yùn)動矢量映射到多個模板的各個 塊來產(chǎn)生多個矢量模板(S510)。這里，所述多個模板包括分成兩個不同類的 多個塊，所述多個矢量模板通過把將被處理的塊和相鄰塊的運(yùn)動矢量映射到 多個模板的各個塊來產(chǎn)生多個矢量模板。然后，判斷各矢量模板的類劃分的 可靠性(S520)，并選擇作為可靠性判斷的結(jié)果具有最高可靠性的矢量模板 (S530)。使用選擇的矢量模板的類的代表運(yùn)動矢量來糾正將被處理的塊的運(yùn) 動矢量(S540)。判斷類劃分(S520)的可靠性的步驟包括計(jì)算各個類的代表矢量，在計(jì) 算出的代表運(yùn)動矢量的基礎(chǔ)上計(jì)算類內(nèi)部的分散程度和類之間的分散程度。 可靠性與每個類內(nèi)部的分散程度成反比并且與類之間的分散程度成正比。如上所述，根據(jù)本發(fā)明示例性實(shí)施例的用于糾正運(yùn)動矢量的設(shè)備及其方 法，通過使用利用多個矢量模板之中具有最高可靠性的矢量模板推得的運(yùn)動 矢量替換將被處理的塊的運(yùn)動矢量來糾正不準(zhǔn)確的運(yùn)動矢量，從而能夠有效 地減少內(nèi)插圖像的失真的發(fā)生。上述實(shí)施例僅是示例性的，不應(yīng)被解釋為限定本發(fā)明。本發(fā)明的教導(dǎo)能 夠容易地應(yīng)用于其他類型的設(shè)備。此外，對本發(fā)明示例性實(shí)施例的描述是示 意性的，而非用于限定權(quán)利要求的范圍，很多的替換、修改和變化對于本領(lǐng) 域技術(shù)人員而言是清楚的。
權(quán)利要求
1、一種用于糾正運(yùn)動矢量的設(shè)備，該設(shè)備包括矢量模板映射單元，通過把將被處理的塊和相鄰塊的運(yùn)動矢量映射到多個模板的塊來產(chǎn)生多個矢量模板，所述多個模板包括分成兩個類的多個塊；類可靠性判斷單元，判斷由矢量模板映射單元產(chǎn)生的所述多個矢量模板的類劃分的可靠性；矢量模板選擇單元，選擇作為類可靠性判斷單元判斷的結(jié)果具有最高可靠性的矢量模板；運(yùn)動矢量糾正單元，通過使用由矢量模板選擇單元選擇的矢量模板的類的代表運(yùn)動矢量來糾正將被處理的塊的運(yùn)動矢量，所述將被處理的塊屬于所述兩個類之中的一個類。
2、 如權(quán)利要求l所述的設(shè)備，其中，所述兩個類是前景類和背景類。
3、 如權(quán)利要求2所述的設(shè)備，其中，通過沿水平方向、垂直方向或?qū)?線方向分離所述多個模板來使所述兩個類彼此分開。
4、 如權(quán)利要求1至3中任何一項(xiàng)所述的設(shè)備，其中，所述類可靠性判斷 單元包括代表運(yùn)動矢量計(jì)算單元，計(jì)算所述兩個類的代表運(yùn)動矢量； 矢量類分散計(jì)算單元，基于計(jì)算出的代表運(yùn)動矢量計(jì)算所述兩個類內(nèi)部 的分散程度和所述兩個類之間的分散程度。
5、 如權(quán)利要求4所述的設(shè)備，其中，所述代表運(yùn)動矢量對應(yīng)于通過計(jì)算 所述兩個類的運(yùn)動矢量的中值而獲得的值。
6、 如權(quán)利要求4所述的設(shè)備，其中，所述可靠性與所述兩個類內(nèi)部的分
7、 如權(quán)利要求6所述的設(shè)備，其中，所述運(yùn)動矢量糾正單元使用由矢量 模板選擇單元選擇的矢量模板的所述兩個類之中所述將被處理的塊所屬于的 類的代表運(yùn)動矢量替換所述將被處理的塊的運(yùn)動矢量。
8、 如權(quán)利要求l所述的設(shè)備，還包括模板產(chǎn)生單元，用于產(chǎn)生所述多 個模板。
9、 如權(quán)利要求l所述的設(shè)備，其中，所述多個模板被分成所述兩個類。
10、 一種用于糾正運(yùn)動矢量的方法，該方法包括 通過把將被處理的塊和相鄰塊的運(yùn)動矢量映射到多個模板的塊來產(chǎn)生多個矢量模板，所述多個才莫板包括分成兩個類的多個塊； 判斷各個產(chǎn)生的矢量模板的類劃分的可靠性； 選擇作為可靠性判斷的結(jié)果具有最高可靠性的矢量模板； 通過使用選擇的矢量模板的類的代表運(yùn)動矢量來糾正將被處理的塊的運(yùn)動矢量，所述將^^皮處理的塊屬于所述兩個類之中的一個類。
11、 如權(quán)利要求IO所述的方法，其中，所述兩個類是前景類和背景類。
12、 如權(quán)利要求11所述的方法，其中，通過沿水平方向、垂直方向或?qū)?角線方向分離所述多個模板來使所述兩個類彼此分開。
13、 如權(quán)利要求10至12中任何一項(xiàng)所述的方法，其中，判斷可靠性的 步驟包括計(jì)算所述兩個類的代表運(yùn)動矢量；基于計(jì)算出的代表運(yùn)動矢量計(jì)算所述兩個類內(nèi)部的分散程度和所述兩個 類之間的分散程度。
14、 如權(quán)利要求13所述的方法，其中，所述代表運(yùn)動矢量對應(yīng)于通過計(jì) 算所述兩個類的運(yùn)動矢量的中值而獲得的值。
15、 如權(quán)利要求13所述的方法，其中，所述可靠性與所述兩個類內(nèi)部的 分散程度成反比并且與所述兩個類之間的分散程度成正比。
16、 如權(quán)利要求15所述的方法，其中，所述糾正運(yùn)動矢量的步驟包括 使用選擇的矢量才莫板的所述兩個類之中所述將被處理的塊所屬于的類的代表 運(yùn)動矢量替換所述將被處理的塊的運(yùn)動矢量。
全文摘要
提供了一種用于糾正運(yùn)動矢量的設(shè)備和方法。該設(shè)備包括矢量模板映射單元，通過把將被處理的塊和相鄰塊的運(yùn)動矢量映射到多個模板的塊來產(chǎn)生多個矢量模板，所述多個模板包括分成兩個類的多個塊；類可靠性判斷單元，判斷由矢量模板映射單元產(chǎn)生的各個矢量模板的類劃分的可靠性；矢量模板選擇單元，選擇作為類可靠性判斷單元判斷的結(jié)果具有最高可靠性的矢量模板；運(yùn)動矢量糾正單元，通過使用由矢量模板選擇單元選擇的矢量模板的類的代表運(yùn)動矢量來糾正屬于一個類的將被處理的塊的運(yùn)動矢量。
文檔編號H04N7/64GK101159877SQ20071010489
公開日2008年4月9日 申請日期2007年5月24日 優(yōu)先權(quán)日2006年10月2日
發(fā)明者成和錫, 閔鐘述 申請人:三星電子株式會社