專利名稱：幀插補(bǔ)器、幀插補(bǔ)方法以及運(yùn)動(dòng)可靠性評(píng)價(jià)器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種幀插補(bǔ)器、幀插補(bǔ)方法以及運(yùn)動(dòng)可靠性評(píng)價(jià)器。更具體地講，本發(fā)明涉及一種使用運(yùn)動(dòng)向量估計(jì)和運(yùn)動(dòng)向量補(bǔ)償?shù)膸逖a(bǔ)器、幀插補(bǔ)方法以及運(yùn)動(dòng)可靠性評(píng)價(jià)器。
背景技術(shù)：
通常，幀率轉(zhuǎn)換指的是將輸入圖像信號(hào)的頻率轉(zhuǎn)換為適合于輸出標(biāo)準(zhǔn)的頻率。例如，為了將圖像信號(hào)50Hz的頻率轉(zhuǎn)換為100Hz的頻率，新的幀被插入到原有幀之間。這時(shí)，如果原有幀重復(fù)或者時(shí)間線性插補(bǔ)方法被使用，則發(fā)生運(yùn)動(dòng)模糊(運(yùn)動(dòng)淡出現(xiàn)象)。為此，通常使用運(yùn)動(dòng)估計(jì)和補(bǔ)償方法作為高清晰度幀率轉(zhuǎn)換方法，以有效地減少這種運(yùn)動(dòng)模糊。
為了使用這種運(yùn)動(dòng)估計(jì)和補(bǔ)償方法來插補(bǔ)幀，積極地開發(fā)了各種插補(bǔ)方法。作為這樣的插補(bǔ)方法中的一種，塊匹配方法被廣泛地使用。
在幀插補(bǔ)中，正確地估計(jì)運(yùn)動(dòng)向量非常重要。如果運(yùn)動(dòng)向量被不正確地估計(jì)，則在插補(bǔ)幀中發(fā)生塊效應(yīng)。如上所述，雖然已經(jīng)開發(fā)和提出了許多使用運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)膸逖a(bǔ)方法，但是有時(shí)由于信號(hào)的噪聲分布、小孔問題等，不正確的運(yùn)動(dòng)向量可能被估計(jì)。
此外，因?yàn)榕帕性诋?dāng)前幀和插補(bǔ)幀中的相同位置的塊由于時(shí)間差而具有不同的運(yùn)動(dòng)向量，所以可能產(chǎn)生塊效應(yīng)。如果在當(dāng)前幀中估計(jì)的運(yùn)動(dòng)向量被直接用作相應(yīng)的插補(bǔ)幀的運(yùn)動(dòng)向量，則將產(chǎn)生塊效應(yīng)。

發(fā)明內(nèi)容
因此，本發(fā)明示例性實(shí)施例的一方面在于提供一種能夠改善幀插補(bǔ)質(zhì)量并減少塊效應(yīng)的幀插補(bǔ)器、幀插補(bǔ)方法和運(yùn)動(dòng)可靠性評(píng)價(jià)器。
本發(fā)明示例性實(shí)施例的上述和/或其他示例性方面通過提供一種幀插補(bǔ)器來實(shí)現(xiàn)，所述幀插補(bǔ)器包括運(yùn)動(dòng)估計(jì)單元，將當(dāng)前幀劃分為多個(gè)參考?jí)K，每個(gè)參考?jí)K具有特定的大小。所述參考?jí)K與先前幀中設(shè)置的搜索區(qū)域進(jìn)行比較，并且初始運(yùn)動(dòng)向量被估計(jì)。提供可靠性評(píng)價(jià)單元用于對(duì)初始運(yùn)動(dòng)向量的可靠性進(jìn)行評(píng)價(jià)并產(chǎn)生關(guān)于評(píng)價(jià)結(jié)果的可靠性評(píng)價(jià)數(shù)據(jù)。幀插補(bǔ)單元以初始運(yùn)動(dòng)向量和可靠性評(píng)價(jià)數(shù)據(jù)為基礎(chǔ)，把將被插入的中間幀插補(bǔ)到當(dāng)前幀和先前幀之間。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，所述可靠性評(píng)價(jià)單元包括平滑塊檢測(cè)單元，確定參考?jí)K是否包含平滑塊；周期塊檢測(cè)單元，確定參考?jí)K是否包含周期塊；和可靠性產(chǎn)生單元，根據(jù)檢測(cè)結(jié)果產(chǎn)生可靠性評(píng)價(jià)數(shù)據(jù)。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，所述平滑塊檢測(cè)單元根據(jù)下面的等式來確定參考?jí)K是否包含平滑塊Se＜Thr2 and Sd＜Thr3{Pmn(i，j)|0≤i≤Mb-1，0≤j≤Nb-1}其中，Se=Σ0≤i≤Mb-20≤j≤Nb-2f(i,j)]]>f(i,j)=1if|Pmn(i,j)-Pmn(i,j+1)|>Thr1or|Pmn(i,j)-Pmn(i+1,j)|>Thr10else]]>并且Sd=Σ0≤i≤Mb-20≤j≤Nb-2|Pmn(i,j)-Pmn(i,j+1)|+|Pmn(i,j)-Pmn(i+1,j)|]]>其中，Thr1、Thr2和Thr3表示參考值。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，如果滿足下面四個(gè)不等式，則所述周期塊檢測(cè)單元確定參考?jí)K包含周期塊。
1)|SADC(p1，q1)-SADC(p0，q0)|＜Thr42)|p1-p0|+|q1-q0|＞Thr5SADC(p1，q1)＜SADC(p1-1，q1)，SADC(p1，q1)＜SADC(p1，q1-1)，3)SADC(p1，q1)＜SADC(p1+1，q1)，SADC(p1，q1)＜SADC(p1，q1+1)4)SADC(p1+p0)/2，(q1+q0)/2)＞Thr6*SADC(p0，q0)其中，Thr4、Thr5和Thr6表示參考值。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，所述幀插補(bǔ)單元根據(jù)對(duì)稱塊匹配方法來插補(bǔ)中間幀。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，所述幀插補(bǔ)單元包括運(yùn)動(dòng)選擇單元，以初始運(yùn)動(dòng)向量和可靠性評(píng)價(jià)數(shù)據(jù)為基礎(chǔ)來決定最終運(yùn)動(dòng)向量；和運(yùn)動(dòng)補(bǔ)償單元，根據(jù)決定的最終運(yùn)動(dòng)向量把將被插入的中間幀插補(bǔ)到當(dāng)前幀和先前幀之間。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，所述運(yùn)動(dòng)選擇單元包括候選產(chǎn)生單元，用于以初始運(yùn)動(dòng)向量和可靠性評(píng)價(jià)數(shù)據(jù)為基礎(chǔ)產(chǎn)生多個(gè)候選向量。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，所述候選產(chǎn)生單元包括第一候選產(chǎn)生單元，以初始運(yùn)動(dòng)向量和可靠性評(píng)價(jià)數(shù)據(jù)為基礎(chǔ)產(chǎn)生多個(gè)候選向量；和第二候選產(chǎn)生單元，以先前的插補(bǔ)幀的運(yùn)動(dòng)場(chǎng)和先前插補(bǔ)的相鄰塊的運(yùn)動(dòng)向量為基礎(chǔ)產(chǎn)生多個(gè)候選向量。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，所述第一候選產(chǎn)生單元包括區(qū)域選擇單元，在初始運(yùn)動(dòng)向量場(chǎng)中選擇分別與多個(gè)候選向量相應(yīng)的多個(gè)區(qū)域；中值濾波器，對(duì)所選的多個(gè)區(qū)域中的第一區(qū)域執(zhí)行中值濾波，并產(chǎn)生第一候選向量；第一SAD計(jì)算器，從所選的多個(gè)區(qū)域中的第二區(qū)域計(jì)算最小SAD值，并產(chǎn)生第二候選向量；第二SAD計(jì)算器，從所選的多個(gè)區(qū)域中的第三區(qū)域計(jì)算最小SAD值，并產(chǎn)生第三候選向量；和第三SAD計(jì)算器，從所選的多個(gè)區(qū)域中的第四區(qū)域計(jì)算最小SAD值，并產(chǎn)生第四候選向量。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，第一區(qū)域如下定義{BMVk(m+x，n+y)∈SP1|-2≤x≤2，-2≤y≤2}其中，BMVk表示初始運(yùn)動(dòng)向量場(chǎng)，k表示幀數(shù)量，SP1表示第一區(qū)域，坐標(biāo)值(m+x，n+y)表示塊的左上方像素的每個(gè)位置。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，第二區(qū)域如下定義{BMVk(m+x，n+y)∈SP′1| BMVk(m+x，n+y)∈SP1，Ck(m+x，n+y)＝0，-2≤x≤2，-2≤y≤2}其中，SP′1表示第二區(qū)域，Ck(m+x，n+y)＝0表示相應(yīng)的塊不處于平滑區(qū)域以及周期區(qū)域中，第二區(qū)域SP′1是第一區(qū)域SP1的一部分。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，第三區(qū)域如下定義{BMVk(m+x，n+y)∈SP2|-1≤x≤1，-1≤y≤1}其中，SP2表示第三區(qū)域。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，第四區(qū)域如下定義
{BMVk(m+x，n+y)∈SP′2|BMVk(m+x，n+y)∈SP2，Ck(m+x，n+y)＝0，-1≤x≤1，-1≤y≤1}其中，SP′2表示第四區(qū)域，Ck(m+x，n+y)＝0表示相應(yīng)的塊不處于平滑區(qū)域以及周期區(qū)域中，SP′2是第三區(qū)域SP2的一部分。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，所述第二候選產(chǎn)生單元選擇參考?jí)K左方相鄰塊的運(yùn)動(dòng)向量作為第五候選向量，選擇參考?jí)K上方相鄰塊的運(yùn)動(dòng)向量作為第六候選向量，選擇先前的插補(bǔ)幀中的參考?jí)K右下方相鄰塊的運(yùn)動(dòng)向量作為第七候選向量。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，所述運(yùn)動(dòng)選擇單元包括第一最終候選選擇單元，根據(jù)第一選擇標(biāo)準(zhǔn)將從第一候選產(chǎn)生單元產(chǎn)生的多個(gè)候選向量中的一個(gè)決定為第一最終候選向量；第二最終候選選擇單元，根據(jù)第二選擇標(biāo)準(zhǔn)將從第二候選產(chǎn)生單元產(chǎn)生的多個(gè)候選向量中的一個(gè)決定為第二最終候選向量；和最終向量決定單元，根據(jù)第三選擇標(biāo)準(zhǔn)選擇第一最終候選向量和第二最終候選向量中的一個(gè)作為最終運(yùn)動(dòng)向量。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，第一選擇標(biāo)準(zhǔn)如下定義if(SADC1＜Thr7)or(SADC1＜SADC3+Thr8)，V1＝CV1else if(KC4＜5)and((SADC2＜Thr7)or(SADC2＜SADC3+Thr8)，V1＝CV2else if(KC4＞5)and((SADC4＜Thr7)or(SADC4＜SADC3+Thr8)，V1＝CV4else V1＝CV3其中，SADC1表示根據(jù)第一候選向量的最小SAD值，SADC2表示根據(jù)第二候選向量的最小SAD值，SADC3表示根據(jù)第三候選向量的最小SAD值，SADC4表示根據(jù)第四候選向量的最小SAD值，KC4是運(yùn)動(dòng)向量的數(shù)量，Thr7和Thr8表示參考值，CV1、CV2、CV3和CV4分別表示第一候選向量、第二候選向量、第三候選向量和第四候選向量，V1表示第一最終候選向量。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，第二選擇標(biāo)準(zhǔn)取決于根據(jù)對(duì)稱塊匹配方法的最小SAD值。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，第三選擇標(biāo)準(zhǔn)如下定義if(|V1-CV5|＞Thr9)and(|V1-CV6|＞Thr9)and(|V1-CV7|＞Thr9)and((SADV2＜Thr7)or(SADV2＜SADV1+Thr8))，BMVk-0.5(m，n)＝V2else BMVk-0.5(m，n)＝V1
其中，SADC5表示根據(jù)第五候選向量的最小SAD值，SADC6表示根據(jù)第六候選向量的最小SAD值，SADC7表示根據(jù)第七候選向量的最小SAD值，Thr7、Thr8和Thr9表示參考值，CV5、CV6和CV7分別表示第五候選向量、第六候選向量和第七候選向量，V1表示第一最終候選向量，V2表示第二最終候選向量。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，所述幀插補(bǔ)單元通過下面的等式來插補(bǔ)中間幀if(SADV＜Thr10)，Bk-0.5(m，n)＝B′k(m，n)else Bk-0.5(m，n)＝(B′k(m，n)+B′k-1(m，n))/2其中，SADV表示根據(jù)最終候選向量的最小SAD值，Thr10表示參考值，Bk-0.5(m，n)表示將被插補(bǔ)的塊，B′k(m，n)表示當(dāng)前幀的匹配塊，B′k-1(m，n)表示先前幀的匹配塊。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，所述運(yùn)動(dòng)估計(jì)單元根據(jù)完全搜索塊匹配算法來估計(jì)初始運(yùn)動(dòng)向量。
本發(fā)明示例性實(shí)施例的上述和/或其他示例性方面通過提供一種幀插補(bǔ)方法來實(shí)現(xiàn)，所述幀插補(bǔ)方法包括將當(dāng)前幀劃分為多個(gè)參考?jí)K，比較參考?jí)K和先前幀中設(shè)置的預(yù)定搜索區(qū)域，并估計(jì)初始運(yùn)動(dòng)向量；對(duì)初始運(yùn)動(dòng)向量的可靠性進(jìn)行評(píng)價(jià)，并產(chǎn)生關(guān)于評(píng)價(jià)結(jié)果的可靠性評(píng)價(jià)數(shù)據(jù)；和以初始運(yùn)動(dòng)向量和可靠性評(píng)價(jià)數(shù)據(jù)為基礎(chǔ)，把將被插入的中間幀插補(bǔ)到當(dāng)前幀和先前幀之間。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，所述產(chǎn)生可靠性評(píng)價(jià)數(shù)據(jù)的步驟包括確定參考?jí)K是否是平滑塊；確定參考?jí)K是否是周期塊；和根據(jù)確定的結(jié)果產(chǎn)生可靠性評(píng)價(jià)數(shù)據(jù)。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，在所述插補(bǔ)中間幀的步驟中，根據(jù)對(duì)稱塊匹配方法插補(bǔ)中間幀。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，所述插補(bǔ)中間幀的步驟包括以可靠性評(píng)價(jià)數(shù)據(jù)為基礎(chǔ)決定最終運(yùn)動(dòng)向量；和根據(jù)最終運(yùn)動(dòng)向量把將被插入的中間幀插補(bǔ)到當(dāng)前幀和先前幀之間。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，所述決定最終運(yùn)動(dòng)向量的步驟包括以初始運(yùn)動(dòng)向量和可靠性評(píng)價(jià)數(shù)據(jù)為基礎(chǔ)產(chǎn)生多個(gè)候選向量；和根據(jù)標(biāo)準(zhǔn)將所述多個(gè)候選向量中的一個(gè)決定為最終運(yùn)動(dòng)向量。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，所述產(chǎn)生多個(gè)候選向量的步驟包括以初始運(yùn)動(dòng)向量和可靠性評(píng)價(jià)數(shù)據(jù)為基礎(chǔ)產(chǎn)生多個(gè)第一候選向量；和以先前的插補(bǔ)幀的運(yùn)動(dòng)場(chǎng)和先前插補(bǔ)的相鄰塊的運(yùn)動(dòng)向量為基礎(chǔ)產(chǎn)生多個(gè)第二候選向量。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，所述產(chǎn)生多個(gè)第一候選向量的步驟包括在初始運(yùn)動(dòng)向量場(chǎng)中選擇分別與多個(gè)候選向量相應(yīng)的多個(gè)區(qū)域；對(duì)所選的多個(gè)區(qū)域中的第一區(qū)域執(zhí)行中值濾波，并產(chǎn)生第一候選向量；從所選的多個(gè)區(qū)域中的第二區(qū)域計(jì)算最小SAD值，并產(chǎn)生第二候選向量；從所選的多個(gè)區(qū)域中的第三區(qū)域計(jì)算最小SAD值，并產(chǎn)生第三候選向量；和從所選的多個(gè)區(qū)域中的第四區(qū)域計(jì)算最小SAD值，并產(chǎn)生第四候選向量。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，所述產(chǎn)生多個(gè)第二候選向量的步驟包括選擇參考?jí)K左方相鄰塊的運(yùn)動(dòng)向量作為第五候選向量；選擇參考?jí)K上方相鄰塊的運(yùn)動(dòng)向量作為第六候選向量；和選擇先前的插補(bǔ)幀中的參考?jí)K右下方相鄰塊的運(yùn)動(dòng)向量作為第七候選向量。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，所述決定最終運(yùn)動(dòng)向量的步驟包括根據(jù)第一選擇標(biāo)準(zhǔn)選擇從第一候選產(chǎn)生單元產(chǎn)生的多個(gè)候選向量中的一個(gè)作為第一最終候選向量；根據(jù)第二選擇標(biāo)準(zhǔn)選擇從第二候選產(chǎn)生單元產(chǎn)生的多個(gè)候選向量中的一個(gè)作為第二最終候選向量；和根據(jù)第三選擇標(biāo)準(zhǔn)將第一最終候選向量和第二最終候選向量中的一個(gè)決定為最終運(yùn)動(dòng)向量。
本發(fā)明示例性實(shí)施例的上述和/或其他示例性方面通過提供一種運(yùn)動(dòng)可靠性評(píng)價(jià)器來實(shí)現(xiàn)，所述運(yùn)動(dòng)可靠性評(píng)價(jià)器包括運(yùn)動(dòng)估計(jì)單元，將當(dāng)前幀劃分為多個(gè)參考?jí)K，比較參考?jí)K和先前幀中設(shè)置的搜索區(qū)域，并估計(jì)初始運(yùn)動(dòng)向量；周期塊檢測(cè)單元，確定參考?jí)K是否包含周期塊；和可靠性產(chǎn)生單元，根據(jù)確定的結(jié)果產(chǎn)生可靠性評(píng)價(jià)數(shù)據(jù)。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，如果滿足下面四個(gè)不等式，則所述周期塊檢測(cè)單元確定參考?jí)K是周期塊1)|SADC(p1，q1)-SADC(p0，q0)|＜Thr42)|p1-p0|+|q1-q0|＞Thr5SADC(p1，q1)＜SADC(p1-1，q1)，SADC(p1，q1)＜SADC(p1，q1-1)，3)SADC(p1，q1)＜SADC(p1+1，q1)，SADC(p1，q1)＜SADC(p1，q1+1)4)SADC(p1+p0)/2，(q1+q0)/2)＞Thr6*SADC(p0，q0)
其中，Thr4、Thr5和Thr6表示參考值。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，所述運(yùn)動(dòng)可靠性評(píng)價(jià)器還包括平滑塊檢測(cè)單元，確定參考?jí)K是否包含平滑塊。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，所述平滑塊檢測(cè)單元根據(jù)下面的等式來確定參考?jí)K是否包含平滑塊Se＜Thr2 and Sd<Thr3{Pmn(i，j)|0≤i≤Mb-1，0≤j≤Nb-1}其中，Se=Σ0≤i≤Mb-20≤j≤Nb-2f(i,j)]]>f(i,j)=1if|Pmn(i,j)-pmn(i,j+1)|>Thr1or|Pmn(i,j)-Pmn(i+1,j)|>Thr10else]]>并且Se=Σ0≤i≤Mb-20≤j≤Nb-2|Pmn(i,j)-Pmn(i,j+1)|+|Pmn(i,j)-Pmn(i+1,j)|]]>其中，Thr1、Thr2和Thr3表示參考值。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，每一參考?jí)K包含特定大小。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，每一參考?jí)K包含特定大小。
根據(jù)本發(fā)明示例性實(shí)施例的一方面，每一參考?jí)K包含特定大小。


通過下面結(jié)合附圖對(duì)示例性實(shí)施例進(jìn)行的描述，本發(fā)明示例性實(shí)施例的以上和/或其他方面和優(yōu)點(diǎn)將會(huì)變得清楚和更易于理解，其中圖1是根據(jù)本發(fā)明示例性實(shí)施例的幀插補(bǔ)器的控制框圖；圖2A和圖2B是解釋根據(jù)本發(fā)明示例性實(shí)施例的幀插補(bǔ)器執(zhí)行的運(yùn)動(dòng)插補(bǔ)方法的示圖圖3是根據(jù)本發(fā)明示例性實(shí)施例的圖1所示的運(yùn)動(dòng)選擇單元的控制框圖；圖4是根據(jù)本發(fā)明示例性實(shí)施例的圖3所示的第一候選產(chǎn)生單元的控制框圖；和圖5是解釋根據(jù)本發(fā)明示例性實(shí)施例的圖3所示的第二候選產(chǎn)生單元選擇的候選向量的位置關(guān)系的示圖。
具體實(shí)施例方式
現(xiàn)在對(duì)本發(fā)明的示例性實(shí)施例進(jìn)行詳細(xì)的描述，本發(fā)明實(shí)施的示例表示在附圖中。以下參照附圖描述這些示例性實(shí)施例，以便于理解本發(fā)明的特定示例性方面。
圖1是根據(jù)本發(fā)明示例性實(shí)施例的幀插補(bǔ)器的控制框圖。
參照?qǐng)D1，所述幀插補(bǔ)器包括運(yùn)動(dòng)估計(jì)單元10、可靠性評(píng)價(jià)單元20和幀插補(bǔ)單元30。
為了獲得當(dāng)前幀F(xiàn)k初始的運(yùn)動(dòng)場(chǎng)BMVk，運(yùn)動(dòng)估計(jì)單元10將當(dāng)前幀F(xiàn)k劃分為多個(gè)塊，每個(gè)塊由具有特定大小的Bk(m，n)索引，并且運(yùn)動(dòng)估計(jì)單元10將其運(yùn)動(dòng)將在當(dāng)前幀F(xiàn)k中被估計(jì)的塊(以下稱為“參照塊”)與先前幀F(xiàn)k-1的搜索區(qū)域進(jìn)行比較，從而估計(jì)初始的運(yùn)動(dòng)向量BMVk(m，n)。在示例性實(shí)現(xiàn)中，運(yùn)動(dòng)估計(jì)單元10使用完全搜索塊匹配(FSBM)算法來計(jì)算多個(gè)運(yùn)動(dòng)預(yù)測(cè)誤差值。此外，運(yùn)動(dòng)估計(jì)單元10從具有最小運(yùn)動(dòng)預(yù)測(cè)誤差值的位置估計(jì)各塊的運(yùn)動(dòng)向量?？赏ㄟ^多種方法來計(jì)算運(yùn)動(dòng)預(yù)測(cè)誤差值，如絕對(duì)差值和(SAD)方法或平均絕對(duì)差值(MAD)方法。
在示例性實(shí)現(xiàn)中，“k”是幀的序號(hào)，并且可不同地設(shè)置塊大小，如16×8，8×8等。在示例性實(shí)施例中，塊大小設(shè)置為Mb*Nb。
運(yùn)動(dòng)估計(jì)單元10根據(jù)FSBM算法，在如下等式1定義的SAD方法的基礎(chǔ)上，在如下定義的搜索區(qū)域中關(guān)于當(dāng)前幀F(xiàn)k的每個(gè)塊Bk(m，n)從先前幀中搜索匹配的塊B′mn。
{(p，q)∈Rmn|0≤p≤Ms-1，0≤q≤Ns-1}SAD(d1,d2)=Σ(i,j)∈Bk(m,n)|Fk(m×Mb+i,n×Nb+j)-Fk-1(m×Mb+i+d1,n×Nb+j+d2)|---(1)]]>其中，(d1，d2)表示當(dāng)前幀F(xiàn)k的塊Bk(m，n)和先前幀F(xiàn)k-1的參考?jí)KB′mn之間的位移。也就是說，兩個(gè)匹配的塊Bk(m，n)和B′mn之間的位移被設(shè)置為塊Bk(m，n)的初始運(yùn)動(dòng)向量BMVk(m，n)。如下等式2定義了初始運(yùn)動(dòng)向量BMVk(m，n)。
BMVk(m,n)=(dmnh,dmnv)=argmin(d1,d2∈Rmn)SAD(d1,d2)---(2)]]>如果運(yùn)動(dòng)估計(jì)單元10估計(jì)到初始運(yùn)動(dòng)向量BMVk(m，n)，則可靠性評(píng)價(jià)單元20對(duì)估計(jì)的初始運(yùn)動(dòng)向量BMVk(m，n)的可靠性進(jìn)行評(píng)價(jià)，如圖1所示。如上所述的FSBM算法從先前幀F(xiàn)k-1中搜索所有可能的候選位置，以檢測(cè)與當(dāng)前幀F(xiàn)k的每個(gè)塊最優(yōu)匹配的參考?jí)K。然而，由于原始信號(hào)的噪聲分布和小孔問題，因此可估計(jì)到某些錯(cuò)誤的運(yùn)動(dòng)向量。為此，通過可靠性評(píng)價(jià)單元20對(duì)估計(jì)的初始運(yùn)動(dòng)向量BMVk(m，n)的可靠性進(jìn)行評(píng)價(jià)。
根據(jù)本發(fā)明示例性實(shí)施例的可靠性評(píng)價(jià)單元20包括周期塊檢測(cè)單元21、平滑塊檢測(cè)單元23和可靠性產(chǎn)生單元25。
在平滑區(qū)域和具有周期結(jié)構(gòu)的區(qū)域中產(chǎn)生大多數(shù)的誤差向量。因此，在示例性實(shí)施例中，提供有用于檢測(cè)具有周期結(jié)構(gòu)的周期區(qū)域的周期塊檢測(cè)單元21和由于檢測(cè)平滑區(qū)域的平滑塊檢測(cè)單元23。
此外，根據(jù)檢測(cè)結(jié)果，可靠性產(chǎn)生單元25產(chǎn)生可靠性矩陣Ck并將其輸出。在示例性實(shí)現(xiàn)中，表示每個(gè)塊的運(yùn)動(dòng)向量的可靠性的可靠性矩陣Ck(m，n)初始設(shè)置為0。如果確定參考?jí)KBk(m，n)是平滑塊，則其可靠性矩陣Ck(m，n)設(shè)置為1。如果確定參考?jí)KBk(m，n)是具有周期結(jié)構(gòu)的塊，則其可靠性矩陣Ck(m，n)設(shè)置為2。
在下文中，將描述根據(jù)本發(fā)明示例性實(shí)施例的由平滑塊檢測(cè)單元23執(zhí)行的示例性平滑塊檢測(cè)方法。
通過兩個(gè)參數(shù)Se。和Sd來確定參考?jí)K是否是平滑塊。參數(shù)Se是邊緣像素的數(shù)量，所述邊緣像素表示當(dāng)前像素的灰度級(jí)和其相鄰像素中的一個(gè)像素的灰度級(jí)之差大于參考值。此外，參數(shù)Sd是相同塊中每個(gè)像素的灰度級(jí)和該像素的左方和下方相鄰像素的灰度級(jí)之差的和。在當(dāng)前塊Bk(m，n)中，如下的等式3定義了像素。
{Pmn(i，j)|0≤i≤Mb-1，0≤j≤Nb-1}(3)通過下面的等式4來計(jì)算參數(shù)Se和Sd。
Se=Σ0≤i≤Mb-20≤j≤Nb-2f(i,j)]]>f(i,j)={1if|Pmn(i,j)-Pmn(i,j+1)|>Thr1or|Pmn(i,j)-Pmn(i+1,j)|>Thr10else]]>Sd=Σ0≤i≤Mb-20≤j≤Nb-2|Pmn(i,j)-Pmn(i,j+1)|+|Pmn(i,j)-Pmn(i+1,j)|---(4)]]>其中，Thr1表示參考值。如果參數(shù)Se小于另一參考值Thr2并且參數(shù)Sd小于另一參考值Thr3，則確定當(dāng)前塊Bk(m，n)是平滑塊并且可靠性矩陣Ck(m，n)被設(shè)置為1。
在下文中，將描述根據(jù)本發(fā)明示例性實(shí)施例的由周期塊檢測(cè)單元21執(zhí)行的周期塊檢測(cè)方法。
基于每個(gè)塊的SAD矩陣來檢測(cè)具有周期結(jié)構(gòu)的塊。運(yùn)動(dòng)估計(jì)單元10根據(jù)FSBM算法在先前幀F(xiàn)k-1的預(yù)定搜索范圍中搜索所有可能的候選位置，以檢測(cè)與當(dāng)前幀F(xiàn)k的每個(gè)塊Bk(m，n)匹配的參考?jí)K。也就是說，運(yùn)動(dòng)估計(jì)單元10關(guān)于每個(gè)塊Bk(m，n)配置SAD值被記錄在所有可能的候選位置的SAD矩陣，并將所述SAD矩陣提供給周期塊檢測(cè)單元21。
如下的等式5定義了當(dāng)前塊Bk(m，n)的SAD矩陣SADC。
{SADC(p，q)|0≤p≤Ms-1，0≤q≤Ns-1}(5)SAD矩陣SADC的最小值由SADC(p0，q0)表示。具有周期結(jié)構(gòu)的塊可得到與最小SAD矩陣值SADC(p0，q0)非常相似的最小SAD值。如果檢測(cè)到這樣的最小SAD值，則確定當(dāng)前塊Bk(m，n)是具有周期結(jié)構(gòu)的塊。
也就是說，周期塊檢測(cè)單元21檢查SAD矩陣SADc的所有值，以確定是否從周期結(jié)構(gòu)獲得局部最小SAD值。如果表示為SADC(p1，q1)的SAD矩陣SADC中的值滿足下面的四個(gè)等式，則確定相應(yīng)的塊是周期塊。因此，可靠性矩陣Ck(m，n)被設(shè)置為2。
1)|SADC(p1，q1)-SADC(p0，q0)|＜Thr42)|p1-p0|+|q1-q0|＞Thr5SADC(p1，q1)＜SADC(p1-1，q1)，SADC(p1，q1)＜SADC(p1，q1-1)，3)SADC(p1，q1)＜SADC(p1+1，q1)，SADC(p1，q1)＜SADC(p1，q1+1)4)SADC(p1+p0)/2，(q1+q0)/2)＞Thr6*SADC(p0，q0)(6)其中，Thr4、Thr5和Thr6表示參考值。
可靠性評(píng)價(jià)數(shù)據(jù)在下面的幀插補(bǔ)中用于判定最終運(yùn)動(dòng)向量。
如上所述，通過運(yùn)動(dòng)估計(jì)單元10估計(jì)當(dāng)前幀的每個(gè)塊的初始運(yùn)動(dòng)向量，通過可靠性評(píng)價(jià)單元20對(duì)所述運(yùn)動(dòng)向量的可靠性進(jìn)行評(píng)價(jià)。幀插補(bǔ)單元30以初始運(yùn)動(dòng)向量和可靠性評(píng)價(jià)數(shù)據(jù)為基礎(chǔ)，把將被插入的中間幀插補(bǔ)到當(dāng)前幀和先前幀之間。
在下文中，將參照?qǐng)D2A和圖2B來描述幀插補(bǔ)單元30。如圖2A所示，幀插補(bǔ)單元30以初始運(yùn)動(dòng)場(chǎng)BMVk為基礎(chǔ)，使用當(dāng)前幀F(xiàn)k和先前幀F(xiàn)k-1作為參考幀來插補(bǔ)新的中間幀F(xiàn)k-0.5。
這時(shí)，幀插補(bǔ)單元30應(yīng)用對(duì)稱插補(bǔ)模式來執(zhí)行插補(bǔ)。在示例性實(shí)現(xiàn)中，運(yùn)動(dòng)估計(jì)單元10使用逆匹配方法(inverse matching method)作為運(yùn)動(dòng)估計(jì)方法。此外，使用對(duì)稱匹配方法作為插補(bǔ)方法。對(duì)稱插補(bǔ)模式將中間幀F(xiàn)k-0.5劃分為不重疊的多個(gè)矩形塊Bk-0.5(m，n)，并通過使用當(dāng)前幀F(xiàn)k和先前幀F(xiàn)k-1作為參考幀來估計(jì)每個(gè)塊Bk-0.5(m，n)的運(yùn)動(dòng)向量BMVk-0.5(m，n)。
如圖2A所示，通過先前幀F(xiàn)k-1和當(dāng)前幀F(xiàn)k的兩個(gè)參考?jí)KB′k-1(m，n)和B′k(m，n)來插補(bǔ)塊Bk-0.5(m，n)的像素值。在圖2A中，B1表示將被插補(bǔ)的塊Bk-0.5(m，n)，Bc表示當(dāng)前幀F(xiàn)k的參考?jí)KB′k(m，n)，Bp表示先前幀F(xiàn)k-1的參考?jí)KB ′k-1(m，n)。
參考?jí)KB′k-1(m，n)和B′k(m，n)的位置根據(jù)塊Bk-0.5(m，n)的位置、運(yùn)動(dòng)向量BMVk-0.5(m，n)、先前幀F(xiàn)k-1和插補(bǔ)幀F(xiàn)k-0.5之間的時(shí)間差d1以及插補(bǔ)幀F(xiàn)k-0.5和當(dāng)前幀F(xiàn)k之間的時(shí)間差d2被線性地確定。
圖2B是解釋塊Bk-0.5(m，n)的位置與參考?jí)KB′k-1(m，n)和B′k(m，n)的位置之間的關(guān)系的示圖。各塊的位置可通過下面的等式7來計(jì)算。
POSc=POSI-d2d1+d2BMVk-0.5(m,n)]]>POSp=POSI+d1d1+d2BMVk-0.5(m,n)---(7)]]>其中，POSI表示塊BI的位置，POSc表示塊Bc的位置，POSp表示塊Bp的位置。參考?jí)KB′k-1(m，n)和B′k(m，n)之間的SAD值也被稱作塊Bk-0.5(m，n)的對(duì)稱匹配SAD。
在對(duì)稱插補(bǔ)模式下，如圖2A所示，塊Bk-0.5(m，n)位于劃分的矩形塊，然而，參考?jí)KB′k-1(m，n)和B′k(m，n)可不位于劃分的矩形塊。因此，中間幀F(xiàn)k-0.5中的所有像素可從上至下地被插補(bǔ)。在對(duì)稱插補(bǔ)模式下，運(yùn)動(dòng)向量BMVk-0.5(m，n)應(yīng)該被確定。然而，由于當(dāng)前幀F(xiàn)k和先前幀F(xiàn)k-1之間的時(shí)間間隔，因此運(yùn)動(dòng)向量BMVk-0.5(m，n)可與運(yùn)動(dòng)向量BMVk(m，n)不同。如果運(yùn)動(dòng)向量BMVk(m，n)直接用作運(yùn)動(dòng)向量BMVk-0.5(m，n)，則將出現(xiàn)塊效應(yīng)。
在下文中，將詳細(xì)描述根據(jù)本發(fā)明實(shí)施例的幀插補(bǔ)單元30。
如圖1所示，幀插補(bǔ)單元30包括運(yùn)動(dòng)選擇單元40，用于以初始運(yùn)動(dòng)向量和可靠性評(píng)價(jià)數(shù)據(jù)為基礎(chǔ)來決定最終運(yùn)動(dòng)向量；和運(yùn)動(dòng)補(bǔ)償單元50，用于根據(jù)決定的最終運(yùn)動(dòng)向量對(duì)運(yùn)動(dòng)進(jìn)行補(bǔ)償。
在示例性實(shí)施例中，運(yùn)動(dòng)選擇單元40以運(yùn)動(dòng)向量BMVk和可靠性矩陣Ck為基礎(chǔ)來產(chǎn)生7個(gè)候選向量，然后從所述7個(gè)候選向量中選擇用于運(yùn)動(dòng)向量BMVk-1(m，n)的最優(yōu)候選向量。以下將參照?qǐng)D3、圖4和圖5來詳細(xì)描述這一過程。
參照?qǐng)D3，運(yùn)動(dòng)選擇單元40包括候選產(chǎn)生單元41，其用于產(chǎn)生多個(gè)候選向量。候選產(chǎn)生單元41包括第一候選產(chǎn)生單元41a和第二候選產(chǎn)生單元41b。
第一候選產(chǎn)生單元41a從初始運(yùn)動(dòng)場(chǎng)BMVk產(chǎn)生4個(gè)候選向量。所述4個(gè)候選向量從初始運(yùn)動(dòng)場(chǎng)BMVk的不同部分被分別選擇。第二候選產(chǎn)生單元41b從先前幀F(xiàn)k-1的插補(bǔ)塊的運(yùn)動(dòng)向量和表示為BMVk-1.5(m，n)的先前的插補(bǔ)幀F(xiàn)k-1.5的運(yùn)動(dòng)場(chǎng)產(chǎn)生3個(gè)候選向量。
在下文中，將詳細(xì)描述第一候選產(chǎn)生單元41a和第二候選產(chǎn)生單元41b產(chǎn)生7個(gè)候選向量的方法。
如圖4所示的第一候選產(chǎn)生單元41a包括區(qū)域選擇單元60、中值濾波器61、第一SAD計(jì)算器62、第二SAD計(jì)算器63和第三SAD計(jì)算器64。
在示例性實(shí)現(xiàn)中，區(qū)域選擇單元60選擇用于從初始運(yùn)動(dòng)場(chǎng)BMVk的多個(gè)部分計(jì)算各候選向量的區(qū)域。
第一候選向量CV1是在由區(qū)域選擇單元60選擇的定義為以下范圍的第一區(qū)域SP1中，通過在中值濾波器61中對(duì)初始運(yùn)動(dòng)向量執(zhí)行中值濾波而獲得的，其中，所述范圍是初始運(yùn)動(dòng)場(chǎng)BMVk的一部分。
{BMVk(m+x，n+y)∈SP1|-2≤x≤2，-2≤y≤2}(8)其中，所有的運(yùn)動(dòng)向量具有兩個(gè)分量，垂直位移分量和水平位移分量。因此，用于對(duì)運(yùn)動(dòng)向量進(jìn)行濾波的中值濾波器61必須是2-分量向量濾波器。在示例性實(shí)施例中，2-分量向量濾波器可代替兩個(gè)1-分量中值濾波器，即，與垂直位移分量相應(yīng)的第一1-分量中值濾波器和與水平位移分量相應(yīng)的第二1-分量中值濾波器。
根據(jù)第一候選向量CV1，從先前幀F(xiàn)k-1和當(dāng)前幀F(xiàn)k搜索用于塊Bk-0.5(m，n)的兩個(gè)參考?jí)KB′k-1(m，n)和B′k(m，n)。參考?jí)KB′k-1(m，n)和B′k(m，n)的位置根據(jù)上述參照?qǐng)D2B的方法來確定。然后，參考?jí)KB′k-1(m，n)和B′k(m，n)之間的對(duì)稱匹配SAD被計(jì)算并表示為SADC1。
第二候選向量CV2從由作為區(qū)域選擇單元60選擇的第一區(qū)域SP1的一部分的第二區(qū)域SP′1被選擇。在示例性實(shí)現(xiàn)中，第二區(qū)域SP′1如下定義。
{BMVk(m+x，n+y)∈SP′1|BMVk(m+x，n+y)∈ SP1，Ck(m+x，n+y)＝0，-2≤x≤2，-2≤y≤2}(9)第二區(qū)域SP′1中的運(yùn)動(dòng)向量屬于第一區(qū)域SP1，并且確定所述運(yùn)動(dòng)向量是可靠的。這是因?yàn)镃k(m+x，n+y)＝0表示既不是周期塊也不處于平滑區(qū)域中的塊。從第二區(qū)域SP′1中選擇第二候選向量CV2的方法是使塊Bk-0.5(m，n)的對(duì)稱匹配SAD最小化。也就是說，第二區(qū)域SP′1中運(yùn)動(dòng)向量之中的第二候選向量CV2是使參考?jí)KB′k-1(m，n)和B′k(m，n)之間的SAD最小化的向量中的一個(gè)向量。最小對(duì)稱匹配SAD由SADC2表示。
第三候選向量CV3從由區(qū)域選擇單元60選擇的具有不同的初始運(yùn)動(dòng)向量的第三區(qū)域被選擇，所述第三區(qū)域由SP2表示。第三候選向量CV3如下定義。
{BMVk(m+x，n+y)∈SP2|-1≤x≤1，-1≤y≤1}(10)從第三區(qū)域SP2中選擇第三候選向量CV3的方法是使塊Bk-0.5(m，n)的對(duì)稱匹配SAD最小化。然后，根據(jù)第三候選向量CV3計(jì)算參考?jí)KB′k-1(m，n)和B′k(m，n)之間的SAD值，該SAD值由SADC3表示。
第四候選向量CV4從由作為區(qū)域選擇單元60選擇的第三區(qū)域SP2的一部分的第四區(qū)域SP′2被選擇。第四區(qū)域SP′2如下定義。
{BMVk(m+x，n+y)∈SP′2|BMVk(m+x，n+y)∈SP2，Ck(m+x，n+y)＝0，-1≤x≤1，-1≤y≤1}(11)運(yùn)動(dòng)向量的數(shù)量由KC4表示。從第四區(qū)域SP′2中選擇第四候選向量CV4的方法是使塊Bk-0.5(m，n)的對(duì)稱匹配SAD最小化。然后，根據(jù)第四候選向量CV4計(jì)算參考?jí)KB′k-1(m，n)和B′k(m，n)之間的SAD值，該SAD值由SADC4表示。
如圖3所示，第五候選向量CV5、第六候選向量CV6和第七候選向量CV7由第二候選產(chǎn)生單元41b選擇。
在示例性實(shí)現(xiàn)中，第五候選向量CV5是塊Bk-0.5(m，n)的左方相鄰塊的運(yùn)動(dòng)向量。也就是說，第五候選向量CV5對(duì)應(yīng)于運(yùn)動(dòng)向量BMVk-0.5(m，n-1)。第六候選向量CV6是塊Bk-0.5(m，n)的上方相鄰塊的運(yùn)動(dòng)向量。也就是說，第六候選向量CV6對(duì)應(yīng)于運(yùn)動(dòng)向量BMVk-0.5(m-1，n)。
第七候選向量CV7是在先前的插補(bǔ)幀中塊Bk-0.5(m，n)的右下方相鄰塊的運(yùn)動(dòng)向量。也就是說，第七候選向量CV7對(duì)應(yīng)于運(yùn)動(dòng)向量BMVk-1.5(m+1，n+1)。圖5示出了運(yùn)動(dòng)向量BMVk-0.5(m，n)、BMVk-0.5(m，n-1)、BMVk-0.5(m-1，n)和BMVk-1.5(m+1，n+1)之間的位置關(guān)系。
第一至第四候選向量CV1、CV2、CV3和CV4中的一個(gè)由第一最終候選選擇單元43選擇為第一最終候選運(yùn)動(dòng)向量V1。第一最終候選運(yùn)動(dòng)向量V1如下來選擇。
if(SADC1＜Thr7)or(SADC1＜SADC3+Thr8)，V1＝CV1else if(KC4＜5)and((SADC2＜Thr7)or(SADC2＜SADC3+Thr8)，V1＝CV2else if(KC4＞5)and((SADC4＜Thr7)or(SADC4＜SADC3+Thr8)，V1＝CV4else V1＝CV3(12)Thr7和Thr8表示閾值。關(guān)于第一最終候選運(yùn)動(dòng)向量V1的對(duì)稱匹配SAD值由SADV1來表示。例如，如果第一最終候選運(yùn)動(dòng)向量V1等于第三候選向量CV3，則SADV1等于SADC3。
此外，第五、第六和第七候選向量CV5、CV6和CV7中的一個(gè)由第二最終候選選擇單元45選擇為第二最終候選運(yùn)動(dòng)向量V2。選擇第二最終候選運(yùn)動(dòng)向量V2的方法是選擇使塊Bk-0.5(m，n)的參考?jí)KB′k-1(m，n)和B′k(m，n)之間的對(duì)稱匹配SAD值最小化的向量中的一個(gè)向量。關(guān)于第二最終候選運(yùn)動(dòng)向量V2的SAD值由SADV2表示。結(jié)果，向量V1和V2中的一個(gè)由最終向量決定單元47選擇為最終運(yùn)動(dòng)向量BMVk-0.5(m，n)。最終運(yùn)動(dòng)向量BMVk-5(m，n)如下來選擇。
if(|V1-CV5|＞Thr9)and(|V1-CV6|＞Thr9)and(|V1-CV7|＞Thr9)and((SADV2＜Thr7)or(SADV2＜SADV1+Thr8))，BMVk-0.5(m，n)＝V2else BMVk-0.5(m，n)＝V1
(13)最終運(yùn)動(dòng)向量BMVk-0.5(m，n)用于插補(bǔ)當(dāng)前的插補(bǔ)塊Bk-0.5(m，n)。因此，在先前幀F(xiàn)k-1和當(dāng)前幀F(xiàn)k中，參考?jí)KB′k-1(m，n)和B′k(m，n)之間的位置被確定為塊Bk-0.5(m，n)，并且參考?jí)KB′k-1(m，n)和B′k(m，n)之間的對(duì)稱匹配SAD由SADV來表示。
然后，當(dāng)前的插補(bǔ)塊Bk-0.5(m，n)由運(yùn)動(dòng)插補(bǔ)單元50如下地來插補(bǔ)。
if(SADV＜Thr10)，Bk-0.5(m，n)＝Bk′(m，n)else Bk-0.5(m，n)＝(B′K(m，n)+B′K-1(m，n))/2(14)例如，在插補(bǔ)幀F(xiàn)k-0.5中，所有塊Bk-0.5(m，n)通過如上所述的運(yùn)動(dòng)估計(jì)方法和運(yùn)動(dòng)插補(bǔ)方法被插補(bǔ)。
如上所述，根據(jù)本發(fā)明示例性實(shí)施例，提供了一種能夠改善幀插補(bǔ)質(zhì)量并減少塊效應(yīng)的幀插補(bǔ)器、幀插補(bǔ)方法和運(yùn)動(dòng)可靠性評(píng)價(jià)器。
雖然已顯示和描述了本發(fā)明的一些實(shí)施例，但本領(lǐng)域技術(shù)人員應(yīng)該理解，在不脫離本發(fā)明的原理和精神的情況下，可以對(duì)這些實(shí)施例進(jìn)行修改，本發(fā)明的范圍由權(quán)利要求及其等同物限定。
權(quán)利要求
1.一種幀插補(bǔ)器，所述幀插補(bǔ)器包括運(yùn)動(dòng)估計(jì)單元，將當(dāng)前幀劃分為多個(gè)參考?jí)K，比較參考?jí)K和先前幀中設(shè)置的搜索區(qū)域，并估計(jì)初始運(yùn)動(dòng)向量；可靠性評(píng)價(jià)單元，對(duì)初始運(yùn)動(dòng)向量的可靠性進(jìn)行評(píng)價(jià)并產(chǎn)生指示評(píng)價(jià)結(jié)果的可靠性評(píng)價(jià)數(shù)據(jù)；和幀插補(bǔ)單元，以初始運(yùn)動(dòng)向量和可靠性評(píng)價(jià)數(shù)據(jù)為基礎(chǔ)，把將被插入的中間幀插補(bǔ)到當(dāng)前幀和先前幀之間。
2.如權(quán)利要求1所述的幀插補(bǔ)器，其中，所述可靠性評(píng)價(jià)單元包括平滑塊檢測(cè)單元，確定參考?jí)K是否包含平滑塊；周期塊檢測(cè)單元，確定參考?jí)K是否包含周期塊；和可靠性產(chǎn)生單元，根據(jù)檢測(cè)結(jié)果產(chǎn)生可靠性評(píng)價(jià)數(shù)據(jù)。
3.如權(quán)利要求2所述的幀插補(bǔ)器，其中，所述平滑塊檢測(cè)單元根據(jù)下面的等式來確定參考?jí)K是否包含平滑塊Se＜Thr2 and Sd＜Thr3{Pmn(i，j)|0≤i≤Mb-1，0≤j≤Nb-1}其中，Se=Σ0≤i≤Mb-20≤j≤Nb-2f(i,j)]]>f(i,j)=1if|Pmn(i,j)-Pmn(i,j+1)|>Thrl or|Pmn(i,j)-Pmn(i+1,j)|>Thrl0else]]>并且Sd=Σ0≤i≤Mb-20≤j≤Nb-2|Pmn(i,j)-Pmn(i,j+1)|+|Pmn(i,j)-Pmn(i+1,j)|]]>其中，Thr1、Thr2和Thr3表示參考值。
4.如權(quán)利要求2所述的幀插補(bǔ)器，其中，如果滿足下面四個(gè)不等式，則所述周期塊檢測(cè)單元確定參考?jí)K包含周期塊1)|SADC(p1，q1)-SADC(P0，q0)|＜Thr42)|p1-p0|+|q1-q0|＞Thr53)SADC(p1，q1)＜SADC(P1-1，q1)，SADC(P1，q1)＜SADC(p1，q1-1)，3)SADC(p1，q1)＜SADC(p1+1，q1)，SADC(p1，q1)＜SADC(p1，q1+1)4)SADC(p1+p0)/2，(q1+q0)/2)＞Thr6*SADC(p0，q0)其中，Thr4、Thr5和Thr6表示參考值。
5.如權(quán)利要求1所述的幀插補(bǔ)器，其中，所述幀插補(bǔ)單元根據(jù)對(duì)稱塊匹配方法來插補(bǔ)中間幀。
6.如權(quán)利要求5所述的幀插補(bǔ)器，其中，所述幀插補(bǔ)單元包括運(yùn)動(dòng)選擇單元，以初始運(yùn)動(dòng)向量和可靠性評(píng)價(jià)數(shù)據(jù)為基礎(chǔ)來決定最終運(yùn)動(dòng)向量；和運(yùn)動(dòng)補(bǔ)償單元，根據(jù)決定的最終運(yùn)動(dòng)向量把將被插入的中間幀插補(bǔ)到當(dāng)前幀和先前幀之間。
7.如權(quán)利要求6所述的幀插補(bǔ)器，其中，所述運(yùn)動(dòng)選擇單元包括候選產(chǎn)生單元，以初始運(yùn)動(dòng)向量和可靠性評(píng)價(jià)數(shù)據(jù)為基礎(chǔ)產(chǎn)生多個(gè)候選向量。
8.如權(quán)利要求7所述的幀插補(bǔ)器，其中，所述候選產(chǎn)生單元包括第一候選產(chǎn)生單元，以初始運(yùn)動(dòng)向量和可靠性評(píng)價(jià)數(shù)據(jù)為基礎(chǔ)產(chǎn)生多個(gè)候選向量；和第二候選產(chǎn)生單元，以先前的插補(bǔ)幀的運(yùn)動(dòng)場(chǎng)和先前插補(bǔ)的相鄰塊的運(yùn)動(dòng)向量為基礎(chǔ)產(chǎn)生多個(gè)候選向量。
9.如權(quán)利要求8所述的幀插補(bǔ)器，其中，所述第一候選產(chǎn)生單元包括區(qū)域選擇單元，在初始運(yùn)動(dòng)向量場(chǎng)中選擇分別與多個(gè)候選向量相應(yīng)的多個(gè)區(qū)域；中值濾波器，對(duì)所選的多個(gè)區(qū)域中的第一區(qū)域執(zhí)行中值濾波，并產(chǎn)生第一候選向量；第一SAD計(jì)算器，從所選的多個(gè)區(qū)域中的第二區(qū)域計(jì)算最小SAD值，并產(chǎn)生第二候選向量；第二SAD計(jì)算器，從所選的多個(gè)區(qū)域中的第三區(qū)域計(jì)算最小SAD值，并產(chǎn)生第三候選向量；和第三SAD計(jì)算器，從所選的多個(gè)區(qū)域中的第四區(qū)域計(jì)算最小SAD值，并產(chǎn)生第四候選向量。
10.如權(quán)利要求9所述的幀插補(bǔ)器，其中，第一區(qū)域如下定義{BMVk(m+x，n+y)∈SP1|-2≤x≤2，-2≤y≤2}其中，BMVk表示初始運(yùn)動(dòng)向量場(chǎng)，k表示幀數(shù)量，SP1表示第一區(qū)域，坐標(biāo)值(m+x，n+y)表示塊的左上方像素的每個(gè)位置。
11.如權(quán)利要求10所述的幀插補(bǔ)器，其中，第二區(qū)域如下定義{BMVk(m+x，n+y)∈SP1′|BMVk(m+x，n+y)∈SP1，Ck(m+x，n+y)＝0，-2≤x≤2，-2≤y≤2}其中，SP′1表示第二區(qū)域，Ck(m+x，n+y)＝0表示相應(yīng)的塊不處于平滑區(qū)域以及周期區(qū)域中，第二區(qū)域SP′1是第一區(qū)域SP1的一部分。
12.如權(quán)利要求11所述的幀插補(bǔ)器，其中，第三區(qū)域如下定義{BMVk(m+x，n+y)∈SP2|-1≤x≤1，-1≤y≤1}其中，SP2表示第三區(qū)域。
13.如權(quán)利要求12所述的幀插補(bǔ)器，其中，第四區(qū)域如下定義{BMVk(m+x，n+y)∈SP2′|BMVk(m+x，n+y)∈SP2，Ck(m+x，n+y)＝0，-1≤x≤1，-1≤y≤1}其中，SP′2表示第四區(qū)域，Ck(m+x，n+y)＝0表示相應(yīng)的塊不處于平滑區(qū)域以及周期區(qū)域中，SP′2是第三區(qū)域SP2的一部分。
14.如權(quán)利要求8所述的幀插補(bǔ)器，其中，所述第二候選產(chǎn)生單元選擇參考?jí)K左方相鄰塊的運(yùn)動(dòng)向量作為第五候選向量，選擇參考?jí)K上方相鄰塊的運(yùn)動(dòng)向量作為第六候選向量，選擇先前的插補(bǔ)幀中的參考?jí)K右下方相鄰塊的運(yùn)動(dòng)向量作為第七候選向量。
15.如權(quán)利要求14所述的幀插補(bǔ)器，其中，所述運(yùn)動(dòng)選擇單元包括第一最終候選選擇單元，根據(jù)第一選擇標(biāo)準(zhǔn)將從所述第一候選產(chǎn)生單元產(chǎn)生的多個(gè)候選向量中的一個(gè)決定為第一最終候選向量；第二最終候選選擇單元，根據(jù)第二選擇標(biāo)準(zhǔn)將從所述第二候選產(chǎn)生單元產(chǎn)生的多個(gè)候選向量中的一個(gè)決定為第二最終候選向量；和最終向量決定單元，根據(jù)第三選擇標(biāo)準(zhǔn)選擇第一最終候選向量和第二最終候選向量中的一個(gè)作為最終運(yùn)動(dòng)向量。
16.如權(quán)利要求15所述的幀插補(bǔ)器，其中，第一選擇標(biāo)準(zhǔn)如下定義if(SADC1＜Thr7)or(SADC1＜SADC3+Thr8)，V1＝CV1else if(KC4＜5)and((SADC2＜Thr7)or(SADC2＜SADC3+Thr8)，V1＝CV2else if(KC4＞5)and((SADC4＜Thr7)or(SADC4＜SADC3+Thr8)，V1＝CV4else V1＝CV3其中，SADC1表示根據(jù)第一候選向量的最小SAD值，SADC2表示根據(jù)第二候選向量的最小SAD值，SADC3表示根據(jù)第三候選向量的最小SAD值，SADC4表示根據(jù)第四候選向量的最小SAD值，KC4是運(yùn)動(dòng)向量的數(shù)量，Thr7和Thr8表示參考值，CV1、CV2、CV3和CV4分別表示第一候選向量、第二候選向量、第三候選向量和第四候選向量，V1表示第一最終候選向量。
17.如權(quán)利要求16所述的幀插補(bǔ)器，其中，第二選擇標(biāo)準(zhǔn)取決于根據(jù)對(duì)稱塊匹配方法的最小SAD值。
18.如權(quán)利要求17所述的幀插補(bǔ)器，其中，第三選擇標(biāo)準(zhǔn)如下定義if(|V1-CV5|＞Thr9)and(|V1-CV6|＞Thr9)and(|V1-CV7|＞Thr9)and((SADV2＜Thr7)or(SADV2＜SADV1+Thr8))，BMVk-0.5(m，n)＝V2else BMVk-0.5(m，n)＝V1其中，SADC5表示根據(jù)第五候選向量的最小SAD值，SADC6表示根據(jù)第六候選向量的最小SAD值，SADC7表示根據(jù)第七候選向量的最小SAD值，Thr7、Thr8和Thr9表示參考值，CV5、CV6和CV7分別表示第五候選向量、第六候選向量和第七候選向量，V1表示第一最終候選向量，V2表示第二最終候選向量。
19.如權(quán)利要求18所述的幀插補(bǔ)器，其中，所述幀插補(bǔ)單元通過下面的等式來插補(bǔ)中間幀if(SADV＜Thr10)，Bk-0.5(m，n)＝Bk′(m，n)else Bk-0.5(m，n)＝(Bk′(m，n)+Bk-1′(m，n))/2其中，SADV表示根據(jù)最終候選向量的最小SAD值，Thr10表示參考值，Bk-0.5(m，n)表示將被插補(bǔ)的塊，B′k(m，n)表示當(dāng)前幀的匹配塊，B′k-1(m，n)表示先前幀的匹配塊。
20.如權(quán)利要求1所述的幀插補(bǔ)器，其中，所述運(yùn)動(dòng)估計(jì)單元根據(jù)完全搜索塊匹配算法來估計(jì)初始運(yùn)動(dòng)向量。
21.一種幀插補(bǔ)方法，所述幀插補(bǔ)方法包括將當(dāng)前幀劃分為多個(gè)參考?jí)K，比較參考?jí)K和先前幀中設(shè)置的預(yù)定搜索區(qū)域，并估計(jì)初始運(yùn)動(dòng)向量；對(duì)初始運(yùn)動(dòng)向量的可靠性進(jìn)行評(píng)價(jià)，并產(chǎn)生關(guān)于評(píng)價(jià)結(jié)果的可靠性評(píng)價(jià)數(shù)據(jù)；和以初始運(yùn)動(dòng)向量和可靠性評(píng)價(jià)數(shù)據(jù)為基礎(chǔ)，把將被插入的中間幀插補(bǔ)到當(dāng)前幀和先前幀之間。
22.如權(quán)利要求21所述的幀插補(bǔ)方法，其中，所述產(chǎn)生可靠性評(píng)價(jià)數(shù)據(jù)的步驟包括確定參考?jí)K是否是平滑塊；確定參考?jí)K是否是周期塊；和根據(jù)確定的結(jié)果產(chǎn)生可靠性評(píng)價(jià)數(shù)據(jù)。
23.如權(quán)利要求22所述的幀插補(bǔ)方法，其中，在所述插補(bǔ)中間幀的步驟中，根據(jù)對(duì)稱塊匹配方法插補(bǔ)中間幀。
24.如權(quán)利要求23所述的幀插補(bǔ)方法，其中，所述插補(bǔ)中間幀的步驟包括以可靠性評(píng)價(jià)數(shù)據(jù)為基礎(chǔ)決定最終運(yùn)動(dòng)向量；和根據(jù)最終運(yùn)動(dòng)向量把將被插入的中間幀插補(bǔ)到當(dāng)前幀和先前幀之間。
25.如權(quán)利要求24所述的幀插補(bǔ)方法，其中，所述決定最終運(yùn)動(dòng)向量的步驟包括以初始運(yùn)動(dòng)向量和可靠性評(píng)價(jià)數(shù)據(jù)為基礎(chǔ)產(chǎn)生多個(gè)候選向量；和根據(jù)標(biāo)準(zhǔn)將所述多個(gè)候選向量中的一個(gè)決定為最終運(yùn)動(dòng)向量。
26.如權(quán)利要求25所述的幀插補(bǔ)方法，其中，所述產(chǎn)生多個(gè)候選向量的步驟包括以初始運(yùn)動(dòng)向量和可靠性評(píng)價(jià)數(shù)據(jù)為基礎(chǔ)產(chǎn)生多個(gè)第一候選向量；和以先前的插補(bǔ)幀的運(yùn)動(dòng)場(chǎng)和先前插補(bǔ)的相鄰塊的運(yùn)動(dòng)向量為基礎(chǔ)產(chǎn)生多個(gè)第二候選向量。
27.如權(quán)利要求26所述的幀插補(bǔ)方法，其中，所述產(chǎn)生多個(gè)第一候選向量的步驟包括在初始運(yùn)動(dòng)向量場(chǎng)中選擇分別與多個(gè)候選向量相應(yīng)的多個(gè)區(qū)域；對(duì)所選的多個(gè)區(qū)域中的第一區(qū)域執(zhí)行中值濾波，并產(chǎn)生第一候選向量；從所選的多個(gè)區(qū)域中的第二區(qū)域計(jì)算最小SAD值，并產(chǎn)生第二候選向量；從所選的多個(gè)區(qū)域中的第三區(qū)域計(jì)算最小SAD值，并產(chǎn)生第三候選向量；和從所選的多個(gè)區(qū)域中的第四區(qū)域計(jì)算最小SAD值，并產(chǎn)生第四候選向量。
28.如權(quán)利要求27所述的幀插補(bǔ)方法，其中，所述產(chǎn)生多個(gè)第二候選向量的步驟包括選擇參考?jí)K左方相鄰塊的運(yùn)動(dòng)向量作為第五候選向量；選擇參考?jí)K上方相鄰塊的運(yùn)動(dòng)向量作為第六候選向量；和選擇先前的插補(bǔ)幀中的參考?jí)K右下方相鄰塊的運(yùn)動(dòng)向量作為第七候選向量。
29.如權(quán)利要求28所述的幀插補(bǔ)方法，其中，所述決定最終運(yùn)動(dòng)向量的步驟包括根據(jù)第一選擇標(biāo)準(zhǔn)選擇從第一候選產(chǎn)生單元產(chǎn)生的多個(gè)候選向量中的一個(gè)作為第一最終候選向量；根據(jù)第二選擇標(biāo)準(zhǔn)選擇從第二候選產(chǎn)生單元產(chǎn)生的多個(gè)候選向量中的一個(gè)作為第二最終候選向量；和根據(jù)第三選擇標(biāo)準(zhǔn)將第一最終候選向量和第二最終候選向量中的一個(gè)決定為最終運(yùn)動(dòng)向量。
30.一種運(yùn)動(dòng)可靠性評(píng)價(jià)器，所述運(yùn)動(dòng)可靠性評(píng)價(jià)器包括運(yùn)動(dòng)估計(jì)單元，將當(dāng)前幀劃分為多個(gè)參考?jí)K，比較參考?jí)K和先前幀中設(shè)置的搜索區(qū)域，并估計(jì)初始運(yùn)動(dòng)向量；周期塊檢測(cè)單元，確定參考?jí)K是否包含周期塊；和可靠性產(chǎn)生單元，根據(jù)確定的結(jié)果產(chǎn)生可靠性評(píng)價(jià)數(shù)據(jù)。
31.如權(quán)利要求30所述的運(yùn)動(dòng)可靠性評(píng)價(jià)器，其中，如果滿足下面四個(gè)不等式，則所述周期塊檢測(cè)單元確定參考?jí)K是周期塊1)|SADC(p1，q1)-SADC(p0，q0)|＜Thr42)|p1-p0|+|q1-q0|＞Thr53)SADC(p1，q1)＜SADC(p1-1，q1)，SADC(p1，q1)＜SADC(p1，q1-1)，3)SADC(p1，q1)＜SADC(p1+1，q1)，SADC(p1，q1)＜SADC(p1，q1+1)4)SADC(p1+p0)/2，(q1+q0)/2)＞Thr6*SADC(p0，q0)其中，Thr4、Thr5和Thr6表示參考值。
32.如權(quán)利要求30所述的運(yùn)動(dòng)可靠性評(píng)價(jià)器，其中，所述運(yùn)動(dòng)可靠性評(píng)價(jià)器還包括平滑塊檢測(cè)單元，確定參考?jí)K是否包含平滑塊。
33.如權(quán)利要求32所述的運(yùn)動(dòng)可靠性評(píng)價(jià)器，其中，所述平滑塊檢測(cè)單元根據(jù)下面的等式來確定參考?jí)K是否包含平滑塊Se＜Thr2 and Sd＜Thr3{Pmn(i，j)|0≤i≤Mb-1，0≤j≤Nb-1}其中，Se=Σ0≤i≤Mb-20≤j≤Nb-2f(i,j)]]>f(i,j)=1if|Pmn(i,j)-Pmn(i,j+1)|>Thrl or|Pmn(i,j)-Pmn(i+1,j)|>Thrl0else]]>Sd=Σ0≤i≤Mb-20≤j≤Nb-2|Pmn(i,j)-Pmn(i,j+1)|+|Pmn(i,j)-Pmn(i+1,j)|]]>其中，Thr1、Thr2和Thr3表示參考值。
34.如權(quán)利要求1所述的幀插補(bǔ)器，其中，每一參考?jí)K包含特定大小。
35.如權(quán)利要求21所述的幀插補(bǔ)方法，其中，每一參考?jí)K包含特定大小。
36.如權(quán)利要求30所述的運(yùn)動(dòng)可靠性評(píng)價(jià)器，其中，每一參考?jí)K包含特定大小。
全文摘要
本發(fā)明提供了一種幀插補(bǔ)器，包括運(yùn)動(dòng)估計(jì)單元，將當(dāng)前幀劃分為多個(gè)參考?jí)K，比較參考?jí)K和先前幀中設(shè)置的搜索區(qū)域，并估計(jì)初始運(yùn)動(dòng)向量?？煽啃栽u(píng)價(jià)單元對(duì)初始運(yùn)動(dòng)向量的可靠性進(jìn)行評(píng)價(jià)并產(chǎn)生指示評(píng)價(jià)結(jié)果的可靠性評(píng)價(jià)數(shù)據(jù)。幀插補(bǔ)單元以初始運(yùn)動(dòng)向量和可靠性評(píng)價(jià)數(shù)據(jù)為基礎(chǔ)，把將被插入的中間幀插補(bǔ)到當(dāng)前幀和先前幀之間。本發(fā)明提供了一種能夠改善幀插補(bǔ)質(zhì)量并減少塊效應(yīng)的幀插補(bǔ)器、幀插補(bǔ)方法和運(yùn)動(dòng)可靠性評(píng)價(jià)器。
文檔編號(hào)H04N7/01GK1972421SQ20061014687
公開日2007年5月30日 申請(qǐng)日期2006年11月27日 優(yōu)先權(quán)日2005年11月25日
發(fā)明者陳漢鋒, 金星秀, 成埈豪 申請(qǐng)人:三星電子株式會(huì)社