專利名稱：用于創(chuàng)建內(nèi)插幀的設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于在參考幀之間創(chuàng)建內(nèi)插幀的技術(shù)。
背景技術(shù)：
一般而言，存在兩種類型的顯示設(shè)備，即脈沖式顯示設(shè)備和保持式顯示設(shè)備。脈沖式顯示設(shè)備。脈沖式顯示設(shè)備在將一幅圖像寫(xiě)到顯示器屏幕上之后，僅在熒光粉的某一持續(xù)周期內(nèi)發(fā)光。例如陰極射線管(CRT)顯示器和場(chǎng)發(fā)射顯示器(FED)被歸類為脈沖系統(tǒng)。保持式顯示器持續(xù)顯示上一圖像幀，直到新的圖像幀被寫(xiě)入。例如液晶顯示器(LCD)和電致發(fā)光顯示器(ELD)被歸類為保持類型。
保持式顯示設(shè)備的缺點(diǎn)之一是在顯示移動(dòng)圖像時(shí)出現(xiàn)的模糊效應(yīng)。該模糊效應(yīng)出現(xiàn)是因?yàn)楫?dāng)運(yùn)動(dòng)對(duì)象出現(xiàn)在橫跨各幀的圖像中，并且觀測(cè)者的眼睛跟隨運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)時(shí)，多幀的圖像在眼睛中被疊加并反射。
盡管前一幀的相同圖像被持續(xù)顯示直到所顯示圖像的前一幀被下一幀代替，眼睛在預(yù)測(cè)該圖像下一幀的顯示時(shí)，通過(guò)將視線移動(dòng)到前一幀中運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)方向上來(lái)觀測(cè)運(yùn)動(dòng)對(duì)象。換句話說(shuō)，眼睛的跟隨運(yùn)動(dòng)是連續(xù)的，并且眼睛以小于運(yùn)動(dòng)圖像幀間間隔的時(shí)間間隔執(zhí)行該圖像的采樣。結(jié)果，眼睛直觀上承認(rèn)在兩連續(xù)幀之間的一幅圖像以補(bǔ)償該間隔，從而觀測(cè)到模糊效應(yīng)。
這個(gè)問(wèn)題可通過(guò)設(shè)置較短的用于顯示的幀間間隔來(lái)解決。這也能夠改善在具有幾個(gè)顯示幀的運(yùn)動(dòng)圖像中的不自然的運(yùn)動(dòng)。可能的實(shí)際方法之一是通過(guò)使用用于MPEG2中的運(yùn)動(dòng)補(bǔ)償創(chuàng)建一幅內(nèi)插圖像以插入到連續(xù)幀之間。
運(yùn)動(dòng)補(bǔ)償使用塊匹配檢測(cè)到的運(yùn)動(dòng)向量。然而，MPEG2逐塊創(chuàng)建圖像，因此如果一個(gè)塊包含多個(gè)不同運(yùn)動(dòng)的對(duì)象，相關(guān)部分和不相關(guān)部分在該塊內(nèi)出現(xiàn)，從而導(dǎo)致了由不相關(guān)部分引起的塊失真。
JP 2004-104656A(KOKAI)公開(kāi)了一種用于解決這些問(wèn)題的內(nèi)插幀方法。一個(gè)塊被分割成多個(gè)區(qū)域，運(yùn)動(dòng)向量根據(jù)每個(gè)區(qū)域被獲得。這可以減小在包含具有不同運(yùn)動(dòng)的對(duì)象的塊中的塊失真。此外，最優(yōu)運(yùn)動(dòng)向量可通過(guò)使用適合用門限將塊分割成區(qū)域的運(yùn)動(dòng)向量檢測(cè)方法以及適合于被分割成區(qū)域后的像素塊的運(yùn)動(dòng)向量檢測(cè)方法根據(jù)每個(gè)區(qū)域進(jìn)行檢測(cè)。
上述方法可減小由塊失真引起的圖像質(zhì)量的退化。然而，即使根據(jù)上述方法，正確的運(yùn)動(dòng)向量不能在具有很少像素的區(qū)域和陰影(遮擋)區(qū)域內(nèi)獲得。

發(fā)明內(nèi)容
根據(jù)本發(fā)明一個(gè)方面的設(shè)備在第一參考幀和第二參考幀之間插入一個(gè)內(nèi)插幀。該設(shè)備包括一個(gè)通過(guò)參考第一參考幀和第二參考幀檢測(cè)內(nèi)插幀中每個(gè)內(nèi)插塊的主運(yùn)動(dòng)向量的運(yùn)動(dòng)向量檢測(cè)單元；一個(gè)檢測(cè)第一參考幀內(nèi)第一參考?jí)K中的第一匹配區(qū)域，第二參考幀內(nèi)第二參考?jí)K中的第二匹配區(qū)域，第一參考?jí)K中的第一失配區(qū)域和第二參考?jí)K中的第二失配區(qū)域的區(qū)域檢測(cè)單元，其中，第一匹配區(qū)域和第二匹配區(qū)域都是匹配并相互對(duì)應(yīng)的，第一失配區(qū)域和第二失配區(qū)域都是失配并相互對(duì)應(yīng)的，第一參考?jí)K和第二參考?jí)K都具有與內(nèi)插塊相同的尺寸和同樣的形狀，并且第一參考?jí)K和第二參考?jí)K中的每一個(gè)都是根據(jù)內(nèi)插塊的主運(yùn)動(dòng)向量指定的；一個(gè)將每個(gè)內(nèi)插塊的主運(yùn)動(dòng)向量賦予每個(gè)內(nèi)插塊中的內(nèi)插匹配區(qū)域的賦予單元，其中內(nèi)插匹配區(qū)域?qū)?yīng)于第一匹配區(qū)域和第二匹配區(qū)域；一個(gè)根據(jù)在內(nèi)插失配區(qū)域周圍的周邊內(nèi)插塊決定賦予每個(gè)內(nèi)插塊中內(nèi)插失配區(qū)域的次運(yùn)動(dòng)向量的決定單元，其中內(nèi)插失配區(qū)域?qū)?yīng)于第一失配區(qū)域和第二失配區(qū)域，第一失配區(qū)域和第二失配區(qū)域被判定單元判定為彼此失配；以及一個(gè)根據(jù)所有不少于一個(gè)的由賦予單元賦予內(nèi)插匹配區(qū)域的主運(yùn)動(dòng)向量和由決定單元為內(nèi)插失配區(qū)域決定的次運(yùn)動(dòng)向量的運(yùn)動(dòng)向量將圖像賦予內(nèi)插幀的運(yùn)動(dòng)補(bǔ)償單元。
根據(jù)本發(fā)明另一方面的設(shè)備在第一參考幀和第二參考幀之間插入一個(gè)內(nèi)插幀。該設(shè)備包括一個(gè)通過(guò)參考第一參考幀和第二參考幀檢測(cè)第一參考?jí)K的主運(yùn)動(dòng)向量的運(yùn)動(dòng)向量檢測(cè)單元，第一參考?jí)K通過(guò)分割第一參考幀獲得；一個(gè)檢測(cè)第一參考?jí)K中的第一匹配區(qū)域和第二參考幀內(nèi)第二參考?jí)K中的第二匹配區(qū)域，第一參考?jí)K中的第一失配區(qū)域和第二參考?jí)K中的第二失配區(qū)域的區(qū)域檢測(cè)單元，其中，第一匹配區(qū)域和第二匹配區(qū)域都是匹配并相互對(duì)應(yīng)的，第一失配區(qū)域和第二失配區(qū)域都是失配并相互對(duì)應(yīng)的，第二參考?jí)K具有與第一參考?jí)K相同的尺寸和同樣的形狀，并且第二參考?jí)K中的第二匹配區(qū)域是根據(jù)第一參考?jí)K的主運(yùn)動(dòng)向量指定的；一個(gè)將主運(yùn)動(dòng)向量賦予第一匹配區(qū)域的賦予單元；一個(gè)根據(jù)在第一失配區(qū)域周圍的周邊第一參考?jí)K決定賦予第一參考?jí)K中第一失配區(qū)域的次運(yùn)動(dòng)向量的決定單元，其中第一失配被判定單元判定為失配；以及一個(gè)根據(jù)所有不少于一個(gè)的由賦予單元賦予匹配區(qū)域的主運(yùn)動(dòng)向量和由決定單元為第一失配區(qū)域決定的次運(yùn)動(dòng)向量的運(yùn)動(dòng)向量將圖像賦予內(nèi)插幀的運(yùn)動(dòng)補(bǔ)償單元。


圖1是根據(jù)本發(fā)明第一實(shí)施例的內(nèi)插幀創(chuàng)建設(shè)備的功能框圖；圖2是用于解釋由內(nèi)插幀創(chuàng)建設(shè)備創(chuàng)建的內(nèi)插幀的示意圖；圖3是用于解釋根據(jù)第一實(shí)施側(cè)的運(yùn)動(dòng)估計(jì)的示意圖；圖4是用于解釋根據(jù)第一實(shí)施例的所述運(yùn)動(dòng)估計(jì)的示意圖；圖5是由如圖1所示的內(nèi)插幀創(chuàng)建設(shè)備執(zhí)行的內(nèi)插幀創(chuàng)建處理的流程圖；圖6描述根據(jù)第一實(shí)施例的第一參考幀和第二參考幀的例子；圖7是圖5中的運(yùn)動(dòng)估計(jì)的詳細(xì)處理的流程圖；圖8是用于解釋對(duì)如圖6所示的第一參考幀和第二參考幀執(zhí)行的運(yùn)動(dòng)估計(jì)的示意圖；
圖9描述如圖8所示的運(yùn)動(dòng)估計(jì)的結(jié)果；圖10是圖5中的區(qū)域判定的詳細(xì)處理的流程圖；圖11是用于解釋在如圖8所示的被賦以運(yùn)動(dòng)向量MV2的第一參考?jí)K和與第一參考?jí)K對(duì)應(yīng)的第二參考?jí)K之間的相關(guān)計(jì)算的示意圖；圖12描述由圖11中的相關(guān)計(jì)算獲得的匹配區(qū)域和失配區(qū)域；圖13是用于解釋對(duì)如圖8所示的第一參考?jí)K左側(cè)的另一第一參考?jí)K執(zhí)行的區(qū)域判定的結(jié)果的示意圖；圖14描述對(duì)如圖8所示的整個(gè)第一參考幀執(zhí)行的區(qū)域判定的結(jié)果；圖15是圖5中的失配運(yùn)動(dòng)向量賦予的詳細(xì)處理的流程圖；圖16描述在第一參考幀中的匹配區(qū)域和失配區(qū)域；圖17是用于解釋包含三個(gè)運(yùn)動(dòng)向量的第一參考幀和第二參考幀的示意圖；圖18描述從如圖17所示的第一參考幀到第二參考幀的運(yùn)動(dòng)向量；圖19描述在如圖18所示的第一參考幀內(nèi)第一參考?jí)K中的區(qū)域判定的結(jié)果；圖20是根據(jù)第一實(shí)施例的內(nèi)插幀創(chuàng)建設(shè)備的硬件配置的結(jié)構(gòu)圖；圖21是根據(jù)本發(fā)明第二實(shí)施例的內(nèi)插幀創(chuàng)建設(shè)備的功能框圖；圖22是被包含在由根據(jù)第二實(shí)施例的內(nèi)插幀創(chuàng)建設(shè)備執(zhí)行的內(nèi)插幀創(chuàng)建中的失配運(yùn)動(dòng)向量賦予的詳細(xì)處理的流程圖；圖23是根據(jù)本發(fā)明第三實(shí)施例的運(yùn)動(dòng)向量檢測(cè)器的功能框圖；圖24是根據(jù)本發(fā)明第四實(shí)施例的內(nèi)插幀創(chuàng)建設(shè)備的功能框圖；圖25是用于解釋由在根據(jù)本發(fā)明第四實(shí)施例的內(nèi)插幀創(chuàng)建設(shè)備中的運(yùn)動(dòng)估計(jì)單元執(zhí)行的處理的示意圖；圖26是由根據(jù)第四實(shí)施例的內(nèi)插幀創(chuàng)建設(shè)備執(zhí)行的內(nèi)插幀創(chuàng)建處理的流程圖；圖27是參考圖26解釋的運(yùn)動(dòng)估計(jì)的詳細(xì)處理的流程圖；圖28是參考圖26解釋的區(qū)域判定的詳細(xì)處理的流程圖；
圖29是用于具體解釋圖28中的區(qū)域判定的示意圖；圖30是用于具體解釋圖28中的區(qū)域判定的示意圖；圖31是圖26中的失配運(yùn)動(dòng)向量賦予的詳細(xì)處理的流程圖；圖32是用于具體解釋圖31中的失配運(yùn)動(dòng)向量賦予的示意圖；圖33是根據(jù)本發(fā)明第五實(shí)施例的內(nèi)插幀創(chuàng)建設(shè)備的功能框圖；圖34是用于解釋受根據(jù)第五實(shí)施例的內(nèi)插幀創(chuàng)建設(shè)備支配的參考幀的示意圖；圖35是在由根據(jù)第五實(shí)施例的內(nèi)插幀創(chuàng)建設(shè)備執(zhí)行的內(nèi)插幀創(chuàng)建中的失配運(yùn)動(dòng)向量賦予的詳細(xì)處理的流程圖；圖36是用于解釋對(duì)象在其上運(yùn)動(dòng)的運(yùn)動(dòng)圖像的示意圖；圖37是用于解釋對(duì)如圖36所示的運(yùn)動(dòng)圖像執(zhí)行的區(qū)域判定的結(jié)果；圖38是根據(jù)本發(fā)明第六實(shí)施例的內(nèi)插幀創(chuàng)建設(shè)備的功能框圖；圖39是由根據(jù)第六實(shí)施例的內(nèi)插幀創(chuàng)建設(shè)備執(zhí)行的失配運(yùn)動(dòng)賦予的詳細(xì)處理的流程圖；以及圖40是用于根據(jù)第六實(shí)施例通過(guò)使用失配區(qū)域解釋運(yùn)動(dòng)估計(jì)的示意圖。
具體實(shí)施例方式
本發(fā)明的示范性實(shí)施例將參考附圖在下面詳細(xì)解釋。
根據(jù)本發(fā)明第一實(shí)施例的內(nèi)插幀創(chuàng)建設(shè)備10創(chuàng)建一個(gè)內(nèi)插幀。如圖2所示，第一實(shí)施例在一個(gè)例子中被解釋，其中內(nèi)插幀創(chuàng)建設(shè)備10創(chuàng)建內(nèi)插幀400以在包含在輸入圖像內(nèi)的兩個(gè)連續(xù)幀即第一參考幀200和第二參考幀300之間進(jìn)行內(nèi)插。
由內(nèi)插幀創(chuàng)建設(shè)備10創(chuàng)建的內(nèi)插幀并不一定要被排列在兩個(gè)不同幀之間時(shí)間上的中點(diǎn)上。只要內(nèi)插幀內(nèi)插在兩個(gè)不同幀之間就足夠了，并不被第一實(shí)施例限制。此外，任意數(shù)目的內(nèi)插幀可被創(chuàng)建并插入到兩個(gè)不同幀之間。
如圖1所示，內(nèi)插幀創(chuàng)建設(shè)備10包括運(yùn)動(dòng)估計(jì)單元100，區(qū)域判定單元102，匹配運(yùn)動(dòng)向量賦予單元104，失配運(yùn)動(dòng)向量賦予單元106，運(yùn)動(dòng)補(bǔ)償單元108，幀存儲(chǔ)器110。
運(yùn)動(dòng)估計(jì)單元100估計(jì)從第一參考幀200到第二參考幀300的運(yùn)動(dòng)。如圖3和4所示，第一參考幀200被分割成多個(gè)宏塊，即包含第一參考?jí)K210在內(nèi)的第一參考?jí)K。根據(jù)第一實(shí)施例的運(yùn)動(dòng)估計(jì)單元100將第一參考幀200分割成4×4的16個(gè)宏塊。每塊包含5×5的25個(gè)像素。運(yùn)動(dòng)估計(jì)單元100確定在第一參考?jí)K210和第二參考幀300中的第二參考?jí)K310之間的相關(guān)，并根據(jù)該相關(guān)計(jì)算運(yùn)動(dòng)向量。這里，第二參考?jí)K310是具有與第一參考?jí)K210同種形狀和相同尺寸的區(qū)域。
區(qū)域判定單元102根據(jù)運(yùn)動(dòng)估計(jì)單元100計(jì)算的關(guān)于宏塊的運(yùn)動(dòng)向量計(jì)算在第一參考?jí)K210的每個(gè)像素和第二參考幀300中對(duì)應(yīng)像素之間的相關(guān)值。具體地，區(qū)域判定單元102根據(jù)關(guān)于第一參考?jí)K210計(jì)算的運(yùn)動(dòng)向量指定第一參考?jí)K210中的某一像素和第二參考幀300中的對(duì)應(yīng)像素。然后區(qū)域判定單元102計(jì)算這些兩像素之間的相關(guān)值。根據(jù)計(jì)算的相關(guān)值，區(qū)域判定單元102將每個(gè)宏塊分割成高相關(guān)的區(qū)域和低相關(guān)的區(qū)域。
匹配運(yùn)動(dòng)向量賦予單元104將運(yùn)動(dòng)估計(jì)單元100計(jì)算的運(yùn)動(dòng)向量賦予由區(qū)域判定單元102確定的高相關(guān)區(qū)域。失配運(yùn)動(dòng)向量賦予單元106將賦予周邊宏塊的運(yùn)動(dòng)向量賦予由區(qū)域判定單元102確定的低相關(guān)區(qū)域。運(yùn)動(dòng)補(bǔ)償單元108將由匹配運(yùn)動(dòng)向量賦予單元104和失配運(yùn)動(dòng)向量賦予單元106賦予的運(yùn)動(dòng)向量在尺度上進(jìn)行轉(zhuǎn)換，并根據(jù)尺度轉(zhuǎn)換后的向量創(chuàng)建內(nèi)插幀400。
如圖5所示，在內(nèi)插幀創(chuàng)建中，首先運(yùn)動(dòng)估計(jì)單元100從幀存儲(chǔ)器100中獲取第一參考幀200和第二參考幀300，并執(zhí)行運(yùn)動(dòng)估計(jì)以估計(jì)從第一參考幀200到第二參考幀300的運(yùn)動(dòng)(步驟S100)。然后，區(qū)域判定單元102根據(jù)運(yùn)動(dòng)估計(jì)單元100估計(jì)的作為結(jié)果的運(yùn)動(dòng)判定區(qū)域(步驟S102)。
接著匹配運(yùn)動(dòng)向量賦予單元104將運(yùn)動(dòng)估計(jì)單元100計(jì)算的運(yùn)動(dòng)向量賦予高相關(guān)的區(qū)域(步驟S104)。然后失配運(yùn)動(dòng)向量賦予單元106將賦予周邊宏塊的運(yùn)動(dòng)向量賦予低相關(guān)的區(qū)域(步驟S106)。運(yùn)動(dòng)補(bǔ)償單元108隨后根據(jù)匹配運(yùn)動(dòng)向量賦予單元104和失配運(yùn)動(dòng)向量賦予單元106賦予的運(yùn)動(dòng)向量執(zhí)行運(yùn)動(dòng)補(bǔ)償。即運(yùn)動(dòng)補(bǔ)償單元108創(chuàng)建內(nèi)插幀400(步驟S108)。然后內(nèi)插幀創(chuàng)建設(shè)備10完成內(nèi)插幀創(chuàng)建。
如圖6所示，第一參考幀200和第二參考幀300中的每一個(gè)都包含背景500和對(duì)象510。此外，對(duì)象510在第二參考幀300中向右移動(dòng)。在如圖6所示的第一參考幀200和第二參考幀300之間創(chuàng)建內(nèi)插幀的具體處理將在下面進(jìn)行解釋。
如圖7所示，在運(yùn)動(dòng)估計(jì)(步驟S100)中，首先運(yùn)動(dòng)估計(jì)單元100將第一參考幀200分割成受運(yùn)動(dòng)估計(jì)支配的n個(gè)參考?jí)K(步驟S110)。具體地，運(yùn)動(dòng)估計(jì)單元100將如圖6所示的第一參考幀200分割成如圖4所示的16塊的第一參考?jí)K。
其次，運(yùn)動(dòng)估計(jì)單元100從第一參考幀200中提取第一參考?jí)KR1(i)(步驟S112)。然后運(yùn)動(dòng)估計(jì)單元100提取具有與所提取的第一參考?jí)KR1(i)最高相關(guān)的第二參考?jí)KR2(i)，并獲得運(yùn)動(dòng)向量MV(i)(步驟S114)。如果存在沒(méi)有執(zhí)行上述處理的任意第一參考?jí)K(步驟S116中為“否”)，運(yùn)動(dòng)估計(jì)單元100在i值上加“1”(步驟S118)，然后返回到步驟S112。當(dāng)運(yùn)動(dòng)估計(jì)單元100對(duì)所有第一參考?jí)K執(zhí)行了步驟S112和S114中的處理時(shí)(步驟S116中為“是”)，運(yùn)動(dòng)估計(jì)(步驟S100)被完成。
為了獲得具有最高相關(guān)的第二參考?jí)KR2(i)，可以使用在第一參考?jí)K中的像素和候選第二參考?jí)K中對(duì)應(yīng)像素之間的絕對(duì)差。具體地，絕對(duì)差在第一參考?jí)K中的每個(gè)單像素和候選第二參考?jí)K中其對(duì)應(yīng)像素之間被計(jì)算。然后一些具有小于門限的絕對(duì)差的高相關(guān)的像素被計(jì)算。具有最大數(shù)目高相關(guān)像素的第二參考?jí)K被判定為與第一參考?jí)K最相關(guān)的第二參考?jí)K。
從如圖6所示的第一參考幀200和第二參考幀300中，如圖8和9所示的運(yùn)動(dòng)估計(jì)結(jié)果被獲得。在這個(gè)例子中，運(yùn)動(dòng)向量MV1(MV1＝0)從一對(duì)包含背景500的相同部分的對(duì)應(yīng)參考?jí)K中進(jìn)行計(jì)算。例如，第一參考?jí)K221和第二參考?jí)K321包含背景500的相同部分，因此運(yùn)動(dòng)向量MV1被計(jì)算。另一方面，不同于“0”的運(yùn)動(dòng)向量MV2從一對(duì)包含對(duì)象510的相同部分的對(duì)應(yīng)參考?jí)K中進(jìn)行計(jì)算。例如，第一參考?jí)K220和第二參考?jí)K320包含對(duì)象510的相同部分，因此運(yùn)動(dòng)向量MV2被計(jì)算。
如圖10所示，在區(qū)域判定(步驟S102)中，首先區(qū)域判定單元102將第一參考幀200和第二參考幀300中的所有像素設(shè)置為失配區(qū)域(步驟S120)。然后在根據(jù)運(yùn)動(dòng)估計(jì)單元100計(jì)算的MV(i)獲得的一對(duì)第一參考?jí)KR1(i)和第二參考?jí)KR2(i)中，區(qū)域判定單元102計(jì)算對(duì)應(yīng)像素之間的相關(guān)(步驟S122)。
其次，區(qū)域判定單元102根據(jù)計(jì)算的相關(guān)判定對(duì)應(yīng)像素是否相互匹配。如果這些像素相互匹配，區(qū)域判定單元102將這些像素從失配區(qū)域轉(zhuǎn)換到匹配區(qū)域(步驟S124)。如果存在沒(méi)有執(zhí)行上述處理的任意第一參考?jí)KR1(i)(步驟S126中為“否”)，區(qū)域判定單元102在i值上加“1”(步驟S128)，然后返回到步驟S122。當(dāng)區(qū)域判定單元102對(duì)所有第一參考?jí)K執(zhí)行了步驟S122和S124中的處理時(shí)(步驟S126中為“是”)，區(qū)域判定(步驟S102)被完成。
在圖11中上側(cè)塊內(nèi)的值表示亮度。為了確定第一參考?jí)K220和第二參考?jí)K320之間的相關(guān)，區(qū)域判定單元102在第一參考?jí)K220和第二參考?jí)K320中的對(duì)應(yīng)像素之間執(zhí)行關(guān)于亮度的相關(guān)的計(jì)算。具體地，區(qū)域判定單元102計(jì)算亮度的絕對(duì)差。圖11中下側(cè)塊內(nèi)的值表示計(jì)算結(jié)果，即絕對(duì)差。
第一參考?jí)K220和第二參考?jí)K320主要包括對(duì)象510的圖像，并且與對(duì)象510部分相對(duì)應(yīng)的像素各自的亮度值相互匹配。因此，絕對(duì)差是0。然而，在包含于第一參考?jí)K220和第二參考?jí)K320內(nèi)的背景500部分中，由于每個(gè)部分表示背景500的不同部分，像素的亮度值不匹配，因此絕對(duì)差非零。在圖11中，在第一參考?jí)K220和第二參考?jí)K320每一個(gè)的左上角像素和左下角像素對(duì)應(yīng)于背景，并且僅這些像素具有為24的絕對(duì)差。
如圖12所示，在如圖11所示的第一參考?jí)K220和第二參考?jí)K320中左上角和左下角的各個(gè)像素對(duì)應(yīng)于失配區(qū)域222a，222b，322a或322b。其余像素都在匹配區(qū)域224或324內(nèi)。匹配區(qū)域和失配區(qū)域的判定使用一個(gè)門限。如果在一對(duì)對(duì)應(yīng)像素之間的絕對(duì)差小于該門限，即對(duì)應(yīng)像素之間的相關(guān)高，這些像素被判定為匹配區(qū)域。如果絕對(duì)差大于該門限，即相關(guān)低，這些像素被判定為失配區(qū)域。
如圖13所示，第一參考?jí)K230中的背景500部分與第二參考幀300中的背景500部分相匹配，從而形成了匹配區(qū)域。另一方面，第一參考?jí)K230中的對(duì)象510部分變成第二參考幀300中的背景500，從而形成了失配區(qū)域。
如圖14所示，第一參考?jí)K被逐像素分成匹配區(qū)域和失配區(qū)域。在匹配運(yùn)動(dòng)向量賦予中(步驟S104)，匹配區(qū)域被賦以由運(yùn)動(dòng)估計(jì)單元100為包含該匹配區(qū)域的第一參考?jí)K計(jì)算的運(yùn)動(dòng)向量。在該匹配區(qū)域中，對(duì)應(yīng)像素相互匹配，換句話說(shuō)，運(yùn)動(dòng)向量被正確計(jì)算。由運(yùn)動(dòng)估計(jì)單元100在運(yùn)動(dòng)估計(jì)(步驟S100)中計(jì)算的運(yùn)動(dòng)向量適合于該匹配區(qū)域，因此，匹配運(yùn)動(dòng)向量賦予單元104將這個(gè)運(yùn)動(dòng)向量賦予該匹配區(qū)域。
如圖15所示，在失配運(yùn)動(dòng)向量賦予(步驟S106)中，首先失配運(yùn)動(dòng)向量賦予單元106從第一參考幀200中提取失配區(qū)域P1(步驟S140)。然后，失配運(yùn)動(dòng)向量賦予單元106提取與該失配區(qū)域相鄰的第一參考?jí)K的運(yùn)動(dòng)向量MVk(k＝1到S，S是與該失配區(qū)域相鄰的第一參考?jí)K的運(yùn)動(dòng)向量MV的個(gè)數(shù))(步驟S142)。這里，失配運(yùn)動(dòng)向量賦予單元106提取相鄰第一參考?jí)K的所有運(yùn)動(dòng)向量。例如，如果存在兩個(gè)運(yùn)動(dòng)向量，失配運(yùn)動(dòng)向量賦予單元106提取這兩個(gè)運(yùn)動(dòng)向量。如果所有相鄰第一參考?jí)K具有相同的運(yùn)動(dòng)向量，失配運(yùn)動(dòng)向量賦予單元106提取一個(gè)運(yùn)動(dòng)向量。
其次，失配運(yùn)動(dòng)向量賦予單元106將提取的運(yùn)動(dòng)向量MVk應(yīng)用于失配區(qū)域中的每個(gè)像素P1p(p是失配區(qū)域P1中的像素)，并提取第二參考幀300中對(duì)應(yīng)的像素P2pk(k與運(yùn)動(dòng)向量MVk的k相對(duì)應(yīng))(步驟S144)。換句話說(shuō)，與提取的運(yùn)動(dòng)向量MVk相同數(shù)目的像素P2pk可被提取。
失配運(yùn)動(dòng)向量賦予單元106隨后計(jì)算P1p和提取的像素P2pk之間的相關(guān)(步驟S146)。具體地，失配運(yùn)動(dòng)向量賦予單元106計(jì)算像素P1p和像素P2pk之間的亮度絕對(duì)差。根據(jù)計(jì)算的相關(guān)，失配運(yùn)動(dòng)向量賦予單元106接著從運(yùn)動(dòng)向量MVk中選擇適合于像素P1p的運(yùn)動(dòng)向量(步驟S148)。如果所提取的運(yùn)動(dòng)向量有多個(gè)，失配運(yùn)動(dòng)向量賦予單元106選擇與根據(jù)運(yùn)動(dòng)向量計(jì)算的絕對(duì)差中的最小絕對(duì)差相對(duì)應(yīng)的運(yùn)動(dòng)向量，即具有最高相關(guān)的運(yùn)動(dòng)向量。
當(dāng)失配運(yùn)動(dòng)向量賦予單元106對(duì)失配區(qū)域中的所有像素執(zhí)行了上述處理時(shí)(步驟S150中為“是”)，失配運(yùn)動(dòng)向量賦予(步驟S106)被完成。如果存在沒(méi)有執(zhí)行上述處理的任意像素(步驟S150中為“否”)，失配運(yùn)動(dòng)向量賦予單元106在p值上加“1”(步驟S152)，然后返回到步驟S144。
如圖16所示，例如，針對(duì)包含在第一參考?jí)K220中的左上像素和左下像素的失配區(qū)域提取的運(yùn)動(dòng)向量是與該第一參考?jí)K220相鄰的八個(gè)第一參考?jí)K各自的運(yùn)動(dòng)向量。它們都是MV1。因此，失配區(qū)域222a和222b被賦以運(yùn)動(dòng)向量MV1。
另一方面，針對(duì)包含在第一參考?jí)K230中中間靠右像素的失配區(qū)域232提取的運(yùn)動(dòng)向量是與第一參考?jí)K230相鄰的八個(gè)參考?jí)K各自的運(yùn)動(dòng)向量。即，運(yùn)動(dòng)向量MV1和運(yùn)動(dòng)向量MV2被提取。
在這種情況下，假設(shè)失配區(qū)域232的像素是第一像素，該第一像素和運(yùn)動(dòng)向量MV1定義了第二參考幀300中的第二像素，并且該第一像素和運(yùn)動(dòng)向量MV2定義了第二參考幀300中的第三像素。然后失配運(yùn)動(dòng)向量賦予單元106計(jì)算第一像素和第二像素之間的相關(guān)。類似地，失配運(yùn)動(dòng)向量賦予單元106計(jì)算第一像素和第三像素之間的相關(guān)。失配運(yùn)動(dòng)向量賦予單元106選擇在計(jì)算的相關(guān)中提供最小絕對(duì)差的運(yùn)動(dòng)向量，即獲得最高相關(guān)的運(yùn)動(dòng)向量。在這個(gè)例子中，從運(yùn)動(dòng)向量MV2計(jì)算的相關(guān)是最高的，因此失配運(yùn)動(dòng)向量賦予單元106選擇運(yùn)動(dòng)向量MV2。
這樣，根據(jù)第一實(shí)施例的內(nèi)插幀創(chuàng)建設(shè)備10可以將運(yùn)動(dòng)向量賦予比宏塊小的區(qū)域。此外，內(nèi)插幀創(chuàng)建設(shè)備10將經(jīng)由上述處理計(jì)算得到的運(yùn)動(dòng)向量在尺度上進(jìn)行轉(zhuǎn)換，并將圖像賦予內(nèi)插幀中一個(gè)判定后的區(qū)域，從而更精確地創(chuàng)建內(nèi)插幀。
每幀中的連續(xù)塊通常被配以相同的運(yùn)動(dòng)向量。因此，在第一實(shí)施例中，用于失配區(qū)域的候選運(yùn)動(dòng)向量從相鄰塊的運(yùn)動(dòng)向量中被選擇。這允許內(nèi)插幀創(chuàng)建設(shè)備10省略對(duì)每個(gè)失配區(qū)域的運(yùn)動(dòng)估計(jì)的再處理，從而實(shí)現(xiàn)更有效的處理。
此外，當(dāng)?shù)谝粎⒖紟?00和第二參考幀300包括三個(gè)或更多運(yùn)動(dòng)向量時(shí)，內(nèi)插幀創(chuàng)建設(shè)備10能夠計(jì)算每個(gè)子區(qū)域的運(yùn)動(dòng)向量。
作為一個(gè)例子，如圖17所示的第一參考幀200包括背景500，第一對(duì)象511和第二對(duì)象512。背景500在具有運(yùn)動(dòng)向量MV1的區(qū)域中。第一對(duì)象511在具有運(yùn)動(dòng)向量MV2的區(qū)域中。第二對(duì)象512在具有運(yùn)動(dòng)向量MV3的區(qū)域中。
例如，將注意力集中在如圖18所示的第一參考?jí)K240中。如圖19所示，在第一參考?jí)K240中，對(duì)應(yīng)于第一對(duì)象511的像素被確定為匹配區(qū)域244，而其它像素被確定為失配區(qū)域242。
在失配區(qū)域242上執(zhí)行的失配運(yùn)動(dòng)向量賦予中，失配運(yùn)動(dòng)向量賦予單元106提取如圖18所示的與第一參考?jí)K240相鄰的八個(gè)第一參考?jí)K的運(yùn)動(dòng)向量。確切地說(shuō)，運(yùn)動(dòng)向量MV1，MV2和MV3被提取。失配運(yùn)動(dòng)向量賦予單元106計(jì)算在失配區(qū)域242中的每個(gè)像素和由運(yùn)動(dòng)向量MV1，MV2和MV3各自確定的第二參考幀300中的對(duì)應(yīng)像素之間的相關(guān)，然后選擇具有最高相關(guān)的運(yùn)動(dòng)向量作為失配區(qū)域242中每個(gè)像素的運(yùn)動(dòng)向量。在這個(gè)例子中，在第一參考?jí)K240中的失配區(qū)域242內(nèi)，對(duì)應(yīng)背景500的區(qū)域被配以運(yùn)動(dòng)向量MV1作為上述處理的結(jié)果。對(duì)應(yīng)第二對(duì)象512的其它區(qū)域被配以運(yùn)動(dòng)向量MV3作為上述處理的結(jié)果。
這樣，內(nèi)插幀創(chuàng)建設(shè)備10能夠?qū)⑦\(yùn)動(dòng)向量賦到每個(gè)像素，從而更精確地指定運(yùn)動(dòng)向量。此外，通過(guò)使用該運(yùn)動(dòng)向量，內(nèi)插幀創(chuàng)建設(shè)備10能夠創(chuàng)建高精度的內(nèi)插幀。
如圖20所示，作為硬件配置，內(nèi)插幀創(chuàng)建設(shè)備10包括只讀存儲(chǔ)器(ROM)52，中央處理單元(CPU)51，隨機(jī)存取存儲(chǔ)器(RAM)53，通信接口(I/F)57和總線62。ROM 52在其中存儲(chǔ)計(jì)算機(jī)程序，例如，使計(jì)算機(jī)執(zhí)行內(nèi)插幀創(chuàng)建的內(nèi)插幀創(chuàng)建計(jì)算機(jī)程序。CPU 51根據(jù)位于ROM 52中的計(jì)算機(jī)程序控制內(nèi)插幀創(chuàng)建設(shè)備10中的每個(gè)單元。RAM 53在其中保存對(duì)于內(nèi)插幀創(chuàng)建設(shè)備10的控制所必須的各種數(shù)據(jù)。通信I/F 57將內(nèi)插幀創(chuàng)建設(shè)備10連接到網(wǎng)絡(luò)上以進(jìn)行通信。總線62連接內(nèi)插幀創(chuàng)建設(shè)備10中的每個(gè)單元。
在內(nèi)插幀創(chuàng)建設(shè)備10中的內(nèi)插幀創(chuàng)建計(jì)算機(jī)程序可以以計(jì)算機(jī)可讀記錄媒體的形式被提供，例如內(nèi)插幀創(chuàng)建計(jì)算機(jī)程序可以以安裝格式或可執(zhí)行格式記錄其上的光盤只讀存儲(chǔ)器(CD-ROM)，軟盤(FD)或數(shù)字多功能光盤(DVD)。
在這種情況下，內(nèi)插幀創(chuàng)建計(jì)算機(jī)程序被設(shè)計(jì)以從這種計(jì)算機(jī)可讀記錄媒體中讀出，并在內(nèi)插幀創(chuàng)建設(shè)備10上執(zhí)行，以使得該計(jì)算機(jī)程序被載入到內(nèi)插幀創(chuàng)建設(shè)備10的主存儲(chǔ)器中，并且諸如在圖1中所示的每個(gè)單元在主存儲(chǔ)器上被形成。
可替換地，當(dāng)計(jì)算機(jī)被連接到諸如因特網(wǎng)的網(wǎng)絡(luò)，在其上存有根據(jù)第一實(shí)施側(cè)的內(nèi)插幀創(chuàng)建計(jì)算機(jī)程序時(shí)，該計(jì)算機(jī)程序可通過(guò)從網(wǎng)絡(luò)下載被提供。
不同的修改和改進(jìn)可被添加到第一實(shí)施例中。
作為這樣的修改中的一種，第一修改允許失配運(yùn)動(dòng)向量賦予單元106為失配區(qū)域提取任意可能的運(yùn)動(dòng)向量，而不僅限于如第一實(shí)施例中所描述的與該失配區(qū)域相鄰的塊的運(yùn)動(dòng)向量。
例如，歸因于主題圖像的特征，如果存在位于離失配區(qū)域有些距離的區(qū)域中的運(yùn)動(dòng)向量適合于該主題圖像的可能性，除了相鄰塊的運(yùn)動(dòng)向量之外，失配運(yùn)動(dòng)向量賦予單元106可以提取在某一距離內(nèi)的區(qū)域中的運(yùn)動(dòng)向量作為候選，從而使失配運(yùn)動(dòng)向量賦予單元106能夠選擇一個(gè)更精確的運(yùn)動(dòng)向量。
在第一實(shí)施例中，匹配運(yùn)動(dòng)向量賦予單元104將運(yùn)動(dòng)估計(jì)單元100計(jì)算的運(yùn)動(dòng)向量賦予匹配區(qū)域，而失配運(yùn)動(dòng)向量賦予單元106將相鄰參考?jí)K的運(yùn)動(dòng)向量賦予失配區(qū)域。除此之外，作為第二修改，由運(yùn)動(dòng)估計(jì)單元100計(jì)算的運(yùn)動(dòng)向量可被首先賦予所有參考?jí)K。當(dāng)區(qū)域判定單元102判定一個(gè)失配區(qū)域，且不同的運(yùn)動(dòng)向量需要被賦予時(shí)，已被賦予的運(yùn)動(dòng)向量被其它適合的運(yùn)動(dòng)向量代替。這在某些情況下能夠?qū)崿F(xiàn)更有效的處理。
根據(jù)第三修改，當(dāng)失配區(qū)域的尺寸比預(yù)定尺寸小時(shí)，該區(qū)域可被包含進(jìn)周邊的匹配區(qū)域，而不是被設(shè)置為失配區(qū)域。
例如，如果包含在失配區(qū)域中的像素?cái)?shù)目非常小，例如一個(gè)像素時(shí)，很難精確檢測(cè)該像素的運(yùn)動(dòng)向量。因此，這種小區(qū)域類似于周圍的匹配區(qū)域進(jìn)行處理，而不是作為失配區(qū)域進(jìn)行處理。
這允許被錯(cuò)誤判定的失配區(qū)域，例如由于噪聲被錯(cuò)誤判定的失配區(qū)域，被轉(zhuǎn)換為匹配區(qū)域，從而改善運(yùn)動(dòng)向量檢測(cè)的精度。
在另一個(gè)例子中，如果匹配區(qū)域分散在一個(gè)失配區(qū)域中，運(yùn)動(dòng)向量不適當(dāng)?shù)膮^(qū)域可被修改為運(yùn)動(dòng)向量適當(dāng)?shù)膮^(qū)域。具體地，孤立點(diǎn)可通過(guò)使用運(yùn)動(dòng)向量適當(dāng)區(qū)域和運(yùn)動(dòng)向量不適當(dāng)區(qū)域的兩個(gè)值，或通過(guò)用形態(tài)學(xué)計(jì)算進(jìn)行過(guò)濾來(lái)消除。需要注意的是如果大的區(qū)域作為孤立點(diǎn)被消除，在同種情況下現(xiàn)有的小區(qū)域可被消除。
在第一實(shí)施例中，區(qū)域判定單元102通過(guò)比較相關(guān)值和門限來(lái)判斷一個(gè)區(qū)域是否匹配。門限并沒(méi)有特別限定。根據(jù)第四修改，舉個(gè)例子，門限可以是相對(duì)值，也可以是在另一個(gè)例子中的絕對(duì)值。
此外，門限可逐幀改變。例如，當(dāng)屏幕是暗的時(shí)，該門限可被置為更低，從而實(shí)現(xiàn)在暗的屏幕上包含不同運(yùn)動(dòng)的區(qū)域的精確判定。此外，在邊界處的門限可被置為更高，從而實(shí)現(xiàn)邊界的精確判定。
根據(jù)第五修改，區(qū)域判定單元102能夠計(jì)算色度而不是第一實(shí)施例中的亮度的相關(guān)。
在如圖21所示的根據(jù)本發(fā)明第二實(shí)施例的內(nèi)插幀創(chuàng)建設(shè)備11中，失配運(yùn)動(dòng)向量賦予單元107指定一個(gè)在其中找不到任何合適的運(yùn)動(dòng)向量的區(qū)域，即未檢測(cè)區(qū)域。運(yùn)動(dòng)補(bǔ)償單元109將相鄰像素的均值，而不是相鄰塊的運(yùn)動(dòng)向量賦予該未檢測(cè)區(qū)域。
如圖22所示，在包含于內(nèi)插幀創(chuàng)建內(nèi)的失配運(yùn)動(dòng)向量賦予(步驟S106)中，最優(yōu)運(yùn)動(dòng)向量被計(jì)算(步驟S148)，然后在第一參考幀200中的像素P1p和根據(jù)該最優(yōu)運(yùn)動(dòng)向量定義的第二參考幀300中的像素P2pk之間的絕對(duì)差與門限進(jìn)行比較。如果絕對(duì)差比該門限小，即相關(guān)高，該運(yùn)動(dòng)向量被確定為像素P1p的運(yùn)動(dòng)向量(步驟S156)。相反地，如果絕對(duì)差比該門限大，即相關(guān)低，該運(yùn)動(dòng)向量不被使用，且像素P1p被判定為未檢測(cè)區(qū)域(步驟S158)。
在根據(jù)第二實(shí)施例的運(yùn)動(dòng)補(bǔ)償(步驟S108)中，與未檢測(cè)區(qū)域相對(duì)應(yīng)的內(nèi)插幀中的區(qū)域被運(yùn)動(dòng)補(bǔ)償單元109賦以第一參考?jí)K中與該未檢測(cè)區(qū)域相鄰的像素的亮度值的均值。
如果失配區(qū)域?qū)?yīng)于一個(gè)新出現(xiàn)的對(duì)象或在包含該失配區(qū)域的幀中由噪聲引起的區(qū)域，任意相鄰第一參考?jí)K的運(yùn)動(dòng)向量與該失配區(qū)域的正確運(yùn)動(dòng)向量不匹配。因此，在一些情況下，適合于該失配區(qū)域的任意運(yùn)動(dòng)向量不能從相鄰第一參考?jí)K的運(yùn)動(dòng)向量中選擇。在這種情況下，將相鄰第一參考?jí)K的運(yùn)動(dòng)向量賦予該失配區(qū)域作為其運(yùn)動(dòng)向量是不利的。因此，在這種情況下，內(nèi)插幀創(chuàng)建設(shè)備11不使用相鄰第一參考?jí)K的運(yùn)動(dòng)向量。這可以降低運(yùn)動(dòng)向量的誤檢測(cè)。此外，這可以防止內(nèi)插幀創(chuàng)建設(shè)備11通過(guò)使用錯(cuò)誤檢測(cè)的運(yùn)動(dòng)向量創(chuàng)建不適當(dāng)?shù)膬?nèi)插幀。
內(nèi)插幀創(chuàng)建設(shè)備11的其它配置及由其執(zhí)行的其它處理與內(nèi)插幀創(chuàng)建設(shè)備10中的相同。
根據(jù)第二實(shí)施例的第一修改，運(yùn)動(dòng)補(bǔ)償單元109可將第一參考?jí)K中相鄰像素的中值，而不是相鄰像素的均值賦予未檢測(cè)區(qū)域。
根據(jù)第二實(shí)施例的第二修改，未檢測(cè)區(qū)域可由運(yùn)動(dòng)補(bǔ)償單元109賦以運(yùn)動(dòng)估計(jì)單元100為包含該未檢測(cè)區(qū)域的第一參考?jí)K計(jì)算的運(yùn)動(dòng)向量。
如圖23所示，根據(jù)本發(fā)明第三實(shí)施例的運(yùn)動(dòng)向量檢測(cè)器12包括運(yùn)動(dòng)估計(jì)單元100，區(qū)域判定單元102，匹配運(yùn)動(dòng)向量賦予單元104，失配運(yùn)動(dòng)向量賦予單元106和幀存儲(chǔ)器110。每個(gè)單元的功能與根據(jù)第一實(shí)施例的每個(gè)對(duì)應(yīng)單元相同。根據(jù)第一實(shí)施例的內(nèi)插幀創(chuàng)建設(shè)備10根據(jù)匹配運(yùn)動(dòng)向量賦予單元104和失配運(yùn)動(dòng)向量賦予單元106賦予的運(yùn)動(dòng)向量創(chuàng)建內(nèi)插幀。相反地，根據(jù)第三實(shí)施例的運(yùn)動(dòng)向量檢測(cè)器12執(zhí)行直至運(yùn)動(dòng)向量賦予的處理。運(yùn)動(dòng)向量檢測(cè)器12能夠精確計(jì)算比宏塊小的每個(gè)區(qū)域的運(yùn)動(dòng)向量。
根據(jù)本發(fā)明第四實(shí)施例的內(nèi)插幀創(chuàng)建設(shè)備13將內(nèi)插幀分割成宏塊，并根據(jù)內(nèi)插幀中的宏塊估計(jì)第一參考幀200和第二參考幀300中的運(yùn)動(dòng)。
這樣，內(nèi)插幀創(chuàng)建設(shè)備13分割內(nèi)插幀400，以使得圖像的任何部分不能在內(nèi)插幀400上相互重疊，并且該內(nèi)插幀400不會(huì)恰好包含任何在其上圖像的任一部分沒(méi)被創(chuàng)建的區(qū)域，從而使內(nèi)插幀創(chuàng)建設(shè)備13能夠創(chuàng)建精確的內(nèi)插幀。
如圖24所示，類似內(nèi)插幀創(chuàng)建設(shè)備10，內(nèi)插幀創(chuàng)建設(shè)備13包括運(yùn)動(dòng)估計(jì)單元120，區(qū)域判定單元122，匹配運(yùn)動(dòng)向量賦予單元124，失配運(yùn)動(dòng)向量賦予單元106，運(yùn)動(dòng)補(bǔ)償單元128和幀存儲(chǔ)器110。
如圖25所示，運(yùn)動(dòng)估計(jì)單元120將內(nèi)插幀400分割成宏塊，并獲得包含內(nèi)插塊410在內(nèi)的多個(gè)內(nèi)插塊。然后運(yùn)動(dòng)估計(jì)單元120根據(jù)內(nèi)插塊410估計(jì)第一參考幀200中的第一參考?jí)K250和第二參考幀300中的第二參考?jí)K350的運(yùn)動(dòng)。這里，第一參考?jí)K250和第二參考?jí)K350都具有與內(nèi)插塊410同樣的形狀和相同的尺寸。
另外，根據(jù)第四實(shí)施例的區(qū)域判定單元122判斷內(nèi)插幀400中的每個(gè)區(qū)域是匹配區(qū)域還是失配區(qū)域。然后匹配運(yùn)動(dòng)向量賦予單元124將運(yùn)動(dòng)向量賦予內(nèi)插幀400中的匹配區(qū)域，而失配運(yùn)動(dòng)向量賦予單元126將運(yùn)動(dòng)向量賦予內(nèi)插幀400中的失配區(qū)域。
如圖26所示，在內(nèi)插幀創(chuàng)建中，首先運(yùn)動(dòng)估計(jì)單元120分割內(nèi)插幀以獲得內(nèi)插塊(步驟S200)，然后，運(yùn)動(dòng)估計(jì)單元120根據(jù)這些內(nèi)插塊執(zhí)行運(yùn)動(dòng)估計(jì)(步驟S202)。接著區(qū)域判定單元122執(zhí)行區(qū)域判定(步驟S204)。
隨后匹配運(yùn)動(dòng)向量賦予單元124將運(yùn)動(dòng)估計(jì)單元120計(jì)算的運(yùn)動(dòng)向量賦予匹配區(qū)域(步驟S206)。接著失配運(yùn)動(dòng)向量賦予單元126將賦予相鄰內(nèi)插塊的運(yùn)動(dòng)向量賦予失配區(qū)域(步驟S208)。運(yùn)動(dòng)補(bǔ)償單元128隨后通過(guò)使用匹配運(yùn)動(dòng)向量賦予單元124賦予的運(yùn)動(dòng)向量和失配運(yùn)動(dòng)向量賦予單元126賦予的運(yùn)動(dòng)向量執(zhí)行運(yùn)動(dòng)補(bǔ)償以將圖像賦予內(nèi)插幀(步驟S210)。然后由內(nèi)插幀創(chuàng)建設(shè)備13執(zhí)行的內(nèi)插幀創(chuàng)建被完成。
如圖27所示，在運(yùn)動(dòng)估計(jì)(步驟S202)中，首先運(yùn)動(dòng)估計(jì)單元120從包含于內(nèi)插幀400內(nèi)的內(nèi)插塊中提取內(nèi)插塊R0(i)(步驟S210)。然后，運(yùn)動(dòng)估計(jì)單元120在根據(jù)在中間的內(nèi)插塊R0(i)指定的第一參考?jí)KR1(i)和第二參考?jí)KR2(i)對(duì)中提取具有最高相關(guān)的一對(duì)，并從所提取的對(duì)中獲得運(yùn)動(dòng)向量MV(i)(步驟S212)。
運(yùn)動(dòng)估計(jì)單元100對(duì)所有內(nèi)插塊執(zhí)行上述處理(步驟S214中為“是”)，然后完成運(yùn)動(dòng)估計(jì)(步驟S202)。如果存在任何未被處理的內(nèi)插塊(步驟S214中為“否”)，運(yùn)動(dòng)估計(jì)單元100在i值上加“1”(步驟S216)，然后返回到步驟S210。
如圖28所示，在區(qū)域判定(步驟S204)中，首先區(qū)域判定單元122將第一參考幀和第二參考幀中的所有像素設(shè)置為失配區(qū)域(步驟S220)。然后，區(qū)域判定單元122計(jì)算第一參考?jí)KR1(i)中每個(gè)單像素和第二參考?jí)KR2(i)中其對(duì)應(yīng)像素之間的相關(guān)，其中第一參考?jí)KR1(i)和第二參考?jí)KR2(i)都與某一內(nèi)插塊R0(i)相關(guān)聯(lián)(步驟S222)。區(qū)域判定單元122接著根據(jù)計(jì)算的相關(guān)判斷兩個(gè)像素是否相互匹配，如果區(qū)域判定單元122判定這些像素是匹配的，這些像素被從失配區(qū)域轉(zhuǎn)換到匹配區(qū)域(步驟S224)。
如果存在任何沒(méi)有被執(zhí)行上述處理的內(nèi)插塊(步驟S226中為“否”)，區(qū)域判定單元122在i值上加“1”(步驟S228)，然后返回到步驟S222。當(dāng)區(qū)域判定單元122對(duì)所有內(nèi)插塊執(zhí)行了步驟S222和S224中的處理時(shí)(步驟S226中為“是”)，區(qū)域判定被完成(步驟S204)。
如圖29所示，當(dāng)區(qū)域判定在內(nèi)插塊420，以及都與內(nèi)插塊420相對(duì)應(yīng)的第一參考?jí)K260和第二參考?jí)K320上被執(zhí)行時(shí)，對(duì)應(yīng)對(duì)象510的區(qū)域成為匹配區(qū)域。然而，包含在第一參考?jí)K260中的背景500部分和包含在第二參考?jí)K360中的背景500部分對(duì)應(yīng)于背景500中的不同部分，因此這些部分成為失配區(qū)域。相對(duì)地，如圖30所示，同樣在內(nèi)插塊420中，對(duì)應(yīng)對(duì)象510的區(qū)域成為匹配區(qū)域424，而對(duì)應(yīng)背景500的區(qū)域成為失配區(qū)域422a和422b。
如圖31所示，在失配運(yùn)動(dòng)向量賦予中(步驟S208)，首先，失配運(yùn)動(dòng)向量賦予單元126從內(nèi)插幀400中提取失配區(qū)域HP0(步驟S240)。然后，失配運(yùn)動(dòng)向量賦予單元126提取與失配區(qū)域HP0相鄰的內(nèi)插塊的運(yùn)動(dòng)向量MVk(k＝1到S，S是出現(xiàn)在失配區(qū)域HP0周圍的運(yùn)動(dòng)向量MV的個(gè)數(shù))(步驟S242)。這里，相鄰內(nèi)插塊的所有運(yùn)動(dòng)向量都被提取。例如，如果存在兩個(gè)運(yùn)動(dòng)向量，失配運(yùn)動(dòng)向量賦予單元126提取兩個(gè)運(yùn)動(dòng)向量。如果所有相鄰的內(nèi)插塊具有相同的運(yùn)動(dòng)向量，失配運(yùn)動(dòng)向量賦予單元126提取一個(gè)運(yùn)動(dòng)向量。
下面，失配運(yùn)動(dòng)向量賦予單元126將提取的運(yùn)動(dòng)向量MVk應(yīng)用于失配區(qū)域HP0中的每個(gè)像素HP0p(p是失配區(qū)域HP0中的像素)，然后提取第一參考幀200中的像素H1k和第二參考幀300中的像素H2k(k與運(yùn)動(dòng)向量MVk的k相對(duì)應(yīng))(步驟S244)。換句話說(shuō)，提取的像素H1k和像素H2k對(duì)的個(gè)數(shù)等于提取的運(yùn)動(dòng)向量的個(gè)數(shù)。
其次，失配運(yùn)動(dòng)向量賦予單元126計(jì)算在像素H1k和像素H2k之間的相關(guān)(步驟S246)。具體地，在像素H1k和像素H2k之間的亮度絕對(duì)差被計(jì)算。然后，失配運(yùn)動(dòng)向量賦予單元126根據(jù)計(jì)算的相關(guān)從運(yùn)動(dòng)向量MVk中選擇適合于像素HP0p的運(yùn)動(dòng)向量(步驟S248)。如果提取的運(yùn)動(dòng)向量是多個(gè)，失配運(yùn)動(dòng)向量賦予單元126在根據(jù)每個(gè)運(yùn)動(dòng)向量計(jì)算的絕對(duì)差中選擇對(duì)應(yīng)于最小絕對(duì)差的運(yùn)動(dòng)向量，即在計(jì)算的相關(guān)中具有最高相關(guān)的運(yùn)動(dòng)向量。
當(dāng)失配運(yùn)動(dòng)向量賦予單元126對(duì)失配區(qū)域中的所有像素執(zhí)行了上述處理時(shí)(步驟S250中為“是”)，失配運(yùn)動(dòng)向量賦予(步驟S208)被完成。如果存在任何沒(méi)有執(zhí)行上述處理的像素(步驟S250中為“否”)，失配運(yùn)動(dòng)向量賦予單元126在p值上加“1”(步驟S252)，然后返回到步驟S244。
在如圖32所示的每個(gè)內(nèi)插塊中，由運(yùn)動(dòng)估計(jì)單元100計(jì)算的運(yùn)動(dòng)向量被標(biāo)出。區(qū)域判定的結(jié)果也被示出。例如，相鄰內(nèi)插塊的運(yùn)動(dòng)向量MV1是針對(duì)內(nèi)插塊420的左上像素和左下像素的失配區(qū)域422a和422b提取的。
在這種情況下，八個(gè)相鄰內(nèi)插塊各自的運(yùn)動(dòng)向量中任一個(gè)是MV1。因此，失配運(yùn)動(dòng)向量賦予單元126確定運(yùn)動(dòng)向量MV1是內(nèi)插塊420中的失配區(qū)域422a和422b的運(yùn)動(dòng)向量。另一方面，運(yùn)動(dòng)向量MV1和MV2是針對(duì)內(nèi)插塊430中中間靠右像素的失配區(qū)域432提取的。在這種情況下，失配運(yùn)動(dòng)向量賦予單元126確定關(guān)于每個(gè)運(yùn)動(dòng)向量的相關(guān)，并選擇獲得高相關(guān)的運(yùn)動(dòng)向量。在這個(gè)例子中，運(yùn)動(dòng)向量MV2被選擇。
內(nèi)插幀創(chuàng)建設(shè)備13的其它配置及其執(zhí)行的其它處理與內(nèi)插幀創(chuàng)建設(shè)備10中的相同。
如圖33所示，根據(jù)本發(fā)明第五實(shí)施例的內(nèi)插幀創(chuàng)建設(shè)備14具有與內(nèi)插幀創(chuàng)建設(shè)備13幾乎相同的功能配置。內(nèi)插幀創(chuàng)建設(shè)備14根據(jù)內(nèi)插幀400估計(jì)第一參考幀200和第二參考幀300中的運(yùn)動(dòng)向量。另外，內(nèi)插幀創(chuàng)建設(shè)備14通過(guò)使用第一參考幀200，第二參考幀300和其它幀確定賦予失配區(qū)域的運(yùn)動(dòng)向量。
一般而言，運(yùn)動(dòng)圖像有時(shí)包含一個(gè)所謂的暗區(qū)域，在其中運(yùn)動(dòng)向量無(wú)法從兩幀中提取。內(nèi)插幀創(chuàng)建設(shè)備14可通過(guò)使用多幀將合適的圖像賦予這種暗區(qū)域。
如圖34所示，除了第一參考幀200，第二參考幀300和其間的內(nèi)插幀400，內(nèi)插幀創(chuàng)建設(shè)備14還使用第三參考幀600和第四參考幀700。第三參考幀600是時(shí)間上在第一參考幀200之前的幀，而第四參考幀700是時(shí)間上在第二參考幀300之后的幀。
如圖35所示，在失配運(yùn)動(dòng)向量賦予(步驟S208)中，失配運(yùn)動(dòng)向量賦予單元130提取與失配區(qū)域HP0相鄰的內(nèi)插塊各自的運(yùn)動(dòng)向量(步驟S242)，然后根據(jù)所提取的每個(gè)運(yùn)動(dòng)向量MVk提取分別對(duì)應(yīng)于第一至第四參考幀200，300，600和700的像素HP1k，HP2k，HP3k和HP4k(步驟S260)。
其次，失配運(yùn)動(dòng)向量賦予單元130計(jì)算在第一參考幀200中的像素HP1k和第二參考幀300中的像素HP2k之間的相關(guān)(步驟S262)。然后失配運(yùn)動(dòng)向量賦予單元130計(jì)算在第一參考幀200中的像素HP1k和第三參考幀600中的像素HP3k之間的相關(guān)(步驟S264)。接著失配運(yùn)動(dòng)向量賦予單元130計(jì)算在第二參考幀300中的像素HP2k和第四參考幀700中的像素HP4k之間的相關(guān)(步驟S266)。
根據(jù)計(jì)算的相關(guān)，失配運(yùn)動(dòng)向量賦予單元130選擇與在所計(jì)算的相關(guān)中具有最高相關(guān)的一對(duì)像素相對(duì)應(yīng)的運(yùn)動(dòng)向量作為賦予像素HP0p的運(yùn)動(dòng)向量(步驟S268)。當(dāng)失配運(yùn)動(dòng)向量賦予單元130對(duì)失配區(qū)域HP0中的所有像素執(zhí)行了上述處理時(shí)(步驟S270中為“是”)，失配運(yùn)動(dòng)向量賦予被完成(步驟S208)。
如圖36所示的內(nèi)插幀400被分割成如圖37所示的匹配區(qū)域402和失配區(qū)域404。在針對(duì)像素HP01的運(yùn)動(dòng)向量計(jì)算中，在像素HP32和HP12之間的計(jì)算的相關(guān)是最高的。因此，針對(duì)像素HP01，對(duì)應(yīng)于像素HP32和HP12的運(yùn)動(dòng)向量被選擇。
內(nèi)插幀創(chuàng)建設(shè)備14的其它配置及其執(zhí)行的其它處理與內(nèi)插幀創(chuàng)建設(shè)備13中的相同。
如圖38所示，根據(jù)本發(fā)明第六實(shí)施例的內(nèi)插幀創(chuàng)建設(shè)備15的功能配置與內(nèi)插幀創(chuàng)建設(shè)備13和14中的相似。如圖39所示，在失配運(yùn)動(dòng)向量賦予(步驟S208)中，在內(nèi)插幀創(chuàng)建設(shè)備15內(nèi)，失配運(yùn)動(dòng)向量賦予單元132根據(jù)在像素間計(jì)算的相關(guān)在各自幀內(nèi)選擇運(yùn)動(dòng)向量(步驟S268)，然后將由所選運(yùn)動(dòng)向量指定的兩像素之間的絕對(duì)差與門限進(jìn)行比較。如果絕對(duì)差小于該門限，即相關(guān)為高(步驟S280中為“是”)，失配運(yùn)動(dòng)向量賦予單元132將該運(yùn)動(dòng)向量確定為像素HP0p的運(yùn)動(dòng)向量(步驟S282)。相反地，如果絕對(duì)差大于該門限，即相關(guān)為低(在步驟S280中為“否”)，該運(yùn)動(dòng)向量不被使用，并且像素HP0p被判定為未檢測(cè)區(qū)域(步驟S284)。
對(duì)于內(nèi)插幀中對(duì)應(yīng)于未檢測(cè)區(qū)域的區(qū)域，運(yùn)動(dòng)向量通過(guò)使用運(yùn)動(dòng)補(bǔ)償(步驟S210)中的失配區(qū)域由運(yùn)動(dòng)估計(jì)確定。如圖40所示，舉個(gè)例子，運(yùn)動(dòng)估計(jì)通過(guò)使用在內(nèi)插幀400中的失配區(qū)域內(nèi)的像素HP02，第一參考幀200中的失配區(qū)域和第三參考幀600中的失配區(qū)域來(lái)執(zhí)行。另外，運(yùn)動(dòng)估計(jì)通過(guò)使用像素HP02，第二參考幀300中的失配區(qū)域和第四參考幀700來(lái)執(zhí)行。根據(jù)運(yùn)動(dòng)估計(jì)的結(jié)果，運(yùn)動(dòng)向量被確定。
這樣，在第一參考幀和第二參考幀中只有低相關(guān)的區(qū)域被用于運(yùn)動(dòng)估計(jì)的限制下，受處理支配的區(qū)域可被限制，從而提高處理的效率。另外，這能夠提高運(yùn)動(dòng)估計(jì)的精度。
內(nèi)插幀創(chuàng)建設(shè)備15的其它配置及其執(zhí)行的其它處理與內(nèi)插幀創(chuàng)建設(shè)備13和14中的相同。
根據(jù)第六實(shí)施例的一個(gè)修改，在第四實(shí)施例中的失配運(yùn)動(dòng)向量賦予(步驟S208)可與第六實(shí)施例中的合并。具體地，運(yùn)動(dòng)向量通過(guò)使用第一參考幀和第二參考幀進(jìn)行選擇，類似在第四實(shí)施例中解釋的失配運(yùn)動(dòng)向量賦予(步驟S208)。如果與該運(yùn)動(dòng)向量關(guān)聯(lián)的相關(guān)是低的，其它運(yùn)動(dòng)向量根據(jù)第三參考幀和第四參考幀被額外選取，類似在第六實(shí)施例中解釋的失配運(yùn)動(dòng)向量估計(jì)(步驟S208)。這可以提高運(yùn)動(dòng)檢測(cè)的精度，此外，可創(chuàng)建精確的內(nèi)插幀。
其它優(yōu)點(diǎn)和變型對(duì)本領(lǐng)域的技術(shù)人員是顯而易見(jiàn)的。所以，本發(fā)明在其更寬的方面并不限于在這里顯示和描述的具體細(xì)節(jié)和典型實(shí)施例。因此，各種變型可被實(shí)現(xiàn)而不背離由所附權(quán)利要求及其等價(jià)物定義的總體發(fā)明概念的精神或范圍。
權(quán)利要求
1.一種在第一參考幀和第二參考幀之間插入一個(gè)內(nèi)插幀的設(shè)備，該設(shè)備包括通過(guò)參考第一參考幀和第二參考幀檢測(cè)內(nèi)播幀中每個(gè)內(nèi)插塊的主運(yùn)動(dòng)向量的運(yùn)動(dòng)向量檢測(cè)單元；檢測(cè)第一參考幀內(nèi)第一參考?jí)K中的第一匹配區(qū)域、第二參考幀內(nèi)第二參考?jí)K中的第二匹配區(qū)域、第一參考?jí)K中的第一失配區(qū)域和第二參考?jí)K中的第二失配區(qū)域的區(qū)域檢測(cè)單元，其中，第一匹配區(qū)域和第二匹配區(qū)域是匹配并相互對(duì)應(yīng)的，第一失配區(qū)域和第二失配區(qū)域是失配并相互對(duì)應(yīng)的，第一參考?jí)K和第二參考?jí)K都具有與內(nèi)插塊相同的尺寸和同樣的形狀，并且第一參考?jí)K和第二參考?jí)K中的每一個(gè)都是根據(jù)該內(nèi)插塊的主運(yùn)動(dòng)向量指定的；將每個(gè)內(nèi)插塊的主運(yùn)動(dòng)向量賦予每個(gè)內(nèi)插塊中的內(nèi)插匹配區(qū)域的賦予單元，其中所述內(nèi)插匹配區(qū)域?qū)?yīng)于第一匹配區(qū)域和第二匹配區(qū)域；根據(jù)在內(nèi)插失配區(qū)域周圍的周邊內(nèi)插塊決定要賦予每個(gè)內(nèi)插塊中內(nèi)插失配區(qū)域的次運(yùn)動(dòng)向量的決定單元，其中所述內(nèi)插失配區(qū)域?qū)?yīng)于第一失配區(qū)域和第二失配區(qū)域，所述第一失配區(qū)域和第二失配區(qū)域被判定單元判定為彼此失配；以及根據(jù)下列運(yùn)動(dòng)向量中至少一個(gè)運(yùn)動(dòng)向量中的所有而將圖像賦予內(nèi)插幀上的運(yùn)動(dòng)補(bǔ)償單元由所述賦予單元賦予內(nèi)插匹配區(qū)域的主運(yùn)動(dòng)向量；以及由所述決定單元為內(nèi)插失配區(qū)域決定的次運(yùn)動(dòng)向量。
2.根據(jù)權(quán)利要求1的設(shè)備，其中決定單元從內(nèi)插失配區(qū)域周圍的周邊內(nèi)插塊的至少一個(gè)主運(yùn)動(dòng)向量中決定次運(yùn)動(dòng)向量。
3.根據(jù)權(quán)利要求2的設(shè)備，其中當(dāng)存在在內(nèi)插失配區(qū)域周圍的周邊內(nèi)插塊的多個(gè)主運(yùn)動(dòng)向量時(shí)，決定單元根據(jù)在第一參考?jí)K中的區(qū)域和第二參考?jí)K中的區(qū)域之間的相關(guān)從所述多個(gè)主運(yùn)動(dòng)向量中決定次運(yùn)動(dòng)向量，每個(gè)區(qū)域根據(jù)該內(nèi)插失配區(qū)域和該多個(gè)主運(yùn)動(dòng)向量中的每一個(gè)來(lái)指定。
4.根據(jù)權(quán)利要求3的設(shè)備，其中當(dāng)存在在內(nèi)插失配區(qū)域周圍的周邊內(nèi)插塊的多個(gè)主運(yùn)動(dòng)向量時(shí)，決定單元根據(jù)在第一參考?jí)K中的區(qū)域、第二參考?jí)K中的區(qū)域和第三參考幀內(nèi)第三參考?jí)K中的區(qū)域之間的相關(guān)從所述多個(gè)主運(yùn)動(dòng)向量中決定次運(yùn)動(dòng)向量，每個(gè)區(qū)域根據(jù)該內(nèi)插失配區(qū)域和該多個(gè)主運(yùn)動(dòng)向量中的每一個(gè)來(lái)指定。
5.根據(jù)權(quán)利要求4的設(shè)備，其中當(dāng)存在在內(nèi)插失配區(qū)域周圍的周邊內(nèi)插塊的多個(gè)主運(yùn)動(dòng)向量時(shí)，決定單元根據(jù)在第一失配區(qū)域中的區(qū)域、第二失配區(qū)域中的區(qū)域和第三參考?jí)K中的區(qū)域之間的相關(guān)從所述多個(gè)主運(yùn)動(dòng)向量中決定次運(yùn)動(dòng)向量，每個(gè)區(qū)域根據(jù)該內(nèi)插失配區(qū)域和該多個(gè)主運(yùn)動(dòng)向量中的每一個(gè)來(lái)指定。
6.根據(jù)權(quán)利要求1的設(shè)備，其中當(dāng)在第一失配區(qū)域和第二失配區(qū)域之間的相關(guān)比門限高時(shí)，決定單元根據(jù)在該內(nèi)插失配區(qū)域周圍的周邊內(nèi)插塊決定次運(yùn)動(dòng)向量。
7.根據(jù)權(quán)利要求6的設(shè)備，其中當(dāng)存在在內(nèi)插失配區(qū)域周圍的周邊內(nèi)插塊的多個(gè)主運(yùn)動(dòng)向量時(shí)，并且當(dāng)?shù)谝皇鋮^(qū)域和第二失配區(qū)域具有小于門限的低相關(guān)時(shí)，決定單元根據(jù)在第一參考?jí)K中的區(qū)域、第二參考?jí)K中的區(qū)域和第三參考幀內(nèi)第三參考?jí)K中的區(qū)域之間的相關(guān)從所述多個(gè)主運(yùn)動(dòng)向量中決定次運(yùn)動(dòng)向量，每個(gè)區(qū)域根據(jù)該內(nèi)插失配區(qū)域和該多個(gè)主運(yùn)動(dòng)向量中的每一個(gè)來(lái)指定。
8.根據(jù)權(quán)利要求1的設(shè)備，其中當(dāng)包含在內(nèi)插失配區(qū)域中的像素的個(gè)數(shù)小于門限時(shí)，該內(nèi)插失配區(qū)域被轉(zhuǎn)換為內(nèi)插匹配區(qū)域，并且轉(zhuǎn)換后的內(nèi)插匹配區(qū)域被賦以該內(nèi)插塊的主運(yùn)動(dòng)向量。
9.一種在第一參考幀和第二參考幀之間插入一個(gè)內(nèi)插幀的設(shè)備，該設(shè)備包括通過(guò)參考第一參考幀和第二參考幀檢測(cè)第一參考?jí)K的主運(yùn)動(dòng)向量的運(yùn)動(dòng)向量檢測(cè)單元，所述第一參考?jí)K通過(guò)分割第一參考幀獲得；檢測(cè)在第一參考?jí)K中的第一匹配區(qū)域和在第二參考幀內(nèi)第二參考?jí)K中的第二匹配區(qū)域、第一參考?jí)K中的第一失配區(qū)域和第二參考?jí)K中的第二失配區(qū)域的區(qū)域檢測(cè)單元，其中，第一匹配區(qū)域和第二匹配區(qū)域是匹配并相互對(duì)應(yīng)的，第一失配區(qū)域和第二失配區(qū)域是失配并相互對(duì)應(yīng)的，第二參考?jí)K具有與第一參考?jí)K相同的尺寸和同樣的形狀，并且第二參考?jí)K中的第二匹配區(qū)域是根據(jù)第一參考?jí)K的主運(yùn)動(dòng)向量指定的；將主運(yùn)動(dòng)向量賦予第一匹配區(qū)域的賦予單元；根據(jù)在第一失配區(qū)域周圍的周邊第一參考?jí)K決定要賦予第一參考?jí)K中第一失配區(qū)域的次運(yùn)動(dòng)向量的決定單元，其中第一失配區(qū)域由判定單元判定為失配；以及根據(jù)下列運(yùn)動(dòng)向量中至少一個(gè)運(yùn)動(dòng)向量中的所有而將圖像賦予內(nèi)插幀上的運(yùn)動(dòng)補(bǔ)償單元由所述賦予單元賦予匹配區(qū)域的主運(yùn)動(dòng)向量；以及由所述決定單元為第一失配區(qū)域決定的次運(yùn)動(dòng)向量。
10.根據(jù)權(quán)利要求9的設(shè)備，其中決定單元從第一失配區(qū)域周圍的周邊第一參考?jí)K的至少一個(gè)主運(yùn)動(dòng)向量決定次運(yùn)動(dòng)向量。
11.根據(jù)權(quán)利要求10的設(shè)備，其中當(dāng)存在在第一失配區(qū)域周圍的周邊第一參考?jí)K的多個(gè)主運(yùn)動(dòng)向量時(shí)，決定單元根據(jù)在第一失配區(qū)域和根據(jù)第一失配區(qū)域和所述多個(gè)主運(yùn)動(dòng)向量中的每一個(gè)指定的第二參考?jí)K中的區(qū)域之間的相關(guān)從該多個(gè)主運(yùn)動(dòng)向量中決定次運(yùn)動(dòng)向量。
12.根據(jù)權(quán)利要求11的設(shè)備，其中決定單元決定次運(yùn)動(dòng)向量以便提供所述相關(guān)的最高值。
13.根據(jù)權(quán)利要求9的設(shè)備，其中當(dāng)在第一失配區(qū)域和被判定單元判定為失配的第二參考?jí)K中的第二失配區(qū)域之間的相關(guān)高于門限時(shí)，所述決定單元根據(jù)在第一失配區(qū)域周圍的周邊第一參考?jí)K決定次運(yùn)動(dòng)向量。
14.根據(jù)權(quán)利要求9的設(shè)備，其中當(dāng)包含在第一參考?jí)K內(nèi)第一失配區(qū)域中的像素的個(gè)數(shù)小于門限時(shí)，該第一失配區(qū)域被轉(zhuǎn)換為匹配區(qū)域，并且轉(zhuǎn)換后的匹配區(qū)域被賦以該第一參考?jí)K的主運(yùn)動(dòng)向量。
全文摘要
本發(fā)明涉及一種用于創(chuàng)建內(nèi)插幀的設(shè)備。區(qū)域檢測(cè)單元檢測(cè)在第一參考幀中第一參考?jí)K內(nèi)的第一匹配區(qū)域，在第二參考幀中第二參考?jí)K內(nèi)的第二匹配區(qū)域。決定單元根據(jù)在失配區(qū)域周圍的周邊內(nèi)插塊決定要賦予每個(gè)內(nèi)插塊中的失配區(qū)域的次運(yùn)動(dòng)向量。運(yùn)動(dòng)補(bǔ)償單元根據(jù)主運(yùn)動(dòng)向量和次運(yùn)動(dòng)向量將圖像賦予內(nèi)插幀。
文檔編號(hào)H04N7/01GK101047779SQ20071008505
公開(kāi)日2007年10月3日 申請(qǐng)日期2007年2月28日 優(yōu)先權(quán)日2006年3月30日
發(fā)明者大脇一泰, 伊藤剛, 三島直, 武山泰豐 申請(qǐng)人:株式會(huì)社東芝