專(zhuān)利名稱(chēng)：圖像處理設(shè)備和方法、記錄介質(zhì)和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備和方法、記錄介質(zhì)和程序。具體地說(shuō)，本發(fā)明涉及其中能夠提高運(yùn)動(dòng)矢量檢測(cè)的精度的圖像處理設(shè)備和方法、記錄介質(zhì)和程序。
背景技術(shù)：
在用于轉(zhuǎn)換圖像的幀頻率的圖像處理設(shè)備中，在專(zhuān)利文獻(xiàn)1中所披露的梯度法用作檢測(cè)在所感興趣塊中的運(yùn)動(dòng)矢量。雖然梯度法具有能夠通過(guò)進(jìn)行簡(jiǎn)化的算術(shù)運(yùn)算來(lái)檢測(cè)低于像素尺寸的運(yùn)動(dòng)的特征，但是該方法對(duì)于在像素單元中檢測(cè)而言精度較差。因此，在普通情況中，一般通過(guò)累積在塊單元中的檢測(cè)值來(lái)進(jìn)行運(yùn)動(dòng)矢量檢測(cè)。
因此，一般來(lái)說(shuō)，通過(guò)使用經(jīng)過(guò)運(yùn)動(dòng)矢量檢測(cè)的所感興趣的像素或設(shè)置在所感興趣塊附近的操作塊中的所有像素來(lái)進(jìn)行梯度操作。理想的是，當(dāng)在操作塊中的像素具有基本上相同的運(yùn)動(dòng)時(shí)，檢測(cè)可能的運(yùn)動(dòng)矢量。
日本待審專(zhuān)利申請(qǐng)文獻(xiàn)No.60-158786發(fā)明內(nèi)容但是，在其運(yùn)動(dòng)與所感興趣的像素或所感興趣的塊的運(yùn)動(dòng)不同的對(duì)象中的像素可以混合進(jìn)操作塊中。在這種情況中，通常檢測(cè)出不可能的運(yùn)動(dòng)矢量，因此造成在運(yùn)動(dòng)矢量檢測(cè)中精度明顯降低的問(wèn)題。另外，在使用所檢測(cè)出的不可能運(yùn)動(dòng)矢量來(lái)進(jìn)行幀頻率轉(zhuǎn)換時(shí)，所得到的生成圖像具有明顯的視覺(jué)衰退例如在圖像中的對(duì)象之間邊界上出現(xiàn)噪聲或不連續(xù)性。
本發(fā)明是鑒于上面的情況作出的，并且旨在改善基于梯度法進(jìn)行運(yùn)動(dòng)矢量檢測(cè)的精度。
本發(fā)明的圖像處理設(shè)備包括有效像素確定裝置，用于確定在操作塊中的像素在檢測(cè)運(yùn)動(dòng)矢量中是否有效，這些像素受到梯度操作以便檢測(cè)運(yùn)動(dòng)矢量；以及梯度操作裝置，用于通過(guò)在操作塊中的像素中只是使用由有效像素確定裝置確定在檢測(cè)運(yùn)動(dòng)矢量中有效的像素來(lái)進(jìn)行梯度操作。
有效像素檢測(cè)裝置可以包括時(shí)間差異確定裝置，用于計(jì)算在受到運(yùn)動(dòng)矢量檢測(cè)的第一幀和在第一幀之后的第二幀之間在操作塊中的像素的時(shí)間像素差異，并且根據(jù)由時(shí)間差異確定裝置計(jì)算出的時(shí)間像素差異，該有效像素確定裝置可以確定在操作塊中的像素在檢測(cè)運(yùn)動(dòng)矢量中是有效的。
該有效像素確定裝置還可以包括時(shí)間差異確定裝置，用于確定由時(shí)間差異計(jì)算裝置計(jì)算出的時(shí)間像素差異是否小于預(yù)定閾值，并且在時(shí)間差異確定裝置確定所計(jì)算出的時(shí)間像素差異小于預(yù)定的閾值時(shí)，有效像素確定裝置可以確定在操作塊中的像素在檢測(cè)運(yùn)動(dòng)矢量中是有效的。
有效像素確定裝置可以包括第一空間差異計(jì)算裝置，用于在受到運(yùn)動(dòng)矢量檢測(cè)的第一幀中計(jì)算在操作塊中像素的第一空間像素差異；第二空間差異計(jì)算裝置，用于在第一幀之后的第二幀中計(jì)算在操作塊中的像素的第二空間像素差異；以及時(shí)間差異計(jì)算裝置，用于計(jì)算在第一幀和第二幀之間在操作塊中的像素的時(shí)間像素差異。根據(jù)分別由第一和第二空間差異計(jì)算裝置和時(shí)間差異計(jì)算裝置計(jì)算出的第一和第二空間像素差異和時(shí)間像素差異，有效像素確定裝置可以確定在操作塊中的像素在檢測(cè)運(yùn)動(dòng)矢量中是有效的。
有效像素確定裝置可以包括梯度相似性確定裝置，用來(lái)確定像素的梯度相似性是否小于預(yù)定的閾值，像素的梯度相似性基于分別由第一和第二空間差異計(jì)算裝置和時(shí)間差異計(jì)算裝置計(jì)算出的第一和第二空間像素差異和時(shí)間像素差異，在該梯度相似性確定裝置確定像素的梯度相似性小于預(yù)定閾值時(shí)，有效像素確定裝置可以確定在操作塊中的像素在檢測(cè)運(yùn)動(dòng)矢量中是有效的。
梯度相似性檢測(cè)裝置可以確定像素梯度的水平相似性和垂直相似性以及像素梯度的水平垂直相似性中的每一個(gè)是否小于預(yù)定閾值，這些相似性基于第一和第二空間像素差異和時(shí)間像素差異，并且在梯度相似性確定裝置確定像素梯度的水平相似性和垂直相似性以及像素梯度的水平垂直相似性中的至少一個(gè)小于預(yù)定閾值時(shí)，梯度相似性確定裝置可以確定在操作塊中的像素在檢測(cè)運(yùn)動(dòng)矢量中是有效的。
梯度相似性確定裝置可以確定像素梯度的水平相似性和垂直相似性是否小于預(yù)定閾值，這些相似性基于第一和第二空間像素差異和時(shí)間像素差異，并且在確定像素梯度的水平相似性和垂直相似性小于預(yù)定閾值時(shí)，梯度相似性確定裝置可以確定在操作塊中的像素在檢測(cè)運(yùn)動(dòng)矢量中是有效的。
該圖像處理設(shè)備還可以包括像素?cái)?shù)量確定裝置，用來(lái)確定在操作塊中由有效像素確定裝置確定在檢測(cè)運(yùn)動(dòng)矢量中有效的像素?cái)?shù)量是否小于預(yù)定數(shù)量；以及操作控制裝置，用于根據(jù)由像素?cái)?shù)量確定裝置確定的結(jié)果來(lái)控制有效像素確定裝置和梯度操作裝置中的一個(gè)的過(guò)程。
在像素?cái)?shù)量確定裝置確定在操作塊中由有效像素確定裝置確定在檢測(cè)運(yùn)動(dòng)矢量中有效的像素?cái)?shù)量小于預(yù)定數(shù)量時(shí)，操作控制裝置可以控制梯度操作裝置以停止梯度操作。
可以將零矢量分配給在操作控制裝置控制梯度操作裝置以停止梯度操作之后檢測(cè)出的運(yùn)動(dòng)矢量。
操作塊可以包括用于檢測(cè)在塊單元中的運(yùn)動(dòng)矢量的第一操作塊部分和用于檢測(cè)在像素單元中的運(yùn)動(dòng)矢量的第二操作塊部分。有效像素檢測(cè)裝置可以確定在第一操作塊中的像素在檢測(cè)運(yùn)動(dòng)矢量中是否有效。像素?cái)?shù)量確定裝置可以確定在第一操作塊部分中被確定在檢測(cè)運(yùn)動(dòng)矢量中有效的像素的數(shù)量是否小于預(yù)定數(shù)量。在像素?cái)?shù)量確定裝置確定在第一操作塊中被確定在檢測(cè)運(yùn)動(dòng)矢量中有效的像素的數(shù)量小于預(yù)定數(shù)量時(shí)，操作控制裝置可以控制有效像素確定裝置和梯度操作裝置以將對(duì)第一操作塊部分的處理切換至對(duì)第二操作塊部分的處理。
操作塊可以包括用于檢測(cè)在塊單元中的運(yùn)動(dòng)矢量的第一操作塊部分和用于檢測(cè)在像素單元中的運(yùn)動(dòng)矢量的第二操作塊部分。有效像素確定裝置可以確定在第一操作塊部分中的像素在檢測(cè)運(yùn)動(dòng)矢量中是否有效。像素?cái)?shù)量確定裝置可以確定在第一操作塊部分中被確定在檢測(cè)運(yùn)動(dòng)矢量中有效的像素的數(shù)量是否小于預(yù)定數(shù)量。在像素?cái)?shù)量確定裝置確定在第一操作塊部分中被確定在檢測(cè)運(yùn)動(dòng)矢量中有效的像素?cái)?shù)量大于預(yù)定數(shù)量時(shí)，操作控制裝置可以控制有效像素確定裝置和梯度操作裝置，以針對(duì)由有效像素確定裝置確定為在檢測(cè)運(yùn)動(dòng)矢量中是無(wú)效的那些像素將對(duì)第一操作塊部分的處理切換至對(duì)第二操作塊部分的處理。
本發(fā)明的圖像處理方法包括有效像素確定步驟，確定在操作塊中的像素在檢測(cè)運(yùn)動(dòng)矢量中是否有效，這些像素受到用于檢測(cè)運(yùn)動(dòng)矢量的梯度操作；以及梯度操作步驟，通過(guò)在操作塊中的像素中只是使用在有效像素確定步驟中被確定在檢測(cè)運(yùn)動(dòng)矢量中有效的像素來(lái)進(jìn)行梯度操作。
記錄在本發(fā)明的記錄介質(zhì)上的程序包括有效像素確定步驟，確定在操作塊中的像素在檢測(cè)運(yùn)動(dòng)矢量中是否有效，這些像素受到用于檢測(cè)運(yùn)動(dòng)矢量的梯度操作；以及梯度操作步驟，通過(guò)在操作塊中的像素中只是使用在有效像素確定步驟中被確定在檢測(cè)運(yùn)動(dòng)矢量中有效的像素來(lái)進(jìn)行梯度操作。
本發(fā)明的程序包括有效像素確定步驟，確定在操作塊中的像素在檢測(cè)運(yùn)動(dòng)矢量中是否有效，這些像素受到用于檢測(cè)運(yùn)動(dòng)矢量的梯度操作；以及梯度操作步驟，通過(guò)在操作塊中的像素中只是使用在有效像素確定步驟中被確定在檢測(cè)運(yùn)動(dòng)矢量中有效的像素來(lái)進(jìn)行梯度操作在本發(fā)明中，確定在操作塊中受到用于檢測(cè)運(yùn)動(dòng)矢量的梯度操作的像素在檢測(cè)運(yùn)動(dòng)矢量中是否有效。在操作塊中的這些像素之中，只使用被確定在檢測(cè)運(yùn)動(dòng)矢量中有效的像素來(lái)進(jìn)行梯度操作。
根據(jù)本發(fā)明，能夠改善由梯度法進(jìn)行的運(yùn)動(dòng)矢量檢測(cè)的精度。另外，根據(jù)本發(fā)明，生成的圖像尤其是在圖像的具有運(yùn)動(dòng)的邊界附近的部分中，能夠抑制明顯的視覺(jué)衰退。


圖1為一方框圖，顯示出本發(fā)明信號(hào)處理設(shè)備的結(jié)構(gòu)示例。
圖2為一方框圖，顯示出在圖1中所示的信號(hào)處理設(shè)備的結(jié)構(gòu)。
圖3為本發(fā)明處理原理的示意圖。
圖4為本發(fā)明處理的詳視圖。
圖5為在信號(hào)處理設(shè)備中使用的評(píng)估值的示意圖。
圖6為一流程圖，顯示出在信號(hào)處理設(shè)備中的幀頻率轉(zhuǎn)換過(guò)程。
圖7為一方框圖，顯示出圖像內(nèi)插單元的結(jié)構(gòu)。
圖8為一流程圖，顯示出圖像內(nèi)插過(guò)程。
圖9為一方框圖，顯示出矢量檢測(cè)單元的結(jié)構(gòu)。
圖10為在矢量檢測(cè)單元中所采用的梯度法的示意圖。
圖11為使用初始矢量的遞歸梯度法的示意圖。
圖12為一流程圖，顯示出運(yùn)動(dòng)矢量檢測(cè)過(guò)程。
圖13為一方框圖，顯示出移位初始矢量分配單元的結(jié)構(gòu)。
圖14為移位初始矢量的概念的示意圖。
圖15為移位初始矢量的具體示意圖。
圖16為移位初始矢量的具體示意圖。
圖17為用于確定移位初始矢量的方法的示意圖。
圖18為移位初始矢量分配的示例的示意圖。
圖19為移位初始矢量的示例的示意圖，其中運(yùn)動(dòng)矢量沖突。
圖20為一流程圖，顯示出移位初始矢量分配過(guò)程。
圖21為一方框圖，顯示出移位初始矢量選擇單元的結(jié)構(gòu)。
圖22為在初始矢量周?chē)闹苓厖^(qū)域的示意圖。
圖23為初始矢量的候選塊的示意圖。
圖24為一流程圖，顯示出初始矢量選擇過(guò)程。
圖25為一方框圖，顯示出遞歸梯度操作單元的結(jié)構(gòu)。
圖26為一方框圖，顯示出有效像素確定單元的結(jié)構(gòu)。
圖27為一方框圖，顯示出梯度操作單元的結(jié)構(gòu)。
圖28為關(guān)于運(yùn)動(dòng)矢量的檢測(cè)塊和操作塊的示意圖。
圖29為在檢測(cè)塊中的對(duì)象的運(yùn)動(dòng)的示意圖。
圖30為在其對(duì)象具有相同運(yùn)動(dòng)的檢測(cè)塊中的亮度狀態(tài)的示意圖。
圖31為在其對(duì)象具有不同運(yùn)動(dòng)的檢測(cè)塊中的亮度狀態(tài)的示意圖。
圖32為在像素單元處理中的操作塊的示例的示意圖。
圖33為在圖29所示的檢測(cè)塊中的像素單元處理的示意圖。
圖34A為一流程圖，顯示出遞歸梯度操作過(guò)程的示例。
圖34B為一流程圖，顯示出遞歸梯度操作過(guò)程的另一個(gè)示例。
圖34C為一流程圖，顯示出遞歸梯度操作過(guò)程的再一個(gè)示例。
圖35為一流程圖，顯示出有效像素確定過(guò)程。
圖36為一流程圖，顯示出有效像素確定過(guò)程。
圖37為一流程圖，顯示出像素單元遞歸梯度操作過(guò)程。
圖38為一方框圖，顯示出有效像素確定單元的另一個(gè)結(jié)構(gòu)。
圖39為一方框圖，顯示出梯度操作單元的另一個(gè)結(jié)構(gòu)。
圖40為檢測(cè)塊和操作塊的其它示例的示意圖。
圖41為在圖38中所示的有效像素確定方法的示意圖。
圖42為在操作放開(kāi)中的有效像素的結(jié)構(gòu)的示意圖。
圖43為一流程圖，顯示出有效像素確定過(guò)程的另一個(gè)示例。
圖44為一流程圖，顯示出有效像素確定過(guò)程的另一個(gè)示例。
圖45為一方框圖，顯示出矢量分配單元的結(jié)構(gòu)。
圖46為在本發(fā)明中的四點(diǎn)差值過(guò)程的示意圖。
圖47為矢量分配過(guò)程的概括示意圖。
圖48為在運(yùn)動(dòng)矢量和內(nèi)插幀之間的相交點(diǎn)附近的像素示例的示意圖。
圖49為用于評(píng)估分配的候選運(yùn)動(dòng)矢量的方法的示意圖。
圖50為在矢量分配中的四點(diǎn)差值示例的示意圖。
圖51為一流程圖，顯示出矢量分配過(guò)程。
圖52為一流程圖，顯示出像素位置操作過(guò)程。
圖53為一流程圖，顯示出分配矢量評(píng)估過(guò)程。
圖54為一方框圖，顯示出分配補(bǔ)償單元的結(jié)構(gòu)。
圖55為一方框圖，顯示出分配補(bǔ)償單元的結(jié)構(gòu)。
圖56為分配補(bǔ)償過(guò)程原理的示意圖。
圖57為運(yùn)動(dòng)相關(guān)原理的示意圖。
圖58為在所感興趣像素周?chē)闹苓呄袼氐慕Y(jié)構(gòu)示例的示意圖。
圖59為用于所感興趣像素的運(yùn)動(dòng)矢量的補(bǔ)償候選矢量的示例的示意圖。
圖60為用于所感興趣像素的運(yùn)動(dòng)矢量的補(bǔ)償候選矢量的示例的示意圖。
圖61為用于所感興趣像素的運(yùn)動(dòng)矢量的補(bǔ)償候選矢量的示例的示意圖。
圖62為補(bǔ)償候選矢量的評(píng)估示例的示意圖。
圖63為補(bǔ)償候選矢量的評(píng)估示例的示意圖。
圖64為補(bǔ)償候選矢量的評(píng)估示例的示意圖。
圖65為將補(bǔ)償候選矢量選作所感興趣像素的運(yùn)動(dòng)矢量的補(bǔ)償候選矢量的示例的示意圖。
圖66為一流程圖，顯示出分配補(bǔ)償過(guò)程。
圖67為一流程圖，顯示出矢量補(bǔ)償過(guò)程。
參考符號(hào)1信號(hào)處理設(shè)備11 CPU12 ROM13 RAM31 磁盤(pán)32 光盤(pán)33 磁光盤(pán)34 半導(dǎo)體存儲(chǔ)器
51幀存儲(chǔ)器52矢量檢測(cè)單元53檢測(cè)矢量存儲(chǔ)器54矢量分配單元55分配矢量存儲(chǔ)器56分配標(biāo)志單元57分配補(bǔ)償單元58圖像內(nèi)插單元101 初始矢量選擇單元103 遞歸梯度操作單元104 矢量評(píng)估單元105 移位初始矢量分配單元106 評(píng)估值存儲(chǔ)器107 移位初始矢量存儲(chǔ)器201 分配位置計(jì)算單元202 評(píng)估值比較單元203 移位初始矢量更換單元204 評(píng)估值更換單元251 候選矢量位置操作單元252 檢測(cè)矢量獲取單元253 移位初始矢量獲取單元254 偏置位置操作單元255 評(píng)估值操作單元256 評(píng)估值比較單元257 最佳候選矢量存儲(chǔ)寄存器401 模式選擇單元402 選擇器403 有效像素確定單元404 梯度操作單元
405延遲單元411時(shí)間像素差異計(jì)算單元412像素差異確定單元413有效像素計(jì)數(shù)器414梯度操作連續(xù)確定單元421時(shí)間像素差異計(jì)算單元422像素差異確定單元423水平垂直像素差異計(jì)算單元424梯度累積單元425矢量計(jì)算單元501第一空間梯度像素差異計(jì)算單元502第二空間梯度像素差異計(jì)算單元503時(shí)基像素差異計(jì)算單元504操作確定單元521第一空間梯度像素差異計(jì)算單元522第二空間梯度像素差異計(jì)算單元523時(shí)基像素差異計(jì)算單元524操作確定單元701像素信息操作單元702評(píng)估值操作單元703所關(guān)心像素的差異操作單元704矢量評(píng)估單元705矢量選擇單元711像素差異確定單元712評(píng)估值確定單元801分配矢量確定單元802矢量補(bǔ)償單元811補(bǔ)償單元812評(píng)估值操作單元
821存儲(chǔ)器具體實(shí)施方式
下面將參照附圖對(duì)本發(fā)明的實(shí)施方案進(jìn)行說(shuō)明。
圖1顯示出其上應(yīng)用了本發(fā)明的信號(hào)處理設(shè)備的結(jié)構(gòu)示例。該信號(hào)處理設(shè)備1由例如個(gè)人計(jì)算機(jī)等形成。在圖1中，CPU(中央處理單元)11根據(jù)存儲(chǔ)在ROM(只讀存儲(chǔ)器)12或存儲(chǔ)單元18中的程序執(zhí)行各種處理。如果需要的話，則RAM(隨機(jī)存取存儲(chǔ)器)13存儲(chǔ)有由CPU11執(zhí)行的程序和數(shù)據(jù)。CPU11、ROM12和RAM13通過(guò)總線14相互連接。
CPU11通過(guò)總線14與輸入/輸出接口15連接。輸入/輸出接口15與包括鍵盤(pán)、鼠標(biāo)和麥克風(fēng)的輸入單元16連接，并且與包括顯示器和揚(yáng)聲器的輸出單元17連接。CPU11響應(yīng)于從輸入單元16輸入的指令執(zhí)行各種處理。CPU11將在處理中獲得的圖像、聲音等輸出給輸出單元17。
與輸入/輸出接口15連接的存儲(chǔ)單元18由例如硬盤(pán)形成，并且存儲(chǔ)要由CPU11執(zhí)行的程序和各種數(shù)據(jù)。通信單元19通過(guò)因特網(wǎng)或其它網(wǎng)絡(luò)與外部設(shè)備通信?？梢酝ㄟ^(guò)通信單元19獲取程序，并且可以將它存儲(chǔ)在存儲(chǔ)單元18中。
在裝載磁盤(pán)31、光盤(pán)32、磁光盤(pán)33或半導(dǎo)體存儲(chǔ)器34時(shí)，與輸入/輸出接口15連接的驅(qū)動(dòng)器20驅(qū)動(dòng)所裝載的記錄介質(zhì)并且獲取在其上的程序和數(shù)據(jù)。如果需要的話，將所獲取的程序和數(shù)據(jù)轉(zhuǎn)移存儲(chǔ)在存儲(chǔ)單元18中。
作為信號(hào)處理設(shè)備1，例如可以使用電視接收機(jī)或光盤(pán)播放器或其信號(hào)處理單元。
圖2為一方框圖，顯示出該信號(hào)處理設(shè)備1。
信號(hào)處理設(shè)備1的功能可以通過(guò)硬件或軟件來(lái)實(shí)現(xiàn)。換句話說(shuō)，在該說(shuō)明書(shū)中的方框圖可以認(rèn)為是硬件方框圖或軟件方框圖。
在圖2中所示的信號(hào)處理設(shè)備1接收基于具有24Hz的幀頻率的漸進(jìn)圖像信號(hào)(下面被稱(chēng)為“24P信號(hào)”)的圖像。信號(hào)處理設(shè)備1將輸入圖像轉(zhuǎn)換成基于具有60Hz的幀頻率的漸進(jìn)圖像信號(hào)(下面被稱(chēng)為“60P信號(hào)”)，并且輸出經(jīng)轉(zhuǎn)換的圖像。換句話說(shuō)，圖2顯示出信號(hào)處理設(shè)備1的結(jié)構(gòu)，它用作圖像處理設(shè)備。
將輸入給信號(hào)處理設(shè)備1的基于24P信號(hào)的圖像提供給幀存儲(chǔ)器51、矢量檢測(cè)單元52、矢量分配單元54、分配補(bǔ)償單元57和圖像內(nèi)插單元58。幀存儲(chǔ)器51將輸入圖像存儲(chǔ)在幀單元中。幀存儲(chǔ)器51存儲(chǔ)在時(shí)刻t+1的輸入圖像之前的時(shí)刻t的幀。將存儲(chǔ)在幀存儲(chǔ)器51中的在時(shí)刻t處的幀提供給矢量檢測(cè)單元52、矢量分配單元54、分配補(bǔ)償單元57和圖像內(nèi)插單元58。在下面的說(shuō)明書(shū)中，在幀存儲(chǔ)器51中的在時(shí)刻t處的幀在下面被稱(chēng)為“幀t”，并且在輸入圖像的時(shí)刻t+1處的幀在下面被稱(chēng)為“幀t+1”。
矢量檢測(cè)單元52檢測(cè)在幀存儲(chǔ)器51中的幀t中所關(guān)心的塊和在輸入圖像的幀t+1中的對(duì)象塊之間的運(yùn)動(dòng)矢量，并且在檢測(cè)矢量存儲(chǔ)器53中存儲(chǔ)所檢測(cè)出的運(yùn)動(dòng)矢量。作為用于檢測(cè)在上面兩個(gè)幀之間的運(yùn)動(dòng)矢量的方法，采用這樣的方法例如梯度法或塊匹配。下面將對(duì)矢量檢測(cè)單元52的結(jié)構(gòu)細(xì)節(jié)進(jìn)行說(shuō)明。檢測(cè)矢量存儲(chǔ)器53存儲(chǔ)由矢量檢測(cè)單元52在幀t中檢測(cè)出的運(yùn)動(dòng)。
矢量分配單元54將在24P信號(hào)幀t中檢測(cè)出的運(yùn)動(dòng)矢量分配給在60P信號(hào)幀中的像素以便在分配矢量存儲(chǔ)器55中進(jìn)行內(nèi)插。在下面的說(shuō)明書(shū)中，60P信號(hào)幀在下面也被稱(chēng)為“內(nèi)插幀”以便與24P信號(hào)幀區(qū)分開(kāi)。矢量分配單元54將在分配標(biāo)志存儲(chǔ)器56中的分配標(biāo)志重寫(xiě)成1(真)。下面對(duì)矢量分配單元54的結(jié)構(gòu)細(xì)節(jié)進(jìn)行說(shuō)明。
分配矢量存儲(chǔ)器55以其中分配運(yùn)動(dòng)矢量與內(nèi)插幀的每個(gè)像素相關(guān)的形式存儲(chǔ)由矢量分配單元54分配的運(yùn)動(dòng)矢量。分配標(biāo)志存儲(chǔ)器56為內(nèi)插幀的每個(gè)像素存儲(chǔ)分配標(biāo)志，用來(lái)表示是否存在分配運(yùn)動(dòng)矢量。例如，在分配標(biāo)志為真實(shí)的(1)時(shí)，表示將運(yùn)動(dòng)矢量分配給相應(yīng)像素。在分配標(biāo)志為假的(0)時(shí)，表示沒(méi)有給相應(yīng)像素分配任何運(yùn)動(dòng)矢量。
通過(guò)參照在分配標(biāo)志存儲(chǔ)器56中的分配標(biāo)志，分配補(bǔ)償單元57對(duì)沒(méi)有由矢量分配單元54分配任何運(yùn)動(dòng)矢量的所關(guān)心像素補(bǔ)償在所關(guān)心的像素周?chē)闹苓呄袼氐倪\(yùn)動(dòng)矢量，并且將補(bǔ)償像素分配給在分配矢量存儲(chǔ)器55中的內(nèi)插幀。這時(shí)，分配補(bǔ)償單元57將其上分配有運(yùn)動(dòng)矢量的所關(guān)心像素中的分配標(biāo)志重寫(xiě)，從而它為1(真)。下面將對(duì)分配補(bǔ)償單元57的細(xì)節(jié)進(jìn)行說(shuō)明。
圖像內(nèi)插單元58進(jìn)行內(nèi)插以通過(guò)使用分配給分配矢量存儲(chǔ)器55的內(nèi)插幀的運(yùn)動(dòng)矢量和在幀t和下一幀t+1中的像素來(lái)產(chǎn)生出在內(nèi)插幀中的像素。如果需要的話，圖像內(nèi)插單元58通過(guò)輸出所產(chǎn)生出的內(nèi)插幀并且隨后輸出幀t+1將60P信號(hào)圖像輸出給隨后的階段(未示出)。在下面的說(shuō)明書(shū)中，像素值在下面也被稱(chēng)為“亮度”。
圖3顯示出由本發(fā)明的信號(hào)處理設(shè)備1進(jìn)行處理的原理。在圖3中所示的示例中，虛線表示在時(shí)刻t、t+1和t+2處的24P信號(hào)幀，并且實(shí)線表示在時(shí)刻t、t+0.4、t+0.8、t+1.2、t+1.6和t+2處所產(chǎn)生出的內(nèi)插60P信號(hào)幀。
一般來(lái)說(shuō)，為了將24P信號(hào)轉(zhuǎn)換成60P信號(hào)，需要5/2倍幀。換句話說(shuō)，從2個(gè)24P信號(hào)圖像，必須產(chǎn)生出五個(gè)60P信號(hào)圖像。在該情況中，所產(chǎn)生出的60P信號(hào)內(nèi)插幀設(shè)置在這樣的位置處，其中在24P信號(hào)上的時(shí)相為0.0、0.4、0.8、1.2和1.6以便具有相同的幀間隔。在這些幀中，除了在時(shí)相為0.0的時(shí)刻t處的一個(gè)幀之外，其余四個(gè)幀(在時(shí)刻t+0.4、t+0.8、t+1.2和t+1.6處的幀)為在24P信號(hào)上不存在的圖像。因此，在輸入24P信號(hào)圖像時(shí)，從在時(shí)刻t和t+1處的兩個(gè)幀產(chǎn)生出四個(gè)內(nèi)插幀。因此，信號(hào)處理設(shè)備1輸出由在時(shí)刻t、t+0.4、t+0.8、t+1.2和t+1.6處的五個(gè)幀構(gòu)成的60P信號(hào)圖像。
如上所述，信號(hào)處理設(shè)備1執(zhí)行幀頻率轉(zhuǎn)換以便將24P信號(hào)圖像轉(zhuǎn)換成60P信號(hào)圖像。
如上所述，原則上從在時(shí)刻t和t+1處的兩個(gè)24P信號(hào)幀，產(chǎn)生出在時(shí)刻t、t+0.4、t+0.8、t+1.2和t+1.6處的五個(gè)60P信號(hào)幀。實(shí)際上，在圖3中的示例中，基于在時(shí)刻t和t+1的兩個(gè)24P信號(hào)幀，產(chǎn)生出在時(shí)刻t、t+0.4和t+0.8處的60P信號(hào)幀?；谠跁r(shí)刻t+1和t+2處的兩個(gè)24P信號(hào)幀，產(chǎn)生出在時(shí)刻t+1.2、t+1.6和t+2處的60P信號(hào)幀。
圖4為本發(fā)明處理的更具體示意圖。在圖4所示的示例中，粗箭頭表示狀態(tài)變化，并且箭頭T表示在狀態(tài)81至85中時(shí)間流逝的方向。狀態(tài)81至85在概念上表示60P信號(hào)內(nèi)插幀F(xiàn)的狀態(tài)，它們?cè)谙鄬?duì)于構(gòu)成信號(hào)處理設(shè)備1的每個(gè)單元輸入/輸出模式中在24P信號(hào)的時(shí)刻t處的幀t中、在下一個(gè)時(shí)刻t+1處的幀t+1中以及在幀t和幀t+1之間產(chǎn)生出。換句話說(shuō)，實(shí)際上，沒(méi)有輸出其中運(yùn)動(dòng)矢量被檢測(cè)為由狀態(tài)82表示的幀。幀和運(yùn)動(dòng)矢量單獨(dú)輸入。
狀態(tài)81表示輸入給矢量檢測(cè)單元52的24P信號(hào)幀t和t+1的每個(gè)狀態(tài)。在狀態(tài)81中的幀t中的黑點(diǎn)表示在幀t中的像素。矢量檢測(cè)單元52檢測(cè)出在狀態(tài)81中幀t中的像素能夠在時(shí)刻t+1處的下一幀中運(yùn)動(dòng)到的位置，并且將這些運(yùn)動(dòng)作為與這些像素對(duì)應(yīng)的運(yùn)動(dòng)矢量輸出，如在狀態(tài)82中的幀t中所示一樣。作為檢測(cè)在兩個(gè)幀之間的運(yùn)動(dòng)矢量的方法，采用塊匹配法、梯度法等。當(dāng)在該情況中檢測(cè)一個(gè)像素的多個(gè)運(yùn)動(dòng)矢量時(shí)，矢量檢測(cè)單元52找出運(yùn)動(dòng)矢量(后面所述的)的評(píng)估值，并且根據(jù)這些評(píng)估值選擇運(yùn)動(dòng)矢量。
狀態(tài)82表示輸入給矢量分配單元54的幀t和t+1的每個(gè)狀態(tài)。在狀態(tài)82中，從在幀t中的像素開(kāi)始的箭頭表示由矢量檢測(cè)單元52檢測(cè)出的運(yùn)動(dòng)矢量。
矢量分配單元54將針對(duì)在幀t中的像素檢測(cè)出的運(yùn)動(dòng)矢量伸展至下一幀t+1，并且找出運(yùn)動(dòng)矢量在預(yù)定時(shí)相(例如，在圖3中的t+0.4)中在內(nèi)插幀F(xiàn)中經(jīng)過(guò)的位置。這是因?yàn)?，假設(shè)運(yùn)動(dòng)矢量的運(yùn)動(dòng)在幀t和t+1之間是恒定的，則運(yùn)動(dòng)矢量經(jīng)過(guò)內(nèi)插幀F(xiàn)的點(diǎn)用作在內(nèi)插幀F(xiàn)中的像素位置。因此，矢量分配單元54將一個(gè)通過(guò)運(yùn)動(dòng)矢量分配給在狀態(tài)83中的內(nèi)插幀F(xiàn)中的四個(gè)相鄰像素。另外，這時(shí)可能存在這樣的情況，即其中根據(jù)在內(nèi)插幀F(xiàn)中的像素沒(méi)有存在任何運(yùn)動(dòng)矢量，或者其中多個(gè)運(yùn)動(dòng)矢量將用作補(bǔ)償候選。在后面的情況中，與矢量檢測(cè)單元52類(lèi)似，矢量分配單元54找出運(yùn)動(dòng)矢量的評(píng)估值，并且根據(jù)評(píng)估值選擇所要分配的運(yùn)動(dòng)矢量。
狀態(tài)83表示幀t、幀t+1和其上分配有運(yùn)動(dòng)矢量的內(nèi)插幀F(xiàn)的每個(gè)狀態(tài)，它們都被輸入給分配補(bǔ)償單元57。在狀態(tài)83中的內(nèi)插幀F(xiàn)中，顯示出其上由矢量分配單元54分配有運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量和其上沒(méi)有分配任何運(yùn)動(dòng)矢量的像素。
分配補(bǔ)償單元57通過(guò)使用分配給在沒(méi)有分配任何運(yùn)動(dòng)矢量的像素周?chē)闹苓呄袼氐倪\(yùn)動(dòng)矢量來(lái)補(bǔ)償其上沒(méi)有分配任何運(yùn)動(dòng)矢量的在狀態(tài)83中的一個(gè)像素。這是因?yàn)椋绻僭O(shè)在所關(guān)心像素周?chē)南噜弲^(qū)域具有類(lèi)似的運(yùn)動(dòng)，則在所關(guān)心像素周?chē)闹苓呄袼氐倪\(yùn)動(dòng)矢量和在所關(guān)心像素中的運(yùn)動(dòng)矢量具有相似處。這甚至給沒(méi)有分配任何運(yùn)動(dòng)矢量的像素提供了在一定程度上精確的運(yùn)動(dòng)矢量，從而將運(yùn)動(dòng)矢量分配給在狀態(tài)84中的內(nèi)插幀F(xiàn)中的所有像素。還有在該情況中，存在作為候選的周邊像素的運(yùn)動(dòng)矢量，與矢量分配單元54類(lèi)似分配補(bǔ)償單元57找出評(píng)估值或運(yùn)動(dòng)矢量，并且根據(jù)評(píng)估值選擇所要分配的運(yùn)動(dòng)矢量。
狀態(tài)84表示其上將運(yùn)動(dòng)矢量分配給所有像素的幀t、幀t+1和內(nèi)插幀的每個(gè)狀態(tài)。將這些幀輸入給圖像內(nèi)插單元58。根據(jù)分配給所有像素的運(yùn)動(dòng)矢量，圖像內(nèi)插單元58確定在內(nèi)插幀F(xiàn)中的像素與在兩個(gè)幀t和t+1中的像素之間的位置關(guān)系。因此，通過(guò)使用分配給內(nèi)插幀F(xiàn)和在幀t和t+1中的像素的運(yùn)動(dòng)矢量，圖像內(nèi)插單元58進(jìn)行內(nèi)插以產(chǎn)生出在內(nèi)插幀F(xiàn)中的像素，如由在狀態(tài)85中的內(nèi)插幀F(xiàn)中的黑點(diǎn)所示一樣。圖像內(nèi)插單元58通過(guò)輸出所產(chǎn)生出的內(nèi)插幀并且隨后輸出幀t+1將60P信號(hào)圖像輸出給隨后的階段(未示出)。
接下來(lái)將參照?qǐng)D5對(duì)在本發(fā)明的信號(hào)處理設(shè)備1中所使用的運(yùn)動(dòng)矢量的評(píng)估值進(jìn)行說(shuō)明。
如參照?qǐng)D4所示，在信號(hào)處理設(shè)備1的功能單元(矢量檢測(cè)單元52、矢量分配單元54和分配補(bǔ)償單元57)中，選擇對(duì)于在隨后階段中的處理而言最佳的運(yùn)動(dòng)矢量。在該情況中，信號(hào)處理設(shè)備1的每一個(gè)使用表示在通過(guò)在兩個(gè)幀中的所關(guān)心矢量值偏移的塊之間的相關(guān)值的位移幀差(DFD)作為運(yùn)動(dòng)矢量的評(píng)估值。
在圖5中的示例顯示出兩個(gè)塊，即在時(shí)刻t處的幀t中的像素位置p周?chē)膍×n塊和從在時(shí)刻t+1處的幀t+1中的像素位置偏移所關(guān)心的運(yùn)動(dòng)矢量v的矢量值的像素位置p+v周?chē)膍×n塊。在兩個(gè)塊之間計(jì)算出的位移幀差DFDt(p)由下面公式(1)表示DFDt(p)=Σx,ym×n|Ft+1(px,y+v)-Ft(Px,y)|---(1)]]>這里，F(xiàn)t(p)表示在時(shí)刻t處的像素位置p處的亮度，并且m×n表示用于找出位移幀差的DFD操作范圍(塊)。
位移幀差表示在兩個(gè)幀中在DFD操作范圍(塊)之間的相關(guān)值。因此，一般來(lái)說(shuō)，位移幀差越小，則在這些幀之間的塊的波形越相互一致。因此，確定位移幀差越小，則運(yùn)動(dòng)矢量v的可靠性就越高。因此，位移幀差用來(lái)從多個(gè)運(yùn)動(dòng)矢量之中選擇出最可能的運(yùn)動(dòng)矢量。
因此，在下面的說(shuō)明書(shū)中，在信號(hào)處理設(shè)備1的功能單元(矢量檢測(cè)單元52、矢量分配單元54和分配補(bǔ)償單元57)中，將位移幀差(下面也被稱(chēng)為“評(píng)估值DFD”)用作在選擇運(yùn)動(dòng)矢量時(shí)的評(píng)估值。
接下來(lái)將參照?qǐng)D6所示的流程圖對(duì)信號(hào)處理設(shè)備1的幀頻率轉(zhuǎn)換過(guò)程進(jìn)行說(shuō)明。
在步驟S1中，將在幀存儲(chǔ)器51中在輸入圖像的時(shí)刻t+1處的幀t+1的像素值和在輸入圖像的時(shí)刻t處的前一幀t中的像素值輸入給矢量檢測(cè)單元52。該過(guò)程前進(jìn)至步驟S2。這時(shí)，將在幀存儲(chǔ)器51中在輸入圖像的時(shí)刻t+1處的幀t+1的像素值和在輸入圖像的時(shí)刻t處的前一幀t中的像素值輸入給矢量分配單元54、分配補(bǔ)償單元57和圖像內(nèi)插單元58。
在步驟S2中，矢量檢測(cè)單元52執(zhí)行運(yùn)動(dòng)矢量檢測(cè)過(guò)程，并且前進(jìn)至步驟S3。換句話說(shuō)，矢量檢測(cè)單元52檢測(cè)在幀存儲(chǔ)器51中的幀t中的所關(guān)心塊和在下一幀t+1中的對(duì)象塊之間的運(yùn)動(dòng)矢量，它作為輸入圖像。矢量檢測(cè)單元52將檢測(cè)的運(yùn)動(dòng)矢量存儲(chǔ)在檢測(cè)矢量存儲(chǔ)器53中。為了檢測(cè)在兩個(gè)幀之間的運(yùn)動(dòng)矢量，采用梯度法、塊匹配法等。另外，在存在候選運(yùn)動(dòng)矢量時(shí)，找出運(yùn)動(dòng)矢量的評(píng)估值DFD，并且檢測(cè)基于所找出的評(píng)估值DFD的非常可靠的運(yùn)動(dòng)矢量。換句話說(shuō)，在該情況中，在從中要檢測(cè)出運(yùn)動(dòng)矢量的所關(guān)心塊中，選擇并且檢測(cè)出最可能的運(yùn)動(dòng)矢量。下面將對(duì)在步驟S2中的運(yùn)動(dòng)矢量檢測(cè)過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。
在步驟S3中，矢量分配單元54執(zhí)行矢量分配過(guò)程，并且前進(jìn)至步驟S4。具體地說(shuō)，矢量分配單元54將在幀t中找出的運(yùn)動(dòng)矢量分配給在分配矢量存儲(chǔ)器55中的內(nèi)插幀中的受到內(nèi)插的所關(guān)心像素，并且將在分配標(biāo)志存儲(chǔ)器56中的與具有分配運(yùn)動(dòng)矢量的像素對(duì)應(yīng)的分配標(biāo)志重寫(xiě)，從而它為1(真)。例如，為真的分配標(biāo)志表示將運(yùn)動(dòng)矢量分配給相應(yīng)像素，并且為假的分配標(biāo)志表示沒(méi)有將運(yùn)動(dòng)矢量分配給相應(yīng)像素。在每個(gè)像素具有多個(gè)候選運(yùn)動(dòng)矢量時(shí)，對(duì)于這些運(yùn)動(dòng)矢量找出評(píng)估值，并且根據(jù)這些評(píng)估值DFD分配非?？煽康倪\(yùn)動(dòng)矢量。換句話說(shuō)，在該情況中，對(duì)于所關(guān)心的其上要分配運(yùn)動(dòng)矢量的像素，選擇并且分配非?？煽康倪\(yùn)動(dòng)矢量。下面將對(duì)在步驟S3中的矢量分配過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。
在步驟S4中，分配補(bǔ)償單元57執(zhí)行分配補(bǔ)償過(guò)程，并且前進(jìn)至步驟S5。換句話說(shuō)，在步驟S4中，通過(guò)參照在分配標(biāo)志存儲(chǔ)器56中的分配標(biāo)志，分配補(bǔ)償單元57針對(duì)其上沒(méi)有由矢量分配單元54分配任何運(yùn)動(dòng)矢量的所關(guān)心像素補(bǔ)償在所關(guān)心像素周?chē)闹苓呄袼刂械倪\(yùn)動(dòng)矢量，并且將所獲得的像素分配給在分配矢量存儲(chǔ)器55中的內(nèi)插幀。這時(shí)，分配補(bǔ)償單元57補(bǔ)償運(yùn)動(dòng)矢量，并且將所關(guān)心的分配像素的分配標(biāo)志重寫(xiě)，從而它為1(真)。在所關(guān)心的像素具有多個(gè)周邊像素的運(yùn)動(dòng)矢量，則找出這些運(yùn)動(dòng)矢量的評(píng)估值DFD，并且根據(jù)所獲得的評(píng)估值DFD分配非常可靠的運(yùn)動(dòng)矢量。換句話說(shuō)，在該情況中，對(duì)于其上要分配運(yùn)動(dòng)矢量的所關(guān)心像素而言，選擇并且分配最可能的運(yùn)動(dòng)矢量。下面將對(duì)在步驟S4中的分配補(bǔ)償過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。
在步驟S5中，圖像內(nèi)插單元58執(zhí)行圖像補(bǔ)償過(guò)程。換句話說(shuō)，在步驟S5中，圖像內(nèi)插單元58進(jìn)行補(bǔ)償以通過(guò)使用分配給在分配矢量存儲(chǔ)器55中的內(nèi)插幀的運(yùn)動(dòng)矢量以及在幀t和t+1中的像素來(lái)產(chǎn)生出在內(nèi)插幀中的像素值。該過(guò)程前進(jìn)至步驟S6。下面將對(duì)在步驟S5中的圖像補(bǔ)償過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。在步驟S6中，如果需要的話，圖像內(nèi)插單元58通過(guò)輸出所產(chǎn)生出的內(nèi)插幀并且隨后輸出幀t+1來(lái)將60P信號(hào)圖像輸出給隨后階段(未示出)。該過(guò)程前進(jìn)至步驟S7。
在步驟S7中，矢量檢測(cè)單元52確定在所有幀上的處理是否已經(jīng)結(jié)束。如果確定在所有幀上的處理沒(méi)有結(jié)束，則該過(guò)程返回到步驟S1并且反復(fù)進(jìn)行隨后的步驟。如果在步驟S7中確定在所有幀上的處理已經(jīng)完成，則矢量檢測(cè)單元52完成幀頻率轉(zhuǎn)換過(guò)程。
如上所述，本發(fā)明的信號(hào)處理設(shè)備1從24P信號(hào)圖像的幀中檢測(cè)出運(yùn)動(dòng)矢量，將所檢測(cè)出的運(yùn)動(dòng)矢量分配給在60P信號(hào)幀中的像素，并且根據(jù)所分配的運(yùn)動(dòng)矢量產(chǎn)生出在60P信號(hào)幀中的像素值。這時(shí)，信號(hào)處理設(shè)備1在每次處理中根據(jù)評(píng)估值DFD(移位幀差)選擇非?？煽康倪\(yùn)動(dòng)矢量，并且將運(yùn)動(dòng)矢量輸出給隨后階段。因此，由于抑制了缺陷(例如運(yùn)動(dòng)損失)，信號(hào)處理設(shè)備1能夠產(chǎn)生出更高質(zhì)量的圖像。
接下來(lái)將參照?qǐng)D7對(duì)圖像內(nèi)插單元58的細(xì)節(jié)進(jìn)行說(shuō)明。
圖7為一方框圖，顯示出圖像內(nèi)插單元58的結(jié)構(gòu)。其結(jié)構(gòu)在圖7中所示的該圖像內(nèi)插單元58進(jìn)行這樣一個(gè)過(guò)程，該過(guò)程通過(guò)使用分配給在分配矢量存儲(chǔ)器55中的內(nèi)插幀的運(yùn)動(dòng)矢量以及在幀t和t+1中的像素并且輸出60P信號(hào)圖像來(lái)產(chǎn)生出內(nèi)插幀的像素。
在圖7中的示例中，將在時(shí)刻t處的幀t輸入給空間濾波器92-1，同時(shí)將在時(shí)刻t+1處的幀t+1輸入給空間濾波器92-2和緩沖器95。
內(nèi)插控制單元91選擇在分配矢量存儲(chǔ)器55中的內(nèi)插幀中的像素，并且根據(jù)分配給所選像素的運(yùn)動(dòng)矢量，找出在內(nèi)插幀中的像素與在兩個(gè)幀t和t+1中的像素之間的位置關(guān)系(空間偏移)。具體地說(shuō)，內(nèi)插控制單元91使用在內(nèi)插幀中的像素作為參考，并且從在通過(guò)像素的運(yùn)動(dòng)矢量相關(guān)的幀t中的位置和在與在內(nèi)插幀中的像素相對(duì)應(yīng)的幀t中的位置找出有關(guān)這兩個(gè)幀的空間偏移。內(nèi)插控制單元91將所獲得的空間偏移提供給空間濾波器92-1。類(lèi)似地，內(nèi)插控制單元91使用在內(nèi)插幀中的像素作為參考，并且從在通過(guò)像素的運(yùn)動(dòng)矢量相關(guān)的幀t+1中的位置和在與在內(nèi)插幀中的像素相對(duì)應(yīng)的幀t+1中的位置找出有關(guān)這兩個(gè)幀的空間偏移。內(nèi)插控制單元91將所獲得的空間偏移提供給空間濾波器92-2。
另外，根據(jù)在前面設(shè)定的內(nèi)插幀中的時(shí)相(時(shí)刻)，內(nèi)插控制單元91找出在幀t和t+1之間的內(nèi)插權(quán)重，并且在乘法器93-1和93-2中設(shè)定所獲得的內(nèi)插權(quán)重。例如，當(dāng)在內(nèi)插幀中的時(shí)間處于離幀t+1的時(shí)間t+1距離“k”處并且處于離幀t的時(shí)間t距離“1-k”處時(shí)，即當(dāng)在將時(shí)刻t和t+1內(nèi)在地分成“1-k”:“k”的時(shí)刻處產(chǎn)生出內(nèi)插幀時(shí)，內(nèi)插控制單元91在乘法器93-1中設(shè)定“1-k”的內(nèi)插權(quán)重，并且在乘法器93-2中設(shè)定“k”的內(nèi)插權(quán)重。
空間濾波器92-1和92-2由例如立方濾波器等形成。根據(jù)在輸入的幀t中的像素的像素值和從內(nèi)插控制單元91提供的空間偏移，空間濾波器92-1找出在與在內(nèi)插幀中的像素對(duì)應(yīng)的幀t中的像素值，并且將所獲得的像素值輸出給乘法器93-1。根據(jù)在輸入的幀t+1中的像素的像素值以及從內(nèi)插控制單元91提供的空間偏移，空間濾波器92-2找出在與內(nèi)插幀中的像素對(duì)應(yīng)的幀t+1中的像素值，并且將所獲得的像素值輸出給乘法器93-2。
當(dāng)在內(nèi)插幀中的像素的位置沒(méi)有與在幀t或幀t+1中的像素位置一致時(shí)，即當(dāng)內(nèi)插幀的位置具有等于或小于在幀t或幀t+1中的像素值的分量時(shí)，通過(guò)在幀t或幀t+1中使用在內(nèi)插幀中的像素周?chē)乃膫€(gè)相鄰像素的像素值，從而空間濾波器92-1或92-2找出到相鄰像素的距離的反比總和，由此找出在與在內(nèi)插幀中的像素對(duì)應(yīng)的幀中的像素值。換句話說(shuō)，根據(jù)到相鄰像素的距離通過(guò)線性?xún)?nèi)插找出等于或小于參考像素值的像素值。
乘法器93-1將在從空間濾波器92-1輸入的幀t中的像素值乘以在內(nèi)插控制單元91中設(shè)定的內(nèi)插權(quán)重“1-k”，并且將加權(quán)像素值輸出給加法器94。乘法器93-2將從空間濾波器92-2輸入的幀t+1中的像素值乘以在內(nèi)插控制單元91中設(shè)定的內(nèi)插權(quán)重“k”，并且將加權(quán)像素值輸出給加法器94。
加法器94通過(guò)將從乘法器93-1輸入的像素值和從乘法器93-2輸入的像素值加在一起產(chǎn)生出在內(nèi)插幀中的像素的像素值，并且將在內(nèi)插幀中的所產(chǎn)生出的像素值輸出給緩沖器95。緩沖器95對(duì)輸入幀t+1進(jìn)行緩沖。緩沖器95輸出所產(chǎn)生出的內(nèi)插幀。隨后，如果需要的話，通過(guò)輸出經(jīng)緩存的幀t+1，根據(jù)提前設(shè)定的60P幀的時(shí)相(時(shí)刻)，緩沖器95將60P信號(hào)圖像輸出給隨后階段(未示出)。
下面將參照在圖8中所示的流程圖對(duì)通過(guò)具有上述結(jié)構(gòu)的圖像內(nèi)插單元58進(jìn)行的圖像內(nèi)插過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。
在步驟S51中，根據(jù)所要處理的內(nèi)插幀的時(shí)相，內(nèi)插控制單元91找出在幀t和t+1之間的內(nèi)插幀的內(nèi)插權(quán)重(例如，“k”和“1-k”)，并且在乘法器93-1和93-2中設(shè)定所獲得的內(nèi)插權(quán)重。該過(guò)程前進(jìn)至步驟S52。在步驟S52中，內(nèi)插控制單元91選擇在分配矢量存儲(chǔ)器55中的內(nèi)插幀中的像素并且前進(jìn)至步驟S53。從在該幀中的左上像素開(kāi)始按照光柵掃描順序選擇在內(nèi)插幀中的像素。
在步驟S53中，根據(jù)分配給所選像素的運(yùn)動(dòng)矢量，內(nèi)插控制單元91找出在內(nèi)插幀中的像素與在兩個(gè)幀t和t+1之間的每個(gè)像素之間的位置關(guān)系(空間偏移)。內(nèi)插控制單元91將所獲得的空間偏移提供給空間濾波器92-1和92-2，并且該過(guò)程前進(jìn)至步驟S54。具體地說(shuō)，在步驟S53中，通過(guò)使用在內(nèi)插幀中的像素作為參考，從在通過(guò)其運(yùn)動(dòng)矢量相關(guān)的幀t中的位置以及在幀t中與在內(nèi)插幀中的像素相對(duì)應(yīng)的像素的位置中，內(nèi)插控制單元91找出有關(guān)這兩個(gè)幀的空間偏移并且將所獲得的空間偏移提供給空間濾波器92-1。同樣，通過(guò)使用在內(nèi)插幀中的像素，從在通過(guò)其運(yùn)動(dòng)矢量相關(guān)的幀t+1中的位置和在幀t+1中與在內(nèi)插幀中的像素對(duì)應(yīng)的像素的位置中，內(nèi)插控制單元91找出有關(guān)兩個(gè)幀的空間偏移并且將空間偏移提供給空間濾波器92-2。
將在時(shí)刻t處的圖像的幀t中的像素值輸入給空間濾波器92-1，同時(shí)將在t+1處的圖像的幀t+1中的像素值輸入給空間濾波器92-2。在步驟S54中，根據(jù)在幀t和t+1中的像素的像素值以及從內(nèi)插控制單元91提供的空間偏移，空間濾波器92-1和92-2找出在與在內(nèi)插幀中的像素對(duì)應(yīng)的幀中的像素值，并且將所獲得的像素值輸出給乘法器93-1和93-2。
在步驟S55中，乘法器93-1和93-2使用由內(nèi)插控制單元91設(shè)定的內(nèi)插權(quán)重來(lái)給在從乘法器93-1和93-2中輸入的幀中的像素值加權(quán)，并且將加權(quán)像素值輸出給加法器94。該過(guò)程前進(jìn)至步驟S56。具體地說(shuō)，乘法器93-1將在從空間濾波器92-1輸入的幀t中的像素值乘以由內(nèi)插控制單元91設(shè)定的內(nèi)插權(quán)重“1-k”，并且將加權(quán)像素值輸出給加法器94。乘法器93-2將在從空間濾波器92-2輸入的幀t+1中的像素值乘以由內(nèi)插控制單元91設(shè)定的內(nèi)插權(quán)重“k”，并且將加權(quán)像素值輸出給加法器94。
在步驟S56中，加法器94通過(guò)將由乘法器93-1加權(quán)的像素值與由乘法器93-2加權(quán)的像素值加在一起而產(chǎn)生出在內(nèi)插幀中的像素的像素值。加法器94將所產(chǎn)生出的像素值輸出給緩沖器95，并且該過(guò)程前進(jìn)至步驟S57。在步驟S57中，內(nèi)插控制單元91確定在內(nèi)插幀中的所有像素上的處理是否已經(jīng)結(jié)束。如果內(nèi)插控制單元91已經(jīng)確定在內(nèi)插幀中的所有像素上的處理還沒(méi)有結(jié)束，則該過(guò)程前進(jìn)至步驟S52，并且反復(fù)進(jìn)行隨后的步驟，如果在步驟S57中內(nèi)插控制單元91已經(jīng)確定在內(nèi)插幀中的所有像素上的處理已經(jīng)完成，則該圖像內(nèi)插過(guò)程終止。
如上所述，根據(jù)分配給內(nèi)插幀的運(yùn)動(dòng)矢量產(chǎn)生出在內(nèi)插幀中的像素值，并且在圖6中的步驟S6中，內(nèi)插幀通過(guò)緩沖器95輸出，隨后如果需要的話則輸出幀t+1，由此將60P信號(hào)圖像輸出給隨后的圖像。因此，將最可能的運(yùn)動(dòng)矢量分配給在內(nèi)插幀中的像素。因此，產(chǎn)生出精確的內(nèi)插幀。
接下來(lái)將對(duì)矢量檢測(cè)單元52的結(jié)構(gòu)的細(xì)節(jié)進(jìn)行說(shuō)明。
圖9為一方框圖，顯示出矢量檢測(cè)單元52的結(jié)構(gòu)。其結(jié)構(gòu)在圖9中所示的該矢量檢測(cè)單元52通過(guò)使用在輸入圖像的時(shí)刻t處的幀t和在輸入圖像的時(shí)刻t+1處的幀t+1檢測(cè)在幀t中的運(yùn)動(dòng)矢量。對(duì)由多個(gè)像素構(gòu)成的每個(gè)預(yù)定塊執(zhí)行運(yùn)動(dòng)矢量的這個(gè)檢測(cè)。
通過(guò)初始矢量選擇單元101將從檢測(cè)過(guò)去運(yùn)動(dòng)矢量的結(jié)果中獲得的非?？煽康倪\(yùn)動(dòng)矢量作為用作在梯度法中使用的初始值的初始矢量V0輸出給用于每個(gè)預(yù)定塊的遞歸梯度操作單元103。具體地說(shuō)，初始矢量選擇單元101將在周邊塊通過(guò)中獲得的運(yùn)動(dòng)矢量作為初始矢量的候選矢量，這些矢量存儲(chǔ)在檢測(cè)矢量存儲(chǔ)器53中并且為存儲(chǔ)在移位初始矢量存儲(chǔ)器107中的移位初始矢量。初始矢量選擇單元101通過(guò)使用幀t和幀t+1找出候選矢量的評(píng)估值DFD，并根據(jù)所獲得的評(píng)估值DFD從候選矢量中選擇最可靠的矢量。初始矢量選擇單元101將所選的矢量作為初始矢量V0輸出。下面將對(duì)初始矢量選擇單元101的結(jié)構(gòu)的細(xì)節(jié)進(jìn)行說(shuō)明。
前置濾波器102-1和102-2由低通濾波器或高斯濾波器形成。前置濾波器102-1和102-2從輸入圖像的幀t和幀t+1中消除了噪聲分量，并且將所獲得的幀輸出給遞歸梯度操作單元103。
遞歸梯度操作單元103通過(guò)使用從初始矢量選擇單元101輸入的初始矢量V0以及通過(guò)前置濾波器102-1和102-2輸入的幀t和t+1采用梯度法來(lái)計(jì)算出每個(gè)預(yù)定塊的運(yùn)動(dòng)矢量Vn。遞歸梯度操作單元103將初始矢量V0和所計(jì)算出的運(yùn)動(dòng)矢量Vn輸出給矢量評(píng)估單元104。另外，遞歸梯度操作單元103通過(guò)根據(jù)由矢量評(píng)估單元104進(jìn)行的運(yùn)動(dòng)矢量評(píng)估結(jié)果遞歸進(jìn)行梯度操作來(lái)計(jì)算出運(yùn)動(dòng)矢量Vn。
矢量計(jì)算單元104從遞歸梯度操作單元103和運(yùn)動(dòng)矢量Vn中找出運(yùn)動(dòng)矢量Vn-1(或初始矢量V0)的評(píng)估值DFD，并且根據(jù)所獲得的評(píng)估值DFD控制遞歸梯度操作單元103以遞歸地進(jìn)行梯度操作。最后，矢量評(píng)估單元104根據(jù)評(píng)估值DFD選擇非常可靠的矢量，并且將所選的矢量作為運(yùn)動(dòng)矢量V存儲(chǔ)在檢測(cè)矢量存儲(chǔ)器53中。然后，矢量評(píng)估單元104將運(yùn)動(dòng)矢量V的評(píng)估值DFD與運(yùn)動(dòng)矢量V一起提供給移位初始矢量分配單元105。
在從矢量評(píng)估單元104給移位初始矢量分配單元105提供運(yùn)動(dòng)矢量及其評(píng)估值DFD時(shí)，在移位初始矢量分配單元105中，在下一幀中通過(guò)所關(guān)心的塊的運(yùn)動(dòng)矢量設(shè)定作為偏移到所關(guān)心塊的移位初始矢量。換句話說(shuō)，移位初始矢量分配單元105將這樣一個(gè)運(yùn)動(dòng)矢量設(shè)定作為移位初始矢量，該矢量作為初始點(diǎn)具有其位置與在運(yùn)動(dòng)矢量V的終端點(diǎn)處的塊相同的在下一幀中的所關(guān)心塊并且在幅度和取向方面與運(yùn)動(dòng)矢量V相同。移位初始矢量分配單元105將所設(shè)定的移位初始矢量以與所關(guān)心的塊相關(guān)聯(lián)的形式分配給移位初始矢量存儲(chǔ)器107。
具體地說(shuō)，移位初始矢量分配單元105將以與所關(guān)心塊相關(guān)的形式作為移位初始矢量分配的運(yùn)動(dòng)矢量V的評(píng)估值DFD存儲(chǔ)在評(píng)估值存儲(chǔ)器106中。移位初始矢量分配單元105將評(píng)估值DFD與通過(guò)所關(guān)心的相同塊的另一個(gè)運(yùn)動(dòng)矢量的評(píng)估值DFD比較(即，在其位置與所關(guān)心塊相同的過(guò)去幀中的塊用作終端點(diǎn))。隨后，移位初始矢量分配單元105使根據(jù)評(píng)估值DFD而非?？煽康倪\(yùn)動(dòng)矢量偏移至所關(guān)心的塊，并且將移位運(yùn)動(dòng)矢量作為在所關(guān)心的塊中的移位初始矢量分配給移位初始矢量存儲(chǔ)器107。下面將對(duì)移位初始矢量分配單元105的結(jié)構(gòu)細(xì)節(jié)進(jìn)行說(shuō)明。
接下來(lái)將對(duì)在矢量檢測(cè)單元52中的梯度法的原理進(jìn)行說(shuō)明。
首先，在運(yùn)動(dòng)圖像中，在坐標(biāo)(x，y，t)處的像素的亮度由g(x，y，t)表示。在坐標(biāo)(x0，y0，t0)處的所關(guān)心像素在微小時(shí)間中移動(dòng)(dx，dy，dt)時(shí)，通過(guò)分別用gx(x0，y0，t0)、gy(x0，y0，t0)、gt(x0，y0，t0)表示水平、垂直和時(shí)基梯度(在差值方面的差異)，通過(guò)下面公式(2)在Taylor擴(kuò)展近似中表示出移位像素的亮度。
g(x0+dx，y0+dy，t0+dt)≈g(x0，y0，t0)+gx(x0，y0，t0)dx+gy(x0，y0，t0)dy+gt(x0，y0，t0)dt (2)當(dāng)在運(yùn)動(dòng)圖像中的所關(guān)心像素在一幀之后運(yùn)動(dòng)了水平距離vx和垂直距離vy(下面被稱(chēng)為“(vx，vy)”)時(shí)，像素的亮度由下面的公式(3)表示。
g(x0+vx，y0+vy，t0+1)＝g(x0，y0，t0) (3)通過(guò)用公式(2)替代公式(3)，公式(3)由以下公式(4)表示gx(x0，y0，t0)vx+gy(x0，y0，t0)vy+gt(x0，y0，t0)＝0 (4)公式(4)具有兩個(gè)變量vx和vy。因此，不可能解出所關(guān)心的一個(gè)像素的單個(gè)公式。因此，如下所述，將作為在所關(guān)心像素周?chē)闹苓厖^(qū)域的塊當(dāng)作一個(gè)處理單元，并且假設(shè)在塊(周邊區(qū)域)中的所有像素進(jìn)行相同的運(yùn)動(dòng)(vx，vy)，從而對(duì)于每個(gè)像素寫(xiě)入類(lèi)似的公式。通過(guò)使用該假設(shè)作為條件，對(duì)于兩個(gè)變量，可以獲得等于周邊像素的數(shù)量的公式數(shù)量。因此，將所獲得的公式同時(shí)求解以找出其中在塊中所有像素的運(yùn)動(dòng)補(bǔ)償幀差的平方的總和最小的值(vx，vy)。
當(dāng)像素(x，y，t)在一個(gè)幀期間運(yùn)動(dòng)了數(shù)值(vx，vy)時(shí)，運(yùn)動(dòng)補(bǔ)償幀間差d由下面公式(5)表示。
d＝g(x+vx，y+vy，t+1)-g(x，y，t)＝Δxvx+Δyvy+Δt (5)
在公式(5)中，Δx＝gx(x，y，t)，它代表水平梯度，Δy＝gy(x，y，t)，它代表垂直梯度，并且Δt＝gt(x，y，t)，它代表時(shí)間梯度。通過(guò)使用這些并且通過(guò)E表示出運(yùn)動(dòng)補(bǔ)償幀間差的平方和，從而通過(guò)以下公式(6)表示出E。
E＝∑d2＝∑(Δx2vx2+Δy2vy2+2ΔxΔyvxvy+2ΔxΔtvx+2ΔyΔtvy+Δt2)＝vx2∑Δx2+vy2∑Δy2+2vxvy∑ΔxΔy+2vx∑ΔxΔt+2vy∑ΔyΔt+∑Δt2(6)在公式(6)中，當(dāng)在每個(gè)變量中的局部差值為零時(shí)，也就是說(shuō)當(dāng)保持條件δE/δvx＝δE/δvy時(shí)獲得其中E最小的數(shù)值(vx，vy)。因此，從公式(6)獲得以下公式(7)和(8)。
vx∑Δx2+vy∑ΔxΔy+∑ΔxΔt＝0 (7)vy∑Δy2+vx∑ΔxΔy+∑ΔyΔt＝0 (8)從公式(7)和(8)中，可通過(guò)求解公式(9)計(jì)算出運(yùn)動(dòng)的值(vx，vy)vx=-(ΣΔy2)(ΣΔtΔx)-(ΣΔxΔy)(ΣΔtΔy)(ΣΔx2)(ΣΔy2)-(ΣΔxΔy)2]]>vy=-(ΣΔx2)(ΣΔxΔy)-(ΣΔxΔy)(ΣΔtΔx)(ΣΔx2)(ΣΔy2)-(ΣΔxΔy)2.---(9)]]>圖10用于具體說(shuō)明。在圖10中的示例中，箭頭X表示水平方向，并且箭頭Y表示垂直方向。另外，箭頭T表示從設(shè)置在圖10的背景右側(cè)上的在時(shí)刻t處幀t到設(shè)置在圖10的前景的左側(cè)上的在時(shí)刻t+1處的幀t+1的時(shí)間流逝方向。在圖10中的示例中，在每個(gè)幀中，只是將用在梯度操作中的8個(gè)像素乘以8個(gè)像素的區(qū)域顯示為由參考字母p表示的在所關(guān)心像素周?chē)闹苓厖^(qū)域(塊)。
當(dāng)在幀t中通過(guò)使用梯度法找出設(shè)置在從頂左邊像素向下第五排中并且在從頂左邊像素向右第五列中的所關(guān)心像素p的運(yùn)動(dòng)矢量V(vx，vy)時(shí)，通過(guò)對(duì)于在所關(guān)心像素p周?chē)闹苓厖^(qū)域(8×8像素)中的所有像素的每一個(gè)找出在沿著所關(guān)心像素的x和y方向獲得的相鄰像素px和py之間的亮度差中的差異(即梯度)Δx和Δy、相對(duì)于與所關(guān)心像素p同相設(shè)置的像素q在亮度差方面的時(shí)基差Δt(梯度)，并且使用公式(9)來(lái)根據(jù)在亮度差方面的差異進(jìn)行操作，從而可以計(jì)算出運(yùn)動(dòng)矢量V(vx，vy)。
換句話說(shuō)，在梯度法中，計(jì)算出在兩個(gè)幀之間的梯度Δx、Δy和Δt，并且從所獲得的Δx、Δy和Δt中通過(guò)使用差值平方和來(lái)統(tǒng)計(jì)計(jì)算出運(yùn)動(dòng)矢量V(vx，vy)。
一般來(lái)說(shuō)，在采用上面的梯度法進(jìn)行運(yùn)動(dòng)矢量檢測(cè)中，對(duì)于微小運(yùn)動(dòng)獲得非常精確的結(jié)果。但是，當(dāng)在實(shí)際運(yùn)動(dòng)圖像中找出運(yùn)動(dòng)時(shí)，該梯度法并不實(shí)際，因?yàn)樵趫D像中的運(yùn)動(dòng)量太大。為了消除這個(gè)缺陷，可以遞歸進(jìn)行該梯度法許多次。通過(guò)遞歸執(zhí)行梯度法，在操作中的運(yùn)動(dòng)量收斂。因此，逐漸計(jì)算出精確運(yùn)動(dòng)。
然而在進(jìn)行實(shí)時(shí)處理時(shí)從操作時(shí)間方面看只是遞歸進(jìn)行梯度法并不實(shí)際。因此，在矢量檢測(cè)單元52中，將基于在過(guò)去和當(dāng)前幀之間的周邊像素的運(yùn)動(dòng)找到的初始矢量用作初始值，因此減少了遞歸進(jìn)行該梯度法的次數(shù)。換句話說(shuō)，通過(guò)提前將偏置量加入到由初始矢量表示的位置并且從具有附加偏置量的位置采用梯度法進(jìn)行操作從而從用作運(yùn)動(dòng)初始點(diǎn)的所關(guān)心像素中計(jì)算出大致運(yùn)動(dòng)，這樣可以進(jìn)行細(xì)微調(diào)節(jié)包括在像素內(nèi)的運(yùn)動(dòng)。這能夠在不增加操作時(shí)間的情況下進(jìn)行精確運(yùn)動(dòng)矢量的檢測(cè)。
圖11為通過(guò)使用初始矢量執(zhí)行的遞歸梯度法的具體示意圖。在圖11所示的示例中，箭頭T表示從在前景左側(cè)上顯示出的在時(shí)刻t處的幀t到在背景右側(cè)上顯示出的在時(shí)刻t+1處的幀t+1的時(shí)間流逝方向。其中心分別為像素p、q0、q1、q2和q3的塊表示用在像素的梯度操作中的周邊區(qū)域(塊)。
在圖11中的示例中，對(duì)于在幀t中的所關(guān)心像素p中，不是設(shè)置成與所關(guān)心像素p同相的像素q0，而是提前找到的初始像素v0被偏置(移動(dòng))以計(jì)算位置(像素)q1。進(jìn)行第一梯度操作，并且將位置q1作為初始點(diǎn)。這產(chǎn)生出運(yùn)動(dòng)矢量V1。
接下來(lái)，通過(guò)將通過(guò)從像素q0偏置v0+v1而計(jì)算出的位置作為初始點(diǎn)來(lái)進(jìn)行第二梯度操作。這產(chǎn)生出運(yùn)動(dòng)矢量v2。因此，將運(yùn)動(dòng)矢量V用以下公式(10)表示。
V＝v0+v1+v2 (10)如上所述，通過(guò)使用初始矢量來(lái)執(zhí)行梯度操作，從而能夠在減少所需操作時(shí)間的同時(shí)計(jì)算出非常精確的運(yùn)動(dòng)矢量。
接下來(lái)將參照在圖12中所示的流程圖對(duì)運(yùn)動(dòng)矢量檢測(cè)過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。
矢量檢測(cè)單元52接收所輸入的在時(shí)刻t處的幀t和所輸入的在時(shí)刻t+1處的幀t+1。
在步驟S101中，初始矢量選擇單元101選擇受到處理的在幀t中的塊作為所關(guān)心的塊，并且該過(guò)程前進(jìn)至步驟S102。在該幀中，從頂左邊塊按照光柵掃描方式執(zhí)行處理。
在步驟S102中，初始矢量選擇單元101執(zhí)行初始矢量選擇過(guò)程。初始矢量選擇單元101從在步驟S101中對(duì)每組塊檢測(cè)過(guò)去運(yùn)動(dòng)矢量的結(jié)果中選擇非?？煽康倪\(yùn)動(dòng)矢量，將所選運(yùn)動(dòng)矢量作為用作在梯度法中使用的初始值的初始矢量V0輸出給遞歸梯度操作單元103。該過(guò)程前進(jìn)至步驟S103。
換句話說(shuō)，在初始矢量選擇單元101中，在過(guò)去的梯度操作評(píng)估過(guò)程(下面所述的步驟S103)中被找到之后存儲(chǔ)在檢測(cè)矢量存儲(chǔ)器53中的周邊塊的運(yùn)動(dòng)矢量和通過(guò)過(guò)去的移位初始矢量分配過(guò)程(下面所述的步驟S104)存儲(chǔ)在移位初始矢量存儲(chǔ)器107中的移位初始矢量選作初始候選矢量。初始矢量選擇單元101使用幀t和幀t+1來(lái)找出候選矢量的評(píng)估值DFD，并且根據(jù)所獲得的評(píng)估值DFD從候選矢量中選擇出非?？煽康氖噶?，并且將所選的矢量作為初始矢量V0輸出。下面將對(duì)在步驟S102中的初始矢量選擇過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。
在步驟S103中，遞歸梯度操作單元103和矢量評(píng)估單元104執(zhí)行遞歸梯度操作評(píng)估過(guò)程(下面也被稱(chēng)為“遞歸梯度操作過(guò)程”)，并且前進(jìn)至步驟S104。具體地說(shuō)，在步驟S103中，通過(guò)使用從初始矢量選擇單元101輸入的初始矢量V0以及分別通過(guò)前置濾波器102-1和102-2輸入的幀t和幀t+1輸入的初始矢量V0，從而遞歸梯度操作單元103遞歸地進(jìn)行梯度操作以根據(jù)運(yùn)動(dòng)矢量評(píng)估結(jié)果計(jì)算出運(yùn)動(dòng)矢量Vn。另外，矢量評(píng)估單元104找出運(yùn)動(dòng)矢量Vn-1和運(yùn)動(dòng)矢量Vn的評(píng)估值DFD，根據(jù)所獲得的評(píng)估值DFD選擇非?？煽康倪\(yùn)動(dòng)矢量，并且將所選運(yùn)動(dòng)矢量作為運(yùn)動(dòng)矢量V存儲(chǔ)在檢測(cè)矢量存儲(chǔ)器53中。這時(shí)，矢量評(píng)估單元104將運(yùn)動(dòng)矢量V的評(píng)估值DFD與運(yùn)動(dòng)矢量V一起提供給移位初始矢量分配單元105。下面將對(duì)在步驟S103中的遞歸梯度操作的細(xì)節(jié)進(jìn)行說(shuō)明。
在步驟S104中，移位初始矢量分配單元105執(zhí)行移位初始矢量分配過(guò)程，并且前進(jìn)至步驟S105。在從矢量評(píng)估單元104給移位初始矢量分配單元105提供運(yùn)動(dòng)矢量V及其評(píng)估值DFD時(shí)，在步驟S104中，在移位初始矢量分配單元105中，將經(jīng)過(guò)在下一幀中的所關(guān)心塊的運(yùn)動(dòng)矢量設(shè)定作為偏移至所關(guān)心塊的移位初始矢量。換句話說(shuō)，將這樣一個(gè)運(yùn)動(dòng)矢量設(shè)定作為移位初始矢量，該矢量具有其位置與在運(yùn)動(dòng)矢量V的終端點(diǎn)處的塊相同的在下一幀中的所關(guān)心塊作為初始點(diǎn)并且在幅度和取向方面與運(yùn)動(dòng)矢量V相同。移位初始矢量分配單元105將所設(shè)定的移位初始矢量以與所關(guān)心的塊相關(guān)聯(lián)的形式分配給移位初始矢量存儲(chǔ)器107。
具體地說(shuō)，移位初始矢量分配單元105將以與所關(guān)心塊相關(guān)的形式作為移位初始矢量分配的運(yùn)動(dòng)矢量V的評(píng)估值DFD存儲(chǔ)在評(píng)估值存儲(chǔ)器106中，將評(píng)估值DFD與通過(guò)所關(guān)心的相同塊的另一個(gè)運(yùn)動(dòng)矢量的評(píng)估值DFD比較(即，在其位置與所關(guān)心塊相同的過(guò)去幀中的塊用作終端)，使非?？煽康倪\(yùn)動(dòng)矢量(根據(jù)評(píng)估值DFD)偏移至該塊以便作為移位初始矢量，并且按照與移位塊相關(guān)的形式將移位初始矢量分配給移位初始矢量存儲(chǔ)器107。下面將對(duì)移位初始矢量分配單元105的結(jié)構(gòu)細(xì)節(jié)進(jìn)行說(shuō)明。
在步驟S105中，初始矢量選擇單元101確定在幀t的所有塊上的處理是否已經(jīng)完成。如果確定在幀t的所有塊上的處理還沒(méi)有完成，則該過(guò)程返回到步驟S101，并且反復(fù)進(jìn)行隨后的步驟。如果在步驟S105中初始矢量選擇單元101已經(jīng)確定在幀t的所有塊上的處理已經(jīng)完成，即如果初始矢量選擇單元101已經(jīng)確定在幀t的所有塊的每一個(gè)中已經(jīng)檢測(cè)出運(yùn)動(dòng)矢量V，則該運(yùn)動(dòng)矢量檢測(cè)過(guò)程終止。
如上所述，從在過(guò)去檢測(cè)出的運(yùn)動(dòng)矢量之中選擇出初始矢量，并且根據(jù)所選的初始矢量采用梯度操作來(lái)反復(fù)計(jì)算出運(yùn)動(dòng)矢量。從所計(jì)算出的運(yùn)動(dòng)矢量中，檢測(cè)出基于評(píng)估值DFD的非?？煽?即最可能的)的運(yùn)動(dòng)矢量。因此，在檢測(cè)矢量存儲(chǔ)器53中，存儲(chǔ)用于幀t的所有塊的運(yùn)動(dòng)矢量V。
接下來(lái)將對(duì)移位初始矢量分配單元105的結(jié)構(gòu)細(xì)節(jié)進(jìn)行說(shuō)明。
圖13為一方框圖，顯示出移位初始矢量分配單元105的結(jié)構(gòu)。其結(jié)構(gòu)在圖13中所示的初始矢量分配單元105根據(jù)由矢量評(píng)估單元104檢測(cè)的運(yùn)動(dòng)矢量V設(shè)定用作初始候選矢量的移位初始矢量，并且將設(shè)定的移位初始矢量分配給移位初始矢量存儲(chǔ)器107。將由矢量評(píng)估單元104檢測(cè)出的運(yùn)動(dòng)矢量V和運(yùn)動(dòng)矢量V的評(píng)估值DFD輸入給移位初始矢量分配單元105。
分配位置計(jì)算單元201進(jìn)行操作以找出由矢量評(píng)估單元104檢測(cè)出的運(yùn)動(dòng)矢量V在下一次在幀中通過(guò)的塊的位置，即在其位置與在當(dāng)前幀中檢測(cè)出的運(yùn)動(dòng)矢量V的終端點(diǎn)出的塊相同的下一幀中的塊的位置，并且將塊的計(jì)算位置提供給評(píng)估值存儲(chǔ)器106和移位初始矢量更換單元203。
在輸入運(yùn)動(dòng)矢量V和該運(yùn)動(dòng)矢量V的評(píng)估值DFD時(shí)，評(píng)估值比較單元202從評(píng)估值存儲(chǔ)器106中讀取來(lái)自分配位置計(jì)算單元201在塊位置處的評(píng)估值DFD。評(píng)估值比較單元202將從評(píng)估值存儲(chǔ)器106中讀取的評(píng)估值DFD和由矢量評(píng)估單元104檢測(cè)出的運(yùn)動(dòng)矢量V的評(píng)估值DFD進(jìn)行比較。在確定所檢測(cè)出的運(yùn)動(dòng)矢量V的評(píng)估值更小時(shí)，評(píng)估值比較單元202控制移位初始矢量更換單元203，從而在移位初始矢量存儲(chǔ)器107中通過(guò)基于評(píng)估值DFD被確定為非常可靠的運(yùn)動(dòng)矢量V重寫(xiě)在由移位初始矢量分配單元105提供的塊的位置處的移位初始矢量。同時(shí)，評(píng)估值比較單元202控制評(píng)估值更換單元204以通過(guò)運(yùn)動(dòng)矢量V的評(píng)估值DFD重寫(xiě)由分配位置計(jì)算單元201選擇的塊位置的評(píng)估值DFD。
移位初始矢量更換單元203在移位初始矢量存儲(chǔ)器107中通過(guò)從評(píng)估值比較單元202提供的運(yùn)動(dòng)矢量(即其幅度和取向與運(yùn)動(dòng)矢量V相同的運(yùn)動(dòng)矢量)重寫(xiě)在由分配位置計(jì)算單元201提供的塊位置處的移位初始矢量。在評(píng)估值比較單元202的控制下，評(píng)估值更換單元204通過(guò)運(yùn)動(dòng)矢量V的評(píng)估值DFD重寫(xiě)由分配位置計(jì)算單元201所選的塊的位置的評(píng)估值DFD。
評(píng)估值存儲(chǔ)器106在塊單元中存儲(chǔ)用于分配給這些塊的初始候選矢量的下一幀中的評(píng)估值DFD。在移位初始矢量存儲(chǔ)器107中，其評(píng)估值DFD在下一幀中的每個(gè)塊中是最小的運(yùn)動(dòng)矢量存儲(chǔ)作為移位初始矢量，以便與塊相關(guān)。
圖14為由移位初始矢量分配單元105分配的移位初始矢量的一維示意圖。在圖14中所示的示例中，在時(shí)刻T＝t-1處的幀t-1、在時(shí)刻T＝t處的幀t以及在時(shí)刻T＝t+1處的幀t+1從頂部依次顯示出。在這些幀中的分隔部分表示在這些幀中的塊邊界。
在圖14中的示例中，在幀t-1中的塊B中檢測(cè)出的運(yùn)動(dòng)矢量由運(yùn)動(dòng)矢量V(在圖14中的實(shí)線箭頭)表示，并且基于其初始點(diǎn)為塊B的運(yùn)動(dòng)矢量V的幀t中的運(yùn)動(dòng)補(bǔ)償塊(下面被稱(chēng)為“偏置塊”)由塊Bt表示。另外，通過(guò)使在幀t-1中的運(yùn)動(dòng)矢量偏移至塊Bt而獲得的運(yùn)動(dòng)矢量由偏移初始矢量SV表示(在圖14中的虛線箭頭)。在該情況中，偏置塊表示塊Bt，其位置與在幀t-1中檢測(cè)出的運(yùn)動(dòng)矢量V的終端點(diǎn)處的塊相同。術(shù)語(yǔ)“偏移”指的是，其取向與在幀t-1中檢測(cè)出的運(yùn)動(dòng)矢量V相同的運(yùn)動(dòng)矢量的初始點(diǎn)被用作在幀t中的塊Bt，其位置與在幀t-1中的運(yùn)動(dòng)矢量V的終端點(diǎn)處的塊相同。換句話說(shuō)，移位初始矢量SV為這樣一個(gè)運(yùn)動(dòng)矢量，它以與在幀t-1中檢測(cè)出的運(yùn)動(dòng)矢量的終端點(diǎn)處的塊具有相同位置的幀t中的方框Bt作為初始點(diǎn)。
一般來(lái)說(shuō)，在順序幀之間，運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)量具有一定的連續(xù)性并且稍微變化。因此，在圖14中的示例中，當(dāng)在塊B上的對(duì)象以恒定的速度或與之接近的速度運(yùn)動(dòng)時(shí)，在許多情況中，在塊Bt中的運(yùn)動(dòng)矢量也用作運(yùn)動(dòng)矢量V或與之接近的運(yùn)動(dòng)矢量。
因此，在通過(guò)使用該移位初始矢量SV作為對(duì)于梯度操作給出的初始候選矢量來(lái)檢測(cè)所關(guān)系的塊Bt的運(yùn)動(dòng)矢量的情況下，與只使用周邊塊的運(yùn)動(dòng)矢量作為初始候選矢量的情況現(xiàn)比，能夠在通過(guò)梯度操作進(jìn)行的運(yùn)動(dòng)矢量檢測(cè)中獲得更適當(dāng)?shù)某跏际噶俊?br> 下面將參照?qǐng)D15和16對(duì)前面進(jìn)行具體說(shuō)明。在圖15和16中，在每個(gè)幀中，顯示出九個(gè)塊。
圖15顯示出具有較大運(yùn)動(dòng)的對(duì)象經(jīng)過(guò)的塊以及周邊塊的運(yùn)動(dòng)矢量的示例。在圖15的情況中，由一個(gè)塊形成的對(duì)象O1的圖像對(duì)象具有運(yùn)動(dòng)較大的運(yùn)動(dòng)矢量V1，并且從在幀t-1中的最右端塊(從左開(kāi)始的第九塊)經(jīng)由從在幀t中的左邊開(kāi)始第五塊運(yùn)動(dòng)到在幀t+1中最左邊塊。另外，由四個(gè)塊形成的對(duì)象O2具有運(yùn)動(dòng)矢量V1，其運(yùn)動(dòng)小于運(yùn)動(dòng)矢量V1的運(yùn)動(dòng)，它從在幀t-1中從左邊開(kāi)始的第三至第六(四個(gè))塊經(jīng)由在幀t+1中從左邊開(kāi)始的第四至第七(四個(gè))塊運(yùn)動(dòng)到在幀t+1中從左邊開(kāi)始的第五至第八(四個(gè))塊。換句話說(shuō)，在幀t中從左邊開(kāi)始第五個(gè)塊中，對(duì)象O1的圖像對(duì)象和對(duì)象O2的圖像對(duì)象彼此相交，并且對(duì)象O1的圖像對(duì)象設(shè)置在前面。
這時(shí)，為了在幀t中檢測(cè)從左邊開(kāi)始第五塊的運(yùn)動(dòng)矢量，其中對(duì)象O1的圖像對(duì)象作為運(yùn)動(dòng)矢量V1通過(guò)，如果從周邊塊的運(yùn)動(dòng)中提取初始矢量，則由于對(duì)象O2的圖像對(duì)象以與對(duì)象O1的圖像對(duì)象不同的矢量V2形式在周邊塊(第四或第六塊)中通過(guò)，所以不存在任何適當(dāng)?shù)倪\(yùn)動(dòng)矢量。即使在這種情況中，移位初始矢量SV1(由在圖15中的虛線箭頭所示的)為通過(guò)使在過(guò)去幀T-1中檢測(cè)出的運(yùn)動(dòng)矢量V1偏移至在幀t中從左邊開(kāi)始的第五塊而獲得的運(yùn)動(dòng)矢量(即，這樣一個(gè)運(yùn)動(dòng)矢量，其幅度和取向與運(yùn)動(dòng)矢量V1相同，并且其初始點(diǎn)為其位置與在幀t-1中檢測(cè)出的運(yùn)動(dòng)矢量V1的終端點(diǎn)處的塊相同的塊(在幀t中))。因此，確保了能夠獲取移位初始矢量SV1。
圖16顯示出在運(yùn)動(dòng)對(duì)象的邊界上的塊以及周邊塊的運(yùn)動(dòng)矢量的示例。在圖16所示的情況中，由一個(gè)塊形成的對(duì)象O3的圖像對(duì)象具有運(yùn)動(dòng)矢量V3，并且從在幀t-1處從左邊開(kāi)始第六個(gè)塊經(jīng)由在幀t中從左邊開(kāi)始第五個(gè)塊運(yùn)動(dòng)到在幀t+1中從左邊開(kāi)始第四個(gè)塊。另外，由至少九個(gè)塊形成的對(duì)象O4的圖像對(duì)象具有與運(yùn)動(dòng)矢量V1不同的運(yùn)動(dòng)矢量V4，從在幀t-1中的所有九個(gè)塊經(jīng)由在幀t中從左邊開(kāi)始第二至第九(八個(gè))塊運(yùn)動(dòng)到在幀t+1中從左邊開(kāi)始第三至第九(七個(gè))塊。換句話說(shuō)，對(duì)象O3的圖像對(duì)象在從在幀t-1中的左邊開(kāi)始第六個(gè)塊、從在幀t中的左邊開(kāi)始第五個(gè)塊和從在幀t+1中的左邊開(kāi)始第四個(gè)塊中在對(duì)象O4的圖像對(duì)象前面通過(guò)。
這時(shí)，如果從周邊塊的運(yùn)動(dòng)中提取初始矢量以便檢測(cè)從左邊開(kāi)始第五個(gè)塊的運(yùn)動(dòng)矢量，其中對(duì)象O3的圖像對(duì)象以運(yùn)動(dòng)矢量V3的形式通過(guò)，則由于在周邊塊(從左邊開(kāi)始第四或第六塊)中對(duì)象O4的圖像對(duì)象以與對(duì)象O3的圖像對(duì)象不同的運(yùn)動(dòng)矢量V4形式通過(guò)，所以不存在任何適當(dāng)?shù)倪\(yùn)動(dòng)矢量。但是，還有在該情況中，與在圖15中的情況類(lèi)似，移位初始矢量SV3(由虛線箭頭所示的)為通過(guò)使在過(guò)去幀t-1中檢測(cè)出的運(yùn)動(dòng)矢量V3偏移至在幀t中從右邊開(kāi)始第五個(gè)塊而獲得的矢量，即所獲得的矢量在幅度和取向方面與運(yùn)動(dòng)矢量V3相同，并且以在幀t中其位置與在幀t-1中檢測(cè)出的運(yùn)動(dòng)矢量V3的終端點(diǎn)處的塊相同的塊為初始點(diǎn)。因此，確保了能夠獲取移位初始矢量SV3。
如上所述，對(duì)于如圖15所示具有較大運(yùn)動(dòng)的對(duì)象以及如圖16所示運(yùn)動(dòng)對(duì)象的邊界，在許多情況中，能夠用作在將要從中檢測(cè)運(yùn)動(dòng)矢量的所關(guān)心塊中的初始候選矢量的周邊塊沒(méi)有任何最佳運(yùn)動(dòng)矢量作為在所關(guān)心塊中的初始矢量。相反，由于移位初始矢量為其幅度和取向與其初始點(diǎn)為在幀t中其位置與在過(guò)去幀t-1中檢測(cè)出的運(yùn)動(dòng)矢量終端點(diǎn)處的塊相同的塊的運(yùn)動(dòng)矢量相同的運(yùn)動(dòng)矢量，所以移位初始矢量并不取決于在塊之間的空間距離。因此，即使在周邊塊中不存在任何適當(dāng)?shù)倪\(yùn)動(dòng)矢量作為在所關(guān)心塊中的初始矢量的情況中，也確保了獲得移位初始矢量，并且可以將移位初始矢量用作最佳初始候選矢量。
回過(guò)來(lái)參照?qǐng)D14，下面將對(duì)用于確定移位初始矢量的方法進(jìn)行說(shuō)明。在圖14所示的情況中，在使用在幀t中受到運(yùn)動(dòng)矢量檢測(cè)過(guò)程的所關(guān)心塊Bt作為參考的同時(shí)搜索在所關(guān)心塊Bt中通過(guò)的運(yùn)動(dòng)矢量的情況中，必須搜索在幀t-1中的所有塊的運(yùn)動(dòng)矢量。這需要大量的處理。因此在該情況中，當(dāng)進(jìn)行運(yùn)動(dòng)矢量檢測(cè)時(shí)，必須進(jìn)行大量處理所需的非常多的操作。因此，難以實(shí)施(以硬件形式)大量處理。
因此，當(dāng)在幀t-1中進(jìn)行運(yùn)動(dòng)矢量檢測(cè)時(shí)，偏移初始矢量分配單元105找出塊(即，在幀t中其位置與在運(yùn)動(dòng)矢量V的終端點(diǎn)處的塊相同的塊)的位置，其中在所關(guān)心塊Bt中檢測(cè)出的運(yùn)動(dòng)矢量V在下一個(gè)時(shí)間處的幀t中通過(guò)，并且提前將運(yùn)動(dòng)矢量V分配作為塊Bt的移位初始矢量SV。這減少了搜索在幀t中進(jìn)行運(yùn)動(dòng)矢量檢測(cè)所需的移位初始矢量的操作數(shù)量，并且建立了所需的硬件。因此，實(shí)際上能夠使用移位初始矢量作為初始候選矢量。
下面參照?qǐng)D17對(duì)通過(guò)移位初始矢量分配單元105確定移位初始矢量的方法進(jìn)行具體說(shuō)明。
在圖17中所示的示例中，箭頭T表示從在時(shí)刻t-1處前左邊幀t-1到在時(shí)刻t處的背景右邊幀t的經(jīng)過(guò)時(shí)間。在這些幀中的圓圈表示像素。
在幀t-1中，塊B0由4×4像素構(gòu)成。當(dāng)在塊B0中檢測(cè)出的運(yùn)動(dòng)矢量由Vb表示時(shí)，通過(guò)使塊B0偏置(在其上進(jìn)行運(yùn)動(dòng)補(bǔ)償)以便處于幀t中而獲得的偏置塊(在幀t中其位置與在塊B0的運(yùn)動(dòng)矢量Vb的終端點(diǎn)處的塊相同的塊)A0一般與在幀t中的四個(gè)塊Bt1至Bt4重疊，每個(gè)塊由4×4像素構(gòu)成。因此，在圖17中的情況中，在與偏置塊A0重疊的塊Bt1至Bt4中的所有四個(gè)塊用作其上要分配運(yùn)動(dòng)矢量Vb的塊。
如上所述，在前面幀中檢測(cè)出的運(yùn)動(dòng)矢量被分配作為移位初始矢量。在該情況中，所要分配的塊的位置取決于運(yùn)動(dòng)矢量的幅度和取向。因此，如圖18所示，根據(jù)在幀t-1中檢測(cè)出的運(yùn)動(dòng)矢量分布，在幀t中，對(duì)多個(gè)移位初始矢量進(jìn)行分配，從而產(chǎn)生出沖突塊以及相反地其上沒(méi)有分配給移位初始矢量的塊。
圖18顯示出移位初始矢量分配的示例。在圖18中的該示例中，在這些幀之間的每個(gè)分隔部分表示塊邊界。在幀t-1中，塊B1至B5在圖18中顯示出從左邊開(kāi)始，并且在幀t中，顯示出塊Bt1至Bt5在圖18中從左邊開(kāi)始。
在塊B1中，檢測(cè)運(yùn)動(dòng)矢量V1，并且塊B1的偏置塊A1在幀t中與塊Bt1和Bt2重疊。在塊B2中，檢測(cè)運(yùn)動(dòng)矢量V2，并且塊B2的偏置塊A2在幀t中與塊Bt1和Bt2重疊。在塊B3中，檢測(cè)運(yùn)動(dòng)矢量V3，并且塊B3的偏置塊A3在幀t中與塊Bt4和Bt5重疊。在塊B4中，檢測(cè)運(yùn)動(dòng)矢量V4，并且塊B4的偏置塊A4與塊Bt4和Bt5重疊。在塊B5中，檢測(cè)運(yùn)動(dòng)矢量V5，并且塊B5的偏置塊A5在幀t中與Bt5以及相鄰塊(未示出)重疊。
換句話說(shuō)，在圖18中的情況中，將運(yùn)動(dòng)矢量V1和V2中的一個(gè)作為移位初始矢量分配給塊Bt1和Bt2。將運(yùn)動(dòng)矢量V3和V4中的一個(gè)作為移位初始矢量分配給在幀t中的塊Bt4。將運(yùn)動(dòng)矢量V3、V4和V5中的一個(gè)作為移位初始矢量分配給在幀t中的塊Bt5。但是，在幀t中的塊Bt3中，不存在用作候選移位初始矢量的運(yùn)動(dòng)矢量。因此，沒(méi)有分配任何移位初始矢量。
因此，移位初始矢量分配單元105將零矢量作為移位初始矢量分配給其上沒(méi)有分配任何移位初始矢量的塊，例如塊Bt3。另外，移位初始矢量分配單元105根據(jù)其中多個(gè)運(yùn)動(dòng)矢量相互沖突的塊例如塊Bt1、Bt2、Bt4和Bt5的上述評(píng)估值DFD選擇高度可靠的運(yùn)動(dòng)矢量，并且將所選的運(yùn)動(dòng)矢量作為移位初始矢量分配給每個(gè)塊。
在圖18中的情況中，為了簡(jiǎn)化說(shuō)明，以與幀t稍微偏移的形式顯示出偏置塊A。
圖19為沖突運(yùn)動(dòng)矢量的示例的示意圖。在圖19中所示的情況中，從在幀t-1中的塊B1和B2開(kāi)始，在其中檢測(cè)出的運(yùn)動(dòng)矢量V1和V2在幀t中的塊Bt中通過(guò)。換句話說(shuō)，塊Bt為在幀t中其位置與在幀t-1中的運(yùn)動(dòng)矢量V1的終端點(diǎn)相同的塊，并且為在幀t中其位置與在幀t-1中的矢量V2的終端點(diǎn)相同的塊。如上所述，在多個(gè)運(yùn)動(dòng)矢量對(duì)于相同塊相互沖突時(shí)，將用于運(yùn)動(dòng)矢量V1的評(píng)估值DFD1和用于矢量V2的評(píng)估值DFD2進(jìn)行比較，并且將其評(píng)估值DFD更小的一個(gè)運(yùn)動(dòng)矢量即可靠性更高的運(yùn)動(dòng)矢量選作塊Bt的移位初始矢量SV2。這使之能夠根據(jù)評(píng)估值DFD獲得非?？煽康囊莆怀跏际噶俊?br> 接下來(lái)將參照在圖20中所示的流程圖對(duì)移位初始矢量分配過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。
當(dāng)在前面階段中矢量評(píng)估單元104檢測(cè)在幀t-1中所關(guān)心塊的運(yùn)動(dòng)矢量V時(shí)，矢量評(píng)估單元104給移位初始矢量分配單元105提供對(duì)檢測(cè)運(yùn)動(dòng)矢量V獲得的評(píng)估值DFD以及運(yùn)動(dòng)矢量V。
在步驟S201中，從矢量評(píng)估單元104將運(yùn)動(dòng)矢量V及其評(píng)估值DFD輸入給評(píng)估值比較單元202。另外，這時(shí)將運(yùn)動(dòng)矢量V輸入給分配位置計(jì)算單元201，并且該過(guò)程前進(jìn)至步驟S202。在步驟S202中，評(píng)估值比較單元202找出在幀t中將要偏置(運(yùn)動(dòng)補(bǔ)償)并且受到分配的塊的位置。換句話說(shuō)，分配位置計(jì)算單元201找到在幀t中其位置與在幀t-1中檢測(cè)出的運(yùn)動(dòng)矢量V的終端點(diǎn)處的塊相同的每個(gè)塊的位置。該過(guò)程前進(jìn)至步驟S203。在步驟S203中，分配位置計(jì)算單元201從所獲得的分配塊中選擇出一個(gè)分配塊(受到分配)。該分配位置計(jì)算單元201將所選的分配塊提供給評(píng)估值存儲(chǔ)器106和移位初始矢量更換單元203。該過(guò)程前進(jìn)至步驟S204。在步驟S203中，從在幀t中的頂左邊塊中順序選擇分配塊。
在步驟S204中，評(píng)估值比較單元202從評(píng)估值存儲(chǔ)器106中獲取所選分配塊的評(píng)估值DFD。該過(guò)程前進(jìn)至步驟S205。在步驟S205中，確定在步驟S201中輸入的運(yùn)動(dòng)矢量V的評(píng)估值DFD是否小于在評(píng)估值存儲(chǔ)器106中的評(píng)估值DFD，即運(yùn)動(dòng)矢量V的評(píng)估值DFD其可靠性是否高于在評(píng)估值存儲(chǔ)器106中的評(píng)估值DFD。如果確定運(yùn)動(dòng)矢量V的評(píng)估值DFD小于在評(píng)估值存儲(chǔ)器106中的評(píng)估值DFD，則該過(guò)程前進(jìn)至步驟S206。
在步驟S206中，評(píng)估值比較單元202控制移位初始矢量更換單元203以通過(guò)運(yùn)動(dòng)矢量V即其幅度和取向與運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量V重寫(xiě)由分配位置計(jì)算單元201選擇的分配塊(在移位初始矢量存儲(chǔ)器207)的移位初始矢量。前進(jìn)至步驟S207，評(píng)估值比較單元202控制評(píng)估值更換單元204以通過(guò)運(yùn)動(dòng)矢量V的評(píng)估值DFD重寫(xiě)由分配位置計(jì)算單元201所選的分配塊的評(píng)估值DFD。該過(guò)程前進(jìn)至步驟S208。
如果在步驟S205中確定在步驟S201中輸入的運(yùn)動(dòng)矢量V的評(píng)估值DFD不小于存儲(chǔ)在評(píng)估值存儲(chǔ)器106中的評(píng)估值DFD，則跳過(guò)步驟S206和S207，并且該過(guò)程前進(jìn)至步驟S208。換句話說(shuō)，在該情況中，確定在評(píng)估值存儲(chǔ)器106中的評(píng)估值DFD比運(yùn)動(dòng)矢量V的評(píng)估值DFD更可靠，沒(méi)有將在評(píng)估值存儲(chǔ)器106和移位初始矢量存儲(chǔ)器107中的數(shù)值重寫(xiě)。
在步驟S208中，分配位置計(jì)算單元201確定在所有其上要分配運(yùn)動(dòng)矢量V的分配塊上處理是否已經(jīng)完成。如果在步驟S208中確定在所有分配塊上的處理還沒(méi)有完成，則該過(guò)程前進(jìn)至步驟S203并且反復(fù)進(jìn)行隨后的步驟。如果在步驟S208中分配位置計(jì)算單元201已經(jīng)確定在所有分配塊上的處理已經(jīng)完成，則移位初始矢量分配過(guò)程結(jié)束。
在第一處理中，用于所選分配塊的移位初始矢量還沒(méi)有存儲(chǔ)在移位初始矢量存儲(chǔ)器107中。因此，在移位初始矢量的評(píng)估值DFD沒(méi)有存儲(chǔ)在評(píng)估值存儲(chǔ)器106中的相應(yīng)分配塊中時(shí)，在步驟S201中，從所選分配塊中沒(méi)有獲取任何評(píng)估值DFD。因此，在步驟S205中的確定結(jié)果是肯定的，因此執(zhí)行步驟S206和S207。
如上所述，在檢測(cè)所關(guān)心塊的運(yùn)動(dòng)矢量的情況中，根據(jù)運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)量在順序幀之間具有一定連續(xù)性并且運(yùn)動(dòng)量稍微改變這個(gè)事實(shí)，通過(guò)使用作為從前一次(過(guò)去)幀通過(guò)在下一時(shí)間的幀中所關(guān)心的塊的運(yùn)動(dòng)矢量的移位初始運(yùn)動(dòng)矢量作為初始候選矢量(即其幅度和取向與運(yùn)動(dòng)矢量V相同并且其初始點(diǎn)為在下一幀中其位置與在過(guò)去幀中檢測(cè)出的運(yùn)動(dòng)矢量V的終端點(diǎn)處的塊相同的塊的運(yùn)動(dòng)矢量)，從而與其中如在現(xiàn)有技術(shù)中一樣只是使用前面在周邊塊中獲得的運(yùn)動(dòng)矢量用作初始候選矢量尤其是用在運(yùn)動(dòng)對(duì)象的邊界中的情況相比，能夠?qū)⒏m當(dāng)?shù)倪\(yùn)動(dòng)矢量作為梯度操作的初始值。這能夠提高通過(guò)梯度操作進(jìn)行運(yùn)動(dòng)矢量檢測(cè)的精度。
在找出移位初始矢量的情況中，找到在前一次的幀中檢測(cè)出的在下一次幀中通過(guò)的塊，即在幀t中其位置與在幀t-1中檢測(cè)出的運(yùn)動(dòng)矢量V的終端點(diǎn)處的塊相同的塊，并且將在所獲得的塊中的運(yùn)動(dòng)矢量分配作為在下一次幀中的所關(guān)心塊中的移位初始矢量。因此，與從在前一次的幀中的所有塊中的所有運(yùn)動(dòng)矢量中搜索通過(guò)所關(guān)心塊的運(yùn)動(dòng)矢量的情況相比，減少了處理所需的操作數(shù)量。因此，實(shí)現(xiàn)了由于操作數(shù)量巨大而很難以實(shí)現(xiàn)的硬件結(jié)構(gòu)。
接下來(lái)將對(duì)評(píng)估值比較單元202的結(jié)構(gòu)的細(xì)節(jié)進(jìn)行說(shuō)明。
圖21為一方框圖，顯示出初始矢量選擇單元101的結(jié)構(gòu)。在初始矢量選擇單元101中，其結(jié)構(gòu)在圖21中顯示出，從候選矢量(下面也被稱(chēng)為“初始候選矢量”)例如在前一(過(guò)去)幀中檢測(cè)出的運(yùn)動(dòng)矢量以及移位初始矢量中，選擇非?？煽康倪\(yùn)動(dòng)矢量作為初始矢量。將在時(shí)刻t處的幀t和在時(shí)刻t+1處的幀t+1輸入給初始矢量選擇單元101。
在接收輸入幀t時(shí)，候選矢量位置操作單元251選擇將要在幀t中處理的所關(guān)心塊，從所關(guān)心塊的周邊區(qū)域找出要從中獲取所關(guān)心塊的初始候選矢量的候選塊的位置、用作初始候選矢量的運(yùn)動(dòng)矢量的類(lèi)型和優(yōu)先等級(jí)，并且將候選塊的位置信息和初始候選矢量的類(lèi)型信息按照所獲得的優(yōu)先數(shù)值順序提供給檢測(cè)矢量獲取單元252和移位初始矢量獲取單元253。另外，候選矢量位置操作單元251還將位置信息和候選塊提供給偏置位置操作單元254。
在信號(hào)處理設(shè)備1中，根據(jù)在初始矢量精度和硬件性能之間的平衡將初始候選矢量的數(shù)量設(shè)定為預(yù)定數(shù)量。另外，如參照?qǐng)D23所述一樣提前設(shè)定候選塊的位置以及初始候選矢量的類(lèi)型和優(yōu)先等級(jí)。初始候選矢量的類(lèi)型包括移位初始矢量SV，它為通過(guò)使經(jīng)過(guò)預(yù)定塊的運(yùn)動(dòng)矢量偏移至預(yù)定塊而獲得的運(yùn)動(dòng)矢量，即其幅度和取向與運(yùn)動(dòng)矢量V相同并且其初始點(diǎn)為在下一幀中其位置與在過(guò)去幀中檢測(cè)出的運(yùn)動(dòng)矢量的終端點(diǎn)處的塊相同的塊的運(yùn)動(dòng)矢量；在過(guò)去幀中檢測(cè)出的運(yùn)動(dòng)矢量(在下面被稱(chēng)為“過(guò)去矢量PV”)；在當(dāng)前幀中所關(guān)心塊之前的塊中檢測(cè)出的運(yùn)動(dòng)矢量(下面也被稱(chēng)為“當(dāng)前矢量CV”)；零矢量。
因此，在提前設(shè)定的初始候選矢量的類(lèi)型信息表示過(guò)去矢量或當(dāng)前矢量時(shí)，候選矢量位置操作單元251將候選塊的位置信息和初始候選矢量的類(lèi)型信息提供給檢測(cè)矢量獲取單元252。在提前設(shè)定的初始候選矢量的類(lèi)型信息表示移位初始矢量時(shí)，候選矢量位置操作單元251將候選塊的位置信息和初始候選矢量的類(lèi)型信息提供給移位初始矢量獲取單元253。在另一種情況中，例如在提前設(shè)定的初始候選矢量的類(lèi)型信息表示零矢量時(shí)，候選矢量位置操作單元251設(shè)定零矢量，并且將該零矢量與候選塊的位置信息一起提供給偏置位置操作單元254。
檢測(cè)矢量獲取單元252根據(jù)從候選矢量位置操作單元251提供的候選塊的位置信息和初始候選矢量的類(lèi)型信息從檢測(cè)矢量存儲(chǔ)器53中獲取運(yùn)動(dòng)矢量。檢測(cè)矢量獲取單元252將所獲取的運(yùn)動(dòng)矢量作為初始候選矢量輸出給偏置位置操作單元254。
根據(jù)從候選矢量位置操作單元251提供的候選塊的位置信息和初始候選矢量的類(lèi)型信息，移位初始矢量獲取單元253從移位初始矢量存儲(chǔ)器107中獲取與候選塊的位置信息對(duì)應(yīng)的移位初始矢量，并且將所獲取的移位初始矢量作為初始候選矢量輸出給偏置位置操作單元254。另外，在由候選矢量位置操作單元251指定的塊位置處沒(méi)有分配任何移位初始矢量時(shí)，移位初始矢量獲取單元253將零矢量輸出給偏置位置操作單元254。在沒(méi)有分配任何移位初始矢量時(shí)，可以提前將零矢量存儲(chǔ)在移位初始矢量存儲(chǔ)器107中。
在從檢測(cè)矢量獲取單元252或移位初始矢量獲取單元253中輸入初始候選矢量(或來(lái)自候選矢量位置操作單元251的零矢量)時(shí)，偏置位置操作單元254根據(jù)從候選矢量位置操作單元251提供的候選塊的位置信息進(jìn)行算術(shù)運(yùn)算，以找出所獲得的偏置塊的塊位置，從而對(duì)于每個(gè)初始候選矢量而言，使在幀t中的所關(guān)心塊偏置(運(yùn)動(dòng)補(bǔ)償)成處于幀t+1中。偏置位置操作單元254將候選塊的位置信息和偏置塊位置的信息與初始候選矢量一起輸出給評(píng)估值操作單元255。
當(dāng)接收到候選塊的位置信息和偏置塊位置的信息以及初始候選矢量時(shí)，評(píng)估值操作單元255通過(guò)使用幀t和幀t+1找出初始候選矢量的評(píng)估值DFD。評(píng)估值操作單元255將所獲得的評(píng)估值DFD與初始候選矢量一起輸出給評(píng)估值比較單元256。
評(píng)估值比較單元256將由評(píng)估值操作單元255輸入的評(píng)估值DFD和存儲(chǔ)在最佳候選矢量存儲(chǔ)寄存器257中的最佳候選矢量的評(píng)估值DFD進(jìn)行比較。在評(píng)估值比較單元256確定初始候選矢量的評(píng)估值DFD小于最佳候選矢量的評(píng)估值DFD，即初始候選矢量比最佳候選矢量更可靠時(shí)，則評(píng)估值比較單元256用被確定為更可靠的初始候選矢量及其評(píng)估值DFD替換最佳候選矢量及其評(píng)估值DFD。最后，評(píng)估值比較單元256控制最佳候選矢量存儲(chǔ)寄存器257以輸出已經(jīng)從所有候選矢量中確定為最可靠的最佳候選矢量作為初始矢量V0輸出給遞歸梯度操作單元103。
最佳候選矢量存儲(chǔ)寄存器257將已經(jīng)由評(píng)估值比較單元256確定為具有較小評(píng)估值DFD(非?？煽?的初始候選矢量作為最佳候選矢量與其評(píng)估值DFD一起存儲(chǔ)。在評(píng)估值比較單元256的控制下，最佳候選矢量存儲(chǔ)寄存器257將最終存儲(chǔ)的最佳候選矢量作為初始矢量V0輸出給遞歸梯度操作單元103。
圖22顯示出可以用作初始矢量的候選塊的周邊區(qū)域。在圖22中所示的示例中，箭頭T表示從在圖22中設(shè)置在前景左邊上的在時(shí)刻t-1處的過(guò)去(前面)幀t-1到設(shè)置在背景右側(cè)上的在時(shí)刻t的當(dāng)前幀t的時(shí)間流逝方向。在圖22中所示的示例中，可以用作初始候選矢量的周邊區(qū)域由在所關(guān)心塊Bt周?chē)?×7個(gè)塊形成，并且每個(gè)塊由4×4個(gè)像素構(gòu)成。
從幀的頂左邊塊開(kāi)始按照光柵掃描的順序執(zhí)行運(yùn)動(dòng)矢量檢測(cè)過(guò)程。因此，在當(dāng)前幀t中的所關(guān)心塊Bt上進(jìn)行的運(yùn)動(dòng)矢量檢測(cè)中，在初始矢量選擇單元101中，可以將直到最后塊的檢測(cè)運(yùn)動(dòng)矢量的結(jié)果作為初始候選矢量。
換句話說(shuō)，在所關(guān)心塊Bt周?chē)闹苓厖^(qū)域由在處理所關(guān)心塊Bt之前處理的塊CVB和在處理所關(guān)心塊Bt之后處理的塊PVB構(gòu)成。因此，在找出所關(guān)心塊Bt的初始矢量時(shí)，可以從在塊CVB中的當(dāng)前幀t中檢測(cè)出的運(yùn)動(dòng)矢量(當(dāng)前矢量CV)以及在塊PVB的過(guò)去幀t-1中檢測(cè)出的運(yùn)動(dòng)矢量(過(guò)去矢量)中選擇初始候選矢量。在該情況中，也可以將分配給在相同周邊區(qū)域中的塊的移位初始矢量用作初始候選矢量。
圖23顯示出在候選矢量位置操作單元251中設(shè)定的初始矢量的候選塊的示例。在圖23中所示的示例中，在所關(guān)心塊Bt周?chē)闹苓厖^(qū)域中，可以將帶有字母數(shù)字符號(hào)的八個(gè)預(yù)定塊設(shè)定為從中要獲取初始候選矢量的候選塊。在八個(gè)預(yù)定塊的每一個(gè)中，在它們之間具有斜線標(biāo)記的符號(hào)分別表示“初始候選矢量類(lèi)型”和“優(yōu)先級(jí)”。在這些初始候選矢量類(lèi)型之中，字母P表示在過(guò)去幀t-1中檢測(cè)出的過(guò)去矢量PV，字母C表示在當(dāng)前幀t中檢測(cè)出的當(dāng)前矢量，并且字母S表示移位初始矢量SV。
所關(guān)心塊Bt的代表符號(hào)“S/1”表示分配給所關(guān)心塊Bt的移位初始矢量SV用作具有“第一”優(yōu)先級(jí)的初始候選矢量。在所關(guān)心塊Bt左邊附近的塊的代表符號(hào)“C/2”表示在當(dāng)前幀t中檢測(cè)出的塊的當(dāng)前矢量CV用作具有“第二”優(yōu)先級(jí)的初始候選矢量。從所關(guān)心塊Bt開(kāi)始上右邊塊的代表符號(hào)“C/3”表示在當(dāng)前幀t中所檢測(cè)出的塊的當(dāng)前矢量CV用作具有“第三”優(yōu)先級(jí)的初始候選矢量。從所關(guān)心塊Bt開(kāi)始下右邊塊的代表符號(hào)“P/4”表示在過(guò)去幀t-1中所檢測(cè)出的塊的過(guò)去矢量PV用作具有“第四”優(yōu)先級(jí)的初始候選矢量。
從7×7像素的周邊區(qū)域的頂左角開(kāi)始的下右邊塊的代表符號(hào)“C/6”表示在當(dāng)前幀t中檢測(cè)出的塊的當(dāng)前矢量CV用作具有第六優(yōu)先權(quán)的初始候選矢量。從7×7像素的周邊區(qū)域的頂右角開(kāi)始的下左邊塊的代表符號(hào)“C/5”表示在當(dāng)前幀t中檢測(cè)出的塊的當(dāng)前矢量CV用作具有第五優(yōu)先級(jí)的初始候選矢量。從7×7像素的周邊區(qū)域的底左角開(kāi)始的上右邊塊的代表符號(hào)“P/7”表示在過(guò)去幀t-1中檢測(cè)出的塊的過(guò)去矢量PV用作具有第七優(yōu)先級(jí)的初始候選矢量。從7×7像素的周邊區(qū)域的右下角開(kāi)始的上左邊塊的代表符號(hào)“P/8”表示在過(guò)去幀t-1中檢測(cè)出的塊的過(guò)去矢量PV用作具有第八優(yōu)先級(jí)的初始候選矢量。
如上所述，在圖23中所示的示例中，在所關(guān)心塊Bt和與之相鄰的塊之中，將所關(guān)心塊Bt以及從所關(guān)心塊Bt開(kāi)始左邊附近、上右邊和下右邊塊的矢量用作初始候選矢量。在沒(méi)有與所關(guān)心塊Bt相鄰的塊之中，選擇在從7×7像素的周邊區(qū)域角部在內(nèi)部偏移1個(gè)塊的位置處的塊矢量。
換句話說(shuō)，在圖23中所示的示例中，如此設(shè)定優(yōu)先級(jí)，從而與所關(guān)心塊Bt相鄰(在空間和時(shí)間上與之接近)的塊具有比距離一定距離的塊更高的優(yōu)先級(jí)，并且在當(dāng)前幀t中檢測(cè)出的當(dāng)前矢量具有比在過(guò)去幀t-1檢測(cè)出的過(guò)去幀更高的優(yōu)先級(jí)。根據(jù)空間相關(guān)性、時(shí)間相關(guān)性等設(shè)定上面初始候選矢量的位置、類(lèi)型和優(yōu)先級(jí)，不僅包括在所關(guān)心塊Bt附近的塊而且還包括距離一定距離的塊，以便從最少數(shù)量的候選矢量中獲得可能的初始候選矢量。因此，按照這種方式，通過(guò)使用提前設(shè)定的預(yù)定塊的運(yùn)動(dòng)矢量作為初始候選矢量，從而可以減少由于初始候選矢量數(shù)量增加而導(dǎo)致算術(shù)運(yùn)算數(shù)量龐大。
候選塊的類(lèi)型和位置不限于在圖23中的示例。可以采用其它塊類(lèi)型和其它塊位置。另外，在考慮沒(méi)有存在任何最佳矢量的情況時(shí)，可以使用在這種情況中抑制衰退的零矢量。還有，候選塊的數(shù)量可以大于或小于八個(gè)。
下面參照在圖24中所示的流程圖對(duì)初始矢量選擇過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。
在步驟S251中，候選矢量位置操作單元251從所關(guān)心的選定塊周?chē)闹苓厖^(qū)域中找出從中要獲取初始候選矢量的候選塊的位置以及初始候選矢量的類(lèi)型和優(yōu)先級(jí)，位置、類(lèi)型和優(yōu)先級(jí)都是提前設(shè)定的。在步驟S252中，候選矢量位置操作單元251確定在候選塊中的初始候選矢量的類(lèi)型是過(guò)去矢量和當(dāng)前矢量中的哪一個(gè)。如果在步驟S252中候選矢量位置操作單元251已經(jīng)確定在候選塊中的初始候選矢量的類(lèi)型為過(guò)去和當(dāng)前矢量中的一個(gè)，則該過(guò)程前進(jìn)至步驟S253。在步驟S253中，候選矢量位置操作單元251給檢測(cè)矢量獲取單元252提供候選塊的位置信息和初始候選矢量的類(lèi)型信息。在候選矢量位置操作單元251的控制下，檢測(cè)矢量獲取單元252根據(jù)候選塊的位置信息和初始候選矢量的類(lèi)型信息從檢測(cè)矢量存儲(chǔ)器53中獲取運(yùn)動(dòng)矢量(過(guò)去矢量PV或當(dāng)前矢量CV)，并且將所獲取的運(yùn)動(dòng)矢量輸出給偏置位置操作單元254。該過(guò)程前進(jìn)至步驟S257。
如果在步驟S252中候選矢量位置操作單元251已經(jīng)確定在候選塊中的初始候選矢量的類(lèi)型不是過(guò)去和當(dāng)前矢量中的一個(gè)，則該過(guò)程前進(jìn)至步驟S254。在步驟S254中，候選矢量位置操作單元251確定在候選塊中的初始候選矢量的類(lèi)型是否為移位初始矢量。如果在步驟S254中候選矢量位置操作單元251已經(jīng)確定在候選塊中的初始候選矢量的類(lèi)型為移位初始矢量，則該過(guò)程前進(jìn)至步驟S255。在步驟S255中，候選矢量位置操作單元251給移位初始矢量獲取單元253提供候選塊的位置信息和初始候選矢量的類(lèi)型信息。另外，在候選矢量位置操作單元251的控制下，移位初始矢量獲取單元253從移位初始矢量存儲(chǔ)器107中獲取與候選塊的位置信息對(duì)應(yīng)的移位初始矢量，并且將所獲取的移位初始矢量輸出給偏置位置操作單元254。該過(guò)程前進(jìn)至步驟S257。
如果在步驟S254中候選矢量位置操作單元251已經(jīng)確定在候選塊中的初始候選矢量類(lèi)型不是移位初始矢量，即它確定在候選塊中的初始候選矢量類(lèi)型為零矢量，則該過(guò)程前進(jìn)至步驟S256。候選矢量位置操作單元251將零矢量設(shè)定作為初始候選矢量，并且將候選矢量的位置信息與零矢量一起提供給偏置位置操作單元254。該過(guò)程前進(jìn)至步驟S257。還有在步驟S253和S255中，候選矢量位置操作單元251將候選塊的位置信息提供給偏置位置操作單元254。
在步驟S257中，在接收到由檢測(cè)矢量獲取單元252或移位初始矢量獲取單元253輸入的初始候選矢量時(shí)，根據(jù)由候選矢量位置操作單元251提供的候選塊的位置信息，偏置位置操作單元254進(jìn)行算術(shù)運(yùn)算以找出通過(guò)使在幀t中的所關(guān)心塊在幀t+1上偏置而獲得的偏置塊的塊位置。偏置位置操作單元254將候選塊的位置信息和偏置塊的位置信息以及初始候選矢量輸出給評(píng)估值操作單元255，并且該過(guò)程前進(jìn)至步驟S258。
當(dāng)評(píng)估值操作單元255與初始候選矢量一起接收到來(lái)自偏置位置操作單元254的候選塊的位置信息和偏置塊的位置信息時(shí)，在步驟S258中，評(píng)估值操作單元255通過(guò)使用幀t和幀t+1找出初始候選矢量的評(píng)估值DFD，并且將所獲得的評(píng)估值DFD與初始候選矢量一起輸出給評(píng)估值比較單元256。該過(guò)程前進(jìn)至步驟S259。
在步驟S259中，評(píng)估值比較單元256確定由評(píng)估值操作單元255獲得的評(píng)估值DFD是否小于存儲(chǔ)在最佳候選矢量存儲(chǔ)寄存器257中的最佳候選矢量的評(píng)估值DFD。如果評(píng)估值比較單元256已經(jīng)確定由評(píng)估值操作單元255獲得的評(píng)估值DFD小于存儲(chǔ)在最佳候選矢量存儲(chǔ)寄存器257中的最佳候選矢量的評(píng)估值DFD，即初始候選矢量比最佳候選矢量更可靠，則在步驟S260中評(píng)估值比較單元256用被確定更可靠的初始候選矢量及其評(píng)估值DFD將在最佳候選矢量存儲(chǔ)寄存器257中的最佳候選矢量及其評(píng)估值DFD重寫(xiě)。
如果在步驟S259中評(píng)估值比較單元256已經(jīng)確定由評(píng)估值操作單元255獲得的評(píng)估值DFD小于存儲(chǔ)在最佳候選矢量存儲(chǔ)寄存器257中的最佳候選矢量的評(píng)估值DFD，則跳過(guò)步驟S260，并且該過(guò)程前進(jìn)至步驟S261。
在步驟S261中，候選矢量位置操作單元251確定在所有初始候選矢量(在圖23中所示的示例中的八個(gè)矢量)上的處理是否已經(jīng)完成。如果候選矢量位置操作單元251已經(jīng)確定在所有初始候選矢量上的處理還沒(méi)有完成，則該過(guò)程返回到步驟S252，并且反復(fù)進(jìn)行隨后的步驟。
如果在步驟S261中候選矢量位置操作單元251已經(jīng)確定在所有初始候選矢量上的處理已經(jīng)完成，則該過(guò)程前進(jìn)至步驟S262。評(píng)估值比較單元256控制最佳候選矢量存儲(chǔ)寄存器257將所有初始候選矢量輸出給遞歸梯度操作單元103，并且在所有初始候選矢量之中被確定具有最高可靠性的最佳候選矢量作為初始矢量V0。初始矢量選擇過(guò)程終止。
如上所述，在所關(guān)心的塊中找出多個(gè)初始候選矢量的評(píng)估值DFD之后，能夠?qū)⒕哂凶钚≡u(píng)估值DFD即最高可靠性的初始候選矢量選擇作為初始矢量。因此，可以給出在隨后階段中用于運(yùn)動(dòng)矢量檢測(cè)的最佳初始矢量。這導(dǎo)致在隨后階段中的運(yùn)動(dòng)矢量檢測(cè)的精度增加。在該步驟中，通過(guò)使用提前設(shè)定的預(yù)定塊的運(yùn)動(dòng)矢量作為初始候選矢量，從而可以減少由于初始候選矢量數(shù)量增加而導(dǎo)致的算術(shù)運(yùn)算數(shù)量龐大。
基于運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)量在順序幀之間具有一定的連續(xù)性并且運(yùn)動(dòng)量稍微變化這個(gè)事實(shí)，將作為從前一幀到所關(guān)心的塊的運(yùn)動(dòng)矢量的移位初始矢量用作初始候選矢量。因此，如在現(xiàn)有技術(shù)中一樣，與只使用在周邊塊中獲得的過(guò)去運(yùn)動(dòng)矢量作為初始候選矢量的情況相比能夠進(jìn)行精度更高的運(yùn)動(dòng)檢測(cè)。這在運(yùn)動(dòng)對(duì)象的邊界中尤為有效。
接下來(lái)將對(duì)遞歸梯度操作單元103的結(jié)構(gòu)細(xì)節(jié)進(jìn)行說(shuō)明。
圖25為方框圖，顯示出遞歸梯度操作單元103的結(jié)構(gòu)。該遞歸梯度操作單元103通過(guò)使用所輸入的在時(shí)刻t的幀t和在時(shí)刻t+1的幀t+1來(lái)進(jìn)行最佳運(yùn)動(dòng)矢量檢測(cè)過(guò)程。該運(yùn)動(dòng)矢量檢測(cè)過(guò)程對(duì)于由多個(gè)像素構(gòu)成的每個(gè)預(yù)定塊進(jìn)行。在每個(gè)塊中，遞歸梯度操作單元103通過(guò)在塊單元中或在像素單元中反復(fù)執(zhí)行梯度操作根據(jù)評(píng)估值DFD輸出非?？煽康淖罴堰\(yùn)動(dòng)矢量。
通過(guò)前置濾波器102-1和102-2將在時(shí)刻t處的幀t和在時(shí)刻t+1處的幀t+1輸入給遞歸梯度操作單元103，并且從初始矢量選擇單元101將初始矢量V0輸入給遞歸梯度操作單元103。
在有效像素確定單元403的控制下，對(duì)于每個(gè)預(yù)定塊，模式選擇單元401選擇用于梯度操作的處理模式，并且從初始矢量選擇單元101將初始矢量V0輸出給選擇器402和矢量評(píng)估單元104。用于梯度操作的處理模式由使用塊作為從中檢測(cè)運(yùn)動(dòng)矢量的塊的塊單元處理模式和使用像素作為從中檢測(cè)出運(yùn)動(dòng)矢量的像素的像素單元處理模式構(gòu)成。塊單元處理模式被選擇作為初始值。在矢量評(píng)估單元104的控制下，選擇器402將來(lái)自模式選擇單元401的初始矢量V0和從梯度操作單元404輸出的運(yùn)動(dòng)矢量Vn中的一個(gè)作為用作梯度操作的初始值的運(yùn)動(dòng)矢量(下面被稱(chēng)為“偏置矢量”)輸出給有效像素確定單元403和梯度操作單元404。
當(dāng)接收到由選擇器402選擇的偏置矢量時(shí)，通過(guò)使用分別通過(guò)前置濾波器102-2和102-1輸入的在時(shí)刻t處的幀t和在時(shí)刻t+1處的幀t+1同時(shí)使用通過(guò)使偏置矢量偏置計(jì)算出的位置作為起始點(diǎn)，從而有效像素確定單元403確定出在任一單元處理模式中的操作塊中在梯度操作中的有效像素?cái)?shù)量是否大于閾值。有效像素確定單元403根據(jù)確定結(jié)果在處理方法之間切換。換句話說(shuō)，如果有效像素確定單元403已經(jīng)確定在梯度操作中的有效像素?cái)?shù)量等于或小于閾值，則有效像素確定單元403控制模式選擇單元410將處理模式或預(yù)定塊改變?yōu)橄袼貑卧幚砟Ｊ?，并且停止梯度操作。如果有效像素確定單元403已經(jīng)確定在梯度操作中的有效像素?cái)?shù)量大于閾值，則有效像素確定單元403控制梯度操作單元404在任一處理單元中執(zhí)行梯度操作。
當(dāng)接收到從選擇器402輸入的偏置矢量時(shí)，通過(guò)使用分別通過(guò)前置濾波器102-2和l02-1輸入的在時(shí)刻t處的幀t和在時(shí)刻t+1處的幀t+1同時(shí)使用通過(guò)從選擇器402使偏置矢量偏置計(jì)算出的位置作為起始點(diǎn)，從而梯度操作單元404在任一單元處理模式中執(zhí)行梯度操作，并且將所計(jì)算出的運(yùn)動(dòng)矢量Vn輸出給延遲單元405和矢量評(píng)估單元104。
延遲單元405存儲(chǔ)著從梯度操作單元404輸出的運(yùn)動(dòng)矢量Vn直到有效像素確定單元403和梯度操作單元404的下一個(gè)處理循環(huán)，并且響應(yīng)于選擇器402的控制將所存儲(chǔ)的運(yùn)動(dòng)矢量Vn輸出給有效像素確定單元403。
圖26為一詳細(xì)方框圖，顯示出有效像素確定單元403的結(jié)構(gòu)。在圖26中所示的示例中，有效像素確定單元403包括時(shí)間像素差異計(jì)算單元411、像素差異確定單元412、有效像素計(jì)數(shù)器413和梯度操作持續(xù)性確定單元414。
在接收到由選擇器402選擇的偏置矢量時(shí)，時(shí)間像素差異計(jì)算單元411選擇在塊單元操作塊中的像素，通過(guò)使用偏置矢量以及分別通過(guò)前置濾波器102-2和102-1輸入的在時(shí)刻t處的幀t和在時(shí)刻t+1處的幀什1計(jì)算出所選像素的時(shí)基像素差異Δt，并且將所計(jì)算出的時(shí)基像素差異Δt輸出給像素差異確定單元412。
像素差異確定單元412確定由時(shí)間像素差異計(jì)算單元411計(jì)算出的時(shí)基像素差異Δt是否小于預(yù)定閾值(下面被稱(chēng)為“像素差異”)。如果像素差異確定單元412確定時(shí)基像素差異Δt小于預(yù)定像素差異，則像素差異確定單元412將有效像素計(jì)數(shù)器413的有效像素?cái)?shù)量增加10有效像素計(jì)數(shù)器413統(tǒng)計(jì)由像素差異確定單元412在每個(gè)操作塊中確定為有效像素的像素?cái)?shù)量。有效像素計(jì)數(shù)器413在每個(gè)操作塊中重置。
梯度操作持續(xù)性確定單元414確定在任一單元處理模式中的操作塊中用于梯度操作的有效像素?cái)?shù)量是否小于閾值。如果梯度操作持續(xù)性確定單元414已經(jīng)確定在任一單元處理模式中的操作塊中用于梯度操作的有效像素?cái)?shù)量大于閾值，梯度操作持續(xù)性確定單元414輸出一標(biāo)志(flg＝1)，從而使得梯度操作單元404在任一單元處理模式中執(zhí)行梯度操作。如果梯度操作持續(xù)性確定單元414確定在任一單元處理模式中的操作塊中用于梯度操作的有效像素?cái)?shù)量小于閾值，則梯度操作持續(xù)性確定單元414控制模式選擇單元401選擇另一單元處理模式，并且向梯度操作單元404輸出中止梯度操作的標(biāo)志(flg＝0)。
圖27為一詳細(xì)方框圖，顯示出梯度操作單元404的結(jié)構(gòu)。在圖27中所示的示例中，梯度操作單元404包括時(shí)間像素差異計(jì)算單元42l、像素差異確定單元422、水平垂直像素差異計(jì)算單元423、梯度累積單元424和矢量計(jì)算單元425。
時(shí)間像素差異計(jì)算單元421根據(jù)從有效像素確定單元403輸入的標(biāo)志控制梯度操作單元404的部分。換句話說(shuō)，在標(biāo)志表示1(flg＝1)時(shí)，時(shí)間像素差異計(jì)算單元421允許梯魔操作單元404的部分執(zhí)行梯度操作。具體地說(shuō)，在接收到來(lái)自有效像素確定單元403的標(biāo)志時(shí)，通過(guò)使用分別通過(guò)前置濾波器102-2和102-1輸入的在時(shí)刻t的幀t和在時(shí)刻t+1的幀t+1，從而時(shí)間像素差異計(jì)算單元421從選擇器402選擇出在通過(guò)使偏置矢量偏置而計(jì)算出的像素周?chē)脑谌我粏卧幚砟Ｊ街械牟僮鲏K中的像素，計(jì)算出所選像素的時(shí)基像素差異Δt，并且將所計(jì)算出的時(shí)基像素差異Δt和偏置矢量輸出給像素差異確定單元422。另外，當(dāng)在操作塊中的像素上的處理完成時(shí)，時(shí)間像素差異計(jì)算單元421將偏置矢量輸出給矢量計(jì)算單元425，并且控制矢量計(jì)算單元425計(jì)算在受到檢測(cè)的塊中的運(yùn)動(dòng)矢量。
可選的是，在標(biāo)志表示零(flg=O)時(shí)，時(shí)間像素差異計(jì)算單元421不會(huì)計(jì)算出在操作塊中的像素的時(shí)基像素差異Δt。梯度操作單元404的每個(gè)部分不會(huì)執(zhí)行梯度操作，從而中止處理。這時(shí)，時(shí)間像素差異計(jì)算單元421控制矢量計(jì)算單元425以將運(yùn)動(dòng)矢量V設(shè)定為零矢量。
像素差異確定單元422確定由時(shí)間像素差異計(jì)算單元421計(jì)算出的時(shí)基像素差異Δt是否小于預(yù)定閾值(下面被稱(chēng)為“像素差異”)。如果像素差異確定單元422已經(jīng)確定由時(shí)間像素差異計(jì)算單元421計(jì)算出的時(shí)基像素差異Δt小于預(yù)定閾值，則像素差異確定單元422使用這些像素作為要受到梯度操作的像素，并且將時(shí)基像素差異Δt和偏置矢量輸出給水平垂直像素差異計(jì)算單元423。換句話說(shuō)，具有已經(jīng)確定為小于預(yù)定像素差異的像素差異Δt的像素在水平垂直像素差異計(jì)算單元423和梯度累積單元424中受到算術(shù)運(yùn)算。另外，如果像素差異確定單元422已經(jīng)確定時(shí)基像素差異Δt不小于預(yù)定像素差異，則像素差異確定單元422使得水平垂直像素差異計(jì)算單元423和梯度累積單元424禁止像素處理。
在接收到來(lái)自像素差異確定單元422的偏置矢量時(shí)，通過(guò)使用分別通過(guò)前置濾波器102-2和102-1輸入的在時(shí)刻t的幀t和在時(shí)刻t+1的幀t+1，從而水平垂直像素差異計(jì)算單元423計(jì)算出這些像素的水平像素差異Δx和垂直像素差異Δy，其時(shí)基像素差異Δt已經(jīng)被確定為小于在通過(guò)偏置矢量偏置計(jì)算出的像素周?chē)谌我粏卧幚砟Ｊ街械牟僮鲏K中的預(yù)定像素差異。另外，水平垂直像素差異計(jì)算單元423將時(shí)基像素差異Δt、水平像素差異Δx和垂直像素差異Δy輸出給梯度累積單元424。梯度累積單元424累積其基像素差異Δt已經(jīng)被確定為小于預(yù)定像素差異的像素的梯度。換句話說(shuō)，梯度累積單元424累積由時(shí)間像素差異計(jì)算單元421計(jì)算出的時(shí)基像素差異Δt，由水平垂直像素差異計(jì)算單元423計(jì)算出的水平像素差異Δx和垂直像素差異Δy，并且將累積梯度輸出給矢量計(jì)算單元425。
當(dāng)接收到來(lái)自時(shí)間像素差異計(jì)算單元421的偏置矢量時(shí)，矢量計(jì)算單元425計(jì)算由梯度累積單元424累積的梯度，并且通過(guò)使用最小平方加法計(jì)算出運(yùn)動(dòng)矢量Vn。另外，矢量計(jì)算單元425通過(guò)將來(lái)自時(shí)間像素差異計(jì)算單元421的偏置矢量加在所計(jì)算出的運(yùn)動(dòng)矢量Vn上而找出運(yùn)動(dòng)矢量Vn，并且將所獲得的運(yùn)動(dòng)矢量Vn輸出給矢量評(píng)估單元104和延遲單元405。
接下來(lái)將對(duì)從中要檢測(cè)運(yùn)動(dòng)矢量的塊和用于運(yùn)動(dòng)矢量的操作塊進(jìn)行說(shuō)明。
當(dāng)考慮到在圖像中的對(duì)象的運(yùn)動(dòng)時(shí)，在許多情況中，一般來(lái)說(shuō)，如果對(duì)象相同，則這些對(duì)象相同地運(yùn)動(dòng)。因此，對(duì)于用于檢測(cè)運(yùn)動(dòng)矢量的檢測(cè)過(guò)程的單元而言，如圖28所示，通常在塊單元中進(jìn)行該過(guò)程。
在圖28中所示的示例中，箭頭X表示水平方向，并且箭頭Y表示垂直方向。箭頭T也表示從設(shè)置在前景右側(cè)上的在時(shí)刻t處的幀t到設(shè)置在背景的左側(cè)上的在時(shí)刻t+1處的幀t+1時(shí)間流逝的方向。
在圖28中的示例中，由8×8像素構(gòu)成的塊(下面被稱(chēng)為“8×8像素塊”)顯示為在受到檢測(cè)的每個(gè)幀中的檢測(cè)塊K。檢測(cè)塊K表示這樣一個(gè)塊，其中當(dāng)在8×8像素塊上進(jìn)行運(yùn)動(dòng)矢量檢測(cè)時(shí)，對(duì)于8×8像素塊而言發(fā)現(xiàn)相同的運(yùn)動(dòng)。
另外，由梯度法進(jìn)行的運(yùn)動(dòng)矢量檢測(cè)(或者操作)具有能夠檢測(cè)每個(gè)像素的運(yùn)動(dòng)矢量的特征。但是，在像素單元中進(jìn)行運(yùn)動(dòng)矢量操作的情況中，采用最小平方法的統(tǒng)計(jì)解決方案的梯度法其缺點(diǎn)在于，檢測(cè)精度明顯降低。因此，一般來(lái)說(shuō)不僅對(duì)于每個(gè)塊而且還對(duì)于用于處理的每個(gè)像素而言，在進(jìn)行運(yùn)動(dòng)矢量操作時(shí)，通常在塊單元(操作塊)中構(gòu)造出用在梯度操作中的像素。
如上所述，用在梯度操作中的像素為在8×8操作塊中的像素。換句話說(shuō)，在圖28中的示例中，可以認(rèn)為通過(guò)使用操作塊(8×8像素)來(lái)進(jìn)行梯度操作而獲得的運(yùn)動(dòng)矢量與在檢測(cè)塊K(8×8像素)中的所有像素對(duì)應(yīng)。
但是，對(duì)于在如上所述在操作塊單元中處理用在梯度操作中的像素時(shí)出現(xiàn)的一個(gè)問(wèn)題，如圖29所示，存在這樣的情況，其中構(gòu)成檢測(cè)塊K的像素包括具有不同運(yùn)動(dòng)的對(duì)象的像素。
在圖29中所示的示例中，在由8×8像素(64個(gè)像素)構(gòu)成的檢測(cè)塊K(或者操作塊)中，具有頂左邊端部像素作為參考的28像素(由粗圓圈表示)具有由箭頭A所示的傾斜的左向上運(yùn)動(dòng)。在由8×8像素構(gòu)成的檢測(cè)塊K中，具有底右端像素的36個(gè)像素具有由箭頭B所示的水平向右運(yùn)動(dòng)。
因此，在檢測(cè)塊K中，沒(méi)有保持像素具有相同運(yùn)動(dòng)的上述假設(shè)。在進(jìn)行通過(guò)使用包括具有不同運(yùn)動(dòng)的像素的操作塊進(jìn)行梯度操作的情況中，運(yùn)動(dòng)矢量檢測(cè)精度降低。換句話說(shuō)，存在這樣的問(wèn)題，即檢測(cè)精度在具有不同運(yùn)動(dòng)的對(duì)象之間的邊界部分上產(chǎn)生出的對(duì)象消失區(qū)域(覆蓋背景區(qū)域)和對(duì)象產(chǎn)生區(qū)域(未覆蓋的背景區(qū)域)上降低。消失區(qū)域?yàn)樵O(shè)置成與在前景中的對(duì)象的行進(jìn)方向的前端對(duì)應(yīng)的前景區(qū)域的混合區(qū)域，并且代表其背景分量隨著時(shí)間流逝而由前景覆蓋的區(qū)域。相反，產(chǎn)生區(qū)域?yàn)橛糜谠O(shè)置成與在前景中的對(duì)象的行進(jìn)方向的后端對(duì)應(yīng)的前景區(qū)域的混合區(qū)域，并且代表其背景分量隨著時(shí)間流逝變得未覆蓋的區(qū)域。
圖30為具有相同對(duì)象的檢測(cè)塊的亮度狀態(tài)的示意圖。在圖30的左側(cè)上，箭頭X表示水平方向，并且箭頭Y表示垂直方向。箭頭T表示從設(shè)置在圖30的背景右側(cè)上的在時(shí)刻t處的幀t到設(shè)置在圖30的前景左側(cè)上的在時(shí)刻t+1處的幀t+1的時(shí)間流逝方向。在圖30的右側(cè)上，箭頭X表示水平方向，并且箭頭L表示亮度。換句話說(shuō)，在圖30的右側(cè)上的亮度Lp1、Lp2、Lp3、…、Lpi(3＜i＜7)、…、LP7在幀t中的8×8像素檢測(cè)塊中代表在圖30的左側(cè)上的在從頂部開(kāi)始的下面第五排中的像素p1、p2、p3、…、pi(3＜i＜7)、…、p7、…的亮度。同樣，亮度Lq1、Lq2、Lq3、…、Lqi(3＜i＜7)、…、Lq7在位于圖30的左側(cè)上的幀t+1中的8×8像素檢測(cè)塊中表示在從頂部開(kāi)始的下面第五排中像素q1、q2、q3、…、qi(3＜i＜7)、…、q7、…等的亮度，這些像素與p1、p2、p3、…、pi(3＜i＜7)、…、p7等同相。另外，在亮度Lp1至Lp7和亮度Lq1至Lq7之間的箭頭表示在幀t中的每個(gè)像素和在幀t+1中的每個(gè)像素之間的每個(gè)時(shí)基像素差異Δt。
因此，在圖30所示的示例中，在像素p1和q1之間的時(shí)基像素差異Δt由在亮度Lp1和Lq1之間的差異表示。在像素p2和q2之間的時(shí)基像素差異Δt由在亮度Lp2和Lq2之間的差異表示。在像素p3和q3之間的時(shí)基像素差異Δt由在亮度Lp3和Lq3之間的差異表示。在像素pi和qi之間的時(shí)基像素差異Δt由在亮度Lpi和Lqi之間的差異表示。在像素p7和q7之間的時(shí)基像素差異Δt由在亮度Lp7和Lq7之間的差異表示。在亮度中的差異按照連接著亮度Lp1至Lp7的曲線形式稍微變化，并且連接著亮度Lq1和Lq7的曲線具有基本上相同的形狀。
如上所述，當(dāng)在檢測(cè)塊中的像素為相同的對(duì)象(或者在運(yùn)動(dòng)方面相同)時(shí)，相應(yīng)時(shí)間像素的亮度不會(huì)明顯改變。
圖31為在其中同時(shí)存在具有不同運(yùn)動(dòng)的對(duì)象像素的情況中在檢測(cè)塊中的亮度狀態(tài)的示意圖。在圖30中，與在圖31中的那些對(duì)應(yīng)的部分由相應(yīng)的參考標(biāo)號(hào)表示。因此，刪除了這些部分的說(shuō)明。在圖31中所示的示例中，在幀t中的像素p7在運(yùn)動(dòng)中與其它像素不同。
例如，當(dāng)在幀t中的像素p7在運(yùn)動(dòng)中與其它像素相同時(shí)，在幀t+1中，設(shè)置與像素p7同相的q7的亮度必須由亮度Lq7-1表示。但是，由于在圖31中所示的示例中像素p7在運(yùn)動(dòng)中與其它像素不同，如由亮度Lq7-2表示一樣，像素q7的亮度從亮度Lq701明顯向下變化。因此，在像素p7和q7之間的時(shí)基像素差異Δt，即在亮度Lp7和Lq7-2之間的差異變化很大。
如上所述，例如當(dāng)在檢測(cè)塊中上面的對(duì)象消失、產(chǎn)生、轉(zhuǎn)變等造成其中同時(shí)存在具有不同運(yùn)動(dòng)的對(duì)象像素的狀態(tài)時(shí)，存在許多情況，其中相應(yīng)像素的亮度明顯變化，并且這會(huì)造成在運(yùn)動(dòng)中出現(xiàn)不規(guī)則性的可能。因此，有效像素確定單元403構(gòu)成為確定具有最小亮度變化的像素當(dāng)用在運(yùn)動(dòng)矢量檢測(cè)中時(shí)是有效的，并且相反確定具有較大亮度變化的像素當(dāng)用在運(yùn)動(dòng)矢量檢測(cè)中時(shí)使無(wú)效的。換句話說(shuō)，通過(guò)指出亮度變化幅度的元素并且根據(jù)在像素亮度中的變化幅度確定像素是否有效，從而可以將其亮度稍微變化的像素用于運(yùn)動(dòng)矢量檢測(cè)，并且相反不能將其亮度明顯變化的像素用于運(yùn)動(dòng)矢量檢測(cè)。這能夠增加運(yùn)動(dòng)矢量檢測(cè)的精度。
具體地說(shuō)，對(duì)于在操作塊中的每個(gè)像素，有效像素確定單元403在時(shí)基像素差異Δt上設(shè)定預(yù)定像素差異(閾值)。當(dāng)時(shí)基像素差異Δt小于設(shè)定的預(yù)定像素差異，則確定該像素有助于運(yùn)動(dòng)矢量檢測(cè)(在其中是有效的)，并且在進(jìn)行運(yùn)動(dòng)矢量檢測(cè)的情況中在梯度法中使用該像素。當(dāng)時(shí)基像素差異Δt不小于所設(shè)定的預(yù)定像素差異時(shí)，確定該像素被認(rèn)為具有產(chǎn)生運(yùn)動(dòng)不規(guī)則性的可能，并且在進(jìn)行運(yùn)動(dòng)矢量檢測(cè)的情況中將像素排除進(jìn)行梯度操作。這防止了包括不同的運(yùn)動(dòng)，從而執(zhí)行更可靠的梯度操作。因此，檢測(cè)出可能的運(yùn)動(dòng)矢量。
但是，由于如上所述梯度操是基于通過(guò)將像素分成用在梯度操作中的像素和在梯度操作中沒(méi)有使用的那些像素來(lái)進(jìn)行的最小二乘方法即統(tǒng)計(jì)方法的算術(shù)運(yùn)算，所以用在梯度操作中的像素大大減少。如果采用這種極少的像素來(lái)進(jìn)行梯度操作，則操作可靠性降低，因此造成在運(yùn)動(dòng)矢量檢測(cè)精度中降低的可能。
因此，當(dāng)用在梯度操作中的像素?cái)?shù)量較少時(shí)，有效像素確定單元403將在檢測(cè)塊(8×8像素)的處理單元中的梯度操作認(rèn)為是不穩(wěn)定的，并且通過(guò)切換到用于在8×8像素塊中的像素(64個(gè))的每一個(gè)的操作單元來(lái)進(jìn)行處理。
圖32為在像素單元處理中的操作塊的示例的示意圖。在圖32中所示的示例顯示出當(dāng)將在幀中的檢測(cè)塊K(8×8像素)切換到像素單元處理時(shí)，用于像素p的操作塊E(在圖32中由9×9像素構(gòu)成)設(shè)置在檢測(cè)塊K的左上端部處。
換句話說(shuō)，在找出像素p的運(yùn)動(dòng)矢量時(shí)，使用在像素p周?chē)牟僮鲏KE(在圖32中由9×9像素構(gòu)成)。例如，當(dāng)找到在右邊與像素p相鄰的右邊相鄰像素的運(yùn)動(dòng)矢量時(shí)，使用相對(duì)于像素p在右邊相鄰像素周?chē)?×9像素操作塊(未示出)。
因此，例如即使在檢測(cè)塊K中大部分像素與像素p不同地運(yùn)動(dòng)的情況中，在檢測(cè)塊K(8×8像素)中，統(tǒng)計(jì)用在梯度操作中的像素?cái)?shù)量，并且如果統(tǒng)計(jì)數(shù)量較少，則將該處理切換至像素單元處理。如圖32所示，在像素單元處理中的操作塊E中，執(zhí)行梯度操作。
當(dāng)如上所述由于將像素分成用在梯度操作中的像素和在梯度操作中沒(méi)有使用的那些像素所以用在梯度操作中的像素極度減少時(shí)，不是通過(guò)停止對(duì)在檢測(cè)塊K(8×8像素)中的所有像素的運(yùn)動(dòng)矢量的檢測(cè)，而是通過(guò)切換至像素單元處理并且按照其中為每個(gè)像素改變?cè)诓僮鲏KE(9×9像素)中的像素的形式進(jìn)行梯度操作，從而盡可能能夠防止包含在梯度操作中沒(méi)有使用的像素，并且根據(jù)像素能夠進(jìn)行更精確的運(yùn)動(dòng)矢量檢測(cè)。
圖33為對(duì)在圖29中所示的檢測(cè)塊K(操作塊)中的像素進(jìn)行像素單元處理的示例的示意圖。在圖33中所示的示例中，在檢測(cè)塊K(8×8像素)中進(jìn)行像素單元處理，它由具有兩個(gè)不同運(yùn)動(dòng)的像素即具有由箭頭A所示的傾斜左向上運(yùn)動(dòng)的像素(粗圓圈)和具有由箭頭B所示的水平向右運(yùn)動(dòng)的像素(細(xì)圓圈)構(gòu)成。在該情況中，當(dāng)檢測(cè)在受到檢測(cè)的檢測(cè)塊K中的左上端檢測(cè)像素p的運(yùn)動(dòng)矢量時(shí)，使用在檢測(cè)像素p周?chē)牟僮鲏KE(9×9像素塊)。
除了在右下角中具有由箭頭B所示的水平向右運(yùn)動(dòng)的三個(gè)像素(細(xì)圓圈)之外，在操作塊E中的像素具有由箭頭A所示的傾斜左向上運(yùn)動(dòng)。與塊單元處理的情況類(lèi)似，對(duì)于在操作塊E的每個(gè)像素而言，根據(jù)時(shí)基像素差異Δt設(shè)定預(yù)定閾值(像素差異)。當(dāng)時(shí)基像素差異Δt小于設(shè)定的閾值時(shí)，確定該像素有助于運(yùn)動(dòng)矢量檢測(cè)，并且在進(jìn)行運(yùn)動(dòng)矢量檢測(cè)的情況中在梯度操作中使用該像素。當(dāng)時(shí)基像素差異Δt大于設(shè)定的閾值時(shí)，確定該像素具有在運(yùn)動(dòng)中產(chǎn)生不規(guī)則性的可能，并且在進(jìn)行運(yùn)動(dòng)矢量檢測(cè)的情況中在梯度操作中沒(méi)有使用該像素。
換句話說(shuō)，在圖33中的示例中，在操作塊E中，除了在右下角中的三個(gè)像素(細(xì)圓圈)之外的像素(粗圓圈)被確定為在檢測(cè)像素p的梯度操作中是有效的。將這些有效像素用來(lái)執(zhí)行梯度操作。因此，與在通過(guò)使用在圖29中所示的檢測(cè)塊K(8×8像素)作為操作塊執(zhí)行的塊單元處理中的梯度操作相比，執(zhí)行了更穩(wěn)定的梯度操作，從而檢測(cè)出可能的運(yùn)動(dòng)矢量。
在每個(gè)像素的操作塊中，當(dāng)由于將像素分成用在梯度操作中的像素和在梯度操作中沒(méi)有使用的那些像素所以用在梯度操作中的像素極度減少時(shí)，確定運(yùn)動(dòng)矢量檢測(cè)是危險(xiǎn)的，并且中止梯度操作。換句話說(shuō)，這是因?yàn)槿绻_定盡管運(yùn)動(dòng)矢量檢測(cè)不穩(wěn)定也檢測(cè)具有一些幅度的運(yùn)動(dòng)，則所檢測(cè)出的運(yùn)動(dòng)矢量也許不可能，即它可能與在實(shí)際圖像中的對(duì)象的運(yùn)動(dòng)不匹配。在許多情況中，通過(guò)使用不可能的運(yùn)動(dòng)矢量來(lái)執(zhí)行隨后的處理(例如，矢量分配處理或矢量補(bǔ)償過(guò)程)而產(chǎn)生出的圖像會(huì)具有視覺(jué)衰退例如不連續(xù)運(yùn)動(dòng)和出現(xiàn)塊噪聲。
因此，當(dāng)用在像素梯度操作中的像素極度減少時(shí)，例如將零矢量(即，靜止?fàn)顟B(tài))用作檢測(cè)運(yùn)動(dòng)矢量。這防止了運(yùn)動(dòng)矢量影響隨后的處理，因此抑制了在所產(chǎn)生圖像中出現(xiàn)較大視覺(jué)衰退。
接下來(lái)將參照?qǐng)D34A至34C中的流程圖對(duì)遞歸梯度操作過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。在圖34A中的示例顯示出基于包括塊單元、像素單元和零矢量處理模式的塊標(biāo)準(zhǔn)組合進(jìn)行的遞歸梯度操作過(guò)程。塊標(biāo)準(zhǔn)指的是，對(duì)于在其中有效像素?cái)?shù)量大于閾值的情況中在塊單元處理模式中不是在操作塊中的有效像素的像素而言，在塊單元處理模式中的操作塊不能切換到在像素單元處理模式中的操作塊(也就是說(shuō)，甚至對(duì)于在塊單元處理模式中不是在操作塊中的有效像素的像素而言，也進(jìn)行塊單元處理模式計(jì)算)。在圖34B中的示例顯示出遞歸梯度操作過(guò)程，它包括塊單元和零矢量處理模式的組合。
在圖34C中的示例顯示出基于包括塊單元、像素單元和零矢量處理模式的像素標(biāo)準(zhǔn)組合進(jìn)行的遞歸梯度操作過(guò)程。像素標(biāo)準(zhǔn)指的是，對(duì)于在其中有效像素?cái)?shù)量大于閾值的情況中在塊單元處理模式中不是在操作塊中的有效像素的像素而言，在塊單元處理模式中的操作塊切換到在像素單元處理模式中受到檢測(cè)的操作塊。換句話說(shuō)，像素標(biāo)準(zhǔn)指的是對(duì)于在塊單元處理模式中的操作塊中不是有效像素的像素而言，進(jìn)行在像素單元處理模式中的計(jì)算。
首先將參照在圖34A中的流程圖顯示出遞歸梯度操作過(guò)程的示例。從前面階段將初始矢量V0輸入給模式選擇單元401。
在步驟S401中，模式選擇單元401選擇塊單元處理模式。該模式選擇單元401使用作為在幀t中的檢測(cè)塊(操作塊)作為檢測(cè)塊(操作塊)，并且將初始矢量V0輸出給選擇器402和矢量評(píng)估單元104。該過(guò)程前進(jìn)至步驟S402。這允許遞歸梯度操作單元103的每個(gè)部分執(zhí)行塊單元處理。在步驟S402中，響應(yīng)于由矢量評(píng)估單元104的控制，選擇器402將從模式選擇單元401輸入的初始矢量V0選擇作為偏置矢量，并且將所選的偏置矢量輸出給時(shí)間像素差異計(jì)算單元411和時(shí)間像素差異計(jì)算單元421。該過(guò)程前進(jìn)至步驟S403。
在步驟S403中，時(shí)間像素差異計(jì)算單元411和像素差異確定單元412使用所選的偏置矢量(在該情況中是初始矢量V0偏置)來(lái)執(zhí)行塊單元有效像素確定過(guò)程。該過(guò)程前進(jìn)至步驟S404。下面將參照?qǐng)D35對(duì)塊單元有效像素確定過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。在塊單元有效像素確定過(guò)程中，有效像素計(jì)數(shù)器413在塊單元操作塊中統(tǒng)計(jì)其中確定像素差異小于預(yù)定像素差異即在隨后階段中的梯度操作中有效的像素的數(shù)量。
在步驟S404中，梯度操作持續(xù)性確定單元414確定在有效像素計(jì)數(shù)器413中統(tǒng)計(jì)的像素(有效像素)數(shù)量是否大于預(yù)定閾值α。如果確定有效像素?cái)?shù)量大于預(yù)定閾值α，則梯度操作持續(xù)性確定單元414在塊單元中輸出標(biāo)志(flg＝1)，用于允許梯度操作單元404執(zhí)行梯度操作。該過(guò)程前進(jìn)至步驟S405。
在步驟S405中，基于來(lái)自梯度操作持續(xù)性確定單元414的標(biāo)志，梯度操作單元404使用來(lái)自選擇器402的偏置矢量(在該情況中的初始矢量V0)來(lái)執(zhí)行塊單元梯度操作過(guò)程。該過(guò)程前進(jìn)至步驟S406。下面將參照?qǐng)D36對(duì)梯度操作過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。該梯度操作過(guò)程找出運(yùn)動(dòng)矢量Vn，并且將所獲得的運(yùn)動(dòng)矢量Vn輸出給矢量評(píng)估單元104和延遲單元405。運(yùn)動(dòng)矢量Vn為在第一梯度操作中計(jì)算出的運(yùn)動(dòng)矢量vn和偏置矢量Vn-1的總和(vn＝Vn-1+vn)。例如，運(yùn)動(dòng)矢量V1為在第一梯度操作中計(jì)算出的運(yùn)動(dòng)矢量v1和偏置矢量(初始矢量V0)的總和(V1＝V0+v1)。
在步驟S406中，矢量評(píng)估單元104找出在梯度操作中獲得的運(yùn)動(dòng)矢量Vn的評(píng)估值DFD(n)和用作偏置矢量的運(yùn)動(dòng)矢量Vn-1的評(píng)估值DFD(n-1)。矢量評(píng)估單元104確定評(píng)估值DFD(n)是否小于評(píng)估值DFD(n-1)，即在梯度操作中獲得的運(yùn)動(dòng)矢量Vn是否比用作偏置矢量的運(yùn)動(dòng)矢量Vn-1更可靠。具體地說(shuō)，例如在第一處理中，將初始矢量V0的評(píng)估值DFD(0)與所獲得的運(yùn)動(dòng)矢量V1的評(píng)估值DFD(1)進(jìn)行比較。在第二處理中，將所獲得的運(yùn)動(dòng)矢量V2的評(píng)估值DFD(2)與所獲得的運(yùn)動(dòng)矢量V1的評(píng)估值DFD(1)進(jìn)行比較。
如果在步驟S406中確定評(píng)估值DFD(n)小于評(píng)估值DFD(n-1)即運(yùn)動(dòng)矢量Vn比運(yùn)動(dòng)矢量Vn-1更可靠，則在步驟S407中矢量評(píng)估單元104設(shè)定所計(jì)算的運(yùn)動(dòng)矢量(在第一次中為運(yùn)動(dòng)矢量V1，在第二次中為運(yùn)動(dòng)矢量V2)作為在檢測(cè)塊中的運(yùn)動(dòng)矢量V。該過(guò)程前進(jìn)至步驟S408，矢量評(píng)估單元104在該過(guò)程前進(jìn)至步驟S409之前將重復(fù)次數(shù)n增加1。在步驟S409中，矢量評(píng)估單元104確定重復(fù)次數(shù)n是否已經(jīng)到達(dá)所設(shè)定的最大重復(fù)次數(shù)(例如，兩次)。如果在步驟S409中確定重復(fù)次數(shù)n還沒(méi)有到達(dá)所設(shè)定的最大重復(fù)次數(shù)，則矢量評(píng)估單元104如此控制選擇器402，從而該過(guò)程返回到步驟S402并且重復(fù)隨后的步驟。
換句話說(shuō)，在步驟S402中，存儲(chǔ)在延遲單元405中的運(yùn)動(dòng)矢量V1在從矢量計(jì)算單元425輸出之后由選擇器402選擇作為偏置矢量。在步驟S403中，時(shí)間像素差異計(jì)算單元411和像素差異確定單元412通過(guò)使用運(yùn)動(dòng)矢量V1作為偏置矢量來(lái)執(zhí)行塊單元有效像素確定過(guò)程，并且該過(guò)程重復(fù)隨后的步驟。因此，在步驟S405中計(jì)算出的運(yùn)動(dòng)矢量V2為在第二梯度操作中計(jì)算出的運(yùn)動(dòng)矢量v2和用作偏置矢量的運(yùn)動(dòng)矢量V1的總和(即，V2＝V1+v2＝V0+v1+v2)。
如果在步驟S406中確定評(píng)估值DFD(n)不小于評(píng)估值DFD(n-1)，即運(yùn)動(dòng)矢量Vn-1比運(yùn)動(dòng)矢量Vn更可靠，則矢量評(píng)估單元104前進(jìn)至步驟S410。在步驟S410中，用作在梯度操作中的偏置量的運(yùn)動(dòng)矢量Vn-1(在第一次中為初始矢量V0，在第二次中為運(yùn)動(dòng)矢量V1)由矢量評(píng)估單元104設(shè)定作為在檢測(cè)塊中的運(yùn)動(dòng)矢量V，并且該過(guò)程前進(jìn)至步驟S411。如果在步驟S409中確定重復(fù)次數(shù)已經(jīng)達(dá)到設(shè)定的最大重復(fù)次數(shù)，則矢量評(píng)估單元104前進(jìn)至步驟S411。
在步驟S411中，矢量評(píng)估單元104確定運(yùn)動(dòng)矢量V是否設(shè)置在提前設(shè)定作為運(yùn)動(dòng)矢量檢測(cè)范圍的搜索區(qū)域中。如果確定運(yùn)動(dòng)矢量V設(shè)置在該搜索區(qū)域中，則矢量評(píng)估單元104前進(jìn)至步驟S415，并且按照與檢測(cè)塊相關(guān)的形式將運(yùn)動(dòng)矢量V存儲(chǔ)在檢測(cè)矢量存儲(chǔ)器53中。之后，該過(guò)程結(jié)束。
另外，如果在步驟S411中確定運(yùn)動(dòng)矢量V沒(méi)有設(shè)置在搜索區(qū)域中，則該矢量評(píng)估單元104前進(jìn)至步驟S412并且將運(yùn)動(dòng)矢量V設(shè)定作為零矢量。前進(jìn)至步驟S415，矢量評(píng)估單元104將運(yùn)動(dòng)矢量V(零矢量)存儲(chǔ)在檢測(cè)矢量存儲(chǔ)器53中，并且結(jié)束了該遞歸梯度操作過(guò)程。
如果在步驟S404中確定在有效像素計(jì)數(shù)器413中的有效像素?cái)?shù)量等于或小于預(yù)定閾值α，則該梯度操作持續(xù)性確定單元414前進(jìn)至步驟S413。在步驟S413中，梯度操作持續(xù)性確定單元414控制模式選擇單元401在前進(jìn)至步驟S414之前選擇像素單元處理模式。這使得遞歸梯度操作單元103的每一個(gè)部分能夠在像素單元中執(zhí)行處理。在步驟S414中，模式選擇單元401執(zhí)行像素單元遞歸梯度操作過(guò)程，并且前進(jìn)至步驟S415。下面將參照?qǐng)D37對(duì)像素單元梯度操作過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。由于在像素單元中的遞歸梯度操作過(guò)程找出在檢測(cè)塊中的所有像素的運(yùn)動(dòng)矢量，所以在步驟S415中，矢量評(píng)估單元104按照與在檢測(cè)塊中的每個(gè)像素相關(guān)的形式將每個(gè)運(yùn)動(dòng)矢量V存儲(chǔ)在檢測(cè)矢量存儲(chǔ)器53中，并且該遞歸梯度操作過(guò)程結(jié)束。
在上述步驟S406中，通過(guò)將在梯度操作過(guò)程中獲得的運(yùn)動(dòng)矢量Vn的評(píng)估值DFD(n)和用作偏置矢量的運(yùn)動(dòng)矢量Vn-1的評(píng)估值DFD(n-1)進(jìn)行比較來(lái)進(jìn)行運(yùn)動(dòng)矢量可靠性的評(píng)估。與比較評(píng)估值DFD同時(shí)，該評(píng)估也可以通過(guò)確定在梯度操作中獲得的運(yùn)動(dòng)矢量(在加入偏置矢量之前獲得的運(yùn)動(dòng)矢量)的范數(shù)值(|vn|)是否小于預(yù)定幅度(例如，在8×8像素操作塊中的情況中為16)。
范數(shù)代表在矢量空間中的矢量大小。例如，從原點(diǎn)(0，0)到(x，y)的矢量v的范數(shù)由下面的公式(11)表示。
|v|=x2+y2(11)]]>換句話說(shuō)，在梯度操作中，通常獲得非常精確的結(jié)果。但是，當(dāng)在梯度操作中獲得的運(yùn)動(dòng)矢量的范數(shù)|vn|超過(guò)預(yù)定幅度時(shí)，對(duì)于大運(yùn)動(dòng)矢量vn并不總是獲得非常精確的結(jié)果。因此，與評(píng)估值DFD一起，通過(guò)確定在梯度操作中獲得的每個(gè)運(yùn)動(dòng)矢量的范數(shù)|vn|是否超過(guò)預(yù)定幅度并且排出其范數(shù)|vn|超過(guò)預(yù)定大小的運(yùn)動(dòng)矢量，從而對(duì)于微小運(yùn)動(dòng)或大運(yùn)動(dòng)而言在該梯度操作中，能夠獲得非常精確的結(jié)果，并且能夠改善運(yùn)動(dòng)矢量檢測(cè)的精度。
在根據(jù)評(píng)估值DFD和范數(shù)進(jìn)行確定的情況中，如果在步驟S406中|vn|≤16并且評(píng)估值DFD(n-1)＞評(píng)估值DFD(n)，則該過(guò)程前進(jìn)至步驟S407，并且如此進(jìn)行設(shè)定，從而V＝Vn。如果在步驟S406中|vn|＞16或者評(píng)估值DFD(n-1)≤評(píng)估值DFD(n)，則該過(guò)程前進(jìn)至步驟S410，并且如此進(jìn)行設(shè)定，從而V＝Vn-1。
下面將參照在圖35中所示的流程圖對(duì)有效像素確定過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。圖35顯示出在圖34中的步驟S403中的有效像素確定過(guò)程的示例。
在從選擇器402輸入偏置矢量時(shí)，在步驟S431中，時(shí)間像素差異計(jì)算單元411控制像素差異確定單元412重新設(shè)定有效像素計(jì)數(shù)器413。前進(jìn)至步驟S432，時(shí)間像素差異計(jì)算單元411選擇在塊單元操作塊中的像素，并且前進(jìn)至步驟S433。按照光柵掃描的順序從左上端像素開(kāi)始選擇像素。
在步驟S433中，通過(guò)使用偏置矢量以及分別通過(guò)前置濾波器102-1和102-2輸入的在時(shí)刻t的幀t和在時(shí)刻t+1的幀t+1，從而計(jì)算出所選像素的時(shí)基像素差異Δt，并且將所計(jì)算出的時(shí)基像素差異Δt輸出給像素差異確定單元412。該過(guò)程前進(jìn)至步驟S434。
在步驟S434中，像素差異確定單元412確定由時(shí)間像素差異計(jì)算單元411計(jì)算出的時(shí)基像素差異Δt是否小于預(yù)定像素差異即所計(jì)算出的時(shí)基像素差異Δt在隨后階段中的梯度操作中是否有效。如果確定所計(jì)算出的時(shí)基像素差異Δt小于預(yù)定像素差異，則該過(guò)程前進(jìn)至步驟S435。像素差異確定單元412將在有效像素計(jì)數(shù)器413中的有效像素?cái)?shù)量增加1，并且該過(guò)程前進(jìn)至步驟S436。如果在步驟S412中確定時(shí)基像素差異Δt等于或大于預(yù)定像素差異，則像素差異確定單元412確定該時(shí)基像素差異Δt在隨后階段中的梯度操作中不是有效的，并且跳過(guò)步驟S435并且前進(jìn)至步驟S436。
在步驟S436中，時(shí)間像素差異計(jì)算單元411確定在操作塊中的所有像素上的處理是否已經(jīng)完成。如果時(shí)間像素差異計(jì)算單元411已經(jīng)確定在操作塊中的所有像素上的處理還沒(méi)有完成，則該過(guò)程返回到步驟S432，并且選擇下一個(gè)像素以重復(fù)隨后的步驟。如果在步驟S436中時(shí)間像素差異計(jì)算單元411已經(jīng)確定在操作塊中的所有像素上的處理已經(jīng)完成，則有效像素確定過(guò)程結(jié)束以返回到在圖34中的步驟S404。
在上面的過(guò)程中，有效像素計(jì)數(shù)器413具有像素的計(jì)數(shù)，在每個(gè)像素中像素差異Δt都小于預(yù)定像素差異，并且該像素在隨后階段中的梯度操作中是有效的。因此，通過(guò)參照在圖34中的步驟S404中的有效像素計(jì)數(shù)器413的像素?cái)?shù)量，梯度操作持續(xù)性確定單元414能夠確定是否進(jìn)行塊單元梯度操作或者是否進(jìn)行像素單元梯度操作。
在上面的說(shuō)明中，已經(jīng)描述了在包括塊單元、像素單元和零矢量處理模式的組合的塊標(biāo)準(zhǔn)中的遞歸梯度操作。
接下來(lái)，將參照在圖34B中的流程圖對(duì)包括塊單元和零矢量處理模式的組合的遞歸梯度操作過(guò)程進(jìn)行說(shuō)明。在圖34B中的該遞歸梯度操作過(guò)程的不同之處在于，用步驟S416代替了在圖34A中的步驟S413和S414。其它步驟與在圖34A中的遞歸梯度操作過(guò)程中的那些基本上類(lèi)似，并且其說(shuō)明是重復(fù)的。因此，省略了其說(shuō)明。
換句話說(shuō)，在圖34B中的示例的情況中，如果在步驟S404中確定在有效像素計(jì)數(shù)器413中的有效像素?cái)?shù)量等于或小于預(yù)定閾值α，則矢量評(píng)估單元104前進(jìn)至步驟S416。矢量評(píng)估單元104將運(yùn)動(dòng)矢量V設(shè)定為零矢量。前進(jìn)至步驟S415，矢量評(píng)估單元104將運(yùn)動(dòng)矢量(零矢量)按照與受到檢測(cè)的塊相關(guān)的方式存儲(chǔ)在檢測(cè)矢量存儲(chǔ)器53中。遞歸梯度過(guò)程完成。
如上所述，在有效像素?cái)?shù)量等于或小于預(yù)定閾值α?xí)r，實(shí)現(xiàn)了在圖34B中的遞歸梯度操作過(guò)程，即設(shè)定運(yùn)動(dòng)矢量V(零矢量)的簡(jiǎn)單操作過(guò)程。
接下來(lái)參照?qǐng)D34C中的流程圖對(duì)基于包括塊單元、像素單元和零矢量處理模式的組合的像素標(biāo)準(zhǔn)的遞歸梯度操作過(guò)程進(jìn)行說(shuō)明。在圖34C中的遞歸梯度操作過(guò)程的不同之處在于，在圖34A中的步驟S404和S405之間加入了步驟S417。其它步驟與在圖34A中的遞歸梯度操作過(guò)程中的那些基本上類(lèi)似，并且其說(shuō)明是重復(fù)的。因此省略了其說(shuō)明。
尤其是，在圖34C的情況中，在其中在步驟S404中確定在有效像素計(jì)數(shù)器413中的有效像素?cái)?shù)量大于預(yù)定閾值α的情況中對(duì)于在操作塊中不是有效像素的像素執(zhí)行在步驟S413和S414中的處理。在步驟S415中將對(duì)于在操作塊中的不是有效像素的像素在步驟S414中獲得的運(yùn)動(dòng)矢量與對(duì)于在操作塊中的有效像素在步驟S411或S412中獲得的運(yùn)動(dòng)矢量一起存儲(chǔ)在檢測(cè)矢量存儲(chǔ)器53中。
與圖34A的情況類(lèi)似，在步驟S404中確定在有效像素計(jì)數(shù)器413中的有效像素?cái)?shù)量等于或小于閾值α的情況中，對(duì)于在操作塊(受到檢測(cè)的塊)中的每個(gè)像素執(zhí)行在步驟S413和S414中的處理。
在具體說(shuō)明中，如果在圖34C中的步驟S404中確定在有效像素計(jì)數(shù)器413中的有效像素?cái)?shù)量大于閾值α，則該過(guò)程前進(jìn)至步驟S417。操作塊由包括確定為有效像素的有效像素的有效像素組和確定為不是有效像素的一組無(wú)效像素中的至少一個(gè)像素組形成。因此，在步驟S417中，梯度操作持續(xù)性確定單元414確定在塊單元中的操作塊中的一組像素是否為一組有效像素。
如果在步驟S417中梯度操作持續(xù)性確定單元414已經(jīng)確定在塊單元中的操作塊中的一組像素是一組有效像素，則梯度操作持續(xù)性確定單元414前進(jìn)至步驟S405，并且控制梯度操作單元404只在操作塊中的那組有效像素上執(zhí)行梯度操作過(guò)程。由于該過(guò)程與在圖34A中的處理基本上類(lèi)似，所以省略了在步驟S406至S412的處理的說(shuō)明。
另外，如果在步驟S417中梯度操作持續(xù)性確定單元414已經(jīng)確定在塊單元中的操作塊中的一組像素不是一組有效像素，則梯度操作持續(xù)性確定單元414控制模式選擇單元401以前進(jìn)至步驟S413，并且選擇像素單元處理模式，并且前進(jìn)至步驟S414并且只在無(wú)效像素上執(zhí)行像素單元遞歸梯度操作過(guò)程。由于該過(guò)程與在圖34A中的處理基本上類(lèi)似，所以省略了在步驟S413和S414的處理的說(shuō)明。
在上述處理中，對(duì)于在操作塊中的有效像素組，在步驟S411或S412中設(shè)定運(yùn)動(dòng)矢量。對(duì)于在操作塊中的無(wú)效像素組，在步驟S414中設(shè)定運(yùn)動(dòng)矢量。在步驟S415中將對(duì)于在操作塊中的有效像素組設(shè)定的運(yùn)動(dòng)矢量和對(duì)于在操作塊中的無(wú)效像素組設(shè)定的運(yùn)動(dòng)矢量存儲(chǔ)在檢測(cè)矢量存儲(chǔ)器53中，并且遞歸梯度操作過(guò)程完成。
在圖34C中的示例中，在包括塊單元、像素單元和零矢量處理模式的像素標(biāo)準(zhǔn)中的遞歸梯度操作過(guò)程具有復(fù)雜的確定過(guò)程。但是，在像素標(biāo)準(zhǔn)中的遞歸梯度操作過(guò)程能夠處理在塊單元處理模式中的塊中的無(wú)效像素，因此提供非常精確的運(yùn)動(dòng)矢量。
還有，在圖34B中的示例中，包括塊單元和零矢量處理模式的組合的遞歸梯度操作過(guò)程具有簡(jiǎn)單的結(jié)構(gòu)。因此，在圖34A至34C中所示的示例之中，這種遞歸梯度操作過(guò)程在計(jì)算處理上具有最低的負(fù)載。然而，通過(guò)限制在梯度操作過(guò)程中產(chǎn)生負(fù)面影響的像素，由此防止了這些像素用于運(yùn)動(dòng)矢量，從而增加了運(yùn)動(dòng)矢量檢測(cè)的精度。
與在圖34B和34C中的過(guò)程相比較，基于包括塊單元、像素單元和零矢量處理模式的組合的塊標(biāo)準(zhǔn)的遞歸梯度操作過(guò)程提供了中等計(jì)算處理。具體地說(shuō)，在有效像素?cái)?shù)量小于在塊單元處理模式中的塊中的預(yù)定閾值時(shí)，如圖34B所示一樣基于塊標(biāo)準(zhǔn)的遞歸梯度操作過(guò)程能夠處理在塊中不能只是由塊單元處理模式處理的像素。
接下來(lái)，將參照在圖36中所示的流程圖對(duì)塊單元梯度操作過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。圖36顯示出在圖34中的步驟S405中的塊單元梯度操作過(guò)程的示例。因此，在圖36中的示例中，從梯度操作持續(xù)性確定單元414將用于執(zhí)行梯度操作的標(biāo)志(flg＝1)輸入時(shí)間像素差異計(jì)算單元421。
當(dāng)從梯度操作持續(xù)性確定單元414輸入標(biāo)志(flg＝1)時(shí)，在步驟S451中，時(shí)間像素差異計(jì)算單元421選擇在塊單元操作塊中的像素并且前進(jìn)至步驟S452。按照光柵掃描的順序從在操作塊中的左上端像素開(kāi)始選擇像素。
在步驟S452中，通過(guò)使用來(lái)自選擇器402的偏置矢量以及分別通過(guò)前置濾波器102-2和102-1輸入的在時(shí)刻t處的幀t和在時(shí)刻t+1處的幀t+1，時(shí)間像素差異計(jì)算單元421計(jì)算出所選像素的時(shí)基像素差異Δt，并且將所計(jì)算出的時(shí)基像素差異Δt和偏置矢量輸出給像素差異確定單元422。該過(guò)程前進(jìn)至步驟S453。
在步驟S453中，像素差異確定單元422確定由時(shí)間像素差異計(jì)算單元421計(jì)算出的時(shí)基像素差異Δt是否小于預(yù)定像素差異即所選像素在隨后階段中的梯度操作中是否有效。如果確定時(shí)基像素差異Δt小于預(yù)定像素差異，則該過(guò)程前進(jìn)至步驟S454，并且像素差異確定單元422控制水平垂直像素差異計(jì)算單元423計(jì)算出被確定是有效的像素的水平像素差異Δx。在像素差異確定單元422中的預(yù)定像素差異與在時(shí)間像素差異計(jì)算單元421中的預(yù)定像素差異相同或不同。這時(shí)，像素差異確定單元422將由時(shí)間像素差異計(jì)算單元421計(jì)算出的時(shí)基像素差異Δt和偏置矢量輸出給水平垂直像素差異計(jì)算單元423。
在步驟S454中，通過(guò)使用偏置矢量以及分別通過(guò)前置濾波器102-2和102-1輸入的在時(shí)刻t處的幀t和在時(shí)刻t+1處的幀t+1，水平垂直像素差異計(jì)算單元423計(jì)算出被確定是有效的像素的水平像素差異Δx。前進(jìn)至步驟S455，水平垂直像素差異計(jì)算單元423計(jì)算出被確定是有效的像素的垂直像素差異Δy，并且將時(shí)基像素差異Δt、水平像素差異Δx和垂直像素差異Δy輸出給梯度累積單元424。該過(guò)程前進(jìn)至步驟S456。在步驟S456中，梯度累積單元424將時(shí)基像素差異Δt、水平像素差異Δx和垂直像素差異Δy累積，并且將所累積的結(jié)果輸出給矢量計(jì)算單元425。該過(guò)程前進(jìn)至步驟S457。
如果在步驟S453中確定時(shí)基像素差異Δt等于或大于預(yù)定像素差異，則像素差異確定單元422在步驟S454至456上跳過(guò)，并且前進(jìn)至步驟S457。換句話說(shuō)，像素的像素差異(梯度)表示，該像素由于在隨后階段中的梯度操作中是無(wú)效的所以沒(méi)有用在梯度操作中。
在步驟S457中，時(shí)間像素差異計(jì)算單元421確定在操作塊中的所有像素上的處理是否已經(jīng)完成。如果確定在操作塊中的所有像素上的處理已經(jīng)完成，則該過(guò)程返回到步驟S451，并且選擇下一個(gè)像素來(lái)重復(fù)隨后的步驟。
可選的是，如果在步驟S457中確定在操作塊中的所有像素上的處理已經(jīng)完成，則時(shí)間像素差異計(jì)算單元421將偏置矢量輸出給矢量計(jì)算單元425，并且該過(guò)程前進(jìn)至步驟S458。當(dāng)接收到來(lái)自時(shí)間像素差異計(jì)算單元421的偏置矢量時(shí)，矢量計(jì)算單元425通過(guò)使用來(lái)自梯度累積單元424的梯度累積結(jié)果和在公式(9)中的最小二乘方方法計(jì)算出運(yùn)動(dòng)矢量vn，并且前進(jìn)至步驟S459。矢量計(jì)算單元425通過(guò)將所計(jì)算出的運(yùn)動(dòng)矢量vn加入在來(lái)自時(shí)間像素差異計(jì)算單元421的偏置矢量上來(lái)計(jì)算出運(yùn)動(dòng)矢量vn，并且將所計(jì)算出的運(yùn)動(dòng)矢量Vn輸出給矢量評(píng)估單元104。梯度操作過(guò)程結(jié)束并且返回到在圖34中的步驟S406。
如上所述，在時(shí)基像素差異Δt等于或大于預(yù)定像素差異，則將該像素認(rèn)為具有在運(yùn)動(dòng)中產(chǎn)生出不規(guī)則性的可能性，并且因此不能在運(yùn)動(dòng)矢量檢測(cè)的情況中用于梯度操作。因此，執(zhí)行了更加穩(wěn)定的梯度操作，從而檢測(cè)出可能的運(yùn)動(dòng)矢量，因此改善了運(yùn)動(dòng)矢量檢測(cè)的精度。
接下來(lái)，將參照在圖37中所示的流程圖對(duì)像素單元遞歸梯度操作的細(xì)節(jié)進(jìn)行說(shuō)明。圖37顯示出在圖34中的步驟S414中的像素單元遞歸梯度操作過(guò)程的示例。該過(guò)程對(duì)于在檢測(cè)塊中的每個(gè)像素執(zhí)行。
在設(shè)定像素單元處理模式之后，在步驟S471中，模式選擇單元401選擇在檢測(cè)塊中的像素作為受到檢測(cè)的像素，并且將在操作塊(例如，9×9像素)中的像素的初始矢量V0輸出給選擇器402和矢量評(píng)估單元104。該過(guò)程前進(jìn)至步驟S472。按照光柵掃描的順序從在檢測(cè)塊中的左上端像素開(kāi)始選擇像素。在步驟S472中，響應(yīng)于由矢量評(píng)估單元104的控制，選擇器402選擇從模式選擇單元401輸入的初始矢量V0作為偏置矢量，并且將所選的偏置矢量輸出給時(shí)間像素差異計(jì)算單元411和時(shí)間像素差異計(jì)算單元421。該過(guò)程前進(jìn)至步驟S473。
在步驟S473中，時(shí)間像素差異計(jì)算單元411和像素差異確定單元412通過(guò)使用所選的偏置矢量(通過(guò)使用初始矢量V0作為偏置量)來(lái)執(zhí)行像素單元有效像素確定過(guò)程，并且該過(guò)程前進(jìn)至步驟S474。由于進(jìn)行了基本上類(lèi)似的過(guò)程，所以省略了有效像素確定過(guò)程的細(xì)節(jié)的詳細(xì)說(shuō)明，除了參照?qǐng)D5所述的塊單元有效像素確定過(guò)程和受到處理的操作塊(塊范圍和構(gòu)成塊的像素)不同之外。在有效像素確定過(guò)程中，有效像素計(jì)數(shù)器413具有統(tǒng)計(jì)的像素?cái)?shù)量，每個(gè)像素被確定為在像素單元操作塊中具有比預(yù)定像素差異更小的像素差異，即在隨后階段中的梯度操作中是有效的。用在像素單元中的有效像素確定中的預(yù)定像素差異可以與在塊單元中的確定情況中的數(shù)值相同或不同。
在步驟S474中，梯度操作持續(xù)性確定單元414確定在有效像素計(jì)數(shù)器413中的像素計(jì)數(shù)(有效像素?cái)?shù)量)是否大于預(yù)定閾值β。如果確定有效像素?cái)?shù)量大于預(yù)定閾值β，則梯度操作持續(xù)性確定單元414輸出用于執(zhí)行梯度操作的標(biāo)志(flg＝1)，并且前進(jìn)至步驟S475。還有，閾值β可以與在塊單元情況中的閾值α相同或不同。
在步驟S475中，基于來(lái)自梯度操作持續(xù)性確定單元414的標(biāo)志，梯度操作單元404通過(guò)使用來(lái)自選擇器402的偏置矢量(初始矢量V0)來(lái)執(zhí)行像素單元梯度操作過(guò)程，并且該過(guò)程前進(jìn)至步驟S476。由于進(jìn)行了基本上類(lèi)似的處理，所以省略了梯度操作過(guò)程的詳細(xì)說(shuō)明，除了參照?qǐng)D36所述的塊單元梯度操作過(guò)程和受到處理的操作塊(塊范圍和構(gòu)成塊的像素)不同之外。該梯度操作過(guò)程找出受到檢測(cè)的像素的運(yùn)動(dòng)矢量Vn，并且將所獲得的運(yùn)動(dòng)矢量Vn輸出給矢量評(píng)估單元104和延遲單元405。運(yùn)動(dòng)矢量Vn為由第一梯度操作獲得的運(yùn)動(dòng)矢量vn和偏置矢量的總和(Vn＝Vn-1+vn)。
在步驟S476中，矢量評(píng)估單元104找出由梯度操作過(guò)程獲得的運(yùn)動(dòng)矢量Vn的評(píng)估值DFD(n)和用作偏置矢量的運(yùn)動(dòng)矢量Vn-1的評(píng)估值DFD(n-1)，并且確定評(píng)估值DFD(n)是否小于評(píng)估值DFD(n-1)，即由梯度操作過(guò)程獲得的運(yùn)動(dòng)矢量Vn是否比用作偏置矢量的運(yùn)動(dòng)矢量Vn-1更可靠。
如果在步驟S476中確定評(píng)估值DFD(n)小于評(píng)估值DFD(n-1)即運(yùn)動(dòng)矢量Vn比運(yùn)動(dòng)矢量Vn-1更可靠，則在步驟S477中將所計(jì)算的運(yùn)動(dòng)矢量Vn(在第一次中為運(yùn)動(dòng)矢量V1，在第二次中為運(yùn)動(dòng)矢量V2)設(shè)定作為在受到檢測(cè)的像素的運(yùn)動(dòng)矢量V，并且該過(guò)程前進(jìn)至步驟S478。在步驟S478中，矢量評(píng)估單元104將重復(fù)次數(shù)n增加1。前進(jìn)至步驟S479，矢量評(píng)估單元104確定重復(fù)次數(shù)n是否已經(jīng)到達(dá)所設(shè)定的最大重復(fù)次數(shù)(例如，兩次)。如果確定重復(fù)次數(shù)n還沒(méi)有到達(dá)所設(shè)定的最大重復(fù)次數(shù)，則矢量評(píng)估單元104如此控制選擇器402，從而該過(guò)程返回到步驟S472并且重復(fù)隨后的步驟。
換句話說(shuō)，在步驟S472中，在從矢量計(jì)算單元425輸出之后存儲(chǔ)在延遲單元405中的運(yùn)動(dòng)矢量V1由選擇器402選擇作為偏置矢量。在步驟S473中，時(shí)間像素差異計(jì)算單元411和像素差異確定單元412使作為偏置矢量的運(yùn)動(dòng)矢量V1偏置，并且執(zhí)行像素單元有效像素確定過(guò)程以重復(fù)隨后的步驟。因此，在步驟S475中獲得的運(yùn)動(dòng)矢量為在第二梯度操作中計(jì)算出的運(yùn)動(dòng)矢量V2和作為偏置矢量的運(yùn)動(dòng)矢量V1的總和(V2＝V0+v1+v2)。
如果在步驟S476中確定評(píng)估值DFD(n)大于評(píng)估值DFD(n-1)即運(yùn)動(dòng)矢量Vn-1比運(yùn)動(dòng)矢量Vn更可靠，則該過(guò)程前進(jìn)至步驟S480。在步驟S480中，在梯度操作中用作偏置矢量的運(yùn)動(dòng)矢量Vn-1(在第一次中的初始矢量V0，在第二次中的運(yùn)動(dòng)矢量V1)設(shè)定作為在檢測(cè)塊中的運(yùn)動(dòng)矢量V，并且該過(guò)程前進(jìn)至步驟S481。另外，如果在步驟S479中重復(fù)次數(shù)已經(jīng)達(dá)到最大重復(fù)次數(shù)，則矢量評(píng)估單元104前進(jìn)至步驟S481。
在步驟S481中，矢量評(píng)估單元104確定運(yùn)動(dòng)矢量V是否在提前設(shè)定作為運(yùn)動(dòng)矢量檢測(cè)范圍的搜索區(qū)域中。如果確定運(yùn)動(dòng)矢量V處在該搜索區(qū)域中，則該過(guò)程前進(jìn)至步驟S483。如果在步驟S481中確定運(yùn)動(dòng)矢量V沒(méi)有處在搜索區(qū)域中，則該過(guò)程前進(jìn)至步驟S482，并且將運(yùn)動(dòng)矢量V設(shè)定作為零矢量。該過(guò)程前進(jìn)至步驟S483。
如果在步驟S473中確定在有效像素計(jì)數(shù)器413中的有效像素?cái)?shù)量小于預(yù)定閾值β，則梯度操作持續(xù)性確定單元414向梯度操作單元404輸出用于中止梯度操作的標(biāo)志(flg＝0)，并且該過(guò)程前進(jìn)至步驟S482。時(shí)間像素差異計(jì)算單元421根據(jù)該標(biāo)志控制像素計(jì)算單元425，并且將運(yùn)動(dòng)矢量V設(shè)定作為零矢量。該過(guò)程前進(jìn)至步驟S483。
在步驟S483中，模式選擇單元401確定在檢測(cè)塊中的所有像素上的處理是否已經(jīng)結(jié)束。如果確定在檢測(cè)塊中的所有像素上的處理還沒(méi)有結(jié)束，則該過(guò)程返回到步驟S471。在檢測(cè)塊中的下一個(gè)像素用作受到檢測(cè)的像素，并且重復(fù)隨后的步驟，如果在步驟S483中確定在檢測(cè)塊中的所有像素上的處理已經(jīng)結(jié)束，則模式選擇單元401完成像素單元遞歸梯度操作過(guò)程，并且返回到在圖34中的步驟S415。換句話說(shuō)，像素單元遞歸梯度操作過(guò)程找出在檢測(cè)塊中的所有像素的運(yùn)動(dòng)矢量V，該過(guò)程返回到在圖34中的步驟S415，并且矢量評(píng)估單元104按照與在檢測(cè)塊中的每個(gè)像素相關(guān)的形式將每個(gè)運(yùn)動(dòng)矢量V存儲(chǔ)在檢測(cè)矢量存儲(chǔ)器53中。之后，該遞歸梯度操作過(guò)程終止。
在步驟S476中評(píng)估運(yùn)動(dòng)矢量的可靠性時(shí)，與步驟S406的情況相似，可以組合使用基于評(píng)估值DFD的確定和基于范數(shù)的確定。
如上所述，通過(guò)對(duì)于梯度操作只使用在其每一個(gè)中在操作塊中的像素差異小于預(yù)定像素差異的像素，從而可以從要進(jìn)行算術(shù)運(yùn)算的塊中排除具有不同運(yùn)動(dòng)的像素，從而改善了由梯度操作獲得的運(yùn)動(dòng)矢量可能性，因此改善了運(yùn)動(dòng)矢量檢測(cè)精度。
另外，當(dāng)由于在操作塊中的像素差異大于預(yù)定像素差異而沒(méi)有用在梯度操作中的像素?cái)?shù)量大于預(yù)定閾值時(shí)，則適應(yīng)地控制梯度操作過(guò)程。因此，尤其是在對(duì)象之間的運(yùn)動(dòng)邊界中，能夠改善運(yùn)動(dòng)矢量檢測(cè)的精度，從而與所要檢測(cè)的運(yùn)動(dòng)矢量相比能夠改善可能性。
具體地說(shuō)，當(dāng)由于在操作塊中的像素差異大于預(yù)定像素差異而沒(méi)有用在梯度操作中的像素?cái)?shù)量大于預(yù)定閾值時(shí)，將塊單元模式切換到像素單元模式，為在檢測(cè)塊中的每個(gè)像素設(shè)定操作塊，并且進(jìn)行有效像素確定過(guò)程和梯度操作過(guò)程。因此，能夠?qū)\(yùn)動(dòng)矢量進(jìn)行更精確的檢測(cè)，另外當(dāng)由于在操作塊中的像素差異大于預(yù)定像素差異而沒(méi)有用在梯度操作中的像素?cái)?shù)量大于預(yù)定閾值時(shí)，能夠抑制不規(guī)則運(yùn)動(dòng)矢量檢測(cè)，因此能夠進(jìn)行更可靠的運(yùn)動(dòng)矢量檢測(cè)。
接下來(lái)將對(duì)有效像素確定單元403和梯度操作單元404的其它結(jié)構(gòu)進(jìn)行說(shuō)明。
在下面所述的有效像素確定單元403和梯度操作單元404中，不僅根據(jù)時(shí)基像素差異，而且還根據(jù)空間像素差異，確定出在操作塊中的像素是否有效。
圖38為一詳細(xì)方框圖，顯示出有效像素確定單元403的結(jié)構(gòu)。在圖38中所示的有效像素確定單元403顯示出在圖25中所示的有效像素確定單元403的另一種結(jié)構(gòu)。在圖38中，與在圖26中的那些對(duì)應(yīng)的部分由相應(yīng)的參考標(biāo)號(hào)表示。因此，刪除了其重復(fù)說(shuō)明。
在圖38中所示的示例中，有效像素確定單元403包括第一空間梯度像素差異計(jì)算單元501、第二空間像素差異計(jì)算單元502、時(shí)基像素差異計(jì)算單元503、操作確定單元504、有效像素計(jì)數(shù)器413以及梯度操作持續(xù)性確定單元414。
將通過(guò)前置濾波器102-1輸入的在時(shí)刻t+1處的幀t+1輸入給第一空間梯度像素差異計(jì)算單元501和時(shí)基像素差異計(jì)算單元503。將通過(guò)前置濾波器102-2輸入的在時(shí)刻t處的幀t輸入給第二空間梯度像素差異計(jì)算單元502和時(shí)基像素差異計(jì)算單元503。另外，將由選擇器402選擇的偏置矢量(例如，V0或Vn-1)輸入給第一空間梯度像素差異計(jì)算單元501、第二空間像素差異計(jì)算單元502和時(shí)基像素差異計(jì)算單元503。
當(dāng)接收到由選擇器402選擇的偏置矢量時(shí)，第一空間梯度像素差異計(jì)算單元501在任一單元處理模式中的操作塊中計(jì)算出在通過(guò)將在通過(guò)前置濾波器102-1輸入的幀t+1中的偏置矢量偏置而獲得的像素周?chē)南袼氐乃较袼夭町惁和垂直像素差異Δy。第一空間梯度像素差異計(jì)算單元501將在幀t+1中的操作塊中的所計(jì)算出的水平像素差異Δx和垂直像素差異Δy輸出給操作確定單元504。
當(dāng)接收到由選擇器402選擇的偏置矢量時(shí)，第二空間像素差異計(jì)算單元502在任一單元處理模式中的操作塊中計(jì)算出在通過(guò)將在通過(guò)前置濾波器102-2輸入的幀t中的偏置矢量偏置而獲得的像素周?chē)南袼氐乃较袼夭町惁和垂直像素差異Δy。第二空間梯度像素差異計(jì)算單元502將在幀t中的操作塊中的所計(jì)算出的水平像素差異Δx和垂直像素差異Δy輸出給操作確定單元504。
當(dāng)接收到由選擇器402選擇的偏置矢量時(shí)，時(shí)基像素差異計(jì)算單元503在任一單元處理模式中的操作塊中計(jì)算出在通過(guò)將在分別通過(guò)前置濾波器和102-1和102-2輸入的幀t+1和幀t之間的偏置矢量偏置而獲得的像素周?chē)南袼氐臅r(shí)基像素差異Δt，并且將所計(jì)算出的在兩個(gè)幀之間在操作塊中的時(shí)基像素差異輸出給操作確定單元504。
通過(guò)使用來(lái)自第一空間梯度像素差異計(jì)算單元501的在操作塊幀t+1中的水平像素差異Δx和垂直像素差異Δy、來(lái)自第二空間梯度像素差異計(jì)算單元502的在操作塊幀t中的水平像素差異Δx和垂直像素差異Δy以及來(lái)自時(shí)基像素差異計(jì)算單元503的在幀t+1和幀t之間的操作塊中的時(shí)基像素差異Δt，從而操作確定單元504進(jìn)行預(yù)定的邏輯操作，并且根據(jù)預(yù)定的邏輯操作確定在操作塊中的像素在運(yùn)動(dòng)矢量檢測(cè)(即，在隨后階段中的梯度操作單元404中的算術(shù)運(yùn)算)中是否有效。下面將對(duì)作為在操作確定單元504中的有效像素確定方法的邏輯操作的細(xì)節(jié)進(jìn)行說(shuō)明。
當(dāng)確定在操作塊中的像素在運(yùn)動(dòng)矢量檢測(cè)中時(shí)有效的時(shí)，操作確定單元504將在有效像素計(jì)數(shù)器413中的像素?cái)?shù)量增加1。該有效像素計(jì)數(shù)器413統(tǒng)計(jì)了由操作確定單元504確定作為在每個(gè)操作塊中的有效像素的像素?cái)?shù)量。
圖39為一詳細(xì)方框圖，顯示出梯度操作單元404的結(jié)構(gòu)。在圖38中所示的有效像素確定單元403顯示出在圖25中所示的梯度操作單元404的另一個(gè)結(jié)構(gòu)。在圖39中，與在圖27中的那些對(duì)應(yīng)的部分由相應(yīng)的參考標(biāo)號(hào)表示。因此，刪除了其重復(fù)說(shuō)明。
在圖39中所示的示例中，梯度操作單元404包括第一空間梯度像素差異計(jì)算單元521、第二空間像素差異計(jì)算單元522、時(shí)基像素差異計(jì)算單元523、操作確定單元524、梯度計(jì)算單元424以及矢量計(jì)算單元425。
將通過(guò)前置濾波器102-1輸入的在時(shí)刻t+1處的幀t+1輸入給第一空間梯度像素差異計(jì)算單元521和時(shí)基像素差異計(jì)算單元523。將通過(guò)前置濾波器102-2輸入的在時(shí)刻t處的幀t輸入給第二空間梯度像素差異計(jì)算單元522和時(shí)基像素差異計(jì)算單元523。另外，將由選擇器402選擇的偏置矢量輸入給第一空間梯度像素差異計(jì)算單元521、第二空間像素差異計(jì)算單元522、時(shí)基像素差異計(jì)算單元523以及操作確定單元524。將從有效像素確定單元403輸入的標(biāo)志輸入給操作確定單元524。
當(dāng)接收到由選擇器402選擇的偏置矢量時(shí)，第一空間梯度像素差異計(jì)算單元501在任一單元處理模式中的操作塊中計(jì)算出在通過(guò)將在通過(guò)前置濾波器102-1輸入的幀t+1中的偏置矢量偏置而獲得的像素周?chē)南袼氐乃较袼夭町惁和垂直像素差異Δy。第一空間梯度像素差異計(jì)算單元521將在幀t+1中的操作塊中的所計(jì)算出的水平像素差異Δx和垂直像素差異Δy輸出給操作確定單元524。
當(dāng)接收到由選擇器402選擇的偏置矢量時(shí)，第二空間像素差異計(jì)算單元522在任一單元處理模式中的操作塊中計(jì)算出在通過(guò)將在通過(guò)前置濾波器102-2輸入的幀t中的偏置矢量偏置而獲得的像素周?chē)南袼氐乃较袼夭町惁和垂直像素差異Δy。第二空間梯度像素差異計(jì)算單元522將在幀t中的操作塊中的所計(jì)算出的水平像素差異Δx和垂直像素差異Δy輸出給操作確定單元504。
當(dāng)接收到由選擇器402選擇的偏置矢量時(shí)，時(shí)基像素差異計(jì)算單元523在任一單元處理模式中的操作塊中計(jì)算出在通過(guò)將在分別通過(guò)前置濾波器和102-1和102-2輸入的幀t+1和幀t之間的偏置矢量偏置而獲得的像素周?chē)南袼氐臅r(shí)基像素差異Δt，并且將所計(jì)算出的在兩個(gè)幀之間在操作塊中的時(shí)基像素差異輸出給操作確定單元524。
操作確定單元524根據(jù)從有效像素確定單元403輸入的標(biāo)志來(lái)控制梯度累積單元424和矢量計(jì)算單元425。當(dāng)標(biāo)志表示1(flg＝1)時(shí)，通過(guò)使用來(lái)自第一空間梯度像素差異計(jì)算單元521的在操作塊幀t+1中的水平像素差異Δx和垂直像素差異Δy、來(lái)自第二空間梯度像素差異計(jì)算單元522的在操作塊幀t中的水平像素差異Δx和垂直像素差異Δy以及來(lái)自時(shí)基像素差異計(jì)算單元523的在幀t+1和幀t之間的操作塊中的時(shí)基像素差異Δt，從而操作確定單元524進(jìn)行預(yù)定的邏輯操作。根據(jù)預(yù)定的邏輯操作，該操作確定單元524確定在操作塊中的像素在運(yùn)動(dòng)矢量檢測(cè)中是否有效。操作確定單元524將被確定在運(yùn)動(dòng)矢量檢測(cè)中有效的像素當(dāng)作要受到梯度操作的像素，并且將每個(gè)像素的水平像素差異Δx、垂直像素差異Δy和時(shí)基像素差異Δt提供給梯度累積單元424。當(dāng)確定在操作塊中的像素在運(yùn)動(dòng)矢量檢測(cè)中不是有效的時(shí)，操作確定單元524控制梯度累積單元424停止在像素上的處理。
另外，當(dāng)標(biāo)志表示零(flg＝0)時(shí)，操作確定單元524不執(zhí)行預(yù)定的邏輯操作，并且未確定在塊中的像素在運(yùn)動(dòng)矢量檢測(cè)中有效。因此，梯度累積單元424沒(méi)有執(zhí)行累積，從而該過(guò)程中止。
這時(shí)，時(shí)間像素差異計(jì)算單元421控制矢量計(jì)算單元425將運(yùn)動(dòng)矢量V設(shè)定為零矢量。另外，當(dāng)在操作塊中的這些像素上的處理完成時(shí)，操作確定單元524將偏置矢量輸出給矢量計(jì)算單元425，并且控制矢量計(jì)算單元425計(jì)算在受到檢測(cè)的塊中的運(yùn)動(dòng)矢量。
梯度累積單元424將時(shí)基像素差異Δt和由操作確定單元524提供的水平像素差異Δx和垂直像素差異Δy累積，并且將累積的梯度輸出給矢量計(jì)算單元425。
當(dāng)接收到來(lái)自操作確定單元524的偏置矢量時(shí)，矢量計(jì)算單元425計(jì)算出由梯度累積單元424累積的梯度，并且通過(guò)采用最小二乘方加法計(jì)算出運(yùn)動(dòng)矢量vn。另外，矢量計(jì)算單元425通過(guò)將來(lái)自操作確定單元524的偏置矢量加在所計(jì)算出的運(yùn)動(dòng)矢量vn上來(lái)找出運(yùn)動(dòng)矢量Vn，并且將所獲得的運(yùn)動(dòng)矢量Vn輸出給矢量評(píng)估單元104和延遲單元405。
圖40顯示出受到運(yùn)動(dòng)矢量檢測(cè)的檢測(cè)塊和受到梯度操作并且對(duì)應(yīng)于檢測(cè)塊的操作塊的其它示例。在圖40中，顯示出幀t，并且在幀t中的圓圈表示像素。
在圖40中所示的示例在幀t中顯示出每個(gè)由4×4像素構(gòu)成的檢測(cè)塊K1至K3以及在檢測(cè)塊K1至K3周?chē)拿總€(gè)由8×8像素電極構(gòu)成的操作塊E1至E3。操作塊E1至E3的每一個(gè)在一半像素?cái)?shù)量中的相鄰操作塊重疊。
在矢量檢測(cè)單元52中，按照光柵掃描順序從在幀中的左上端檢測(cè)塊開(kāi)始執(zhí)行運(yùn)動(dòng)矢量檢測(cè)。因此，在幀t中，將檢測(cè)塊K1至K3順序用作在其中進(jìn)行運(yùn)動(dòng)矢量檢測(cè)的檢測(cè)塊。因此，操作塊E1至E3用作用于梯度法的操作塊。換句話說(shuō)，在圖40中所示的示例中，操作塊E1至E3的每一個(gè)在構(gòu)成操作塊的一般像素?cái)?shù)量中與相鄰操作塊重疊。
在下面的說(shuō)明書(shū)中，通過(guò)使用如上所述形成的檢測(cè)塊和操作塊來(lái)描述在圖38中的有效像素確定單元403和在圖39中的有效像素確定單元403。但是，該說(shuō)明不限于上述檢測(cè)塊和操作塊。在圖38中的有效像素確定單元403和在圖39中的梯度操作單元404中，可以使用在上面參照?qǐng)D28所述的檢測(cè)塊和操作塊，并且也可以采用其它檢測(cè)塊和操作塊。
接下來(lái)將參照?qǐng)D41對(duì)有效像素確定方法進(jìn)行說(shuō)明。在圖41中所示的示例中，箭頭T表示從在圖41中設(shè)置在前景左側(cè)上的在時(shí)刻t的幀t到在圖41中設(shè)置在背景右側(cè)上的在時(shí)刻t+1的幀t+1的時(shí)間流逝方向。
在幀t中，顯示出檢測(cè)塊Kt(由在圖41中的黑色圓圈表示)和在檢測(cè)塊Kt周?chē)牟僮鲏KE(在其周邊中)，每個(gè)檢測(cè)塊由從中要檢測(cè)其運(yùn)動(dòng)矢量的4×4像素構(gòu)成，并且每個(gè)操作塊由8×8像素構(gòu)成。另外，在幀t+1中，顯示出與檢測(cè)塊Kt對(duì)應(yīng)的檢測(cè)塊Kt+1(由在圖41中的黑色圓圈表示)和與操作塊Et對(duì)應(yīng)的操作塊Et+1，每個(gè)檢測(cè)塊由4×4像素構(gòu)成，并且每個(gè)操作塊由8×8像素構(gòu)成。在幀t+1中的虛線塊表示其相位與檢測(cè)塊Kt相同的塊。因此，在幀t+1中，在與虛線塊偏移(運(yùn)動(dòng))給定運(yùn)動(dòng)矢量V(Vx，Vy)的位置處的操作塊Et+1用作受到梯度操作的塊。
在幀t中的操作塊Et中的像素p1和在幀t+1中的操作塊Et+1中的像素p2之間的時(shí)基像素差異由Δt表示，并且在這時(shí)的圖像幀由w表示，通過(guò)以下公式找出在操作塊Et中的像素p1的水平像素差異Δx1、垂直像素差異Δy和時(shí)基像素差異ΔtΔx1＝Y(jié)t(k+1)-Yt(k) (12)Δy1＝Y(jié)t(k+w)-Yt(k) (13)Δt＝Y(jié)t+1(k)-Yt(k) (14)Yt+1表示像素值，Yt表示在時(shí)刻t的像素值，并且k+1和k的每一個(gè)表示地址(位置)。
另外，同樣找出在操作塊Et+1中與像素p1對(duì)應(yīng)的像素p2的水平像素差異Δx2和垂直像素差異Δy2。
操作確定單元504使用這些數(shù)值來(lái)進(jìn)行邏輯操作，并且根據(jù)邏輯操作結(jié)果進(jìn)行有效像素確定。換句話說(shuō)，通過(guò)找出在操作塊Et中的像素是否滿足下面公式(15)至(17)中的一個(gè)(即，滿足公式(18))，操作確定單元504確定該像素在運(yùn)動(dòng)矢量檢測(cè)中是否有效。
Δx1≠0&& Δx2≠0&&
|Δx1|＞th1·|Δy1|&&|Δt/Δx1-Δt/Δx2|＜th2(15)Δy1≠0&&Δy2≠0&&
|Δy1|＞th1·|Δx1|&&|Δt/Δy1-Δt/Δy2|＜th2(16)Δx1≠0&&Δx2≠0&&Δy1≠0&&Δy2≠0&&
|Δt/Δx1-Δt/Δx2|＜th2&&
|Δt/Δy1-Δt/Δy2|＜th2 (17)公式(15)||公式(16)||公式(17) (18)這里，||表示邏輯加法，&&表示邏輯乘，·表示乘法，并且th1和th2表示預(yù)定閾值。例如，th1為1、1.5或2，并且th2例如為4。
因此，在公式(15)中的表達(dá)式Δx1≠0 &&Δx2≠0表示像素p1和p2的水平梯度不是平的，即兩者都是水平梯度。表達(dá)式|Δx1|＞th1·|Δy1|表示水平梯度在一定程度上大于垂直梯度。表達(dá)式|Δt/Δx1-Δt/Δx2|＜th2表示在像素單元梯度法中(在歸一化的情況中)的水平運(yùn)動(dòng)是預(yù)定閾值th2，即水平運(yùn)動(dòng)具有類(lèi)似性。因此，公式(15)表示與水平方向有關(guān)的條件。當(dāng)像素滿足所有條件時(shí)，確定該像素在水平運(yùn)動(dòng)中具有相似性，并且在隨后階段中在梯度法中是有效的。
在公式(16)中，表達(dá)式Δy1≠0 &&Δy2≠0表示垂直梯度不是平的，即兩者都具有垂直梯度。表達(dá)式|Δy1|＞h1·|Δx1|表示垂直梯度在一定程度上大于水平梯度。表達(dá)式|Δt/Δy1-Δt/Δy2|＜th2表示在像素單元梯度法中(在歸一化的情況中)的垂直運(yùn)動(dòng)具有類(lèi)似性。因此，公式(16)表示與垂直方向有關(guān)的條件。當(dāng)像素滿足所有條件時(shí)，確定該像素在垂直運(yùn)動(dòng)中具有相似性，并且在隨后階段中在梯度法中是有效的。
同樣，在公式(17)中，表達(dá)式Δx1≠0 &&Δx2≠0 &&Δy1≠0 &&Δy2≠0表示垂直和水平梯度不是平的，即沿著垂直和水平方向找到梯度。表達(dá)式|Δt/Δx1-Δt/Δx2|＜th2 &&|Δt/Δy1-Δt/Δy2|＜th2表示在像素單元中的梯度法中的垂直和水平運(yùn)動(dòng)(在歸一化情況中)具有類(lèi)似性。因此，公式(17)表示有關(guān)沒(méi)有滿足公式(15)和(16)的像素的水平和垂直方向(傾斜方向)的條件。在像素滿足了所有條件時(shí)，確定像素在水平和垂直運(yùn)動(dòng)中具有類(lèi)似性，并且在隨后階段中的梯度法中是有效的。
換句話說(shuō)，操作確定單元504使用公式(18)來(lái)確定在操作塊Et中的每個(gè)像素在水平、垂直和傾斜運(yùn)動(dòng)中的哪一個(gè)具有相似性。如果存在被確定在任何運(yùn)動(dòng)中都沒(méi)有任何相似性的像素，則操作確定單元504將該像素排出在受到梯度操作的像素之外，如圖42所示。
圖42顯示出在操作塊中像素結(jié)構(gòu)的示例。在圖42中所示的示例中，在由8×8像素(64個(gè)像素)構(gòu)成的操作塊E中，在由4×4像素構(gòu)成的檢測(cè)塊K周?chē)?，顯示出由于滿足表達(dá)式(18)所以被確定作為有效像素的像素(由在圖42中的白圓圈所示)以及由于沒(méi)有滿足公式(18)而沒(méi)有用在梯度操作中的像素(由黑色圓圈所示)。
因此，梯度操作單元404通過(guò)只使用在操作塊E中被確定作為有效像素的像素(34個(gè)像素)來(lái)進(jìn)行梯度操作。由于這使得通過(guò)只使用在水平、垂直和傾斜運(yùn)動(dòng)中的一個(gè)中具有相似性的像素來(lái)執(zhí)行梯度操作，所以抑制了包含不同運(yùn)動(dòng)，并且執(zhí)行更可靠的梯度操作，從而檢測(cè)出可能的運(yùn)動(dòng)矢量。
但是，當(dāng)被確定作為在操作塊中的有效像素的像素?cái)?shù)量較少時(shí)，如上所述梯度操作會(huì)不穩(wěn)定。因此，梯度操作持續(xù)性確定單元414確定被確定作為有效像素的像素?cái)?shù)量是否為50％(比在所有64個(gè)像素中的32個(gè)像素更多)。如果被確定作為有效像素的像素?cái)?shù)量小于50％，則確定在塊單元中的檢測(cè)塊K上的梯度操作不穩(wěn)定。因此，如上面參照?qǐng)D33所述一樣，將梯度操作切換至在檢測(cè)塊K中的每個(gè)像素上的操作。雖然將有效像素計(jì)數(shù)器的閾值設(shè)定為50％，但是顯然該數(shù)值可以是其它數(shù)值。
這盡可能防止了包含有具有不同運(yùn)動(dòng)的像素，因此能夠進(jìn)行可靠的梯度操作。因此，改善了由梯度操作找出的運(yùn)動(dòng)矢量的可能性，因此改善了運(yùn)動(dòng)矢量檢測(cè)的精度。
對(duì)于在操作確定單元504中的有效像素確定方法，可以采用以下條件公式(19)和(20)。換句話說(shuō)，通過(guò)找出在操作塊Et中的像素是否滿足這兩個(gè)公式，即該像素是否滿足公式(21)，從而操作確定單元504可以確定該像素是否有效。
Δx1≠0 &&Δx2≠0 &&|Δt/Δx1-Δt/Δx2|＜th3 (19)Δy1≠0 &&Δy2≠0 &&|Δt/Δy1-Δt/Δy2|＜th3 (20)公式(19)&&公式(20) (21)這里，&&表示邏輯乘，并且th3表示預(yù)定的閾值。在每個(gè)公式中，th3≠th2。例如，雖然th3為16，但是它可以小于th2。
換句話說(shuō)，在公式(21)的情況中，對(duì)于水平和垂直運(yùn)動(dòng)進(jìn)行相似性確定。因此操作確定單元504使用公式(18)來(lái)確定在操作塊Et中的像素在水平和運(yùn)動(dòng)方向中是否均具有相似性。如果確定該像素在水平和垂直運(yùn)動(dòng)的至少一個(gè)中沒(méi)有任何相似性，則操作確定單元504將該像素排除在受到梯度操作的像素之外。
接下來(lái)，將參照在圖43中所示的流程圖對(duì)有效像素確定過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。圖43顯示出在圖34中的步驟S403中的有效像素確定過(guò)程的示例。
當(dāng)從選擇器402輸入偏置矢量時(shí)，在步驟S431中，時(shí)基像素差異計(jì)算單元503控制操作確定單元504以將有效像素計(jì)數(shù)器413重置。前進(jìn)至步驟S512，時(shí)基像素差異計(jì)算單元503選擇在塊單元操作塊中的像素，并且前進(jìn)至步驟S513。按照光柵掃描的順序從左上端像素開(kāi)始選擇像素。
在步驟S513中，第二梳狀電極513通過(guò)使用通過(guò)使在通過(guò)前值濾波器102-1輸入的幀t+1和通過(guò)前置濾波器102-2輸入的幀t之間的偏置矢量偏置而計(jì)算出的像素作為參考，從而計(jì)算出在任一單元處理模式中在操作塊中的像素的時(shí)基像素差異Δt。將在幀t+1和幀t之間的所計(jì)算出的時(shí)基像素差異Δt輸出給操作確定單元504，并且該過(guò)程前進(jìn)至步驟S514。
當(dāng)接收到由選擇器402選擇的偏置矢量時(shí)，在步驟S514中，第一空間梯度像素差異計(jì)算單元501通過(guò)使用由將通過(guò)前置濾波器102-1輸入的在幀t+1中的偏置矢量偏置而計(jì)算出的像素作為參考，從而計(jì)算出在任一單元處理模式中在操作塊中的像素的水平像素差異Δx和垂直像素差異Δy。將在幀t+1中的操作塊中所計(jì)算出的水平像素差異Δx和垂直像素差異Δy輸出給操作確定單元504，并且該過(guò)程前進(jìn)至S515。
當(dāng)接收到由選擇器402選擇的偏置矢量時(shí)，在步驟S515中，第二空間梯度像素差異計(jì)算單元502通過(guò)使用由將通過(guò)前置濾波器102-2輸入的在幀t中的偏置矢量偏置而計(jì)算出的像素作為參考，從而計(jì)算出在任一單元處理模式中在操作塊中的像素的水平像素差異Δx和垂直像素差異Δy。將在幀t中的操作塊中所計(jì)算出的水平像素差異Δx和垂直像素差異Δy輸出給操作確定單元504，并且該過(guò)程前進(jìn)至S516。
在步驟S516中，通過(guò)使用從第一空間梯度像素差異計(jì)算單元501輸出的在幀t+1中的操作塊中的水平像素差異Δx和垂直像素差異Δy、從第二空間梯度像素差異計(jì)算單元502輸出的在幀t中的操作塊中的水平像素差異Δx和垂直像素差異Δy以及從時(shí)基像素差異計(jì)算單元503輸出的在幀t+1和幀t之間在操作塊中的時(shí)基像素差異Δt，從而操作確定單元504執(zhí)行在公式(18)中表示的邏輯操作。在步驟S517至S519中，根據(jù)邏輯操作，操作確定單元504確定在操作塊中的像素在運(yùn)動(dòng)矢量檢測(cè)中是否有效(即，在隨后階段中在梯度操作單元404中的算術(shù)運(yùn)算)。
換句話說(shuō)，在步驟S516中，操作確定單元504根據(jù)作為有關(guān)水平方向的條件的公式(15)、作為有關(guān)垂直方向的條件的公式(16)以及作為有關(guān)水平和垂直方向的條件的公式(17)進(jìn)行操作。在步驟S517中，操作確定單元504確定在操作塊中的像素是否滿足作為有關(guān)水平方向的條件的公式(15)。如果確定在操作塊中的像素滿足有關(guān)水平方向的條件，則該過(guò)程前進(jìn)至步驟S520，并且將在有效像素計(jì)數(shù)器413中的有效像素?cái)?shù)量增加1。該過(guò)程前進(jìn)至步驟S521。
如果在步驟S517中確定在操作塊中的像素沒(méi)有滿足有關(guān)水平方向的條件，則操作確定單元504前進(jìn)至步驟S518并且確定在操作塊中的像素是否滿足作為有關(guān)垂直方向的條件的公式(16)。如果確定在操作塊中的像素滿足了有關(guān)垂直方向的條件，則該過(guò)程前進(jìn)至步驟S520，并且在有效像素計(jì)數(shù)器413中的有效像素?cái)?shù)量增加1。該過(guò)程前進(jìn)至步驟S521。
如果在步驟S518中確定在操作塊中的像素沒(méi)有滿足有關(guān)垂直方向的條件，則操作確定單元504前進(jìn)至步驟S519，并且確定在操作塊中的像素是否滿足作為有關(guān)水平和垂直方向(傾斜方向)的條件的公式(17)。如果確定在操作塊中的像素滿足了有關(guān)水平和垂直方向的條件，則該過(guò)程前進(jìn)至步驟S520，并且將在有效像素計(jì)數(shù)器413中的有效像素?cái)?shù)量增加1。該過(guò)程前進(jìn)至步驟S521。如果在步驟S519中確定在操作塊中的像素沒(méi)有滿足有關(guān)水平和垂直方向的條件，則該過(guò)程前進(jìn)至步驟S521，從而跳過(guò)了步驟S520。換句話說(shuō)，確定在操作塊中的像素在水平、垂直以及水平垂直運(yùn)動(dòng)的任一個(gè)中沒(méi)有任何相似性。因此，將該像素認(rèn)為在隨后階段中的梯度操作中是無(wú)效的。
在步驟S520中，時(shí)間像素差異計(jì)算單元503確定在操作塊中的所有像素上的處理是否已經(jīng)完成。如果時(shí)間像素差異計(jì)算單元411已經(jīng)確定在操作塊中的所有像素上的處理還沒(méi)有完成，則該過(guò)程返回到步驟S512，并且選擇下一個(gè)像素重復(fù)隨后的過(guò)程。如果在步驟S520中時(shí)間像素差異計(jì)算單元411已經(jīng)確定在操作塊中的所有像素上的處理已經(jīng)完成，則有效像素確定過(guò)程在返回到在圖34中的步驟S404之前終止。
在上面的過(guò)程中，有效像素計(jì)數(shù)器413具有這些像素的計(jì)數(shù)，這些像素由于滿足所關(guān)心的水平條件、所關(guān)心的垂直條件和水平垂直條件的至少一個(gè)所以被確定在隨后階段中的梯度操作中是有效的。因此，通過(guò)在圖34中的步驟S404中參照有效像素計(jì)數(shù)器413的像素?cái)?shù)量，梯度操作持續(xù)性確定單元414能夠確定是否進(jìn)行塊單元梯度操作或者是否進(jìn)行像素單元梯度操作。
接下來(lái)將參照在圖44中所示的流程圖對(duì)在圖39中的梯度操作單元404的梯度操作過(guò)程進(jìn)行說(shuō)明。圖44顯示出在圖34中的步驟S405中的塊單元梯度操作的示例。
當(dāng)從選擇器402輸入偏置矢量時(shí)，在步驟S551中，時(shí)間像素差異計(jì)算單元S523選擇在塊單元操作塊中的像素，并且前進(jìn)至步驟S552。按照光柵掃描的順序從在操作塊中的左上端像素選擇出像素。
在步驟S522中，時(shí)基像素差異計(jì)算單元523通過(guò)使用由將偏置矢量偏置而計(jì)算出的像素作為參考計(jì)算出在通過(guò)前置濾波器102-1輸入的幀t+1和通過(guò)前置濾波器102-2輸入的幀t之間在任一單元處理模式中在操作塊中的像素中的時(shí)基像素差異Δt，并且將所計(jì)算出的時(shí)基像素差異Δt輸出給操作確定單元524。該過(guò)程前進(jìn)至步驟S553。
當(dāng)接收到由選擇器402選擇的偏置矢量時(shí)，在步驟S553中，第一空間梯度像素差異計(jì)算單元521通過(guò)使用由將偏置矢量偏置而計(jì)算出的像素作為參考計(jì)算出在通過(guò)前置濾波器102-1輸入的幀t+1中在任一單元處理模式中在操作塊中的像素中的水平像素差異Δx和垂直像素差異Δy。該第一空間梯度像素差異計(jì)算單元521將所計(jì)算出的水平像素差異Δx和垂直像素差異Δy輸出給操作確定單元524，并且前進(jìn)至步驟S554。
當(dāng)接收到由選擇器402選擇的偏置矢量時(shí)，在步驟S554中，第二空間梯度像素差異計(jì)算單元522通過(guò)使用通過(guò)前置濾波器102-2輸入的幀t中的像素作為參考計(jì)算出在在任一單元處理模式中在操作塊中的像素中的水平像素差異Δx和垂直像素差異Δy。該第二空間梯度像素差異計(jì)算單元522將所計(jì)算出的水平像素差異Δx和垂直像素差異Δy輸出給操作確定單元524，并且前進(jìn)至步驟S555。
在步驟S555中，通過(guò)使用從第一空間梯度像素差異計(jì)算單元521輸出的在幀t+1中的水平像素差異Δx和垂直像素差異Δy(在操作塊中的像素的)、從第二空間梯度像素差異計(jì)算單元522輸出的在幀t中的水平像素差異Δx和垂直像素差異Δy(在操作塊中的像素的)以及在幀t+1和幀t之間的時(shí)基像素差異Δt(在操作塊中的像素的)，從而操作確定單元524執(zhí)行由公式(18)中表示的邏輯操作。在步驟S556至S558中，根據(jù)上面的邏輯操作，確定在操作塊中的像素在運(yùn)動(dòng)矢量檢測(cè)中是否有效。
換句話說(shuō)，在步驟S555中，操作確定單元524根據(jù)作為有關(guān)水平方向的條件的公式(15)、作為有關(guān)垂直方向的條件的公式(16)以及作為有關(guān)水平和垂直方向的條件的公式(17)進(jìn)行操作。在步驟S556中，操作確定單元524確定在操作塊中的像素是否滿足作為有關(guān)水平方向的條件的公式(15)。如果確定在操作塊中的像素滿足有關(guān)水平方向的條件，則將被確定在運(yùn)動(dòng)矢量檢測(cè)中有效的像素用作要受到梯度操作的像素。將像素的水平像素差異Δx、垂直像素差異Δy和時(shí)基像素差異Δt提供給梯度累積單元424，并且該過(guò)程前進(jìn)至步驟S559。
如果在步驟S556中確定在操作塊中的像素沒(méi)有滿足有關(guān)水平方向的條件，則操作確定單元524前進(jìn)至步驟S557并且確定在操作塊中的像素是否滿足作為有關(guān)垂直方向的條件的公式(16)。如果確定在操作塊中的像素滿足了有關(guān)垂直方向的條件，則確定該像素在運(yùn)動(dòng)矢量檢測(cè)中是有效的，將該像素用作受到梯度操作的像素。將像素的水平像素差異Δx、垂直像素差異Δy和時(shí)基像素差異Δt提供給梯度累積單元424，并且該過(guò)程前進(jìn)至步驟S559。
如果在步驟S557中確定在操作塊中的像素沒(méi)有滿足有關(guān)垂直方向的條件，則操作確定單元504前進(jìn)至步驟S519，并且確定在操作塊中的像素是否滿足作為有關(guān)水平和垂直方向(傾斜方向)的條件的公式(17)。如果確定在操作塊中的像素滿足了有關(guān)水平和垂直方向的條件，則將確定為在運(yùn)動(dòng)矢量檢測(cè)中有效的像素用作受到梯度操作的像素。將像素的水平像素差異Δx、垂直像素差異Δy和時(shí)基像素差異Δt提供給梯度累積單元424，并且該過(guò)程前進(jìn)至步驟S559。如果在步驟S558中確定在操作塊中的像素沒(méi)有滿足有關(guān)水平和垂直方向的條件，則該過(guò)程前進(jìn)至步驟S560，從而跳過(guò)了步驟S520。換句話說(shuō)，確定在操作塊中的像素在水平、垂直以及水平垂直運(yùn)動(dòng)的任一個(gè)中沒(méi)有任何相似性。因此，將該像素認(rèn)為在隨后階段中的梯度操作中是無(wú)效的。
梯度累積單元424將在步驟S559中計(jì)算出的時(shí)基像素差異Δt、由水平垂直像素差異計(jì)算單元423計(jì)算出的水平像素差異Δx和垂直像素差異Δy累積，并且將累積的梯度輸出給矢量計(jì)算單元425。該過(guò)程前進(jìn)至步驟S560。
在步驟S560中，操作確定單元524確定在操作塊中的所有像素上的處理是否已經(jīng)完成。如果操作確定單元524已經(jīng)確定在操作塊中的所有像素上的處理還沒(méi)有完成，則該過(guò)程返回到步驟S551，并且重復(fù)隨后的步驟。另外，如果在步驟S560中確定在操作塊中的所有像素上的處理已經(jīng)完成，則操作確定單元524將偏置矢量輸出給矢量計(jì)算單元425，并且該過(guò)程前進(jìn)至步驟S561。當(dāng)在步驟S561中接收到來(lái)自操作確定單元524的偏置矢量時(shí)，矢量計(jì)算單元425通過(guò)使用來(lái)自梯度累積單元424的梯度累積結(jié)果和在公式(9)中的最小二乘方方法計(jì)算出運(yùn)動(dòng)矢量vn，并且前進(jìn)至步驟S562。矢量計(jì)算單元425通過(guò)將所計(jì)算出的運(yùn)動(dòng)矢量vn加在來(lái)自時(shí)間像素差異計(jì)算單元421的偏置矢量上而計(jì)算出運(yùn)動(dòng)矢量Vn，并且將所計(jì)算出的運(yùn)動(dòng)矢量Vn輸出給矢量評(píng)估單元104。梯度操作過(guò)程終止，并且返回到在圖34中的步驟S406。
如上所述，在其中通過(guò)使用時(shí)基像素差異Δt、水平像素差異Δx和垂直像素差異Δy來(lái)確定有關(guān)在操作塊中的像素的水平方向的梯度相似性、有關(guān)在操作塊中的像素的垂直方向的梯度相似性以及有關(guān)在操作塊中的像素的水平和垂直方向的梯度相似性中的每一個(gè)是否小于預(yù)定閾值的情況中，確定這些梯度相似性中的任一個(gè)小于預(yù)定閾值，即找出在運(yùn)動(dòng)中的更少相似性，將該像素排除到梯度操作之外，因?yàn)檎J(rèn)為該像素在運(yùn)動(dòng)中產(chǎn)生出不規(guī)則性。因此，執(zhí)行了更可靠的梯度操作，從而檢測(cè)出可能的運(yùn)動(dòng)矢量，因此改善了運(yùn)動(dòng)矢量檢測(cè)的精度。
如上所述，通過(guò)對(duì)于梯度操作只使用通過(guò)確定在操作塊中的像素的運(yùn)動(dòng)在梯度操作中是否有效的結(jié)果而確定為有效的像素，并且可以將具有不同運(yùn)動(dòng)的像素排除在要進(jìn)行算術(shù)運(yùn)算的塊之外，從而改善了由梯度操作獲得的運(yùn)動(dòng)矢量可能性，因此改善了運(yùn)動(dòng)矢量檢測(cè)的精度。
另外，當(dāng)在梯度操作中沒(méi)有使用的像素?cái)?shù)量大于預(yù)定閾值時(shí)，適應(yīng)地控制梯度操作過(guò)程。因此，尤其在對(duì)象之間的運(yùn)動(dòng)邊界中，能夠改善運(yùn)動(dòng)矢量檢測(cè)的精度，從而能夠獲得更可能的運(yùn)動(dòng)矢量。
雖然，在前面的說(shuō)明中，有效像素確定單元403和梯度操作單元404的每一個(gè)包括用于確定有效像素的時(shí)基像素差異計(jì)算單元和像素差異確定單元，或者第一空間梯度像素差異計(jì)算單元、第二空間梯度像素差異計(jì)算單元、時(shí)基像素差異計(jì)算單元503和操作確定操作，這些單元可以按照集成的方式設(shè)置。
前面的說(shuō)明書(shū)描述了通過(guò)采用通過(guò)找出在操作塊中的時(shí)基像素差異進(jìn)行確定的情況以及通過(guò)找出在操作塊中的水平、垂直和傾斜像素差異來(lái)進(jìn)行確定的情況來(lái)在有效像素確定單元403中進(jìn)行有效像素確定。但是，可以采用另一種方法來(lái)確定在操作塊中的像素在梯度操作中是否有效。
接下來(lái)將對(duì)矢量分配單元54的細(xì)節(jié)進(jìn)行說(shuō)明。
圖45為一方框圖，顯示出在圖2中所示的矢量分配單元54的結(jié)構(gòu)。在具有在圖45中所示的結(jié)構(gòu)的矢量分配單元54中，通過(guò)使用24P信號(hào)圖像的在時(shí)刻t的幀t和在時(shí)刻t+1的幀t+1，將在幀t中檢測(cè)出的運(yùn)動(dòng)矢量分配給內(nèi)插幀(在分配矢量存儲(chǔ)器55中)以便進(jìn)行內(nèi)插。
在圖38中所示的示例中，將在時(shí)刻t的幀t和在時(shí)刻t+1的幀t+1輸入給像素信息操作單元701、評(píng)估值操作單元702和所關(guān)心像素差異操作單元703。
像素信息操作單元701按照光柵掃描順序從左上端像素開(kāi)始從在檢測(cè)矢量存儲(chǔ)器53中的幀t中的像素中獲取運(yùn)動(dòng)矢量，使每個(gè)所獲取的運(yùn)動(dòng)矢量沿著在下一時(shí)刻的幀t+1的方向延伸，并且計(jì)算出在延伸運(yùn)動(dòng)矢量和內(nèi)插幀之間的相交點(diǎn)。從在計(jì)算出的運(yùn)動(dòng)矢量和內(nèi)插幀之間的相交點(diǎn)，像素信息操作單元701設(shè)定將要被分配運(yùn)動(dòng)矢量的像素(下面也被稱(chēng)為“分配像素”)，并且將分配像素的運(yùn)動(dòng)矢量和信息輸出給矢量選擇單元705。另外，像素信息操作單元701計(jì)算出通過(guò)運(yùn)動(dòng)矢量與分配像素相關(guān)的在幀t中的位置P和在幀t+1中的位置Q，并且將所計(jì)算出的有關(guān)幀t和幀t+1的位置信息輸出給評(píng)估值操作單元702和所關(guān)心的像素差異操作單元703。
當(dāng)從像素信息操作單元701接收分配像素以及有關(guān)通過(guò)運(yùn)動(dòng)矢量相關(guān)聯(lián)的幀t和幀t+1的位置信息時(shí)，評(píng)估值操作單元702設(shè)定在位置P周?chē)腄FD操作范圍(m×n像素)和在位置Q周?chē)腄FD操作范圍(m×n像素)以便進(jìn)行操作以找出在幀t和t+1中在位置P和Q出的評(píng)估值DFD，并且確定每個(gè)DFD操作范圍是否設(shè)置在圖像幀中。如果確定每個(gè)DFD操作范圍設(shè)置在圖像幀中，則評(píng)估值操作單元702通過(guò)使用DFD操作范圍來(lái)進(jìn)行操作以找出運(yùn)動(dòng)矢量的分配像素的評(píng)估值DFD，并且將所獲得的評(píng)估值DFD輸出給矢量評(píng)估單元704。
當(dāng)從像素信息操作單元701接收分配像素以及有關(guān)通過(guò)運(yùn)動(dòng)矢量相關(guān)聯(lián)的幀t和幀t+1的位置信息時(shí)，所關(guān)心的像素差異操作單元703使用在幀t中的位置P和在幀t+1中的位置Q以找出用于分配像素的亮度差的絕對(duì)值，并且將所獲得的亮度差的絕對(duì)值輸出給矢量評(píng)估單元704。
矢量評(píng)估單元704包括像素差異確定單元711和評(píng)估值確定單元712。像素差異確定單元711確定從所關(guān)心像素差異操作單元703輸入的亮度差(用于分配像素的)的絕對(duì)值是否小于預(yù)定閾值。如果像素差異確定單元711已經(jīng)確定從所關(guān)心像素差異操作單元703輸入的亮度差(用于分配像素的)的絕對(duì)值小于預(yù)定閾值，則評(píng)估值確定單元712確定從評(píng)估值操作單元702輸入的評(píng)估值DFD(分配像素的)是否小于在矢量選擇單元705中的DFD表格中的最小評(píng)估值。如果確定從評(píng)估值操作單元702輸入的評(píng)估值DFD(分配像素的)小于在DFD表中的最小評(píng)估值，則評(píng)估值確定單元712確定與分配像素對(duì)應(yīng)的運(yùn)動(dòng)矢量非常可靠，并且將分配像素的評(píng)估值DFD輸出給矢量選擇單元705。
矢量選擇單元705具有DFD表，它存儲(chǔ)有在內(nèi)插幀中的像素的最小評(píng)估值。對(duì)于在內(nèi)插幀中的每個(gè)像素，將在分配零矢量時(shí)獲得的評(píng)估值DFD提前作為每個(gè)像素的最小評(píng)估值存儲(chǔ)在DFD表中的界面中。當(dāng)從矢量評(píng)估單元704接收分配像素的評(píng)估值DFD時(shí)，矢量選擇單元705根據(jù)分配像素的位置信息將分配標(biāo)志存儲(chǔ)器56的標(biāo)志重寫(xiě)為1(真)，并且通過(guò)分配像素的評(píng)估值DFD重寫(xiě)在DFD表中的分配像素的最小評(píng)估值。另外，根據(jù)來(lái)自像素信息操作單元701的分配像素的位置信息，矢量選擇單元705將來(lái)自像素信息操作單元701的運(yùn)動(dòng)矢量分配給在分配矢量存儲(chǔ)器55中的分配像素。
接下來(lái)將對(duì)低于像素尺寸的運(yùn)動(dòng)矢量精度進(jìn)行說(shuō)明。在由公式(1)表示的DFD評(píng)估操作中，通過(guò)使在幀t中的像素位置p偏移矢量v而獲得的在幀t+1中的相位p+v實(shí)際上通常不會(huì)與在24P信號(hào)的幀t+1中的像素位置一致，并且沒(méi)有限定在這種情況中的亮度。因此，為了對(duì)具有低于像素尺寸的精度的運(yùn)動(dòng)矢量進(jìn)行評(píng)估值DFD，必須通過(guò)一些方法產(chǎn)生出低于像素尺寸的相位中的亮度。
在與之對(duì)應(yīng)的方法中，具有與通過(guò)使在幀t中的像素位置p偏移了矢量v而獲得的在幀t+1中的相位p+v最接近的相位的像素的亮度按照未改變的形式使用。但是，在該方法中，使低于像素尺寸的評(píng)估運(yùn)動(dòng)矢量的分量四舍五入。因此，可以認(rèn)為拋棄了低于像素尺寸的評(píng)估運(yùn)動(dòng)矢量的分量。因此，所獲得的評(píng)估值DFD具有較低的可靠性。
因此，本發(fā)明根據(jù)四個(gè)周邊像素的亮度使用四點(diǎn)差值方法。圖46為在本發(fā)明中的四點(diǎn)差值方法的原理的示意圖。在圖46中，箭頭X表示幀t+1的水平方向，并且箭頭Y表示幀t+1的垂直方向。在幀t+1中，白色圓圈表示在幀t+1中的像素位置，并且黑色圓圈表示低于像素尺寸的位置。在窗口E中放大顯示出在幀t+1中的左上端黑色點(diǎn)p+v和四個(gè)周邊像素。在窗口E中，在白色圓圈中的字母數(shù)字符號(hào)表示四個(gè)周邊像素的亮度。
假設(shè)在幀t+1中的左上端黑色點(diǎn)p+v為通過(guò)使在幀t中的像素位置偏移了矢量v而獲得的像素位置的相位p+v，則通過(guò)使用低于像素尺寸的水平分量α、低于像素尺寸的垂直分量β以及在相位p+v中的四個(gè)周邊像素的亮度L0至L4通過(guò)到四個(gè)周邊像素的距離的反比總和算出相位p+v的亮度Ft+1(p+v)。換句話說(shuō)，亮度Ft+1(p+v)由下面的公式(22)表示。
Ft+1(p+v)＝(1-α)(1-β)L0+α(1-β)L1+(1-α)βL2+αβL3 (22)如上所述，通過(guò)使用在四點(diǎn)差值法中獲得的亮度Ft+1(p+v)進(jìn)行DFD評(píng)估的算術(shù)運(yùn)算，從而能夠防止評(píng)估值DFD的可靠性降低，并且不會(huì)增加硬件實(shí)施成本。下面的說(shuō)明涉及這樣一個(gè)示例，其中將四點(diǎn)差值法應(yīng)用于對(duì)這些數(shù)值例如評(píng)估值DFD和在矢量分配中的亮度差的絕對(duì)值的算術(shù)運(yùn)算上。顯然，在用于上述初始矢量選擇過(guò)程和矢量檢測(cè)過(guò)程的操作以及用于在矢量評(píng)估的情況中的評(píng)估值DFD的操作例如分配補(bǔ)償過(guò)程(下面所述的)中，采用四點(diǎn)內(nèi)插法。
接下來(lái)，將對(duì)矢量分配過(guò)程的原理進(jìn)行說(shuō)明。例如，當(dāng)假設(shè)對(duì)象以速度v在24P信號(hào)圖像上運(yùn)動(dòng)并且假設(shè)在兩個(gè)任意幀之間對(duì)于該對(duì)象的運(yùn)動(dòng)保持勻速假設(shè)，則可以插入新的幀。在這種情況中，當(dāng)運(yùn)動(dòng)矢量v從24P信號(hào)對(duì)象延伸時(shí)，在運(yùn)動(dòng)矢量v和內(nèi)插幀之間的相交點(diǎn)在相同對(duì)象中并且具有相同的速度v。
由此，通過(guò)將由檢測(cè)矢量存儲(chǔ)器53檢測(cè)到的在24P信號(hào)幀(與內(nèi)插幀相比在下面也被稱(chēng)為“原始幀”)的運(yùn)動(dòng)矢量分配給在運(yùn)動(dòng)矢量和所要內(nèi)插的60P信號(hào)內(nèi)插幀之間的相交點(diǎn)，從而能夠得出在內(nèi)插幀中的每個(gè)像素的運(yùn)動(dòng)。相反，從分配運(yùn)動(dòng)矢量中，能夠得出在內(nèi)插幀中得像素在24P信號(hào)幀中已經(jīng)從哪個(gè)位置進(jìn)行運(yùn)動(dòng)。
圖47按照一維的形式顯示出在24P信號(hào)原始幀中檢測(cè)出的運(yùn)動(dòng)矢量和在內(nèi)插幀中的像素的示例。在圖47中例如將兩個(gè)內(nèi)插幀即在時(shí)刻t+0.4的內(nèi)插幀F(xiàn)1和在時(shí)刻t+0.8的內(nèi)插幀F(xiàn)2插入在兩個(gè)幀即在時(shí)刻t的24P信號(hào)幀t和在時(shí)刻t+1的24P信號(hào)幀t+1之間。如上所述，根據(jù)60P信號(hào)幀設(shè)置在其在24P信號(hào)上的時(shí)相為0.0、0.4、0.8、1.2和.16的位置處這個(gè)事實(shí)在信號(hào)處理設(shè)備1中提前設(shè)定這些內(nèi)插幀的位置。
在每個(gè)幀中的圓圈表示像素。在前面階段中由矢量檢測(cè)單元52在幀t中檢測(cè)出的運(yùn)動(dòng)矢量V1、V2和V3沿著幀t+1的方向延伸。當(dāng)將這些運(yùn)動(dòng)矢量分配給在內(nèi)插幀F(xiàn)1和F2中的像素時(shí)，在每個(gè)內(nèi)插幀中的每個(gè)像素附近通過(guò)的運(yùn)動(dòng)矢量用作分配給像素的候選矢量(在下面也被稱(chēng)為“分配候選矢量”)。
因此，從在幀t中的左端像素朝著從在幀t+1中的左邊開(kāi)始第四和第五像素附近引導(dǎo)的運(yùn)動(dòng)矢量v1在從在內(nèi)插幀F(xiàn)1中的左邊開(kāi)始第二和第三像素之間通過(guò)，并且在從在內(nèi)插幀F(xiàn)2中的左邊開(kāi)始第三和第四像素之間通過(guò)。因此，運(yùn)動(dòng)矢量v1用作要分配給包括在運(yùn)動(dòng)矢量v1與內(nèi)插幀F(xiàn)1和F2相交的點(diǎn)附近N1中的像素(從在內(nèi)插幀F(xiàn)1中的左邊開(kāi)始第二和第三像素和從在內(nèi)插幀F(xiàn)2中的左邊開(kāi)始第三和第四像素)的分配候選矢量。
從在幀t中的左邊起第三像素朝著第二和第三像素附近引導(dǎo)的運(yùn)動(dòng)矢量在從內(nèi)插幀F(xiàn)1左邊開(kāi)始第二和第三像素之間通過(guò)，并且在從內(nèi)插幀F(xiàn)2的左邊開(kāi)始第二和第三像素之間通過(guò)。因此，矢量V2用作要分配給包括在運(yùn)動(dòng)矢量v2與內(nèi)插幀F(xiàn)1和F2相交的點(diǎn)附近N2中的像素(從在內(nèi)插幀F(xiàn)1中的左邊開(kāi)始第二和第三像素和從在內(nèi)插幀F(xiàn)2中的左邊開(kāi)始第三和第四像素)的分配候選矢量。
從在幀t中左邊第五像素朝著在幀t+1中左邊第四和第五像素附近引導(dǎo)的運(yùn)動(dòng)矢量v3在內(nèi)插幀F(xiàn)1中左邊第四和第五像素之間通過(guò)，并且在內(nèi)插幀F(xiàn)中左邊第四和第五像素之間通過(guò)。因此，運(yùn)動(dòng)矢量V3用作要分配給包括在運(yùn)動(dòng)矢量V3與內(nèi)插幀F(xiàn)1和F2相交的相鄰部分N3中的像素(在內(nèi)插幀左邊第四和第五像素以及在內(nèi)插幀F(xiàn)2中的左邊第四和第五像素)的分配候選矢量。
換句話說(shuō)，用于在內(nèi)插幀F(xiàn)2中左邊第二像素的分配候選矢量為矢量V2，并且用于在內(nèi)插幀F(xiàn)1中的左邊第二和第三像素以及在內(nèi)插幀F(xiàn)2中左邊第三像素的分配候選矢量為運(yùn)動(dòng)矢量V1和V2。用于在內(nèi)插幀F(xiàn)2中的左邊第四像素的分配候選矢量為運(yùn)動(dòng)矢量v1和v3，并且用于在內(nèi)插幀F(xiàn)1中的左邊第四和第五像素以及在內(nèi)插幀F(xiàn)2中的左邊第五像素的分配候選矢量為運(yùn)動(dòng)矢量V3。
如上所述，從在原始幀中檢測(cè)出的運(yùn)動(dòng)矢量中，找出要分配給在內(nèi)插幀中的像素的分配候選矢量。對(duì)于在內(nèi)插幀F(xiàn)1和F2的左端像素和右端像素而言，在相鄰部分中通過(guò)的矢量沒(méi)有顯示出。換句話說(shuō)，在內(nèi)插幀F(xiàn)1和F2中的左端像素和右端像素沒(méi)有任何所要分配的分配候選矢量。因此，對(duì)于這些像素而言，在后面所述的隨后階段中通過(guò)分配補(bǔ)償單元57執(zhí)行分配補(bǔ)償過(guò)程。
下面將參照?qǐng)D48對(duì)在原始幀中檢測(cè)出的運(yùn)動(dòng)矢量以及在60信號(hào)內(nèi)插幀中的像素進(jìn)行說(shuō)明。在圖41中所示的示例中，箭頭T表示從在圖41中設(shè)置在前景左側(cè)上的在時(shí)刻t的幀t朝著在圖41中設(shè)置在背景右側(cè)上的在時(shí)刻t+1的幀t+1的時(shí)間流逝方向。內(nèi)插幀F(xiàn)1設(shè)置在位于時(shí)刻t和時(shí)刻t+1之間的時(shí)刻t+post處。
在圖48中所示的情況中，在幀t中的像素(xa，ya)處檢測(cè)出的運(yùn)動(dòng)矢量va(Xva，Yva)沿著幀t+1的方向延伸，并且計(jì)算出在延伸運(yùn)動(dòng)矢量和內(nèi)插幀F(xiàn)1之間的相交點(diǎn)(Xia，Yia)。相交點(diǎn)為如此獲得的點(diǎn)，從而使在24P信號(hào)幀t中在運(yùn)動(dòng)矢量va的端點(diǎn)處的像素運(yùn)動(dòng)。因此，相交點(diǎn)由下面公式(23)和(24)表示。
Xia＝xa+postxva(23)Yia＝y(tǒng)a+postyva(24)如上所述，當(dāng)運(yùn)動(dòng)矢量va具有低于像素尺寸的精度時(shí)，運(yùn)動(dòng)矢量va的相交點(diǎn)不會(huì)總是與在內(nèi)插幀F(xiàn)1中的像素位置一致。當(dāng)這兩者沒(méi)有彼此一致時(shí)，如圖48所示，將運(yùn)動(dòng)矢量va分配給在內(nèi)插幀F(xiàn)1中的相交點(diǎn)附近的四個(gè)像素G1至G4。換句話說(shuō)，運(yùn)動(dòng)矢量va向在附近的像素G1至G4偏移(平移)，并且用作要分配給每個(gè)像素的分配候選矢量。之后，執(zhí)行分配補(bǔ)償過(guò)程。
在這種情況中，可以使用一個(gè)運(yùn)動(dòng)矢量作為要分配給在附近的四個(gè)像素的候選矢量。因此，根據(jù)像素將多個(gè)運(yùn)動(dòng)矢量用作分配候選矢量。在該情況中，通過(guò)對(duì)于在內(nèi)插幀中的像素和在通過(guò)運(yùn)動(dòng)矢量關(guān)聯(lián)的原始幀中的位置之間的每個(gè)運(yùn)動(dòng)矢量計(jì)算出在原始幀中的相交點(diǎn)，并且使用該相交點(diǎn)，從而矢量分配單元54最終確定出要分配給在內(nèi)插幀中的像素的運(yùn)動(dòng)矢量。
下面將參照?qǐng)D49對(duì)由矢量分配單元54進(jìn)行的運(yùn)動(dòng)矢量評(píng)估進(jìn)行說(shuō)明。圖49以從底部開(kāi)始的一維形式顯示出在圖41中所示的在時(shí)刻t的幀t、在時(shí)刻t+post的內(nèi)插幀F(xiàn)1和在時(shí)刻t+1的幀t+1。
在圖49所示的示例中，運(yùn)動(dòng)矢量sva如此獲得，從而在幀t中的像素(xa，ya)中檢測(cè)出的運(yùn)動(dòng)矢量va作為用于相鄰像素G4的分配候選矢量偏移(平移)到像素G4。在圖42中，具有幀t和幀t+1的運(yùn)動(dòng)矢量sva的相交點(diǎn)(如此獲得，從而在幀t中在像素(xa，ya)中檢測(cè)出的運(yùn)動(dòng)矢量va偏移)分別由參考字母P和Q表示。
在第一評(píng)估中，矢量分配單元54首先找出在點(diǎn)P和Q周?chē)腄FD操作范圍，并且確定所獲得的DFD操作范圍是否超過(guò)了圖像幀。因此，如果在點(diǎn)P和Q周?chē)乃@得的DFD操作范圍超過(guò)圖像幀，則將運(yùn)動(dòng)矢量sva排除到候選矢量之外。
另外，在點(diǎn)P和Q屬于不同對(duì)象時(shí)，點(diǎn)P的亮度Ft(P)和點(diǎn)Q的亮度Ft+1(Q)具有較大的差異。因此，在運(yùn)動(dòng)矢量sva的第二評(píng)估中，矢量分配單元54通過(guò)使用點(diǎn)P和Q找出在像素G4處的亮度差的絕對(duì)值dp，并且確定亮度差的絕對(duì)值dp是否大于預(yù)定值。如果確定亮度差的絕對(duì)值dp大于預(yù)定值，則確定在像素G4處的運(yùn)動(dòng)矢量sva具有較低的可靠性，并且將該運(yùn)動(dòng)矢量sva排除到候選矢量之外。亮度差的絕對(duì)值dp由下面的公式(25)表示。
dp＝|Ft(P)-Ft+1(Q)|(25)在第三評(píng)估中，矢量分配單元54根據(jù)表示在點(diǎn)P和Q周?chē)腄FD操作范圍上的相關(guān)值的差值的絕對(duì)值進(jìn)行評(píng)估。換句話說(shuō)，矢量分配單元54通過(guò)使用在像素P和Q周?chē)腄FD操作范圍找出在像素G4處的運(yùn)動(dòng)矢量sva的評(píng)估值DFD，并且確定所獲得的評(píng)估值DFD是否小于在評(píng)估值DFD表中的最小評(píng)估值。矢量分配單元54將在由上面的評(píng)估檢測(cè)出的運(yùn)動(dòng)矢量分配給像素G4，其評(píng)估值DFD在所獲得的評(píng)估值DFD之中是最小的。
如上所述，通過(guò)不僅使用受到分配的分配像素的評(píng)估值DFD而且還使用在分配像素處的亮度差的絕對(duì)值來(lái)評(píng)估在內(nèi)插幀中的像素處的作為分配候選矢量的運(yùn)動(dòng)矢量。因此，與只使用評(píng)估值DFD的現(xiàn)有技術(shù)情況相比，能夠?qū)⒖赡艿倪\(yùn)動(dòng)矢量分配給分配矢量。這導(dǎo)致矢量分配的精度的改善。
如上所述，為了評(píng)估在內(nèi)插幀中的像素處評(píng)估作為分配候選矢量的運(yùn)動(dòng)矢量，采用通過(guò)運(yùn)動(dòng)矢量與之相關(guān)的在原始幀中的位置，并且將在內(nèi)插幀中的像素用作參考。但是，當(dāng)?shù)玫搅炼炔畹慕^對(duì)值dp和評(píng)估值DFD時(shí)，在運(yùn)動(dòng)矢量和原始幀之間的相交點(diǎn)可能會(huì)與在原始幀中的像素位置不一致，因?yàn)樽鳛榉峙浜蜻x矢量的運(yùn)動(dòng)矢量以像素位置作為參考延伸。因此，如果該狀態(tài)保持不變，則不可能找到像素值。在該情況中，執(zhí)行參照?qǐng)D46所述的四點(diǎn)內(nèi)插過(guò)程。
圖50顯示出在矢量分配過(guò)程中的四點(diǎn)內(nèi)插的示例。在圖50中，與在圖48和49中所示的那些對(duì)應(yīng)的部分由相應(yīng)的參考符號(hào)表示，并且省略了相應(yīng)部分的重復(fù)說(shuō)明。
在圖50中所示的示例中，運(yùn)動(dòng)矢量sva延伸，并且將在內(nèi)插幀F(xiàn)1中的像素位置G4作為參考。因此，在運(yùn)動(dòng)矢量sva和幀t之間的相交點(diǎn)P沒(méi)有與在幀t中的像素位置(白圓圈)一致，并且另外，在運(yùn)動(dòng)矢量sva和幀t+1之間的相交點(diǎn)Q沒(méi)有與在幀t+1中的像素位置(白圓圈)一致。因此，在幀t和幀t+1中，通過(guò)使用在相交點(diǎn)P和Q周?chē)南噜彶糠值拿恳粋€(gè)中的四個(gè)像素(在幀t和幀t+1中的白圓圈)，進(jìn)行上述四點(diǎn)內(nèi)插操作以找出在相交點(diǎn)P和Q處的像素值。
由于如上所述在本發(fā)明的矢量分配過(guò)程中，將通過(guò)四點(diǎn)內(nèi)插過(guò)程獲得的在相交點(diǎn)P和Q處的像素值用來(lái)計(jì)算亮度差的絕對(duì)值dp和評(píng)估值DFD，與在將低于像素尺寸的分量四舍五入的現(xiàn)有技術(shù)方法中相比，能夠以更高的精度得到亮度差的絕對(duì)值和評(píng)估值DFD。
接下來(lái)，將參照在圖51中的流程圖對(duì)矢量分配過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。將作為24P信號(hào)原始幀的在時(shí)刻t的幀t和在時(shí)刻t+1的幀t+1輸入給像素信息操作單元701、評(píng)估值操作單元702和所關(guān)心像素差異操作單元703。
當(dāng)接收到原始幀時(shí)，在步驟S701中，像素信息操作單元701控制矢量選擇單元705將在分配標(biāo)志存儲(chǔ)器56中的分配標(biāo)志初始化為零(假)，并且前進(jìn)至步驟S702。在步驟S702中，像素信息操作單元701控制矢量選擇單元705將在分配矢量存儲(chǔ)器55中的分配標(biāo)志初始化為零矢量，并且前進(jìn)至步驟S703。因此，將零矢量分配給沒(méi)有分配任何運(yùn)動(dòng)矢量的像素。
在步驟S703中，像素信息操作單元701控制評(píng)估值操作單元702通過(guò)使用零矢量計(jì)算在內(nèi)插幀中的所有像素的每一個(gè)的評(píng)估值DFD0，并且控制矢量選擇單元705在DFD表中存儲(chǔ)作為在內(nèi)插幀中的每個(gè)像素的最小評(píng)估值的針對(duì)零矢量所計(jì)算出的評(píng)估值DFD0。該過(guò)程前進(jìn)至步驟S704。換句話說(shuō)，在步驟S703中，評(píng)估值操作單元702使用零矢量來(lái)計(jì)算在內(nèi)插幀中的所有像素的評(píng)估值DFD0，并且通過(guò)矢量評(píng)估單元704將所計(jì)算出的評(píng)估值DFD0輸出給矢量選擇單元705。矢量選擇單元705將通過(guò)矢量評(píng)估單元704輸入的評(píng)估值DFD0作為相應(yīng)像素的最小評(píng)估值存儲(chǔ)在DFD表中。
在步驟S704中，像素信息操作單元701從在檢測(cè)矢量存儲(chǔ)器53中的原始幀中選擇一像素，并且前進(jìn)至步驟S705。在該情況中，按照光柵掃描順序從左端像素開(kāi)始選擇像素。
在步驟S705中，像素信息操作單元701進(jìn)行像素位置操作過(guò)程，并且前進(jìn)至步驟S706。下面參照?qǐng)D52對(duì)像素位置操作過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。在該像素位置操作過(guò)程中，計(jì)算出在內(nèi)插幀中其上分配有在步驟704中所選的像素處檢測(cè)出運(yùn)動(dòng)矢量的分配像素，并且計(jì)算出在原始幀中通過(guò)運(yùn)動(dòng)矢量相關(guān)的像素位置，并且將所計(jì)算出的像素用作參考。
在步驟S706中，像素信息操作單元701選擇所計(jì)算出的分配像素，并且在前進(jìn)至步驟S707之前將所選的分配像素及其運(yùn)動(dòng)矢量輸出給矢量選擇單元705。同時(shí)，像素信息操作單元701將在原始幀中通過(guò)運(yùn)動(dòng)矢量相關(guān)的像素位置的信息輸出給評(píng)估值操作單元702和所關(guān)心像素差異操作單元703。在步驟S706中，當(dāng)存在多個(gè)分配像素時(shí)，像素信息操作單元701從左端像素選擇像素。
在步驟S707中，像素信息操作單元701執(zhí)行分配矢量評(píng)估過(guò)程并且前進(jìn)至步驟S708。下面將參照?qǐng)D53對(duì)分配矢量評(píng)估過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。在分配矢量評(píng)估過(guò)程中，得出運(yùn)動(dòng)矢量的評(píng)估值DFD和在分配像素處的亮度差的絕對(duì)值，并且確定在分配像素處的運(yùn)動(dòng)矢量的可靠性。在確定之后，通過(guò)被確定為非?？煽康倪\(yùn)動(dòng)矢量將在分配矢量存儲(chǔ)器中的運(yùn)動(dòng)矢量重寫(xiě)。
在步驟S708中，像素信息操作單元701確定在所有分配像素上的處理是否已經(jīng)完成。如果確定在所有分配像素上的處理還沒(méi)有完成，則像素信息操作單元701返回到步驟S706，選擇下一個(gè)分配像素，并且重復(fù)隨后的步驟。
如果在步驟S708中確定在所有分配像素上的處理已經(jīng)完成，則在步驟S709中，像素信息操作單元701確定在檢測(cè)矢量存儲(chǔ)器53中的原始幀中的所有像素上的處理是否已經(jīng)完成。如果在步驟S709中確定在檢測(cè)矢量存儲(chǔ)器53中的原始幀中的所有像素上的處理還沒(méi)有完成，則像素信息操作單元701返回到步驟S704，并且選擇下一個(gè)像素以重復(fù)隨后的步驟。如果在步驟S709中確定在檢測(cè)矢量存儲(chǔ)器53中的原始幀中的所有像素上的處理已經(jīng)完成，則像素信息操作單元701完成矢量分配過(guò)程。
下面將參照在圖52中所示的流程圖對(duì)像素位置操作過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。圖52顯示出在圖51中的步驟S705中的像素位置操作過(guò)程的示例。
在步驟S721中，像素信息操作單元701從檢測(cè)矢量存儲(chǔ)器53中獲取在步驟S704中所選的像素處檢測(cè)出的運(yùn)動(dòng)矢量，然后前進(jìn)至步驟S722。由于所選像素的運(yùn)動(dòng)矢量為零矢量，則將零矢量作為初始值提前存儲(chǔ)在分配矢量存儲(chǔ)器55中，將隨后的步驟S772至S724以及圖51的步驟S706至S708跳過(guò)，并且該過(guò)程前進(jìn)至步驟S709。
在步驟S722中，像素信息操作單元701計(jì)算出在所獲取的運(yùn)動(dòng)矢量和內(nèi)插幀之間的相交點(diǎn)。具體地說(shuō)，像素信息操作單元701使所獲取的運(yùn)動(dòng)矢量沿著下一幀t+1的方向延伸，計(jì)算出在延伸運(yùn)動(dòng)矢量和內(nèi)插幀之間的相交點(diǎn)，并且前進(jìn)至步驟S723。
在步驟S723中，像素信息操作單元701從根據(jù)運(yùn)動(dòng)矢量和內(nèi)插幀計(jì)算出的相交點(diǎn)中設(shè)定分配像素，然后前進(jìn)至步驟S724。當(dāng)相交點(diǎn)與在內(nèi)插幀中的像素位置一致時(shí)，像素信息操作單元701將相交點(diǎn)設(shè)定為分配像素。可選的是，當(dāng)相交點(diǎn)與在內(nèi)插幀中的像素位置不一致時(shí)，如上所述像素信息操作單元701將在內(nèi)插幀中的相交點(diǎn)附近的四個(gè)像素設(shè)定為分配像素。
在步驟S724中，通過(guò)使用每個(gè)分配像素作為參考，像素信息操作單元701計(jì)算出在原始幀中通過(guò)所獲取的運(yùn)動(dòng)矢量相關(guān)的像素位置。評(píng)估值操作單元702和所關(guān)心的像素差異操作單元703需要該像素位置來(lái)得出評(píng)估值DFD和亮度差的絕對(duì)值。具體地說(shuō)，在步驟S724中，像素信息操作單元701使所獲取的運(yùn)動(dòng)矢量向所設(shè)定的分配像素偏移(平移)，找出在偏移運(yùn)動(dòng)矢量和在原始幀中的位置之間的相交點(diǎn)的位置，并且完成像素位置操作過(guò)程。該過(guò)程返回到在圖50中的步驟S706。
接下來(lái)將參照在圖53中所示的流程圖對(duì)分配矢量評(píng)估過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。圖53顯示出在圖51中的步驟S707中的分配矢量評(píng)估過(guò)程的示例。
在圖51中的步驟S706中，通過(guò)使用所選的分配像素作為參考，像素信息操作單元701得出在原始幀中通過(guò)其運(yùn)動(dòng)矢量相關(guān)的像素位置。將在原始幀中的位置信息輸入給評(píng)估值操作單元702和所關(guān)心像素差異操作單元703。
當(dāng)從像素信息操作單元701接收到在原始幀中的位置信息時(shí)，為了得到在分配像素處的運(yùn)動(dòng)矢量的評(píng)估值DFD，評(píng)估值操作單元702找出在幀t和幀t+1周?chē)腄FD操作范圍(m×n像素)，然后前進(jìn)至步驟S742。在步驟S742中，評(píng)估值操作單元702確定所獲得的DFD操作范圍是否在圖像幀中。如果在步驟S742中確定DFD操作范圍超出了圖像幀，則評(píng)估值操作單元702確定運(yùn)動(dòng)矢量沒(méi)有用作要分配給分配像素的分配候選像素。因此，跳過(guò)步驟S743至S749，并且分配矢量評(píng)估過(guò)程在返回到在圖51中的步驟S708之前完成。
如果在步驟S742中確定每個(gè)所獲得的DFD操作范圍在圖像幀中，則評(píng)估值操作單元702前進(jìn)至步驟S743。在步驟S743中，通過(guò)使用被確定處在圖像幀中的DFD操作范圍，評(píng)估值操作單元702進(jìn)行操作以得出分配像素的評(píng)估值DFD，并且在前進(jìn)至步驟S744之前將所獲得的評(píng)估值DFD輸出給評(píng)估值確定單元712。如果這時(shí)在原始幀中的位置為除了像素位置之外的位置，則通過(guò)采用上述四點(diǎn)內(nèi)插過(guò)程來(lái)得出在原始幀中的相交點(diǎn)的亮度，從而獲得分配像素的評(píng)估值DFD。
當(dāng)從像素信息操作單元701接收到在原始幀中的位置時(shí)，在步驟S744中，所關(guān)心像素差異操作單元703得出在分配像素處的亮度差的絕對(duì)值dp，并且將所獲得的亮度差的絕對(duì)值dp輸出給像素差異確定單元711。該過(guò)程前進(jìn)至步驟S745。還有在該情況中，當(dāng)在原始幀中的位置為除了像素位置之外的位置時(shí)，通過(guò)采用上述四點(diǎn)內(nèi)插過(guò)程來(lái)得出在原始幀中的相交點(diǎn)的亮度，所關(guān)心的像素差異操作單元703計(jì)算出在分配像素處的亮度差的絕對(duì)值dp。
如果在步驟S745中像素差異確定單元711確定來(lái)自所關(guān)心像素差異操作單元703的分配像素的亮度差的絕對(duì)值dp是否等于或小于預(yù)定閾值。如果確定分配像素的亮度差的絕對(duì)值dp等于或小于預(yù)定閾值，則像素差異確定單元711確定在幀t和幀t+1中的相交點(diǎn)容易分別屬于不同對(duì)象，即像素差異確定單元711確定運(yùn)動(dòng)矢量在分配像素處具有較低的可靠性，并且不會(huì)用作用于分配給分配像素的分配候選矢量。因此，將步驟S746至S749跳過(guò)，并且分配矢量評(píng)估過(guò)程在返回到在圖51中的步驟S708之前完成。
如果在步驟S745中像素差異確定單元711確定亮度差的絕對(duì)值dp小于預(yù)定閾值，則該過(guò)程前進(jìn)至步驟S746。在步驟S746中，通過(guò)參考在矢量選擇單元705中的DFD表，評(píng)估值確定單元712確定來(lái)自評(píng)估值操作單元702的評(píng)估值DFD是否小于存儲(chǔ)在DFD表中的分配像素的最小評(píng)估值(用于零矢量的評(píng)估值DFD0)。如果確定來(lái)自評(píng)估值操作單元702的分配像素的評(píng)估值DFD等于或大于存儲(chǔ)在DFD表中的分配像素的最小評(píng)估值，則評(píng)估值確定單元712確定運(yùn)動(dòng)矢量在分配像素處具有較低的可靠性。因此，將步驟S747至S749跳過(guò)，并且分配矢量評(píng)估過(guò)程在返回到在圖51中的步驟S708之前完成。
可選的是，如果在步驟S746中確定來(lái)自評(píng)估值操作單元702的分配像素的評(píng)估值DFD小于存儲(chǔ)在DFD表中的分配像素的最小評(píng)估值，則評(píng)估值確定單元712根據(jù)該評(píng)估值DFD確定在已經(jīng)經(jīng)過(guò)比較的運(yùn)動(dòng)矢量之中該運(yùn)動(dòng)矢量具有最高的可靠性，并且將被確定具有最高可靠性的分配像素的評(píng)估值DFD輸出給矢量選擇單元705。該過(guò)程前進(jìn)至步驟S747。
當(dāng)接收到來(lái)自評(píng)估值確定單元712的分配像素的評(píng)估值DFD，在步驟S747中，矢量選擇單元705將在分配標(biāo)志存儲(chǔ)器56中的用于分配像素的分配標(biāo)志重寫(xiě)為1(真)，并且前進(jìn)至步驟S748。在步驟S748中，矢量選擇單元705將與在DFD表中的分配像素對(duì)應(yīng)的最小評(píng)估值重寫(xiě)為被確定具有最高可靠性的評(píng)估值DFD，然后前進(jìn)至步驟S749。
在步驟S706中從像素信息操作單元701將所選的分配像素及其運(yùn)動(dòng)矢量輸入給矢量選擇單元705。因此，在步驟S749中，矢量選擇單元705用與被確定具有最高可靠性的評(píng)估值DFD對(duì)應(yīng)的運(yùn)動(dòng)矢量將在分配矢量存儲(chǔ)器55中分配給分配像素的運(yùn)動(dòng)矢量重寫(xiě)，并且在返回到在圖51中的步驟S708之前完成該分配矢量評(píng)估過(guò)程。
如上所述，當(dāng)選擇將要分配給在內(nèi)插幀中的分配像素的運(yùn)動(dòng)矢量時(shí)，不僅是評(píng)估值DFD，而且還有根據(jù)在通過(guò)運(yùn)動(dòng)矢量相關(guān)的原始幀中的位置獲得的分配像素的亮度差的絕對(duì)值都要單獨(dú)處理和評(píng)估。因此，與只使用評(píng)估值DFD的現(xiàn)有技術(shù)情況相比，從這些分配候選矢量之中，選擇最可能的運(yùn)動(dòng)矢量，并且將它分配給分配像素。這改善了矢量分配精度，因此抑制了在隨后階段中在圖像內(nèi)插過(guò)程中產(chǎn)生出的圖像不連續(xù)性等，從而能夠改善圖像質(zhì)量。
另外，由于在得出評(píng)估值和亮度差的絕對(duì)值的情況中在需要在除了像素位置之外的位置處的像素值時(shí)通過(guò)線性?xún)?nèi)插根據(jù)離在該位置附近中的四個(gè)像素的距離計(jì)算出像素值，所以能夠?qū)υ撐恢眠M(jìn)行精確的處理。而且，與將像素位置之外的位置的分量四舍五入的現(xiàn)有技術(shù)方法相比，能夠更精確地得到亮度差的絕對(duì)值dp和評(píng)估值DFD。這使之能夠?qū)⒃诜峙浜蜻x矢量之中的最可能的運(yùn)動(dòng)矢量分配給所關(guān)心的像素。換句話說(shuō)，改善了矢量分配過(guò)程的精度。
另外，在將基于零矢量的評(píng)估值DFD作為初始值提前存儲(chǔ)之后，在順序處理運(yùn)動(dòng)矢量期間，當(dāng)基于運(yùn)動(dòng)矢量的評(píng)估值DFD用作在那時(shí)的最小評(píng)估值時(shí)，根據(jù)需要將在DFD表中的最小評(píng)估值和在分配矢量存儲(chǔ)器55中的運(yùn)動(dòng)矢量更新。因此，時(shí)間和資源能夠得到有效利用。
接下來(lái)將對(duì)分配補(bǔ)償單元57的結(jié)構(gòu)細(xì)節(jié)進(jìn)行說(shuō)明。
圖54為一方框圖，顯示出分配補(bǔ)償單元57的結(jié)構(gòu)。其結(jié)構(gòu)在圖54中所示的該分配補(bǔ)償單元57包括分配矢量確定單元801和矢量補(bǔ)償單元802。分配補(bǔ)償單元57將在該像素周?chē)闹苓呄袼氐倪\(yùn)動(dòng)矢量分配給在60P信號(hào)內(nèi)插幀中其上沒(méi)有由矢量分配單元54分配任何運(yùn)動(dòng)矢量的像素。
通過(guò)矢量分配單元54將運(yùn)動(dòng)矢量分配給在分配矢量存儲(chǔ)器55中的內(nèi)插幀中的像素。另外，對(duì)于其上由矢量分配單元54分配有運(yùn)動(dòng)矢量的像素在分配標(biāo)志存儲(chǔ)器56中的分配標(biāo)志中寫(xiě)入1(真)，并且對(duì)于其上沒(méi)有分配任何運(yùn)動(dòng)矢量的像素在分配標(biāo)志存儲(chǔ)器56中的分配標(biāo)志中寫(xiě)入零(假)。
通過(guò)參照在分配標(biāo)志存儲(chǔ)器56中的分配標(biāo)志，分配矢量確定單元801確定矢量分配單元54是否將運(yùn)動(dòng)矢量分配給所關(guān)心的像素。分配矢量確定單元801選擇其上沒(méi)有由矢量分配單元54分配任何運(yùn)動(dòng)矢量的所關(guān)心像素，并且對(duì)于所選的所關(guān)心像素控制矢量補(bǔ)償單元802將周邊像素的運(yùn)動(dòng)矢量分配給在分配矢量存儲(chǔ)器55中的內(nèi)插幀。
矢量補(bǔ)償單元802從分配矢量存儲(chǔ)器55中獲取分配給在所關(guān)心像素周?chē)闹苓呄袼氐倪\(yùn)動(dòng)矢量。通過(guò)使用在時(shí)刻t的輸入幀t和在時(shí)刻t+1的輸入幀t+1來(lái)得到所獲取的運(yùn)動(dòng)矢量的評(píng)估值DFD并且比較所獲得的評(píng)估值DFD，從而矢量補(bǔ)償單元802將在分配給在所關(guān)心像素周?chē)闹苓呄袼氐倪\(yùn)動(dòng)矢量之中基于評(píng)估值DFD具有最高可靠性的運(yùn)動(dòng)矢量分配給在分配矢量存儲(chǔ)器55中的所關(guān)心像素。另外，矢量補(bǔ)償單元802使用1(真)來(lái)將其上分配有運(yùn)動(dòng)矢量的所關(guān)心像素的標(biāo)志重寫(xiě)。
圖55為一方框圖，顯示出矢量補(bǔ)償單元802的結(jié)構(gòu)。在圖55中所示的矢量補(bǔ)償單元802包括補(bǔ)償單元811和評(píng)估值操作單元812。
補(bǔ)償單元811包括存儲(chǔ)器821，用于存儲(chǔ)最小評(píng)估值DFD以及作為候選矢量的用于最小評(píng)估值DFD的運(yùn)動(dòng)矢量(下面也被稱(chēng)為“補(bǔ)償候選矢量”)。存儲(chǔ)器821作為最小評(píng)估值并且作為由分配矢量確定單元801所選的所關(guān)心像素的初始值存儲(chǔ)有零矢量評(píng)估值DFD，并且存儲(chǔ)有作為補(bǔ)償候選矢量的零矢量。通過(guò)參照分配標(biāo)志存儲(chǔ)器56，補(bǔ)償單元811確定是否存在在所關(guān)心像素周?chē)闹苓呄袼氐倪\(yùn)動(dòng)矢量，獲取從分配矢量存儲(chǔ)器55分配給周邊像素的運(yùn)動(dòng)矢量，并且控制評(píng)估值操作單元812計(jì)算出運(yùn)動(dòng)矢量的評(píng)估值DFD。
補(bǔ)償單元811確定由評(píng)估值操作單元812計(jì)算出的每個(gè)評(píng)估值DFD是否小于最小評(píng)估值。如果確定所計(jì)算出的評(píng)估值DFD小于最小評(píng)估值，則補(bǔ)償單元811通過(guò)所計(jì)算出的評(píng)估值DFD和一運(yùn)動(dòng)矢量將補(bǔ)償候選矢量和存儲(chǔ)在存儲(chǔ)器821中的最小評(píng)估值重寫(xiě)。最后，將被確定為具有最小評(píng)估值DFD的周邊像素的運(yùn)動(dòng)矢量(補(bǔ)償候選矢量)作為所關(guān)心像素的運(yùn)動(dòng)矢量分配給在分配矢量存儲(chǔ)器55中的所關(guān)心像素。補(bǔ)償單元811使用1(真)將在分配標(biāo)志存儲(chǔ)器56中用于其上分配有運(yùn)動(dòng)矢量的所關(guān)心像素的分配標(biāo)志重寫(xiě)。
在從分配矢量存儲(chǔ)器55獲取周邊像素的運(yùn)動(dòng)矢量之后，評(píng)估值操作單元812通過(guò)使用輸入的24P信號(hào)圖像的幀t(在時(shí)刻t)和幀t+1(在時(shí)刻t+1)從分配矢量存儲(chǔ)器55中計(jì)算出運(yùn)動(dòng)矢量的評(píng)估值DFD，并且將所計(jì)算出的評(píng)估值DFD輸出給補(bǔ)償單元811。
圖56為分配補(bǔ)償過(guò)程的原理的示意圖。在圖56中所示的示例中，顯示出在內(nèi)插幀中的像素。從這些像素延伸出的箭頭表示分配給這些像素的運(yùn)動(dòng)矢量。沒(méi)有任何箭頭的像素表示其上沒(méi)有分配任何運(yùn)動(dòng)矢量的像素。
從分配給在所關(guān)心像素P附近的周邊像素的運(yùn)動(dòng)矢量之中，選擇出根據(jù)評(píng)估值DFD具有最高可靠性的運(yùn)動(dòng)矢量，并且將它分配給其上沒(méi)有由矢量分配單元54分配任何運(yùn)動(dòng)矢量的所關(guān)心中心像素P。在圖56中所示的示例中，將該像素的運(yùn)動(dòng)矢量(由粗箭頭所示)選擇并且分配給所關(guān)心的像素P。這是根據(jù)下面所述的運(yùn)動(dòng)相關(guān)性執(zhí)行的過(guò)程。
圖57為運(yùn)動(dòng)相關(guān)性原理的示意圖。在圖57中所示的示例中，對(duì)象O1在幀中以運(yùn)動(dòng)v1運(yùn)動(dòng)，并且對(duì)象O2在幀中以運(yùn)動(dòng)v2運(yùn)動(dòng)。屬于對(duì)象O1的所關(guān)心的像素P1及其相鄰部分K1具有與對(duì)象O1的運(yùn)動(dòng)基本上相同的運(yùn)動(dòng)v1。另外，屬于對(duì)象O2的所關(guān)心的像素P2及其相鄰部分K2具有與對(duì)象O2的運(yùn)動(dòng)基本上相同的運(yùn)動(dòng)v2。
如上所述，運(yùn)動(dòng)相關(guān)性表示這樣的事實(shí)，在許多情況中，在相同單次中的空間(相同幀)中，屬于對(duì)象的像素的運(yùn)動(dòng)基本上相同。因此，對(duì)于其上沒(méi)能分配運(yùn)動(dòng)矢量的像素，通過(guò)使用這種運(yùn)動(dòng)相關(guān)性在相同時(shí)刻的空間中(相同幀)的存在，從周邊像素的運(yùn)動(dòng)矢量中選擇與像素對(duì)應(yīng)的運(yùn)動(dòng)矢量。這也適用于時(shí)間相關(guān)性，但是省略了其說(shuō)明。
接下來(lái)將參照?qǐng)D58至64對(duì)基于運(yùn)動(dòng)相關(guān)性執(zhí)行的運(yùn)動(dòng)矢量補(bǔ)償過(guò)程進(jìn)行說(shuō)明。具體地說(shuō)，在運(yùn)動(dòng)矢量補(bǔ)償過(guò)程中，從周邊像素的運(yùn)動(dòng)矢量，選擇并且使用運(yùn)動(dòng)像素作為所關(guān)心像素的運(yùn)動(dòng)矢量以進(jìn)行補(bǔ)償。在圖58中所示的示例中，白色圓圈表示在內(nèi)插幀中的像素。在要找出其運(yùn)動(dòng)矢量的所關(guān)心像素P周?chē)@示出八個(gè)周邊像素。通過(guò)參照八個(gè)周邊像素的運(yùn)動(dòng)矢量找出所關(guān)心像素P的運(yùn)動(dòng)矢量。
在圖59中所示的示例中，在所關(guān)心像素P周?chē)陌藗€(gè)周邊像素之中，頂左邊、頂右邊和底部右邊像素(由黑色圓圈表示)具有由在前一階段中處理而獲得的運(yùn)動(dòng)矢量(由箭頭所示的)(例如，上述矢量分配過(guò)程)。換句話說(shuō)，在該情況中，頂左邊、頂右邊和底部右邊像素用作所關(guān)心像素P的補(bǔ)償候選矢量。由于在該幀中按照光柵掃描的順序從在幀中的左上端像素開(kāi)始找出運(yùn)動(dòng)矢量，所以在八個(gè)周邊像素之中可能存在沒(méi)有找出其運(yùn)動(dòng)矢量的像素。這些運(yùn)動(dòng)矢量不能用作補(bǔ)償候選矢量。
如由在圖60中所示的示例所示一樣，在八個(gè)周邊像素之中，除了具有通過(guò)在前一階段中處理找出的運(yùn)動(dòng)矢量的像素(黑色圓圈)之外，具有由該過(guò)程找出的運(yùn)動(dòng)矢量的像素(由陰影圓圈表示)也存在。換句話說(shuō)，在該過(guò)程中，通過(guò)在前一階段中的這個(gè)過(guò)程獲得的結(jié)果也得到使用。因此，在圖60中所示的示例中，用于所關(guān)心像素P的補(bǔ)償候選矢量由其運(yùn)動(dòng)矢量已經(jīng)存在的像素(黑色圓圈)的運(yùn)動(dòng)矢量和具有由在前一階段中的這個(gè)過(guò)程得出的運(yùn)動(dòng)矢量的像素(陰影圓圈)的運(yùn)動(dòng)矢量構(gòu)成。
另外，如由在圖61中所示的示例所示一樣，也可以使用其中運(yùn)動(dòng)量為零的零矢量S0(靜止矢量)作為補(bǔ)償候選矢量。在圖60所示的示例中，單獨(dú)顯示出具有由該過(guò)程得出的運(yùn)動(dòng)矢量的像素和其運(yùn)動(dòng)矢量已經(jīng)存在的像素。但是，兩者在具有運(yùn)動(dòng)矢量方面是相同的。因此，在圖61至64中，看起來(lái)在其運(yùn)動(dòng)矢量已經(jīng)存在的像素(黑色圓圈)中也包括具有由該過(guò)程得出的運(yùn)動(dòng)矢量的像素。因此，在圖61中所示的示例中，用于所關(guān)心像素P的補(bǔ)償候選矢量由其運(yùn)動(dòng)矢量已經(jīng)存在的像素(黑色圓圈)和零矢量S0構(gòu)成。
為了比較如上所述形成的補(bǔ)償候選矢量的可靠性(可能性)，如圖62至64所示一樣得出用于運(yùn)動(dòng)矢量評(píng)估的評(píng)估值DFD。圖62顯示出將零矢量S0用作補(bǔ)償候選矢量。圖63顯示出在八個(gè)周邊像素之中的頂左邊像素VK1用作補(bǔ)償候選矢量。圖64顯示出將在八個(gè)周邊像素之中的頂部中央像素VK2用作補(bǔ)償候選矢量。
在圖62中所示的示例中，從在圖62的左邊上顯示出的所關(guān)心像素P的補(bǔ)償候選矢量中，選擇零矢量S0，并且找出所選零矢量S0的評(píng)估值DFD。換句話說(shuō)，如此找出零矢量S0的評(píng)估值DFD，從而在24P信號(hào)圖像的其間設(shè)有所關(guān)心像素(60信號(hào)內(nèi)插幀)的幀t和幀t+1中，通過(guò)使用在內(nèi)插幀中的所關(guān)心像素P，找出與所選零矢量S0相關(guān)聯(lián)的相交點(diǎn)，用相交點(diǎn)作為中點(diǎn)計(jì)算出由預(yù)定m×n像素范圍形成的DFD操作范圍D1-1和D1-2，并且使用所計(jì)算出的DFD操作范圍D1-1和D1-2來(lái)進(jìn)行基于公式(1)的操作。
在圖63中所示的示例中，從在圖63的左側(cè)上顯示出的所關(guān)心像素P的補(bǔ)償候選矢量中，選擇出八個(gè)周邊像素的頂左邊像素的運(yùn)動(dòng)矢量VK1，并且選擇出運(yùn)動(dòng)矢量VK1的評(píng)估值DFD。換句話說(shuō)，如此找出八個(gè)周邊像素的頂左邊像素的運(yùn)動(dòng)矢量VK1的評(píng)估值DFD，從而在其間設(shè)有所關(guān)心像素P的幀t和幀t+1中，通過(guò)使用所關(guān)心像素P作為參考，找出與所選運(yùn)動(dòng)矢量VK1相關(guān)的相交點(diǎn)，用相交點(diǎn)作為中心計(jì)算出由預(yù)定m×n像素范圍形成的DFD操作范圍D2-1和D2-2，并且使用所計(jì)算出的DFD操作范圍D2-1和D2-2來(lái)進(jìn)行基于公式(1)的操作。
在圖64中所示的示例中，從在圖64的左邊上顯示出的所關(guān)心像素P的補(bǔ)償候選矢量中，選擇出八個(gè)周邊像素的頂部中心像素的運(yùn)動(dòng)矢量VK2，并且選擇出運(yùn)動(dòng)矢量VK2的評(píng)估值DFD。換句話說(shuō)，如此找出周邊像素的頂部中心像素的運(yùn)動(dòng)矢量VK2的評(píng)估值DFD，從而在其間(在內(nèi)插幀中)設(shè)有所關(guān)心像素P的幀t和幀t+1中，通過(guò)使用所關(guān)心像素P作為參考，找出與所選運(yùn)動(dòng)矢量VK2相關(guān)的相交點(diǎn)，用相交點(diǎn)作為中心計(jì)算出由預(yù)定m×n像素范圍形成的DFD操作范圍D3-1和D3-2，并且使用所計(jì)算出的DFD操作范圍D3-1和D3-2來(lái)進(jìn)行基于公式(1)的操作。
對(duì)于在圖64的左側(cè)上顯示出的其它補(bǔ)償候選矢量，進(jìn)行基本上相同的處理。因此，省略了其說(shuō)明。如上所述，找出用于所關(guān)心像素P周?chē)闹苓呄袼氐乃醒a(bǔ)償候選矢量的評(píng)估值DFD，并且將所獲得的評(píng)估值DFD相互比較，并且在所獲得的評(píng)估值DFD之中，將具有最小評(píng)估值DFD的補(bǔ)償候選矢量選擇作為將要分配給所關(guān)心像素的具有最高可靠性的可能運(yùn)動(dòng)矢量。
在圖65中所示的示例中，確定從所關(guān)心像素的周邊像素的補(bǔ)償候選矢量之中，用于八個(gè)周邊像素的左上像素的運(yùn)動(dòng)矢量VK1的評(píng)估值DFD最小，并且將運(yùn)動(dòng)矢量VK1分配給所關(guān)心像素P的運(yùn)動(dòng)矢量。
如上所述，通過(guò)使用運(yùn)動(dòng)相關(guān)性從周邊像素的運(yùn)動(dòng)矢量來(lái)補(bǔ)償其上不能由矢量分配單元54分配運(yùn)動(dòng)矢量的像素的運(yùn)動(dòng)矢量。因此，與其中沒(méi)有分配任何運(yùn)動(dòng)矢量的情況例如其中分配了零矢量的情況相比，能夠抑制在運(yùn)動(dòng)中的不規(guī)則性。另外，這樣補(bǔ)償?shù)南袼氐倪\(yùn)動(dòng)矢量也能夠重新用作另一個(gè)像素的補(bǔ)償候候選矢量。換句話說(shuō)，不僅在空間相鄰部分中的運(yùn)動(dòng)矢量，而且還有在時(shí)間相鄰部分中的運(yùn)動(dòng)矢量都可以用作補(bǔ)償候選矢量。對(duì)于在對(duì)象中基本上相同運(yùn)動(dòng)的像素而言，選擇具有基本上相同運(yùn)動(dòng)的矢量，從而能夠獲得具有更小誤差的可靠運(yùn)動(dòng)矢量。這改善了矢量分配的精度。
接下來(lái)，將參照在圖66中所示的流程圖對(duì)分配補(bǔ)償過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。在前一階段中通過(guò)矢量分配單元54將運(yùn)動(dòng)矢量分配給在分配矢量存儲(chǔ)器55中的內(nèi)插幀中的像素。在用于其上由矢量分配單元54分配運(yùn)動(dòng)矢量的每個(gè)像素的分配標(biāo)志存儲(chǔ)器56中的分配標(biāo)志中，寫(xiě)入1(真)。在用于其上沒(méi)有分配任何運(yùn)動(dòng)矢量的每個(gè)像素的分配標(biāo)志存儲(chǔ)器56中的分配標(biāo)志中，寫(xiě)入零(假)。
在步驟S801中，分配矢量確定單元801選擇在分配標(biāo)志存儲(chǔ)器56中的內(nèi)插幀中的像素作為所關(guān)心的像素，并且前進(jìn)至步驟S802。分配矢量確定單元801按照光柵掃描的順序從左上端像素中選擇像素。
在步驟S802中，分配矢量確定單元801確定在分配標(biāo)志存儲(chǔ)器56中用于所關(guān)心像素的分配標(biāo)志是否為零(假)。如果確定在分配標(biāo)志存儲(chǔ)器56中用于所關(guān)心像素的分配標(biāo)志為零(假)，則分配矢量確定單元801確定沒(méi)有分配任何運(yùn)動(dòng)矢量。前進(jìn)至步驟S803，分配矢量確定單元801控制補(bǔ)償單元811以執(zhí)行矢量補(bǔ)償過(guò)程，并且前進(jìn)至步驟S804。下面將參照?qǐng)D67對(duì)矢量補(bǔ)償過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。在矢量補(bǔ)償過(guò)程中，從分配給周邊像素的運(yùn)動(dòng)矢量中，將具有最小評(píng)估值DFD的運(yùn)動(dòng)矢量作為補(bǔ)償候選矢量存儲(chǔ)在存儲(chǔ)器821中。
在步驟S804中，補(bǔ)償單元811將在存儲(chǔ)器821中的補(bǔ)償候選矢量作為所關(guān)心像素的運(yùn)動(dòng)矢量分配給分配矢量存儲(chǔ)器55，并且前進(jìn)至步驟S805。補(bǔ)償單元811將在分配標(biāo)志存儲(chǔ)器56中的用于所關(guān)心像素的分配標(biāo)志重寫(xiě)，并且該過(guò)程前進(jìn)至步驟S806。
如果在步驟S802中確定在分配標(biāo)志存儲(chǔ)器56中用于所關(guān)心像素的分配標(biāo)志為1(真)，則分配矢量確定單元801確定已經(jīng)將運(yùn)動(dòng)矢量分配給所關(guān)心像素，并且前進(jìn)至步驟S806，從而跳過(guò)了步驟S803和S805。
在步驟S806中，分配矢量確定單元801確定在分配標(biāo)志存儲(chǔ)器56中的內(nèi)插幀中的所有像素上的處理是否已經(jīng)完成。如果確定在所有像素上的處理還沒(méi)有完成，則該過(guò)程返回到步驟S801，并且選擇在分配標(biāo)志存儲(chǔ)器56中的內(nèi)插幀中的下一個(gè)像素。執(zhí)行隨后的步驟，如果在步驟S806中確定在分配標(biāo)志存儲(chǔ)器56中的內(nèi)插幀中的所有像素上的處理已經(jīng)完成，則分配補(bǔ)償過(guò)程結(jié)束。
接下來(lái)，將參照在圖67中所示的流程圖對(duì)矢量補(bǔ)償過(guò)程的細(xì)節(jié)進(jìn)行說(shuō)明。圖67顯示出在圖66中的步驟S803中的矢量補(bǔ)償過(guò)程的示例。
在步驟S821中，補(bǔ)償單元811控制評(píng)估值操作單元812以通過(guò)使用零矢量計(jì)算出評(píng)估值DFD0，并且該過(guò)程前進(jìn)至步驟S822。具體地說(shuō)，在步驟S821中，通過(guò)使用如上面參照例如圖62所述一樣所輸入的在時(shí)刻t的幀t和在時(shí)刻t+1的幀t+1，從而評(píng)估值操作單元812在使用零矢量的情況中計(jì)算出評(píng)估值DFD0，并且將所計(jì)算出的評(píng)估值DFD0輸出給補(bǔ)償單元811。
在步驟S822中，補(bǔ)償單元811將評(píng)估值DFD0作為最小評(píng)估值存儲(chǔ)在存儲(chǔ)器821中。前進(jìn)至步驟S823，補(bǔ)償單元811將零矢量作為補(bǔ)償候選矢量存儲(chǔ)在存儲(chǔ)器821中。在步驟S824中，補(bǔ)償單元811從在由分配矢量確定單元801所選的所關(guān)心像素周?chē)陌藗€(gè)周邊像素之中選擇一個(gè)周邊像素，并且前進(jìn)至步驟S825。這時(shí)，補(bǔ)償單元811按照光柵掃描的順序從左上端像素選擇八個(gè)周邊像素。
在步驟S825中，通過(guò)參照分配標(biāo)志存儲(chǔ)器56，補(bǔ)償單元811確定所選周邊像素是否具有運(yùn)動(dòng)矢量。如果在分配標(biāo)志存儲(chǔ)器56中用于周邊像素的分配標(biāo)志為1(真)，則在步驟S825中，補(bǔ)償單元811確定存在分配給所選周邊像素的運(yùn)動(dòng)矢量。前進(jìn)至步驟S826，補(bǔ)償單元811從分配矢量存儲(chǔ)器55中獲取周邊像素的運(yùn)動(dòng)矢量，并且該過(guò)程前進(jìn)至步驟S827。然后，從分配矢量存儲(chǔ)器55中將周邊像素的運(yùn)動(dòng)矢量也輸出給評(píng)估值操作單元812。
當(dāng)接收到來(lái)自分配矢量存儲(chǔ)器55的周邊像素的運(yùn)動(dòng)矢量時(shí)，在步驟S827中，通過(guò)使用所輸入的在時(shí)刻t的幀t和在時(shí)刻t+1的幀，評(píng)估值操作單元812從分配矢量存儲(chǔ)器55計(jì)算出運(yùn)動(dòng)矢量的評(píng)估值DFD，并且將所計(jì)算出的評(píng)估值DFD輸出給補(bǔ)償單元811。該過(guò)程前進(jìn)至步驟S828。
當(dāng)接收到來(lái)自評(píng)估值操作單元812的評(píng)估值DFD時(shí)，在步驟S828中，補(bǔ)償單元811確定評(píng)估值DFD是否小于存儲(chǔ)在存儲(chǔ)器821中的所關(guān)心像素的最小評(píng)估值。如果確定評(píng)估值DFD小于存儲(chǔ)在存儲(chǔ)器821中的最小評(píng)估值，則補(bǔ)償單元811前進(jìn)至步驟S821，并且通過(guò)被確定為小于最小評(píng)估值的評(píng)估值DFD將在存儲(chǔ)器821中的最小評(píng)估值重寫(xiě)。前進(jìn)至步驟S830，補(bǔ)償單元811通過(guò)用于最小評(píng)估值的運(yùn)動(dòng)矢量將在存儲(chǔ)器821中的補(bǔ)償候選矢量重寫(xiě)。該過(guò)程前進(jìn)至步驟S831。
如果在步驟S825中，在分配標(biāo)志存儲(chǔ)器56中用于周邊像素的分配標(biāo)志為零(假)，則補(bǔ)償單元811確定所選的周邊像素沒(méi)有任何分配運(yùn)動(dòng)矢量，并且前進(jìn)至步驟S831，從而跳過(guò)了步驟S826至S830。另外，如果在步驟S828中確定評(píng)估值DFD等于或大于存儲(chǔ)在存儲(chǔ)器821中的所關(guān)心像素的最小評(píng)估值，則補(bǔ)償單元811前進(jìn)至步驟S831，從而跳過(guò)了步驟S829和S830。
在步驟S831中，補(bǔ)償單元811確定在所關(guān)心像素的所有八個(gè)周邊像素上的處理是否已經(jīng)完成。如果確定在所關(guān)心像素周?chē)乃邪藗€(gè)周邊像素上的處理還沒(méi)有完成，則補(bǔ)償單元811返回到步驟S824，并且選擇下一個(gè)周邊像素來(lái)重復(fù)隨后的步驟。如果在步驟S831中確定在所關(guān)心像素周?chē)乃邪藗€(gè)周邊像素上的處理已經(jīng)完成，則該矢量補(bǔ)償過(guò)程在返回到在圖66中的步驟S804之前完成。
如上所述，對(duì)于其上沒(méi)能由矢量分配過(guò)程分配運(yùn)動(dòng)矢量的像素，通過(guò)使用運(yùn)動(dòng)相關(guān)性，從在該像素周?chē)闹苓呄袼氐倪\(yùn)動(dòng)矢量，能夠獲得基于評(píng)估值DFD具有最高可靠性的可能運(yùn)動(dòng)矢量。因此，與其中由于不能分配運(yùn)動(dòng)矢量所以分配零矢量等的情況相比，改善了矢量分配的精度，因此抑制了在圖像差值過(guò)程中產(chǎn)生出圖像不連續(xù)性。
用1(真)將對(duì)于其上要由上述分配補(bǔ)償過(guò)程分配運(yùn)動(dòng)矢量的像素的分配標(biāo)志重寫(xiě)，并且將由分配補(bǔ)償過(guò)程分配的運(yùn)動(dòng)矢量用作下一個(gè)像素的補(bǔ)償候選矢量。因此，對(duì)于基本上相同運(yùn)動(dòng)的像素而言，選擇具有基本上相同運(yùn)動(dòng)的運(yùn)動(dòng)矢量，從而能夠獲得具有更小誤差的可靠運(yùn)動(dòng)矢量。因此，降低了在隨后階段中的圖像中產(chǎn)生出的塊噪聲、粉末噪聲等，從而改善了圖像質(zhì)量。
另外，對(duì)于將要找出其運(yùn)動(dòng)矢量的像素而言，通過(guò)計(jì)算零矢量的評(píng)估值DFD并且將所計(jì)算出的評(píng)估值DFD作為最小評(píng)估值存儲(chǔ)在存儲(chǔ)器中，從而與計(jì)算所有補(bǔ)償候選矢量的評(píng)估值并且從所計(jì)算出的評(píng)估值DFD中選擇出最小評(píng)估值DFD的情況相比，時(shí)間和資源得到了有效利用。
在上面的說(shuō)明中，矢量補(bǔ)償過(guò)程對(duì)于其上沒(méi)有由矢量分配單元54分配運(yùn)動(dòng)矢量的像素進(jìn)行。但是，對(duì)于其運(yùn)動(dòng)矢量沒(méi)有被一些過(guò)程找到的像素而言，例如沒(méi)有被矢量檢測(cè)單元52檢測(cè)到的像素(其中檢測(cè)出零矢量)，可以進(jìn)行矢量補(bǔ)償過(guò)程。而且，對(duì)于在其每一個(gè)中所檢測(cè)出的運(yùn)動(dòng)矢量或分配運(yùn)動(dòng)矢量不是可能的(具有較低可靠性)的像素而言可以進(jìn)行矢量補(bǔ)償過(guò)程。
但是，在前面實(shí)施方案的說(shuō)明中，將作為差的絕對(duì)值的總和的評(píng)估值DFD用作運(yùn)動(dòng)矢量選擇的評(píng)估值，該評(píng)估值不限于評(píng)估值DFD，如果能夠計(jì)算出運(yùn)動(dòng)矢量的可靠性，則可以使用另一種數(shù)值。
另外，雖然上面實(shí)施方案描述了用于進(jìn)行每個(gè)過(guò)程的塊例如由8×8像素以及9×9像素構(gòu)成，但是這些都是示例，并且構(gòu)成用于進(jìn)行每個(gè)過(guò)程的塊的像素?cái)?shù)量不限于上面的像素?cái)?shù)量。
另外，雖然已經(jīng)通過(guò)例舉說(shuō)明從24P信號(hào)到60P信號(hào)的信號(hào)轉(zhuǎn)換來(lái)說(shuō)明前面的實(shí)施方案，但是本發(fā)明可以應(yīng)用于例如交錯(cuò)信號(hào)轉(zhuǎn)換和其它幀速率轉(zhuǎn)換如運(yùn)動(dòng)圖像幀頻率轉(zhuǎn)換。
上述連續(xù)過(guò)程能夠由硬件或軟件執(zhí)行。當(dāng)通過(guò)軟件執(zhí)行連續(xù)過(guò)程時(shí)，構(gòu)成軟件的程序從程序存儲(chǔ)介質(zhì)安裝到例如構(gòu)建到專(zhuān)門(mén)硬件中的計(jì)算機(jī)上，或者多用途個(gè)人計(jì)算機(jī)上，其中通過(guò)安裝各種程序能夠執(zhí)行各種功能。
用于存儲(chǔ)安裝到計(jì)算機(jī)中并且可以由計(jì)算機(jī)執(zhí)行的程序的程序存儲(chǔ)介質(zhì)如圖1所示包括可拆卸記錄介質(zhì)(包裝介質(zhì))，包括磁盤(pán)31(包括軟盤(pán))、光盤(pán)32(CD-ROM致密盤(pán)只讀存儲(chǔ)器、DVD(數(shù)字通用盤(pán)))、磁光盤(pán)33(包括MD(微型盤(pán)))和半導(dǎo)體存儲(chǔ)器34，以及用來(lái)暫時(shí)或永久存儲(chǔ)程序的ROM12。
在該說(shuō)明書(shū)中，在流程圖中所示的步驟不僅包括按照時(shí)間順序方式根據(jù)所給出的順序進(jìn)行的處理步驟，而且還包括并不總是按照時(shí)間順序方式執(zhí)行的單獨(dú)或并行操作的處理步驟。
權(quán)利要求
1.一種圖像處理設(shè)備，包括有效像素確定裝置，用于確定在操作塊中的像素在檢測(cè)運(yùn)動(dòng)矢量中是否有效，這些像素受到梯度操作以便檢測(cè)運(yùn)動(dòng)矢量；以及梯度操作裝置，用于通過(guò)在操作塊中的像素中只使用由有效像素確定裝置確定在檢測(cè)運(yùn)動(dòng)矢量中有效的像素來(lái)進(jìn)行梯度操作。
2.如權(quán)利要求1所述的圖像處理設(shè)備，其中所述有效像素確定裝置包括時(shí)間差異確定裝置，用于計(jì)算在受到運(yùn)動(dòng)矢量檢測(cè)的第一幀和在第一幀之后的第二幀之間在操作塊中的像素的時(shí)間像素差異；并且根據(jù)由時(shí)間差異確定裝置計(jì)算出的時(shí)間像素差異，有效像素確定裝置確定在操作塊中的像素在檢測(cè)運(yùn)動(dòng)矢量中是有效的。
3.如權(quán)利要求2所述的圖像處理設(shè)備，其中所述有效像素確定裝置還包括時(shí)間差異確定裝置，用于確定由時(shí)間差異計(jì)算裝置計(jì)算出的時(shí)間像素差異是否小于預(yù)定閾值；并且在時(shí)間差異確定裝置確定所計(jì)算出的時(shí)間像素差異小于預(yù)定的閾值時(shí)，有效像素確定裝置確定在操作塊中的像素在檢測(cè)運(yùn)動(dòng)矢量中是有效的。
4.如權(quán)利要求1所述的圖像處理設(shè)備，其中所述有效像素確定裝置包括第一空間差異計(jì)算裝置，用于在受到運(yùn)動(dòng)矢量檢測(cè)的第一幀中計(jì)算在操作塊中像素的第一空間像素差異；第二空間差異計(jì)算裝置，用于在第一幀之后的第二幀中計(jì)算在操作塊中的像素的第二空間像素差異；以及時(shí)間差異計(jì)算裝置，用于計(jì)算在第一幀和第二幀之間在操作塊中的像素的時(shí)間像素差異，并且根據(jù)分別由第一和第二空間差異計(jì)算裝置和時(shí)間差異計(jì)算裝置計(jì)算出的第一和第二空間像素差異和時(shí)間像素差異，有效像素確定裝置確定在操作塊中的像素在檢測(cè)運(yùn)動(dòng)矢量中是有效的。
5.如權(quán)利要求4所述的圖像處理設(shè)備，其中所述有效像素確定裝置包括梯度相似性確定裝置，用來(lái)確定像素的梯度相似性是否小于預(yù)定的閾值，像素的梯度相似性基于分別由第一和第二空間差異計(jì)算裝置和時(shí)間差異計(jì)算裝置計(jì)算出的第一和第二空間像素差異和時(shí)間像素差異；并且在該梯度相似性確定裝置確定像素的梯度相似性小于預(yù)定閾值時(shí)，有效像素確定裝置確定在操作塊中的像素在檢測(cè)運(yùn)動(dòng)矢量中是有效的。
6.如權(quán)利要求5所述的圖像處理設(shè)備，其中所述梯度相似性確定裝置確定像素梯度的水平相似性和垂直相似性以及像素梯度的水平垂直相似性中的每一個(gè)是否小于預(yù)定閾值，這些相似性基于第一和第二空間像素差異和時(shí)間像素差異，并且在梯度相似性確定裝置確定像素梯度的水平相似性和垂直相似性以及像素梯度的水平垂直相似性中的至少一個(gè)小于預(yù)定閾值時(shí)，梯度相似性確定裝置確定在操作塊中的像素在檢測(cè)運(yùn)動(dòng)矢量中是有效的。
7.如權(quán)利要求5所述的圖像處理設(shè)備，其中所述梯度相似性確定裝置確定像素梯度的水平相似性和垂直相似性是否小于預(yù)定閾值，這些相似性基于第一和第二空間像素差異和時(shí)間像素差異，并且在確定像素梯度的水平相似性和垂直相似性均小于預(yù)定閾值時(shí)，梯度相似性確定裝置確定在操作塊中的像素在檢測(cè)運(yùn)動(dòng)矢量中是有效的。
8.如權(quán)利要求1所述的圖像處理設(shè)備，還包括像素?cái)?shù)量確定裝置，用來(lái)確定在操作塊中由有效像素確定裝置確定在檢測(cè)運(yùn)動(dòng)矢量中有效的像素?cái)?shù)量是否小于預(yù)定數(shù)量；以及操作控制裝置，用于根據(jù)由像素?cái)?shù)量確定裝置確定的結(jié)果來(lái)控制有效像素確定裝置和梯度操作裝置中的一個(gè)的過(guò)程。
9.如權(quán)利要求8所述的圖像處理設(shè)備，其中在像素?cái)?shù)量確定裝置確定在操作塊中由有效像素確定裝置確定在檢測(cè)運(yùn)動(dòng)矢量中有效的像素?cái)?shù)量小于預(yù)定數(shù)量時(shí)，操作控制裝置控制梯度操作裝置以停止梯度操作。
10.如權(quán)利要求9所述的圖像處理設(shè)備，其中將零矢量分配給在操作控制裝置控制梯度操作裝置以停止梯度操作之后檢測(cè)出的運(yùn)動(dòng)矢量。
11.如權(quán)利要求8所述的圖像處理設(shè)備，其中所述操作塊包括用于檢測(cè)在塊單元中的運(yùn)動(dòng)矢量的第一操作塊部分和用于檢測(cè)在像素單元中的運(yùn)動(dòng)矢量的第二操作塊部分；所述有效像素確定裝置確定在第一操作塊中的像素在檢測(cè)運(yùn)動(dòng)矢量中是否有效；所述像素?cái)?shù)量確定裝置確定在第一操作塊部分中被確定在檢測(cè)運(yùn)動(dòng)矢量中有效的像素的數(shù)量是否小于預(yù)定數(shù)量；在所述像素?cái)?shù)量確定裝置確定在第一操作塊部分中被確定在檢測(cè)運(yùn)動(dòng)矢量中有效的像素的數(shù)量小于預(yù)定數(shù)量時(shí)，操作控制裝置控制有效像素確定裝置和梯度操作裝置以將對(duì)第一操作塊部分的處理切換至對(duì)第二操作塊部分的處理。
12.如權(quán)利要求8所述的圖像處理設(shè)備，其中所述操作塊包括用于檢測(cè)在塊單元中的運(yùn)動(dòng)矢量的第一操作塊部分和用于檢測(cè)在像素單元中的運(yùn)動(dòng)矢量的第二操作塊部分；所述有效像素確定裝置確定在第一操作塊部分中的像素在檢測(cè)運(yùn)動(dòng)矢量中是否有效；所述像素?cái)?shù)量確定裝置確定在第一操作塊部分中被確定在檢測(cè)運(yùn)動(dòng)矢量中有效的像素的數(shù)量是否小于預(yù)定數(shù)量；并且在像素?cái)?shù)量確定裝置確定在第一操作塊部分中被確定在檢測(cè)運(yùn)動(dòng)矢量中有效的像素?cái)?shù)量大于預(yù)定數(shù)量時(shí)，操作控制裝置控制有效像素確定裝置和梯度操作裝置，以針對(duì)由有效像素確定裝置確定為在檢測(cè)運(yùn)動(dòng)矢量中是無(wú)效的那些像素將對(duì)第一操作塊部分的處理切換至對(duì)第二操作塊部分的處理。
13.一種圖像處理方法，包括有效像素確定步驟，確定在操作塊中的像素在檢測(cè)運(yùn)動(dòng)矢量中是否有效，這些像素受到用于檢測(cè)運(yùn)動(dòng)矢量的梯度操作；以及梯度操作步驟，通過(guò)在操作塊中的像素中只使用在有效像素確定步驟中被確定在檢測(cè)運(yùn)動(dòng)矢量中有效的像素來(lái)進(jìn)行梯度操作。
14.一種具有記錄在其上的計(jì)算機(jī)可讀程序的記錄介質(zhì)，該程序包括有效像素確定步驟，確定在操作塊中的像素在檢測(cè)運(yùn)動(dòng)矢量中是否有效，這些像素受到用于檢測(cè)運(yùn)動(dòng)矢量的梯度操作；以及梯度操作步驟，通過(guò)在操作塊中的像素中只是使用在有效像素確定步驟中被確定在檢測(cè)運(yùn)動(dòng)矢量中有效的像素來(lái)進(jìn)行梯度操作。
15.一種用于讓計(jì)算執(zhí)行以下步驟的程序有效像素確定步驟，確定在操作塊中的像素在檢測(cè)運(yùn)動(dòng)矢量中是否有效，這些像素受到用于檢測(cè)運(yùn)動(dòng)矢量的梯度操作；以及梯度操作步驟，通過(guò)在操作塊中的像素中只使用在有效像素確定步驟中被確定在檢測(cè)運(yùn)動(dòng)矢量中有效的像素來(lái)進(jìn)行梯度操作。
全文摘要
本發(fā)明涉及其中能夠提高通過(guò)梯度方法進(jìn)行運(yùn)動(dòng)矢量檢測(cè)的精度的圖像處理設(shè)備和方法、記錄介質(zhì)和程序。對(duì)于在計(jì)算塊中的每個(gè)像素而言，有效像素確定單元403設(shè)定在時(shí)基像素差異Δt上的預(yù)定像素差異(閾值)。在時(shí)基像素差異Δt小于設(shè)定的預(yù)定像素差異時(shí)，確定該像素有助于運(yùn)動(dòng)矢量檢測(cè)(在其中是有效的)，并且在進(jìn)行運(yùn)動(dòng)矢量檢測(cè)的情況中將該像素用在梯度操作中。在時(shí)基像素差異不小于設(shè)定的預(yù)定像素差異，則確定認(rèn)為該像素具有在運(yùn)動(dòng)中產(chǎn)生不規(guī)則性的可能性，并且在進(jìn)行運(yùn)動(dòng)矢量檢測(cè)的情況中將該像素排除在梯度操作之外。本發(fā)明適用于用于進(jìn)行從24P信號(hào)到60P信號(hào)的幀頻率轉(zhuǎn)換的信號(hào)處理設(shè)備。
文檔編號(hào)H04N7/01GK1950850SQ20058001479
公開(kāi)日2007年4月18日 申請(qǐng)日期2005年4月8日 優(yōu)先權(quán)日2004年4月9日
發(fā)明者堀士賢, 吉原典文, 中村幸弘, 貝野彰彥, 川口邦雄, 高橋康昭, 長(zhǎng)木悠太, 近藤哲二郎 申請(qǐng)人:索尼株式會(huì)社