專利名稱:運(yùn)動(dòng)矢量檢測(cè)設(shè)備和方法、圖像編碼設(shè)備和程序的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及能夠減少伴隨運(yùn)動(dòng)矢量的檢測(cè)的運(yùn)算量的運(yùn)動(dòng)矢量檢測(cè)設(shè) 備、運(yùn)動(dòng)矢量檢測(cè)方法、圖像編碼設(shè)備和程序。
背景技術(shù):
在過去,開發(fā)了在發(fā)送和存儲(chǔ)與廣播站相關(guān)聯(lián)的運(yùn)動(dòng)圖像時(shí),有效地使 用圖像數(shù)據(jù)的冗余,有效地發(fā)送和存儲(chǔ)圖像數(shù)據(jù)的技術(shù)。在這種技術(shù)中,基
于如MPEG (運(yùn)動(dòng)圖像專家組)的標(biāo)準(zhǔn),通過如離散余弦變換的正交變換和 運(yùn)動(dòng)補(bǔ)償壓縮圖像數(shù)據(jù)。
作為其示例的MPEG2 (ISO/IEC 13818-2 )是定義為通用圖^象編碼標(biāo)準(zhǔn)的 標(biāo)準(zhǔn)。其定義為處理隔行(interlaced)掃描和逐行(progressive)掃描,并且 處理標(biāo)準(zhǔn)分辨率圖像和高精度圖像。MPEG2被用于專業(yè)人士和消費(fèi)者的大范 圍的應(yīng)用廣泛采用。才艮據(jù)MPEG2,可以確保具有高質(zhì)量的高壓縮率。
然而,MPEG2是適于廣播的高質(zhì)量編碼標(biāo)準(zhǔn),但是不處理具有小于 MPEG1的編碼量的編碼量的高壓縮率編碼。因此,考慮到對(duì)具有小于MPEG1 的編碼量的編碼量的高壓縮率編碼的需要,基于MPEG4 (ISO/正C 14496-2) 標(biāo)準(zhǔn)化了一種編碼方案。
設(shè)計(jì)來(lái)編碼TV會(huì)議的圖像的H26L (ITU-T Q6/16 VCEG)已經(jīng)標(biāo)準(zhǔn)化, 并且采用基于H26L的各種功能以確保較高編碼效率的編碼方案,已經(jīng)通過 MPEG4的作用標(biāo)準(zhǔn)化為增強(qiáng)壓縮視頻編碼的聯(lián)合模型,其被建立為H.264和 MPEG 4部分10 ( AVC:高級(jí)^L頻編碼)。
在基于H,264/AVC的圖像編碼方案中,已經(jīng)采用了將圖像幀劃分為塊并 且從編碼的幀中預(yù)測(cè)運(yùn)動(dòng)的運(yùn)動(dòng)補(bǔ)償。
作為這種類型的4支術(shù),例如,在JP-A-2004-241957中,在4全測(cè)運(yùn)動(dòng)矢量 時(shí),從當(dāng)前幀的運(yùn)動(dòng)補(bǔ)償塊中的像素?cái)?shù)據(jù)和參照幀的運(yùn)動(dòng)補(bǔ)償塊中的像素?cái)?shù) 據(jù)之間的差計(jì)算簡(jiǎn)單SATD (絕對(duì)變換的差值的和),并且運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電 路指定具有使用簡(jiǎn)單SATD定義的最小估計(jì)值的運(yùn)動(dòng)矢量。
發(fā)明內(nèi)容
然而,如上所述,在運(yùn)動(dòng)預(yù)測(cè)中具有比SAD (絕對(duì)差值的和)高的精度 的SATD更常用于運(yùn)動(dòng)補(bǔ)償和檢測(cè)電路中的具有1/2像素精度和1/4像素精度 的運(yùn)動(dòng);f全測(cè)。在SATD中,使用了 Hadamard變換,因此與SAD相比,運(yùn)算 量增加。因此,存在這樣的問題,即具有1/2像素精度和1/4像素精度的運(yùn)動(dòng) 檢測(cè)要求大量的運(yùn)算。
因此,需要減少伴隨運(yùn)動(dòng)矢量檢測(cè)的運(yùn)算量。
根據(jù)本發(fā)明的實(shí)施例,提供了一種運(yùn)動(dòng)矢量檢測(cè)設(shè)備,包括運(yùn)動(dòng)預(yù)測(cè) 和補(bǔ)償裝置,用于在每個(gè)預(yù)測(cè)模式計(jì)算具有第一像素精度的多個(gè)運(yùn)動(dòng)矢量的 成本值,該多個(gè)運(yùn)動(dòng)矢量是最優(yōu)運(yùn)動(dòng)矢量的候選,并且基于所述成本值的梯 度,計(jì)算具有第二像素精度的最優(yōu)運(yùn)動(dòng)矢量和具有第二像素精度的最優(yōu)運(yùn)動(dòng) 矢量的成本值。
因此,基于多個(gè)成本值的梯度,通過運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償裝置計(jì)算具有第二 像素精度的最優(yōu)運(yùn)動(dòng)矢量的成本值。
根據(jù)本發(fā)明的另一實(shí)施例,提供了一種運(yùn)動(dòng)矢量檢測(cè)設(shè)備,包括運(yùn)動(dòng) 預(yù)測(cè)和補(bǔ)償裝置,用于在每個(gè)預(yù)測(cè)模式計(jì)算具有第一像素精度的多個(gè)運(yùn)動(dòng)矢 量的成本值,該多個(gè)運(yùn)動(dòng)矢量是最優(yōu)運(yùn)動(dòng)矢量的候選,并且使用具有第一像 素精度的最高N個(gè)(其中N-l, 2, 3,...)成本值,計(jì)算具有第二像素精度 的最優(yōu)運(yùn)動(dòng)矢量和具有第二像素精度的最優(yōu)運(yùn)動(dòng)矢量的成本值。
因此,基于最高N個(gè)成本值,通過運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償裝置計(jì)算具有第二像 素精度的最優(yōu)運(yùn)動(dòng)矢量的成本值。
根據(jù)本發(fā)明的另一實(shí)施例,提供了一種運(yùn)動(dòng)矢量檢測(cè)方法,包括在每 個(gè)預(yù)測(cè)模式計(jì)算具有第一像素精度的多個(gè)運(yùn)動(dòng)矢量的成本值,該多個(gè)運(yùn)動(dòng)矢 量是最優(yōu)運(yùn)動(dòng)矢量的候選;以及基于所述成本值的梯度,計(jì)算具有第二像素 精度的最優(yōu)運(yùn)動(dòng)矢量和具有第二像素精度的最優(yōu)運(yùn)動(dòng)矢量的成本值。
因此,計(jì)算具有第二像素精度的最優(yōu)運(yùn)動(dòng)矢量的成本值。
根據(jù)本發(fā)明的另一實(shí)施例,提供了一種圖像編碼設(shè)備,包括編碼裝置, 用于在每個(gè)預(yù)定塊,通過指示編碼效率的成本函數(shù)的成本值的比較,從多個(gè) 第一預(yù)測(cè)模式和多個(gè)第二預(yù)測(cè)模式中檢測(cè)要提供給編碼處理的最優(yōu)模式,并 且以所述最優(yōu)模式編碼圖像數(shù)據(jù);以及運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償裝置,用于在每個(gè)第一預(yù)測(cè)模式計(jì)算具有第一像素精度的多個(gè)運(yùn)動(dòng)矢量的成本值,該多個(gè)運(yùn)動(dòng)矢 量是最優(yōu)運(yùn)動(dòng)矢量的候選,并且基于所述成本值的梯度,計(jì)算具有第二像素 精度的最優(yōu)運(yùn)動(dòng)矢量和具有第二像素精度的最優(yōu)運(yùn)動(dòng)矢量的成本值。
因此,基于多個(gè)成本值的梯度,通過運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償裝置計(jì)算具有第二 像素精度的最優(yōu)運(yùn)動(dòng)矢量的成本值。
根據(jù)本發(fā)明的另 一實(shí)施例,提供了 一種指示計(jì)算機(jī)執(zhí)行以下步驟的程序 在每個(gè)預(yù)定塊,通過指示編碼效率的成本函數(shù)的成本值的比較,從多個(gè)第一 預(yù)測(cè)模式和多個(gè)第二預(yù)測(cè)模式中檢測(cè)要提供給編碼處理的最優(yōu)模式;在每個(gè) 第一預(yù)測(cè)模式,計(jì)算具有第一像素精度的多個(gè)運(yùn)動(dòng)矢量的成本值,該多個(gè)運(yùn) 動(dòng)矢量是最優(yōu)運(yùn)動(dòng)矢量的候選,以便以所述最優(yōu)模式編碼圖像數(shù)據(jù);以及基 于所述成本值的梯度,計(jì)算具有第二像素精度的最優(yōu)運(yùn)動(dòng)矢量和具有第二像 素精度的最優(yōu)運(yùn)動(dòng)矢量的成本值。
因此,基于多個(gè)成本值的梯度,通過運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償裝置計(jì)算具有第二 像素精度的最優(yōu)運(yùn)動(dòng)矢量的成本值。
根據(jù)本發(fā)明的上述配置,可以提供能夠減少伴隨運(yùn)動(dòng)矢量的檢測(cè)的運(yùn)算 量的運(yùn)動(dòng)矢量檢測(cè)設(shè)備、運(yùn)動(dòng)矢量檢測(cè)方法、圖像編碼設(shè)備和程序。
圖1是圖示采用根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)設(shè)備的圖像編碼設(shè)備 的配置的圖2是圖示與釆用根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)設(shè)備的圖像編碼設(shè) 備中的最優(yōu)模式的選擇相關(guān)聯(lián)的處理序列的流程圖3是具體圖示在根據(jù)本發(fā)明實(shí)施例的圖像編碼設(shè)備中、在1/4像素精 度的情況下由運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電路執(zhí)行的處理序列的流程圖4是圖示1/2像素的排列的圖5A到5D是圖示通過1/2像素的SATD值的比較、將指示具有像
素精度的點(diǎn)的運(yùn)動(dòng)矢量指定為要用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量的概念圖6A和6B是圖示通過1/2像素的SATD值的比較、將指示具有1M像
素精度的點(diǎn)的運(yùn)動(dòng)矢量指定為要用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量的另一概念圖7是具體圖示在根據(jù)本發(fā)明實(shí)施例的圖像編碼設(shè)備中、由1/4像素精 度運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電路執(zhí)行的高級(jí)處理序列的流程8是具體圖示在根據(jù)本發(fā)明實(shí)施例的圖像編碼設(shè)備中、由1/4像素精 度的運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電路執(zhí)行的另 一高級(jí)處理序列的流程圖9是具體圖示在根據(jù)本發(fā)明實(shí)施例的圖像編碼設(shè)備中、由1/4像素精 度的運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電路執(zhí)行的另 一高級(jí)處理序列的流程圖;以及
圖IO是具體圖示在根據(jù)本發(fā)明實(shí)施例的圖像編碼設(shè)備中、由l/4像素精 度的運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電路執(zhí)行的另 一高級(jí)處理序列的流程圖。
具體實(shí)施例方式
以下,將參照附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例(以下,簡(jiǎn)稱為"實(shí)施 例")。
根據(jù)本發(fā)明實(shí)施例的圖像編碼設(shè)備用于在每個(gè)預(yù)定單元,通過指示編碼 效率的成本函數(shù)的成本值的比較,從多個(gè)第一預(yù)測(cè)模式和多個(gè)第二預(yù)測(cè)模式 檢測(cè)要提供給編碼處理的最優(yōu)模式,并且以所述最優(yōu)模式編碼圖像數(shù)據(jù)。
該圖像編碼設(shè)備包括運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電路,配置為在每個(gè)第一預(yù)測(cè)模式 計(jì)算具有第 一像素精度的多個(gè)運(yùn)動(dòng)矢量的成本值,該多個(gè)運(yùn)動(dòng)矢量是最優(yōu)運(yùn)
動(dòng)矢量的候選,并且基于所述成本值的梯度,計(jì)算具有第二像素精度的最優(yōu)
運(yùn)動(dòng)矢量和具有第二像素精度的最優(yōu)運(yùn)動(dòng)矢量的成本值。
可替代地,該圖像編碼設(shè)備包括運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電路,配置為在每個(gè)第 一預(yù)測(cè)模式計(jì)算具有第一像素精度的多個(gè)運(yùn)動(dòng)矢量的成本值,該多個(gè)運(yùn)動(dòng)矢 量是最優(yōu)運(yùn)動(dòng)矢量的候選,并且基于最高N個(gè)成本值的優(yōu)先級(jí),計(jì)算具有第 二像素精度的最優(yōu)運(yùn)動(dòng)矢量和具有第二像素精度的最優(yōu)運(yùn)動(dòng)矢量的成本值, 其中區(qū)分了具有第一像素精度的各成本值的優(yōu)先級(jí)。
可替代地,該圖像編碼設(shè)備包括運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電路,配置為在每個(gè)第 一預(yù)測(cè)模式計(jì)算具有第一像素精度的多個(gè)運(yùn)動(dòng)矢量的成本值,該多個(gè)運(yùn)動(dòng)矢 量是最優(yōu)運(yùn)動(dòng)矢量的候選,并且基于來(lái)自具有第一像素精度的成本值中的最 低成本值的至少三個(gè)成本值的優(yōu)先級(jí),計(jì)算具有第二像素精度的最優(yōu)運(yùn)動(dòng)矢 量和具有第二像素精度的最優(yōu)運(yùn)動(dòng)矢量的成本值。
這里,第一像素精度可以是粗像素精度,而第二像素精度可以是比第一 像素精度更精確的像素精度。
現(xiàn)在將描述應(yīng)用到AVC (高級(jí)^L頻編碼)的實(shí)施例。
圖1示出采用根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)設(shè)備的圖像編碼設(shè)備的配置。這里,以基于AVC的圖像編碼設(shè)備作為示例。
圖像編碼設(shè)備1從多個(gè)幀內(nèi)(intra)預(yù)測(cè)模式和多個(gè)幀間(inter)預(yù)測(cè)模 式中選擇最優(yōu)預(yù)測(cè)模式,并且從圖像數(shù)據(jù)減去選擇的預(yù)測(cè)模式中的預(yù)測(cè)值以 生成差值(differential)數(shù)據(jù)。因此,通過對(duì)差值數(shù)據(jù)執(zhí)行正交變換處理、量 化處理、可變長(zhǎng)度(variable-length)編碼處理,圖像編碼設(shè)備通過幀內(nèi)編碼 和幀間處理的使用編碼了圖像數(shù)據(jù)。以下,將詳細(xì)描述其配置和操作。
如圖1所示,圖像編碼設(shè)備1包括模擬-數(shù)字(A/D)轉(zhuǎn)換電路2、圖像 排列切換緩沖器3、減法電路4、幀內(nèi)預(yù)測(cè)電路5、作為對(duì)應(yīng)于運(yùn)動(dòng)矢量檢測(cè) 設(shè)備的運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償裝置的運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電路6、正交變換電路7、量化 電路8、比率控制電路9、可逆編碼電路10、存儲(chǔ)緩沖器11、逆(inverse) 量化電路12、逆正交變換電路13、去塊(deblocking)濾波器14、幀存儲(chǔ)器 15、以及幀內(nèi)和幀間模式確定電路16。運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電路6包括全像素精 度運(yùn)動(dòng)補(bǔ)償和檢測(cè)電路61、 1/2像素精度運(yùn)動(dòng)補(bǔ)償和檢測(cè)電路62、以及1/4 像素精度運(yùn)動(dòng)補(bǔ)償和檢測(cè)電路63。 A/D轉(zhuǎn)換電路2、圖像排列切換緩沖器3、 減法電路4、幀內(nèi)預(yù)測(cè)電路5、正交變換電路7、量化電路8、速率控制電路 9和可逆編;馬電^各10構(gòu)成編碼裝置。
在該配置中,A/D轉(zhuǎn)換電路2將視頻信號(hào)SV轉(zhuǎn)換為數(shù)字信號(hào),并且輸 出圖像數(shù)據(jù)Dl。圖像排列切換緩沖器3接收?qǐng)D像數(shù)據(jù)Dl,根據(jù)與編碼處理 相關(guān)聯(lián)的GOP (圖像組)結(jié)構(gòu)切換圖像數(shù)據(jù)Dl的幀的排列,并且輸出切換 后的圖像數(shù)據(jù)。減法電路4接收從圖像排列切換緩沖器3輸出的圖像數(shù)據(jù)Dl, 并且從由幀內(nèi)預(yù)測(cè)電路5在幀內(nèi)編碼中生成的預(yù)測(cè)值生成和輸出差值數(shù)據(jù) D2。通常,幀內(nèi)預(yù)測(cè)電路5使用相同圖像中的圖像樣本預(yù)測(cè)在不同位置的圖 像。
另一方面,減法電路從由運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電路6在幀間編碼中生成的預(yù) 測(cè)值生成和輸出差值數(shù)據(jù)D2。
正交變換電路7接收從減法電路4輸出的差值數(shù)據(jù)D2,對(duì)該數(shù)據(jù)執(zhí)行正 交變換處理(如離散余弦變換(CDT)和Karhunen-Loeve變換),并且輸出 變換系數(shù)數(shù)據(jù)D3作為處理結(jié)果。量化電路8基于比率控制電路9的比率控 制,利用量化比例(scale)量化并輸出變換系數(shù)數(shù)據(jù)D3。
可逆編碼電路IO通過可變長(zhǎng)度編碼、算術(shù)編碼等對(duì)量化電路8的輸出數(shù) 據(jù)執(zhí)行可逆編碼處理,并且輸出得到的數(shù)據(jù)??赡婢幋a電路IO從幀內(nèi)預(yù)測(cè)電路5和運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電路6獲取關(guān)于與幀內(nèi)編碼相關(guān)聯(lián)的幀內(nèi)預(yù)測(cè)模式的 信息以及關(guān)于與幀間編碼相關(guān)聯(lián)的運(yùn)動(dòng)矢量的信息,將這種信息設(shè)置為輸出 數(shù)據(jù)D4的報(bào)頭信息,并且輸出該輸出數(shù)據(jù)。幀內(nèi)預(yù)測(cè)模式也稱為圖像間預(yù) 測(cè)編石馬。
存儲(chǔ)緩沖器11存儲(chǔ)可逆編碼電路10的輸出數(shù)據(jù)D4,并且根據(jù)傳輸路徑 的傳輸速率輸出存儲(chǔ)的數(shù)據(jù)。比率控制電路9通過監(jiān)視存儲(chǔ)緩沖器11的空容 量,監(jiān)視通過編碼處理生成的編碼量。作為監(jiān)視結(jié)果,通過改變量化電路8 中的量化比例來(lái)控制生成的編碼量。
逆量化電路12對(duì)量化電路8的輸出數(shù)據(jù)執(zhí)行逆量化處理,因此再生量化 電路8的輸入數(shù)據(jù)。逆正交變換電路13對(duì)逆量化電路12的輸出數(shù)據(jù)執(zhí)行逆 正交變換,因此再生正交變換電路17的輸入數(shù)據(jù)。
去塊濾波器14從移除逆正交變換電路13的輸出數(shù)據(jù)移除塊失真,并且 輸出得到的數(shù)據(jù)。例如,在H,264/AVC中,在解碼的圖像存儲(chǔ)在幀存儲(chǔ)器15 中之前,通過去塊濾波器14適應(yīng)地移除塊失真。
幀存儲(chǔ)器15適當(dāng)?shù)貙㈩A(yù)測(cè)值增加到去塊濾波器14的輸出數(shù)據(jù),并記錄 得到的數(shù)據(jù)作為參照?qǐng)D像信息,該預(yù)測(cè)值由幀內(nèi)預(yù)測(cè)電路5或運(yùn)動(dòng)預(yù)測(cè)和補(bǔ) 償電路6生成。
運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電路6基于預(yù)測(cè)幀(參照幀)檢測(cè)從圖像安排切換緩沖 器3輸出的圖像數(shù)據(jù)的運(yùn)動(dòng)矢量,該預(yù)測(cè)幀基于存儲(chǔ)在幀存儲(chǔ)器15中的參照 圖像信息。運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電路通過使用檢測(cè)的運(yùn)動(dòng)矢量,補(bǔ)償存儲(chǔ)在幀存 儲(chǔ)器15中的參照?qǐng)D像信息的運(yùn)動(dòng),并且檢測(cè)最優(yōu)幀間預(yù)測(cè)模式。當(dāng)在幀間預(yù) 測(cè)模式中執(zhí)行編碼處理時(shí),運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電路生成最優(yōu)模式的預(yù)測(cè)圖像信 息,并且輸出基于預(yù)測(cè)圖像信息的預(yù)測(cè)值到減法電路4。
在幀內(nèi)編碼中,幀內(nèi)預(yù)測(cè)電路5基于幀存儲(chǔ)器15中存儲(chǔ)的參照?qǐng)D像信息 檢測(cè)最優(yōu)幀內(nèi)預(yù)測(cè)模式。當(dāng)在幀內(nèi)預(yù)測(cè)模式中執(zhí)行編碼處理時(shí),幀內(nèi)預(yù)測(cè)電 路從最優(yōu)模式中的參照?qǐng)D像信息生成預(yù)測(cè)圖像信息的預(yù)測(cè)值,并且輸出生成 的預(yù)測(cè)值到減法電路4。
以此方式,圖像編碼設(shè)備1通過幀間編碼處理和幀內(nèi)編碼處理,生成基 于與幀間預(yù)測(cè)相關(guān)聯(lián)的運(yùn)動(dòng)補(bǔ)償?shù)牟钪禂?shù)據(jù)D2和基于幀內(nèi)預(yù)測(cè)的差值數(shù)據(jù) D2,對(duì)該差值數(shù)據(jù)D2執(zhí)行正交變換處理、量化處理和可變長(zhǎng)度編碼處理, 并且發(fā)送得到的數(shù)據(jù)。這里,在AVC中,通過使用與AVC相關(guān)聯(lián)的聯(lián)合模型(AVC參照編碼 方案),定義了基于多通道(multi-pass)編碼的高質(zhì)量模式(高復(fù)雜度模式) 和基于單通道(one-pass)編碼的高速率模式(低復(fù)雜度模式),并且基于清 晰度選擇最優(yōu)模式來(lái)執(zhí)行編碼處理。
在低復(fù)雜度模式中,通過以下表達(dá)式定義指示編碼效率的成本函數(shù),并 且通過比較由成本函數(shù)獲得的成本值Cost (mode),檢測(cè)最優(yōu)模式。
Cost(mode)=SA(T)D+SA(T)DO (1)
這里,SA(T)D是原始圖像和預(yù)測(cè)圖像之間的差值,并且采用原始圖像和 預(yù)測(cè)圖像之間的像素值的絕對(duì)差的和。
SA(T)D0是給予差值SA(T)D的偏移值,基于作為用于確定模式的權(quán)重 的成本和報(bào)頭位,并且表示要提供用于附屬信息的傳輸?shù)臄?shù)據(jù)量。
更具體地,對(duì)于宏塊,絕對(duì)差的和SAD由以下表達(dá)式表示,并且釆用原
始圖像和預(yù)測(cè)模式Mode中的預(yù)測(cè)圖像之間的差值表示。 15 15
SAD = S S I Org(i,j)—Pred (Mode,i,j) ! (2)
替代從表達(dá)式(2)得到的絕對(duì)差的和SAD,通過以下表達(dá)式獲得的
S ATD(mode)可以用作差的和。
15 15
SATD(mode)= S S | Hada薩d (Org(i,j)—Pred (Mode,ij) I (3) i=0 j=0
這里,Hadamard()表示對(duì)目標(biāo)矩陣應(yīng)用Hadamard變換矩陣的Hadamard
變換運(yùn)算,如以下表達(dá)式所示。
Hadamard(A)=HTAH (4)
Hadamard變換矩陣由表達(dá)式(5 )表示,其中hT是Hadamard變換矩陣 的轉(zhuǎn)置矩陣。
/- 飛
(5)
、i 丄 1 丄」
在前向預(yù)測(cè)模式中,偏置值SA(T)D0由以下表達(dá)式表示,
13SA(T)D0=QP0(QP).(2xcode—number—of—ref—idxfwd+Bit—to—code—MVDF W) (6)
這里,QPO(QP)是將量化參數(shù)QP轉(zhuǎn)換為量化比例的函數(shù),MVDFW是與 前向預(yù)測(cè)相關(guān)聯(lián)的運(yùn)動(dòng)矢量,并且Bit—to一code是與運(yùn)動(dòng)矢量相關(guān)耳關(guān)的比特流 的編碼量。
在反向預(yù)測(cè)模式中,偏置值SA(T)D0由以下表達(dá)式表示。
SA(T)D0=QP0(QP)xBit—to—code—MVDBW (7)
這里,MVDBW是與反向預(yù)測(cè)相關(guān)聯(lián)的運(yùn)動(dòng)矢量
在雙向預(yù)測(cè)模式中,偏置值SA(T)D0由以下表達(dá)式表示。
SA(T)D0=QP0(QP).(2xcode—number—of—ref—idxfwd+Bit—to—code—forward —B lk—size+B it—to—code—backwardB lk—size+B it—to—code—M VDF W+B it to—code 一MVDBW) (8)
這里,Bit—to—code—forward—Blk_size和Bit—to—code—backward—Blk一size 分別是傳輸關(guān)于與前向預(yù)測(cè)和反相預(yù)測(cè)相關(guān)聯(lián)的運(yùn)動(dòng)補(bǔ)償塊的信息所需的比 特流的編碼量。
在直接模式中,偏置值SA(T)D0由以下表達(dá)式表示。
S A(T)D0=-16xQP0(QP) (9)
在4x4之間預(yù)測(cè)模式中,偏置值SA(T)D0由以下表達(dá)式表示。 SA(T)D0=24xQP0(QP) (10)
從成本函數(shù)中檢測(cè)具有最小成本值Cost的運(yùn)動(dòng)矢量,該成本值Cost應(yīng)用 到運(yùn)動(dòng)矢量的4企測(cè)并且由以下表達(dá)式表示。 Cost=SA(T)D+SA(T)D0
SA(T)D0=QP0(QP).(Bits—to—code—vector+2xcode—number—of—ref index—f wd) (11)
因此,當(dāng)在低復(fù)雜度模式中檢測(cè)最優(yōu)模式時(shí),編碼設(shè)備l的幀內(nèi)預(yù)測(cè)電 路5和運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電路6使用亮度信號(hào)計(jì)算幀內(nèi)編碼和幀間編碼的所有 預(yù)測(cè)模式的成本值Cost。編碼設(shè)備選擇具有最低成本值的預(yù)測(cè)模式,并且檢 測(cè)亮度信號(hào)的最優(yōu)模式。因此,當(dāng)選擇幀內(nèi)編碼時(shí),計(jì)算幀內(nèi)預(yù)測(cè)模式中的 色差信號(hào)的成本值,并且通過計(jì)算結(jié)果的比較將基于最低成本值的幀內(nèi)預(yù)測(cè) 模式設(shè)置為色差信號(hào)的最優(yōu)模式。
例如,在JP-A-2003-230149中公開了使用成本函數(shù)選擇預(yù)測(cè)模式的各種裝置。
因此,編碼設(shè)備具有以下操作,該編碼設(shè)備在每個(gè)宏塊,通過基于表示 編碼效率的成本函數(shù)的成本值的比較,從多個(gè)幀內(nèi)預(yù)測(cè)模式和多個(gè)幀間預(yù)測(cè) 模式中檢測(cè)要提供給編碼處理的最優(yōu)模式,并且以所述最優(yōu)模式編碼圖像數(shù)據(jù)。
1/4像素精度運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電路63在每個(gè)幀間預(yù)測(cè)模式,計(jì)算具有1/2 像素精度的多個(gè)運(yùn)動(dòng)矢量的成本值,該多個(gè)運(yùn)動(dòng)矢量是最優(yōu)運(yùn)動(dòng)矢量的候選, 并且基于所述成本值的梯度,計(jì)算具有1/4像素精度的最優(yōu)運(yùn)動(dòng)矢量和具有 1/4像素精度的最優(yōu)運(yùn)動(dòng)矢量的成本值。
1/4像素精度運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電路63在每個(gè)幀間預(yù)測(cè)模式,計(jì)算具有1/2 像素精度的多個(gè)運(yùn)動(dòng)矢量的成本值,該多個(gè)運(yùn)動(dòng)矢量是最優(yōu)運(yùn)動(dòng)矢量的候選, 并且基于最高N個(gè)成本值的優(yōu)先級(jí),其中區(qū)分了具有1/2像素精度的各成本 值的優(yōu)先級(jí),計(jì)算具有1/4像素精度的最優(yōu)運(yùn)動(dòng)矢量和具有1/4像素精度的最 優(yōu)運(yùn)動(dòng)矢量的成本值。
1/4像素精度運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電路63在每個(gè)幀間預(yù)測(cè)模式,計(jì)算具有1/2 像素精度的多個(gè)運(yùn)動(dòng)矢量的成本值,該多個(gè)運(yùn)動(dòng)矢量是最優(yōu)運(yùn)動(dòng)矢量的候選, 并且基于來(lái)自具有1/2像素精度的成本值中的最低成本值的至少三個(gè)成本值 的優(yōu)先級(jí),計(jì)算具有1/4像素精度的最優(yōu)運(yùn)動(dòng)矢量和具有1/4像素精度的最優(yōu) 運(yùn)動(dòng)矢量的成本值。
以下,將參照?qǐng)D2所示的流程圖,描述采用根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)矢 量檢測(cè)設(shè)備的圖像編碼設(shè)備中的選擇最優(yōu)模式的處理序列。
當(dāng)順序開始時(shí)(SA1),在作為候選的所有幀間預(yù)測(cè)模式中(SA2),運(yùn)動(dòng) 預(yù)測(cè)和補(bǔ)償電路6使用全像素精度運(yùn)動(dòng)補(bǔ)償和檢測(cè)電路61計(jì)算全像素的成本 值Cost (SA3)。此時(shí),通過表達(dá)式(2)和(3)的使用,計(jì)算作為候選的具 有全像素精度的運(yùn)動(dòng)矢量的SA(T)D。例如,當(dāng)搜索具有全像素精度的、垂直 方向上100和水平方向上100的范圍時(shí),SA(T)D的運(yùn)算執(zhí)行100 x 100次。 使用SA(T)D從表達(dá)式(11 )計(jì)算成本值Cost,并且計(jì)算具有最低成本值Cost 的運(yùn)動(dòng)矢量(SA3)。
1/2像素精度運(yùn)動(dòng)補(bǔ)償和檢測(cè)電路62補(bǔ)償具有全像素精度的最低成本值 Cost的運(yùn)動(dòng)矢量周圍的、具有1/2像素精度的點(diǎn)的作為候選的運(yùn)動(dòng)矢量的運(yùn) 動(dòng)(SA4)。也就是說,例如如圖4所示,具有1/2像素精度的9個(gè)點(diǎn)是作為候選的運(yùn)動(dòng)矢量。在該情況下,使用6級(jí)(6-tap) FIR濾波器準(zhǔn)備具有1/2 像素精度的點(diǎn)的像素。
隨后,計(jì)算各個(gè)1/2像素點(diǎn)的SA(T)D和成本值Cost。
然后,1/4像素精度運(yùn)動(dòng)補(bǔ)償和檢測(cè)電路63從具有1/2像素精度的SA(T)D 和成本值Cost預(yù)測(cè)具有1/4像素精度的最優(yōu)運(yùn)動(dòng)矢量,并且通過預(yù)測(cè)計(jì)算其 SA(T)D和成本值Cost ( SA6 )。稍后將描述其細(xì)節(jié)。
隨后,運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電路6計(jì)算直接模式中的成本值Cost (SA7)。幀 內(nèi)預(yù)測(cè)電路5計(jì)算所有幀內(nèi)模式中的成本值Cost ( SA8 )。通過從幀間預(yù)測(cè)模 式、直接模式和幀內(nèi)預(yù)測(cè)模式中選擇具有最小成本值Cost的模式,確定了最 優(yōu)模式(SA9)。然后,結(jié)束該序列(SAIO)。直接模式概念上包括時(shí)間直接 模式和空間直接模式。
將參照?qǐng)D3所示的流程圖,詳細(xì)描述由根據(jù)本發(fā)明實(shí)施例的圖像編碼設(shè) 備的1/4像素精度運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電路63執(zhí)行的處理序列。
以下,具有1/2像素精度的成本值Cost將稱為Cost—half,而具有l(wèi)/4像 素精度的成本值Cost將稱為Cost-quarter。在圖3所示的序列中,從Cost—half 得出具有1/4像素精度的運(yùn)動(dòng)矢量的SA(TD)和Cost-quarter。
也就是說,當(dāng)序列開始時(shí)(SB1), 1/4像素精度運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償電路63 首先確定具有Cost-half的最小值的點(diǎn)的絕對(duì)值是否顯著小(SB2)。當(dāng)SB2 的確定結(jié)果為是時(shí),將具有Cost-half的最小值的點(diǎn)指定為具有1/4像素精度 的運(yùn)動(dòng)矢量,將1/2像素的最小SATD值設(shè)置運(yùn)動(dòng)矢量的SATD值,并且使 用具有最小值的點(diǎn)的SATD值計(jì)算成本值Cost-quarter ( SB7 )。
當(dāng)SB2的確定結(jié)果為否時(shí),確定具有Cost-half的最小值的點(diǎn)的SATD值 是否顯著小于具有Cost—half的第二最小值的點(diǎn)的SATD值(SB3)。這里,當(dāng) 確定結(jié)果為是時(shí),類似于作為之前確定結(jié)果的處理,將具有Cost—half的最小 值的點(diǎn)指定為具有1/4像素精度的運(yùn)動(dòng)矢量,將1/2像素的最小SATD值設(shè)置 運(yùn)動(dòng)矢量的SATD值,并且使用具有最小值的點(diǎn)的SATD值計(jì)算成本值Cost -quarter ( SB7 )。
也就是說,例如,如圖5A所示,作為兩個(gè)點(diǎn)Bestl和Best2的比較結(jié)果, 當(dāng)Bestl的SATD比率(或差的絕對(duì)值)非常小時(shí),將Bestl的位置(即,具 有1/2像素精度的最佳位置)輸出作為具有1/4像素精度的運(yùn)動(dòng)矢量,并且使 用具有最小值的點(diǎn)的SATD值計(jì)算Cost—quarter。這里,"非常小,,意味著Bestl的絕對(duì)值是770等的情況。
當(dāng)SB3的確定結(jié)果為否時(shí),確定具有Cost-half的最小值的點(diǎn)的SATD值 和具有Cost-half的第二最小值的點(diǎn)的SATD值之間的差是否小,以及具有 Cost-half的第二最小值的點(diǎn)的SATD值和具有Cost—half的第三最小值的點(diǎn)的 SATD值是否相互接近(它們之間的差小)(SB4)。這里,當(dāng)確定結(jié)果為是時(shí), 類似于作為之前確定結(jié)果的處理,將具有Cost-half的最小值的點(diǎn)的SATD值 指定為具有1/4像素精度的運(yùn)動(dòng)矢量的SATD值,并且使用具有最小值的點(diǎn) 的SATD值計(jì)算成本值Cost-quarter ( SB7 )。
也就是說,例如,如圖5B所示,作為三個(gè)點(diǎn)Bestl到Best3的比較結(jié)果, 當(dāng)Bestl和Best2的SATD比率小,并且Best2和Best3的SATD值相互接近 (它們之間的差小)時(shí),將Bestl的位置輸出作為具有1/4像素精度的運(yùn)動(dòng)矢 量,并且使用具有最小值的點(diǎn)的SATD值計(jì)算Cost-quarter。這里,"Bestl和 Best2的SATD比率小,,意味著差等于或小于1000等的情況。
當(dāng)SB4的確定結(jié)果為否時(shí),確定具有Cost-half的最小值的點(diǎn)的SATD值 是否接近具有第二最小值的點(diǎn)的值,以及具有第二最小值的點(diǎn)的值和具有第 三最小值的點(diǎn)的值之間的差是否小(SB5)。這里,當(dāng)確定結(jié)果為是時(shí),將具 有Cost-half的最小值的點(diǎn)和具有Cost—half的第二最小值的點(diǎn)之間的中點(diǎn)指 定為具有1/4像素精度的運(yùn)動(dòng)矢量,并且基于具有第二最小和第三最小值點(diǎn) 的SATD值的梯度,通過預(yù)測(cè)1/4像素的SATD值計(jì)算Cost-quarter的值(SB8 )。
也就是說,如圖5C所示,作為例如三個(gè)點(diǎn)Bestl到Best3的比較結(jié)果, 當(dāng)Bestl和Best2的SATD值相互接近(它們的比率或差小等),并且Best2 的SATD值顯著小于Best3的SATD值(它們的比率或差小等)時(shí),將Bestl 和Best2之間的中點(diǎn)輸出作為具有1/4像素精度的運(yùn)動(dòng)矢量,并且使用具有最 小值的點(diǎn)的SATD值計(jì)算Cost-quarter。從Best2和Best3的梯度計(jì)算SATD 值。
這里,"Bestl和Best2的比率小,,意味著比率為0.9等的情況,而"Best2 和Best3的比率小,,意味著比率為0.99等的情況。"Bestl和Best2之間的差 小"意味著差為500等的情況,而"Best2和Best3之間的差小"意味著差為 250等的情況。
當(dāng)SB5的確定結(jié)果為否時(shí),對(duì)應(yīng)于具有Cost-half的最小值的點(diǎn)的SATD 值、具有第二最小值的點(diǎn)的SATD值、和具有第三最小值的點(diǎn)的SATD值相互接近(它們的比率或差小等)。此時(shí),確定具有最小值的點(diǎn)、具有第二最小
值的點(diǎn)、和具有第三最小值的點(diǎn)是否以該順序排列在直線上(SB6)。當(dāng)SB6 的確定結(jié)果為是時(shí),例如,將位于從具有第二最小值的點(diǎn)到具有最小值的點(diǎn) 的延長(zhǎng)線上的1/4像素點(diǎn)指定為具有1/4像素精度的運(yùn)動(dòng)矢量,從具有最小值 的點(diǎn)和具有第二最小值的點(diǎn)的SATD值的梯度預(yù)測(cè)1/4像素的SATD值,并 且計(jì)算Cost-quarter的值(SB9 )。
也就是說,如圖5D所示,例如作為三個(gè)點(diǎn)Bestl到Best3的比較結(jié)果, 當(dāng)Bestl和Best2的SATD值相互接近(它們的比率或差小等)、并且Best2 和Best3的SATD值相互接近(它們的比率或差小等)時(shí),確定各點(diǎn)是否排 列在直線上。
如圖6A所示,例如,當(dāng)確定各點(diǎn)排列在直線上時(shí),將不同于點(diǎn)Bestl到 Best3的點(diǎn)(例如,外部插入的點(diǎn))輸出作為具有1/4像素精度的運(yùn)動(dòng)矢量, 并且使用具有Cost-half的最小值的點(diǎn)的SATD值計(jì)算Cost-quarter的值。
這里,"Bestl和Best2的比率小,,意味著比率為0.99等的情況,而"Best2 和Best3的比率小,,意味著比率為0.9等的情況。"Bestl和Best2之間的差小" 意味著差為250等的情況,而"Best2和Best3之間的差小"意味著差為500 等的情況。
當(dāng)SB6的確定結(jié)果為否時(shí),將指示位于具有Cost—half的最小值的點(diǎn)、具 有第二最小值的點(diǎn)、以及具有第三最小值的點(diǎn)的中間的、具有I/4像素精度 的點(diǎn)的運(yùn)動(dòng)矢量指定為具有1/4像素精度的運(yùn)動(dòng)矢量,從具有最小值的點(diǎn)和 具有第二最小值的點(diǎn)的SATD值的梯度預(yù)測(cè)1M像素的SATD值,并且計(jì)算 Cost—quarter的值(SB 10)。
也就是說,如圖5D所示,例如作為三個(gè)點(diǎn)Bestl到Best3的比較結(jié)果, 當(dāng)Bestl和Best2的SATD值相互接近(它們的比率或差小等)、并且Best2 和Best3的SATD值相互接近(它們的比率或差小等)時(shí),確定各點(diǎn)是否排 列在直線上。
這里,"Bestl和Best2的比率小,,意味著比率為0.99等的情況,而"Best2 和Best3的比率小,,意味著比率為0.99等的情況。"Bestl和Best2之間的差 小,,意味著差為250等的情況,而"Best2和Best3之間的差小"意味著差為 250等的情況。
如圖6B所示,當(dāng)各點(diǎn)沒有排列在直線上但是相互重疊時(shí),將點(diǎn)Bestl到Best3的中點(diǎn)輸出作為具有1/4像素精度的運(yùn)動(dòng)矢量,并且^f吏用具有最小值的 點(diǎn)的SATD值計(jì)算Cost-quarter的值。
以此方式,結(jié)束一系列處理(SB11 )。
通過任意組合SB7到SB10的處理,可以從具有1/2像素精度的成本值 計(jì)算具有1/4像素精度的運(yùn)動(dòng)矢量和具有1/4像素精度的運(yùn)動(dòng)矢量的SATD值 和成本值。
也就是說,通過組合下述(A)到(E),可以從具有1/2像素精度的成本 值計(jì)算具有1/4像素精度的運(yùn)動(dòng)矢量和具有1/4像素精度的運(yùn)動(dòng)矢量的SATD 值和成本值。
(A)在1/2像素的最小SAD或SATD值的絕對(duì)值小時(shí),或者在1/2像 素的最小SAD或SATD值顯著小于第二最小SAD或SATD值時(shí),將指示具 有最小SAD或SATD值的點(diǎn)的運(yùn)動(dòng)矢量指定為用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量。然 后,使用1/2像素的最小SAD或SATD值作為運(yùn)動(dòng)矢量的最小SAD或SATD 值,計(jì)算運(yùn)動(dòng)矢量的成本值。
(B )在1/2像素的最小SAD或SATD值小于第二最小SAD或SATD值、 并且第二最小SAD或SATD值和第三最小SAD或SATD值之間的差值小時(shí), 將指示具有最小SAD或SATD值的點(diǎn)的運(yùn)動(dòng)矢量指定為用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng) 矢量。然后,使用1/2像素的最小SAD或SATD值作為運(yùn)動(dòng)矢量的最小SAD 或SATD值,計(jì)算運(yùn)動(dòng)矢量的成本值。
(C )在1/2像素的最小SAD或SATD值和第二最小SAD或SATD值之 間的差值小、并且第二最小SAD或SATD值和第三最小SAD或SATD值之 間的差值大時(shí),將指示具有最小SAD或SATD值的點(diǎn)和具有第二最小SAD 或SATD值的點(diǎn)之間的中點(diǎn)的運(yùn)動(dòng)矢量指定為用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量。然 后,從三個(gè)點(diǎn)的SAD或SATD值的關(guān)系計(jì)算該運(yùn)動(dòng)矢量的SAD或SATD值, 并且計(jì)算該運(yùn)動(dòng)矢量的成本值。
(D )在1/2像素的最小SAD或SATD值和第二最小SAD或SATD值之 間的差值小、第二最小SAD或SATD值和第三最小SAD或SATD值之間的 差值小、并且具有最小SAD或SATD值的點(diǎn)、具有第二最小SAD或SATD 值的點(diǎn)和具有第三最小SAD或SATD值的點(diǎn)以此順序排列在直線上時(shí),將指 示位于從具有第二最小SAD或SATD值的點(diǎn)到具有最小SAD或SATD值的 點(diǎn)的延長(zhǎng)線上的、具有1/4像素精度的點(diǎn)的運(yùn)動(dòng)矢量作為用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量。然后,從三個(gè)點(diǎn)的SAD或SATD值的關(guān)系計(jì)算要用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn) 動(dòng)矢量的SAD或SATD值,并且計(jì)算該運(yùn)動(dòng)矢量的成本值。(E )在1/2像素的最小SAD或SATD值和第二最小SAD或SATD值之 間的差值小、第二最小SAD或SATD值和第三最小SAD或SATD值之間的 差值小、并且具有最小SAD或SATD值的點(diǎn)、具有第二最小SAD或SATD 值的點(diǎn)和具有第三最小SAD或SATD值的點(diǎn)沒有排列在直線上時(shí),將指示位 于具有最小SAD或SATD值的點(diǎn)、具有第二最小SAD或SATD值的點(diǎn)、以 及具有第三最小SAD或SATD值的點(diǎn)的中間的、具有1/4像素精度的點(diǎn)的運(yùn) 動(dòng)矢量作為用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量。然后,從三個(gè)點(diǎn)的SAD或SATD值的 關(guān)系計(jì)算要用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量的SAD或SATD值,并且計(jì)算該運(yùn)動(dòng)矢 量的成本值。全部(A)到(E )的組合最有效。(A)+(B)+(C)+(D)、 (A)+(B)+(C)、 (A)+(B) 和(A)的組合以此順序變得效率較低。然而,本發(fā)明不限于這些組合。當(dāng)條件 不滿足時(shí),具有1/2像素精度的最佳點(diǎn)可以用作具有1/4像素精度的點(diǎn)。圖7示出了圖示當(dāng)采用(A)+(B)+(C)+(D)的組合時(shí)的處理序列的流程圖。 相同的參照標(biāo)號(hào)指示圖3中相同的處理,并且省略了重復(fù)描述。當(dāng)SB6的確 定結(jié)果為否時(shí),該順序結(jié)束(SBll)。圖8示出了圖示當(dāng)采用(A)+(B)+(C)的組合時(shí)的處理序列的流程圖。相同 的參照標(biāo)號(hào)指示圖3中相同的處理,并且省略了重復(fù)描述。當(dāng)SB6的確定結(jié) 果為否時(shí),該順序結(jié)束(SBll)。圖9示出了圖示當(dāng)采用(A)+(B)的組合時(shí)的處理序列的流程圖。相同的參 照標(biāo)號(hào)指示圖3中相同的處理,并且省略了重復(fù)描述。當(dāng)SB6的確定結(jié)果為 否時(shí),該順序結(jié)束(SB11 )。圖10示出了圖示當(dāng)采用(A)的組合時(shí)的處理序列的流程圖。相同的參照 標(biāo)號(hào)指示圖3中相同的處理,并且省略了重復(fù)描述。當(dāng)SB6的確定結(jié)果為否 時(shí),該順序結(jié)束(SB11 )。如上面詳細(xì)描述的,根據(jù)本發(fā)明的實(shí)施例,通過使用1/4像素精度預(yù)測(cè) 和補(bǔ)償單元,可以大大地減少SATD運(yùn)算的數(shù)量,從而減少了循環(huán)的數(shù)量和 硬件規(guī)模的數(shù)量。因?yàn)閺木哂?/2像素精度的運(yùn)動(dòng)補(bǔ)償和檢測(cè)的結(jié)果計(jì)算具有1/4像素精度 的運(yùn)動(dòng)矢量、SA(T)D值和成本值,所以不必為1/4像素的運(yùn)動(dòng)檢測(cè)準(zhǔn)備具有1/4像素精度的像素,并且可以減少必需的存儲(chǔ)器容量設(shè)備。盡管已經(jīng)參照各實(shí)施例描述了本發(fā)明,但是本發(fā)明不限于各實(shí)施例,并 且可以以各種形式修改而不偏離本發(fā)明的要點(diǎn)。例如,1/4像素精度運(yùn)動(dòng)矢量預(yù)測(cè)電路可以包括預(yù)測(cè)電路,其使用指示噪 聲水平的指示符、像素的變化值和平均值、以及相鄰塊的運(yùn)動(dòng)矢量計(jì)算具有 1/4像素精度的運(yùn)動(dòng)矢量。盡管在上述實(shí)施例中已經(jīng)將成本值Cost、 SAD和SATD作為示例,但是本發(fā)明不限于實(shí)施例中的這些,并且可以采用MAE (平均絕對(duì)誤差) 1n, 1 n<formula>formula see original document page 21</formula>
這里,MAE是絕對(duì)誤差ei=fi-yi的加權(quán)平均值。在上述表達(dá)式中,fi表 示預(yù)測(cè)值,而yi表示真實(shí)值。根據(jù)本發(fā)明實(shí)施例的算法可以應(yīng)用于使用運(yùn)動(dòng)矢量的NR (噪聲減少)設(shè) 備,如時(shí)間濾波器。在該情況下,檢測(cè)運(yùn)動(dòng)矢量,并且計(jì)算成本值Cost和運(yùn) 動(dòng)矢量。然后,依賴于成本值Cost,適應(yīng)地改變時(shí)間濾波器的強(qiáng)度,并且使 用多個(gè)幀作為輸入執(zhí)行濾波操作,從而獲得從其中移除了噪聲的幀。本申請(qǐng)包含涉及于2008年7月15日向日本專利局提交的日本優(yōu)先權(quán)專 利申請(qǐng)JP 2008-184040的主題內(nèi)容,在此通過引用并入其全部?jī)?nèi)容。本領(lǐng)域技術(shù)人員要理解的是,依賴于設(shè)計(jì)要求和其他因素,可以出現(xiàn)各 種修改、組合、子組合和替代,只要它們?cè)跈?quán)利要求或其等效的范圍內(nèi)。
權(quán)利要求
1.一種運(yùn)動(dòng)矢量檢測(cè)設(shè)備,包括運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償裝置,用于在每個(gè)預(yù)測(cè)模式計(jì)算具有第一像素精度的多個(gè)運(yùn)動(dòng)矢量的成本值,所述多個(gè)運(yùn)動(dòng)矢量是最優(yōu)運(yùn)動(dòng)矢量的候選,并且基于所述成本值的梯度,計(jì)算具有第二像素精度的最優(yōu)運(yùn)動(dòng)矢量和具有第二像素精度的最優(yōu)運(yùn)動(dòng)矢量的成本值。
2. —種運(yùn)動(dòng)矢量檢測(cè)設(shè)備,包括運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償裝置,用于在每個(gè)預(yù)測(cè)模式計(jì)算具有第一像素精度的多 個(gè)運(yùn)動(dòng)矢量的成本值,該多個(gè)運(yùn)動(dòng)矢量是最優(yōu)運(yùn)動(dòng)矢量的候選,并且使用具 有第一像素精度的最高N個(gè)(其中N-1, 2, 3,...)成本值,計(jì)算具有第二 像素精度的最優(yōu)運(yùn)動(dòng)矢量和具有第二像素精度的最優(yōu)運(yùn)動(dòng)矢量的成本值。
3. —種運(yùn)動(dòng)矢量檢測(cè)方法,包括在每個(gè)預(yù)測(cè)模式,計(jì)算具有第一像素精度的多個(gè)運(yùn)動(dòng)矢量的成本值,該 多個(gè)運(yùn)動(dòng)矢量是最優(yōu)運(yùn)動(dòng)矢量的候選;以及基于所述成本值的梯度,計(jì)算具有第二像素精度的最優(yōu)運(yùn)動(dòng)矢量和具有 第二像素精度的最優(yōu)運(yùn)動(dòng)矢量的成本值。
4. 一種圖像編碼設(shè)備,包括編碼裝置,用于在每個(gè)預(yù)定塊,通過指示編碼效率的成本函數(shù)的成本值 的比較,從多個(gè)第一預(yù)測(cè)模式和多個(gè)第二預(yù)測(cè)模式中檢測(cè)要提供給編碼處理 的最優(yōu)模式,并且以所述最優(yōu)模式編碼圖像數(shù)據(jù);以及運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償裝置,用于在每個(gè)第一預(yù)測(cè)模式計(jì)算具有第一像素精度 的多個(gè)運(yùn)動(dòng)矢量的成本值,該多個(gè)運(yùn)動(dòng)矢量是最優(yōu)運(yùn)動(dòng)矢量的候選,并且基 于所述成本值的梯度,計(jì)算具有第二像素精度的最優(yōu)運(yùn)動(dòng)矢量和具有第二像 素精度的最優(yōu)運(yùn)動(dòng)矢量的成本值。
5. 如權(quán)利要求4所述的圖像編碼設(shè)備,其中所述第一預(yù)測(cè)模式是幀間預(yù) 測(cè)模式,所述第二預(yù)定模式是幀內(nèi)預(yù)測(cè)模式,所述第一像素精度是1/2像素 精度,而所述第二像素精度是l/4像素精度。
6. 如權(quán)利要求4所述的圖像編碼設(shè)備,其中所述第二像素精度比所述第 一像素精度更高。
7. 如權(quán)利要求4所述的圖像編碼設(shè)備,其中所述運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償裝置在每個(gè)第一預(yù)測(cè)模式計(jì)算具有第一像素精度的多個(gè)運(yùn)動(dòng)矢量的成本值,該多個(gè)運(yùn)動(dòng)矢量是最優(yōu)運(yùn)動(dòng)矢量的候選,并且基于最高N個(gè)(其中N=l, 2, 3,...) 成本值的優(yōu)先級(jí),計(jì)算具有第二像素精度的最優(yōu)運(yùn)動(dòng)矢量和具有第二像素精 度的最優(yōu)運(yùn)動(dòng)矢量的成本值,其中區(qū)分了具有第一像素精度的各成本值的優(yōu) 先級(jí)。
8. 如權(quán)利要求4所述的圖像編碼設(shè)備,其中所述運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償裝置在 每個(gè)第一預(yù)測(cè)模式計(jì)算具有第一像素精度的多個(gè)運(yùn)動(dòng)矢量的成本值,該多個(gè) 運(yùn)動(dòng)矢量是最優(yōu)運(yùn)動(dòng)矢量的候選,并且基于來(lái)自具有第一像素精度的成本值 中的最低成本值的至少三個(gè)成本值的優(yōu)先級(jí),計(jì)算具有第二像素精度的最優(yōu) 運(yùn)動(dòng)矢量和具有第二像素精度的最優(yōu)運(yùn)動(dòng)矢量的成本值。
9. 如權(quán)利要求5所述的圖像編碼設(shè)備,其中在最小SAD或SATD值的 絕對(duì)值小時(shí),所述運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償裝置將指示具有最小SAD值或最小SATD 值的點(diǎn)的運(yùn)動(dòng)矢量指定為用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量,該最小SAD值是1/2像 素中的絕對(duì)預(yù)測(cè)差值的和,該最小SATD值是絕對(duì)值的和,該絕對(duì)值是通過 對(duì)預(yù)測(cè)差值執(zhí)行Hadamard變換獲得的,并且使用具有1/2像素精度的最小 SAD或SATD值作為具有1/4像素精度的運(yùn)動(dòng)矢量的SAD或SATD值,計(jì)算 運(yùn)動(dòng)矢量的成本值。
10. 如權(quán)利要求5所述的圖像編碼設(shè)備,其中在最小SAD或SATD值顯 著小于第二最小SAD或SATD值時(shí),所述運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償裝置將指示具有最 小SAD值或最小SATD值的點(diǎn)的運(yùn)動(dòng)矢量指定為用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量, 該最小SAD值是1/2像素中的絕對(duì)預(yù)測(cè)差值的和,該最小SATD值是絕對(duì)值 的和,該絕對(duì)值是通過對(duì)預(yù)測(cè)差值執(zhí)行Hadamard變換荻得的,并且使用具有 1/2像素精度的最小SAD或SATD值作為具有1/4像素精度的運(yùn)動(dòng)矢量的SAD 或SATD值,計(jì)算運(yùn)動(dòng)矢量的成本值。
11. 如權(quán)利要求5所述的圖像編碼設(shè)備,其中在最小SAD或SATD值小 于第二最小SAD或SATD值、并且第二最小SAD或SATD值和第三最小SAD 或SATD值之間的差值小時(shí),所述運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償裝置將指示具有最小SAD 值或最小SATD值的點(diǎn)的運(yùn)動(dòng)矢量指定為用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量,該最小 SAD值是1/2像素中的絕對(duì)預(yù)測(cè)差值的和,該最小SATD值是絕對(duì)值的和, 該絕對(duì)值是通過對(duì)預(yù)測(cè)差值執(zhí)行Hadamard變換獲得的,并且使用具有1/2像 素精度的最小SAD或SATD值作為具有1/4像素精度的運(yùn)動(dòng)矢量的SAD或SATD值,計(jì)算運(yùn)動(dòng)矢量的成本值。
12. 如權(quán)利要求5所述的圖像編碼設(shè)備,其中在最小SAD或SATD值和 第二最小SAD或SATD值之間的差值小、并且第二最小SAD或SATD值和 第三最小SAD或SATD值之間的差值大時(shí),所述運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償裝置將指示 具有最小SAD值或最小SATD值的點(diǎn)和具有第二最小SAD或SATD值的點(diǎn) 之間的中點(diǎn)的運(yùn)動(dòng)矢量指定為用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量,該最小SAD值是 1/2像素中的絕對(duì)預(yù)測(cè)差值的和,該最小SATD值是絕對(duì)值的和,該絕對(duì)值是 通過對(duì)預(yù)測(cè)差值執(zhí)行Hadamard變換獲得的,并且從三個(gè)點(diǎn)的SAD或SATD 值的關(guān)系計(jì)算要用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量的SAD或SATD值,并且計(jì)算具有 1/4像素精度的運(yùn)動(dòng)矢量的成本值。
13. 如權(quán)利要求5所述的圖像編碼設(shè)備,其中在最小SAD或SATD值和 第二最小SAD或SATD值之間的差值小、第二最小SAD或SATD值和第三 最小SAD或SATD值之間的差值小、并且具有最小SAD或SATD值的點(diǎn)、 具有第二最小SAD或SATD值的點(diǎn)和具有第三最小SAD或SATD值的點(diǎn)以 此順序排列在直線上時(shí),所述運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償裝置將指示位于從具有第二最 小SAD或SATD值的點(diǎn)到具有最小SAD值或最小SATD值的點(diǎn)的延長(zhǎng)線上 的、具有1/4像素精度的點(diǎn)的運(yùn)動(dòng)矢量作為用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量,該最 小SAD值是1/2像素中的絕對(duì)預(yù)測(cè)差值的和,該最小SATD值是絕對(duì)值的和, 該絕對(duì)值是通過對(duì)預(yù)測(cè)差值執(zhí)行Hadamard變換獲得的,并且從三個(gè)點(diǎn)的SAD 或SATD值的關(guān)系計(jì)算要用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量的SAD或SATD值,并且 計(jì)算具有1/4像素精度的運(yùn)動(dòng)矢量的成本值。
14. 如權(quán)利要求5所述的圖像編碼設(shè)備,其中在最小SAD或SATD值和 第二最小SAD或SATD值之間的差值小、第二最小SAD或SATD值和第三 最小SAD或SATD值之間的差值小、并且具有最小SAD或SATD值的點(diǎn)、 具有第二最小SAD或SATD值的點(diǎn)和具有第三最小SAD或SATD值的點(diǎn)沒 有排列在直線上時(shí),所述運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償裝置將指示位于具有最小SAD值或 最小SATD值的點(diǎn)、具有第二最小SAD或SATD值的點(diǎn)、以及具有第三最小 SAD或SATD值的點(diǎn)的中間的、具有1/4像素精度的點(diǎn)的運(yùn)動(dòng)矢量作為用于 運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量,該最小SAD值是1/2像素中的絕對(duì)預(yù)測(cè)差值的和,該 最小SATD值是絕對(duì)值的和,該絕對(duì)值是通過對(duì)預(yù)測(cè)差值執(zhí)行Hadamard變換 獲得的,并且從三個(gè)點(diǎn)的SAD或SATD值的關(guān)系計(jì)算要用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量的SAD或SATD值,并且計(jì)算具有1/4像素精度的運(yùn)動(dòng)矢量的成本值。
15.如權(quán)利要求5所述的圖像編碼設(shè)備,其中通過使用以下的至少一個(gè) 的組合,所述運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償裝置從具有1/2像素精度的成本值中計(jì)算具有 1/4像素精度的運(yùn)動(dòng)矢量和具有1/4像素精度的運(yùn)動(dòng)矢量的SAD值或SATD 值,該SAD值是絕對(duì)預(yù)測(cè)差值的和,該SATD值是絕對(duì)值的和,該絕對(duì)值是 通過對(duì)預(yù)測(cè)差值執(zhí)行Hadamard變換獲得的第一預(yù)測(cè),在l/2像素的最小SAD或SATD值的絕對(duì)值小時(shí),將指示具 有最小SAD或SATD值的點(diǎn)的運(yùn)動(dòng)矢量指定為用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量,并 且使用具有1/2像素精度的最小SAD或SATD值作為運(yùn)動(dòng)矢量的SAD或 SATD值,計(jì)算具有1/4像素精度的運(yùn)動(dòng)矢量的成本值;第二預(yù)測(cè),在最小SAD或SATD值顯著小于第二最小SAD或SATD值 時(shí),將指示具有最小SAD或SATD值的點(diǎn)的運(yùn)動(dòng)矢量指定為用于運(yùn)動(dòng)補(bǔ)償?shù)?運(yùn)動(dòng)矢量,并且使用具有1/2像素精度的最小SAD或SATD值作為運(yùn)動(dòng)矢量 的SAD或SATD值,計(jì)算具有1/4像素精度的運(yùn)動(dòng)矢量的成本值;第三預(yù)測(cè),在最小SAD或SATD值小于第二最小SAD或SATD值、并 且第二最小SAD或SATD值和第三最小SAD或SATD值之間的差值小時(shí), 將指示具有最小SAD或SATD值的點(diǎn)的運(yùn)動(dòng)矢量指定為用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng) 矢量,并且使用具有1/2像素精度的最小SAD或SATD值作為運(yùn)動(dòng)矢量的SAD 或SATD值,計(jì)算具有1/4像素精度的運(yùn)動(dòng)矢量的成本值;第四預(yù)測(cè),在最小SAD或SATD值和第二最小SAD或SATD值之間的 差值小、并且第二最小SAD或SATD值和第三最小SAD或SATD值之間的 差值大時(shí),將指示具有最小SAD或SATD值的點(diǎn)和具有第二最小SAD或 SATD值的點(diǎn)之間的中點(diǎn)的運(yùn)動(dòng)矢量指定為用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量,從三 個(gè)點(diǎn)的SAD或SATD值的關(guān)系計(jì)算要用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量的SAD或 SATD值,并且計(jì)算具有1/4像素精度的運(yùn)動(dòng)矢量的成本值;第五預(yù)測(cè),在最小SAD或SATD值和第二最小SAD或SATD值之間的 差值小、第二最小SAD或SATD值和第三最小SAD或SATD值之間的差值 小、并且具有最小SAD或SATD值的點(diǎn)、具有第二最小SAD或SATD值的 點(diǎn)和具有第三最小SAD或SATD值的點(diǎn)以此順序排列在直線上時(shí),將指示位 于從具有第二最小SAD或SATD值的點(diǎn)到具有最小SAD或SATD值的點(diǎn)的 延長(zhǎng)線上的、具有1/4像素精度的點(diǎn)的運(yùn)動(dòng)矢量作為用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量,從三個(gè)點(diǎn)的SAD或SATD值的關(guān)系計(jì)算要用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量的 SAD或SATD值,并且計(jì)算具有1/4像素精度的運(yùn)動(dòng)矢量的成本值;以及第六預(yù)測(cè),在最小SAD或SATD值和第二最小SAD或SATD值之間的 差值小、第二最小SAD或SATD值和第三最小SAD或SATD值之間的差值 小、并且具有最小SAD或SATD值的點(diǎn)、具有第二最小SAD或SATD值的 點(diǎn)和具有第三最小SAD或SATD值的點(diǎn)沒有排列在直線上時(shí),將指示位于具 有最小SAD或SATD值的點(diǎn)、具有第二最小SAD或SATD值的點(diǎn)、以及具 有第三最小SAD或SATD值的點(diǎn)的中間的、具有1/4像素精度的點(diǎn)的運(yùn)動(dòng)矢 量作為用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量,從三個(gè)點(diǎn)的SAD或SATD值的關(guān)系計(jì)算要 用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量的SAD或SATD值,并且計(jì)算具有1/4像素精度的 運(yùn)動(dòng)矢量的成本4直。
16. 如權(quán)利要求5所述的圖像編碼設(shè)備,其中所述運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償裝置 包括預(yù)測(cè)電路,其使用指示噪聲水平的指示符、各像素的變化值和平均值、 以及相鄰塊的運(yùn)動(dòng)矢量計(jì)算具有1/4像素精度的運(yùn)動(dòng)矢量。
17. —種指示計(jì)算機(jī)執(zhí)行以下步驟的程序在每個(gè)預(yù)定塊,通過指示編碼效率的成本函數(shù)的成本值的比較,從多個(gè) 第一預(yù)測(cè)模式和多個(gè)第二預(yù)測(cè)模式中檢測(cè)要提供給編碼處理的最優(yōu)模式;在每個(gè)第 一預(yù)測(cè)模式,計(jì)算具有第 一像素精度的多個(gè)運(yùn)動(dòng)矢量的成本值, 該多個(gè)運(yùn)動(dòng)矢量是最優(yōu)運(yùn)動(dòng)矢量的候選,以便以所述最優(yōu)模式編碼圖像數(shù)據(jù); 以及基于所述成本值的梯度,計(jì)算具有第二像素精度的最優(yōu)運(yùn)動(dòng)矢量和具有 第二像素精度的最優(yōu)運(yùn)動(dòng)矢量的成本值。
18. —種運(yùn)動(dòng)矢量檢測(cè)設(shè)備,包括運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償單元,配置為在每個(gè)預(yù)測(cè)模式計(jì)算具有第一像素精度的 多個(gè)運(yùn)動(dòng)矢量的成本值,該多個(gè)運(yùn)動(dòng)矢量是最優(yōu)運(yùn)動(dòng)矢量的候選,并且基于 所述成本值的梯度,計(jì)算具有第二像素精度的最優(yōu)運(yùn)動(dòng)矢量和具有第二像素 精度的最優(yōu)運(yùn)動(dòng)矢量的成本值。
全文摘要
一種運(yùn)動(dòng)矢量檢測(cè)設(shè)備,包括運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償裝置,用于在每個(gè)預(yù)測(cè)模式計(jì)算具有第一像素精度的多個(gè)運(yùn)動(dòng)矢量的成本值,該多個(gè)運(yùn)動(dòng)矢量是最優(yōu)運(yùn)動(dòng)矢量的候選,并且基于所述成本值的梯度,計(jì)算具有第二像素精度的最優(yōu)運(yùn)動(dòng)矢量和具有第二像素精度的最優(yōu)運(yùn)動(dòng)矢量的成本值。
文檔編號(hào)H04N7/26GK101631244SQ200910139938
公開日2010年1月20日 申請(qǐng)日期2009年7月15日 優(yōu)先權(quán)日2008年7月15日
發(fā)明者中里宗弘, 小鷹直彥 申請(qǐng)人:索尼株式會(huì)社;索尼電子公司