基于自適應(yīng)采樣的分層運(yùn)動(dòng)估計(jì)方法和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001] -個(gè)或更多個(gè)示例性實(shí)施例設(shè)及對視頻圖像的運(yùn)動(dòng)估計(jì)，并且更具體地，設(shè)及對 縮小的圖像執(zhí)行的分層運(yùn)動(dòng)估計(jì)。
【背景技術(shù)】
[0002] 一般而言，諸如運(yùn)動(dòng)圖像專家組(MPEG)-1、MPEG-2、MPEG-4視覺(Vi Siial)、H. 261、 H. 263和H. 264/MPEG-4先進(jìn)視頻編碼(AVC)的圖像壓縮方法通過將帖劃分成多個(gè)宏塊，對宏 塊執(zhí)行預(yù)測，獲得預(yù)測塊，并且對原始圖像塊和預(yù)測塊之間的差進(jìn)行轉(zhuǎn)換和量化來壓縮圖 像數(shù)據(jù)。
[0003] 存在兩種類型的預(yù)測方法:帖內(nèi)預(yù)測和帖間預(yù)測。帖內(nèi)預(yù)測通過使用當(dāng)前帖中存 在的周圍塊的數(shù)據(jù)對當(dāng)前塊執(zhí)行預(yù)測。帖間預(yù)測執(zhí)行基于塊的運(yùn)動(dòng)預(yù)測，并從預(yù)先編碼的 一個(gè)或更多個(gè)視頻帖產(chǎn)生與當(dāng)前塊相應(yīng)的預(yù)測塊。

【發(fā)明內(nèi)容】

[0004] 技術(shù)問題
[0005] 需要更加有效和精確地執(zhí)行分層運(yùn)動(dòng)估計(jì)。
[0006] 解決方案
[0007] -個(gè)或更多個(gè)示例性實(shí)施例包括一種通過縮小圖像來執(zhí)行的分層運(yùn)動(dòng)估計(jì)方法。 具體地講，當(dāng)圖像被縮小W便執(zhí)行運(yùn)動(dòng)估計(jì)時(shí)，縮小的圖像帖之間的相關(guān)性得到提高，因此 即使當(dāng)縮小的圖像被使用時(shí)運(yùn)動(dòng)預(yù)測效率也會(huì)得到提高。
[000引有益效果
[0009]根據(jù)W上示例性實(shí)施例中的一個(gè)或更多個(gè)示例性實(shí)施例，通過使用從原始圖像帖 下采樣的低分辨率圖像帖來執(zhí)行運(yùn)動(dòng)預(yù)測，并因此運(yùn)動(dòng)預(yù)測的復(fù)雜度降低。還通過使用在 帖之間具有高相關(guān)性的低分辨率圖像帖來執(zhí)行運(yùn)動(dòng)預(yù)測，并因此可提高運(yùn)動(dòng)預(yù)測的效率。 換句話說，根據(jù)一個(gè)或更多個(gè)示例性實(shí)施例，即使當(dāng)通過使用具有比原始圖像帖的分辨率 低的分辨率的圖像帖執(zhí)行運(yùn)動(dòng)預(yù)測時(shí)，運(yùn)動(dòng)預(yù)測的準(zhǔn)確度仍會(huì)提高，從而提高運(yùn)動(dòng)預(yù)測的 效率。
【附圖說明】
[0010]圖1是根據(jù)示例性實(shí)施例的視頻編碼設(shè)備的框圖；
[0011] 圖2是根據(jù)示例性實(shí)施例的視頻解碼設(shè)備的框圖；
[0012] 圖3是用于描述根據(jù)示例性實(shí)施例的編碼單元的概念的示圖；
[0013] 圖4是根據(jù)示例性實(shí)施例的基于編碼單元的圖像編碼器的框圖；
[0014] 圖5是根據(jù)示例性實(shí)施例的基于編碼單元的圖像解碼器的框圖；
[0015] 圖6是示出根據(jù)示例性實(shí)施例的根據(jù)深度的較深層編碼單元W及分區(qū)的示圖；
[0016] 圖7是用于描述根據(jù)示例性實(shí)施例的編碼單元和變換單元之間的關(guān)系的示圖；
[0017] 圖8是用于描述根據(jù)示例性實(shí)施例的與編碼深度相應(yīng)的編碼單元的編碼信息的示 圖；
[0018] 圖9是根據(jù)示例性實(shí)施例的根據(jù)深度的較深層編碼單元的示圖；
[0019] 圖10至圖12是用于描述根據(jù)示例性實(shí)施例的編碼單元、預(yù)測單元和變換單元之間 的關(guān)系的示圖。
[0020] 圖13是用于描述根據(jù)表1的編碼模式信息的編碼單元、預(yù)測單元和變換單元之間 的關(guān)系的示圖；
[0021 ]圖14是根據(jù)示例性實(shí)施例的分層運(yùn)動(dòng)預(yù)測設(shè)備的框圖；
[0022] 圖15是用于解釋根據(jù)示例性實(shí)施例的輸入圖像帖的下采樣處理的參考示圖；
[0023] 圖16示出了根據(jù)示例性實(shí)施例的通過使用自適應(yīng)下采樣方法下采樣的示例性帖；
[0024] 圖17A和圖17B示出了根據(jù)示例性實(shí)施例的示例性下采樣的帖和將被下采樣的帖；
[0025] 圖18A和圖18B示出了根據(jù)示例性實(shí)施例的通過使用相同的下采樣方法下采樣的 示例性帖；
[0026] 圖19示出了根據(jù)另一示例性實(shí)施例的通過使用自適應(yīng)下采樣方法下采樣的示例 性帖；
[0027] 圖20是根據(jù)另一示例性實(shí)施例的分層運(yùn)動(dòng)預(yù)測設(shè)備的框圖；
[0028] 圖21是用于說明根據(jù)示例性實(shí)施例的通過圖20的分層運(yùn)動(dòng)預(yù)測設(shè)備的運(yùn)動(dòng)矢量 調(diào)整器執(zhí)行的精確調(diào)整運(yùn)動(dòng)矢量的處理的參考示圖；
[0029] 圖22是根據(jù)示例性實(shí)施例的分層運(yùn)動(dòng)預(yù)測方法的流程圖。
[0030] 最佳實(shí)施方式
[0031] 根據(jù)一個(gè)或更多個(gè)示例性實(shí)施例，一種分層運(yùn)動(dòng)預(yù)測方法包括:將包括將被運(yùn)動(dòng) 預(yù)測的塊的第一帖劃分為第一像素組，并通過從劃分出的第一像素組中的每一個(gè)中選擇第 一位置的像素來產(chǎn)生將被運(yùn)動(dòng)預(yù)測的塊的下采樣的第一帖和下采樣的塊;將被編碼然后重 建的第二帖劃分為第二像素組W用于對下采樣的塊進(jìn)行運(yùn)動(dòng)預(yù)測，并通過選擇與從劃分出 的第一像素組中的每一個(gè)的第一位置不同的第二位置的像素來產(chǎn)生下采樣的第二帖;通過 參考下采樣的第二帖對下采樣的塊執(zhí)行運(yùn)動(dòng)預(yù)測，并獲得下采樣的塊的運(yùn)動(dòng)矢量;基于第 一帖的下采樣率擴(kuò)展運(yùn)動(dòng)矢量。
[0032] 根據(jù)一個(gè)或更多個(gè)示例性實(shí)施例，一種分層運(yùn)動(dòng)預(yù)測設(shè)備包括：自適應(yīng)下采樣器， 被配置為將包括將被運(yùn)動(dòng)預(yù)測的塊的第一帖劃分為第一像素組，從劃分出的第一像素組中 的每一個(gè)中選擇第一位置的像素，產(chǎn)生將被運(yùn)動(dòng)預(yù)測的塊的下采樣的第一帖和下采樣的 塊，將被編碼然后重建的第二帖劃分為第二像素組W用于對下采樣的塊進(jìn)行運(yùn)動(dòng)預(yù)測，并 且通過選擇與劃分出的第一像素組中的每一個(gè)的第一位置不同的第二位置的像素來產(chǎn)生 下采樣的第二帖;運(yùn)動(dòng)預(yù)測執(zhí)行器，被配置為通過參考下采樣的第二帖對下采樣的塊執(zhí)行 運(yùn)動(dòng)預(yù)測并獲得下采樣的塊的運(yùn)動(dòng)矢量，并基于第一帖的下采樣率擴(kuò)展運(yùn)動(dòng)矢量。
[0033] 劃分出的第一像素組中的每一個(gè)可包括左上方第一像素、右上方第二像素、左下 方第=像素和右下方第四像素彼此相鄰的四個(gè)像素，其中，在產(chǎn)生下采樣的第一帖的過程 中，第一位置的像素是從包括在第一帖的第一像素組中的所述四個(gè)像素中選擇的，其中，在 產(chǎn)生下采樣的第二帖的過程中，與第一位置不同的第二位置的像素是從包括在第二帖的第 二像素組中的所述四個(gè)像素中選擇的。
[0034] 第一位置和第二位置可基于在第一帖和第二帖被編碼之前被編碼的先前帖的運(yùn) 動(dòng)矢量來確定。
[0035] 第一位置和第二位置可根據(jù)W下項(xiàng)之一來確定:包括在先前帖中的塊的運(yùn)動(dòng)矢量 的平均值W及先前帖的全局運(yùn)動(dòng)矢量的水平軸方向分量和垂直軸方向分量是否具有奇數(shù) 值。
[0036] 如果所述水平軸方向分量具有奇數(shù)值，則第二位置可W是從劃分出的第一像素組 中的每一個(gè)中所包括的像素中處于第一位置的像素沿水平方向移動(dòng)一個(gè)像素后的位置。
[0037] 如果所述垂直軸方向分量具有奇數(shù)值，則第二位置可W是從劃分出的第一像素組 中的每一個(gè)中所包括的像素中處于第一位置的像素沿垂直方向移動(dòng)一個(gè)像素后的位置。 [003引擴(kuò)展運(yùn)動(dòng)矢量的步驟可包括：當(dāng)劃分出的像素組中的每一個(gè)在水平方向上包括m 個(gè)像素（其中，m是整數(shù))并在垂直方向上包括n個(gè)像素（其中，n是整數(shù))時(shí)，將獲得的運(yùn)動(dòng)矢 量的水平軸分量擴(kuò)展m倍并將獲得的運(yùn)動(dòng)矢量的垂直軸分量擴(kuò)展n倍。
[0039] 所述分層運(yùn)動(dòng)預(yù)測方法還可包括:通過在與擴(kuò)展后的運(yùn)動(dòng)矢量所指示的第二帖的 區(qū)域相應(yīng)的捜索范圍內(nèi)確定與將被運(yùn)動(dòng)預(yù)測的塊最相似的相應(yīng)塊來調(diào)整擴(kuò)展后的運(yùn)動(dòng)矢 量。
[0040] 劃分第一帖的操作可包括:不對稱地劃分和進(jìn)行對稱地劃分中的一種。
[0041] 用于對第一帖進(jìn)行下采樣的處理可與用于對第二帖進(jìn)行下采樣的處理不同。
[0042] 第二帖可在第一帖被編碼之前被劃分。
[0043] -種非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì)可記錄有用于執(zhí)行上述方法的計(jì)算機(jī)程序。
【具體實(shí)施方式】
[0044] 現(xiàn)在將詳細(xì)參考實(shí)施例，其示例在附圖中示出，其中，相同的參考標(biāo)號始終指代相 同的元件。在運(yùn)方面，本示例性實(shí)施例可具有不同的形式，并且不應(yīng)被解釋為限于在此闡述 的描述。因此，示例性實(shí)施例通過參照附圖在下面僅被描述用于解釋本描述的各方面。當(dāng)諸 如"…中的至少一個(gè)"的表述位于一列元素后時(shí)，修飾整列元素，而不修飾列表中的單個(gè)元 素。
[0045] 將參照圖1至圖13描述根據(jù)示例性實(shí)施例的基于分層數(shù)據(jù)單元的視頻編碼和視頻 解碼。此外，將參照圖14至圖22描述根據(jù)示例性實(shí)施例的通過使用統(tǒng)一的語法呈現(xiàn)并行處 理類型的視頻編碼方法和設(shè)備W及視頻解碼方法和設(shè)備。
[0046] 圖1是根據(jù)示例性實(shí)施例的視頻編碼設(shè)備100的框圖。
[0047] 視頻編碼設(shè)備100包括最大編碼單元化CU)劃分器110、編碼單元確定器120和輸出 器 130。
[004引LCU劃分器110可基于圖像的當(dāng)前畫面的LCU來劃分當(dāng)前畫面，其中，LCU是具有最 大尺寸的編碼單元。如果當(dāng)前畫面大于LCU，則可將當(dāng)前畫面的圖像數(shù)據(jù)劃分為至少一個(gè) LCU。根據(jù)示例性實(shí)施例的LCU可W是尺寸為32 X 32、64 X 64、128 X 128、256 X 256等的數(shù)據(jù) 單元，其中，數(shù)據(jù)單元的形狀是大于8X8并且寬度和長度為2的倍數(shù)的正方形。圖像數(shù)據(jù)可 根據(jù)至少一個(gè)LCU被輸出至編碼單元確定器120。
[0049]根據(jù)示例性實(shí)施例的編碼單元可由最大尺寸和深度表征。深度表示編碼單元從 LCU被空間劃分的次數(shù)，并且隨著深度加深，根據(jù)深度的較深層編碼單元可從LCU被劃分到 最小編碼單元(SCU) dLCU的深度為最高深度，SCU的深度為最低深度。由于隨著LCU的深度加 深，與每個(gè)深度相應(yīng)的編碼單元的尺寸減小，因此與更高深度相應(yīng)的編碼單元可包括多個(gè) 與更低深度相應(yīng)的編碼單元。
[0050] 如上所述，當(dāng)前畫面的圖像數(shù)據(jù)根據(jù)編碼單元的最大尺寸被劃分為LCU，并且每個(gè) LCU可包括根據(jù)深度被劃分的較深層編碼單元。由于根據(jù)深度對根據(jù)實(shí)施例的LCU進(jìn)行劃 分，因此可根據(jù)深度對包括在LCU中的空間域的圖像數(shù)據(jù)進(jìn)行分層分類。
[0051] 可預(yù)先確定編碼單元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限 審化CU的高度和寬度被分層劃分的總次數(shù)。
[0052] 編碼單元確定器120對通過根據(jù)深度對LCU的區(qū)域進(jìn)行劃分而獲得的至少一個(gè)劃 分區(qū)域進(jìn)行編碼，并且根據(jù)所述至少一個(gè)劃分區(qū)域來確定用于輸出最終編碼的圖像數(shù)據(jù)的 深度。換言之，編碼單元確定器120通過根據(jù)當(dāng)前畫面的LCUW根據(jù)深度的較深層編碼單元 對圖像數(shù)據(jù)進(jìn)行編碼，并選擇具有最小編碼誤差的深度，來確定編碼深度。將確定的編碼深 度和根據(jù)確定的編碼深度的編碼的圖像數(shù)據(jù)輸出到輸出器130。
[0053] 基于與等于或小于最大深度的至少一個(gè)深度相應(yīng)的較深層編碼單元，對LCU中的 圖像數(shù)據(jù)進(jìn)行編碼，并且基于每個(gè)較深層編碼單元比較對圖像數(shù)據(jù)進(jìn)行編碼的結(jié)果。在對 較深層編碼單元的編碼誤差進(jìn)行比較之后，可選擇具有最小編碼誤差的深度?？舍槍γ總€(gè) LCU選擇至少一個(gè)編碼深度。
[0054] 隨著編碼單元根據(jù)深度而被分層地劃分W及隨著編碼單元的數(shù)量增加，LCU的尺 寸被劃分。另外，即使在一個(gè)LCU中編碼單元與同一深度相應(yīng)，仍通過分別測量每個(gè)編碼單 元的圖像數(shù)據(jù)的編碼誤差來確定是否將與同一深度相應(yīng)的每個(gè)編碼單元?jiǎng)澐值礁蜕疃取?因此，即使當(dāng)圖像數(shù)據(jù)被包括在一個(gè)LCU中時(shí)，編碼誤差仍可根據(jù)所述一個(gè)LCU中的區(qū)域而 不同，因此編碼深度可根據(jù)圖像數(shù)據(jù)中的區(qū)域而不同。因此，可在一個(gè)LCU中確定一個(gè)或更 多個(gè)編碼深度，并且可根據(jù)至少一個(gè)編碼深度的編碼單元來對LCU的圖像數(shù)據(jù)進(jìn)行劃分。
[0055] 因此，編碼單元確定器120可確定包括在LCU中的具有樹結(jié)構(gòu)的編碼單元。根據(jù)示 例性實(shí)施例的"具有樹結(jié)構(gòu)的編碼單元"包括LCU中包括的所有較深層編碼單元中的與確定 為編碼深度的深度相應(yīng)的編碼單元?？筛鶕?jù)LCU的同一區(qū)域中的深度來分層地確定編碼深 度的編碼單元，并可在不同區(qū)域中獨(dú)立地確定編碼深度的編碼單元。類似地，可獨(dú)立于另一 區(qū)域中的編碼深度來確定當(dāng)前區(qū)域中的編碼深度。
[0056] 根據(jù)示例性實(shí)施例的最大深度是與從LCU到SCU的劃分次數(shù)有關(guān)的索引。根據(jù)示例 性實(shí)施例的第一最大深度可表示從LCU到SCU的總劃分次數(shù)。根據(jù)示例性實(shí)施例的第二最大 深度可表示從LOJ到SCU的深度等級的總數(shù)。例如，當(dāng)LCU的深度是0時(shí)，對LCU劃分一次的編 碼單元的深度可被設(shè)置為1，對LCU劃分兩次的編碼單元的深度可被設(shè)置為2。運(yùn)里，如果SCU 是LCU被劃分四次的編碼單元，則存在深度0、1、2、3和4的5個(gè)深度等級，并因此第一最大深 度可被設(shè)置為4，第二最大深度可被設(shè)置為5。
[0057] 可根據(jù)LCU執(zhí)行預(yù)測編碼和變換。還根據(jù)LCU，基于根據(jù)等于最大深度的深度或小 于最大深度的深度的較深層編碼單元來執(zhí)行預(yù)測編碼和變換。
[0058] 由于每當(dāng)根據(jù)深度對LCU進(jìn)行劃分時(shí)，較深層編碼單元的數(shù)量增加，因此對隨著深 度加深而產(chǎn)生的所有較深層編碼單元執(zhí)行包括預(yù)測編碼和變換的編碼。為了便于描述，在 LCU中，現(xiàn)在將基于當(dāng)前深度的編碼單元來描述預(yù)測編碼和變換。
[0059] 視頻編碼設(shè)備100可不同地選擇用于對圖像數(shù)據(jù)進(jìn)行編碼的數(shù)據(jù)單元的尺寸或形 狀。為了對圖像數(shù)據(jù)進(jìn)行編碼，