專利名稱：用于視頻譯碼中的子像素分辨率的內(nèi)插濾波器支持的制作方法
技術領域：
本發(fā)明涉及數(shù)字視頻編碼及解碼，且更明確地說，涉及應用于產(chǎn)生視頻編碼及 解碼中所使用的預測性數(shù)據(jù)的濾波技術。
背景技術：
數(shù)字視頻能力可并入到廣泛范圍的裝置中，包括數(shù)字電視、數(shù)字直播系統(tǒng)、無 線廣播系統(tǒng)、個人數(shù)字助理(PDA)、膝上型或桌上型計算機、數(shù)碼相機、數(shù)字記錄裝 置、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電電話及其類似者。數(shù)字視頻 裝置實施視頻壓縮技術(例如由高級視頻譯碼(AVC)第10部分的MPEG-2、MPEG-4或 ITU-TH.264/MPEG-4定義的標準中所描述的視頻壓縮技術)以較有效地發(fā)射及接收數(shù)字 視頻信息。視頻壓縮技術可執(zhí)行空間預測及/或時間預測以減少或移除視頻序列中固有 的冗余?；趬K的幀間譯碼為非常有用的譯碼技術，其依賴于時間預測以減少或移除視 頻序列的連續(xù)經(jīng)譯碼單元的視頻塊之間的時間冗余。所述經(jīng)譯碼單元可包含視頻幀、視 頻幀切片、圖片群組或另一經(jīng)定義單元的經(jīng)編碼視頻塊。對于幀間譯碼，視頻編碼器執(zhí) 行運動估計及運動補償以追蹤兩個或兩個以上鄰近經(jīng)譯碼單元的對應視頻塊的移動。運 動估計產(chǎn)生運動向量，其指示視頻塊相對于一個或一個以上參考幀或其它經(jīng)譯碼單元中 的對應預測視頻塊的位移。運動補償使用所述運動向量以根據(jù)所述一個或一個以上參考 幀或其它經(jīng)譯碼單元產(chǎn)生預測視頻塊。在運動補償之后，通過從正被譯碼的原始視頻塊 減去預測視頻塊來形成殘余視頻塊。視頻編碼器還可應用變換、量化及熵譯碼過程來進一步減少與殘余塊的通信相 關聯(lián)的位速率。變換技術可包含離散余弦變換(DCT)或概念上類似的過程?；蛘?，可使 用小波變換、整數(shù)變換或其它類型的變換。在DCT過程中，作為實例，將像素值集合轉(zhuǎn) 換成變換系數(shù)，其可表示所述像素值在頻域中的能量。量化被應用于所述變換系數(shù)，且 通常涉及減少與任何給定變換系數(shù)相關聯(lián)的位的數(shù)目的過程。熵譯碼包含共同地壓縮一 序列譯碼模式、運動信息、經(jīng)譯碼塊模式及經(jīng)量化變換系數(shù)的一個或一個以上過程。熵 譯碼的實例包括但不限于內(nèi)容自適應可變長度譯碼(CAVLC)及上下文自適應二進制算術 譯碼(CABAC)。經(jīng)譯碼視頻塊可通過可用以創(chuàng)建或識別預測性塊的預測信息及指示正被譯碼的 塊與所述預測性塊之間的差的殘余數(shù)據(jù)塊來表示。所述預測信息可包含用以識別所述預 測性數(shù)據(jù)塊的一個或一個以上運動向量。給定所述運動向量，解碼器能夠重構已用以對殘余數(shù)據(jù)塊進行譯碼的預測性塊。因此，給定殘余塊集合及運動向量集合(且可能給定 某種額外語法)，解碼器可重構原始編碼的視頻幀。基于運動估計及運動補償?shù)膸g譯碼 可實現(xiàn)極好的壓縮，因為連續(xù)的視頻幀或其它類型的經(jīng)譯碼單元通常非常類似。經(jīng)編碼 視頻序列可包含殘余數(shù)據(jù)塊、運動向量且可能包含其它類型的語法。已開發(fā)出內(nèi)插技術以便改進可在幀間譯碼中實現(xiàn)的壓縮的級別。在此情況下， 可從運動估計中所使用的視頻幀或其它經(jīng)譯碼單元的視頻塊的像素來內(nèi)插在運動補償期 間產(chǎn)生的預測性數(shù)據(jù)(其用以對視頻塊進行譯碼)。通常執(zhí)行內(nèi)插以產(chǎn)生預測性半像素值 及預測性四分之一像素值。半像素及四分之一像素值與子像素位置相關聯(lián)。分數(shù)運動向 量可用于以子像素分辨率來識別視頻塊以便捕獲視頻序列中的分數(shù)移動，且進而提供比 整數(shù)視頻塊更類似于正被譯碼的視頻塊的預測性塊。

發(fā)明內(nèi)容
一般來說，本發(fā)明描述在視頻編碼及/或解碼過程的預測階段期間由編碼器及 解碼器應用的濾波技術。所描述的濾波技術可增強在分數(shù)內(nèi)插期間所使用的預測性數(shù)據(jù) 的準確性，且在一些情況下，可改進整數(shù)像素塊的預測性數(shù)據(jù)。本發(fā)明存在若干方面， 包括可用于內(nèi)插的有用十二像素濾波器支持、使用系數(shù)對稱性及像素對稱性來減少為了 配置用于內(nèi)插的濾波器支持而需要在編碼器與解碼器之間發(fā)送的數(shù)據(jù)量的技術及用于以 類似于子像素內(nèi)插的方式來對整數(shù)像素位置處的數(shù)據(jù)進行濾波的技術。本發(fā)明的其它方 面關于用于對位流中的信息進行編碼以傳達濾波器的類型且可能傳達所使用的濾波器系 數(shù)的技術。本發(fā)明還描述用于濾波器系數(shù)的預測性編碼技術。本發(fā)明的這些及其它方面 將從下文的描述而變得顯而易見。在一個實例中，本發(fā)明提供一種方法，其包含獲得像素塊，其中所述像素塊 包括對應于所述像素塊內(nèi)的整數(shù)像素位置的整數(shù)像素值；基于所述整數(shù)像素值而計算與 所述像素塊相關聯(lián)的子像素位置的子像素值，其中計算所述子像素值包含應用內(nèi)插濾波 器，所述內(nèi)插濾波器定義對應于以放射狀形狀圍繞所述子像素位置的十二個或十二個以 上整數(shù)像素位置的集合的二維濾波器支持位置陣列；及基于所述子像素值中的至少一些 而產(chǎn)生預測塊。在另一實例中，本發(fā)明提供一種包含視頻譯碼器的設備，所述視頻譯碼器獲 得像素塊，其中所述像素塊包括對應于所述像素塊內(nèi)的整數(shù)像素位置的整數(shù)像素值；基 于所述整數(shù)像素值而計算與所述像素塊相關聯(lián)的子像素位置的子像素值，其中所述視頻 譯碼器應用內(nèi)插濾波器，所述內(nèi)插濾波器定義對應于以放射狀形狀圍繞所述子像素位置 的十二個或十二個以上整數(shù)像素位置的集合的二維濾波器支持位置陣列；及基于所述子 像素值中的至少一些而產(chǎn)生預測塊。在另一實例中，本發(fā)明提供一種裝置，其包含用于獲得像素塊的裝置，其中 所述像素塊包括對應于所述像素塊內(nèi)的整數(shù)像素位置的整數(shù)像素值；用于基于所述整數(shù) 像素值而計算與所述像素塊相關聯(lián)的子像素位置的子像素值的裝置，其中用于計算所述 子像素值的裝置包含用于應用內(nèi)插濾波器的裝置，所述內(nèi)插濾波器定義對應于以放射狀 形狀圍繞所述子像素位置的十二個或十二個以上整數(shù)像素位置的集合的二維濾波器支持 位置陣列；及用于基于所述子像素值中的至少一些而產(chǎn)生預測塊的裝置。
可以硬件、軟件、固件或其任何組合來實施本發(fā)明中所描述的技術。如果以軟 件來實施，則可在一個或一個以上處理器(例如微處理器、專用集成電路(ASIC)、現(xiàn)場 可編程門陣列(FPGA)或數(shù)字信號處理器(DSP))中執(zhí)行軟件。執(zhí)行所述技術的軟件最 初可存儲于計算機可讀媒體中且加載于處理器中并在處理器中執(zhí)行。因此，本發(fā)明還涵蓋一種計算機可讀存儲媒體，其包含當由處理器執(zhí)行時致使 所述處理器進行以下操作的指令獲得像素塊，其中所述像素塊包括對應于所述像素塊 內(nèi)的整數(shù)像素位置的整數(shù)像素值；基于所述整數(shù)像素值而計算與所述像素塊相關聯(lián)的子 像素位置的子像素值，其中在計算所述子像素值中，所述指令致使所述處理器應用內(nèi)插 濾波器，所述內(nèi)插濾波器定義對應于以放射狀形狀圍繞所述子像素位置的十二個或十二 個以上整數(shù)像素位置的集合的二維濾波器支持位置陣列；及基于所述子像素值中的至少 一些而產(chǎn)生預測塊。本發(fā)明的一個或一個以上方面的細節(jié)陳述于附圖及下文的描述中。本發(fā)明中 所描述的技術的其它特征、目標及優(yōu)點將從所述描述及圖式中且從權利要求書中顯而易 見。


圖1為說明可實施本發(fā)明的技術的一個示范性視頻編碼及解碼系統(tǒng)的框圖。圖2為說明與本發(fā)明一致的可執(zhí)行濾波技術的視頻編碼器的實例的框圖。圖3為說明與預測數(shù)據(jù)相關聯(lián)的整數(shù)像素位置及與經(jīng)內(nèi)插預測數(shù)據(jù)相關聯(lián)的子 像素位置的概念圖。圖4為說明關于九個子像素位置的12像素濾波器支持的概念圖。圖5為說明關于三個水平子像素位置的水平6像素濾波器支持及關于三個垂直子 像素位置的垂直6像素濾波器支持的概念圖。圖6為說明用于對整數(shù)像素位置進行濾波的五像素X五像素濾波器支持的概念 圖。圖7為說明與本發(fā)明一致的四個整數(shù)像素位置及十五個子像素位置的概念圖， 其中陰影用以對可使用濾波器系數(shù)的像素對稱性的像素位置進行分組。圖8為說明相對于子像素的六個水平線性像素支持位置的概念圖，其中陰影展 示系數(shù)對稱性。圖9為說明相對于子像素的六個水平線性像素支持位置的概念圖，其中陰影展 示任何系數(shù)對稱性的缺少。圖10為說明相對于子像素的六個垂直線性像素支持位置的概念圖，其中陰影展 示系數(shù)對稱性。圖11為說明相對于子像素的六個垂直線性像素支持位置的概念圖，其中陰影展 示任何系數(shù)對稱性的缺少。圖12為說明相對于子像素的十二個二維像素支持位置的概念圖，其中陰影展示 任何系數(shù)對稱性的缺少。圖13為說明相對于子像素的十二個二維像素支持位置的概念圖，其中陰影展示 系數(shù)對稱性。
圖14為說明相對于子像素的十二個二維像素支持位置的概念圖，其中陰影展示 系數(shù)對稱性。圖15為說明相對于子像素的十二個二維像素支持位置的概念圖，其中陰影展示 系數(shù)對稱性。圖16為說明視頻解碼器的實例的框圖，所述視頻解碼器可對以本文所描述的方 式編碼的視頻序列進行解碼。圖17為說明與本發(fā)明一致的利用十二像素濾波器支持的視頻編碼器的實例操作 的流程圖。圖18為說明與本發(fā)明一致的利用十二像素濾波器支持的視頻解碼器的實例操作 的流程圖。圖19為說明與本發(fā)明一致的利用系數(shù)對稱性及像素對稱性的視頻編碼器的實例 操作的流程圖。圖20為說明與本發(fā)明一致的利用系數(shù)對稱性及像素對稱性的視頻解碼器的實例 操作的流程圖。圖21為說明與本發(fā)明一致的利用對整數(shù)像素位置的濾波來產(chǎn)生經(jīng)調(diào)整整數(shù)像素 值的視頻編碼器的實例操作的流程圖。圖22為說明與本發(fā)明一致的利用對整數(shù)像素位置的濾波來產(chǎn)生經(jīng)調(diào)整整數(shù)像素 值的視頻解碼器的實例操作的流程圖。圖23為說明用于基于固定濾波器或自適應濾波器的用于視頻譯碼的由速率失真 定義的內(nèi)插的技術的流程圖。圖24為說明用于使用預測性譯碼來對濾波器系數(shù)進行編碼的技術的流程圖。圖25為說明用于使用預測性譯碼來對濾波器系數(shù)進行編碼的技術的另一流程 圖。圖26為說明用于使用預測性譯碼來對濾波器系數(shù)進行解碼的技術的流程圖。圖27及圖28為說明可經(jīng)預測性譯碼的濾波器系數(shù)的概念圖。圖29為可使用預測技術來編碼的整數(shù)像素濾波器系數(shù)陣列的說明性實例。
具體實施例方式本發(fā)明描述在視頻編碼及/或解碼過程的預測階段期間由編碼器及解碼器應用 的濾波技術。所描述的濾波技術可增強在分數(shù)內(nèi)插期間所使用的預測性數(shù)據(jù)的準確性， 且在一些情況下，可改進整數(shù)像素塊的預測性數(shù)據(jù)。本發(fā)明存在若干方面，包括可用于 內(nèi)插的有用十二像素濾波器支持、使用系數(shù)對稱性及像素對稱性來減少為了配置用于內(nèi) 插的濾波器支持而需要在編碼器與解碼器之間發(fā)送的數(shù)據(jù)量的技術及用于以類似于子像 素內(nèi)插的方式來對整數(shù)像素位置處的數(shù)據(jù)進行濾波的技術。在下文中詳細描述這些及其 它技術。圖1為說明可用于實施本發(fā)明的技術中的一者或一者以上的一個示范性視頻編 碼及解碼系統(tǒng)10的框圖。如圖1所示，系統(tǒng)10包括經(jīng)由通信信道15而將經(jīng)編碼視頻發(fā) 射到目的地裝置16的源裝置12。源裝置12及目的地裝置16可包含廣泛范圍的裝置中的 任一者。在一些情況下，源裝置12及目的地裝置16包含無線通信裝置，例如無線手持
9機、所謂的蜂窩式或衛(wèi)星無線電電話或可經(jīng)由通信信道15而傳送視頻信息的任何無線裝 置，在此情況下，通信信道15為無線的。然而，本發(fā)明的技術(其關于濾波及在預測性 譯碼期間的預測性數(shù)據(jù)的產(chǎn)生)不必限于無線應用或設置。所述技術還可在廣泛范圍的 其它設置及裝置中有用，所述其它設置及裝置包括經(jīng)由物理線、光纖或其它物理或無線 媒體來通信的裝置。另外，所述編碼或解碼技術還可應用于未必與任何其它裝置通信的 獨立裝置中。在圖1的實例中，源裝置12可包括視頻源20、視頻編碼器22、調(diào)制器/解調(diào)器 (調(diào)制解調(diào)器)23及發(fā)射器24。目的地裝置16可包括接收器26、調(diào)制解調(diào)器27、視頻 解碼器28及顯示裝置30。根據(jù)本發(fā)明，源裝置12的視頻編碼器22可經(jīng)配置以應用本發(fā) 明的技術中的一者或一者以上作為視頻編碼過程的一部分。類似地，目的地裝置16的視 頻解碼器28可經(jīng)配置以應用本發(fā)明的技術中的一者或一者以上作為視頻解碼過程的一部 分。同樣，圖1的所說明的系統(tǒng)10僅為示范性的。本發(fā)明的各種技術可由支持基于 塊的預測性編碼的任何編碼裝置或由支持基于塊的預測性解碼的任何解碼裝置來執(zhí)行。 源裝置12及目的地裝置16僅為此些譯碼裝置的實例，其中源裝置12產(chǎn)生經(jīng)譯碼視頻數(shù) 據(jù)以供發(fā)射到目的地裝置16。在一些情況下，裝置12、16可以大體上對稱的方式來操 作，使得裝置12、16中的每一者包括視頻編碼及解碼組件。因此，系統(tǒng)10可支持視頻 裝置12、16之間的單向或雙向視頻發(fā)射，例如，用于視頻串流、視頻重放、視頻廣播或 視頻電話。源裝置12的視頻源20可包括視頻捕獲裝置，例如攝像機、含有先前捕獲的視頻 的視頻檔案或來自視頻內(nèi)容提供者的視頻饋入。作為另一替代方案，視頻源20可產(chǎn)生基 于計算機圖形的數(shù)據(jù)作為源視頻，或產(chǎn)生直播視頻、存檔視頻及計算機產(chǎn)生的視頻的組 合。在一些情況下，如果視頻源20為攝像機，則源裝置12及目的地裝置16可形成所謂 的相機電話或視頻電話。在每一情況下，可由視頻編碼器22對所捕獲、預捕獲或計算機 產(chǎn)生的視頻進行編碼?？山又烧{(diào)制解調(diào)器23根據(jù)通信標準(例如，碼分多址(CDMA) 或另一通信標準)來對所述經(jīng)編碼視頻信息進行調(diào)制并經(jīng)由發(fā)射器24及通信信道15將所 述經(jīng)編碼視頻信息發(fā)射到目的地裝置16。調(diào)制解調(diào)器23可包括各種混頻器、濾波器、放 大器或經(jīng)設計以用于信號調(diào)制的其它組件。發(fā)射器24可包括經(jīng)設計以用于發(fā)射數(shù)據(jù)的電 路，包括放大器、濾波器及一個或一個以上天線。目的地裝置16的接收器26經(jīng)由通信信道15來接收信息，且調(diào)制解調(diào)器27對所 述信息進行解調(diào)。如同發(fā)射器24，接收器26可包括經(jīng)設計以用于接收數(shù)據(jù)的電路，包括 放大器、濾波器及一個或一個以上天線。在一些情況下，發(fā)射器24及/或接收器26可 并入于包括接收電路及發(fā)射電路兩者的單一收發(fā)器組件內(nèi)。調(diào)制解調(diào)器27可包括各種混 頻器、濾波器、放大器或經(jīng)設計以用于信號解調(diào)的其它組件。在一些情況下，調(diào)制解調(diào) 器23及27可包括用于執(zhí)行調(diào)制及解調(diào)兩者的組件。同樣，由視頻編碼器22執(zhí)行的視頻編碼過程可在運動補償期間實施本文所描述 的技術中的一者或一者以上。由視頻解碼器28執(zhí)行的視頻解碼過程也可在其解碼過程的 運動補償階段期間執(zhí)行此些技術。術語“譯碼器”在本文中用于指代執(zhí)行視頻編碼或視 頻解碼的專門計算機裝置或設備。術語“譯碼器”大體上指代任何視頻編碼器、視頻解碼器或組合的編碼器/解碼器(編解碼器)。術語“譯碼”指代編碼或解碼。顯示裝 置30向用戶顯示經(jīng)解碼視頻數(shù)據(jù)，且可包含多種顯示裝置中的任一者，例如陰極射線管 (CRT)、液晶顯示器(LCD)、等離子體顯示器、有機發(fā)光二極管(OLED)顯示器或另一 類型的顯示裝置。在圖1的實例中，通信信道15可包含任何無線或有線通信媒體(例如射頻(RF) 頻譜或一個或一個以上物理發(fā)射線)或無線及有線媒體的任何組合。通信信道15可形成 基于包的網(wǎng)絡(例如局域網(wǎng)、廣域網(wǎng)或例如因特網(wǎng)等全球網(wǎng)絡)的一部分。通信信道15 大體上表示用于將視頻數(shù)據(jù)從源裝置12發(fā)射到目的地裝置16的任何合適通信媒體或不同 通信媒體的集合。通信信道15可包括路由器、交換器、基站或可用于促進從源裝置12 到目的地裝置16的通信的任何其它設備。視頻編碼器22及視頻解碼器28可根據(jù)視頻壓縮標準(例如ITU-T H.264標準， 替代地描述為高級視頻譯碼(AVC)第10部分的MPEG-4)來操作。然而，本發(fā)明的技 術不限于任何特定視頻譯碼標準。雖然圖1中未展示，但在一些方面中，視頻編碼器 22及視頻解碼器28可各自與音頻編碼器及解碼器集成，且可包括適當MUX-DEMUX單 元或其它硬件及軟件以處置共同數(shù)據(jù)流或單獨數(shù)據(jù)流中的音頻及視頻兩者的編碼。如果 適用，則MUX-DEMUX單元可遵照ITU H.223多路復用器協(xié)議或例如用戶數(shù)據(jù)報協(xié)議 (UDP)等其它協(xié)議。視頻編碼器22及視頻解碼器28各自可實施為一個或一個以上微處理器、數(shù)字 信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、離散邏輯、軟 件、硬件、固件或其任何組合。視頻編碼器22及視頻解碼器28中的每一者可包括于一 個或一個以上編碼器或解碼器中，所述編碼器或解碼器中的任一者可集成為在相應移動 裝置、訂戶裝置、廣播裝置、服務器或其類似者中提供編碼及解碼能力的組合式編解碼 器的一部分。視頻序列通常包括一連串視頻幀。視頻編碼器22對個別視頻幀內(nèi)的視頻塊進行 操作以便對視頻數(shù)據(jù)進行編碼。視頻塊可具有固定或變化大小，且可根據(jù)指定譯碼標準 而在大小方面有所不同。每一視頻幀包括一連串切片。每一切片可包括一連串宏塊， 其可布置成子塊。作為實例，ITU-T H.264標準支持各種塊大小(例如用于亮度分量的 16X16、8X8或4X4及用于色度分量的8X8)的幀內(nèi)預測以及各種塊大小(例如用于亮 度分量的16X16、16X8、8X16、8X8、8X4、4X8及4X4及用于色度分量的對應經(jīng)按 比例縮放的大小)的幀間預測。(例如)在例如離散余弦變換(DCT)或概念上類似的變 換過程等變換過程之后，視頻塊可包含像素數(shù)據(jù)的塊或變換系數(shù)的塊。較小視頻塊可提供較好分辨率，且可用于包括高細節(jié)級別的視頻幀的位置。一 般來說，可將宏塊及各種子塊視為視頻塊。另外，可將切片視為一連串視頻塊，例如宏 塊及/或子塊。每一切片可為視頻幀的可獨立解碼單元。或者，幀自身可為可解碼單 元，或幀的其它部分可被定義為可解碼單元。術語“經(jīng)譯碼單元”指代視頻幀的任何可 獨立解碼單元，例如整個幀、幀的切片或根據(jù)所使用的譯碼技術而定義的另一可獨立解 碼單元。為了對視頻塊進行編碼，視頻編碼器22執(zhí)行幀內(nèi)或幀間預測以產(chǎn)生預測塊。視 頻編碼器22從待編碼的原始視頻塊減去所述預測塊以產(chǎn)生殘余塊。因此，殘余塊指示正被譯碼的塊與預測塊之間的差。視頻編碼器22可對殘余塊執(zhí)行變換以產(chǎn)生變換系數(shù)的 塊。在基于幀內(nèi)或幀間的預測性譯碼及變換技術之后，視頻編碼器22執(zhí)行量化。量化 大體上指代對系數(shù)進行量化以可能地減少用于表示所述系數(shù)的數(shù)據(jù)量的過程。在量化之 后，可根據(jù)熵譯碼方法(例如上下文自適應可變長度譯碼(CAVLC)或上下文自適應二進 制算術譯碼(CABAC))來執(zhí)行熵譯碼。下文將在圖2中更詳細地描述由視頻編碼器22執(zhí) 行的編碼過程的每一步驟的更多細節(jié)。在目的地裝置16中，視頻解碼器28接收經(jīng)編碼視頻數(shù)據(jù)。視頻解碼器28根據(jù) 熵譯碼方法(例如CAVLC或CABAC)來對所接收視頻數(shù)據(jù)進行熵解碼以獲得經(jīng)量化系 數(shù)。視頻解碼器28應用逆量化(解量化)及逆變換功能以在像素域中重構殘余塊。視 頻解碼器28還基于經(jīng)編碼視頻數(shù)據(jù)中所包括的控制信息或語法信息(例如，譯碼模式、 運動向量、定義濾波器系數(shù)的語法及其類似者)來產(chǎn)生預測塊。視頻解碼器28將預測塊 與經(jīng)重構殘余塊求和以產(chǎn)生經(jīng)重構視頻塊以供顯示。下文將在圖16中更詳細地描述由視 頻編碼器22執(zhí)行的編碼過程的每一步驟的更多細節(jié)。根據(jù)本發(fā)明的技術，視頻編碼器22及視頻解碼器28可在運動補償期間使用所述 一個或一個以上內(nèi)插濾波技術。明確地說，根據(jù)本發(fā)明的一個方面，視頻編碼器22及/ 或視頻解碼器28可獲得像素塊，其中所述像素塊包括對應于所述像素塊內(nèi)的整數(shù)像素 位置的整數(shù)像素值；基于所述整數(shù)像素值來計算用于與所述像素塊相關聯(lián)的子像素位置 的子像素值，其中計算所述子像素值包含應用內(nèi)插濾波器，所述內(nèi)插濾波器定義對應于 以放射狀形狀圍繞所述子像素位置的十二個或十二個以上整數(shù)像素位置的集合的二維濾 波器支持位置陣列；及基于所述子像素值中的至少一些來產(chǎn)生預測塊。下文更詳細地解 釋對應于十二個或十二個以上整數(shù)像素位置的集合的二維濾波器支持位置陣列的實例。根據(jù)本發(fā)明的另一方面，視頻編碼器22及/或視頻解碼器28可利用對稱性的方 面以便減少為了傳送內(nèi)插中所使用的濾波器系數(shù)而需要在源裝置12與目的地裝置16之間 傳送的數(shù)據(jù)量。視頻編碼器22可確定用于十五個不同子像素位置的八個濾波器系數(shù)集 合，其中所述八個濾波器系數(shù)集合是基于十五個子像素位置當中的系數(shù)對稱性及像素對 稱性來產(chǎn)生的；及將所述八個濾波器系數(shù)集合作為經(jīng)編碼位流的一部分而輸出到另一裝 置。以此方式，所述八個集合連同像素對稱性及系數(shù)對稱性的方面可定義用于所有十五 個半像素及四分之一像素像素位置的所有濾波器系數(shù)。此外，在所述十五個子像素位置 中的不同者之間在垂直維度上及在水平維度上可存在像素對稱性，但針對所述十五個子 像素位置集合中的至少一些在對角維度上可能不存在像素對稱性。此針對所述十五個位 置中的至少一些在對角維度上缺少像素對稱性可改進視頻編碼及解碼中的內(nèi)插及視頻質(zhì) 量。目的地裝置16的視頻解碼器28可將所述八個濾波器系數(shù)集合作為經(jīng)編碼視頻 位流的一部分來接收；基于所述八個濾波器系數(shù)集合來產(chǎn)生對應于十五個不同子像素位 置的十五個濾波器系數(shù)集合；基于所述十五個濾波器系數(shù)集合中的一者來產(chǎn)生用于視頻 解碼的經(jīng)內(nèi)插預測性數(shù)據(jù)，其中所述經(jīng)內(nèi)插預測性數(shù)據(jù)對應于所述十五個不同子像素位 置中的一者；及基于所述經(jīng)內(nèi)插預測性數(shù)據(jù)來對一個或一個以上視頻塊進行解碼。根據(jù)本發(fā)明的另一方面，視頻編碼器22及/或視頻解碼器28可相對于整數(shù)像素 位置使用似內(nèi)插濾波以便產(chǎn)生經(jīng)調(diào)整整數(shù)像素值。所述似內(nèi)插濾波可具體來說在照度改變、場景淡入或淡出期間改進壓縮，可移除噪聲且促進圖像幀銳化，且可尤其在未對濾 波器系數(shù)強加對稱性時幫助改進連續(xù)視頻幀之間的精細對象移動的編碼。視頻編碼器22及/或視頻解碼器28的似內(nèi)插濾波技術可包括獲得像素塊，其 中所述像素塊包括對應于所述像素塊內(nèi)的整數(shù)像素位置的整數(shù)像素值；基于所述像素塊 內(nèi)的其它整數(shù)像素值來對所述整數(shù)像素值進行濾波以產(chǎn)生經(jīng)調(diào)整整數(shù)像素值，其中所述 經(jīng)調(diào)整整數(shù)像素值對應于所述整數(shù)像素位置；及基于所述經(jīng)調(diào)整整數(shù)像素值來產(chǎn)生預測 塊。根據(jù)本發(fā)明的另一方面，視頻編碼器22可基于第一內(nèi)插濾波器來產(chǎn)生用于 編碼視頻數(shù)據(jù)的第一經(jīng)內(nèi)插預測性數(shù)據(jù)；基于第二內(nèi)插濾波器來產(chǎn)生用于所述視頻數(shù)據(jù) 的視頻編碼的第二經(jīng)內(nèi)插預測性數(shù)據(jù)；基于速率失真分析來在所述第一經(jīng)內(nèi)插預測性數(shù) 據(jù)與所述第二經(jīng)內(nèi)插預測性數(shù)據(jù)之間進行選擇；基于所述選擇來對所述視頻數(shù)據(jù)進行編 碼；及對用以指示所述選擇的語法進行編碼。所述第一內(nèi)插濾波器可包含固定內(nèi)插濾波 器，且所述第二內(nèi)插濾波器可包含自適應內(nèi)插濾波器，但本發(fā)明不必限于這些實例。此外，還可應用額外內(nèi)插濾波器以產(chǎn)生額外經(jīng)內(nèi)插預測性數(shù)據(jù)，在速率失真分 析中還可考慮所述額外經(jīng)內(nèi)插預測性數(shù)據(jù)。換句話說，本發(fā)明的技術不限于僅基于兩個 內(nèi)插濾波器來產(chǎn)生第一及第二經(jīng)內(nèi)插預測性數(shù)據(jù)，而是可應用于基于任何數(shù)目的內(nèi)插濾 波器來產(chǎn)生任何多個經(jīng)內(nèi)插預測性數(shù)據(jù)。重要的是，使用速率失真分析內(nèi)插預測性數(shù)據(jù) 來識別選擇哪一濾波器。在一個實例中，一種方法可包含基于多個不同內(nèi)插濾波器來產(chǎn)生用于編碼視 頻數(shù)據(jù)的多個不同預測性數(shù)據(jù)版本；基于速率失真分析來在所述多個不同預測性數(shù)據(jù)版 本當中進行選擇；基于所述選擇來對所述視頻數(shù)據(jù)進行編碼；及對用以指示所述選擇的 語法進行編碼。本發(fā)明還預期用于對濾波器系數(shù)進行編碼的技術。舉例來說，視頻編碼器22 可識別用于在視頻編碼中內(nèi)插預測性數(shù)據(jù)的濾波器系數(shù)集合；基于所述濾波器系數(shù)集 合相對于與固定內(nèi)插濾波器相關聯(lián)的濾波器系數(shù)的預測性譯碼而產(chǎn)生與所述濾波器系數(shù) 集合相關聯(lián)的殘余值；將量化應用于所述殘余值；及將所述經(jīng)量化殘余值作為經(jīng)編碼位 流的一部分來輸出。視頻解碼器28可接收與濾波器系數(shù)集合相關聯(lián)的殘余值；基于所述殘余值 集合及與固定內(nèi)插濾波器相關聯(lián)的濾波器系數(shù)而使用預測性解碼產(chǎn)生所述濾波器系數(shù)集 合；及應用所述濾波器系數(shù)集合來內(nèi)插用于視頻塊的預測性解碼的預測性數(shù)據(jù)。圖2為說明與本發(fā)明一致的可執(zhí)行濾波技術的視頻編碼器50的實例的框圖。視 頻編碼器50為在本文中被稱為“譯碼器”的專門視頻計算機裝置或設備的一個實例。 視頻編碼器50可對應于裝置20的視頻編碼器22或不同裝置的視頻編碼器。視頻編碼器 50可執(zhí)行視頻幀內(nèi)的塊的幀內(nèi)及幀間譯碼，但為了說明的簡易起見而未在圖2中展示幀 內(nèi)譯碼組件。幀內(nèi)譯碼依賴于空間預測以減少或移除給定視頻幀內(nèi)的視頻的空間冗余。 幀間譯碼依賴于時間預測以減少或移除視頻序列的鄰近幀內(nèi)的視頻的時間冗余。幀內(nèi)模 式(I模式)可指代基于空間的壓縮模式，且例如預測(P模式)或雙向(B模式)等幀間 模式可指代基于時間的壓縮模式。本發(fā)明的技術在幀間譯碼期間適用，且因此，為了說 明的簡單及簡易起見，未在圖2中說明例如空間預測單元等幀內(nèi)譯碼單元。
如圖2所示，視頻編碼器50接收待編碼的視頻幀內(nèi)的視頻塊。在圖2的實例 中，視頻編碼器50包括預測單元32、存儲器34、加法器48、變換單元38、量化單元40 及熵譯碼單元46。對于視頻塊重構，視頻編碼器50還包括逆量化單元42、逆變換單元 44及加法器51。還可包括去塊濾波器(未圖示)以對塊邊界進行濾波以從經(jīng)重構視頻中 移除成塊性假影。如果需要，所述去塊濾波器將通常對加法器51的輸出進行濾波。預測單元32可包括運動估計(ME)單元35及運動補償(MC)單元37。根據(jù)本 發(fā)明，濾波器37可包括于預測單元32中且可由ME單元35及MC單元37中的一者或兩 者調(diào)用以執(zhí)行內(nèi)插或似內(nèi)插濾波作為運動估計及/或運動補償?shù)囊徊糠?。濾波器37實際 上可表示多個不同濾波器以促進如本文所描述的無數(shù)不同類型的內(nèi)插及內(nèi)插類濾波。因 此，預測單元32可包括多個內(nèi)插或似內(nèi)插濾波器。在編碼過程期間，視頻編碼器50接 收待譯碼的視頻塊(在圖2中標記為“視頻塊”)，且預測單元32執(zhí)行幀間預測譯碼以 產(chǎn)生預測塊(在圖2中標記為“預測塊”)。具體來說，ME單元35可執(zhí)行運動估計以 識別存儲器34中的預測塊，且MC單元37可執(zhí)行運動補償以產(chǎn)生所述預測塊。通常將運動估計視為產(chǎn)生運動向量的過程，所述運動向量估計視頻塊的運動。 舉例來說，運動向量可指示預測或參考幀(或其它經(jīng)譯碼單元，例如，切片)內(nèi)的預測塊 相對于當前幀(或其它經(jīng)譯碼單元)內(nèi)的待譯碼的塊的位移。所述參考幀(或所述幀的一 部分)在時間上可位于當前視頻塊所屬的視頻幀(或所述視頻幀的一部分)之前或之后。 通常將運動補償視為從存儲器34獲取或產(chǎn)生預測塊或可能基于由運動估計確定的運動向 量來內(nèi)插或以其它方式產(chǎn)生經(jīng)濾波預測性數(shù)據(jù)的過程。ME單元35通過將所述待譯碼的視頻塊與一個或一個以上參考幀(例如，先前幀 及/或后續(xù)幀)的視頻塊進行比較來選擇用于所述視頻塊的適當運動向量。ME單元35 可以分數(shù)像素精度執(zhí)行運動估計，其有時被稱為分數(shù)像素或子像素運動估計。因而，可 互換地使用術語分數(shù)像素及子像素運動估計。在分數(shù)像素運動估計中，ME單元35可選 擇指示與不同于整數(shù)像素位置的位置的位移的運動向量。以此方式，分數(shù)像素運動估計 允許預測單元32以比整數(shù)像素(或全像素)位置高的精度來追蹤運動，因此產(chǎn)生較準確 的預測塊。分數(shù)像素運動估計可具有半像素精度、四分之一像素精度、八分之一像素精 度或任何更精細的精度。ME單元35可調(diào)用濾波器39以用于運動估計過程期間的任何必 要內(nèi)插。為了執(zhí)行分數(shù)像素運動補償，MC單元37可執(zhí)行內(nèi)插(有時被稱為內(nèi)插濾波) 以便以子像素分辨率產(chǎn)生數(shù)據(jù)(本文中被稱為子像素或分數(shù)像素值)。MC單元37可調(diào) 用濾波器39以用于此內(nèi)插。預測單元32可使用本文所描述的技術來執(zhí)行所述內(nèi)插(或 整數(shù)像素的似內(nèi)插濾波)。一旦由ME單元35選擇了用于待譯碼的視頻塊的運動向量，MC單元37便產(chǎn)生 與所述運動向量相關聯(lián)的預測視頻塊。MC單元37可基于由MC單元35確定的運動向量 而從存儲器34獲取預測塊。在具有分數(shù)像素精度的運動向量的情況下，MC單元37對 來自存儲器34的數(shù)據(jù)進行濾波以內(nèi)插所述數(shù)據(jù)達到子像素分辨率，例如，調(diào)用濾波器39 以用于此過程。在一些情況下，已用以產(chǎn)生子像素預測數(shù)據(jù)的內(nèi)插濾波技術或模式可被 指示為用于熵譯碼單元46的一個或一個以上內(nèi)插語法元素以供包括于經(jīng)譯碼位流中。確 實，本發(fā)明的一些方面關于使用像素對稱性及系數(shù)對稱性來減少需要傳達的語法的量。
一旦預測單元32已產(chǎn)生預測塊，視頻編碼器50便通過從正被譯碼的原始視頻塊 減去所述預測塊來形成殘余視頻塊(在圖2中標記為“殘余塊”)。加法器48表示執(zhí)行 此減法運算的組件。變換單元38將變換(例如離散余弦變換(DCT)或概念上類似的變 換)應用于所述殘余塊，進而產(chǎn)生包含殘余變換塊系數(shù)的視頻塊。舉例來說，變換單元 38可執(zhí)行概念上類似于DCT的其它變換，例如由H.264標準定義的變換。還可使用小波 變換、整數(shù)變換、子頻帶變換或其它類型的變換。在任何情況下，變換單元38將所述變 換應用于所述殘余塊，進而產(chǎn)生殘余變換系數(shù)塊。所述變換可將殘余信息從像素域轉(zhuǎn)換 到頻域。量化單元40對所述殘余變換系數(shù)進行量化以進一步減少位速率。所述量化過程 可減少與所述系數(shù)中的一些或所有相關聯(lián)的位深度。在量化之后，熵譯碼單元46對經(jīng)量 化變換系數(shù)進行熵譯碼。舉例來說，熵譯碼單元46可執(zhí)行CAVLC、CABAC或另一熵譯 碼方法。熵譯碼單元46還可對從預測單元32或視頻編碼器50的其它組件獲得的一個或 一個以上預測語法元素進行譯碼。所述一個或一個以上預測語法元素可包括譯碼模式、 一個或一個以上運動向量、已用以產(chǎn)生子像素數(shù)據(jù)的內(nèi)插技術、濾波器系數(shù)集合或子 集，或與預測塊的產(chǎn)生相關聯(lián)的其它信息。根據(jù)本發(fā)明的一些方面，系數(shù)預測及量化單 元41可對預測語法(例如濾波器系數(shù))進行預測性編碼及量化。在由熵譯碼單元46進行 熵譯碼之后，可將經(jīng)編碼視頻及語法元素發(fā)射到另一裝置或存檔以供稍后發(fā)射或檢索。逆量化單元42及逆變換單元44分別應用逆量化及逆變換以在像素域中重構殘余 塊(例如)以供稍后用作參考塊。所述經(jīng)重構殘余塊(在圖2中標記為“經(jīng)重構的殘余 塊”)可表示提供到變換單元38的殘余塊的經(jīng)重構版本。歸因于由量化及逆量化運算造 成的細節(jié)的損失，所述經(jīng)重構殘余塊可不同于由求和器48產(chǎn)生的殘余塊。求和器51將 所述經(jīng)重構殘余塊相加到由預測單元32產(chǎn)生的經(jīng)運動補償?shù)念A測塊以產(chǎn)生經(jīng)重構視頻塊 以供存儲于存儲器34中。所述經(jīng)重構視頻塊可由預測單元32用作可用以隨后對后續(xù)視 頻幀或后續(xù)經(jīng)譯碼單元中的塊進行譯碼的參考塊。如上所述，預測單元32可以分數(shù)像素(或子像素)精度執(zhí)行運動估計。當預測 單元32使用分數(shù)像素運動估計時，預測單元32可使用本發(fā)明中所描述的內(nèi)插運算來以子 像素分辨率產(chǎn)生數(shù)據(jù)(例如，子像素或分數(shù)像素值)。換句話說，使用所述內(nèi)插運算來計 算在整數(shù)像素位置之間的位置處的值。位于整數(shù)像素位置之間的距離的一半處的子像素 位置可被稱為半像素位置，位于整數(shù)像素位置與半像素位置之間的距離的一半處的子像 素位置可被稱為四分之一像素位置，位于整數(shù)像素位置(或半像素位置)與四分之一像素 位置之間的距離的一半處的子像素位置被稱為八分之一像素位置，依此類推。圖3為說明與預測數(shù)據(jù)相關聯(lián)的整數(shù)像素(或全像素)位置及與經(jīng)內(nèi)插預測數(shù)據(jù) 相關聯(lián)的子像素(或分數(shù)像素)位置的概念圖。在圖3的概念說明中，不同方框表示幀 或幀塊內(nèi)的像素及子像素位置。大寫字母(在具有實線的方框中)表示整數(shù)像素位置， 而小寫字母(在具有虛線的方框中)表示子像素位置。明確地說，像素位置A1-A6、 B1-B6、C1-C6、D1-D6、E1-E6及F1-F6表示幀、切片或其它經(jīng)譯碼單元內(nèi)的整數(shù)像素 位置的6X6陣列。子像素位置“a”到“0”表示(例如)整數(shù)像素位置C3、C4、D3 及D4之間的與整數(shù)像素C3相關聯(lián)的十五個子像素位置。每個整數(shù)像素位置可存在類似子像素位置。子像素位置“a”到“0”表示與整數(shù)像素C3相關聯(lián)的每個半像素及四分 之一像素像素位置。在最初產(chǎn)生視頻數(shù)據(jù)時，整數(shù)像素位置可與物理傳感器元件(例如光電二極管) 相關聯(lián)。所述光電二極管可測量在所述傳感器的位置處的光源的強度且將像素強度值 與所述整數(shù)像素位置相關聯(lián)。同樣，每一整數(shù)像素位置可具有相關聯(lián)的十五個子像素位 置(或可能更多)的集合。與整數(shù)像素位置相關聯(lián)的子像素位置的數(shù)目可取決于所要精 度。在圖3所說明的實例中，所要精度為四分之一像素精度，在此情況下，整數(shù)像素位 置中的每一者與十五個不同子像素位置對應?？苫谒仁垢嗷蚋僮酉袼匚恢?與每一整數(shù)像素位置相關聯(lián)。對于半像素精度，舉例來說，每一整數(shù)像素位置可與三個 子像素位置對應。作為另一實例，對于八分之一像素精度，整數(shù)像素位置中的每一者可 與六十三個子像素位置對應。每一像素位置可定義一個或一個以上像素值(例如，一個 或一個以上亮度及色度值)。Y可表示亮度，且Cb及Cr可表示三維YCbCr色空間的兩個不同色度值。對于 三維色空間來說，每一像素位置實際上可定義三個像素值。然而，出于簡單的目的，本 發(fā)明的技術可指代關于一個維度的預測。就關于一個維度中的像素值來描述技術而論， 可將類似技術擴展到其它維度。在圖3的實例中，針對四分之一像素精度說明與整數(shù)像素“C3”相關聯(lián)的子像 素位置。將與像素C3相關聯(lián)的十五個子像素位置標記為“a”、“b”、“c”、“d”、
“e”、“f”、“g”、“h”、“i”、“j”、“k”、“1”、“m”、“n” 及 “0”。 為了簡單起見，未展示與其它整數(shù)像素位置相關聯(lián)的大部分其它分數(shù)位置(除了用以產(chǎn) 生與像素位置C3相關聯(lián)的15個不同分數(shù)位置中的一者或一者以上的分數(shù)位置以外，如下 文進一步詳細描述)。子像素位置“b”、“h”及“j”可被稱為半像素位置，且子像 素位置 “a”、“c”、“d”、“e”、“f”、“g”、“i”、“k”、T、“m” 及 “0”可被稱為四分之一像素位置。視頻編碼器40的預測單元32可使用由MC單元37進行的內(nèi)插濾波來確定子像 素位置“a”到“0”的像素值。與ITU-TH.264標準一致，舉例來說，預測單元32可 使用6分接頭內(nèi)插濾波器(例如維納(Wiener)濾波器)來確定半像素位置的像素值。在 H.264標準的情況下，6分接頭內(nèi)插濾波器的濾波器系數(shù)通常為[1，-5，20，20，-5， 1],但可使用其它系數(shù)。預測單元32可首先在水平方向上應用內(nèi)插濾波器且接著在垂直 方向上應用內(nèi)插濾波器，或反之亦然。對于半像素位置“b”及“h”，每一分接頭可分 別在水平方向及垂直方向上對應于整數(shù)像素位置。明確地說，對于半像素位置“b”，
6分接頭濾波器的分接頭對應于CI、C2、C3、C4、C5及C6。同樣，對于半像素位置 “h”，6分接頭濾波器的分接頭對應于A3、B3、C3、D3、E3及F3。舉例來說，可使 用方程式⑴及⑵來計算子像素位置“b”及“h”的像素值b = ((Cl-5*C2+20*C3+20*C4-5*C5+C6)+16)/32(1)h = ((A3-5*B3+20*C3+20*D3-5*E3+F3)+16)/32(2)對于半像素位置“j”，6分接頭濾波器的分接頭使其自身對應于在位置C1-C6 與D1-D6之間水平內(nèi)插或在位置A3-F3與A4-F4之間垂直內(nèi)插?？?例如)根據(jù)方程 式(3)或(4)中的一者通過使用半像素位置的先前內(nèi)插的像素值的6分接頭濾波器來計算半像素位置“j” j = ((aa-5*bb+20*b+20*hh-5*ii+jj)+16)/32(3)j = ((cc-5*dd+20*h+20*ee_5*ff+gg)+16)/32(4)其中(如圖3所說明)aa對應于A3與A4之間的內(nèi)插，bb對應于B3與B4之間 的內(nèi)插，b對應于C3與C4之間的內(nèi)插，hh對應于D3與D4之間的內(nèi)插，ii對應于E3 與E4之間的內(nèi)插，且jj對應于F3與F4之間的內(nèi)插。在方程式4中，CC對應于C1與 D1之間的內(nèi)插，dd對應于C2與D2之間的內(nèi)插，h對應于C3與D3之間的內(nèi)插，ee對 應于C4與D4之間的內(nèi)插，ff對應于C5與D5之間的內(nèi)插，且gg對應于C6與D6之間 的內(nèi)插。與H.264標準一致，預測單元32可使用雙線性內(nèi)插濾波器及周圍整數(shù)像素位置 及半像素位置的像素值來確定四分之一像素位置“a”、“c”、“d”、“e”、“f”、
“g”、“i”、“k”、“1”、“m”、“n”及“0”處的像素值。舉例來說，預測
單元32可使用C3及“b”的像素值來確定與子像素位置“a”相關聯(lián)的像素值，使用 “b”及C4的像素值來確定與子像素位置“c”相關聯(lián)的像素值，依此類推。由MC單元37應用以產(chǎn)生子像素位置處的經(jīng)內(nèi)插數(shù)據(jù)的實際濾波器可經(jīng)受廣 泛多種實施方案。作為一個實例，預測單元32可使用如下文所述的自適應內(nèi)插濾波器 (AIF)來定義所述經(jīng)內(nèi)插值。ITU-T SG16/Q.6/VCEG(視頻譯碼專家小組)委員會一直 在研究提供比H.264高的譯碼效率的譯碼技術且明確地說為AIF。AIF提供優(yōu)于H.264標 準中所使用的內(nèi)插濾波的大譯碼增益，尤其是對具有高分辨率(例如，720i/p或1080i/p) 的視頻序列。在AIF中，通過最小化預測誤差能量來針對每一視頻幀分析計算每一子像 素位置的內(nèi)插濾波器。這幫助解決原始及參考視頻幀中含有的混疊、量化及運動估計誤 差、相機噪聲或其它假影。用于每一幀的經(jīng)分析導出的自適應濾波器系數(shù)接著經(jīng)預測、 量化、譯碼且在視頻位流中發(fā)送。本發(fā)明的技術中的一些可在AIF方案以及許多其它內(nèi) 插方案內(nèi)工作。存在與本發(fā)明的方面一致的許多不同類型的AIF方案。舉例來說，第一方案為 二維非可分離AIF(NS-AIF)，第二方案為可分離AIF(S-AIF)，且第三方案為具有方向性 濾波器的AIF(D-AIF)。雖然這些AIF方案中的每一者使用不同內(nèi)插技術及支持，但所 有三個AIF方案可使用類似分析過程來導出濾波器系數(shù)，在下文中使用非可分離AIF作為 實例來對此進行解釋。假定6X6 二維非可分離濾波器具有系數(shù)，其中i，j = 0…5且SP表示圖3所
示的15個子像素位置(“a”到“0”)中的一者。應注意，所述15個子像素位置中 的6個位置(即，“a”、“b”、“c”、“d”、“h”及T )為一維(ID)子像素
位置，且預測單元32可使用6分接頭內(nèi)插濾波器來內(nèi)插所述數(shù)據(jù)。子像素位置“a”、 “b”、“c”、“d”、“h”及“1”在其位于兩個整數(shù)像素位置之間的水平線或垂直 線中的意義上來說為1D的。并且，假定參考幀中的整數(shù)像素位置(圖3中的A1到F6) 處的預測像素采用像素值Pq，其中i，j = 0…5。也就是說，A1采用值………， A6采用值P&M ……，F(xiàn)1采用值P&M ……，且F6采用值P5,5。接著，可由預測單 元32使用以下方程式來計算子像素位置SP(SP G {a,…，o})處的經(jīng)內(nèi)插值pSP
1權利要求
1.一種方法，其包含獲得像素塊，其中所述像素塊包括對應于所述像素塊內(nèi)的整數(shù)像素位置的整數(shù)像素值；基于所述整數(shù)像素值而計算與所述像素塊相關聯(lián)的子像素位置的子像素值，其中計 算所述子像素值包含應用內(nèi)插濾波器，所述內(nèi)插濾波器定義對應于以放射狀形狀圍繞所 述子像素位置的十二個或十二個以上整數(shù)像素位置的集合的二維濾波器支持位置陣列； 及基于所述子像素值中的至少一些而產(chǎn)生預測塊。
2.根據(jù)權利要求1所述的方法，其中所述子像素值包含十五個半像素及四分之一像素 值，其中應用定義所述二維濾波器支持位置陣列的所述內(nèi)插濾波器以定義所述十五個半 像素及四分之一像素值中的九者。
3.根據(jù)權利要求2所述的方法，其中計算所述子像素值進一步包含應用線性內(nèi)插濾波 器，所述線性內(nèi)插濾波器定義用于所述十五個半像素及四分之一像素值中的六者的一維 濾波器支持位置陣列。
4.根據(jù)權利要求2所述的方法，其中所述圍繞所述子像素位置的十二個或十二個以上 整數(shù)像素位置的集合為空間上最靠近由所述內(nèi)插濾波器定義的所述九個半像素及四分之 一像素值的整數(shù)像素位置的集合。
5.根據(jù)權利要求4所述的方法，其中所述圍繞所述子像素位置的十二個或十二個以上 整數(shù)像素位置的集合包括圍繞由所述內(nèi)插濾波器定義的所述九個半像素及四分之一像素 值的四個整數(shù)像素位置及圍繞所述四個整數(shù)像素位置的八個整數(shù)像素位置。
6.根據(jù)權利要求1所述的方法，其中所述二維濾波器支持位置陣列中的所述濾波器支 持位置中的每一者是在相對于所述子像素位置的兩個整數(shù)像素位置內(nèi)。
7.根據(jù)權利要求1所述的方法，其中所述方法形成視頻編碼過程或視頻解碼過程的一 部分。
8.根據(jù)權利要求1所述的方法，其中所述方法形成視頻編碼過程的一部分，所述方法進一步包含對所述內(nèi)插濾波器的多個系數(shù)值集合進行編碼；及將所述內(nèi)插濾波器的所述系數(shù)值作為經(jīng)編碼位流的一部分來發(fā)射。
9.根據(jù)權利要求8所述的方法，其中所述多個系數(shù)值集合中的每一者針對所述十二個 或十二個以上整數(shù)像素位置定義不同權數(shù)。
10.根據(jù)權利要求9所述的方法，其中存在像素對稱性，使得M個系數(shù)值集合針對所 述十二個或十二個以上整數(shù)像素位置定義N個不同權數(shù)，其中M及N為正整數(shù)且N大于 M。
11.一種包含視頻譯碼器的設備，所述視頻譯碼器獲得像素塊，其中所述像素塊包括對應于所述像素塊內(nèi)的整數(shù)像素位置的整數(shù)像素值；基于所述整數(shù)像素值而計算與所述像素塊相關聯(lián)的子像素位置的子像素值，其中所 述視頻譯碼器應用內(nèi)插濾波器，所述內(nèi)插濾波器定義對應于以放射狀形狀圍繞所述子像 素位置的十二個或十二個以上整數(shù)像素位置的集合的二維濾波器支持位置陣列；及基于所述子像素值中的至少一些而產(chǎn)生預測塊。
12.根據(jù)權利要求11所述的設備，其中所述子像素值包含十五個半像素及四分之一像 素值，其中定義所述二維濾波器支持位置陣列的所述內(nèi)插濾波器經(jīng)應用以定義所述十五 個半像素及四分之一像素值中的九者。
13.根據(jù)權利要求12所述的設備，其中所述視頻譯碼器應用線性內(nèi)插濾波器，所述線 性內(nèi)插濾波器定義用于所述十五個半像素及四分之一像素值中的六者的一維濾波器支持 位置陣列。
14.根據(jù)權利要求12所述的設備，其中所述圍繞所述子像素位置的十二個或十二個以 上整數(shù)像素位置的集合為空間上最靠近由所述內(nèi)插濾波器定義的所述九個半像素及四分 之一像素值的整數(shù)像素位置的集合。
15.根據(jù)權利要求14所述的設備，其中所述圍繞所述子像素位置的十二個或十二個以 上整數(shù)像素位置的集合包括圍繞由所述內(nèi)插濾波器定義的所述九個半像素及四分之一像 素值的四個整數(shù)像素位置及圍繞所述四個整數(shù)像素位置的八個整數(shù)像素位置。
16.根據(jù)權利要求11所述的設備，其中所述二維濾波器支持位置陣列中的所述濾波器 支持位置中的每一者是在相對于所述子像素位置的兩個整數(shù)像素位置內(nèi)。
17.根據(jù)權利要求11所述的設備，其中所述視頻譯碼器執(zhí)行視頻編碼過程或視頻解碼 過程。
18.根據(jù)權利要求1所述的設備，其中所述設備進一步包含發(fā)射器，其中所述視頻譯碼器對所述內(nèi)插濾波器的多個系數(shù)值集合進行編碼；且所述發(fā)射器將所述內(nèi)插濾波器的所述系數(shù)值作為經(jīng)編碼位流的一部分來發(fā)射。
19.根據(jù)權利要求18所述的設備，其中所述多個系數(shù)值集合中的每一者針對所述十二 個或十二個以上整數(shù)像素位置定義不同權數(shù)。
20.根據(jù)權利要求19所述的設備，其中存在像素對稱性，使得M個系數(shù)值集合針對 所述十二個或十二個以上整數(shù)像素位置定義N個不同權數(shù)，其中M及N為正整數(shù)且N大 于M。
21.根據(jù)權利要求11所述的設備，其中所述視頻譯碼器包含集成電路。
22.根據(jù)權利要求11所述的設備，其中所述視頻譯碼器包含微處理器。
23.根據(jù)權利要求11所述的設備，其中所述設備包含包括所述視頻譯碼器的無線通信直ο
24.—種裝置，其包含用于獲得像素塊的裝置，其中所述像素塊包括對應于所述像素塊內(nèi)的整數(shù)像素位置 的整數(shù)像素值；用于基于所述整數(shù)像素值而計算與所述像素塊相關聯(lián)的子像素位置的子像素值的裝 置，其中用于計算所述子像素值的裝置包含用于應用內(nèi)插濾波器的裝置，所述內(nèi)插濾波 器定義對應于以放射狀形狀圍繞所述子像素位置的十二個或十二個以上整數(shù)像素位置的 集合的二維濾波器支持位置陣列；及用于基于所述子像素值中的至少一些而產(chǎn)生預測塊的裝置。
25.根據(jù)權利要求24所述的裝置，其中所述子像素值包含十五個半像素及四分之一像 素值，其中定義所述二維濾波器支持位置陣列的所述內(nèi)插濾波器經(jīng)應用以定義所述十五個半像素及四分之一像素值中的九者。
26.根據(jù)權利要求25所述的裝置，其中用于計算所述子像素值的裝置進一步包含用于 應用線性內(nèi)插濾波器的裝置，所述線性內(nèi)插濾波器定義用于所述十五個半像素及四分之 一像素值中的六者的一維濾波器支持位置陣列。
27.根據(jù)權利要求25所述的裝置，其中所述圍繞所述子像素位置的十二個或十二個以 上整數(shù)像素位置的集合為空間上最靠近由所述內(nèi)插濾波器定義的所述九個半像素及四分 之一像素值的整數(shù)像素位置的集合。
28.根據(jù)權利要求27所述的裝置，其中所述圍繞所述子像素位置的十二個或十二個以 上整數(shù)像素位置的集合包括圍繞由所述內(nèi)插濾波器定義的所述九個半像素及四分之一像 素值的四個整數(shù)像素位置及圍繞所述四個整數(shù)像素位置的八個整數(shù)像素位置。
29.根據(jù)權利要求24所述的裝置，其中所述二維濾波器支持位置陣列中的所述濾波器 支持位置中的每一者是在相對于所述子像素位置的兩個整數(shù)像素位置內(nèi)。
30.根據(jù)權利要求24所述的裝置，其中所述裝置執(zhí)行視頻編碼過程或視頻解碼過程。
31.根據(jù)權利要求24所述的裝置，其中所述裝置執(zhí)行視頻編碼過程，所述裝置進一步 包含用于對所述內(nèi)插濾波器的多個系數(shù)值集合進行編碼的裝置；及用于將所述內(nèi)插濾波器的所述系數(shù)值作為經(jīng)編碼位流的一部分來發(fā)射的裝置。
32.根據(jù)權利要求31所述的裝置，其中所述多個系數(shù)值集合中的每一者針對所述十二 個或十二個以上整數(shù)像素位置定義不同權數(shù)。
33.根據(jù)權利要求32所述的方法，其中存在像素對稱性，使得M個系數(shù)值集合針對 所述十二個或十二個以上整數(shù)像素位置定義N個不同權數(shù)，其中M及N為正整數(shù)且N大 于M。
34.一種計算機可讀存儲媒體，其包含當由處理器執(zhí)行時致使所述處理器進行以下操 作的指令獲得像素塊，其中所述像素塊包括對應于所述像素塊內(nèi)的整數(shù)像素位置的整數(shù)像素值；基于所述整數(shù)像素值而計算與所述像素塊相關聯(lián)的子像素位置的子像素值，其中在 計算所述子像素值中，所述指令致使所述處理器應用內(nèi)插濾波器，所述內(nèi)插濾波器定義 對應于以放射狀形狀圍繞所述子像素位置的十二個或十二個以上整數(shù)像素位置的集合的 二維濾波器支持位置陣列；及基于所述子像素值中的至少一些而產(chǎn)生預測塊。
35.根據(jù)權利要求34所述的計算機可讀存儲媒體，其中所述子像素值包含十五個半像 素及四分之一像素值，其中定義所述二維濾波器支持位置陣列的所述內(nèi)插濾波器經(jīng)應用 以定義所述十五個半像素及四分之一像素值中的九者。
36.根據(jù)權利要求35所述的計算機可讀存儲媒體，其中在計算所述子像素值中，所述 指令致使所述處理器應用線性內(nèi)插濾波器，所述線性內(nèi)插濾波器定義用于所述十五個半 像素及四分之一像素值中的六者的一維濾波器支持位置陣列。
37.根據(jù)權利要求35所述的計算機可讀存儲媒體，其中所述圍繞所述子像素位置的 十二個或十二個以上整數(shù)像素位置的集合為空間上最靠近由所述內(nèi)插濾波器定義的所述九個半像素及四分之一像素值的整數(shù)像素位置的集合。
38.根據(jù)權利要求37所述的計算機可讀存儲媒體，其中所述圍繞所述子像素位置的 十二個或十二個以上整數(shù)像素位置的集合包括圍繞由所述內(nèi)插濾波器定義的所述九個半 像素及四分之一像素值的四個整數(shù)像素位置及圍繞所述四個整數(shù)像素位置的八個整數(shù)像 素位置。
39.根據(jù)權利要求34所述的計算機可讀存儲媒體，其中所述二維濾波器支持位置陣 列中的所述濾波器支持位置中的每一者是在相對于所述子像素位置的兩個整數(shù)像素位置 內(nèi)。
40.根據(jù)權利要求34所述的計算機可讀存儲媒體，其中所述指令形成視頻編碼軟件程 序或視頻解碼軟件程序的一部分。
41.根據(jù)權利要求34所述的計算機可讀存儲媒體，其中所述指令形成視頻編碼軟件程 序的一部分，其中所述指令致使所述處理器對所述內(nèi)插濾波器的多個系數(shù)值集合進行編碼；及將所述內(nèi)插濾波器的所述系數(shù)值作為經(jīng)編碼位流的一部分來輸出。
42.根據(jù)權利要求41所述的計算機可讀存儲媒體，其中所述多個系數(shù)值集合中的每一 者針對所述十二個或十二個以上整數(shù)像素位置定義不同權數(shù)。
43.根據(jù)權利要求41所述的計算機可讀存儲媒體，其中存在像素對稱性，使得M個 系數(shù)值集合針對所述十二個或十二個以上整數(shù)像素位置定義N個不同權數(shù)，其中M及N 為正整數(shù)且N大于M。
全文摘要
本發(fā)明描述在視頻編碼及/或解碼過程的預測階段期間由編碼器及解碼器應用的濾波技術。所述濾波技術可增強在分數(shù)內(nèi)插期間所使用的預測性數(shù)據(jù)的準確性，且可改進整數(shù)像素塊的預測性數(shù)據(jù)。本發(fā)明存在若干方面，包括可用于內(nèi)插的有用十二像素濾波器支持、使用系數(shù)對稱性及像素對稱性來減少為了配置用于內(nèi)插的濾波器支持而需要在編碼器與解碼器之間發(fā)送的數(shù)據(jù)量的技術及用于以類似于子像素內(nèi)插的方式來對整數(shù)像素位置處的數(shù)據(jù)進行濾波的技術。本發(fā)明的其它方面關于用于對位流中的信息進行編碼以傳達所使用的濾波器的類型且可能傳達所使用的濾波器系數(shù)的技術。本發(fā)明還描述濾波器系數(shù)的預測性譯碼。
文檔編號H04N7/36GK102017629SQ200980115286
公開日2011年4月13日 申請日期2009年4月10日 優(yōu)先權日2008年4月10日
發(fā)明者葉琰, 馬爾塔·卡切維奇 申請人:高通股份有限公司