使用縮放因數(shù)的再取樣的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻譯碼及壓縮的領(lǐng)域。具體來說，本發(fā)明涉及可縮放視頻譯碼(SVC)，包含用于高級視頻譯碼(AVC)的SVC以及用于高效率視頻譯碼(HEVC)的SVC(其還被稱作可縮放HEVC (SHVC))。本發(fā)明也涉及3D視頻譯碼，例如HEVC的多視圖擴(kuò)展(被稱作MV-HEVC)。各種實施例涉及用于確定再取樣過程中使用的舍入偏移的系統(tǒng)及方法。
【背景技術(shù)】
[0002]數(shù)字視頻能力可并入到廣泛范圍的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣播系統(tǒng)、個人數(shù)字助理(PDA)、膝上型或桌上型計算機(jī)、平板計算機(jī)、電子書閱讀器、數(shù)字相機(jī)、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電電話(所謂的“智能電話”)、視頻電話會議裝置、視頻流式傳輸裝置及其類似者。數(shù)字視頻裝置實施視頻譯碼技術(shù)，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高級視頻譯碼(AVC)所定義的標(biāo)準(zhǔn)、目前正在開發(fā)的高效率視頻譯碼(HEVC)標(biāo)準(zhǔn)及這些標(biāo)準(zhǔn)的擴(kuò)展中所描述的那些視頻譯碼技術(shù)。視頻裝置可通過實施此類視頻譯碼技術(shù)而更有效地發(fā)射、接收、編碼、解碼及/或存儲數(shù)字視頻信息。
[0003]視頻譯碼技術(shù)包含空間(圖片內(nèi))預(yù)測及/或時間(圖片間)預(yù)測以減少或移除視頻序列中固有的冗余。對于基于塊的視頻譯碼，視頻切片(例如，視頻幀或視頻幀的一部分)可分割成視頻塊，所述視頻塊還可被稱作樹塊(treeblock)、譯碼單元(CU)及/或譯碼節(jié)點。使用相對于同一圖片中的相鄰塊中的參考樣本的空間預(yù)測對圖片的經(jīng)幀內(nèi)譯碼(I)切片中的視頻塊進(jìn)行編碼。圖片的經(jīng)幀間譯碼(P或B)切片中的視頻塊可使用相對于同一圖片中的相鄰塊中的參考樣本的空間預(yù)測或相對于其它參考圖片中的參考樣本的時間預(yù)測。圖片可被稱為幀，且參考圖片可被稱為參考幀。
[0004]空間或時間預(yù)測導(dǎo)致用于待譯碼塊的預(yù)測性塊。殘余數(shù)據(jù)表示待譯碼原始塊與預(yù)測性塊之間的像素差。經(jīng)幀間譯碼塊是根據(jù)指向形成預(yù)測性塊的參考樣本塊的運動向量及指示經(jīng)譯碼塊與預(yù)測性塊之間的差的殘余數(shù)據(jù)來編碼。經(jīng)幀內(nèi)譯碼塊是根據(jù)幀內(nèi)譯碼模式及殘余數(shù)據(jù)來編碼。為了進(jìn)一步壓縮，可將殘余數(shù)據(jù)從像素域變換到變換域，從而產(chǎn)生殘余變換系數(shù)，接著可對殘余變換系數(shù)進(jìn)行量化?？蓲呙枳畛醪贾脼槎S陣列的經(jīng)量化變換系數(shù)，以便產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用熵譯碼以實現(xiàn)甚至更多壓縮。

【發(fā)明內(nèi)容】

[0005]—般來說，本發(fā)明所描述技術(shù)涉及可縮放視頻譯碼(SVC) ο下文所描述的各種技術(shù)提供用于確定再取樣過程中使用的舍入偏移的方法及裝置。
[0006]—種根據(jù)某些方面的用于譯碼視頻信息的設(shè)備包含存儲器及處理器。所述存儲器單元經(jīng)配置以存儲與參考層圖片及增強層圖片相關(guān)聯(lián)的視頻信息。所述處理器經(jīng)配置以:存儲與參考層圖片及增強層圖片相關(guān)聯(lián)的視頻信息；接收指示在第一方向上的所述參考層圖片與所述增強層圖片之間的縮放比例的縮放因數(shù)；使用所述縮放因數(shù)確定舍入偏移值而無需執(zhí)行除法運算；及使用所述縮放因數(shù)及所述舍入偏移值確定對應(yīng)于位于所述增強層圖片中的第二樣本的位于所述參考層圖片中的第一樣本在所述第一方向上的坐標(biāo)。
[0007]在附圖及以下描述中闡述一或多個實例的細(xì)節(jié)，其并不希望限制本文中所描述的本發(fā)明性概念的完整范圍。其它特征、目標(biāo)及優(yōu)勢將從描述及附圖且從權(quán)利要求書中顯而易見。
【附圖說明】
[0008]貫穿各圖式，參考標(biāo)號可再使用以指示所參考元件之間的對應(yīng)關(guān)系。提供圖式以說明本文中所描述的實例實施例，且并不希望限制本發(fā)明的范圍。
[0009]圖1為說明可利用根據(jù)本發(fā)明中描述的方面的技術(shù)的實例視頻編碼及解碼系統(tǒng)的框圖。
[0010]圖2A為說明可實施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻編碼器的實例的框圖。
[0011]圖2B為說明可實施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻編碼器的實例的框圖。
[0012]圖3A為說明可實施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻解碼器的實例的框圖。
[0013]圖3B為說明可實施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻解碼器的實例的框圖。
[0014]圖4為說明根據(jù)本發(fā)明的方面的確定再取樣過程中使用的舍入偏移的實例的框圖。
[0015]圖5為說明根據(jù)本發(fā)明的方面的用于確定再取樣過程中使用的舍入偏移的方法的一個實施例的流程圖。
[0016]圖6為說明根據(jù)本發(fā)明的方面的用于確定再取樣過程中使用的舍入偏移的方法的另一實施例的流程圖。
【具體實施方式】
[0017]本發(fā)明中描述的技術(shù)一般來說涉及可縮放視頻譯碼(SHVC、SVC)及多視圖/3D視頻譯碼(例如，多視圖譯碼加深度，MVC+D) ο舉例來說，技術(shù)可與高效率視頻譯碼(HEVC)可縮放視頻譯碼(SVC，有時稱為SHVC)擴(kuò)展相關(guān)，且與其一起或在其內(nèi)使用。在SHVC、SVC擴(kuò)展中，可存在多個視頻信息層。在最底部層級處的層可充當(dāng)基礎(chǔ)層(BL)，且在最頂部處的層(或最高層)可充當(dāng)增強層(EL)?！霸鰪妼?enhanced layer) ”有時被稱作“增強層(enhancement layer) ”，且這些術(shù)語可互換地使用。基礎(chǔ)層有時被稱作“參考層”(RL)，且這些術(shù)語也可互換地使用?；A(chǔ)層與頂層之間的所有層可充當(dāng)EL或參考層(RL)中的任一者或兩者。舉例來說，中部層可為在其下方的層(例如，基礎(chǔ)層或任何介入增強層)的EL，且同時充當(dāng)在其上方的增強層的RL?；A(chǔ)層與頂層(或最高層)之間的每一層可用作較高層進(jìn)行層間預(yù)測的參考，且可使用較低層作為用于層間預(yù)測的參考。
[0018]為簡單起見，根據(jù)僅兩個層來呈現(xiàn)實例:BL及EL ;然而，應(yīng)很好地理解，下文描述的構(gòu)想及實施例還適用于具有多個層的情況。另外，為易于解釋，常常使用術(shù)語“幀”或“塊”。然而，這些術(shù)語不希望具有限制性。舉例來說，下文所描述的技術(shù)可與多種視頻單元中的任一者一起使用，包含(但不限于)像素、塊(例如，CU、PU、TU、宏塊等)、切片、幀、圖片等。
[0019]視頻譯碼
[0020]視頻譯碼標(biāo)準(zhǔn)包含ITU-T H.261、IS0/IEC MPEG-1 視覺、ITU-T H.262 或 ISO/IEC MPEG-2 視覺、ITU-T H.263、IS0/IEC MPEG-4 視覺及 ITU-T H.264 (也被稱作 IS0/IECMPEG-4AVC)，包含其可縮放視頻譯碼(SVC)及多視圖視頻譯碼(MVC)及多視圖譯碼加深度(MVC+D)擴(kuò)展。最新HEVC草案規(guī)范(且在下文中被稱作HEVC WDI O)可自http://phenix.1nt-evry.fr/jet/doc_end_user/documents/12_Geneva/wgll/JCTVC-L1003-v34.zip 獲得。對HEVC的多視圖擴(kuò)展(即，MV-HEVC)也由JCT-3V開發(fā)。下文中的MV-HEVC WD3的最近工作草案(WD)可自 http://phenix.1t-sudparis.eu/jct2/doc_end_user/documents/3_Geneva/wgll/JCT3V-C1004-v4.zip 獲得。對 HEVC 的可縮放擴(kuò)展(稱為 SHVC)也由 JCT-VC開發(fā)。SHVC的最近工作草案(WD)(且在下文中被稱作SHVC WD2)可自http://phenix.1nt-evry.fr/jet/doc_end_user/documents/13_Incheon/wglI/JCTVC-M1008-vl.zip 獲得。
[0021]在SVC、SHVC中，視頻信息可提供為多個層。在最底部層級處的層可剛好充當(dāng)基礎(chǔ)層(BL)，且在最頂部層級處的層可充當(dāng)增強層(EL)。頂部層與底部層之間的所有層可充當(dāng)增強層及基礎(chǔ)層兩者。舉例來說，中部層可為在其下方的層的EL，且同時作為在其上方的層的BL。為簡單描述起見，我們可在說明下文所描述的技術(shù)時假定存在兩個層，BL及EL。然而，本文中所描述的所有技術(shù)還適用于具有多個(兩個以上)層的情況。
[0022]可縮放視頻譯碼(SVC)可用于提供質(zhì)量(還被稱作信噪比(SNR))可縮放性、空間可縮放性及/或時間可縮放性。舉例來說，在一個實施例中，參考層(例如，基礎(chǔ)層)包含足以在第一質(zhì)量水平下顯示視頻的視頻信息，且增強層包含相對于參考層的額外視頻信息，使得參考層及增強層一起包含足以在高于第一水平的第二質(zhì)量水平(例如，較少噪音、較大分辨率、較好幀速率等)下顯示視頻的視頻信息。增強層可具有與基礎(chǔ)層不同的空間分辨率。舉例來說，EL與BL之間的空間縱橫比在垂直及水平方向上可為1.0,1.5,2.0或其它不同比率。換句話說，EL的空間方面可等于BL的空間方面的1.0、1.5或2.0倍。在一些實例中，EL的縮放因數(shù)可大于BL。舉例來說，EL中的圖片的大小可大于BL中的圖片的大小。以此方式，EL的空間分辨率大于BL的空間分辨率可為可能的(但并非限制)。
[0023]在SVC (其是指H.264的SVC擴(kuò)展或H.265的SHVC擴(kuò)展(如上文所論述))中，可使用針對SVC提供的不同層執(zhí)行當(dāng)前塊預(yù)測。此預(yù)測可被稱為層間預(yù)測?？稍赟VC中利用層間預(yù)測方法以便減少層間冗余。層間預(yù)測的一些實例可包含層間幀內(nèi)預(yù)測、層間運動預(yù)測及層間殘余預(yù)測。層間幀內(nèi)預(yù)測使用基礎(chǔ)層中的共置塊的重建構(gòu)來預(yù)測增強層中的當(dāng)前塊。層間運動預(yù)測使用基礎(chǔ)層的運動信息(包含運動向量)來預(yù)測增強層中的運動。層間殘余預(yù)測使用基礎(chǔ)層的殘余來預(yù)測增強層的殘余。
[0024]
[0025]在SHVC中，如果參考層圖片大小不同于增強層圖片大小，則可將再取樣(或上取樣)過程應(yīng)用于參考層圖片以匹配增強層圖片的大小以用于層間預(yù)測。為對參考層圖片再取樣，可將N分接頭再取樣濾波器應(yīng)用于每一顏色分量。在濾波過程中，可將參考層圖片的樣本(或像素)量值乘以濾波器系數(shù)并求和。由于參考層圖片的大小及增強層圖片的大小不同，因此可定義濾波過程中涉及的參考層樣本的坐標(biāo)。舉例來說，可確定對應(yīng)于當(dāng)前增強層圖片的樣本位置的參考層圖片的樣本位置，使得由參考層圖片的樣本位置指示的樣本可用于再取樣過程。
[0026]在再取樣過程期間，可應(yīng)用額外舍入偏移。可在確定待再取樣的參考層圖片的樣本位置時添加舍入偏移。舉例來說，可在垂直方向上應(yīng)用額外舍入偏移addY。類似地，可在水平方向上應(yīng)用額外舍入偏移addX。參考層圖片的樣本位置可由水平樣本位置及垂直樣本位置定義。可在確定用于再取樣的參考層圖片的水平樣本位置時添加水平舍入偏移，且可在確定用于再取樣的參考層圖片的垂直樣本位置時添加垂直舍入偏移。
[0027]在SHVC的工作草案2中，addY被計算為如下:
[0028]# addY = (((RefLayerPicHeightInSamplesL*phaseY)<<14)+(ScaledRefLayerPicHeightInSamplesL>>l))/ScaledRefLayerPicHeightInSamplesL,
[0029]其中RefLayerPicHeightlnSamplesL 指不參考層圖片的高度且 ScaledRefLayerPicHeightlnSamplesL指示經(jīng)縮放或經(jīng)再取樣參考層圖片的高度。然而，使用除法運算以計算addY可代價大。因此，以更有效方式計算addY將是有利的。
[0030]為了解決這些及其它挑戰(zhàn)，本發(fā)明中描述的技術(shù)可在無需通過使用先前所計算縮放因數(shù)執(zhí)行除法運算的情況下計算用于再取樣參考層圖片的舍入偏移。縮放因數(shù)可包含水平縮放因數(shù)ScaleFactorX及垂直縮放因數(shù)ScaleFactorY。水平縮放因數(shù)及垂直縮放因數(shù)也可分別被稱作水平縮放因數(shù)及垂直縮放因數(shù)。水平縮放因數(shù)及垂直縮放因數(shù)可分別指示水平方向上的參考層圖片與增強層圖片之間的縮放比例及垂直方向上的參考層圖片與增強層圖片之間的縮放比例。ScaleFactorX及ScaleFactorY可被計算為如下:
[0031]# ScaleFactorX = ((RefLayerPicffidthInSamplesL<<16)+(ScaledRefLayerPicWidthInSamplesL>>l))/ScaledRefLayerPicffidthInSampIesL
[0032]# ScaleFactorY = ((RefLayerPicHeightInSamplesL<<16)+(ScaledRefLayerPicHeightInSamplesL>>l))/SealedRefLayerPicHeightInSampIesL,
[0033]其中RefLayerPicWidthlnSamplesL 及 RefLayerPicHeightlnSamplesL 分別指不參考層圖片的寬度及高度，且 ScaledRefLayerPicWidthlnSamplesL 及 ScaledRefLayerPicHeightInSampIesL分別指示經(jīng)縮放或經(jīng)再取樣參考層圖片的寬度及高度。
[0034]由于縮放因數(shù)的計算類似于舍入偏移的計算，因此技術(shù)可在計算舍入偏移時利用縮放因數(shù)。如上文所解釋，可存在用于水平方向的舍入偏移及用于垂直方向的舍入偏移。在一個實施例中，addY及addX可被計算為如下:
[0035]# addY = (SealeFactorY*phaseY+offset)>>2,
[0036]# addX = (SealeFactorX*phaseX+offset)>>2,
[0037]其中偏移可為一些數(shù)目(例如，0、1、2等)。
[0038]—般來說，當(dāng)計算舍入偏移時縮放因數(shù)可用，且因此，可基于縮放因數(shù)計算舍入偏移而無需執(zhí)行除法運算。由于除法運算代價大，因此可通過排除除法運算更有效地計算舍入偏移。結(jié)果，也可更有效地執(zhí)行譯碼過程。
[0039]在下文中參考附圖更充分地描述新穎系統(tǒng)、設(shè)備及方法的各個方面。然而，本發(fā)明可以許多不同形式體現(xiàn)，且不應(yīng)將其理解為限于貫穿本發(fā)明所呈現(xiàn)的任何特定結(jié)構(gòu)或功能。實際上，提供這些方面使得本發(fā)明將為透徹且完整的，且將向所屬領(lǐng)域的技術(shù)人員充分傳達(dá)本發(fā)明的范圍?；诒疚闹械慕淌?，所屬領(lǐng)域的技術(shù)人員應(yīng)了解，本發(fā)明的范圍既定涵蓋無論是獨立于本發(fā)明的任何其它方面而實施還是與之組合而實施的本文中所揭示的新穎系統(tǒng)、設(shè)備及方法的任何方面。舉例來說，可使用本文中闡述的任何數(shù)目個方面來實施設(shè)備或?qū)嵺`方法。另外，本發(fā)明的范圍既定涵蓋使用除本文中所闡述的本發(fā)明的各個方面之外或除了所述方面的其它結(jié)構(gòu)、功能性或結(jié)構(gòu)與功能性來實踐的此設(shè)備或方法。應(yīng)理解，可通過權(quán)利要求的一或多個要素來體現(xiàn)本文中所揭示的任何方面。
[0040]盡管本文中描述了特定方面，但這些方面的許多變化及排列屬于本發(fā)明的范圍。盡管提到優(yōu)選方面的一些益處及優(yōu)勢，但本發(fā)明的范圍并不希望限于特定益處、用途或目標(biāo)。實際上，本發(fā)明的方面既定廣泛地適用于不同無線技術(shù)、系統(tǒng)配置、網(wǎng)絡(luò)及發(fā)射協(xié)議，其中的一些是作為實例而在圖中及優(yōu)選方面的以下描述中說明。詳細(xì)描述及圖式僅僅說明本發(fā)明，而不是限制由所附權(quán)利要求書及其等效物定義的本發(fā)明的范圍。
[0041 ] 視頻譯碼系統(tǒng)
[0042]圖1為說明可利用根據(jù)本發(fā)明中描述的方面的技術(shù)的實例視頻譯碼系統(tǒng)10的框圖。如本文中所描述地使用，術(shù)語“視頻譯碼器”一般指視頻編碼器及視頻解碼器兩者。在本發(fā)明中，術(shù)語“視頻譯碼”或“譯碼”可一般指視頻編碼及視頻解碼。
[0043]如圖1中所展示，視頻譯碼系統(tǒng)10包含源裝置12及目的地裝置14。源裝置12產(chǎn)生經(jīng)編碼視頻數(shù)據(jù)。目的地裝置14可解碼由源裝置12產(chǎn)生的經(jīng)編碼視頻數(shù)據(jù)。源裝置12可經(jīng)由通信信道16 (其可包含計算機(jī)可讀存儲媒體或其它通信信道)將視頻數(shù)據(jù)提供到目的地裝置14。源裝置12及目的地裝置14可包含廣泛范圍的裝置，包含桌上型計算機(jī)、筆記型(例如，膝上型)計算機(jī)、平板計算機(jī)、機(jī)頂盒、電話手持機(jī)(例如，所謂的“智能”電話、所謂的“智能”板)、電視機(jī)、相機(jī)、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺、車載計算機(jī)、視頻流式傳輸裝置或其類似者。源裝置12及目的地裝置14可經(jīng)裝備以用于無線通信。
[0044]目的地裝置14可經(jīng)由通信信道16接收待解碼的經(jīng)編碼視頻數(shù)據(jù)。通信信道16可包括能夠?qū)⒔?jīng)編碼