本發(fā)明涉及利用深度信息的視頻編碼,涉及利用深度信息誘導(dǎo)個體信息,有效地編碼圖像的方法及裝置。
背景技術(shù):
深度信息圖像被廣泛地活用在三維視頻編碼中,如Xbox游戲機的體感(Kinect)攝像機、英特爾SENZ3D網(wǎng)絡(luò)攝像頭、IPad的iSense 3D掃描器、谷歌Tango智能手機等,配置在新的輸入裝置的深度信息射線機,可活用在多樣的三維及二維應(yīng)用程序。
一方面,由深度信息攝像機的大眾化及普及,二維/三維應(yīng)用程序通過更多樣的二維/三維應(yīng)用服務(wù)器成為大眾化過程中,由此,在往后多媒體攝像機系統(tǒng)包括深度信息攝像機,可進行多樣的信息活用。
技術(shù)實現(xiàn)要素:
技術(shù)課題
本發(fā)明的目的是編碼二維視頻時,利用深度信息,提供沒有性能熱化且可進行有效編碼的圖像編碼方法及裝置。
技術(shù)方案
根據(jù)一個實施例,利用深度信息的圖像編碼方法,其步驟包括:提取當前最大編碼單元LCU(Largest Coding Unit)的深度值分部信息;基于所述深度值分部信息,預(yù)測所述LCU的分割結(jié)構(gòu)后補;及基于編碼效率及畫質(zhì)信息中至少任何一個,決定所述LCU的分割結(jié)構(gòu)后補中的最佳分割結(jié)構(gòu)。
根據(jù)其他一個實施例,利用深度信息的圖像編碼方法,其步驟包括:提取當前最大編碼單元LCU(Largest Coding Unit)的深度值分部信息;基于包括在所述LCU的編碼單元CU(Coding Unit)的深度值分部信息,預(yù)測所述編碼單元的個體結(jié)構(gòu);及基于所述CU的個體結(jié)構(gòu)預(yù)測,省略率失真費用計算中一部分,決定所述最大編碼單元分割結(jié)構(gòu)后補中的最佳分割結(jié)構(gòu)。
又根據(jù)其他一個實施例,利用深度信息的圖像編碼方法,其步驟包括:從深度圖像提取當前編碼單元CU(Coding Unit)的深度值分部信息;及基于所述深度值分部信息,確認所述當前CU是否由單一個體形成,且根據(jù)所述當前CU由單一個體形成與否,預(yù)測所述當前CU的分割結(jié)構(gòu)。
根據(jù)一個實施例,利用深度信息的圖像編碼裝置,其包括:深度值提取單元,從深度圖像提取當前最大編碼單元LCU(Largest Coding Unit)的深度值分部信息;分割結(jié)構(gòu)預(yù)測單元,基于所述深度值分部信息,預(yù)測所述LCU的分割結(jié)構(gòu)后補;及最佳分割結(jié)構(gòu)決定單元,基于編碼效率及畫質(zhì)信息中至少任何一個,決定所述LCU的分割結(jié)構(gòu)后補中的最佳分割結(jié)構(gòu)。
根據(jù)其他實施例,利用深度信息的圖像編碼裝置,其包括:深度值提取單元,從深度圖像提取當前最大編碼單元LCU(Largest Coding Unit)的深度值分部信息;個體結(jié)構(gòu)預(yù)測單元,基于包括在所述LCU的CU的深度值分部信息,預(yù)測所述CU的個體結(jié)構(gòu);及最佳分割結(jié)構(gòu)決定單元,基于所述CU的個體結(jié)構(gòu)預(yù)測,省略率失真費用計算中一部分,決定所述LCU的分割結(jié)構(gòu)后補中的最佳分割結(jié)構(gòu)。
又根據(jù)其他一個實施例,利用深度信息的圖像編碼裝置,其包括:深度值提取單元,從深度圖像提取當前最大編碼單元LCU(Largest Coding Unit)的深度值分部信息;及分割結(jié)構(gòu)預(yù)測單元,基于所述深度值分部信息,確認所述當前CU是否由單一個體形成,且根據(jù)所述當前CU由單一個體形成與否,預(yù)測所述當前CU的分割結(jié)構(gòu)。
技術(shù)效果
根據(jù)本發(fā)明的實施例,利用從深度信息攝像機獲得的深度信息圖像,編碼二維普通圖像,可執(zhí)行對二維圖像的有效地編碼。
附圖說明
圖1是示出對普通圖像及普通圖像深度信息圖的示例圖。
圖2是示出體感輸入裝置的示例圖。
圖3是示出網(wǎng)絡(luò)攝像頭產(chǎn)品。
圖4是示出iSense 3D掃描器裝置。
圖5是示出谷歌Tango智能手機。
圖6是示出說明高效視頻編程HEVC編碼裝置。
圖7是示出在智能手機適用HEVC編碼器的圖像編碼的示例。
圖8是示出在智能手機包括深度圖像的HEVC的示例。
圖9是示出圖像由多個單元分割的示例。
圖10是示出由LCU單位決定CU分割結(jié)構(gòu)的示例。
圖11是示出將圖像分割為多個預(yù)測單元的示例。
圖12是示出普通圖像的示例。
圖13是示出對圖12的普通圖像的深度信息圖的示例。
圖14是示出根據(jù)本發(fā)明的一個實施例的圖像編碼方法。
圖15是示出根據(jù)本發(fā)明的其他一個實施例的圖像編碼方法。
圖16是示出根據(jù)本發(fā)明的其他另一個實施例的圖像編碼方法。
圖17是示出根據(jù)本發(fā)明的實施例的LCU單位最佳CU分割結(jié)構(gòu)決定方法的流程。
圖18是示出根據(jù)本發(fā)明的一個實施例的CU分割早期結(jié)束過程的流程。
圖19是示出CU的深度值分布示例。
圖20是示出根據(jù)本發(fā)明的一個實施例的CU分割早期結(jié)束過程的其他示例的流程。
圖21是示出CU的個體構(gòu)成的多樣示例。
圖22及圖23是示出根據(jù)本發(fā)明的實施例的圖像編碼方法。
圖24是示出根據(jù)本發(fā)明的一個實施例的分割結(jié)構(gòu)決定簡化過程。
圖25是示出根據(jù)本發(fā)明的一個實施例的分割結(jié)構(gòu)決定簡化過程的其他示例。
圖26是示出根據(jù)本發(fā)明的一個實施例的圖像編碼裝置的構(gòu)成。
具體實施方式
以下內(nèi)容只預(yù)示本發(fā)明的原理。因此,雖然在本說明書沒有明確地說明或示出,但從業(yè)者可發(fā)明體現(xiàn)本發(fā)明的原理,包括在本發(fā)明的概念和范圍的多樣的裝置。此外,在本說明書列舉的所有條件用語及實施例原則上被理解為,本發(fā)明的概念僅被理解的目的的明確的意圖,且不受限于如此特別列舉的實施例及狀態(tài)。
例如,本說明書的框圖被理解為,顯示具體化本發(fā)明原理的示例性回路的概念性觀點。與此類似的,所有的流程、狀態(tài)變換圖、助記碼等被理解為,可實質(zhì)性的顯示在計算機可判讀的媒體,且無論計算機或處理器明確地示出與否,顯示由計算機或處理器被執(zhí)行的多樣過程。
以下,參照附圖對本發(fā)明的實施例進行詳細地說明。
圖1是示出對普通圖像及普通圖像深度信息圖的示例圖。圖2是示出手感輸入裝置的示例圖。
參照圖1,圖1的A通過攝像機實際拍攝的圖像,且B是對實際圖像的深度圖像,即顯示深度信息圖像(或深度信息圖)。深度信息(Depth Information)意味著顯示攝像機和實際事物間距離的信息。
這些深度信息圖像主要被活用在用于生成三維虛擬視點圖像,且作為實際與此有關(guān)的研究,在國際標準化組織ISO(International Standardization Organization)/國際電工技術(shù)委員會IEC(International Electrotechnical Commission)的運動圖像專家組MPEG(Moving Picture Experts Group)和國際電信聯(lián)盟電信標準化部ITU-T(International Telecommunication Union Telecommunication Standardization Sector)視頻編碼專家組VCEG(Video Coding Experts Group)共同標準化組的三維視頻編碼擴展開發(fā)聯(lián)合協(xié)作組JCT-3V(The Joint Collaborative Team on 3D Video Coding Extension Development)正在進行三維視頻標準化。
三維視頻標準包括普通圖像和利用其深度信息圖像的立體圖像,及可支持自由立體圖像播放等的,進步的數(shù)據(jù)形式和有關(guān)此技術(shù)的標準。
2010年11月微軟發(fā)布了由XBOX-360游戲設(shè)備的新輸入裝置的體感(Kinect)傳感器,但是,此裝置是認知人的動作,連接在計算機系統(tǒng)的裝置,包括在圖2示出的分量配置RGB攝像機及三維深度傳感器。此外,體感由圖像裝置也生成RGB圖像及最大640x480深度信息圖(Depth Map),可提供到連接的計算機。此外,2014年英特爾發(fā)表了以筆記本電腦用的安裝320x240深度傳感器的720p CREATIVE SENZ3D網(wǎng)絡(luò)攝像頭,且蘋果由利用RGB攝像機和深度傳感器的iPad用三維掃描器發(fā)布了iSense,且谷歌發(fā)表了安裝深度傳感器的Tango智能手機。
圖3是示出網(wǎng)絡(luò)攝像頭產(chǎn)品。
參照圖3,顯示CREATIVE SENZ3D網(wǎng)絡(luò)攝像頭,且圖3的A顯示SENZ3D網(wǎng)絡(luò)攝像頭產(chǎn)品,B顯示SENZ3D網(wǎng)絡(luò)攝像頭原型。
圖4是示出iSense 3D掃描器裝置,且圖5是示出谷歌Tango智能手機。
圖4的A顯示iSense產(chǎn)品,B顯示通過iSense的掃描處理的示例。圖5的A顯示谷歌Tango智能手機產(chǎn)品,B顯示谷歌Tango智能手機原型。
如體感、iSense 3D掃描器、英特爾SENZ3D網(wǎng)絡(luò)攝像頭的圖像裝備及谷歌Tango智能手機出現(xiàn),可成為如高價的二維及三維游戲,或圖像服務(wù)的多樣應(yīng)用程序被大眾所愛的契機,且顯示安裝深度信息攝像機或傳感器的視頻裝置被成為大眾化。
由此,將來的視頻系統(tǒng)的發(fā)展被預(yù)見成用于二維普通圖像的服務(wù)及在普通圖像攝像機結(jié)合深度攝像機,二維和三維應(yīng)用圖像服務(wù)基本被提供的形態(tài)或手持(handheld)系統(tǒng)的輸入輔助裝置的形態(tài)。
普通攝像機和深度攝像機基本結(jié)合的視頻系統(tǒng),可稱為不僅在三維視頻編解碼器利用深度信息,而且在二維視頻編解碼器也利用深度信息的新的方法。
此外,在包括深度信息攝像機的攝像機系統(tǒng),普通圖像的編碼可照實使用現(xiàn)有視頻編解碼器被編碼。其中,作為現(xiàn)有的視頻編解碼器的一個示例,可由MPEG-1、MPEG-2、MPEG-4、H.261、H.262、H.263、H.264/AVC、MVC、SVC、HEVC、SHVC、3D-AVC、3D-HEVC、VC-1、VC-2、VC-3等編碼,且可由其外的多樣編解碼器編碼。
圖6是示出說明HEVC編碼裝置。
作為編碼實際圖像和其深度信息圖的方法的一個示例,到現(xiàn)在為止被開發(fā)的視頻編碼標準中,在具有最高編碼效率的運動圖像專家組MPEG(Moving Picture Experts Group)和視頻編碼專家組VCEG(Video Coding Experts Group)共同利用完成標準化的高效視頻編碼HEVC(High Efficiency Video Coding)可執(zhí)行編碼。HEVC的編碼結(jié)構(gòu)圖的一個示例如圖6。如圖6所示,在HEVC包括編碼單位及結(jié)構(gòu)、畫面間(Inter)預(yù)測、畫面內(nèi)(Intra)預(yù)測、內(nèi)插(Interpolation)、過濾(filtering)、(變換(Transform)方法等多樣的新的算法。圖6是示出對圖像編碼裝置構(gòu)成一個示例的框圖,顯示根據(jù)HEVC編解碼器的編碼裝置的構(gòu)成。
在這種情況下,在圖6的過濾單元和參照圖像緩沖之間,可具備采樣點自適應(yīng)偏移SAO(Sample Adaptive Offset)。SAO為了補償編碼錯誤,可在像素值加上適當偏移(offset)值。
HEVC執(zhí)行間預(yù)測編碼,即畫面見預(yù)測編碼,所以,當前被編碼的圖像為了被用于參照圖像,有必要被解碼進行存儲。因此,被量子化的系數(shù)在逆量子化單元被逆量子化,且在逆變換單元被逆變換。逆量子化、逆變換系數(shù)通過加法器175加在預(yù)測塊,且生成復(fù)原塊。經(jīng)過過濾單元的復(fù)原塊被存儲在參照圖像緩沖。
圖7是示出在智能手機適用HEVC編碼器的圖像編碼的示例。圖8是示出在智能手機包括深度圖像的HEVC的示例。
參照圖7,HEVC編碼器被適用的智能手機中的一般形態(tài),可以是利用HEVC解碼器,編碼通過智能手機被拍攝的圖像,且具有被編碼的圖像得到提供服務(wù)的形態(tài)。
但是,通過包括深度攝像機的智能手機拍攝圖像時,如圖8所示,獨立地生成普通圖像(Texture)和深度圖像(Depth),利用深度信息、與普通圖像的相關(guān)性,通過優(yōu)化的HEVC編碼器和復(fù)雜性減少,可獲得更提高的編碼圖像。
現(xiàn)有技術(shù)專利文獻1,美國公開專利第20140085416號公開了從深度圖(Depth map)確認當前框的個體信息,合并(merge)框的構(gòu)成,但是,完全沒能公開如何分割編碼單元進行編碼。
此外,現(xiàn)有技術(shù)專利文獻2,韓國公開專利第2012-0137305號及專利文獻3,韓國公開專利第2014-0048784號沒有公開利用深度信息的內(nèi)容,或者沒有明確的提示預(yù)測CU的分割結(jié)構(gòu)。
圖9是示出圖像由多個單元分割的示例。
高效視頻編碼方式執(zhí)行編碼時,將圖像分為編碼單元CU(Coding Unit,以下‘CU’)基本單位的大編碼單元LCU(Largest Coding Unit)單位執(zhí)行編碼。
其中,CU做與現(xiàn)有視頻編解碼器H.2064/AVC基本快的宏塊MB(Macro Block,以下‘MB’)類似的作用,但是,與具有16x16固定大小的MB不同,CU可變性的定大小。此外,為了編碼分割的LCU為了圖像有效的編碼,可重新分為比LCU小的多個CU。
參照圖9,64x64大小的LCU可由多樣的方式分割為多個CU。
圖9的A顯示將分割深度值為0的64x64大小的LCU分割成分割深度1的32x32大小CU的示例。
圖9的B顯示將32x32大小的CU中一個分割成分割深度2的示例,C顯示將32x32大小的CU中兩個分割成分割深度2的示例。
圖9的D顯示包括由分割深度3分割的CU。
因此,LCU或CU的分割結(jié)構(gòu)后補,可由多樣的方式存在。
LCU分割結(jié)構(gòu)是編碼單位的分割信息。如上述,生成多樣的LCU分割結(jié)構(gòu),存儲在LCU分割結(jié)構(gòu)后補之后,在決定最佳的LCU分割結(jié)構(gòu)的步驟,由LCU單位將LCU分割結(jié)構(gòu)后補中一個分割結(jié)構(gòu),選擇為最佳LCU分割結(jié)構(gòu)。使用這些方法,優(yōu)點在于以LCU單位適于圖像特性,將適應(yīng)性的LCU分割結(jié)構(gòu)為基礎(chǔ)執(zhí)行編碼,可在編碼效率及畫質(zhì)側(cè)面執(zhí)行有效的編碼。
圖10是示出由LCU單位決定CU分割結(jié)構(gòu)的示例。
在HEVC的編碼器中,根據(jù)圖像的特性可不同的決定LCU內(nèi)的編碼單位的分割方法。即,為了決定最佳的LCU分割結(jié)構(gòu),可編碼多樣情況的分割結(jié)構(gòu),且作為決定最佳的LCU分割結(jié)構(gòu),每個各個的分割深度使用所有編碼單位的預(yù)測模式(Intra、Inter模式等),執(zhí)行編碼之后,可根據(jù)編碼的比特量,使用決定相應(yīng)編碼單位的預(yù)測模式的方法。
例如如圖9,由深度為0的64x64編碼單位執(zhí)行內(nèi)部模式和間模式等的各個編碼之后,存儲最佳的模式,且將64x64大小的編碼單位分割成四個,以各個的32x32大小的編碼單位,可由回歸式的執(zhí)行內(nèi)部模式和間模式等的各個編碼。這時被分割的四個32x32大小的編碼單位,可由分別獨立的選擇預(yù)測模式。此外,在32x32大小的編碼單位內(nèi),也分割成16x16大小的四個編碼單位,執(zhí)行編碼。由這些回歸式方式分割相應(yīng)編碼單位,執(zhí)行編碼之后,從比特量和畫質(zhì)側(cè)面決定最有效的編碼單位的分割結(jié)構(gòu)。
例如,編碼的四個32x32大小編碼單位的比特量和畫質(zhì)比由64x64大小編碼單元的編碼有效時,決定相應(yīng)編碼單位被分割成32x32大小的四個編碼單位。在編碼器(圖像編碼器)編碼圖像時,對于LCU可被分割的所有情況的個數(shù),尋找最佳的編碼單位分布,但是,這作用為提高編碼器的計算復(fù)雜性的因素。
為了有效的壓縮性能,越對多種情況的個數(shù)判斷編碼效率,發(fā)生計算復(fù)雜性增加的現(xiàn)象。
圖11是示出將圖像分割為多個預(yù)測單元的示例。
參照圖11,CU的基本結(jié)構(gòu)可由正方形大小的2Nx2N被顯示。
由在CU內(nèi)分割的預(yù)測結(jié)構(gòu),顯示預(yù)測單元PU(Prediction Unit,以下‘PU’)。
在圖11參照符號1110顯示對稱性分割結(jié)構(gòu)的對稱運動劃分SMP(Symmetric Motion Partitioning)示例,參照符號1120顯示由上下或左右的對稱性分割結(jié)構(gòu)的2NxN和Nx2N結(jié)構(gòu)示例。
并且,參照符號1130是非對稱分割結(jié)構(gòu)的非對稱運動劃分AMP(Asymmetric Motion Partitioning)示例,顯示2NxnU、2NxnD、nLx2N、nRx2N的示例。在這種情況下,n是正數(shù),U、D、L、R可分別是正數(shù)或有理數(shù)。
PU是由CU單位執(zhí)行內(nèi)部或間模式的編碼時,用于更有效編碼被決定的結(jié)構(gòu)。這是為了在以CU單位執(zhí)行編碼,不可正確地預(yù)測時,在CU內(nèi)有PU單位區(qū)分,獨立性的預(yù)測各個PU,進行編碼。
圖9至圖11的分割結(jié)構(gòu)決定及PU分割結(jié)構(gòu)決定,沒有考慮對周邊塊的個體信息。當然,這是因為二維圖像的情況下沒有深度攝像機時,通過二維圖像分析,提取圖像內(nèi)的個體信息,所以,現(xiàn)有的二維視頻編碼方法完全沒有搭載利用個體信息的方法。
由相同的理由,HEVC的情況下在分割結(jié)構(gòu)決定方法也完全沒有搭載利用個體信息的編碼方法。但是,可利用深度攝像機考慮個體信息時,分割結(jié)構(gòu)決定方法可知道根據(jù)相應(yīng)CU的個體構(gòu)成信息的相關(guān)性,以有效的預(yù)測決定分割結(jié)構(gòu)時,有效地減少編碼復(fù)雜性。
對此,將深度信息利用在分割結(jié)構(gòu)決定方法時,判斷相應(yīng)CU的個體信息或個體領(lǐng)域的構(gòu)成,預(yù)測對相應(yīng)領(lǐng)域的有效分割結(jié)構(gòu)時,可有效地減少編碼復(fù)雜性。
圖12是示出普通圖像的示例。圖13是示出對圖12的普通圖像的深度信息圖的示例。
如圖12和圖13示出,屬于個體邊界領(lǐng)域的部分,具有復(fù)雜CU分割結(jié)構(gòu)的概率高,被判斷為個體內(nèi)部或背景領(lǐng)域的地方,具有比較單純的分割結(jié)構(gòu)的概率高。
因此,利用深度信息得到對當前編碼領(lǐng)域的個體信息時,當前編碼領(lǐng)域被決定成由多數(shù)CU構(gòu)成的復(fù)雜分割結(jié)構(gòu),或者可進行決定由少數(shù)CU構(gòu)成的單純的分割結(jié)構(gòu)的高概率的預(yù)測。通過此,限制概率低的分割結(jié)構(gòu)決定可減少計算量。在本發(fā)明提出的方法,在分割結(jié)構(gòu)決定利用深度信息,預(yù)測概率高的分割結(jié)構(gòu),可編碼。
根據(jù)現(xiàn)有技術(shù)的二維視頻編解碼器被設(shè)計成完全沒有反映利用深度信息的算法。但是,實際圖像和其深度信息圖像具有大的相關(guān)性,所以,著眼于可將深度信息活用在編碼二維圖像,由考慮深度信息的算法開發(fā),可考慮在二維視頻編碼的深度信息利用方法。
本發(fā)明的基本原理是為了在二維視頻編解碼器的有效編碼,利用在深度信息攝像機獲得的深度信息編碼實際圖像,但是,為了活用利用在移動預(yù)測方法的深度信息。
例如,活用深度信息圖像區(qū)分普通圖像的個體編碼時,可大大減少對普通圖像的編碼復(fù)雜性。
其中,個體意味著多個個體,可包括背景圖像,在塊基板編碼編解碼器的塊內(nèi),可存在多個個體,且由深度信息圖像為基礎(chǔ),每個相應(yīng)個體可適用分別不同的編碼方法。
圖14是示出根據(jù)本發(fā)明的一個實施例的圖像編碼方法。
參照圖14,在步驟1410,圖像編碼裝置從深度圖像提取當前最大編碼單元LCU(Largest Coding Unit)的深度值分部信息。
在這種情況下,例如,如圖19的A或B,深度值分部信息可以是CU的深度信息圖,可由正規(guī)的值顯示。例如,在圖19的B,M1的正規(guī)的深度值是9,M2的正規(guī)的深度值是7,M3的正規(guī)的深度值可以是1。
在步驟1420,圖像編碼裝置基于深度值分部信息,預(yù)測所述LCU的分割結(jié)構(gòu)后補。
在這種情況下,預(yù)測LCU的分割結(jié)構(gòu)后補的步驟1420可包括確認包括在當前LCU的CU深度值分部信息的過程,及基于CU的深度值分部信息,確認所述CU由單一個體形成與否,且所述CU由單一個體形成時,結(jié)束所述CU的分割結(jié)構(gòu)后補預(yù)測的過程。
在步驟1430,圖像編碼裝置基于編碼效率及畫質(zhì)信息中至少任何一個,決定所述LCU的分割結(jié)構(gòu)后補中最佳分割結(jié)構(gòu)。
在這種情況下,在決定最佳分割結(jié)構(gòu)的步驟1430,圖像編碼裝置基于深度值分部信息,預(yù)測所述CU的個體結(jié)構(gòu),基于所述CU的個體結(jié)構(gòu)預(yù)測,省略率失真費用計算中一部分,可決定最佳分割結(jié)構(gòu)。
圖15是示出根據(jù)本發(fā)明的其他一個實施例的圖像編碼方法。
參照圖15,在步驟1510,圖像編碼裝置提取當前最大編碼單元LCU(Largest Coding Unit)的深度值分部信息。
在步驟1520,圖像編碼裝置基于包括在LCU的CU深度值分部信息,預(yù)測所述CU的個體結(jié)構(gòu)。
在這種情況下,個體結(jié)構(gòu)的預(yù)測可從CU的深度值分布信息推測CU內(nèi)的個體結(jié)構(gòu)是單一結(jié)構(gòu),還是由上下區(qū)分的構(gòu)成,還是由左右區(qū)分的結(jié)構(gòu)。例如,圖21的深度值分布如同C時,以CU的中心為基準,分別相同的深度值以已設(shè)定的數(shù)字以上分布在左側(cè)和右側(cè)時,個體結(jié)構(gòu)可被預(yù)測為向左右區(qū)分的結(jié)構(gòu)。在這種情況下,已設(shè)定的數(shù)字可根據(jù)系統(tǒng)允許的精確度被設(shè)定。
在這種情況下,CU的中心被判斷為上下個體結(jié)構(gòu)時,是橫軸中心,被判斷為左右個體結(jié)構(gòu)時,可以是縱軸中心。
又作為其他示例,以CU的橫軸中心為基準,左側(cè)及右側(cè)的深度值的最大值及最小值比特定值小的情況為基準,也可判斷個體結(jié)構(gòu)。
在步驟1530,圖像編碼裝置基于CU的個體結(jié)構(gòu)預(yù)測,省略率失真費用計算中一部分,決定所述LCU的分割結(jié)構(gòu)后補中最佳分割結(jié)構(gòu)。
率失真費用計算中被省略計算的具體示例,通過在圖21示出的示例進行說明。
圖16是示出根據(jù)本發(fā)明的其他另一個實施例的圖像編碼方法。
參照圖16,在步驟1610,圖像編碼裝置從深度圖像提取當前編碼單元CU(Coding Unit)的深度值分部信息。
在這種情況下,預(yù)測當前CU的分割結(jié)構(gòu)步驟1610包括當前CU由單一個體形成時,決定不分割所述當前CU的過程。
因此,根據(jù)在圖16示出的實施例,通過深度信息判斷某個CU具有單一個體時,以不在分割此CU來決定分割結(jié)構(gòu)后補,可減少編碼復(fù)雜性。
在步驟1620,圖像編碼裝置基于深度值分布信息,決定所述當前CU是否由單一個體形成,且根據(jù)所述當前CU由單一個體形成與否,預(yù)測所述當前CU的分割結(jié)構(gòu)。
在這種情況下,預(yù)測當前CU的分割結(jié)構(gòu)的步驟1620可包括當前CU的大小為已設(shè)定的值以上,預(yù)測所述當前CU由單一個體形成,且所述CU的編碼模式是跳躍模式時,決定不分割所述當前CU的過程。
在這種情況下,預(yù)測當前CU的分割結(jié)構(gòu)的步驟1620可包括當前CU的大小比已設(shè)定的值小,預(yù)測所述當前CU由單一個體形成,且所述CU的參照CU的大小為所述已設(shè)定的值以上,所述參照CU由跳躍模式被編碼時,決定不分割所述CU的過程。
在這種情況下,當前CU由單一個體形成與否,可經(jīng)所述CU的四角深度值被決定,且以深度值分布為基礎(chǔ),判斷單一個體與否的多樣示例,通過圖18至圖20進行詳細地說明。
圖17是示出根據(jù)本發(fā)明的實施例的LCU單位最佳CU分割結(jié)構(gòu)決定方法的流程。
圖17是更詳細地顯示在圖14示出的LCU單位分割結(jié)構(gòu)決定過程的流程。
例如,圖14的步驟1410可包括圖17的步驟1701及步驟1703。此外,圖14的步驟1420可包括圖17的步驟1705至步驟1710,步驟1750及步驟1760。
在步驟1705,圖像編碼裝置開始CU單位回歸程序,在步驟1707,提取當前CU的參照CU的深度信息或編碼模式等的LCU信息,且可編碼當前分割深度的CU,并存儲在最佳的CU后補。
在步驟1710,圖像編碼裝置可執(zhí)行利用深度信息的CU分割早期結(jié)束過程。在這種情況下,CU分割早期結(jié)束過程可以是在圖14、圖18及圖20示出的分割結(jié)構(gòu)后補預(yù)測過程。
通過步驟1710的分割早期結(jié)束過程執(zhí)行,可決定分割CU,這時,在步驟1750,將如圖9的B也可將CU分割成分割深度增加1的4個CU。
如果,經(jīng)過CU單位回歸程序,CU分割結(jié)構(gòu)后補被決定為圖9的A、B、C時,圖像編碼裝置考慮對各個的分割結(jié)構(gòu)后補的編碼效率等,在步驟1730可決定最佳的CU分割結(jié)構(gòu)。
決定最佳的CU分割結(jié)構(gòu),在步驟1740可結(jié)束CU單位回歸程序。
圖18是示出根據(jù)本發(fā)明的一個實施例的CU分割早期結(jié)束過程的流程。
參照圖18,提取當前LCU的深度信息的步驟1810,可以是與圖14的步驟1410或圖17的步驟1701相同的步驟。
在步驟1810,選擇當前編碼單元CU(Coding Unit)判斷當前CU的大小是否為32x32,例如,當前CU的大小是64x64或32x32。
當前CU的大小是32x32以上時,執(zhí)行步驟1811,否則執(zhí)行步驟1820。
在步驟1811,當前CU由單一個體形成,且判斷當前CU的編碼模式是否為跳躍模式。如果,當前CU由單一個體形成,且CU的編碼模式是跳躍模式時,在步驟1813存儲不分割當前CU的信息,且可結(jié)束執(zhí)行CU分割早期結(jié)束過程。
在步驟1811,當前CU被判斷為沒有由單一個體形成,或當前CU的編碼模式不是跳躍模式時,存儲分割當前CU的信息,且可結(jié)束執(zhí)行CU分割早期結(jié)束過程。
在步驟1820,圖像編碼裝置判斷當前LCU及當前CU是否由單一個體構(gòu)成。如果,判斷當前LCU或當前CU沒有由單一個體形成時,在步驟1830存儲分割當前CU的信息,且可結(jié)束執(zhí)行CU分割早期結(jié)束過程。
步驟1820的判斷結(jié)果,當前LCU或當前CU被判斷為沒有由單一個體構(gòu)成時,在步驟1840提取參照CU的深度信息,執(zhí)行步驟1841。
在步驟1841,圖像編碼裝置判斷參照CU的大小是32x32以上(例如,參照CU的大小是64x64或32x32的情況),且參照CU的編碼模式是否為跳躍模式。
在步驟1841,參照CU的大小是32x32以上,參照CU的編碼模式是跳躍模式時,在步驟1843存儲不分割當前CU的信息,且可結(jié)束執(zhí)行CU分割早期結(jié)束過程。
例如,當前CU的大小是比32x32小的大小CU時,當前CU通過深度信息被判斷為由單一個體構(gòu)成,且參照LCU也是通過深度信息被判斷為由單一個體構(gòu)成,參照CU(位于L0)的大小是64x64或32x32,且由跳躍模式被編碼時,當前CU也是由大的大小構(gòu)成的CU,即預(yù)測為單純的分割結(jié)構(gòu)的概率大,可使不在分割當前CU。
步驟1841的判斷結(jié)果,參照CU的大小不是32x32以上,或參照CU的編碼模式不是跳躍模式時,執(zhí)行步驟1830。
在這種情況下,跳躍模式可以是對原本圖像不編碼預(yù)測圖像或參照圖像間的差分信號(或差分圖像),或不傳送到解碼端的編碼模式。
在這種情況下,CU由單一個體形成與否是包括在CU的深度值分部信息的最大值及最小值的差是已設(shè)定的值以下時,所述CU由單一個體形成來判斷。
因此,參照在圖18示出的步驟1810至步驟1843,根據(jù)一個實施例的預(yù)測LCU的分割結(jié)構(gòu)后補的步驟,可包括考慮包含在當前LCU的CU的大小、包含在所述CU的深度值分部信息的最大值及最小值的差、所述CU的編碼模式是跳躍模式與否中至少一個,決定所述CU的分割與否的過程。
圖19是示出CU的深度值分布示例。
根據(jù)一個實施例,圖像編碼方法是判斷CU或塊由相同的單一個體形成與否方法的示例,可利用CU或塊四角位置的深度值。
參照圖19,圖像編碼裝置可將如A的CU深度值分布,判斷為深度值變化不大且均衡。
相反,因深度值的變化大,圖像編碼裝置可將如圖19的B的CU深度值分布判斷為沒有由單一個體形成。
參照圖19的B,可觀察到在CU內(nèi)的中間部分和角部分的深度值變化很大,在這種情況下可知四角的深度值中最大值和最小值的差大。因此,這些CU由單一個體形成的概率低,所以,可執(zhí)行CU分割。
CU的四角深度值中最大值及最小值差為已設(shè)定的基準值以下時,圖像編碼裝置可判斷所述CU由單一個體形成。
在這種情況下,例如,在圖19的A,M1的正規(guī)的深度值是9,M2及M3的正規(guī)的深度值是7,且M4的正規(guī)的深度值可以是7。
此外,在圖19的B,M1的正規(guī)的深度值是9,M2及M4的正規(guī)的深度值是7,且M3的正規(guī)的深度值可以是1。
在這種情況下,在圖19的A,CU四角的深度值的最大值及最小值的差是2,在圖19的B,CU四角的深度值的最大值及最小值的差是8。
因此,已設(shè)定的基準值為5時,圖18的A被決定為由單一個體形成,圖19的B可被決定為沒有由單一個體形成。
圖20是示出根據(jù)本發(fā)明的一個實施例的CU分割早期結(jié)束過程的其他示例的流程。
參照圖20,在步驟2010,圖像編碼裝置判斷當前CU是否是32x32以上。滿足步驟2010的條件時執(zhí)行步驟2020,否則執(zhí)行步驟2050。
在步驟2020,圖像編碼裝置判斷CU的大小是已設(shè)定的值以上,所述CU的四角深度值中最大值及最小值的差是已設(shè)定的基準值以下,且所述CU是否由跳躍模式被編碼。
在這種情況下,已設(shè)定的基準值可以是5。
滿足步驟2020的條件時,存儲不分割當前CU的信息,且可結(jié)束CU分割早期結(jié)束過程。
因此,根據(jù)一個實施例,預(yù)測LCU的分割結(jié)構(gòu)后補的步驟,可包括CU的大小是已設(shè)定的值以上,所述CU的四角深度值中最大值及最小值的差是已設(shè)定的基準值以下,且所述CU由跳躍模式被編碼時,決定不分割所述CU的過程。
不滿足步驟2020的條件時,存儲分割當前CU的信息,且可結(jié)束CU分割早期結(jié)束過程。
在步驟2050,圖像編碼裝置判斷CU的大小比已設(shè)定的值小,且所述LCU及所述CU各個的四角深度值都是相同的值。
滿足步驟2050的條件時,執(zhí)行步驟2060,否則執(zhí)行步驟2080。
在步驟2060及步驟2070,圖像編碼裝置提取參照CU的深度信息,且判斷參照CU的大小是否是32x32以上和參照CU的編碼模式是否是跳躍模式。
滿足步驟2070的條件時,執(zhí)行步驟2090,否則執(zhí)行步驟2080。
因此,根據(jù)一個實施例,預(yù)測LCU的分割結(jié)構(gòu)后補的步驟,可包括CU的大小比已設(shè)定的值小,所述LCU及所述CU各個的四角深度值都是相同的值,且所述CU的參照CU的大小是所述已設(shè)定的值以上,所述參照CU由跳躍模式被編碼時,決定不分割所述CU的過程。
圖21是示出CU的個體構(gòu)成的多樣示例。
根據(jù)本發(fā)明的一個實施例,通過深度信息判斷CU的個體構(gòu)成,可簡化在分割結(jié)構(gòu)決定中的分割結(jié)構(gòu)模式預(yù)測所需的率失真(RD-Cost,以下RD-Cost)的計算。
利用CU的深度值分部信息,可預(yù)測CU的個體構(gòu)成信息,所以,對于滿足任何條件的情況,不執(zhí)行非對稱運動劃分AMP(Asymmetric Motion Partitioning)的RD-Cost計算,可簡化模式預(yù)測決定。
例如,如圖21的A,CU由單一個體形成時,相應(yīng)CU的分割結(jié)構(gòu)模式被選擇為AMP中一個的概率低。因此,在這種情況下,可不執(zhí)行對2NxnU、2NxnD、nLx2N、nRx2N的RD-Cost計算。
因此,根據(jù)本發(fā)明的一個實施例,在最佳分割結(jié)構(gòu)預(yù)測步驟或分割結(jié)構(gòu)決定簡化過程中,CU的個體結(jié)構(gòu)被預(yù)測為由單一個體形成時,可省略對非對稱運動劃分AMP(Asymmetric Motion Partitioning)的率失真計算。
此外,如圖21的B,CU的構(gòu)成由上下區(qū)分被構(gòu)成為個體時,CU的上側(cè)和下側(cè)由其他個體形成的概率高,所以,可不執(zhí)行對nLx2N、nRx2N的RD-Cost計算。
因此,根據(jù)本發(fā)明的一個實施例,在最佳分割結(jié)構(gòu)預(yù)測步驟或分割結(jié)構(gòu)決定簡化過程中,CU的個體結(jié)構(gòu)被預(yù)測為由上下區(qū)分的結(jié)構(gòu)時,可省略對CU的非對稱運動劃分AMP(Asymmetric Motion Partitioning)的率失真計算中,與左右分割有關(guān)的計算。
此外,如圖21的C,CU的構(gòu)成由左右區(qū)分被構(gòu)成為個體時,CU的左側(cè)和右側(cè)由其他個體形成的概率高,所以,可不執(zhí)行對2NxnU、2NxnD的RD-Cost計算。
因此,根據(jù)本發(fā)明的一個實施例,在最佳分割結(jié)構(gòu)預(yù)測步驟或分割結(jié)構(gòu)決定簡化過程中,CU的個體結(jié)構(gòu)被預(yù)測為由左右區(qū)分的結(jié)構(gòu)時,可省略對CU的非對稱運動劃分AMP(Asymmetric Motion Partitioning)的率失真計算中,與上下分割有關(guān)的計算。
圖22及圖23是示出根據(jù)本發(fā)明的實施例的圖像編碼方法。
參照圖22,步驟2201、步驟2203及步驟2205分別可與圖17的步驟1701、步驟1703及步驟1705相同。
此外,除去利用深度信息的分割結(jié)構(gòu)決定簡化過程執(zhí)行步驟2210,可知其他步驟2220值步驟2270與圖17的步驟1709至步驟1760相同。
在這種情況下,利用深度信息的分割結(jié)構(gòu)決定簡化過程執(zhí)行步驟2210,可包括在圖24示出的過程或在圖25示出的過程。
參照圖23,在LCU單位整個分割結(jié)構(gòu)決定過程中,執(zhí)行利用深度信息的分割結(jié)構(gòu)決定簡化過程之后,可知經(jīng)過步驟2320,可在步驟2330執(zhí)行利用深度信息的CU分割早期結(jié)束過程。
在這種情況下,在步驟2310,圖像編碼裝置只存儲根據(jù)CU的個體結(jié)構(gòu)省略的計算之后,可執(zhí)行步驟2320至步驟2260。
例如,根據(jù)CU的個體結(jié)構(gòu)省略的率失真計算是“非對稱運動劃分AMP(Asymmetric Motion Partitioning)的率失真計算中,與左右分割有關(guān)的計算”時,圖像編碼裝置考慮在步驟2350省略的計算,可決定CU分割結(jié)構(gòu)后補中,最佳的CU分割結(jié)構(gòu)。
圖24是示出根據(jù)本發(fā)明的一個實施例的分割結(jié)構(gòu)決定簡化過程。
參照圖24,在步驟2510,圖像編碼裝置可判斷當前CU由單一個體構(gòu)成。滿足步驟2410的條件時執(zhí)行2420,否則執(zhí)行步驟2430。
滿足步驟2410的條件時,在步驟2420將決定跳躍AMP RD Cost計算,且可完成分割結(jié)構(gòu)所有決定。
在步驟2430,圖像編碼裝置判斷當前CU個體構(gòu)成是否由上下區(qū)分,且滿足條件時,在步驟2440可決定跳躍nLx2N、nRx2N的率失真計算。
在步驟2450,圖像編碼裝置判斷CU個體構(gòu)成是否由左右區(qū)分,且滿足此時,在步驟2460可決定跳躍2NxnU、2NxnD的率失真計算。
圖25是示出根據(jù)本發(fā)明的一個實施例的分割結(jié)構(gòu)決定簡化過程的其他示例。
圖25顯示通過CU的深度值分布,預(yù)測CU的個體構(gòu)成的一個示例。
例如,在步驟2510,CU的四角深度值都相同時,圖像編碼裝置判斷CU由單一個體構(gòu)成,執(zhí)行與步驟2420相同的步驟2520。
此外,在步驟2530,CU的四角深度值不是都相同,但是CU的上側(cè)兩角的深度值相同,下側(cè)兩角的深度值相同時,圖像編碼裝置判斷CU的個體構(gòu)成由上下區(qū)分,執(zhí)行與步驟2440相同的步驟2540。
此外,在步驟2550,圖像編碼裝置不滿足步驟2510及步驟2530的條件,但是,CU的左側(cè)角的深度值相同,且右側(cè)兩角的深度值相同時,判斷CU的個體構(gòu)成由左右區(qū)分,可執(zhí)行步驟2560。
圖26是示出根據(jù)本發(fā)明的一個實施例的圖像編碼裝置的構(gòu)成。
在圖26示出的圖像編碼裝置,可根據(jù)本發(fā)明的實施例執(zhí)行圖像編碼方法。
參照圖26,圖像編碼裝置2600可包括深度值提取單元2610、分割結(jié)構(gòu)預(yù)測單元2620及最佳分割結(jié)構(gòu)決定單元2630。此外,圖像編碼裝置2600還可包括個體結(jié)構(gòu)預(yù)測單元2640。
深度值提取單元2610從深度圖像提取當前最大編碼單元LCU(Largest Coding Unit)的深度值分部信息。
分割結(jié)構(gòu)預(yù)測單元2620基于深度值分部信息,預(yù)測所述LCU的分割結(jié)構(gòu)后補。在這種情況下,LCU的后補結(jié)構(gòu)后補的預(yù)測可以是利用圖17的深度信息的CU分割早期結(jié)束過程執(zhí)行步驟1710。
此外,分割結(jié)構(gòu)預(yù)測單元2620基于深度值分部信息,確認所述當前CU是否由單一個體形成,且根據(jù)所述當前CU由單一個體形成與否,預(yù)測所述當前CU的分割結(jié)構(gòu)。
最佳分割結(jié)構(gòu)決定單元2630基于編碼效率及畫質(zhì)信息中至少任何一個,決定所述LCU的分割結(jié)構(gòu)后補中的最佳分割結(jié)構(gòu)。
個體結(jié)構(gòu)預(yù)測單元2640,基于包括在LCU的CU深度值分部信息,預(yù)測所述CU的個體結(jié)構(gòu)。在這種情況下,最佳分割結(jié)構(gòu)決定單元2630基于CU的個體結(jié)構(gòu)預(yù)測,省略率失真費用計算中的一部分,決定所述LCU的分割結(jié)構(gòu)后補中的最佳分割結(jié)構(gòu)。
【表1】顯示將在圖25示出的實施例適用在HEVC的實驗結(jié)果。
通過實驗結(jié)果,可確認由主觀的畫質(zhì)的相同品質(zhì),圖像品質(zhì)沒有大的熱化并減少編碼復(fù)雜性。
【表1】
根據(jù)本發(fā)明的實施例,對象范圍或適用范圍可根據(jù)塊大小或CU的分割深度等可變。
在這種情況下,決定適用范圍的變數(shù)(即,大小或深度信息)可設(shè)定成使用編碼器及解碼器預(yù)先定的值,也可使用根據(jù)輪框或等級定的值,也可使用編碼器將變數(shù)值記載在比特流時,解碼器從比特流求的此值。根據(jù)CU分割深度,改變適用范圍時如【表2】的預(yù)示。方式A是只適用在預(yù)先設(shè)定的深度值以上深度的方式,方式B是只適用在預(yù)先設(shè)定的深度值以下的方式,方式C可以是只適用在預(yù)先設(shè)定的深度值的方式。
【表2】
具備的CU分割深度是2時,【表2】顯示適用本發(fā)明方法的適用范圍決定方式的示例(O:適用在相應(yīng)深度,X:不適用在相應(yīng)深度)
對所有深度不適用本發(fā)明的方法時,使用任何的標志(flag)顯示在比特流,也可由顯示比CU深度的最大值大一個值適用范圍的CU深度值信令。
此外,上述的各方法可根據(jù)亮度塊的大小,不同的適用在色差塊,也可不同的適用在亮度信號圖像及色差圖像。
組合各方法時,【表3】顯示根據(jù)亮度塊的大小及色差塊,不同適用的示例
【表3】
在【表3】的變形的方法中,觀察方法G1,亮度塊的大小是8(8x8、8x4、8x2等),色差塊的大小是4(4x4、4x2、2x4)時,根據(jù)本發(fā)明的實施例,可將合并清單構(gòu)成方法適用在亮度信號及色差信號。
在上述變更的方法中,觀察方法L2,亮度塊的大小是16(16x16、8x16、4x16等),色差塊的大小是4(4x4、4x2、2x4)時,根據(jù)本發(fā)明的實施例,可將合并清單構(gòu)成方法適用在亮度信號,且不能適用在色差信號。
另外,由其他變形的方法,只可在亮度信號適用根據(jù)本發(fā)明的實施例的合并請打構(gòu)成方法,在色差信號不適用。相反地,只可在色差信號適用根據(jù)本發(fā)明的實施例的合并請打構(gòu)成方法,在亮度信號不適用。
上述說明的裝置可由硬件構(gòu)成要素、軟件構(gòu)成要素、和/或硬件構(gòu)成要素及軟件構(gòu)成要素的組合被體現(xiàn)。例如,說明的裝置及構(gòu)成要素,可利用類似處理器、控制器、算術(shù)邏輯單元ALU(arithmetic logic unit)、數(shù)字信號處理器(digital signal processor)、微型計算機、現(xiàn)場可編程陣列FPA(field programmable array)、可編程邏輯單元PLU(programmable logic unit)、微處理器、或?qū)嵭兄噶?instruction)的其他任何裝置、一個以上的范用計算機或特殊目的計算機被體現(xiàn)。處理裝置可實行操作系統(tǒng)(OS)及該操作系統(tǒng)中所實行的一個以上的軟件應(yīng)用程序。此外,處理裝置可應(yīng)答軟件的實行,來存取、存儲、操作、處理、生成數(shù)據(jù)。為了便于理解,處理裝置被說明是使用一個,但在相關(guān)技術(shù)領(lǐng)域中,具有通常知識的技術(shù)人員應(yīng)理解,處理裝置可包括多個處理元件(processing element)和/或多個類型的處理元件。例如,處理裝置可包括多個處理器或一個處理器,以及一個控制器。此外,也可以是類似并行處理器(parallel processor)的其他處理配置(processing configuration)。
軟件可包括計算機程序(computer program),碼(code),命令(instruction),或者這些中一個以上的組合,為了如愿的操作,可命令處理裝置的構(gòu)成,或單獨的或者結(jié)合的(collectively)處理裝置。軟件及/或數(shù)據(jù)可以是,按處理裝置分析或為了在處理裝置提供命令或者數(shù)據(jù)、某些類型的機械、構(gòu)成要素(component)、物理裝置、虛擬裝置(virtual equipment)、計算機存儲媒體或裝置,或者被傳輸?shù)男盘柌?signal wave)永久的或者暫時的體現(xiàn)(embody)。軟件分散在連接網(wǎng)絡(luò)的計算機系統(tǒng)上,可以用分散的方法存儲或?qū)嵭小\浖皵?shù)據(jù)可存儲在一個以上的可分析計算機的記錄媒體。
根據(jù)實施例的方法可通過多種計算機手段以可實行的程序指令形態(tài)被記錄在計算機可讀媒體中。計算機可讀媒體可包括獨立的或結(jié)合的程序指令、數(shù)據(jù)文件、數(shù)據(jù)結(jié)構(gòu)等。媒體和程序指令可為了本發(fā)明被專門設(shè)計和創(chuàng)建,或為計算機軟件技術(shù)人員熟知而應(yīng)用。計算機可讀媒體的例子包括:磁媒體(magnetic media),如硬盤、軟盤和磁帶;光學媒體(optical media),如CD-ROM、DVD;磁光媒體(magneto-optical media),如光盤(floptical disk);和專門配置為存儲和實行程序指令的硬件裝置,如只讀存儲器(ROM)、隨機存取存儲器(RAM)等。程序指令的例子,既包括由編譯器產(chǎn)生的機器代碼,也包括使用解釋程序并可通過計算機被實行的高級語言代碼。為實行實施例的運作,所述硬件裝置可被配置為以一個以上的軟件模來運作,反之亦然。
如上所示,本發(fā)明雖然已參照有限的實施例和附圖進行了說明,但是本發(fā)明并不局限于所述實施例,在本發(fā)明所屬領(lǐng)域中具備通常知識的人均可以從此記載中進行各種修改和變形。例如,可通過與說明的方法不同的順序來實行所說明的技術(shù),和/或是通過與說明的方法不同的形態(tài)來結(jié)合或組合所說明的系統(tǒng)、結(jié)構(gòu)、裝置、電路等的構(gòu)成要素,或是通過其他構(gòu)成要素或同等事物來代替或置換也可獲得適當結(jié)果。
所以,其他實現(xiàn)、其他實施例及與專利請求范圍均等的,也屬于后述的專利申請范圍的范圍。