編碼裝置、解碼裝置、編碼方法及解碼方法
【專利摘要】本發(fā)明公開了編碼裝置、解碼裝置、編碼方法和解碼方法。所述編碼裝置包括：基礎(chǔ)圖像生成單元，其以預(yù)定的第一倍率對輸入圖像進行下變換以生成基礎(chǔ)圖像；第一圖像分量生成單元，其生成第一圖像分量信息，該信息被用來以不同于第一倍率的預(yù)定的第二倍率對輸入圖像進行下變換且是用于從基礎(chǔ)圖像復(fù)原輸入圖像的信息的一部分；第二圖像分量生成單元，其生成第二圖像分量信息，該信息被用來以不同于第一倍率和第二倍率的預(yù)定的第三倍率對輸入圖像進行下變換且與第一圖像分量信息一起被用于從基礎(chǔ)圖像復(fù)原輸入圖像；以及輸出單元，其輸出基礎(chǔ)圖像、第一圖像分量信息和第二圖像分量信息。根據(jù)本發(fā)明，能夠使用通過簡單計算而對分辨率進行各種改變的圖像。
【專利說明】編碼裝置、解碼裝置、編碼方法及解碼方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及適合于具有多種分辨率的圖像數(shù)據(jù)的傳輸?shù)木幋a裝置和解碼裝置。
【背景技術(shù)】
[0002]近年來，隨著高分辨率電視廣播的發(fā)展，已經(jīng)越來越多地使用例如4K高清圖像和8K超高清圖像等高分辨率圖像。此外，隨著例如智能手機等便攜式終端的發(fā)展，對具有從高分辨率到低分辨率的不同分辨率的顯示圖像的需求逐漸增加。
[0003]此外，當前普遍使用小波變換來壓縮和傳輸高分辨率圖像。
[0004]有人認為，現(xiàn)有技術(shù)中的小波變換/逆變換在其性質(zhì)上而言只能利用2的冪來降低或提高分辨率(即縮放)。然而，例如，人們認為如果原始圖像的分辨率變大，那么對于通過2的冪次之外的分辨率的解碼的需求會增加。具體地，人們認為如果能夠以任意可選有理數(shù)的分辨率(不僅包括2的冪次還包括其它的分辨率)進行解碼，那么終端的限制條件就不再會有任何影響，這拓寬了用途。
[0005]就這方面而言，例如，在日本專利申請?zhí)亻_第2000-125294號公報所披露的小波解碼裝置中，小波逆變換部包括根據(jù)規(guī)定的分辨率變換倍率而適應(yīng)性地布置的上采樣器、下采樣器和復(fù)合濾波器以實現(xiàn)任意有理數(shù)的倍率的分辨率變換功能。需要注意的是，在下面的說明中，使用“上變換器(上變換)”和“下變換器(下變換)”來代替“上采樣器”和“下采樣器”作為進行分辨率變換的機構(gòu)的名稱。

【發(fā)明內(nèi)容】

[0006]在日本專利申請?zhí)亻_第2000-125294號公報所披露的解碼裝置中，假設(shè)被輸入的圖像是小波變換圖像。在所述解碼裝置中通過小波逆變換對所述圖像進行解碼的情況下，必須進行兩種逆變換，即垂直方向的逆變換和水平方向的逆變換。此外，在已經(jīng)進行了上述一種逆變換的階段的中間圖像是在縱方向上或橫方向上延時(dull)的圖像，因此不能輸出處于該階段的圖像以供使用。如上所述，在所述解碼裝置等中，獲得的圖像的分辨率或質(zhì)量是有限的，并且除此之外，期望各方面的提高。
[0007]鑒于上述情況，理想的是提供這樣的編碼裝置、解碼裝置、編碼方法和解碼方法:通過所述編碼裝置、解碼裝置、編碼方法和解碼方法，能夠使用通過簡單計算而對分辨率進行各種各樣的改變的圖像。
[0008](I)本發(fā)明的實施例提供了一種編碼裝置，其包括基礎(chǔ)圖像生成單元、第一圖像分量生成單元、第二圖像分量生成單元和輸出單元。所述基礎(chǔ)圖像生成單元被構(gòu)造用來以預(yù)定的第一倍率對輸入圖像進行下變換以生成基礎(chǔ)圖像。所述第一圖像分量生成單元被構(gòu)造用來生成第一圖像分量信息，所述第一圖像分量信息被用于以不同于所述第一倍率的預(yù)定的第二倍率對所述輸入圖像進行下變換并且是用來從所述基礎(chǔ)圖像復(fù)原所述輸入圖像的信息的一部分。所述第二圖像分量生成單元被構(gòu)造用來生成第二圖像分量信息，所述第二圖像分量信息被用來以不同于所述第一倍率和所述第二倍率的預(yù)定的第三倍率對所述輸入圖像進行下變換并且與所述第一圖像分量信息一起被用來從所述基礎(chǔ)圖像復(fù)原所述輸入圖像。所述輸出單元被構(gòu)造用來輸出所述基礎(chǔ)圖像、所述第一圖像分量信息和所述第二圖像分量信息。
[0009]在本發(fā)明的實施例中，所述解碼裝置輸出四種分辨率的圖像，即通過分別以所述第一倍率，所述第二倍率和所述第三倍率對所述輸入圖像進行下變換而獲得的三個圖像以及所述原始輸入圖像。因此，在所述編碼裝置中，僅生成三個分量(即所述基礎(chǔ)圖像、所述第一圖像分量信息和所述第二圖像分量信息)并且將它們發(fā)送至所述解碼裝置。這些分量能夠通過簡單的計算生成并且能夠?qū)⑺鼈冇糜讷@得原始的輸入圖像和經(jīng)過簡單計算的下變換的所述三個圖像。因此，在本發(fā)明的實施例的編碼裝置和解碼裝置中，能夠使用通過簡單計算而對分辨率進行各種改變的圖像。
[0010](2)本發(fā)明實施例的編碼裝置還可以包括編碼單元，其被構(gòu)造用來計算所述第一圖像分量信息與所述基礎(chǔ)圖像的各像素之間的的第一偏移值以將所述第一偏移值編碼，并且計算所述第二圖像分量信息與所述基礎(chǔ)圖像的各像素之間的的第二偏移值以將所述第二偏移值編碼，其中所述輸出單元可以被構(gòu)造用來輸出所述基礎(chǔ)圖像、編碼后的所述第一偏移值和編碼后的所述第二偏移值。
[0011]在本發(fā)明的實施例中，計算所述基礎(chǔ)圖像的各像素值與所述第一圖像分量信息的值之間的差值以及所述基礎(chǔ)圖像的各像素值與所述第二圖像分量信息的值之間的差值，即計算偏移值。這里計算出的偏移值在許多情況下為O。因此，能夠?qū)崿F(xiàn)所述偏移值的編碼的有效壓縮。
[0012](3)本發(fā)明實施例的編碼裝置還可以包括圖像質(zhì)量調(diào)節(jié)單元，其被構(gòu)造用來均勻地調(diào)節(jié)所述基礎(chǔ)圖像的所有像素的圖像質(zhì)量，其中所述編碼單元可以被構(gòu)造用來計算從具有調(diào)節(jié)后的圖像質(zhì)量的所述基礎(chǔ)圖像偏倚的所述第一偏移值和所述第二偏移值。
[0013]在本發(fā)明的實施例中的調(diào)節(jié)所述輸入圖像的圖像質(zhì)量的情況下，不是在圖像輸入時而是在所述基礎(chǔ)圖像生成時僅對所述基礎(chǔ)圖像進行圖像質(zhì)量調(diào)節(jié)。僅對所述基礎(chǔ)圖像進行的所述圖像質(zhì)量調(diào)節(jié)的效果會反映在通過所述偏移計算從所述解碼裝置輸出的任意分辨率的圖像上。因此，能夠減少作為所述圖像質(zhì)量調(diào)節(jié)的對象的像素個數(shù)。
[0014](4)在本發(fā)明實施例的編碼裝置中，所述輸入圖像可以具有2160P的垂直分辨率，所述第一倍率可以是I / 3倍，所述第二倍率可以是I / 2倍，并且所述第三倍率可以是2 / 3 倍。
[0015](5)本發(fā)明的實施例提供了 一種解碼裝置，其包括輸入單元和輸出單元。所述輸入單元被構(gòu)造用來輸入基礎(chǔ)圖像、第一圖像分量信息和第二圖像分量信息，所述基礎(chǔ)圖像是通過以預(yù)定的第一倍率對原始圖像進行下變換而獲得的，所述第一圖像分量信息被用來以不同于所述第一倍率的預(yù)定的第二倍率對所述原始圖像進行下變換，并且所述第一圖像分量信息是用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像的信息的一部分，所述第二圖像分量信息被用來以不同于所述第一倍率和所述第二倍率的預(yù)定的第三倍率對所述原始圖像進行下變換，并且所述第二圖像分量信息與所述第一圖像分量信息一起被用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像。所述輸出單元被構(gòu)造用來輸出輸入的所述基礎(chǔ)圖像。
[0016]在本發(fā)明的實施例中，通過簡單的構(gòu)造和處理，能夠從輸入至所述解碼裝置中的所述基礎(chǔ)圖像、所述第一圖像分量信息和所述第二圖像分量信息中取出所述基礎(chǔ)圖像。[0017](6)在本發(fā)明的實施例的解碼裝置中，從所述輸出單元輸出的基礎(chǔ)圖像可以具有720P的垂直分辨率。
[0018](7)本發(fā)明的實施例提供了 一種解碼裝置，其包括輸入單元、下變換單元和輸出單元。所述輸入單元被構(gòu)造用來輸入基礎(chǔ)圖像、第一圖像分量信息和第二圖像分量信息，所述基礎(chǔ)圖像是通過以預(yù)定的第一倍率對原始圖像進行下變換而獲得的，所述第一圖像分量信息被用來以不同于所述第一倍率的預(yù)定的第二倍率對所述原始圖像進行下變換，并且所述第一圖像分量信息是用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像的信息的一部分，所述第二圖像分量信息被用來以不同于所述第一倍率和所述第二倍率的預(yù)定的第三倍率對所述原始圖像進行下變換，并且所述第二圖像分量信息與所述第一圖像分量信息一起被用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像。所述下變換單元被構(gòu)造用來通過使用輸入的所述第一圖像分量信息生成所述原始圖像在以所述第二倍率進行至少一次下變換后得到的各下變換圖像。所述輸出單元被構(gòu)造用來輸出所述各下變換圖像。
[0019]在本發(fā)明的實施例中，通過簡單的計算，能夠從輸入至所述解碼裝置中的所述基礎(chǔ)圖像、所述第一圖像分量信息和所述第二圖像分量信息中取出所述第二倍率的下變換圖像。
[0020](8)在本發(fā)明的實施例的解碼裝置中，從所述輸出單元輸出的圖像可以具有1080P的垂直分辨率。
[0021 ] (9)本發(fā)明的實施例提供了 一種解碼裝置，其包括輸入單元、下變換單元和輸出單元。所述輸入單元被構(gòu)造用來輸入基礎(chǔ)圖像、第一圖像分量信息和第二圖像分量信息，所述基礎(chǔ)圖像是通過以預(yù)定的第一倍率對原始圖像進行下變換而獲得的，所述第一圖像分量信息被用來以不同于所述第一倍率的預(yù)定的第二倍率對所述原始圖像進行下變換，并且所述第一圖像分量信息是用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像的信息的一部分，所述第二圖像分量信息被用來以不同于所述第一倍率和所述第二倍率的預(yù)定的第三倍率對所述原始圖像進行下變換，并且所述第二圖像分量信息與所述第一圖像分量信息一起被用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像。所述下變換單元被構(gòu)造用來通過使用輸入的所述基礎(chǔ)圖像和輸入的所述第二圖像分量信息生成所述原始圖像在以所述第三倍率進行下變換后得到的下變換圖像。所述輸出單元被構(gòu)造用來輸出所述下變換圖像。
[0022]在本發(fā)明的實施例中，通過簡單的計算，能夠從輸入至所述解碼裝置中的所述基礎(chǔ)圖像、所述第一圖像分量信息和所述第二圖像分量信息中取出所述第三倍率的下變換圖像。
[0023](10)在本發(fā)明的實施例的解碼裝置中，從所述輸出單元輸出的圖像可以具有1440P的垂直分辨率。
[0024](11)本發(fā)明的實施例提供了一種解碼裝置，其包括輸入單元、復(fù)原單元和輸出單元。所述輸入單元被構(gòu)造用來輸入基礎(chǔ)圖像、第一圖像分量信息和第二圖像分量信息，所述基礎(chǔ)圖像是通過以預(yù)定的第一倍率對原始圖像進行下變換而獲得的，所述第一圖像分量信息被用來以不同于所述第一倍率的預(yù)定的第二倍率對所述原始圖像進行下變換，并且所述第一圖像分量信息是用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像的信息的一部分，所述第二圖像分量信息被用來以不同于所述第一倍率和所述第二倍率的預(yù)定的第三倍率對所述原始圖像進行下變換，并且所述第二圖像分量信息與所述第一圖像分量信息一起被用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像。所述復(fù)原單元被構(gòu)造用來通過使用輸入的所述基礎(chǔ)圖像、輸入的所述第一圖像分量信息和輸入的所述第二圖像分量信息復(fù)原所述原始圖像。所述輸出單元被構(gòu)造用來輸出所述復(fù)原的原始圖像。
[0025]在本發(fā)明的實施例中，通過簡單的計算，能夠從輸入至所述解碼裝置中的所述基礎(chǔ)圖像、所述第一圖像分量信息和所述第二圖像分量信息取出復(fù)原的所述原始圖像。
[0026](12)在本發(fā)明的實施例的解碼裝置中，從所述輸出單元輸出的圖像可以具有2160P的垂直分辨率。
[0027](13)本發(fā)明的實施例提供了一種解碼裝置，其包括輸入單元、第一下變換單元、第二下變換單元、復(fù)原單元和輸出單元。所述輸入單元被構(gòu)造用來輸入基礎(chǔ)圖像、第一圖像分量信息和第二圖像分量信息，所述基礎(chǔ)圖像是通過以預(yù)定的第一倍率對原始圖像進行下變換而獲得的，所述第一圖像分量信息被用來以不同于所述第一倍率的預(yù)定的第二倍率對所述原始圖像進行下變換，并且所述第一圖像分量信息是用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像的信息的一部分，所述第二圖像分量信息被用來以不同于所述第一倍率和所述第二倍率的預(yù)定的第三倍率對所述原始圖像進行下變換，并且所述第二圖像分量信息與所述第一圖像分量信息一起被用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像。所述第一下變換單元被構(gòu)造用來通過使用輸入的所述第一圖像分量信息生成所述原始圖像在以所述第二倍率進行下變換后得到的第一下變換圖像。所述第二下變換單元被構(gòu)造用來通過使用輸入的所述基礎(chǔ)圖像和輸入的所述第二圖像分量信息生成所述原始圖像在以所述第三倍率進行下變換后得到的第二下變換圖像。所述復(fù)原單元被構(gòu)造用來通過使用輸入的所述基礎(chǔ)圖像、輸入的所述第一圖像分量信息和輸入的所述第二圖像分量信息復(fù)原所述原始圖像。所述輸出單元被構(gòu)造用來輸出輸入的所述基礎(chǔ)圖像、所述第一下變換圖像、所述第二下變換圖像和復(fù)原的所述原始圖像。
[0028]在本發(fā)明的實施例中，通過簡單的計算，能夠從輸入至所述解碼裝置中的所述基礎(chǔ)圖像、所述第一圖像分量信息和所述第二圖像分量信息取出所述基礎(chǔ)圖像、所述第一下變換圖像、所述第二下變換圖像和復(fù)原的原始圖像。
[0029](14)在本發(fā)明的實施例的解碼裝置中，從所述輸出單元輸出的所述基礎(chǔ)圖像具有720P的垂直分辨率，所述第一下變換圖像具有1080P的垂直分辨率，所述第二下變換圖像具有1440P的垂直分辨率，復(fù)原的所述原始圖像具有2160P的垂直分辨率。
[0030](15)本發(fā)明的實施例提供了一種編碼方法，其包括:以預(yù)定的第一倍率對輸入圖像進行下變換以生成基礎(chǔ)圖像；生成第一圖像分量信息，所述第一圖像分量信息被用來以不同于所述第一倍率的預(yù)定的第二倍率對所述輸入圖像進行下變換并且是用于從所述基礎(chǔ)圖像復(fù)原所述輸入圖像的信息的一部分；以及生成第二圖像分量信息，所述第二圖像分量信息被用來以不同于所述第一倍率和所述第二倍率的預(yù)定的第三倍率對所述輸入圖像進行下變換并且與所述第一圖像分量信息一起被用于從所述基礎(chǔ)圖像復(fù)原所述輸入圖像。
[0031](16)本發(fā)明的實施例提供了一種解碼方法，其包括:接收基礎(chǔ)圖像、第一圖像分量信息和第二圖像分量信息，所述基礎(chǔ)圖像是通過以預(yù)定的第一倍率對原始圖像進行下變換而獲得的，所述第一圖像分量信息被用來以不同于所述第一倍率的預(yù)定的第二倍率對所述原始圖像進行下變換，并且所述第一圖像分量信息是用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像的信息的一部分，所述第二圖像分量信息被用來以不同于所述第一倍率和所述第二倍率的預(yù)定的第三倍率對所述原始圖像進行下變換，并且所述第二圖像分量信息與所述第一圖像分量信息一起被用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像；通過使用所述第一圖像分量信息生成所述原始圖像在以所述第二倍率進行下變換后得到的下變換圖像；通過使用所述基礎(chǔ)圖像和所述第二圖像分量信息生成所述原始圖像在以所述第二倍率進行下變換后得到的下變換圖像；以及通過使用所述基礎(chǔ)圖像、所述第一圖像分量信息和所述第二圖像分量信息復(fù)原所述原始圖像。
[0032]如上所述，根據(jù)本發(fā)明，能夠使用通過簡單的計算而對分辨率進行各種改變的圖像。
[0033]如附圖所示，根據(jù)下文中對本發(fā)明的最佳實施例的詳細說明，本發(fā)明的上述這些以及其它的目的、特征和優(yōu)勢將會變得更加明顯。
【專利附圖】

【附圖說明】
[0034]圖1示出了數(shù)字DO至D8被分配給3X3像素組的狀態(tài)；
[0035]圖2示出了數(shù)字DlO至D48被分配給6X6像素組的狀態(tài)；
[0036]圖3示出了這樣的處理:通過該處理，輸入至編碼裝置內(nèi)的圖像從解碼裝置輸出作為具有各自的分辨率的輸出圖像；
[0037]圖4示出了如何將輸入圖像的像素用于作為輸出圖像的720P圖像；
[0038]圖5示出了如何將輸入圖像的像素用于作為輸出圖像的1080P圖像；
[0039]圖6示出了如何將輸入圖像的像素用于作為輸出圖像的1440P圖像；
[0040]圖7示出了對輸入圖像進行編碼處理和重排(rearrangement)處理的狀態(tài)；
[0041]圖8示出了像素重排方法的具體示例；
[0042]圖9是示出了編碼裝置的構(gòu)造的框圖；
[0043]圖10是示出了解碼裝置的構(gòu)造的框圖；
[0044]圖11是用于說明編碼裝置中的編碼處理流程的流程圖；
[0045]圖12是用于說明在解碼裝置中對720P圖像、360P圖像和180P圖像的解碼處理流程的流程圖；
[0046]圖13是用于說明在解碼裝置中對1080P圖像、540P圖像和270P圖像的解碼處理流程的流程圖；
[0047]圖14是用于說明在解碼裝置中對1440P圖像的解碼處理流程的流程圖；
[0048]圖15是用于說明在解碼裝置中對2160P圖像的解碼處理流程的流程圖；
[0049]圖16示出了這樣的處理:通過該處理，輸入至編碼裝置的圖像被從解碼裝置輸出作為具有各自的分辨率的輸出圖像；
[0050]圖17示出了如何將輸入圖像的像素用于作為輸出圖像的1440P圖像；
[0051]圖18是示出了解碼裝置的構(gòu)造的框圖；以及
[0052]圖19示出了這樣的處理:經(jīng)過該處理，輸入至編碼裝置的圖像被從解碼裝置輸出作為具有各自的分辨率的輸出圖像。
【具體實施方式】
[0053]在下文中，將參照【專利附圖】

【附圖說明】本發(fā)明的三個實施例。[0054]一、第一實施例
[0055]本發(fā)明大致分為兩個主要特征。一個特征是通過像素間的加法、減法、乘法和除法計算，以預(yù)定的倍率對輸入至編碼裝置的圖像進行下變換。另一個特征是:為了有效地壓縮數(shù)據(jù)并將數(shù)據(jù)從編碼裝置傳輸至解碼裝置，將輸入圖像分解為基礎(chǔ)圖像和從所述基礎(chǔ)圖像偏移的偏移值，以通過對偏移值部分進行編碼而有效地壓縮要被傳輸?shù)臄?shù)據(jù)。
[0056]在下面的說明中，首先將說明通過像素間的加法、減法、乘法和除法以預(yù)定的倍率對輸入至編碼裝置的圖像進行下變換的計算。之后，將說明包括偏移值計算的計算。
[0057][下變換(down-conversion)的計算(概述)]
[0058]首先，將說明這樣的計算概要:該計算通過像素間的加法、減法、乘法和除法計算，以預(yù)定的倍率對輸入至編碼裝置的圖像進行下變換。。
[0059]在下面的說明中，為了區(qū)分像素的位置，將圖像分為3X3或6X6像素組，并且將以各像素組作為一個單元進行說明。應(yīng)當注意的是，在下面的說明中，如圖1所示，數(shù)字DO至D8被分配給3X3像素組中的各個像素。
[0060]此外，如圖2所示，在6X6像素組中，假設(shè)左上方的3X3像素組是第一象限中的像素，并且將數(shù)字DlO至D18分配給這些像素。同樣地，假設(shè)右上方的3X3像素組是第二象限中的像素，并且將數(shù)字D20至D28分配給這些像素。以同樣的方式將數(shù)字分配給第三象限和第四象限中的像素。
[0061]此外，在下面的說明中，將3840 (水平分辨率)X 2160P (Progressive，逐行掃描)(垂直分辨率)的圖像稱為2160P圖像。同樣地，將1920X1080P、1280X720P、960X540P、640X360P和2560X1440P的圖像分別稱為1080P圖像、720P圖像、540P圖像、360P圖像和1440P圖像。
[0062]此外，將具有720X2η(η是整數(shù))的垂直分辨率的圖像稱為720基圖像，并且將具有1080X2m(m是整數(shù))的垂直分辨率的圖像稱為1080基圖像。
[0063]圖3示出了本實施例中的處理:通過該處理，輸入至編碼裝置的圖像被從解碼裝置輸出作為具有各自的分辨率的輸出圖像。
[0064]最左邊的圖像是作為輸入圖像的2160P圖像10。2160P圖像10的右側(cè)的箭頭部分表示在編碼裝置中執(zhí)行的算術(shù)處理。所述箭頭部分的右側(cè)的720P圖像20、第一圖像分量30和第二圖像分量40表示從編碼裝置傳輸至解碼裝置的數(shù)據(jù)。所述數(shù)據(jù)的右側(cè)的箭頭部分表示在解碼裝置中執(zhí)行的算術(shù)處理。最右邊的720P圖像60、2160P圖像70、1080P圖像80和1440P圖像90是直接地從解碼裝置輸出的圖像。這里使用的“直接地”是因為具有除了圖3所示的那些分辨率之外的分辨率的720基圖像和1080基圖像以及具有不適用于那些圖像組的分辨率的圖像也能夠通過解碼裝置局部地進行下變換或上變換而輸出。
[0065]在下文中，將逐個說明作為輸入圖像的2160P圖像10變成作為輸出圖像的720P圖像60、2160P圖像70、1080P圖像80和1440P圖像90的處理。
[0066](720P圖像的生成過程)
[0067]首先，將沿著從作為輸入圖像的2160P圖像10到作為輸出圖像的720P圖像60的過程進行說明。
[0068]被輸入至編碼裝置的輸入圖像是2160P圖像10。在2160P圖像10的3X3像素組中包括像素DO至D8。[0069]通過對2160P圖像10進行I / 3倍下變換而生成被包括在從編碼裝置傳輸?shù)浇獯a裝置的數(shù)據(jù)中的720P圖像20。在通過細化(thinning out)進行的I / 3倍下變換的情況下，基于2160P圖像10的像素D4生成720P圖像20。
[0070]需要注意的是，圖3示出了基于像素D4通過編碼處理而生成的720P圖像20的像素D4'。在下面的說明中，具有上標的像素與沒有上標的像素的位置是相同的，但是具有上標的像素的像素值已經(jīng)經(jīng)過了各種處理并且具有與原始像素值不同的含義。
[0071]在不改變720P圖像20而將其傳輸至解碼裝置并輸出的情況下，720P圖像20成為720P 圖像 60。
[0072](1080P圖像的生成過程)
[0073]接下來，將沿著從作為輸入圖像的2160P圖像10到作為輸出圖像的1080P圖像80的過程進行說明。
[0074]與上面的情況相同，被輸入至編碼裝置的輸入圖像是2160P圖像10。
[0075]將用于通過對2160P圖像10進行I / 2倍下變換而在解碼裝置中生成1080P圖像80的計算處理進行至該計算處理的中點，從而生成第一圖像分量30。在位于第一象限中的3X3像素的情況下，從像素DO、Dl、D3和D4計算出像素DO'。類似地，計算出像素D2'、D6'和D8'。需要注意的是，為方便起見，圖3并未示出6X6像素組的像素編號而是示出了 3X3像素組的像素編號。
[0076]將計算出的第一圖像分量30傳輸至解碼裝置，并且此后進行I / 2倍下變換的后一半計算以生成1080P圖像80。最后，生成了 1080P圖像80并且隨后從解碼裝置輸出1080P 圖像 80。
[0077](1440P圖像的生成過程)
[0078]接下來，將沿著從作為輸入圖像的2160P圖像10到作為輸出圖像的1440P圖像90的過程進行說明。
[0079]與上面的情況相同，被輸入至編碼裝置的輸入圖像是2160P圖像10。
[0080]從2160P圖像10提取像素Dl、D3、D5和D7并且將它們假設(shè)為是通過編碼處理而生成的像素Dl'、D3'、D5'和D7'，以生成第二圖像分量。將第二圖像分量傳輸至解碼裝置。在解碼裝置中，對第二圖像分量和同樣從編碼裝置傳輸來的720P圖像20的像素D4'進行插值2 / 3倍下變換。之后，生成并輸出1440P圖像90。
[0081]在這里，通過使用像素Dl'、D3, ,D4/、D5,和D7'的下變換來計算1440P圖像90,而不使用位于像素DO'、D2'、D6'和D8'的位置處的像素值。因此,進行下變換以插入那些像素。因此，1440P圖像90不同于對2160P圖像10進行2 / 3倍下變換之后而獲得的圖像，并且被認為是偽1440P圖像。
[0082](2160P圖像的復(fù)原過程)
[0083]接下來，將沿著從作為輸入圖像的2160P圖像10到作為輸出圖像的2160P圖像70的過程進行說明。
[0084]與上面的情況相同，被輸入至編碼裝置的輸入圖像是2160P圖像10。此外，從編碼裝置傳輸至解碼裝置的數(shù)據(jù)中包含的720P圖像20、第一圖像分量30和第二圖像分量40與上述相同。
[0085]在解碼裝置中，通過使用720P圖像20、第一圖像分量30和第二圖像分量40中包含的像素DO'至D8'的編碼后的像素值求解聯(lián)立方程，并且反向計算出輸入圖像的像素DO至D8的值，以生成(復(fù)原)并且輸出2160P圖像70。
[0086]在上文中，已經(jīng)說明了下變換的計算概要。
[0087][下變換的計算(細節(jié))]
[0088]將說明通過像素間的加法、減法、乘法和除法從而以預(yù)定倍率對輸入至編碼裝置的圖像進行下變換的計算的細節(jié)。
[0089](720P圖像的計算)
[0090]首先，將對720P圖像60的生成進行說明。圖4示出了如何將輸入圖像的像素用于作為輸出圖像的720P圖像。
[0091]在圖4的左側(cè)，示出了輸入圖像的3X3像素陣列，并且在那些像素中，通過細化僅僅對像素D4進行I / 3倍下變換從而變?yōu)橄袼谼4'。因此，計算像素D4'的計算表達式如下。
[0092]D4' = D4 (I)
[0093]在圖4的中央，示出了傳輸數(shù)據(jù)中的3X3像素陣列中的像素D4'的位置。之后，通過解碼處理提取出被傳輸至解碼裝置的傳輸數(shù)據(jù)中的像素D4'以變?yōu)閮H由1X1像素D4表達的720P圖像60。在這里，能夠假設(shè)進行了下面的計算表達式的逆計算。
[0094]M=M' (2)
[0095]上述是720P圖像60的生成方法。
[0096](1080P圖像的計算)
[0097]接下來，將對1080P圖像80的生成進行說明。根據(jù)由虛線示出的分區(qū)(segmentation)，圖5示出了如何將輸入圖像的像素用于作為輸出圖像的1080P圖像。
[0098]在圖5的左側(cè)，示出了輸入圖像的6X6像素陣列。通過下面的表達式，獲得在圖5的中央示出的傳輸數(shù)據(jù)(第一圖像分量)中的像素DlO'、D12'、D16'、D18'、D20'、D22'、D26'、D28'、D30'、D32'、D36'、D38'、D40'、D42'、D46'和 D48'的值。
[0099]在第一象限的情況下，
[0100]DlO' = (D10+D11+D13+D14) / 4 (3),
[0101]V)12' = (D12+D15) /2 (4)，
[0102]D16' = (D16+D17) / 2 (5)，以及
[0103]D18' = D18 (6)。
[0104]在第二象限的情況下，
[0105]D20' = (D20+D23) /2 (7)，
[0106]m2' = (D21+D22+D24+D25) /4 (8)，
[0107]D26' = D26 (9)，以及
[0108]D28' = (D27+D28) / 2 (10)。
[0109]在第三象限的情況下，
[0110]D30' = (D30+D31) / 2 (11)，
[0111]m2' = D32 (12)，
[0112]D36' = (D33+D34+D36+D37) /4 (13)，以及
[0113]D38' = (D35+D38) / 2 (14)。[0114]在第四象限的情況下，
[0115]D40' = D40 (15)，
[0116]D42' = (D41+D42) / 2 (16)，
[0117]D46' = (D43+D46) / 2 (17)，以及
[0118]D48' = (D44+D45+D47+D48) / 4 (18)。
[0119]如圖5的右側(cè)所示，基于被傳輸至解碼裝置的第一圖像分量進一步進行下面的計算，以計算出像素AO至A8的值。像素AO至A8形成作為輸出圖像的1080P圖像80的3 X 3像素。
[0120]AO=DlO' (19)
[0121]A1=(D12/ +D20' ) / 2 (20)
[0122]A2=D22' (21)
[0123]A3=(D16/ +D30' ) / 2 (22)
[0124]A4=(D18' +D26' +D32' +D40' ) / 4 (23)
[0125]A5=(D28/ +M2' ) / 2 (24)
[0126]A6=D36' (25)
[0127]A7=(D38/ +D46' ) / 2 (26)
[0128]A8=D48' (27)
[0129]上述是1080P圖像80的生成方法。
[0130](IMOP圖像的計算)
[0131]接下來，將對1440P圖像90的生成進行說明。根據(jù)由虛線示出的分區(qū)，圖6示出了如何將輸入圖像的像素用于作為輸出圖像的1440P圖像。
[0132]在圖6的左側(cè)，示出了輸入圖像的3X3像素陣列。通過下面的表達式，獲得在圖6的中央處所示的傳輸數(shù)據(jù)(第二圖像分量)中的像素Dl'、D3'、D4'、D5'和D7'的值。
[0133]Dl' =Dl (28)
[0134]D3' =D3 (29)
[0135]D5' =D5 (30)
[0136]D7/ =D7 (31)
[0137]需要注意的是，在與上面的表達式(I) 一樣的生成720P圖像20的處理中獲得像素D4'的值。因此，這里不再重新計算像素D4'的值。
[0138]如圖6的右側(cè)所示，基于被傳輸至解碼裝置的第二圖像分量進一步進行下列計算從而計算像素BO至B3的值。像素BO至B3形成作為輸出圖像的1440P圖像的2X2像素。
[0139]BO= (Dl' / 2+D3' / 2+D4' / 4) X4 / 5 (32)
[0140]B1=(D1' / 2+D5' / 2+D4' / 4) X4 / 5 (33)
[0141]B2=(D3/ / 2+D7/ / 2+D4' / 4) X 4 / 5 (34)
[0142]B3=(D5/ / 2+D7/ / 2+D4' / 4) X 4 / 5 (35)
[0143]上述是1440P圖像90的生成方法。
[0144](2I6OP圖像的計算)
[0145]接下來，將對2160P圖像70的復(fù)原進行說明。對第一象限至第四象限進行類似的計算，并且因此這里只說明對第一象限的計算。需要注意的是，6X6像素組的第一象限中的像素DlO'至D18'與3X3像素組的像素DO'至D8'相同。因此，在下面的說明中，將省略例如DlO' =DO'等表達式。
[0146]首先，通過基于表達式(2)的下面的表達式獲得像素D14的值。
[0147]D14=D14' (36)
[0148]此外，通過基于表達式(28)至(31)的下面的表達式獲得像素D11、D13、D15和D17的值。
[0149]Dll=Dir (37)
[0150]D13=D13/ (38)
[0151]D15=D15/ (39)
[0152]D17=D17/ (40)
[0153]此外，由于現(xiàn)在對第一象限進行計算，所以基于表達式(6)建立下面的表達式。
[0154]D18=D18/ (41)
[0155]通過基于表達式(4)的下列表達式獲得像素D12的值。
[0156]D12=2XD12/ -D15 (42)
[0157]通過基于表達式(5)的下列表達式獲得像素D16的值。
[0158]D16=2XD16/ -D17 (43)
[0159]之后，基于表達式(3)通過下列表達式獲得像素DlO的值。
[0160]D10=4XD10/ -(D11+D13+D14) (44)
[0161]通過上面的計算，獲得了第一象限中九個像素的值。在以相同的方式獲得第二象限至第四象限中像素的值之后，能夠復(fù)原2160P圖像70。
[0162][偏移值的計算]
[0163]在本發(fā)明中，當將傳輸數(shù)據(jù)從編碼裝置傳輸至解碼裝置時，為了有效地壓縮傳輸數(shù)據(jù)，除了上述用于下變換的像素間的計算之外，還要對第一圖像分量和第二圖像分量進行編碼。
[0164]為了增大壓縮比，不直接對那些圖像分量進行編碼而是對偏移值進行編碼。獲得作為基礎(chǔ)圖像的720P圖像20與第一圖像分量之間的偏移值以及作為基礎(chǔ)圖像的720P圖像20與第二圖像分量之間的偏移值。能夠?qū)⒒舴蚵幋a或算術(shù)編碼用于上述編碼。
[0165]具體地，在3X3像素組中，獲得基礎(chǔ)圖像的像素D4'與第一圖像分量的各像素DO'、D2'、D6'和D8'之間的差值以及基礎(chǔ)圖像的像素D4'與第二圖像分量的各像素Dl'、D3'、D5'和D7'之間的差值。
[0166]由于在圖像的低頻區(qū)域中許多偏移值是0，所以能夠增大編碼的壓縮比并且因此能夠進行有效的壓縮。因此，從編碼裝置輸出的傳輸數(shù)據(jù)能夠作為單一的LLVC(低延時視頻編解碼器)流以IOGbps的帶寬被傳輸至解碼裝置。在單一的LLVC流中，匯集了具有多種分辨率的圖像。
[0167]換言之，如果對兩類相干信號分量進行負合成，那么高度相關(guān)的部分彼此減弱為O，這使得能夠通過編碼有效進行壓縮。
[0168]需要注意的是，偏移值的計算具有除了增大編碼的壓縮比之外的優(yōu)點。例如，在進行均勻地調(diào)節(jié)所有像素的圖像質(zhì)量的處理(例如白平衡處理)的情況下，只需要對本發(fā)明的實施例中的基礎(chǔ)圖像的像素進行該處理，而不需要對作為輸入圖像的2160P圖像的所有像素進行計算。由于基礎(chǔ)圖像是用于獲得偏移值的基準圖像，如果改變了該基準圖像的白平衡等，那么就能夠獲得當對具有所有分辨率的圖像進行處理時獲得的效果。
[0169]在下文中，將說明:當上述用于下變換的像素間的計算表達式中包含了偏移值的計算時，實際的計算表達式是如何變化的。
[0170](720P圖像的計算)
[0171]首先，由于720P圖像20是基礎(chǔ)圖像，所以不對720P圖像20進行偏移值的計算?；A(chǔ)圖像的像素值D4'被用于下面的計算中。
[0172]在生成1080P圖像和2160P圖像時使用6X6像素組的情況下，基礎(chǔ)圖像的像素D4'是如上所述的第一象限中的像素D14'。
[0173](1080P圖像的計算)
[0174]接下來，當生成1080P圖像80時使用的計算表達式如下所示。在第一象限的情況下，如下計算第一圖像分量。相同的計算適用于第二象限和其他象限并且省略了它們的說明。
[0175]DlO' = (D10+D11+D13+D14) / 4-D14' (45)
[0176]V)12' = (D12+D15) / 2—D14' (46)
[0177]D16' = (D16+D17) / 2-D14' (47)
[0178]D18' = D18-D14/ (48)
[0179]之后，形成作為輸出圖像的1080P圖像80的3 X 3像素的像素AO至A8的值如下。
[0180]AO=DlO' +D14' (49)
[0181]A1=(D12/ +D20' ) / 2+D14' (50)
[0182]A2=D22' +D14' (51)
[0183]A3=(D16/ +D30' ) / 2+D14' (52)
[0184]A4=(D18' +D26' +D32' +D40' ) / 4+D14' (53)
[0185]A5=(D28/ +M2' ) / 2+D14' (54)
[0186]A6=D36' +D14' (55)
[0187]A7=(D38/ +D46' ) / 2+D14' (56)
[0188]A8=D48' +D14' (57)
[0189]上面是1080P圖像80的計算方法。
[0190](1440P圖像的計算)
[0191]接下來，當生成1440P圖像90時使用的計算表達式如下所示。首先，如下計算第
二圖像分量。
[0192]Dl' =D1_D4' (58) [0193]D3' =D3_D4' (59)
[0194]D5' =D5_D4' (60)
[0195]D7/ =D7~D4/ (61)
[0196]之后，形成作為輸出圖像的1440P圖像90的2X 2像素的像素BO至B3的值如下。
[0197]BO= (D^ / 2+D3' / 2+D4' X5/4)X4/5 (62)
[0198]B1=(D1' / 2+D5/ / 2+D4' X5/4)X4/5 (63)
[0199]B2=(D3/ / 2+D7/ / 2+D4' X5 / 4)X4 / 5 (64)[0200]B3=(D5/ / 2+m' / 2+D4' X5/4)X4/5 (65)
[0201]上面是1440P圖像90的計算方法。
[0202](2160P圖像的計算)
[0203]接下來，示出了當復(fù)原2160P圖像70時使用的計算表達式。計算表達式如下。需要注意的是，這里將只說明第一象限。
[0204]首先，通過基于表達式(2)的下列表達式獲得像素D14的值。
[0205]D14=D14' (66)
[0206]此外，通過表達式(58)至(61)獲得像素D11、D13、D15和D17的值。
[0207]Dll=Dir +D14' (67)
[0208]D13=D13/ +D14' (68)
[0209]D15=D15/ +D14' (69)
[0210]D17=D17/ +D14' (70)
[0211]此外，由于現(xiàn)在對第一象限進行計算，所以基于表達式(48)建立下列表達式。
[0212]D18=D18/ +D14' (71)
[0213]通過基于表達式(46)的下列表達式獲得像素D12的值。
[0214]D12=2X(D12' +D14' )_D15 (72)
[0215]通過基于表達式(47)的下列表達式獲得像素D16的值。
[0216]D16=2X(D16' +D14' )_D17 (73)
[0217]然后，通過基于表達式(45)的下列表達式獲得像素DlO的值。
[0218]D10=4X (010; +D14' )-(Dll+D13+D14) (74)
[0219]上面是2160P圖像70的計算方法。
[0220][傳輸數(shù)據(jù)的像素的重排]
[0221 ] 在本發(fā)明的實施例中，為了使解碼裝置可以容易地提取出從編碼裝置傳輸?shù)膫鬏敂?shù)據(jù)中包含的720P圖像20并且也為了便于多重進行編碼處理時的計算，當生成傳輸數(shù)據(jù)時重新排列像素。
[0222]圖7示出了對輸入圖像進行編碼處理和重排處理的狀態(tài)。圖7的左側(cè)的圖像是輸入圖像。圖7的中央示出了進行了一次編碼處理后，進行重排使得720P圖像位于傳輸數(shù)據(jù)的中央的狀態(tài)。圖7的右側(cè)的圖像示出了再次進行編碼處理和重排處理之后的狀態(tài)。人們發(fā)現(xiàn)，在傳輸數(shù)據(jù)的中央包含有通過再次進行編碼處理而生成的第一圖像分量和第二圖像分量以及240P圖像，而不是720P圖像。
[0223]圖8示出了像素重排方法的具體示例。位于第一象限中的3X3像素組的中央處的像素D14和位于其它象限中的像素D24、D34和D44是形成作為基礎(chǔ)圖像的720P圖像20的像素。在圖8中，那些像素帶下劃線。圖8的右側(cè)示出了那些像素被湊集至傳輸數(shù)據(jù)的中央。人們發(fā)現(xiàn)，帶下劃線的像素D14、D24、D34和D44被湊集至傳輸數(shù)據(jù)的中央。
[0224]在上文中，已經(jīng)說明了作為傳輸數(shù)據(jù)中的基礎(chǔ)圖像的720P圖像20的重排。
[0225][編碼裝置的構(gòu)造]
[0226]接下來，將說明編碼裝置的構(gòu)造。圖9是示出了編碼裝置100的構(gòu)造的框圖。
[0227]編碼裝置100包括生成單元110、偏移計算單元120、編碼單元130、發(fā)送單元140(輸出單元)和圖像質(zhì)量調(diào)節(jié)單元150。應(yīng)當注意的是，生成單元110被構(gòu)造為包括基礎(chǔ)圖像生成單元110a、第一圖像分量生成單元IlOb和第二圖像分量生成單元110c。
[0228]例如，編碼裝置100與4K高清相機I連接。4K高清圖像從連接的4K高清相機I輸入。
[0229]被輸入至編碼裝置100的4K高清圖像傳送至生成單元110。
[0230]如上所述，生成單元110對4K高清圖像(2160P圖像10)進行I / 3倍下變換以生成基礎(chǔ)圖像(720P圖像20)。生成的基礎(chǔ)圖像被傳送至圖像質(zhì)量調(diào)節(jié)單元150。
[0231]此外，如上所述，生成單元110對4K高清圖像(2160P圖像10)進行I / 2倍下變換至所述處理的中點以生成第一圖像分量并且還提取一些像素以生成第二圖像分量。生成的第一圖像分量和第二圖像分量被傳送至偏移計算單元120。
[0232]圖像質(zhì)量調(diào)節(jié)單元150對從生成單元110傳送而來的基礎(chǔ)圖像進行均勻地調(diào)節(jié)整個圖像的圖像質(zhì)量的處理(諸如白平衡處理)。圖像質(zhì)量經(jīng)過了調(diào)節(jié)的基礎(chǔ)圖像被傳送至偏移計算單元120和發(fā)送單元140。
[0233]如上所述，偏移計算單元120計算從生成單元110傳送來的第一圖像分量和第二圖像分量相對于從圖像質(zhì)量調(diào)節(jié)單元150傳送來的基礎(chǔ)圖像的偏移值。計算出的第一圖像分量的偏移值和第二圖像分量的偏移值被傳送至編碼單元130。
[0234]編碼單元130對從偏移計算單元120傳送來的第一圖像分量的偏移值和第二圖像分量的偏移值進行編碼。如上所述，可以將霍夫曼編碼、算術(shù)編碼等用于上述編碼。編碼后的第一圖像分量的偏移值和第二圖像分量的偏移值被傳送至發(fā)送單元140。
[0235]發(fā)送單元140將從生成單元110傳送來的基礎(chǔ)圖像以及從編碼單元130傳送來的第一圖像分量和第二圖像分量的偏移值作為傳輸數(shù)據(jù)傳輸至解碼裝置。
[0236]雖然上面已經(jīng)說明了編碼裝置100包括生成單元110、偏移計算單元120、編碼單元130和發(fā)送單元140，但是在不經(jīng)壓縮就發(fā)送傳輸數(shù)據(jù)的情況下，編碼裝置100可以被構(gòu)造為只包括生成單元110和發(fā)送單元140。
[0237]在上文中，已經(jīng)說明了編碼裝置100的構(gòu)造。
[0238][解碼裝置的構(gòu)造]
[0239]接下來，將說明解碼裝置的構(gòu)造。圖10是示出了解碼裝置200的構(gòu)造的框圖。
[0240]解碼裝置200包括接收單元210 (輸入單元)、輸出單元220、解碼單元230、偏移逆計算單元240、1 / 2下變換單元(用于后一半計算)250(下變換單元，第一下變換單元)、I / 2下變換單元251、252、253和254、插值2 / 3下變換單元260 (下變換單元，第二下變換單元)以及復(fù)原單元270。
[0241]在上述構(gòu)造中，能夠從解碼裝置200輸出2160P圖像、1440P圖像、1080P圖像、720P圖像、540P圖像、270P圖像、360P圖像和180P圖像。
[0242]需要注意的是，I / 2下變換單元251、252、253和254不是必不可少的組成元件并且可以僅在從解碼裝置200輸出540P圖像、270P圖像、360P圖像和180P圖像的情況下設(shè)置。
[0243]此外，例如，在輸出通過對270P圖像進一步進行I / 2倍下變換而獲得的135P圖像的情況下，可以在I / 2下變換單元252的下一級設(shè)置再進行一級下變換的另一 I / 2下變換單元。
[0244]此外，雖然在上述說明中準備了多個I / 2下變換單元，但是可以僅設(shè)置有一個進行I / 2倍下變換處理的I / 2下變換單元，通過令該I / 2下變換單元的輸出返回至它的輸入端可以進行多次I/2倍下變換處理。
[0245]如上所述，因輸出圖像的分辨率類型的增加和減少而對解碼裝置200的構(gòu)造進行各種改變。
[0246]例如，在僅獲得720P圖像作為輸出圖像的情況下，必不可少的組成元件只有接收單元210和輸出單元220。例如，在獲得360P圖像作為輸出圖像的情況下，I / 2下變換單元253被添加至構(gòu)造中，以此對720P圖像進行I / 2倍下變換。
[0247]在僅獲得1080P圖像作為輸出圖像的情況下，必不可少的組成元件只有接收單元210、解碼單元230、偏移逆計算單元240、I / 2下變換單元(用于后一半計算)250和輸出單元220。例如，在獲得540P圖像作為輸出圖像的情況下，I / 2下變換單元251被添加至構(gòu)造中，以此對1080P圖像進行I / 2倍下變換。
[0248]在僅獲得1440P圖像作為輸出圖像的情況下，必不可少的組成元件只有接收單元210、解碼單元230、偏移逆計算單元240、插值2 / 3下變換單元260和輸出單元220。
[0249]在僅獲得2160P圖像作為輸出圖像的情況下，必不可少的組成元件只有接收單元210、解碼單元230、偏移逆計算單元240、復(fù)原單元270和輸出單元220。
[0250]在下文中，將說明解碼裝置200的各部分。
[0251]接收單元210接收從編碼裝置100發(fā)送來的基礎(chǔ)圖像以及第一圖像分量和第二圖像分量的編碼后的偏移值。接收單元210將接收到的基礎(chǔ)圖像傳送至輸出單元220、偏移逆計算單元240、插值2 / 3下變換單元260和復(fù)原單元270。此外，接收到的第一圖像分量和第二圖像分量的編碼后的偏移值被傳送至解碼單元230。
[0252]輸出單元220將分別從接收單元210、I / 2下變換單元(用于后一半計算)250、插值2/3下變換單元260和復(fù)原單元270傳送來的720P圖像、1080P圖像、1440P圖像和2160P圖像輸出到外部。在設(shè)置有I / 2下變換單元251和252的情況下，輸出單元220將540P圖像和270P圖像輸出到外部。
[0253]解碼單元230對從接收單元210傳遞的第一圖像分量和第二圖像分量的編碼后的偏移值進行解碼。解碼是通過在編碼裝置100的編碼單元130中進行過的編碼的逆運算來進行的。第一圖像分量和第二圖像分量的解碼后的偏移值被傳送至偏移逆計算單元240。
[0254]基于從接收單元210傳送來的基礎(chǔ)圖像的像素值和從解碼單元230傳送來的第一圖像分量和第二圖像分量的偏移值，偏移逆計算單元240將偏移值還原成計算偏移值之前的原始值以計算第一圖像分量和第二圖像分量。偏移逆計算單元240將計算出的第一圖像分量傳送至I / 2下變換單元(用于后一半計算)250和復(fù)原單元270。此外，偏移逆計算單元240將計算出的第二圖像分量傳遞給插值2 / 3下變換單元260和復(fù)原單元270。
[0255]I / 2下變換單元(用于后一半計算)250接收來自偏移逆計算單元240的第一圖像分量。之后，如上所述，基于第一圖像分量，I / 2下變換單元(用于后一半計算)250進行剩下的計算以生成1080P圖像。通過對2160P圖像進行I / 2倍下變換至計算的中點，已經(jīng)通過用于生成1080P圖像的該計算獲得了第一圖像分量。I / 2下變換單元(用于后半計算)250將生成的1080P圖像傳送至輸出單元220。此外，在獲得540P圖像和270P圖像的情況下，I / 2下變換單元(用于后半計算)250將生成的1080P圖像傳送至I / 2下變換單元251。[0256]需要注意的是，I / 2下變換單元251、252、253和254分別被構(gòu)造為對輸入圖像進行I/2倍下變換處理并且輸出獲得的圖像。
[0257]插值2 / 3下變換單元260使用從接收單元210傳送來的基礎(chǔ)圖像和從偏移逆計算單元240傳送來的第二圖像分量以在進行插值的同時進行2 / 3倍下變換計算，從而如上所述地生成1440P圖像。插值2/3下變換單元260將生成的1440P圖像傳送至輸出單元 220。
[0258]復(fù)原單元270使用從接收單元210傳送來的基礎(chǔ)圖像和從偏移逆計算單元240傳送來的第一圖像分量和第二圖像分量，如上所述地復(fù)原2160P圖像。復(fù)原單元270將被復(fù)原的2160P圖像傳送至輸出單元220。
[0259]在上文中，已經(jīng)說明了解碼裝置200的構(gòu)造。
[0260][編碼處理的流程]
[0261]接下來，將說明在編碼裝置100中用于輸入圖像的編碼處理的流程。圖11是用于說明在編碼裝置100中編碼處理的流程的流程圖。
[0262]首先，編碼裝置100在開始編碼處理之前對各單元進行初始化(步驟SI)。
[0263]接下來，生成單元110接收來自外部的圖像的輸入(步驟S2)。
[0264]接下來，生成單元110從輸入圖像提取基礎(chǔ)圖像、第一圖像分量和第二圖像分量(步驟S3)。提取方法如上所述。
[0265]接下來，偏移計算單元120計算第一圖像分量和第二圖像分量從基礎(chǔ)圖像的像素值偏移的偏移值(步驟S4)。
[0266]接著，編碼單元130對步驟S4中計算出的偏移值進行編碼(步驟S5)。
[0267]接下來，發(fā)送單元140將在步驟S3中提取的基礎(chǔ)圖像以及在步驟S5中被編碼的第一圖像分量和第二圖像分量的偏移值發(fā)送至解碼裝置200 (步驟S6)。
[0268]最后，編碼裝置100判定編碼處理是否終止(步驟S7)。在編碼處理未被終止的情況下(步驟S7中“否”)，處理返回到步驟S2并且接收下一個圖像的輸入以繼續(xù)編碼處理。
[0269]在上文中，已經(jīng)說明了編碼裝置100中的編碼處理的流程。
[0270][解碼處理的流程]
[0271]接下來，將說明解碼裝置200中的用于接收圖像的解碼處理的流程。
[0272](720P圖像、360P圖像和180P圖像)
[0273]圖12是說明解碼裝置200中的對于720P圖像、360P圖像和180P圖像的解碼處理
流程的流程圖。
[0274]首先，解碼裝置200在開始解碼處理之前對各單元進行初始化(步驟Sll)。
[0275]接著，接收單元210接收傳輸數(shù)據(jù)(即基礎(chǔ)圖像以及第一圖像分量和第二圖像分量的編碼后的偏移值)(步驟S12)。
[0276]關(guān)于720P圖像，在步驟S12之后，輸出單元220將接收到的基礎(chǔ)圖像(720P圖像)輸出至外部(步驟S13)。
[0277]關(guān)于360P圖像，在步驟S12之后，I / 2下變換單元253對接收到的基礎(chǔ)圖像進行I / 2倍下變換處理(步驟S14)。之后，輸出單元220將下變換得到的360P圖像輸出至外部(步驟S15)。
[0278]關(guān)于180P圖像，在步驟S14之后，I / 2下變換單元254對已經(jīng)經(jīng)過I / 2倍下變換處理的圖像進一步進行I / 2倍下變換處理(步驟S16)。之后，輸出單元220將下變換得到的180P圖像輸出至外部(步驟S17)。
[0279]在將步驟S13、S15和S17中獲得的圖像輸出至外部之后，解碼裝置200判定解碼處理是否終止(步驟S18)。在解碼處理未被終止的情況下(步驟S18中的“否”)，處理返回到步驟S12并且接收下一個圖像的輸入以繼續(xù)解碼處理。
[0280]在上文中，已經(jīng)說明了解碼裝置200中的對于720P圖像、360P圖像和180P圖像的解碼處理的流程。
[0281](1080P 圖像、540P 圖像和 270P 圖像)
[0282]圖13是用于說明解碼裝置200中的對于1080P圖像、540P圖像和270P圖像的解
碼處理流程的流程圖。
[0283]首先，解碼裝置200在開始解碼處理之前對各單元進行初始化(步驟S21)。
[0284]接下來，接收單元210接收傳輸數(shù)據(jù)(即基礎(chǔ)圖像以及第一和第二圖像分量的編碼的偏移值)(步驟S22)。
[0285]接著，解碼單元230對第一圖像分量的編碼后的偏移值進行解碼(步驟S23)。
[0286]接下來，基于第一圖像分量的解碼后的偏移值和由接收單元210接收到的基礎(chǔ)圖像，偏移逆計算單元240將第一圖像分量的偏移值還原為計算偏移值之前的原始值(步驟S24)。
[0287]接下來，I / 2下變換單元(用于后一半計算)250通過使用第一圖像分量進行I /2倍下變換的后半計算以生成1080P圖像(步驟S25)。
[0288]關(guān)于1080P圖像，在步驟S25之后，輸出單元220將生成的1080P圖像輸出至外部(步驟S26)。
[0289]關(guān)于540P圖像，在步驟S25之后，I / 2下變換單元251對生成的1080P圖像進行I / 2倍下變換處理(步驟S27)。之后，輸出單元220將下變換得到的540P圖像輸出至外部(步驟S28)。
[0290]關(guān)于270P圖像，在步驟S27之后，I / 2下變換單元252對已經(jīng)經(jīng)過I / 2倍下變換處理的圖像進一步進行I / 2倍下變換處理(步驟S29)。然后，輸出單元220將下變換得到的270P圖像輸出至外部(步驟S30)。
[0291]在將步驟S26、S28和S30中獲得的圖像輸出至外部之后，解碼裝置200判定解碼處理是否終止(步驟S31)。在解碼處理未被終止的情況下(步驟S31中的“否”)，處理返回到步驟S22并且接收下一個圖像的輸入以繼續(xù)解碼處理。
[0292]在上文中，已經(jīng)說明了解碼裝置200中對1080P圖像、540P圖像和270P圖像的解碼處理的流程。
[0293](1440P 圖像)
[0294]圖14是說明解碼裝置200中對1440P圖像的解碼處理流程的流程圖。
[0295]首先，解碼裝置200在開始解碼處理之前對各單元進行初始化(步驟S41)。
[0296]接下來，接收單元210接收傳輸數(shù)據(jù)(即基礎(chǔ)圖像以及第一圖像分量和第二圖像分量的編碼后的偏移值)(步驟S42)。
[0297]接著，解碼單元230對第二圖像分量的編碼后的偏移值進行解碼(步驟S43)。
[0298]接下來，基于第二圖像分量的解碼后的偏移值和由接收單元210接收到的基礎(chǔ)圖像，偏移逆計算單元240將第二圖像分量的偏移值還原為計算偏移值之前的原始值(步驟S44)。
[0299]接下來，插值2 / 3下變換單元260使用基礎(chǔ)圖像和第二圖像分量以在進行插值的同時進行2 / 3倍下變換計算，從而生成1440P圖像(步驟S45)。
[0300]接下來，輸出單元220將生成的1440P圖像輸出至外部(步驟S46)。
[0301]接下來，解碼裝置200判定解碼處理是否終止(步驟S47)。在解碼處理未被終止的情況下(步驟S47中的“否”)，處理返回到步驟S42并且接收下一個圖像的輸入以繼續(xù)解碼處理。
[0302]在上文中，已經(jīng)說明了解碼裝置200中對1440P圖像的解碼處理的流程。
[0303](2160P 圖像)
[0304]圖15是用于說明解碼裝置200中對2160P圖像的解碼處理流程的流程圖。
[0305]首先，解碼裝置200在開始解碼處理之前對各單元進行初始化(步驟S51)。
[0306]接下來，接收單元210接收傳輸數(shù)據(jù)(即基礎(chǔ)圖像以及第一圖像分量和第二圖像分量的編碼后的偏移值)(步驟S52)。
[0307]接著，解碼單元230對第一圖像分量和第二圖像分量的編碼后的偏移值進行解碼(步驟S53)。
[0308]接下來，基于第一圖像分量和第二圖像分量的解碼后的偏移值以及由接收單元210接收到的基礎(chǔ)圖像，偏移逆計算單元240將第一圖像分量和第二圖像分量的偏移值還原為計算偏移值之前的原始值(步驟S54)。
[0309]接著，復(fù)原單元270使用基礎(chǔ)圖像以及第一圖像分量和第二圖像分量來求解聯(lián)立方程，從而復(fù)原2160P圖像(步驟S55)。
[0310]接下來，輸出單元220將復(fù)原的2160P圖像輸出至外部(步驟S56)。
[0311]接下來，解碼裝置200判定解碼處理是否終止(步驟S57)。在解碼處理未被終止的情況下(步驟S57中的“否”)，處理返回到步驟S52并且接收下一個圖像的輸入以繼續(xù)解碼處理。
[0312]在上文中，已經(jīng)說明了解碼裝置200中對2160P圖像的解碼處理的流程。
[0313]至此，已經(jīng)說明了本發(fā)明的第一實施例。
[0314]二、第二實施例
[0315]接下來，將說明本發(fā)明的第二實施例。需要注意的是，在下面的說明中，將只說明與第一實施例的區(qū)別。
[0316][與第一實施例的區(qū)別(概述)]
[0317]在第一實施例中，由于僅使用了像素D1、D3、D4、D5和D7來獲得1440P圖像，所以當進行2 / 3倍下變換時通過插值增補了與像素DO、D2、D6和D8對應(yīng)的部分。因此，生成的1440P圖像是偽1440P圖像。
[0318]在第二實施例中，使用像素DO至D8的所有像素值以獲得1440P圖像。因此，生成的1440P圖像是準確的2 / 3倍下變換圖像。然而，由于用于1440P圖像的計算方法改變，所以當復(fù)原2160P圖像時必須使用另一原始像素值來求解聯(lián)立方程。在下面的說明中，作為示例，假設(shè)像素D5的像素值包括在傳輸數(shù)據(jù)中，但是可以使用除像素D4之外的任何像素。[0319][下變換的計算(概述)]
[0320]圖16示出了本實施例中的處理:經(jīng)過本處理，輸入至編碼裝置101的圖像被輸出作為具有各自的分辨率的輸出圖像。
[0321]與第一實施例的區(qū)別在于1440P圖像的生成過程和2160P圖像的復(fù)原過程。對720P圖像和1080P圖像的處理與第一實施例中說明的處理相同，并且因此將省略對它們的說明。
[0322](1440P圖像的生成過程)
[0323]首先，將沿著從作為輸入圖像的2160P圖像10到作為輸出圖像的1440P圖像91的過程進行說明。
[0324]被輸入至編碼裝置101的輸入圖像是2160P圖像10。2160P圖像10的3X3像素組中包括像素DO至像素D8。
[0325]在本實施例中，通過編碼裝置101進行2 / 3倍下變換的算術(shù)處理。具體地，例如，基于像素D0、D1、D3和D4計算下變換后的2X2像素組的像素BO的值。然而，解碼裝置201將像素BO的值布置在下變換后的2X2像素陣列中的像素BO的位置處。因此，在傳輸數(shù)據(jù)中，將像素BO的計算出的值布置在原始3X3像素組的像素Dl'的像素位置處并且隨后進行傳輸。
[0326]以這樣的方式，將通過2 / 3倍下變換算術(shù)處理而獲得的下變換后的2X2像素組的像素BO至B3的值存儲在原始3X3像素組的像素Dl'、D3'、D5'和D7'的位置處并且隨后進行傳輸。之后，在解碼裝置201中，將上述值重排至2X2像素組的合適的像素位置從而生成1440P圖像。
[0327](2160P圖像的復(fù)原過程)
[0328]接下來，將沿著從作為輸入圖像的2160P圖像10到作為輸出圖像的2160P圖像70的過程進行說明。
[0329]與上面的情況相同，被輸入至編碼裝置的輸入圖像是2160P圖像10。此外，在從編碼裝置傳輸至解碼裝置的數(shù)據(jù)中包含的720P圖像20和第一圖像分量30與第一實施例中說明的那些相同。
[0330]如在1440P圖像的生成處理中說明的那樣，第二圖像分量41是通過對2160P圖像10進行2 / 3倍下變換而獲得的圖像分量。
[0331]如上所述，通過采集3X3像素組中的例如像素D5來獲得第三圖像分量50。通過對作為輸入圖像的2160P圖像10進行細化而進行I / 3倍下變換處理來提取像素D5。
[0332]以這樣的方式，在第二實施例中，除了基礎(chǔ)圖像(720P圖像20)以及第一圖像分量和第二圖像分量之外，第三圖像分量也作為傳輸數(shù)據(jù)被傳輸至解碼裝置201。
[0333]在解碼裝置201中，通過使用接收到的720P圖像20、第一圖像分量30和第二圖像分量41中包含的編碼后的像素DO'至D8'的像素值以及接收到的第三圖像分量50中包含的像素D5'的像素值來求解聯(lián)立方程，并且逆計算出輸入圖像的像素DO至D8的值，從而生成(復(fù)原)和輸出2160P圖像70。
[0334]在上文中，已經(jīng)說明了下變換計算的概要。
[0335][下變換的計算(細節(jié))]
[0336]將說明通過像素的加法、減法、乘法和除法以預(yù)定的倍率對輸入至編碼裝置101的圖像進行下變換的計算的細節(jié)。需要注意的是，720P圖像和1080P圖像與第一實施例中的相同并且因此省略了對它們的說明。
[0337](1440P圖像的計算)
[0338]首先，將對1440P圖像91的生成進行說明。根據(jù)由虛線示出的分區(qū)，圖17示出了如何將輸入圖像的像素用于作為輸出圖像的1440P圖像。
[0339]在圖17的左側(cè)，示出了輸入圖像的3X3像素的陣列。通過下面的表達式，獲得圖17的中央示出的傳輸數(shù)據(jù)(第二圖像分量)中的像素Dl'、D3'、D5'和D7'的值。
[0340]Dl' = {D0+(D1+D3) / 2+D4 / 4} X4 / 9 (75)
[0341]D3' = {D2+(D1+D5) / 2+D4 / 4} X4 / 9 (76)
[0342]D5' = {D6+(D3+D7) / 2+D4 / 4} X4 / 9 (77)
[0343]V)T = {D8+(D7+D5) / 2+D4 / 4} X4 / 9 (78)
[0344]如圖17的右側(cè)所示，基于被傳輸至解碼裝置的上述第二圖像分量重排像素位置，從而計算出像素BO至B3的值。像素BO至B3形成作為輸出圖像的1440P圖像的2X2像素。
[0345]BO=Dl' (79)
[0346]B1=D3/ (80 )
[0347]B2=D5' (81)
[0348]B3=D7/ (82)
[0349]上述是1440P圖像91的生成方法。
[0350](2160P圖像的計算)
[0351]接下來，將對2160P圖像70的復(fù)原進行說明。對第一象限至第四象限進行類似的計算，因此這里將只說明對第一象限的計算。
[0352]首先，通過基于表達式(2)的下列表達式獲得像素D14的值。
[0353]D14=D14' (83)
[0354]此外，第三圖像分量是作為輸入圖像的2160P圖像的像素D15(像素D5)，并且因此通過下列表達式獲得像素D15的值。
[0355]D15=D15/ (84)
[0356]通過基于表達式(6)的下列表達式獲得像素D18的值。
[0357]D18=D18/ (85)
[0358]通過基于表達式(4)的下列表達式獲得像素D12的值。
[0359]D12=2XD12/ -D15 (86)
[0360]通過基于表達式(78)的下列表達式獲得像素D17的值。
[0361]D17=(D17/ X9 / 4—D14 / 4—D15 / 2—D18) X2 (87)
[0362]通過基于表達式(5)的下列表達式獲得像素D16的值。
[0363]D16=D16/ X2-D17 (88)
[0364]通過基于表達式(76)的下列表達式獲得像素Dll的值。
[0365]D11=(D13/ X9 / 4—D14 / 4—D15 / 2—D12) X2 (89)
[0366]通過基于表達式(77)的下列表達式獲得像素D13的值。
[0367]D13=(D15/ X9 / 4—D14 / 4—D17 / 2—D16) X2 (90)[0368]基于表達式(75)，利用下列表達式獲得像素DlO的值。
[0369]DlO=Dir X9 / 4-(D11+D13) / 2-D14 / 4 (91)
[0370]通過上述計算，獲得第一象限中九個像素的值。在以同樣的方式獲得第二象限至第四象限中的像素的值之后，能夠復(fù)原2160P圖像70。
[0371][偏移值的計算]
[0372]在本實施例中，在3X3像素組中，獲得基礎(chǔ)圖像的像素Df與第一圖像分量的各像素DO'、D2'、D6'和D8'之間的差值以及基礎(chǔ)圖像的像素D4'與第二圖像分量的各像素Dl'、D3'、D5'和D7'之間的差值。此外，還獲得基礎(chǔ)圖像的像素D4'與第三圖像分量的像素D5'之間的差值。
[0373]在下文中，將說明:當在用于上述下變換的像素間的計算表達式中包含偏移值的計算時，如何改變實際的計算表達式。需要注意的是，720P圖像和1080P圖像與第一實施例中的相同，并且因此省略了對它們的說明。
[0374](1440P圖像的計算)
[0375]接下來，當生成1440P圖像91時，使用的計算表達式如下示出。首先，如下計算第
二圖像分量。
[0376]Dl' = {D0+(D1+D3) / 2+D4 / 4} X4 / 9-D4' (92)
[0377]D3' = {D2+(D1+D5) / 2+D4 / 4} X 4 / 9-D4' (93)
[0378]D5' = {D6+(D3+D7) / 2+D4 / 4} X 4 / 9-D4' (94)
[0379]V)T = {D8+(D7+D5) / 2+D4 / 4} X 4 / 9-D4' (95)
[0380]之后，形成作為輸出圖像的1440P圖像91的2 X 2像素的像素BO至B3的值如下。
[0381]BO=Dl' +D4' (96)
[0382]B1=D3/ +D4' (97)
[0383]B2=D5' +M' (98)
[0384]B3=D7/ +M' (99)
[0385]上述是1440P圖像91的計算方法。
[0386](2160P圖像的計算)
[0387]接下來，將說明2160P圖像70的復(fù)原。由于對第一至第四象限進行相同的計算，所以這里只說明第一象限。
[0388]首先，通過基于表達式(2)的下列表達式獲得像素D14的值。
[0389]D14=D14' (100)
[0390]此外，第三圖像分量是作為輸入圖像的2160P圖像的像素D15(像素D5)，并因此通過下列表達式獲得像素D15的值。
[0391]D15=D15/ +D14' (101)
[0392]通過基于表達式(48)的下列表達式獲得像素D18的值。
[0393]D18=D18/ +D14' (102)
[0394]通過基于表達式(46)的下列表達式獲得像素D12的值。
[0395]D12=2X(D12' +D14' )_D15 (103)
[0396]通過基于表達式(95)的下列表達式獲得像素D17的值。
[0397]D17={(D17/ +D14' ) X9 / 4-D14 / 4-D15 / 2-D18} X2 (104)[0398]通過基于表達式(47)的下列表達式獲得像素D16的值。
[0399]D16=(D16/ +D14' ) X2-D17 (105)
[0400]通過基于表達式(93)的下列表達式獲得像素Dll的值。
[0401]D11={(D13/ +D14' ) X9 / 4—D14 / 4—D15 / 2—D12} X2 (106)
[0402]通過基于表達式(94)的下列表達式獲得像素D13的值。
[0403]D13={(D15/ +D14' ) X9 / 4—D14 / 4—D17 / 2—D16) X2 (107)
[0404]通過基于表達式(92)的下列表達式獲得像素DlO的值。
[0405]D10=(D11' +D14' ) X9 / 4_(D11+D13) / 2-D14 / 4 (108)
[0406]通過上述計算，獲得第一象限中的九個像素的值。在以同樣的方式獲得第二象限至第四象限中的像素的值之后，能夠復(fù)原2160P圖像70。
[0407][傳輸數(shù)據(jù)的像素的重排]
[0408]關(guān)于傳輸數(shù)據(jù)的像素重排方法，基礎(chǔ)圖像以及第一圖像分量和第二圖像分量的重排與第一實施例中的相同。除此之外，在本實施例中將第三圖像分量添加至傳輸數(shù)據(jù)。
[0409][編碼裝置的構(gòu)造]
[0410]接下來，將說明編碼裝置101的構(gòu)造。示出編碼裝置101的構(gòu)造的框圖與圖9的框圖相同，并且因此省略了對它的說明。
[0411]與第一實施例的區(qū)別是生成單元111。生成單元111如上所述地對4K高清圖像(2160P圖像10)進行I / 3倍下變換以生成基礎(chǔ)圖像(720P圖像20)。生成的基礎(chǔ)圖像被傳送至偏移計算單元120和發(fā)送單元140。此外，生成單元111如上所述地對4K高清圖像(2160P圖像10)進行I / 2倍下變換至該處理的中點以生成第一圖像分量。這與第一實施例中相同。
[0412]生成單元111中與第一實施例的區(qū)別如下。生成單元111對4K高清圖像(2160P圖像10)進行2 / 3倍下變換以生成第二圖像分量并且通過細化對4K高清圖像(2160P圖像10)進行I / 3倍下變換以生成第三圖像分量。
[0413]生成的第一圖像分量、第二圖像分量和第三圖像分量被傳送至用于處理的偏移計算單元120，并且隨后與基礎(chǔ)圖像一起作為傳輸數(shù)據(jù)被發(fā)送至解碼裝置201。
[0414][解碼裝置的構(gòu)造]
[0415]接下來，將說明解碼裝置201的構(gòu)造。圖18是示出了解碼裝置201的構(gòu)造的框圖。
[0416]解碼裝置201包括接收單元210、輸出單元220、解碼單元230、偏移逆計算單元240、I / 2下變換單元(用于后一半計算)250、I / 2下變換單元251?254、1440P圖像生成單元261以及復(fù)原單元271。
[0417]與第一實施例的大的區(qū)別在于1440P圖像生成單元261和復(fù)原單元271。
[0418]1440P圖像生成單元261將位于2X2像素組的像素BO至B3的像素位置的像素值重排。具體地，如上所述，上述那些像素值是通過編碼裝置101對2160P圖像10進行2 /3倍下變換而獲得的，并且隨后被存儲在3X3像素組的像素Dl'、D3'、D5'和D7'的位置處。
[0419]如上所述，復(fù)原單元271基于從編碼裝置101發(fā)送來的基礎(chǔ)圖像以及第一圖像分量、第二圖像分量和第三圖像分量，通過求解聯(lián)立方程復(fù)原2160P圖像70。
[0420]在上文中，已經(jīng)說明了本發(fā)明的第二實施例。[0421]三、第三實施例
[0422]接下來，將說明本發(fā)明的第三實施例。需要注意的是，在下面的說明中，將只說明與第一實施例的區(qū)別。
[0423][與第一實施例的差異(概述)]
[0424]在第一實施例中，為了獲得720P圖像20，將像素DO至D8中除了像素D4之外的像素細化掉以進行I / 3倍下變換處理。在本實施例中，不通過細化像素而是通過計算像素DO至D8的平均值來進行I / 3倍下變換處理。
[0425]具體地，在第一實施例中，像素D4'的值如表達式(I)中所表達。
[0426]M' =M (I)
[0427]然而，在本實施例中，像素Df的值如下。
[0428]D4' = (D0+D1+D2+D3+D4+D5+D6+D7+D8) / 9 (109)
[0429]如表達式(109)所示，無法由該表達式唯一地確定像素D4的值。因此，當為了復(fù)原2160P圖像而求解聯(lián)立方程時，如在第二實施例中那樣，必須將另一像素的值(例如像素D5的值)作為第三圖像分量發(fā)送至解碼裝置202。
[0430][下變換的計算(概述)]
[0431]圖19示出了本實施例中的處理:通過該處理，被輸入至編碼裝置102的圖像被從解碼裝置202輸出作為具有各自的分辨率的輸出圖像。
[0432]與第一實施例的第一個區(qū)別在于使用像素DO至D8獲得形成基礎(chǔ)圖像(720P圖像)的像素D4'。與第一實施例的第二個區(qū)別在于傳輸數(shù)據(jù)中包括例如由像素D5形成的第三圖像分量50。與第一實施例的第三個區(qū)別在于使用基礎(chǔ)圖像21以及第一圖像分量30、第二圖像分量40和第三圖像分量50來復(fù)原2160P圖像。
[0433]需要注意的是，從第一實施例和第二實施例能夠類似地推導(dǎo)出通過表達式的計算的細節(jié)以及編碼裝置102和解碼裝置202的細節(jié)，并因此省略掉對它們的說明。
[0434]需要注意的是，在第三實施例中，基于第一實施例，像素D4'的計算表達式從表達式(I)變?yōu)楸磉_式(109)，但是該計算表達式不限于此。像素D4'的計算表達式可以基于第二實施例變?yōu)楸磉_式(109)。
[0435][補充說明]
[0436]此外，本發(fā)明不限于上述實施例，并且當然能夠在不背離本發(fā)明的要旨的前提下進行各種修改。
[0437]本領(lǐng)域技術(shù)人員應(yīng)當理解，依據(jù)設(shè)計要求和其他因素，可以在本發(fā)明隨附的權(quán)利要求或其等同物的范圍內(nèi)進行各種修改、組合、次組合以及改變。
[0438]本申請要求2012年10月29日的日本優(yōu)先權(quán)專利申請JP2012-238135的優(yōu)先權(quán)權(quán)益,因此將該日本優(yōu)先權(quán)申請的全部內(nèi)容以引用的方式并入本文。
【權(quán)利要求】
1.一種編碼裝置，其包括: 基礎(chǔ)圖像生成單元，所述基礎(chǔ)圖像生成單元被構(gòu)造用來以預(yù)定的第一倍率對輸入圖像進行下變換以生成基礎(chǔ)圖像； 第一圖像分量生成單元，所述第一圖像分量生成單元被構(gòu)造用來生成第一圖像分量信息，所述第一圖像分量信息被用來以不同于所述第一倍率的預(yù)定的第二倍率對所述輸入圖像進行下變換，并且所述第一圖像分量信息是用于從所述基礎(chǔ)圖像復(fù)原所述輸入圖像的信息的一部分； 第二圖像分量生成單元，所述第二圖像分量生成單元被構(gòu)造用來生成第二圖像分量信息，所述第二圖像分量信息被用來以不同于所述第一倍率和所述第二倍率的預(yù)定的第三倍率對所述輸入圖像進行下變換，并且所述第二圖像分量信息與所述第一圖像分量信息一起被用于從所述基礎(chǔ)圖像復(fù)原所述輸入圖像；以及 輸出單元，所述輸出單元被構(gòu)造用來輸出所述基礎(chǔ)圖像、所述第一圖像分量信息和所述第二圖像分量信息。
2.根據(jù)權(quán)利要求1所述的編碼裝置，還包括: 編碼單元，所述編碼單元被構(gòu)造用來 計算所述第一圖像分量信息與所述基礎(chǔ)圖像的各像素之間的第一偏移值，以對所述第一偏移值編碼，以及 計算所述第二圖像分量信息與所述基礎(chǔ)圖像的各像素之間的第二偏移值，以對所述第二偏移值編碼，其中， 所述輸出單元被構(gòu)造用來輸出所述基礎(chǔ)圖像、編碼后的所述第一偏移值和編碼后的所述第二偏移值。`
3.根據(jù)權(quán)利要求2所述的編碼裝置，還包括: 圖像質(zhì)量調(diào)節(jié)單元，所述圖像質(zhì)量調(diào)節(jié)單元被構(gòu)造用來均勻地調(diào)節(jié)所述基礎(chǔ)圖像的所有像素的圖像質(zhì)量，其中， 所述編碼單元被構(gòu)造用來計算從具有調(diào)節(jié)后的圖像質(zhì)量的所述基礎(chǔ)圖像偏移的所述第一偏移值和所述第二偏移值。
4.根據(jù)權(quán)利要求1至3中任一項所述的編碼裝置，其中， 所述輸入圖像具有2160P的垂直分辨率， 所述第一倍率是1/3倍， 所述第二倍率是1/2倍，以及 所述第三倍率是2/3倍。
5.一種解碼裝置，其包括: 輸入單元，所述輸入單元被構(gòu)造用來輸入基礎(chǔ)圖像、第一圖像分量信息和第二圖像分量信息， 所述基礎(chǔ)圖像是通過以預(yù)定的第一倍率對原始圖像進行下變換而獲得的， 所述第一圖像分量信息被用來以不同于所述第一倍率的預(yù)定的第二倍率對所述原始圖像進行下變換，并且所述第一圖像分量信息是用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像的信息的一部分， 所述第二圖像分量信息被用來以不同于所述第一倍率和所述第二倍率的預(yù)定的第三倍率對所述原始圖像進行下變換，并且所述第二圖像分量信息與所述第一圖像分量信息一起被用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像；以及 輸出單元，所述輸出單元被構(gòu)造用來輸出輸入的所述基礎(chǔ)圖像。
6.根據(jù)權(quán)利要求5所述的解碼裝置，其中， 從所述輸出單元輸出的所述基礎(chǔ)圖像具有720P的垂直分辨率。
7.根據(jù)權(quán)利要求5或6所述的解碼裝置，還包括: 下變換單元，所述下變換單元被構(gòu)造用來以所述第二倍率對所述基礎(chǔ)圖像進行至少一次下變換，并將得到的下變換圖像分別輸入至所述輸出單元， 所述輸出單元還輸出所述各下變換圖像。
8.一種解碼裝置，其包括: 輸入單元，所述輸入單元被構(gòu)造用來輸入基礎(chǔ)圖像、第一圖像分量信息和第二圖像分量信息， 所述基礎(chǔ)圖像是通過以預(yù)定的第一倍率對原始圖像進行下變換而獲得的， 所述第一圖像分量信息被用來以不同于所述第一倍率的預(yù)定的第二倍率對所述原始圖像進行下變換，并且所述第一圖像分量信息是用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像的信息的一部分， 所述第二圖像分量信息被用來以不同于所述第一倍率和所述第二倍率的預(yù)定的第三倍率對所述原始圖像進行下變換，并且所述第二圖像分量信息與所述第一圖像分量信息一起被用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像； 下變換單元，所述下變換單元被構(gòu)造用來通過使用輸入的所述第一圖像分量信息生成所述原始圖像在以所述第二倍率進行至少一次下變換后得到的各下變換圖像；以及輸出單元，所述輸出單元被構(gòu)造用來輸出所述各下變換圖像。
9.根據(jù)權(quán)利要求8所述的解碼裝置，其中， 從所述輸出單元輸出的圖像具有1080P的垂直分辨率。
10.一種解碼裝置，其包括: 輸入單元，所述輸入單元被構(gòu)造用來輸入基礎(chǔ)圖像、第一圖像分量信息和第二圖像分量信息， 所述基礎(chǔ)圖像是通過以預(yù)定的第一倍率對原始圖像進行下變換而獲得的， 所述第一圖像分量信息被用來以不同于所述第一倍率的預(yù)定的第二倍率對所述原始圖像進行下變換，并且所述第一圖像分量信息是用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像的信息的一部分， 所述第二圖像分量信息被用來以不同于所述第一倍率和所述第二倍率的預(yù)定的第三倍率對所述原始圖像進行下變換，所述第二圖像分量信息與所述第一圖像分量信息一起被用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像； 下變換單元，其被構(gòu)造用來通過使用輸入的所述基礎(chǔ)圖像和輸入的所述第二圖像分量信息生成所述原始圖像在以所述第三倍率進行下變換后得到的下變換圖像；以及輸出單元，所述輸出單元被構(gòu)造用來輸出所述下變換圖像。
11.根據(jù)權(quán)利要求10所述的解碼裝置，其中， 從所述輸出單元輸出的圖像具有1440P的垂直分辨率。
12.—種解碼裝置，其包括: 輸入單元，所述輸入單元被構(gòu)造用來輸入基礎(chǔ)圖像、第一圖像分量信息和第二圖像分量信息， 所述基礎(chǔ)圖像是通過以預(yù)定的第一倍率對原始圖像進行下變換而獲得的， 所述第一圖像分量信息被用來以不同于所述第一倍率的預(yù)定的第二倍率對所述原始圖像進行下變換，并且所述第一圖像分量信息是用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像的信息的一部分， 所述第二圖像分量信息被用來以不同于所述第一倍率和所述第二倍率的預(yù)定的第三倍率對所述原始圖像進行下變換，所述第二圖像分量信息與所述第一圖像分量信息一起被用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像； 復(fù)原單元，所述復(fù)原單元被構(gòu)造用來通過使用輸入的所述基礎(chǔ)圖像、輸入的所述第一圖像分量信息和輸入的所述第二圖像分量信息復(fù)原所述原始圖像；以及輸出單元，所述輸出單元被構(gòu)造用來輸出復(fù)原的所述原始圖像。
13.根據(jù)權(quán)利要求12所述的解碼裝置，其中， 從所述輸出單元輸出的圖像具有2160P的垂直分辨率。
14.一種解碼裝置，其包括: 輸入單元，所述輸入單元被構(gòu)造用來輸入基礎(chǔ)圖像、第一圖像分量信息和第二圖像分量信息，` 所述基礎(chǔ)圖像是通過以預(yù)定的第一倍率對原始圖像進行下變換而獲得的， 所述第一圖像分量信息被用來以不同于所述第一倍率的預(yù)定的第二倍率對所述原始圖像進行下變換，并且所述第一圖像分量信息是用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像的信息的一部分， 所述第二圖像分量信息被用來以不同于所述第一倍率和所述第二倍率的預(yù)定的第三倍率對所述原始圖像進行下變換，所述第二圖像分量信息與所述第一圖像分量信息一起被用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像； 第一下變換單元，所述第一下變換單元被構(gòu)造用來通過使用輸入的所述第一圖像分量信息生成所述原始圖像在以所述第二倍率進行下變換后得到的第一下變換圖像； 第二下變換單元，所述第二下變換單元被構(gòu)造用來通過使用輸入的所述基礎(chǔ)圖像和輸入的所述第二圖像分量信息生成所述原始圖像在以所述第三倍率進行下變換后得到的第二下變換圖像； 復(fù)原單元，所述復(fù)原單元被構(gòu)造用來通過使用輸入的所述基礎(chǔ)圖像、輸入的所述第一圖像分量信息和輸入的所述第二圖像分量信息復(fù)原所述原始圖像；以及 輸出單元，所述輸出單元被構(gòu)造用來輸出輸入的所述基礎(chǔ)圖像、所述第一下變換圖像、所述第二下變換圖像和復(fù)原的所述原始圖像。
15.根據(jù)權(quán)利要求14所述的解碼裝置，其中， 從所述輸出單元輸出的所述基礎(chǔ)圖像具有720P的垂直分辨率， 所述第一下變換圖像具有1080P的垂直分辨率， 所述第二下變換圖像具有1440P的垂直分辨率，以及 復(fù)原的所述原始圖像具有2160P的垂直分辨率。
16.一種編碼裝置，其包括: 基礎(chǔ)圖像生成單元，所述基礎(chǔ)圖像生成單元被構(gòu)造用來以預(yù)定的第一倍率對輸入圖像進行下變換以生成基礎(chǔ)圖像； 第一圖像分量生成單元，所述第一圖像分量生成單元被構(gòu)造用來生成第一圖像分量信息，所述第一圖像分量信息被用來以不同于所述第一倍率的預(yù)定的第二倍率對所述輸入圖像進行下變換，并且所述第一圖像分量信息是用于從所述基礎(chǔ)圖像復(fù)原所述輸入圖像的信息的一部分； 第二圖像分量生成單元，所述第二圖像分量生成單元被構(gòu)造用來生成第二圖像分量信息，所述第二圖像分量信息被用來以不同于所述第一倍率和所述第二倍率的預(yù)定的第三倍率對所述輸入圖像進行下變換； 第三圖像分量生成單元，所述第三圖像分量生成單元被構(gòu)造用來以預(yù)定的第一倍率對輸入圖像進行下變換以生成與所述基礎(chǔ)圖像不同的第三圖像分量信息，并且所述第三圖像分量信息與所述第一圖像分量信息和所述第二圖像分量信息一起被用于從所述基礎(chǔ)圖像復(fù)原所述輸入圖像； 輸出單元，所述輸出單元被構(gòu)造用來輸出所述基礎(chǔ)圖像、所述第一圖像分量信息、所述第二圖像分量信息和所述第三圖像分量信息。
17.根據(jù)權(quán)利要求16所述的編碼裝置，還包括: 編碼單元，所述編碼單元被構(gòu)造用來 計算所述第一圖像分量信息與所述基礎(chǔ)圖像的各像素之間的第一偏移值，以對所述第一偏移值編碼， 計算所述第二圖像分量信息與所述基礎(chǔ)圖像的各像素之間的第二偏移值，以對所述第二偏移值編碼，以及` 計算所述第三圖像分量信息與所述基礎(chǔ)圖像的各像素之間的第三偏移值，以對所述第三偏移值編碼，其中， 所述輸出單元被構(gòu)造用來輸出所述基礎(chǔ)圖像、編碼后的所述第一偏移值、編碼后的所述第二偏移值和編碼后的所述第二偏移值。
18.根據(jù)權(quán)利要求17所述的編碼裝置，還包括: 圖像質(zhì)量調(diào)節(jié)單元，所述圖像質(zhì)量調(diào)節(jié)單元被構(gòu)造用來均勻地調(diào)節(jié)所述基礎(chǔ)圖像的所有像素的圖像質(zhì)量，其中， 所述編碼單元被構(gòu)造用來計算從具有調(diào)節(jié)后的圖像質(zhì)量的所述基礎(chǔ)圖像偏移的所述第一偏移值、所述第二偏移值和所述第三偏移值。
19.根據(jù)權(quán)利要求16~18中任一項所述的編碼裝置，其中， 所述輸入圖像具有2160P的垂直分辨率， 所述第一倍率是1/3倍， 所述第二倍率是1/2倍，以及 所述第三倍率是2/3倍。
20.一種解碼裝置，其包括: 輸入單元，所述輸入單元被構(gòu)造用來輸入基礎(chǔ)圖像、第一圖像分量信息、第二圖像分量信息和第三圖像分量信息，所述基礎(chǔ)圖像是通過以預(yù)定的第一倍率對原始圖像進行下變換而獲得的， 所述第一圖像分量信息被用來以不同于所述第一倍率的預(yù)定的第二倍率對所述原始圖像進行下變換，并且所述第一圖像分量信息是用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像的信息的一部分， 所述第二圖像分量信息被用來以不同于所述第一倍率和所述第二倍率的預(yù)定的第三倍率對所述原始圖像進行下變換； 所述第三圖像分量信息是通過以預(yù)定的第一倍率對所述原始圖像進行下變換而獲得的，并且所述第三圖像分量信息與所述第一圖像分量信息和所述第二圖像分量信息一起被用于從所述基礎(chǔ)圖像復(fù)原所述輸入圖像， 第一下變換單元，所述第一下變換單元被構(gòu)造用來通過使用輸入的所述第一圖像分量信息生成所述原始圖像在以所述第二倍率進行下變換后得到的第一下變換圖像； 第二下變換單元，所述第二下變換單元被構(gòu)造用來通過使用輸入的所述基礎(chǔ)圖像和輸入的所述第二圖像分量信息生成所述原始圖像在以所述第三倍率進行下變換后得到的第二下變換圖像； 復(fù)原單元，所述復(fù)原單元被構(gòu)造用來通過使用輸入的所述基礎(chǔ)圖像、輸入的所述第一圖像分量信息、輸入的所述第二圖像分量信息和輸入的所述第三圖像分量信息復(fù)原所述原始圖像；以及 輸出單元，所述輸出單元被構(gòu)造用來輸出輸入的所述基礎(chǔ)圖像、所述第一下變換圖像、所述第二下變換圖像和復(fù)原的所述原始圖像。
21.根據(jù)權(quán)利要求20所述的解碼裝置，其中， 從所述輸出單元輸出的所述基礎(chǔ)圖像具有720P的垂直分辨率，` 所述第一下變換圖像具有1080P的垂直分辨率， 所述第二下變換圖像具有1440P的垂直分辨率，以及 復(fù)原的所述原始圖像具有2160P的垂直分辨率。
22.—種編碼方法，其包括以下步驟: 以預(yù)定的第一倍率對輸入圖像進行下變換以生成基礎(chǔ)圖像； 生成第一圖像分量信息，所述第一圖像分量信息被用來以不同于所述第一倍率的預(yù)定的第二倍率對所述輸入圖像進行下變換，并且所述第一圖像分量信息是用于從所述基礎(chǔ)圖像復(fù)原所述輸入圖像的信息的一部分；以及 生成第二圖像分量信息，所述第二圖像分量信息被用來以不同于所述第一倍率和所述第二倍率的預(yù)定的第三倍率對所述輸入圖像進行下變換，并且所述第二圖像分量信息與所述第一圖像分量信息一起被用于從所述基礎(chǔ)圖像復(fù)原所述輸入圖像。
23.一種解碼方法，其包括以下步驟: 接收基礎(chǔ)圖像、第一圖像分量信息和第二圖像分量信息， 所述基礎(chǔ)圖像是通過以預(yù)定的第一倍率對原始圖像進行下變換而獲得的， 所述第一圖像分量信息被用來以不同于所述第一倍率的預(yù)定的第二倍率對所述原始圖像進行下變換，并且所述第一圖像分量信息是用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像的信息的一部分， 所述第二圖像分量信息被用來以不同于所述第一倍率和所述第二倍率的預(yù)定的第三倍率對所述原始圖像進行下變換，所述第二圖像分量信息與所述第一圖像分量信息一起被用于從所述基礎(chǔ)圖像復(fù)原所述原始圖像； 通過使用所述第一圖像分量信息生成所述原始圖像在以所述第二倍率進行下變換后得到的下變換圖像； 通過使用所述基礎(chǔ)圖像和所述第二圖像分量信息生成所述原始圖像在以所述第二倍率進行下變換后得到的下變換圖像；以及 通過使用所述基 礎(chǔ)圖像、所述第一圖像分量信息和所述第二圖像分量信息復(fù)原所述原始圖像。
【文檔編號】H04N19/63GK103796020SQ201310499109
【公開日】2014年5月14日 申請日期:2013年10月22日 優(yōu)先權(quán)日:2012年10月29日
【發(fā)明者】新井洋 申請人:索尼公司