編碼裝置和編碼方法以及解碼裝置和解碼方法
【專利摘要】本發(fā)明涉及一種編碼裝置和編碼方法以及解碼裝置和解碼方法，其中可以減小在關(guān)于深度圖像的信息被包括在編碼流中的情況下的編碼流的編碼量。DPS編碼器將作為關(guān)于深度圖像的信息的深度圖像信息設(shè)置為與序列參數(shù)集和圖片參數(shù)集不同的DPS。切片編碼單元對(duì)深度圖像進(jìn)行編碼，從而生成編碼數(shù)據(jù)。切片編碼單元傳送包含DPS和編碼數(shù)據(jù)的編碼流。本發(fā)明可適用于例如用于多視點(diǎn)圖像的編碼裝置。
【專利說明】編碼裝置和編碼方法以及解碼裝置和解碼方法

【技術(shù)領(lǐng)域】
[0001] 本技術(shù)涉及一種編碼裝置和編碼方法以及解碼裝置和解碼方法，具體地，涉及一 種被配置成在關(guān)于深度圖像的信息被包括在編碼流中的情況下減小編碼流的編碼量的編 碼裝置和編碼方法以及解碼裝置和解碼方法。

【背景技術(shù)】
[0002] 近年來，3D圖像已引起關(guān)注。作為觀看3D圖像的方案，如下方案（下文中稱為眼 鏡類型方案）是普遍的：戴上在顯示兩視點(diǎn)圖像之間的一個(gè)圖像時(shí)打開左眼快門而在顯示 另一圖像時(shí)打開右眼快門的眼鏡，并且觀看交替顯示的兩視點(diǎn)圖像。
[0003] 然而，在這樣的眼鏡類型方案中，觀看者需要與3D顯示裝置分開購買眼鏡，從而 降低了觀看者進(jìn)行購買的購買意愿。由于觀看者需要在觀看時(shí)戴上眼鏡，因此觀看者可能 感覺麻煩。因此，對(duì)在不需要戴上眼鏡的情況下來觀看3D圖像的觀看方案（下文中稱為非 眼鏡類型方案）的需求增加。
[0004] 在這樣的非眼鏡類型方案中，三個(gè)或更多個(gè)視點(diǎn)的視點(diǎn)圖像被顯示為使得可觀看 角度對(duì)于每個(gè)視點(diǎn)不同，因此觀看者可以在僅分別利用左眼和右眼觀看任意兩視點(diǎn)圖像時(shí) 觀看3D圖像而無需戴上眼鏡。
[0005] 作為在非眼鏡類型方案中顯示3D圖像的方法，設(shè)計(jì)了如下方法：獲取預(yù)定視點(diǎn)彩 色圖像和深度圖像，基于彩色圖像和深度圖像生成包括除預(yù)定視點(diǎn)之外的視點(diǎn)的多視點(diǎn)彩 色圖像，并顯示該多視點(diǎn)彩色圖像。這里，多視點(diǎn)指的是是三個(gè)或更多個(gè)視點(diǎn)。
[0006] 作為對(duì)多視點(diǎn)彩色圖像和深度圖像進(jìn)行編碼的方法，提出了分開對(duì)彩色圖像和深 度圖像進(jìn)行編碼的方法（例如，參見專利文獻(xiàn)1)。
[0007] 引用列表
[0008] 非專利文獻(xiàn)
[0009] NPL1 :〃 Draft Call for Proposals ο η 3 D Video Coding Technology", INTERNATIONAL ORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATION IS0/IEC JTC1/SC29/WG11C0DING OF MOVING PICTURES AND AUDI0，MPEG2010/N11679 廣州，中國，2010 年 10 月


【發(fā)明內(nèi)容】

[0010] 技術(shù)問題
[0011] 然而，在關(guān)于深度圖像的信息被包括在編碼流中的情況下，沒有考慮編碼流的編 碼量的減小。
[0012] 本技術(shù)是鑒于這樣的情形而完成的，并且是用于在關(guān)于深度圖像的信息被包括在 編碼流中的情況下減小編碼流的編碼量的技術(shù)。
[0013] 問題的解決方案
[0014] 根據(jù)本技術(shù)的第一方面，提供了一種編碼裝置，其包括：設(shè)置單元，將作為關(guān)于深 度圖像的信息的深度圖像信息設(shè)置為不同于序列參數(shù)集和圖片參數(shù)集的參數(shù)集；編碼單 元，對(duì)深度圖像進(jìn)行編碼以生成編碼數(shù)據(jù)；以及傳送單元，傳送包括由設(shè)置單元設(shè)置的參數(shù) 集和由編碼單元生成的編碼數(shù)據(jù)的編碼流。
[0015] 根據(jù)本技術(shù)的第一方面的編碼方法對(duì)應(yīng)于根據(jù)本技術(shù)的第一方面的編碼裝置。
[0016] 根據(jù)本技術(shù)的第一方面，將作為關(guān)于深度圖像的信息的深度圖像信息設(shè)置為不同 于序列參數(shù)集和圖片參數(shù)集的參數(shù)集；對(duì)深度圖像進(jìn)行編碼以生成編碼數(shù)據(jù)；并且傳送包 括參數(shù)集和編碼數(shù)據(jù)的編碼流。
[0017] 根據(jù)本技術(shù)的第二方面，提供了一種解碼裝置，其包括：獲取單元，從包括參數(shù)集 和深度圖像的編碼數(shù)據(jù)的編碼流中獲取參數(shù)集和編碼數(shù)據(jù)，該參數(shù)集中設(shè)置有作為關(guān)于深 度圖像的信息的深度圖像信息，并且該參數(shù)集不同于序列參數(shù)集和圖片參數(shù)集；解析處理 單元，從獲取單元獲取的參數(shù)集中解析深度圖像信息；以及解碼單元，對(duì)獲取單元獲取的編 碼數(shù)據(jù)進(jìn)行解碼。
[0018] 根據(jù)本技術(shù)的第二方面的解碼方法對(duì)應(yīng)于根據(jù)本技術(shù)的第二方面的解碼裝置。
[0019] 根據(jù)本技術(shù)的第二方面，從包括參數(shù)集和深度圖像的編碼數(shù)據(jù)的編碼流中獲取參 數(shù)集和編碼數(shù)據(jù)，該參數(shù)集中設(shè)置有作為關(guān)于深度圖像的信息的深度圖像信息，并且該參 數(shù)集不同于序列參數(shù)集和圖片參數(shù)集；從參數(shù)集中解析深度圖像信息；并且對(duì)編碼數(shù)據(jù)進(jìn) 行解碼。
[0020] 根據(jù)第一方面的編碼裝置和根據(jù)第二方面的解碼裝置可以通過允許計(jì)算機(jī)執(zhí)行 程序來實(shí)現(xiàn)。
[0021] 為了實(shí)現(xiàn)根據(jù)第一方面的編碼裝置和根據(jù)第二方面的解碼裝置，允許由計(jì)算機(jī)執(zhí) 行的程序可以經(jīng)由傳送介質(zhì)來傳送或者可以記錄在記錄介質(zhì)上以被提供。
[0022] 本發(fā)明的有利效果
[0023] 根據(jù)本技術(shù)的第一方面，可以在關(guān)于深度圖像的信息被包括在編碼流中的情況下 減小編碼流的編碼量。
[0024] 根據(jù)本技術(shù)的第二方面，可以對(duì)在關(guān)于深度圖像的信息被包括在編碼流中的情況 下減小了編碼流的編碼量的編碼流進(jìn)行解碼。

【專利附圖】

【附圖說明】
[0025] 圖1是示出視差和深度的圖。
[0026] 圖2是示出應(yīng)用本技術(shù)的實(shí)施例的編碼裝置的配置示例的框圖。
[0027] 圖3是示出圖2中的多視點(diǎn)圖像編碼單元的配置示例的框圖。
[0028] 圖4是示出編碼流的結(jié)構(gòu)示例的圖。
[0029] 圖5是示出DPS的語法示例的圖。
[0030] 圖6是示出切片報(bào)頭的語法示例的圖。
[0031] 圖7是示出圖2中的編碼裝置的編碼處理的流程圖。
[0032] 圖8是示出圖7中的多視點(diǎn)編碼處理的細(xì)節(jié)的流程圖。
[0033] 圖9是示出圖8的DPS生成處理的細(xì)節(jié)的流程圖。
[0034] 圖10是示出應(yīng)用本技術(shù)的實(shí)施例的解碼裝置的配置示例的框圖。
[0035] 圖11是示出圖10中的多視點(diǎn)圖像解碼單元的配置示例的框圖。
[0036] 圖12是示出圖10中的解碼裝置的解碼處理的流程圖。
[0037] 圖13是示出圖12中的多視點(diǎn)解碼處理的細(xì)節(jié)的流程圖。
[0038] 圖14是示出圖13中的生成處理的細(xì)節(jié)的流程圖。
[0039] 圖15是示出擴(kuò)展SPS的語法示例的圖。
[0040] 圖16是示出擴(kuò)展SPS的另一語法示例的圖。
[0041] 圖17是示出擴(kuò)展slice_layer的定義的圖。
[0042] 圖18是示出擴(kuò)展slice_layer的語法示例的圖。
[0043] 圖19是示出擴(kuò)展切片報(bào)頭的語法示例的圖。
[0044] 圖20是示出擴(kuò)展切片報(bào)頭的另一語法示例的圖。
[0045] 圖21是示出NAL單位的語法示例的圖。
[0046] 圖22是示出slice_layer的語法示例的圖。
[0047] 圖23是示出編碼流的另一結(jié)構(gòu)示例的圖。
[0048] 圖24是示出實(shí)施例的計(jì)算機(jī)的配置示例的圖。
[0049] 圖25是示出應(yīng)用本技術(shù)的電視機(jī)設(shè)備的總體配置示例的圖。
[0050] 圖26是示出應(yīng)用本技術(shù)的便攜式電話的總體配置示例的圖。
[0051] 圖27是示出應(yīng)用本技術(shù)的記錄再現(xiàn)設(shè)備的總體配置示例的圖。
[0052] 圖28是示出應(yīng)用本技術(shù)的成像設(shè)備的總體配置示例的圖。

【具體實(shí)施方式】
[0053] 〈本說明書中的深度圖像（視差相關(guān)圖像）的描述〉
[0054] 圖1是示出視差和深度的圖。
[0055] 如圖1所示，當(dāng)主體Μ的彩色圖像是由布置在位置C1處的攝像裝置cl和布置在 位置C2處的攝像裝置c2拍攝的時(shí)，作為在深度方向上攝像裝置cl (攝像裝置c2)與主體 的距離的主體Μ的深度Z由以下等式（a)來定義。
[0056] [數(shù)學(xué)式1]
[0057] Z = (L/d) X f . . . (a)
[0058] L是在水平方向上位置Cl與位置C2之間的距離（下文中稱為攝像裝置間距離）。 另外，d是通過從攝像裝置cl所拍攝的彩色圖像上的主體Μ的位置在水平方向上距該彩色 圖像的中心的距離ul減去攝像裝置c2所拍攝的彩色圖像上的主體Μ的位置在水平方向上 距該彩色圖像的中心的距離u2而獲得的值，S卩，視差。此外，f是攝像裝置cl的焦距，并且 在等式（a)中假設(shè)攝像裝置cl的焦距與攝像裝置c2的焦距相同。
[0059] 如等式（a)所表示的，視差d和深度Z可以唯一地進(jìn)行轉(zhuǎn)換。因此，在本說明書中， 指示攝像裝置cl和c2所拍攝的兩視點(diǎn)彩色圖像之間的視差d的圖像以及指示深度Z的圖 像一般地稱為深度圖像。
[0060] 深度圖像可以是指示視差d或深度Z的圖像，并且可以將通過對(duì)視差d歸一化而 獲得的值、通過對(duì)深度Z的倒數(shù)1/Z歸一化而獲得的值等而非視差d或深度Z本身用作深 度圖像的像素值。
[0061] 通過以8位（0到255)對(duì)視差d歸一化而獲得的值I可以由以下等式（b)來獲得。 用于視差d的歸一化的位數(shù)不限于8位，而是可以使用其他位數(shù)，諸如10位或12位。
[0062] [數(shù)學(xué)式2]
[0063]

【權(quán)利要求】
1. 一種編碼裝置，包括： 設(shè)置單元，其將作為關(guān)于深度圖像的信息的深度圖像信息設(shè)置為不同于序列參數(shù)集和 圖片參數(shù)集的參數(shù)集； 編碼單元，其對(duì)所述深度圖像進(jìn)行編碼以生成編碼數(shù)據(jù)；以及 傳送單元，其傳送包括由所述設(shè)置單元設(shè)置的參數(shù)集和由所述編碼單元生成的編碼數(shù) 據(jù)的編碼流。
2. 根據(jù)權(quán)利要求1所述的編碼裝置， 其中，所述設(shè)置單元在所述參數(shù)集中設(shè)置用于唯一地標(biāo)識(shí)所述參數(shù)集的ID，以及 其中，所述傳送單元傳送包括與所述深度圖像對(duì)應(yīng)的所述ID的所述編碼流。
3. 根據(jù)權(quán)利要求2所述的編碼裝置， 其中，所述設(shè)置單元在所述深度圖像的切片報(bào)頭中設(shè)置與切片單位的所述深度圖像對(duì) 應(yīng)的所述ID，以及 其中，所述傳送單元傳送包括由所述設(shè)置單元設(shè)置的切片報(bào)頭的所述編碼流。
4. 根據(jù)權(quán)利要求1所述的編碼裝置，其中，所述設(shè)置單元對(duì)所述深度圖像信息執(zhí)行差 分編碼，并將所述深度圖像信息的差分編碼結(jié)果設(shè)置為所述參數(shù)集。
5. 根據(jù)權(quán)利要求1所述的編碼裝置，其中，所述編碼單元基于所述深度圖像信息對(duì)所 述深度圖像進(jìn)行編碼。
6. 根據(jù)權(quán)利要求1所述的編碼裝置，其中，所述深度圖像信息包括所述深度圖像的像 素值的最大值和最小值以及捕獲所述深度圖像的攝像裝置之間的距離。
7. 根據(jù)權(quán)利要求1所述的編碼裝置，其中，不同于序列參數(shù)集和圖片參數(shù)集的NAL(網(wǎng) 絡(luò)抽象層）單位類型被設(shè)置在所述參數(shù)集中。
8. 根據(jù)權(quán)利要求1所述的編碼裝置， 其中，所述設(shè)置單元設(shè)置用于標(biāo)識(shí)所述深度圖像信息的存在的標(biāo)識(shí)信息，以及 其中，所述傳送單元傳送包括由所述設(shè)置單元設(shè)置的標(biāo)識(shí)信息的所述編碼流。
9. 一種編碼裝置的編碼方法，包括： 設(shè)置步驟，將作為關(guān)于深度圖像的信息的深度圖像信息設(shè)置為不同于序列參數(shù)集和圖 片參數(shù)集的參數(shù)集；以及 編碼步驟，對(duì)所述深度圖像進(jìn)行編碼以生成編碼數(shù)據(jù)；以及 傳送步驟，傳送包括在所述設(shè)置步驟的處理中設(shè)置的參數(shù)集和在所述編碼步驟的處理 中生成的編碼數(shù)據(jù)的編碼流。
10. -種解碼裝置，包括： 獲取單元，其從包括參數(shù)集和深度圖像的編碼數(shù)據(jù)的編碼流獲取所述參數(shù)集和所述編 碼數(shù)據(jù)，所述參數(shù)集中設(shè)置有作為關(guān)于所述深度圖像的信息的深度圖像信息，并且所述參 數(shù)集不同于序列參數(shù)集和圖片參數(shù)集； 解析處理單元，其從所述獲取單元獲取的參數(shù)集中解析所述深度圖像信息；以及 解碼單元，其對(duì)所述獲取單元獲取的編碼數(shù)據(jù)進(jìn)行解碼。
11. 根據(jù)權(quán)利要求10所述的解碼裝置， 其中，用于唯一地標(biāo)識(shí)所述參數(shù)集的ID被設(shè)置在所述參數(shù)集中，以及 其中，所述編碼流包括與所述深度圖像對(duì)應(yīng)的所述ID。
12. 根據(jù)權(quán)利要求11所述的解碼裝置，其中，所述編碼流包括設(shè)置有與切片單位的所 述深度圖像對(duì)應(yīng)的所述ID的切片報(bào)頭。
13. 根據(jù)權(quán)利要求10所述的解碼裝置，還包括： 生成單元，其通過對(duì)所述深度圖像信息的差分編碼結(jié)果進(jìn)行解碼而生成所述深度圖像 信息， 其中，所述編碼流包括設(shè)置有所述深度圖像信息的差分編碼結(jié)果的所述參數(shù)集，以及 其中，所述生成單元通過對(duì)被設(shè)置為所述參數(shù)集的所述深度圖像信息的差分編碼結(jié)果 進(jìn)行解碼而生成所述深度圖像信息。
14. 根據(jù)權(quán)利要求10所述的解碼裝置，其中，所述解碼單元基于由解析處理單元解析 的所述深度圖像信息而對(duì)所述編碼數(shù)據(jù)進(jìn)行解碼。
15. 根據(jù)權(quán)利要求10所述的解碼裝置，其中，所述深度圖像信息包括所述深度圖像的 像素值的最大值和最小值以及捕獲所述深度圖像的攝像裝置之間的距離。
16. 根據(jù)權(quán)利要求10所述的解碼裝置，其中，不同于序列參數(shù)集和圖片參數(shù)集的 NAL (網(wǎng)絡(luò)抽象層）單位類型被設(shè)置在所述參數(shù)集中。
17. 根據(jù)權(quán)利要求10所述的解碼裝置，其中，所述編碼流包括用于標(biāo)識(shí)所述深度圖像 息的存在的標(biāo)識(shí)息。
18. -種解碼裝置的解碼方法，包括： 獲取步驟，從包括參數(shù)集和深度圖像的編碼數(shù)據(jù)的編碼流獲取所述參數(shù)集和所述編碼 數(shù)據(jù)，所述參數(shù)集中設(shè)置有作為關(guān)于所述深度圖像的信息的深度圖像信息，并且所述參數(shù) 集不同于序列參數(shù)集和圖片參數(shù)集； 解析處理步驟，從在所述獲取步驟的處理中獲取的參數(shù)集中解析所述深度圖像信息； 以及 解碼步驟，對(duì)在所述獲取步驟的處理中獲取的編碼數(shù)據(jù)進(jìn)行解碼。
【文檔編號(hào)】H04N13/00GK104067615SQ201380006563
【公開日】2014年9月24日 申請(qǐng)日期:2013年1月23日 優(yōu)先權(quán)日:2012年1月31日
【發(fā)明者】服部忍, 櫻井裕音, 高橋良知 申請(qǐng)人:索尼公司