用于壓縮三維模型的紋理信息的方法及裝置制造方法
【專利摘要】可以使用“圖案-實(shí)例”表示對(duì)3D模型進(jìn)行建模。為了描述頂點(diǎn)和三角形，實(shí)例的性質(zhì)(例如，紋理、色彩和法線)被調(diào)整成與圖案中的次序相對(duì)應(yīng)。根據(jù)實(shí)例的紋理與對(duì)應(yīng)圖案的紋理之間的相似性，對(duì)實(shí)例的紋理進(jìn)行編碼。當(dāng)實(shí)例紋理與圖案紋理相同或者幾乎相同時(shí)，不對(duì)實(shí)例紋理進(jìn)行編碼，并且將使用圖案紋理重建實(shí)例紋理。當(dāng)實(shí)例紋理與圖案紋理相似時(shí)，根據(jù)圖案紋理對(duì)實(shí)例紋理進(jìn)行預(yù)測(cè)性的編碼，即，對(duì)實(shí)例紋理與圖案紋理之間的差分進(jìn)行編碼，并且將實(shí)例紋理確定為圖案紋理與該差分的結(jié)合。
【專利說(shuō)明】用于壓縮三維模型的紋理信息的方法及裝置
[0001] 本專利申請(qǐng)要求于2012年1月21日提交的中國(guó)PCT專利申請(qǐng)第PCT/ CN2012/070703號(hào)以及于2012年4月19日提交的中國(guó)PCT專利申請(qǐng)第PCT/CN2012/074356 的優(yōu)先權(quán)，并通過(guò)引用將其全部?jī)?nèi)容并入本文。

【技術(shù)領(lǐng)域】
[0002] 本發(fā)明涉及一種用于產(chǎn)生代表3D模型的比特流的方法和裝置以及一種對(duì)該者進(jìn) 行解碼的方法和裝置。

【背景技術(shù)】
[0003] 在實(shí)際的應(yīng)用中，很多3D模型由大量的連通成分組成。如圖1所示，這些多成分 3D模型通常在不同的變換中包含很多重復(fù)結(jié)構(gòu)。
[0004] 已知利用輸入模型中的重復(fù)結(jié)構(gòu)的多成分3D模型的壓縮算法。發(fā)現(xiàn)不同的位置、 方向以及縮放因子的3D模型的重復(fù)結(jié)構(gòu)。然后，將3D模型組織成"圖案-實(shí)例"表示。圖 案用于表示對(duì)應(yīng)的重復(fù)結(jié)構(gòu)的有代表性的幾何形狀。將屬于一個(gè)重復(fù)結(jié)構(gòu)的成分記為對(duì)應(yīng) 的圖案的實(shí)例，并且可以通過(guò)圖案ID和變換信息（例如，關(guān)于圖案的反射、平移、旋轉(zhuǎn)以及 可行縮放）來(lái)表示。例如，可以將實(shí)例變換信息組織成反射部分、平移部分、旋轉(zhuǎn)部分以及 可行縮放部分?？赡艽嬖诓恢貜?fù)的3D模型的一些成分，將其稱為唯一成分。
[0005] 標(biāo)題為〈〈Efficient compression scheme for large3D engineering models)) (PCT/EP10/058048,律師案卷號(hào) PA090039)的 K. Cai、Y. Jin 和 Z. Chen 共同擁有的 PCT 申請(qǐng) (通過(guò)引用將其教導(dǎo)具體地并入本文）公開了一種用于具有在不同的位置、縮放和方向上 重復(fù)的幾何特征的3D模型的壓縮方法。
[0006] 標(biāo)題為《Bitstream syntax and semantics of repetitive structure discovery based3D model compression algorithm》（PCT/CN2011/076991，律師案卷號(hào) PA110044)的K. Cai、W. Jiang和J. Tian的另一共同擁有的PCT申請(qǐng)（通過(guò)引用將其教導(dǎo) 具體地并入本文）公開了兩種用于壓縮實(shí)例變換信息的模式。
[0007] 標(biāo)題為〈〈Method and apparatus for generating a bitstream of repetitive structure discovery based3D model compression》（PCT/CN2〇ll/〇82942,律師案卷號(hào) PA110067)的Κ· Cai、W. Jiang和J. Tian的另一共同擁有的PCT申請(qǐng)（通過(guò)引用將其教導(dǎo) 具體地并入本文）公開了兩種實(shí)例壓縮模式，即基本實(shí)例數(shù)據(jù)模式和分組實(shí)例數(shù)據(jù)模式。
[0008] 標(biāo)題為〈〈System and method for error controllable repetitive structure discovery based compression》（PCT/CN2012/070877,律師案卷號(hào) PA120001)的 K.Cai、 W. Jiang和T. Luo的另一共同擁有的PCT申請(qǐng)（通過(guò)引用將其教導(dǎo)具體地并入本文）公開 了一種用于識(shí)別3D模型中的重復(fù)結(jié)構(gòu)以減少實(shí)例成分中的冗余從而提高壓縮效率的方法 及裝置。


【發(fā)明內(nèi)容】

[0009] 本原理提供一種用于對(duì)表示3D模型的比特流進(jìn)行解碼的方法，該方法包含以下 步驟：根據(jù)所述比特流來(lái)確定圖案的實(shí)例是否使用所述圖案的性質(zhì)，其中，所述圖案與所述 3D模型的結(jié)構(gòu)相關(guān)聯(lián)，所述實(shí)例被表示為所述圖案的變換；以及，響應(yīng)于所述圖案的性質(zhì) 來(lái)確定所述實(shí)例的性質(zhì)，其中，所述實(shí)例的性質(zhì)對(duì)應(yīng)于如下所述的紋理、紋理坐標(biāo)、色彩以 及法線之一。本原理還提供了一種用于實(shí)施這些步驟的裝置。
[0010] 本原理還提供了一種用于產(chǎn)生表示3D模型的比特流的方法，該方法包含以下步 驟：存取圖案的實(shí)例，其中，所述圖案與所述3D模型的結(jié)構(gòu)相關(guān)聯(lián)，并且所述實(shí)例被表示為 所述圖案的變換；以及，在所述比特流中指示是否使用所述圖案的性質(zhì)對(duì)所述實(shí)例的性質(zhì) 進(jìn)行了編碼，其中，所述實(shí)例的性質(zhì)對(duì)應(yīng)于如下所述的紋理、紋理坐標(biāo)、色彩以及法線之一。 本原理還提供了一種用于實(shí)施這些步驟的裝置。
[0011] 本原理還提供了一種用于產(chǎn)生表示3D模型的比特流的方法，該方法包含以下步 驟：確定與結(jié)構(gòu)相關(guān)聯(lián)的圖案中的第一面中的頂點(diǎn)的次序；存取多個(gè)性質(zhì)集，其中，所述多 個(gè)性質(zhì)集中的每個(gè)性質(zhì)集都與所述圖案的實(shí)例中的第二面中的對(duì)應(yīng)的頂點(diǎn)相關(guān)聯(lián)；以及， 響應(yīng)于如下所述的所確定的次序來(lái)對(duì)所述多個(gè)性質(zhì)集排序。本原理還提供了一種用于實(shí)施 這些步驟的裝置。
[0012] 本原理還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)用于根據(jù)上述方法產(chǎn)生或者 解碼比特流的指令。
[0013] 本原理還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)根據(jù)上述方法產(chǎn)生的比特 流。

【專利附圖】

【附圖說(shuō)明】
[0014] 圖1示出具有大量成分和重復(fù)結(jié)構(gòu)的示例性的3D模型；
[0015] 圖2A是圖不圖案和實(shí)例的圖形不例，圖2B是圖不該圖案和實(shí)例的紋理圖像的圖 形示例；
[0016] 圖3A是圖示不帶有實(shí)例三角形與圖案三角形之間的一對(duì)一對(duì)應(yīng)的實(shí)例頂點(diǎn)與圖 案頂點(diǎn)之間的一對(duì)一對(duì)應(yīng)的圖形示例，圖3B是圖示實(shí)例相對(duì)于圖案被翻轉(zhuǎn)的圖形示例；
[0017] 圖4是圖示根據(jù)本原理的實(shí)施例對(duì)3D模型進(jìn)行編碼的示例的流程圖；
[0018] 圖5A是圖示根據(jù)本原理的實(shí)施例的圖案和實(shí)例的另一圖形示例，圖5B是根據(jù)本 原理的實(shí)施例的調(diào)整前的實(shí)例的紋理坐標(biāo)的列表，圖5C是根據(jù)本原理的實(shí)施例的調(diào)整后 的實(shí)例的紋理坐標(biāo)的列表。
[0019] 圖6A和6B是圖示3D模型的紋理圖像的兩個(gè)部分的圖形示例；
[0020] 圖7是圖示根據(jù)本原理的實(shí)施例確定實(shí)例的紋理補(bǔ)片與對(duì)應(yīng)的圖案的紋理補(bǔ)片 之間相似性的示例的流程圖；
[0021] 圖8是圖示根據(jù)本原理的實(shí)施例確定紋理編碼模式的示例的流程圖；
[0022] 圖9是圖示根據(jù)本原理的實(shí)施例對(duì)紋理圖像進(jìn)行解碼的示例的流程圖；
[0023] 圖10A是圖示根據(jù)本原理的實(shí)施例的紋理圖像的圖形示例，圖10B和10C是圖示 根據(jù)本原理的實(shí)施例的處理后的紋理圖像的圖形示例；
[0024] 圖11是圖示可以與本原理的一種或多種實(shí)現(xiàn)方式一起使用的編碼器的示例的框 圖；
[0025] 圖12是圖示可以與本原理的一種或多種實(shí)現(xiàn)方式一起使用的解碼器的示例的框 圖；
[0026] 圖13是圖示可以與本原理的一種或多種實(shí)現(xiàn)方式一起使用的數(shù)據(jù)處理系統(tǒng)的示 例的框圖；
[0027] 圖14是圖示可以與本原理的一種或多種實(shí)現(xiàn)方式一起使用的數(shù)據(jù)處理系統(tǒng)的另 一示例的框圖。

【具體實(shí)施方式】
[0028] 如圖1所示，在3D模型中可能存在很多重復(fù)結(jié)構(gòu)。為了高效地對(duì)3D模型進(jìn)行編 碼，可以將重復(fù)結(jié)構(gòu)組織成圖案和實(shí)例，其中，例如使用對(duì)應(yīng)圖案的圖案ID和包含關(guān)于平 移、旋轉(zhuǎn)和縮放的信息的變換矩陣將實(shí)例表示為對(duì)應(yīng)圖案的變換。
[0029] 在通過(guò)圖案ID和變換矩陣表示實(shí)例時(shí)，在壓縮實(shí)例的同時(shí)壓縮圖案ID和變換矩 陣。因此，可以通過(guò)圖案ID和解碼后的變換矩陣來(lái)重建實(shí)例，S卩，可以將實(shí)例重建為通過(guò)圖 案ID索引的解碼后的圖案（根據(jù)解碼后的變換矩陣）的變換。
[0030] 為了表示帶紋理的3D模型，可以與幾何形狀一起傳送一個(gè)或多個(gè)紋理圖像。3D模 型的每個(gè)面都對(duì)應(yīng)于（多個(gè)）紋理圖像的某個(gè)區(qū)域。對(duì)每個(gè)頂點(diǎn)在（多個(gè)）紋理圖像中的 對(duì)應(yīng)的坐標(biāo)進(jìn)行編碼，從而表示該映射關(guān)系。
[0031] 因?yàn)閷?duì)紋理進(jìn)行編碼通常比對(duì)3D模型的幾何形狀和連通性進(jìn)行編碼使用更多的 比特，所以優(yōu)選高效地壓縮紋理信息。本原理提供了一種利用重復(fù)紋理之間的冗余來(lái)高效 地壓縮3D模型的紋理信息的方法和裝置。
[0032] 圖2A例示了示例性的圖案201和示例性的實(shí)例202。用索引指示每個(gè)頂點(diǎn)或面。 例如，該圖案中的面240由索引T6指示，其三個(gè)頂點(diǎn)由索引V13、V12和V14指示。該實(shí)例 中的對(duì)應(yīng)的面245由索引T20指示，其三個(gè)頂點(diǎn)由索引V12、V8和V3指示。當(dāng)該圖案和該 實(shí)例對(duì)齊時(shí)，它們基本上是彼此重疊的，此時(shí)，我們表示該圖案中的面或頂點(diǎn)對(duì)應(yīng)于該實(shí)例 中面或頂點(diǎn)，反之亦然。注意：對(duì)于圖案和實(shí)例，用于對(duì)應(yīng)的面或頂點(diǎn)的索引是不同的。圖 2B分別例示了圖案201和實(shí)例202的示例性的紋理圖像203和204。
[0033] 可以通過(guò)包括所有頂點(diǎn)坐標(biāo)的頂點(diǎn)表（V0、V1、V2、......）和包括該頂點(diǎn)表中的所 有三角形的頂點(diǎn)索引的三角形表（T0、T1、T2、……）來(lái)表示3D模型。而且，每個(gè)頂點(diǎn)和三 角形都可以具有一種或多種性質(zhì)，諸如法線、色彩和紋理坐標(biāo)?？梢詫⒛切╉旤c(diǎn)性質(zhì)和三角 形性質(zhì)附加到對(duì)應(yīng)的表中的頂點(diǎn)和三角形上或者按照該頂點(diǎn)/三角形表中的相同的頂點(diǎn)/ 三角形次序存儲(chǔ)在另外的頂點(diǎn)/三角形性質(zhì)表中。
[0034] 表1例示了包含頂點(diǎn)、紋理坐標(biāo)、法線和面的定義的示例性的3D網(wǎng)格文件。
[0035] 表 1
[0036]

【權(quán)利要求】
1. 一種對(duì)表示3D模型的比特流進(jìn)行解碼的方法，該方法包含以下步驟： 根據(jù)所述比特流確定（910)圖案的實(shí)例是否使用所述圖案的性質(zhì)，所述圖案與所述3D 模型的結(jié)構(gòu)相關(guān)聯(lián)，并且所述實(shí)例被表示為所述圖案的變換；以及 響應(yīng)于所述圖案的性質(zhì)，確定（935,960)所述實(shí)例的性質(zhì)，其中，所述實(shí)例的性質(zhì)對(duì)應(yīng) 于紋理、紋理坐標(biāo)、色彩以及法線之一。
2. 根據(jù)權(quán)利要求1所述的方法，還包含以下步驟： 根據(jù)所述比特流確定（955)所述實(shí)例的性質(zhì)與所述圖案的性質(zhì)之間的差分，其中，確 定所述實(shí)例的性質(zhì)的步驟還響應(yīng)于所確定的所述實(shí)例的性質(zhì)與所述圖案的性質(zhì)之間的差 分。
3. -種產(chǎn)生表示3D模型的比特流的方法，該方法包含以下步驟： 存取圖案的實(shí)例，所述圖案與所述3D模型的結(jié)構(gòu)相關(guān)聯(lián)，并且所述實(shí)例被表示為所述 圖案的變換；以及 在所述比特流中指示（830、835、840)是否使用所述圖案的性質(zhì)對(duì)所述實(shí)例的性質(zhì)進(jìn) 行編碼，其中，所述實(shí)例的性質(zhì)對(duì)應(yīng)于紋理、紋理坐標(biāo)、色彩以及法線之一。
4. 根據(jù)權(quán)利要求3所述的方法，還包含以下步驟： 確定（785)所述實(shí)例的性質(zhì)與所述圖案的性質(zhì)之間的差分；以及 在所述比特流中指示所述實(shí)例的性質(zhì)與所述圖案的性質(zhì)之間的差分。
5. 根據(jù)權(quán)利要求3所述的方法，所述實(shí)例的性質(zhì)對(duì)應(yīng)于紋理，還包含以下步驟： 確定（730)所述實(shí)例的紋理補(bǔ)片與對(duì)應(yīng)的所述圖案的紋理補(bǔ)片之間的相關(guān)性；以及 確定是否使用對(duì)應(yīng)的所述圖案的紋理補(bǔ)片對(duì)所述實(shí)例的紋理補(bǔ)片進(jìn)行編碼。
6. 根據(jù)權(quán)利要求5所述的方法，其中，如果所述實(shí)例的紋理補(bǔ)片被確定為與所述對(duì)應(yīng) 的所述圖案的紋理補(bǔ)片相同或者幾乎相同，則從紋理圖像中除去所述實(shí)例的紋理補(bǔ)片。
7. 根據(jù)權(quán)利要求5所述的方法，其中，如果所述實(shí)例的紋理補(bǔ)片被確定為與所述對(duì)應(yīng) 的所述圖案的紋理補(bǔ)片相同或幾乎相同，則使所述實(shí)例的紋理補(bǔ)片的內(nèi)容無(wú)效。
8. 根據(jù)權(quán)利要求5所述的方法，其中，所述實(shí)例的紋理補(bǔ)片是對(duì)應(yīng)于所述3D模型上的 一組相鄰三角形的紋理圖像中的區(qū)域。
9. 一種產(chǎn)生表示3D模型的比特流的方法，該方法包含以下步驟： 確定與結(jié)構(gòu)相關(guān)聯(lián)的圖案中的第一面中的頂點(diǎn)的次序； 存取多個(gè)性質(zhì)集，其中，所述多個(gè)性質(zhì)集中的每個(gè)性質(zhì)集都與所述圖案的實(shí)例中的第 二面中的對(duì)應(yīng)的頂點(diǎn)相關(guān)聯(lián)；以及 響應(yīng)于所確定的次序，對(duì)所述多個(gè)性質(zhì)集排序（430)。
10. 根據(jù)權(quán)利要求9所述的方法，還包含： 確定（430)與所述圖案中的第一面相對(duì)應(yīng)的所述實(shí)例中的第二面。
11. 根據(jù)權(quán)利要求9所述的方法，其中，第一多個(gè)性質(zhì)集中的每個(gè)性質(zhì)集都包括紋理坐 標(biāo)、紋理圖像、色彩以及法線之中的至少一項(xiàng)。
12. -種包括用于根據(jù)權(quán)利要求1至11中任一項(xiàng)產(chǎn)生或解碼比特流的部件的裝置。
13. -種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)用于根據(jù)權(quán)利要求1至11中任一項(xiàng)產(chǎn)生或解 碼比特流的指令。
14. 一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)根據(jù)權(quán)利要求3至11中任一項(xiàng)產(chǎn)生的比特流。
【文檔編號(hào)】G06T17/00GK104094317SQ201280067669
【公開日】2014年10月8日 申請(qǐng)日期:2012年12月29日 優(yōu)先權(quán)日:2012年1月21日
【發(fā)明者】江文斐, 田疆, 蔡康穎, 羅濤 申請(qǐng)人:湯姆遜許可公司