基于三維模型壓縮而生成重復(fù)性結(jié)構(gòu)發(fā)現(xiàn)的比特流的方法和設(shè)備的制作方法
【專利摘要】用于生成表示3D模型的比特流的方法和設(shè)備，以及用于處理該表示3D模型的比特流的方法和設(shè)備。通過(guò)使用“模式-實(shí)例”表示來(lái)建模3D模型，其中，模式是重復(fù)性結(jié)構(gòu)的代表性幾何結(jié)構(gòu)，而屬于重復(fù)性結(jié)構(gòu)的連接組件被稱為對(duì)應(yīng)模式的實(shí)例。在發(fā)現(xiàn)重復(fù)性結(jié)構(gòu)以及它們的變換和屬性之后，本實(shí)施例以第一格式或第二格式來(lái)準(zhǔn)備生成比特流。在第一格式中，模式ID及其關(guān)聯(lián)的變換和屬性信息在比特流中被分組在一起，而在第二格式中中，模式ID、變換屬性和屬性信息根據(jù)信息類型而被分組在一起。
【專利說(shuō)明】基于三維模型壓縮而生成重復(fù)性結(jié)構(gòu)發(fā)現(xiàn)的比特流的方法和設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及基于3D模型壓縮算法的重復(fù)性結(jié)構(gòu)發(fā)現(xiàn)的比特流語(yǔ)法和語(yǔ)義，用于生成表示3D模型的比特流的方法和設(shè)備，以及用于處理該表示3D模型的比特流的方法和設(shè)備。
【背景技術(shù)】
[0002]在實(shí)際應(yīng)用中，很多3D模型由大量連接的組件構(gòu)成。并且這些多向連接的3D模型通常包含以各種變換的重復(fù)性結(jié)構(gòu)，如圖所示。用于此類3D模型的高效壓縮方法應(yīng)當(dāng)能夠提取存在于重復(fù)性結(jié)構(gòu)中的冗余。
[0003]本發(fā)明的擁有人還共同擁有K.Cai，Y.Jin和Z.Chen的名為“EfficientCompression Scheme for Large3D Engineering Mode Is，，的 PCT 申請(qǐng)(W02010149492)，該申請(qǐng)教導(dǎo)如下3D模型的壓縮方法:其由很多小型到中型的連接組件構(gòu)成并且具有在各種位置、尺寸和朝向上重復(fù)的幾何結(jié)構(gòu)特征，其教導(dǎo)通過(guò)引用具體地合并于此。此方法發(fā)現(xiàn)了在各種位置、朝向和縮放因子上重復(fù)的結(jié)構(gòu)。然后，3D模型整理為“模式-實(shí)例”的表示。模式是對(duì)應(yīng)重復(fù)性結(jié)構(gòu)的代表性幾何結(jié)構(gòu)。屬于重復(fù)性結(jié)構(gòu)的連接組件稱為對(duì)應(yīng)模式的實(shí)例并由它們的變換表達(dá)，即，關(guān)于該模式的位置、朝向和可能的縮放因子。實(shí)例的朝向用笛卡爾坐標(biāo)系中的(x0, y0, z0)和(xl, yl, zl)表示的2個(gè)正交軸或球坐標(biāo)系中的(alpha,beta, gamma)來(lái)表不。
[0004]本發(fā)明的所有人還共同擁有K.Cai, ff.Jing和J.Tian的名為“Bitstream Syntaxand Semantics of Repetitive Structure Discovery Based3D Model CompressionAlgorithm”的PCT申請(qǐng)(PCT/CN2011/076991)，該申請(qǐng)教導(dǎo)用于壓縮實(shí)例變換數(shù)據(jù)的兩種方法。

【發(fā)明內(nèi)容】

[0005]然而，存在提供可以處理諸如法線、顏色和紋理坐標(biāo)之類的3D模型屬性并可以壓縮其變換包括反射變換的實(shí)例的方法和設(shè)備的需要。
[0006]因此，本原理提供可以用來(lái)壓縮諸如法線、顏色和紋理坐標(biāo)之類的3D模型屬性并壓縮其變換包括反射變換的實(shí)例并生成包括此信息的比特流的方法和設(shè)備。
[0007]本原理提供用于生成表示3D模型的比特流的方法，包括:訪問(wèn)與關(guān)聯(lián)于一些結(jié)構(gòu)的模式的實(shí)例有關(guān)的信息，該信息包括與每一個(gè)相應(yīng)模式關(guān)聯(lián)的模式識(shí)別符和變換信息；并生成表示實(shí)例的比特流，包括以下面描述的第一格式和第二格式之一布置(dispose)在比特流中的模式識(shí)別符和模式變換數(shù)據(jù)。本原理還提供用于執(zhí)行這些步驟的設(shè)備。比特流還可以包括與多個(gè)模式關(guān)聯(lián)的信息以及以第一格式和第二格式之一的與該多個(gè)模式關(guān)聯(lián)的相應(yīng)信息。
[0008]本原理還提供用于處理表示3D模型的比特流的方法，包括:確定該比特流是否包括與關(guān)聯(lián)于結(jié)構(gòu)的模式的實(shí)例有關(guān)的信息，該信息包括以如下描述的第一格式或第二格式的模式識(shí)別符和與該模式關(guān)聯(lián)的變換信息；響應(yīng)于確定步驟訪問(wèn)關(guān)聯(lián)于模式的模式識(shí)別符和變換信息；并且解碼該模式識(shí)別符和該變換信息以生成3D模型數(shù)據(jù)。本原理還提供用于進(jìn)行上述步驟的設(shè)備。比特流還可以包括與多個(gè)模式關(guān)聯(lián)的信息以及以第一格式和第二格式之一的與該多個(gè)模式關(guān)聯(lián)的相應(yīng)信息。
[0009]本原理還提供在其上存儲(chǔ)了用于根據(jù)上述方法生成或處理比特流的指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
[0010]本原理還提供在其上存儲(chǔ)了根據(jù)上述方法生成的比特流的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。【專利附圖】

【附圖說(shuō)明】
[0011]圖1示出了具有大量連接組件和重復(fù)性結(jié)構(gòu)的示例性3D模型；
[0012]圖2示出了包括用于根據(jù)基于重復(fù)性結(jié)構(gòu)發(fā)現(xiàn)的壓縮算法，A3DMC，來(lái)確定比特流的結(jié)構(gòu)的步驟的示例性處理；
[0013]圖3示出了與本原理有關(guān)的示例性編碼器；而
[0014]圖4示出了與本原理有關(guān)的示例性解碼器。
【具體實(shí)施方式】 [0015]在重復(fù)性結(jié)構(gòu)發(fā)現(xiàn)期間僅檢查幾何結(jié)構(gòu)。一個(gè)實(shí)例可以或與對(duì)應(yīng)模式共享屬性數(shù)據(jù)或具有其自身的屬性數(shù)據(jù)。如果實(shí)例不與模式共享屬性，則該實(shí)例的屬性將被分別壓縮。
[0016]實(shí)例信息可以被劃分為四個(gè)部分，反射部分、旋轉(zhuǎn)部分、平移(translation)部分以及可能的縮放部分。該四個(gè)部分被分別壓縮。
[0017]全部模式被壓縮在一起以便于實(shí)現(xiàn)更多的比特率節(jié)約。在解碼期間，模式需要在恢復(fù)實(shí)例之前彼此分離。
[0018]圖3和4示出了適合于實(shí)現(xiàn)本原理的各個(gè)方面的示例性編碼器和解碼器。編碼器和解碼器的細(xì)節(jié)在 申請(qǐng)人:的共有PCT申請(qǐng)W02010149492和PCT/CN2011/076991中提供，而那里的描述在此通過(guò)引用而顯式地合并到本申請(qǐng)中。如本領(lǐng)域技術(shù)人員將明白的，CODEC可以用硬件、軟件或固件以及這些方式的組合來(lái)實(shí)現(xiàn)，以便對(duì)在其中要求這樣的3D渲染的各種環(huán)境提供靈活性。除其它之外，專用集成電路(ASIC)、可編程陣列邏輯電路、分立半導(dǎo)體電路以及可編程數(shù)字信號(hào)處理電路、計(jì)算機(jī)可讀介質(zhì)(易失性或非易失性)可以全部被用來(lái)實(shí)現(xiàn)本發(fā)明。這些均為本發(fā)明的可能實(shí)現(xiàn)方式的非限制示例，并且本領(lǐng)域技術(shù)人員將明白其他實(shí)施例也可以是可行的。
[0019]兩個(gè)實(shí)例壓縮方式
[0020]盡管我們希望比特流嵌入全部實(shí)例數(shù)據(jù)，但是我們還希望其高效并且解決其中有時(shí)比特流尺寸或解碼效率或錯(cuò)誤恢復(fù)最重要的若干應(yīng)用。
[0021]因而，我們提出如何在比特流中放置(put)模式的一個(gè)實(shí)例的數(shù)據(jù)(即，其模式ID、其反射變換部分(F)、其平移變換部分(T)、其旋轉(zhuǎn)變換部分(R)及其縮放變換部分(S))的兩個(gè)選項(xiàng)，例如，該ID為模式壓縮數(shù)據(jù)流中的模式的實(shí)際位置，I對(duì)應(yīng)第一模式，2對(duì)應(yīng)第二模式，…。它們均具有它們的優(yōu)缺點(diǎn)。
[0022]選項(xiàng)(A)基本實(shí)例數(shù)據(jù)方式(ID、F、T、R、S、ID、F、T、R、S…):使用此方式，一個(gè)實(shí)例的模式ID、反射變換部分、平移變換部分、旋轉(zhuǎn)變換部分和縮放變換部分在比特流中一起打包(pack)。
[0023]優(yōu)點(diǎn):
[0024]?抗誤碼。解碼器可以在丟失一些實(shí)例的變換的情況下恢復(fù)。
[0025]?在線解碼。這意味著實(shí)例可以在壓縮比特流的實(shí)際讀取期間逐一解碼。不存在等待完成讀取整個(gè)壓縮比特流的需要。
[0026]?更高的編解碼速度。
[0027]?編解碼不需要緩沖。
[0028]缺點(diǎn):
[0029]?相對(duì)更大的壓縮3D模型尺寸。
[0030]選項(xiàng)⑶分組實(shí)例數(shù)據(jù)方式(ID、ID、F、F、T、T、R、R、S、S):使用此方式，信息被基于信息類型分組到一起，即，一個(gè)實(shí)例的模式ID、反射變換部分、平移變換部分、旋轉(zhuǎn)變換部分和縮放變換部分在比特流中一起打包。
[0031]優(yōu)點(diǎn):
[0032]?相對(duì)較小的壓縮3D模型尺寸。
[0033]缺點(diǎn):
[0034]?解碼器不再抗誤碼。
[0035]?離線解碼。這意味著解碼器僅可以在讀取整個(gè)壓縮比特流之后開(kāi)始解碼。
[0036]?較低的編解碼速度。
[0037]?緩沖是必要的。
[0038]當(dāng)前的比特流定義將包括以上兩個(gè)選項(xiàng)兩者。然后，用戶可以選擇更適于其應(yīng)用的一個(gè)。特定實(shí)現(xiàn)可以選擇僅實(shí)現(xiàn)兩個(gè)實(shí)例數(shù)據(jù)方式中的一個(gè)。對(duì)于這種情況，比特流定義將相應(yīng)地改變。細(xì)節(jié)請(qǐng)參考“比特流語(yǔ)法和語(yǔ)義”章節(jié)。
[0039]因?yàn)閷?shí)例可以具有更大的解碼誤差，該誤差定義為原始組件和從模式以及實(shí)例變換中恢復(fù)的組件之間的距離，因此比特流的一些數(shù)據(jù)字段定義為表示壓縮實(shí)例解碼誤差以確保解碼的3D模型質(zhì)量。是否壓縮實(shí)例的解碼誤差例如基于質(zhì)量要求。
[0040]實(shí)例變換的壓縮
[0041]如下所述，實(shí)例變換可以劃分為四個(gè)部分，反射部分(Refle)、旋轉(zhuǎn)部分(Rotat)、平移部分(Transl)、和可能的縮放部分。
[0042]
【權(quán)利要求】
1.基本如上所述的方法。
2.基本如上所述的設(shè)備。
3.基本如上所述的計(jì)算機(jī)可讀存儲(chǔ)。
4.一種用于生成表示3D模型的比特流的方法，包括: 訪問(wèn)與關(guān)聯(lián)于結(jié)構(gòu)的模式的實(shí)例有關(guān)的信息，所述信息包括與所述模式關(guān)聯(lián)的模式識(shí)別符和變換信息；并 生成表示所述實(shí)例的比特流，包括以第一格式和第二格式之一布置在比特流中的模式識(shí)別符和模式變換數(shù)據(jù)。
5.如權(quán)利要求4所述的方法，其中，所述變換信息包括反射部分、平移部分、旋轉(zhuǎn)部分和縮放部分的至少一個(gè)。
6.如權(quán)利要求5所述的方法， 包括多個(gè)模式和模式信息，其中，所述第一格式包括將模式識(shí)別符的每一個(gè)及其關(guān)聯(lián)的變換信息分組在一起，而所述第二格式包括根據(jù)信息類型將模式識(shí)別符分組在一起并將變換信息分組在一起。
7.如權(quán)利要求6所述的方法，進(jìn)一步包括訪問(wèn)與每一個(gè)模式關(guān)聯(lián)的屬性信息的步驟。
8.如權(quán)利要求7所述的方法，其中，所述屬性信息包括法線、顏色和紋理坐標(biāo)的至少一個(gè)。
9.如權(quán)利要求8所述的方法，其中，所述第一格式包括將模式識(shí)別符的每一個(gè)及其相應(yīng)變換信息和屬性信息分組在一起，而所述第二格式包括根據(jù)信息類型將模式識(shí)別符分組在一起并將變換信息和屬性信息分組在一起。
10.一種用于生成表示3D模型的比特流的設(shè)備，包括: 用于訪問(wèn)與關(guān)聯(lián)于結(jié)構(gòu)的模式的實(shí)例有關(guān)的信息的部件，所述信息包括與所述模式關(guān)聯(lián)的模式識(shí)別符和變換信息；以及 用于生成表示所述實(shí)例的比特流的部件，該比特流包括以第一格式和第二格式之一布置在比特流中的模式識(shí)別符和模式變換數(shù)據(jù)。
11.如權(quán)利要求10所述的設(shè)備，其中，所述變換信息包括反射部分、平移部分、旋轉(zhuǎn)部分和縮放部分的至少一個(gè)。
12.如權(quán)利要求11所述的設(shè)備，其中，所述模式包括多個(gè)模式，而所述第一格式包括將模式識(shí)別符的每一個(gè)及其關(guān)聯(lián)的變換信息分組在一起，而所述第二格式包括根據(jù)信息類型將模式識(shí)別符分組在一起并將變換信息分組在一起。
13.如權(quán)利要求12所述的設(shè)備，其中，所述用于訪問(wèn)的部件訪問(wèn)與每一個(gè)模式關(guān)聯(lián)的屬性信息。
14.如權(quán)利要求13所述的設(shè)備，其中，所述屬性信息包括法線、顏色和紋理坐標(biāo)的至少一個(gè)。
15.如權(quán)利要求14所述的設(shè)備，其中，所述第一格式包括將模式識(shí)別符的每一個(gè)及其相應(yīng)變換信息和屬性信息分組在一起，而所述第二格式包括根據(jù)信息類型將模式識(shí)別符分組在一起并將變換信息和屬性信息分組在一起。
16.一種用于處理表示3D模型的比特流的方法，包括: 確定所述比特流是否包括與關(guān)聯(lián)于結(jié)構(gòu)的模式有關(guān)的信息，所述信息包括以第一格式或第二格式的模式識(shí)別符和與所述模式關(guān)聯(lián)的變換信息；響應(yīng)于確定步驟訪問(wèn)與所述模式關(guān)聯(lián)的模式識(shí)別符和變換信息；并且 解碼所述模式識(shí)別符和相應(yīng)的變換信息以生成3D模型數(shù)據(jù)。
17.如權(quán)利要求16所述的方法，其中，所述變換信息包括反射部分、平移部分、旋轉(zhuǎn)部分和縮放部分的至少一個(gè)。
18.如權(quán)利要求17所述的方法，其中，所述比特流包括多個(gè)模式的信息，并且其中，所述第一格式包括分組在一起的模式識(shí)別符的每一個(gè)及其關(guān)聯(lián)的變換信息，而所述第二格式包括根據(jù)信息類型而分組在一起的模式識(shí)別符和分組在一起的變換信息。
19.如權(quán)利要求18所述的方法，進(jìn)一步包括訪問(wèn)與每一個(gè)模式關(guān)聯(lián)的屬性信息的步驟。
20.如權(quán)利要求19所述的方法，其中，所述屬性信息包括法線、顏色和紋理坐標(biāo)的至少一個(gè)。
21.如權(quán)利要求20所述的方法，其中，所述第一格式包括分組在一起的模式識(shí)別符的每一個(gè)及其相應(yīng)變換信息和屬性信息，而所述第二格式包括根據(jù)信息類型而分組在一起的模式識(shí)別符和分組在一起的變換信息和屬性信息。
22.一種用于處理表示3D模型的比特流的設(shè)備，包括: 用于確定所述比特流是否包括與關(guān)聯(lián)于結(jié)構(gòu)的模式有關(guān)的信息的部件，所述信息包括以第一格式或第二格式的模式識(shí)別符和與所述模式關(guān)聯(lián)的變換信息； 用于響應(yīng)于確定步驟訪問(wèn)與所述模式關(guān)聯(lián)的模式識(shí)別符和變換信息的部件；以及 用于解碼所述模式識(shí)別符和相應(yīng)的變換信息以生成3D模型數(shù)據(jù)的部件。
23.如權(quán)利要求22所述的設(shè)備，其中，所述變換信息包括反射部分、平移部分、旋轉(zhuǎn)部分和縮放部分的至少一個(gè)。
24.如權(quán)利要求23所述的設(shè)備，其中，所述比特流包括涉及多個(gè)模式的信息，并且其中，所述第一格式包括分組在一起的模式識(shí)別符的每一個(gè)及其關(guān)聯(lián)的變換信息，而所述第二格式包括根據(jù)信息類型而分組在一起的模式識(shí)別符和分組在一起的變換信息。
25.如權(quán)利要求24所述的設(shè)備，其中，所述用于訪問(wèn)的部件訪問(wèn)與每一個(gè)模式關(guān)聯(lián)的屬性信息。
26.如權(quán)利要求25所述的設(shè)備，其中，所述屬性信息包括法線、顏色和紋理坐標(biāo)的至少一個(gè)。
27.如權(quán)利要求26所述的方法,其中，所述第一格式包括分組在一起的模式識(shí)別符的每一個(gè)及其相應(yīng)變換信息和屬性信息，而所述第二格式包括根據(jù)信息類型而分組在一起的模式識(shí)別符和分組在一起的變換信息和屬性信息。
28.—種具有在其上存儲(chǔ)了用于根據(jù)權(quán)利要求4、5、6、7、8、9、16、17、18、19、20或21來(lái)生成或處理比特流的指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
29.一種具有在其上存儲(chǔ)了根據(jù)權(quán)利要求4、5、6、7、8或9而生成的比特流的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
【文檔編號(hào)】H04N19/184GK103975593SQ201180074949
【公開(kāi)日】2014年8月6日 申請(qǐng)日期:2011年11月25日 優(yōu)先權(quán)日:2011年11月25日
【發(fā)明者】蔡康穎, 江文斐, 田疆 申請(qǐng)人:湯姆遜許可公司