專利名稱：表示3d深度圖像的自適應(yīng)信息的方法、介質(zhì)和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的一個(gè)或多個(gè)實(shí)施例涉及圖像處理，更具體地講，涉及一種處理 深度圖像的深度信息的方法、介質(zhì)和設(shè)備。
背景技術(shù)：
盡管已經(jīng)提出了例如使用計(jì)算機(jī)視覺技術(shù)從幾張彩色圖像中被動(dòng)地提取 3D信息的各種方法，但是信息獲得裝置(例如，深度相機(jī))一般用于獲得深度 圖像。這種計(jì)算機(jī)視覺技術(shù)包括執(zhí)行復(fù)雜處理，并且不提供精確的深度信息， 而深度相機(jī)能夠相對(duì)容易且精確地獲得深度圖像和信息。
圖1是在使用深度相機(jī)下的傳統(tǒng)原理的概念圖。參照?qǐng)D1,光源11將光 (例如，紅外線光)作為入射光101照射到景物10上，經(jīng)由深度傳感器12檢測(cè) 到光源11的反射光102,并且飛行時(shí)間(TOF)被測(cè)量，以計(jì)算場(chǎng)景10的物體 之間的距離。其結(jié)果是，可獲得檢測(cè)到的光的強(qiáng)度圖像(intensity image)14和 深度圖像13。
更詳細(xì)地講，在這種示例中，如果深度相機(jī)的拍攝按鈕被操縱，則深度 相機(jī)將把IR光照射到主體上，基于照射IR光的時(shí)刻和檢測(cè)到反射IR的時(shí)刻 之間所花費(fèi)的時(shí)間來(lái)計(jì)算主體的每點(diǎn)的深度值，并將該深度值表示為圖像， 以產(chǎn)生并獲得該主體的深度圖像13。在這里，深度值參考多個(gè)點(diǎn)(例如，物體 和深度相機(jī)的點(diǎn))之間的3巨離。
可由特定數(shù)量的位來(lái)表示深度圖像的每個(gè)像素的每個(gè)深度值。在這點(diǎn)上， 在這里，本發(fā)明者發(fā)現(xiàn)這種深度值表示通常形成太多數(shù)據(jù)，以致不能表示整 個(gè)深度圖像的每個(gè)像素的每個(gè)深度值，使得不能有效地存儲(chǔ)、發(fā)送和處理深 度圖像。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)或多個(gè)實(shí)施例提供一種方法、介質(zhì)和設(shè)備，基于距離自適 應(yīng)表示深度圖像的信息以表示深度信息，所述深度信息根據(jù)測(cè)量的距離基于
7深度分辨率特性通過(guò)最佳量化值從深度相機(jī)獲得。
本發(fā)明的一個(gè)或多個(gè)實(shí)施例還提供一種基于深度信息的距離范圍而自適 應(yīng)地表示信息來(lái)精確地存儲(chǔ)并發(fā)送減少量的深度信息的方法、介質(zhì)和方法。
將在接下來(lái)的描述中部分闡述本發(fā)明另外的方面和/或優(yōu)點(diǎn)，還有一部分 通過(guò)描述將是清楚的，或者可以經(jīng)過(guò)本發(fā)明的實(shí)施而得知。
為了實(shí)現(xiàn)以上和/或其他方面和優(yōu)點(diǎn)，本發(fā)明的實(shí)施例提供一種自適應(yīng)表
示3D圖像的深度信息的信息的設(shè)備，該設(shè)備包括段確定單元，確定3D圖 像的像素的各個(gè)深度值落在多個(gè)段的哪個(gè)段，根據(jù)基于距離的深度分辨率信 息被解析為多個(gè)段的3D圖像的測(cè)量極限距離來(lái)定義所述多個(gè)段；自適應(yīng)量 化單元，基于一個(gè)段的各預(yù)定義的量化設(shè)置來(lái)選擇性地量化并表示每個(gè)深度值。
為了實(shí)現(xiàn)以上和/或其他方面和優(yōu)點(diǎn)，本發(fā)明的實(shí)施例提供一種自適應(yīng)表 示3D圖像的深度信息的信息的設(shè)備，該設(shè)備包括查找表存儲(chǔ)單元，存儲(chǔ) 定義以包括量化代表值的查找表，每個(gè)量化代表值與3D圖像的基于深度的 區(qū)域相應(yīng)，根據(jù)基于距離的深度分辨率信息被解析為基于深度的區(qū)域的3D 圖像的測(cè)量極限距離來(lái)獲得所述3D圖像的基于深度的區(qū)域；自適應(yīng)量化單 元，將3D圖像的像素的各深度值與查找表進(jìn)行比較，從查找表中輸出相應(yīng) 代表值，作為各深度值的相應(yīng)量化結(jié)果。
為了實(shí)現(xiàn)以上和/或其他方面和優(yōu)點(diǎn)，本發(fā)明的實(shí)施例提供一種表示3D 圖像的深度信息的自適應(yīng)信息的方法，該方法包括確定3D圖像的像素的 各個(gè)深度值落在多個(gè)段的哪個(gè)段，根據(jù)基于距離的深度分辨率信息被解析為 多個(gè)段的3D圖像的測(cè)量極限距離來(lái)定義所述多個(gè)段；基于一個(gè)段的各預(yù)定 義的量化設(shè)置來(lái)選擇性地量化并表示每個(gè)深度值。
為了實(shí)現(xiàn)以上和/或其他方面和優(yōu)點(diǎn)，本發(fā)明的實(shí)施例提供一種表示3D 圖像的深度信息的自適應(yīng)信息的方法，該方法包括在預(yù)定義的查找表中搜 索與3D圖像的像素的深度值相應(yīng)的代表量化值，查找表中的每個(gè)量化代表 值與3D圖像的基于深度的區(qū)域相應(yīng)，根據(jù)基于距離的深度分辨率信息被解 析為基于深度的區(qū)域的3D圖像的測(cè)量極限距離來(lái)獲得所述3D圖像的基于深 度的區(qū)域；通過(guò)將3D圖像的像素的各深度值與查找表進(jìn)行比較，從查找表 中輸出相應(yīng)代表值作為各深度值的相應(yīng)量化結(jié)果，來(lái)對(duì)深度值進(jìn)行編碼。
為了實(shí)現(xiàn)以上和/或其他方面和優(yōu)點(diǎn)，本發(fā)明的實(shí)施例包括一種基于分辨
8率信息和由深度值表示的相應(yīng)像素與觀察點(diǎn)之間的各距離來(lái)選擇性地以量化
步長(zhǎng)量化3D圖像的像素的深度值，來(lái)自適應(yīng)表示3D圖像的深度信息的深度
數(shù)據(jù)編碼器。
為了實(shí)現(xiàn)以上和/或其他方面和優(yōu)點(diǎn)，本發(fā)明的實(shí)施例包括一種基于分辨 率信息和由深度值表示的相應(yīng)像素與觀察點(diǎn)之間的各距離來(lái)選擇性地以不同
的固定位長(zhǎng)度量化3D圖像的像素的深度值以產(chǎn)生3D圖像的像素的各量化深 度值，來(lái)自適應(yīng)表示3D圖像的深度信息的深度數(shù)據(jù)編碼器。
為了實(shí)現(xiàn)以上和/或其他方面和優(yōu)點(diǎn)，本發(fā)明的實(shí)施例包括一種自適應(yīng)表 示3D圖像的深度信息的深度數(shù)據(jù)編碼方法，包括基于分辨率信息和由深 度值表示的相應(yīng)像素與觀察點(diǎn)之間的各距離來(lái)選擇性地以量化步長(zhǎng)量化3D 圖像的像素的深度值。
為了實(shí)現(xiàn)以上和/或其他方面和優(yōu)點(diǎn)，本發(fā)明的實(shí)施例包括一種對(duì)量化深 度信息解碼的深度數(shù)據(jù)解碼方法，包括基于距觀察點(diǎn)的相應(yīng)像素的各距離 以不同量化步長(zhǎng)來(lái)選擇性地解碼量化的深度信息。
為了實(shí)現(xiàn)以上和/或其他方面和優(yōu)點(diǎn)，本發(fā)明的實(shí)施例包括一種自適應(yīng)表 示3D圖像的深度信息的深度數(shù)據(jù)編碼方法，包括基于分辨率信息和由各 深度值表示的相應(yīng)像素與觀察點(diǎn)之間的各距離來(lái)選擇性地以不同的固定位長(zhǎng) 度量化3D圖像的像素的深度值以產(chǎn)生3D圖像的像素的各量化深度值。


通過(guò)下面結(jié)合附圖對(duì)實(shí)施例進(jìn)行的描述，本發(fā)明的這些和/或其他方面和 優(yōu)點(diǎn)將會(huì)變得清楚和更易于理解，其中
圖1示出在使用深度相機(jī)情況下的傳統(tǒng)原理；
圖2A和圖2B示出根據(jù)本發(fā)明實(shí)施例的深度相機(jī)的深度信息表示；
圖3A至圖3D示出根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例的實(shí)現(xiàn)3D圖像的深 度信息的自適應(yīng)表示的設(shè)備；
圖4A至圖4C示出根據(jù)本發(fā)明實(shí)施例的自適應(yīng)表示3D圖像的深度圖像 的信息的方法。
具體實(shí)施例方式
現(xiàn)在詳細(xì)參照實(shí)施例，其示例在附圖中示出，其中，相同的標(biāo)號(hào)始終表示相同的部件。在這點(diǎn)上，可以以許多不同形式來(lái)實(shí)現(xiàn)本發(fā)明實(shí)施例，本發(fā) 明實(shí)施例不應(yīng)解釋為受這里闡述的實(shí)施例的限制。因此，以下通過(guò)參照附圖 僅僅描述實(shí)施例，以解釋本發(fā)明的各方面。
圖2A和圖2B示出根據(jù)本發(fā)明實(shí)施例的深度信息表示。參照?qǐng)D2A,深 度相機(jī)21可使用相同數(shù)量的位來(lái)量化并表示深度信息，而不考慮它們各自的 距離或測(cè)量極限距離22與深度值的對(duì)應(yīng)關(guān)系。也就是，這里，在圖2A-圖2B 中，每個(gè)深度值具有相同的深度分辨率。另外，在這里，測(cè)量極限距離22被 稱為由深度相機(jī)21測(cè)量的最大深度值。
更詳細(xì)地講，在此實(shí)施例中，深度相機(jī)21可用相同的深度分辨率值來(lái)表 示所有深度值，而不考慮3D圖像像素的每個(gè)深度值指示距深度相機(jī)21是近 距離還是遠(yuǎn)距離。在這里，這種3D圖像包含每個(gè)像素的深度值，并且這種 3D圖像作為由深度相機(jī)獲得的深度圖像的例子。深度值可基于距深度相機(jī)的 距離，或者基于觀看相應(yīng)物體的觀察點(diǎn)和收集的3D信息。此外，在這里， 深度分辨率也可稱為精確度。更詳細(xì)地，當(dāng)深度相機(jī)21量化各深度值時(shí)，深 度相機(jī)21的高深度分辨率將與小量化步長(zhǎng)相關(guān)，而當(dāng)深度相機(jī)21量化各深 度值時(shí)，深度相機(jī)21的低深度分辨率與大量化步長(zhǎng)相關(guān)。因此，在此實(shí)施例 中，量化步長(zhǎng)201與量化步長(zhǎng)202相同，在量化表示距深度相機(jī)21的較近距 離的深度值中考慮量化步長(zhǎng)201，在量化表示距深度相機(jī)21的較遠(yuǎn)距離的深 度值中考慮量化步長(zhǎng)202。
適合于深度相機(jī)21的特性的合適數(shù)量的位。深度相機(jī)21可隨后通過(guò)使用確 定的位數(shù)量來(lái)量化每一深度值。
參照?qǐng)D2B,如果深度相機(jī)21通過(guò)使用相同的深度分辨率來(lái)量化可由深 度相機(jī)21測(cè)量的深度值，則示出的自適應(yīng)量化單元23可因此表示滿足深度 相機(jī)21的特性的深度值。在實(shí)施例中，在本實(shí)施例中自適應(yīng)表示深度圖像的 信息的示出的自適應(yīng)量化單元23可被包括在深度相機(jī)21中。
更詳細(xì)地，自適應(yīng)量化單元23可通過(guò)輸入端IN1接收關(guān)于測(cè)量極限距離 22的測(cè)量極限距離信息以及關(guān)于與深度值無(wú)關(guān)而保持不變的深度分辨率的深 度分辨率信息。在此連接中，在實(shí)施例中，可按照包括自適應(yīng)量化單元23的 深度相機(jī)21的規(guī)范來(lái)確定測(cè)量極限距離和深度分辨率。因此，自適應(yīng)量化單 元23可基于接收的測(cè)量極限距離22和接收的深度分辨率來(lái)確定合適數(shù)量的位以用于每一深度值表示。僅作為示例，確定數(shù)量的位可以是表示通過(guò)將接 收的測(cè)量極限距離22分割為接收的深度分辨率而產(chǎn)生的區(qū)域的數(shù)量所需最 小數(shù)量的位。在這里，術(shù)語(yǔ)區(qū)域表示通過(guò)將測(cè)量極限距離分割為量化步長(zhǎng)獲
得的結(jié)果。其后，自適應(yīng)量化單元23可通過(guò)使用確定數(shù)量的位來(lái)量化通過(guò)輸 入端IN2輸入的3D圖像的像素的每個(gè)深度值，表示每個(gè)深度值，并且通過(guò) 輸出端OUT1輸出量化的深度值。
在這種情況下，與用于存儲(chǔ)和/或發(fā)送深度信息的傳統(tǒng)系統(tǒng)相比，需要較 少的存儲(chǔ)器，這是由于傳統(tǒng)系統(tǒng)不考慮深度相機(jī)21的深度分辨率而僅實(shí)現(xiàn)用 于表示深度信息的沒必要的大數(shù)量的位(例如，16位)。此外，根據(jù)實(shí)施例， 根據(jù)合適的相應(yīng)量化步長(zhǎng)可實(shí)現(xiàn)解碼。
僅作為示例，如果假設(shè)測(cè)量極限距離22是10m，并且深度相機(jī)21可測(cè) 量的深度值的深度分辨率具有3mm的量化步長(zhǎng)，則例如根據(jù)下面的等式1可 表示3mm的誤差范圍內(nèi)的例如由自適應(yīng)量化單元23用于給出深度值的位的 最小數(shù)量。
等式l:
匿' IOOOO畫]^ log2^- =12
這里，例如等式1顯示的括號(hào)表示超過(guò)括號(hào)內(nèi)的值的最小整數(shù)。
因此，根據(jù)此實(shí)施例，如果傳統(tǒng)方法通過(guò)16位表示3D圖像的每個(gè)像素 的每個(gè)深度值，則本實(shí)施例中的每個(gè)像素的深度值將僅需要通過(guò)12位來(lái)表 示，而仍然具有與傳統(tǒng)方法相同的精確度。
除了上述之外，距離深度相機(jī)21越近，可由深度相機(jī)21測(cè)量的一般深 度值可具有的深度分辨率越高，而距離深度相機(jī)21越遠(yuǎn)，具有的深度分辨率 越低。因此，盡管期望在較近的距離細(xì)微地表示深度，但是經(jīng)常在較遠(yuǎn)的距 離沒必要細(xì)微地表示深度。在這種情況下，由于深度相機(jī)21用相同深度分辨 率表示其可測(cè)量的所有深度值，但是當(dāng)深度分辨率集中在距深度相機(jī)21近距 離時(shí)，沒必要將大數(shù)量的位分配給與距深度相機(jī)21較遠(yuǎn)距離相應(yīng)的深度值， 而當(dāng)深度分辨率集中在離深度相機(jī)21的較遠(yuǎn)距離時(shí)，與距深度相機(jī)21較近 距離相應(yīng)的深度值可被更精確地表示。
因此，基于以上特性，根據(jù)實(shí)施例，可使用精細(xì)深度分辨率來(lái)表示從較 近距離測(cè)量的深度信息，并且可使用粗糙深度分辨率來(lái)表示從遠(yuǎn)距離測(cè)量的深度信息，從而可精確且有效地分配位。
圖3A至圖3D示出根據(jù)本發(fā)明實(shí)施例的實(shí)現(xiàn)這種3D圖像的深度信息的 自適應(yīng)信息表示的設(shè)備。在這里，術(shù)語(yǔ)設(shè)備應(yīng)被認(rèn)為與術(shù)語(yǔ)系統(tǒng)同義，并且 不限于單個(gè)框或所有實(shí)施例中的各個(gè)單個(gè)框中實(shí)現(xiàn)的所有描述的元件，而是 根據(jù)實(shí)施例通過(guò)不同的元件在不同的框和/或位置中 一起或單獨(dú)地來(lái)實(shí)現(xiàn)，例 如，各設(shè)備/系統(tǒng)可以是單個(gè)處理元件或者可通過(guò)分布式網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)，注意， 其他和替代實(shí)施例同樣可用。
圖3A解釋合并通過(guò)根據(jù)各深度值測(cè)量不同精確度的深度信息來(lái)自適應(yīng) 表示深度圖像的深度信息的設(shè)備的深度相機(jī)31的深度信息表示。
例如，為了自適應(yīng)地表示深度圖像的深度信息，測(cè)量極限距離32可被分 割/解析為可被應(yīng)用相同深度分辨率的多個(gè)段或范圍301、 302和303，從而通 過(guò)使用用于各分割的段的不同量化步長(zhǎng)來(lái)量化和表示各深度值。
可從深度相機(jī)31接收關(guān)于測(cè)量極限距離32的測(cè)量極限距離信息以及關(guān) 于根據(jù)距離定義的各深度分辨率的深度分辨率信息。在這里，根據(jù)距離定義 的深度分辨率是指用于距深度相機(jī)31的不同距離的各深度分辨率。因此，根 據(jù)符合包括在接收的深度分辨率信息中的距離定義的深度分辨率，包括在接 收的測(cè)量極限距離信息中的測(cè)量極限距離32可被分為多個(gè)段，每段具有相同 的深度分辨率。
因此可分配通過(guò)根據(jù)它們距深度相機(jī)31的各自距離定義的將用于每段 的位的數(shù)量。在一個(gè)實(shí)施例中，位的數(shù)量可以是通過(guò)將段的長(zhǎng)度分割為段的 深度分辨率獲得的結(jié)果來(lái)表示深度信息所需的位的最小數(shù)量。也就是，位的 各個(gè)數(shù)量可以是表示通過(guò)將段的長(zhǎng)度分割為段的深度分辨率而產(chǎn)生的多個(gè)區(qū) 域的每個(gè)所需的位的最小數(shù)量。
因此，可測(cè)量關(guān)于預(yù)定物體的深度信息。
其結(jié)果是，可通過(guò)使用由距深度相機(jī)31的各段距離定義的合適數(shù)量的位 來(lái)量化和表示每一深度值。
參照?qǐng)D3B，例如，自適應(yīng)表示關(guān)于3D圖像的深度信息的信息的設(shè)備可 包括距離革殳分割處理單元33、-歐確定單元34和自適應(yīng)量化單元35。
用于表示自適應(yīng)深度分辨率值的距離段分割處理單元33通過(guò)輸入端IN3 接收關(guān)于3D圖像的測(cè)量極限距離32的測(cè)量極限距離信息以及關(guān)于3D圖像 的深度分辨率距離定義信息，并基于深度距離定義信息將包括在接收的測(cè)量
12極限距離信息中的測(cè)量極限距離32分為相應(yīng)的多個(gè)|殳/范圍。在這里，例如，
關(guān)于3D圖像的測(cè)量極限距離32是指可按照深度相機(jī)31的規(guī)范而被預(yù)先確 定的測(cè)量極限距離。關(guān)于3D圖像的深度分辨率距離定義是指對(duì)于每段具有 不同值的各深度分辨率，例如各深度分辨率也可按照深度相機(jī)31的規(guī)范而被 預(yù)先確定。
距離段分割處理單元33可因此確定在表示每段內(nèi)的深度信息時(shí)應(yīng)使用 的位的各合適數(shù)量。
段確定單元34可識(shí)別這些確定的段，并還確定例如通過(guò)輸入端IN4輸入 的3D圖像的像素的每一深度值應(yīng)被分類到的段。
自適應(yīng)量化單元35還可識(shí)別例如距離段分割處理單元33確定的合適數(shù) 量的位，并根據(jù)段確定單元34確定的相應(yīng)段對(duì)例如通過(guò)輸入端IN4輸入的 3D圖像的像素的每一深度值進(jìn)行量化。更詳細(xì)地，自適應(yīng)量化單元35可基 于物體距深度相機(jī)的各距離或基于每一深度值所屬的段的各距離，通過(guò)使用 合適數(shù)量的位來(lái)量化并表示每一深度值，并通過(guò)輸出端OUT2來(lái)輸出量化結(jié) 果。
因此，可通過(guò)輸入端IN3輸入的測(cè)量極限距離信息和深度分辨率距離定 義信息與通過(guò)輸入端IN4輸入的3D圖像有關(guān)。
圖3C示出3D圖像的深度信息的自適應(yīng)信息表示。僅作為示例，將假設(shè) 圖3C的測(cè)量極限距離32是7.5m。
如所示，第一段310表示距深度相機(jī)31達(dá)0.3m的點(diǎn)，第一段310的深 度分辨率可由量化步長(zhǎng)2.5mm來(lái)表示。第二段320表示超過(guò)第一4殳310達(dá)lm 的點(diǎn)，第二段320的量化分辨率由量化步長(zhǎng)6mm來(lái)表示。第三段330表示超 過(guò)第320達(dá)2m的點(diǎn)，第三段330的深度分辨率由量化步長(zhǎng)13mm來(lái)表示。 最終，在此示例中，第四段340表示超過(guò)第三段330達(dá)7.5m的點(diǎn)(或超過(guò)第 三段330的所有點(diǎn))，第四段340的深度分辨率由量化步長(zhǎng)22mm來(lái)表示。
在此示例中，如下所示，還可計(jì)算可用于表示第一段310至第四段340 的每一個(gè)的深度分辨率的最小數(shù)量的位。更詳細(xì)地，例如，距離段分割處理 單元33可根據(jù)下面的等式2確定應(yīng)該用于落在第 一段310的點(diǎn)的合適數(shù)量的 位，根據(jù)下面的等式3確定應(yīng)該落在第二段320的點(diǎn)的合適數(shù)量的位，根據(jù) 下面的等式4確定應(yīng)該落在第三段330的點(diǎn)的合適數(shù)量的位，以及根據(jù)下面 的等式5確定應(yīng)該落在第四段340的點(diǎn)的合適數(shù)量的位。等式2:
<formula>formula see original document page 14</formula>等式3:
<formula>formula see original document page 14</formula>
等式4:
<formula>formula see original document page 14</formula>
等式5:
<formula>formula see original document page 14</formula>
當(dāng)3D圖像的像素的每個(gè)深度值被量化和表示時(shí)，可因此還需要單獨(dú)地 表示關(guān)于哪個(gè)深度值被包括在第一段310至第四段340中的附加信息。在一 個(gè)實(shí)施例中，當(dāng)示例段的數(shù)量是4時(shí)，可使用2位來(lái)表示這種附加信息，注 意替代實(shí)施例同樣可用。
因此，在這種示例中，與將使用16位來(lái)表示用于3D圖像的像素的每個(gè) 深度值的傳統(tǒng)技術(shù)相反，這里可根據(jù)第一段310至第四段340使用9、 9、 9 和IO之一來(lái)表示每個(gè)深度值。因此，在提供相同或類似精確度的同時(shí)，可使 用基本上比傳統(tǒng)技術(shù)少的位來(lái)表示由深度相機(jī)觀察的點(diǎn)的像素的深度值。
再次參照?qǐng)D3B，測(cè)量極限距離32被顯示為被分割為多個(gè)段，并且對(duì)每 段獨(dú)立執(zhí)行量化以表示每一深度值。此外，如果先前已經(jīng)基于根據(jù)距離改變 的深度分辨率對(duì)測(cè)量極限距離32建立了代表值，則可準(zhǔn)備代表值的查找表， 并基于該查找表來(lái)量化和表示輸入深度值。因此，現(xiàn)在將參照?qǐng)D3C和圖3D 來(lái)進(jìn)一步討論這種安排。
再次參照?qǐng)D3C(圖3C顯示分別與(0 0.3m)、 (0.3m 1.0m)、 (1.0m 2.0m) 和(2.0m 7.5m)相應(yīng)的第一段310至第四段340的深度分辨率)，可如下確定表 示落在每段的每個(gè)深度值的代表值的數(shù)量。例如，可根據(jù)下面的等式6來(lái)表 示通知落在第一段310的深度值的代表值的數(shù)量，可根據(jù)下面的等式7來(lái)表 示通知落在第二段320的深度值的代表值的數(shù)量，可根據(jù)下面的等式8來(lái)表 示通知落在第三段330的深度值的代表值的數(shù)量，可根據(jù)下面的等式9來(lái)表 示通知落在第四段340的深度值的代表值的數(shù)量，這僅作為示例。
等式6:300mm —120 等式7:
1000m附—300mm ，，" -=117
等式8:
—2000mm —1000mm ，，， 13mm
等式9:
7500mm - 2000mm — ^。
因此，在這些示例中，代表值的總數(shù)量可以是564，這可使用IO位來(lái)表 示。因此，參照?qǐng)D3D(圖3D示出用于給出關(guān)于3D圖像的深度信息的自適應(yīng) 信息的設(shè)備)，可準(zhǔn)備包括564個(gè)代表值的測(cè)量極限距離32的查找表，并且 基于查找表使用IO位來(lái)量化和表示3D圖像的每個(gè)像素的每個(gè)深度值。
與圖3B中顯示的先前示例不同，這里，當(dāng)量化和表示3D圖像的像素的 每個(gè)深度值時(shí)，可以不必還包括指示每個(gè)深度值落在哪個(gè)段的信息。
參照?qǐng)D3D，自適應(yīng)量化單元38可通過(guò)使用10位來(lái)量化和表示3D圖像 的像素的每個(gè)深度值。與使用16位來(lái)表示3D圖像的像素的每個(gè)深度值的傳 統(tǒng)技術(shù)不同，在相同或類似精確度的情況下，自適應(yīng)量化單元38可使用基本 上較少的位來(lái)表示像素的深度值。
如圖3D所示，例如，用于表示關(guān)于3D圖像的深度信息的自適應(yīng)信息的 設(shè)備可包括查找表產(chǎn)生單元36、查找表存儲(chǔ)單元37和自適應(yīng)量化單元38。
為了表示自適應(yīng)深度分辨率值，查找表產(chǎn)生單元36可通過(guò)輸入端IN5 接收指示測(cè)量極限距離32的測(cè)量極限距離信息和指示根據(jù)與3D圖像的距離 的深度分辨率的深度分辨率距離定義信息，基于相應(yīng)的深度分辨率將測(cè)量極 限距離32分為多個(gè)區(qū)域/范圍，建立每個(gè)分割區(qū)域的代表值，通過(guò)使用與區(qū) 域的數(shù)量相應(yīng)的位的數(shù)量來(lái)對(duì)每個(gè)建立的代表值進(jìn)行量化，并產(chǎn)生包括量化 代表值的查找表。與區(qū)域的數(shù)量相應(yīng)的位的數(shù)量可以是表示測(cè)量極限距離32 的區(qū)域的數(shù)量所需的位的最小數(shù)量。
查找表產(chǎn)生單元36產(chǎn)生的查找表可包括量化代表值，每個(gè)量化代表值與 區(qū)i或相應(yīng)。
查找表存儲(chǔ)單元37還可存儲(chǔ)查找表產(chǎn)生單元36產(chǎn)生的查找表。自適應(yīng)量化單元38可通過(guò)輸出端0UT3輸出代表值作為每個(gè)深度值的量 化結(jié)果，所述代表值是包括在查找表中的代表值之中的與通過(guò)輸入端IN6輸 入的3D圖像的像素的每個(gè)深度值相應(yīng)的代表值。
這里，例如通過(guò)輸入端IN5接收的測(cè)量極限距離信息和深度分辨率距離 定義信息是關(guān)于測(cè)量極限距離32的信息以及關(guān)于通過(guò)輸入端IN6輸入的3D 圖像的深度分辨率信息。
圖4A示出根據(jù)本發(fā)明實(shí)施例的自適應(yīng)表示3D圖像的深度信息的信息的 方法。雖然替代實(shí)施例也是可用的，但是將參照?qǐng)D2B進(jìn)一步討論示例性實(shí)施 例。
這里，自適應(yīng)量化單元23可通過(guò)使用根據(jù)深度相機(jī)21的測(cè)量極限距離 及其深度分辨率確定的合適數(shù)量的位來(lái)量化和表示3D圖像的像素的每個(gè)深 度值(操作41)。
圖4B示出根據(jù)本發(fā)明實(shí)施例的自適應(yīng)表示3D圖像的深度信息的信息的 方法。另外，雖然替代實(shí)施例也是可用的，但是將參照?qǐng)D3B進(jìn)一步討論示例 性實(shí)施例。
這里，選擇確定單元34可確定相應(yīng)點(diǎn)落在根據(jù)3D圖像的測(cè)量極限距離 和基于距離的深度分辨率分配而分割的多個(gè)段中的哪個(gè)段，以表示3D圖像 的像素的相應(yīng)深度值(操作42)。
因此，自適應(yīng)量化單元35可根據(jù)選擇確定單元34的確定來(lái)量化和表示 3D圖像的每一相應(yīng)像素的每個(gè)深度值(操作43)。
圖4C示出根據(jù)本發(fā)明實(shí)施例的自適應(yīng)表示3D圖像的深度信息的信息的 方法。雖然替代實(shí)施例也是可用的，但是將參照?qǐng)D3D進(jìn)一步討論示例性實(shí) 施例。
這里，自適應(yīng)量化單元38可從例如存儲(chǔ)在查找表存儲(chǔ)單元37中的查找 表中搜索與3D圖像的每一相應(yīng)像素的每個(gè)深度值相應(yīng)的代表值(操作44)。
自適應(yīng)量化單元38還可將從查找表中找到的與3D圖像的像素的每個(gè)深 度值相應(yīng)的代表值確定為每個(gè)深度值的量化結(jié)果(操作45)。
可在計(jì)算硬件(計(jì)算設(shè)備)和/或軟件，例如可存儲(chǔ)、查找、處理和/或輸出 數(shù)據(jù)和/或與其它計(jì)算機(jī)通信的任何計(jì)算機(jī)(在非限制示例中)實(shí)現(xiàn)實(shí)施例。產(chǎn) 生的結(jié)果可顯示在計(jì)算硬件的顯示器上。程序/軟件實(shí)現(xiàn)的實(shí)施例可記錄在包 括計(jì)算機(jī)可讀記錄介質(zhì)的計(jì)算機(jī)可讀介質(zhì)上。程序/軟件實(shí)現(xiàn)的實(shí)施例也可通過(guò)傳輸通信介質(zhì)被傳輸。計(jì)算機(jī)可讀記錄介質(zhì)的例子至少包括磁記錄設(shè)備、
光盤、磁光盤和/或半導(dǎo)體存儲(chǔ)器(例如，RAM、 ROM等)。磁記錄設(shè)備的例 子至少包括硬盤裝置(HDD)、軟盤(FD)和一磁帶(MT)。光盤的例子至少包括 DVD(數(shù)字通用盤)、DVD-RAM、 CD-ROM(壓縮盤-只讀存儲(chǔ)器)和CD-R(可記
錄)/RW。通信介質(zhì)的例子包括載波信號(hào)。傳輸通信介質(zhì)可以是負(fù)載這種通信 介質(zhì)的設(shè)備。
此外，根據(jù)本發(fā)明的一個(gè)或多個(gè)方面，可還提供描述的特征、功能和/ 或操作的任何組合。
但是應(yīng)該理解，這些實(shí)施例僅是描述意義的，并且不用于限制。每個(gè)實(shí)施例 內(nèi)的特征或方面的描述應(yīng)一般認(rèn)為可用于其余實(shí)施例中的其它類似特征或方面。
因此，盡管已經(jīng)顯示和描述了一些實(shí)施例，但是本領(lǐng)域的技術(shù)人員應(yīng)該 理解，在不脫離本發(fā)明的精神和范圍的情況下，可以對(duì)這些實(shí)施例進(jìn)行各種 改變，本發(fā)明的范圍由權(quán)利要求及其等同物限定。
權(quán)利要求
1、一種自適應(yīng)表示3D圖像的深度信息的信息的設(shè)備，該設(shè)備包括段確定單元，確定3D圖像的像素的各個(gè)深度值落在多個(gè)段的哪個(gè)段，根據(jù)基于距離的深度分辨率信息被解析為多個(gè)段的3D圖像的測(cè)量極限距離來(lái)定義所述多個(gè)段；自適應(yīng)量化單元，基于一個(gè)段的各預(yù)定義的量化設(shè)置來(lái)選擇性地量化和表示每個(gè)深度值。
2、 如權(quán)利要求l所述的設(shè)備，還包括距離段分割處理單元，根據(jù)基于 距離的深度分辨率信息來(lái)將3D圖像的測(cè)量極限距離解析為多個(gè)段。
3、 如權(quán)利要求l所述的設(shè)備，其中，自適應(yīng)量化單元選擇性地量化每個(gè) 深度值，以使深度值具有根據(jù)關(guān)于每個(gè)相關(guān)段的各基于距離的深度分辨率信 息確定的定義數(shù)量的位，每個(gè)深度值落在所述每個(gè)相關(guān)段。
4、 如權(quán)利要求3所述的設(shè)備，其中，根據(jù)每段與觀察點(diǎn)之間的距離以及 每段的各深度分辨率來(lái)確定將用于每段的定義數(shù)量的位。
5、 如權(quán)利要求3所述的設(shè)備，其中，將用于每段的定義數(shù)量的位被確定 為根據(jù)每段的各深度分辨率來(lái)分割每段所定義的最小數(shù)量的位。
6、 如權(quán)利要求l所述的設(shè)備，其中，每段的由各基于距離的深度分辨率 信息定義的各深度分辨率不同。
7、 如權(quán)利要求l所述的設(shè)備，其中，所述設(shè)備是取得3D圖像的像素的 深度值的深度相機(jī)。
8、 如權(quán)利要求7所述的設(shè)備，其中，深度相機(jī)確定3D圖像的測(cè)量極限 距離，并且根據(jù)深度相機(jī)的分辨率能力預(yù)先定義每段的各基于距離的深度分 辨率信息。
9、 一種自適應(yīng)表示3D圖像的深度信息的信息的設(shè)備，該設(shè)備包括 查找表存儲(chǔ)單元，存儲(chǔ)定義以包括量化代表值的查找表，每個(gè)量化代表值與3D圖像的基于深度的區(qū)域相應(yīng)，根據(jù)基于距離的深度分辨率信息被解 析為基于深度的區(qū)域的3D圖像的測(cè)量極限距離來(lái)獲得所述3D圖像的基于深 度的區(qū)域；自適應(yīng)量化單元，將3D圖像的像素的各深度值與查找表進(jìn)行比較，從 查找表中輸出相應(yīng)代表值作為各深度值的相應(yīng)量化結(jié)果。
10、 如權(quán)利要求9所述的設(shè)備，還包括查找表產(chǎn)生單元，產(chǎn)生查找表。
11、 如權(quán)利要求9所述的設(shè)備，其中，存儲(chǔ)在查找表中的相應(yīng)量化代表 值表示根據(jù)與基于深度的區(qū)域的數(shù)量相應(yīng)的定義數(shù)量的位被量化。
12、 一種表示3D圖像的深度信息的自適應(yīng)信息的方法，該方法包括 確定3D圖像的像素的各個(gè)深度值落在多個(gè)段的哪個(gè)段，根據(jù)基于距離的深度分辨率信息被解析為多個(gè)段的3D圖像的測(cè)量極限距離來(lái)定義所述多 個(gè)段；基于一個(gè)段的各預(yù)定義的量化設(shè)置來(lái)選擇性地量化和表示每個(gè)深度值。
13、 如權(quán)利要求12所述的方法，還包括根據(jù)基于距離的深度分辨率信 息來(lái)將3D圖像的測(cè)量極限距離解析為多個(gè)段。
14、 如權(quán)利要求12所述的方法，其中，選擇性量化和表示每個(gè)深度值的 步驟包括量化每個(gè)深度值，以使深度值具有根據(jù)關(guān)于每個(gè)相關(guān)段的各基于 距離的深度分辨率信息確定的定義數(shù)量的位，每個(gè)深度值落在所述每個(gè)相關(guān) 段。
15、 如權(quán)利要求13所述的方法，其中，根據(jù)每段與觀察點(diǎn)之間的距離以
16、 如權(quán)利要求14所述的方法，其中，將用于每段的定義數(shù)量的位被確 定為根據(jù)每段的各深度分辨率來(lái)分割每段所定義的最小數(shù)量的位。
17、 如權(quán)利要求12所述的方法，其中，每段的由各基于距離的深度分辨 率信息定義的各深度分辨率不同。
18、 一種表示3D圖像的深度信息的自適應(yīng)信息的方法，該方法包括 在預(yù)定義的查找表中搜索與3D圖像的像素的深度值相應(yīng)的代表量化值，查找表中的每個(gè)量化代表值與3D圖像的基于深度的區(qū)域相應(yīng)，根據(jù)基于距 離的深度分辨率信息被解析為基于深度的區(qū)域的3D圖像的測(cè)量極限距離來(lái) 獲得所述3D圖像的基于深度的區(qū)域；通過(guò)將3D圖像的像素的各深度值與查找表進(jìn)行比較，從查找表中輸出 相應(yīng)代表值作為各深度值的相應(yīng)量化結(jié)果，來(lái)對(duì)深度值進(jìn)行編碼。
19、 如權(quán)利要求18所述的方法，還包括產(chǎn)生查找表，從而按照可用預(yù) 定義深度值中的深度值在查找表內(nèi)的搜索直接指向相應(yīng)代表量化值。
20、 如權(quán)利要求18所述的方法，其中，存儲(chǔ)在查找表中的相應(yīng)量化代表 值表示根據(jù)與基于深度的區(qū)域的數(shù)量相應(yīng)的定義數(shù)量的位被量化。
21、 一種基于分辨率信息和由深度值表示的相應(yīng)像素與觀察點(diǎn)之間的各距離來(lái)選擇性地以量化步長(zhǎng)量化3D圖像的像素的深度值，來(lái)自適應(yīng)表示3D 圖像的深度信息的深度數(shù)據(jù)編碼器。
22、 如權(quán)利要求21所述的編碼器，其中，由深度值表示的相應(yīng)像素與觀 察點(diǎn)之間的各距離落在每個(gè)表示各不同深度值的像素的多個(gè)確定范圍中的由 不同深度值表示的像素的一個(gè)確定范圍內(nèi)，其中，選^^性量化深度值是基于 將各深度值分類到相關(guān)深度的多個(gè)范圍，分類各深度值定義將應(yīng)用于量化各 深度值的不同量化步長(zhǎng)。
23、 如權(quán)利要求21所述的編碼器，其中，量化步長(zhǎng)基于對(duì)用于量化3D 圖像的像素的各深度值的結(jié)果定義的固定位長(zhǎng)度。
24、 如權(quán)利要求23所述的編碼器，其中，選擇性量化深度值基于根據(jù)由 深度值表示的像素與至少 一個(gè)觀察點(diǎn)之間的各距離來(lái)對(duì)各深度值進(jìn)行分類， 對(duì)各深度值進(jìn)行分類定義了將被應(yīng)用到量化各深度值的不同量化步長(zhǎng)。
25、 如權(quán)利要求21所述的編碼器，其中，編碼器是取得3D圖像的像素 的深度值的深度相機(jī)。
26、 如權(quán)利要求25所述的編碼器，其中，深度相機(jī)確定3D圖像的測(cè)量 極限距離，其中，深度相機(jī)確定3D圖像的測(cè)量極限距離，其中深度相機(jī)的 分辨率信息和/或由深度相機(jī)觀察的像素的深度范圍的分辨率被預(yù)先定義。
27、 如權(quán)利要求21所述的編碼器，還包括段確定單元，確定3D圖像的像素的各個(gè)深度值落在多個(gè)段的哪個(gè)段， 根據(jù)基于距離的深度分辨率信息被解析的3D圖像的測(cè)量極限距離來(lái)定義所 述多個(gè)段，通過(guò)分辨率信息來(lái)表示基于距離的深度分辨率信息；自適應(yīng)量化單元，基于為一個(gè)段預(yù)定義的包括各量化步長(zhǎng)的量化設(shè)置來(lái) 選擇性地量化和表示每個(gè)深度值。
28、 如權(quán)利要求21所述的編碼器，還包括查找表存儲(chǔ)單元，存儲(chǔ)定義以包括量化代表值的查找表，每個(gè)量化代表 值與3D圖像的基于深度的區(qū)域相應(yīng)，根據(jù)基于距離的深度分辨率信息被解 析為基于深度的區(qū)域的3D圖像的測(cè)量極限距離來(lái)獲得所述3D圖像的基于深 度的區(qū)域，由分辨率信息來(lái)表示基于距離的深度分辨率信息；自適應(yīng)量化單元，將3D圖像的像素的各深度值與查找表進(jìn)行比較，從 查找表中輸出相應(yīng)代表值作為各深度值的相應(yīng)量化結(jié)果。
29、 一種基于分辨率信息和由深度值表示的相應(yīng)像素與觀察點(diǎn)之間的各 距離來(lái)選擇性地以不同的固定位長(zhǎng)度量化3D圖像的像素的深度值以產(chǎn)生3D 圖像的像素的各量化深度值，來(lái)自適應(yīng)表示3D圖像的深度信息的深度數(shù)據(jù) 編碼器。
30、 一種自適應(yīng)表示3D圖像的深度信息的深度數(shù)據(jù)編碼方法，包括 基于分辨率信息和由深度值表示的相應(yīng)像素與觀察點(diǎn)之間的各距離來(lái)選擇性地以量化步長(zhǎng)量化3D圖像的像素的深度值。
31、 如權(quán)利要求30所述的方法，其中，由深度值表示的相應(yīng)像素與觀察 點(diǎn)之間的各距離落在每個(gè)表示各不同深度值的像素的多個(gè)確定范圍中的由不 同深度值表示的像素的一個(gè)確定范圍內(nèi)，其中，選擇性量化深度值是基于將 各深度值分類到相關(guān)深度的多個(gè)范圍，分類各深度值定義將應(yīng)用于量化各深 度值的不同量化步長(zhǎng)。
32、 如權(quán)利要求30所述的方法，其中，量化步長(zhǎng)基于對(duì)用于量化3D圖 像的像素的各深度值的結(jié)果定義的固定位長(zhǎng)度。
33、 如權(quán)利要求32所述的方法，其中，選擇性量化深度值基于根據(jù)由深 度值表示的像素與至少 一個(gè)觀察點(diǎn)之間的各距離來(lái)對(duì)各深度值進(jìn)行分類，對(duì) 各深度值進(jìn)行分類定義了將被應(yīng)用到量化各深度值的不同量化步長(zhǎng)。
34、 如權(quán)利要求30所述的方法，還包括取得3D圖像的像素的深度值的 深度相才幾。
35、 如權(quán)利要求34所述的方法，其中，深度相機(jī)確定3D圖像的測(cè)量極 限距離，其中，深度相機(jī)確定3D圖像的測(cè)量極限距離，其中深度相機(jī)的分 辨率信息和/或由深度相機(jī)觀察的像素的深度范圍的分辨率被預(yù)先定義。
36、 如權(quán)利要求30所述的方法，還包括確定3D圖像的像素的各個(gè)深度值落在多個(gè)段的哪個(gè)段，根據(jù)基于距離 的深度分辨率信息被解析的3D圖像的測(cè)量極限距離來(lái)定義所述多個(gè)段，通 過(guò)分辨率信息來(lái)表示基于距離的深度分辨率信息；基于一個(gè)段的各預(yù)定義量化設(shè)置來(lái)選擇性地量化和表示每個(gè)深度值。
37、 如權(quán)利要求30所述的方法，還包括從預(yù)定義的查找表中搜索與3D圖像的像素的深度值相應(yīng)的代表量化值， 查找表中的每個(gè)量化代表值與3D圖像的基于深度的區(qū)域相應(yīng)，根據(jù)基于距 離的深度分辨率信息被解析為基于深度的區(qū)域的3D圖像的測(cè)量極限距離來(lái)獲得所述3D圖像的基于深度的區(qū)域，由分辨率信息來(lái)表示基于距離的深度 分辨率信息；通過(guò)將3D圖像的像素的各深度值與查找表進(jìn)行比較，從查找表中輸出 相應(yīng)代表值作為各深度值的相應(yīng)量化結(jié)果，來(lái)對(duì)深度值進(jìn)行編碼。
38、 一種對(duì)根據(jù)權(quán)利要求30的方法編碼的量化深度信息解碼的深度數(shù)據(jù) 解碼方法，包括基于距觀察點(diǎn)的相應(yīng)像素的各距離以不同量化步長(zhǎng)來(lái)選擇 性地解碼量化的深度信息。
39、 一種自適應(yīng)表示3D圖像的深度信息的深度數(shù)據(jù)編碼方法，包括 基于分辨率信息和由各深度值表示的相應(yīng)像素與觀察點(diǎn)之間的各距離來(lái)選擇 性地以不同的固定位長(zhǎng)度量化3D圖像的像素的深度值，以產(chǎn)生3D圖像的像 素的各量化深度值。
40、 包括用于控制至少一個(gè)處理元件來(lái)實(shí)現(xiàn)權(quán)利要求12的方法的計(jì)算機(jī) 可讀代碼的至少 一種計(jì)算機(jī)可讀介質(zhì)。
41、 包括用于控制至少一個(gè)處理元件來(lái)實(shí)現(xiàn)權(quán)利要求18的方法的計(jì)算機(jī) 可讀代碼的至少一種計(jì)算機(jī)可讀介質(zhì)。
42、 包括用于控制至少一個(gè)處理元件來(lái)實(shí)現(xiàn)權(quán)利要求30的方法的計(jì)算機(jī) 可讀代碼的至少 一種計(jì)算機(jī)可讀介質(zhì)。
43、 包括用于控制至少一個(gè)處理元件來(lái)實(shí)現(xiàn)權(quán)利要求38的方法的計(jì)算機(jī) 可讀代碼的至少 一種計(jì)算機(jī)可讀介質(zhì)。
44、 包括用于控制至少一個(gè)處理元件來(lái)實(shí)現(xiàn)權(quán)利要求39的方法的計(jì)算機(jī) 可讀代碼的至少 一種計(jì)算機(jī)可讀介質(zhì)。
全文摘要
一種表示3D深度圖像的自適應(yīng)信息的方法、介質(zhì)和設(shè)備。該自適應(yīng)給出關(guān)于深度信息的信息的設(shè)備包括段確定單元，確定3D圖像的像素的各個(gè)深度值落在多個(gè)段的哪個(gè)段，根據(jù)基于距離的深度分辨率信息被解析為多個(gè)段的3D圖像的測(cè)量極限距離來(lái)定義所述多個(gè)段；自適應(yīng)量化單元，基于一個(gè)段的各預(yù)定義的量化設(shè)置來(lái)選擇性地量化并表示每個(gè)深度值。
文檔編號(hào)G06T15/10GK101465004SQ20081014978
公開日2009年6月24日 申請(qǐng)日期2008年9月27日 優(yōu)先權(quán)日2007年12月21日
發(fā)明者沈在映 申請(qǐng)人:三星電子株式會(huì)社