一種基于三維映射表的三維點(diǎn)云快速重建方法
【專利摘要】本發(fā)明公開了一種基于三維映射表的三維點(diǎn)云快速重建方法，獲取相機(jī)的參數(shù)矩陣，根據(jù)參數(shù)矩陣生成三維映射表，通過(guò)查詢?nèi)S映射表得到圖像坐標(biāo)在不同像素值時(shí)的世界坐標(biāo)，從而形成圖像的三維點(diǎn)云。本發(fā)明的方法可以有效降低三維點(diǎn)云恢復(fù)的計(jì)算量，僅通過(guò)查詢?nèi)S映射表，即可實(shí)現(xiàn)三維點(diǎn)云的恢復(fù)，具有高實(shí)時(shí)性、低計(jì)算量的優(yōu)點(diǎn)。
【專利說(shuō)明】
一種基于三維映射表的三維點(diǎn)云快速重建方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于相機(jī)的三維場(chǎng)景重建領(lǐng)域，具體涉及一種基于三維映射表的三維點(diǎn)云 快速重建方法。
【背景技術(shù)】
[0002] 目前，RGB-D相機(jī)逐漸廣泛應(yīng)用到各個(gè)領(lǐng)域，如三維重建，圖像理解和視頻監(jiān)控領(lǐng) 域，RGB-D相機(jī)可以獲得距離物體的距離，該距離可以以圖像的形式被用戶獲得(這種圖像 被稱為深度圖像）。正因?yàn)镽GB-D相機(jī)的特性，在相機(jī)標(biāo)定后，可以利用標(biāo)定參數(shù)直接恢復(fù)深 度圖像的三維信息。傳統(tǒng)的對(duì)三維信息進(jìn)行恢復(fù)的方法，直接使用相機(jī)的標(biāo)定參數(shù)，對(duì)深度 圖像進(jìn)行三維恢復(fù)，這種方法的局限性在于，計(jì)算量較大，且無(wú)法實(shí)時(shí)地進(jìn)行三維場(chǎng)景重 建。

【發(fā)明內(nèi)容】

[0003] 針對(duì)上述現(xiàn)有技術(shù)中存在的問(wèn)題或缺陷，本發(fā)明的目的在于，提供一種基于三維 映射表的三維點(diǎn)云快速重建方法，該方法能夠?qū)θS點(diǎn)云進(jìn)行實(shí)時(shí)的恢復(fù)。
[0004] 為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：
[0005] -種基于三維映射表的三維點(diǎn)云快速重建方法，包括以下步驟：
[0006] 步驟一，進(jìn)行相機(jī)標(biāo)定，得到相機(jī)的參數(shù)矩陣P;
[0007] 步驟二，根據(jù)參數(shù)矩陣P生成三維映射表，三維映射表的（x，y，d)位置上存儲(chǔ)的是 圖像坐標(biāo)(x，y)在像素值為d時(shí)對(duì)應(yīng)的世界坐標(biāo)(X xyd，Yxyd，Zxyd);
[0008] 步驟三，利用相機(jī)獲取深度視頻流，遍歷深度視頻流中的每幀圖像上的圖像坐標(biāo) (X，y)的不同像素值d，圖像坐標(biāo)(x，y)在像素值為d時(shí)在三維映射表中對(duì)應(yīng)的位置為(x，y， d)，查詢?nèi)S映射表得到位置(x，y，d)對(duì)應(yīng)的世界坐標(biāo)(Xxyd，Yxyd，Zxyd)，每幀圖像上的所有 圖像坐標(biāo)(x，y)在不同像素值d時(shí)的世界坐標(biāo)(X xyd，Yxyd，Zxyd)形成該幀圖像的三維點(diǎn)云。
[0009] 具體地，所述步驟二中根據(jù)參數(shù)矩陣P生成三維映射表，包括以下步驟：
[0010] 步驟2.1:定義三維映射表的結(jié)構(gòu)，三維映射表包括坐標(biāo)軸X、坐標(biāo)軸y和坐標(biāo)軸d， 其中，坐標(biāo)軸x是圖像坐標(biāo)(x，y)的橫坐標(biāo)，坐標(biāo)軸y是圖像坐標(biāo)(x，y)的縱坐標(biāo)，坐標(biāo)軸d是 圖像坐標(biāo)(x，y)的像素值；
[0011] 步驟2.2:針對(duì)圖像坐標(biāo)系上所有的圖像坐標(biāo)(x，y)，分別計(jì)算每個(gè)圖像坐標(biāo)(x，y) 在不同像素值d時(shí)對(duì)應(yīng)的世界坐標(biāo)系上的世界坐標(biāo)〇_八_，2_)，利用求得的世界坐標(biāo) (X xyd，Yxyd，Zxyd)填充三維映射表。
[0012] 具體地，所述步驟2.2的實(shí)現(xiàn)方法包括：
[0013] 步驟2.2.1:求圖像坐標(biāo)(x，y)對(duì)應(yīng)的射線與世界坐標(biāo)系中的X-Y平面的夾角0xy:
[0015]其中，H表示相機(jī)在世界坐標(biāo)系中的架設(shè)高度，XxJPYxy分別表示圖像坐標(biāo)(x，y)對(duì) 應(yīng)的世界坐標(biāo)的橫坐標(biāo)和縱坐標(biāo)；
[0016]步驟2.2.2:遍歷圖像坐標(biāo)(1，7)處的像素值(1，(1￡[0,255)，計(jì)算圖像坐標(biāo)(1，7)在 像素值為d時(shí)對(duì)應(yīng)的世界坐標(biāo)(Xxyd，Yxyd，Zxyd):
[0017] Zxyd = H-kdsin9xy ______ 尤》，"1 「Al - A，-尸a'T「-尸14 -
[0018] , w' 」LAiU P22 -Pn)'j lP34y - P24 + (P33}' ~ P23 )ZwJ _
[0019]其中，叫（1彡i<3，l<j<4)表示參數(shù)矩陣P中的元素;k為像素值與實(shí)際距離的比 值；
[0020] 步驟2 ? 2 ? 3:選取下一個(gè)圖像坐標(biāo)(X，y)，重復(fù)步驟2 ? 2 ? 1和步驟2 ? 2 ? 2，直至遍歷完 整幅圖片中的所有圖像坐標(biāo)，得到三維映射表。
[0021] 與現(xiàn)有技術(shù)相比，本發(fā)明具有以下技術(shù)效果:本發(fā)明的方法可以有效降低三維點(diǎn) 云恢復(fù)的計(jì)算量，僅通過(guò)查詢?nèi)S映射表，即可實(shí)現(xiàn)三維點(diǎn)云的恢復(fù)，具有高實(shí)時(shí)性、低計(jì) 算量的優(yōu)點(diǎn)。
[0022] 下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明的方案做進(jìn)一步詳細(xì)地解釋和說(shuō)明。
【附圖說(shuō)明】
[0023]圖1是選定的N(N彡6)組點(diǎn)；
[0024]圖2是世界坐標(biāo)系模型；
[0025]圖3是N組圖像坐標(biāo)系上的點(diǎn)與對(duì)應(yīng)的空間坐標(biāo)點(diǎn)；
[0026]圖4是RGB-D相機(jī)米集到的一段深度視頻流中的多幀圖像（注：深度視頻流是從 RGB-D采集的深度圖序列）；
[0027]圖5是對(duì)圖4中的深度視頻流恢復(fù)出的每幀圖像的點(diǎn)云；
[0028]圖6是三維映射表的空間結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0029]本發(fā)明的基于三維映射表的三維點(diǎn)云快速恢復(fù)方法，通過(guò)相機(jī)標(biāo)定、生成三維映 射表和使用三維映射表，將深度圖片快速恢復(fù)至3D空間中，本發(fā)明方法包括以下步驟：
[0030]步驟一，進(jìn)行相機(jī)標(biāo)定，得到相機(jī)的參數(shù)矩陣P，參數(shù)矩陣P為3*4的矩陣，矩陣中每 個(gè)元素均表示一個(gè)相機(jī)參數(shù)。
[0031 ]步驟1. 1:在現(xiàn)實(shí)場(chǎng)景中，建立圖像坐標(biāo)系和世界坐標(biāo)系，將相機(jī)固定在世界坐標(biāo) 系中的某個(gè)位置上；
[0032]步驟1.2:在圖像坐標(biāo)系和世界坐標(biāo)系上選定N組--對(duì)應(yīng)的標(biāo)定點(diǎn)。通過(guò)標(biāo)定支 架或者其他標(biāo)定方法，如線標(biāo)定、滅點(diǎn)標(biāo)定和體標(biāo)定，獲得N組(N> 6)圖像坐標(biāo)系上的點(diǎn)和 與之對(duì)應(yīng)的世界坐標(biāo)系上的點(diǎn)，如圖1和圖2所示，其中，（x，y)是圖像坐標(biāo)系上的點(diǎn)，即圖像 坐標(biāo)，（X，Y，Z)是與(x，y)對(duì)應(yīng)的世界坐標(biāo)系上的點(diǎn)，即世界坐標(biāo)，如： 圖像坐標(biāo)世界坐標(biāo) g分 ^ \ rV' It
[0033] CV2> (HQ (%.J%) (VM
[0034]步驟1.3,根據(jù)選擇的標(biāo)定點(diǎn)計(jì)算相機(jī)參數(shù)矩陣P，計(jì)算公式如下： Pn Pn Pn Pu r n P = Pn Pn Pn Pi4 / , x
[0035] (1) Pm Pn P34. = (V!V) 'V!u
[0036] 其中 'X, i； Zj 1 「 n T,尤 r2 乙 1
[0037] K= \ ：. H A 1. A >'t 1 .x9 1
[0038] U.二二；. .? i'
[0039] 其中，參數(shù)矩陣P中的每一個(gè)元素均表示一個(gè)相機(jī)的參數(shù)。
[0040] 步驟二，根據(jù)參數(shù)矩陣P生成三維映射表。包括以下步驟：
[0041 ]步驟2.1:定義三維映射表的結(jié)構(gòu)，如圖6所示。
[0042]其中，H、W分別對(duì)應(yīng)三維映射表空間中圖像的行數(shù)和列數(shù)，D是相機(jī)的最遠(yuǎn)檢測(cè)距 離。x是圖像的橫坐標(biāo)，坐標(biāo)軸x為三維映射表第一維;y為圖像的縱坐標(biāo)，坐標(biāo)軸y為三維映 射表第二維;d是(x，y)處的像素值，坐標(biāo)軸d為三維映射表第三維。三維映射表(x，y，d)位置 存儲(chǔ)的是圖像坐標(biāo)(x，y)像素值為d時(shí)對(duì)應(yīng)的世界坐標(biāo)(X xyd，Yxyd，Zxyd)。
[0043] 步驟2.2:針對(duì)圖像坐標(biāo)系上所有的圖像坐標(biāo)(x，y)，分別計(jì)算每個(gè)圖像坐標(biāo)(x，y) 在不同像素值d時(shí)對(duì)應(yīng)的世界坐標(biāo)系上的世界坐標(biāo)(Xxyd，Y Xyd，ZXyd )，利用求得的世界坐標(biāo) (Xxyd，Yxyd，Zxyd )填充三維映射表;包括以下步驟：
[0044] 步驟2.2.1:求圖像坐標(biāo)(x，y)對(duì)應(yīng)的射線與世界坐標(biāo)系中的X-Y平面的夾角0xy。
[0045] 給定圖像坐標(biāo)(x，y)，其對(duì)應(yīng)的射線不隨當(dāng)前圖像坐標(biāo)(x，y)的像素值d的變化而 變化，即該射線與X-Y平面的夾角0 xy不隨像素值d的變化而變化。
[0046] 設(shè)圖像坐標(biāo)(x，y)對(duì)應(yīng)的世界坐標(biāo)系中的Zxy = 0,那么，根據(jù)相機(jī)的參數(shù)矩陣P，可 得圖像坐標(biāo)(x，y)對(duì)應(yīng)的世界坐標(biāo)(Xxy，Yxy，0)，即： - Al - ：?3.ll P\2 ~ ~ Pu (^3^""~ Pn v yxr [Pn -p^y p?2 -p^y\ [Pi4y - Pu+(p^y - Pn )z，,
[0047] ' =A廣 ftrT Pu-Pnx P34-X-Pu Pu-Pny Pn -Pay] [p^y~-PiA\ (2)
[0048]相機(jī)的世界坐標(biāo)為(0,0，H)，根據(jù)勾股定理可得：
(3) (4)
[0052]步驟2.2.2:遍歷圖像坐標(biāo)(1，7)處的像素值(1，(1￡[0,255)，計(jì)算圖像坐標(biāo)(1，7)在 像素值為d時(shí)對(duì)應(yīng)的世界坐標(biāo)(Xxyd，Yxyd，Zxyd)。即：
[0053] Zxyd = H-kdsin9xy r n [Xv,，/ \pn- Pnx Pn -PnAl\ Pmx ~Pu+(Pax ~ Pn )Z,
[0054] = ...... 、7 ^ [^2! ~Pn}' Pn -Pny\ [P?y- Pia + (Pay ~ Pn)Zrni ( 5)
[0055] 其中，k為像素值與實(shí)際距離的比值；
[0056] 將求出的圖像坐標(biāo)(x，y)在不同像素值d時(shí)的(Xxyd，Yxyd，Zxyd)保存到三維映射表的 (x，y，d)位置。
[0057] 步驟2.2.3:選取下一個(gè)圖像坐標(biāo)(x，y)，重復(fù)步驟2.2.1和步驟2.2.2，直至遍歷完 整幅圖片中的所有圖像坐標(biāo)，得到三維映射表，將三維映射表保存至磁盤。
[0058]步驟三，加載在步驟二中儲(chǔ)存的三維映射表，利用相機(jī)獲取深度視頻流，深度視頻 流是從RGB-D相機(jī)米集的深度圖序列，遍歷深度視頻流中每幀圖像上圖像坐標(biāo)(x，y)的像素 值d，圖像坐標(biāo)(x，y)在像素值為d時(shí)在三維映射表中對(duì)應(yīng)的位置為(x，y，d)，查詢?nèi)S映射 表得到位置(X，y，d)對(duì)應(yīng)的世界坐標(biāo)(Xxyd，Yxyd，Zxyd )，遍歷完成后，每幀圖像上的所有圖像 坐標(biāo)(X，y)在不同像素值d時(shí)的世界坐標(biāo)(Xxyd，Yxyd，Z xyd)形成該幀圖像的三維點(diǎn)云。
[0059]本發(fā)明的方法可以有效降低三維點(diǎn)云恢復(fù)的計(jì)算量，參見步驟三，僅通過(guò)查詢?nèi)?維映射表，即可實(shí)現(xiàn)三維點(diǎn)云的恢復(fù)，具有高實(shí)時(shí)性、低計(jì)算量的優(yōu)點(diǎn)。
[0060] 實(shí)施例
[00611在實(shí)施例處理過(guò)程中，采樣頻率為25幀/秒，幀圖像的大小為320X240,圖4是從 RGB-D相機(jī)采集的深度視頻流的一段，采用本發(fā)明的方法對(duì)深度圖進(jìn)行點(diǎn)云恢復(fù)。
[0062]步驟一，建立世界坐標(biāo)系，如圖2,選定相機(jī)正下方的地面為世界坐標(biāo)系的原點(diǎn)，X-Y平面平行于地面;使用標(biāo)定支架，獲取6組圖像坐標(biāo)系上的點(diǎn)與其對(duì)應(yīng)的世界坐標(biāo)系上的 點(diǎn)，如圖3;計(jì)算相機(jī)的參數(shù)矩陣P。
[0063]步驟二，根據(jù)參數(shù)矩陣P生成三維映射表。生成結(jié)構(gòu)為Sheet [240] [320] [200] [3] 的三維映射表，其流程偽代碼如下：
[0065]將生成的 Sheet[240][320][200][3]保存至磁盤。
[0066] 步驟三，加載磁盤上的三維映射表，從RGB-D相機(jī)獲取深度視頻流，利用三維映射 表，直接將深度視頻流中的每幀圖像上的圖像坐標(biāo)(x，y，d)映射到世界坐標(biāo)(X，Y，Z)，其偽 代碼流程如下：
[0068]使用OpenGL繪制出每幅圖像的點(diǎn)云，如圖5，在三維坐標(biāo)系內(nèi)，灰色的點(diǎn)是恢復(fù)的 三維點(diǎn)云。
【主權(quán)項(xiàng)】
1. 一種基于=維映射表的=維點(diǎn)云快速重建方法，其特征在于，包括W下步驟： 步驟一，進(jìn)行相機(jī)標(biāo)定，得到相機(jī)的參數(shù)矩陣P; 步驟二，根據(jù)參數(shù)矩陣P生成=維映射表，=維映射表的（x，y，d)位置上存儲(chǔ)的是圖像 坐標(biāo)(X，y ；)在像素值為d時(shí)對(duì)應(yīng)的世界坐標(biāo)(Xxyd，Yxyd，Zxyd ); 步驟=，利用相機(jī)獲取深度視頻流，遍歷深度視頻流中的每帖圖像上的圖像坐標(biāo)(X，y) 的不同像素值d，圖像坐標(biāo)(x，y)在像素值為加寸在=維映射表中對(duì)應(yīng)的位置為(x，y，d)，查 詢S維映射表得到位置(x，y，d)對(duì)應(yīng)的世界坐標(biāo)村巧<1，￥如，2巧4)，每帖圖像上的所有圖像坐 標(biāo)(X，y)在不同像素值加寸的世界坐標(biāo)(Xxyd，Yxyd，Zxyd)形成該帖圖像的S維點(diǎn)云。2. 如權(quán)利要求1所述的基于=維映射表的=維點(diǎn)云快速重建方法，其特征在于，所述步 驟二中根據(jù)參數(shù)矩陣P生成=維映射表，包括W下步驟： 步驟2.1:定義=維映射表的結(jié)構(gòu)，=維映射表包括坐標(biāo)軸X、坐標(biāo)軸y和坐標(biāo)軸d，其中， 坐標(biāo)軸X是圖像坐標(biāo)(x，y)的橫坐標(biāo)，坐標(biāo)軸y是圖像坐標(biāo)(x，y)的縱坐標(biāo)，坐標(biāo)軸d是圖像坐 標(biāo)(x，y)的像素值； 步驟2.2:針對(duì)圖像坐標(biāo)系上所有的圖像坐標(biāo)(x，y)，分別計(jì)算每個(gè)圖像坐標(biāo)(x，y)在不 同像素值d時(shí)對(duì)應(yīng)的世界坐標(biāo)系上的世界坐標(biāo)(Xxyd，Yxyd，Zxyd )，利用求得的世界坐標(biāo)(Xxyd， Yxyd, Zxyd)填充S維映射表。3. 如權(quán)利要求2所述的基于=維映射表的=維點(diǎn)云快速重建方法，其特征在于，所述步 驟2.2的實(shí)現(xiàn)方法包括： 步驟2.2.1:求圖像坐標(biāo)（X _ V )對(duì)脈的射錶白世巧業(yè)標(biāo)累由的X-Y平面的夾角目xy :其中，H表示相機(jī)在世界坐標(biāo)系中的架設(shè)高度，Xxy和Yxy分別表示圖像坐標(biāo)(x，y)對(duì)應(yīng)的 世界坐標(biāo)的橫坐標(biāo)和縱坐標(biāo)； 步驟2.2.2:遍歷圖像坐標(biāo)(x，y)處的像素值CUdG [0,255)，計(jì)算圖像坐標(biāo)(x，y)在像素 值為加寸對(duì)應(yīng)的世界坐標(biāo)(Xxyd，Yxyd，Zxyd): Zxyd = H-kd S i n 目 Xy其中，Pij (1《i《3，1《j《4)表示參數(shù)矩陣P中的元素;k為像素值與實(shí)際距離的比值； 步驟2.2.3:選取下一個(gè)圖像坐標(biāo)(X，y)，重復(fù)步驟2.2.1和步驟2.2.2，直至遍歷完整幅 圖片中的所有圖像坐標(biāo)，得到=維映射表。
【文檔編號(hào)】G06T17/00GK105913488SQ201610235008
【公開日】2016年8月31日
【申請(qǐng)日】2016年4月15日
【發(fā)明人】宋煥生, 孫士杰, 張朝陽(yáng), 劉瑞芝, 王璇, 陳艷, 李懷宇, 崔華, 張文濤, 張向清, 李瑩, 嚴(yán)騰, 鄭寶峰, 張斌
【申請(qǐng)人】長(zhǎng)安大學(xué)