基于點云與數(shù)據(jù)驅動的樹木模型重建方法
【專利摘要】本發(fā)明公開了一種基于點云與數(shù)據(jù)驅動的樹木模型重建方法，該方法包括以下步驟：獲取樹木點云數(shù)據(jù)，對其進行預處理，并定義樹木模型的分級表示；提出移動圓柱體方法并用于從所述樹木點云數(shù)據(jù)中提取得到主枝骨架點，并進行枝葉分離處理；從所述樹木點云數(shù)據(jù)中提取得到樹冠特征點；提出分級離子流方法并用于對主枝骨架點和樹冠特征點進行結構化；根據(jù)已經結構化的所有樹枝的骨架點和半徑，重建得到完整的樹木模型。本發(fā)明為從三維點云數(shù)據(jù)中重建出完整的樹木模型提供了解決方案，獲取的重建模型與原始點云具有很高的吻合度，而且對遮擋嚴重、形態(tài)復雜的模型都能獲得較好的重建結果。
【專利說明】基于點云與數(shù)據(jù)驅動的樹木模型重建方法
【技術領域】
[0001]本發(fā)明屬于植物建模和計算機圖形處理的交叉【技術領域】，涉及利用三維激光掃描儀進行實物測量得到樹木點云數(shù)據(jù)，特別涉及一種從掃描的三維點云數(shù)據(jù)中重建出完整的三維樹木模型的方法。
【背景技術】
[0002]植物在我們日常生活中起著重要的作用，既可以調節(jié)生態(tài)平衡，也可以綠化環(huán)境，清新空氣。植物模型的準確重建可以應用于許多領域，如指導農業(yè)林業(yè)的生產，保護瀕危的古樹，或者在數(shù)字電影和娛樂游戲中提供虛擬的環(huán)境。目前植物建模的技術大體上可以分為四類:基于規(guī)則的方法，基于幾何解析表達的方法，基于草繪的方法以及基于樹木數(shù)字化的方法。
[0003]近年來由于數(shù)字化手段的快速發(fā)展，基于樹木數(shù)字化的重建方法在植物重建中獲得越來越多的重視，該方法目前主要以樹木數(shù)字化手段獲得的樹木照片、點云等作為輸入數(shù)據(jù)，利用一些先驗知識和規(guī)則，獲得與輸入數(shù)據(jù)相似的植物模型。除了獲得較好的視覺效果外，重建模型的準確性也逐漸成為重建的目標之一。其中，基于照片的重建方法具有數(shù)據(jù)采集方便，重建模型視覺效果好的特點，但是準備工作多，手工交互工作量大，重建模型與真實模型只能保持在某一個或某幾個角度相似，并不能反映出植物的真實形態(tài)?；谌S掃描點云的方法以樹的三維掃描數(shù)據(jù)作為輸入，幾何信息豐富，精度高，可以獲得較照片精度高得多的模型。Cheng2007 (Z.Cheng, X.Zhang and B.Chen, “Simple Reconstructionof Tree Branches From a Single Range Image,，’Journal of Computer Science and Technology, vol.22, n0.6, pp.846C858, 2007)提出的樹木點云數(shù)據(jù)的重建方法中，通過手工分割的方法將樹冠部分與樹干部分實現(xiàn)分離，對于樹干部分，首先通過掃描圖像的深度檢測實現(xiàn)枝干之間的分離，再利用圓柱擬合獲得骨架點以及骨架點對應的半徑，該方法可以獲得相對準確的骨架位置和樹枝半徑，但是無法對細枝以及樹冠進行重建。Neubert2007(Neubert, T.Franken and 0.Deussen, Approximate Image Based Tree-Modeling UsingParticle Flows, ACM Transactions on Graphics (TOG).ACM, 26 (3): 88, 2007.)將粒子流的方法用于數(shù)據(jù)驅動的樹木建模中，他們首先從兩張正交拍攝的樹木圖片中提取出方向場，然后沿方向場采用粒子流方法將樹冠與主枝進行連接，從而使得重建的模型與輸入的照片相吻合。但是該方法使用的是單層粒子流的運動，因此只適用于二級結構。本發(fā)明將該方法進行了擴展，使用分級的粒子流方法來提取樹木的多級結構，而且本發(fā)明是從點云數(shù)據(jù)中重建模型。Livny2010 (Y.Livny, F.Yan, M.0lson, B.Chen, H.Zhang andJ.El-Sana, “Automatic Reconstruction of Tree Skeletal Structures from PointClouds, ”ACM Trans.Graph, vol.29, n0.151, pp.1C8, 2010.)提出了一種基于全局擬合優(yōu)化的方法提取點云數(shù)據(jù)的骨架結構，該方法更加魯棒，但在遮擋嚴重的情況下仍然無法準確地重構出主枝和樹冠的骨架。Livny2011 (Y.Livny, S.Pirk, Z.Cheng, F.Yan, 0.Deussen, D.Cohen-Or and B.Chen.Texture-1obes for Tree Modelling, ACM Transactions onGraphics (Proceedings of SIGGRAPH2011), vol.30, n0.4, 2011.)提出了一種基于裂片的樹木表示方法，該方法可以用于樹木的重建，也可以對現(xiàn)有的樹木模型進行重新表示，本發(fā)明對該方法進行了擴展，同時考慮了樹冠和可見主枝的信息，并采用分級粒子流的方法對樹冠和主枝進行填充。

【發(fā)明內容】

[0004]本發(fā)明提供一種基于點云與數(shù)據(jù)驅動的樹木模型重建方法，以解決現(xiàn)有的樹木重建方法準確性不高，且只能處理較為簡單的模型，對于遮擋嚴重、形態(tài)復雜的模型難以獲得較好重建結果的缺點。
[0005]為實現(xiàn)上述目的，本發(fā)明提供一種基于點云與數(shù)據(jù)驅動的樹木模型重建方法，該方法包括以下步驟:
[0006]步驟S1、獲取樹木點云數(shù)據(jù)，對其進行預處理，并定義樹木模型的分級表示；
[0007]步驟S2、從所述樹木點云數(shù)據(jù)中提取得到主枝骨架點及其半徑，并進行枝葉分離處理；
[0008]步驟S3、從所述樹木點云數(shù)據(jù)中提取得到樹冠特征點；
[0009]步驟S4、對于主枝骨架點進行結構化；
[0010]步驟S5、對于樹冠特征點進行結構化并計算得到各個小枝的半徑；
[0011]步驟S6、根據(jù)已經結構化的所有樹枝的骨架點和半徑，重建得到完整的樹木模型。
[0012]本發(fā)明采用計算機圖形處理的技術，從掃描的三維樹木點云數(shù)據(jù)中重建出完整的樹木模型，本發(fā)明通過對點云局部幾何量和空間位置關系的綜合分析，既自動準確地在復雜點云數(shù)據(jù)中計算出主枝的骨架點并獲得準確的半徑，又完整地恢復了樹冠形狀，符合生物學特征地模擬出大量細枝，使重建模型在準確的基礎上獲得了較高的真實感。
【專利附圖】

【附圖說明】
[0013]圖1是本發(fā)明點云與數(shù)據(jù)驅動的樹木模型重建方法的流程圖；
[0014]圖2是根據(jù)本發(fā)明一實施例獲取的白皮松樹掃描點云數(shù)據(jù)；
[0015]圖3是根據(jù)本發(fā)明一實施例的樹木分級表示示意圖；
[0016]圖4是根據(jù)本發(fā)明一實施例中圓柱體搜索空間的示意圖；
[0017]圖5是根據(jù)本發(fā)明一實施例圓柱體移動搜索方法流程圖；
[0018]圖6是根據(jù)本發(fā)明一實施例用分級離子流提取的主枝骨架點；
[0019]圖7是根據(jù)本發(fā)明一實施例得到的枝葉分離結果示意圖；
[0020]圖8是根據(jù)本發(fā)明一實施例提取得到的樹冠特征點的結果示意圖；
[0021]圖9是根據(jù)本發(fā)明一實施例結構化的主枝和樹冠細枝示意圖；
[0022]圖10是根據(jù)本發(fā)明一實施例重建出的完整白皮松樹模型；
[0023]圖11是輸入點云數(shù)據(jù)遮擋嚴重情況下本發(fā)明與現(xiàn)有技術的結果對比圖；
[0024]圖12是利用本發(fā)明對掃描的樹林點云進行重建得到的結果示意圖。
【具體實施方式】
[0025]為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚明白，以下結合具體實施例，并參照附圖，對本發(fā)明進一步詳細說明。
[0026]圖1是本發(fā)明點云與數(shù)據(jù)驅動的樹木模型重建方法的流程圖，如圖1所示，本發(fā)明方法包括以下步驟:s1、樹木點云數(shù)據(jù)的獲取及預處理，并定義樹木模型的分級表示；S2、主枝骨架點提取及枝葉分離；S3、樹冠特征點提??；S4、主枝骨架點的結構化；S5、樹冠特征點的結構化；S6、完整模型的重建。
[0027]下面對上述每個步驟進行更加詳細的說明。
[0028]步驟S1、獲取樹木點云數(shù)據(jù)，對其進行預處理，并定義樹木模型的分級表示；
[0029]要實現(xiàn)真實的植物三維建模首先要獲得植物的原始模型，目前獲取植物原始模型的方法主要有兩種，分別為依靠照相機獲取圖像模型和依靠激光掃描儀獲取三維點云模型。本發(fā)明利用三維激光掃描儀(如Cyrax)、視覺照相等工具獲取樹木點云數(shù)據(jù)，基于點云分析技術保留需要重建的單個和多個樹木上的點云，去掉其它對象的點，即預處理。圖2是根據(jù)本發(fā)明一實施例獲取的白皮松樹掃描點云數(shù)據(jù)。
[0030]另外，根據(jù)植物學的知識，本發(fā)明將樹木的形狀進行分級表示:主枝、細枝和樹葉，其中主枝包含2到4級枝，細枝包含2-5級枝，具體的級數(shù)與樹種、樹齡有關，一般來說，樹齡大的分級數(shù)也多，主枝分級數(shù)記為NL，細枝分級數(shù)記為NS，細枝和樹葉合起來構成樹冠。圖3是根據(jù)本發(fā)明一實施例的樹木分級表示示意圖，以5級為例，其中，圖3A顯示了樹木的主要結構，圖3B顯示了 5級分級的元素，圖3C顯示了 5級的樹木模型。
[0031]步驟S2、從所 述樹木點云數(shù)據(jù)中提取得到主枝骨架點及其半徑，并進行枝葉分離處理；
[0032]該步驟首先從所述樹木點云數(shù)據(jù)中提取出主枝骨架點，并利用提取得到的主枝骨架點實現(xiàn)枝葉分離，然后在后續(xù)的步驟中完成主枝和樹冠的結構化。
[0033]所述步驟S2包括以下步驟:
[0034]步驟S2.1、計算點云各個點P處的局部幾何量；
[0035]所述點云各個點P處的局部幾何量包括法方向--(ρ)、主曲率Ic1 (P)和k2 (P)
Gi1(P) ( k2(p)),以及主曲率對應的主方向Cii1 (P)和?^2(P)。
[0036]所述步驟S2.1進一步包括以下步驟:
[0037]步驟S2.1.1、建立整個點云數(shù)據(jù)的kd樹；
[0038]在計算幾何中，kd樹是已經被證明的查找近鄰的最快捷的數(shù)據(jù)結構之一，kd樹的建立方法在此不作贅述。
[0039]步驟S2.1.2、對于點云數(shù)據(jù)中的每一個點p，利用kd樹查找其多個，比如15個或30個近鄰點，假設這些近鄰點來自于同一個平面，利用最小二乘方法擬合出這個平面，以這
個平面的法向量作為點P的法方向；
[0040]步驟S2.1.3、在點P處建立局部坐標系，并擬合出一個二次曲面h(u, V) =CciUMc1In^c2V2,其中(u, v, h(u, V))是表示空間中的一點,cQ, C1, C2是曲面系數(shù)。求得二次曲面的系數(shù)后，利用該二次曲面計算出點P處的主曲率h (P)和匕㈦以及主方向
[0041]步驟S2.1.4、定義P點處的曲率圓半徑為r(p)=l/k2(p)，曲率圓心為
【權利要求】
1.一種點云與數(shù)據(jù)驅動的樹木模型重建方法，其特征在于，該方法包括以下步驟: 步驟S1、獲取樹木點云數(shù)據(jù)，對其進行預處理，并定義樹木模型的分級表示； 步驟S2從所述樹木點云數(shù)據(jù)中提取得到主枝骨架點及其半徑，并進行枝葉分離處理； 步驟S3、從所述樹木點云數(shù)據(jù)中提取得到樹冠特征點； 步驟S4、對主枝骨架點進行結構化； 步驟S5、對樹冠特征點進行結構化并計算得到各個小枝的半徑； 步驟S6、根據(jù)已經結構化的所有樹枝的骨架點和半徑，重建得到完整的樹木模型。
2.根據(jù)權利要求1所述的方法，其特征在于，所述步驟SI中，利用三維激光掃描儀、視覺照相工具獲取所述樹木點云數(shù)據(jù)，基于點云分析技術保留需要重建的單個和多個樹木上的點云,去掉其它對象的點。
3.根據(jù)權利要求1所述的方法，其特征在于，所述步驟SI中，樹木的形狀分為主枝、細枝和樹葉，其中，主枝的分級數(shù)記為NL，細枝的分級數(shù)記為NS，細枝和樹葉構成樹冠。
4.根據(jù)權利要求1所述的方法，其特征在于，所述步驟S2中利用移動圓柱體方法從所述樹木點云數(shù)據(jù)中提取得到主枝骨架點及其半徑，所述步驟S2進一步包括以下步驟: 步驟S2.1、計算點云各個點P處的局部幾何量:法方l.'彳H(p)、主曲率Ii1 (P)和k2(p)，其中k? ( k2 (p)，以及主曲率對應的主方向Κ(ρ)和石(p); 步驟S2.2、基于點云各`個點P處的局部幾何量來定義一個擬合P點枝干形狀的圓柱，利用圓柱體的移動來搜索潛在的枝干，從而提取得到主枝骨架點及其半徑； 步驟S2.3、利用提取得到的主枝骨架點，將所述點云數(shù)據(jù)分為主枝上的點云滬b和樹冠上的點云Pl，實現(xiàn)枝葉分離。
5.根據(jù)權利要求4所述的方法，其特征在于，所述步驟S2.1進一步包括以下步驟: 步驟S2.1.1、建立整個點云數(shù)據(jù)的kd樹； 步驟S2.1.2、對于點云數(shù)據(jù)中的每一個點p，利用kd樹查找其多個近鄰點，假設這些近鄰點來自于同一個平面，利用最小二乘方法擬合得到該平面，以該平面的法向量作為點P的法方向H(p); 步驟S2.1.3、在點P處建立局部坐標系，并擬合得到一個二次曲面，利用該二次曲面計算得到點P處的主曲率kl (P)和1^2&)以及主方向(I1(P)和d2(P)； 步驟S2.1.4、定義P點處的曲率圓半徑為r(p) l/k2(p)，曲率圓心為b(p) = P — 1"(^)穴(^)，用(11(^)表示？處樹枝的軸向，1'&)表示該點處的樹枝半徑，b (P)表示該點處的樹干軸線的位置，即樹枝骨架點。
6.根據(jù)權利要求4所述的方法，其特征在于，所述步驟S2.2進一步包括以下步驟: 步驟S2.2.1、從點云數(shù)據(jù)中任選一點Ptl,構造初始圓柱體S(P0)=Sl1) = (^⑴^⑴^⑴…⑴^其中，b(1)表示初始圓柱體S(1)的底面圓心，r(1)表示初始圓柱體Sa)的底面圓半徑，?⑴表示初始圓柱體S(1)的軸向，Ηω表示初始圓柱體S(1)的高度，將初始圓柱體S(1)的拓展圓柱體記為T(Sw)，T(S⑴)=(b⑴,人八⑴,.^⑴,2H⑴)，其中，入1為一定值，集合矽6(1))代表1'(5(1))中的所有點；步驟S2.2.2、判斷集合滬(S⑴)中的任意一點q是否是有效的，如果集合爐(S⑴)中有效點的數(shù)目大于第一閾值N1，則認為初始圓柱體S(1)的后繼圓柱體S(2)存在，且其參數(shù)b(2),r(2), H⑵分別是集合<KS⑴)中所有點的曲率圓心、曲率半徑和主方向的平均值，并將初始圓柱體S(1)中的所有點標記為已處理；步驟S2.2.3、從與初始圓柱體S⑴的軸向相反的伴生圓柱體S(_i) = (b⑴,⑴,~3ω,Η⑴)出發(fā)按照步驟S2.2.2尋找后繼圓柱體S⑶； 步驟S2.2.4、在后繼圓柱體S(2)或其伴生圓柱體S(_2)的基礎上繼續(xù)執(zhí)行搜索直到沒有找到任何后繼圓柱體，如果找到的圓柱體的數(shù)目大于第二閾值N2，則這些圓柱體構成一個主枝片段，其圓心作為主枝骨架點；步驟S2.2.5、在點云數(shù)據(jù)中重新選擇一個未被處理的點并重復執(zhí)行上面四個步驟，直到所有點都被標記為已處理，此時得到一個有序的圓柱序列以及一個有序骨架點序列Tj = {ci,h = I, IljI，其中每個Ci代表一段主枝，j表示第j段主枝，nj表示第j段主枝包含骨架點的數(shù)目。
7.根據(jù)權利要求6所述的方法，其特征在于，所述步驟S2.2.2中，如果圓柱體S (P0)和 s(q)滿足:l)b(q) e S(PO) ； 2) r(q)/r(p0) = 1.0； 3) i(q)和5(p0)之間的夾角較小，其中，S (q)表示點處的圓柱體，b(q)表示圓柱體S (q)的曲率圓心，r(q)表示圓柱體S(q)的曲率半徑，Hptl)表示圓柱體S(Ptl)的曲率半徑，K(q)表示圓柱體S (q)的軸向，(I1 (Po)表示圓柱體S(Pci)的軸向，則點q為一個有效的點。
8.根據(jù)權利要求4所述的方法，其特征在于，所述步驟2.3中，位于圓柱搜索區(qū)域內的點云認為是位于主枝上的點云,其它點云認為是位于樹冠上的點云。
9.根據(jù)權利要求1所述的方法，其特征在于，所述步驟S3中，利用多尺度方法提取所述樹冠特征點，其中，每一尺度對應樹木的一級表不，NS個尺度Ωρ Ω2、…、ΩΝ?分別對應樹木的NS級細枝表不，并且Q1 > Ω2；^..> Qns ;對于每一尺度Ω」，將樹冠點的包圍盒劃分為若干均勻且等尺寸的立方體IVJ，有效Vi的重心匕認為是樹冠在尺度Ω]上的一個特征點；計算每一尺度Ω」下所有有效Vi的重心bi;得到樹冠在尺度Ω」上的所有特征點。
10.根據(jù)權利要求9所述的方法，其特征在于，當一個立方體voxelVi滿足下列兩個條件的時候，稱Vi是有效的: DVi中屬于夕I的點的數(shù)量不小于第三閾值N3 ； 2)Vi中沒有屬^ Pb Il勺點。
11.根據(jù)權利要求1所述的方法，其特征在于，所述步驟S4和步驟S5中，采用三維分級粒子流運動方法對主枝骨架點和樹冠特征點進行結構化，即: 1)將主枝骨架點全面連接起來； 2)將對應的樹木第一級樹冠特征點作為粒子流的起點運動到主枝骨架點上，粒子運行的軌跡作為該級細枝的骨架點； 3)將樹木其它級別對應的樹冠特征點作為粒子流的起點運動到上一級主枝骨架點上，粒子運行的軌跡仍然作為該級的骨架點； 4)最后根據(jù)主枝的半徑估計得到各個小枝的半徑。
12.根據(jù)權利要求1所述的方法，其特征在于，所述步驟S6中，首先利用已經結構化的所有樹枝的結構和半徑，使用不同半徑的三角網(wǎng)格模型的圓柱體對樹枝進行擬合，重建得到樹木的三維網(wǎng)格模型；然后在網(wǎng)格模型上添加合適的紋理；最后根據(jù)輸入點云數(shù)據(jù)的規(guī)模和樹葉的種類，決定所需樹葉的信息，并將不同的樹葉添加到所述三維網(wǎng)格模型細枝的末端，最終實現(xiàn)樹木三維模型的完整重建。
【文檔編號】G06T17/00GK103871100SQ201410131203
【公開日】2014年6月18日 申請日期:2014年4月2日 優(yōu)先權日:2014年4月2日
【發(fā)明者】張曉鵬, 李紅軍, 郭建偉, 代明睿, 劉佳 申請人:中國科學院自動化研究所