在點云中回填點的制作方法
【專利摘要】一種用于增加點云（132）中的點的裝置、系統(tǒng)和方法。在其中一個示例性實施例中，接收場景（110）的二維圖像（121）和該場景（110）的點云（132）。將點云（132）中的至少一部分點映射到二維圖像（121）以形成變換點（146）。使用二維圖像（121）和變換點建立融合數(shù)據(jù)陣列（150）。使用該融合數(shù)據(jù)陣列（150）為點云（132）確定新點（164）。將新點（164）加到點云（132）中以形成新的點云（162）。
【專利說明】在點云中回填點【技術(shù)領(lǐng)域】
[0001]本發(fā)明通常涉及點云，具體地，涉及增加點云的分辨率。更具體地，本發(fā)明涉及用于增加點云中點的數(shù)量從而增加點云的分辨率的系統(tǒng)和方法。
【背景技術(shù)】
[0002]點云是描述三維場景的三維(3D)坐標(biāo)系中點的集合。通常，點云中的點表示對象的外表面。光探測和測距(light detection and ranging,LIDAR)系統(tǒng)是能夠產(chǎn)生點云的一種類型的傳感器系統(tǒng)的一個實例。還可以使用如立體攝像機系統(tǒng)、移動激光成像系統(tǒng)和其他類型的傳感器系統(tǒng)產(chǎn)生點云。
[0003]點云還可用于執(zhí)行各種操作如，例如，對象識別、對象分類、場景可視化、分割、二維圖像數(shù)據(jù)增強和/或其他類型的操作。使用點云執(zhí)行這些操作的性能水平會取決于點云的分辨率。
[0004]如本文所用，點云的“分辨率”可以是點云獲取的場景中的特征在點云內(nèi)可辨別的細節(jié)水平。點云的分辨率可以取決于點云中點的數(shù)量和/或點云的一部分或更多部分中的點的密度。如本文所用，“點密度”衡量每單位體積內(nèi)的點的數(shù)量。密度比點云的另一部分高的那部分點云比該其他部分更密集。
[0005]在一些情形下，使用稀疏點云的對象識別、對象分類、分割和/或場景可視化會產(chǎn)生不準(zhǔn)確的結(jié)果。例如，點云可能不夠密集從而不能正確地進行對象識別或分類。
[0006]一些目前可用于增加點云中點的數(shù)量的解決方案包括對場景中的對象進行假設(shè)。例如，可以假設(shè)場景中對象的形狀并根據(jù)這些假設(shè)將新點加到點云中。然而，對于這些類型的解決方案，加入的新點在三維參考坐標(biāo)系中的位置沒有期望的準(zhǔn)確。
[0007]另外，一些目前可用的解決方案可能無法考慮場景中的實際洞穴或間隙。例如，對于一些目前可用的解決方案，新點可能加入到點云中表示場景中實際的洞穴或間隙所在的位置。此外，一些目前可用的解決方案會將連接對象的點加到點云中，而這些對象在場景中沒有被連接，例如，樹頂和地面。因此，希望有一種方法和裝置至少考慮一些上述討論的問題以及其他可能的問題。

【發(fā)明內(nèi)容】

[0008]在其中一個示例性實施例中，裝置包括圖像處理系統(tǒng)。該圖像處理系統(tǒng)被配置為將場景的點云中的至少一部分點映射到場景的二維圖像以形成變換點。圖像處理系統(tǒng)被配置為使用二維圖像和變換點建立融合數(shù)據(jù)陣列。此外，圖像處理系統(tǒng)被配置為使用融合數(shù)據(jù)陣列確定點云的新點并將新點加到點云中以形成新的點云。
[0009]在另一個示例性實施例中，圖像處理系統(tǒng)包括融合管理器、深度值生成器和點云管理器。融合管理器被配置為將場景的點云中的至少一部分點映射到場景的二維圖像以形成變換點，而且被配置為使用二維圖像和變換點建立融合數(shù)據(jù)陣列。融合數(shù)據(jù)陣列包括與含有非空深度值的填充數(shù)據(jù)向量相關(guān)聯(lián)的匹配元素和與含有空的深度值的未填充數(shù)據(jù)向量相關(guān)聯(lián)的非匹配元素。深度值生成器被配置為確定新的深度值以替換至少一部分空的深度值。點云管理器被配置為使用新的深度值確定點云的新點并將新點加入到點云中以形成新的點云。
[0010]在又一個示例性實施例中，提供了用于向點云中增加多個點的計算機實施方法。接收場景的二維圖像和場景的點云。點云中至少一部分點被映射到二維圖像以形成變換點。使用二維圖像和變換點建立融合數(shù)據(jù)陣列。使用融合陣列確定用于點云的新點。將新點加到點云中以形成新的點云。
[0011]本文所述的任何前述實施例還能構(gòu)思下列項所述的計算機實施方法。
[0012]第12項:用于向點云(132)中增加多個點的計算機實施方法，該計算機實施方法包括:
[0013]接收場景(110)的二維圖像(121)和場景(110)的點云(132)；
[0014]將點云(132)中的至少一部分點映射到二維圖像(121)以形成變換點(146)；
[0015]使用二維圖像(121)和變換點(146)建立融合數(shù)據(jù)陣列(150)；
[0016]使用融合數(shù)據(jù)陣列確定用于點云(132)的新點(164)；
[0017]將新點(164)加到點云(132)中以形成新的點云(162)。
[0018]第13項:根據(jù)第12項所述的計算機實施例方法，其中將點云(132)中的至少一部分點映射到二維圖像(121 )以形成變換點(146)包括:
[0019]確定攝像機系統(tǒng)的位姿信息；
[0020]使用該位姿信息將點云(132)的三維參考坐標(biāo)系變換為以攝像機為中心的三維坐標(biāo)系從而確定點z? (132)中的點的以攝像機為中心的坐標(biāo)；以及
[0021]將具有攝像機為中心的坐標(biāo)的點云(13 2 )中的至少一部分點映射到二維圖像
(121)中的像素位置(124)。
[0022]第14項:根據(jù)第12項所述的計算機實施方法，其中使用二維圖像(121)和變換點(146)建立融合數(shù)據(jù)陣列(150)包括:
[0023]形成融合數(shù)據(jù)陣列(150)，其中該融合數(shù)據(jù)陣列(150)由與二維圖像(121)中的像素一一對應(yīng)的元素(152)組成；以及
[0024]將數(shù)據(jù)向量(154)與融合數(shù)據(jù)陣列(150)中的元素相關(guān)聯(lián)，其中該數(shù)據(jù)向量(154)包括含有非空的深度值的填充數(shù)據(jù)向量(154)和含有空的深度值的未填充數(shù)據(jù)向量
(154)。
[0025]第15項:如第14項所述的計算機實施方法，其中使用融合數(shù)據(jù)陣列(164)確定用于點云(132)的新點(164)包括:
[0026]產(chǎn)生新的深度值(158)以替換至少一部分空的深度值；以及
[0027]使用新的深度值(158)確定用于點云(132)的新點(164)。
[0028]第16項:如第15項所述的計算機實施方法，其中產(chǎn)生新的深度值(158)以替換至少一部分空的深度值包括:
[0029]將一窗口的中心設(shè)定在融合數(shù)據(jù)陣列(150)中的一個元素的位置，其中該元素與包含空的深度值的未填充數(shù)據(jù)向量(154)相關(guān)聯(lián)；
[0030]確定由所述窗口重疊的一部分融合數(shù)據(jù)陣列(150)中的支持元素(500);以及
[0031]使用所述支持元素(500)和線性估計算法生成新的深度值(156)以替換空的深度值。
[0032]第17項:根據(jù)第16項所述的計算機實施方法，其中確定由窗口重疊的一部分融合數(shù)據(jù)陣列(500)中的支持元素包括:
[0033]確定由所述窗口重疊的部分融合數(shù)據(jù)陣列(150)中的匹配元素(304、306、308、310、312、314、316)是否滿足所選標(biāo)準(zhǔn)；
[0034]響應(yīng)于所述匹配元素(304、306、308、310、312、314、316)滿足所選標(biāo)準(zhǔn)，以優(yōu)良度分值(goodness score)給每個匹配兀素(304、306、308、310、312、314、316)評分；
[0035]通過優(yōu)良度分值排序匹配元素(304、306、308、310、312、314、316);以及
[0036]選擇一部分匹配元素(304、306、308、310、312、314、316)作為支持元素(500)。
[0037]第18項:如第16項所述的計算機實施方法，其進一步包括:
[0038]重復(fù)以下步驟:
[0039]將所述窗口的中心設(shè)定在所述融合數(shù)據(jù)陣列(150)中的元素的位置；確定由所述窗口重疊的部分融合數(shù)據(jù)陣列(150)中的支持元素(500);以及對于所述融合數(shù)據(jù)陣列
(150)中的每個位置，使用支持元素(500)和線性估計算法生成新的深度值(156)以替換空的深度值。
[0040]第19項:根據(jù)第15項所述的計算機實施方法，其中使用新的深度值確定用于點云
(132)的新點(164)包括:
[0041]使用新的深度值(158)，確定新點(164)在以攝像機為中心的三維坐標(biāo)系內(nèi)的以攝像機為中心的坐標(biāo)；
[0042]將以攝像機為中心的坐標(biāo)轉(zhuǎn)換為點云(132 )的三維參考坐標(biāo)系內(nèi)的點位置以形成新點(164)。
[0043]第20項:根據(jù)第15項所述的計算機實施方法，其中生成新的深度值(158)以替換至少一部分空的深度值包括:
[0044]使用窗口處理融合數(shù)據(jù)陣列(150)以生成新的深度值(158)。
[0045]上述特征和功能能夠在本發(fā)明的各種實施例中獨立實現(xiàn)或者也可以在其他實施例中被組合，參考下述說明和附圖可知其進一步細節(jié)。
【專利附圖】

【附圖說明】
[0046]上述示例性實施例的特征中的新穎特征將在所附權(quán)利要求書中闡述。然而，通過參考下文中本發(fā)明示例性實施例的的詳細說明并在閱讀時結(jié)合附圖可以更好地理解示例性實施例和優(yōu)選的使用模式及其進一步目的和特征，其中:
[0047]圖1是一個示例性環(huán)境，其中根據(jù)一個示例性實施例以方塊圖的形式示例了處理圖像和點云的圖像處理系統(tǒng)；
[0048]圖2根據(jù)示例性實施例圖示了融合數(shù)據(jù)陣列。
[0049]圖3根據(jù)示例性實施例圖示了由窗口重疊的一部分融合數(shù)據(jù)陣列；
[0050]圖4根據(jù)示例性實施例圖示了產(chǎn)生匹配元素組的每一個元素的分值的過程；
[0051]圖5根據(jù)示例性實施例圖示了支持元素的選擇；
[0052]圖6根據(jù)示例性實施例圖示了新的深度值的生成；
[0053]圖7根據(jù)示例性實施例圖示了融合圖像；[0054]圖8根據(jù)示例性實施例圖示了兩幅融合圖像之間的對照；
[0055]圖9根據(jù)示例性實施例圖示了最終融合圖像的對照；
[0056]圖10根據(jù)示例性實施例圖示了最終融合圖像表；
[0057]圖11根據(jù)示例性實施例以流程圖形式圖示了在點云中增加多個點的過程；
[0058]圖12根據(jù)示例性實施例以流程圖形式圖示了將點云中的點映射到二維圖像以形成變換點的過程；
[0059]圖13根據(jù)示例性實施例以流程圖形式圖示了建立融合數(shù)據(jù)陣列的過程；
[0060]圖14根據(jù)示例性實施例以流程圖形式圖示了生成新的深度值的過程；
[0061]圖15根據(jù)示例性實施例以流程圖形式圖示了為點云生成新點的過程；
[0062]圖16根據(jù)示例性實施例以方框圖形式圖示了數(shù)據(jù)處理系統(tǒng)。
【具體實施方式】
[0063]不同示例性實施例認識和考慮不同的方面。例如，這些示例性實施例認識和考慮希望有一種方法被用于以一定精度水平通過將新點加到點云的三維參考坐標(biāo)系中的位置上來增加點云中的點的數(shù)量。
[0064]另外，這些示例性實施例認識和考慮由點云獲取的相同場景的二維圖像可用于增加點云中點的數(shù)量。但是，這些示例性實施例認識和考慮希望通過處理二維圖像來增加點云中點的數(shù)量，而不對場景和/或二維圖像中獲取的場景中的對象的形狀做假設(shè)。
[0065]因此，該示例性實施例提供一種使用場景的二維圖像增加場景的點云中點的數(shù)量的系統(tǒng)和方法。此外，該系統(tǒng)和方法可以增加點云中點的數(shù)量而不對場景做任何假設(shè)。
[0066]現(xiàn)在參考圖1，其根據(jù)一個示例性實施例以方框圖的形式描述了一個圖像處理環(huán)境的示意圖。在圖1中，圖像處理環(huán)境100是圖像處理系統(tǒng)102可用于處理圖像和點云的環(huán)境的實例。
[0067]如圖所示，圖像處理系統(tǒng)102可以在計算機系統(tǒng)104中實施。計算機系統(tǒng)104可以包括一個或更多計算機和/或其他類型的硬件。當(dāng)計算機系統(tǒng)104中超過一個計算機時，這些計算機可以相互通信。
[0068]圖像處理系統(tǒng)102可以被配置為接收來自第一傳感器系統(tǒng)106和第二傳感器系統(tǒng)108的數(shù)據(jù)。第一傳感器系統(tǒng)106和第二傳感器系統(tǒng)108被配置為產(chǎn)生關(guān)于場景110的數(shù)據(jù)。場景Iio可以包括特征111。特征111可以包括，例如，但不限于，對象112。對象112可以包括，例如，但不限于，任何數(shù)量的運載工具、建筑物、人造結(jié)構(gòu)、人、動物、景觀特征、和/或其他類型的對象。其次，特征111還可以包括，例如，場景110的背景。
[0069]在這些示例性實例中，第一傳感器系統(tǒng)106可以采用第一成像系統(tǒng)114的形式。第一成像系統(tǒng)114可以是被配置為產(chǎn)生場景110的成像數(shù)據(jù)116的任何系統(tǒng)。在一個示例性實例中，第一成像系統(tǒng)114采用攝像機系統(tǒng)118的形式。另外，攝像機系統(tǒng)118可以采用電子光學(xué)攝像機系統(tǒng)的形式。
[0070]成像數(shù)據(jù)116可以包括，例如，但不限于，圖像120。具體地，圖像120可以是二維圖像121。當(dāng)電子光學(xué)攝像機系統(tǒng)產(chǎn)生圖像120時，圖像120可被稱為電子光學(xué)圖像。
[0071]如圖所示，圖像120可以由像素122組成。像素122可以被設(shè)置成由行和列組成的二維陣列。在這個示例性實例中，像素位置124可以確定像素122在這個陣列中的位置。如其中一個示例性實例所示，每一個像素位置124可以確定相應(yīng)像素的行和列。
[0072]此外，每個像素122可以與像素數(shù)據(jù)相關(guān)聯(lián)。像素的像素數(shù)據(jù)可以包括，例如，但不限于，若干顏色值、亮度值和/或其他值。該若干顏色值可以包括，例如，基于RGB顏色模型的紅色值、綠色值和藍色值。
[0073]在這些示例性實例中，第二傳感器系統(tǒng)108可以采用第二成像系統(tǒng)126的形式。第二成像系統(tǒng)126可以是被配置為生成場景110的點數(shù)據(jù)128的任何系統(tǒng)。在其中一個示例性實例中，第二成像系統(tǒng)126采用光探測和測距系統(tǒng)130的形式。
[0074]點數(shù)據(jù)128可以包括點云132。在這些示例性實例中，點云132可以采用三維點云133的形式。在一些示例性實例中，場景110的點云132可以從場景110的不同視角生成而不是從場景110的圖像120生成。
[0075]點云132由三維參考坐標(biāo)系中的點134組成。在這些示例性實例中，每個點位置136可以確定對應(yīng)點在這個三維參考坐標(biāo)系中的坐標(biāo)。在其中一個示例性實例中，參考坐標(biāo)系可以是真實世界坐標(biāo)系如，例如，地理坐標(biāo)系。
[0076]點云132的分辨率140可以是點云132獲取的場景110中的特征111在點云132內(nèi)可辨別的細節(jié)識別水平。在一些情況下，點云132的分辨率140可以取決于點云132中點134的數(shù)量138。例如，隨著點云132中點134的數(shù)量138的增加，點云132的分辨率140也會增加。
[0077]圖像處理系統(tǒng)102被配置為接收攝像機系統(tǒng)生成的圖像120和光探測和測距系統(tǒng)130產(chǎn)生的點云132。圖像處理系統(tǒng)102使用圖像120增加點云132的數(shù)量138，而且據(jù)此增加點云132的分辨率140。更具體地，圖像處理系統(tǒng)102可以被配置為生成可以被加到點云132中的新點。
[0078]如圖所示，圖像處理系統(tǒng)102可以包括融合管理器142、深度值生成器144和點云管理器145。融合管理器142被配置為將點云132中至少一部分點134映射到圖像120以形成變換點146。更具體地，融合管理器142被配置為將點云132中的至少一部分點134的點位置映射到圖像120的圖像平面的像素位置上。圖像120的圖像平面可以是位于像素122的二維陣列內(nèi)的平面。
[0079]可以使用例如變換算法148形成變換點146。變換算法148可以包括任何數(shù)量的用于將至少一部分點134映射到圖像120的圖像平面中的像素位置上的過程、方程和/或算法。在一個示例性實例中，變換算法148可以包括攝像機位姿(pose)估計算法如，例如，有效η點透視(efficient perspective-n-point,即EPnP)攝像機位姿估計算法。
[0080]攝像機位姿估計算法可以提供攝像機系統(tǒng)118的位姿的位姿信息。攝像機118的位姿可以包括攝像機系統(tǒng)118的方向和位置中的至少一種。
[0081]融合管理器142使用變換算法148將點云的三維參考坐標(biāo)系變換成以攝像機為中心的三維坐標(biāo)系。具體地，融合管理器142可以使用由攝像機位姿估計算法提供的攝像機系統(tǒng)118的位姿信息將三維參考坐標(biāo)系變換為以攝像機為中心的三維坐標(biāo)系。
[0082]利用這種變換，三維參考坐標(biāo)系的原點被移動到攝像機系統(tǒng)118的位置。然后融合管理器142在以攝像機為中心的三維坐標(biāo)系中確定點134的以攝像機為中心的坐標(biāo)。
[0083]在此之后，融合管理器142被配置為將點134的以攝像機為中心的坐標(biāo)映射到圖像120的圖像平面中的對應(yīng)像素位置以形成變換點146。以這樣的方式，點云132中點的攝像機為中心的坐標(biāo)被映射到位于圖像120之內(nèi)或位于圖像120之外但在與圖像120相同的圖像平面中的像素位置上。變換點146可以只包括被映射到圖像120內(nèi)的像素位置上的那些點。
[0084]融合管理器142被配置為使用圖像120和變換點146建立融合數(shù)據(jù)陣列150。融合數(shù)據(jù)陣列150包括基于圖像120和點云132被融合的數(shù)據(jù)。
[0085]如圖所示，融合數(shù)據(jù)陣列150可以包括元素152。每個元素152可以對應(yīng)圖像120中的一個像素122，而且每個像素122可以對應(yīng)一個元素152。具體地，元素152可以與圖像120中的像素122具有一一對應(yīng)關(guān)系。以這種方式，融合數(shù)據(jù)陣列150可以與圖像120中的像素陣列122具有相同的大小。
[0086]此外，因為每個變換點146對應(yīng)圖像120中的一個像素，所以每個變換點146還可以對應(yīng)于融合數(shù)據(jù)陣列150中對應(yīng)于那個像素的元素。每個變換點146可以被描述為到對應(yīng)一個元素152的映射。
[0087]例如，變換點146可以映射到元素152的第一部分。該元素的第一部分稱為匹配元素。然而，元素152的第二部分可以沒有任何映射到這些元素的變換點。元素152的第二部分被稱為非匹配元素。
[0088]在這些示例性實例中，每個元素152可以與一個數(shù)據(jù)向量相關(guān)聯(lián)，如，例如，數(shù)據(jù)向量154。如圖所示，數(shù)據(jù)向量154可以包括深度值156。深度值156可以是攝像機為中心的三維坐標(biāo)系內(nèi)對應(yīng)于與數(shù)據(jù)向量154相關(guān)聯(lián)的元素的變換點與攝像機系統(tǒng)118之間的距離。
[0089]當(dāng)與數(shù)據(jù)向量154相關(guān)聯(lián)的元素是非匹配元素時，深度值156可以為空(null)或零值。當(dāng)與數(shù)據(jù)向量154相關(guān)聯(lián)的元素是匹配元素時，深度值156可以為非空或非零值。當(dāng)深度值為空或零值時，數(shù)據(jù)向量154可以被稱為未填充數(shù)據(jù)向量(unfilled data vector)；而當(dāng)深度值156為非空或非零值時，數(shù)據(jù)向量154可以被稱為填充數(shù)據(jù)向量(filled datavector)。以這樣的方式，融合數(shù)據(jù)陣列150中的非匹配元素可以與未填充數(shù)據(jù)向量相關(guān)聯(lián)而融合數(shù)據(jù)陣列150中的匹配元素與填充數(shù)據(jù)向量相關(guān)聯(lián)。
[0090]此外，根據(jù)實施，數(shù)據(jù)向量154還可以包括其他數(shù)據(jù)，如，例如，像素位置157、原像素數(shù)據(jù)159和/或其他類型數(shù)據(jù)。像素位置157可以是對應(yīng)于與數(shù)據(jù)向量154相關(guān)聯(lián)的元素的像素的像素位置。原像素數(shù)據(jù)159可以是對應(yīng)于與數(shù)據(jù)向量154相關(guān)聯(lián)的元素的像素在圖像120中的像素數(shù)據(jù)。
[0091]在這些示例性實例中，深度值生成器144被配置為產(chǎn)生與融合數(shù)據(jù)陣列150中的非匹配元素相關(guān)聯(lián)的至少一部分未填充數(shù)據(jù)向量的新的深度值158。以這樣的方式，深度值生成器144可以確定新的深度值158，以便替換至少一部分空的深度值。然后融合管理器142可以使用新的深度值158填充未填充數(shù)據(jù)向量，從而形成修改的融合數(shù)據(jù)陣列160。
[0092]使用修改的融合數(shù)據(jù)陣列160可以生成新的深度值158。具體地，深度值生成器144可以使用選定尺寸的窗口掃描和處理融合數(shù)據(jù)陣列150。此外，估計技術(shù)，如線性估計技術(shù)，可用于產(chǎn)生新的深度值158。用于產(chǎn)生新的深度值158的過程的一種實施實例如下圖2-6所述。
[0093]點云管理器145被配置為使用修改的融合數(shù)據(jù)陣列160建立新的點云162。具體地，點云管理器145可以使用具有用新的深度值158填充的數(shù)據(jù)向量的融合數(shù)據(jù)陣列150中的部分元素來確定點云132的新點164。
[0094]如其中一個示例性實例所示，點云管理器145可以將與具有用新的深度值158填充的數(shù)據(jù)向量的融合數(shù)據(jù)陣列150中的部分元素像素對應(yīng)的像素的每個像素位置，映射到以攝像機為中心的三維坐標(biāo)系中的攝像機為中心的坐標(biāo)上。然后這些攝像機為中心的坐標(biāo)可以被變換到原點云132的三維參考坐標(biāo)系中以形成新點164?？梢允褂茫?，但不限于，逆變換算法166執(zhí)行這種變換。逆變換算法166可以是融合管理器142所用的變換算法的逆。
[0095]點云管理器145將新點164加到點云132中形成新的點云162。將新點164加到點云132中的這一過程被稱為回填點云132。新點云162可以具有的點的數(shù)量比點云132中的點134的數(shù)量138多。與點云132的分辨率140相比，新點164可以為新點云162提供增加的分辨率。新點164可以以期望的精度水平獲取場景110中的特征。
[0096]因此，新的點云162可用來替換點云132以執(zhí)行任何數(shù)量的操作。例如，但不限于，與點云132相比，新點164可以增強新點云162中的場景110的可視化。此外，與使用點云132相比，通過使用更高精度水平的新的點云162，新點164可以允許場景110中的一個或更多對象被識別和/或分類。
[0097]例如，融合管理器142使用圖像120和點云132可以生成初始融合圖像168。點云132中的至少一部分點可以被映射到圖像120中的像素位置并重疊在圖像120上從而建立初始融合圖像168。融合管理器142使用圖像120和新點云162可以生成最終融合圖像170。新點云162中的至少一部分點可以被映射到圖像120中的像素位置并重疊在圖像120上從而建立最終融合圖像170。
[0098]最終融合圖像170中的場景110的可視化與初始融合圖像168中的場景110的可視化相比可以被增強。具體地，與初始融合圖像168相比，最終融合圖像170中的更多點數(shù)可以增強最終融合圖像170中的場景110的可視化。
[0099]圖1中所示的圖像處理環(huán)境示意圖并不意圖暗示對實施示例性實施例的方式進行物理或結(jié)構(gòu)限制。可以增加其他組件或替換所示的其中一些組件。一些組件是可選的。另外，所呈現(xiàn)的方框是圖示一些功能性組件。當(dāng)在示例性實施例中實施時，這些方框的一個或更多可以組合、分離或組合和分離成不同方框。
[0100]例如，在一些示例性實例中，深度值生成器144可以被認為是融合管理器142的部分。在其他示例性實例中，融合管理器142和/或深度值生成器144可以被認為是點云管理器145的部分。
[0101]在其他示例性實例中，圖像處理系統(tǒng)102中的某個其他模塊可用于形成初始融合圖像和/或最終融合圖像170。仍在其他情況下，某個其他數(shù)據(jù)處理系統(tǒng)或處理器單元可以被配置為處理圖像120和新點162以形成最終融合圖像170。
[0102]現(xiàn)轉(zhuǎn)向圖2-6，其根據(jù)一個示例性實施例描述了產(chǎn)生與融合數(shù)據(jù)陣列中的非匹配元素相關(guān)聯(lián)的未填充數(shù)據(jù)向量的新的深度值的過程的示意圖。圖2-6所示的過程可以是產(chǎn)生圖1中新的深度值158的其中一種方式的實例。此外，可以使用，例如，圖1中的深度值生成器144執(zhí)行這一過程。
[0103]現(xiàn)在參考圖2，其根據(jù)一個示例性實施例描述了融合數(shù)據(jù)陣列的示意圖。在這個示例性實例中，融合數(shù)據(jù)陣列200可以是圖1中的融合數(shù)據(jù)陣列150的其中一個實施的一個實例。
[0104]在圖2中，融合數(shù)據(jù)陣列200可以是圖像202和變換點206的融合。圖像202可以是由如攝像機系統(tǒng)204生成的圖像。變換點206可以包括映射到圖像202中的像素位置上并由此映射到融合數(shù)據(jù)陣列200的元素的點云中的一部分點。融合數(shù)據(jù)陣列200可以由例如圖1中的融合管理器142生成。
[0105]如圖所示，深度值生成器144可以將窗口 208沿著融合數(shù)據(jù)陣列200在箭頭210和箭頭212的方向移動以處理融合數(shù)據(jù)陣列200。例如，可以將窗口 208移動到融合數(shù)據(jù)陣列200內(nèi)每一個元素的位置上。在這個示例性實例中，窗口 208可以具有一組選定尺寸的其中之一。如本文所用的，“一組”項目可以包括一個或更多項目。以這種方式，一組選定的尺寸可以包括一個或更多選定的尺寸。
[0106]使用具有一組選定尺寸中的每個尺寸的窗口可以完全掃描和處理融合數(shù)據(jù)陣列200。在這個示例性實例中，將窗口 208移動到融合數(shù)據(jù)陣列200中的元素的位置上，是指將窗口 208的中心設(shè)定在該元素。當(dāng)窗口 208中心對準(zhǔn)的元素是非匹配元素時，窗口 208重疊的該部分融合數(shù)據(jù)陣列200可以由深度值生成器144處理，從而確定與該非匹配元素相關(guān)聯(lián)的未填充數(shù)據(jù)向量的新的深度值。
[0107]現(xiàn)在參考圖3,其根據(jù)一個不例性實施例描述了被圖2的窗口 208重疊一部分融合數(shù)據(jù)陣列200的示意圖。在這個示例性實例中，圖2中的融合數(shù)據(jù)陣列200的部分300被
窗口 208重疊。
[0108]在圖3中，匹配元素組302確定圖2中的部分變換點206映射到的融合數(shù)據(jù)陣列200的部分300中的元素。融合數(shù)據(jù)陣列200的部分300中的所有其他元素(在該圖中沒顯示)可以是變換點沒有映射到的非匹配元素。如圖所示，匹配元素組302包括匹配元素304，306, 308, 310, 312, 314,和 316。
[0109]深度值生成器144首先確認與處于窗口 208中心所在位置上的元素相關(guān)聯(lián)的數(shù)據(jù)向量中的深度值是空的深度值。如果該深度值是非空深度值，深度值生成器144將窗口 208移動到另一個位置。如果深度值是空的深度值，深度值生成器144繼續(xù)處理融合數(shù)據(jù)陣列200的部分300。
[0110]在這個示例性實例中，所示融合數(shù)據(jù)陣列200的部分300被分成四個四分之一部分320，322，324和326。深度值生成器144被配置為確認融合數(shù)據(jù)陣列200的部分300中存在足夠數(shù)量的匹配元素。此外，深度值生成器144被配置為確認四個四分之一部分320，322,324和326的每個四分之一部分中存在至少一個匹配元素。
[0111]一旦深度值生成器144確認融合數(shù)據(jù)陣列200的部分300中存在足夠數(shù)量的匹配元素以及至少一個匹配元素存在于四個四分之一部分320，322，324和326的每個四分之一部分中，深度值生成器144會繼續(xù)處理融合數(shù)據(jù)陣列200的部分300。當(dāng)部分300中不存在足夠數(shù)量的匹配元素或者四個四分之一部分320，322，324和326的其中一個沒有包括一個匹配元素，深度值生成器144可以將窗口 208沿著融合數(shù)據(jù)陣列200移動到下一個位置。
[0112]現(xiàn)在參考圖4，其根據(jù)一個示例性實施例描述了生成匹配元素組的每一個匹配元素的分值的過程的示意圖。在圖4中，深度值生成器144被配置為生成匹配元素組302中每個匹配元素的分值。匹配元素的分值可以基于與該匹配元素相關(guān)聯(lián)的填充數(shù)據(jù)向量中的深度值以及該匹配元素與匹配元素組302中的其他匹配元素的相似度。[0113]與該匹配元素相關(guān)聯(lián)的填充數(shù)據(jù)向量中的深度值，可以是攝像機系統(tǒng)204與被映射到匹配元素的變換點在攝像機為中心的三維坐標(biāo)系中的位置之間的距離。匹配元素組302的深度值可以分別是匹配元素304，306，308，310，312，314和316與攝像機系統(tǒng)204之間的距離 402，404，406，408，410，412 和 414。
[0114]該匹配元素與匹配元素組302中其他匹配元素之間的相似度可以基于任何數(shù)量的特征。這些特征可以包括，例如，但不限于，像素位置、顏色、亮度和/或數(shù)據(jù)向量內(nèi)的其他類型的特征或數(shù)據(jù)。在這個示例性實例中，該匹配元素與其他匹配元素之間的相似度，可以基于與該匹配元素相關(guān)聯(lián)的數(shù)據(jù)向量中確定的像素位置與理想像素位置400之間的距離。該像素位置可以與融合數(shù)據(jù)陣列200內(nèi)的該匹配元素的位置相同。
[0115]現(xiàn)在參考圖5,其根據(jù)一個示例性實例描述了支持元素的選擇的示意圖。在這個示例性實例中，如圖4所示，所產(chǎn)生的匹配元素組302的分值可以被分類或排序。
[0116]在這個示例性實例中，期望數(shù)量的支持元素可以是五個支持元素。具有最低五個分值的五個匹配元素被選為支持元素500。支持元素500包括匹配元素306，308，310，312和 314。
[0117]在這個示例性實例中，可以選擇支持元素500以降低為圖像202獲取的場景中的實際洞穴和/或間隙建立的新點數(shù)量。此外，支持元素500可以被選擇以使建立的新點實際表示對象的外表面。
[0118]現(xiàn)在參考圖6，其根據(jù)一個示例性實施例描述了新的深度值的生成的示意圖。在這個示例性實例中，來自圖5的支持元素500可用于生成窗口 208中心對準(zhǔn)的元素600的新的深度值。元素600位于融合數(shù)據(jù)陣列200的位置602上，該位置可以是融合數(shù)據(jù)陣列200的部分300的中心位置。
[0119]元素600的新的深度值可以使用例如線性估計生成。具體地，線性估計算法可以使用與每個支持元素500相關(guān)聯(lián)的填充數(shù)據(jù)向量中的深度值來估計元素600的新的深度值。該新的深度值可用于填充與元素600相關(guān)聯(lián)的數(shù)據(jù)向量。
[0120]可以在融合數(shù)據(jù)陣列200中的每個位置上重復(fù)圖3-6所述的過程，其中來自圖2的窗口 208被移動到每個位置上。此外，圖2-6所述的整個過程可以通過使用不同選定尺寸的窗口被重復(fù)。
[0121]以這種方式，可以使用具有選定尺寸組的每一個尺寸的窗口掃描和處理整個融合數(shù)據(jù)陣列200。另外，使用具有選定尺寸組的窗口的過程可以迭代任何次數(shù)從而填充與融合數(shù)據(jù)陣列200中的非匹配元素相關(guān)聯(lián)的至少部分未填充數(shù)據(jù)向量。
[0122]圖2-6的示意圖并不意圖對可以實施示例性實施例的方式進行物理或結(jié)構(gòu)性限制。所呈現(xiàn)的這些示意圖意在以抽象方式描述生成新的深度值的概念。
[0123]現(xiàn)在參考圖7，其根據(jù)一個示例性實施例描述了融合圖像的示意圖。融合圖像700可以是圖1中的融合數(shù)據(jù)陣列150的其中一個實施的一個實例。融合圖像700可以是圖像702和變換點704的組合。在這個示例性實例中，融合圖像700中的每個像素可以與數(shù)據(jù)向量如圖1中的數(shù)據(jù)向量154相關(guān)聯(lián)。
[0124]現(xiàn)在轉(zhuǎn)向圖8，其根據(jù)示例性實施例描述了兩幅融合圖像的對照的示意圖。在這個示例性實例中，初始融合圖像800是圖1中的初始融合圖像168的其中一個實施的一個實例。此外，最終融合圖像802是圖1中的最終融合圖像170的其中一個實施的一個實例。[0125]如圖所示，初始融合圖像800是圖像804和變換點806的融合。變換點806可以包括從原點云映射來的點，如，例如，圖1中的點云132。最終融合圖像802是相同圖像804和變換點808的融合。變換點808可以包括從新的點云映射來的點，例如，但不限于，圖1中的新的點云162。與初始融合圖像800中的變換點806相比，最終融合圖像802中的變換點808可以更好地實現(xiàn)圖像804中獲取的場景。
[0126]現(xiàn)在參考圖9，其根據(jù)示例性實施例描述了使用支持元素時生成的最終融合圖像和沒有使用支持元素時生成的最終融合圖像的對照的示意圖。在這個示例性實例中，描述了最終融合圖像900和最終融合圖像902的對照。這些最終融合圖像是圖1中的最終融合圖像170的實施的實例。
[0127]最終融合圖像900是圖像904和變換點906的融合。最終融合圖像902是相同圖像904和變換點908的融合。變換點906和變換點908可以都包括從相應(yīng)的被加入新點的新的點云中映射來的點。
[0128]然而，變換點906可以包括來自沒有使用支持元素生成的新的點云中的點。變換點908可以包括來自使用支持元素生成的新的點云中的點。如圖所示，最終融合圖像900的部分912中所描繪的建筑物的頂部表面和形狀，沒有最終融合圖像902的部分914中所描繪的建筑物的頂部表面和形狀清楚和準(zhǔn)確。
[0129]現(xiàn)在參考圖10，其根據(jù)一個示例性實施例描述了最終融合圖像表的示意圖。在圖10中，表1000包括列1002、列1004、行1006和行1008。
[0130]列1002包括使用具有融合圖像陣列上選定尺寸組的掃描窗口的兩次迭代所生成的最終融合圖像1010和最終融合圖像1014。列1004包括使用具有融合數(shù)據(jù)陣列上選定尺寸組的掃描窗口的十次迭代所生成的最終融合圖像1012和最終融合圖像1016。
[0131]行1006包括每次迭代使用八種尺寸窗口所生成的最終融合圖像1010和最終融合圖像1012。此外，行1008包括每次迭代使用16種窗口尺寸所生成的最終融合圖像1014和最終融合圖像1016。
[0132]如圖所示，最終融合圖像中包含的點的數(shù)目隨著迭代次數(shù)和每次迭代窗口尺寸的種類的增加而增加。隨著最終融合圖像中點的數(shù)目的增多，最終融合圖像內(nèi)的場景的可視化增強。
[0133]圖7-10中的融合圖像的示意圖并不意圖對可以實施示例性實施例的方式進行物理或結(jié)構(gòu)性限制。這些融合圖像是如何實施融合圖像如來自圖1的初始融合圖像168和最終融合圖像170的實例。
[0134]現(xiàn)在參考圖11，其根據(jù)一個示例性實施例以流程圖的形式描述了增加點云中的點的數(shù)目的過程的示意圖?？梢允褂脠D1中的圖像處理系統(tǒng)102實施圖11中所示過程。
[0135]該過程自接收來自第一傳感器系統(tǒng)的二維圖像和來自第二傳感器系統(tǒng)的點云開始(操作1100)。在操作1100中，可以接收來自攝像機系統(tǒng)的形式的第一傳感器系統(tǒng)的二維圖像，例如圖1中的攝像機系統(tǒng)118。在這個示例性實例中，該二維圖像可以是彩色圖像。此外，可以接收來自光探測和測距系統(tǒng)的形式的第二傳感器系統(tǒng)的點云，例如圖1中的光探測和測距系統(tǒng)130。
[0136]二維圖像和點云可以是同一場景的。然而，根據(jù)該實施，二維圖像和點云可以從相同或不同角度捕獲相同場景。[0137]接著，點云中的至少一部分點被映射到二維圖像以形成變換點(操作1102)。接著，使用該二維圖像和變換點建立融合數(shù)據(jù)陣列(操作1104)。
[0138]在此之后，使用融合數(shù)據(jù)陣列確定點云的新點(操作1106)。該新點被加到點云中以形成新點云(操作1108)，之后該過程結(jié)束。與原點云相比，新點云中增加的點的數(shù)量可以提供與原點云相比具有增加的分辨率的新的點云。
[0139]換句話說，新的點云可以獲取的場景中的特征比原點云精確。新點云可用于執(zhí)行若干不同的操作如，例如，但不限于，對象識別、對象分類、分割、場景可視化和/或其他類型的操作。
[0140]現(xiàn)在參考圖12，其根據(jù)一個示例性實施例以流程圖的形式描述了將點云中的點映射到二維圖像以形成變換點的過程的示意圖。圖12中所示的過程可用于實施例圖11中的操作1102。此外，可以使用圖1中的圖像處理系統(tǒng)102中的融合管理器142執(zhí)行該過程。
[0141]該過程自將點云的三維參考坐標(biāo)系變換為攝像機為中心的三維坐標(biāo)系以確定點云中的點的攝像機為中心的坐標(biāo)開始(操作1200)。該三維參考坐標(biāo)系可以是，例如，地理坐標(biāo)系或其他類型的真實世界坐標(biāo)系。以攝像機為中的三維坐標(biāo)系的原點是產(chǎn)生二維圖像的攝像機系統(tǒng)的位置。
[0142]例如，對于三維參考坐標(biāo)系中給定位置Xp，Yp，Zp的每個點，攝像機為中心的坐標(biāo)可確定為:
【權(quán)利要求】
1.一種裝置，其包括: 圖像處理系統(tǒng)(102)，其被配置為將場景(110)的點云(132)中至少部分點(134)映射到所述場景(110)的二維圖像(121)以形成變換點(146)； 使用所述二維圖像(121)和所述變換點(146)建立融合數(shù)據(jù)陣列(150); 使用所述融合數(shù)據(jù)陣列(150)為所述點云(132)確定新點(164);以及 將所述新點(164)加到所述點云(132)以形成新的點云(162)。
2.根據(jù)權(quán)利要求1所述的裝置，其中所述圖像處理系統(tǒng)(102)包括: 融合管理器(142)，其被配置為將所述點云(132)中的所述至少部分點映射到所述二維圖像(121)以形成所述變換點(146)，并被配置為使用所述二維圖像(121)和所述變換點(146)建立所述融合數(shù)據(jù)陣列(150)。
3.根據(jù)權(quán)利要求2所述的裝置，其中所述融合數(shù)據(jù)陣列(150)包括與包含非空深度值的填充數(shù)據(jù)向量(154)相關(guān)聯(lián)的匹配元素(304，306，308，310，312，314，316)和與包含空的深度值的未填充數(shù)據(jù)向量(154)相關(guān)聯(lián)的非匹配元素。
4.根據(jù)權(quán)利要求3所述的裝置，其中所述圖像處理系統(tǒng)(102)進一步包括: 深度值生成器(144)，其被 配置為確定新的深度值(158)以替換至少一部分所述空的深度值。
5.根據(jù)權(quán)利要求4所述的裝置，其中所述圖像處理系統(tǒng)(102)進一步包括: 點云管理器(145)，其被配置為使用所述新的深度值(158)為所述點云(132)確定所述新點(164)。
6.根據(jù)權(quán)利要求5所述的裝置，其中所述點云管理器(145)被進一步配置為將所述新點(164)加到所述點云(132)中以形成所述新的點云(162)。
7.根據(jù)權(quán)利要求1所述的裝置，其中所述融合數(shù)據(jù)陣列(150)由元素(152)組成，其中所述元素(152)的每一個與包含像素位置(157)、深度值和原像素數(shù)據(jù)(159)的至少其中之一的數(shù)據(jù)向量(154)相關(guān)聯(lián)。
8.根據(jù)權(quán)利要求1所述的裝置，其進一步包括: 第一傳感器系統(tǒng)，其被配置為生成所述二維圖像(121);和 第二傳感器系統(tǒng)，其被配置為生成所述點云(132)。
9.根據(jù)權(quán)利要求8所述的裝置，其中所述第一傳感器系統(tǒng)是攝像機系統(tǒng)，并且其中所述第二傳感器系統(tǒng)是光探測和測距系統(tǒng)。
10.根據(jù)權(quán)利要求9所述的裝置，其中所述圖像處理系統(tǒng)(102)被配置為使用所述攝像機系統(tǒng)的位姿信息將所述點云(132)中的至少一部分點映射到所述二維圖像(121)。
11.一種圖像處理系統(tǒng)(102)，其包括: 融合管理器(142)，其被配置為將場景(110)的點云(132)中的至少一部分點映射到所述場景(110)的二維圖像(121)以形成變換點，并被配置為使用所述二維圖像(121)和所述變換點(146)建立融合數(shù)據(jù)陣列(150)， 其中所述融合數(shù)據(jù)陣列(150)包括與包含非空深度值的填充數(shù)據(jù)向量(154)相關(guān)聯(lián)的匹配元素(304，306，308，310，312，314，316)和與包含空的深度值的未填充數(shù)據(jù)向量(154)相關(guān)聯(lián)的非匹配元素； 深度值生成器(144)，其被配置為確定新的深度值(158)以替換至少部分所述空的深度值；和 點云管理器(145)，其被配置為使用所述新的深度值(158)為所述點云(132)確定新點(164)并將所述新點(164)加到所述點云(132)以形成新的點云(162)。
12.—種用于向點云(132)中增加多個點的計算機實施方法，所述計算機實施方法包括: 接收場景(110)的二維圖像(121)和所述場景(110)的所述點云(132)； 將所述點云(132)中的至少部分點映射到所述二維圖像(121)以形成變換點(146)； 使用所述二維圖像(121)和所述變換點(146)建立融合數(shù)據(jù)陣列(150); 使用所述融合數(shù)據(jù)陣列(150)為所述點云(132)確定新點(164);以及 將所述新點(164)加到所述點云(132)中以形成新的點云(162)。
13.根據(jù)權(quán)利要求12所述的計算機實施方法，其中將所述點云(132)中的所述至少一部分點映射到所述二維圖像(121)以形成所述變換點(146)包括: 確定攝像機系統(tǒng)的位姿信息； 使用所述位姿信息將所述點云(132)的三維參考坐標(biāo)系變換為以攝像機為中心的三維坐標(biāo)系，以確定所述點云(132)中的所述點的以攝像機為中心的坐標(biāo)；以及 將具有以攝像機為中心的坐標(biāo)的所述點云(132)中的所述至少一部分點，映射到所述二維圖像(121)中的像素位置(124)。
14.根據(jù)權(quán)利要求12所 述的計算機實施方法，其中使用所述二維圖像(121)和所述變換點(146)建立所述融合數(shù)據(jù)陣列(150)包括: 形成所述融合數(shù)據(jù)陣列(150)，其中所述融合數(shù)據(jù)陣列(150)由與所述二維圖像(121)中的像素具有--對應(yīng)關(guān)系的元素(152)組成；以及 將數(shù)據(jù)向量(154)與所述融合數(shù)據(jù)陣列(150)中的所述元素(152)相關(guān)聯(lián)，其中所述數(shù)據(jù)向量(154)包括包含非空深度值的填充數(shù)據(jù)向量(154)和包含空的深度值的未填充數(shù)據(jù)向量(154)。
15.根據(jù)權(quán)利要求14所述的計算機實施方法，其中使用所述融合數(shù)據(jù)陣列為所述點云(132)確定所述新點(164)包括: 生成新的深度值(158)以替換至少部分所述空的深度值；以及 使用所述新的深度值(158)為 所述點云(132)確定所述新點(164)。
【文檔編號】G06T7/00GK103810744SQ201310556662
【公開日】2014年5月21日 申請日期:2013年11月11日 優(yōu)先權(quán)日:2012年11月9日
【發(fā)明者】T·N·蒙德亨克, Y·歐威斯克, K·科米 申請人:波音公司