技術(shù)領(lǐng)域
本發(fā)明涉及包括提供圖像以用于執(zhí)行SLAM或SfM算法的相機(jī)模塊的測量系統(tǒng)。
本發(fā)明描述了一種能夠在桿上附接至GNSS天線或反射器以用于在沒有行進(jìn)步驟的情況下測量點的相機(jī)模塊。
而且,所述相機(jī)模塊使得能實現(xiàn)GNSS信號或全站儀與桿之間的視線中斷的點的測量。
而且,從利用相機(jī)模塊獲取的成像數(shù)據(jù)能夠得到環(huán)境的點云。
而且,能夠生成例如地形或立面的校正的視圖或正射相片。
背景技術(shù):
在利用GNSS桿的傳統(tǒng)測量中,測量員將桿尖端放置到測量點上,使桿水平并且觸發(fā)測量。測平步驟花費一些時間,并且在未被適當(dāng)?shù)貓?zhí)行的情況下,導(dǎo)致劣化的測量結(jié)果。
利用GNSS桿測量僅在能夠接收到足夠數(shù)量的GNSS衛(wèi)星的信號的地點處是可能的。當(dāng)測量員移動靠近建筑物時,衛(wèi)星信號中的一些可能不再是可接收的。因此,在這種地方處測量根本是不可能的。
GNSS測量系統(tǒng)能夠在全局標(biāo)度(例如,2-4cm)上以良好準(zhǔn)確性記錄絕對位置。然而,這種系統(tǒng)能夠僅記錄操作員必須將GNSS桿垂直地定位在要測量的點頂上的單個點。利用GNSS桿得到點云不是現(xiàn)有技術(shù)水平。
US 2011/0064312 A1涉及基于圖像的地理參照并且公開了GNSS測量與圖像處理的組合以為定位提供新解決方案。存儲的地理參照圖像與由GNSS接收機(jī)做出的實際圖像相比較(特征相關(guān))。這然后被用來限制GNSS測量的準(zhǔn)確性或者補(bǔ)充遺漏部分(例如,高度信息)。相反,即GNSS測量被用來更新所存儲的圖像的地理參照也是可能的。這還能夠被用來確定本地坐標(biāo)系統(tǒng)。
US 2011/0157359 A1公開了使相機(jī)的虛擬透視中心與位置測量系統(tǒng)的測量(天線)中心對準(zhǔn)。這方便組合圖像/GNSS系統(tǒng)中的計算。WO 2011/163454 A1公開了一種用于基于圖像的定位、從一個圖像到下一個圖像跟蹤圖像特征以便使用SLAM技術(shù)來確定GNSS接收機(jī)的位置改變的方法和設(shè)備。WO 2010/080950 A1公開了根據(jù)圖像數(shù)據(jù)確定GNSS接收機(jī)的定向。
由具有相機(jī)的系統(tǒng)記錄的數(shù)據(jù)的處理需要高計算資源?,F(xiàn)有技術(shù)水平解決方案被稱為數(shù)據(jù)在強(qiáng)大的膝上型電腦、PC或者在外部云服務(wù)器上的處理。處理時間可能是相當(dāng)耗時的并且通常在辦公室中被執(zhí)行。
然而,對于一些任務(wù)(例如,基于3D圖像的重建的預(yù)覽)強(qiáng)大的場內(nèi)計算容量是需要的。經(jīng)由無線網(wǎng)絡(luò)的數(shù)據(jù)傳送在帶寬有限時通常也是耗時的并且不允許得到計算的快速結(jié)果。
技術(shù)實現(xiàn)要素:
以下解決方案具體地被提出來以具有快速場內(nèi)數(shù)據(jù)處理的能力。一個或更多個外部便攜式計算裝置(例如,智能電話、平板PC、膝上型電腦)被作為計算裝置注冊在測量系統(tǒng)中。該系統(tǒng)與這些計算裝置中的至少一個具有電纜或無線連接。數(shù)據(jù)被傳送到這些裝置并且所有計算自動地分布在所有可用的計算裝置之間。所有計算裝置能夠在彼此之間通信。
其中,這種解決方案的一個優(yōu)點是將所有可用的計算資源用于快速場內(nèi)數(shù)據(jù)處理或可視化的能力。能夠在沒有對測量裝置的更新的情況下為計算容易地添加新裝置。
本發(fā)明的一個方面涉及一種被適配為在測量系統(tǒng)的坐標(biāo)系統(tǒng)中確定被安裝在測量桿上的位置測量資源具體地GNSS天線或回復(fù)反射器的位置的測量系統(tǒng),該測量系統(tǒng)包括具有相機(jī)模塊(30)的測量子系統(tǒng),該相機(jī)模塊(30)附接至所述測量桿(10)并且包括用于拍攝圖像的至少一個相機(jī)(31),以及控制和評估單元(12),該控制和評估單元(12)已存儲具有程序代碼的程序以便控制和執(zhí)行定向確定功能,其中
·環(huán)境的圖像的系列是利用所述至少一個相機(jī)在沿著通過環(huán)境的路徑移動時拍攝的,該系列包括按所述相機(jī)的不同姿態(tài)拍攝的一定量的圖像,所述姿態(tài)表示所述相機(jī)的相應(yīng)的位置和定向;
·利用使用圖像的系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別對應(yīng)的圖像點在圖像的系列中的圖像的多個子組中的每一個中被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會,
·包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,所述基準(zhǔn)點的坐標(biāo)被得到,并且
·所述圖像的所述姿態(tài)被確定;
·由所述位置測量資源在沿著所述路徑移動時采用的確定的位置被從所述測量系統(tǒng)中檢索;以及
·所述至少一個相機(jī)在所述測量系統(tǒng)的坐標(biāo)系統(tǒng)中的外部定向是至少基于所確定的圖像的系列的至少一個指定圖像的姿態(tài)并且基于所確定的位置而得到的。
所述測量系統(tǒng)還包括處理單元,該處理單元已存儲具有程序代碼的程序以便控制和執(zhí)行單點測量功能,其中,在觸發(fā)時
·已由所述位置測量資源在沿著所述路徑移動時在觸發(fā)相關(guān)時間點采用的觸發(fā)相關(guān)位置由所述測量系統(tǒng)利用所述位置測量資源以及具體地所確定的姿態(tài)和/或IMU數(shù)據(jù)來確定;
·已由所述至少一個相機(jī)在所述觸發(fā)相關(guān)時間點采用的觸發(fā)相關(guān)外部定向通過所述定向確定功能來確定;并且
·所述測量系統(tǒng)的所述桿的底部的位置是基于至少所述觸發(fā)相關(guān)位置和所述觸發(fā)相關(guān)外部定向按照所述坐標(biāo)系統(tǒng)的坐標(biāo)而確定的。
在這個系統(tǒng)的一個實施方式中,所述至少一個相機(jī)的定向是基于所確定的姿態(tài)中的一個或更多個并且
·基于來自所述相機(jī)模塊的慣性測量單元的數(shù)據(jù),并且/或者
·基于所述位置測量資源的多個確定的位置,具體地,移動路徑的行進(jìn)歷史而得到的。
在這個系統(tǒng)的另一實施方式中,所述定向在所有三個旋轉(zhuǎn)自由度上得到,具體地其中,在六個自由度上的位置和定向被確定。
在這個系統(tǒng)的另一實施方式中,所述測量桿的定向是基于所述姿態(tài)而得到的。
在這個系統(tǒng)的另一實施方式中,所述單點測量功能涉及觸發(fā)相關(guān)分段集束調(diào)整是為了確定所述觸發(fā)相關(guān)外部定向而執(zhí)行的,其中,使用僅圖像的系列的最近圖像的子集,該子集具體地由最多實際50個與最多實際5個之間的圖像構(gòu)成,在所述子集范圍內(nèi)的所述基準(zhǔn)點場和所述姿態(tài)針對所述子集的圖像被追溯地重新計算,并且其中,這些重新計算的姿態(tài)被用于得到所述外部定向。
本發(fā)明還涉及一種以定標(biāo)的點云的形式提供環(huán)境的位置信息的測量系統(tǒng)。本發(fā)明因此涉及一種測量子系統(tǒng),該包括要用作被適配為確定被安裝在手提測量桿上的位置測量資源的位置的測量系統(tǒng)的一部分的控制和評估單元以及相機(jī)模塊的測量子系統(tǒng),具體地其中,所述位置測量資源包括GNSS天線或回復(fù)反射器。
所述相機(jī)模塊被設(shè)計為附接至所述測量桿并且包括用于拍攝圖像的至少一個相機(jī)。所述控制和評估單元已存儲具有程序代碼的程序以便控制和執(zhí)行空間表示生成功能,其中,當(dāng)沿著通過環(huán)境的路徑移動時
·所述環(huán)境的圖像的系列利用所述至少一個相機(jī)拍攝,所述系列包括按所述相機(jī)的不同姿態(tài)拍攝的一定量的圖像,所述姿態(tài)表示所述相機(jī)的相應(yīng)的位置和定向,
·利用使用圖像的系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別對應(yīng)的圖像點在圖像的系列中的圖像的多個子組中的每一個中被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會,包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,所述基準(zhǔn)點的坐標(biāo)被得到,并且所述圖像的所述姿態(tài)被確定,
·基于所確定的姿態(tài),包括所述環(huán)境的點的3D位置的點云通過使用圖像的系列中的圖像的前方交會來計算,
·針對已在所述路徑上采用的點的所述位置測量資源的確定的位置由所述控制和評估單元從所述測量系統(tǒng)接收,并且
·所述點云借助所接收到的確定的位置被定標(biāo),并且具體地被地理參照。
根據(jù)該發(fā)明的一個特定實施方式,所述控制和評估單元被配置為使得所述空間表示生成功能被控制和執(zhí)行,使得所述點云被生成
·跨越整個環(huán)境在空間上包括且可理解和/或
·具有跨越所述環(huán)境的3d信息的比較低的分辨率,從而提供對所述點云的比較快的處理。
根據(jù)該發(fā)明的另一特定實施方式,所述控制和評估單元被配置為使得所述空間表示生成功能被控制和執(zhí)行,使得為經(jīng)定標(biāo)的點云生成了圖形再現(xiàn),該圖形再現(xiàn)可由所述測量系統(tǒng)的顯示裝置顯示,從而向用戶提供關(guān)于已經(jīng)獲取的數(shù)據(jù)的直接反饋,使得所述已經(jīng)獲取的數(shù)據(jù)關(guān)于其完整性能夠被檢查。
根據(jù)所述子系統(tǒng)的又一特定實施方式,所述控制和評估單元被配置為使得所述空間表示生成功能被控制和執(zhí)行,使得為在圖像的系列中的至少一個圖像中選擇的單個點得到位置信息,其中,具有與所選擇的點有關(guān)的確定的姿態(tài)的圖像的子集根據(jù)圖像的系列具體地所選擇的點出現(xiàn)在其中的所有圖像被自動地標(biāo)識,并且所述位置信息是基于所述子集具體地在所述點由用戶人工地選擇之后計算出的。
根據(jù)所述子系統(tǒng)的另一特定實施方式,所述控制和評估單元被配置為使得所述空間表示生成功能被控制和執(zhí)行,使得所述點云被處理覆蓋
·總體上如至少在圖像的系列中的圖像對中共同出現(xiàn)的所述環(huán)境,從而提供具有比較低的點到點分辨率的全局表示,和/或
·如至少在圖像的序列中的圖像對中共同出現(xiàn)的所述環(huán)境的定義區(qū)域,從而提供與所述全局表示相比具有更高的點到點分辨率的區(qū)域表示,具體地其中,所述點云的點到點分辨率是根據(jù)所述區(qū)域的大小自動地適配的,使得處理時間滿足定義閾值。
現(xiàn)在參照創(chuàng)建正射相片的問題,根據(jù)該發(fā)明的對應(yīng)布置像在下面所闡述的那樣被描述。
本發(fā)明還涉及一種測量子系統(tǒng),該測量子系統(tǒng)包括要用作被適配為確定被安裝在測量桿上的位置測量資源的具體地GNSS天線的或回復(fù)反射器的位置的測量系統(tǒng)的一部分的控制和評估單元以及相機(jī)模塊,所述相機(jī)模塊被設(shè)計為附接至所述測量桿并且包括用于拍攝圖像的至少一個相機(jī),所述控制和評估單元已存儲具有程序代碼的程序以控制和執(zhí)行地理參照功能,其中,當(dāng)沿著通過環(huán)境的路徑移動時
·所述環(huán)境的圖像的系列利用所述至少一個相機(jī)拍攝,環(huán)境地面出現(xiàn)在所述圖像中,所述系列包括按所述相機(jī)的不同姿態(tài)拍攝的一定量的圖像,所述姿態(tài)表示所述相機(jī)的相應(yīng)的位置和定向;
·利用使用圖像的系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別對應(yīng)的圖像點在圖像的系列中的圖像的多個子組中的每一個中被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會,包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,所述基準(zhǔn)點的坐標(biāo)被得到,并且所述圖像的所述姿態(tài)被確定;
·基于所確定的姿態(tài),包括所述環(huán)境的點的3D位置的點云通過使用圖像的系列的前方交會具體地通過使用密集匹配算法來計算;并且
·所述環(huán)境地面的正射校正的正射相片是基于圖像的序列而生成的。
在這個子系統(tǒng)的一個實施方式中,所述地理參照功能包括使所述正射相片與用于得到所述測量系統(tǒng)的位置信息的基準(zhǔn)正射相片相匹配,具體地其中,所述基準(zhǔn)正射相片
·被存儲在所述控制和評估單元中,并且/或者
·是空中圖像或其一部分,具體地其中,所述空中圖像被正射校正。
在這個子系統(tǒng)的另一實施方式中,經(jīng)正射校正的正射相片借助于圖像的系列中的至少兩個圖像的圖像拼接而生成。
根據(jù)與相機(jī)模塊的相機(jī)的特定光學(xué)器件有關(guān)的另一方面,本發(fā)明還涉及一種要用作被適配為確定被安裝在測量桿上的位置測量資源的位置的測量系統(tǒng)的一部分的相機(jī)模塊,具體地其中,所述位置測量資源包括GNSS天線或回復(fù)反射器。所述相機(jī)模塊被設(shè)計為附接至所述測量桿并且包括按照基本上截然相反的查看方向彼此相對布置的兩個相機(jī),所述兩個相機(jī)中的每一個具有魚眼鏡頭并且被適配為拍攝寬全景圖像。
本發(fā)明還涉及一種包括相機(jī)模塊以及控制和評估單元的測量子系統(tǒng)。所述相機(jī)模塊包括至少一個相機(jī),所述相機(jī)具有魚眼鏡頭并且被適配為拍攝寬全景圖像。所述控制和評估單元已存儲具有程序代碼的程序以便控制和執(zhí)行空間表示生成功能,其中,當(dāng)沿著通過環(huán)境的路徑移動時,所述環(huán)境的全景圖像的系列利用所述至少一個相機(jī)拍攝,所述系列包括按所述相機(jī)的不同姿態(tài)拍攝的一定量的全景圖像,所述姿態(tài)表示所述相機(jī)的相應(yīng)的位置和定向,利用使用全景圖像的系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別對應(yīng)的圖像點在全景圖像的系列中的全景圖像的多個子組中的每一個被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會,包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,所述基準(zhǔn)點的坐標(biāo)被得到,并且所述全景圖像的所述姿態(tài)被確定。
通過連同所述相機(jī)模塊一起使用魚眼光學(xué)系統(tǒng),比較寬的視場被實現(xiàn),從而提供覆蓋環(huán)境的相應(yīng)地大區(qū)域的圖像。為了覆蓋所述環(huán)境的定義部分,必須拍攝更少的圖像。
根據(jù)本發(fā)明的特定實施方式,所述相機(jī)模塊包括按基本上截然相反的查看方向彼此相對布置的兩個相機(jī),所述兩個相機(jī)中的每一個具有魚眼鏡頭并且被適配為拍攝寬全景圖像。
根據(jù)該測量子系統(tǒng)的另一特定實施方式,所述控制和評估單元被配置為使得所述空間表示生成功能被控制和執(zhí)行,使得所述全景圖像的所述姿態(tài)通過考慮所述魚眼鏡頭的光學(xué)特性應(yīng)用定義光學(xué)成像方法來確定,具體地其中,不同的成像平面被與所述光學(xué)成像方法一起使用并且/或者以下映射函數(shù)中的一個被使用:
·球極映射函數(shù),
·等距映射函數(shù),
·等立體角映射函數(shù),或
·正射映射函數(shù)。
使用利用這些魚眼光學(xué)器件拍攝的圖像來計算所述姿態(tài)和/或點云使用以上方法中的一個來執(zhí)行,以便提供所述基準(zhǔn)點的確切投影并且因此以便提供所述環(huán)境的正確的位置和/或定向信息。在那樣地對所述環(huán)境進(jìn)行投影情況下能夠提供所述環(huán)境的無失真圖像。
根據(jù)所述子系統(tǒng)的另一特定實施方式,所述兩個相機(jī)中的每一個在關(guān)于至少一個軸的相應(yīng)的查看方向上具體地在方位方向上具有至少180°的視場。
使用具有關(guān)于它們的視場具有至少180°的魚眼鏡頭的所述兩個相機(jī),能夠拍攝具有360°的完全全景圖像并且因此提供數(shù)據(jù)的更完整和/或更詳細(xì)收集。因此,能夠收集關(guān)于所述環(huán)境的更多的信息,即具體地,更大的點云。
利用魚眼光學(xué)器件與如描述的一種SLAM算法(即,拍攝一系列圖像、標(biāo)識對應(yīng)于所述環(huán)境中的基準(zhǔn)點的圖像點)的這種組合,給出了得到大量的位置(例如針對所述環(huán)境中的單個點)和/或定向信息(例如,所述全景相機(jī)或該相機(jī)附接至的桿的)的非常高效的方式。能夠利用所述相機(jī)拍攝所述環(huán)境的寬區(qū)域并且能夠基于相應(yīng)的全景圖像得到與所拍攝的區(qū)域?qū)?yīng)的地形信息。
本發(fā)明的另一方面集中于一種要用作被適配為確定被安裝在測量桿上的位置測量資源的位置的測量系統(tǒng)的一部分的特定相機(jī)模塊,具體地其中,所述位置測量資源包括GNSS天線或回復(fù)反射器,其中,所述相機(jī)模塊被設(shè)計為附接到所述測量桿并且包括相機(jī)和光學(xué)元件,該光學(xué)元件被設(shè)計為使得所述相機(jī)在方位方向上具有360°的視角,具體地其中,所述光學(xué)元件包括形式為錐體、球體或彎的鏡面。
所述光學(xué)元件優(yōu)選地可以被具體實現(xiàn)為拋物面鏡。
根據(jù)該相機(jī)模塊的實施方式,所述相機(jī)和所述光學(xué)元件被布置和設(shè)計為使得要拍攝的環(huán)境被投影到所述相機(jī)的傳感器上,使得所述環(huán)境的圖像可提供有基本上覆蓋所述環(huán)境的相等大小的部分的所述圖像的相等大小的塊,從而在均勻再現(xiàn)中提供表示所拍攝的環(huán)境的圖像。
在按照以上方式將所述環(huán)境投影到所述傳感器上的情況下提供了所述環(huán)境的無失真圖像,并且因此,具體地鑒于SLAM處理或點云的處理,使得能實現(xiàn)拍攝圖像的更快處理。
另選地,根據(jù)本發(fā)明的另一方面,具體地用于減少來自窗的反射或者對太陽光進(jìn)行濾波的偏振濾光器能夠被安裝有所述相機(jī),例如在所述相機(jī)的鏡頭前面。
這種光學(xué)元件(例如,拋物面鏡)結(jié)合如所描述的相機(jī)的布置提供也可與關(guān)于魚眼光學(xué)器件與相機(jī)或至少兩個相機(jī)的組合的那些好處比較的好處。附加地,對應(yīng)圖像的360°全景視圖和拍攝僅利用單個相機(jī)實現(xiàn),從而還提供僅一個相機(jī)的使用。
現(xiàn)在參照觸發(fā)被布置在相機(jī)中以便提供同步地拍攝的圖像的相機(jī)的問題,根據(jù)該發(fā)明的對應(yīng)布置像在下面所闡述的那樣被描述。
本發(fā)明還涉及一種測量子系統(tǒng),該測量子系統(tǒng)包括要用作被適配為確定被安裝在測量桿上的位置測量資源的具體地GNSS天線的或回復(fù)反射器的位置的測量系統(tǒng)的一部分的控制和評估單元以及相機(jī)模塊。所述相機(jī)模塊被設(shè)計為附接至所述測量桿并且包括用于拍攝圖像的至少兩個相機(jī)。所述控制和評估單元已存儲具有程序代碼的程序以便控制和執(zhí)行全景圖像生成功能,其中,響應(yīng)于開始命令
·所述環(huán)境的圖像的系列利用所述至少兩個相機(jī)拍攝,所述系列包括按所述相機(jī)的不同姿態(tài)拍攝的一定量的圖像,所述姿態(tài)表示所述相機(jī)的相應(yīng)的位置和定向;并且
·利用使用圖像的系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別對應(yīng)的圖像點在圖像的系列中的圖像的多個子組中的每一個中被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會,包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,所述基準(zhǔn)點的坐標(biāo)被得到,并且所述圖像的所述姿態(tài)被確定;
其中,可由至少第一相機(jī)和第二相機(jī)感知并且使該第一相機(jī)和該第二相機(jī)同步地拍攝圖像的中心光學(xué)觸發(fā)信號被生成。
在這個子系統(tǒng)的一個實施方式中,所述全景圖像生成功能包括從所述第一相機(jī)和所述第二相機(jī)的經(jīng)同步地拍攝的圖像生成組合拼接圖像。
在這個子系統(tǒng)的一個實施方式中,所述位置測量資源包括GNSS天線,并且所述控制和評估單元被配置為使得,當(dāng)沿著通過所述環(huán)境的路徑移動時,所述全景圖像生成功能被控制和執(zhí)行,使得
·基于通過所述GNSS天線接收到的GNSS信號的GNSS數(shù)據(jù)由所述控制和評估單元從所述測量系統(tǒng)接收,并且使得
·所述中心光學(xué)觸發(fā)信號是基于所接收到的GNSS數(shù)據(jù)而生成的。
在這個子系統(tǒng)的另一實施方式中,所述控制和評估單元被配置為使得當(dāng)沿著通過所述環(huán)境的路徑移動時,所述全景圖像生成功能被控制和執(zhí)行,使得所述開始命令基于以下各項被釋放
·與要生成的全景圖像的密度相關(guān)的定義位置網(wǎng)格以及
·移動路徑的行進(jìn)歷史,該行進(jìn)歷史是從所接收到的確定的位置得到的。
在另一實施方式中,所述子系統(tǒng)包括可由所述至少兩個相機(jī)中的每一個感知的至少一個光學(xué)觸發(fā)裝置,其中,所述中心光學(xué)觸發(fā)是所述至少一個光學(xué)觸發(fā)裝置的可感知的光學(xué)信號,具體地其中,所述光學(xué)觸發(fā)裝置包括閃光燈。
在另一實施方式中,所述子系統(tǒng)包括可由所述第一相機(jī)和所述第二相機(jī)感知的至少一個光學(xué)觸發(fā)裝置,其中,所述中心光學(xué)觸發(fā)是所述至少一個光學(xué)觸發(fā)裝置的可感知的光學(xué)信號,具體地其中,所述光學(xué)觸發(fā)裝置包括發(fā)光二極管。
本發(fā)明還涉及一種測量子系統(tǒng),該測量子系統(tǒng)包括要用作被適配為確定被安裝在測量桿上的位置測量資源的具體地GNSS天線的或回復(fù)反射器的位置的測量系統(tǒng)的一部分的控制和評估單元以及相機(jī)模塊。所述相機(jī)模塊被設(shè)計為附接至所述測量桿并且包括用于拍攝圖像的至少兩個相機(jī)。所述控制和評估單元已存儲具有程序代碼的程序以便控制和執(zhí)行圖像觸發(fā)功能,其中,當(dāng)沿著通過環(huán)境的路徑移動時
·所述環(huán)境的圖像的系列利用所述至少一個相機(jī)拍攝,所述系列包括按所述相機(jī)的不同姿態(tài)拍攝的一定量的圖像,所述姿態(tài)表示所述相機(jī)的相應(yīng)的位置和定向;并且
·利用使用圖像的系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別對應(yīng)的圖像點在圖像的系列中的圖像的多個子組中的每一個中被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會,包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,所述基準(zhǔn)點的坐標(biāo)被得到,并且所述圖像的所述姿態(tài)被確定;
其中,所述測量子系統(tǒng)包括用于確定至少一個預(yù)定義外部觸發(fā)信號的裝置,并且所述圖像觸發(fā)功能包括確定外部觸發(fā)信號,其中,基于所確定的外部觸發(fā)信號,所述至少一個相機(jī)拍攝圖像。
在這個子系統(tǒng)的一個實施方式中,所述相機(jī)模塊包括至少兩個相機(jī);所述外部觸發(fā)信號使所述至少兩個相機(jī)中的每一個同步地拍攝圖像;并且從所述至少兩個相機(jī)的經(jīng)同步地拍攝的圖像生成組合拼接圖像。
在另一實施方式中,用于存儲至少一個預(yù)定義外部觸發(fā)信號的裝置,其中,所述至少一個預(yù)定義外部觸發(fā)信號包括
·可由所述至少一個相機(jī)確定的所述用戶的至少一個預(yù)定義手勢;
·至少一個聲信號;和/或
·所述測量桿具體地所述測量桿的底端與所述地面的接觸。
本發(fā)明還涉及一種測量系統(tǒng)的模糊功能。對所述圖像數(shù)據(jù),能夠應(yīng)用針對汽車上的面部檢測和牌照的檢測的算法。為了保護(hù)人們的隱私,所檢測的面部或牌照然后能夠例如通過使所述圖像中以及所述點云中的對應(yīng)區(qū)域模糊而變得不可識別。
對于按大約10FPS和更大的幀速率記錄的圖像數(shù)據(jù)能夠應(yīng)用特征跟蹤算法,例如Kanade-Lucas-Tomasi(KLT)。另選地,具體地針對靜止圖像能夠應(yīng)用諸如SIFT、SURF、BRISK、BRIEF等的對應(yīng)特征算法的檢測。
根據(jù)本發(fā)明的這個方面的測量子系統(tǒng)包括要用作被適配為確定被安裝在測量桿上的位置測量資源的具體地GNSS天線的或回復(fù)反射器的位置的測量系統(tǒng)的一部分的控制和評估單元以及相機(jī)模塊。所述相機(jī)模塊被設(shè)計為附接至所述測量桿并且包括用于拍攝圖像的至少兩個相機(jī)。所述控制和評估單元已存儲具有程序代碼的程序以便控制和執(zhí)行數(shù)據(jù)減少功能,其中,當(dāng)沿著通過環(huán)境的路徑移動時
·所述環(huán)境的圖像的系列利用所述至少一個相機(jī)拍攝,所述系列包括按所述相機(jī)的不同姿態(tài)拍攝的一定量的圖像,所述姿態(tài)表示所述相機(jī)的相應(yīng)的位置和定向;
·利用使用圖像的系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別對應(yīng)的圖像點在圖像的系列中的圖像的多個子組中的每一個中被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會,包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,所述基準(zhǔn)點的坐標(biāo)被得到,并且所述圖像的所述姿態(tài)被確定;
·基于所確定的姿態(tài),包括所述環(huán)境的點的3D位置的點云通過使用圖像的系列的前方交會具體地通過使用密集匹配算法來計算;
·預(yù)定義和/或用戶定義種類的對象在所述圖像中被標(biāo)識;并且
·連接到所述圖像中經(jīng)標(biāo)識的對象的點的3D位置被修改或者刪除。
在這個子系統(tǒng)的一個實施方式中,所述3D位置被修改或者刪除,使得經(jīng)標(biāo)識的對象的個別特性不可在經(jīng)計算的點云中標(biāo)識。
在這個子系統(tǒng)的另一實施方式中,連接到所述圖像中經(jīng)標(biāo)識的對象的圖像數(shù)據(jù)被修改或者刪除,具體地使得經(jīng)標(biāo)識的對象的個別特性不可在所述圖像中標(biāo)識。
在這個子系統(tǒng)的另一實施方式中,預(yù)定義種類的對象至少包括
·操作所述測量系統(tǒng)的用戶;
·所述測量系統(tǒng)的零件;
·人臉;和/或
·車輛牌照。
本發(fā)明的另一方面集中于當(dāng)執(zhí)行測量任務(wù)時的隱私或安全保護(hù)。在特定區(qū)域中,拍攝照片或視頻經(jīng)受所有者或機(jī)構(gòu)的批準(zhǔn)或者完全禁止。這些區(qū)域例如是軍事設(shè)施。根據(jù)本發(fā)明的這個方面,為了在測量任務(wù)的過程中避免合法沖突,為了點云的計算而拍攝的所有圖像在它們已被相應(yīng)地使用之后被直接刪除并且不再需要用于計算所述點云。必須同時存儲僅少量的圖像以用于計算所述點云。
因此,本發(fā)明還涉及一種測量子系統(tǒng),該測量子系統(tǒng)包括要用作被適配為確定被安裝在測量桿上的位置測量資源的具體地GNSS天線的或回復(fù)反射器的位置的測量系統(tǒng)的一部分的控制和評估單元以及相機(jī)模塊。所述相機(jī)模塊被設(shè)計為附接至所述測量桿并且包括用于拍攝圖像的至少兩個相機(jī)。所述控制和評估單元已存儲具有程序代碼的程序以便控制和執(zhí)行定位和/或映射功能,其中,當(dāng)沿著通過環(huán)境的路徑移動時
·所述環(huán)境的圖像的系列利用所述至少一個相機(jī)拍攝,環(huán)境地面出現(xiàn)在所述圖像中,所述系列包括按所述相機(jī)的不同姿態(tài)拍攝的一定量的圖像,所述姿態(tài)表示所述相機(jī)的相應(yīng)的位置和定向;
·所述圖像被存儲在所述控制和評估單元的存儲器中,具體地在易失性存儲器中;
·利用使用圖像的系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別對應(yīng)的圖像點在圖像的系列中的圖像的多個子組中的每一個中被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會,包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,所述基準(zhǔn)點的坐標(biāo)被得到,并且所述圖像的所述姿態(tài)被確定;
·基于所確定的姿態(tài),包括所述環(huán)境的點的3D位置的點云通過使用圖像的系列的前方交會具體地通過使用密集匹配算法來計算;并且
·所述圖像中的每一個在已被用于計算所述點云之后被刪除。
在這個子系統(tǒng)的一個實施方式中,所述圖像在已被用于計算所述點云之后被毫不遲延地刪除,具體地其中,所述圖像被刪除使得不能夠從經(jīng)刪除的圖像創(chuàng)建視頻流。
在這個子系統(tǒng)的另一實施方式中,所述圖像被存儲和刪除,使得不超過十個圖像被同時存儲在所述存儲器中,具體地不超過五個圖像。
現(xiàn)在參照使來自收集的圖像的對象淡出以便改進(jìn)處理的發(fā)明方面,根據(jù)該發(fā)明,測量子系統(tǒng)包括要用作被適配為確定被安裝在手提測量桿上的位置測量資源的位置的測量系統(tǒng)的一部分的控制和評估單元以及相機(jī)模塊,具體地其中,所述位置測量資源包括GNSS天線或回復(fù)反射器。所述相機(jī)模塊被設(shè)計為附接至所述測量桿并且包括用于拍攝圖像的至少兩個相機(jī)。所述控制和評估單元已存儲具有程序代碼的程序以便控制和執(zhí)行空間表示生成功能,其中,當(dāng)沿著通過環(huán)境的路徑移動時
·所述環(huán)境的圖像的系列利用所述至少一個相機(jī)拍攝,所述系列包括按所述相機(jī)的不同姿態(tài)拍攝的一定量的圖像,所述姿態(tài)表示所述相機(jī)的相應(yīng)的位置和定向,
·利用使用圖像的系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別對應(yīng)的圖像點在圖像的系列中的圖像的多個子組中的每一個中被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會,包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,所述基準(zhǔn)點的坐標(biāo)被得到,并且所述圖像的所述姿態(tài)被確定,
其中,在圖像的系列中干擾對象通過圖像處理、特征識別技術(shù)和/或所述圖像的比較來識別,并且經(jīng)識別的干擾對象關(guān)于標(biāo)識圖像點的集合和/或確定所述圖像的所述姿態(tài)在有關(guān)的圖像中淡出,使得評估是不太需要努力的并且干擾被抑制。
根據(jù)該測量子系統(tǒng)的實施方式,所述控制和評估單元被配置為使得所述空間表示生成功能被控制和執(zhí)行,使得運(yùn)動對象基于運(yùn)動檢測算法具體地通過特征跟蹤被識別為所述干擾對象。
根據(jù)所述子系統(tǒng)的另一特定實施方式,人具體地攜帶所述桿的所述用戶或汽車被識別為所述干擾對象。
根據(jù)該發(fā)明的另一實施方式,所述控制和評估單元被配置為使得所述空間表示生成功能被控制和執(zhí)行,使得應(yīng)用識別所述干擾對象并且使所述干擾對象淡出的步驟通過用戶命令來觸發(fā)。
具體地,所述用戶在圖像的系列的至少一個中粗略地標(biāo)記要識別為干擾對象的對象,因此所述至少一個圖像被顯示在顯示裝置上。
干擾對象的檢測和淡出提供更快的數(shù)據(jù)處理,因為為了確定姿態(tài)必須考慮少量的圖像數(shù)據(jù)。此外,所計算出的姿態(tài)包括更高的精密度,因為將例如在考慮在不同的時間點拍攝的更多圖像中的運(yùn)動汽車的情況下發(fā)生的不正確的成像最初被抑制。
附加地,以上方法通常提供對基準(zhǔn)點(所述圖像中的圖像點)的更好的(具體地更精確且更快的)匹配和標(biāo)識。所述方法可以由所述控制和評估單元自動地執(zhí)行或者可以由用戶例如在該用戶在顯示在所述測量系統(tǒng)的顯示裝置上的圖像中做出相應(yīng)的對象時出發(fā)。
另一方面集中于相機(jī)(相應(yīng)地相機(jī)模塊)的校準(zhǔn)。根據(jù)該發(fā)明,一種包括要用作被適配為確定被安裝在測量桿上的位置測量資源的位置的測量系統(tǒng)的一部分的控制和評估單元以及相機(jī)模塊的測量子系統(tǒng),具體地其中,所述位置測量資源包括GNSS天線或回復(fù)反射器,所述相機(jī)模塊被設(shè)計為附接至所述測量桿并且包括用于拍攝圖像的至少兩個相機(jī)。所述位置測量資源包括位于所述測量資源的外殼處的基準(zhǔn)圖案。所述位置測量資源和所述相機(jī)模塊被按照定義方式彼此相對地布置,使得所述基準(zhǔn)圖案出現(xiàn)在所述至少一個相機(jī)的視場中。
此外,所述控制和評估單元已存儲具有程序代碼的程序以便執(zhí)行相機(jī)校準(zhǔn)功能,其中
·覆蓋所述基準(zhǔn)圖案的圖像由所述至少一個相機(jī)拍攝,并且
·關(guān)于所述位置測量資源與所述至少一個相機(jī)之間的固定空間關(guān)系的校準(zhǔn)參數(shù)是基于所拍攝的圖像和預(yù)知基準(zhǔn)圖像來確定的,所述基準(zhǔn)圖像通過所述基準(zhǔn)圖案在所述基準(zhǔn)圖像中的定義出現(xiàn)來表示所述至少一個圖像相對于所述位置測量資源的定義位置和定向。
根據(jù)該測量系統(tǒng)的特定實施方式,所述基準(zhǔn)圖案作為由光源提供的結(jié)構(gòu)化圖案或者作為永久圖案被具體實現(xiàn)。
基于所確定的校準(zhǔn)數(shù)據(jù),使得能實現(xiàn)所述相機(jī)或所述相機(jī)模塊分別相對于所述位置測量資源的期望位置的驗證。如果所述基準(zhǔn)圖案根據(jù)目標(biāo)外觀出現(xiàn)在拍攝的圖像中,則所述相機(jī)被定位在期待的原位置中。在所述圖案的外觀與期待的外觀不同的情況下所述相機(jī)模塊被定位和/或定向為與原位置不同。能夠通過將所述基準(zhǔn)圖像與實際上拍攝的圖像進(jìn)行比較具體地通過對所述圖案的外觀進(jìn)行比較來得到所述相機(jī)的位置的偏差。
本發(fā)明還涉及一種測量子系統(tǒng),該測量子系統(tǒng)包括要用作被適配為確定被安裝在測量桿上的位置測量資源的具體地GNSS天線的或回復(fù)反射器的位置的測量系統(tǒng)的一部分的控制和評估單元以及相機(jī)模塊。所述相機(jī)模塊被設(shè)計為附接至所述測量桿并且包括用于拍攝圖像的至少兩個相機(jī)。所述位置測量資源和所述相機(jī)模塊被按照定義方式彼此相對地布置,此外,所述控制和評估單元已存儲具有程序代碼的程序以便控制和執(zhí)行校準(zhǔn)功能,其中,當(dāng)沿著通過環(huán)境的路徑移動時
·所述環(huán)境的圖像的系列利用所述至少一個相機(jī)拍攝,所述系列包括按所述相機(jī)的不同姿態(tài)拍攝的一定量的圖像,所述姿態(tài)表示所述相機(jī)的相應(yīng)的位置和定向,
·利用使用圖像的系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別對應(yīng)的圖像點在圖像的系列中的圖像的多個子組中的每一個中被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會,包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,所述基準(zhǔn)點的坐標(biāo)被得到,并且所述圖像的所述姿態(tài)被確定,
·針對已在所述路徑上采用的點的所述位置測量資源的確定的位置由所述控制和評估單元從所述測量系統(tǒng)接收,并且
·關(guān)于所述位置測量資源與所述至少一個相機(jī)之間的固定空間關(guān)系的校準(zhǔn)參數(shù)是基于所接收到的確定的位置和所確定的姿態(tài)的相關(guān)評價而得到的。
根據(jù)該子系統(tǒng),針對已在所述路徑上采用的點的所述位置測量資源的確定的位置由所述控制和評估單元從所述測量系統(tǒng)接收,并且關(guān)于所述位置測量資源與所述至少一個相機(jī)之間的固定空間關(guān)系的校準(zhǔn)參數(shù)是基于所接收到的確定的位置與所確定的姿態(tài)的相關(guān)評價而得到的。
根據(jù)本發(fā)明的實施方式,所述控制和評估單元被配置為使得所述校準(zhǔn)功能被控制和執(zhí)行,使得根據(jù)所述路徑的跡線是基于所得到的姿態(tài)并且基于所接收到的確定的位置而得到的,其中,所述校準(zhǔn)參數(shù)是基于對所述跡線進(jìn)行比較而得到的。
根據(jù)本發(fā)明的另一特定實施方式,所述控制和評估單元被配置為使得所述校準(zhǔn)功能被控制和執(zhí)行,使得所述校準(zhǔn)參數(shù)通過附加地使用由慣性測量單元生成的數(shù)據(jù)而被得到,所述慣性測量單元與所述測量子系統(tǒng)或所述位置測量資源關(guān)聯(lián)。
根據(jù)本發(fā)明的又一特定實施方式,所述位置測量資源的所接收到的位置通過在所述位置測量資源一側(cè)接收GNSS信號或者通過在所述位置測量資源一側(cè)反射測量激光束來確定,該測量激光束由全站儀或經(jīng)緯儀發(fā)射和接收。
使用關(guān)于從所述測量系統(tǒng)接收到的所述位置信息以及基于所拍攝的圖像而確定的所述姿態(tài)二者的信息,能夠得到所述相機(jī)(相機(jī)模塊)和所述位置測量資源的相對位置和定向并且能夠從此計算所述兩個組件的相對空間定向。所述姿態(tài)表示所述相機(jī)的相應(yīng)的定向。該方法在移動所述相機(jī)(并且相應(yīng)地移動所述位置測量資源)的同時提供連續(xù)且自動位置校準(zhǔn)。借助于由所述慣性測量單元提供的數(shù)據(jù)這種校準(zhǔn)按六個自由度(6-DOF)實現(xiàn)。
本發(fā)明還涉及一種測量子系統(tǒng),該測量子系統(tǒng)包括要用作被適配為確定被安裝在測量桿上的位置測量資源的具體地GNSS天線的或回復(fù)反射器的位置的測量系統(tǒng)的一部分的控制和評估單元以及相機(jī)模塊。所述相機(jī)模塊被設(shè)計為附接至所述測量桿并且包括用于拍攝圖像的至少兩個相機(jī)。慣性測量單元按照相對于所述測量子系統(tǒng)的固定空間關(guān)系與所述測量子系統(tǒng)或所述位置測量資源關(guān)聯(lián)。
所述控制和評估單元已存儲具有程序代碼的程序以便控制和執(zhí)行校準(zhǔn)功能,其中,當(dāng)沿著通過環(huán)境的路徑移動時
·慣性測量數(shù)據(jù)是在沿著所述路徑移動的同時收集的,
·基于圖像的定位被生成,因此所述環(huán)境的圖像的系列利用所述至少一個相機(jī)拍攝,所述系列包括按所述相機(jī)的不同姿態(tài)拍攝的一定量的圖像,所述姿態(tài)表示所述相機(jī)的相應(yīng)的位置和定向,利用使用圖像的系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別對應(yīng)的圖像點在圖像的系列中的圖像的多個子組中的每一個被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會,包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,所述基準(zhǔn)點的坐標(biāo)被得到,并且所述圖像的所述姿態(tài)被確定,并且
·用于所述慣性測量單元的校準(zhǔn)參數(shù)是基于所收集的慣性測量數(shù)據(jù)和所述基于相機(jī)的定位數(shù)據(jù)而得到的,具體地其中,卡爾曼濾波器被使用。
根據(jù)本發(fā)明的實施方式,所述控制和評估單元被配置為使得所述校準(zhǔn)功能被控制和執(zhí)行,使得所述慣性測量單元使用所得到的校準(zhǔn)參數(shù)來校準(zhǔn),其中,所述慣性測量單元的系統(tǒng)誤差被補(bǔ)償,具體地其中,所述慣性測量單元的偏差(bias)被補(bǔ)償。
通過應(yīng)用所得到的校準(zhǔn)參數(shù)僅僅(僅)基于從所述圖像的姿態(tài)得到的即從在移動所述相機(jī)的同時拍攝的圖像的系列得到的所述定向數(shù)據(jù)提供所述IMU(慣性測量單元)的校準(zhǔn)。相機(jī)和IMU在移動的同時被布置在定義相對空間位置中。
本發(fā)明還涉及一種測量子系統(tǒng),該測量子系統(tǒng)包括要用作被適配為利用測量桿確定位置的測量系統(tǒng)的一部分的控制和評估單元以及相機(jī)模塊。所述相機(jī)模塊被設(shè)計為在到所述桿的底端的已知距離上附接至所述測量桿并且包括用于拍攝圖像的至少一個相機(jī)。所述控制和評估單元已存儲具有程序代碼的程序以便控制和執(zhí)行定標(biāo)功能,其中,當(dāng)沿著通過環(huán)境的路徑移動時
·所述環(huán)境的圖像的系列利用所述至少一個相機(jī)拍攝,環(huán)境地面出現(xiàn)在所述圖像中,所述系列包括按所述相機(jī)的不同姿態(tài)拍攝的一定量的圖像,所述姿態(tài)表示所述相機(jī)的相應(yīng)的位置和定向;
·利用使用圖像的系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別對應(yīng)的圖像點在圖像的系列中的圖像的多個子組中的每一個中被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會,包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,所述基準(zhǔn)點的坐標(biāo)被得到,并且所述圖像的所述姿態(tài)被確定;
·基于所確定的姿態(tài),包括所述環(huán)境的點的3D位置的點云通過使用圖像的系列的前方交會具體地通過使用密集匹配算法來計算;
·從所述相機(jī)到所述地面的距離是基于從所述相機(jī)到所述底端的所述已知距離而確定的;并且
·所述點云基于所確定的距離被定標(biāo)。
在這個子系統(tǒng)的一個實施方式中,對所述點云進(jìn)行定標(biāo)包括基于所確定的距離來確定所述地面上的點的3D位置。
在這個子系統(tǒng)的另一實施方式中,確定從所述相機(jī)到所述地面的所述距離包括具體地從所述姿態(tài)得到所述相機(jī)的定向。
此外,關(guān)于本發(fā)明的另一方面涉及一種針對測量子系統(tǒng)的集束調(diào)整,該測量子系統(tǒng)包括要用作被適配為確定被安裝在測量桿上的位置測量資源的具體地GNSS天線的或回復(fù)反射器的位置的測量系統(tǒng)的一部分的控制和評估單元以及相機(jī)模塊。
所述相機(jī)模塊被設(shè)計為附接至所述測量桿并且包括用于拍攝圖像的至少兩個相機(jī)。所述控制和評估單元已存儲具有程序代碼的程序以便控制和執(zhí)行空間表示生成功能,其中,當(dāng)沿著通過環(huán)境的路徑移動時,至少
·所述環(huán)境的圖像的系列利用所述至少一個相機(jī)拍攝,所述系列包括按所述相機(jī)的不同姿態(tài)拍攝的一定量的圖像,所述姿態(tài)表示所述相機(jī)的相應(yīng)的位置和定向,
·利用使用圖像的系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別對應(yīng)的圖像點在圖像的系列中的圖像的多個子組中的每一個中被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會,包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,所述基準(zhǔn)點的坐標(biāo)被得到,并且所述圖像的所述姿態(tài)被確定,
·針對已在所述路徑上采用的點的所述位置測量資源的確定的位置由所述控制和評估單元從所述測量系統(tǒng)接收,并且,
·在接收到測量觸發(fā)時,分段集束調(diào)整被執(zhí)行,其中,與和所述測量觸發(fā)有關(guān)的減少數(shù)量的圖像一起使用僅圖像的系列的子集,所述基準(zhǔn)點場和所述姿態(tài)針對所述子集的圖像被追溯地重新計算。
根據(jù)本發(fā)明,基于所確定的姿態(tài),包括所述環(huán)境的點的3D位置的點云通過使用圖像的系列中的圖像的前方交會來計算,針對已在所述路徑上采用的點的所述位置測量資源的確定的位置由所述控制和評估單元從所述測量系統(tǒng)接收,并且在選擇圖像的系列中的圖像中的至少一個中的單個點或區(qū)域時,至少基于相應(yīng)地在所述區(qū)域的點附近的預(yù)定義區(qū)域的圖像數(shù)據(jù)并且基于與所接收到的確定的位置有關(guān)的信息執(zhí)行用于細(xì)化所述點云的集束調(diào)整。
具體地,作為最終或中間布置,總體解決方案(至少姿態(tài)和點云)使用集束調(diào)整來細(xì)化。所述算法的這個部分是再投影誤差的非線性最小二乘最小化。它將優(yōu)化相應(yīng)的相機(jī)位置和3D點的定位和定向。
在以上集束調(diào)整的上下文中,收集的測量數(shù)據(jù)(例如,圖像、圖像點、姿態(tài)和/或3D位置)的一部分被用于參照由所拍攝的圖像覆蓋的所述環(huán)境的一部分來提供細(xì)化的(部分)點云。具體地,通過卡爾曼濾波器提供的這種測量數(shù)據(jù)被使用。具體地,根據(jù)閉合測量歷史的測量數(shù)據(jù)被使用,例如與前面的和/或連續(xù)的十個姿態(tài)對應(yīng)的數(shù)據(jù)(相對于用于集束調(diào)整的感興趣點或區(qū)域被選擇輸入的圖像)。
根據(jù)所述子系統(tǒng)的一個實施方式,位置信息可從測量觸發(fā)得到,并且所述子集是基于所述位置信息選擇的。
根據(jù)所述子系統(tǒng)的另一實施方式,所述測量觸發(fā)是可從測量系統(tǒng)接收的觸發(fā)。
根據(jù)所述子系統(tǒng)的又一實施方式,所述測量觸發(fā)是通過將所述桿放置在測量點上和/或使所述桿保持基本上在固定位置和定向上達(dá)預(yù)定時間段而自動地引起的。
在所述子系統(tǒng)的另一個實施方式中,所述分段集束調(diào)整通過使用在標(biāo)識所述圖像點并且確定所述姿態(tài)的情況下發(fā)生的誤差的非線性最小二乘最小化來執(zhí)行。
在所述子系統(tǒng)的一個實施方式中,與所述測量觸發(fā)有關(guān)的定位信息是基于重新計算的姿態(tài)而得到的,具體地其中,所述手提測量桿針對一個或更多個測量觸發(fā)相關(guān)時間點的位置和定向被得到。
在所述子系統(tǒng)的另一實施方式中,所述點云借助于所確定的位置被定標(biāo),并且/或者所述測量桿的尖端的位置的坐標(biāo)在執(zhí)行分段集束調(diào)整之后在所述測量觸發(fā)時作為反應(yīng)被得到和輸出。
執(zhí)行所述集束調(diào)整提供所選擇的點的位置的非常精確的確定或者相應(yīng)地定義區(qū)域中的點的量的精確的確定,并且從而提供所述定義區(qū)域的確切數(shù)字3D模型。
通過集束調(diào)整實現(xiàn)了關(guān)于考慮所述集束調(diào)整的執(zhí)行的圖像的所計算出的姿態(tài)的細(xì)化。這種細(xì)化再次導(dǎo)致3D位置的更精確的確定。
此外,所述桿的定向(在根據(jù)所述姿態(tài)計算的情況下)可以被以更精確的方式確定。具體地,這種定向由于所計算的姿態(tài)而得到有六個自由度(6-DOF)。
所述集束調(diào)整具體地在所述系統(tǒng)的用戶選擇所述點或所述區(qū)域時被執(zhí)行,其中,經(jīng)調(diào)整的數(shù)據(jù)被以實時方式提供給所述用戶,即所述選擇選擇所述點并且例如在所述系統(tǒng)的顯示裝置上基本上立即接收計算結(jié)果。
另一個發(fā)明方面涉及一種要用作被適配為確定被安裝在測量桿上的位置測量資源的位置的測量系統(tǒng)的一部分的特定相機(jī)模塊,具體地其中,所述位置測量資源包括GNSS天線或回復(fù)反射器。該相機(jī)模塊被設(shè)計為附接至所述測量桿并且包括至少第一相機(jī)和第二相機(jī),該第一相機(jī)包括第一成像特性并且該第二相機(jī)包括與所述第一成像特性不同的第二成像特性。
根據(jù)本發(fā)明的實施方式,所述第一相機(jī)被設(shè)計為使得具有比可利用所述第二相機(jī)拍攝的圖像的圖像分辨率低的圖像分辨率的圖像被拍攝。
根據(jù)本發(fā)明的另一個實施方式,所述第一相機(jī)包括第一成像傳感器并且所述第二相機(jī)包括第二成像傳感器,其中,所述第一成像傳感器與所述第二成像傳感器相比關(guān)于要拍攝的圖像提供更低的點到點分辨率。
根據(jù)本發(fā)明的另一個實施方式,與所述第二相機(jī)相比所述第一相機(jī)被設(shè)計用于以更高的幀速率拍攝圖像。
根據(jù)本發(fā)明的另一個實施方式,所述第一相機(jī)被設(shè)計為使得根據(jù)第一光譜范圍的圖像拍攝被提供并且所述第二相機(jī)被設(shè)計為使得根據(jù)第二光譜范圍的圖像拍攝被提供,其中,所述第一光譜范圍與所述第二光譜范圍不同,具體地其中,所述第一相機(jī)提供根據(jù)紅外光譜范圍的圖像拍攝或者提供溫度記錄圖圖像。
按不同的光譜范圍拍攝圖像提供用于得到所覆蓋的環(huán)境的更詳細(xì)的信息,具體地用于具有改進(jìn)的紋理或關(guān)于光譜特性(例如,關(guān)于對象的熱特性)的擴(kuò)展信息的圖像的生成(例如,通過合并覆蓋所述環(huán)境的公共區(qū)域的不同的光譜范圍的圖像)。
本發(fā)明還涉及一種測量子系統(tǒng),該測量子系統(tǒng)包括要用作被適配為確定被安裝在手提測量桿上的位置測量資源的位置的測量系統(tǒng)的一部分的控制和評估單元以及相機(jī)模塊,其中,所述位置測量資源包括GNSS天線或回復(fù)反射器。
所述相機(jī)模塊被設(shè)計為附接至所述測量桿并且包括用于拍攝圖像的至少兩個相機(jī),其中,所述至少兩個相機(jī)中的第一個被設(shè)計為按與可利用所述至少兩個相機(jī)中的第二個拍攝的第二圖像相比更低的圖像分辨率拍攝第一圖像,
所述控制和評估單元已存儲具有程序代碼的程序以便控制和執(zhí)行空間表示生成功能,其中,當(dāng)沿著通過環(huán)境的路徑移動時
·所述環(huán)境的圖像的第一系列利用所述第一相機(jī)拍攝,所述第一系列包括按所述第一相機(jī)的不同姿態(tài)捕獲的一定量的圖像,所述姿態(tài)表示所述第一相機(jī)的相應(yīng)的位置和定向,并且所述環(huán)境的圖像的第二系列利用所述第二相機(jī)并行地拍攝,并且
·利用使用僅圖像的第一系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別對應(yīng)的圖像點在圖像的第一系列的圖像的多個子組中的每一個中被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會,包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,所述基準(zhǔn)點的坐標(biāo)被得到,并且所述圖像的所述姿態(tài)被確定,
從而與通過利用所述第二相機(jī)拍攝圖像而生成的處理數(shù)據(jù)相比在所述SLAM評估內(nèi)提供更快的數(shù)據(jù)處理。
根據(jù)本發(fā)明的實施方式,所述控制和評估單元被配置為使得所述空間表示生成功能被控制和執(zhí)行,使得基于所確定的姿態(tài)包括所述環(huán)境的點的3D位置的點云通過使用圖像的第二系列的圖像的前方交會被計算為所述空間表示。
根據(jù)本發(fā)明的另一實施方式,所述點云的處理通過用戶命令來觸發(fā)。
根據(jù)本發(fā)明的另一實施方式,所述控制和評估單元被配置為使得所述空間表示生成功能被控制和執(zhí)行,使得所述點云的處理使用圖像的第二系列的圖像的定義子集來執(zhí)行,其中,所述子集可由用戶選擇,從而提供用于在比較短的時間中為所述環(huán)境的期望部分生成詳細(xì)的3D信息。
根據(jù)本發(fā)明的另一實施方式,所述控制和評估單元被配置為使得所述空間表示生成功能被控制和執(zhí)行,使得密集匹配算法被執(zhí)行以用于使用圖像的第二系列的圖像來提供所述點云。
根據(jù)本發(fā)明的另一實施方式,所述控制和評估單元被配置為使得所述空間表示生成功能被控制和執(zhí)行,使得基于所確定的姿態(tài),包括所述環(huán)境的點的3D位置的初始點云通過僅使用圖像的第一系列的圖像的前方交會來計算。
根據(jù)本發(fā)明的另一個特定實施方式,所述控制和評估單元被配置為使得所述空間表示生成功能被控制和執(zhí)行,使得為所述初始點云生成了圖形再現(xiàn),該圖形再現(xiàn)可由所述測量系統(tǒng)的顯示裝置顯示,從而向用戶提供關(guān)于已經(jīng)獲取的數(shù)據(jù)的比較快的直接反饋,使得所述已經(jīng)獲取的數(shù)據(jù)關(guān)于其完整性能夠被檢查。
根據(jù)本發(fā)明的另一個特定實施方式,所述控制和評估單元被配置為使得所述空間表示生成功能被控制和執(zhí)行,使得密集匹配算法被執(zhí)行以用于使用具有更低的圖像分辨率的圖像的第一系列的圖像來提供所述初始點云,從而提供比較快的數(shù)據(jù)處理。
根據(jù)本發(fā)明的另一個特定實施方式,所述控制和評估單元被配置為使得所述空間表示生成功能被控制和執(zhí)行,使得所述第一相機(jī)以與由所述第二相機(jī)拍攝所述第二圖像相比更高的幀速率拍攝所述第一圖像。
因此,當(dāng)具有高分辨率的圖像以及具有更低分辨率的圖像二者由所述相機(jī)模塊的所述至少兩個相機(jī)提供時,給出了快速且高效的數(shù)據(jù)處理以及關(guān)于位置和/或定向的確定生成高度精確的數(shù)據(jù)的可能性的方面。因此,具體地根據(jù)測量處理的類型或階段使得用戶能夠選擇哪一個數(shù)據(jù)將被計算和/或輸出例如在顯示裝置上。例如為了得到關(guān)于所述測量處理的進(jìn)度的快速概要快速數(shù)據(jù)處理和輸出將是需要的并且將可通過更低分辨率的圖像數(shù)據(jù)提供。另選地或附加地,非常詳細(xì)的且精確的位置信息通過例如同時使用更高分辨率圖像數(shù)據(jù)來提供。
本發(fā)明的另一方面涉及一種關(guān)于具有特定相機(jī)的測量子系統(tǒng)的類似方法。所述測量子系統(tǒng)包括要用作被適配為確定被安裝在測量桿上的位置測量資源的位置的測量系統(tǒng)的一部分的控制和評估單元以及相機(jī)模塊,具體地,其中,所述位置測量資源包括GNSS天線或回復(fù)反射器。所述相機(jī)模塊被設(shè)計為附接至所述測量桿并且包括用于拍攝圖像的至少一個(雙模式)相機(jī),所述相機(jī)被設(shè)計為使得關(guān)于按不同的分辨率并且/或者按不同的幀速率拍攝圖像的不同的拍攝模式被提供,所述控制和評估單元已存儲具有程序代碼的程序以便控制和執(zhí)行空間表示生成功能,其中
·低分辨率高幀速率模式是為圖像在比較低的分辨率情況下利用所述至少一個相機(jī)的高頻率拍攝而提供的,并且
·高分辨率低幀速率模式是為圖像在比較低的幀速率情況下利用所述至少一個相機(jī)的高分辨率拍攝而提供的,
并且,當(dāng)沿著通過環(huán)境的路徑移動時
·所述環(huán)境的圖像的系列使用所述低分辨率高幀速率模式來拍攝,所述系列包括按所述相機(jī)的不同姿態(tài)拍攝的一定量的圖像,所述姿態(tài)表示所述相機(jī)的相應(yīng)的位置和定向,并且
·利用使用圖像的系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別對應(yīng)的圖像點在圖像的系列中的圖像的多個子組中的每一個中被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會,包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,所述基準(zhǔn)點的坐標(biāo)被得到,并且所述圖像的所述姿態(tài)被確定。
根據(jù)以上發(fā)明的特定實施方式,所述控制和評估單元被配置為使得所述空間表示生成功能被控制和執(zhí)行,使得
·所述環(huán)境的圖像的系列使用所述高分辨率低幀速率模式來拍攝,所述系列包括按所述相機(jī)的不同姿態(tài)拍攝的一定量的圖像,
·所述低分辨率高幀速率模式和所述高分辨率低幀速率模式被同時執(zhí)行并且
·在高分辨率低幀速率模式下拍攝的圖像的姿態(tài)是基于所述圖像點并且/或者基于針對在低分辨率高幀速率模式下拍攝的所述圖像而確定的所述姿態(tài)而得到的。
根據(jù)所述子系統(tǒng)的另一特定實施方式,所述控制和評估單元被配置為使得所述空間表示生成功能被控制和執(zhí)行,使得在高分辨率低幀速率模式下的圖像拍攝通過定義時間信號(具體地按照恒定時間間隔提供觸發(fā)信號的時間信號)來觸發(fā),或者通過對所述桿的相對位置進(jìn)行比較來觸發(fā),所述位置是從針對在低分辨率高幀速率模式下拍攝的所述圖像而確定的所述姿態(tài)得到的,其中,連續(xù)圖像的拍攝根據(jù)是否達(dá)到或者超過預(yù)定義相對位置閾值被觸發(fā),具體地其中,所述連續(xù)圖像的拍攝在前一個桿位置與實際桿位置之間的差異為至少一米具體地兩米或五米的情況下被觸發(fā)。
被具體實現(xiàn)用于按不同的幀速率和/或分辨率拍攝圖像的這種相機(jī)的使用提供用于在一個公共測量處理中組合低分辨率圖像和高分辨率圖像。所述低分辨率圖像因此由于大量的圖像、考慮的圖像點和計算出的姿態(tài)而提供圖像和(低分辨率)點云的姿態(tài)的精確且快速的計算。附加地,為了精確地確定圖像中拍攝的點的位置、例如所述桿或更精確的(高分辨率)點云的定向,能夠考慮所述高分辨率圖像。
為了計算這種高分辨率點云,能夠基于利用并且針對所述低分辨率圖像而得到的所述數(shù)據(jù)來確定所述高分辨率圖像的姿態(tài),即在這些圖像中標(biāo)識的圖像點和/或針對這些圖像而得到的姿態(tài)被考慮用于確定所述高分辨率圖像的姿態(tài)。這種姿態(tài)確定是基于將公共時間基準(zhǔn)用于拍攝低分辨率圖像以及高分辨率圖像而實現(xiàn)的。相應(yīng)的高分辨率圖像因此能夠被指派給相應(yīng)的低分辨率圖像。
附加地,具體地,使得用戶能夠人工地觸發(fā)感興趣點或區(qū)域的高分辨率圖像的拍攝并且因此提供該點和/或區(qū)域的更詳細(xì)的信息。
此外,關(guān)于本發(fā)明的另一方面涉及相對于由測量系統(tǒng)收集的數(shù)據(jù)的循環(huán)閉合。所述測量子系統(tǒng)包括要用作被適配為確定被安裝在測量桿上的位置測量資源的具體地GNSS天線的或回復(fù)反射器的位置的測量系統(tǒng)的一部分的控制和評估單元以及相機(jī)模塊。所述相機(jī)模塊被設(shè)計為附接至所述測量桿并且包括用于拍攝圖像的至少兩個相機(jī)。所述控制和評估單元已存儲具有程序代碼的程序以便控制和執(zhí)行空間表示生成功能,其中,當(dāng)沿著通過環(huán)境的路徑移動時
·所述環(huán)境的圖像的第一系列利用所述至少一個相機(jī)拍攝,所述第一系列包括按所述相機(jī)的不同姿態(tài)拍攝的一定量的圖像,所述姿態(tài)表示所述相機(jī)的相應(yīng)的位置和定向,
·圖像點的初始集合是基于圖像的第一系列標(biāo)識的,初始圖像點表示基準(zhǔn)點場的基準(zhǔn)點,其中,各個基準(zhǔn)點出現(xiàn)在圖像的系列的至少兩個圖像中,并且
·所述圖像的所述姿態(tài)是基于使用所述初始圖像點的后方交會而確定的。
此外,根據(jù)本發(fā)明的這個方面
·所述環(huán)境的圖像的第二系列利用所述至少一個相機(jī)拍攝,
·出現(xiàn)在圖像的第二系列的圖像中的至少一個中的所述基準(zhǔn)點場的基準(zhǔn)點被標(biāo)識,
·圖像點的另一集合在與圖像的第二系列的經(jīng)標(biāo)識的基準(zhǔn)點對應(yīng)的圖像的第二系列的圖像中被標(biāo)識,并且
·圖像的第二系列的圖像的姿態(tài)是基于使用圖像點的初始集合和另一集合的后方交會而確定的。
根據(jù)以上發(fā)明的實施方式,所述相機(jī)模塊包括彼此相對布置的至少兩個相機(jī),使得在方位方向上具有360°的視場的全景圖像是可捕獲的。具體地,各個相機(jī)包括魚眼光學(xué)器件。
通過實際上標(biāo)識并考慮已經(jīng)在一組初始或前面的基準(zhǔn)點中標(biāo)識的基準(zhǔn)點,能夠與實際的姿態(tài)重建和/或點云計算一起考慮這些最初定義的點并且能夠使已經(jīng)計算的點云閉合以便通過一個完整云來表示整個環(huán)境。
早先定義的基準(zhǔn)點的以后重復(fù)的使用還提供收集的位置和/或定向數(shù)據(jù)的細(xì)化,因為累積誤差(例如,因確定連續(xù)姿態(tài)而發(fā)生)能夠由那個補(bǔ)償。
如果所述環(huán)境中的同一區(qū)域的(或其部分的)多個圖像被拍攝,則能夠使這些圖像和/或所述圖像中標(biāo)識的相應(yīng)的基準(zhǔn)點匹配。這至少將增加總體準(zhǔn)確性。
另一個發(fā)明方面與具有集成相機(jī)的位置測量資源有關(guān)。所述位置測量資源被具體實現(xiàn)為可安裝在測量桿上以被用作被適配為確定所述位置測量資源的位置的測量系統(tǒng)的一部分。所述位置測量資源包括GNSS天線和/或回復(fù)反射器以及具有用于拍攝環(huán)境的圖像的至少一個相機(jī)的相機(jī)布置。所述相機(jī)布置以及所述GNSS天線和/或所述回復(fù)反射器被集成到所述位置測量資源的單個公共不可分的外殼中,并且所述公共外殼包括被設(shè)計為使得所述位置測量資源可模塊化附接至所述桿的聯(lián)接單元。
根據(jù)以上本發(fā)明的實施方式,所述相機(jī)布置被構(gòu)建和設(shè)計為使得至少在方位方向上具有360°的視場的全景圖像是可捕獲的,具體地其中,所述相機(jī)布置包括布置在所述公共外殼中的至少兩個相機(jī),尤其是至少四個相機(jī)。
根據(jù)以上本發(fā)明的另一個實施方式,所述位置測量資源包括被集成到所述公共外殼中的傳感器單元,該傳感器單元包括以下傳感器中的至少一個:
·慣性測量單元,
·陀螺儀,
·傾斜傳感器,
·加速度計,和/或
·磁羅盤。
通過將所述相機(jī)布置在附加地包括所述GNSS天線或所述回復(fù)反射器的所述位置測量資源的外殼內(nèi)部,提供了緊湊組件,其提供用于所述組件的位置確定并且用于例如通過使用由所述相機(jī)拍攝的圖像來執(zhí)行SLAM算法或SfM算法來確定所述組件的定向。
因此,還提供了關(guān)于所述組件或所述桿的位置和定向的六個自由度(6-DOF)的連續(xù)確定。
現(xiàn)在參照抑制被布置在相機(jī)模塊中以便提供圖像的更穩(wěn)定拍攝的相機(jī)的問題,根據(jù)該發(fā)明的對應(yīng)布置像在下面所闡述的那樣被描述。
本發(fā)明涉及一種要用作被適配為確定被安裝在測量桿上的位置測量資源的位置的測量系統(tǒng)的一部分的相機(jī)模塊,具體地其中,所述位置測量模塊包括GNSS天線和回復(fù)反射器,所述相機(jī)模塊被設(shè)計為附接至所述測量桿。所述相機(jī)模塊被設(shè)計為附接至所述測量桿并且包括外殼以及具有至少一個相機(jī)的相機(jī)布置,其中,所述相機(jī)被集成在所述外殼中并且通過使用阻尼元件相對于所述外殼被可移動地安裝,使得當(dāng)沿著路徑隨著所述測量桿(已剛性附接所述相機(jī)模塊)而移動時,通過使所述測量桿降落實現(xiàn)的機(jī)械沖擊在所述相機(jī)布置一側(cè)被補(bǔ)償,并且/或者使得至少所述相機(jī)布置的方位定向可相對于所述外殼的方位定向變化,使得當(dāng)沿著路徑隨著所述測量桿(已剛性附接所述相機(jī)模塊)而移動時,所述桿和所述外殼的方位定向的變更在所述相機(jī)布置一側(cè)被補(bǔ)償,具體地其中,具有低幅度的更高頻率變更被補(bǔ)償,尤其使得形成在所述相機(jī)布置的方位定向與所述路徑上的運(yùn)動方向之間的相對方位角在所述路徑上的各個點中被保持基本上恒定。
根據(jù)以上發(fā)明的實施方式,實際的運(yùn)動方向或平滑的運(yùn)動方向被用作所述運(yùn)動方向,所述平衡運(yùn)動方向具體地是通過使所述路徑的最近行進(jìn)段平滑針對所述路徑上的各個點而得到的。
根據(jù)以上發(fā)明的另一個實施方式,所述相機(jī)布置通過使用萬向架相對于所述外殼被安裝。
根據(jù)以上發(fā)明的另一個實施方式,所述相機(jī)模塊包括被布置在所述外殼中的飛輪和/或陀螺單元,其中,所述飛輪或所述陀螺單元與所述相機(jī)布置連接,使得通過所述旋轉(zhuǎn)飛輪或所述陀螺單元施加的力被傳遞到所述相機(jī)布置,從而提供所述相機(jī)布置的所述方位定向的穩(wěn)定。
根據(jù)以上發(fā)明的另一個實施方式,所述相機(jī)模塊包括連接到所述相機(jī)布置以主動地使所述相機(jī)布置的所述方位定向穩(wěn)定的致動器,具體地壓電致動器。
根據(jù)以上發(fā)明的又一個實施方式,所述相機(jī)模塊包括用于得到所述外殼的定向的單元,其中,由所述單元生成的定向信息被提供給所述致動器以用于根據(jù)所檢測到的所述外殼的定向主動地對所述相機(jī)布置的定向進(jìn)行補(bǔ)償。具體地,所述定向信息是基于以下各項而生成的
·使用利用所述至少一個相機(jī)拍攝的圖像的系列的SLAM評估,在該SLAM評估內(nèi)所述圖像的姿態(tài)被確定,
·由所述單元從所述測量系統(tǒng)接收的所述位置測量資源的確定的位置,和/或
·提供IMU測量數(shù)據(jù)的慣性測量單元。
以上發(fā)明提供了所述相機(jī)在移動上面附接有所述相機(jī)模塊的所述外殼或所述桿時的阻尼。這種阻尼使得能夠在通過所述環(huán)境移動的同時拍攝更好質(zhì)量的圖像,即穩(wěn)定圖像。
此外,關(guān)于本發(fā)明的另一方面涉及相對于由測量子系統(tǒng)收集的點數(shù)據(jù)的質(zhì)量指示,具體地點云或遠(yuǎn)程單點測量。
根據(jù)該發(fā)明方面的相應(yīng)的測量子系統(tǒng)包括要用作被適配為確定被安裝在手提測量桿上的位置測量資源的位置的測量系統(tǒng)的一部分的控制和評估單元以及相機(jī)模塊,具體地,其中,所述位置測量資源包括GNSS天線或回復(fù)反射器。所述相機(jī)模塊被設(shè)計為附接至所述測量桿并且包括用于拍攝圖像的至少兩個相機(jī)。所述控制和評估單元已存儲具有程序代碼的程序以便控制和執(zhí)行空間表示生成功能,其中,當(dāng)沿著通過環(huán)境的路徑移動時
·所述環(huán)境的圖像的系列利用所述至少一個相機(jī)拍攝,所述系列包括按所述相機(jī)的不同姿態(tài)拍攝的一定量的圖像,所述姿態(tài)表示所述相機(jī)的相應(yīng)的位置和定向,
·利用使用圖像的系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別對應(yīng)的圖像點在圖像的系列中的圖像的多個子組中的每一個中被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會,包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,所述基準(zhǔn)點的坐標(biāo)被得到,并且所述圖像的所述姿態(tài)被確定,并且
·關(guān)于要通過使用圖像的系列中的圖像和所確定的姿態(tài)的前方交會可計算的所述環(huán)境的至少一個點的3D位置的測量不確定性的質(zhì)量指示輸出被生成。
根據(jù)以上方面的實施方式,所述前方交會暗示使用方差-協(xié)方差矩陣,具體地其中,所述前方交會通過使用最小二乘法來執(zhí)行,并且所述質(zhì)量指示輸出是從所述方差-協(xié)方差矩陣得到的。
根據(jù)這個方面的另一實施方式,所述質(zhì)量指示輸出表示關(guān)于所述至少一個點的所述3D位置是可計算的或者被計算的精度的不確定性,具體地其中,所述質(zhì)量指示輸出至少受以下各項影響
·可用來確定所述圖像內(nèi)的所述圖像點的圖像位置的精度,
·在圖像的系列當(dāng)中可用于計算所述環(huán)境的至少一個點的3D位置的一定量的圖像,以及
·可用圖像的姿態(tài)的基線的長度。
根據(jù)這個方面的另一實施方式,基于所確定的姿態(tài),包括所述環(huán)境的點的3D位置的點云通過使用圖像的系列中的圖像的前方交會來計算并且所述質(zhì)量指示輸出是針對所述點云的經(jīng)計算的點中的至少一個點而生成的,具體地其中,所述質(zhì)量指示輸出是針對所述點云的點的如下子集而生成的,即,所述子集參照用來確定所述子集的對應(yīng)量的姿態(tài)。
根據(jù)以上發(fā)明方面的另一個實施方式,為表示所述質(zhì)量指示輸出的所述點云生成圖形再現(xiàn),該圖形再現(xiàn)可由所述測量系統(tǒng)的顯示裝置顯示,從而向用戶提供關(guān)于已經(jīng)獲取的數(shù)據(jù)的反饋,使得所述已經(jīng)獲取的數(shù)據(jù)關(guān)于其質(zhì)量能夠被檢查。
根據(jù)本發(fā)明方面的另一個實施方式,所述質(zhì)量指示輸出由可顯示在所述測量系統(tǒng)的顯示裝置上的著色點云、定標(biāo)指示或特定符號來表示。
根據(jù)以上發(fā)明方面的另一個實施方式,針對已在所述路徑上采用的點的所述位置測量資源的確定的位置由所述控制和評估單元從所述測量系統(tǒng)接收,并且所述點云借助于所接收到的確定的位置被定標(biāo)。
上述發(fā)明方面提供用于生成表示基于拍攝的圖像而得到的數(shù)據(jù)的質(zhì)量的信息。具體地,用戶被提供有這種信息從而允許依賴于所述質(zhì)量信息重新計劃或者采用測量處理。例如如果針對點的區(qū)域或關(guān)于所述桿的經(jīng)評估的定向的精度質(zhì)量被評價為低的并且像那樣呈現(xiàn)給所述用戶,則所述用戶可以決定拍攝與相應(yīng)的區(qū)域有關(guān)的更多圖像并且從而為所述區(qū)域提供更精確的處理。
而且,所述質(zhì)量指示使得用戶能夠拍攝得到所需數(shù)據(jù)所必需的所用量的圖像,即所述用戶被通知足夠的數(shù)據(jù)何時被收集到以用于計算點云或者根據(jù)要實現(xiàn)的測量要求確定姿態(tài)。因此,比需要更多的數(shù)據(jù)的不必要的收集被抑制或者避免并且鑒于時間消耗所述測量處理總體上被改進(jìn)。
用戶能夠連續(xù)地檢查已經(jīng)拍攝的圖像可達(dá)到的數(shù)據(jù)質(zhì)量的水平。
總之,被置于這個質(zhì)量確定方面的事實是計算至少在使用所述測量系統(tǒng)獲得的兩個圖像上測量到的3D點的準(zhǔn)確性的可能性。
另選地為了從對所述環(huán)境的一個或更多個點(或點云)的位置的計算直接得到測量確定性(或者此外附加地),還能夠僅(在不用考慮點的位置的有效計算的情況下)基于所述測量子系統(tǒng)的內(nèi)在參數(shù)(例如相機(jī)分辨率、GNSS準(zhǔn)確性)和/或外在參數(shù)(例如從所述3D點到所述圖像的姿態(tài)的距離、點的觀察角)估計測量確定性(即,一般地可實現(xiàn)的準(zhǔn)確性水平)。例如基于使用所述測量子系統(tǒng)獲得的圖像的預(yù)定義集合能夠計算對于使用圖像的這個集合來計算的3D點指示準(zhǔn)確性的不同界限的場。所述場可能被用預(yù)定義調(diào)色板著色以得到更直觀表示。
在計劃階段時(即,在拍攝圖像的系列之前)用戶能夠定義感興趣區(qū)域(例如,在可用地圖或衛(wèi)星圖像上)。對于這個感興趣區(qū)域,可以在按由用戶定義的目標(biāo)準(zhǔn)確性保證整個感興趣區(qū)域的完全覆蓋范圍的情況下自動地計算所述測量子系統(tǒng)的可能的跡線。在所述測量期間用戶能夠遵循這個提出的跡線以在沒有間隙的情況下以目標(biāo)準(zhǔn)確性映射所述整個區(qū)域。這個跡線可能被優(yōu)化以使長度最小化,這減少映射時間??赡軐τ谯E線計算考慮在所述感興趣區(qū)域中具有已知坐標(biāo)的任何現(xiàn)有對象。在測量器具用戶能夠?qū)崟r地得到映射完整性的估計。所述感興趣區(qū)域的未映射的部分可能被同樣實時地示出給用戶。
在驗證階段時能夠為實際測量跡線計算準(zhǔn)確性場。對這個場的分析可能幫助用戶檢查完整性并且標(biāo)識未達(dá)到目標(biāo)準(zhǔn)確性的區(qū)域。
本發(fā)明環(huán)設(shè)計一種自動測量系統(tǒng),該自動測量系統(tǒng)包括:位置測量資源,具體地GNSS天線或回復(fù)反射器,被安裝在測量桿上;以及測量子系統(tǒng),該測量子系統(tǒng)包括相機(jī)模塊以及控制和評估單元并且被適配為確定所述位置測量資源的位置,其中,所述測量桿包括用于在地表面上移動所述桿的至少一個輪或鏈驅(qū)動器。所述相機(jī)模塊被設(shè)計為附接至所述測量桿并且包括用于拍攝圖像的至少兩個相機(jī)。所述控制和評估單元已存儲具有程序代碼的程序以便控制和執(zhí)行定位和映射功能,其中,當(dāng)沿著通過環(huán)境的路徑移動時
·所述環(huán)境的圖像的系列利用所述至少一個相機(jī)拍攝,所述系列包括按所述相機(jī)的不同姿態(tài)拍攝的一定量的圖像,所述姿態(tài)表示所述相機(jī)的相應(yīng)的位置和定向;
·利用使用圖像的系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別對應(yīng)的圖像點在圖像的系列中的圖像的多個子組中的每一個中被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會,包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,所述基準(zhǔn)點的坐標(biāo)被得到,并且所述圖像的所述姿態(tài)被確定,
·基于所確定的姿態(tài),包括所述環(huán)境的點的3D位置的點云通過使用圖像的系列的前方交會具體地通過使用密集匹配算法來計算;并且/或者
·所述至少一個相機(jī)的定向是從圖像的系列的指定圖像的姿態(tài)得到的。
在所述測量系統(tǒng)的一個實施方式中,所述測量桿包括被布置在所述桿上使得所述桿的底端被實現(xiàn)來依靠所述桿相對于所述地面的定向而接觸所述地面的兩個輪,具體地其中,所述底端被實現(xiàn)來在所述桿被按照直角相對于所述地面定向時接觸所述地面。
在所述測量系統(tǒng)的另一實施方式中,所述測量桿包括至少一個手柄,具體地兩個手柄,以用于使得用戶能夠沿著所述路徑推和/或拉所述桿。
在另一個實施方式中,所述測量系統(tǒng)包括用于驅(qū)動所述至少一個輪或所述鏈驅(qū)動器的電機(jī),具體地
·響應(yīng)于通過用戶的推或拉運(yùn)動并且/或者
·用于沿著預(yù)定義路徑自動地驅(qū)動所述測量桿或者驅(qū)動遠(yuǎn)程地控制的所述測量桿。
本發(fā)明還涉及一種作為被適配為確定被安裝在所述車輛上的位置測量資源的具體地GNSS天線的或回復(fù)反射器的位置的測量系統(tǒng)的一部分的兩輪自平衡機(jī)動車輛。
在一個實施方式中,這個車輛被設(shè)計用于輸送所述測量系統(tǒng)的用戶,具體地其中,所述車輛被設(shè)計為使得所述用戶通過相對于用戶和車輛的組合重心使所述車輛傾斜來控制所述車輛的向前移動和向后移動。
在另一實施方式中,這個車輛包括用于標(biāo)記所述地面上的實際測量點的測量點標(biāo)記裝置,具體地其中,所述測量點標(biāo)記裝置包括用于利用激光斑點或圖案來標(biāo)記所述測量點的激光發(fā)射光學(xué)系統(tǒng)。
本發(fā)明還涉及一種用于兩輪自平衡機(jī)動車輛的測量子系統(tǒng),所述測量子系統(tǒng)包括要用作所述測量系統(tǒng)的一部分的控制和評估單元以及相機(jī)模塊。所述相機(jī)模塊被設(shè)計為附接至所述車輛并且包括用于拍攝圖像的至少一個相機(jī)。所述控制和評估單元已存儲具有程序代碼的程序以便控制和執(zhí)行定位和映射功能,其中,當(dāng)沿著通過環(huán)境的路徑移動時
·所述環(huán)境的圖像的系列利用所述至少一個相機(jī)拍攝,所述系列包括按所述相機(jī)的不同姿態(tài)拍攝的一定量的圖像,所述姿態(tài)表示所述相機(jī)的相應(yīng)的位置和定向;
·圖像點的集合是基于圖像的系列標(biāo)識的,所述圖像點表示基準(zhǔn)點場的基準(zhǔn)點,各個基準(zhǔn)點出現(xiàn)在至少兩個圖像中,
·所述圖像的所述姿態(tài)是基于使用所述圖像點的后方交會而確定的;
其中
·基于所確定的姿態(tài),包括所述環(huán)境的點的3D位置的點云通過使用圖像的系列的前方交會具體地通過使用密集匹配算法來計算;并且/或者
·所述至少一個相機(jī)的定向是從圖像的系列的指定圖像的姿態(tài)得到的。
本發(fā)明還涉及一種測量子系統(tǒng),該測量子系統(tǒng)包括要用作被適配為確定被安裝在測量桿上的位置測量資源的位置的測量系統(tǒng)的一部分的相機(jī)、斷面儀以及控制和評估單元。所述相機(jī)模塊被設(shè)計為附接至所述車輛并且包括用于拍攝圖像的至少一個相機(jī)。所述斷面儀被設(shè)計為附接至所述測量桿并且適配用于旋轉(zhuǎn)激光束的反射以及用于從環(huán)境的點散射回的經(jīng)發(fā)射的激光束的返回部分的接收和檢測。所述斷面儀還被提供有針對所述旋轉(zhuǎn)激光束的電子距離測量功能以及角度測量功能,使得包括距離和角度信息的斷面儀測量數(shù)據(jù)是可收集的。所述控制和評估單元已存儲具有程序代碼的程序以便控制和執(zhí)行空間表示生成功能,其中,當(dāng)沿著通過所述環(huán)境的路徑移動時
·所述環(huán)境的圖像的系列利用所述相機(jī)拍攝,所述系列包括按所述相機(jī)的不同姿態(tài)即從所述路徑上的不同點并且按所述相機(jī)的不同定向拍攝的多個圖像,
·利用使用圖像的系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別對應(yīng)的圖像點在圖像的系列中的圖像的多個子組中的每一個中被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會,包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,所述基準(zhǔn)點的坐標(biāo)被得到,并且所述圖像的所述姿態(tài)被確定,
·針對已在所述路徑上采用的點的所述位置測量資源的確定的位置由所述控制和評估單元從所述測量系統(tǒng)接收,
·包括六個自由度上的平移和旋轉(zhuǎn)信息的6-dof行進(jìn)歷史至少基于在所述SLAM評估內(nèi)確定的所述姿態(tài)以及所接收到的確定的位置,具體地通過使用卡爾曼濾波器,針對移動路徑而得到,并且
·所述環(huán)境的點的坐標(biāo)基于所述斷面儀測量數(shù)據(jù)與所得到的6-dof行進(jìn)歷史相結(jié)合而被確定為所述空間表示。
在一個實施方式中,所述測量子系統(tǒng)還包括要附接至所述測量桿并且被設(shè)計用于收集IMU測量數(shù)據(jù)的慣性測量單元,并且所述控制和評估單元被配置為使得所述空間表示生成功能被控制和執(zhí)行,使得所述6-dof行進(jìn)歷史進(jìn)一步基于所述IMU測量數(shù)據(jù)被得到,具體地其中,所述IMU測量數(shù)據(jù)和所述SLAM評估被考慮用于得到所述6-dof行進(jìn)歷史的旋轉(zhuǎn)信息,尤其其中,所述IMU測量數(shù)據(jù)被用來增加可通過所述SLAM評估從所確定的姿態(tài)得到的旋轉(zhuǎn)以及具體地位置信息的分辨率,具體地其中,在卡爾曼濾波器被用于得到所述6-dof行進(jìn)歷史的情況下,該卡爾曼濾波器被饋送有在所述SLAM評估內(nèi)確定的所述姿態(tài)、所接收到的確定的位置以及所述IMU測量數(shù)據(jù)。
在所述子系統(tǒng)的另一實施方式中,
·所述相機(jī)模塊和所述斷面儀以及具體地所述控制和評估單元的至少部分被集成在可附接至所述測量桿的公共外殼中,或者
·所述相機(jī)模塊和所述斷面儀中的每一個被集成在自己的外殼中,所述外殼中的每一個可附接至所述測量桿,具體地其中,各個外殼被提供有用于數(shù)據(jù)傳輸以及具體地觸發(fā)信號的傳輸?shù)南嗷ミB接元件,使得在各個外殼附接至所述測量桿的條件下,所述連接元件被互鎖并且用于所述相機(jī)模塊與所述斷面儀之間的數(shù)據(jù)傳輸以及具體地所述觸發(fā)信號的傳輸?shù)倪B接被提供。
在所述子系統(tǒng)的又一實施方式中,所述相機(jī)模塊和所述斷面儀各自包括時鐘以及用于將時間戳指派給像圖像數(shù)據(jù)、IMU測量數(shù)據(jù)和斷面儀測量數(shù)據(jù)一樣的收集的測量數(shù)據(jù)的電路,具體地其中,對于所述相機(jī)模塊和所述斷面儀GNSS模塊被提供用于從所接收到的GNSS信號收集絕對時間信息,使得所述GNSS模塊被用作所述時鐘。
在所述子系統(tǒng)的另一個實施方式中,所述斷面儀被設(shè)計為使得,在附接至所述測量桿的條件下,所述旋轉(zhuǎn)激光束定義激光平面,該激光平面
·與所述測量桿基本上垂直,或者
·相對于所述桿傾斜,使得它們限制在大約5度與大約35度之間的具體地在大約10度與大約30度之間的角度。
在所述子系統(tǒng)的另一個實施方式中,所述斷面儀包括可旋轉(zhuǎn)反射鏡或可旋轉(zhuǎn)激光發(fā)射和接收單元。
在所述子系統(tǒng)的另一個實施方式中,所述斷面儀是按照多光束設(shè)置設(shè)計的,在該多光束設(shè)置中所述斷面儀被適配用于至少兩個旋轉(zhuǎn)激光束的發(fā)射以及用于從環(huán)境的點散射回的經(jīng)發(fā)射的束中的每一個的返回部分的接收和檢測。
在這個子系統(tǒng)的一個實施方式中,所述多光束設(shè)置針對所述至少兩個激光束利用公共旋轉(zhuǎn)平臺具體實現(xiàn),具體地其中,所述斷面儀是按照三光束設(shè)置設(shè)計的。所述斷面儀被設(shè)計為使得所述至少兩個激光束定義激光平面相對于彼此平行且稍微移位,相對于彼此稍微傾斜,具體地使得相對于所述桿稍微不同的傾斜角被形成并且/或者使得相對于所述桿稍微不同的方位角被形成,或者相對于彼此重合,并且/或者所述斷面儀被設(shè)計為使得所述至少兩個旋轉(zhuǎn)激光束在旋轉(zhuǎn)方向上相對于彼此形成角偏移,具體地其中,在三光束設(shè)置的情況下,所述角偏移是120°。
在這個子系統(tǒng)的一個實施方式中,所述公共旋轉(zhuǎn)平臺包括用于可旋轉(zhuǎn)地使所述至少兩個激光束偏轉(zhuǎn)的公共可旋轉(zhuǎn)反射鏡或者所述公共旋轉(zhuǎn)平臺包括至少兩個激光發(fā)射和接收單元。
在這個子系統(tǒng)的另一實施方式中,所述多光束設(shè)置針對所述至少兩個激光束利用至少兩個旋轉(zhuǎn)平臺具體事項。具有所述至少兩個旋轉(zhuǎn)平臺的所述斷面儀被設(shè)計為使得所述至少兩個激光束定義相對于彼此傾斜的激光平面,具體地使得
·相對于所述桿不同的傾斜角被形成,尤其其中,所述激光平面中的一個形成在大約10度與大約30度之間的傾斜角并且所述激光平面中的另一個形成在大約60度與大約80度之間的傾斜角,并且/或者
·相對于所述桿不同的方位角被形成,尤其其中,在大約1度與大約40度之間的方位方向上的角偏移形成在所述激光平面之間。
在所述子系統(tǒng)的特定實施方式中,所述斷面儀被設(shè)計為使得通過所述旋轉(zhuǎn)激光束定義的激光平面的傾斜角是可調(diào)整的,具體地人工地或者電機(jī)驅(qū)動的,使得在所述斷面儀附接至所述測量桿的條件下,所述傾斜角可相對于所述桿變化。
在這個子系統(tǒng)的另一實施方式中,所述斷面儀被設(shè)計為使得通過所述旋轉(zhuǎn)激光束定義的激光平面的方位角是可調(diào)整的,具體地人工地或者電機(jī)驅(qū)動的,使得在所述斷面儀附接至所述測量桿的條件下,所述方位角可相對于所述桿變化。
在這個子系統(tǒng)的一個實施方式中,所述方位角可由致動器調(diào)整。所述控制和評估單元被配置為使得所述空間表示生成功能被控制和執(zhí)行,使得所述方位角由所述致動器自動地連續(xù)地調(diào)整,使得所述桿的所述方位定向的變更在沿著所述路徑移動時被補(bǔ)償,具體地其中,所述方位角的自動連續(xù)調(diào)整基于所得到的6-dof行進(jìn)歷史或使用以下各項的單獨評估
·在所述SLAM評估內(nèi)確定的所述姿態(tài),和/或
·所接收到的確定的位置,和/或,
·在提供了慣性單元的情況下,IMU測量數(shù)據(jù)。
具體地,具有低幅度的更高頻率變更被補(bǔ)償,尤其其中,形成在所述激光平面與所述路徑上的運(yùn)動方向之間的相對方位角在所述路徑上的各個點中被保持基本上恒定,具體地垂直。
在這個子系統(tǒng)的一個實施方式中,實際的運(yùn)動方向或平滑的運(yùn)動方向被用作所述運(yùn)動方向,所述平衡運(yùn)動方向具體地是通過使所述路徑的最近行進(jìn)段平滑針對所述路徑上的各個點而得到的。
在這個子系統(tǒng)的另一實施方式中,所述方位角由根據(jù)利用角動量的轉(zhuǎn)換的原理而工作的穩(wěn)定裝置相對于所述環(huán)境來調(diào)整和穩(wěn)定,具體地其中,所述穩(wěn)定裝置包括飛輪,尤其其中,所述飛輪可與使所述激光束旋轉(zhuǎn)的所述旋轉(zhuǎn)平臺一起旋轉(zhuǎn)。
本發(fā)明還涉及一種測量子系統(tǒng),該測量子系統(tǒng)包括要用作被適配為確定被安裝在測量桿上的位置測量資源的具體地GNSS天線的或回復(fù)反射器的位置的測量系統(tǒng)的一部分的控制和評估單元以及相機(jī)模塊。所述相機(jī)模塊被設(shè)計為附接至所述車輛并且包括用于拍攝圖像的至少一個相機(jī)。所述控制和評估單元已存儲具有程序代碼的程序以便控制和執(zhí)行如下的功能,其中,當(dāng)沿著通過環(huán)境的路徑移動時
·所述環(huán)境的圖像的系列利用所述至少一個相機(jī)(31)拍攝,所述系列包括按所述相機(jī)(31)的不同姿態(tài)拍攝的一定量的圖像,所述姿態(tài)表示所述相機(jī)(31)的相應(yīng)的位置和定向;
·利用使用圖像的系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別定義的圖像點利用用于檢測對應(yīng)特征的特征檢測處理具體地借助于特征跟蹤(尤其是KLT算法(Kanade-Lucas-Tomasi))和/或借助于特征匹配(尤其是SIFT算法、SURF算法、BRISK算法或BRIER算法)在圖像的系列中的圖像的多個子組中的每一個中被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會法,包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,所述基準(zhǔn)點的坐標(biāo)被得到,并且所述圖像的所述姿態(tài)被確定。
根據(jù)本發(fā)明的這個方面,所述控制和評估單元包括多個分散單元,其中,至少第一單元具體地FPGA或GPU(圖形處理單元)執(zhí)行用于標(biāo)識所述多個分別對應(yīng)的圖像點的所述特征檢測處理的至少一部分,并且至少另一第二單元具體地CPU執(zhí)行所述姿態(tài)的確定。
在所述子系統(tǒng)的一個實施方式中,所述第一單元和所述第二單元被一起構(gòu)建為一個SoC(芯片上系統(tǒng))。
在所述子系統(tǒng)的另一實施方式中,所述第一單元和所述第二單元被布置在所述相機(jī)模塊內(nèi)。
在所述子系統(tǒng)的另一個實施方式中,所述第一單元被布置在所述相機(jī)模塊內(nèi)并且所述第二單元是膝上型電腦、平板PC、智能電話、所述測量系統(tǒng)的手持控制器/數(shù)據(jù)記錄器的處理單元、所述測量系統(tǒng)的GNSS模塊的處理單元、所述測量系統(tǒng)的測量站具體地全站儀的處理單元或測量站點服務(wù)器,具體地被安裝在汽車中。
本發(fā)明還涉及一種測量子系統(tǒng),該測量子系統(tǒng)包括要用作被適配為確定被安裝在測量桿上的位置測量資源的具體地GNSS天線的或回復(fù)反射器的位置的測量系統(tǒng)的一部分的控制和評估單元以及相機(jī)模塊。所述相機(jī)模塊包括用于拍攝圖像的至少一個相機(jī),其中,所述相機(jī)模塊被構(gòu)建為被設(shè)計為附接至所述測量桿的一個單個集成物理單元。所述控制和評估單元已存儲具有程序代碼的程序以便控制和執(zhí)行如下的功能,其中,當(dāng)沿著通過環(huán)境的路徑移動時
·所述環(huán)境的圖像的系列利用所述至少一個相機(jī)拍攝,所述系列包括按所述相機(jī)的不同姿態(tài)拍攝的一定量的圖像,所述姿態(tài)表示所述相機(jī)的相應(yīng)的位置和定向,
·利用使用圖像的系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別對應(yīng)的圖像點在圖像的系列中的圖像的多個子組中的每一個中被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會,包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,所述基準(zhǔn)點的坐標(biāo)被得到,并且所述圖像的所述姿態(tài)被確定,并且
·包括關(guān)于所述環(huán)境的3d信息的空間表示具體地點云通過使用圖像的系列的前方交會和所確定的姿態(tài)具體地通過使用密集匹配算法來計算。
根據(jù)本發(fā)明的這個方面,所述控制和評估單元包括多個分散單元,其中,被集成在所述相機(jī)模塊中的至少一個單元執(zhí)行所述SLAM評估的至少一部分,并且被布置在所述相機(jī)外部的至少一個第二單元執(zhí)行所述空間表示的計算的至少部分。
在所述子系統(tǒng)的一個實施方式中,所述至少一個其它單元是云服務(wù)器。
在所述子系統(tǒng)的另一實施方式中,所述至少一個其它單元是膝上型電腦、平板PC、智能電話、所述測量系統(tǒng)的手持控制器/數(shù)據(jù)記錄器的處理單元、所述測量系統(tǒng)的GNSS模塊的處理單元或測量站點服務(wù)器,具體地被安裝在汽車中。
在所述子系統(tǒng)的又一實施方式中,被布置在所述相機(jī)模塊外部的多個其它單元以分散方式執(zhí)行所述空間表示的計算的至少部分,所述多個其它單元具體地是多個智能電話。
在所述子系統(tǒng)的另一個實施方式中,執(zhí)行標(biāo)識所述多個分別對應(yīng)的圖像點并且/或者確定所述姿態(tài)的一部分的至少一個單元被設(shè)計以便可在操作員的背包中攜帶。
在所述子系統(tǒng)的另一實施方式中,執(zhí)行標(biāo)識所述多個分別對應(yīng)的圖像點并且/或者確定所述姿態(tài)的一部分的至少一個單元是膝上型電腦、平板PC、智能電話、所述測量系統(tǒng)的手持控制器/數(shù)據(jù)記錄器的處理單元、所述測量系統(tǒng)的GNSS模塊的處理單元或測量站點服務(wù)器,具體地被安裝在汽車中。
本發(fā)明還涉及一種測量子系統(tǒng),該測量子系統(tǒng)包括要用作被適配為確定被安裝在測量桿上的位置測量資源的位置的測量系統(tǒng)的一部分的控制和評估單元以及相機(jī)模塊,具體地,其中所述位置測量資源包括GNSS天線或回復(fù)反射器。所述相機(jī)模塊被設(shè)計為附接至所述車輛并且包括用于拍攝圖像的至少一個相機(jī)。所述控制和評估單元已存儲具有程序代碼的程序以便控制和執(zhí)行遠(yuǎn)程點測量功能,其中,當(dāng)沿著通過環(huán)境的路徑移動時
·所述環(huán)境的圖像的系列利用所述相機(jī)拍攝,所述系列包括按所述相機(jī)的不同姿態(tài)即從所述路徑上的不同點并且按所述相機(jī)的不同定向拍攝的多個圖像,
·利用使用圖像的系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別對應(yīng)的圖像點在圖像的系列中的圖像的多個子組中的每一個中被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會,包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,所述基準(zhǔn)點的坐標(biāo)被得到,并且所述圖像的所述姿態(tài)被確定,并且,
·在選擇所述環(huán)境的圖像中的圖像點時,所述圖像基于圖像的系列中的圖像中的至少一個,由所述選擇的圖像點表示的遠(yuǎn)程點的3d位置被得到,因此與所述遠(yuǎn)程點有關(guān)的圖像的子集被從圖像的系列自動地標(biāo)識并且所述3d位置是基于使用圖像的所述子集的前方交會以及所述子集的圖像的所確定的姿態(tài)而確定的。
在所述子系統(tǒng)的一個實施方式中,所述控制和評估單元被配置為使得所述遠(yuǎn)程點測量功能被控制和執(zhí)行,使得所述圖像點可由用戶人工地選擇,并且/或者所述子集包括所述遠(yuǎn)程點出現(xiàn)在其中的所有圖像。
本發(fā)明還涉及一種測量子系統(tǒng),該測量子系統(tǒng)包括要用作被適配為確定被安裝在測量桿上的位置測量資源的位置的測量系統(tǒng)的一部分的控制和評估單元以及相機(jī)模塊,具體地,其中,所述位置測量資源包括GNSS天線或回復(fù)反射器。所述相機(jī)模塊被設(shè)計為附接至所述車輛并且包括用于拍攝圖像的至少一個相機(jī)。所述控制和評估單元已存儲具有程序代碼的程序以便控制和執(zhí)行如下的功能,其中,當(dāng)沿著通過環(huán)境的路徑移動時
·所述環(huán)境的圖像的系列利用所述相機(jī)拍攝,所述系列包括按所述相機(jī)的不同姿態(tài)即從所述路徑上的不同點并且按所述相機(jī)的不同定向拍攝的多個圖像,
·利用使用圖像的系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別對應(yīng)的圖像點在圖像的系列中的圖像的多個子組中的每一個中被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會,包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,所述基準(zhǔn)點的坐標(biāo)被得到,并且所述圖像的所述姿態(tài)被確定,并且
·基于至少依靠所確定的姿態(tài)而得到的定向的改變具體地基于至少依靠所確定的姿態(tài)以及至少依靠所得到的所述基準(zhǔn)點的坐標(biāo)而得到的所述環(huán)境的深度信息而得到的相機(jī)跡線來使圖像的系列中的圖像中的至少一些變清晰。
在所述子系統(tǒng)的一個實施方式中,所述控制和評估單元被配置為使得所述功能被控制和執(zhí)行,使得,
·所述去模糊被執(zhí)行使得由于所述相機(jī)在曝光時間期間相對于所述環(huán)境的相對運(yùn)動被補(bǔ)償,其中,比較更高的補(bǔ)償階段適用于被成像的所述環(huán)境的更近對象并且比較更低的補(bǔ)償階段適用于被成像的所述環(huán)境的更遠(yuǎn)對象,并且/或者
·所述相機(jī)跡線是進(jìn)一步依靠針對已在所述路徑上采用的點的所述位置測量資源的確定的位置而得到的,所述位置可由所述控制和評估單元從所述測量系統(tǒng)接收,并且/或者IMU測量數(shù)據(jù)由也作為所述測量子系統(tǒng)的一部分被提供的慣性測量單元收集。
在所述子系統(tǒng)的另一實施方式中,所述控制和評估單元被配置為使得所述功能被控制和執(zhí)行,使得,
·所述SLAM評估再次使用圖像的系列的經(jīng)去模糊的圖像來執(zhí)行,其中,經(jīng)去模糊的圖像的所述姿態(tài)被重新計算,并且/或者
·所述環(huán)境的至少一個點的3d位置被確定為出現(xiàn)在經(jīng)去模糊的圖像中的至少一些中,其中,與所述至少一個點有關(guān)的圖像的子集是從經(jīng)去模糊的圖像以及具體地圖像的系列的另外的圖像自動地標(biāo)識的,并且其中,所述3d位置是基于使用圖像的所述子集和所確定的姿態(tài)而確定的,其中,在適用情況下,針對所述子集的圖像的經(jīng)重新計算的姿態(tài)和/或
·包括所述環(huán)境的多個點的3D位置的點云通過使用經(jīng)去模糊的圖像以及圖像的系列的另外的圖像的前方交會以及所確定的姿態(tài)來計算,其中,在適用情況下,經(jīng)重新計算的姿態(tài)作為所確定的姿態(tài)。
附圖說明
將在下文中通過參照隨附圖的示例性實施方式詳細(xì)地描述本發(fā)明,圖中:
圖1示出了根據(jù)本發(fā)明的測量系統(tǒng)的示例性實施方式;
圖2a-圖2c示出了根據(jù)本發(fā)明的作為測量系統(tǒng)的一部分的相機(jī)模塊和位置測量源的三個示例性組合;
圖3a-圖3b示出了根據(jù)本發(fā)明的相機(jī)模塊的第一實施方式;
圖4a-圖4b示出了根據(jù)本發(fā)明的相機(jī)模塊的第二實施方式;
圖5a-圖5b示出了根據(jù)本發(fā)明的相機(jī)模塊的第三實施方式;
圖6a示出了根據(jù)本發(fā)明的相機(jī)模塊的第四實施方式;
圖6b示出了根據(jù)本發(fā)明的相機(jī)模塊的第五實施方式;
圖7a示出了根據(jù)本發(fā)明的相機(jī)模塊的第六實施方式;
圖7b-圖7c示出了根據(jù)本發(fā)明的相機(jī)模塊的第七實施方式;
圖8a示出了具有掃描單元的根據(jù)本發(fā)明的相機(jī)模塊的第八實施方式;
圖8b示出了具有掃描單元的根據(jù)本發(fā)明的相機(jī)模塊的第九實施方式;
圖8c示出了具有掃描單元的根據(jù)本發(fā)明的相機(jī)模塊的第十實施方式;
圖8d示出了具有掃描單元的根據(jù)本發(fā)明的相機(jī)模塊的第十一實施方式;
圖8e示出了具有掃描單元的根據(jù)本發(fā)明的相機(jī)模塊的第十二實施方式;
圖8f示出了具有掃描單元的根據(jù)本發(fā)明的相機(jī)模塊的第十三實施方式;
圖9a-圖9b示出了具有掃描單元的根據(jù)本發(fā)明的相機(jī)模塊的第十四實施方式;
圖9c示出了由圖9a-圖9b所示的相機(jī)模塊的掃描單元的旋轉(zhuǎn)激光束橫跨的兩個激光平面;
圖9d示出了具有掃描單元的根據(jù)本發(fā)明的相機(jī)模塊的第十五實施方式;
圖9e-圖9f示出了掃描單元的兩個示例性實施方式;
圖10a-圖10b示出了具有掃描單元的根據(jù)本發(fā)明的相機(jī)模塊的第十六實施方式;
圖10c示出了具有掃描單元的根據(jù)本發(fā)明的相機(jī)模塊的第十七實施方式;
圖10d示出了圖10c的相機(jī)模塊的掃描單元;
圖10e示出了具有掃描單元的根據(jù)本發(fā)明的相機(jī)模塊的第十八實施方式;
圖11例示了相機(jī)隨著圖像中的運(yùn)動對象向左的旋轉(zhuǎn);
圖12a-圖12c示出了用于拍攝圖像的變化曝光時間;
圖13、圖14和圖15a-圖15b示出了在隨著相機(jī)模塊(桿)移動的同時基于環(huán)境中的基準(zhǔn)點的后方交會;
圖16a-圖16b例示了由測量系統(tǒng)生成的正射相片(orthophoto)和基準(zhǔn)正射相片的匹配的示例性實施方式;
圖17例示了定向確定功能的示例性實施方式;
圖18示出了輪式測量系統(tǒng)的第一示例性實施方式;
圖19a-圖19d示出了輪式測量系統(tǒng)的第二示例性實施方式;以及
圖20示出了具有安裝傘的測量系統(tǒng)。
具體實施方式
圖1示出了根據(jù)本發(fā)明的測量系統(tǒng)1的示例性實施方式。所描繪的測量系統(tǒng)1包括由用戶2操作的測量桿10。桿10包括可定位在地面上的測量點5上的底端11。GNSS天線15被放置在桿10的頂端上作為測量系統(tǒng)1的位置測量資源。此外,測量系統(tǒng)1包括相機(jī)模塊30以及控制和評估單元12。
相機(jī)模塊
圖2a-圖2c示出了與相應(yīng)測量系統(tǒng)的位置測量資源一起安裝在桿10上的相機(jī)模塊30、30’。
各個相機(jī)模塊30、30’包括對來自所有或許對空間方向的光敏感的光學(xué)記錄裝置31。它能夠基于成像傳感器和魚眼鏡頭,或相機(jī)和拋物面鏡的組合,或布置在水平環(huán)上的兩個單一相機(jī)中的最低者,或作為廣角或全景相機(jī)的任何其它光學(xué)裝置。
相機(jī)模塊可以是被與GNSS天線15(圖2a)或反射器16(圖2b)一起安裝在桿10上的單獨的模塊30。而且,能夠?qū)⒛K30’集成到GNSS天線(圖2c)或反射器的外殼中。
根據(jù)圖2c,相機(jī)模塊30’由附加地包括GNSS天線和/或反射器的位置測量資源來表示。
圖3a和圖3b示出了根據(jù)本發(fā)明的相機(jī)模塊30的第一實施方式。相機(jī)模塊30具有外殼40以及用于桿38且用于位置測量資源39(GNSS天線或反射器)的支架。它可以包括一組相機(jī)31,例如按照彼此與水平視場>90°成90°的角度對準(zhǔn)的四個單一相機(jī)31。在這種布置中360°的水平視場被覆蓋。相機(jī)組件的垂直視場(FOV)可以是大約60°。如圖3b所示,相機(jī)能夠被水平地對準(zhǔn)或者向下定向,例如達(dá)20°。這對近對象是特別感興趣的應(yīng)用來說是有利的。
而且,處理單元33可以是相機(jī)模塊30的一部分。處理單元33可以是CPU,例如ARM處理器或CPU與FPGA的組合(例如,Zync Soc)或CPU與圖形處理單元(GPU)的組合。在組合處理單元的情況下,例如在FPGA或GPU上執(zhí)行特征跟蹤等。這些主要是能夠在那種單元上實現(xiàn)高度并行處理的圖像處理算法。
另外慣性測量單元(IMU)34可以是相機(jī)模塊的一部分。IMU 34可以由3軸加速度計構(gòu)成,并且具體地由3軸陀螺儀構(gòu)成。附加地,磁強(qiáng)計可以被包括在IMU中。
圖4a和圖4b示出了根據(jù)本發(fā)明的相機(jī)模塊30的第二實施方式。為了增加相機(jī)模塊30的垂直FOV,能夠?qū)⑺膫€向下定向的相機(jī)31’與四個向上定向的相機(jī)31”組合在一起。
在圖5a和圖5b中示出了另選的實施方式。圖5a示出了具有>180°的水平視場的兩個魚眼相機(jī)36的布置,并且圖5b示出了具有反射鏡32特別是拋物面鏡和玻璃窗35的單個相機(jī)31的布置。
可選地,以上所描述的相機(jī)模塊30的相機(jī)31、31’、31”、36能夠具有不同的分辨率。例如,在相機(jī)模塊30包括八個相機(jī)的情況下,四個相機(jī)能夠具有低分辨率并且被以高幀速率讀出(對特征跟蹤有利)并且四個相機(jī)具有高分辨率(對密集匹配有利)并且被按更低的幀速率讀出。另選地,高分辨率相機(jī)不按特定幀速率運(yùn)行而是在應(yīng)該例如按照兩米的距離間隔拍攝關(guān)鍵幀時被算法觸發(fā)。
另選地或附加地,根據(jù)本發(fā)明的一個方面,相機(jī)模塊的一個單一相機(jī)被構(gòu)建為使得具有至少兩個不同分辨率和/或不同幀速率的圖像拍攝由該相機(jī)提供。因此,能夠通常鑒于測量處理提供高分辨率圖像以及低分辨率圖像。
而且,為了減少來自窗的反射,能夠在相機(jī)鏡頭(這里未示出)前面安裝偏振濾光器。
圖6a和圖6b示出了具有減震器裝置37、37’的相機(jī)模塊30的兩個另外的實施方式。能夠在校準(zhǔn)過程中確定相機(jī)31的相對位置和定向。為了隨著時間的推移使相機(jī)31的對準(zhǔn)保持穩(wěn)定,例如讓它抵抗沖擊或掉落,能夠例如在外殼40與用于桿38的支架之間集成減震器37,如圖6a所示。另選地,如圖6b所示,能夠?qū)⑾鄼C(jī)31和IMU34安裝在通過減震器37、37’與外殼40機(jī)械解耦的框架41上。減震器37還減少最大加速度并且避免加速度計飽和。
這種阻尼元件(減震器)可能形式為萬向架等。
觸發(fā)
在測量期間,圖像數(shù)據(jù)利用相機(jī)模塊30記錄。在相機(jī)模塊30中存在超過一個相機(jī)31的情況下,圖像數(shù)據(jù)被并行即同步地記錄。用于觸發(fā)所有單一相機(jī)的觸發(fā)信號能夠由另一傳感器(例如,GNSS天線)產(chǎn)生。另選地,一個相機(jī)能夠觸發(fā)所有其它相機(jī)。
圖像數(shù)據(jù)能夠被記錄為具有大約15至25幀每秒(FPS)的視頻或者為一組基于事件觸發(fā)的靜止圖像,例如圖像在操作員自最后圖像被拍攝以來移動了兩米時被記錄。另選地,當(dāng)圖像內(nèi)容示出與前一個圖像的顯著差異時,能夠拍攝新圖像。而且,圖像的記錄能夠由操作員在他將桿放置在一點上并且觸發(fā)測量時觸發(fā)。
圖7a-圖7c示出了相機(jī)模塊30的兩個另外的實施方式。各個相機(jī)模塊30包括至少兩個相機(jī)31a-d以及用于觸發(fā)圖像通過相機(jī)31a-d的高度同步的拍攝的光學(xué)觸發(fā)裝置70、71。這例如可用于即使相機(jī)模塊在運(yùn)動中也允許由單一相機(jī)拍攝的圖像的圖像拼接(stitching)。
在圖7a中,閃光燈70的環(huán)被布置在相機(jī)模塊30周圍,這里在用于位置測量資源39的支架周圍。相機(jī)31a、31b適宜感知周圍的來自閃光燈70的閃光。相機(jī)31a、31b然后能夠同步地拍攝圖像。此外,相機(jī)31a、31b的同步地拍攝的圖像能夠借助于出現(xiàn)在已在閃光期間拍攝的所有圖像中的閃光來標(biāo)識。
圖7b和圖7c示出了具有四個相機(jī)31a-d的相機(jī)模塊30。相機(jī)模塊30包括被設(shè)計為發(fā)光二極管(LED)71的組的光學(xué)觸發(fā)裝置。這些被布置使得各個組71位于相機(jī)31a-d中的兩個的視場(由虛線表示)中并且可由這兩個相機(jī)感知。LED組71能夠被用來觸發(fā)觸發(fā)圖像通過相機(jī)31a-d的高度同步的拍攝。LED組71還能夠被用來將代碼添加到圖像,例如以便允許同步地捕獲的圖像的標(biāo)識。
掃描單元(->斷面儀)[仍將由所對應(yīng)的權(quán)利要求的措辭補(bǔ)充的部分]
在圖8a-圖8f、圖9a-圖9f和圖10a-圖10e中,描繪了包括掃描單元50的相機(jī)模塊30的各種示例性實施方式。
集成在相機(jī)模塊30中的掃描單元50對點云實時的生成有利,即如在與圖像的點云生成的情況下一樣不必執(zhí)行昂貴的密集匹配步驟。而且,和基于相機(jī)的方法對比,掃描單元50不依靠良好的紋理表面用于點云的導(dǎo)出。
掃描單元50能夠由激光發(fā)射和接收單元51以及旋轉(zhuǎn)反射鏡52構(gòu)成。在圖8a所示的布置中,如果桿被或多或少垂直地對準(zhǔn),則旋轉(zhuǎn)激光束55橫跨差不多水平的平面。
在圖8b中示出了掃描單元50的另一設(shè)置。這里,反射鏡的旋轉(zhuǎn)軸與水平平面傾斜了大約10°至30°。
圖8c示出了安裝在測量桿10上的圖8b的相機(jī)模塊30。旋轉(zhuǎn)激光55橫跨激光平面,該激光平面傾斜使得它經(jīng)過GNSS天線15,并且因此,阻塞小。對于相機(jī)模塊30被安裝靠近桿10頂上的GNSS天線15的這種設(shè)置,掃描模塊必須被以某種方式暴露。為了在桿10掉落時避免掃描單元50的損壞,優(yōu)選地掉落保護(hù)裝置18被安裝在桿10上的相機(jī)模塊30下方。
圖8d示出了相機(jī)模塊30和單獨的掃描模塊58的組合。能夠?qū)蓚€模塊30、58塞在一起。為了能量供應(yīng)和數(shù)據(jù)傳送能夠?qū)⑦B接器59集成到各個模塊30、58的外殼中。掃描模塊58能夠被配備有單獨的處理單元53。另選地,能夠在相機(jī)模塊30的處理單元33上執(zhí)行掃描模塊58的計算。
圖8e示出了具有掃描單元50’的集成相機(jī)模塊30,該掃描單元50’具有旋轉(zhuǎn)激光發(fā)射和接收單元51’而不是旋轉(zhuǎn)反射鏡。
圖8f示出了具有掃描單元50”的相機(jī)模塊30,所述掃描單元50”在三個激光發(fā)射和接收單元50’繞一個軸一起旋轉(zhuǎn)情況下具有多光束設(shè)置。另選地,不是發(fā)射三個平行激光束55、55’、55”,而是能夠按120°的角偏移安裝激光發(fā)送和接收單元,例如像風(fēng)力渦輪機(jī)(這里未示出)的葉片一樣。
圖9a和圖9b示出了具有兩個掃描單元50a、50b的布置。它們兩者的旋轉(zhuǎn)束55a、55b橫跨兩個傾斜的激光平面56、56a(圖9c。)。
傾斜角影響對對象的掃描分辨率,即點云的密度。一方面,因為據(jù)大約2m的杠桿臂相當(dāng)短,所以幾乎垂直的平面按照(可能太)高分辨率掃描附近地面。而且,相當(dāng)多的光線“浪費”,因為它們被瞄準(zhǔn)向天空。另一方面,幾乎水平的平面根本不覆蓋天空和附近地面。一個反射鏡的旋轉(zhuǎn)軸與水平平面傾斜了大約10°到30°并且第二反射鏡的軸與垂直平面傾斜了大約10°到30°的兩個掃描單元的組合可能導(dǎo)致掃描點的改進(jìn)分布。
另選地,能夠使激光平面的垂直角度變得可調(diào)整(這被示出在圖10a和圖10b中)。這使得用戶能夠根據(jù)他的特定需要改變傾斜角度。旋轉(zhuǎn)可以是連續(xù)的或者可能存在高、中等和低的一些預(yù)定義角度。在后者中掃描模塊點擊進(jìn)入預(yù)定義位置。
可能在實踐中出現(xiàn)的另一問題是(幾乎)垂直平面的旋轉(zhuǎn)。在用戶在反射鏡的旋轉(zhuǎn)軸的方向上以1m/s的恒定速率不行并且假定50Hz的反射鏡的旋轉(zhuǎn)速率(即50轉(zhuǎn)每秒)的情況下在15m距離上的對象上的鄰近軌道的偏移是2cm。然而,如果桿以30°/s的旋轉(zhuǎn)速率繞垂直軸旋轉(zhuǎn)則鄰近軌道之間的偏移是大約16cm。因此,這些旋轉(zhuǎn)無論是否有意都可能導(dǎo)致不均勻的點分布。
為了克服這個問題,如圖9a和圖9b所示能夠應(yīng)用橫跨幾乎垂直平面的兩個掃描單元50a、50b,使得存在大約5度的小水平角度偏移。
在圖9d-圖9f中描繪了另選的實施方式。掃描單元50”’包括多個激光發(fā)射和接收單元51。因此,不是一個激光平面而是發(fā)散的(圖9e)或平行的(圖9f)激光平面的扇形被生成。
另選地,如圖10a圖10b所示,能夠?qū)呙鑶卧?0””’集成到相機(jī)模塊30中,使得能夠通過掃描單元50””’進(jìn)入相反方向的旋轉(zhuǎn)(具體地由驅(qū)動器57操縱)對桿的無意旋轉(zhuǎn)進(jìn)行補(bǔ)償。能夠從利用相機(jī)模塊30的測量結(jié)果(例如,來自IMU 34的角速率)得到旋轉(zhuǎn)角度。補(bǔ)償?shù)哪康目梢允羌す馄矫娴姆轿华毩⒂谟脩舻囊苿邮呛愣ǖ摹?/p>
另選地,利用這種機(jī)制,能夠自動地使掃描平面與用戶的行走方向正交地對準(zhǔn)。例如能夠從卡爾曼濾波器的狀態(tài)向量得到方向。在用戶繞曲線行走的情況下平面自動地遵循這個移動時存在優(yōu)點。
另選地,不是使整個掃描模塊旋轉(zhuǎn),而是僅光線能夠由附加往復(fù)偏轉(zhuǎn)反射鏡52’重定向。在圖10c和10d中示出這個。.
另選地,如圖10e所示,還能夠通過實現(xiàn)陀螺原理來實現(xiàn)激光平面的穩(wěn)定化,即以使方位角保持幾乎恒定(平滑快速移動)。這里,飛輪52”與反射鏡一起繞軸旋轉(zhuǎn)以被穩(wěn)定。
運(yùn)動對象
在圖11中,相機(jī)向左旋轉(zhuǎn)是隨著圖像的運(yùn)動對象而例示的。在數(shù)據(jù)獲取期間還能夠應(yīng)用不同區(qū)域的掩蔽以便移動非期望的(這里:運(yùn)動)對象。這例如包括像測量員它本身一樣的相對于桿的靜態(tài)對象以及像行人、汽車和其它非靜態(tài)/相對靜態(tài)對象一樣的運(yùn)動對象。
能夠利用用戶交互半自動地或者完全自動地完成掩蔽。用戶交互引導(dǎo)處理的可能場景是在跟蹤圖像上的特征點時排除測量員,其中用戶例如嚴(yán)格地掩蔽它本身在圖像上的外形并且其側(cè)影通過適當(dāng)?shù)乃惴?例如,標(biāo)準(zhǔn)分段算法、主動輪廓或模板匹配)來識別并隨后跟蹤。
全自動化算法可能基于一些運(yùn)動估計算法(例如,光流)來檢測干擾對象,并且拒絕所對應(yīng)的跟蹤特征。例如,如圖11所示,相機(jī)向左旋轉(zhuǎn)將導(dǎo)致由所顯示的箭頭111指示的光流。盡管通過相機(jī)的更高級移動而變得更復(fù)雜,然而這個向量場(光流)能夠被用來(例如通過分析像不一致局部改變一樣的間斷點或異常)確定圖像內(nèi)的運(yùn)動對象(由所顯示的箭頭112指示)或者甚至支持分段或其它圖像處理相關(guān)算法。
不同過程的可能變化可能包括獨立于各個圖像的干擾對象檢測、初始檢測和跟蹤以及全局運(yùn)動估計。附加地,為了變得更魯棒,用于移除運(yùn)動對象(或?qū)?yīng)的不一致特征點)的最終算法可能由多步驟過程(例如,局部和全局運(yùn)動估計)構(gòu)成。因為全局運(yùn)動在這個上下文中是指相機(jī)移動,所以還可能存在被用來預(yù)測全局移動并且隨后用來使運(yùn)動對象的檢測穩(wěn)定的一些附加的傳感器信息(例如,GNSS或IMU數(shù)據(jù))。
能夠在相機(jī)模塊中的處理單元上執(zhí)行對應(yīng)的(干擾)特征的檢測。具體地,如果FPGA被包括在處理單元中則能夠在FPGA上非常高效地計算特征檢測的各部分。
在標(biāo)識對應(yīng)的特征之后計算圖像的姿態(tài),即位置和定向。能夠在足夠大數(shù)目的檢測點特征情況下對每個圖像完成這個。然而,尤其在圖像數(shù)據(jù)被以高幀速率記錄的情況下處理能力能夠通過選擇圖像的子集來節(jié)約并且僅為那些選擇的圖像確定姿態(tài)。
用于圖像選擇的準(zhǔn)則可以是基線,即當(dāng)前圖像與前一個圖像之間的距離,例如一米的距離。小基線導(dǎo)致通過前方交會確定的3D點的差準(zhǔn)確性。另一準(zhǔn)則可以是圖像質(zhì)量,即僅具有良好質(zhì)量(高清晰度,未欠曝光或過曝光等)的圖像被選擇。
另選地,圖像選擇能夠基于圖像數(shù)據(jù)、IMU數(shù)據(jù)和GNSS數(shù)據(jù)的組合或這些數(shù)據(jù)源的任何子集。例如,IMU能夠被用來通過考慮曝光期間的移動以及具體地旋轉(zhuǎn)來選擇不遭受運(yùn)動模糊的圖像。這具有即便當(dāng)圖像內(nèi)容顯著地改變時無模糊圖像也被選擇的優(yōu)點。能夠組合不同的濾波器(例如,基線和運(yùn)動模糊)以使用有限的計算資源來實現(xiàn)導(dǎo)致場景的最佳重建的最佳圖像選擇。
在存在低分辨率相機(jī)和高分辨率相機(jī)的組合的情況下低分辨率相機(jī)被主要用于高幀速率下的特征跟蹤。高分辨率相機(jī)不必按照定義幀速率拍攝圖像,而是能夠在特定時刻(例如利用IMU感測到的低移動)或者例如兩米的當(dāng)前圖像與最后最后之間的距離(=基線)被觸發(fā)。
而且,能夠按變化曝光時間拍攝圖像,例如圖像被以1ms、2ms、4ms、8ms、10ms、20ms等的曝光時間拍攝。這個被例示在圖12a-圖12c中。在用于拍攝關(guān)鍵幀的最佳時間附近的定義窗中具有良好曝光的幀被選擇。在這種情況下,如圖12a所示,圖像獲取間隔可以是規(guī)則的,即圖像具有8ms的間隔。另選地,如圖12b和圖12c所示,圖像拍攝間隔可以是不規(guī)則的。
而且,能夠基于按不同的曝光時間拍攝的一組圖像來生成HDR(高動態(tài)范圍)圖像。這個能夠在相機(jī)被保持足夠靜止時完成,足夠靜止能夠利用IMU或GNSS或相機(jī)數(shù)據(jù)或全部的組合來感測。另選地,能夠移動相機(jī)并且在生成HDR圖像時考慮利用運(yùn)動結(jié)構(gòu)算法確定的偏移。
為了確保能夠被處理的數(shù)據(jù)集,可能在數(shù)據(jù)獲取期間存在某種直接用戶反饋。這個反饋可以包括燈指示(例如,狀態(tài)LED)、音頻信號或力反饋(振動桿、智能手表、振動腕帶、智能電話、平板等)。還可能存在例如在移動電話、平板或特殊眼鏡(交互式眼鏡)上直接使數(shù)據(jù)記錄的當(dāng)前狀態(tài)可視化的選項。
用于姿態(tài)的確定以及稀疏點云的同時生成的算法
為了得到桿的六個自由度,即模塊的位置以及相對于外/外部(例如全局)坐標(biāo)系統(tǒng)的定向角度(橫搖、俯仰、偏航),能夠應(yīng)用SLAM(同時定位和映射)。
6-DoF的確定基于來自相機(jī)的測量結(jié)果以及可選地附加地來自GNSS系統(tǒng)(和/或具有回復(fù)反射器的全站儀)的位置測量結(jié)果。而且,利用IMU測量到的加速度和角速率也能夠被包括到姿態(tài)的確定(即具有6個自由度的位置和定向;即6-dof)中。
圖像數(shù)據(jù)被分析以得到對應(yīng)的特征(或?qū)?yīng)/同系圖像點),即多個圖像中的一個相同的對象點61的對應(yīng)的圖像的位置。這使用諸如SIFT、SURT、BRISK、BRIEF等的特征檢測和匹配算法來完成。通過標(biāo)識多個對應(yīng)的特征(或?qū)?yīng)的圖像點,也被稱作同系圖像點),多個對象點61被確定。這些對象點建立基準(zhǔn)點場,該基準(zhǔn)點場能夠作為基準(zhǔn)被用于各個附加地收集的相機(jī)圖像,使得在各個重新添加的圖像中基準(zhǔn)點場的現(xiàn)有點能夠被用來相對于所有先前的圖像參照該圖像。
因此,在各個重新添加的圖像中,再次針對已經(jīng)存在的基準(zhǔn)點場的對象點找到/標(biāo)識對應(yīng)的圖像點(在所添加的圖像和先前已經(jīng)存在的圖像中)。并且在重新添加的圖像中的這些找到/標(biāo)識的圖像點(與由經(jīng)找到/標(biāo)識的圖像點表示的符合對象點的經(jīng)先前確定的坐標(biāo)一起)被用來借助于后方交會確定這個重新添加的圖像的姿態(tài)。
此外,同樣在各個重新添加的圖像中,再次針對周圍的新對象點找到/標(biāo)識對應(yīng)的圖像點(在這個添加的圖像和先前已經(jīng)存在的圖像中)。并且在重新添加的圖像和至少一個“舊”圖像中的這些找到/標(biāo)識的對應(yīng)的圖像點(即,所對應(yīng)的圖像點在重新添加的圖像和舊圖像中的位置)被用來通過前方交會來確定另外的對象點的坐標(biāo),使得基準(zhǔn)點場被按另外的對象點與此一起擴(kuò)展。因此,一方面,對于各個重新添加的圖像能夠(基于使用已經(jīng)存在的基準(zhǔn)點場的現(xiàn)有對象點的現(xiàn)有特征/圖像點方案的后方交會)確定姿態(tài),并且另一方面(在邏輯上同時地),隨著各個重新添加的圖像基準(zhǔn)點場也在增長(基于使用周圍的先前未知的對象點的重新標(biāo)識的對應(yīng)特征/圖像點的前方交會)。
另選地,在視頻輸入的情況下,能夠?qū)Ω鱾€視頻幀使用跟蹤算法(例如通過應(yīng)用Kanade-Lucas-Tomasi(KLT)特征跟蹤器)找到對應(yīng)(即,所對應(yīng)的或同系圖像點或特征)。在此應(yīng)用意義上,“利用一個或更多個相機(jī)拍攝一系列圖像”的術(shù)語包括通過連續(xù)地(例如,遵循定義定時(例如每秒一個圖像)或者遵循定義間隔(例如每隔半米移動一個圖像)拍攝/取單個圖像或者通過拍攝視頻幀來生成圖像數(shù)據(jù)。
因此,在基于所對應(yīng)的特征的SLAM評估中,同時得到圖像的姿態(tài)并且點云(在本文中被稱作“基準(zhǔn)點場”,其是具有比較低的密度的點云(因此也常常被稱作“稀疏點云”))被建立和計算。這個基準(zhǔn)點場在僅被計算以便確定圖像的姿態(tài)(即,以便確定并參照圖像拾取相對于彼此的位置和定向)的第一距離上,即至少最初僅用于定位目的?;鶞?zhǔn)點場因此是用于確定姿態(tài)的連續(xù)地增長的公共基準(zhǔn)幀。基準(zhǔn)點場通常不包括周圍的預(yù)知點。
在基準(zhǔn)點場和姿態(tài)確定的第一步驟中,相對姿態(tài)算法被用來計算兩個選擇的初始幀/圖像與初始點云(即,基準(zhǔn)點場的第一部分)之間的相對姿態(tài)。在本文中,IMU和/或GNSS數(shù)據(jù)能夠被附加地用來確定所選擇的初始幀的相對姿態(tài)(以便做出使姿態(tài)變得更穩(wěn)定和/或更有效的步驟)?;诮Y(jié)果得到的點云(基準(zhǔn)點的這個第一/已經(jīng)存在的部分)以及第三圖像中檢測到的所對應(yīng)的特征能夠通過后方交會來計算第三圖像的姿態(tài)。然后再次,應(yīng)用前方交會以細(xì)化所有三個圖像中檢測到的特征的3D坐標(biāo)并且以確定在第一圖像和第三圖像中的一個中檢測到的新3D點。因此,利用添加的圖像可以重建新3D點并且點云(基準(zhǔn)點云)中的點的數(shù)量在增長(圖13)。
算法的基本部分的概要:
同時地,通過對一系列圖像(13)應(yīng)用定義算法
-圖像的姿態(tài)被確定并且
-包括周圍存在的多個基準(zhǔn)點的基準(zhǔn)點場被建立
其中
-多個分別對應(yīng)的圖像點在多個圖像子組中的每一個中被標(biāo)識,各個圖像子組包含一系列圖像中的至少兩個圖像,
-姿態(tài)借助于使用已經(jīng)添加到基準(zhǔn)點場的確定坐標(biāo)以及表示所述基準(zhǔn)點的所對應(yīng)的圖像點的圖像位置的后方交會來確定,以及
-基準(zhǔn)點(其各個由標(biāo)識的對應(yīng)的圖像點表示)被添加到基準(zhǔn)點場并且基準(zhǔn)點的坐標(biāo)借助于使用對應(yīng)圖像點的圖像位置的前方交會以及針對所述相應(yīng)的對應(yīng)圖像點出現(xiàn)在其中的圖像所確定的姿態(tài)來確定。
甚至進(jìn)一步總結(jié)(換句話說):
利用使用圖像的系列的定義算法的SLAM評估被執(zhí)行,其中,多個分別對應(yīng)的圖像點在圖像的系列中的圖像的多個子組中的每一個中被標(biāo)識,并且,基于使用所述多個分別對應(yīng)的圖像點的后方交會和前方交會,
-包括所述環(huán)境的多個基準(zhǔn)點的基準(zhǔn)點場被建立,其中,基準(zhǔn)點的坐標(biāo)被得到(基本上從前方交會),并且
-圖像的姿態(tài)被確定(基本上根據(jù)后方交會)。
作為最終或中間步驟(即,在已經(jīng)執(zhí)行基本算法之后或者除此之外),能夠使用集束調(diào)整來細(xì)化總體解決方案(即,經(jīng)建立的基準(zhǔn)點場(即,所得到的基準(zhǔn)點的坐標(biāo)),以及可選地所確定的所對應(yīng)的圖像點在圖像中的圖像位置)。這個算法是再投影誤差以及可選地GNSS測量結(jié)果的非線性最小二乘方最小化。它將在一個步驟中優(yōu)化基準(zhǔn)點場的所有相機(jī)姿態(tài)和所有3D點的定位和定向。
集束調(diào)整能夠由用戶在他正在使用桿來測量個別點時即在傳統(tǒng)的GNSS桿模式下觸發(fā)。集束調(diào)整然后被用來在測量期間細(xì)化桿的定位和定位以在測量期間給用戶提供尖端的位置的最佳估計。
另選地,能夠使用圖像數(shù)據(jù)、IMU數(shù)據(jù)和/或GNSS數(shù)據(jù)來檢測桿是否被已經(jīng)保持在一個位置中。集束調(diào)整然后被自動地觸發(fā)。當(dāng)最佳(集束調(diào)整后的)結(jié)果可用時這通過例如綠燈被指示給用戶。用戶然后能夠在觸發(fā)測量時立即讀出尖端的位置的最佳估計。
如果GNSS數(shù)據(jù)可用-情況可能不總是這樣,則能夠在新相機(jī)姿態(tài)的后方交會中或者在初始圖像對的相對姿態(tài)的計算中使用位置。對于新圖像姿態(tài)的計算在后方交會算法中組合圖像和GNSS位置中所檢測到的特征位置。具體地,測量結(jié)果的準(zhǔn)確性(例如,對于特征測量結(jié)果來說為1px而對于GNSS位置來說為3cm)被考慮并且測量結(jié)果被相應(yīng)地加權(quán)。
與GNSS數(shù)據(jù)的組合導(dǎo)致通過SLAM算法生成地理參照且定標(biāo)的點云。而且,因為GNSS在全局標(biāo)度上遞送具有良好準(zhǔn)確性的位置,所以這些位置抵消可能出現(xiàn)在僅基于圖像測量結(jié)果的SLAM中的誤差累積和結(jié)果得到的漂移。
然而,如果已經(jīng)生成了基本點云,則后方交會在不可僅通過圖像數(shù)據(jù)得到GNSS信號的情況下也工作。這可能是當(dāng)操作員與立面站得非常近并且大多數(shù)GNSS衛(wèi)星被建筑物覆蓋時的情況。然后基于現(xiàn)有點云通過相機(jī)姿態(tài)的后方交會得到6-DoF。
另選地,其它SLAM或運(yùn)動結(jié)構(gòu)算法能夠被用于桿的6-DoF確定。
而且,如果GNSS位置不可用并且位置是從圖像數(shù)據(jù)得到的,具體地在與IMU數(shù)據(jù)的組合中,能夠?qū)⑺玫降奈恢梅答伣oGNSS模塊以便于對GNSS位置的修復(fù)的快速重新獲取。
另選地,當(dāng)將圖2b所示的相機(jī)模塊30應(yīng)用于反射器16時,代替GNSS數(shù)據(jù)還能夠使用利用全站儀測量到的位置。這里再次,如果已經(jīng)生成了基本點云,則還能夠在全站儀與反射器之間的視線中斷時確定模塊的姿態(tài)。
在GNSS數(shù)據(jù)與圖像測量結(jié)果的組合中必須考慮天線中心與相機(jī)模塊之間的偏移。這個偏移可能是根據(jù)機(jī)械設(shè)計獲知的或者通過校準(zhǔn)得到。當(dāng)使用了多個相機(jī)時,還必須根據(jù)設(shè)計校準(zhǔn)或者得到它們的相對姿態(tài)。校準(zhǔn)能夠由制造商或者由用戶在特別設(shè)計的過程中使用例如可由要校準(zhǔn)的相機(jī)拍攝的很好地構(gòu)造成的區(qū)域(基準(zhǔn)圖案)來完成。圖案與相機(jī)之間的限定的相對空間關(guān)系是預(yù)知的。還能夠在集束調(diào)整(自校準(zhǔn))中微調(diào)校準(zhǔn)。
此外,能夠在六個自由度的確定中包括來自慣性測量單元(IMU)的數(shù)據(jù)(即加速度和角速率)。因為加速度計感測重力向量,所以能夠根據(jù)IMU數(shù)據(jù)直接確定相機(jī)模塊的傾斜(即橫搖角和俯仰角)。能夠從基于加速度的雙積分的位置偏移與從GNSS位置得到的位置偏移的比較得到桿的水平定向,即偏航角。另選地或附加地,磁強(qiáng)計能夠被用來確定偏航角。
能夠通過傳感器融合算法(例如,卡爾曼濾波器、粒子濾波等)來執(zhí)行傳感器數(shù)據(jù)的組合。
為了傳感器融合重要的是所有測量數(shù)據(jù)參照公共時基。這能夠通過同步的數(shù)據(jù)獲取(即,一個傳感器觸發(fā)所有其它傳感器)或者通過將時間戳指派給各個測量來實現(xiàn)。
知道GNSS桿的長度及其相對于上級(局部或全局坐標(biāo)系統(tǒng),例如WGS84)的姿態(tài),能夠得到尖端點的坐標(biāo)。在實際測量中這具有操作員在他將尖端點放置到測量點中之后不必再弄平桿的優(yōu)點。因為測量單個點所需的減少時間,所以這對操作員執(zhí)行測量作業(yè)的生產(chǎn)力產(chǎn)生積極影響。
密集匹配
密集匹配具有在原始圖像中確定密集點云(即,各個像素或子集的3D坐標(biāo),例如在規(guī)則3x3網(wǎng)格上,即在行和列方向上每第三個像素)的目標(biāo)。算法由兩個主要步驟構(gòu)成。
首先,對于所有交疊相機(jī)計算視差圖。此圖包含兩個圖像中的像素的偏移,即要應(yīng)用于第一圖像中的像素以結(jié)束于第二圖像中的對應(yīng)點的位置的移位。存在計算這些圖的多個方式、相關(guān)技術(shù)(例如半全局匹配)等。
對于視差圖中的各個像素來說置信值能夠被獲得并且用在進(jìn)一步處理中,例如以用于測量結(jié)果的自適應(yīng)加權(quán)。
第二,使用這組視差圖通過前方交會來計算3D點。知道通過所對應(yīng)的像素來自投影中心的圖像光線60的姿態(tài)被建立。對象點的3D坐標(biāo)由這些光線的交會產(chǎn)生。原則上兩條光線中的最小者是3D點的交會所需要的。然而,在實踐中盡量多可用的光線被用在前方交會中。
標(biāo)識圖像點(基準(zhǔn)點)并且基于經(jīng)標(biāo)識的圖像點來確定姿態(tài)(具體地基于其計算點云)被理解為密集匹配處理的形式或至少一部分。
對于前方交會能夠應(yīng)用最小二乘法調(diào)整。這里,點的3D坐標(biāo)是通過使點與所有光線之間的偏差(實際上為平方偏差)最小化來確定的?;趲缀涡螤詈徒Y(jié)果得到的偏差,即剩余殘差,能夠通過計算方差-協(xié)方差矩陣以及此外3D點的所有三個坐標(biāo)的標(biāo)準(zhǔn)偏差的估值來得到交會的量。
這個被示出在圖15a中,其中尤其對于單個點或這些點的相應(yīng)區(qū)域,六條光線的“好”交會66導(dǎo)致小不確定性并且三條光線的“差”交會68導(dǎo)致大不確定性。
關(guān)于如上所述的點云的計算點中的至少一個的量的量指示輸出可以基于這種計算。
能夠使用關(guān)于測量質(zhì)量的多個準(zhǔn)則來對最終點云進(jìn)行濾波。這包括觀察到點的圖像的數(shù)量(即,用于交會的光線的數(shù)量)、限定交會的幾何形狀的相機(jī)之間的基線、針對所有測量結(jié)果的一致性的量度等。
另選地,還能夠單獨基于像內(nèi)在因素(相機(jī)分辨率等)這樣的預(yù)知情況以及一般內(nèi)在因素(到相機(jī)的距離等)針對實際上行進(jìn)的路徑和實際上需要的圖像系列(并且還針對具有圖像的計劃拍攝的計劃路徑)來計算質(zhì)量指示符。在這種情況下,對于至少一個點的位置的計算(以及對光線在前方交會內(nèi)的交會的程度的考慮)將未必用于這個估計的質(zhì)量指示符。圖15b示出了基于這些區(qū)域中的3D位置的確定的估計可達(dá)質(zhì)量的準(zhǔn)確性界限的可視化??拷媱澔蛐羞M(jìn)跡線的點具有更高的估計準(zhǔn)確性/質(zhì)量并且更遠(yuǎn)離計劃或行進(jìn)跡線的周圍的點具有更低的估計準(zhǔn)確性/質(zhì)量。
另選地,能夠使用其它算法(例如,平面掃掠)來確定密集點云。
對于單個點的測量操作員將桿的尖端點放置在測量點上。與此相反,密集點云的測量是動態(tài)的,即操作員僅圍繞收集數(shù)據(jù)(即,圖像數(shù)據(jù)、來自GNSS或全站儀的位置數(shù)據(jù)、IMU數(shù)據(jù)等)。
用戶簡單地走過要映射的區(qū)域。在移動期間系統(tǒng)記錄圖像數(shù)據(jù)(例如,每秒15幀)、GNSS位置和IMU數(shù)據(jù)。傳感器或者被同步,例如由主傳感器觸發(fā),或者時間戳被指派給各個測量。
去模糊
另一個發(fā)明方面是在計算“SLAM”(或者還被稱作“運(yùn)動結(jié)構(gòu)SfM”之后使所獲取的圖像系列的圖像變清晰。
人們知道,在相機(jī)正在運(yùn)動中的情況下拍攝的圖像中,運(yùn)動模糊可能出現(xiàn)在圖像中。其中,一般而言,遠(yuǎn)離相機(jī)的經(jīng)成像的場景/環(huán)境的對象相對于相機(jī)具有更低的相對運(yùn)動(即,對圖像拾取有效的相對運(yùn)動)以及更靠近相機(jī)的經(jīng)成像的場景/環(huán)境的對象具有更高的相對運(yùn)動。
根據(jù)SLAM算法(尤其附加地借助于IMU數(shù)據(jù)和/或GNSS/TPS位置測量數(shù)據(jù)),能夠為在圖像系列的獲取期間行進(jìn)的路徑得到相機(jī)的3d跡線。
并且,還已經(jīng)根據(jù)SLAM算法確定了場景/環(huán)境(即,被提取并用來為圖像得到姿態(tài)的環(huán)境的基準(zhǔn)點場的位置)。
基于這個稀疏點云(即,更一般地說:基于所確定的稀疏點云的場景/環(huán)境的深度信息或深度圖)并且基于相機(jī)在圖像中的每一個的獲取期間的運(yùn)動,能夠通過圖像處理在圖像中執(zhí)行運(yùn)動去模糊。
其中,在圖像的獲取期間一直更靠近相機(jī)的成像對象被應(yīng)用有比較更高程度/階段的運(yùn)動去模糊并且在圖像的獲取期間一直遠(yuǎn)離相機(jī)的成像對象被應(yīng)用有比較更低程度/階段的運(yùn)動去模糊。
在所獲取的圖像系列的圖像的去模糊之后,通過去模糊重新生成的圖像(其能夠被稱為去模糊圖像)然后能夠取代/替換圖像系列的所對應(yīng)的未去模糊的圖像。
在圖像系列的所有圖像被去模糊的情況下,這些去模糊的圖像然后能夠構(gòu)成圖像系列(即,然后包括僅去模糊的圖像)。
在圖像系列的圖像的僅一部分被去模糊(在序列中取代屬于去模糊之前的系列的所對應(yīng)的/對方未去模糊的圖像)的情況下,圖像系列然后能夠由去模糊的圖像和未去模糊的圖像構(gòu)成。
在下文中,然后包含至少同樣一些去模糊的圖像(或僅去模糊的圖像)的這些重新或者刷新的圖像系列能夠被用于多個目的:
a)通過使用經(jīng)刷新的圖像序列(包括去模糊的圖像)來重新執(zhí)行SLAM評估,即導(dǎo)致
-針對基準(zhǔn)點場的基準(zhǔn)點重新計算的位置(即,重新計算的稀疏點云)以及
-針對圖像重新計算計算的姿態(tài)。
其中,由于表示基準(zhǔn)點的要在圖像中標(biāo)識的特征能夠位于具有更高準(zhǔn)確性/更高魯棒性和更低測量不確定性的圖像中的事實(由于在去模糊之后的圖像中的模糊的更低程度而導(dǎo)致),基準(zhǔn)點的位置以及圖像的姿態(tài)二者能夠被確定為更準(zhǔn)確并且有更低測量不確定性。
b)按更高準(zhǔn)確性和更低測量不確定性計算環(huán)境的密集點云(即,執(zhí)行密集重建或建網(wǎng))。
其中,經(jīng)刷新的/去模糊的圖像系列(包括去模糊的圖像)能夠直接被用于密集重建。或者在以上點a)下描述的步驟(即,對經(jīng)刷新的系列重新執(zhí)行SLAM評估)能夠置于前面,然后,基于通過執(zhí)行以上步驟a)已經(jīng)重新計算的姿態(tài),能夠使用經(jīng)去模糊的系列以及已經(jīng)更準(zhǔn)確地確定的姿態(tài)來執(zhí)行密集重建。
這由于在去模糊的圖像中能夠按更高魯棒性和更高精度執(zhí)行圖像中的對應(yīng)圖像點(屬于相同的場景點)的標(biāo)識和定位的事實而對于密集點云的確定導(dǎo)致更高的準(zhǔn)確性。因此,同樣使用經(jīng)標(biāo)識且定位的圖像點的前方交會以更高準(zhǔn)確性/更低測量不確定性揭示場景點的位置。
并且,場景點云的確定的更高密度由于在去模糊的圖像中圖像中的更多對應(yīng)的圖像點(屬于相同的場景點)是可標(biāo)識的事實而是可實現(xiàn)的。
c)以更高準(zhǔn)確性和更低測量不確定性計算環(huán)境的單個點的位置(在上文并且在后面還被稱作“遠(yuǎn)程點測量”。
類似于多個點(即環(huán)境的密集點云)的計算,同樣能夠通過使用經(jīng)刷新/去模糊的圖像系列(以及可選地已經(jīng)重新計算的姿態(tài))來以更高準(zhǔn)確性和更低測量不確定性確定單個點的位置。
總之,使用去模糊的圖像,對去模糊的圖像的SfM/SLAM評估能夠提供有關(guān)姿態(tài)和稀疏點云的確定的更好結(jié)果,因為特征將由于圖像中的更高對比度而被以更高精度定位(并且可以定位更多特征)。如果SfM是更精確的,則進(jìn)一步的步驟將提供更好質(zhì)量(密集重建、建網(wǎng))。但是同樣在沒有前綴的刷新SfM/SLAM評估的情況下,與使用未去模糊的圖像的場景相比能夠通過使用經(jīng)去模糊的圖像來以至少稍微更高的質(zhì)量執(zhí)行密集重建。
正射相片
在圖16a和圖16b中例示了兩個正射相片的匹配的示例性實施方式,其中,一個正射相片160由根據(jù)本發(fā)明的測量系統(tǒng)生成并且一個正射相片是基準(zhǔn)正射相片165,例如空中圖像。術(shù)語正射相片這里被理解為意指具有正射視圖的“真實”正射相片,即起伏和傾斜已被調(diào)整以便正射校正圖像。
因為相機(jī)可能正向下看,或者具有足夠的視場,所以地平面將是可見的。與到地的已知距離、相機(jī)位置和定向一起,能夠?qū)D像投影到地平面。通過使用來自不同方向的許多圖像,能夠計算地平面的一個大的合成圖像。由于紋理透視縮短(透視效應(yīng),當(dāng)相機(jī)正以特定角度看地面時),論文“Analysis-by-Synthesis Texture Reconstruction”(Liefers、Parys、Schilling,2012)中所描述的方法能夠被用來為為地平面獲得高質(zhì)量紋理。所生成的正射相片能夠被登記到地理參照空中圖像以便在地理坐標(biāo)系統(tǒng)中定位測量。在以下段落中,對工作流進(jìn)行詳細(xì)的描述。
能夠在作為相機(jī)模塊的一部分的處理單元上執(zhí)行相機(jī)姿態(tài)和密集匹配的處理,即密集點云的生成。另選地,能夠在控制器(數(shù)據(jù)記錄器)或GNSS天線的處理單元上執(zhí)行處理,所述GNSS天線通過電纜或者經(jīng)由無線電、藍(lán)牙、WiFi等連接到相機(jī)模塊。
而且,能夠?qū)?shù)據(jù)發(fā)送到連接到互聯(lián)網(wǎng)的專用云服務(wù)器。能夠直接從相機(jī)模塊或者經(jīng)由控制器或者經(jīng)由GNSS天線發(fā)送數(shù)據(jù)。
另選地,服務(wù)器能夠被安裝在車輛(例如,靠近測量區(qū)域位于并且通過諸如藍(lán)牙或WiFi的本地電信協(xié)議與桿進(jìn)行通信的汽車)中。
另選地,服務(wù)器能夠被暫時或者永久地安裝在例如施工棚里的站點上并且通過本地電信協(xié)議與桿進(jìn)行通信。
優(yōu)選地,云服務(wù)器上的數(shù)據(jù)的發(fā)送和處理緊接在記錄開始之后開始。在這種情況下在后臺中幫助使結(jié)果的等待時間保持短的數(shù)據(jù)獲取并行地執(zhí)行處理。
另選地,系統(tǒng)能夠包括與由操作員在背包中攜帶的電源(例如,電池)一起的第二處理單元。第二處理單元可以被配備有使得能實現(xiàn)圖像數(shù)據(jù)的大容量并行處理的圖形處理單元(GPU)。具體地,第二處理單元可以是諸如強(qiáng)大的膝上型電腦、平板計算機(jī)或智能電話的獨立便攜式裝置。第二處理單元可以通過電纜或本地電信協(xié)議與桿進(jìn)行通信。
而且,處理的組合在相機(jī)模塊的處理單元、控制器或GNSS天線的處理單元以及諸如云服務(wù)器的外部處理單元上。例如,能夠在包括在相機(jī)模塊中的處理單元上執(zhí)行數(shù)據(jù)的同步記錄。并且,能夠在這個處理單元上執(zhí)行圖像數(shù)據(jù)的預(yù)處理,例如特征提取或一些基本圖像處理算法。能夠在控制器的處理單元上執(zhí)行產(chǎn)生圖像的姿態(tài)以及稀疏點云的坐標(biāo)的SLAM算法。然后能夠?qū)⒔Y(jié)果得到的相機(jī)姿態(tài)和圖像發(fā)送到執(zhí)行密集匹配的云服務(wù)器。
處理之后的結(jié)果可以是
·點云,特別是有色點云;
·表面模型,特別是構(gòu)造成的表面模型;
·正射相片,特別是地面或立面的;或者
·一組折點,例如拐點,自動地從點云得到。
為了完整性檢查操作員應(yīng)該在數(shù)據(jù)獲取結(jié)束之后不久(例如,幾分鐘)已經(jīng)在場中接收到預(yù)覽模型?;谶@個預(yù)覽模型操作員能夠決定他是否完全拍攝了測量區(qū)域或者一些部分是否未被覆蓋。在后者情況下操作員能夠在未覆蓋區(qū)域中進(jìn)行一些附加測量以增加完整性的水平。
完整性檢查能夠利用圖像的對比度分析增強(qiáng)以便檢測遺漏并且它們將被重建不太可能的區(qū)域(均勻表面)。這將節(jié)約用戶設(shè)法重建這種區(qū)域的時間。
能夠由操作員基于預(yù)覽模型的可視化(例如,3D可視化)完成該決定。另選地,可視化能夠作為映射視圖為2D,以與對于無經(jīng)驗的用戶來說難以解釋和導(dǎo)航的3D模型相比給用戶呈現(xiàn)模型的更快且更易于理解的視圖。具體地,遺漏部分被加亮。而且,系統(tǒng)能夠?qū)⒉僮鲉T導(dǎo)向遺漏測量的區(qū)域。
預(yù)覽模型應(yīng)該在數(shù)據(jù)獲取結(jié)束之后不久可用。為了節(jié)約時間,例如為了數(shù)據(jù)發(fā)送和處理,預(yù)覽模型可以具有比最終模型低的分辨率,例如大約10cm的點分辨率。這能夠通過例如在圖像分辨率從1920×1080個像素降低至320×240個像素之后對具有更低分辨率的圖像具體地執(zhí)行密集匹配來實現(xiàn)。
在有限帶寬的情況下,如果在云服務(wù)器上執(zhí)行處理則在數(shù)據(jù)被發(fā)送之前執(zhí)行圖像分辨率的降低。而且,圖像數(shù)據(jù)能夠在它們被發(fā)送到處理服務(wù)器之前被壓縮。其中,能夠以無損方式(即,能夠應(yīng)用無損數(shù)據(jù)壓縮,而不降低圖像的質(zhì)量/分辨率)或者以有損方式(即,取決于特定情形的需要和情況,同樣能夠應(yīng)用有損數(shù)據(jù)壓縮,包括圖像的質(zhì)量/分辨率的降低)執(zhí)行圖像數(shù)據(jù)的壓縮。
而且,能夠使用稀疏圖像表示來減少數(shù)據(jù)(不必發(fā)送非常低對比度的區(qū)域)。
通過使經(jīng)計算的正射相片與基準(zhǔn)空中圖像相匹配,能夠得到附加的定位信息。這個能夠被用作地理定位的唯一源或者能夠與GNSS或基于棱鏡的陸地測量結(jié)果聯(lián)接以便改進(jìn)地理定位準(zhǔn)確性。
在整個場景被拍攝之后,對數(shù)據(jù)集執(zhí)行SLAM算法。運(yùn)動結(jié)構(gòu)能夠使用部分GNSS數(shù)據(jù),然而這是不需要的。在計算外部相機(jī)參數(shù)之后,執(zhí)行正射相片生成算法。這個算法工作如下:
1)屬于地表面的點被確定。這能夠使用IMU來完成以得到垂直定向向量并且檢測與這個向量垂直的平面表面。另選地,來自SLAM的移動方向被用來估計與地面垂直的向量。
2)在地表面確定之后,例如使用2D德勞內(nèi)三角測量來使屬于這個表面的點成三角形。另選地,平面的集合被固定到地表面。另選地,地表面點在對平面進(jìn)行濾波或者使表面成三角形之前被濾波。
3)針對地表面(現(xiàn)在被定義為平面或三角形的集合)的紋理生成被執(zhí)行。取決于質(zhì)量要求,能夠通過給來自點云的表面著色來獲得紋理。另選地這能夠通過使用所確定的相機(jī)投影矩陣對圖像進(jìn)行反投影而完成。在需要最高紋理質(zhì)量的大多數(shù)需求情況下,使用綜合分析方法。這通過將所有拍攝的圖像反投影到地表面、計算地表面上的顏色貢獻(xiàn)的平均數(shù)、然后將地表面的部分投影回給相機(jī)并且計算所拍攝的圖像與投影地表面之間的差異圖像來工作。然后差異圖像被反投影到地平面,顏色被累積,以計算地表面的新改進(jìn)的紋理。然后在循環(huán)中重復(fù)該處理。這允許甚至從具有高透視失真的圖像重建高質(zhì)量紋理,其中地表面被極端地透射縮短。
4)紋理化地表面然后被投影到地平面上以便獲得能夠與從空中圖像創(chuàng)建的地理參照正射相片相匹配的正射相片。
5)相機(jī)位置相對于本地坐標(biāo)系統(tǒng)中生成的正射相片是已知的。然后使用純粹基于圖像的方法來向地理參照空中圖像注冊所生成的地面圖像。然后能夠在地理坐標(biāo)系統(tǒng)中計算相機(jī)位置,并且能夠?qū)Ⅻc云然后轉(zhuǎn)換為地理坐標(biāo)系統(tǒng)。
在一些應(yīng)用中可能需要沒有GNSS信號的交互式地理定位。然后能夠使用以下方法:
1)在數(shù)據(jù)捕獲期間,根據(jù)非常有限數(shù)量的幀計算僅局部紋理。這需要對相機(jī)的可能小的子集運(yùn)行SLAM以便發(fā)現(xiàn)它們彼此的關(guān)系。
2)局部紋理然后使用基于圖像的方法(例如,特征匹配)被注冊到空中圖像。
3)然后能夠根據(jù)新局部相機(jī)以及局部地面紋理到空中圖像的注冊來確定相機(jī)的位置和模型標(biāo)度。
這個方法能夠被用于相機(jī)在地圖上的位置的本地裝置的屏幕上的交互式可視化??梢砸黄馂榱肆己脼V波而聯(lián)合并優(yōu)化局部SLAM計算以便找到利用SLAM的不同子重建之間的關(guān)系。
在GNSS可用的情況下,該方法能夠被用來在無需租用平面或UAV的情況下創(chuàng)建地理參照正射相片以便用在其它應(yīng)用中。
圖16a示出了從在地水平面處獲取的圖像生成的示例正射相片160。如可以看到的,不是從地水平面拍攝的那些區(qū)域162(諸如建筑物屋頂或樹頂)不存在。圖16b呈現(xiàn)了來自地理參照空中圖像的示例基準(zhǔn)正射相片165。那兩個圖像具有不同的標(biāo)度和定向。通過使用變化特征的標(biāo)度和旋轉(zhuǎn)的匹配,能夠?qū)⑺傻膱D像變換為和基準(zhǔn)空中圖像的標(biāo)度和旋轉(zhuǎn)匹配(來自圖16a的正射相片160的邊界由外形166表示)。這個變換然后被用來將測量儀器的點云和位置帶給基準(zhǔn)圖像165的坐標(biāo)系統(tǒng)。
基于桿的標(biāo)度推導(dǎo)
相機(jī)模塊還能夠在無需與GNSS系統(tǒng)或全站儀一起組合的情況下被使用,特別是在不需要絕對地理參照的應(yīng)用中這個被例示在圖17中。
不利地,沒有GNSS或全站儀的3D重建可能具有任意標(biāo)度。這個任務(wù)的現(xiàn)有技術(shù)水平解決方案是使用具有已知3D坐標(biāo)的基準(zhǔn)點。這些點是在圖像上人工地或自動地測量的。它們的3D坐標(biāo)使用附加測量單元(例如,利用全站儀)來確定。另選地,能夠使用在圖像數(shù)據(jù)中自動地標(biāo)識的標(biāo)度條。
另選地,具有以下步驟的方法能夠被用來確定標(biāo)度。
1)測量被安裝在桿10上的相機(jī)模塊30的高度。
2)用戶2開始在桿10直立在地面上的情況下記錄圖像。
3)用戶沿著對象移動并且記錄圖像。
4)在數(shù)據(jù)處理之后,重建任意標(biāo)度下的對象的密集點云。相機(jī)模塊高于地面的高度是在針對第一圖像重建的點云中確定的。
5)通過在步驟1和步驟4上確定的高度的比較來計算標(biāo)度。
為了改進(jìn)標(biāo)度計算的準(zhǔn)確性,用戶2能夠在測量期間將桿10放置到地面上一次以上。用戶能夠按桿上的按鈕以指示當(dāng)桿10正直立在地面上時的時刻。另選地,可能基于順序地記錄的圖像或IMU信息的比較自動地確定這個時刻。
整個重建在任意定向坐標(biāo)系統(tǒng)中完成。然而,用戶能夠通過以下過程來定義本地坐標(biāo)系統(tǒng):
1)用戶2將桿10放置在地面上并且使用綜合水平儀(integrated bubble)來使桿垂直地定向。在用戶按將地面上的這個點5定義為坐標(biāo)系統(tǒng)XYZ的原點的裝置上的按鈕之后,在默認(rèn)情況下整個測量的第一點5被認(rèn)為是原點。坐標(biāo)系統(tǒng)的垂直軸Z由桿10相對于鉛垂線9的當(dāng)前定向來定義。
2)對于坐標(biāo)系統(tǒng)的水平定向的定義,用戶2在第二點5’上按照任意定向?qū)U10放置到地面上。桿10的垂直定向在這種情況下是不重要的。從坐標(biāo)系統(tǒng)的原點到這個第二點的向量定義水平定向,例如坐標(biāo)系統(tǒng)的x軸。
用戶能夠?qū)U10放置在明顯且標(biāo)記的點上以能夠?qū)?例如稍后在另一測量中)設(shè)置同一坐標(biāo)系統(tǒng)XYZ。
相機(jī)模塊30高于地面的高度計算能夠在經(jīng)重建的點云中人工地或者自動地完成。在第一種情況下,用戶選擇屬于地面的點。在第二種情況下基于桿10被垂直地定向的假定而提取高度。
另選地,還能夠在網(wǎng)狀表面模型中執(zhí)行高度計算。
循環(huán)閉合
可選地,結(jié)合全景相機(jī)的GNSS數(shù)據(jù)能夠被用來以新方式擴(kuò)展標(biāo)準(zhǔn)SLAM方法。GNSS數(shù)據(jù)能夠被用來選擇在粗略同一位置處但是在不同時間記錄的兩個幀。這個在用戶跨越他自己的路徑或者進(jìn)行同一路徑多次時發(fā)生。因為GNSS桿在正常記錄條件下被垂直地保持,所以兩個幀之間的主要差異很可能是水平旋轉(zhuǎn),即方位角的改變。能夠確定并補(bǔ)償這樣的單個旋轉(zhuǎn)以用于高效地使用原始圖像或檢測到的特征點。在方位改變的補(bǔ)償之后或期間,可選地能夠以類似的方式執(zhí)行其它兩個定向角的小改變的補(bǔ)償。一旦兩個幀被粗略地對準(zhǔn),就能夠通過使用諸如KLT的跟蹤算法在兩個幀之間找到圖像之間的多個附加匹配。附加匹配改進(jìn)遙遠(yuǎn)且定時的但是不在位置中的兩個幀之間的連接,即循環(huán)閉合。這通過對大數(shù)據(jù)集進(jìn)一步減少漂移(也在旋轉(zhuǎn)中)來使算法穩(wěn)定并且增強(qiáng)準(zhǔn)確性。
根據(jù)本發(fā)明的循環(huán)閉合基于利用至少一個相機(jī)拍攝周圍的圖像的第一系列,第一系列包括按相機(jī)的不同姿態(tài)拍攝的圖像的量,姿態(tài)表示相機(jī)的相應(yīng)的位置和定向。此外,基于圖像的第一系列標(biāo)識圖像點的初始集合,初始圖像點表示初始基準(zhǔn)點場65(圖14)的基準(zhǔn)點62,其中,每個基準(zhǔn)點出現(xiàn)在圖像的系列的至少兩個圖像中,并且基于使用初始圖像點的后方交會來確定圖像的姿態(tài)。
根據(jù)本發(fā)明,周圍的圖像的第二系列是利用至少一個相機(jī)拍攝的,出現(xiàn)在圖像的第二系列的圖像中的至少一個中的基準(zhǔn)點場65的基準(zhǔn)點被標(biāo)識,圖像點的另一集合在與圖像的第二系列的經(jīng)標(biāo)識的基準(zhǔn)點62對應(yīng)的圖像的第二系列的圖像中被標(biāo)識,并且基于使用圖像點的初始集合和另一集合的后方交會來確定圖像的第二系列中的圖像的姿態(tài)。
桿的底部上的輪
圖18和圖19a-圖19d示出了對于用戶來說方便測量處理的根據(jù)本發(fā)明的輪式測量系統(tǒng)的兩個示例性實施方式。
圖18所描繪的輪式測量系統(tǒng)180包括含有圖1的桿的特征的桿10。附加地,桿10包括使得用戶2能夠在不必攜帶桿10的情況下沿著通過環(huán)境的路徑移動桿10的輪181。為了方便桿10的推(或拉),它被配備有手柄182(或兩個手柄)。
優(yōu)選地,兩個輪181附接至桿10使得如果桿垂直(相對于地面成90°角度)則桿的底端接觸地面。甚至更優(yōu)選地,桿10自主地保持這個直立位置。為了移動桿10它需要傾斜(如圖18所示)。
另選地,桿10的底端可能是可延伸的以便接觸地面。
可選地,輪181能夠由電機(jī)特別是電動機(jī)驅(qū)動。這個電機(jī)例如能夠由用戶2通過手柄182上的控制單元來控制或者能夠作為用于用戶2的推(或拉)移動的支持驅(qū)動器。
圖19a-d所描繪的輪式測量系統(tǒng)190包括兩輪自平衡機(jī)動車輛195。這種車輛還被廣泛地稱為“賽格威個人交通工具”。測量系統(tǒng)190包括被安裝在車輛195上的桿10。在如關(guān)于圖1已經(jīng)描述的桿10上,設(shè)置了GNSS天線15和相機(jī)模塊30。測量系統(tǒng)190還包括控制和評估單元12。
如從類似的車輛所知道的,車輛195的運(yùn)動能夠由用戶2像圖19c和圖19d所例示的那樣控制。所描繪的車輛195被設(shè)計為使得用戶2通過相對于用戶2和車輛195的組合重心使車輛傾斜來控制車輛195的向前和向后移動。
可選地,車輛195能夠包括將地面上的斑點標(biāo)記為目前測量點5的測量點標(biāo)記裝置192。具體地,這個斑點可以是桿10的虛延長。標(biāo)記可以是僅在相應(yīng)位置處的停留期間持續(xù)并且作為驅(qū)動車輛195的測量系統(tǒng)190的用戶2的信息所想要的激光斑點或圖案。具體地,這使得用戶2能夠在預(yù)定義標(biāo)記位置處確切地測量。另選地,標(biāo)記可能是更耐久的,例如噴漆標(biāo)記或劃線標(biāo)志。這允許在相同位置處在以后的時間點重復(fù)測量。
可選地,車輛195的IMU能夠被用于確定相機(jī)模塊30的相機(jī)的定向,另選地或附加地,相機(jī)模塊30的IMU。
如圖20所示,桿10能夠被配備有雨和/或太陽保護(hù)裝置,例如被安裝在GNSS天線15下方或周圍的傘。這不僅方便用戶2的工作條件而且保護(hù)相應(yīng)的測量系統(tǒng)1、180、190的相機(jī)模塊30和其它特征并且在降水的情況下改進(jìn)圖像質(zhì)量。
盡管以上部分地參照一些優(yōu)選實施方式例示了本發(fā)明,但是必須理解,能夠做出實施方式的不同特征的許多修改和組合。這些修改中的全部位于所附權(quán)利要求的范圍內(nèi)。