專利名稱：自校準(zhǔn)的遠(yuǎn)程成像和數(shù)據(jù)處理系統(tǒng)的制作方法
自校準(zhǔn)的遠(yuǎn)程成像和數(shù)據(jù)處理系統(tǒng)
相關(guān)申請的交叉引用
本申請是2006年10月11日提交的序號為11/581,235的美國專利申請的部分繼 續(xù)申請案，該美國專利申請要求2003年9月18日提交的序號為10/664，737的美國專利申 請(其要求2002年9月20日針對“基于車輛的數(shù)據(jù)收集和處理系統(tǒng)”提交的序號為60/412， 504的美國臨時專利申請的優(yōu)先權(quán))的優(yōu)選權(quán)。技術(shù)領(lǐng)域
本發(fā)明通常涉及遠(yuǎn)程成像技術(shù)的領(lǐng)域，更具體地說，涉及在極大的視場內(nèi)，繪制高 分辨率、高精度、低失真數(shù)字圖像的系統(tǒng)。
背景技術(shù)：
遙感和成像是具有許多不同并且極其重要的實際應(yīng)用-比如地質(zhì)填圖和分析，和 氣象預(yù)報-的包含廣泛的技術(shù)?；诤娇蘸托l(wèi)星的攝影和成像是特別有用的遠(yuǎn)程成像技 術(shù)，近年來，這些遠(yuǎn)程成像技術(shù)變得極為依賴于數(shù)字圖像的數(shù)據(jù)，包括光譜、空間、高程及車 輛位置和方位參數(shù)的收集和處理?，F(xiàn)在能夠以數(shù)字格式收集、處理和傳送空間數(shù)據(jù)-表征 真實的房屋改造和定位，道路和高速公路，環(huán)境危害和狀況，公用事業(yè)基礎(chǔ)設(shè)施(例如，電 話線，管道)和地球物理特征，以便方便地為各種應(yīng)用(例如，動態(tài)GPS測繪)提供高度精 確的測繪和監(jiān)測數(shù)據(jù)。高程數(shù)據(jù)可用于提高整個系統(tǒng)的空間和位置精度，可以從現(xiàn)有的數(shù) 字高程模型(DEM)數(shù)據(jù)集獲得，或者和光譜傳感器數(shù)據(jù)一起從主動的基于多普勒的輻射測 量裝置或者被動的立體攝影計算當(dāng)中收集數(shù)據(jù)。
遙感和成像應(yīng)用面對的主要挑戰(zhàn)是空間分辨率和光譜保真。諸如球面像差、散光、 場曲、失真和色差之類的攝影問題是在任何傳感器/成像應(yīng)用中都必須處理的公知問題。 某些應(yīng)用要求很高的圖像分辨率-通常具有數(shù)英寸的容許量。取決于使用的特定系統(tǒng)(例 如，飛機、衛(wèi)星或航天器)，實際的數(shù)字成像裝置可以位于離其目標(biāo)數(shù)英尺到數(shù)英里的任何 地方，導(dǎo)致極大的標(biāo)度因子。提供具有極大標(biāo)度因子，還具有數(shù)英寸的分辨率容許量的圖像 對甚至最可靠的成像系統(tǒng)也提出了挑戰(zhàn)。從而，常規(guī)系統(tǒng)通常必須在分辨率質(zhì)量和能夠成 像的目標(biāo)區(qū)域的大小之間作出折衷。如果系統(tǒng)被設(shè)計成提供高分辨率數(shù)字圖像，那么成像 裝置的視場(FOV) —般較小。如果系統(tǒng)提供較大的F0V，那么光譜和空間數(shù)據(jù)的分辨率通常 被降低，從而失真增大。
正射成像是為試圖解決該問題而使用的一種方法。通常，正射成像通過編輯目標(biāo) 的各不相同的子圖像，繪制目標(biāo)的合成圖像。一般來說，在航空成像應(yīng)用中，范圍和分辨率 有限的數(shù)字成像裝置順序記錄目標(biāo)區(qū)域的固定分區(qū)的圖像。隨后按照某種順序?qū)R這些圖 像，從而繪制目標(biāo)區(qū)域的合成圖像。
通常，這樣的繪制處理非常費時，并且勞動密集。在許多情況下，這些處理需要顯 著惡化圖像質(zhì)量和分辨率的迭代處理-尤其是在繪制成千上萬的子圖像的情況下。在能夠 自動處理成像數(shù)據(jù)的情況下，該數(shù)據(jù)通常被反復(fù)變換和采樣-從而隨著每個連續(xù)操作，降低色彩保真和圖像銳度。如果采用自動化的校正或均衡系統(tǒng)，那么這樣的系統(tǒng)可能對圖像異常(例如，異乎尋常地明亮或黑暗的物體)敏感-導(dǎo)致過度校正或校正不足和圖像數(shù)據(jù)的不可靠判讀。在需要或者期望圖像的人工繪制的情況下，時間和勞動成本極大。
于是，需要一種為極大的FOV和相關(guān)的數(shù)據(jù)集提供高效并且通用的成像，同時保持圖像質(zhì)量、精度、位置精度和清晰度的正射圖像繪制系統(tǒng)。另外，在計劃、收集、導(dǎo)航和處理所有相關(guān)操作的每個階段，大量應(yīng)用自動化算法。發(fā)明內(nèi)容
本發(fā)明涉及利用各種傳感器的遠(yuǎn)程數(shù)據(jù)收集和處理系統(tǒng)。所述系統(tǒng)可包括實時地控制運輸工具和系統(tǒng)操作的計算機控制臺單元。系統(tǒng)還可包括鏈接到計算機控制臺，并與計算機控制臺通信的全球定位系統(tǒng)。另外，照相機和/或照相機陣列組合件可用于產(chǎn)生通過孔徑查看的目標(biāo)的圖像。照相機陣列組合件通信連接到計算機控制臺。照相機陣列組合件具有安裝機架，中央耦接到所述機架并具有通過所述孔徑的第一焦軸的第一成像傳感器。照相機陣列組合件還具有耦接到所述機架并且沿著軸偏離第一成像傳感器的第二成像傳感器，第二成像傳感器具有通過所述孔徑，并且在相交區(qū)內(nèi)與第一焦軸相交的第二焦軸。 照相機陣列組合件具有耦接到所述機架并且與第二成像傳感器相反沿著軸偏離第一成像傳感器的第三成像傳感器，第三成像傳感器具有通過所述孔徑，并且在相交區(qū)內(nèi)與第一焦軸相交的第三焦軸。按照這種方式，可以使用任意數(shù)目的I到η個照相機，其中“η”可以是任意奇數(shù)或偶數(shù)。
系統(tǒng)還可包括姿態(tài)測量單元(AMU)，比如通信連接到計算機控制臺和照相機陣列組合件的慣性、光學(xué)或類似測量單元。AMU可以確定飛機在時間上的任意瞬間的橫擺、俯仰和/或滾轉(zhuǎn)，連續(xù)的DGPS位置可用于測量相對于大地北極的運載工具航向。使AMU數(shù)據(jù)與精確的DGPS數(shù)據(jù)結(jié)合，以產(chǎn)生可靠的實時AMU系統(tǒng)。系統(tǒng)還可包括容納在計算機控制臺內(nèi)的鑲嵌模塊。鑲嵌模塊包括對輸入圖像進(jìn)行初始處理的第一組件。鑲嵌模塊還包括確定輸入圖像的地理邊界的第二組件，第二組件協(xié)同地與第一組件接合。鑲嵌模塊還包括地理位置精確地把輸入圖像繪制到復(fù)合圖像中的第三組件。第三組件協(xié)同地與第一和第二組件接合。鑲嵌模塊中還包括均衡繪制到復(fù)合圖像中的輸入圖像的顏色的第四組件。第四組件可協(xié)同地與第一、第二和第三組件接合。另外，鑲嵌模塊可包括融合繪制到復(fù)合圖像中的相鄰輸入圖像之間的邊界的第五組件。第五組件可協(xié)同地與第一、第二、第三和第四組件接合。
可以實現(xiàn)第六組件，可選的前向傾斜和/或可選的向后傾斜照相機陣列系統(tǒng)，該系統(tǒng)收集傾斜圖像數(shù)據(jù)，并合并該圖像數(shù)據(jù)與姿態(tài)和位置測量結(jié)果，以便利用立體攝影技術(shù)，產(chǎn)生數(shù)字高程模型。數(shù)字高程模型的產(chǎn)生可以在飛機上實時地進(jìn)行，或者稍后后處理。 第六組件與其它組件協(xié)同地工作。所有組 件可被安裝到剛性平臺上，以便提供傳感器數(shù)據(jù)的聯(lián)合配準(zhǔn)。振動、湍流和其它因素會按照產(chǎn)生傳感器之間的對準(zhǔn)關(guān)系的誤差的方式，作用于運載工具。與不利用這種聯(lián)合配準(zhǔn)體系結(jié)構(gòu)的其它系統(tǒng)相比，對各個傳感器使用公共的剛性平臺安裝可帶來顯著的優(yōu)點。
此外，本發(fā)明可以采用一定程度的橫向過采樣來改善輸出質(zhì)量和/或聯(lián)合安裝、 聯(lián)合配準(zhǔn)過采樣，從而克服物理像素分辨率極限。


為了更好地理解本發(fā)明，和舉例表示可如何實現(xiàn)本發(fā)明，現(xiàn)在參考本發(fā)明的詳細(xì) 說明，以及附圖，其中不同圖中的對應(yīng)附圖標(biāo)記表示對應(yīng)的部分，其中
圖1圖解說明本發(fā)明的基于車輛的數(shù)據(jù)收集和處理系統(tǒng)；
圖1A圖解說明圖1的基于車輛的數(shù)據(jù)收集和處理系統(tǒng)的一部分；
圖1B圖解說明圖1的基于車輛的數(shù)據(jù)收集和處理系統(tǒng)的一部分；
圖2圖解說明圖1的基于車輛的數(shù)據(jù)收集和處理系統(tǒng)，同時更詳細(xì)地表示了本發(fā) 明的照相機陣列組合件；
圖3圖解說明按照本發(fā)明的一些方面的照相機陣列組合件；
圖4圖解說明利用圖1的照相機陣列組合件取回的成像模式的一個實施例；
圖5描述圖解說明本發(fā)明的某些方面的成像模式；
圖6圖解說明按照本發(fā)明的圖像條帶；
圖7圖解說明按照本發(fā)明的圖像條帶的另一個實施例；
圖8圖解說明按照本發(fā)明的成像處理的一個實施例；
圖9圖解說明可如何對齊利用照相機陣列組合件拍攝的照片，以獲得單幀；
圖10是按照本發(fā)明的一些實施例的處理邏輯的方框圖11是按照本發(fā)明的一些實施例，從運載工具俯視的橫向過采樣的圖示
圖12是按照本發(fā)明的一些實施例，從運載工具俯視的橫向過采樣的圖示
圖13是按照本發(fā)明的一些實施例，從運載工具俯視的航線過采樣的圖示
圖14是按照本發(fā)明的一些實施例，從運載工具俯視的航線過采樣的圖示
圖15是按照本發(fā)明的一些實施例，從運載工具俯視的漸次放大的圖示
圖16是按照本發(fā)明的一些實施例，從運載工具俯視的漸次放大的圖示
圖17是按照本發(fā)明的一些實施例，從運載工具俯視的漸次放大的圖示
圖18是按照本發(fā)明的一些實施例的系統(tǒng)體系結(jié)構(gòu)的示意圖19是按照本發(fā)明的一些實施例，從運載工具俯視的單一照相機陣列的旁向重 疊子像素區(qū)中的橫向聯(lián)合安裝(co-mounted),聯(lián)合配準(zhǔn)過采樣的圖示；
圖20是按照本發(fā)明的一些實施例，從運載工具俯視的兩個重疊的照相機陣列的 旁向重疊子像素區(qū)中的橫向聯(lián)合安裝，聯(lián)合配準(zhǔn)過采樣的圖示；
圖21是按照本發(fā)明的一些實施例，從運載工具俯視的兩個立體照相機陣列的旁 向重疊子像素區(qū)中的前向和橫向聯(lián)合安裝，聯(lián)合配準(zhǔn)過采樣的圖示。
具體實施方式
雖然下面詳細(xì)說明了本發(fā)明的各個實施例的實現(xiàn)和使用，不過應(yīng)理解本發(fā)明提供 可在各種具體環(huán)境中體現(xiàn)的許多適用的發(fā)明原理。這里討論的具體實施例僅僅作為實現(xiàn)和 使用本發(fā)明的具體途徑的例證，并不限制本發(fā)明的范圍。
圖1、1A和IB中表示了本發(fā)明的基于運載工具的數(shù)據(jù)收集和處理系統(tǒng)100。在圖2 和18中表示了本發(fā)明的另外方面和實施例。系統(tǒng)100包括一個或多個計算機控制臺102。 計算機控制臺包括用于控制運載工具和系統(tǒng)操作的一個或多個計算機104。計算機控制臺 的功能的例子是控制可與數(shù)據(jù)收集和處理系統(tǒng)相關(guān)的數(shù)字顏色傳感器系統(tǒng)，向駕駛員提供顯示數(shù)據(jù)，協(xié)調(diào)衛(wèi)星產(chǎn)生的GPS秒脈沖(PPS)事件觸發(fā)脈沖(它可以是每秒20個以上的脈 沖)，數(shù)據(jù)記錄，傳感器控制和調(diào)整，檢查并對錯誤事件報警，記錄和索引照片，保存和處理 數(shù)據(jù)，使運載工具的導(dǎo)航自動化的飛行計劃能力，數(shù)據(jù)以及和提供相關(guān)信息的實時顯示?？?制計算機控制臺和運載工具自動駕駛儀控制器之間的通信接口提供實時實際控制運載工 具的航跡的能力。這導(dǎo)致與人工控制相比，運載工具的路徑的更精確控制。所有這些功能 可以通過利用與GPS PPS信號同步，并且考慮到測量裝置的各種電氣反應(yīng)時間的各種計算 機程序來實現(xiàn)。在一個實施例中，計算機被嵌入傳感器內(nèi)。
—個或多個差分全球定位系統(tǒng)106被合并到系統(tǒng)100中。全球定位系統(tǒng)106用于 在運載工具和系統(tǒng)操作期間，導(dǎo)航和確定精確的航跡。為了實現(xiàn)這一點，全球定位系統(tǒng)106 通信鏈接到計算機控制臺102，以使得能夠在不中斷飛行的情況下，獲得和處理來自全球定 位系統(tǒng)106的信息。零個以上的GPS單元可以位于已知的測量點，以便提供每個亞秒的基 于GPS衛(wèi)星的誤差的記錄，從而能夠反向(back)校正系統(tǒng)100的精度?？梢允褂肎PS和/ 或地基定位服務(wù)，這完全消除了對地面控制點的需要。這種技術(shù)導(dǎo)致數(shù)據(jù)捕獲運載工具的 極大改善的逐個亞秒的位置精度。
提供實時橫擺、俯仰和滾轉(zhuǎn)信息的一個或多個AMU 108也通信鏈接到計算機控制 臺102，所述橫擺、俯仰和滾轉(zhuǎn)信息用于精確地確定運載工具在數(shù)據(jù)捕獲的時刻的姿態(tài)。目 前的姿態(tài)測量單元(AMU)(例如，Applanix P0SAV)利用每一個分別用于橫擺、俯仰和滾轉(zhuǎn) 測量的3個高性能光纖陀螺。也可以使用其它制造商生產(chǎn)的AMU以及使用其它慣性測量 裝置的AMU。另外，AMU可用于確定運載工具的瞬時姿態(tài)，并且使系統(tǒng)對AMU讀數(shù)中的統(tǒng)計 錯誤的容錯性更高。一個或多個多頻DGPS接收器110可以連接到AMU。多頻DGPS接收器 110可以與AMU的橫擺、俯仰和滾轉(zhuǎn)姿態(tài)數(shù)據(jù)結(jié)合，以便更精確地確定遙感器平臺在三維空 間中的位置。另外，利用依據(jù)與GPS PPS信號同步記錄的連續(xù)DGPS位置產(chǎn)生的向量，可以 確定大地北極的方向。
用于產(chǎn)生通過孔徑查看的目標(biāo)的圖像的一個或多個照相機陣列組合件112也可 通信耦接到所述一個或多個計算機控制臺102。將在下面更詳細(xì)說明的照相機陣列組合件 112向數(shù)據(jù)收集和處理系統(tǒng)提供高分辨率、高精度逐行掃描或線掃描，彩色數(shù)字?jǐn)z影的能 力。
系統(tǒng)還可包括DC電源和調(diào)節(jié)設(shè)備114，以調(diào)節(jié)DC電源和把DC電源轉(zhuǎn)換成AC電 源，從而為系統(tǒng)提供電力。系統(tǒng)還可包括導(dǎo)航顯示器116，導(dǎo)航顯示器116圖形呈現(xiàn)運載工 具的位置與供運載工具的駕駛員(在運載工具上或者在遠(yuǎn)程)使用的飛行計劃，從而能夠 在水平平面和垂直平面中實現(xiàn)精確的航跡。系統(tǒng)還可包括由LIDAR、SAR 118或前后傾斜的 照相機陣列構(gòu)成的EMU模塊，用于捕獲三維高程/地貌數(shù)據(jù)。EMU模塊118可包括激光器單 元120、EMU控制單元122和EMU控制計算機124。也可酌情部署溫度控制裝置，比如固態(tài) 冷卻模塊，以便為系統(tǒng)提供適當(dāng)?shù)臒岘h(huán)境。
系統(tǒng)還可包括容納在計算機控制臺102內(nèi)的鑲嵌模塊(未示出)。將在下面更詳 細(xì)說明的鑲嵌模塊向系統(tǒng)提供收集利用全球定位系統(tǒng)106、AMU 108和照相機系統(tǒng)112獲得 的數(shù)據(jù)的能力，并把所述數(shù)據(jù)處理成可用的正射地圖。
系統(tǒng)100還可包括自鎖航跡技術(shù)，自鎖航跡技術(shù)提供微校正相鄰航跡的位置精 度，以便獨自實現(xiàn)超過AMU和DGPS傳感器的本生精度的精度的能力。
完整飛行計劃方法被用于微計劃任務(wù)的所有方面。輸入是各個任務(wù)參數(shù)(緯度/ 經(jīng)度、分辨率、顏色、精度等)，輸出是保存在數(shù)據(jù)收集運載工具上的、用于實時導(dǎo)航和報警 的詳細(xì)在線數(shù)字地圖和數(shù)據(jù)文件。把飛行計劃數(shù)據(jù)直接連接到自動駕駛儀的能力是附加的 集成能力?？梢允褂米詣涌刂坪桔E、姿態(tài)調(diào)整、圖形顯示、航跡的移動地圖，檢查報警條件和 校正動作，把整個系統(tǒng)的狀態(tài)通知駕駛員和/或機組人員，和提供故障安全操作和控制的 計算機程序。可以不斷地監(jiān)測和報告安全操作參數(shù)。雖然當(dāng)前的系統(tǒng)利用了機組人員，不 過系統(tǒng)也可被設(shè)計成同樣完全適用于無人運載工具。
圖2表示本發(fā)明的另一種描述。在圖2中，更詳細(xì)地表示了照相機陣列組合件12。 如圖所示，照相機陣列組合件12允許從后斜位置，前斜位置和天底位置獲得圖像。圖3更 詳細(xì)地描述本發(fā)明的照相機陣列組合件。圖3提供在目標(biāo)302(例如，地形)上方空中的照 相機陣列組合件300。出于舉例說明的目的，圖3中沒有按比例描繪組合件300的相對大 小，和組合件300與地形302之間的相對距離。照相機陣列組合件300包含機架304，在機 架304內(nèi)，沿著凹曲軸316布置成像傳感器306、308、310、312和314。軸316的曲率半徑 可以變化或者顯著改變，提供在軸316中實現(xiàn)非常精細(xì)或者非常急劇的凹度。另一方面，軸 316可以是完全線性的-根本沒有任何曲率。借助聯(lián)接件318，成像傳感器306、308、310、 312和314直接或者間接地耦接到機架304。聯(lián)接件318可包括許多固定或者動態(tài)的永久 或臨時連接設(shè)備。例如，聯(lián)接件318可包括簡單焊接、可拆卸的夾緊裝置、或者機電控制的 萬向接頭。
另外，系統(tǒng)100可具有實時的機載導(dǎo)航系統(tǒng)，以便向運載工具駕駛員提供可視的 生物反饋顯示，或者提供遠(yuǎn)程顯示(就無人駕駛運載工具中的操作來說)。駕駛員能夠?qū)崟r 調(diào)整運載工具的位置，以理提供更精確的航跡。駕駛員可以在運載工具上，或者位于遠(yuǎn)程位 置，從而通過通信鏈路，利用飛行顯示來控制運載工具。
系統(tǒng)100還可利用高度容錯的方法，所述方法是為了提供軟件交錯磁盤存儲方法 而提出的，軟件交錯磁盤存儲方法允許一個或兩個磁盤驅(qū)動器發(fā)生故障，而仍然不失去保 存在驅(qū)動器上的目標(biāo)數(shù)據(jù)。相對于其它硬件方法，比如RAID-5，這種軟件交錯磁盤存儲方法 提供出眾的容錯性和可移植性。
系統(tǒng)100還可包含提出的剛好在任務(wù)數(shù)據(jù)捕獲之前，允許短路校準(zhǔn)步驟的方法。 這種校準(zhǔn)方法步驟根據(jù)對環(huán)境光強度采樣，并且正好在到達(dá)關(guān)心的區(qū)域之前，設(shè)定幾乎最 佳的值，調(diào)整照相機設(shè)置(尤其是曝光時間)。隨后利用移動平均算法進(jìn)行逐秒的照相機調(diào) 整，以便傳遞改善的始終如一的照片結(jié)果。這改善了正射地圖的顏色處理。另外，校準(zhǔn)可被 用于檢查或確定每個傳感器裝置(照相機、DPG、AMU、EMU等)的精確空間位置。按照這種 方式，可以考慮到在這些裝置的空間位置方面發(fā)生的變化，從而保持整個系統(tǒng)的精度指標(biāo)。
另外，系統(tǒng)100可包括提出的允許通過飛過包含多個已知的、可視的并且非常精 確的地理位置，校準(zhǔn)運載工具上的每個傳感器裝置(照相機、DPG、AMU、EMU等)的精確位置 和姿態(tài)的方法。程序把該數(shù)據(jù)作為輸入，并輸出微位置數(shù)據(jù)，所述微位置數(shù)據(jù)隨后用于精確 地處理正射地圖。
如圖3中所示，機架304包含簡單的機殼，成像傳感器306、308、310、312和314布 置在所述機殼內(nèi)。盡管圖3描述5照相機陣列，不過當(dāng)利用從I到任意數(shù)目的許多照相機傳 感器時，系統(tǒng)同樣適用。傳感器306-314經(jīng)聯(lián)接件318共同耦接到單個橫向橫梁，或者單獨耦接到置于機架304的相對側(cè)壁之間的側(cè)向橫梁。在備選實施例中，機架304本身可以只 包含凹曲度的支承橫梁，成像傳感器306-314經(jīng)構(gòu)件318耦接到該支撐橫梁。在其它實施 例中，機架304可包含機殼和支承橫梁的混合組合。機殼304還包含在成像傳感器和目標(biāo) 302之間，在機殼表面形成的孔徑320。取決于主飛行器的具體種類，孔徑320可以只包含 孔隙，或者它可以包含保護(hù)屏或保護(hù)窗，以保持機架304內(nèi)的環(huán)境完整性。在把保護(hù)性透明 板用于任何傳感器的情況下，可對所述透明板涂覆特殊涂層，以提高傳感器數(shù)據(jù)的質(zhì)量?？?選的是，孔徑320可以包含透鏡或其它光學(xué)器件，以增強或改變傳感器記錄的圖像的性質(zhì)。 利用足以向成像傳感器306-314提供到地形302上的目標(biāo)區(qū)域322的適當(dāng)視線的尺寸和形 狀，形成孔徑320。
在機架304內(nèi)，或者順著機架304布置成像傳感器306-314，以使所有傳感器的焦 軸在由孔徑320限制的相交區(qū)內(nèi)會聚和彼此相交。取決于收集的圖像數(shù)據(jù)的種類，使用的 具體成像傳感器，和采用的其它光學(xué)器件或設(shè)備，可能必須或者理想的是在孔徑320上方 或下方，偏移相交區(qū)或者會聚點。成像傳感器306-314相互隔開一定的角度。成像傳感器之 間的準(zhǔn)確偏位角可隨使用的成像傳感器的數(shù)目，和收集的成像數(shù)據(jù)的種類而極大變化。如 果需要，成像傳感器之間的角位移也可不相等，以便提供期望的圖像偏移或?qū)R。取決于利 用的成像傳感器的數(shù)目，和陣列的特殊結(jié)構(gòu)，所有成像傳感器的焦軸可以完全相交在相同 點，或者可以相交在多個點，所有多個點都彼此緊鄰，并且在由孔徑320限定的相交區(qū)內(nèi)。
如圖3中所示，順著軸316，在機架304內(nèi)在中央布置成像傳感器310。成像傳感 器310具有從機架304正交指向的焦軸324，以便使成像傳感器的視線對準(zhǔn)區(qū)域322的圖 像區(qū)326。鄰近成像傳感器310，順著軸316，在機架304內(nèi)布置成像傳感器308。圖像傳感 器308被對準(zhǔn)，以使其視線與區(qū)域322的圖像區(qū)328 —致，并且以使其焦軸330在孔徑320 限定的區(qū)域內(nèi)，與軸324會聚和相交。在軸316的與成像傳感器308相反的一側(cè)，鄰近成像 傳感器310，在機架304內(nèi)布置成像傳感器312。圖像傳感器312被對準(zhǔn)，以使其視線與區(qū) 域322的圖像區(qū)332 —致，并且以使其焦軸334在孔徑320限定的區(qū)域內(nèi)，與軸324和330 會聚和相交。鄰近傳感器308，順著軸316在機架304內(nèi)布置成像傳感器306。成像傳感器 306被對準(zhǔn)，以使其視線與區(qū)域322的圖像區(qū)336 —致，并且以使其焦軸338在孔徑320限 定的區(qū)域內(nèi)，與其它焦軸會聚和相交。在軸316相反的一側(cè)，鄰近傳感器312在機架304內(nèi) 布置成像傳感器314作為傳感器306。圖像傳感器314被對準(zhǔn)，以使其視線與區(qū)域322的圖 像區(qū)340 —致，并且以使其焦軸344在孔徑320限定的區(qū)域內(nèi)，與其它焦軸會聚和相交。
成像傳感器306-314可包含許多數(shù)字成像裝置，例如包括單獨的面掃描照相機、 線掃描照相機、紅外傳感器、高光譜和/或地震傳感器。每個傳感器可包含單獨的成像裝 置，或者它本身可包含成像陣列。成像傳感器306-314可以都具有同樣的性質(zhì)，或者可包含 各種各樣的成像裝置的組合。為了易于引用，下面分別把成像傳感器306-314稱為照相機 306-314。
在大號膠片或數(shù)字照相機中，透鏡畸變一般是成像問題的來源。必須仔細(xì)地校準(zhǔn) 每個單獨的透鏡，以確定精確的畸變因數(shù)。在本發(fā)明的一個實施例中，利用透鏡角寬度為 17°的小號數(shù)字照相機。這有效并且可負(fù)擔(dān)得起的減輕了可察覺的畸變。
另一方面，照相機306-314沿著軸316布置在機架304內(nèi)，以使每個照相機的焦軸 會聚到孔徑320，穿過焦軸324，使其視場對準(zhǔn)與它在陣列中的相應(yīng)位置相對的目標(biāo)區(qū)域，從而結(jié)果產(chǎn)生照相機和成像目標(biāo)之間的“斜視”視網(wǎng)膜關(guān)系。照相機陣列組合件300被配置成使得圖像區(qū)326、328、332、336和340的鄰接邊界稍微重疊。
如果聯(lián)接件318是永久并且固定的(例如，焊接)，那么孔徑320，照相機和它們的視線之間的空間關(guān)系保持固定，圖像區(qū)326、328、332、336和340之間的空間關(guān)系也將保持固定。在例如衛(wèi)星監(jiān)測應(yīng)用中，這樣的結(jié)構(gòu)是合乎需要的，在所述衛(wèi)星監(jiān)測應(yīng)用中，照相機陣列組合件300將保持在離區(qū)域322大體固定距離的位置。設(shè)定照相機的位置和對準(zhǔn)，以使區(qū)域326、328、332、336和340提供區(qū)域322的完全成像覆蓋。不過，如果聯(lián)接件318是臨時的或者可調(diào)整的，那么理想的是手動地或者借助遠(yuǎn)程自動化，有選擇地調(diào)整照相機的位置或?qū)?zhǔn)，以便移動、縮小或加寬區(qū)域326、328、332、336和340-從而增強或改變利用照相機陣列組合件300收集的圖像的質(zhì)量。
在一個實施例中，多個，S卩，至少兩個剛性安裝單元被固定到相同的剛性安裝板上。安裝單元是任意剛性結(jié)構(gòu)，至少一個成像傳感器可被固定到其上。安裝單元最好是封閉成像傳感器的機架，不過可以是任何剛性結(jié)構(gòu)，包括支柱、三角架等。對本公開來說，成像傳感器意味能夠接收和處理來自目標(biāo)區(qū)域的主動或被動輻射能量，即，光、聲音、熱、重力等的任何裝置。特別地，成像傳感器可包括任何數(shù)目的數(shù)字照相機，包括利用紅-藍(lán)-綠濾光片、bushbroom濾光片或高光譜濾光片的數(shù)字照相機，LIDAR傳感器,紅外傳感器,熱感傳感器，重力計等。成像傳感器不包括用于借助衛(wèi)星數(shù)據(jù)和/或慣性數(shù)據(jù)，為運載工具定位的姿態(tài)測量傳感器，比如陀螺儀、GPS裝置和類似裝置。最好，所述多個傳感器是不同的傳感器。
在其中成像傳感器是照相機、LIDAR或類似的成像傳感器的實施例中，安裝單元最好具有光和/或能量可通過的孔徑。安裝板最好是平面的，不過可以是非平面的。在其中成像傳感器是照相機、LIDAR或者類似成像傳感器的實施例中，安裝板最好具有與光和/或能量可通過的安裝單元的孔徑對齊的孔徑。
剛性結(jié)構(gòu)是在使用時，彎曲小于約O. 01°，優(yōu)選小于約O. 001°，最好小于約 0.0001°的結(jié)構(gòu)?？扇〉氖牵瑒傂越Y(jié)構(gòu)是當(dāng)在正常，即，非湍流飛行期間，固定到飛機上時， 彎曲小于約O. 01°，優(yōu)選小于約O. 001°，最好小于約O. 0001°的結(jié)構(gòu)。如果在正常工作期間，物體被相互剛性固定，那么它們相對于彼此彎曲小于約0.01°，優(yōu)選小于約O. 001°， 更優(yōu)選的是小于約O. 0001°。
照相機310被指定為主照相機。照相機310的像面326充當(dāng)基準(zhǔn)面。相對于基準(zhǔn)面測量其它照相機306、308、312和314的方位。利用為把照相機的像面旋轉(zhuǎn)成平行于基準(zhǔn)面而需要的橫擺角、俯仰角和滾轉(zhuǎn)角，測量每個照相機的相對方位。旋轉(zhuǎn)的順序最好是橫擺、俯仰和滾轉(zhuǎn)。
固定到安裝單元的成像傳感器可以不在相同平面中對齊。可改為使成像傳感器的安裝相對于固定到第一安裝單元的第一傳感器，最好第一安裝單元的標(biāo)準(zhǔn)天底點照相機的安裝角的角度偏移。因而，成像傳感器可被聯(lián)合配準(zhǔn)，以校準(zhǔn)每個成像傳感器相對于彼此的物理安裝角 偏移量。在一個實施例中，多個，即至少兩個剛性安裝單元被固定到相同的剛性安裝板，并被聯(lián)合配準(zhǔn)。在一個實施例中，照相機306-314被固定到剛性安裝單元上，并被聯(lián)合配準(zhǔn)。在這個實施例中，利用GPS和慣性數(shù)據(jù)，確定AMU，最好陀螺儀的幾何中心點。相對于基準(zhǔn)點，最好AMU的幾何中心點，計算固定到第一安裝單元的第一傳感器，最好第一安裝單元的標(biāo)準(zhǔn)天底點照相機的物理位置。同樣地，直接地，或者相對于相同基準(zhǔn)點間接地計算所有安裝單元內(nèi)的所有剩余傳感器的物理位置。
傳感器的視軸角被定義成從傳感器的幾何中心到基準(zhǔn)面的角度。最好，所述基準(zhǔn)面與目標(biāo)區(qū)域正交。利用地面目標(biāo)點，可以確定第一傳感器的視軸角。最好參考第一傳感器的視軸角，計算后續(xù)傳感器的視軸角。最好利用已知的地面目標(biāo)(所述已知的地面目標(biāo)最好是可照片識別的)，校準(zhǔn)傳感器，另一方面，利用自鎖航跡或者如在美國專利申請公布 No. 2004/0054488A1 (現(xiàn)在的美國專利No. 7，212，938B2)中公開的任何其它方法校準(zhǔn)傳感器，該美國專利的公開內(nèi)容在此全部引為參考。
第二安裝單元內(nèi)的成像傳感器可以是任何成像傳感器，最好是LIDAR。另一方面， 第二成像傳感器是數(shù)字照相機，或者數(shù)字照相機的陣列。在一個實施例中，參考第一傳感器的視軸角，計算固定到第二安裝單元的傳感器的視軸角。參考在第一安裝單元內(nèi)的第一傳感器的視軸角，可以校準(zhǔn)在第二安裝單元內(nèi)的成像傳感器的物理偏移。
按照這種方式，利用相同的GPS信號，相同的地面目標(biāo)，在大體相同的大氣條件下，在大體相同的時間(epoch)校準(zhǔn)所有的傳感器。這顯著減小了當(dāng)利用不同的GPS信號， 對照不同的地面目標(biāo)，并在不同的大氣條件下，單獨校準(zhǔn)每個傳感器時實現(xiàn)的復(fù)合誤差。
現(xiàn)在參見圖4，用俯視解說明分別利用照相機306-314拍攝的區(qū)域336、328、 326,332和340的圖像。再次，由于“斜視”安排，區(qū)域336的圖像用照相機306拍攝，區(qū)域 340的圖像用照相機314拍攝，諸如此類。在本發(fā)明的一個實施例中，在透視變換之后，除利用中央照相機310拍攝的圖像之外的圖像呈現(xiàn)梯形。照相機306-314沿著在多數(shù)應(yīng)用中， 垂直向下指向的軸316形成陣列。在備選實施例中，相對于第一照相機陣列，對齊類似于照相機306-314的陣列構(gòu)成的第二照相機陣列，以具有提供“抬頭”透視的傾斜視野。抬頭照相機陣列組合件相對于水平面的傾斜角可因任務(wù)目標(biāo)和參數(shù)而變化，不過一般為25-45° 角。本發(fā)明類似地構(gòu)思了改變照相機陣列的安裝的其它備選實施例。在所有這樣的實施例中，精確地測量和校準(zhǔn)照相機的相對位置和姿態(tài)，以便按照本發(fā)明使圖像處理更容易。
在本發(fā)明的一個實施例中,外部機構(gòu)(例如，GPS定時信號)被用于同時觸發(fā)照相機，從而捕獲一批輸入圖像。鑲嵌模塊隨后把來自這樣的陣列的各個輸入圖像表現(xiàn)成正射校正的復(fù)合圖像(或者“鑲嵌圖”)，相鄰圖像之間沒有任何明顯的接縫。鑲嵌模塊執(zhí)行一組任務(wù)，包括確定每個輸入圖像的地理邊界和尺寸；利用精確的地理定位，把每個輸入圖像投射到鑲嵌圖上；均衡鑲嵌圖中的各個圖像的顏色；和在相鄰輸入圖像的共有接縫處， 融合所述相鄰輸入圖像。取決于輸入的圖像數(shù)據(jù)的大小和性質(zhì)，執(zhí)行的各個任務(wù)的確切順序可變化。在一些實施例中，在鑲嵌期間，鑲嵌模塊只對原始輸入圖像進(jìn)行一次變換。所述變換可以用4X4矩陣表示。通過把多個變換矩陣組合成單一矩陣，減少了處理時間，并且保持了原始輸入圖像銳度。
在輸入圖像到鑲嵌圖的映射期間，尤其是當(dāng)以較高的分辨率進(jìn)行鑲嵌時，輸入圖像中的任何像素(即，輸入像素)可能不映射到鑲嵌圖中的像素(即，輸出像素)。扭曲的線條可能在鑲嵌圖中產(chǎn)生偽像。本發(fā)明的一些實施例利用其中每個輸入像素和輸出像素被進(jìn)一步分成子像素的nXm網(wǎng)格的超采樣系統(tǒng)，克服了這個問題。從子像素到子像素進(jìn)行變換。輸出像素的最終值是其子像素的平均值 ，所述子像素存在對應(yīng)的輸入子像素。較大的 η和m值產(chǎn)生更高分辨率的鑲嵌圖，不過需要額外的處理時間。
在處理圖像數(shù)據(jù)的過程中，鑲嵌模塊可以利用以下信息在捕獲輸入圖像的時候，每個照相機的焦點的空間位置(例如，χ、y、z坐標(biāo));在捕獲輸入圖像的時候，每個照相機 的像面相對于目標(biāo)區(qū)域的地平面的姿態(tài)(即，橫擺、俯仰、滾轉(zhuǎn))；每個照相機的視場(即， 沿航跡和跨航跡)；和區(qū)域的數(shù)字地形模型(DTM)。姿態(tài)可由與系統(tǒng)相關(guān)的AMU提供。根據(jù) 利用LIDAR模塊118獲得的信息，可以創(chuàng)建數(shù)字地形模型(DTM)或者數(shù)字表面模型(DSM)。 LIDAR類似于更常見的雷達(dá)，可被視為激光雷達(dá)。在雷達(dá)中，無線電波被發(fā)射到大氣中，大氣 把一些能量散射回到雷達(dá)的接收器。LIDAR也發(fā)射和接收電磁輻射，不過是以更高的頻率發(fā) 射和接收電磁輻射，因為它工作在電磁頻譜的紫外區(qū)、可見光區(qū)和紅外區(qū)中。操作中，LIDAR 把光發(fā)射到目標(biāo)區(qū)域。發(fā)射的光與目標(biāo)區(qū)域相互作用，從而被目標(biāo)區(qū)域改變。一些光被反 射/散射回能夠?qū)λM(jìn)行分析的LIDAR儀器。光的性質(zhì)的變化使得能夠確定目標(biāo)區(qū)域的一 些性質(zhì)。光傳送到目標(biāo)區(qū)域，然后返回LIDAR裝置所用的時間被用于確定到目標(biāo)的距離。
DTM和DSM數(shù)據(jù)集也可從照相機陣列組合件捕獲。也可以使用獲得高程數(shù)據(jù)的傳 統(tǒng)手段，比如立體攝影技術(shù)。
目前存在三種基本的LIDAR :測距儀、差分吸收LIDAR(DIAL)和多普勒LIDAR。測距 儀LIDAR是最簡單的LIDAR，用于測量從LIDAR裝置到固體或硬質(zhì)目標(biāo)的距離。DIAL LIDAR 用于測量大氣中的化學(xué)物濃度(比如臭氧、水汽、污染物)。DIAL LIDAR利用兩個不同的激 光波長，所述兩個不同的激光波長是這樣選擇的，使得波長之一被所關(guān)心的分子吸收，而另 一個波長不被吸收。兩個返回信號的強度差可被用于推斷正在調(diào)查的分子的濃度。Doppler LIDAR用于測量目標(biāo)的速度。當(dāng)從LIDAR發(fā)出的光射到朝著LIDAR或者離開LIDAR移動的 目標(biāo)時，從目標(biāo)反射/散射的光的波長將輕微改變。這被稱為多普勒頻移，于是Doppler LIDAR。如果目標(biāo)正在移離LIDAR，那么返回光將具有更長的波長(有時稱為紅移)，如果目 標(biāo)正在朝著LIDAR移動，那么返回光將具有較短的波長(藍(lán)移)。目標(biāo)可以是硬目標(biāo)或者大 氣目標(biāo)(例如，風(fēng)攜帶的微小灰塵和懸浮顆粒)。
最好使用照相機的焦點作為透視變換中心。其在空間中的位置可由例如安裝在主 飛行器上的多頻載波相位后處理GPS系統(tǒng)確定。最好對照GPS天線的中心，仔細(xì)地測量照 相機的焦點在三個維度的偏移量。這些偏移量可以與GPS天線的位置，以及主飛行器的方 位結(jié)合，以確定照相機的焦點的準(zhǔn)確位置。最好通過對照部署在精確勘測的各個點的類似 地基GPS天線，處理收集的GPS數(shù)據(jù)，確定GPS天線的位置。
最好在運載工具上安裝一個或多個AMU (例如，Applanix POS AV)，以確定姿態(tài)。 最好每隔較短的時間，以好于O. 01°的精度，測量和記錄AMU基準(zhǔn)面相對于目標(biāo)區(qū)域的地 平面的姿態(tài)。AMU基準(zhǔn)面的姿態(tài)可被定義成為使它平行于地平面，可對AMU基準(zhǔn)面的各個軸 進(jìn)行的一系列旋轉(zhuǎn)。術(shù)語“對準(zhǔn)”也可用于描述該操作。
最好精確地校準(zhǔn)中央照相機310 (即其像面)相對于AMU的姿態(tài)。最好還仔細(xì)地 校準(zhǔn)每個其它照相機相對于中央照相機310的姿態(tài)。這種從屬校準(zhǔn)比直接校準(zhǔn)每個照相機 更高效。當(dāng)重新安裝照相機陣列組合件300時，只需要重新校準(zhǔn)中央照相機310。事實上， 對來自中央照相機310的輸入圖像應(yīng)用一系列的兩次變換。首先，使中央照相機的像面對 齊AMU平面。隨后，再次使AMU平面與地平面對準(zhǔn)。不過，通過剩余它們相應(yīng)的變換矩陣， 這些變換組合成單一操作。對于來自各個其它照相機的圖像，首先進(jìn)行額外的變換，以使它 與中央照相機的像面對準(zhǔn)。
如上所述可確定中央照相機310的焦點的位置。該位置的X和y分量最好確定鑲嵌圖的天底點400在地面的位置。每個照相機的視場(FOV)已知，從而利用該照相機的焦 點的z分量，可以確定每個輸入圖像的尺寸。最好通過計算區(qū)域的DTM中的各個點的平均 高程，確定地面的平均高程，隨后把每個輸入圖像投影到在該高程的假想水平面。隨后，最 好利用該區(qū)域的DTM，應(yīng)用投影差?？蓮脑S多來源獲得DTM，包括可供美國大部之用的USGS 30米或10米DTM ;商用DTM ;或者利用安裝在主飛行器上，與照相機同時捕獲數(shù)據(jù)的LIDAR 或SAR EMU裝置獲得的DTM。
除了在地理上被正確放置之外，作為結(jié)果的復(fù)合圖像還需要處處具有輻射一致 性，并且在兩個相鄰圖像之間的接合處，沒有明顯的接縫。本發(fā)明提供實現(xiàn)此目的的許多技 術(shù)。
常規(guī)照相機的一個特征是曝光時間(即，打開快門，以把光收集到像面的時間)。 曝光時間越長，作為結(jié)果的圖像越明亮。曝光時間必須適應(yīng)于由諸如云遮蓋；太陽相對于 照相機的角度和位置等條件引起的環(huán)境照明的變化。最佳曝光時間還取決于照相機相對于 光源的方位(例如，與對著陰暗物體的照相機相比，對著太陽照射的物體的照相機一般接 收更多的環(huán)境光)。調(diào)整曝光時間，以使圖像的平均強度保持在某個期望的范圍內(nèi)。例如， 在24比特彩色圖像中，每個紅色、綠色和藍(lán)色分量可具有從O到255的強度值。不過，在多 數(shù)情況下，理想的是把平均強度保持在平均值(即，127)。
在本發(fā)明中，曝光控制模塊控制每個照相機或成像傳感器的曝光時間。它檢查每 個輸入圖像，并計算平均圖像強度。根據(jù)移動平均值(即，至少X個圖像的平均強度)，曝光 控制模塊判定是增大還是減小曝光時間。曝光控制模塊可以使用較長的移動平均值來實現(xiàn) 對照明條件變化的較慢反應(yīng)，結(jié)果對異常黑暗或明亮圖像(例如，浙青路或水)不太敏感。 曝光控制模塊單獨控制每個照相機的曝光時間。
在其中在沒有前移補償機構(gòu)的情況下，安裝照相機的系統(tǒng)中，必須存在曝光時間 的最大極限。把曝光時間設(shè)定成大于最大值的值會導(dǎo)致運動誘導(dǎo)模糊。例如，假定照相機 安裝在以170英里/小時(或者約3英寸/ms)行進(jìn)的飛機上。假定期望的像素分辨率為6 英寸。圖像捕獲期間的前移應(yīng)局限于像素大小的一半-在這種情況下，等于3英寸。從而， 最大曝光時間例如為I毫秒。
在控制成像質(zhì)量的時候，有益的是能夠確定光強度的變化是由環(huán)境光的變化引起 的，還是由于存在異常明亮或黑暗的物體(例如，反射水體，金屬屋頂，浙青等)引起的。本 發(fā)明的一些應(yīng)用涉及航空攝影或監(jiān)測。注意到地面的航空圖像通常包含作物和植被-與水 體或者諸如道路和建筑物之類的人造結(jié)構(gòu)相比，它們具有更加一致的反射率。當(dāng)然，作物和 植被的圖像通常綠色占優(yōu)(即，在紅色、綠色和藍(lán)色值之中，綠色分量是最大的)。于是，通 過專注于綠色占優(yōu)的像素，可以使強度相關(guān)性更精確。
曝光控制模塊通過只選擇綠色占優(yōu)的像素，計算圖像的平均強度。例如，如果圖 像具有100萬個像素，而30萬個像素是綠色占優(yōu)的，那么在平均強度的計算中，只包括這 30萬個綠色占優(yōu)的像素。這結(jié)果產(chǎn)生對由其像素通常不是綠色占優(yōu)的人造結(jié)構(gòu)和水體引 起的偏離不太敏感的成像處理。如前所述，理想的是保持約127的強度值。當(dāng)強度值高 于127(即，曝光過度)時，減小曝光時間，以使得捕獲較少的光。類似地，當(dāng)強度值低于 127(即，曝光不足)時，增大曝光時間，以使得捕獲更多的光。例如，考慮飛越具有許多白色 屋頂(其強度非常高)的目標(biāo)地形區(qū)域的系統(tǒng)。捕獲的圖像的平均強度往往會較高。在許多常規(guī)的系統(tǒng)中，曝光時間會被降低，以便進(jìn)行補償。不過，在這樣的例子中，降低曝光時間 并不適當(dāng)，因為明亮的屋頂使圖像的平均強度發(fā)生了偏差。降低曝光時間結(jié)果會產(chǎn)生其中 地面比實際更暗的圖像。相反，如果按照本發(fā)明，只處理綠色占優(yōu)的像素，那么代表過度明 亮的屋頂?shù)南袼卮_實偏離平均強度，從而曝光時間不被改變。
從而，曝光控制模塊降低輸入圖像之間的強度差異。盡管如此，還提供進(jìn)一步的處 理，以增強色調(diào)均衡。導(dǎo)致從像面的不均勻受光的因素很多(例如，透鏡物理性質(zhì)、大氣條 件、成像裝置的空間/位置關(guān)系)。與在邊緣相比，在照相機或傳感器的中心接收更多的光。
本發(fā)明的鑲嵌模塊利用現(xiàn)在參考圖5圖解說明的防漸暈功能，解決該問題。當(dāng)它 們延伸穿過成像目標(biāo)區(qū)512 (例如，地面地形)時，許多焦點列500、502、504、506和508從 像面509會聚并穿過焦點510。列500-508可包含單個照相機或傳感器的各個分辨率列，或 者可以代表許多獨立的照相機或傳感器的焦軸。為了引用起見，列504起軸的作用，列504 與像面509相交的點513起主點的作用。曝光控制模塊應(yīng)用把輸入像素的原始強度乘以隨 列而定的防漸暈系數(shù)的防漸暈函數(shù)。由于接收面被表示成具有坐標(biāo)系的平面，因此每列將 具有許多分辨率行(未示出)。對于在列χ和行I的像素P，可以如下表述這種關(guān)系
<調(diào)整后的強度 >=〈初始強度>*f (X);
其中f (X)是以下形式的函數(shù)
f (χ) =Cos (離軸角)**4。
離軸角514為0 (對中央列504來說)；較大(對列502和506來說)；更大(對 列500和508來說)。在列504和508之間描述了整個視場角516 (FOVx角)。
函數(shù)f (χ)可用在列之間的許多線段近似。對在任意給定列Cl和c2之間的線段 上的點來說，如下計算調(diào)整系數(shù)
〈C 的調(diào)整系數(shù) >=f(cl) + [f(c2)-f(cl)*(c-cl)/(c2-cl)]；
其中f(cl)和f(c2)是分別在列Cl和c2的離軸角的f函數(shù)值。
每組輸入圖像需要被拼接成鑲嵌圖像。盡管曝光控制模塊調(diào)整每個照相機或傳感 器接收的光量，作為結(jié)果的輸入圖像仍然可能在強度方面不同。本發(fā)明提供強度均衡模塊， 所述強度均衡模塊比較相鄰輸入圖像之間的重疊區(qū)域，以進(jìn)一步均衡相對強度。由于鄰接 的輸入圖像是同時拍攝的，因此在兩個輸入圖像中，重疊區(qū)域理論上應(yīng)具有相同的強度。不 過，由于各種因素，強度值通常不同。導(dǎo)致強度差異的一些所述因素可包括例如僅僅存在于 特定照相機的視場中的異常明亮或黑暗的物體使曝光控制模塊發(fā)生偏差，或者照相機的視 軸角不同(即，與更加垂直的那些照相機相比，更加傾斜的照相機接收較少的光)。
為了均衡兩個相鄰圖像，一個圖像被選為基準(zhǔn)圖像，另一個圖像是二次圖像。利用 例如以下處理，確定相關(guān)向量(fR，fG，F(xiàn)B)。令V是代表像素的值(R、G和B)的3X1向量R
V=GB
可如下導(dǎo)出相關(guān)矩陣C :FRO O
C = O IGOO OFB
其中FR=AvgIr/AvgIn ;AvgIr=基準(zhǔn)圖像中的重疊區(qū)域的紅色平均強度；AvgIn=新 圖像中的重疊區(qū)域的紅色平均強度；并且類似地導(dǎo)出FG和FB。
相關(guān)矩陣比例縮放二次圖像的像素值，以使二次圖像的重疊區(qū)域的平均強度變得 等于基準(zhǔn)圖像的重疊區(qū)域的平均強度。通過把其像素值乘以相關(guān)矩陣，二次圖像可被均衡 到基準(zhǔn)圖像。
從而，在按照本發(fā)明的均衡處理的一個實施例中，中央圖像被視為基準(zhǔn)圖像?；鶞?zhǔn) 圖像首先被復(fù)制到復(fù)合圖像(或者鑲嵌圖)。使基準(zhǔn)圖像和鄰接圖像(例如，近左圖像)相 互關(guān)聯(lián)，以計算均衡相關(guān)矩陣(BCM)。隨后把BCM乘以代表鄰近圖像的像素的向量，以使重 疊區(qū)域的強度在兩個圖像中相同。這種關(guān)系的一個實施例可以表示成
令I(lǐng) (center) =中央圖像中的重疊區(qū)域的平均強度；
I (adjoining) =鄰接圖像中的重疊的平均強度；那么
均衡因子=I(center) /I (adjoining)。
單獨計算每個顏色通道(即，紅、綠和藍(lán))的均衡因子。這三個值構(gòu)成BCM。把現(xiàn) 在均衡的鄰接圖像復(fù)制到鑲嵌圖。借助利用掩模的“羽化”，提供在被復(fù)制圖像的邊界的平 滑轉(zhuǎn)變。所述掩模具有和鄰接圖像相同的尺寸，包含許多元素。掩模中的每個元素指示鑲 嵌圖中的對應(yīng)鄰接圖像像素的權(quán)重。對在邊界的像素來說，權(quán)重為0(即，輸出值獲取自基 準(zhǔn)圖像)，并且權(quán)重沿著鄰接圖像的方向逐漸增大，直到變?yōu)镮為止-在達(dá)到選擇的融合寬 度之后。超出融合區(qū)，鑲嵌圖將完全由鄰接圖像的像素決定。類似地，分析和處理所有其它 構(gòu)成輸入圖像之間的重疊，以計算相關(guān)向量和均衡圖像的強度。
利用例如參考圖6的以下處理，確定相關(guān)矩陣。圖6描述按照本發(fā)明形成的條帶 600?；A(chǔ)鑲嵌圖602和沿著路徑(或者軌跡)606添加的新的鑲嵌圖604在區(qū)域608中相 互交迭。令V是表示像素的R、G和B值的向量R
V = GB
令h是區(qū)域608的轉(zhuǎn)變寬度，y是從重疊區(qū)域的邊界610到點A的沿著軌跡606的 距離，點A的像素值用V表示。令C是相關(guān)矩陣FRO O
C = O FG OOO FB
V的均衡值(稱為V’)為
N' = [y/h.1+(l_y/h) · C] XV,當(dāng) 0〈y〈h 時；
N' =V，當(dāng) y>=h 時；
其中I是單位矩陣100
1 = 010001
注意還結(jié)合梯度使用“羽化”技術(shù)，以使接縫可見性降至最小。
當(dāng)鑲嵌圖較長時，從鑲嵌圖的一端到另一端，重疊部分的強度的差異會發(fā)生變化。 計算單一相關(guān)向量，以避免產(chǎn)生明顯接縫也許并不可能。可把鑲嵌圖分成與構(gòu)成鑲嵌圖的 初始輸入圖像的位置對應(yīng)的許多片段。對每個片段單元應(yīng)用上面說明的處理，以提供更好 的局部顏色一致性。
按照這種修正的算法，在兩個片段的邊界的像素會產(chǎn)生垂直接縫(假定北-南航 線)。為了避免這種問題，必須使在該區(qū)域中的各個像素的均衡因子從一個片段的均衡因子 “轉(zhuǎn)變”成另一個片段的均衡因子?，F(xiàn)在參考圖7說明這一點。
圖7描述按照本發(fā)明形成的條帶700?；A(chǔ)鑲嵌圖702和新片段704在區(qū)域706 中交疊。鑲嵌圖702和另一個新片段708在區(qū)域710中交疊。片段704和708在區(qū)域712 中交疊，區(qū)域706、710和712都在區(qū)域714交疊且重合。為了便于說明，點716充當(dāng)y軸 718和χ軸720的原點。沿著y軸718的移動代表沿著成像系統(tǒng)的航跡的移動。點716位 于區(qū)域714的左下側(cè)。
按照本發(fā)明，條帶的尺寸由構(gòu)成鑲嵌圖的最小和最大χ和y值決定。輸出條帶被初 始化成背景顏色。第一個鑲嵌圖被轉(zhuǎn)移到所述條帶。之后處理下一個鑲嵌圖(沿著航跡)。 對于每個顏色通道單獨地關(guān)聯(lián)新的鑲嵌圖和第一個鑲嵌圖的重疊區(qū)的強度值。新的鑲嵌圖 被分成與構(gòu)成該鑲嵌圖的初始輸入圖像對應(yīng)的許多片段。為新的鑲嵌圖創(chuàng)建包含許多掩 模元素的掩模矩陣。掩模元素包含新的鑲嵌圖中的對應(yīng)像素的相關(guān)矩陣。掩模中的所有元 素被初始化為I。掩模的大小可被限制成僅僅為新的鑲嵌圖的轉(zhuǎn)變區(qū)。為中心片段計算相 關(guān)矩陣。處理對應(yīng)于中心片段的掩模區(qū)域。在重疊區(qū)的邊緣的各個元素的值被設(shè)定為相關(guān) 向量。隨后，當(dāng)順著條帶逐漸離開第一鑲嵌圖時，相關(guān)矩陣的元素被增大或者被減小(它們 不是小于I就是大于I)，直到它們在預(yù)定的轉(zhuǎn)變距離變成I為止。隨后類似地處理與鄰接 中心片段的片段對應(yīng)的掩模的區(qū)域。不過，由第一鑲嵌圖和新圖像的中心片段和鄰接片段 形成的區(qū)域714需要特殊的處理。由于鄰接片段的相關(guān)矩陣可能不同于中心片段的相關(guān)矩 陣，因此在與第一個鑲嵌圖的重疊區(qū)714中的兩個片段的邊界，出現(xiàn)接縫。于是，角落受兩 個片段的相關(guān)矩陣的影響。對于到與中心片段的邊界的距離為X，到重疊邊緣的距離為I的 掩模單元A來說，其相關(guān)矩陣是如下評估的這兩個片段的距離加權(quán)平均值
對于區(qū)域714中，到與中心片段的邊界的距離為χ的像素A(x，y)來說，以利用這 兩個片段計算的值的距離加權(quán)值的形式，計算其均衡因子；
Vl是基于片段704的均衡RGB向量；
V2是基于片段708的均衡RGB向量；
V’是組合(最終)的均衡RGB向量
Y' = ((d-x)/d). Vl+(x/d). V2 ；
其中
X軸是通過重疊區(qū)的底部的直線；
y軸是通過片段704和708之間的重疊區(qū)的左側(cè)的直線；
h是轉(zhuǎn)變寬度；和
d是片段704和片段708之間的重疊區(qū)的寬度。
類似地計算與其它鄰接片段對應(yīng)的掩模區(qū)。
此外，按照本發(fā)明，應(yīng)用色彩保真(即，白平衡)濾鏡。這把R分量和B分量乘以 可確定的因子，以增強色彩保真性。通過校準(zhǔn)照相機和透鏡，可以確定所述因子。色彩保真 濾鏡確保圖像中的色彩保持其逼真度，和人眼直接感知的一樣。在圖像捕獲設(shè)備中，紅色、 綠色和藍(lán)色受光元件對于它們應(yīng)該捕獲的顏色具有不同的靈敏度。應(yīng)用“白平衡”處理-其 中捕獲白色物體的圖像。理論上，該白色物體的圖像中的像素應(yīng)具有相同的R、G和B值。 不過事實上，由于不同的靈敏度和其它因素，每個R、G和B的平均顏色值可能分別為avgR、 avgG和avgB。為了均衡顏色分量,把像素的R、G和B值乘以以下比值
R值被乘以比值avgG/avgR ;和
B值被乘以比值avgG/avgB。
最終結(jié)果是白色物體的圖像被設(shè)定成具有相同的R、G、B分量。
在多數(shù)應(yīng)用中，條帶通常覆蓋較大面積的非水表面。從而，諸如高反射表面之類的 異常物不太可能扭曲條帶的平均強度。本發(fā)明提供強度歸一化模塊，強度歸一化模塊使每 個條帶的平均強度歸一化，以使平均值和標(biāo)準(zhǔn)偏差具有期望的值。例如，為127的平均值是 攝影測量學(xué)中的范數(shù)。為51的標(biāo)準(zhǔn)有助于把強度值遍布在圖像特征的視覺感知的最佳范 圍內(nèi)。每個條帶是在不同的照明條件下獲得的，于是，具有不同的成像數(shù)據(jù)簡檔(即，平均 強度和校準(zhǔn)偏差)。該模塊使條帶歸一化，以使所有條帶具有相同的平均值和標(biāo)準(zhǔn)偏差。這 使條帶能夠被拼接在一起，而沒有明顯的接縫。
這種強度歸一化包含每個通道R、G和B，以及所有通道的平均強度的計算。隨后 計算總的標(biāo)準(zhǔn)偏差。每個像素的每個R、G和B值被變換成新的平均數(shù)和標(biāo)準(zhǔn)偏差
新值=新的平均數(shù)+(舊值-舊的平均數(shù))*(新的標(biāo)準(zhǔn)偏差/舊的標(biāo)準(zhǔn)偏差)
之后，組合多個相鄰的條帶，從而產(chǎn)生所關(guān)心的區(qū)域的平鋪鑲嵌圖。完成的平鋪圖 對應(yīng)于USGS quads或者季度四邊形(quarter-quads)。把條帶拼接成鑲嵌圖類似于把鑲嵌 圖拼接在一起，從而產(chǎn)生條帶，現(xiàn)在條帶起鑲嵌圖的作用。在兩個條帶之間的接縫線，如果 該接縫線穿過諸如建筑物、橋梁之類的高架結(jié)構(gòu)，那么會出現(xiàn)問題。攝影測量學(xué)中的這個經(jīng) 典問題起因于從兩個不同的視角觀看的相同物體引起的視差。例如在建筑物的成像中，一 個條帶可呈現(xiàn)從建筑物的一側(cè)看的視圖，而另一個條帶呈現(xiàn)從建筑物的另一側(cè)看的視圖。 在把圖像拼接在一起之后，所得到的鑲嵌圖可能看起來像圓錐形帳蓬。為了解決這個問題， 可以實現(xiàn)地形引導(dǎo)的鑲嵌處理，以引導(dǎo)接縫線的放置。例如，可以處理和圖像數(shù)據(jù)一起收集 的，或者從圖像數(shù)據(jù)分析的LIDAR或者DEM數(shù)據(jù)，以便在把圖像鑲嵌在一起的時候，確定圖 像的配置和形狀。從而，在一些鑲嵌的圖像中，接縫線可能不是直線-改為包含來回移動， 從而迂回通過衣帽架結(jié)構(gòu)的接縫線。
現(xiàn)在參見圖8，按照如上所述的本發(fā)明，圖解說明成像處理800的一個實施例。處 理800從一個或者更多的收集的原始圖像的序列802開始。隨后通過白平衡處理804處理 圖像802，把它們變換成一系列的中間圖像。隨后通過消除黑解難功能806處理序列802，之后前進(jìn)到正射校正處理808。如前所述，正射校正依賴于來自成像傳感器系統(tǒng)或平臺的位 置和姿態(tài)數(shù)據(jù)810，而且依賴于DTM數(shù)據(jù)812。DTM數(shù)據(jù)812可以由位置數(shù)據(jù)810，以及由例 如USGS DTM數(shù)據(jù)814或LIDAR數(shù)據(jù)816產(chǎn)生。序列802現(xiàn)在被正射校正，然后處理繼續(xù)進(jìn) 行色彩平衡818。在色彩平衡之后，序列802被鑲嵌模塊820轉(zhuǎn)換成復(fù)合圖像822。在該轉(zhuǎn) 換過程中，模塊820進(jìn)行鑲嵌處理和羽化處理?，F(xiàn)在，在步驟824中，通過與梯度和羽化鑲 嵌，一個或多個復(fù)合圖像822被進(jìn)一步組合成圖像條帶826。通過強度歸一化828處理圖像 條帶。然后通過再次與梯度和羽化鑲嵌，在步驟830中把現(xiàn)在歸一化的條帶828鑲嵌在一 起，從而繪制最后的平鋪鑲嵌圖832。在步驟830中進(jìn)行的鑲嵌可包括依賴于DTM數(shù)據(jù)812 或LIDAR數(shù)據(jù)816的地形引導(dǎo)的鑲嵌。
圖9圖解說明可如何對齊利用照相機陣列組合件拍攝的照片，以獲得單幀。本實 施例表示利用來自5個照相機的正射校正的數(shù)據(jù)，表示從運載工具俯視的照片模式例示。
圖10是按照本發(fā)明的一些實施例的處理邏輯的方框圖。如方框圖1000中所示， 處理邏輯接受一個或多個輸入，所述一個或多個輸入包括高程測量結(jié)果1002，姿態(tài)測量結(jié) 果1004和/或照片和傳感器影像1006?？梢栽诜治鲋?，使某些輸入通過初始處理步驟， 如在方框1008中所示，其中使姿態(tài)測量結(jié)果與來自地面控制點的數(shù)據(jù)結(jié)合?？梢越Y(jié)合高程 測量結(jié)果1002和姿態(tài)測量結(jié)果1004，以產(chǎn)生處理后的高程數(shù)據(jù)1010。處理后的高程數(shù)據(jù) 1010隨后可被用于產(chǎn)生高程DEM 1014和DTM 1016。類似地，可以結(jié)合姿態(tài)測量結(jié)果1006 和傳感器影像1006，以產(chǎn)生地理坐標(biāo)參考的圖像1012，圖像1012隨后經(jīng)歷圖像處理1018， 圖像處理1018可包括色彩平衡和梯度濾波。
取決于要使用的數(shù)據(jù)集(1020)，使DTM 1016或USGS DEM 1022與處理后的 圖像1018結(jié)合，從而產(chǎn)生正射校正的影像1024。正射影像1024隨后進(jìn)入自鎖航線 (self-locking flightline) 1026。隨后進(jìn)行均衡投影鑲嵌1028,以產(chǎn)生最終的照片輸出 1030。
本發(fā)明可以采用一定程度的橫向過采樣來提高輸出質(zhì)量。圖11是按照本發(fā)明的 一些實施例，從運載工具俯視的橫向過采樣模式1100的圖示，顯示出最小的橫向過采樣。 在該圖示中，分配給中央照相機的中央天底區(qū)1102僅僅稍微與左天底區(qū)1104和右天底區(qū) 1106重疊，以使重疊降至最小。圖12是按照本發(fā)明的一些實施例，從運載工具俯視的橫向 過采樣模式1200的圖示，顯示出更大程度的橫向過采樣。在該圖示中，中央天底區(qū)1202顯 示與左天底區(qū)1204和右天底區(qū)1206的較大程度的重疊。
除了如圖11和12中所示的橫向重疊的使用之外，本發(fā)明也可以采用航線過采樣。 圖13是按照本發(fā)明的一些實施例，從運載工具俯視的航線過采樣模式1300的圖示，顯示出 一定程度的航線過采樣，但是最小的橫向過采樣。中央天底區(qū)1302和1304沿著航線相互 重疊，但是不橫向與左天底區(qū)1306和1308，或者與右天底區(qū)1310和1312重疊。
圖14是按照本發(fā)明的一些實施例，從運載工具俯視的航線過采樣的圖示，顯示出 相當(dāng)大的航線過采樣以及相當(dāng)大的橫向過采樣?？梢钥闯雒總€中央天底區(qū)1402-1406相 互較大地重疊，以及與左天底區(qū)1408-1412和右天底區(qū)1414-1418較大地重疊。左天底區(qū) 1408-1412相互重疊，右天底區(qū)1414-1418 —樣地相互重疊。因而，該表面上的每個點被采 樣至少兩次，在一些情況下，多達(dá)四次。這種技術(shù)利用了在由不同的照相機傳感器覆蓋兩次 或者更多次的圖像的區(qū)域中，在橫向(跨航跡)和航線(沿航跡)方向，圖像分辨率的加倍是可能的，從而使分辨率整體提高四倍的事實。實踐中，圖像/傳感器分辨率的改善在每個 維度稍微小于兩倍，在每個維度近似40%，或者說1. 4X1. 4= 2倍。這歸因于子像素對準(zhǔn) /方位的統(tǒng)計變化。實際上，像素網(wǎng)格離覆蓋的像素網(wǎng)格的距離很少完全相等。如果在子像 素層面作出極其精確的橫向照相機傳感器對準(zhǔn)，那么可以實現(xiàn)圖像分辨率的四倍提高。
圖15是按照本發(fā)明的一些實施例，從運載工具俯視的漸次放大模式1500的圖示。 中央天底區(qū)1502在其左右邊緣分別由左側(cè)內(nèi)部天底區(qū)1504和右側(cè)內(nèi)部天底區(qū)1506限制。 左側(cè)內(nèi)部天底區(qū)1504在其左邊緣由左側(cè)外部天底區(qū)1508限制，而右側(cè)內(nèi)部天底區(qū)1506在 其右邊緣由右側(cè)外部天底區(qū)1510限制。注意這些區(qū)域表現(xiàn)出從一個區(qū)域到另一個區(qū)域的 最小程度的重疊和過采樣。
圖16是按照本發(fā)明的一些實施例，從運載工具俯視的漸次放大模式1600的圖示。 中央天底區(qū)1602在其左右邊緣分別由左側(cè)內(nèi)部天底區(qū)1604和右側(cè)內(nèi)部天底區(qū)1606限制。 左側(cè)內(nèi)部天底區(qū)1604在其左邊緣由左側(cè)外部天底區(qū)1608限制，而右側(cè)內(nèi)部天底區(qū)1606在 其右邊緣由右側(cè)外部天底區(qū)1610限制。注意，如上所述，這些區(qū)域表現(xiàn)出從一個區(qū)域到另 一個區(qū)域的最小程度的重疊和過采樣。在每個天底區(qū)1604-1610內(nèi)，存在用灰色陰影表示 的中央圖像區(qū)1614-1620。
圖17是按照本發(fā)明的一些實施例，從運載工具俯視的漸次放大模式1700的圖示。 在模式1700的中心，左側(cè)內(nèi)部天底區(qū)1702和右側(cè)內(nèi)部天底區(qū)1704在中央重疊。左側(cè)中間 天底區(qū)1706和右側(cè)中間天底區(qū)1708分別被部分布置在區(qū)域1702和1704之外，分別與相 應(yīng)的相鄰區(qū)域共享大約50%的重疊區(qū)域。左側(cè)外部天底區(qū)1710和右側(cè)外部天底區(qū)1712分 別被部分布置在區(qū)域1706和1708之外，分別與相應(yīng)的相鄰區(qū)域共享大約50%的重疊區(qū)域。 中央圖像區(qū)1714被布置在模式1700的中央，由天底區(qū)1702-1712的中心部分組成。
圖18描述按照本發(fā)明的某些實施例的系統(tǒng)1800的體系結(jié)構(gòu)的示意圖。系統(tǒng)1800 可包括一個或多個GPS衛(wèi)星1802和一個或多個SATCOM衛(wèi)星1804。還可包括一個或多個GPS 定位系統(tǒng)1806，所述一個或多個GPS定位系統(tǒng)1806在操作上連接到一個或多個模塊1808， 所述一個或多個模塊1808收集LIDAR、GPS和/或X、Y、Z位置數(shù)據(jù)，然后把這樣的信息提 供給一個或多個數(shù)據(jù)捕獲系統(tǒng)應(yīng)用程序1812。一個或多個數(shù)據(jù)捕獲系統(tǒng)應(yīng)用程序1812還 可接收來自照相機陣列1822的光譜數(shù)據(jù)。DGPS 1810可以通過無線通信鏈路1826，與一個 或多個SATCOM衛(wèi)星1804通信。一個或多個SATCOM衛(wèi)星1804又可與一個或多個數(shù)據(jù)捕獲 系統(tǒng)應(yīng)用程序1812通信。
一個或多個數(shù)據(jù)捕獲系統(tǒng)應(yīng)用程序1812可以與彼此也可相互作用的自動駕駛儀 1816、SSD和/或?qū)崟rStichG系統(tǒng)1820對接。SSD 1814可在操作上連接到實時DEM 1818。 最后，實時DEM 1818和實時StitchG 1820可以連接到諸如磁盤陣列1824之類的存儲裝置。
本發(fā)明可以采用一定程度的聯(lián)合安裝、聯(lián)合配準(zhǔn)過采樣來克服物理像素分辨率限 制。圖19是按照本發(fā)明的一些實施例，從運載工具俯視的單個照相機陣列112的橫向聯(lián)合 安裝、聯(lián)合配準(zhǔn)的過采樣結(jié)構(gòu)1900的圖示，顯示了最小的橫向過采樣。照相機在垂直的旁 向重疊區(qū)1904和1908中重疊幾度。雖然圖19描述了 3照相機陣列，不過當(dāng)利用從2個到 任意數(shù)目的校準(zhǔn)照相機的許多照相機傳感器時，這些子像素校準(zhǔn)技術(shù)同樣適用。
類似于圖3和4中的成像傳感器，照相機傳感器可被聯(lián)合配準(zhǔn)，以校準(zhǔn)每個傳感器相對于彼此和/或相對于天底點照相機的物理安裝角偏移。這提供初始的“近似”校準(zhǔn)。這 些初始校準(zhǔn)參數(shù)可被輸入系統(tǒng)100中的機載計算機系統(tǒng)104中，并利用過采樣技術(shù)，在飛行 期間更新。
現(xiàn)在參見圖19，矩形A、B和C代表來自3照相機陣列C_B_A(未示出)的圖像區(qū) 1902、1906和1910。圖中俯視地圖解說明分別利用照相機A-C(未示出)拍攝的區(qū)域1902、 1906和1910的圖像。再次，類似于圖3和4，由于“斜視”安排的緣故，區(qū)域1902的圖像由 右照相機A拍攝，區(qū)域1906的圖像由中央/天底點照相機B拍攝，區(qū)域1910的圖像由左照 相機C拍攝。照相機A-C形成在多數(shù)應(yīng)用中，垂直向下指向的陣列(未示出)。
在圖19中，標(biāo)記為A/B和B/C旁向重疊的陰影區(qū)分別代表圖像重疊區(qū)1904和 1908。左圖像重疊區(qū)1904是右照相機A與中央/天底點照相機B重疊的地方，右圖像重 疊區(qū)1908是左照相機C與中央/天底點照相機B重疊的地方。在這些旁向重疊區(qū)1904和 1908中，照相機傳感器網(wǎng)格平分重疊區(qū)1904和1908中的每個像素，這實際上借助聯(lián)合安 裝、聯(lián)合配準(zhǔn)過采樣的機制，使這些區(qū)域1904和1908中的圖像分辨率四倍化。實際上，圖 像/傳感器分辨率的改善在每個維度被加倍，或者2 X 2=4倍。圖像分辨率的這種四倍提高 還使相鄰照相機之間的對準(zhǔn)精度四倍化。
此外，相鄰照相機之間的對準(zhǔn)精度的這種四倍提高改善了固定到剛性安裝板的所 有傳感器的系統(tǒng)100對準(zhǔn)精度。如上所述，照相機和傳感器被固定到剛性安裝單元上，剛性 安裝單元被固定到剛性安裝板上。特別地，當(dāng)固定到剛性安裝單元的相鄰照相機的角度對 準(zhǔn)被改善時，其它傳感器的角度對準(zhǔn)也被提高。固定到剛性安裝板的其它傳感器的對準(zhǔn)精 度的這種提高也改善了這些傳感器的圖像分辨率。
圖20中圖解說明關(guān)于兩個重疊的照相機陣列112的橫向聯(lián)合安裝、聯(lián)合配準(zhǔn)過采 樣配置2000。特別地，圖20是按照本發(fā)明的一些實施例，從運載工具俯視的兩個重疊照相 機陣列112的橫向聯(lián)合安裝、聯(lián)合配準(zhǔn)過采樣配置2000的圖示，顯示最大的橫向過采樣。 相鄰的照相機在垂直的旁向重疊區(qū)2006、2008、2014和2016中重疊幾度，對應(yīng)的照相機在 圖像區(qū)2002、2010、2018和2004、2012、2020中完全重疊。雖然圖20描述兩個3照相機陣 列，不過當(dāng)利用具有從2個到任意數(shù)目的被校準(zhǔn)照相機的許多照相機傳感器的兩個重疊的 照相機陣列時，這些子像素校準(zhǔn)技術(shù)同樣適用。
類似于圖3和4中的成像傳感器，照相機傳感器可被聯(lián)合配準(zhǔn)，以校準(zhǔn)每個傳感器 相對于彼此和/或相對于天底點照相機的物理安裝角偏移。在本實施例中，多個，即至少兩 個剛性安裝單元被固定到剛性安裝板，并被聯(lián)合配準(zhǔn)。這提供初始的“近似”校準(zhǔn)。這些初 始校準(zhǔn)參數(shù)可被輸入系統(tǒng)100中的機載計算機系統(tǒng)104中，并在飛行期間更新。
現(xiàn)在參見圖20，標(biāo)記為A、B和C矩形分別代表來自兩個重疊的3_照相機陣列 C-B-A(未示出)的圖像區(qū)2002、2010、2018和2004、2012、2020。圖中俯視地圖解說明分別 利用照相機A-C(未示出)和重疊的照相機A’-C’(未示出)拍攝的區(qū)域2002、2010、2018 和2004、2012、2020的圖像。再次，類似于圖3和4，由于“斜視”安排的緣故，區(qū)域2002的 圖像由右照相機A拍攝，區(qū)域2010的圖像由中央/天底點照相機B拍攝，區(qū)域2018的圖像 由左照相機C拍攝。此外，區(qū)域2004的圖像由右照相機A’拍攝，區(qū)域2012的圖像由中央 照相機B’拍攝，區(qū)域2020的圖像由左照相機C’拍攝。照相機A-C和重疊的照相機A’-C’ 形成在多數(shù)應(yīng)用中，垂直向下指向的陣列(未示出)。
在圖20中，標(biāo)記為A/B和B/C旁向重疊的陰影區(qū)分別代表兩個重疊的圖像重疊區(qū) 2006,2008和2014,2016o左圖像重疊區(qū)2006,2008分別是右照相機A與中央/天底點照相機B重疊的地方，和右照相機Α’與中央照相機B’重疊的地方。右圖像重疊區(qū)2014、2016 是左照相機C與中央/天底點照相機B重疊的地方，和左照相機C’與中央照相機B’重疊的地方。在這些旁向重疊區(qū)2006、2008和2014、2016中，照相機傳感器網(wǎng)格分別平分重疊區(qū)2006、2008和2014、2016中的每個像素，這實際上借助聯(lián)合安裝、聯(lián)合配準(zhǔn)過采樣的機制，使這些區(qū)域2006、2008和2014、2016中的圖像分辨率四倍化。實際上，圖像/傳感器分辨率的改善在每個維度被加倍，或者2 X 2=4倍。圖像分辨率的這種四倍提高使相鄰照相機之間的對準(zhǔn)精度四倍化，如上所述。
通過具有兩個重疊的照相機陣列，對于交迭的旁向重疊的重疊區(qū)2006、2008和 2014,2016,圖像分辨率事實上被再次四倍化。這在系統(tǒng)100校準(zhǔn)和照相機對準(zhǔn)方面，產(chǎn)生令人震驚的總共64倍的改進(jìn)。
在交迭的旁向重疊區(qū)2006和2008中，重疊的照相機傳感器網(wǎng)格平分旁向重疊區(qū) 2006和2008中的每個像素，這實際上借助聯(lián)合安裝、聯(lián)合配準(zhǔn)過采樣的機制，使這些區(qū)域 2006和2008中的圖像分辨率四倍化。類似地，在交迭的旁向重疊區(qū)2014和2016中，重疊的照相機傳感器網(wǎng)格平分旁向重疊區(qū)2014和2016中的每個像素，這實際上使這些區(qū)域2014 和2016中的圖像分辨率四倍化。實際上，圖像/傳感器分辨率的改進(jìn)再次在每個維度被加倍，或者說2 X 2 X 2 X 2 X 2 X 2=64倍。圖像分辨率的這種總共64倍改進(jìn)還使相鄰照相機之間的對準(zhǔn)精度提高64倍。
相鄰和對應(yīng)照相機之間的對準(zhǔn)精度的這種64倍改進(jìn)提高了固定到剛性安裝板的所有傳感器的系統(tǒng)100對準(zhǔn)精度。照相機A-C，以及其它傳感器(可選)被固定到第一剛性安裝單元，照相機Α’ -C，，以及其它傳感器(可選)被固定到第二剛性安裝單元，第一和第二剛性安裝單元都被固定到剛性安裝板。特別地，當(dāng)固定到第一和/或第二剛性安裝單元的相鄰和/或?qū)?yīng)照相機的角度對準(zhǔn)得到改善時，其它傳感器的角度對準(zhǔn)也得到提高。固定到剛性安裝板的其它傳感器的對準(zhǔn)精度的這種提高也改善了這些傳感器的圖像分辨率。
通過具有兩個重疊的照相機陣列，對于整個圖像，而不僅僅對于Α/Β和B/C旁向重疊的重疊區(qū)，圖像分辨率事實上變成四倍?，F(xiàn)在參見圖20，標(biāo)記為“重疊網(wǎng)格4Χ ”的重疊網(wǎng)格細(xì)節(jié)分別代表右圖像區(qū)2018和2020中的重疊區(qū)2022和2024。在重疊區(qū)2022和2024 中，重疊的照相機傳感器網(wǎng)格平分重疊區(qū)2022和2024中的每個像素，這實際上借助聯(lián)合安裝、聯(lián)合配準(zhǔn)過采樣的機制，使這些區(qū)域2022和2024中的圖像分辨率四倍化。實際上，圖像分辨率的改善在每個維度被加倍，或者說2X2=4倍。
在一個優(yōu)選實施例中，一個照相機陣列是單色的，而另一個照相機陣列是紅-綠-藍(lán)的。即使每個陣列覆蓋不同的色帶，也可使用簡單的圖像處理技術(shù)，從而使得所有色帶實現(xiàn)分辨率增大的益處。這些技術(shù)提供的另一個優(yōu)點在于在一個照相機陣列是紅-綠-藍(lán)，而另一個重疊的照相機陣列是紅外或近紅外( 或者某個其它帶寬)的情況下， 這結(jié)果產(chǎn)生優(yōu)良的多光譜圖像。
因而，對于上面討論的圖19的實施例確認(rèn)的所有改進(jìn)(即，4倍)適應(yīng)于圖20的實施例，不過，通過兩個重疊的照相機陣列，可以實現(xiàn)對系統(tǒng)100校準(zhǔn)精度和總體圖像分辨率的額外顯著提高(即，64倍)。
圖21是按照本發(fā)明的一些實施例，從運載工具俯視的兩個照相機陣列112的前向 和橫向聯(lián)合安裝，聯(lián)合配準(zhǔn)過采樣結(jié)構(gòu)2100的圖示。特別地，圖21是按照本發(fā)明的一些實 施例，從運載工具俯視的兩個過采樣照相機陣列112的前向和橫向聯(lián)合安裝，聯(lián)合配準(zhǔn)過 采樣結(jié)構(gòu)2100的圖示，顯示了最小前向和最小橫向過采樣。相鄰照相機在垂直的旁向重 疊區(qū)2104、2108、2124和2128中重疊幾度，對應(yīng)照相機順著水平前向重疊區(qū)2112、2116和 2120，重疊幾度。雖然圖21描述兩個3照相機陣列，不過，當(dāng)利用具有從2個到任意數(shù)目的 被校準(zhǔn)照相機的許多照相機傳感器的兩個重疊的照相機陣列時，這些子像素校準(zhǔn)技術(shù)同樣 適用。
與圖3和4中的成像傳感器類似，照相機傳感器可被聯(lián)合配準(zhǔn)，以校準(zhǔn)每個傳感器 相對于彼此和/或相對于天底點照相機的物理安裝角偏移。在本實施例中，多個，即至少兩 個剛性安裝單元被固定到剛性安裝板上，并被聯(lián)合配準(zhǔn)。這提供初始的“近似”校準(zhǔn)。這些 初始校準(zhǔn)參數(shù)可被輸入系統(tǒng)100中的機載計算機系統(tǒng)104中，并在飛行期間更新。
現(xiàn)在參見圖21，標(biāo)記為A、B和C的矩形代表來自3照相機陣列C-B_A(未示出)的 圖像區(qū)2102、2106和2110，矩形D、E和F代表來自3照相機陣列F-E-D (未示出)的圖像 區(qū)2122、2126和2130。圖中俯視地圖解說明了分別利用照相機A-C(未示出)拍攝的區(qū)域 2102、2106和2110的圖像，和利用照相機D_F(未示出)拍攝的區(qū)域2122、2126和2130的 圖像。再次，類似于圖3和4，由于“斜視”安排的緣故，區(qū)域2102的左后圖像由右后照相機 A拍攝，區(qū)域2106的中后圖像由后面的中央/天底點照相機B拍攝，區(qū)域2110的右后圖像 由左后照相機C拍攝。此外，區(qū)域2122的左前圖像由右前照相機D拍攝，區(qū)域2126的中前 圖像由前面的中央照相機E拍攝，區(qū)域2020的右前圖像由左前照相機F拍攝。照相機A-C 和重疊的照相機D-F形成在多數(shù)應(yīng)用中，垂直向下指向的陣列(未示出)。
在圖21中，垂直陰影區(qū)代表4個圖像重疊區(qū)2104、2108、2124和2128。左后圖像 重疊區(qū)2104是右后照相機A與中央/天底點照相機B重疊的地方，右后圖像重疊區(qū)2108 是左后照相機C與中央/天底點照相機B重疊的地方。左前圖像重疊區(qū)2124是右前照相 機D與中央/天底點照相機E重疊的地方，右前圖像重疊區(qū)2128是左前照相機F與中央照 相機E重疊的地方。
現(xiàn)在參見圖21，標(biāo)記為“旁向重疊區(qū)4:1”的重疊網(wǎng)格細(xì)節(jié)代表交迭的旁向重疊的 重疊區(qū)2104,2108和2124,2128ο在這些旁向重疊的重疊區(qū)2104,2108和2124,2128中，照 相機傳感器網(wǎng)絡(luò)平分重疊區(qū)2104、2108、2124和2128中的每個像素，這實際上借助聯(lián)合安 裝、聯(lián)合配準(zhǔn)過采樣的機制，使這些區(qū)域2104、2108、2124和2128中的圖像分辨率四倍化。 事實上，圖像/傳感器分辨率的改善在每個維度被加倍，或者2X2=4倍。圖像分辨率的這 種四倍提高使相鄰照相機之間的對準(zhǔn)精度四倍化，如上所述。
相鄰照相機之間的對準(zhǔn)精度的這種四倍提高改善了固定到剛性安裝板的所有傳 感器的系統(tǒng)100對準(zhǔn)精度。照相機A-C，以及其它傳感器(可選)固定到第一剛性安裝單 元，照相機D-F，以及其它傳感器(可選)被固定到第二剛性安裝單元，第一和第二剛性安裝 單元都被固定到剛性安裝板。特別地，當(dāng)固定到第一或第二剛性安裝單元的相鄰照相機的 角度對準(zhǔn)得到改善時，固定到安裝單元的其它傳感器的角度對準(zhǔn)也得到提高。固定到剛性 安裝板的其它傳感器的對準(zhǔn)精度的這種提高還改善了這些傳感器的圖像分辨率。
類似地，水平陰影區(qū)代表3個圖像重疊區(qū)2112、2116和2120。左前圖像重疊區(qū)2112是右后照相機A與右前照相機D重疊的地方，中前圖像重疊區(qū)2116是后面的中央/天 底點照相機B與中前照相機E重疊的地方，右后圖像重疊區(qū)2120是左后照相機C與左前照 相機F重疊的地方。
現(xiàn)在參見圖21，標(biāo)記為“前向重疊區(qū)4:1”的重疊網(wǎng)格細(xì)節(jié)表示交迭的前向重疊的 重疊區(qū)2112、2116和2120。在這些前向重疊的重疊區(qū)2112、2116和2120中，照相機傳感器 網(wǎng)格平分重疊區(qū)2112、2116和2120中的每個像素，這實際上借助聯(lián)合安裝、聯(lián)合配準(zhǔn)過采 樣的機制，使這些區(qū)域2112、2116和2120中的圖像分辨率四倍化。事實上，圖像/傳感器 分辨率的改善在每個維度被加倍，或者2 X 2=4倍。圖像分辨率的這種四倍提高使對應(yīng)照相 機之間的對準(zhǔn)精度四倍化。
對應(yīng)照相機之間的對準(zhǔn)精度的這種四倍提高改善了固定到剛性安裝板的所有傳 感器的系統(tǒng)100對準(zhǔn)精度。照相機A-C，以及其它傳感器(可選)固定到第一剛性安裝單 元，照相機D-F，以及其它傳感器(可選)被固定到第二剛性安裝單元，第一和第二剛性安裝 單元都被固定到剛性安裝板。特別地，當(dāng)固定到第一或第二剛性安裝單元的對應(yīng)照相機的 角度對準(zhǔn)得到改善時，其它傳感器的角度對準(zhǔn)也得到提高。固定到剛性安裝板的其它傳感 器的對準(zhǔn)精度的這種提高還改善了這些傳感器的圖像分辨率。
類似于圖20中的交迭的旁向重疊的重疊區(qū)2006、2008和2014、2016，圖21中的相 交的前向重疊和旁向重疊的重疊區(qū)2114和2118在系統(tǒng)校準(zhǔn)和照相機對準(zhǔn)方面，產(chǎn)生令人 震驚的總共64倍改進(jìn)。現(xiàn)在參見圖21，標(biāo)記為“四重重疊區(qū)64:1”的相交網(wǎng)格細(xì)節(jié)代表相 交的前向重疊和旁向重疊的重疊區(qū)2118。在相交的前向重疊和旁向重疊的重疊區(qū)2114和 2118中，重疊的照相機傳感器網(wǎng)格平分相交的區(qū)域2114和2118中的每個像素，這實際上借 助聯(lián)合安裝、聯(lián)合配準(zhǔn)的過采樣的機制，使這些區(qū)域2114和2118中的圖像分辨率四倍化。 事實上，圖像/傳感器分辨率的改善在每個維度再次被加倍，或者2X2X2X2X2X2=64 倍。圖像分辨率的這種總共64倍改進(jìn)還使相鄰照相機之間的對準(zhǔn)精度提高64倍。
相鄰和對應(yīng)照相機之間的對準(zhǔn)精度的這種64倍改進(jìn)提高了固定到剛性安裝板的 所有傳感器的系統(tǒng)100對準(zhǔn)精度。照相機A-C，以及其它傳感器(可選)被固定到第一剛性 安裝單元，照相機D-E，以及其它傳感器(可選)被固定到第二剛性安裝單元，第一和第二剛 性安裝單元都被固定到剛性安裝板。特別地，當(dāng)固定到第一和/或第二剛性安裝單元的相 鄰和/或?qū)?yīng)照相機的角度對準(zhǔn)得到改善時，其它傳感器的角度對準(zhǔn)也得到提高。固定到 剛性安裝板的其它傳感器的對準(zhǔn)角度的這種提高也改善了這些傳感器的圖像分辨率。
在一個優(yōu)選實施例中，一個照相機陣列是單色的，另一個照相機陣列是紅-綠-藍(lán) 的。即使每個陣列覆蓋不同的色帶，也可使用簡單的圖像處理技術(shù)，從而使得所有色帶實現(xiàn) 分辨率增大的益處。這些技術(shù)提供的另一個優(yōu)點在于在一個照相機陣列是紅-綠-藍(lán)，而 另一個重疊的照相機陣列是紅外或近紅外(或者某個其它帶寬)的情況下，這結(jié)果產(chǎn)生優(yōu) 良的多光譜圖像。
如圖19-21中所示，這些技術(shù)可用于克服由于光學(xué)玻璃不能解析“非常小的”物體 而對照相機系統(tǒng)施加的分辨率極限。特別地，存在照相機透鏡中的光學(xué)玻璃解析極小物體 的能力的已知物理極限。這通常被稱為“玻璃的解析極限”。例如，如果從10000英尺的海 拔高度要求I毫米像素，那么會要求使用放大率極高的望遠(yuǎn)鏡頭，以獲得約100英尺的地 面覆蓋寬度。這是因為不論電荷耦合器件傳感器能夠產(chǎn)生多少像素(例如，十億像素)，在10000英尺的海拔高度，最純凈的玻璃的解析能力也不允許達(dá)到I毫米像素的圖像分辨率。 本例用于清楚地說明存在關(guān)于玻璃的像素分辨率的物理極限，以及關(guān)于成像傳感器的像素 密度極限。
固定到剛性安裝板的剛性安裝單元中的系統(tǒng)100成像傳感器對準(zhǔn)，和相關(guān)的校準(zhǔn) 技術(shù)提供對這種問題的獨特解決方案，如上所述。通過利用這些技術(shù)，能夠有效地克服玻璃 的解析極限。例如，單個照相機陣列產(chǎn)生I倍(或者沒有)過采樣的益處。不過，兩個重 疊的照相機陣列在圖像分辨率，以及整體地理空間水平和垂直精度方面產(chǎn)生4倍的總體改 進(jìn)。此外,3個重疊的照相機陣列結(jié)果產(chǎn)生16倍的整體改進(jìn)，4個重疊的照相機陣列結(jié)果產(chǎn) 生64倍的整體改進(jìn)，依次類推。
從這些例子可以推導(dǎo)出，關(guān)于整體改進(jìn)的等式如下所示
整體改進(jìn)=4n
其中N是重疊照相機陣列的數(shù)目。
如果存在4個照相機陣列，那么存在3個重疊的照相機陣列(即，N=3)。因而，4 個照相機陣列提供圖像分辨率，以及整體地理空間水平和垂直精度方面的64倍整體改進(jìn) (即，43=64 倍)。
此外，這些子像素校準(zhǔn)技術(shù)可以與如在美國專利申請公布No. 2004/0054488A1 (現(xiàn) 在的美國專利No. 7，212，938B2)中公開的自鎖航跡技術(shù)結(jié)合，該專利的公開內(nèi)容在此整體 引為參考。
除了如圖19-21中所示的前向和/或橫向聯(lián)合安裝、聯(lián)合配準(zhǔn)過采樣之外，本發(fā)明 也可采用航線過采樣來進(jìn)一步提高圖像分辨率，如圖13-17中所示。如圖13-17中所示，在 圖像區(qū)域中，航線相互重疊，因為每條航線相互平行。這些重疊的圖像區(qū)域可用于利用立體 攝影技術(shù)，借助相鄰航線中的圖像的沿航跡和跨航跡視差，校準(zhǔn)傳感器。
在一個實施例中，自鎖航跡可以包含產(chǎn)生一組3條或者更多的行進(jìn)路線中的至少 3條大體平行的行進(jìn)路線的任何模式。此外，行進(jìn)路線中的至少一條應(yīng)在與其它大體平行的 行進(jìn)路線相反的方向上。在優(yōu)選實施例中，行進(jìn)模式包含匹配方向的至少一對行進(jìn)路線，和 相反方向的至少一對行進(jìn)路線。
當(dāng)沿著相反方向利用自鎖航跡時，在一些圖像區(qū)域中，可觀察的位置誤差會被加 倍。因而，自鎖航線技術(shù)包括顯著降低這些位置誤差的算法。在其中發(fā)生最大的位置誤差 的外面的，或者說最左“翼”和最右“翼”圖像區(qū)中，位置誤差的這種降低尤其重要。
在一個實施例中，可以通過利用自動匹配從航線(例如，北/南)獲得的像素模式 區(qū)和從相鄰航線(例如，北/南)獲得的相同像素模式區(qū)的模式匹配技術(shù)，實現(xiàn)這些位置改 進(jìn)。在一個優(yōu)選實施例中，來自一個或多個GPS定位系統(tǒng)的緯度/經(jīng)度坐標(biāo)可用于加速該 模式匹配處理。
類似地，這些子像素校準(zhǔn)和自鎖航跡技術(shù)可以與立體攝影技術(shù)結(jié)合，因為立體攝 影技術(shù)極其依賴于每個像素相對于所有其它像素的位置精度。特別地，這些技術(shù)提高了立 體攝影圖像分辨率，以及整體地理水平和垂直精度，尤其是在其中發(fā)生最大位置誤差的最 左“翼”和最右“翼”圖像區(qū)中。此外，立體攝影技術(shù)用于匹配已知的高程數(shù)據(jù)和改進(jìn)的立 體攝影數(shù)據(jù)集。因而，組合的子像素校準(zhǔn)、自鎖航跡和立體攝影技術(shù)提供極大改進(jìn)的數(shù)字高 程模型，這結(jié)果產(chǎn)生優(yōu)良的圖像。
此外，這些子像素校準(zhǔn)和自鎖航跡技術(shù)可用于提供系統(tǒng)100的動態(tài)實時校準(zhǔn)。特 別地，這些技術(shù)提供快速把一個或多個照相機陣列組合件112 “滾裝”到系統(tǒng)100上，立即 開始收集目標(biāo)區(qū)域的圖像數(shù)據(jù)，和快速產(chǎn)生高質(zhì)量圖像的能力，因為如上所述，各個傳感器 已最初在固定到剛性安裝板的剛性安裝單元中被校準(zhǔn)。特別地，照相機傳感器被聯(lián)合配準(zhǔn)， 以校準(zhǔn)每個傳感器相對于彼此的和/或相對于天底點照相機的物理安裝角偏移。在一個實 施例中，多個，即至少兩個剛性安裝單元被固定到剛性安裝板上，并被聯(lián)合配準(zhǔn)。這提供初 始的“近似”校準(zhǔn)。這些初始校準(zhǔn)參數(shù)可被輸入系統(tǒng)100中的機載計算機系統(tǒng)104中，并利 用過采樣技術(shù)，在飛行期間更新，如上所述。
在一個實施例中，系統(tǒng)100包括實時自校準(zhǔn)系統(tǒng)，以更新校準(zhǔn)參數(shù)。特別地，機載 計算機104軟件包含實時軟件“daemon” (即，后臺閉環(huán)監(jiān)控軟件)，以利用聯(lián)合安裝、聯(lián)合 配準(zhǔn)過采樣和航線過采樣技術(shù)，不斷監(jiān)控和更新校準(zhǔn)參數(shù)，如上所述。在優(yōu)選實施例中，實 時daemon結(jié)合子像素校準(zhǔn)、自鎖航跡和立體攝影技術(shù)，改進(jìn)立體攝影圖像分辨率，以及整 體地理水平和垂直精度。特別地，立體攝影技術(shù)被用于匹配已知的高程數(shù)據(jù)和改進(jìn)的立體 攝影數(shù)據(jù)集。因而，組合的子像素校準(zhǔn)、自鎖航跡和立體攝影技術(shù)提供極大改進(jìn)的數(shù)字高程 模型，從而結(jié)果產(chǎn)生優(yōu)良的圖像。
在一個實施例中，系統(tǒng)100包含實時GPS數(shù)據(jù)系統(tǒng)，以提供GPS輸入數(shù)據(jù)。校準(zhǔn)精 度由來自諸如GPS和MU之類的電子裝置的輸入數(shù)據(jù)，和由利用產(chǎn)業(yè)標(biāo)準(zhǔn)GPS和MU軟件 系統(tǒng)擴充的校準(zhǔn)軟件驅(qū)動。因而，該實時自校準(zhǔn)系統(tǒng)的關(guān)鍵要素是經(jīng)可能低帶寬的通信信 道，比如衛(wèi)星電話、蜂窩電話、RF調(diào)制解調(diào)器或者類似裝置的實時GPS輸入數(shù)據(jù)。實時GPS 輸入數(shù)據(jù)的潛在來源包括項目控制的點對點(ad-hoc)站，固定廣播GPS位置(或者類似 的)，或者借助機載IMU的慣性導(dǎo)航。
上面說明的模塊、算法和處理可以用各種技術(shù)和結(jié)構(gòu)來實現(xiàn)。本發(fā)明的實施例可 包括軟件或硬件的功能實例，或者它們的組合。此外，本發(fā)明的模塊和處理可以一起組合在 單個功能實例(例如，一個軟件程序)中，或者可以包含操作上相關(guān)的獨立功能裝置(例 如，多個連網(wǎng)的處理器/存儲塊)。本發(fā)明包含所有這樣的實現(xiàn)。
為了更好地解釋本發(fā)明及其實際應(yīng)用，從而使本領(lǐng)域技術(shù)人員能夠產(chǎn)生和利用本 發(fā)明，給出了這里陳述的實施例和例子。不過，本領(lǐng)域的技術(shù)人員會認(rèn)識到上述說明和例子 只是出于舉例說明的目的給出的。所進(jìn)行的說明并不是詳盡的，也不意圖把本發(fā)明局限于 公開的明確形式。鑒于上面的教導(dǎo)，許多修改和變化是可能的，而不脫離以下權(quán)利要求的精 神和范圍。
權(quán)利要求
1.一種用于產(chǎn)生地圖的系統(tǒng)，包括全球定位接收器；與目標(biāo)區(qū)域一致的運載工具；與所述運載工具通信的高程測量單元；與所述運載工具通信的全球定位天線；與所述運載工具通信的姿態(tài)測量單元；布置于所述運載工具的成像傳感器系統(tǒng)，包括固定到所述運載工具的剛性安裝板；固定到所述安裝板的第一剛性安裝單元，所述第一剛性安裝單元具有布置在其中的至少兩個成像傳感器，其中第一成像傳感器和第二成像傳感器都具有通過所述第一安裝單元和所述安裝板中的孔徑的焦軸，其中所述第一和第二成像傳感器都產(chǎn)生像素的第一數(shù)據(jù)陣列，其中像素的每個數(shù)據(jù)陣列至少是二維的，其中使所述第一和第二成像傳感器偏移，以在所述目標(biāo)區(qū)域具有第一圖像重疊區(qū)，其中在所述第一圖像重疊區(qū)中，第一傳感器圖像數(shù)據(jù)平分第二傳感器圖像數(shù)據(jù)；和與所述高程測量單元、所述全球定位天線、所述姿態(tài)測量單元、所述第一成像傳感器和所述第二成像傳感器通信的計算機；所述計算機根據(jù)來自所述高程測量單元、所述全球定位天線和所述姿態(tài)測量單元中的一個或多個的輸入，使來自所述第一成像傳感器和所述第二成像傳感器的圖像數(shù)據(jù)的至少一部分和所述目標(biāo)區(qū)域的一部分相互關(guān)聯(lián)。
2.按照權(quán)利要求1所述的系統(tǒng)，還包括固定到所述安裝板的第二剛性安裝單元，所述第二剛性安裝單元具有布置在其中的至少一個成像傳感器，其中第三成像傳感器具有通過所述第二安裝單元和所述安裝板中的孔徑的焦軸，其中所述第三成像傳感器產(chǎn)生像素的第三數(shù)據(jù)陣列，其中像素的數(shù)據(jù)陣列至少是二維的。
3.按照權(quán)利要求2所述的系統(tǒng)，還包括布置在所述第二安裝單元內(nèi)的第四成像傳感器，其中所述第四成像傳感器具有通過所述第二安裝單元和所述安裝板中的孔徑的焦軸，其中所述第四成像傳感器產(chǎn)生像素的第四數(shù)據(jù)陣列，其中像素的數(shù)據(jù)陣列至少是二維的，其中使所述第三和第四成像傳感器偏移，以在所述目標(biāo)區(qū)中具有第二圖像重疊區(qū)，其中在所述第二圖像重疊區(qū)中，第三傳感器圖像數(shù)據(jù)平分第四傳感器圖像數(shù)據(jù)。
4.按照權(quán)利要求3所述的系統(tǒng)，其中使包含所述第一和第二圖像傳感器的第一傳感器陣列、和包含所述第三和第四圖像傳感器的第二傳感器陣列偏移，以在所述目標(biāo)區(qū)域中具有第三圖像重疊區(qū)，其中在所述第三重疊區(qū)中，所述第一傳感器陣列圖像數(shù)據(jù)平分所述第二傳感器陣列圖像數(shù)據(jù)。
5.按照權(quán)利要求3所述的系統(tǒng)，其中所述第一傳感器陣列圖像數(shù)據(jù)完全重疊所述第二傳感器陣列圖像數(shù)據(jù)。
6.按照權(quán)利要求1所述的系統(tǒng)，其中在操作中，所述第一安裝單元、所述第二安裝單元和所述安裝板的彎曲小于O. 01°。
7.按照權(quán)利要求6所述的系統(tǒng)，其中在操作中，所述第一安裝單元、所述第二安裝單元和所述安裝板的彎曲小于O. ,001°。
8.按照權(quán)利要求7所述的系統(tǒng)，其中在操作中，所述第一安裝單元、所述第二安裝單元和所述安裝板的彎曲小于O. 0001°。
9.按照權(quán)利要求2所述的系統(tǒng)，其中所述第三成像傳感器選自數(shù)字照相機、LIDAR^I 外傳感器、熱感傳感器和重力計。
10.按照權(quán)利要求2所述的系統(tǒng)，其中所述第三成像傳感器選自具有高光譜濾光片的數(shù)字照相機和LIDAR。
11.按照權(quán)利要求1所述的系統(tǒng)，其中相對于選自陀螺儀、IMU和GPS的一個或多個姿態(tài)測量裝置，校準(zhǔn)所述第一成像傳感器。
12.按照權(quán)利要求1所述的系統(tǒng)，其中所述第一和第二成像傳感器選自數(shù)字照相機、 LIDAR、紅外傳感器、熱感傳感器和重力計。
13.按照權(quán)利要求2所述的系統(tǒng)，其中所述第一和第二成像傳感器是數(shù)字照相機，所述第三成像傳感器是LIDAR。
14.按照權(quán)利要求3所述的系統(tǒng)，其中第三和第四成像傳感器選自數(shù)字照相機、LIDAR、 紅外傳感器、熱感傳感器和重力計。
15.按照權(quán)利要求3所述的系統(tǒng)，其中所述第一和第二成像傳感器是數(shù)字照相機，所述第三成像傳感器是LIDAR。
16.—種成像傳感器系統(tǒng),包括固定到運載工具的剛性安裝板；固定到所述安裝板的第一剛性安裝單元，所述第一剛性安裝單元具有布置在其中的至少兩個成像傳感器，其中第一成像傳感器和第二成像傳感器都具有通過所述第一安裝單元和所述安裝板中的孔徑的焦軸，其中所述第一和第二成像傳感器都產(chǎn)生像素的第一數(shù)據(jù)陣列，其中像素的每個數(shù)據(jù)陣列至少是二維的，其中使所述第一和第二成像傳感器偏移，以在目標(biāo)區(qū)域具有第一圖像重疊區(qū)，其中在所述第一圖像重疊區(qū)中，第一傳感器圖像數(shù)據(jù)平分第二傳感器圖像數(shù)據(jù)。
17.按照權(quán)利要求16所述的系統(tǒng)，還包括固定到所述安裝板的第二剛性安裝單元，所述第二剛性安裝單元具有布置在其中的第三成像傳感器，其中所述第三成像傳感器具有通過所述第二安裝單元和所述安裝板中的孔徑的焦軸，其中所述第三成像傳感器產(chǎn)生像素的第三數(shù)據(jù)陣列，其中像素的數(shù)據(jù)陣列至少是二維的。
18.按照權(quán)利要求17所述的系統(tǒng)，還包括布置在所述第二安裝單元內(nèi)的第四成像傳感器，其中所述第四成像傳感器具有通過所述第二安裝單元和所述安裝板中的孔徑的焦軸，其中所述第四成像傳感器產(chǎn)生像素的第四數(shù)據(jù)陣列，其中像素的數(shù)據(jù)陣列至少是二維的，其中使所述第三和第四成像傳感器對準(zhǔn)以及偏移，以在所述目標(biāo)區(qū)中具有第二圖像重疊區(qū)，其中在所述第二圖像重疊區(qū)中，第三傳感器圖像數(shù)據(jù)平分第四傳感器圖像數(shù)據(jù)。
19.按照權(quán)利要求18所述的系統(tǒng)，其中使包含所述第一和第二圖像傳感器的第一傳感器陣列、和包含所述第三和第四圖像傳感器的第二傳感器陣列偏移，以在所述目標(biāo)區(qū)域中具有第三圖像重疊區(qū)，其中在所述第三重疊區(qū)中，所述第一傳感器陣列圖像數(shù)據(jù)平分所述第二傳感器陣列圖像數(shù)據(jù)。
20.按照權(quán)利要求18所述的系統(tǒng)，其中所述第一傳感器陣列圖像數(shù)據(jù)完全重疊所述第二傳感器陣列圖像數(shù)據(jù)。
21.按照權(quán)利要求16所述的系統(tǒng)，其中在操作中，所述第一安裝單元、所述第二安裝單元和所述安裝板的彎曲小于O. 01°。
22.按照權(quán)利要求21所述的系統(tǒng)，其中在操作中，所述第一安裝單元、所述第二安裝單元和所述安裝板的彎曲小于O. 001°。
23.按照權(quán)利要求22所述的系統(tǒng)，其中在操作中，所述第一安裝單元、所述第二安裝單元和所述安裝板的彎曲小于O. 0001°。
24.按照權(quán)利要求17所述的系統(tǒng)，其中所述第三成像傳感器選自數(shù)字照相機、LIDAR、 紅外傳感器、熱感傳感器和重力計。
25.按照權(quán)利要求17所述的系統(tǒng)，所述第三成像傳感器選自具有高光譜濾光片的數(shù)字照相機和LIDAR。
26.按照權(quán)利要求16所述的系統(tǒng),其中相對于選自陀螺儀、IMU和GPS的一個或多個姿態(tài)測量裝置，校準(zhǔn)所述第一成像傳感器。
27.按照權(quán)利要求16所述的系統(tǒng)，其中所述第一和第二成像傳感器選自數(shù)字照相機、 LIDAR、紅外傳感器、熱感傳感器和重力計。
28.按照權(quán)利要求17所述的系統(tǒng)，其中所述第一和第二成像傳感器是數(shù)字照相機，所述第三成像傳感器是LIDAR。
29.按照權(quán)利要求18所述的系統(tǒng)，其中所述第三和第四成像傳感器選自數(shù)字照相機、 LIDAR、紅外傳感器、熱感傳感器和重力計。
30.按照權(quán)利要求18所述的系統(tǒng)，其中所述第一和第二成像傳感器是數(shù)字照相機，所述第三成像傳感器是LIDAR。
31.一種校準(zhǔn)成像傳感器的方法，包括以下步驟進(jìn)行成像傳感器的初始校準(zhǔn)，包括確定AMU的位置；確定在第一剛性安裝單元內(nèi)的第一成像傳感器相對于所述AMU的位置；確定在所述第一剛性安裝單元內(nèi)的第二成像傳感器相對于所述AMU的位置；對照目標(biāo)區(qū)域校準(zhǔn)所述第一成像傳感器，和確定所述第一成像傳感器的視軸角；和計算所述第一剛性安裝單元內(nèi)的一個或多個后續(xù)成像傳感器相對于所述第一成像傳感器的位置；和利用所述第一成像傳感器的視軸角，校準(zhǔn)所述一個或多個后續(xù)成像傳感器；和利用過采樣技術(shù)，更新對照目標(biāo)區(qū)域的所述第一成像傳感器的至少一個初始校準(zhǔn)參數(shù)，和所述第一成像傳感器的視軸角；利用過采樣技術(shù)，更新所述第一剛性安裝單元內(nèi)的一個或多個后續(xù)成像傳感器相對于所述第一成像傳感器的位置；和利用所述第一成像傳感器的更新的視軸角，更新所述第一剛性安裝單元內(nèi)的一個或多個后續(xù)成像傳感器的至少一個校準(zhǔn)參數(shù)。
32.按照權(quán)利要求31所述的方法，其中初始校準(zhǔn)步驟還包括以下步驟利用所述第一成像傳感器的更新的視軸角，校準(zhǔn)所述第二成像傳感器；計算所述第二剛性安裝單元內(nèi)的一個或多個后續(xù)成像傳感器相對于所述第一成像傳感器的位置；和利用所述第一成像傳感器的更新的視軸角，校準(zhǔn)所述第二剛性安裝單元內(nèi)的所述一個或多個后續(xù)成像傳感器。
33.按照權(quán)利要求32所述的方法，還包括以下步驟利用過采樣技術(shù)更新所述第二剛性安裝單元內(nèi)的第二成像傳感器相對于所述第一成像傳感器的位置；利用過采樣技術(shù)更新第一剛性安裝單元內(nèi)的一個或多個后續(xù)成像傳感器相對于所述第一成像傳感器的位置；和利用所述第一成像傳感器的更新的視軸角，更新所述第二剛性安裝單元內(nèi)的一個或多個后續(xù)成像傳感器的至少一個校準(zhǔn)參數(shù)。
34.按照權(quán)利要求31所述的方法，還包括以下步驟利用航線過采樣技術(shù)，更新對照目標(biāo)區(qū)域的所述第一成像傳感器的校準(zhǔn)，以及所述第一成像傳感器的視軸角；利用航線過采樣技術(shù)，更新所述第一剛性安裝單元內(nèi)的所述一個或多個后續(xù)成像傳感器相對于所述第一成像傳感器的位置；和利用所述第一成像傳感器的更新的視軸角，更新一個或多個后續(xù)成像傳感器的至少一個校準(zhǔn)參數(shù)。
35.按照權(quán)利要求34所述的方法，還包括以下步驟利用航線過采樣技術(shù)，更新所述第二剛性安裝單元內(nèi)的第二成像傳感器相對于所述第一成像傳感器的位置；利用航線過采樣技術(shù)，更新所述第一剛性安裝單元內(nèi)的所述一個或多個后續(xù)成像傳感器相對于所述第一成像傳感器的位置；和利用所述第一成像傳感器的更新的視軸角，更新所述第二剛性安裝單元內(nèi)的所述一個或多個后續(xù)成像傳感器的至少一個校準(zhǔn)參數(shù)。
全文摘要
一種成像傳感器系統(tǒng)，包括固定到運載工具的剛性安裝板；固定到安裝板的第一剛性安裝單元，第一剛性安裝單元具有布置在其中的至少兩個成像傳感器，其中第一成像傳感器和第二成像傳感器都具有通過第一安裝單元和安裝板中的孔徑的焦軸，其中第一和第二成像傳感器都產(chǎn)生像素的第一陣列，其中像素的每個陣列至少是二維的，其中使第一和第二成像傳感器偏移，以在目標(biāo)區(qū)域具有第一圖像重疊區(qū)，其中在第一圖像重疊區(qū)中，第一傳感器圖像數(shù)據(jù)平分第二傳感器圖像數(shù)據(jù)。
文檔編號G06F17/00GK103038761SQ201180029220
公開日2013年4月10日 申請日期2011年3月31日 優(yōu)先權(quán)日2010年4月13日
發(fā)明者切斯特·L·史密瑟曼 申請人:視覺智能有限合伙公司