生成空間和光譜對象模型的方法
【專利摘要】本發(fā)明題為生成空間和光譜對象模型的方法。提供一種使用高光譜成像裝置來改進(jìn)光譜反射率輪廓的方法，尤其包括：得到對象的一系列高光譜圖像，其中在對象與高光譜成像裝置之間存在相對運(yùn)動；確定相對運(yùn)動的一個(gè)或多個(gè)參數(shù)；映射參數(shù)，以確定該系列中的各高光譜圖像中的對象的取向；識別該系列中的各高光譜圖像中的對象的兩個(gè)或更多空間部分；向各空間部分指配光譜簽名；以及從取向、空間部分和光譜簽名來生成多維光譜反射率輪廓。
【專利說明】生成空間和光譜對象模型的方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及生成空間和光譜對象模型的方法。

【背景技術(shù)】
[0002] 高光譜照相裝置能夠以視頻巾貞速率來捕獲高光譜圖像（hyperspectral image)中貞 或者數(shù)據(jù)立方體（datacube)。這些照相裝置獲取高空間和光譜分辨率影像。結(jié)合與計(jì)算機(jī) 視覺和光譜分析相關(guān)的技術(shù)，高光譜照相裝置的操作人員參加與被成像對象的檢測、跟蹤 和識別相關(guān)的監(jiān)視應(yīng)用。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明的一個(gè)方面涉及一種使用高光譜成像裝置來改進(jìn)對象的光譜反射率輪廓 (spectral reflectance profile)的方法。該方法包括：得到對象的一系列高光譜圖像， 其中在對象與高光譜成像裝置之間存在相對運(yùn)動；確定相對運(yùn)動的至少一個(gè)參數(shù)；映射至 少一個(gè)參數(shù)，以確定該系列中的各高光譜圖像中的對象的取向；識別該系列中的各高光譜 圖像中的對象的至少兩個(gè)空間部分；向各空間部分指配光譜簽名；以及從取向、至少兩個(gè) 空間部分和光譜簽名來生成多維光譜反射率輪廓。

【專利附圖】

【附圖說明】
[0004] 附圖包括： 圖1是示出按照本發(fā)明的一個(gè)實(shí)施例、生成空間和光譜對象模型的方法的流程圖； 圖2示出兩個(gè)示范移動平臺捕獲車輛的高光譜影像的情形； 圖3示出示范平臺捕獲移動車輛的高光譜影像的情形； 圖4展示用于生成光譜反射率輪廓的被成像車輛的空間劃分。

【具體實(shí)施方式】
[0005] 為了便于說明，在背景和以下描述中提出了大量具體細(xì)節(jié)，以便透徹地理解本文 所述的技術(shù)。然而，本領(lǐng)域的技術(shù)人員將會清楚地知道，即使沒有這些具體細(xì)節(jié)也可實(shí)施示 范實(shí)施例。在其它情況下，結(jié)構(gòu)和裝置以簡圖形式示出，以便于示范實(shí)施例的描述。
[0006] 參照附圖來描述示范實(shí)施例。這些附圖示出實(shí)現(xiàn)本文所述的模塊、方法或計(jì)算機(jī) 程序產(chǎn)品的具體實(shí)施例的某些細(xì)節(jié)。但是，附圖不應(yīng)當(dāng)被理解為施加附圖中可存在的任何 限制。方法和計(jì)算機(jī)程序產(chǎn)品可在任何機(jī)器可讀介質(zhì)上提供以用于實(shí)現(xiàn)其操作。實(shí)施例可 使用現(xiàn)有計(jì)算機(jī)處理器、或者通過為這個(gè)或另一個(gè)目的所結(jié)合的專用計(jì)算機(jī)處理器、或者 通過硬連線系統(tǒng)來實(shí)現(xiàn)。
[0007] 如上所述，本文所述的實(shí)施例可包括計(jì)算機(jī)程序產(chǎn)品，其中包括用于攜帶或其上 存儲了機(jī)器可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)的機(jī)器可讀介質(zhì)。這類機(jī)器可讀介質(zhì)能夠是任何可用介 質(zhì)，其能夠由通用或?qū)Ｓ糜?jì)算機(jī)或者具有處理器的其它機(jī)器來訪問。作為舉例，這類機(jī)器可 讀介質(zhì)能夠包括RAM、ROM、EPROM、EEPROM、CD-ROM或其它光盤存儲裝置、磁盤存儲裝置或者 其它磁存儲裝置、或者能夠用于攜帶或存儲采取機(jī)器可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)形式的預(yù)期程 序代碼并且能夠由通用或?qū)Ｓ糜?jì)算機(jī)或者具有處理器的其它機(jī)器來訪問的其它任何介質(zhì)。 當(dāng)信息通過網(wǎng)絡(luò)或另一種通信連接（硬連線、無線或者硬連線或無線的組合）傳遞或提供 給機(jī)器時(shí)，機(jī)器將連接適當(dāng)?shù)乜醋魇菣C(jī)器可讀介質(zhì)。因此，任何這種連接都適當(dāng)?shù)胤Q作機(jī)器 可讀介質(zhì)。以上所述的組合也包含在機(jī)器可讀介質(zhì)的范圍之內(nèi)。機(jī)器可執(zhí)行指令例如包括 使通用計(jì)算機(jī)、專用計(jì)算機(jī)或者專用處理機(jī)來執(zhí)行某個(gè)功能或某組功能的指令和數(shù)據(jù)。
[0008] 將在方法步驟的一般上下文中描述實(shí)施例，方法步驟在一個(gè)實(shí)施例中可通過程序 產(chǎn)品來實(shí)現(xiàn)，程序產(chǎn)品包括例如采取由組網(wǎng)環(huán)境中的機(jī)器所執(zhí)行的程序模塊形式的機(jī)器可 執(zhí)行指令、如程序代碼。一般來說，程序模塊包括具有執(zhí)行特定任務(wù)或者實(shí)現(xiàn)特定抽象數(shù)據(jù) 類型的技術(shù)效果的例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)等。機(jī)器可執(zhí)行指令、關(guān)聯(lián)數(shù)據(jù)結(jié)構(gòu)和 程序模塊表示用于運(yùn)行本文所公開方法的步驟的程序代碼的示例。這類可執(zhí)行指令或關(guān)聯(lián) 數(shù)據(jù)結(jié)構(gòu)的特定序列表示用于實(shí)現(xiàn)在這類步驟中所述的功能的對應(yīng)動作的示例。
[0009] 實(shí)施例可在使用到一個(gè)或多個(gè)具有處理器的遠(yuǎn)程計(jì)算機(jī)的邏輯連接的組網(wǎng)環(huán)境 中實(shí)施。邏輯連接可包括局域網(wǎng)（LAN)和廣域網(wǎng)（WAN)，局域網(wǎng)（LAN)和廣域網(wǎng)（WAN)在此 作為舉例而不是限制來提供。這類組網(wǎng)環(huán)境是辦公室范圍或企業(yè)范圍的計(jì)算機(jī)網(wǎng)絡(luò)、內(nèi)聯(lián) 網(wǎng)和因特網(wǎng)中常見的，并且可使用大量不同的通信協(xié)議。本領(lǐng)域的技術(shù)人員將會理解，這類 網(wǎng)絡(luò)計(jì)算環(huán)境通常將包含許多類型的計(jì)算機(jī)系統(tǒng)配置，其中包括個(gè)人計(jì)算機(jī)、手持裝置、多 處理器系統(tǒng)、基于微處理器的或者可編程消費(fèi)電子產(chǎn)品、網(wǎng)絡(luò)PC、小型計(jì)算機(jī)、大型計(jì)算機(jī) 等等。
[0010] 實(shí)施例還可在分布式計(jì)算環(huán)境中實(shí)施，在這些環(huán)境中，任務(wù)由通過通信網(wǎng)絡(luò)鏈接 (通過硬連線鏈路、無線鏈路或者通過硬連線或無線鏈路的組合）的本地和遠(yuǎn)程處理裝置 來執(zhí)行。在分布式計(jì)算環(huán)境中，程序模塊可位于本地和遠(yuǎn)程存儲器存儲裝置中。
[0011] 一種用于實(shí)現(xiàn)示范實(shí)施例的整體或部分的示范系統(tǒng)可包括采取計(jì)算機(jī)形式的通 用計(jì)算裝置，其中包括處理單元、系統(tǒng)存儲器以及將包括系統(tǒng)存儲器在內(nèi)的各種系統(tǒng)組件 耦合到處理單元的系統(tǒng)總線。系統(tǒng)存儲器可包括只讀存儲器（ROM)和隨機(jī)存取存儲器 (RAM)。計(jì)算機(jī)還可包括用于對磁硬盤進(jìn)行讀取和寫入的磁硬盤驅(qū)動器、對可移動磁盤進(jìn)行 讀取或?qū)懭氲拇疟P驅(qū)動器以及用于對可移動光盤、如CD ROM或其它光介質(zhì)進(jìn)行讀取或?qū)懭?的光盤驅(qū)動器。驅(qū)動器及其關(guān)聯(lián)的機(jī)器可讀介質(zhì)提供對機(jī)器可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊 和用于計(jì)算機(jī)的其它數(shù)據(jù)的非易失性存儲。
[0012] 實(shí)施例中公開的方法的技術(shù)效果包括增加遠(yuǎn)程成像系統(tǒng)對于對象檢測、跟蹤和識 別的實(shí)用性和性能。高光譜跟蹤系統(tǒng)（其實(shí)現(xiàn)通過本發(fā)明的方法所生成的多維光譜反射率 輪廓）可健壯地減輕錯誤肯定和錯誤否定（其通常在重新獲取或者對象簽名預(yù)測期間發(fā) 生）。例如，空間跟蹤技術(shù)與多維光譜反射率輪廓的融合將降低傳統(tǒng)空間跟蹤中因阻塞引起 的誤差。多維光譜反射率輪廓提供被成像的感興趣對象的壽命特性的輪廓。從這個(gè)輪廓， 高光譜跟蹤系統(tǒng)的操作人員可表征和推斷對象的性質(zhì)，包括：對象怎樣移動、對象移動時(shí)看 起來象什么、對象多大、對象的相對側(cè)相差多少等。
[0013] 圖1是示出按照本發(fā)明的一個(gè)實(shí)施例、生成空間和光譜對象模型的方法的流程 圖。一開始，在步驟1〇〇,高光譜成像裝置101可通過捕獲經(jīng)過空間和光譜解析的影像，來 獲取并且跟蹤感興趣對象。高光譜成像裝置101優(yōu)選地可以是凝視陣列高光譜攝像機(jī)。但 是，其它已知的高光譜成像裝置101可包括具有快速掃描光譜照相裝置的組合凝視陣列彩 色/全色照相裝置。
[0014] 高光譜成像裝置101例如可以是在移動平臺200上固定的，或者可以是在固定平 臺300上活動的，或者可以是它們的任何組合。在活動平臺200上，例如圖2所示，高光譜 成像裝置101可對感興趣對象212進(jìn)行成像，其中被成像區(qū)域202、204、206、208的覆蓋區(qū) 部分因平臺200的移動而移動。平臺的移動可以是由高光譜成像裝置101所經(jīng)過的弧線 220、由高光譜成像裝置101所經(jīng)過的線條210或者通過平臺200的可操作性所支配的任何 運(yùn)動。在靜止平臺300上，例如圖3所示，高光譜成像裝置101可在平臺300上沿單軸旋轉(zhuǎn) 移動，以對感興趣對象310進(jìn)行跟蹤和成像。在這種情況下，被成像覆蓋區(qū)312、314、316沿 著弧線318,以對感興趣對象310進(jìn)行成像。在大多數(shù)情況下，感興趣對象310不會沿著覆 蓋區(qū)的相同弧線318,在這種情況下，覆蓋區(qū)的透視將發(fā)生變化。感興趣對象212、310也可 以是靜止或移動的。將會顯而易見，高光譜成像裝置101與被成像的感興趣212、310之間 的相對運(yùn)動將改變高光譜成像裝置101與感興趣對象212、310之間的透視。因此，感興趣 對象212、310的所觀測光譜反射率將至少部分作為變化的相對透視的函數(shù)而改變。
[0015] 再次參照圖1，在步驟102,高光譜成像裝置101可得到一系列高光譜圖像103。平 臺上的處理器可執(zhí)行高光譜圖像103系列的處理，或者可指示向遠(yuǎn)程位置傳送高光譜圖像 103系列，供第二處理器或者處理系統(tǒng)（統(tǒng)稱為"處理器"）進(jìn)行處理。為了確定系列中的 高光譜圖像103之間的對齊，處理器可采用圖像穩(wěn)定性技術(shù)逐幀偏移高光譜圖像103系列， 以抵消例如可通過平臺的移動而引入的運(yùn)動和抖動。對象的高光譜圖像103系列可具有感 興趣對象212、310與高光譜成像裝置101之間的相對運(yùn)動。
[0016] 在步驟104,處理器可確定感興趣對象212、310與高光譜成像裝置101之間的相對 運(yùn)動的至少一個(gè)參數(shù)105。例如，處理器可使用來自測量相對和絕對定位的車載傳感器定位 系統(tǒng)的數(shù)據(jù)。示例車載系統(tǒng)可包括與絕對定位系統(tǒng)、例如GPS相結(jié)合的相對定位系統(tǒng)，例如 慣性導(dǎo)航系統(tǒng)。連同車載定位數(shù)據(jù)一起，處理器可確定高光譜圖像103系列中的差，以推斷 感興趣對象212、310的運(yùn)動，并且估計(jì)從高光譜成像裝置101到感興趣對象212、310的范 圍。處理器可確定作為高光譜成像裝置101與感興趣對象212、310之間的旋轉(zhuǎn)（即，滾動、 俯仰、偏轉(zhuǎn)）和平移（即，X、y、z)變化的相對運(yùn)動。處理器可采用歐拉角和方向向量對相 對運(yùn)動進(jìn)行參數(shù)化。根據(jù)實(shí)現(xiàn)，高光譜成像裝置101與感興趣對象212、310之間的相對運(yùn) 動的其它參數(shù)化可適用。處理器可映射對象212、310與高光譜成像裝置101之間的相對運(yùn) 動的參數(shù)105,以在步驟106確定系列中的各高光譜圖像中的對象212、310的取向107。
[0017] 在確定高光譜圖像103系列的每個(gè)中的感興趣對象212、310的取向107時(shí)，處理 器在步驟108可識別高光譜圖像103系列的每個(gè)中的感興趣對象212、310的空間部分109。 然后，在步驟110,處理器可將光譜簽名111指配給高光譜圖像103系列的每個(gè)中的感興趣 對象212、310的各空間部分109?；谙蚋信d趣對象212、310的空間部分109指配光譜簽 名111，處理器可在步驟112生成多維光譜反射率輪廓113。光譜反射率輪廓113的維度通 過對象212、310的取向107、空間部分109以及與空間部分109關(guān)聯(lián)的光譜簽名111來確 定。因此，多維光譜反射率輪廓113可連同對象的空間或幾何描述一起，來描述感興趣對象 212、310的光譜反射率簽名111以及光譜反射率簽名111之間的空間關(guān)系。
[0018] 為了進(jìn)行說明，圖4展示三個(gè)不同取向400、402、404的被成像車輛212或310的空 間劃分。對于在取向400的車輛的第一被成像側(cè)，處理器識別四個(gè)空間部分410、412、414、 416。對于在取向402的車輛的第二被成像側(cè)，處理器識別四個(gè)空間部分418、420、422、424。 對于在取向404的車輛的第三被成像側(cè)，處理器識別四個(gè)空間部分426、428、430、432。然 后，處理器基于高光譜影像向每個(gè)空間部分指配光譜簽名。在這個(gè)示例中，對于總共12個(gè) 不同的光譜簽名，對于三個(gè)被成像取向的每個(gè)將將存在四個(gè)不同的光譜簽名。因此，在這個(gè) 圖示中，多維光譜反射率輪廓113包括三個(gè)取向，各具有四個(gè)空間部分109,并且各空間部 分具有一個(gè)對應(yīng)光譜反射率簽名111。
[0019] 回到圖1，一旦生成多維光譜反射率輪廓113,處理器可分類高光譜圖像103的系 列中的感興趣對象212、310。多維光譜反射率輪廓113對空間維的描述和感興趣對象212、 310的光譜紋理進(jìn)行編碼。處理器可實(shí)現(xiàn)附加處理技術(shù)，以確定感興趣對象212、310的空間 部分109的大小和形狀連同紋理特性。
[0020] 在步驟114完成該方法時(shí)，高光譜成像裝置101可重新獲取高光譜圖像103的連 續(xù)系列中的感興趣對象212、310。處理器基于高光譜影像的連續(xù)集合來改進(jìn)對象的多維光 譜反射率輪廓113。雖然初始遍可產(chǎn)生對象的未觀察到的取向，但是連續(xù)遍可開始填充先前 未觀察到的取向的多維光譜反射率輪廓113的模型。
[0021] 相反，處理器可改進(jìn)先前所觀察取向的多維光譜反射率輪廓113。當(dāng)處理器重新 獲取處于先前所觀察取向的對象時(shí)，處理器可通過基于高光譜圖像的積分時(shí)間對光譜簽名 111進(jìn)行加權(quán)，來更新先前生成的多維光譜反射率輪廓113。例如，如果先前觀察到給定取 向107的給定空間部分109達(dá)0. 1秒以確定光譜簽名111并且然后進(jìn)行附加測量0. 2秒， 則多維光譜反射率輪廓113中的取向107的空間部分109的光譜簽名111可調(diào)整成對新測 量的加權(quán)為舊測量的兩倍。
[0022] 本書面描述使用示例來公開本發(fā)明，其中包括最佳模式，以及還使本領(lǐng)域的技術(shù) 人員能夠?qū)嵤┍景l(fā)明，包括制作和使用任何裝置或系統(tǒng)并且執(zhí)行任何結(jié)合的方法。本發(fā)明 的專利范圍由權(quán)利要求來定義，并且可包括本領(lǐng)域的技術(shù)人員想到的其它示例。如果這類 其它示例具有與權(quán)利要求的文字語言完全相同的結(jié)構(gòu)要素，或者如果它們包括具有與權(quán)利 要求的文字語言的非實(shí)質(zhì)差異的等效結(jié)構(gòu)要素，則它們意在落入權(quán)利要求書的范圍之內(nèi)。
[0023] 附圖標(biāo)記說明 1〇〇 方法開始 101 高光譜成像裝置 102 得到一系列高光譜圖像 103 高光譜圖像系列 104 確定相對運(yùn)動 105 相對運(yùn)動的一個(gè)參數(shù) 106 確定被成像對象的取向 107 對象的取向 108 識別對象的空間部分 109 空間部分 110 向?qū)ο笾概涔庾V簽名 111 光譜簽名 112 生成對象的多維光譜反射率輪廓 113 多維光譜反射率輪廓 114 方法結(jié)束 200 高光譜成像裝置的平臺 202、204、206、208 被成像區(qū)域的覆蓋區(qū) 210 由成像裝置所經(jīng)過的線條 220 由成像裝置所經(jīng)過的弧線 212 被成像車輛 300 高光譜成像裝置的平臺 310 被成像車輛 312、314、316被成像區(qū)域的覆蓋區(qū) 318 覆蓋區(qū)的弧長 400、402、404某個(gè)取向的車輛的被成像側(cè) 410、412、414、416 某個(gè)取向的車輛的被成像側(cè)的空間部分 418、420、422、424 某個(gè)取向的車輛的被成像側(cè)的空間部分 426、428、430、432 某個(gè)取向的車輛的被成像側(cè)的空間部分。
【權(quán)利要求】
1. 一種使用高光譜成像裝置來改進(jìn)對象的光譜反射率輪廓的方法，包括： 得到所述對象的一系列高光譜圖像，其中在所述對象與所述高光譜成像裝置之間存在 相對運(yùn)動； 確定所述相對運(yùn)動的至少一個(gè)參數(shù)； 映射所述至少一個(gè)參數(shù)，以確定所述系列中的各高光譜圖像中的所述對象的取向； 識別所述系列中的各高光譜圖像中的所述對象的至少兩個(gè)空間部分； 向各空間部分指配光譜簽名；以及 從所述取向、所述至少兩個(gè)空間部分和所述光譜簽名來生成多維光譜反射率輪廓。
2. 如權(quán)利要求1所述的方法，其中，生成多維光譜反射率輪廓的步驟包括確定所述至 少兩個(gè)空間部分的大小和形狀的步驟。
3. 如權(quán)利要求1所述的方法，其中，生成所述多維光譜反射率輪廓的步驟包括： 更新先前生成的多維光譜反射率輪廓；以及 基于所述高光譜圖像的積分時(shí)間，來對所述光譜簽名進(jìn)行加權(quán)。
4. 如權(quán)利要求1所述的方法，其中，所述高光譜成像裝置是靜止的，而所述對象處于運(yùn) 動中。
5. 如權(quán)利要求1所述的方法，其中，所述高光譜成像裝置處于運(yùn)動中，而所述對象是靜 止的。
6. 如權(quán)利要求1所述的方法，其中，所述高光譜成像裝置和所述對象處于運(yùn)動中。
7. 如權(quán)利要求1所述的方法，其中，所述至少一個(gè)參數(shù)包括歐拉角。
8. 如權(quán)利要求1所述的方法，其中，所述至少一個(gè)參數(shù)包括方向向量。
9. 如權(quán)利要求1所述的方法，還包括基于所述多維光譜反射率輪廓來對所述高光譜圖 像系列中的所述對象進(jìn)行分類的步驟。
10. 如權(quán)利要求1所述的方法，還包括基于所述多維光譜反射率輪廓來重新獲取高光 譜圖像的連續(xù)系列中的所述對象的步驟。
【文檔編號】G06T7/20GK104112280SQ201410054142
【公開日】2014年10月22日 申請日期:2014年2月18日 優(yōu)先權(quán)日:2013年4月18日
【發(fā)明者】E.D.比勒, B.T.奧基平蒂 申請人:通用電氣航空系統(tǒng)有限責(zé)任公司