本發(fā)明涉及大規(guī)模并行計算與地理信息系統(tǒng)應(yīng)用技術(shù)領(lǐng)域,尤其涉及一種高效能遙感數(shù)據(jù)處理與分析的云服務(wù)平臺。
背景技術(shù):
地球空間信息產(chǎn)業(yè)是具備極大發(fā)展?jié)摿Φ男屡d產(chǎn)業(yè),據(jù)估算,2010年該產(chǎn)業(yè)的市場規(guī)模已經(jīng)達(dá)到1000億元人民幣,同時年增長率也達(dá)到25%以上。高分辨率遙感衛(wèi)星影像作為地球空間信息的重要數(shù)據(jù)來源,其采集、處理、數(shù)據(jù)產(chǎn)品以及信息服務(wù)產(chǎn)品長期以來是地球空間信息產(chǎn)業(yè)的重要組成。隨著近年來各種高分辨率遙感衛(wèi)星的發(fā)射和投入運(yùn)營,如美國GeoEye公司的IKONOS、GeoEye-1、GeoEye-2、美國DigitalGlobe公司的QuickBird、WorldView-1、WorldView-2,我國的資源衛(wèi)星CBERS-2B等,現(xiàn)勢遙感影像的獲取資源變得越來越充裕。在遙感數(shù)據(jù)獲取產(chǎn)業(yè)方興未艾之時,遙感數(shù)據(jù)的生產(chǎn)也處于快速發(fā)展階段,出現(xiàn)了商業(yè)上成熟的軟件如ERDASIMAGE和ENVI等。目前遙感影像處理分析和服務(wù)行業(yè)發(fā)展的前沿是海量空間信息的快速獲取,如大規(guī)模三維城市模型的自動生成、高分辨率遙感信息智能提取、在線智能遙感信息檢索等。在后PC時代,云計算技術(shù)正在得到政府、IT業(yè)界乃至各種普通用戶的廣泛關(guān)注,基于云計算技術(shù)的地理信息服務(wù)成為市場熱點(diǎn)。遙感和地理信息業(yè)界領(lǐng)先公司也開始結(jié)合云計算技術(shù),提出高度可擴(kuò)展的地理信息服務(wù),如近期ESRI公司發(fā)布了Livingmaps云智能網(wǎng)絡(luò)地圖,ERDAS公司發(fā)布了按需收費(fèi)的Apollo云遙感信息服務(wù)?!秶抑虚L期科學(xué)和技術(shù)發(fā)展規(guī)劃綱要(2006-2020)》已將“高分辨率對地觀測系統(tǒng)”列入重大專項(xiàng),旨在從根本上提高我國高分辨率遙感影像的自給率,建成空間信息產(chǎn)業(yè)鏈。高分辨率對地觀測系統(tǒng)具備巨大的市場潛力,十二五期間,包括深空探測、西部測圖、資源普查(水利、農(nóng)業(yè)、林業(yè)、礦產(chǎn))等重大工程都需要采集獲取海量的遙感影像數(shù)據(jù),同時減災(zāi)防災(zāi)、城市規(guī)劃、土地管理等都需要對遙感影像數(shù)據(jù)進(jìn)行快速處理和分析,提取各種空間信息,為各行各業(yè)的決策提供技術(shù)支持。公眾信息服務(wù)方面,各級政府都逐步開始建立公眾信息服務(wù)平臺,如“天地圖”公眾版國家地理信息公共服務(wù)平臺等都需要使用大量現(xiàn)勢性較強(qiáng)的遙感數(shù)據(jù)。高分辨率遙感數(shù)據(jù)具備地面覆蓋率高、數(shù)據(jù)量大的特點(diǎn)。以高分辨率遙感數(shù)據(jù)為代表的對地觀測數(shù)據(jù)在各行各業(yè)正在和必將起到巨大的作用然而目前遙感數(shù)據(jù)的使用無論在深度和廣度上還很不足,嚴(yán)重影響了遙感影像使用的效率和空間決策的順利進(jìn)行。首先是海量遙感影像數(shù)據(jù)的快速處理能力嚴(yán)重不足,其次是遙感影像數(shù)據(jù)的使用效率不高,尤其是深層次的空間信息獲取能力不夠,基本停留在數(shù)據(jù)瀏覽的初級水平,最后是遙感影像的應(yīng)用面還不夠,目前基本是測繪和公眾地理信息服務(wù)行業(yè)在使用。隨著下一代互聯(lián)網(wǎng)、寬帶光纖接入等網(wǎng)絡(luò)技術(shù)的快速發(fā)展以及云計算技術(shù)的普及,基于云計算技術(shù)開展海量遙感數(shù)據(jù)的高效存儲、處理、分析和分發(fā)成為可能。在遙感和地理信息軟件購置升級以及數(shù)據(jù)維護(hù)成本較高的情況下,云計算提供了一種高效能解決方案。在各種高分辨率遙感數(shù)據(jù)采集技術(shù)飛速發(fā)展,遙感數(shù)據(jù)急劇增加的情況下,如何從中對這些數(shù)據(jù)進(jìn)行高效能的處理分析,包括質(zhì)量和精度改善、時空信息提取和在線信息服務(wù)等,是決定對地觀測數(shù)據(jù)是否能發(fā)揮應(yīng)有作用的核心問題。海量遙感影像的高效能處理包括較高的處理性能和較高性價比兩個部分。其中快速處理能力是當(dāng)前遙感應(yīng)用的瓶頸。如汶川地震后獲取的各種遙感影像數(shù)據(jù),受到處理和信息提取能力的制約,直到4天后才得到較為可靠的災(zāi)情信息,極大地阻礙了災(zāi)情的及時評估和救災(zāi)行動的快速展開。云計算是信息技術(shù)產(chǎn)業(yè)的基礎(chǔ)設(shè)施,是當(dāng)前和未來信息技術(shù)產(chǎn)業(yè)發(fā)展的熱點(diǎn)和趨勢,隨著網(wǎng)絡(luò)技術(shù)的發(fā)展、網(wǎng)絡(luò)用戶的增加以及網(wǎng)絡(luò)應(yīng)用的豐富,云計算產(chǎn)業(yè)有著巨大的市場潛力。在地球空間信息產(chǎn)業(yè),由于地球空間數(shù)據(jù)和信息服務(wù)的特殊性,云計算技術(shù)可極大地提高數(shù)據(jù)存儲、處理和分析的效率,降低軟硬件和維護(hù)培訓(xùn)的費(fèi)用。因此在地球空間信息產(chǎn)業(yè),結(jié)合云計算技術(shù),立足高分辨率遙感數(shù)據(jù)的存儲、處理與信息服務(wù),具有良好的發(fā)展機(jī)遇。本發(fā)明主要針對海量高分辨率遙感影像提供高效能在線處理及信息服務(wù),主要包括原始遙感影像以及數(shù)據(jù)產(chǎn)品的云數(shù)據(jù)中心存儲與維護(hù)服務(wù)、原始影像到初級產(chǎn)品的在線高性能處理、遙感影像數(shù)據(jù)中心的快速檢索與在線空間信息服務(wù)等。針對基礎(chǔ)測繪或涉及國家安全和保密的應(yīng)用將提供全面的云計算解決方案和軟硬件建設(shè)服務(wù),對開放的應(yīng)用市場將提供集中式的云遙感影像數(shù)據(jù)中心,包括影像數(shù)據(jù)存儲、在線影像數(shù)據(jù)處理與空間信息服務(wù)。本發(fā)明將可以滿足國家社會和經(jīng)濟(jì)發(fā)展對海量遙感數(shù)據(jù)快速處理和信息獲取的需求,提供高性價比的云計算解決方案和在線服務(wù)。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明要解決的技術(shù)問題在于提供一種高效能的遙感數(shù)據(jù)處理與分析云服務(wù)框架及其實(shí)施策略,是一種對海量高分辨率遙感數(shù)據(jù)進(jìn)行高性價比處理分析的綜合解決方案。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是:一種高效能遙感數(shù)據(jù)處理與分析的云服務(wù)平臺架構(gòu),包括云遙感數(shù)據(jù)存儲與計算中心,用于遙感數(shù)據(jù)的存儲和計算;云遙感中間服務(wù)平臺公共中間件,用于遙感數(shù)據(jù)的處理和分析;輕量型云遙感信息服務(wù)客戶端,用于配置遠(yuǎn)程云計算資源、創(chuàng)建與管理遙感信息服務(wù)鏈、用戶信息管理與訪問控制、數(shù)據(jù)與服務(wù)管理和地圖可視化。按上述方案,所述的云遙感數(shù)據(jù)存儲與計算中心包括遙感信息計算云和遙感數(shù)據(jù)存儲云;遙感信息計算云,用于遙感數(shù)據(jù)的在線計算與分析;遙感數(shù)據(jù)存儲云,用于遙感數(shù)據(jù)的離線存儲。通過計算云與存儲云的物理分離,有效降低數(shù)據(jù)在線計算的資源與能源耗費(fèi)。這種分離方法符合目前國際主流云計算商業(yè)方案的普遍架構(gòu),因此有很好的兼容性能。按上述方案,所述的遙感數(shù)據(jù)存儲云,用于存儲由遙感信息計算云在線計算得到的動態(tài)數(shù)據(jù)。由于采用了一種適合于輕型客戶端訪問的程序接口,可采用表象化狀態(tài)傳輸(REST)和新技術(shù)文件系統(tǒng)(NTFS)的編程接口,可方便存儲由遙感信息計算云在線計算得到的動態(tài)數(shù)據(jù)。按上述方案,所述的云遙感服務(wù)平臺公共組件服務(wù)包括面向海量遙感影像處理與分析的云安全策略,虛擬計算集群,并行遙感/柵格數(shù)據(jù)計算中間件以及面向?qū)iT應(yīng)用的云遙感服務(wù)模塊;所述的并行遙感/柵格數(shù)據(jù)計算中間件,用于封裝分布式內(nèi)存并行計算環(huán)境中柵格數(shù)據(jù)的分解、分發(fā)和通訊操作;并負(fù)責(zé)與數(shù)據(jù)中心進(jìn)行數(shù)據(jù)交換與服務(wù)調(diào)用。按上述方案,所述的云遙感服務(wù)模塊包括遙感影像變化檢測模塊、遙感數(shù)據(jù)匹配模塊、遙感影像快速檢索模塊;遙感數(shù)據(jù)匹配模塊,用于多時想遙感影像的精確匹配和配準(zhǔn);遙感影像快速檢索模塊,用于進(jìn)行基于內(nèi)容的遙感影像信息檢索;;遙感影像變化檢測模塊,用于進(jìn)行遙感影像的快速變化檢測。按上述方案,所述的云遙感服務(wù)平臺公共組件服務(wù)還包括用于用戶二次開發(fā)的云服務(wù)應(yīng)用編程接口。按上述方案,所述的遙感影像快速檢索模塊的檢索過程包括特征提取、特征索引、特征匹配、精煉和排序。按上述方案,所述的輕量型云遙感信息服務(wù)客戶端包括用戶管理模塊、工作流組建模塊、地圖可視化界面模塊;用戶管理模塊,用于特定用戶自身的各種數(shù)據(jù)、服務(wù)管理與工作流作業(yè)管理;工作流組建模塊,用于復(fù)雜遙感影像處理與分析工作流的組件;地圖可視化模塊,用于各種遙感影像數(shù)據(jù)與其他地理信息數(shù)據(jù)的集成可視化。按上述方案,其特征在于,所述云遙感數(shù)據(jù)存儲與計算中心采用浪潮NF5225機(jī)架式服務(wù)器,建立20個虛擬節(jié)點(diǎn)的虛擬集群和數(shù)據(jù)中心。按上述方案,其特征在于,所述輕量型云遙感信息服務(wù)客戶端采用公共開放的網(wǎng)絡(luò)地圖服務(wù)集成訪問門戶技術(shù)。本發(fā)明主要技術(shù)指標(biāo)如下:1)由于采用了輕量化的云計算資源配置與管理技術(shù),并充分采用成熟的虛擬化和數(shù)據(jù)備份技術(shù),本發(fā)明可實(shí)現(xiàn)虛擬計算資源100個節(jié)點(diǎn)以上,物理網(wǎng)絡(luò)連接千兆以上,并具備較強(qiáng)的容錯能力,實(shí)現(xiàn)無故障運(yùn)行時間占比99.9%以上,并具備簡便的擴(kuò)展能力,可擴(kuò)充到10000個虛擬計算節(jié)點(diǎn);2)由于采用了計算與存儲分離的云計算框架,采用面向遙感影像數(shù)據(jù)的并行計算中間件,存儲數(shù)據(jù)總量可達(dá)30TB-50TB以上,實(shí)現(xiàn)分塊副本3個,并可擴(kuò)展到PB級,數(shù)據(jù)中心能效比達(dá)到1.8以下。支持快速虛擬集群構(gòu)建與資源伸縮擴(kuò)展,大部分遙感信息在線服務(wù)的資源伸縮請求可在5分鐘內(nèi)實(shí)現(xiàn);3)由于采用了插件式的公共組件開發(fā)架構(gòu)平臺經(jīng)過簡單擴(kuò)展,可支持各種影像數(shù)據(jù)格式,如GeoTIFF、HDF、AUX、HDR等的計算和存儲;4)結(jié)合云存儲技術(shù)及并行云計算技術(shù),提供高效能的遙感數(shù)據(jù)處理與分析服務(wù),對于大部分遙感數(shù)據(jù)處理及信息提取計算可實(shí)現(xiàn)平均不小于0.3的加速比。本發(fā)明產(chǎn)生的有益效果是:(1)本發(fā)明提供了一種低成本、高度靈活可伸縮的高效能遙感影像數(shù)據(jù)處理與應(yīng)用服務(wù)解決策略。通過發(fā)揮云計算的優(yōu)勢,可以對海量遙感數(shù)據(jù)進(jìn)行快速處理、分析,可廣泛應(yīng)用于應(yīng)急測繪等時效性要求較高的領(lǐng)域;同時本發(fā)明提供按需租用的遙感信息服務(wù),可幫助普通用戶突破技術(shù)瓶頸,獲得高性價比的遙感信息服務(wù);(2)本發(fā)明提供了一個多層次高度集中、穩(wěn)定可靠、靈活可定制的遙感數(shù)據(jù)中心。通過低成本、高效能的數(shù)據(jù)中心建設(shè)與運(yùn)維,方便不同層次的用戶快速訪問、部署與使用自己的遙感數(shù)據(jù)及數(shù)據(jù)處理、分析服務(wù)。云遙感數(shù)據(jù)中心可以快速添加、減少與定制不同的存儲、計算與網(wǎng)絡(luò)設(shè)備,迅速滿足各種應(yīng)用的資源需求。對于需要保密或自身建設(shè)數(shù)據(jù)中心的用戶,可以提供建設(shè)固定或移動式數(shù)據(jù)中心軟硬件解決方案,而對于一般用戶,則可通過公司的數(shù)據(jù)中心提供各種數(shù)據(jù)與信息服用,極大地節(jié)約了普通用戶購買、管理與處理數(shù)據(jù)的成本,提高應(yīng)用服務(wù)開發(fā)、部署以及輔助決策的效率。(3)一體化遙感數(shù)據(jù)處理、分析與應(yīng)用公共服務(wù)平臺。通過輕量化、用戶界面友好的云計算配置與管理客戶端,用戶可以在IaaS、SaaS、PaaS等層次上訪問、管理、處理、分析各種遙感數(shù)據(jù),并開發(fā)和部署應(yīng)用服務(wù),也可以直接使用項(xiàng)目提供的各高效能遙感數(shù)據(jù)處理服務(wù)。平臺融合了海量時空數(shù)據(jù)存儲、傳輸和可視化的先進(jìn)技術(shù)。平臺提供了較為完整的遙感數(shù)據(jù)處理、分析與應(yīng)用平臺框架,從原始數(shù)據(jù)管理、初級產(chǎn)品生產(chǎn)、基本數(shù)據(jù)處理到復(fù)雜數(shù)據(jù)處理、高級空間信息獲取與決策應(yīng)用服務(wù)都提供了可擴(kuò)展可互操作的開發(fā)接口與服務(wù)接口。用戶可以完全依賴該平臺進(jìn)行各種空間信息決策活動,體現(xiàn)了當(dāng)前“一站式”信息服務(wù)解決方案的前沿思路。附圖說明圖1是本發(fā)明實(shí)施例的結(jié)構(gòu)示意圖。具體實(shí)施方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白,以下結(jié)合附圖及實(shí)施例,對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解,此處所描述的具體實(shí)施例僅用以解釋本發(fā)明,并不用于限定本發(fā)明。如圖1所示,本發(fā)明提供了一種高效能遙感數(shù)據(jù)處理與分析的云服務(wù)平臺架構(gòu),包括云遙感數(shù)據(jù)存儲與計算中心,用于遙感數(shù)據(jù)的存儲和計算;云遙感中間服務(wù)平臺公共中間件,用于遙感數(shù)據(jù)的處理和分析;輕量型云遙感信息服務(wù)客戶端,用于配置遠(yuǎn)程云計算資源、創(chuàng)建與管理遙感信息服務(wù)鏈、用戶信息管理與訪問控制、數(shù)據(jù)與服務(wù)管理和地圖可視化。云遙感數(shù)據(jù)存儲與計算中心包括遙感信息計算云101和遙感數(shù)據(jù)存儲云102;遙感信息計算云101,用于遙感數(shù)據(jù)的在線計算與分析;遙感數(shù)據(jù)存儲云102,用于遙感數(shù)據(jù)的離線存儲。通過計算云與存儲云的物理分離,有效降低數(shù)據(jù)在線計算的資源與能源耗費(fèi)。這種分離方法符合目前國際主流云計算商業(yè)方案的普遍架構(gòu),因此有很好的兼容性能。遙感數(shù)據(jù)存儲云102,用于存儲由遙感信息計算云在線計算得到的動態(tài)數(shù)據(jù)。由于采用了一種適合于輕型客戶端訪問的程序接口,可采用表象化狀態(tài)傳輸(REST)和新技術(shù)文件系統(tǒng)(NTFS)的編程接口,可方便存儲由遙感信息計算云101在線計算得到的動態(tài)數(shù)據(jù)。云遙感服務(wù)平臺公共組件服務(wù)包括面向海量遙感影像處理與分析的云安全策略201,虛擬計算集群202,并行遙感/柵格數(shù)據(jù)計算中間件203以及面向?qū)iT應(yīng)用的云遙感服務(wù)模塊207;并行遙感/柵格數(shù)據(jù)計算中間件203,用于封裝分布式內(nèi)存并行計算環(huán)境中柵格數(shù)據(jù)的分解、分發(fā)和通訊操作;并負(fù)責(zé)與數(shù)據(jù)中心進(jìn)行數(shù)據(jù)交換與服務(wù)調(diào)用。云遙感服務(wù)模塊包括遙感影像變化檢測模塊204、遙感數(shù)據(jù)匹配模塊205、遙感影像快速檢索模塊206;遙感數(shù)據(jù)匹配模塊205,用于多時想遙感影像的精確匹配和配準(zhǔn);遙感影像快速檢索模塊206,用于進(jìn)行基于內(nèi)容的遙感影像信息檢索;;遙感影像變化檢測模塊204,用于進(jìn)行遙感影像的快速變化檢測。云遙感服務(wù)平臺公共組件服務(wù)還包括用于用戶二次開發(fā)的云服務(wù)應(yīng)用編程接口。遙感影像快速檢索模塊的檢索過程包括特征提取、特征索引、特征匹配、精煉和排序。輕量型云遙感信息服務(wù)客戶端包括用戶管理模塊301、工作流組建模塊302、遠(yuǎn)程配置工具模塊303、地圖可視化界面模塊303;用戶管理模塊301,用于特定用戶自身的各種數(shù)據(jù)、服務(wù)管理與工作流作業(yè)管理;工作流組建模塊302,用于復(fù)雜遙感影像處理與分析工作流的組件;地圖可視化模塊303,用于各種遙感影像數(shù)據(jù)與其他地理信息數(shù)據(jù)的集成可視化。云遙感數(shù)據(jù)存儲與計算中心采用浪潮NF5225機(jī)架式服務(wù)器,建立20個虛擬節(jié)點(diǎn)的虛擬集群和數(shù)據(jù)中心。輕量型云遙感信息服務(wù)客戶端采用公共開放的網(wǎng)絡(luò)地圖服務(wù)集成訪問門戶技術(shù)。應(yīng)當(dāng)理解的是,對本領(lǐng)域普通技術(shù)人員來說,可以根據(jù)上述說明加以改進(jìn)或變換,而所有這些改進(jìn)和變換都應(yīng)屬于本發(fā)明所附權(quán)利要求的保護(hù)范圍。