本發(fā)明涉及計(jì)算機(jī)科學(xué)與技術(shù)，特別是涉及一種空天遙感數(shù)據(jù)處理一體機(jī)。

背景技術(shù)：

隨著現(xiàn)有技術(shù)的不斷成熟，為了提高軟硬一體化的集成度，業(yè)內(nèi)包括云計(jì)算一體機(jī)、大數(shù)據(jù)一體機(jī)、超融合一體機(jī)等等一體機(jī)情況層出不窮，其主要思想是將云計(jì)算操作系統(tǒng)、大數(shù)據(jù)集群處理軟件與基礎(chǔ)硬件平臺(tái)進(jìn)行有效集成，能夠?qū)崿F(xiàn)快速交付和降低運(yùn)維難度的目標(biāo)。其中各一體機(jī)具備不同的優(yōu)缺點(diǎn)：

云計(jì)算一體機(jī)：主要實(shí)現(xiàn)空天遙感數(shù)據(jù)的服務(wù)發(fā)布功能，通過(guò)資源的池化技術(shù)將服務(wù)進(jìn)行靈活的部署和發(fā)布，針對(duì)海量遙感數(shù)據(jù)的融合、拼接以及通過(guò)算法實(shí)現(xiàn)圖像的精細(xì)化等很難滿足其性能需求；

大數(shù)據(jù)一體機(jī)：主要能夠?qū)崿F(xiàn)海量遙感數(shù)據(jù)的存儲(chǔ)、處理等性能要求，但是在針對(duì)海量數(shù)據(jù)的分析、挖掘和智能化目標(biāo)提取等方面很難達(dá)到客戶目標(biāo)要求。

通過(guò)以上分析，目前每一類(lèi)一體機(jī)產(chǎn)品都只具備獨(dú)立的功能，很難滿足空天遙感數(shù)據(jù)從引接、處理、分析、挖掘以及動(dòng)態(tài)的服務(wù)發(fā)布等全流程的業(yè)務(wù)需求。

技術(shù)實(shí)現(xiàn)要素：

鑒于上述問(wèn)題，提出了本發(fā)明以便提供一種克服上述問(wèn)題或者至少部分地解決上述問(wèn)題的空天遙感數(shù)據(jù)處理一體機(jī)。

依據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種空天遙感數(shù)據(jù)處理一體機(jī)，

所述一體機(jī)提供一體化系統(tǒng)架構(gòu)，并在所述一體化系統(tǒng)架構(gòu)中搭建處理空天遙感數(shù)據(jù)的不同模塊；

所述一體化系統(tǒng)架構(gòu)中搭建的各模塊獨(dú)立存在，獨(dú)立進(jìn)行數(shù)據(jù)處理；以及

所述一體化系統(tǒng)架構(gòu)中搭建的各模塊通過(guò)所述一體化系統(tǒng)架構(gòu)與其他模塊建立交互，與其他模塊進(jìn)行數(shù)據(jù)互通，協(xié)作支持應(yīng)用。

可選地，所述空天遙感數(shù)據(jù)處理一體機(jī)的一體化系統(tǒng)架構(gòu)中搭建有多源引接模塊、云計(jì)算服務(wù)模塊、大數(shù)據(jù)服務(wù)模塊以及深度學(xué)習(xí)服務(wù)模塊。

可選地，各模塊的功能如下：

所述多源引接模塊，配置為采用多源數(shù)據(jù)協(xié)議適配及預(yù)處理完成空天遙感數(shù)據(jù)的采集；

所述大數(shù)據(jù)服務(wù)模塊，配置為存儲(chǔ)和處理海量空天遙感數(shù)據(jù)，形成空天遙感數(shù)據(jù)的大數(shù)據(jù)處理；

所述深度學(xué)習(xí)服務(wù)模塊，配置為通過(guò)深度學(xué)習(xí)模型算法和網(wǎng)絡(luò)調(diào)優(yōu)實(shí)現(xiàn)空天遙感數(shù)據(jù)的智能提取和分析，對(duì)空天遙感數(shù)據(jù)進(jìn)行分析挖掘；

所述云計(jì)算服務(wù)模塊，配置為通過(guò)云計(jì)算技術(shù)實(shí)現(xiàn)資源分配和服務(wù)發(fā)布功能，實(shí)現(xiàn)數(shù)據(jù)可視化。

可選地，所述多源引接模塊、云計(jì)算服務(wù)模塊、大數(shù)據(jù)服務(wù)模塊以及深度學(xué)習(xí)服務(wù)模塊通過(guò)所述一體化系統(tǒng)架構(gòu)互相交互完成空天遙感數(shù)據(jù)的一次完整處理過(guò)程時(shí)，各模塊具備如下功能：

所述多源引接模塊，配置為接入分布在不同數(shù)據(jù)源的空天遙感數(shù)據(jù)，對(duì)不同類(lèi)型的空天遙感數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，得到符合所述空天遙感數(shù)據(jù)處理一體機(jī)的預(yù)設(shè)規(guī)則的清洗數(shù)據(jù)；

云計(jì)算服務(wù)模塊，與所述多源引接模塊連接，配置為接收所述多源引接模塊清洗得到的符合所述預(yù)設(shè)規(guī)則的清洗數(shù)據(jù)，依據(jù)預(yù)設(shè)的計(jì)算規(guī)則為所述清洗數(shù)據(jù)提供云計(jì)算服務(wù)，得到計(jì)算后的計(jì)算數(shù)據(jù)；

大數(shù)據(jù)服務(wù)模塊，與所述云計(jì)算服務(wù)模塊連接，配置為根據(jù)本模塊的底層資源對(duì)所述計(jì)算數(shù)據(jù)進(jìn)行整合及管理，得到服務(wù)數(shù)據(jù)；以及，利用所述服務(wù)數(shù)據(jù)為所述空天遙感數(shù)據(jù)處理一體機(jī)支持的不同上層應(yīng)用提供資源支持和響應(yīng)服務(wù)；

深度學(xué)習(xí)服務(wù)模塊，與所述大數(shù)據(jù)服務(wù)模塊連接，配置為根據(jù)深度學(xué)習(xí)算法建立學(xué)習(xí)模型，并利用海量空天遙感數(shù)據(jù)對(duì)所述學(xué)習(xí)模型進(jìn)行訓(xùn)練，以得到功能維度不斷升級(jí)的服務(wù)平臺(tái)。

可選地，所述多源引接模塊還配置為：

針對(duì)不同數(shù)據(jù)源，通過(guò)多對(duì)一的技術(shù)標(biāo)準(zhǔn)和/或接口適配能力接入不同數(shù)據(jù)源的空天遙感數(shù)據(jù)。

可選地，所述多源引接模塊還配置為：

對(duì)不同類(lèi)型的空天遙感數(shù)據(jù)按照拉伸、配準(zhǔn)、文本分詞、野點(diǎn)濾除、自動(dòng)粗標(biāo)注的流程中的至少一步對(duì)數(shù)據(jù)進(jìn)行清洗；以及

對(duì)所述清洗數(shù)據(jù)進(jìn)行統(tǒng)一融合處理，并將融合后的清洗數(shù)據(jù)傳輸至所述云計(jì)算服務(wù)模塊。

可選地，所述云計(jì)算服務(wù)模塊還配置為：

通過(guò)虛擬化技術(shù)將所述空天遙感數(shù)據(jù)處理一體機(jī)的基礎(chǔ)設(shè)施設(shè)備進(jìn)行資源池化；

將所述清洗數(shù)據(jù)作為資源分配至各資源池中；

利用云計(jì)算技術(shù)將各資源池的資源動(dòng)態(tài)、按需的分配至各業(yè)務(wù)系統(tǒng)。

可選地，所述云計(jì)算服務(wù)模塊還配置為：在業(yè)務(wù)的執(zhí)行過(guò)程中，根據(jù)業(yè)務(wù)的變更動(dòng)態(tài)地進(jìn)行資源的調(diào)度。

可選地，所述云計(jì)算服務(wù)模塊還配置為：

采用云計(jì)算技術(shù)對(duì)所述清洗數(shù)據(jù)進(jìn)行分布式計(jì)算；或者

采用云計(jì)算技術(shù)對(duì)所述清洗數(shù)據(jù)進(jìn)行內(nèi)存計(jì)算；或者

采用云計(jì)算技術(shù)對(duì)所述清洗數(shù)據(jù)進(jìn)行流式計(jì)算。

可選地，所述大數(shù)據(jù)服務(wù)模塊還配置為：

對(duì)所述云計(jì)算服務(wù)模塊得到的所述計(jì)算數(shù)據(jù)進(jìn)行進(jìn)一步的離線處理，擴(kuò)大所述計(jì)算數(shù)據(jù)的使用功能，其中，所述離線處理包括所述計(jì)算數(shù)據(jù)的存儲(chǔ)、處理、分析和挖掘中的至少一個(gè)功能。

可選地，所述大數(shù)據(jù)服務(wù)模塊還配置為：

進(jìn)一步設(shè)計(jì)大數(shù)據(jù)管理規(guī)則，利用所述大數(shù)據(jù)管理規(guī)則對(duì)所述計(jì)算數(shù)據(jù)進(jìn)行管理，以為各業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)支撐服務(wù)，其中，所述支撐服務(wù)包括負(fù)載均衡、容錯(cuò)調(diào)度中的至少之一。

可選地，所述大數(shù)據(jù)服務(wù)模塊還配置為：采用分布式文件系統(tǒng)或者分布式數(shù)據(jù)庫(kù)或者內(nèi)存數(shù)據(jù)庫(kù)對(duì)所述計(jì)算數(shù)據(jù)進(jìn)行存儲(chǔ)，以供各業(yè)務(wù)系統(tǒng)進(jìn)行調(diào)用。

可選地，所述深度學(xué)習(xí)服務(wù)模塊還配置為：

根據(jù)空天遙感數(shù)據(jù)的數(shù)據(jù)應(yīng)用特點(diǎn)，針對(duì)空間信息、態(tài)熱信息實(shí)時(shí)性要求，將遙感影像數(shù)據(jù)轉(zhuǎn)為標(biāo)準(zhǔn)化數(shù)據(jù)；

對(duì)標(biāo)準(zhǔn)化數(shù)據(jù)進(jìn)行正射校正、影像融合、影像拼接和地物的智能提取與分類(lèi)進(jìn)行深度定制和系統(tǒng)化整合。

可選地，所述空天遙感數(shù)據(jù)處理一體機(jī)的各模塊之間采用松耦合機(jī)制連接。

本發(fā)明實(shí)施例提供的空天遙感數(shù)據(jù)處理一體機(jī)產(chǎn)品的設(shè)計(jì)圍繞海量地理信息從多源數(shù)據(jù)引接、海量多樣數(shù)據(jù)的存儲(chǔ)和處理、通過(guò)深度學(xué)習(xí)算法實(shí)現(xiàn)對(duì)海量地理信息數(shù)據(jù)的智能化目標(biāo)提取和決策分析，以及通過(guò)云計(jì)算技術(shù)實(shí)現(xiàn)處理后數(shù)據(jù)的可視化效果動(dòng)態(tài)服務(wù)發(fā)布等覆蓋全過(guò)程、多技術(shù)領(lǐng)域深度融合的一體機(jī)產(chǎn)品。與現(xiàn)有技術(shù)的各種的一體機(jī)(云計(jì)算一體機(jī)、超融合一體機(jī)、大數(shù)據(jù)一體機(jī)等)只是從計(jì)算資源調(diào)度及分配、大數(shù)據(jù)處理性能等單方面解決計(jì)算性能或者處理速度等問(wèn)題的性能不同，本發(fā)明實(shí)施例提供的空天遙感數(shù)據(jù)處理一體機(jī)能夠?qū)仗爝b感數(shù)據(jù)(例如，空天遙感數(shù)據(jù))進(jìn)行有效處理，解決從數(shù)據(jù)源的采集——多源數(shù)據(jù)協(xié)議適配及預(yù)處理、大數(shù)據(jù)處理——遙感海量數(shù)據(jù)的存儲(chǔ)和處理、數(shù)據(jù)分析挖掘——通過(guò)深度學(xué)習(xí)模型算法和網(wǎng)絡(luò)調(diào)優(yōu)實(shí)現(xiàn)遙感數(shù)據(jù)的智能提取和分析、數(shù)據(jù)可視化——通過(guò)云計(jì)算技術(shù)實(shí)現(xiàn)資源分配和服務(wù)發(fā)布功能。因此，本發(fā)明實(shí)施例提供的空天遙感數(shù)據(jù)處理一體機(jī)產(chǎn)品能夠?qū)崿F(xiàn)空天遙感數(shù)據(jù)集多源引接、處理、分析、挖掘的高度集成融合的一體化解決方案。

本發(fā)明實(shí)施例提供的空天遙感數(shù)據(jù)處理一體機(jī)，在實(shí)際應(yīng)用時(shí)可以根據(jù)實(shí)際需求在一體化架構(gòu)中增加或減少實(shí)際的一體機(jī)模塊，具備很強(qiáng)的擴(kuò)展性。軟件定義設(shè)計(jì)理念，采用業(yè)務(wù)指導(dǎo)功能、功能決定架構(gòu)的設(shè)計(jì)思路和流程，模塊之間采用松耦合機(jī)制，能夠快速、靈活地在不同模塊間進(jìn)行搭建。另外，利用軟件功能部署層面，能夠?qū)崿F(xiàn)資源的動(dòng)態(tài)彈性調(diào)度，橫行的可擴(kuò)展性，實(shí)現(xiàn)資源的線性可擴(kuò)能力。

上述說(shuō)明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說(shuō)明書(shū)的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本發(fā)明的具體實(shí)施方式。

根據(jù)下文結(jié)合附圖對(duì)本發(fā)明具體實(shí)施例的詳細(xì)描述，本領(lǐng)域技術(shù)人員將會(huì)更加明了本發(fā)明的上述以及其他目的、優(yōu)點(diǎn)和特征。

附圖說(shuō)明

通過(guò)閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的，而并不認(rèn)為是對(duì)本發(fā)明的限制。而且在整個(gè)附圖中，用相同的參考符號(hào)表示相同的部件。在附圖中：

圖1示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的空天遙感數(shù)據(jù)一體機(jī)的架構(gòu)示意圖；

圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的實(shí)現(xiàn)空天遙感數(shù)據(jù)的全流程的業(yè)務(wù)需求的空天遙感數(shù)據(jù)處理一體機(jī)的結(jié)構(gòu)示意圖；

圖3示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的空天遙感數(shù)據(jù)處理一體機(jī)的軟硬件架構(gòu)結(jié)合的示意圖；以及

圖4示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的空天遙感數(shù)據(jù)處理一體機(jī)的功能分類(lèi)結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將參照附圖更詳細(xì)地描述本公開(kāi)的示例性實(shí)施例。雖然附圖中顯示了本公開(kāi)的示例性實(shí)施例，然而應(yīng)當(dāng)理解，可以以各種形式實(shí)現(xiàn)本公開(kāi)而不應(yīng)被這里闡述的實(shí)施例所限制。相反，提供這些實(shí)施例是為了能夠更透徹地理解本公開(kāi)，并且能夠?qū)⒈竟_(kāi)的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。

海量空天遙感數(shù)據(jù)目前分布在不同的數(shù)據(jù)采集點(diǎn)，包括：高分衛(wèi)星拍攝、遙感飛船、低空無(wú)人機(jī)等多個(gè)數(shù)據(jù)源進(jìn)行空天遙感數(shù)據(jù)的采集，數(shù)據(jù)源本身獲取的數(shù)據(jù)具有不同的數(shù)據(jù)格式、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)的技術(shù)要求。因此，在數(shù)據(jù)引接處理需要能夠?qū)ΜF(xiàn)有數(shù)據(jù)采集點(diǎn)數(shù)據(jù)有效的協(xié)議適配、傳輸加速以及數(shù)據(jù)預(yù)處理等功能，引接的數(shù)據(jù)才能實(shí)現(xiàn)后續(xù)的處理、分析和服務(wù)的發(fā)布供用戶使用。

空天遙感數(shù)據(jù)具有數(shù)據(jù)類(lèi)型多樣、數(shù)據(jù)量龐大、處理時(shí)效性高等典型大數(shù)據(jù)特征，圍繞地理空間大數(shù)據(jù)市場(chǎng)需求的演進(jìn)給數(shù)據(jù)處理提出了巨大挑戰(zhàn)，傳統(tǒng)的web(網(wǎng)絡(luò))—中間件—數(shù)據(jù)庫(kù)的三層架構(gòu)很難滿足對(duì)海量空天遙感數(shù)據(jù)的處理、分析挖掘性能、吞吐的需求。云計(jì)算、大數(shù)據(jù)技術(shù)的不斷成熟和演進(jìn)，將技術(shù)架構(gòu)從scale-in(內(nèi)向擴(kuò)展)的模式轉(zhuǎn)變?yōu)閟cale-out(橫向擴(kuò)展)模式，實(shí)現(xiàn)橫向可擴(kuò)的支撐架構(gòu)，隨著橫向節(jié)點(diǎn)不斷增加，整體集群的性能和吞吐越大，有效滿足海量遙感數(shù)據(jù)的存儲(chǔ)、處理、分析挖掘的性能要求。

目前情況下，遙感影像數(shù)據(jù)的智能化目標(biāo)提取、決策分析等主要靠人工的方式進(jìn)行，系統(tǒng)的處理效率和精確度不高。人工智能技術(shù)的不斷成熟，逐步取代了傳統(tǒng)人工提取的模式，人工智能技術(shù)主要通過(guò)設(shè)計(jì)有效的目標(biāo)分析的業(yè)務(wù)模型，通過(guò)深度學(xué)習(xí)的無(wú)監(jiān)督網(wǎng)絡(luò)的調(diào)優(yōu)和調(diào)參，訓(xùn)練模型的有效特征值，實(shí)現(xiàn)對(duì)目標(biāo)提取和決策分析高效的處理。

針對(duì)海量空天遙感數(shù)據(jù)處理效果的可視化和服務(wù)發(fā)布，云計(jì)算技術(shù)是很好的支撐，云計(jì)算技術(shù)主要通過(guò)對(duì)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等設(shè)備進(jìn)行資源的池化，通過(guò)智能的資源管理平臺(tái)實(shí)現(xiàn)對(duì)應(yīng)用服務(wù)所需資源的動(dòng)態(tài)調(diào)配和按需分配，能夠靈活的實(shí)現(xiàn)資源的有效利用和動(dòng)態(tài)釋放，充分的實(shí)現(xiàn)前端用戶對(duì)服務(wù)請(qǐng)求的友好反饋，滿足客戶的良好使用效果。

基于上述分析，為解決上述技術(shù)問(wèn)題，本發(fā)明實(shí)施例提供了一種空天遙感數(shù)據(jù)處理一體機(jī)。圖1示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的空天遙感數(shù)據(jù)一體機(jī)的架構(gòu)示意圖。參見(jiàn)圖1，本發(fā)明的空天遙感數(shù)據(jù)一體機(jī)的技術(shù)構(gòu)思是提供一體化系統(tǒng)架構(gòu)，并在一體化系統(tǒng)架構(gòu)中搭建處理空天遙感數(shù)據(jù)的不同模塊。需要說(shuō)明地是，空天遙感數(shù)據(jù)處理一體機(jī)的一體化系統(tǒng)架構(gòu)中搭建的各模塊可以獨(dú)立存在，獨(dú)立地進(jìn)行數(shù)據(jù)處理，也可以通過(guò)一體化系統(tǒng)架構(gòu)與其他模塊建立交互關(guān)系，與其他模塊進(jìn)行數(shù)據(jù)互通，以達(dá)到協(xié)作支持應(yīng)用的目的。

在空天遙感數(shù)據(jù)的處理過(guò)程中，各模塊能夠分別滿足空天遙感數(shù)據(jù)從引接、處理、分析、挖掘以及動(dòng)態(tài)的服務(wù)發(fā)布等全流程的業(yè)務(wù)需求。具體地，若需要完成空天遙感數(shù)據(jù)的全流程的業(yè)務(wù)需求，那么空天遙感數(shù)據(jù)處理一體機(jī)至少需要包括接收空天遙感數(shù)據(jù)的多源引接模塊，快速進(jìn)行數(shù)據(jù)計(jì)算的云計(jì)算模塊，支持多應(yīng)用的大數(shù)據(jù)服務(wù)模塊，以及根據(jù)空天遙感數(shù)據(jù)不斷更新和學(xué)習(xí)的深度學(xué)習(xí)模塊。圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的實(shí)現(xiàn)空天遙感數(shù)據(jù)的全流程的業(yè)務(wù)需求的空天遙感數(shù)據(jù)處理一體機(jī)的結(jié)構(gòu)示意圖。參見(jiàn)圖2，該空天遙感數(shù)據(jù)處理一體機(jī)可以包括：

多源引接模塊210，配置為采用多源數(shù)據(jù)協(xié)議適配及預(yù)處理完成空天遙感數(shù)據(jù)的采集；

大數(shù)據(jù)服務(wù)模塊220，配置為存儲(chǔ)和處理海量空天遙感數(shù)據(jù)，形成空天遙感數(shù)據(jù)的大數(shù)據(jù)處理；

深度學(xué)習(xí)服務(wù)模塊230，配置為通過(guò)深度學(xué)習(xí)模型算法和網(wǎng)絡(luò)調(diào)優(yōu)實(shí)現(xiàn)空天遙感數(shù)據(jù)的智能提取和分析，對(duì)空天遙感數(shù)據(jù)進(jìn)行分析挖掘；

云計(jì)算服務(wù)模塊240，配置為通過(guò)云計(jì)算技術(shù)實(shí)現(xiàn)資源分配和服務(wù)發(fā)布功能，實(shí)現(xiàn)數(shù)據(jù)可視化。

其中，多源引接模塊210、大數(shù)據(jù)服務(wù)模塊220、深度學(xué)習(xí)服務(wù)模塊230以及云計(jì)算服務(wù)模塊240可以獨(dú)立存在，獨(dú)立進(jìn)行數(shù)據(jù)處理、應(yīng)用支撐、數(shù)據(jù)存儲(chǔ)等服務(wù)，沒(méi)有先后順序。當(dāng)需要對(duì)空天遙感數(shù)據(jù)進(jìn)行流程化處理時(shí)，多源引接模塊210、大數(shù)據(jù)服務(wù)模塊220、深度學(xué)習(xí)服務(wù)模塊230以及云計(jì)算服務(wù)模塊240可以通過(guò)一體化架構(gòu)提供的接口實(shí)現(xiàn)各模塊的交互。

具體地，多源引接模塊210、大數(shù)據(jù)服務(wù)模塊220、深度學(xué)習(xí)服務(wù)模塊230以及云計(jì)算服務(wù)模塊240通過(guò)一體化系統(tǒng)架構(gòu)互相交互完成空天遙感數(shù)據(jù)的一次完整處理過(guò)程時(shí)，各模塊具備的功能及具體的信號(hào)交互過(guò)程如下：

多源引接模塊210，配置為接入分布在不同數(shù)據(jù)源的空天遙感數(shù)據(jù)，對(duì)不同類(lèi)型的空天遙感數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，得到符合空天遙感數(shù)據(jù)處理一體機(jī)的預(yù)設(shè)規(guī)則的清洗數(shù)據(jù)；

云計(jì)算服務(wù)模塊240，與多源引接模塊210連接，配置為接收多源引接模塊210清洗得到的符合預(yù)設(shè)規(guī)則的清洗數(shù)據(jù)，依據(jù)預(yù)設(shè)的計(jì)算規(guī)則為清洗數(shù)據(jù)提供云計(jì)算服務(wù)，得到計(jì)算后的計(jì)算數(shù)據(jù)；

大數(shù)據(jù)服務(wù)模塊220，與云計(jì)算服務(wù)模塊240連接，配置為根據(jù)本模塊的底層資源對(duì)計(jì)算數(shù)據(jù)進(jìn)行整合及管理，得到服務(wù)數(shù)據(jù)；以及，利用服務(wù)數(shù)據(jù)為空天遙感數(shù)據(jù)處理一體機(jī)支持的不同上層應(yīng)用提供資源支持和響應(yīng)服務(wù)；

深度學(xué)習(xí)服務(wù)模塊230，與大數(shù)據(jù)服務(wù)模塊220連接，配置為根據(jù)深度學(xué)習(xí)算法建立學(xué)習(xí)模型，并利用海量空天遙感數(shù)據(jù)對(duì)學(xué)習(xí)模型進(jìn)行訓(xùn)練，以得到功能維度不斷升級(jí)的服務(wù)平臺(tái)。

本發(fā)明實(shí)施例提供的空天遙感數(shù)據(jù)處理一體機(jī)產(chǎn)品的設(shè)計(jì)圍繞海量空天遙感數(shù)據(jù)從多源數(shù)據(jù)引接、海量多樣數(shù)據(jù)的存儲(chǔ)和處理、通過(guò)深度學(xué)習(xí)算法實(shí)現(xiàn)對(duì)海量地理信息數(shù)據(jù)的智能化目標(biāo)提取和決策分析，以及通過(guò)云計(jì)算技術(shù)實(shí)現(xiàn)處理后數(shù)據(jù)的可視化效果動(dòng)態(tài)服務(wù)發(fā)布等覆蓋全過(guò)程、多技術(shù)領(lǐng)域深度融合的一體機(jī)產(chǎn)品。與現(xiàn)有技術(shù)的各種的一體機(jī)(云計(jì)算一體機(jī)、超融合一體機(jī)、大數(shù)據(jù)一體機(jī)等)只是從計(jì)算資源調(diào)度及分配、大數(shù)據(jù)處理性能等單方面解決計(jì)算性能或者處理速度等問(wèn)題的性能不同，本發(fā)明實(shí)施例提供的空天遙感數(shù)據(jù)處理一體機(jī)能夠?qū)仗爝b感數(shù)據(jù)進(jìn)行有效處理，解決從數(shù)據(jù)源的采集——多源數(shù)據(jù)協(xié)議適配及預(yù)處理、大數(shù)據(jù)處理——遙感海量數(shù)據(jù)的存儲(chǔ)和處理、數(shù)據(jù)分析挖掘——通過(guò)深度學(xué)習(xí)模型算法和網(wǎng)絡(luò)調(diào)優(yōu)實(shí)現(xiàn)遙感數(shù)據(jù)的智能提取和分析、數(shù)據(jù)可視化——通過(guò)云計(jì)算技術(shù)實(shí)現(xiàn)資源分配和服務(wù)發(fā)布功能的問(wèn)題。因此，本發(fā)明實(shí)施例提供的空天遙感數(shù)據(jù)處理一體機(jī)產(chǎn)品能夠?qū)崿F(xiàn)空天遙感數(shù)據(jù)集多源引接、處理、分析、挖掘的高度集成融合的一體化解決方案。

本發(fā)明實(shí)施例提供的空天遙感數(shù)據(jù)處理一體機(jī)不僅僅包括圖2所示的各模塊，在實(shí)際應(yīng)用時(shí)可以根據(jù)實(shí)際需求在一體化架構(gòu)中增加或減少實(shí)際的一體機(jī)模塊，具備很強(qiáng)的擴(kuò)展性。軟件定義設(shè)計(jì)理念，采用業(yè)務(wù)指導(dǎo)功能、功能決定架構(gòu)的設(shè)計(jì)思路和流程，模塊之間采用松耦合機(jī)制，能夠快速、靈活地在不同模塊間進(jìn)行搭建。另外，利用軟件功能部署層面，能夠?qū)崿F(xiàn)資源的動(dòng)態(tài)彈性調(diào)度，橫行的可擴(kuò)展性，實(shí)現(xiàn)資源的線性可擴(kuò)能力。

圖3示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的空天遙感數(shù)據(jù)處理一體機(jī)的軟硬件架構(gòu)結(jié)合的示意圖。參見(jiàn)圖3，空天遙感數(shù)據(jù)處理一體機(jī)可以由計(jì)算處理設(shè)備、智能處理設(shè)備、存儲(chǔ)設(shè)備和網(wǎng)絡(luò)設(shè)備等硬件設(shè)備集合而成。軟件運(yùn)行在由各設(shè)備所提供或組合的硬件架構(gòu)上，提供不同的業(yè)務(wù)支持。在實(shí)際應(yīng)用中，本發(fā)明實(shí)施例的空天遙感數(shù)據(jù)處理一體機(jī)還可以采用其他分類(lèi)方式，圖4示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的空天遙感數(shù)據(jù)處理一體機(jī)的功能分類(lèi)結(jié)構(gòu)示意圖。

結(jié)合圖1-圖4，在本發(fā)明實(shí)施例中，首先，多源引接模塊210針對(duì)不同數(shù)據(jù)源，通過(guò)多對(duì)一的技術(shù)標(biāo)準(zhǔn)和/或接口適配能力接入不同數(shù)據(jù)源的地理空間數(shù)據(jù)。由圖4可以看出，數(shù)據(jù)源可以是飛機(jī)拍攝、衛(wèi)星拍攝、無(wú)人駕駛小機(jī)器人拍攝等等。這些數(shù)據(jù)類(lèi)型較多，且多是視頻類(lèi)數(shù)據(jù)，數(shù)據(jù)量極大，需要有足夠能力的后臺(tái)進(jìn)行支持。參見(jiàn)圖3可知常見(jiàn)的數(shù)據(jù)類(lèi)型，除視頻類(lèi)外，還包括圖像、文本、電子和其他類(lèi)型。與圖3基于硬件設(shè)備的分類(lèi)不同，圖4基于功能將空天遙感數(shù)據(jù)處理一體機(jī)進(jìn)一步分為計(jì)算模塊、存儲(chǔ)模塊、圖形加速模塊和網(wǎng)絡(luò)互連模塊，各軟件模塊靈活組合形成各種符合業(yè)務(wù)需求的一體機(jī)產(chǎn)品。

本發(fā)明實(shí)施例在闡述空天遙感數(shù)據(jù)處理一體機(jī)時(shí)以圖2以及圖3的分類(lèi)方式為依據(jù)進(jìn)行論述，與圖4的分類(lèi)可能有重疊或沖突，這僅僅是稱(chēng)呼或者分類(lèi)上的不同，并不影響空天遙感數(shù)據(jù)處理一體機(jī)的實(shí)際功能。

實(shí)施時(shí)，多源引接模塊210可以對(duì)不同類(lèi)型的空天遙感數(shù)據(jù)按照拉伸、配準(zhǔn)、文本分詞、野點(diǎn)濾除、自動(dòng)粗標(biāo)注的流程中的至少一步對(duì)數(shù)據(jù)進(jìn)行清洗。以及，對(duì)清洗數(shù)據(jù)進(jìn)行統(tǒng)一融合處理，并將融合后的清洗數(shù)據(jù)傳輸至云計(jì)算服務(wù)模塊240。清洗后的數(shù)據(jù)具備相同的類(lèi)型，降低了傳輸、存儲(chǔ)等處理難度。多源引接模塊210引接數(shù)據(jù)與空天遙感數(shù)據(jù)處理一體機(jī)的數(shù)據(jù)層進(jìn)行實(shí)時(shí)、分時(shí)通訊和故障監(jiān)測(cè)，并可以通過(guò)網(wǎng)絡(luò)將各種方式的數(shù)據(jù)進(jìn)行融合，并統(tǒng)一違反傳輸和存儲(chǔ)到數(shù)據(jù)層。多源引接模塊210提供了大數(shù)據(jù)接入框架，并在大數(shù)據(jù)接入框架內(nèi)置了各種增量數(shù)據(jù)抽取模塊，能夠捕獲數(shù)據(jù)表上的變化數(shù)據(jù)，并將其轉(zhuǎn)換為目標(biāo)系統(tǒng)的數(shù)據(jù)格式，加載數(shù)據(jù)庫(kù)中。對(duì)于跨系統(tǒng)的數(shù)據(jù)共享，接入框架還支持一對(duì)多以及雙向同步且源和目標(biāo)可以是如文件、數(shù)據(jù)庫(kù)、ldap(lightweightdirectoryaccessprotocol，輕量目錄訪問(wèn)協(xié)議)、webservice(網(wǎng)絡(luò)服務(wù)器)等多種數(shù)據(jù)源，能夠滿足各種系統(tǒng)數(shù)據(jù)共享的需求。同時(shí)，多源引接模塊210所在的系統(tǒng)提供了豐富的數(shù)據(jù)源支持，可視化的數(shù)據(jù)清洗轉(zhuǎn)換規(guī)則，靈活的調(diào)度設(shè)置，強(qiáng)大的統(tǒng)一監(jiān)控平臺(tái)，能全面滿足數(shù)據(jù)中心數(shù)據(jù)倉(cāng)庫(kù)類(lèi)項(xiàng)目的需求。可以將不同來(lái)源的數(shù)據(jù)，經(jīng)過(guò)清洗轉(zhuǎn)換后變?yōu)榻y(tǒng)一格式存儲(chǔ)。

進(jìn)一步，云計(jì)算服務(wù)模塊240對(duì)數(shù)據(jù)進(jìn)行計(jì)算。云計(jì)算服務(wù)模塊240調(diào)用云計(jì)算共享資源集群，為整個(gè)空天遙感數(shù)據(jù)處理一體機(jī)的一體化系統(tǒng)平臺(tái)提供高性能的計(jì)算資源。云計(jì)算服務(wù)模塊240可以通過(guò)虛擬化技術(shù)將空天遙感數(shù)據(jù)處理一體機(jī)的基礎(chǔ)設(shè)施設(shè)備進(jìn)行資源池化，將清洗數(shù)據(jù)作為資源分配至各資源池中，利用云計(jì)算技術(shù)將各資源池的資源動(dòng)態(tài)、按需的分配至各業(yè)務(wù)系統(tǒng)。以及，云計(jì)算服務(wù)模塊240在業(yè)務(wù)的執(zhí)行過(guò)程中，根據(jù)業(yè)務(wù)的變更動(dòng)態(tài)地進(jìn)行資源的調(diào)度。即，云計(jì)算服務(wù)模塊240能夠?qū)Y源的調(diào)度、管理進(jìn)行動(dòng)態(tài)調(diào)整。例如，圖3中示出了計(jì)算資源池、存儲(chǔ)資源池、網(wǎng)絡(luò)資源池、gpu(graphicsprocessingunit，圖形處理單元)資源池這四類(lèi)資源池。

需要說(shuō)明的是，虛擬化技術(shù)與云計(jì)算服務(wù)的結(jié)合，使得本發(fā)明實(shí)施例的空天遙感數(shù)據(jù)處理一體機(jī)具備極高的大數(shù)據(jù)計(jì)算的能力，大數(shù)據(jù)計(jì)算能力較高，才能夠滿足空天遙感數(shù)據(jù)量較大的需求。而虛擬化技術(shù)使得數(shù)據(jù)處理過(guò)程由底層處理的不可見(jiàn)變?yōu)樘摂M池的界面化，即使得數(shù)據(jù)處理變得可視化，尤其后續(xù)在產(chǎn)品或者服務(wù)層面的更新時(shí)，可視化的服務(wù)發(fā)布能夠增加客戶粘性。其中，大數(shù)據(jù)計(jì)算涉及到大數(shù)據(jù)計(jì)算引擎，大數(shù)據(jù)計(jì)算主要有分布式計(jì)算、內(nèi)存計(jì)算和流式計(jì)算三種形態(tài)。

1)分布式計(jì)算

分布式計(jì)算是把一個(gè)需要非常巨大的計(jì)算能力才能解決的問(wèn)題分成許多小的部分，然后把這些部分分別分配給許多計(jì)算機(jī)進(jìn)行處理，最后把這些計(jì)算結(jié)果綜合起來(lái)得到最終的結(jié)果。目前較流行的分布式計(jì)算模型是hadoop(分布式系統(tǒng)基礎(chǔ)架構(gòu))的mapreduce。mapreduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集(大于1tb)的并行運(yùn)算。概念“map(映射)”和“reduce(歸約)”，是它們的主要思想，都是從函數(shù)式編程語(yǔ)言里借來(lái)的，還有從矢量編程語(yǔ)言里借來(lái)的特性。它極大地方便了編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。當(dāng)前的軟件實(shí)現(xiàn)是指定一個(gè)map(映射)函數(shù)，用來(lái)把一組鍵值對(duì)映射成一組新的鍵值對(duì)，指定并發(fā)的reduce(歸約)函數(shù)，用來(lái)保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組。mapreduce的典型應(yīng)用包括日志分析、搜索索引等。

2)內(nèi)存計(jì)算

內(nèi)存計(jì)算(in-memorycomputing)，實(shí)質(zhì)上就是cpu(centralprocessingunit，中央處理器)直接從內(nèi)存而非硬盤(pán)上讀取數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行計(jì)算、分析。此項(xiàng)技術(shù)是對(duì)傳統(tǒng)數(shù)據(jù)處理方式的一種加速，是實(shí)現(xiàn)商務(wù)智能中海量數(shù)據(jù)分析和實(shí)施數(shù)據(jù)分析的關(guān)鍵應(yīng)用技術(shù)。spark是一個(gè)基于內(nèi)存計(jì)算的開(kāi)源集群計(jì)算系統(tǒng)，目的是更快速的進(jìn)行數(shù)據(jù)分析。輕量級(jí)快速處理。著眼大數(shù)據(jù)處理，速度往往被置于第一位，技術(shù)人員經(jīng)常尋找能盡快處理數(shù)據(jù)的工具。spark允許hadoop集群中的應(yīng)用程序在內(nèi)存中以100倍的速度運(yùn)行，即使在磁盤(pán)上運(yùn)行也能快10倍。spark通過(guò)減少磁盤(pán)io(in-out，輸入/輸出)來(lái)達(dá)到性能提升，將中間處理數(shù)據(jù)全部放到了內(nèi)存中。

3)流式計(jì)算

流式計(jì)算并不是進(jìn)行流式數(shù)據(jù)的存儲(chǔ)，而是當(dāng)流動(dòng)的數(shù)據(jù)到來(lái)后在內(nèi)存中直接進(jìn)行數(shù)據(jù)的實(shí)時(shí)計(jì)算。目前較流行的流式計(jì)算模型有storm、s4等。流式計(jì)算以實(shí)時(shí)數(shù)據(jù)產(chǎn)出的低延遲、高吞吐為目標(biāo)，在實(shí)時(shí)消息處理等方面廣泛應(yīng)用。

云計(jì)算服務(wù)模塊240對(duì)多源引接模塊210引接的海量數(shù)據(jù)及時(shí)處理之后，將得到的計(jì)算數(shù)據(jù)傳輸至大數(shù)據(jù)服務(wù)模塊220。大數(shù)據(jù)服務(wù)模塊220采用大數(shù)據(jù)處理集群實(shí)現(xiàn)，主要實(shí)現(xiàn)多源海量數(shù)據(jù)的存儲(chǔ)、處理、分析和挖掘等功能，按照數(shù)據(jù)的特點(diǎn)可以將數(shù)據(jù)分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，根據(jù)業(yè)務(wù)的不同需求，實(shí)現(xiàn)數(shù)據(jù)的離線分析、準(zhǔn)實(shí)時(shí)處理和實(shí)時(shí)數(shù)據(jù)處理能力，進(jìn)一步設(shè)計(jì)大數(shù)據(jù)管理規(guī)則，利用大數(shù)據(jù)管理規(guī)則對(duì)計(jì)算數(shù)據(jù)進(jìn)行管理，以為各業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)支撐服務(wù)，其中，支撐服務(wù)包括負(fù)載均衡、容錯(cuò)調(diào)度中的至少之一。并且，大數(shù)據(jù)服務(wù)模塊220對(duì)底層資源全面整合和全生命周期集中管理，從而在保證數(shù)據(jù)的安全可靠性前提下，為各類(lèi)上層應(yīng)用提供資源支持和快速響應(yīng)服務(wù)。

大數(shù)據(jù)服務(wù)模塊220的功能包括數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理等等。云計(jì)算服務(wù)模塊240更偏向于對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，而實(shí)時(shí)處理后的數(shù)據(jù)則可以利用大數(shù)據(jù)服務(wù)模塊220對(duì)其進(jìn)行存儲(chǔ)以及進(jìn)一步的分析處理等，以達(dá)到對(duì)數(shù)據(jù)的進(jìn)一步利用。大數(shù)據(jù)服務(wù)模塊220進(jìn)一步可以對(duì)云計(jì)算服務(wù)模塊得到的計(jì)算數(shù)據(jù)進(jìn)行進(jìn)一步的離線處理，擴(kuò)大計(jì)算數(shù)據(jù)的使用功能，其中，離線處理包括計(jì)算數(shù)據(jù)的存儲(chǔ)、處理、分析和挖掘中的至少一個(gè)功能。

其中，大數(shù)據(jù)服務(wù)模塊220在完成數(shù)據(jù)存儲(chǔ)功能時(shí)，可以利用分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)、內(nèi)存數(shù)據(jù)庫(kù)等不同的數(shù)據(jù)庫(kù)完成數(shù)據(jù)存儲(chǔ)。具體地，

1)分布式文件系統(tǒng)

分布式文件系統(tǒng)是指文件系統(tǒng)管理的物理存儲(chǔ)資源不一定直接連接在本地節(jié)點(diǎn)上，而是通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)相連。分布式文件系統(tǒng)的特點(diǎn)包括更容易地訪問(wèn)文件、服務(wù)器負(fù)載平衡、文件和文件夾安全等。目前，比較流行的分布式文件系統(tǒng)包括hdfs(hadoop分布式文件系統(tǒng)被設(shè)計(jì)成適合運(yùn)行在通用硬件(commodityhardware)上的分布式文件系統(tǒng))、ceph、lustre、glusterfs(glusterfilesystem，集群文件系統(tǒng))、pvfs(并行虛擬文件系統(tǒng))、gfs(thegooglefilesystem，可擴(kuò)展的谷歌文件系統(tǒng))等。對(duì)于不方便用數(shù)據(jù)庫(kù)二維邏輯表來(lái)表現(xiàn)的非結(jié)構(gòu)化數(shù)據(jù)，比如所有格式的辦公文檔、文本、圖片、xml(可擴(kuò)展標(biāo)記語(yǔ)言)、html(超文本標(biāo)記語(yǔ)言)、各類(lèi)報(bào)表、圖像和音頻/視頻信息等都可以采用分布式文件系統(tǒng)存儲(chǔ)。

2)分布式數(shù)據(jù)庫(kù)

分布式數(shù)據(jù)庫(kù)系統(tǒng)由分布于多個(gè)計(jì)算機(jī)結(jié)點(diǎn)上的若干個(gè)數(shù)據(jù)庫(kù)系統(tǒng)組成，它提供有效的存取手段來(lái)操縱這些結(jié)點(diǎn)上的子數(shù)據(jù)庫(kù)。分布式數(shù)據(jù)庫(kù)在使用上可視為一個(gè)完整的數(shù)據(jù)庫(kù)，而實(shí)際上它是分布在地理分散的各個(gè)結(jié)點(diǎn)上，分布在各個(gè)結(jié)點(diǎn)上的子數(shù)據(jù)庫(kù)在邏輯上是相關(guān)的。目前，比較流行的分布式數(shù)據(jù)庫(kù)有hbase等。hbase已在互聯(lián)網(wǎng)搜索、捕獲增量數(shù)據(jù)等方面得到了很好的應(yīng)用。

3)內(nèi)存數(shù)據(jù)庫(kù)

將數(shù)據(jù)放在內(nèi)存中直接操作的數(shù)據(jù)庫(kù)。相對(duì)于磁盤(pán)，內(nèi)存的數(shù)據(jù)讀寫(xiě)速度要高出幾個(gè)數(shù)量級(jí)，將數(shù)據(jù)保存在內(nèi)存中相比從磁盤(pán)上訪問(wèn)能夠極大地提高應(yīng)用的性能。內(nèi)存數(shù)據(jù)庫(kù)的特點(diǎn)包括：采用復(fù)雜的數(shù)據(jù)模型表示數(shù)據(jù)結(jié)構(gòu)，數(shù)據(jù)冗余小，易擴(kuò)充，實(shí)現(xiàn)了數(shù)據(jù)共享；具有較高的數(shù)據(jù)和程序獨(dú)立性，數(shù)據(jù)庫(kù)的獨(dú)立性有物理獨(dú)立性和邏輯獨(dú)立性；內(nèi)存數(shù)據(jù)庫(kù)為用戶提供了方便的用戶接口；內(nèi)存數(shù)據(jù)庫(kù)提供4個(gè)方面的數(shù)據(jù)控制功能，分別是并發(fā)控制、恢復(fù)、完整性和安全性；增加了系統(tǒng)的靈活性。主流的內(nèi)存數(shù)據(jù)庫(kù)包括timesten、ase-imdb、soliddb等。

除上述模塊之外，本發(fā)明實(shí)施例的空天遙感數(shù)據(jù)處理一體機(jī)還提供了深度學(xué)習(xí)服務(wù)模塊230。其中，深度學(xué)習(xí)服務(wù)模塊230可以根據(jù)空天遙感數(shù)據(jù)的數(shù)據(jù)應(yīng)用特點(diǎn)，針對(duì)空間信息、態(tài)熱信息實(shí)時(shí)性要求，將遙感影像數(shù)據(jù)轉(zhuǎn)為標(biāo)準(zhǔn)化數(shù)據(jù)，進(jìn)而對(duì)標(biāo)準(zhǔn)化數(shù)據(jù)進(jìn)行正射校正、影像融合、影像拼接和地物的智能提取與分類(lèi)進(jìn)行深度定制和系統(tǒng)化整合。

具體地，在空天遙感數(shù)據(jù)層面，深度學(xué)習(xí)服務(wù)模塊230所處的深度學(xué)習(xí)平臺(tái)主要實(shí)現(xiàn)根據(jù)海量空天遙感數(shù)據(jù)的數(shù)據(jù)應(yīng)用特點(diǎn)，針對(duì)空間信息、態(tài)勢(shì)信息實(shí)時(shí)性要求，將遙感影像數(shù)據(jù)的標(biāo)準(zhǔn)化服務(wù)，并對(duì)標(biāo)準(zhǔn)化數(shù)據(jù)進(jìn)行正射校正、影像融合、影像拼接和地物的智能提取與分類(lèi)等進(jìn)行深度定制和系統(tǒng)化融合，為用戶提供一個(gè)具備獨(dú)立進(jìn)行深度學(xué)習(xí)模型訓(xùn)練，計(jì)算調(diào)度服務(wù)、智能分析服務(wù)、模型訓(xùn)練管理(訓(xùn)練服務(wù)框架+訓(xùn)練服務(wù)+可視化前端)、模型管理、識(shí)別服務(wù)調(diào)度管理服務(wù)、識(shí)別服務(wù)集以及結(jié)果訪問(wèn)api(applicationprogramminginterface，應(yīng)用程序編程接口)的一體化平臺(tái)。

機(jī)器學(xué)習(xí)算法一般都有很多個(gè)步驟迭代計(jì)算的過(guò)程，機(jī)器學(xué)習(xí)的計(jì)算需要在多次迭代后獲得足夠小的誤差或者足夠收斂才會(huì)停止，迭代時(shí)如果使用hadoop的mapreduce計(jì)算框架，每次計(jì)算都要讀/寫(xiě)磁盤(pán)以及任務(wù)的啟動(dòng)等工作，這回導(dǎo)致非常大的i/o和cpu消耗。而spark基于內(nèi)存的計(jì)算模型天生就擅長(zhǎng)迭代計(jì)算，多個(gè)步驟計(jì)算直接在內(nèi)存中完成，只有在必要時(shí)才會(huì)操作磁盤(pán)和網(wǎng)絡(luò)，所以說(shuō)sparkmlib正是機(jī)器學(xué)習(xí)的理想的平臺(tái)。mllib基于rdd(resilientdistributeddatasets，彈性分布式數(shù)據(jù)集)，可以與sparksql、graphx、sparkstreaming無(wú)縫集成，以rdd為基石，mllib是spark實(shí)現(xiàn)一些常見(jiàn)的機(jī)器學(xué)習(xí)算法和實(shí)用程序，包括分類(lèi)、回歸、聚類(lèi)、協(xié)同過(guò)濾、降維以及底層優(yōu)化，該算法可以進(jìn)行可擴(kuò)充。

本發(fā)明實(shí)施例提供的空天遙感數(shù)據(jù)處理一體機(jī)通過(guò)服務(wù)引擎面向應(yīng)用提供統(tǒng)一的數(shù)據(jù)、資源服務(wù)?？梢悦嫦虼髷?shù)據(jù)的建模、管理、分析、挖掘和融合等，支撐各類(lèi)基于大數(shù)據(jù)平臺(tái)的新業(yè)務(wù)、通過(guò)云計(jì)算發(fā)布服務(wù)等。本發(fā)明產(chǎn)品涵蓋遙感信息領(lǐng)域從多源數(shù)據(jù)引接、海量數(shù)據(jù)存儲(chǔ)和處理、數(shù)據(jù)智能分析和挖掘以及動(dòng)態(tài)可視化服務(wù)發(fā)布全過(guò)程，形成了數(shù)據(jù)平臺(tái)的一體化、智能化和自動(dòng)化?？芍С植煌酒脚_(tái)，全面提高自主安全可控程度。

綜上，本發(fā)明實(shí)施例提供的空天遙感數(shù)據(jù)處理一體機(jī)，主要優(yōu)勢(shì)體現(xiàn)如下：

1、跨界融合、深度優(yōu)化

橫切面角度分析，本發(fā)明實(shí)施例提供的空天遙感數(shù)據(jù)處理一體機(jī)產(chǎn)品體系涵蓋的領(lǐng)域多、業(yè)務(wù)廣；

縱切面角度分析，本發(fā)明實(shí)施例提供的空天遙感數(shù)據(jù)處理一體機(jī)產(chǎn)品體系在性能、接口適配和模塊兼容等方面進(jìn)行深度調(diào)優(yōu)、多尺度測(cè)試，形成多功能、高性能、自適應(yīng)的一體化解決方案；

2、軟件定義、靈活彈性

軟件定義設(shè)計(jì)理念，采用業(yè)務(wù)指導(dǎo)功能、功能決定架構(gòu)的設(shè)計(jì)思路和流程，模塊之間采用松耦合機(jī)制，能夠快速、靈活的搭建；

部署層面，能夠?qū)崿F(xiàn)資源的動(dòng)態(tài)彈性調(diào)度，橫行的可擴(kuò)展性，實(shí)現(xiàn)資源的線性可擴(kuò)能力；

3、集中管理、快速交付

深度集成虛擬化、大數(shù)據(jù)處理平臺(tái)，并深度優(yōu)化軟硬件的性能，靈活的模塊化配置實(shí)現(xiàn)一體機(jī)資源池集中調(diào)度、管理和資源的統(tǒng)一監(jiān)控；

高度融合的一體化產(chǎn)品，依托集成的軟件堆棧，可以很方便的實(shí)現(xiàn)自動(dòng)化部署、快速交付；

4、安全可靠、維護(hù)至簡(jiǎn)

深度適配各種芯片硬件平臺(tái)(龍芯、飛騰、神威等)，穩(wěn)定運(yùn)行，并且智能化運(yùn)維平臺(tái)實(shí)現(xiàn)一體機(jī)的智能化的運(yùn)維管理功能，降低運(yùn)維的難度。

在此處所提供的說(shuō)明書(shū)中，說(shuō)明了大量具體細(xì)節(jié)。然而，能夠理解，本發(fā)明的實(shí)施例可以在沒(méi)有這些具體細(xì)節(jié)的情況下實(shí)踐。在一些實(shí)例中，并未詳細(xì)示出公知的方法、結(jié)構(gòu)和技術(shù)，以便不模糊對(duì)本說(shuō)明書(shū)的理解。

類(lèi)似地，應(yīng)當(dāng)理解，為了精簡(jiǎn)本公開(kāi)并幫助理解各個(gè)發(fā)明方面中的一個(gè)或多個(gè)，在上面對(duì)本發(fā)明的示例性實(shí)施例的描述中，本發(fā)明的各個(gè)特征有時(shí)被一起分組到單個(gè)實(shí)施例、圖、或者對(duì)其的描述中。然而，并不應(yīng)將該公開(kāi)的方法解釋成反映如下意圖：即所要求保護(hù)的本發(fā)明要求比在每個(gè)權(quán)利要求中所明確記載的特征更多的特征。更確切地說(shuō)，如下面的權(quán)利要求書(shū)所反映的那樣，發(fā)明方面在于少于前面公開(kāi)的單個(gè)實(shí)施例的所有特征。因此，遵循具體實(shí)施方式的權(quán)利要求書(shū)由此明確地并入該具體實(shí)施方式，其中每個(gè)權(quán)利要求本身都作為本發(fā)明的單獨(dú)實(shí)施例。

本領(lǐng)域那些技術(shù)人員可以理解，可以對(duì)實(shí)施例中的設(shè)備中的模塊進(jìn)行自適應(yīng)性地改變并且把它們?cè)O(shè)置在與該實(shí)施例不同的一個(gè)或多個(gè)設(shè)備中?？梢园褜?shí)施例中的模塊或單元或組件組合成一個(gè)模塊或單元或組件，以及此外可以把它們分成多個(gè)子模塊或子單元或子組件。除了這樣的特征和/或過(guò)程或者單元中的至少一些是相互排斥之外，可以采用任何組合對(duì)本說(shuō)明書(shū)(包括伴隨的權(quán)利要求、摘要和附圖)中公開(kāi)的所有特征以及如此公開(kāi)的任何方法或者設(shè)備的所有過(guò)程或單元進(jìn)行組合。除非另外明確陳述，本說(shuō)明書(shū)(包括伴隨的權(quán)利要求、摘要和附圖)中公開(kāi)的每個(gè)特征可以由提供相同、等同或相似目的的替代特征來(lái)代替。

此外，本領(lǐng)域的技術(shù)人員能夠理解，盡管在此所述的一些實(shí)施例包括其它實(shí)施例中所包括的某些特征而不是其它特征，但是不同實(shí)施例的特征的組合意味著處于本發(fā)明的范圍之內(nèi)并且形成不同的實(shí)施例。例如，在權(quán)利要求書(shū)中，所要求保護(hù)的實(shí)施例的任意之一都可以以任意的組合方式來(lái)使用。

本發(fā)明的各個(gè)部件實(shí)施例可以以硬件實(shí)現(xiàn)，或者以在一個(gè)或者多個(gè)處理器上運(yùn)行的軟件模塊實(shí)現(xiàn)，或者以它們的組合實(shí)現(xiàn)。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，可以在實(shí)踐中使用微處理器或者數(shù)字信號(hào)處理器(dsp)來(lái)實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的空天遙感數(shù)據(jù)處理一體機(jī)設(shè)備中的一些或者全部部件的一些或者全部功能。本發(fā)明還可以實(shí)現(xiàn)為用于執(zhí)行這里所描述的方法的一部分或者全部的設(shè)備或者裝置程序(例如，計(jì)算機(jī)程序和計(jì)算機(jī)程序產(chǎn)品)。這樣的實(shí)現(xiàn)本發(fā)明的程序可以存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上，或者可以具有一個(gè)或者多個(gè)信號(hào)的形式。這樣的信號(hào)可以從因特網(wǎng)網(wǎng)站上下載得到，或者在載體信號(hào)上提供，或者以任何其他形式提供。

應(yīng)該注意的是上述實(shí)施例對(duì)本發(fā)明進(jìn)行說(shuō)明而不是對(duì)本發(fā)明進(jìn)行限制，并且本領(lǐng)域技術(shù)人員在不脫離所附權(quán)利要求的范圍的情況下可設(shè)計(jì)出替換實(shí)施例。在權(quán)利要求中，不應(yīng)將位于括號(hào)之間的任何參考符號(hào)構(gòu)造成對(duì)權(quán)利要求的限制。單詞“包含”不排除存在未列在權(quán)利要求中的元件或步驟。位于元件之前的單詞“一”或“一個(gè)”不排除存在多個(gè)這樣的元件。本發(fā)明可以借助于包括有若干不同元件的硬件以及借助于適當(dāng)編程的計(jì)算機(jī)來(lái)實(shí)現(xiàn)。在列舉了若干裝置的單元權(quán)利要求中，這些裝置中的若干個(gè)可以是通過(guò)同一個(gè)硬件項(xiàng)來(lái)具體體現(xiàn)。單詞第一、第二、以及第三等的使用不表示任何順序?？蓪⑦@些單詞解釋為名稱(chēng)。

至此，本領(lǐng)域技術(shù)人員應(yīng)認(rèn)識(shí)到，雖然本文已詳盡示出和描述了本發(fā)明的多個(gè)示例性實(shí)施例，但是，在不脫離本發(fā)明精神和范圍的情況下，仍可根據(jù)本發(fā)明公開(kāi)的內(nèi)容直接確定或推導(dǎo)出符合本發(fā)明原理的許多其他變型或修改。因此，本發(fā)明的范圍應(yīng)被理解和認(rèn)定為覆蓋了所有這些其他變型或修改。