本發(fā)明涉及通信領域，具體而言，涉及一種大數(shù)據(jù)交換方法及裝置。

背景技術：

目前，大數(shù)據(jù)成為當前業(yè)界的技術熱點，特別是隨著云計算業(yè)務的部署，大數(shù)據(jù)作為其最重要的業(yè)務應用，被寄予厚望。

大數(shù)據(jù)的主要特點是體量大(Volume)、種類多(Variety)、速度快(Velocity)以及價值高(Value)等特點，并同時伴隨著多源、異構以及海量的數(shù)據(jù)特征。

大數(shù)據(jù)所涉及的數(shù)據(jù)類型包括結構化(Structured)、半結構化(Semi-Structured)以及非結構化(Un-Structured)等類型，這要求大數(shù)據(jù)交換系統(tǒng)可以針對這些不同數(shù)據(jù)類型進行區(qū)分和處理，比如對于結構化的數(shù)據(jù)庫數(shù)據(jù)的采集、異常數(shù)據(jù)清理以及ETL(數(shù)據(jù)提取、數(shù)據(jù)轉換以及數(shù)據(jù)加載)等，對于半結構化數(shù)據(jù)以及非結構化數(shù)據(jù)的增量實時采集、解析、注釋、異常數(shù)據(jù)清理、數(shù)據(jù)分割、特征提取、存儲與緩存以及批量非實時處理等。

大數(shù)據(jù)所涉及的數(shù)據(jù)對象包括文字、語音、視頻、圖像、網(wǎng)頁、傳感器數(shù)據(jù)等，這也就要求大數(shù)據(jù)交換系統(tǒng)可以有針對性地區(qū)分和處理不同數(shù)據(jù)對象所對應的數(shù)據(jù)承載格式，比如：文本文件、音頻文件、適配文件、圖像文件、網(wǎng)頁文件、傳感器數(shù)據(jù)文件以及相應的實時/準實時流媒體數(shù)據(jù)等不同格式。

在相關技術中，大數(shù)據(jù)正在逐步應用于各個行業(yè)，但是隨著數(shù)據(jù)體量的逐步增加，所涉及數(shù)據(jù)種類的日益繁雜，所生成速度的迅速提升以及對于其潛在價值利用的需求增強，當前大數(shù)據(jù)正遭遇一些新的困境以及面臨新的挑戰(zhàn)，包括以下幾點：

1)大數(shù)據(jù)的孤島性導致大數(shù)據(jù)無法開放、共享以及互聯(lián)，從而降低了大數(shù)據(jù)用戶共享不同產業(yè)甚至相同產業(yè)不同部門數(shù)據(jù)的可能性；

2)對于具有巨大潛在價值的大體量的大數(shù)據(jù)缺乏價值衡量手段和貨幣化手段，從而削弱了數(shù)據(jù)擁有者開放數(shù)據(jù)的積極性；

3)已有公共數(shù)據(jù)的開放不足阻礙了公共社會資源對于可能的社會生活以及經濟活動的貢獻性；

4)缺乏有效的商業(yè)模式，特別是高效的數(shù)據(jù)交換機制，阻止了數(shù)據(jù)擁有者和數(shù)據(jù)用戶之間安全有效地進行數(shù)據(jù)交換；

5)互連互通標準的缺乏也無法保障大數(shù)據(jù)提供商和大數(shù)據(jù)業(yè)務提供商之間進行互連。

為從大體量的、種類繁多的、高速變化的大數(shù)據(jù)中充分挖掘出大數(shù)據(jù)巨大的潛在價值，亟需解決以上所遭遇的各種問題以及相關挑戰(zhàn)?，F(xiàn)有相關技術中，針對大數(shù)據(jù)無法開放、互聯(lián)以及共享的問題，目前還缺乏有效的解決方案。

技術實現(xiàn)要素：

本發(fā)明提供了一種大數(shù)據(jù)交換方法及裝置，以至少解決相關技術中大數(shù)據(jù)無法開放、互聯(lián)以及共享的問題。

根據(jù)本發(fā)明的一個方面，提供了一種大數(shù)據(jù)交換系統(tǒng)，包括：大數(shù)據(jù)源單元，大數(shù)據(jù)交換單元，大數(shù)據(jù)目標單元；

所述大數(shù)據(jù)源單元采集各種數(shù)據(jù)，并將所述數(shù)據(jù)提供給所述大數(shù)據(jù)交換單元；

所述大數(shù)據(jù)交換單元接收所述大數(shù)據(jù)源單元導入的所述數(shù)據(jù)，處理所述數(shù)據(jù)得到處理數(shù)據(jù)，將所述數(shù)據(jù)和所述處理數(shù)據(jù)按所述大數(shù)據(jù)目標單元的數(shù)據(jù)請求導出到所述大數(shù)據(jù)目標單元；

所述大數(shù)據(jù)目標單元發(fā)送所述數(shù)據(jù)請求到所述大數(shù)據(jù)交換單元，接收所述大數(shù)據(jù)交換單元導出的與所述數(shù)據(jù)請求對應的所述數(shù)據(jù)和所述處理數(shù)據(jù)。

進一步地，所述大數(shù)據(jù)源單元包括以下至少之一：

數(shù)據(jù)生產模塊、數(shù)據(jù)擁有模塊、數(shù)據(jù)中介模塊、數(shù)據(jù)代理模塊、數(shù)據(jù)攝取適配模塊以及數(shù)據(jù)采集模塊；

所述數(shù)據(jù)生產模塊，設置為生產數(shù)據(jù)或者將幾種數(shù)據(jù)進行合并為新的數(shù)據(jù)；

所述數(shù)據(jù)擁有模塊，設置為持有數(shù)據(jù)并授權進行數(shù)據(jù)訪問；

所述數(shù)據(jù)中介模塊，設置為不直接生產數(shù)據(jù)，與所述數(shù)據(jù)生產模塊或者所述數(shù)據(jù)擁有模塊通過授權協(xié)議收購數(shù)據(jù)；

所述數(shù)據(jù)代理模塊，設置為不直接生產數(shù)據(jù)，代替所述數(shù)據(jù)生產模塊持有數(shù)據(jù)；

所述數(shù)據(jù)攝取適配模塊，設置為接收來自于外部數(shù)據(jù)源的數(shù)據(jù)并根據(jù)所述大數(shù)據(jù)源單元處理需求，對所攝取的所述外部數(shù)據(jù)源的數(shù)據(jù)進行適配；

所述數(shù)據(jù)采集模塊，設置為從所述數(shù)據(jù)生產模塊、所述數(shù)據(jù)代理模塊、所述數(shù)據(jù)擁有模塊、所述數(shù)據(jù)中介模塊或者所述數(shù)據(jù)攝取適配模塊采集數(shù)據(jù)，并適配、配置和管理不同的采集方法、采集接口以及數(shù)據(jù)處理方式。

進一步地，所述大數(shù)據(jù)交換單元包括以下至少之一：數(shù)據(jù)導入模塊、數(shù)據(jù)收集模塊、數(shù)據(jù)準備模塊、數(shù)據(jù)分析模塊、數(shù)據(jù)可視化模塊以及數(shù)據(jù)導出模塊；

所述數(shù)據(jù)導入模塊，設置為接收所述大數(shù)據(jù)源單元的數(shù)據(jù)，并存儲和/或緩存所述數(shù)據(jù)，所述數(shù)據(jù)導入模塊對數(shù)據(jù)的處理方式包括以下之一：數(shù)據(jù)查詢、數(shù)據(jù)請求、數(shù)據(jù)抓取、數(shù)據(jù)提供、數(shù)據(jù)發(fā)現(xiàn)、元數(shù)據(jù)發(fā)布、元數(shù)據(jù)通知；

所述數(shù)據(jù)收集模塊，設置為從所導入的數(shù)據(jù)中收集數(shù)據(jù)并進行初步處理，并提供相應的初步處理結果給所述數(shù)據(jù)準備模塊以及所述數(shù)據(jù)導出模塊；

所述數(shù)據(jù)準備模塊，設置為對所收集的數(shù)據(jù)進行準備處理并提供相應的準備處理的結果給所述數(shù)據(jù)分析模塊以及所述數(shù)據(jù)導出模塊，所述準備處理包括以下之一：數(shù)據(jù)清洗、數(shù)據(jù)轉換、數(shù)據(jù)分解、數(shù)據(jù)驗證、數(shù)據(jù)融合、數(shù)據(jù)聚合、數(shù)據(jù)聚類、數(shù)據(jù)排序、數(shù)據(jù)摘要、數(shù)據(jù)分類、數(shù)據(jù)加密、數(shù)據(jù)集成；

所述數(shù)據(jù)分析模塊，設置為對經過數(shù)據(jù)準備處理的數(shù)據(jù)依據(jù)大數(shù)據(jù)科學，使用預設算法進行分析處理并從中提取知識數(shù)據(jù)，并提供相應的分析處理的結果給所述數(shù)據(jù)可視化模塊以及所述數(shù)據(jù)導出模塊；

所述數(shù)據(jù)可視化模塊，設置為對經過數(shù)據(jù)分析處理的數(shù)據(jù)進行可視化處理，并提供相應的可視化處理結果給所述數(shù)據(jù)導出模塊；

所述數(shù)據(jù)導出模塊，設置為從所述大數(shù)據(jù)交換單元導出所導入的數(shù)據(jù)以及所處理的數(shù)據(jù)到所述大數(shù)據(jù)目標單元。

根據(jù)本發(fā)明的另一個方面，還提供了一種大數(shù)據(jù)交換方法，包括：

大數(shù)據(jù)源單元采集各種數(shù)據(jù)，并將所述數(shù)據(jù)提供給大數(shù)據(jù)交換單元；

所述大數(shù)據(jù)交換單元接收所述大數(shù)據(jù)源單元導入的所述數(shù)據(jù)，處理所述數(shù)據(jù)得到處理數(shù)據(jù)，將所述數(shù)據(jù)和所述處理數(shù)據(jù)按所述大數(shù)據(jù)目標單元的數(shù)據(jù)請求導出到大數(shù)據(jù)目標單元；

所述大數(shù)據(jù)目標單元發(fā)送所述數(shù)據(jù)請求到所述大數(shù)據(jù)交換單元，所述大數(shù)據(jù)目標單元接收所述大數(shù)據(jù)交換單元導出的與所述數(shù)據(jù)請求對應的所述數(shù)據(jù)和所述處理數(shù)據(jù)。

進一步地，所述大數(shù)據(jù)源單元采集各種數(shù)據(jù)，并將所述數(shù)據(jù)提供給大數(shù)據(jù)交換單元：

所述大數(shù)據(jù)源單元通過數(shù)據(jù)生產模塊、數(shù)據(jù)擁有模塊、數(shù)據(jù)中介模塊、數(shù)據(jù)代理模塊、數(shù)據(jù)攝取適配模塊以及數(shù)據(jù)采集模塊攝取收集各種所述數(shù)據(jù)，并將所述數(shù)據(jù)提供給大數(shù)據(jù)交換單元；

其中，所述數(shù)據(jù)生產模塊，設置為生產數(shù)據(jù)或者將幾種數(shù)據(jù)進行合并為新的數(shù)據(jù)；

所述數(shù)據(jù)擁有模塊，設置為持有數(shù)據(jù)并授權進行數(shù)據(jù)訪問；

所述數(shù)據(jù)中介模塊，設置為不直接生產數(shù)據(jù)，與所述數(shù)據(jù)生產模塊或者所述數(shù)據(jù)擁有模塊通過授權協(xié)議收購數(shù)據(jù)；

所述數(shù)據(jù)代理模塊，設置為不直接生產數(shù)據(jù)，代替所述數(shù)據(jù)生產模塊持有數(shù)據(jù)；

所述數(shù)據(jù)攝取適配模塊，設置為接收來自于外部數(shù)據(jù)源的數(shù)據(jù)并根據(jù)所述大數(shù)據(jù)源單元處理需求，對所攝取的所述外部數(shù)據(jù)源的數(shù)據(jù)進行適配；

所述數(shù)據(jù)采集模塊，設置為從數(shù)據(jù)生產模塊、數(shù)據(jù)代理模塊、數(shù)據(jù)擁有模塊、數(shù)據(jù)中介模塊或者數(shù)據(jù)攝取適配模塊采集數(shù)據(jù)，并適配、配置和管理不同的采集方法、采集接口以及數(shù)據(jù)處理方式。

進一步地，所述大數(shù)據(jù)源單元通過數(shù)據(jù)生產模塊、數(shù)據(jù)擁有模塊、數(shù)據(jù)中介模塊、數(shù)據(jù)代理模塊、數(shù)據(jù)攝取適配模塊以及數(shù)據(jù)采集模塊攝取收集各種所述數(shù)據(jù)包括以下至少之一：

所述大數(shù)據(jù)源單元從所述數(shù)據(jù)生產模塊、所述數(shù)據(jù)代理模塊和所述數(shù)據(jù)擁有模塊獲取原始數(shù)據(jù)；

所述大數(shù)據(jù)源單元從所述數(shù)據(jù)擁有模塊和所述數(shù)據(jù)中介模塊收購原始數(shù)據(jù)；

所述大數(shù)據(jù)源單元從所述數(shù)據(jù)攝取適配模塊攝取來自于外部數(shù)據(jù)源的數(shù)據(jù)。

進一步地，所述大數(shù)據(jù)交換單元接收所述大數(shù)據(jù)源單元導入的所述數(shù)據(jù)，處理所述數(shù)據(jù)得到處理數(shù)據(jù)，將所述數(shù)據(jù)和所述處理數(shù)據(jù)按所述大數(shù)據(jù)目標單元的數(shù)據(jù)請求導出到大數(shù)據(jù)目標單元包括：

所述大數(shù)據(jù)交換單元通過數(shù)據(jù)導入從所述大數(shù)據(jù)源單元導入的數(shù)據(jù)，通過數(shù)據(jù)收集、數(shù)據(jù)準備、數(shù)據(jù)分析或者數(shù)據(jù)可視化將這所述導入的數(shù)據(jù)進行相應處理，輸出處理后的數(shù)據(jù)，所述處理后的數(shù)據(jù)包括以下之一：所收集的數(shù)據(jù)、所準備的數(shù)據(jù)、所分析的數(shù)據(jù)、可行動的數(shù)據(jù)，將所述處理后的數(shù)據(jù)和所述導入的數(shù)據(jù)按所述大數(shù)據(jù)目標單元的數(shù)據(jù)請求導出給所述大數(shù)據(jù)目標單元。

進一步地，所述大數(shù)據(jù)目標單元接收所述大數(shù)據(jù)交換單元導出的與所述數(shù)據(jù)請求對應的所述數(shù)據(jù)和所述處理數(shù)據(jù)包括：

所述大數(shù)據(jù)目標單元接收所述大數(shù)據(jù)交換單元導出的與所述數(shù)據(jù)請求對應的所導入的數(shù)據(jù)、所收集的數(shù)據(jù)、所準備的數(shù)據(jù)、所分析的數(shù)據(jù)或者可行動的數(shù)據(jù)。

進一步地，所述所導入的數(shù)據(jù)，設置為經過數(shù)據(jù)導入所接收、存儲和/或緩存的數(shù)據(jù)以及使用元數(shù)據(jù)標注的數(shù)據(jù)；

所述所收集的數(shù)據(jù)，設置為經過數(shù)據(jù)收集處理所輸出的數(shù)據(jù)；

所述所準備的數(shù)據(jù)，設置為經過數(shù)據(jù)準備處理所輸出的數(shù)據(jù)，所述數(shù)據(jù)包括以下之 一：被清洗的數(shù)據(jù)、被轉換的數(shù)據(jù)、被分解的數(shù)據(jù)、被驗證的數(shù)據(jù)、被融合的數(shù)據(jù)、被聚合的數(shù)據(jù)、被聚類的數(shù)據(jù)、被注釋的數(shù)據(jù)、被排序的數(shù)據(jù)、被摘要的數(shù)據(jù)、被分類的數(shù)據(jù)、被加密的數(shù)據(jù)以及被集成的數(shù)據(jù)；

所述所分析的數(shù)據(jù)，設置為經過數(shù)據(jù)分析處理所輸出的數(shù)據(jù)；

所述可行動的數(shù)據(jù)，設置為經過可視化處理所輸出的數(shù)。

進一步地，所述將所述數(shù)據(jù)和所述處理數(shù)據(jù)按所述大數(shù)據(jù)目標單元的數(shù)據(jù)請求導出到大數(shù)據(jù)目標單元包括：

判斷是對所述數(shù)據(jù)和所述處理數(shù)據(jù)進行進一步地處理還是直接導出，在確定是直接導出時，按所述大數(shù)據(jù)目標單元的數(shù)據(jù)請求導出對所述數(shù)據(jù)和所述處理數(shù)據(jù)到大數(shù)據(jù)目標單元；

確定是對所述數(shù)據(jù)和所述處理數(shù)據(jù)進行進一步地處理時，繼續(xù)處理所述數(shù)據(jù)得到所述處理數(shù)據(jù)以及繼續(xù)處理所述處理數(shù)據(jù)得到進一步被處理的數(shù)據(jù)。

通過本發(fā)明，大數(shù)據(jù)源單元采集各種數(shù)據(jù)，并將該數(shù)據(jù)提供給大數(shù)據(jù)交換單元；該大數(shù)據(jù)交換單元接收該大數(shù)據(jù)源單元導入的該數(shù)據(jù)，處理該數(shù)據(jù)得到處理數(shù)據(jù)，將該數(shù)據(jù)和該處理數(shù)據(jù)按大數(shù)據(jù)目標單元的數(shù)據(jù)請求導出到該大數(shù)據(jù)目標單元；該大數(shù)據(jù)目標單元發(fā)送該數(shù)據(jù)請求到該大數(shù)據(jù)交換單元，該大數(shù)據(jù)目標單元接收該大數(shù)據(jù)交換單元導出的與該數(shù)據(jù)請求對應的該數(shù)據(jù)和該處理數(shù)據(jù)。該方法解決了相關技術中大數(shù)據(jù)無法開放、互聯(lián)以及共享的問題，實現(xiàn)了大數(shù)據(jù)的開放性、互聯(lián)性以及共享性。

附圖說明

此處所說明的附圖用來提供對本發(fā)明的進一步理解，構成本申請的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構成對本發(fā)明的不當限定。在附圖中：

圖1是根據(jù)本發(fā)明實施例的一種大數(shù)據(jù)交換方法的流程圖；

圖2是根據(jù)本發(fā)明實施例的一種大數(shù)據(jù)交換系統(tǒng)的結構框圖；

圖3是根據(jù)本發(fā)明優(yōu)選實施例的大數(shù)據(jù)交換系統(tǒng)的結構框圖一；

圖4是根據(jù)本發(fā)明優(yōu)選實施例的大數(shù)據(jù)交換系統(tǒng)的結構框圖二；

圖5是根據(jù)本發(fā)明優(yōu)選實施例的大數(shù)據(jù)交換系統(tǒng)的結構框圖三。

具體實施方式

下文中將參考附圖并結合實施例來詳細說明本發(fā)明。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。

需要說明的是，本發(fā)明的說明書和權利要求書及上述附圖中的術語“第一”、“第二”等是用于區(qū)別類似的對象，而不必用于描述特定的順序或先后次序。

在本實施例中提供了一種大數(shù)據(jù)交換方法，圖1是根據(jù)本發(fā)明實施例的一種大數(shù)據(jù)交換方法的流程圖，如圖1所示，該流程包括如下步驟：

步驟S102，大數(shù)據(jù)源單元采集各種數(shù)據(jù)，并將該數(shù)據(jù)提供給大數(shù)據(jù)交換單元；

步驟S104，該大數(shù)據(jù)交換單元接收該大數(shù)據(jù)源單元導入的該數(shù)據(jù)，處理該數(shù)據(jù)得到處理數(shù)據(jù)，將該數(shù)據(jù)和該處理數(shù)據(jù)按該大數(shù)據(jù)目標單元的數(shù)據(jù)請求導出到大數(shù)據(jù)目標單元；

步驟S106，該大數(shù)據(jù)目標單元發(fā)送該數(shù)據(jù)請求到該大數(shù)據(jù)交換單元，該大數(shù)據(jù)目標單元接收該大數(shù)據(jù)交換單元導出的與該數(shù)據(jù)請求對應的該數(shù)據(jù)和該處理數(shù)據(jù)。

通過上述步驟，大數(shù)據(jù)源單元采集各種數(shù)據(jù)，并將該數(shù)據(jù)提供給大數(shù)據(jù)交換單元，該大數(shù)據(jù)交換單元接收該大數(shù)據(jù)源單元導入的該數(shù)據(jù)，處理該數(shù)據(jù)得到處理數(shù)據(jù)，將該數(shù)據(jù)和該處理數(shù)據(jù)按該大數(shù)據(jù)目標單元的數(shù)據(jù)請求導出到大數(shù)據(jù)目標單元，該大數(shù)據(jù)目標單元發(fā)送該數(shù)據(jù)請求到該大數(shù)據(jù)交換單元，該大數(shù)據(jù)目標單元接收該大數(shù)據(jù)交換單元導出的與該數(shù)據(jù)請求對應的該數(shù)據(jù)和該處理數(shù)據(jù)，解決了相關技術中大數(shù)據(jù)無法開放、互聯(lián)以及共享的問題，實現(xiàn)了大數(shù)據(jù)的開放性、互聯(lián)性以及共享性。

在本實施例中，該大數(shù)據(jù)源單元通過數(shù)據(jù)生產模塊、數(shù)據(jù)擁有模塊、數(shù)據(jù)中介模塊、數(shù)據(jù)代理模塊、數(shù)據(jù)攝取適配模塊以及數(shù)據(jù)采集模塊攝取收集各種該數(shù)據(jù)，并將該數(shù)據(jù)提供給大數(shù)據(jù)交換單元；

其中，該數(shù)據(jù)生產模塊，設置為生產數(shù)據(jù)或者將幾種數(shù)據(jù)進行合并為新的數(shù)據(jù)；

該數(shù)據(jù)擁有模塊，設置為持有數(shù)據(jù)并授權進行數(shù)據(jù)訪問；

該數(shù)據(jù)中介模塊，設置為不直接生產數(shù)據(jù)，與該數(shù)據(jù)生產模塊或者該數(shù)據(jù)擁有模塊通過授權協(xié)議收購數(shù)據(jù)；

該數(shù)據(jù)代理模塊，設置為不直接生產數(shù)據(jù)，代替該數(shù)據(jù)生產模塊持有數(shù)據(jù)；

該數(shù)據(jù)攝取適配模塊，設置為接收來自于外部數(shù)據(jù)源的數(shù)據(jù)并根據(jù)該大數(shù)據(jù)源單元處理需求，對所攝取的該外部數(shù)據(jù)源的數(shù)據(jù)進行適配；

該數(shù)據(jù)采集模塊，設置為從數(shù)據(jù)生產模塊、數(shù)據(jù)代理模塊、數(shù)據(jù)擁有模塊、數(shù)據(jù)中介模塊或者數(shù)據(jù)攝取適配模塊采集數(shù)據(jù)，并適配、配置和管理不同的采集方法、采集接口以及數(shù)據(jù)處理方式。

在本實施例中，該大數(shù)據(jù)源單元通過數(shù)據(jù)生產模塊、數(shù)據(jù)擁有模塊、數(shù)據(jù)中介模塊、數(shù)據(jù)代理模塊、數(shù)據(jù)攝取適配模塊以及數(shù)據(jù)采集模塊攝取收集各種該數(shù)據(jù)包括以下至少 之一：

該大數(shù)據(jù)源單元從該數(shù)據(jù)生產模塊、該數(shù)據(jù)代理模塊和該數(shù)據(jù)擁有模塊獲取原始數(shù)據(jù)；

該大數(shù)據(jù)源單元從該數(shù)據(jù)擁有模塊和該數(shù)據(jù)中介模塊收購原始數(shù)據(jù)；

該大數(shù)據(jù)源單元從該數(shù)據(jù)攝取適配模塊攝取來自于外部數(shù)據(jù)源的數(shù)據(jù)。

在本實施例中，該大數(shù)據(jù)交換單元接收該大數(shù)據(jù)源單元導入的該數(shù)據(jù)，處理該數(shù)據(jù)得到處理數(shù)據(jù)，將該數(shù)據(jù)和該處理數(shù)據(jù)按該大數(shù)據(jù)目標單元的數(shù)據(jù)請求導出到大數(shù)據(jù)目標單元包括：

該大數(shù)據(jù)交換單元通過數(shù)據(jù)導入從該大數(shù)據(jù)源單元導入的數(shù)據(jù)，通過數(shù)據(jù)收集、數(shù)據(jù)準備、數(shù)據(jù)分析或者數(shù)據(jù)可視化將這該導入的數(shù)據(jù)進行相應處理，輸出處理后的數(shù)據(jù)，該處理后的數(shù)據(jù)包括以下之一：所收集的數(shù)據(jù)、所準備的數(shù)據(jù)、所分析的數(shù)據(jù)、可行動的數(shù)據(jù)，將該處理后的數(shù)據(jù)和該導入的數(shù)據(jù)按該大數(shù)據(jù)目標單元的數(shù)據(jù)請求導出給該大數(shù)據(jù)目標單元。

在本實施例中，該大數(shù)據(jù)目標單元接收該大數(shù)據(jù)交換單元導出的與該數(shù)據(jù)請求對應的該數(shù)據(jù)和該處理數(shù)據(jù)包括：

該大數(shù)據(jù)目標單元接收該大數(shù)據(jù)交換單元導出的與該數(shù)據(jù)請求對應的所導入的數(shù)據(jù)、所收集的數(shù)據(jù)、所準備的數(shù)據(jù)、所分析的數(shù)據(jù)或者可行動的數(shù)據(jù)。

在本實施例中，該所導入的數(shù)據(jù)，設置為經過數(shù)據(jù)導入所接收、存儲和/或緩存的數(shù)據(jù)以及使用元數(shù)據(jù)標注的數(shù)據(jù)；

該所收集的數(shù)據(jù)，設置為經過數(shù)據(jù)收集處理所輸出的數(shù)據(jù)；

該所準備的數(shù)據(jù)，設置為經過數(shù)據(jù)準備處理所輸出的數(shù)據(jù)，該數(shù)據(jù)包括以下之一：被清洗的數(shù)據(jù)、被轉換的數(shù)據(jù)、被分解的數(shù)據(jù)、被驗證的數(shù)據(jù)、被融合的數(shù)據(jù)、被聚合的數(shù)據(jù)、被聚類的數(shù)據(jù)、被注釋的數(shù)據(jù)、被排序的數(shù)據(jù)、被摘要的數(shù)據(jù)、被分類的數(shù)據(jù)、被加密的數(shù)據(jù)以及被集成的數(shù)據(jù)；

該所分析的數(shù)據(jù)，設置為經過數(shù)據(jù)分析處理所輸出的數(shù)據(jù)；

該可行動的數(shù)據(jù)，設置為經過可視化處理所輸出的數(shù)。

在本實施例中，可以判斷是對該數(shù)據(jù)和該處理數(shù)據(jù)進行進一步地處理還是直接導出，在確定是直接導出時，按該大數(shù)據(jù)目標單元的數(shù)據(jù)請求導出對該數(shù)據(jù)和該處理數(shù)據(jù)到大數(shù)據(jù)目標單元；

若確定是對該數(shù)據(jù)和該處理數(shù)據(jù)進行進一步地處理時，繼續(xù)處理該數(shù)據(jù)得到處理數(shù)據(jù)以及繼續(xù)處理該處理數(shù)據(jù)得到進一步被處理的數(shù)據(jù)。

在本發(fā)明的實施例中還提供了大數(shù)據(jù)交換系統(tǒng)，圖2是根據(jù)本發(fā)明實施例的一種大數(shù)據(jù)交換系統(tǒng)的結構框圖，如圖2所示，包括：大數(shù)據(jù)源單元22，大數(shù)據(jù)交換單元24，大數(shù)據(jù)目標單元26；

該大數(shù)據(jù)源單元22采集各種數(shù)據(jù)，并將該數(shù)據(jù)提供給該大數(shù)據(jù)交換單元24；

該大數(shù)據(jù)交換單元24接收該大數(shù)據(jù)源單元22導入的該數(shù)據(jù)，處理該數(shù)據(jù)得到處理數(shù)據(jù)，將該數(shù)據(jù)和該處理數(shù)據(jù)按該大數(shù)據(jù)目標單元26的數(shù)據(jù)請求導出到該大數(shù)據(jù)目標單元26；

該大數(shù)據(jù)目標單元26發(fā)送該數(shù)據(jù)請求到該大數(shù)據(jù)交換單元24，接收該大數(shù)據(jù)交換單元24導出的與該數(shù)據(jù)請求對應的該數(shù)據(jù)和該處理數(shù)據(jù)。

通過上述系統(tǒng)，大數(shù)據(jù)源單元22采集各種數(shù)據(jù)，并將該數(shù)據(jù)提供給大數(shù)據(jù)交換單元24，該大數(shù)據(jù)交換單元24接收該大數(shù)據(jù)源單元22導入的該數(shù)據(jù)，處理該數(shù)據(jù)得到處理數(shù)據(jù)，將該數(shù)據(jù)和該處理數(shù)據(jù)按該大數(shù)據(jù)目標單元26的數(shù)據(jù)請求導出到大數(shù)據(jù)目標單元26，該大數(shù)據(jù)目標單元26發(fā)送該數(shù)據(jù)請求到該大數(shù)據(jù)交換單元24，該大數(shù)據(jù)目標單元26接收該大數(shù)據(jù)交換單元24導出的與該數(shù)據(jù)請求對應的該數(shù)據(jù)和該處理數(shù)據(jù)，解決了相關技術中大數(shù)據(jù)無法開放、互聯(lián)以及共享的問題，實現(xiàn)了大數(shù)據(jù)的開放性、互聯(lián)性以及共享性。

在本實施例中，該大數(shù)據(jù)源單元22包括以下至少之一：

數(shù)據(jù)生產模塊、數(shù)據(jù)擁有模塊、數(shù)據(jù)中介模塊、數(shù)據(jù)代理模塊、數(shù)據(jù)攝取適配模塊以及數(shù)據(jù)采集模塊；

該數(shù)據(jù)生產模塊，設置為生產數(shù)據(jù)或者將幾種數(shù)據(jù)進行合并為新的數(shù)據(jù)；

該數(shù)據(jù)擁有模塊，設置為持有數(shù)據(jù)并授權進行數(shù)據(jù)訪問；

該數(shù)據(jù)中介模塊，設置為不直接生產數(shù)據(jù)，與該數(shù)據(jù)生產模塊或者該數(shù)據(jù)擁有模塊通過授權協(xié)議收購數(shù)據(jù)；

該數(shù)據(jù)代理模塊，設置為不直接生產數(shù)據(jù)，代替該數(shù)據(jù)生產模塊持有數(shù)據(jù)；

該數(shù)據(jù)攝取適配模塊，設置為接收來自于外部數(shù)據(jù)源的數(shù)據(jù)并根據(jù)該大數(shù)據(jù)源單元22處理需求，對所攝取的該外部數(shù)據(jù)源的數(shù)據(jù)進行適配；

該數(shù)據(jù)采集模塊，設置為從該數(shù)據(jù)生產模塊、該數(shù)據(jù)代理模塊、該數(shù)據(jù)擁有模塊、該數(shù)據(jù)中介模塊或者該數(shù)據(jù)攝取適配模塊采集數(shù)據(jù)，并適配、配置和管理不同的采集方法、采集接口以及數(shù)據(jù)處理方式。

在本實施例中，該大數(shù)據(jù)交換單元24包括以下至少之一：數(shù)據(jù)導入模塊、數(shù)據(jù)收集模塊、數(shù)據(jù)準備模塊、數(shù)據(jù)分析模塊、數(shù)據(jù)可視化模塊以及數(shù)據(jù)導出模塊；

該數(shù)據(jù)導入模塊，設置為接收該大數(shù)據(jù)源單元22的數(shù)據(jù)，并存儲和/或緩存該數(shù)據(jù)，該數(shù)據(jù)導入模塊對數(shù)據(jù)的處理方式包括以下之一：數(shù)據(jù)查詢、數(shù)據(jù)請求、數(shù)據(jù)抓取、數(shù)據(jù)提供、數(shù)據(jù)發(fā)現(xiàn)、元數(shù)據(jù)發(fā)布、元數(shù)據(jù)通知；

該數(shù)據(jù)收集模塊，設置為從所導入的數(shù)據(jù)中收集數(shù)據(jù)并進行初步處理，并提供相應的初步處理結果給該數(shù)據(jù)準備模塊以及該數(shù)據(jù)導出模塊；

該數(shù)據(jù)準備模塊，設置為對所收集的數(shù)據(jù)進行準備處理并提供相應的準備處理的結果給該數(shù)據(jù)分析模塊以及該數(shù)據(jù)導出模塊，該準備處理包括以下之一：數(shù)據(jù)清洗、數(shù)據(jù)轉換、數(shù)據(jù)分解、數(shù)據(jù)驗證、數(shù)據(jù)融合、數(shù)據(jù)聚合、數(shù)據(jù)聚類、數(shù)據(jù)排序、數(shù)據(jù)摘要、數(shù)據(jù)分類、數(shù)據(jù)加密、數(shù)據(jù)集成；

該數(shù)據(jù)分析模塊，設置為對經過數(shù)據(jù)準備處理的數(shù)據(jù)依據(jù)大數(shù)據(jù)科學，使用預設算法進行分析處理并從中提取知識數(shù)據(jù)，并提供相應的分析處理的結果給該數(shù)據(jù)可視化模塊以及該數(shù)據(jù)導出模塊；

該數(shù)據(jù)可視化模塊，設置為對經過數(shù)據(jù)分析處理的數(shù)據(jù)進行可視化處理，并提供相應的可視化處理結果給該數(shù)據(jù)導出模塊；

該數(shù)據(jù)導出模塊，設置為從該大數(shù)據(jù)交換單元24導出所導入的數(shù)據(jù)以及所處理的數(shù)據(jù)到該大數(shù)據(jù)目標單元26。

下面結合優(yōu)選實施例和實施方式對本發(fā)明進行詳細說明。

本優(yōu)選實施例提供一種大數(shù)據(jù)交換的系統(tǒng)及其實現(xiàn)方法，能夠有效的解決大數(shù)據(jù)的孤島性、封閉性、無法互聯(lián)以及無法共享的問題。

本優(yōu)選實施例提供了一種大數(shù)據(jù)交換的系統(tǒng)，包括：大數(shù)據(jù)源單元(Big Data Source)、大數(shù)據(jù)交換單元(Big Data Exchanger)和大數(shù)據(jù)目標單元(Big Data Target)；其中，

該大數(shù)據(jù)源單元，包括數(shù)據(jù)生產者模塊(Data Producer)、數(shù)據(jù)擁有者模塊(Data Owner)、數(shù)據(jù)中介者模塊(Data broker或Data Agent)、數(shù)據(jù)代理者模塊(Data Proxy)、數(shù)據(jù)攝取適配者模塊(Ingest Adaptor)以及數(shù)據(jù)采集模塊，主要用于采集各種數(shù)據(jù)并將這些數(shù)據(jù)提供給大數(shù)據(jù)交換單元；其中，該數(shù)據(jù)生產者模塊、數(shù)據(jù)擁有者模塊、數(shù)據(jù)中介者模塊、數(shù)據(jù)代理者模塊、數(shù)據(jù)攝取適配者模塊相當于上述實施例中的數(shù)據(jù)生產模塊、數(shù)據(jù)擁有模塊、數(shù)據(jù)中介模塊、數(shù)據(jù)代理模塊、數(shù)據(jù)攝取適配模塊。

該數(shù)據(jù)生產者模塊，設置為原始數(shù)據(jù)的生產者或者將幾種原始數(shù)據(jù)進行合并而提供新的原始數(shù)據(jù)的加工者；

該數(shù)據(jù)擁有者模塊，設置為持有數(shù)據(jù)并擁有授權進行數(shù)據(jù)訪問的權利者；

該數(shù)據(jù)中介者模塊，設置為本身不直接生產數(shù)據(jù)，但卻與數(shù)據(jù)生產者或者原始數(shù)據(jù)擁有者通過授權協(xié)議而收購這些數(shù)據(jù)從而成為該數(shù)據(jù)的新?lián)碛姓撸?/p>

該數(shù)據(jù)代理者模塊，設置為本身不直接生產數(shù)據(jù)但卻代替數(shù)據(jù)生產者持有(比如數(shù)字化、轉換以及傳輸)數(shù)據(jù)(如某些物聯(lián)網(wǎng)網(wǎng)關收集各種傳感器所產生的數(shù)據(jù)從而成為數(shù)據(jù)代理者)；

該數(shù)據(jù)攝取適配者模塊，設置為接收來自于外部數(shù)據(jù)源的數(shù)據(jù)并根據(jù)本地(即該大數(shù)據(jù)源單元)處理需求(如存儲和/或緩存以及導出等)對所攝取自外部數(shù)據(jù)源的數(shù)據(jù)進行適配；

該數(shù)據(jù)采集模塊，設置為從數(shù)據(jù)生產者、數(shù)據(jù)代理者、數(shù)據(jù)擁有者、數(shù)據(jù)中介者以及數(shù)據(jù)攝取適配者采集數(shù)據(jù)，并適配、配置和管理不同的采集方法、采集接口以及數(shù)據(jù)處理方式。

該數(shù)據(jù)采集，設置為：從數(shù)據(jù)生產者、數(shù)據(jù)代理者和數(shù)據(jù)擁有者獲取(Capture)原始數(shù)據(jù)；從數(shù)據(jù)擁有者和數(shù)據(jù)中介者收購(Acquire)原始數(shù)據(jù)；通過數(shù)據(jù)攝取適配者攝取(Ingest)來自于外部數(shù)據(jù)源的數(shù)據(jù)。

該大數(shù)據(jù)交換單元，包括數(shù)據(jù)導入模塊、數(shù)據(jù)收集模塊、數(shù)據(jù)準備模塊、數(shù)據(jù)分析模塊、數(shù)據(jù)可視化模塊以及數(shù)據(jù)導出模塊，主要用于從大數(shù)據(jù)源單元導入數(shù)據(jù)，并將這些所輸入以及經過相應處理(包括收集、準備、分析和可視化)后所輸出的數(shù)據(jù)(包括所收集的數(shù)據(jù)、所準備的數(shù)據(jù)、所分析的數(shù)據(jù)以及可行動的數(shù)據(jù))按需導出到大數(shù)據(jù)目標單元；其中，

該數(shù)據(jù)導入模塊，設置為接收來自于大數(shù)據(jù)源單元的原始數(shù)據(jù)并存儲和/或緩存這些數(shù)據(jù)。具體的功能包括數(shù)據(jù)查詢、數(shù)據(jù)請求、數(shù)據(jù)抓取、數(shù)據(jù)提供、數(shù)據(jù)發(fā)現(xiàn)、元數(shù)據(jù)發(fā)布以及元數(shù)據(jù)通知。

該數(shù)據(jù)收集模塊，設置為從所導入的數(shù)據(jù)中收集數(shù)據(jù)并進行初步處理(如初始相同結構的數(shù)據(jù)集的合并等)并提供相應的初步處理結果給數(shù)據(jù)準備模塊以及導出模塊；

該數(shù)據(jù)準備模塊，設置為對所收集的數(shù)據(jù)進行準備處理并提供相應的準備處理的結果給數(shù)據(jù)分析模塊以及導出模塊，準備處理功能具體包括數(shù)據(jù)清洗、數(shù)據(jù)轉換、數(shù)據(jù)分解、數(shù)據(jù)驗證、數(shù)據(jù)融合、數(shù)據(jù)聚合、數(shù)據(jù)聚類、數(shù)據(jù)排序、數(shù)據(jù)摘要、數(shù)據(jù)分類、數(shù)據(jù)加密以及數(shù)據(jù)集成等；

該數(shù)據(jù)分析模塊，設置為對經過數(shù)據(jù)準備處理的數(shù)據(jù)依據(jù)大數(shù)據(jù)科學，使用指定算法進行分析處理并從中提取知識，并提供相應的分析處理的結果給可視化模塊以及導出模塊；

該數(shù)據(jù)可視化模塊，設置為對經過數(shù)據(jù)分析處理的數(shù)據(jù)進行可視化處理(如以最佳格式和數(shù)據(jù)展示形式來傳遞知識和說明含義)并提供相應的可視化處理結果(如統(tǒng)計圖型、圖表、報告等)給導出模塊；

該數(shù)據(jù)導出模塊，設置為從大數(shù)據(jù)交換單元導出所導入的數(shù)據(jù)以及所處理的數(shù)據(jù) (包括所收集的數(shù)據(jù)、所準備的數(shù)據(jù)、所分析的數(shù)據(jù)以及可行動的數(shù)據(jù))到大數(shù)據(jù)目標單元。

該所導入的數(shù)據(jù)，設置為經過數(shù)據(jù)導入功能所接收并存儲和/或緩存的原始數(shù)據(jù)以及使用元數(shù)據(jù)標注的原始數(shù)據(jù)；

該所收集的數(shù)據(jù)，設置為經過數(shù)據(jù)收集處理所輸出的數(shù)據(jù)，如被合并的數(shù)據(jù)等；

該所準備的數(shù)據(jù)，設置為經過數(shù)據(jù)準備處理所輸出的數(shù)據(jù)，如包括被清洗的數(shù)據(jù)、被轉換的數(shù)據(jù)、被分解的數(shù)據(jù)、被驗證的數(shù)據(jù)、被融合的數(shù)據(jù)、被聚合的數(shù)據(jù)、被聚類的數(shù)據(jù)、被注釋的數(shù)據(jù)、被排序的數(shù)據(jù)、被摘要的數(shù)據(jù)、被分類的數(shù)據(jù)、被加密的數(shù)據(jù)以及被集成的數(shù)據(jù)等；

該所分析的數(shù)據(jù)，設置為經過數(shù)據(jù)分析處理所輸出的數(shù)據(jù)，如(依據(jù)大數(shù)據(jù)科學并使用指定算法進行分析處理并從中所提取的)知識數(shù)據(jù)等；

該可行動的數(shù)據(jù)，設置為經過可視化處理所輸出的數(shù)據(jù)，如可視化數(shù)據(jù)，透視數(shù)據(jù)和報告數(shù)據(jù)等。

該數(shù)據(jù)導入，設置為接收來自于大數(shù)據(jù)源單元的原始數(shù)據(jù)并存儲和/或緩存這些數(shù)據(jù)；

該數(shù)據(jù)導出，設置為傳輸所導入的數(shù)據(jù)和所處理的數(shù)據(jù)(包括所收集的數(shù)據(jù)、所準備的數(shù)據(jù)、所分析的數(shù)據(jù)以及可行動的數(shù)據(jù))到大數(shù)據(jù)目標單元。

該大數(shù)據(jù)目標單元，主要用于向大數(shù)據(jù)交換單元請求并從其接收所請求的各種數(shù)據(jù)，如所導入的數(shù)據(jù)、所收集的數(shù)據(jù)、所準備的數(shù)據(jù)、所分析的數(shù)據(jù)以及可行動的數(shù)據(jù)。

本優(yōu)選實施例還提供一種大數(shù)據(jù)交換的方法，該方法包括：

大數(shù)據(jù)源單元從數(shù)據(jù)生產者(Data Producer)、數(shù)據(jù)擁有者(Data Owner)、數(shù)據(jù)中介者(Data broker或Data Agent)、數(shù)據(jù)代理者(Data Proxy)以及數(shù)據(jù)攝取適配者(Ingest Adaptor)通過數(shù)據(jù)獲取、數(shù)據(jù)收購、數(shù)據(jù)攝取等收集各種數(shù)據(jù)并將這些數(shù)據(jù)提供給大數(shù)據(jù)交換單元；

大數(shù)據(jù)交換單元通過數(shù)據(jù)導入從大數(shù)據(jù)源單元導入(即接收，存儲和/或緩存)數(shù)據(jù)，通過數(shù)據(jù)收集、數(shù)據(jù)準備、數(shù)據(jù)分析、數(shù)據(jù)可視化等將這些所導入的數(shù)據(jù)進行相應處理，輸出各對應步驟處理后的數(shù)據(jù)(包括所收集的數(shù)據(jù)、所準備的數(shù)據(jù)、所分析的數(shù)據(jù)以及可行動的數(shù)據(jù))；處理后的數(shù)據(jù)連同所導入的數(shù)據(jù)一起，按需導出給大數(shù)據(jù)目標單元；

大數(shù)據(jù)目標單元向大數(shù)據(jù)交換單元請求所需數(shù)據(jù)(如所導入的數(shù)據(jù)、所收集的數(shù)據(jù)、所準備的數(shù)據(jù)、所分析的數(shù)據(jù)以及可行動的數(shù)據(jù))，并從大數(shù)據(jù)交換單元接收所請求的這些數(shù)據(jù)。

本優(yōu)選實施例所提供的大數(shù)據(jù)交換系統(tǒng)及其實現(xiàn)方法的技術方案，定義了大數(shù)據(jù)交換的生態(tài)系統(tǒng)(即大數(shù)據(jù)源、大數(shù)據(jù)交換者以及大數(shù)據(jù)目標)及其角色定義(即數(shù)據(jù)采集、數(shù)據(jù)導入和數(shù)據(jù)導出)，給出了大數(shù)據(jù)交換的參考架構和功能界面(即大數(shù)據(jù)源功能、模塊組成及活動,大數(shù)據(jù)交換者功能、模塊組成及活動,大數(shù)據(jù)目標功能、模塊組成及活動)。通過規(guī)范大數(shù)據(jù)交換的生態(tài)系統(tǒng)、角色定義、參考架構以及功能界面，從而有效地解決了大數(shù)據(jù)的孤島性、封閉性、無法互聯(lián)以及無法共享的問題。

圖3是根據(jù)本發(fā)明優(yōu)選實施例的大數(shù)據(jù)交換系統(tǒng)的結構框圖一。如圖3所示，大數(shù)據(jù)交換的系統(tǒng)結構從左到右分成大數(shù)據(jù)源單元，大數(shù)據(jù)交換單元以及大數(shù)據(jù)目標單元。其中，大數(shù)據(jù)源單元包括本地大數(shù)據(jù)單元(301)以及外部大數(shù)據(jù)單元(301a)，二者通過數(shù)據(jù)攝取接口進行數(shù)據(jù)交換；大數(shù)據(jù)交換單元(302)通過數(shù)據(jù)導入接口與大數(shù)據(jù)源單元(301)進行數(shù)據(jù)交換；大數(shù)據(jù)目標單元(303)通過數(shù)據(jù)導出接口與大數(shù)據(jù)交換單元(302)進行數(shù)據(jù)交換。

圖4是根據(jù)本發(fā)明優(yōu)選實施例的大數(shù)據(jù)交換系統(tǒng)的結構框圖二。如圖4所示，大數(shù)據(jù)交換的系統(tǒng)結構中：

大數(shù)據(jù)源單元(301)由數(shù)據(jù)生產者模塊、數(shù)據(jù)擁有者模塊、數(shù)據(jù)中介模塊、數(shù)據(jù)代理模塊、數(shù)據(jù)攝取適配者模塊以及數(shù)據(jù)采集模塊等構成，并使用數(shù)據(jù)獲取、數(shù)據(jù)收購以及數(shù)據(jù)攝取等不同的數(shù)據(jù)采集方法從數(shù)據(jù)生產者、數(shù)據(jù)代理者、數(shù)據(jù)擁有者、數(shù)據(jù)中介者以及數(shù)據(jù)攝取適配者采集數(shù)據(jù)，最后將所采集到的數(shù)據(jù)匯總到數(shù)據(jù)采集模塊，以便進一步導入到大數(shù)據(jù)交換單元。

大數(shù)據(jù)交換單元(302)由數(shù)據(jù)導入模塊、數(shù)據(jù)收集模塊、數(shù)據(jù)準備模塊、數(shù)據(jù)分析模塊、數(shù)據(jù)可視化模塊以及數(shù)據(jù)導出模塊等構成，其中：

數(shù)據(jù)導入模塊用來接收來自于大數(shù)據(jù)源單元的原始數(shù)據(jù)并存儲和/或緩存這些數(shù)據(jù)，其具體的功能包括數(shù)據(jù)查詢、數(shù)據(jù)請求、數(shù)據(jù)抓取、數(shù)據(jù)提供、數(shù)據(jù)發(fā)現(xiàn)、元數(shù)據(jù)發(fā)布以及元數(shù)據(jù)通知；

數(shù)據(jù)收集模塊用來從所存儲和/或緩存的數(shù)據(jù)中收集數(shù)據(jù)并進行初步處理(比如對于具有初始相同結構的數(shù)據(jù)集進行合并等)并提供相應的初步處理結果，以便提供給數(shù)據(jù)準備模塊做進一步處理或者根據(jù)需要經由數(shù)據(jù)導出模塊導出所導入的數(shù)據(jù)給大數(shù)據(jù)目標單元；

數(shù)據(jù)準備模塊用來對經過數(shù)據(jù)收集處理所收集的數(shù)據(jù)進行準備處理并提供相應的準備處理的結果，以便提供給數(shù)據(jù)分析模塊做進一步處理或者根據(jù)需要經由數(shù)據(jù)導出模塊導出所準備的數(shù)據(jù)給大數(shù)據(jù)目標單元。具體的功能包括數(shù)據(jù)清洗、數(shù)據(jù)轉換、數(shù)據(jù)分解、數(shù)據(jù)驗證、數(shù)據(jù)融合、數(shù)據(jù)聚合、數(shù)據(jù)聚類、數(shù)據(jù)排序、數(shù)據(jù)摘要、數(shù)據(jù)分類、數(shù)據(jù)加密以及數(shù)據(jù)集成等，相應地，所提供的數(shù)據(jù)即為被清洗的數(shù)據(jù)、被轉換的數(shù)據(jù)、被分解的數(shù)據(jù)、被驗證的數(shù)據(jù)、被融合的數(shù)據(jù)、被聚合的數(shù)據(jù)、被聚類的數(shù)據(jù)、被注釋的 數(shù)據(jù)、被排序的數(shù)據(jù)、被摘要的數(shù)據(jù)、被分類的數(shù)據(jù)、被加密的數(shù)據(jù)以及被集成的數(shù)據(jù)等；

數(shù)據(jù)分析模塊用來對經過數(shù)據(jù)準備處理所準備的數(shù)據(jù)依據(jù)大數(shù)據(jù)科學，使用指定算法進行分析處理并從中提取知識，并提供相應的分析處理的結果，以便提供給可視化模塊做進一步處理或者根據(jù)需要經由數(shù)據(jù)導出模塊導出所分析的數(shù)據(jù)給大數(shù)據(jù)目標單元；

數(shù)據(jù)可視化模塊用來對經過數(shù)據(jù)分析處理所分析的數(shù)據(jù)進行可視化處理(如以最佳格式和數(shù)據(jù)展示形式來傳遞知識和說明含義)并提供相應的可視化處理結果(如統(tǒng)計圖型、圖表、報告等)，并根據(jù)需要經由數(shù)據(jù)導出模塊導出可視化處理結果給大數(shù)據(jù)目標單元；

數(shù)據(jù)導出模塊用來將所導入的數(shù)據(jù)以及所處理的數(shù)據(jù)(包括所收集的數(shù)據(jù)、所準備的數(shù)據(jù)、所分析的數(shù)據(jù)以及可行動的數(shù)據(jù))導出到大數(shù)據(jù)目標單元。

大數(shù)據(jù)目標單元(303)用于向大數(shù)據(jù)交換單元請求并從其接收所請求的各種數(shù)據(jù)，如所導入的數(shù)據(jù)、所收集的數(shù)據(jù)、所準備的數(shù)據(jù)、所分析的數(shù)據(jù)以及可行動的數(shù)據(jù)。

大數(shù)據(jù)交換的方法中：

大數(shù)據(jù)源單元(301)使用數(shù)據(jù)獲取、數(shù)據(jù)收購以及數(shù)據(jù)攝取等不同的數(shù)據(jù)采集方法從數(shù)據(jù)生產者、數(shù)據(jù)代理者、數(shù)據(jù)擁有者、數(shù)據(jù)中介者以及數(shù)據(jù)攝取適配者采集數(shù)據(jù)，最后將所采集到的數(shù)據(jù)匯總到數(shù)據(jù)采集模塊，并導入到大數(shù)據(jù)交換單元。

大數(shù)據(jù)交換單元(302)通過數(shù)據(jù)導入模塊來接收來自于大數(shù)據(jù)源單元的原始數(shù)據(jù)并存儲和/或緩存這些數(shù)據(jù)，此時的數(shù)據(jù)被稱為所導入的數(shù)據(jù)；進一步地，根據(jù)來自于大數(shù)據(jù)目標單元(303)的請求來判斷針對所導入的數(shù)據(jù)是做進一步的收集處理還是直接導出；如做進一步收集處理，則進入下面的收集處理流程，否則經由數(shù)據(jù)導出模塊可直接導出給大數(shù)據(jù)目標單元；

大數(shù)據(jù)交換單元(302)通過數(shù)據(jù)收集模塊來從所導入的數(shù)據(jù)中收集數(shù)據(jù)并進行初步處理(比如對于具有初始相同結構的數(shù)據(jù)集進行合并等)并提供相應的初步處理結果，此時的數(shù)據(jù)被稱為所收集的數(shù)據(jù)；進一步地，根據(jù)來自于大數(shù)據(jù)目標單元(303)的請求來判斷針對所收集的數(shù)據(jù)是做進一步的準備處理還是直接導出；如做進一步準備處理，則進入下面的準備處理流程，否則經由數(shù)據(jù)導出模塊可直接導出給大數(shù)據(jù)目標單元；

大數(shù)據(jù)交換單元(302)通過數(shù)據(jù)準備模塊來對所收集的數(shù)據(jù)進行準備處理并提供相應的準備處理的結果，此時的數(shù)據(jù)被稱為所準備的數(shù)據(jù)；進一步地，根據(jù)來自于大數(shù)據(jù)目標單元(303)的請求來判斷針對所準備的數(shù)據(jù)是做進一步的分析處理還是直接導出；如做進一步分析處理，則進入下面的分析處理流程，否則經由數(shù)據(jù)導出模塊可直接導出給大數(shù)據(jù)目標單元；

大數(shù)據(jù)交換單元(302)通過數(shù)據(jù)分析模塊來對所準備的數(shù)據(jù)依據(jù)大數(shù)據(jù)科學，使 用指定算法進行分析處理并從中提取知識，并提供相應的分析處理的結果，此時的數(shù)據(jù)被稱為所分析的數(shù)據(jù)；進一步地，根據(jù)來自于大數(shù)據(jù)目標單元(303)的請求來判斷針對所分析的數(shù)據(jù)是做進一步的可視化處理還是直接導出；如做進一步可視化處理，則進入下面的可視化處理流程，否則經由數(shù)據(jù)導出模塊可直接導出給大數(shù)據(jù)目標單元；

大數(shù)據(jù)交換單元(302)通過數(shù)據(jù)可視化模塊來對所分析的數(shù)據(jù)進行可視化處理(如以最佳格式和數(shù)據(jù)展示形式來傳遞知識和說明含義)并提供相應的可視化處理結果(如統(tǒng)計圖型、圖表、報告等)，此時的數(shù)據(jù)被稱為可行動的數(shù)據(jù)；根據(jù)需要，可行動的數(shù)據(jù)經由數(shù)據(jù)導出模塊可直接導出給大數(shù)據(jù)目標單元；

大數(shù)據(jù)交換單元(302)通過數(shù)據(jù)導出模塊來將所導入的數(shù)據(jù)以及所處理的數(shù)據(jù)(包括所收集的數(shù)據(jù)、所準備的數(shù)據(jù)、所分析的數(shù)據(jù)以及可行動的數(shù)據(jù))導出到大數(shù)據(jù)目標單元。

大數(shù)據(jù)目標單元(303)通過向大數(shù)據(jù)交換單元(302)請求并從其接收所請求的各種數(shù)據(jù)，如所導入的數(shù)據(jù)、所收集的數(shù)據(jù)、所準備的數(shù)據(jù)、所分析的數(shù)據(jù)以及可行動的數(shù)據(jù)。

在一個優(yōu)選實施例中，圖5是根據(jù)本發(fā)明優(yōu)選實施例的大數(shù)據(jù)交換系統(tǒng)的結構框圖三。如圖5所示，包括下面的步驟：

步驟1，大數(shù)據(jù)目標單元(303)向大數(shù)據(jù)交換單元(302)發(fā)送業(yè)務請求(帶有目標數(shù)據(jù)類型等信息)，請求交換目標數(shù)據(jù)(如所導入的數(shù)據(jù)、所收集的數(shù)據(jù)、所準備的數(shù)據(jù)、所分析的數(shù)據(jù)以及可行動的數(shù)據(jù))；

步驟2，大數(shù)據(jù)交換單元(302)接收到來自于大數(shù)據(jù)目標單元(303)的業(yè)務請求(帶有目標數(shù)據(jù)類型等信息)，則大數(shù)據(jù)交換單元(302)判斷所請求的目標數(shù)據(jù)是否存在。如果目標數(shù)據(jù)存在，則直接導出，從而實現(xiàn)數(shù)據(jù)交換；如果目標數(shù)據(jù)不存在，則：

步驟2.1，大數(shù)據(jù)交換單元(302)發(fā)送消息給大數(shù)據(jù)目標單元(303)，給出服務失敗的響應；或者，

步驟2.2，進一步地，大數(shù)據(jù)交換單元(302)啟動相應的數(shù)據(jù)導入流程向大數(shù)據(jù)源單元(301和301a)請求所需數(shù)據(jù)并經由大數(shù)據(jù)交換單元(302)的數(shù)據(jù)處理流程(即數(shù)據(jù)收集、收集準備、數(shù)據(jù)分析以及數(shù)據(jù)可視化等處理)來嘗試進一步滿足大數(shù)據(jù)目標單元(303)的業(yè)務請求。

步驟3，通過步驟2.2，來自于大數(shù)據(jù)源單元(301和301a)的數(shù)據(jù)以及經由大數(shù)據(jù)交換單元(302)所處理后，

步驟3.1，能夠滿足來自于大數(shù)據(jù)目標單元(303)的業(yè)務請求(帶有目標數(shù)據(jù)類型等信息)，則大數(shù)據(jù)交換單元(302)導出相關數(shù)據(jù)給大數(shù)據(jù)目標單元(303)，從而實現(xiàn)數(shù)據(jù)交換；否則，

步驟3.2，大數(shù)據(jù)交換單元(302)發(fā)送消息給大數(shù)據(jù)目標單元(303)，給出服務失敗的響應。

本優(yōu)選實施例提供了一種大數(shù)據(jù)交換的系統(tǒng)及其實現(xiàn)方法，實現(xiàn)了大數(shù)據(jù)的開放性、互聯(lián)性以及共享性，并充分調動孤立且不活躍的大數(shù)據(jù)能夠充分參與到大數(shù)據(jù)交易活動中，為生產和生活所用以及創(chuàng)造大數(shù)據(jù)所應有的價值。

通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到根據(jù)上述實施例的方法可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)，當然也可以通過硬件，但很多情況下前者是更佳的實施方式。基于這樣的理解，本發(fā)明的技術方案本質上或者說對現(xiàn)有技術做出貢獻的部分可以以軟件產品的形式體現(xiàn)出來，該計算機軟件產品存儲在一個存儲介質(如ROM/RAM、磁碟、光盤)中，包括若干指令用以使得一臺終端設備(可以是手機，計算機，服務器，或者網(wǎng)絡設備等)執(zhí)行本發(fā)明各個實施例所述的方法。

本發(fā)明的實施例還提供了一種存儲介質?？蛇x地，在本實施例中，上述存儲介質可以被設置為存儲用于執(zhí)行上述實施例的方法步驟的程序代碼：

可選地，在本實施例中，上述存儲介質可以包括但不限于：U盤、只讀存儲器(ROM，Read-Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質。

可選地，在本實施例中，處理器根據(jù)存儲介質中已存儲的程序代碼執(zhí)行上述實施例的方法步驟。

顯然，本領域的技術人員應該明白，上述的本發(fā)明的各模塊或各步驟可以用通用的計算裝置來實現(xiàn)，它們可以集中在單個的計算裝置上，或者分布在多個計算裝置所組成的網(wǎng)絡上，可選地，它們可以用計算裝置可執(zhí)行的程序代碼來實現(xiàn)，從而，可以將它們存儲在存儲裝置中由計算裝置來執(zhí)行，并且在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟，或者將它們分別制作成各個集成電路模塊，或者將它們中的多個模塊或步驟制作成單個集成電路模塊來實現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結合。

以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領域的技術人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內。