獨(dú)立的直線連接關(guān)系即可作為模型的可并行部分。將模型的可并 行部分拆分到多個GPU上，同時利用多個GPU的計算能力各執(zhí)行子模型的計算，如附圖12所 示，可W大大加快模型的單次前向-后向訓(xùn)練時間。
[0078] Deep C順S網(wǎng)絡(luò)的層次模型實際上是一張有向無環(huán)圖（DAG圖），分配到每個模型并 行Worker上的層集合，是有向無環(huán)圖的拓?fù)渑判蜃蛹?，所有子集組成整個網(wǎng)絡(luò)的1組模型。
[0079] 考慮極端情景：需要訓(xùn)練超大規(guī)模Deep CNNs模型，或者使用計算能力相對較強(qiáng)、 顯存較小(一般在1GB~3GB)的桌面級G沁orce系列GPU，則利用模型本身的并行性運(yùn)種基本 的模型劃分方法將不再適用。需要將模型再做拆分W保證單個GPU都能存儲下對應(yīng)的子模 型。
[0080] 每個模型并行Worker上W-個模型并行執(zhí)行引擎負(fù)責(zé)調(diào)度本W(wǎng)orker上子模型的 執(zhí)行過程。執(zhí)行引擎控制所有Worker上的子模型完成前向和后向計算，各自對子模型完成 參數(shù)更新后，到達(dá)主線程同步點(diǎn)，開始下一mini-batch訓(xùn)練。
[0081] 多GPU模型并行和數(shù)據(jù)并行的Deep CN化模型r邱licas及劃分結(jié)構(gòu)如附圖13所示， 在使用4GPU的場景下，劃分了2組Worker Group用于數(shù)據(jù)并行；每個Worker Group內(nèi)劃分2 個Worker用于模型并行。
[0082] 本發(fā)明的主要貢獻(xiàn)在于：
[0083] 本發(fā)明滿足相關(guān)行業(yè)"全面、準(zhǔn)確、快速"監(jiān)控海洋污染物的應(yīng)用需求。
[0084] 為了實現(xiàn)"全面"分析運(yùn)個目標(biāo)，本發(fā)明提出了研發(fā)多源影像資源統(tǒng)一集成的技術(shù) 思路：即通過綜合多種遙感衛(wèi)星的影像的數(shù)據(jù)特征，對不同數(shù)據(jù)源發(fā)現(xiàn)的影像資源進(jìn)行比 對、數(shù)據(jù)清洗、整合、標(biāo)準(zhǔn)化和集成，從而形成一個標(biāo)準(zhǔn)化、統(tǒng)一的、全局性的影像資源數(shù)據(jù) 倉庫，為后續(xù)的深度學(xué)習(xí)、分析和挖掘提供全面統(tǒng)一的數(shù)據(jù)基礎(chǔ)，從而能保證各種監(jiān)控應(yīng)用 達(dá)到"全面性"的要求。
[0085] 為了達(dá)到"快速"分析需求，本發(fā)明提出了分布式處理與并行計算的技術(shù)思路，采 用網(wǎng)絡(luò)存儲系統(tǒng)存儲海量遙感數(shù)據(jù)，通過虛擬化技術(shù)全面整合存儲容量，按需分配且能夠 靈活調(diào)整大小。前端通過影像流協(xié)議直寫網(wǎng)絡(luò)存儲系統(tǒng)。影像通過離散算法均衡切片，W集 群響應(yīng)方式提供數(shù)據(jù)并發(fā)計算服務(wù)。底層采用網(wǎng)絡(luò)RAID技術(shù)，多層次保護(hù)用戶數(shù)據(jù)安全。全 系統(tǒng)集群工作模式，保證各設(shè)備間業(yè)務(wù)實時負(fù)載均衡，提高設(shè)備利用率，加快數(shù)據(jù)處理速 度，從而達(dá)到快速分析的目標(biāo)。
[0086] 為了達(dá)到"準(zhǔn)確"的分析要求，則要對海量影像內(nèi)容進(jìn)行深入挖掘和分析，因此本 發(fā)明將重點(diǎn)研發(fā)基于多GPU架構(gòu)的并行深度學(xué)習(xí)模型，在深度學(xué)習(xí)的圖像識別應(yīng)用中，深度 卷積神經(jīng)網(wǎng)絡(luò)模型的卷積層計算量大，全連接層參數(shù)多。因此，提出劃分計算資源方法，通 過模型并行和數(shù)據(jù)并行運(yùn)兩個數(shù)據(jù)/計算組織層次上來加速訓(xùn)練，同時能快速針對特定污 染物目標(biāo)的識別、檢測、跟蹤和行為分析。
[0087] W上內(nèi)容是結(jié)合具體的優(yōu)選實施方式對本發(fā)明所作的進(jìn)一步詳細(xì)說明，不能認(rèn)定 本發(fā)明的具體實施只局限于運(yùn)些說明。對于本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員來說，在 不脫離本發(fā)明構(gòu)思的前提下，還可W做出若干簡單推演或替換，都應(yīng)當(dāng)視為屬于本發(fā)明的 保護(hù)化圍。
【主權(quán)項】
1. 一種基于遙感數(shù)據(jù)深度學(xué)習(xí)的近海污染物識別與跟蹤方法，以及基于近海污染物識 別與跟蹤系統(tǒng)，所述系統(tǒng)分為用于應(yīng)用層、內(nèi)容分析與挖掘?qū)?、資源數(shù)據(jù)集成層、資源獲取 層;其特征在于:所述方法包括： 首先，采用海量遙感影像數(shù)據(jù)分布式處理技術(shù)對多源遙感影像資源統(tǒng)一數(shù)據(jù)集成、分 布式處理，包括數(shù)據(jù)標(biāo)準(zhǔn)化處理、噪音數(shù)據(jù)過濾、歸一化、數(shù)據(jù)一致性檢查，形成污染物目標(biāo) 數(shù)據(jù)庫； 然后，通過卷積神經(jīng)網(wǎng)絡(luò)CNN建立衛(wèi)星遙感圖像的深度學(xué)習(xí)模型，利用空間關(guān)系減少需 要學(xué)習(xí)的參數(shù)數(shù)目以提高一般前向BP算法的訓(xùn)練性能;利用權(quán)值共享降低網(wǎng)絡(luò)的復(fù)雜性； 最后，由于深度卷積神經(jīng)網(wǎng)絡(luò)模型的卷積層計算量大，全連接層參數(shù)多，將一個完整深 度卷積網(wǎng)絡(luò)的計算拆分到多個GPU上進(jìn)行合理調(diào)度來并行地執(zhí)行，通過模型并行和數(shù)據(jù)并 行這兩個數(shù)據(jù)/計算組織層次上來加速訓(xùn)練，快速針對特定污染物目標(biāo)的識別、檢測、跟蹤 和行為分析。2. 根據(jù)權(quán)利要求1所述的近海污染物識別與跟蹤方法，其特征在于:所述方法根據(jù)多種 遙感衛(wèi)星的影像的數(shù)據(jù)特征，對不同數(shù)據(jù)源發(fā)現(xiàn)的影像資源進(jìn)行比對、數(shù)據(jù)清洗、整合、標(biāo) 準(zhǔn)化和集成，從而形成一個標(biāo)準(zhǔn)化、統(tǒng)一的、全局性的影像資源數(shù)據(jù)倉庫，為后續(xù)的深度學(xué) 習(xí)、分析和挖掘提供全面統(tǒng)一的數(shù)據(jù)基礎(chǔ)。3. 根據(jù)權(quán)利要求1所述的近海污染物識別與跟蹤方法，其特征在于:所述方法，采用網(wǎng) 絡(luò)存儲系統(tǒng)存儲海量遙感數(shù)據(jù)，通過虛擬化技術(shù)全面整合存儲容量，按需分配且能夠靈活 調(diào)整大小;前端通過影像流協(xié)議直寫網(wǎng)絡(luò)存儲系統(tǒng);影像通過離散算法均衡切片，以集群響 應(yīng)方式提供數(shù)據(jù)并發(fā)計算服務(wù);底層采用網(wǎng)絡(luò)RAID技術(shù)，多層次保護(hù)用戶數(shù)據(jù)安全。4. 根據(jù)權(quán)利要求1所述的近海污染物識別與跟蹤方法，其特征在于:所述方法采用全系 統(tǒng)集群工作模式，保證各設(shè)備間業(yè)務(wù)實時負(fù)載均衡，提高設(shè)備利用率，加快數(shù)據(jù)處理速度， 從而達(dá)到快速分析的目標(biāo)。5. 根據(jù)權(quán)利要求1所述的近海污染物識別與跟蹤方法，其特征在于:所述系統(tǒng)包括污染 物目標(biāo)識別、決策支持子系統(tǒng)、報警子系統(tǒng)、污染物漂移預(yù)報子系統(tǒng)、各種污染品化學(xué)成份 及危害數(shù)據(jù)庫、清污救助材料/設(shè)備性能及存貨數(shù)據(jù)庫、地理信息系統(tǒng)、污染應(yīng)急反應(yīng)能力 評估子系統(tǒng)、污染損害評估子系統(tǒng);結(jié)合無線通訊系統(tǒng)技術(shù)實現(xiàn)地面應(yīng)急反應(yīng)中心與海巡 飛機(jī)和海上作業(yè)船舶之間的可視化信息通訊，依據(jù)海巡飛機(jī)的報告，快速生成救助、清除方 案，指揮清污船快速準(zhǔn)確地進(jìn)行多項海上清污技術(shù)的集成式清污作業(yè)。6. 根據(jù)權(quán)利要求1所述的近海污染物識別與跟蹤方法，其特征在于:所述模型并行是將 一個完整Deep CNNs網(wǎng)絡(luò)的計算拆分到多個GPU上來執(zhí)行而采取的并行手段，結(jié)合并行資源 對模型各并行部分進(jìn)行合理調(diào)度以達(dá)到模型并行加速效果。7. -種基于遙感數(shù)據(jù)深度學(xué)習(xí)的近海污染物識別與跟蹤系統(tǒng)，所述系統(tǒng)分為用于應(yīng)用 層、內(nèi)容分析與挖掘?qū)?、資源數(shù)據(jù)集成層、資源獲取層;其特征在于:所述系統(tǒng)包括： 多源資料數(shù)據(jù)處理裝置:采用海量遙感影像數(shù)據(jù)分布式處理技術(shù)對多源遙感影像資源 統(tǒng)一數(shù)據(jù)集成、分布式處理，包括數(shù)據(jù)標(biāo)準(zhǔn)化處理、噪音數(shù)據(jù)過濾、歸一化、數(shù)據(jù)一致性檢 查，形成污染物目標(biāo)數(shù)據(jù)庫； 學(xué)習(xí)模型建立裝置:通過卷積神經(jīng)網(wǎng)絡(luò)CNN建立衛(wèi)星遙感圖像的深度學(xué)習(xí)模型，利用空 間關(guān)系減少需要學(xué)習(xí)的參數(shù)數(shù)目以提高一般前向BP算法的訓(xùn)練性能;利用權(quán)值共享降低網(wǎng) 絡(luò)的復(fù)雜性； 并行計算裝置：由于深度卷積神經(jīng)網(wǎng)絡(luò)模型的卷積層計算量大，全連接層參數(shù)多，將一 個完整深度卷積網(wǎng)絡(luò)的計算拆分到多個GPU上進(jìn)行合理調(diào)度來并行地執(zhí)行，通過模型并行 和數(shù)據(jù)并行這兩個數(shù)據(jù)/計算組織層次上來加速訓(xùn)練，快速針對特定污染物目標(biāo)的識別、檢 測、跟蹤和行為分析。
【專利摘要】本發(fā)明針對現(xiàn)有近海環(huán)境監(jiān)管技術(shù)存在的“發(fā)現(xiàn)不全面”、“缺乏對遙感數(shù)據(jù)的內(nèi)容挖掘”的問題，基于多年來在衛(wèi)星應(yīng)用領(lǐng)域的研發(fā)和產(chǎn)業(yè)應(yīng)用基礎(chǔ)，提出了一個全面、系統(tǒng)、深入的基于遙感數(shù)據(jù)深度學(xué)習(xí)的近海污染物目標(biāo)識別與跟蹤的解決方案，該方案應(yīng)用衛(wèi)星遙感圖像的深度學(xué)習(xí)模型、海量遙感數(shù)據(jù)分布式存儲與并行處理技術(shù)和基于GPU加速的深度卷積網(wǎng)絡(luò)并行模型，滿足相關(guān)行業(yè)“全面、準(zhǔn)確、快速”監(jiān)控海洋污染物的應(yīng)用需求。
【IPC分類】G06K9/62, G06F17/30, G06N3/02, G06N3/08
【公開號】CN105630882
【申請?zhí)枴緾N201510955938
【發(fā)明人】王岢, 徐曉飛, 葉允明
【申請人】哈爾濱工業(yè)大學(xué)深圳研究生院
【公開日】2016年6月1日
【申請日】2015年12月18日