據(jù)進(jìn)行數(shù)據(jù)交換，完成彈性波數(shù)值模擬。
[0040] 本發(fā)明的有益效果是:從應(yīng)力應(yīng)變方程出發(fā)，實現(xiàn)了利用圖形處理單元(GPU)加速 復(fù)雜介質(zhì)下的三維彈性波數(shù)值模擬，并針對三維問題引入GPU設(shè)備所面對的由于區(qū)域分解 所造成的多節(jié)點(diǎn)間、節(jié)點(diǎn)內(nèi)通信瓶頸問題進(jìn)行了深入的研究和分析，提出了利用GPU Direct技術(shù)加速數(shù)據(jù)傳輸?shù)膶崿F(xiàn)方案，避免了大量的CPU到GPU，GPU到CPU的數(shù)據(jù)拷貝，實現(xiàn) 了優(yōu)化通信瓶頸的問題。通過GPU圖形加速設(shè)備并引入GPU Direct通信優(yōu)化策略，可以顯著 的提升整體計算性能，可以用更低的硬件成本和更少的時間實現(xiàn)的三維各向異性彈性數(shù)值 模擬，為各種依賴于波動方程正演模擬的算法如逆時偏移，全波形反演的應(yīng)用提供有力的 保證。
[0041] 在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。
[0042] 進(jìn)一步，所述數(shù)據(jù)交換模塊包括區(qū)域確定模塊和分區(qū)交換模塊；
[0043] 所述區(qū)域確定模塊用于根據(jù)所有波場值確定每個網(wǎng)格點(diǎn)的計算區(qū)域，并采用吸收 邊界的方式確定計算區(qū)域邊界，在計算區(qū)域內(nèi)模擬地下介質(zhì)中波的傳播；
[0044] 所述分區(qū)交換模塊用于對所有計算區(qū)域進(jìn)行分區(qū)，對相鄰分區(qū)的邊界數(shù)據(jù)進(jìn)行數(shù) 據(jù)交換，得到模擬彈性波數(shù)據(jù)，完成彈性波數(shù)值模擬。
[0045] 進(jìn)一步，所述分區(qū)交換模塊中邊界數(shù)據(jù)的采用GPU-Direct技術(shù)進(jìn)行數(shù)據(jù)交換。 [0046]采用上述進(jìn)一步方案的有益效果是，利用GPU加速三維彈性波數(shù)值模擬，顯著提高 計算速度，相較于常規(guī)CHJ集群實現(xiàn)，可以達(dá)到20~30倍的速度提升，利用GPU Direct技術(shù) 加速節(jié)點(diǎn)間、節(jié)點(diǎn)內(nèi)數(shù)據(jù)傳輸?shù)膶崿F(xiàn)方案，我們的方案因其避免了大量的CPU到GPU，GPU到 CPU的數(shù)據(jù)拷貝，從而實現(xiàn)了優(yōu)化通信瓶頸的問題。
【附圖說明】
[0047] 圖1為本發(fā)明實施例1所述的一種三維各向異性彈性波數(shù)值模擬方法流程圖；
[0048] 圖2為本發(fā)明實施例中利用八階精度有限差分近似中心點(diǎn)的一階導(dǎo)數(shù)需要25個網(wǎng) 格點(diǎn)圖；
[0049]圖3為本發(fā)明實施例中三維各向異性彈性波數(shù)值模擬在單GPU設(shè)備上的實施流程 圖；
[0050] 圖4為本發(fā)明實施例中數(shù)據(jù)體區(qū)域分解及通信情況概述圖；
[0051] 圖5a為現(xiàn)有技術(shù)中節(jié)點(diǎn)內(nèi)采用MPI數(shù)據(jù)傳輸方式示意圖；
[0052]圖5b為本發(fā)明實施例中采用GPU Direct P2P數(shù)據(jù)傳輸方式示意圖；
[0053]圖6a為現(xiàn)有技術(shù)中節(jié)點(diǎn)間采用MPI數(shù)據(jù)傳輸示意圖；
[0054]圖6b為本發(fā)明實施例中采用GPU Direct RDAM方式進(jìn)行數(shù)據(jù)傳輸示意圖；
[0055]圖7為本發(fā)明實施例1所述的一種三維各向異性彈性波數(shù)值模擬系統(tǒng)結(jié)構(gòu)框圖； [0056]圖8a_8c為本發(fā)明實施例中用于測試的三種具有不同TI對稱性的彈性介質(zhì)剛度系 數(shù)矩陣示意圖；
[0057]圖9a_9c為本發(fā)明實施例中三種具有不同TI對稱性的彈性介質(zhì)的三維脈沖響應(yīng)示 意圖；
[0058]圖10為本發(fā)明實施例中節(jié)點(diǎn)內(nèi)常規(guī)MPI通信方式與GPU Direct通信方式的測試分 析結(jié)果對比圖；
[0059]圖11為本發(fā)明實施例中節(jié)點(diǎn)間采用常規(guī)MPI通信方式與采用GPU Direct RDMA通 信方式的測試結(jié)果對比圖。
[0060]附圖中，各標(biāo)號所代表的部件列表如下：
[0061 ] 1、建模模塊，2、震源模塊，3、傳播模塊，4、數(shù)據(jù)交換模塊。
【具體實施方式】
[0062]以下結(jié)合附圖對本發(fā)明的原理和特征進(jìn)行描述，所舉實例只用于解釋本發(fā)明，并 非用于限定本發(fā)明的范圍。
[0063]如圖1所示，本發(fā)明實施例1所述的一種三維各向異性彈性波數(shù)值模擬方法，具體 包括以下步驟：
[0064] 步驟1:建立介質(zhì)模型，對介質(zhì)模型進(jìn)行網(wǎng)格離散得到多個網(wǎng)格點(diǎn)；
[0065] 步驟2:計算震源函數(shù)，根據(jù)震源函數(shù)計算每個網(wǎng)格點(diǎn)上的壓力值；
[0066]步驟3:將三維各向異性彈性波方程轉(zhuǎn)換為傳播方程，將每個網(wǎng)格點(diǎn)上的壓力值帶 入傳播方程進(jìn)行計算，得到每一刻的波場值；
[0067] 步驟4:根據(jù)波場值確定每個網(wǎng)格點(diǎn)的計算區(qū)域，進(jìn)行分區(qū)并對分區(qū)邊界數(shù)據(jù)進(jìn)行 數(shù)據(jù)交換，完成彈性波數(shù)值模擬。
[0068] 實施例2中，在實施例1的基礎(chǔ)上，所述步驟4具體包括以下步驟：
[0069] 步驟4.1:根據(jù)所有波場值確定每個網(wǎng)格點(diǎn)的計算區(qū)域，并采用吸收邊界的方式確 定計算區(qū)域邊界，在計算區(qū)域內(nèi)模擬地下介質(zhì)中波的傳播；
[0070] 步驟4.2:對所有計算區(qū)域進(jìn)行分區(qū)，對相鄰分區(qū)的邊界數(shù)據(jù)進(jìn)行數(shù)據(jù)交換，得到 模擬彈性波數(shù)據(jù)，完成彈性波數(shù)值模擬。
[0071] 實施例3中，在實施例1或2的基礎(chǔ)上，所述步驟4.2中邊界數(shù)據(jù)的采用GPU-Direct 技術(shù)進(jìn)行數(shù)據(jù)交換。
[0072] 實施例4中，在實施例1-3任一實施例的基礎(chǔ)上，所述步驟4.2中的數(shù)據(jù)交換具體包 括：
[0073] 沿介質(zhì)模型中計算區(qū)域邊界數(shù)據(jù)變化最慢的軸向進(jìn)行區(qū)域分解，得到多個分區(qū)， 將所有分區(qū)分配到多個GPU中，每個分區(qū)獨(dú)立在一個GPU上執(zhí)行計算;每兩個相鄰分區(qū)的邊 界數(shù)據(jù)再進(jìn)行交換。
[0074]此實施例中，進(jìn)一步，對每一時刻的各個計算節(jié)點(diǎn)的計算邊界數(shù)據(jù)采用GPU-Direct 技術(shù)進(jìn)行數(shù)據(jù)交換具體實現(xiàn)如下：
[0075]當(dāng)處理求解大規(guī)模三維模型時，有限的全局內(nèi)存使得單個GPU設(shè)備無法存儲整個 模型網(wǎng)格。為此，我們的算法必須將CUDA代碼擴(kuò)展到運(yùn)行在多GPU設(shè)備，多節(jié)點(diǎn)的異構(gòu)體系 結(jié)構(gòu)中，以充分利用GPU計算能力進(jìn)行高性能計算。基于這個原因，我們采用一個區(qū)域分解 方案，我們的區(qū)域分解方案如圖3所示，沿著計算網(wǎng)格變化最慢的Y軸方向進(jìn)行區(qū)域分解，從 而將整個計算區(qū)域分解為N/M份，N為Y方向上的網(wǎng)格數(shù)目，Μ為當(dāng)前計算集群的GPU數(shù)目。每 個分區(qū)獨(dú)立在一個GPU設(shè)備執(zhí)行計算步驟1-3。
[0076]因為有限差分方法(如圖2所示，以8階精度為例）需要y方向上的向前和向后四個 點(diǎn)，因此在每個子區(qū)域中進(jìn)行有限差分操作的GPU設(shè)備需要獲取其他設(shè)備上與其計算區(qū)域 相鄰點(diǎn)的值，因此相鄰子區(qū)域的邊界數(shù)據(jù)必須在每個時間步上進(jìn)行交換，其數(shù)據(jù)傳輸路徑 如圖3所示，即分為節(jié)點(diǎn)內(nèi)和節(jié)點(diǎn)間兩種類型，如圖4所示，數(shù)據(jù)體區(qū)域分解及通信情況概 述，圖中術(shù)語說明，PCI-E，是PCI-Express的簡稱，指計算機(jī)總線和接口標(biāo)準(zhǔn)。Inf iniBand， 是一種專門用于服務(wù)器端網(wǎng)絡(luò)連接的多并發(fā)網(wǎng)絡(luò)架構(gòu)，GPU Direct P2P，GPU Direct的節(jié) 點(diǎn)內(nèi)實現(xiàn)方式(稱為GPU直連點(diǎn)對點(diǎn)技術(shù)），GPU Direct RDMA，RDMA技術(shù)全稱為遠(yuǎn)程直接數(shù) 據(jù)存取，GPU Direct RDMA指GPU Direct技術(shù)的節(jié)點(diǎn)間實現(xiàn)方式(成為GPU遠(yuǎn)程直連技術(shù)）。 節(jié)點(diǎn)內(nèi)利用GPU Direct P2P通信，節(jié)點(diǎn)間利用GPU Direct RDAM通信。通常，這種不同GPU設(shè) 備間的通信由于數(shù)據(jù)需要進(jìn)行GPU到CPU以及CPU到GPU的數(shù)據(jù)拷貝，整個通信過程十分耗 時，這是常規(guī)GPU集群計算的一個主要瓶頸。
[0077]對此，本發(fā)明利用GPU Direct優(yōu)化這些數(shù)據(jù)通信，其具體實施如下：
[0078] a)保證⑶DA版本在6.0之上，并且顯卡計算能力在2.5之上，以保證對GPU Direct 的支持。
[0079] b)采用CUDA-Aware MPI，CUDA-Aware MPI為支持GPU Direct特性的針對GPU計算 優(yōu)化的MPI實現(xiàn)，現(xiàn)階段支持CUDA-Aware MPI的MPI實現(xiàn)有，MAVPCH21.9以上版本或者 OpenMPI 1.7以上版本，我們以MAVPICH2為例。
[0080] c)cudaS