本發(fā)明涉及大氣污染物濃度估算與模擬，尤其涉及一種融合實時監(jiān)測數(shù)據(jù)與lightgbm模型的pm2.5濃度估算及在線可視化方法。

背景技術(shù)：

1、21世紀以來，我國經(jīng)歷了快速的城鎮(zhèn)化與社會經(jīng)濟發(fā)展，但也面臨著嚴峻的大氣污染問題。pm2.5是大氣環(huán)境的主要污染物之一，pm2.5長期、短期暴露均可導致一定的疾病與死亡風險。地面監(jiān)測是pm2.5濃度數(shù)據(jù)的主要來源，但我國空氣質(zhì)量監(jiān)測站點依然稀疏，區(qū)域和城鄉(xiāng)不均衡問題明顯，其在反映大氣污染物濃度的空間差異方面也存在明顯缺陷，嚴重限制了精確的大氣污染健康效應評估研究，也不能提供監(jiān)測站點之外尤其是遠離城市的鄉(xiāng)村和偏遠地區(qū)的大氣環(huán)境信息。增設(shè)監(jiān)測站點顯然會大幅度增加建設(shè)成本。大氣污染物濃度進行估算或模擬，已成為收集和獲取數(shù)據(jù)，并進行精確健康效應評估的重要途徑。除對公共健康具有明顯的負面效應外，大氣污染還會影響農(nóng)業(yè)系統(tǒng)作物產(chǎn)量、交通出行規(guī)劃、區(qū)域美譽度和吸引力，甚至導致氣候變化。在此背景下，實時估算并展示空間全覆蓋的pm2.5濃度，可為相關(guān)科研人員提供基礎(chǔ)數(shù)據(jù)支撐，為政府制定污染治理措施提供參考，并為個人污染規(guī)避行為決策提供指導，顯得尤為迫切和重要。

2、目前，大氣污染物濃度估算與模擬方法主要包括數(shù)值模式方法、統(tǒng)計方法和機器學習方法。數(shù)值模式方法基于空氣動力學理論和物理化學過程，能夠模擬大氣污染物的稀釋與擴散，可以動態(tài)預測污染物濃度的變化，其結(jié)果精度較高。但該類方法一方面高度依賴于排放清單，而排放清單通常實效性差，高分辨率排放清單的編制成本也較高；另一方面，該類方法用數(shù)學方程模擬大氣過程，計算量巨大，通常需要超級計算機才能滿足計算需求，其計算耗時很長，難以實時快速模擬。統(tǒng)計建模方法和機器學習方法主要是基于歷史監(jiān)測數(shù)據(jù)進行建模，試圖得到污染物濃度空間或時空變化特征的參數(shù)，污染物濃度與協(xié)變量之間關(guān)系的參數(shù)，并基于模型參數(shù)對無監(jiān)測值地區(qū)污染物濃度進行估算。而統(tǒng)計方法通常又難以建立復雜非線性模型，無法精確模擬大氣污染復雜非線性的時空變異。其估算成本和預測精度都難以控制，具有數(shù)據(jù)封閉性較高、開放性較差的局限。機器學習方法在模擬變量間復雜非線性關(guān)系方面具有獨特優(yōu)勢，同時適用于大規(guī)模數(shù)據(jù)的計算，效率較高。尤其是，lightgbm模型作為一種新興的基于梯度提升框架的機器學習算法，其快速高效、消耗內(nèi)存少、準確度高，在大規(guī)模數(shù)據(jù)處理中得到廣泛認可。近年來，該方法也被應用于大氣污染物濃度的模擬研究。但在相關(guān)研究中該方法主要應用于過去某段時間大氣污染物濃度年值、日值的模擬，尚未用于實時的污染物濃度模擬。

技術(shù)實現(xiàn)思路

1、本發(fā)明針對目前pm2.5濃度估算時效性差，可用性差的問題，考慮到對實時大氣污染物濃度數(shù)據(jù)的迫切需求，本發(fā)明將爬蟲技術(shù)、機器學習方法與webgis技術(shù)相結(jié)合，通過實時爬取大氣污染監(jiān)測數(shù)據(jù)、氣象監(jiān)測數(shù)據(jù)，采用lightgbm模型對公里網(wǎng)格尺度大氣污染物濃度進行估算，并利用webgis技術(shù)進行可視化展示，建立一種融合實時監(jiān)測數(shù)據(jù)與lightgbm模型的pm2.5濃度估算及在線可視化方法。本發(fā)明具體基于空氣質(zhì)量監(jiān)測和氣象監(jiān)測數(shù)據(jù)的歷史數(shù)據(jù)及dem、道路密度等輔助數(shù)據(jù)，構(gòu)建lightgbm模型，根據(jù)模型驗證結(jié)果，選定模型變量與參數(shù)，結(jié)合實時爬取的空氣質(zhì)量監(jiān)測數(shù)據(jù)、氣象監(jiān)測數(shù)據(jù)，采用lightgbm模型對實時pm2.5濃度進行預測，得到高分辨率實時的pm2.5濃度數(shù)據(jù)。通過webgis(webgeographic?information?system，網(wǎng)絡地理信息系統(tǒng))技術(shù)搭建前端框架，構(gòu)建數(shù)據(jù)可視化平臺，通過可視化平臺展示高分辨率實時的pm2.5濃度。

2、為了實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

3、本發(fā)明提出一種融合實時監(jiān)測數(shù)據(jù)與lightgbm模型的pm2.5濃度估算及在線可視化方法，包括：

4、步驟1：采集氣象監(jiān)測歷史數(shù)據(jù)、空氣質(zhì)量監(jiān)測歷史數(shù)據(jù)以及空氣質(zhì)量監(jiān)測點坐標，并收集dem數(shù)據(jù)與路網(wǎng)數(shù)據(jù)，對上述數(shù)據(jù)進行預處理；所述空氣質(zhì)量監(jiān)測歷史數(shù)據(jù)包括pm2.5濃度歷史數(shù)據(jù)；

5、步驟2：根據(jù)預處理后的上述數(shù)據(jù)，生成空間數(shù)據(jù)集；

6、步驟3：基于生成的空間數(shù)據(jù)集，以氣象監(jiān)測歷史數(shù)據(jù)作為氣象要素，dem數(shù)據(jù)和道路密度數(shù)據(jù)作為下墊面要素，通過lightgbm構(gòu)建空氣質(zhì)量估算模型；所述道路密度數(shù)據(jù)根據(jù)路網(wǎng)數(shù)據(jù)得出；

7、步驟4：爬取實時空氣質(zhì)量監(jiān)測數(shù)據(jù)和氣象監(jiān)測數(shù)據(jù)，輸入空氣質(zhì)量估算模型，對目標區(qū)域1km空間分辨率格網(wǎng)的pm2.5濃度進行估算，得到實時的高分辨率pm2.5濃度數(shù)據(jù)；

8、步驟5：采用geoserver發(fā)布pm2.5濃度估算結(jié)果，以地圖形式對pm2.5濃度估算結(jié)果進行可視化，更新實時氣象監(jiān)測數(shù)據(jù)和空氣質(zhì)量監(jiān)測數(shù)據(jù)，重復步驟3-5，將pm2.5濃度估算結(jié)果實時更新至webgis系統(tǒng)；

9、步驟6：將webgis系統(tǒng)部署到服務器，以使用戶通過互聯(lián)網(wǎng)訪問。

10、進一步地，所述步驟1包括：

11、步驟1.1：從國家氣象科學數(shù)據(jù)中心獲取氣象監(jiān)測歷史數(shù)據(jù)，從中國環(huán)境監(jiān)測總站的全國城市空氣質(zhì)量實時發(fā)布平臺和公共環(huán)境研究中心的全球空氣質(zhì)量監(jiān)測數(shù)據(jù)平臺采集pm2.5濃度歷史數(shù)據(jù)；

12、步驟1.2：查看各指標數(shù)據(jù)結(jié)構(gòu)與統(tǒng)計特征，篩選數(shù)據(jù)中na值、異常值、重復值，對數(shù)據(jù)進行清洗，處理缺失值和異常值，確保數(shù)據(jù)的質(zhì)量和完整性；

13、步驟1.3：獲取氣象監(jiān)測歷史數(shù)據(jù)與空氣質(zhì)量監(jiān)測歷史數(shù)據(jù)的時間信息、空間位置信息；依據(jù)監(jiān)測歷史數(shù)據(jù)空間位置信息，生成矢量空間數(shù)據(jù)；將氣象監(jiān)測值與空氣質(zhì)量監(jiān)測值作為屬性信息，與對應矢量空間數(shù)據(jù)進行連接，得到氣象和空氣質(zhì)量矢量數(shù)據(jù)；

14、步驟1.4：將氣象和空氣質(zhì)量矢量數(shù)據(jù)與dem、路網(wǎng)數(shù)據(jù)地理投影進行轉(zhuǎn)換和統(tǒng)一，生成初始空間數(shù)據(jù)集。

15、進一步地，所述氣象監(jiān)測歷史數(shù)據(jù)包括氣溫、氣壓、降雨、風速和相對濕度指標數(shù)據(jù)。

16、進一步地，所述步驟2包括：

17、步驟2.1：基于路網(wǎng)數(shù)據(jù)，采用線密度方法計算得到道路密度數(shù)據(jù)；

18、步驟2.2：根據(jù)空氣質(zhì)量監(jiān)測點坐標，采用點值提取方法，提取當前和前1小時、6小時、12小時和24小時的5個時間點的各氣象監(jiān)測數(shù)據(jù)；

19、步驟2.3：根據(jù)空氣質(zhì)量監(jiān)測點坐標，提取各空氣質(zhì)量監(jiān)測點的dem數(shù)據(jù)；以1-10公里為半徑構(gòu)建緩沖區(qū)，提取空氣質(zhì)量監(jiān)測點不同緩沖區(qū)內(nèi)平均道路密度；整合空氣質(zhì)量監(jiān)測數(shù)據(jù)和提取的氣象監(jiān)測數(shù)據(jù)、dem數(shù)據(jù)、平均道路密度數(shù)據(jù)，生成最終的空間數(shù)據(jù)集。

20、進一步地，所述步驟3包括：

21、以氣象要素和下墊面要素作為輸入特征，以pm2.5濃度作為輸出標簽，利用lightgbm模型擬合監(jiān)測站點pm2.5濃度和各要素的非線性關(guān)系，構(gòu)建訓練模型；驗證模型，根據(jù)各要素與pm2.5濃度的相關(guān)性，確定最終影響要素與參數(shù)，構(gòu)建空氣質(zhì)量估算模型。

22、選取空間數(shù)據(jù)集中80％樣本作為訓練集，用于模型的訓練，選取數(shù)據(jù)集中20％樣本作為測試集，用于模型的評估。選取的lightgbm算法如下：

23、

24、其中，ht(x)表示第t個學習器。lightgbm假設(shè)有一個訓練集{x1,x2,,,xn}的數(shù)據(jù)量為n，訓練集中xi是輸入空間xs中第i個維度為s的向量。ht-1(x)代表通過前一輪迭代訓練獲得的學習器，其損失函數(shù)為l(y,ht-1(x))，那么尋找一個能夠使本輪損失函數(shù)達到最小的弱學習器ht(x)。

25、構(gòu)造的估算模型如下：

26、pt＝f(tem,uls)

27、式中pt為實時pm2.5濃度，tem為氣象要素，uls為下墊面要素，氣象要素和下墊面要素可以包括多種要素。

28、采用均方根誤差(rmse)和擬合優(yōu)度(r2)作為模型評估的關(guān)鍵指標，根據(jù)模型評估結(jié)果篩選具體的輸入特征，并對模型參數(shù)進行調(diào)優(yōu)，提高模型預測的準確性和泛化能力。計算公式如下：

29、

30、式中，n為數(shù)據(jù)的數(shù)量，ym為預測結(jié)果，yo為真實值，和分別表示預測結(jié)果和真實結(jié)果的平均值。

31、進一步地，所述步驟4包括：

32、步驟4.1：通過構(gòu)建爬蟲系統(tǒng)，從中國氣象數(shù)據(jù)平臺(該平臺通過中國氣象局多源融合氣象實況分析產(chǎn)品，每四分鐘進行一次數(shù)據(jù)更新，能夠很好的反應天氣實況)收集實時氣象監(jiān)測數(shù)據(jù)，從公共環(huán)境研究中心的全球空氣質(zhì)量監(jiān)測數(shù)據(jù)平臺(該平臺匯總?cè)珖嗉壣鷳B(tài)環(huán)境部門、環(huán)境監(jiān)測部門的空氣質(zhì)量數(shù)據(jù)，每小時進行一次數(shù)據(jù)發(fā)布)采集實時pm2.5濃度數(shù)據(jù)；

33、步驟4.2：預處理實時數(shù)據(jù)，包括對數(shù)據(jù)進行清洗、缺失值和異常值處理，對實時采集的氣象監(jiān)測數(shù)據(jù)和pm2.5濃度數(shù)據(jù)通過站點坐標匹配，形成實時監(jiān)測數(shù)據(jù)集；

34、步驟4.3：把步驟4.2獲取的實時監(jiān)測數(shù)據(jù)集導入空氣質(zhì)量估算模型，對目標區(qū)域1km空間分辨率格網(wǎng)的pm2.5濃度進行估算，得到實時的高分辨率pm2.5濃度數(shù)據(jù)。

35、進一步地，所述步驟5包括：

36、步驟5.1：采用html/css、javascript開發(fā)前端，基于vue3框架搭建前端展示系統(tǒng)，配置可視化體系，對估算結(jié)果進行分級顯示，按照中國空氣質(zhì)量等級標準劃分級別，進行可視化展示；具體按照pm2.5濃度(μg/m3)劃分為優(yōu)(0-35)、良(35-75)、輕度污染(75-115)、中度污染(115-150)、重度污染(150-250)、嚴重污染(250-500)、爆表(500+)七個等級標準，按照分級設(shè)色的方法，依次從綠色向紅色分級展示；

37、步驟5.2：將步驟4中得到的實時高分辨率pm2.5濃度數(shù)據(jù)通過geoserver發(fā)布，生成供web服務使用的數(shù)據(jù)類型與服務器連接；

38、步驟5.3：獲取服務器傳遞的數(shù)據(jù)，按照設(shè)置的分級體系將數(shù)據(jù)加載在地圖上直觀展示。

39、與現(xiàn)有技術(shù)相比，本發(fā)明具有的有益效果：

40、(1)本發(fā)明考慮氣象要素對大氣污染物濃度的實時影響，及下墊面要素如地形、交通對初級排放和二次污染物排放的影響，采用lightgbm模型訓練并模擬相關(guān)因素與pm2.5濃度之間的非線性關(guān)系；基于模型參數(shù)對全區(qū)域pm2.5濃度進行估算，并采用webgis技術(shù)對其進行可視化展示。本發(fā)明可用于實現(xiàn)空間全覆蓋的實時大氣污染數(shù)據(jù)采集，并展示實時大氣污染狀況。

41、(2)本發(fā)明通過使用實時氣象監(jiān)測數(shù)據(jù)，顧及下墊面因素的影響，綜合多種要素構(gòu)建lightgbm估算模型，得到實時pm2.5濃度估算值，為生成高分辨率的實時pm2.5濃度數(shù)據(jù)提供技術(shù)支持。

42、(3)本發(fā)明不同于常見的對年尺度或日尺度歷史數(shù)據(jù)進行估算的方式，采用新興的機器學習算法lightgbm，構(gòu)建對每小時pm2.5濃度估算的模型，實現(xiàn)降低預測模型構(gòu)建成本，并提升預測結(jié)果精度。