環(huán)境監(jiān)測數(shù)據(jù)分析與預測模型研究.pdf

1、空氣污染影響著我們的健康和環(huán)境。2013年國務院發(fā)布大氣污染防治十條措施（大氣十條）以及國家重點研發(fā)計劃中的環(huán)境專項等政策制定和資金支持，都表明國家對環(huán)境問題的重視。本論文對環(huán)境數(shù)據(jù)進行分析并對預測模型研究，由五部分組成。
　　第一部分闡述了研究背景、內(nèi)容和研究意義。隨著大眾對生活區(qū)域內(nèi)的空氣污染指數(shù)的關(guān)心，大氣監(jiān)測數(shù)據(jù)由以往的僅僅少數(shù)幾個重點監(jiān)測點，發(fā)展到區(qū)域網(wǎng)格化布點，使得監(jiān)測時空數(shù)據(jù)量增長較快。傳統(tǒng)的空氣質(zhì)量預測模型因為數(shù)據(jù)

2、采集點少，只能密切結(jié)合地理氣象等外部數(shù)據(jù)，數(shù)據(jù)不同步同時模型較為復雜。而現(xiàn)在隨著大量采集點的出現(xiàn)，能否利用數(shù)據(jù)挖掘相關(guān)技術(shù)構(gòu)建預測模型，是目前研究者們關(guān)注的問題。本文研究目的是面對逐漸增加的環(huán)境數(shù)據(jù)進行數(shù)據(jù)分析，找到合適的數(shù)據(jù)挖掘技術(shù)，進而探索更好的大氣環(huán)境污染物預測模型。本文的研究過程基于六個步驟（數(shù)據(jù)理解、數(shù)據(jù)預處理、傳統(tǒng)模型、模型評價、模型解釋、比較優(yōu)化模型）。本研究探索了新形式下的預測方法，是對傳統(tǒng)預測模型的有益補充。
　

3、　第二部分是對國外案例分析和數(shù)據(jù)分析技術(shù)的研究。從預測功能方面調(diào)查了國外著名案例。美國AirNow，向公眾提供易于訪問的國家總體空氣質(zhì)量信息和空氣質(zhì)量指數(shù)(AQI)。澳大利亞空氣質(zhì)量預報系統(tǒng)（AAQFS）是一個前端顯示框架，用于預測下一天的空氣質(zhì)量，該系統(tǒng)輸入為氣象和排放數(shù)據(jù)，輸出為對空氣質(zhì)量的逐時預測，目前在墨爾本、悉尼和阿德萊德已經(jīng)投入使用。印度SAFAR（空氣質(zhì)量-天氣預報與研究系統(tǒng)等。其后，本文論述了數(shù)據(jù)挖掘的技術(shù)方法。數(shù)據(jù)挖掘

4、是從不同的角度分析數(shù)據(jù)并將其歸納為有用信息的過程。數(shù)據(jù)挖掘技術(shù)很多，在本研究中主要采用了數(shù)據(jù)預處理（數(shù)據(jù)的選擇、集成、過濾、采樣、清洗和轉(zhuǎn)換）技術(shù)對數(shù)據(jù)進行分析準備，通過多元線性回歸分析（在同一記錄內(nèi)的屬性值之間的關(guān)系的分析，自動生產(chǎn)的模型，可以預測未來記錄的屬性值）進行預測模型的建立。
　　第三部分探討了數(shù)據(jù)采集和數(shù)據(jù)處理。本研究從北京市環(huán)境監(jiān)測中心網(wǎng)站收集了空氣質(zhì)量數(shù)據(jù)。該網(wǎng)站是通過提供預報和實時空氣質(zhì)量信息來保護公共衛(wèi)生的天

5、氣網(wǎng)站。空氣質(zhì)量監(jiān)測網(wǎng)由分布在北京工業(yè)區(qū)和交通樞紐區(qū)的大量使用無線傳感器的監(jiān)測點組成。使用數(shù)據(jù)抓取軟件從網(wǎng)站中捕獲歷史數(shù)據(jù)，數(shù)據(jù)從35個監(jiān)控站收集，其中包括12個城市環(huán)境評估點，11個郊區(qū)環(huán)境評估點，7個控制點，以及5個位于北京市的交通污染監(jiān)測點。數(shù)據(jù)集是2013年至2016年。以天壇國家控制點為例，以數(shù)據(jù)統(tǒng)計每1小時計數(shù)一次，共有17544個數(shù)據(jù)。數(shù)據(jù)分析實驗使用17000個數(shù)據(jù)作為訓練數(shù)據(jù)，544個被用作驗證數(shù)據(jù)。數(shù)據(jù)參數(shù)包括氣象參

6、數(shù)和污染物濃度參數(shù)，氣象參數(shù)包括（溫度，風速，風向，大氣壓力，相對濕度），空氣污染物參數(shù)(NO2，SO2，O3，CO，PM2.5和PM10)。使用SPSS軟件進行預處理，包括數(shù)據(jù)清洗和轉(zhuǎn)換，這是數(shù)據(jù)分析項目中最重要的一步。數(shù)據(jù)清洗的目的是從數(shù)據(jù)集中消除噪聲和不相關(guān)的信息，數(shù)據(jù)轉(zhuǎn)換是根據(jù)數(shù)據(jù)類型和值將原始數(shù)據(jù)修改為不同的格式。初始數(shù)據(jù)集表中包含的大部分原始數(shù)據(jù)未經(jīng)預處理、不完整和嘈雜。假如數(shù)據(jù)中某些值存在一些缺失值，我們針對不同的情況通過

7、三種方法解決，分別是選擇使用某些缺失值的平均值，把某些數(shù)據(jù)的缺失值直接刪除，隨機從數(shù)據(jù)集中選擇缺失值。通過預處理后數(shù)據(jù)可以進行進一步分析。通過SPSS分析軟件，得到基本的分析結(jié)果。
　　第四部分論述了基于多元線性回歸的預測模型和實驗結(jié)果。預測模型是通過使用六個步驟，引入，清理，提取，合并，分組和歸一化構(gòu)建的。我們通過改變輸入方式和輸入?yún)?shù)來優(yōu)化多元線性回歸，然后通過三個主要測試步驟:相關(guān)系數(shù)測試、F檢驗和t檢驗的度量來評估預測模型

8、的準確度。相關(guān)系數(shù)測試是確定線性回歸模型的良好性的重要指標，相關(guān)系數(shù)用回歸平方和與平方總和的比率表示，其代表因變量y的變化多少是由變量x引起的，也就是說，變量x可以將變化解釋為總變異的百分比。F檢驗用于檢驗解釋變量與解釋變量之間的線性關(guān)系是否顯著。t檢驗，確定哪些變量應該作為模型中的解釋變量保留。同樣使用SPSS分析軟件進行實驗。通過以上測試，可以看出相關(guān)系數(shù)測試的標準偏差誤差為76.712，R平方值為.410，可以調(diào)整R平方，優(yōu)化模型

9、的擬合效果，調(diào)整后的R平方值越大，模型的擬合效果越好，所以調(diào)整后的R平方值為.705。F檢驗的顯著性為（P值）=0.000＜0.01，模型1變量具有顯著性，由自變量和因變量（PM10濃度）參數(shù)建立的線性關(guān)系具有非常顯著性和統(tǒng)計學意義?？諝鈮毫?hpa)，濕度(％)，風速(m/s)，風向(deg)，回歸系數(shù)（P值）=0.000＜0.05，表明這些回歸系數(shù)具有統(tǒng)計學意義，溫度(℃)的偏回歸系數(shù)（P值）=0.167＞0.01，表明這些回歸系數(shù)

10、具有統(tǒng)計學意義。在優(yōu)化多元線性回歸過程中，逐步線性回歸的結(jié)果表明，PM2.5對模型影響最大，同時可以看出，SO2、N02、CO、風向這四個變量沒有回歸意義。雖然這四個變量可以提高模型的擬合度，但擬合度并不是確定最優(yōu)模型的唯一標準，因此逐步線性回歸方程去除這四個變量。驗證數(shù)據(jù)與預測數(shù)據(jù)的比較結(jié)果表明，傳統(tǒng)多元線性回歸模型的擬合度達到0.405，而優(yōu)化線性回歸模型實驗結(jié)果表明，通過引入其他污染物濃度和氣象參數(shù)，優(yōu)化多元線性模型的擬合度可以達

11、到0.957，其他污染物和氣象參數(shù)的擬合比例與純氣象參數(shù)相比提高了0.552。
　　第五部分是總結(jié)和展望。在過去十年中，大氣科學中已經(jīng)嘗試采用了多元線性回歸、回歸樹和神經(jīng)網(wǎng)絡等統(tǒng)計模型對空氣質(zhì)量進行實時預測，但數(shù)據(jù)量不大使得傳統(tǒng)的線性模型效率不高。我們改進了傳統(tǒng)多元線性回歸模型構(gòu)建了更好的預測模型。通過數(shù)據(jù)預處理方法對數(shù)據(jù)進行分析，然后使用相關(guān)系數(shù)測試，F(xiàn)檢驗和t檢驗來檢驗模型的準確性，最后將預測結(jié)果應用于驗證數(shù)據(jù)。實驗結(jié)果表明，