基于Hadoop的MBR膜污染數(shù)據(jù)的分析與仿真預(yù)測研究.pdf

1、膜生物反應(yīng)器(MBR)是將膜分離技術(shù)與生物反應(yīng)器技術(shù)相結(jié)合的一種污水處理工藝，在污水處理方面具有很大的優(yōu)勢和巨大的發(fā)展空間。實(shí)驗(yàn)研究表明膜污染嚴(yán)重阻礙MBR的發(fā)展，膜污染導(dǎo)致的直接現(xiàn)象是膜通量的減小。為了更好的監(jiān)測膜污染的情況，從膜通量入手，通過對MBR膜污染機(jī)理的分析和研究，確定MBR膜通量的主要影響因素，并利用實(shí)驗(yàn)和實(shí)際的MBR工藝獲得影響MBR膜通量因素的真實(shí)數(shù)據(jù)。
　　為了解決MBR膜污染數(shù)據(jù)的存儲和分析問題，引入當(dāng)今的主

2、流大數(shù)據(jù)云計算平臺Hadoop。Hadoop是一個可靠的、高容錯的、可擴(kuò)展的分布式計算平臺，其核心包括分布式文件系統(tǒng)HDFS和計算框架MapReduce。基于Hadoop的優(yōu)勢，結(jié)合數(shù)據(jù)倉庫Hive，將數(shù)據(jù)存儲在、HDFS上，構(gòu)建分布式大規(guī)模MBR膜污染存儲和分析平臺，實(shí)現(xiàn)對數(shù)據(jù)的管理。由于Hive是基于Hadoop的MapReduce計算框架的，具有很高的延時性，因此采用Impala做實(shí)時查詢和分析。但是Impala并不支持所有Hiv

3、e所支持的功能，并且依賴Hive，最終采用兩者結(jié)合的方式，使用Impala做實(shí)時分析，Hive進(jìn)行批處理作業(yè)。鑒于Hive的高延時性，為了獲得更好的用戶體驗(yàn)，通過TCP/IP通信和Java多線程技術(shù)獲取Linux的標(biāo)準(zhǔn)輸出和錯誤輸出，實(shí)現(xiàn)對Hive查詢和分析進(jìn)度的監(jiān)控。
　　利用Hadoop平臺實(shí)現(xiàn)了MBR數(shù)據(jù)的管理，另外為了實(shí)現(xiàn)對膜通量的仿真預(yù)測，引入最小二乘支持向量機(jī)(LSSVM)，針對LSSVM參數(shù)人為選擇的盲目性，采用粒子