基于數(shù)據(jù)預(yù)處理和回歸分析技術(shù)的數(shù)據(jù)挖掘算法及其應(yīng)用研究.pdf

1、在當(dāng)前科技飛速發(fā)展的形勢下,隨之而來的是數(shù)據(jù)的急速增長。這也吸引了國內(nèi)外越來越多的專家學(xué)者們的目光,引發(fā)了研究海量數(shù)據(jù)的熱潮。新興起的數(shù)據(jù)挖掘技術(shù)目前已成為人們研究的熱點(diǎn)之一。所謂數(shù)據(jù)挖掘是從龐大的數(shù)據(jù)中提取有價(jià)值的或人們感興趣的知識(shí)的過程。本文在“西北黃土地區(qū)高速鐵路客運(yùn)專線橋梁健康監(jiān)測若干問題研究”這個(gè)項(xiàng)目的背景下對(duì)海量數(shù)據(jù)的挖掘技術(shù)及算法進(jìn)行研究,并將其應(yīng)用到橋梁健康監(jiān)測預(yù)測中。
　　本文著重研究關(guān)于時(shí)間序列海量數(shù)據(jù)的挖掘算

2、法以及它的實(shí)際應(yīng)用。由于實(shí)際監(jiān)測的數(shù)據(jù)有不完整性、含有噪聲、含有空值、異地存儲(chǔ)以及數(shù)量較大的特點(diǎn),因此,若要對(duì)這些數(shù)據(jù)進(jìn)行挖掘首先應(yīng)當(dāng)對(duì)其進(jìn)行數(shù)據(jù)的預(yù)處理,而后使用行之有效的方法或算法對(duì)其處理,其結(jié)果才具有一定的可信度。
　　本文主要的研究內(nèi)容有:
　　(1)闡述了數(shù)據(jù)挖掘的基礎(chǔ)理論和相關(guān)流程,并對(duì)在數(shù)據(jù)挖掘中常用的聚類分析、關(guān)聯(lián)規(guī)則以及分類和回歸分析方法進(jìn)行了探討。在數(shù)據(jù)挖掘中對(duì)時(shí)間序列的數(shù)值進(jìn)行預(yù)測時(shí)常用到回歸分析方法,

3、而BP算法是該方法中預(yù)測效果較好的一種算法,因此,本文著重分析了BP算法以及對(duì)其改進(jìn)的一些常用方法及原理。
　　(2)將鄰域粗糙集理論引入數(shù)據(jù)預(yù)處理階段,首先分析鄰域粗糙集屬性約簡的原理,而后利用UCI數(shù)據(jù)集對(duì)其性能進(jìn)行研究,并在與傳統(tǒng)的Pearson方法進(jìn)行對(duì)比分析的基礎(chǔ)上,重點(diǎn)研究鄰域粗糙集算法在屬性約簡中的應(yīng)用。
　　(3)為了將算法更好的應(yīng)用在數(shù)據(jù)挖掘中,借助軟件仿真,首先,深入分析幾種常用改進(jìn)后的BP神經(jīng)網(wǎng)絡(luò)算法的

4、性能;其次,選擇兩個(gè)算法性能相對(duì)較好的改進(jìn)函數(shù),并在此基礎(chǔ)上提出4種基于遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)算法的模型;再次,確定了一種較有效的GA-BP模型算法;最后,經(jīng)查閱相關(guān)文獻(xiàn)得知遺傳算法的參數(shù)選擇范圍后,采用固定兩個(gè)變量改變其中一個(gè)變量的方法確定出該模型性能最佳時(shí)的參數(shù)。
　　(4)將上述提出的數(shù)據(jù)預(yù)處理方法(數(shù)據(jù)的集成、數(shù)據(jù)的屬性約簡、數(shù)據(jù)的降噪、數(shù)據(jù)的歸一化)以及 GA-BP算法應(yīng)用在橋梁健康監(jiān)測系統(tǒng)的斜拉橋斜拉索的索力預(yù)測上