序列數(shù)據(jù)挖掘的模型和算法研究.pdf

1、短短的幾年時(shí)間，數(shù)據(jù)挖掘風(fēng)靡全球，成為IT業(yè)近年來(lái)非常熱門和前沿的研究方向之一，由于數(shù)據(jù)挖掘融合了人工智能、統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫(kù)、機(jī)器學(xué)習(xí)等各個(gè)領(lǐng)域的理論與技術(shù)，使得不同學(xué)科領(lǐng)域的學(xué)者對(duì)DM的研究表現(xiàn)出了前所未有的熱情和參與精神，在世紀(jì)交替的特殊時(shí)期，這是又一輪規(guī)?？涨暗膶W(xué)科大融合。 數(shù)據(jù)挖掘目的是在大量的數(shù)據(jù)中發(fā)現(xiàn)令人感興趣的模式，用以認(rèn)識(shí)規(guī)律，提高效率，預(yù)測(cè)未來(lái)，其核心技術(shù)具有很大的挑戰(zhàn)性，由于數(shù)據(jù)的適時(shí)性和時(shí)間特征，諸如Web挖

2、掘、金融挖掘、電子商務(wù)和市場(chǎng)調(diào)查等不可避免的會(huì)面臨序列數(shù)據(jù)的處理，其中以時(shí)間為序的又稱為時(shí)間序列，因此序列數(shù)據(jù)挖掘就應(yīng)運(yùn)而生了，但和目前其它分支不一樣的是這方面的研究對(duì)模型的依賴嚴(yán)重得多，而眾所周知時(shí)間序列分析在統(tǒng)計(jì)中就以復(fù)雜和抽象著稱，尤其是涉及到另一個(gè)挖掘中困難的課題：異常挖掘，并且還要考慮序列中的異常挖掘，即使在統(tǒng)計(jì)學(xué)中也是非常艱難的，至今并沒(méi)有很好的解訣方案。金融數(shù)據(jù)挖掘是另一個(gè)非常困難的方向，雖然金融數(shù)學(xué)提供了豐富的理論和方法

3、，但很多方法太抽象，實(shí)證效果也并不理想，作為普及方法推廣是不現(xiàn)實(shí)的，數(shù)據(jù)挖掘作為IT技術(shù)，簡(jiǎn)單快速是必不可少的，因此更多的從模型出發(fā)、以算法為基礎(chǔ)，建立切實(shí)可行的序列數(shù)據(jù)挖掘技術(shù)和理論體系是本文的目的。 我們?cè)诘谝徽碌木w論中除了介紹相關(guān)的概念、基礎(chǔ)知識(shí)和國(guó)內(nèi)外研究現(xiàn)狀外，介紹了統(tǒng)計(jì)中非常實(shí)用的線性模型方法及在序列數(shù)據(jù)挖掘中的應(yīng)用。 第二章主要研究了線性模型的參數(shù)估計(jì)方法，得到了很多非常深入的新結(jié)果。 第三章主要介

4、紹了數(shù)據(jù)的可視化和序列數(shù)據(jù)的聚類研究、線性模式挖掘和異常挖掘，同時(shí)應(yīng)用于證券數(shù)據(jù)的挖掘，取得了不錯(cuò)的實(shí)證效果。 第四章我們主要研究了序列數(shù)據(jù)挖掘的預(yù)測(cè)問(wèn)題，同樣在證券實(shí)證分析中獲得有力的支持。 第五章針對(duì)實(shí)際更多出現(xiàn)的數(shù)據(jù)缺失深入研究了EM算法等數(shù)據(jù)修補(bǔ)技術(shù)和插值技術(shù)，結(jié)果非常令人滿意，最后進(jìn)一步研究了向前搜索算法，通過(guò)聚類的預(yù)處理，既節(jié)約時(shí)間又避免錯(cuò)誤的發(fā)生，效果也比較理想。 序列數(shù)據(jù)挖掘的廣博領(lǐng)域顯然不是本研