大數(shù)據(jù)庫中頻繁模式挖掘算法研究及應(yīng)用.pdf

1、隨著信息技術(shù)的高速發(fā)展和互聯(lián)網(wǎng)的迅速普及,導(dǎo)致在各個應(yīng)用領(lǐng)域的數(shù)據(jù)庫中存儲了大量的數(shù)據(jù),這些數(shù)據(jù)集中包含著很多有用的知識,因此如何從各種大型或密集數(shù)據(jù)庫中發(fā)現(xiàn)所隱藏的、預(yù)先未知的信息,顯的尤為重要,這正是數(shù)據(jù)挖掘所要完成的任務(wù). 關(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘領(lǐng)域中成果顯著而且比較活躍的研究分支.其主要研究目的就是從大型數(shù)據(jù)集中發(fā)現(xiàn)隱藏的、有趣的、屬性間的規(guī)律,即關(guān)聯(lián)規(guī)則.由于形式簡單、易于理解而且是從大型數(shù)據(jù)庫中提取知識的主要手段,因

2、此,關(guān)聯(lián)規(guī)則挖掘成為數(shù)據(jù)挖掘中的熱點問題. 關(guān)聯(lián)規(guī)則挖掘過程包括:首先是將現(xiàn)有的數(shù)據(jù)庫轉(zhuǎn)換成事務(wù)數(shù)據(jù)庫的形式(transaction database),然后采用適當(dāng)?shù)乃惴◤氖聞?wù)數(shù)據(jù)庫中挖掘出所有的頻繁模式,最后由頻繁模式生成有價值的關(guān)聯(lián)規(guī)則.其中的第二階段發(fā)現(xiàn)頻繁模式是關(guān)鍵,它將決定關(guān)聯(lián)規(guī)則挖掘的正確性和挖掘的效率.因此,大部分研究都集中在頻繁模式的產(chǎn)生上.目前的頻繁模式挖掘算法都過分的依賴于大量的計算,進而導(dǎo)致對內(nèi)存空間的依

3、賴,當(dāng)參數(shù)需要調(diào)整時,造成重復(fù)的I/O掃描.這都無法滿足對大型數(shù)據(jù)庫挖掘的要求.因此尋求減少對內(nèi)存空間的依賴,降低重復(fù)I/O掃描次數(shù)的新方法就成為文章的研究內(nèi)容. 通過研究發(fā)現(xiàn),影響頻繁模式挖掘算法效率的因素主要有兩個:1數(shù)據(jù)庫中事務(wù)布局方式的不合理;2算法本身存在的問題.所以本文主要從這兩個方面進行改進.具體工作體現(xiàn)在以下三個方面: 1、.敏感性分析在數(shù)據(jù)挖掘中的應(yīng)用研究:數(shù)據(jù)挖掘被視為一種把數(shù)據(jù)轉(zhuǎn)化為信息,把信息轉(zhuǎn)化

4、為行為,把行為轉(zhuǎn)化為價值或利潤的過程.最近的研究大都集中在靜態(tài)環(huán)境中利潤的挖掘.敏感性分析方法能夠預(yù)測模型輸出結(jié)果的變化率.本文研究了利用敏感性分析這一方法在動態(tài)環(huán)境中對利潤挖掘所起的作用,最后給出了應(yīng)用該方法對利潤挖掘的執(zhí)行步驟. 2、在研究了傳統(tǒng)的事務(wù)數(shù)據(jù)庫布局方式:水平布局方式和垂直布局方式的不足之處,提出一種新的事務(wù)在數(shù)據(jù)庫中的布局方式一交叉布局方式.該布局方式能夠有效減少I/O重復(fù)掃描的次數(shù),特別是當(dāng)參數(shù)經(jīng)常改變時.從