序列模式挖掘在Web日志挖掘中應(yīng)用研究.pdf

1、信息技術(shù)的日新月異使得各個領(lǐng)域的數(shù)據(jù)量激增，在此背景下誕生的知識發(fā)現(xiàn)和數(shù)據(jù)挖掘給人們提供了一種新的認(rèn)識數(shù)據(jù)、理解數(shù)據(jù)的智能手段。序列模式發(fā)現(xiàn)是其中的一個重要研究課題。
　　數(shù)據(jù)挖掘致力于數(shù)據(jù)分析和理解、揭示數(shù)據(jù)內(nèi)部蘊(yùn)藏知識，因而在數(shù)據(jù)存儲爆炸性增長的今天，大量潛在的有用信息才得以被提取和發(fā)現(xiàn)。近年來，Web應(yīng)用活躍在社會生活的方方面面，WWW成為了全球最大的信息集散地，然而大量有用信息正被海量數(shù)據(jù)所吞沒。因此將數(shù)據(jù)挖掘技術(shù)應(yīng)用于

2、Web數(shù)據(jù)分析的Web挖掘應(yīng)運(yùn)而生，且已成為數(shù)據(jù)挖掘的重要應(yīng)用之一。
　　根據(jù)對Web數(shù)據(jù)的興趣度不同，Web挖掘一般分為三大類:一個是Web內(nèi)容的挖掘;另一個是Web結(jié)構(gòu)的挖掘;還有一個是Web訪問模式的挖掘。
　　本文主要是對Web日志挖掘進(jìn)行研究。對于從Web日志中挖掘出用戶的訪問序列模式，雖然可以采用常規(guī)的序列模式挖掘算法，但是對Web日志進(jìn)行預(yù)處理后，得到的Web日志訪問序列模式數(shù)據(jù)庫，在序列的構(gòu)成和序列的長度上均

3、區(qū)別于一般的序列模式數(shù)據(jù)庫。因此為了適應(yīng)特殊性，提高數(shù)據(jù)挖掘的效率，Web日志訪問序列模式挖掘的算法需要在通用算法上做出作裁剪和增強(qiáng)。
　　目前，Web日志訪問序列模式挖掘遇到的挑戰(zhàn)是對海量數(shù)據(jù)挖掘時系統(tǒng)資源的巨大開銷。本文研究兩個效率比較高的算法Spam和Prefixspan，結(jié)合了這二個算法的優(yōu)點(diǎn)，利用PrefixSpan算法投影數(shù)據(jù)庫的思想，并對Spam算法的位圖結(jié)構(gòu)進(jìn)行壓縮，提出了結(jié)合兩者優(yōu)點(diǎn)的、適合于Web使用挖掘的Sp