Web日志頻繁序列模式挖掘的研究.pdf

1、隨著Internet的迅速發(fā)展和不斷普及，Web日志資源越來越豐富，如何分析和利用這些海量的數(shù)據(jù)是當(dāng)前突出的問題。Web日志挖掘是網(wǎng)絡(luò)信息處理的一門新技術(shù)，也是數(shù)據(jù)挖掘在Internet領(lǐng)域的一個重要應(yīng)用。 頻繁序列模式挖掘是Web日志挖掘的一個重要研究方向，通過它可以用來改善Web站點(diǎn)的組織結(jié)構(gòu)，提高網(wǎng)站的性能。序列模式挖掘(sequence pattem mining)是由R.Agawal和R.Sfikant在1995年提出

2、的，給定一個序列集，其中每一個序列由項(xiàng)集構(gòu)成，然后給定用戶確定的最小支持度閾值，序列模式挖掘就是去發(fā)現(xiàn)所有的頻繁子序列(即：這些子序列的出現(xiàn)頻率不小于給定的最小支持度)。Web日志挖掘的過程包括三個步驟：數(shù)據(jù)預(yù)處理、模式發(fā)現(xiàn)和模式分析。本文主要對數(shù)據(jù)預(yù)處理和模式發(fā)現(xiàn)兩個步驟進(jìn)行研究。 數(shù)據(jù)預(yù)處理是Web日志挖掘的重要環(huán)節(jié)，它決定著模式發(fā)現(xiàn)和模式分析算法的性能。Web日志挖掘的數(shù)據(jù)預(yù)處理主要包括5個階段：數(shù)據(jù)凈化、用戶識別、會話識

3、別、路徑完善和事務(wù)識別等。本文對數(shù)據(jù)預(yù)處理的各個環(huán)節(jié)進(jìn)行研究，并介紹各個環(huán)節(jié)中的一些特殊處理方法，根據(jù)對Web服務(wù)器日志數(shù)據(jù)格式的分析，對會話概念進(jìn)行了形式化描述，然后在分析目前會話構(gòu)造算法的基礎(chǔ)上，主要提出了一種基于時間和引用的啟發(fā)式方法來構(gòu)造會話。序列模式挖掘同關(guān)聯(lián)規(guī)則挖掘具有很大的相似性，但也有不同的地方，本文通過比較序列模式和關(guān)聯(lián)規(guī)則，更清楚地體現(xiàn)了序列模式的特點(diǎn)。當(dāng)前的頻繁序列模式的挖掘算法一般都是基于Apriori的改進(jìn)算法

4、，這種算法由于每生成一個k-頻繁項(xiàng)集，都需要掃描整個事務(wù)數(shù)據(jù)庫，因此在查找最大頻繁項(xiàng)集上花費(fèi)的時間代價太大，而本文采用了一種基于后綴樹的頻繁序列模式的挖掘算法有效的解決了Apriori算法的不足。后綴樹是一種數(shù)據(jù)結(jié)構(gòu)，存儲了給定字符串的所有后綴的壓縮樹。建筑后綴樹所花費(fèi)的時間只與字符串的長度有關(guān)，而查找最大頻繁序列模式是通過對后綴樹的深度優(yōu)先遍歷來實(shí)現(xiàn)的，由于這兩種算法都可以在線性時間內(nèi)完成，因而大大提高了效率。 通過實(shí)驗(yàn)驗(yàn)證，