從萬維網(wǎng)日志中挖掘訪問序列模式的算法研究.pdf

1、近年來,數(shù)據(jù)挖掘和萬維網(wǎng)應(yīng)用研究是信息時代兩大活躍的研究領(lǐng)域,將數(shù)據(jù)挖掘技術(shù)應(yīng)用于萬維網(wǎng)就稱為Web數(shù)據(jù)挖掘.Web數(shù)據(jù)挖掘的內(nèi)容可以分為三個方面:一個是Web內(nèi)容的挖掘,主要是從龐大的網(wǎng)絡(luò)數(shù)據(jù)資源里發(fā)現(xiàn)信息;另一個是Web結(jié)構(gòu)的挖掘,主要是通過大量的Web鏈接信息來識別權(quán)威的Web頁面;還有一個是Web訪問模式的挖掘,主要是從網(wǎng)站的訪問日志文件中挖掘出用戶訪問模式,包括關(guān)聯(lián)規(guī)則、序列模式等.對于從Web日志中挖掘出用戶的訪問序列模式,

2、可以采用通用的序列模式挖掘算法.但是對web日志進(jìn)行預(yù)處理后,得到的web訪問序列數(shù)據(jù)庫中的序列長度一般都很長,此時采用通用的序列模式挖掘方法就會產(chǎn)生數(shù)量巨大的候選模式,從而降低了挖掘速度.為了減少Web訪問序列模式挖掘中產(chǎn)生的候選模式,加快挖掘速度,提出了一種新的Web訪問序列模式挖掘算法WAPM (Web Access Patterns Mining).該算法簡化了挖掘過程中候選模式的生成操作和支持度的計算,主要包含了以下兩點內(nèi)容:

3、首先設(shè)計出一個新的數(shù)據(jù)結(jié)構(gòu)WAS-tree(Web Access Sequence tree)來記錄訪問序列和它的計數(shù),避免冗長的支持度計算.在本算法中,只要掃描兩次原始的訪問序列數(shù)據(jù)庫就可以構(gòu)造出一棵WAS-tree.一旦構(gòu)造出一棵WAS-tree后,所有剩下的挖掘工作都在該樹上進(jìn)行,不再需要訪問原始的web訪問序列數(shù)據(jù)庫;然后提出了一個高效的遞歸算法從WAS-tree中挖掘出所有的訪問序列模式.在挖掘過程中使用了條件搜索技術(shù),使得只