基于中小型站點的Web日志挖掘.pdf

1、Web日志挖掘是W曲挖掘的分支之一，也是發(fā)展前景及應(yīng)用價值最高的部分之一，是傳統(tǒng)數(shù)據(jù)挖掘的延伸，與傳統(tǒng)數(shù)據(jù)挖掘?qū)ο笫墙Y(jié)構(gòu)化數(shù)據(jù)不同的是，Web日志挖掘的對象是半結(jié)構(gòu)化的日志文件。日志文件記錄了一個網(wǎng)站所有訪問者的瀏覽行為，Web日志挖掘通過分析日志文件，得到訪問者的瀏覽行為，訪問模式，興趣目標(biāo)等信息，通過這些信息，一方面可以調(diào)整網(wǎng)站運營策略，使網(wǎng)站內(nèi)容更符合用戶興趣愛好，一方面可以根據(jù)用戶訪問行為判斷其需求趨向，調(diào)整企業(yè)或公司產(chǎn)品生產(chǎn)計

2、劃，更進(jìn)一步，可以根據(jù)分析得到的用戶訪問模式，針對不同地址或不同用戶的訪問顯示不同的頁面，形成動態(tài)智能站點。 在挖掘Web用戶使用記錄時描述用戶訪問的數(shù)據(jù)包括：IP地址、參考頁面、訪問日期和時間、用戶操作系統(tǒng)類型、瀏覽器類型等。W曲日志挖掘過程一般由預(yù)處理、模式發(fā)現(xiàn)、模式分析組成，其中預(yù)處理階段是最關(guān)鍵的一步，預(yù)處理包括日志合并、日志凈化、用戶識別、會話識別、事務(wù)識別五個階段。本文在概述數(shù)據(jù)挖掘的基礎(chǔ)上，介紹了W曲挖掘的概念、分

3、類及現(xiàn)狀，并重點討論了W曲日志挖掘預(yù)處理階段的各項技術(shù)及方法，對如何清洗過濾Web日志中保存的內(nèi)嵌元素訪問信息進(jìn)行了深入研究及實驗，提出了一種新的凈化方法以細(xì)化數(shù)據(jù)粒度，對W曲日志中的機(jī)器人訪問記錄清洗算法進(jìn)行了探討，最后，實現(xiàn)了一個監(jiān)視指定服務(wù)器端口同時在數(shù)據(jù)庫中記錄訪問服務(wù)器數(shù)據(jù)包的系統(tǒng)，將盡可能詳細(xì)的用戶訪問行為轉(zhuǎn)化為數(shù)據(jù)項保存到數(shù)據(jù)庫中，為將來實現(xiàn)更精確的數(shù)據(jù)挖掘打下良好基礎(chǔ)。 最后文章總結(jié)了論文工作的主要成果及需要改進(jìn)