面向多站點Web日志挖掘中的數據采集與預處理技術研究.pdf

1、隨著互聯網和信息技術的快速發(fā)展，特別是Web的全球普及，使得Web上的用戶數目和信息量都在不斷地增加。這樣就產生了兩方面的主要問題：一方面是如何讓站點提供者通過分析用戶的瀏覽行為，發(fā)現用戶的瀏覽模式和興趣愛好，并為其提供個性化推薦，以獲得更多的用戶青睞和商業(yè)價值。另一方面是如何讓用戶能夠及時地從海量的信息中獲取到感興趣的、有價值的信息，從而降低信息過載帶來的迷航問題，提高信息檢索效率。通過將數據挖掘技術應用于Web日志挖掘，并根據不同挖

2、掘應用的需求和Web日志的特性，對傳統(tǒng)方法進行擴展和改進，可以解決這些問題。
　　 要進行Web日志挖掘首先要采集相關的日志數據并對其進行預處理。傳統(tǒng)的Web日志挖掘的數據采集一般在服務器端、客戶端、應用服務器端和代理服務器端進行。不同的數據采集方法不僅在數據源位置方面不同，而且在可用數據的種類、被收集的數據段和其實現方面都不盡相同。數據預處理主要是通過數據清理和用戶識別等操作，將能夠精確反映用戶瀏覽行為的數據提取出來并轉換為挖

3、掘算法可識別的格式，其結果直接關系到后續(xù)挖掘的質量。數據采集和預處理這兩方面的工作占據了Web日志挖掘的很大一部分，是Web日志挖掘的基礎和關鍵，也是Web日志挖掘研究的重難點。
　　 通常的數據采集和預處理都是面向單站點環(huán)境進行，而本文則是面向多站點的Web日志挖掘，因此已有的數據采集方法就不再適合。為了能夠采集到多站點下的用戶瀏覽行為數據，本文提出了一種通過捕獲HTTP協(xié)議數據包的網絡嗅探采集方式。同時，面向多站點環(huán)境下采集

4、到的數據由于具有海量、多樣、異構、動態(tài)變化等特性，數據預處理工作也就不同于以往，特別是增加了數據清理的難度。針對這一問題，通過分析HTTP請求的特點本文提出了一種基于頁面引用和時間關系的數據清理方法。
　　 最后，在局域網平臺上通過多次實驗來考察本文提出的網絡嗅探數據采集方法和基于引用和時間關系的數據清理方法的有效性。采用精確率、召回率和F度量值等指標分析實驗數據。結果表明本文提出的面向多站點下的數據采集和預處理方法是有效可行的