面向多站點(diǎn)Web日志挖掘中的數(shù)據(jù)采集與預(yù)處理技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)和信息技術(shù)的快速發(fā)展，特別是Web的全球普及，使得Web上的用戶(hù)數(shù)目和信息量都在不斷地增加。這樣就產(chǎn)生了兩方面的主要問(wèn)題：一方面是如何讓站點(diǎn)提供者通過(guò)分析用戶(hù)的瀏覽行為，發(fā)現(xiàn)用戶(hù)的瀏覽模式和興趣愛(ài)好，并為其提供個(gè)性化推薦，以獲得更多的用戶(hù)青睞和商業(yè)價(jià)值。另一方面是如何讓用戶(hù)能夠及時(shí)地從海量的信息中獲取到感興趣的、有價(jià)值的信息，從而降低信息過(guò)載帶來(lái)的迷航問(wèn)題，提高信息檢索效率。通過(guò)將數(shù)據(jù)挖掘技術(shù)應(yīng)用于Web日志挖掘，并根據(jù)不同挖

2、掘應(yīng)用的需求和Web日志的特性，對(duì)傳統(tǒng)方法進(jìn)行擴(kuò)展和改進(jìn)，可以解決這些問(wèn)題。
　　 要進(jìn)行Web日志挖掘首先要采集相關(guān)的日志數(shù)據(jù)并對(duì)其進(jìn)行預(yù)處理。傳統(tǒng)的Web日志挖掘的數(shù)據(jù)采集一般在服務(wù)器端、客戶(hù)端、應(yīng)用服務(wù)器端和代理服務(wù)器端進(jìn)行。不同的數(shù)據(jù)采集方法不僅在數(shù)據(jù)源位置方面不同，而且在可用數(shù)據(jù)的種類(lèi)、被收集的數(shù)據(jù)段和其實(shí)現(xiàn)方面都不盡相同。數(shù)據(jù)預(yù)處理主要是通過(guò)數(shù)據(jù)清理和用戶(hù)識(shí)別等操作，將能夠精確反映用戶(hù)瀏覽行為的數(shù)據(jù)提取出來(lái)并轉(zhuǎn)換為挖

3、掘算法可識(shí)別的格式，其結(jié)果直接關(guān)系到后續(xù)挖掘的質(zhì)量。數(shù)據(jù)采集和預(yù)處理這兩方面的工作占據(jù)了Web日志挖掘的很大一部分，是Web日志挖掘的基礎(chǔ)和關(guān)鍵，也是Web日志挖掘研究的重難點(diǎn)。
　　 通常的數(shù)據(jù)采集和預(yù)處理都是面向單站點(diǎn)環(huán)境進(jìn)行，而本文則是面向多站點(diǎn)的Web日志挖掘，因此已有的數(shù)據(jù)采集方法就不再適合。為了能夠采集到多站點(diǎn)下的用戶(hù)瀏覽行為數(shù)據(jù)，本文提出了一種通過(guò)捕獲HTTP協(xié)議數(shù)據(jù)包的網(wǎng)絡(luò)嗅探采集方式。同時(shí)，面向多站點(diǎn)環(huán)境下采集

4、到的數(shù)據(jù)由于具有海量、多樣、異構(gòu)、動(dòng)態(tài)變化等特性，數(shù)據(jù)預(yù)處理工作也就不同于以往，特別是增加了數(shù)據(jù)清理的難度。針對(duì)這一問(wèn)題，通過(guò)分析HTTP請(qǐng)求的特點(diǎn)本文提出了一種基于頁(yè)面引用和時(shí)間關(guān)系的數(shù)據(jù)清理方法。
　　 最后，在局域網(wǎng)平臺(tái)上通過(guò)多次實(shí)驗(yàn)來(lái)考察本文提出的網(wǎng)絡(luò)嗅探數(shù)據(jù)采集方法和基于引用和時(shí)間關(guān)系的數(shù)據(jù)清理方法的有效性。采用精確率、召回率和F度量值等指標(biāo)分析實(shí)驗(yàn)數(shù)據(jù)。結(jié)果表明本文提出的面向多站點(diǎn)下的數(shù)據(jù)采集和預(yù)處理方法是有效可行的