基于XML和關(guān)聯(lián)規(guī)則的Web日志挖掘研究.pdf

1、隨著信息技術(shù)的迅速發(fā)展和Internet的普及，Web日志資源越來越豐富。如何充分利用這些資源，從中提取出用戶所感興趣的信息數(shù)據(jù)，是當前計算機領(lǐng)域的一大挑戰(zhàn)。Web日志挖掘就是利用數(shù)據(jù)挖掘的思想對經(jīng)過處理的服務(wù)器日志進行挖掘，其研究目的在于發(fā)現(xiàn)用戶瀏覽網(wǎng)站的行為規(guī)律，改善站點的結(jié)構(gòu)和頁面間超鏈接結(jié)構(gòu)，提高站點服務(wù)質(zhì)量以及提供在電子商務(wù)中的決策支持。 本文主要從以下五個方面對Web日志挖掘進行了系統(tǒng)研究。第一，對Web挖掘、Web

2、日志挖掘的定義、分類和過程進行了概述，闡述了本文的研究背景、Web日志挖掘的研究現(xiàn)狀和面臨的問題；第二，介紹了XML技術(shù)及其在Web日志挖掘中的應(yīng)用；第三，結(jié)合XML的優(yōu)勢和Web日志數(shù)據(jù)的半結(jié)構(gòu)化特點，提出了一種基于XML文檔存儲的Web日志挖掘系統(tǒng)模型，并具體地分析了Web日志挖掘預(yù)處理過程；第四，詳細介紹了XML模式與關(guān)系模式映射方法，并用代碼具體實現(xiàn)了其中的一種XML格式的文檔在關(guān)系數(shù)據(jù)庫中的存儲方法；第五，對關(guān)聯(lián)規(guī)則挖掘理論特

3、別是關(guān)聯(lián)規(guī)則挖掘算法進行了研究。 關(guān)聯(lián)規(guī)則挖掘算法中，很多算法都基于Apnori算法進行計算。本文對Apriori算法進行了分析研究，針對該算法的不足提出了一種優(yōu)化改進算法Apriori_SQLBit，從三個方面考慮對算法進行改進：(1)根據(jù)用戶瀏覽頁面的時間，構(gòu)建了用戶瀏覽興趣度權(quán)值。在產(chǎn)生頻繁項集時，采用了加權(quán)的支持度和可信度，這樣挖掘出的關(guān)聯(lián)規(guī)則將更符合用戶興趣；(2)降低候選項集中Gk候選項的數(shù)量。利用頻繁(k-1)-項

4、集Lk-1產(chǎn)生Gk之前先對Lk-1進行一次裁剪，從而減少候選項集，裁剪的依據(jù)是，在Lk-1中，如果某子項的加權(quán)支持度小于最小加權(quán)支持度，則該項不可能是頻繁k-項集Lk的項；(3)采用位圖權(quán)值格式來存儲事務(wù)數(shù)據(jù)項集，能方便地進行支持度的計算。 為了驗證改進的算法是行之有效的，本文選擇了兩個數(shù)據(jù)庫作為試驗：酷秀網(wǎng)(http://www.kuxiu.com)的用戶訪問日志和浙江理工大學校慶網(wǎng)(http://xq110.zstu.edu