基于粗糙集和模糊聚類(lèi)的Web日志增量式挖掘研究.pdf

1、目前隨著互聯(lián)網(wǎng)的蓬勃發(fā)展，尤其是電子商務(wù)的發(fā)展為越來(lái)越多的用戶(hù)提供了Web服務(wù)。網(wǎng)民的選擇增多，對(duì)網(wǎng)絡(luò)服務(wù)的需求趨于理性和多樣化，這為Web挖掘的發(fā)展提供了現(xiàn)實(shí)基礎(chǔ)。對(duì)客戶(hù)的群體行為進(jìn)行分析，以獲取在用戶(hù)行為中反映出來(lái)的用戶(hù)興趣。對(duì)用戶(hù)興趣進(jìn)行分析，改進(jìn)Web站點(diǎn)結(jié)構(gòu)，在競(jìng)爭(zhēng)中占據(jù)有利地位，成為眾多Web服務(wù)供應(yīng)商急需解決的問(wèn)題。
　　 所謂Web日志挖掘，是從存儲(chǔ)在Web服務(wù)器中的日志數(shù)據(jù)中發(fā)現(xiàn)人們感興趣的知識(shí)的過(guò)程。目前許多

2、研究都集中在Web使用模式的挖掘上，旨在通過(guò)分析Web用戶(hù)的行為模式，來(lái)發(fā)現(xiàn)用戶(hù)的興趣度，從而通過(guò)改進(jìn)站點(diǎn)結(jié)構(gòu)的方法來(lái)提高站點(diǎn)的吸引力。這種挖掘模式具有模糊性，傳統(tǒng)的數(shù)學(xué)理論不足以完成這一任務(wù)，因此采用了模糊聚類(lèi)和粗糙集的相關(guān)知識(shí)。
　　 本文將基于密度的DBSCAN算法與傳統(tǒng)的SOFM網(wǎng)絡(luò)相結(jié)合，提出了一種基于SOFM網(wǎng)絡(luò)的增量式聚類(lèi)算法。SOFM網(wǎng)絡(luò)的特點(diǎn)就是適用于高維數(shù)據(jù)的聚類(lèi)、自組織學(xué)習(xí)和訓(xùn)練能力強(qiáng)等，非常適合用于Web

3、日志的挖掘。然而由于Web站點(diǎn)的訪問(wèn)需要表現(xiàn)出用戶(hù)的多興趣，而且隨著用戶(hù)興趣的漂移，理應(yīng)對(duì)聚類(lèi)結(jié)果做出相應(yīng)的改變，這一點(diǎn)是傳統(tǒng)的SOFM網(wǎng)絡(luò)無(wú)法解決的。針對(duì)這些問(wèn)題，把DBSCAN算法與SOFM網(wǎng)絡(luò)相結(jié)合，DBSCAN算法的特點(diǎn)在于可以用于發(fā)現(xiàn)任何形狀的簇，對(duì)聚類(lèi)的變化敏感，因此隨著數(shù)據(jù)集規(guī)模的增量變化，這種算法可以發(fā)現(xiàn)用戶(hù)興趣的漂移。通過(guò)大量的樣本數(shù)據(jù)對(duì)改進(jìn)后的SOFM網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使得參數(shù)和權(quán)值趨于穩(wěn)定，為網(wǎng)絡(luò)應(yīng)用階段做好準(zhǔn)備。

4、r>　　 在網(wǎng)絡(luò)應(yīng)用階段，把各參數(shù)和輸出神經(jīng)元的權(quán)值設(shè)置為訓(xùn)練之后的值，不再變化。對(duì)輸入模式進(jìn)行聚類(lèi)，然后通過(guò)隸屬函數(shù)更新輸入模式的隸屬度。對(duì)于大于隸屬度閾值的神經(jīng)元，進(jìn)行輸出。
　　 最后，本文設(shè)計(jì)了仿真實(shí)驗(yàn)。對(duì)某新聞網(wǎng)站的服務(wù)器日志數(shù)據(jù)進(jìn)行了聚類(lèi)，并進(jìn)行了分析。這個(gè)模型與傳統(tǒng)的聚類(lèi)方法不同，具有增量式聚類(lèi)的能力。首先用樣本數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)的訓(xùn)練，然后再對(duì)測(cè)試數(shù)據(jù)進(jìn)行聚類(lèi)。最后的實(shí)驗(yàn)結(jié)果從訓(xùn)練誤差和聚類(lèi)結(jié)果兩方面進(jìn)行了對(duì)比，實(shí)驗(yàn)