WEB數(shù)據挖掘研究.pdf

1、隨著計算機網絡技術的發(fā)展，在線信息量迅速增長，數(shù)據流模型在一些信息處理應用中廣泛出現(xiàn)。這些應用包括多媒體、計算機網絡安全、網絡交通監(jiān)控、傳感器網絡等等。在這種情況下，數(shù)據流作為專門針對數(shù)據無限性、瞬時性和時變性等特點的新數(shù)據模型，更能適合WEB應用環(huán)境。因此，數(shù)據流處理的研究近幾年來逐步興起，并迅速成為WEB數(shù)據挖掘中的一個重要的研究問題。 數(shù)據流分類是數(shù)據流挖掘中的一個重要研究領域，但在原來的數(shù)據應用背景下的分類算法，都隱含地

2、假定所要挖掘的數(shù)據存放在一個相對穩(wěn)定的環(huán)境中，即在挖掘進行的過程中，待挖掘的數(shù)據庫或數(shù)據倉庫中的數(shù)據或者是固定不變的，或者更新頻率是較低的。數(shù)據流所具有的特點便對挖掘算法帶來了巨大的挑戰(zhàn)，具體來說：(1)數(shù)據總量通常被假定是無限的，無論到達多少數(shù)據，分類算法只能使用不超過某個大小的內存；(2)對數(shù)據的多次掃描代價太高，算法通常只能對數(shù)據掃描一次；(3)學習算法必須快速地適應數(shù)據流中出現(xiàn)的概念漂移；(4)數(shù)據流分類算法應該在任意時刻都可以

3、產生一個分類模型。 本文主要關注從理論方面研究數(shù)據流分類分析，同時對WEB數(shù)據挖掘應用研究也進行了一些探討。研究工作得到了國家自然科學基金(2069901)和國家教育部博士點基金(2069901)的部分資助。對數(shù)據流分類技術的理論研究方面，主要成果如下： 1．為了有效處理數(shù)據流中的重現(xiàn)背景，設計了一種能夠有效處理重現(xiàn)背景的數(shù)據流模型，給出了一種可以有效挖掘重現(xiàn)背景的數(shù)據流分類算法RTRC(Recognizing and

4、Treating Recurring Contexts)。該算法在掃描了足夠多的數(shù)據后，即使在概念漂移時也能達到良好的分類效果。通過馬爾可夫鏈和最小二乘方法，該算法可以學習并預測即將到來的概念和精確的概念漂移時間。通過在人工數(shù)據集和基準(Benchmark)數(shù)據集上的實驗，與兩種有代表性的方法 WeightedBaggging 和 CVFD71(Concept-adapting Very Fast Decision Treelearne

5、r)進行比較，表明我們的算法具有更高的準確度和更快地收斂到新的目標概念的性能。 2．噪音處理和概念漂移是數(shù)據流挖掘中的困難問題。本文探討了如何使用聚類方法在數(shù)據流中區(qū)分出噪音實例，并提出了相應的概念漂移檢測方法。在此基礎上，設計了基于推進技術的組合分類器算法 RobustBoosting。在人工數(shù)據集和實際數(shù)據集上的實驗表明，我們的算法即使在高達40％的類噪音時，與AdaptiveBoosting算法相比，仍能保持更高的分類準確

6、度，具有更快收斂到新的目標概念的能力。 3．許多研究者已經提出了可以處理概念漂移的學習系統(tǒng)，其中一些系統(tǒng)假定流數(shù)據是以連續(xù)數(shù)據段的形式抵達。針對這種數(shù)據流，研究界已經提出了基于組合分類器的處理方法。雖然這些系統(tǒng)可以處理逐步的概念漂移，但是不能有效地處理突然的概念漂移。為了解決這個問題，本文定義了一種相反分類器來從錯誤中學習，并提出了訓練一個組合分類器來對具有概念漂移的數(shù)據流進行分類的算法 IWB(Improved Weighte

7、d Bagging)。在人工數(shù)據集和基準數(shù)據集上的實驗結果表明，IWB算法在遇到概念漂移的時候能很快收斂到目標概念，并具有很高的精度。 4．目前對數(shù)據流挖掘的研究，主要關注有標記的實例可以學習時，怎樣發(fā)現(xiàn)模式中的變化以及怎樣更新模型去反映這種變化。然而在真實的數(shù)據流中，數(shù)據往往沒有類標記。為了解決這個問題，本文提出了一種基于累積和(CUSUM)控制圖的變化發(fā)現(xiàn)方法。該方法在未知真實類標記的情況下，可以發(fā)現(xiàn)數(shù)據流中的概念漂移和分布

8、變化。實驗驗證表明，此方法是有效的。 本文也從WEB數(shù)據挖掘應用的角度進行了一些研究工作，主要成果如下： 1．WEB社群是由對于同一主題感興趣的人或組織創(chuàng)作的WEB頁的集合，本文提出了利用WEB頁面內容和超鏈信息并結合SVM分類器的WEB社群挖掘方法。在包含8282個網頁的WEBKB數(shù)據集上的實驗結果表明，本文提出的方法可以挖掘出較大而且有意義的社群。 2．目前有大量的研究關注利用序列關聯(lián)規(guī)則算法來預測用戶的最近