WEB數(shù)據(jù)挖掘研究.pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的發(fā)展，在線信息量迅速增長，數(shù)據(jù)流模型在一些信息處理應(yīng)用中廣泛出現(xiàn)。這些應(yīng)用包括多媒體、計(jì)算機(jī)網(wǎng)絡(luò)安全、網(wǎng)絡(luò)交通監(jiān)控、傳感器網(wǎng)絡(luò)等等。在這種情況下，數(shù)據(jù)流作為專門針對數(shù)據(jù)無限性、瞬時性和時變性等特點(diǎn)的新數(shù)據(jù)模型，更能適合WEB應(yīng)用環(huán)境。因此，數(shù)據(jù)流處理的研究近幾年來逐步興起，并迅速成為WEB數(shù)據(jù)挖掘中的一個重要的研究問題。 數(shù)據(jù)流分類是數(shù)據(jù)流挖掘中的一個重要研究領(lǐng)域，但在原來的數(shù)據(jù)應(yīng)用背景下的分類算法，都隱含地

2、假定所要挖掘的數(shù)據(jù)存放在一個相對穩(wěn)定的環(huán)境中，即在挖掘進(jìn)行的過程中，待挖掘的數(shù)據(jù)庫或數(shù)據(jù)倉庫中的數(shù)據(jù)或者是固定不變的，或者更新頻率是較低的。數(shù)據(jù)流所具有的特點(diǎn)便對挖掘算法帶來了巨大的挑戰(zhàn)，具體來說：(1)數(shù)據(jù)總量通常被假定是無限的，無論到達(dá)多少數(shù)據(jù)，分類算法只能使用不超過某個大小的內(nèi)存；(2)對數(shù)據(jù)的多次掃描代價太高，算法通常只能對數(shù)據(jù)掃描一次；(3)學(xué)習(xí)算法必須快速地適應(yīng)數(shù)據(jù)流中出現(xiàn)的概念漂移；(4)數(shù)據(jù)流分類算法應(yīng)該在任意時刻都可以

3、產(chǎn)生一個分類模型。 本文主要關(guān)注從理論方面研究數(shù)據(jù)流分類分析，同時對WEB數(shù)據(jù)挖掘應(yīng)用研究也進(jìn)行了一些探討。研究工作得到了國家自然科學(xué)基金(2069901)和國家教育部博士點(diǎn)基金(2069901)的部分資助。對數(shù)據(jù)流分類技術(shù)的理論研究方面，主要成果如下： 1．為了有效處理數(shù)據(jù)流中的重現(xiàn)背景，設(shè)計(jì)了一種能夠有效處理重現(xiàn)背景的數(shù)據(jù)流模型，給出了一種可以有效挖掘重現(xiàn)背景的數(shù)據(jù)流分類算法RTRC(Recognizing and

4、Treating Recurring Contexts)。該算法在掃描了足夠多的數(shù)據(jù)后，即使在概念漂移時也能達(dá)到良好的分類效果。通過馬爾可夫鏈和最小二乘方法，該算法可以學(xué)習(xí)并預(yù)測即將到來的概念和精確的概念漂移時間。通過在人工數(shù)據(jù)集和基準(zhǔn)(Benchmark)數(shù)據(jù)集上的實(shí)驗(yàn)，與兩種有代表性的方法 WeightedBaggging 和 CVFD71(Concept-adapting Very Fast Decision Treelearne

5、r)進(jìn)行比較，表明我們的算法具有更高的準(zhǔn)確度和更快地收斂到新的目標(biāo)概念的性能。 2．噪音處理和概念漂移是數(shù)據(jù)流挖掘中的困難問題。本文探討了如何使用聚類方法在數(shù)據(jù)流中區(qū)分出噪音實(shí)例，并提出了相應(yīng)的概念漂移檢測方法。在此基礎(chǔ)上，設(shè)計(jì)了基于推進(jìn)技術(shù)的組合分類器算法 RobustBoosting。在人工數(shù)據(jù)集和實(shí)際數(shù)據(jù)集上的實(shí)驗(yàn)表明，我們的算法即使在高達(dá)40％的類噪音時，與AdaptiveBoosting算法相比，仍能保持更高的分類準(zhǔn)確

6、度，具有更快收斂到新的目標(biāo)概念的能力。 3．許多研究者已經(jīng)提出了可以處理概念漂移的學(xué)習(xí)系統(tǒng)，其中一些系統(tǒng)假定流數(shù)據(jù)是以連續(xù)數(shù)據(jù)段的形式抵達(dá)。針對這種數(shù)據(jù)流，研究界已經(jīng)提出了基于組合分類器的處理方法。雖然這些系統(tǒng)可以處理逐步的概念漂移，但是不能有效地處理突然的概念漂移。為了解決這個問題，本文定義了一種相反分類器來從錯誤中學(xué)習(xí)，并提出了訓(xùn)練一個組合分類器來對具有概念漂移的數(shù)據(jù)流進(jìn)行分類的算法 IWB(Improved Weighte

7、d Bagging)。在人工數(shù)據(jù)集和基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，IWB算法在遇到概念漂移的時候能很快收斂到目標(biāo)概念，并具有很高的精度。 4．目前對數(shù)據(jù)流挖掘的研究，主要關(guān)注有標(biāo)記的實(shí)例可以學(xué)習(xí)時，怎樣發(fā)現(xiàn)模式中的變化以及怎樣更新模型去反映這種變化。然而在真實(shí)的數(shù)據(jù)流中，數(shù)據(jù)往往沒有類標(biāo)記。為了解決這個問題，本文提出了一種基于累積和(CUSUM)控制圖的變化發(fā)現(xiàn)方法。該方法在未知真實(shí)類標(biāo)記的情況下，可以發(fā)現(xiàn)數(shù)據(jù)流中的概念漂移和分布

8、變化。實(shí)驗(yàn)驗(yàn)證表明，此方法是有效的。 本文也從WEB數(shù)據(jù)挖掘應(yīng)用的角度進(jìn)行了一些研究工作，主要成果如下： 1．WEB社群是由對于同一主題感興趣的人或組織創(chuàng)作的WEB頁的集合，本文提出了利用WEB頁面內(nèi)容和超鏈信息并結(jié)合SVM分類器的WEB社群挖掘方法。在包含8282個網(wǎng)頁的WEBKB數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文提出的方法可以挖掘出較大而且有意義的社群。 2．目前有大量的研究關(guān)注利用序列關(guān)聯(lián)規(guī)則算法來預(yù)測用戶的最近