粗糙集在Web挖掘中的應(yīng)用研究.pdf

1、Web挖掘廣義定義為從Internet上發(fā)現(xiàn)和分析有用信息。Web挖掘可以協(xié)助Web搜索引擎找出高質(zhì)量的網(wǎng)頁(yè)和分析Web語(yǔ)義結(jié)構(gòu)、點(diǎn)擊信息等，使Web服務(wù)更加智能化。目前Web挖掘技術(shù)中，特別是Web文本的分類、聚類，采用的核心算法是基于詞頻統(tǒng)計(jì)的矢量空間模型算法。該算法中文檔的特征詞的選取和相似度測(cè)量是關(guān)鍵。對(duì)特征詞的選取和權(quán)重計(jì)算有很多研究，取得了積極效果。但是，特征詞之間的關(guān)系研究很少。如何準(zhǔn)確描述和恰當(dāng)利用特征詞之間的聯(lián)系，是改

2、進(jìn)目前Web挖掘算法的一個(gè)途徑。粗糙集理論是一種強(qiáng)有力的處理不確定性關(guān)系的數(shù)學(xué)工具，粗糙集擴(kuò)展更能滿足實(shí)際應(yīng)用的需要。 從知識(shí)分類的觀點(diǎn)剖析了粗糙集理論的內(nèi)涵，指出了粗糙集擴(kuò)展的必要性。以Web信息檢索為研究對(duì)象，以擴(kuò)展粗糙集理論為工具，以知識(shí)獲取為目的，提出了基于模糊粗糙集的網(wǎng)頁(yè)個(gè)人興趣分級(jí)算法，較系統(tǒng)深入地研究了基于容錯(cuò)粗糙集的Web查詢?cè)~的擴(kuò)展、分類、聚類理論與應(yīng)用。 在經(jīng)典粗糙集合的基礎(chǔ)上，針對(duì)數(shù)據(jù)的過(guò)擬合而使其

3、對(duì)新對(duì)象的預(yù)測(cè)能力降低；對(duì)原始數(shù)據(jù)本身的模糊性缺乏相應(yīng)的處理方法；針對(duì)粗糙集邊界區(qū)域的刻畫比較簡(jiǎn)單，而沒有一定程度的屬于或包含等，探討了幾種典型的擴(kuò)展模型，如變精度粗糙集模型、模糊粗糙集模型和容錯(cuò)粗糙集模型。分析了這幾種模型的相關(guān)性質(zhì)，指出了它們實(shí)質(zhì)上可以統(tǒng)一到廣義粗糙集的模型上，只是針對(duì)的關(guān)系基礎(chǔ)和定義的隸屬函數(shù)不同。從而能更加直觀地理解粗糙集理論，啟發(fā)應(yīng)用粗糙集理論開發(fā)更好的數(shù)據(jù)挖掘算法。 分析了Web檢索中查詢準(zhǔn)確率不高的

4、一個(gè)重要原因是用戶對(duì)查詢語(yǔ)句的不能精確表示，提出了基于容錯(cuò)粗糙集的查詢?cè)~自動(dòng)擴(kuò)展方法，用特征詞容錯(cuò)類描述查詢語(yǔ)句與返回結(jié)果之間的不確定關(guān)系，用查詢語(yǔ)句上近似集合構(gòu)造新的查詢語(yǔ)句，自動(dòng)增加了帶權(quán)重的相關(guān)查詢?cè)~，并在標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明該方法，能有效地進(jìn)行查詢?cè)~擴(kuò)展，提高了檢索性能。 為解決網(wǎng)頁(yè)分級(jí)HITS和PageRank算法中共同的缺陷主題“漂移”問題，結(jié)合用戶的歷史查詢?cè)~，采用模糊粗糙集的理論來(lái)描述個(gè)人興趣與文檔之

5、間的不確定關(guān)系，在比較個(gè)人興趣和網(wǎng)頁(yè)相似度中，采用了上近似集相似與下近似相似結(jié)合的方法，實(shí)現(xiàn)了一種基于模糊粗糙集的個(gè)人興趣網(wǎng)頁(yè)分級(jí)算法。實(shí)驗(yàn)結(jié)果說(shuō)明基于興趣的PageRank方法是可行的。 分析總結(jié)了粗糙集理論的Web分類一般方法，指出大多數(shù)方法都是把預(yù)先定義的類別看成是互斥的概念，很少考慮類與類之間有相聯(lián)系的概念。利用Web文檔特征詞同時(shí)出現(xiàn)的價(jià)值，用容錯(cuò)粗糙集描述這種聯(lián)系，給出了基于容錯(cuò)粗糙集的Web文檔分類方法，該方法抓住