基于web文本挖掘技術的研究與應用.pdf

1、Internet的快速發(fā)展使得信息資源急劇增長，越來越多的信息通過互聯(lián)網(wǎng)被傳送到世界各地?；ヂ?lián)網(wǎng)中也積聚了越來越多的信息，網(wǎng)絡成了人們獲取信息的主要來源。但是由于它數(shù)據(jù)的半結構化和無索引特點，使我們充分利用這些豐富的信息變得越來越困難。以人工智能為基礎的數(shù)據(jù)挖掘技術迅速發(fā)展，為解決這一問題帶來了希望，web文本挖掘的概念應運而生。本文主要研究web文本挖掘技術。 本文首先介紹了web文本挖掘技術的研究背景、研究目的、研究意義以及

2、國內(nèi)外研究現(xiàn)狀，接著介紹了web文本挖掘的一般過程，進一步介紹了web文本挖掘過程中的幾個關鍵技術。針對web文本分類中的中文分詞算法問題，設計了一個三層存儲格式的詞典并采用對字符串正向先取兩字，隨后逐一增一字的方法進行分詞。針對經(jīng)典挖掘頻繁項集算法—Apriori算法所存在的問題，采用修剪頻繁集策略，減少了候選項目的數(shù)量；采用優(yōu)化連接策略，減少了執(zhí)行次數(shù)，提高了Apriori算法的運行效率；采用庫優(yōu)化策略，減少了數(shù)據(jù)庫中事務的個數(shù)，并

3、且避免了事務的大量重復掃描，實驗證明這一策略可以提高算法的效率。 本文最后設計并實現(xiàn)了一個中文web文本分類系統(tǒng)。把每個文本文檔看作是一個具體的事務，把該文本文檔中的頻繁出現(xiàn)的詞語看作是項，通過文檔的詞條集推出文檔所屬的類別。采用向量空間模型來表示文本，采用詞和類別的互信息量作為特征項抽取的判斷標準，采用CBA算法來構造分類器。經(jīng)過分詞實驗，測試表明采用三層存儲格式的詞典及改進的分詞算法改善了分詞的速度和分詞的精度。經(jīng)過文本分類