基于數(shù)據(jù)挖掘的Web文本分析研究.pdf

1、隨著計(jì)算機(jī)技術(shù)的發(fā)展，人們利用計(jì)算機(jī)技術(shù)進(jìn)行生產(chǎn)、研究等方面的需求迅速提高，成千上萬(wàn)的數(shù)據(jù)庫(kù)被用于電子商務(wù)、商業(yè)管理、政府辦公和科學(xué)研究等眾多領(lǐng)域。特別是在Internet技術(shù)日趨成熟的今天，在Internet上存在著可以廣泛被使用的大量甚至海量的數(shù)據(jù)，人們迫切需要從這些數(shù)據(jù)中獲取有用的信息和知識(shí)，為了解決信息過(guò)量與知識(shí)貧乏之間的矛盾，數(shù)據(jù)挖掘技術(shù)引起了信息產(chǎn)業(yè)界乃至整個(gè)社會(huì)的極大關(guān)注，成為當(dāng)今研究的重點(diǎn)。
　　 本文的主要內(nèi)容

2、是基于數(shù)據(jù)挖掘的Web文本分析研究，首先分析了當(dāng)前數(shù)據(jù)挖掘特別是Web文本挖掘的研究現(xiàn)狀，在介紹了數(shù)據(jù)挖掘的相關(guān)概念、基本方法以及基本應(yīng)用等之后，通過(guò)構(gòu)建Web文本挖掘的框架，重點(diǎn)分析Web文本挖掘的基本方法和步驟。在Web文本分類(lèi)方面，提出了一種可伸縮的樸素貝葉斯分類(lèi)算法并作了實(shí)驗(yàn)分析。在較全面綜述了基于密度的離群點(diǎn)檢測(cè)的概念、理論和方法后，提出了基于信息熵加權(quán)的局部離群測(cè)度離群點(diǎn)檢測(cè)算法，分別針對(duì)一般的數(shù)據(jù)集以及Web文本數(shù)據(jù)集做了

3、實(shí)驗(yàn)和分析，取得了一定的成果。本文的主要內(nèi)容如下：
　　 (1)Web文本挖掘的相關(guān)概念，首先介紹了數(shù)據(jù)挖掘的概念、任務(wù)、方法、流程以及應(yīng)用，然后進(jìn)一步闡述Web文本挖掘的定義，研究了Web頁(yè)面的特征表示、Web頁(yè)面的特征提取、Web文本挖掘的結(jié)構(gòu)模型，并指出了Web文本挖掘未來(lái)的發(fā)展方向，最后通過(guò)實(shí)驗(yàn)對(duì)Web文本進(jìn)行了預(yù)處理。
　　 (2)基于雨林框架的樸素貝葉斯Web文本分類(lèi)，在介紹了樸素貝葉斯分類(lèi)算法和雨林框架的基

4、本理論后，提出了一種可伸縮的分類(lèi)算法，可以用于Web文本分類(lèi)。通過(guò)具體的算法設(shè)計(jì)與實(shí)驗(yàn)驗(yàn)證了該算法的可行性與有效性，最后進(jìn)行了總結(jié)和展望。
　　 (3)基于信息熵加權(quán)的Web離群點(diǎn)檢測(cè)，首先對(duì)離群點(diǎn)的概念、應(yīng)用和基本方法等做了綜述，特別對(duì)基于密度的局部離群檢測(cè)做了深入的研究，總結(jié)了基本的算法及其特點(diǎn)。在這些準(zhǔn)備工作之后，對(duì)局部空間離群測(cè)度(SLOM)算法進(jìn)行了改進(jìn)，提出了基于信息熵加權(quán)的局部離群測(cè)度(ESLOM)離群點(diǎn)檢測(cè)算法，