基于WEB的文本分類算法研究及系統(tǒng)實(shí)現(xiàn).pdf

1、隨著Internet的迅速發(fā)展,以Web形式呈現(xiàn)的電子文本的數(shù)據(jù)量成幾何速度增長(zhǎng)。如何高效的組織和管理這些數(shù)據(jù),并全面、準(zhǔn)確、快速地推送給用戶所需要的信息,是目前信息技術(shù)研究的一個(gè)重要挑戰(zhàn)。自動(dòng)文本分類是組織和處理海量文本信息的重要技術(shù),可以較好的解決Web數(shù)據(jù)異構(gòu)雜亂的問(wèn)題,有利于準(zhǔn)確而快速的獲取信息。
　　早期的文本分類僅僅是基于純文本的,隨著互聯(lián)網(wǎng)的逐漸普及以及Web技術(shù)的快速發(fā)展,越來(lái)越多的信息是以Web頁(yè)面的形式呈現(xiàn)的。

2、如何快速的從分布式的、異構(gòu)的、半結(jié)構(gòu)化的Web環(huán)境中找到有用的信息,并提取知識(shí)成為當(dāng)前數(shù)據(jù)挖掘和知識(shí)管理領(lǐng)域的核心問(wèn)題。
　　本文討論了一個(gè)基于Web的文本分類系統(tǒng)的實(shí)現(xiàn)方法,包括從網(wǎng)絡(luò)采集網(wǎng)頁(yè)文本信息到對(duì)文本信息進(jìn)行文本分類兩個(gè)模塊。首先介紹了國(guó)內(nèi)外對(duì)于文本自動(dòng)分類技術(shù)的最新研究進(jìn)展,其次對(duì)文本獲取和文本分類分別進(jìn)行了較為深入的探討,分別提出了文本采集和文本分類的重要步驟的解決方法。針對(duì)爬蟲給出了頁(yè)面分析處理和URL去重的實(shí)現(xiàn)方