基于機器學(xué)習(xí)的中文文本自動分類的研究和應(yīng)用.pdf

1、隨著科學(xué)技術(shù)的迅猛發(fā)展，特別是因特網(wǎng)的快速發(fā)展，網(wǎng)上信息浩如煙海，互聯(lián)網(wǎng)上的中文網(wǎng)頁信息數(shù)以億計。如何利用計算機技術(shù)快速有效的獲取相關(guān)信息已是中文信息處理領(lǐng)域的一個研究熱點。大部分網(wǎng)絡(luò)搜索引擎主要是根據(jù)對信息的主觀分析建立索引，從而在一定程度上減輕了人們尋找自己所需信息的工作量。就目前來說，搜索引擎對網(wǎng)絡(luò)信息的整理，依然是半自動化半人工的方式。如何提高搜索引擎的信息搜索的智能化程度，提高搜索效率，降低人工二次搜索的工作量已成為當前智能搜

2、索的研究熱點。中文文本分類技術(shù)為此類問題提供了一個切實可行的解決途徑。 本文首先介紹文本自動分類的主要方法，分析中文WEB文本的特點和提出中文WEB文本自動分類的關(guān)鍵技術(shù)，實現(xiàn)了一種中文WEB文本自動分類工具的總體設(shè)計及各功能模塊。基于機器學(xué)習(xí)的中文文本自動分類系統(tǒng)由三個主要功能模塊組成：網(wǎng)絡(luò)蜘蛛、WEB文本預(yù)處理和WEB文本自動分類器。首先討論了網(wǎng)絡(luò)蜘蛛的遍歷策略及其中集成的SUN公司的HTML解析器、WEB文本預(yù)處理中的WE