中文文本自動分類技術的研究與改進.pdf

1、隨著信息技術的迅猛發(fā)展，尤其是網絡應用的普及，各類信息以電子文檔的形式充斥著人們生活，其規(guī)模也在飛速增長。傳統(tǒng)的人工方式對信息進行組織和管理的方法，費時費力、代價巨大，在面對大規(guī)模數據時也束手無策。對海量信息的科學組織管理日益成為一個重要課題，文本自動分類技術作為這一課題領域的一個重要研究方向，在信息檢索、數據挖掘等方面都有很高的應用價值。在我國大部分信息都是用中文記載的，因此對中文的文本的分類顯得尤為重要。目前，伴隨著統(tǒng)計學習理論和自

2、然語言處理技術的發(fā)展，文本分類技術已經取得了不少研究和實踐成果。文本分類技術的四種發(fā)展趨勢，包括新分類方法的涌現、傳統(tǒng)分類方法的改進、新的應用模式及應用領域的出現、理論成果的轉化等。本文的工作內容主要包括如下幾個部分:
　　(1)對中文文本自動分類技術的研究背景、研究現狀、發(fā)展趨勢進行了分析和總結。對中文文本自動分類的相關理論和關鍵技術進行了系統(tǒng)的介紹，包括文本分類的定義、文本分類的類別體系、文本分類的預處理技術、文本分類算法、分

3、類結果的評估標準等。其中預處理部分又包括網頁內容的解析和提取、中文分詞、特征選擇、文本表示等方面。分類算法主要介紹了SVM、KNN、NB分類算法，同時對不同的分類算法進行了對比分析，提出了不同的適用場景。
　　(2)基于對文本分類相關技術和理論的研究和分析，設計了一個基于B/S架構的中文文本自動分類方案，并進行了系統(tǒng)的需求分析、功能分析，提出了系統(tǒng)的性能目標、開發(fā)運行環(huán)境、總體設計方案和詳細的模塊設計方案。
　　(3)基于該

4、方案實現了一個中文文本自動分類系統(tǒng)，該系統(tǒng)包括語料獲取模塊、語料處理模塊、訓練和分類模塊、用戶交互模塊。同時該系統(tǒng)通過維護一個保存網頁類別信息的URL分類數據庫，提供給用戶直接查詢網頁類別的功能，減少了用戶的等待時間。
　　(4)從特征選擇方法、詞典長度、分類算法、樣本數量四個方面進行了對比實驗，并對實驗結果進行了分析，同時得出了提高分類效果的方法，使該分類方案得以完善。
　　本文未來的努力方向是根據積累的分類經驗，從流程和