多語種多類別體系下文本自動分類系統(tǒng)的研究與實現(xiàn).pdf

1、隨著信息技術和互聯(lián)網(wǎng)的飛速發(fā)展，在這個信息知識大爆炸的時代里，人們正面臨著信息的飛速激漲，所以迫切需要可以很好的協(xié)助人們從這海量的信息文本中快速而準確的找到真正所需要信息的輔助工具。隨著實際應用需求的不斷提高，傳統(tǒng)的單語種、單分類體系的文本分類系統(tǒng)已經(jīng)滿足不了人們的實際需求。針對這種情況研究出一套能夠高效率地對海量的文本信息進行多語種多類別體系處理的自動分類系統(tǒng)是非常必要的。
　　本文主要介紹了一個多語種多類別體系下文本自動分類系

2、統(tǒng)的研究與實現(xiàn)的過程。該系統(tǒng)基于N-Gram、信息增益(IG)、樸素貝葉斯等算法，使用MicrosoftVisual C/C++語言開發(fā)。最終實現(xiàn)了文本自動分類系統(tǒng)的模型訓練、文本分類功能。其中對用戶，實現(xiàn)全部語種及其對應全部分類體系模型的訓練、某一語種對應某種分類體系模型的訓練、郵件分析、郵件后臺批處理、列舉所有類別、刪除所選類別、增加新類別等功能。系統(tǒng)性能分析部分，實現(xiàn)臨時測試訓練、本地郵件分析測試、郵件批處理測試等功能。經(jīng)測試表明

3、，該系統(tǒng)對海量文本進行處理時的速度快、對文本分類的準確率較高。該系統(tǒng)滿足了用戶的需求，大大提高了用戶對文本數(shù)據(jù)處理的效率。
　　論文首先介紹了系統(tǒng)開發(fā)的背景、開發(fā)的目的和系統(tǒng)的提出，并給出了論文結構的安排;介紹了系統(tǒng)實現(xiàn)過程中所使用的相關技術;系統(tǒng)設計部分，首先介紹了系統(tǒng)的需求分析，給出了系統(tǒng)的功能結構圖，系統(tǒng)的設計原則，最后給出了系統(tǒng)的概要設計;系統(tǒng)實現(xiàn)部分，首先詳細介紹了分類系統(tǒng)的核心分類器的訓練過程，并結合系統(tǒng)各功能模塊對文