中文文本分類算法研究.pdf

1、幾十年信息技術和網絡的發(fā)展,極大地方便了人們的交流和溝通,人類文明的發(fā)展得到了很大推動,但是技術的發(fā)展也帶來了信息海量式膨脹和有害信息等各種問題,如何在海量數據環(huán)境下有效地管理并快速地將所需的數據進行分類,成為信息科學領域迫切需要解決的問題。隨著技術的發(fā)展,文本分類作為一門有著很大實用價值的獨立學科成長了起來,并在信息檢索、搜索引擎、輿情分析等領域得到了廣泛應用。
　　 由于文本用向量空間模型表示存在維度高、稀疏性大的特點,對于

2、文本的分類有一定的難度。信息增益是目前最為常用的文本特征選擇方法,但是對于非平衡集的分類效果不佳。支持向量機是最適合文本分類的方法,但是支持向量機目前仍然存在復雜度較高、花費時間較長、對參數敏感性較強等問題,在實際應用中仍在存在著一些難題。本文針對上述問題做了如下工作:
　　 總結分析了文本分類的研究背景和相關技術;研究了特征選擇方法和支持向量機的基礎理論并總結了它們目前依然存在的問題;針對信息增益沒有考慮特征項分布信息而導致的