面向特定領域的文本識別和分類.pdf

1、隨著互聯網的快速發(fā)展，越來越多的信息可以從網絡上獲得。但如何從大量的信息中抽取有用的信息仍然是一個問題?；ヂ摼W上的信息大部分都是以文本方式存在的，文本的內容識別就構成了高效信息獲取的基礎。本文設計了一個面向特定領域的文本內容識別系統(tǒng)。該系統(tǒng)可以有效地將我們所需要的文本從大量的文本中分離出來。我們還可以把自動識別得到的文本進行更進一步細分，并對每一個文本生成一個摘要，這樣就大大提高了信息獲取的效率。 文本識別不但要考慮屬于該領域的

2、文本的內容特征，而且還要對不屬于該領域的文本的內容特征進行研究?？紤]不屬于該領域的文本特征，可以有效地增加不同類文本特征模式之間的距離并優(yōu)化其概率分布。文本表示方面采用近年來應用較多且效果較好的向量空間模型(VSM)，給出了基于幾何距離的可分性判據和基于后驗概率的可分性判據。根據這些可分性判據，闡述了基于熵概念的特征提取方法和直接特征挑選法。 中文分詞技術是文本識別的技術基礎，也是近年來的研究熱點。本文比較詳細地介紹了分詞的算法

3、和步驟，并對多個分詞算法的優(yōu)劣進行了比較。闡述了分詞中的難點。最后，在基于詞典的分詞算法的基礎上，改進并給出了全詞索引詞典結構，大大提高了分詞算法的速度。根據可分性判據，作者采用了直接次優(yōu)搜索算法對初步特征進行提取和選擇，還采用中文信息處理常用的標準TF-IDF公式進行特征提取和選擇。 特征項權重的確定沒有太多的理論基礎，大多是根據訓練樣本庫的統(tǒng)計知識和中文信息本身的語言特點來確定的。本文除了介紹了中文信息處理中的常用權重確定算