基于混合特征的中文文本分類研究.pdf

1、隨著信息技術的高速發(fā)展和互聯(lián)網(wǎng)自媒體時代的到來，越來越多的信息以電子文本的形式存在于互聯(lián)網(wǎng)上。從海量的網(wǎng)頁文本信息中提取準確的、有價值的知識成為信息處理的一大目標。文本自動分類技術作為信息處理領域的研究熱點，能夠將文檔自動按照類別進行組織和處理，較大程度的解決了信息資源的無序性，作為信息檢索，信息過濾和搜索引擎等領域的技術基礎，有著廣泛的應用前景。
　　本文以垂直搜索領域的網(wǎng)頁文本主題信息檢索做為應用背景，將實現(xiàn)網(wǎng)頁文本的精確主題

2、分類作為主要任務，圍繞垂直搜索對分類結果集的內容直達性要求更高的特點，設計并實現(xiàn)了基于混合特征的中文文本分類系統(tǒng)，有效的解決了傳統(tǒng)網(wǎng)頁文本分類結果集直達性能不強的問題。主要的研究內容包括網(wǎng)頁結構化信息的獲取機制、混合特征模型的建立方法、分類器的訓練策略等。
　　在結構化信息的獲取上，設計并實現(xiàn)了網(wǎng)頁文本自動抽取方法，通過對網(wǎng)頁結構的分析，有效過濾了網(wǎng)頁中的廣告、圖片、超鏈接等噪聲，抽取網(wǎng)頁中包括標題和正文內容在內的純文本信息。

3、r>　　在混合特征建模上，將文本信息進行了中文分詞等自然語言處理，使用了特征降維算法取得特征詞集，改進了特征權重賦值算法，完成了內容特征建模，并驗證了改進算法對分類性能的優(yōu)化能力;同時提出了由網(wǎng)頁語言學特征和網(wǎng)絡特征構成的頁面特征集，通過統(tǒng)計歸一化實現(xiàn)頁面特征的建模，從而得到了本文的混合特征向量空間模型。
　　在分類器的訓練策略上，引入了機器學習中有監(jiān)督的分類思想，研究了支持向量機算法，采用了經(jīng)參數(shù)優(yōu)化的支持向量機算法對混合特征模