具有自然分組特性文本的分類研究.pdf

1、文本分類問題是信息檢索與數(shù)據(jù)挖掘領域的研究熱點，具有廣泛的實際應用，如垃圾郵件過濾、博客分類以及個人主頁識別等。文本分類任務主要是在給定的類別集合下，根據(jù)文本的內(nèi)容判定文本的類別。目前，基于機器學習的自動文本分類方法成為了解決文本分類問題的核心技術，其主要任務是從訓練數(shù)據(jù)集中構(gòu)建一個符合實際數(shù)據(jù)特性的分類模型，以預測未知文本的類別標簽。
　　在諸多文本分類應用場合，數(shù)據(jù)集常?？梢宰匀坏貏澐譃槿舾蓚€組。各個分組不是根據(jù)數(shù)據(jù)的分類標簽

2、劃分的，也不是通過數(shù)據(jù)聚類形成的，而是數(shù)據(jù)集的一個具有客觀物理意義的切分。例如，在垃圾郵件過濾任務中，郵箱是郵件客觀存在的寄件人標號，可按郵箱對郵件進行分組。在具有自然分組數(shù)據(jù)的文本分類任務中，分組數(shù)據(jù)具有分組文本特性不同、分組樣本規(guī)模不同以及組內(nèi)正負例不均衡等數(shù)據(jù)特性，是分類過程中可以利用的先驗知識。然而，傳統(tǒng)分類算法忽略了分組數(shù)據(jù)上述特性，造成分類模型的偏差，制約分類性能。
　　針對上述問題，本文開展自然分組數(shù)據(jù)上文本分類研究

3、，旨在研究如何利用數(shù)據(jù)的自然分組信息以提升分類性能。本文并不探討數(shù)據(jù)自然分組的形成原因，也不涉及如何從眾多分組屬性中選擇最優(yōu)分組屬性的問題。針對具有自然分組數(shù)據(jù)的文本分類任務，本文開展了以下研究:
　　首先，針對不同分組具有不同的文本特性，提出基于分組間協(xié)作的集成分類算法，以綜合考慮訓練數(shù)據(jù)集中所有分組的文本特性，避免分類模型丟失來自小規(guī)模分組以及組內(nèi)樣本失衡分組的文本特性。具體地，提出基于分類模型參數(shù)共享的分組上分類模型互訓算法

4、，使得各個分組上分類模型的訓練除了利用其自身數(shù)據(jù)，還可借助于來自其他分組的分類數(shù)據(jù)，從而為訓練數(shù)據(jù)中各個分組構(gòu)建一個具有泛化性的分類模型。在得到各個分組上分類模型后，對各個分組上分類模型輸出類別標簽的概率進行融合。
　　其次，針對自然分組之間存在相關度這一特性，在基于分組間協(xié)作的集成分類算法基礎之上，提出融入分組相關度的集成分類算法，以進一步提升集成分類性能。具體地，將分組相關度作為一種正則化信息，引入到各個分組上分類模型構(gòu)建的損

5、失函數(shù)中，使得相似分組具有相似分類模型，為各個分組上分類模型的構(gòu)建提供了額外的歸納偏置信息，必然為各個分組構(gòu)建一個更具有泛化性的模型。由于在實際文本分類任務中，無法預知分組相關度。本文將分類模型參數(shù)和分組相關度融合到一個優(yōu)化目標中，通過迭代優(yōu)化策略從數(shù)據(jù)集中自動地學習分組相關度和各個分組上分類模型參數(shù)。
　　最后，針對測試數(shù)據(jù)也存在自然分組特性，在融入分組相關度的集成分類算法基礎之上，提出體現(xiàn)測試數(shù)據(jù)分組特性的分類預測算法，以充分

6、利用測試數(shù)據(jù)的自然分組信息，更好預測未知文本的類別標簽。具體地，提出基于代價敏感列表排序算法的測試數(shù)據(jù)融合權(quán)重學習算法，為每個測試數(shù)據(jù)構(gòu)造具有考慮其分組信息的集成權(quán)重，使得與樣本相似的分組上分類模型賦予較大的融合權(quán)重?；趯W習得到的融合權(quán)重，對訓練數(shù)據(jù)中各個分組上分類模型輸出類別標簽的概率進行融合，以輸出未知文本的類別標簽。
　　為了驗證本文提出算法的有效性，將本文所提的算法應用于垃圾郵件過濾任務、個人主頁識別任務以及文檔排序任務