基于條件隨機(jī)場的垃圾郵件識別.pdf

1、條件隨機(jī)場最早提出是用來解決標(biāo)注問題的，它沒有隱馬爾科夫模型被人詬病的獨立性假設(shè)問題，也沒有最大熵模型的標(biāo)注偏置問題，這些優(yōu)點使得條件隨機(jī)場模型成為了目前標(biāo)注領(lǐng)域最好的模型。
　　應(yīng)用條件隨機(jī)場模型處理郵件的分類，首先要把待分類的郵件樣本表示成條件隨機(jī)場的觀測序列，還需要把郵件的類別（垃圾郵件，非垃圾郵件），表示成條件隨機(jī)場的狀態(tài)序列；再結(jié)合文本分類領(lǐng)域方面的知識來構(gòu)造特殊類型的特征函數(shù)來提取狀態(tài)序列、觀測序列間的特征，本文推廣常

2、用的一階鏈?zhǔn)綏l件隨機(jī)場到含有跳鏈的鏈?zhǔn)綏l件隨機(jī)場，提取特征函數(shù)時考慮狀態(tài)序列更多節(jié)點間的相關(guān)性，給出了所有可能特征函數(shù)的一般形式；進(jìn)而完成模型的構(gòu)建，因為在每封郵件樣本和郵件類別間都可以構(gòu)建條件隨機(jī)場，并計算郵件樣本屬于給定類別的條件概率，本文對各封郵件間的性質(zhì)做出了更多的假設(shè)，分為相互獨立和具有馬爾科夫性兩種情況（前者是后者的一種特殊情形），分別構(gòu)建樣本的聯(lián)合條件概率，并給出了各自參數(shù)極大似然估計的簡單推導(dǎo)。最后再完成模型的預(yù)測和評價