最大熵方法及其在自然語言處理中的應(yīng)用.pdf

1、近年來，計算機技術(shù)得到了飛速的發(fā)展，機器的存儲量越來越大，運算速度越來越快，而價格卻越來越便宜，這樣的客觀條件推動了基于語料庫的統(tǒng)計自然語言處理方法成為目前自然語言處理研究領(lǐng)域的一個熱點。最大熵方法是一種基于統(tǒng)計的機器學(xué)習(xí)方法，近10年來，成功應(yīng)用于自然語言處理的許多領(lǐng)域，并且都接近或達到最佳水平。所謂最大熵方法就是遵循最大熵原則建模，也就是選擇這樣的一個統(tǒng)計概率模型：在滿足約束的模型中選擇熵最大的那個。最大熵方法的優(yōu)點在于它有簡單的哲

2、學(xué)原理以及數(shù)學(xué)推理作為基礎(chǔ)，在最大熵模型這個統(tǒng)一的框架下，非常方便的使用多種特征，而且特征之間沒有獨立性假設(shè)，模型表達能力強。它的缺點是訓(xùn)練速度非常慢，耗資源。在這篇論文中，我們首先介紹最大熵方法的基本原理，數(shù)學(xué)推導(dǎo)和基本算法。然后分別從訓(xùn)練和執(zhí)行兩個方面提出快速方法：選擇性增益計算方法和稀疏特征樹方法。選擇性增益計算是一種快速的特征選擇方法，它能使特征選擇的速度提高2到3個數(shù)量級。稀疏特征樹是一種高效的特征集合表示方法，基于稀疏特征樹