信息論與編碼論文

1、 題 目： 最大熵原理及其應(yīng)用 姓 名： 學(xué) 院： 專 業(yè)： 信息與計(jì)算科學(xué)專業(yè) 班 級(jí)： 學(xué) 號(hào)： 20114

2、968 指導(dǎo)教師： 2014 年 7 月 14 日0最大熵原理及其應(yīng)用摘要：本文從信息熵的概念出發(fā)論述了信息熵的概念，最大熵原理，最大熵原理合理性，最大熵模型及其應(yīng)用等。通過分析最大熵的兩個(gè)具體模型，然后在具體例子當(dāng)中應(yīng)用最大熵原理，展示該原理的適用場(chǎng)合，以期對(duì)最大熵原理及其應(yīng)用有更深刻的理解。熵是源于物理學(xué)的基本概念，后來(lái) Shann

3、on 在信息論中引入了信息熵的概念，它在統(tǒng)計(jì)物理中的成功使人們對(duì)熵的理論和應(yīng)用有了廣泛和高度的重視。最大熵原理是一種在實(shí)際問題中已得到廣泛應(yīng)用的信息論方法。最大熵原理指出，當(dāng)我們需要對(duì)一個(gè)隨機(jī)事件的概率分布進(jìn)行預(yù)測(cè)時(shí)，我們的預(yù)測(cè)應(yīng)當(dāng)滿足全部已知的條件，而對(duì)未知的情況不要做任何主觀假設(shè)。在這種情況下，概率分布最均勻，預(yù)測(cè)的風(fēng)險(xiǎn)最小。關(guān)鍵詞：信息熵；最大熵原理；應(yīng)用The maximum entropy principle and its