廣義熵的Bayes估計方法.pdf

1、1948年，C. E. Shannon將熱力學系統(tǒng)中熵的概念引入到信息論中，標志著現(xiàn)代信息論的誕生。隨后，Shannon熵的估計被應用在工程學、生物醫(yī)藥學和生物化學等方面。
　　學者們?yōu)榱私鉀Q生活中的實際問題，又提出了其他不同形式的廣義熵，如Tsallis熵和Renyi熵。在統(tǒng)計分析中，廣義熵的應用研究越來越受到學者們的關注。本文主要討論離散型隨機變量的廣義熵，將熵的估計由 Shannon熵推廣到 Tsallis熵和Renyi熵。

2、在Shannon熵極大似然估計方法的基礎上，得到Shannon熵的Bayes估計方法，并將其與極大似然估計方法進行比較。進一步，本文推導出廣義熵中具有代表性的Renyi熵和Tsallis熵的Bayes估計方法。
　　運用 Matlab軟件，以概率(0.1,0.4,0.5)產(chǎn)生樣本容量為 N的隨機數(shù)。用每個數(shù)的頻率代替概率，得到傳統(tǒng)熵估計的極大似然估計方法。將每個數(shù)出現(xiàn)的相應次數(shù)，代入到Bayes估計式中。通過Matlab運算出樣本

3、容量為N的Bayes估計值。改變N的大小，經(jīng)過多次試驗，得到一組極大似然估計值與Bayes估計值，并將兩種方法進行比較。由誤差平方和可以看出 Shannon熵的Bayes估計效果更好一些，然而Tsallis熵的Bayes估計并沒有顯現(xiàn)出更好的效果?？梢钥紤]改變q的值以及進行大量的隨機試驗，再將Tsallis熵的Bayes估計方法與極大似然估計方法進行對比。雖然廣義熵的Bayes估計方法并不一定是最優(yōu)的，但從廣義熵的應用角度來看，仍具有一