基于信息論的特征選擇算法研究.pdf

1、隨著計(jì)算機(jī)技術(shù)和信息技術(shù)的飛速發(fā)展，人們對(duì)于計(jì)算機(jī)越來越迫切的希望其能具有人類認(rèn)知能力。John McCarthy1956年在Dartmouth學(xué)會(huì)首次提出“人工智能”概念，在此之后，其中包括模式識(shí)別等人工智能學(xué)科得到了飛速發(fā)展。
　　模式識(shí)別的定義就是通過計(jì)算機(jī)對(duì)于輸入的某一具體事物將其正確分類。數(shù)據(jù)獲取、預(yù)處理、特征提取和選擇、分類決策這四部分組成了模式識(shí)別系統(tǒng)。隨著新技術(shù)的不斷出現(xiàn)，在模式識(shí)別系統(tǒng)中，數(shù)據(jù)的規(guī)模越來越大并具有

2、樣本少、維數(shù)高等特點(diǎn)，這給傳統(tǒng)的分類學(xué)習(xí)帶來了巨大的挑戰(zhàn)。因此，怎樣在數(shù)據(jù)呈現(xiàn)高維特性時(shí)剔除其中的冗余或無關(guān)特征，避免維災(zāi)難問題，從而使得在高維數(shù)據(jù)環(huán)境下依然可以使用傳統(tǒng)學(xué)習(xí)算法進(jìn)行學(xué)習(xí)訓(xùn)練，這是當(dāng)前研究人員們面臨的一道難題。因此特征選擇是模式識(shí)別系統(tǒng)中非常重要的一部分，也是設(shè)計(jì)一個(gè)性能優(yōu)良分類器的前提和必要。
　　本文首選介紹了特征選擇問題的定義以及分類，概述了特征選擇的歷史現(xiàn)狀以及研究趨勢(shì)，然后闡述了信息論中的一些基本概念和理