神經(jīng)網(wǎng)絡(luò)作為分類器的算法研究及在信息檢索中的應(yīng)用.pdf

1、本文以統(tǒng)計理論為基礎(chǔ)，主要討論在計算機(jī)上用軟件模擬實現(xiàn)的神經(jīng)網(wǎng)絡(luò)分類器。在綜述了神經(jīng)網(wǎng)絡(luò)作為分類器的研究現(xiàn)狀及存在問題的基礎(chǔ)上，著重對構(gòu)造性學(xué)習(xí)方法中的覆蓋算法進(jìn)行深入的探討和改進(jìn)，以達(dá)到縮短學(xué)習(xí)時間、簡化網(wǎng)絡(luò)結(jié)構(gòu)、提高分類精度的目的。主要的研究內(nèi)容及創(chuàng)新如下： (1)提出了覆蓋算法的概率模型，并利用有限混合模型的極大似然擬合，用期望最大化算法對覆蓋算法進(jìn)行優(yōu)化處理。將用原覆蓋算法所得到的覆蓋結(jié)果看作是一個預(yù)處理，將覆蓋某一類樣

2、本的覆蓋數(shù)看作是有限混合模型中的分量數(shù)目，解決了有限混合模型中分量數(shù)目難以估計這一難題，而不是主觀地去估計分量的數(shù)目。某一類樣本有多少個覆蓋，就認(rèn)為有限混合模型中的分量數(shù)目是多少，將覆蓋某一類樣本的每個覆蓋看成一個Gauss分布，利用混合模型的極大似然擬合，用期望最大化算法來對覆蓋算法進(jìn)行優(yōu)化處理。擴(kuò)大了覆蓋算法的應(yīng)用范圍，模擬結(jié)果表明新算法提高了測試精度。 (2)對覆蓋算法中的參數(shù)與測試精度的關(guān)系進(jìn)行了研究。得出的結(jié)論如下：當(dāng)

3、原空間的k維樣本向特征空間的k+1維投影時，超球半徑的大小R與測試精度、拒識樣本數(shù)之間幾乎沒有關(guān)系；對覆蓋半徑中參數(shù)n的取值與測試精度關(guān)系進(jìn)行了研究，當(dāng)n=1/2(即覆蓋半徑取同類樣本中的最大距離與異類樣本中的最小距離的算術(shù)平均)時測試精度達(dá)到了最高，這相當(dāng)于SVM中的最優(yōu)超平面；對覆蓋算法中樣本的學(xué)習(xí)順序與網(wǎng)絡(luò)性能的關(guān)系進(jìn)行了分析實驗，實驗結(jié)果表明將樣本按類別排序后所得到的網(wǎng)絡(luò)，其性能比未排序時所得到的網(wǎng)絡(luò)有不同程度的提高。

4、(3)研究了覆蓋算法中覆蓋半徑的大小與識別精度之間的關(guān)系。 本文提出通過擴(kuò)大覆蓋半徑和加入異類點，來減少覆蓋數(shù)目和隱層神經(jīng)元個數(shù)，在網(wǎng)絡(luò)規(guī)模盡可能小的情況下，雖然增加了有限的學(xué)習(xí)時間，但提高了學(xué)習(xí)的精度。實驗證明PBCA對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是有效的。 在網(wǎng)絡(luò)結(jié)構(gòu)上，提出了由前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)組成的神經(jīng)網(wǎng)絡(luò)的混合結(jié)構(gòu)。前饋網(wǎng)絡(luò)完成樣本的第一次分類，用反饋網(wǎng)絡(luò)對邊界樣本或拒識樣本進(jìn)行第二次分類。 對處于“邊界”情況的測試

5、樣本，現(xiàn)有的分類方法一般用“就近原則”進(jìn)行再分類，或是用“概率最大原則”進(jìn)行再分類。當(dāng)最大概率α很低時，按“概率最大原則”進(jìn)行再分類的錯誤率=1-α將是很大的。而PBCA則體現(xiàn)了概率分布思想，克服了這種缺點，提高了分類的精度。 (4)對覆蓋算法CA、PBCA和FMMCA的應(yīng)用進(jìn)行了研究。將它們應(yīng)用于信息檢索中的中文文本分類。分別用上述三個算法對由復(fù)旦大學(xué)計算機(jī)信息與技術(shù)系國際數(shù)據(jù)庫中心自然語言處理小組提供的包含10個類別內(nèi)容的語