網(wǎng)上新聞自動(dòng)分類系統(tǒng)智能化的研究.pdf

1、現(xiàn)代信息爆炸般地產(chǎn)生，信息如海如潮。信息分類，不僅有利于加快信息檢索速度，而且有利于提高查準(zhǔn)率。Internet是信息的重要載體，深入地研究與探討網(wǎng)上信息自動(dòng)分類的方法、技術(shù)和理論，已成為時(shí)代的迫切需求和新的研究熱點(diǎn)?？v觀國內(nèi)外已經(jīng)報(bào)道過的自動(dòng)分類系統(tǒng)，我們發(fā)現(xiàn)很多系統(tǒng)都不能跟上網(wǎng)絡(luò)時(shí)代信息知識(shí)更新速度，這使得這些分類系統(tǒng)難以實(shí)用，或者使用效果差強(qiáng)人意。作者根據(jù)當(dāng)前網(wǎng)上信息的特點(diǎn)，對(duì)網(wǎng)絡(luò)新聞自動(dòng)分類技術(shù)進(jìn)行了研究，并參照以往自動(dòng)分類系統(tǒng)

2、的開發(fā)經(jīng)驗(yàn)與教訓(xùn)，和師兄一起，在導(dǎo)師的指導(dǎo)下設(shè)計(jì)和開發(fā)了一個(gè)嶄新的網(wǎng)絡(luò)新聞智能分類系統(tǒng)。我們根據(jù)香港中國資訊行（China Infobank）的需求，使用了100,000篇樣本語料，成功地構(gòu)建了具有開放性的分類知識(shí)庫系統(tǒng)。該系統(tǒng)采用了便于學(xué)習(xí)的分類算法，使得分類系統(tǒng)可以通過進(jìn)行不斷地學(xué)習(xí)，來更新分類知識(shí)，從而解決了分類知識(shí)匱乏、陳舊的問題，系統(tǒng)知識(shí)庫中的知識(shí)可以保持最新。在設(shè)計(jì)該系統(tǒng)的時(shí)候，我們還考慮了系統(tǒng)的兼容性與可擴(kuò)展性，使之經(jīng)過簡

3、單修改，即可適用于不同的分類體系。 在論文階段，我的貢獻(xiàn)主要有以下幾點(diǎn)： 第一，與師兄一起，按照導(dǎo)師的仿人思想，采用仿人的方法，設(shè)計(jì)了一個(gè)高性能的智能自動(dòng)分類系統(tǒng)。仿人的方法，就是綜合國內(nèi)外一切已有的具有實(shí)效的分類方法，根據(jù)被分類對(duì)象的特點(diǎn)而靈活使用之的方法。這也是我們實(shí)驗(yàn)室設(shè)計(jì)智能系統(tǒng)屢試不爽的方法。香港中國資訊行（China Infobank）總裁王稼夫用1000篇網(wǎng)上新聞對(duì)該系統(tǒng)進(jìn)行評(píng)測，結(jié)論是：不可用的分類僅有3

4、％—4％，只要按照要求稍加改進(jìn)，即可投入使用。 第二，根據(jù)導(dǎo)師的思想，對(duì)傳統(tǒng)的KNN算法進(jìn)行了改進(jìn)，成功的研發(fā)出了K值隨樣本改變的分類算法。新算法可以根據(jù)待分類文本與知識(shí)庫中樣本的特點(diǎn)來動(dòng)態(tài)的決定K值，使分類效果有明顯提高。 第三，根據(jù)仿人的思想，研究并實(shí)現(xiàn)了分類系統(tǒng)的自學(xué)習(xí)功能。有了自學(xué)習(xí)功能，分類系統(tǒng)就可以在實(shí)際應(yīng)用中不斷學(xué)習(xí)新的知識(shí)，更新分類知識(shí)庫，使得分類系統(tǒng)能夠跟上網(wǎng)絡(luò)時(shí)代信息知識(shí)更新的速度，從而變得更加實(shí)用。