文本分類在學(xué)科導(dǎo)航中的應(yīng)用研究.pdf

1、Internet技術(shù)的迅速發(fā)展導(dǎo)致網(wǎng)站上的文檔信息成指數(shù)級(jí)增長，用戶欣喜信息豐富的同時(shí)也為信息的無序和冗余所煩惱。文本分類作為處理和組織大量文本數(shù)據(jù)的關(guān)鍵技術(shù)，可以在較大程度上解決信息雜亂現(xiàn)象的問題，方便用戶準(zhǔn)確地定位所需的信息和分流信息。 建設(shè)網(wǎng)絡(luò)資源學(xué)科導(dǎo)航系統(tǒng)是高校圖書館數(shù)字化信息服務(wù)的重要功能之一，也是其有效組織和利用網(wǎng)絡(luò)信息的手段之一。隨著網(wǎng)絡(luò)信息和網(wǎng)頁數(shù)量的增加，人工分類成了建立學(xué)科導(dǎo)航的主要瓶頸，把網(wǎng)頁文本分類技術(shù)

2、應(yīng)用于學(xué)科導(dǎo)航建設(shè)，將是解決這個(gè)問題的主要手段。本文針對(duì)學(xué)科導(dǎo)航建設(shè)中的信息內(nèi)容自動(dòng)分類問題進(jìn)行了研究，主要研究內(nèi)容有： 1)介紹了文本分類的研究現(xiàn)狀和學(xué)科導(dǎo)航的發(fā)展，并研究了文本分類的基本概念、相關(guān)技術(shù)及文本分類應(yīng)用于學(xué)科導(dǎo)航的可行性和帶來的影響。 2)介紹了文本表示技術(shù)及步驟，給出了一種改進(jìn)的基于最大匹配原則的分詞算法，并將其用于地質(zhì)工程學(xué)科導(dǎo)航的文本表示中，這種改進(jìn)算法保留了最大匹配分詞法簡單易于實(shí)現(xiàn)的特點(diǎn)，又充分

3、考慮了最大交集歧義切分字段，保證了分詞詞典的延展性，一定程度上保證了學(xué)科導(dǎo)航分類系統(tǒng)的開放性和適用性。 3)介紹了SVM和KNN兩種分類算法的基本理論，分別利用LIBSVM軟件和KNN算法的JAVA程序?qū)煞N分類算法應(yīng)用于學(xué)科導(dǎo)航，然后從分類精確度、分類速度和算法推廣度三個(gè)方面對(duì)兩種實(shí)驗(yàn)結(jié)果進(jìn)行了分析評(píng)價(jià)。實(shí)驗(yàn)結(jié)果表明SVM和KNN在學(xué)科導(dǎo)航文本分類中各有優(yōu)勢和缺陷，SVM的分類速度比KNN快，但算法推廣度不如KNN。KNN直接