基礎(chǔ)教育搜索引擎中的網(wǎng)頁文檔特征提取研究.pdf

1、Intemet的快速發(fā)展使得網(wǎng)絡(luò)上基礎(chǔ)教育資源數(shù)量快速增長，越來越多的人開始利用互聯(lián)網(wǎng)進(jìn)行學(xué)習(xí)，搜索引擎已成為獲取教育資源的一條重要渠道。為了向用戶提供更有效的教育信息，提高搜索的準(zhǔn)確性，需要對海量的網(wǎng)頁進(jìn)行自動分類處理，而自動分類的前提又在于網(wǎng)頁的特征提取。本文圍繞網(wǎng)頁文檔特征提取展開，對其中包含的若干關(guān)鍵問題進(jìn)行了系統(tǒng)研究。 前一部分簡要介紹了本文的研究背景并對與特征提取相關(guān)的文檔表示理論、自動分類技術(shù)等進(jìn)行了概述；后一部分

2、重點(diǎn)研究了針對網(wǎng)頁文檔的特征提取方法：首先闡述了網(wǎng)頁文檔標(biāo)記預(yù)處理及中文分詞的方法，接著構(gòu)建了一個基礎(chǔ)教育文檔集，并在此基礎(chǔ)上對特征提取所包含的特征選擇和權(quán)重計算兩部分做了重點(diǎn)探索，其中，特征選擇部分比較研究了文檔頻率、信息增益、期望交叉熵、互信息、X<'2>統(tǒng)計、文本證據(jù)權(quán)等算法，在分析實驗結(jié)果的基礎(chǔ)上提出了增加詞頻因子P的改進(jìn)型互信息算法，實驗證明，改進(jìn)型互信息算法要明顯優(yōu)于原來的互信息算法；權(quán)重計算部分比較研究了TFIDF以