全文檢索系統(tǒng)中文件預(yù)處理技術(shù)研究.pdf

1、隨著計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展，人類社會(huì)的數(shù)據(jù)量呈爆發(fā)式增長(zhǎng)，信息檢索就是研究如何在這些信息中快速有效地檢索到有用信息。網(wǎng)絡(luò)上獲取的信息形式多樣，其中半結(jié)構(gòu)化和非結(jié)構(gòu)化形式的信息占據(jù)了很大一部分，對(duì)于結(jié)構(gòu)化信息的檢索可以使用數(shù)據(jù)庫(kù)技術(shù)，而對(duì)于非結(jié)構(gòu)化信息的檢索卻缺乏有用的工具，因此全文檢索技術(shù)應(yīng)運(yùn)而生。全文檢索系統(tǒng)主要由文本預(yù)處理、索引建立、索引管理和web檢索平臺(tái)等多個(gè)部分組成。
　　本文主要對(duì)全文檢索系統(tǒng)中文件預(yù)處理模塊用到的

2、相關(guān)技術(shù)進(jìn)行研究，主要包括文件實(shí)時(shí)監(jiān)控、文件類型識(shí)別、文本內(nèi)容提取等。該模塊使用Inotify機(jī)制對(duì)數(shù)據(jù)源實(shí)時(shí)監(jiān)控，將監(jiān)控到的文件路徑提交至基于高級(jí)消息隊(duì)列協(xié)議實(shí)現(xiàn)的消息隊(duì)列中，依次識(shí)別文件類型，根據(jù)不同文件類型使用不同的接口提取文件的文本內(nèi)容。最后準(zhǔn)備大量文件對(duì)預(yù)處理模塊的功能和性能進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果表明該模塊具有較高的識(shí)別正確率和較好的文本提取完整度，基本滿足設(shè)計(jì)要求。
　　本文對(duì)基于內(nèi)容的文件類型識(shí)別算法進(jìn)行了研究，將文件內(nèi)

3、容按字節(jié)值劃分，使用字節(jié)值和字節(jié)值頻率建立文件的向量空間模型。識(shí)別過(guò)程使用K近鄰做分類算法，為降低分類過(guò)程的計(jì)算復(fù)雜度提高分類的效率，引入了主成分分析算法和聚類算法對(duì)樣本空間做降維處理。最后對(duì)算法進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果表明改進(jìn)后的算法減少了分類時(shí)間，具有較高的分類效率和識(shí)別正確率。
　　本文最后研究了將信息增益特征選擇算法和TFIDF權(quán)重計(jì)算算法用于文件分類過(guò)程，針對(duì)樣本集分布不均衡時(shí)分類正確率下降的情況，在傳統(tǒng)算法的基礎(chǔ)上引入類間集