面向web文本挖掘的主題搜索技術(shù)研究.pdf

1、隨著因特網(wǎng)的快速發(fā)展，海量的Web數(shù)據(jù)資源已經(jīng)成為人們獲取知識與信息的重要來源。由于Web資源具有半結(jié)構(gòu)性、離散性、實時性和異構(gòu)性等特點，用戶很難快速準(zhǔn)確地從Web上獲取真正有價值的信息。獲取Web信息的主要方法是使用搜索引擎，而現(xiàn)在流行的通用搜索引擎不能很好的提供信息結(jié)構(gòu)抽取、Web文本內(nèi)容的分類、過濾以及文檔理解方面的功能。因此，如何設(shè)計搜索引擎技術(shù)，使之更適應(yīng)的對Web資源進(jìn)行高效的挖掘就成為了研究熱點。 本論文的研究內(nèi)容

2、是面向Web文本挖掘的主題搜索引擎研究與系統(tǒng)設(shè)計。重點討論了當(dāng)前流行的Web挖掘以及搜索引擎的核心技術(shù)，并且設(shè)計和實現(xiàn)主題Web信息挖掘和搜索原型系統(tǒng)Label3。本文的主要工作研究如下： 主題爬蟲技術(shù)：改進(jìn)了以往的爬蟲策略，提出了基于非貪婪遺傳算法的網(wǎng)絡(luò)爬蟲搜索策略，對各個算法進(jìn)行數(shù)據(jù)分析和性能比較。 語言過濾分詞、中文字詞切分算法：考慮到拉丁語言與中文語言的差異，本文討論了各自的語言分詞算法，特別針對中文語言的特殊性