面向Web站點(diǎn)的搜索引擎研究與實(shí)現(xiàn).pdf

1、隨著Web信息的急劇增加，用戶(hù)如何準(zhǔn)確、快速有效地從海量Web信息中提取所需信息，已成為當(dāng)前急待解決的問(wèn)題。搜索引擎技術(shù)是解決用戶(hù)檢索海量Web信息的有效途徑之一。目前，搜索引擎技術(shù)已成為信息檢索領(lǐng)域的研究熱點(diǎn)。 搜索引擎是一種在Web上應(yīng)用的軟件系統(tǒng)，它以一定的策略在Web上搜集和發(fā)現(xiàn)信息，在對(duì)信息進(jìn)行處理和組織后，為用戶(hù)提供Web信息查詢(xún)服務(wù)。 為了滿(mǎn)足日益增加Web站點(diǎn)上的信息檢索需要，本文將搜索引擎技術(shù)運(yùn)用到We

2、b站點(diǎn)的信息檢索中，采用Robot搜索引擎的結(jié)構(gòu)，實(shí)現(xiàn)了基于Robot的采集程序；用改進(jìn)的Lucene．net工具包實(shí)現(xiàn)了Web信息的倒排索引庫(kù)；并結(jié)合ASP．NET為用戶(hù)提供友好的檢索界面。 在信息采集過(guò)程中，本文采用Bloom Filters算法高效地實(shí)現(xiàn)了URL消重，采用多線(xiàn)程技術(shù)實(shí)現(xiàn)了并行的信息采集；在信息索引實(shí)現(xiàn)中，本文采用基于字符串匹配和雙字哈希機(jī)制的中文分詞技術(shù)，進(jìn)一步提高了索引效率；在信息檢索實(shí)現(xiàn)中，本文提出一種