基于DotLucene的網(wǎng)站搜索技術研究.pdf

1、搜索解決方案是搜索引擎的核心，如何有效、合理地架構出一個搜索方案是搜索引擎質(zhì)量的主要標準。搜索引擎技術涵蓋知識范圍比較廣闊，對于沒有基礎的中小型搜索應用，架構出一個合理的搜索引擎困難重重。面對目前市場上搜索引擎巨頭公司的技術壟斷，中小企業(yè)中的搜索業(yè)務更多選擇了依賴于大公司的搜索服務，而很少有企業(yè)獨立為自己開發(fā)一套合適的搜索引擎。 搜索引擎技術中有幾大難點：網(wǎng)絡蜘蛛模塊、索引器模塊、搜索器模塊和中文環(huán)境下的中文分析模塊。以上幾大模

2、塊正是本文要解決的搜索引擎問題的關鍵。 對于網(wǎng)絡蜘蛛模塊，要求有一個可靠的程序從互聯(lián)網(wǎng)中抓取信息，作為搜索引擎的信息來源，其中包括了網(wǎng)頁的抓取，信息的歸檔和處理。索引器模塊解決的是搜索引擎索引建立的問題，即從收集到的網(wǎng)頁中通過信息倒排技術，制作出詞為單位的索引，并且隨著新信息資源的加入，如何維護和擴充這些索引。搜索引擎檢索器模塊解決的是如何處理用戶的搜索，即如何訪問索引，從中找到用戶檢索的信息。 對于中文企業(yè)的應用，還伴