基于Index Server的站內(nèi)搜索系統(tǒng)研究與應(yīng)用.pdf

1、在電子商務(wù)方興未艾的今天，企業(yè)上網(wǎng)不但是為了展示企業(yè)形象，提高知名度；也意味著無窮的商機(jī)與財(cái)富。而內(nèi)部網(wǎng)Intranet則為企業(yè)帶來了全新的溝通方式和管理理念。因此構(gòu)建企業(yè)Web站點(diǎn)已經(jīng)排上了許多企業(yè)信息部門的日程。Web的優(yōu)點(diǎn)在于可以方便的展示大量信息，但同時(shí)也帶來了信息的泛濫使得尋找有效信息非常困難。為此，好的企業(yè)網(wǎng)站都擁有強(qiáng)大的搜索引擎，使得網(wǎng)站更加友好和便利。對于有政策法規(guī)、合同定單等大量文檔上網(wǎng)的企業(yè)網(wǎng)站，信息搜索的服務(wù)必不可

2、少。 IndexServer是專門為企業(yè)網(wǎng)站設(shè)計(jì)的專業(yè)搜索引擎，利用它可以非常輕松的在網(wǎng)站中加入功能強(qiáng)大的信息搜索功能。并且IndexServer搜索的文件不局限于HTML格式，還支持TXT、DOC、EXL、RTF、GIF、JPEG等多種文件格式，并可以通過插入第三方插件來支持更多的文件格式。搜索范圍可以是存放在本地服務(wù)器中的內(nèi)容，也可以是網(wǎng)絡(luò)中其他機(jī)器的共享資源，包括INTERNET中的資源。搜索時(shí)除了文檔中的關(guān)鍵字詞以外，還

3、可以就文件大小、修改日期、作者等屬性進(jìn)行搜索。此外IndexServer還支持英文、簡體中文、德語、法語、日語等語種，無須編程，就可在網(wǎng)站中實(shí)現(xiàn)多語種的搜索引擎。由于IndexServer是零維護(hù)設(shè)計(jì)，故只需啟動(dòng)IndexServer服務(wù)，搜索引擎就會(huì)自動(dòng)運(yùn)行。而在Web服務(wù)器端，需要加入與IndexServer連接的頁面。傳統(tǒng)IndexServer的工作過程由瀏覽器通過HTML文檔的FORM表單向Web服務(wù)器發(fā)出請求開始，Web服務(wù)器

4、通過一個(gè)類似于數(shù)據(jù)庫接口的專用文件.IDQ與IndexServer連接，將客戶的請求轉(zhuǎn)換成IndexServer理解的語句。IndexServer再將查詢結(jié)果按照模板文件HTX定義的格式組織成HTML文檔，通過Web服務(wù)器返回給瀏覽器。這種方式稱為HTML/IDQ/HTX方式，需要三個(gè)文件配合完成查詢。使用這種方式不能對查詢結(jié)果進(jìn)行處理，并且模板文件HTX格式單一。因此微軟在IndexServer2.0中加入了對asp.net的支持，用

5、一個(gè)ASPX文件替代先前的三個(gè)文件。由于asp.net有靈活且功能強(qiáng)大的腳本語言操縱，因此Web開發(fā)者可以設(shè)計(jì)條件復(fù)雜的查詢，并能更加精確的處理查詢結(jié)果。 本文圍繞站內(nèi)搜索這一課題，對Index.server索引技術(shù)、數(shù)據(jù)采集這兩大站內(nèi)搜索的核心支撐技術(shù)進(jìn)行了深入細(xì)致的研究與分析，并在對google、百度、搜狗等已有站內(nèi)搜索產(chǎn)品和市場詳細(xì)調(diào)研的基礎(chǔ)上實(shí)現(xiàn)了一個(gè)實(shí)時(shí)站內(nèi)搜索系統(tǒng)。本文所做的主要工作、技術(shù)難點(diǎn)與創(chuàng)新處如下：

6、1.大量查閱了站內(nèi)搜索的相關(guān)資料，追溯了站內(nèi)搜索興起的原因及其發(fā)展過程，認(rèn)真學(xué)習(xí)了站內(nèi)搜索的體系結(jié)構(gòu)、架構(gòu)過程及應(yīng)用實(shí)施的知識，深入領(lǐng)會(huì)了站內(nèi)搜索的概念及其核心支撐技術(shù)。 2.深入細(xì)致的學(xué)習(xí)了IndexServer索引的概念、特點(diǎn)以及IndexServer系統(tǒng)的體系結(jié)構(gòu)，并研究了數(shù)據(jù)的索引過程：過濾，字分離和規(guī)范化，并對實(shí)現(xiàn)索引查詢的數(shù)據(jù)流程、體系結(jié)構(gòu)、查詢后的結(jié)果集以及將Indexserver索引服務(wù)器的數(shù)據(jù)庫連接器做為二次開

7、發(fā)的類庫進(jìn)行了詳細(xì)的分析與研究，而且也從應(yīng)用的角度對IndexServer服務(wù)器中的時(shí)間排序、精確排序做了深入的學(xué)習(xí)。 3.認(rèn)真學(xué)習(xí)了SQL數(shù)據(jù)庫的相關(guān)知識，分析了數(shù)據(jù)庫的體系結(jié)構(gòu)，并重點(diǎn)學(xué)習(xí)了如何實(shí)現(xiàn)對數(shù)據(jù)庫的監(jiān)控和安全訪問。 4.深入學(xué)習(xí)VisualStudio2003開發(fā)工具，詳細(xì)的研究了Windows服務(wù)的開發(fā)模式，把Windows服務(wù)應(yīng)用到Socket通信服務(wù)器端，充分利用Windows服務(wù)的優(yōu)點(diǎn)，揚(yáng)長避短，不

8、僅大大提高了生產(chǎn)效率，而且明晰了系統(tǒng)結(jié)構(gòu)，為系統(tǒng)穩(wěn)定安全的運(yùn)行提供了保障。 5.深入的學(xué)習(xí)了網(wǎng)絡(luò)通信編程技術(shù)，以及TCP/IP協(xié)議和信息包的知識，并將之用在數(shù)據(jù)采集的C/S系統(tǒng)中。 6.基于上述原理和已有的研究成果，設(shè)計(jì)并實(shí)現(xiàn)了站內(nèi)搜索系統(tǒng)，該系統(tǒng)具有的特點(diǎn)與創(chuàng)新如下： 1)本系統(tǒng)中數(shù)據(jù)采集子系統(tǒng)采用了C/S結(jié)構(gòu)，系統(tǒng)的所有用戶可以通過Internet使用本查詢系統(tǒng)，不受時(shí)間和地點(diǎn)的限制，而且系統(tǒng)基于web的操作

9、方式，對于有著龐大的互聯(lián)網(wǎng)用戶數(shù)量的中國市場來說更加具有競爭力。 2)實(shí)時(shí)信息查詢：百度和Google等著名的搜索引擎巨頭他們也提供了免費(fèi)的站內(nèi)搜索系統(tǒng)，他們也可以完成快速的站內(nèi)搜索功能，但是百度或Google的站內(nèi)搜索系統(tǒng)卻不能查到網(wǎng)站內(nèi)的最新的新聞內(nèi)容或查到網(wǎng)站中已經(jīng)不存在的信息，因?yàn)樗麄兊木W(wǎng)絡(luò)蜘蛛不能實(shí)時(shí)的對每一個(gè)網(wǎng)站的內(nèi)容進(jìn)行數(shù)據(jù)的采集，然后進(jìn)行索引。所以對于很多數(shù)據(jù)有一個(gè)延遲性。而本站內(nèi)搜索系統(tǒng)通過對網(wǎng)站內(nèi)的數(shù)據(jù)庫進(jìn)行

10、實(shí)時(shí)監(jiān)控處理，有效地采集到網(wǎng)站的最新信息變動(dòng)，實(shí)現(xiàn)了實(shí)時(shí)查詢。 3)信息數(shù)據(jù)的生成和管理，為了能使網(wǎng)站的客戶能查詢到最新的信息，使用Window后臺服務(wù)對SQL的數(shù)據(jù)庫信息更新進(jìn)行實(shí)時(shí)的監(jiān)控，及時(shí)的把變更信息用TXT文件形式存儲并添加到索引服務(wù)器中。 4)采用TXT文件形式存儲數(shù)據(jù)信息，IndexServer支持HTML、XML等多種文件形式的索引功能，但是TXT是最穩(wěn)定、高效的存儲格式。 目前，本系統(tǒng)已經(jīng)在證券