IT知識搜索引擎的設計與實現(xiàn).pdf

1、互聯(lián)網(wǎng)的信息量一直以驚人的速度在增長,這個過程中已經(jīng)誕生了很多優(yōu)秀的搜索引擎,但是隨著信息的規(guī)模的日趨龐大,通用搜索引擎已經(jīng)不能完全滿足用戶的要求。在這樣的背景下垂直搜索引擎出現(xiàn)了,并成為了當前研究的一個熱點。IT知識搜索引擎與通用索引擎的區(qū)別在于其專注于IT知識這樣的一個特別的專業(yè)領域,它是一種典型的垂直搜索引擎。
　　本文對搜索引擎的概念、分類、結構框架作了介紹,并分析了IT知識搜索引擎作為垂直搜索引擎的一些特點。技術論述重點

2、在搜索引擎的兩個部分:爬蟲系統(tǒng)和數(shù)據(jù)檢索系統(tǒng)。在爬蟲系統(tǒng),本文分別的介紹了通用爬蟲和主題爬蟲的原理和主要實現(xiàn)思路,并對比了兩者的異同,并著重對主題爬蟲進行了原理上的分析。主題爬蟲實際上是在通用爬蟲的基礎上進行功能擴充而得到得,它在抓取頁面時過濾掉與主題不相關或者低質(zhì)量的網(wǎng)頁,其擴充的功能主要包括關鍵詞和主題相關度計算模塊。在數(shù)據(jù)檢索系統(tǒng),本文主要主要論述了IT知識搜索引擎所適用的索引結構以及排序算法。
　　論文最后基于Heritr

3、ix框架實現(xiàn)了一個IT主題爬蟲,這個框架的特點在于可以實施擴展。通過實驗,進行通用爬蟲和主題爬蟲的爬取數(shù)據(jù)質(zhì)量對比分析,驗證了本文爬蟲設計的思路以及設計的實用性。
　　從整體上看來,本文的主要研究的問題是:如何設計和實現(xiàn)一個較為完整的IT知識搜索引擎。就技術上而言,實現(xiàn)這樣的一個系統(tǒng)實際上是許多技術的一個整合,其中有的部分屬于一些公開資料上可以查到的技術,或者在一些開源軟件上已經(jīng)實現(xiàn)的技術,這部分的內(nèi)容主要放在第二章的技術綜述中;