基于WebHarvest的中文財(cái)經(jīng)新聞搜索引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展，其所承載的信息量呈爆炸式增長(zhǎng)，因此，如何有效地利用這些豐富的信息資源逐漸成為研究人員關(guān)注的課題。搜索引擎在當(dāng)今互聯(lián)網(wǎng)領(lǐng)域起著十分重要的作用，它是獲取知識(shí)信息的主要工具。同時(shí)，隨著用戶需求的進(jìn)一步擴(kuò)大，獲取更加準(zhǔn)確、更加深層的專業(yè)信息，成為搜索引擎的一項(xiàng)新要求。
　　 針對(duì)目前新的需求變化，本文提出了一個(gè)基于webharvet的中文新聞搜索引擎。
　　 首先詳細(xì)介紹了搜索引擎的系統(tǒng)結(jié)構(gòu)，然后從網(wǎng)絡(luò)爬蟲

2、、索引引擎、Web服務(wù)器以及其中涉及到的一些算法進(jìn)行詳細(xì)的說明。并在此基礎(chǔ)上，開發(fā)了一個(gè)基于webharvet的中文新聞搜索引擎。
　　 簡(jiǎn)而言之，新聞搜索引擎是按照初始的URL列表到指定的Web頁面中進(jìn)行頁面解析，并把解析到的新聞創(chuàng)建建索引后存入到數(shù)據(jù)庫.用戶在客戶端訪問web服務(wù)器上的索引并取出數(shù)據(jù)庫中相應(yīng)的新聞信息。除了常見的搜索引擎相關(guān)組件之外，系統(tǒng)設(shè)計(jì)了一個(gè)并發(fā)網(wǎng)絡(luò)爬蟲，在考慮到性能需求的同時(shí)兼顧了新聞數(shù)據(jù)抓取的精確度

3、，并在此基礎(chǔ)上添加了過濾，文本去重，持久化等一系列組件。在構(gòu)建爬蟲相關(guān)組件中采用了許多成熟的設(shè)計(jì)模式來進(jìn)行各個(gè)模塊的整合和功能優(yōu)化。而索引部分采用了Lunece構(gòu)建索引，通過Ikanalyzer進(jìn)行中文分詞和詞法分析，并針對(duì)不斷更新的數(shù)據(jù)進(jìn)行索引的合并和優(yōu)化。另外，結(jié)合用戶需求，添加了用戶評(píng)分和權(quán)限等相關(guān)操作，主要目的是為開發(fā)一個(gè)面向用戶的體驗(yàn)良好的中文新聞搜索引擎。
　　 在介紹搜索引擎的章節(jié)中，詳細(xì)地描述了相關(guān)技術(shù)點(diǎn)，同時(shí)列