基于模板的Web新聞搜索技術(shù)的研究與實(shí)現(xiàn).pdf

1、在信息時(shí)代，資訊就是生產(chǎn)力。要從浩如煙海的互聯(lián)網(wǎng)上找到自己關(guān)注的新聞資訊，必須借助搜素引擎的幫助。目前市場(chǎng)上有著多種通用Web新聞搜索引擎，比如谷歌新聞、百度資訊等，但是它們都無(wú)法滿(mǎn)足企業(yè)級(jí)的定制新聞搜索需求。本課題的研究目標(biāo)是建立一個(gè)以Web新聞搜索引擎為核心，支持新聞搜索、處理和存檔的企業(yè)級(jí)集成工作平臺(tái)，實(shí)現(xiàn)面向特定領(lǐng)域的高效、全面、準(zhǔn)確和可靠的定制型Web新聞搜索。定制型Web新聞搜索引擎處理信息量遠(yuǎn)小于通用型搜索引擎，因此可以以

2、更快的速度、更精確的匹配算法獲取新聞，并抽取出來(lái)自異構(gòu)數(shù)據(jù)源的新聞?wù)模D(zhuǎn)換為統(tǒng)一格式，方便用戶(hù)使用。在本文中，我們首先分析了目前國(guó)內(nèi)外的主要Web新聞搜索技術(shù)，結(jié)合定制型Web新聞搜索的實(shí)際需求，研究了基于模板的分布式Web新聞搜索的兩個(gè)關(guān)鍵技術(shù)：1)網(wǎng)絡(luò)爬蟲(chóng)的分布式架構(gòu)和多爬蟲(chóng)間的動(dòng)態(tài)任務(wù)分發(fā)。我們?cè)O(shè)計(jì)并實(shí)現(xiàn)了多爬蟲(chóng)和單協(xié)調(diào)服務(wù)器組成的分布式搜索引擎架構(gòu)，各個(gè)爬蟲(chóng)從協(xié)調(diào)服務(wù)器領(lǐng)取任務(wù)，再將完成的搜索結(jié)果集中到協(xié)調(diào)服務(wù)器。同時(shí)我們針對(duì)

3、協(xié)調(diào)服務(wù)器上的任務(wù)分發(fā)，提出了基于歷史數(shù)據(jù)的最短耗時(shí)分發(fā)算法，使分布式系統(tǒng)整體完成搜索任務(wù)的耗時(shí)最少。2)基于模板的Web新聞?wù)某槿〖夹g(shù)。為了高效準(zhǔn)確地從新聞網(wǎng)頁(yè)中抽取出新聞?wù)膬?nèi)容，我們基于模板技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了新聞網(wǎng)站模板標(biāo)簽的自動(dòng)檢測(cè)和基于該模板標(biāo)簽的新聞?wù)膬?nèi)容自動(dòng)抽取。該新聞?wù)膬?nèi)容抽取算法的時(shí)間復(fù)雜度達(dá)到了O(n)，能自動(dòng)化完成模板標(biāo)簽的構(gòu)建和Web新聞?wù)膬?nèi)容的抽取。然后，在關(guān)鍵技術(shù)研究的基礎(chǔ)上，我們結(jié)合咨詢(xún)公司w公司的

4、實(shí)際業(yè)務(wù)需求，基于UML技術(shù)完成了定制型Web新聞搜索引擎的詳細(xì)需求分析和架構(gòu)設(shè)計(jì)，包括用例模型、靜態(tài)邏輯模型和動(dòng)態(tài)邏輯模型，并采用.Net技術(shù)和PostgreSql數(shù)據(jù)庫(kù)實(shí)現(xiàn)了一個(gè)新聞搜索平臺(tái)，通過(guò)了功能測(cè)試和性能測(cè)試。目前，該平臺(tái)已在企業(yè)中進(jìn)行了試用，能較好地滿(mǎn)足其業(yè)務(wù)需求，每天用5個(gè)爬蟲(chóng)在4.5小時(shí)中搜索到3萬(wàn)條符合關(guān)鍵字的新聞；查全率為92%，高于谷歌資訊的38.15%和百度資訊的19.2%；準(zhǔn)確率90.5%，高于w公司原有工具