個(gè)性化新聞搜索引擎的研究與設(shè)計(jì).pdf

1、隨著計(jì)算機(jī)各項(xiàng)技術(shù)的不斷發(fā)展，信息化時(shí)代已經(jīng)到來。如何讓用戶在海量的數(shù)據(jù)中快速并且準(zhǔn)確的獲取自己所需要的信息，是互聯(lián)網(wǎng)行業(yè)一個(gè)亟待解決的問題。為此，搜索引擎應(yīng)運(yùn)而生。垂直搜索是搜索引擎中一個(gè)重要的組成部分，它能幫助用戶在自己的專業(yè)領(lǐng)域快速的獲取信息，可以獲得比通用搜索更高的搜索效率和更準(zhǔn)確的搜索結(jié)果。另外，個(gè)性化技術(shù)能針對(duì)不同的用戶給出不同的檢索方案，它對(duì)提高用戶的檢索滿意度有很大幫助。目前大多數(shù)的搜索引擎是通過匹配索引核心詞進(jìn)行數(shù)據(jù)檢

2、索，并沒有考慮到各個(gè)用戶所關(guān)心的信息領(lǐng)域，所以搜索引擎檢索出的相當(dāng)一部分結(jié)果與用戶的需求并不相關(guān)。垂直搜索引擎的個(gè)性化研究是解決這種檢索結(jié)果相關(guān)性瓶頸的一種有效方法。
　　本文從垂直搜索引擎的基本概念，基本原理，組成結(jié)構(gòu)以及工作流程入手，研究了網(wǎng)絡(luò)爬蟲模塊，索引模塊及核心詞檢索模塊等，并結(jié)合用戶興趣模型，設(shè)計(jì)了一種適合于垂直搜索引擎的個(gè)性化搜索解決方案，最后實(shí)現(xiàn)了個(gè)性化垂直搜索引擎的一個(gè)實(shí)例。網(wǎng)絡(luò)爬蟲模塊從各大門戶網(wǎng)站中進(jìn)行數(shù)據(jù)爬

3、取，并結(jié)合主題相關(guān)度進(jìn)行URL篩選；索引模塊引入了文本分類技術(shù)，在保證索引效率的基礎(chǔ)上對(duì)不同類別的文本在構(gòu)建索引時(shí)區(qū)別考慮；檢索模塊結(jié)合了用戶興趣模型和文本分類技術(shù)，提升了檢索結(jié)果與用戶意圖之間的相關(guān)性。
　　本研究主要包括三個(gè)方面。第一，提出了一種個(gè)性化垂直搜索中可行的專業(yè)爬蟲解決方案。目前的垂直搜索引擎并沒有充分的考慮URL主題相關(guān)性過濾，這將導(dǎo)致大量噪聲網(wǎng)頁產(chǎn)生。本文把URL相關(guān)性過濾機(jī)制引入到專業(yè)爬蟲中，并對(duì)網(wǎng)絡(luò)爬行策略進(jìn)