個性化時(shí)政信息搜索引擎的研究與實(shí)現(xiàn).pdf

1、當(dāng)前社會計(jì)算機(jī)技術(shù)快速發(fā)展，網(wǎng)絡(luò)中各種數(shù)據(jù)爆增，大數(shù)據(jù)的時(shí)代已經(jīng)來了。面對這個問題，GOOGLE、百度等搜索引擎誕生了，而且很快成長為全球頂尖的互聯(lián)網(wǎng)公司，這正是因?yàn)樗鼈儩M足了大部分互聯(lián)網(wǎng)用戶的需要，順應(yīng)了時(shí)代的發(fā)展。但在當(dāng)下，數(shù)據(jù)量正呈幾何倍數(shù)增長，并且用戶對數(shù)據(jù)的獲取要求在不斷提高，他們要求搜索引擎能在更短的時(shí)間內(nèi)提供給更準(zhǔn)確的符合自己預(yù)期需要的結(jié)果，因此普通的搜索引擎已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足這些要求，這時(shí)就需要我們設(shè)計(jì)一種改進(jìn)型的搜索引擎

2、，來適應(yīng)用戶精確化、快速化、時(shí)鮮化的需要。當(dāng)前針對用戶這種需求的技術(shù)有很多種，如垂直搜索技術(shù)、個性化技術(shù)等。垂直搜索技術(shù)可以幫用戶在自己所處的專業(yè)領(lǐng)域進(jìn)行信息的深度挖掘，并且效率比一般的搜索更高，結(jié)果也更準(zhǔn)確。個性化技術(shù)是指對每一個用戶制定一個符合他需求的檢索方案，通過這種“私人訂制”可以大大提高用戶對檢索結(jié)果的滿意程度。所以加入了個性化技術(shù)、垂直搜索技術(shù)的搜索引擎正是符合當(dāng)下時(shí)代需求的搜索引擎，因此很有必要進(jìn)行研究。最重要的是現(xiàn)在黨政

3、部門正在大力推進(jìn)電子政務(wù)內(nèi)網(wǎng)建設(shè)，而本文對個性化時(shí)政信息搜索的研究將對未來電子政務(wù)內(nèi)網(wǎng)的應(yīng)用發(fā)揮具大的作用。
　　本文首先分析了目前各國搜索引擎技術(shù)發(fā)展的現(xiàn)狀，介紹了當(dāng)下大數(shù)據(jù)時(shí)代用戶對搜索引擎提出的新的要求，并對通用搜索引擎的關(guān)鍵組成部分如網(wǎng)絡(luò)爬蟲、網(wǎng)頁排序、索引機(jī)制等功能及其原理進(jìn)行了詳細(xì)的描述。然后通過對垂直搜索引擎的概念、基本原理、組成結(jié)構(gòu)等的學(xué)習(xí)，并研究其網(wǎng)絡(luò)爬蟲、關(guān)鍵詞檢索、索引等重要模塊，最后建立了一個用戶興趣模型，

4、將這些全都應(yīng)用于普通搜索引擎當(dāng)中，設(shè)計(jì)出了一個滿足用戶垂直搜索需求、個性化需求的搜索引擎，并以PPISE實(shí)例來實(shí)現(xiàn)。網(wǎng)絡(luò)爬蟲模塊的主要作用是爬取網(wǎng)站中的數(shù)據(jù)，并對這些數(shù)據(jù)進(jìn)行主題相關(guān)度URL篩選；檢索模塊主要是將文本分類技術(shù)和用戶興趣模型結(jié)合在一起，以提高檢索結(jié)果與用戶需求之間的相關(guān)性；索引模塊主要是在構(gòu)建索引時(shí)根據(jù)用戶的興趣等對不同類的文本進(jìn)行分類，它用到了文本分類技術(shù)，并確保了索引效率。
　　本文主要有三個方面的研究設(shè)計(jì)，并在

5、一定程度上進(jìn)行了改進(jìn)創(chuàng)新：一是設(shè)計(jì)了一種引入了URL相關(guān)性過慮機(jī)制專業(yè)爬蟲，通過這個設(shè)計(jì)使當(dāng)前搜索引擎沒有過濾掉不相關(guān)噪聲網(wǎng)頁的缺陷得到一定程度的改善，同時(shí)這種爬蟲通過網(wǎng)頁相關(guān)性規(guī)則過濾掉了許多不相關(guān)的網(wǎng)頁，減少了爬蟲對它們不必要的爬取，使信息的采集效率得到一定的提升。二是設(shè)計(jì)了一種文本分類方法，其加入了經(jīng)過改進(jìn)的特征選擇函數(shù)、文本分類技術(shù)。它使個性化時(shí)政信息搜索引擎對文本的分類更細(xì)化，類別判斷更準(zhǔn)確，也更符合用戶的個性化需求。三是設(shè)計(jì)