就業(yè)垂直搜索引擎的架構(gòu)與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)在近幾十年內(nèi)飛速發(fā)展，網(wǎng)絡(luò)上的信息量爆炸式的增長，如何從這些海量信息中快速準(zhǔn)確地提取有價(jià)值的信息已經(jīng)成為人們關(guān)注的焦點(diǎn)。通用搜索引擎通過將互聯(lián)網(wǎng)上大量的信息整理在一個(gè)平臺(tái)上供用戶使用，極大的提高了瀏覽和工作效率，但是存在網(wǎng)頁失效以及知識(shí)過載的問題。而基于“專、精、深”設(shè)計(jì)的垂直搜索引擎，從一定程度上解決上上述問題。它實(shí)現(xiàn)了搜索引擎領(lǐng)域的行業(yè)化分工，為特定領(lǐng)域有特殊需求的人群提供了有價(jià)值的信息和服務(wù)。近幾年來就業(yè)問題已經(jīng)稱為亟待解決

2、的一個(gè)重要問題，通過便利的通道及時(shí)的獲取招聘就業(yè)信息，必將從一定程度上加大畢業(yè)生就業(yè)的可能。
　　 本文針對這種就業(yè)形勢并基于垂直搜索引擎的理念設(shè)計(jì)并實(shí)現(xiàn)了就業(yè)垂直搜索引擎。本論文對搜索引擎以及垂直搜索引擎進(jìn)行了理論性的分析，介紹了其實(shí)現(xiàn)原理以及主要分類，闡述了當(dāng)前搜索引擎存在的主要缺點(diǎn)以及垂直搜索引擎的特點(diǎn)，并具體介紹了垂直搜索引擎在設(shè)計(jì)實(shí)現(xiàn)過程中涉及的關(guān)鍵技術(shù)，Lucene架構(gòu)以及實(shí)現(xiàn)機(jī)制以及垂直搜索引擎相關(guān)頁面設(shè)計(jì)。在信息

3、采集模塊，設(shè)計(jì)了列表頁爬蟲和信息頁爬蟲兩種聚焦網(wǎng)絡(luò)爬蟲。在信息抽取模塊，采用了基于標(biāo)簽的網(wǎng)頁去噪算法實(shí)現(xiàn)對正文的提取，并設(shè)計(jì)了基于模版及字典的結(jié)構(gòu)化信息抽取算法。利用Lucene框架實(shí)現(xiàn)了對職位信息的索引和檢索。本系統(tǒng)設(shè)計(jì)目標(biāo)為:專注于就業(yè)，為求職者提供及時(shí)有效的職位信息。
　　 最后，基于對垂直搜索引擎的關(guān)鍵技術(shù)的探究，設(shè)計(jì)了就業(yè)垂直搜索引擎，并給出原型系統(tǒng)。其中詳細(xì)的介紹了信息采集、信息抽取及信息索引檢索模塊的具體實(shí)現(xiàn)過程。