招聘信息垂直搜索引擎的研究與實現(xiàn).pdf

1、依托網(wǎng)絡(luò)的便捷和龐大的信息量，如今越來越多的人傾向于在網(wǎng)上尋找招聘信息。具體來說有兩個途徑，一個是通用搜索引擎，另一個是招聘網(wǎng)站。然而，通用搜索引擎，如百度、谷歌等，它們的爬蟲采集互聯(lián)網(wǎng)上的各類信息，滿足了搜索領(lǐng)域的廣泛性，但是搜索結(jié)果針對性不強。招聘網(wǎng)站在取得足夠的市場影響力之前，需要與各公司主動聯(lián)系來獲取招聘信息，信息采集的成本較大。此外，面對海量的招聘信息，普通的單機多線程爬蟲已經(jīng)不能滿足性能需求。而一般的分布式爬蟲，雖然可以提高

2、信息采集的效率，但是它不能從眾多網(wǎng)頁中篩選出含有招聘信息內(nèi)容的頁面。另外，許多招聘信息搜索引擎功能匱乏，缺少如搜索結(jié)果分類、搜索關(guān)鍵詞建議等實用性功能。
　　針對上述問題，本文設(shè)計并實現(xiàn)了一個招聘信息垂直搜索引擎。它主要包含兩個部分:一個是分布式網(wǎng)絡(luò)爬蟲，它利用啟發(fā)式規(guī)則識別出招聘信息頁面，并以分布式的方式進行網(wǎng)頁采集。另一個是搜索引擎，在倒排索引的基礎(chǔ)上，能夠提供查詢建議、分類導航和地圖查詢等實用性功能。論文的主要內(nèi)容如下:

3、r>　　(1)招聘信息垂直搜索引擎的總體架構(gòu)。數(shù)據(jù)層使用分布式數(shù)據(jù)庫HBase，解決了單機數(shù)據(jù)存儲空間不足的問題。核心業(yè)務(wù)層基于分布式計算框架Storm，使得網(wǎng)絡(luò)爬蟲能夠分布式工作，提高了計算效率。
　　(2)分布式網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)。使用了分布式消息隊列，它在網(wǎng)頁因為網(wǎng)絡(luò)原因或機器硬件故障而獲取失敗時，能夠根據(jù)鏈接的id重新獲取這個鏈接并再次進行網(wǎng)頁的采集過程，保證了每一個鏈接對應(yīng)的網(wǎng)頁都能夠被采集到。其次，使用了哈希算法將抽

4、取到鏈接分組到分布式計算的各臺機器中，然后基于布隆過濾器對網(wǎng)頁采集過程中抽取到的相同鏈接進行去重。此外，為了得到結(jié)構(gòu)化的招聘信息，先是利用了啟發(fā)式規(guī)則識別出招聘信息頁面，然后對采集到的招聘信息頁面進行信息抽取。根據(jù)各信息在網(wǎng)頁中的HTML標簽和屬性組合的方式來定位其位置，利用CSS選擇器語法將需要的招聘信息詳情抽取出來。
　　(3)搜索引擎的設(shè)計與實現(xiàn)。建立了倒排索引，設(shè)計并實現(xiàn)了查詢建議、分類導航和地圖查詢功能。查詢建議是對用戶