職位搜索引擎的研究與設(shè)計.pdf

1、隨著互聯(lián)網(wǎng)的不斷發(fā)展壯大，Internet已經(jīng)成為世界上最大的信息資源庫。同時，面對紛繁冗雜的網(wǎng)絡(luò)資源，如何從中準確、快速、全面的獲取人們所需要的信息已經(jīng)成為一大難題。搜索引擎的出現(xiàn)就是為了幫助人們解決這一難題的。目前，大多數(shù)基于互聯(lián)網(wǎng)的搜索引擎(如：雅虎、百度、谷歌google)是以一種水平的搜索方式向人們提供服務(wù)的。也就是說它們是不分種類地把信息提供給人們，各種不同行業(yè)的信息不會被區(qū)別對待。人們稱這種搜索引擎為“水平搜索引擎”。雖然

2、這種“水平搜索引擎”可以提供給人們大量的信息，但是它們在特定領(lǐng)域內(nèi)的查準率較低。盡管它們能給用戶返回數(shù)量可觀的查詢結(jié)果，但實際上，其中與被搜索領(lǐng)域相關(guān)的結(jié)果卻不夠多，返回的內(nèi)容也可能是很久之前的過時信息?！八剿阉饕妗钡膬r值在于可以通過聚類、分類等各種操作對海量數(shù)據(jù)進行分析，為人們進行信息“導(dǎo)航”，但是它們卻很難理解使用者的搜索意圖。 正如上文所言，“水平搜索引擎”無法準確、及時、全面的為人們提供特定領(lǐng)域的信息。針對于這一點“

3、垂直搜索引擎”應(yīng)運而生。所謂“垂直搜索引擎”就是指專們?yōu)槟骋惶囟I(lǐng)域、某一特定人群又或是某一特定需求提供信息和相關(guān)服務(wù)的搜索引擎，它的設(shè)計應(yīng)該符合所專注的行業(yè)的特點。目前，國內(nèi)的職位搜索引擎才剛剛起步，在搜索速度等方面都還無法與百度等“水平搜索引擎”相比。 本文根據(jù)用戶對職位信息搜索的實際要求，依據(jù)軟件工程的思想，對職位搜索引擎進行分析研究、設(shè)計和具體實現(xiàn)。主要是從提高系統(tǒng)搜索速度和檢索性能的角度來進行系統(tǒng)架構(gòu)、分詞器和分類器的

4、設(shè)計。最后，經(jīng)過實際測試證明：本文所設(shè)計的新系統(tǒng)提高了搜索性能，滿足了用戶的功能需求。本文的工作與創(chuàng)新如下： 1.職位搜索引擎體系架構(gòu)的設(shè)計為了對原有職位搜索引擎架構(gòu)Jobui2.0(職友集現(xiàn)行的架構(gòu)體系的版本代號) 的性能進行改善，本文設(shè)計了一套新的職位搜索引擎的架構(gòu)Jobui3.0(職友集新的架構(gòu)體系的版本代號)。這包括：1)引進“索引緩存”以減少I/O 消耗提高查詢速度，并通過“索引管理器”來控制緩存索引的更新與選取

5、；2)設(shè)計了旨在加速查詢的多級緩存機制；3)設(shè)計了一套容錯和集群擴充機制。 2.高效分詞器的設(shè)計提出了一種改進的正向最大匹配算法(Forward Maximum Matchingmethod,FMM)，并結(jié)合Lucene 設(shè)計了一個中英文分詞器。本文列舉了這種分詞器和普通分詞器(運用的是原始正向最大匹配算法)的切分對比數(shù)據(jù)，以及展示了這種分詞器的分詞效果，證明了這種分詞器在堅持一定準確度的情況下，在分詞速度方面已經(jīng)達到了系統(tǒng)的要