垂直搜索引擎技術(shù)研究與應(yīng)用——承乘廣緣網(wǎng)站搜索引擎的設(shè)計(jì).pdf

1、隨著Internet的飛速發(fā)展，Web上的信息量越來越大，通用搜索引擎將面臨信息采集、存儲(chǔ)等方面更大的挑戰(zhàn)。此外，工作頻率不斷加快的現(xiàn)代商務(wù)人群對通用搜索頁面中的大量非目標(biāo)源信息感到不滿，開始對專業(yè)領(lǐng)域的搜索精確性產(chǎn)生了強(qiáng)烈的需求，因此，而向?qū)I(yè)領(lǐng)域的搜索引擎即垂直搜索引擎應(yīng)運(yùn)而生。承乘廣緣網(wǎng)絡(luò)科技有限公司針對這一需求，籌各創(chuàng)建面向商業(yè)用戶的垂直搜索引擎一一搜商網(wǎng)。
　　 本文依托該項(xiàng)目研究設(shè)計(jì)了搜商網(wǎng)的搜索引擎。本文分析了當(dāng)前

2、Web信息檢索的模型及算法，針對搜商網(wǎng)垂直搜索引擎中的一些關(guān)鍵問題展開研究，主要包括三個(gè)核心模塊：搜商網(wǎng)的信息爬取、信息分類及信息索引。
　　 信息爬取模塊針對如今Web上頁面上噪聲較多，且相關(guān)鏈接較為集中，成塊出現(xiàn)等特點(diǎn)，對原有的Shark-Search算法進(jìn)行了改進(jìn)，具體內(nèi)容包括避開廣告等與主題無關(guān)的噪聲，提高相關(guān)網(wǎng)頁塊中錨文本與主題無關(guān)鏈接的優(yōu)先級，使相關(guān)鏈接優(yōu)先爬取，并獲得更多相關(guān)鏈接。
　　 信息分類模塊提出了

3、一種簡單的階梯式一對一支持向量機(jī)文本分類器。分類算法分析了支持向量機(jī)在文本分類中的優(yōu)勢，結(jié)合支持向量機(jī)理論二分類的特點(diǎn)，將多類依次使用多個(gè)分類器分開，這種方法擁有模型簡單，分類準(zhǔn)確及易于實(shí)現(xiàn)等優(yōu)點(diǎn)。
　　 信息索引模塊提出了一種基于中文分詞索引的倒排序索引數(shù)據(jù)庫。本文使用由正排索引結(jié)果建立倒排索引的方法建立索引數(shù)據(jù)庫，并在索引庫中使用改進(jìn)的鏈表式存儲(chǔ)結(jié)構(gòu)，減少了更新數(shù)據(jù)庫多花費(fèi)的服務(wù)器開銷。
　　 最后基于以上設(shè)計(jì)，本文