面向數(shù)碼產(chǎn)品信息的垂直搜索引擎的設計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)上的信息的爆炸式增長，人們從最初在互聯(lián)網(wǎng)上得到大量有用信息，變成了面對海量信息卻無從下手的狀況。同時隨著電子商務的蓬勃發(fā)展，網(wǎng)上購物的用戶越來越多，大量用戶對網(wǎng)上的商品信息的需求從泛泛了解，逐漸變成專業(yè)，精確，有深度。通用搜索引擎的出現(xiàn)在一定程度上解決了部分問題，但用戶在使用通用搜索引擎時卻面臨著搜索結果不夠精準，不符合需求等問題。為了應對某一特定領域，用戶的需求，對互聯(lián)網(wǎng)中某一主題進行深入的信息聚合，整理，垂直搜索引擎技術便

2、成為了研究熱點。
　　本文應對越來越多的互聯(lián)網(wǎng)用戶對網(wǎng)上商品信息，購買信息的精準搜索需求，設計了一款面向商品信息的垂直搜索引擎系統(tǒng)。該系統(tǒng)以實現(xiàn)對商品信息的深入聚合，信息精提取，并返回給用戶專業(yè)，深入的搜索結果為目標，對垂直搜索引擎系統(tǒng)進行了架構設計，并實現(xiàn)了具體功能。
　　本文的主要研究內(nèi)容和所做工作為:(1)設計實現(xiàn)面向垂直領域的信息抓取模塊，對一般網(wǎng)絡爬蟲的抓取目標和策略進行改進和優(yōu)化，使用嵌入式內(nèi)存數(shù)據(jù)庫構建鏈接隊列

3、，并創(chuàng)建布隆過濾器進行網(wǎng)頁消重，以實現(xiàn)對商品信息定向精準的抓取，同時對抓取的信息去除無用冗余部分，進行專業(yè)化的提取。(2)根據(jù)垂直搜索引擎特點，采用最大正向匹配分詞算法和整詞二分詞典，構建了中文分詞系統(tǒng)，對中文信息進行分詞以供索引的構建。(3)分析研究倒排索引技術，索引壓縮技術，使用開源工具包Lucene實現(xiàn)了文本的索引構建，同時分析研究了檢索策略，排序算法，對用戶的精準的檢索需求實現(xiàn)了信息檢索。(4)在J2EE平臺上，應用MVC模式，