面向數(shù)碼產(chǎn)品信息的垂直搜索引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)上的信息的爆炸式增長(zhǎng)，人們從最初在互聯(lián)網(wǎng)上得到大量有用信息，變成了面對(duì)海量信息卻無(wú)從下手的狀況。同時(shí)隨著電子商務(wù)的蓬勃發(fā)展，網(wǎng)上購(gòu)物的用戶(hù)越來(lái)越多，大量用戶(hù)對(duì)網(wǎng)上的商品信息的需求從泛泛了解，逐漸變成專(zhuān)業(yè)，精確，有深度。通用搜索引擎的出現(xiàn)在一定程度上解決了部分問(wèn)題，但用戶(hù)在使用通用搜索引擎時(shí)卻面臨著搜索結(jié)果不夠精準(zhǔn)，不符合需求等問(wèn)題。為了應(yīng)對(duì)某一特定領(lǐng)域，用戶(hù)的需求，對(duì)互聯(lián)網(wǎng)中某一主題進(jìn)行深入的信息聚合，整理，垂直搜索引擎技術(shù)便

2、成為了研究熱點(diǎn)。
　　本文應(yīng)對(duì)越來(lái)越多的互聯(lián)網(wǎng)用戶(hù)對(duì)網(wǎng)上商品信息，購(gòu)買(mǎi)信息的精準(zhǔn)搜索需求，設(shè)計(jì)了一款面向商品信息的垂直搜索引擎系統(tǒng)。該系統(tǒng)以實(shí)現(xiàn)對(duì)商品信息的深入聚合，信息精提取，并返回給用戶(hù)專(zhuān)業(yè)，深入的搜索結(jié)果為目標(biāo)，對(duì)垂直搜索引擎系統(tǒng)進(jìn)行了架構(gòu)設(shè)計(jì)，并實(shí)現(xiàn)了具體功能。
　　本文的主要研究?jī)?nèi)容和所做工作為:(1)設(shè)計(jì)實(shí)現(xiàn)面向垂直領(lǐng)域的信息抓取模塊，對(duì)一般網(wǎng)絡(luò)爬蟲(chóng)的抓取目標(biāo)和策略進(jìn)行改進(jìn)和優(yōu)化，使用嵌入式內(nèi)存數(shù)據(jù)庫(kù)構(gòu)建鏈接隊(duì)列

3、，并創(chuàng)建布隆過(guò)濾器進(jìn)行網(wǎng)頁(yè)消重，以實(shí)現(xiàn)對(duì)商品信息定向精準(zhǔn)的抓取，同時(shí)對(duì)抓取的信息去除無(wú)用冗余部分，進(jìn)行專(zhuān)業(yè)化的提取。(2)根據(jù)垂直搜索引擎特點(diǎn)，采用最大正向匹配分詞算法和整詞二分詞典，構(gòu)建了中文分詞系統(tǒng)，對(duì)中文信息進(jìn)行分詞以供索引的構(gòu)建。(3)分析研究倒排索引技術(shù)，索引壓縮技術(shù)，使用開(kāi)源工具包Lucene實(shí)現(xiàn)了文本的索引構(gòu)建，同時(shí)分析研究了檢索策略，排序算法，對(duì)用戶(hù)的精準(zhǔn)的檢索需求實(shí)現(xiàn)了信息檢索。(4)在J2EE平臺(tái)上，應(yīng)用MVC模式，