基于Heritrix和Lucene構(gòu)建的垂直搜索引擎的研究與實現(xiàn).pdf

1、隨著社會的高速發(fā)展,人們生活水平的不斷提高。筆記本電腦正逐步走進(jìn)千家萬戶的家中,成為人們工作、生活、娛樂不可或缺的重要組成部分。然而,在人們購買筆記本電腦之前,往往只能通過店面營銷人員的介紹、講解,才對筆記本有一個大致的了解。而且大多數(shù)人記不住筆記本的各項參數(shù)；除此以外,通過搜索引擎查詢某個品牌,得到的反饋信息,與自己的期望相差甚遠(yuǎn)。所以,人們十分迫切需要一個能夠提供筆記本電腦各項性能參數(shù)的平臺。
　　 本文通過學(xué)習(xí)開源蜘蛛程序

2、Heritrix和開源全文檢索框架Lucene,依靠MyEclipse開發(fā)工具,為人們搭建了這個平臺。Heritrix以其強(qiáng)大的抓取數(shù)據(jù)能力,正逐漸成為專業(yè)爬蟲軟件的首選,但由于Heritrix配置復(fù)雜,所以本文詳細(xì)講述了如何實現(xiàn)抓取網(wǎng)頁數(shù)據(jù),如何擴(kuò)展Heritrix的各項功能組件,以實現(xiàn)對特定網(wǎng)站數(shù)據(jù)的抓取；為提高Heritrix的工作效率,本文還對Heritrix原有功能組件作了擴(kuò)展,使其以多線程方式抓取網(wǎng)頁數(shù)據(jù),極大地提高了下載的

3、效率。此外,本文通過對Lucene的研究,實現(xiàn)了品牌檢索的功能,不僅如此,本文還考慮了Lucene基礎(chǔ)排序算法在本系統(tǒng)中應(yīng)用的不足,對其改進(jìn),改進(jìn)算法時,借鑒了PageRank算法的思想,認(rèn)真考慮了網(wǎng)頁間的鏈接關(guān)系應(yīng)該對網(wǎng)頁間排序有很大的影響,并綜合考慮了網(wǎng)頁內(nèi)容和網(wǎng)頁間鏈接關(guān)系對結(jié)果頁面排序的影響。最后,給出了改進(jìn)后的排序公式并設(shè)置了合適的權(quán)重因子,實現(xiàn)了綜合排序的功能,從而使改進(jìn)后的排序更加客觀、更加真實。
　　 文章最后利