網(wǎng)絡(luò)信息采集與搜索系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代已經(jīng)到來，網(wǎng)絡(luò)給人們提供了豐富的信息資源。面對(duì)海量的互聯(lián)網(wǎng)信息，如何快速準(zhǔn)確的獲取有價(jià)值的信息成為了一個(gè)難題。信息采集與檢索系統(tǒng)應(yīng)用而生，但是通用的全網(wǎng)搜索引擎在信息采集時(shí)忽略了信息的主題和處理順序，致使搜索結(jié)果主題寬泛，夾雜不相關(guān)信息，需對(duì)其進(jìn)行“二次處理”才能獲得有價(jià)值的信息。
　　針對(duì)這一問題本文研究了信息采集的相關(guān)技術(shù)和方法，提出了面向具體領(lǐng)域的站內(nèi)深度信息的采集與搜索的方法，并實(shí)現(xiàn)了信息索引的構(gòu)建及動(dòng)態(tài)維

2、護(hù)和優(yōu)化，提供高質(zhì)量的站內(nèi)信息搜索服務(wù)。本文所做工作概括為以下三方面：
　　1）對(duì)信息采集工具Nutch、分布式數(shù)據(jù)處理框架Hadoop的文件系統(tǒng)和MapReduce工作流程進(jìn)行了研究，實(shí)現(xiàn)了Nutch的分布式信息采集，將非結(jié)構(gòu)化的網(wǎng)絡(luò)信息轉(zhuǎn)變?yōu)榻Y(jié)構(gòu)化的文件存儲(chǔ)。
　　2）通過對(duì)索引工具Lucene倒排索引的研究，為采集所得的規(guī)范化文件信息創(chuàng)建了倒排索引，為索引的查詢和進(jìn)一步處理打好基礎(chǔ)；提出并建立了索引池模型，利用索引評(píng)估