基于貝葉斯推理的搜索引擎設(shè)計(jì)與實(shí)現(xiàn).pdf

1、伴隨Internet和Web技術(shù)的飛速發(fā)展,語(yǔ)音、視頻、網(wǎng)絡(luò)日志、互聯(lián)網(wǎng)搜索索引、互聯(lián)網(wǎng)文本文件等技術(shù)的廣泛使用帶來(lái)了數(shù)據(jù)量的急劇增長(zhǎng),這預(yù)示著大數(shù)據(jù)時(shí)代的到來(lái)。正是因?yàn)檫@個(gè)世界的不斷信息化、數(shù)字化的發(fā)展，搜索引擎技術(shù)就成為了人們獲取網(wǎng)絡(luò)信息資源的重要途徑，它的重要性深入人心。而普通的通用搜索引擎已經(jīng)很難快速、準(zhǔn)確的找到用戶需要的網(wǎng)頁(yè)，所以垂直搜索引擎的產(chǎn)生就成為了必然。
　　本文探討了如何將樸素貝葉斯算法加入網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)中，并利

2、用一個(gè)已搭建好的通用爬蟲(chóng)系統(tǒng) Heritrix，使用樸素貝葉斯算法對(duì)網(wǎng)頁(yè)進(jìn)行分類(lèi)，即使是抽象的主題查詢也能保證查詢結(jié)果的查準(zhǔn)率和查全率。在對(duì)網(wǎng)頁(yè)分類(lèi)的過(guò)程中，首先要處理網(wǎng)頁(yè)內(nèi)容，所以我在設(shè)計(jì)中加入了中文分詞算法。前人的研究中主要是集中在基于規(guī)則和基于統(tǒng)計(jì)的分詞方法，歸納起來(lái)這些方法主要面臨的困難有：分詞規(guī)范、歧義切分和未定登錄詞的識(shí)別。為了解決這些問(wèn)題，我們引入上下文信息的分詞方法，一方面由于得到上下文信息的指導(dǎo)，與基于詞典的方法一樣很

3、好的解決了分詞規(guī)范和歧義切分的問(wèn)題，在獲取上下文信息中使用統(tǒng)計(jì)的方法，又很好的避免了未登錄詞對(duì)系統(tǒng)造成的影響。
　　算法中使用的貝葉斯學(xué)習(xí)就是根據(jù)先驗(yàn)信息以概率的方法來(lái)預(yù)測(cè)未知事件發(fā)生的可能性。所以在運(yùn)用于主題爬蟲(chóng)的分類(lèi)時(shí)，需要收集一些網(wǎng)頁(yè)用作訓(xùn)練數(shù)據(jù)，提取特征詞屬于每個(gè)類(lèi)別的先驗(yàn)概率。樸素貝葉斯規(guī)定，給定的目標(biāo)值性之間的相互條件必須是獨(dú)立的，應(yīng)用到文本分類(lèi)時(shí)，則規(guī)定詞匯在確定文本類(lèi)別作用上是相互獨(dú)立的?；ヂ?lián)網(wǎng)這個(gè)非平穩(wěn)系統(tǒng)符合這