基于網(wǎng)頁(yè)分塊思想的搜索引擎索引系統(tǒng).pdf

1、現(xiàn)有的搜索引擎都是對(duì)整個(gè)頁(yè)面建立索引并用于檢索的，但某些頁(yè)面中可能包含不同的主題塊，如果用戶提交的多個(gè)關(guān)鍵詞恰好分別位于不同的主題塊內(nèi)，則即使頁(yè)面與用戶檢索請(qǐng)求不相關(guān)，搜索引擎仍會(huì)把該頁(yè)面返回給用戶。
　　 為改進(jìn)搜索引擎的索引系統(tǒng)，引入了網(wǎng)頁(yè)分塊的思想。本文選擇了VIPS算法作為網(wǎng)頁(yè)分塊算法，但經(jīng)典VIPS算法在實(shí)際應(yīng)用中存在著切分粒度不好控制的問(wèn)題，針對(duì)切分過(guò)粗和切分過(guò)細(xì)兩種情況，本文分別引入了節(jié)點(diǎn)深度閾值和葉子節(jié)點(diǎn)數(shù)目閾值

2、，使得VIPS算法可以根據(jù)頁(yè)面特征進(jìn)行切分粒度的自適應(yīng)。在三大門戶網(wǎng)站爬取頁(yè)面作為測(cè)試集，通過(guò)改進(jìn)算法與經(jīng)典算法的對(duì)比試驗(yàn)，證明了改進(jìn)算法的有效性。
　　 對(duì)給定網(wǎng)頁(yè)先行分塊，并基于塊內(nèi)容將主題相關(guān)的塊合并為子文檔，然后再對(duì)各子文檔分別建立索引。這樣只有當(dāng)用戶提交的多個(gè)關(guān)鍵詞完全包含在某個(gè)子文檔內(nèi)時(shí)，搜索引擎才會(huì)把原頁(yè)面返回給用戶?；诰W(wǎng)頁(yè)分塊，設(shè)計(jì)了改進(jìn)的搜索引擎索引系統(tǒng)，制定了一些規(guī)則過(guò)濾與正文無(wú)關(guān)的塊，并對(duì)剩下的塊進(jìn)行分類