元搜索引擎聚類的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的不斷發(fā)展和日益普及，網(wǎng)絡(luò)上的信息量在爆炸性增長(zhǎng)，于是搜索引擎成為人們從海量信息中獲取所需信息的必要工具。但是，傳統(tǒng)搜索引擎自身存在的不足限制了人們對(duì)信息的獲取。首先，單個(gè)搜索引擎的覆蓋率較低，許多有用信息檢索不到。其次，傳統(tǒng)搜索引擎以線性列表的方式把搜索結(jié)果返回給用戶，使得相關(guān)信息和無(wú)關(guān)信息混雜在一起，用戶必須逐條瀏覽以找到自己需要的結(jié)果。因此，如何提高搜索引擎的覆蓋率以及對(duì)搜索結(jié)果進(jìn)行有效地組織成為目前研究的熱點(diǎn)。

2、　　 本文通過(guò)對(duì)元搜索引擎結(jié)果進(jìn)行聚類，解決了傳統(tǒng)搜索引擎的不足，并設(shè)計(jì)實(shí)現(xiàn)了一個(gè)元搜索引擎結(jié)果聚類系統(tǒng)CMSE(Clustering Meta Search Engine)。本文的主要工作如下:
　　 1.調(diào)研搜索引擎及聚類的相關(guān)知識(shí)和技術(shù)，包括檢索模型、聚類算法和TFIDF等。
　　 2.針對(duì)當(dāng)前元搜索引擎方法在搜索結(jié)果去重時(shí)忽略了文本內(nèi)容和排序時(shí)所采用的位置排序法不合理等不足，本文提出了基于URL、標(biāo)題和摘要的去

3、重方法和改進(jìn)的位置排序法。基于URL、標(biāo)題和摘要的Web文檔去重方法綜合考慮這三方面的因素來(lái)判斷Web文檔是否重復(fù)，相對(duì)其他方法加入了文本內(nèi)容的判斷，準(zhǔn)確率更高。而改進(jìn)的位置排序法則對(duì)多個(gè)成員搜索引擎返回結(jié)果的位置權(quán)重進(jìn)行重新計(jì)算，對(duì)重復(fù)Web文檔進(jìn)行權(quán)重疊加，形成最終的排序結(jié)果。
　　 3.針對(duì)現(xiàn)有聚類算法所采用的向量空間模型在計(jì)算Web文檔相似度時(shí)存在高維稀疏問(wèn)題，并且忽略了詞項(xiàng)之間的語(yǔ)義相似度，本文采用WordNet對(duì)標(biāo)題