基于聚類的海量文檔集分布式索引構建方法.pdf

1、全文信息檢索技術是當前時代迅速獲得準確信息的重要手段之一。在全文信息檢索技術中最重要的部分是索引的管理。大數據時代，集中式的索引管理方式面臨巨大挑戰(zhàn)，最佳的解決方案之一是創(chuàng)建分布式索引。在分布式索引技術中索引分割方式主要有基于文檔分割和基于詞項分割，兩者各有優(yōu)勢與不足，目前對分布式索引技術的研究主要是對兩種索引分割方式的改進。
　　本文研究了其他學者對不同索引分割方式的改進，對基于文檔分割索引的方式進行了研究，在前人基礎上提出了基

2、于聚類的分布式索引構建方法。該方法通過聚類操作將原始文檔分割為若干個集合，然后在每個集合創(chuàng)建局部索引。該方法發(fā)揮了基于文檔分割索引方式的系統(tǒng)負載均衡、網絡負擔較小的優(yōu)勢，同時避免了文檔隨機分配導致的檢索時需要遍歷所有局部索引的缺點。本文通過將K-means聚類算法進行優(yōu)化以及并行化并應用于文檔聚類分割，提升了系統(tǒng)效率，優(yōu)化了索引分割效果，使整個系統(tǒng)更加均衡穩(wěn)定。
　　本文研究了常見的文本聚類算法，通過研究其他學者對K-means算

3、法的優(yōu)化方法，發(fā)現大部分的優(yōu)化方法需要很高的計算量，不適用于大數據環(huán)境，因此在前人基礎上提出了一個針對大數據環(huán)境的基于樣本聚類的優(yōu)化K-means算法:SCB-K-means算法。該算法基于對樣本的多次數輪聚類計算聚類算法的初始聚類中心，有效的提升了聚類效果，在使用該算法分割文檔并創(chuàng)建的索引上的檢索取得了較好的效果。
　　最后本文結合Hadoop框架，使用HDFS和MapReduce計算模型實現了SCB-K-means算法的并行化