海量非結(jié)構(gòu)化數(shù)據(jù)分布式分析與檢索.pdf

1、Web2.0的來(lái)臨引領(lǐng)人們進(jìn)入大數(shù)據(jù)時(shí)代。據(jù)統(tǒng)計(jì)，80％以上的數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)，且逐年增長(zhǎng)。面對(duì)這些海量、異構(gòu)、非結(jié)構(gòu)化的數(shù)據(jù)，如何快速有效地從中檢索到有用的信息是一個(gè)值得研究的問題。本文的主要工作如下:
　　 首先，提出了分布式非結(jié)構(gòu)化數(shù)據(jù)分析系統(tǒng)。為了從海量的非結(jié)構(gòu)化數(shù)據(jù)中檢索到用戶所需的信息，首要任務(wù)是分析非結(jié)構(gòu)化數(shù)據(jù)，從中提取特征。然而，一方面，非結(jié)構(gòu)化數(shù)據(jù)的多樣性導(dǎo)致其分析的復(fù)雜性;另一方面，非結(jié)構(gòu)化數(shù)據(jù)需要有一個(gè)高

2、效的分析處理系統(tǒng)來(lái)處理海量性問題。為此，本文實(shí)現(xiàn)了一個(gè)高效、高可擴(kuò)展的非結(jié)構(gòu)化數(shù)據(jù)分析系統(tǒng)。該系統(tǒng)提供了一個(gè)完整的分析繼承體系，用戶可開發(fā)不同的分析插件快速實(shí)現(xiàn)對(duì)不同的非結(jié)構(gòu)化數(shù)據(jù)分析功能;同時(shí)，分析插件可方便地集成到分析系統(tǒng)中，實(shí)現(xiàn)分布式分析功能，從而提高分析效率。
　　 其次，提出了通用的分布式非結(jié)構(gòu)化數(shù)據(jù)分布式索引框架。在非結(jié)構(gòu)化數(shù)據(jù)分析系統(tǒng)的基礎(chǔ)上，針對(duì)各類非結(jié)構(gòu)化數(shù)據(jù)索引的共性問題，實(shí)現(xiàn)了一個(gè)通用的、可擴(kuò)展的非結(jié)構(gòu)化數(shù)

3、據(jù)分布式索引框架，并具有高性能、高可靠、高可用等特性。在該非結(jié)構(gòu)化數(shù)據(jù)分布式索引框架的基礎(chǔ)上，可以方便地實(shí)現(xiàn)各類非結(jié)構(gòu)化數(shù)據(jù)的分布式索引。本文詳細(xì)的介紹了系統(tǒng)中索引集群，查詢集群的設(shè)計(jì)，消息傳遞機(jī)制，數(shù)據(jù)管理模式以及系統(tǒng)執(zhí)行流程。
　　 最后，提出了一種以LSH算法作為分布式索引框架的分片策略，并在此基礎(chǔ)上提出了將LSH和SH相結(jié)合的局部索引策略。將這兩種策略應(yīng)用于通用的非結(jié)構(gòu)化數(shù)據(jù)分布式索引框架，設(shè)計(jì)了對(duì)應(yīng)的索引文件，并通過一