基于Hadoop的分布式抄襲檢測關鍵技術研究.pdf

1、文本抄襲檢測是自然語言處理領域中的一個重要研究方向，它在知識產(chǎn)權保護、信息檢索和論文抄襲檢測等方面有著重要的應用。網(wǎng)絡的普及和豐富的互聯(lián)網(wǎng)應用產(chǎn)生了大量的數(shù)據(jù)，這給人們帶來海量的信息和極大的便利，但同時也對抄襲檢測系統(tǒng)的設計和性能提出了更高的要求。首先，抄襲檢測系統(tǒng)框架能夠適應大規(guī)模數(shù)據(jù)集的處理要求，例如存儲能力、計算資源和系統(tǒng)的可靠性等；其次，對于在線的抄襲檢測系統(tǒng)，在大規(guī)模數(shù)據(jù)集上能夠快速的展示抄襲檢測結(jié)果。解決這些問題的途徑之一是

2、將大數(shù)據(jù)的處理方法應用于抄襲檢測系統(tǒng)。即針對抄襲檢測系統(tǒng)出現(xiàn)的新特性，利用分布式集群的思想，對傳統(tǒng)的系統(tǒng)模塊進行擴展和改進，使其適應了大規(guī)模數(shù)據(jù)集的處理需求。目前，針對大規(guī)模數(shù)據(jù)集上的抄襲檢測系統(tǒng)研究不僅有很高的理論價值，而且極具應用前景。
　　本文系統(tǒng)地闡述了抄襲檢測系統(tǒng)的兩個組成部分：源檢索模塊和文本對齊模塊，重點研究了源檢索模塊的體系結(jié)構(gòu)。在傳統(tǒng)的源檢索結(jié)構(gòu)中，系統(tǒng)不能滿足處理大規(guī)模數(shù)據(jù)集時的存儲需求和計算需求，也不能保障系

3、統(tǒng)的高可靠性。針對上述問題，本文提出了基于索引分片的源檢索體系結(jié)構(gòu)。這種體系結(jié)構(gòu)是基于Hadoop的分布式環(huán)境，能夠整合集群中所有的存儲資源和計算資源；同時利用Hadoop和索引分片的副本機制，使數(shù)據(jù)在不同的機器上有多個備份。與傳統(tǒng)的源檢索結(jié)構(gòu)相比，這種結(jié)構(gòu)具有很強的擴展性，能夠適應大規(guī)模數(shù)據(jù)集的處理要求，保障系統(tǒng)的高可靠性。在此基礎上，本文對文本對齊模塊的抄襲片斷合并算法進行了改進，提出了基于圖論的片斷合并算法。與原有的算法相比，新方