基于MapReduce的文獻發(fā)現(xiàn)系統(tǒng)研究與設(shè)計.pdf

1、隨著互聯(lián)網(wǎng)信息產(chǎn)業(yè)的飛速發(fā)展，各行各業(yè)的數(shù)據(jù)都在以指數(shù)形式快速增長，數(shù)據(jù)以多元、多態(tài)、互聯(lián)等形式影響著人們的生產(chǎn)生活，大數(shù)據(jù)已經(jīng)成為我們時代發(fā)展的標志。在學術(shù)界，每年都有大量的文獻發(fā)表，文獻之間的關(guān)系網(wǎng)絡(luò)也越來越復雜，傳統(tǒng)的文獻發(fā)現(xiàn)方法是基于某種數(shù)據(jù)庫管理系統(tǒng)中存在的文獻數(shù)據(jù)來發(fā)現(xiàn)相關(guān)信息，如采用關(guān)鍵詞匹配的方式來進行主題發(fā)現(xiàn)等，而對于文獻之間的關(guān)聯(lián)關(guān)系及用戶對某類文獻的喜好程度等方面研究甚少，因此造成的結(jié)果就是篩選出的文獻通常存在文獻

2、關(guān)聯(lián)性差、主題不明確、文獻質(zhì)量不高等缺陷。在海量文獻數(shù)據(jù)的場景下，上述缺陷將更加明顯。大數(shù)據(jù)技術(shù)的快速發(fā)展為解決以上問題提供了有效的手段。
　　目前，開源Hadoop項目是最流行的處理大規(guī)模數(shù)據(jù)的工具之一，其基本組成部分有分布式計算框架MapReduce和分布式文件系統(tǒng)HDFS。本文利用其中的并行計算框架MapReduce對文獻發(fā)現(xiàn)的相關(guān)方法與技術(shù)進行研究，構(gòu)建了基于MapReduce的文獻發(fā)現(xiàn)系統(tǒng)，以快速地發(fā)現(xiàn)用戶所需的文獻信息

3、，對大數(shù)據(jù)時代快速高效地實現(xiàn)文獻發(fā)現(xiàn)具有重要意義。
　　首先，本文對分布式計算技術(shù)進行了研究，并結(jié)合相關(guān)的數(shù)據(jù)挖掘算法對基于MapReduce的文獻發(fā)現(xiàn)方法進行了設(shè)計與實現(xiàn)。針對大規(guī)模文獻數(shù)據(jù)，一方面采用分布式的方式分析了文獻的活躍度，并對文獻的活躍度進行了排名;另一方面，通過對FP-Growth頻繁模式挖掘算法進行并行化實現(xiàn)，達到挖掘文獻數(shù)據(jù)中的頻繁項集的目的，從而給出文獻之間潛在的關(guān)聯(lián)關(guān)系，并進一步對該并行化算法進行了性能測試

4、，驗證了該算法的有效性。
　　然后，在上述理論方法研究的基礎(chǔ)上，對分布式文獻發(fā)現(xiàn)系統(tǒng)進行了架構(gòu)設(shè)計與功能實現(xiàn)。通過分析用戶的歷史搜索日志，挖掘出了用戶喜好，從而實現(xiàn)了該分布式文獻發(fā)現(xiàn)系統(tǒng)的個性化推薦功能，并進一步應(yīng)用本文設(shè)計的分布式文獻發(fā)現(xiàn)方法為用戶提供高質(zhì)量的文獻，提高了用戶的體驗效果。
　　通過利用分布式計算的方式處理學術(shù)領(lǐng)域內(nèi)的文獻大數(shù)據(jù)集，并結(jié)合并行FP-Growth算法發(fā)現(xiàn)文獻之間的關(guān)聯(lián)關(guān)系，充分發(fā)揮了分布式計算在