基于Heritrix與Hadoop的海量網(wǎng)絡學術文獻獲取及并行處理研究.pdf

1、隨著網(wǎng)絡的普及和發(fā)展，互聯(lián)網(wǎng)作為網(wǎng)絡學術文獻的載體，在學術界的地位日益顯著，提供的學術資源在廣度和深度上都有了很大的發(fā)展。海量網(wǎng)絡學術文獻有著重要的學術價值，然而，由于其規(guī)模巨大、異構(gòu)多樣、無序分散、動態(tài)變化、更新速度快，很難為科研工作者所獲取和有效利用，因此亟需一種快速有效的海量文獻處理方法。海量數(shù)據(jù)的處理對服務器CPU、IO的吞吐都是嚴峻的考驗，不論是處理速度、存儲空間、容錯性，還是在訪問速度等方面，傳統(tǒng)的技術架構(gòu)和僅靠單臺計算機基

2、于串行的方式越來越不適應當前海量數(shù)據(jù)處理的要求。目前已有的海量數(shù)據(jù)處理方法在概念上較容易理解，然而由于數(shù)據(jù)量巨大，要在可接受的時間內(nèi)完成相應的處理，只有進行并行化處理。通過提取出處理過程中存在的可并行工作的分量，用分布式模型來實現(xiàn)這些并行分量的并行執(zhí)行過程，以便較好地解決海量文獻處理過程中面臨的內(nèi)存消耗大、處理速度慢、特征向量維度高等問題。
　　目前，大規(guī)模文本處理已成為一個挑戰(zhàn)，同時也是海量數(shù)據(jù)處理研究領域的熱點問題。海量數(shù)據(jù)處

3、理研究的不斷深入和開源軟件的蓬勃發(fā)展，為海量網(wǎng)絡學術文獻的并行處理研究提供了契機。本文首先深入研究了開源軟件Hadoop和Heritrix的主要架構(gòu)、工作原理、突出特點等平臺基礎；然后較全面地分析了網(wǎng)絡學術文獻的主要來源及特點，網(wǎng)絡學術文獻的常用文件格式，并以此為切入點，設計了基于Heritrix與Hadoop的海量網(wǎng)絡學術文獻獲取及并行處理模型。該模型首先利用Heritrix平臺，通過獲取方案設計、種子站點選擇、抓取任務配置三個部分，

4、編寫相應的正則表達式，對種子站點進行抓取，將獲取到的PDF文檔資源鏡像存儲到本地磁盤；然后通過一個讀目錄程序DirReader將PDF文檔存儲路徑分別讀入數(shù)據(jù)庫中，根據(jù)抽取出的學術文獻特征，采用學術文獻判定程序CheckPDF，對數(shù)據(jù)庫中相應路徑下的PDF文檔進行學術文獻判定；最后設計了學術文獻預處理程序TxtCombine，該程序自動讀取用戶輸入目錄中全部的或抽樣后的學術文獻，將這些文件分別合并成一個Hadoop可以處理的大文件，并借

5、助于Hadoop集群機器，運行IncidenceMatrix程序，通過筆者自定義的Mapper和Reducer函數(shù)，并行處理這些大文件，最終得到不同規(guī)模大小的詞-文檔矩陣。
　　本文還從任務調(diào)度、任務數(shù)量、Combine函數(shù)、文件壓縮、重用JVM五個方面論述了如何對MapReduce任務進行優(yōu)化。最后通過搭建Heritrix平臺和Hadoop機器集群，對本文提出的海量網(wǎng)絡學術文獻獲取及并行處理模型中的各個部分，分別進行了具體實驗，