基于Hadoop的圖書采集與存儲應用系統(tǒng)的設計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術的飛速發(fā)展，Web2.0模式在互聯(lián)網(wǎng)世界異軍突起，用戶的角色不再是單一的網(wǎng)頁瀏覽者，同時也是網(wǎng)絡內容的制造者。隨著網(wǎng)絡社交越來越深入到用戶的生活中，國內外各種社交網(wǎng)絡平臺相繼出現(xiàn)，而在圖書領域尚未出現(xiàn)成熟的以圖書為紐帶的社交網(wǎng)絡平臺。
　　目前，構建一個圖書閱讀與管理社交平臺面臨諸多困難和挑戰(zhàn)。首先，圖書數(shù)據(jù)量和數(shù)據(jù)種類繁多，網(wǎng)絡中的圖書信息良莠不齊，需要采取一種高效的方法從網(wǎng)絡中爬取圖書信息，并對圖書信息進行整合歸

2、類。其次，圖書基本信息和圖書評論信息的數(shù)據(jù)存儲量巨大，如何存儲龐大的數(shù)據(jù)量并保證數(shù)據(jù)的存取速度和系統(tǒng)的可擴展性是值得深入研究的問題。最后，如何構建基于圖書的社交平臺，使用戶以圖書為紐帶建立自己的圖書社交圈成為系統(tǒng)實現(xiàn)的關鍵一環(huán)。
　　本文設計并實現(xiàn)了基于Hadoop的圖書采集與存儲應用系統(tǒng)，為圖書閱讀與管理社交平臺提供數(shù)據(jù)基礎和后臺支持。已完成的主要工作如下：
　?。?）在圖書采集方面，深入研究網(wǎng)絡爬蟲技術的理論基礎，對于圖

3、書采集的URL結構、網(wǎng)頁去噪、圖書信息采集規(guī)則、數(shù)據(jù)清洗、圖書信息抽取執(zhí)行、圖書進行整合等多個環(huán)節(jié)進行了設計和實現(xiàn)。
　?。?）在圖書管理方面，構建基于Hadoop的分布式文件系統(tǒng)HDFS，用來管理數(shù)據(jù)量龐大的圖書基本信息和書籍評論信息。在研究理解Hadoop平臺理論知識的前提下，構建Hadoop集群環(huán)境，并設計、實現(xiàn)了分布式存儲圖書信息和評論信息的功能。
　?。?）在圖書社交方面，在對用戶的需求進行前期調研和分析的基礎上，