基于Hadoop的RSS內(nèi)容抓取與排版系統(tǒng)的開發(fā).pdf

1、在過去的幾年里，互聯(lián)網(wǎng)技術(shù)和云計(jì)算技術(shù)由于分布式存儲與可伸縮的彈性服務(wù)等優(yōu)點(diǎn)，極大推動了社會各方面的發(fā)展。對傳統(tǒng)內(nèi)容提供商和出版行業(yè)造成了沖擊也帶來了機(jī)遇。傳統(tǒng)的出版物：新聞報(bào)紙、雜志、書籍的生成過程大部分是一個(gè)手動過程，成本較高，速度慢，樣式死板，選擇少。在此背景下，本文開發(fā)了一個(gè)RSS內(nèi)容抓取與排版系統(tǒng)，利用Hadoop實(shí)現(xiàn)自動地分布式抓取RSS源內(nèi)容并且解析網(wǎng)頁內(nèi)容，根據(jù)客戶訂閱的內(nèi)容按模板自動生成出版物，并將其傳送到與網(wǎng)絡(luò)連接的

2、打印機(jī)。
　　首先，本文分析了基于Hadoop的RSS內(nèi)容抓取與排版系統(tǒng)的功能需求與非功能需求，并進(jìn)行了架構(gòu)設(shè)計(jì)。系統(tǒng)采用分布式架構(gòu)，分為五大子系統(tǒng):
　　①Portal子系統(tǒng)，是開放式的服務(wù)提供的公共門戶，負(fù)責(zé)發(fā)布內(nèi)容、注冊出版物、并訂閱出版物；
　　②Job Server子系統(tǒng)，負(fù)責(zé)任務(wù)調(diào)度，將Portal服務(wù)進(jìn)行任務(wù)拆分、分發(fā)和協(xié)調(diào)；
　?、踂ebkit Cluster子系統(tǒng)，負(fù)責(zé)互聯(lián)網(wǎng)上的網(wǎng)頁抓??；

3、>　?、蹵lgorithm Cluster子系統(tǒng)，基于map reduce框架實(shí)現(xiàn)網(wǎng)頁內(nèi)容的快速提??；
　　⑤Layout Engine Cluster子系統(tǒng)，實(shí)現(xiàn)自動排版及出版物生成。
　　接著，本文對Job Server和Layout Engine Cluster這兩個(gè)子系統(tǒng)進(jìn)行了詳細(xì)設(shè)計(jì)和實(shí)現(xiàn)，設(shè)計(jì)了核心流程和多層結(jié)構(gòu)，研究和實(shí)現(xiàn)了以下關(guān)鍵技術(shù)：基于高效動態(tài)并發(fā)框架上的任務(wù)調(diào)度；采用ActiveMQ、Redis、Mon

4、goDB和HDFS提供靈活高效的數(shù)據(jù)存儲和訪問服務(wù)；通過自動排版算法，生成高質(zhì)量的出版物。
　　最后，本文對本系統(tǒng)進(jìn)行了配置測試、故障測試、功能測試和性能測試，測試結(jié)果表明，系統(tǒng)能同時(shí)支持10000個(gè)在線用戶數(shù)，達(dá)到了預(yù)期的目標(biāo)。目前本系統(tǒng)已在惠普公司個(gè)人打印服務(wù)事業(yè)部進(jìn)行了成功實(shí)施，既實(shí)現(xiàn)了出版商的運(yùn)營成本的降低，又以選定的模板快速地將輸出物，提供給客戶，平均成本非常小，省去了人工成本，而且生成PDF的時(shí)間從2個(gè)小時(shí)下降到2分鐘