基于Hadoop云計(jì)算技術(shù)的旅游信息數(shù)據(jù)采集模型的構(gòu)建研究.pdf

1、隨著互聯(lián)網(wǎng)的快速普及發(fā)展，互聯(lián)網(wǎng)已經(jīng)融入人們生活的各個方面。互聯(lián)網(wǎng)已經(jīng)成為人們社交、獲取信息的重要的載體。人們將旅游路線、旅游景點(diǎn)、評價、感悟都分享在互聯(lián)網(wǎng)上，隨著旅游人數(shù)不斷增多以及用戶分享旅游信息快速增長，旅游景區(qū)網(wǎng)站、旅游網(wǎng)站等迅速發(fā)展，為用戶提供更多豐富旅游信息。面對大數(shù)據(jù)時代到來，大數(shù)據(jù)與旅游業(yè)結(jié)合越來越緊密，如何將復(fù)雜的互聯(lián)網(wǎng)旅游信息進(jìn)行準(zhǔn)確的收集整理以解決旅游信息數(shù)據(jù)量相對不足的核心問題。
　　在互聯(lián)網(wǎng)上的旅游信息有

2、各種數(shù)據(jù)類型，如結(jié)構(gòu)化的文本信息、半結(jié)構(gòu)化的網(wǎng)頁、無結(jié)構(gòu)的文本信息以及非結(jié)構(gòu)化視頻等文件類型，在 Web上旅游信息網(wǎng)頁結(jié)構(gòu)是異構(gòu)的、包含很多旅游信息無關(guān)的數(shù)據(jù)。因此，我們急需要解決主要問題有：如何從 Web上網(wǎng)頁精確抽取旅游信息；如何避免噪音數(shù)據(jù)的干擾；如何實(shí)現(xiàn)對大規(guī)模的數(shù)據(jù)存儲；如何快速從大規(guī)模的數(shù)據(jù)中查看所需要的旅游信息。
　　針對以上存在問題，本文提出基于Hadoop云計(jì)算數(shù)據(jù)采集模型的整合方案包含旅游信息收集、旅游網(wǎng)頁信息

3、抽取、信息檢索這三部分?；赪ebcollector開源網(wǎng)絡(luò)爬蟲框架來實(shí)現(xiàn)旅游信息的采集；對WebCollector進(jìn)行二次開發(fā)，使用布隆過濾器去重URL、多線程解決 DNS解析瓶頸、廣度優(yōu)先遍歷策略等；收集旅游信息數(shù)據(jù)存儲到分布式HBase數(shù)據(jù)庫中和分布式文件系統(tǒng)(HDFS Hadoop Distributed File System)上；為了實(shí)現(xiàn)網(wǎng)頁去重，論文設(shè)計(jì)了MapReduce并行化LCS(Longest Common Sub