面向教育新聞的主題爬蟲設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)在世界范圍內(nèi)的飛速發(fā)展，互聯(lián)網(wǎng)作為最具潛力與活力的新興媒體已被公認(rèn)為是繼報(bào)紙、廣播、電視之后的“第四媒體”，成為反映社會(huì)新聞熱點(diǎn)的重要載體。為了及時(shí)了解網(wǎng)絡(luò)新聞熱點(diǎn)，尤其是與教育主題相關(guān)的新聞熱點(diǎn)和發(fā)展動(dòng)向，相關(guān)機(jī)構(gòu)引入了教育領(lǐng)域?qū)Ｓ眯侣劅狳c(diǎn)分析系統(tǒng)。本文設(shè)計(jì)與實(shí)現(xiàn)的網(wǎng)絡(luò)主題爬蟲系統(tǒng)是新聞熱點(diǎn)分析系統(tǒng)中的數(shù)據(jù)源，負(fù)責(zé)教育領(lǐng)域內(nèi)新聞信息的采集。
　　 傳統(tǒng)的網(wǎng)絡(luò)爬蟲為搜索引擎服務(wù)，但無法滿足指定主題的應(yīng)用需要，主題爬蟲則是

2、有選擇性地爬取主題相關(guān)的網(wǎng)頁。本文深入研究了主題爬蟲的特點(diǎn)、工作流程和體系架構(gòu)，提出了一種面向教育新聞的爬蟲系統(tǒng)總體架構(gòu)設(shè)計(jì)，并在此基礎(chǔ)上設(shè)計(jì)了爬蟲系統(tǒng)的各個(gè)模塊。本文借助爬蟲領(lǐng)域的相關(guān)技術(shù)和工具，結(jié)合新聞熱點(diǎn)分析系統(tǒng)的需求，從原理或工作流程上詳細(xì)論述了爬蟲系統(tǒng)中核心模塊的具體實(shí)現(xiàn)。論文所做的工作主要包括：首先，針對重點(diǎn)關(guān)注主要站點(diǎn)的問題，本文設(shè)計(jì)了一種基于權(quán)重模型的爬取策略。其次，為了提高超鏈接抽取效率，本文采取了基于Xpath的超鏈