面向博客的主題爬蟲設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)用戶急劇增加，分享作為一種互聯(lián)網(wǎng)精神，正在影響著千千萬萬的用戶。博客作為一種分享、交流的網(wǎng)絡(luò)社交媒介，已經(jīng)成為人們發(fā)表個人觀點、研究成果、實踐反思的重要平臺。人們越來越習(xí)慣于通過博客獲取有用的信息，越來越關(guān)注如何在海量博客中快速有效的獲取有價值的信息。
　　博客信息的獲取是對博文資源進(jìn)行有效利用的基礎(chǔ)，但普通爬蟲不符合具有特定主題需要的應(yīng)用需求。該面向博客的主題爬蟲系統(tǒng)以教育技術(shù)學(xué)為主題，專注于在大量博客中有

2、效識別出與教育技術(shù)學(xué)研究內(nèi)容相關(guān)的博文資源，并進(jìn)行有效獲取和及時更新?？梢詫崿F(xiàn)博文網(wǎng)頁的下載，以及博文標(biāo)題、正文、插入的圖片等信息的抽取。本文主要做了以下幾方面研究:
　　(1)面向博客的主題爬蟲關(guān)鍵技術(shù)研究。分析博客的基本特征，指出一般網(wǎng)頁與博客網(wǎng)頁的不同之處，進(jìn)而確定博客信息的抽取維度。由于博客具有頻繁更新的特性，為了提高爬蟲的實時性，從采集策略上進(jìn)行優(yōu)化，提出了基于鏈接類型的采集策略。提出網(wǎng)站結(jié)構(gòu)分析、鏈接類型分析與博文內(nèi)容

3、評價相結(jié)合進(jìn)行主題相關(guān)性判斷的方法。設(shè)定教育技術(shù)學(xué)相關(guān)博文的主題類別，研究SVM文本自動分類技術(shù)。
　　(2)面向博客的主題爬蟲設(shè)計。分析通用爬蟲以及主題爬蟲的基本原理和框架，指出其異同。分析并選擇合適的通用爬蟲框架，對其功能進(jìn)行擴(kuò)充，以適應(yīng)面向博客的主題爬蟲的需求。根據(jù)數(shù)據(jù)交互的需要設(shè)計數(shù)據(jù)庫表。
　　(3)面向博客的主題爬蟲系統(tǒng)實現(xiàn)。對定時器、增量爬取、主題相關(guān)性判斷、博文自動分類等關(guān)鍵功能予以實現(xiàn)，并評價采集及分類效果

4、。
　　(4)爬蟲在博客分析中的應(yīng)用。專家博客是一種重要的網(wǎng)絡(luò)學(xué)術(shù)資源，能夠促進(jìn)學(xué)術(shù)領(lǐng)域科學(xué)信息的快速傳遞與交流，揭示學(xué)者潛在的主題偏好。以單個專家博客為例，利用采集到的信息分析博主的研究主題偏好，以及研究趨勢變化。
　　該爬蟲系統(tǒng)充分結(jié)合博客特征進(jìn)行采集，采用多種分析評價方式相結(jié)合的方法進(jìn)行主題相似度判斷，得到了較好的爬行效果，能夠為以教育技術(shù)學(xué)為主題的應(yīng)用研究提供高質(zhì)量的博文數(shù)據(jù)。以單個博客為單位，分析教育技術(shù)學(xué)專家博客