基于改進(jìn)shark-search算法的主題爬蟲的研究與實(shí)現(xiàn).pdf

1、學(xué)校代碼：10126分類號：TP3913論文題目學(xué)號：呈羔墨Q皇Q絲編號：——基于改進(jìn)sharksearch算法的主題爬蟲的研究與實(shí)現(xiàn)學(xué)院：專業(yè)：研究方向：姓名：指導(dǎo)教師：計(jì)算機(jī)學(xué)院軟件工程數(shù)據(jù)挖掘張文躍班志杰副教授2015年04月20日內(nèi)蒙古大學(xué)碩士學(xué)位論文基于改進(jìn)shark—search算法的主題爬蟲的研究與實(shí)現(xiàn)摘要如何從大量的互聯(lián)網(wǎng)信息中獲得所需的數(shù)據(jù)是從互聯(lián)網(wǎng)誕生之日起就存在的重要課題。面向主題網(wǎng)絡(luò)爬蟲是解決這一問題的方法之一，

2、其主要方法有基于文本內(nèi)容啟發(fā)式方法、基于web鏈接結(jié)構(gòu)評價(jià)方法、機(jī)器學(xué)習(xí)分類器方法等。Shark—Search算法屬于基于文本內(nèi)容的啟發(fā)式算法，因?yàn)槠渌惴▽?shí)現(xiàn)簡單、效果明顯和可擴(kuò)展性好等優(yōu)點(diǎn)而得到廣泛應(yīng)用，但它存在“近視問題”和“隧道問題”，所以查全率不高。針對Shark—Search算法存在的不足，本文通過主題詞擴(kuò)展和URL調(diào)度策略實(shí)現(xiàn)了一個(gè)改進(jìn)的Shark—Search爬蟲——NSKD(NewShark—SearchwithKeyw

3、ordsDiffusion)爬蟲。對Shark—Search的兩個(gè)方面進(jìn)行改進(jìn)：(1)主題詞擴(kuò)展，本文采用《哈工大同義詞詞林?jǐn)U展版》對主題詞進(jìn)行擴(kuò)展，并改進(jìn)其相近度計(jì)算算法。在NSKD爬蟲的主題相近度計(jì)算中，通過改進(jìn)后的同義詞詞相近度算法得到待分析網(wǎng)頁每個(gè)帶權(quán)關(guān)鍵詞到預(yù)設(shè)主題的距離，從而獲得主題距離矩陣，將距離矩陣影射到比較向量中，將比較向量與主題向量的余弦距離作為網(wǎng)頁內(nèi)容與預(yù)設(shè)主題的相近度。NSKD爬蟲改變Shark—Search的文