面向Web文本挖掘的主題網(wǎng)絡(luò)爬蟲研究.pdf

1、隨著Web3.0時(shí)代的到來，互聯(lián)網(wǎng)中Web頁面的數(shù)量和復(fù)雜性呈現(xiàn)出爆炸性增長趨勢，伴隨的是包含在Web頁面中的信息也呈幾何數(shù)量級增長。Web頁面信息通常是由Web頁面中的文本體現(xiàn)出來的，因此Web文本數(shù)據(jù)中隱藏著豐富的，對用戶有價(jià)值的知識和規(guī)則。但是由于Web文本數(shù)據(jù)半結(jié)構(gòu)化、實(shí)時(shí)性和離散性等特點(diǎn)，用戶很難直接從如此復(fù)雜的數(shù)據(jù)集中獲取到自己需要的知識。因此如何有效的從海量的Web本文數(shù)據(jù)中挖掘出用戶真正關(guān)心的信息和知識，并以用戶能夠理解

2、的方式呈現(xiàn)出來，是當(dāng)下非常熱門的研究課題。
　　本文主要從獲取Web文本數(shù)據(jù)和對Web文本數(shù)據(jù)的分析兩方面著手，對如何準(zhǔn)確且高效的獲取用戶所需要的Web文本信息，并挖掘其中有價(jià)值的知識展開研究。本文具體的研究工作如下：
　　主題網(wǎng)絡(luò)爬蟲：首先綜合分析了現(xiàn)有的主題網(wǎng)絡(luò)爬蟲實(shí)現(xiàn)的原理及結(jié)構(gòu)，然后對主題網(wǎng)絡(luò)爬蟲的分類進(jìn)行介紹，選擇功能型主題網(wǎng)絡(luò)爬蟲為本文研究的重點(diǎn)。最后分析了網(wǎng)絡(luò)爬蟲實(shí)現(xiàn)語言，選擇Node.js這門新興語言來實(shí)現(xiàn)針

3、對主題網(wǎng)絡(luò)社區(qū)的主題網(wǎng)絡(luò)爬蟲。
　　Web文本表示模型：首先綜合分析了現(xiàn)有的文本表示模型，然后從本文所面對的Web文本數(shù)據(jù)以短文本為主的實(shí)際情況出發(fā)，結(jié)合自然語言處理中關(guān)鍵詞提取和詞向量表示的相關(guān)技術(shù)，提出一種基于關(guān)鍵詞向量的文本表示模型。
　　Web文本聚類算法：首先介紹了Web文本挖掘技術(shù)的定義。其次詳細(xì)介紹了Web文本挖掘中的聚類挖掘技術(shù)。在分析了Web文本聚類算法分類的基礎(chǔ)上，選取BIRCH算法為本文的Web文本聚類