基于weka的web文本挖掘的研究和實(shí)現(xiàn).pdf

1、隨著電腦的普及，網(wǎng)民的數(shù)量級(jí)數(shù)倍增長(zhǎng)，文本信息數(shù)量也呈現(xiàn)了指數(shù)級(jí)的增長(zhǎng)。如何充分利用關(guān)鍵有用的數(shù)據(jù)，廢棄虛偽無(wú)用的數(shù)據(jù)，從而解決數(shù)據(jù)應(yīng)用的質(zhì)量問(wèn)題是十分重要的，為了解決這個(gè)問(wèn)題我們就需要對(duì)搜索的數(shù)據(jù)再次進(jìn)行挖掘。因此采用基于web的文本挖掘技術(shù)從繁多的信息中提取隱含的、未知的、非平凡的以及有潛在應(yīng)用價(jià)值的信息，就具有十分重要的現(xiàn)實(shí)意義和廣泛的應(yīng)用前景。
　　 本文分析了中文文本挖掘的內(nèi)容以及國(guó)內(nèi)外的研究現(xiàn)狀，主要工作:首先基于N

2、utch在掌握Nutch架構(gòu)和工作原理的基礎(chǔ)上，實(shí)現(xiàn)基于Nutch的垂直搜索，用來(lái)進(jìn)行旅游行業(yè)信息的獲取，這些信息包括互聯(lián)網(wǎng)上的web頁(yè)面信息和一些論壇上信息的抓取。
　　 其次在獲得信息的基礎(chǔ)上，利用hadoop系統(tǒng)完成信息的選擇和處理。抓取的頁(yè)面數(shù)據(jù)包括文本、圖片、超鏈接，主要選擇的是文本數(shù)據(jù)，進(jìn)行初步的數(shù)據(jù)處理。
　　 最后基于處理后的數(shù)據(jù)，使用weka來(lái)進(jìn)行文本挖掘。討論對(duì)比了文本分類中常見(jiàn)的三種分類方法，分別是