基于Hadoop自動(dòng)文本分類(lèi)的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展以及互聯(lián)網(wǎng)的普及,網(wǎng)絡(luò)上的信息數(shù)據(jù)呈指數(shù)冪級(jí)增長(zhǎng)。在這些海量數(shù)據(jù)中,類(lèi)似于Web文本結(jié)構(gòu)化或半結(jié)構(gòu)化的數(shù)據(jù)居多,因此如何快速的在網(wǎng)絡(luò)上查找定位用戶需要的有效信息成為一項(xiàng)迫切需要解決的問(wèn)題。為了提高用戶查找效率和準(zhǔn)確率,對(duì)這些結(jié)構(gòu)化或半結(jié)構(gòu)化文本數(shù)據(jù)有效的整理分類(lèi)是至關(guān)重要的。雖然分類(lèi)技術(shù)已經(jīng)發(fā)展到一定成熟階段,但是面對(duì)海量數(shù)據(jù)時(shí),由于計(jì)算機(jī)硬件發(fā)展速度永遠(yuǎn)趕不上客戶需求的速度,面臨著如何在現(xiàn)在有的硬件基礎(chǔ)上實(shí)現(xiàn)海

2、量數(shù)據(jù)高并發(fā)處理,以及快速響應(yīng)的挑戰(zhàn)。因此本文的研究目的在于設(shè)計(jì)和實(shí)現(xiàn)了一種大規(guī)模文本自動(dòng)分類(lèi)系統(tǒng)。
　　在面臨海量數(shù)據(jù)呈指數(shù)冪級(jí)增長(zhǎng)和分類(lèi)需求迫切,以及云計(jì)算興起和分類(lèi)技術(shù)相對(duì)成熟的背景下,提出了一種基于 Hadoop文本自動(dòng)分類(lèi)設(shè)計(jì)與實(shí)現(xiàn)的方法。首先,對(duì)Hadoop系統(tǒng)框架進(jìn)行研究,包括其子項(xiàng)目MapReduce和Hadoop分布式文件系統(tǒng)(HDFS)的研究,然后建立配置Hadoop集群系統(tǒng)。其次,對(duì)當(dāng)前成熟的分類(lèi)技術(shù)和算法,