基于Hadoop的web用戶訪問偏好分類研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，數(shù)據(jù)信息呈指數(shù)級增長，分類算法在大規(guī)模數(shù)據(jù)面前面臨著巨大的挑戰(zhàn)。當(dāng)前，國內(nèi)外的學(xué)者對分類模型與算法的研究主要集中在提高其分類的正確率以及時(shí)間空間復(fù)雜度上，然而在面對大規(guī)模數(shù)據(jù)，主要問題是海量數(shù)據(jù)的存儲(chǔ)和分類計(jì)算，傳統(tǒng)的方法已經(jīng)不能滿足需求。因此研究如何快速并且高效的對海量數(shù)據(jù)進(jìn)行分類具有重要意義。本文基于Hadoop分布式計(jì)算平臺(tái)，針對傳統(tǒng)樸素貝葉斯算法權(quán)重計(jì)算的缺陷，提出一種改進(jìn)的加權(quán)樸素貝葉斯算法，并運(yùn)用在統(tǒng)計(jì)

2、Web用戶訪問偏好上。
　　首先介紹了課題的研究背景和意義以及國內(nèi)外研究現(xiàn)狀；然后介紹了課題涉及的相關(guān)技術(shù)，包括文本分類過程中的預(yù)處理、模型表示、特征詞選擇、特征權(quán)重計(jì)算，貝葉斯理論以及樸素貝葉斯分類算法，Hadoop分布式計(jì)算平臺(tái)的相關(guān)技術(shù)，主要包括HDFS分布式存儲(chǔ)和MapReduce分布式計(jì)算。
　　然后，基于 Hadoop平臺(tái)提出一種針對中英文的分詞算法，在分詞過程中引入Lucene，并通過統(tǒng)計(jì)法對歧義處理。針對Ha

3、doop平臺(tái)處理小文件緩慢的缺陷，實(shí)現(xiàn)了一種將若干小文本合并成一個(gè)大文件的輸入格式，實(shí)驗(yàn)證明自定義的輸入格式能很好處理小文件輸入。針對傳統(tǒng)的樸素貝葉斯分類算法權(quán)重計(jì)算存在的缺陷，提出一種改進(jìn)的加權(quán)樸素貝葉斯分類算法，并在 Hadoop平臺(tái)通過5個(gè)MapReduce過程來實(shí)現(xiàn)，在Hadoop平臺(tái)下，使用8237條數(shù)據(jù)作為數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)表明改進(jìn)的加權(quán)樸素貝葉斯分類算法在宏平均和微平均F1值上都有很好的效果。
　　最后，通過研究的