基于并行PSo-KM算法的Web日志挖掘研究與應用.pdf

1、大規(guī)模開放在線課程的涌現(xiàn)，將世界上最優(yōu)質(zhì)的教育資源，傳播到地球上的每個角落，吸引了大量的用戶。用戶在使用互聯(lián)網(wǎng)瀏覽信息的過程中會產(chǎn)生大量記錄用戶操作行為的日志文件，通過對該平臺中日志文件的收集、分析和挖掘可以分析并提取出用戶的興趣行為傾向，從而針對不同用戶的愛好和需求為用戶推薦學習資源。對用戶興趣行為的分析過程是極為重要的，其結(jié)果直接影響了推薦資源的準確性和實時性。在這個過程中通常會使用Web日志挖掘算法來提取隱藏在日志文件中的重要信息

2、，在如今這個大數(shù)據(jù)時代，單純使用傳統(tǒng)的Web日志挖掘技術(shù)，從如此巨大的數(shù)據(jù)量中分析挖掘出有關(guān)用戶興趣行為的信息并非易事，因為在使用普通的挖掘方式處理海量數(shù)據(jù)過程中會消耗大量資源、降低處理速率、增加成本，而使用Hadoop云平臺的分布式技術(shù)可以很好地解決這些問題。
　　本文在分析了PSO和K-means算法的基礎(chǔ)上提出了并行PSO-KM算法，K-means算法是公認的易于實現(xiàn)的算法，并且聚類效果比較好，PSO算法具有全局搜索特性，可

3、以提取到具有全局代表性的初始聚類中心，K-means算法使用這樣的初始聚類中心，可以解決K-means聚類結(jié)果起伏大的問題。Hadoop云平臺處理數(shù)據(jù)集時，具有效率高、資源消耗量少的優(yōu)越性，但是它只能針對具有并行化特征的問題，這些問題都可以被分成單個獨立的子問題，分別進行運算，否則無法使用云平臺的分布式編程模型。而PSO、K-means兩個算法都具有并行化的特性，因此可以把它們作為一種MapReduce編程模型來使用。
　　本實驗