云計(jì)算環(huán)境下的社交網(wǎng)絡(luò)好友推薦系統(tǒng)研究.pdf

1、社交網(wǎng)絡(luò)往往擁有海量用戶，因此會(huì)產(chǎn)生超大規(guī)模的數(shù)據(jù)集。如何幫助用戶從海量數(shù)據(jù)中快速找到有用的信息，成為大數(shù)據(jù)時(shí)代的一個(gè)嚴(yán)峻的挑戰(zhàn)，也是社交網(wǎng)絡(luò)重點(diǎn)關(guān)注的方向。大規(guī)模數(shù)據(jù)帶來海量、高速存儲(chǔ)的需求。為了對(duì)大規(guī)模數(shù)據(jù)進(jìn)行有效計(jì)算，必須最大限度利用計(jì)算和網(wǎng)絡(luò)資源，計(jì)算虛擬化和網(wǎng)絡(luò)虛擬化必不可少。傳統(tǒng)的系統(tǒng)軟件難以對(duì)這些分布式、異構(gòu)的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源進(jìn)行有效管理，而云計(jì)算技術(shù)能夠?qū)Υ笠?guī)模數(shù)據(jù)進(jìn)行非常高效的存儲(chǔ)和計(jì)算，是應(yīng)對(duì)信息過載和推薦系統(tǒng)的

2、可擴(kuò)展性問題的一種有效手段。開源軟件Hadoop提供了云計(jì)算軟件平臺(tái)的基礎(chǔ)架構(gòu)，包括HDFS和MapReduce，并整合了數(shù)據(jù)庫等許多組件。Hadoop能夠?qū)Υ笠?guī)模數(shù)據(jù)進(jìn)行分布式處理，擁有高效性、高可靠性、高可伸縮性以及價(jià)格低廉等許多優(yōu)點(diǎn)，也因此廣泛應(yīng)用于學(xué)術(shù)界和工業(yè)界。
　　本文研究在Hadoop云平臺(tái)上的社交網(wǎng)絡(luò)好友推薦系統(tǒng)。根據(jù)社交網(wǎng)絡(luò)的數(shù)據(jù)特點(diǎn)，確定了好友關(guān)系網(wǎng)絡(luò)、互動(dòng)情況和興趣愛好三類信息作為好友推薦的主要依據(jù)，將傳統(tǒng)推

3、薦系統(tǒng)中的協(xié)同過濾技術(shù)應(yīng)用到好友推薦領(lǐng)域以獲得社交維度的交友傾向，用數(shù)據(jù)挖掘中計(jì)算文本相似度的方法來評(píng)估用戶間的興趣相似度，然后綜合以上信息得到推薦結(jié)果。為了分析和處理大規(guī)模數(shù)據(jù)，對(duì)算法進(jìn)行了MapReduce化改進(jìn)。系統(tǒng)主要包括數(shù)據(jù)采集和預(yù)處理模塊、數(shù)據(jù)存儲(chǔ)模塊和數(shù)據(jù)處理模塊。數(shù)據(jù)采集模塊利用網(wǎng)絡(luò)爬蟲或者社交網(wǎng)站開放 API獲取用戶數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行分詞等預(yù)處理，使其符合推薦算法的輸入格式要求。數(shù)據(jù)存儲(chǔ)模塊確定數(shù)據(jù)文件的存取形式以及數(shù)