基于Hadoop-hive架構(gòu)的網(wǎng)絡(luò)身份識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著人們對(duì)網(wǎng)絡(luò)和通信的依賴日漸增長(zhǎng)，維護(hù)網(wǎng)絡(luò)信息的安全以及用戶的合法權(quán)益日益重要。而網(wǎng)絡(luò)的開放性、虛擬性和不確定性無(wú)疑給這項(xiàng)工作增加了一個(gè)不小的難題。網(wǎng)絡(luò)身份的綁定成為必然。每個(gè)用戶常見的網(wǎng)絡(luò)、通訊行為有郵件通訊、微博發(fā)表、短信通訊以及電話通訊。每個(gè)用戶在四個(gè)系統(tǒng)中分別對(duì)應(yīng)一種身份，把四種身份綁定，確認(rèn)用戶的現(xiàn)實(shí)身份，使得網(wǎng)絡(luò)社會(huì)和現(xiàn)實(shí)社會(huì)同樣受到監(jiān)督與保證，維持網(wǎng)絡(luò)秩序。
　　由于數(shù)據(jù)源眾多以及各個(gè)系統(tǒng)的用戶繁多、操作頻繁，每日

2、產(chǎn)生TB級(jí)甚至PB級(jí)的海量數(shù)據(jù)，傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)以及不能滿足數(shù)據(jù)的存儲(chǔ)分析處理的要求。本系統(tǒng)利用Hadoop/hive分布式計(jì)算平臺(tái)的高可靠性、高擴(kuò)展性、高效性以及高容錯(cuò)性，對(duì)用戶的基礎(chǔ)信息、特征行為等進(jìn)行分析，在功能實(shí)現(xiàn)的基礎(chǔ)上展現(xiàn)出數(shù)據(jù)處理很高的效率。
　　本文在實(shí)際系統(tǒng)開發(fā)的基礎(chǔ)上，綜述了一種基于Hadoop/hive架構(gòu)的網(wǎng)絡(luò)身份識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)的開發(fā)方案。將各個(gè)數(shù)據(jù)源的原始數(shù)據(jù)利用MapReduce進(jìn)行層層清洗后，裝載