移動(dòng)終端用戶上網(wǎng)行為分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、進(jìn)入3G時(shí)代以來(lái)，語(yǔ)音通信市場(chǎng)已經(jīng)趨于飽和，基于語(yǔ)音通信的短信和彩鈴等增值業(yè)務(wù)也出現(xiàn)下降的趨勢(shì);智能手機(jī)日益普及，移動(dòng)互聯(lián)網(wǎng)的發(fā)展也一日千里，隨著移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)與需求的飛速增長(zhǎng)，為了實(shí)現(xiàn)業(yè)績(jī)的持續(xù)增長(zhǎng)，需充分挖掘用戶的移動(dòng)互聯(lián)網(wǎng)訪問(wèn)行為，因此運(yùn)營(yíng)商提出了“流量經(jīng)營(yíng)”的運(yùn)營(yíng)理念，從而提升純管道收入、提升流量效益、降低流量成本。本系統(tǒng)通過(guò)解讀用戶的上網(wǎng)內(nèi)容來(lái)進(jìn)行分類，從而分析用戶的上網(wǎng)行為。
　　本文設(shè)計(jì)并開發(fā)了一個(gè)基于Hadoop集

2、群的開發(fā)框架，大量使用了Map/Reduce編程思想和方法，綜合網(wǎng)絡(luò)爬蟲、文本分詞(SVM(Support Vector Machine))、DMZ（demilitarizedzone）以及Nosql數(shù)據(jù)庫(kù)Flare等技術(shù)對(duì)海量移動(dòng)終端用戶上網(wǎng)日志中的URL進(jìn)行清洗、匯總、內(nèi)容分類、保存等功能的系統(tǒng)。本人參與完成了如下工作:客戶需求收集;用戶行為軌跡增強(qiáng)模塊中的分類過(guò)期刪除、內(nèi)外網(wǎng)傳輸，內(nèi)容語(yǔ)義解析模塊中的網(wǎng)頁(yè)爬取、通用分類器分類、網(wǎng)頁(yè)