基于大數(shù)據(jù)平臺的用戶行為分析系的設計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)應用和信息技術的飛速發(fā)展和普及，信息數(shù)據(jù)已經(jīng)滲透到人們生活的中，數(shù)據(jù)的規(guī)模也呈井噴式的爆炸性增長。通過對海量的數(shù)據(jù)信息進行分析挖掘，可以提取出對企業(yè)有重要價值的用戶行為信息，為企業(yè)帶來巨大的商業(yè)價值。
　　提出了hadoop大數(shù)據(jù)平臺下的用戶行為分析系統(tǒng)。輸入法客戶端SDK收集用戶的日常日志信息，利用RSA加密算法將日志信息分段加密，到達一定數(shù)據(jù)量后進行壓縮傳回服務器。傳回服務器的日志信息有兩種大的類型，用戶行為數(shù)據(jù)和用

2、戶輸入數(shù)據(jù)。服務器對收集的日志信息進行分類解析，將解析結果存儲到HDFS分布式文件系統(tǒng)。對存儲在HDFS上的數(shù)據(jù)信息利用分布式編程框架mapreduce來分析處理，將處理后的數(shù)據(jù)信息存入hive數(shù)據(jù)倉庫。統(tǒng)計分析時提取hive表中關鍵信息，及時了解用戶的行為和需求，進行質(zhì)量監(jiān)控。通過用戶行為數(shù)據(jù)可以進行常規(guī)的數(shù)據(jù)統(tǒng)計計算包括用戶的新增、活躍、留存分析、渠道分析以及自定義事件和錯誤的分析等。通過對錯誤的分析統(tǒng)計可以進行crash收集和分析

3、，及時監(jiān)測輸入法的使用情況，發(fā)現(xiàn)并解決錯誤從而提高輸入法的穩(wěn)定性。通過用戶的輸入數(shù)據(jù)可以對用戶進行情感色彩走向的分析還可以進行更深層次的數(shù)據(jù)挖掘。
　　對用戶的隱私進行壓縮和加密收集，充分利用分布式的處理能力，能在短時間內(nèi)分析出最新的用戶行為和信息。用戶行為分析主要構成元素有輸入法常規(guī)數(shù)據(jù)統(tǒng)計、輸入法內(nèi)容區(qū)元素受歡迎程度以及用戶的長短期興趣。利用收集到的一個月的用戶信息進行分析，分析結果提供給產(chǎn)品和運營作數(shù)據(jù)支撐，從多方面、多維度